在对兵士进行自强御侮教育的同时，张之洞也在开“兵智”上下功夫，即设法提高士兵的文化素质(新军将领多来自近代军事学堂，文化素质相对士兵较高)。募兵方面，张之洞把文化素质作为一项重要条件，不仅予以明文规定，而且逐渐提高要求。
一八九八年，他在把工程队扩充为工程营时，规定“专选二十岁以下兼能识字者方准收入”。一九零二年，又把“入营之兵必须有一半识字”列为“湖北练兵要义”第一条。
两年后，更要求新募之兵“实能识字写字并能略通文理”。这些规定充分说明张之洞对新军文化素质的高度重视和对知识青年的热忱欢迎。
湖北新军也确实招收到大批知识分子，“秀士入营者颇多”。同时，张之洞也很重视士兵入营后的教育。一九零二年，张之洞在新军各旗、营分设大、小“讲堂”，辟设“阅报室”，这无疑有利于提高士兵的文化素质。特别是张之洞别出心裁，创设湖北陆军特别小学堂，于士兵中考选“文理通顺”者，令其“昼则来堂讲求学科，夜则归营”，“更番毕业，更番入营”，从而“于练兵之中寓普及教育之意”。
在编练湖北新兵的过程，黎元洪一直是张之洞的最得力的助手和干将。
一九零三年，清军改制，中央设立练兵处。朝廷计划编练新军三十六镇。要求湖北，设置新军两镇。一九零四年，张之洞奏明朝廷，湖北两镇的具体编制，每镇步兵两协（旅）炮兵三营，骑兵二营，工程、淄重各一营。每镇缺少步兵一协，留待军费充足后补充。
任命张彪为第一镇统制兼摄协统。任命黎元洪为第二镇统制。
这时候的黎元洪已经成为一名清廷的高级将领，成为湖北军界的二号人物。
一九零六年，由于资金匮乏，湖北两镇的军队编制缩编为一镇（师）一混成协（旅）。按着清廷练兵处的统一编制，湖北的第一镇改为第八镇，张标为统制。湖北的第二镇改为第二十一混成协，黎元洪任协统。
在这个位置，黎元洪一直做到了武昌起义。虽然是二号人物，但在湖北军界，黎元洪的威望比一号人物张彪要高很多。因为，无论是军事素质，还是治军有方，张彪都和黎元洪远不在一个档次上。黎元洪本身技术过硬，治军严格，又极“知兵”“爱兵”，得到各界广泛好评。
在一八九九年的四月，湖北刚开始练新军时，法国一高级军官罗勃尔利到湖北参观，张彪设宴款待，黎元洪出席作陪。
席间，罗勃尔利随口问一些军事业务。这时身居高位的张彪，已经很少具体过问军务。这是个变革的时代，新军不同于旧军，各方面知识更新很快。张彪有时甚至不知对方在问什么，更不知如何回答。尴尬中把眼睛看向黎元洪求助，黎元洪从容不迫，一一道来。
罗勃尔利离开时，张之洞率众送行，他对黎元洪赞不绝口，说黎元洪是个“知兵之将”。
平日里，黎元洪对士兵的寛仁是出了名的。他在军费的使用上精打细算，尽量压缩不必要的支出。只要军需有余，他都设法用在士兵身上，或改善伙食，或为士兵加饷加新衣。那时，无论是在旧军队，还是新军，层层克扣军饷，成为了惯例。但是在黎元洪的治下，这样的事情是被严格制止的。
为了增收节支，黎元洪还在他的军中，办了个被服厂，自制军衣和被服。这样，就是在军费得不到保障的条件下，他所部也能按时发放军衣等用品。走在大街上，他所部人员衣装整齐，和其它部队的破破烂烂，成了鲜明的对照。时间长了，老百姓从着装上就知道，哪些人是二十一混成协黎大帅的部属。
黎元洪治军严格，自己也能以身作则。那时的武汉驻军，管带以上的军官，都自己住在私宅，是从不住在军营的。黎元洪虽然家也早搬了过来，但他每月仅回家二次，余下时间都住在军营的司令部。和士兵们一样，听军号作息。起床号响后马上起床，自己打水洗漱，从不用护兵照料。
每逢佳节倍思亲，军营士兵都是离家之人，逢年过节是要想家人的。黎元洪不但很多时候，他做为父母官，在军营陪着兵士们过年节，还常常要他的孩子，到军营给士兵们拜年。
黎元洪升为协统后，月俸白银五百两。他在武昌中和门附近建了一幢中式楼房，市郊盖一幢西式别墅。他也盖了不少平房出租，家庭生活已经很富裕了。但是，他在平日中仍保持平民本色，甘愿过清苦的军营生活，和那些每日里花天酒地的官员门相比，成了另类。
黎元洪爱兵是出了名的。从小讨饭和受苦受难得到帮助的经历，也使他对有特殊困难的士兵特别同情，也常自掏腰包给予资助。
黎元洪尊重知识，爱惜和重用有知识的人。有一名宜昌籍的兵士，叫张之善。是秀才出身，因家遭突然变故，没办法养活年老的母亲，无奈到兵营当兵。像黎元洪父亲当年一样，本想用微薄的军饷奉养老母，不料其母雪天去山上拾柴，在山路上失足坠下身亡。
张之善闻讯，痛不欲生，既没有回家的路费，也没钱安葬老母。黎元洪得知后，个人拿出八十大洋，送与张之善，准他告假回乡安葬老母。
因张之善在军营中文化高，使军营能尽其用。以陆军小学会办的名义，保送张之善为学兵。此事在军营被传为佳话，很多年里被人们传诵。
章太炎在为黎元洪写的碑文言道：“治军严仁，不滥军需一钱，有余则以逮士卒，故所部军装整顿，绝于他军。平居卧起，皆准军号，不妄先后。夜必宿军中，虽遇岁时不移。教士剀至，唯恐不尽其才，尤敬士大夫，一方归心焉。”
章先生一生，很少夸赞人，对黎元洪算是例外。寥寥数语，公允的概括了黎元洪之治军，也算是盖棺定论了。当然，这为后话。
湖北陆军，对指挥员有一特殊要求，不论是训练还是实战，长官的命令都必须在五分钟内写出。张彪每遇此，都是由几个参谋官代劳。黎元洪则每次都是亲自动手，无论是在行军路上，还是在雨雪之中，随时随地都能在五分钟内，写出四五百字的命令。而且简洁准确明了，属下一看自明。此举也在湖北军中，成为一绝。这虽赖于他功底深厚，更在于他平时的学习与积累。
史书对此有记载：“虽系一员武将，而平时手不释卷，湖北督练处所印陆军书籍，本本皆有黎元洪校阅之名。”
因为黎元洪有真才实学，做事又极为认真。凡遇有湖北军中编制计划、规划，乃至决策什么大事，张之洞都是依靠黎元洪。
而湖北军中的一号人物张彪，则总是做为执行人。
如有的史书所言：“文襄（张之洞）颇重黎氏，往往言听计从，凡军事上的计划，多取决于黎。……每有规划，由黎擘定，文襄多使张彪执行。”
张之洞的爱惜和重用和黎元洪自身的努力，使他从从海军到陆军的一八九六到一九零六的十年间，由营帮带升至协统，曾兼任过护镇统制（军长），品衔级别也从千总至守备，又晋升为都司，再晋为副将，可谓一路飙升，顺风顺水。
张之洞对黎元洪的欣赏和看重，是方位的。有一次，众人陪同张之洞到江边巡视，张之洞看到岸边停泊着刚从日本买回的“楚泰”号兵轮。来了兴致，带着众人登船一游。
正和大家观赏黄鹤楼和江边美景，突然变天，狂风大作，浪涛滚滚。兵舰正在江心，剧烈的摇晃，几近倾覆。这时传来消息，因为是事发突然，兵舰上的舵手是临时找的，不经风浪。在此种情势下，大家都很怕，恐葬身大江。
紧急之中，张之洞想起，身边的黎元洪是出身海军，便命他江湖救急。黎元洪虽在海军中不是专门舵手，但毕竟受过这方面的训练，在海上经历过大风大浪。一拿到舵盘，左旋右转，镇定操作，兵舰很快回复了平稳。大家虚惊了一场，悬着的心总算放下，也都对黎元洪更加敬佩。
平安上岸后，张之洞感慨万分，赞扬黎元洪为“水陆两栖有为，真才实学难得”。
跟随香帅张之洞回湖北，到武昌起义发生的十五年里，黎元洪经历了总督三易，巡抚二更。官场总有各种博弈，嫉妒和争夺，同僚中也不乏对黎元洪中伤和陷害之辈。但因黎元洪对人的宽宏和厚道，都能使矛盾得到化解。除了因爱兵在兵士中获得好口碑外，在同僚中也获得好人缘和高威望。