接下来，袁世凯就开始对这支军队进行正式的训练。他先按照德国陆军的军制，建立了步兵、炮队、马队、工程队和辎重队等多个兵种。其中，步兵队人数最多，一共有5000人，分为左翼和右翼两个营。炮兵队又分为快炮队、重炮队和接应马炮队，一共有1000人。马队分为四个小队，一共有500人。而负责军事施工的工程队和负责后勤的辎重队，则各有500人。军队整编完成之后，袁世凯又给队伍配备了德国当时最先进的各种武器。其中，既有手枪、步枪和马枪，也有克鲁伯快炮。这些武器装备的补充，大大增强了新军的作战力量。
训练新军的最关键一步是士兵素质的提高。这些招募进来的新兵，虽然都是旧式军队中的优秀分子，但正是由于这个原因，他们身上有着很强烈的旧式军队作风，组织纪律性差、作战不讲究协调配合等。这些问题的存在，绝对会大大削弱新军的作战能力。
为了解决这些问题，袁世凯专门从德国聘请了教官，让他们用德国陆军的条例对新军进行操练。当时，担任总教官的是曾在甲午战争之中与日本军队作战的德国军事顾问汉纳根将军。他在任期间，完全按照德国陆军的操练规则训练新军。很快，这支七千多人的队伍就有了新气象。
除此之外，袁世凯还加强了新军的组织建设。在袁世凯看来，一支缺乏组织管理的军队，将会是一盘散沙，自然也毫无战斗力可言。因此，袁世凯在小站成立了一个“新建陆军督训处”，下设七个重要的处和两个局。其中，最重要的是执法营务处、督操营务处和军医局。从这些处和局的名称看得出，袁世凯是十分注重军队的纪律和组织建设的。
在加强组织建设的同时，为了进一步提高士兵的军事素质，小站新军还建立了四所随营学堂，分别是步兵学堂、炮兵学堂、骑兵学堂和德文学堂。
另外，在督操营务处里面，还设有讲武堂和学兵营。这些学堂的建立以及随后开展的军事教育，使得小站的新军从一开始就跟旧式军队拉开了很大一个档次，成为了一支真正训练有素的新式陆军。
当然，新式陆军的建立是离不开优秀的军事将领的。因此，袁世凯在刚刚组建新军时，就十分注重四处搜罗军事管理人才。当时，由于整个中国都在高呼“整军经武”，很多人都把进人军队吃皇粮当成了一条谋生的路子。
因此，军队里并不缺乏士兵，甚至不用担心选到优秀的士兵。但是，要想找到既能按照西式操演方法训练新军，又能对新军进行新式管理的优秀军事将领，却并不那么容易。
另外，还有一个很重要的原因在于，按照清朝军制的要求，当时的军官必须从武备学堂出身的学员之中选任。这样一来，北洋武备学堂的学员，一时之间就成了香饽饽。对于这些军事人才，袁世凯简直是思贤若渴。
于是，他找到了自己的老朋友，时任北洋武备学堂总办的荫昌，想要让他帮助推荐优秀的军事人才到小站来帮助训练新军。荫昌爽快地答应了袁世凯的请求，没过多久一份名单就摆在了袁世凯的办公桌上。其中，就有冯国璋、段祺瑞、梁华殿和王士珍四个人。
对于这四个人，袁世凯最熟悉的是段祺瑞。段祺瑞从武备学堂毕业后，曾被李鸿章选送到德国学习炮兵技术。两年后，段祺瑞回国，却只是在威海的随营武备学堂担任教习，一直都无法施展自己的所学。而袁世凯此时正好缺少能够统领炮兵营的人选，于是，他立即请来段祺瑞，任命他为炮兵营的统带。
至于有着“武校文生”美誉的冯国璋，袁世凯自然是早有耳闻。加上冯国璋在甲午战争中立下的赫赫战功，更是让袁世凯对他青睐有加。因此，当袁世凯看到荫昌向自己推荐冯国璋的时候，便毫不犹豫地邀请冯国璋到小站，一起训练新军的步兵。
看到这里，有人或许会问，在袁世凯训练新军这段时间，冯国璋到哪里去了呢？实际上，在这段时间里，冯国璋奉聂士成的命令，随同清朝驻日本大使裕庚在日本考察。
甲午战争结束之后，在聂士成的推荐下，冯国璋在裕庚身边担任了一个军事随员，并于1894年4月到5月之间，随裕庚东渡到了日本。冯国璋到日本的目的很简单，就是在接触日军将领的同时，暗中考察日本的军事。看看日军到底是怎样采用西方的军制、战术和武器，从而大大提高其作战能力的。
在这次考察过程之中，冯国璋结交了不少日军将领。其中，最有名的就是福岛安正和青木宣纯。同时，冯国璋还走访了不少著名的军事院校，比如日本陆军幼年学校、成城军校，以及近卫师团、户山师团等陆军部队和炮兵学校、警察署等。
此外，经过这次考察，还让冯国璋有一个意外收获，那就是他阅读了一批西方近代的军事名著，获取了大量有关西方近代军事训练和军事科学发展的资料。冯国璋知道，日本人正是由于学习了这些著作和资料，并落实到了军队训练之中，才在短时期内拥有了强大的军事力量。
因此，在回国之前，冯国璋几乎是不眠不休地抄录和整理这些著作和资料。到临走时，他把这些资料和自己的阅读心得汇编成册，竟然有好几大册的兵书。正是靠着学习和掌握这些西方军事知识，使得冯国璋有了训练新军的理论准备。
1896年，冯国璋获得批准回国。按照清朝的外交规矩，凡是担任驻外公职，一般都需要在外边呆上三年时间。而冯国璋此次出国，只呆了一年时间。
他之所以急着回国，无非就是要将自己的所学尽快付诸实践。
回国之后，冯国璋便将自己在日本“参伍考证”整理出来的几大册兵书献给了聂士成。对于冯国璋的努力，聂士成自然十分赏识。但是，他毕竟只是一个旧式将领，即便知道西方近代军事知识的重要性，也无法将它们运用到自己军队的训练上来。因此，聂士成对冯国璋资料中所介绍的那些西方军制、战术和管理经验并不感兴趣。尽管如此，心胸开阔、善于用人的聂士成还是认为这些东西极有价值，于是就把这些兵书转呈给了袁世凯。
袁世凯自己也曾经用心学习过西方近代的军事知识，一看到这些珍贵的资料，简直兴奋莫名。俗话说，内行看门道。很快的一边浏览下来，袁世凯就知道冯国璋不仅对日本人学习西洋兵法的来龙去脉十分了解，而且还专门研究过日军的各种重要典章制度，是一个绝对优秀的军事人才。加上之前荫昌的推荐，袁世凯便对冯国璋更加器重，急切地盼望着他能够到小站来，协助自己训练新车。
就这样，冯国璋来到了小站。喜出望外的袁世凯，听说冯国璋到来的消息，立即大摆筵席，还请来了老将姜桂题和心腹唐绍仪等人作陪，专门给冯国璋接风洗尘。
在酒席上，袁世凯当面夸奖冯国璋的几大册兵书是“鸿宝”，并且对冯国璋说：“本人观军中诸位，能胜过你冯国璋的，恐怕还没有呢！”随后，袁世凯便任命冯国璋为新建陆军督操营务处的帮办，专门负责管理和监督步兵学堂的训练。
之所以任命冯国璋为帮办，是因为当时督操营务处的总办是梁华殿，而梁华殿本人的才干其实是并不亚于冯国璋的。后来，不幸的是，梁华殿在一次夜间渡河训练中失足溺水而亡。梁华殿去世之后，袁世凯很快就把冯国璋扶为了督操营务处的总办。
对于袁世凯，此时的冯国璋是感恩戴德的。他向袁世凯表示，自己十分感激其知遇之恩，愿意跟随袁世凯鞍前马后，两肋插刀，在所不辞！从此时起，冯国璋就成为了袁世凯身边的一员干将。也是从这时起，冯国璋就开始发迹了！
他的发迹，可以说是自己长期准备和努力的结果，因为他曾在北洋武备学堂学习近代军事技能，又有游学东洋的经历。但是，同时确实也离不开机遇和袁世凯的赏识。
当时，清朝需要建立一支强大的新式陆军，这就给一直以来有着高远抱负的冯国璋提供了一个绝佳的机遇。但是，假如没有聂士成和袁世凯，尤其是袁世凯的器重，冯国璋也难以把握住机遇。正是靠着袁世凯的重用，才最终实现了冯国璋到军队里面建功立业的夙愿。
实际上，小站练兵练出了一大批近代著名的军事将领。除了冯国璋之外，像段祺瑞、王士珍、梁华殿、曹锟、张怀芝、段芝贵、王英楷、陆建章、李纯、鲍贵卿、陈光远、何宗莲、王汝贤等人，都是从小站走出来的。
正是这些人，组成了后来北洋军阀的骨干。现在回过头去看，他们的发迹，多多少少都跟袁世凯的慧眼识珠有关。也正是靠着袁世凯的笼络人才，到了1896年春天的时候，袁世凯的新式陆军已经将星云集了。