张维玺的到来，让张汉卿非常高兴，他兴奋地对张维玺说：“你来了，人民军中多了一员猛将。”可是在他心中，让他最感兴趣的还是此时名不见经传、后来成为著名抗日将领、民族英雄，同时也是第二次世界大战中同盟国牺牲的最高将领的张自忠。
    张自忠刚毅寡言，但有较高的带兵天赋。在他就任连长三个月后，他的第二连便在全旅各连军事考核中夺得第一，成为十六混成旅的“模范连”。模范连是冯玉祥治军的样板，张自忠得此殊荣，干得更加起劲了。经他训练出来的全连126名士兵，后来几乎个个成才，仅军长、师长就出了十个，旅长、团长就更多了。从这时起，张自忠注重军纪、治军严厉的风格已经十分突出。遇有违反军纪者，他初则说服教育，再则严厉训斥，三则军棍伺候。正如士兵们在歌谣里所唱的：“教你学好不学好，鸭嘴军棍挨上了。”后来，因张自忠对于违反军纪的官兵常说一句口头禅：“看我扒不了你的皮1于是，被官兵们冠以“张扒皮”的诨号，全军上下无人不晓。一首顺口溜说：“石友三的鞭子，韩复榘的绳，梁冠英的扁担赛如龙，张自忠扒皮真无情1
    “张扒皮”的浑号使人误以为此公是个无情无义、粗暴蛮横的武夫，实则不然。张自忠爱兵如子，严中寓恩，深知“治兵先治心”的含义和“恩威并用”的运用之妙。以打军棍为例，张自忠并不是遇过即打，滥施棍杖，而是实行“八不打”，即：有病不打，盛气不打，盛暑不打，饭前不打，无恩不打，罚过不打，夯兵不打，不知不打。可见，张自忠对于如何使用军棍是十分讲究轻重分寸的。
    这样一个人才，怎样才能招到帐下？用金钱、名誉来引诱这位一身正气的年轻军官无疑行不通。张自忠从懂事起，就开始接受旧学的熏陶，父亲的影响和学校的教育，都毫无二致地归一于孔孟之道，因此，强调忠、孝、仁、义的旧道德从小便在张自忠的内心深深扎下了根。学习之余，张自忠常借一些小说来阅读消遣。最让他喜爱的是《三国演义》、《说唐》和《说岳精忠传》。这些古典名著对传统道德作了活生生的注释，关云长、岳武穆和秦叔宝的忠义侠行和浩然之气令他心驰神往，由衷敬慕。他也曾在由营长提升为团长时以才能和经验只勉强做一营长而上书恳辞，用地位引诱只怕让他哧之以鼻。
    既然如此，直接晓以民族大义，以停止内战、抵御外侮来劝之归顺奉军可能是一明智之举。张自忠此时任冯玉祥卫队团第三营的营长，奉命驻守在长丰县。之所以派出卫队守边，实在是因为他的摊子铺得太大了，人手照顾不过来。
    张自忠同样对直军以一已私利阻挠统一非常不满，他对冯玉祥只打自己的小算盘也颇有微词。对南边的奉军少帅（他一直认为人民军是奉军的一部分）也深表尊敬。少帅一改传说中民国纨绔子弟的作风，通过卓有成效的“奉天经济改革”，建立近来声势颇大的人民党，安蒙、平甘、入陕、夺鄂、抢皖丝丝入扣，一气呵成，显示了其杰出的军事、政治能力和战略观，吴佩孚、冯玉祥之辈的能力尚达不到那种境界。从张汉卿“不经意”间写出的那首《清平乐amp;#8226；六盘山》也可以看出，张汉卿所图非小，正所谓言为心声。
    对于少帅亲笔写信招降，他既矛盾又感激：他不过是一个营长，张汉卿麾下有无数强将，竟然能看上默默无闻的自己，且竟然赞诩自己为“国之良将”，顿感有一种知遇之恩。可是自己在冯玉祥帐下效力多年，颇有感情，自古忠臣不事二主，怎能在这种时刻抛弃冯师长？
    张汉卿似是明了其心迹，在信的末尾诚恳地说；“我知荩忱（张自忠的字）兄忠义过人，但忠于国家谓之忠，忠于个人谓之义。人民军以统一国家、强大民族为已任，亟需如兄之人才为辅。盼兄以民族大义为重，舍小义而换得民族复兴，则中国幸甚，百姓幸甚1
    思忖再三，张自忠决定加入人民军，他在留给冯玉祥的信中说：“冯将军敬启：荩忱跟随师长已逾4年，每思报效国家，终恨无门。民国自成立以来，军阀混战，民不聊生。张少帅汉卿者，以统一国家振兴民族为已任，素为荩忱所敬仰。今将弃君而奔彼地，因行事匆匆，不及面辞。望将军能以国事为重，谅解荩忱一片苦心。我闻君子交绝，不出恶声。临别赠言，为荩忱肺腑之语。”
    张维玺、张自忠两员大将加盟，使张汉卿欣喜异常。他也言出必诺，安排张维玺任于学忠第8师一旅代旅长，以张自忠任司令部高级参谋兼军官教导团副团长（军衔升为上校）。
    受其影响，佟麟阁也来到了少帅帐下，同样也获得了重用。有样学样，冯系士官接连跑了十几个骨干，有的甚至是连同所辖部队一夜之间全部倒戈。
    冯玉祥对张汉卿是吓怕了。他的几员虎将一个一个先后离开，对他的部队的稳定和士气的影响是巨大的。他像一头暴恕的狮子，将自己关在房内咆哮了一天。不过为了防止更大的损失，他主动放弃了淮河以南的地盘，在皖北的部队也全部都集中在几个大城市，以有效避免人员流失。
    人民军援军先头部队是在4天后进入合肥城中的。安徽民众热情欢迎人民军的到来。早就听说人民军是民国初年中国军纪最好的军队，真是闻名不如见面，见面胜似闻名。合肥大商赵延宗在清晨推开窗户时，意外地发现自家楼底下的光明大道两旁整整齐齐的人民军士兵席地而卧，整整一夜都没有民众受到惊扰，这是民国军阀征战各方所从没有的事情，不由得从心底呼喊：“得民心者得天下，人民军得天下已经不远了1