经过一番了解，终于明白了经过。
原来在敌人进攻此地时，另有一路法军却向怀德府侧后运动，在下午的时候，对巴江上的丹凤县城发起了突袭，并成功攻破了丹凤大堤，驻守的越南黄佐炎部两千余人已经溃败，撤往了山西。
刘永福一下明白了局势的严重性，继续守下去有可能会被法军包抄，到时弄不好会全军覆灭。但如果放弃怀德府，撤往山西，没有了这样经营很久的防御工事，只怕山西也守不了多久，该怎么办呢？
想想还是先撤退，留得青山在，不怕没柴烧。
刘永福下令，主力立刻撤退，前往山西。他自己带着警卫连、李唐的四营、刘成良的火炮连，以及刘文谦和刘启亮的两个连，一共一千多人作为后卫部队进行掩护。
对面的法军明显感觉到了黑旗军火力减弱，似乎有所预判，也加强了进攻。在火炮掩护下，费阿希上尉指挥着一个连，首先冲入了黑旗军的阵地，双方再次展开了白刃战。
火炮连拼命放炮，阻止法军后续部队冲入阵地，但也受到了法军火炮的重点照顾，炮兵前赴后继死伤惨重，格鲁森炮也只剩下两门了。
在战壕这么狭窄的空间里，双方的单发步枪根本来不及装弹，完全陷入近身白刃战当中。
四营营长李唐甩掉上衣，光着膀子与法军肉搏，挥着明晃晃的大刀，连续砍死两个法国人，得意之下大叫起来：“鬼佬来呀，试试你爷爷的战刀！”
话没说完，一名法军士兵从侧后，踩着前后步，端着刺刀猛刺过来。
雪亮的刺刀从左后腰贯入，从右腹部贯出，李唐惨烈的嘶叫一声，将大刀朝敌人扔去，也不管身上插着的枪刺，蹦过去一把抱住了对手。
但他很快就失去力气，圆睁双眼躺到地上死了，不过他的手指上却扣着敌人的一对眼珠子！剩下那名法军士兵捂着脸，在地上疯狂的翻滚惨叫！
血腥的拼杀持续了很久，法军zuihou一次被赶出战壕，但后面冲上来的援兵很快将战壕淹没了。
黑旗军已经到了崩溃的边缘，刘永福浑身是血，也不知道是敌人的，还是自己的。
指挥着部队边打边退，尽全力为主力的撤退争取时间，但几番冲杀，混乱中竟不知不觉被法军包围了，指挥的正是法军上尉费阿希。
他显然看出了刘永福是个指挥官，用法语叽里咕噜了两句，法军端着刺刀围上来想要活捉他。
刘永福见旁边只有十来个人，眼看是杀不出重围了，心中暗叹：“想不到我刘永福今天要死在这里！罢，罢，罢，宁死也不被鬼佬羞辱！”
刘永福拔出佩刀，就要往脖子上抹去，刚一举刀，“哗”的一阵乱枪，周围的法军倒了一片，费阿希上尉更是直接被一枪爆了头，血花四溅仿佛一个被摔坏的西瓜。
这时一股黑旗军杀出，来到刘永福面前，领头的人一身血污，左手断了，用绷带吊在脖子下面，正是警卫连长张慎泰。
张慎泰大喊：“团座，不行了，你快跑吧！我来掩护你！”
刘永福也不再迟疑，说了句：“你家里老母，我当亲娘养着。”
然后带着几个人，逃出阵地，钻进了旁边的竹林。
张慎泰转身朝着迎面而来的敌人冲了过去，就像一叶孤舟冲向滔天的巨浪，很快就被淹没了。
到了傍晚的时候，整个怀德府里的杀声终于安静了下来，只是偶尔还有一声枪响。
阵地上纵横交错，躺满了尸体。
四营副营长刘荣湄，以及刘启亮、刘文谦等人，只剩下二十多人，受伤累累，子弹也打光了。zuihou被法军包围，不得不放下武器投降。
法国人被惨重的伤亡激怒，红着眼睛，举起刺刀，从四面扑上来，也不管刘荣湄等人如何高叫呐喊求饶，发狠的一顿乱刺，将这二十几个中国人几乎捅成了马蜂窝。
逃出来的刘永福，趁着天色暗了下来，以及自身熟悉地形，一路东钻西躲，慢慢逃离了怀德府地区。
逃到半路时，竟然碰到了先前撤退主力中一部分人，领头的是三营的副营长朱冰清。
从朱冰清口中得知，原来主力在撤到怀德后面的望村时，居然遭到了法军的伏击，想必是从丹凤赶过来的，知道望村是撤往山西的必经之路，所以特意设伏等候。
双方乱战了一场，黑旗军伤亡极大，部队也都被打散了，朱冰清自己带着一帮人杀出一条血路，也不知道其他人是死是活。
刘永福哼了一声：“我们黑旗军一惯偷袭别人，想不到这些法国佬学得倒蛮快。”
“团座，如今之计，该作何打算？”
刘永福苦笑一下；“还能有什么打算，只好先撤到山西。法国人不熟悉道路，天色也黑了，想必会逃出不少人陆续都会撤到山西去。到时候再看看能否重整旗鼓吧。”
朱冰清叹口气：“也只好如此。”
刘永福摇着头：“怀德府那边，我们的人只怕都要……，唉！”
“团座不必难过，战场之上总有死伤，且记下此仇，总要回报的一日。”
两人边说边向密林中钻去。
接下来的两天，黑旗军残部陆续抵达山西城，刘永福将人数进行统计，此番恶战，八个正副营长损失了一半，只剩下胡昆山、黄守忠、吴凤典和朱冰清四人，火炮连只逃出韩再勋一个人，所有火炮都只能丢掉了。辅助连五个连长只有叶成林和邓遇霖两人回来，刘永福的儿子刘成良也是生死未卜，总共只撤回来一千来人，也只有一半人还带着枪。
此时，第六师第一旅旅长王孝祺，已经到了山西，经过和刘永福、邵友濂等人的商议，由邵友濂向指挥部报告战况，请求支援。
在报告中，邵友濂总结了怀德保卫战失利的原因：
首先是由于驻守丹凤的越南军队迅速崩溃，导致黑旗军失去了侧翼的保护。得出的结论是越南军队不可信赖。
其次是法军的战斗力异乎寻常的强大，不但装备精良，火力凶猛，尤其是组织严密，训练有素，作战极为勇猛，这是一向以近身肉搏为长处的黑旗军所未曾见过的。这也是未来战斗中，中国军队所必须注意的。
报告分析了法军的战术：利用越南北圻地区，密布小河小溪的特点，擅于使用小吨位的炮舰对陆军进行火力支援。步兵人手一支后膛步枪，并携带大量火炮。在进行火力压制后，依靠步兵的冲锋，zuihou往往使用白刃战结束战斗。
报告的zuihou还附录了刘永福的请罪书，称由于自己指挥不利，导致怀德府的失守，愧对指挥部的信任，愿自请处分。
与此同时，因为担心法军会继续进攻山西，决定加速修筑防御工事，并派出大批探子，侦察法军的消息。
此时的西山城里虽然有数千兵力，但是弹药紧缺，撤回的黑旗军更是弹尽粮绝了，假如法军此时兵临城下，只怕将是一番更大苦战。这山西城若是丢了，将会震动整个大局，实在退无可退啊。
想到这，这一众将领都不禁忧心忡忡。
几天后，刘永福的儿子刘成良，居然大难不死，带着些人，一身是伤的活着回来了。
大家还没来得及高兴，就听刘成良说，刘荣湄、刘启亮和刘文谦等人，举手投降还被法军残杀了。
一时间群情激愤，不管邵友濂如何劝解，大家还是把俘虏的法国上校李维业，横着拖了出来，用战刀大卸八块，并将头颅、身躯、手脚分装在几个木笼子里，挂在山西城的城墙上。
邵友濂无奈之下，只好默认了这种行为，还在城墙上贴出布告，指明李维业上校本来受到了有尊严的对待，但是法军士兵对于中国俘虏的虐杀，导致了他的死亡。