下来的反应是，灵宫殿会不会成为第二个青树坪呢？如果白崇禧发现第135 师是孤军深入而倾全力围攻。第135 师的处境就十分危险了。
一连串的疑问在林彪的大脑中快速闪过。他马上考虑的是如何利用这一意外情况，来衔接上他的整个战役部署，使其成为整个部署中不可或缺的一环。
当日18时半，林彪立即致电了盛、韦祖珍：“（一）你师明日上午应在现地休息和待命，准备下午向湘桂路前进，于6 号12时左右突然进至洪桥、大营市之线翻毁铁路。（二）你们暂时归我们直接指挥，望告电台特别注意联络我们。（三）目前敌后甚空虚，你们须采取机动灵活的独立行动，袭歼小敌，截击退敌。”
从林彪赋予第135 师“翻毁铁路”、“截击退敌”的任务可以看出，林彪已经在考虑白崇禧部可能撤退的情况了。果真如此，第135 师就成为堵截白崇禧的一支意外的伏兵。为了随时调用这支伏兵，林彪决定对其实施超越指挥，即超越兵团和军两级指挥机构，由林彪直接指挥。
直接指挥到师，这是林彪在战况紧急的情况下通常采取的指挥方法。在辽西会战打廖耀湘兵团时，有的师在哪儿，纵队不知道，林彪知道。有时纵队正在执行林彪前封电报的指示，师里已经按照林彪变更的下封电报行动了。据说，有大将风度的二野第4 兵团陈赓司令员曾风趣地说：“在林总指挥下打运动战，兵团司令是‘空军司令’，可以睡大觉。”
给第135 师的电报发出后，林彪的心情也变得宽松一些。
收到野司的指示电后，丁盛紧张的心情也平静下来。师部当即研究了野司的指示电，考虑到部队目标已经暴露，停留过久会遭到敌军围攻，决定次日上午不休息，天一亮就行动，向野司规定的目标——洪桥方向前进。
5 日晚上，月明星稀。白崇禧在衡阳五桂岭长官部召开紧急军事会议，参加会议的有长官公署副长官、各兵团司令官及参谋长、长官公署各处处长等。作战处长首先作综合形势报告，末了总结说：“结合各方情报，共军已在宽正面向衡阳推进。根据这一情况，我们现在所处地区极为不利，最好能换一个地区与共军作战。”
话音未落，白崇禧正色道：“换到哪个地区去？”
吓得这位处长什么话也不敢说，呆立当场。
最近几个月来，白崇禧主持的每次军事会议，大致都是主战派和主退派吵吵嚷嚷争论一番，并且每次都是不了了之。这一次也不例外。
张淦向来都是主战的。他说：“要守住衡阳，必须采取攻势，不能坐着挨打。”
白崇禧接着张涂的话说：“内战时广西利用内线作战，各个击破了从云南、湖南。广东侵入广西的部队，保全了广西。目前仍应本内线作战原则，相机击破当面共军。”
第3 兵团参谋长霍冠南站起来说：“我认为共军是齐头并进，没有地障隔离，我们无机可乘而各个击破之。内线作战必须有良好的交通网，而我们只有衡宝公路，部队运动和辎重运输都感不便。而更重要的是时间和空间都不能造成对共军的任何一方面的绝对劣势，而给予我们以各个击破的机会，任何一方向的共军都可随时参加另一方向的作战。因此，我们目前并不具备内线作战的有利条件。”
霍冠南接着说：“依照目前形势，衡阳在战略上已处于一个等边三角形的顶点，陷入了共军的钳形攻势内端，惟一可行之对策只有撤退。撤回广西，以一部暂时固守黄沙河——龙虎关一线，主力控制在柳州、桂平地区，以内线作战姿态，乘机打击由湖南和广东进入广西的共军；或者退到广东固守韶关一线，以利争取美援，等待国际形势变化。”
白崇禧与手下将领分歧严重。会议开到深夜两点，仍得不出一致的结论。
正在这时，第7 军军长李本一打来电话报告说：“发现共军一部于本日黄昏通过衡宝公路南进。”
霍冠南十分焦急地向白崇禧再次建议：“战机已急迫，不能再犹豫，衡阳现已成为共军的包围核心，无法再战。应果断下决心撤退。”
白崇禧并未因共军一部南进而改变自己想在衡宝地区与共军打一仗的想法，他很不耐烦地说：“你为什么不提出第三个方案，攻击的方案。”
由于白崇禧一心想打，所以他错过了最佳的撤退时机。当他不得不决定撤退时，就有些措手不及了。
后来，白崇禧在桂林体育场对撤退到桂林的第3 兵团的残兵败将说：此次第3 兵团遭到的惨重损失，完全由我个人负责，因为我没有同意下边一些长官的意见，果断及早撤退，所以才造成这次的重大损失。
6 日拂晓，丁盛正准备率第135 师出发，桂军第7 军第171 师对衡宝公路南侧之孙家湾一带的第405 团阵地突然发起猛攻，副团长韩怀智当即率第3 营进行阻击。从俘虏口中得知，该敌是奉命以奔袭手段查明我军人数及动向。
丁盛当即分析了当前敌情和形势，认为在敌重兵围攻之下，继续前进或撤退均于己不利，遂决定暂时停止出发，各团迅速占领阵地，构筑工事，就地抗击敌军围攻。
第405 团适时调整部署，将突出部位的第3 营阵地适当向后收缩。上午10时许，敌人发动全面进攻，步兵在炮兵和飞机的火力掩护下，连续向第135 师各团阵地猛攻，但均被解放军顽强击退。
为抓住这一有利战机，林彪于6 日不断发出电令，部署中路军各部在祁阳以北地区歼灭白崇禧集团主力。
在给第12兵团并所属各军的电令中指出：“（一）桂敌调动甚速，因此我各部亦需能及时应付。因野司对密息能及时了解，因此在目前时期，我40、41、45、46、49、18等各军行动暂由我们直接指挥。故各部特别是各先头师，应特别与我们保持电台联络，随时报告敌情及位置，以便根据密息及时调动，配合行动。（二）我12兵团前梯队应设法驰赴永丰及其以南，担任战场指挥，准备进行大围歼战。”
第135 师与桂军激战至6 日18时，丁盛鉴于只有正面一股敌人，其他方向并未发现严重敌情，遂下令各团立即撤出战斗，继续完成野司下达的向湘桂路穿插的任务。师主力第404 、405 团为右纵队，由灵宫殿经石株桥向关帝庙方向前进；第403团为左纵队，沿师主力平行路经余家冲、赤壁岭向井头江方向前进。
非常巧合的是，丁盛规定的这一进军路线恰恰也是白崇禧给其第7 军规定的撤退路线。在接下来的两天里，第135 师与敌人一个王牌军共四个师的兵力纠缠在一起，进行了艰苦激烈的战斗。
6 日一大早，几乎一夜未睡的白崇禧感觉十分烦躁。这天恰好是中秋节，他已无心欣赏这良辰美景，内心矛盾极了。作为一个军事家，几十年南征北战，他深明进与退的道理。在一定的条件下，作战略转移或撤退，以空间换时间，是必要的。但在目前形势下，一味撤退，避而不战，最后必是不战自溃或退无可退。特别是衡阳，它是华南地区的交通要道，是连接广东的最后一环，也是屏障广西的枢纽，自古就是兵家必争之地。如果放弃衡阳，就意味着不仅放弃了湖南，也放弃了广东，也就敞开了广西的大门。再说，即便退到广西，又能坚持多久呢？从战略上说，目前这一仗是非打不可的。
但是，他的将领们都不主张打，而主张撤。而且，全军上下在林彪兵锋逼迫之下，缺乏战斗意志。
想来想去，白崇禧仍理不出头绪。他又打电话把李品仙、夏威及张涂、霍冠南等人召到长官公署来，不算正式开会，而是随意聊聊。谈话中，白崇禧一会说，衡阳还有很多从武汉。长沙运来的各类物资没能运走，如果撤退，这些物资都要损失掉。一会又说，现在前线还没有激烈的战事，大家不要丧失信心。
正在闲聊之际，一个接一个的不利消息传到长官部来。
首先是第7 军报告，已查明，楔入衡宝公路以南灵宫殿地区的是共军一个师，当日上午，该部及附近国军共四五个师实行围攻，但均被共军击退，现战斗仍在激烈进行中。据侦察，该部共军有继续向南直插湘桂铁路的迹象。白崇禧惊出一身冷汗，湘桂铁路是实行部队机动的命脉，如被切断，后果不堪设想。白崇禧下令继续攻击该部共军，务期将其歼灭。
接着又传来东西两翼的战报。西线共军已前出到靖县，有继续包抄武同或直插柳州的可能。东线的曲江、乐昌已无国军正规部队，近日共军即将进入上述两城，粤北陷落将使衡阳陷人孤立，同时也宣告华中部队退人广东的道路波切断。
白崇禧不能再犹豫下去了，只有撤退了。白崇禧集团只有向广西撤退一条路了。6 日15时许，白崇禧非常痛苦地作出全线向广西撤退的决定。
6 日24时许，白部开始大规模撤退行动。第7 军指挥第171 、172 、176 、138师由宝庆、祁阳向武冈撤退；第56、46军（欠第174 师）和第7 军第2 二师、第97军第33师向道县撤退；第58、125 军和第48军第175 师、第126 军第304 师向零陵撤退。第力军、第14军第10、62师和第46军第174 师留置桃花坪、宝庆一线，担任警戒，掩护主力撤退。
华中长官公署部和第3 兵团部，于7 日凌晨2 时许开始撤退，经祁阳、全州退往桂林。白崇禧于天亮后乘一架军用飞机直接飞往桂林。
7 日凌晨，四野总部和林彪获悉白崇禧部撤退的消息，当即部署各部对逃敌实施堵击和追击。这一天，野司的电台忙得不可开交。
8 日和9 日，四野总部和林彪又根据情况的不断变化，适时对追击部署进行调整。同时，就追歼作战的战术和指挥提出了明确要求；——“凡遇到敌人一个团或一个师的兵力时，应首先将敌人退路切断，围而不攻，等友军到达后再