楚军一直追击汉军到达灵璧，近两万联军士兵被楚军杀死，不过刘邦和夏侯婴跑得很快，都没有被楚军赶上。因为楚军主要精力集中在刘邦身上，对他穷追不舍，曹参等人也都顺利逃走。
“虽然没追到刘邦，不过也没关系了。”项羽在结束了一天的追击后，对左右说道。
刘邦的根底就是一万楚国南路军将士，其中的骨干跟随刘邦征战三年，项羽亲眼见过这支部队的骁勇善战。这次刘邦进攻楚国的汉军中，至少有五千是原先的南路军，他们在项羽的追击中损失惨重。绝地反击获得大胜的项羽，还高估刘邦的损失。
“没有了这些人，刘邦的日子就指日可待了，消灭他只是时间问题。”项羽志得意满地说道，听俘虏说，关中的章邯至今还没有被解决，也就是说刘邦依然有后顾之忧，这样他的兵力就会更加捉襟见肘。
吴芮几乎是全军覆灭，魏豹也和刘邦差不多是孤身逃走，韩王信投降、董翳、司马欣倒戈。当晚范增还派人来向项羽汇报，说是陈余也临阵倒戈，消灭了陈平所部向楚军乞和。
范增已经答应了陈余的要求，不过还是需要项羽做最后的定夺。
“既然亚父都说了，那寡人就赦免赵国吧，暂时。”项羽闻讯更加得意，现在楚国境内已经没有成建制的敌军，刘邦组建起来的庞大反楚同盟土崩瓦解。
“再派一个使者去临淄，”项羽想了一想说道，齐国是反楚同盟中的最后一员，虽然它依旧是项羽的并吞目标，不过现在项羽已经把齐国从首要目标转为第二位的。
但首要目标目前是刘邦，直到现在为止，刘邦是唯一一个敢于和项羽在外野战的敌人，而且刘邦也表现出了相当的进攻意识，敢于攻入项羽的领地而不是被动挨打；最关键的一点是，刘邦这次表现出了对诸侯和楚国兵将的极大号召力，这些因素加起来，使得他变成了远比齐国要危险得多的敌人。
趁着刘邦新败，项羽觉得要把这个威胁一劳永逸地铲除。
“派兵去追刘邦，先拿下荥阳、踏平三川。”在使者离营后，项羽发布了新的命令。彭城之战项羽采取了后退决战的策略，这让东郡、砀郡都受到了很大的损失；为了吸引刘邦的注意力，项羽甚至把彭城都抛出去当诱饵，使得楚国的国库积蓄和经济受到了重创。
因此项羽无法立刻出动全军去进攻关中，他需要筹集粮食，让过去两个月一直处于防守姿态的楚军转换成进攻姿态。在命令部将准备带兵出发的时候，项羽还下令给砀郡、东郡各郡县发去檄文，那些之前投降刘邦的楚将，只要立刻倒戈截杀汉军，那么项羽也允许他们将功赎罪。
从灵璧渡河逃掉后，刘邦马不停蹄地逃回了虞县，把战前留在下邑一带的军队收拢起来，向周围排除小分队去收拢溃兵。几天内，刘邦收拢了大约两千溃兵，期间陆续逃回来的有樊哙、周苛等将领，还有留守彭城的纪信，他不但自己逃回来了，还把刘邦和大部分汉臣的家属都带来了。
本来心气很高的陈平也成了光杆司令，之前他觉得自己手握一支比韩王、衡山王还大的军队，又是第一个投降刘邦的楚军将领，这次立功后也有机会成为诸侯。可现在陈平把所有的资本都丢了个精光，他没有领地所以几乎不可能东山再起。
第四天中午，曹参总算也逃回来了，见到曹参后，刘邦当机立断就要撤兵：“不能再等了，再等就把项羽的追兵等来了。”
此时横山王吴芮已经在回国的路上，他派使者来和刘邦打过招呼，说是要逃回国去闭关坚守，暂时不可能再追随刘邦讨伐项羽这个叛逆。吴芮的使者还暗示刘邦，如果坚守不住，那他可能会去投奔刘邦，看起来吴芮的信心也被彻底摧毁了。
现在唯一还支持刘邦的就是魏豹，不过这也是因为他被刘邦挟持了，彭城惨败后魏豹和刘邦一起逃走，刘邦就命令卫士监视魏豹，确定他不能独自偷溜。仗着魏豹这杆旗帜，刘邦还收留了少量魏国兵马。
“是马上就要来了，”夏侯婴说道，这几天一直是夏侯婴负责监视周围的楚军动静，他发现司马欣和董翳今天早上已经占领了下邑，随时可能会向虞县开过来。此外，夏侯婴还告诉刘邦：陈余好像也派出一个部将，带着上千赵军跟着秦军一起开进了虞县，可能项羽给陈余开出了条件，想平安返回赵国就得协助楚军攻打刘邦。
听到这句话后，兵败以来一直强自镇定的刘邦终于崩溃了，他拍案大骂道：“凭什么啊，项羽弑君夺位，滥杀无辜，诸侯跟着我起兵讨伐项羽是应该的。我干什么了？我没有滥杀过百姓，没有弑君自立，就是弑君自立的诸侯，只要改过自新我也都不追究了，他们凭什么讨伐我？凭什么啊？”
自刘邦在沛、丰起兵以来，他还从来没有打过这样惨的败仗，想到多年的精锐这一仗就损失近半，刘邦气得眼泪都掉出来了——这几天晚上他也独自流泪，但还从未在部将面前这么失态过。
“大王，大王。”郦食其见状急忙安慰刘邦道：“春秋之后，礼乐崩坏，就是这样的。”
“我知道礼乐崩坏，但从来没人告诉我礼乐崩坏到了这个地步啊，”刘邦一边哭，一边骂道：“我事事小心，没有给任何人讨伐我的借口，诸侯们就是不帮着我讨伐项羽，也该中立啊。既然如此，我这么长久以来遵守信义又有什么好处呢？反正无论守不守信义都要被讨伐，那信义又有何用呢？”
“信义是很贵的，所以有信义的才值得钦佩。”郦食其苦笑一声：“黔首之家，可能一两文钱就能买到信义，而缨冠之家，信义就值得千财万贯了，到了诸侯——”
“不用再说了，”刘邦伸手拦住郦食其：“反正寡人现在是用不起，现在寡人朝不保夕，既然大家都不守信义，那寡人也不能为了受人尊敬就全族覆灭。”
说完之后，刘邦就带着部下急忙动身，星夜离开了虞县开往砀郡。只是行军的时候，看着身后稀稀拉拉的两、三千残军，再想起出兵时浩浩荡荡的一万五千大军，以及随行的几万诸侯雄师，刘邦真是恍若隔世。
行了没两天后，曹参气急败坏地来报告：“丁固反了！”
当初刘邦从定陶南下，将项羽从虞县逼退后，砀郡的守将丁固也向刘邦倒戈，而现在得知刘邦在彭城惨败后，他就杀了刘邦派去的使者，又再次倒向项羽了。
“还请大王给我一千军马，臣这就去斩了丁固，把砀郡献给大王。”曹参请命道，想当初他也是手下领着三千精兵的，可现在刘邦大部分兵力都要放在后卫防备追兵，这样曹参只能带着百来个汉军打前站，看到丁固造反无计可施。
“我哪里有一千兵马给你？”刘邦把手一摊，彭城惨败的消息肯定已经传遍了楚境，在返回荥阳前，刘邦周围是危机四伏：“能不打就不打，否则就是打赢了，被司马欣他们追上了可怎么办？”
刘邦本想绕过砀郡，没想到丁固居然追出城来，摆明了要拦截刘邦的军队。虽然丁固只有几百甲士，可要是被丁固拖住的话刘邦就跑不快了。
“我亲自去和他说，”刘邦无可奈何，准备去和丁固面对面地谈判：“他也没有几个人，料他也没有打赢的把握，说不定我能说通他。”
“可现在他在只想立功赎罪，不然他不敢去见项羽，”面对这种情况，即使刘邦身边有张良和郦食其这样的谋士，也是无可奈何。
“大王，今天唯一的办法，就是给丁固一点儿功劳，让他能对项羽交代过去，”好久没进谏的陈平，突然站出来说道。
“什么办法？”刘邦看过去。
“比如把臣交给丁固，”陈平低声说道：“臣是第一个投降大王的楚将，项羽必欲得臣的人头而后快。”
刘邦深深地看了陈平一眼：“你有话就直说，别这么绕来绕去的，不然小心我真把你的人头交给丁固。”
当然不可能把陈平交出去，不然以后刘邦就别指望楚军来投降了。
陈平松了口气，现在刘邦处境极为险恶，他真怕对方为了逃命不顾一切，现在看起来刘邦依旧没有放下和项羽再决雌雄的决心。
“臣，”陈平的声音压得更低了：“要是把大王的家属交给丁固，他就能说得过去了吧？”
周围刘邦的部将都倒抽了一口凉气，但刘邦却凝神盯着陈平看了一会儿，竟然没变色喝骂而是从牙缝里挤出一句话：“依你之见，把谁交出去为好？”
“大王的嫡子或是嫡女，如果一个不够就都交出去。”陈平不假思索地说道。
郦食其正要说话，刘邦抢先摆摆手拦住他：“孤要想一想。”
说完后，刘邦就直奔军中，找到自己的父亲商量此事。
“不行！”没想到刘太公一口回绝，口气异乎寻常的坚定：“嫡子是你的继承人，要是连嫡子都没有，你的臣属还会有什么指望？还会忠于你吗？”
接着刘太公又道：“嫡女也不能给，你和我说过，嫡女可以用来和诸侯联姻，怎么能交给项羽。”
刘邦满嘴苦涩，要不是到了这番田地，他又怎么会想把嫡子、嫡女交出去，可要是被丁固缠住，然后被楚军追兵赶山怎么办？
不过刘太公下一句话，更是石破天惊：“把老汉交给丁固好了，我是你的父亲，丁固拿住了我，无论如何都可以交代了吧？如此他就不敢和你打仗了，万一打败了，我又被你抢回去了怎么办？”
“父亲。”在刘邦回答之前，旁边的吕雉就沉痛地叫了一声。自从刘邦弃官落草后，她和刘邦就只见过有限的几次，反倒是这个和她共患难的公公更可亲一些。见到好不容易跑出来的刘老汉，自愿又要回到项羽那边去，吕雉不禁悲从中来。
“还有你。”刘太公又指了一下吕雉：“你不用哭我，你也要跟着我去。”
刘太公的眼睛如同他赌博时一般的赤红了起来，站起来对对刘邦高声叫道：“如果丁固得到了我，还是不答应或是迟疑，就把你老婆也交给他。有了汉王的亲爹和发妻，他还能不答应吗？”
吕雉悲鸣了一声，当初刘邦当了反贼，她坐了好几年的黑狱；好不容易夫君回来了，却对自己的冤仇视而不见；再没过几天，刘邦带着新纳的小妾去博富贵去了——吕雉作为发妻，留在家乡照顾刘邦的父亲、嫡子是理所应当，但这并不代表她毫无怨言；然后刘邦又招惹了项羽，吕雉和一双儿女再次被抓进了黑狱。现在千辛万苦总算跑出来，居然又要被当作人质送回去。
“莫要哭，莫要哭，”刘老汉转过头对吕雉说道：“你现在不光是刘家的媳妇了，你还是汉王的王后，你想你的子孙世代为王吗？你想你的女儿嫁给诸侯为后吗？她的子孙也可以世代为王。”
听到这句话后，吕雉收住了悲声，擦干眼泪对刘邦点点头：“妾身不怕。”
刘邦叹了口气，伏倒在地，对父亲重重地磕了几个头。
“只要你活着，我们全家就还有机会活下去，你要是死了，我们谁都活不了。”刘老汉对趴在地上的儿子喝道：“莫要死了，莫要输给了项羽，要打败他，逼他把我们放出来！”
说完刘老汉又对吕雉说道：“把老汉的孙子、孙女带来，老汉要再看上一看。”
吕雉把儿女领来的时候，刘邦已经出去做准备了，刘太公压低声音对吕雉说道：“你不是担心不得宠吗？”
相比没见过几面的戚姬，刘太公显然更中意这个照顾自己和一双儿女多年的儿媳，也知道随着刘邦地位越来越高，吕雉对自己的地位也越来越不安。尽管吕雉的兄弟都去了刘邦的军中，但刘邦和项羽不同，并不是很看重亲疏，而是更看重能力，那些吕家人地位不如萧何、曹参远矣。
“所以这不光是为了你的一双儿女，也是为了你自己。”见吕雉点点头，刘太公说道：“你要为汉国的存亡出力，这样将来谁还能质疑你的王后之位？再说子凭母贵，你牢牢地守住了王后之位，你儿子才能继承王位。”