刘备待宋忠走后，立即与徐庶、诸葛亮商议，徐庶道:“不如引兵急攻襄阳，然后拒曹。”
刘备问道:“此乃景升兄基业，怎能攻其子嗣，夺其基业。！”
诸葛亮看刘备断然拒绝，也明白襄阳城内蔡瑁久掌兵权，经营数十载，非轻易可拿下的，何况曹操大军很快就要抵达，便道:“既然如此，不如退入江陵，再图大事。”
刘备道:“只能如此。”
于是率帐下兵马南下江陵，刘备驻扎新野七年，治理新野，百姓安居乐业，闻听刘备南撤，也都要跟随刘备南撤。
刘备不忍弃之，便和百姓一同南撤。樊城百姓一看，也要跟着。百姓拖家带口，尽数跟随。刘备带十余万南撤。
徐庶、诸葛亮急忙来找刘备劝道:“主公，我们要想取江陵，必须急攻，若带上十万百姓，恐怕会耽误我军行军速度，到时无法抵挡曹操。”
刘备道:“我知道，但百姓欲归我，我怎能弃之不顾。”
刘备令将前时准备好藏于民间的船只征集起来，由关羽水军登船，刘备下先让百姓中的老人、小孩登船，关羽训练的水军除了水手何必要的守卫外，暂不登船，将百姓送到往江夏方向后，再返回继续运送百姓。
刘备又派人往刘琦处求援，于路上接应。众人劝刘备将家眷先送走，刘备道：“我家眷中并无老人，岂能先走，百姓信我方才跟随，怎能自违誓言，不必多说。”
诸葛亮道：“虽是如此，主公家眷终究不可与百姓混杂，以免发生意外。”众人附和。
刘备道：“既然如此，子龙，备之家眷，劳你照看。”
赵云上前道：“必不负主公所托。”
关羽先引兵在汉水将木船排列，架起两座浮桥，百姓尽数过汉水，而邻长、乡长、屯长各自将老人、孩子选出，送到关羽船上，沿汉水南下。
刘备望襄阳而来。
众人抵达襄阳城下，刘备打马来到城下喊道:“请刘琮出来搭话。”
守城兵马报与刘琮，刘琮不敢回答，蔡瑁道:“不要理他，敢近城池便以箭射之。”
刘备连喊数次，无人理会，刘备叹息一声，打马离去。
张飞道:“大哥何不趁机破襄阳，宰了刘琮和蔡瑁。”
刘备道:“纵然破城，于事无补，不过是生灵涂炭，更何况刘琮乃景升兄之子，安肯害之。”
张飞道:“大哥也太好心了，便宜这些贼子了。”
刘备继续南撤，襄阳一些百姓纷纷逃出城外，弃刘琮而投靠刘备，荆州一些士族，带着自己的家倦部属，随刘备逃亡。竟然又多了数万人，如此行军，行军速度非常缓慢，一日不过行十余里。
简雍劝说刘备道:“如此行军，未到江陵，曹操必然追上，不如轻骑前进，待破江陵，再来接应。”
刘备道:“夫济大事必以人为本，今人归我，我何忍弃去！更何况，我一旦离开，百姓慌乱，兵士丧胆，如果曹操追上，必遭毒手。我在，尚可组织兵士抵挡，百姓才有生机。”
简雍又道:“如此下去非良策。”
刘备思量了一会儿道:“不去江陵了，下令转往江夏。”众人大惊。
刘备胸有成竹，想到：“既然江夏是我的兴起地，强去江陵乃就是逆天，不如早去江夏。”
当下令千人为一队，分出五队，每十里开始做饭，节约时间。
刘备又令百姓除了金银细软，没人只留一件衣服，其余尽数掩埋或丢弃，待到江夏再补偿，刘备将所属辎重除粮草外，多余的兵器、铠甲沉入水底，空出的车子载老弱民众，如此，行程稍快。
刘琦收到侯印惊疑不已问道:“如此说来，我父亲已经离逝。”
使者道:“正是。
刘琦听罢放声痛哭。”帐下伊籍道:“主公何时逝世。”
使者答道:“二十天前。”
伊籍怒道:“既然如此，为何不立即通知大公子，反倒此时前来。”
使者不敢隐瞒便将蔡瑁、蒯越等人拥立刘琮之事一一言明。
刘琦听罢大惊，伊籍又问道:“那蔡瑁此贼遣你来干什么。”
使者道:“蔡瑁遣我来告知大公子曹操大军已到，若投降，仍不失封侯之位，否则，大军碾压而来，顷刻化为粉糜。”
刘琦怒道:“蔡瑁狗贼，我父亲待他不薄，为何父亲尸骨未寒，便要投降。”
伊籍道:“大公子何不起兵讨伐刘琮，重掌荆州，以抗曹操。”
刘琦道:“我也正有此意。可派人往新野联络我叔刘玄德，共伐刘琮。”
正商议，刘备使者糜竺到，刘琦将事情原原本本告知使者。
糜竺道:“大公子，此事我主亦知，今我主欲占据江陵以抗曹操，特来请大公子共往。”
刘琦道:“我正有此意。”立即点一万兵马，令甘宁为先锋，望江陵而来。
曹操抵达新野，见城中无人，方知刘备南逃，蔡瑁遣人来迎，曹操问道:“刘备可曾到过襄阳。”
使者道：“刘备到过襄阳，不敢攻城，领残兵败将南逃了。”
曹操道：“往何处。”
使者道：“不知，但刘备带了十几万百姓，一天都走不上十里路。”
曹操道：“刘备往南必然想占领江陵，江陵乃兵家要地，不可让刘备先得。曹纯何在？”
帐下一人转出道：“曹纯在此。”
曹操道：“你与我领五千虎豹骑急袭江陵，出其不意，攻其不备。大军押后，此战务必彻底歼灭刘备。”
曹纯应诺。点起兵马，率众出击。
虎豹骑乃曹操精选百人将组成，每人久经战争，作战勇猛，马匹更是百里挑一的健马，此军号称天下骁骑。
曹操、曹纯率领虎豹骑一天一夜疾驰三百里，在当阳长坂坡追上断后的刘备。
刘备与关羽会和，关羽来回将所载老弱运往江夏方向，将百姓尽数放下。如此反复运输，刘备也没停下，不断往南走。
关羽这次在长坂坡与刘备会和，此时，十余万百姓只剩下三万，而且壮年男女居多，刘备准备一次性部送到江夏。
刘备便将百姓运到船上，但船有些装不下，刘备令熟悉水性士兵带着熟悉水性的百姓抱着木头，木头拴在大船后面，尽可能的多运送一些百姓。将车辆临时改造成简易的船只。刘备家眷在众人坚持下也被接到船上。
最终还剩剩下了不足一万余名百姓。刘备引一万多人保护他们。
曹操领虎豹骑杀到，刘备得到消息后，排开阵势，命百姓四散逃离，自己亲自与战。