说曹操即将南下，而且刘备又没有请来诸葛亮。所以徐庶并没有走，而是返回新野。因为徐庶想曹操断然不会伤害母亲的，因为曹操奸诈不假，但是确实是个英雄，否则也就不会照顾吕布谋士陈宫的家小了。
刘备得知徐庶回来自然万分高兴，现在刘备文臣有徐庶，糜竺，孙乾，武将有关羽、张飞、赵云、关平、刘封、廖化等将领还有将近两万兵马。
所以刘备众将领召集过来商议一下该怎样走，孙乾先开口了道：“主公如今之计率军投奔公子刘琦方是上策。”
刘备把目光看向徐庶，徐庶站起身道：“孙先生的话，不无道理，但现在情况有变，诸葛孔明素来有大志向，你自以为比曹操如何，比刘表如何，比公子刘琦又如何。”
刘备不解其意道：“曹操胜我很多，所以曹操纵横中原，我漂泊半生无家可归，但我自以为胜刘表很多，刘表当年若听我的，趁着曹操和袁绍交战的时候，偷袭许昌早就成功了，何必有今日。更不要刘琦了。”
徐庶道：“这就是了，孔明素有大志，放着您这样的明主不要去投靠公子刘琦，据说如今的江夏也有近三万兵马，想必刘琦并没有这样本事都是孔明之力。想是孔明已经争夺天下之心。”徐庶真不愧是大谋士，洞若观火。猜个八九不离十。
刘备道：“若如此当如何？”
徐庶道：“坐山头观虎斗，趴着桥头望着水流。咱们放弃新野，前往交州，依靠苍梧太守吴巨。”
刘备犹豫道：“我刘备纵横半生，被曹操追赶的，从江北逃到江南。如今还要逃，难道此生我只能逃走了吗？”
徐庶道：“主公必败担忧，如今曹操南下刘琮必定投降，荆州主公是无法呆了，主公逃往交州实力无损，况且曹操若得荆州必然吞并江南，以孔明和周瑜的智慧，必然不容易成功，到时候曹操若是败走，您就趁机收取江南四郡，以为根基。然后看形势而定。”
刘备叹道：“只好如此。但我要带上愿意跟随我的百姓。”