杨广当夜对宇文述说道：“宇文爱卿，杨玄感于黎阳郡造反，已经纠集了数万兵马准备进犯洛阳了，朕意欲撤兵回援东都，你觉得如何？”
宇文述略一沉吟，把心一横说道：“陛下，此时辽东城正打到了关键时刻，将士用力下旦夕可破，不宜撤军啊。”
“那宇文爱卿的意思是朕应该弃皇孙与诸位大臣的家眷于不顾，而要猛攻高句丽？”杨广见宇文述并不理会自己递给他的话头，而是执意要继续攻打辽东城，心中有些不悦。
“臣愚钝，未能领会陛下的深谋远虑，还请陛下恕罪。”宇文述连忙跪倒在地，以头触地，不敢再有别的说辞。
杨广点了点头，说道：“此番撤军就都交由宇文爱卿了，朕亲率骁果军回东都救援，让杨义臣将军率兵直接剿灭山东诸郡的乱匪，爱卿与薛爱卿速速赶来。”
当天宇文述派出快马去联系北路的薛世雄和在海边驻扎等待辽东城一破就直接从水路直插平壤城的杨义臣，转述了圣意。随后便交由自己的几个副将负责具体的撤离事宜，独自带着亲兵跟在杨广身后向临榆关内撤走了。
那几个副将心知此行东征已不可为，再留下很可能也会没命，便告知全军放弃进攻辽东城，向临榆关撤离，随后便也各自带着亲兵先行一步撤退向了临榆关。
李文渊和薛举此时刚刚带队回来复命，却找不到宇文述，反而却看到了营内三五成群的窃窃私语。随便找了个士兵问：“这是怎么了，为什么没有见到宇文将军？”
那个兵丁看到了李文渊的装扮，知道自己面前的这个人也是个军官，便低声说道：“回您的话，宇文将军早就带着亲兵离开大营前往临榆关了，皇帝陛下也早早就回去了，要我们自行撤向临榆关。”
李文渊心里一惊，原来不知不觉间东征已经结束了，按照历史此时应该是杨玄感造反的时候，如此的话，这辽东就不是久留之地了。当下放开兵丁不管，翻身上马火速赶回了薛举的营地，对薛举说：
“大哥，皇帝已经离开了大营，宇文述也走了，应该是杨玄感起兵造反了，此处不宜久留，咱们也准备撤吧。”
薛举点点头，命令士兵收拾东西，准备行军，却并未说明要撤回关内。当夜负责盯梢隋军辽东城大营的探子传回消息，大营里涌出无数士兵，各持大袋的粮米却不是要进攻辽东城，而是向身后的辽水的方向没命的跑了下去。
渊太祚在城内手扶着城垛向外看，心中也是不解，隋军已经一天没有发动进攻了，而且今天四边城墙的守军都有来汇报说隋军大营里的营灶比前一天少了不少。
渊太祚得知消息皱紧了双眉，难道是隋军久攻不下，又转而使出了减灶之计要诱使自己率兵出城劫营，解辽东城之围？不弄明白事实情况下，再看一看情况。随后就传下命令，各守城部队没有自己的命令，都不准出城，加强防守，防止隋军假意撤退麻痹守城部队后偷营。
第二天晚间薛举和李文渊带着手下的金城骑兵来到了城下大营，看到背负粮米而逃的人更多了，李文渊坐在马上，看着远处逃走的士兵说道：“大哥，军心已散，事不可为，咱们按照计划来吧。”
薛举则是看着不远处的辽东城，说道：“我不甘心啊，这么多大隋官兵倒在辽东城下，眼见就要活擒了敌酋，却要撤退。”
李文渊连忙开导薛举说：“大哥，其实你比我看得开，渊盖苏文的大军就驻扎在不远处的地方，人数和咱们征辽东的中路军差不多。现在他们按兵不动，全是渊盖苏文想要借我们的手，除去自己的父亲。若是我们真的攻下了辽东城，擒了渊太祚，渊盖苏文就会以此鼓舞手下的士兵的士气。再来夺回辽东城，咱们还是一场恶战，能不能守住辽东城还两说。不如就此撤去，以后早晚回来灭了这高句丽。”
薛举咬了咬牙，最后长叹了口气，说道：“贤弟所言极是，咱们就按照你事先定下的计策，去辽水对岸。”
五千金城骑兵跟随着薛举和李文渊连夜奔向了辽水，终于在天刚蒙蒙亮的时候赶到了辽水边的渡口。这座渡口叫帝津口，是杨广为了征辽东新修的渡口。
薛举和李文渊急急忙忙的赶到辽水边，散出斥候沿着辽水四下寻找，终于找到了三条小船，金城兵里没有会操船的，幸亏薛举率一部分骑兵赶来一群溃兵，是江南兵。
李文渊大喜，这是他计划中最关键的一步，随后让金城兵押着这群江南兵驾着三艘小船向对面划去，去驾回对面岸边的五十多条大船。这些大船也是杨广为了征高句丽而特制的，每条大船可载五百人，而且本身船身大，在江中十分平稳，稍微多载个一两百人也不至于在浪中倾覆。
许给了每名临时充作船夫的江南兵每人十吊钱，只是要他们运送隋军士兵过河，保证不让他们送死以后，运送了两千金城兵由薛举率领着在对岸作为接应，李文渊率三千金城兵在高句丽一侧，收拢将来的溃兵。
李文渊指挥手下三千骑兵摆开阵势，等待着溃退来的隋军士兵，同时手中把玩着一枚腰牌，这枚腰牌是他根据自己参观博物馆时临摹复制过的隋将军腰牌，托了薛举找了自己私自打造兵甲的铸铁师傅按图纸打造的，重铸了无数次就是为了今天所用。
杨广突然撤兵，有些关系的将领早就提前一步撤走了，留下来的都是低级军官，自己这块几乎可以以假乱真的腰牌就派上了用场。远处似有烟尘飘起，围困辽东城的士兵，终于抛弃了平日里束缚自己的军法，为了活命争相向着辽水跑了过来。
李文渊给对岸的薛举打了个信号，要他那边也做好准备，自己则是整顿自己的军队，严阵以待。