刘黑闼大惑不解的时候，松了口气的李家兄弟也立即着手撤兵退回雀鼠谷，急行军跑了一百多里路的殷开山率先撤进了雀鼠谷，李建成率领中军主力押解着粮草军需紧随其后，李二和段纶则担任殿后任务，三军徐徐而退，从容不乱，刘黑闼手里的力量有限，不敢提前出击，还是到了李二和段纶也撤离了营地，刘黑闼这才带着军队杀出城来，与李二、段纶在雀鼠谷路口干了一仗。