占领山东后，按照北伐战略，徐达率军从山东进军河南。

　　朱元璋在应天调兵遣将，全力支持北伐，不仅令康茂才领兵北上到济南跟随徐达北伐，以增强北伐军的兵力；而且，令汤和返回明州，督造海船，为北伐军运送粮草。

　　另外，朱元璋任命邓愈为征戍将军，率领襄阳、安陆、景陵等地的兵马攻取南阳以北各州郡，以配合徐达攻取河南的军事行动。

　　明朝洪武元年（公元1368年）二月，朱元璋派人对徐达说，平定乐安后，立即率兵溯黄河而上攻取汴梁、河南（今河南洛阳）等地；并且告诉徐达，张兴祖、康茂才、薛显、傅友德等人已到济宁草桥，均听从徐达统一调遣。

　　同年三月，徐达率军回到济宁，随后发兵陈桥，进逼汴梁。汴梁的元朝守将李克彝和左君弼商量对策，他认为左君弼曾与朱元璋交战多次，熟悉北伐军的阵势，想让左君弼充当先锋，他亲率主力紧随其后，可是左君弼因为感激朱元璋把母亲送还给他，不想抵抗。

　　李克彝无可奈何，趁夜驱赶军民逃到河南府路，于是左君弼、竹昌率众投降，北伐军占领汴梁。

　　徐达令陈德驻守汴梁，率军从中滦进取河南（今河南洛阳）。

　　四月初八，徐达军过虎牢关，进抵塔儿湾，元将詹同、脱因帖木儿率五万兵马在洛水之北十五里列阵迎战。

　　常遇春奋勇当先，单骑冲入敌阵，重挫敌军锐气。徐达率军趁势猛攻。恰在此时，突然刮起南风，喊声震天，元军阵脚大乱，溃败而逃。

　　脱因帖木儿收拢残兵，逃往狭州。

　　徐达于是屯兵于河南城北门，李克彝再次逃走，投奔陕西的李思奇，元梁王阿鲁温出城投降。

　　不久，冯胜攻打陕州，脱因帖木儿弃城逃跑，令康茂才在此驻守。

　　冯胜接着攻打潼关，李思齐、张思道弃关而逃。起初，李思齐、张思道听说朱元璋军队攻占了河南，于是驻兵潼关防守；冯胜于是下令火烧张思道大营，李思齐于是带兵退至葫芦滩，派部将张德钦、穆薛飞留守潼关。冯胜率军到达后，李思齐放弃辎重逃往凤翔，思道则逃奔鄜城。

　　冯胜攻下潼关后，引兵西进，到达华州，元朝的守将皆望风而逃。

　　到月底，潼关以东的河南各地均被北伐军占领，“旋师河南，断其羽翼；拔潼关而守之，据其户槛”（《明太祖实录》）的目标宣告完成，下一步的目标将是元朝京师大都。

　　此前，朱元璋曾派人告诉冯胜，如果攻克潼关，别乘胜西进，现在我军正全力北伐，应选将领镇守潼关，以阻遏、牵制关中的元军。

　　冯胜于是奉命返回汴梁。

　　因为汴梁是北宋的都城，地处中原的中心，朱元璋有意在此建都，于是来到汴梁亲自考察，同时部署攻取大都的军事行动。

　　朱元璋到达汴梁后，下令改为开封府。

　　朱元璋召见徐达、常遇春、冯胜等将领，商量下一步的作战计划。

　　徐达建议直捣大都，得到朱元璋的赞同。

　　从河南往北到大都，是广阔的平原地区，利于骑兵作战，而这正是元军的强项，朱元璋认为应早做防备，让徐达选一偏将为先锋，而徐达率主力紧随其后，用山东的粮食供给军需，“由邺趋赵，转临清而北，直捣元都，彼外援不及，内自惊溃，可不战而下”（《明太祖实录》）。

　　而且，朱元璋任命冯胜为征虏右副将军，随徐达攻取大都。

　　此外，朱元璋令浙江、江西两个行省和苏州等九府运送三百万石粮食到汴梁，保证北伐均的粮草供应。

　　返回应天前，朱元璋对徐达说，趁着军队士气正盛，而且粮草充足，宜从速发兵大都。

　　要想尽快攻下大都，必然需要集中兵力，闰七月，徐达令张兴祖、韩政、孙兴祖、高显率领将益都、徐州、济宁等地兵马在东昌会合；而且命傅友德、赵庸、曹良臣、俞通源、顾时、梅思祖等人准备军队渡河事宜。

　　明朝洪武元年（公元1368年）闰七月，徐达集合各路兵马从汴梁出发，向大都进军。

　　徐达率军渡河北上，先后攻占卫辉、彰德、磁州、邯郸，闰七月十一，到达临清。由于卫河在这里汇入运河，很多北运船只集结在临清，所以徐达决定与山东军队在这里会合。

　　由于傅友德的部下擒获了两名元军将领，可以当向导，于是徐达令傅友德在前面开道；同时令顾时疏浚水路，确保舟师通行。

　　闰七月十五，韩政、孙兴祖来到临清后，徐达率水陆大军出发，到达德州后，与常遇春、张兴祖、高显、毛骧等人所率兵马会合。

　　北伐军行至长芦，元朝守将逃跑，徐达令费子贤等人驻守此地，然后发兵清州，攻下后派将领驻守。

　　闰七月二十三，北伐军到达直沽，夺得七艘海船，用来做浮桥，以便于军队行进；又令常遇春、张兴祖各率舟师在运河两侧向北进发，防御海口的元将也速慌忙逃走，元廷震动。

　　闰七月二十五，北伐军抵达河西务。元平章俺普达朵儿只进巴率兵迎战，被击败。

　　北伐军继续北上，进兵通州，徐达在河东岸扎营，常遇春扎营于河西岸。

　　第二天，大雾弥漫，徐达令郭英在道旁埋伏，自己率三千精锐冲向通州，元将卜颜帖木儿出城迎击，郭英假装败退，元军紧追不舍，遭遇北伐军伏兵袭击，伤亡惨重。

　　闰七月二十七夜，徐达趁势攻占通州，元顺帝次日弃城北逃。