接着,宋太宗开始积极准备消灭北汉。
北汉以太原为中心,统辖并、汾、忻、代、岚、宪、隆、蔚、沁、辽、麟、石十二州,经济发展与南方各国相比比较贫弱。同时,北汉国主为了不被宋朝消灭,每年都要向辽国供奉大量的财物,以换取支持。
在赵匡胤“先南后北”的统一方略中,北汉排在南方割据势力的后面。宋太祖即位后曾派使者出使北汉,对北汉主刘承钧说:“你们与周世代为仇,而我和你们就没有这些宿怨,如果你有志向要争夺天下,那就请你下太行与我一决胜负。”刘承钧却对使者说:“河东土地士兵都不足中原的十分之一,我只想保住祖宗留下来的这一方水土,无意与人争胜负。”于是,宋太祖知道北汉君臣并没有什么大的抱负。
虽然如此,北汉的军事实力仍然不容小视。
北宋开宝元年(968),北汉主刘承钧死,因为膝下无子,朝中发生了内乱,他的养子刘继元因为得到大将郭无为的支持而登上皇位。宋太祖认为这是进攻北汉的绝好机会,于是发兵进逼。刘继元一面安排军队迎战,一面派人请辽出兵支援。他派枢密使马峰与侍卫都虞侯刘继业、马进珂领军南下,守住南面门户团柏谷。马峰的军队与宋军相遇后,被宋军打得大败。宋军乘胜夺取汾河桥,一路追杀到太原城下。太祖本以为胜利已在眼前,不曾想太原城池坚固,宋军攻了很长时间都没能拿下。此时,辽国的援军大举南下,宋军抵挡不住,只能撤围。