接着，宋太宗开始积极准备消灭北汉。
北汉以太原为中心，统辖并、汾、忻、代、岚、宪、隆、蔚、沁、辽、麟、石十二州，经济发展与南方各国相比比较贫弱。同时，北汉国主为了不被宋朝消灭，每年都要向辽国供奉大量的财物，以换取支持。
在赵匡胤“先南后北”的统一方略中，北汉排在南方割据势力的后面。宋太祖即位后曾派使者出使北汉，对北汉主刘承钧说：“你们与周世代为仇，而我和你们就没有这些宿怨，如果你有志向要争夺天下，那就请你下太行与我一决胜负。”刘承钧却对使者说：“河东土地士兵都不足中原的十分之一，我只想保住祖宗留下来的这一方水土，无意与人争胜负。”于是，宋太祖知道北汉君臣并没有什么大的抱负。
虽然如此，北汉的军事实力仍然不容小视。
北宋开宝元年（968），北汉主刘承钧死，因为膝下无子，朝中发生了内乱，他的养子刘继元因为得到大将郭无为的支持而登上皇位。宋太祖认为这是进攻北汉的绝好机会，于是发兵进逼。刘继元一面安排军队迎战，一面派人请辽出兵支援。他派枢密使马峰与侍卫都虞侯刘继业、马进珂领军南下，守住南面门户团柏谷。马峰的军队与宋军相遇后，被宋军打得大败。宋军乘胜夺取汾河桥，一路追杀到太原城下。太祖本以为胜利已在眼前，不曾想太原城池坚固，宋军攻了很长时间都没能拿下。此时，辽国的援军大举南下，宋军抵挡不住，只能撤围。