赵匡义与兄长感情很好,又为兄长称帝出了大力,所以宋太祖一称帝,就立即任命这个弟弟为殿前都虞侯,领睦州防御使。北宋建立初期,政权极不稳定。建隆元年(公元960年)五月,宋太祖御驾亲征,征讨原后周旧臣李筠。赵匡义就临时担任大内都点检,留守汴京。十月,太祖再次亲征,征讨在扬州叛乱的李重进,赵匡义继续留守京都,稳定后方。建隆二年(公元961年)七月,赵匡义被任命为开封府尹、同平章事。这时,为了避兄长宋太祖的名讳,赵匡义改名为赵光义,弟弟赵匡美也改名为赵光美。
开封府尹是京都的最高行政长官,国家军政要务都要通过这里,再传达到中央朝廷,地位非常特殊。从建隆二年(公元961年)至开宝九年(公元976年),赵光义做了16年的开封府尹,处理政务的能力得到了很大的锻炼。这期间,他凭着开封府尹之位,将一大批才识出众的人招致门下,同时,他又在朝中广交群臣,培植党羽。经过十几年的努力,他已经具备与兄长宋太祖抗衡的能力了。