赵匡义与兄长感情很好，又为兄长称帝出了大力，所以宋太祖一称帝，就立即任命这个弟弟为殿前都虞侯，领睦州防御使。北宋建立初期，政权极不稳定。建隆元年（公元960年）五月，宋太祖御驾亲征，征讨原后周旧臣李筠。赵匡义就临时担任大内都点检，留守汴京。十月，太祖再次亲征，征讨在扬州叛乱的李重进，赵匡义继续留守京都，稳定后方。建隆二年（公元961年）七月，赵匡义被任命为开封府尹、同平章事。这时，为了避兄长宋太祖的名讳，赵匡义改名为赵光义，弟弟赵匡美也改名为赵光美。
开封府尹是京都的最高行政长官，国家军政要务都要通过这里，再传达到中央朝廷，地位非常特殊。从建隆二年（公元961年）至开宝九年（公元976年），赵光义做了16年的开封府尹，处理政务的能力得到了很大的锻炼。这期间，他凭着开封府尹之位，将一大批才识出众的人招致门下，同时，他又在朝中广交群臣，培植党羽。经过十几年的努力，他已经具备与兄长宋太祖抗衡的能力了。