为了打破国民党的中原防御体系，正在河南濮阳休整的华东野战军第一、第四、第六纵队、特种兵纵队和两广纵队，在粟裕代司令员的率领下，于5月31日日南渡黄河。
这时，北线国民党军邱清泉的第五军（辖整编第五师，第七十师）、整编第七十五师、整编第八十八师之新二十一旅等部，猬集于鲁西南定陶一带。此外，国民党整编第八十三师在金乡一带，整编第七十二、第二十五师在徐州、新安镇一带。
此时，党中央和中央军委命令华东野战军围歼邱清泉的第五军与鲁西南地区。战役意图是：以华东野战军第一、第四、第六纵队、特种兵纵队和两广纵队从北面；以华东野战军陈唐兵团的第三、第八、第十纵队兼程北上，夹击围歼邱清泉的第五军于鲁西南地区。
华东野战军第八纵队在副（代）司令员张仁初、副（代）政治委员王一平的率领下（八纵司令员兼政治委员王建安于5月下旬奉命上调），6月上旬刚刚结束了在西平、遂平阻击国民党整编十一师的任务，正移动至临颍待命。12日，就接到了上级命令，向徐州和开封之间的考城、成武地区挺进，准备参加歼灭邱清泉第五军的战斗。与第八纵队同时从临颍地区向鲁西南开进的还有华野第三纵队（代司令员孙继先、政委丁秋生）。为了完成中央军委交给的歼灭国民党第五军的任务，第八、第三两纵队日夜兼程，向鲁西南地区快速行进着。
六月十五日，张仁初和王一平率领第八纵队经过黄泛区，进到了圉镇地区。中午休息时间，突然接到中央军委和粟裕司令员的命令，要第八、第三纵队攻打开封。张仁初和王一平立即下令部队停止前进，就地宿营待命。随后，陈士榘司令员和唐亮政治委员，召集第三纵队代司令员孙继先、政治委员丁秋生，第八纵队副（代）司令员张仁初、副（代）政治委员王一平等开会，布置攻打开封的任务。
开封是河南省省会，也是中原政治、军事、文化重镇及其反动统治的神经中枢，是敌人长期设防的城市。蒋介石在其“国大”会议上，更是亲自向河南“国大”代表拍着胸脯保证，开封决不会丢失。国民党军在开封的守备力量比较强。以整编第六十六师第十三旅所辖的三个团为主力，再加上第六十八师一个团和河南保安部队七个团，共4万余人驻守开封。担任城防主力的六十六师，装备优良，擅长防守和冲击，常以少数步兵及自动武器配备于城墙、城门，主力则隐蔽于附近机动，炮火配合也较为密切。他们从城关到城内构筑了三道防线。设置了大量永久性或半永久性工事。第六十六师师部设置在城内制高点龙亭之上，组成核心防御系统，敌人自吹为“固若金汤”，“可保无虞”。
在兵团的作战会议上，陈士榘司令员站在五万分之一的开封城区地图前向张仁初和孙继先部署攻城任务：“17日晚7点半，向开封发起总攻。三纵向曹关曹门，宋关宋门、北门实施攻击，八纵向南关大南门、小南门、西关西门实施攻击。同志哥，这和打洛阳不同，开封地处黄泛平原，有利于敌人增援，不利我军攻坚。这就决定了我们的战法，连续爆破，连续突击，不惜牺牲，速战速决。力争五天之内拿下开封！”
接着，陈士榘司令员加重语气说道：“开封，是河南省省会，也是我军将要攻占的国民党在关内的第一个省会城市。打好了我们立功去见主席；打不好，我、老张、老孙我们自己捆起来，去见军事法庭。”
这时，张仁初和孙继先相对无言，默默地抽着香烟。
突然，张仁初首先发问：“谁是主攻方向？”
孙继先也接着问道：“谁是主攻部队？”
陈士榘断然地说：“这次攻坚，根据开封地形，根据敌人指挥状况，我不预定主攻和佯攻方向。因此，也不指定主攻和协同部队，哪个部队先突进去，哪个部队就是主攻部队！”
张仁初用近乎挑衅的口气说：“老孙，就看你的了。”
孙继先回应道：“什么话，还是看你的。”
陈士榘说道：“你们都别谦虚了，我就看你们俩的！”
与此同时，兵团政治委员唐亮在组织第八、第三纵队的政工干部王一平、丁秋生、李耀文、刘春等召开政工会议。
圉镇位于杞县以南，要攻打开封，陈唐兵团就得转头向西北方向前进，因时间紧迫，各方面的准备工作都在紧张地进行。兵团将作战计划和部署情况分别报告党中央、中央军委和华野指挥部，并将安民布告和有关城市政策的主要内容报请中央审批。
党中央对开封战役非常重视，毛主席亲自拟定安民布告和对开封守敌的喊话材料，由新华社发给随同兵团行动的新华社华东分社，由该社社长康矛召转交给陈士榘和唐亮。
根据中央军委和华野指挥部批准的开封战役作战部署。陈士榘和唐亮对攻击开封的所属部队做出了部署：暂归陈唐兵团指挥的中原野战军第九纵队进至中牟、张庄街地区，并指挥豫皖苏军区（司令员张国华）第五军分区（原华野八纵第二十四师组成）七十一团（原华野八纵第七十一团）破袭陇海路汴郑路段，阻击可能由郑州东援之敌；第八纵队从赤仓、陈留地区，以两天行程，于十六日晚完成对开封以西以南的包围；第三纵队从杞县、高阳地区，以两天行程，于十六日晚完成对开封以东以北的包围；兵团指挥部于六月十五日晚自圉镇出发，以两天行程进至开封附近指挥。
此外，在华东、中原两大野战军首长的统一部署下，中原野战军第一、第三纵队和华东野战军第十纵队在位于开封西南的上蔡、西平地区阻击敌十八军。华东野战军北线兵团主力第一、第四、第六、两广纵队、特种兵纵队直插开封东面的曹县、民权、兰封地区，正面阻击敌第五军、整编第七十五、第八十三师。豫皖苏军区独立旅及第一军分区地方武装，负责破袭内黄、民权至商丘段陇海路，并相机袭击兰封。
万事俱备，夺取中原战略要地开封的战斗就要打响了。攻城部队决心以实际行动响应华野首长号召：在夏季“打几个好仗，打开中原战局，改变中原形势，便利而后作战行动”。
6月15日，国民党军空军侦察，在尉氏、通许发现华野陈唐兵团部队；6月16日，在长葛、邸阁附近亦发现我军有大部队向东行动；杞县附近也有我军出现。但国民党军首脑错误地判断我军第三、第八纵队向鲁西南运动，是为了参加鲁西南会战。
6月15日下午，张仁初、王一平在兵团参加了作战会议回到纵队以后，立刻就组织有关人员，研究作战部署和打法，并草拟安民布告，制定城市政策、入城纪律和注意事项等攻击开封的准备工作。
