1948年9月8日至13日，中共中央在西柏坡召开政治局会议，会议通过了《关于准备五万三千干部的决议》：从五大老解放区抽调5.3万名各级干部，以区党委（或省委）为单位，配备整套班子，随军南下，到达新解放的区域，建立党政军机构，进行接管、开辟工作，有秩序地组织管理新解放区。
1948年冬，华东局各战区领导在闵家庄召开会议，部署抽调干部随军南下工作的组织安排问题。12月25日，华东局作出了《关于执行中央准备53000干部决议的指示》。《指示》指出：由于目前华中的干部（尤其中级和高级干部）特别缺乏，因此准备从山东抽调15000名干部。抽调的原则是：一个县的干部，都要配套，通讯员，炊事员也要配齐，到新解放区就直接接管一个县。这些干部包括党务、政府、军事、民运、经济、财政、银行、贸易、机要、通讯、新闻、教育等各个方面。
1949年2月1日，中共鲁中南区党委发出《关于执行华东局准备一万五千名干部外调任务的指示》，并规定：南下干部必须是政治立场坚定、身体状况良好、有较强的工作能力，并按照自愿报名、组织考察批准的办法进行组织，分数批完成。鲁中南区各地委所属的县按照实际情况及标准条件，落实抽调南下干部任务，县委书记和县长分别作动员南下讲话，号召干部为响应党的召唤，为支援全国解放事业作出贡献，用实际行动支援新解放区。鲁中南各地委所属的县大都是山东革命根据地的中心，抗日战争和解放战争时期，各县人民为了祖国的解放事业，做出了巨大牺牲和奉献，如沂蒙地委就有支前模范“沂蒙六姐妹”名扬全国，“孟良崮战役”举世闻名；尼山地委微山湖畔有著名的“铁道游击队”，那里的群众基础都相当好。听了南下动员报告，大家积极表示态度，争向组织报名参加南下。经过报名、组织批准，鲁中南二地委（沂蒙地委）南下干部有临沂县92人，郯城县100人，苍山县360人，莒南县300人，莒县l56人，沂南县（包括沂东县）250人，沂水县130人，沂源县232人，蒙阴县100人，费县360人，平邑县200人，临沭县200人。鲁中南四地委（尼山地委）下达了“动员与集中外调干部的决定”，抽调地、县、区三级干部500余人，组成地、县、区三级领导班子，南下浙江。
各县县委宣布,凡被批准南下的同志，一律按供给待遇；本人享受现役军人待遇；家属与军属同样享受军属优抚。正值农历新年，各县县委让批准南下的同志回家打点行装，收拾自备携带路上应用的必需日用品；同时向亲朋好友告别后，全部到地委驻地集合。那时各县不通汽车，时间又紧，同志们南下决心大，劲头足，意志坚定，连夜徒步返家。可是绝大部分同志没有远离过家乡，一旦离开自己父母兄弟和妻子儿女，离开患难与共的战友同事，离开自己长期战斗过的工作岗位，离开自己的亲朋好友，难免会产生一些牵挂，有的因路远，未及交待一些要事，别情依依，留恋故旧。“清晨告别母亲的时候，没想到这一走，就是一生，万水千山风雨兼程，无悔的征途，你脚步匆匆……”匆匆收拾行装，满怀父母的叮咛，怀揣母亲缝制的布鞋，背着简单的行囊，依依不舍与父母家人告别，准时赶往指定地点集合。
1949年2月初，沂蒙地委将各县抽调的干部，到地委集中，进行整顿、教育。地委书记董燕作了行前动员：1、启发阶级觉悟，要求南下干部树立正确的态度和观念，树立接管天下的思想；2、到新区后要加强政策意识，树立为党为人民服务的观念，反对闹宗派、搞山头主义，要把共产党人优良朴素的本质带到新区去；3、传达行军南下要注意的事项。动员报告讲明了形势和任务，提高了南下干部的思想认识，消除他们的顾虑。
根据华东军区司令部、政治部指示，全体南下干部统一整编为“华东南下干部纵队”， 按照军事编制，以地区为单位成立大队，以县为单位成立中队，中队建立支部。鲁中南区南下干部编为第一支队，司令员汪乃贵，政治委员张雨帆；鲁中南第二地委即沂蒙地委按建制被编为第一支队二大队。地委所属的沂南、沂水、沂东、沂源、蒙阴、蒙山、新太、太宁8个县分别成立中队。其中第七中队以蒙阴县为主抽出的干部组成，翟作标任中队长（到达杭州后被调往二大队三中队，中队长改由安成夫担任），杨泮星任指导员。鲁中南第四地委即尼山地委被编为第一支队四大队，地委辖济北、滋阳、曲阜、泗水、邹县、滕县、凫山、平邑、白彦等9个县分别成立中队。其中以滕县为主为第一中队，中队长梁震，指导员张剑霆；以凫山和白彦为主的组成第四中队，中队长李子正，指导员赵克吉；为了便于行动，“华东南下干部纵队”实行军队编制及军事化管理，开始南下征程。
