原名許德華，湖南省長沙縣人，1908年11月9日出生於一個農民家庭。少時就讀於梨高小、長沙師範學校，受徐特立、周以栗等進步教師的熏陶，思想傾向進步，參加了學生運動，積極投身反帝反封建軍閥的鬥爭。1925年5月加入中國共產主義青年團，同年9月轉為中國共產黨黨員。1926年春，經湖南黨組織選調，考入黃埔軍校學習，同年冬轉入黃埔軍校武漢分校炮兵科學習，任炮科中共支部宣傳委員。大革命失敗後，隨南昌起義部隊參加了多次戰鬥，身負重傷，與部隊失去聯係。先後輾轉於上海、安徽、江蘇、河北、長沙等地，尋找黨組織。曆盡艱險，於1929年7月經安徽省委介紹到達上海，參加了周恩來主持的軍事訓練班學習後，以中央代表身份前往洪湖根據地，先後任紅六軍參謀長兼紅二縱隊政委、紅十七師師長、紅八師師長等職，指揮了多次戰鬥，在應城之役中再次身負重傷。1932年5月，中央決定他去蘇聯學習並治療，6月入莫斯科國際列寧學院學習，4年後又轉入東方大學學習。

抗日戰爭爆發後，回國到延安，先後任抗日軍政大學訓練部部長、教育長、抗大三分校校長。他的妻子鄒靖華也由徐特立介紹到延安，進入抗大學習，並加入中國共產黨，夫妻離別10年得以團聚。他從事軍隊教育工作，先後發表了《抗大最近的動向》、《抗大在國防教育上的貢獻》、《戰術發展的基本因素》及論述抗日軍隊組織形式和戰略戰術等方麵的文章。1941年初，任軍委參謀部部長兼延安交通司令、衛戍司令。1942年，抗日根據地進入最艱難的歲月，他請求上前線獲準，到晉西北地區任獨立第二旅旅長兼晉西北軍區二分區司令員，率部開展反“掃蕩”、反“蠶食”鬥爭，加強對國民黨的統戰工作，努力發展根據地的生產，並派得力幹部組織武工隊深入敵占區，肅清漢奸特務，摧毀敵偽組織，建立抗日政權，還籌集了大量糧款物資送往延安。

解放戰爭時期，曆任晉綏野戰軍代理參謀長、第三縱隊司令員、西北野戰軍第三軍軍長、第一野戰軍第二兵團司令員兼甘肅軍區司令員等職，率部參加了綏遠戰役、榆林戰役、清澗戰役、宜川瓦子街戰役、西府隴東戰役、澄郃戰役、荔北戰役、扶郿戰役、蘭州戰役，為全國解放戰爭的勝利立下了功績。