原名许德华，湖南省长沙县人，1908年11月9日出生于一个农民家庭。少时就读于梨高小、长沙师范学校，受徐特立、周以栗等进步教师的熏陶，思想倾向进步，参加了学生运动，积极投身反帝反封建军阀的斗争。1925年5月加入中国共产主义青年团，同年9月转为中国共产党党员。1926年春，经湖南党组织选调，考入黄埔军校学习，同年冬转入黄埔军校武汉分校炮兵科学习，任炮科中共支部宣传委员。大革命失败后，随南昌起义部队参加了多次战斗，身负重伤，与部队失去联系。先后辗转于上海、安徽、江苏、河北、长沙等地，寻找党组织。历尽艰险，于1929年7月经安徽省委介绍到达上海，参加了周恩来主持的军事训练班学习后，以中央代表身份前往洪湖根据地，先后任红六军参谋长兼红二纵队政委、红十七师师长、红八师师长等职，指挥了多次战斗，在应城之役中再次身负重伤。1932年5月，中央决定他去苏联学习并治疗，6月入莫斯科国际列宁学院学习，4年后又转入东方大学学习。

抗日战争爆发后，回国到延安，先后任抗日军政大学训练部部长、教育长、抗大三分校校长。他的妻子邹靖华也由徐特立介绍到延安，进入抗大学习，并加入中国共产党，夫妻离别10年得以团聚。他从事军队教育工作，先后发表了《抗大最近的动向》、《抗大在国防教育上的贡献》、《战术发展的基本因素》及论述抗日军队组织形式和战略战术等方面的文章。1941年初，任军委参谋部部长兼延安交通司令、卫戍司令。1942年，抗日根据地进入最艰难的岁月，他请求上前线获准，到晋西北地区任独立第二旅旅长兼晋西北军区二分区司令员，率部开展反“扫荡”、反“蚕食”斗争，加强对国民党的统战工作，努力发展根据地的生产，并派得力干部组织武工队深入敌占区，肃清汉奸特务，摧毁敌伪组织，建立抗日政权，还筹集了大量粮款物资送往延安。

解放战争时期，历任晋绥野战军代理参谋长、第三纵队司令员、西北野战军第三军军长、第一野战军第二兵团司令员兼甘肃军区司令员等职，率部参加了绥远战役、榆林战役、清涧战役、宜川瓦子街战役、西府陇东战役、澄郃战役、荔北战役、扶郿战役、兰州战役，为全国解放战争的胜利立下了功绩。