湖南省瀏陽縣（今瀏陽市）人，1908年4月11日出生在瀏陽縣北盛鄉馬戰村的一個農民家庭。因家境貧寒，幾度輟學。13歲到長沙，先拉人力車，後當鐵路扳道工，開始接觸黨的組織。1924年後，任粵漢鐵路工會長嶽段分工會執行委員、新河車站工人糾察隊隊長。1926年10月，首次見到毛澤東並受到教育。1927年1月加入中國共產主義青年團，同年5月轉為中國共產黨黨員。參加了工人運動。1927年大革命失敗後，參加了長沙工人暴動，做黨的地下交通和兵運工作。後任中共湘鄂贛邊區特區區委書記，遊擊支隊隊長、政委，湘東獨立一師政治部主任、政委，紅八軍代理政委，湘贛軍區代理司令員，紅六軍團政委，英勇作戰，靈活指揮，為創建湘贛蘇區進行了艱苦卓絕的鬥爭，是湘贛蘇區的創始人之一。他反對極“左”路線，擁護毛澤東的正確主張，曾刀下救人解放了張平化等領導幹部。在任弼時的領導下，他和蕭克率紅六軍團與紅二軍團會合，建立了湘鄂川黔蘇區。參加了長征。紅二、四方麵軍會師後，堅決抵製張國燾分裂紅軍、另立中央的陰謀活動。

抗日戰爭爆發後，任八路軍一二○師三五九旅旅長兼政委、延安地委書記兼衛戍司令員，負責保衛黨中央。1937年9月，率部奔赴晉綏、晉西北抗日前線，連克寧武等7座縣城，為創建晉綏抗日根據地作出了貢獻。在抗日戰爭極端困難的年月，響應毛澤東的號召，帶領三五九旅全體指戰員在南泥灣屯田開荒，成為“自己動手，豐衣足食”的榜樣，毛澤東為他親筆題詞“有創造精神”，三五九旅被西北局譽為“發展經濟的前鋒”。1944年11月任八路軍南下支隊司令員，率部挺進華南，往返作戰，曆盡艱險，途經八省，曆時兩年，行程兩萬餘裏，被毛澤東譽為第二次長征。

解放戰爭時期，任第一野戰軍第二縱隊司令員兼政委。1947年初，奉命西渡黃河，保衛延安，在青化砭、羊馬河、蟠龍鎮的戰鬥中三戰三捷，殲敵上萬人。率部解放青海後，奉命進軍新疆，為解放大西北作出了重大貢獻。在20多年的征戰生涯中，7次負傷，為中華民族的解放，新中國的創建，立下了不朽的功勳。

中華人民共和國成立後，任中共中央新疆分局書記、新疆軍區代司令員兼政委。根據黨中央的指示，屯墾戍邊，恢複和發展民族地區的經濟、文化等各項事業，為加強新疆各族人民的團結，維護祖國統一，鞏固西北邊疆，建立了功業。1953年，調任中國人民解放軍鐵道兵司令員兼政委，以最快的速度新建了黎湛、鷹廈兩條鐵路，對鞏固國防、發展經濟起了重要作用。1955年，任中國人民解放軍副總參謀長，國防委員會委員，被授予中國人民解放軍上將軍銜。1956年任農墾部部長，同年9月在中共第八次全國代表大會上當選為中央委員。傾心農墾事業，不顧嚴寒酷暑，幾次大病初愈就奔波在邊陲的大漠荒原，在黑龍江、新疆過了6個春節，組織廣大軍墾戰士艱苦創業，建立了西北、東北、華南、海南、雲南等幾大墾區，為發展中國的農墾事業和穩定邊疆作出了突出貢獻。