湖南省瀏陽縣(今瀏陽市)人，1912年8月出生在瀏陽縣文家市清江村一個貧苦農民家庭。少年時代就投入農民運動，參加過十萬農軍圍攻長沙戰鬥。1927年加入中國共產主義青年團，1930年轉為中國共產黨黨員，並參加了中國工農紅軍。土地革命戰爭時期，曆任紅三軍團連、營政委、團政治部主任、四師十團政委，紅一軍團一師、四師政委等職。在紅軍長征中，堅決果斷，率部浴血奮戰，和兄弟部隊一起，突破湘江封鎖線，轉戰雲貴高原，過雪山草地，出色地完成各項戰鬥任務。

抗日戰爭時期，曆任八路軍一一五師六八六團團長兼政委、獨立旅旅長兼政委、魯西軍區司令員、魯西區專員、冀魯豫軍區司令員等職。在平型關大戰中，負傷後堅持指揮部隊，立下戰功。還成功地指揮了魯西地區梁山殲滅戰，打擊了日軍的瘋狂氣焰，為開展平原遊擊戰爭，開辟和建設魯西、冀魯豫抗日根據地，作出了重大貢獻。

解放戰爭時期，曆任晉冀魯豫野戰軍第七縱隊、第一縱隊司令員、第二野戰軍第五兵團司令員，參加了平漢、隴海、定陶、豫北、魯西南、挺進大別山、淮海、渡江、進軍大西南等重大戰役。在魯西戰役中，指揮部隊攻克鄆城，取得重大戰果，受到晉冀魯豫軍區首長通令嘉獎，榮立大功。爾後，千裏躍進大別山，組織指揮了高山鋪戰役，為野戰大軍實施戰略展開創造了有利條件。在著名的淮海、渡江戰役和進軍大西南、解放貴州、成都等會戰中，率部殲滅了大量敵人，建立了功勳。

新中國成立後，兼任貴州省軍區司令員、貴州省人民政府主席，領導全省軍民剿匪反霸，平息反革命武裝暴亂，恢複工農業生產，鞏固了人民民主政權。1950年從南京軍事學院高級係畢業後，任總高級步兵學校副校長、第二高級步兵學校校長，為培訓幹部做出了成績。1953年4月參加中國人民誌願軍，任二十兵團司令員，成功地組織了金城反擊戰，指揮部隊經過14個晝夜的激戰，殲敵52000人，擊毀擊傷敵機250多架，有力地配合了政治、外交鬥爭，迫使美國侵略者於7月27日在停戰協議上簽了字。1954年2月任中國人民誌願軍副司令員兼參謀長。1955年任中國人民誌願軍司令員。他忠實地履行了黨和祖國賦予的國際主義義務，同朝鮮人民結下了深厚友誼，榮獲朝鮮民主主義人民共和國一級自由獨立勳章。1958年10月任北京軍區司令員。1959年10月任中國人民解放軍副總參謀長兼北京軍區司令員。他組織部隊開展群眾性的練兵活動，獲得優異成績，受到黨中央和毛澤東的讚揚。“文化大革命”中遭到林彪、江青反革命集團的誣陷和迫害，在失去人身自由的逆境中堅持鬥爭。1971年重新工作，曆任沈陽軍區副司令員、新疆軍區司令員、中共新疆自治區委員會第二書記。他不顧“四人幫”的壓力，努力工作，對加強邊防和部隊建設，維護民族團結，作出了貢獻。1977年任解放軍副總參謀長。1980年任中共中央軍委常委、副秘書長。

1955年被授予上將軍銜。他是第四屆、第五屆全國人大代表，第五屆全國人大常委會委員。在中共八大上當選為候補中央委員，在中共第十、十一、十二大上當選為中央委員，在中共十二屆一中全會上當選為中央書記處書記。

1983年1月6日在北京病逝，終年71歲。中共中央對他評價是：“我黨久經考驗的忠誠的共產主義戰士、黨和軍隊的優秀領導人。”