湖南省衡山縣(今衡東縣)人,1902年11月26日出生於衡山縣寒水鄉南灣村一個鄉紳家庭。在家鄉高小畢業。1919年秋,離開家鄉到長沙,就讀 於柳直苟等創的協均中學,接受進步思想,參加了長沙各界反對軍閥和帝國主義的鬥爭。1923年夏赴北京補習功課,1924年夏考入私立青島大學工科預科, 積極組織學生參加反愛國運動。1926年秋回鄉,參加了當地的農民運動。1927年4月赴武昌中山大學理學院就讀,加入共青團,不久轉為共產黨員。

1927年7月,被湖北省委派往通城參加鄂南暴動,率通城農民自衛軍參加湘贛邊界秋收起義,跟隨毛澤東上了井岡山。1927年9月,秋收起義部 隊在江西永新三灣改編,任連黨代表。1929年參加古田會議,並被選為紅四軍前委委員,任紅四軍二縱隊政委。1930年任紅四軍政委、軍委書記,率部參加 圍殲敵第十八師,活捉師長張輝瓚。1932年任紅一軍團政治部主任。率部參加了中央革命根據地的第一至第四次反“圍剿”作戰。1934年1月,被選為中華 蘇維埃中央執行委員會候補委員。同年9月任紅八軍團政治部主任,10月隨中央紅軍長征。1935年9月任紅一軍團政治部副主任。1936年6月,入紅軍大 學學習,任一科政委。1937年任紅軍後方政治部主任、紅一軍團政治部主任。

抗日戰爭爆發後,任八路軍一一五師政訓處主任,率部奔赴抗日前線。行前,寫信告訴二哥：“處此國難當前”,“雖戰死沙場,毫無顧慮”。1938 年3月主持一一五師的全麵工作,任師政委,與代師長陳光率部挺進山東,與八路軍山東縱隊並肩作戰,先後在魯西、魯南、魯中、濱海地區發動群眾,建立抗日民 主政權,擴大抗日根據地。1939年果斷處理了“湖西肅托”事件,扭轉了湖西地區的危局,大批蒙冤受屈的幹部和指戰員得到解救。1941年11月,指揮反 擊5萬日偽軍對沂蒙山區大“掃蕩”。1942年11月,根據反“掃蕩”經驗,提出“敵進我進”的“翻邊戰術”,多次粉碎了敵人的進攻。1943年3月,任 山東軍區司令員兼政委,並任一一五師政委兼代師長、山東分局書記,擔負起山東黨、政、軍的領導重任,在對敵鬥爭、實行減租減息、開展大生產運動、進行整 風、發動戰役攻勢、擴大根據地和武裝力量等方麵,都取得了很大成績。到1945年,膠東、渤海、魯中、濱海各根據地連成一片。毛澤東高興地說：“換上一個 羅榮桓,山東全局的棋就下活了。”1945年4,在黨的七大上當選為中央委員。

抗日戰爭勝利後,奉命組織山東部隊和地方幹部開赴東北,任東北民主聯軍副政委,為建立鞏固的東北根據地作出了貢獻。1946年夏,赴莫斯科做了 左側腎切除手術。1948年8月,任東北野戰軍(不久改為第四野戰軍)政委兼東北軍區第一副政委,參與指揮了聞名中外的遼沈戰役和平津戰役。1949年6 月,任華中局第二書記兼華中軍區政委。