湖南省會同縣人,侗族,1907年8月10日生於會同縣伏龍鄉楓木樹腳村。1926年入常德湖南省立第二師範,積極從事學生運動。同年11月加入中 國共產主義青年團。在大革命失敗的嚴峻關頭,毅然投筆從戎。1927年5月一天深夜,他從學校下水道裏逃出,日夜兼程趕到武昌,參加了黨領導的葉挺部二十 四師,任教導隊學員班長。6月轉為中國共產黨黨員。8月1日參加南昌起義。起義部隊進軍潮汕失敗後,他堅定不移地繼續跟隨朱德、陳毅艱難轉戰。1928年 1月參加湘南起義。4月,跟隨朱德、陳毅上井岡山,與毛澤東率領的紅軍會師。他參加了保衛井岡山革命根據地鬥爭和創建中央革命根據地及其曆次反“圍剿”鬥 爭。1930年12月任六十五師師長。在第一次反“圍剿”中,毛澤東、朱德采納他提出的“誘敵十八師張輝瓚部至龍岡處予以殲滅”的建議,全殲張部,活捉了 張輝瓚。從井岡山到中央蘇區,他跟隨毛澤東學習戰爭指揮藝術,從一名紅軍的基層指揮員鍛煉成長為優秀的高級指揮員。他作戰勇敢,指揮果斷。1933年5 月,在硝石戰鬥中,親率部隊衝鋒,手臂中彈致殘。一生共6次負傷。第五次反“圍剿”鬥爭失敗後,他任紅軍北上抗日先遣隊參謀長,協助軍團長尋淮洲率部北上 抗日,執行戰略牽製任務。先遣隊在懷玉山失利後,他遵中央指示,率部挺進浙江。因唯一的一部電台被打壞,在同黨中央和上級黨組織失去聯係情況下,他率部開 始了艱苦卓絕的浙南三年遊擊戰爭。
抗日戰爭爆發後,他任新四軍第二支隊副司令員。1938年4月,他率新四軍先遣支隊挺進江南敵後。6月,在衛崗首戰告捷。這是新四軍挺進江南的 第一戰,沉重打擊了日軍的囂張氣焰,破除了日軍不可戰勝的神話,顯示了新四軍的軍威。1939年11月後,陳毅和他先後分別任新四軍江南、蘇北指揮部正副 指揮。1940年10月,他指揮了著名的黃橋決戰。皖南事變後,他任新四軍第一師師長兼政委,後又兼任蘇中軍區司令員、政委和蘇中區黨委書記。他領導蘇中 軍民粉碎了敵人頻繁的“掃蕩”和“清鄉”,度過了抗日戰爭最艱難的階段。戰略反攻開始後,他率部出擊,攻克敵據點30餘處,沉重地打擊了日軍,鞏固和發展 了蘇南、浙東抗日根據地,開創浙西抗日根據地。劉少奇曾說:“粟裕領導的新四軍第一師在抗日戰爭中建立了最大的功勞。在我軍中以第一師部隊作戰最多,戰果 最大。”