原名陳庶康，湖南省湘鄉縣（今湘鄉市）人，1903年2月27日出生於湘鄉縣二都柳樹鋪一戶殷實人家。自幼受軍人出身的祖父熏陶，立下“富國強兵” 誌向。1916年入湘軍當兵4年。1921年起，在長沙鐵路局工作、自學，後入毛澤東創辦的湖南自修大學。1922年12月加入中國共產黨。1924年考 入廣東陸軍講武學校，後又考入黃埔軍校第一期，畢業後留校任第二、三、四期畢業生連長。參加了平定廣州商團叛亂、兩次東征戰役，以其特有的機智勇敢出色完 成了任務。1925年10月在第二次東征討伐陳炯明的戰鬥中，曾救過蔣介石的命。1926年7月，中共中央派他去蘇聯紅軍政治保衛訓練班學習三個多月，回 國後任國民革命軍第八軍特務營營長。1927年8月參加了南昌起義，負責政治保衛工作。在起義部隊南進途中身負重傷，被安排去上海療傷。傷愈後，留在中共 中央特科主持情報工作。他深入龍潭虎穴與敵警探特務周旋了4年，為保衛黨中央的安全作出了重要貢獻。1931年被派往鄂豫皖蘇區，先後任團長、紅四軍第十 二師師長、紅四方麵軍參謀長，率部參加黃安、商（城）潢（川）、塗家埠、潢光四大戰役，粉碎了敵人對根據地的第三次“圍剿”。

1932年在第四次反“圍剿”作戰中再次負重傷，又轉至上海治療，不幸被捕。蔣介石親自勸降，他不為所動，後經黨組織和宋慶齡營救出獄。 1933年進入中央蘇區，先後任彭楊步兵學校校長、紅軍幹部團團長，參加了長征，負責警衛中央機關安全。1935年5月率部搶渡皎平渡，使中央紅軍主力順 利渡過金沙江，取得戰略轉移中具有決定意義的勝利。到達陝北後，任紅一軍團第一師師長，率部參加了直羅鎮、東征、西征和山城堡等戰役。

抗日戰爭爆發後，任八路軍一二九師三八六旅旅長，率部奔赴山西戰場抗擊日軍，參與創建晉冀豫抗日根據地。他巧妙地利用日軍侵入中國初期驕橫麻痹 的弱點，采取夜襲、伏擊、麻雀戰等戰術手段有效地打擊敵人。特別善於組織伏擊戰，曾率部取得七亙村、黃崖底、廣陽、神頭嶺、響堂鋪、香城固等伏擊戰的重大 勝利，給日軍以重創，成為令敵人聞之喪膽的抗日名將。1938年3月，指揮潞城、黎城之間的神頭嶺伏擊戰，殲敵1500餘人，劉伯承讚揚說：這是一次成功 的“吸敵打援”戰例，日軍統帥部把它看成是八路軍的“典型遊擊戰”。1939年2月在威縣組織的香城固戰鬥，殲敵2000餘人，並以靈活機動的行動擺脫了 敵人的重兵追擊，創造了平原反“掃蕩”作戰的光輝範例，受到蔣介石、衛立煌通電嘉獎。1940年1月，率部赴太嶽抗日根據地，成立太嶽軍區和太嶽縱隊，任 司令員。指揮部隊轉戰同蒲、白晉兩線，采取“釜底抽薪”、“敵進我進”的戰法，粉碎了日軍多次殘酷“掃蕩”，鞏固了太嶽根據地。1942年10月至 1945年4月，指揮沁源軍民進行了長達30個月的圍困戰，使日軍的所謂“山嶽剿共實驗區”遭到徹底失敗，創造了人民戰爭的範例。延安《解放日報》發表社 論，讚揚沁源圍困戰的勝利是“敵後抗戰中的模範典型之一”。