湖南省醴陵縣（今醴陵市）人，1905年3月出生於醴陵縣新陽鄉一個貧苦農家。中學畢業後投身國民革命。1924年春，進入廣州元帥府軍政部主辦的陸軍講武學校，同年11月轉入黃埔軍校第一期第六隊，是黃埔軍校第一期優秀畢業生。1925年2月加入中國共產黨。在軍校教導團，先後參加過討伐陳炯明的兩次東征和平定滇、桂軍閥楊希閔、劉震寰叛亂的戰鬥。同年11月赴蘇，先後入莫斯科中山大學、伏龍芝軍事學院學習。

1930年回國，先後任紅軍軍官學校第一分校（閩西分校）教育長、閩西工農革命委員會常委、紅十二軍軍長、紅十五軍軍長兼政委。率部攻克龍岩城、天寶山防線，殲滅福建軍閥張貞主力王祖清旅和楊逢年旅大部，占領閩南重鎮漳州，為鞏固和擴大中央革命根據地作出了貢獻。1932年2月至3月，率部參加周恩來、朱德指揮的黃陂戰役，全殲蔣介石嫡係第五十二師和五十九師，活捉師長李明、陳時驥，取得了反“圍剿”鬥爭的勝利。同年12月，出任紅一軍團參謀長。1934年10月參加長征，與軍團長林彪、政委聶榮臻等率紅一軍團為前驅，一路斬關奪隘，為掩護和保證中央縱隊及後續部隊順利突破敵人四道封鎖線、搶渡烏江、進占遵義、強渡大渡河，建立了赫赫戰功。

1936年5月，任紅一軍團代理軍團長。10月，紅一、二、四方麵軍在陝甘勝利會師後，參與組織了著名的山城堡戰役，全殲胡宗南部15000餘人，給國民黨反動派以沉重的打擊。劉伯承曾著文讚揚說：“左權同誌部署作戰，是細致周密的，1936年西安事變前夕的山城堡戰鬥，就是一個範例。”抗日戰爭爆發後，任八路軍副參謀長、八路軍前方指揮部參謀長，協助朱德、彭德懷指揮八路軍深入敵後，開展獨立自主的遊擊戰爭，創建了呂梁、五台、太行山等抗日根據地，為堅持華北敵後抗日作出了重大貢獻。1938年4月，日軍3萬餘兵力分9路向山西東南地區“分進合擊”，企圖消滅八路軍主力，吃掉八路軍總部，摧毀太行山抗日腹地。他率部在武鄉縣馬牧村突破日軍圍困，攻占沁縣，解除了總部之危。1939年10月，調集部隊將北嶽地區進行冬季大“掃蕩”的日軍包圍於黃土嶺，殲敵900餘人，擊斃日軍中將旅長阿部規秀。8月20日，協助朱德、彭德懷對日軍發起百團大戰，曆時3個半月，大小戰鬥1824次，斃、傷、俘日偽軍4.4萬餘人，拔掉敵碉堡和據點2993個。1941年11月，日軍共5000多人從黎城向黃崖洞撲襲，企圖一舉摧毀八路軍兵工廠。率總部警衛團1500人抗擊敵人，激戰八晝夜，取得了黃崖洞保衛戰的徹底勝利，殲敵1000多人，創造了“中日戰況上敵我傷亡對比（六比一）空前未有之紀錄”。中共中央軍委認為這是“1941年以來反掃蕩模範戰鬥”。