湖南省醴陵县（今醴陵市）人，1905年3月出生于醴陵县新阳乡一个贫苦农家。中学毕业后投身国民革命。1924年春，进入广州元帅府军政部主办的陆军讲武学校，同年11月转入黄埔军校第一期第六队，是黄埔军校第一期优秀毕业生。1925年2月加入中国共产党。在军校教导团，先后参加过讨伐陈炯明的两次东征和平定滇、桂军阀杨希闵、刘震寰叛乱的战斗。同年11月赴苏，先后入莫斯科中山大学、伏龙芝军事学院学习。

1930年回国，先后任红军军官学校第一分校（闽西分校）教育长、闽西工农革命委员会常委、红十二军军长、红十五军军长兼政委。率部攻克龙岩城、天宝山防线，歼灭福建军阀张贞主力王祖清旅和杨逢年旅大部，占领闽南重镇漳州，为巩固和扩大中央革命根据地作出了贡献。1932年2月至3月，率部参加周恩来、朱德指挥的黄陂战役，全歼蒋介石嫡系第五十二师和五十九师，活捉师长李明、陈时骥，取得了反“围剿”斗争的胜利。同年12月，出任红一军团参谋长。1934年10月参加长征，与军团长林彪、政委聂荣臻等率红一军团为前驱，一路斩关夺隘，为掩护和保证中央纵队及后续部队顺利突破敌人四道封锁线、抢渡乌江、进占遵义、强渡大渡河，建立了赫赫战功。

1936年5月，任红一军团代理军团长。10月，红一、二、四方面军在陕甘胜利会师后，参与组织了著名的山城堡战役，全歼胡宗南部15000余人，给国民党反动派以沉重的打击。刘伯承曾著文赞扬说：“左权同志部署作战，是细致周密的，1936年西安事变前夕的山城堡战斗，就是一个范例。”抗日战争爆发后，任八路军副参谋长、八路军前方指挥部参谋长，协助朱德、彭德怀指挥八路军深入敌后，开展独立自主的游击战争，创建了吕梁、五台、太行山等抗日根据地，为坚持华北敌后抗日作出了重大贡献。1938年4月，日军3万余兵力分9路向山西东南地区“分进合击”，企图消灭八路军主力，吃掉八路军总部，摧毁太行山抗日腹地。他率部在武乡县马牧村突破日军围困，攻占沁县，解除了总部之危。1939年10月，调集部队将北岳地区进行冬季大“扫荡”的日军包围于黄土岭，歼敌900余人，击毙日军中将旅长阿部规秀。8月20日，协助朱德、彭德怀对日军发起百团大战，历时3个半月，大小战斗1824次，毙、伤、俘日伪军4.4万余人，拔掉敌碉堡和据点2993个。1941年11月，日军共5000多人从黎城向黄崖洞扑袭，企图一举摧毁八路军兵工厂。率总部警卫团1500人抗击敌人，激战八昼夜，取得了黄崖洞保卫战的彻底胜利，歼敌1000多人，创造了“中日战况上敌我伤亡对比（六比一）空前未有之纪录”。中共中央军委认为这是“1941年以来反扫荡模范战斗”。