湖南省武冈县（今邵阳县）人，1901年2月27日出生于武冈县金称市溪田村一个普通农家。青少年时代就读本地私塾、武冈县立中学，立下改造社会宏愿。1921年怀着工业救国理想考入湖南省立高等工业学校电机工程系，在新思潮熏陶下，积极参加革命活动。1923年结识了省学联秘书长夏明翰，思想日益倾向进步，立下“七尺从此属工农”的誓言。1926年北伐军占领长沙后投笔从戎，参加国民革命军，在政治部门任秘书、干事、宣传科长等职。大革命失败后，愤然辞去军职，赴日本求学。1928年秋到北平，主编《村志》月刊。1929年底，参与创办《新东方》杂志，组织东方问题研究会。九一八事变后，积极投入抗日救亡活动，著有《中日问题批判》一书，深刻阐明抗击日本帝国主义侵略的国际意义。1933年经李达推荐任中国大学教授，讲授《中国经济史》、《农业经济》、《社会科学概论》等课程，并开始把主要精力集中到学习和研究马克思主义方面。

他是中国最早运用马克思主义观点系统研究中国通史和民族史的史学家。在30年代中国掀起的关于中国社会性质及中国社会史的论战中，他积极捍卫马克思主义理论，同郭沫若一起，开创中国最早一代马克思主义历史学，震动中国史坛。1934年前后，他写了《史前期中国社会研究》和《殷周时代的中国社会》两部专著，对中国古代社会的内部结构及发展规律进行了创造性的探索。前者是继郭沫若撰写《中国古代社会研究》巨著之后，第一部以马克思主义的历史唯物主义为指导的全面系统地揭示中国前期社会结构母系氏族社会到父系氏族社会血缘制度奥秘的科学著作；后者则是根据当时出土文物史实，创立了殷周奴隶制西周封建制社会学说，得到国内外许多历史学家的认可。这两部著作建立起从史前期原始社会到殷代奴隶制和西周封建制的中国古代史体系。他的另一部力作《中国政治思想史》，1937年6月黎明书局出版，以马克思主义《剩余价值学说史》为样板，用马克思主义的历史观和方法论论述了中国思想史发展的全过程，是中国马克思主义史学工作者第一次对中国古代思想史体系所作的带有规律性的论述。

他既是一位著名学者，又是中国共产党的优秀战士，融革命和学术于一炉，集革命家和学者于一身。1935年底，受中共北平市委派遣，他以红色教授身份赴南京，同国民党政府代表曾养甫秘密谈判国共合作抗日问题。1936年3月加入中国共产党。同年秋，协助周小舟代表中共中央继续在南京谈判，为第二次国共合作的形成作出了贡献。1937年7月抗日战争全面爆发，他按照党组织“速回湘开荒”的指示回到湖南长沙，积极参与组建湖南文化界抗敌后援会和中苏文化协会湖南分会，巩固和发展湖南抗日统一战线，发动广大人民群众投入抗日救亡。他在湖南《力报》、《大公报》、《中苏》半月刊等报刊上发表了30多篇政治和时评文章，以马克思主义的立场、观点，分析了抗日的形势和前途，阐述了中国共产党的方针、政策。1938年3月在邵阳创办了著名的塘田战时讲学院，任副院长兼党代表，为抗战培养了一大批人才。1939年学院被国民党当局解散后，应中共南方局书记周恩来之邀赴重庆，进行理论、历史研究和文化界统战工作。他先后写了《关于中国社会史的诸问题》、《中国社会史上奴隶制问题》、《亚细亚生产方式和所谓中国社会“停滞”问题》等文章，对日本垄断资产阶级御用文人秋泽修二所说中国社会历史是“循环”、“退化”的，需要皇军用武力最后克服的谬论予以批判，引起国内外舆论界的高度重视。1941年皖南事变后，辗转到达苏北抗日根据地，在中共华中局党校任教，讲授《中国社会史》和《中国革命史》课程。1941年出版《简明中国通史》上册，1942年3月随刘少奇返延安，任政治秘书，后改任学习秘书，刘少奇亲切地称之为“老夫子”。他积极参加了延安整风运动，任中央马列主义研究院特别研究员，为提高全党马克思主义理论水平做了许多有益工作。1945年9月赴东北，先后担任中共热西地委副书记、辽东省委常委，主管安东、抚顺、本溪、通化的城市工作。为党的中心工作由农村转向城市，恢复城市经济作了艰苦努力。虽戎马倥偬，但没有放弃对中国历史的研究。1948年出版了《简明中国通史》，这是中国最先出版的马克思主义通史著作。

新中国建立后，任大连大学校长兼党委书记、东北人民政府文教委副主任兼东北人民大学校长和党委书记。1955年调任中共中央党校兼职教授，聘为中国科学院哲学社会科学部委员。继续致力于民族史研究，发表了《中国民族关系发展的历史特点》、《关于历史上的民族融合问题》、《新疆和祖国的关系》等重要论文，对党的民族团结政策的制定和贯彻起到了积极促进作用。他是第一届全国人大代表，第三届全国政协委员。

“文化大革命”中，因刘少奇冤案的株连，被关进监狱，直到1975年12月经邓小平批示才获释。出狱后，不顾百病缠身，仍拼命工作，写出了《少奇同志和南京谈判》、《跟随少奇同志回延安》等文章。1980年7月17日病逝，终年79岁。

他一生写下17种史学专著和数百万字的史论、政论文章，为创立和发展马克思主义史学作出重要贡献。2000年5月24日，在北京举行纪念吕振羽同志百年诞辰座谈会，称他是中国共产党的优秀战士，是中国马克思主义历史科学的开创者之一，是杰出的无产阶级教育家。