湖南省武岡縣（今邵陽縣）人，1901年2月27日出生於武岡縣金稱市溪田村一個普通農家。青少年時代就讀本地私塾、武岡縣立中學，立下改造社會宏願。1921年懷著工業救國理想考入湖南省立高等工業學校電機工程係，在新思潮熏陶下，積極參加革命活動。1923年結識了省學聯秘書長夏明翰，思想日益傾向進步，立下“七尺從此屬工農”的誓言。1926年北伐軍占領長沙後投筆從戎，參加國民革命軍，在政治部門任秘書、幹事、宣傳科長等職。大革命失敗後，憤然辭去軍職，赴日本求學。1928年秋到北平，主編《村誌》月刊。1929年底，參與創辦《新東方》雜誌，組織東方問題研究會。九一八事變後，積極投入抗日救亡活動，著有《中日問題批判》一書，深刻闡明抗擊日本帝國主義侵略的國際意義。1933年經李達推薦任中國大學教授，講授《中國經濟史》、《農業經濟》、《社會科學概論》等課程，並開始把主要精力集中到學習和研究馬克思主義方麵。

他是中國最早運用馬克思主義觀點係統研究中國通史和民族史的史學家。在30年代中國掀起的關於中國社會性質及中國社會史的論戰中，他積極捍衛馬克思主義理論，同郭沫若一起，開創中國最早一代馬克思主義曆史學，震動中國史壇。1934年前後，他寫了《史前期中國社會研究》和《殷周時代的中國社會》兩部專著，對中國古代社會的內部結構及發展規律進行了創造性的探索。前者是繼郭沫若撰寫《中國古代社會研究》巨著之後，第一部以馬克思主義的曆史唯物主義為指導的全麵係統地揭示中國前期社會結構母係氏族社會到父係氏族社會血緣製度奧秘的科學著作；後者則是根據當時出土文物史實，創立了殷周奴隸製西周封建製社會學說，得到國內外許多曆史學家的認可。這兩部著作建立起從史前期原始社會到殷代奴隸製和西周封建製的中國古代史體係。他的另一部力作《中國政治思想史》，1937年6月黎明書局出版，以馬克思主義《剩餘價值學說史》為樣板，用馬克思主義的曆史觀和方法論論述了中國思想史發展的全過程，是中國馬克思主義史學工作者第一次對中國古代思想史體係所作的帶有規律性的論述。

他既是一位著名學者，又是中國共產黨的優秀戰士，融革命和學術於一爐，集革命家和學者於一身。1935年底，受中共北平市委派遣，他以紅色教授身份赴南京，同國民黨政府代表曾養甫秘密談判國共合作抗日問題。1936年3月加入中國共產黨。同年秋，協助周小舟代表中共中央繼續在南京談判，為第二次國共合作的形成作出了貢獻。1937年7月抗日戰爭全麵爆發，他按照黨組織“速回湘開荒”的指示回到湖南長沙，積極參與組建湖南文化界抗敵後援會和中蘇文化協會湖南分會，鞏固和發展湖南抗日統一戰線，發動廣大人民群眾投入抗日救亡。他在湖南《力報》、《大公報》、《中蘇》半月刊等報刊上發表了30多篇政治和時評文章，以馬克思主義的立場、觀點，分析了抗日的形勢和前途，闡述了中國共產黨的方針、政策。1938年3月在邵陽創辦了著名的塘田戰時講學院，任副院長兼黨代表，為抗戰培養了一大批人才。1939年學院被國民黨當局解散後，應中共南方局書記周恩來之邀赴重慶，進行理論、曆史研究和文化界統戰工作。他先後寫了《關於中國社會史的諸問題》、《中國社會史上奴隸製問題》、《亞細亞生產方式和所謂中國社會“停滯”問題》等文章，對日本壟斷資產階級禦用文人秋澤修二所說中國社會曆史是“循環”、“退化”的，需要皇軍用武力最後克服的謬論予以批判，引起國內外輿論界的高度重視。1941年皖南事變後，輾轉到達蘇北抗日根據地，在中共華中局黨校任教，講授《中國社會史》和《中國革命史》課程。1941年出版《簡明中國通史》上冊，1942年3月隨劉少奇返延安，任政治秘書，後改任學習秘書，劉少奇親切地稱之為“老夫子”。他積極參加了延安整風運動，任中央馬列主義研究院特別研究員，為提高全黨馬克思主義理論水平做了許多有益工作。1945年9月赴東北，先後擔任中共熱西地委副書記、遼東省委常委，主管安東、撫順、本溪、通化的城市工作。為黨的中心工作由農村轉向城市，恢複城市經濟作了艱苦努力。雖戎馬倥傯，但沒有放棄對中國曆史的研究。1948年出版了《簡明中國通史》，這是中國最先出版的馬克思主義通史著作。

新中國建立後，任大連大學校長兼黨委書記、東北人民政府文教委副主任兼東北人民大學校長和黨委書記。1955年調任中共中央黨校兼職教授，聘為中國科學院哲學社會科學部委員。繼續致力於民族史研究，發表了《中國民族關係發展的曆史特點》、《關於曆史上的民族融合問題》、《新疆和祖國的關係》等重要論文，對黨的民族團結政策的製定和貫徹起到了積極促進作用。他是第一屆全國人大代表，第三屆全國政協委員。

“文化大革命”中，因劉少奇冤案的株連，被關進監獄，直到1975年12月經鄧小平批示才獲釋。出獄後，不顧百病纏身，仍拚命工作，寫出了《少奇同誌和南京談判》、《跟隨少奇同誌回延安》等文章。1980年7月17日病逝，終年79歲。

他一生寫下17種史學專著和數百萬字的史論、政論文章，為創立和發展馬克思主義史學作出重要貢獻。2000年5月24日，在北京舉行紀念呂振羽同誌百年誕辰座談會，稱他是中國共產黨的優秀戰士，是中國馬克思主義曆史科學的開創者之一，是傑出的無產階級教育家。