原名林祖涵，湖南省安福縣（今臨澧縣）人，1886年3月20日出生於安福縣一個書香家庭。1902年，考入湖南公立西路師範學堂，1903年冬，西路師範舉行選拔留日學生考試，以第一名被錄取。1904年入日本東京弘文學校留學。1905年加入孫中山在東京創立的中國同盟會，11月因陳天華憂時感事在日本東京憤而蹈海自殺，毅然罷學，此後成為職業革命家。1906年在長沙任教和從事革命活動。1907年，被派到東三省工作，從事秘密反清活動。1911年回湘，參加倒清反袁獨立活動，失敗後，於1913年5月逃亡日本。1914年7月加人中華革命黨，後奉命回國到漢口、長沙等地組織反衰活動，參加護國、護法運動。

1921年1月，經李大釗、陳獨秀介紹，加入上海共產主義小組，繼續留在國民黨內工作，在幫助孫中山確定聯俄、聯共、扶助農工三大政策和改組國民黨的工作中發揮了重要作用。他是國民黨第一、二次全國代表大會的代表，先後當選中央執行委員會候補委員、委員、常委，擔任農民部長。在發動和領導農運工作中，認真執行孫中山扶助農工的政策，吸收中共從事農運和對農民問題有深刻見解的同誌參加，盡力爭取國民黨左派的支持與合作，為推動當時農民運動的發展，建立了功勳。1926年5月，蔣介石提出“整理黨務案”，他被排擠出國民黨中央，後到國民革命軍第六軍任副黨代表兼政治部主任，把一支內部矛盾重重、戰鬥力很弱的雜牌軍，改造成為北伐勁旅之一。1927年3月，在武漢出席國民黨二屆三中全會，任武漢國民政府軍事委員會秘書長。

1927年7月15日寧漢合流後，即去江西參加八一南昌起義，擔任革命委員會財經委員會主席，起義失敗後輾轉去蘇聯。1928年秋到達莫斯科，先後在莫斯科、海參葳學習和任教。在此期間，同瞿秋白、吳玉章及蘇聯語言學家一起製定了中國北方話拉丁化方案，為中國文字改革事業做了有益工作。1932年下半年起程回國，經上海於1933年3月到中央蘇區，先後任中華蘇維埃政府國民經濟部部長、財政部部長，注重發展農業生產，廣泛開展節約儲糧，保障紅軍和蘇區人民的供給。為解決蘇區的財經困難，一麵成立沒收征收局，向地主富農籌款借款；一麵適當增發貨幣，幫助各機關建立健全財政製度，開展節約運動，保證革命戰爭的財政需要。紅軍長征開始後，任沒收征發委員會主任和總供給部部長。他有一匹馬，但很少騎，而是拄著拐棍，手提小馬燈，為紅軍籌糧籌款。黃鎮當時為他畫了一幅《長征中的英雄》。1935年長征到達陝北後，繼續任財政部長。1937年冬至1948年任陝甘寧邊區政府主席，領導邊區軍民，在極其艱苦的條件下，積極貫徹中央的十大政策，建立三三製政權，實行精兵簡政，開展大生產運動，進行經濟、文化建設，把邊區建設成為模範抗日根據地。洛川會議通過《抗日救國十大綱領》後，任八路軍駐陝辦事處代表，駐西安進行統一戰線和對外聯絡工作，利用自己社會聯係廣、資深望重的社會影響，廣泛團結各階層人士一致抗日，對推動第二次國共合作作出了重大貢獻。在黨的七屆一中全會上，當選為中央政治局委員。