湖南省寧鄉縣人，1892年9月18日出生於一個耕讀世家。幼年勤學好武。15歲時考入湖南陸軍小學。1911年考入武昌陸軍第三中學堂。參加了武昌起義。1915年轉入河北保定陸軍軍官學校深造。畢業後任湖南省督軍公署參謀處上尉參謀。

大革命時期，參加國民革命軍，隨北伐軍轉戰大江南北。曆任營長、團長，國民革命軍第四十軍第三師副師長、師長，第八師旅長、師長。為推翻封建軍閥統治打了許多仗。大革命失敗後，他陷入內戰迷津，曾三次參加“圍剿”革命根據地，有兩次未與紅軍接觸，一次被紅軍擊敗。因而引起蔣介石嫡係疑忌，屢遭貶逐。

抗日戰爭時期，任國民黨軍委會直轄的第一軍軍長，後任國民黨第七十六軍軍長兼第八師師長。由陝西率部馳援上海抗戰，部隊進入陣地後，全軍官兵同仇敵愾，一舉擊潰日軍。在敵海陸空軍強烈攻擊下，堅守陣地22天，有力地打擊了日寇的囂張氣焰，被譽為“抗日名將”。旋任第三十四集團軍副總司令、洛陽第一戰區政治部主任兼第三十八集團軍副總司令、第三十七集團軍總司令、河西警備總司令等職。

解放戰爭時期，任新疆警備司令部總司令、西北軍政長官公署副長官。他積極支持張治中的和平民主政治主張，接受共產黨的建議，將盛世才關押在新疆的共產黨人全部釋放，並親自安排130多人返回延安。通過與共產黨接觸，他開始傾向革命。當國民黨政府將其部隊調往內地作最後掙紮時，他明拖暗頂，按兵不動。在此關鍵時刻，中共中央派聯絡員密赴烏魯木齊，闡明和平解放新疆的政策和主張。經周密計劃，他與包爾漢於1949年9月25日通電全國，舉行起義，新疆得以和平解放。年底，他領導的起義部隊編為中國人民解放軍第二十二兵團。在任兵團司令員期間，他根據中共中央和中央軍委的指示，認真做好部隊官兵的思想政治工作，同心同德，堅定地跟共產黨走，並按照“三大紀律、八項注意”的原則，整頓部隊作風，平息地方殘匪叛亂，維護社會秩序，帶領和組織廣大人民恢複發展工農業生產，從而穩定了新疆局勢。

1954年8月，第二十二兵團與第一兵團、第五軍合編為新疆生產建設兵團，任新疆軍區副司令員兼生產建設兵團司令員。他堅決貫徹執行中央提出的“屯荒、戍邊、開拓資源，進行經濟建設’’的指示，經常深入墾區檢查指導工作，親自參加墾荒、開渠、植樹等生產活動，與少數民族群眾打成一片，為發展新疆的工農業生產，繁榮經濟，改善和提高人民的物質文化生活，鞏固邊防進行不懈的努力，受到新疆各族人民的尊重和信任。

他是第一至第三屆國防委員會委員，第一至第四屆全國人大代表，第四、五屆全國人大常委會委員，第三至第五屆全國政協常委，第六屆全國政協副主席，湖南省第六屆人大常委會副主任。1955年被授予上將軍銜。1982年9月，經中共中央、中央軍委批準，光榮地加入了中國共產黨，實現了他多年的宿願。1988年12月26日，在長沙病逝，終年97歲。國家副主席王震說：“陶峙嶽是中國共產黨的優秀黨員，早期民主主義革命的先鋒戰士，著名愛國將領，中國人民解放軍的高級將領。”