湖南省宁乡县人，1892年9月18日出生于一个耕读世家。幼年勤学好武。15岁时考入湖南陆军小学。1911年考入武昌陆军第三中学堂。参加了武昌起义。1915年转入河北保定陆军军官学校深造。毕业后任湖南省督军公署参谋处上尉参谋。

大革命时期，参加国民革命军，随北伐军转战大江南北。历任营长、团长，国民革命军第四十军第三师副师长、师长，第八师旅长、师长。为推翻封建军阀统治打了许多仗。大革命失败后，他陷入内战迷津，曾三次参加“围剿”革命根据地，有两次未与红军接触，一次被红军击败。因而引起蒋介石嫡系疑忌，屡遭贬逐。

抗日战争时期，任国民党军委会直辖的第一军军长，后任国民党第七十六军军长兼第八师师长。由陕西率部驰援上海抗战，部队进入阵地后，全军官兵同仇敌忾，一举击溃日军。在敌海陆空军强烈攻击下，坚守阵地22天，有力地打击了日寇的嚣张气焰，被誉为“抗日名将”。旋任第三十四集团军副总司令、洛阳第一战区政治部主任兼第三十八集团军副总司令、第三十七集团军总司令、河西警备总司令等职。

解放战争时期，任新疆警备司令部总司令、西北军政长官公署副长官。他积极支持张治中的和平民主政治主张，接受共产党的建议，将盛世才关押在新疆的共产党人全部释放，并亲自安排130多人返回延安。通过与共产党接触，他开始倾向革命。当国民党政府将其部队调往内地作最后挣扎时，他明拖暗顶，按兵不动。在此关键时刻，中共中央派联络员密赴乌鲁木齐，阐明和平解放新疆的政策和主张。经周密计划，他与包尔汉于1949年9月25日通电全国，举行起义，新疆得以和平解放。年底，他领导的起义部队编为中国人民解放军第二十二兵团。在任兵团司令员期间，他根据中共中央和中央军委的指示，认真做好部队官兵的思想政治工作，同心同德，坚定地跟共产党走，并按照“三大纪律、八项注意”的原则，整顿部队作风，平息地方残匪叛乱，维护社会秩序，带领和组织广大人民恢复发展工农业生产，从而稳定了新疆局势。

1954年8月，第二十二兵团与第一兵团、第五军合编为新疆生产建设兵团，任新疆军区副司令员兼生产建设兵团司令员。他坚决贯彻执行中央提出的“屯荒、戍边、开拓资源，进行经济建设’’的指示，经常深入垦区检查指导工作，亲自参加垦荒、开渠、植树等生产活动，与少数民族群众打成一片，为发展新疆的工农业生产，繁荣经济，改善和提高人民的物质文化生活，巩固边防进行不懈的努力，受到新疆各族人民的尊重和信任。

他是第一至第三届国防委员会委员，第一至第四届全国人大代表，第四、五届全国人大常委会委员，第三至第五届全国政协常委，第六届全国政协副主席，湖南省第六届人大常委会副主任。1955年被授予上将军衔。1982年9月，经中共中央、中央军委批准，光荣地加入了中国共产党，实现了他多年的宿愿。1988年12月26日，在长沙病逝，终年97岁。国家副主席王震说：“陶峙岳是中国共产党的优秀党员，早期民主主义革命的先锋战士，著名爱国将领，中国人民解放军的高级将领。”