湖南省湘潭縣人，1872年9月9日出生於湘潭縣一個世代書香之家。1897年入選拔貢。1902年入選湖南首批官費留日生，東渡日本，就讀東京弘文學院速成師範科。同年冬歸國，立即著手籌辦學校，1903年3月與表兄龍璋(時任江蘇泰興知縣)、龍紱瑞兄弟商量，並得到龍紱瑞的父親、前清刑部侍郎龍湛霖的2000元資助，租賃長沙左文襄公祠為校舍，創辦了湖南明德學堂。由龍湛霖任董事長，自任監督(即校長)，從此把教育事業作為“磨血事業”，而自己就是“磨血之人”，為發展中國教育事業特別是辦好明德學校付出了畢生的精力。

他是湖南新興教育事業開拓者，所創辦的明德學堂是湖南最早的新式私立中學，比天津南開大學還早一年。明德學堂從開始創辦就遇到了生存、師資、經費等諸多困難。麵對以王先謙、葉德輝為首的守舊勢力的強烈反對、百般刁難，他頂住壓力，費盡心血，與之進行巧妙的鬥爭，經過多年斡旋，克服各種困難，終於取得湖南巡撫趙爾巽的認可和支持。他以誠待人，多方羅致人才，延聘水平高、素質好的新學教員，還邀請黃興、張繼、周震鱗、蘇曼殊等革命人士來校任教，專從日本請來理化、博物教員。為挽留在日本時的同學陳介任日語翻譯，他長跪不起，在湖南教育界傳為佳話。為了籌措教育經費，他四處奔波，想方設法，“這裏請津貼，那裏求募捐”，經曆了千辛萬苦，遭人白眼，被稱為“胡大叫化”亦不介意。他聘立憲派人物曹典球等任明德教職員，聘省都督譚延閭為明德總理，以獲取資助。有不樂意捐助的，還以“人生大不幸，碰到胡子靖”相譏，他嗤之以鼻。北洋政府內閣總理熊希齡是其老朋友，他常去找熊募款，遇到熊外出未歸，就自帶被褥睡在熊的家裏等待，不達目的不罷休。由於他這樣艱苦努力，明德學堂得以逐步發展壯大，並形成獨特的教育體係。開辦之初隻招收兩個中學班，共80人。1903年8月得譚延闓資助，增招速成師範班。1904年春向湘潭同鄉袁樹勳募款萬元，新設理化博物科。同年夏增設高等小學。後又增設初等小學。還增設語文、商業等專修科，以適應社會需要和解決中學生出路問題。學校學生達600餘人，成為清末湖南規模最大的新式私立學校，深受時論好評。1908年，他在南京創辦的銀行專科，後正式改為南京高等商業學堂，還在上海、漢口設立分校。1913年又在北京創辦明德大學，聘章士釗任校長。1926年以後，明德堅持長期專辦中學，致力於培養中等專業人才。