湖南省湘潭县人，1872年9月9日出生于湘潭县一个世代书香之家。1897年入选拔贡。1902年入选湖南首批官费留日生，东渡日本，就读东京弘文学院速成师范科。同年冬归国，立即着手筹办学校，1903年3月与表兄龙璋(时任江苏泰兴知县)、龙绂瑞兄弟商量，并得到龙绂瑞的父亲、前清刑部侍郎龙湛霖的2000元资助，租赁长沙左文襄公祠为校舍，创办了湖南明德学堂。由龙湛霖任董事长，自任监督(即校长)，从此把教育事业作为“磨血事业”，而自己就是“磨血之人”，为发展中国教育事业特别是办好明德学校付出了毕生的精力。

他是湖南新兴教育事业开拓者，所创办的明德学堂是湖南最早的新式私立中学，比天津南开大学还早一年。明德学堂从开始创办就遇到了生存、师资、经费等诸多困难。面对以王先谦、叶德辉为首的守旧势力的强烈反对、百般刁难，他顶住压力，费尽心血，与之进行巧妙的斗争，经过多年斡旋，克服各种困难，终于取得湖南巡抚赵尔巽的认可和支持。他以诚待人，多方罗致人才，延聘水平高、素质好的新学教员，还邀请黄兴、张继、周震鳞、苏曼殊等革命人士来校任教，专从日本请来理化、博物教员。为挽留在日本时的同学陈介任日语翻译，他长跪不起，在湖南教育界传为佳话。为了筹措教育经费，他四处奔波，想方设法，“这里请津贴，那里求募捐”，经历了千辛万苦，遭人白眼，被称为“胡大叫化”亦不介意。他聘立宪派人物曹典球等任明德教职员，聘省都督谭延闾为明德总理，以获取资助。有不乐意捐助的，还以“人生大不幸，碰到胡子靖”相讥，他嗤之以鼻。北洋政府内阁总理熊希龄是其老朋友，他常去找熊募款，遇到熊外出未归，就自带被褥睡在熊的家里等待，不达目的不罢休。由于他这样艰苦努力，明德学堂得以逐步发展壮大，并形成独特的教育体系。开办之初只招收两个中学班，共80人。1903年8月得谭延闿资助，增招速成师范班。1904年春向湘潭同乡袁树勋募款万元，新设理化博物科。同年夏增设高等小学。后又增设初等小学。还增设语文、商业等专修科，以适应社会需要和解决中学生出路问题。学校学生达600余人，成为清末湖南规模最大的新式私立学校，深受时论好评。1908年，他在南京创办的银行专科，后正式改为南京高等商业学堂，还在上海、汉口设立分校。1913年又在北京创办明德大学，聘章士钊任校长。1926年以后，明德坚持长期专办中学，致力于培养中等专业人才。