1948年12月12日，他抵达中共中央驻地西柏坡，接受筹备召开中国人民政治协商会议的任务，为建立新中国，老当益壮，兢兢业业，不辞劳苦，有时连续工作达20小时。他在日记上写下“为人民服务，为世界工作”10个大字作为座右铭自勉。中华人民共和国成立时，当选为中央人民政府秘书长，主持开国大典，站在毛泽东身旁，以宏亮的声音宣布开国大典开始。

1954年9月，在第一届全国人民代表大会第一次会议上，当选为人大常委会副委员长。他主张人大代表要下去视察工作，了解人民群众的意见和要求，了解当地的实际工作状况，以便推动和鼓励各级政府正确地及时地解决一些重要问题。并倡导把定期下去视察工作，了解人民群众的意见和要求，作为党和国家机关联系群众、调查研究的一种制度。在党的八届一中全会上继续当选为中央政治局委员。1957年至1959年，他在视察中逐渐觉察出一些问题，在日记上写下一些针砭时弊的话：“脚踏实地，实事求是”，“留有余地，力戒浮夸片面”。1959年7月，参加庐山会议，在发言提纲中写有“我们的不足”，是“既忽视客观规律，又未能综合平衡“，原因之一是我们的错误造成的，如“刮共产风”，“似乎一切都要翻一番”，这是“脱离群众的”。在《庐山即景》一诗中写道：“规律客观不可忽，自有群众做结论。”

1960年5月29日病逝，终年74岁。有《林伯渠同志诗选》、《林伯渠日记》等著作存世。邓小平说：“林伯渠同志从青年时代就献身于中国人民的伟大革命事业。他的一生，是职业革命家战斗的一生。他经历了资产阶级领导的旧民主主义革命、无产阶级领导的新民主主义革命和社会主义革命三个历史阶段。在每个革命的历史阶段，他都是彻底的革命派，为中国人民的解放事业作出了不可磨灭的贡献。”他的贡献是多方面的，特别是在统一战线、财经工作和政权工作方面的贡献尤为显著。王震说：“林伯渠同志学识渊博，既是政治家，又是学者和诗人。毛泽东主席就曾说过，他是知识渊博的大知识分子。他经常手不释卷，勤奋地学习，尤其重视学习马克思主义著作。在六十寿辰时，他还向毛主席请教：‘像我这样的人，应当如何学习？’毛泽东同志回答说：‘讲到底，我觉得还是三个问题。像你我这样的老党员，也还是要在立场、观点、方法三个方面去努力。我们学习马列主义，最主要的还是学习分析问题和解决问题的立场、观点、方法。’林伯渠同志非常重视毛泽东主席这一教导，他多次向同志们讲述毛泽东同志同他的这次谈话。”