天启七年（1627年）八月，明熹宗天启帝驾崩，思宗崇祯帝即位，魏忠贤倒台自缢，清算魏忠贤党羽的政治运动也随之展开，著名书法家张瑞图牵扯其中。

　　山阴监生胡焕猷首先弹劾张瑞图，他上疏对崇祯皇帝说：“张瑞图这些人，身居内阁高位，没有主持公道，媚附奸党，专事逢迎，助纣为孽，使忠良之臣惨遭迫害，蒙冤含屈。堂堂朝廷命官，加入阉党队伍，算什么？”

　　御史罗元宾也上疏说：“张瑞图给魏忠贤生祠题匾额写碑文，歌功颂德，实为逆党，理应受罚。”

　　张瑞图心里苦，但张瑞图不解释。谁叫他书法写得好呢。还是董其昌聪明，懂得明哲保身，躲过了给魏忠贤书碑这事。张瑞图请求解职归乡，崇祯皇帝没有批准。

　　张瑞图书法

　　天启七年（1627）十二月二十三日，崇祯皇帝下令，要求内阁、六部、都察院的大臣“定阉党逆案”，由韩爌、李标、钱龙锡牵头清查，拟定惩治“魏党”名单，根据各人的罪状作出惩处结论。

　　崇祯元年正月，张瑞图两次求退，崇祯皇帝仍然没批准。

　　对于“定阉党逆案”这事，韩爌、李标、钱龙锡商量怎么处理。韩爌说：“要犯从严处治，协从就不管了，不宜诛连太多太广，给自己树敌。”其他两人也都同意，说：“其实大多数人是被魏忠贤这个老贼淫威所逼，为了自保不得不选择附和。”

　　这么商量之后，列了首逆要犯五十多人上报，崇祯皇帝不满意，说：“魏忠贤权势滔天，爪牙遍布朝中，怎么可能才五十多个？凡是阿附谄媚魏忠贤的人，都要列进去。”

　　再次上呈的名单，也没有超过100人，崇祯皇帝还是不满意，作了指示：“天启皇帝身边那些侍从，伙同魏忠贤作恶，也要列进去。”

　　韩爌说：“我们比较愚钝，不知道是哪些侍从？”

　　崇祯皇帝骂道：“你们这些人，怎么可能不知道，还不是怕结怨，怕给自己树敌，以后遭报复。”说着，指着桌上一个布袋道：“袋子里面都是奸党给魏忠贤歌功颂德的奏疏，按照署名，给我一一列出来。”

　　看来崇祯皇帝是执意要搞大清洗运动了，韩爌等人没辙，列了一份200多人的名单报上去，崇祯皇帝方才满意。但他看了名单追问道：“名单怎么没有张瑞图？”

　　韩爌回答道：“经过我们仔细清查，发现张瑞图并没有参与魏忠贤逆党的实质性行为。”

　　“没有参与？张瑞图为魏忠贤写那么多生祠碑文，难道不是证据吗？”崇祯皇帝听后大为不满。

　　崇祯二年（1629年）三月，张瑞图被罢免。三月十九日，崇祯皇帝向全国公布“阉党逆案”名单及处置办法。首逆魏忠贤及老婆客氏，凌迟处死。首逆同谋崔呈秀等6人，立即斩决。投靠者分三等，一等刘志选、粱梦环、倪文焕、田吉、刘诏、薛贞、吴淳夫、李夔龙等19人，先关入狱中，秋后处决。二等有11人，充军。三等有大学士顾秉谦、冯铨、张瑞图、来宗道，以及一些级别较低的官员，计128人，徒刑3年，可赎买为平民。其他还有逆孽军犯35人、谄附拥戴军犯15人、祠颂44人等。

　　老百姓看着名单悄悄议论，有人问：“上面的张瑞图是那个大书法家吧？”有人说：“张瑞图能入内阁，还不是靠投机取巧，攀附魏忠贤，溜须拍马，一步一步往上爬的。”有人说：“还大书法家呢，书品看来不等同于人品，字写得那么峻峭凌厉，人却是媚态圆滑。”也有人说：“也不能这么说，魏忠贤得罪不起，张瑞图也是迫不得已，他的行径还是有别于逆党的，他的字恰恰蕴含着他的精气神。”

　　无论百姓怎么议论，张瑞图成为“魏家阁老”，是铁板钉钉的事实了。

　　崇祯三年（1630年），张瑞图被遣回老家泉州，结束了官场生涯，从建极殿大学士沦为平民。张瑞图心灰意懒，隐居在故乡晋江青阳下行，或去白毫庵与僧人谈论禅理，或与友人泛胡登山，或是诗文酬唱，或是翰墨自娱，优哉游哉，聊度残生。

　　一天，张瑞图游玩山水，躺在松林下、长草间，头枕双臂，耳听松涛，闭着双眼，想起了陈年往事。那是在万历三十五年（1607年），张瑞图高中进士，殿试第三名。人逢喜事精神爽，春风得意马蹄疾。作为新科探花，张瑞图前去拜见了在朝中任东阁大学士的老乡李廷机，畅谈自己的政治理想和抱负，希望能得到老乡的帮助和提携。李廷机告诫他道：“识人多立朝难，是非多，听闻贤侄书法奇逸，日后当写则写，不当写不可乱写。”思及此处，张瑞图连连叹息。当初李大学士果真有远见，一语成谶，悔之莫及。

　　崇祯十七年（1644年），张瑞图卒于家，终年七十四岁。

　　南明隆武二年（1646年），唐王朱聿键为张瑞图被列入“阉党”一案平反，赐谥文隐，重新祭葬。