宣帝早年落难民间，听到很多关于霍氏尊盛日久、权力在皇帝之上的议论，内心早已反感。他登帝位是霍光一手安排。在他做了皇帝之后，按照礼（制）常要到高祖陵墓跪拜，霍光以辅政大臣的身份坐在他身边，这使感到针芒在背，一刻也不能自在，宣帝即位不久，发生了一桩宫廷人命案。事情是这样的：帝立贫贱夫妻许平君为皇后，引起了霍光妻子的忌恨。霍光妻名显，有小女名成君，她一心想让成君取代许平君当皇后，却一直找不到办法。

　　后来，借许皇后怀孕请医生看病的时机，她买通了宫廷医生淳于衍，用毒药害死了许皇后，又劝霍光把成君送入宫中，新立为皇后。许皇后的暴亡是宫廷里的重大案件，淳于衍便成了重点怀疑对象，被逮捕下狱，严厉审问查究。显闻知消息后，吓得心惊肉跳，只好在家里将实情告诉霍光。霍光听后也害怕得坐立不安，想自己去报案，又没有勇气，更害怕全家坐罪，内心矛盾重重。最后霍光还是决定掩盖此事，当上奏送到他手里时，他批示说：证据不足，不要追究。

　　公元前６８年霍光死，霍氏家族的势力也走到了末路。显然失去了霍光这把大保护伞以后，毒杀许皇的事也传出来了，宣帝得到禀报，但还未得到确凿证据。宣帝决定立即削弱霍氏集团控制的庞大权力，提高丞相魏相的权力，经常与皇帝单独商议朝政；又改变群臣向皇帝奏事需先通过尚书的做法，只保留霍山（霍光之子）尚书头衔，宣帝的岳父许广汉、侍中金安上等人可直接向皇帝报告。

　　以后几个月中，便把占据军政要职、盘根错节的霍氏集团统统作了处理，如霍光侄孙霍禹，大女婿范明友，次女婿任胜，姐夫张朔，孙女婿王汉等等，有的免职，有的外调边郡，有的削去实权只留虚职。同时，宣帝任命岳父许氏和祖母史氏两家的成员，担任各种要职。霍光的侄孙霍禹只留大司马虚职，免去他右将军领兵的职务，连帽子也换了一顶小的。他借口请病假，在家中发牢骚，皇帝知道也不理会，还是他的老部下任宣劝他说，“时过境迁，已不是当日大将军一手遮天可比了”，霍禹这才勉强出门办事。霍氏集团日益为权力被削而不满，又担心毒死许皇后案发，招来更大灾祸，便串通一气谋反。最后，事情统统暴露，霍氏势力彻底铲除。

　　汉宣帝有意依靠许氏、史氏家族的势力，封许广汉、许延寿兄弟三人为侯。又封史高等兄弟为侯，史高官至大司马车骑将军。许氏、史氏虽不像霍氏那样垄断各项大权，但也构成了西汉后期的严重问题西汉外威权力的恶性发展，是从元帝、成帝间王氏家族的暴起开始的。那时，外戚王风等人权倾朝野，皇帝想任用一个小官，也得王风点头才算数，实际上皇帝已成为傀儡了，王氏外威集团的崛起，根由在于王政君。宣帝王凤年间王政君年十八岁，被选为宫女。进宫后，宣帝令她嫁给太子刘奭。

　　公元前４９年，刘奭继皇帝位，是为汉元帝，即立王政君为皇后。王政君的哥哥王风封为侯，任卫尉侍中，出入皇宫。公元前３３年，元帝卒，王政君生的太子刘骜继位为汉成帝，王政君尊为皇太后。王凤这位皇帝的大舅父，被任为大司马大将军领尚书事，掌握军政大权。成帝河平二年（公元前２７年），成帝封王谭、王商、王立、王根、王逢时为侯，他们都是王太后的兄弟，也就是成帝的舅舅。五人同日封，当世称他们为“五侯”。以后王氏家族还有受封授官的。史家说王氏子弟占据宫内外各部门的要职，真是“分据势官满朝，汉成帝是个浪荡公子，终日花天酒地，不理政事，王风也不让他有一点实际权力。正如史家说的壁帝昏庸荒淫和外戚骄横跋扈，是西汉封建统治集团腐朽的表现。

　　汉成帝一直没有儿子，又经常有病。定陶王来朝见，成帝留他在长安住下来，对他说：“我连个儿子也没有，身边没有别的亲属照顾我，万一我死了，就再见不到你，你不要走，”定陶王便留下日夜侍候成帝。这件事也引起王凤的不满，他借口发生日食，对成帝说：“日食是因阴气盛。定陶王不应离开封地，留在京师。这是上天发出的警戒。”成帝又只好服从王凤，与定陶王洒泪而别。

　　王风如此专权，引起刚直敢言的京兆尹王章的不满。成帝召见他，问他的看法，王章说：“不错，日食是阴侵阳，这恰恰说明是大臣专权，压倒国君，应该谴责的是王凤。他反倒归罪定陶王这样的好人，是弄颠倒了。”王章说这话时，王凤的堂弟王音正藏在旁边偷听，他报告给王风，王风便以不上朝卧病在家作为要挟。

　　太后王政君终日在宫里抹眼泪，饭也不吃。成帝更害怕了，连忙派人劝慰王风，承认自己的不是，说：“日食，是因我政事不明，与大将军无关，请您早日将病体养好。”王风见已保住体面，就及时收场，不再装病了他重新理政的头一件事务，就是让尚书随便找个莫须有的罪名，把王章逮捕下狱，又指使刑尉定他为死罪。结果王章被害死在狱中，妻子儿女流放到几千里地以外的合浦。群臣亲眼见到王风如此随便地摆布皇帝，又如此狠毒地害死对他不满的大臣，人人感到恐怖。自此以后，公卿见他只敢侧目而视，郡国守相刺史的任命由他一手操纵。王音因为告密有功，升为御史大夫，以后又成为王凤的接班人。刘家的皇帝只不过是个摆设了。此后便逐步演出了王莽代汉的闹剧。