第一件事就是剥夺霍山领尚书事的权力,规定所有奏章,不必再用副本,直接呈送到皇帝;第二件事是,剥夺霍氏家族们的军权,让霍氏家族地位崇高但没有实力。霍氏家族对皇帝的作法十分不满意,于是开始蠢蠢欲动。
霍氏家族的第一次阴谋败露:
当霍氏家族走下坡路的时候,霍云的舅父李竟有一个朋友叫张赦。此人向李竟秘密建议曰:“现在宰相魏相、平恩侯许广汉二人大权在握,恐怕霍家马上有灾难临门呀!但你们仍有一条生路,那就是,请霍显出面,说服她外孙女上官太后,由上官太后下令,先把魏相、许广汉干掉,然后一做、二不休,再把刘询驱下宝座,另换一个皇帝,才是釜底抽薪的上策。”问题是,当霍氏家族掌握兵权的时候,这主意是个好主意,因为它有成功的可能性。如今,兵权既去,等于丢了刀子再去打老虎,这主意便是馊主意。
尤其糟的是,这种可怕的馊主意,还不能做到保密,竟被一个叫张章的小民从好友张赦口中得知,这张赦是霍府的一个马夫。张章得到这个消息暗喜:“富贵荣华,在此一举。”第二天,他就写了一份检举函,向皇帝直接告密。于是,廷尉立即采取行动,把李竟和张赦两人逮捕了。可是,李竟被释放了,而且这个罢黜皇帝此等非同小可的大事竟然稀松平常地消灭于无形了。这反倒使霍氏家族更为恐慌。
不久,刘询借这次事件,勒令霍云和霍山提前退休,但仍保持他们的侯爵。至此,霍氏家族中,除了霍禹仍当一个架空了的大司马外,其他的全被逐出权力中枢。而刘询对唯一留在政府中的霍禹,也不再维持昔日的礼遇。霍显的女儿,都是上官太后的姨妈们,不但辈份高,年龄也比较长,平常每次进宫,跟上官太后挤在一起叽叽喳喳,也成了罪状。有一天,刘询声色俱厉地质问霍禹:“霍家妇女晋见上官太后时,为啥不遵守皇家礼节?”刘询又质问:“冯子都是谁?仗着谁的权势,竟敢在长安欺善凌弱?”问得霍禹哑口无言,浑身大汗。呜呼,霍家从来没有受过这种面对面的侮辱,而侮辱仅仅是更大灾祸的前兆。
《汉书》记载曰:霍氏家族的老鼠忽然增多,窜来窜去,有时竟撞到人的身上。号鸟就在庭院树上筑巢,发出毛骨悚然的叫声。大门无故塌掉,有人仿佛看见鬼魂就坐在霍云的房子上,掀起屋瓦,扔到地下。