明察，刑杀果断，并颇为自己护短，严嵩因此得以借事激怒皇上，残害别人以谋取个人私利。张经、李天宠、王忄予之死，严嵩都出了力。前后弹劾严嵩、世蕃的谢瑜、叶经、童汉臣、赵锦、王宗茂、何维柏、王晔、陈垲、厉汝进、沈炼、徐学诗、杨继盛、周铁、吴时来、张羽中、董传策都被贬职。叶经、沈炼还被借别的过失处死；杨继盛因在张经的奏疏末尾附上名字而被杀。其他严嵩所不喜欢的人，有许多被借升迁考察之机斥退，还不留下痕迹。
俺达汗逼近都城，傲慢地投书要求朝贡。皇上召严嵩与李本和礼部尚书徐阶到西苑商议。严嵩无所规划，交给礼部讨论，皇上全部采纳了徐阶的建议，稍稍轻视严嵩。严嵩又寻找矛盾激怒皇上，杖打司业赵贞吉，并将他贬职。兵部尚书丁汝夔受严嵩指使，不敢催促各将领抗战。敌寇退走后，皇上想杀死丁汝夔。严嵩怕他把自己供出来，便对他说：“有我在，你不用担心。”丁汝夔临死时才知道被严嵩骗了。
大将军仇鸾，当初被曾铣弹劾，后倚靠严嵩排挤曾铣，两人遂认作父子。后来仇鸾牵制敌寇，获得皇上重用，这时严嵩还把他当儿子看待，但不久便逐渐不和。严嵩秘密上疏诋毁仇鸾，皇上不听，反而颇相信仇鸾所提出的严嵩父子的过失，渐渐疏远了严嵩。严嵩本当入宫当值，但已有好几次不被召见了。严嵩见徐阶、李本进入西内，便与他们一同进去。到西华门时，看门的人因他不是皇上所召而把他挡了回来，严嵩回到家后，父子相对而泣。当时陆炳掌管锦衣卫，正与仇鸾争宠，严嵩于是勾结陆炳一同谋害仇鸾。正好仇鸾病死，陆炳便揭发仇鸾的阴事，皇上于是追戮仇鸾。此后皇上更信任严嵩，与从前一样派自己所乘坐的龙舟渡海召严嵩，将他载到西内当值。世蕃不久升任工部左侍郎。倭寇骚扰江南，皇上用赵文华督察军情，他广收贿赂献给严嵩，致使倭寇作乱更严重。到胡宗宪诱降汪直、徐海之后，赵文华便对皇上说：“臣授给胡宗宪的计策，是我的老师严嵩教给我的。”皇上遂命严嵩兼领尚书的俸禄，严嵩不谢恩。此后皇上的褒奖赏赐，他都不谢。
皇上曾因严嵩当值的房子太狭小，便拆毁一个小殿，取材营建新室，并种花木于其中，早晚赐给他御膳、法酒。严嵩年已八十，皇上准许他坐肩舆进入宫苑。皇上从十八年(1539)葬章圣太后以后，便不再临朝听政，而从二十年宫婢之变后，即移居西苑万寿宫，不进入大内，大臣极少得以拜见，惟有严嵩一人得承皇上顾问，皇上的手札有时一天投给他几次，而其他同事都不能闻知，因此严嵩得以肆意妄为。但皇上虽然很礼敬严嵩，也不完全相信他的话，偶尔取一件事来自己处理，或者有时故意表示与他持不同意见，想以此来杀一杀他的气势。严嵩父子独得皇上倾心，如果想要解救谁的话，严嵩必先顺着皇上的心意对他痛加诋毁，然后再向皇上委婉解悉，使皇上不忍给他加罪。即使是对想要排挤陷害的人，严嵩也必先称赞他的优点，然后再对他微言中伤，或者让他能犯皇上所耻和忌讳的事情。严嵩由此能左右皇上的喜怒，想干的事往往没有失手。士大夫们纷纷攀附严嵩，时人称文选郎中万采、职方郎中方祥等人为严嵩的文武管家。尚书吴鹏、欧阳必进、高耀、许论之辈，都惴惴不安地奉事严嵩。
严嵩掌权岁久，遍引私人占据了各要害部门。皇上也渐渐厌恶他了，转而逐渐亲近徐阶。正好徐阶的好友吴时来、张明中、董传策都上疏弹劾严嵩，严嵩便密请皇上追究主使的人，将他投入诏狱，穷加惩治，但都问不出什么来。皇上于是不问，而安慰挽留严嵩，但内心却不能平静，徐阶因此得以有机会排挤严嵩。吏部尚书出缺，严嵩极力推荐欧阳必进提任，但才三个月即被罢斥。赵文华违逆圣旨，受到贬职，严嵩也不能救。有诏书说二位王子要在府邸完婚，严嵩极力请求留在后宫。皇上不高兴，严嵩也不能再坚持。严嵩虽机警，能预先揣摩到皇上的心意，但皇上所下的手诏，语言多不可理解，只有世蕃一目了然，答语无不正合皇上旨意。到严嵩的妻子欧阳氏死后，世蕃应当护丧归葬，严嵩请让他留在京城的府邸中侍从。皇上批准了，但从此不准他进入办公室代严嵩起草诏书，世蕃只好每天在家中纵情玩乐。严嵩因接到的诏书多不能作答，便派人拿去问世蕃。而世蕃往往正在恣淫，不能按时作答。中宫使者相继捉弄严嵩，严嵩不得已只好自己动手，但往往不合皇上旨意。他所进呈的青词，又因多假手于他人而做得不好，由此他逐渐失去皇上的欢心。正好万寿宫失火，严嵩请暂时迁到南城离宫。南城原是英宗做太上皇时居住的地方，皇上不高兴。而徐阶营建万寿宫却很合皇上心意，皇上便更加亲近徐阶，有所询问多不请教严嵩，即使是问到严嵩，也只有祭祀方面的事情而已。严嵩害怕了，设酒邀请徐阶，让家人向他跪拜，然后举起酒杯嘱托道：“我严嵩是将死的人了，这些人还望您哺育他们。”徐阶推辞说不敢。
不久，皇上采用方士蓝道行的话，有意疏远严嵩。御史邹应龙到一个宦官家避雨，知道了这事，便上疏全力弹劾严嵩父子违法，他说：“如臣所说不符合事实，请斩下臣的首级来向严嵩、世蕃谢罪。”皇上降圣旨安慰严嵩，都以严嵩溺爱世蕃，有负皇上眷爱和倚重为名，令他退休，用驿车送回家，让有关当局每年给他一百石粮食，而将世蕃依法审判。严嵩为世蕃向皇上请罪，并且请求释放世蕃，皇上不听。司法部门上奏判世蕃和他的儿子锦衣卫官员鹄、鸿，以及门客罗龙文发配戍边。皇上下诏同意，但特别宽宥严鸿为民，让他服侍严嵩，而将他的家奴严年关押在狱中，将邹应龙提升为通政司参议。这是在四十一年(1562)五月。罗龙文官任中书，与严嵩父子狼狈为奸，而严年最为狡猾凶恶，他就是士大夫们所称的萼山先生。
严嵩既已离去，皇上怀念他辅助自己信奉道教的功劳，心中闷闷不乐，便告诉徐阶想传位给太子，自己退居西内。徐阶极力劝谏说不可。皇上说“：如果你们不想让我退，那就都必须奉老君之命，共同辅助我参修玄功才行。严嵩已经退了，他的儿子世蕃也已伏法，还敢再反动的，把他同邹应龙一起斩首。”严嵩知道皇上想念他，便贿赂皇上左右的人，揭发蓝道行的阴事，将他押往刑部，企图让他供出徐阶。蓝道行没有承认，便将他判了死罪，不久释放。严嵩当初回到南昌时，正值皇上生日，便派道士蓝田玉在铁柱宫设斋醮。蓝田玉善于招引鹤鸟，严嵩向他取得符。。，将它与自己的祈鹤文一起上呈给皇上，皇上下诏褒奖他。严嵩因此上书说：“臣已八十四岁了，而唯一的儿子世蕃和孙子鹄都在边远地区戍守，乞请将他们移往方便的地区，使他们能赡养老臣，让臣能安度余年。”皇上不许。
第二年，南京御史林润上奏：“江洋巨盗多逃入罗龙文、严世蕃的家。罗龙文住在深山中，乘坐轩舆，穿蟒衣，有据险不臣之志。严世蕃得罪之后，与罗龙文天天诽谤时政。他们建府第时动用了四千名劳工，人们都说两人交通倭寇，将有不测之变。”皇上下令林润逮捕他们，交给司法部门判了斩刑。两人都被诛杀，严嵩和他的孙子也被废为民。严嵩窃权二十年，他溺爱信任恶子，流毒天下，人们都将他指为奸臣。至于判严世蕃犯了大逆之罪，则是徐阶的主意。又过了两年，严嵩垂老而且有病，在墓舍寄食而死。
严世蕃，脖子粗短，身材肥胖，瞎了一只眼睛，凭父亲在朝廷任职而进入仕途。因为建筑京师外城有功劳，由太常寺卿升任工部左侍郎，仍掌管尚宝司事务。他剽悍阴贼，仗着父亲受皇上宠爱，贪得无厌地谋取个人权力。不过他对国家典籍颇为精通，对时务了解得很清楚。他曾说天下的才子，只有他自己和陆炳、杨博三人。陆炳死后，他更加自负了。严嵩年老昏乱，并且早晚在西内当值，各部门来汇报事情时，他总是说：“拿去问东楼。”东楼，是世蕃的别楼。朝廷政事全委托给世蕃，九卿以下大臣十天都见不上一面，有的从早等到晚，但仍被遣走。士大夫们对他都屏息侧目，而不肖之徒争相走其门，路上抬着筐篚送贿的人络绎不绝。世蕃非常熟悉中外各个职官的肥瘦险易，然后按不同情况责以多寡不等的贿赂，丝毫都不能少。他在京师建府第，占地三四坊，拦水筑坝，围起数十亩的水塘，将珍禽奇树都网罗其中，每天拥簇着宾客纵情声色，即便是大官僚或父辈之人，也要强迫他饮酒，不醉不罢休。在母亲去世守孝期间，他也依然如此。他喜好古尊彝、奇器、书画，赵文华、鄢懋卿、胡宗宪之辈，凡有所得便用车给他送来，或者向富人家索要，不达目的不罢休。后来被邹应龙弹劾，遣往雷州戍守，还没到达便返回了。他便进一步大建亭园，他的监工奴见到袁州推官郭谏臣，竟不行礼。
御史林润曾弹劾鄢懋卿，怕他报复，便与郭谏臣图谋揭发他的罪状，并提到他冤杀杨继盛、沈炼的情况。世蕃知道后很高兴，对他的党羽说：“不要怕，这案将要解决了。”司法官黄光升等人将判决词报告徐阶，徐阶说：“你们想让他活下去吧？”大家都说“：我们都想将他置于死地。”徐阶说：“但你们这样做，正好是让他活下来。杨沈二人的罪案，都是严嵩巧取皇上旨意办成的。现在揭露此案，是暴露皇上的过失。如果是这样，则各位将有不测之祸，而严公子将骑着马悠然地走出都门。”便亲自为他们删改草稿，单提罗龙文与汪直是亲家。说他们通贿世蕃，为汪直求官。世蕃采用彭孔的建议，以为南昌仓库的那块地方有王气，便取过来建府第，建筑规格都仿照王者等级。他又勾结同宗人严典木英，暗中侦察非常之事，多招聚亡命之徒。罗龙文又招集汪直的余党五百人，并策划为世蕃外投日本，而先前派出去的世蕃的班头牛信也从山海卫离开部队北逃，招诱外兵，准备互相呼应。徐阶当天就令黄光升等人赶紧写成材料上奏皇上。世蕃听说后，惊讶地说：“这回死了。”遂被押到市场斩首。在抄他的家时，获得黄金达三万余两，白金二百余万两，其他珍宝服装和玩好之物，其价值又达数百万。