霍光字子孟，是骠骑将军霍去病的弟弟。他的父亲中孺，是河东平阳人，以县吏的身份在平阳侯家供事，同侍女卫少儿私通而生下霍去病。中孺差事完成后回到家中又娶妻生下霍光，与卫少儿断了关系不通音信。过了一段时间，少儿的妹妹子夫得宠于汉武帝，被立为皇后，霍去病由于是皇后姐姐的儿子而地位尊贵并受到皇帝的宠幸。霍去病长大成人后，才知道自己的父亲是霍中孺，但一直未来得及探访。恰好霍去病被封为骠骑将军去攻打匈奴，路过河东，河东太守到城郊去迎接，背着弓箭在前面带路，到平阳侯家裹的接待处休息。霍去病就派小吏去请霍中孺来相见。中孺急忙赶来很恭敬地晋见，霍去病上前迎接揖拜，跪下说：“去病早先不知道自己是您的骨肉。”中孺伏地叩头说：“老臣能把命运寄托给将军，这是上天所助啊。”去病为中孺买了大量的田地、房宅、奴婢后离开。还军的时候，霍去病又经过河东，于是就把霍光带到了长安，当时霍光才十几岁，就任命霍光为郎，不久就迁升为诸曹侍中。去病死后，霍光被封为奉车都尉光禄大夫，皇帝出行则以奉车身份随驾，在宫内就侍奉左右，进出禁宫有二十多年，一直小心谨慎，未曾有遇差错，很受皇帝的亲近信赖。
征和二年，卫太子被江充陷害所败，燕王刘旦、广陵王刘胥又都有很多过失。这时候皇上年老，宠姬钩弋趟侄伃生了一个男孩，皇上心中打算把皇位传给他，并命大臣来辅佐他。皇上观察群臣中衹有霍光才可担当重任，辅助社稷。皇上于是就叫宫廷画师画了一张周公背着成王接受诸侯朝贺的画赐给霍光。后元二年的春天，皇上出游五柞宫，病得很厉害，霍光流泪问道：“如果皇上有不测，那当由谁来继位？”皇上说道： “难道您还不明白上次送给您的画的意思吗？立少子为帝，您当照周公辅佐成王那样行事。”霍光叩头，谦让说： “我比不上金曰婵。”金H婵也说：“我是外国人，不如霍光。”皇上于是就任命霍光为大司马大将军，金H珲为车骑将军，以及太仆上官桀为左将军，搜粟都尉桑弘羊为御史大夫。他们都在天子卧室内的床前叩拜受职，接受遣诏辅佐年幼的君主。第二天，武帝驾崩，太子承袭皇位，称为孝昭皇帝。皇帝年仅八岁，政事全由霍光来决定。
在这以前，后元年时，侍中仆射莽何罗同他的弟弟重合侯莽通合谋反叛，当时霍光同金曰婵、上官桀等人一起诛杀了这些叛逆，其功没有被记录颁赏。武帝病后，密封玺书说：“我死以后打开玺书遵照从事。”遣诏封金H碑为诧侯，上官桀为安阳侯，霍光为博陆侯，都是按照以前捕杀叛逆的功劳来分封的。当时卫尉王莽的儿子王忽为侍中，在外面扬言道：“帝崩的时候，我经常在他的身边，哪裹会有遣韶封他们的事！这帮人是在自己抬高自己。”霍光听到这些话后，严厉责备王莽，王莽用毒酒杀死了王忽。
霍光性格沉静，思虑周到，身高衹有七尺三寸，皮肤白皙，疏眉朗目，须髯很美。每当他出入殿门的时候，前进、停止的时候都有固定的位置。郎仆射暗中做记号来观察，发现不差分毫，他的资质就像这样端正。霍光辅佐幼主的时候，政令由自己发布，天下人都仰慕他的风采。宫殿中曾经有过鬼怪之事，整夜群臣都很惊慌，霍光召见掌管符玺的郎官，郎官不肯把玺给霍光。霍光想夺取符玺，郎官按剑说道： “我的头可以得到，但玺却不可为你所得！”霍光很敬佩郎官的行为。第二天，就下韶把这个郎官的官秩升了两级。众人没有不赞许霍光的这种行为的。
霍光与左将军上官桀是儿女亲家，关系亲密，霍光的大女儿嫁给上官桀的儿子上官安为妻。上官安有个女儿年龄同昭帝相当，上官桀就通过！眯的姐姐鄂邑盖主把上宣室的女儿纳进后宫当婕妤，几个月后就被立为皇后。皇后的父亲上宣昼就被任命为骠骑将军，封为桑乐侯。霍光有时休假出宫，上官桀就进宫代替霍光处理政事。上官桀父子位尊势盛之后，很感激长公。
长公主没有操行，亲近宠幸河问的丁外人。上官继、上官安打算替丁外人请求封侯，希望按照国家以前衹有列侯与公主配婚的惯例封侯，但霍光没有同意。他们又为丁外人求取光禄大夫之职，以期得到昭帝的召见，再次被霍光拒绝。长公主因此就对霍光非常怨恨。而上官桀、上官安因为几次为丁外人求取官爵没有成功，也感到很惭愧。在汉武帝的时候，上官桀已在九卿之列，官位在霍光之上，等到上官父子同为将军的时候，又有了宫中皇后的重要关系，皇后是上官安的亲生女儿，霍光衹不过是她的外祖父，却反而独自专揽朝政，上官父子因此就与霍光争夺权力。
憨王刘旦自以为是昭帝的哥哥，却没有继承帝位，就常抱有怨恨之心。还有御史大夫桑弘羊建议设立酒类专卖、盐铁官营的制度，为国家增加了财富，桑弘羊便居功自傲，打算为自己的子弟谋得官职，没有如愿，因此也怨恨霍光。于是鄂邑盖主、上官桀、上官安以及桑弘羊这些人就与燕王刘旦一同设谋，假装让人替燕王来上书，说：“霍光出城演练郎官、羽林，行进在路上像皇帝出行那样设置威仪，而且还让太官提前准备饭菜。还有苏武以前出使匈奴，被拘留二十年没有投降，回来后衹当了典属国，而大将军的长史杨敞没有功劳，却当了搜粟都尉。霍光又擅自调入来增加自己幕府的校尉。霍光专权放肆，恐怕他有不良的企图。臣刘旦愿交还燕王的符节玺印，入朝值宿守卫，审察奸臣的阴谋。”等霍光出宫休假的时候乘机上奏了此书。上官桀打算从宫内直接发下其事，桑弘羊就和其他大臣一起将霍光拘捕并解除他的职务。奏书交上去后，昭帝留住奏书不肯颁下。
第二天早晨，霍光听说了这件事，就留在殿前的画室中没有进去朝拜。皇上问道“大将军在哪裹？”左将军上官桀回答说：“因为燕王告发他的罪行，所以不敢进来。”皇上就下诏召见大将军。霍光进来后，取下官帽，叩头谢罪，皇上说：“将军请戴上帽子，朕知道这封奏书是假的，将军没有罪过。”霍光问道：“陛下凭什么知道我没有罪呢？”皇上说道：“将军到广明，演习郎官衹是近来的事，调选校尉到现在也不过十天，燕王是怎么知道这些事的？况且将军要做非法的事，也不需要校尉的。”这时候昭帝年仅十四岁，尚书以及左右的大臣都很吃惊，而呈送书信的人果然逃走了，官府开始紧急搜捕。上官桀等人感到害怕了，就对皇上说这衹是一件小事，不值得穷追究竟，皇上没有听从。
后来上官桀的党羽凡有说霍光的坏话的，昭帝就发怒道：“大将军是忠臣，先帝所托付来辅佐朕的，敢有诽谤他的人就判他的罪。”从这以后，上官桀等人就不敢再说坏话了，他们就密谋让长公主摆酒席请霍光赴宴，准备埋伏士兵击杀他，乘机再废除昭帝，迎立燕王为天子。事情被发觉，霍光就将上官桀、上官安、桑弘羊、丁外人等人及家族全都诛杀了。燕王、盖主也都自杀。霍光的威势震动全国。昭帝成年后，就正式委任霍光执政，到昭帝十三年，百姓生活充裕厚实，四方的各少数民族都称臣归服。
元平元年，昭帝驾崩，没有继承人。汉武帝六个儿子中独有广陵王刘胥还活着。各位大臣商议所要立的人选，大家都主张立广陵王。广陵王本来因为行为有失道德，没有被先帝选用。霍光内心自感不安。有郎官上书说：“周太王废掉太伯而立王季，文王舍弃伯邑考而立武王，衹要对国家有利，即使是废黜长子而立少子也是可以的。广陵王是不可以继承宗庙社稷的。”所说的正好同霍光心意相合。霍光就把这份奏书给丞相杨敞等人看，并且把这个郎官提升为九江太守，当天就奉皇太后的诏令，派遣代理大鸿胪事务的少府乐成、宗正刘德、光禄大夫丙吉、中郎将利汉去迎接昌邑王刘贺。
刘贺是漠武帝的孙子，昌邑哀王的儿子。他到宫中后，登上帝位，不久就行为淫乱。霍光忧虑气愤，独自以此事去问亲信的旧臣大司农田延年。田延年说：“将军作为国家的柱石，既然发觉这个人不可委以社稷，为什么不向太后建议禀报，另外选一个贤能之人立他为帝呢？”霍光说道：“我也想这么办，不知在古代有没有这样的先例？”田延年答道：“伊尹任殷朝丞相的时候，就废黜了太甲用来安定国家，后代的人都称赞他的忠诚。将军如果也能这样做，就是汉朝的伊尹了。”霍光就把田延年引荐为给事中，暗中同车骑将军张安世谋划，于是就在未央宫召集丞相、御史、将军、列侯、中二千石、大夫、博士等一同商议。霍光说道： “昌邑王行为昏聩淫乱，恐怕会危及国家，你们看怎么办？”众大臣大惊失色，不敢发言，衹是唯唯诺诺而已。田延年离开座席走上前来，手按住长剑说道：“先帝把年幼的孤儿托给将军，把天下交付给将军，是因为将军忠诚贤能，能够稳固刘氏的天下。如今群臣百姓鼎沸，国家将要倾覆。而且汉朝皇帝相传的谧号常用“孝”字，是为了长久地拥有天下，让宗庙永久享受祭祀。如今汉家将要断绝香火，将军即使以死谢罪，又有什么脸面到九泉之下去见先帝呢？今天的议事，应当即刻解决。群臣中如果有拖延回答的，臣下请求用这把剑斩了他。”霍光告罪说：“九卿责备我是对的。天下骚动不安，我应当受到责罚。”于是参加议事的大臣都叩头说道：“万民的性命都系在将军一人的身上，我们愿听将军的指示。”
霍光立刻同群臣一起谒见禀告太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央承明殿，诏令各个宫禁门卫不要放昌邑王的群臣进宫。昌邑王进宫朝见太后返回，准备坐辇车回到温室，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，昌邑王的群臣就进不来了。昌邑王问道： “这是干什么？”大将军跪下说：“皇太后有诏令，不让昌邑王的群臣进来。”昌邑王说：“慢点来，为什么要弄得这么吓人！”霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏令所规定的监狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们说：“你们要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”昌邑王这时还不知道自己要被罢黜，对身边的人说：“我原来的群臣随员有什么罪，而大将军全把他们关押起来了。”不久，太后下诏召见昌邑王。昌邑王听到要召见自己，心中开始害怕起来，于是说：“我犯了什么罪要召见我厂太后披着珍珠缀成的短袄，穿着盛装坐在布置兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。群臣按顺序走进殿来，叫昌邑王伏在前面听诏令。霍光同各位大臣一起联名奏劾昌邑王，尚书令宣读奏章道：臣丞相杨敞、臣大司马大将军霍光、臣车骑将军张安世、臣度辽将军范明友、臣前将军韩增、臣后将军趟充国、臣御史大夫蔡谊、臣宜春侯王谭、臣当涂侯魏圣、臣随桃侯趟昌乐、臣杜侯复陆屠耆堂、臣太仆杜延年、臣太常苏昌、臣大司农田延年、臣宗正刘德、臣少府史乐成、臣廷尉李光、臣执金吾李延寿、臣大鸿胪韦贤、臣左冯翊田广明、臣右扶风周德、臣长信少府傅嘉、臣典属国苏武、臣京辅都尉赵广汉、臣司隶校尉辟兵、臣诸吏文学光禄大夫王迁、臣宋畸、臣丙吉、臣赐、臣管、臣胜、臣梁、臣长幸、臣夏侯胜、臣太中大夫德、臣趟印冒死罪禀告皇太后陛下：臣杨敞等人顿首死罪。天子之所以能够长久保持宗庙并拥有天下，是因为他能够以慈孝、礼义、赏罚分明作为根本。孝昭皇帝由于遇早地离开人间，没有继承人，臣杨敞等人商议，根据礼所说的“做某人的继承人的人就是他的儿子”，昌邑王适于做继承人，于是便派遣宗正、大鸿胪、光禄大夫等官员奉持符节出使征召昌邑王来主持昭帝的丧事。昌邑王穿上丧服后，却没有悲哀的意思，而且还弃礼义于不顾，在路上不吃素食，派遣随从官吏抢掠女 人，用遮蔽的车子把她们弄到他所住的驿馆。从刚开始到达京城谒见太后被立为皇太子起，就经常私下买鸡、猪来吃。在昭帝灵柩前接受信玺、行玺后，就在居丧的地方打开玺印不再封上。随从的官员又拿着符节，带领吕邑王的从宫、马官、官奴二百多人进宫，经常与他们在禁宫中玩耍游戏。亲自到保管符玺的地方取走十六根符节，早晚去灵柩前哭祭时，让随从的官员轮换着拿着符节跟着。还写信说： “皇帝问候侍中君卿：派中御府的长官高昌送去黄金一千斤，赐给君卿娶十个妻子。”孝昭皇帝的灵柩还停放在前殿，便叫人取出乐府的乐器，把昌邑国的乐人引进宫来，击鼓歌唱、吹奏乐器，扮演戏子。等到灵柩下葬返回，就到前殿去敲打钟磬，还把泰壹宗庙的乐人沿着辇道引到牟首，击鼓吹奏，载歌载舞，演奏各种音乐。从长安厨取出三副太牢供品，陈放在阁室中进行祭祀，祭祀完毕，就同随从的官员大吃大喝。驾着皇帝出行时专用的车马，车上蒙着虎皮，插着鸾旗，驱车跑到北宫、桂宫，追野猪，斗老虎。又召来皇太后用的小马车，叫官奴骑乘，在嫔妃居住的掖庭中嬉笑娱乐。还同孝昭皇帝的宫人蒙等行淫乱之事，下诏对掖庭令说，有敢泄露外传的人就要处以腰斩之刑。太后说：“停一下！为人臣子怎么能这样糊涂放肆呢！”昌邑王离开席位伏在地上。尚书令又读道：昌邑王取出诸侯王、列侯、二千石的绶带以及黑色、黄色绶带一起给昌邑国的郎官佩戴，把他们免为良人。将符节上的黄旄改为红色。把御府中的金子钱币，刀剑玉器，彩色绸缎赏给一同嬉游娱乐的人。同随从的官员以及没入官府的奴隶整夜聚饮，沉湎于酒中。下韶叫太官送上皇帝平时的膳食。食监奏道，没有除去丧服不可进用平曰的饭菜，就下诏叫太官赶快准备，不要通过食监。太官不敢去准备，就派侍臣去宫外买来鶸和猪，下诏给宫殿门卫叫他们放行，以此作为常规。独自在夜晚于温室设九宾之礼，把他的姐夫昌邑关内侯请来相见。列祖列宗的祭庙还没有举行，就作玺书派使者拿着符节，用三副太牢祭祀昌邑哀王的陵园宗庙，自称为嗣子皇帝。接受皇帝玺印以来的二十七天中，使者往来不绝，拿着符节向各个官署下达韶令征索物品，共有一千一百二卜七起。文学光禄大夫夏侯胜等以及侍中傅嘉几次为他的过失进言规劝，他就派人拿着文书责备夏侯胜，并把傅嘉绑起来关进牢裹、、他荒淫昏乱，失去帝王的礼义，破坏丁汉朝的制度。臣杨敞等人几次进言规谏，他都不改变过错，反而一天比一天厉害，恐怕要危害国家，天下不安。
臣杨敞等谨与博士孔霸、臣隽舍、臣德、臣虞舍、臣射、臣后仓商议，都说：“高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今陛下继承孝昭皇帝之后，行为放纵不合法度。《诗经》上说： ‘若说无知，也已抱子。，五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国，，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，陛下没有到高庙接受大命，就不可以继承上天的意旨，奉祀祖宗宗庙，统治天下万民，应当废黜。”臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，告祭高庙。臣杨敞等人冒死罪来奏报。
皇太后下诏说：“准奏。”霍光就叫昌邑王起来跪拜接受诏令，昌邑王说道：“听说天于衹要有静臣七个人，即使无道也不会失去天下。”霍光说：“皇太后已下韶令废黜，哪裹还是天子！”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道： “我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪道： “您的行为白绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自爱，臣下将再也不能见到您了。”霍光哭着离开了昌邑王。群臣又上奏说： “古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”太后下诏命刘贺回到昌邑，并赐给他收取赋税的私邑二千户。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使王误入歧途而获罪。霍光就将他们全部杀了，共有二百多人。当这些人被拉出去处死的时候，都在街道中哭泣呼喊道：“当断不断，反受其乱。”
霍光坐在朝廷中，会同丞相以下大臣商议决定所立的人选。广陵王早在这之前就没有被选用，等到燕剌王谋反被诛，他的儿子也就不在议论中了。近亲中现衹有卫太子的孙子号称皇曾的还在民间，受到普遍称赞。霍光便又同丞相杨敞等大臣一同上奏说：“《礼》书中说‘为人之道能够亲爱亲人就能尊崇祖先，能够尊崇祖先就能够敬重宗庙’。如今大宗没有继承人，就应选择旁支子孙中贤能的人作为继承人。孝武皇帝的曾孙病已，武帝时有韶令在掖庭中抚养照看，到现在年已十八，从师学习《诗》、《论语》、《孝经》，身体力行节俭，仁慈爱人，可以继承孝昭皇帝的皇位，事奉祖先宗庙，统治万民。臣下冒死以告。”皇太后下诏说： “准奏。”霍光就派遣宗正刘德到曾孙家尚冠里，帮他洗梳沐浴，赐给他皇帝的衣服，叫太仆用轻便小车把曾孙接到宗正府进行斋戒，入未央宫谒见皇太后，被封为阳武侯。不久霍光就捧上皇帝的印玺，然后到高庙去拜谒，造就是孝宣皇帝。第二年，皇帝下诏说：“褒奖有德的人，赏赐有大功的人，是古今的常理。大司马大将军霍光守卫宫廷忠诚正直，宣扬道德彰明恩泽，保守节操秉行仁义，用来安定宗庙。将河北、东武阳的一万七千户加封给霍光。”加上他以前的封地一共有两万户。前后赏给他黄金七千斤，钱六千万，各色彩帛三万匹，奴婢一百七十人，马二千匹，上等住宅一处。
白昭帝时起，霍光的儿子霍禹以及霍光哥哥的孙子霍云都已是中郎将，霍云的弟弟霍山任奉车都尉、侍中，掌握胡、越兵权。霍光的两个女婿分别是东西宫的卫尉，霍光兄弟的女婿及外孙都有资格参加朝会，担当诸曹大夫，骑都尉，给事中的官职。党派亲族连成一体，盘根错节地占据了朝廷。霍光从后元以来一直总理朝政，等到皇上登基以后，才归还朝政。皇上谦让不肯接受，各种政事都要先请示霍光后，再上奏给天子。霍光每次上朝参见，皇上都谦恭严肃，对他十分恭敬礼让。
霍光执政前后达二十年，地节二年春他病得很厉害，皇上亲自去他家探望病情，为之流泪哭泣。霍光上书谢恩说：“我愿把我封国食邑的三千产用来分封我哥哥的孙子奉车都尉霍山为列侯，以供奉我哥哥骠骑将军霍去病的祭祀。”皇上把此事交给丞相御史办理，当天就授任霍光的儿子霍禹为右将军。霍光去世后，皇上及皇太后都亲自到霍光的灵堂去吊唁。太中大夫任宣和五个侍御史一同拿着符节操办丧事。中二千石的大臣在墓地上设置幕府办事。皇上还赐给金钱、帛绢丝绵，绣花棉被一百条，衣服五十箱，金镂玉衣，内棺、外椁、黄肠题凑各一副，随葬的外藏枞木椁十五副。柬园制作的温明秘器，全都如同皇帝的规格。用辊鲸车载着霍光的遗体，车上用黄缎覆盖，辕左插上羽饰大旗，派材官、轻车、北军五校士兵列队一直到达茂陵，来为霍光送葬。给他赐谧号为宣成侯。征发河东、河南、河内三郡的士兵挖掘墓穴，盖起陵墓祠堂，设置看护的园邑三百家，长史、丞掾按照旧法侍奉守护陵园。
霍光被安葬以后，宣帝就封霍山为乐平侯，以奉车都尉的身份兼管尚书的事务。天子追思霍光的功德，下韶令说：“已故大司马大将军博陆侯在宫禁中侍奉孝武皇帝三十余年，辅佐孝昭皇帝又有十多年，中间遭遇到重大的灾难，挺身执仗正义，率领三公九卿大夫决定万年大计以安定国家，天下的黎民百姓才获得安康太平。他的功德无量，朕极为嘉许。决定免去他后代的徭役。子孙继承他的封爵食邑，世世代代不准改变，他的功劳与萧相国同等。”第二年夏天，宣帝封太子的外祖父许广汉为平恩侯。又下诏令道：“宣盛堡霍光在宫禁中侍奉天子忠诚正直，为国家辛勤操劳。褒奖善良的人应推及后代，此封霍光哥哥的孙子中郎将霍云为冠阳侯。”
霍禹继爵为博陆侯后，太夫人显改变了霍光生前自己设计的墓地规制而加以扩大。建起三个出口的门阙，修筑神道，北面靠近昭灵，南面越出丞墨。大肆装修祠堂，辇车的专用道直通到墓穴中的永巷，又幽禁平民、奴婢、侍妾来守护。还大建住宅，制造乘坐的辇车，增加饰有图案的绣花坐垫、把手，并涂饰黄金，又用皮裹着丝絮包住车轮，侍从婢女用五彩的丝带拉着显所乘坐的车，在住宅中游戏取乐。当初，霍光宠爱家奴总管冯子都，常同他商量事情，等到显守寡独居时，她便和冯子都通奸。而霍禹、霍山也同时修缮住宅，常在平乐馆跑马追逐。霍云每当朝会的时候，多次称病私下外出，带着很多宾客，在黄山苑囿中张围打猎，却委派奴仆代为上朝谒见，没有人敢谴责。而且显和她的几个女儿，不分白天黑夜地进出长信宫的宫殿中，没有限度。
宣帝在民间时就听说并知晓霍氏尊贵强盛日子长久，心中并不认为这是一件好事。霍光去世后，宣帝才开始亲自治理朝政，让御史大夫魏相任给事中。显对霍禹、霍云、霍山等人说：“你们这些人不努力继承大将军的遣业，如今大夫任给事中，一旦有人在中间挑拨，你们还能拯救自己吗？”后来霍、魏两家的奴仆争路，霍氏的奴仆就跑到御史大夫府中，要踢坏他府中的大门，御史为此叩头请罪，他们才离开。有人把这件事告诉了霍家，显等人才开始知道将有忧患。等到魏大夫担任丞相，经常在闲暇时被召见谈论政事。平恩侯和侍中金安上都能直接出入宫禁中。适时霍山仍旧兼领尚书的事务，但皇上叫官吏百姓可以密封奏章上报，不必通过尚书，群臣百官进见皇上可以独自往来，霍氏对此非常不满。
宣帝刚登基时，就册封卑贱而未显达时所娶的许妃为皇后。显很喜爱她的小女儿成君，想使她得到富贵，就暗自派产科医生淳于衍下毒药杀死许后，乘机劝霍光要宣帝娶成君，取代许后成为皇后。这些事《外戒传》中有记载。当时许后突然死亡之时，官吏逮捕了宫中所有医生，并弹劾淳于衍在治病过程中行迹可疑，不合常理，就把他关进了监狱。狱吏对他审问得很急迫，显害怕事情败露，就把实情告诉了霍光。霍光大吃一惊，想亲自去告发这件事又不忍心，正在犹豫。适逢此案的奏章上报，霍光就乘机批覆对淳于衍不必再追究。霍光薨后，真相开始慢慢泄露出去。对这件事皇上衹是刚听说到但不明虚实，就调动霍光的女婿度辽将军未央宫的卫尉平陵侯范明友任光禄勋，第二个女婿诸吏中郎将羽林监任胜出任安定太守。几个月后，又调出霍光姐姐的女婿给事中光禄大夫张朔任蜀郡太守，孙女婿中郎将王汉为武威太守。遇了不久，又调霍光的大女婿长乐宫卫尉邓广漠任少府。再调霍禹任大司马，衹戴小帽子，没有印章，撤销了他的右将军及所统辖的驻军官兵，衹是让霍禹的官名与霍光一样，都是大司马。又收回范明友度辽将军的官印，衹让他任光禄勋。还有霍光的三女婿赵平为散骑骑都尉光禄大夫统领驻军，又把趟平的骑都尉官印收回。所有统领的胡人、越人骑兵、羽林军以及两宫卫队所统领的士兵，都改为由宣帝所亲信的许、史两家子弟代为统领。
霍禹被任命为大司马后，就称说有病。霍禹原先的长史任宣来探望问候，霍禹说道：“我哪裹有什么病？天子不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有干，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都弄不明白。”任宣见霍禹怨恨很深，就对他说道：“大将军的时代怎么还能再有！把持国家的权柄，生杀予夺操在手中。廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱处死。使乐成这样的小户人家子弟因为受到将军宠爱，官至九卿，爵为列侯。百官以下衹事奉冯子都、王子方等人，根本不把丞相放在眼里。这是各自有自己的时代，如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然。大司马如果因此而心怀怨恨，我认为不应该。”霍禹听后沉默不语。过了几天，霍禹又上朝处理事务。
显和霍禹、霍山、霍云眼看着自己的权势一天天被削夺，几次相对流泪啼哭，自相埋怨。霍山说：“现在丞相执政，受到皇帝信赖，全部改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失。又有诸位儒生，大多是穷人子弟，远道而来客居京城，衣食不保，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜欢同众儒生交谈，又让他们自行上书答对政事，这些人就尽说我们家的事。曾经有人上书说大将军在时，主弱臣强，揽权独裁，如今他的子孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁出现，都是因为这个缘故。他的话说得极其痛切，我就压下没有把此书上奏。后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令出来取走，不通过尚书，皇上越来越不信任我了。”显问道：“丞相屡次说我家的事，难道就没有罪过吗？”霍山答道： “丞相廉洁正直，哪裹能有罪？我家的弟兄们和各位女婿大多行为不慎。又听民间盛传说霍家用毒杀死了许皇后，真有此事吗？”显很害怕，就全部将实情告诉了霍山、霍云、霍禹。霍山、霍云、霍禹惊慌地说道：“像这等事情，为什么不早对我们说呢？天子离散斥逐我们家的几个女婿，是因为这个缘故啊。这是一件大事，处罚可不会轻，怎么办？”从此他们就开始有了邪谋。
当初，赵平的门客石夏知晓天文，他对赵平说：“荧惑守着御星，御星是太仆奉车都尉的星宿，他们不是被贬官就是被杀死。”趟平内心替霍山等人担忧。霍云的舅舅李竟的好友张赦见霍云家族岌岌可危，就对李竟说：“如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。罢黜陛下，就在于皇太后。”长安男子张章告发了这件事，宣帝就把此事交给廷尉处理。执金吾拘捕了张赦、石夏等人，后来又有韶令制止，不准拘捕。霍山等人更加恐慌，相对说道：“这是天子看重太后的面子，所以没有深究。但是凶兆已显现，又有毒杀许后的事，陛下即使宽大仁厚，就怕他左右的人不听，时间久了仍然会追查，一旦查清就要被灭族，我们不如先动手。”于是就叫几个女儿各自回去告诉自己的丈夫，都说：“哪裹还有地方避难呢？”
适逢李竟因与诸侯工勾结而致罪，供辞中涉及霍氏，宣帝就下韶说霍云、霍山不宜在宫中供职，免官回家。霍光的几个女儿对待太后无礼，冯子都数次犯法，皇上就一同加以责问，霍山、霆噩等人感到很害怕。题在梦中见到住宅中的井水溢出流到厅堂下，厨房裹的炉灶挂在了大树上，又梦见大将军对显说：“你知道我们的儿子要被捕了吗？他们很快就会来捕人的。”住宅中的老鼠一下多了起来，与人相互碰撞，用尾巴在地上乱画。猫头鹰几次在殿前的树上叫唤。住宅的门无缘无故毁坏，霍云尚冠里住宅中的门也无缘无故地坏了。街巷口的人都看到有人坐在霍云的屋顶上，揭下瓦片扔到地上，到跟前去看，却又没有见到人，感到非常奇怪。霍禹梦中听到车马喧喧嚷嚷地来捕捉他，全家对这些怪事感到忧愁。霍山说道：“丞相擅自减少宗庙供品的羔羊、兔子、青蛙，可以用这来定他的罪。”他们设谋叫太后为博平君设置酒席，把丞相、平恩侯以下的官员召来，让范明友、邓广汉奉太后的制令将这些人拉出去斩首，乘机罢除天子而立霍禹为帝。相约定的计划还没有实施，霍云就被任命为玄菟太守，太中大夫任宣被任命为代郡太守。霍山又因为抄写宫禁秘书犯法，显为此上书表示愿献出城西的宅第及一千匹马用以赎霍山的罪。宣帝在奏书上衹批覆知道了。刚好他们密谋的事被发觉，霍云、霍山、范明友自杀，显、霍禹、邓广汉等人被捕捉到。霍禹被腰斩，显及她的几个女儿兄弟都被处死。惟独霍后被废黜幽禁在昭台宣。与星医相牵连而被定罪诛杀灭族的有好几千家。
宣壶于是下韶说：“不久以前束织室令史张赦指使魏郡的大户李竟给冠阳侯霍云回话，密谋犯上作乱，朕因为大将军的缘故，就将事情压住没有公开，希望他们能改过白新。如今大司马博陆侯霍禹和他的母亲宣成侯的夫人显以及堂弟的儿子冠阳侯霍云、乐平侯霍山和他们姊妹的女婿们阴谋造**，企图连累百姓。幸亏祖宗的神灵保佑，被事先发觉并捕获，全部都伏法处决。朕对这件事很痛心。所有被霍氏所连累的人，如果事情发生在丙申以前，还没有发觉报官在押的，一律赦免。男子张章先发觉了这件事，把它告诉了期门董忠，董忠又报告给左曹杨，杨惮报告给侍中金安上。杨惮被召见陈述情况，后来张章又上书报告。侍中史高与金安上建议告发这件事，说不准霍氏进入宫禁中，霍氏的阴谋才没有成功，他们都同样有功。特封张章为博成侯，董忠为高吕侯，杨惮为平通侯，金安上为都成侯，史高为乐陵侯。”
当初，霍氏生活奢侈，茂陵的徐生就说：“霍氏一定会灭亡。因为一旦骄奢就不会恭顺，不恭顺就必定要侮蔑皇上。侮蔑皇上是大逆不道的。在人之上，定会受到众人的忌恨。霍氏掌握权柄的日子很久，忌恨的人就多了。天下的人都忌恨他们，而他们又倒行逆施，不灭亡还等什么呢！”于是就上书进言道：“霍氏权势太盛，陛下即使很厚爱他们，也应该时时加以克制，不要让他们走上毁灭的道路。”上书三次，皇上祇回覆说知道了。后来霍氏被诛杀灭亡之后，凡是告发霍氏的人都得到封赏。有人替徐生上书说道：“臣听说有一个客人去拜访主人，看到主人家炉灶的烟囱是笔直的，旁边堆有柴草，客人就告诉主人，要他换个弯曲的烟囱，将柴草搬得远一点，不然将会有火灾。主人默然不应。不久主人家果然失火，邻居街坊都来救火，幸而火被扑灭。于是主人杀牛摆酒，酬谢他的邻居，被烧伤的人安排坐在上座，其他的人按出力大小依次入座，惟独没有酬谢那个让他换个弯曲烟囱的人。有个人对主人说：‘如果当初你听客人的话，今天也就用不着破费杀牛置酒，而且始终不会有火灾。现在论功请客，对那位建议换弯曲的烟囱、将柴草搬开的人不作报答，怎么烧得焦头烂额的人反而成了上宾之客呢？，主人这才省悟而去请那位客人。现在茂陵的徐福几次上书说霍氏将有变故，应加以防患杜绝。假使当初徐福的建议得以采纳，国家就不会有割地封爵的花费，大臣就不会有谋反诛减的祸败。往事已经过去，但衹有徐福却有功未赏，望陛下明察，能够重视搬走柴草弯曲烟囱的良策，使其功在身体毛发被烧烂的人之上。”皇上于是就赐给徐福绢帛十匹，后来又任命他当了郎官。
宣帝刚登基时，去参拜高庙，大将军霍光与他同坐一辆车，皇上心裹很害怕，好像有芒刺在背。后来车骑将军张安世代替霍光陪乘，天子就比较安逸自在，身体舒展自如，感到非常安全亲近。等到霍光死后，他的宗族也都被诛，因此民间就传说着：“威势震动君主的人不会被容留，霍氏的祸患开始于陪乘。”
到成帝时，为霍光安置了一百家守墓的人，吏卒按时祭祀。元始二年，霍光堂兄弟的曾孙霍阳被封为博陆侯，赐食邑一千户。
金日蝉字翁叔，本来是匈奴休屠王的太子。武帝元狩年间，骠骑将军霍去病带兵攻打匈奴的西部地区，斩杀了很多人。还夺取了休屠王用以祭祀天神的金铸的佛像。那年夏天，骠骑将军又从西面经过居延，攻打祁连山，大获全胜。由此，单于就怨恨住在西面的昆邪、休屠多次被汉军所攻破，想把他们的王召去杀掉。昆邪、休屠二王感到害怕，就谋划投降汉朝。休屠王后来反悔，昆邪王就把他杀了，并率领他的部下一同投降了汉朝。昆邪王被封为列侯。金日磾由于他的父亲不肯投降而被杀死，就同他的母亲板氏、弟弟金伦一同被收进宫府为奴，送他到黄门养马，这一年他才十四岁。
过了很久，漠武帝游乐召阅各部所养马匹，后宫的嫔妃都站满武帝的两侧。金日蝉等数十人牵着马经过殿下，其他的人没有不偷偷地窥视的，衹有金曰婵经过时不敢偷看。金日磾身高八尺二寸，容貌很威严，马又养得膘肥体壮，武帝感到奇怪就问他，他如实作答。武帝觉得此人奇特，当天就赐给他沐浴衣冠，任命他为养马总管，又升任他为侍中驸马都尉光禄大夫。金日磾受到皇上亲近后，不曾有过失，武帝很是信任喜爱他，赏赐给他的加起来有金子一千多两，皇帝出宫他就陪乘，在宫内就奉侍在身边。贵戚都私下抱怨，说： “陛下随便得到一胡儿，反而器重他！”武帝听到这些话后，更加厚待金曰珲。
金日磾的母亲教导两个儿子，很有分寸和方法，武帝听说后就表彰了她。她病死后，武帝下诏叫人替她画像并放在甘泉宫，上面写着：“休屠王板氏。”金日磾每次见到画像都要叩拜，面对画像流泪哭泣，然后才离去。金曰殚的两个儿子都很可爱，成为供武帝狎弄的孩童，经常呆在武帝身边。造两个孩童有一次从后面抱住武帝的脖颈，金日磾在前面看见了，就向他们瞪眼。孩童跑开并哭着说：“老先生发怒了。”武帝对金日磾说：“你为什么对我的孩童发怒呢？”后来这两个孩童都长大了，其中一个行为不谨，在殿下同宫人游戏，金日磾正好看见了，他痛恨这个孩童的淫乱，就把他杀了。这个孩童就是金日珲的大儿子。武帝听到这件事后大怒，金日磾叩头请罪，详细报告了之所以要杀死孩子的情况。武帝感到很哀痛，为他流泪，过后武帝心中就敬重起金日禅。
原先的时候，莽何罗和江充很要好。等到卫太子被江充所害，莽何罗的弟弟莽通由于诛杀太子时尽力作战而得到封赏。后来武帝知道了太子的冤情，就把江充的宗族与同党尽数诛灭。莽何罗兄弟害怕祸及自己，就谋划造**。金曰殚见他们心志异常，心中就开始怀疑。暗中一个人观察他们的动静，同他们一同出入宫殿。莽何罗也觉察到金曰弹的意思，因此很久不能发难。这个时候武帝到林光宫去，金曰弹因为一点小病而躺在宫中休息的地方。莽何罗同莽通还有他们的小弟莽安成假托皇帝的命令夜晚出来，一同把使者杀了，然后发兵谋反。第二天早上，武帝还没有起床，莽何罗没有藉口从外面进宫。金曰碑上厕所时忽然心有所动，他就立即进去坐在裹面的屋子裹。一会儿，莽何罗袖裹藏着匕首从束厢进来，看见金日磾，脸色顿时一变，朝皇帝卧处快步奔去，想要进去，却碰到了瑟器，一下子呆在那儿。金日磾乘机抱住了莽何罗，然后高声呼喊道：“莽何罗造**了！”武帝受惊连忙起来，左右的人拔出刀想搏杀莽何罗，武帝怕误伤金日磾，就叫左右的人不要击杀。金日婵抓住莽何罗的脖颈部把他扔到殿下，卫士这才抓住了莽何罗并把他绑了起来，彻底追查所有谋反的人都伏了罪。从此金日磾以忠孝的节操著称。
金曰弹自从在武帝身边，目不斜视数十年。赐给他的宫女，他从来不敢亲近。武帝想把他的女儿娶进后宫，他不答应。金曰蝉就是这样的忠厚谨慎，武帝更加觉得他与众不同。等到武帝生病，嘱托霍光辅佐年幼的君主，霍光推让金日磾，金日珲说：“臣是外国人，如果这样将使匈奴轻视汉朝。”于是他就当了霍光的副手。霍光把女儿嫁给了金日磾的承嗣之子金赏。后来，武帝遣诏以讨伐莽何罗的功劳封金日磾为姹侯，金日弹以昭帝年少为由不接受封侯。金曰碑辅佐政事有一年多后，病得很厉害，大将军霍光禀告皇帝加封金日磾，金日磾躺着接受了印绶。一天，金日珲薨，赐给他家安葬的用具和墓地，用轻车武士为他送行，军队一直排列到茂陵，给他的谧号为敬侯。
金日磾的两个儿子金赏、金建都为侍中，与昭帝年龄大致相同，一同起卧。金赏为奉车都尉，金建为驸马都尉。等到金赏继承了侯爵，佩带两条绶带，昭帝就对霍将军说：“金氏兄弟两个人难道不可以都佩带两条绶带吗？”霍光答道：“金赏自己是继承他父亲而为侯爵的。”昭帝笑着说：“封侯不就在于我和将军吗？”霍光说道：“先帝曾订下规定，有功才可以封侯。”这一年他们都衹有八九岁。宣帝即位后，金赏为太仆官，霍氏有些事开始显露端绪，他就上书请求休妻。皇上也很哀怜他，衹有他没有被牵连致罪。元帝时金赏任光禄勋，死后没有儿子，封国被除去。元始中期恢复已灭绝的宗祀，就封金建的孙子金当为诧侯，作为金日珲的后代。
当初，金日珲带着一同投降的弟弟金伦，字少卿，任黄门郎，早死。金曰珲的两个儿子都很显贵，到孙子这一代就衰落了，而金伦的后代则开始兴盛起来，他的儿子金安上开始显贵并被封侯。金安上字子侯，年轻时为侍中，性情淳厚有智谋，宣帝很喜爱他。他很积极参与了揭发检举楚王刘延寿反叛的阴谋，被赐爵为关内侯，赐给食邑三百户。后来霍氏谋反，金安上传令关闭宫门，不要放霍氏亲属进去，又被封为都成侯，后升到建章卫尉。去世后，赐给杜陵的墓地，谧号为敬侯。金安上有四个儿子，分别是金常、金敞、金岑、金明。
金岑、金明都任诸曹中郎将，金常官为光禄大夫。元帝还是太子的时候，金敞是中庶子，有幸为太子所宠爱，太子登基后，金敞官为骑都尉光禄大夫，中郎将侍中，元帝驾崩后，按以往的惯例，亲近的大臣都要到皇陵去守墓，金敞因为世代以忠孝著名，就被太后韶令留下来侍奉成帝，任奉车水衡都尉，官位一直到卫尉。金敞为人正直，敢于冒犯君主的威严，左右的人都畏惧他，即使是元帝也对他很敬畏。金敞病重时，元帝派使者去问他有什么要求，金敞就为他的弟弟金岑请求封官。元帝就召见金岑，拜官为使主客。金敞的儿子金涉本来官为左曹，元帝就任金涉为侍中，派人用皇孙车载送他到卫尉的官舍。不久金敞去世。金敞有三子，他们是金涉、金参、金饶。
金涉通晓经术，廉洁忠贞有节操，受到诸位儒生的称赞。成帝时官为侍中骑都尉，统领三辅的胡、越骑兵。哀帝即位后，金涉被任命为奉车都尉，官位一直到长信少府。金参则出使匈奴，历任匈奴中郎将，越人骑兵校尉，关内都尉，安定、束海太守。金饶任越人骑兵校尉。
金涉有两子，他们是金汤、金融，都任侍中诸曹将大夫。金涉的堂弟金钦以明经被举用，官为太子门大夫，哀帝即位后，被任命为太中大夫给事中，金钦的堂弟金迁为尚书令，兄弟都当权。哀帝的祖母傅太后崩，金钦主管葬送之事，事完之后，就被提升为泰山、弘农太守，以威名著称。平帝即位后，被征任为大司马司直、京兆尹。平帝年纪小，选择设置师友，大司徒孔光因通晓经术行为高尚被选任为孔氏师，京兆尹金钦因家中世代忠孝被选任为金氏友。升官为光禄大夫侍中，俸禄为中二千石，封爵都成侯。
当时王莽刚诛杀了乎帝的舅舅卫氏一家，召见明礼少府宗伯凤进宫讲说为人后代应有的行为，下令要求公卿、将军、侍中、朝臣都去听讲，希望在内能警戒平帝，在外能堵塞百姓的议论。金钦和他的本族堂弟诧侯金当都被封侯。原先，金当的曾祖父金珲传到儿子节侯金赏，金钦的祖父金安上传到儿子夷侯金常，都没有儿子，封国废除，所以王莽就赏封金钦、金当：要他们作为金日磾、金安上的后代。金当的母亲南也就是王莽的母亲功显君的妹妹。金当为他母亲南上书给大行要求封为太夫人。金钦找机会对金当说：“诏书上衹有讲述金日珲功劳的，没有提到金赏。金当名分上作为孙子继承先祖，自然要替父亲、祖父立祠庙。金赏是前封地的国君，也应叫大夫为他主持祭祀。”当时甄邯在旁边，就在朝廷中斥责金钦，弹劾他道：“金钦有幸能够因为通晓经术，被破格提升侍奉皇帝左右，又蒙受厚恩，被封承袭爵号，让他知道圣朝世代都有为人后代的礼义。前一次，已故定陶太后忘本逆天，孝哀没有得到她的保佑，还有吕宽、卫实又发动奸谋，以至于谋反，都伏法。太皇太后从错误中吸取教训，知道违背天理的灾祸。非议圣人蔑视国法，这是大乱的祸根，太皇太后诚心诚意想秉承上天的意志，遵守彰明皇制，专心致志于为人之后的礼义，来安定天下的百姓，多次登临正殿，召见朝廷各位大臣，讲习《礼经》。孙子过继给祖父，是没有正统的后代来承继主持宗庙祭祀的缘故。金赏继嗣于金日磾，后来成为封国领主，主持大宗的宗庙祭祀，造就是《礼》所说的‘能尊崇祖宗就能敬重宗庙’，大宗是不可以断绝的。金钦自己知道与金当一道受封，应遵守相同的道德标准，就多次在宫殿中扬言，教金当怎样怎样。金当如果像金钦所说的那样去做了，那么金钦也就想为他父亲金明立宗庙而不进夷侯金常的庙了。这个人前后话语矛盾，颇能蛊惑人心，扰乱国家的纲纪，开启祸乱的源头，欺骗祖宗，行为不孝，罪过没有比这更大的了。而且这更不是大臣所应做的事，实属大不敬。梡侯金当上书要求为母亲南封太夫人，失礼不敬。”王莽把这些告诉了太后，又叫四辅、公卿、大夫、博士、议郎等讨论，他们都说：“金钦应立即问罪。”谒者就召金钦到奉诏令关押犯人的监狱来，金钦自杀身亡。甄邯因为维护国体没有阿谀和私情，忠孝卓著，被加封食邑千户。又封长信少府金涉的儿子右曹金汤为都成侯。金汤受封的当天，不敢回到家中，用以彰明为人之后的意义。加封之后，王莽任用金钦的弟弟金遵。封他为侯，位至九卿。
赞曰：霍光从小就在皇帝身边供使唤，崛起于宫闱之中，坚定志向，品德行迹受到皇上的赏识。后来又接受辅佐幼主的托付，肩任汉室的寄望。主持朝廷，拥护幼君，摧毁燕王的谋反，挫败上官桀的阴谋，凭藉权力制服敌人，成就了他的忠诚。身处皇帝废立的关头，身临大节而志向不变，才得以匡正国家，安定社稷。拥护昭帝，确立宣帝，霍光担任师保，即使周公、阿衡，也没有什么超过霍光的地方！但是霍光不学无术，不明大理，隐瞒妻子的奸邪阴谋，立他的女儿为皇后，沉湎于永不满足的欲望，以致增添了灭亡的灾祸，他死后仅三年，宗族就被全部诛灭，悲哀啊！往昔霍叔封国在晋，晋也就是河东的地方，霍光难道是他的后代吗？金日磾是少数民族之人，亡国后被作为俘虏关在汉庭，凭藉他的虔诚恭敬感悟了皇上，以忠诚信实而著称，建立功勋被封为上将，封国传给后人，世代都以忠孝着名，七代都为内侍，这是何等的荣盛！原本因为休屠人做金人用来祭祀天神，所以就赐他姓金氏。
参考资料：