皇上刚刚继位的时候，谒见高帝庙，大将军霍光陪同乘车，皇上心里非常紧张畏惧，有压迫感，如芒刺在背。后来，车骑将军张安世代替霍光骖乘，皇上就很放松，从容舒展，心安理得。等到霍光死后，其宗族最终遭到诛杀，所以民间传说，霍家的灾祸早在霍光陪同汉宣帝乘车时就已萌芽了。
过了十二年，霍皇后迁移到云林馆居住。霍皇后自杀。
【班固曰】
霍光受襁褓之托，任汉室之寄，匡扶国家，安定社稷，维护汉昭帝，拥立汉宣帝，即使是周公、伊尹的功勋，也不过如此!但是，霍光不学无术，不明大理，为了保护妻子的邪谋，立自己的女儿为后，沉迷于日益满盈的无穷欲望，使覆亡的灾祸加剧，死后仅仅三年，宗族就遭诛灭，实在令人悲哀!
【司马光曰】
霍光辅佐汉室，可以说是忠臣，但未能庇护自己的家族。为什么呢？因为作威作福，是皇上的权柄，为人臣者，把这权柄执在自己手里，久久不肯交回，这样很少有能逃脱厄运的。以孝昭皇帝之明，十四岁就知道上官桀的欺诈，原来可以亲理朝政了。况且孝宣皇帝继位的时候，已经十九岁，聪明刚毅，知晓民间疾苦，他还没有能力亲政吗？而霍光却久专权柄，不知避去，多置私党，充塞朝廷，让人主蓄愤于上，而吏民积怨于下，切齿侧目，待时而发，他自己能平安免祸，已经是万幸!更何况他的子孙更加骄傲奢侈，能不加速灾祸吗？