汉十二年，上从击破布军归，疾益甚，愈欲易太子。留侯谏，不听，因疾不视事。叔孙太傅称说引古今，以死争太子。上详许之，犹欲易之。及燕，置酒，太子侍。四人从太子，年皆八十有余，须眉皓白，衣冠甚伟。上怪之，问曰：“彼何为者？”四人前对，各言名姓，曰东园公，角里先生，绮里季，夏黄公。上乃大惊，曰：“吾求公数岁，公辟逃我，今公何自从吾儿游乎？”四人皆曰：“陛下轻士善骂，臣等义不受辱，故恐而亡匿。窃闻太子为人仁孝，恭敬爱士，天下莫不延颈欲为太子死者，故臣等来耳。”上曰：“烦公幸卒调护太子。”

汉十一年，黥布反叛，皇上有病，想派太子率兵讨逆。四人相互商议说：“我们出山是为了保全太子的，太子如出兵平叛，就有危险了。”便劝告建成侯说：“太子率兵出战，即使立功，权位也不会高过太子；如无功而返，便会遭到惩罚。再说随太子出征的将领，都是曾为皇上平定天下的猛将，现在听命于太子，这无异于羊指挥狼群，他们定不会为太子出力，太子无法成功便成了必然。我们听说‘爱其母必抱其子’，现在戚夫人日夜侍奉皇上，赵王如意常被抱到皇上面前，皇上说‘我不能让不成器的儿子在我的爱子之上’，显然，赵王如意取代太子之位是无疑的了。您为什么不请吕后趁机向皇上哭诉：‘黥布是天下的猛将，善于用兵，现今各位将领都是陛下的故交好友，您竟让太子统率他们，这无异于让羊指挥狼群，他们肯定不会效力，如果黥布知道后，便会举兵西进。皇上虽然有病，还可强行乘坐辎车，坐着指挥军队，众将必会尽力为您效劳。皇上虽然辛苦，但为了妻儿还是应该这么做的。’”于是吕泽马上连夜求见吕后，吕后寻机向皇上哭诉，将四人所说的话诉说了一遍。皇上说：“我就知道这小子不能指挥派遣他们，还是我去吧。”于是皇上亲自率军东征，群臣留守，都送到灞上。留侯有病，勉强起身，送到曲邮，对皇上说：“我本应前往，但病情严重。楚人剽悍迅猛，希望皇上不要与楚人硬碰。”留侯又趁机对皇上说：“让太子做将军，监守关中军队吧。”皇上说：“子房虽然有病，也要在卧床时勉强辅佐太子。”当时叔孙通为太傅，留侯为少傅。

汉十二年，皇上打败黥布的军队归来，病情更加严重，又想起更换太子之事。留侯劝谏，皇上不听，留侯便托病不再过问朝政。叔孙太傅引证古今事例劝说皇上，死保太子。皇上假装答应，但还是想更换太子。在安闲之时，设下酒宴，太子在身旁伺候。四位贤人也在太子身旁，年龄都已八十开外，须眉皆白，衣冠奇特。皇上十分奇怪，问：“他们是谁？”四人答谢，各报姓名，分别是东园公、角里先生、绮里季、夏黄公。皇上大惊道：“我寻访各位数年，你们都躲着我，如今怎会与我儿相交呢？”四人说：“陛下轻慢士人，喜好骂人，我们讲求义理，不愿受辱，所以才躲避。我们听说太子仁义孝顺，谦恭有礼，好结士人，天下没有不想为太子誓死效力的，所以便来了。”皇上说：“烦劳诸位要好好地调教保护太子呀。”

四人为寿已毕，趋去。上目送之，召戚夫人指示四人者曰：“我欲易之，彼四人辅之，羽翼已成，难动矣。吕后真而主矣。”戚夫人泣，上曰：“为我楚舞，吾为若楚歌。”歌曰：“鸿鹄高飞，一举千里。羽翮已就，横绝四海。横绝四海，当可奈何！虽有矰缴，尚安所施！”歌数阕，戚夫人嘘唏流涕，上起去，罢酒。竟不易太子者，留侯本招此四人之力也。

留侯从上击代，出奇计马邑下，及立萧何相国，所与上从容言天下事甚众，非天下所以存亡，故不著。留侯乃称曰：“家世相韩，及韩灭，不爱万金之资，为韩报雠强秦，天下振动。今以三寸舌为帝者师，封万户，位列侯，此布衣之极，于良足矣。愿弃人间事，欲从赤松子游耳。”乃学辟穀，道引轻身。会高帝崩，吕后德留侯，乃强食之，曰：“人生一世间，如白驹过隙，何至自苦如此乎！”留侯不得已，强听而食。

后八年卒，谥为文成侯。子不疑代侯。

子房始所见下邳圯上老父与太公书者，后十三年从高帝过济北，果见穀城山下黄石，取而葆祠之。留侯死，并葬黄石。每上冢伏腊，祠黄石。

留侯不疑，孝文帝五年坐不敬，国除。

太史公曰：学者多言无鬼神，然言有物。至如留侯所见老父予书，亦可怪矣。高祖离困者数矣，而留侯常有功力焉，岂可谓非天乎？上曰：“夫运筹策帷帐之中，决胜千里外，吾不如子房。”余以为其人计魁梧奇伟，至见其图，状貌如妇人好女。盖孔子曰：“以貌取人，失之子羽。”留侯亦云。

四人敬酒完毕后，快步离去。皇上目送他们，召来戚夫人指着四人对她说：“我本想更换太子，但现在有他四人辅佐太子，看来太子羽翼已丰，不可能更改了。吕后真要做你的主人了。”戚夫人大哭，皇上说：“你为我跳楚舞，我为你唱楚歌吧。”皇上唱道：“鸿鹄高飞，振翅千里。羽翼已成，翱翔四海。翱翔四海，无可奈何！虽有短箭，如何施用！”皇上唱了几遍，戚夫人泣不成声，皇上起身离去，酒宴结束。皇上最终没有更换太子，还是因为留侯的建议招来四人，才发挥了效力。

留侯随皇上攻打代国，在马邑城下献妙计，以及劝皇上立萧何为相，他常与皇上谈论天下诸多大事，但并不是关于国家存亡的大事，所以没有记载。留侯说：“我家世代为韩相，韩国灭亡后，不惜万金替韩国向强秦寻仇，天下为之震动，现在凭借三寸不烂之舌为帝王统帅，封邑万户，位居列侯，这是一介平民至高无上的荣誉，我已心满意足了。我愿丢弃人间事情，随赤松子去寻游天下。”张良于是学辟谷之术，投行修道。正值高帝驾崩之时，吕后为感谢留侯，便极力让其进食，说：“人生一世，时光如白驹过隙般迅速，何必使自己如此受苦呢！”留侯不得已，勉强进食。

八年后，留侯去世，谥号文成侯。其子张不疑袭封为侯。

张子房当初在下邳桥上遇一老人赠给他《太公兵法》，十三年后张良随汉高祖经过济北时，竟果真见到了谷城山下的黄石，把它取回后，奉若至宝地供奉。留侯去世后，与黄石一并安葬。以后每逢扫墓及冬夏节日祭祀留侯时，也同祭黄石。