據《史記》記載：呂不韋本是河南濮陽的鉅富，是遠近聞名的大商人，但因不滿足這種擁有萬貫家私的地位和生活，野心勃勃的他對王權垂涎三尺，於是開始投資政治。於是，呂不韋透過私下雙方打點接觸，精心策劃一個陰謀：將正在趙國當人質的秦王的孫子異人（秦始皇的父親），想法過繼給正受寵幸的華陽夫人。於是，本來還在異國當人質的王子轉眼之間被立為嫡嗣，更名為子楚。

有些年未再翻列國書 不知是否準確 始皇父號異人 曾在外國為易換人質（先秦用詐 顯示無兼併天下之志 緩和諸候聯合御秦之勢 呂當時是這國鉅富商賈 是時日久 呂與質子異人交往甚密 認定其將來必能即位秦國 竟將己之愛妾獻於異人 （據列國傳敘剛孕後獻之 但獻後過十二月生政）後異人歸國理政 呂即從隨 異人經年不久而夭 贏政少年繼位（未來始皇）政母有望重續舊緣 二人藕斷絲連 難以說清 嬴政漸長 呂有畏懼之心 遂薦民間一魁偉俊男名嫪毐者 偽以宮刑代己 政母喜甚 私歡於夫妻 並育有二幼子 人多知之 惟瞞著秦政 後嫪毐倚後勢醉酒 欺辱下屬 眾官群人 放言 吾乃王之假父 汝等敢以輕我 有人告發於秦王 王率甲士拘嫪 嫪竟以私勇心腹抗捕政變 終被秦政所滅 呂因此連緊被罷免相 案未發時 政稱呂為亞父 猶周武王稱子牙也 贅述及此 不敢賣弄了。

呂不韋本以為自己有功，但秦王政可沒有銘記他的恩情。秦王政看到嫪毐龐大的造反組織，他也對呂不韋起了深深的戒心。呂不韋執掌秦國朝政十餘年，政府、軍隊、經濟各個方面都有呂不韋盤根錯節的關係，這是比嫪毐更恐怖的存在。接著秦王政在追查嫪毐罪行時發現呂不韋與太后有私情，秦王想殺掉呂不韋。但因他侍奉先王有很大功勞，還有很多賓客辯士為他說情，所以秦王解除呂不韋職務，讓他回到河南封地。