劉備即使不收留呂布，那也守不住徐州，反而處境會更糟糕。劉備接手徐州的時候，曾經多次推辭，這不是他客氣，而是徐州此時是個燙手的山芋，不好拿。徐州當時共有彭城、琅邪、東海、下邳、廣陵5個群國，陶謙死的時候，昌豨佔據了東海，臧霸佔了琅邪，彭城被曹操攻下以後屠城，而廣陵被笮融洗劫一空，兩地也暫時廢了。陶謙留下的，實際僅有下邳一地，而陶謙的舊部曹豹等，對劉備也並不是很服氣。此外徐州是四戰之地，北面的袁紹，南面的袁術，西面的曹操都不是善茬。

而劉備來徐州時手下不過一千多人，加上陶謙撥給他的四千丹陽兵，也不過五千人馬，手裡也不過小沛一地，顯然這點實力是不足以對抗外敵，壓服內部的。

所以雖然陳登、糜竺等人都表示願意擁戴劉備，但是劉備本人卻猶豫不決。最後陳登出面斡旋，取得了袁紹對劉備接任徐州的認可，劉備才同意接手徐州。不過袁紹僅僅是口頭支援而已，並不會派兵支援，劉備所能依靠的，還是隻有自己的基本盤。

而呂布此來雖然是被曹操打敗而來，但是他手下還是有相當的兵力，劉備如果拒絕收留，那麼呂布可不會跟他客氣，肯定會直接開打，劉備即使能擋住呂布，也要擔心其他人趁虛而入。特別是袁術，歷史上他在劉備接手徐州以後不久就派兵北上，如果劉備和呂布開戰，他肯定不會放過這個機會。而劉備無論如何都是無法同時對抗呂布和袁術的，所以他只能收留呂布，這根本沒什麼選擇餘地。