吕布在拔掉董卓以后，深深感到王允对自己的不信任，即使王允封自己为温侯。顺便一说，《水浒传》里的“小温侯”吕方这个名号就是这样来的。

允初议赦卓部曲，吕布亦数劝之。既而疑曰：“此辈无罪，从其主耳。今若名为恶逆而特赦之，适足使其自疑，非所以安之之道也。”吕布又欲以卓财物班赐公卿、将校，允又不从。而素轻布，以剑客遇之。布亦负有功劳，多自夸伐，既失意望，渐不相平。 ——《后汉书·王允传》 允以布为奋威将军，假节，仪比三司，进封温侯，共秉朝政。 ——《三国志·吕布传》

此时，李傕、郭汜听从贾诩的策略，进攻长安，吕布想着带王允走，王允坚决不同意，留在长安，吕布只能和李、郭二位旧同事打成一片，不敌后离开，王允也捐躯。不过王允的侄子逃过了这场灾难，后来发动了淮南一举，名叫王凌。另附，吕布的兵器是矛，不是二创设定里的戟。

布驻马青琐门外，招允曰：“公可以去乎？”允曰：“若蒙社稷之灵，上安国家，吾之愿也。如其不获，则奉身以死之。朝廷幼少，恃我而已，临难苟免，吾不忍也。怒力谢关东诸公，勤以国家为念。” ——《后汉书·王允传》 用贾诩策，遂将其众而西，所在收兵，比至长安，众十馀万，与卓故部曲樊稠、李蒙、王方等合围长安城。十日城陷，与布战城中，布败走。傕等放兵略长安老少，杀之悉尽，死者狼籍。诛杀卓者，尸王允于市。 ——《三国志·李傕传》 宏不能独立，遂俱就征，下廷尉。傕乃收允及翼、宏，并杀之。允时年五十六。长子侍中盖、次子景、定及宗族十余人皆见诛害，唯兄子晨、陵得脱归乡里。 ——《后汉书·王允传》 汜、布乃独共对战，布以矛刺中汜，汜后骑遂前救汜，汜、布遂各两罢。 ——《英雄记》

吕布离开王允后投奔袁术，袁术嫌弃他居功自傲、竭泽而渔，赶走了吕布，不过之后袁术有求于吕布，那是后话了。

布自以杀卓为术报雠，欲以德之。术恶其反复，拒而不受。 ——《三国志·吕布传》

吕布之后投奔袁术的哥哥袁绍，帮袁绍打败了张燕，不过之后吕布故态复萌，袁绍心底里不认同，想要了断吕布，幸亏吕布威武雄壮，这才逃过一劫。顺便一说，“人中吕布，马中赤兔”的说法早就广为流传，不过没有任何史料提及赤兔马的来源。

诣袁绍，绍与布击张燕于常山。燕精兵万余，骑数千。布有良马曰赤兔。一常与其亲近成廉、魏越等陷锋突陈，遂破燕军。而求益兵众，将士钞掠，绍患忌之。布觉其意，从绍求去。绍恐还为己害，遣壮士夜掩杀布，不获。事露，布走河内，与张杨合。绍令众追之，皆畏布，莫敢逼近者。 ——《三国志·吕布传》 时人为之语曰：“人中有吕布，马中有赤兔”。 ——《曹瞒传》

吕布之后投奔了曾经的同事张杨，在张杨这里得到保全。

布惧，谓杨曰：“与卿州里，今见杀，其功未必多。不如生卖布，可大得李傕等爵宠。”杨以为然。 ——《后汉书·吕布传》 杨於是外许汜、傕，内实保护布。汜、傕之，更下大封诏书，以布为颍州太守。 ——《英雄记》

在前往张杨处的时候，吕布有幸结识了曹操、袁绍的好朋友张邈，先记住这么一回事。

吕布之拾袁绍从张杨也，过邈临别，把手共誓。 ——《三国志·吕布传》