ان التاريخ الاسلامي ليشهد لخالد بن يزيد بن معاوية بمقدرته القيادية والعلمية, ولكن لم يحالفه الحظ بان يتولى الخلافة بعد والده على الرغم من اغلبية جمهوره الاسلامي الذين كانوا يتوقعون ان يفوز بالخلافة. وفعلا قام بمحاولات قليلة جدا لتولي زمام الامور في الدولة الاسلامية, ولكنه لم ينجح في محاولاته. لذا فقد ترك مؤقتا السياسة جانبا وتفرغ للدراسة والبحث في العلوم المختلفة, ولكنه ركز على علم الكيمياء. والحقيقة ان الكثير من اصدقائه واقاربه ارادوا ان يتولى مقاليد حكم بني امية بالقوة, ولكنه رفض بقوة لان مروان بن الحكم الذي عرف عند القريب والبعيد برجاحة عقله وحكمته, وهو في ذاك الوقت اكبر بني امية سنا تولاها.وقد لخص سعيد الديوه جي في كتاب خالد بن يزيد الموقف بقوله انقسمت الامة الاسلامية الى ثلاثة احزاب بعد وفاة يزيد بن معاوية سنة 64 هجرية 684 ميلادية. 1 حزب عبدالله بن الزبير وكان يرى نفسه اولى بالخلافة: حيث كان يحكم الحجاز, وامتد سلطانه الى سوريا ومصر وتعداها الى العراق وخراسان. 2 حزب مروان بن الحكم, وكان يرى انصاره انه ما احد اولى بهذا المنصب منه, لأنة كبير قريش وشيخها, واخطرها عقلا, وكمالا ودينا وفضلا. 3 حزب خالد بن يزيد يؤازره اخواله, من بني كلب ومعه الاردن وطبرية, ويرى انصاره انه من معدن الملك, ومقر السياسة والرياسة, جده معاوية مؤسس الدولة الاموية واحد دهاة العرب المعدودين, ولخالد عقل وفضل, ولكنه دون الحلم.وقد رأى بنو امية وانصارهم خطورة الموقف السياسي, وان حزب عبدالله بن الزبير سينجح اذا لم يتفق بنو اميةويلتموا حول بعضهم. وفي آخر الامر رأوا ان يتولى الحكم مروان بن الحكم المتقدم بالسن بقناعة تامة من خالد بن يزيد, لكي يخلفه بعد وفاته. ولكنه عندما تولى مروان بن الحكم الخلافة حصرها بابنائه وبهذا انقطعت اسرة آل ابي سفيان من الخلافة. ولكنهم لم ينقطعوا من العلم ونشره, حيث ان خالد بن يزيد وظف قدراته العظيمة والمتنوعة في الادب والشعر والكيمياء وغيرها في خدمة الحضارة العربية والاسلامية.ويقول سعيد الديوه جي في كتابه السابق, انتقلت الخلافة من اسرة آل ابي سفيان الى ابناء الحكم. وان مروان بن الحكم نكث العهد, وحصرها في اولاده, فجعلها في ابنه عبدالملك, ومن بعده الى ابنه عبدالعزيز. وعمل خالد شتى الحيل لاسترجاع الخلافة الى الفرع السفياني, وكان نصيبه الفشل, والمتتبع لحياته, يجد علائم الذكاء, والاعتداد بالنفس, والتزعم كانت تظهر في اقواله وافعاله من صغر سنه. وقد اجمع الذين ترجموا له انه كان من رجال قريش المعدودين علما وفضلا ولكن الاقدار تعدته.