يعتبر حجر إسماعيل، أو ما يسمى ب «الحطيم» جزءا أساسيا من الكعبة، حتى جاء عهد قريش حيث سمي بالحجر لأن قريش في بنائها تركت من أساس إبراهيم جزءا لقلة المال الحلال الخالص لديهم، وحجرت على الموضع ليعلم الناس أنه من الكعبة المشرفة. وتذكر الكتب التاريخية أنه في عصر الجاهلية كانت تطرح في موضع الحجر ما طافت به من الثياب فيبقى حتى يتحطم بطول الزمان، فسمي الحجر بالحطيم، وكانوا يتحالفون ويحلفون عنده. وحجر إسماعل هو بناء مستدير على شكل نصف دائرة، أحد طرفيه محاذ للركن الشمالي والآخر محاذ للركن الغربي، ويقع شمال الكعبة المشرفة ويبلغ ارتفاعه قرابة 1,30 متر، واعتبر منزلا لإسماعيل وأمه عليهما السلام، وقد ذكرت بعض الأخبار أن إسماعيل -عليه السلام- وأمه مدفونان في هذا المكان لهذا سمى بحجر إسماعيل. وقال الشيخ ابن عثيمين: هذا الحجر يسميه كثير من العوام حجر إسماعيل، ولكن هذه التسمية خطأ ليس لها أصل، فإن إسماعيل لم يعلم عن هذا الحِجر، لأن سبب هذا الحِجر أن قريشا لما بنت الكعبة، وكانت في الأول على قواعد إبراهيم ممتدة نحو الشمال، فلما جمعت نفقة الكعبة وأرادت البناء، قصرت النفقة فصارت لا تكفي لبناء الكعبة على قواعد إبراهيم، فقالوا نبني ما تحتمله النفقة، والباقي نجعله خارجا ونحجر عليه حتى لا يطوف أحد من دونه، ومن هنا سمى حِجرا، لأن قريشا حجرته حين قصرت بها النفقة. وحظي هذا الحجر باهتمام بعض الخلفاء والملوك، حيث قام بتجديده وتعميره الناصر العباسي سنة 576ه، وجدد مرة أخرى في عهد المستنصر العباسي سنة 631ه، والملك المظفر صاحب اليمن سنة 659ه، والملك محمد بن قلاوون سنة 720ه، والملك علي بن الأشرف شعبان سنة 781ه، والملك الظاهر برقوق سنة 801ه، ثم جرت إصلاحات مختلفة فيه سنة 822ه، وعمّره الملك قانصوة الغوري 916ه، والسلطان قايتباي سنة 888ه، والسلطان عبد المجيد خان 1260ه. ويبدو من القراءات التاريخية أن الحجر كان محل اهتمام من الملوك والأمراء سواء كانوا على الحجاز ومكة، أو على الدول العربية والإسلامية؛ ومن أمثلته هو ما حدث في عهد أبو جعفر أن الحجر كانت حجارته بادية، وكان أبو جعفر المنصور يحج فرآها، فقال: لا أصبحن حتى يُستَر جدار الحجر بالرخام، فدعا العمال فعملوه على السرج قبل أن يصبح، وجدد رخامه المهدي، وكان تبطين البلاط بالرخام العام 161ه، وكان رخامًا أبيضا وأخضرا وأحمرا وكان مداخلاً بعضه في بعض أحسن من هذا العمل، ثم لما تكسر جدده أبو العباس عبد الله بن داود بن عيسى، وهو أمير مكة سنة إحدى وأربعين ومائتين، ثم جدد بعد ذلك سنة ثلاث وثمانين ومائتين في خلافة المتوكل. كسوة الحجر من المعلوم تاريخيا أنه لم تجرِ عادة بوضع كسوة على الحجر، غير أنه في العام (852)ه وصلت كسوة إلى الحجر مع كسوة الكعبة من مصر؛ فوضعت في جوف الكعبة، ثم كسي بها الحجر من الداخل في السنة التالية.