رغم صعوبة معرفة مكان نشأة مكتبة الحرم المكي الشريف، والبداية الحقيقية لتأسيسها، إلا أن مؤرخين وباحثين تمكنوا من الاسترشاد بإشارات تدل على تاريخ نشأتها على وجه التقريب. ويؤكد مساعد مدير مكتبة الحرم المكي الشريف عبدالله الحربي أن المكتبة ارتبطت بوجود المصاحف و الكتب الشرعية، وقال: «وإن لم يكن وجود تلك المصاحف والكتب يعني بالضرورة وجود مكتبة بالمعنى المتعارف عليه اليوم، ويمكن القول أن تأسيس المكتبة ارتبط بصفة عامة بمجالس الفتيا والذكر التي كان الصحابة والتابعون يعقدونها بالمسجد الحرام، ومع أن كتب التاريخ لم تذكر بالنص وجود مكتبة داخل الحرم إلا أنه يستنتج وجودها، فقدسية المكان كانت حافزاً للخلفاء المسلمين وحكمائهم وموسريهم ومؤلفيهم على وقف مصاحف وكتب تحفظ في «دواليب» داخل الحرم، بينما نجد أن غالبية المؤرخين تتفق على أن نواة المكتبة كانت موجودة في بداية الخلافة العباسية زمن المهدي العباسي عام 160 ه، وأنه كانت توجد قبتان إحداهما للسقاية والأخرى للمحفوظات سميت قبة بيت المحفوظات كانت تحفظ بها المصاحف وبعض الكتب الدينية». وأوضح الحربي أنه منذ بداية العهد السعودي، اهتم الملك عبد العزيز بهذه المكتبة وكوَّن لجنة من العلماء لدرس أحوالها وأطلق عليها عام 1357ه «مكتبة الحرم المكي الشريف»، وأهدى إليها مجموعة من الكتب، فيما حظيت برعاية وعناية الدولة منذ ذلك الوقت واستمر تزويدها بمخطوطات لما يستجد من الكتب والمراجع والأجهزة الحديثة التي تيسر على زوارها استخدام أوعيتها المتنوعة».