رغم أن البدايات يصعب تحديدها بالنسبة لمكتبة الحرم المكي الشريف، إلا أن احتفاظها بالعديد من الكتب والإصدارات ربما ربطها بمجالس الفتيا والذكر، حسب تأكيدات مديرها الدكتور محمد بن عبدالله باجودة، والذي كشف أن الخطط المستقبلية للمكتبة تشمل تحويل الكتب النادرة والمجلات والصحف إلى رقمية. ويعترف باجودة بأنه: «من الصعوبة بمكان معرفة البداية الحقيقية لتأسيسها وإنما هناك بعض الدلائل يمكننا من خلالها معرفة تاريخ نشأتها على وجه التقريب، فالمكتبة ارتبطت بوجود المصاحف والكتب الشرعية وإن لم يكن وجود تلك المصاحف والكتب يعني بالضرورة وجود مكتبة بالمعنى المتعارف عليه اليوم، إلا أنه يمكن القول إن تأسيس المكتبة ارتبط بصفة عامة بمجالس الفتيا والذكر التي كان الصحابة والتابعون يعقدونها بالمسجد الحرام، ومع أن كتب التاريخ لم تذكر بالنص وجود مكتبة داخل الحرم إلا أنه يستنتج وجودها، فقدسية المكان كان حافزا للخلفاء المسلمين وحكمائهم وموسريهم ومؤلفيهم وقف مصاحف وكتب تحفظ في دواليب داخل الحرم». ويشير إلى أن غالبية المؤرخين يتفقون على أن نواة المكتبة كانت موجودة في بداية الخلافة العباسية زمن المهدي العباسي عام 160ه، وأنه كانت توجد قبتان إحداهما للسقاية والأخرى للمحفوظات سميت قبة بيت المحفوظات كانت تحفظ بها المصاحف وبعض الكتب الدينية. وأوضح مدير المكتبة أن عدد أقسامها 16 قسما وهي قسم الخدمة المكتبية يستقبل المطالعين على اختلاف مستوياتهم وجنسياتهم وأعمارهم، ويقوم بخدمتهم في سرعة استخراج المصادر والمراجع التي يحتاجون إليها ومساعدتهم في الوصول إلى المعلومات بتلك المصادر، ويصل عدد عناوين الكتب بالمكتبة إلى أكثر من 100 ألف عنوان. وقسم المخطوطات الذي يقوم بخدمة الباحثين والمحققين بالداخل والخارج ومساعدتهم في الوصول إلى المخطوطة التي يريدونها وتخدم مجالهم. ويبلغ عدد المخطوطات النادرة في مكتبة الحرم المكي الشريف 5000 مخطوط أصلية، إضافة إلى 2000 مخطوط مصورة على ورق، 3000 مخطوط على الميكروفيلم، وقسم الدوريات ويشتمل على الصحف والمجلات المحلية والعربية القديمة والحديثة على المطالعين والزوار، كما يتم حفظ نسختين إحداهما معدة لتداول الباحثين والأخرى للتجليد. وقسم المكتبة الصوتية ويقوم هذا القسم بتسجيل الدروس التي تلقى في المسجد الحرام، وتضم المواعظ والخطب والدروس وتسجيلها للرواد وهي 101958 شريطا وبأكثر من لغة، ومن ثم تحويلها إلى أسطوانة ثم يتم إدخالها إلى موقع المكتبة الصوتية بالإنترنت لكي يستفيد منها الزوار للموقع. وأشار إلى أن هناك قسم التصوير الميكروفيلمي، ويصور المخطوطات الأصلية والمصورة والتي ترد إلى المكتبة، وكذلك الدوريات القديمة النادرة على أفلام كما يحول تلك الأفلام إلى نسخ ورقية لمن يطلبها. وقسم قراءة الميكروفيلم يحفظ هذا القسم الأفلام الخاصة بالمخطوطات والصحف القديمة. وقسم جناح الحرمين الشريفين، ويعرض هذا القسم كل ما له علاقة بالحرمين الشريفين .