وجود مكتبة بالمعنى المتعارف عليه اليوم، ويمكن القول إن تأسيس المكتبة ارتبط بصفة عامة بمجالس الفتيا والذكر التي كان الصحابة والتابعون يعقدونها بالمسجد الحرام، ومع أن كتب التاريخ لم تذكر بالنص وجود مكتبة داخل الحرم إلا انه يستنتج وجودها، فقدسية المكان كان حافزًا للخلفاء المسلمين وحكمائهم وموسريهم ومؤلفيهم وقف مصاحف وكتب تحفظ في دواليب داخل الحرم، بينما نجد أن غالبية المؤرخين تتفق على أن نواة المكتبة كانت موجودة في بداية الخلافة العباسية زمن المهدي العباسي عام (160ه)، وأنه كانت توجد قبتان أحدهما للسقاية والأخرى للمحفوظات سميت قبة بيت المحفوظات كانت تحفظ بها المصاحف وبعض الكتب الدينية. وحول أقسام المكتبة وما تحتويه يضيف باجودة قائلاً: هناك ستة عشر قسمًا بالمكتبة، وهي: * قسم الخدمة المكتبية: ويستقبل المطالعين على اختلاف مستوياتهم وجنسياتهم وأعمارهم، وتقوم بخدمتهم في سرعة استخراج المصادر والمراجع التي يحتاجونها ومساعدتهم في الوصول إلى المعلومات بتلك المصادر، ويصل عدد عناوين الكتب بالمكتبة إلى أكثر من مائة ألف عنوان. * قسم المخطوطات: ويقوم بخدمة الباحثين والمحققين بالداخل والخارج ومساعدتهم في الوصول إلى المخطوطة التي يريدونها وتخدم مجالهم ويبلغ عدد المخطوطات النادرة في مكتبة الحرم المكي الشريف (خمسة آلاف مخطوطة أصلية) بالإضافة الى (ألفين مخطوطة مصورة على ورق) وثلاثة الآف مخطوطه على الميكروفيلم * قسم الدوريات: ويشتمل على الصحف والمجلات المحلية والعربية القديمة والحديثة على المطالعين والزوار كما يتم حفظ نسختين إحداهما معدة لتداول الباحثين والأخرى للتجليد. * قسم المكتبة الصوتية: ويقوم هذا القسم بتسجيل الدروس التي تلقى في المسجد الحرام وتضم المواعظ والخطب والدروس وتسجيلها للرواد وهي (101958) شريط وبأكثر من لغة، ومن ثم تحويلها إلى (CD) ثم يتم إدخالها إلى موقع المكتبة الصوتية بالإنترنت لكي يستفيد منها الزوار للموقع. * قسم التصوير الميكروفيلمي: ويقوم بتصوير المخطوطات الأصلية والمصورة والتي ترد إلى المكتبة وكذلك الدوريات القديمة النادرة على أفلام ودفعها إلى قسم قراءة الميكروفيلم، كما يقوم بتحويل تلك الأفلام إلى نسخ ورقية لمن يطلبها. * قسم قراءة الميكروفيلم: يقوم هذا القسم بحفظ الأفلام الخاصة بالمخطوطات والصحف القديمة وعرضها على أجهزة القراءة الموجودة في القسم. * قسم جناح الحرمين الشريفين: ويقوم هذا القسم بعرض كل ما له علاقة بالحرمين الشريفين من صور قديمة أو حديثة وخرائط وكتب وصور مخطوطات للمطالعين والزوار. * قسم النساء: يقوم بخدمة المطالعات والزائرات على فترتين صباحية ومسائية وتقديم العون والمساعدة لهن في الوصول إلى المعلومات المطلوبة بأيسر الطرق المتاحة. * قسم التزويد: ويتولى مسؤولية بناء وتنمية المجموعات وفقًا للسياسة التي وضعتها الإدارة بالتنسيق مع المسئولين بالرئاسة. * قسم الفهرسة والتصنيف: يناط به القيام بعمليات التحليل والوصف الببليوجرافي للكتب وإدخال تلك المعلومات في الحاسب الآلي. * قسم الإهداء والتبادل: ويهدف إلى إثراء مقتنيات المكتبة من خلال التبادل بالنسخ المكررة وتمكين رواد المكتبة من الاستفادة من تلك النسخ التي أعدت للتبادل. * قسم التجليد: يقوم بتجليد الكتب الجديدة وترميم الكتب القديمة وتجليدها. * قسم الترميم والتعقيم: ويعتبر أحد أهم الأقسام ويتولى ترميم المخطوطات والكتب القديمة وتعقيمها. * قسم المكتبة الإلكترونية: ومهمته تمكين رواد المكتبة من الإطلاع على أمهات الكتب المحفوظة على (CD) أو تلك المخطوطات التي صورت على (CD) وذلك بهدف مواكبة المستجدات وتقديم خدمة سريعة لهم وجناح ذوي الاحتياجات الخاصة ويهتم بالمكفوفين وذوي الإعاقات الخاصة ويضم بعض الكتب والنشرات المطبوعة بطريقة برايل ومجموعة من الأشرطة السمعية تربو على (2300) شريط وأكثر من (700) كتاب في مختلف الفنون. * قسم العلاقات العامة بالمكتبة: ويقوم باستقبال الزوار والوفود الطلابية بالإضافة الى الأعمال التي تخص المكتبة. ويختم باجودة مرحبًا بالمطالعين خلال مواعيد العمل الرسمية للمكتبة في شهر رمضان المبارك على فترتين صباحية من الساعة العاشرة صباحًا إلى الثالثة ظهرًا ومسائية من الثامنة مساء إلى الواحدة صباحًا، وخلال العطلات الأسبوعية والإجازات الرسمية، مبينًا أن من الخطط المستقبلية للمكتبة تحويل الكتب النادرة والمجلات والصحف إلى رقمية.