تستقبل حديقتا السور والحرس والواقعتان غرب مركز الملك عبد العزيز التاريخي مرتادي المركز من الساعة الرابعة عصرا وحتى الساعة الحادية عشرة ليلا لجميع ايام الاسبوع ما عدا يوم السبت فتغلقان للصيانة، وسميت حديقة السور بهذا الاسم نسبة الى سور المربع القديم والذي ما زال احد اجزائه قائما مع البرج القديم .اما حديقة الحرس فسميت بهذا الاسم نسبة الى مبنى الحرس الوطني الذي كان قائما في هذا الموقع قبل ازالته، وتبلغ مساحتها حوالي 000 ،60 متر مربع. وروعي عند تصميم الحدائق ان تكون مختلفة التضاريس لتكون اقرب الى البيئة الطبيعية لمنطقة الرياض، كما انشئت في ارض الحدائق تكوينات صخرية واماكن مظللة للعائلات وللاطفال، واستخدمت الصخور والنباتات والاعشاب المحلية التي تناسب المنطقة، وتخترق هذه الحدائق شبكة من الممرات الممهدة احدها ممر رئيسي يستمر خلال الساحات والميادين العامة ليكون ممر مشاة طوله 2 كيلو متر تقريبا، يحوي على جنباته لوحات ارشادية ولوحات لمعلومات تاريخية حول الموقع ومقاعد للجلوس والعاب للاطفال. وتمثل الحدائق والمسطحات الخضراء البنية الاساسية في مركز الملك عبد العزيز التاريخي الامر الذي يكسبه بمنشآته الثقافية والاجتماعية المتعددة سمة اضافية تتمثل في بيئته الطبيعية التي تساهم في تنقية الهواء وتلطيف الجو وتوفر مساحة خضراء في وسط المدينة. الجدير بالذكر ان المنتزه العام يتكون من خمس حدائق رئيسية اضافة الى الساحات العامة والميادين . ويعتبر ميدان المربع الميدان الرئيسي يحده من الجنوب واحة النخيل التي تمثل معلما تاريخيا في المركز حيث زرعت في الواحة مائة نخلة ترمز الى مرور مائة عام على تأسيس المملكة العربية السعودية، بالاضافة الى جدول مائي يبدأ من بئر قديمة «المدى» ويعبر الحديقة الوسطية بين المتحف والدارة الى بحيرة تحوي العابا تعليمية وترفيهية للاطفال، وتمثل الحدائق والمسطحات الخضراء السمة الاساسية في مركز الملك عبد العزيز التاريخي مما يكسبه رونقا اضافيا تتمثل في بيئته الطبيعية التي تساهم في تنقية الهواء وتلطيف الجو، موفرة بذلك مساحة خضراء في وسط المدينة.