من مدينة املج الساحلية انتقل إلى مكةالمكرمة برفقة أسرته فكانت انطلاقته العلمية ثم العملية من التدريس إلى الوظيفة الحكومية. ذاك هو الأستاذ عبدالعزيز بن أحمد بن عبدالكريم الرفاعي – رحمه الله الشاعر والصحفي المولود بمدينة املج في الثالث عشر من رمضان عام 1342ه. والذي انتقلت أسرته إلى مكةالمكرمة وهو في السابعة من العمر لتكون نشأته الثانية بمكةالمكرمة فيلتحق بالمعهد العلمي السعودي بمكةالمكرمة ليتخرج منه في عام 1361ه ويبدأ مسيرته العملية كمعلم لكنه لم يستمر سوى عام واحد في ينتقل بعدها للعمل كموظف متنقلا بين أروقة عدة قطاعات ليستقر به المقام في ديوان رئاسة مجلس الوزراء مترقيا من وظيفة إلى أخرى لتكون آخر وظيفة يشغلها مستشاراً بالديوان الملكي. وان كان تقاعده عن العمل الحكومي كان في عام 1400ه فان هذا لايعني ابتعاده عن خدمة الوطن بجانب آخر إذ عين في عام 1413 ه بأمر ملكي في عهد خادم الحرمين الشريفين الملك فهد بن عبدالعزيز – رحمه الله – عضوا الى ان مجلس الشورى في دورته الأولى بتنظيمه الجديد الذي تضمن رئيسا وستين عضواً وحل محل نظام المجلس القديم الصادر في عام 1347ه وان كان البعض يرى أن الوظيفة الحكومية قد خطفت الأستاذ / عبدالعزيز الرفاعي رحمه الله عن الأدب فقد أشارت عدة مصادر إلى أنه قد أسس مع مجموعة من أصدقائه في عام 1366 ه لجنة التأليف والتي ساهمت في نشر عدد من الكتب منها: إعلام العلماء الأعلام ببناء المسجد الحرام لعبدالكريم القطبي. ومن أعماله التي شغلها منصب مدير عام مؤسسة اليمامة الصحفية الصادر عنها جريدة الرياض ومجلة اليمامة ليكون بذلك أول مدير عام لهذه المؤسسة الإعلامية ولعل الأبرز في حياة الأستاذ عبدالعزيز الرفاعي أنه بعد تقاعده عن العمل الحكومي في عام 1400ه انشأ دار الرفاعي للنشر والطباعة والتوزيع والتي ركزت في إصداراتها على خدمة التراث الإسلامي. وأسس مع الأستاذ عبدالرحمن بن فيصل المعمر مجلة عالم الكتب وهي مجلة متخصصة في شئون الكتاب تصدر كل شهرين. ومن أبرز أعماله الأدبية تحقيق كتاب إعلام العلماء الأعلام ببناء المسجد الحرام لعبدالكريم محب الدين القطببي وقد حققه بالاشتراك مع الأستاذ أحمد محمد جمال رحمه الله والدكتور عبدالله الجبوري. وكتب الأستاذ / عبدالعزيز الرفاعي رحمه الله في العديد من الصحف والمجلات السعودية إضافة إلى كتابته للإذاعة السعودية عدة أحاديث متنوعة وألقى رحمه الله العديد من المحاضرات الأدبية والفكرية والعلمية في عدد من المحافل والمناسبات وكانت له أمسية أدبية عرفت بندوة الرفاعي الأسبوعية (الخميسية) والتي استمرت أكثر من ثلاثين عاماً. ومن آثاره الأدبية والعلمية: توثيق الارتباط بالتراث العربي (1389ه) ؛ الحج في الأدب العربي (1397ه) ؛ ظلال ولا أغصان – ديوان شعر (1413ه) ؛ كناشة الرفاعي- (صدر بعد وفاته 1415ه). شغل رحمه الله عدة عضويات إذ كان عضواً بهيئة الإشراف على المجلة العربية ومجلة التضامن الإسلامية وعضواً بالمجلس الاستشاري الدولي ولجنة الخبراء لمؤسسة الفرقان للتراث الإسلامي بلندن إضافة إلى عضويته بالمجلس الأعلى للإعلام ومجالس ولجان إعلامية وثقافية وصحفية أخرى. واختير عضواً مراسلاً في مجمع اللغة العربية بمصر، ومجمع اللغة العربية بدمشق. واشترك في مؤتمرات أدبية وملتقيات إسلامية في بعض البلدان العربية والإسلامية. وقد حصل على وسام الاستحقاق الثقافي من تونس 1970م. ووسام التكريم في مؤتمر القمة الخليجي العاشر المنعقد في مسقط- سلطنة عمان في 20 جمادى الآخرة 1410ه من قبل قادة دول مجلس التعاون الخليجي. شبهه البعض بالأحنف بن قيس لحلمه الذي اتصف به وجوده وكرمه وتواضعه ودماثة خلقه. توفي الأستاذ / عبدالعزيز الرفاعي رحمه الله يوم الخميس الثالث والعشرون من ربيع الأول عام 1414ه ودفن في مقابر المعلاة بمكةالمكرمة.