تعود تسميته نسبة إلى المكان والموقع الذي خط فيه رسول الله صلى الله عليه وسلم خطًا في الأرض لعبدالله بن مسعود رضي الله عنه خوفًا عليه من الجن؛ وذلك عند سماعه لرسولنا الكريم صلوات الله عليه، من الجن عن تساؤلاتهم حول الدين الجديد وتعالميه، وفي تلك الليلة نزلت سورة الجن على ما ذكره علماء التفسير، فعن عبدالله بن مسعود رضي الله عنه قال:" صلى رسول الله صلى الله عليه وسلم العشاء ثم انصرف فأخذ بيد عبد الله بن مسعود حتى خرج به إلى بطحاء مكة فأجلسه ثم خط عليه خطا ثم قال لا تبرحن خطك ، فإنه سينتهي إليك رجال فلا تكلمهم فإنهم لن يكلموك . ثم مضى رسول الله صلى الله عليه وسلم حيث أراد، فبينا أنا جالس في خطي، إذ أتاني رجال كأنهم الزط؛ أشعارهم وأجسامهم. لا أرى عورة ولا أرى قشرا، وينتهون إلي ولا يجاوزون الخط، ثم يصدرون إلى رسول الله، حتى إذا كان من آخر الليل، لكن رسول الله صلى الله عليه وسلم قد جاءني وأنا جالس فقال: لقد أراني منذ الليلة. ثم دخل علي في خطي فتوسد فخذي ورقد.." ويعرف أيضًا "بمسجد الحرس" حيث كان يعتبر المكان آخر نقطة من الناحية الشمالية الشرقية للحرم ومكة، فكان الحارس الذي يقوم بالحراسة الأمنية للمدينة يطوف بمكة ويتخذ من هذا الموقع نقطة التقاء وتجمع للحرس، ويقع المسجد في طرف جبل الحجون المعروف بأعلى مكة عند شعب أبي دب، وتحديدًا بين الشارع المؤدي إلى مقبرة المعلاة وبين شارع المعلاة، وكبقية المعالم الدينية والتاريخية في مكة، فقد أهتمت الدولة بعمارته وترميمه على مر العصور.