تعود فكرة إقامة المركز الإسلامي في فيينا الى شهر رمضان سنة 1378ه إلا أن قلة الأموال في حينه حالت دون بناء المركز إلى أن تبرع المغفور له الملك فيصل بن عبدالعزيز ببنائه في عام 1975م، وكلف بهذه المهمة سفير المملكة في فيينا الشيخ فريد بصراو آنذاك، وتقدمت عدة مؤسسات إنشائية لإقامة هذا المشروع حيث رسا على المقاول ريجارد لوكنر الذي شرع بالبناء في السادس من شهر حزيران (يونيو) عام 1977م وفي الحادي عشر من شهر تشرين الثاني (نوفمبر) سمع الأذان لأول مرة من على منارة المسجد التي اعتلاها الهلال، وفي السادس والعشرين من شهر نيسان (ابريل) سنة 1978م، كان الهلال ينتصب على قبة المسجد. والهدف الأكبر من إقامة هذا المركز الإسلامي كي يخدم الأعداد المتزايدة من المسلمين النمساويين، وأفراد الجالية الإسلامية المقيمة في النمسا، أو الذين اكتسبوا الجنسية النمساوية نتيجة استقرارهم في هذا البلد أو المهاجرين من بلادهم لأسباب اجتماعية أو سياسية، كالألبانيين الارناؤوط واليوغسلافيين البوشناق وغيرهم من سكان المناطق التي انحسر عنها سلطان الدولة العثمانية في الحرب العالمية الأولى أو التي غمرتها الموجة الشيوعية في أعقاب الحرب العالمية الثانية والمسلمون في النمسا يتمتعون بكل الحقوق والامتيازات التي يتمتع بها غيرهم من أبناء الأديان الأخرى بموجب القوانين والشرائع الموضوعة، وإنهم إذا كانوا من أبناء البلد يجدون أمامهم نفس الفرص التي تتوفر لسائر مواطنيهم في مختلف مجالات العمل، سواء في الحقل الأهلي أو في دوائر الدولة الرسمية.