من اليونان القديمة إلى ماري شيلي، لقد كان ذلك بمثابة خوف بشري دائم: ابتكار جديد يأخذ شكل حياة خاصة به، ويسعى لأهدافه الخاصة، ويصبح أكثر قوة مما قد تصوّره مبتكره على الإطلاق. بالنسبة لكثير من المفكرين والعلماء اليوم، الذكاء الاصطناعي يبدو كما لو أنه على مثل هذا المسار تماماً. هذا ليس سبباً يدعو للخوف أو القيام برد فعل عنيف ضد التكنولوجيا، لكن الذكاء الاصطناعي يُقدّم فعلاً بعض المخاطر طويلة الأجل التي ينبغي تقييمها بشكل واقعي. الذكاء الاصطناعي ينطوي على إنشاء برامج كمبيوتر أو آلات بإمكانها متابعة هدفها بذكاء، على مدى عقود من الزمن، كان هذا التخصص قد أزعجه التفاؤل المفرط. لقد تبيّن أنه أمر صعب بشكل خاص بالنسبة للباحثين من أجل هندسة ذكاء «عام»، أو آلة بإمكانها حل المشاكل بشكل مستقل والتكيّف مع ظروف جديدة، مثل البشر. لكن التقدّم يتسارع الآن، التطبيقات الضيقة للذكاء الاصطناعي موجودة في كل مكان حولك - كلما قامت جوجل بتوفير نتائج بحث، أو استجابة جهاز الآيفون لأوامرك الصوتية، أو قيام موقع الأمازون باقتراح كتاب ستحبه. الذكاء الاصطناعي بالفعل يبدو أفضل من البشر في لعبة الشطرنج، و»لعبة المخاطرة» والقيادة الحكيمة. وقد يكون ناجحاً في مجالات مثل الطاقة، والعلوم والطب. الخبراء في إحدى الدراسات يُقدّرون أن الذكاء الاصطناعي قد يقترب من البشر بين عامي 2040 و2015، ويتجاوزه بعد عدد قليل من العقود. كما يُشيرون أيضاً إلى أن هناك احتمال واحد من ثلاثة أن مثل هذا التطور سيكون «سيئاً» أو «سيئاً للغاية» بالنسبة للبشرية. ليسوا وحدهم من يشعر بالقلق، هناك كتابان من الكتب الجديدة الكئيبة قد حذّرت من الذكاء الاصطناعي، حيث قام إيلون ماسك بالتحذير أنه قد يكون «أكثر خطراً من الأسلحة النووية»، وستيفن هوكينج وصفه ب «أنه من المحتمل أن يكون أفضل أو أسوا شيء قد يحدث للبشرية في التاريخ». هؤلاء ليسوا من أصحاب النزوات المشعوذين الجهلة أو من رافضي التكنولوجيا، إذا لماذا هم خائفون لهذه الدرجة؟ في البداية، ليس من السهل مراقبة أو قياس تقدّم الذكاء الاصطناعي بشكل مباشر. مع ازدياد القوة والاستقلالية لذكاء اصطناعي معين، قد يتبيّن أنه من الصعب فهم أو توقّع تصرفاته، حيث قد يتطوّر بسرعة وبطرق غير متوقعة. هناك قلق أعمق إنه إذا قام الذكاء الاصطناعي بتجاوز الذكاء البشري، فبإمكانه تحسين نفسه باستمرار - ليصبح أذكى وأقوى مع كل إصدار جديد، وعند قيامه بذلك، من المحتمل أن تصبح دوافعه أكثر غموضاً، ولا يمكن اختراق منطقه أو توقع سلوكه بشكل أكبر. قد يصبح من الصعب أو المستحيل التحكم فيه. لاستخدام مثال مُبسّط: الذكاء الاصطناعي القادر على التعلّم الذاتي الذي تمت برمجته لاحتساب المنازل العشرية للنسبة التقريبية «ط» (التي تبلغ قيمتها التقريبية 3.14، لكن قيمتها الفعلية القريبة من هذا المقدار يتم التعبير عنها على صورة كسر عشري لا نهائي) ربما، بكونه أصبح أكثر ذكاءً، يقرر أن الطريقة الأكثر فعالية لتحقيق أهدافه ستكون بتجنيد كافة قوى الحوسبة الموجودة على الأرض. علاوة على ذلك، قد يستنتج أنه في حاجة للحصول على المزيد من الموارد لتوسيع قوة الحوسبة تلك، وهلم جرّا، ودور البشر في مثل هذا السيناريو ليس واضحاً، أو ربما هو كذلك. لقد بدأ الباحثون أخذ تلك المخاطر على محمل الجد بشكل أكبر، لكن الاستعداد لها لن يكون سهلاً. إحدى الأفكار بإجراء التجارب في العوالم الافتراضية والمحاكاة، حيث من الممكن مراقبة تطوّر الذكاء الاصطناعي والأخطار المُتضمنة نظرياً. فكرة ثانية هي محاولة غرس بعض مظاهر الأخلاق في أنظمة الذكاء الاصطناعي. لقد حقق الباحثون تقدّماً من خلال تطبيق المنطق المشروط - منطق الإذن والالتزام - لتحسين مهارات الروبوتات المنطقية وتوضيح مبرراته السلوكية، شيء من هذا القبيل قد يكون مفيداً في الذكاء الاصطناعي بشكل عام.