المملكة تستضيف "معرض التحول الصناعي 2025" في ديسمبر المقبل    البديوي : اقتحام وزير قوات الاحتلال وعددٌ من المستوطنين المتطرفين المسجد الأقصى انتهاكٌ صارخٌ للمقدسات الإسلامية    أمطار رعدية على عدد من مناطق المملكة    جمعية إحسان بجازان تكرم متطوعيها المتميزين في شهر رمضان    بلدية محافظة الشماسية تحتفل بعيد الفطر المبارك    هيئة الهلال الأحمر بالشرقية تكثف جهودها خلال عيد الفطر 1446ه    مصادرة العديد من الفواكة الغير صالحة للاستهلاك بمنطقة عسير    الدفاع المدني: استمرار هطول الأمطار الرعدية على معظم مناطق المملكة حتى الاثنين المقبل    المملكة تدعم أبطال ذوي التوحد    أكثر من 30 فعالية في (٨) مواقع تنثر الفرح على سكان تبوك وزوارها    بلدية محافظة الأسياح تحتفي بعيد الفطر وتنشر البهجة بين الأهالي    أخضر السيدات يدشن معسكر الدمام ويواجه سريلانكا وهونغ كونغ    "التجارة": نفاذ نظاميّ السجل التجاري والأسماء التجارية اعتباراً من اليوم    في افتتاح كأس آسيا بالطائف .. الأخضر السعودي تحت 17 عاماً يواجه الصين    احتفالات مركز نعام بعيد الفطر المبارك 1446ه    القادسية يتغلّب على الرائد ويتأهل لنهائي كأس الملك    قمر صناعي صيني لبث الإنترنت    عون: العالم العربي وعلى رأسه السعودية رئة لبنان اقتصادياً    الدولار يتراجع بنسبة 1% أمام اليورو إثر إعلان ترامب بشأن الرسوم الجمركية    العثور على «صقر الأسياح» في العراق    فرحة العيد    عيد الشعبة غير    ماذا عن هؤلاء يا لجنة الاستقطاب؟!    بلدية محافظة الشماسية تحتفل بعيد الفطر    بماذا أعددنا ل«يونيو»؟    هل هناك حاجة لزيادة عدد الفرق؟    مجمع الملك سلمان يُطلق برنامج «شهر اللغة العربية» في إسبانيا    تشهي التخطئة    المملكة توزّع 467 سلة غذائية في مدينة بيروت بلبنان    هيئة العقار تدرس وضع حد لرفع الإيجارات    جناح مكتبة الملك عبدالعزيز العامة في بولونيا يحظى بإشادة الزوار الإيطاليين والمبتعثين    الرياض تحتضن منتدى الاستثمار الرياضي 2025 الاثنين المقبل    السفير الرقابي يقيم حفل استقبال ويشارك رئيس الجمهورية بصلاة عيد الفطر المبارك    فاطمة الفهرية التي أسست أقدم جامعة في العالم؟    وزارة الصحة الأمريكية تبدأ عمليات تسريح موظفيها وسط مخاوف بشأن الصحة العامة    ترحيب سعودي باتفاق طاجيكستان وقرغيزستان وأوزبكستان    طيفُ التوحدِ همٌ أُمَمِي    نواف بن فيصل يُعزّي أسرة الدهمش في وفاة الحكم الدولي إبراهيم الدهمش    رجال أعمال صبيا يسطرون قصص نجاح ملهمة في خدمة المجتمع وتنمية الاقتصاد المحلي    مدرب الشباب ينتقد التحكيم عقب الخسارة أمام الاتحاد    العيد يعزز الصحة النفسية    8 دول في أوبك+ تجتمع الخميس وتوقعات ببدء خطة رفع الإنتاج    تجربة سعودية لدراسة صحة العيون في الفضاء    محافظ الطوال يؤدي صلاة عيد الفطر المبارك في جامع الوزارة ويستقبل المهنئين    باحثون روس يطورون طريقة لتشخيص التليف الكيسي من هواء الزفير    جوارديولا يُعلن مدة غياب هالاند    جمعية " كبار " الخيرية تعايد مرضى أنفاس الراحة    أكثر من 122 مليون قاصدٍ للحرمين الشريفين في شهر رمضان    الأمير سعود بن نهار يستقبل المهنئين بعيد الفطر    "أمانة الطائف" تنهي استعداداتها لعيد الفطر المبارك    جمع مهيب في صلاة عيد الفطر في مسجد قباء بالمدينة المنورة    إدارة المساجد والدعوة والإرشاد بمحافظة بيشة تُنهي استعداداتها .    مختص ل «الرياض»: 7% يعانون من اضطراب القلق الاجتماعي خلال الأعياد    ترامب: لا أمزح بشأن سعيي لفترة رئاسية ثالثة    وسائل إعلام: ترامب يعتزم زيارة السعودية في منتصف مايو    إنجاز إيماني فريد    عيد الدرب.. مبادرات للفرح وورود وزيارات للمرضىع    بين الجبال الشامخة.. أبطال الحد الجنوبي يعايدون المملكة    







شكرا على الإبلاغ!
سيتم حجب هذه الصورة تلقائيا عندما يتم الإبلاغ عنها من طرف عدة أشخاص.



ChatGPT يجتاز اختبار الرخصة الطبية السعودية ب89%
نشر في الوطن يوم 20 - 09 - 2023

كشفت دراسة بحثية قام بها فريق بحثي سعودي وتم نشرها في موقع cureus التابع لمجموعة springer nature group.
قدرة الchatGPT في اجتياز اختبار الرخصة الطبية السعودية بنسبة وصلت إلى 88.6 % كما استطاع حل 96.4 % من أسئلة اختبار طب النساء والولادة التابع لهيئة التخصصات الصحية.
مؤشرات رئيسية كانت المنهجية التي اتبعها الباحثون عبارة عن استخدام مجموعة بيانات مكونة من 220 سؤالًا عبر 4 تخصصات طبية. وتم تدريب النموذج باستخدام رمز محدد للإجابة على الأسئلة بدقة، كما تم تقييم أدائه باستخدام مؤشرات الأداء الرئيسية ومستوى الصعوبة وأقسام الاختبار. وأظهر ChatGPT-4 دقة إجمالية قدرها 88.6 %. كما أظهرت التقنية كفاءة عالية في الأسئلة السهلة والمتوسطة، ولكن الدقة انخفضت في الأسئلة الصعبة. فيما كان الأداء متسقا في جميع التخصصات، مما يشير إلى وجود قاعدة معرفية واسعة.
*تحليل الأخطاء
مع ذلك، كشف تحليل الأخطاء عن مجالات تحتاج إلى مزيد من التحسين، بخاصة في ما يتعلق بأسئلة (الاختيار) في الفئة (أ) في جميع الأقسام.
وأكد الفريق أن هذه الدراسة تؤكد إمكانات ChatGPT-4 كأداة مدعومة بالذكاء الاصطناعي في التعليم الطبي، مما يدل على كفاءة عالية في الإجابة على أسئلة (SMLE) وهو اختصار لSaudi Medical Licensure Examination، وهذا الاختبار هو آلية تقييم شاملة تنفذها الهيئة السعودية للتخصصات الصحية لتأهيل الأطباء، سواء المحليون أو الدوليون، لممارسة الطب في السعودية، أو للسماح لطلاب الطب الدراسات العليا بالتقدم لبرامج الإقامة المحلية.
وهو إلزامي لجميع الأطباء المحتملين أثناء فترة تدريبهم كجزء من درجة البكالوريوس.
*تقييم ChatGPT
كما أشار الفريق إلى أن الهدف من هذه الدراسة هو تقييم أداء ChatGPT-4، وهو نموذج لغة ذكاء اصطناعي متطور تم تطويره بواسطة OpenAI، في الإجابة على أسئلة SMLE.
كما يهدف هذا التقييم إلى فهم دقة النموذج وكفاءته وموثوقيته في تفسير الأسئلة الطبية المعقدة والرد عليها والتي تستخدم لقياس كفاءة خريجي الطب في المملكة العربية السعودية. ستقدم نتائج هذه الدراسة رؤى حول التطبيقات المحتملة لاستخدام نماذج الذكاء الاصطناعي المتقدمة مثل ChatGPT-4 في التعليم والاختبار الطبي.
أخذ الفريق إجمالي 220 سؤالًا من بنك اختبار SMLE المتوفر على موقع CanadaQBank.
تم اختيار الأسئلة من أقسام مختلفة من SMLE كان كل سؤال مصحوبًا بأربع إجابات محتملة (المسمى أ، ب، ج، د)، مع إجابة واحدة صحيحة فقط.
*توزيع الأسئلة
30 % من الأسئلة كانت من الطب بشكل عام، و25 % من أمراض النساء والولادة، و25 % من الأسئلة كانت من طب الأطفال، و20 % المتبقية كانت من الجراحة. ثم تم تدريب نموذج ChatGPT 4.0 باستخدام الرموز المحددة.
وبعد مرحلة التدريب تم تقييم النموذج من حيث قدرته على اختيار الإجابة الصحيحة لكل سؤال. تم حساب مقاييس الأداء، مثل الدقة والإحكام والاستدعاء، لتقييم الأداء العام للنموذج. تم تقييم أداء النموذج بشكل أكبر عبر مستويات وأقسام مختلفة لصعوبة الأسئلة.
*نجاح بتفوق
وجد الفريق أن معدل النجاح الإجمالي لChatGPT-4 في الإجابة الصحيحة على الأسئلة هو 88.6 %. كما تم قياس مدى جودة أداء ChatGPT-4 لكل فئة أسئلة (خيارات)، A وB وC وD. كذلك تم تقييم أداء نموذج ChatGPT-4 عبر أربعة خيارات استجابة (A وB وC وD).
بالنسبة للخيار أ، من بين 52 حالة، أجاب النموذج بشكل صحيح على 43 سؤالًا (82.7 %) وأجاب بشكل غير صحيح على تسعة أسئلة (17.3 %).
في حالة الخيار ب، من بين 45 حالة، أجاب النموذج بشكل صحيح على 42 سؤالًا (93.3 %) وأجاب بشكل غير صحيح على ثلاثة أسئلة (6.7 %). بالنسبة للخيار ج، من بين 42 حالة، أجاب النموذج بشكل صحيح على
37 سؤالًا (88.1 %) وأجاب بشكل غير صحيح على خمسة أسئلة
(11.9 %). أخيرًا، بالنسبة للخيار د، من بين 81 حالة، أجاب النموذج بشكل صحيح على 76 سؤالًا (93.8 %) وأجاب بشكل غير صحيح على خمسة أسئلة (6.2 %). توفر هذه النتائج فهمًا شاملاً لأداء النموذج عبر فئات الاستجابة المختلفة.
*مستوى الصعوبة
بالنسبة للأسئلة ذات مستوى الصعوبة المتوسط من بين 53 حالة، أجاب النموذج بشكل صحيح على 50 سؤالًا، مما أدى إلى معدل نجاح قدره 94.3 %. لقد أجاب بشكل غير صحيح على ثلاثة أسئلة، مما أدى إلى معدل خطأ قدره 5.7 %. بالنسبة للأسئلة السهلة أظهر النموذج أداءً استثنائيًا، حيث إنه من بين 54 حالة، أجاب بشكل صحيح على جميع الأسئلة، وحقق نسبة نجاح بلغت 100 %. بالنسبة للأسئلة ذات مستوى الصعوبة الصعبة، من بين 113 حالة، أجاب النموذج بشكل صحيح على 94 سؤالًا، محققًا معدل نجاح قدره 83.2 %. وأجاب بشكل غير صحيح على 19 سؤالًا، مما أدى إلى معدل خطأ قدره 16.8 %.
فحص الجودة
ثم تم بعد ذلك فحص مدى جودة أداء ChatGPT-4 بناءً على قسم الاختبار الذي جاءت منه الأسئلة. كان أداء النموذج جيدًا في جميع الأقسام. في قسم الطب، من بين 66 حالة، أجاب النموذج بشكل صحيح على 57 سؤالًا. حيث أجاب بشكل غير صحيح على تسعة أسئلة، مما أدى إلى معدل خطأ قدره 13.6 %. وفي قسم أمراض النساء والولادة، من أصل 55 حالة، أجاب النموذج بشكل صحيح على 53 سؤالا. فيما أجاب بشكل غير صحيح على سؤالين، مما أدى إلى معدل خطأ قدره 3.6 %. أما في قسم طب الأطفال، من بين 55 حالة، أجاب النموذج بشكل صحيح على 49 سؤالًا.
حيث أجاب بشكل غير صحيح على ستة أسئلة، مما أدى إلى معدل خطأ قدره 10.9 %.
أما في قسم الجراحة، من بين 44 حالة، أجاب النموذج بشكل صحيح على 39 سؤالًا. لقد أجاب بشكل غير صحيح على خمسة أسئلة، مما أدى إلى معدل خطأ قدره 11.4 %. وتم القيام بفحص الأخطاء التي ارتكبها ChatGPT-4، مما يمكن من تحسين الأداء في هذا المجال.
*إمكانات كبيرة
توضح النتائج التي تم الوصول لها الإمكانات الكبيرة لChatGPT في مساعدة التعليم الطبي، بخاصة في سياق التحضير لامتحانات مثلSMLE. إلا أن هامش الخطأ الذي يتراوح بين 4 و16 % يؤكد أنه يجب استخدامه بحذر وبالتزامن مع طرق الدراسة التقليدية واستشارة الخبراء. ومع ذلك، فإن مستواه العالي من الدقة في الإجابة على الأسئلة السهلة والمتوسطة يشير إلى أنه يمكن أن يكون مصدرًا قيمًا للتعلم التأسيسي والمراجعة المستمرة، كما يمكنه أن يُحدث ثورة في التعليم الطبي والتحضير للامتحانات.
رابط الدراسة


انقر هنا لقراءة الخبر من مصدره.