فاطمة الفهرية التي أسست أقدم جامعة في العالم؟    وزارة الصحة الأمريكية تبدأ عمليات تسريح موظفيها وسط مخاوف بشأن الصحة العامة    استمرار احتفالات العيد بالمدينة بحزمة من الفعاليات والأنشطة الثقافية    رياح مثيرة للأتربة على 5 مناطق    طيفُ التوحدِ همٌ أُمَمِي    مجمع الملك سلمان للغة العربية يُطلق برنامج "شهر اللغة العربية" في إسبانيا    خالد عبدالرحمن يشعل أولى حفلات العيد بالقصيم    ترحيب سعودي باتفاق طاجيكستان وقرغيزستان وأوزبكستان    عقد قران المهندس أحمد حسن نجمي على ابنة محمد حمدي    المملكة ترحب بتوقيع طاجيكستان وقرغيزستان وأوزباكستان معاهدة الحدود المشتركة    الخواجية يحتفلون بزواج المهندس طه خواجي    المملكة: حماية الأطفال في الفضاء السيبراني استثمار استراتيجي    الاتحاد «جحفل» الشباب بثلاثية    القادسية والرائد للبحث عن بطاقة التأهل الثانية    محافظ البكيرية يرعى احتفالات الأهالي بعيد الفطر    نواف بن فيصل يُعزّي أسرة الدهمش في وفاة الحكم الدولي إبراهيم الدهمش    رجال أعمال صبيا يسطرون قصص نجاح ملهمة في خدمة المجتمع وتنمية الاقتصاد المحلي    ساكا يهز الشباك فور عودته من إصابة طويلة ويقود أرسنال للفوز على فولهام    المملكة توزّع 1.500 سلة غذائية في محلية الدامر بولاية نهر النيل في السودان    مدرب الشباب ينتقد التحكيم عقب الخسارة أمام الاتحاد    القيادة تعزي حاكم أم القيوين    العيد يعزز الصحة النفسية    الاتحاد يقلب الطاولة على الشباب ويتأهل لنهائي أغلى الكؤوس    القبض على (5) إثيوبيين في عسير لتهريبهم (90) كجم قات    الولايات المتحدة: من المبكر تخفيف العقوبات السورية    «إغاثي الملك سلمان».. جهود إنسانية متواصلة    8 دول في أوبك+ تجتمع الخميس وتوقعات ببدء خطة رفع الإنتاج    أخضر الصالات يعسكر في فيتنام استعداداً لتصفيات كأس آسيا    تجربة سعودية لدراسة صحة العيون في الفضاء    49.8 مليار ريال فائض تاريخي لبند السفر في ميزان المدفوعات بالمملكة    ارتفاع حصيلة ضحايا زلزال ميانمار إلى أكثر من 2700 قتيل    مكتبة الملك عبدالعزيز العامة تشارك في معرض بولونيا الدولي للكتاب 2025 بولونيا    محافظ الطوال يؤدي صلاة عيد الفطر المبارك في جامع الوزارة ويستقبل المهنئين    الناصر يحضر احتفال القوارة بعيد الفطر    باحثون روس يطورون طريقة لتشخيص التليف الكيسي من هواء الزفير    جوارديولا يُعلن مدة غياب هالاند    وادي الدواسر تحتفي بالعيد السعيد وسط حضور جماهيري غفير    أمير منطقة تبوك يلتقي اهالي محافظه تيماء    بلدية محافظة الشماسية تحتفل بعيد الفطر المبارك    الدولار يشهد أداءً متقلبًا ترقبًا للرسوم الجمركية الأمريكية    إصابة الكتف تنهي موسم «إبراهيم سيهيتش»    جمعية " كبار " الخيرية تعايد مرضى أنفاس الراحة    توجيهات ولي العهد تعزز استقرار السوق العقاري    التجارة: 5 شوال دخول نظامي السجل التجاري والأسماء التجارية الجديدين حيز التنفيذ    أكسيوس: ترمب سيزور السعودية مايو المقبل    أكثر من 122 مليون قاصدٍ للحرمين الشريفين في شهر رمضان    "أمانة الطائف" تنهي استعداداتها لعيد الفطر المبارك    الأمير سعود بن نهار يستقبل المهنئين بعيد الفطر    جمع مهيب في صلاة عيد الفطر في مسجد قباء بالمدينة المنورة    إدارة المساجد والدعوة والإرشاد بمحافظة بيشة تُنهي استعداداتها .    مختص ل «الرياض»: 7% يعانون من اضطراب القلق الاجتماعي خلال الأعياد    محافظ الجبيل يستقبل المهنئين بالعيد ويزور المرضى المنومين    ترامب: لا أمزح بشأن سعيي لفترة رئاسية ثالثة    إنجاز إيماني فريد    عيد الدرب.. مبادرات للفرح وورود وزيارات للمرضىع    بين الجبال الشامخة.. أبطال الحد الجنوبي يعايدون المملكة    العيد انطلاقة لا ختام    الرئيس عون: لبنان دخل مرحلة جديدة بعد عقود من العنف والحروب    







شكرا على الإبلاغ!
سيتم حجب هذه الصورة تلقائيا عندما يتم الإبلاغ عنها من طرف عدة أشخاص.



ChatGPT يجتاز اختبار الرخصة الطبية السعودية ب89%
نشر في الوطن يوم 20 - 09 - 2023

كشفت دراسة بحثية قام بها فريق بحثي سعودي وتم نشرها في موقع cureus التابع لمجموعة springer nature group.
قدرة الchatGPT في اجتياز اختبار الرخصة الطبية السعودية بنسبة وصلت إلى 88.6 % كما استطاع حل 96.4 % من أسئلة اختبار طب النساء والولادة التابع لهيئة التخصصات الصحية.
مؤشرات رئيسية كانت المنهجية التي اتبعها الباحثون عبارة عن استخدام مجموعة بيانات مكونة من 220 سؤالًا عبر 4 تخصصات طبية. وتم تدريب النموذج باستخدام رمز محدد للإجابة على الأسئلة بدقة، كما تم تقييم أدائه باستخدام مؤشرات الأداء الرئيسية ومستوى الصعوبة وأقسام الاختبار. وأظهر ChatGPT-4 دقة إجمالية قدرها 88.6 %. كما أظهرت التقنية كفاءة عالية في الأسئلة السهلة والمتوسطة، ولكن الدقة انخفضت في الأسئلة الصعبة. فيما كان الأداء متسقا في جميع التخصصات، مما يشير إلى وجود قاعدة معرفية واسعة.
*تحليل الأخطاء
مع ذلك، كشف تحليل الأخطاء عن مجالات تحتاج إلى مزيد من التحسين، بخاصة في ما يتعلق بأسئلة (الاختيار) في الفئة (أ) في جميع الأقسام.
وأكد الفريق أن هذه الدراسة تؤكد إمكانات ChatGPT-4 كأداة مدعومة بالذكاء الاصطناعي في التعليم الطبي، مما يدل على كفاءة عالية في الإجابة على أسئلة (SMLE) وهو اختصار لSaudi Medical Licensure Examination، وهذا الاختبار هو آلية تقييم شاملة تنفذها الهيئة السعودية للتخصصات الصحية لتأهيل الأطباء، سواء المحليون أو الدوليون، لممارسة الطب في السعودية، أو للسماح لطلاب الطب الدراسات العليا بالتقدم لبرامج الإقامة المحلية.
وهو إلزامي لجميع الأطباء المحتملين أثناء فترة تدريبهم كجزء من درجة البكالوريوس.
*تقييم ChatGPT
كما أشار الفريق إلى أن الهدف من هذه الدراسة هو تقييم أداء ChatGPT-4، وهو نموذج لغة ذكاء اصطناعي متطور تم تطويره بواسطة OpenAI، في الإجابة على أسئلة SMLE.
كما يهدف هذا التقييم إلى فهم دقة النموذج وكفاءته وموثوقيته في تفسير الأسئلة الطبية المعقدة والرد عليها والتي تستخدم لقياس كفاءة خريجي الطب في المملكة العربية السعودية. ستقدم نتائج هذه الدراسة رؤى حول التطبيقات المحتملة لاستخدام نماذج الذكاء الاصطناعي المتقدمة مثل ChatGPT-4 في التعليم والاختبار الطبي.
أخذ الفريق إجمالي 220 سؤالًا من بنك اختبار SMLE المتوفر على موقع CanadaQBank.
تم اختيار الأسئلة من أقسام مختلفة من SMLE كان كل سؤال مصحوبًا بأربع إجابات محتملة (المسمى أ، ب، ج، د)، مع إجابة واحدة صحيحة فقط.
*توزيع الأسئلة
30 % من الأسئلة كانت من الطب بشكل عام، و25 % من أمراض النساء والولادة، و25 % من الأسئلة كانت من طب الأطفال، و20 % المتبقية كانت من الجراحة. ثم تم تدريب نموذج ChatGPT 4.0 باستخدام الرموز المحددة.
وبعد مرحلة التدريب تم تقييم النموذج من حيث قدرته على اختيار الإجابة الصحيحة لكل سؤال. تم حساب مقاييس الأداء، مثل الدقة والإحكام والاستدعاء، لتقييم الأداء العام للنموذج. تم تقييم أداء النموذج بشكل أكبر عبر مستويات وأقسام مختلفة لصعوبة الأسئلة.
*نجاح بتفوق
وجد الفريق أن معدل النجاح الإجمالي لChatGPT-4 في الإجابة الصحيحة على الأسئلة هو 88.6 %. كما تم قياس مدى جودة أداء ChatGPT-4 لكل فئة أسئلة (خيارات)، A وB وC وD. كذلك تم تقييم أداء نموذج ChatGPT-4 عبر أربعة خيارات استجابة (A وB وC وD).
بالنسبة للخيار أ، من بين 52 حالة، أجاب النموذج بشكل صحيح على 43 سؤالًا (82.7 %) وأجاب بشكل غير صحيح على تسعة أسئلة (17.3 %).
في حالة الخيار ب، من بين 45 حالة، أجاب النموذج بشكل صحيح على 42 سؤالًا (93.3 %) وأجاب بشكل غير صحيح على ثلاثة أسئلة (6.7 %). بالنسبة للخيار ج، من بين 42 حالة، أجاب النموذج بشكل صحيح على
37 سؤالًا (88.1 %) وأجاب بشكل غير صحيح على خمسة أسئلة
(11.9 %). أخيرًا، بالنسبة للخيار د، من بين 81 حالة، أجاب النموذج بشكل صحيح على 76 سؤالًا (93.8 %) وأجاب بشكل غير صحيح على خمسة أسئلة (6.2 %). توفر هذه النتائج فهمًا شاملاً لأداء النموذج عبر فئات الاستجابة المختلفة.
*مستوى الصعوبة
بالنسبة للأسئلة ذات مستوى الصعوبة المتوسط من بين 53 حالة، أجاب النموذج بشكل صحيح على 50 سؤالًا، مما أدى إلى معدل نجاح قدره 94.3 %. لقد أجاب بشكل غير صحيح على ثلاثة أسئلة، مما أدى إلى معدل خطأ قدره 5.7 %. بالنسبة للأسئلة السهلة أظهر النموذج أداءً استثنائيًا، حيث إنه من بين 54 حالة، أجاب بشكل صحيح على جميع الأسئلة، وحقق نسبة نجاح بلغت 100 %. بالنسبة للأسئلة ذات مستوى الصعوبة الصعبة، من بين 113 حالة، أجاب النموذج بشكل صحيح على 94 سؤالًا، محققًا معدل نجاح قدره 83.2 %. وأجاب بشكل غير صحيح على 19 سؤالًا، مما أدى إلى معدل خطأ قدره 16.8 %.
فحص الجودة
ثم تم بعد ذلك فحص مدى جودة أداء ChatGPT-4 بناءً على قسم الاختبار الذي جاءت منه الأسئلة. كان أداء النموذج جيدًا في جميع الأقسام. في قسم الطب، من بين 66 حالة، أجاب النموذج بشكل صحيح على 57 سؤالًا. حيث أجاب بشكل غير صحيح على تسعة أسئلة، مما أدى إلى معدل خطأ قدره 13.6 %. وفي قسم أمراض النساء والولادة، من أصل 55 حالة، أجاب النموذج بشكل صحيح على 53 سؤالا. فيما أجاب بشكل غير صحيح على سؤالين، مما أدى إلى معدل خطأ قدره 3.6 %. أما في قسم طب الأطفال، من بين 55 حالة، أجاب النموذج بشكل صحيح على 49 سؤالًا.
حيث أجاب بشكل غير صحيح على ستة أسئلة، مما أدى إلى معدل خطأ قدره 10.9 %.
أما في قسم الجراحة، من بين 44 حالة، أجاب النموذج بشكل صحيح على 39 سؤالًا. لقد أجاب بشكل غير صحيح على خمسة أسئلة، مما أدى إلى معدل خطأ قدره 11.4 %. وتم القيام بفحص الأخطاء التي ارتكبها ChatGPT-4، مما يمكن من تحسين الأداء في هذا المجال.
*إمكانات كبيرة
توضح النتائج التي تم الوصول لها الإمكانات الكبيرة لChatGPT في مساعدة التعليم الطبي، بخاصة في سياق التحضير لامتحانات مثلSMLE. إلا أن هامش الخطأ الذي يتراوح بين 4 و16 % يؤكد أنه يجب استخدامه بحذر وبالتزامن مع طرق الدراسة التقليدية واستشارة الخبراء. ومع ذلك، فإن مستواه العالي من الدقة في الإجابة على الأسئلة السهلة والمتوسطة يشير إلى أنه يمكن أن يكون مصدرًا قيمًا للتعلم التأسيسي والمراجعة المستمرة، كما يمكنه أن يُحدث ثورة في التعليم الطبي والتحضير للامتحانات.
رابط الدراسة


انقر هنا لقراءة الخبر من مصدره.