غدًا.. انطلاق منتدى الاستثمار الرياضي (SIF) برعاية وزارتي الرياضة والاستثمار في الرياض    طيران الرياض يتسلم الرخصة التشغيلية تمهيدًا لبدء الرحلات الجوية    الخريجي يتسلّم شارة منتدى الاستثمار الرياضي نيابة عن وزير الخارجية    الأمير سعود بن نهار يستقبل المهنئين بمناسبة عيد الفطر    أمير حائل يستقبل المهنئين بمناسبة عيد الفطر من منسوبي الإمارة    مدير خارجية منطقة مكة يستقبل القنصل العام الأمريكي    الجوازات تصدر أكثر من 15 ألف قرارًا بحق مخالفين خلال رمضان    جامعة الإمام عبدالرحمن بن فيصل تقيم حفل المعايدة السنوي بمناسبة عيد الفطر المبارك    الأسهم السعودية تتراجع ب 805 نقطة    الملك يرعى تكريم الفائزات بجائزة الأميرة نورة للتميُّز النسائي    تخريج الدفعة الأولى من خريجي برنامج أكسفورد لمستقبل العقار في بريطانيا برعاية عين الرياض    اطلاق "جائزة الابتكار الصناعي" لدعم وتمكين الحلول الابتكارية في القطاع الصناعي    مستشفى الرس يُجري أول استئصال لوزتين بتقنية "الكوبليشن"    266 ألف طالب وطالبة ينتظمون في الدراسة بمدارس الأحساء    المنتخب الصيني يخسر أمام نظيره السعودي في أولى مبارياته بكأس آسيا تحت 17 عاما    أسبوع حاسم ترقب لبيانات التضخم وأسعار المستهلكين    ماتياس: صعب علينا تقبل التعادل مع الاتحاد    استنكرت وأدانت استهداف الاحتلال للمدنيين العزل.. السعودية تطالب العالم بوضع حدٍ لمأساة الشعب الفلسطيني    تحت رعاية ولي العهد.. 300 متحدث يثرون الحوار العالمي بمؤتمر «القدرات البشرية»    17 ألف طفل فلسطيني في سجل شهداء الإبادة الجماعية    إدارات التعليم تطبق الدوام الصيفي في المدارس.. اليوم    1071 حالة ضبط لممنوعات بالمنافذ الجمركية    إحباط تهريب 51.4 كيلوجرام من الحشيش    في ختام الجولة ال 26 من دوري روشن.. فرق القاع تسعى للهروب من خطر الهبوط    للتعريف بالحِرف الوطنيّة الأصيلة.. إطلاق مبادرة لوحات «وِرث السعودية» على الطرق السريعة    ياسمين عبد العزيز تستكمل تصوير فيلم «زوجة رجل»    حلوى العيد .. نار وبواريد    في ختام ثاني أيام الجولة 26 من روشن.. الاتحاد يرفض الخسارة أمام الأهلي في ديربي الغربية    الولايات المتحدة تلغي جميع التأشيرات لمواطني جنوب السودان    وزير خارجية بريطانيا: إسرائيل تحتجز اثنين من نواب البرلمان البريطاني    "يونيسف" تحث إسرائيل على السماح بدخول قوافل المساعدات إلى غزة    لودي: النصر كان الأفضل    محمد بن سلمان.. إنسانية عميقة    الرياض وصناعة الفعاليات    مترو الرياض.. جسر للقلوب    إرثٌ خالد ورمزٌ للأصالة    رجال الأمن.. شكراً لكم من القلب    في الشباك    بلان يكشف سر مشاركة أوناي    أسرار في مقبرة توت عنخ آمون    جامعة جدة تبدأ القبول لبرامج الدراسات العليا    عشريني ينافس العمالة بالتكييف والتبريد    كرة ذهبية في قاع المحيط    مطلقات مكة الأكثر طلبا لنفقة الاستقطاع الشهري    خطيب المسجد الحرام: مواسم الخير لا تنقضي وأعمال البر لا تنقطع    إمام المسجد النبوي: الاستقامة على الطاعات من صفات الموعودين بالجنة    العثور على بقايا ماموث في النمسا    كيف تحمي طفلك من قصر النظر؟    مستشفى الدكتور سليمان الحبيب بالفيحاء في جدة يعيد زراعة أذن مبتورة بنسبة تزيد على "50"%    مستشفى الرس.. مبادرة مبتكرة لتحسين تجربة المرضى    بلدية الدمام تعايد مسؤولو ومرضى مستشفى الملك فهد بالدمام    الفنان التشكيلي سعود القحطاني يشارك في معرض جاليري تجريد 2025    الملك وولي العهد يعزيان عضو المجلس الأعلى حاكم أم القيوين في وفاة والدته    ودعنا رمضان.. وعيدكم مبارك    مركز 911 يستقبل أكثر من 2.8 مليون مكالمة في مارس الماضي    بلدية محافظة الشماسية تحتفل بعيد الفطر المبارك    وزارة الصحة الأمريكية تبدأ عمليات تسريح موظفيها وسط مخاوف بشأن الصحة العامة    محافظ الطوال يؤدي صلاة عيد الفطر المبارك في جامع الوزارة ويستقبل المهنئين    









ChatGPT يجتاز اختبار الرخصة الطبية السعودية ب89%
نشر في الوطن يوم 20 - 09 - 2023

كشفت دراسة بحثية قام بها فريق بحثي سعودي وتم نشرها في موقع cureus التابع لمجموعة springer nature group.
قدرة الchatGPT في اجتياز اختبار الرخصة الطبية السعودية بنسبة وصلت إلى 88.6 % كما استطاع حل 96.4 % من أسئلة اختبار طب النساء والولادة التابع لهيئة التخصصات الصحية.
مؤشرات رئيسية كانت المنهجية التي اتبعها الباحثون عبارة عن استخدام مجموعة بيانات مكونة من 220 سؤالًا عبر 4 تخصصات طبية. وتم تدريب النموذج باستخدام رمز محدد للإجابة على الأسئلة بدقة، كما تم تقييم أدائه باستخدام مؤشرات الأداء الرئيسية ومستوى الصعوبة وأقسام الاختبار. وأظهر ChatGPT-4 دقة إجمالية قدرها 88.6 %. كما أظهرت التقنية كفاءة عالية في الأسئلة السهلة والمتوسطة، ولكن الدقة انخفضت في الأسئلة الصعبة. فيما كان الأداء متسقا في جميع التخصصات، مما يشير إلى وجود قاعدة معرفية واسعة.
*تحليل الأخطاء
مع ذلك، كشف تحليل الأخطاء عن مجالات تحتاج إلى مزيد من التحسين، بخاصة في ما يتعلق بأسئلة (الاختيار) في الفئة (أ) في جميع الأقسام.
وأكد الفريق أن هذه الدراسة تؤكد إمكانات ChatGPT-4 كأداة مدعومة بالذكاء الاصطناعي في التعليم الطبي، مما يدل على كفاءة عالية في الإجابة على أسئلة (SMLE) وهو اختصار لSaudi Medical Licensure Examination، وهذا الاختبار هو آلية تقييم شاملة تنفذها الهيئة السعودية للتخصصات الصحية لتأهيل الأطباء، سواء المحليون أو الدوليون، لممارسة الطب في السعودية، أو للسماح لطلاب الطب الدراسات العليا بالتقدم لبرامج الإقامة المحلية.
وهو إلزامي لجميع الأطباء المحتملين أثناء فترة تدريبهم كجزء من درجة البكالوريوس.
*تقييم ChatGPT
كما أشار الفريق إلى أن الهدف من هذه الدراسة هو تقييم أداء ChatGPT-4، وهو نموذج لغة ذكاء اصطناعي متطور تم تطويره بواسطة OpenAI، في الإجابة على أسئلة SMLE.
كما يهدف هذا التقييم إلى فهم دقة النموذج وكفاءته وموثوقيته في تفسير الأسئلة الطبية المعقدة والرد عليها والتي تستخدم لقياس كفاءة خريجي الطب في المملكة العربية السعودية. ستقدم نتائج هذه الدراسة رؤى حول التطبيقات المحتملة لاستخدام نماذج الذكاء الاصطناعي المتقدمة مثل ChatGPT-4 في التعليم والاختبار الطبي.
أخذ الفريق إجمالي 220 سؤالًا من بنك اختبار SMLE المتوفر على موقع CanadaQBank.
تم اختيار الأسئلة من أقسام مختلفة من SMLE كان كل سؤال مصحوبًا بأربع إجابات محتملة (المسمى أ، ب، ج، د)، مع إجابة واحدة صحيحة فقط.
*توزيع الأسئلة
30 % من الأسئلة كانت من الطب بشكل عام، و25 % من أمراض النساء والولادة، و25 % من الأسئلة كانت من طب الأطفال، و20 % المتبقية كانت من الجراحة. ثم تم تدريب نموذج ChatGPT 4.0 باستخدام الرموز المحددة.
وبعد مرحلة التدريب تم تقييم النموذج من حيث قدرته على اختيار الإجابة الصحيحة لكل سؤال. تم حساب مقاييس الأداء، مثل الدقة والإحكام والاستدعاء، لتقييم الأداء العام للنموذج. تم تقييم أداء النموذج بشكل أكبر عبر مستويات وأقسام مختلفة لصعوبة الأسئلة.
*نجاح بتفوق
وجد الفريق أن معدل النجاح الإجمالي لChatGPT-4 في الإجابة الصحيحة على الأسئلة هو 88.6 %. كما تم قياس مدى جودة أداء ChatGPT-4 لكل فئة أسئلة (خيارات)، A وB وC وD. كذلك تم تقييم أداء نموذج ChatGPT-4 عبر أربعة خيارات استجابة (A وB وC وD).
بالنسبة للخيار أ، من بين 52 حالة، أجاب النموذج بشكل صحيح على 43 سؤالًا (82.7 %) وأجاب بشكل غير صحيح على تسعة أسئلة (17.3 %).
في حالة الخيار ب، من بين 45 حالة، أجاب النموذج بشكل صحيح على 42 سؤالًا (93.3 %) وأجاب بشكل غير صحيح على ثلاثة أسئلة (6.7 %). بالنسبة للخيار ج، من بين 42 حالة، أجاب النموذج بشكل صحيح على
37 سؤالًا (88.1 %) وأجاب بشكل غير صحيح على خمسة أسئلة
(11.9 %). أخيرًا، بالنسبة للخيار د، من بين 81 حالة، أجاب النموذج بشكل صحيح على 76 سؤالًا (93.8 %) وأجاب بشكل غير صحيح على خمسة أسئلة (6.2 %). توفر هذه النتائج فهمًا شاملاً لأداء النموذج عبر فئات الاستجابة المختلفة.
*مستوى الصعوبة
بالنسبة للأسئلة ذات مستوى الصعوبة المتوسط من بين 53 حالة، أجاب النموذج بشكل صحيح على 50 سؤالًا، مما أدى إلى معدل نجاح قدره 94.3 %. لقد أجاب بشكل غير صحيح على ثلاثة أسئلة، مما أدى إلى معدل خطأ قدره 5.7 %. بالنسبة للأسئلة السهلة أظهر النموذج أداءً استثنائيًا، حيث إنه من بين 54 حالة، أجاب بشكل صحيح على جميع الأسئلة، وحقق نسبة نجاح بلغت 100 %. بالنسبة للأسئلة ذات مستوى الصعوبة الصعبة، من بين 113 حالة، أجاب النموذج بشكل صحيح على 94 سؤالًا، محققًا معدل نجاح قدره 83.2 %. وأجاب بشكل غير صحيح على 19 سؤالًا، مما أدى إلى معدل خطأ قدره 16.8 %.
فحص الجودة
ثم تم بعد ذلك فحص مدى جودة أداء ChatGPT-4 بناءً على قسم الاختبار الذي جاءت منه الأسئلة. كان أداء النموذج جيدًا في جميع الأقسام. في قسم الطب، من بين 66 حالة، أجاب النموذج بشكل صحيح على 57 سؤالًا. حيث أجاب بشكل غير صحيح على تسعة أسئلة، مما أدى إلى معدل خطأ قدره 13.6 %. وفي قسم أمراض النساء والولادة، من أصل 55 حالة، أجاب النموذج بشكل صحيح على 53 سؤالا. فيما أجاب بشكل غير صحيح على سؤالين، مما أدى إلى معدل خطأ قدره 3.6 %. أما في قسم طب الأطفال، من بين 55 حالة، أجاب النموذج بشكل صحيح على 49 سؤالًا.
حيث أجاب بشكل غير صحيح على ستة أسئلة، مما أدى إلى معدل خطأ قدره 10.9 %.
أما في قسم الجراحة، من بين 44 حالة، أجاب النموذج بشكل صحيح على 39 سؤالًا. لقد أجاب بشكل غير صحيح على خمسة أسئلة، مما أدى إلى معدل خطأ قدره 11.4 %. وتم القيام بفحص الأخطاء التي ارتكبها ChatGPT-4، مما يمكن من تحسين الأداء في هذا المجال.
*إمكانات كبيرة
توضح النتائج التي تم الوصول لها الإمكانات الكبيرة لChatGPT في مساعدة التعليم الطبي، بخاصة في سياق التحضير لامتحانات مثلSMLE. إلا أن هامش الخطأ الذي يتراوح بين 4 و16 % يؤكد أنه يجب استخدامه بحذر وبالتزامن مع طرق الدراسة التقليدية واستشارة الخبراء. ومع ذلك، فإن مستواه العالي من الدقة في الإجابة على الأسئلة السهلة والمتوسطة يشير إلى أنه يمكن أن يكون مصدرًا قيمًا للتعلم التأسيسي والمراجعة المستمرة، كما يمكنه أن يُحدث ثورة في التعليم الطبي والتحضير للامتحانات.
رابط الدراسة


انقر هنا لقراءة الخبر من مصدره.