دراسة تكشف كفاءة GPT-4 مقارنة بأطباء العيون في تقييمات العين

كشفت دراسة أجرتها كلية الطب السريري في جامعة "كامبريدج" عن تطورات واعدة في قدرات نماذج تعلم اللغة (LLMs) في المجال الطبي، إذ أظهر الإصدار الأخير من شركة OpenAI، (GPT-4) كفاءة ملحوظة في تقييمات طب العيون؛ مما ينافس أداء الخبراء المتمرسين في هذا المجال.

وبحسب تقرير نشره موقع engadget، قارنت الدراسة القدرات التشخيصية لمختلف برامج نماذج تعلم اللغة، بما في ذلك GPT-4 وسلفه GPT-3.5، جنبًا إلى جنب مع PaLM 2 من شركة غوغل وLLaMA من شركة ميتا. وقد تم إجراء التقييم من خلال اختبار وهمي يتكون من 87 سؤالًا متعدد الاختيارات مصدرها كتاب شامل لطب العيون، وتم إجراء التقييم على خمسة أطباء عيون خبراء، وثلاثة أطباء عيون متدربين، وطبيبين مبتدئين غير متخصصين.

وأظهرت النتائج أن جهاز GPT-4 تفوق على قدرات المتدربين والأطباء المبتدئين، حيث أجاب بشكل صحيح على 60 سؤالاً من أصل 87. وعلى الرغم من أن هذا الإنجاز تجاوز متوسط أداء الأطباء المبتدئين، الذين سجلوا متوسط 37 إجابة صحيحة، إلا أن GPT-4 تفوق بفارق ضئيل على المتدربين، الذين بلغ متوسطهم 59.7 إجابة صحيحة. ومع ذلك، فقد أسفرت الخبرة الجماعية لأطباء العيون الخبراء عن متوسط درجة 66.4 إجابة صحيحة، متجاوزة أداء GPT-4.

وبالمقارنة، حقق (PaLM 2) درجة 49، في حين سجل (GPT-3.5) 42 نقطة، وتأخر LLaMA بدرجة 28، وهو ما يقل عن مستوى الكفاءة للأطباء المبتدئين.

وعلى الرغم من النتائج الواعدة، أكدت الدراسة أيضًا على العديد من المخاطر والقيود المرتبطة بنماذج تعلم اللغة في التشخيص الطبي، حيث سلط الباحثون الضوء على النطاق المحدود للدراسة، وشددوا على الحاجة إلى مزيد من الاستكشاف عبر مجموعة واسعة من الحالات والسيناريوهات الطبية. وقد أثيرت مخاوف بشأن احتمال قيام نماذج تعلم اللغة بتوليد تشخيصات غير دقيقة أو مضللة، ولا سيما في حالات "الهلوسة"؛ حيث يقوم النموذج بتلفيق معلومات خاطئة.

علاوة على ذلك، فإن النقص المتأصل في الفهم الدقيق لنماذج تعلم اللغة يمثل تحديات إضافية، مما يزيد من خطر عدم الدقة في التقييمات الطبية. وفي حين أن هذه النتائج تشير إلى تقدم كبير في دمج تكنولوجيا الذكاء الاصطناعي في المجال الطبي، فإن البحث المستمر والتحسين أمر ضروري لضمان الاستخدام الآمن والفعال لنماذج تعلم اللغة في الممارسة السريرية.