در مطالعه‌ای که اخیراً در The Annals of Family Medicine منتشر شده است، محققان اثربخشی Chat Generative Pretrained Transformer (ChatGPT) را در خلاصه‌سازی چکیده‌های پزشکی برای کمک به پزشکان ارزیابی کردند. این مطالعه با هدف تعیین کیفیت، دقت و سوگیری در خلاصه‌های ایجاد شده توسط ChatGPT، ارائه بینشی در مورد پتانسیل آن به عنوان ابزاری برای هضم مقادیر زیادی از ادبیات پزشکی در میان محدودیت‌های زمانی که متخصصان مراقبت‌های بهداشتی با آن مواجه هستند، انجام شد.
رتبه های بالا برای کیفیت و دقت
این مطالعه از ChatGPT برای فشرده‌سازی 140 چکیده پزشکی از 14 مجله مختلف استفاده کرد که باعث کاهش میانگین 70 درصدی محتوا شد. علیرغم برخی نادرستی‌ها و توهم‌هایی که در بخش کوچکی از خلاصه‌ها شناسایی شد، پزشکان خلاصه‌ها را از نظر کیفیت و دقت بسیار ارزیابی کردند. یافته‌ها نشان می‌دهد که ChatGPT این پتانسیل را دارد که به پزشکان در بررسی مؤثر ادبیات پزشکی، ارائه خلاصه‌های مختصر و دقیق در میان حجم عظیم اطلاعات کمک کند.
محققان 10 مقاله را از هر 14 مجله انتخاب کردند که موضوعات و ساختارهای مختلف پزشکی را پوشش می داد. آنها ChatGPT را موظف کردند که این مقالات را خلاصه کند و خلاصه های تولید شده را از نظر کیفیت، دقت، سوگیری و ارتباط در ده زمینه پزشکی ارزیابی کردند. این مطالعه نشان داد که ChatGPT با موفقیت به طور متوسط 70٪ چکیده های پزشکی را فشرده می کند و رتبه های بالایی را از نظر پزشکان برای کیفیت و دقت به دست آورده است.
پیامدها برای مراقبت های بهداشتی
علیرغم رتبه‌بندی‌های بالا، این مطالعه در تعداد کمی از خلاصه‌ها، نادرستی‌ها و توهمات جدی را شناسایی کرد. این خطاها از داده‌های حیاتی حذف شده تا تفسیرهای نادرست از طرح‌های مطالعه، که به طور بالقوه می‌تواند تفسیر یافته‌های تحقیق را تغییر دهد، متغیر بود. با این حال، عملکرد ChatGPT در خلاصه‌سازی چکیده‌های پزشکی قابل اعتماد تلقی شد، با حداقل سوگیری مشاهده شد.
در حالی که ChatGPT همراستایی قوی با ارزیابی های انسانی در سطح مجله نشان داد، عملکرد آن در تعیین دقیق ارتباط مقالات فردی با تخصص های پزشکی خاص کمتر چشمگیر بود. این اختلاف محدودیتی را در توانایی ChatGPT برای شناسایی دقیق ارتباط مقالات منحصر به فرد در زمینه گسترده تر تخصص های پزشکی برجسته کرد.
این مطالعه بینش‌های ارزشمندی را در مورد پتانسیل هوش مصنوعی، به‌ویژه ChatGPT، در کمک به پزشکان در بررسی مؤثر ادبیات پزشکی ارائه می‌کند. در حالی که ChatGPT در خلاصه کردن چکیده‌های پزشکی با کیفیت و دقت بسیار نویدبخش است، تحقیقات بیشتری برای رفع محدودیت‌ها و افزایش عملکرد آن در زمینه‌های پزشکی خاص مورد نیاز است.
تحقیقات آینده می‌تواند بر بهبود توانایی ChatGPT در تشخیص ارتباط مقالات فردی با تخصص‌های پزشکی خاص تمرکز کند. علاوه بر این، تلاش‌ها برای کاهش نادرستی‌ها و توهمات در خلاصه‌های تولید شده می‌تواند کاربرد ابزارهای هوش مصنوعی را در تنظیمات مراقبت‌های بهداشتی افزایش دهد.
منبع: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/