پژوهشگران چینی در یک آزمایش کم‌سابقه، کلینیکی را طراحی کردند که در آن هوش مصنوعی بخش بزرگی از فرایند درمان و تشخیص بیماری‌های چشم را بر عهده داشت. این طرح که با نظارت پزشکان اجرا شد، نشان داد کیفیت داده‌های آموزشی و هماهنگی هوش مصنوعی با روند کاری پزشکان، به‌اندازه دقت خود الگوریتم اهمیت دارد.
کلینیک AI-TEC چگونه کار می‌کرد؟
این طرح با نام AI-TEC یا AI-Agent Augmented Tsinghua Eye Clinic در چین اجرا شد. پژوهشگران مؤسسه تحقیقات علوم بینایی و ترجمه‌ای پکن و همکارانشان تلاش کردند هوش مصنوعی را نه به‌عنوان یک ابزار جانبی، بلکه به‌عنوان بخش اصلی گردش کار کلینیک وارد کنند.
هوش مصنوعی در بخش‌هایی از فرایند، از پیش از مراجعه بیمار تا پیگیری‌های بعد از ویزیت و همچنین تحلیل تصاویر چشم، مورد استفاده قرار گرفت. البته پزشکان همچنان در این فرایند حضور داشتند و نظارت انسانی حذف نشده بود.
| شاخص | نتیجه آزمایش |
|---|---|
| نام سامانه | AI-TEC |
| محل اجرا | چین |
| بیماری‌های مورد بررسی | از جمله گلوکوم و دژنراسیون ماکولا وابسته به سن |
| داده اولیه | نزدیک به ۲۷ هزار تصویر |
| داده باکیفیت اضافه‌شده | ۱۴۲۶ تصویر |
| دقت پس از بهبود داده‌ها | AUROC بالاتر از ۰.۹۳ |
| استفاده از سیستم در یک مقطع | ۳.۸ درصد معاینه‌ها |
| استفاده پس از بهینه‌سازی | ۲۳ درصد معاینه‌ها |
مشکل اصلی AI کیفیت داده‌ها بود
یکی از مهم‌ترین یافته‌های این آزمایش، تأثیر کیفیت داده بر عملکرد هوش مصنوعی بود.
سیستم در ابتدا با نزدیک به ۲۷ هزار تصویر چشم آموزش دیده بود، اما این تصاویر کیفیت پایین‌تری داشتند و برچسب‌گذاری آنها نیز به‌اندازه کافی جامع نبود. پژوهشگران سپس ۱۴۲۶ تصویر باکیفیت را که توسط متخصصان چشم برچسب‌گذاری شده بودند به داده‌های آموزشی اضافه کردند.
نتیجه قابل توجه بود: عملکرد سیستم به شکل محسوسی افزایش یافت و معیار AUROC آن به بیش از ۰.۹۳ رسید؛ سطحی که تقریباً با برخی سامانه‌های پیشرفته تشخیص بیماری از روی تصاویر قابل مقایسه است.
این نتیجه نشان می‌دهد صرفاً در اختیار داشتن حجم بسیار زیادی از داده برای ساخت یک سامانه پزشکی دقیق کافی نیست و کیفیت و صحت برچسب‌گذاری داده‌ها اهمیت بسیار زیادی دارد.
پزشکان همیشه از سیستم AI استفاده نکردند
آزمایش یک مشکل دیگر را هم آشکار کرد: حتی یک ابزار هوش مصنوعی دقیق، لزوماً به این معنا نیست که پزشکان از آن در روند روزمره درمان استفاده خواهند کرد.
در یک بررسی پنج‌ماهه، از میان ۱۱۱۳ معاینه انجام‌شده در یک ماه، تنها ۴۱ مورد، معادل حدود ۳.۸ درصد، از فرایندهای AI-TEC استفاده کردند.
پژوهشگران سپس سیستم را سریع‌تر و ساده‌تر کردند؛ از جمله با کاهش تعداد کلیک‌ها و میزان ورود دستی اطلاعات. در ماه بعد، استفاده از سیستم به ۲۵۹ مورد از ۱۱۲۶ معاینه، معادل ۲۳ درصد رسید.
این بخش از آزمایش نشان داد طراحی تجربه کاربری و هماهنگی سیستم با روند کاری پزشکان، برای موفقیت هوش مصنوعی پزشکی اهمیت زیادی دارد.
بازخورد سریع پزشکان برای AI ضروری است
پژوهشگران همچنین دریافتند که بازخورد پزشکان باید با فاصله زمانی کوتاه به سیستم منتقل شود. ارائه بازخورد چند هفته بعد، کارایی لازم را برای بهبود سریع سیستم ندارد.
در نتیجه، پژوهشگران سه عامل اصلی را برای موفقیت یک کلینیک مبتنی بر هوش مصنوعی برجسته کرده‌اند: داده باکیفیت، روند کاری بهینه و دریافت سریع بازخورد از پزشکان.
هوش مصنوعی هنوز جای پزشک را نمی‌گیرد
این آزمایش همچنین یک تفاوت مهم میان عملکرد AI و پزشکان را نشان داد.
هوش مصنوعی عمدتاً با این سؤال مواجه است که آیا بیمار به یک بیماری مبتلاست یا خیر؟ اما پزشک فرایند تشخیص را از علائم بیمار آغاز می‌کند؛ برای مثال، بیمار ممکن است از تاری دید شکایت داشته باشد و پزشک بر اساس مجموعه‌ای از علائم، سوابق و نتایج آزمایش‌ها تصمیم بگیرد.
بنابراین، عملکرد عالی یک مدل در تحلیل تصاویر شبکیه به‌تنهایی تضمین نمی‌کند که استفاده از آن در کل فرایند درمان، نتیجه بهتری برای بیمار داشته باشد. پژوهشگران نیز تأکید کرده‌اند که موفقیت چنین سامانه‌هایی نباید فقط با امتیازهای آزمایشگاهی سنجیده شود، بلکه تأثیر واقعی آنها بر روند درمان و سلامت بیمار اهمیت بیشتری دارد.
این آزمایش چه چیزی درباره آینده پزشکی نشان می‌دهد؟
آزمایش چین نشان می‌دهد مرحله بعدی توسعه هوش مصنوعی پزشکی احتمالاً فقط ساخت مدل‌های دقیق‌تر نیست. چالش اصلی، ادغام صحیح AI با سیستم درمانی واقعی است.
اگر داده‌ها بی‌کیفیت باشند، پزشکان نتوانند به‌راحتی از سیستم استفاده کنند یا بازخورد آنها به‌موقع دریافت نشود، حتی یک مدل بسیار قدرتمند نیز ممکن است تأثیر محدودی در محیط واقعی داشته باشد.
به همین دلیل، پژوهشگران پیشنهاد می‌کنند آزمایش‌های آینده بیشتر روی تغییر واقعی روند درمان و بهبود نتایج بیماران تمرکز کنند، نه صرفاً افزایش امتیاز یک مدل در آزمون‌های استاندارد.
جمع‌بندی
آزمایش AI-TEC در چین نشان داد هوش مصنوعی می‌تواند بخش قابل توجهی از گردش کار یک کلینیک چشم را مدیریت و در تشخیص بیماری‌هایی مانند گلوکوم و دژنراسیون ماکولا از تصاویر پزشکی کمک کند. با این حال، موفقیت آن بیشتر از آنکه به قدرت الگوریتم وابسته باشد، به کیفیت داده، سهولت استفاده، همکاری پزشکان و بازخورد سریع بستگی داشت.
این پژوهش که در Nature Medicine منتشر شده، نشان می‌دهد آینده پزشکی مبتنی بر هوش مصنوعی احتمالاً نه در حذف پزشکان، بلکه در ایجاد همکاری مؤثر میان پزشک و سیستم‌های هوشمند شکل خواهد گرفت.
منابع: ScienceAlert، Nature Medicine.
