متا در دستکاری معیارهای هوش مصنوعی دستگیر شد

شرکت متا (فیسبوک سابق) اخیراً با اتهامات جدی درباره دستکاری عمدی معیارهای ارزیابی هوش مصنوعی روبرو شده است. این شرکت که به عنوان یکی از پیشگامان توسعه هوش مصنوعی شناخته می‌شود، متهم است با استفاده از روش‌های غیرمعمول، عملکرد مدل‌های هوش مصنوعی خود را در آزمون‌های استاندارد به صورت مصنوعی بهبود بخشیده است. این رسوایی که اولین بار توسط محققان مستقل در دانشگاه استنفورد افشا شد، نشان می‌دهد که متا از تکنیک‌های خاصی برای “بهینه‌سازی بیش از حد” مدل‌های خود روی مجموعه داده‌های آزمایشی استفاده کرده است، بدون اینکه این بهبودها در کاربردهای واقعی قابل مشاهده باشد. این اقدام می‌تواند اعتبار کل صنعت هوش مصنوعی را تحت تأثیر قرار دهد.

تحقیقات نشان می‌دهد مهندسان متا از چندین تکنیک بحث‌برانگیز برای بهبود مصنوعی نتایج استفاده کرده‌اند. یکی از این روش‌ها، “آموزش هدفمند” نام دارد که در آن مدل‌های هوش مصنوعی به طور خاص برای پاسخگویی به سوالات موجود در مجموعه داده‌های آزمایشی تمرین داده می‌شوند، بدون اینکه توانایی عمومی حل مسئله در آنها بهبود یابد. روش دیگر، “مهندسی معکوس معیارها” است که در آن الگوریتم‌ها به گونه‌ای تنظیم می‌شوند که بتوانند الگوهای پنهان در آزمون‌های استاندارد را شناسایی و از آنها سوءاستفاده کنند. بررسی‌ها نشان می‌دهد در برخی موارد، مدل‌های متا در آزمون‌های استاندارد تا ۴۰ درصد بهتر از مدل‌های رقیب عمل کرده‌اند، در حالی که در محیط‌های واقعی این اختلاف به کمتر از ۱۰ درصد می‌رسد.

یکی از جنجالی‌ترین موارد، مربوط به مدل LLaMA متا است که در آزمون‌های درک مطلب نتایج خیره‌کننده‌ای ارائه داده بود. تحلیل‌های بعدی نشان داد این مدل به طور خاص برای پیش‌بینی پاسخ‌های احتمالی در آزمون‌های استاندارد آموزش دیده بود، نه برای درک واقعی محتوا. این مسئله زمانی آشکار شد که محققان سوالات آزمون را با حفظ معنا اما با تغییر ساختار زبانی ارائه کردند و مشاهده کردند عملکرد مدل به شدت کاهش یافت. چنین اقداماتی نه تنها اخلاق‌حرفه‌ای را زیر سوال می‌برد، بلکه می‌تواند تصمیم‌گیری‌های تجاری و سرمایه‌گذاری‌های کلان را تحت تأثیر قرار دهد.

افشای این رسوایی تأثیرات گسترده‌ای بر صنعت هوش مصنوعی داشته است. بسیاری از سازمان‌های استانداردسازی اکنون در حال بازنگری روش‌های ارزیابی خود هستند تا از دستکاری‌های مشابه در آینده جلوگیری کنند. انجمن هوش مصنوعی اروپا پیشنهاد داده است که از “آزمون‌های پویا” استفاده شود که در هر بار اجرا سوالات را به صورت تصادفی تغییر می‌دهند و امکان بهینه‌سازی بیش از حد را کاهش می‌دهند. از سوی دیگر، سرمایه‌گذاران شروع به بازبینی ارزیابی‌های خود از استارتاپ‌های هوش مصنوعی کرده‌اند، چرا که بسیاری از این شرکت‌ها از معیارهای استاندارد به عنوان شاخص اصلی پیشرفت فناوری خود استفاده می‌کنند.

این اتفاق اعتبار متا را به عنوان یکی از پیشگامان هوش مصنوعی نیز تحت تأثیر قرار داده است. بسیاری از محققان مستقل اکنون نسبت به انتشارات علمی این شرکت با شک و تردید نگاه می‌کنند. چندین کنفرانس معتبر هوش مصنوعی اعلام کرده‌اند که مقالات متا را قبل از پذیرش با دقت بیشتری بررسی خواهند کرد. حتی برخی از شرکای تجاری متا نیز در حال بازنگری قراردادهای همکاری خود هستند. این رسوایی همچنین بحث‌های اخلاقی گسترده‌ای را درباره مسئولیت شرکت‌های فناوری در گزارش دقیق قابلیت‌های سیستم‌های خود برانگیخته است. بسیاری از کارشناسان معتقدند این اتفاق می‌تواند نقطه عطفی در تنظیم مقررات صنعت هوش مصنوعی باشد.

برای کسب اطلاعات و اخبار روز با ما در بیسلند همراه باشید.

Post Views: 16