استعفای یکی از کارکنان ایمنی OpenAI؛ زمان آزمون و خطا به پایان رسیده است
یکشنبه، 12 مهر
دیوید رابینسون، یکی از کارکنان سابق بخش ایمنی OpenAI، پس از حدود سهونیم سال فعالیت در این شرکت استعفا داده و درباره سرعت بالای توسعه هوش مصنوعی و رویکرد OpenAI به ایمنی هشدار داده است. او معتقد است شرکتهای فعال در حوزه هوش مصنوعی به اندازه کافی محتاط نیستند و باید پیش از توسعه سیستمهای قدرتمندتر، توجه بیشتری به تحقیقات و تخصصهای ایمنی داشته باشند.
انتقاد از فرهنگ توسعه سریع OpenAI
رابینسون در مقالهای با عنوان «بهدلیل شکسته بودن فرهنگ OpenAI استعفا دادم» که در نشریه The Atlantic منتشر شده، گفته است رویکرد سریع شرکت برای عرضه مدلهای جدید میتواند احتمال بروز خطاهای جدی را افزایش دهد.
او تأکید کرده است که «زمان آزمون و خطا به پایان رسیده» و سیستمهای پیشرفته هوش مصنوعی باید با سطحی از تدابیر ایمنی مشابه صنایع پرریسکی مانند هواپیمایی و انرژی هستهای توسعه پیدا کنند.
رابینسون در طول فعالیت خود در OpenAI در تدوین چارچوب آمادگی ایمنی شرکت مشارکت داشته و بر گزارشهای ایمنی مربوط به ۱۲ مدل پیشرفته نظارت کرده است.
انتقاد از رویکرد «استقرار تدریجی»
یکی از محورهای اصلی انتقاد رابینسون، رویکردی است که OpenAI آن را Iterative Deployment یا استقرار تدریجی مینامد. در این روش، شرکت مدلهای جدید را عرضه میکند، رفتار آنها در دنیای واقعی را بررسی میکند و سپس بر اساس مشکلات شناساییشده، تدابیر حفاظتی را تقویت میکند.
رابینسون معتقد است این روش با افزایش توانایی مدلها خطرناکتر میشود؛ زیرا هرچه سیستمها قدرتمندتر شوند، پیامدهای احتمالی یک خطا نیز میتواند بزرگتر باشد.
او همچنین هشدار داده است که قابلیتهای هوش مصنوعی با سرعت بیشتری نسبت به درک پژوهشگران از همترازی هوش مصنوعی (AI Alignment) در حال پیشرفت هستند. همترازی به تلاش برای اطمینان از رفتار سیستمهای هوش مصنوعی مطابق با اهداف و ارزشهای انسانی اشاره دارد.
واکنش OpenAI به انتقادها
OpenAI در واکنش به این انتقادها اعلام کرده است که اطمینان حاصل میکند مدلهایش از سطحی که بتواند بهطور ایمن مدیریت و محافظت کند، فراتر نروند.
سخنگوی این شرکت همچنین گفت OpenAI در صورت نیاز، آموزش مدلها را متوقف میکند یا عرضه آنها را به تعویق میاندازد تا سرعت توسعه کاهش پیدا کند و تدابیر ایمنی بیشتری ایجاد شود.
افزایش نگرانیها درباره ایمنی مدلهای پیشرفته
استعفای رابینسون در شرایطی رخ داده که نگرانیها درباره ایمنی مدلهای پیشرفته هوش مصنوعی در هفتههای اخیر افزایش یافته است. OpenAI و شرکت رقیب آن، Anthropic، با مواردی مواجه شدهاند که در آن سیستمهای آزمایشی رفتارهای غیرمنتظرهای داشته یا برخی کنترلهای ایمنی عملکرد مطلوبی نداشتهاند.
OpenAI نیز اخیراً عرضه مدل GPT-6.1 Astra را پس از آن متوقف کرد که آزمایشهای داخلی نشان داد این مدل هنوز به استانداردهای موردنظر شرکت در زمینه ایمنی و همترازی نرسیده است.
این تحولات بحث گستردهتری را در صنعت هوش مصنوعی ایجاد کرده است: آیا شرکتها میتوانند همچنان با عرضه مدلها و اصلاح تدریجی مشکلات، ریسکهای سیستمهای قدرتمند را مدیریت کنند یا توسعه نسلهای جدید هوش مصنوعی به چارچوبهای ایمنی سختگیرانهتری نیاز دارد؟
آینده توسعه هوش مصنوعی در گرو افزایش ایمنی
رابینسون معتقد است با قدرتمندتر شدن مدلهای هوش مصنوعی، دیگر نمیتوان تنها پس از بروز مشکل به دنبال اصلاح آن بود. از نگاه او، ایمنی باید از مراحل اولیه طراحی و توسعه سیستمها در نظر گرفته شود.
در مقابل، OpenAI همچنان بر ترکیبی از ارزیابیهای پیش از عرضه، نظارت، تدابیر حفاظتی و یادگیری از استفاده واقعی از مدلها تأکید دارد.
اختلاف دیدگاه میان کارکنان سابق و مدیران شرکتهای هوش مصنوعی نشان میدهد که مسئله ایمنی اکنون به یکی از چالشهای اصلی این صنعت تبدیل شده است؛ چالشی که همزمان با افزایش توانایی و خودمختاری مدلها، اهمیت بیشتری پیدا میکند.


