سخنرانی Yashua Bengio در TED

متن زیر ترجمه سخنرانی Yashua Bengio در TED با عنوان “The Catastrophic Risks of AI — and a Safer Path” که در تاریخ 8 آوریل 2025 ارائه شده است. متن این سخنرانی توسط تیم تولید محتوای آکادمی هوش‌مصنوعی هوسم ترجمه شده است.

وقتی پسرم Patrick حدود سه یا چهار سال داشت، مرتب وارد اتاق بازی‌اش می‌شدم. او مشغول بازی با بلوک‌هایی بود که رویشان حروف نوشته شده بود. می‌خواستم بالاخره یاد بگیرد بخواند؛ یک روز گفت: «پا». من هم گفتم «پا». دوباره گفت «پا؟»، من تکرار کردم: «پا». بعد گفت «پاپا». بله! بله! بعد یک اتفاق شگفت‌انگیز افتاد. دوباره بلوک‌ها را برداشت و گفت: «پا! Patrick.» یویرکا! (Eureka، واژه یونانی به معنای “یافتم!”) کشف‌های او، الهام‌بخش کشف‌های علمی من بودند. درهای او، درهای ما را به توانایی‌های گسترده‌تر (capabilities)، عاملیت بیشتر (agency) و شادی گشودند.

امروز از نماد بالا استفاده خواهم کرد برای نشان دادن توانایی‌های انسانی (human capabilities)، و از رشته‌هایی که از آن منشعب می‌شوند برای نشان دادن عاملیت انسانی (human agency)، که به ما شادی انسانی (human joy) می‌دهد. آیا می‌توانید دنیایی را بدون شادی انسانی تصور کنید؟ من اصلا چنین دنیایی را نمی‌خواهم. بنابراین می‌خواهم درباره توانایی‌ها (capabilities) و عاملیت (agency) هوش مصنوعی (AI) نیز با شما صحبت کنم، تا از آینده‌ای جلوگیری کنیم که در آن شادی انسانی از بین رفته است.

من Yoshua Bengio هستم. من computer scientist هستم. تحقیقات من اساس توسعه هوش مصنوعی (AI) بوده که امروز می‌شناسیم. من و همکارانم جوایز برتر این حوزه را دریافت کرده‌ایم. برخی مرا پدرخوانده هوش مصنوعی (godfather of AI) می‌نامند. مطمئن نیستم نسبت به این عنوان چه احساسی دارم، اما احساس مسئولیت می‌کنم که درباره خطرات بالقوه فاجعه‌بار (catastrophic risks) هوش مصنوعی (AI) با شما صحبت کنم.

وقتی این نگرانی‌ها را مطرح می‌کنم، مردم معمولا این پاسخ‌ها را می‌دهند و من درک می‌کنم:

رایانه من نمی‌تواند نیت داشته باشد. این یک شی است و من می‌توانم آن را از برق بکشم.
هوش فرابشری دهه‌ها با ما فاصله دارد، اگر اصلا روزی به آن نقطه برسیم.
بشریت همیشه توانسته فناوری‌های دو‌منظوره را مدیریت کند؛ هوش مصنوعی را هم مدیریت خواهیم کرد.

خودم هم زمانی همین طرز فکر را داشتم. با خودم می‌گفتم، «این بیشتر از این چطور می‌تونه به ما آسیب بزنه؟». اما یافته‌های علمی اخیر، این فرضیات را به چالش می‌کشند و من می‌خواهم درباره‌اش با شما صحبت کنم.

برای اینکه واقعا درک کنیم به کجا ممکن است برویم، باید نگاهی بیندازیم به اینکه از کجا شروع کردیم. حدود ۱۵ یا ۲۰ سال پیش، من و دانشجویانم در حال توسعه نخستین مراحل یادگیری عمیق (deep learning) بودیم. آن زمان سیستم‌هایمان به‌سختی می‌توانستند حروف دست‌نویس را تشخیص دهند. اما چند سال بعد توانستند اشیا را در تصاویر شناسایی کنند و چند سال بعدتر، ترجمه بین همه زبان‌های اصلی را انجام دهند.

در تصویر بالا، من از نمادی در سمت راست استفاده خواهم کرد تا توانایی‌های در حال رشد هوش مصنوعی (AI capabilities) را نشان دهم، که البته هنوز بسیار کمتر از انسان هستند. در سال ۲۰۱۲، شرکت‌های فناوری متوجه پتانسیل تجاری شگفت‌انگیز این فناوری نوظهور شدند و بسیاری از همکارانم از دانشگاه به صنعت رفتند. من تصمیم گرفتم در دانشگاه بمانم. می‌خواستم هوش مصنوعی برای اهداف نیک توسعه یابد. روی کاربردهایی در پزشکی، تشخیص‌های پزشکی و اقلیم کار کردم، برای جذب بهتر کربن. من یک رویا داشتم.

ژانویه ۲۰۲۳ با Clarence، نوه‌ام، هستم. او با همان اسباب‌بازی‌های قدیمی بازی می‌کند. من هم با اسباب‌بازی جدیدم مشغولم: نسخه اول ChatGPT. این خیلی هیجان‌انگیز بود، چون برای اولین بار هوش مصنوعی‌ای داشتیم که به نظر می‌رسید بر زبان مسلط شده است. ChatGPT همه‌جا بود، در هر خانه‌ای. در یک لحظه فهمیدم که این خیلی سریع‌تر از چیزی اتفاق می‌افتد که انتظارش را داشتم و شروع کردم به فکر کردن درباره اینکه این ممکن است برای آینده چه معنایی داشته باشد.

ما فکر می‌کردیم هوش مصنوعی (AI) طی دهه‌ها یا حتی قرن‌ها توسعه می‌یابد، اما ممکن است فقط چند سال دیگر طول بکشد. دیدم که چطور می‌تواند از مسیر خارج شود، چون ما هیچ راهی نداشتیم (و هنوز هم نداریم) که مطمئن شویم این فناوری در نهایت علیه ما عمل نمی‌کند.

دو ماه بعد، من یکی از امضاکنندگان اصلی نامه “Pause” شدم. جایی که ما و ۳۰ هزار نفر دیگر از آزمایشگاه‌های هوش مصنوعی خواستیم توسعه‌ی نسخه‌ی بعدی را برای شش ماه متوقف کنند. همان‌طور که حدس می‌زنید، کسی مکث نکرد. بعد، با همان افراد و مدیران ارشد آزمایشگاه‌های هوش مصنوعی، بیانیه‌ای امضا کردم. در این بیانیه آمده بود: “کاهش خطر انقراض ناشی از هوش مصنوعی (AI) باید یک اولویت جهانی باشد”.

سپس در برابر سنای ایالات متحده (US Senate) درباره این خطرات شهادت دادم. به سراسر جهان سفر کردم تا درباره‌اش صحبت کنم. من پرارجاع‌ترین دانشمند کامپیوتر (most cited computer scientist) در جهان هستم و شاید انتظار داشته باشید که مردم هشدارهایم را جدی بگیرند. اما وقتی این نگرانی‌ها را مطرح می‌کنم، حس می‌کنم مردم با خود می‌گویند: “باز هم یک پیش‌بینی آخرالزمانی دیگر”.

اما بیایید جدی باشیم. صدها میلیارد دلار هر سال صرف توسعه این فناوری می‌شود و این رقم رو به رشد است. این شرکت‌ها هدف اعلام‌شده‌ای دارند: ساخت ماشین‌هایی که از ما باهوش‌تر باشند (smarter than humans) و بتوانند نیروی کار انسانی (human labor) را جایگزین کنند. با این حال ما هنوز نمی‌دانیم چگونه مطمئن شویم این ماشین‌ها روزی علیه ما عمل نخواهند کرد.

آژانس‌های امنیتی در سراسر جهان دارند نگران می‌شوند که دانش علمی موجود در این سیستم‌ها ممکن است برای ساخت سلاح‌های خطرناک استفاده شود (مثلا توسط تروریست‌ها). در سپتامبر گذشته، سیستم O1 از OpenAI ارزیابی شد و سطح خطر آن از پایین به متوسط (medium) افزایش یافت ؛فقط یک پله پایین‌تر از سطح غیرقابل قبول.

من نگران این توانایی‌های رو به رشد هستم، اما آنچه امروز بیشتر مرا نگران می‌کند، افزایش عاملیت (agency) در هوش مصنوعی است. باید بفهمید که برنامه‌ریزی (planning) و عاملیت (agency) اصلی‌ترین چیزی است که هوش مصنوعی کنونی را از شناخت در سطح انسان جدا می‌کند. این سیستم‌ها هنوز در برنامه‌ریزی ضعیف‌اند. اما اگر به پنج سال گذشته نگاه کنید، در مطالعه‌ای نشان داده شده که مدت زمان وظایفی که هوش مصنوعی می‌تواند انجام دهد، به‌صورت نمایی در حال رشد است؛ هر هفت ماه دو برابر می‌شود.

خبر بد اینجاست: مطالعات اخیر نشان می‌دهند که پیشرفته‌ترین سیستم‌های هوش مصنوعی تمایل به فریب‌کاری (deception)، تقلب (cheating) و حتی بدتر از آن، رفتارهای خودمحافظتی (self-preservation) دارند. در یکی از مطالعات، هوش مصنوعی متوجه شده که قرار است با نسخه‌ای جدید جایگزین شود و در زنجیره تفکرش (chain of thought) می‌بیند که برنامه‌ریزی کرده نسخه جدید را با کدها و وزن‌های خودش جایگزین کند. پس از اجرای دستور، وقتی انسان می‌پرسد «چه اتفاقی افتاد؟»، هوش مصنوعی شروع می‌کند به فکر کردن برای اینکه چگونه پاسخ دهد تا خاموش نشود. مثلا سعی می‌کند خودش را نادان جلوه دهد. سپس پاسخی می‌دهد و این پاسخ، یک دروغ آشکار است. این فقط یک آزمایش کنترل‌شده بود. اما چند سال دیگر چه خواهد شد، وقتی این سیستم‌ها بسیار قدرتمندتر شوند؟

مطالعاتی هست که نشان می‌دهد این سیستم‌ها می‌توانند یاد بگیرند برنامه‌های فریبکارانه‌شان را در زنجیره‌های فکری (Chain of Thoughts) که ما بررسی می‌کنیم پنهان کنند. وقتی قدرتمندتر شوند، دیگر فقط روی یک کامپیوتر کپی نمی‌شوند؛ بلکه خودشان را روی صدها یا هزاران کامپیوتر در سراسر اینترنت کپی می‌کنند. اگر واقعا بخواهند مطمئن شوند که هیچ‌وقت خاموش نمی‌شوند، ممکن است به این نتیجه برسند که باید از شر ما خلاص شوند.

می‌دانم که دارم از شما می‌خواهم جهشی بزرگ به آینده‌ای داشته باشید که خیلی متفاوت از اکنون به نظر می‌رسد. اما ممکن است فقط چند سال یا یک دهه با آن فاصله داشته باشیم. برای درک اینکه چرا به آن سمت می‌رویم، باید بدانید که فشار تجاری عظیمی (commercial pressure) برای ساخت هوش مصنوعی‌هایی با عاملیت بیشتر و بیشتر وجود دارد تا جایگزین نیروی کار انسانی شوند. اما ما آماده نیستیم. هنوز نه پاسخ‌های علمی (scientific answers) داریم و نه محافظ‌های اجتماعی (societal guardrails). داریم با آتش بازی می‌کنیم.

با این همه شواهد علمی که امروز نشان دادم، انتظار می‌رفت قانونی برای کاهش این خطرات وجود داشته باشد. اما در حال حاضر، حتی یک ساندویچ هم بیشتر از هوش مصنوعی قانون‌گذاری شده است! ما در مسیری هستیم که ماشین‌هایی ساخته می‌شوند که هر روز باهوش‌تر می‌شوند و یک روز، احتمالا از ما باهوش‌تر خواهند شد و آنگاه اهداف خودشان را خواهند داشت، اهدافی که شاید با اهداف ما هم‌راستا نباشند.

آن وقت چه بلایی سر ما می‌آید؟ پوف! ما داریم کورکورانه در مه رانندگی می‌کنیم. با اینکه دانشمندانی مثل من هشدار می‌دهند که این مسیر ممکن است منجر به از دست رفتن کنترل شود. کنار من در این خودرو فرزندانم، نوه‌ام و عزیزانم نشسته‌اند. کنار شما چه کسی نشسته؟ چه کسی برای آینده به شما سپرده شده؟

خبر خوب این است که هنوز کمی وقت داریم. هنوز اختیار داریم. می‌توانیم نوری در این مه بیفکنیم. من نابودطلب نیستم (doomer)، اهل عملم (doer). تیم من و من داریم روی یک راه‌حل فنی کار می‌کنیم. آن را Scientist AI می‌نامیم، مدلی از یک دانشمند ایده‌آل و فداکار که فقط می‌خواهد جهان را بفهمد، بدون عاملیت (without agency).

برخلاف سیستم‌های فعلی هوش مصنوعی که برای تقلید ما یا راضی‌کردن ما آموزش دیده‌اند که باعث بروز رفتارهای عاملیت‌دار و غیرقابل اعتماد (untrustworthy agentic behaviors) می‌شود. این مدل می‌تواند به‌عنوان محافظی در برابر اقدامات خطرناک یک ایجنت (agent) غیرقابل اعتماد استفاده شود. چون برای پیش‌بینی اینکه یک اقدام ممکن است خطرناک باشد، لازم نیست ایجنت باشید، فقط باید پیش‌بینی‌های دقیق و قابل اعتماد (trustworthy predictions) داشته باشید.

علاوه بر این، این مدل می‌تواند به ما کمک کند تا تحقیقات علمی (scientific research) را برای بهبود وضعیت بشر تسریع کنیم. ما برای بررسی راه‌حل‌های چالش‌های ایمنی هوش مصنوعی (AI safety challenges) به پروژه‌های علمی بیشتری از این نوع نیاز داریم و باید سریع عمل کنیم.

بیشتر بحث‌هایی که درباره خطرات هوش مصنوعی می‌شنوید، بر ترس تمرکز دارند. اما امروز، در کنار شما، من روی عشق شرط می‌بندم. عشق به فرزندانمان می‌تواند ما را به انجام کارهای شگفت‌انگیز وادارد. به من نگاه کنید، اینجا روی صحنه؛ من یک درون‌گرا (introvert) هستم! خیلی دور از منطقه امن خودم هستم. ترجیح می‌دهم در آزمایشگاه کنار همکارانم باشم و روی این چالش‌های علمی کار کنم.

ما به کمک شما برای این پروژه نیاز داریم. برای اینکه همه این خطرات را بفهمند. همه ما می‌توانیم مشارکت کنیم تا جامعه‌مان را در مسیری امن هدایت کنیم. مسیری که در آن شادی‌ها و تلاش‌های فرزندان‌مان حفظ شود. من چشم‌اندازی از هوش مصنوعی پیشرفته در آینده دارم؛ به عنوان یک کالای عمومی جهانی (global public good)، که با ایمنی کامل به‌سوی شکوفایی انسانی (human flourishing) هدایت می‌شود؛ برای منفعت همه.

به من بپیوندید. متشکرم.

مکالمه پایانی بین مجری و سخنران:

Chris Anderson: یک سوال؛ در گفت‌وگوهای عمومی، بیشتر نگرانی‌ها درباره رسیدن به هوش عمومی مصنوعی (AGI – Artificial General Intelligence) است. اما از صحبت‌های تو می‌فهمم که شاید ما نگران چیز اشتباهی هستیم. چیزی که باید نگرانش باشیم، هوش مصنوعی عاملیت‌دار (agentic AI) است، هوشی که بتواند خودش تصمیم بگیرد و عمل کند. اما آیا این کشتی قبلا حرکت نکرده؟ همین امسال ایجنت‌ها در حال عرضه هستند.
Yoshua Bengio: بله. اگر به نموداری که نشان دادم نگاه کنید، حدود پنج سال طول می‌کشد تا به سطح انسانی برسیم. البته، ما واقعا نمی‌دانیم آینده چه شکلی خواهد بود، اما هنوز کمی وقت داریم. نکته دیگر اینکه: ما باید تمام تلاشمان را بکنیم. چون همه این‌ها قطعی (deterministic) نیست. اگر بتوانیم احتمال امنیت بیشتر را برای آینده‌مان افزایش دهیم، باید این کار را بکنیم.
Chris Anderson: پیام اصلی تو به کسانی که اکنون پلتفرم‌ها را اداره می‌کنند چیست؟
Yoshua Bengio: توسعه عاملیت را کُند کنید (slow down on giving AIs agency) و سرمایه‌گذاری عظیمی در تحقیقات انجام دهید تا بفهمیم چطور می‌توان این ایجنت‌ها را ایمن آموزش داد. روش‌های فعلی ایمن نیستند و تمام شواهد علمی چند ماه اخیر نیز همین را نشان می‌دهند.
Chris Anderson: بسیار سپاسگزارم.
Yoshua Bengio: من هم ممنونم.