اپیزود سوم | وقتی ماشین از سازنده‌اش بهتر بازی می‌کند.
# ۱۱
ما انسان‌ها به دلایل مختلفی احساس ارزشمندی می‌کنیم. مثلا تصمیم می‌گیریم کلاس شنا ثبت نام کنیم و اگر به شنا علاقه‌مند نبودیم آشپزی را امتحان می‌کنیم. اگر چه این وضعیت استثنائاتی هم دارد ولی همه ما در زندگی خود توانایی تصمیم‌گیری و تعیین هدف داریم که به ما حس ارزشمندی می‌دهد. ما همچنین موجوداتی خلاق هستیم و افزون بر همه این‌ها از پدیده شگرفی مانند زبان هم بهره‌مندیم.
حالا فرض کنید موجود دیگری به این کره خاکی بیاید که بتواند تمام عواملی که به شما احساس ارزشمندی می‌دادند را تصاحب کند. فکر می‌کنید زبان مختص انسان‌هاست؟ به LLM ها نگاهی بیاندازید. فکر می‌کنید خیلی خلاقید؟ برای نوشتن کد سراغ کلاد بروید. هوش مصنوعی امروز در برخی وظایف از ما بهتر می‌کنید
AI و احساس ارزشمندی انسان‌ها
سوال ما اینجاست: اگر AI بتواند کارهایی که برای ما هویت بخش و مایه‌ی لذت بودند را بهتر از ما انجام دهد، در این صورت وضع بشر چگونه خواهد بود؟
تگمارک در این فصل 3 عامل ارزشمندی انسان را نام می‌برد:
- توانایی تعیین هدف و حل مسئله
- شهود و خلاقیت
- زبان
به موازات این سه، مثال‌هایی از پیشرفت‌های هوش مصنوعی را هم به ما نشان می‌دهد:
- deep mind
مدل deep mind بازی breakout را بهتر از هر انسانی بازی می‌کند.
- Alphago
مدل Alphago در بازی Go قهرمانان جهان را بدون باخت شکست می‌دهد.
- جهش Google Translate ۲۰۱۶
در سال ۲۰۱۶ تیم Google Brain، Google Translate را به شبکه‌های عصبی بازگشتی عمیق مجهز کرد و کیفیت ترجمه به‌طور چشمگیری بهتر شد.
• تگمارک جمله اصلی را این‌طور نوشت:
But AI has been catching up with me, and after a major breakthrough in 2016, there are almost no languages left that I can translate between better than the AI system developed by the Google Brain team.
• بعد از ترجمه به اسپانیایی و بازگردانی به انگلیسی، جمله به این شکل درآمد:
But AI has been catching up on me, and after a breakthrough in 2016, there are almost no languages left that can translate between better than the AI system developed by the Google Brain team.
نتیجه: ضمیر «I» حذف شد و معنای جمله تغییر کرد.
• در آزمایش بعدی با چینی، حتی ترجمه به این شکل درآمد:
But the AI has caught up with me, after a major break in 2016, with almost no language, I could translate the AI system than developed by the Google Brainteam.
ما هم در 2026 این ترجمه را امتحان کردیم:
However, AI has been catching up with me, and following a major breakthrough in 2016, there are now hardly any language pairs for which I can translate better than the AI system developed by the Google Brain team.
شما هم هر زمان این مقاله را خواندید می‌توانید با گوگل ترنسلیت آزمایش کنید.
شکست‌های فناوری در حوزه‌های مختلف
هرچه هوش مصنوعی بیشتر وارد دنیای واقعی می‌شود، دیگر نمی‌توان ایمنی آن را فقط با روش آزمون‌وخطا سنجید؛ اگر یک سیستم AI شبکه برق، بازار سهام یا یک سیستم حیاتی را کنترل کند، حتی یک خطا می‌تواند پیامدهای جدی داشته باشد. مکس تگمارک برای توضیح این مسئله به سراغ نمونه‌هایی از شکست‌های فناوری در حوزه‌های مختلف می‌رود؛ از انفجار موشک Ariane 5 به‌دلیل خطای نرم‌افزاری و ضرر ۴۴۰ میلیون‌دلاری Knight Capital گرفته تا حوادث خودروهای خودران، نیروگاه‌ها، تجهیزات پزشکی و حملات سایبری.
این مثال‌ها چهار چالش اصلی ایمنی فناوری را روشن می‌کنند:
- Verification یعنی مطمئن شویم سیستم همان چیزی را درست انجام می‌دهد که باید انجام دهد.
- Validation یعنی بررسی کنیم اصلاً سیستم مناسبی را ساخته‌ایم و فرض‌هایش در دنیای واقعی معتبرند.
- Control یعنی انسان بتواند وضعیت سیستم را بفهمد و در صورت نیاز کنترل آن را تغییر دهد.
- Security یعنی سیستم در برابر حملات و سوءاستفاده‌های عمدی نیز مقاوم باشد.
AI در اکتشاف فضا
در اکتشاف فضا، یک خطای کوچک نرم‌افزاری می‌تواند یک مأموریت چندصد میلیون‌دلاری را نابود کند. در سال ۱۹۹۶، موشک Ariane 5 سازمان فضایی اروپا فقط ۳۷ ثانیه پس از پرتاب منفجر شد، چون نرم‌افزار هنگام کار با عددی مواجه شده بود که برای فضای ۱۶بیتی اختصاص‌یافته به آن بیش از حد بزرگ بود.
دو سال بعد، Mars Climate Orbiter ناسا به دلیل استفاده از واحدهای متفاوت برای نیرو در دو بخش نرم‌افزار، با خطای ۴۴۵درصدی در کنترل رانش وارد جو مریخ شد و از بین رفت. حتی مأموریت Mariner 1 در سال ۱۹۶۲ به‌دلیل یک علامت نگارشی اشتباه در نرم‌افزار کنترل پرواز شکست خورد و Phobos 1 شوروی نیز در سال ۱۹۸۸ به‌دلیل حذف شدن یک خط تیره، فرمان پایان مأموریت را دریافت کرد و خاموش شد.
این اتفاق‌ها نشان می‌دهند چرا verification مهم است: باید مطمئن شویم نرم‌افزار دقیقاً همان چیزی را انجام می‌دهد که قرار بوده انجام دهد. در متن، seL4 نمونه‌ای از رویکرد جدیدتر است که هسته سیستم‌عامل آن به‌صورت ریاضی با یک مشخصات رسمی بررسی شده تا تضمین قوی‌تری در برابر crash و عملیات ناامن داشته باشد.
AI در امور مالی
در امور مالی، کامپیوترها بخش بزرگی از تصمیم‌های خرید و فروش سهام را به‌صورت خودکار انجام می‌دهند، اما یک نرم‌افزار درست‌کار هم لزوماً به معنی یک سیستم درست نیست. شرکت آمریکایی Knight Capital در سال ۲۰۱۲ پس از راه‌اندازی نرم‌افزار معاملاتیِ تأییدنشده، در تنها ۴۵ دقیقه ۴۴۰ میلیون دلار از دست داد.
اما ماجرای Flash Crash در سال ۲۰۱۰ درس متفاوتی داشت: این بار مشکل از یک bug ساده نبود؛ برنامه‌های معاملاتی در شرایطی قرار گرفتند که فرض‌هایشان دیگر معتبر نبود. مثلاً فرض می‌کردند اگر سیستم بورس قیمت یک سهم را یک سنت اعلام کند، آن سهم واقعاً یک سنت ارزش دارد. این اتفاق اهمیت validation را نشان می‌دهد: فقط نباید بپرسیم «آیا سیستم را درست ساخته‌ایم؟»؛ باید بپرسیم «آیا اصلاً سیستم درستی ساخته‌ایم و می‌تواند با شرایط غیرمنتظره کنار بیاید؟»
AI در تولید
ربات‌ها می‌توانند تولید را سریع‌تر و دقیق‌تر کنند، اما وقتی وارد محیط انسانی می‌شوند، باید بفهمند چه چیزی در اطرافشان قرار دارد. در سال ۱۹۷۹، Robert Williams در کارخانه Ford هنگام کار در محل نگهداری قطعات توسط رباتی که قرار بود قطعات را جابه‌جا کند، کشته شد؛ ربات بدون اینکه متوجه حضور او شود شروع به کار کرد.
در سال ۱۹۸۱ نیز Kenji Urada، مهندس تعمیرات در کارخانه Kawasaki، هنگام کار روی یک ربات به‌طور تصادفی آن را روشن کرد و بر اثر حرکت بازوی هیدرولیکی آن جان باخت. در سال ۲۰۱۵ هم یک پیمانکار ۲۲ساله در کارخانه Volkswagen بر اثر عملکرد رباتی که برای گرفتن و جابه‌جایی قطعات تنظیم می‌شد، کشته شد.
مشکل این حوادث بیشتر validation بود تا bug یا نیت مخرب: ربات‌ها فرض‌های اشتباهی درباره حضور انسان‌ها داشتند. AI می‌تواند با یادگیری، به ربات‌ها کمک کند هنگام کار در کنار انسان‌ها محتاط‌تر باشند.
AI در حمل‌ونقل
حمل‌ونقل یکی از حوزه‌هایی است که AI می‌تواند بیشترین تأثیر را در کاهش خطاهای انسانی داشته باشد. در سال ۲۰۱۶، یک خودروی خودران Google هنگام بیرون آمدن جلوی یک اتوبوس تصادف کرد، چون فرض کرده بود راننده اتوبوس راه را به آن می‌دهد. چند ماه بعد، یک خودروی خودران Tesla با تریلری که از جاده عبور می‌کرد برخورد کرد؛ سیستم سطح سفید تریلر را با آسمان روشن اشتباه گرفته بود و هم‌زمان فرض کرده بود راننده در صورت بروز مشکل مداخله خواهد کرد.
با این وجود، حتی verification و validation هم همیشه کافی نیستند؛ کنترل انسانی هم اهمیت دارد. در حادثه کشتی Herald of Free Enterprise در سال ۱۹۸۷، کشتی با درهای جلویی باز از بندر خارج شد، اما هیچ چراغ هشدار یا علامت قابل‌مشاهده‌ای برای اطلاع دادن این وضعیت به کاپیتان وجود نداشت و کشتی واژگون شد و ۱۹۳ نفر جان باختند.
در پرواز Air France 447 نیز طبق گزارش رسمی، خدمه متوجه نشدند هواپیما در وضعیت واماندگی قرار دارد و تا زمانی که خیلی دیر شده بود، مانور اصلاحی را انجام ندادند. این نمونه‌ها نشان می‌دهند سیستم‌های AI باید نه‌فقط درست کار کنند، بلکه بتوانند اطلاعات مهم را به شکلی قابل‌فهم با انسان به اشتراک بگذارند.
AI در انرژی
در شبکه‌های برق، الگوریتم‌ها برای متعادل کردن تولید و مصرف انرژی استفاده می‌شوند، اما یک نقص کوچک در ارتباط میان سیستم و اپراتور می‌تواند مشکل بزرگی ایجاد کند. در خاموشی گسترده ۱۴ اوت ۲۰۰۳ در آمریکا و کانادا، حدود ۵۵ میلیون نفر برق خود را از دست دادند. علت اصلی، طبق متن، مشکل در ارتباط انسان و ماشین بود: یک bug نرم‌افزاری باعث شد سیستم هشدار اتاق کنترل در اوهایو اپراتورها را از مشکلی که در حال گسترش بود مطلع نکند.
در نتیجه، مشکلی که با اضافه‌بار خطوط انتقال و برخورد آن‌ها با پوشش گیاهی شروع شده بود، به یک خاموشی گسترده تبدیل شد. در حادثه Three Mile Island نیز یکی از عوامل مؤثر، رابط کاربری گیج‌کننده بود؛ چراغ هشدار به‌جای اینکه نشان دهد یک شیر واقعاً باز یا بسته است، فقط نشان می‌داد فرمان بستن آن صادر شده است و اپراتورها متوجه گیر کردن شیر نشدند. بنابراین AI در شبکه‌های انرژی فقط باید سیستم را هوشمندتر کند؛ باید کاری کند که انسان هم بتواند وضعیت سیستم را درست بفهمد و در زمان مناسب مداخله کند.
AI در پزشکی
در پزشکی، متن چند نمونه از توانایی AI در تشخیص بیماری را مطرح می‌کند. یک مطالعه هلندی در سال ۲۰۱۵ نشان داد که کامپیوتر می‌تواند سرطان پروستات را با استفاده از تصاویر MRI تشخیص دهد و عملکرد آن با رادیولوژیست‌های انسانی قابل مقایسه بود.
در مطالعه‌ای از Stanford در سال ۲۰۱۶ نیز AI با استفاده از تصاویر میکروسکوپی سرطان ریه را تشخیص داد و در آن مطالعه عملکرد بهتری از پاتولوژیست‌های انسانی داشت. اما همین حوزه نمونه‌های مهمی از خطر نرم‌افزارهای غیرقابل‌اعتماد هم دارد. دستگاه پرتودرمانی Therac-25 گاهی به دلیل یک نرم‌افزار bugدار، پرتوی پرقدرت را زمانی به بیمار می‌داد که اپراتور تصور می‌کرد در حال استفاده از پرتوی کم‌قدرت است؛ چند بیمار در نتیجه این خطا جان باختند.
در پاناما نیز در سال‌های ۲۰۰۰ و ۲۰۰۱، رابط کاربری نامناسب دستگاه پرتودرمانی باعث شد زمان‌های بیش‌ازحد برای تابش تنظیم شود و بیماران دوزهای خطرناکی دریافت کنند. متن از این مثال‌ها برای نشان دادن اهمیت robust software در پزشکی استفاده می‌کند.
AI در ارتباطات و امنیت
با گسترش اینترنت، مسئله فقط این نیست که سیستم‌ها اشتباه نکنند؛ باید در برابر حمله عمدی هم مقاوم باشند. Morris worm در سال ۱۹۸۸ با سوءاستفاده از bugهای سیستم‌عامل UNIX حدود ۱۰ درصد از ۶۰ هزار کامپیوتر اینترنت آن زمان را آلوده و از کار انداخت.
در سال ۲۰۰۰، ILOVEYOU worm با یک ایمیل ظاهراً ارسال‌شده از طرف آشنایان کاربران، آن‌ها را تشویق می‌کرد فایل پیوست را باز کنند؛ این بدافزار بیش از ۵۰ میلیون کامپیوتر را آلوده کرد و بیش از ۵ میلیارد دلار خسارت ایجاد کرد.
همچنین AI ممکن است این مسئله را پیچیده‌تر کند: مثلاً مهاجم می‌تواند از AI برای ساخت یک ایمیل فیشینگ بسیار شخصی‌سازی‌شده استفاده کند که سبک نوشتاری یک دوست را تقلید کند و اطلاعات شخصی قربانی را هم در خود داشته باشد. بنابراین همان AI که می‌تواند برای پیدا کردن آسیب‌پذیری‌ها و تقویت امنیت استفاده شود، می‌تواند برای پیدا کردن آسیب‌پذیری‌های جدید و ساخت حملات پیچیده‌تر نیز به کار برود.
دیدگاهتان را بنویسید