وقتی یک بازی ساده و چهار کیلوبایتی از دهه هفتاد میلادی، غولهای هوش مصنوعی امروزی را به راحتی شکست میدهد باید در مورد آینده این فناوری عمیقتر فکر کنیم. این اتفاق دقیقا همان چیزی است که در یک آزمایش جالب توسط یک مهندس نرمافزار رخ داد و نشان داد که هیاهوی پیرامون این تکنولوژی شاید کمی اغراق شده باشد.
رابرت کاروسو مهندس شرکت Citrix در یک اقدام خلاقانه تصمیم گرفت دو مدل زبان بزرگ و مدرن را به چالش بکشد. او با استفاده از یک شبیهساز، بازی شطرنج کنسول آتاری ۲۶۰۰ محصول سال ۱۹۷۹ را اجرا کرد. سپس ChatGPT و کوپایلت مایکروسافت را در مقابل این بازی ۴۶ ساله قرار داد. نتیجه این آزمایش یک شکست هوش مصنوعی به تمام معنا بود. بازی قدیمی آتاری با حجم ناچیز خود هر دو رقیب مدرن را مغلوب کرد.
جدال ChatGPT با نوستالژی؛ وقتی هوش مصنوعی کم میآورد
همه چیز از یک گفتگو بین کاروسو و ChatGPT شروع شد. ربات اپنایآی با اعتماد به نفس ادعا کرد که میتواند بازی شطرنج آتاری را به سادگی شکست دهد. اما در عمل، این چتبات حتی قادر نبود موقعیت مهرهها را روی صفحه به درستی تشخیص دهد. کاروسو در طول بازی ۹۰ دقیقهای بارها به ربات کمک کرد اما در نهایت ChatGPT در سطح مبتدی بازی را واگذار کرد. این اولین نشانههای یک شکست هوش مصنوعی بزرگ بود.
کاروسو این چالش را با کوپایلت مایکروسافت نیز تکرار کرد. این مدل با اطمینان بیشتری مدعی شد که صفحه شطرنج را دنبال میکند. با این حال کوپایلت در همان هفت حرکت ابتدایی دو سرباز، یک فیل و یک اسب را از دست داد. حتی در حرکتی عجیب پیشنهاد داد وزیر خود را مستقیم در مسیر وزیر آتاری قرار دهد. سرنوشت این بازی نیز چیزی جز شکست برای مدل هوش مصنوعی مایکروسافت نبود.
آزمایش ساده کاروسو یک حقیقت مهم را آشکار کرد. با وجود تبلیغات گسترده، این مدلها در درک مفاهیم پایهای مثل وضعیت مهرهها در یک بازی ساده مشکل دارند. این شکست هوش مصنوعی نشان میدهد آنها فاقد درک واقعی، تفکر انتزاعی و حافظه پایدار هستند. اگر یک مدل زبان بزرگ نمیتواند تفاوت رخ و فیل را تشخیص دهد چطور میتوان در حوزههای حساسی مثل دادههای پزشکی یا انرژی به آن اعتماد کامل کرد؟
