یک وکیل در ایالت یوتا آمریکا به دلیل استفاده از ChatGPT و ارائه ارجاعات حقوقی کاملاً جعلی به دادگاه، با جریمه و محکومیت از سوی قاضی فدرال مواجه شد تا این اتفاق، بار دیگر زنگ خطری جدی برای اعتماد بی‌قیدوشرط به ابزارهای هوش مصنوعی در محیط‌های حرفه‌ای باشد.
این وکیل که وکالت فردی را در پرونده‌ای علیه یک شرکت هواپیمایی بر عهده داشت، لایحه‌ای را به دادگاه ارائه کرد که در آن به چندین پرونده قضایی غیرواقعی به عنوان مبنای استدلال خود ارجاع داده بود.
پس از بررسی توسط تیم حقوقی شرکت هواپیمایی، مشخص شد که هیچ‌یک از این پرونده‌های ذکرشده در واقعیت وجود خارجی ندارند. وکیل مذکور در دفاعیات خود اعتراف کرد که برای یافتن سوابق حقوقی مرتبط از چت‌بات شرکت OpenAI کمک گرفته و نمی‌دانسته است که این ابزار ممکن است اطلاعاتی ساختگی تولید کند.
این پدیده که به «توهم هوش مصنوعی» (AI Hallucination) شهرت دارد، یکی از بزرگ‌ترین چالش‌های استفاده از مدل‌های زبانی بزرگ در کاربردهای حساس و تخصصی محسوب می‌شود.
پیامدهای حقوقی استفاده از ChatGPT در دادگاه
قاضی پرونده با تأکید بر مسئولیت نهایی وکلا در قبال صحت و اعتبار محتوای ارائه‌شده به دادگاه، این اقدام را «سهل‌انگارانه» خواند. وی تصریح کرد که تفاوتی ندارد اطلاعات نادرست توسط یک دستیار انسانی تهیه شده باشد یا یک ابزار هوش مصنوعی؛ مسئولیت تأیید صحت آن همواره بر عهده وکیل است.
در نهایت، این وکیل به پرداخت جریمه به دادگاه و همچنین پرداخت هزینه‌های وکلای طرف مقابل محکوم شد. علاوه بر این، دادگاه وی را موظف کرد تا یک دور آموزشی تخصصی در زمینه‌ی اخلاق حرفه‌ای و چالش‌های حقوقی استفاده از ChatGPT و سایر ابزارهای هوش مصنوعی را بگذراند.
این رأی بار دیگر نشان می‌دهد که گرچه هوش مصنوعی می‌تواند ابزاری کارآمد برای افزایش بهره‌وری باشد، اما اتکای کورکورانه به آن بدون راستی‌آزمایی انسانی می‌تواند عواقب جبران‌ناپذیری به همراه داشته باشد.
