یک مرد شصت ساله پس از عمل به یک توصیه غذایی از سوی چت‌بات ChatGPT دچار مسمومیت نادر و شدیدی شد. او با علائم شدید روان‌پریشی مانند توهم و این باور که دیگران قصد مسموم کردن او را دارند در بیمارستان بستری گردید. این مرد پس از نگرانی درمورد مضرات کلرید در نمک خوراکی برای یافتن یک جایگزین از هوش مصنوعی کمک گرفت. چت‌بات به او پیشنهاد داد تا از برومید به جای کلرید استفاده کند.
در نتیجه این مرد به مدت سه ماه تمام نمک مصرفی خود را با سدیم برومید که به صورت آنلاین خریده بود جایگزین کرد. پس از این دوره او با توهم و پارانویای شدید به اورژانس مراجعه کرد. پزشکان پس از آزمایش‌های فراوان یک مورد بسیار نادر از مسمومیت با برومید را تشخیص دادند. این بیماری در قرن بیستم به دلیل استفاده دارویی رایج بود اما اکنون تقریبا ریشه‌کن شده است. این اتفاق نمونه‌ای از یک توصیه خطرناک ChatGPT است که می‌توانست عواقب جدی‌تری داشته باشد.
پزشکان برای اطمینان این گفتگو را با ChatGPT شبیه‌سازی کردند. آنها دیدند که هوش مصنوعی بدون هیچ هشدار بهداشتی مشخصی برومید را به عنوان جایگزین پیشنهاد می‌دهد. یک متخصص انسانی هرگز چنین جایگزینی را بدون پرسیدن سوالات تکمیلی توصیه نمی‌کند. شرکت OpenAI در واکنش به این موضوع به قوانین سرویس خود اشاره کرده که استفاده از آن برای مشاوره پزشکی را منع می‌کند. این ماجرا بار دیگر اهمیت عدم اعتماد کورکورانه به یک توصیه خطرناک ChatGPT را نشان می‌دهد و بر لزوم مشورت با متخصصان واقعی تاکید دارد.
