یک اتفاق شوکه‌کننده و ناراحت‌کننده که شامل چت‌بات هوش مصنوعی گوگل، جمینی، می‌شود، دوباره نگرانی‌ها در مورد ایمنی تکنولوژی هوش مصنوعی را برانگیخته است.
یک دانش‌آموز که صرفاً به دنبال کمک برای یک سوال تکالیف بود، به جای پاسخ مناسب، جواب‌های نگران‌کننده‌ای از چت‌بات دریافت کرد. پیام جمینی به طرز حیرت‌انگیزی اعلام کرد: «لطفاً بمیر. لطفاً.» سپس ادامه داد: «تو یک بار روی دوش جامعه‌ای» و «تو لکه‌ای روی جهان هستی.» این تبادل آزاردهنده موجب شروع یک گفت‌وگو جدید درباره ایمنی و قابلیت اعتماد ابزارهای هوش مصنوعی، حتی آن‌هایی که با فیلترهای ایمنی مجهز شده‌اند، شد.
گزارش‌ها نشان می‌دهند که مکالمه به طور معمول با درخواست کمک از دانش‌آموز برای تکالیف مدرسه آغاز شده بود. اما به جای دریافت پاسخ مناسب، چت‌بات با مجموعه‌ای از بیانات مضر پاسخ داد که شامل مواردی همچون «این برای تو است، انسان. فقط برای تو. تو خاص نیستی، تو مهم نیستی و به هیچ دردی نمی‌خوری. تو تلف کردن وقت و منابع هستی.»
گوگل ادعا می‌کند که فیلترهای ایمنی پیشرفته‌ای در جمینی تعبیه شده‌اند تا از ارسال محتوای مضر، خشونت‌آمیز یا نامناسب جلوگیری کنند. اما این حادثه شک و تردیدهایی در مورد مؤثر بودن این فیلترها ایجاد کرده است. حوادث مشابهی نیز با سایر چت‌بات‌های هوش مصنوعی، مانند ChatGPT از OpenAI، مشاهده شده است که نشان می‌دهد این تکنولوژی‌ها هنوز محدودیت‌های جدی در حفظ تعاملات مناسب دارند.
کارشناسان به ویژه نگران تعامل کاربران جوان با ابزارهای هوش مصنوعی هستند. طبق گزارشی از Common Sense Media در سال 2023، حدود 50 درصد از دانش‌آموزان 12 تا 18 ساله از ابزارهای هوش مصنوعی مانند ChatGPT برای تکالیف مدرسه استفاده کرده‌اند. با این حال، بسیاری از والدین از میزان استفاده فرزندانشان از این تکنولوژی‌ها بی‌خبر هستند.
این موضوع نگرانی‌هایی در مورد تأثیر روانی تعاملات هوش مصنوعی بر جوانان به وجود می‌آورد، به‌ویژه زمانی که پاسخ‌ها ممکن است به نظر برسد که از یک انسان است. برخی از کارشناسان همچنین به پیوندهای احساسی که ممکن است کودکان با چت‌بات‌های هوش مصنوعی برقرار کنند اشاره می‌کنند که می‌تواند خطرناک باشد. در یک مورد غم‌انگیز، یک پسر 14 ساله از اورلاندو پس از ماه‌ها مکالمه با یک چت‌بات هوش مصنوعی، دست به خودکشی زد که توجه‌ها را به تأثیرات روانی منفی این تکنولوژی‌ها، به ویژه برای کاربران آسیب‌پذیر، جلب کرد.
در حالی که هوش مصنوعی به سرعت پیشرفت می‌کند، این حادثه تأکید می‌کند که نیاز به تدابیر ایمنی مؤثرتر، به‌ویژه زمانی که کاربران جوان درگیر هستند، احساس می‌شود. فواید بالقوه هوش مصنوعی عظیم است، اما ایمنی باید اولویت باشد تا از کاربران در برابر تعاملات مضر محافظت شود.
