محققان دیپ‌مایند گوگل با سیستم جدید CaMeL راهی برای جلوگیری از حملات تزریق پرامپت (Prompt Injection) در هوش مصنوعی پیدا کردند.
به گزارش خبرگزاری زنان ایران - این فناوری با جدا کردن دستورات واقعی کاربران از ترفندهای هکرها، امنیت چت‌بات‌ها و دستیارهای هوشمند را بالا می‌برد. این پیشرفت، خیال کاربران را از سوءاستفاده‌های خطرناکی مثل ارسال ایمیل جعلی یا سرقت اطلاعات بانکی راحت می‌کند و برای رشد اقتصاد دیجیتال و فناوری‌های دانش‌بنیان مهم است.
تزریق پرامپت چیست؟ CaMeL چطور جلوی هکرها را می‌گیرد؟
حمله تزریق پرامپت وقتی اتفاق می‌افتد که هوش مصنوعی نمی‌تواند فرق بین درخواست‌های واقعی و دستورات مخفی هکرها (مثلاً توی ایمیل یا وب‌سایت) را تشخیص دهد. CaMeL با دو مدل هوشمند کار می‌کند: یکی فقط دستورات کاربر را به کد تبدیل می‌کند و دیگری داده‌های مشکوک را بررسی می‌کند، بدون اینکه بتواند کاری انجام دهد. این روش، هکرها را از فریب دادن هوش مصنوعی برای کارهای غیرقانونی مثل انتقال پول یا تغییر اطلاعات ناکام می‌گذارد.
با ردیابی داده‌ها: هوش مصنوعی گوگل امن‌تر از همیشه
سیستم CaMeL با یه مفسر امن، تک‌تک خطوط کد و اطلاعات را رصد می‌کند تا مطمئن شود هیچ دستور مخربی اجرا نمی‌شود. این فناوری برای دستیارهای هوشمندی مثل سیری اپل طراحی شده و باعث می‌شود مردم با اطمینان بیشتری از هوش مصنوعی استفاده کنند. در حالی که رقابت در دنیای هوش مصنوعی داغ‌تر می‌شود، راهکار دیپ‌مایند گوگل می‌تواند استاندارد جدیدی برای امنیت چت‌بات‌ها و اپلیکیشن‌های هوشمند ایجاد کند و راه را برای آینده‌ای امن‌تر در فناوری باز کند.
خبرانلاین
انتهاب پیام/ن