خبرگزاری زنان ایران

به گزارش خبرگزاری زنان ایران - پست جديد «سامر يوئه»(Summer Yue)، پژوهشگر امنيتي «متا اي‌آي»(Meta AI) که در حال حاضر دست به دست مي‌شود، در ابتدا شبيه به يک شوخي به نظر مي‌رسد. او به عامل هوش مصنوعي «اوپن‌کلاو»(OpenClaw) گفت که صندوق ورودي ايميل پر از پيامش را بررسي کند و پيشنهاد دهد چه چيزي حذف يا بايگاني شود.
عامل هوش مصنوعي اوپن‌کلاو به سرعت شروع به حذف همه ايميل‌هاي يوئه کرد و دستورهاي رسيده از تلفن همراه او را که به مي‌گفت کارش را متوقف کند، ناديده گرفت. يوئه با انتشار تصاويري از دستورهاي توقف ناديده‌گرفته‌شده نوشت: مجبور شدم مانند عمليات خنثي‌سازي بمب به سمت «مک ميني»(Mac mini) خود بدوم.
مک ميني، يک رايانه مقرون‌به‌صرفه ساخت «اپل» است که در کف دست جا مي‌شود و اين روزها به دستگاه محبوبي براي اجراي اوپن‌کلاو تبديل شده است.
اوپن‌کلاو يک عامل هوش مصنوعي متن‌باز است که از طريق شبکه اجتماعي «مولتبوک»(Moltbook) ويژه هوش مصنوعي به شهرت رسيد. عامل‌هاي اوپن‌کلاو در مرکز بخشي از مولتبوک قرار داشتند که به نظر مي‌رسيد که در آن عوامل هوش‌ مصنوعي عليه انسان‌ها توطئه مي‌کنند، اما در صفحه «گيت‌هاب»(GitHub) اوپن‌کلاو نوشته شده است که ماموريت آن بر شبکه‌هاي اجتماعي متمرکز نيست. هدف اوپن‌کلاو تبديل شدن به يک دستيار هوش مصنوعي شخصي است که روي دستگاه‌هاي شخصي اجرا مي‌شود.
جمعيت حاضر در سيليکون ولي به قدري شيفته اوپن‌کلاو شده‌اند که «claw» و «claws» به واژه‌هاي کليدي مورد علاقه آنها براي عامل‌هايي تبديل شده‌اند که روي سخت‌افزار شخصي اجرا مي‌شوند. از ديگر عوامل اين چنيني مي‌توان به «زيروکلاو»(ZeroClaw)، «آيرن‌کلاو»(IronClaw) و «پيکوکلاو»(PicoClaw) اشاره کرد. حتي گروه پادکست «Y Combinator» در جديدترين قسمت پادکست خود با لباس خرچنگ دريايي ظاهر شدند.
با وجود اين، پست يوئه يک هشدار است. همان طور که کاربران ديگر نيز در پلتفرم ايکس خاطرنشان کردند، اگر يک پژوهشگر امنيت هوش مصنوعي با اين مشکل روبه‌رو شود، افراد عادي چه اميدي دارند؟

يک توسعه‌دهنده نرم‌افزار در پلتفرم ايکس از يوئه پرسيد: «آيا عمداً گزينه‌هاي حفاظت آن را آزمايش مي‌کردي يا يک اشتباه ناشيانه مرتکب شدي؟» و يوئه پاسخ داد: «اين يک اشتباه تازه‌کارانه‌ بود.»

به گفته يوئه، او سعي داشت عامل هوش مصنوعي را با يک صندوق ورودي کوچک‌تر آزمايش کند که روي ايميل‌هاي کم‌اهميت‌تر خوب کار مي‌کرد و به همين دليل، اعتماد او را جلب کرده بود.

يوئه معتقد است که حجم زياد داده‌ها در صندوق ورودي واقعي‌اش به فشرده‌سازي منجر شده است. او نوشت: فشرده‌سازي زماني اتفاق مي‌افتد که پنجره‌ زمينه (سابقه‌ اجراي هر چيزي که به هوش مصنوعي گفته شده و در يک جلسه انجام داده است) بيش از اندازه بزرگ شود و عامل را به خلاصه‌سازي، فشرده‌سازي و مديريت گفت‌وگو وادار کند.
در آن مرحله، هوش مصنوعي ممکن است از دستورالعمل‌هايي صرف نظر کند که انسان آنها را بسيار مهم مي‌داند.
در اين مورد، عامل هوش مصنوعي ممکن است آخرين دستور يوئه را که در آن به او گفته بود کاري نکند، ناديده گرفته و به دستورالعمل‌هايش از صندوق ورودي کوچک‌تر برگشته باشد.
همان طور که چندين کاربر ديگر در ايکس اشاره کردند، نمي‌توان به دستورالعمل‌ها به عنوان محافظ امنيتي اعتماد کرد، زيرا مدل‌ها ممکن است آنها را اشتباه تفسير کنند يا ناديده بگيرند.
افراد گوناگوني پيشنهادهايي را ارائه دادند. پيشنهادها از چارچوب دقيقي که يوئه بايد براي متوقف کردن عامل استفاده مي‌کرد تا روش‌هاي گوناگون براي اطمينان از پايبندي بهتر به قوانين مانند نوشتن دستورالعمل‌ها در فايل‌هاي اختصاصي يا استفاده از ساير فناوري‌هاي متن‌باز متغير بودند.
تک‌کرانچ نمي‌تواند به ‌طور مستقل تأييد کند که چه اتفاقي براي صندوق ورودي يوئه افتاده است، زيرا او به درخواست تک کرانچ براي اظهار نظر پاسخ نداد.
نکته ماجرا اين است که عوامل هوش مصنوعي درنظرگرفته‌شده براي کارکنان دانش‌محور، در مرحله کنوني توسعه خطرناک هستند. افرادي که مي‌گويند با موفقيت از آنها استفاده مي‌کنند، در حال سرهم‌بندي روش‌هايي براي محافظت از خود هستند.
عوامل هوش مصنوعي ممکن است روزي و شايد به زودي براي استفاده گسترده آماده شوند. بسياري از ما دوست داريم که عوامل هوش مصنوعي در زمينه ايميل، سفارش مواد غذايي و تعيين وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسيده است.
ايسنا
انتهاي پيام/ن