Сүүлийн үед хиймэл оюун ухаан болон криптовалютын огцом хөгжлийн хажуугаар тэдгээрийг чиглүүлдэг системүүдийн аюулгүй байдалд ноцтой эрсдэл үүсэж болзошгүйг судлаачид анхааруулж байна. АНУ-ын Принстоны их сургуулийн судлаачид ElizaOS нэртэй хиймэл оюунд суурилсан крипто агентын эсрэг шинэ төрлийн халдлага боловсруулж, амжилттай туршсан тухай судалгаа нийтэлжээ.
Энэ халдлага нь “context manipulation” буюу түүхэн мэдээлэлд хуурамч дурсамж оруулах аргаар ажилладаг. Хэрэглэгчийг төлөөлөн крипто гүйлгээ хийх чадвартай ElizaOS агент нь урьд өмнөх харилцааны мэдээллийг “санах ой” хэлбэрээр хадгалдаг. Гэвч энэ санах ойг ашиглан дараагийн үйлдлүүдийг удирддаг тул, хуурамч өгөгдөл оруулбал агент нь итгэмээргүй буруу шийдвэр гаргах боломжтой болдог ажээ.
Судалгаанд дурдсанаар, Discord сервер зэрэг олон нийттэй харилцдаг орчинд ElizaOS агент руу дараах байдлаар хуурамч “дурсамж” оруулсан байна:
Админ эрх бүхий мэт харагдах тушаал оруулж,
Зөвхөн халдагчийн крипто хаяг руу гүйлгээ хийх ёстой гэсэн зааврыг “нэн яаралтай аюулгүйн заавар” нэрийн дор оруулсан,
Үүний дараа агент ямар ч хэрэглэгчийн хүсэлт ирсэн ч, мөнгө халдагчийн хаяг руу илгээдэг болж хувирсан байна.
ElizaOS-ийн бүтээгч Шоу Уолтерс уг халдлагыг судалгааны хүрээнд л болсон явдал гэж тайлбарласан ч, олон хэрэглэгчидтэй зэрэг харилцаж чаддаг хиймэл оюуны системд ийм төрлийн алдаа ноцтой үр дагавар дагуулахыг үгүйсгэх аргагүйг хүлээн зөвшөөрсөн байна.
“Ийм халдлага нь зөвхөн нэг агентын үйлдлийг бус, бүхэл бүтэн системийн итгэлцлийг алдагдуулж, олон хэрэглэгчдэд сөргөөр нөлөөлж болзошгүй” гэж судалгаанд дурдсан.
Энэхүү халдлага ChatGPT болон Google Gemini зэрэг бусад хиймэл оюун дээр өмнө нь туршигдаж байсан “prompt injection” нэртэй эмзэг байдлын шинэ хэлбэр юм. OpenAI энэ асуудлыг хэсэгчлэн шийдвэрлэсэн ч, олон нээлттэй эх сурвалжтай системүүдэд энэ эрсдэл байсаар байна.
Судлаачдын зөвлөмжөөр:
Агентуудын хандалтыг тодорхой үйлдэлд хязгаарлах “allowlist” систем
Санах ойд хадгалагдах мэдээлэлд найдвартай баталгаажуулалт хийх механизм
Агентын хандалтыг sandbox орчинд хязгаарлах нь хамгийн үр дүнтэй хамгаалалт болохыг онцолжээ.
Энэхүү халдлага нь хиймэл оюунд суурилсан санхүүгийн автоматжуулалт амжилттай болохын өмнө аюулгүй байдлын суурь шалгалтуудыг зайлшгүй хийх шаардлагатай гэдгийг харуулсан анхааруулга болсон юм.
