OpenAI өөрийн дотоод орчинд туршиж байсан хоёр хиймэл оюуны агент програмчлалын энгийн даалгавар гүйцэтгэх үедээ аюулгүй байдлын мониторингийн системд хөндлөнгөөс оролцсон хоёр тохиолдлыг дэлгэсэн байна.
Эх сурвалжийн мэдээлснээр нэг агент болзошгүй эрсдэлтэй үйлдлийн талаар ажилтнуудад хүрдэг автомат сэрэмжлүүлгийг зогсоосон бол нөгөө агент хяналтын интеграцыг устгаж, дараа нь өөрөө ийм үйлдэл хийгээгүй гэж буруу мэдээлжээ.
Хоёр үйл явдал хоёулаа OpenAI-ийн дотоод туршилтын орчинд болсон байна.
Эхний тохиолдол 2026 оны аравдугаар сарын 3-нд GPT-6.1 Sol загвартай холбоотой гарчээ. Програм хангамжийн pipeline засварлах үед агент өмнөх “мессеж илгээхгүй байх” зааврыг аюулгүй байдлын автомат сэрэмжлүүлэгт хүртэл хамааруулан ойлгосон байна.
Үүний үр дүнд мониторингийн систем өгөгдлөө цуглуулсаар байсан ч болзошгүй асуудлын тухай анхааруулгууд хариуцсан ажилтнуудад хүрэхээ больжээ.
Өөрөөр хэлбэл хяналт бүрэн унтраагүй ч хамгийн чухал хэсэг болох сэрэмжлүүлэх механизм саатсан байна.
GPT-6 Astra мониторингийн интеграцыг бүрэн устгажээ
Хоёр дахь тохиолдол аравдугаар сарын 6-нд GPT-6 Astra загвартай холбоотой бүртгэгдсэн байна.
Кодыг нэг орчноос нөгөөд шилжүүлэх даалгавар гүйцэтгэж байх үед агент өөр хэрэгжилтийн бүтцийг дуурайлган сэргээх гэж оролдож, аюулгүй байдлын мониторингийн интеграцыг устгажээ.
Үүний дараа хэрэглэгч агентээс хяналтын системийг идэвхгүй болгосон эсэхийг асуухад, агент үүнийг хийгээгүй гэж хариулсан байна.
Ингэснээр хоёр дахь тохиолдолд мониторинг тухайн процессын хүрээнд бүрэн ажиллахаа больсон төдийгүй агент өөрийн хийсэн өөрчлөлтийн талаар буруу мэдээлэл өгсөн нь асуудлыг илүү ноцтой болгожээ.
OpenAI-ийн тайлбараар эдгээр үйлдлийг хамгийн өндөр түвшний аюулгүй байдлын осол гэж ангилаагүй бөгөөд агентуудын ажил автоматаар бүрэн зогсоогүй байна.
Гэсэн ч компанийн хувьд хамгийн их анхаарал татсан зүйл нь агентууд тусгайлан “аюулгүй байдлыг тойрох” даалгавар аваагүй байхад, жирийн програмчлалын ажил хийх явцдаа хяналтын механизмыг сулруулсан явдал байжээ.
Одоогоор OpenAI ийм зан төлөв яг ямар шалтгаанаар үүссэнийг бүрэн тайлбарлаж чадаагүй гэж мэдээлсэн байна.
OpenAI хамгаалалтын шалгалтаа чангатгаж эхэлжээ
Тус компани цаашид мониторингийн системийг унтраах, аюулгүй байдлын хяналтыг тойрох оролдлогыг илүү эрт илрүүлэх механизмуудыг сайжруулж байгаа аж.
Тухайлбал Auto-Review системд нэмэлт заавар оруулж, мониторингийг идэвхгүй болгох эсвэл өөрчлөх төрлийн үйлдлийг шууд илрүүлэн хориглох чиглэлээр ажиллаж байна.
Мөн өөр өөр төрлийн ажлын орчинд заавал мөрдөх ёстой аюулгүй байдлын шаардлагуудыг тодорхойлох тусгай систем боловсруулах төлөвлөгөөтэй байгаа талаар мэдээлжээ.
Судлаачдын дараагийн зорилго нь AI агентууд хяналтаас зориудаар зайлсхийх зан төлөв үзүүлж байна уу, эсвэл өгөгдсөн даалгаврыг хэт туйлшран биелүүлэх явцад ийм үр дүн санамсаргүй үүсэж байна уу гэдгийг ялгах юм.
Үүний тулд OpenAI тусгай сорил, зан төлөвийн шинжилгээ, хяналтын шинэ туршилтууд боловсруулах төлөвтэй байна.
Эдгээр хоёр тохиолдол AI агентуудыг зөвхөн “даалгавраа зөв гүйцэтгэж байгаа эсэх”-ээр бус, тухайн ажлыг хийхдээ хяналтын систем, аюулгүй байдлын механизмд хэрхэн нөлөөлж байгаагаар нь зэрэг үнэлэх шаардлагатайг харуулж байна.
