Cloudflare-ийн дэлхий даяарх тасалдал: жижиг алдаа асар олон сайтыг зогсоов

19

Тасалдал юунаас болж үүсэв?

Контент хүргэлтийн сүлжээ болон хамгаалалтын үйлчилгээний дэлхийн томоохон тоглогч Cloudflare дээр гарсан дотоод алдаа олон улсын түвшний томоохон тасалдал үүсгэж, ChatGPT, Canva, зарим AWS-ийн үйлчилгээ зэрэг олон платформыг хэдэн цагийн турш доголдууллаа.

Энэ удаагийн үйл явдал нь өнөөгийн интернетийн “том” саатлууд заавал кибер халдлагаас үүддэггүй, харин өөрсдийн дотоод тохиргоо, хөгжүүлэлтийн алдаанаас улам бүр шалтгаалах болсон тод жишээ боллоо.

11 сарын 18-нд болсон бөгөөд ойролцоогоор зургаан цаг үргэлжилсэн энэ тасалдал Cloudflare-ийн дотоод өгөгдлийн сангийн нэг систем дээр хийгдсэн эрхийн өөрчлөлтөөс эхэлжээ. Энэхүү жижигхэн харагдах өөрчлөлт нь Bot Management системд ашиглагддаг “feature” буюу шинж чанарын файлыг буруу үүсгэхэд хүргэсэн байна.

Feature файл хэрхэн “осолын гол цэг” болов?

Шинэчлэгдсэн файл сүлжээгээр түгэх явцдаа агуулга нь давхардсаар, хэмжээ нь зөвшөөрөгдсөн лимитээс давж томорчээ. Үүний улмаас Cloudflare-ийн зангилаанууд дээр уг файл ачаалж чадахаа больж, нэгдсэн байдлаар каскад хэлбэрийн алдаа үүссэн байна.

Cloudflare-ийн хамтран үүсгэн байгуулагч, гүйцэтгэх захирал Мэттью Принс компанийнхаа блогт бичихдээ, өгөгдлийн сангийн түвшинд тохиргооны файл руу нэг мөр мэдээллийг олон удаа давхардуулж бичих явц эхэлсэн гэж тайлбарласан.

Шинэчлэгдсэн файл бүх дата төв, зангилаанд түгмэгц хэмжээ нь системийн тогтоосон хязгаараас давж, дэд бүтцийн зарим хэсэг дараалан унтрах нөхцөл бүрдсэн гэж тэр тодотгосон. Алдааг олж тогтоосны дараа Cloudflare асуудалтай файлыг өмнөх тогтвортой хувилбараар сольж, түгээлтийг нь шууд буцаажээ.

Эхний таамаг: аварга том DDoS, бодит байдал дээр — дотоод алдаа

Тасалдал эхлэх мөчид HTTPS-ийн 5xx төрлийн алдааны тоо огцом өссөн нь компанид эхлээд асар хүчтэй DDoS халдлага болж байна гэсэн сэжиг төрүүлжээ.

Гэвч нарийвчилсан шинжилгээ хийсний эцэст ClickHouse өгөгдлийн сангийн зангилаа тус бүр буруу форматтай тохиргооны файл үүсгэсэн нь бүх асуудлын эх үүсвэр байсан нь тодорхой болсон байна.

Принсийн тайлбарласнаар Cloudflare дээр ирж буй бүх хүсэлт стандарт маршрутаар дамждаг. Эхлээд HTTP/TLS түвшинд хүлээн авч, дараа нь гол прокси давхарга болох FL (Frontline) руу, тэндээсээ Pingora руу дамждаг. Pingora нь кэшийг шалгах эсвэл эх сервер рүү хүсэлт дамжуулах үүрэгтэй.

Энэ явцад хэрэглэгч бүрийн тохиргоонд тохируулан:

• WAF болон DDoS хамгаалалтын дүрэм,
• Developer Platform болон R2 руу чиглүүлэх тохиргоо,
• бусад аюулгүй байдал, гүйцэтгэлийн параметрууд

тус тус хэрэгждэг. Эдгээрийг тусдаа модулиуд хариуцдаг бөгөөд энэ удаагийн доголдлын гол буруутнаар Bot Management модуль тодорлоо.

Bot Management модуль яагаад унав?

Bot Management нь ирж буй хүсэлт бүрт “бот оноо” өгдөг машин сургалтын загварт тулгуурладаг. Энэ загвар нь тухайн хүсэлт автоматжуулсан эсэхийг тодорхойлох шинж чанаруудын багцыг агуулсан тусгай feature файл дээр суурилдаг.

Ботуудын шинэ төрлийг хурдан илрүүлэхийн тулд уг файлыг хэдэн минут тутам шинэчилдэг ч энэ удаагийн шинэчлэлт алдаа дагуулжээ.

ClickHouse руу илгээдэг нэг асуулгын зан төлөв өөрчлөгдсөний улмаас feature файлд мөр мэдээлэл давхардсаар байж, файл маш хурдан “хөөж” томорч, Bot Management модуль дээр алдаа үүсгэв.

Үүний дараа гол прокси систем уг модульд хамааралтай траффикт HTTP 5xx алдаа буцааж эхэлсэн бөгөөд зөвхөн веб хүсэлтүүд гэлтгүй Workers KV болон Access зэрэг бусад үйлчилгээнүүд ч доголдолд орсон байна.

Хэрхэн засав, юу сурсан бэ?

Асуудлын шалтгааныг тогтоосны дараа Cloudflare:

• алдаатай файл үүсгэх, түгээх процессыг шууд зогсоож,
• өмнөх тогтвортой хувилбарыг гараар түгээлтийн дараалалд оруулж,
• гол прокси давхаргыг албадан дахин ачаалж

тасалдлыг аажмаар арилгасан гэж мэдэгдлээ.

EIIRTrend & Pareekh Consulting компанийн гүйцэтгэх захирал Парік Жайн нөхцөл байдлыг алдарт “эрвээхэйн эффект”-тэй зүйрлэж:

“Бид эрвээхэйн эффектийн орчин үеийн хувилбарыг харж байна. Нэг модульд гарсан жижиг өөрчлөлт нь бүхэл системийн хувьд хяналтгүй үр дагаварт хүргэж болзошгүй.”

хэмээн онцолсон байна.

Түүний хэлснээр, томоохон үүлэн платформууд аюулгүй байдлын модулиуд, AI-д суурилсан шийдлүүдийг хүсэлтийн чиглүүлэлт, ядро дэд бүтэцтэйгээ улам бүр нягт уялдуулж байгаа энэ үед ганц жижиг алдаа дараагийн бүх давхаргад гинжин хэлхээний дагуу нөлөөлөх эрсдэл эрс нэмэгджээ.

Дотоод алдаанаас үүдэлтэй глобал тасалдлууд нэмэгдэж байна

Cloudflare-ийн энэ инцидент нь сүүлийн жилүүдийн нийтлэг чиг хандлагатай нийцэж байна. Дэлхийн хэмжээний томоохон доголдлын шалтгаан нь олонтаа кибер халдлага бус, харин:

• буруу тохиргоо,
• алдаатай автоматжуулалт,
• дотоод системийн шүүлт, валидацийн сул тал

байх болжээ.

Жишээлбэл, Microsoft Azure дээр гарсан томоохон тасалдал AFD-ийн буруу конфигурациас үүдэлтэй байсан бол AWS нь автоматжуулсан DNS системийн доголдлоос болж томоохон сааталтай тулгарсан байдаг.

Cloudflare ямар арга хэмжээ авч байна вэ?

Ирээдүйд ижил төрлийн алдааг дахин гаргахгүй байхын тулд Cloudflare дараах чиглэлд нэмэлт арга хэмжээ авч эхэлснээ мэдэгдлээ. Үүнд:

• тохиргооны файлуудын валидацийн процессыг илүү хатуу болгох,
• системийн түвшинд глобал “kill-switch” механизм нэвтрүүлэх,
• алдаатай дамп, том файл системийг хэт ачаалах боломжийг хязгаарлах,
• core proxy-ийн бүх модульд тусгай “алдааны горим”, нөөц сценариудыг сайжруулан турших

зэрэг багтаж байна.

Интернетийн гол дэд бүтэц цөөн компанид төвлөрсөн энэ үед ганц өгөгдлийн сангийн асуумж, ганц модуль дээрх алдаа сая сая хэрэглэгч, мянга мянган үйлчилгээнд шууд нөлөөлж болдгийг Cloudflare-ийн энэ тасалдал тод харууллаа.