Apple компани Охайо мужийн их сургуультай хамтран ижил төрлийн системүүдээс 128 дахин хурдан текст үүсгэх чадвартай шинэ хэлний загвар болох FS-DFM (Few-Step Diffusion Flow Matching)-ийг танилцууллаа. Энэ тухай 9to5mac.com сайт “FS-DFM: Хэлний тархалтын загваруудыг ашиглан цөөн алхамаар урт текстийг хурдан, үнэн зөв гаргах нь” судалгаанд үндэслэн мэдээлжээ.
FS-DFM хэрхэн ажилладаг вэ
FS-DFM нь ердөө найман алхамаар бүрэн текст гаргах чадвартай бөгөөд энэ нь бусад диффузийн загваруудын мянга орчим алхам шаарддагтай харьцуулахад асар хурдан юм.
Тус систем нь дараах зарчмаар ажилладаг.
- Олон шатлалтай сургалт: Загвар нь текстийг янз бүрийн хувилбараар боловсруулж, сайжруулсан давталт бүрт илүү оновчтой болдог.
- “Багш” загварын хэрэглээ: Энэ арга нь өгөгдсөн текстээс хэтрэлгүй, алхам бүрт илүү нарийн шинэчлэлт хийх боломжийг олгодог.
- Давталт бүрийн залруулга: Загварыг илүү тогтвортой болгож, цөөн алхамаар өндөр чанартай үр дүнд хүрэхэд тусалдаг.
Үр дүн
FS-DFM нь хоёр үндсэн үзүүлэлтээр онцгой амжилт үзүүлжээ.
- Төөрөгдөл (Perplexity): Текстийн байгалийн чанарыг хэмжих үзүүлэлт. FS-DFM-ийн оноо бага гарсан нь илүү найдвартай, бодитой текст үүсгэдгийг харуулж байна.
- Энтропи (Entropy): Загварын үг сонгох итгэлцлийн үзүүлэлт. FS-DFM-ийн энтропи тогтвортой, эмх цэгцтэй байжээ.
1.7, 1.3, 0.17 тэрбум параметр бүхий FS-DFM-ийн авсаархан хувилбарууд нь Dream (7 тэрбум параметр) болон LLaDA (8 тэрбум параметр) зэрэг загваруудаас илүү бага төөрөгдөлтэй, илүү тогтвортой энтропи гаргаж чадсан байна.
Ирээдүйн хэрэглээ
Хөгжүүлэгчид FS-DFM-ийн код болон хяналтын цэгүүдийг (checkpoints) нийтэд нээлттэй болгох төлөвтэй байгаа бөгөөд энэ нь цаашдын судалгаа, туршилтыг хялбарчлах юм.
Энэхүү шинэ технологи нь Apple-ийн хиймэл оюун ухааны чиглэлд илүү хөнгөн, хурдан, үр ашигтай хэлний загвар бүтээх томоохон алхам хэмээн шинжээчид үнэлж байна.
