Söz xətası ölçüsü (Word Error Rate (WER)) - Nitq tanıma və mətnlə işləyən texnologiyaların keyfiyyətini qiymətləndirmək üçün geniş istifadə olunan metrik. WER, sistemin transkripsiyasının orijinal mətnlə nə qədər uyğun olduğunu ölçür. Bu metrik həm elmi tədqiqatlarda, həm də sənaye tətbiqlərində geniş istifadə olunur. Aşağı WER dəyəri sistemin dəqiqliyinin yüksək olduğunu göstərir. WER, tanınan mətnlə orijinal mətn arasındakı fərqlərin ölçüsüdür və aşağıdakı düsturla hesablanır: WER = (S+D+I)/N Burada: S: Səhv tanınmış sözlərin sayı (substitutions), D: İtirilmiş (yox olan) sözlərin sayı (deletions), I: Əlavə edilmiş sözlərin sayı (insertions), N: Orijinal mətnin ümumi söz sayıdır. WER-in əsas məqsədi sistemin dəqiqlik və etibarlılıq səviyyəsini kvantitativ olaraq ifadə etməkdir. WER əsasən nitq tanıma sistemlərində, məsələn, avtomatik nitq tanıma (ASR) texnologiyalarında istifadə olunur. Nitq tanıma alqoritmlərinin keyfiyyətini qiymətləndirmək üçün WER-in istifadəsi aşağıdakı səbəblərdən vacibdir: - Dəqiqliyin ölçülməsi: Sistemlərin real istifadə şəraitində nə qədər dəqiq işlədiyini qiymətləndirir. - Performansın müqayisəsi: Fərqli ASR modelləri və ya alqoritmləri arasında müqayisə aparmağa imkan verir. - Nitq texnologiyalarının inkişafı: Yeni metodların mövcud yanaşmalarla müqayisəsində istifadə olunur. WER hesablanması nümunəsi: Orijinal mətn: Mən kitab oxuyuram. Tanınmış mətn: Mən kitab oxuyuram çox. Hesablamalar: S (səhvlər): 0 D (itirilənlər): 0 I (əlavə olunanlar): 1 ("çox" sözü əlavə edilib). N (sözlərin sayı): 3 WER=(0+0+1)/3=0.33 (və ya 33%) WER-in üstünlükləri Asan hesablana bilər və intuitiv olaraq başa düşülür. Nitq tanıma sistemlərindən tutmuş mətn çevirmə alqoritmlərinə qədər geniş sahələrdə istifadə olunur. Məhdudiyyətlər - Sözlərin bərabər çəkisi: Hər bir söz eyni çəkidə hesablandığı üçün bəzi vacib sözlərin səhv tanınması ilə kiçik əhəmiyyətsiz səhvlər eyni təsirə malikdir. - Kontekstin ləğv edilməsi: Mətnin mənasını və ya kontekstini nəzərə almır. Məsələn, "gedirəm evə" və "evə gedirəm" ifadələri fərqli kimi qiymətləndirilə bilər. Tətbiq sahələri - Avtomatik nitq tanıma: "Google Assistant", "Siri", "Alexa" kimi texnologiyaların performansının qiymətləndirilməsində istifadə olunur. - Dil öyrənmə proqramları: Dil öyrənənlərin nitq keyfiyyətini qiymətləndirən tətbiqlərdə istifadə olunur. - Transkripsiya sistemləri: Söhbətlərin və ya mətnlərin avtomatik transkripsiyasını həyata keçirən sistemlərdə WER performansı təyin edir.
https://en.wikipedia.org/wiki/Word_error_rate
https://www.sciencedirect.com/science/article/abs/pii/016763939090008W
chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://aclanthology.org/A00-2025.pdf
https://www.clari.com/blog/word-error-rate/
Tarix : 9 yanvar 2025
Əksi qeyd olunmayıbsa, bu məzmun CC BY-SA 4.0 çərçivəsində yayımlanır.
