METEOR (Metric for Evaluation of Translation with Explicit Ordering) - Tərcümə qiymətləndirmələri üçün istifadə olunan avtomatlaşdırılmış bir metrika. Xüsusilə maşın tərcüməsi sistemlərinin keyfiyyətini qiymətləndirməkdə geniş istifadə edilir. METEOR, 2000-ci ildə Alon Lavon və həmkarları tərəfindən təqdim edilmişdir və BLEU(bilingual evaluation understudy) metrikası ilə müqayisədə daha yüksək doğruluğa malik olduğu iddia edilmişdir. METEOR, xüsusilə tərcümə keyfiyyətinin daha dəqiq ölçülməsi üçün bir çox xüsusiyyəti nəzərə alır, o cümlədən sinonimləri, struktur dəyişikliklərini və cümlənin quruluşunu. METEOR-un xüsusiyyətləri METEOR, tərcümənin keyfiyyətini qiymətləndirərkən, həm də semantik uyğunluq və sintaktik dəyişiklikləri nəzərə alır. Bu, yalnız n-gram uyğunluqlarını deyil, həm də daha geniş dil strukturunu təhlil etməyə imkan verir. METEOR aşağıdakı əsas xüsusiyyətlərə malikdir: - Sinonimləri tanıma: METEOR, tərcümə edilmiş cümlədəki sözlərin sinonimlərini doğru cümlə ilə müqayisə edir. Bu xüsusiyyət, tərcümədə sinonimlərin istifadə edilməsi ilə bağlı doğru qiymətləndirmə aparmağa kömək edir. - Paraphrasal dəyişikliklər: METEOR, paraphrasal dəyişiklikləri (yəni, sözlərin və ifadələrin dəyişdirilməsi ilə əldə olunan mənanın eyniliyi) nəzərə alır və tərcümənin məna uyğunluğunu düzgün qiymətləndirir. - Cümlə strukturunun nəzərə alınması: METEOR, cümlənin sintaktik quruluşunu da nəzərə alır və cümlənin necə formalaşdığına əsaslanaraq, tərcümə edilmiş və doğru cümlələr arasındakı fərqləri qiymətləndirir. - İç istifadə: METEOR həmçinin cümlələr arasında söz sırasının dəyişdirilməsi və ya bəzi ifadələrin yerinin dəyişdirilməsini də qiymətləndirir. Riyazi ifadəsi: METEOR= F_β ⋅Precision⋅Recall Burada : Precision (Dəqiqlik): Tərcümə edilmiş cümlədəki düzgün n-gramların ümumi sayına nisbəti. Recall (Əhatə): Doğru (istinad) cümlədəki düzgün n-gramların ümumi sayına nisbəti.F-Score (Fβ ): Precision və Recall-un birləşdirilmiş ölçüsüdür. Bu ölçü daha balanslı qiymətləndirməni təmin edir. β parametri, Precision və Recall arasındakı önəmi tənzimləyir. Adətən β=1 seçilir, bu zaman Precision və Recall eyni əhəmiyyətə malik olur. METEOR-un üstünlükləri: - Sinonimlər və paraphraslar: METEOR, tərcümənin keyfiyyətini daha dəqiq ölçür, çünki sinonimləri və paraphrasal dəyişiklikləri nəzərə alır. Bu, xüsusən dilin müxtəlifliyini və ifadə imkanlarını yaxşı qiymətləndirməkdə kömək edir. - Cümlə strukturunun düzgünlüyü: METEOR, sintaktik dəyişiklikləri də nəzərə alaraq tərcümənin strukturunu qiymətləndirir. Bu, cümlə quruluşundakı dəyişikliklərə görə tərcümənin keyfiyyətini daha düzgün qiymətləndirməyə imkan verir. - Hibrid qiymətləndirmə: METEOR, tərcümənin həm məna, həm də sintaktik struktur baxımından qiymətləndirilməsini təmin edir. Bu hibrid yanaşma, yalnız n-gram uyğunluğuna əsaslanan metodlardan daha güclü nəticələr əldə etməyə imkan verir. METEOR-un çatışmazlıqları - Daha çətin hesablama: METEOR, BLEU metrikasına nisbətən daha mürəkkəb və daha çox hesablama tələb edən bir metrikadır. Bu səbəbdən, METEOR hesablama baxımından BLEU-dan daha yavaşdır. - Yerli çatışmazlıqlar: METEOR, sinonimləri və paraphrasları yaxşı qiymətləndirə bilsə də, bəzi dil strukturlarının çox yaxşı anlaşılmaması və ya düzgün qiymətləndirilməməsi halları baş verə bilər.
https://www.cs.cmu.edu/~alavie/METEOR/
https://en.wikipedia.org/wiki/METEOR
https://aclanthology.org/W05-0909/
https://link.springer.com/article/10.1007/s10590-008-9046-1
Tarix : 8 yanvar 2025
Əksi qeyd olunmayıbsa, bu məzmun CC BY-SA 4.0 çərçivəsində yayımlanır.
