Identification of Relevant and Redundant Automatic Metrics for MT Evaluation
Konferenční objektOmezený přístuppeer-reviewedpostprintSoubory
Datum publikování
2016
Vedoucí práce
Oponent
Název časopisu
Název svazku
Vydavatel
Springer
Abstrakt
The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach’s alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.
Rozsah stran
p. 141-152
ISSN
0302-9743
Trvalý odkaz na tento záznam
Projekt
SGS_2016_023/Ekonomický a sociální rozvoj v soukromém a veřejném sektoru
Zdrojový dokument
Lecture Notes in Computer Science
Vydavatelská verze
https://link.springer.com/chapter/10.1007/978-3-319-49397-8_12
Přístup k e-verzi
Pouze v rámci univerzity
Název akce
10th Multi-Disciplinary International Workshop on Artificial Intelligence, MIWAI 2016 (07.12.2016 - 09.12.2016)
ISBN
978-3-319-49396-1
Studijní obor
Studijní program
Signatura tištěné verze
Umístění tištěné verze
Přístup k tištěné verzi
Klíčová slova
Machine translation, Evaluation, Automatic metrics, Reliability, Entropy, Redundancy, Strojový překlad, Evaluace, Entropie