Digitální knihovna UPCE přechází na novou verzi. Omluvte prosím případné komplikace. / The UPCE Digital Library is migrating to a new version. We apologize for any inconvenience.

Publikace:
Identification of Relevant and Redundant Automatic Metrics for MT Evaluation

Konferenční objektOmezený přístuppeer-reviewedpostprint
Zobrazit minimální záznam
dc.contributor.authorBenko, Ľubomírcze
dc.contributor.authorMunk, Michalcze
dc.contributor.authorMunková, Dašacze
dc.date.accessioned2017-05-11T10:56:22Z
dc.date.available2017-05-11T10:56:22Z
dc.date.issued2016eng
dc.description.abstractThe paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach’s alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.eng
dc.description.abstract-translatedTento článek je zaměřen na automatické metriky pro hodnocení kvality překladu (TQA), konkrétně na výstup strojového překladu (MT) a metriky pro hodnocení MT výstupu (přesnost, vzpomínáte, F-opatření, BLEU, PER, WER a CDER). Zkoumáme jejich spolehlivost a určíme metriky, které ukazují klesající spolehlivost automatického hodnocení MT výstup. Kromě tradiční opatření (Cronbach si alfa a standardizované alfa) používáme entropie pro posuzování spolehlivosti automatické metriky MT výstupu. Výsledky byly získány na dataset pokrývající překlad z nedostatku prostředků jazyka (SK) do anglicky (EN). Hlavním přínosem je tvořena identifikace redundantní automatické MT hodnocení metriky.cze
dc.event10th Multi-Disciplinary International Workshop on Artificial Intelligence, MIWAI 2016 (07.12.2016 - 09.12.2016)eng
dc.formatp. 141-152eng
dc.identifier.doi10.1007/978-3-319-49397-8_12
dc.identifier.isbn978-3-319-49396-1eng
dc.identifier.issn0302-9743eng
dc.identifier.obd39878534eng
dc.identifier.scopus2-s2.0-85007238734
dc.identifier.urihttps://hdl.handle.net/10195/67402
dc.identifier.wos000389332100012
dc.language.isoengeng
dc.peerreviewedyeseng
dc.project.IDSGS_2016_023/Ekonomický a sociální rozvoj v soukromém a veřejném sektorueng
dc.publicationstatuspostprinteng
dc.publisherSpringereng
dc.relation.ispartofLecture Notes in Computer Scienceeng
dc.relation.publisherversionhttps://link.springer.com/chapter/10.1007/978-3-319-49397-8_12
dc.rightsPouze v rámci univerzityeng
dc.subjectMachine translationeng
dc.subjectEvaluationeng
dc.subjectAutomatic metricseng
dc.subjectReliabilityeng
dc.subjectEntropyeng
dc.subjectRedundancyeng
dc.subjectStrojový překladcze
dc.subjectEvaluacecze
dc.subjectEntropiecze
dc.titleIdentification of Relevant and Redundant Automatic Metrics for MT Evaluationeng
dc.title.alternativeIdentifikace relevantních a redundantních automatických metrik pro MT evaluacicze
dc.typeConferenceObjecteng
dspace.entity.typePublication

Soubory

Původní svazek

Nyní se zobrazuje 1 - 1 z 1
Náhled
Název:
Iden.pdf
Velikost:
501.88 KB
Formát:
Adobe Portable Document Format
Iden.pdf (501.88 KB)

Kolekce

Publikační činnost akademických pracovníků UPCE / UPCE Research Outputs
Publikační činnost akademických pracovníků FES / FES Research Outputs