TExEval

Материал из NLPub
Перейти к: навигация, поиск

TExEval (сокр. англ. Taxonomy Extraction Evaluation) — программа, вычисляющая меру качества в дорожке SemEval 2016 Task 13.[1] Мерой качества в данной дорожке является кумулятивный индекс Фоулкса-Мэллоу.[2]

Доступность

Утилита TExEval разработана в рамках дорожки SemEval 2016 Task 13 и распространяется в виде JAR-файла. Исходные коды недоступны.

Установка

Достаточно скачать и распаковать архив с программой и примерами использования с сайта дорожки.

Для запуска необходима среда выполнения Java.

Использование

Программа TExEval принимает следующие параметры командной строки: java -jar TExEval.jar system.taxo gold.taxo root output.txt, где

  • system.taxo — таксономия для сравнения с золотым стандартом;
  • gold.taxo — таксономия золотого стандарта;
  • root — общая корневая вершина;
  • output.txt — имя файла для записи результатов оценки.

Кроме того, рекомендуется выставить значения -Xmx, чтобы среде выполнения Java хватило памяти для решения задачи. Пример запуска:

java -Xmx8G -jar TExEval.jar ./example/sys1.taxo ./example/gold1.taxo entity ./example/resultsVSGoldStandard.txt

Файлы с таксономиями являются текстовыми файлами, состоящими из трёх полей, разделённых знаком табуляции:

  • идентификатор отношения;
  • нижестоящее слово;
  • вышестоящее слово.

Ссылки

См. также

Примечания

  1. Bordea G., Lefever E., Buitelaar P. (2016), SemEval-2016 Task 13: Taxonomy Extraction Evaluation (TExEval-2)
  2. Velardi P., Faralli S., Navigli R. (2013), OntoLearn Reloaded: A Graph-Based Algorithm for Taxonomy Induction