Оценка методов автоматического анализа текста

Материал из NLPub
Перейти к: навигация, поиск

Оценка методов автоматического анализа текста — форум.

Разрешение анафоры/кореференции 2014

В 2014 году темой форума является автоматическое распознавание анафоры и автоматическое распознавание кореферентных связей. Обсуждение результатов планируется провести в рамках конференции «Диалог 2014». Имеются в виду, например, следующие задачи:

  1. местоименная анафора: определение именной группы, к которой относится местоимение, в пределах предложения или связанного текста. Пример: Выступая перед комиссией сейма в декабре 1992 года, Ярузельский взял на себя ответственность за этот шаг. По решению суда он не участвует в процессе в связи с состоянием здоровья;
  2. кореференция именованных сущностей: определение всех упоминаний одной сущности в пределах связанного текста. Например, в продолжении к предыдущему пункту: Сейчас бывший польский президент находится в отделении интенсивной терапии. 89-летний экс-президент госпитализирован в день 31-й годовщины введения военного положения в Польше).

Аналогичные дорожки проводятся в рамках таких международных семинаров по оценке NLP, как SemEval 2010, CoNLL 2011, EVALITA 2011 для английского и других европейских языков. Для русского языка семинаров по оценке подходов к разрешению анафоры/кореферентности до сих пор не проводилось.

Приглашаем желающих принять участие в любой из дорожек. Подать заявку и уточнить вопросы, связанные с проведением дорожек, можно по адресу nlprueval@gmail.com. К сотрудничеству приглашаются волонтеры для участия в проведении дорожек.

Предварительное обсуждение регламента прошло на круглом столе конференции «Диалог 2013». Комментарии и предложения можно оставлять непосредственно в документе, либо принять участие в обсуждениях на форуме.

Версию разметки золотого стандарта можно посмотреть по адресу http://antec.compling.net/res01/test1.php?b=test1.

Ориентировочные сроки проведения дорожек:

  • заявки на участие: до 20 января 2014 г.
  • обсуждение деталей регламента: до 20 января 2014 г.
  • раздача тестовой коллекции: 5 февраля 2014 г.
  • прием результатов прогона до: 15 февраля 2014 г.