Russian Semantic Evaluation

Материал из NLPub
Перейти к: навигация, поиск

RUSSE (сокр. англ. Russian Semantic Evaluation) — серия мероприятий по систематической оценке методов вычислительной семантики. Впервые мероприятие RUSSE состоялось в 2015 г. и было посвящено сравнению методов определения семантической близости слов.[1]

RUSSE 2018: Лексическая многозначность

Вывод значений слов — задача автоматического обнаружения значений слова по тексту или словарю. В настоящее время проводятся регулярные исследования методов автоматического вывода значений слов и разрешения лексической многозначности для западноевропейских языков, таких как английский, французский и немецкий. При этом систематической оценки таких методов для славянских языков не проводилась.

Данная дорожка призвана привлечь внимание исследователей к проблеме автоматического разрешения лексической многозначности и выявить эффективные подходы к решению этой задачи на примере русского языка. Основная трудность при обработке русского и других славянских языков состоит в меньшей доступности высококачественных лексических ресурсов, таких как WordNet для английского языка. Поэтому результаты проведения этой дорожки будут полезны для автоматической обработки как других славянских языков, так и для иных языков с недостаточной доступностью лексико-семантических ресурсов.

Ключевые даты

  • 15 октября 2017 г. — первое информационное письмо;
  • 1 ноября 2017 г. — публикация обучающего набора данных;
  • 15 декабря 2017 г. — публикация тестового набора данных;
  • 15 января 2017 г. — завершение приёма результатов для оценки;
  • 1 февраля 2017 г. — объявление результатов соревнования.

Цитирование

TBA

RUSSE 2015: Семантическая близость

Сегодня меры семантической близости активно исследуются и развиваются как направление в компьютерной лингвистике. За последние 20 лет создано и апробировано большое количество методов. Передовые результаты определения семантической близости, полученные в последние годы с применением нейросетевых моделей языка, вызывают ещё больший интерес к этому направлению.

К сожалению, большинство походов к определению семантической близости были реализованы и опробованы только на небольшом количестве европейских языков, в основном для английского языка. Российские исследователи эпизодически осуществляют попытки адаптации методов для английского языка, но эти попытки ограничиваются какими-либо конкретными приложениями и остаются без должной проверки и апробации.

Целью проекта RUSSE является заполнение возникшей информационной пустоты путём сравнения существующих методов в соревновательном порядке. В рамках соревнования RUSSE будет проводиться систематизированное сравнение базового алгоритма семантической близости с новейшими методами определения семантической близости для русского языка, что позволит выявить характерные особенности явления семантической близости в русском языке. Мероприятие будет организовано в виде соревнования систем, вычисляющих семантическую близость между словами.

Результаты, полученные по итогам мероприятия, будут в первую очередь полезны исследователям и разработчикам в области обработки естественного языка, а также филологам и лингвистам. Эти результаты могут также заинтересовать более широкую группу специалистов, таких как люди, изучающие русский в качестве иностранного языка.

Ключевые даты

  • 27 октября 2014 г. — открытие соревнования;
  • 5 января 2015 г. — публикация тестового набора данных;
  • 15 января 2015 г. — завершение приёма результатов для оценки;
  • 25 января 2015 г. — объявление результатов соревнования;
  • 15 февраля 2015 г. — завершение приёма статей с описанием результатов;
  • 27–30 мая 2015 г. — конференция «Диалог 2015».

Цитирование

@inproceedings{Panchenko:15,
  author    = {Panchenko, A. and Loukachevitch, N. V. and Ustalov, D. and Paperno, D. and Meyer, C. M. and Konstantinova, N.},
  title     = {{RUSSE: The First Workshop on Russian Semantic Similarity}},
  booktitle = {Computational Linguistics and Intellectual Technologies: Papers from the Annual conference ``Dialogue''. Volume 2 of 2. Papers from special sessions},
  year      = {2015},
  pages     = {89--105},
  address   = {Moscow, Russia},
  publisher = {RGGU},
  url       = {http://www.dialog-21.ru/digests/dialog2015/materials/pdf/PanchenkoAetal.pdf},
  language  = {english},
}

Ссылки

Примечания