Russian Semantic Evaluation

Материал из NLPub
(перенаправлено с «Russian Semantic Similarity Evaluation»)
Перейти к: навигация, поиск

RUSSE (сокр. англ. Russian Semantic Evaluation) — серия мероприятий по систематической оценке методов вычислительной семантики. Впервые мероприятие RUSSE состоялось в 2015 г. и было посвящено сравнению методов определения семантической близости слов.[1]

RUSSE 2018: Лексическая многозначность

Вывод значений слов — задача автоматического обнаружения значений слова по тексту или словарю. В настоящее время проводятся регулярные исследования методов автоматического вывода значений слов и разрешения лексической многозначности для западноевропейских языков, таких как английский, французский и немецкий. При этом систематической оценки таких методов для славянских языков не проводилась.

Данная дорожка призвана привлечь внимание исследователей к проблеме автоматического разрешения лексической многозначности и выявить эффективные подходы к решению этой задачи на примере русского языка. Основная трудность при обработке русского и других славянских языков состоит в меньшей доступности высококачественных лексических ресурсов, таких как WordNet для английского языка. Поэтому результаты проведения этой дорожки будут полезны для автоматической обработки как других славянских языков, так и для иных языков с недостаточной доступностью лексико-семантических ресурсов.

Ключевые даты

  • 15 октября 2017 г. — первое информационное письмо;
  • 1 ноября 2017 г. — публикация обучающего набора данных;
  • 15 декабря 2017 г. — публикация тестового набора данных;
  • 4 февраля 2018 г. — завершение приёма результатов для оценки;
  • 15 февраля 2018 г. — объявление результатов соревнования;
  • 30 мая – 2 июня 2018 г. — конференция «Диалог 2018».

Цитирование

@inproceedings{RUSSE2018,
  author    = {Panchenko, Alexander and Lopukhina, Anastasia and Ustalov, Dmitry and Lopukhin, Konstantin and Arefyev, Nikolay and Leontyev, Alexey and Loukachevitch, Natalia},
  title     = {{RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language}},
  booktitle = {Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference ``Dialogue''},
  year      = {2018},
  pages     = {547--564},
  url       = {http://www.dialog-21.ru/media/4539/panchenkoaplusetal.pdf},
  address   = {Moscow, Russia},
  publisher = {RSUH},
  issn      = {2221-7932},
  language  = {english},
}

RUSSE 2015: Семантическая близость

Сегодня меры семантической близости активно исследуются и развиваются как направление в компьютерной лингвистике. За последние 20 лет создано и апробировано большое количество методов. Передовые результаты определения семантической близости, полученные в последние годы с применением нейросетевых моделей языка, вызывают ещё больший интерес к этому направлению.

К сожалению, большинство походов к определению семантической близости были реализованы и опробованы только на небольшом количестве европейских языков, в основном для английского языка. Российские исследователи эпизодически осуществляют попытки адаптации методов для английского языка, но эти попытки ограничиваются какими-либо конкретными приложениями и остаются без должной проверки и апробации.

Целью проекта RUSSE является заполнение возникшей информационной пустоты путём сравнения существующих методов в соревновательном порядке. В рамках соревнования RUSSE будет проводиться систематизированное сравнение базового алгоритма семантической близости с новейшими методами определения семантической близости для русского языка, что позволит выявить характерные особенности явления семантической близости в русском языке. Мероприятие будет организовано в виде соревнования систем, вычисляющих семантическую близость между словами.

Результаты, полученные по итогам мероприятия, будут в первую очередь полезны исследователям и разработчикам в области обработки естественного языка, а также филологам и лингвистам. Эти результаты могут также заинтересовать более широкую группу специалистов, таких как люди, изучающие русский в качестве иностранного языка.

Ключевые даты

  • 27 октября 2014 г. — открытие соревнования;
  • 5 января 2015 г. — публикация тестового набора данных;
  • 15 января 2015 г. — завершение приёма результатов для оценки;
  • 25 января 2015 г. — объявление результатов соревнования;
  • 15 февраля 2015 г. — завершение приёма статей с описанием результатов;
  • 27–30 мая 2015 г. — конференция «Диалог 2015».

Цитирование

@inproceedings{RUSSE2015,
  author    = {Panchenko, Alexander and Loukachevitch, Natalia V. and Ustalov, Dmitry and Paperno, Denis and Meyer, Christian M. and Konstantinova, Natalia},
  title     = {{RUSSE: The First Workshop on Russian Semantic Similarity}},
  booktitle = {Computational Linguistics and Intellectual Technologies: Papers from the Annual conference ``Dialogue''. Volume 2 of 2. Papers from special sessions},
  year      = {2015},
  pages     = {89--105},
  address   = {Moscow, Russia},
  publisher = {RGGU},
  url       = {http://www.dialog-21.ru/digests/dialog2015/materials/pdf/PanchenkoAetal.pdf},
  language  = {english},
}

Ссылки

Примечания