Russian Semantic Evaluation

RUSSE (сокр. англ. Russian Semantic Evaluation) — серия мероприятий по систематической оценке методов вычислительной семантики. Впервые мероприятие RUSSE состоялось в 2015 г. и было посвящено сравнению методов определения семантической близости слов.^[1]

RUSSE 2018: Лексическая многозначность

Вывод значений слов — задача автоматического обнаружения значений слова по тексту или словарю. В настоящее время проводятся регулярные исследования методов автоматического вывода значений слов и разрешения лексической многозначности для западноевропейских языков, таких как английский, французский и немецкий. При этом систематической оценки таких методов для славянских языков не проводилась.

Данная дорожка призвана привлечь внимание исследователей к проблеме автоматического разрешения лексической многозначности и выявить эффективные подходы к решению этой задачи на примере русского языка. Основная трудность при обработке русского и других славянских языков состоит в меньшей доступности высококачественных лексических ресурсов, таких как WordNet для английского языка. Поэтому результаты проведения этой дорожки будут полезны для автоматической обработки как других славянских языков, так и для иных языков с недостаточной доступностью лексико-семантических ресурсов.

Ключевые даты

15 октября 2017 г. — первое информационное письмо;
1 ноября 2017 г. — публикация обучающего набора данных;
15 декабря 2017 г. — публикация тестового набора данных;
4 февраля 2018 г. — завершение приёма результатов для оценки;
15 февраля 2018 г. — объявление результатов соревнования;
30 мая – 2 июня 2018 г. — конференция «Диалог 2018».

Цитирование

Panchenko, A., Lopukhina, A., Ustalov, D., Lopukhin, K., Arefyev, N., Leontyev, A., Loukachevitch, N.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. pp. 547–564. RSUH, Moscow, Russia (2018)

@inproceedings{RUSSE2018,
  author    = {Panchenko, Alexander and Lopukhina, Anastasia and Ustalov, Dmitry and Lopukhin, Konstantin and Arefyev, Nikolay and Leontyev, Alexey and Loukachevitch, Natalia},
  title     = {{RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language}},
  booktitle = {Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference ``Dialogue''},
  year      = {2018},
  pages     = {547--564},
  url       = {http://www.dialog-21.ru/media/4539/panchenkoaplusetal.pdf},
  address   = {Moscow, Russia},
  publisher = {RSUH},
  issn      = {2221-7932},
  language  = {english},
}

RUSSE 2015: Семантическая близость

Сегодня меры семантической близости активно исследуются и развиваются как направление в компьютерной лингвистике. За последние 20 лет создано и апробировано большое количество методов. Передовые результаты определения семантической близости, полученные в последние годы с применением нейросетевых моделей языка, вызывают ещё больший интерес к этому направлению.

К сожалению, большинство походов к определению семантической близости были реализованы и опробованы только на небольшом количестве европейских языков, в основном для английского языка. Российские исследователи эпизодически осуществляют попытки адаптации методов для английского языка, но эти попытки ограничиваются какими-либо конкретными приложениями и остаются без должной проверки и апробации.

Целью проекта RUSSE является заполнение возникшей информационной пустоты путём сравнения существующих методов в соревновательном порядке. В рамках соревнования RUSSE будет проводиться систематизированное сравнение базового алгоритма семантической близости с новейшими методами определения семантической близости для русского языка, что позволит выявить характерные особенности явления семантической близости в русском языке. Мероприятие будет организовано в виде соревнования систем, вычисляющих семантическую близость между словами.

Результаты, полученные по итогам мероприятия, будут в первую очередь полезны исследователям и разработчикам в области обработки естественного языка, а также филологам и лингвистам. Эти результаты могут также заинтересовать более широкую группу специалистов, таких как люди, изучающие русский в качестве иностранного языка.

RUSSE 2015 Semantic Similarity

Ключевые даты

27 октября 2014 г. — открытие соревнования;
5 января 2015 г. — публикация тестового набора данных;
15 января 2015 г. — завершение приёма результатов для оценки;
25 января 2015 г. — объявление результатов соревнования;
15 февраля 2015 г. — завершение приёма статей с описанием результатов;
27–30 мая 2015 г. — конференция «Диалог 2015».

Цитирование

Panchenko, A., Loukachevitch, N.V., Ustalov, D., Paperno, D., Meyer, C.M., Konstantinova, N.: RUSSE: The First Workshop on Russian Semantic Similarity. In: Computational Linguistics and Intellectual Technologies: papers from the Annual conference “Dialogue”. Volume 2 of 2. Papers from special sessions. RGGU, Moscow, Russia (2015) 89–105.

@inproceedings{RUSSE2015,
  author    = {Panchenko, Alexander and Loukachevitch, Natalia V. and Ustalov, Dmitry and Paperno, Denis and Meyer, Christian M. and Konstantinova, Natalia},
  title     = {{RUSSE: The First Workshop on Russian Semantic Similarity}},
  booktitle = {Computational Linguistics and Intellectual Technologies: Papers from the Annual conference ``Dialogue''. Volume 2 of 2. Papers from special sessions},
  year      = {2015},
  pages     = {89--105},
  address   = {Moscow, Russia},
  publisher = {RGGU},
  url       = {http://www.dialog-21.ru/digests/dialog2015/materials/pdf/PanchenkoAetal.pdf},
  language  = {english},
}

Ссылки

Сайт мероприятия RUSSE

Примечания

↑ A. Panchenko, N. V. Loukachevitch, D. Ustalov et al. (2015), RUSSE: The First Workshop on Russian Semantic Similarity

[Panchenko2015-1] A. Panchenko, N. V. Loukachevitch, D. Ustalov et al. (2015), RUSSE: The First Workshop on Russian Semantic Similarity

[1]