Hyperstar

Материал из NLPub
Перейти к: навигация, поиск

Hyperstar — утилита построения матрицы линейного преобразования для векторов слов.[1]

Метод

Hyperstar-Regularization.svg

\Phi^* = \arg\min_{\Phi} \frac{1}{N} \sum_{(\vec{x}, \vec{y})} \left\|\vec{x}\Phi - \vec{y}\right\|^2

\Phi^* = \arg\min_{\Phi} \frac{1}{N} \left(\sum_{(\vec{x}, \vec{y})} \left\|\vec{x}\Phi - \vec{y}\right\|^2 + \lambda \sum_{\vec{x}} (\vec{x}\Phi\Phi \cdot \vec{x})^2\right)

\Phi^* = \arg\min_{\Phi} \frac{1}{N} \left(\sum_{(\vec{x}, \vec{y})} \left\|\vec{x}\Phi - \vec{y}\right\|^2 + \lambda \sum_{(\vec{x}, \vec{z})} (\vec{x}\Phi\Phi \cdot \vec{z})^2\right)

Ссылки

Примечания

  1. Ustalov D., Arefyev N., Biemann C., Panchenko A. (2017), Negative Sampling Improves Hypernymy Extraction Based on Projection Learning