Использование метода определения схожести слов для оценки алгоритмов векторизации текста

Аннотация

Сайгин А.А., Федосин С.А.

Дата поступления статьи: 26.05.2024

В статье представлено краткое описание существующих методов векторизации текстов на естественном языке. Описывается оценка методом определения похожести слов. Проводится сравнительный анализ работы нескольких моделей векторизаторов. Описывается процесс подбора данных для оценки. Сравниваются результаты оценки работы моделей.

Ключевые слова: обработка естественного языка, векторизация, словоформенный эмбеддинг, семантическая близость, корреляция

2.3.1 - Системный анализ, управление и обработка информации

.