Журнал "Программная инженерия"
Теоретический и прикладной научно-технический журнал
ISSN 2220-3397
Номер 6 2019 год
В настоящее время интеллектуальный анализ данных является основой для построения широкого спектра прикладных информационных систем. Современным и бурно развивающимся подходом в области анализа текстовых данных является использование векторных представлений слов и текстов. Векторные представления изначально применяли для решения задач определения смысловой близости слов и поиска аналогий, однако они оказались востребованными также и в области решения задачи классификации текстов. Применительно к этой задаче векторные представления рассматриваются в настоящей работе. Предложен подход к построению векторных представлений текстов, базирующийся на трансформации согласованных с ними векторных представлений слов. Подобные трансформации подразумевают изменение исходной модели и размерности векторного представления и реализуются в виде решения задачи восстановления многомерной регрессии. Проведенные над тестовыми наборами данных эксперименты позволяют сделать следующие выводы. Построенные с помощью трансформаций векторные представления документов могут иметь меньшую размерность. При этом их использование в решении задачи классификации текстов в большинстве случаев дает более точный результат, чем при использовании исходных векторных представлений.