1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ АНАЛИЗА ТЕКСТОВ МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ 8 1.1 Основные теоретические понятия обработки естественных языков (NLP) 8 1.2 Суммаризация текстов: понятие, виды 12 1.3 Алгоритмы суммаризации текстов 27 2 ОПИСАНИЕ ДАННЫХ И ИХ СВОЙСТВА 35 2.1 Загрузка первичных данных 35 2.2 Краткая характеристика датасета 38 3 РАЗРАБОТКА АЛГОРИТМА СУММАРИЗАЦИИ КОРОТКИХ ТЕКСТОВ НА РУССКОМ ЯЗЫКЕ 45 3.1 Применение алгоритмов машинного обучения для анализа текстовых данных и получения суммаризации по ним 45 3.2 Проведение экспериментов на приведенных алгоритмах машинного обучения анализа текстовых данных 51 3.3 Проверка качества полученных моделей машинного обучения 54 ЗАКЛЮЧЕНИЕ 59 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 62