Главная мысль
Выбирая языковой инструмент, определите задачу: поиск, извлечение данных, классификация и генерация текста требуют разных подходов.
NLP обрабатывает текст и речь для конкретной задачи
Обработка естественного языка (NLP) объединяет методы обработки текста и речи на человеческом языке. Систему можно настроить на конкретную задачу: разбить текст на токены, распознать сущности вроде имён и IP-адресов, классифицировать тему или составить краткое резюме. Фильтр почты может классифицировать подозрительное письмо, а поиск по инцидентам — извлечь индикатор угрозы из текста журнала. Это не обязательно означает полное понимание намерения и контекста; результат проверяют с учётом цели применения.
Токенизация
Разбивает текст на обрабатываемые единицы — слова или их части.
NER
Находит в тексте сущности: имена, организации, места или IP-адреса.
Классификация
Относит сообщение к заданной категории, например к спаму или обычной почте.
Как стемминг и лемматизация объединяют формы слов
Стемминг по правилам отсекает части слова, обычно суффиксы, и получает основу, которая может отсутствовать в словаре. Лемматизация использует словарь и грамматику, чтобы определить базовую форму с учётом контекста. Например, алгоритм стемминга может свести «connect», «connected» и «connecting» к похожему корню, но чрезмерно сблизить разные слова. И наоборот, формы «alumnus» и «alumni» могут не получить общий корень. Строение слов в языках различается: выбирайте подходящий для языка алгоритм стемминга и проверяйте на реальных текстах как чрезмерное, так и неполное объединение.
| Подход | Стемминг | Лемматизация |
|---|---|---|
| Результат | Может дать форму, которой нет в словаре | Словарная форма, или лемма |
| Способ обработки | Приблизительное сопоставление по правилам | Сопоставление по словарю и грамматике |
Генеративная LLM формирует ответ по токенам
Большая языковая модель (LLM) усваивает закономерности языка по большим массивам текста. Генеративная LLM использует эти закономерности для создания текста. Вход делится на токены, каждый из которых получает числовое представление — эмбеддинг. В модели на основе Transformer механизм самовнимания (self-attention) вычисляет связи между этими представлениями с учётом контекста. Модель оценивает вероятности следующих токенов и постепенно формирует ответ. Обучение настраивает параметры, а применение модели к новому запросу называется инференсом. Связный ответ не гарантирует точность: на него влияют запрос и подключённые данные.
Обучение
Примеры текста и выбранная цель формируют параметры модели.
Применение модели
Модель формирует текстовый ответ на новый запрос.
Проверяйте источник и результат языкового анализа
NLP может помогать фильтровать фишинговые письма, извлекать индикаторы из отчётов об угрозах и кратко излагать записи об инцидентах. Те же возможности могут использоваться для создания убедительных фишинговых сообщений. LLM может принять текст из веб-страницы или документа за инструкцию, уверенно сообщить неверный факт или включить в ответ чувствительный контекст. Проверяйте вывод по источникам и с участием человека; ограничивайте полномочия интеграции задачей, если она влияет на действия.