Главная мысль
Оценивая решение системы, выясните, какую задачу она решает, на каких данных обучалась и как выявляют и проверяют ошибки.
Алгоритм задаёт шаги, а модель описывает закономерности
Алгоритм — конечный набор понятных шагов для входных данных, например сортировка событий по времени. Алгоритм машинного обучения может извлечь параметры из примеров и создать модель; модель затем вычисляет результат для новых данных. Фиксированное правило задаёт повторяемые шаги при одинаковых условиях, а обученная модель опирается на закономерности в выбранных данных. И то и другое может работать в программе, но слова «алгоритм», «модель» и «ИИ» не означают одно и то же.
Правило
Применяет условия и действия, заданные человеком.
Модель
Оценивает новый пример с помощью параметров, полученных при обучении на данных.
Архитектура
Это устройство модели; пример такой архитектуры — CNN.
Разделяйте обучение и применение модели
Во время обучения модель настраивает параметры по примерам и выбранной цели. Недостаточно запомнить обучающие данные: полезный результат должен сохраняться и на ранее не встречавшихся данных. При применении, или inference, уже обученная модель вычисляет результат для нового входа. Например, классификатор, обученный на размеченной истории, может отнести новый файл к категории риска. Результат может быть вероятностью или баллом; его смысл задают задача модели, порог и способ проверки.
Обучение
Модель настраивает параметры по историческим примерам; тестовые данные держат отдельно.
Применение модели
Модель вычисляет результат для новых данных; сопоставляйте его с наблюдениями и правилами принятия решений.
Пример CNN: от локальных признаков к классификации
Сверточная нейронная сеть (CNN) — тип нейросети, который ищет повторяющиеся локальные структуры во входных данных с помощью фильтров. Сверточные слои создают карты признаков, слой объединения (pooling) может уменьшить их размер, а следующие слои объединяют признаки для классификации. Для изображения такими признаками могут быть края и формы; в исследовательской задаче безопасности байты файла тоже можно представить как изображение. Например, преобразуйте файлы в оттенки серого по фиксированному правилу, обучите CNN на размеченных примерах, а затем проверьте ошибки по семействам и вариантам на отдельном наборе файлов. Результат относится к этому представлению и тестовому набору.
Проверяйте результат модели с учётом её задачи
Уточните, какое решение поддерживает модель, на каких примерах её проверяли и где результат может быть ненадёжным. В классификации измеряйте и ложноположительные, и ложноотрицательные результаты: блокировка безопасного файла и пропуск вредоносного файла имеют разные последствия. Повторяйте оценку при появлении новых типов данных, изменении поведения и обновлении модели. Попросите поставщика показать отчёт с охватом обучающих данных, способом отделения тестовой выборки, измеренными частотами ошибок в подходящей среде, базой сравнения и известными ограничениями.