On Information Theoretical Model for Data Classification

Michael Lange
2018 Machine Learning and Data Analysis  
Исследуется модель классификации в терминах зависимости средней взаимной информации между множеством классифицируемых объектов и множеством решений от допустимой вероятности ошибки. Оптимизация модели состоит в минимизации средней взаимной информации по распределениям вероятностей решений при заданном ограничении на вероятность ошибки. Задача оптимизации сводится к вычислению функции скоростьпогрешность в схеме кодирования номера класса по объекту, переданному по непрерывному каналу наблюдения
more » ... заданными условными по классам плотностями распределения. Построены нижние границы функций скорость-погрешность в схемах классификации без отказа и с отказом, которые позволяют сравнить значения потенциально достижимой точности при использовании различных данных и каналов наблюдения. Теоретические результаты подтверждаются экспериментальными оценками вероятности ошибки распознавания лиц по декоррелированным компонентам RGB изображений. Ключевые слова: модель классификации; опция отказа; условная по классу плотность; разделяющая функция; средняя взаимная информация; вероятность ошибки; функция скорость-погрешность; ансамбль источников.
doi:10.21469/22233792.4.3.03 fatcat:wyhdipipmnhopol7rxavrsk3e4