REVIEW OF AUTOMATIC RECOGNITION METHODS OF HUMAN EMOTIONAL STATE USING IMAGE

Artem Leonidovych Ulianko, Yuri Ivanovych Dorofieiev
2020 Bulletin of National Technical University KhPI Series System Analysis Control and Information Technologies  
Рассматривается задача распознавания эмоционального состояния человека по изображению. Приведен обзор основных способов описа ния человеческих эмоций: разделение на конечное число классов и использование векторного описания. Представлены существующие разработки в области распознавания эмоций по изображению, а также приведен общий алгоритм работы подобных систем. Основными этапами решения задачи распознавании эмоций являются поиск лица на изображении и классификация эмоции. Информационная
more » ... формационная технология распознавания эмоций представлена в графической нотации. Описаны принципы работы алгоритма Виолы -Джонса, который используется для определения лица человека на изображении Представлены подходы, которые применяются для решения задачи классификации: алгоритм Виолы-Джонса, метод опорных точек, различные архитектуры нейронных сетей, которые предназначены для классификации изображений. Проанализированы преимущества и недостатки метода опорных точек, базирующегося на системе кодирования лицевых движений, а также способ применения алгоритма Виолы-Джонса для классификации эмоций. Рассмотрен метод распознавания эмоционального состояния человека на основании визуальной информации с применением сверточных нейронных сетей. Описаны принципы действия сверточных, субдискретизирующих и полносвязных слоев нейронной сети. На основе анализа опубликованных работ приведены результаты точности распознавания в различных условиях. Также представлены работы, в которых для анализа эмоционального состояния применяется комбинация сверточных и рекуррентных нейронных сетей, где кроме визуальной информации используется дополнительный источникаудиопоток, что позволяет более эффективно классифицировать эмоции в видеопотоке. Представлены наиболее популярные обучающие выборки данных для решения рассмотренной задачи. Ключевые слова: распознавание эмоций, классификация, метод опорных точек, сверточная нейронная сеть, рекуррентная нейронная сеть, обучающая выборка. А. Л. УЛЬЯНКО, Ю. І. ДОРОФЄЄВ ОГЛЯД МЕТОДІВ АВТОМАТИЧНОГО РОЗПІЗНАННЯ ЕМОЦІЙНОГО СТАНУ ЛЮДИНИ ПО ЗОБРАЖЕННЮ Розглядається задача розпізнавання емоційного стану людини по зображенню. Наведено огляд основних способів опису людських емоцій: поділ на кінцеве число класів і використання векторного опису. Представлені існуючі розробки в області розпізнавання емоцій по зображенню, а також наведено загальний алгоритм роботи подібних систем. Основними етапами у рішенні задачі розпізнавання емоцій є пошук обличь на зображенні і класифікація емоції. Інформаційна технологія розпізнавання емоцій представлена у вигляді графічної нотації. Описано принципи роботи алгоритму Віоли-Джонса, який використовується для визначення особи людини на зображенні Представлені підходи, які застосовуються для вирішення задачі класифікації: алгоритм Віоли-Джонса, метод опорних точок, різні архітектури нейронних мереж, які призначені для класифікації зображень. Проаналізовано переваги та недоліки методу опорних точок, що базується на системі кодування лицьових рухів, а також спосіб застосування алгоритму Віоли-Джонса для класифікації емоцій. Розглянуто метод розпізнавання емоційного стану людини на основі візуальної інформації із застосуванням згорткових нейронних мереж. Описано принципи дії згорткових, субдискретизуючих і повнозв'язних шарів нейронної мережі. На основі аналізу опублікованих робіт наведені результати точності розпізнавання в різних умовах. Також представлені роботи, в яких для аналізу емоційного стану застосовується комбінація згорткових і рекурентних нейронних мереж, де крім візуальної інформації використовується додаткове джерело -аудіопотік, що дозволяє більш ефективно класифікувати емоції в відео. Представлені найбільш популярні навчальні вибірки даних для вирішення розглянутої задачі. Ключові слова: розпізнавання емоцій, класифікація, метод опорних точок, згорткова нейронна мережа, рекурентна нейронна мережа, навчальна вибірка. The problem of recognizing a person's emotional state from an image is considered. A review of the main ways of describing human emotions is given: the division into a finite number of classes and the use of vector format. Existing developments in the field of emotions recognition by image are presented, as well as a general algorithm for the operation of such systems is provided. The main steps in solving the problem of recognizing emotions are the search for a face in the image and the emotions classification. Information technology for the recognition of emotions is presented in the graphic notation. The principles of the Viola-Jones algorithm, which is used to determine the person's face in the image, are described. The approaches that are used to solve the classification problem are described: the Viola-Jones algorithm, reference points method, various neural network architectures that are © А. Л. Ульянко, Ю. И. Дорофеев, 2020 ISSN 2079-0023 (print), ISSN 2410-2857 Вісник Національного технічного університету «ХПІ». Серія: Системний 86 аналіз, управління та інформаційні технології, № 1 (3) 2020 used to classify images. The advantages and disadvantages of the reference point method based on the facial action coding system are analyzed, as well as the way the Viola-Jones algorithm is used to classify emotions. A method for recognizing a person's emotional state based on visual information using convolutional neural networks is considered. The principles of the action of convolutional, sub-sampling and fully connected layers of the neural network are described. Based on the analysis of published works, the results of recognition accuracy under various conditions are presented. Also presented works in which combination of convolutional and recurrent neural networks is used to analyze the emotional state, where in addition to visual information used an audio stream, which gives more efficient classification of emotions in a video stream. The most popular training data sets for solving the considered problem are presented.
doi:10.20998/2079-0023.2020.01.15 fatcat:ebbfxjtijrefteqptqt5ghjs7a