Analytical review of methods for emotion recognition by human face expressions

E.V. Ryumina, A.A. Karpov
2020 Naučno-tehničeskij Vestnik Informacionnyh Tehnologij, Mehaniki i Optiki  
a Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН), Санкт-Петербург, 199178, Российская Федерация b Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: karpov@iias.spb.su Информация о статье Поступила в редакцию 20.01.20, принята к печати 19.02.20 Язык статьи -русский Ссылка для цитирования: Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический
more » ... -технический вестник информационных технологий, механики и оптики. Аннотация Распознавание эмоций человека по мимике его лица является важной научно-исследовательской проблемой, которая охватывает множество областей и дисциплин, такие как компьютерное зрение, искусственный интеллект, медицина, психология и безопасность. В статье приведен аналитический обзор баз видеоданных выражений лица и подходов к распознаванию эмоций по выражениям лица, которые включают в себя три основных этапа анализа изображений, такие как предварительная обработка, извлечение признаков и классификация. Представлены как традиционные подходы к распознаванию эмоций человека по визуальным признакам лица, так и подходы, основанные на глубоком обучении с использованием глубоких нейронных сетей. Приведены современные результаты некоторых существующих алгоритмов. При обзоре научно-технической литературы упор главным образом делался на источники, содержащие теоретическую и исследовательскую информацию рассматриваемых методов, а также сравнение традиционных методов и методов на основе глубоких нейронных сетей, которые подкреплены экспериментальными исследованиями. Анализ научно-технической литературы, описывающий методы и алгоритмы анализа и распознавания выражений лица, а также результаты мировых научных исследований показали, что традиционные методы классификации выражений лица уступают по скорости и точности искусственным нейронным сетям. Основные вклады данного обзора заключаются в следующем: предоставление общего понимания современных подходов к распознаванию выражений лиц, которое позволит новым исследователям понять основные компоненты и тенденции в области распознавания выражений лиц; сравнение результатов мировых научных исследований показало, что комбинирование традиционных подходов и подходов, основанных на глубоких нейронных сетях показывают лучшую точность классификации, однако лучшими методами классификации являются искусственные нейронные сети. Статья может быть полезна специалистам и исследователям в области компьютерного зрения. Ключевые слова предварительная обработка изображений, классификация, распознавание выражений лица, извлечение признаков, глубокие нейронные сети, компьютерная паралингвистика Благодарности Исследование выполнено при поддержке Российского научного фонда РНФ (проект № 18-11-00145). Научно-технический вестник информационных технологий, механики и оптики, 164 2020, том 20, № 2 АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ ЭМОЦИЙ ПО ВЫРАЖЕНИЯМ ЛИЦА ЧЕЛОВЕКА For citation: Ryumina E.V., Karpov A.A. Analytical review of methods for emotion recognition by human face expressions. Abstract Recognition of human emotions by facial expressions is an important research problem that covers many areas and disciplines, such as computer vision, artificial intelligence, medicine, psychology and security. This paper provides an analytical overview of video facial expression databases and approaches to recognition emotions by facial expressions, which include three main stages of image analysis, such as pre-processing, feature extraction and classification. The paper presents both traditional approaches to recognition of human emotions by visual facial features, and approaches based on deep learning using deep neural networks. We give the current results of some existing algorithms. In the review of scientific and technical literature we empathized mainly the sources containing theoretical and research information of the methods under consideration, as well as comparison of traditional methods and methods based on deep neural networks, which were supported by experimental studies. Analysis of scientific and technical literature describing methods and algorithms for study and recognition of facial expressions, as well as the results of world scientific research, have shown that traditional methods for classification of facial expressions are second in speed and accuracy to artificial neural networks. The main contribution of this review is providing a common understanding of modern approaches to recognition of facial expressions, which will enable new researchers to understand the main components and trends in the field of recognition of facial expressions. Moreover, comparison of world scientific findings has shown that a combination of traditional approaches and approaches based on deep neural networks achieves better classification accuracy, but artificial neural networks are the best classification methods. The paper may be useful to specialists and researchers in the field of computer vision.
doi:10.17586/2226-1494-2020-20-2-163-176 fatcat:qbf5lynxibe2parwuwlookh7ju