Recognition of Sign Language Letters Using Image Processing and Deep Learning Methods

Ali ÖZTÜRK, Melih KARATEKİN, İ̇̇sa Alperen SAYLAR, Nazım Bahadır BARDAKCI
2021 Zeki sistemler teori ve uygulamaları dergisi  
In order for people to be able to communicate with each other, they must be able to agree mutually. Communication is quite di fficult for individuals with hearing problems. Such individuals make their lives much more difficult by isolating themselves from society. The people living with hearing loss can understand the contact person with often lip-reading method, but it is quite difficult for them to express themselves to the people. Since the use of sign language has not become widespread
more » ... d the world, the number of people who know sign language is very low, except for individuals with hearing disabilities. In this study, it was achieved t o dynamically recognize the movements of the sign language finger alphabet via image processing using deep learning methods and to translate it into writing. Accordingly, it is aimed to facilitate communication between people who do not know the sign language in daily life and people with hearing loss. The input given to the system is an image of the hand showing any letter from the alphabet. The image of the hand is interpreted by deep learning methods in the system, and it is compared to one of the letters in the alphabet and an output with the similarity ratio to this letter is displayed on the screen. The system has been tested with a total of 1300 images. The overall accuracy rate of the system was calculated as 88% where true positive rate was 87% and false negative rate was 13%. Öz İnsanların birbirleriyle iletişim kurabilmeleri için karşılıklı olarak anlaşabilmesi gerekmektedir. İşitme problemi yaşayan b ireyler için iletişim kurmak oldukça zordur. Bu tür bireyler kendilerini toplumdan soyutlayarak yaşamlarını çok daha zor hale getirmektedir. İşitme kaybı yaşayan insanlar iletişimde bulunurken karşısındaki kişiyi genellikle dudak okuma yöntemi ile anlayabilmektedir fakat karşılarındaki insanlara kendilerini ifade etmekte oldukça zorlanmaktadır. İşaret dili kullanımının dünya genelinde yeterince yaygınlaşmamış olması sebebiyle, işitme engelli bireyler dışında işaret dilini bilen kişi sayısı oldukça azdır. Bu çalışmada, işaret dili parmak alfabesine ait hareketlerin, derin öğrenme yöntemleri kullanılarak görüntü işleme ile tanınması ve yazıya çevrilmesi dinamik olarak sağlanmıştır. Bu doğrultuda, gündelik yaşamda işaret dilini bilmeyen insanlar ile işitme kaybı olan insanlar arasındaki iletişimi kolaylaştırmak hedeflenmiştir. Sisteme verilen girdi, alfabeden herhangi bir harfi gösteren elin görüntüsüdür. Elin görüntüsü, sistemde derin öğrenme yöntemleriyle yorumlanarak, alfabedeki harflerden biriyle eşleştirilmekte ve bu harfe benzerlik oranı ile birlikte ekrana yazdırılmaktadır. Geliştirilen sistem, 1300 resim ile test edilmiştir. Sistemin doğruluk oranı %88, gerçek pozitif oranı %87 ve yanlış negatif oranı %17 olarak bulunmuştur.
doi:10.38016/jista.808458 fatcat:tyewgcxarrgrdho4hyfypyq36i