REVISTA MECATRONE N o 1 Artigo 4, pág. 1 RECONHECIMENTO DE SINAIS DA LIBRAS POR VISÃO COMPUTACIONAL

Giovanna Koroishi, Bruna Vieira, Louzada Silva
unpublished
Resumo-O reconhecimento automático linguagens de sinais promete facilitar a comunicação entre surdos e o restante da população. As tecnologias atuais esbarram em obstáculos como dificuldade de rastreio das mãos e reconhecimento de poses. Este projeto estuda uma abordagem probabilística para a identificação de sinais da LIBRAS com um sensor RGBD. Essa identificação é baseada na classificação SematosÊmica da linguagem. Durante o projeto, foi implementado um identificador automático de sinais da
more » ... tico de sinais da LIBRAS que captura o vídeo através do sensor Kinect, segmenta o objeto de interesse (a mão direita) e calcula a probabilidade dos sinais. O principal desafio do trabalho foi reconhecer as configurações de mão e para solucioná-lo utilizou-se modelos estruturados em nuvens de pontos e o algoritmo de ICP. O projeto mostrou que essa abordagem torna viável o reconhecimento automático, pois obteve-se 65% de acerto entre 48 testes envolvendo 12 sinais diferentes, mesmo com as limitações de recursos e tempo existentes. Palavras-chave: LIBRAS. Reconhecimento automático. Visão computacional. Kinect. Nuvem de pontos. 1 Introdução De acordo com a Organização Mundial da Saúde (WORLD HEALTH ORGANIZATION, 2014), cerca de 360 milhões de pessoas possuem surdez incapacitante. Isso significa que mais de 5% da população mundial possui, no ouvido mais aguçado, perda auditiva maior que 40dB em adultos e 30dB em crianças, englobando tipos de suave a severo. Entre essa minoria, há aqueles cuja principal consequência da surdez é o impacto na comunicação verbal. Nesses casos, a comunicação pode ser feita de diferentes formas, tais como a leitura labial, a escrita, a leitura e a linguagem de sinais. Entretanto, as três primeiras formas são intrinsecamente ligadas à linguagem falada, enquanto a última possui suas próprias regras e estrutura gramatical (GUIMARÃES et al., 2010), mostrando que tanto a linguagem de sinais quanto a falada são independentes e passíveis de tradução. Há um grande desenvolvimento de tecnologias de tradução no sentido da linguagem falada para linguagem de sinais, contudo, o sentido contrário possui o desafio técnico da visualização e do reconhecimento dos sinais. No caso brasileiro, esse desafio se mostra ainda mais complexo, já que a LIBRAS (Linguagem Brasileira de Sinais) possui rica diversidade dos SematosEmas (conceito detalhado a seguir) de articulação de mão, sendo muito importante distinguir a configuração das mãos e dos dedos, o que torna mais complexo o reconhecimento dos MorfEmas (conceito detalhado a seguir) (CAPOVILLA; RAPHAEL; MAURICIO, 2013). 2 Linguagem Brasileira de Sinais Dois conceitos muito importantes da língua utilizados no trabalho são: SematosEma e MorfEma (CAPOVILLA; RAPHAEL; MAURICIO, 2013). MorfEma é a menor unidade sublexical que codifica significado; enquanto SematosEma é a menor unidade sublexical da sinalização capaz de distinguir um sinal do outro, ou seja, é o detalhamento de como articular o sinal de acordo com a classificação: articulação da mão, local da articulação, movimento e expressão facial (quando MECATRONE
fatcat:f6s4rkksa5cxjayhedxe23obte