Synchronization of hand movement and fundamental frequency in a sample of spoken Spanish

Lourdes Pietrosemoli, Elsa Mora
unpublished
This study based on a multimodal approach to communication presents an analysis of the hand movement in relation to voice variation. The corpus consisted of a set of speech samples from a video-recorded interview conducted by a Venezuelan female TV-show host. The speech signal segmentation in syllables was based on an oscillogram and on the automatic detection of the fundamental frequency. The voice analysis was performed using a CSL of the Kay Elemetrics Corporation, and the analysis of the
more » ... tural movement was based on the observation of the video-recorded images. According to the simultaneous analysis of right and left hand orientation and the fundamental frequency, three different degrees of relationship were observed: a) a close relationship between the f0 patterns and the hand movements associated with the presence of either emphatic speech, parenthetic comments, or iconic gestures; b) a mild relationship between the f0 patterns and the hand movements, and c) absence of relationship. These findings suggest that the association between vocal and manual gestures is produced beyond the lexical level. SYNCHRONISATION DES MOUVEMENTS DES MAINS ET DE LA LIGNE DE FRÉQUENCE FONDAMENTALE EN ESPAGNOL PARLÉ Introduction Dans le développement de l'être humain, la main et les organes articulatoires de la voix ont un rapport embriologique assez étroit (Merani, 1960 ; Wolff, 1945), qui pourrait être à la base de la forte relation de synchronie existant entre les mouvements des mains et le signal linguistique proprement dit dans l'acte communicatif des locuteurs adultes. D'autre part, alors que la gestualité manuelle chez l'adulte fait partie d'un système d'appui du signal linguistique oral, chez l'enfant ces gestes précèdent l'oralité comme système communicatif ainsi que l'ont démontré Caselli (1994), Volterra et al. (1994). Autrement dit, la main a la capacité latente de se convertir en un organe articulatoire linguistique et cette capacité doit se refléter, d'une certaine manière dans l'activité linguistique quotidienne de l'adulte. De là la présence d'un grand nombre de recherches où le geste et la voix sont en rapport, plus spécifiquement la trajectoire d'un mouvement corporel associé à la courbe de
fatcat:65dd4tltpna5fc3lunohcpddae