Audiovisual reproduction in surrounding display: Effect of spatial width of audio and video

Olli Rummukainen, Ville Pulkki
2012 2012 Fourth International Workshop on Quality of Multimedia Experience  
Supervisor and instructor: D.Sc. (Tech.) Ville Pulkki Multimodal perception strives to integrate information from multiple sensorial channels into a unified experience, that contains more information than just the sum of the separate unimodal percepts. As a result, traditional quality metrics for unimodal services cannot reflect the perceived quality in multimodal situations, and new quality estimation methods are needed. In this work, audiovisual perception was studied with an immersive
more » ... sual display. The audiovisual display consisted of a video screen with field of view of 226 • and 3D sound reproduction with 20 loudspeakers. The aim of the study was to observe the crossmodal interaction of auditory and visual modalities, when the spatial widths of audio and video reproduction were limited. A subjective study was organized, where the overall perceived degradation of the stimuli was evaluated with Degradation Category Rating in four different types of audiovisual content. In addition, free descriptions of the most prominent degrading factors were collected. The participants' individual tendencies to experience immersion were screened prior to the experiment with a questionnaire. The results show that video width is the dominant element in defining the degradation of a stimulus. Also audio width had an impact when the video width was at maximum. Individual tendency to experience immersion was not found to have significant impact on perceived degradation in this study. Slight content effects were observed. Constrained correspondence analysis of the free description data suggests the reasons for highest perceived degradation to be caused by wrong audio direction, reduced video width and missing essential content. Keywords: Quality of Experience, multimodal perception, presence, immersion, audiovisual display aalto-yliopisto sähkötekniikan korkeakoulu diplomityön tiivistelmä Tekijä: Olli Rummukainen Työn nimi: Havaitsijaa ympäröivänäänen-ja kuvantoisto:Äänen ja kuvan leveyden vaikutus kokemuksen laatuun Päivämäärä: 28.12.2011 Kieli: Englanti Sivumäärä:10+73 Signaalinkäsittelyn ja akustiikan laitos Professuuri: Akustiikka jaäänenkäsittely Koodi: S-89 Valvoja ja ohjaaja: TkT Ville Pulkki Moniaistinen havaitseminen perustuu informaation yhdistämiseen eri aistikanavista siten, että yhdistetty aistimus tuottaa enemmän tietoa ympäröivästä maailmasta kuin aistimusten käsitteleminen erillisinä. Tämän seurauksena vanhat laatumittarit yhteen aistiin perustuville järjestelmille eivät toimi arvioitaessa monimutkaisempia audiovisuaalisia järjestelmiä, ja uusien laatumittareiden kehittäminen on tarpeellista. Tässä työssä audiovisuaalista havaitsemista tutkittiin immersiivisen audiovisuaalisen näytön avulla. Näyttö koostui 226 • laajasta videokuvasta ja 20 kaiuttimella toteutetusta 3Däänentoistosta. Tutkimuksen tavoite oli tarkkailla kuulon ja näön vuorovaikutusta, kun kuvan-jaäänentoiston avaruudellista laajuutta rajoitettiin. Subjektiivinen laatuarviointi toteutettiin käyttäen diskreettiä näytteenhuonontumaskaalaa (DCR) havaitun laadun heikkenemisen arviointiin neljän eri videosisällön kanssa, kunäänen-ja kuvantoiston leveyttä rajoitettiin. Tämän lisäksi osallistujilta kerättiin vapaita kuvauksia heidän antamiinsa laatuarviointeihin vaikuttaneista seikoista. Osallistujien yksilölliset taipumukset kokea uppoutumista arvioitiin ennen koetta kyselylomakkeen avulla. Tulokset osoittavat, että videon leveys on määräävä tekijä arvioitaessa havaittua laadun heikkenemistä. Myösäänenleveydellä oli merkitystä, kun videonleveys oli suurimmillaan. Taipumus kokea uppoutumista ei ollut merkittävä tekijä laadun kannalta tässä tutkimuksessa. Videosisällön merkitys oli vähäinen. Vapaille kuvauksille suoritettu rajoitettu korrespondenssianalyysi ehdottaa huonoon havaittuun laatuun vaikuttaviksi tekijöiksiäänen väärän tulosuunnan, rajoitetun videonleveyden ja puuttuvan tärkeän sisällön. Avainsanat: Kokemuksen laatu, moniaistinen havaitseminen, läsnäolon tunne, uppoutuminen, audiovisuaalinen näyttö iv
doi:10.1109/qomex.2012.6263861 dblp:conf/qomex/RummukainenP12 fatcat:rv5ag4yqdbaxrelsfqnwcmnbwa