Overview of the Evalita 2018 – itaLIan Speech acT labEliNg (iLISTEN) Task [chapter]

Pierpaolo Basile, Nicole Novielli
2018 EVALITA Evaluation of NLP and Speech Tools for Italian  
English. We describe the first edition of the " itaLIan Speech acT labEliNg" (iLIS-TEN) task at the EVALITA 2018 campaign (Caselli et al., 2018) . The task consists in automatically annotating dialogue turns with speech act labels, i.e. with the communicative intention of the speaker, such as statement, request for information, agreement, opinion expression, or general answer. The task is justified by the large number of applications that could benefit from automatic speech act annotation of
more » ... ct annotation of natural language interactions such as tools for the intelligent information access, that is by relying on natural dialogues. We received two runs from two teams, one from academia and the other one from industry. In spite of the inherent complexity of the tasks, both systems largely outperformed the baseline. Italiano. Descriviamo la prima edizione del task di "itaLIan Speech acT labEl-iNg" (iLISTEN) organizzato nell'ambito della campagna di valutazione EVALITA 2018. Il task consiste nell'annotazione automatica di turni di dialogo con la label di speech act corrispondente. Ciascuna categoria di speech act denota l'intenzione comunicativa del parlante, ossia l'intenzione di formulare un'affermazione oggettiva, l'espressione di un'opinione, la richiesta di informazioni, una risposta, un'espressione di consenso. Riteniamo che il task sia rilevante per la il dominio della linguistica computazionale e non solo, alla luce del recente interesse da parte della comunità scentifica nei confronti dei paradigmi di interazione e accesso intelli-gente all'informazione basati su dialogo. Il task ha visto la partecipazione di due team, uno accademico e uno industriale. Nonostante la complessità del task proposto, entrabi i team hanno ampiamente superato la baseline.
doi:10.4000/books.aaccademia.4482 fatcat:zd47jolqmbclvnglshhyukvc5y