SEWS : un serveur d'évaluation orienté Web pour la syntaxe

Olivier Hamon, -Patrick Paroubek, -Djamel Mostefa
2008 unpublished
Les plates-formes d'évaluation sont à l'heure actuelle peu répandues et les enjeux qu'elles représentent sont certainement sous-estimés, dès lors qu'elles sont automatisées et proposées comme serveur Web : gain de temps, économies de moyens, progression plus rapide des systèmes, rassemblement d'une communauté autour d'un même paradigme d'évaluation; les avantages sont nombreux. Dans cet article, nous proposons une plate-forme pour évaluer automatiquement des systèmes d'annotation syntaxique et
more » ... elatons son déploiement en tant que service dans une campagne d'évaluation. Après avoir dressé un état de l'art des plates-formes utilisées pour l'évaluation de systèmes TAL et des outils disponibles pour la mise en place de serveurs Web, nous présentons notre plate-forme d'analyse syntaxique et sa mise en oeuvre sous forme de serveur Web dans le projet PASSAGE, nous montrons ensuite l'intérêt de la généralisation d'un tel service à d'autres domaines du TAL. ABSTRACT. Examples of Automated Evaluation platforms deployed as Web server are currently very rare and often underestimated. Time and, effort savings, faster system improvement, common paradigm of evaluation for a community, the benefits offered by such services are plentiful. In this paper, we present a platform for evaluating automatically parsers and we comment on its deployment during an evaluation campaign. First, we draw up a state-of-the-art for platforms used in evaluation of NLP systems, then we present the tools available for Web server deployment. Next, we describe our platform and its deployment in the PASSAGE project as a Web server. Finally we show the interest of generalizing such service to other NLP domains. MOTS-CLÉS : évaluation, plate-forme, serveur Web, annotation syntaxique.
fatcat:t3ttar7r5zeipav5hz553t3rju