Exploitation du contenu visuel pour améliorer la recherche textuelle d'images en ligne

Sabrina Tollari, Marcin Detyniecki, Ali Fakeri-Tabrizi, Christophe Marsalla, Massih-Reza Amini, Patrick Gallinari
2010 Document Numérique  
Les moteurs de recherche d'images sur le web utilisent principalement l'information textuelle associée aux images afin de retrouver les images pertinentes, tandis que le contenu visuel, moins sémantique et plus coûteux en temps de calcul, est très peu utilisé dans la phase "en ligne". Nous proposons une chaîne de traitements complète proposant deux façons efficaces et peu coûteuses d'utiliser le contenu visuel des images dans la phase en ligne. La première façon propose d'améliorer la précision
more » ... liorer la précision des résultats retrouvés en filtrant les résultats textuels en fonction des concepts visuels détectés dans la requête textuelle. Pour cela, nous apprenons les concepts visuels à l'aide de forêts d'arbres de décision flous. Ce travail montre une nette amélioration des résultats lorsque l'on utilise les concepts apparaissant explicitement dans la requête. La deuxième façon propose d'améliorer la diversité des résultats pertinents obtenus afin de mieux satisfaire le besoin d'information de l'utilisateur. Pour cela, nous utilisons un partitionnement de l'espace visuel. Nous montrons que cette approche est effectivement efficace. ABSTRACT. Web image search engines tend use the text information associated to the images to find the relevant ones. The visual content is rarely used in the "on-line" phase. We propose a complete processing chain exhibiting two efficient ways to use the visual content on the fly. The first method focuses on improving the retrieval precision by filtering text based results, using visual concepts identified in the (text) query. The visual concepts were previously learned (offline) using Forest of Fuzzy Decision Trees. There is a clear score improvement when concepts explicitly mentioned in the query are used. The second method focuses on the diversity of the results. We propose to partition the visual space and show that it is actually effective. MOTS-CLÉS : recherche d'images, concepts visuels, arbre de décision flou, diversité, ImageClef KEYWORDS: images retrieval, visual concepts, fuzzy decision trees, diversity, ImageClef RSTI -DN -13/2010. Recherche d'information, pages 189 à 211 190 RSTI -DN -13/2010. Recherche d'information
doi:10.3166/dn.13.1.187-209 fatcat:4utm63kw7fciza5wcljf3sk3b4