Interaction efficace entre les réseaux rapides et le stockage distribué dans les grappes de calcul

Brice Goblin, Olivier Glück, Pascale Vicat-Blanc Primet
2008 Techniques et sciences informatiques  
Les applications parallèles s'exécutant sur les grappes nécessitent à la fois des communications performantes entre les différents noeuds et des accès efficaces au système de stockage. Nous proposons dans ce travail d'améliorer les performances du stockage distribué dans les grappes en utilisant au mieux le réseau haute performance sous-jacent pour accéder au stockage distant. Nous montrons que les besoins du stockage sont très différents de ceux du calcul parallèle et proposons différentes
more » ... tions pour résoudre, au niveau du système de fichiers, les problèmes liés au contrôle du réseau mais montrons qu'il est nécessaire de modifier l'interface de programmation réseau et le système d'explotation pour venir à bout des difficultés liées au transfert de données. Des expérimentations montrent qu'elles permettent une utilisation aisée et efficace des réseaux rapides dans le cadre du stockage distribué. Abstract: Parallel applications running on clusters require both high-performance communications between nodes and efficient access to the storage system. We propose to improve the performance of distributed storage systems in clusters by efficiently using the underlying high-performance network to access distant storage systems. We show that storage requirements are very different from those of parallel computation and that a modification of the network programming interface is required. We detail several propositions for these interfaces which make their utilization easier in the context of distributed storage. Performance evaluations show that their integration makes it easy to use and very efficient in the context of storage.
doi:10.3166/tsi.27.910-940 fatcat:dgkka75uu5catd2fopps474qoi