Implementation of multi-threaded erasure coding under multi-processing environments

Suayb S. Arslan
2016 2016 24th Signal Processing and Communication Application Conference (SIU)  
Özetçe -Galois alan aritmetigi depolama ve iletişim cihazlarını veri kayıplarına karşı korumak için Reed-Solomon silme kodlarının temelini oluşturmaktadır. Galois alan aritmetiginin en güncel uygulamaları hızlı Galois alan hesaplamaları yapmamıza imkan saglayan Intel'in SIMD eklerinde oldugu gibi 128-bitlik işlemci vektör talimatlarına dayanmaktadır. Buna ragmen, bu uygulamalar çoklu-dizin ve çoklu-süreçli ortamlara göre optimize edilmemiştir. Diger taraftan, sunucuların çoklu istekleri eş
more » ... lı olarak yerine getirmesi ve donanımın sagladıgı tüm paralelligi kodlama yükünü etkili yürütmek için kullanması arzu edilmektedir. Bu makale silme kodlarının çoklu-dizin işlemcilerle çoklu-süreçli ortamlarda nasıl kullanılacagının detaylarını sunmakta ve tek dizinli uygulamalara göre emtia mikro işlemciler ve Jerasure 2.0 yazılım kütüphanesini kullanarak önemli ölçüde performans artışının olabilecegini göstermektedir. Anahtar Kelimeler-Silme Kodlama, Reed-Solomon, Galois alanları, Çoklu-dizin ve Çoklu-Süreçler. Abstract-Galois Field arithmetic forms the basis of Reed-Solomon erasure coding techniques to protect storage or communication systems from failures. Most recent implementations of Galois Field arithmetic rely on 128-bit vector instructions, such as Intel's Streaming SIMD Extensions, which allows us to perform fast Galois Field computations. However, these implementations are not optimized for multi-threaded and multi-processing environments. Most of the real servers address multiple requests concurrently and it is desirable to use all the parallelism that hardware provides to efficiently handle the coding workload. This short paper gives some of the details about how to leverage multi-threading capabilities of the modern hardware in multiprocessing environments, and demonstrates the significant performance improvements over the single-threaded applications on commodity microprocessors using Jerasure 2.0 library as a case study.
doi:10.1109/siu.2016.7496104 dblp:conf/siu/Arslan16 fatcat:ny6jty37tjhs7e44v3syffx2mi