MIT ve Harvard’ın ortak araştırma kuruluşu olan Broad Institute, genomik araştırmaları hızlandırmak için Intel ve Google Cloud ile sürdürdüğü işbirliğinin sonucu olarak, iş akışlarını hızlı ve uygun maliyetli Google N1 ve N2 örnekleri için optimize etti. Bu işbirliği, iş yüklerinin Google Cloud’daki ilk dağıtımına kıyasla, optimizasyondan sonra veri işleme maliyetinde %85 oranında bir düşüşle sonuçlandı.
“Bulutun tamamen yeni bir veri birleştirme ve işbirliği seviyesine olanak tanıyacağını ve bunun amaçla, araştırmacıların iş akışlarını diğer veri kümeleriyle oluşturdukları verilerden daha fazlasında birleştirerek daha zengin, daha güçlü hesaplama deneylerine dönüştürebilecekleri bulut tabanlı bir veri ekosistemi yaratmak için başkalarıyla birlikte çalışabileceğimizi biliyorduk.” –Geraldine Van der Auwera, MIT ve Hardvard’ın ortak araştırma kuruluşu Broad Institute’un Veri Bilimleri Platformu erişim ve iletişim direktörü
Çalışma Biçimi
Broad Institute, genomik veri üretimi ve hesaplamalı araştırma talebindeki çarpıcı artışa ayak uydurmak için iş yüklerini Google Cloud N2 örneklerine taşıdı. İşlem hattı iş yüklerini modüler hâle getirip, bulut örneklerini iş yükünün ihtiyaçlarına uygun şekilde boyutlandıran ve Intel® Xeon® Ölçeklenebilir işlemciler için optimize eden Broad Institute kullanıcıları, genomik iş akışlarını Google Cloud üzerinde %25 daha hızlı ve %34 daha düşük maliyetle çalıştırabilir. Bunun için, iş yüklerini Xeon Ölçeklenebilir işlemcilerle N2 örneklerine dağıtmaları yeterli.
Intel, 2017 yılından bu yana Broad Institute ile ortaklık ederek, kurumun işlem hatlarının ve Genome Analysis Toolkit’inin (Genom Analizi Araç Seti – GATK) Intel® Genomics Kernel Library gibi Intel kitaplıklarıyla optimize edilmesine yardımcı oldu. Biliminsanlarının genomik verileri entegre etmesi ve işlemesine yardımcı olacak yeni araçlar ve altyapının dünyanın her yerindeki araştırmacılar ve yazılım mühendisleri tarafından oluşturulması, optimize edilmesi ve paylaşılmasını sağlayan bir proje olan Intel-Broad Center for Genomic Data Engineering’i de (Intel-Broad Genomik Veri Mühendisliği Merkezi) Intel ve Broad Institute birlikte yönetti.
Intel, Broad Institute’un işlem hatlarını Google Cloud’da optimize etmesine yardımcı oldu. Örneğin Genome Analysis Toolkit’teki belirli çekirdekler, vektör operasyonları için Intel® Advanced Vector Extensions 512 (Intel® AVX-512) ile optimize ediliyor. Optimize edilen depolama fonksiyonlarının bazıları, Intel® Intelligent Storage Acceleration Library’yi (Akıllı Depo Hızlandırma Kitaplığı – Intel® ISA-L) kullanıyor.
Daha geniş bir yaşam bilimleri ekosistemi vizyonunu hayata geçirmek isteyen Broad Institute, Microsoft ve Verily birlikte, dünyanın her yanından biyomedikal araştırmacıların verilere erişmesi, analiz araçlarını kullanması ve işbirliği yapması için ölçeklenebilir ve güvenli bir platform olan Terra’yı geliştirdi. Terra, Broad Institute’un kolayca ölçeklendirmesine ve insan hastalıklarının çözümüne yönelik araştırmalarda araştırma topluluğunu yeni yeteneklerle güçlendirmesine olanak tanıyan bulut altyapısıyla tasarlandı.
Neden Önemli
Genom bilimi, biyoloji bilimlerinin yapılış şeklini değiştirdi. Broad Institute, Intel ve Google Cloud’un yardımı sayesinde inovasyonun ön saflarında yer alıyor; genomik araştırmaları kolaylaştırıyor ve hızlandırmaya yardımcı oluyor. İş yüklerini buluta taşıyan ve Google Cloud örnekleri için optimize eden Broad Institute, depolama kapasitesi ve hesaplama yeteneği konusunda karşılaştığı zorlukları ölçeklenebilir ve ileriye dönük bir şekilde çözdü. Birlikte oluşturulan Terra platformu ise, Broad Institute’un kendi araştırma ekiplerinin yanında dünyanın farklı yerlerindeki yaşam bilimcileri güçlendirmesini, optimize araçlar ve işlem hatlarından yararlanmalarına olanak tanımasını ve biyomedikal araştırmalar için heyecan verici yeni olanaklar sunan birleştirilmiş bir veri ekosistemi oluşturmasını sağladı.
