Dünya Simülatörü - Earth Simulator
Dünya Simülatörü ( ES ) (地球シミュレータ, Chikyu Shimyurēta ) , Japon hükümetinin girişimiyle "Dünya Simülatörü Projesi" tarafından geliştirilen, son derece paralel vektör oldu süper çalıştırmak için sistem küresel iklim modellerini değerlendirmek için küresel ısınmanın etkilerini katı yeryüzünde ve sorunları jeofizik. Sistem 1997 yılında Japonya Havacılık ve Uzay Araştırma Ajansı , Japonya Atom Enerjisi Araştırma Enstitüsü ve Japonya Deniz Bilimi ve Teknoloji Merkezi (JAMSTEC) için geliştirildi. İnşaatı Ekim 1999'da başladı ve saha resmi olarak 11 Mart 2002'de açıldı. Proje 60 milyar dolara mal oldu. yen .
NEC tarafından inşa edilen ES, SX-6 mimarisine dayanıyordu . Bu sekiz 640 düğüm oluşan vektör işlemci ve 16 gigabayt bir bilgisayar belleği 5120 toplam, her bir düğümdeki işlemci ve 10 terabaytlarca bellek. 1 metre × 1.4 metre × 2 metre kabine başına iki düğüm kuruldu. Her kabin 20 kW güç tüketmiştir. Sistem 700 vardı terabaytlarca ait disk depolama (kullanıcılar için sistem için 450 ve 250) ve 1.6 petabayt arasında yığın depolama olarak teyp sürücüler . Hem atmosferde hem de okyanuslarda küresel iklimin bütünsel simülasyonlarını 10 km'lik bir çözünürlüğe kadar çalıştırabildi. LINPACK karşılaştırmasındaki performansı , önceki en hızlı süper bilgisayar ASCI White'dan neredeyse beş kat daha hızlı olan 35.86 TFLOPS idi . 2020 itibariyle, her biri 9.746 FP64 TFlops'a sahip 4 Nvidia A100 GPU kullanılarak karşılaştırılabilir performans elde edilebilir.
ES oldu dünyanın en hızlı süper bilgisayar 2002'den aştı 2004. Onun kapasitesi IBM'in 'ın Blue Gene / L , 29 Eylül 2004 tarihinde prototip.
ES, Mart 2009'da Earth Simulator 2 (ES2) ile değiştirildi. ES2, bir NEC SX-9/E sistemidir ve her biri performansın 12,8 katı (3,2× saat hızı, işlem kaynağının dört katı) dörtte bir kadar düğüme sahiptir. düğüm başına), 131 TFLOPS'luk en yüksek performans için. 122.4 TFLOPS'luk bir LINPACK performansı ile ES2, o noktada dünyanın en verimli süper bilgisayarıydı. Kasım 2010'da NEC , ES2'nin HPC Challenge Ödülleri'nin ölçütlerinden biri olan Global FFT'de 11.876 TFLOPS performans numarası ile zirveye çıktığını duyurdu.
ES2, Mart 2015'te Earth Simulator 3 (ES3) ile değiştirildi. ES3, 5120 düğüm ve 1,3 PFLOPS performansa sahip bir NEC SX-ACE sistemidir.
ES3, 2017'den 2018'e kadar, 19 PFLOPS'a kadar ulaşabilen daldırma soğutmalı bir süper bilgisayar olan Gyoukou ile birlikte çalıştı.
Sistem görünümü
Donanım
Dünya Simülatörü (kısaca ES), üç devlet kurumu tarafından ulusal bir proje olarak geliştirildi: Japonya Ulusal Uzay Geliştirme Ajansı (NASDA), Japonya Atom Enerjisi Araştırma Enstitüsü (JAERI) ve Japonya Deniz Bilimleri ve Teknoloji Merkezi (JAMSTEC) ). ES, Dünya Simülatör Binasında yer almaktadır (yaklaşık; 50m × 65m × 17m). Earth Simulator 2 (ES2), NEC'in SX-9E'sinin 160 düğümünü kullanır. Earth Simulator yükseltmesi Mart 2015'te tamamlanmıştır. Earth Simulator 3(ES3) sistemi NEC'in SX-ACE'sinin 5120 düğümünü kullanır.
Sistem yapılandırması
ES, dağıtılmış bellek türünde oldukça paralel bir vektör süper bilgisayar sistemidir ve Fat-Tree Network ile birbirine bağlanan 160 işlemci düğümünden oluşur. Her İşlemci düğümü, 8 vektör tipi aritmetik işlemciden, 128 GB'lık bir ana bellek sisteminden oluşan, paylaşılan belleğe sahip bir sistemdir. Her Aritmetik işlemcinin en yüksek performansı 102.4Gflops'tur. Bir bütün olarak ES, 20 TB ana belleğe ve 131Tflops'un teorik performansına sahip 1280 aritmetik işlemciden oluşur.
CPU'nun Yapısı
Her CPU, tek bir LSI yongası üzerinde 4 yollu bir süper skaler birim (SU), bir vektör birimi (VU) ve ana bellek erişim kontrol biriminden oluşur. CPU, 3.2 GHz saat frekansında çalışır. Her bir VU, her biri 256 vektör öğesi içeren 72 vektör kaydına ve altı farklı türde vektör ardışık düzenlerinden oluşan 8 sete sahiptir: toplama/kaydırma, çarpma, bölme, mantıksal işlemler, maskeleme ve yükleme/depolama. Aynı tip vektör boru hatları, tek bir vektör talimatı ile birlikte çalışır ve farklı tipteki boru hatları aynı anda çalışabilir.
İşlemci Düğümü (PN)
İşlemci düğümü 8 CPU ve 10 bellek modülünden oluşur.
Ara Bağlantı Ağı (IN)
RCU, çapraz çubuk anahtarlarına doğrudan bağlıdır ve hem veri göndermek hem de almak için 64 GB/sn çift yönlü aktarım hızında düğümler arası veri iletişimini kontrol eder. Bu nedenle, düğümler arası ağın toplam bant genişliği yaklaşık 10 TB/s'dir.
İşlemci Düğümü (PN) Kabini
İşlemci düğümü, bir kabinin iki düğümünden oluşur ve güç kaynağı bölümü 8 bellek modüllerinden ve 8 CPU modüllü PCI kutusundan oluşur.
Yazılım
Aşağıda, işletim sistemi, İş Planlama ve ES2'nin programlama ortamında kullanılan yazılım teknolojilerinin açıklaması yer almaktadır.
İşletim sistemi
ES üzerinde çalışan işletim sistemi, "Earth Simulator Operating System", ES'yi oluşturan NEC SX süper bilgisayarları için kullanılan NEC'in SUPER-UX'inin özel bir sürümüdür .
Yığın depolama dosya sistemi
640 PN'de çalışan büyük bir paralel iş, bir PN'de kurulu bir diskten okuyor/yazıyorsa, her PN diske sırayla erişir ve performans korkunç derecede düşer. Her PN'nin kendi diskinden okuduğu veya diske yazdığı yerel G/Ç sorunu çözse de, bu kadar çok sayıda kısmi dosyayı yönetmek çok zor bir iştir. Ardından ES, yüksek hızlı G/Ç performansı sunan Hazırlama ve Global Dosya Sistemi'ni (GFS) benimser.
İş planlaması
ES temelde bir toplu iş sistemidir. Toplu işi yönetmek için Network Queuing System II (NQSII) tanıtıldı. Dünya Simülatörünün sıra yapılandırması. ES'nin iki tür kuyruğu vardır. S toplu iş kuyruğu, tek düğümlü toplu işler için tasarlanmıştır ve L toplu iş kuyruğu, çok düğümlü toplu iş kuyruğu içindir. İki tip kuyruk vardır. Biri L toplu kuyruğu, diğeri S toplu kuyruğu. S toplu iş kuyruğu, büyük ölçekli toplu işler (ilk verilerin yapılması, bir simülasyonun sonuçlarının işlenmesi ve diğer işlemler) için bir ön çalıştırma veya çalıştırma sonrası için kullanılması amaçlanır ve L toplu iş kuyruğu bir üretim çalıştırması içindir. Kullanıcılar işleri için uygun kuyruğu seçer.
- Bir toplu işe ayrılan düğümler, yalnızca o toplu iş için kullanılır.
- Toplu iş, CPU zamanı yerine geçen süreye göre planlanır.
Strateji (1), iş sonlandırma süresini tahmin etmeyi ve sonraki toplu işler için önceden düğümleri tahsis etmeyi kolaylaştırmayı sağlar. Strateji (2), verimli bir iş uygulamasına katkıda bulunur. İş, yalnızca düğümleri kullanabilir ve her bir düğümdeki işlemler aynı anda yürütülebilir. Sonuç olarak, büyük ölçekli paralel program verimli bir şekilde yürütülebilir. Yeterli disk G/Ç performansı sağlamak için L sisteminin PN'lerinin kullanıcı diskine erişmesi yasaktır. bu nedenle toplu iş tarafından kullanılan dosyalar, iş yürütülmeden önce kullanıcı diskinden çalışma diskine kopyalanır. Bu işleme "sahne-in" denir. İş planlaması için bu evreleme zamanını gizlemek önemlidir. İş planlamasının ana adımları aşağıdaki gibi özetlenmiştir;
- Düğüm Tahsisi
- Stage-in (dosyaları kullanıcı diskinden çalışma diskine otomatik olarak kopyalar)
- İş Yükseltme (mümkünse daha erken tahmini başlangıç zamanı için yeniden planlama)
- İş Yürütme
- Aşamalı çıkış (dosyaları çalışma diskinden kullanıcı diskine otomatik olarak kopyalar)
Yeni bir toplu iş gönderildiğinde, zamanlayıcı kullanılabilir düğümleri arar (Adım.1). Düğümler ve tahmini başlangıç zamanı toplu işe tahsis edildikten sonra, aşamalı süreç başlar (2. Adım). Aşamalı süreç tamamlandıktan sonra iş, tahmini başlangıç zamanına kadar bekler. Zamanlayıcı, tahmini başlangıç zamanından daha erken bir başlangıç zamanı bulursa, yeni başlangıç zamanını toplu işe tahsis eder. Bu işleme "İş Yükseltme" denir (Adım 3). Tahmini başlangıç zamanı geldiğinde, planlayıcı toplu işi yürütür (Adım 4). Planlayıcı, toplu işi sonlandırır ve işin yürütülmesi tamamlandıktan veya beyan edilen geçen süre sona erdikten sonra aşamalı süreci başlatır (Adım 5). Toplu işi yürütmek için kullanıcı oturum açma sunucusunda oturum açar ve toplu komut dosyasını ES'ye gönderir. Ve kullanıcı, işin yürütülmesi tamamlanana kadar bekler. Bu süre boyunca kullanıcı, geleneksel web tarayıcısını veya kullanıcı komutlarını kullanarak toplu işin durumunu görebilir. Düğüm planlaması, dosya hazırlama ve diğer işlemler sistem tarafından toplu komut dosyasına göre otomatik olarak işlenir.
Programlama ortamı
ES'de programlama modeli
ES donanımının 3 seviyeli bir paralellik hiyerarşisi vardır: bir AP'de vektör işleme, bir PN'de paylaşılan bellekle paralel işleme ve IN aracılığıyla PN'ler arasında paralel işleme. ES'nin yüksek performansını tam olarak ortaya çıkarmak için, bu tür paralellikten en iyi şekilde yararlanan paralel programlar geliştirmelisiniz. ES'nin 3 seviyeli paralellik hiyerarşisi, sırasıyla hibrit ve düz paralelleştirme olarak adlandırılan iki şekilde kullanılabilir. Hibrit paralelleştirmede, düğümler arası paralellik HPF veya MPI ile ve düğüm içi paralellik mikro görev veya OpenMP ile ifade edilir ve bu nedenle programlarınızı yazarken hiyerarşik paralelliği göz önünde bulundurmalısınız. Düz paralelleştirmede, hem düğümler arası hem de düğümler arası paralellik HPF veya MPI ile ifade edilebilir ve bu kadar karmaşık paralelliği düşünmeniz gerekmez. Genel olarak konuşursak, hibrit paralelleştirme, performans açısından düz olandan daha üstündür ve bunun tersi de programlama kolaylığı açısındandır. MPI kitaplıklarının ve HPF çalışma zamanlarının hem hibrit hem de düz paralelleştirmede olabildiğince iyi performans gösterecek şekilde optimize edildiğini unutmayın.
Diller
Fortran 90, C ve C++ için derleyiciler mevcuttur. Hepsinin gelişmiş bir otomatik vektörleştirme ve mikro görevlendirme yeteneği vardır. Mikro görev, Cray'in süper bilgisayarı için aynı anda sağlanan bir tür çoklu görevdir ve ayrıca ES'de düğüm içi paralelleştirme için kullanılır. Mikro görev, kaynak programlara yönergeler ekleyerek veya derleyicinin otomatik paralelleştirmesini kullanarak kontrol edilebilir. (OpenMP'nin ayrıca düğüm içi paralelleştirme için Fortran 90 ve C++'da da mevcut olduğunu unutmayın.)
paralelleştirme
Mesaj Geçiş Arayüzü (MPI)
MPI, MPI-1 ve MPI-2 standartlarına dayalı bir mesaj iletme kitaplığıdır ve IXS ve paylaşılan belleğin özelliklerinden tam olarak yararlanan yüksek hızlı iletişim yeteneği sağlar. Hem düğümler arası hem de düğümler arası paralelleştirme için kullanılabilir. Düz paralelleştirmede bir AP'ye veya hibrit paralelleştirmede mikro görevler veya OpenMP iş parçacıkları içeren bir PN'ye bir MPI işlemi atanır. MPI kitaplıkları, her iki paralelleştirme biçiminde de ES mimarisinde en yüksek iletişim performansını elde etmek için özenle tasarlanmış ve optimize edilmiştir.
Yüksek Performanslı Fortrans (HPF)
ES'nin başlıca kullanıcıları, paralel programlamaya aşina olmayan ya da ondan hoşlanmayan doğa bilimcileri olarak kabul edilir. Buna göre, daha yüksek seviyeli bir paralel dil büyük talep görmektedir. HPF/SX, talebi karşılamak için ES üzerinde kolay ve verimli paralel programlama sağlar. HPF2.0'ın özelliklerini, onaylı uzantılarını, HPF/JA'yı ve ES için bazı benzersiz uzantıları destekler.
Aletler
-Entegre geliştirme ortamı (PSUITE)
Entegre geliştirme ortamı (PSUITE), SUPER-UX tarafından çalışan programı geliştirmek için çeşitli araçların entegrasyonudur. PSUITE, GUI tarafından çeşitli araçların kullanılabileceğini varsaydığından ve araçlar arasında koordineli bir işleve sahip olduğundan, programı, geçmişteki programı geliştirme yönteminden daha verimli ve kolay bir şekilde geliştirebilir hale gelir.
-Hata Ayıklama Desteği
SUPER-UX'te, program geliştirmeyi desteklemek için güçlü hata ayıklama destek fonksiyonları olarak aşağıdakiler hazırlanmıştır.
Tesisler
Earth Simulator binasının özellikleri
Doğal afetlerden korunma
Earth Simulator Center, bilgisayarı doğal afetlerden veya olaylardan korumaya yardımcı olan birkaç özel özelliğe sahiptir. Binanın üzerinde yıldırımdan korunmaya yardımcı olan bir tel yuva asılıdır. Yuvanın kendisi, yıldırım akımını toprağa bırakmak için yüksek voltajlı blendajlı kablolar kullanır. Özel bir ışık yayma sistemi, bilgisayarlara herhangi bir manyetik parazitin ulaşmasını önlemek için korumalı makine odası duvarlarının dışına monte edilen halojen lambaları kullanır. Bina, deprem sırasında binayı koruyan kauçuk desteklerden oluşan sismik izolasyon sistemi üzerine inşa edilmiştir.
Yıldırımdan korunma sistemi
Üç temel özellik:
- Earth Simulator Building'in her iki yanındaki dört direk, binayı yıldırım çarpmalarından korumak için tel yuva oluşturur.
- Toprağa yıldırım akımı veren endüktif tel için özel yüksek voltaj korumalı kablo kullanılır.
- Zemin plakaları binadan yaklaşık 10 metre uzakta tutularak serilir.
Aydınlatma
Aydınlatma: Bir tüp içinde ışık yayma sistemi (255mm çap, 44m(49yd) uzunluk, 19 tüp) Işık kaynağı: 1 kW halojen lambalar Aydınlatma: Zeminde ortalama 300 lx Işık kaynakları korumalı makine dairesi duvarlarından dışarı monte edilir.
Sismik izolasyon sistemi
11 izolatör (1 ft yükseklik, 3,3 ft. Çap, ES binasının altını destekleyen 20 katmanlı kauçuklar)
Verim
LINPACK
Mart 2009'da faaliyete başlayan yeni Earth Simulator sistemi (ES2), LINPACK Benchmark'ta (*1) 122.4 TFLOPS'luk sürdürülebilir performans ve %93.38'lik bilgi işlem verimliliği (*2) elde etti.
- 1. LINPACK Kıyaslaması
LINPACK Benchmark, bir bilgisayarın performansının bir ölçüsüdür ve TOP500 projesinde bilgisayar sistemlerini sıralamak için standart bir kıyaslama olarak kullanılır. LINPACK, bilgisayarlarda sayısal lineer cebir yapmak için bir programdır.
- 2. Hesaplama verimliliği
Bilgi işlem verimliliği, sürdürülebilir performansın en yüksek bilgi işlem performansına oranıdır. Burada 122.4TFLOPS'un 131.072TFLOPS'a oranıdır.
WRF'nin Dünya Simülatörü üzerindeki hesaplama performansı
WRF (Weather Research and Forecasting Model), NCAR (Ulusal Atmosfer Araştırmaları Merkezi) ve NCEP (Ulusal Çevresel Tahmin Merkezleri) dahil olmak üzere ABD kurumları arasındaki işbirliği kapsamında geliştirilen orta ölçekli bir meteorolojik simülasyon kodudur. JAMSTEC, 2009 yılında yenilenen Dünya Simülatörü (ES2) üzerinde WRFV2'yi hesaplama performansı ölçümü ile optimize etmiştir. Sonuç olarak, WRFV2'nin ES2'de olağanüstü ve sürekli performansla çalışabileceği başarıyla gösterildi.
Nümerik meteorolojik simülasyon, Nature Run model koşulu ile dünyanın yarım küresi için Dünya Simülatörü üzerinde WRF kullanılarak gerçekleştirilmiştir. Model uzamsal çözünürlüğü yatay olarak 4486 x 4486, ızgara aralığı 5 km ve dikey olarak 101 seviyedir. Çoğunlukla adyabatik koşullar 6 saniyelik zaman integrasyon adımı ile uygulanmıştır. Yüksek çözünürlüklü WRF için Dünya Simülatöründe çok yüksek bir performans elde edildi. Kullanılan CPU çekirdeği sayısı, Oak Ridge Ulusal Laboratuvarı'nda dünyanın en hızlı sınıfı sistem Jaguar'a (CRAY XT5) kıyasla yalnızca %1 iken, Dünya Simülatöründe elde edilen sürdürülebilir performans, Jaguar sisteminde ölçülenin neredeyse %50'sidir. Dünya Simülatöründeki en yüksek performans oranı da rekor düzeyde %22,2'dir.
Ayrıca bakınız
Referanslar
- Sato, Tetsuya (2004). "Dünya Simülatörü: Roller ve Etkiler". Nükleer Fizik B: Bildiri Ekleri . 129 : 102–108. Bibcode : 2004NuPhS.129..102S . doi : 10.1016/S0920-5632(03)02511-8 .
Dış bağlantılar
- Resmi web sitesi (İngilizce)
- çocuklar için ES
- Grossman, Lev (18 Kasım 2002). "2002 En İyi Buluşlar" . Zaman Dergisi . Robotlar ve Teknoloji 6 Mart 2014 tarihinde kaynağından arşivlendi .
-
"Üst Yapı Simülasyonları" . Krell Enstitüsü . 15 Temmuz 2009. Arşivlenen orijinal 22 Temmuz 2011 tarihinde
ABD'de bilimsel hesaplama büyük bir meydan okuma, 21. yüzyılda bilimsel keşif temelini yüzleri
Koordinatlar : 35°22′51″K 139°37′34.8″E / 35.38083°K 139.626333°D