Pada November 2023, Nvidia mengumumkan chip GPU AI terbaru mereka, H200, yang dibangun dengan arsitektur Hopper. Sekarang, mereka hadir dengan varian baru, yaitu H200 NVL, yang menggabungkan empat GPU AI H200 dalam satu modul PCI Express (PCIe). Karena menggunakan modul PCIe, H200 NVL bisa dengan mudah dipasang di berbagai server atau data center AI yang dimiliki perusahaan.
Setiap chip H200 dilengkapi dengan memori HBM3e sebesar 141 GB, dan jika empat GPU digabungkan dalam satu modul, total kapasitas memori di H200 NVL mencapai 564 GB. Keempat GPU ini terhubung menggunakan teknologi NVLink dan masing-masing menawarkan bandwidth 4,8 TB/s. Untuk performa, H200 NVL bisa mencapai 34 TFLOPs untuk komputasi AI dengan FP64 atau 67 TFLOPs untuk FP32, dengan konsumsi daya mencapai 600 watt.
Jika dibandingkan dengan H100 NVL, pendahulunya, H200 NVL menawarkan peningkatan yang signifikan, mulai dari kapasitas memori yang meningkat 1,5 kali lipat, bandwidth yang naik hingga 1,2 kali lipat, hingga performa yang 1,7 kali lebih cepat untuk kinerja AI di segmen inference. Bahkan untuk komputasi tinggi (HPC), H200 NVL lebih cepat 1,3 kali dibanding H100 NVL dan 2,5 kali lebih cepat dibandingkan GPU AI berbasis arsitektur Ampere. GPU H200 NVL juga dirancang agar tetap dingin dan hemat daya, dengan opsi sistem pendingin berbasis udara.
Selain H200 NVL, Nvidia juga mengumumkan solusi baru lainnya, yaitu “Superchip” GB200 NVL4. Seperti halnya H200 NVL, GB200 NVL4 menggabungkan empat GPU AI, tapi dengan arsitektur Grace Blackwell (GB) yang diperkenalkan pada Maret lalu. Yang membedakan, GB200 NVL4 juga menggabungkan dua prosesor (CPU) “Grace” dengan memori LPDDR5X total 960 GB. Semua komponen ini terhubung dengan teknologi NVLink yang memungkinkan kapasitas memori HBM3 mencapai 768 GB dengan bandwidth mencapai 32 TB/s. Nvidia mengklaim bahwa GB200 NVL4 memiliki performa 2,2 kali lebih cepat dibandingkan dengan generasi sebelumnya, GH200 NVL4, dan mampu membuat proses latihan (training) atau inference AI 1,8 kali lebih efisien.
Bagi yang sudah menunggu, GPU AI H200 NVL sudah tersedia mulai pekan ini, sementara GB200 NVL4 baru akan rilis pada pertengahan 2025.