GPU seçerken nelere bakmalı: B200, H100 ve A100

Hangi iş yükü hangi kartta çalışır? Bellek, bant genişliği ve maliyet üçgeninde sade bir karar rehberi.

GPU seçimi çoğu ekipte "en yenisini alalım" ile başlar ve fatura gelince biter. Oysa doğru soru şudur: çalıştıracağınız model belleğe sığıyor mu, ve isteğe ne kadar hızlı cevap vermesi gerekiyor?

Bu iki soruya cevap verdiğinizde kart seçimi kendiliğinden netleşir.

Önce iş yükünüzü tanımlayın

Yapay zekâ iş yükleri kabaca üçe ayrılır ve her biri farklı bir kaynağı zorlar:

• Inference (model çalıştırma): Bellek bant genişliğine duyarlıdır. Model belleğe sığdığı sürece, cevap hızını belirleyen şey işlemci gücü değil belleğe erişim hızıdır.
• Fine-tuning (ince ayar): Bellek miktarına duyarlıdır. Eğitim sırasında modelin kendisi, gradyanlar ve optimizatör durumu aynı anda bellekte durur; ihtiyaç kabaca üçe katlanır.
• Görsel ve video üretimi: Hem belleği hem işlem gücünü birlikte zorlar. Toplu üretimde kart sayısı doğrudan çıktı hacmini belirler.

Üç kartın pratikteki yeri

A100 olgun ve dengeli bir karttır. Orta boy modelleri çalıştırmak, vektörleştirme (embedding) üretmek ve deneme ortamları kurmak için hâlâ en iyi fiyat/performans oranını verir. Yeni başlayan ekipler için doğru başlangıç noktasıdır.

H100, A100'e göre belirgin biçimde daha hızlı bellek ve daha güçlü işlem birimi sunar. Büyük dil modellerini canlı ortamda, düşük gecikmeyle servis etmek istiyorsanız kart budur. Çoğu kurumsal inference iş yükünün doğru cevabı H100'dür.

B200 en yeni nesildir ve asıl farkı çok büyük modellerde gösterir. Tek karta sığmayan modelleri daha az kartla çalıştırabilmek, hem maliyeti hem de kartlar arası iletişim gecikmesini düşürür. Çok büyük modellerle çalışmıyorsanız bu gücün karşılığını alamazsınız.

Basit bir karar kuralı

1. Modelin ağırlıkları kaç GB? Inference için bu sayının yaklaşık 1,2 katı bellek gerekir.
2. İnce ayar yapacaksanız aynı sayıyı üçle çarpın.
3. Çıkan bellek ihtiyacı tek karta sığıyorsa, tek kartla başlayın. Sığmıyorsa kart sayısını değil, önce daha büyük belleğe sahip kartı değerlendirin.
4. Cevap süresi hedefiniz saniyenin altındaysa bant genişliği yüksek kartı seçin.

En sık yapılan üç hata

Baştan büyük almak. Ekiplerin çoğu, ihtiyacını ölçmeden yıllık taahhütle kapasite kiralar. Tek bir pod ile iki hafta ölçüm yapmak, bu kararı çok daha ucuz hale getirir.

Sadece kart fiyatına bakmak. Toplam maliyeti belirleyen şey kartın saatlik ücreti değil, iş yükünün o kartta ne kadar sürdüğüdür. Daha pahalı bir kart, işi üç kat hızlı bitiriyorsa daha ucuzdur.

Boşta bekleyen kapasite. Kesintili çalışan iş yüklerini sürekli açık bir kartta tutmak en yaygın israftır. Toplu işleri planlanmış saatlerde çalıştırmak faturayı belirgin şekilde düşürür.

Emin değilseniz

İş yükünüzü anlatın, birlikte ölçelim. Tek bir GPU pod üzerinde gerçek verinizle yapılan iki günlük bir test, tahmine dayalı her hesaptan daha güvenilir sonuç verir.