NVFP4, Blackwell GPU'larda Difüzyonu 1.68x Hızlandırıyor

Pipeline’lar yükleniyor. Prompt giriliyor: “Merhaba dünya yazan bir tabela tutan kedi.” Çıktı saniyeler içinde hazır, dakikalar değil. NVIDIA’nın Blackwell mimarisi — özellikle B200 — bunu NVFP4 ve MXFP8 kuantizasyonla sağlıyor, Flux.1-Dev gibi difüzyon modellerini 1.68x’e kadar hızlandırıyor.

Geniş açıdan bakalım. Difüzyon modelleri, gerçeküstü görseller üreterek görsel ve video üretiminde başı çekiyor. Sorun mu? Yakıt krizinde Hummer gibi bellek ve işlem gücü tüketiyorlar. Kuantizasyon bir çare olarak devreye giriyor ve NVIDIA’nın Blackwell’e özgü mikro ölçekleme formatları, kalite düşüşü olmadan hız vaadini taşıyor.

MXFP8 ve NVFP4 Gerçekten Ne Yapıyor?

OCP standardı 8-bit şampiyonu MXFP8 (E4M3/E5M2), tensörleri 8-bit ölçekli 32 öğeli bloklara ayırıyor. NVFP4 ise NVIDIA’nın 4-bit canavarı (E2M1), blok boyutu 16, FP8 ölçekli ve Tensor Çekirdekleri ile güçlendirilmiş.

Teori, verimlilik diyor: NVFP4, BF16’ya kıyasla belleği 3.5 kat küçültüyor. Gerçeklik mi? Uçtan uca kıyaslamalar Flux.1-Dev, QwenImage, LTX-2 modellerinde MXFP8 için 1.26x, NVFP4 için ise 1.68x sonuç veriyor.

İşin can alıcı noktası bu: Seçici kuantizasyon, CUDA Grafikleri ve LPIPS metrikleri. Performans ve sadakati dengeleyerek ustaca ilerlediler. Kuru bir espri uyarısı: LPIPS düşük kaldı, yani kedi resminiz aniden Picasso reddi gibi görünmüyor.

“NVIDIA B200 üzerinde Flux.1-Dev, QwenImage ve LTX-2 modellerinde diffusers ve torchao ile MXFP8 ile 1.26 kata kadar, NVFP4 ile 1.68 kata kadar tekrarlanabilir uçtan uca çıkarım hızlandırmaları gösteriyoruz.”

NVIDIA’nın paylaşımından bu alıntı mı? Altın değerinde. Tekrarlanabilir. Spesifik modeller. Boş laf değil.

Ama durun. En az CUDA 10.0 gerekli. NVFP4 için B200 şart. Eğer A100’ünüzle idare ediyorsanız, geçmiş olsun — bu parti davetiyeli.

conda create -n nvfp4 python=3.11 -y
conda activate nvfp4
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu130
pip install --pre torchao --index-url https://download.pytorch.org/whl/nightly/cu130
pip install --pre mslk --index-url https://download.pytorch.org/whl/nightly/cu130
pip install diffusers transformers accelerate sentencepiece protobuf av imageio-ffmpeg

Mart 2026’dan gece sürümleri — PyTorch 2.12.0.dev, TorchAO 0.17.0.dev. Modeller için HF girişi gerekli. Standart prosedür.

Difüzyon Pipeline’ınızı Nasıl Kuantize Edersiniz?

TorchAO, Diffusers’a kolayca entegre oluyor. Şuna bir göz atın:

from diffusers import DiffusionPipeline, TorchAoConfig, PipelineQuantizationConfig
import torch
from torchao.prototype.mx_formats.inference_workflow import (
    NVFP4DynamicActivationNVFP4WeightConfig,
)

config = NVFP4DynamicActivationNVFP4WeightConfig(
    use_dynamic_per_tensor_scale=True, use_triton_kernel=True,
)
pipe_quant_config = PipelineQuantizationConfig(
    quant_mapping={"transformer": TorchAoConfig(config)}
)
pipe = DiffusionPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    torch_dtype=torch.bfloat16,
    quantization_config=pipe_quant_config
).to("cuda")
pipe.transformer.compile_repeated_blocks(fullgraph=True)
pipe_call_kwargs = {
    "prompt": "A cat holding a sign that says hello world",
    "height": 1024,
    "width": 1024,
    "guidance_scale": 3.5,
    "num_inference_steps": 28,
    "max_sequence_length": 512,
    "num_images_per_prompt": 1,
    "generator": torch.manual_seed(0),
}
result = pipe(**pipe_call_kwargs)
image = result.images[0]
image.save("my_image.png")

Her Linear katmanı kuantize ediliyor. fullgraph=True ile bölgesel derleme — derleme süresini azaltıyor, performansı neredeyse tam tutuyor. MXFP8’e geçmek mi? Konfigürasyon alt sınıfını değiştirmeniz yeterli. Triton çekirdekleri zafer için.

Flux.1-Dev üzerindeki kıyaslamalar tam da bu argümanları kullandı: 1024x1024, 28 adım, 3.5 rehberlik ölçeği. Sonuçlar mı? NVFP4 yüksek toplu işlerde ezici üstünlük sağlıyor; MXFP8 ise düşük toplu iş gecikmesinde kazanıyor.

NVIDIA’nın anlatısı mı? Cilalı. Ama atladıkları acı gerçek şu: Bu, 2017’de Volta’daki FP16 Tensor Çekirdeği’nin çıkışını yansıtıyor — pazarlama makinesi hızlandı, yazılım yetişene kadar benimsenme gecikti. Cüretkar tahmin: NVFP4, Blackwell’i difüzyon hakimiyetine kilitliyor, ancak ana akım öncesi 6-12 aylık TorchAO büyüme sancıları bekleyin.

Bu Difüzyon Geliştiricileri İçin Neden Önemli?

Hızlanmalar soyut değil. 1.68x demek daha fazla kullanıcıya hizmet vermek, daha düşük maliyetler — yani gerçek para demek. QwenImage ve LTX-2, Flux’a katılıyor; modeller arası kazanımlar var. Seçici kuantizasyon, hassas bloklardaki doğruluk uçurumlarından kaçınıyor. CUDA Grafikleri ek yükü azaltıyor. LPIPS, görsel çöp olmadığını doğruluyor.

Şüphecilik kontrolü: B200 DGX üzerindeki kıyaslamalar. Sizin sonuçlarınız mı? Yığın, model ve komut istemi uzunluğuna göre değişir. Yüksek toplu NVFP4 parlıyor; küçük toplu işlerde MXFP8 öne geçiyor. Kurumsal PR cilası bunu hep gizler — hep gizler.

Benzersiz bakış açısı: AWQ/GPTQ kuantizasyon savaşlarını hatırlayın? Bu mikro ölçekleme, Blackwell üzerinde onları geride bırakıyor ancak Hopper/Ampere’e iyi taşınmıyor. NVIDIA’nın ekosistem kilitlemesi, 11’e ayarlanmış.

MXFP8 endüstri standardı olarak mı? OCP’nin desteği yardımcı oluyor, ancak NVFP4’ün Blackwell’e özel olması bir hendek olduğunu haykırıyor. Geliştiriciler: Depoyu çatallayın, sayıları yeniden üretin. Test edilmemiş bir şekilde çocukları kandıranları takip etmeyin.

NVFP4 Tüm İş Yükleri İçin BF16’nın Yerini Alacak mı?

Hayır. Hesaplama yoğun, yüksek toplu işler mi? Evet. Bellek sıkışık video üretimi mi? Kesinlikle. Ancak dinamik aralıklar değişken — tensör başına ölçekler bunu azaltır, mucize yaratmaz. LPIPS düşüşleri, sadakatin korunduğunu kanıtlıyor, ancak aykırı değerler gizleniyor.

TorchAO’nun entegrasyonu mu? Şimdilik sorunsuz, gece sürümleri ne olursa olsun. Kararlı sürüm geliyor, buna bahse girin.

Blackwell sahipleri sevinin. Geri kalanlar mı? 2027 yükseltmeleri için para biriktirin. NVIDIA yine çıtayı yükseltti — yine.

**

🧬 İlgili İçgörüler

• Daha Fazlasını Okuyun: Node.js 24.14.0 LTS: 15+ Güçlü Özellik Geldi [Değişiklik Günlüğü Dökümü]
• Daha Fazlasını Okuyun: PDF’leri ve Belgeleri GitHub Depolarına Paketlemek: Akıllı Çözüm mü, Git Şişkinliği mi?

Sıkça Sorulan Sorular**

NVFP4 kuantizasyon nedir? NVIDIA’nın maksimum verimlilik için Blackwell Tensor Çekirdeklerine özgü 4-bit kayan nokta formatı (E2M1), 16 öğeli bloklar ve FP8 ölçekleri.

Difüzyon modellerinde MXFP8 ne kadar daha hızlı? Diffusers/TorchAO aracılığıyla Flux.1-Dev üzerinde uçtan uca 1.26 kata kadar, LPIPS’e göre neredeyse sıfır kalite kaybıyla.

Bu hızlanmalar için B200 GPU’ya ihtiyacım var mı? Evet, NVFP4 için; en az CUDA 10.0 gerekli. Kıyaslamalar B200’e özeldir.