OpenAI, Jalapeño adını verdiği ilk özel yapay zeka çipinin performans sonuçlarını açıkladı. Broadcom ile birlikte geliştirilen ve büyük dil modellerinin çalıştırılmasına odaklanan işlemci, InferenceX testlerinde NVIDIA’nın GB200 ve GB300 tabanlı sistemleriyle karşı karşıya geldi.
Jalapeño, test edilen modellere bağlı olarak watt başına 1,5 ila 1,9 kat daha fazla yapay zeka işlemi gerçekleştirirken uçtan uca gecikmeyi 1,7 ila 3,6 kat düşürdü. OpenAI CEO’su Sam Altman ise duyuruyu X hesabından yalnızca “Bir çip yaptık ve hızlı” sözleriyle paylaştı.
OpenAI Jalapeño NVIDIA GB200 ve GB300’ü bazı testlerde geçti
Jalapeño, klasik bir CPU veya genel amaçlı GPU yerine yapay zeka çıkarımı için geliştirilen özel bir ASIC olarak tasarlandı. Buradaki çıkarım, önceden eğitilmiş bir yapay zeka modelinin kullanıcıdan gelen isteği işleyip yanıt üretmesi sürecini kapsıyor.
OpenAI çipi ilk kez haziran ayında tanıtmış, mimarinin Broadcom ile birlikte geliştirildiğini ve kart, raf sistemi ile üretim tarafında Celestica’nın da projede yer aldığını açıklamıştı.
Çipin performans testlerinde SemiAnalysis tarafından hazırlanan InferenceX platformu kullanıldı. GPT-OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T olmak üzere üç farklı açık model çalıştırıldı.
Karşılaştırma tarafında mevcut en iyi InferenceX sonuçlarını oluşturan NVIDIA GB200 ve GB300 sistemleri yer aldı. Testler yalnızca ham işlem gücünü değil, güç tüketimini, kullanıcı başına token üretim hızını, uçtan uca gecikmeyi ve yüksek yük altındaki toplam işlem kapasitesini de kapsıyor.
GPT-OSS 120B testinde Jalapeño, watt başına tepe işlem kapasitesinde yaklaşık 1,9 katlık fark oluşturdu. Sistem kilowatt başına 85.448 mixed token/s seviyesine ulaşırken NVIDIA GB200 tarafında bu değer 44.960 olarak ölçüldü.
Uçtan uca gecikme Jalapeño’da 1,03 saniye, GB200’de ise 1,80 saniye oldu. Minimum tokenlar arası gecikmede de Jalapeño 0,69 ms, GB200 ise 1,87 ms sonucunu verdi.
DeepSeek R1 670B testinde karşılaştırma NVIDIA GB300 ile yapıldı. Jalapeño, kilowatt başına 19.641 mixed token/s değerine ulaşırken GB300’de 11.781 seviyesi kaydedildi. Uçtan uca gecikme 1,65 saniyeye karşı 5,99 saniye olarak ölçüldü.
Minimum tokenlar arası gecikme ise Jalapeño’da 1,43 ms, GB300’de 5,90 ms oldu. Bu testte watt başına tepe performans farkı yaklaşık 1,7 kat, uçtan uca gecikme farkı ise 3,6 kat seviyesine çıktı.
Bir trilyon parametreli Kimi K2.5 1T testinde de NVIDIA GB300 kullanıldı. Jalapeño kilowatt başına 18.195 mixed token/s üretirken GB300 11.862 seviyesinde kaldı. Uçtan uca gecikme 1,56 saniye ve 5,31 saniye olarak ölçüldü.
Minimum tokenlar arası gecikmede ise 1,44 ms ile 5,48 ms sonuçları elde edildi. Jalapeño bu senaryoda watt başına yaklaşık 1,5 kat daha yüksek tepe performansı ve 3,4 kat daha düşük uçtan uca gecikme sundu.
Güç tüketimi tarafında da iki platform arasında büyük bir fark bulunuyor. Jalapeño’nun paket güç değeri 700 W olarak belirtilirken test edilen iş yüklerinde ölçülen sürekli güç tüketimi 550 W veya altında kaldı.
Karşılaştırmalarda kullanılan NVIDIA GB200 için 1.200 W, GB300 için ise 1.400 W paket güç değeri esas alındı. InferenceX sonuçlarında farklı donanımların karşılaştırılması bu güç değerleri üzerinden normalize edildi.
Jalapeño’nun mimarisi, büyük dil modellerinde gecikmeye neden olan veri hareketini azaltacak şekilde hazırlandı. Bir kullanıcı isteminin ilk kez işlendiği prefill aşaması yoğun hesaplama gücüne ihtiyaç duyarken yanıtın token token oluşturulduğu decode aşamasında bellek bant genişliği daha büyük rol oynuyor. Çekirdekler ve farklı işlemciler arasında veri taşınması da sistemin bazı bölümlerinin işlem beklemesine neden olabiliyor.
OpenAI bu nedenle çip, bellek, ağ bağlantısı, yazılım ve raf ölçeğindeki sistemin tamamını aynı iş yükleri etrafında geliştirdi. Yanıt oluşturulurken kullanılan KV cache dahil model durumu yerel olarak tutulabiliyor ve her çıkarım aşamasında ihtiyaç duyulan işlem, bellek ve ağ kaynakları devreye alınıyor. Jalapeño böylece prefill ve decode aşamalarını aynı mimari üzerinde çalıştırabiliyor.
Yapay zekâ Jalapeño’nun geliştirme sürecinde de doğrudan kullanıldı. Çipin ilk tasarımdan üretime gönderilmeye hazır hâle geldiği tape-out süreci dokuz ayda tamamlandı.
Yapay zeka modelleri farklı tasarımların denenmesi, doğrulama döngülerinin kısaltılması ve aritmetik devrelerin optimize edilmesi gibi aşamalarda mühendislerle birlikte kullanıldı.
Codex ve GPT-Astra da Jalapeño yazılımının hazırlanmasında görev aldı. Başlangıçtaki üretim planında bulunmayan üç açık ağırlıklı model, iki ay içerisinde çip üzerinde yüksek performansla çalıştırıldı.
GPT-OSS modelinin seçili attention ve mixture-of-experts bloklarında yapay zeka tarafından oluşturulan uygulamalar, insan uzmanların hazırladığı mevcut uygulamalardan 1,5 ila 1,8 kat daha hızlı çalıştı. Bu karşılaştırma tüm modelin performansını değil yalnızca seçilen blokları kapsıyor.
OpenAI, Jalapeño’yu 2026 sonuna kadar kendi bilgi işlem altyapısında kullanmaya başlayacak. İlk dağıtım küçük hacimlerle gerçekleştirilecek, üretimin daha belirgin şekilde büyümesi ise 2027’de başlayacak. Jalapeño tek nesillik bir proje olarak kalmayacak. İkinci nesil çipin geliştirme çalışmaları ileri aşamaya geldi, üçüncü neslin tasarımı da başladı.
Şirket buna rağmen NVIDIA donanımlarını bırakmıyor. NVIDIA ve diğer üreticilerin hızlandırıcıları hem model eğitimi hem de çıkarım işlemlerinde OpenAI altyapısında kullanılmaya devam edecek. Jalapeño, mevcut GPU altyapısının tamamen yerini almak yerine OpenAI’nin kendi iş yükleri için geliştirdiği ek bir işlem platformu olarak devreye girecek.
Yeni çipin sonuçları, Sam Altman’ın yapay zekâ sektöründeki en büyük darboğazlardan birinin işlem kapasitesi olduğunu söylediği dönemde açıklandı. Altman, David Senra ile yaptığı görüşmede zamanının önemli bölümünü araştırma ve bilgi işlem altyapısına ayırdığını söyledi. Şirketin çipler, üretim tesisleri, veri merkezleri, enerji, finansman ve tedarik zincirlerini aynı anda ölçeklendirmesi gerektiğini de anlattı.
Altman aynı görüşmede yapay zekanın yaygınlaşma hızına ilişkin önceki tahminlerinin fazla hızlı olduğunu da kabul etti. Mevcut dönemi “Palm Pilot aşaması” olarak tanımlayan Altman, teknolojinin tüm temel parçalarının ortaya çıkmasına rağmen insanların teknolojiyle etkileşimini bütünüyle değiştiren bir “iPhone anının” henüz yaşanmadığını söyledi. Şirketlerin ve kullanıcıların mevcut alışkanlıklarını değiştirmesinin teknolojinin ilerleme hızından daha uzun sürdüğünü belirtti.
Altman ayrıca kendi kullanım alışkanlıklarının da aynı hızda değişmediğini söyledi. Codex bazı e-posta işlemlerini gerçekleştirebilmesine rağmen gelen kutusunu hala manuel olarak yönettiğini anlattı.
OpenAI’nin bilgi işlem kapasitesindeki sınırlamalar nedeniyle Sora tarafındaki kaynak kullanımını da azaltmak zorunda kaldığını belirten Altman, compute kapasitesini şirketin en büyük darboğazı olarak tanımladı.
