TOPS Metrikleri ve Bellek Bant Genişliği
Bilgisayar ve akıllı telefon mimarileri, merkezi işlemci (CPU) ve grafik işlemci (GPU) ikilisinin yanına Nöral İşleme Birimlerini (NPU) entegre ederek köklü bir değişim geçirdi. Yeni nesil işlemcilerde performans kriteri artık GHz hızından ziyade “TOPS” (Saniyede Trilyon İşlem) metriğiyle ölçülüyor. Yapay zeka modellerini cihaz içerisinde (on-device) sıfır gecikmeyle çalıştırabilmek için işlemci mimarileri yüksek bellek bant genişliğine (Unified Memory / LPDDR5X) odaklanmış durumda.
+-----------------------------------------------------------------------+
| YENİ NESİL ÇİP MİMARİSİ (SOC) |
+-----------------------------------------------------------------------+
| +-------------------+ +-------------------+ +-------------------+ |
| | CPU (Genel) | | GPU (Grafik) | | NPU (Yapay Zeka) | |
| +-------------------+ +-------------------+ +-------------------+ |
| | | | |
| +----------------------+----------------------+ |
| | |
| v |
| [ YÜKSEK HIZLI BİRLEŞİK BELLEK (UNIFIED MEMORY) ] |
+-----------------------------------------------------------------------+
4-bit ve 8-bit Kuantize Modellerin Cihaz İçi İcra Edilmesi
İnternet bağlantısına gerek duymadan çalışan yerel cihaz içi sistemler; sesli asistanları, metin özetleme araçlarını, kod tamamlama motorlarını ve görsel düzenleyicileri doğrudan cihazın kendi işlemcisinde çalıştırıyor. Bu donanımsal dönüşüm, hem bulut sunucu masraflarını sıfırlıyor hem de kullanıcı verilerinin cihaz dışına çıkmasını engelleyerek mahremiyeti donanım seviyesinde garanti ediyor.