Bulut yapay zeka ile tamamen yerel bir kurulumun karşılaştırması. Aynı görev, bilgileriniz için iki farklı yol.
İki şemada da aynı örnek
“Bu şirket içi raporu özetle.”
01Bilgileri gönder
02İsteği işle
03Yanıtı geri gönder
Hazır
Bulut yapay zeka
Sağlayıcıda barındırılır
Şirket ağı · şirket içinde
Ekibiniz + yapay zeka ajanlarınız
Kullanıcılar + şirket bilgileri
Şirket bilgileriSoru + bağlam
Yapay zeka yanıtıEkibinize geri döner
Şirket ağının dışında
Kendi sunucunuz
Uygulamalar ve şirket verileri
Yapay zeka istekleri buraya uğramaz
Yerel çalışan yapay zeka modeli
Yerel veri işleme
Sağlayıcı altyapısı
Harici yapay zeka sağlayıcıları
OpenAI, Anthropic, Microsoft Azure, DeepSeek veya AWS Bedrock
Model sağlayıcıda çalışır
Seçilen bilgiler şirket ağından çıkar.Harici bir yapay zeka sağlayıcısında işlenir.
Yerel yapay zeka
Kendi donanımınızda
Şirket ağı · şirket içinde
Ekibiniz + yapay zeka ajanlarınız
Kullanıcılar + şirket bilgileri
Şirket bilgileriSoru + bağlam
Yapay zeka yanıtıEkibinize geri döner
Şirket ağının içinde
Kendi sunucunuz
Uygulamalar ve şirket verileri
Yapay zeka istekleri buraya uğramaz
Yerel çalışan yapay zeka modeli
Yerel veri işleme
Harici yapay zeka çağrısı yok
Bilgiler şirket ağının içinde kalır.Kullanıcılar, sunucu ve model aynı sınırın içindedir.
İstek + seçilen şirket bilgileriYapay zeka yanıtı
Örnek akış · gerçek veri yok · hız karşılaştırması değil
Burada gösterilen yerel kurulum tamamen yereldir. Model, belge işleme ve arama şirket ağında çalışır; harici yapay zeka çağrıları kapalıdır. Bulut yedek hizmetleri, web araması ve diğer bağlantılı hizmetler için veri akışı ayrıca kontrol edilmelidir. Şemalar, ülke veya ağ bağlantısı türü belirtmeden işleme yerlerini gösterir.
Pratikte neler değişir
Aynı görev. Farklı sorumluluklar.
İşleme yeri; verinin izlediği yolu, sistemi kimin işlettiğini ve bütçede neleri planlamanız gerektiğini değiştirir.
Hangi bilgiler gönderilir?
Bulut yapay zeka
Soru ve uygulamanın eklediği rapor metni veya sohbet geçmişi gibi içerikler, seçilen bulut hizmetine gider.
Yerel yapay zeka
Aynı bilgiler kendi sunucunuza gider. Gösterilen kurulumda işleme ve yanıtlar şirket ağının içinde kalır.
Yapay zekayı kim işletir?
Bulut yapay zeka
Modeli ve altyapıyı sağlayıcı işletir. Şirketiniz uygulamayı, kullanıcı hesaplarını ve veri ayarlarını yönetmeye devam eder.
Yerel yapay zeka
Sunucuyu ve modeli şirketiniz veya seçtiğiniz BT ortağı işletir. Erişim izinleri, güncellemeler, izleme ve yedeklemeler de buna dahildir.
Maliyetler nelerdir?
Bulut yapay zeka
Hizmet veya kullanım ücretleri, entegrasyon ve destek. Kullanılabilir kapasite ve hizmet koşulları sağlayıcıya bağlıdır.
Yerel yapay zeka
Donanım, elektrik, bakım ve destek. Model boyutu ve eş zamanlı kullanıcı sayısı, gereken kapasiteyi belirler.
Birkaç yararlı ayrım
Ağ sınırını anlamak.
Modelin adı, verilerimizin nereye gittiğini söyler mi?
Hedefi barındırma hizmeti belirler. Örneğin Azure OpenAI, Microsoft ortamında çalışır. Yerel olarak kurulabilen bir model de barındırılan API üzerinden çağrıldığında bulut yolunu kullanır. İşlemenin nerede yapıldığını belirleyen, seçilen hizmet ve yapılandırmadır.
İşleme, saklama ve model eğitimi farklı kullanımlardır. Politikalar ürüne, sözleşmeye ve ayarlara bağlıdır. Örneğin OpenAI, ayrıca izin vermediğiniz sürece API verilerinin varsayılan olarak model eğitiminde kullanılmadığını belirtir. Saklama kuralları ayrıca değerlendirilmelidir.
Evet; model, belge işleme, arama ve gerekli veriler yerel olarak mevcutsa ve harici hizmetler kapalıysa çalışabilir. Kurulum ve güncellemeler için dosya aktarımı planlanmalıdır. Erişim izinleri, yedeklemeler ve yapay zeka yanıtlarının kontrolü yine işletimin bir parçasıdır.
Bir sunucu odasına ihtiyacımız var mı?
Küçük bir pilot için uygun bir iş istasyonu veya tek sunucu yeterli olabilir. Daha büyük modeller ve daha fazla eş zamanlı kullanıcı, daha fazla bellek ve işlem gücü gerektirir. Satın alma önermeden önce sistemi iş yüküne göre boyutlandırır ve test ederiz.
Yerel yapay zeka için hangi donanım ve hangi ekran kartı gerekir?
Belirleyici olan ekran kartının belleğidir (VRAM): Model bu belleğe tamamen sığmalıdır. 7–9 milyar parametreli küçük modeller, sıkıştırılmış halde 8–16 GB bellekli tek kartta çalışır. 30–70 milyar parametreli orta boy modeller yaklaşık 24–48 GB ister; bu da büyük bir kart veya iki kart demektir. Eş zamanlı kullanıcı sayısı arttıkça kapasite ihtiyacı da artar. İşiniz için hangi model boyutunun gerektiğini kendi belgelerinizle yapılan bir test gösterir.
Yerel yapay zeka ChatGPT gibi çalışır mı?
Kullanım açısından evet: Sohbet penceresine sorunuzu yazar, yazılı bir yanıt alırsınız. Fark, modelde ve işlemenin yapıldığı yerdedir. Yerel kurulumda Llama, Mistral veya Qwen gibi açık bir model sizin donanımınızda çalışır. Bu modeller özetleme, belgelerden veri çıkarma ve şirket içi dokümanlarla ilgili soruları yanıtlama işlerini güvenilir biçimde yapar. Çok zorlu görevlerde en büyük bulut modelleri daha güçlüdür. Web araması ve görsel üretimi yerel kurulumda kendiliğinden gelmez.
Yerel yapay zeka kendi bilgi bankamızla çalışabilir mi?
Evet. Bu yönteme RAG denir: Belgeleriniz indekslenir, sistem her soru için ilgili bölümleri bulur ve modele iletir. Yanıtta kaynaklar belirtilir. Model verilerinizle eğitilmez. Mevcut erişim izinleri uygulanabilir; böylece herkes yalnızca görmeye yetkili olduğu içeriğe ulaşır. Şirket bilgisi için geliştirdiğimiz yapay zeka ajanı Aven de aynı yöntemle çalışır.
Tekrarlanan bir işi ve ilgili bilgilerin nerede bulunduğunu bize anlatın. Kapsamı net bir pilot proje tanımlamanıza ve sonraki adım için gerçekçi bir karar zemini oluşturmanıza yardımcı olalım.