Yapay zeka hizmetleri

Şirketler için yerel yapay zeka

Şirket bilgileriniz nereye gidiyor?

Bulut yapay zeka ile tamamen yerel bir kurulumun karşılaştırması. Aynı görev, bilgileriniz için iki farklı yol.

İki şemada da aynı örnek

“Bu şirket içi raporu özetle.”
  1. 01Bilgileri gönder
  2. 02İsteği işle
  3. 03Yanıtı geri gönder

Hazır

Bulut yapay zeka

Sağlayıcıda barındırılır

Şirket ağı · şirket içinde
Ekibiniz + yapay zeka ajanlarınız

Kullanıcılar + şirket bilgileri

Şirket bilgileriSoru + bağlam
Yapay zeka yanıtıEkibinize geri döner

Şirket ağının dışında

Kendi sunucunuz

Uygulamalar ve şirket verileri

Yapay zeka istekleri buraya uğramaz

Harici yapay zeka sağlayıcıları

OpenAI, Anthropic, Microsoft Azure, DeepSeek veya AWS Bedrock

Model sağlayıcıda çalışır

Seçilen bilgiler şirket ağından çıkar.Harici bir yapay zeka sağlayıcısında işlenir.

Yerel yapay zeka

Kendi donanımınızda

Şirket ağı · şirket içinde
Ekibiniz + yapay zeka ajanlarınız

Kullanıcılar + şirket bilgileri

Şirket bilgileriSoru + bağlam
Yapay zeka yanıtıEkibinize geri döner

Şirket ağının içinde

Kendi sunucunuz

Yerel çalışan yapay zeka modeli

Yerel veri işleme

Harici yapay zeka çağrısı yok

Bilgiler şirket ağının içinde kalır.Kullanıcılar, sunucu ve model aynı sınırın içindedir.

İstek + seçilen şirket bilgileriYapay zeka yanıtı

Örnek akış · gerçek veri yok · hız karşılaştırması değil

Burada gösterilen yerel kurulum tamamen yereldir. Model, belge işleme ve arama şirket ağında çalışır; harici yapay zeka çağrıları kapalıdır. Bulut yedek hizmetleri, web araması ve diğer bağlantılı hizmetler için veri akışı ayrıca kontrol edilmelidir. Şemalar, ülke veya ağ bağlantısı türü belirtmeden işleme yerlerini gösterir.

Pratikte neler değişir

Aynı görev. Farklı sorumluluklar.

İşleme yeri; verinin izlediği yolu, sistemi kimin işlettiğini ve bütçede neleri planlamanız gerektiğini değiştirir.

Hangi bilgiler gönderilir?

Bulut yapay zeka
Soru ve uygulamanın eklediği rapor metni veya sohbet geçmişi gibi içerikler, seçilen bulut hizmetine gider.
Yerel yapay zeka
Aynı bilgiler kendi sunucunuza gider. Gösterilen kurulumda işleme ve yanıtlar şirket ağının içinde kalır.

Yapay zekayı kim işletir?

Bulut yapay zeka
Modeli ve altyapıyı sağlayıcı işletir. Şirketiniz uygulamayı, kullanıcı hesaplarını ve veri ayarlarını yönetmeye devam eder.
Yerel yapay zeka
Sunucuyu ve modeli şirketiniz veya seçtiğiniz BT ortağı işletir. Erişim izinleri, güncellemeler, izleme ve yedeklemeler de buna dahildir.

Maliyetler nelerdir?

Bulut yapay zeka
Hizmet veya kullanım ücretleri, entegrasyon ve destek. Kullanılabilir kapasite ve hizmet koşulları sağlayıcıya bağlıdır.
Yerel yapay zeka
Donanım, elektrik, bakım ve destek. Model boyutu ve eş zamanlı kullanıcı sayısı, gereken kapasiteyi belirler.

Birkaç yararlı ayrım

Ağ sınırını anlamak.

Modelin adı, verilerimizin nereye gittiğini söyler mi?

Hedefi barındırma hizmeti belirler. Örneğin Azure OpenAI, Microsoft ortamında çalışır. Yerel olarak kurulabilen bir model de barındırılan API üzerinden çağrıldığında bulut yolunu kullanır. İşlemenin nerede yapıldığını belirleyen, seçilen hizmet ve yapılandırmadır.

Microsoft: Azure veri işleme
Bulutta işlenen veriler model eğitiminde kullanılır mı?

İşleme, saklama ve model eğitimi farklı kullanımlardır. Politikalar ürüne, sözleşmeye ve ayarlara bağlıdır. Örneğin OpenAI, ayrıca izin vermediğiniz sürece API verilerinin varsayılan olarak model eğitiminde kullanılmadığını belirtir. Saklama kuralları ayrıca değerlendirilmelidir.

OpenAI: API veri kontrolleri
Yerel yapay zeka internet olmadan çalışabilir mi?

Evet; model, belge işleme, arama ve gerekli veriler yerel olarak mevcutsa ve harici hizmetler kapalıysa çalışabilir. Kurulum ve güncellemeler için dosya aktarımı planlanmalıdır. Erişim izinleri, yedeklemeler ve yapay zeka yanıtlarının kontrolü yine işletimin bir parçasıdır.

Bir sunucu odasına ihtiyacımız var mı?

Küçük bir pilot için uygun bir iş istasyonu veya tek sunucu yeterli olabilir. Daha büyük modeller ve daha fazla eş zamanlı kullanıcı, daha fazla bellek ve işlem gücü gerektirir. Satın alma önermeden önce sistemi iş yüküne göre boyutlandırır ve test ederiz.

Yerel yapay zeka için hangi donanım ve hangi ekran kartı gerekir?

Belirleyici olan ekran kartının belleğidir (VRAM): Model bu belleğe tamamen sığmalıdır. 7–9 milyar parametreli küçük modeller, sıkıştırılmış halde 8–16 GB bellekli tek kartta çalışır. 30–70 milyar parametreli orta boy modeller yaklaşık 24–48 GB ister; bu da büyük bir kart veya iki kart demektir. Eş zamanlı kullanıcı sayısı arttıkça kapasite ihtiyacı da artar. İşiniz için hangi model boyutunun gerektiğini kendi belgelerinizle yapılan bir test gösterir.

Yerel yapay zeka ChatGPT gibi çalışır mı?

Kullanım açısından evet: Sohbet penceresine sorunuzu yazar, yazılı bir yanıt alırsınız. Fark, modelde ve işlemenin yapıldığı yerdedir. Yerel kurulumda Llama, Mistral veya Qwen gibi açık bir model sizin donanımınızda çalışır. Bu modeller özetleme, belgelerden veri çıkarma ve şirket içi dokümanlarla ilgili soruları yanıtlama işlerini güvenilir biçimde yapar. Çok zorlu görevlerde en büyük bulut modelleri daha güçlüdür. Web araması ve görsel üretimi yerel kurulumda kendiliğinden gelmez.

Yerel yapay zeka kendi bilgi bankamızla çalışabilir mi?

Evet. Bu yönteme RAG denir: Belgeleriniz indekslenir, sistem her soru için ilgili bölümleri bulur ve modele iletir. Yanıtta kaynaklar belirtilir. Model verilerinizle eğitilmez. Mevcut erişim izinleri uygulanabilir; böylece herkes yalnızca görmeye yetkili olduğu içeriğe ulaşır. Şirket bilgisi için geliştirdiğimiz yapay zeka ajanı Aven de aynı yöntemle çalışır.

Aven: kendi bilgi bankanızdan yanıtlar

Fikirden günlük kullanıma

Küçük bir pilot. Net bir karar.

Yararlı bir iş akışıyla başlar, kapsamı genişletmeden önce ekibinizle sonuçları ölçeriz.

  1. 01

    Bir görev seçin

    Kullanıcıları, sorunu ve yararlı bir sonucun ölçütlerini belirleyin.

  2. 02

    Onaylı verileri bağlayın

    Güncel belgeleri seçin, erişimi tanımlayın ve uygun donanımı belirleyin.

  3. 03

    Kavram kanıtı yapın

    Yanıt kalitesini, zaman tasarrufunu, hızı ve erişim izinlerini ölçün.

  4. 04

    İşletimi planlayın

    Güncelleme, izleme, yedekleme, destek ve eğitim sorumlularını belirleyin.

İlk kullanım alanınız

Ekibiniz nerede zaman kaybediyor?

Tekrarlanan bir işi ve ilgili bilgilerin nerede bulunduğunu bize anlatın. Kapsamı net bir pilot proje tanımlamanıza ve sonraki adım için gerçekçi bir karar zemini oluşturmanıza yardımcı olalım.

Kullanım alanını görüşelim