On-Premise Yapay Zeka: Veriler Şirketten Çıkmadan LLM Kullanmak

Yapay zekada tereddüt eden çoğu şirket teknolojiden şüphe etmiyor. Neler yapabildiğini gördüler. Engel tek bir cümle — hukuk biriminden, çalışan temsilciliğinden ya da bir müşteri sözleşmesinden: „Verilerimiz başkasının sunucusunda duramaz." Ticari sırlar, müşteri kayıtları, sağlık verileri, NDA altındaki sözleşmeler — birçok işletme için bu cümle pazarlık konusu değil. Haklı olarak.

İyi haber: Bu cümle artık yapay zekadan vazgeçme sebebi değil. Açık ağırlıklı modeller yeterince iyi, araç seti yeterince olgun hale geldi — ciddi yapay zekayı tamamen kendi ağınızın içinde çalıştırabilirsiniz. İncelik ne zaman buna değdiğinde — çünkü „on-premise" bir spektrumun ucu ve bazı şirketler için dürüst cevap bir kademe öncesinde.

„Veri dışarı çıkıyor" gerçekte ne demek

Her yapay zeka seçeneği, verinizi teknik olarak kimin görebildiğine göre bir spektrumda durur:

Halka açık API'lar (OpenAI, Anthropic, Google). Prompt'larınız — yapıştırdığınız veya eklediğiniz belgeler dahil — sağlayıcının sunucularına gider, genellikle ABD'ye. Kurumsal planlar verinizin eğitimde kullanılmayacağını taahhüt eder ve bu taahhütler gerçektir. Ama veriyle eğitim yapmama sözü, verinin orada hiç bulunmaması ile aynı şey değildir. Kişisel verilerde, veriyi kendi altyapınızın dışındaki bir işleyiciye teslim ediyorsunuz — KVKK/GDPR'ın buna bağladığı her şeyle birlikte. Birçok kullanım için bu tamamen yeterli. Hassas olanlar içinse, hukuk biriminin hayır dediği cümlenin ta kendisi.

Kurumsal bulut yapay zekası (Azure OpenAI, AWS Bedrock). Aynı en üst düzey modeller, ama seçtiğiniz bir bulut bölgesinde — AB bölgeleri dahil — kurumsal veri işleme sözleşmeleriyle: verinizle eğitim yok, saklama kontrolleri, denetim kayıtları. Bu, halka açık bir API'dan hukuken ve teknik olarak gerçekten farklı bir konum ve birçok regüle şirket için yeterli. Ama net olalım: veriniz yine de altyapınızı terk ediyor ve üçüncü bir tarafça işleniyor. „AB bölgesi" riski daraltır; işleyiciyi ortadan kaldırmaz.

Özel kurulum (on-premise veya private cloud). Açık ağırlıklı bir model — Llama, Mistral, Qwen ve akrabaları — kontrol ettiğiniz donanımda: kendi sunucu odanız, kiraladığınız dedike makineler, kendi sanal özel bulutunuz. Prompt'lar, belgeler ve cevaplar ağ sınırınızı asla geçmez. Kimseye API çağrısı yok. „Veri dışarı çıkmaz" cümlesinin kelimenin tam anlamıyla, teknik olarak doğru olduğu tek kademe budur — bir sözleşme maddesi değil, bir mimari gerçeği.

Doğru kademe bir iş kararıdır, ideoloji değil. Halka açık dokümantasyon üzerinde iç sohbet mi? Halka açık bir API yeterli. Müşteri sözleşmeleri üzerinde soru cevaplamak mı? O başka bir konuşma.

2026'da kendi donanımınızda gerçekten ne çalışıyor

En sık duyduğumuz soru: „Kendimiz çalıştırabileceğimiz bir model gerçekten iyi mi, yoksa oyuncak mı?" Boyut sınıfına göre dürüst cevap:

Küçük modeller (7–9B parametre). Tek bir iyi GPU'da — hatta iyi donanımlı bir iş istasyonunda — çalışır. İki yıl önce bu sınıf bir meraktı; bugün sınıflandırma, veri çıkarma, özetleme, yapılandırılmış veri işleri ve iç sohbeti gerçek bir güvenilirlikle yapıyor. Kullanım senaryonuz „şu belge tipini oku, alanları çıkar" ise, küçük bir model bunu bütün gün elektrik parasına yapar.

Orta boy modeller (30–70B). Şirket asistanlarının iş atı sınıfı — güçlü muhakeme, sağlam araç kullanımı, iyi çok dillilik. Bir-iki ciddi GPU ister (orta ölçekli bir şirketin rahatlıkla sahip olabileceği veya dedike sunucu olarak kiralayabileceği donanım sınıfı). Belgeleriniz üzerinde RAG ile birleşince, „bizim iç ChatGPT'miz, ama özel" tam burada yaşar.

Büyük açık modeller (100B+, mixture-of-experts). Frontier'a yakın kalite artık açık ağırlıklarla mevcut. Çoklu GPU sunucusu ve gerçek operasyon dikkati ister; çoğu şirketin buna ihtiyacı yok — ama ihtiyacı olanlar için seçenek masada. Hiçbir API olmadan.

Anlık görüntüden çok eğilim önemli: Her yıl, eskiden frontier API gerektiren kalite bir donanım sınıfı aşağı iniyor. İki yıl önce GPU kümesi isteyen şey bugün iki karta sığıyor.

RAG vs. fine-tuning — çoğu şirketin önce RAG'a ihtiyacı var

Bu ikisi sürekli karıştırılıyor ve bu karışıklık para kaybettiriyor.

RAG (Retrieval-Augmented Generation): Model verinizle hiç eğitilmez. Belgeleriniz indekslenir; biri soru sorduğunda ilgili pasajlar bulunur ve modele bağlam olarak verilir — model onlardan, kaynak göstererek cevaplar. Bilginiz kontrolünüzdeki bir veritabanında kalır, belgeler değiştiğinde anında güncellenir ve erişim kontrolü mevcut yetkilerinizi yansıtabilir: model, soran kişinin görmeye yetkili olduğundan fazlasını görmez. Şirketlerin „işimizi bilen yapay zeka" derken %80'inin gerçekte istediği şey budur.

Fine-tuning modelin kendisini değiştirir — ton, format disiplini, alan terminolojisi, özel görevlerdeki davranış. Modelin bir şeyleri bilmesi değil, farklı davranması gerektiğinde doğru araçtır. Bilgi deposu değildir: sözleşmelerinizi bir modele eğitmek, onları çağırmaktan daha yavaş, daha pahalı, güncellemesi daha zor ve daha sızdırgandır. Durum gerçekten gerektirdiğinde yaparız — RAG problemi çok daha az emekle çözüyorsa da açıkça vazgeçirmeye çalışırız.

Olağan yol: önce RAG. Kanıtlar gösterirse, sonra fine-tuning.

Gerçek bir özel kurulum nasıl görünür

Bilimsel bir deney değil — artık epey standart bir mimari:

• Bir model sunucusu (örn. vLLM): seçtiğiniz açık model, sizin donanımınızda, yalnızca sizin sistemlerinizin erişebildiği bir iç API ile.
• Bir embedding modeli + vektör veritabanı: indekslenmiş belgeleriniz — o da sizin, o da içeride.
• Erişim kontrollü bir retrieval katmanı: sorgular, dosya paylaşımlarınızın ve sistemlerinizin zaten uyguladığı yetkilere uyar. Stajyerin soruları yönetim kurulunun belgelerini getirmez.
• Arayüz — bir sohbet ekranı, ya da daha iyisi: ekibinizin zaten kullandığı araçların içine gömülü yapay zeka (ajanlık kısmı burası).
• LLMOps: izleme, değerlendirme, model güncellemeleri. Modeller birkaç ayda bir iyileşiyor; özel bir kurulumun donmuş bir sürüm değil, sıkıcı ve test edilmiş bir yükseltme yolu olmalı.

Kurulum hedefi esnek: kendi sunucu odanız, bir veri merkezinde kiralık dedike donanım veya bir private cloud — mimari aynı, önemli olan sınır.

Dürüst ödünleşimler

Özel yapay zeka gerçek paraya mal olur: donanım veya dedike barındırma, kurulum ve sürekli operasyon. Halka açık bir API istek başına kuruşlar tutar ve onu başkası işletir. O yüzden:

• Veriniz gerçekten kritik değilse — halka açık doküman, pazarlama metni — API kullanın, basit tutun.
• Regüleyseniz ama AB'de Azure + kurumsal sözleşme hukuk ekibinizi tatmin ediyorsa, bu meşru bir cevaptır — size sunucu satmaya çalışmadan onun üzerine kurarız.
• Veri işin kendisiyse — müşteri kayıtları, sözleşmeler, fikri mülkiyet, bir yabancıya e-postayla göndermeyeceğiniz her şey — temiz cevap özel kurulumdur. Ve artık egzotik değil.

Yapmayacağımız şey: tek cevabın herkese uyduğunu varsaymak. Kademe, sizinle birlikte verdiğimiz bir karardır — gerçek verilerinize, sözleşmelerinize ve bütçenize göre. Raftan paket değil.

Biz nerede devreye giriyoruz

Köln merkezli bir yazılım ajansıyız; yapay zeka sistemleri kuruyoruz — ajan tabanlı iş akışları, şirket belgeleri üzerinde RAG ve tam LLMOps ile özel model kurulumları. Bu yığını uçtan uca inşa ettik: model servisi, yetki bilinçli erişimle retrieval ve ekibinizin gerçekten çalıştığı sistemlere entegrasyon. Almanca, İngilizce veya Türkçe — DACH ve ötesindeki şirketler için.

„Veri dışarı çıkamaz" cümlesi şirketinizde yapay zekayı engelliyorduysa: artık engellemek zorunda değil. Proje sihirbazımıza durumunuzu anlatın veya doğrudan bizimle konuşun — hangi kademenin uyduğuna, maliyetine ve işletmenin ne gerektirdiğine dair dürüst bir değerlendirme alırsınız.