Mersin KOBİ'leri İçin On-Premise LLM: Verinizi Dışarı Çıkarmadan Yapay Zeka

Üretken yapay zeka artık sadece büyük teknoloji şirketlerinin değil, Mersin'deki bir gıda ihracatçısının, bir lojistik firmasının veya bir sanayi üreticisinin de gündeminde. Teklif hazırlamak, doküman özetlemek, müşteri e-postalarını sınıflandırmak veya raporlara yorum yazmak gibi günlük işlerde dil modelleri ciddi zaman kazandırıyor. Ancak birçok işletme sahibi aynı soruyla duraksıyor: 'Şirket verilerimi yabancı bir bulut servisine göndermek güvenli mi?'

On-premise (şirket içi) LLM, bu sorunun cevabıdır: açık kaynak bir dil modeli şirketin kendi sunucusunda veya kontrolündeki bir veri merkezinde çalışır, istekler ve belgeler şirket ağının dışına çıkmaz. Llama, Qwen, Mistral, Gemma gibi açık ağırlıklı model aileleri son yıllarda, birçok kurumsal görevde kapalı bulut modellerine yaklaşan bir kaliteye ulaştı. Bu da yerel kurulumu sadece büyük şirketler için değil, KOBİ'ler için de uygulanabilir hale getirdi.

Bu yazı, MeSoft'un 'Kurumsal Yapay Zeka Serisi'nin ilk bölümüdür. Seride şirket içi LLM ile PDF raporlama, inference optimizasyonu, attention mekanizması ve RAG tabanlı bilgi asistanları konularını, Mersin'deki işletmelerin gerçek ihtiyaçları üzerinden ele alıyoruz.

Bulut yapay zeka servisleri hızlı başlangıç, bakım gerektirmemesi ve en büyük modellere erişim gibi gerçek avantajlar sunar. Düşük hacimli, hassas veri içermeyen işler için bulut çoğu zaman en mantıklı seçenektir. On-prem ise şu durumlarda öne çıkar: veriler kişisel veri veya ticari sır içeriyorsa, sözleşmeler ya da sektör düzenlemeleri verinin yurt dışına çıkmasını kısıtlıyorsa, kullanım hacmi yüksek ve öngörülebilirse ve internet bağlantısından bağımsız çalışma gerekiyorsa.

KVKK boyutu özellikle önemlidir. 6698 sayılı Kanun kapsamında kişisel verilerin yurt dışına aktarımı belirli şartlara ve güvencelere bağlıdır; müşteri isimleri, personel bilgileri veya sağlık verileri içeren dokümanları yurt dışındaki bir API'ye göndermek, hukuki değerlendirme ve ek süreçler gerektirir. On-prem kurulumda veri şirketin kendi altyapısında işlendiği için bu aktarım sorusu büyük ölçüde ortadan kalkar; yine de veri işleme envanteri, erişim kontrolü ve kayıt tutma yükümlülükleri devam eder.

Maliyet açısından tablo kullanım hacmine bağlıdır. Bulut servislerinde maliyet işlenen token sayısıyla doğrusal artar; on-prem'de ise başlangıçta donanım yatırımı yapılır ve sonrasında maliyet büyük ölçüde sabittir (elektrik, bakım). Her gün binlerce dokümanı işleyen bir şirket için on-prem, belirli bir hacmin üzerinde daha ekonomik hale gelir. Karar vermeden önce mevcut ve beklenen kullanım hacmiyle basit bir toplam sahip olma maliyeti (TCO) hesabı yapılmasını öneriyoruz.

Açık kaynak modeller genellikle parametre sayısıyla anılır: 3-4 milyar (3B-4B), 7-14 milyar (7B-14B), 30 milyar civarı ve 70 milyar ve üzeri. Küçük modeller hızlı ve ucuzdur; sınıflandırma, bilgi çıkarma ve kısa özetler gibi iyi tanımlanmış görevlerde şaşırtıcı derecede başarılıdır. Büyük modeller ise karmaşık akıl yürütme, uzun metin üretimi ve talimatları hassas şekilde takip etme konusunda üstündür. Mixture-of-Experts (MoE) mimarili modeller, toplam parametre sayısı büyük olsa da her token için sadece bir kısmını çalıştırarak iyi bir denge sunar.

Türkçe performansı, Türkiye'deki şirketler için kritik bir seçim kriteridir. Modeller arasında Türkçe dilbilgisi, terminoloji ve yazım kalitesi açısından belirgin farklar bulunur ve genel benchmark sonuçları bu farkı her zaman yansıtmaz. Bu nedenle model seçimini, şirketin gerçek görevlerinden hazırlanmış 30-100 örneklik bir değerlendirme setiyle yapıyoruz. Lisans koşulları da kontrol edilmelidir: bazı modeller Apache 2.0 gibi serbest lisanslarla, bazıları ise ticari kullanıma belirli koşullar getiren özel lisanslarla dağıtılır.

Çoğu KOBİ senaryosunda önerimiz şudur: iyi bir 8-14B modelle başlayın, RAG ve iyi yazılmış talimatlarla destekleyin, performansı ölçün ve ancak ölçümler gerektiriyorsa daha büyük bir modele geçin. Tek bir büyük model yerine görev bazlı birden fazla küçük modelin birlikte çalıştığı yapılar da maliyet açısından avantajlı olabilir.

LLM çalıştırmada en kritik kaynak GPU belleğidir (VRAM). Kaba bir kural olarak, 16 bit hassasiyette her 1 milyar parametre yaklaşık 2 GB, 4 bit quantization ile yaklaşık 0,5-0,6 GB bellek gerektirir. Buna ek olarak eşzamanlı kullanıcı sayısı ve bağlam uzunluğuyla büyüyen KV cache için pay bırakılmalıdır. Örneğin 4 bit quantize edilmiş 8B bir model tek bir 16-24 GB GPU'da rahatça çalışırken, 70B sınıfı bir model 48 GB ve üzeri bellek veya birden fazla GPU gerektirir.

Tipik bir başlangıç senaryosu olarak, 20-50 çalışanlı bir işletmede doküman özetleme, e-posta taslağı ve iç bilgi asistanı için 24-48 GB belleğe sahip tek GPU'lu bir sunucu çoğu zaman yeterlidir. Yüksek eşzamanlılık veya büyük modeller için çoklu GPU sunucular, NVLink bağlantısı ve tensör paralelliği gündeme gelir. CPU tarafında güçlü bir işlemci, yeterli RAM (model boyutunun en az iki katı önerilir) ve hızlı NVMe diskler, model yükleme ve doküman işleme süreçlerini hızlandırır.

Donanım kararını tahminle değil ölçümle vermeyi öneriyoruz. Gerçek iş yükünden alınmış örneklerle yapılan kısa bir kavram kanıtlama (PoC) çalışması, beklenen yanıt süresini ve eşzamanlı kullanıcı kapasitesini net şekilde gösterir. Böylece ne gereğinden büyük bir yatırım yapılır ne de kullanıcılar yavaş bir sistemle hayal kırıklığına uğrar. Donanım verimliliğini artıran teknikleri serinin inference optimizasyonu yazısında detaylandırdık.

Tipik bir on-prem LLM yığını şu katmanlardan oluşur: GPU sürücüleri ve konteyner altyapısı (Docker, gerekirse Kubernetes); vLLM, llama.cpp veya Ollama gibi bir inference sunucusu; RAG için bir vektör veritabanı; kullanıcıların eriştiği bir web arayüzü veya mevcut uygulamalara (ERP, CRM, e-posta) entegrasyon için OpenAI uyumlu bir API; ve izleme için Prometheus/Grafana gibi araçlar. OpenAI uyumlu API kullanmak, ileride modeli veya sunucuyu değiştirmeyi uygulama tarafında zahmetsiz hale getirir.

Güvenlik, 'veri dışarı çıkmıyor' demekle bitmez. Model sunucusu sadece iç ağdan erişilebilir olmalı, kimlik doğrulama şirketin mevcut dizin hizmetiyle (Active Directory, LDAP, SSO) entegre edilmeli, kullanıcıların sadece yetkili oldukları dokümanlara erişebilmesi sağlanmalı ve tüm istekler denetim için kayıt altına alınmalıdır. Prompt injection gibi dil modellerine özgü risklere karşı, modelin erişebildiği araç ve veriler en az yetki prensibiyle sınırlandırılmalıdır.

MeSoft olarak Mersin'de ihtiyaç analizi, model ve donanım seçimi, kurulum, entegrasyon ve ekip eğitimini kapsayan uçtan uca on-prem yapay zeka projeleri yürütüyoruz. KOSGEB ve kalkınma ajansı destekleri gibi finansman seçeneklerinin projeye uygunluğunu değerlendirmenize de yardımcı oluyoruz. Serinin bir sonraki yazısında, bu altyapının en somut kullanım alanlarından biri olan otomatik PDF raporlamayı ele alıyoruz.