Yerel Yapay Zeka: Kendi Modelini Çalıştır

Neden Yerel?

Aşama 1’de (Konu 07b) yapay zekayı doğru konumlandırdık: güçlü bir araç, asla bir otorite. Şimdi bir adım ileri: o aracı kendi donanımında çalıştırmak.

Bulut yapay zeka servisleri (ChatGPT, Gemini, Claude) kullandığında:

• Her konuşman şirketin sunucularına gider
• Veriler model eğitiminde kullanılabilir
• Servis istediği zaman kapatılabilir, sansürlenebilir, fiyatlandırılabilir
• API erişimi coğrafi kısıtlamalara tabi olabilir

Yerel yapay zeka çalıştırdığında:

• Verin sende kalır — hiçbir şey dışarı çıkmaz
• İnternet gerekmez — çevrimdışı çalışır
• Sansür yok — model sana cevap vermeyi reddetmez
• Abonelik yok — bir kere kur, sonsuza dek kullan
• Topluluk kaynağı — birden fazla kişi aynı donanımdan faydalanabilir

Bu, Konu 22’de (Kendi Sunucun) öğrendiğin prensiplerin yapay zeka versiyonudur: buluttan kendi donanımına geçiş.

Donanım: İkinci El GPU Fırsatı

Yapay zeka modelleri çalıştırmak için güçlü bir grafik kartı (GPU) gerekir. İyi haber: Türkiye’de büyük bir ikinci el GPU pazarı var.

Neden İkinci El?

Yıllarca Counter-Strike, VALORANT ve diğer oyunları oynayan genç nesil, güçlü GPU’lara yatırım yaptı. Oyun alışkanlıkları değişiyor, kartlar satılıyor. Bu kartlar yapay zeka için mükemmel çalışır.

Ne Araman Gerekir?

Yapay zeka modelleri için kritik özellik VRAM (video belleği):

Pratik öneri: RTX 3060 12GB, fiyat/performans dengesi açısından en iyi seçim. İkinci el piyasada makul fiyatlara bulunabilir ve 12 GB VRAM ile çoğu kullanışlı modeli çalıştırabilir.

Nereden Bulunur?

İkinci el GPU için: sahibinden.com, letgo, Türkiye’deki donanım forumları ve Discord/Telegram grupları. Satın almadan önce:

• Kartın madencilik (mining) geçmişi olup olmadığını sor
• Mümkünse test et veya iade garantisi olan satıcıdan al
• Fan durumu ve termal macun yaşını kontrol et

Not: Bu pazar hızla değişiyor. Bugün geçerli olan fiyatlar ve modeller yarın farklı olabilir. Güncel karşılaştırmalar için yapay zeka topluluklarını takip et.

Yazılım Ekosistemi

Bu alan çok hızlı gelişiyor. Bugün popüler olan araçlar yarın değişebilir. Temel yaklaşımlar:

Kolay Başlangıç: Ollama

Ollama, yerel model çalıştırmayı son derece kolaylaştıran açık kaynak bir araç. Linux’ta tek komutla kurulur ve hazır modelleri indirip çalıştırabilirsin. Terminal arayüzü var, ama web arayüzü eklentileri de mevcut.

Alternatifler

• llama.cpp — Daha düşük seviye, daha fazla kontrol. Ollama’nın temelinde bu teknoloji var.
• LocalAI — OpenAI API uyumlu yerel sunucu. Mevcut uygulamalarla entegrasyon için.
• Text Generation WebUI — Tarayıcı tabanlı arayüz, ChatGPT benzeri deneyim.

Açık Ağırlıklı Modeller

“Açık kaynak” yapay zeka modelleri (daha doğru ifadeyle “açık ağırlıklı” — open-weight) kendi donanımında çalıştırabildiğin modellerdir:

• Llama serisi (Meta) — Genel amaçlı, güçlü
• Mistral/Mixtral — Avrupa menşeli, verimli
• Qwen serisi — Çok dilli, Türkçe desteği gelişiyor
• Gemma (Google) — Hafif, hızlı

Model seçimi hızla değişiyor. Ollama’nın model kütüphanesini kontrol et — yenileri sürekli ekleniyor.

Önemli ayrım: “Açık ağırlık” (open-weight) ile “açık kaynak” (open-source) aynı şey değil. Çoğu model ağırlıklarını paylaşır ama eğitim kodunu ve verisini paylaşmaz. Konu 07’deki açık kaynak felsefesi tam anlamıyla uygulanmıyor — ama pratik olarak, modeli kendi donanımında çalıştırabilmek yeterli egemenlik sağlar.

Ne İçin Kullanılır?

Bireysel Kullanım

• Kod yardımı — terminal komutları, hata ayıklama, script yazma
• Çeviri — İngilizce teknik belgeleri Türkçeye çevirme
• Araştırma asistanı — kavramları açıklama, özetleme
• Yazı taslağı — metin düzenleme, dilbilgisi kontrolü

Topluluk Kullanımı

• Paylaşımlı kaynak — bir güçlü GPU rig’i, topluluk üyeleri için API sunucusu olarak çalışabilir
• Eğitim — yeni üyelerin teknik sorularını yanıtlama
• Belge üretimi — topluluk rehberlerinin hazırlanmasına yardım
• Yerelleştirme — önemli İngilizce kaynakların Türkçeleştirilmesi

Bu, Konu 27’deki topluluk altyapısının doğal uzantısıdır: Raspberry Pi ile Nextcloud ve Bitcoin node çalıştırıyorsun — aynı mantıkla, bir GPU rig’i ile topluluk yapay zeka servisi çalıştırabilirsin.

Sınırlamalar ve Dürüst Kayıt

Yerel Modeller Bulut Modellerinden Zayıftır

Bugün itibarıyla, yerel çalıştırılabilir modeller (7B–30B parametre) bulut modellerinden (yüzlerce milyar parametre) daha az yetenekli. Karmaşık akıl yürütme, uzun bağlam ve çok dilli performansta fark belirgin.

Ama: Bu fark hızla kapanıyor. Her ay daha yetenekli, daha verimli modeller çıkıyor. Ve birçok günlük görev için küçük modeller fazlasıyla yeterli.

Her Şey İçin Yeterli Değil

Yerel modeller bazı görevlerde bulut servisleriyle rekabet edemez. Bu normal. Pragmatik ol:

• Günlük görevler, kod yardımı, çeviri → yerel model yeterli
• Karmaşık araştırma, uzun belge analizi → bulut servisi gerekebilir (mahremiyet kurallarını uygula)

Enerji Tüketimi

Güçlü bir GPU altında çalışırken 200-350W tüketir. 7/24 çalıştırma yerine, ihtiyaç duyulduğunda açma modeli daha pratik. Topluluk kullanımında enerji maliyetini paylaşmak mantıklı.

Başlarken

1. Donanımını değerlendir — mevcut bilgisayarında GPU var mı? VRAM’i ne kadar?
2. Ollama kur — Linux’ta tek komut. Bir model indir ve dene.
3. Küçük başla — 7B modelle başla, ihtiyaçlarını anla, sonra büyüt.
4. Topluluğunu düşün — birden fazla kişi faydalanabilir mi? Paylaşımlı erişim kur.
5. Güncel kal — bu alan aydan aya değişiyor. Toplulukları takip et.

Konu 07b’yi Hatırla

Yerel yapay zeka çalıştırmak, mahremiyet sorununu çözer — ama epistemoloji sorununu çözmez. Model senin bilgisayarında çalışsa bile:

• İsnadı yoktur
• Hallüsinasyon yapabilir
• Dini konularda otorite değildir

Araç güçlenir, ama kurallar değişmez: kullan, ama doğrula. Çırak olarak çalıştır, usta olarak kabul etme.

Hatırla: Yerel yapay zeka, dijital egemenliğin son halkalarından biridir. Nasıl kendi sunucunla buluttan bağımsızlaştıysan, kendi modelinle yapay zeka tekellerinden bağımsızlaşırsın. Türkiye’deki ikinci el GPU pazarı bu fırsatı erişilebilir kılıyor — bir zamanlar Counter-Strike oynanan kartlar, şimdi bilgi üretim aracına dönüşebilir.