Rehber Yapay Zeka Modellerini Nasıl Bilgisayarımda Çalıştırabilirim?

Esenlikler, bu rehberde bilgisayarda yerel olarak yapay zeka (AI) araçlarını çalıştırmanın kolay bir yöntemini anlatacağım.

Neden AI araçlarını yerel çalıştırmalıyım?;

• İnternet bağlantısına gereksinim duymazsın.
• AI aracı ile etkileşiminin kaydı bulutta saklanmaz, kimse yaptıklarınıza erişmez.
• Çalıştıracağın AI'lar açık kaynaklı olduğu için ne çalıştırdığını daha iyi bilirsin, daha çok özelleştirebilirsin.
• Sonuçlar çoğunlukla filtrelenmez. Kullanacağın AI araçları soruna cevap verebilecek kapasitedeyse verir, cevap vermeyi reddetmez.

(Ancak ChatGPT veya Gemini gibi site üzerinden erişim veren modeller için kullanılan sistemlerin hesaplama gücünün, dolayısıyla cevap kalitesi ve hızının daha iyi olduğunu söylemekte fayda var.)

Gereksinimler;

• En az 8 GB, önerilen 16 veya 32 GB RAM
• Güçlü bir ekran kartı. Önerim en az RTX 3060 olması yönünde ama 1050 TI seviyesinde kartlarda da basit seviyedeki modeller çalışacaktır.
• Windows/MacOS/Linux işletim sistemi
• Not: Aşırı yüksek miktarda RAM ve VRAM kullanabilir.

Adımlar;
1- LM Studio'yu indir ve kur.

2- LM Studio'da arama kısmınına bir AI modelinin ismini yaz. Ben pek güçlü olmasa da düşük güç gerektirdiği ve dosya boyutu düşük olduğu için Google'ın Gemma modelini indireceğim.





Ben 2B yani 2 milyar parametreli versiyonu indireceğim (Parametre: AI modelinin eğitildiği verilerin boyutu, yüksek olması genelde daha iyi sonuçlar anlamına gelse de bu tam bir kaide değil). Dosyaların yanında yeşil renkte yazan "FULL GPU OFFLOAD POSSIBLE" yazısı sistemin bu modeli çalıştırmaya yeterli olduğunu gösteriyor. Burada 2 seçenek var, alttaki daha çok eğitilmiş veri içeriyor ve boyutu daha yüksek. İkisinden birini seçip yanındaki "Download" seçeneğinden indir.

3- İndirme bitince sol kenardan sohbet ikonuna tıkla. Gelen sayfada üstteki mor kısımdan yapay zeka modelini seç.

4- Bundan sonra bu modelle konuşabilirsin. Daha çok detay var ama çalışılabilir hale getirmek bu kadardı. Devamını da araştırarak öğrenmeni öneririm.


Diğer benzer yapay zeka modellerini HuggingFace'den bulup LM Studio'da isimleriyle aratıp indirebilirsin ama tüm modeller çalışmayabilir. LM Studio'nun kullandığı .gguf formatı sıradan bilgisayarda çalışması için minimize edilmiş modellerin dosyalarıdır.





Yerelde çalıştırmakla uğraşmak istemiyorsanız önerdiğim AI Modelleri: ChatGPT, Gemini, Microsoft CoPilot, Phind, Perplexity AI

Harika!