Yapay Zeka Navigatörü 8: GenAI Reflection Llama yanıltıcı paket
Üretken yapay zeka, sürekli olarak ortaya çıkan yeni modeller, teknolojiler ve keşiflerle en güncel konudur. Bu kadar çok ziyaretle her zaman güncel kalmak zor.
Duyuru
Darbe üstüne darbe
GenAI'nin hızlı gelişiminin başlangıcında GPT vardı ve ardından Llama ve Mistral gibi açık modeller geldi. Son olarak, modeller farklı boyutlarda, çok modlu veya çok dilli gibi farklı yeteneklere ve farklı mimarilere sahipti: yoğun modeller, uzman kombinasyonu ve diğer yaklaşımlar. Microsoft'un Phi-3.5'i, Alibaba'nın Qwen'i ve Nivida'nın eğitimli lama soyundan gelen Nemotron gibi yeni modeller de var. Ormandaki şeyleri takip etmek neredeyse imkansızdır.
Daha da kötüsü, hemen hemen tüm modellerin farklı niceleme seviyeleriyle mevcut olması, yani daha küçük grafik kartları ve hatta CPU'lar için optimize edilmiş daha düşük bit sayılı çeşitlerin bulunmasıdır. Ve bu niceleme yöntemlerinin çeşitli varyasyonları vardır: GPTQ, AWQ, HQQ, 1,58 bit. Meta artık bu yarışa girdi ve kendi kuantizasyonunda muhtemelen daha da optimize edilmiş küçük Lama modelleri sunuyor – ancak Meta tarafından gösterilen iyi sonuçlar henüz doğrulanmadı.
Çoğu şirket ciddi bir şekilde çalışsa da pazarlama, hafife alınmaması gereken bir rol oynamaktadır. Reflection Lama'nın hikayesi, yayınlanan her şeyin her zaman doğru olmadığını kanıtlıyor.
Sansasyon olarak selamlandı: Yansıma Laması
6 Eylül 2024'te X'te (eski adıyla Twitter) bir mesaj heyecanı duyurdu. Daha önce çok az tanınan Matt Shumer, dil modellerine ince ayar yapmak için Reflection adını verdiği yeni bir teknik geliştirdiğini bildirdi.
Llama Açık Modelinden (70b) bu süreç kullanılarak oluşturulan modelin, diğer tüm açık kaynaklı modellerden daha iyi olduğunu gururla duyurdu. Aynı tekniği 405 milyar parametreli Lllama modeline de uygulamak istiyor ve bunun şimdiye kadarki en iyi model, hatta Open AI'nin GPT modellerinden daha iyi olmasını bekliyor. Bunu kanıtlamak için bir servis sağladı ve Lama modelinin ağırlıklarını Hugging Face'e yükledi.
Büyük bir coşku yaşandı ve tweet üç milyondan fazla izlendi. Hizmet çok iyi çalıştı ve harika yanıtlar verdi. Bunların Hugging Face'teki model tarafından doğrudan üretilememesi biraz garipti, ancak LLM'ler rastgeleliği kontrol eden sıcaklık hiperparametresi nedeniyle her zaman aynı yanıtları vermiyor. Topluluk, diğerlerinin yanı sıra Reddit'teki çeşitli öneri ve faaliyetlere baktıktan sonra şüpheler arttı.
Akıllı ayarlama yerine cephe
Bazı uzmanlar servise arkasında hangi modelin olduğunu sorma fikrini ortaya attı. Sonuç açıktı: Claude Sonetto 3.5. Dolayısıyla Shumer, modelini devrim niteliğindeki yansıma yöntemiyle geliştirmedi, yalnızca mevcut (iyi) hizmetin önüne bir cephe inşa etti.
Tartışma daha sonra devam etti çünkü Hugging Face'e yüklenen Llama Reflection modelinin gerçekte ne yapabileceği hala belli değildi. Bu sadece bir spekülasyon, ancak bazı soruların cevaplarına dayanarak modelin Shumer'in geleneksel ayarlama yöntemlerini kullanarak optimize ettiği (eski) Llama 3.0'ı temel aldığı sonucuna varılabilir.
Ayrıca, aşağıdaki gibi yeni etiketler tanıttı: <thinking>, <reflection> VE <output>bu çok mantıklı ve diğer modellerde de kullanılıyor. İlk başta baş dönmesini fark etmeyi zorlaştıran da tam olarak buydu.
Süreçlerin detaylı analizi DataCamp web sitesinde mevcuttur.
Devam etmek için çok hızlı
Bu nasıl olabilir? Bunun sorumlusu muhtemelen dil modelleri alanındaki son derece hızlı gelişmelerdir. Uzmanlar bile kalıpları takip etmekte ve doğrulamakta zorlanıyor. Topluluk yardım sağlayabilir çünkü birçok uzman burada birlikte çalışır ve tartışmalar yoluyla fikir sahibi olur.
Çevrimiçi tartışmalara ek olarak, bu tür konuşmalar çevrimdışı olarak da özellikle iyi bir şekilde gerçekleştirilebilir. DOAG, Haberlermedien ve de'ge'pol tarafından 20 ve 21 Kasım 2024 tarihlerinde Nürnberg'de düzenlenecek KI Navigator konferansı bunu yapma fırsatı sunuyor.
(Ben)