Apple'ın DCLM-7B: 7 Milyar Parametreli Açık Kaynak Dil Modeli Yayınlandı

Apple'ın 7 milyar parametreye sahip yeni dil modeli DCLM-7B, önceki en yüksek performanslı DCLM modeli MAP-Neo'yu kriterlerde %6.6 oranında geçmeyi başardı.

Apple, yapay zeka teknolojilerine odaklanan Apple Intelligence araştırma ekibi aracılığıyla, iki yeni küçük dil modeli yayınladı. Küçük dil modellerinin popüler olduğu bu dönemde Apple'ın da bu trende katılması dikkat çekti. Küçük olmasına rağmen yüksek performans gösteren bu dil modelleri, üretken yapay zeka modellerini eğitmek için kullanılıyor.

Apple'ın Makine Öğrenimi ekibi tarafından, açık kaynaklı DataComp for Language Models (DCLM) projesi kapsamında üretilen iki model, Llama 3 ve Gemma gibi önde gelen eğitim modelleriyle yarışıyor. Bazı kriterlerde bu daha küçük modellerle benzer performans gösteren Apple'ın dil modelleri, bazı ölçütlerde ise onları geride bırakıyor.

Harvard ve Stanford gibi üniversiteler ile Toyota gibi şirketlerin yer aldığı DataComp for Language Models projesinin, en etkili veri iyileştirme stratejilerine odaklandığını belirtmekte fayda var.

Apple'ın Yayınladığı Dil Modellerinin Kullanımı

Apple'ın yeni dil modelleri, standart bir framework sağlayarak ChatGPT ya da Claude gibi yapay zeka motorlarını eğitmek için kullanılıyor. Bu bağlamda modeller, bir mimari, parametreler ve veri kümelerinin filtrelenmesini içeriyor. Veri kümelerinin filtrelenmesiyle, yapay zeka motorlarının yararlanabileceği daha yüksek kaliteli veriler sağlanıyor.

Gelecek Planları ve Erişim

Apple ekibinin yayınladığı bu modellerin, gelecekte herhangi bir Apple ürününde kullanılmak üzere tasarlanmadığını belirtmekte fayda var. Topluluk araştırma projeleri olarak konumlanan modeller, yapay zeka modellerini eğitmek için kullanılan veri kümelerinin etkin bir biçimde iyileştirilmesini amaçlıyor. Bu anlamda Apple'ın araştırma ekibi, çeşitli veri iyileştirme tekniklerinin etkisinin yanı sıra model tabanlı kalite filtreleme stratejilerini de araştırdı. Geliştiriciler, modellere Hugging Face üzerinden erişebilir.

Apple'ın Yeni Modelinin Performansı

Apple'ın DCLM dil modelleri, 7 milyar parametre ve 1.4 milyar parametre olmak üzere iki farklı büyüklüğe sahip. 7 milyar parametreye sahip olan dil modeli, önceki en yüksek performansı gösteren DCLM modeli MAP-Neo'yu kriterlerde %6.6 oranında geçmeyi başardı. Üstelik Apple ekibinin DataComp-LM modeli, bu başarıyı %40 daha az bilgi işlem gücü kullanarak gerçekleştirdi. Bu sayede model, açık veri setlerine sahip olanlar arasında en iyi performansı sergilerken, özel veri setlerine sahip olanlarla da rekabet etmeyi başardı.

Apple'ın iki modeli de Büyük Çok Görevli Dil Anlama (MMLU) ölçütünde aldığı puanlarla dikkat çekti. Yine de Apple'ın 7 milyar parametreli modeli DCLM-7B, MMLU ölçütünde Llama 3, Gemma, Phi-3 ve Qwen-2 modellerini geride bırakamadı.