Microsoft, Phi-3 adı verilen hafif yapay zeka modelinin bir sonraki yinelemesini tanıttı. Güncellenen ailede 3,8 milyar parametreli Phi-3 Mini, 7 milyar parametreli Phi-3 Small ve 14 milyar parametreli Phi-3 Medium yer alıyor.
Phi-3, Aralık 2023’te tanıtılan Phi-2 modelinin Meta’nın Llama-3 ailesi gibi modeller tarafından performans açısından aşılmasının ardından geldi. Artan rekabet karşısında Microsoft Research, müfredat öğrenme yaklaşımına daha yeni teknikler uyguladı.
Yeni 3,8 milyar parametreli model, önceki Phi-2 modelini geliştirirken, daha büyük dil modellerine göre önemli ölçüde daha az kaynak kullanıyor. Microsoft’un kendi kriterlerine göre Phi-3 Mini, yalnızca 3,8 milyar parametreyle hem Meta’nın 8 milyar parametreli Llama’sını hem de OpenAI’nin 3,5 milyar parametreli GPT-3’ünü geride bırakıyor.
Microsoft’un açıklaması şu şekilde: “3,3 trilyon token üzerinde eğitilmiş 3,8 milyar parametreli bir dil modeli olan phi-3-mini’yi tanıtıyoruz. Bu modelin genel performansı, hem akademik kıyaslamalarla hem de dahili testlerle ölçülen, Mixtral 8x7B ve GPT-3.5 (ör. phi) gibi modellerle rekabet halindedir. -3-mini, bir telefona yerleştirilebilecek kadar küçük olmasına rağmen MMLU’da %69 ve MT-bench’te 8,38’e ulaşıyor.
Ayrıca, phi-3-small ve phi-3-medium olarak adlandırılan, 4.8T tokenler için eğitilmiş 7B ve 14B modelleriyle bazı başlangıç parametre ölçeklendirme sonuçları sağlıyoruz; her ikisi de phi-3-mini’den önemli ölçüde daha yeteneklidir (örn. sırasıyla %75). ve MMLU’da %78 ve MT-bench’te 8,7 ve 8,9).”
Küçük boyutu nedeniyle Phi-3 ailesi, daha büyük modellere kıyasla düşük güçlü cihazlar için optimize edilmiş durumda. Yeni modelin doğrudan akıllı telefonda gelişmiş doğal dil işleme yeteneğine sahip olduğu ifade ediliyor. Bu, Phi-3 Mini’yi her yerde yapay zeka yardımı gerektiren yeni uygulamalar için çok uygun hale getiriyor.
