Microsoft’tan cihaz üzerindeki görevlere odaklanan küçük dil modeli: Mu

Microsoft, dün cihaz üzerindeki görevlere odaklanan Mu adlı küçük bir dil modelini hayata geçirdiğini duyurdu. 330 milyon parametreli Mu, görev otomasyonu için Windows ayar menüsüne yakın zamanda eklenen yapay zeka agent’ını destekliyor. 

Mu, Copilot+ PC’lerde Dev Channel’da Windows Insider kullanıcılarının erişimine sunuldu. Nöral İşlem Birimi’ne (NPU) aktarılan Mu, saniyede 100’den fazla token ile yanıt veriyor. Şirketin belirttiğine göre; model, doğal dil sorgularını analiz ederek Windows Ayarları işlev çağrılarını yürütüyor. Microsoft’un aktardıklarına göre, yalnızca kod çözücü mimarisi yerine kodlayıcı-kod çözücü (encoder–decoder) dil modeli seçmek de verimliliği artırıyor.

Bu arada Ayarlar’daki yapay zeka agent’ı, Dev Channel’daki Windows Insider kullanıcıları tarafından erişilebilen Windows 11 Insider Preview Build’de mevcut. Şu an için yalnızca Snapdragon ile çalışan Copilot+ PC’ler bu özelliği kullanabilse de; Microsoft, AMD ve Intel tabanlı PC’lerin de belirli bir tarihte erişim kazanacağını dile getiriyor. 

Mu’nun eğitim süreci 

Mu, Azure Machine Learning’de A100 grafik işleme birimleri kullanılarak aşamalı olarak eğitildi. Mu, Phi Silica modeli sayesinde cihazda küçük dil modellerini çalıştırma konusunda edindiği bilgiler ışığında geliştirildi. Phi Silica, Microsoft’un 2024 yılında Snapdragon X Serisi dizüstü bilgisayarlarında Windows 11 Copilot+ PC’ler için geliştirilmişti. 

Microsoft’un geliştiricileri, NPU’larla çalışırken Mu’nun tasarımını işlemciye uyacak şekilde şekillendirmeyi öğrendi. Geliştiriciler, model mimarisinin ve parametre şekillerinin, donanımın paralelliği ve bellek sınırlarıyla uyumlu olmasını sağladı. Aynı şekilde geliştiricilerin, kodlayıcı ve kod çözücü arasındaki parametre dağılımını optimize ettiğini de belirtelim. 

Parametre sayısı, girdi token’larını temsil etmek ve çıktı logitlerini oluşturmak için aynı ağırlık kümesini kullanarak azaltıldı. Böylece bellekleri kısıtlı olan NPU’larda hızlı performans sağlandı. Öte yandan kullanıcıların NPU’da desteklenmeyen veya verimsiz işlemleri tetikleyen bir soru sorması halinde Mu bu işlemleri önlüyor. Son olarak Microsoft geliştiricilerinin dönüştürücü mimarisinde ve model küçültme tekniklerinde yaptığı değişikliklerin NPU’nun güç verimliliğini artırdığını da ekleyelim.