Yandex, LLM’yi açık kaynak olarak kullanıma sundu
Yandex, büyük dil modellerinin (Large Language Model-LLM) eğitimi için yeni ve açık kaynaklı bir yöntem olan YaFSDP’yi tanıttı.
REEL SEKTÖR
01.07.2024, 00:01 30.06.2024, 13:03
689
YaFSDP şu anda GPU iletişimini geliştirmek ve LLM eğitiminde bellek kullanımını azaltmak için halka açık en etkili yöntemi simgeliyor. Yöntem, mimariye ve parametre sayısına bağlı olarak FSDP’ye kıyasla %26’ya varan hızlanma sunuyor. YaFSDP kullanımıyla LLM’lerin eğitim süresinin azaltılması, GPU kaynaklarında %20’ye varan tasarruf sağlama potansiyeline sahip oluyor.
Yandex YaFSDP, GPU iletişimindeki verimsizliği ortadan kaldırarak GPU etkileşimlerini kesintisiz hale getiriyor ve eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlıyor.