banner565

banner622

banner472

banner458

banner457

banner626

Yandex, LLM’yi açık kaynak olarak kullanıma sundu

Yandex, büyük dil modellerinin (Large Language Model-LLM) eğitimi için yeni ve açık kaynaklı bir yöntem olan YaFSDP’yi tanıttı.

REEL SEKTÖR 01.07.2024, 00:01 30.06.2024, 13:03
689
Yandex, LLM’yi açık kaynak olarak kullanıma sundu
banner637

YaFSDP şu anda GPU iletişimini geliştirmek ve LLM eğitiminde bellek kullanımını azaltmak için halka açık en etkili yöntemi simgeliyor. Yöntem, mimariye ve parametre sayısına bağlı olarak FSDP’ye kıyasla %26’ya varan hızlanma sunuyor. YaFSDP kullanımıyla LLM’lerin eğitim süresinin azaltılması, GPU kaynaklarında %20’ye varan tasarruf sağlama potansiyeline sahip oluyor.
Yandex YaFSDP, GPU iletişimindeki verimsizliği ortadan kaldırarak GPU etkileşimlerini kesintisiz hale getiriyor ve eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlıyor.

Yorumlar (0)