8月14日，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)發(fā)布并開源了全模態(tài)PyTorch原生訓(xùn)練框架——VeOmni。據(jù)介紹，VeOmni采用以模型為中心的分布式訓(xùn)練方案，可將復(fù)雜的分布式并行邏輯與模型計(jì)算解耦，為全模態(tài)模型組合設(shè)置高效的并行訓(xùn)練方案。這一方式可大幅降低工程開銷，提升訓(xùn)練效率和擴(kuò)展性，將數(shù)周的工程開發(fā)時(shí)間縮短至幾天。

文章評(píng)價(jià)

匿名用戶

發(fā)布

發(fā)布