业界动态
近日，阿里云机器学习广州SEO的平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统TePDist。它通过在HLO上做分布式策略搜索，能够与用户模型构建语言解耦。并且在保持通用性的同时，能够在可接受的策略搜索时间内，追求高性能分布式策略，同时用户无需修改模型主体代码，系统能够全自动地帮助用户做分布式扩展，有效解决了分布式框架长期以来在实际生产场景中手工广州SEO的优化和自动分布式工作存在的诸多性能和效率问题。
TePDist不仅仅是一个分布式Compiler，还拥有自己的分布式Runtime，以解决深度学习模型并行策略的自动搜索与分布式策略实施问题。在架构方面，TePDist采用Client/Server模式，实现分布式策略与模型描述的解耦。Server端是TePDist最重要部分，以HLO
IR作为输入，自动探索并实施分布式并行策略；Client端以用户描述的模型为输入，将其转换成HLO IR。因此，任何具有转换HLO
IR能力的Client，都可经过适配后接入Server端。
在功能方面，TePDist分为两个部分。一是在HLO
IR上进行SPMD（Data Parallel和Sharding）和Pipeline并行的策略搜索。并以此构建编译基于Task
Graph的执行计划。二是高效运行执行计划的分布式执行引擎。同时，TePDist提供了不同广州SEO的优化级别，高广州SEO的优化级别更加追求分布式策略质量，低广州SEO的优化级别会额外采取一些Heuristic，以较为微小策略质量牺牲，换取更快地搜索时间，以此满足落地需求。
性能上，TePDist通过在GPT和MoE模型上SPMD+Pipeline混合策略的模型扩展性实验，TePDist能够使GPT和MoE分别达到峰值能力的62%和58%。同时，在自动化方面的通用性上，TePDist也通过了VGG-19，DNABert和UNet等模型实验验证。
一直以来，大模型在模型效果上被证明具有显著优势。而ChatGPT的出现，证明了其在工业生产工具方面具有巨大潜力。阿里云机器学习广州SEO的平台PAI也宣布将TePDist开源，与AI开发者共同打造更快更好的自动分布式系统，全面助力AI大模型发展！
原创文章，作者：广州seo，如若转载，请注明出处：https://www.seocto.com/30783.html