Jtti1.14

蚂蚁开源ATorch 、 Lookahead两项大模型技术

1月18日 消息:最近,蚂蚁开源了两项与大模型相关的新技术:ATorch 和 Lookahead。

ATorch 是一个大模型分布式训练加速扩展库,可实现深度学习自动资源动态优化和分布式训练稳定性提升,可提升深度学习的智能性,千亿模型千卡级别训练的算力利用率可达60%。

Lookahead 是一个推理加速框架,可以大幅提升大模型的推理效率,可将推理加速2-6倍。

蚂蚁开源ATorch 、 Lookahead两项大模型技术

ATorch 采用了分层架构设计,功能清晰、设计全面,为开发者提供极致精简的开发体验。作为 PyTorch 框架的高性能扩展加速库,ATorch 最少化用户代码侵入,为千亿参数大模型千卡级训练提供易用的高性能方案。在实践中,ATorch 已经在多个开源模型的训练优化实践中表现出色,将算力利用率提升了很多,并且稳定性也得到了显著提升。ATorch 已集成到蚂蚁集团的大模型训练开源产品 DLRover 中,让大模型开发者能够更专注于模型架构的设计,而无需处理工程方面的细节。

Lookahead 是一个推理加速框架,可以将推理加速2-6倍。通过采用多分支策略,Lookahead 能够在一次前向过程中生成更多的 Token,进一步压榨硬件性能。此外,Lookahead 还利用 trie 树存储和检索 Token 序列,并合并多条草稿中相同的父节点,提高计算效率。为了提高易用性,Lookahead 的 trie 树构建不依赖额外的草稿模型,只利用推理过程中的 prompt 及生成的回答进行动态构建,降低了用户的接入成本。

开源地址:https://github.com/intelligent-machine-learning/dlrover/atorch

论文地址:https://arxiv.org/abs/2312.12728

开源地址:https://github.com/alipay/PainlessInferenceAcceleration

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
广告位招租919838898
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索