新加坡,2023年10月1日/美通社/——最近,Colossal-AI仅利用几百美元的培训成本就建立了一个出色的领域特定大型语言模型(LLM)。它可以很容易地应用于各个领域,促进大型人工智能模型的经济构建。
该解决方案没有任何商业限制,完全透明地扩展到整个训练过程、代码和模型权重。
技术细节、开源代码和权重可在https://github.com/hpcaitech/ColossalAI获得
从任何一般的大型模型到任何特定领域的大型模型,只需几百美元。
表演
巨像ai的模型不仅提高了中文能力,还进一步提高了英语水平。值得注意的是,它展示了与开源社区中类似规模的最先进(SOTA)模型相媲美的性能水平。
与此同时,Colossal-AI提供了全面的评估框架,Colossaleval,促进了成本效益的可重复性。
此外,通过SFT和LoRA等方法进行的微调在有效地注入基础模型的知识和能力方面存在局限性。它不能令人满意地满足构建高质量领域特定知识或专门模型应用程序的需求。
从一般大型模型到特定领域的大型模型的桥梁
更重要的是,创建中文版本不仅提供了可重用性的优势,而且在实际实现场景中具有重要意义。
人们普遍认为,从头开始预训练大型人工智能模型的成本过高,通常被幽默地称为只有那些有“5000万美元”闲钱的人才能进入的领域。
许多科技巨头和人工智能初创公司都渴望在构建大型通用模型方面投入巨资。然而,在这些大型模型的通用性背后往往是缺乏特定于领域的知识。因此,实际适用性问题变得尤为严重。
如果一个特定于领域的大型模型可以快速且经济有效地构建,然后针对特定的业务需求进行微调,那么它无疑将推进应用程序的部署,从而提供竞争优势。
将上述过程应用于任何领域的知识转移,都可以有效地构建轻量级的特定于领域的基础大型模型。
对于从头开始构建基础大型模型,人们也可以从前面提到的经验和Colossal-AI的降低成本和提高效率的能力中获得灵感,以最小的成本有效地实现这一目标。
巨像ai系统优化与云平台
令人印象深刻的性能和成本优势是建立在低成本人工智能大型模型开发系统Colossal-AI的基础上的。
巨量人工智能利用高效的技术来降低大型人工智能模型训练、微调和推理的成本。与众多世界500强企业及其他知名企业合作。
为了进一步提升大型模型开发和部署的效率,巨像ai已经升级到巨像ai云平台,目前正在公测,注册后提供代金券。
巨像ai云平台:platform.colossalai.com
Colossal-AI开源地址:https://github.com/hpcaitech/ColossalAI
一个关于HPC-AI技术
HPC-AI Tech是一家总部位于新加坡的初创公司。其旗舰产品Colossal-AI是为大型人工智能模型时代设计的多功能深度学习系统。它能够高效快速地部署大型人工智能模型训练和推理,从而显著降低大型人工智能模型应用的成本。HPC-AI Tech于2023年7月获得2200万美元的A轮融资。
媒体查询或更多信息,请联系:
contact@hpc-ai.tech
分享本文
下一篇:没有了