首页 > 科技 > 正文
Qzone
微博
微信

猎户星空大模型发布,仅需千元级显卡即可运行

科技 三易生活网 2024-01-23 17:55

在日前举行的开年AI大课暨猎户星空企业应用大模型发布会上,猎豹移动董事长兼CEO、猎户星空董事长傅盛进行了题为《AI大潮下企业如何创新?从技术狂欢到企业落地-私有化大模型是王道》的主题分享,并正式发布猎户星空大模型(Orion-14B)。

据悉,猎户星空大模型是由猎户星空研发的预训练多语言大语言模型,专为企业应用而生,且通过140亿参数实现了千亿参数大模型才能实现的效果。同时猎户星空大模型还支持私有化部署,大模型服务器可安置于企业内网,且所有数据无需连接公网。

据了解,作为百亿参数大模型,猎户星空大模型的基座能力在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别的SOTA(最佳模型)。并且在700亿参数以下的基座模型中,猎户星空大模型在中文数据集的表现上总分位列榜首。对此猎户星空方面表示,Orion-14B没有提前刷基准测试里面的真题,成绩绝对真实。

据悉,猎户星空大模型最长可支持320K token超长文本。而且在针对大模型“记忆力”的权威测试“大海捞针(Needle in A Haystack)”中,Orion-14B对200k Token的召回率是100%。同时通过AWQ Q4量化技术,猎户星空大模型的大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),在千元级显卡即可流畅运行。

值得一提的是,针对不同的需求,猎户星空进一步扩展了猎户星空大模型的功能和实用性,并着重打磨检索增强生成(RAG)和Agent两个方向。其中,RAG能力微调模型(Orion-14B-RAG)对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力,进行了专项微调,让其能更好配合企业整合自身知识库,构建定制化的应用。

为辅助企业构建AI Agent,猎户星空还推出了插件能力微调模型(Orion-14B-Plugin),该插件能通过Orion-14B-RAG更好理解用户需求,并调用相关的工具解决问题。

此外,猎户星空方面还推出了大模型深度应用“聚言”,面向企业客户提供大模型咨询与服务一站式解决方案。据悉,基于“聚言”打造的“数字老板”,可帮助企业负责人全面掌握经营细节、不留遗漏,包括人力资产、云资产、数字资产等。

【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】

 

延伸阅读:

 

责任编辑: cxr4186

责任编辑: cxr4186
人家也是有底线的啦~
广告
Copyright © 2018 TOM.COM Corporation, All Rights Reserved 雷霆万钧版权声明
违法信息/未成年人举报:010-85181169     举报邮箱/未成年人举报:jubao@tomonline-inc.com