日前有消息源透露,亚马逊方面或将投资数百万美元用于组建新团队训练大型语言模型(LLM),并希望其能够与当前最强大的大模型媲美。据称,该大模型在亚马逊的内部代号为“Olympus”(奥林巴斯),拥有2万亿个参数。如这一消息属实,那么也就意味着“Olympus”或成为目前正在训练中的最大模型之一。虽然官方尚未公布相关数据,但有相关报道显示,目前全球最大的大模型之一GPT-4参数规模或为1万亿个。
据上述消息源表示,亚马逊的这一大模型训练团队将由Alexa前负责人Rohit Prasad领导,并直接向首席执行官Andy Jassy汇报。据悉,Rohit Prasad也是亚马逊通用人工智能(AI)首席科学家,目前其已将一直在研发Alexa AI的研究人员与亚马逊科学团队召集在一起,共同推进大模型的训练工作。
此外该消息源还指出,亚马逊方面认为拥有自主开发的大模型可使得其AWS更具吸引力,因为企业客户希望在AWS上获得性能最佳的大模型。同时该消息源强调,目前亚马逊方面还没有制定发布新模型的具体时间表。
但对此消息,亚马逊方面目前拒绝置评。
需要注意的是,此前在今年7月就曾有消息称,亚马逊方面正在组建一个新的团队,旨在大力研究AI项目。在当时披露的一封内部邮件显示,该团队名为“S-team”,由20多名高管组成,并由Rohit Prasad领导、向Andy Jassy汇报。在该邮件中Andy Jassy表示,该团队将成为亚马逊的“核心团队”,以及“我们已经在公司建立了几个LLM系统,并且还有几个正在筹备中,但我们将集中一些资源来建立我们最雄心勃勃的LLM系统”。
此外在今年早些时候发布的2022年度股东信中,Andy Jassy也曾表示,对亚马逊能够控制成本并继续投资于新的增长领域充满信心,并透露亚马逊未来将大力投资大模型和生成式AI领域,因为他认为这是能让“亚马逊未来几十年可以在每个业务领域都进行创新的核心”。
据了解,此前亚马逊方已经训练出了Titan等规模较小的模型,并推出了基础大模型云服务Amazon Bedrock。其中,Titan系列基础模型包括Titan Text和Titan Embeddings,Titan Text可以从简单的自然语言命令生成文本,适用于撰写博客、电子邮件、文档摘要、开放式问答和信息提取等各种应用;Titan Embeddings则可以为搜索、异常检测和个性化等应用程序生成文本嵌入。
Amazon Bedrock则允许用户通过API使用Titan和AI21 Labs、Anthropic、Stability AI等公司提供的基础模型,其中包括Jurassic-2、Claude、Stable Diffusion等,来构建和扩展自己的生成式人工智能应用。
【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】
延伸阅读: