当前,生成式AI和大模型正以燎原之势走进制造、金融、医疗、交通、教育等行业和领域,引发行业更多创新和变革,加速全社会数字化和智能化转型。近日,工信部赛迪研究院发布报告显示,2023年我国生成式人工智能市场规模有望突破10万亿元。作为中国领先的计算产品方案提供商和AI服务器市场TOP3,宝德计算凭借丰富的市场经验和对客户AI需求的深刻洞察,携手英特尔AI软硬件基础技术,匠心打磨和推出了宝德生成式AI解决方案。
宝德AIGC解决方案是软硬一体化解决方案,既可以集群部署也可以单机部署,方案架构包含硬件层、平台层、服务层和应用层。在硬件层,宝德充分发挥了20年服务器行业技术积累,提供涵盖AI训练服务器、AI推理服务器和AI边缘产品等多平台选择和可兼容,进行模型的高速训练、微调和高效推理。在硬件基础上,方案采用K8S进行集群资源管理(单机部署采用Docker)。基于雄厚的硬件层和平台层,在服务层部署了ChatGLM大模型推理服务、由GLM微调而来的行业大模型-宝德酒业大模型推理服务、宝德自研的嵌入数据仓库服务,可以将行业数据转换成向量数据,存储到向量数据库中,通过相似度匹配算法查询出相关内容交给大语言模型进行推理、LLM Functions服务,主要让大语言模型拥有调用后端接口的能力。基于这些硬件和服务,宝德开发了诸如聊德宝、AI客服和数字人等多种AI应用,可广泛服务于行业大模型、智能语音助手、网络直播、线上教育和培训等领域。
值得一提的是,宝德深耕行业多年,基于对市场的理解和对客户生成式AI多样性的计算需求,可提供生成式AI解决方案的定制化服务。
AIGC快速发展之时,算力越来越紧缺和成本越来越高,逐渐成为影响AIGC发展和落地应用的“绊脚石”。并且,从大模型的发展和应用看,AI推理的规模远高于训练,有效降低推理成本成为宝德的思路。对此,宝德技术团队经过反复测试和调优,精心准备了全部采用英特尔全新的至强处理器(Max系列)平台,以及Intel GPU的AIGC解决方案,使其集强大的AI计算、推理性能和卓越的经济效益于一体,以充分释放AI动能。
第四代英特尔®至强®可扩展处理器MAX系列CPU在大语言模型(LLM)推理方面有独特优势。它有32至56个内核,可提供最高112线程,内置英特尔高级矩阵扩展(AMX)的AI加速功能,可帮助诸如图像识别、对象探测等任务中的张量处理获得多倍效率提升,并可用于INT8、BF16等不同数据格式,性能高达上一代10倍。而且所有MAX处理器都内置了64GB的HBM2e 高带宽内存,分为4个16GB的集群,总内存带宽为1 TB / s,能够解决大模型工作负载经常受到内存带宽限制的窘境,数倍提升推理性能。并且,其价格极具竞争力。
宝德在基于此CPU和Intel Flex GPU的自研服务器PR2715E上开发部署了LLM方案-聊德宝,它拥有调用私域数据的能力,让AI应用更加智能化、个性化地为用户提供服务,目前已经应用于宝德服务器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产品。聊德宝具有快速迁移、便捷部署、多路并发的显着优势;最重要的是,该方案价格同比其它常规方案最高节约超过50%!
更妙的是,近日宝德服务器全面升级到第五代英特尔®至强®平台,第五代英特尔®至强®处理器除了具有更可靠的性能和更出色的能效外,它的AI性能大幅度提升,每个内核都具备 AI 加速功能,无需添加独立加速器,就可处理要求严苛的 AI 工作负载,包括对参数量多达 200 亿的模型进行推理和调优。 因此宝德AIGC解决方案将进一步测试适配升级到第五代英特尔®至强®平台,为客户部署AI应用提供更具性价比的优选方案。
大模型和AIGC正在日新月异地蓬勃发展,加速应用场景落地和引领产业变革势不可挡。宝德将继续携手英特尔,发挥AI优势,联合创新研发和应用,不断迭代优化生成式AI解决方案,为数据中心等客户打造高效便利和更加普惠的AI基础设施,加速释放AI动能,更好地服务中国数字经济高质量发展!
以上图片来源爱云资讯
延伸阅读: