通义千问宣布开源Qwen2-VL，API已可直接调用

科技三易生活网 2024-09-04 09:46

日前，阿里云通义千问方面宣布开源其第二代视觉语言模型Qwen2-VL，并推出2B、7B这2个尺寸及其量化版本模型。同时通义千问旗舰模型Qwen2-VL-72B的API也已上线阿里云百炼平台，用户可直接调用。

据通义千问方面介绍，已通过Apache 2.0协议开源Qwen2-VL-2B和Qwen2-VL-7B，开源代码也集成到Hugging Face Transformers、vLLM和其他第三方框架中。开发者可通过Hugging Face和魔塔ModelScope下载模型，也能通过通义官网、通义App的主对话页面中使用该模型。

通义千问方面透露，其从综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力6个方面评估了Qwen2-VL的能力，该模型相比上一代的基础性能得到了全面提升。

据悉，Qwen2-VL可读懂不同分辨率和不同长宽比的图片，这一能力在DocVQA、RealWorldQA、MTVQA等基准测试创下全球领先的表现。其可以理解20分钟以上的长视频，并支持基于视频的问答、对话和内容创作等应用。同时该模型还能够理解图像视频中的多语言文本，包括中文、英文及大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。

值得一提的是，Qwen2-VL还具备强大的视觉智能体能力，能够集成至手机、机器人等设备，根据视觉环境和文字指令进行自主操作。

在架构方面，Qwen2-VL延续了上一代的ViT（Vision Transformer）加Qwen2的串联结构，并且3个尺寸的模型均采用了600M规模大小的ViT，支持图像和视频统一输入。但为了能够更清楚地感知视觉信息和理解视频，通义千问团队对新一代模型的架构进行了升级。

具体而言，Qwen2-VL会把不同大小的图片转换为动态数量的tokens、最小只占4个tokens，这一设计正是模拟了人类视觉感知的自然方式。另外其使用了多模态旋转位置嵌入（M-ROPE）方法，相较于传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE使得该模型能够同时捕捉和整合一维文本序列、二维视觉图像，以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，能让模型更好地理解和建模复杂的多模态数据。

据最新的评测结果显示，Qwen2-VL-72B作为旗舰模型在大部分的指标上都达到了最优，Qwen2-VL-7B以其“经济型”参数规模实现了极具竞争力的性能表现，而Qwen2-VL-2B则可支持移动端的丰富应用，同样具备完整图像视频多语言的理解能力，在视频文档和通用场景问答方面相比同规模模型优势显着。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】