微美全息开发基于多视图特征融合的三维物体识别系统

科技爱云资讯 2023-02-23 15:50

三维物体识别作为三维数据理解与分析的基础，现已成为计算机视觉领域的一个重要研究方向。随着计算机技术的不断发展，三维物体识别技术的应用也越来越广泛。

例如机器人利用三维物体识别技术对所处的三维场景进行建模和理解，人脸识别系统通过三维物体识别来处理图像及深度信息，增强现实和虚拟现实利用三维物体识别技术进行三维物体生成和渲染等等。

据了解，WIMI微美全息(NASDAQ:WIMI)开发了基于多视图特征融合的三维物体识别系统，其利用卷积神经网络分析三维物体不同视角并通过融合多个视图的特征来推断三维物体全局信息，并输入到全连接网络中进行分类，从多个视图中推断三维物体的标签。

WIM微美全息基于多视图特征融合的三维物体识别系统主要包括三个部分:视角信息选择，特征提取和特征融合。

视角信息模块主要是将三维物体从多个角度投影到二维平面中。不同的视角所涉及的物体方向和结构信息都不同，多视图间可以建立图结构，依据空间分布聚类为组。合理的视角信息选择策略可以优化网络的训练数据。

特征提取模块主要是利用卷积神经网络提取特征。特征映射模块可作用于卷积层后的视图特征响应图，利用多层感知机器学习多个映射矩阵，多个矩阵分别将对应的视图映射到一个近似的特征空间上，映射矩阵能够归纳出视图间的视角变换关系，并将特征图映射到一个对区域描述的组级特征上。

特征融合模块主要是以合理有效的策略将多个特征融合，依据聚类实现多层融合。利用卷积操作对高维的视图特征加权，编码不同视图间的权重信息。卷积处理的是具有空间信息的特征响应图，特征从卷积神经网络的卷积层后提取利用最大值池化获取特征图上的最大响应，并学习相邻视图间的相关性，生成更具有描述能力的全局特征，并融合成特征图。

在所有视图特征融合为全局特征之后，将全局特征输入到全连接层中，挖掘具有空间信息的融合特征中的高维特征，并完成分类及输出结果。

三维物体识别技术是计算机视觉的核心技术之一，其是三维场景理解的关键技术，是机器理解世界并与世界交互的基础，在自动驾驶、智能机器人、智慧交通、自主导航等领域具有极其广阔的应用前景，微美全息也将不断拓展其基于多视图特征融合的三维物体识别算法的运用领域。