人工智能推进的前提是在信息空间中完整表达物理世界，并形成信息世界同物理世界的无缝交互。然而物理世界中的同一物体可以对应文本、草图、图像、三维模型不同模态数据。其中：文本高度抽象，符合人类思维习惯；草图简单，捕捉模型的重要设计元素，更符合设计人员构思习惯；图像简单直观，更容易被获取；三维模型信息丰富完整，更真实反映原始物体。这些不同模态数据反映了原始物体的不同信息，适用于不同场合，却彼此对应。另一方面，在信息空间的表示中，图像信息丰富、语义标注完善，然而其识别却受光线、背景、视角的影响；三维模型信息完整、纯粹，然而其数据格式复杂，数据源相对缺乏，语义标注更是少之又少。这些不同模态数字模型的有效关联能够取长补短，实现信息互补，帮助不同需求的人员更加有效的利用数字资源。拟围绕该问题展开研究，基于深度学习，研究多模态数据表征技术，研究多模态语义空间嵌入技术，研究多模态数据互检索技术，实现不同模态数据的信息关联、信息互查，支持各模态数据的综合应用。