WO2020228347A1 - 基于超像素的对象三维模型生成方法、系统及存储介质 - Google Patents

基于超像素的对象三维模型生成方法、系统及存储介质 Download PDF

Info

Publication number
WO2020228347A1
WO2020228347A1 PCT/CN2019/129941 CN2019129941W WO2020228347A1 WO 2020228347 A1 WO2020228347 A1 WO 2020228347A1 CN 2019129941 W CN2019129941 W CN 2019129941W WO 2020228347 A1 WO2020228347 A1 WO 2020228347A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
dimensional
image
superpixel
generate
Prior art date
Application number
PCT/CN2019/129941
Other languages
English (en)
French (fr)
Inventor
李新福
Original Assignee
广东康云科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东康云科技有限公司 filed Critical 广东康云科技有限公司
Publication of WO2020228347A1 publication Critical patent/WO2020228347A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Definitions

  • the invention relates to the field of three-dimensional modeling, in particular to a method, system and storage medium for generating a three-dimensional object model based on superpixels.
  • a three-dimensional model is a polygonal representation of an object, which is usually displayed by a computer or other video equipment.
  • the displayed objects can be real-world entities or fictional objects. Anything that exists in the physical world can be represented by a three-dimensional model.
  • computers and other equipment With the widespread application of computers and other equipment in all walks of life, people are beginning to be dissatisfied with computers and other equipment that can only display two-dimensional images, and hope that computers and other equipment can express a realistic three-dimensional world with a strong sense of reality.
  • Three-dimensional modeling can enable computers and other equipment to do this.
  • Three-dimensional modeling is to use three-dimensional data to reconstruct real three-dimensional objects or scenes in computers and other equipment, and finally realize the simulation of real three-dimensional objects or scenes on computers and other equipment.
  • the three-dimensional data is the data collected by various three-dimensional data acquisition equipment, which records various physical parameters of the finite body surface at discrete points.
  • the purpose of the embodiments of the present invention is to provide a method, system and storage medium for generating a three-dimensional object model based on superpixels to improve the quality of the generated three-dimensional object model.
  • the method for generating a three-dimensional object model based on superpixels includes the following steps:
  • the superpixel image is spliced with the generated geometric model to generate a three-dimensional model of the object.
  • the step of acquiring three-dimensional data of the object specifically includes:
  • the step of generating a point cloud and a corresponding geometric model according to the depth information of the object specifically includes:
  • the artificial intelligence algorithm adopts a generative confrontation network algorithm.
  • the step of using artificial intelligence algorithm to perform image super-resolution processing on the two-dimensional image of the object to obtain a super-pixel image specifically includes:
  • the two-dimensional image of the object is input into the trained generative confrontation network model to obtain a superpixel image.
  • the step of splicing the superpixel image with the generated geometric model to generate a three-dimensional model of the object specifically includes:
  • the superpixel-based object 3D model generation system includes the following modules:
  • FIG. 2 is a flowchart of a method for generating a three-dimensional object model based on superpixels according to an embodiment of the present invention
  • FIG. 3 is a structural block diagram of a system for generating a three-dimensional object model based on superpixels according to an embodiment of the present invention
  • FIG. 4 is another structural block diagram of a superpixel-based object three-dimensional model generation system provided by an embodiment of the present invention.
  • first, second, third, etc. may be used in this disclosure to describe various elements, these elements should not be limited to these terms. These terms are only used to distinguish elements of the same type from each other.
  • first element may also be referred to as the second element, and similarly, the second element may also be referred to as the first element.
  • second element may also be referred to as the first element.
  • the use of any and all examples or exemplary language (“such as”, “such as”, etc.) provided herein is only intended to better illustrate the embodiments of the present invention, and unless otherwise required, will not impose limitations on the scope of the present invention .
  • Fig. 1 shows the implementation principle of an object three-dimensional model generation algorithm based on superpixels in an embodiment of the present invention.
  • this embodiment mainly includes: a scanning device scanning module, a point cloud generation module, a geometric model generation module, a superpixel processing module, and a stitching module.
  • the scanning device scanning module is used to scan the object to obtain three-dimensional data including depth information and two-dimensional images such as RGD color pictures.
  • the point cloud generation module is mainly used to generate point clouds according to the depth information obtained by scanning.
  • the geometric model generation module is mainly used to generate the corresponding geometric model based on the point cloud.
  • Super pixel processing module used for super-resolution processing of two-dimensional images such as RGD color pictures through AI+GANS and other algorithms to generate super-pixel images, thereby improving the resolution of two-dimensional image pixels and avoiding blurry edges to the greatest extent
  • the phenomenon occurs.
  • the stitching module is mainly used to fit the two-dimensional superpixel image to the corresponding position of the geometric model according to the depth information through the stitching algorithm, so as to obtain the three-dimensional model of the object.
  • the object can be environment, scene, object, human body, etc.
  • this embodiment provides a method for generating a three-dimensional object model based on superpixels, which includes the following steps:
  • this embodiment can generate a point cloud according to the depth information of the object, and then generate a geometric model of the object (used to describe geometric information such as the shape, size, position, and structural relationship of the object) from the point cloud through coordinate transformation and other methods.
  • a geometric model of the object used to describe geometric information such as the shape, size, position, and structural relationship of the object
  • S102 Perform image super-resolution processing on the two-dimensional image of the object using an artificial intelligence algorithm to obtain a super-pixel image
  • the step S100 of acquiring three-dimensional data of the object is specifically as follows:
  • the scanning device is provided with an RGB-D camera, which can simultaneously collect RGB color images and depth information during scanning, which is very convenient and efficient.
  • S1010 Generate a depth map according to the depth information of the object
  • S1012 Generate a corresponding geometric model according to the point cloud.
  • the artificial intelligence algorithm adopts a generative confrontation network algorithm.
  • Generative Adversarial Networks is a deep learning model and one of the most promising methods for unsupervised learning on complex distributions in recent years.
  • the model generates fairly good output through the mutual game learning of (at least) two modules in the framework: Generative Model and Discriminative Model, which can fully fit the data, is faster, and generates sharper samples Etc.
  • a generative adversarial network algorithm is used to perform image super-resolution processing, so as to realize fully automated two-dimensional image optimization without manual labor.
  • the step S102 of performing image super-resolution processing on the two-dimensional image of the object by using the artificial intelligence algorithm to obtain a super-pixel image specifically includes:
  • S1021 construct a generative confrontation network model, and train the generative confrontation network model
  • the step S103 of splicing the superpixel image with the generated geometric model to generate a three-dimensional model of the object specifically includes:
  • the stitching algorithm mainly reflects the corresponding relationship between the geometric model and the two-dimensional image (such as photos, etc.), that is, indirectly reflects the corresponding relationship between the depth information and the two-dimensional image. In this way, the super pixel Paste the image to the corresponding position of the geometric model.
  • S1032 Perform optimization processing on the spliced 3D model to obtain an optimized 3D model, where the optimization processing includes model repair, editing, cropping, surface reduction, mold reduction, and lighting processing;
  • the spliced three-dimensional model is optimized to obtain an optimized three-dimensional model.
  • This process can be performed in a scanning device, a cloud, or a background server.
  • the scanning device, cloud or back-end server integrates AI algorithms, which can realize fully automated and rapid modeling and optimization without human involvement, significantly improving the efficiency of modeling and a high degree of intelligence.
  • this embodiment can generate a link (such as a URL link, etc.) of the three-dimensional model of the object, so that any computing device (including smart phones, tablets, laptops, smart watches, smart TVs, computers, etc.) that supports browsers
  • a link such as a URL link, etc.
  • any computing device including smart phones, tablets, laptops, smart watches, smart TVs, computers, etc.
  • the 3D model can be accessed through this link, eliminating the need to install the APP, which is more convenient and more versatile.
  • compression is to reduce the occupied volume so as to facilitate cross-platform display through smart terminals such as smart phones, IPADs, computers, and TVs.
  • an embodiment of the present invention provides a superpixel-based object three-dimensional model generation system, which includes the following modules:
  • the obtaining module 201 is configured to obtain three-dimensional data of an object, where the three-dimensional data of the object includes depth information and a two-dimensional image of the object;
  • the point cloud and model generation module 202 is configured to generate a point cloud and a corresponding geometric model according to the depth information of the object;
  • the image super-resolution processing module 203 is configured to perform image super-resolution processing on the two-dimensional image of the object by using an artificial intelligence algorithm to obtain a super-pixel image;
  • the splicing module 204 is used for splicing the superpixel image with the generated geometric model to generate a three-dimensional model of the object.
  • the point cloud and model generation module 202 specifically includes:
  • the depth map generating unit 2021 is configured to generate a depth map according to the depth information of the object
  • the geometric model generating unit 2023 is used to generate a corresponding geometric model according to the point cloud.
  • an embodiment of the present invention also provides a superpixel-based object three-dimensional model generation system, including:
  • At least one processor 301 At least one processor 301;
  • the at least one processor 301 realizes the method for generating a three-dimensional object model based on superpixels according to the present invention.
  • the embodiment of the present invention also provides a storage medium, in which instructions executable by the processor are stored, and the instructions executable by the processor are used to implement the superpixel-based object according to the present invention when the processor is executed. 3D model generation method.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于超像素的对象三维模型生成方法、系统及存储介质，方法包括：获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维图像；根据对象的深度信息生成点云和对应的几何模型；采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。本发明在三维模型生成前通过人工智能算法的自我学习和更新能力对二维图像进行图像超分辨率处理，利用生成的超像素图像最大限度地消除了图像模糊所带来的影响，从而提升了生成的对象三维模型质量。本发明可广泛应用于三维建模领域。

Description

基于超像素的对象三维模型生成方法、系统及存储介质 技术领域
本发明涉及三维建模领域，尤其是基于超像素的对象三维模型生成方法、系统及存储介质。
背景技术
三维模型是物体的多边形表示，通常通过计算机或者其它视频设备进行显示。显示的物体是可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。随着计算机等设备在各行各业的广泛应用，人们开始不满足于计算机等设备仅能显示二维的图像，更希望计算机等设备能表达出具有强烈真实感的现实三维世界。三维建模可以使计算机等设备做到这一点。三维建模，就是利用三维数据将现实中的三维物体或场景在计算机等设备中进行重建，最终实现在计算机等设备上模拟出真实的三维物体或场景。而三维数据就是使用各种三维数据采集设备采集得到的数据，它记录了有限体表面在离散点上的各种物理参量。
在通过航拍扫描设备等采集大场景(如城市、工业园区等)的三维数据时，常常会因为拍摄的范围大、相机抖动等客观原因而导致拍摄得到的图片较为模糊，尤其是边缘部分，这会影响最终重建出的三维模型质量。目前业内对此还没有行之有效的解决方案，亟待进一步完善和提高。
发明内容
为解决上述技术问题，本发明实施例的目的在于：提供一种基于超像素的对象三维模型生成方法、系统及存储介质，以提升生成的对象三维模型质量。
本发明实施例所采取的第一技术方案是：
基于超像素的对象三维模型生成方法，包括以下步骤：
获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维图像；
根据对象的深度信息生成点云和对应的几何模型；
采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
进一步，所述获取对象的三维数据这一步骤，具体为：
通过扫描设备扫描的方式获取对象的深度信息以及对象的二维图像，所述扫描设备包括 空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪，所述扫描设备上设有RGB-D摄像头。
进一步，所述根据对象的深度信息生成点云和对应的几何模型这一步骤，具体包括：
根据对象的深度信息生成深度图；
对深度图进行坐标转换得到点云；
根据点云生成对应的几何模型。
进一步，所述人工智能算法采用生成对抗网络算法。
进一步，所述采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像这一步骤具体包括：
构建生成对抗网络模型，并对生成对抗网络模型进行训练；
将对象的二维图像输入训练好的生成对抗网络模型，得到超像素图像。
进一步，所述将超像素图像与生成的几何模型进行拼接，生成对象的三维模型这一步骤，具体包括：
采用拼接算法将超像素图像与生成的几何模型进行拼接，生成拼接后的三维模型；
对拼接后的三维模型进行优化处理，得到优化后的三维模型，所述优化处理包括模型修复、剪辑、裁剪、减面、减模和灯光处理；
根据优化后的三维模型生成对应的链接；
对优化后的三维模型进行压缩，得到压缩后的三维模型；
存储并分享生成的链接和压缩后的三维模型。
本发明实施例所采取的第二技术方案是：
基于超像素的对象三维模型生成系统，包括以下模块：
获取模块，用于获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维图像；
点云和模型生成模块，用于根据对象的深度信息生成点云和对应的几何模型；
图像超分辨率处理模块，用于采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
拼接模块，用于将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
进一步，所述点云和模型生成模块具体包括：
深度图生成单元，用于根据对象的深度信息生成深度图；
点云生成单元，用于对深度图进行坐标转换得到点云；
几何模型生成单元，用于根据点云生成对应的几何模型。
本发明实施例所采取的第三技术方案是：
基于超像素的对象三维模型生成系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明所述的基于超像素的对象三维模型生成方法。
本发明实施例所采取的第四技术方案是：
存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如本发明所述的基于超像素的对象三维模型生成方法。
上述本发明实施例中的一个或多个技术方案具有如下优点：本发明实施例获取对象的三维数据后，一方面根据对象三维数据中的深度信息生成点云和对应的几何模型，另一方面采用人工智能算法对对象三维数据中的二维图像进行图像超分辨率处理得到超像素图像，最后将超像素图像与生成的几何模型进行拼接得到最终的三维模型，在三维模型生成前通过人工智能算法的自我学习和更新能力对二维图像进行图像超分辨率处理，利用生成的超像素图像最大限度地消除了图像模糊所带来的影响，从而提升了生成的对象三维模型质量。
附图说明
图1为本发明实施例基于超像素的对象三维模型生成算法原理框图；
图2为本发明实施例提供的基于超像素的对象三维模型生成方法流程图；
图3为本发明实施例提供的基于超像素的对象三维模型生成系统一种结构框图；
图4为本发明实施例提供的基于超像素的对象三维模型生成系统另一种结构框图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的 所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
图1示出了本发明实施例基于超像素的对象三维模型生成算法实现原理。如图1所示，该实施例主要包括：扫描设备扫描模块、点云生成模块、几何模型生成模块、超像素处理模块和拼接模块。其中，扫描设备扫描模块，用于对对象进行扫描，获取包含深度信息和RGD彩色图片等二维图像在内的三维数据。点云生成模块，主要用于根据扫描获取的深度信息生成点云。几何模型生成模块，主要用于根据点云生成对应的几何模型。超像素处理模块，用于通过AI+GANS等算法对RGD彩色图片等二维图像进行超分辨率处理，生成超像素图像，从而提升二维图像像素点的分辨率，最大限度地避免图像边缘模糊的现象发生。拼接模块，主要用于通过拼接算法将二维的超像素图像按照深度信息贴合到几何模型的相应位置，从而得到对象的三维模型。对象可以是环境、场景、物体、人体等。
如图2所示，本实施例提供了一种基于超像素的对象三维模型生成方法，包括以下步骤：
S100、获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维图像；
具体地，本实施例可通过扫描设备扫描的方式获取对象的三维数据，还可以从第三方模型数据提供商或互联网获取对象的三维数据。
S101、根据对象的深度信息生成点云和对应的几何模型；
具体地，本实施例可根据对象的深度信息生成点云，再由点云通过坐标变换等方式生成对象的几何模型(用于描述对象的形状、尺寸大小、位置与结构关系等几何信息)。
S102、采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
具体地，本实施例可采用人工智能算法(如生成对抗网络算法)预先训练出图像超分辨率重建模型，这样在实际三维建模时可自动使用该模型来根据对象的二维图像得到像素点提升后的超像素图像，效率高且方便。
S103、将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
具体地，为了提升对象的三维模型逼真度，除了几何模型之外，还需要对象的二维图像信息(即超像素图像)，故本实施例通过将超像素图像与生成的几何模型进行拼接，生成对象最终的三维模型。在拼接时，可根据深度信息将超像素图像贴合至几何模型的相应位置。
进一步作为优选的实施方式，所述获取对象的三维数据这一步骤S100，具体为：
通过扫描设备扫描的方式获取对象的深度信息以及对象的二维图像，所述扫描设备包括空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪，所述扫描设备上设有RGB-D摄像头。
具体地，扫描设备，用于对对象进行扫描，并可将扫描的数据上传给云端或后台服务器。扫描设备可以是航拍扫描设备、空间扫描仪、物体扫描仪或人体扫描设备。航拍扫描设备，可以是航拍飞机等航拍设备，用于扫描区域范围(如整个园区)的三维数据。空间扫描设备，用于扫描室内环境(如某栋建筑某层楼的内部)或扫描室外环境(如某栋建筑外的某条马路等)的三维数据。空间扫描设备，可以是手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)。物体扫描仪，用于对某个物体(如苹果、笔)进行扫描。物体扫描仪，可以是手持的扫描设备(如带支撑架的RGB-D摄像机等)。人体扫描仪，用于扫描人体的三维数据。人体扫描仪，可以是现有专门针对人体建模的人体扫描仪。
优选地，扫描设备上设有RGB-D摄像头，可以在扫描时同时采集RGB彩色图像和深度信息，十分方便和高效。
优选地，本实施例的扫描设备可集成有具有边缘计算能力且植入有人工智能算法的GPU芯片，能在扫描的同时进行模型计算，从而生成场景部分的三维模型，这样云端或后台服务器只需生成场景余下部分的三维模型即可，大大提升了建模的效率。
进一步作为优选的实施方式，所述根据对象的深度信息生成点云和对应的几何模型这一步骤S101，具体包括：
S1010、根据对象的深度信息生成深度图；
S1011、对深度图进行坐标转换得到点云；
S1012、根据点云生成对应的几何模型。
具体地，本实施例可根据深度信息生成深度图，再对深度图进行坐标转换得到点云，最后根据点云得到对应的几何模型。
进一步作为优选的实施方式，所述人工智能算法采用生成对抗网络算法。
具体地，生成对抗网络(GANS，Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。该模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出，具有能充分拟合数据、速度较快、生成样本更锐利等优点。本实施例采用了生成对抗网络算法来进行图像超分辨率处理，实现无需人工，完全自动化的二维图片优化。
进一步作为优选的实施方式，所述采用人工智能算法对对象的二维图像进行图像超分辨 率处理，得到超像素图像这一步骤S102具体包括：
S1021、构建生成对抗网络模型，并对生成对抗网络模型进行训练；
具体地，构建生成对抗网络模型主要是构建生成模型和判别模型，构建完成后可通过不断的迭代训练，最终得到满足图像超分辨率重建需要的生成对抗网络模型。
S1022、将对象的二维图像输入训练好的生成对抗网络模型，得到超像素图像。
进一步作为优选的实施方式，所述将超像素图像与生成的几何模型进行拼接，生成对象的三维模型这一步骤S103，具体包括：
S1031、采用拼接算法将超像素图像与生成的几何模型进行拼接，生成拼接后的三维模型；
具体地，拼接算法，主要反映了几何模型与二维图像(如照片等)的对应关系，即间接反映深度信息和二维图像的对应关系，这样拼接时只需根据该对应关系，将超像素图像贴到几何模型的相应位置即可。
S1032、对拼接后的三维模型进行优化处理，得到优化后的三维模型，所述优化处理包括模型修复、剪辑、裁剪、减面、减模和灯光处理；
具体地，对拼接后的三维模型进行优化处理，得到优化后的三维模型，这一过程可在扫描设备、云端或后台服务器中进行。扫描设备、云端或后台服务器集成了AI算法，能实现完全自动化的快速建模与优化，完全无需人工的参与，显著提升了建模的效率且智能化程度高。
S1033、根据优化后的三维模型生成对应的链接；
具体地，本实施例可生成对象的三维模型的链接(如URL链接等)，这样任何支持浏览器的计算设备(包括智能手机、平板电脑、笔记本电脑、智能手表、智能电视、计算机等)都可以通过该链接访问该三维模型，省去了装APP的过程，更加方便且通用性更强。
S1034、对优化后的三维模型进行压缩，得到压缩后的三维模型；
具体地，压缩是为了降低所占用的体积，以便于通过智能手机、IPAD、电脑、电视等智能终端进行跨平台展示。
S1035、存储并分享生成的链接和压缩后的三维模型。
本实施例通过支持浏览器的计算设备(包括智能手机、平板电脑、笔记本电脑、智能手表、智能电视、计算机等)等访问分享生成的链接，即可进入该压缩后的三维模型进行沉浸式漫游体验，给人以身临其境的感觉。
如图3所示，本发明实施例提供了一种基于超像素的对象三维模型生成系统，包括以下模块：
获取模块201，用于获取对象的三维数据，所述对象的三维数据包括对象的深度信息和 二维图像；
点云和模型生成模块202，用于根据对象的深度信息生成点云和对应的几何模型；
图像超分辨率处理模块203，用于采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
拼接模块204，用于将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
如图3所示，进一步作为优选的实施方式，所述点云和模型生成模块202具体包括：
深度图生成单元2021，用于根据对象的深度信息生成深度图；
点云生成单元2022，用于对深度图进行坐标转换得到点云；
几何模型生成单元2023，用于根据点云生成对应的几何模型。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图4所示，本发明实施例还提供了一种基于超像素的对象三维模型生成系统，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器301实现如本发明所述的基于超像素的对象三维模型生成方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如本发明所述的基于超像素的对象三维模型生成方法。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

  1. 基于超像素的对象三维模型生成方法，其特征在于：包括以下步骤：
    获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维图像；
    根据对象的深度信息生成点云和对应的几何模型；
    采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
    将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
  2. 根据权利要求1所述的基于超像素的对象三维模型生成方法，其特征在于：所述获取对象的三维数据这一步骤，具体为：
    通过扫描设备扫描的方式获取对象的深度信息以及对象的二维图像，所述扫描设备包括空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪，所述扫描设备上设有RGB-D摄像头。
  3. 根据权利要求1所述的基于超像素的对象三维模型生成方法，其特征在于：所述根据对象的深度信息生成点云和对应的几何模型这一步骤，具体包括：
    根据对象的深度信息生成深度图；
    对深度图进行坐标转换得到点云；
    根据点云生成对应的几何模型。
  4. 根据权利要求1所述的基于超像素的对象三维模型生成方法，其特征在于：所述人工智能算法采用生成对抗网络算法。
  5. 根据权利要求4所述的基于超像素的对象三维模型生成方法，其特征在于：所述采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像这一步骤具体包括：
    构建生成对抗网络模型，并对生成对抗网络模型进行训练；
    将对象的二维图像输入训练好的生成对抗网络模型，得到超像素图像。
  6. 根据权利要求1所述的基于超像素的对象三维模型生成方法，其特征在于：所述将超像素图像与生成的几何模型进行拼接，生成对象的三维模型这一步骤，具体包括：
    采用拼接算法将超像素图像与生成的几何模型进行拼接，生成拼接后的三维模型；
    对拼接后的三维模型进行优化处理，得到优化后的三维模型，所述优化处理包括模型修复、剪辑、裁剪、减面、减模和灯光处理；
    根据优化后的三维模型生成对应的链接；
    对优化后的三维模型进行压缩，得到压缩后的三维模型；
    存储并分享生成的链接和压缩后的三维模型。
  7. 基于超像素的对象三维模型生成系统，其特征在于：包括以下模块：
    获取模块，用于获取对象的三维数据，所述对象的三维数据包括对象的深度信息和二维 图像；
    点云和模型生成模块，用于根据对象的深度信息生成点云和对应的几何模型；
    图像超分辨率处理模块，用于采用人工智能算法对对象的二维图像进行图像超分辨率处理，得到超像素图像；
    拼接模块，用于将超像素图像与生成的几何模型进行拼接，生成对象的三维模型。
  8. 根据权利要求7所述的基于超像素的对象三维模型生成系统，其特征在于：所述点云和模型生成模块具体包括：
    深度图生成单元，用于根据对象的深度信息生成深度图；
    点云生成单元，用于对深度图进行坐标转换得到点云；
    几何模型生成单元，用于根据点云生成对应的几何模型。
  9. 基于超像素的对象三维模型生成系统，其特征在于：包括：
    至少一个处理器；
    至少一个存储器，用于存储至少一个程序；
    当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的基于超像素的对象三维模型生成方法。
  10. 存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-6任一项所述的基于超像素的对象三维模型生成方法。
PCT/CN2019/129941 2019-05-14 2019-12-30 基于超像素的对象三维模型生成方法、系统及存储介质 WO2020228347A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910399335.8A CN110335340A (zh) 2019-05-14 2019-05-14 基于超像素的对象三维模型生成方法、系统及存储介质
CN201910399335.8 2019-05-14

Publications (1)

Publication Number Publication Date
WO2020228347A1 true WO2020228347A1 (zh) 2020-11-19

Family

ID=68138917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/129941 WO2020228347A1 (zh) 2019-05-14 2019-12-30 基于超像素的对象三维模型生成方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN110335340A (zh)
WO (1) WO2020228347A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335340A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于超像素的对象三维模型生成方法、系统及存储介质
CN112070901A (zh) * 2020-07-21 2020-12-11 马小淞 一种园林的ar场景构建方法、装置、存储介质及终端
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法
CN112907733A (zh) * 2021-02-23 2021-06-04 北京华清易通科技有限公司 重建三维模型的方法及装置和三维模型采集及重建系统
CN113313771B (zh) * 2021-07-19 2021-10-12 山东捷瑞数字科技股份有限公司 一种工业复杂设备的全方位测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233436A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. 3D dense range calculations using data fusion techniques
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN110335340A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于超像素的对象三维模型生成方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409B (zh) * 2014-05-22 2017-01-11 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
CN106951867B (zh) * 2017-03-22 2019-08-23 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107480772B (zh) * 2017-08-08 2020-08-11 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233436A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. 3D dense range calculations using data fusion techniques
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN110335340A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于超像素的对象三维模型生成方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REN, LIJING: "Research on Super Resolution Technology of 3D Surface Texture", MASTER THESIS, no. 2, 15 February 2009 (2009-02-15), pages 1 - 79, XP009524247, ISSN: 1674-0246 *
WANG, BIN: "3D Reconstruction of the Great Wall Relics Based on LiDAR Unorganized Point-Cloud", MASTER THESIS, no. 2, 15 February 2015 (2015-02-15), pages 1 - 67, XP009524246, ISSN: 1674-0246 *

Also Published As

Publication number Publication date
CN110335340A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
WO2020228347A1 (zh) 基于超像素的对象三维模型生成方法、系统及存储介质
JP7176012B2 (ja) オブジェクト・モデリング動作方法及び装置並びにデバイス
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
US10380762B2 (en) Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
CN110058685B (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
WO2020151426A1 (zh) 基于人工智能的三维建模方法及系统
WO2020228766A1 (zh) 基于实景建模与智能识别的目标跟踪方法、系统及介质
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
WO2020228346A1 (zh) 变电站三维数字化建模方法、系统、装置及存储介质
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111881238A (zh) 一种适用于Web端的轻量级三维数据构建方法、介质和电子设备
RU2697928C1 (ru) Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
WO2020228767A1 (zh) 基于视频融合的场景动态模拟方法、系统及存储介质
WO2020211427A1 (zh) 基于扫描点云数据的分割与识别方法、系统及存储介质
KR102327972B1 (ko) 프로젝션 이미지 구성 방법 및 디바이스
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
US20230230304A1 (en) Volumetric capture and mesh-tracking based machine learning 4d face/body deformation training
CN115984447A (zh) 图像渲染方法、装置、设备和介质
WO2020228348A1 (zh) 校园三维数字化建模方法、系统、装置及存储介质
CN117274501B (zh) 一种可驱动数字人建模方法、装置、设备及介质
CN114359445A (zh) 人体骨骼关节点提取模型的训练数据生成方法及装置
CN111696034B (zh) 图像处理方法、装置及电子设备
CN107564084A (zh) 一种动图合成方法、装置及存储设备
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
CN114998514A (zh) 一种虚拟角色的生成方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928842

Country of ref document: EP

Kind code of ref document: A1