WO2021077720A1 - 获取对象三维模型的方法、装置、电子设备及系统 - Google Patents

获取对象三维模型的方法、装置、电子设备及系统 Download PDF

Info

Publication number
WO2021077720A1
WO2021077720A1 PCT/CN2020/089883 CN2020089883W WO2021077720A1 WO 2021077720 A1 WO2021077720 A1 WO 2021077720A1 CN 2020089883 W CN2020089883 W CN 2020089883W WO 2021077720 A1 WO2021077720 A1 WO 2021077720A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth image
depth
dimensional
network structure
modeled
Prior art date
Application number
PCT/CN2020/089883
Other languages
English (en)
French (fr)
Inventor
王琳
郭宇隆
林跃宇
王琛
李国花
张遥
李竹
张吉
Original Assignee
深圳奥比中光科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳奥比中光科技有限公司 filed Critical 深圳奥比中光科技有限公司
Publication of WO2021077720A1 publication Critical patent/WO2021077720A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • the present invention relates to the field of computer vision technology, and in particular to a method, device, electronic equipment, system and readable storage medium for obtaining a three-dimensional model of an object.
  • Three-dimensional reconstruction is the future core basic technology for the development of computer vision.
  • the current development and application is aimed at groups with specific shapes and characteristics, such as the human body, in film and television entertainment and life applications.
  • the human body is stationary, and RGB or depth maps are collected statically from multiple viewpoints, and then merged to reconstruct the human body 3D model.
  • the disadvantage of this method is that it uses a lot of equipment and needs to interact with each other. Punctuation, the advantage is that the calculation process is simple; 2.
  • the human body keeps the posture, stands at different angles, is photographed by a single depth camera, and then combines the 3D point cloud data with the human body three-dimensional model.
  • the fused three-dimensional model is rough and cannot be used for measurement; 3.
  • the posture of the human body is no longer restricted, standing at different angles, shooting by a single depth camera, using dynamic fusion method for fusion, this method is more practical, but the accuracy is not High, the actual use will encounter the problem that the network cannot be closed accurately; 4.
  • the human posture is no longer restricted, standing at different angles, shooting by a single depth camera, using a dynamic fusion method based on a priori model for fusion, this method The accuracy is high, but the amount of calculation is large, which is not suitable for real-time 3D reconstruction and measurement.
  • the embodiments of the present application provide a method, device, electronic device, system, and readable storage medium for obtaining a three-dimensional model of an object, and provide a solution for reconstructing a three-dimensional model with high accuracy and a small amount of calculation.
  • an embodiment of the present application provides a method for obtaining a three-dimensional model of an object, including:
  • the fused three-dimensional network structure is reconstructed and optimized according to the updated TSDF value to obtain the three-dimensional model of the object to be modeled.
  • the 3D reconstruction of the object is completed by first processing the first depth image in the depth image sequence, and then fusing the information of the remaining depth images.
  • only one frame of the depth image needs to be processed first to obtain the initial 3D network, which reduces the data
  • the amount of calculation saves the cost of computing power and reduces the occupation of system resources.
  • the information of multi-frame depth images is merged into the initial three-dimensional network, which improves the accuracy of model reconstruction.
  • an apparatus for obtaining a three-dimensional model of an object including:
  • the initial module is used to process the first depth image in the depth image sequence to obtain the initial three-dimensional network structure and the local truncated directed distance function TSDF value;
  • An update module configured to register and merge the depth images of the remaining frames in the depth image sequence into the three-dimensional network structure, and update the TSDF value;
  • the modeling module is used to reconstruct and optimize the fused three-dimensional network structure according to the updated TSDF value to obtain the three-dimensional model of the object to be modeled.
  • an embodiment of the present application provides an electronic device, including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program, Implement the method as described in the first aspect.
  • an embodiment of the present application provides an electronic device configured with the apparatus described in the second aspect.
  • an embodiment of the present application provides a system for obtaining a three-dimensional model of an object, which includes a depth camera and the electronic device described in the third or fourth aspect, and the depth camera is used to capture various parts of the object to be modeled. Depth image.
  • an embodiment of the present application provides a computer-readable storage medium that stores a computer program that implements the method described in the first aspect when the computer program is executed by a processor.
  • embodiments of the present application provide a computer program product, which when the computer program product runs on an electronic device, causes the electronic device to execute the method described in the first aspect.
  • FIG. 1 is a schematic diagram of a system for acquiring a three-dimensional model of an object provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a method for obtaining a three-dimensional model of an object provided by an embodiment of the present application
  • FIG. 3 is a schematic flowchart of a method for obtaining a three-dimensional model of an object provided by another embodiment of the present application;
  • FIG. 4 is a schematic structural diagram of an apparatus for obtaining a three-dimensional model of an object provided by an embodiment of the present application
  • FIG. 5 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • FIG. 1 shows a system for obtaining a three-dimensional model of an object provided by the present application.
  • the system includes a depth camera 101, an electronic device 102 (a mobile phone shown in FIG. 1), and a server 103 (in FIG. Cloud server shown).
  • the depth camera 101 and the electronic device 102 communicate through a wired or wireless network to realize data transmission; the depth camera 101 and the server 103 communicate through a wired or wireless network to realize data transmission; the electronic device 102 and the server 103 communicate through a wired or wireless network Make communication connections to realize data transmission.
  • the electronic device 102 initiates a photographing instruction to the depth camera 101; after receiving the photographing instruction, the depth camera 101 takes a photograph of the human body 104 to collect a depth image sequence including various parts of the human body, and upload it to the server 103; The server 103 receives the depth image sequence, and processes the depth image sequence to obtain a reconstructed three-dimensional (3D) model of the human body.
  • 3D three-dimensional
  • three-dimensional data measurement can be performed according to the human body 3D model, and the measured three-dimensional data is further pushed to the electronic device 102.
  • a depth camera 101 is used to take a 360-degree shot of the human body 104. After the shooting is completed, a depth image sequence including various parts of the human body 104 can be obtained.
  • the depth image sequence includes Multi-frame depth image. It should be noted that in order to improve the accuracy of reconstructing the human body model, the depth image sequence composed of multiple frames of depth images should include all parts of the human body as much as possible.
  • the human body 104 is an object that needs to be modeled in three dimensions.
  • the human body 104 may be a complete human body or a partial human body, such as a human head, or upper body above the waist, or lower body below the waist.
  • the human body 104 can be replaced with any object that needs to be modeled in three dimensions, and the present application does not specifically limit the object.
  • Figure 1 only shows the situation where the depth camera 101, the electronic device 102 and the server 103 are separately deployed. In this way, in this system, data collection, data processing, and data display are performed in three different devices, which can improve the three-dimensional Speed and accuracy of data measurement.
  • the depth camera 101 may be a depth camera based on structured light, binocular, or Time Of Flight (TOF) technology.
  • the depth camera 101 may also be a depth camera including a color camera module, such as a depth camera including an RGB camera module. In this way, both depth images containing depth information and color images containing rich texture information can be obtained.
  • the electronic device 102 may be a mobile phone, a tablet computer, a wearable device, a vehicle-mounted device, an augmented reality (AR)/virtual reality (VR) device, a notebook computer, a super mobile personal For terminal devices such as ultra-mobile personal computers (UMPC), netbooks, and personal digital assistants (PDAs), the embodiments of this application do not impose any restrictions on the specific types of electronic devices.
  • UMPC ultra-mobile personal computers
  • PDAs personal digital assistants
  • the server 103 includes but is not limited to: a single server, a server cluster, a distributed server, a cloud server, etc.
  • the embodiment of the present application does not impose any restriction on the specific type of server.
  • Fig. 2 shows an implementation flow chart of a method for obtaining a three-dimensional model of an object provided by an embodiment of the present invention.
  • the method includes steps S110 to S140. This method is suitable for situations where the human body needs to be reconstructed in three dimensions. This method can be applied to the server shown in Figure 1.
  • the specific implementation principle of each step is as follows.
  • S110 Acquire a depth image sequence including each part of the object to be modeled.
  • S120 Process the first depth image in the depth image sequence to obtain an initial three-dimensional network structure and a local truncated directional distance function TSDF value.
  • S140 Reconstruct and optimize the fused three-dimensional network structure according to the updated TSDF value to obtain a three-dimensional model of the object to be modeled.
  • the object to be modeled is a human body, and the embodiments of the present application are described.
  • a depth camera is used to shoot the object to be modeled to obtain a set of depth image sequences.
  • the depth image sequence includes multiple frames of human body images with different angles, so as to include as much information as possible on various parts of the human body, thereby improving the accuracy of reconstructing the three-dimensional human body model in the subsequent steps.
  • a fixed-position depth camera can be used to photograph a rotating human body.
  • the subject maintains an A-pose standing and rotates at a preset angle.
  • the depth camera continuously shoots it to obtain multiple frames (for example, 300 frames) of depth images with different angles.
  • the position of the subject is fixed, and the depth camera can be rotated to take a 360° shot of the subject.
  • the depth camera is fixed on a circular platform or a circular rail, and the depth is driven by controlling the rotation of the circular table or circular rail. camera.
  • the above-mentioned depth images are all obtained by photographing the subject through a depth camera.
  • the subject can also be multi-directionally captured by multiple depth cameras at different positions and/or orientations. Shooting. It is understandable that any solution that can realize 360-degree photography of a human body by a depth camera is applicable to this application.
  • the collection equipment will introduce various noises due to the influence of sensor material properties, working environment, electronic components and circuit structure. It is understandable that the above-mentioned depth image collected by the depth camera may contain certain noise and holes. If the original depth image is directly used in the subsequent steps, it may have an adverse effect on the accuracy of the 3D reconstruction. Therefore, the original acquisition is required. Perform filtering processing on the depth image, such as bilateral filtering processing or Gaussian filtering processing to achieve the effect of smoothing and denoising.
  • the depth image is different from the gray-scale image in which the pixel points store the brightness value.
  • the pixel point stores the distance from the point to the camera, that is, the depth value.
  • the depth image is essentially a two-dimensional image.
  • the depth image information calculates the three-dimensional coordinates and normal vectors of each point, that is, the depth information obtained from shooting at various angles is converted into a three-dimensional point cloud (the depth data is converted from the image coordinate system to the camera coordinate system to obtain the point cloud data under the current perspective), It is further transformed into the world coordinate system and fused to generate a complete three-dimensional model.
  • a global data cube (volume) must be defined in advance and divided into n ⁇ n ⁇ n voxels according to a certain accuracy.
  • the voxels can be understood as a three-dimensional space.
  • the significance of establishing a global data cube is to merge the point cloud data corresponding to multiple frames of depth images with different angles here. It should be noted that any point in a frame of point cloud calculated according to a frame of depth image can be mapped to a corresponding voxel in the data cube.
  • a voxel can calculate a Truncated Signed Distance Function (TSDF) value relative to a frame of depth image.
  • TSDF Truncated Signed Distance Function
  • the TSDF value is defined as the depth value of the voxel relative to the depth camera (the voxel and the camera light).
  • the significance of truncation is to further reduce the range of voxels with TSDF values. By controlling the threshold of truncation, only voxels closer to the reconstructed surface are recorded and saved, and voxels farther from the reconstructed surface are discarded. This can not only reduce the amount of calculation and memory, but also increase the speed and accuracy of the calculation.
  • the depth camera acquires the information of the object surface when acquiring the depth image, it can be understood that every point on the depth image is the point of reconstructing the object surface. It can be seen that the TSDF value indicates that the voxel reaches The minimum directed distance value of the reconstructed surface.
  • the TSDF value When the TSDF value is less than 0, it indicates that the voxel is outside the reconstructed object, that is, in front of the reconstructed surface; when the TSDF value is equal to 0, it indicates that the voxel coincides with the point on the object surface, that is, the voxel is A point on the surface of the reconstructed object; when the TSDF value is greater than 0, it indicates that the voxel is inside the reconstructed object, that is, behind the reconstructed surface. It can be understood that the closer the voxel is to the reconstructed surface, the closer its TSDF value is to zero. In theory, all voxel points with a TSDF value of 0 constitute the surface of the object.
  • the subject needs to keep the A-Pose standing, and use the feature point extraction algorithm to detect the key points of the depth image of the first frame (such as the human body).
  • the head, waist, and soles of both feet, etc.) to extract human bone data, and combine the prior model and edge constraints to calculate the template body shape and posture parameters in the initial state, as well as the initial local TSDF value, and obtain the initial three-dimensional network structure.
  • the aforementioned initial three-dimensional network structure converts the first frame of depth image data into a three-dimensional point cloud, and further transforms it into a three-dimensional model generated by fusion in the world coordinate system.
  • the initial local TSDF value is obtained by mapping the above-mentioned three-dimensional point cloud to the relevant voxels of the predefined global data cube and further based on the TSDF function. It is understandable that, compared with directly using multi-frame point cloud data fusion to reconstruct the three-dimensional model of the subject, the use of a priori model can make the reconstruction effect closer to the real human body surface, filter out large noises, and use edge constraints can be Get the basic size information of the human body quickly and accurately.
  • the main parameters for the image registration solution are the posture parameters of the template and the node transformation parameters of the reconstruction model. Among them, the posture parameters are used to characterize the parameters of the human body's action posture, that is, to indicate the corresponding joints of the human body.
  • the angle information and node transformation parameters are used to characterize the position movement of the above-mentioned joints.
  • an energy function is established to solve the above-mentioned parameters, and the ICP algorithm is used to solve the optimization problem to continuously iterate the above-mentioned parameters.
  • the data item is used to constrain the corresponding relationship between the reconstructed surface and the depth data of the current frame, where P is the set of corresponding point pairs, (v c , u) is the three-dimensional point u recovered from the depth map data of the current frame and the reconstruction model The point pair formed by the nearest point v c on the uppermost point, In order to reconstruct the corresponding vertex normal of the model, v c is defined as the closest point that satisfies the distance minimization condition.
  • the optimization problem is solved by the ICP method, specifically, the data correspondence relationship is established according to the solution result of the previous frame, and then the Gauss-Newton method is used to solve the least squares optimization problem.
  • the TSDF volume data is updated with the data after the data registration.
  • the method is to project the center of each effective voxel to the image plane of the depth image of the current frame, and calculate the difference with the corresponding depth data, and then use the update formula to update TSDF volume data, the update formula is:
  • TSDF i (x) is the distance between the voxel in the updated global data volume and the surface of the object
  • W i (x) is the updated global data of the current frame.
  • the weight of the voxel in the stereo W i-1 (x) is the weight of the voxel in the global data cube of the last frame after the update
  • TSDF i-1 (x) is the voxel to the object in the global data of the last frame after the update
  • the distance of the surface, tsdf i (x) is the distance from the voxel in the global data cube to the surface of the object calculated according to the depth data of the current frame
  • w i (x) is the weight of the voxel in the global data volume of the current frame.
  • the ray projection method is used to traverse, and then a three-dimensional model of the object is reconstructed. Specifically, a ray is emitted from each pixel of the image plane from the direction of the line of sight (the source point of the ray is the optical center of the depth camera), and the intersection of the ray and the voxel space is sampled equidistantly, and each pixel is calculated by interpolation. There are several sampling points, and the colors of the sampling points are mixed in a front-to-back manner, and the mixed color is used as the final color value of the pixel to realize three-dimensional reconstruction.
  • the body shape of the reconstructed three-dimensional human body model can also be optimized by establishing an optimized objective function.
  • the error data item is defined as: among them It is a linear interpolation function of TSDF, and it returns a valid value only when the k nearest neighbors of the sampling point are all reconstructed volume data, otherwise it returns 0.
  • W(v; J( ⁇ , ⁇ ), ⁇ ) is the template parameter transformed in real time according to the depth data, and the deformation component related to the pose is ignored.
  • the time regular term is used to constrain the consistency in time and is defined as
  • the first frame of depth image in the depth image sequence is processed first, and then the information of the remaining frames of depth image is merged to complete the three-dimensional reconstruction of the object.
  • only one frame of depth image needs to be processed first to obtain the initial
  • the three-dimensional network reduces the amount of data calculation, thereby saving computing power costs and reducing system resource occupation; on the other hand, fusing the information of multiple frames of depth images into the initial three-dimensional network improves the accuracy of the three-dimensional model reconstruction.
  • FIG. 3 shows another method for obtaining a three-dimensional model of an object provided by an embodiment of the present application, and this method is further defined on the basis of the embodiment shown in FIG. 2.
  • the method includes steps S110 to S150.
  • the steps in the embodiment shown in FIG. 3 are the same as those in the embodiment shown in FIG. 2 and will not be repeated here. Please refer to the corresponding description of the embodiment shown in FIG. 2.
  • S110 Acquire a depth image sequence including each part of the object to be modeled.
  • S120 Process the first depth image in the depth image sequence to obtain an initial three-dimensional network structure and a local truncated directional distance function TSDF value.
  • S140 Reconstruct and optimize the fused three-dimensional network structure according to the updated TSDF value to obtain a three-dimensional model of the object to be modeled.
  • the three-dimensional model after obtaining the three-dimensional model of the object, can be measured to obtain the three-dimensional measurement data of the object.
  • three-dimensional data such as girth, width, or height of the three-dimensional model are measured.
  • the measurement curve can be extracted using a method in which a plane intersects a specific part of the reconstructed model according to the extracted bone data.
  • Measurement locations include but are not limited to: chest circumference, waist circumference, hip circumference, upper arm circumference, lower arm circumference, thigh circumference, calf circumference, etc.
  • the 3D model is further optimized to obtain higher precision modeling results.
  • the optimization processing includes, but is not limited to: using Poisson reconstruction to smooth, fill holes, and simplify the three-dimensional model; find the largest connected domain to retain the model of the object to be modeled and remove noise.
  • FIG. 4 shows a structural block diagram of an apparatus for obtaining a three-dimensional model of an object provided in an embodiment of the present application. The relevant part.
  • the device includes:
  • the acquiring module 41 is used to acquire a depth image including various parts of the object to be modeled.
  • the initial module 42 is configured to process the first depth image in the depth image sequence to obtain the initial three-dimensional network structure and the local truncated directional distance function TSDF value.
  • the update module 43 is configured to register and merge the depth images of the remaining frames in the depth image sequence into the three-dimensional network structure, and update the TSDF value.
  • the modeling module 44 is configured to reconstruct and optimize the fused three-dimensional network structure according to the updated TSDF value to obtain a three-dimensional model of the object to be modeled.
  • the embodiments of the present application also provide a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps in each of the foregoing method embodiments can be realized.
  • the embodiments of the present application provide a computer program product.
  • the computer program product runs on an electronic device, the electronic device can realize the steps in the foregoing method embodiments when the electronic device is executed.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the computer program can be stored in a computer-readable storage medium.
  • the computer program can be stored in a computer-readable storage medium.
  • the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file, or some intermediate forms.
  • the computer-readable medium may at least include: any entity or device capable of carrying computer program code to the photographing device/terminal device, recording medium, computer memory, read-only memory (ROM), random access memory (Random Access Memory, RAM), electric carrier signal, telecommunications signal, and software distribution medium.
  • ROM read-only memory
  • RAM random access memory
  • electric carrier signal telecommunications signal
  • software distribution medium Such as U disk, mobile hard disk, floppy disk or CD-ROM, etc.
  • computer-readable media cannot be electrical carrier signals and telecommunication signals.
  • the disclosed apparatus/network equipment and method may be implemented in other ways.
  • the device/network device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division, and there may be other divisions in actual implementation, such as multiple units.
  • components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了一种获取对象三维模型的方法、装置、电子设备、系统及可读存储介质，所述方法包括：获取包括待建模对象各个局部的深度图像序列；对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值；将所述深度图像序列中其余帧深度图像配准融合到所述三维网络结构，并更新所述TSDF值；根据更新后的所述TSDF值对融合后的所述三维网络结构进行优化与重建，获得所述待建模对象的三维模型。本申请提供了一种准确性高且计算量小的重建三维模型的方案。

Description

获取对象三维模型的方法、装置、电子设备及系统 技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种获取对象三维模型的方法、装置、电子设备、系统及可读存储介质。
背景技术
三维重建是计算机视觉发展的未来核心基础技术，目前在开发应用的是针对诸如人体这种有特定形貌和特征的群体，在影视娱乐和生活方面的应用。现有的人体三维重建技术主要有4种：1.人体静止不动，通过多个视点静态采集RGB或者深度图，然后融合来重建人体三维模型，该方法的缺点是使用设备多，且需要相互标点，优点是计算过程简单；2.人体保持姿势不动，站在不同的角度，由单一深度相机拍摄，然后将3D点云数据融合成人体三维模型，该方法操作简单，计算简单，缺点是融合后的三维模型粗糙，不能用于测量；3.人体姿势不再受限，站在不同的角度，由单一深度相机拍摄，采用动态融合方法进行融合，这种方法较为实用，但准确性不高，实际使用中会遇到网络无法准确闭合的问题；4.人体姿势不再受限，站在不同的角度，由单一深度相机拍摄，采用基于先验模型的动态融合方法进行融合，该方法准确性高，但是计算量较大，不适合实时三维重建和测量。
发明内容
本申请实施例提供了一种获取对象三维模型的方法、装置、电子设备、系统及可读存储介质，提供了一种准确性高且计算量小的重建三维模型的方案。
第一方面，本申请实施例提供了一种获取对象三维模型的方法，包括：
获取包括待建模对象各个局部的深度图像序列；
对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值；
将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值；
根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
通过先对深度图像序列中第一帧深度图像进行处理，再融合其余帧深度图像的信息完成对象的三维重建，一方面，先只需对一帧深度图像进行处理得到初始三维网络，减少了数据计算量，从而节省了算力成本，减少了系统资源占用；另一方面，将多帧深度图像的信息融合到初始的三维网络，提高了模型重建的精度。
第二方面，本申请实施例提供了一种获取对象三维模型的装置，包括：
获取模块，用于获取包括待建模对象各个局部的深度图像；
初始模块，用于对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值；
更新模块，用于将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值；
建模模块，用于根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种电子设备，所述电子设备配置如第二方面所述的装置。
第五方面，本申请实施例提供了一种获取对象三维模型的系统，包括深度相机和第三方面或第四方面所述的电子设备，所述深度相机用于采集包括待建 模对象各个局部的深度图像。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法。
可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的获取对象三维模型的系统的示意图；
图2是本申请一实施例提供的获取对象三维模型的方法的流程示意图；
图3是本申请另一实施例提供的获取对象三维模型的方法的流程示意图；
图4是本申请一实施例提供的获取对象三维模型的装置的结构示意图；
图5是本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为了说明本发明所述的技术方案，下面将参考附图并结合实施例来进行说明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚，完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发 明中的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是有线连接到另一个元件或无线连接至该另一个元件上，连接用于数据传输作用。
此外，在本发明的说明书、权利要求书及附图中的术语中涉及“第一”或“第二”等的描述仅用于区别类似的对象，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量，也就是说，这些描述不必用于描述特定的顺序或先后次序。此外，应该理解这些描述在适当情况下可以互换，以便描述本发明的实施例。
请参考图1，图1示出了本申请提供的一种获取对象三维模型的系统，该系统包括深度相机101，电子设备102(图1中所示为手机)，以及服务器103(图1中所示为云服务器)。
深度相机101与电子设备102通过有线或无线网络进行通信连接，实现数据传输；深度相机101与服务器103通过有线或无线网络进行通信连接，实现数据传输；电子设备102与服务器103通过有线或无线网络进行通信连接，实现数据传输。
图1所示的系统中，电子设备102向深度相机101发起拍照指令；深度相机101接收该拍照指令之后，对人体104进行拍照以采集包括人体各个局部的 深度图像序列，并将其上传给服务器103；服务器103接收深度图像序列，对深度图像序列处理以获取重建的人体三维(3D)模型。
可选地，在本申请一些实施例中，还可以在服务器103获得人体3D模型后，根据人体3D模型进行三维数据测量，并进一步将测量得到的三维数据推送给电子设备102。
在图1所示的系统中仅示出了一台深度相机，利用一台深度相机101对人体104进行360度拍摄，拍摄完成后可以获得包括人体104各个局部的深度图像序列，深度图像序列包括多帧深度图像。需要说明的是为了提高重建人体模型的精度多帧深度图像组成的深度图像序列应尽可能地包括人体各个局部。
可以理解地，人体104为需要进行三维建模的对象，人体104可以为完整的人体，也可以为部分人体，例如人头，或腰以上的上半身，或腰以下的下半身等。此外，在本申请其他实施例中，人体104可以替换为任何需要进行三维建模的对象，本申请对该对象不做具体限定。
图1中仅示出了深度相机101、电子设备102与服务器103分开部署的情况，如此，在该系统中，数据采集、数据处理、数据显示分别在三个不同的设备中进行，可提升三维数据测量的速度与精度。
在本申请实施例中，深度相机101可以为基于结构光、双目、或飞行时间(Time Of Flight，TOF)技术的深度相机。此外，深度相机101还可以为包括彩色相机模组的深度相机，例如包括RGB相机模组的深度相机，如此，既可以获取包含深度信息的深度图像，又可获取包含丰富纹理信息的彩色图像。
在本申请实施例中，电子设备102可以为可以手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备，本申请实施例对电子设备的具体类型不作任何限制。
在本申请实施例中，所述服务器103包括但不限于：单独的服务器、服务 器集群、分布式服务器和云服务器等，本申请实施例对服务器的具体类型不作任何限制。
可以理解地，本领域技术人员可以根据实际需要进行部署，本申请实施例中的图示和与图示对应的阐述不构成对其具体部署形式的限定。
图2示出了本发明一实施例提供的一种获取对象三维模型的方法的实现流程图，该方法包括步骤S110至S140。该方法适用于需要对人体进行三维重建的情形。该方法可以应用于图1所示的服务器。各步骤的具体实现原理如下。
S110，获取包括待建模对象各个局部的深度图像序列。
S120，对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值。
S130，将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值。
S140，根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
为了更方便地描述本申请实施例，以待建模对象为人体，对本申请实施例进行说明。
在本申请实施例中，利用深度相机对待建模对象进行拍摄以获取一组深度图像序列。如前所述，深度图像序列包括多帧不同角度的人体图像，以尽可能包括人体各个部位的信息，进而提升后续步骤中重建人体三维模型的精度。
为了获取从不同角度拍摄的深度图像序列，在一个实施例中，可通过一个位置固定的深度相机对旋转的人体进行拍摄，例如，受测者保持A-pose站立并以预设角度进行自转，自转期间，深度相机不断对其进行拍摄以获取多帧(例如300帧)不同角度的深度图像。
在另一个实施例中，受测者的位置固定，可转动深度相机对受测者进行360°拍摄，例如将深度相机固定在圆台或环形导轨上，通过控制圆台或环形导轨的旋转来带动深度相机。需要说明的是，上述深度图像都是通过一个深度相 机对受测者进行拍摄获得，在另一个实施例中，也可通过多个位置和/或朝向不同的深度相机对受测者进行多方位的拍摄。可以理解的是，任何可以实现深度相机对人体进行360度拍摄的方案都适用于本申请。
一般来说，采集设备在采集或传输图像过程中，由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声。可以理解的是，上述利用深度相机采集的深度图像可能含有一定的噪声和空洞，如果直接将原始深度图像用于后续步骤中，可能会对三维重建的精度有不利的影响，因此需要对原始采集的深度图像进行滤波处理，例如对其进行双边滤波处理、或高斯滤波处理等以达到平滑去噪的效果。
深度图像与灰度图像中像素点存储亮度值不同，其像素点存储的是该点到相机的距离，即深度值，但是深度图像本质上也属于二维图像，要进行三维重建，还需要根据深度图像信息计算出各点的三维坐标与法向量，即将各角度拍摄所得深度信息转换为三维点云(将深度数据由图像坐标系转换到相机坐标系，得到当前视角下的点云数据)，并将其进一步转化到世界坐标系下融合生成完整的三维模型。
应该注意的是，采集到的深度图像中并不是每一个像素点都需要转换成点云，这是因为受测者在自转过程中，深度相机会同时拍摄到前景人体和背景信息，而背景信息不属于关注对象，需将其去除，如此可减小后续步骤计算量的同时，也提升了计算精度。具体地，可根据深度相机到受测者的距离估计一个合理的阈值，大于此阈值的深度图像像素点视为背景点，将其去除。应该明白的是，任何可去除背景的算法都可应用于本实施例中，在此不做具体限制。
还需要注意的是，在进行三维重建之前要预先定义一个全局数据立方体(volume)，并按照一定精度将其均匀划分为n×n×n个体素(voxel)，可将体素理解为三维空间的基本单元。建立全局数据立方体的意义是，将多帧不同角度的深度图像对应的点云数据在此融合。需要说明的是，根据一帧深度图像计算得到的一帧点云中的任一点都可映射到数据立方体中的相应体素。一个体 素相对于一帧深度图像可以计算出一个截断有向距离函数(Truncated Signed Distance Function，TSDF)值，其中TSDF值定义为：体素相对于深度相机的深度值(该体素与相机光心的距离在光轴方向的投影)与体素在该深度图像中对应点的深度值的有向距离经截断后的结果。截断的意义在于，将具有TSDF值的体素的范围进一步缩小，通过控制截断的阈值，仅对距离重建表面较近的体素进行记录与保存，对距离重建表面较远的体素进行舍弃，如此不仅可减少计算量与内存还可以提高计算速度与精度。
由于深度相机在采集深度图像的时候，获取的是对象表面的信息，因此可以理解的是，深度图像上的每一点都是重建对象表面的点，由此可知TSDF值表明的是该体素到重建表面的最小有向距离值。当TSDF值小于0时，表明该体素在重建物体的外部，即在重建表面的前面；当TSDF值等于0时，表明该体素与对象表面上的该点重合，也即该体素是重建对象表面上的点；当TSDF值大于0时，表明该体素在重建物体的内部，即在重建表面的后面。可以理解的是，越接近重建表面的体素，其TSDF值越接近0。理论上，TSDF值为0的所有体素点构成了对象的表面。
在本申请实施例中，需要对第一帧采集的深度图像数据初始化，示例性地，需要受测者保持A-Pose站立，通过特征点提取算法检测第一帧深度图像的关键点(例如人体的头、腰、和双脚底等)以提取人体骨骼数据，并结合先验模型和边缘约束，计算出初始状态下的模板体型和姿态参数，以及初始的局部的TSDF值，同时得到初始三维网络结构。需要说明的是，上述初始三维网络结构是将第一帧深度图像数据转换成三维点云，并将其进一步转化到世界坐标系下融合生成的三维模型。初始局部TSDF值是将上述三维点云映射到预定义的全局数据立方体的相关体素中并进一步根据TSDF函数求得的。可以理解的是，与直接使用多帧点云数据融合重建受测者三维模型相比，使用先验模型可以让重建的效果更加接近真实人体表面，过滤掉大的噪点，而使用边缘约束可以可以快速准确的得到人体的基本尺寸信息。
需要说明的是，受测者在自转过程中，深度相机拍摄的一帧深度图像仅拍摄到人体的部分信息，多帧通过不同角度拍摄的深度图像，各帧之间包含一定的公共部分，因此要生成完整的三维模型，还需要对深度图像进行配准，具体地是以公共部分为基准，把不同时间、角度、照度等拍照参数下获取的多帧深度图像叠加匹配到统一的坐标系中。在本申请实施例中，图像配准求解的主要参数为模板的姿态参数和重建模型的节点变换参数，其中，姿态参数用来表征人体动作姿态的参数，即用来表示人体的各个关节所对应的角度信息，节点变换参数用来表征上述各个关节的位置移动。在本申请一非限制性示例中，建立能量函数来求解上述参数，并通过ICP算法来求解优化问题以不断迭代上述参数。其中，能量函数主要为数据项E＝E data，
Figure PCTCN2020089883-appb-000001
数据项用于约束重建出的表面和当前帧的深度数据之间的对应关系，其中P为对应点对集合，(v c,u)即为当前帧深度图数据恢复的三维点u和重建模型上最近点v c所形成的点对，
Figure PCTCN2020089883-appb-000002
为通过重建模型对应的顶点法向，v c定义为满足距离最小化条件的最近点。通过ICP方法来求解该优化问题，具体是根据上一帧的求解结果建立数据对应关系，然后使用高斯牛顿法求解最小二乘优化问题。
需要明白的是，经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息。因此必须对点云数据进行融合处理，以获得更加精细的重建模型。具体地，使用经过数据配准的数据更新TSDF体数据，方法是将每个有效体素的中心投影到当前帧的深度图像的像平面，并与对应的深度数据求差，然后使用更新公式更新TSDF体数据，更新公式为：
Figure PCTCN2020089883-appb-000003
W i(x)＝W i-1(x)+w i(x)
更新的意义是从不同角度去计算TSDF值，增加准确度，其中，TSDF i(x)为更新后全局数据立体中体素到物体表面的距离，W i(x)为更新后当前帧全局数据立体中体素的权重，W i-1(x)为更新后上一帧全局数据立方体中体素的权重， TSDF i-1(x)为更新后上一帧全局数据立体中体素到物体表面的距离，tsdf i(x)为根据当前帧深度数据计算得到的全局数据立方体中体素到物体表面的距离，w i(x)为当前帧全局数据立体中体素的权重。
可以理解的是，经过截断后的体素并不是都有初始局部TSDF值的，没有初始局部TSDF值的体素将会被舍弃，因此对于在步骤S120中计算得到初始局部TSDF值的体素(即有效体素)才会在后续的步骤继续进行处理。可以理解的是，一个体素相对于多个深度图像可求出多个TSDF值，因此在融合过程中来自不同点云中的点可能映射到数据立方体中的同一个体素中，经过加权平均能使体素的值更为准确。由此可知，全局数据立方体中每个体素存储的是加权TSDF值和权重。通过求解优化问题使得深度数据表示的人体和先验模板表示的人体在姿态和体型上一致，并通过求解的结果更新TSDF来重建真实的人体。
进一步地，对每个被处理过的有效体素，采用光线投影法进行遍历，进而重构出物体的三维模型。具体地，从像平面的每一个像素点从视线方向发出一条射线(射线的源点为深度相机的光心)，在光线与体素空间的交点之间等距采样，通过插值计算求出每个采样点，并对采样点颜色采用从前往后的方式混合，将混合后的颜色作为该像素的最终颜色值，从而实现三维重建。
在本申请一个实施例中，还可以通过建立优化的目标函数来对重建的人体三维模型的体型进行优化，优化的目标函数为：E shape＝E sdata+E sreg，其中E sdata为误差数据项，E sreg为时间上的正则项。误差数据项的定义为：
Figure PCTCN2020089883-appb-000004
其中
Figure PCTCN2020089883-appb-000005
为TSDF的线性插值函数，而且仅当采样点的k近邻均为重建体数据时返回有效值，否则返回0。W(v；J(β,θ),θ)为根据深度数据实时变换过的模板参数，并且忽略了姿态相关的形变分量。时间正则项用于约束时间上的一致性，并定义为
Figure PCTCN2020089883-appb-000006
本申请实施例中，通过先对深度图像序列中第一帧深度图像进行处理，再 融合其余帧深度图像的信息完成对象的三维重建，一方面，先只需对一帧深度图像进行处理得到初始三维网络，减少了数据计算量，从而节省了算力成本，减少了系统资源占用；另一方面，将多帧深度图像的信息融合到初始的三维网络，提高了三维模型重建的精度。
图3示出了本申请一实施例提供的另一种获取对象三维模型的方法，该方法在图2所示实施例的基础上做了进一步限定。如图3所示，该方法包括步骤S110至S150。图3所示实施例中与图2所示实施例的相同步骤，此处不再赘述，请参见图2所示实施例的相应描述。
S110，获取包括待建模对象各个局部的深度图像序列。
S120，对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值。
S130，将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值。
S140，根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
S150，对所述三维模型进行测量，获得所述待建模对象的三维数据。
在本申请实施例中，对获得对象的三维模型后，可以对三维模型进行测量，获得对象的三维测量数据。可选地，对三维模型的围长、宽度、或高度等三维数据进行测量。
示例性地，在获取了重建的人体三维模型后，可以根据提取的骨骼数据，使用平面与重建模型具体部位相交的方法的提取测量曲线。计算测量曲线的凸包用以模拟手工皮尺测量，并计算该凸包周长作为测量结果。测量部位包括但不限于：胸围、腰围、臀围、上臂围、下臂围、大腿围、小腿围等。例如，可截取胸部、腰部、或臀部等部位相应高度的二维TSDF图，筛选轮廓点，计算围长。
可选地，在图2或图3所示实施例的基础上，在本申请一些实施例中，在 获得待建模对象的三维模型之后，也就是说重建了对象的三维模型后，还可以对三维模型进行进一步地优化处理以获得精度更高的建模结果。
具体地，优化处理包括但不限于：使用泊松重建进行平滑、补洞并简化三维模型；寻找最大连通域保留待建模对象模型并剔除噪声等。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的获取对象三维模型的方法，图4示出了本申请实施例提供的获取对象三维模型的装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该装置包括：
获取模块41，用于获取包括待建模对象各个局部的深度图像。
初始模块42，用于对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值。
更新模块43，用于将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值。
建模模块44，用于根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的 硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种获取对象三维模型的方法，其特征在于，包括：
    获取包括待建模对象各个局部的深度图像序列；
    对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值；
    将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值；
    根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
  2. 如权利要求1所述的方法，其特征在于，所述待建模对象为人体。
  3. 如权利要求2所述的方法，其特征在于，所述对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及初始的局部的截断有向距离函数TSDF值，包括：
    检测所述深度图像序列中第一帧深度图像的关键点以提取所述人体的骨骼数据，将所述骨骼数据结合先验模型和边缘约束，获得初始的三维网络结构以及初始的局部的TSDF值。
  4. 如权利要求1所述的方法，其特征在于，所述将所述深度图像序列中其余帧深度图像配准，包括：建立能量函数来求解深度图像配准的参数；
    所述能量函数为数据项
    Figure PCTCN2020089883-appb-100001
    数据项用于约束重建出的表面和当前帧深度图像的深度数据之间的对应关系，其中P为对应点对集合，(v c,u)即为当前帧深度图像的深度数据恢复的三维点u和重建模型上最近点v c所形成的点对，
    Figure PCTCN2020089883-appb-100002
    为通过重建模型对应的顶点法向，v c为满足距离最小化条件的最近点。
  5. 如权利要求1所述的方法，其特征在于：通过建立优化的目标函数来进行所述优化；所述优化的目标函数为：E shape＝E sdata+E sreg，其中，E sdata为误差数 据项，E sreg为时间上的正则项。
  6. 如权利要求2所述的方法，其特征在于，还包括：
    对所述三维模型进行测量，获得所述待建模对象的三维数据。
  7. 如权利要求1所述的方法，其特征在于，所述获取包括待建模对象各个局部的深度图像序列之后，还包括：
    对所述深度图像序列中的每帧深度图像进行滤波处理，得到滤波后的所述深度图像序列。
  8. 一种获取对象三维模型的装置，其特征在于，包括：
    获取模块，用于获取包括待建模对象各个局部的深度图像；
    初始模块，用于对所述深度图像序列中第一帧深度图像进行处理，获得初始的三维网络结构以及局部的截断有向距离函数TSDF值；
    更新模块，用于将所述深度图像序列中其余帧深度图像配准后融合到所述三维网络结构，并更新所述TSDF值；
    建模模块，用于根据更新后的所述TSDF值对融合后的所述三维网络结构进行重建与优化，获得所述待建模对象的三维模型。
  9. 一种获取对象三维模型的系统，其特征在于，包括深度相机和电子设备，所述深度相机用于采集包括待建模对象各个局部的深度图像；所述电子设备配置有如权利要求8所述的装置。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
PCT/CN2020/089883 2019-10-25 2020-05-12 获取对象三维模型的方法、装置、电子设备及系统 WO2021077720A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911025166.8A CN110874864B (zh) 2019-10-25 2019-10-25 获取对象三维模型的方法、装置、电子设备及系统
CN201911025166.8 2019-10-25

Publications (1)

Publication Number Publication Date
WO2021077720A1 true WO2021077720A1 (zh) 2021-04-29

Family

ID=69718079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/089883 WO2021077720A1 (zh) 2019-10-25 2020-05-12 获取对象三维模型的方法、装置、电子设备及系统

Country Status (2)

Country Link
CN (1) CN110874864B (zh)
WO (1) WO2021077720A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199479A (zh) * 2021-05-11 2021-08-03 梅卡曼德（北京）机器人科技有限公司 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN113284251A (zh) * 2021-06-11 2021-08-20 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
CN113298948A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质
CN113487727A (zh) * 2021-07-14 2021-10-08 广西民族大学 一种三维建模系统、装置及方法
CN113515143A (zh) * 2021-06-30 2021-10-19 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
CN113706505A (zh) * 2021-08-24 2021-11-26 凌云光技术股份有限公司 一种去除深度图像中局外点的圆柱拟合方法和装置
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113902847A (zh) * 2021-10-11 2022-01-07 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN114373041A (zh) * 2021-12-15 2022-04-19 聚好看科技股份有限公司 一种三维重建方法及设备
CN114648611A (zh) * 2022-04-12 2022-06-21 清华大学 局域轨道函数的三维重构方法及装置
CN114782634A (zh) * 2022-05-10 2022-07-22 中山大学 基于表面隐函数的单目图像着装人体重建方法与系统
CN115035240A (zh) * 2022-05-13 2022-09-09 清华大学 实时三维场景重建方法及装置
CN116168163A (zh) * 2023-03-29 2023-05-26 湖北工业大学 三维模型构建方法、装置及存储介质
CN116342800A (zh) * 2023-02-21 2023-06-27 中国航天员科研训练中心 一种多模态位姿优化的语义三维重建方法及系统
CN117333626A (zh) * 2023-11-28 2024-01-02 深圳魔视智能科技有限公司 图像采样数据获取方法、装置、计算机设备及存储介质
CN117392316A (zh) * 2023-10-13 2024-01-12 清华大学 基于系列欠焦图像的三维重构方法及装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874864B (zh) * 2019-10-25 2022-01-14 奥比中光科技集团股份有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN111402422B (zh) * 2020-03-16 2024-04-16 京东方科技集团股份有限公司 三维表面重建方法、装置和电子设备
CN113837952A (zh) * 2020-06-24 2021-12-24 影石创新科技股份有限公司 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN111540045B (zh) * 2020-07-07 2020-11-24 深圳市优必选科技股份有限公司 机械臂及其三维重建方法和装置
CN111797808B (zh) * 2020-07-17 2023-07-21 广东技术师范大学 一种基于视频特征点追踪的逆向方法及系统
CN111862278B (zh) * 2020-07-22 2024-02-27 成都数字天空科技有限公司 一种动画获得方法、装置、电子设备及存储介质
CN111968165B (zh) * 2020-08-19 2024-01-23 北京拙河科技有限公司 动态人体三维模型补全方法、装置、设备和介质
CN115031635A (zh) * 2020-08-31 2022-09-09 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN112286953B (zh) * 2020-09-25 2023-02-24 北京邮电大学 多维数据查询方法、装置和电子设备
CN112767534B (zh) * 2020-12-31 2024-02-09 北京达佳互联信息技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN113034675B (zh) * 2021-03-26 2024-09-27 鹏城实验室 一种场景模型构建方法、智能终端及计算机可读存储介质
CN113240720B (zh) * 2021-05-25 2022-05-17 中德（珠海）人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113313707B (zh) * 2021-06-25 2024-07-26 西安紫光展锐科技有限公司 原始图像处理方法、装置、设备及可读存储介质
CN115797474A (zh) * 2021-09-09 2023-03-14 索尼集团公司 基于4d融合的高效动态三维模型序列压缩方法
CN114612541B (zh) * 2022-03-23 2023-04-07 江苏万疆高科技有限公司 基于3d打印技术的种植牙打印方法、装置、设备及介质
CN114677572B (zh) * 2022-04-08 2023-04-18 北京百度网讯科技有限公司 对象描述参数的生成方法、深度学习模型的训练方法
CN116095338A (zh) * 2023-01-31 2023-05-09 珠海普罗米修斯视觉技术有限公司 体积视频的解码方法、装置、介质、设备及产品
CN115857836B (zh) * 2023-02-10 2023-05-26 中南大学湘雅医院 基于大数据的信息储存方法及装置
CN117315149B (zh) * 2023-09-26 2024-09-17 北京智象未来科技有限公司 三维物体生成方法、装置、设备、存储介质
CN117522708A (zh) * 2023-10-27 2024-02-06 中核粒子医疗科技有限公司 图像融合方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548507A (zh) * 2015-09-16 2017-03-29 富士通株式会社 三维重建对象的方法和设备
CN107680073A (zh) * 2016-08-02 2018-02-09 富士通株式会社 几何重建对象的方法和设备
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
US10217281B2 (en) * 2016-12-13 2019-02-26 Electronics And Telecommunifactions Research Institute Apparatus for reconstructing 3D model and method for using the same
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383054B (zh) * 2008-10-17 2010-09-08 北京大学 一种基于图像与扫描数据的混合三维重建方法
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN107833270B (zh) * 2017-09-28 2020-07-03 浙江大学 基于深度相机的实时物体三维重建方法
CN108550181B (zh) * 2018-03-12 2020-07-31 中国科学院自动化研究所 移动设备上在线跟踪与稠密重建方法、系统及设备
CN108564652B (zh) * 2018-03-12 2020-02-14 中国科学院自动化研究所 高效利用内存的高精度三维重建方法与系统及设备
CN109410322A (zh) * 2018-10-23 2019-03-01 北京旷视科技有限公司 三维对象建模方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548507A (zh) * 2015-09-16 2017-03-29 富士通株式会社 三维重建对象的方法和设备
CN107680073A (zh) * 2016-08-02 2018-02-09 富士通株式会社 几何重建对象的方法和设备
US10217281B2 (en) * 2016-12-13 2019-02-26 Electronics And Telecommunifactions Research Institute Apparatus for reconstructing 3D model and method for using the same
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298948A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质
CN113199479A (zh) * 2021-05-11 2021-08-03 梅卡曼德（北京）机器人科技有限公司 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN113284251A (zh) * 2021-06-11 2021-08-20 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
CN113284251B (zh) * 2021-06-11 2022-06-03 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
CN113515143A (zh) * 2021-06-30 2021-10-19 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
CN113487727B (zh) * 2021-07-14 2022-09-02 广西民族大学 一种三维建模系统、装置及方法
CN113487727A (zh) * 2021-07-14 2021-10-08 广西民族大学 一种三维建模系统、装置及方法
CN113706505A (zh) * 2021-08-24 2021-11-26 凌云光技术股份有限公司 一种去除深度图像中局外点的圆柱拟合方法和装置
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113808253B (zh) * 2021-08-31 2023-08-15 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113902847A (zh) * 2021-10-11 2022-01-07 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN113902847B (zh) * 2021-10-11 2024-04-16 岱悟智能科技(上海)有限公司 基于三维特征约束的单目深度图像位姿优化方法
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN114373041A (zh) * 2021-12-15 2022-04-19 聚好看科技股份有限公司 一种三维重建方法及设备
CN114373041B (zh) * 2021-12-15 2024-04-02 聚好看科技股份有限公司 一种三维重建方法及设备
CN114648611A (zh) * 2022-04-12 2022-06-21 清华大学 局域轨道函数的三维重构方法及装置
CN114648611B (zh) * 2022-04-12 2023-07-18 清华大学 局域轨道函数的三维重构方法及装置
CN114782634A (zh) * 2022-05-10 2022-07-22 中山大学 基于表面隐函数的单目图像着装人体重建方法与系统
CN114782634B (zh) * 2022-05-10 2024-05-14 中山大学 基于表面隐函数的单目图像着装人体重建方法与系统
CN115035240A (zh) * 2022-05-13 2022-09-09 清华大学 实时三维场景重建方法及装置
CN115035240B (zh) * 2022-05-13 2023-04-11 清华大学 实时三维场景重建方法及装置
CN116342800B (zh) * 2023-02-21 2023-10-24 中国航天员科研训练中心 一种多模态位姿优化的语义三维重建方法及系统
CN116342800A (zh) * 2023-02-21 2023-06-27 中国航天员科研训练中心 一种多模态位姿优化的语义三维重建方法及系统
CN116168163B (zh) * 2023-03-29 2023-11-17 湖北工业大学 三维模型构建方法、装置及存储介质
CN116168163A (zh) * 2023-03-29 2023-05-26 湖北工业大学 三维模型构建方法、装置及存储介质
CN117392316A (zh) * 2023-10-13 2024-01-12 清华大学 基于系列欠焦图像的三维重构方法及装置
CN117333626A (zh) * 2023-11-28 2024-01-02 深圳魔视智能科技有限公司 图像采样数据获取方法、装置、计算机设备及存储介质
CN117333626B (zh) * 2023-11-28 2024-04-26 深圳魔视智能科技有限公司 图像采样数据获取方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110874864A (zh) 2020-03-10
CN110874864B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN106228507B (zh) 一种基于光场的深度图像处理方法
CN105374019B (zh) 一种多深度图融合方法及装置
WO2018119889A1 (zh) 三维场景定位方法和装置
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
CN108335350A (zh) 双目立体视觉的三维重建方法
WO2019196745A1 (zh) 人脸建模方法及相关产品
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN107274483A (zh) 一种物体三维模型构建方法
CN108509887A (zh) 一种获取环境光照信息方法、装置和电子设备
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
WO2023024441A1 (zh) 模型重建方法及相关装置、电子设备和存储介质
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
Hernandez et al. Near laser-scan quality 3-D face reconstruction from a low-quality depth stream
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
WO2020134925A1 (zh) 人脸图像的光照检测方法、装置、设备和存储介质
EP3906530B1 (en) Method for 3d reconstruction of an object
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879421

Country of ref document: EP

Kind code of ref document: A1