WO2015188684A1 - 三维模型重建方法与系统 - Google Patents

三维模型重建方法与系统 Download PDF

Info

Publication number
WO2015188684A1
WO2015188684A1 PCT/CN2015/079448 CN2015079448W WO2015188684A1 WO 2015188684 A1 WO2015188684 A1 WO 2015188684A1 CN 2015079448 W CN2015079448 W CN 2015079448W WO 2015188684 A1 WO2015188684 A1 WO 2015188684A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
depth
target
image
depth image
Prior art date
Application number
PCT/CN2015/079448
Other languages
English (en)
French (fr)
Inventor
肖振中
许宏淮
刘龙
黄源浩
Original Assignee
深圳奥比中光科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳奥比中光科技有限公司 filed Critical 深圳奥比中光科技有限公司
Publication of WO2015188684A1 publication Critical patent/WO2015188684A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the present invention relates to computer vision technology, and more particularly to a depth camera based 3D model reconstruction method and system.
  • the reconstruction of the three-dimensional model of the human body can reconstruct the posture, motion and topography of the human body in the computer for subsequent Provides a basis for applications such as gesture recognition and replacement of topographical features.
  • the invention aims at the defects of the existing three-dimensional model reconstruction technology that must be manually labeled, and provides a three-dimensional model reconstruction method and system, so as to obtain an accurate three-dimensional model of the target without manual marking of the target.
  • the solution to the above problem is to provide a three-dimensional model reconstruction method, which includes the following steps:
  • S1 using at least one depth camera to perform image acquisition on the target to obtain a depth image of the target;
  • the step S1 further includes:
  • the preprocessing of the step S2 includes:
  • step S4 further includes:
  • Two-two local rigid body registration is performed on the generated mesh sequence, and the key frame grid is selected to reduce motion blur and data redundancy.
  • step S4 further includes:
  • the method for reconstructing a three-dimensional model of the present invention further includes:
  • Another solution to the above problem is to provide a three-dimensional model reconstruction method, which includes the following steps:
  • S1 using at least one depth camera to perform image acquisition on the target to obtain a depth image of the target;
  • step S1 further comprises:
  • step S2 comprises:
  • step S4 further includes:
  • Two-two local rigid body registration is performed on the generated mesh sequence, and the key frame grid is selected to reduce motion blur and data redundancy.
  • step S4 the reconstructed multi-frame depth image is advanced
  • steps of row registration also include:
  • the method for reconstructing a three-dimensional model of the present invention further includes:
  • the invention also provides a three-dimensional model reconstruction system, comprising:
  • At least one depth camera for performing image acquisition on the target to obtain a depth image of the target
  • An image processor coupled to the depth camera for pre-processing the obtained depth image
  • a dense point cloud data generator connected to the image processor, configured to acquire dense point cloud data according to the depth map of the target, and perform reconstruction of the target depth information point cloud grid;
  • a model reconstructor connected to the dense point cloud data generator is configured to combine and register the preprocessed multi-frame depth image to obtain a three-dimensional model.
  • the three-dimensional model reconstruction system of the present invention further includes at least one color camera connected in parallel with the depth camera for acquiring a color-depth image in synchronization with the depth camera.
  • the image processor performs denoising processing, smoothing processing, and front and back scene segmentation on the image.
  • the model reconstructor performs two-two local rigid body registration on the generated mesh sequence, and selects a key frame grid to reduce motion blur and data redundancy.
  • the model reconstructor performs surface fusion and hole filling on all the data after registration.
  • the three-dimensional model reconstruction system of the present invention further includes a three-dimensional model database connected to the model reconstructor for saving the obtained three-dimensional model.
  • the model when the three-dimensional model is established, the model can be established by directly identifying by the depth camera, and the user does not need to manually select the key recognition points in the image, thereby improving the acquisition of the three-dimensional model. Accuracy, speed; also with the color camera to achieve a single depth image and color-depth image two different recognition needs, providing users with more choices.
  • FIG. 1 is a flow chart of a method for reconstructing a three-dimensional model according to a preferred embodiment of the present invention
  • FIG. 2 is a schematic diagram of building a grid using the present invention
  • FIG. 3 is a functional structural diagram of a three-dimensional model reconstruction system according to a preferred embodiment of the present invention.
  • Figure 4 is a photograph taken after photographing the first angle of the backpack
  • Figure 5 is a photograph obtained by taking a depth camera shot of the backpack of Figure 4.
  • Figure 6 is a photograph taken after photographing the second angle of the backpack
  • Figure 7 is a photograph obtained after performing depth camera shooting on the backpack of Figure 6;
  • Figure 8 is a photograph obtained after photographing the third angle of the backpack.
  • Figure 9 is a photograph obtained by taking a depth camera shot of the backpack of Figure 8.
  • Figure 10 is an array type structured light spot produced by a depth camera
  • Figure 11 is an effect diagram of the backpack after three-dimensional model reconstruction
  • Figure 12 is a photograph of the first angle of the cup taken
  • Figure 13 is a photograph of a second angle of the cup taken
  • Figure 14 is a photograph of a third angle of the cup taken
  • Figure 15 is a photograph obtained by taking a depth camera shot of the cup of Figure 12;
  • Figure 16 is a photograph obtained after performing depth camera shooting on the cup of Figure 13;
  • Figure 17 is a photograph obtained after performing depth camera shooting on the cup of Figure 14;
  • Fig. 18 is a view showing the effect of the three-dimensional model reconstruction of the cup.
  • the user In the existing 3D model reconstruction process, the user must manually mark the key identification points to establish a three-dimensional model, which is inconvenient to operate and has low precision defects, and is specially optimized for the depth point cloud establishment manner and the grid.
  • Reconstruction method without requiring the user to manually select the image in the image Under the premise of the key recognition point, the image fusion and fusion can be performed, thereby achieving the purpose of improving the accuracy and speed of acquiring the three-dimensional model.
  • FIG. 1 is a flow chart of a method for reconstructing a three-dimensional model according to a preferred embodiment of the present invention.
  • step S1 is first performed: multi-angle, continuous acquisition is performed on the target to be modeled using at least one depth camera, and multiple depth maps are generated.
  • the depth cameras used in this step include, but are not limited to, the following categories: TOF cameras (Time Of Flight), structured light, binocular cameras, laser scanning, and the like.
  • TOF cameras Time Of Flight
  • it is preferable to use a TOF camera continuously transmit a light pulse to the object by the TOF camera, and then receive the light returned from the object with the sensor, obtain the target distance by detecting the flight time of the light pulse, and obtain the distance data by passing. Get a depth image.
  • preprocessing is required in step S2, and the steps of the preprocessing include: denoising processing, smoothing processing, front and rear scene segmentation, and the like. Since the background, the non-processing target in the environment, etc. are usually taken in the initially obtained depth image, in order to accurately reconstruct the actual object in the computer environment to establish a three-dimensional model, some common denoising and smoothing algorithms are adopted. An image of the target area can be obtained. By processing the front and rear scenes, the 3D modeling target can be separated from the background. In the TOF camera, the target can be selected from the background image directly by setting the returned flight time threshold. In addition, several different contours can be used.
  • the extraction algorithm includes a watershed, a seed search, a background subtraction, and a binarization algorithm.
  • the contour extraction method of the seed search is preferably used: first, the target position is determined by using a simple inter-value segmentation background, and the contour generation seed is placed. The estimated target center, through the depth search based on the smoothness constraint, diffuses the contour to generate an accurate depth portrait contour.
  • the shape of the three-dimensional model can be improved by morphology or by using a watershed algorithm. Based on the assumption that the change of motion between frames is always less than a certain degree, combined with the contour extraction result of the previous frame, the extraction of the current frame is improved and accelerated.
  • step S3 is performed: acquiring dense point cloud data according to the depth map of the target, and reconstructing the target depth information point cloud grid.
  • the reconstruction of the grid by establishing a deep point cloud is a key point for the user to manually select, and is the key point of these selections. Connected into a grid.
  • this embodiment does not use the manual method.
  • the depth image is obtained, the image itself is an ordered set of two-dimensional points, which implies the adjacency relationship between the corresponding spatial points, and determines the adjacent by different judgment methods. Whether the points are stitched. For example, in Fig. 2(a) to Fig. 2(g), seven cases are given when four triangles are created. According to the spatial distance relationship of these points, the same plane point or distance is The points within the threshold range are connected into a triangular mesh. Of course, those skilled in the art can create meshes of different shapes depending on the actual depth image.
  • step S4 the operation of step S4 in this embodiment is as follows: for all the established meshes, denoted by ⁇ N 1 , N 2 ... N n ⁇ , the initial positions of the data are aligned, and each is calculated in order.
  • Different operations can be performed for different acquisition objects: for moving objects, the distance between the transformation matrices is calculated, and a threshold is set. When the actual distance deviates from the threshold, it indicates that the moving object is too fast, resulting in image blurring.
  • the corresponding grid frame is rounded off. That is, the two-two local rigid body registration is performed on the generated mesh sequence, and the key frame grid is selected to reduce motion blur and data redundancy.
  • the global stable sampling and the local weighting are used to perform the iterative operation on the nearest nearest point in the grid to find an accurate splicing position, merge and register, and obtain a three-dimensional model.
  • step S4 distinguishes the object according to the rigid body and the non-rigid body when processing the object:
  • Structured light generally has the characteristics of periodic arrangement, such as a spotted grid, a lattice, etc.
  • the constitutive light scans the object, the intersection of these grid-like spots and the lattice of the spot-like spot are automatically taken as the selected feature points, and the parameter feature points of these structured lights are adaptively used as the merging and registration process.
  • the feature points are selected by random points.
  • the non-rigid body will change the shape structure continuously, and the depth camera cannot automatically follow the non-rigid body to adapt to the change when shooting a frame. Therefore, the method of randomly selecting the marker points is used as a marker point in the process of merging and registration.
  • a general object is usually not a completely rigid body or a completely non-rigid body. For this reason, a rigid body and a non-rigid body are combined together in a weighted manner in this embodiment.
  • a and B are weighting indices and z is the result of the final registration.
  • the adjustment of the weight index can be performed at most twice to obtain the most consistent weight index value, so that the registration result is optimal.
  • the present invention in addition to processing the depth image using a plurality of depth cameras, it is also possible to perform cooperative imaging using the color camera at the same time.
  • the data obtained by the depth camera and the color camera are directly combined into a matrix.
  • the data of the depth camera is represented by [D]
  • the color image is represented by [RGB]
  • the matrix directly combined is [D, RGB]
  • the data of [RGB] is only used as the following matrix, and does not participate in the operation until the final [D] operation is completed, accompanied by the result.
  • Another way is to establish a strong association
  • the matrix data [D-RGB] while operating on the depth image, also processes the RGB data, and finally has a three-dimensional model with color.
  • the present invention also provides a system for implementing the above three-dimensional model reconstruction, the structure of which is shown in FIG.
  • At least one depth camera is included in the system for image acquisition of the target to obtain a depth image of the target; and at least one color camera for cooperating with the depth camera to acquire a color-depth image.
  • An image processor coupled to the depth camera and the color camera for pre-processing the obtained depth image;
  • a dense point cloud data generator coupled to the image processor for acquiring the depth map according to the target Dense point cloud data, reconstructing the target depth information point cloud grid; and a model reconstructor connected to the dense point cloud data generator for merging and registering the preprocessed multi-frame depth image to obtain three-dimensional model.
  • the dense point cloud data generator, the image processor, the model reconstructor and the three-dimensional model database are all built in the computer system, and the computer system performs related functions, and the depth camera and the color camera respectively communicate through the data line or wirelessly.
  • the method is connected to the computer system to send relevant data to the computer system.
  • the original image data is first obtained by a depth camera and a color camera, and sent to an image processor in the computer system for pre-processing.
  • the image processor performs operations such as denoising processing, smoothing processing, and front and back scene segmentation by using an associated image algorithm.
  • the three-dimensional model to be processed is separated from the background, and a clearer image is obtained.
  • the image preprocessed by the image processor is then sent to a dense point cloud data generator for upselling the generation of the electric fish and reconstruction of the grid.
  • the dense point cloud data generator the information of the depth image is directly used to operate, thereby avoiding the user manually selecting the key points and directly generating the accurate three-dimensional model mesh.
  • the model reconstructor For the generated mesh, it will be sent to the model reconstructor for reconstruction of the 3D model.
  • the model reconstructor performs classification operations for dynamic and static situations: for dynamic cases, calculate the distance between the transformation matrices. Set a threshold. When the actual distance deviates from the threshold, it indicates that the moving object is too fast, resulting in blurred image, and the corresponding grid frame can be discarded. That is, the two-two local rigid body registration is performed on the generated mesh sequence, and the key frame grid is selected to reduce motion blur and data redundancy. And for Static objects, using global stable sampling and local weighting, iterate the adjacent nearest points in the grid to find the exact stitching position, merge and register, and obtain the 3D model.
  • the obtained 3D model is sent to the 3D model database for storage for subsequent network presentation.
  • the shooting angle of the depth camera is replaced, as shown in FIG. 6 and FIG. 8, and the corresponding depth images are respectively obtained, as shown in FIGS. 7 and 9.
  • the step S1 of the present invention is completed.
  • the pre-processing is performed on the depth image, and the steps of the pre-processing include: denoising processing, smoothing processing, front and rear scene segmentation, and the like.
  • the specific pre-processing method selected is selected according to the depth image demand of the specific shot. At this time, step S2 of the present invention is completed.
  • step S3 is needed to acquire dense point cloud data according to the depth map of the target, and reconstruct the target depth information point cloud grid.
  • rigid body/non-rigid body can be used.
  • a backpack when it is not placed, it can be considered that its surface has not changed with time and can be regarded as a rigid body.
  • the self-parameter of the structured light generated in the depth camera is used for processing.
  • Figure 10 is a typical array type structured spot produced by a depth camera. When these spots are illuminated on the backpack, these points are reconstructed as a depth information point cloud grid.
  • Figure 2 for reconstruction. For depth maps with different angles, the points with higher correlation are combined into one, and the points with low correlation are omitted. So far, the reconstruction of the depth information point cloud grid of the three depth maps of the backpack has been completed.
  • step S4 is completed.
  • the rigid body mode in step S3 may be replaced by the non-rigid body mode.
  • the structure light is used instead of using the structured light in the depth camera.
  • a randomly generated spot lattice is used as a marker point to perform a depth information point cloud grid for weighting build. When reconstructing, it is still in the depth map of different angles, the points with higher correlation are combined into one, and the points with low correlation are omitted. The only difference is that each point in the random lattice needs to be iterated with all other points to confirm the degree of correlation. Since all the points are calculated, the results obtained are more accurate.
  • the rigid body and the non-rigid body are usually combined, and the weights of the rigid body and the non-rigid body are appropriately given: the result of merging and arranging the rigid body is assumed. For x, the result of registration with a non-rigid body is y. Then, after weighting, the result of the combined registration with the backpack can be expressed as:
  • a and B are weighting indices and z is the result of the final registration.
  • A takes a value of 0.85 to 0.95, and B corresponds to a choice of 0.15 to 0.05.
  • the three-dimensional model shown in Fig. 11 will eventually be obtained. If a color image of RGB is simultaneously obtained in step S1, a three-dimensional model of color can be further obtained.
  • a depth information point cloud grid of the depth map is established for the cup. Since the cup is a pure rigid body, the structured light in the depth camera can be directly used for mesh analysis.
  • the depth images of the reconstructed three cups are merged and registered to obtain a three-dimensional model. After further optimization, a three-dimensional model of the cup as shown in Fig. 18 was obtained.
  • the above embodiment of the present invention captures an object by a depth camera, intelligently generates a related mesh by using relevant information in the depth image, and performs model reconstruction.
  • the entire process does not require user participation, thereby speeding up the establishment of the model and improving the model. Establish the accuracy of the model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

涉及一种三维模型重建方法及系统，其中该方法包括以下步骤：S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；S2、对获得的深度图像进行预处理；S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。由此，无需对目标做手工标记，即可获取目标的精确三维模型。

Description

三维模型重建方法与系统 【技术领域】
本发明涉及计算机的视觉技术，更具体的说，涉及一种基于深度相机的三维模型重建方法与系统。
【背景技术】
利用计算机技术对真实的物体建立模型在各个领域中都有着很重要的意义，例如对人体进行三维模型的重建，能够在计算机中实现对人体的姿态、动作、形貌特征进行重建，为后续的姿态识别、更换形貌特性等应用提供基础。
而现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低。
【发明内容】
本发明针对现有的三维模型重建技术中存在的必须对目标做手工标记的缺陷，提供一种三维模型重建方法与系统，以实现无需对目标做手工标记，即可获取目标的精确三维模型。
本发明解决上述问题的方案是，提供一种三维模型重建方法，包括以下步骤：
S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；
S2、对获得的深度图像进行预处理；
S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
S4、对重建后的多帧深度图像进行合并、配准，获得三维模型；
其中，所述步骤S1还包括：
S11、使用色彩相机与深度相机同步获取色彩-深度图像；
其中，所述步骤S2的预处理包括：
去噪声处理、平滑处理、前后景分割。
本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括：
对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括：
对配准后的所有数据进行曲面融合、补洞。
本发明的三维模型重建方法，还包括：
S5、对获得的三维模型进行保存，建立三维模型数据库。
本发明解决上述问题的又一方案是，提供一种三维模型重建方法，包括以下步骤：
S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；
S2、对获得的深度图像进行预处理；
S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。
本发明的三维模型重建方法，其中步骤S1还包括：
S11、使用色彩相机与深度相机同步获取色彩-深度图像。
本发明的三维模型重建方法，其中步骤S2的预处理包括：
去噪声处理、平滑处理、前后景分割。
本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括：
对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进 行配准的步骤还包括：
对配准后的所有数据进行曲面融合、补洞。
本发明的三维模型重建方法，还包括：
S5、对获得的三维模型进行保存，建立三维模型数据库。
本发明还提供一种三维模型重建系统，包括：
至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；
与所述深度相机相连接的图像处理器，用于对获得的深度图像进行预处理；
与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。
本发明的三维模型重建系统，还包括至少一台色彩相机，所述色彩相机与深度相机并行连接，用于与深度相机同步获取色彩-深度图像。
本发明的三维模型重建系统，图像处理器对图像进行去噪声处理、平滑处理、前后景分割。
本发明的三维模型重建系统，模型重建器对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
本发明的三维模型重建系统，模型重建器对配准后的所有数据进行曲面融合、补洞。
本发明的三维模型重建系统，还包括与模型重建器连接的三维模型数据库，用于对获得的三维模型进行保存。
实施本发明的三维模型重建方法与系统，在建立三维模型的时候，直接通过深度相机进行识别就可以进行模型的建立，无需使用者手动选取图像中的关键识别点，从而提高了获取三维模型的精度、速度；还通过与色彩相机的配合，实现了单一深度图像以及色彩-深度图像的两种不同识别需要，为使用者提供了更多的选择。
【附图说明】
以下结合附图对本发明进行说明，其中：
图1为本发明一则较佳实施例所提供的三维模型重建方法的流程图；
图2为采用本发明建立网格的示意图；
图3为本发明一则较佳实施例所提供的三维模型重建系统的功能结构图；
图4为对背包的第一个角度进行拍照后获得的照片；
图5为对图4的背包进行深度相机拍摄后得到的照片；
图6为对背包的第二个角度进行拍照后获得的照片；
图7为对图6的背包进行深度相机拍摄后得到的照片；
图8为对背包的第三个角度进行拍照后获得的照片；
图9为对图8的背包进行深度相机拍摄后得到的照片；
图10是由深度相机产生的阵列型结构光点；
图11为背包进行三维模型重建后的效果图；
图12为对杯子的第一个角度进行拍照后的照片；
图13为对杯子的第二个角度进行拍照后的照片；
图14为对杯子的第三个角度进行拍照后的照片；
图15为对图12的杯子进行深度相机拍摄后得到的照片；
图16为对图13的杯子进行深度相机拍摄后得到的照片；
图17为对图14的杯子进行深度相机拍摄后得到的照片；
图18为杯子进行三维模型重建后的效果图。
【具体实施方式】
本发明针对现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低的缺陷，通过特别优化有的深度点云建立方式以及网格重建的方式，在不需要使用者手动选取图像中的关 键识别点的前提下，就能够进行图像的拼接融合，从而实现提高了获取三维模型的精度、速度的目的。
现结合附图和具体实施方式对发明进行详细说明。
如图1所示为本发明一则较佳实施例所提供的三维模型重建方法的流程图。在本实施例中，首先进行步骤S1：使用至少一个深度相机对需要进行建模的目标进行多角度、连续采集，生成多个深度图。在该步骤中使用的深度相机包括但不限于以下的种类：TOF相机(Time Of Flight，飞行时间)、结构光、双目摄像机、激光扫描等等。在本实施例中优选使用TOF相机，通过TOF相机向被拍摄物体连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离，通过的得到距离数据得到深度图像。
对于获得的多个深度图像，在步骤S2中需要进行预处理，这些预处理的步骤具体包括：去噪声处理、平滑处理、前后景分割等。由于在初始获得的深度图像中通常会将背景、环境中的非处理目标等摄入，为了能够精确的将实际的物体在计算机环境中重建建立出三维模型，通过一些常用的去噪、平滑算法可以获得目标区域的图像。而通过前后景分割的处理，可以将三维建模目标与背景分离，在TOF相机中可以直接通过设定返回的飞行时间阈值将目标从背景图像中选取出来，此外还可以使用几种不同的轮廓提取算法，包括分水岭、种子搜索、背景消减和二值化算法等，在本实施例中优选使用种子搜索的轮廓提取方式：首先使用简单的间值分割前背景确定目标位置，放置轮廓生成种子在估计的目标中心，再通过基于平滑度约束的深度搜索，扩散轮廓，生成精确的深度人像轮廓。再通过形态学，或采用分水岭算法可以改善获取三维模型的轮廓。基于动作在帧间的变化总是小于某一程度的假设，结合上一帧的轮廓提取结果，改善和加快当前帧的提取。
在对图像进行过预处理之后，进行步骤S3：根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建。在以往的技术中，建立深度点云进行网格的重建是需要使用者进行手工的选择关键点，是这些选取的关键点连 接成网格。但是本实施例不使用手工方式，利用获得深度图像时本身图像本身是一组有序的二维点集，它蕴含了其对应的空间点之间的邻接关系，通过不同的判断方式确定相邻的点是否进行拼接。例如在图2(a)～图2(g)中给出4个点在建立三角形网格时的7种情形，依据这些点在空间上的距离关系，将相同平面的点，或者是距离在阈值范围内的点连接成三角形网格。当然，本领域的技术人员依据实际的深度图像可以建立不同形状的网格。
在建立好每一个区域的网格后，需要将这些网格进行拼接，生成三维模型。在本实施例中的步骤S4操作方式如下：对建立好的所有网格，用{N1，N2......Nn}表示，将这些数据的初始位置对齐，按照次序计算每一个网格沿三个坐标轴的位移t与旋转r：{tx i，ty i，tz i，rx i，rx i，rx i}，记为变换矩阵rti，采用顶点随机采样，基于投影点匹配、点到平面的距离误差修正等方式对网格Ni，进行计算。
针对不同的采集对象，可以进行不同的操作：对于运动的物体，计算变换矩阵之间的距离，设定一个阈值，当实际距离偏离阈值的时候，表明运动物体过快，导致图像模糊，可以将对应的网格帧舍去。即对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
而对于静态物体，在本实施例中采用全局稳定采样以及局部加权的方式，对网格中的相邻最近的点进行迭代操作，寻找出精确的拼接位置，进行合并、配准，获得三维模型。
当然，在上述重建的过程中，需要对网格进行必要的优化操作：对配准后的所有数据进行曲面融合、补洞。以便生成的三维模型是一个连续可靠的图像。当所有的优化操作完成后，就可以将生成的三维模型进行保存。
较佳的，在本申请中，步骤S4在对拍摄物体进行处理的时候，对物体按照刚体和非刚体进行区分处理：
对于刚体，在本申请中使用深度相机中产生的结构光的自身参数进行处理。结构光一般具有周期性排布的特征，例如光斑呈网格状、点阵状等，当使用结 构光对物体进行扫描的时候，自动将这些网格状的光斑的交点、点阵状光斑的点阵作为选取的特征点，自适应地将这些结构光的参数特征点作为合并、配准过程中的标志点。
而对于非刚体，则采用随机点的方式选取特征点，当结构光照射在非刚体后，由于非刚体会不断改变形状结构，而深度相机在拍摄一帧时无法自动跟随非刚体进行适配改变，因此采用随机选取标志点的方式作为合并、配准过程中的标志点。
但是一般的物体通常不会是完全的刚体或者是完全的非刚体，为此，在本实施例中使用加权的方式将刚体和非刚体结合在一起。
假设以刚体的进行合并、配置的结果为x，以非刚体进行配准的结果为y，那么采用本发明进行加权后，得到的对与一般物体的合并配准结果可以表示为：
z＝Ax+By；
其中A，B为权重指数，z为最后得到的配准后结果。
当该扫描的物体为刚体时，A＝1，B＝0，当扫描的物体为非刚体时则A＝0，B＝1。
对于任意要进行扫描的物体，最多进行两次关于权重指数的调整即可得到最吻合的权重指数数值，使得配准的结果达到最佳。
较佳的，在本发明中，处理使用多台深度相机进行深度图像的获取之外，还可以同时使用色彩相机进行协同摄像。在拍摄得到深度图像的同时得到被摄对象的色彩图，在步骤S1中建立深度图像的时候直接将深度图像的数据与色彩图像的数据进行关联，使得在最后的获得三维模型时，直接得到与原始被摄目标色彩相同颜色效果。具体的方式有两种：首先，将深度相机和色彩相机获得的数据直接拼合成一个矩阵，例如深度相机的数据用[D]表示，色彩图像用[RGB]来表示，直接简单拼合的矩阵为[D，RGB]，在后续的网格重建过程中，仅仅只对[D]操作，[RGB]的数据只是作为跟随矩阵，不参与运算，直到最后对[D]操作完成后，伴随其结果，从而生成带有色彩的三维模型。另一种方式是建立强关联 的矩阵数据[D-RGB]，在对深度图像操作的同时，也对RGB数据进行处理，最后得带有色彩的三维模型。
另一方面，本发明还提供一种用于实现上述三维模型重建的系统，其结构如图3所示。在该系统中包括至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；还包括至少一个色彩相机，用于与深度相机协同拍摄，获取色彩-深度图像。与所述深度相机、色彩相机相连接的图像处理器，用于对获得的深度图像进行预处理；与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。
较佳的，密集点云数据生成器、图像处理器、模型重建器以及三维模型数据库均内置于计算机系统中，由计算机系统完成相关的功能，深度相机和色彩相机分别通过数据线或者无线通信的方式与该计算机系统连接，向计算机系统发送相关的数据。
采用该系统进行三维模型的重建时，首先由深度相机和色彩相机获得原始的图像数据，发送到计算机系统中的图像处理器进行预处理操作。图像处理器通过相关的图像算法，对图像进行去噪声处理、平滑处理、前后景分割等操作。使得待处理的三维模型与背景相分离，并获得较为清晰的图像。
然后经过图像处理器预处理的图像被发送到密集点云数据生成器进行升读电鱼的生成以及网格的重建。在密集点云数据生成器中，直接利用深度图像的信息进行操作，避免了使用者手动选取关键点，直接生成精准的三维模型网格。
对于生成的网格，将发送到模型重建器中进行三维模型的重建操作，模型重建器针对动态、静态两种不同的情形，进行分类操作：对于动态的情形，计算变换矩阵之间的距离，设定一个阈值，当实际距离偏离阈值的时候，表明运动物体过快，导致图像模糊，可以将对应的网格帧舍去。即对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。而对于 静态物体，采用全局稳定采样以及局部加权的方式，对网格中的相邻最近的点进行迭代操作，寻找出精确的拼接位置，进行合并、配准，获得三维模型。
最后将获得的三维模型发送到三维模型数据库中进行保存，以便为后续进行网络展示使用。
为了能够更清楚展示本发明对实际三维物体重建的过程，以下对一个背包的三维模型重建过程进行详细描述。首先，对如图4放置的背包，使用深度相机获得其对应的深度图像，如图5所示。
为了能够获得更为精准的三维模型，通常使用多个角度进行重复操作。例如，将深度相机的拍摄角度进行更换，如图6、图8所示，并分别获得对应的深度图像，如图7、图9所示。此时，即完成了本发明的步骤S1。
然后，对于深度图像进行预处理，这些预处理的步骤具体包括：去噪声处理、平滑处理、前后景分割等。具体选用的预处理手段依据具体拍摄的到的深度图像需求进行选择。此时，即完成本发明的步骤S2。
然后，需要进行步骤S3，根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建。在本发明中，可以采用刚体/非刚体两种方式。对于背包，当放置不动的时候，可以认为其表面没有随时间进行改变，可以视为刚体。依据前述中对于刚体的操作，使用深度相机中产生的结构光的自身参数进行处理。例如，图10是常见的由深度相机产生的阵列型结构光点。当这些光点照射在背包上时，将这些点作为深度信息点云网格进行重建。重建的时候参照图2，对于不同角度的深度图中，相关性较高的点拼合成一个，并将相关性低的点略去。至此，完成了3幅背包深度图的深度信息点云网格的重建。
然后，对重建后的3个背包的深度图像进行合并、配准，获得三维模型。至此，完成步骤S4。
当然，若考虑背包自身的重量可能会在拍摄的过程中引起形变，也可以将步骤S3中的刚体方式替换成非刚体方式，此时不再使用深度相机中自带的结构光，而是使用随机产生的光点点阵作为标志点，进行深度信息点云网格进行重 建。重建的时候依然是对于不同角度的深度图中，相关性较高的点拼合成一个，并将相关性低的点略去。不同点仅在于，需要对随机点阵中的每一个点与其他所有的点进行迭代运算，确认其相关程度。由于所有点都进行了运算，获得的结果更为准确。
由于完全非刚体的随机点阵的运算较大，为了在运算上节约时间，通常将刚体、非刚体进行结合，并给与刚体、非刚体适当的权重：假设以刚体的进行合并、配置的结果为x，以非刚体进行配准的结果为y，那么进行加权后，得到的对与背包的合并配准结果可以表示为：
z＝Ax+By；
其中A，B为权重指数，z为最后得到的配准后结果。对于背包，A取值0.85～0.95，B对应选择0.15～0.05。最终将获得图11所示的三维模型。若在步骤S1中同时获得RGB的彩色图像，还可以进一步的获得彩色的三维模型。
以下再对另一则的实际例子进行说明。首先在3个不同的角度下(图12～14)获得关于杯子的深度图像，如图15～17所示。
然后依据图10所示的结构光点阵，对杯子建立深度图的深度信息点云网格。由于杯子是纯刚体，可以直接采用深度相机中的结构光进行网格分析。
完成了3幅杯子深度图的深度信息点云网格的重建后，对重建后的3个杯子的深度图像进行合并、配准，获得三维模型。进一步优化后，获得如图18所示的杯子的三维模型。
本发明的上述实施例通过深度相机对物体进行拍摄，利用深度图像中的相关信息智能生成相关的网格，进行模型重建，整个过程无需使用者参与选定，从而加快的模型的建立，提高了建立模型的准确性。
以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (16)

  1. 一种三维模型重建方法，其中，包括以下步骤：
    S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；
    S2、对获得的深度图像进行预处理；
    S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
    S4、对重建后的多帧深度图像进行合并、配准，获得三维模型；
    其中，所述步骤S1还包括：
    S11、使用色彩相机与深度相机同步获取色彩-深度图像；
    其中，所述步骤S2的预处理包括：
    去噪声处理、平滑处理、前后景分割。
  2. 根据权利要求1所述的三维模型重建方法，其中，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：
    对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
  3. 根据权利要求1所述的三维模型重建方法，其中，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：
    对配准后的所有数据进行曲面融合、补洞。
  4. 根据权利要求1所述的三维模型重建方法，其中，还包括：
    S5、对获得的三维模型进行保存，建立三维模型数据库。
  5. 一种三维模型重建方法，其中，包括以下步骤：
    S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；
    S2、对获得的深度图像进行预处理；
    S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
    S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。
  6. 根据权利要求5所述的三维模型重建方法，其中，所述S1还包括：
    S11、使用色彩相机与深度相机同步获取色彩-深度图像。
  7. 根据权利要求5所述的三维模型重建方法，其中，所述步骤S2的预处理包括：
    去噪声处理、平滑处理、前后景分割。
  8. 根据权利要求5所述的三维模型重建方法，其中，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：
    对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
  9. 根据权利要求5所述的三维模型重建方法，其中，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：
    对配准后的所有数据进行曲面融合、补洞。
  10. 根据权利要求5所述的三维模型重建方法，其中，还包括：
    S5、对获得的三维模型进行保存，建立三维模型数据库。
  11. 一种三维模型重建系统，其中，包括：
    至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；
    与所述深度相机相连接的图像处理器，用于对获得的深度图像进行预处理；
    与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
    与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。
  12. 根据权利要求11所述的三维模型重建系统，其中，还包括至少一台色彩相机，所述色彩相机与深度相机并行连接，用于与深度相机同步获取色彩-深度图像。
  13. 根据权利要求12所述的三维模型重建系统，其中，所述图像处理器对 图像进行去噪声处理、平滑处理、前后景分割。
  14. 根据权利要求11所述的三维模型重建系统，其中，所述模型重建器对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
  15. 根据权利要求11所述的三维模型重建系统，其中，所述模型重建器对配准后的所有数据进行曲面融合、补洞。
  16. 根据权利要求11所述的三维模型重建系统，其中，还包括与模型重建器连接的三维模型数据库，用于对获得的三维模型进行保存。
PCT/CN2015/079448 2014-06-12 2015-05-21 三维模型重建方法与系统 WO2015188684A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410260791.1 2014-06-12
CN201410260791.1A CN104599314A (zh) 2014-06-12 2014-06-12 三维模型重建方法与系统

Publications (1)

Publication Number Publication Date
WO2015188684A1 true WO2015188684A1 (zh) 2015-12-17

Family

ID=53125064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/079448 WO2015188684A1 (zh) 2014-06-12 2015-05-21 三维模型重建方法与系统

Country Status (2)

Country Link
CN (1) CN104599314A (zh)
WO (1) WO2015188684A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094719A1 (zh) * 2016-11-28 2018-05-31 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN108765566A (zh) * 2018-05-21 2018-11-06 瞪羚实训（北京）科技有限公司 图像处理方法和装置、存储介质、3d建模系统和方法
CN108898653A (zh) * 2018-06-20 2018-11-27 广州晖恒广告策划有限公司 一种基于图片的三维动漫玩具设计方法
CN109118581A (zh) * 2018-08-22 2019-01-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN110060351A (zh) * 2019-04-01 2019-07-26 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN110060332A (zh) * 2019-04-09 2019-07-26 上海科技大学 基于机载采集设备的高精度三维建图与建模系统
CN110827408A (zh) * 2019-10-31 2020-02-21 上海师范大学 一种基于深度传感器的实时三维重建方法
CN111311615A (zh) * 2020-02-11 2020-06-19 香港光云科技有限公司 基于ToF的场景分割方法及系统、存储介质及电子设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111402314A (zh) * 2019-12-30 2020-07-10 香港光云科技有限公司 材质属性参数获取方法及装置
CN111563965A (zh) * 2019-02-14 2020-08-21 贝壳技术有限公司 一种通过优化深度图生成全景图的方法及装置
CN111754560A (zh) * 2020-06-10 2020-10-09 北京瓦特曼科技有限公司 基于稠密三维重建的高温冶炼容器侵蚀预警方法及系统
CN111784828A (zh) * 2020-08-03 2020-10-16 腾讯科技（深圳）有限公司 三维模型的融合方法、装置及计算机可读存储介质
CN112132971A (zh) * 2020-09-08 2020-12-25 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN112580487A (zh) * 2020-12-15 2021-03-30 中山大学 一种基于无人小车的三维重建系统及其方法
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
CN112785688A (zh) * 2021-01-27 2021-05-11 广东职业技术学院 一种陶瓷艺术品的三维图像重建方法及系统
CN113112608A (zh) * 2021-04-20 2021-07-13 厦门汇利伟业科技有限公司 一种从物体图形自动建立三维模型的方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113379894A (zh) * 2021-06-10 2021-09-10 西安亚思工业自动化控制有限公司 一种棒材的三维数据模型重构方法
CN113421290A (zh) * 2021-07-05 2021-09-21 山西大学 一种基于无人机图像采集的电厂锅炉内三维重建方法
CN113436350A (zh) * 2021-07-07 2021-09-24 武汉湾流科技股份有限公司 一种三维模型生成方法及系统
CN113436338A (zh) * 2021-07-14 2021-09-24 中德（珠海）人工智能研究院有限公司 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN113850910A (zh) * 2021-09-28 2021-12-28 江苏京芯光电科技有限公司 一种slam扫地机地图构建方法
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN114444158A (zh) * 2020-11-04 2022-05-06 北京瓦特曼科技有限公司 一种基于三维重建的地下巷道形变预警方法及系统
CN114581600A (zh) * 2022-01-27 2022-06-03 浙江大学 一种适用于类球形果蔬抓取的真空吸盘吸取方法
CN114930403A (zh) * 2020-07-20 2022-08-19 深圳元戎启行科技有限公司 基于点云数据的三维重建方法、装置和计算机设备
CN116310104A (zh) * 2023-03-08 2023-06-23 武汉纺织大学 一种复杂场景下的人体三维重建方法、系统及存储介质
CN117576280A (zh) * 2023-07-12 2024-02-20 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117579753A (zh) * 2024-01-16 2024-02-20 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质
CN118657896A (zh) * 2024-08-21 2024-09-17 北京海天瑞声科技股份有限公司 一种三维重建方法、装置、设备及介质

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
WO2016144741A1 (en) 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
EP3268949B1 (en) 2015-03-09 2021-05-26 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
CN106296801B (zh) * 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
CN105069423B (zh) * 2015-07-29 2018-11-09 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN105825544B (zh) * 2015-11-25 2019-08-20 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105930766A (zh) * 2016-03-31 2016-09-07 深圳奥比中光科技有限公司 无人机
CN106228608A (zh) * 2016-08-24 2016-12-14 集美大学 一种基于双目的用于物体快速重构的手持装置和方法
CN106568435B (zh) * 2016-11-09 2019-05-31 深圳奥比中光科技有限公司 一种室内定位方法及系统
CN106570939A (zh) * 2016-11-09 2017-04-19 深圳奥比中光科技有限公司 一种3d地图的处理方法及系统
CN106846456A (zh) * 2016-11-09 2017-06-13 深圳奥比中光科技有限公司 一种室内3d框架图的生成方法及系统
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN106651925B (zh) * 2016-11-28 2019-08-30 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
CN108182702B (zh) * 2016-12-08 2020-06-30 北京物语科技有限公司 基于深度图像采集设备的实时三维建模方法及系统
CN106898022A (zh) * 2017-01-17 2017-06-27 徐渊 一种手持式快速三维扫描系统及方法
WO2018133119A1 (zh) * 2017-01-23 2018-07-26 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
CN106846479B (zh) * 2017-02-15 2018-11-30 山东大学 基于深度摄像头的隧道三维建模系统及方法
CN107067470B (zh) * 2017-04-05 2019-09-06 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
CN106981091B (zh) * 2017-04-27 2020-04-17 深圳奥比中光科技有限公司 人体三维建模数据处理方法及装置
CN107358645B (zh) * 2017-06-08 2020-08-11 上海交通大学 产品三维模型重建方法及其系统
CN107507269A (zh) * 2017-07-31 2017-12-22 广东欧珀移动通信有限公司 个性化三维模型生成方法、装置和终端设备
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
WO2019047985A1 (zh) 2017-09-11 2019-03-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN109905691A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法
CN108122281B (zh) * 2017-12-22 2021-08-24 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
CN108182726A (zh) * 2017-12-29 2018-06-19 努比亚技术有限公司 三维重建方法、云端服务器及计算机可读存储介质
CN108335321B (zh) * 2018-01-29 2022-02-01 中国科学院遥感与数字地球研究所 基于多角度照片的地表砾石尺度信息自动提取方法
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN108961393A (zh) * 2018-06-29 2018-12-07 杭州光珀智能科技有限公司 一种基于点云数据流的人体建模方法及装置
CN109086691B (zh) * 2018-07-16 2020-02-21 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN109146943B (zh) * 2018-08-03 2019-12-03 百度在线网络技术（北京）有限公司 静止物体的检测方法、装置及电子设备
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN110160502B (zh) 2018-10-12 2022-04-01 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
CN109472825B (zh) * 2018-10-16 2021-06-25 维沃移动通信有限公司 一种对象搜索方法及终端设备
CN109615702B (zh) * 2018-10-23 2023-09-22 深圳市重投华讯太赫兹科技有限公司 网格补洞方法、图像处理设备及具有存储功能的装置
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
CN109816784B (zh) * 2019-02-25 2021-02-23 盾钰（上海）互联网科技有限公司 三维重构人体的方法和系统及介质
CN111724419A (zh) * 2019-03-19 2020-09-29 长春工业大学 一种改进极限学习机的tof相机深度数据空间配准算法研究
CN111739146B (zh) * 2019-03-25 2024-07-30 华为技术有限公司 物体三维模型重建方法及装置
CN110293684A (zh) * 2019-06-03 2019-10-01 深圳市科迈爱康科技有限公司 基于立体打印技术的敷料打印方法、装置及系统
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN112446843B (zh) * 2019-08-28 2024-08-06 深圳市光鉴科技有限公司 基于多深度图的图像重建方法、系统、设备及介质
CN110708518B (zh) * 2019-11-05 2021-05-25 北京深测科技有限公司 一种人流分析预警疏导方法及系统
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
CN112991383B (zh) * 2019-12-18 2022-11-08 山东理工大学 基于三种颜色光点图案的立体视觉匹配方法
TWI766218B (zh) * 2019-12-27 2022-06-01 財團法人工業技術研究院 三維平面重建方法、三維平面重建系統與計算裝置
CN111311743B (zh) * 2020-03-27 2023-04-07 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111210429B (zh) * 2020-04-17 2020-08-21 中联重科股份有限公司 点云数据划分方法及装置、障碍物检测方法及装置
CN111787303B (zh) * 2020-05-29 2022-04-15 深圳市沃特沃德软件技术有限公司 三维图像的生成方法、装置、存储介质及计算机设备
CN112367514B (zh) 2020-10-30 2022-12-09 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN114758333B (zh) * 2020-12-29 2024-02-13 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN112597334B (zh) * 2021-01-15 2021-09-28 天津帕克耐科技有限公司 通信数据中心的数据处理方法
CN118506458B (zh) * 2024-07-17 2024-10-11 凝动万生医疗科技(武汉)有限公司 一种高精度的多视角动作捕捉方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181589A1 (en) * 2010-01-28 2011-07-28 The Hong Kong University Of Science And Technology Image-based procedural remodeling of buildings
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729750B2 (en) * 2005-01-20 2010-06-01 The Regents Of The University Of California Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography
US7978191B2 (en) * 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
CN101383054B (zh) * 2008-10-17 2010-09-08 北京大学 一种基于图像与扫描数据的混合三维重建方法
CN102222361A (zh) * 2010-04-06 2011-10-19 清华大学 三维模型的捕捉及重建方法和系统
CN101833786B (zh) * 2010-04-06 2011-12-28 清华大学 三维模型的捕捉及重建方法和系统
US8238518B2 (en) * 2010-06-23 2012-08-07 The Institute Of Cancer Research Radiotherapy system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181589A1 (en) * 2010-01-28 2011-07-28 The Hong Kong University Of Science And Technology Image-based procedural remodeling of buildings
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONG, SHICHAO; ET AL.: "Study on 3D Body Scanning, Reconstruction and Measurement Techniques Based on Kinect", JOURNAL OF TIANJIN POLYTECHNIC UNIVERSITY, vol. 31, no. 5, 31 October 2012 (2012-10-31), XP055242376 *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094719A1 (zh) * 2016-11-28 2018-05-31 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN108765566A (zh) * 2018-05-21 2018-11-06 瞪羚实训（北京）科技有限公司 图像处理方法和装置、存储介质、3d建模系统和方法
CN108898653A (zh) * 2018-06-20 2018-11-27 广州晖恒广告策划有限公司 一种基于图片的三维动漫玩具设计方法
CN109118581A (zh) * 2018-08-22 2019-01-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109118581B (zh) * 2018-08-22 2023-04-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109584362B (zh) * 2018-12-14 2023-03-21 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109685848B (zh) * 2018-12-14 2023-06-09 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN111563965B (zh) * 2019-02-14 2024-04-05 如你所视(北京)科技有限公司 一种通过优化深度图生成全景图的方法及装置
CN111563965A (zh) * 2019-02-14 2020-08-21 贝壳技术有限公司 一种通过优化深度图生成全景图的方法及装置
CN110060351B (zh) * 2019-04-01 2023-04-07 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN110060351A (zh) * 2019-04-01 2019-07-26 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN110060332B (zh) * 2019-04-09 2022-12-02 上海科技大学 基于机载采集设备的高精度三维建图与建模系统
CN110060332A (zh) * 2019-04-09 2019-07-26 上海科技大学 基于机载采集设备的高精度三维建图与建模系统
CN110827408A (zh) * 2019-10-31 2020-02-21 上海师范大学 一种基于深度传感器的实时三维重建方法
CN110827408B (zh) * 2019-10-31 2023-03-28 上海师范大学 一种基于深度传感器的实时三维重建方法
CN111402314A (zh) * 2019-12-30 2020-07-10 香港光云科技有限公司 材质属性参数获取方法及装置
CN111311615A (zh) * 2020-02-11 2020-06-19 香港光云科技有限公司 基于ToF的场景分割方法及系统、存储介质及电子设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111754560B (zh) * 2020-06-10 2023-06-02 北京瓦特曼科技有限公司 基于稠密三维重建的高温冶炼容器侵蚀预警方法及系统
CN111754560A (zh) * 2020-06-10 2020-10-09 北京瓦特曼科技有限公司 基于稠密三维重建的高温冶炼容器侵蚀预警方法及系统
CN114930403A (zh) * 2020-07-20 2022-08-19 深圳元戎启行科技有限公司 基于点云数据的三维重建方法、装置和计算机设备
CN111784828B (zh) * 2020-08-03 2023-11-10 腾讯科技（深圳）有限公司 三维模型的融合方法、装置及计算机可读存储介质
CN111784828A (zh) * 2020-08-03 2020-10-16 腾讯科技（深圳）有限公司 三维模型的融合方法、装置及计算机可读存储介质
CN112132971B (zh) * 2020-09-08 2024-04-23 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN112132971A (zh) * 2020-09-08 2020-12-25 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN114444158B (zh) * 2020-11-04 2023-06-06 北京瓦特曼科技有限公司 一种基于三维重建的地下巷道形变预警方法及系统
CN114444158A (zh) * 2020-11-04 2022-05-06 北京瓦特曼科技有限公司 一种基于三维重建的地下巷道形变预警方法及系统
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
CN112580487A (zh) * 2020-12-15 2021-03-30 中山大学 一种基于无人小车的三维重建系统及其方法
CN112785688A (zh) * 2021-01-27 2021-05-11 广东职业技术学院 一种陶瓷艺术品的三维图像重建方法及系统
CN113178009B (zh) * 2021-04-19 2023-08-25 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113112608A (zh) * 2021-04-20 2021-07-13 厦门汇利伟业科技有限公司 一种从物体图形自动建立三维模型的方法
CN113379894B (zh) * 2021-06-10 2023-08-01 西安亚思工业自动化控制有限公司 一种棒材的三维数据模型重构方法
CN113379894A (zh) * 2021-06-10 2021-09-10 西安亚思工业自动化控制有限公司 一种棒材的三维数据模型重构方法
CN113421290A (zh) * 2021-07-05 2021-09-21 山西大学 一种基于无人机图像采集的电厂锅炉内三维重建方法
CN113436350A (zh) * 2021-07-07 2021-09-24 武汉湾流科技股份有限公司 一种三维模型生成方法及系统
CN113436350B (zh) * 2021-07-07 2024-09-06 武汉湾流科技股份有限公司 一种三维模型生成方法及系统
CN113436338A (zh) * 2021-07-14 2021-09-24 中德（珠海）人工智能研究院有限公司 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN113850910A (zh) * 2021-09-28 2021-12-28 江苏京芯光电科技有限公司 一种slam扫地机地图构建方法
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN114581600A (zh) * 2022-01-27 2022-06-03 浙江大学 一种适用于类球形果蔬抓取的真空吸盘吸取方法
CN116310104B (zh) * 2023-03-08 2023-08-18 武汉纺织大学 一种复杂场景下的人体三维重建方法、系统及存储介质
CN116310104A (zh) * 2023-03-08 2023-06-23 武汉纺织大学 一种复杂场景下的人体三维重建方法、系统及存储介质
CN117576280A (zh) * 2023-07-12 2024-02-20 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117576280B (zh) * 2023-07-12 2024-04-19 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117579753A (zh) * 2024-01-16 2024-02-20 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质
CN118657896A (zh) * 2024-08-21 2024-09-17 北京海天瑞声科技股份有限公司 一种三维重建方法、装置、设备及介质

Also Published As

Publication number Publication date
CN104599314A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
WO2015188684A1 (zh) 三维模型重建方法与系统
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
EP3242275B1 (en) Using photo collections for three dimensional modeling
CN104680582B (zh) 一种面向对象定制的三维人体模型创建方法
CN103971408B (zh) 三维人脸模型生成系统及方法
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN105184857B (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
Luo et al. Multi-view hair capture using orientation fields
Muratov et al. 3DCapture: 3D Reconstruction for a Smartphone
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
CN106447763A (zh) 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法
CN108648264A (zh) 基于运动恢复的水下场景重建方法及存储介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
KR101454780B1 (ko) 3d 모델의 텍스쳐 생성 방법 및 장치
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN111742352B (zh) 对三维对象进行建模的方法和电子设备
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其系统
CN115205491A (zh) 一种手持多视图三维重建的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15807228

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15807228

Country of ref document: EP

Kind code of ref document: A1