WO2019238114A1 - 动态模型三维重建方法、装置、设备和存储介质 - Google Patents

动态模型三维重建方法、装置、设备和存储介质 Download PDF

Info

Publication number
WO2019238114A1
WO2019238114A1 PCT/CN2019/091224 CN2019091224W WO2019238114A1 WO 2019238114 A1 WO2019238114 A1 WO 2019238114A1 CN 2019091224 W CN2019091224 W CN 2019091224W WO 2019238114 A1 WO2019238114 A1 WO 2019238114A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
color image
model
current frame
reconstruction model
Prior art date
Application number
PCT/CN2019/091224
Other languages
English (en)
French (fr)
Inventor
方璐
刘烨斌
许岚
戴琼海
Original Assignee
清华-伯克利深圳学院筹备办公室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华-伯克利深圳学院筹备办公室 filed Critical 清华-伯克利深圳学院筹备办公室
Publication of WO2019238114A1 publication Critical patent/WO2019238114A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • Embodiments of the present disclosure relate to the field of computer graphics and computer vision technology, for example, to a method, a device, a device, and a storage medium for a three-dimensional reconstruction of a dynamic model.
  • Three-dimensional object dynamic models have been widely used in many fields such as virtual reality and three-dimensional (3D) games. Therefore, three-dimensional reconstruction of object dynamic models is an important issue in the field of image data processing.
  • the dynamic three-dimensional model of the target object reconstructed by using the above three-dimensional reconstruction method generally only includes the structural information of the target object and does not combine other image information, resulting in a poor user experience on the three-dimensional reconstruction of the dynamic model of the target object.
  • the present disclosure provides a method, a device, a device, and a storage medium for a three-dimensional reconstruction of a dynamic model, and provides a user with a good interactive three-dimensional reconstruction experience of a target object dynamic model.
  • a method for three-dimensional reconstruction of a dynamic model includes:
  • the first target object reconstruction model is a target object reconstruction model corresponding to the depth image of the previous frame
  • the second target object reconstruction model is a target object reconstruction model corresponding to the current frame depth image.
  • the pre-color image is at least one frame color image obtained before the current frame color image.
  • an embodiment of the present disclosure further provides a dynamic model three-dimensional reconstruction device.
  • the device includes:
  • An image acquisition module configured to acquire a current frame depth image of a target object and a current frame color image corresponding to the current frame depth image
  • a model acquisition module configured to reconstruct a model using the current frame depth image and a first target object to obtain a second target object reconstruction model
  • a color information determining module configured to determine color information of each vertex in the second target object reconstruction model according to the key frame in the current frame color image and the front color image;
  • the first target object reconstruction model is a target object reconstruction model corresponding to the depth image of the previous frame
  • the second target object reconstruction model is a target object reconstruction model corresponding to the current frame depth image.
  • the pre-color image is at least one frame color image obtained before the current frame color image.
  • an embodiment of the present disclosure further provides a dynamic model 3D reconstruction device, which includes:
  • An image acquisition device configured to acquire a depth image of a target object and a color image corresponding to the depth image
  • One or more processors are One or more processors;
  • Memory set to store one or more programs
  • the one or more programs are executed by the one or more processors such that the one or more processors implement the method as described above.
  • an embodiment of the present disclosure further provides a computer-readable storage medium.
  • a computer program is stored on the storage medium, and when the computer program is executed by a processor, the method described above is implemented.
  • FIG. 1 is a flowchart of a dynamic model 3D reconstruction method in Embodiment 1 of the present disclosure
  • FIG. 2 is a flowchart of a dynamic model 3D reconstruction method in Embodiment 2 of the present disclosure
  • FIG. 3 is a flowchart of a dynamic model 3D reconstruction method in Embodiment 3 of the present disclosure
  • Embodiment 4 is a flowchart of a dynamic model 3D reconstruction method in Embodiment 4 of the present disclosure
  • Embodiment 5 is a flowchart of a dynamic model 3D reconstruction method in Embodiment 5 of the present disclosure
  • FIG. 6 is a schematic structural diagram of a dynamic model three-dimensional reconstruction device according to a sixth embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of a dynamic model 3D reconstruction device in Embodiment 7 of the present disclosure.
  • FIG. 1 is a flowchart of a dynamic model 3D reconstruction method provided by Embodiment 1 of the present disclosure. This embodiment is applicable to a case where a dynamic 3D model of a target object with color information needs to be reconstructed.
  • the method can be 3D reconstructed from the dynamic model.
  • the device is executed, wherein the device may be implemented by software and / or hardware. As shown in Figure 1, the method includes:
  • the depth image is a three-dimensional gray image.
  • the horizontal and vertical coordinates of the depth image correspond to the position of each pixel.
  • the gray value of each pixel represents the distance between the pixel and the camera, that is, each pixel in the depth image. Both can represent a point in space with three-dimensional coordinates. Mapping each pixel point in the depth image to a three-dimensional space can form a set of three-dimensional point clouds corresponding to the motion state of the target object, where the three-dimensional point cloud can be used to construct a target object reconstruction model.
  • the color image is a common red, green, and blue (RGB) color image, which records the color information of the target object.
  • RGB red, green, and blue
  • a depth image and a color image of a target object can be acquired in real time by means of a scanner scanning or a camera shooting.
  • the target object at the current time it corresponds to the current frame depth image and the current frame color image corresponding to the current frame depth image.
  • the color image of the current frame can be completely aligned with the current frame depth image, that is, the pixels in the current frame color image can correspond to the pixels in the current frame depth image one-to-one.
  • the first target object reconstruction model is a target object reconstruction model corresponding to the depth image of the previous frame;
  • the second target object reconstruction model is a target object reconstruction model corresponding to the current frame depth image;
  • the target object reconstruction model reflects its correspondence
  • the current motion state of the target object is composed of at least one vertex, and each vertex may contain position information, where the position information may be determined using a depth image.
  • the feature information recorded in the current frame depth image that can represent the movement of the current target object can be used to reconstruct the target corresponding to the current frame depth image.
  • Object reconstruction model based on the reconstruction model of the target object corresponding to the depth image of the previous frame, the feature information recorded in the current frame depth image that can represent the movement of the current target object can be used to reconstruct the target corresponding to the current frame depth image.
  • the front color image is at least one frame color image obtained before the current frame color image;
  • the key frame is the frame color image that records the key action of the target object when the target object is moving or changing.
  • each vertex of the target object may further include color information. Among them, the color information of each vertex can be determined by using the key frames in the current frame color image and the front color image.
  • the dynamic model three-dimensional reconstruction method obtaineds the current frame depth image of the target object and the current frame color image corresponding to the current frame depth image, and uses the current frame depth image and the target corresponding to the previous frame depth image.
  • Object reconstruction model to obtain the target object reconstruction model corresponding to the current frame depth image, and then according to the key frames in the current frame color image and the front color image, determine each of the target object reconstruction models corresponding to the current frame depth image
  • the color information of each vertex overcomes the shortcomings of the dynamic three-dimensional model of the target object reconstructed by the three-dimensional reconstruction method in the related technology, which only contains the structural information of the target object, and cannot be combined with the color information of the target object, providing a good interactive target for the user. 3D reconstruction experience of dynamic model of objects.
  • acquiring the current frame depth image of the target object and the current frame color image corresponding to the current frame depth image may include:
  • a depth camera is used to obtain the current frame depth image of the target object and the current frame color image corresponding to the current frame depth image.
  • the depth camera is a camera that can directly obtain the physical distance of the target object from the camera in the actual scene, and the camera can simultaneously obtain the depth image and color image of the target object in the actual scene.
  • a depth camera is used to simultaneously acquire the depth image and the color image of the target object, which overcomes the disadvantages of relying on an expensive laser scanner or a multi-camera array system to obtain image information in the related technology, and greatly reduces the collection of image information. Cost, at the same time, the use of depth cameras can also achieve rapid and accurate recognition and tracking of target objects.
  • FIG. 2 is a flowchart of a method for 3D reconstruction of a dynamic model according to a second embodiment of the present disclosure. Based on the above embodiments, this embodiment will determine the color information of each vertex in the second target object reconstruction model according to the key frames in the current frame color image and the front color image, and further optimize it to : Determining a current color image key frame corresponding to the current frame depth image according to whether the current frame color image meets a preset condition; using the current color image key frame and one or more front color image key frames to determine a key frame The color information of each vertex in the second target object reconstruction model; wherein the key frame of the front color image is a key frame determined before the key frame of the current color image. As shown in Figure 2, the method includes:
  • each key frame in the image sequence since each key frame in the image sequence records a key action of the target object, the color image of the current frame may not be a key frame because the information collected is not a key action of the target object. Therefore, the number of key frames in the current frame color image and the front color image is smaller than the total number of the current frame color image and the front color image. Since each depth image corresponds to a target object reconstruction model, in order to use the color information in at least one key frame to determine the color information of each vertex in the target object reconstruction model corresponding to the depth image of the current frame, the current information can be determined first. The key frame of the current color image corresponding to the frame depth image.
  • the color image of the current frame satisfies a preset condition, it is determined that the color image of the current frame corresponding to the current frame depth image is a key frame of the current color image.
  • the current color image corresponding to the image is not a key frame of the current color image.
  • the preset condition may be one or more thresholds of motion parameters of a key action of the target object, or may be a threshold value of a vertex ratio of a covering model.
  • the front color image key frame is a key frame determined before the current color image key frame. After the current color image key frame is determined, the color information of the target object recorded in the current color image key frame and one or more pre-color image key frames can be used to determine the target object reconstruction corresponding to the current frame depth image. Color information for each vertex in the model.
  • the dynamic model three-dimensional reconstruction method obtains a depth image of a target object and a color image corresponding to the depth image, reconstructs a model using a current frame depth image and a target object corresponding to a depth image of a previous frame, and obtains Reconstruction model of the target object corresponding to the current frame depth image, and use key frames to determine the color information of each vertex in the target object reconstruction model corresponding to the current frame depth image, which overcomes the target reconstructed by the 3D reconstruction method in the related technology
  • the dynamic 3D model of the object only contains the structural information of the target object, and cannot be combined with the lack of color information of the target object, which provides users with a good interactive 3D reconstruction model of the target object dynamic model.
  • the current color image key frame and one or more front color image key frames are also used instead of using the current color image key frame to obtain the color information of each vertex in the target object reconstruction model, and the target object reconstruction model is added. Completeness of color information.
  • the method before further determining a key frame of the current color image corresponding to the current frame depth image, the method further includes:
  • the color image is determined to be a color image with motion blur, and the color image with motion blur is removed.
  • the color image with motion blur may be removed before the key frame of the current color image corresponding to the current depth image is determined.
  • the image blur degree calculation method is used to calculate the motion blur degree of the color image. If the calculated motion blur degree of the color image is greater than or equal to a preset blur degree threshold, it is determined that the corresponding color image has motion blur. If the calculated motion blur degree of the color image is less than a preset blur degree threshold, it is determined that the corresponding color image is a valid color image, and the color image is retained at this time.
  • the preset blur degree threshold may be 0.6 to ensure that enough color images with motion blur can be removed.
  • FIG. 3 is a flowchart of a method for 3D reconstruction of a dynamic model according to a third embodiment of the present disclosure. This embodiment is further optimized on the basis of the foregoing embodiments. As shown in Figure 3, the method includes:
  • the number of complete target object model vertices is known, and there are differences according to different target objects, that is, the target objects are different, and the corresponding number of complete target object model vertices is also different.
  • the color image can be perfectly aligned with the depth image, the pixels in the color image can correspond to the pixels in the depth image one by one, and because the depth image can be mapped to a three-dimensional space to form a three-dimensional point cloud with distance information, The color image corresponding to the image can also be mapped to the three-dimensional space to form a set of three-dimensional point clouds with color information.
  • the three-dimensional point cloud can reflect the movement state of the target object, which corresponds to a part of the model vertices of the complete target object model vertex.
  • the color image of the current frame and the front color image may be fused to determine the number of model vertices after fusion.
  • the color image of the current frame can be mapped to a set of three-dimensional point clouds
  • the front color image can be mapped to a plurality of groups of three-dimensional point clouds.
  • any one of a group of three-dimensional point clouds and a plurality of groups of three-dimensional point clouds may correspond to a part of model vertices of a complete target object model vertex.
  • the above-mentioned multiple sets of 3D point clouds are fused with a set of 3D point clouds (the vertices at the same part are regarded as the same vertex, and the relative positions of the vertices at different parts are not changed) to obtain the total number of model vertices, and calculate the corresponding model vertices after fusion
  • the ratio of the number to the known number of vertices of the complete target object model, and the ratio is used as the first ratio.
  • the method for determining the number of model vertices corresponding to the fusion of the key frames of the front color image is the same as the method for determining the number of model vertices corresponding to the fusion of the current frame color image and the front color image.
  • multiple front color image key frames can be mapped into multiple sets of three-dimensional point clouds, and the multiple sets of three-dimensional point clouds are fused to obtain the total number of model vertices, and the number of model vertices corresponding to the fusion is calculated.
  • the ratio of the number to the known number of complete target object model vertices, and the ratio is used as the second ratio.
  • the number of model vertices corresponding to the key frames of the front color image is directly obtained without performing a fusion operation, and the number of model vertices and the known The ratio of the number of vertices in the complete target object model, and this ratio is used as the second ratio.
  • a model integrity judgment basis function may be used to determine a current color image key frame corresponding to the current depth image.
  • the model integrity judgment function expression is as follows:
  • u is the difference between the first ratio and the second ratio, and whether the current color image is a key frame of the current color image can be determined according to the size of u.
  • the difference between the first ratio and the second ratio is greater than a preset threshold, it is determined that the color image of the current frame is a key frame of the current color image corresponding to the current frame depth image; if the first ratio is equal to the second If the difference between the ratios is less than or equal to a preset threshold, it is determined that the key frame of the previous color image is the key frame of the current color image corresponding to the current frame depth image.
  • the preset threshold may be 0.2.
  • the depth image corresponding to the key frame of the current color image is a depth image that can be completely aligned with the key frame of the current color image and has a one-to-one correspondence with pixels.
  • the key frame of the current color image is mapped to a three-dimensional space by using the mapping method of the depth image to obtain a single set of three-dimensional point clouds containing color information.
  • the depth images corresponding to the multiple key frames of the front color image are depth images that can be completely aligned with the key frames of the front color image and the pixels can correspond to each other one by one.
  • a plurality of key frames of the front color image are respectively mapped to the three-dimensional space, and multiple sets of three-dimensional point clouds containing color information are obtained.
  • the above-mentioned multiple groups of three-dimensional point clouds are fused with a single group of three-dimensional point clouds.
  • the vertices of the same part are regarded as the same vertex, and the relative positions of the vertices of different parts are unchanged.
  • Point cloud after information fusion The fused point cloud corresponds to each vertex in the target object reconstruction model corresponding to the current frame depth image.
  • each vertex in the target object reconstruction model corresponding to the current frame depth image is in a one-to-one correspondence with the fused point cloud, and the target object reconstruction model is extracted from the fused point cloud.
  • the color information corresponding to each vertex in the target object is assigned to the corresponding vertex in the reconstruction model of the target object, and the color information of each vertex in the target object reconstruction model is determined in the above manner.
  • the method for 3D reconstruction of a dynamic model determines a current color image key frame by using a model integrity judgment basis, and maps the current color image key frame and the front color image key frame to In 3D space, multiple sets of 3D point clouds containing color information are obtained and fused. Finally, the fused 3D point cloud is used to determine the color information of each vertex in the target object reconstruction model, which provides users with a good interactive target object dynamics.
  • the 3D reconstruction experience of the model not only increases the completeness of the color information of the target object reconstruction model, but also improves the accuracy of the color information in the target object reconstruction model.
  • FIG. 4 is a flowchart of a method for 3D reconstruction of a dynamic model according to a fourth embodiment of the present disclosure.
  • this embodiment will use the current frame depth image and the first target object reconstruction model to obtain a second target object reconstruction model, which is further optimized as: mapping the current frame depth image to a three-dimensional point cloud; Reconstructing a motion parameter corresponding to each vertex on the second target object reconstruction model according to the three-dimensional point cloud and the first target object reconstruction model; reconstructing the three-dimensional point cloud and the first target object Model fusion, so that the first target object reconstruction model includes all points of the three-dimensional point cloud; using the motion parameters, adjusting at least one vertex in the fused first target object reconstruction model to determine the The position of each vertex in the second target object reconstruction model to obtain the second target object reconstruction model, as shown in FIG. 4, the method includes:
  • the current frame depth image can be mapped into a three-dimensional space to form a set of three-dimensional point clouds corresponding to the motion state of the target object.
  • the depth camera Take the depth camera to obtain the current frame depth image and the current frame color image as an example for detailed description.
  • the internal parameter matrix of the depth camera can be obtained, and the current frame depth image is mapped to the three-dimensional space according to the obtained internal parameter matrix to obtain a group Three-dimensional point cloud.
  • mapping formula for mapping using the internal parameter matrix of the depth camera is:
  • u, v are pixel point coordinates
  • d (u, v) is the gray value (or depth value) at the position of the pixel point (u, v) on the depth image. Is the internal parameter matrix of the depth camera.
  • the motion parameters may include non-rigid motion position transformation parameters and object attitude parameters.
  • the current frame depth image is mapped to obtain a three-dimensional point cloud, which corresponds to the current motion state of the target object. Use the relative positional relationship between each of the vertices in the 3D point cloud and the target object reconstruction model corresponding to the previous frame depth image to solve the motion parameters corresponding to each vertex on the target object reconstruction model corresponding to the current frame depth image .
  • the three-dimensional point cloud obtained from the current frame depth image mapping corresponds to the current motion state of the target object
  • the three-dimensional point cloud obtained from the previous frame depth image mapping corresponds to the front motion state of the target object.
  • the 3D point cloud obtained by frame depth image mapping may contain vertex information not included in the target object reconstruction model corresponding to the previous depth image.
  • the 3D point cloud can be fused with the target object reconstruction model corresponding to the previous depth image to reconstruct the target object corresponding to the previous depth image.
  • the model contains all the points in the above-mentioned three-dimensional point cloud, so that the subsequent reconstruction of the target object corresponding to the current frame depth image is more accurate.
  • S450 Use motion parameters to adjust at least one vertex in the fused first target object reconstruction model to determine a position of each vertex in the second target object reconstruction model, and obtain a second target object reconstruction model.
  • each vertex in the reconstruction model of the target object corresponding to the previous depth image after fusion is adjusted by using the motion parameters corresponding to each pair of vertices to determine the corresponding value of the current frame depth image.
  • the dynamic model three-dimensional reconstruction method obtained by this embodiment obtains a current frame depth image of a target object and a current frame color image corresponding to the current frame depth image, and uses the three-dimensional point cloud obtained by mapping the current frame depth image and the previous frame.
  • Reconstruction model of the target object corresponding to the depth image solve the motion parameters corresponding to each vertex on the reconstruction model of the target object corresponding to the current frame depth image, and use the motion parameters to adjust the fusion to correspond to the previous depth image.
  • the corresponding vertex in the target object reconstruction model obtain the target object reconstruction model corresponding to the current frame depth image, and then determine the color information of each vertex in the target object reconstruction model according to the key frames in the acquired color image It overcomes the shortcomings that the dynamic 3D model of the target object reconstructed by the 3D reconstruction method in the related technology only contains the structural information of the target object, but cannot combine the color information of the target object, and provides users with a good interactive 3D reconstruction model of the target object dynamic experience. While improving target weight modeling The accuracy of the structure and attitude.
  • FIG. 5 is a flowchart of a method for 3D reconstruction of a dynamic model provided by Embodiment 5 of the present disclosure. This embodiment is further optimized on the basis of the foregoing embodiments. As shown in Figure 5, the method includes:
  • the 3D point cloud obtained from the current frame depth image mapping may contain vertex information that is not included in the vertices of the target object reconstruction model corresponding to the previous frame depth image. Reconstruction model of the target object corresponding to the frame depth image, and then obtain the reconstruction model of the target object corresponding to the current frame depth image.
  • the 3D point cloud obtained from the current frame depth image mapping can be used to reconstruct the model of the target object corresponding to the previous frame depth image.
  • each vertex in the target object reconstruction model corresponding to the previous frame depth image may be matched one-to-one with the three-dimensional point cloud, and the shared common vertices obtained as the matching point pair.
  • E t is the total energy term
  • E n is the non-rigid motion constraint term
  • E s is the skeleton motion constraint term
  • E g is the local rigid motion constraint term
  • ⁇ n is the same as the non-rigid motion
  • a weight coefficient corresponding to the constraint term, ⁇ s is a weight coefficient corresponding to the skeleton motion constraint term, and ⁇ g is a weight coefficient corresponding to the local rigid motion constraint term;
  • the preset algorithm may be Gauss-Newton method.
  • Gauss-Newton method is used to solve the motion parameter that minimizes the above energy function, as the motion parameter of each matching point in the target object reconstruction model corresponding to the depth image of the previous frame is adjusted (that is, the target object corresponding to the depth frame of the previous frame is adjusted to reconstruct the model Parameters of one or more vertices).
  • the Gauss-Newton method is used to solve the motion parameter that minimizes the energy function, and the motion parameter is used as the motion parameter corresponding to each vertex on the second target object reconstruction model.
  • S570 Use motion parameters to adjust at least one vertex in the fused first target object reconstruction model to determine a position of each vertex in the second target object reconstruction model to obtain a second target object reconstruction model.
  • the dynamic model three-dimensional reconstruction method matches each vertex on the target object reconstruction model corresponding to the previous frame depth image with the three-dimensional point cloud obtained by mapping the current frame depth image.
  • To obtain one or more matching point pairs use the expression of the energy function and one or more constraints to solve the motion parameters used to adjust each matching point pair, and finally use one or more motion parameters to determine the current frame depth image
  • the position of each vertex in the corresponding target object reconstruction model to obtain a target object reconstruction model corresponding to the current frame depth image, which overcomes the dynamic three-dimensional model of the target object reconstructed by the three-dimensional reconstruction method in the related technology and only includes the target object.
  • the structure information of the target object cannot be combined with the lack of color information of the target object, while providing users with a good interactive 3D reconstruction experience of the dynamic model of the target object, and further improving the accuracy of the structure and posture of the target object reconstruction model.
  • FIG. 6 is a schematic structural diagram of a dynamic model 3D reconstruction apparatus provided in Embodiment 6 of the present disclosure. As shown in Figure 6, the device includes:
  • the image acquisition module 610 is configured to acquire a current frame depth image of the target object and a current frame color image corresponding to the current frame depth image;
  • the model acquisition module 620 is configured to reconstruct a model using a current frame depth image and a first target object to obtain a second target object reconstruction model
  • the color information determining module 630 is configured to determine the color information of each vertex in the second target object reconstruction model according to the key frame in the current frame color image and the front color image.
  • the first target object reconstruction model is a target object reconstruction model corresponding to the depth image of the previous frame
  • the second target object reconstruction model is a target object reconstruction model corresponding to the current frame depth image
  • the front color image is the current color image. At least one frame of color image acquired before frame color image.
  • the dynamic model three-dimensional reconstruction device obtains a current frame depth image of a target object and a current frame color image corresponding to the current frame depth image, and uses the current frame depth image and a target corresponding to the previous frame depth image.
  • Object reconstruction model to obtain the target object reconstruction model corresponding to the current frame depth image, and then according to the key frames in the current frame color image and the front color image, determine each of the target object reconstruction models corresponding to the current frame depth image
  • the color information of each vertex overcomes the shortcomings of the dynamic three-dimensional model of the target object reconstructed by the three-dimensional reconstruction method in the related technology, which only contains the structural information of the target object, and cannot be combined with the color information of the target object. 3D reconstruction experience of dynamic models.
  • the color information determination module 630 may include:
  • the current key frame determination sub-module is configured to determine a current color image key frame corresponding to the current frame depth image according to a judgment result of whether the current frame color image meets a preset condition
  • a color information determination sub-module configured to determine color information of each vertex in the second target object reconstruction model by using a current color image key frame and one or more front color image key frames;
  • the key frame of the front color image is a key frame determined before the key frame of the current color image.
  • the current key frame determination sub-module may include:
  • a first ratio calculation unit configured to calculate a first ratio between a number of model vertices corresponding to a current frame color image and a front color image and a number of vertices of a complete target object model
  • a second ratio calculation unit configured to calculate a second ratio of the number of model vertices corresponding to the number of vertices of the complete target object model after fusing multiple key frames of the front color image
  • the current key frame determining unit is configured to determine that the color image of the current frame is the current color image key frame corresponding to the current frame depth image when the difference between the first ratio and the second ratio is greater than a preset threshold; and When the difference between the first ratio and the second ratio is less than or equal to a preset threshold, it is determined that the key frame of the previous color image is the key frame of the current color image corresponding to the current frame depth image.
  • the apparatus may further include:
  • Blur image removal module configured to determine the color image as a color with motion blur when the motion blur degree of the color image is greater than or equal to a preset blur degree threshold before determining the current color image key frame corresponding to the current frame depth image Image, remove color images with motion blur.
  • the color information determination sub-module may include:
  • a single group of three-dimensional point cloud acquisition unit is set to map the current color image key frame to a single group of three-dimensional point cloud using the depth image corresponding to the current color image key frame;
  • Multiple sets of 3D point cloud acquisition units are set to use the depth images corresponding to each key frame of the front color image to map the key frames of the front color image to the 3D space respectively to obtain multiple sets of 3D point cloud containing color information ;
  • the fused point cloud acquisition unit is configured to fuse a single group of three-dimensional point clouds with multiple groups of three-dimensional point clouds to obtain a fused point cloud containing color information;
  • the color information determining unit is configured to extract color information corresponding to each vertex in the weight model of the second target object from the fused point cloud, and assign the color information to the corresponding vertex in the second target object reconstruction model.
  • the model acquisition module 620 may include:
  • 3D point cloud acquisition submodule set to map the current frame depth image to a 3D point cloud
  • the motion parameter solving sub-module is set to reconstruct a model based on the three-dimensional point cloud and the first target object, and solve the motion parameters corresponding to each vertex on the second target object reconstruction model;
  • the 3D point cloud fusion sub-module is configured to fuse the 3D point cloud with the first target object reconstruction model, so that the first target object reconstruction model includes all points of the 3D point cloud;
  • the model acquisition submodule is set to use motion parameters to adjust at least one vertex in the fused first target object reconstruction model to determine the position of each vertex in the second target object reconstruction model to obtain a second target object reconstruction model ;
  • the motion parameters include: non-rigid motion position transformation parameters and object attitude parameters.
  • the motion parameter solving sub-module may include:
  • a matching point pair determination unit configured to match each vertex on the first target object reconstruction model with a three-dimensional point cloud to obtain one or more matching point pairs;
  • the energy function construction unit is set to construct an energy function using non-rigid motion constraints, skeletal motion constraints, and local rigid motion constraints corresponding to each matching point pair, where the motion parameters are independent variables of the energy function;
  • the motion parameter solving unit is configured to solve a motion parameter that minimizes an energy function by using a preset algorithm, and use the motion parameter as a motion parameter corresponding to each vertex on the second target object reconstruction model.
  • the dynamic model three-dimensional reconstruction device provided by the embodiment of the present disclosure can execute the dynamic model three-dimensional reconstruction method provided by any embodiment of the present disclosure, and has function modules and effects corresponding to the execution method.
  • FIG. 7 is a schematic structural diagram of a dynamic model 3D reconstruction device in Embodiment 7 of the present disclosure.
  • FIG. 7 illustrates a block diagram of an exemplary dynamic model three-dimensional reconstruction device 712 suitable for use in implementing embodiments of the present disclosure.
  • the dynamic model three-dimensional reconstruction device 712 shown in FIG. 7 is merely an example, and should not bring any limitation on the functions and use scope of the embodiments of the present disclosure.
  • the dynamic model three-dimensional reconstruction device 712 is expressed in the form of a general-purpose computing device.
  • the components of the dynamic model 3D reconstruction device 712 may include, but are not limited to, one or more processors 716, a memory 728, and a bus 718 connecting different system components (including the memory 728 and the processor 716).
  • the dynamic model 3D The reconstruction device 712 further includes: an image acquisition device 713 configured to acquire a depth image of the target object and a color image corresponding to the depth image.
  • the image acquisition device 713 may be a depth camera, which may be fixed or moved or Rotate; the depth camera can also be mounted on a mobile phone or a wearable helmet.
  • the bus 718 represents one or more of several types of bus structures, including a memory bus or a memory controller, a peripheral bus, a graphics acceleration port, a processor, or a local area bus using any of a variety of bus structures.
  • these architectures include, but are not limited to, the Industry Standard Architecture (ISA) bus, the Micro Channel Architecture (MCA) bus, the enhanced ISA bus, and the Video Electronics Standards Association (VESA) local bus and Peripheral Component Interconnect (PCI) bus.
  • the dynamic model three-dimensional reconstruction device 712 includes a variety of computer system-readable media. These media can be any available media that can be accessed by the dynamic model 3D reconstruction device 712, including volatile and non-volatile media, removable and non-removable media.
  • the memory 728 may include a computer system readable medium in the form of volatile memory, such as a Random Access Memory (RAM) 730 and / or a cache memory 732.
  • the dynamic model 3D reconstruction device 712 may further include other removable / non-removable, volatile / nonvolatile computer system storage media.
  • the storage device 734 may be configured to read and write non-removable, non-volatile magnetic media (not shown in FIG. 7 and is commonly referred to as a “hard drive”).
  • each drive may be connected to the bus 718 through one or more data medium interfaces.
  • the memory 728 may include at least one program product having a set (eg, at least one) of program modules configured to perform the functions of one or more embodiments of the present disclosure.
  • a program / utility tool 740 having a set (at least one) of program modules 742 may be stored in, for example, the memory 728.
  • Such program modules 742 include, but are not limited to, an operating system, one or more application programs, other program modules, and program data Each of these examples, or some combination, may include an implementation of a network environment.
  • the program module 742 generally performs functions and / or methods in the embodiments described in the present disclosure.
  • the dynamic model 3D reconstruction device 712 may also communicate with one or more external devices 714 (such as a keyboard, pointing device, display 724, etc., where the display 724 may decide whether to configure it according to actual needs), and may also communicate with one or more users
  • external devices 714 such as a keyboard, pointing device, display 724, etc., where the display 724 may decide whether to configure it according to actual needs
  • This communication can be performed through an input / output (I / O) interface 722.
  • the dynamic model 3D reconstruction device 712 may also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN), and / or a public network such as the Internet) through the network adapter 720. As shown, the network adapter 720 communicates with other modules of the dynamic model three-dimensional reconstruction device 712 through the bus 718. It should be understood that although not shown in FIG. 7, other hardware and / or software modules may be used in conjunction with the dynamic model 3D reconstruction device 712, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, disks Array (Redundant Arrays of Independent Drives, RAID) systems, tape drives, and data backup storage devices.
  • LAN local area network
  • WAN wide area network
  • a public network such as the Internet
  • the network adapter 720 communicates with other modules of the dynamic model three-dimensional reconstruction device 712 through the bus 718.
  • other hardware and / or software modules may be used in conjunction with the dynamic model 3D reconstruction device
  • the processor 716 executes one or more functional applications and data processing by running a program stored in the memory 728, for example, implementing a dynamic model three-dimensional reconstruction method provided by an embodiment of the present disclosure.
  • the eighth embodiment of the present disclosure provides a computer-readable storage medium on which a computer program is stored.
  • the method for implementing the three-dimensional reconstruction method of the dynamic model provided by the embodiment of the present disclosure includes:
  • the first target object reconstruction model is a target object reconstruction model corresponding to the depth image of the previous frame
  • the second target object reconstruction model is a target object reconstruction model corresponding to the current frame depth image
  • the front color image is the current color image. At least one frame of color image acquired before frame color image.
  • the computer-readable storage medium provided in the embodiment of the present disclosure is not limited to performing the method operations described above, and may also perform the related operations in the dynamic model 3D reconstruction method provided by any embodiment of the present disclosure. operating.
  • the computer storage medium of the embodiment of the present disclosure may adopt any combination of one or more computer-readable media.
  • the computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium.
  • the computer-readable storage medium may be, for example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof.
  • Computer-readable storage media includes (non-exhaustive list): electrical connections with one or more wires, portable computer disks, hard disks, RAM, read-only memory (ROM), erasable programmable memory Erasable Programmable Read Only Memory (EPROM) or flash memory, optical fiber, CD-ROM, optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in combination with an instruction execution system, apparatus, or device.
  • the computer-readable signal medium may include a data signal propagated in baseband or transmitted as part of a carrier wave, which carries a computer-readable program code. Such a propagated data signal may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, and the computer-readable medium may send, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device. .
  • the program code contained on the computer-readable medium may be transmitted using any appropriate medium, including but not limited to wireless, wire, optical fiber cable, radio frequency (RF), etc., or any suitable combination of the foregoing.
  • RF radio frequency
  • Computer program code for performing the operations of the present disclosure may be written in one or more programming languages, or a combination thereof, including programming languages such as Java, Smalltalk, C ++, and also conventional Procedural programming language—such as "C" or similar programming language.
  • the program code can be executed entirely on the user's computer, partly on the user's computer, as an independent software package, partly on the user's computer, partly on a remote computer, or entirely on a remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a LAN or WAN, or it can be connected to an external computer (such as using an Internet service provider to connect over the Internet).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文公开了一种动态模型三维重建方法、装置、设备和存储介质，其中，动态模型三维重建方法包括：获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的每个顶点的颜色信息；其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的至少一帧彩色图像。

Description

动态模型三维重建方法、装置、设备和存储介质
本申请要求在2018年6月14日提交中国专利局、申请号为201810612051.8的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及计算机图形学和计算机视觉技术领域，例如涉及一种动态模型三维重建方法、装置、设备和存储介质。
背景技术
三维物体动态模型在虚拟现实、三维(three-dimensional，3D)游戏等众多领域有广泛的应用，因此，物体动态模型三维重建是图像数据处理领域的一个重要问题。
相关技术中的物体动态模型三维重建方法主要有三种，分别是基于激光扫描的三维重建方法、基于切片的三维重建方法以及基于图像的三维重建方法。利用上述三维重建方法重建出的目标物体动态三维模型一般只包含目标物体结构信息，而没有结合其他的图像信息，导致用户对目标物体动态模型三维重建体验不佳。
发明内容
本公开提供一种动态模型三维重建方法、装置、设备和存储介质，为用户提供了良好的交互式目标物体动态模型三维重建体验。
在一实施例中，本公开实施例提供了一种动态模型三维重建方法，该方法包括：
获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标 物体重建模型中的每个顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的至少一帧彩色图像。
在一实施例中，本公开实施例还提供了一种动态模型三维重建装置，该装置包括：
图像获取模块，设置为获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
模型获取模块，设置为利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
颜色信息确定模块，设置为根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的每个顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的至少一帧彩色图像。
在一实施例中，本公开实施例还提供了一种动态模型三维重建设备，该设备包括：
图像采集装置，设置为采集目标物体的深度图像及与所述深度图像相对应的彩色图像；
一个或多个处理器；
存储器，设置为存储一个或多个程序，
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。
在一实施例中，本公开实施例还提供了一种计算机可读存储介质，该存储介质上上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的方 法。
附图说明
图1是本公开实施例一中的一种动态模型三维重建方法的流程图；
图2是本公开实施例二中的一种动态模型三维重建方法的流程图；
图3是本公开实施例三中的一种动态模型三维重建方法的流程图；
图4是本公开实施例四中的一种动态模型三维重建方法的流程图；
图5是本公开实施例五中的一种动态模型三维重建方法的流程图；
图6是本公开实施例六中的一种动态模型三维重建装置的结构示意图；
图7是本公开实施例七中的一种动态模型三维重建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的说明。可以理解的是，此处所描述的实施例仅仅用于解释本公开，而非对本公开的限定。为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
实施例一
图1为本公开实施例一提供的一种动态模型三维重建方法的流程图，本实施例可适用于需要重建带有颜色信息的目标物体动态三维模型的情况，该方法可以由动态模型三维重建装置来执行，其中该装置可由软件和/或硬件实现。如图1所示，该方法包括：
S110、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
其中，深度图像为三维灰度图像，深度图像的水平垂直坐标对应每个像素点的位置，每个像素点的灰度值表征该像素点距离摄像头的远近，即深度图像中的每个像素点都可以表示空间中的一个具有三维坐标的点。将深度图像中的 每个像素点映射到三维空间中，可以形成与目标物体的运动状态相对应的一组三维点云，其中三维点云可以用于构建目标物体重建模型。彩色图像为普通红绿蓝颜色标准(red green blue，RGB)彩色图像，其记录了目标物体的颜色信息。
本实施例中，可以利用扫描仪扫描或相机拍摄的方式实时的获取目标物体的深度图像和彩色图像。对于当前时刻的目标物体，其对应当前帧深度图像以及与当前帧深度图像相对应的当前帧彩色图像。其中，当前帧彩色图像能够与当前帧深度图像完全对齐，即当前帧彩色图像中的像素点能够与当前帧深度图像中的像素点一一对应。
S120、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型；第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型；目标物体重建模型反映与其对应的目标物体的当前运动状态，其由至少一个顶点构成，每个顶点可以包含位置信息，其中位置信息可以利用深度图像确定。
本实施例中，在上一帧深度图像对应的目标物体重建模型的基础上，可以利用当前帧深度图像记录的能够表征当前目标物体运动的特征信息，重新构建与当前帧深度图像相对应的目标物体重建模型。
S130、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的每个顶点的颜色信息。
其中，前置彩色图像为在当前帧彩色图像之前获取到的至少一帧彩色图像；关键帧为当目标物体在运动或变化时，记录目标物体关键动作的那一帧彩色图像。本实施例中，目标物体的每个顶点还可以包含颜色信息。其中，每个顶点 的颜色信息可以利用当前帧彩色图像与前置彩色图像中的关键帧确定。
本实施例提供的动态模型三维重建方法，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，再根据当前帧彩色图像与前置彩色图像中的关键帧，确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的颜色信息，克服了相关技术中的三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。
在上述技术方案的基础上，进一步的，获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，可以包括：
利用深度相机获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
其中，深度相机为可以直接获取实际场景中目标物体距离摄像头物理距离的相机，该相机可以同时获取实际场景中目标物体的深度图像和彩色图像。本实施例中，利用深度相机同时获取目标物体的深度图像和彩色图像，克服了相关技术中依赖价格昂贵的激光扫描仪或者多相机阵列系统来获取图像信息的不足，大大降低了图像信息的采集成本，同时，利用深度相机还能够实现快速准确的对目标物体的识别与追踪。
实施例二
图2是本公开实施例二提供的一种动态模型三维重建方法的流程图。本实 施例在上述实施例的基础上，将根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的每个顶点的颜色信息，进一步优化为：根据当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；利用所述当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定所述第二目标物体重建模型中的每个顶点的颜色信息；其中，所述前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的关键帧。如图2所示，该方法包括：
S210、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S220、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
S230、根据当前帧彩色图像是否满足预设条件，确定与当前帧深度图像相对应的当前彩色图像关键帧。
本实施例中，由于图像序列中的每个关键帧记录的是目标物体的关键动作，当前帧彩色图像可能会由于其采集到的信息不是目标物体的关键动作，导致其并不是关键帧。因此，当前帧彩色图像和前置彩色图像中的关键帧的数目小于当前帧彩色图像和前置彩色图像的总数目。又由于每个深度图像对应一个目标物体重建模型，为了利用至少一个关键帧中的颜色信息，确定与当前帧深度图像相对应的目标物体重建模型中每个顶点的颜色信息，可以先确定与当前帧深度图像相对应的当前彩色图像关键帧。其中，如果当前帧彩色图像满足预设条件，则确定与当前帧深度图像相对应的当前帧彩色图像为当前彩色图像关键帧，如果当前帧彩色图像不能满足预设条件，则确定与当前帧深度图像相对应的当 前帧彩色图像不是当前彩色图像关键帧。其中，预设条件可以是目标物体关键动作的一个或多个运动参数阈值，也可以是覆盖模型顶点比例阈值等。
S240、利用当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定第二目标物体重建模型中的每个顶点的颜色信息。
其中，前置彩色图像关键帧为在当前彩色图像关键帧之前确定的关键帧。在上述确定了当前彩色图像关键帧之后，可以利用当前彩色图像关键帧和一个或多个前置彩色图像关键帧中记录的目标物体的颜色信息，确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的颜色信息。
本实施例提供的动态模型三维重建方法，通过获取目标物体的深度图像及与深度图像相对应的彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，并利用关键帧确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的颜色信息，克服了相关技术中三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。此外，还利用当前彩色图像关键帧和一个或多个前置彩色图像关键帧，而不是仅利用当前彩色图像关键帧，获取目标物体重建模型中每个顶点的颜色信息，增加了目标物体重建模型的颜色信息的完整性。
在上述实施例的基础上，进一步的，在确定与当前帧深度图像相对应的当前彩色图像关键帧之前，还包括：
当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定彩色图像为具有运动模糊的彩色图像，去除具有运动模糊的彩色图像。
在确定关键帧的过程中，为了减少计算量和加快模型重建速度，可以在确定与当前深度图像相对应的当前彩色图像关键帧之前，将具有运动模糊的彩色图像去除。在一实施例中，利用图像模糊程度计算方法计算彩色图像的运动模糊程度，若计算出的彩色图像的运动模糊程度大于或等于预设模糊程度阈值，则确定相对应的彩色图像为具有运动模糊的彩色图像，此时去除该彩色图像；若计算出的彩色图像的运动模糊程度小于预设模糊程度阈值，则确定相对应的彩色图像为有效的彩色图像，此时保留该彩色图像。在一实施例中，预设模糊程度阈值可以是0.6，以保证能够去除足够多的具有运动模糊的彩色图像。
实施例三
图3是本公开实施例三提供的一种动态模型三维重建方法的流程图。本实施例在上述实施例的基础上进一步优化。如图3所示，该方法包括：
S310、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S320、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
S330、计算当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值。
其中，完整的目标物体模型顶点个数为确定已知的，其根据目标物体的不同存在差异，即目标物体不同，其对应的完整的目标物体模型顶点个数也是不同的。由于彩色图像能够与深度图像完全对齐，彩色图像中的像素点能够与深度图像中的像素点一一对应，又由于深度图像可以映射到三维空间形成具有距 离信息的三维点云，因此，与深度图像相对应的彩色图像也同样能够映射到三维空间形成具有颜色信息的一组三维点云。其中，三维点云可以反映目标物体的运动状态，其对应完整的目标物体模型顶点中的部分模型顶点。
本实施例中，可以将当前帧彩色图像与前置彩色图像进行融合，以确定融合后的模型顶点个数。在一实施例中，可以将当前帧彩色图像映射为一组三维点云，将前置彩色图像映射为多组三维点云。在一实施例中，一组三维点云与多组三维点云中的任意一组都可以对应完整的目标物体模型顶点中的部分模型顶点。将上述多组三维点云与一组三维点云进行融合(相同部位的顶点视为同一顶点，不同部位的顶点相对位置不变)得到总的模型顶点个数，计算融合后对应的模型顶点个数与已知的完整的目标物体模型顶点个数的比值，并将该比值作为第一比值。
S340、计算将多个前置彩色图像关键帧融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第二比值。
本实施例中，确定多个前置彩色图像关键帧融合后对应的模型顶点个数的方法，与上述确定当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数的方法相同。在一实施例中，可以将多个前置彩色图像关键帧映射为多组三维点云，并将该多组三维点云进行融合得到总的模型顶点个数，计算融合后对应的模型顶点个数与已知的完整的目标物体模型顶点个数的比值，并将该比值作为第二比值。在一实施例中，若前置彩色图像关键帧的数量为一个，则不用进行融合操作，直接获取前置彩色图像关键帧对应的模型顶点个数，并计算该模型顶点个数与已知的完整的目标物体模型顶点个数的比值，并将该比值作为第二比值。
S350、若第一比值与第二比值的差值大于预设阈值，则确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；若第一比值与第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。
本实施例中，可以利用模型完整性判断依据函数来确定与当前深度图像相对应的当前彩色图像关键帧。其中，模型完整性判断依据函数表达式如下：
Figure PCTCN2019091224-appb-000001
其中，
Figure PCTCN2019091224-appb-000002
为第一比值；
Figure PCTCN2019091224-appb-000003
为第二比值；u为第一比值与第二比值之间的差值，依据u的大小可以确定当前帧彩色图像是否是当前彩色图像关键帧。
在一实施例中，若第一比值与第二比值的差值大于预设阈值，则确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；若第一比值与第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。在一实施例中，预设阈值可以是0.2。
S360、利用当前彩色图像关键帧对应的深度图像，将当前彩色图像关键帧映射为包含颜色信息的单组三维点云。
其中，当前彩色图像关键帧对应的深度图像，为能够与当前彩色图像关键帧完全对齐，并且像素点能够一一对应的深度图像。利用该深度图像的映射方式将当前彩色图像关键帧映射到三维空间，得到包含颜色信息的单组三维点云。
S370、利用多个前置彩色图像关键帧分别对应的深度图像，将多个前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云。
其中，多个前置彩色图像关键帧分别对应的深度图像，为能够分别与多个前置彩色图像关键帧完全对齐，并且像素点能够一一对应的深度图像。利用每 个深度图像的映射方式将多个前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云。
S380、将单组三维点云与多组三维点云进行融合，得到包含颜色信息的融合后的点云。
本实施例中，将上述多组三维点云与单组三维点云进行融合，在一实施例中，将相同部位的顶点视为同一顶点，不同部位的顶点相对位置不变，最终得到包含颜色信息的融合后的点云。其中，融合后的点云和当前帧深度图像对应的目标物体重建模型中的每个顶点相对应。
S390、从融合后的点云中提取与第二目标物体重建模型中的每个顶点相对应的颜色信息，并将颜色信息赋予第二目标物体重建模型中相应的顶点。
本实施例中，将与当前帧深度图像相对应的目标物体重建模型中的每个顶点与融合后的点云进行一一对应，并从融合后的点云中提取出与该目标物体重建模型中的每个顶点相对应的颜色信息，赋予该目标物体重建模型中相应的顶点，利用上述方式确定该目标物体重建模型中的每个顶点的颜色信息。
本实施例提供的动态模型三维重建方法，在上述实施例的基础上，通过利用模型完整性判断依据来确定当前彩色图像关键帧，并将当前彩色图像关键帧和前置彩色图像关键帧映射到三维空间，获得多组包含颜色信息的三维点云并融合，最终利用融合后的三维点云确定目标物体重建模型中的每个顶点的颜色信息，在为用户提供了良好的交互式目标物体动态模型三维重建体验，增加目标物体重建模型的颜色信息的完整性的同时，提高了目标物体重建模型中颜色信息的准确性。
实施例四
图4是本公开实施例四提供的一种动态模型三维重建方法的流程图。本实施例在上述实施例的基础上，将利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型，进一步优化为：将所述当前帧深度图像映射为三维点云；根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的每个顶点所对应的运动参数；将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；利用所述运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定所述第二目标物体重建模型中的每个顶点的位置，获得所述第二目标物体重建模型，如图4所示，该方法包括：
S410、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S420、将当前帧深度图像映射为三维点云。
本实施例中，可以将当前帧深度图像映射到三维空间中，形成与目标物体的运动状态相对应的一组三维点云。以采用深度相机获取当前帧深度图像和当前帧彩色图像为例进行详细说明，具体的：可以获取深度相机的内参矩阵，根据获取到的内参矩阵将当前帧深度图像映射到三维空间中得到一组三维点云。
其中，利用深度相机的内参矩阵进行映射的映射公式为：
Figure PCTCN2019091224-appb-000004
其中，u,v为像素点坐标，d(u,v)为深度图像上像素点(u,v)位置处的灰度值(或深度值)，所述
Figure PCTCN2019091224-appb-000005
为深度相机内参矩阵。
S430、根据三维点云和第一目标物体重建模型，求解第二目标物体重建模 型上的每个顶点所对应的运动参数。
其中，运动参数可以包括非刚性运动位置变换参数和物体姿态参数。将当前帧深度图像进行映射得到三维点云，该三维点云与目标物体的当前运动状态相对应。利用上述三维点云与上一帧深度图像对应的目标物体重建模型中的每个顶点的相对位置关系，求解与当前帧深度图像相对应的目标物体重建模型上的每个顶点所对应的运动参数。
S440、将三维点云与第一目标物体重建模型进行融合，以使第一目标物体重建模型包括三维点云的所有点。
本实施例中，由当前帧深度图像映射得到的三维点云对应目标物体的当前运动状态，而由上一帧深度图像映射得到的三维点云对应目标物体的前置运动状态，因此，由当前帧深度图像映射得到的三维点云可能包含上一帧深度图像对应的目标物体重建模型没有包含的顶点信息。为了利用当前帧深度图像获取更加完整的目标物体重建模型的顶点信息，可以将三维点云与上一帧深度图像对应的目标物体重建模型进行融合，以使上一帧深度图像对应的目标物体重建模型包含上述三维点云中的所有点，以便后续重建出的与当前帧深度图像相对应的目标物体重建模型更加精确。
S450、利用运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定第二目标物体重建模型中的每个顶点的位置，获得第二目标物体重建模型。
在一实施例中，利用与每个顶点对相对应的运动参数，分别调整融合后的上一帧深度图像对应的目标物体重建模型中的每个顶点，以确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的具体位置，进而获得与当前帧 深度图像相对应的目标物体重建模型。
S460、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的每个顶点的颜色信息。
本实施例提供的动态模型三维重建方法，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像映射得到的三维点云和与上一帧深度图像相对应的目标物体重建模型，求解与当前帧深度图像相对应的目标物体重建模型上的每个顶点所对应的运动参数，并利用运动参数调整融合后的与上一帧深度图像相对应的目标物体重建模型中相应的顶点，获得与当前帧深度图像相对应的目标物体重建模型，再根据获取到的彩色图像中的关键帧，确定该目标物体重建模型中的每个顶点的颜色信息，克服了相关技术中三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验的同时，提高了目标物体重建模型的结构和姿态的准确性。
实施例五
图5是本公开实施例五提供的一种动态模型三维重建方法的流程图。本实施例在上述实施例的基础上进一步优化。如图5所示，该方法包括：
S510、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S520、将当前帧深度图像映射为三维点云。
S530、将第一目标物体重建模型上的每个顶点与三维点云进行匹配，得到 一个或多个匹配点对。
本实施例中，由当前帧深度图像映射得到的三维点云可能包含上一帧深度图像对应的目标物体重建模型中的顶点没有包含的顶点信息，为了利用当前帧深度图像的特征信息调整上一帧深度图像对应的目标物体重建模型，进而获得与当前帧深度图像相对应的目标物体重建模型，可以借助由当前帧深度图像映射得到的三维点云与上一帧深度图像对应的目标物体重建模型中的所有顶点之间的共有顶点。在一实施例中，可以将上一帧深度图像对应的目标物体重建模型中的每个顶点与三维点云进行一一匹配，将匹配得到的共有顶点作为匹配点对。
S540、利用与每个匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，运动参数为所述能量函数的自变量。
其中，所述能量函数的表达式如下：
E t＝λ nE n+λ sE s+λ gE g
其中，E t为总能量项，E n为所述非刚性运动约束项，E s为所述骨架运动约束项，E g为所述局部刚性运动约束项，λ n为与所述非刚性运动约束项相对应的权重系数，λ s为与所述骨架运动约束项相对应的权重系数，λ g为与所述局部刚性运动约束项相对应的权重系数；
其中，所述非刚性运动约束项的表达式为：
Figure PCTCN2019091224-appb-000006
所述骨架运动约束项的表达式为：
Figure PCTCN2019091224-appb-000007
所述局部刚性运动约束项的表达式为：
Figure PCTCN2019091224-appb-000008
其中，
Figure PCTCN2019091224-appb-000009
表示经过非刚性运动驱动后，所述第二目标物体重建模型的顶点坐标，
Figure PCTCN2019091224-appb-000010
表示与经过非刚性运动驱动后的顶点坐标相对应的法向，u i表示同一匹配点对中所述三维点云的位置坐标，v i表示同一匹配点对中所述第一目标物体重建模型的顶点坐标，c i表示所述匹配点对集合中的第i个元素；
Figure PCTCN2019091224-appb-000011
表示经过物体骨架运动驱动后，所述第二目标物体重建模型的顶点坐标，
Figure PCTCN2019091224-appb-000012
表示与经过物体骨架运动驱动后的顶点坐标相对应的法向；在局部刚性运动约束项E g中，k表示所述第一目标物体重建模型上的第k个顶点，
Figure PCTCN2019091224-appb-000013
表示所述第一目标物体重建模型上第k个顶点周围的邻近顶点的集合，
Figure PCTCN2019091224-appb-000014
表示局部刚性运动对所述第一目标物体重建模型表面顶点v k的驱动作用，
Figure PCTCN2019091224-appb-000015
表示局部刚性运动对所述第一目标物体重建模型表面顶点v j的驱动作用，
Figure PCTCN2019091224-appb-000016
表示作用在v k上的局部刚性运动作用在v j上的位置变换效果，
Figure PCTCN2019091224-appb-000017
表示作用在v j上的局部刚性运动作用在v j上的位置变换效果，
Figure PCTCN2019091224-appb-000018
表示
Figure PCTCN2019091224-appb-000019
与
Figure PCTCN2019091224-appb-000020
之间差值的范数。
S550、利用预设算法求解使能量函数最小的运动参数。
在一实施例中，预设算法可以是高斯牛顿法。利用高斯牛顿法求解使上述能量函数最小的运动参数，作为调整上一帧深度图像对应的目标物体重建模型中的每个匹配点的运动参数(即调整上一帧深度图像对应的目标物体重建模型中的一个或多个顶点的运动参数)。在一实施例中，利用高斯牛顿法求解使所述能量函数最小的所述运动参数，将所述运动参数作为所述第二目标物体重建模型上的每个顶点所对应的运动参数。
S560、将三维点云与第一目标物体重建模型进行融合，以使第一目标物体 重建模型包括三维点云的所有点。
S570、利用运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定第二目标物体重建模型中的每个顶点的位置，获得第二目标物体重建模型。
S580、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的每个顶点的颜色信息。
本实施例提供的动态模型三维重建方法，在上述实施例的基础上，通过将上一帧深度图像对应的目标物体重建模型上的每个顶点与当前帧深度图像映射得到的三维点云进行匹配，得到一个或多个匹配点对，利用能量函数的表达式以及一个或多个约束项求解用于调整每个匹配点对的运动参数，最终利用一个或多个运动参数确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的位置，获得与当前帧深度图像相对应的目标物体重建模型，克服了相关技术中的三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验的同时，进一步提高了目标物体重建模型的结构和姿态的准确性。
实施例六
图6为本公开实施例六提供的一种动态模型三维重建装置的结构示意图。如图6所示，该装置包括：
图像获取模块610，设置为获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；
模型获取模块620，设置为利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
颜色信息确定模块630，设置为根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的每个顶点的颜色信息。
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的至少一帧彩色图像。
本实施例提供的动态模型三维重建装置，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，再根据当前帧彩色图像与前置彩色图像中的关键帧，确定与当前帧深度图像相对应的目标物体重建模型中的每个顶点的颜色信息，克服了相关技术中三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。
在一实施例中，颜色信息确定模块630可以包括：
当前关键帧确定子模块，设置为根据当前帧彩色图像是否满足预设条件的判断结果，确定与当前帧深度图像相对应的当前彩色图像关键帧；
颜色信息确定子模块，设置利用当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定第二目标物体重建模型中的每个顶点的颜色信息；
其中，所述前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的关键帧。
在一实施例中，当前关键帧确定子模块可以包括：
第一比值计算单元，设置为计算当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
第二比值计算单元，设置为计算将多个前置彩色图像关键帧融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第二比值；
当前关键帧确定单元，设置为在第一比值与第二比值的差值大于预设阈值的情况下，确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；以及在第一比值与第二比值的差值小于或等于预设阈值的情况下，确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。
在一实施例中，该装置还可以包括：
模糊图像去除模块，设置为在确定与当前帧深度图像相对应的当前彩色图像关键帧之前，当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定彩色图像为具有运动模糊的彩色图像，去除具有运动模糊的彩色图像。
在一实施例中，颜色信息确定子模块可以包括：
单组三维点云获取单元，设置为利用当前彩色图像关键帧对应的深度图像，将当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
多组三维点云获取单元，设置为利用每个前置彩色图像关键帧分别对应的深度图像，将多个前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云；
融合点云获取单元，设置为将单组三维点云与多组三维点云进行融合，得到包含颜色信息的融合后的点云；
颜色信息确定单元，设置为从融合后的点云中提取与第二目标物体重建模 型中的每个顶点相对应的颜色信息，并将颜色信息赋予第二目标物体重建模型中相应的顶点。
在一实施例中，模型获取模块620可以包括：
三维点云获取子模块，设置为将当前帧深度图像映射为三维点云；
运动参数求解子模块，设置为根据三维点云和第一目标物体重建模型，求解第二目标物体重建模型上的每个顶点所对应的运动参数；
三维点云融合子模块，设置为将三维点云与第一目标物体重建模型进行融合，以使第一目标物体重建模型包括三维点云的所有点；
模型获取子模块，设置为利用运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定第二目标物体重建模型中的每个顶点的位置，获得第二目标物体重建模型；
其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
在一实施例中，运动参数求解子模块可以包括：
匹配点对确定单元，设置为将第一目标物体重建模型上的每个顶点与三维点云进行匹配，得到一个或多个匹配点对；
能量函数构造单元，设置为利用与每个匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，运动参数为能量函数的自变量；
运动参数求解单元，设置为利用预设算法求解使能量函数最小的运动参数，将所述运动参数作为所述第二目标物体重建模型上的每个顶点所对应的运动参数。
本公开实施例所提供的动态模型三维重建装置可执行本公开任意实施例所 提供的动态模型三维重建方法，具备执行方法相应的功能模块和效果。
实施例七
图7是本公开实施例七中的动态模型三维重建设备的结构示意图。图7示出了适于用来实现本公开实施方式的示例性动态模型三维重建设备712的框图。图7显示的动态模型三维重建设备712仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，动态模型三维重建设备712以通用计算设备的形式表现。动态模型三维重建设备712的组件可以包括但不限于：一个或者多个处理器716，存储器728，连接不同系统组件(包括存储器728和处理器716)的总线718，除此之外，动态模型三维重建设备712还包括：图像采集装置713，设置为采集目标物体的深度图像及与深度图像相对应的彩色图像，图像采集装置713可以是深度相机，该深度相机可以固定不动，也可以移动或旋转；该深度相机还可以安装在手机或可穿戴式头盔上。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry Standard Architecture，ISA)总线，微通道体系结构(MicroChannel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
动态模型三维重建设备712包括多种计算机系统可读介质。这些介质可以 是任何能够被动态模型三维重建设备712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)730和/或高速缓存存储器732。动态模型三维重建设备712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置734可以设置为读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开一个或多个实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本公开所描述的实施例中的功能和/或方法。
动态模型三维重建设备712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等，其中，显示器724可根据实际需求决定是否配置)通信，还可与一个或者多个使得用户能与该动态模型三维重建设备712交互的 设备通信，和/或与使得该动态模型三维重建设备712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口722进行。并且，动态模型三维重建设备712还可以通过网络适配器720与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与动态模型三维重建设备712的其它模块通信。应当明白，尽管图7中未示出，可以结合动态模型三维重建设备712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Drives，RAID)系统、磁带驱动器以及数据备份存储装置等。
处理器716通过运行存储在存储器728中的程序，从而执行一种或多种功能应用以及数据处理，例如实现本公开实施例所提供的动态模型三维重建方法。
实施例八
本公开实施例八提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所提供的动态模型三维重建方法，包括：
获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；
利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建 模型中的每个顶点的颜色信息；
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的至少一帧彩色图像。
当然，本公开实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于执行如上所述的方法操作，还可以执行本公开任意实施例所提供的动态模型三维重建方法中的相关操作。
本公开实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质包括(非穷举的列表)：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)或闪存、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

Claims (18)

  1. 一种动态模型三维重建方法，包括：
    获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
    利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
    根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的每个顶点的颜色信息；
    其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的至少一帧彩色图像。
  2. 根据权利要求1所述的方法，其中，根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的每个顶点的颜色信息，包括：
    根据所述当前帧彩色图像是否满足预设条件的判断结果，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；
    利用所述当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定所述第二目标物体重建模型中的每个顶点的颜色信息；
    其中，所述前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的关键帧。
  3. 根据权利要求2所述的方法，其中，根据所述当前帧彩色图像是否满足预设条件的判断结果，确定与所述当前帧深度图像相对应的当前彩色图像关键 帧，包括：
    计算所述当前帧彩色图像与所述前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
    计算将所述多个前置彩色图像关键帧融合后对应的模型顶点个数与所述完整的目标物体模型顶点个数的第二比值；
    在所述第一比值与所述第二比值的差值大于预设阈值的情况下，确定当前帧彩色图像为与所述当前帧深度图像相对应的当前彩色图像关键帧；
    在所述第一比值与所述第二比值的差值小于或等于所述预设阈值的情况下，确定上一帧彩色图像关键帧为与所述当前帧深度图像相对应的当前彩色图像关键帧。
  4. 根据权利要求2所述的方法，在确定与所述当前帧深度图像相对应的当前彩色图像关键帧之前，还包括：
    在彩色图像的运动模糊程度大于或等于预设模糊程度阈值的情况下，确定所述彩色图像为具有运动模糊的彩色图像，去除所述具有运动模糊的彩色图像。
  5. 根据权利要求2所述的方法，其中，利用所述当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定所述第二目标物体重建模型中的每个顶点的颜色信息，包括：
    利用所述当前彩色图像关键帧对应的深度图像，将所述当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
    利用所述多个前置彩色图像关键帧分别对应的深度图像，将所述多个前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云；
    将所述单组三维点云与所述多组三维点云进行融合，得到包含颜色信息的 融合后的点云；
    从所述融合后的点云中提取与所述第二目标物体重建模型中的每个顶点相对应的颜色信息，并将所述颜色信息赋予所述第二目标物体重建模型中相应的顶点。
  6. 根据权利要求1所述的方法，其中，利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型，包括：
    将所述当前帧深度图像映射为三维点云；
    根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的每个顶点所对应的运动参数；
    将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；
    利用所述运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定所述第二目标物体重建模型中的每个顶点的位置，获得所述第二目标物体重建模型；
    其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
  7. 根据权利要求6所述的方法，其中，根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的每个顶点所对应的运动参数，包括：
    将所述第一目标物体重建模型上的每个顶点与所述三维点云进行匹配，得到一个或多个匹配点对；
    利用与每个匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，所述运动参数为所述能量函数的自变量；
    利用预设算法求解使所述能量函数最小的所述运动参数，将所述运动参数作为所述第二目标物体重建模型上的每个顶点所对应的运动参数。
  8. 根据权利要求7所述的方法，其中，所述能量函数的表达式如下：
    E t＝λ nE n+λ sE s+λ gE g
    其中，E t为总能量项，E n为所述非刚性运动约束项，E s为所述骨架运动约束项，E g为所述局部刚性运动约束项，λ n为与所述非刚性运动约束项相对应的权重系数，λ s为与所述骨架运动约束项相对应的权重系数，λ g为与所述局部刚性运动约束项相对应的权重系数；
    其中，所述非刚性运动约束项的表达式为：
    Figure PCTCN2019091224-appb-100001
    所述骨架运动约束项的表达式为：
    Figure PCTCN2019091224-appb-100002
    所述局部刚性运动约束项的表达式为：
    Figure PCTCN2019091224-appb-100003
    其中，
    Figure PCTCN2019091224-appb-100004
    表示经过非刚性运动驱动后，所述第二目标物体重建模型的顶点坐标，
    Figure PCTCN2019091224-appb-100005
    表示与经过非刚性运动驱动后的顶点坐标相对应的法向，u i表示同一匹配点对中所述三维点云的位置坐标，v i表示同一匹配点对中所述第一目标物体重建模型的顶点坐标，c i表示所述匹配点对集合中的第i个元素；
    Figure PCTCN2019091224-appb-100006
    表示经过物体骨架运动驱动后，所述第二目标物体重建模型的顶点坐标，
    Figure PCTCN2019091224-appb-100007
    表示与经过物体骨架运动驱动后的顶点坐标相对应的法向；在局部刚性运动约束项E g中，k表示所述第一目标物体重建模型上的第k个顶点，
    Figure PCTCN2019091224-appb-100008
    表示所述第一目标物体重建模型 上第k个顶点周围的邻近顶点的集合，
    Figure PCTCN2019091224-appb-100009
    表示局部刚性运动对所述第一目标物体重建模型表面顶点v k的驱动作用，
    Figure PCTCN2019091224-appb-100010
    表示局部刚性运动对所述第一目标物体重建模型表面顶点v j的驱动作用，
    Figure PCTCN2019091224-appb-100011
    表示作用在v k上的局部刚性运动作用在v j上的位置变换效果，
    Figure PCTCN2019091224-appb-100012
    表示作用在v j上的局部刚性运动作用在v j上的位置变换效果，
    Figure PCTCN2019091224-appb-100013
    表示
    Figure PCTCN2019091224-appb-100014
    与
    Figure PCTCN2019091224-appb-100015
    之间差值的范数。
  9. 根据权利要求1所述的方法，其中，所述获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像，包括：
    利用深度相机获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像。
  10. 一种动态模型三维重建装置，包括：
    图像获取模块，设置为获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
    模型获取模块，设置为利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
    颜色信息确定模块，设置为根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的每个顶点的颜色信息；
    其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的至少一帧彩色图像。
  11. 根据权利要求10所述的装置，其中，所述颜色信息确定模块包括：
    当前关键帧确定子模块，设置为根据所述当前帧彩色图像是否满足预设条 件的判断结果，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；
    颜色信息确定子模块，设置为利用所述当前彩色图像关键帧和一个或多个前置彩色图像关键帧确定所述第二目标物体重建模型中的每个顶点的颜色信息；
    其中，所述前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的关键帧。
  12. 根据权利要求11所述的装置，其中，所述当前关键帧确定子模块包括：
    第一比值计算单元，设置为计算所述当前帧彩色图像与所述前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
    第二比值计算单元，设置为计算将所述多个前置彩色图像关键帧融合后对应的模型顶点个数与所述完整的目标物体模型顶点个数的第二比值；
    当前关键帧确定单元，设置为在所述第一比值与所述第二比值的差值大于预设阈值的情况下，确定当前帧彩色图像为与所述当前帧深度图像相对应的当前彩色图像关键帧；以及在所述第一比值与所述第二比值的差值小于或等于所述预设阈值的情况下，确定上一帧彩色图像关键帧为与所述当前帧深度图像相对应的当前彩色图像关键帧。
  13. 根据权利要求11所述的装置，还包括：
    模糊图像去除模块，设置为在确定与所述当前帧深度图像相对应的当前彩色图像关键帧之前，在彩色图像的运动模糊程度大于或等于预设模糊程度阈值的情况下，确定所述彩色图像为具有运动模糊的彩色图像，去除所述具有运动模糊的彩色图像。
  14. 根据权利要求11所述的装置，其中，所述颜色信息确定子模块包括：
    单组三维点云获取单元，设置为利用所述当前彩色图像关键帧对应的深度 图像，将所述当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
    多组三维点云获取单元，设置为利用所述多个前置彩色图像关键帧分别对应的深度图像，将所述多个前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云；
    融合点云获取单元，设置为将所述单组三维点云与所述多组三维点云进行融合，得到包含颜色信息的融合后的点云；
    颜色信息确定单元，设置为从所述融合后的点云中提取与所述第二目标物体重建模型中的每个顶点相对应的颜色信息，并将所述颜色信息赋予所述第二目标物体重建模型中相应的顶点。
  15. 根据权利要求10所述的装置，其中，所述模型获取模块包括：
    三维点云获取子模块，设置为将所述当前帧深度图像映射为三维点云；
    运动参数求解子模块，设置为根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的每个顶点所对应的运动参数；
    三维点云融合子模块，设置为将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；
    模型获取子模块，设置为利用所述运动参数，调整融合后的第一目标物体重建模型中的至少一个顶点，以确定所述第二目标物体重建模型中的每个顶点的位置，获得所述第二目标物体重建模型；
    其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
  16. 根据权利要求15所述的装置，其中，所述运动参数求解子模块包括：
    匹配点对确定单元，设置为将所述第一目标物体重建模型上的每个顶点与所述三维点云进行匹配，得到一个或多个匹配点对；
    能量函数构造单元，设置为利用与每个匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，所述运动参数为所述能量函数的自变量；
    运动参数求解单元，设置为利用预设算法求解使所述能量函数最小的所述运动参数，将所述运动参数作为所述第二目标物体重建模型上的每个顶点所对应的运动参数。
  17. 一种动态模型三维重建设备，包括：
    图像采集装置，设置为采集目标物体的深度图像及与所述深度图像相对应的彩色图像；
    一个或多个处理器；
    存储器，设置为存储一个或多个程序，
    所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。
  18. 一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
PCT/CN2019/091224 2018-02-05 2019-06-14 动态模型三维重建方法、装置、设备和存储介质 WO2019238114A1 (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810112343 2018-02-05
CN201810612051.8A CN108805979B (zh) 2018-02-05 2018-06-14 一种动态模型三维重建方法、装置、设备和存储介质
CN201810612051.8 2018-06-14

Publications (1)

Publication Number Publication Date
WO2019238114A1 true WO2019238114A1 (zh) 2019-12-19

Family

ID=64086947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/091224 WO2019238114A1 (zh) 2018-02-05 2019-06-14 动态模型三维重建方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN108805979B (zh)
WO (1) WO2019238114A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805979B (zh) * 2018-02-05 2021-06-29 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN109710071B (zh) * 2018-12-26 2022-05-17 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
CN111739146A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 物体三维模型重建方法及装置
CN112785682A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 模型的生成方法、模型的重建方法及装置
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111754573B (zh) * 2020-05-19 2024-05-10 新拓三维技术(深圳)有限公司 一种扫描方法及系统
CN112233142A (zh) * 2020-09-29 2021-01-15 深圳宏芯宇电子股份有限公司 目标跟踪方法、设备及计算机可读存储介质
CN112991524B (zh) * 2021-04-20 2022-03-25 北京的卢深视科技有限公司 三维重建的方法、电子设备及存储介质
CN113689503B (zh) * 2021-10-25 2022-02-25 北京市商汤科技开发有限公司 目标对象的姿态检测方法、装置、设备及存储介质
CN114119839B (zh) * 2022-01-24 2022-07-01 阿里巴巴（中国）有限公司 三维模型重建与图像生成方法、设备以及存储介质
CN116884572B (zh) * 2023-09-07 2024-02-06 北京四海汇智科技有限公司 一种基于图像处理的营养智能管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108122275A (zh) * 2017-12-22 2018-06-05 清华大学 基于骨架跟踪的动态实时三维人体重建方法及系统
CN108805979A (zh) * 2018-02-05 2018-11-13 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140172377A1 (en) * 2012-09-20 2014-06-19 Brown University Method to reconstruct a surface from oriented 3-d points
CN103198523B (zh) * 2013-04-26 2016-09-21 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN107292949B (zh) * 2017-05-25 2020-06-16 深圳先进技术研究院 场景的三维重建方法、装置及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108122275A (zh) * 2017-12-22 2018-06-05 清华大学 基于骨架跟踪的动态实时三维人体重建方法及系统
CN108805979A (zh) * 2018-02-05 2018-11-13 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108805979A (zh) 2018-11-13
CN108805979B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
WO2020001168A1 (zh) 三维重建方法、装置、设备和存储介质
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
WO2019161813A1 (zh) 动态场景的三维重建方法以及装置和系统、服务器、介质
US20230334768A1 (en) Damage detection from multi-view visual data
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
WO2019161814A2 (zh) 一种全景成像系统及方法
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
US20220329880A1 (en) Video stream processing method and apparatus, device, and medium
WO2021093679A1 (zh) 视觉定位方法和装置
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
US11776142B2 (en) Structuring visual data
CN112598780B (zh) 实例对象模型构建方法及装置、可读介质和电子设备
CN112927363A (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
WO2022052782A1 (zh) 图像的处理方法及相关设备
WO2019179342A1 (zh) 图像处理方法、图像处理装置、图像处理系统及介质
WO2022083118A1 (zh) 一种数据处理方法及相关设备
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CA3172140A1 (en) Full skeletal 3d pose recovery from monocular camera
US11418716B2 (en) Spherical image based registration and self-localization for onsite and offsite viewing
WO2024051289A1 (zh) 图像背景替换方法及相关设备
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19819203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19819203

Country of ref document: EP

Kind code of ref document: A1