WO2021035749A1 - 三维重建模型的优化方法、设备和可移动平台 - Google Patents

三维重建模型的优化方法、设备和可移动平台 Download PDF

Info

Publication number
WO2021035749A1
WO2021035749A1 PCT/CN2019/103877 CN2019103877W WO2021035749A1 WO 2021035749 A1 WO2021035749 A1 WO 2021035749A1 CN 2019103877 W CN2019103877 W CN 2019103877W WO 2021035749 A1 WO2021035749 A1 WO 2021035749A1
Authority
WO
WIPO (PCT)
Prior art keywords
patch
optimized
gradient
reconstruction model
dimensional reconstruction
Prior art date
Application number
PCT/CN2019/103877
Other languages
English (en)
French (fr)
Inventor
胡鑫
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980033605.1A priority Critical patent/CN112154485A/zh
Priority to PCT/CN2019/103877 priority patent/WO2021035749A1/zh
Publication of WO2021035749A1 publication Critical patent/WO2021035749A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the embodiments of the present application relate to the field of image technology, and in particular, to an optimization method, equipment, and movable platform of a three-dimensional reconstruction model.
  • Three-dimensional reconstruction is an important research direction in the field of image vision.
  • Three-dimensional reconstruction refers to acquiring multiple two-dimensional images of a three-dimensional object in a scene through a camera device, analyzing and processing these images, and then combining computer vision knowledge to derive the three-dimensional information of the object in the real environment , Wherein the three-dimensional information can be used to generate a three-dimensional reconstruction model of the object.
  • the 3D reconstruction model has characteristics that are incomparable with 2D images. It can be visually observed from multiple different angles to achieve the effects of lifelike, real-time virtual, and real-time interaction.
  • the 3D reconstruction model is a triangular mesh surface with texture. After obtaining the 3D reconstruction model, the user can use the triangle mesh for measurement, rendering, 3D printing and other operations. Therefore, the triangle mesh is one of the important indicators to measure the 3D reconstruction model. . Therefore, the triangle mesh surface needs to be optimized after obtaining the 3D reconstruction model.
  • the embodiments of the present application provide a method, equipment and a movable platform for optimizing a three-dimensional reconstruction model, which are used to improve the optimization efficiency of the three-dimensional reconstruction model.
  • an embodiment of the present application provides a method for optimizing a three-dimensional reconstruction model, including:
  • the face piece is the face piece to be optimized, adjusting the position of the face piece in the three-dimensional reconstruction model to obtain an optimized three-dimensional reconstruction model;
  • the three-dimensional reconstruction model is a model that is generated based on N initial images and is composed of a plurality of the patches, the N initial images include at least a partial image of the target object, and the reference image is the
  • the initial image is down-sampled images obtained by L levels, where L is an integer greater than or equal to 0, the N is an integer greater than or equal to 3, and the M is an integer greater than or equal to 2 and less than or equal to N.
  • an embodiment of the present application provides a method for optimizing a three-dimensional reconstruction model, including:
  • the face piece is the face piece to be optimized, adjusting the position of the face piece in the three-dimensional reconstruction model to obtain an optimized three-dimensional reconstruction model;
  • the three-dimensional reconstruction model is a model that is generated based on N initial images and is composed of a plurality of the patches, the N initial images include at least a partial image of the target object, and the reference image is the
  • the initial image is down-sampled images obtained by L levels, where L is an integer greater than or equal to 0, the N is an integer greater than or equal to 2, and the M is an integer greater than or equal to 2 and less than or equal to N.
  • an optimization device for a three-dimensional reconstruction model including:
  • the processor is used to obtain the re-projection error of each patch in the three-dimensional reconstruction model to be optimized of the target object respectively projected into the M reference images; Re-projection error, determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the 3D reconstruction model to obtain the optimized Three-dimensional reconstruction model;
  • the three-dimensional reconstruction model is a model that is generated by the processor according to the N initial images taken by the photographing device and is composed of a plurality of the patches, and the N initial images include at least the image of the target object Part of the image, the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 3, and the M is an integer greater than or equal to 2 and less than An integer equal to N.
  • an optimization device for a three-dimensional reconstruction model including:
  • the processor is used to obtain the texture complexity of each face in the 3D reconstruction model to be optimized of the target object in the corresponding region on the M reference images; according to the face, the texture complexity in the M reference images The texture complexity of the corresponding area on the above, determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the three-dimensional reconstruction model, To obtain an optimized 3D reconstruction model;
  • the three-dimensional reconstruction model is a model that is generated by the processor according to the N initial images collected by the photographing device and is composed of a plurality of the patches, and the N initial images include at least the image of the target object Part of the image, the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 2, and the M is an integer greater than or equal to 2 and less than An integer equal to N.
  • an embodiment of the present application provides a movable platform, including: a movable platform body and an optimization device for a three-dimensional reconstruction model according to the embodiment of the present application in the first aspect, wherein the optimization device for the three-dimensional reconstruction model Installed on the movable platform body.
  • an embodiment of the present application provides a movable platform, including: a movable platform body and an optimization device for a three-dimensional reconstruction model according to the embodiment of the present application in the second aspect, wherein the optimization device for the three-dimensional reconstruction model Installed on the movable platform body.
  • an embodiment of the present application provides a readable storage medium with a computer program stored on the readable storage medium; when the computer program is executed, the embodiment of the present application is implemented as in the first aspect or the second aspect.
  • the optimization method of the three-dimensional reconstruction model is implemented as in the first aspect or the second aspect.
  • an embodiment of the present application provides a program product, the program product includes a computer program, the computer program is stored in a readable storage medium, and at least one processor of a removable platform can download from the readable storage medium The computer program is read, and the at least one processor executes the computer program to enable the mobile platform to implement the method for optimizing the three-dimensional reconstruction model described in the embodiment of the present application in the first aspect or the second aspect.
  • the optimization method, equipment, and movable platform of the 3D reconstruction model provided by the embodiments of this application do not directly optimize all the patches, but optimize the surfaces to be optimized determined from them, thereby improving the 3D reconstruction model
  • the optimized efficiency reduces the probability of noise introduction.
  • Fig. 1 is a schematic architecture diagram of an unmanned aerial system according to an embodiment of the present application
  • FIG. 2 is a flowchart of a method for optimizing a three-dimensional reconstruction model provided by an embodiment of the application
  • FIG. 3 is a flowchart of a method for optimizing a three-dimensional reconstruction model provided by another embodiment of the application.
  • FIG. 4 is a schematic diagram of dividing a face sheet into H face sheets according to an embodiment of the application.
  • FIG. 5 is a schematic diagram of the relationship between a vertex and multiple faces to which the vertex belongs according to an embodiment of the application;
  • Fig. 6 is a schematic structural diagram of a device for optimizing a three-dimensional reconstruction model provided by an embodiment of the application;
  • FIG. 7 is a schematic structural diagram of a device for optimizing a three-dimensional reconstruction model provided by another embodiment of the application.
  • FIG. 8 is a schematic structural diagram of a movable platform provided by an embodiment of this application.
  • FIG. 9 is a schematic structural diagram of a movable platform provided by another embodiment of this application.
  • FIG. 10 is a schematic structural diagram of a movable platform provided by another embodiment of this application.
  • the embodiments of the present application provide a method, equipment and a movable platform for optimizing a three-dimensional reconstruction model, where the movable platform may be a handheld phone, a handheld PTZ, a drone, an unmanned vehicle, an unmanned ship, a robot, or an autonomous driving Cars etc.
  • the following description of the mobile platform of this application uses drones as an example. It will be obvious to those skilled in the art that other types of drones can be used without restriction, and the embodiments of the present application can be applied to various types of drones.
  • the drone can be a small or large drone.
  • the drone may be a rotorcraft, for example, a multi-rotor drone that is propelled by multiple propulsion devices through the air.
  • the embodiments of the present application are not limited to this, and the drone It can also be other types of drones.
  • Fig. 1 is a schematic architecture diagram of an unmanned aerial system according to an embodiment of the present application.
  • a rotary wing drone is taken as an example for description.
  • the unmanned aerial system 100 may include a drone 110, a display device 130, and a remote control device 140.
  • the UAV 110 may include a power system 150, a flight control system 160, a frame, and a pan/tilt 120 carried on the frame.
  • the drone 110 can wirelessly communicate with the remote control device 140 and the display device 130.
  • the frame may include a fuselage and a tripod (also called a landing gear).
  • the fuselage may include a center frame and one or more arms connected to the center frame, and the one or more arms extend radially from the center frame.
  • the tripod is connected with the fuselage, and is used for supporting the UAV 110 when it is landed.
  • the power system 150 may include one or more electronic governors (referred to as ESCs) 151, one or more propellers 153, and one or more motors 152 corresponding to the one or more propellers 153, wherein the motors 152 are connected to Between the electronic governor 151 and the propeller 153, the motor 152 and the propeller 153 are arranged on the arm of the UAV 110; the electronic governor 151 is used to receive the driving signal generated by the flight control system 160 and provide driving according to the driving signal Current is supplied to the motor 152 to control the speed of the motor 152.
  • the motor 152 is used to drive the propeller to rotate, thereby providing power for the flight of the drone 110, and the power enables the drone 110 to achieve one or more degrees of freedom of movement.
  • the drone 110 may rotate about one or more rotation axes.
  • the aforementioned rotation axis may include a roll axis (Roll), a yaw axis (Yaw), and a pitch axis (pitch).
  • the motor 152 may be a DC motor or an AC motor.
  • the motor 152 may be a brushless motor or a brushed motor.
  • the flight control system 160 may include a flight controller 161 and a sensing system 162.
  • the sensing system 162 is used to measure the attitude information of the drone, that is, the position information and state information of the drone 110 in space, such as three-dimensional position, three-dimensional angle, three-dimensional velocity, three-dimensional acceleration, and three-dimensional angular velocity.
  • the sensing system 162 may include, for example, at least one of sensors such as a gyroscope, an ultrasonic sensor, an electronic compass, an inertial measurement unit (IMU), a vision sensor, a global navigation satellite system, and a barometer.
  • the global navigation satellite system may be the Global Positioning System (GPS).
  • the flight controller 161 is used to control the flight of the drone 110, for example, it can control the flight of the drone 110 according to the attitude information measured by the sensor system 162. It should be understood that the flight controller 161 can control the drone 110 according to pre-programmed program instructions, and can also control the drone 110 by responding to one or more remote control signals from the remote control device 140.
  • the pan/tilt head 120 may include a motor 122.
  • the pan/tilt is used to carry the camera 123.
  • the flight controller 161 can control the movement of the pan-tilt 120 through the motor 122.
  • the pan/tilt head 120 may further include a controller for controlling the movement of the pan/tilt head 120 by controlling the motor 122.
  • the pan-tilt 120 may be independent of the drone 110 or a part of the drone 110.
  • the motor 122 may be a DC motor or an AC motor.
  • the motor 122 may be a brushless motor or a brushed motor.
  • the pan-tilt can be located on the top of the drone, or on the bottom of the drone.
  • the photographing device 123 may be, for example, a device for capturing images, such as a camera or a video camera, and the photographing device 123 may communicate with the flight controller and take pictures under the control of the flight controller.
  • the imaging device 123 of this embodiment at least includes a photosensitive element, and the photosensitive element is, for example, a Complementary Metal Oxide Semiconductor (CMOS) sensor or a Charge-coupled Device (CCD) sensor. It can be understood that the camera 123 can also be directly fixed to the drone 110, so the pan/tilt 120 can be omitted.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-coupled Device
  • the display device 130 is located on the ground end of the unmanned aerial system 100, can communicate with the drone 110 in a wireless manner, and can be used to display the attitude information of the drone 110.
  • the image taken by the photographing device may also be displayed on the display device 130.
  • the display device 130 may be an independent device or integrated in the remote control device 140.
  • the remote control device 140 is located on the ground end of the unmanned aerial system 100, and can communicate with the drone 110 in a wireless manner for remote control of the drone 110.
  • FIG. 2 is a flowchart of a method for optimizing a three-dimensional reconstruction model provided by an embodiment of this application. As shown in FIG. 2, the method of this embodiment may include:
  • the 3D reconstruction model of the target object to be optimized is a model that is generated based on N initial images and is composed of multiple facets, where the N initial images include at least a partial image of the target object. Is an integer greater than or equal to 3.
  • the patch is, for example, a triangular patch.
  • the geometric details on the 3D reconstruction model may be unevenly distributed. Some patches have few geometric details, and some have rich geometric details. Therefore, the patches with less geometric details can be optimized to make the distribution of geometric details as even as possible .
  • the reference image is an image obtained by sub-sampling L levels of the initial image
  • L is an integer greater than or equal to
  • the M is an integer greater than or equal to 2 and less than or equal to N.
  • N is equal to 3
  • M is equal to 2.
  • the M reference images are M images obtained by down-sampling L levels of the M initial images in the N initial images.
  • each of the M initial images in the N initial images is down-sampled by L levels to obtain M reference images.
  • each initial image in each initial image in the N initial images is down-sampled by L levels to obtain N reference images, and then the patches are obtained and projected into the N reference images respectively The area of the pixel area. If the area of the pixel area projected by the patch onto the reference image is greater than the preset value, then the reprojection error of the patch projected onto the reference image is obtained. If the area of the pixel area projected from the patch onto the reference image is not greater than the preset value Value, the reprojection error of the patch projected into the reference image is not obtained. If the areas of the pixel regions projected on the N reference images are all larger than the preset value, the above-mentioned M is equal to N. If the areas of the pixel regions respectively projected on the N reference images are not all larger than the preset value, the above-mentioned M is smaller than N. Among them, the preset value is determined according to the area of the patch.
  • the following takes one dough sheet as an example for description, and the processing of other dough sheets is the same.
  • the face piece can be identified, that is, the face piece is identified as the face piece to be optimized, for example, the face piece is marked as active, and accordingly, the face piece with the mark as active is adjusted.
  • the face piece is marked as active, and accordingly, the face piece with the mark as active is adjusted.
  • the position of the patch in the 3D reconstruction model is the face piece to be optimized.
  • the patch can be identified, that is, the patch is identified as not being optimized, for example, the patch is marked as inactive, and accordingly, the mark is kept as The position of the inactive patch in the 3D reconstruction model remains unchanged.
  • the method for optimizing the three-dimensional reconstruction model obtaineds the reprojection error of each facet in the three-dimensional reconstruction model to be optimized of the target object respectively projected into the M reference images; Re-projection errors in the M reference images to determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the patch in the three-dimensional reconstruction model To obtain the optimized 3D reconstruction model. Since this embodiment does not directly optimize all patches, but optimizes the patches to be optimized determined from them, thus improving the optimization efficiency of the three-dimensional reconstruction model and reducing the probability of noise introduction.
  • a possible implementation of S202 may include S2021 and S2022:
  • S2021 Determine the gradient of the reprojection area of the patch on the M reference images according to the reprojection error of the patch respectively projected on the M reference images.
  • the reprojection area of the patch on the M reference images can be determined, and then it is determined that the patch is on the M reference images.
  • the gradient on the reprojected area a possible implementation of determining the gradient of the re-projected area is: determining the gradient of each point in the re-projected area, and then according to the gradient of all points in the re-projected area, determine that the patch is in The gradient of the reprojected area.
  • the gradient of the patch in the reprojected area may be the sum of the gradients of all points in the reprojected area.
  • the patch is the patch to be optimized, for example, according to the reprojection area of the patch on the M reference images.
  • Gradient determine the target gradient of the face; then according to the comparison result of the target gradient and the preset gradient, determine whether the face is the face to be optimized, for example: judge whether the target gradient of the face is greater than the preset gradient, if the target gradient is greater than the preset gradient If the gradient is set, the face piece is determined to be the face piece to be optimized, and if the target gradient is less than or equal to the preset gradient, it is determined that the face piece is not the face piece to be optimized.
  • the target gradient includes one of the following: the maximum gradient among the gradients of the reprojected region of the patch on the M reference images, and the patch is on the M reference images The smallest gradient among the gradients of the re-projected region on the above, and the average gradient among the gradients of the re-projected regions of the patch on the M reference images. It should be noted that the target gradient of this embodiment is not limited to this.
  • the patches to be optimized can be determined more accurately, the optimization efficiency of the three-dimensional reconstruction model is improved, and the probability of noise introduction is reduced.
  • a possible implementation of S202 may include S2021' and S2022':
  • S2021' Determine the target re-projection error of the patch according to the re-projection errors of the patch respectively projected into the M reference images.
  • the target re-projection error of the patch can be determined according to the re-projection errors of the patch respectively projected into the M reference images.
  • the target re-projection error includes, for example, one of the following: The maximum reprojection error in the reference image, the minimum reprojection error of the patch in the M reference images, and the average reprojection error of the patch in the M reference images. It should be noted that the target reprojection error in this embodiment is not limited to this.
  • it is determined whether the patch is to be optimized One of the implementation methods can be: according to the comparison result of the target reprojection error and the preset reprojection error, it is determined whether the patch is to be optimized.
  • Optimizing the patch for example, judging whether the target reprojection error of the patch is greater than the preset reprojection error, if the target reprojection error is greater than the preset reprojection error, the patch is determined to be the patch to be optimized, if the target reprojection error is less than Equal to the preset reprojection error, it is determined that the patch is not a patch to be optimized.
  • the re-projection error of the patch projected onto each of the M reference images may be represented by the sum of the gradients of the points in the pixel area of the patch projected on the reference image. That is, the reprojection error corresponding to the patch is related to the gradient of the reprojected area corresponding to the patch, for example, is positively correlated.
  • the target reprojection error of the patch is determined according to the reprojection errors of the patch respectively projected into the M reference images, and the target reprojection error is used to determine whether the patch is to be Optimizing the face can more accurately determine the face to be optimized, improve the optimization efficiency of the 3D reconstruction model, and reduce the probability of noise introduction. For example: if the target reprojection error is the maximum reprojection error of the patch in the M reference images, the larger the maximum reprojection error, the larger the patch error, and the more it should be optimized.
  • FIG. 3 is a flowchart of a method for optimizing a three-dimensional reconstruction model provided by another embodiment of the application. As shown in FIG. 3, the method of this embodiment may include:
  • S302 Determine whether the patch is a patch to be optimized according to the texture complexity of the corresponding regions of the patch on the M reference images.
  • the 3D reconstruction model of the target object to be optimized is a model that is generated based on N initial images and is composed of multiple facets, where the N initial images include at least a partial image of the target object. Is an integer greater than or equal to 2.
  • the patch is, for example, a triangular patch.
  • the geometric details on the 3D reconstruction model may be unevenly distributed. Some patches have few geometric details, and some have rich geometric details. Therefore, the geometric details can be optimized to make the distribution of geometric details as even as possible .
  • the reference image is an image obtained by down-sampling L levels of the initial image
  • the L is an integer greater than or equal to 0
  • the M is an integer greater than or equal to 2 and less than or equal to N.
  • the M reference images are M images obtained by down-sampling L levels of the M initial images in the N initial images.
  • each of the M initial images in the N initial images is further down-sampled by L levels to obtain M reference images.
  • each initial image in each initial image in the N initial images is down-sampled by L levels to obtain N reference images, and then the patch is obtained and projected into the N reference images.
  • the area of the pixel area If the area of the pixel area projected by the patch onto the reference image is greater than the preset value, the texture complexity of the corresponding area of the patch on the reference image is obtained. If the area of the pixel area projected by the patch onto the reference image is not greater than the preset value With the preset value, the texture complexity of the corresponding area of the patch on the reference image is not obtained.
  • the above M is equal to N. If the areas of the pixel regions respectively projected on the N reference images are not all larger than the preset value, the above-mentioned M is smaller than N.
  • the preset value is determined according to the area of the patch.
  • the processing of other dough sheets is the same.
  • it is determined whether the patch is a patch to be optimized If it is determined that the face piece is the face piece to be optimized, the position of the face piece in the 3D reconstruction model is adjusted, and the face piece after the position adjustment is the optimized face piece to obtain the optimized 3D reconstruction model. If it is determined that the patch is not a patch to be optimized, there is no need to adjust the position of the patch in the 3D reconstruction model, that is, the position of the patch in the 3D reconstruction model is kept unchanged.
  • the face piece may be identified, that is, the face piece is identified as the face piece to be optimized, for example, the face piece is marked as active, and accordingly, the adjustment mark is active.
  • the face piece is marked as active, and accordingly, the adjustment mark is active.
  • the patch can be identified, that is, the patch is identified as not being optimized, for example, the patch is marked as inactive, and accordingly, the mark is kept as The position of the inactive patch in the 3D reconstruction model remains unchanged.
  • the method for optimizing the three-dimensional reconstruction model obtains the texture complexity of the corresponding regions on the M reference images of each patch in the three-dimensional reconstruction model to be optimized of the target object;
  • the texture complexity of the corresponding area on the M reference images determines whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the patch in the three-dimensional reconstruction The position in the model to obtain the optimized 3D reconstruction model. Since this embodiment does not directly optimize all patches, but optimizes the patches to be optimized determined from them, thus improving the optimization efficiency of the three-dimensional reconstruction model and reducing the probability of noise introduction.
  • a possible implementation manner of the foregoing S302 may include S3021 and S3022:
  • the target texture complexity of the patch can be determined according to the texture complexity of the corresponding regions of the patch on the M reference images, and the target texture complexity includes, for example, one of the following: The maximum texture complexity of the patch in the M reference images, the minimum texture complexity of the patch in the M reference images, and the average texture complexity of the patch in the M reference images degree. It should be noted that the target texture complexity of this embodiment is not limited to this. Then, according to the target reprojection error, it is determined whether the patch is a patch to be optimized. One way to achieve this can be to determine whether the patch is a patch to be optimized according to the comparison result of the target texture complexity and the preset texture complexity.
  • Optimizing the patch for example: judging whether the target texture complexity of the patch is greater than the preset texture complexity, if the target texture complexity is greater than the preset texture complexity, the patch is determined to be the patch to be optimized, if the target texture complexity is less than Equal to the preset texture complexity, it is determined that the patch is not a patch to be optimized.
  • the target texture complexity of the patch is determined according to the texture complexity of the patch respectively projected into the M reference images, and according to the target texture complexity, it is determined whether the patch is to be Optimizing the face can more accurately determine the face to be optimized, improve the optimization efficiency of the 3D reconstruction model, and reduce the probability of noise introduction. For example: if the target texture complexity is the maximum texture complexity of the patch in the M reference images, the greater the maximum texture complexity, the more the patch should be optimized.
  • the positions of the patches in the above-mentioned S203 and S303 are adjusted in the three-dimensional reconstruction model to obtain an optimized three-dimensional reconstruction model.
  • a possible implementation may be Including steps A1 and A2:
  • the face piece is subdivided, that is, the face piece is divided into K pieces, where K is an integer greater than or equal to 2. Then adjust the position of each of the K surfaces in the three-dimensional reconstruction model to obtain an optimized three-dimensional reconstruction model.
  • the optimized three-dimensional reconstruction model includes the K surfaces whose positions have been adjusted.
  • the patch is subdivided into smaller patches, and then the smaller patches are optimized, so that the optimized 3D reconstruction model has finer details.
  • the area of each of the K patches projected to the pixel regions in the P reference images is less than or equal to a preset area. It is possible to refine the surface to be optimized once to obtain K surface patches whose pixel areas in the P reference images are projected to be less than or equal to the preset area, or to refine the surface to be optimized multiple times.
  • a possible implementation of A2 above is: divide the patch into H patches, where H is an integer greater than or equal to 2 and less than or equal to K; if the divided patches are respectively The area of the pixel area projected to the P reference images is larger than the preset area, then the divided patch is divided into H patches again, until each patch of the divided K patches is projected separately The area of the pixel area in the P reference images is less than or equal to the preset area.
  • H is an integer greater than or equal to 2 and less than or equal to K; then determine that each of the H face pieces obtained after the first division is projected to P reference images. If the area of the pixel area in the first division is greater than the preset area, if the area of at least one patch after the first division is projected to the pixel area in the P reference images is greater than the preset area, then the area after the first division is The at least one patch of, is again divided into H patches; if the area of each patch after the first division is projected to the pixel area in the P reference images is less than or equal to the preset area, then these The patch does not continue to divide the patch.
  • each face piece of the K pieces is projected onto the P sheet.
  • the area of the pixel area in the reference image is less than or equal to the preset area.
  • a possible implementation of dividing the face into H face pieces is: adding a vertex to each edge of the face piece, and connecting the newly added vertices in sequence to form an edge , To obtain H patches.
  • H is equal to 4
  • add a vertex D to the edge between vertex A and vertex B of the triangular face (for example, the middle position of the edge)
  • add a vertex E to the edge between vertex B and vertex C of the patch (for example, the middle position of the edge)
  • the vertex D and the vertex E are connected to form an edge
  • the vertex D and the vertex F are connected to form an edge
  • the vertex E and the vertex F are connected to form an edge, thereby dividing the original triangle face into four triangle faces.
  • the L equals to L-1 is also updated, and the initial image is optimized at the previous sampling level.
  • FIG. 2 and FIG. 3 can be used in combination.
  • Fig. 2 and Fig. 3 are used alternately.
  • the embodiment shown in Fig. 2 is adopted. Update L once and use the embodiment shown in FIG. 3, update L again and use the embodiment shown in FIG. 2, and so on.
  • the example of the combined use of FIG. 2 and FIG. 3 is not limited to this.
  • a possible implementation manner of adjusting the position of the patch in the three-dimensional reconstruction model in the foregoing embodiments may be:
  • the position of the face in the 3D reconstruction model it is necessary to adjust the position of the face in the 3D reconstruction model many times, adjust the position of the face in the 3D reconstruction model for the first time, and then obtain the position of the rear face in the 3D reconstruction model for the first adjustment, and adjust the rear face for the first time.
  • adjust the position of the face in the 3D reconstruction model for the second time and then obtain the position of the next image in the 3D reconstruction model for the second adjustment, and adjust the position of the latter in the 3D reconstruction model for the second time.
  • the position of the patch in the 3D reconstruction model is adjusted for the third time, and so on, until the number of adjustments is equal to the preset number.
  • This embodiment optimizes the three-dimensional reconstruction model by gradually adjusting the position of the patch in the three-dimensional reconstruction model multiple times to avoid introducing greater noise.
  • one possible implementation of adjusting the position of the patch in the three-dimensional reconstruction model in the foregoing embodiments is: adjusting the position of the vertex of the patch in the three-dimensional reconstruction model.
  • the position of the vertex changes, and accordingly, the position of the patch changes.
  • a possible implementation manner of adjusting the position of the vertex of the patch in the three-dimensional reconstruction model is: obtaining the gradient of the vertex of the patch; adjusting according to the gradient of the vertex The position of the vertex of the patch in the three-dimensional reconstruction model.
  • the gradient of each vertex of the patch is obtained, and for each vertex, the position of the vertex of the patch in the three-dimensional reconstruction model is adjusted according to the gradient of the vertex. If you need to adjust the position of the patch multiple times, obtain the gradient of the vertex for the first time, adjust the position of the vertex of the patch in the 3D reconstruction model according to the gradient of the vertex obtained for the first time, and obtain the gradient after the vertex is adjusted for the first time.
  • the gradient after the first adjustment position adjusts the position of the vertex in the 3D reconstruction model for the second time, obtains the gradient after the second adjustment position of the vertex, and adjusts the vertex in the 3D reconstruction model for the third time according to the gradient after the second adjustment position of the vertex And so on, until the number of adjustments is equal to the preset number.
  • a possible implementation of adjusting the position of the vertex of the patch in the three-dimensional reconstruction model is: aligning the vertex of the patch along the vertex The direction corresponding to the gradient moves by a preset step.
  • the preset step length is related to the side lengths of multiple patches to which the vertex belongs. As shown in Figure 5, taking the face as a triangular face as an example, vertex O belongs to triangular face 1 to triangular face 6, then the preset step length of vertex O is the same as the side length of triangular face 1 to triangular face 6.
  • the preset step length of vertex O is related to the average side length of all side lengths in triangle face 1 to triangle face 6, and the preset step length is, for example, less than or equal to all sides in triangle face 1 to triangle face 6.
  • a multiple of the average side length of the long, and the multiple is, for example, 0.2 times.
  • a possible implementation manner of obtaining the gradient of the vertex of the patch is: obtaining the gradient of each point in the multiple patches to which the vertex belongs; according to the multiple to which the vertex belongs The gradient of each point in the patch is obtained, and the gradient of the vertex is obtained.
  • the gradient of each point in the triangular face 1 to the triangular face 6 is obtained, and then the gradient of the vertex O is obtained according to the gradient of these points.
  • a possible implementation manner of obtaining the gradient of the vertex is: according to each of the multiple patches to which the vertex belongs.
  • the weighted integral of the gradient of each point determines the gradient of the vertex.
  • the gradient of vertex O is determined by the weighted integral of the gradient of each point in triangle face 1 to triangle face 6, where the weight of the gradient of each point is between the point and vertex O The distance is positively correlated.
  • the integral weighted by the gradient of each point in the multiple patches to which the vertex belongs can be expressed by the following formula:
  • N represents the set of multiple faces to which the vertex belongs (for example, triangle face 1 to triangular face 6 as shown in Fig. 5), and x represents the point in the multiple faces to which the vertex belongs.
  • ⁇ (x) is the weight of.
  • ⁇ (x) is related to the position of each vertex of the patch to which the point x belongs and the distance between the point x and each vertex.
  • w1 is related to the distance between point x and vertex A, for example: the closer the distance between point x and vertex A, the larger w1.
  • w2 is related to the distance between point x and vertex B, for example: the closer the distance between point x and vertex B, the larger w2.
  • w3 is related to the distance between point x and vertex C, for example: the closer the distance between point x and vertex C, the larger w3.
  • FIG. 6 is a schematic structural diagram of a device for optimizing a three-dimensional reconstruction model provided by an embodiment of this application.
  • the device for optimizing a three-dimensional reconstruction model 600 in this embodiment may include a photographing device 601 and a processor 602. Wherein, the camera 601 and the processor 602 may be connected through a bus.
  • the photographing device 601 is used to collect initial images.
  • the processor 602 is configured to obtain the reprojection error of each facet in the three-dimensional reconstruction model to be optimized of the target object respectively projected into M reference images; according to the facet, respectively projected into the M reference images To determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the three-dimensional reconstruction model to obtain the optimized The 3D reconstruction model.
  • the three-dimensional reconstruction model is a model that is generated by the processor 602 according to the N initial images taken by the photographing device and is composed of a plurality of the patches, and the N initial images include at least the target object
  • the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 3, and the M is an image greater than or equal to 2 and An integer less than or equal to N.
  • the processor 602 is further configured to, after determining whether the patch is the patch to be optimized, if the patch is not the patch to be optimized, then keep the patch The position of the slice in the three-dimensional reconstruction model remains unchanged.
  • the processor 602 is further configured to identify the patch that is the patch to be optimized and/or that is not the patch to be optimized.
  • the processor 602 is specifically configured to:
  • the patch is a patch to be optimized.
  • the processor 602 is specifically configured to:
  • the patch is a patch to be optimized.
  • the target gradient includes one of the following:
  • the maximum gradient of the gradient of the reprojected area of the patch on the M reference images the smallest gradient of the gradient of the reprojected area on the M reference images, the The average gradient of the gradient of the reprojected area of the patch on the M reference images.
  • the patch is a patch to be optimized.
  • the processor 602 is specifically configured to:
  • the target reprojection error it is determined whether the patch is a patch to be optimized.
  • the processor 602 is specifically configured to:
  • the patch is a patch to be optimized.
  • the target reprojection error includes one of the following:
  • the maximum reprojection error of the patch in the M reference images the minimum reprojection error of the patch in the M reference images, the average of the patch in the M reference images Reprojection error.
  • the patch is a patch to be optimized.
  • the processor 602 is specifically configured to:
  • the optimized three-dimensional reconstruction model includes the K patches whose positions have been adjusted.
  • the area of each of the K patches projected to the pixel regions in the P reference images is less than or equal to a preset area.
  • the processor 602 is specifically configured to:
  • H is an integer greater than or equal to 2 and less than or equal to K;
  • the divided patch is divided into H patches again, until the divided K patches The area of each patch in the pixel area projected to the P reference images is less than or equal to the preset area.
  • the processor 602 is specifically configured to:
  • a vertex is added to each edge in the face piece, and the newly added vertices are sequentially connected to form an edge to obtain H face pieces.
  • the processor 602 is further configured to update the L equal to L-1, and update the optimized 3D reconstruction model when the initial image is at the previous down-sampling level to the initial image at The next sample level is the three-dimensional reconstruction model to be optimized of the target object.
  • the processor 602 is specifically configured to:
  • the processor 602 is specifically configured to:
  • the processor 602 is specifically configured to:
  • the position of the vertex of the patch in the three-dimensional reconstruction model is adjusted.
  • the processor 602 is specifically configured to:
  • the vertices of the patch are moved along the direction corresponding to the gradient of the vertices by a preset step.
  • the preset step size is related to the side lengths of the multiple patches to which the vertices belong.
  • the processor 602 is specifically configured to:
  • the processor 602 is specifically configured to:
  • the gradient of the vertex is determined according to the integral weighted by the gradient of each point in the multiple patches to which the vertex belongs.
  • the face sheet is a triangular face sheet.
  • the optimization device 600 of the three-dimensional reconstruction model of this embodiment may further include: a memory (not shown in the figure) for storing program codes, the memory is used for storing program codes, and when the program codes are executed, the The optimization device 600 for the three-dimensional reconstruction model can implement the above-mentioned technical solutions.
  • the optimization device for the three-dimensional reconstruction model of this embodiment can be used to implement the technical solutions of FIG. 2 and the corresponding method embodiments, and the implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 7 is a schematic structural diagram of a device for optimizing a three-dimensional reconstruction model provided by another embodiment of the application.
  • the device for optimizing a three-dimensional reconstruction model 700 in this embodiment may include a photographing device 701 and a processor 702. Wherein, the camera 701 and the processor 702 may be connected through a bus.
  • the photographing device 701 is used to collect an initial image.
  • the processor 702 is configured to obtain the texture complexity of each patch in the three-dimensional reconstruction model to be optimized of the target object in the corresponding region on the M reference images; according to the patch, the texture complexity of the corresponding region on the M reference images is obtained; The texture complexity of the corresponding area on the image, determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the 3D reconstruction model To obtain an optimized 3D reconstruction model.
  • the three-dimensional reconstruction model is a model that is generated by the processor 702 according to the N initial images collected by the photographing device 701 and is composed of a plurality of the patches, and the N initial images include at least the target A partial image of an object, the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 2, and the M is greater than or equal to 2 And an integer less than or equal to N.
  • the processor 702 is further configured to, after determining whether the patch is the patch to be optimized, if the patch is not the patch to be optimized, keep the patch The position of the slice in the three-dimensional reconstruction model remains unchanged.
  • the processor 702 is further configured to:
  • the processor 702 is specifically configured to:
  • the target texture complexity includes one of the following:
  • the patch is a patch to be optimized.
  • the processor 702 is specifically configured to:
  • the optimized three-dimensional reconstruction model includes the K patches whose positions have been adjusted.
  • the area of each of the K patches projected to the pixel regions in the P reference images is less than or equal to a preset area.
  • the processor 702 is specifically configured to:
  • H is an integer greater than or equal to 2 and less than or equal to K;
  • the divided patch is divided into H patches again, until the divided K patches The area of each patch in the pixel area projected to the P reference images is less than or equal to the preset area.
  • the processor 702 is specifically configured to:
  • a vertex is added to each edge in the face piece, and the newly added vertices are sequentially connected to form an edge to obtain H face pieces.
  • the processor 702 is further configured to update the L equal to L-1, and update the optimized 3D reconstruction model when the initial image is at the previous down-sampling level to the initial image at The next sample level is the three-dimensional reconstruction model to be optimized of the target object.
  • the processor 702 is specifically configured to:
  • the processor 702 is specifically configured to:
  • the processor 702 is specifically configured to:
  • the position of the vertex of the patch in the three-dimensional reconstruction model is adjusted.
  • the processor 702 is specifically configured to:
  • the vertices of the patch are moved along the direction corresponding to the gradient of the vertices by a preset step.
  • the preset step size is related to the side lengths of the multiple patches to which the vertices belong.
  • the processor 702 is specifically configured to:
  • the processor 702 is specifically configured to:
  • the gradient of the vertex is determined according to the integral weighted by the gradient of each point in the multiple patches to which the vertex belongs.
  • the face sheet is a triangular face sheet.
  • the optimization device 700 of the three-dimensional reconstruction model of this embodiment may further include: a memory (not shown in the figure) for storing program codes, the memory is used for storing program codes, and when the program codes are executed, the The optimization device 700 for a three-dimensional reconstruction model can implement the above-mentioned technical solutions.
  • the optimization device for the three-dimensional reconstruction model of this embodiment can be used to implement the technical solutions of FIG. 3 and the corresponding method embodiments, and its implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 8 is a schematic structural diagram of a movable platform provided by an embodiment of this application.
  • the movable platform 800 of this embodiment may include: a camera 801 and a processor 802. Wherein, the camera 801 and the processor 802 may be connected through a bus.
  • the photographing device 801 is used to collect an initial image.
  • the processor 802 is configured to obtain the reprojection error of each facet in the three-dimensional reconstruction model to be optimized of the target object respectively projected into the M reference images; according to the facet, respectively projected into the M reference images To determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the three-dimensional reconstruction model to obtain the optimized The 3D reconstruction model.
  • the three-dimensional reconstruction model is a model generated by the processor 802 according to the N initial images taken by the photographing device 801 and composed of a plurality of the patches, and the N initial images include at least the target A partial image of an object, the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 3, and the M is greater than or equal to 2 And an integer less than or equal to N.
  • the processor 802 is further configured to, after determining whether the patch is the patch to be optimized, if the patch is not the patch to be optimized, keep the patch The position of the slice in the three-dimensional reconstruction model remains unchanged.
  • the processor 802 is further configured to identify the patch that is the patch to be optimized and/or that is not the patch to be optimized.
  • the processor 802 is specifically configured to:
  • the patch is a patch to be optimized.
  • the processor 802 is specifically configured to:
  • the patch is a patch to be optimized.
  • the target gradient includes one of the following:
  • the maximum gradient of the gradient of the reprojected area of the patch on the M reference images the smallest gradient of the gradient of the reprojected area on the M reference images, the The average gradient of the gradient of the reprojected area of the patch on the M reference images.
  • the patch is a patch to be optimized.
  • the processor 802 is specifically configured to:
  • the target reprojection error it is determined whether the patch is a patch to be optimized.
  • the processor 802 is specifically configured to:
  • the patch is a patch to be optimized.
  • the target reprojection error includes one of the following:
  • the maximum reprojection error of the patch in the M reference images the minimum reprojection error of the patch in the M reference images, the average of the patch in the M reference images Reprojection error.
  • the patch is a patch to be optimized.
  • the processor 802 is specifically configured to:
  • the optimized three-dimensional reconstruction model includes the K patches of which positions have been adjusted.
  • the area of each of the K patches projected to the pixel regions in the P reference images is less than or equal to a preset area.
  • the processor 802 is specifically configured to:
  • H is an integer greater than or equal to 2 and less than or equal to K;
  • the divided patch is divided into H patches again, until the divided K patches The area of each patch in the pixel area projected to the P reference images is less than or equal to the preset area.
  • the processor 802 is specifically configured to:
  • a vertex is added to each edge in the face piece, and the newly added vertices are sequentially connected to form an edge to obtain H face pieces.
  • the processor 802 is further configured to update the L equal to L-1, and update the optimized 3D reconstruction model when the initial image is at the previous down-sampling level to the initial image at The next sample level is the three-dimensional reconstruction model to be optimized of the target object.
  • the processor 802 is specifically configured to:
  • the processor 802 is specifically configured to:
  • the processor 802 is specifically configured to:
  • the position of the vertex of the patch in the three-dimensional reconstruction model is adjusted.
  • the processor 802 is specifically configured to:
  • the vertices of the patch are moved along the direction corresponding to the gradient of the vertices by a preset step.
  • the preset step size is related to the side lengths of the multiple patches to which the vertices belong.
  • the processor 802 is specifically configured to:
  • the processor 802 is specifically configured to:
  • the gradient of the vertex is determined according to the integral weighted by the gradient of each point in the multiple patches to which the vertex belongs.
  • the face sheet is a triangular face sheet.
  • the movable platform 800 of this embodiment may further include: a memory (not shown in the figure) for storing program codes, the memory is used for storing program codes, and when the program codes are executed, the movable platform 800 can realize the above-mentioned technical solutions.
  • the movable platform of this embodiment can be used to implement the technical solutions of FIG. 2 and the corresponding method embodiments, and its implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 9 is a schematic structural diagram of a movable platform provided by another embodiment of this application.
  • the movable platform 900 of this embodiment may include: a camera 901 and a processor 902. Wherein, the camera 901 and the processor 902 may be connected through a bus.
  • the photographing device 901 is used to collect an initial image.
  • the processor 902 is configured to obtain the texture complexity of each patch in the three-dimensional reconstruction model to be optimized of the target object in the corresponding region on the M reference images; according to the patch in the M reference images, The texture complexity of the corresponding area on the image, determine whether the patch is the patch to be optimized; if the patch is the patch to be optimized, adjust the position of the patch in the 3D reconstruction model To obtain an optimized 3D reconstruction model.
  • the three-dimensional reconstruction model is a model that is generated by the processor 902 according to the N initial images collected by the photographing device 901 and is composed of a plurality of the patches, and the N initial images include at least the target A partial image of an object, the reference image is an image obtained by down-sampling L levels of the initial image, the L is an integer greater than or equal to 0, the N is an integer greater than or equal to 2, and the M is greater than or equal to 2 And an integer less than or equal to N.
  • the processor 902 is further configured to, after determining whether the patch is the patch to be optimized, if the patch is not the patch to be optimized, keep the patch The position of the slice in the three-dimensional reconstruction model remains unchanged.
  • the processor 902 is further configured to:
  • the processor 902 is specifically configured to:
  • the target texture complexity includes one of the following:
  • the patch is a patch to be optimized.
  • the processor 902 is specifically configured to:
  • the optimized three-dimensional reconstruction model includes the K patches of which positions have been adjusted.
  • the area of each of the K patches projected to the pixel regions in the P reference images is less than or equal to a preset area.
  • the processor 902 is specifically configured to:
  • H is an integer greater than or equal to 2 and less than or equal to K;
  • the divided patch is divided into H patches again, until the divided K patches The area of each patch in the pixel area projected to the P reference images is less than or equal to the preset area.
  • the processor 902 is specifically configured to:
  • a vertex is added to each edge in the face piece, and the newly added vertices are sequentially connected to form an edge to obtain H face pieces.
  • the processor 902 is further configured to update the L equal to L-1, and update the optimized 3D reconstruction model when the initial image is at the previous down-sampling level to the initial image at The next sample level is the three-dimensional reconstruction model to be optimized of the target object.
  • the processor 902 is specifically configured to:
  • the processor 902 is specifically configured to:
  • the processor 902 is specifically configured to:
  • the position of the vertex of the patch in the three-dimensional reconstruction model is adjusted.
  • the processor 902 is specifically configured to:
  • the vertices of the patch are moved along the direction corresponding to the gradient of the vertices by a preset step.
  • the preset step size is related to the side lengths of the multiple patches to which the vertices belong.
  • the processor 902 is specifically configured to:
  • the processor 902 is specifically configured to:
  • the gradient of the vertex is determined according to the integral weighted by the gradient of each point in the multiple patches to which the vertex belongs.
  • the face sheet is a triangular face sheet.
  • the movable platform 900 of this embodiment may further include: a memory (not shown in the figure) for storing program codes, and the memory is used for storing program codes.
  • the program codes are executed, the movable platform 900 can implement the above-mentioned technical solutions.
  • the movable platform of this embodiment can be used to implement the technical solutions of FIG. 3 and the corresponding method embodiments, and its implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 10 is a schematic structural diagram of a movable platform provided by another embodiment of the application.
  • the movable platform 1000 of this embodiment may include: a movable platform body 1001 and a 3D reconstruction model optimization device 1002.
  • the optimization device 1002 of the three-dimensional reconstruction model is installed on the movable platform body 1001.
  • the optimization device 1002 of the three-dimensional reconstruction model may be a device independent of the movable platform body 1001.
  • the optimization device 1002 of the three-dimensional reconstruction model can adopt the structure of the device embodiment shown in FIG. 6, which can correspondingly execute the technical solutions of FIG. 2 and its corresponding method embodiments, and its implementation principles and technical effects are similar. Go into details again. or,
  • the optimization device 1002 of the three-dimensional reconstruction model can adopt the structure of the device embodiment shown in FIG. 7, and it can correspondingly implement the technical solutions of FIG. 3 and its corresponding method embodiments.
  • the implementation principles and technical effects are similar. Go into details again.
  • a person of ordinary skill in the art can understand that all or part of the steps in the above method embodiments can be implemented by a program instructing relevant hardware.
  • the foregoing program can be stored in a computer readable storage medium. When the program is executed, it is executed. Including the steps of the foregoing method embodiment; and the foregoing storage medium includes: read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disks or optical disks, etc., which can store program codes Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种三维重建模型的优化方法、设备和可移动平台，该方法包括：获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差(S201)；根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片(S202)；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型(S203)。三维重建模型是根据至少包括目标物体的部分图像的N张初始图像生成的且由多个面片组成的模型，参考图像为初始图像下采样L个层级获得的图像。提高了三维重建模型的优化效率，降低了噪声引入的概率。

Description

三维重建模型的优化方法、设备和可移动平台 技术领域
本申请实施例涉及图像技术领域，尤其涉及一种三维重建模型的优化方法、设备和可移动平台。
背景技术
三维重建是图像视觉领域的重要研究方向，三维重建是指通过摄像装置获取场景三维物体的多张二维图像，并对这些图像进行分析处理，再结合计算机视觉知识推导出现实环境中该物体的三维信息，其中，该三维信息可以用于生成该物体的三维重建模型。三维重建模型具有与二维图像不可比拟的特性，其可以从多个不同的角度进行直观的观测，以达到逼真、实时虚拟、实时互动等效果。
三维重建模型是带有纹理的三角形网格曲面，用户在获得三维重建模型后可以利用三角形网格进行测量、渲染、3D打印等操作，因此，三角形网格是衡量三维重建模型的重要指标之一。所以，在通过获得三维重建模型后需对三角形网格曲面进行优化。
发明内容
本申请实施例提供一种三维重建模型的优化方法、设备和可移动平台，用于提高三维重建模型的优化效率。
第一方面，本申请实施例提供一种三维重建模型的优化方法，包括：
获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；
根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；
若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述三维重建模型是根据N张初始图像生成的且由多个所述面片 组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
第二方面，本申请实施例提供一种三维重建模型的优化方法，包括：
获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度；
根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；
若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述三维重建模型是根据N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
第三方面，本申请实施例提供一种三维重建模型的优化设备，包括：
拍摄装置，用于采集初始图像；
处理器，用于获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述三维重建模型是所述处理器根据所述拍摄装置拍摄的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
第四方面，本申请实施例提供一种三维重建模型的优化设备，包括：
拍摄装置，用于采集初始图像；
处理器，用于获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度；根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述三维重建模型是所述处理器根据所述拍摄装置采集的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
第五方面，本申请实施例提供一种可移动平台，包括：可移动平台本体以及如第一方面本申请实施例所述的三维重建模型的优化设备，其中，所述三维重建模型的优化设备安装于所述可移动平台本体上。
第六方面，本申请实施例提供一种可移动平台，包括：可移动平台本体以及如第二方面本申请实施例所述的三维重建模型的优化设备，其中，所述三维重建模型的优化设备安装于所述可移动平台本体上。
第七方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现如第一方面或第二方面本申请实施例所述的三维重建模型的优化方法。
第八方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，可移动平台的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得可移动平台实施如第一方面或第二方面本申请实施例所述的三维重建模型的优化方法。
本申请实施例提供的三维重建模型的优化方法、设备和可移动平台，并不是直接对所有面片进行优化，而是对从中确定出来的待优化面片进行优化处理，因此提高了三维重建模型的优化效率，降低了噪声引入的概率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请的实施例的无人飞行系统的示意性架构图；
图2为本申请一实施例提供的三维重建模型的优化方法的流程图；
图3为本申请另一实施例提供的三维重建模型的优化方法的流程图；
图4为本申请一实施例提供的将面片划分为H个面片的一种示意图；
图5为本申请一实施例提供的顶点与顶点所属的多个面片之间的关系示意图；
图6为本申请一实施例提供的三维重建模型的优化设备的结构示意图；
图7为本申请另一实施例提供的三维重建模型的优化设备的结构示意图；
图8为本申请一实施例提供的可移动平台的结构示意图；
图9为本申请另一实施例提供的可移动平台的结构示意图；
图10为本申请另一实施例提供的可移动平台的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的实施例提供了三维重建模型的优化方法、设备和可移动平台，其中，可移动平台可以是手持电话、手持云台、无人机、无人车、无人船、机器人或自动驾驶汽车等。以下对本申请可移动平台的描述使用无人机作为示例。对于本领域技术人员将会显而易见的是，可以不受限制地使用其他类型的无人机，本申请的实施例可以应用于各种类型的无人机。例如，无人机可以是小型或大型的无人机。在某些实施例中，无人机可以是旋翼无人机(rotorcraft)，例如，由多个推动装置通过空气推动的多旋翼无人机，本申请的实施例并不限于此，无人机也可以是其它类型的无人机。
图1是根据本申请的实施例的无人飞行系统的示意性架构图。本实施例 以旋翼无人机为例进行说明。
无人飞行系统100可以包括无人机110、显示设备130和遥控设备140。其中，无人机110可以包括动力系统150、飞行控制系统160、机架和承载在机架上的云台120。无人机110可以与遥控设备140和显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人机110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人机110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人机110的飞行提供动力，该动力使得无人机110能够实现一个或多个自由度的运动。在某些实施例中，无人机110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人机的姿态信息，即无人机110在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。飞行控制器161用于控制无人机110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人机110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人机110进行控制，也可以通过响应来自遥控设备140的一个或多个遥控信号对无人机110进行控制。
云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人机110，也可以为无人机110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台可以位于无人机的顶部，也可以位于无人机的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备，拍摄装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器或电荷耦合元件(Charge-coupled Device，CCD)传感器。可以理解，拍摄装置123也可直接固定于无人机110上，从而云台120可以省略。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人机110进行通信，并且可以用于显示无人机110的姿态信息。另外，还可以在显示设备130上显示拍摄装置拍摄的图像。应理解，显示设备130可以是独立的设备，也可以集成在遥控设备140中。
遥控设备140位于无人飞行系统100的地面端，可以通过无线方式与无人机110进行通信，用于对无人机110进行远程操纵。
应理解，上述对于无人飞行系统各组成部分的命名仅是出于标识的目的，并不应理解为对本申请的实施例的限制。
图2为本申请一实施例提供的三维重建模型的优化方法的流程图，如图2所示，本实施例的方法可以包括：
S201、获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差。
S202、根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片。
S203、若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
本实施例中，目标物体的待优化的三维重建模型是根据N张初始图像生 成的且由多个面片组成的模型，其中，N张初始图像至少包括该目标物体的部分图像，所述N为大于等于3的整数。可选地，面片例如为三角形面片。三维重建模型上的几何细节可能分布不均匀，有些面片中的几何细节少，有些面片中的几何细节丰富，因此可以对几何细节少的面片进行优化处理，使得几何细节分布尽可能均匀。
首先获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差，其中，参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述M为大于等于2且小于等于N的整数。其中，当N等于3时，M等于2。M张参考图像为N张初始图像中的M张初始图像分别下采样L个层级获得的M张图像。
可选地，在执行上述S201之前，还对N张初始图像中的M张初始图像中每个初始图像下采样L个层级，获得M张参考图像。
可选地，在执行上述S201之前，还对N张初始图像中每张初始图像中每个初始图像下采样L个层级，获得N张参考图像，然后获取面片分别投影到N张参考图像中的像素区域的面积。如果面片投影到参考图像中的像素区域的面积大于预设值，则获取面片投影到该参考图像中的重投影误差，如果面片投影到参考图像中的像素区域的面积不大于预设值，则不获取该面片投影到该参考图像中的重投影误差。如果面片分别投影到N个参考图像中的像素区域的面积都大于预设值，则上述M等于N。如果面片分别投影到N个参考图像中的像素区域的面积不全大于预设值，则上述M小于N。其中，该预设值为根据面片的面积确定。
下面以一个面片为例进行说明，其它面片的处理相同。在获得面片分别投影到M张参考图像中的重投影误差之后，根据面片分别投影到M张参考图像中的重投影误差，确定面片是否为待优化面片。如果确定该面片为待优化面片，则调整该面片在该三维重建模型中的位置，调整位置后的面片为优化后的面片，以获得优化后的三维重建模型。如果确定面片不为待优化面片，则无需调整该面片在该三维重建模型中的位置，即保持该面片在三维重建模型中的位置不变。
可选地，在确定面片为待优化面片后，可以为该面片进行标识，即标识该面片为待优化面片，例如标识该面片为active，相应地，调整标识为active 的面片在三维重建模型中的位置。
可选地，在确定面片不为待优化面片后，可以为该面片进行标识，即标识该面片不为待优化面片，例如标识该面片为inactive，相应地，保持标识为inactive的面片在三维重建模型中的位置不变。
本实施例提供的三维重建模型的优化方法，通过获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。由于本实施例并不是直接对所有面片进行优化，而是对从中确定出来的待优化面片进行优化处理，因此提高了三维重建模型的优化效率，降低了噪声引入的概率。
在一些实施例中，上述S202的一种可能的实现方式可以包括S2021和S2022：
S2021、根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片分别在M张所述参考图像上的重投影的区域的梯度。
S2022、根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片。
本实施例中，根据面片分别投影到M张参考图像中的重投影误差，可以确定面片分别在M张参考图像上的重投影的区域，然后确定该面片分别在该M张参考图像上的重投影的区域的梯度。其中，确定该重投影的区域的梯度的一种可能的实现方式为：确定该重投影的区域中每个点的梯度，然后根据该重投影的区域中所有点的梯度，确定该面片在该重投影的区域的梯度。例如，该面片在该重投影的区域的梯度可以为该重投影的区域中所有点的梯度之和。
然后根据该面片分别在M张参考图像上的重投影的区域的梯度，确定该该面片是否为待优化面片，例如：根据面片分别在M张参考图像上的重投影的区域的梯度，确定面片的目标梯度；再根据目标梯度与预设梯度的比较结果，确定面片是否为待优化面片，例如：判断面片的目标梯度是否大于预设梯度，若目标梯度大于预设梯度，则确定面片为待优化面片，若目标梯度小于等于预设梯度，则确定面片不为待优化面片。
可选地，所述目标梯度包括以下中的一种：所述面片在M张所述参考图像上的重投影的区域的梯度中的最大梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的最小梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的平均梯度。需要说明的是，本实施例的目标梯度不限于此。
本实施例根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，可以更加准确地确定出待优化面片，提高三维重建模型的优化效率，降低噪声引入的概率。
在一些实施例中，上述S202的一种可能的实现方式可以包括S2021’和S2022’：
S2021’、根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差。
S2022’、根据所述目标重投影误差，确定所述面片是否为待优化面片。
本实施例中，根据面片分别投影到M张参考图像中的重投影误差，可以确定面片的目标重投影误差，该目标重投影误差例如包括以下中的一种：所述面片在M张所述参考图像中的最大重投影误差、所述面片在M张所述参考图像中的最小重投影误差、所述面片在M张所述参考图像中的平均重投影误差。需要说明的是，本实施例的目标重投影误差不限于此。然后根据该目标重投影误差，确定所述面片是否为待优化面片，其中，一种实现方式可以为：根据目标重投影误差与预设重投影误差的比较结果，确定面片是否为待优化面片，例如：判断面片的目标重投影误差是否大于预设重投影误差，若目标重投影误差大于预设重投影误差，则确定面片为待优化面片，若目标重投影误差小于等于预设重投影误差，则确定面片不为待优化面片。
可选地，所述面片分别投影到M张所述参考图像中每张参考图像的重投影误差可以由该面片投影到该参考图像中的像素区域中的点的梯度之和来表示。也即，面片对应的重投影误差与面片对应的重投影的区域的梯度相关，例如，呈正相关。
本实施例根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差，根据所述目标重投影误差，确定所述面片是否为待优化面片，可以更加准确地确定出待优化面片，提高三维重建模型 的优化效率，降低噪声引入的概率。例如：若目标重投影误差为所述面片在M张所述参考图像中的最大重投影误差，最大重投影误差越大，表示该面片误差越大，越应该被优化。
图3为本申请另一实施例提供的三维重建模型的优化方法的流程图，如图3所示，本实施例的方法可以包括：
S301、获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度。
S302、根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片。
S303、若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
本实施例中，目标物体的待优化的三维重建模型是根据N张初始图像生成的且由多个面片组成的模型，其中，N张初始图像至少包括该目标物体的部分图像，所述N为大于等于2的整数。可选地，面片例如为三角形面片。三维重建模型上的几何细节可能分布不均匀，有些面片中的几何细节少，有些面片中的几何细节丰富，因此可以对几何细节多的面片进行优化处理，使得几何细节分布尽可能均匀。
首先获取目标物体的待优化的三维重建模型中的每个面片分别在M张参考图像上的对应区域的纹理复杂度，其中，参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述M为大于等于2且小于等于N的整数。M张参考图像为N张初始图像中的M张初始图像分别下采样L个层级获得的M张图像。
可选地，在执行上述S301之前，还对N张初始图像中的M张初始图像中每个初始图像下采样L个层级，获得M张参考图像。
可选地，在执行上述S301之前，还对N张初始图像中每张初始图像中每个初始图像下采样L个层级，获得N张参考图像，然后获取面片分别投影到N张参考图像中的像素区域的面积。如果面片投影到参考图像中的像素区域的面积大于预设值，则获取面片在该参考图像上的对应区域的纹理复杂度，如果面片投影到参考图像中的像素区域的面积不大于预设值，则不获取该面片在该参考图像上的对应区域的纹理复杂度。如果面片分别投影到N个参考 图像中的像素区域的面积都大于预设值，则上述M等于N。如果面片分别投影到N个参考图像中的像素区域的面积不全大于预设值，则上述M小于N。其中，该预设值为根据面片的面积确定。
下面以一个面片为例进行说明，其它面片的处理相同。在获得面片分别在M张参考图像上的对应区域的纹理复杂度之后，根据面片分别在M张参考图像上的对应区域的纹理复杂度，确定面片是否为待优化面片。如果确定该面片为待优化面片，则调整该面片在该三维重建模型中的位置，调整位置后的面片为优化后的面片，以获得优化后的三维重建模型。如果确定面片不为待优化面片，则无需调整该面片在该三维重建模型中的位置，即保持该面片在三维重建模型中的位置不变。
可选地，在确定面片为待优化面片后，可以为该面片进行标识，即标识该面片为待优化面片，例如标识该面片为active，相应地，调整标识为active的面片在三维重建模型中的位置。
可选地，在确定面片不为待优化面片后，可以为该面片进行标识，即标识该面片不为待优化面片，例如标识该面片为inactive，相应地，保持标识为inactive的面片在三维重建模型中的位置不变。
本实施例提供的三维重建模型的优化方法，通过获取目标物体的待优化的三维重建模型中的每个面片分别在M张参考图像上的对应区域的纹理复杂度；根据所述面片分别在M张参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。由于本实施例并不是直接对所有面片进行优化，而是对从中确定出来的待优化面片进行优化处理，因此提高了三维重建模型的优化效率，降低了噪声引入的概率。
在一些实施例中，上述S302的一种可能的实现方式可以包括S3021和S3022：
S3021、根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片的目标纹理复杂度。
S3022、根据所述目标纹理复杂度与预设值的比较结果，确定所述面片是否为待优化面片。
本实施例中，根据面片分别在M张所述参考图像上的对应区域的纹理复 杂度，可以确定面片的目标纹理复杂度，该目标纹理复杂度例如包括以下中的一种：所述面片在M张所述参考图像中的最大纹理复杂度、所述面片在M张所述参考图像中的最小纹理复杂度、所述面片在M张所述参考图像中的平均纹理复杂度。需要说明的是，本实施例的目标纹理复杂度不限于此。然后根据该目标重投影误差，确定所述面片是否为待优化面片，其中，一种实现方式可以为：根据目标纹理复杂度与预设纹理复杂度的比较结果，确定面片是否为待优化面片，例如：判断面片的目标纹理复杂度是否大于预设纹理复杂度，若目标纹理复杂度大于预设纹理复杂度，则确定面片为待优化面片，若目标纹理复杂度小于等于预设纹理复杂度，则确定面片不为待优化面片。
本实施例根据所述面片分别投影到M张所述参考图像中的纹理复杂度，确定所述面片的目标纹理复杂度，根据所述目标纹理复杂度，确定所述面片是否为待优化面片，可以更加准确地确定出待优化面片，提高三维重建模型的优化效率，降低噪声引入的概率。例如：若目标纹理复杂度为所述面片在M张所述参考图像中的最大纹理复杂度，最大纹理复杂度越大，表示该面片越应该被优化。
在一些实施例中，在上述各实施例的基础上，上述S203和S303中的调整面片在所述三维重建模型中的位置，以获得优化后的三维重建模型的一种可能的实现方式可以包括步骤A1和A2：
A1、将所述面片划分为K个面片。
A2、调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
本实施例中，在确定面片为待化为面片后，将该面片进行细分，即将该面片划分为K个面片，所述K为大于等于2的整数。然后再去调整K个面片中每个面片在三维重建模型中的位置，以获得优化后的三维重建模型，优化后的三维重建模型包括调整过位置的所述K个面片。
本实施例是将面片细分为更小的面片，再对更小的面片进行优化，以便优化后的三维重建模型具有更精细的细节。
可选地，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。可以将待优化面片经一次细化得到分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积的K个面片， 也可以将待优化面片经多次细化得到所述K个面片。
在一些实施例中，上述A2的一种可能的实现方式为：将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
首先将面片划分为H个面片，所述H为大于等于2且小于等于K的整数；再判断第一划分后获得的H个面片中的每个面片分别投影至P张参考图像中的像素区域的面积是否大于预设面积，若第一次划分后的至少一个面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将第一次划分后的该至少一个面片分别再次划分为H个面片；若第一次划分后的每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积，则对这些面片不再继续划分面片。再判断第二次划分后获得的H个面片中每个面片分别投影至P张参考图像中的像素区域的面积是否大于预设面积，若第二次划分后的每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积，则对这些面片不再继续划分面片；若第二次划分后的至少一个面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将第二次划分后的该至少一个面片中每个面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
需要说明的是，在一些情况下，在第一次将每个面片划分为H个面片后，可能获得K个面片，这K个片面中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，上述将所述面片划分为H个面片的一种可能的实现方式为：在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。以面片为三角形面片为例，如图4所示，例如H等于4，在三角形面片的顶点A与顶点B之间的边(例如边的中间位置)增加一个顶点D，在三角形面片的顶点B与顶点C之间的边(例如边的中间位置)增加一个顶点E，在三角形面片的顶点A与顶点C之间的边(例如边的中间位置)增加一个顶点F，将顶点D与顶点E连接形成边，将顶点D与顶点F连接形 成边，将顶点E与顶点F连接形成边，从而将原三角形面片划分为四个三角形面片。
在一些实施例中，在上述各实施例的基础上，在执行上述S203或S303之后还更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
以L的初始值等于2为例，针对L等于2时，执行上述S201-S203或S301-S303，获得初始图像在下采样2个层级时优化后的三维重建模型。然后更新L＝1，针对L＝1再次执行上述S201-S203或S301-S303，在执行S201或S301时，目标物体的待优化的三维重建模型为下采样2个层级时优化后的三维重建模型。再更新L＝0，针好L＝0再次执行上述S201-S203或S301-S303，在执行S201或S301时，目标物体的待优化的三维重建模型为下采样1个层级时优化后的三维重建模型，需要说明的是，当L＝0时，参考图像即为初始图像。
由于每更新一次L，即对当前优化获得的三维重建模型再次进行一次优化，使得最终获得的三维重建模型的精度更高。而且每更新一次L，参考图像的分辨率随之增大，面片也会减小，相应地获得的优化后的三维重建模型精度增高。
需要说明的是，上述图2所示的实施例与图3所示的实施例可以结合使用，例如图2与图3交替使用，首次优化三维重建模型时，采用图2所示的实施例，更新一次L并采用图3所示的实施例，再更新一次L并采用图2所示的实施例，以此类推。需要说明的是，图2与图3结合使用例子并不限于此。
在一些实施例中，在上述各实施例的基础上，上述各实施例中调整面片在三维重建模型中的位置的一种可能的实现方式可以为：
获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
本实施例中，需要多次调整面片在三维重建模型中的位置，首次调整面片在三维重建模型中的位置，然后获取首次调整后面片在三维重建模型中的位置，在首次调整后面片在三维重建模型中的位置的基础上，第二次调整面 片在三维重建模型中的位置，再获取第二次调整后面片在三维重建模型中的位置，在第二次调整后面片在三维重建模型中的位置基础上，第三次调整面片在三维重建模型中的位置，以此类推，直至调整的次数等于预设次数。本实施例通过逐步多次调整面片在三维重建模型中的位置来优化三维重建模型，避免引入更大的噪声。
在一些实施例中，上述各实施例中的调整面片在三维重建模型中的位置的一种可能的实现方式为：调整面片的顶点在三维重建模型中的位置。顶点的位置发生变化，相应地，面片的位置发生变化。
在一些实施例中，上述调整所述面片的顶点在所述三维重建模型中的位置的一种可能的实现方式为：获取所述面片的顶点的梯度；根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
本实施例中，获取面片的每一个顶点的梯度，针对每个顶点，根据该顶点的梯度，调整面片的顶点在三维重建模型中的位置。如果需要多次调整面片的位置，则首次获取顶点的梯度，根据首次获取的顶点的梯度调整面片的顶点在三维重建模型中的位置，获取顶点第一次调整位置后的梯度，根据顶点第一调整位置后的梯度第二次调整顶点在三维重建模型中的位置，获取顶点第二次调整位置后的梯度，根据顶点第二调整位置后的梯度第三次调整顶点在三维重建模型中的位置，以此类推，直至调整次数等于预设次数。
在一些实施例中，上述根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置的一种可能的实现方式为：将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。可选地，预设步长与所述顶点所属的多个面片的边长相关。如图5所示，以面片为三角形面片为例，顶点O属于三角形面片1至三角形面片6，则顶点O的预设步长与三角形面片1至三角形面片6的边长有关，例如顶点O的预设步长为三角形面片1至三角形面片6中所有边长的平均边长有关，该预设步长例如小于等于三角形面片1至三角形面片6中所有边长的平均边长的一个倍数，该倍数例如为0.2倍。
在一些实施例中，上述获取所述面片的顶点的梯度的一种可能的实现方式为：获取所述顶点所属的多个面片中每个点的梯度；根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
以图5所示，获取三角形面片1至三角形面片6中每个点的梯度，然后 根据这些点的梯度，获取顶点O的梯度。
在一些实施例中，根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度的一种可能的实现方式为：根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
以图5为例，顶点O的梯度是由三角形面片1至三角形面片6中每个点的梯度加权后的积分确定，其中，每个点的梯度的权重与该点与顶点O之间的距离正相关。
其中，顶点所属的多个面片中每个点的梯度加权后的积分可以由如下公式表示：
Figure PCTCN2019103877-appb-000001
其中，N表示顶点所属的多个面片的集合(例如如图5所示的三角形面片1至三角形面片6)，x表示顶点所属的多个面片中的点，
Figure PCTCN2019103877-appb-000002
表示点x的梯度，φ(x)为
Figure PCTCN2019103877-appb-000003
的权重。其中，φ(x)与点x所属的面片的各个顶点的位置以及点x与该各个顶点之间的距离有关。以面片为图5为例，假设点x为三角形面片1中的点，则点x与所属三角形的三个顶点之间的关系为：Px＝w1*P A+w2*P B+w3*P C，P A表示点x所属的三角形面片的顶点A的位置，P B表示点x所属的三角形面片的顶点B的位置，P C表示点x所属的三角形面片的顶点C的位置，Px表示点x在所属三角形面片的位置。w1与点x与顶点A之间的距离有关，例如：点x与顶点A之间的距离越近，w1越大。w2与点x与顶点B之间的距离有关，例如：点x与顶点B之间的距离越近，w2越大。w3与点x与顶点C之间的距离有关，例如：点x与顶点C之间的距离越近，w3越大。当需要通过上述公式获取顶点A的梯度时，上述公式中的φ(x)取值为w1；当需要通过上述公式获取顶点B的梯度时，上述公式中的φ(x)取值为w2；当需要通过上述公式获取顶点C的梯度时，上述公式中的φ(x)取值为w3。
图6为本申请一实施例提供的三维重建模型的优化设备的结构示意图，如图6所示，本实施例的三维重建模型的优化设备600可以包括：拍摄装置601和处理器602。其中，拍摄装置601和处理器602可以通过总线连接。
拍摄装置601，用于采集初始图像。
处理器602，用于获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；根据所述面片分别投影到M张 所述参考图像中的重投影误差，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
其中，所述三维重建模型是所述处理器602根据所述拍摄装置拍摄的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
在一些实施例中，所述处理器602，还用于在所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
在一些实施例中，所述处理器602，还用于对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
在一些实施例中，所述处理器602，具体用于：
根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片分别在M张所述参考图像上的重投影的区域的梯度；
根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片。
在一些实施例中，所述处理器602，具体用于：
根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片的目标梯度；
根据所述目标梯度与预设梯度的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标梯度包括以下中的一种：
所述面片在M张所述参考图像上的重投影的区域的梯度中的最大梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的最小梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的平均梯度。
在一些实施例中，若所述目标梯度大于预设梯度，则所述面片为待优化面片。
在一些实施例中，所述处理器602，具体用于：
根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差；
根据所述目标重投影误差，确定所述面片是否为待优化面片。
在一些实施例中，所述处理器602，具体用于：
根据所述目标重投影误差与预设重投影误差的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标重投影误差包括以下中的一种：
所述面片在M张所述参考图像中的最大重投影误差、所述面片在M张所述参考图像中的最小重投影误差、所述面片在M张所述参考图像中的平均重投影误差。
在一些实施例中，若所述目标重投影误差大于预设重投影误差，则所述面片为待优化面片。
在一些实施例中，所述处理器602，具体用于：
将所述面片划分为K个面片，所述K为大于等于2的整数；
调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
在一些实施例中，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器602，具体用于：
将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器602，具体用于：
在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
在一些实施例中，所述处理器602，还用于更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图 像在后一下采样层级时所述目标物体的待优化的三维重建模型。
在一些实施例中，所述处理器602，具体用于：
获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
在一些实施例中，所述处理器602，具体用于：
调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器602，具体用于：
获取所述面片的顶点的梯度；
根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器602，具体用于：
将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
在一些实施例中，所述预设步长与所述顶点所属的多个面片的边长相关。
在一些实施例中，所述处理器602，具体用于：
获取所述顶点所属的多个面片中每个点的梯度；
根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
在一些实施例中，所述处理器602，具体用于：
根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
在一些实施例中，所述面片为三角形面片。
可选地，本实施例的三维重建模型的优化设备600还可以包括：用于存储程序代码的存储器(图中未示出)，存储器用于存储程序代码，当程序代码被执行时，所述三维重建模型的优化设备600可以实现上述的技术方案。
本实施例的三维重建模型的优化设备，可以用于执行图2及对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本申请另一实施例提供的三维重建模型的优化设备的结构示意图，如图7所示，本实施例的三维重建模型的优化设备700可以包括：拍摄装置701和处理器702。其中，拍摄装置701和处理器702可以通过总线连接。
拍摄装置701，用于采集初始图像。
处理器702，用于获取目标物体的待优化的三维重建模型中的每个面片， 分别在M张参考图像上的对应区域的纹理复杂度；根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
其中，所述三维重建模型是所述处理器702根据所述拍摄装置701采集的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
在一些实施例中，所述处理器702，还用于在所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
在一些实施例中，所述处理器702，还用于：
对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
在一些实施例中，所述处理器702，具体用于：
根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片的目标纹理复杂度；
根据所述目标纹理复杂度与预设值的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标纹理复杂度包括以下中的一种：
所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最大纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最小纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的平均纹理复杂度。
在一些实施例中，若所述目标纹理复杂度大于预设纹理复杂度，则所述面片为待优化面片。
在一些实施例中，所述处理器702，具体用于：
将所述面片划分为K个面片，所述K为大于等于2的整数；
调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
在一些实施例中，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器702，具体用于：
将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器702，具体用于：
在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
在一些实施例中，所述处理器702，还用于更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
在一些实施例中，所述处理器702，具体用于：
获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
在一些实施例中，所述处理器702，具体用于：
调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器702，具体用于：
获取所述面片的顶点的梯度；
根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器702，具体用于：
将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
在一些实施例中，所述预设步长与所述顶点所属的多个面片的边长相关。
在一些实施例中，所述处理器702，具体用于：
获取所述顶点所属的多个面片中每个点的梯度；
根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
在一些实施例中，所述处理器702，具体用于：
根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
在一些实施例中，所述面片为三角形面片。
可选地，本实施例的三维重建模型的优化设备700还可以包括：用于存储程序代码的存储器(图中未示出)，存储器用于存储程序代码，当程序代码被执行时，所述三维重建模型的优化设备700可以实现上述的技术方案。
本实施例的三维重建模型的优化设备，可以用于执行图3及对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请一实施例提供的可移动平台的结构示意图，如图8所示，本实施例的可移动平台800可以包括：拍摄装置801和处理器802。其中，拍摄装置801和处理器802可以通过总线连接。
拍摄装置801，用于采集初始图像。
处理器802，用于获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
其中，所述三维重建模型是所述处理器802根据所述拍摄装置801拍摄的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
在一些实施例中，所述处理器802，还用于在所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
在一些实施例中，所述处理器802，还用于对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
在一些实施例中，所述处理器802，具体用于：
根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述 面片分别在M张所述参考图像上的重投影的区域的梯度；
根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片。
在一些实施例中，所述处理器802，具体用于：
根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片的目标梯度；
根据所述目标梯度与预设梯度的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标梯度包括以下中的一种：
所述面片在M张所述参考图像上的重投影的区域的梯度中的最大梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的最小梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的平均梯度。
在一些实施例中，若所述目标梯度大于预设梯度，则所述面片为待优化面片。
在一些实施例中，所述处理器802，具体用于：
根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差；
根据所述目标重投影误差，确定所述面片是否为待优化面片。
在一些实施例中，所述处理器802，具体用于：
根据所述目标重投影误差与预设重投影误差的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标重投影误差包括以下中的一种：
所述面片在M张所述参考图像中的最大重投影误差、所述面片在M张所述参考图像中的最小重投影误差、所述面片在M张所述参考图像中的平均重投影误差。
在一些实施例中，若所述目标重投影误差大于预设重投影误差，则所述面片为待优化面片。
在一些实施例中，所述处理器802，具体用于：
将所述面片划分为K个面片，所述K为大于等于2的整数；
调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优 化后的三维重建模型；
其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
在一些实施例中，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器802，具体用于：
将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器802，具体用于：
在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
在一些实施例中，所述处理器802，还用于更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
在一些实施例中，所述处理器802，具体用于：
获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
在一些实施例中，所述处理器802，具体用于：
调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器802，具体用于：
获取所述面片的顶点的梯度；
根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器802，具体用于：
将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
在一些实施例中，所述预设步长与所述顶点所属的多个面片的边长相关。
在一些实施例中，所述处理器802，具体用于：
获取所述顶点所属的多个面片中每个点的梯度；
根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
在一些实施例中，所述处理器802，具体用于：
根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
在一些实施例中，所述面片为三角形面片。
可选地，本实施例的可移动平台800还可以包括：用于存储程序代码的存储器(图中未示出)，存储器用于存储程序代码，当程序代码被执行时，所述可移动平台800可以实现上述的技术方案。
本实施例的可移动平台，可以用于执行图2及对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本申请另一实施例提供的可移动平台的结构示意图，如图9所示，本实施例的可移动平台900可以包括：拍摄装置901和处理器902。其中，拍摄装置901和处理器902可以通过总线连接。
拍摄装置901，用于采集初始图像。
处理器902，用于获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度；根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型。
其中，所述三维重建模型是所述处理器902根据所述拍摄装置901采集的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
在一些实施例中，所述处理器902，还用于在所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
在一些实施例中，所述处理器902，还用于：
对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
在一些实施例中，所述处理器902，具体用于：
根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片的目标纹理复杂度；
根据所述目标纹理复杂度与预设值的比较结果，确定所述面片是否为待优化面片。
在一些实施例中，所述目标纹理复杂度包括以下中的一种：
所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最大纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最小纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的平均纹理复杂度。
在一些实施例中，若所述目标纹理复杂度大于预设纹理复杂度，则所述面片为待优化面片。
在一些实施例中，所述处理器902，具体用于：
将所述面片划分为K个面片，所述K为大于等于2的整数；
调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
在一些实施例中，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器902，具体用于：
将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
在一些实施例中，所述处理器902，具体用于：
在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
在一些实施例中，所述处理器902，还用于更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
在一些实施例中，所述处理器902，具体用于：
获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
在一些实施例中，所述处理器902，具体用于：
调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器902，具体用于：
获取所述面片的顶点的梯度；
根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
在一些实施例中，所述处理器902，具体用于：
将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
在一些实施例中，所述预设步长与所述顶点所属的多个面片的边长相关。
在一些实施例中，所述处理器902，具体用于：
获取所述顶点所属的多个面片中每个点的梯度；
根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
在一些实施例中，所述处理器902，具体用于：
根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
在一些实施例中，所述面片为三角形面片。
可选地，本实施例的可移动平台900还可以包括：用于存储程序代码的存储器(图中未示出)，存储器用于存储程序代码，当程序代码被执行时，所述可移动平台900可以实现上述的技术方案。
本实施例的可移动平台，可以用于执行图3及对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请另一实施例提供的可移动平台的结构示意图，如图10所示，本实施例的可移动平台1000可以包括：可移动平台本体1001以及三维重建模型的优化设备1002。
其中，所述三维重建模型的优化设备1002安装于所述可移动平台本体1001上。三维重建模型的优化设备1002可以是独立于可移动平台本体1001的设备。
其中，三维重建模型的优化设备1002可以采用图6所示装置实施例的结构，其对应地，可以执行图2及其对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。或者，
其中，三维重建模型的优化设备1002可以采用图7所示装置实施例的结构，其对应地，可以执行图3及其对应方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (89)

  1. 一种三维重建模型的优化方法，其特征在于，包括：
    获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；
    根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；
    若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述三维重建模型是根据N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
  2. 根据权利要求1所述的方法，其特征在于，在所述确定所述面片是否为待优化面片之后，所述方法还包括：
    若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
  3. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片，包括：
    根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片分别在M张所述参考图像上的重投影的区域的梯度；
    根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片，包括：
    根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定 所述面片的目标梯度；
    根据所述目标梯度与预设梯度的比较结果，确定所述面片是否为待优化面片。
  6. 根据权利要求5所述的方法，其特征在于，所述目标梯度包括以下中的一种：
    所述面片在M张所述参考图像上的重投影的区域的梯度中的最大梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的最小梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的平均梯度。
  7. 根据权利要求5或6所述的方法，其特征在于，若所述目标梯度大于预设梯度，则所述面片为待优化面片。
  8. 根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片，包括：
    根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差；
    根据所述目标重投影误差，确定所述面片是否为待优化面片。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述目标重投影误差，确定所述面片是否为待优化面片，包括：
    根据所述目标重投影误差与预设重投影误差的比较结果，确定所述面片是否为待优化面片。
  10. 根据权利要求9所述的方法，其特征在于，所述目标重投影误差包括以下中的一种：
    所述面片在M张所述参考图像中的最大重投影误差、所述面片在M张所述参考图像中的最小重投影误差、所述面片在M张所述参考图像中的平均重投影误差。
  11. 根据权利要求9或10所述的方法，其特征在于，若所述目标重投影误差大于预设重投影误差，则所述面片为待优化面片。
  12. 根据权利要求1-11任一项所述的方法，其特征在于，所述调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型，包括：
    将所述面片划分为K个面片，所述K为大于等于2的整数；
    调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
  13. 根据权利要求12所述的方法，其特征在于，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  14. 根据权利要求13所述的方法，其特征在于，所述将所述面片划分为K个面片，包括：
    将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
    若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  15. 根据权利要求14所述的方法，其特征在于，所述将所述面片划分为H个面片，包括：
    在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
  16. 根据权利要求1-15任一项所述的方法，其特征在于，所述方法还包括：
    更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
  17. 根据权利要求1-16任一项所述的方法，其特征在于，所述调整面片在所述三维重建模型中的位置，包括：
    获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
  18. 根据权利要求1-17任一项所述的方法，其特征在于，所述调整所述面片在所述三维重建模型中的位置，包括：
    调整所述面片的顶点在所述三维重建模型中的位置。
  19. 根据权利要求18所述的方法，其特征在于，所述调整所述面片的顶点在所述三维重建模型中的位置，包括：
    获取所述面片的顶点的梯度；
    根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
  20. 根据权利要求19所述的方法，其特征在于，所述根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置，包括：
    将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
  21. 根据权利要求20所述的方法，其特征在于，所述预设步长与所述顶点所属的多个面片的边长相关。
  22. 根据权利要求19-21任一项所述的方法，其特征在于，所述获取所述面片的顶点的梯度，包括：
    获取所述顶点所属的多个面片中每个点的梯度；
    根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
  23. 根据权利要求22所述的方法，其特征在于，所述根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度，包括：
    根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
  24. 根据权利要求1-23任一项所述的方法，其特征在于，所述面片为三角形面片。
  25. 一种三维重建模型的优化方法，其特征在于，包括：
    获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度；
    根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；
    若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述三维重建模型是根据N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
  26. 根据权利要求25所述的方法，其特征在于，在所述确定所述面片是否为待优化面片之后，所述方法还包括：
    若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
  27. 根据权利要求26所述的方法，其特征在于，所述方法还包括：
    对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
  28. 根据权利要求25-27任一项所述的方法，其特征在于，所述根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片，包括：
    根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片的目标纹理复杂度；
    根据所述目标纹理复杂度与预设值的比较结果，确定所述面片是否为待优化面片。
  29. 根据权利要求28所述的方法，其特征在于，所述目标纹理复杂度包括以下中的一种：
    所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最大纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最小纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的平均纹理复杂度。
  30. 根据权利要求28或29所述的方法，其特征在于，若所述目标纹理复杂度大于预设纹理复杂度，则所述面片为待优化面片。
  31. 根据权利要求25-30任一项所述的方法，其特征在于，所述调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型，包括：
    将所述面片划分为K个面片，所述K为大于等于2的整数；
    调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
  32. 根据权利要求31所述的方法，其特征在于，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  33. 根据权利要求32所述的方法，其特征在于，所述将所述面片划分为 K个面片，包括：
    将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
    若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  34. 根据权利要求33所述的方法，其特征在于，所述将所述面片划分为H个面片，包括：
    在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
  35. 根据权利要求25-34任一项所述的方法，其特征在于，所述方法还包括：
    更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
  36. 根据权利要求25-35任一项所述的方法，其特征在于，所述调整面片在所述三维重建模型中的位置，包括：
    获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
  37. 根据权利要求25-36任一项所述的方法，其特征在于，所述调整所述面片在所述三维重建模型中的位置，包括：
    调整所述面片的顶点在所述三维重建模型中的位置。
  38. 根据权利要求37所述的方法，其特征在于，所述调整所述面片的顶点在所述三维重建模型中的位置，包括：
    获取所述面片的顶点的梯度；
    根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
  39. 根据权利要求38所述的方法，其特征在于，所述根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置，包括：
    将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
  40. 根据权利要求39所述的方法，其特征在于，所述预设步长与所述顶点所属的多个面片的边长相关。
  41. 根据权利要求38-40任一项所述的方法，其特征在于，所述获取所述面片的顶点的梯度，包括：
    获取所述顶点所属的多个面片中每个点的梯度；
    根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
  42. 根据权利要求41所述的方法，其特征在于，所述根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度，包括：
    将所述顶点所属的多个面片中每个点的梯度加权后的积分，确定为所述顶点的梯度。
  43. 根据权利要求25-42任一项所述的方法，其特征在于，所述面片为三角形面片。
  44. 一种三维重建模型的优化设备，其特征在于，包括：
    拍摄装置，用于采集初始图像；
    处理器，用于获取目标物体的待优化的三维重建模型中的每个面片分别投影到M张参考图像中的重投影误差；根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述三维重建模型是所述处理器根据所述拍摄装置拍摄的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于3的整数，所述M为大于等于2且小于等于N的整数。
  45. 根据权利要求44所述的设备，其特征在于，所述处理器，还用于在所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
  46. 根据权利要求45所述的设备，其特征在于，所述处理器，还用于对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
  47. 根据权利要求44-46任一项所述的设备，其特征在于，所述处理器， 具体用于：
    根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片分别在M张所述参考图像上的重投影的区域的梯度；
    根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片是否为待优化面片。
  48. 根据权利要求47所述的设备，其特征在于，所述处理器，具体用于：
    根据所述面片分别在M张所述参考图像上的重投影的区域的梯度，确定所述面片的目标梯度；
    根据所述目标梯度与预设梯度的比较结果，确定所述面片是否为待优化面片。
  49. 根据权利要求48所述的设备，其特征在于，所述目标梯度包括以下中的一种：
    所述面片在M张所述参考图像上的重投影的区域的梯度中的最大梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的最小梯度、所述面片在M张所述参考图像上的重投影的区域的梯度中的平均梯度。
  50. 根据权利要求48或49所述的设备，其特征在于，若所述目标梯度大于预设梯度，则所述面片为待优化面片。
  51. 根据权利要求44-46任一项所述的设备，其特征在于，所述处理器，具体用于：
    根据所述面片分别投影到M张所述参考图像中的重投影误差，确定所述面片的目标重投影误差；
    根据所述目标重投影误差，确定所述面片是否为待优化面片。
  52. 根据权利要求51所述的设备，其特征在于，所述处理器，具体用于：
    根据所述目标重投影误差与预设重投影误差的比较结果，确定所述面片是否为待优化面片。
  53. 根据权利要求52所述的设备，其特征在于，所述目标重投影误差包括以下中的一种：
    所述面片在M张所述参考图像中的最大重投影误差、所述面片在M张所述参考图像中的最小重投影误差、所述面片在M张所述参考图像中的平均重投影误差。
  54. 根据权利要求52或53所述的设备，其特征在于，若所述目标重投影误差大于预设重投影误差，则所述面片为待优化面片。
  55. 根据权利要求44-54任一项所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片划分为K个面片，所述K为大于等于2的整数；
    调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
  56. 根据权利要求55所述的设备，其特征在于，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  57. 根据权利要求56所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
    若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  58. 根据权利要求57所述的设备，其特征在于，所述处理器，具体用于：
    在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
  59. 根据权利要求44-58任一项所述的设备，其特征在于，所述处理器，还用于更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
  60. 根据权利要求44-59任一项所述的设备，其特征在于，所述处理器，具体用于：
    获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
  61. 根据权利要求44-60任一项所述的设备，其特征在于，所述处理器，具体用于：
    调整所述面片的顶点在所述三维重建模型中的位置。
  62. 根据权利要求61所述的设备，其特征在于，所述处理器，具体用于：
    获取所述面片的顶点的梯度；
    根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
  63. 根据权利要求62所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
  64. 根据权利要求63所述的设备，其特征在于，所述预设步长与所述顶点所属的多个面片的边长相关。
  65. 根据权利要求62-64任一项所述的设备，其特征在于，所述处理器，具体用于：
    获取所述顶点所属的多个面片中每个点的梯度；
    根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
  66. 根据权利要求65所述的设备，其特征在于，所述处理器，具体用于：
    根据所述顶点所属的多个面片中每个点的梯度加权后的积分，确定所述顶点的梯度。
  67. 根据权利要求44-66任一项所述的设备，其特征在于，所述面片为三角形面片。
  68. 一种三维重建模型的优化设备，其特征在于，包括：
    拍摄装置，用于采集初始图像；
    处理器，用于获取目标物体的待优化的三维重建模型中的每个面片，分别在M张参考图像上的对应区域的纹理复杂度；根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片是否为待优化面片；若所述面片为所述待优化面片，则调整所述面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述三维重建模型是所述处理器根据所述拍摄装置采集的N张初始图像生成的且由多个所述面片组成的模型，所述N张初始图像至少包括所述目标物体的部分图像，所述参考图像为所述初始图像下采样L个层级获得的图像，所述L为大于等于0的整数，所述N为大于等于2的整数，所述M为大于等于2且小于等于N的整数。
  69. 根据权利要求68所述的设备，其特征在于，所述处理器，还用于在 所述确定所述面片是否为待优化面片之后，若所述面片不为所述待优化面片，则保持所述面片在所述三维重建模型中的位置不变。
  70. 根据权利要求69所述的设备，其特征在于，所述处理器，还用于：
    对为所述待优化面片和/或不为所述待优化面片的所述面片进行标识。
  71. 根据权利要求68-70任一项所述的设备，其特征在于，所述处理器，具体用于：
    根据所述面片分别在M张所述参考图像上的对应区域的纹理复杂度，确定所述面片的目标纹理复杂度；
    根据所述目标纹理复杂度与预设值的比较结果，确定所述面片是否为待优化面片。
  72. 根据权利要求71所述的设备，其特征在于，所述目标纹理复杂度包括以下中的一种：
    所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最大纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的最小纹理复杂度、所述面片在M张所述参考图像上的对应区域的纹理复杂度中的平均纹理复杂度。
  73. 根据权利要求71或72所述的设备，其特征在于，若所述目标纹理复杂度大于预设纹理复杂度，则所述面片为待优化面片。
  74. 根据权利要求68-73任一项所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片划分为K个面片，所述K为大于等于2的整数；
    调整所述K个面片中每个面片在所述三维重建模型中的位置，以获得优化后的三维重建模型；
    其中，所述优化后的三维重建模型包括调整过位置的所述K个面片。
  75. 根据权利要求74所述的设备，其特征在于，所述K个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  76. 根据权利要求75所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片划分为H个面片，所述H为大于等于2且小于等于K的整数；
    若划分后的面片分别投影至P张所述参考图像中的像素区域的面积大于预设面积，则将该划分后的面片再次划分为H个面片，直至划分后的所述K 个面片中每个面片分别投影至P张所述参考图像中的像素区域的面积小于等于预设面积。
  77. 根据权利要求76所述的设备，其特征在于，所述处理器，具体用于：
    在所述面片中每个边增加一个顶点，并将新增的顶点依次连接形成边，以获得H个面片。
  78. 根据权利要求68-77任一项所述的设备，其特征在于，所述处理器，还用于：
    更新所述L等于L-1，并将所述初始图像在前一下采样层级时优化后的三维重建模型，更新为所述初始图像在后一下采样层级时所述目标物体的待优化的三维重建模型。
  79. 根据权利要求68-78任一项所述的设备，其特征在于，所述处理器，具体用于：
    获取第i次调整位置后的所述面片的位置，再次调整所述面片在所述三维重建模型中的位置，所述i为大于等于0的整数。
  80. 根据权利要求68-79任一项所述的设备，其特征在于，所述处理器，具体用于：
    调整所述面片的顶点在所述三维重建模型中的位置。
  81. 根据权利要求80所述的设备，其特征在于，所述处理器，具体用于：
    获取所述面片的顶点的梯度；
    根据所述顶点的梯度，调整所述面片的顶点在所述三维重建模型中的位置。
  82. 根据权利要求81所述的设备，其特征在于，所述处理器，具体用于：
    将所述面片的顶点沿所述顶点的梯度对应的方向移动预设步长。
  83. 根据权利要求82所述的设备，其特征在于，所述预设步长与所述顶点所属的多个面片的边长相关。
  84. 根据权利要求81-83任一项所述的设备，其特征在于，所述处理器，具体用于：
    获取所述顶点所属的多个面片中每个点的梯度；
    根据所述顶点所属的多个面片中每个点的梯度，获取所述顶点的梯度。
  85. 根据权利要求84所述的设备，其特征在于，所述处理器，具体用于：
    将所述顶点所属的多个面片中每个点的梯度加权后的积分，确定为所述顶点的梯度。
  86. 根据权利要求68-85任一项所述的设备，其特征在于，所述面片为三角形面片。
  87. 一种可移动平台，其特征在于，包括：可移动平台本体以及如权利要求44-86任一项所述的三维重建模型的优化设备，其中，所述三维重建模型的优化设备安装于所述可移动平台本体上。
  88. 根据权利要求87所述的可移动平台，其特征在于，所述可移动平台包括手持电话、手持云台、无人机、无人车、无人船、机器人或自动驾驶汽车。
  89. 一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现如权利要求1-43任一项所述的三维重建模型的优化方法。
PCT/CN2019/103877 2019-08-30 2019-08-30 三维重建模型的优化方法、设备和可移动平台 WO2021035749A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980033605.1A CN112154485A (zh) 2019-08-30 2019-08-30 三维重建模型的优化方法、设备和可移动平台
PCT/CN2019/103877 WO2021035749A1 (zh) 2019-08-30 2019-08-30 三维重建模型的优化方法、设备和可移动平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103877 WO2021035749A1 (zh) 2019-08-30 2019-08-30 三维重建模型的优化方法、设备和可移动平台

Publications (1)

Publication Number Publication Date
WO2021035749A1 true WO2021035749A1 (zh) 2021-03-04

Family

ID=73891971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103877 WO2021035749A1 (zh) 2019-08-30 2019-08-30 三维重建模型的优化方法、设备和可移动平台

Country Status (2)

Country Link
CN (1) CN112154485A (zh)
WO (1) WO2021035749A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181763A (zh) * 2011-12-29 2013-07-03 上海联影医疗科技有限公司 磁共振成像变形的自适应矫正方法
CN103635937A (zh) * 2011-05-30 2014-03-12 原子能和辅助替代能源委员会 用于在部分已知环境中定位相机和3d重建的方法
CN103886595A (zh) * 2014-03-19 2014-06-25 浙江大学 一种基于广义统一模型的折反射相机自标定方法
US9135729B2 (en) * 2011-07-10 2015-09-15 Duerr Dental Ag Method and tomography apparatus for reconstruction of a 3D volume
CN108537865A (zh) * 2018-03-21 2018-09-14 哈尔滨工业大学深圳研究生院 一种基于视觉三维重建的古建筑模型生成方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982548B (zh) * 2012-12-11 2015-11-25 清华大学 多目立体视频采集系统及其相机参数标定方法
AU2017251725A1 (en) * 2017-10-24 2019-05-09 Canon Kabushiki Kaisha Calibration of projection systems
CN111784842B (zh) * 2020-06-29 2024-04-12 北京百度网讯科技有限公司 三维重建方法、装置、设备及可读储存介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103635937A (zh) * 2011-05-30 2014-03-12 原子能和辅助替代能源委员会 用于在部分已知环境中定位相机和3d重建的方法
US9135729B2 (en) * 2011-07-10 2015-09-15 Duerr Dental Ag Method and tomography apparatus for reconstruction of a 3D volume
CN103181763A (zh) * 2011-12-29 2013-07-03 上海联影医疗科技有限公司 磁共振成像变形的自适应矫正方法
CN103886595A (zh) * 2014-03-19 2014-06-25 浙江大学 一种基于广义统一模型的折反射相机自标定方法
CN108537865A (zh) * 2018-03-21 2018-09-14 哈尔滨工业大学深圳研究生院 一种基于视觉三维重建的古建筑模型生成方法和装置

Also Published As

Publication number Publication date
CN112154485A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
US10475209B2 (en) Camera calibration
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
US20220051574A1 (en) Flight route generation method, control device, and unmanned aerial vehicle system
US11057604B2 (en) Image processing method and device
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
US10621456B2 (en) Distance measurement method and apparatus, and unmanned aerial vehicle
WO2019155335A1 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
US11272105B2 (en) Image stabilization control method, photographing device and mobile platform
WO2019075758A1 (zh) 成像控制方法、成像装置和无人机
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
CN111578904B (zh) 一种基于等距螺线的无人机航测方法和系统
JP2023505987A (ja) 人間関節を用いた無人航空機上のカメラの校正
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
WO2019140688A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2021217371A1 (zh) 可移动平台的控制方法和装置
US20210229810A1 (en) Information processing device, flight control method, and flight control system
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6949930B2 (ja) 制御装置、移動体および制御方法
JP2018201119A (ja) モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体
WO2021035749A1 (zh) 三维重建模型的优化方法、设备和可移动平台

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943328

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943328

Country of ref document: EP

Kind code of ref document: A1