WO2022242192A1 - 物体投影重建系统及方法 - Google Patents

物体投影重建系统及方法 Download PDF

Info

Publication number
WO2022242192A1
WO2022242192A1 PCT/CN2021/143973 CN2021143973W WO2022242192A1 WO 2022242192 A1 WO2022242192 A1 WO 2022242192A1 CN 2021143973 W CN2021143973 W CN 2021143973W WO 2022242192 A1 WO2022242192 A1 WO 2022242192A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
layer
point cloud
dimensional model
camera device
Prior art date
Application number
PCT/CN2021/143973
Other languages
English (en)
French (fr)
Inventor
刘亦芃
杜国光
赵开勇
Original Assignee
达闼机器人股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 达闼机器人股份有限公司 filed Critical 达闼机器人股份有限公司
Publication of WO2022242192A1 publication Critical patent/WO2022242192A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser

Definitions

  • reconstruction-based and design-based There are mainly two methods for obtaining the 3D model of an object: reconstruction-based and design-based, among which reconstruction-based methods include projection 3D reconstruction methods.
  • reconstruction-based methods include projection 3D reconstruction methods.
  • the process of object projection is a process of line integration
  • the basic process of projection 3D reconstruction can be to measure the line integral data of these physical properties, that is, they are in one or several different directions
  • the projection value of and then the projection data is reconstructed by a specific algorithm to distribute the internal parameters.
  • the 3D reconstruction model of the object obtained by the projection 3D reconstruction method is affected by the shape, surface texture and material of the reconstructed object, so a new 3D reconstruction method is needed to avoid the influence of the object shape, surface texture and material on the reconstruction results. Impact.
  • the present disclosure aims to solve one of the technical problems in the related art at least to a certain extent.
  • the embodiment of the first aspect of the present disclosure proposes an object projection reconstruction system, the system includes: a camera device and a storage table;
  • the storage platform includes a storage platform body and a turntable that is rotatable relative to the storage platform body, and the turntable is used to place a target object;
  • the camera device is used to photograph the target object on the turntable in a rotating state at a fixed distance relative to the object table, and obtain multiple images, and the multiple images are used to reconstruct the target object 3D model.
  • the system further includes a guide rail disposed between the camera device and the storage table;
  • Any one of the camera device and the storage table can slide along the guide rail.
  • the system further includes a diffuse screen, and the camera device, the storage table, and the diffuse screen are sequentially arranged in the same linear direction, and the diffuse screen is used to eliminate Reflection of the target object.
  • the shooting direction of the target object by the camera device is parallel to the object placement surface of the turntable.
  • the frequency at which the camera captures the image of the target object is consistent with the rotation frequency of the turntable; and/or, the soft screen is a soft LED screen.
  • the system further includes a reconstruction module connected to the camera device, and the reconstruction module is configured to construct a three-dimensional model of the target object according to the multiple images.
  • the reconstruction module constructs a three-dimensional model of the target object according to the multiple images, including:
  • the three-dimensional model of the target object is reconstructed according to the point cloud information.
  • the reconstruction module acquires edge information of the target object according to the multiple images, including:
  • the reconstruction module obtains point cloud information of the target object according to the edge information, including:
  • the polygons are stacked according to the layered spatial positions to obtain the point cloud information of the target object.
  • the reconstruction module performs polygon fitting on multiple sets of contour parallel lines of each layer to obtain the polygon of the target object in each layer, including:
  • the multiple groups of contour parallel lines of each layer are processed as follows:
  • the reconstruction module reconstructs the 3D model of the target object according to the point cloud information, including:
  • Regrid processing is performed on the point cloud information to obtain a three-dimensional model of the target object.
  • the embodiment of the first aspect of the present disclosure provides an object projection reconstruction system.
  • the turntable in the system rotates the target object on it, and the camera device can take a round shot of the target object without changing the camera device, which saves space;
  • the camera device is at a fixed position relative to the object table, and photographs the target object on the turntable to obtain multiple images, and the multiple images are used to reconstruct a three-dimensional model of the target object.
  • the embodiment of the second aspect of the present disclosure proposes an object projection reconstruction method, which is applied to the object projection reconstruction system described in the first aspect, and the method includes:
  • a three-dimensional model of the target object is reconstructed according to the multiple images.
  • the reconstructing the three-dimensional model of the target object according to the multiple images includes:
  • the three-dimensional model of the target object is reconstructed according to the point cloud information.
  • the acquiring edge information of the target object according to the multiple images includes:
  • the obtaining point cloud information of the target object according to the edge information includes:
  • the polygons are stacked according to the layered spatial positions to obtain the point cloud information of the target object.
  • performing polygon fitting on multiple sets of contour parallel lines of each layer to obtain the polygon of the target object in each layer includes:
  • the multiple groups of contour parallel lines of each layer are processed as follows:
  • the reconstructing the 3D model of the target object according to the point cloud information includes:
  • Regrid processing is performed on the point cloud information to obtain a three-dimensional model of the target object.
  • the embodiment of the third aspect of the present disclosure provides a computer processing device, including the system described in the first aspect.
  • the embodiment of the fourth aspect of the present disclosure provides a computer program, including computer readable code, when the computer readable code is run on a computing processing device, causing the computing processing device to execute the second aspect the method described.
  • the embodiment of the fifth aspect of the present disclosure provides a computer-readable storage medium, in which the computer program in the fourth aspect is stored.
  • FIG. 1 provides a schematic diagram of an object projection reconstruction system according to an embodiment of the present disclosure
  • FIG. 2 provides another schematic diagram of an object projection reconstruction system according to an embodiment of the present disclosure
  • FIG. 3 provides a flowchart of object projection reconstruction performed by a reconstruction module according to an embodiment of the present disclosure
  • FIG. 4 provides a flow chart of step S101 in object projection reconstruction according to an embodiment of the present disclosure
  • FIG. 5 provides a flow chart of step S102 in object projection reconstruction according to an embodiment of the present disclosure
  • FIG. 6 provides a flow chart of step S103 in object projection reconstruction according to an embodiment of the present disclosure
  • FIG. 7 provides a schematic diagram of object projection reconstruction performed by a reconstruction module according to an embodiment of the present disclosure
  • FIG. 8 provides a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a schematic structural diagram of a computing processing device provided by an embodiment of the present disclosure.
  • Fig. 10 provides a schematic diagram of a storage unit of a program code for portable or fixed implementation of the method according to the present application according to an embodiment of the present disclosure.
  • the 3D reconstruction model of the object obtained by the projection 3D reconstruction method is affected by the shape, surface texture, and material of the reconstructed object.
  • the 3D reconstruction model can be obtained through a 3D scanner, MVS (Multi-View Stereo, multi-view stereo geometry) and The artificially designed object-specific 3D reconstruction model is obtained.
  • the present disclosure provides an object projection reconstruction system, which can obtain a three-dimensional reconstruction model of an object without being affected by the shape, surface texture, and material of the object.
  • FIG. 1 is a schematic diagram of an object projection reconstruction system provided by an embodiment of the present disclosure.
  • the object projection reconstruction system includes: a camera device and a storage table;
  • the storage table includes a body and a turntable that is rotatable relative to the storage table body, and the turntable is used to place the target object;
  • Either one of the camera device and the storage table can slide along the guide rail
  • the camera device is used to photograph the target object on the rotating turntable at a fixed position relative to the object table to obtain multiple images, and the multiple images are used to reconstruct the three-dimensional model of the target object.
  • the camera device may be a device capable of capturing images such as a video camera or a camera.
  • the object projection reconstruction system realizes the rotation of the target object placed on it through the rotation of the turntable of the storage platform, and can realize the ring shooting of the target object by the camera device without changing the position of the camera device, which saves space;
  • the camera device shoots the target object on the rotating turntable to obtain multiple images, and the reconstruction module connected with the camera device constructs a three-dimensional model of the target object according to the obtained multiple images.
  • the object projection system also includes a guide rail arranged between the camera device and the storage table;
  • Either one of the imaging device and the storage stand can slide along the guide rail.
  • the camera device and the storage table are connected by guide rails, and the distance between the camera device and the storage table can be adjusted without changing the orientation of the center point of the camera device, so as to realize visual adjustment and eliminate the negative impact caused by the perspective projection of the target object.
  • the object projection reconstruction system further includes a diffuse screen, and the camera device, the object table, and the diffuse screen are sequentially arranged in the same linear direction, and the diffuse screen is used to eliminate the target object. reflective.
  • the background of the target object is controllable and variable, and it is convenient to extract the edge of the target object under different surface textures.
  • the shooting direction of the target object by the camera device is parallel to the object placement surface of the turntable.
  • the camera device can shoot the rotating target object at the same angle, avoiding the need to correct the obtained image to obtain the same angle image due to different shooting angles .
  • the frequency at which the camera captures images of the target object is consistent with the rotation frequency of the turntable; and/or, the soft screen is a soft LED screen.
  • the frequency at which the imaging device captures the image of the target object is consistent with the rotation frequency of the turntable, it is avoided that the image obtained by the imaging device capturing the target object is blurred and cannot be used to reconstruct the three-dimensional model of the target object.
  • the soft light screen adopts a soft light LED screen, and the color of the soft light LED screen can be adjusted to a color that is quite different from the surface texture of the target object, so as to avoid the overexposure effect at the boundary of the target object.
  • the object projection reconstruction system further includes a reconstruction module connected with the camera device, and the reconstruction module is used to construct a three-dimensional model of the target object according to multiple images.
  • the 3D model of the target object is constructed according to the multiple images of the target object through the reconstruction module connected with the camera device, which avoids the influence of the 3D model construction result of the target object by the shape, surface texture and material of the object, and the reconstruction speed is fast and the reconstruction result High precision and low cost.
  • the reconstruction module constructs a three-dimensional model of the target object according to multiple images, including the following steps:
  • step S101 edge information of a target object is acquired according to multiple images.
  • step S102 the point cloud information of the target object is obtained according to the edge information.
  • step S103 the three-dimensional model of the target object is reconstructed according to the point cloud information.
  • the reconstruction module can be set on the camera, or can be set on other devices according to the needs of users, and the other devices can be electronic devices such as projectors and mobile terminals.
  • the filtering process may be Gaussian filtering process, which is not specifically limited in the present disclosure.
  • the image segmentation algorithm based on deep learning is mainly implemented.
  • the image segmentation algorithm based on deep learning is fast and can recognize semantic information, but its stability is poor, and the accuracy of the extracted edge information cannot meet the projection reconstruction. requirements.
  • acquiring the edge information of the target object according to the director image in step S101 includes the following steps:
  • step S1011 the target object is stratified according to the preset unit.
  • each layer of the target object in Figure 7(a) is a plane, and the edge curve of the target object in each plane needs to be extracted when reconstructing the 3D model of the target object.
  • step S1012 multiple sets of contour parallel lines of the target object at each layer are determined according to each image.
  • the image acquired by the camera device at any angle during the rotation of the target object can obtain the left and right edge points of the target object, corresponding to A group of parallel lines shown in Figures 7(b) to 7(e) can determine multiple groups of parallel lines constituting the outline of the target object according to multiple images of the target object acquired by the camera device, that is, determine the target object in each layer Multiple sets of contour parallel lines.
  • step S1013 multiple sets of parallel contour lines of the target object in each layer are used as edge information of the target object.
  • the preset unit may be the unit that can achieve the best effect determined according to the reconstruction process of a large number of 3D models, and may also be the unit under the highest precision state that the 3D model reconstruction software can achieve.
  • the preset The unit is in pixel units.
  • step S102 obtaining the point cloud information of the target object according to the edge information includes the following steps:
  • step S1021 polygon fitting is performed on multiple groups of contour parallel lines of each layer to obtain polygons of the target object in each layer.
  • each rotation angle of the target object is ⁇ /N, and the rotation center corresponds to the zero point.
  • the coordinate values of the left and right edges are l i and r i .
  • the corresponding set of parallel lines is:
  • the distance from straight line l 0 to l 1 is:
  • the target object rotates once to get N sets of parallel lines, and 2N (N-1) intersection points can be obtained. These intersection points are traversed. If an intersection point is outside a certain set of parallel lines, it is discarded, and the points that meet the line are kept. , calculate its convex hull as the approximate polygon of the target object in the current layer.
  • step S1022 each polygon is stacked according to the hierarchical spatial position to obtain point cloud information of the target object.
  • the parameter ⁇ can be set according to the construction of the three-dimensional model of the target object, which is not specifically limited in the present disclosure.
  • the curves are stacked in the hierarchical space according to the order from top to bottom or bottom to top to obtain the point cloud information of the target object.
  • step S103 reconstructing the three-dimensional model of the target object according to the point cloud information includes the following steps:
  • step S1031 the upper and lower surfaces of the target object are complemented by a difference algorithm.
  • a curved surface without the upper and lower surfaces can be obtained, and the upper and lower surfaces need to be completed.
  • the inner point on the convex hull is the initial value, and use the PCA (Principle Component Analysis) algorithm to calculate the short axis direction and the short axis The radius r in the direction, and then shrink these inner points inward at the same time so that the shrinkage amount in the direction of the short axis is the minimum distance ⁇ of the point cloud.
  • PCA Principal Component Analysis
  • the filling method can also be used to complete the upper and lower surfaces of the target object.
  • the process of using the filling method to complete the upper and lower surfaces of the target object includes: first obtaining the convex hull polygons of the uppermost layer and the lowermost layer of the target object, and then The convex hull polygon is used as the boundary, and the minimum spacing is set as ⁇ , and the orthogonal grid points are drawn with this density to fill the interior of the polygon, so that the average minimum spacing between the upper and lower surfaces is ⁇ .
  • step S1032 regrid processing is performed on the point cloud information to obtain a three-dimensional model of the target object.
  • regrid processing is performed on the outer surface of the target object whose upper and lower surfaces are completed to obtain a three-dimensional model of the target object.
  • the reconstruction module may be set on an electronic device.
  • Fig. 8 is a block diagram of an electronic device 700 according to an exemplary embodiment. As shown in FIG. 8 , the electronic device 700 may include: a processor 701 and a memory 702 . The electronic device 700 may also include one or more of a multimedia component 703 , an input/output (I/O) interface 704 , and a communication component 705 .
  • a multimedia component 703 an input/output (I/O) interface 704
  • I/O input/output
  • the processor 701 is used to control the overall operation of the electronic device 700, so as to complete all or part of the above-mentioned steps of constructing the three-dimensional model of the target object.
  • the memory 702 is used to store various types of data to support the operation of the electronic device 700, for example, these data may include instructions for any application or method operating on the electronic device 700, and application-related data, Such as contact data, sent and received messages, pictures, audio, video, etc.
  • the memory 702 can be implemented by any type of volatile or non-volatile storage device or their combination, such as Static Random Access Memory (Static Random Access Memory, referred to as SRAM), Electrically Erasable Programmable Read-Only Memory (EPROM) Electrically Erasable Programmable Read-Only Memory, referred to as EEPROM), Erasable Programmable Read-Only Memory (Erasable Programmable Read-Only Memory, referred to as EPROM), Programmable Read-Only Memory (Programmable Read-Only Memory, referred to as PROM), read-only Memory (Read-Only Memory, referred to as ROM), magnetic memory, flash memory, magnetic disk or optical disk.
  • SRAM Static Random Access Memory
  • EPROM Electrically Erasable Programmable Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • PROM Read-Only Memory
  • magnetic memory flash memory
  • flash memory magnetic disk or optical disk.
  • Multimedia components 703 may include screen and audio components.
  • the screen can be, for example, a touch screen, and the audio component is used for outputting and/or inputting audio signals.
  • an audio component may include a microphone for receiving external audio signals.
  • the received audio signal may be further stored in memory 702 or sent via communication component 705 .
  • the audio component also includes at least one speaker for outputting audio signals.
  • the I/O interface 704 provides an interface between the processor 701 and other interface modules, which may be a keyboard, a mouse, buttons, and the like. These buttons can be virtual buttons or physical buttons.
  • the communication component 705 is used for wired or wireless communication between the electronic device 700 and other devices.
  • Wireless communication such as Wi-Fi, Bluetooth, Near Field Communication (NFC for short), 2G, 3G, 4G, NB-IOT, eMTC, or other 5G, etc., or one or more of them Combinations are not limited here. Therefore, the corresponding communication component 705 may include: a Wi-Fi module, a Bluetooth module, an NFC module and the like.
  • the electronic device 700 may be implemented by one or more application-specific integrated circuits (Application Specific Integrated Circuit, ASIC for short), digital signal processors (Digital Signal Processor, DSP for short), digital signal processing equipment (Digital Signal Processing Device, referred to as DSPD), programmable logic device (Programmable Logic Device, referred to as PLD), field programmable gate array (Field Programmable Gate Array, referred to as FPGA), controller, microcontroller, microprocessor or other electronic components Realization is used to execute all or part of the above-mentioned steps of constructing the three-dimensional model of the target object.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • DSPD Digital Signal Processing Device
  • PLD programmable logic device
  • FPGA Field Programmable Gate Array
  • controller microcontroller
  • microprocessor or other electronic components Realization is used to execute all or part of the above-mentioned steps of constructing the three-dimensional model of the target object.
  • the present disclosure also proposes an object projection reconstruction method, which is applied to the above object projection reconstruction system, and the method includes:
  • a three-dimensional model of the target object is reconstructed according to the multiple images.
  • reconstructing the three-dimensional model of the target object according to the multiple images includes:
  • a three-dimensional model of the target object is reconstructed according to the point cloud information.
  • acquiring the edge information of the target object according to the multiple images includes:
  • the point cloud information of the target object is obtained according to the edge information, including:
  • Each polygon is stacked according to the layered spatial position to obtain the point cloud information of the target object.
  • polygon fitting is performed on multiple sets of contour parallel lines of each layer to obtain the polygon of the target object in each layer, including:
  • the multiple groups of contour parallel lines of each layer are processed as follows:
  • the present disclosure also proposes a computing processing device, including the above-mentioned object projection reconstruction system.
  • the present disclosure also proposes a computer program, including computer readable codes, which, when the computer readable codes are run on a computing processing device, cause the computing processing device to execute the aforementioned object projection reconstruction method .
  • the present disclosure also proposes a computer-readable storage medium in which the aforementioned computer program is stored.
  • FIG. 9 is a schematic structural diagram of a computing processing device provided by an embodiment of the present disclosure.
  • the computing processing device typically includes a processor 1110 and a computer program product or computer readable medium in the form of memory 1130 .
  • Memory 1130 may be electronic memory such as flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), EPROM, hard disk, or ROM.
  • the memory 1130 has a storage space 1150 for program code 1151 for performing any method steps in the methods described above.
  • the storage space 1150 for program codes may include respective program codes 1151 for respectively implementing various steps in the above methods. These program codes can be read from or written into one or more computer program products.
  • These computer program products comprise program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such a computer program product is typically a portable or fixed storage unit as shown in FIG. 10 .
  • the storage unit may have storage segments, storage spaces, etc. arranged similarly to the storage 1130 in the server of FIG. 9 .
  • the program code can, for example, be compressed in a suitable form.
  • the memory unit includes computer readable code 1151', i.e. code readable by, for example, a processor such as 1110, which when executed by the server causes the server to perform the various steps in the methods described above.
  • a "computer-readable medium” may be any device that can contain, store, communicate, propagate or transmit a program for use in or in conjunction with an instruction execution system, device or device.
  • computer-readable media include the following: electrical connection with one or more wires (electronic device), portable computer disk case (magnetic device), random access memory (RAM), Read Only Memory (ROM), Erasable and Editable Read Only Memory (EPROM or Flash Memory), Fiber Optic Devices, and Portable Compact Disc Read Only Memory (CDROM).
  • the computer-readable medium may even be paper or other suitable medium on which the program can be printed, since the program can be read, for example, by optically scanning the paper or other medium, followed by editing, interpretation or other suitable processing if necessary.
  • the program is processed electronically and stored in computer memory.
  • various parts of the present disclosure may be implemented in hardware, software, firmware or a combination thereof.
  • various steps or methods may be implemented by software or firmware stored in memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware as in another embodiment, it can be implemented by any one or a combination of the following techniques known in the art: a discrete Logic circuits, ASICs with suitable combinational logic gates, Programmable Gate Arrays (PGA), Field Programmable Gate Arrays (FPGA), etc.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing module, each unit may exist separately physically, or two or more units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or in the form of software function modules. If the integrated modules are realized in the form of software function modules and sold or used as independent products, they can also be stored in a computer-readable storage medium.
  • the storage medium mentioned above may be a read-only memory, a magnetic disk or an optical disk, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提出一种物体投影重建系统，其中，系统包括：摄像装置、置物台、以及设置在所述摄像装置和所述置物台之间的导轨；其中，所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；所述摄像装置以及所述置物台中的任一者可沿所述导轨滑动；所述摄像装置用于在相对所述置物台的固定距离处，拍摄处于转动状态的所述转台上的所述目标物体，得到多张图像，所述多张图像用于重建所述目标物体的三维模型。本公开可不受物体的形状、表面纹理以及材质等影响重建物体的三维模型。

Description

物体投影重建系统及方法
相关申请的交叉引用
本公开要求在2021年05月20日提交中国专利局、申请号为202110553928.2、名称为“物体投影重建系统”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及机器人及计算机视觉领域，具体地，涉及一种物体投影重建系统及方法。
背景技术
获取物体3D模型的方法主要有基于重建和基于设计两种，其中，基于重建的包括有投影三维重建方法。因为物体投影的过程是一个线积分的过程，如果需要得到物体内部物理特性分布，投影三维重建的基本流程可以为通过测量这些物理特性的线积分数据，也就是它们在某一个或若干个不同方向的投影值，再将投影数据通过特定算法重建内部参数分布。
但通过投影三维重建方法得到的物体的三维重建模型受重建物体的形状、表面纹理以及材质等影响，所以需要一种新的三维重建方法，来避免物体的形状，表面纹理以及材质等对重建结果的影响。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为达上述目的，本公开第一方面实施例提出了一种物体投影重建系统，所述系统包括：摄像装置和置物台；
其中，所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；
所述摄像装置用于在相对所述置物台的固定距离处，拍摄处于转动状态的所述转台上的所述目标物体，得到多张图像，所述多张图像用于重建所述目标物体的三维模型。
根据本公开的一个实施例，所述系统还包括设置在所述摄像装置和所述置物台之间的导轨；
所述摄像装置以及所述置物台中的任一者可沿所述导轨滑。
根据本公开的一个实施例，所述系统还包括柔光屏，且所述摄像装置、所述置物台、以及所述柔光屏依次布置在同一直线方向上，所述柔光屏用于消除所述目标物体的反光。
根据本公开的一个实施例，所述摄像装置对所述目标物体的拍摄方向与所述转台的置物面平行。
根据本公开的一个实施例，所述摄像装置拍摄所述目标物体图像的频率与所述转台的转动频率一致；和/或，所述柔光屏为柔光LED屏。
根据本公开的一个实施例，所述系统还包括与所述摄像装置连接的重建模块，所述重建模块用于根据所述多张图像构建所述目标物体的三维模型。
根据本公开的一个实施例，所述重建模块根据所述多张图像构建所述目标物体的三维模型，包括：
根据所述多张图像获取所述目标物体的边缘信息；
根据所述边缘信息得到所述目标物体的点云信息；
根据所述点云信息重建所述目标物体的所述三维模型。
根据本公开的一个实施例，所述重建模块根据所述多张图像获取所述目标物体的边缘信息，包括：
根据预设单位对所述目标物体进行分层处理；
根据各所述图像确定所述目标物体在各层的多组轮廓平行线；
将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。
根据本公开的一个实施例，所述重建模块根据所述边缘信息得到所述目标物体的点云信息，包括：
分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；
将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云信息。
根据本公开的一个实施例，所述重建模块对根据分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形，包括：
对各层的多组轮廓平行线进行如下处理：
确定出所有直线之间的交点；
计算各所述交点的内点；
计算所述内点的凸包，得到所述目标物体在当前层的多边形。
根据本公开的一个实施例，所述重建模块根据所述点云信息重建所述目标物体的所述三维模型，包括：
通过插值算法对所述目标物体的上下表面进行补全；
对所述点云信息进行重网格化处理，得到所述目标物体的三维模型。
本公开第一方面实施例提供了一种物体投影重建系统，系统中的转台旋转其上的目标对象，可在不改变摄像装置的情况下实现摄像装置对目标物体的环拍，节省了空间；摄像装置在相对置物台的固定位置处，拍摄转台上的目标物体得到多张图像，多张图像用于重建目标物体的三维模型。
为达上述目的，本公开第二方面实施例提出了一种物体投影重建方法，应用于第一方面所述的物体投影重建系统，所述方法包括：
控制所述摄像装置拍摄处于转动状态的所述转台上的目标物体，得到多张图像；
根据所述多张图像重建所述目标物体的三维模型。
根据本公开的一个实施例，所述根据所述多张图像重建所述目标物体的三维模型，包括：
根据所述多张图像获取所述目标物体的边缘信息；
根据所述边缘信息得到所述目标物体的点云信息；
根据所述点云信息重建所述目标物体的所述三维模型。
根据本公开的一个实施例，所述根据所述多张图像获取所述目标物体的边缘信息，包括：
根据预设单位对所述目标物体进行分层处理；
根据各所述图像确定所述目标物体在各层的多组轮廓平行线；
将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。
根据本公开的一个实施例，所述根据所述边缘信息得到所述目标物体的点云信息，包括：
分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；
将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云信息。
根据本公开的一个实施例，所述分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形，包括：
对各层的多组轮廓平行线进行如下处理：
确定出所有直线之间的交点；
计算各所述交点的内点；
计算所述内点的凸包，得到所述目标物体在当前层的多边形。
根据本公开的一个实施例，所述根据所述点云信息重建所述目标物体的所述三维模型，包括：
通过插值算法对所述目标物体的上下表面进行补全；
对所述点云信息进行重网格化处理，得到所述目标物体的三维模型。
为达上述目的，本公开第三方面实施例提出了一种计算机处理设备，包括第一方面所述的系统。
为达上述目的，本公开第四方面实施例提出了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算处理设备上运行时，导致所述计算处理设备执行第二方面所述的方法。
为达上述目的，本公开第五方面实施例提出了一种计算机可读存储介质，其中存储了第四方面的中的计算机程序。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例提供了一种物体投影重建系统的示意图；
图2为本公开实施例提供了一种物体投影重建系统的另一示意图；
图3为本公开实施例提供了重建模块进行物体投影重建的流程图；
图4为本公开实施例提供了物体投影重建中步骤S101的流程图；
图5为本公开实施例提供了物体投影重建中步骤S102的流程图；
图6为本公开实施例提供了物体投影重建中步骤S103的流程图；
图7为本公开实施例提供了重建模块进行物体投影重建的示意图；
图8为本公开实施例提供了一种电子设备的框图；
图9为本公开实施例提供了一种计算处理设备的结构示意图；
图10为本公开实施例提供了一种用于便携式或者固定实现根据本申请的方法的程序 代码的存储单元的示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
通过投影三维重建方法得到的物体的三维重建模型受重建物体的形状，表面纹理以及材质等影响，相关技术中三维重建模型可以通过3D扫描仪、MVS(Multi-View Stereo，多视角立体几何)以及人工设计的物体专用三维重建模型获得。
但发明人发现，3D扫描仪虽然可对任意形状的物体进行表面重建，不受物体形状的限制，且重建速度快，但设备昂贵，且无法获取表面透明、反光的物体的三维重建模型；MVS虽然可以根据物体的已知位姿的图片，对观察到的物体进行几何重建，但对图像的特征依赖较强，且无法获取表面纹理不丰富的物体的三维重建模型且处理速度很慢；人工设计的物体专用三维重建模型虽然可得到最为精确的物体的模型，但受物体形状的限制，适用性底，且成本太高。
有鉴于此，本公开提供一种物体投影重建系统，不受物体的形状、表面纹理以及材质等影响，得到物体三维重建模型。
图1为本公开实施例提供了一种物体投影重建系统的示意图，参照图1，该物体投影重建系统包括：摄像装置和置物台；
其中，置物台包括本体以及相对于置物台本体可转动的转台，转台用于放置目标物体；
摄像装置以及置物台中的任一者可沿导轨滑动；
摄像装置用于在相对置物台的固定位置处，拍摄处于转动状态的转台上的目标物体，得到多张图像，多张图像用于重建目标物体的三维模型。
其中，摄像装置可以为摄像机、相机等可以进行拍摄图像的设备。
本公开提供的物体投影重建系统，通过置物台的转台转动，实现其上放置的目标对象的自转，可在不改变摄像装置位置的情况下实现摄像装置对目标物体的环拍，节省了空间；摄像装置拍摄处于转动状态的转台上的目标物体，得到多张图像，与摄像装置连接的重建模块根据得到的多张图像构建目标物体的三维模型。
在一可实施例中，如图2所示，物体投影系统还包括设置在摄像装置和置物台之间 的导轨；
摄像装置以及置物台中的任一者可沿导轨滑动。
通过导轨连接摄像装置与置物台，可在不改变摄像装置中心点朝向的前提下，调节摄像装置与置物台的距离，实现可视化调节，消除目标物体透视投影带来的负面影响。
在一可实施例中，如图2所示，物体投影重建系统还包括柔光屏，且摄像装置、置物台、以及柔光屏依次布置在同一直线方向上，柔光屏用于消除目标物体的反光。
通过设置透光屏，使得对目标物体的被摄背景可控、可变，便于提取不同表面纹理下的目标物体的边缘。
在一可实施例中，如图2所示，摄像装置对目标物体的拍摄方向与转台的置物面平行。
通过将摄像装置对目标物体的拍摄方向与转台的置物面平行，使得摄像装置在相同角度拍摄旋转中的目标物体，避免因拍摄角度不同，导致的需对得到的图像进行矫正得到同一角度的图像。
在一可实施例中，如图2所示，摄像装置拍摄目标物体图像的频率与转台的转动频率一致；和/或，柔光屏为柔光LED屏。
通过将摄像装置拍摄目标物体图像的频率与转台的转动频率设置为一致，避免摄像装置拍摄目标物体得到的图像模糊，无法用于重建目标物体的三维模型。
柔光屏采用柔光LED屏，可通过调整柔光LED屏的颜色为与目标物体表面纹理差异较大的颜色，避免在目标物体边界处产生过曝效果。
对本实施例中物体投影重建系统获取目标物体图像的过程进行说明。如图2所示，在水平面竖直放置相机使相机对目标物体的拍摄方向与水平面垂直；相机、置物台以及柔光LED屏依次布置在同一直线方向上，以便于相机在获取目标物体图像时，通过柔光LED屏消除目标物体的反光；将相机在导轨上的位置进行调整使得转台的置物面在相机中投影为一条直线使得获取的图像未发生变形扭曲；将置物台转台的置物面调整为与相机对目标物体的拍摄方向平行，调整柔光LED屏的颜色为与目标物体表面纹理差异较大的颜色以便于提取不同表面纹理下的目标物体的边缘，将相机对目标物体的拍摄频率与转台的转动频率一致，避免摄像装置拍摄目标物体得到的图像模糊，将目标物体放置在置物台转台上，转台转动相机对转台上的目标物体进行拍摄，得到多张用于重建所述目标物体的三维模型的图像。
在一可实施例中，物体投影重建系统还包括与摄像装置连接的重建模块，重建模块用于根据多张图像构建目标物体的三维模型。
通过与摄像装置连接的重建模块根据目标物体的多张图像构建目标物体的三维模型，避免了目标物体的三维模型构建结果受物体的形状、表面纹理以及材质的影响，且重建速度快、重建结果精度高以及成本底。
在一可实施例中，如图3所示，重建模块根据多张图像构建目标物体的三维模型，包括以下步骤：
在步骤S101中，根据多张图像获取目标物体的边缘信息。
在步骤S102中，根据边缘信息得到目标物体的点云信息。
在步骤S103中，根据点云信息重建目标物体的三维模型。
其中，重建模块可以设置在相机上，也可以根据用户需求设置在其它设备上，其它设备可以为投影仪、移动终端等电子设备。
为了使本领域即使人员更加理解本公开实施例提供的物体投影重建系统中重建模的构建过程，下面对上述各步骤进行详细举例说明。
在将多张图像用于重建目标物体的三维模型前，需对各图像进行图像滤波以及闭运算处理，从而消除环境光以及目标物体表面纹理的影响，提高边缘提取的准确率。其中，滤波处理可以为高斯滤波处理，本公开对此不作具体限定。
在将多张图像用于重建目标物体的三维模型时，需提取图像中物体的边缘信息。而相关技术中主要基于深度学习的图像分割算法实现，基于深度学习的图像分割算法速度快且能识别语义信息，但其稳定性较差，且提取的边缘信息的精度达不到投影重建所需的要求。
在一可实施例中，如图4所示，步骤S101中根据所长图像获取目标物体的边缘信息包括以下步骤：
在步骤S1011中，根据预设单位对目标物体进行分层处理。
所示对目标物体分层后，如图7(a)目标物体的每层都是一个平面，在重建目标物体的三维模型时需提取每个平面中目标物体的边缘曲线。
在步骤S1012中，根据各图像确定目标物体在各层的多组轮廓平行线。
如图7(b)～7(e)所示，对于目标物体分层的各层，摄像装置在目标物体转动过程中的任一角度获取的图像可以得到目标物体的左右两个边缘点，对应图7(b)～7(e)所 示的一组平行线，则可根据摄像装置获取的目标物体的多个图像确定构成目标物体的轮廓的多组平行线，即确定目标物体在各层的多组轮廓平行线。
在步骤S1013中，将目标物体在各层的多组轮廓平行线作为目标物体的边缘信息。
其中，预设单位可以是根据大量三维模型重建过程中，确定的能达到最好效果的单位，还可以是三维模型重建软件所能达到的最高精度状态下的单位，在本实施例中预设单位采用像素单位。
在一可实施例中，如图5所示，在步骤S102中，根据边缘信息得到目标物体的点云信息，包括以下步骤：
在步骤S1021中，分别对各层的多组轮廓平行线进行多边形拟合，得到目标物体在各层的多边形。
如图7(f)所示，计算出各层中所有直线的交点；如图7(g)利用点到直线的距离公式求出所有直线的交点的内点；如图7(h)～7(j)所示，利用Graham(凸包)算法，计算出内点形成的凸包，即目标物体在各层的多边形。
举例说明，设目标物体旋转一周相机拍摄了N次，目标物体的每次旋转角为π/N，旋转中心对应零点，对于第i次旋转，左右边缘的坐标值为l i和r i，此时对应的一组平行线为：
l i cos(2πi/N)x+sin(2πi/N)y+l i＝0，
l i cos(2πi/N)x+sin(2πi/N)y+r i＝0，
设点p＝[x 0，y 0] T，直线Ax+By+C＝0，则点到直线的距离为：
d＝|(Ax 0+By 0+C)/√(A^2+B^2)|，
设直线l 0：Ax+By+C＝0，直线l 1：Ax+By+C 1＝0，则直线l 0到l 1的距离为：
d＝|C 0-C 1|/√(A^2+B^2)，
目标物体旋转一周得到N组平行线，可得到2N(N-1)个交点，遍历这些交点，若某个交点处于某组平行线之外则舍弃，保留符合处于线上的点，对保留下来的点，计算其凸包，作为目标物体在当前层的近似多边形。
在步骤S1022中，将各多边形根据分层空间位置进行堆叠，得到目标物体的点云信息。
在各多边形(即凸包)的顶点间做离散插值，得到由密度均匀的点云构成的一条闭合曲线，各点间距离为参数ρ，使得相机拍摄到的点云数据是密度均匀的，并且密度是 可知的，尽量减少与实际采集数据间的差异。其中，参数ρ可根据目标物体的三维模型的构建进行设置，本公开不作具体限定。将各曲线在分层空间中根据从上至下或者从下至上的顺序进行堆叠，得到目标物体的点云信息。
在一可实施例中，如图6所示，步骤S103中，根据点云信息重建目标物体的三维模型，包括以下步骤：
在步骤S1031中，通过差值算法对目标物体的上下表面进行补全。
在逐层计算目标物体的表面多边形后并进行合并后，可得到一个不含上下表面的曲面，对于上下表面的部分需进行补全。
先获取目标物体的最上一层和最下一层的凸包多边形，凸包上的内点为初值，利用PCA(Principle Compoent Analysis，主元成分分析)算法计算出短轴方向，以及短轴方向上的半径r，再将这些内点同时向内收缩使得每次短轴方向放缩量为点云最小间距ρ。这样做的好处是保证上下表面点云最小间距以ρ为下界。
还可采用填充法对目标物体的上下表面进行补全，采用填充法对目标物体的上下表面进行补全的过程包括：先获取目标物体的最上一层和最下一层的凸包多边形，以凸包多边形为边界，设定最小间距为ρ，以此密度画正交的网格点，填充多边形内部，这样可保证上下表面的平均最小间距为ρ。
在步骤S1032中，对点云信息进行重网格化处理，得到目标物体的三维模型。
如图7(k)所示，对得到的补全上下表面的目标物体的外表面进行重网格化处理，得到目标物体的三维模型。
在一可实施例中，重建模块可以设置在电子设备上，图8是根据一示例性实施例示出的一种电子设备700的框图。如图8所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的构建目标物体的三维模型的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。
该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现， 例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的构建目标物体的三维模型的全部或部分步骤。
为了实现上述实施例，本公开还提出了一种物体投影重建方法，应用于上述的物体投影重建系统，该方法包括：
控制该摄像装置拍摄处于转动状态的该转台上的目标物体，得到多张图像；
根据该多张图像重建该目标物体的三维模型。
在一可实施例中，根据该多张图像重建所述目标物体的三维模型，包括：
根据该多张图像获取该目标物体的边缘信息；
根据该边缘信息得到该目标物体的点云信息；
根据该点云信息重建该目标物体的三维模型。
在一可实施例中，根据该多张图像获取该目标物体的边缘信息，包括：
根据预设单位对该目标物体进行分层处理；
根据各该图像确定该目标物体在各层的多组轮廓平行线；
将该目标物体在各层的多组轮廓平行线作为该目标物体的边缘信息。
在一可实施例中，根据该边缘信息得到该目标物体的点云信息，包括：
分别对各层的多组轮廓平行线进行多边形拟合，得到该目标物体在各层的多边形；
将各多边形根据分层的空间位置进行堆叠，得到该目标物体的点云信息。
在一可实施例中，分别对各层的多组轮廓平行线进行多边形拟合，得到该目标物体在各层的多边形，包括：
对各层的多组轮廓平行线进行如下处理：
确定出所有直线之间的交点；
计算各交点的内点；
计算该内点的凸包，得到该目标物体在当前层的多边形。
为了实现上述实施例，本公开还提出了一种计算处理设备，包括上述的物体投影重建系统。为了实现上述实施例，本公开还提出了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算处理设备上运行时，导致所述计算处理设备执行前述的物体投影重建方法。
为了实现上述实施例，本公开还提出了一种计算机可读存储介质，其中存储了前述的计算机程序。
图9为本公开实施例提供了一种计算处理设备的结构示意图。该计算处理设备通常包括处理器1110和以存储器1130形式的计算机程序产品或者计算机可读介质。存储器1130可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器1130具有用于执行上述方法中的任何方法步骤的程序代码1151的存储空间1150。例如，用于程序代码的存储空间1150可以包括分别用于实现上面的方法中的各种步骤的各个程序代码1151。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如图10所示的便携式或者固定存储单元。该存储单元可以具有与图9的服务器中的存储器1130类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压 缩。通常，存储单元包括计算机可读代码1151’，即可以由例如诸如1110之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

  1. 一种物体投影重建系统，其特征在于，所述系统包括：摄像装置和置物台；
    其中，所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；
    所述摄像装置用于在相对所述置物台的固定距离处，拍摄处于转动状态的所述转台上的所述目标物体，得到多张图像，所述多张图像用于重建所述目标物体的三维模型。
  2. 根据权利要求1所述的系统，其特征在于，所述系统还包括设置在所述摄像装置和所述置物台之间的导轨；
    所述摄像装置以及所述置物台中的任一者可沿所述导轨滑动。
  3. 根据权利要求1所述的系统，其特征在于，所述系统还包括柔光屏，且所述摄像装置、所述置物台、以及所述柔光屏依次布置在同一直线方向上，所述柔光屏用于消除所述目标物体的反光。
  4. 根据权利要求3所述的系统，其特征在于，所述摄像装置对所述目标物体的拍摄方向与所述转台的置物面平行。
  5. 根据权利要求3所述的系统，其特征在于，所述摄像装置拍摄所述目标物体图像的频率与所述转台的转动频率一致；和/或，所述柔光屏为柔光LED屏。
  6. 根据权利要求1所述的系统，其特征在于，所述系统还包括与所述摄像装置连接的重建模块，所述重建模块用于根据所述多张图像构建所述目标物体的三维模型。
  7. 根据权利要求6所述的系统，其特征在于，所述重建模块根据所述多张图像构建所述目标物体的三维模型，包括：
    根据所述多张图像获取所述目标物体的边缘信息；
    根据所述边缘信息得到所述目标物体的点云信息；
    根据所述点云信息重建所述目标物体的所述三维模型。
  8. 根据权利要求7所述的系统，其特征在于，所述重建模块根据所述多张图像获取所述目标物体的边缘信息，包括：
    根据预设单位对所述目标物体进行分层处理；
    根据各所述图像确定所述目标物体在各层的多组轮廓平行线；
    将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。
  9. 根据权利要求8所述的系统，其特征在于，所述重建模块根据所述边缘信息得到 所述目标物体的点云信息，包括：
    分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；
    将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云信息。
  10. 根据权利要求9所述的系统，其特征在于，所述重建模块对根据分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形，包括：
    对各层的多组轮廓平行线进行如下处理：
    确定出所有直线之间的交点；
    计算各所述交点的内点；
    计算所述内点的凸包，得到所述目标物体在当前层的多边形。
  11. 根据权利要求9所述的系统，其特征在于，所述重建模块根据所述点云信息重建所述目标物体的所述三维模型，包括：
    通过插值算法对所述目标物体的上下表面进行补全；
    对所述点云信息进行重网格化处理，得到所述目标物体的三维模型。
  12. 一种物体投影重建方法，其特征在于，应用于权利要求1所述的物体投影重建系统，所述方法包括：
    控制所述摄像装置拍摄处于转动状态的所述转台上的目标物体，得到多张图像；
    根据所述多张图像重建所述目标物体的三维模型。
  13. 根据权利要求12所述的方法，其特征在于，所述根据所述多张图像重建所述目标物体的三维模型，包括：
    根据所述多张图像获取所述目标物体的边缘信息；
    根据所述边缘信息得到所述目标物体的点云信息；
    根据所述点云信息重建所述目标物体的所述三维模型。
  14. 根据权利要求13所述的方法，其特征在于，所述根据所述多张图像获取所述目标物体的边缘信息，包括：
    根据预设单位对所述目标物体进行分层处理；
    根据各所述图像确定所述目标物体在各层的多组轮廓平行线；
    将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。
  15. 根据权利要求14所述的方法，其特征在于，所述根据所述边缘信息得到所述目标物体的点云信息，包括：
    分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；
    将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云信息。
  16. 根据权利要求15所述的方法，其特征在于，所述分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形，包括：
    对各层的多组轮廓平行线进行如下处理：
    确定出所有直线之间的交点；
    计算各所述交点的内点；
    计算所述内点的凸包，得到所述目标物体在当前层的多边形。
  17. 根据权利要求15所述的方法，其特征在于，所述根据所述点云信息重建所述目标物体的所述三维模型，包括：
    通过插值算法对所述目标物体的上下表面进行补全；
    对所述点云信息进行重网格化处理，得到所述目标物体的三维模型。
  18. 一种计算处理设备，其特征在于，包括权利要求1-11任一项所述的系统。
  19. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算处理设备上运行时，导致所述计算处理设备执行权利要求12-17中任一项所述的物体投影重建方法。
  20. 一种计算机可读存储介质，其中存储了如权利要求19所述的计算机程序。
PCT/CN2021/143973 2021-05-20 2021-12-31 物体投影重建系统及方法 WO2022242192A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110553928.2A CN113376953B (zh) 2021-05-20 2021-05-20 物体投影重建系统
CN202110553928.2 2021-05-20

Publications (1)

Publication Number Publication Date
WO2022242192A1 true WO2022242192A1 (zh) 2022-11-24

Family

ID=77571435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/143973 WO2022242192A1 (zh) 2021-05-20 2021-12-31 物体投影重建系统及方法

Country Status (2)

Country Link
CN (1) CN113376953B (zh)
WO (1) WO2022242192A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113376953B (zh) * 2021-05-20 2022-09-27 达闼机器人股份有限公司 物体投影重建系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093497A (zh) * 2013-01-09 2013-05-08 吉林大学 基于分层轮廓的lidar数据城市快速重建方法
CN104186239A (zh) * 2014-09-05 2014-12-10 福建农林大学 一种用于研究根系三维构型的试验装置及方法
CN204070043U (zh) * 2014-09-05 2015-01-07 福建农林大学 一种用于研究根系三维构型的试验装置
CN106600690A (zh) * 2016-12-30 2017-04-26 厦门理工学院 基于点云数据的复杂建筑体三维建模方法
CN106683167A (zh) * 2016-07-19 2017-05-17 谢鸿宇 复杂建筑物高精度模型自动建模方法
CN113376953A (zh) * 2021-05-20 2021-09-10 达闼机器人有限公司 物体投影重建系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006025759A1 (de) * 2006-05-31 2007-12-06 Siemens Ag Verfahren zur Bildrekonstruktion eines Objektes mit Projektionen und Vorrichtung zur Durchführung des Verfahrens
CN100557640C (zh) * 2008-04-28 2009-11-04 清华大学 一种交互式多视点三维模型重建方法
CN102945565B (zh) * 2012-10-18 2016-04-06 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103065351A (zh) * 2012-12-16 2013-04-24 华南理工大学 一种双目三维重建的方法
CN103714571B (zh) * 2013-09-23 2016-08-10 西安新拓三维光测科技有限公司 一种基于摄影测量的单像机三维重建方法
CN205451195U (zh) * 2016-03-07 2016-08-10 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建系统
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN106910243A (zh) * 2017-02-09 2017-06-30 景致三维（江苏）股份有限公司 基于转台的自动化数据采集与三维建模的方法及装置
CN106895795A (zh) * 2017-02-16 2017-06-27 上海理工大学 单目视觉测量装置及其三维建模系统
CN109961504B (zh) * 2017-12-25 2023-07-21 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
CN110044293B (zh) * 2018-01-17 2020-11-17 深圳中科飞测科技有限公司 一种三维重构系统及三维重构方法
CN109584357B (zh) * 2018-11-27 2022-05-17 中南大学 基于多轮廓线的三维建模方法、装置、系统及存储介质
CN212624154U (zh) * 2020-07-31 2021-02-26 南京信息工程大学 一种自动实现三维重建的装置
CN112258567B (zh) * 2020-10-10 2022-10-11 达闼机器人股份有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093497A (zh) * 2013-01-09 2013-05-08 吉林大学 基于分层轮廓的lidar数据城市快速重建方法
CN104186239A (zh) * 2014-09-05 2014-12-10 福建农林大学 一种用于研究根系三维构型的试验装置及方法
CN204070043U (zh) * 2014-09-05 2015-01-07 福建农林大学 一种用于研究根系三维构型的试验装置
CN106683167A (zh) * 2016-07-19 2017-05-17 谢鸿宇 复杂建筑物高精度模型自动建模方法
CN106600690A (zh) * 2016-12-30 2017-04-26 厦门理工学院 基于点云数据的复杂建筑体三维建模方法
CN113376953A (zh) * 2021-05-20 2021-09-10 达闼机器人有限公司 物体投影重建系统

Also Published As

Publication number Publication date
CN113376953B (zh) 2022-09-27
CN113376953A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN114119849B (zh) 三维场景渲染方法、设备以及存储介质
Hedman et al. Scalable inside-out image-based rendering
CN107851178B (zh) 基于多个表面模型的混合三维场景重构
CN107079141B (zh) 用于三维视频的图像拼接
Davis et al. Unstructured light fields
Seitz Image-based transformation of viewpoint and scene appearance
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
Fyffe et al. Comprehensive facial performance capture
US20120081357A1 (en) System and method for interactive painting of 2d images for iterative 3d modeling
EP3533218B1 (en) Simulating depth of field
Birklbauer et al. Rendering gigaray light fields
CN110321768A (zh) 用于生成头部相关传递函数滤波器的布置
CN109521879A (zh) 交互式投影控制方法、装置、存储介质及电子设备
WO2022242192A1 (zh) 物体投影重建系统及方法
KR20200103374A (ko) 2차원 이미지를 이용한 3차원 모델링 방법
CN109819158A (zh) 基于光场成像的视频稳像方法
US11412194B2 (en) Method and system for employing depth perception to alter projected images on various surfaces
WO2022267434A1 (zh) 获取物体点云数据的系统及方法
WO2023056879A1 (zh) 一种模型处理方法、装置、设备及介质
JP5473096B2 (ja) イメージベースドビジュアルハルにおける凹状表面のモデリング
Kumara et al. Real-time 3D human objects rendering based on multiple camera details
WO2023167715A1 (en) Methods of 3d clothed human reconstruction and animation from monocular image
CA2716257A1 (en) System and method for interactive painting of 2d images for iterative 3d modeling
EP4150560A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
Habbecke et al. An Intuitive Interface for Interactive High Quality Image‐Based Modeling

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940634

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE