WO2023179782A1 - 三维扫描系统、方法、装置和移动计算模组 - Google Patents

三维扫描系统、方法、装置和移动计算模组 Download PDF

Info

Publication number
WO2023179782A1
WO2023179782A1 PCT/CN2023/083867 CN2023083867W WO2023179782A1 WO 2023179782 A1 WO2023179782 A1 WO 2023179782A1 CN 2023083867 W CN2023083867 W CN 2023083867W WO 2023179782 A1 WO2023179782 A1 WO 2023179782A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
data
target
scanner
image data
Prior art date
Application number
PCT/CN2023/083867
Other languages
English (en)
French (fr)
Inventor
陈泽丰
陈锦明
刘帅
刘猛
宫文
李春霞
曹张悦
方明财
宋泽
Original Assignee
先临三维科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202210307307.0A external-priority patent/CN114858087A/zh
Priority claimed from CN202210306518.2A external-priority patent/CN114858086A/zh
Application filed by 先临三维科技股份有限公司 filed Critical 先临三维科技股份有限公司
Publication of WO2023179782A1 publication Critical patent/WO2023179782A1/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Definitions

  • the 3D scanner collects the image data of the object through the configured 3D scanning equipment, and then transfers the collected image data to the computer through a wired connection for 3D reconstruction calculation to obtain the first 3D model of the scanned object.
  • the 3D scanner needs a wired connection with the computer, which is not easy to carry, has a large operating range, and cannot adapt to complex scenes.
  • the image data scanned by the 3D scanner has a relatively large amount of data and needs to be transferred to the computer for processing.
  • the requirements for transmission bandwidth during processing are relatively high, resulting in relatively high costs.
  • a three-dimensional scanning device which is applied to a three-dimensional scanner.
  • the three-dimensional scanner includes multiple image sensors.
  • the device includes:
  • a ninth aspect also provides an electronic device, including:
  • FIG. 14 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the image sensor is used to capture the image of the surface of the object to be scanned to generate image data.
  • the laser device can be a laser projector. When the laser 3D scanner scans the object, the laser projector of the laser 3D scanner projects a laser line to the object and the image of the 3D scanner The sensor simultaneously captures the image of the object surface covered with laser lines, and the image data includes the laser line characteristics.
  • the projection device can include an LED flashing light. When the LED flashing light is illuminated, the image sensor captures the landmark points pasted on the object surface, and the image data includes the landmark points.
  • the projection device may also include a speckle projector
  • the speckle projector may be a DLP projector
  • the 3D scanner may scan the object in a speckle pattern
  • the speckle projector of the 3D scanner projects the speckle pattern to the surface of the object
  • the image sensor of the scanner simultaneously captures the image of the object surface covered with speckle patterns.
  • the image data includes speckle features.
  • the projection device can also project other structured light patterns.
  • the 3D scanner can only include One of the projection devices can also include multiple projection devices, and the 3D scanner can have only one scanning mode or multiple scanning modes.
  • the calculation module 221 After the calculation module 221 generates the first three-dimensional model, the calculation module 221 generates a project file according to the project configuration file, the target three-dimensional data corresponding to each saved image frame, and the determined valid first three-dimensional model.
  • the project file can then be exported, stored and sent to other terminal devices for accurate calculation.
  • the other terminal devices can be computers with relatively high computing power.
  • the other terminals can generate a second three-dimensional model based on the project file.
  • the second three-dimensional model may be the first
  • the three-dimensional model may also be a more accurate three-dimensional model calculated by other terminals based on the three-dimensional reconstruction of the target three-dimensional data and the second preset fusion parameters.
  • the second preset fusion parameters include a second point distance, and the second point distance is less than
  • the following embodiment uses the computer to receive the project file as an example to illustrate the first point distance in the first preset fusion parameter.
  • the following operations can be performed: generate global point cloud three-dimensional data based on the second preset fusion parameters and the target three-dimensional data in the project file. ;Render the global point cloud three-dimensional data to generate a second three-dimensional model.
  • the portable device 220 establishes the http service, enters the IP address and port number corresponding to the http service on the computer, selects the project file that needs to be exported, and downloads the project file to the computer. After the computer downloads the project file, if the project file If the first three-dimensional model does not meet the accuracy requirements, a second three-dimensional model with higher accuracy will be reconstructed based on the three-dimensional data corresponding to each frame of image in the engineering file and the second preset fusion parameters. It is understandable that different point distance optimization The accuracy of the three-dimensional model corresponding to the point cloud three-dimensional data is different.
  • the point distance refers to the second point distance in the second preset fusion parameter.
  • the large point distance means that the point cloud distance is 0.3 millimeters (mm) and above, and the small point distance (second point distance) is The pointing cloud distance is less than 0.3 millimeters (mm).
  • the computer renders the three-dimensional data global point cloud three-dimensional data through the rendering module Afterwards, the second three-dimensional model generated after rendering is displayed on the computer display screen, and the second three-dimensional model can be adjusted through the edit button to obtain a more accurate second three-dimensional model.
  • the three-dimensional scanning system includes a three-dimensional scanner and a portable computer.
  • the three-dimensional scanner includes a scanning module and a first computing module.
  • the portable computer includes a second computing module and a display module. The three-dimensional scanner is communicated with the portable computer.
  • the scanning module and the first computing module can be integrated and configured in a single three-dimensional scanner casing.
  • the scanning module and the first computing module can also be configured separately.
  • the scanning module is configured in an independent casing, and the first computer module is configured in a separate casing. Independent shell.
  • the real-time computing unit transmits the incremental first three-dimensional model to the real-time display unit, and the real-time display unit renders and displays the incremental first three-dimensional model.
  • the laser projector of the scanning module projects a laser line towards the surface of the object to be measured with the marking points pasted on it, and the LED flashing lights work synchronously.
  • the two image sensors of the scanning module synchronously acquire the image of the surface of the measured object to generate image data.
  • the image data includes laser line characteristics and landmark point characteristics.
  • the scanning module transmits the image data to the first computing module.
  • the first computing module Extract the laser line features and landmark point features in the image data.
  • the first computing module matches the laser line features and landmark point features in the two image sensors, performs binocular stereoscopic vision reconstruction based on the matched laser line features, and generates points. Cloud three-dimensional data, based on the matched landmark point features, binocular stereo vision reconstruction is performed to generate landmark point three-dimensional data.
  • the target coordinate system After determining the target coordinate system, based on the data in multiple image data The data corresponding to the laser line output by the 3D scanner determines the three-dimensional coordinates of multiple laser points on the laser line in the target coordinate system, that is, unifying multiple laser points into the same coordinate system
  • the target three-dimensional data is obtained, that is, the unified coordinates are obtained
  • the resulting three-dimensional data can be easily integrated into point cloud three-dimensional data in the computing module.
  • the amount of transmitted three-dimensional data is also relatively small, which effectively reduces the transmission bandwidth and further speeds up the construction of the first three-dimensional model.
  • the display can be triggered.
  • the first identification confirmation identification
  • the calculation module detects or receives the confirmation signal, it is determined that the 3D scanner has completed scanning the object to be scanned, and it is confirmed.
  • the target fusion mode is the global fusion mode. Otherwise, it is determined that the 3D scanner has not completed scanning the object to be scanned, and the target fusion mode is determined to be the real-time fusion mode.
  • obtain incremental data of the current first three-dimensional model render the incremental data, and send the first three-dimensional model corresponding to the rendered incremental data to the display module.
  • Figure 5 is a schematic flow chart of a three-dimensional scanning method provided by an embodiment of the present disclosure. It is applied to a three-dimensional scanner, that is, the process of generating three-dimensional data by scanning an image on the three-dimensional scanner side. Specifically, it includes the following steps S510 to S520:
  • the mobile computing module 120 communicates with the three-dimensional scanner 110 through the communication component 121 to obtain image data generated by the three-dimensional scanner 110; the computing component 122 performs at least partial three-dimensional reconstruction calculations on the image data; The mobile computing module 120 communicates with the display module 130 through the communication component 121 to send the calculation results of the calculation component 122 to the display module 130.
  • the display module 130 is used to display the three-dimensional model obtained based on the calculation results.
  • the display module 130 is used to display the three-dimensional model obtained based on the calculation results.
  • the three-dimensional model is the three-dimensional digital model corresponding to the object scanned by the three-dimensional scanner 110 .
  • the mobile computing module 120 is communicatively connected to the display module 130 through the communication component 121.
  • the communication connection method can be a wired communication connection and/or a wireless communication connection, and the wired communication connection is performed through a universal serial bus. , specifically it can be USB TYPE-C, wireless communication connection through Wifi or hotspot, specifically Wifi6, the calculation component 122 transmits the calculation results to the display module 130 through wired communication or wireless communication.
  • the point cloud data corresponding to each image data in the five image data can be understood as the first calculation result.
  • the second working sub-mode will calculate the points corresponding to each image data in the five image data.
  • the five point cloud data are spliced and fused to obtain the spliced and fused point cloud data.
  • the mobile computing module 120 is connected to a portable display screen without computing capability through wired communication. After the mobile computing module 120 selects the second working mode, the second calculation result is passed through TYPE-C (DP ALTMODE) Video transmission technology transmits it to a portable display for real-time display.
  • the mobile computing module 120 is connected to the tablet (or computer) through wireless or wired communication.
  • the mobile computing module 120 preferentially selects the first working mode to work, and sends the first calculation result to the tablet, and the tablet passes the first calculation result through the second working mode. Sub-mode calculation is performed, and the second calculation result is obtained and displayed in real time.
  • the working mode of the computing component includes a first working sub-mode and a second working sub-mode, and the working mode can be predetermined. Refer to the above embodiments for the calculation process of different working modes, and will not be described again here.
  • the acquisition unit 1110 is used to acquire image data corresponding to the object to be measured generated by the three-dimensional scanner;
  • Extract the feature data in the image data reconstruct the point cloud data in three dimensions based on the feature data, and perform data fusion on the point cloud data.

Abstract

一种三维扫描系统、方法和装置,三维扫描系统包括三维扫描仪(100)、计算模组(120)和显示模组(130),三维扫描仪(100)基于安装的多个图像传感器(111)生成图像数据,并基于图像数据进行三维重建计算确定目标三维数据,计算模组(120)与三维扫描仪(100)通信连接,以获取三维扫描仪(100)生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型,显示模组(130)与计算模组(120)通信连接,以获取计算模组(120)生成的第一三维模型,并实时显示第一三维模型。三维扫描系统可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活。

Description

三维扫描系统、方法、装置和移动计算模组
本公开要求于2022年3月25日提交中国专利局、申请号为2022103073070、发明名称为“用于三维扫描仪的移动计算模组、三维扫描方法和装置”的中国专利申请的优先权,要求于2022年3月25日提交中国专利局、申请号为2022103065182、发明名称为“一种三维扫描系统、方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本公开中。
技术领域
本公开涉及三维扫描技术领域,尤其涉及一种三维扫描系统、方法、装置和移动计算模组。
背景技术
目前,三维扫描仪已在多个行业中广泛应用。三维扫描仪通过配置的三维扫描设备采集物体的图像数据,再通过有线连接的方式将采集到的图像数据传递到电脑上进行三维重建计算,得到扫描物体的第一三维模型。
但是,三维扫描仪需要和电脑有线连接,不便于携带,操作范围局限性较大,无法适应复杂的场景,另外,三维扫描仪扫描得到的图像数据的数据量比较大,要传输到电脑端进行处理时对传输带宽的要求比较高,导致成本也比较高。
发明内容
(一)要解决的技术问题
本公开要解决的技术问题是解决现有三维扫描仪无法适应复杂场景的问题。
(二)技术方案
为了解决上述技术问题,本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组;三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定目标三维数据;计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的目标三维数据,并根据三维数据进行三维重建计算生成第一三维模型;显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。
第二方面,还提供了一种三维扫描方法,应用于三维扫描仪,三维扫描仪包括多个图像传感器,方法包括:
获取图像传感器基于待扫描物体生成的图像数据;
根据所述图像数据进行三维重建计算确定目标三维数据,所述目标三维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线和所述待扫描物体上至少一个标志点对应的三维数据。
第三方面,还提供了一种三维扫描方法,应用于终端,方法包括:
获取三维扫描仪生成的待扫描物体的三维数据;
根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式为全局融合模式或实时融合模式。
第四方面,还提供了一种三维扫描装置,应用于三维扫描仪,三维扫描仪包括多个图像传感器,装置包括:
获取单元,用于获取图像传感器基于待扫描物体生成的图像数据;
确定单元,用于根据图像数据进行三维重建计算确定目标三维数据,所述目标三维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线和所述待扫描物体上至少一个标志点对应的三维数据。
第五方面,还提供了一种三维扫描装置,应用于终端,装置包括:
获取单元,用于获取三维扫描仪生成的待扫描物体的三维数据;
生成单元,用于根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式为全局融合模式和/或实时融合模式。
第六方面,还提供了一种用于三维扫描仪的移动计算模组,所述移动计算模组包括通信组件及计算组件,所述移动计算模组通过所述通信组件与三维扫描仪通信连接,以获取所述三维扫描仪生成的图像数据;所述计算组件对所述图像数据进行至少部分三维重建计算;所述移动计算模组通过所述通信组件与显示模组通信连接,以将所述计算组件的计算结果发送至所述显示模组,所述显示模组用于显示基于所述计算结果获取的三维模型。
第七方面,还提供了一种三维扫描方法,应用于上述移动计算模组,所述方法包括:
获取三维扫描仪生成的待测物体对应的图像数据;
根据所述图像数据进行至少部分三维重建计算,并将计算结果发送至所述移动计算组件连接的显示模组进行显示,所述显示模组用于显示基于所述计算结果获取的所述待测物体的三维模型。
第八方面,还提供了一种三维扫描装置,应用于上述移动计算模组,所述装置包括:
获取单元,用于获取三维扫描仪生成的待测物体对应的图像数据;
计算单元,用于根据所述图像数据进行至少部分三维重建计算,并将计算结果发送至所述移动计算组件连接的显示模组进行显示,所述显示模组用于显示基于所述计算结果获取的所述待测物体的三维模型。
第九方面,还提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的三维扫描方法。
第十方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现上述实施例的三维扫描方法。
(三)有益效果
本公开实施例提供的上述技术方案与现有技术相比具有如下优点:
本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组,三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定目标三维数据,计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型,显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。本公开提供的三维扫描系统可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,也就是扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活,可以适用于比较复杂的应用场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种三维扫描系统的结构示意图;
图2为本公开实施例提供的另一种三维扫描系统的结构示意图;
图3为本公开实施例提供的一种三维数据生成方法的流程示意图;
图4为本公开实施例提供的一种第一三维模型生成方法的流程示意图;
图5为本公开实施例提供的一种三维扫描方法的流程示意图;
图6为本公开实施例提供的一种三维扫描方法的流程示意图;
图7为本公开实施例提供的一种三维扫描系统的结构示意图;
图8为本公开实施例提供的一种用于三维扫描仪的移动计算模组的结构示意图;
图9为本公开实施例提供的另一种用于三维扫描仪的移动计算模组的结构示意图;
图10为本公开实施例提供的一种三维扫描方法的流程示意图;
图11为本公开实施例提供的一种三维扫描装置的结构示意图;
图12为本公开实施例提供的一种三维扫描装置的结构示意图;
图13为本公开实施例提供的一种三维扫描装置的结构示意图;
图14为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1为本公开实施例提供的一种三维扫描系统的结构示意图,具体包括如图1所示的结构,图1包括三维扫描仪110、计算模组120和显示模组130,三维扫描仪110基于安装的多个图像传感器111生成图像数据,并基于图像数据确定目标三维数据;计算模组120与三维扫描仪130通信连接,以获取三维扫描仪110生成的目标三维数据,并根据目标三维数据进行三维重建生成第一三维模型;显示模组130与计算模组120通信连接,以获取计算模组130生成的第一三维模型,并实时显示第一三维模型。
可理解的,计算模组120和显示模组130可以配置在同一个便携式设备中,便携式设备可以理解为便携式的个人计算机(Personal Computer,PC),例如笔记本电脑、平板电脑或智能终端等。下面以便携式设备为平板电脑为例对三维扫描系统进行说明。三维扫描系统包括三维扫描仪110和便携式设备,三维扫描仪110与便携式设备可以是集成式配置,也可以是分离式配置,即三维扫描仪110为独立模块,便携式设备为独立模块,便携式设备可搭配不同的三维扫描仪110进行扫描,在本公开实施例中,以分离式配置进行说明,便携式设备和三维扫描仪110进行无线通讯连接。便携式设备包括计算模组120、显示模组130和通信模组,其中,计算模组中包括M1芯片或以上型号的芯片,具有图形处理技术,能够实时根据三维数据进行三维重建计算生成第一三维模型,通信模组可以是蜂窝 通信模组,蜂窝通信是采用蜂窝无线组网方式,在终端和网络设备之间通过无线通道连接起来,也就是将三维扫描仪110和便携式设备通过无线通道连接起来,便于便携式设备和三维扫描仪110通讯连接,进行无线传输,具体的,计算模组120中配置三维扫描软件,三维扫描软件为便携式设备提供算法服务、超文本传输协议(Hyper Text Transfer Protocol,HTTP)服务、渲染服务和数据传输服务,也就是便携式设备通过三维扫描软件和三维扫描仪110进行交互以及生成第一三维模型;显示模组130为便携式设备的显示屏幕,用以实时显示计算模组120构建的第一三维模型。
示例性的,参见图2,图2为本公开实施例提供的另一种三维扫描系统的结构示意图,图2中包括三维扫描仪210和便携式设备220,三维扫描仪210包括三维扫描集成组件211、中央处理器212、通信组件213和电源组件214,便携式设备220包括计算模组221、显示模组222和通信模组223。三维扫描仪210是激光扫描仪时,三维扫描集成组件211包括图像传感器和投射设备,图像传感器可设置一个或多个,投射设备可以包括激光设备,激光设备用于向待扫描物体发射激光线,图像传感器用于拍摄待扫描物体表面的图像生成图像数据,激光设备可以是激光投射器,激光三维扫描仪扫描物体时,激光三维扫描仪的激光投射器向物体投射激光线而三维扫描仪的图像传感器同步捕捉物体表面覆盖有激光线的图像,图像数据则包括激光线特征,投射设备可以包括LED闪烁灯,LED闪烁灯照亮时,图像传感器捕捉物体表面粘贴的标志点,图像数据包括标志点特征,投射设备还可以包括散斑投射器,散斑投射器可以是DLP投影机,三维扫描仪可以以散斑模式扫描物体,三维扫描仪的散斑投射器向物体表面投射散斑图案而三维扫描仪的图像传感器同步捕捉物体表面覆盖有散斑图案的图像,此时图像数据则包括散斑特征,需要说明的是,投射设备还可以投射其他结构光图案,当然,三维扫描仪可以仅包括其中一种投射设备也可以包括多种投射设备,三维扫描仪可以仅具有一种扫描模式也可以包括多种扫描模式,此外,三维扫描集成组件与中央处理器可以集成设置,也可以分离设置;通信组件213用于和便携式设备220进行通信连接,电源组件214用于为三维扫描仪210供电,以提供三维扫描仪210上运行的各组件所需的电源,在通信组件包括无线通信组件时,电源组件包括锂电池。便携式设备220中计算模组221利用M1芯片提供算力,完成第一三维模型的实时构建,显示模组220用于实时显示第一三维模型,通信组件223用于和三维扫描仪210基于通信组件213进行通信,完成数据传输,通信组件223还提供http服务,便于将生成的工程文件导入和导出。
可选的,三维扫描仪210基于安装的多个图像传感器生成图像数据,并基于图像数据确定目标三维数据,具体包括:三维扫描仪210基于安装的多个图像传感器获取待扫描物体生成多个图像数据,并根据多个图像数据进行三维重建计算确定三维扫描仪210输出的目标三维数据,所述目标三维数据包括激光线和待扫描物体上至少一个标志点对应的三维数据。
可选的,三维扫描系统包括激光扫描模式,在激光扫描模式下,图像数据包括激光线特征和标 志点特征,基于图像数据中的激光线特征进行三维重建计算生成点云三维数据,基于图像数据中的标志点特征进行三维重建计算生成标志点三维数据,目标三维数据包括点云三维数据和标志点三维数据。
可理解的,在使用三维扫描仪进行扫描之前,在待扫描物体上粘贴至少一个标志点,标志点可以是醒目、便于检测识别的点。标志点设置完成后,三维扫描仪210对标记后的物体进行扫描,三维扫描仪基于投射器投射结构光图案至待扫描物体表面,基于LED闪烁灯闪烁照亮标志点,并基于图像传感器拍摄待扫描物体表面生成图像数据,图像数据包括结构光图案信息和标志点信息,基于图像数据提取结构光图案信息及标志点信息,基于结构光图案信息进行三维重建获得点云三维数据,基于标志点信息进行三维重建获得标志点三维数据,即目标三维数据包括点云三维数据和标志点三维数据。投射器还可以是DLP,也可以是激光投射器,以激光三维扫描仪为例,激光设备发出激光线在物体表面,安装的多个图像传感器拍摄包括至少一个标志点以及多个激光线的图像,生成多个图像数据,激光设备同一时刻可以发出多条激光线,例如7条激光线、14条激光线或48条激光线,激光设备发出的每条激光线都是由多个激光点组成的,例如三维扫描仪210左右两边各包括两个图像传感器,两个图像传感器同时拍摄物体,生成两个图像数据,两个图像数据可以理解为采集的一帧图像对应的两个数据,下述由两个图像数据得到的三维数据可以记为一帧图像对应的三维数据,每个图像数据中都包括多条激光线和至少一个标志点,两个图像数据中均包括至少一个相同的标志点,也会包括多个相同的激光线;随后三维扫描仪210中的中央处理器212根据生成的两个图像数据中激光线特征和标志点特征,基于双目匹配原理三维重建计算,确定激光线和标志点各自对应的三维数据,也就是进行激光线三维重建和标志点三维重建,该三维数据包括激光线上的多个激光点的三维坐标、激光点数量以及标志点的三维坐标、标志点数量,多个激光点的三维坐标和标志点的三维坐标是同一个坐标系下的,具体的,三维扫描仪基于图形处理器(graphics processing unit,GPU)对图像数据进行三维重建计算确定目标三维数据。
可选的,显示模组222还包括编辑组件,编辑组件用于对显示模组222显示的第一三维模型进行编辑。
可理解的,计算模组221接收到三维扫描仪210发送的三维数据后,根据三维数据进行三维重建计算生成第一三维模型,第一三维模型是待扫描物体的至少部分第一三维模型,三维扫描仪210会向计算模组221传输每帧图像对应的目标三维数据,计算模组221将接收到的多帧目标三维数据拼接融合,计算模组221会将每帧图像对应的目标三维数据中的增量数据进行渲染并生成第一三维模型,然后通过显示模组显示,例如显示模组222可以随着扫描仪扫描的过程显示1/3物体对应的第一三维模型或者1/2物体对应的第一三维模型,也就是实时显示第一三维模型,在T时刻,显示模组显 示的第一三维模型只包括模型A,在T+1时刻,对增量数据进行渲染得到的模型B,利用模型A和模型B生成T+1时刻待显示的第一三维模型,随后显示模组同时显示模型A和模型B,通过实现显示第一三维模型的方式便于用户确定扫描的数据是否准确,若是第一三维模型和物体存在差异,也就是扫描的数据可能不准确,就可以在扫描现场及时调整扫描方式。显示模组222还包括编辑组件,编辑组件用于在显示模组222实时显示第一三维模型时,对显示的第一三维模型进行编辑,例如将第一三维模型进行调整,进行删除或修改等操作,得到有效的第一三维模型。
可选的,计算模组221生成第一三维模型后,根据设定的配置文件、目标三维数据和第一三维模型生成并存储工程文件,工程文件用于在其他终端生成第二三维模型,第二三维模型为第一三维模型或者为根据目标三维数据及第二预设融合参数进行三维重建计算生成的三维模型。
可理解的,计算模组221生成第一三维模型后,计算模组221根据工程配置文件、保存的每帧图像对应的目标三维数据以及确定的有效的第一三维模型生成工程文件。随后可以将工程文件导出存储并发送至其他终端设备进行精确计算,其他终端设备可以是算力比较高的电脑,其他终端根据工程文件生成第二三维模型,其中,第二三维模型可能是第一三维模型,还可能是其他终端根据目标三维数据以及第二预设融合参数进行的三维重建计算得到的更加精确的三维模型,第二预设融合参数包括第二点距,第二点距要小于第一预设融合参数中的第一点距,下述实施例以电脑接收工程文件为例进行说明。
可选的,若第一三维模型的精度需要进一步提高,可在终端接收到工程文件后,执行如下操作:根据第二预设融合参数和工程文件中的目标三维数据,生成全局点云三维数据;将全局点云三维数据进行渲染,生成第二三维模型。
可理解的,便携式设备220建立http服务,在电脑端输入http服务对应的ip地址和端口号,选择需要导出的工程文件,将工程文件下载到电脑端,电脑端下载工程文件后,若工程文件中的第一三维模型不满足精度要求,则根据工程文件中每帧图像对应的三维数据和第二预设融合参数重新构建精度更高的第二三维模型,可理解的是,不同点距优化的点云三维数据对应的三维模型的精度不同,例如便携式设备中计算模组可以选择根据大点距优化的全局点云三维数据得到第一三维模型,大点距是指第一预设融合参数中的第一点距,以减少计算模组的计算量和内存占用量,达到实时显示第一三维模型的目的,也能够扫描比较大的物体,但是通过大点距优化得到的全局点云三维数据构建的第一三维模型精度比较低,后续可以根据用户需求通过电脑根据工程文件中每帧图像对应的三维数据采用小点距进行优化和融合,重新构建精度更高的第二三维模型,小点距是指第二预设融合参数中的第二点距,其中大点距(第一点距)是指点云距离在0.3毫米(mm)及以上,小点距(第二点距)是指点云距离在0.3毫米(mm)以下。可理解的是,电脑将三维数据全局点云三维数据通过渲染模块渲染 之后,在电脑显示屏上显示渲染后生成的第二三维模型,可以通过编辑按钮,对第二三维模型进行调整,得到更加精确的第二三维模型。
可选的,三维扫描仪与便携式设备分离式设置,三维扫描仪配置有处理模组、投射器及图像传感器,处理模组分别与投射器、图像传感器及便携式设备通信连接;便携式设备包括外壳,便携式设备的各组件设置于外壳。
可选的,三维扫描仪与便携式设备集成式设置,三维扫描仪配置有投射器及图像传感器,便携式设备分别与投射器、图像传感器通信连接。
本公开提供的实施例还包括如下内容:
三维扫描系统包括三维扫描仪和便携式电脑,三维扫描仪包括扫描模组和第一计算模组,便携式电脑包括第二计算模组和显示模组,三维扫描仪与便携式电脑通信连接。
扫描模组包括投射器和图像传感器,投射器朝被测物体投射光,图像传感器获取被测物体表面图像生成图像数据,图像数据由图像传感器传输至第一计算模组,第一计算模组对图像数据进行三维重建计算生成目标三维数据。
投射器包括激光投射器,扫描模组包括激光扫描模式,例如,投射器投射激光线至被测物体表面,图像传感器获取被测物体表面图像生成图像数据,图像数据包括激光线特征;投射器包括LED闪烁灯,在被测物体表面粘贴标志点,LED闪烁照亮标志点,图像传感器获取被测物体表面图像生成图像数据,图像数据包括标志点特征;投射器可包括激光投射器和LED闪烁灯,且激光投射器和LED闪烁灯可同步工作,这样图像传感器获取的图像数据包括激光线特征和标志点特征;当然,投射器还可以包括DLP投影机等其他形式的投射器,DLP投影机可投射散斑图案,则扫描模组包括散斑扫描模式,DLP投影机可投射条纹图案,则扫描模组包括条纹扫描模式。多种形式的投射器可单独配置也可组合配置,扫描模组可仅包括单一扫描模式,也可包括多种扫描模式,扫描模组包括多种扫描模式时,可切换扫描模式进行扫描。需要说明的是,LED闪烁灯通常与激光投射器组合配置。
图像传感器可以仅设置一个,也可以设置多个,图像传感器设置一个时,扫描模组为单目扫描模组,图像传感器设置多个时,扫描模组可包括单目扫描单元或多目扫描单元,也可包括多个扫描单元,例如包括单目扫描单元和双目扫描单元。在扫描模组基于单目扫描模组或单目扫描单元获取图像数据时,第一计算模组基于单目重建原理三维重建目标三维数据,在扫描模组基于双目扫描模组/双目扫描单元获取图像数据时,第一计算模组基于双目重建原理三维重建目标三维数据。
扫描模组与第一计算模组可集成配置,设置于单一三维扫描仪外壳内,扫描模组与第一计算模组也可分离式配置,扫描模组配置独立外壳,第一计算机模组配置独立外壳。
第一计算模组优选为GPU计算模组,对图像数据进行并行计算。
三维扫描仪包括电源模组,用于为三维扫描仪内各组件供电。电源模组包括电池,优选为锂电池,使得三维扫描仪摆脱电源线的束缚。
三维扫描仪包括第一通信模组,三维扫描仪通过第一通信模组与便携式电脑通信连接。第一通信模组包括有线通信单元和/或无线通信单元。三维扫描仪在锂电池及无线通信单元的支撑下可摆脱线缆的束缚,扫描更自由。
便携式电脑包括第二通信模组,第二通信模组与第一通信模组通信连接。第二通信模组包括有线通信单元和/或无线通信单元。在本公开实施例中,无线通信单元优选蜂窝通信模组。
便携式电脑配置有实时融合模式,在实时融合模式下,第二计算模组通过实时计算单元进行实时融合,显示屏通过实时渲染单元增量渲染显示。
实时计算单元获取三维扫描仪生成的当前帧目标三维数据及之前帧目标三维数据,基于当前帧目标三维数据与之前帧目标三维数据的共有特征确定当前帧目标三维数据与基准坐标系的第一旋转平移关系,根据第一旋转平移关系及第一预设融合参数将当前帧目标三维数据融合到前一第一三维模型中,生成当前第一三维模型,基准坐标系为第一三维模型所处坐标系。
实时计算单元将增量第一三维模型传输给实时显示单元,实时显示单元对增量第一三维模型进行渲染显示。
便携式电脑配置有全局融合模式,在全局融合模式下,第二计算模组通过全局计算单元进行全局融合,显示屏通过全局渲染单元渲染显示。
全局计算单元,获取三维扫描仪生成的所有帧目标三维数据,基于所有帧目标三维数据的共有特征确定所有帧目标三维数据与基准坐标系的第二旋转平移关系,根据第二旋转平移关系和第一预设融合参数将所有帧目标三维数据进行融合,生成第一三维模型,基准坐标系为第一三维模型所处坐标系。
全局计算单元将第一三维模型传输给显示器,显示器对第一三维模型进行渲染显示。
在本公开实施例中,在三维扫描仪实时扫描过程中,第二计算模组同步运行实时融合模式,在三维扫描仪完成扫描后,第二计算模组运行全局融合模式。计算模组获取三维扫描仪完成扫描的信号,基于所述信号进入全局融合模式。第二计算模组优选为CPU计算模组。
便携式电脑包括存储模组,三维扫描仪生成的目标三维数据传输至便携式电脑并存储至存储模组,第二计算模组从存储模组中获取目标三维数据进行融合。
以下结合激光扫描模式作进一步具体说明:
扫描模组的激光投射器朝粘贴有标志点的被测物体表面投射激光线且LED闪烁灯同步工作,扫 描模组的两个图像传感器同步获取被测物体表面的图像生成图像数据,图像数据包括激光线特征及标志点特征,扫描模组将图像数据传输至第一计算模组,第一计算模组提取图像数据中的激光线特征及标志点特征,第一计算模组对两个图像传感器中的激光线特征及标志点特征进行匹配,基于匹配的激光线特征进行双目立体视觉重建,生成点云三维数据,基于匹配的标志点特征进行双目立体视觉重建,生成标志点三维数据,目标三维数据包括点云三维数据和标志点三维数据,扫描模组每生成一帧图像数据(多目扫描模组同步获取的图像数据计为一帧图像数据),第一计算模组基于一帧图像数据生成一帧目标三维数据,一帧目标三维数据包括一帧点云三维数据和一帧标志点三维数据。
第一计算模组将目标三维数据传输至便携式电脑,便携式电脑每获取一帧目标三维数据并将其存储至存储模组。
便携式电脑的实时计算单元获取当前帧目标三维数据及之前帧目标三维数据,通过当前帧标志点三维数据与之前帧标志点三维数据的共有标志点特征进行跟踪拼接,确定当前帧标志点三维数据与基准坐标系的第一旋转平移关系,根据第一旋转平移关系及第一预设融合参数将当前帧点云三维数据拼接融合到前一第一三维模型中,生成当前第一三维模型。之前帧目标三维数据指在当前帧三维数据获取以前三维扫描仪获取到的一帧或多帧三维数据,前一第一三维模型指前一帧目标三维数据经实时计算单元实时拼接融合得到的第一三维模型。
实时计算单元将增量第一三维模型传输给实时显示单元,实时显示单元对增量第一三维模型进行渲染显示。
在扫描仪完成扫描后,便携式电脑的全局计算单元获取三维扫描仪生成的所有帧目标三维数据,基于所有帧标志点三维数据的共有标志点特征确定所有帧标志点三维数据与基准坐标系的第二旋转平移关系,根据第二旋转平移关系和第一预设融合参数将所有帧点云三维数据进行拼接融合,生成第一三维模型。当然,实时计算单元获取的第一三维模型如果满足要求,也可不经过全局计算单元进行全局优化计算。
本公开实施例提供了一种三维扫描系统,三维扫描系统包括三维扫描仪、计算模组和显示模组,三维扫描仪基于安装的多个图像传感器生成图像数据,并基于图像数据进行三维重建计算确定三维数据,计算模组与三维扫描仪通信连接,以获取三维扫描仪生成的三维数据,并根据三维数据进行三维重建计算生成第一三维模型,显示模组与计算模组通信连接,以获取计算模组生成的第一三维模型,并实时显示第一三维模型。本公开提供的三维扫描系统可以在扫描物体的过程中生成物体对应的至少部分第一三维模型,也就是扫描物体和三维重建计算可以同时进行,还能够实时显示第一三维模型,便于后续根据显示的第一三维模型对扫描情况进行调整,操作比较灵活,可以适用于比较复杂的应用场景。
图3为本公开实施例提供的一种三维数据生成方法的流程示意图,说明了三维扫描系统中三维扫描仪根据扫描得到的图像数据进行三维重建计算生成目标三维数据的流程,具体包括如图3所示的如下步骤S310至S330:
S310、根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标。
可理解的,三维扫描仪的三维扫描集成组件中图像传感器生成图像数据后,以两个图像传感器各自生成两个图像数据为例,根据两个图像数据中同一个标志点对应的数据确定目标坐标系,例如待扫描物体包括3个标志点,两个图像数据中均包括第一个标志点对应的数据,根据在不同角度拍摄到的图像数据中第一标志点的相关数据,确定目标坐标系,也就是将标志点作为标准参照点,随后,确定第一标志点在目标坐标系中的三维坐标。
S320、根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标。
可理解的,在上述S310的基础上,三维扫描仪输出的每条激光线都是由多个激光点组成的,根据多个图像数据中相同激光点对应的数据,确定每个激光点在目标坐标系下的三维坐标,将所有激光点整合到同一个坐标系下,也就是根据图像成像位置的差异确定两个图像数据中包括的相同激光点在目标坐标系下的三维坐标,便于后续构建第一三维模型,若是一个图像数据中包括某一激光点,另一个图像数据中不包括该某一激光点,则无法精准的确定该某一激光点的准确坐标。
S330、根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维数据,得到目标三维数据。
可理解的,在上述S320的基础上,获取上述确定三维坐标的激光点以及标志点各自的数量,将多个激光点在目标坐标系下的三维坐标整合为一个激光点集合,将标志点在目标坐标系下的三维坐标整合为一个标志点集合,根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维数据生成三维数据,该三维数据是指多个图像传感器在同一时刻采集的一帧图像对应的数据。
本公开实施例提供了一种三维数据生成方法,是由三维扫描仪根据图像数据进行三维重建计算生成三维数据的方法,具体包括:三维扫描仪上安装的多个图像传感器扫描物体得到多个图像数据,并根据多个图像数据中至少一个相同的标志点对应的数据确定目标坐标系,并确定相同的标志点在目标坐标系下的三维坐标,确定目标坐标系后,根据多个图像数据中三维扫描仪输出的激光线对应的数据确定激光线上的多个激光点在目标坐标系下的三维坐标,也就是将多个激光点统一到同一个坐标系 下,最后根据多个激光点的数量、多个激光点在目标坐标系下的三维坐标、标志点的数量和标志点在目标坐标系下的三维坐标,得到目标三维数据,也就是得到统一坐标后的三维数据,便于在计算模组中融合成点云三维数据,同时传输的三维数据的数据量也比较小,有效减少了传输带宽,进一步加快了第一三维模型构建的速度。
图4为本公开实施例提供的一种第一三维模型生成方法的流程示意图,可选的,获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型,也就是计算模组接收到三维扫描仪传输的目标三维数据后,计算模组根据目标三维数据生成第一三维模型的流程,具体包括如图4所示的如下步骤S1010至S1040:
可理解的,计算模组接收到目标三维数据后,需要根据当前第一三维模型的生成情况确定基于三维数据进行融合的目标融合模式,目标融合模式为全局融合模式和/或实时融合模式。
可选的,获取三维扫描仪生成的目标三维数据,并将目标三维数据存储到预先构建的数据库中,数据库中包括至少一个三维数据;判断三维扫描仪是否将待扫描物体扫描完成,若是,则确定目标融合模式为全局融合模式;若否,则确定目标融合模式为实时融合模式。
可选的,判断三维扫描仪是否将待扫描物体扫描完成,包括:若计算模组检测到针对第一标识的触发操作,则确定三维扫描仪将待扫描物体扫描完成。
可理解的,可理解的,计算模组获取三维扫描仪生成的目标三维数据,并将目标三维数据存储到预先构建的数据库中,数据库用于存储三维扫描仪扫描在待扫描物体的过程中所生成的全部三维数据。三维扫描仪是实时扫描物体的,每次扫描完一帧图像后都会生成对应的目标三维数据,随着扫描的进行,物体对应的第一三维模型也越加完善,同时用户可以在显示模组上观看到整个第一三维模型,此时可以通过观看显示模组中显示的第一三维模型来确定三维扫描仪是否将待扫描物体扫描完成,若用户确定将待扫描物体扫描完成,可以触发显示模组中的第一标识(确定标识),或者按压显示模组上配置的确定按钮得到确定信号,计算模组若检测或接收到确定信号,则确定三维扫描仪将待扫描物体扫描完成,确定目标融合模式为全局融合模式,反之,则确定三维扫描仪未将待扫描物体扫描完成,确定目标融合模式为实时融合模式。
可理解的,计算模组存在两种可生成第一三维模型的模式:第一种获取到单帧图像对应的目标三维数据后就直接进行三维重建计算生成至少部分第一三维模型,也就是实时融合模式,第二种是获取到所有三维数据后再同一进行三维重建计算生成完整的第一三维模型,也就是全局融合模式。可理解的,第一种情况具体包括如下步骤S1010至S1030:
S1010、在实时融合模式下,获取三维扫描仪生成的当前帧目标三维数据,获取存储的之前帧目标三维数据。
S1020、基于当前帧目标三维数据与之前帧目标三维数据的共有特征确定当前帧目标三维数据与基准坐标系的第一旋转平移关系。
S1030、根据第一旋转平移关系及第一预设融合参数将当前帧目标三维数据增量融合到存储的前一个第一三维模型中,生成当前第一三维模型,基准坐标系为第一三维模型所处坐标系。
可选的,在全局融合模式下,获取三维扫描仪生成的所有帧目标三维数据;基于所有帧目标三维数据的共有特征确定所有帧目标三维数据与基准坐标系的第二旋转平移关系;根据第二旋转平移关系和第一预设融合参数将存储的所有帧目标三维数据进行融合,生成第一三维模型,基准坐标系为第一三维模型所处坐标系,其中,第一预设融合参数包括第一点距。
可理解的,计算模组在实时融合模式下,获取根据三维扫描仪生成的当前帧目标三维数据和存储的之前帧目标三维数据,并根据三维扫描仪生成的当前帧目标三维数据和存储的之前帧目标三维数据中包括的相同标志点(共有特征)对应的数据和基准坐标系计算第一旋转平移关系,直至扫描完成,例如三维扫描仪完成扫描后生成10个三维数据,10个三维数据在生成后会依次发送给计算模组,计算模组每接收到一个三维数据就根据接收的当前帧目标三维数据相较于之前帧目标三维数据的增量数据构建第一三维模型,直至根据10个三维数据生成待扫描物体对应的整个第一三维模型,该种情况下,可以确定扫描完成。第二种情况可以理解为,确定三维扫描仪将待扫描物体扫描完成后,计算模组根据存储的所有三维数据的共有特征(标志点)和基准坐标系,通过位姿差异计算出相邻的每两帧图像对应的三维数据之间的旋转量和平移量,基准坐标系为第一三维模型所处坐标系,随后根据旋转量和平移量得到第二旋转平移关系,旋转平移关系可以理解为旋转旋转平移关系,相邻的每两帧图像对应的三维数据中包括至少一个相同的标志点,例如三维扫描仪完成扫描后一共生成10个三维数据,分别计算第二个三维数据同第一个三维数据以及第三个三维数据之间的旋转平移关系,以此类推,直至10个三维数据遍历完。计算模组根据10个三维数据根据标志点整体计算第二旋转平移关系,便于后续将所有激光线对应的数据进行融合,得到优化后的点云三维数据,使得到的点云三维数据中激光点的位置更加准确,得到的第一三维模型精度和效果更好。
可理解的,确定物体扫描完成后,在全局融合模式下,根据计算得到的第二旋转平移关系和第一预设融合参数直接将数据库中的所有三维数据中的激光线对应的数据进行融合,得到优化后的第一全局点云三维数据,也就是进行大点距全量点云融合优化,第一预设融合参数中的第一点距可以是0.3mm及以上大小。或者,若物体没有扫描完成,也就是在实时融合模式下,根据相邻的、具有相同标志点的两个三维数据确定的第一旋转平移关系进行融合,例如已经将5个三维数据进行融合并生成第二全局点云三维数据后,随即获取到第6个三维数据,根据第6个三维数据和第5个三维数据计算第一旋转平移关系,通过第一旋转平移关系和第一预设融合参数将第6个三维数据融合到上述全局点 云三维数据(第二全局点云三维数据)中,可理解的是每次融合的都是三维数据中激光线对应的数据,此时第二全局点云三维数据中就包括6个融合后的三维数据,也就是进行单帧大点距增量融合优化。可理解的是,全局融合模式下和实时融合模式下涉及到的第一预设融合参数中的第一点距可以是相同的,都是采用0.3mm及以上的大点距进行融合。
可选的,获取当前第一三维模型的增量数据,对增量数据进行渲染,并将渲染后的增量数据所对应的第一三维模型发送至显示模组。
可理解的,若是将整个三维数据整体进行融合生成第一全局点云三维数据后,将第一全局点云三维数据通过计算模组中渲染模块进行渲染,直接生成待扫描物体对应的完整的第一三维模型,渲染模块可以是具有渲染功能的算法组成的。或者,若是将单帧图像对应的三维数据融合到第二全局点云三维数据中,则将第二全局点云三维数据中的增量数据进行渲染,融合前的第二全局点云三维数据已经渲染完并生成对应的第一三维模型了,因此只需要对融合后的第二全局点云三维数据中的增量数据进行渲染即可,随后显示融合后的第二全局点云三维数据对应的第一三维模型,以实现实时显示第一三维模型的功能,便于用户了解扫描过程,例如,在T时刻,显示模组显示的第一三维模型只包括模型A,在T+1时刻,将增量数据进行渲染得到模型B,将模型B融合到模型A中得到该时刻待显示的第一三维模型,显示模组直接显示该时刻融合后的第一三维模型。
本公开实施例提供了一种第一三维模型生成方法,通过显示模组显示的第一三维模型可以自行确定三维扫描仪是否将待扫描物体扫描完成,若扫描完成,也就是在全局融合模式下,计算组件根据获取的所有三维数据计算第二旋转平移关系,并根据第二旋转平移关系和第一预设融合参数阵将数据库中所有三维数据进行融合生成第一全局点云三维数据,随后将第一全局点云三维数据进行渲染得到整体的第一三维模型。若是扫描未完成,也就是在实时融合模式下,根据历史帧目标三维数据和当前帧目标三维数据计算第一旋转平移关系,并根据第一旋转平移关系和第一预设融合参数将目标三维数据融合到之前生成的第二全局点云三维数据中,也就是更新第二全局点云三维数据,随后将更新后的第二全局点云三维数据中的增量数据进行渲染,生成第一三维模型,此时的第一三维模型可能不是完整的第一三维模型。本公开提供的方法能够在扫描的过程中,在显示模组中实时显示物体对应的至少部分第一三维模型,便于后续调整过扫描方式,避免出现扫描错误的情况。
图5为本公开实施例提供的一种三维扫描方法的流程示意图,应用于三维扫描仪,也就是三维扫描仪端扫描图像生成三维数据的流程,具体包括如图5所示的如下步骤S510至S520:
S510、获取图像传感器基于待扫描物体生成的图像数据。
可理解的,在使用三维扫描仪进行扫描之前,在待扫描物体上粘贴至少一个标志点,标志点可以是醒目、便于检测识别的点,例如黑色圆点。标志点设置完成后,以三维扫描仪是激光扫描仪为例, 三维扫描集成组件包括多个图像传感器和多个激光设备,图像传感器用于基于待扫描物体生成图像数据,激光设备用于向待扫描物体发射激光线,激光设备可以是激光投射器,激光三维扫描仪扫描物体时,激光三维扫描仪的激光投射器向物体投射激光线而三维扫描仪的摄像装置(图像传感器)同步捕捉物体表面覆盖有激光线的图像,图像数据则包括激光线特征和标志点特征。例如三维扫描仪左右两边各包括两个摄像装置,两个摄像装置同时拍摄物体,生成两个图像数据,两个图像数据可以理解为采集的一帧图像对应的两个数据,由两个图像数据得到的三维数据可以记为一帧图像对应的三维数据,每个图像数据中都包括多条激光线和至少一个标志点,两个图像数据中均包括至少一个相同的标志点,也会包括多个相同的激光线。
S520、根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生成待扫描物体对应的第一三维模型,其中,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据。
可理解的,在上述S510的基础上,三维扫描仪中的中央处理器根据生成的两个图像数据中激光线对应的数据和标志点对应的数据,确定目标三维数据,目标三维数据包括激光线对应的点云三维数据和标志点对应的标志点三维数据,也就是进行激光线提取和标志点重建,该目标三维数据包括激光线上的多个激光点的三维坐标、激光点数量以及标志点的三维坐标、标志点数量,多个激光点的三维坐标和标志点的三维坐标是同一个坐标系下的。
可选的,根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生成待扫描物体对应的第一三维模型,具体包括:根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标;根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标;根据多个激光点的数量、多个激光点在目标坐标系下的三维坐标、标志点的数量和标志点在目标坐标系下的三维坐标,得到目标三维数据。
可选的,三维扫描仪生成目标三维数据后,将目标三维数据发送至便携式设备,便携式设备包括计算模组和显示模组,计算模组用于获取三维扫描仪生成的目标三维数据,并根据目标三维数据进行三维重建计算生成第一三维模型;显示模组用于显示计算模组生成的第一三维模型。
可理解的,个人计算机中计算模组根据目标三维数据进行三维重建计算生成第一三维模型的过程如上,在此不作赘述。
本公开实施例提供的一种三维扫描方法,应用于三维扫描仪,三维扫描仪上安装的多个图像传感器同时基于待扫描物体生成的多个图像数据,随后三维扫描仪中的中央处理器根据图像数据确定目标三维数据,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一 个标志点对应的标志点三维数据,三维扫描仪能够自行将扫描得到的图像数据转换成三维数据,以减少数据的传输带宽,增加传输速度,便于后续便携式设备根据三维数据构建第一三维模型。
在上述实施例的基础上,图6为本公开实施例提供的一种三维扫描方法,应用于终端,方法具体包括如图6所示的如下步骤S610至S620:
S610、获取三维扫描仪生成的待扫描物体的三维数据。
S620、根据待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在目标融合模式下,根据三维数据进行三维重建计算生成第一三维模型,其中,目标融合模式为全局融合模式和/或实时融合模式。
可理解的,终端包括计算模组和显示模组,终端为图2中便携式设备220,例如ipad等具有计算能力的个人移动终端,该计算模组执行上述S610至S620的步骤,具体执行方式参见上述三维扫描系统中计算模组120相关的执行方式以及执行步骤,在此不作叙述;计算模组生成第一三维模型后,将第一三维模型发送至显示模组,显示模组实时显示第一三维模型。
本公开提供的一种三维扫描方法,能够根据实时接收到的三维数据构建第一三维模型,同时基于显示模组将三维实时显示在终端的屏幕上,通过显示的第一三维模型能够了解扫描的情况,其次终端便于写携带,能够应用在比较复杂的场景下,还能进一步提高扫描精度。
目前,手持式有限三维扫描仪已在多个行业中广泛应用,绝大多数手持式有限三维扫描仪采用电脑和有线传输的工作方式,但是该种工作方式受限于进行有限传输的线缆和线缆长度的影响,不利于在复杂的工作环境中使用,比如户外需要考虑供电的问题,还比如刑侦现场需要考虑保护现场的问题,因此现有的工作方式中三维扫描仪和电脑不便于携带,也无法实时显示扫描数据,且对交流电源的依赖性比较强,用户体验差。
针对上述技术问题,本公开实施例提供了一种用于三维扫描仪的移动计算模组,上述实施例提供的三维扫描系统中的计算模组120可以是该移动计算模组,移动计算模组包括通信组件及计算组件,移动计算模组通过通信组件与三维扫描仪通信连接,以获取三维扫描仪生成的图像数据;计算组件对图像数据进行至少部分三维重建计算;移动计算模组通过通信组件与显示模组通信连接,以将计算组件的计算结果发送至显示模组,显示模组用于显示基于计算结果获取的三维模型,下面通过下述一个或多个实施例进行详细说明。
图7为本公开实施例提供的一种三维扫描系统的结构示意图,具体包括如图7所示的结构,图7包括三维扫描仪110和移动计算模组120,图7所示的三维扫描系统可以和图1所示的三维扫描系统为同一系统,图1中的计算模组120和图7中的移动计算模组120相同,其中,移动计算模组120 包括通信组件121及计算组件122,移动计算模组120通过通信组件121与三维扫描仪110通信连接,以获取三维扫描仪110生成的图像数据;计算组件122对图像数据进行至少部分三维重建计算;移动计算模组120通过通信组件121与显示模组130通信连接,以将计算组件122的计算结果发送至显示模组130,显示模组130用于显示基于计算结果获取的三维模型。
可理解的,三维扫描仪110上配置移动计算模组120,三维扫描仪110与移动计算模组120进行有线通信连接,可以通过通用串行总线(Universal Serial Bus,USB)有线通信连接,具体可以是USB3.0有线连接,通信组件121中包括有线通信组件,三维扫描仪110通过有线通信将扫描得到的图像数据传输至移动计算模组120,移动计算模组120中的计算组件122对图像数据进行至少部分三维重建计算,计算组件122可以为中央处理器,中央处理器优选地具有图形处理技术,用户可以预先选择不同的工作模式,不同工作模式下移动计算模组120对应不同的三维重建计算方式,确定工作模式后计算组件122可以在确定的工作模式下进行相应三维重建计算方式的三维重建计算,计算组件122计算得到每个工作模式对应的计算结果,随后将计算组件122的计算结果发送至显示模组130,计算结果为不同工作模式下对应的三维数据,其中移动计算模组120与显示模组130通信连接,显示模组130可以为便携式的显示屏,显示模组130可以配置有计算模组,例如平板,当然,显示模组130也可以是计算机,显示模组130用于显示基于计算结果获取的三维模型,三维模型也就是三维扫描仪110扫描的物体所对应的三维数字模型。在本申请的公开实施例中,移动计算模组120通过通信组件121与显示模组130通信连接,通信连接方式可以为有线通信连接和/或无线通信连接,通过通用串行总线进行有线通信连接,具体可以是USB TYPE-C,通过Wifi或热点进行无线通信连接,具体可以说Wifi6,计算组件122将计算结果通过有线通信或无线通信传输到显示模组130上。
可选的,计算组件122的工作模式包括第一工作子模式,计算组件122通过第一工作子模式对图像数据进行计算,获取第一计算结果。
可理解的,计算组件122的工作模式包括第一工作子模式,计算组件122在第一工作子模式下,对图像数据进行部分三维重建计算,获得第一计算结果,第一计算结果可以为点云数据。
可选的,计算组件122通过第一工作子模式对图像数据进行计算,获取第一计算结果,包括:计算组件122提取图像数据中的特征数据,并基于特征数据三维重建出点云数据,第一计算结果包括点云数据。
可理解的,计算组件122在第一工作子模式下的具体计算步骤包括:计算组件122提取图像数据中的特征数据,特征数据指标志点、散斑、激光线及条纹相位等特征,特征是通过扫描时所使用的三维扫描仪的类型或者三维扫描仪的扫描模式确定的,计算组件122根据所选三维扫描仪的类型或所选三维扫描仪的扫描模式采用相应的特征提取模式进行特征提取,随后计算组件122基于特征数据进 行三维重建得到点云数据,上述涉及到的第一计算结果包括点云数据。
可选的,计算组件122的工作模式还可以包括第二工作子模式,计算组件122通过第二工作子模式对第一计算结果进行计算,获取第二计算结果。
可理解的,计算组件122的工作模式还可以包括第二工作子模式,在通过第一工作子模式对图像数据进行计算,获得第一计算结果后,通过第二工作子模式对第一计算结果进行计算,获取第二计算结果,具体地,对图像数据进行部分三维重建计算,获得第一计算结果,第一计算计算结果为点云数据,随后根据第一计算结果进行进一步的三维重建计算,获取第二计算结果,第二计算结果为拼接后的点云数据,第二工作子模式可以理解为在第一工作子模式的基础上进一步进行三维重建计算,得到更为完整的三维重建计算。可理解的是,三维扫描仪110在扫描物体时会生成多帧图像,至少一帧图像会对应一个图像数据,也就是可以每帧图像对应一个图像数据,也可以多帧图像对应一个图像数据,即要确定物体的三维模型可能需要多个图像数据,上述第一工作子模式是只计算每个图像数据对应的点云数据,但是不会对多个点云数据进行融合处理,例如三维扫描仪110在扫描物体1时得到了5个图像数据,会将5个图像数据分别传输至计算组件122,计算组件122在第一工作子模式下会依次计算接收到的5个图像数据中每个图像数据对应的点云数据,5个图像数据中每个图像数据对应的点云数据可以理解为第一计算结果,第二工作子模式会在计算完5个图像数据中每个图像数据对应的点云数据之后,将5个点云数据进行拼接融合,得到拼接融合后的点云数据。
可选的,计算组件122通过第二工作子模式对第一计算结果进行计算,获取第二计算结果,包括:计算组件122将基于特征数据三维重建出的点云数据进行拼接融合,第二计算结果包括拼接融合后的点云数据。
需要说明的是,计算组件122配置有第一工作模式,第一工作模式包括第一工作子模式,计算组件122还可以配置有第二工作模式,第二工作模式包括第一工作子模式和第二工作子模式,计算组件122切换选择第一工作模式或第二工作模式,在第一工作模式下,计算组件122将图像数据通过第一工作子模式进行三维重建计算,获取第一计算结果,在第二工作模式下,计算组件122将图像数据通过第一工作子模式进行三维重建计算,获取第一计算结果,将第一计算结果通过第二工作子模式进行三维重建计算,获取第二计算结果。第一工作子模式对应扫描仪类型和/或扫描模式配置有多种计算模式。
可选的,移动计算模组120包括模式选择控件123,移动计算模组120响应于模式选择控件123的触发操作,将第一计算结果和/或第二计算结果发送至显示模组130。
可理解的,移动计算模组120中还可以包括一个比较小的显示屏,在该显示屏中可以显示模式选择控件123、无线网络通信技术(WiFi)、电量等移动计算模组120的基础信息,或者,模式选择 控件123以按钮的形式设置于移动计算模组120,通过按钮的方式确定当前计算组件122的工作模式,在根据模式选择控件123确定当前的工作模式后,在该显示屏中还可以显示当前的工作模式,例如显示“第一工作子模式”或者“第二工作子模式”的字样。具体的,移动计算模组120响应于模式选择控件123的触发操作,也就是用户通过显示屏触发了模式选择控件123进而确定了当前的工作模式,随后移动计算模组120会将在该当前的工作模式下得到的第一计算结果和/或第二计算结果发送至显示模组130进行实时显示,也就是显示模组130可以显示没有拼接融合的第一计算结果,或者显示拼接融合和后的第二计算结果,还或者同时显示第一计算结果和第二计算结果,显示模组130可以通过触摸滑动的方式调整基于第一计算结果或第二计算结果获取的三维模型。
当然,在显示模组130为平板或计算机等具有处理器的情况下,也可取消移动计算模组120上显示屏的设置,或者,将模式选择控件123设置在显示模组130上。
在本公开实施例中,移动计算模组120与无计算能力的便携式显示屏有线通信连接,移动计算模组120选择第二工作模式工作后,将第二计算结果通过TYPE-C(DP ALTMODE)视频传输技术传输到便携式显示屏实时显示。移动计算模组120与平板(或计算机)通过无线或有线通信连接,移动计算模组120优先选择第一工作模式工作,将第一计算结果发送至平板,平板将第一计算结果通过第二工作子模式进行计算,获取第二计算结果并实时显示,图像数据的重建计算在移动计算模组120与平板(或计算机)两端分布式进行,可以提高数据处理的效率和稳定性,保证实时显示效果。移动计算模组120搭配便携式显示屏,用于三维扫描仪的扫描时,可解决受限于线缆和线缆长度,不利于一些复杂的工作环境,比如户外(供电问题)、刑侦现场(保护物证)等的问题。
可选的,通信组件121包括无线通信组件,移动计算模组120通过无线通信组件将计算结果实时传输至显示模组130。
可选的,移动计算模组120中还包括可以配置连接固态硬盘(Solid State Disk或Solid State Drive,SSD)、安全数码卡(Secure Digital Memory Card/SD card,SD卡)等存储介质的接口,移动计算模组120可以将图像数据、第一计算结果和第二计算结果存储在配置的存储介质中,在扫描完成后,可以将存储介质中的数据传输至其他终端设备,其他终端设备可以是个人计算机(Personal Computer,PC)上,在个人计算机上进行精细的三维重建计算,提高数据的安全性和可用性,也便于对不同阶段得到的数据进行分析计算。
可选的,移动计算模组120还包括电源组件,电源组件用于为移动计算模组120和三维扫描仪110供电。
可理解的,移动计算模组120还包括电源组件,电源组件具体可以是锂电池,并为移动计算模组120配置配套具有功率传输协议放热充电器,具体可以是TYPE-C PD充电器,可以通过小型PD 氮化镓适配器为移动计算模组120进行充电,电源组件(锂电池)用于为移动计算模组120和三维扫描仪110供电。
示例性的,参见图8,图8为本公开实施例提供的另一种用于三维扫描仪的移动计算模组的结构示意图,图8中包括移动计算模组800,移动计算模组800中包括计算组件810、电源组件820、通信组件830、存储组件840和显示屏850,通讯组件230分别和计算组件810、显示屏850以及存储组件840连接,具体的,电源组件820中包括电源管理组件和锂电池,电源管理组件用于控制锂电池进行充电;计算组件810具体可以是数字化产品开发系统(Next Generation,NX);显示屏850和计算组件810通过通信组件830进行连接,显示屏850中包括,模式选择控件,可以在显示屏850内触发模式选择控件确定工作模式,显示屏850具体可以是有机电激光显示(Organic Light-Emitting Diode,OLED),显示屏850的尺寸可以是0.96寸;移动计算模组800可以通过驱动连接显示模组130,显示模组130也可以是有机电激光显示,具体可以是5.5至8寸OLED;移动计算模组800还可以通过通信组件830连接存储组件840,通信组件830包括有线通信组件和无线通信组件,具体的可以通过有线通信组件USB3.0连接U盘;数字化产品开发系统的安全数字输入输出(Secure Digital Input and Output,SDIO)连接存储组件840中的SD卡,安全数字输入输出也就是一个外设备接口,还可以通过数字化产品开发系统的高速串行计算机扩展总线标准(peripheral component interconnect express,PCI-Express)连接SSD以及wifi6,wifi6为通信组件830中的无线通信组件;移动计算模组800中还包括微控制单元(Microcontroller Unit,MCU),微控制单元用于控制移动计算模组800的开关机和重置等操作;移动计算模组800中还包括多个发光二极管(light-emitting diode,LED灯),用于提供照明和指示;移动计算模组800中还包括惯性测量单元(Inertial Measurement Unit,IMU),用于检测和测量移动计算模组800的加速度与旋转运动。
示例性的,参见图9,图9为本公开实施例提供的另一种用于三维扫描仪的移动计算模组结构示意图,图9所示的移动计算模组的结构示意图和图8所示的移动计算模组的结构示意图除了模式选择控件在移动计算模组中的位置不同,其余皆相同,在此不作赘述,图9中模式选择模组860还可以以按钮的形式配置在移动计算模组800上,提供按压移动计算模组800上的模式选择模组860确定工作模式,确定工作模式后,当前工作模式也可以显示在显示屏850中。
本公开实施例提供了一种用于三维扫描仪的移动计算模组,移动计算模组包括通信组件及计算组件,移动计算模组通过通信组件与三维扫描仪通信连接,以获取三维扫描仪生成的图像数据;计算组件对图像数据进行至少部分三维重建计算;移动计算模组通过通信组件与显示模组通信连接,以将计算组件的计算结果发送至显示模组,显示模组用于显示基于计算结果获取的三维模型,本公开提供的移动计算模组适用于三维扫描仪,三维扫描仪在应用时可以配置移动计算模组,便于携带,实施方 式简便,不受有限传输的线缆和线缆长度的影响,可以用于在复杂的工作环境中,还可以实时显示扫描数据,提高了用户体验。
在上述实施例的基础上,图10为本公开实施例提供的一种三维扫描方法的流程示意图,三维扫描方法应用于上述移动计算模组120,三维扫描方法具体包括如图10所示的步骤S1010至S1020:
S1010、获取三维扫描仪生成的待测物体对应的图像数据。
可理解的,移动计算模组获取三维扫描仪再扫描待测物体的过程中生成的图像数据,图像数据可以是扫描得到的每帧图像对应的图像数据,还可以是多帧图像对应的图像数据。
S1020、根据图像数据进行至少部分三维重建计算,并将计算结果发送至移动计算组件连接的显示模组进行显示,显示模组用于显示基于计算结果获取的待测物体的三维模型。
可理解的,在上述S1010的基础上,移动计算模组中的计算组件对图像数据进行至少部分三维重建计算,用户可以预先在移动计算模组中选择不同的工作模式,不同工作模式对应不同的三维重建计算方式,确定工作模式后计算组件可以在确定的工作模式下进行部分三维重建计算或者完整的三维重建计算,或者,计算组件分别计算得到每个工作模式对应的三维数据,得到图像数据进行三维重建后的三维数据后,再确定工作模式以及该工作模式对应的三维数据,随后将计算组件的计算结果发送至显示模组,计算结果可以理解为不同工作模式下对应的三维数据,其中移动计算模组通过通信组件与显示模组通信连接,显示模组可以理解为便携式的显示屏,显示模组用于显示基于计算结果获取的三维模型,三维模型也就是三维扫描仪扫描的待测物体所对应的三维模型。
可选的,移动计算模组工作模式包括第一工作子模式和第二工作子模式。
可理解的,计算组件的工作模式包括第一工作子模式和第二工作子模式,可以预先确定工作模式,不同工作模式的计算流程参见上述实施例,在此不作赘述。
可选的,根据图像数据进行至少部分三维重建计算,包括:若工作模式为第一工作子模式,则提取图像数据中的特征数据,并基于特征数据三维重建出点云数据;若工作模式为第二工作子模式,则提取图像数据中的特征数据,将基于特征数据三维重建出的点云数据进行数据融合。
可理解的,计算组件在第一工作子模式下的具体计算步骤参见上述实施例,在此不作赘述。可以理解的是,计算组件计算出点云数据之后,可以直接将点云数据发送至其他终端设备,其他终端设备可以是上述涉及到的个人计算机,也就是操作三维扫描仪的操作人员可以只在负责现场的实时图像数据采集,随后全部扫描完成后再对点云数据进行处理,具体的,计算组件可以通过通信组件中的无线通信组件将点云数据传输至其他终端设备,无线通信组件具体可以是第六代无线网络技术;其他终端设备接收到点云数据后,将点云数据进行拼接融合后得到三维模型,该三维模型可以直接在其他终端设备上进行显示,还或者,显示模组接收其他终端设备传输的三维模型并显示。
可理解的,计算组件在第二工作子模式下的计算方式具体包括:计算组件提取图像数据中的特征数据,具体的可以提取图像数据中的标志点、散斑、激光线及条纹相位等特征得到特征数据,随后计算组件基于特征数据进行三维重建得到点云数据,上述涉及到的第一计算结果中就包括点云数据。随后,计算组件将基于特征数据三维重建出的点云数据进行拼接融合,第二计算结果包括拼接融合后的点云数据,计算组件得到拼接融合后的点云数据后,可以将拼接融合后的点云数据直接传输给显示模组进行实时显示,其中,拼接融合后的点云数据可以理解为三维数据,通过实现显示三维数据的方式便于确定扫描的数据是否准确,若是三维模型和物体存在差异,也就是扫描的数据可能不准确,就可以在扫描现场及时调整扫描方式。
本公开实施例提供的一种三维扫描方法,通过获取三维扫描仪生成的待测物体对应的图像数据,根据图像数据进行至少部分三维重建计算,并将计算结果发送至移动计算组件连接的显示模组进行显示,显示模组用于显示基于计算结果获取的待测物体的三维模型,再使用三维扫描仪进行扫描的过程中就能够根据实时传输的图像数据进行至少部分的三维重建计算,还可以将计算结果对应的三维数据进行实时的显示,通过实现显示三维数据的方式便于确定扫描的数据是否准确,若是三维数据和待测物体存在差异,也就是扫描的数据可能不准确,就可以在扫描现场及时调整扫描方式,避免后续进行精细计算时获得到扫描数据不准确,提高了用户体验。
图11为本公开实施例提供的三维扫描装置的结构示意图。本公开实施例提供的三维扫描装置可以执行上述三维扫描方法实施例提供的处理流程,如图11所示,三维扫描装置1100包括:
获取单元1110,用于获取三维扫描仪生成的待测物体对应的图像数据;
计算单元1120,用于根据图像数据进行至少部分三维重建计算,并将计算结果发送至移动计算组件连接的显示模组进行显示,显示模组用于显示基于计算结果获取的待测物体的三维模型。
可选的,装置1100中移动计算模组工作模式包括第一工作子模式和第二工作子模式。
可选的,计算单元1120中根据图像数据进行至少部分三维重建计算,具体用于:
提取图像数据中的特征数据,并基于特征数据三维重建出点云数据;和/或
提取图像数据中的特征数据,并基于特征数据三维重建出点云数据,将点云数据进行数据融合。
图11所示实施例的三维扫描装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图12为本公开实施例提供的三维扫描装置的结构示意图。本公开实施例提供的三维扫描装置可以执行三维扫描方法实施例提供的处理流程,如图12所示,三维扫描装置1200包括:
获取单元1210,用于获取图像传感器基于待扫描物体生成的图像数据;
确定单元1220,用于根据图像数据进行三维重建计算确定目标三维数据,目标三维数据用于生 成待扫描物体对应的第一三维模型,其中,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据。
可选的,确定单元1220中根据图像数据进行三维重建计算确定目标三维数据,目标三维数据包括三维扫描仪输出的激光线对应的点云三维数据和待扫描物体上至少一个标志点对应的标志点三维数据,具体用于:
根据多个图像数据中待扫描物体上同一个标志点对应的数据确定目标坐标系以及标志点在目标坐标系下的三维坐标;
根据多个图像数据中三维扫描仪输出的激光线对应的数据,确定激光线上的多个激光点在目标坐标系下的三维坐标;
根据由多个激光点的数量和多个激光点在目标坐标系下的三维坐标组成的点云三维数据以及由标志点的数量和标志点在目标坐标系下的三维坐标组成的标志点三维坐标,得到目标三维数据。
可选的,装置1200中还包括发送单元,发送单元用于三维扫描仪生成三维数据后,将三维扫描数据发送至便携式设备,便携式设备包括计算模组和显示模组,计算模组用于获取三维扫描仪生成的三维数据,并根据三维数据进行三维重建计算生成第一三维模型;显示模组用于显示计算模组生成的第一三维模型。
图12所示实施例的三维扫描装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图13为本公开实施例提供的三维扫描装置的结构示意图。本公开实施例提供的三维扫描装置可以执行三维扫描方法实施例提供的处理流程,如图13所示,三维扫描装置1300包括:
获取单元1310,用于获取三维扫描仪生成的待扫描物体的三维数据;
生成单元1320,用于根据待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在目标融合模式下,根据三维数据进行三维重建计算生成第一三维模型,其中,目标融合模式包括全局融合模式和/或实时融合模式。
图13所示实施例的三维扫描装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图14为本公开实施例提供的电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图14所示,电子设备1400包括:处理器1410、通讯接口1420和存储器1430;其中,计算机程序存储在存储器1430中,并被配置为由处理器1410执行如上述的三维扫描方法。
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被 处理器执行以实现上述实施例所述的三维扫描方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的三维扫描方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
工业实用性
本公开的三维扫描系统通过配置在三维扫描仪上的计算模组可以在扫描物体的过程中生成物体对应的扫描数据,使得三维扫描仪具备扫描和重建计算能力,且实施方式简便,不受有限传输的线缆和线缆长度的影响,还可以实时显示扫描数据,便于后续根据显示数据对扫描情况进行调整,操作比较灵活,可以用于在复杂的工作环境中,具有很强的工业实用性。

Claims (21)

  1. 一种三维扫描系统,其特征在于,所述三维扫描系统包括三维扫描仪、计算模组和显示模组;所述三维扫描仪基于图像传感器生成图像数据,并基于所述图像数据进行三维重建计算确定目标三维数据;所述计算模组与所述三维扫描仪通信连接,以获取所述三维扫描仪生成的目标三维数据,并根据所述目标三维数据进行三维重建计算生成第一三维模型;所述显示模组与所述计算模组通信连接,以获取所述计算模组生成的第一三维模型,并实时显示所述第一三维模型。
  2. 根据权利要求1所述的系统,其特征在于,所述获取所述三维扫描仪生成的目标三维数据,并根据所述目标三维数据进行三维重建计算生成第一三维模型,包括:
    在实时融合模式下,获取所述三维扫描仪生成的当前帧目标三维数据,获取存储的之前帧目标三维数据;
    基于所述当前帧目标三维数据与所述之前帧目标三维数据的共有特征确定所述当前帧目标三维数据与基准坐标系的第一旋转平移关系;
    根据所述第一旋转平移关系及第一预设融合参数将所述当前帧目标三维数据增量融合到存储的前一第一三维模型中,生成当前第一三维模型,所述基准坐标系为第一三维模型所处坐标系。
  3. 根据权利要求1所述的系统,其特征在于,所述获取所述三维扫描仪生成的目标三维数据,并根据所述目标三维数据进行三维重建计算生成第一三维模型,包括:
    在全局融合模式下,获取所述三维扫描仪生成的所有帧目标三维数据;
    基于所有帧目标三维数据的共有特征确定所有帧目标三维数据与基准坐标系的第二旋转平移关系;
    根据所述第二旋转平移关系和第一预设融合参数将存储的所有帧目标三维数据进行融合,生成第一三维模型,所述基准坐标系为第一三维模型所处坐标系,其中,所述第一预设融合参数包括第一点距。
  4. 根据权利要求3所述的系统,其特征在于,所述计算模组获取三维扫描仪完成扫描的信号,基于所述信号进入全局优化模式。
  5. 根据权利要求2所述的系统,其特征在于,获取当前第一三维模型的增量数据,对所述增量数据进行渲染,并将渲染后的增量数据所对应的第一三维模型发送至所述显示模组。
  6. 根据权利要求1所述的系统,其特征在于,所述显示模组还包括编辑组件,所述编辑组件用 于对所述显示模组显示的所述第一三维模型进行编辑。
  7. 根据权利要求1所述的系统,其特征在于,所述计算模组生成第一三维模型后,根据设定的配置文件、所述目标三维数据和所述第一三维模型生成并存储工程文件;所述工程文件用于在其他终端生成第二三维模型,所述第二三维模型为第一三维模型或者为根据所述目标三维数据及第二预设融合参数进行三维重建计算生成的三维模型。
  8. 根据权利要求1所述的系统,其特征在于,所述三维扫描系统包括激光扫描模式,在激光扫描模式下,所述图像数据包括激光线特征和标志点特征,基于所述图像数据中的激光线特征进行三维重建计算生成点云三维数据,基于所述图像数据中的标志点特征进行三维重建计算生成标志点三维数据,所述目标三维数据包括点云三维数据和标志点三维数据。
  9. 一种三维扫描方法,其特征在于,应用于三维扫描仪,所述三维扫描仪包括多个图像传感器,所述方法包括:
    获取所述图像传感器基于待扫描物体生成的图像数据;
    根据所述图像数据进行三维重建计算确定目标三维数据,所述目标三维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线对应的点云三维数据和所述待扫描物体上至少一个标志点对应的标志点三维数据。
  10. 一种三维扫描方法,其特征在于,应用于终端,所述方法包括:
    获取三维扫描仪生成的待扫描物体的三维数据;
    根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式包括全局融合模式和/或实时融合模式。
  11. 一种三维扫描装置,其特征在于,应用于三维扫描仪,所述三维扫描仪包括多个图像传感器,所述装置包括:
    获取单元,用于获取所述图像传感器基于待扫描物体生成的图像数据;
    确定单元,用于根据所述图像数据进行三维重建计算确定目标三维数据,所述目标三维数据用于生成所述待扫描物体对应的第一三维模型,其中,所述目标三维数据包括所述三维扫描仪输出的激光线和所述待扫描物体上至少一个标志点对应的三维数据。
  12. 一种三维扫描装置,其特征在于,应用于终端,所述装置包括:
    获取单元,用于获取三维扫描仪生成的待扫描物体的三维数据;
    生成单元,用于根据所述待扫描物体对应的第一三维模型的生成情况确定目标融合模式,并在所述目标融合模式下,根据所述三维数据进行三维重建计算生成第一三维模型,其中,所述目标融合模式包括全局融合模式和/或实时融合模式。
  13. 一种用于三维扫描仪的移动计算模组,其特征在于,所述移动计算模组包括通信组件及计算组件,所述移动计算模组通过所述通信组件与三维扫描仪通信连接,以获取所述三维扫描仪生成的图像数据;所述计算组件对所述图像数据进行至少部分三维重建计算;所述移动计算模组通过所述通信组件与显示模组通信连接,以将所述计算组件的计算结果发送至所述显示模组,所述显示模组用于显示基于所述计算结果获取的三维模型。
  14. 根据权利要求13所述的移动计算模组,其特征在于,所述计算组件的工作模式包括第一工作子模式,所述计算组件通过所述第一工作子模式对所述图像数据进行计算,获取第一计算结果。
  15. 根据权利要求14所述的移动计算模组,其特征在于,所述计算组件的工作模式还包括第二工作子模式,所述计算组件通过所述第二工作子模式对所述第一计算结果进行计算,获取第二计算结果。
  16. 根据权利要求15所述的移动计算模组,其特征在于,所述移动计算模组包括模式选择控件,所述移动计算模组响应于所述模式选择控件的触发操作,将所述第一计算结果和/或所述第二计算结果发送至所述显示模组。
  17. 根据权利要求14所述的移动计算模组,其特征在于,所述计算组件通过第一工作子模式对所述图像数据进行计算,获取第一计算结果,包括:
    所述计算组件提取所述图像数据中的特征数据,并基于所述特征数据三维重建出点云数据,所述第一计算结果包括所述点云数据。
  18. 根据权利要求15所述的移动计算模组,其特征在于,所述计算组件通过第一工作子模式对所述图像数据进行计算,获取第一计算结果,包括:
    所述计算组件提取所述图像数据中的特征数据,并基于所述特征数据三维重建出点云数据,所述第一计算结果包括所述点云数据;
    所述计算组件通过所述第二工作子模式对所述第一计算结果进行计算,获取第二计算结果,包括:
    将基于所述特征数据三维重建出的点云数据进行拼接融合,所述第二计算结果包括拼接融合后的点云数据。
  19. 一种三维扫描方法,其特征在于,应用于上述权利要求13至18中任一项所述的移动计算模 组,所述方法包括:
    获取三维扫描仪生成的待测物体对应的图像数据;
    根据所述图像数据进行至少部分三维重建计算,并将计算结果发送至所述移动计算组件连接的显示模组进行显示,所述显示模组用于显示基于所述计算结果获取的所述待测物体的三维模型。
  20. 根据权利要求19所述的方法,其特征在于,所述根据所述图像数据进行至少部分三维重建计算,包括:
    提取所述图像数据中的特征数据,并基于所述特征数据三维重建出点云数据;和/或,
    提取所述图像数据中的特征数据,并基于所述特征数据三维重建出点云数据,将所述点云数据进行数据融合。
  21. 一种三维扫描装置,其特征在于,应用于上述权利要求13至18中任一项所述的移动计算模组,所述装置包括:
    获取单元,用于获取三维扫描仪生成的待测物体对应的图像数据;
    计算单元,用于根据所述图像数据进行至少部分三维重建计算,并将计算结果发送至所述移动计算组件连接的显示模组进行显示,所述显示模组用于显示基于所述计算结果获取的所述待测物体的三维模型。
PCT/CN2023/083867 2022-03-25 2023-03-24 三维扫描系统、方法、装置和移动计算模组 WO2023179782A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202210307307.0 2022-03-25
CN202210306518.2 2022-03-25
CN202210307307.0A CN114858087A (zh) 2022-03-25 2022-03-25 用于三维扫描仪的移动计算模组、三维扫描方法和装置
CN202210306518.2A CN114858086A (zh) 2022-03-25 2022-03-25 一种三维扫描系统、方法和装置

Publications (1)

Publication Number Publication Date
WO2023179782A1 true WO2023179782A1 (zh) 2023-09-28

Family

ID=88100024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/083867 WO2023179782A1 (zh) 2022-03-25 2023-03-24 三维扫描系统、方法、装置和移动计算模组

Country Status (1)

Country Link
WO (1) WO2023179782A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237230A (zh) * 2023-11-09 2023-12-15 武汉中观自动化科技有限公司 激光线及标志点识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
CN106931903A (zh) * 2017-01-19 2017-07-07 武汉中观自动化科技有限公司 一种实时生成模型的手持三维扫描仪
CN107492146A (zh) * 2017-07-25 2017-12-19 深圳市魔眼科技有限公司 三维模型构建方法、装置、移动终端、存储介质及设备
CN108151671A (zh) * 2016-12-05 2018-06-12 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
US20190028637A1 (en) * 2017-07-20 2019-01-24 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
US20190392632A1 (en) * 2018-06-22 2019-12-26 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing three-dimensional model of object
CN111023970A (zh) * 2019-12-17 2020-04-17 杭州思看科技有限公司 多模式三维扫描方法及系统
CN114858087A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 用于三维扫描仪的移动计算模组、三维扫描方法和装置
CN114858086A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 一种三维扫描系统、方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
CN108151671A (zh) * 2016-12-05 2018-06-12 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN106931903A (zh) * 2017-01-19 2017-07-07 武汉中观自动化科技有限公司 一种实时生成模型的手持三维扫描仪
US20190028637A1 (en) * 2017-07-20 2019-01-24 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
CN107492146A (zh) * 2017-07-25 2017-12-19 深圳市魔眼科技有限公司 三维模型构建方法、装置、移动终端、存储介质及设备
US20190392632A1 (en) * 2018-06-22 2019-12-26 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing three-dimensional model of object
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN111023970A (zh) * 2019-12-17 2020-04-17 杭州思看科技有限公司 多模式三维扫描方法及系统
CN114858087A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 用于三维扫描仪的移动计算模组、三维扫描方法和装置
CN114858086A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 一种三维扫描系统、方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237230A (zh) * 2023-11-09 2023-12-15 武汉中观自动化科技有限公司 激光线及标志点识别方法及系统
CN117237230B (zh) * 2023-11-09 2024-03-22 武汉中观自动化科技有限公司 激光线及标志点识别方法及系统

Similar Documents

Publication Publication Date Title
CN105222724B (zh) 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
EP2976748B1 (en) Image-based 3d panorama
WO2019062619A1 (zh) 对图像内目标物体进行自动标注的方法、装置及系统
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
WO2019007180A1 (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
US9482515B2 (en) Stereoscopic measurement system and method
CN113514008B (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
EP2690397A1 (en) Use of color and intensity modulation of pixel displays in 3D-shape measurement
KR20220092928A (ko) 포인트 클라우드 라벨링 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
WO2022068510A1 (zh) 三维数据拼接方法及三维扫描系统、手持扫描仪
US20130083995A1 (en) Stereoscopic measurement system and method
WO2023179782A1 (zh) 三维扫描系统、方法、装置和移动计算模组
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN104541126A (zh) 用于移动式图案投影的设备及其应用
US9286506B2 (en) Stereoscopic measurement system and method
CN114858086A (zh) 一种三维扫描系统、方法和装置
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CA2757313A1 (en) Stereoscopic measurement system and method
CN111047678A (zh) 一种三维人脸采集装置和方法
JP5130246B2 (ja) 自律移動ロボットおよびWebサーバ
CN114858087A (zh) 用于三维扫描仪的移动计算模组、三维扫描方法和装置
CN114199132B (zh) 一种基于机器视觉的激光三维扫描仪及扫描方法
WO2018196221A1 (zh) 一种交互方法、设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774025

Country of ref document: EP

Kind code of ref document: A1