WO2022143992A1 - 三维扫描设备、方法、装置、存储介质及处理器 - Google Patents

三维扫描设备、方法、装置、存储介质及处理器 Download PDF

Info

Publication number
WO2022143992A1
WO2022143992A1 PCT/CN2021/143723 CN2021143723W WO2022143992A1 WO 2022143992 A1 WO2022143992 A1 WO 2022143992A1 CN 2021143723 W CN2021143723 W CN 2021143723W WO 2022143992 A1 WO2022143992 A1 WO 2022143992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fringe
color
time
scanned
Prior art date
Application number
PCT/CN2021/143723
Other languages
English (en)
French (fr)
Inventor
马超
赵晓波
Original Assignee
先临三维科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202011640685.8A external-priority patent/CN114681088B/zh
Priority claimed from CN202011642145.3A external-priority patent/CN114681089B/zh
Application filed by 先临三维科技股份有限公司 filed Critical 先临三维科技股份有限公司
Priority to EP21914721.2A priority Critical patent/EP4272697A4/en
Priority to KR1020237026221A priority patent/KR20230128521A/ko
Priority to US18/270,497 priority patent/US20240058106A1/en
Priority to JP2023540479A priority patent/JP2024502065A/ja
Publication of WO2022143992A1 publication Critical patent/WO2022143992A1/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351Scanning mechanisms
    • A61B2018/20353Scanning in three dimensions [3D]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth

Definitions

  • Embodiments of the present invention provide a three-dimensional scanning device, method, device, storage medium, and processor to at least solve the technical problem that the structured light coding pattern in the prior art requires multiple image sequences for complex coding.
  • the processor is preset with the light plane and corresponding number of each stripe in the stripe-coded image; the processor is based on the number of each stripe in the camera image and the corresponding number of the light plane of each stripe. Consistency determines the light plane corresponding to the pixel coordinates where the center of the stripe is located; the processor performs triangulation based on the pixel coordinates where the center of the stripe is located and the corresponding light plane, and reconstructs a three-dimensional digital model of the object to be scanned.
  • a three-dimensional scanning method is also provided. Based on the above-mentioned three-dimensional scanning device, the following steps are performed: project a fringe-coded image to an object to be scanned by a projection device; The object is collected to obtain a camera image, wherein the camera image is the imaging of the object to be scanned on the image plane of the camera, and the image plane includes a first imaging interval.
  • the imaging of the first fringe group on the image plane is located in the first imaging interval, and only the first fringe group is in the first imaging interval;
  • the camera image performs three-dimensional reconstruction of the object to be scanned.
  • FIG. 7 is a schematic diagram of a situation where a code is blocked according to an embodiment of the present invention.
  • the device includes: a projection device 10 configured to project a fringe-encoded image to an object to be scanned, and the fringe-encoded image includes a first fringe
  • the camera 12 is set to collect the object to be scanned to obtain a camera image, wherein the camera image is the imaging of the object to be scanned on the image plane of the camera, and the image plane includes the first imaging interval.
  • the imaging of the first fringe group on the image plane is located in the first imaging interval, and there is only the first fringe group in the first imaging interval.
  • the fringe coded image is projected to the object to be scanned, and the fringe coded image is modulated and deformed by the scanning object, and the obtained three-dimensional reconstructed image of the object to be scanned is the surface imaging of the scanning object, and the imaging includes the deformed fringe coded image.
  • the coding table adopts binary coding, the coding value corresponding to the pixels with stripes in the time-coded image is 1, and the coding value corresponding to the pixels without stripes in the time-coded image is 0.
  • the effective depth of field of the projection system, the lens magnification of the camera, the projection optical axis of the projection system and the imaging light of the camera are determined by the physical properties of each hardware in the 3D scanning device.
  • Equipment parameters such as the optical angle between the axes, based on the above equipment parameters, make the fringe-coded image move within the frame of the camera.
  • the first color stripe image and the second color stripe image are formed by multiple color stripes in the same color stripe pattern obtained from corresponding color channels.
  • a color stripe pattern includes a combination of red stripes and green stripes. Arranged, the red stripes obtained by the camera red channel form a red stripe image, and the green stripes obtained by the camera green channel form a green stripe image.
  • determining the first color coding table based on the first color fringe image includes: correspondingly obtaining a first coding sequence for pixels of the first color in the first color fringe image, The pixel without the first color corresponds to a fourth coding sequence, and a first color coding table is constructed based on the first coding sequence and the four coding sequences of the pixel position distribution of the first color stripe image; the second color coding table is determined based on the second color stripe image.
  • the second encoding table; the third encoding module is set to take the first encoding value corresponding to the pixels with stripes in the third time fringe image, and take the second encoding value corresponding to the pixels without stripes in the third time fringe image, based on The first encoding value and the second encoding value of the pixel position distribution of the third time fringe image construct a third encoding table; the fourth encoding module is set to be the same in the first encoding table, the second encoding table and the third encoding table
  • the encoded values of the pixel positions are arranged according to the acquisition sequence of the first time fringe image, the second time fringe image and the third time fringe image as an encoding sequence of corresponding pixels, and a time image encoding table is formed based on the encoding sequence.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种三维扫描设备、方法、装置、存储介质及处理器。三维扫描设备包括:投影设备(10),被设置为向待扫描对象投射条纹编码图像,条纹编码图像包括第一条纹组;相机(12),被设置为对待扫描对象进行采集,得到相机图像,其中,相机图像为待扫描对象在相机的像平面的成像,像平面包括第一成像区间,当待扫描对象位于三维扫描设备的有效景深(ΔL)范围内,第一条纹组在像平面的成像位于第一成像区间内且第一成像区间内仅有第一条纹组,解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码的技术问题。

Description

三维扫描设备、方法、装置、存储介质及处理器
本申请要求于2020年12月31日提交中国专利局、申请号为2020116406858、发明名称“三维扫描方法、装置、存储介质和处理器”的中国专利申请的优先权,和于2020年12月31日提交中国专利局、申请号为2020116421453、发明名称“三维扫描装置和方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及三维扫描领域,具体而言,涉及一种三维扫描设备、方法、装置、存储介质及处理器。
背景技术
目前在国际上,牙齿诊疗领域牙模数据的获取手段已经从印模三维扫描逐渐转向口内三维扫描技术。该技术的出现可以说是牙齿数字化加工的又一次革命。该技术摈弃了从印模、翻模、三维扫描的牙模数据获取方式,可以直接入口扫描获取牙齿三维数据。在流程时间上省略了印模、翻模两个步骤,在成本上节省了上述流程需要的材料、人工费及模型快递费,在客户体验上可避免制作印模时的不适感。从上述优势可以看出该技术必然会得到极大的发展。在市场上获得显著的效益。
口腔数字印模仪,又称口内三维扫描仪,是一种应用探入式光学扫描头,直接扫描患者口腔内,获取口腔内牙齿、牙龈、黏膜等软硬组织表面的三维形貌及彩色纹理信息的设备。该设备的一种方法是采用主动结构光三角测量成像原理,利用数字投影系统投射主动光图案,相机采集系统获取图案后即通过算法处理进行三维重建和拼接。
结构光编码图案设计时通常会考虑将整幅图像进行解码,如时间相位展开和空间相位展开等方法,在获取折叠相位的基础上还需要相位展开得到真实的绝对相位,解决折叠相位的周期性问题。为全局展开相位,通常需要较多幅图像序列或较复杂的空间编解码过程。
针对上述现有技术的结构光编码图案需要多幅图像序列进行复杂编码的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种三维扫描设备、方法、装置、存储介质及处理器,以至少解决现有技术的结构光编码图案需要多幅图像序列进行复杂编码的技术问题。
根据本发明实施例的一个方面,提供了一种三维扫描设备,包括:投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组;相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹组。
可选地,所述投影设备的投影光轴和所述相机的采集光轴之间形成有系统夹角α,所述相机的光学参数包括:镜头放大倍率k1,所述三维扫描设备的有效景深用ΔL表示,所述第一成像区间用d1表示,d1=ΔL×tgα÷k1。
可选地,所述投影设备包括:图像显示元件,所述图像显示元件包括:第一显示区间,所述第一显示区间设有所述第一条纹组;所述投影设备的光学参数包括:所述投影设备的镜头放大倍率k2,所述第一显示区间用D1表示,D1=ΔL×tgα÷k2。
可选地,所述条纹编码图像还包括:第二条纹组,所述第二条纹组与所述第一条纹组相邻设置;所述像平面包括:第二成像区间,所述第二成像区间与所述第一成像区间相邻设置;当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第二条纹组在所述像平面的成像位于所述第二成像区间内且所述第二成像区间内仅有所述第二条纹组。
可选地,所述条纹编码图像包括:多个呈周期性排布的条纹组,所述第一条纹组与所述第二条纹组分别为一个周期的条纹组。
可选地,所述投影设备的投影光轴和所述相机的采集光轴之间形成有系统夹角α,所述相机的光学参数包括:镜头放大倍率k1,所述三维扫描设备的有效景深用ΔL表示,所述第二成像区间用d2表示,d2=ΔL×tgα÷k1。
可选地,所述投影设备包括:图像显示元件,所述图像显示元件包括:第二显示区间,所述第二显示区间设有所述第二条纹组;所述投影设备的光学参数包括:所述投影设备的镜头放大倍率k2,所述第二显示区间用D2表示,D2=ΔL×tgα÷k2。
可选地,所述设备还包括:处理器,被设置为基于所述相机图像对所述待扫描对象进行三维重建。
可选地,所述处理器预设有所述第一成像区间坐标;所述处理器基于所述相机图像确定所述相机图像中条纹的中心所在像素坐标;所述处理器基于所述条纹的像素坐标及所述第一成像区间的坐标,确定所述相机图像中各条纹的编号;所述处理器基于所述条纹的中心所在像素坐标及所述编号进行三维重建,获取待扫描对象的三维数字模型。
可选地,所述处理器预设有条纹编码图像中各条纹的光平面及对应编号;所述处理器基于所述相机图像中各条纹的编号与所述各条纹的光平面的对应编号的一致性确定所述条纹的中心所在像素坐标所对应的光平面;所述处理器基于所述条纹的中心所在像素坐标及对应的光平面进行三角计算,重建待扫描对象的三维数字模型。
根据本发明实施例的另一个方面,还提供了一种三维扫描方法,基于上述所述的三维扫描设备执行以下步骤:通过投影设备向待扫描对象投射条纹编码图像;通过相机对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹组;通过处理器基于所述相机图像对所述待扫描对象进行三维重建。
可选地,所述方法还包括:基于所述相机图像,确定所述相机图像中条纹的中心所在像素坐标;所述处理器预设有第一成像区间的坐标,基于所述条纹的像素坐标及所述第一成像区间的坐标,确定各条纹的编号;所述条纹的中心所在像素坐标基于所述编号进行三维重建,获取待扫描对象的三维数字模型。
根据本发明实施例的另一方面,还提供了一种三维扫描方法,包括:向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;采集所述待扫描对象的三维重建图像,其中,所述三维重建图像中所述待扫描对象的表面带有所述条纹编码图像;基于所述三维重建图像,重建所述待扫描对象的三维模型。
可选地,在所述条纹编码图像为时间编码图像的情况下,所述三维扫描方法包括:在第一时间向所述待扫描对象表面投影第一时间条纹图案;获取所述待扫描对象表面的第一时间条纹图像;在第二时间向所述待扫描对象表面投影第二时间条纹图案;获取所述待扫描对象表面的第二时间条纹图像;基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表。
可选地,基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表包括:基于所述第一时间条纹图像确定第一编码表;基于所述第二时间条纹图像确定第二编码表;基于所述第一编码表与所述第二编码表构建所述时间图像编码表。
可选地,基于所述第一时间条纹图像确定第一编码表包括:将所述第一时间条纹图像中有条纹的像素对应取第一编码值,将所述第一时间条纹图像中无条纹的像素对应取第二编码值,基于所述第一时间条纹图像的像素位置分布的所述第一编码值与所 述第二编码值构建第一编码表;基于所述第二时间条纹图像确定第二编码表包括:将所述第二时间条纹图像中有条纹的像素对应取第一编码值,将所述第二时间条纹图像中无条纹的像素对应取第二编码值,基于所述第二时间条纹图像的像素位置分布的所述第一编码值与所述第二编码值构建第二编码表;基于所述第一编码表与所述第二编码表构建所述时间图像编码表包括:将所述第一编码表与所述第二编码表中相同像素位置的编码值依据所述第一时间条纹图像与所述第二时间条纹图像的获取顺序排列作为对应像素的编码序列,基于所述编码序列构成时间图像编码表。
可选地,在获取所述待扫描对象表面的所述第二时间条纹图像之后,所述方法还包括:在第三时间向所述待扫描对象表面投影第三时间条纹图案;获取所述待扫描对象表面的第三时间条纹图像;基于所述第一时间条纹图像、所述第二时间条纹图像及所述第三时间条纹图像确定时间图像编码表。
可选地,基于所述第一时间条纹图像、所述第二时间条纹图像及所述第三时间条纹图像确定时间图像编码表包括:将所述第一时间条纹图像中有条纹的像素对应取第一编码值,将所述第一时间条纹图像中无条纹的像素对应取第二编码值,基于所述第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;将所述第二时间条纹图像中有条纹的像素对应取第一编码值,将所述第二时间条纹图像中无条纹的像素对应取第二编码值,基于所述第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;将所述第三时间条纹图像中有条纹的像素对应取第一编码值,将所述第三时间条纹图案中无条纹的像素对应取第二编码值,基于所述第三时间条纹图像的像素位置分布的第一编码值与第二编码值构建第三编码表;将所述第一编码表、所述第二编码表及所述第三编码表中相同像素位置的编码值依据所述第一时间条纹图像、所述第二时间条纹图像与所述第三时间条纹图像的获取顺序排列作为对应像素的编码序列,并基于所述编码序列构成时间图像编码表。
可选地,所述编码表采用二进制编码,所述时间编码图像中有条纹的像素对应的编码值为1,所述时间编码图像中无条纹的像素对应的编码值为0。
可选地,在基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表之后,所述方法还包括:向所述待扫描对象表面投影第四时间条纹图案,获取所述待扫描对象表面的第四时间条纹图像,并基于所述时间图像编码表确定所述第四时间条纹图像中各条纹的序列;向所述待扫描对象表面投影第五时间条纹图案,获取所述待扫描对象表面的第五时间条纹图像,并基于所述时间图像编码表确定所述第五时间条纹图像中各条纹的序列;其中,所述第五时间条纹图案基于所述第四时间条纹图案中各条纹往相同方向偏移距离d得到。
可选地,在所述条纹编码图像为颜色编码图像的情况下,所述三维扫描方法包括: 向所述待扫描对象表面投影所述颜色编码图像,其中,所述颜色编码图像包括:第一颜色条纹图案和第二颜色条纹图案;获取所述待扫描对象表面的颜色条纹图像,其中,所述颜色条纹图像包括:第一颜色条纹图像和第二颜色条纹图像;基于所述第一颜色条纹图像与所述第二颜色条纹图像确定颜色图像编码表。
可选地,基于所述颜色条纹图像确定颜色图像编码表,包括:基于所述第一颜色条纹图像确定第一颜色编码表;基于所述第二颜色条纹图像确定第二颜色编码表;基于第一颜色编码表和第二颜色编码表构建所述颜色图像编码表。
可选地,基于所述第一颜色条纹图像确定第一颜色编码表包括:将所述第一颜色条纹图像中有第一颜色的像素对应取第一编码序列,将所述第一颜色条纹图像中无第一颜色的像素对应取第四编码序列,基于所述第一颜色条纹图像的像素位置分布的第一编码序列与四编码序列构建第一颜色编码表;基于所述第二颜色条纹图像确定第二颜色编码表包括:将所述第二颜色条纹图像中有第二颜色的像素对应取第二编码序列,将所述第二颜色条纹图像中无第二颜色的像素对应取第四编码序列,基于所述第二颜色条纹图像的像素位置分布的第二编码序列与四编码序列构建第二颜色编码表;基于第一颜色编码表和第二颜色编码表构建所述颜色图像编码表包括:将所述第一颜色编码表和所述第二颜色编码表中相同像素位置的编码序列叠加作为对应像素的编码序列,对应各像素分布的所述叠加的编码序列构成颜色图像编码表。
可选地,所述编码表采用二进制编码,所述颜色编码图像中有第一颜色的像素对应的第一编码序列为(0,0,1),所述颜色编码图像中有第二颜色的像素对应的第二编码序列为(0,1,0),所述颜色编码图像中无颜色的像素对应的第四编码序列为(0,0,0)。
根据本发明实施例的另一方面,还提供了一种三维扫描装置,包括:投影单元,被设置为向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;采集单元,被设置为采集所述待扫描对象的三维重建图像,其中,所述三维重建图像中所述待扫描对象的表面带有所述条纹编码图像;重建单元,被设置为基于所述三维重建图像,重建所述待扫描对象的三维模型。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述所述三维扫描方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器被设置为运行程序,其中,所述程序运行时执行上述所述三维扫描方法。
在本发明实施例中,投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组;相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描装置的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹,上述三维扫描装置根据光的直线传播特性,使条纹编码图像不超出三维扫描装置硬件结果所限定的第一成像区间,因此利用该第一成像区间作为一个编码周期,并在该编码周期内保证条纹编码图像编码的唯一性,就可以利用少量条纹编码图像的编码信息(即较少序列图像或较少空间编码)保证编码的唯一性,从而在不需要依靠高难度的硬件水平即可结合光学特性下使用,也可以利用较少幅图像序列或较简单的空间编解码方法来提升动态扫描的速度,实现了提高扫描效率的技术效果,进而解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种三维扫描设备的示意图;
图2是根据本发明实施例的一种镜头的光学参数的示意图;
图3a是根据本发明实施例的第一时间条纹图案的示意图一;
图3b是根据本发明实施例的第二时间条纹图案的示意图二;
图3c是根据本发明实施例的第三时间条纹图案的示意图三;
图3d是根据本发明实施例的一种时间编码图像的编码表的示意图;
图4a是根据本发明实施例的一种颜色编码图像的示意图;
图4b是根据本发明实施例的一种颜色编码图像的编码表的示意图;
图5是根据本发明实施例的一种三维扫描方法的流程图一;
图6是根据本发明实施例的一种三维扫描方法的流程图二;
图7是根据本发明实施例的一种编码被遮挡情况的示意图;
图8是根据本发明实施例的一种重建条纹偏移的示意图;
图9是根据本发明实施例的一种三维扫描装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种基于三维扫描的投影光线偏移方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种三维扫描设备的示意图,如图1所示,该设备包括:投影设备10,被设置为向待扫描对象投射条纹编码图像,条纹编码图像包括第一条纹组;相机12,被设置为对待扫描对象进行采集,得到相机图像,其中,相机图像为待扫描对象在相机的像平面的成像,像平面包括第一成像区间,当待扫描对象位于三维扫描设备的有效景深范围内,第一条纹组在像平面的成像位于第一成像区间内且第一成像区间内仅有第一条纹组。
在本发明实施例中,投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组;相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹,上述三维扫描设备根据光的直线传播特性,使条纹编码图像不超出三维扫描设备硬件结果所限定的第一成像区间,因此利用该第一成像区间作为一个编码周期,并保证条纹编码图像的编码在该编码周期的唯一性,就可以利用少量条纹 编码图像的编码信息(即较少序列图像或较少空间编码)保证编码的唯一性,从而在不需要依靠高难度的硬件水平即可结合光学特性下使用,也可以利用较少幅图像序列或较简单的空间编解码方法来提升动态扫描的速度,实现了提高扫描效率的技术效果,进而解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码技术问题。
可选地,如图1所示,有效景深ΔL为Z0到Z2的距离,其中,Z0为近点位置,Z2为远点位置,在待扫描对象位于Z0至Z2之间的情况下都可以通过相机采集待扫描对象的清晰图像。
也即,有效景深ΔL=前景深ΔL1+后景深ΔL2,其中,ΔL1+ΔL2取值范围在10mm到20mm之间。
可选地,相机的光学系统的放大倍率通常约为3:1,固定投影光线在相机图像上的成像区间(如第一成像区间或第二成像区间)为d,即单周期范围。
本申请要求保护的技术方案,在针对小的视场范围的扫描场景下,通常有效景深范围内,由于双目系统的夹角和光学镜头的放大倍率,必然会导致结构光同一码值的条纹图案在相机或投影设备的幅面内移动,此移动范围取决于三个方面:有效景深、光学系统夹角和镜头的放大倍率。
可选地,移动范围包括:投影设备的显示区间(如第一显示区间或第二显示区间),和相机的成像区间(如第一成像区间或第二成像区间),在三维扫描设备中的投影设备和相机的光学参数确定后,便确定了移动范围,设计此移动范围内条纹编码的唯一性,即可保证整幅面全局的码值唯一性。因为光的直线传播特性,此显示区间内的光线跳不出该成像区间。
可选地,利用该成像移动范围作为一个编码周期,该编码周期内保证编码的唯一性,因该周期可根据光学设计保证范围较小,利用少量的编码信息(较少序列图像或较少空间编码)即可保证编码的唯一性。
图2是根据本发明实施例的一种镜头的光学参数的示意图,如图2所示,该光学参数包括:镜头的焦点平面,以及弥散圆在焦点平面前后的位置,得到前焦深和后焦深;镜头的有效景深,其中,镜头的有效景深包括:基于前焦深确定前景深,和基于后焦深确定的后景深,物点(即待扫描对象)所在位置于镜头之间的摄影距离,其中,摄影距离包括:镜头与待扫描对象之间的被摄体距离,景深的近点与镜头之间的近点距离,景深的远点与镜头之间的远点距离。
可选地,图2所示的镜头可以是相机的镜头,也可以是投影设备的镜头。
可选地,在图2所示的镜头为相机的镜头的情况下,可以将待扫描对象设置在相 机的有效景深范围内,将对待扫描对象采集的相机图像设置在焦深范围内,基于相机的镜头所确定的光学参数可以计算成像区间(如第一成像区间或第二成像区间)。
可选地,在图2所示的镜头为投影设备的镜头的情况下,可以将条纹编码图像的底片(或底相)设置在投影设备的焦深范围内,将待扫描对象设置在投影设备的有效景深范围内,基于投影设备的镜头所确定的光学参数可以计算显示区间(如第一显示区间或第二显示区间)。
作为一种可选的实施例,投影设备的投影光轴和相机的采集光轴之间形成有系统夹角α,相机的光学参数包括:镜头放大倍率k 1,三维扫描设备的有效景深用ΔL表示,第一成像区间用d 1表示,d 1=ΔL×tgα÷k 1
作为一种可选的实施例,投影设备包括:图像显示元件,图像显示元件包括:第一显示区间,第一显示区间设有第一条纹组;投影设备的光学参数包括:投影设备的镜头放大倍率k 2,第一显示区间用D 1表示,D 1=ΔL×tgα÷k 2
作为一种可选的实施例,条纹编码图像还包括:第二条纹组,第二条纹组与第一条纹组相邻设置;像平面包括:第二成像区间,第二成像区间与第一成像区间相邻设置;当待扫描对象位于三维扫描设备的有效景深范围内,第二条纹组在像平面的成像位于第二成像区间内且第二成像区间内仅有第二条纹组。
可选地,使第一条纹组投影在投影设备的景深近点,使第二条纹组投影在投影设备的景深远点;或使第一条纹组投影在投影设备的景深远点,使第二条纹组投影在投影设备的景深近点。
作为一种可选的实施例,条纹编码图像包括:多个呈周期性排布的条纹组,第一条纹组与第二条纹组分别为一个周期的条纹组。
可选地,条纹编码图像包括时间编码图像或颜色编码图像,时间编码图像包括多个基于时间排列的时间条纹图案,颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案。
作为一种可选的实施例,条纹编码图像中采用二进制编码。在时间条纹图像中,有条纹的像素通过编码1表示,无条纹的像素通过编码0表示。在颜色编码图案中,有红色条纹(R)的像素通过编码100表示,有蓝色条纹(B)的像素通过编码001表示,有绿色条纹(G)的像素通过编码010表示,无条纹的像素通过编码000表示,当然,如果仅有两种颜色条纹时,可仅采用两位编码,例如,有红色条纹的像素通过编码10表示,有蓝色条纹的像素通过编码01表示,无条纹的像素通过编码00表示。
可选地,在条纹编码图像为时间编码图像的情况下,时间编码图像包括多个时间 条纹图案,多个时间条纹图案按照时间顺序依次投影,其中,多个时间条纹图案对应一个编码周期。
可选地,第一条纹组可以是第一时间投影的时间条纹图案,第二条纹组可以是第二时间投影的时间条纹图案。
可选地,第一条纹组还可以是颜色编码图案。
图3a是根据本发明实施例的第一时间条纹图案的示意图一,如图3a所示;图3b是根据本发明实施例的第二时间条纹图案的示意图二,如图3b所示;图3c是根据本发明实施例的第三时间条纹图案的示意图三,如图3c所示;图3a-图3c所示的三个时间条纹图案对应一个编码周期,对该编码周期三个时间条纹图案内的各条条纹进行解码即可得到一时间图像编码表,该编码表可确定各投影条纹的序列。
图3d是根据本发明实施例的一种时间编码图案的编码表的示意图,如图3d所示,在图3a-图3c所示的时间条纹图案中相同像素位置依次取值(采用二值编码0或1),并依据三个时间条纹图案的获取时间顺序排列,得到图3d所示的二进制条纹编码。
其中,第一时间条纹图案的单个周期条纹编码为:10101000,10101000可周期性重复设置在第一时间条纹图案中,第二时间条纹图案的单个周期条纹编码为:10001010,10001010可周期性重复设置在第二时间条纹图案中,第三时间条纹图案的单个周期条纹编码为:11111111,11111111可周期性重复设置在第三时间条纹图案中,当然,10101000、10001010、11111111的重复周期数对应相同;在投影过程中,三个时间条纹图案按时间顺序投影,如在第一个投影时间投影第一时间条纹图案,在第二个投影时间投影第二时间条纹图案,在第三个投影时间投影第三时间条纹图案。
可选地,当三维重建前获取相机图像的条纹编码图像时,无论遇到物体边界、遮挡、反光等各种恶劣环境破坏条纹的都可以通过以上编码进行识别,避免了编码歧义的问题。
需要说明的是,图3a-图3c所示的三个时间条纹编码图像设计为一个重建周期,基于3张时间条纹编码图像即可完成解码重建的工作,大大缩短了动态扫描时持续采集时间条纹编码图像所需的时间,避免了因快速移动导致的图像错位,图像模糊,解码错误等问题。
图4a是根据本发明实施例的一种颜色编码图像的示意图,如图4a所示,对该编码周期内各条纹进行颜色编码,颜色种类越多则越容易设计编码的唯一性,但同时会带来颜色编码识别的困难度,因为颜色种类越多越难区分颜色之间的差异。控制条纹的数量如8条,即可通过三种颜色来进行编码区分,大大减少了编码解码的复杂度。
图4b是根据本发明实施例的一种颜色编码图像的编码表的示意图,如图4b所示,基于不同颜色条纹编码图像的编码值(采用二值编码0或1来表达颜色三通道的信息),得到三位二进制数结果便是条纹编码。
例如,图4a所示的条纹编码图像包括三种颜色,每个颜色的条纹对应一个编码序列;其中,红色条纹(R)对应的编码序列为:100,蓝色条纹(B)对应的编码序列为:001,绿色条纹(G)对应的编码序列为:010。当然,条纹编码图像也可以是基于德布鲁因序列排布的彩色条纹序列,或以基于德布鲁因序列排布的彩色条纹序列作为单个周期重复设置多个的条纹序列。
可选地,当三维重建前获取相机图像中的条纹编码图像时,无论遇到物体边界、遮挡、反光等各种恶劣环境破坏条纹的都可以通过以上编码进行识别,避免了条纹编码歧义的问题。
需要说明的是,以如图4a所示的不同颜色的条纹编码图像为一个周期,可实现1张简单的基于颜色编码的颜色条纹编码图像,即可完成解码重建的工作,大大缩短了动态扫描时的单帧三维数据所需的图像序列采集持续时间,减少了编码解码的复杂度和计算消耗,避免了因颜色种类过多导致的算法复杂耗时,解码错误等问题。
作为一种可选的实施例,投影设备的投影光轴和相机的采集光轴之间形成有系统夹角α,相机的光学参数包括:镜头放大倍率k 1,三维扫描设备的有效景深用ΔL表示,第二成像区间用d 2表示,d 2=ΔL×tgα÷k 1
作为一种可选的实施例,投影设备包括:图像显示元件,图像显示元件包括:第二显示区间,第二显示区间设有第二条纹组;投影设备的光学参数包括:投影设备的镜头放大倍率k 2,第二显示区间用D 2表示,D 2=ΔL×tgα÷k 2
可选地,系统夹角α的取值范围在6°和10°之间。
作为一种可选的实施例,处理器,被设置为基于相机图像对待扫描对象进行三维重建。
作为一种可选的实施例,处理器预设有第一成像区间坐标;处理器基于相机图像确定相机图像中条纹的中心所在像素坐标;处理器基于条纹的像素坐标及第一成像区间的坐标,确定相机图像中各条纹的编号;处理器基于条纹的中心所在像素坐标及编号进行三维重建,获取待扫描对象的三维数字模型。
作为一种可选的实施例,处理器预设有第二成像区间坐标;处理器基于相机图像确定相机图像中条纹的中心所在像素坐标;处理器基于条纹的像素坐标、第一成像区间的坐标及第二成像区间坐标,确定相机图像中各条纹的编号;处理器基于条纹的中 心所在像素坐标及编号进行三维重建,获取待扫描对象的三维数字模型。
作为一种可选的实施例,处理器预设有条纹编码图像中各条纹的光平面及对应编号;处理器基于相机图像中各条纹的编号与各条纹的光平面的对应编号的一致性确定条纹的中心所在像素坐标所对应的光平面;处理器基于条纹的中心所在像素坐标及对应的光平面进行三角计算,重建待扫描对象的三维数字模型。
图5是根据本发明实施例的一种三维扫描方法的流程图一,如图5所示,基于上述三维扫描设备执行以下步骤:
步骤S502,通过投影设备向待扫描对象投射条纹编码图像;
步骤S504,通过相机对待扫描对象进行采集,得到相机图像,其中,相机图像为待扫描对象在相机的像平面的成像,像平面包括第一成像区间,当待扫描对象位于三维扫描装置的有效景深范围内,第一条纹组在像平面的成像位于第一成像区间内且第一成像区间内仅有第一条纹组;
步骤S506,通过处理器基于相机图像对待扫描对象进行三维重建。
在本发明实施例中,投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组;相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹,上述三维扫描设备根据光的直线传播特性,使条纹编码图像不超出三维扫描设备硬件结果所限定的第一成像区间,因此利用该第一成像区间作为一个编码周期,并在该编码周期内保证条纹编码图像编码的唯一性,就可以利用少量条纹编码图像的编码信息(即较少序列图像或较少空间编码)保证编码的唯一性,从而在不需要依靠高难度的硬件水平即可结合光学特性下使用,也可以利用较少幅图像序列或较简单的空间编解码方法来提升动态扫描的速度,实现了提高扫描效率的技术效果,进而解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码技术问题。作为一种可选的实施例,该方法还包括:基于相机图像,确定相机图像中条纹的中心所在像素坐标;处理器预设有第一成像区间的坐标,基于条纹的像素坐标及第一成像区间的坐标,确定各条纹的编号;条纹的中心所在像素坐标基于编号进行三维重建,获取待扫描对象的三维数字模型。
作为一种可选的实施例,通过相机对待扫描对象进行采集,得到相机图像,其中,相机图像为待扫描对象在相机的像平面的成像,像平面包括第一成像区间和第二成像区间,当待扫描对象位于三维扫描设备的有效景深范围内,第一条纹组在像平面的成 像位于第一成像区间内且第一成像区间内仅有第一条纹组,第二条纹组在像平面的成像位于第二成像区间内且第二成像区间内仅有第二条纹组。需要说明的是,待扫描对象在有效景深范围内移动时,第一条纹组在第一成像区间内移动但始终不会超出第一成像区间,第二条纹组在第二成像区间内移动但始终不会超出第二成像区间。
作为一种可选的实施例,投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组和第二条纹组;相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间和第二成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹,第二条纹组在像平面的成像位于第二成像区间内且第二成像区间内仅有第二条纹组,上述三维扫描设备根据光的直线传播特性,使条纹编码图像不超出三维扫描设备硬件结果所限定的第一成像区间和第二成像区间,因此利用该第一成像区间仅成像有一个编码周期、第二成像区间仅成像有另一个编码周期,并在每个编码周期内保证条纹编码图像编码的唯一性,就可以利用少量条纹编码图像的编码信息(即较少序列图像或较少空间编码)保证编码的唯一性,从而在不需要依靠高难度的硬件水平即可结合光学特性下使用,也可以利用较少幅图像序列或较简单的空间编解码方法来提升动态扫描的速度,实现了提高扫描效率的技术效果,进而解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码技术问题。同一投影图案中可重复设置编码唯一的序列条纹,减少编码难度。
作为一种可选的实施例,该方法还包括:基于相机图像,确定相机图像中条纹的中心所在像素坐标;处理器预设有第一成像区间和第二成像区间的坐标,基于条纹的像素坐标、第一成像区间的坐标及第二成像区间的坐标,确定各条纹的编号;条纹的中心所在像素坐标基于编号进行三维重建,获取待扫描对象的三维数字模型。
图6是根据本发明实施例的一种三维扫描方法的流程图二,如图6所示,该方法包括如下步骤:
步骤S602,向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;
步骤S604,采集待扫描对象的三维重建图像,其中,三维重建图像中待扫描对象的表面带有条纹编码图像;
步骤S606,基于三维重建图像,重建待扫描对象的三维模型。
其中,向待扫描对象投影条纹编码图像,条纹编码图像经扫描对象调制变形,获 取的待扫描对象的三维重建图像即扫描对象的表面成像,成像中包括变形的条纹编码图像。
在本发明实施例中,向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;采集待扫描对象的三维重建图像,其中,三维重建图像中待扫描对象的表面带有条纹编码图像;基于三维重建图像,重建待扫描对象的三维模型,从而通过时间编码图像或颜色编码图像,可以使条纹编码图像具有唯一的条纹编码,达到了保证条纹编码图像的条纹编码具有唯一性的目的,实现了提高动态扫描速度的技术效果,进而解决了三维扫描过程所需的投影图像的编码复杂技术问题。
可选地,在颜色编码图像中,颜色条纹图案至少包括:第一条纹组。
可选地,在时间编码图像中,第一时间投影的时间条纹图案可以是第一条纹组,第二时间投影的时间条纹图案可以是第二条纹组。
图7是根据本发明实施例的一种编码被遮挡情况的示意图,如图7所示,P1-P8为编码条纹,其中,P1,P2由于相机视角被物体(即待扫描对象)本身遮挡导致边条纹的断线现象,导致单片数据的不完整性;并且,P1-P2处的编码信息与P6-P7处的编码信息非常接近,会导致编码的歧义导致三维重建出现噪声和杂数据;但是基于本申请所提供的技术方案,基于图像编码表(如时间图像编码表,或颜色图像编码表)可以对条纹编码进行识别,提供条纹编码的识别效率。
在上述步骤S604中,采集待扫描对象的三维重建图像,可以是采集将条纹编码图像投影到待扫描对象后的一幅或多幅图像,其中,在条纹编码图像为时间编码图像的情况下,可以采集表面带有条纹编码图像的多幅图像,并基于采集到的多幅图像确定三维重建图像;在条纹编码图像为颜色编码图像的情况下,可以采集表面带有条纹编码图像的一幅图像,并基于该幅图像确定三维重建图像。
在上述步骤S606中,基于三维重建图像,重建待扫描对象的三维模型包括:采用单目立体视觉重建系统或双目立体视觉系统重建三维模型。
例如,在基于双目立体视觉系统重建三维模型的过程中,双目立体视觉系统包括:相机A和相机B,在采集待扫描对象的三维重建图像的过程中,相机A采集的三维重建图像为第一三维重建图像,相机B采集的三维重建图像为第二三维重建图像,再基于第一三维重建图像和第二三维重建图像中共有的条纹编码,重建待扫描对象的三维模型。
又例如,在基于单目立体视觉系统重建三维模型的过程中,相机采集三维重建图 像,基于三维重建图像中的条纹及对应的光平面,重建待扫描对象的三维模型。
为了便于说明,以下表述中,将向待扫描对象表面投影内容作为条纹图案,其中,条纹图案包括:时间条纹图案(如第一时间条纹图案、第二时间条纹图案、第三时间条纹图案、第四时间条纹图案和第五时间条纹图案)和颜色条纹图案(如第一颜色条纹图案和第二颜色条纹图案);将采集到的具有待扫描对象的内容作为条纹图像,其中,条纹图像中具有待扫描对象,且条纹图像中待扫描对象的表面具有条纹图案,条纹图像包括时间条纹图像(如第一时间条纹图像、第二时间条纹图像、第三时间条纹图像、第四时间条纹图像、第五时间条纹图像)和颜色条纹图像(如第一颜色条纹图像和第二颜色条纹图像)。
例如,在将第一时间条纹图案投影至待扫描对象后,待扫描对象的表面具有投影的第一时间条纹图案,此时采集待扫描对象的图像(即采集第一时间条纹图像),则采集的第一时间条纹图像中具有待扫描对象,和待扫描对象表面上投影的第一时间条纹图案。
其他条纹图案与条纹图像的关系与此相似,此处不再赘述。
作为一种可选的实施例,在条纹编码图像为时间编码图像的情况下,三维扫描方法还包括:在第一时间向待扫描对象表面投影第一时间条纹图案;获取待扫描对象表面的第一时间条纹图像;在第二时间向待扫描对象表面投影第二时间条纹图案;获取待扫描对象表面的第二时间条纹图像;基于第一时间条纹图像与第二时间条纹图像确定时间图像编码表。
可选地,第一时间早于第二时间。
本发明上述实施例,在第一时间向待扫描对象表面投影第一时间条纹图案,并采集待扫描对象表面的第一时间条纹图像;在第二时间向待扫描对象表面投影第二时间条纹图案,并采集待扫描对象表面的第二时间条纹图像,进而可以基于时间序列的第一时间条纹图像和第二时间条纹图像,共同定义条纹的图像编码表。
需要说明的是,采集到的第一时间条纹图像是指第一三维重建图像,第一三维重建图像中包含经待扫描对象调制的第一时间条纹图案,采集到的第二时间条纹图像是指第二三维重建图像,第二三维重建图像中包含经待扫描对象调制的第二时间条纹图案。
作为一种可选的实施例,基于第一时间条纹图像与第二时间条纹图像确定时间图像编码表包括:基于第一时间条纹图像确定第一编码表;基于第二时间条纹图像确定第二编码表;基于第一编码表与第二编码表构建时间图像编码表。
作为一种可选的实施例,基于第一时间条纹图像确定第一编码表包括:将第一时间条纹图像中有条纹的像素对应取第一编码值,将第一时间条纹图像中无条纹的像素对应取第二编码值,基于第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;基于第二时间条纹图像确定第二编码表包括:将第二时间条纹图像中有条纹的像素对应取第一编码值,将第二时间条纹图像中无条纹的像素对应取第二编码值,基于第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;基于第一编码表与第二编码表构建时间图像编码表包括:将第一编码表与第二编码表中相同像素位置的编码值依据第一时间条纹图像与第二时间条纹图像的获取顺序排列作为对应像素的编码序列,基于编码序列构成时间图像编码表。
作为一种可选的实施例,编码表采用二进制编码,时间编码图像中有条纹的像素对应的编码值为1,时间编码图像中无条纹的像素对应的编码值为0。
本发明上述实施例,时间条纹图案(如第一时间条纹图案和第二时间条纹图案)中设置有多个像素位置,每个像素能够表示二进制编码;例如,若该像素位置分布有条纹的像素,则表示第一编码值,如编码1;若该像素位置分布无条纹的像素,则表示第二编码值,如编码0;因此基于第一时间条纹图像具有对应第一编码表,基于第二时间条纹图像具有对应的第二编码表,进而基于第一编码表和第二编码表,可以依据条纹的获取顺序确定相同像素位置中对应的编码序列,构成时间图像编码表。
例如,第一时间条纹图像中像素位置A处的编码为1,B处的编码为0;第二时间条纹图像中像素位置A处的编码为0,B处的编码为1,则第一时间条纹图像对应的第一编码表即为(A:1,B:0);第二时间条纹图像对应的第二编码表即为(A:0,B;1),进而基于第一编码表和第二编码表所确定的时间图像编码表即为(A:10,B:01)。
可选地,投影的时间条纹图案可以为两个,或两个以上,多个时间条纹图案按照时间顺序依次排列,从而可以生成多数位的编码。
作为一种可选的实施例,在获取待扫描对象表面的第二时间条纹图像之后,方法还包括:在第三时间向待扫描对象表面投影第三时间条纹图案;获取待扫描对象表面的第三时间条纹图像;基于第一时间条纹图像、第二时间条纹图像及第三时间条纹图像确定时间图像编码表。
例如,在第一时间条纹图像中像素位置A处的编码为1,B处的编码为0;第二时间条纹图像中像素位置A处的编码为0,B处的编码为1的基础上,第三时间条纹图像中像素位置A处的编码为1,B处的编码为1,则第一时间条纹图像对应的第一编码表即为(A:1,B:0);第二时间条纹图像对应的第二编码表即为(A:0,B;1);第三时间条纹图像对应的第三编码表即为(A:1,B;1),进而基于第一编码表、第二编码 表和第三编码表所确定的图像编码表即为(A:101,B:011)。
作为一种可选的实施例,基于第一时间条纹图像、第二时间条纹图像及第三时间条纹图像确定时间图像编码表包括:将第一时间条纹图像中有条纹的像素对应取第一编码值,将第一时间条纹图像中无条纹的像素对应取第二编码值,基于第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;将第二时间条纹图像中有条纹的像素对应取第一编码值,将第二时间条纹图像中无条纹的像素对应取第二编码值,基于第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;将第三时间条纹图像中有条纹的像素对应取第一编码值,将第三时间条纹图像中无条纹的像素对应取第二编码值,基于第三时间条纹图像的像素位置分布的第一编码值与第二编码值构建第三编码表;将第一编码表、第二编码表及第三编码表中相同像素位置的编码值依据第一时间条纹图像、第二时间条纹图像与第三时间条纹图像的获取顺序排列作为对应像素的编码序列,并基于编码序列构成时间图像编码表。
作为一种可选的实施例,在基于第一时间条纹图像与第二时间条纹图像确定时间图像编码表之后,方法还包括:向待扫描对象表面投影第四时间条纹图案,获取待扫描对象表面的第四时间条纹图案,并基于时间图像编码表确定第四时间条纹图像中各条纹的序列;向待扫描对象表面投影第五时间条纹图案,获取待扫描对象表面的第五时间条纹图案,并基于时间图像编码表确定第五时间条纹图像中各条纹的序列;其中,第五时间条纹图案基于第四时间条纹图案中各条纹往相同方向偏移距离d得到。
图8是根据本发明实施例的一种重建条纹偏移的示意图,如图8所示,假定条纹的间距为L,可以将重建条纹设计成等距偏移的密集条纹组,使得单片数据的密集程度增加。根据条纹分辨率的需求,可以设计条纹的偏移距离d为L的1/2,1/3,1/4等,条纹偏移距离越小则分辨率越高,条纹偏移距离越大条纹图像数量越少扫描速度越快。
可选地,基于图1所示的三维扫描设备,由于三维扫描设备中各硬件的物理性质决定了投影系统的有效景深、摄像机的镜头放大倍率、和投影系统的投影光轴与摄像机的摄像光轴之间的光学夹角等设备参数,基于上述设备参数,使条纹编码图像在摄像机的幅面内移动。
进而,基于上述三维扫描设备中的设备参数,可以使条纹编码图像不会超出摄像机的采集范围,便于对采集到的具有条纹编码的待扫描对象的图像进行三维重建。
需要说明的是,在针对小的视场范围的扫描场景下,通常有效景深范围内,由于双目系统的夹角和光学镜头的放大倍率,必然会导致结构光统一码值的时间条纹图案(即条纹编码图像)在摄像机的幅面内移动,此移动范围取决于三个方面:有效景深、光学系统夹角和镜头的放大倍率。当固定光学系统参数后,即确定了此移动范围(即 偏移距离),设计此移动范围(即偏移距离)内条纹编码的唯一性即可保证整幅面全局的码值唯一性。因为光的直线传播特性,此移动范围(即偏移距离)内的投影光线跳不出该范围。利用该移动范围(即偏移距离)作为一个编码周期,该编码周期内保证编码的唯一性,因该编码周期可根据光学设计保证周期范围较小,利用少量的编码信息(较少序列图像或较少空间编码)即可保证编码的唯一性。因为全局范围内,其他编码周期的条纹不会串扰到该编码周期内,故可在整体幅面内多采用几个编码周期。
作为一种可选的实施例,在条纹编码图像为颜色编码图像的情况下,三维扫描方法包括:向待扫描对象表面投影颜色编码图像,其中,颜色编码图像包括:第一颜色条纹图案和第二颜色条纹图案;获取待扫描对象表面的颜色条纹图像,其中,颜色编码图像包括:第一颜色条纹图像和第二颜色条纹图像;基于第一颜色条纹图像与第二颜色条纹图像确定颜色图像编码表。
需要说明的是,第一颜色条纹图像与第二颜色条纹图像是同一颜色条纹图案中的多种颜色条纹由对应的颜色通道分别获取形成,例如,一颜色条纹图案包括红色条纹和绿色条纹的组合排列,相机红色通道获取其中的红色条纹形成红色条纹图像,相机绿色通道获取其中的绿色条纹形成绿色条纹图像。
作为一种可选的实施例,基于颜色条纹图像确定颜色图像编码表,包括:基于第一颜色条纹图像确定第一颜色编码表;基于第二颜色条纹图像确定第二颜色编码表;基于第一颜色编码表和第二颜色编码表构建颜色图像编码表。
作为一种可选的实施例,基于第一颜色条纹图像确定第一颜色编码表包括:将第一颜色条纹图像中有第一颜色的像素对应取第一编码序列,将第一颜色条纹图像中无第一颜色的像素对应取第四编码序列,基于第一颜色条纹图像的像素位置分布的第一编码序列与四编码序列构建第一颜色编码表;基于第二颜色条纹图像确定第二颜色编码表包括:将第二颜色条纹图像中有第二颜色的像素对应取第二编码序列,将第二颜色条纹图像中无第二颜色的像素对应取第四编码序列,基于第二颜色条纹图像的像素位置分布的第二编码序列与四编码序列构建第二颜色编码表;基于第一颜色编码表和第二颜色编码表构建颜色图像编码表包括:将第一颜色编码表和第二颜色编码表中相同像素位置的编码序列叠加作为对应像素的编码序列,对应各像素分布的叠加的编码序列构成颜色图像编码表。
作为一种可选的实施例,编码表采用二进制编码,颜色编码图像中有第一颜色的像素对应的第一编码序列为(0,0,1),颜色编码图像中有第二颜色的像素对应的第二编码序列为(0,1,0),颜色编码图像中无颜色的像素对应的第四编码序列为(0,0,0)。
根据本发明实施例的另一个方面,还提供了一种计算机可读存储介质,所述计算 机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述三维扫描方法。
根据本发明实施例的另一个方面,还提供了一种处理器,所述处理器被设置为运行程序,其中,所述程序运行时执行上述三维扫描方法。
根据本发明实施例,还提供了一种三维扫描装置实施例,需要说明的是,该三维扫描装置可以被设置为执行本发明实施例中的三维扫描方法,本发明实施例中的三维扫描方法可以在该三维扫描装置中执行。
图9是根据本发明实施例的一种三维扫描装置的示意图,如图9所示,该装置可以包括:
投影单元92,被设置为向待扫描对象投影条纹编码图像,其中,条纹编码图像包括:时间编码图像或颜色编码图像,时间编码图像包括多个基于时间排列的时间条纹图案,颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;采集单元94,被设置为采集待扫描对象的三维重建图像,其中,三维重建图像中待扫描对象的表面带有条纹编码图像;重建单元96,被设置为基于三维重建图像,重建待扫描对象的三维模型。
需要说明的是,该实施例中的投影单元92可以被设置为执行本申请实施例中的步骤S602,该实施例中的采集单元94可以被设置为执行本申请实施例中的步骤S604,该实施例中的重建单元96可以被设置为执行本申请实施例中的步骤S606。上述设备与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。
在本发明实施例中,向待扫描对象投影条纹编码图像,其中,条纹编码图像包括:时间编码图像或颜色编码图像,时间编码图像包括多个基于时间排列的时间条纹图案,颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;采集待扫描对象的三维重建图像,其中,三维重建图像中待扫描对象的表面带有条纹编码图像;基于三维重建图像,重建待扫描对象的三维模型,从而通过时间编码图像和颜色编码图像,可以使条纹编码图像具有唯一的条纹编码,达到了保证条纹编码图像的条纹编码具有唯一性的目的,实现了提高动态扫描速度的技术效果,进而解决了三维扫描过程所需的投影图像的编码复杂技术问题。
作为一种可选的实施例在条纹编码图像为时间编码图像的情况下,三维扫描装置还包括:第一投影单元,被设置为在第一时间向待扫描对象表面投影第一时间条纹图案;第一获取单元,被设置为获取待扫描对象表面的第一时间条纹图像;第二投影单元,被设置为在第二时间向待扫描对象表面投影第二时间条纹图案;第二获取单元,被设置为获取待扫描对象表面的第二时间条纹图像;第一确定单元,被设置为基于第 一时间条纹图像与第二时间条纹图像确定时间图像编码表。
作为一种可选的实施例,第一确定单元包括:第一确定模块,被设置为基于第一时间条纹图像确定第一编码表;第二确定模块,被设置为基于第二时间条纹图像确定第二编码表;第一构建模块,被设置为基于第一编码表与第二编码表构建时间图像编码表。
作为一种可选的实施例,第一确定模块包括:第一确定子模块,被设置为将第一时间条纹图像中有条纹的像素对应取第一编码值,将第一时间条纹图像中无条纹的像素对应取第二编码值,基于第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;第二确定模块包括:第二确定子模块,被设置为将第二时间条纹图像中有条纹的像素对应取第一编码值,将第二时间条纹图像中无条纹的像素对应取第二编码值,基于第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;第一构建模块包括:第一构建子模块,被设置为将第一编码表与第二编码表中相同像素位置的编码值依据第一时间条纹图像与第二时间条纹图像的获取顺序排列作为对应像素的编码序列,基于编码序列构成时间图像编码表。
作为一种可选的实施例,该装置还包括:第三投影单元,被设置为在获取待扫描对象表面的第二时间条纹图像之后,在第三时间向待扫描对象表面投影第三时间条纹图案;第三获取单元,被设置为获取待扫描对象表面的第三时间条纹图像;第二确定单元,被设置为基于第一时间条纹图像、第二时间条纹图像及第三时间条纹图像确定时间图像编码表。
作为一种可选的实施例,第二确定单元包括:第一编码模块,被设置为将第一时间条纹图像中有条纹的像素对应取第一编码值,将第一时间条纹图像中无条纹的像素对应取第二编码值,基于第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;第二编码模块,被设置为将第二时间条纹图像中有条纹的像素对应取第一编码值,将第二时间条纹图像中无条纹的像素对应取第二编码值,基于第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;第三编码模块,被设置为将第三时间条纹图像中有条纹的像素对应取第一编码值,将第三时间条纹图像中无条纹的像素对应取第二编码值,基于第三时间条纹图像的像素位置分布的第一编码值与第二编码值构建第三编码表;第四编码模块,被设置为将第一编码表、第二编码表及第三编码表中相同像素位置的编码值依据第一时间条纹图像、第二时间条纹图像与第三时间条纹图像的获取顺序排列作为对应像素的编码序列,并基于编码序列构成时间图像编码表。
作为一种可选的实施例,所述编码表采用二进制编码,所述时间编码图像中有条纹的像素对应的编码值为1,所述时间编码图像中无条纹的像素对应的编码值为0。
作为一种可选的实施例,装置还包括:第三确定单元,被设置为在基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表之后,向所述待扫描对象表面投影第四时间条纹图案,获取所述待扫描对象表面的第四时间条纹图像,并基于所述时间图像编码表确定所述第四时间条纹图像中各条纹的序列;第四确定单元,被设置为向所述待扫描对象表面投影第五时间条纹图案,获取所述待扫描对象表面的第五时间条纹图像,并基于所述时间图像编码表确定所述第五时间条纹图像中各条纹的序列;其中,所述第五时间条纹图案基于所述第四时间条纹图案中各条纹往相同方向偏移距离d得到。
作为一种可选的实施例,在条纹编码图像为颜色编码图像的情况下,三维扫描装置还包括:第四投影单元,被设置为向待扫描对象表面投影颜色编码图像,其中,颜色编码图像包括:第一颜色条纹图案和第二颜色条纹图案;第四获取单元,被设置为获取待扫描对象表面的颜色条纹图像,其中,颜色编码图像包括:第一颜色条纹图像和第二颜色条纹图像;第五确定单元,被设置为基于第一颜色条纹图像与第二颜色条纹图像确定颜色图像编码表。
作为一种可选的实施例,第五确定单元包括:第三确定模块,被设置为基于第一颜色条纹图像确定第一颜色编码表;第四确定模块,被设置为基于第二颜色条纹图像确定第二颜色编码表;第二构建模块,被设置为基于第一颜色编码表和第二颜色编码表构建颜色图像编码表。
作为一种可选的实施例,第三确定模块包括:第三确定子模块,被设置为将第一颜色条纹图像中有第一颜色的像素对应取第一编码序列,将第一颜色条纹图像中无第一颜色的像素对应取第四编码序列,基于第一颜色条纹图像的像素位置分布的第一编码序列与四编码序列构建第一颜色编码表;第四确定模块包括:第四确定子模块,被设置为将第二颜色条纹图像中有第二颜色的像素对应取第二编码序列,将第二颜色条纹图像中无第二颜色的像素对应取第四编码序列,基于第二颜色条纹图像的像素位置分布的第二编码序列与四编码序列构建第二颜色编码表;第二构建模块包括:第二构建子模块,被设置为将第一颜色编码表和第二颜色编码表中相同像素位置的编码序列叠加作为对应像素的编码序列,对应各像素分布的叠加的编码序列构成颜色图像编码表。
作为一种可选的实施例,编码表采用二进制编码,颜色编码图像中有第一颜色的像素对应的第一编码序列为(0,0,1),颜色编码图像中有第二颜色的像素对应的第二编码序列为(0,1,0),颜色编码图像中无颜色的像素对应的第四编码序列为(0,0,0)。
作为一种可选的实施例,第一成像区间与第二成像区间等间距设置。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
工业实用性
本发明实施例提供的方案,可以应用于三维扫描过程中。通过本发明实施例解决了现有技术的结构光编码图案需要多幅图像序列进行复杂编码的技术问题,有效提高扫描效率。

Claims (27)

  1. 一种三维扫描设备,包括:
    投影设备,被设置为向待扫描对象投射条纹编码图像,所述条纹编码图像包括第一条纹组;
    相机,被设置为对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间,当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹组。
  2. 根据权利要求1所述的设备,其中,
    所述投影设备的投影光轴和所述相机的采集光轴之间形成有系统夹角α,所述相机的光学参数包括:镜头放大倍率k 1,所述三维扫描设备的有效景深用ΔL表示,所述第一成像区间用d 1表示,d 1=ΔL×tgα÷k 1
  3. 根据权利要求1所述的设备,其中,
    所述投影设备包括:图像显示元件,所述图像显示元件包括:第一显示区间,所述第一显示区间设有所述第一条纹组;
    所述投影设备的光学参数包括:所述投影设备的镜头放大倍率k 2,所述第一显示区间用D 1表示,D 1=ΔL×tgα÷k 2
  4. 根据权利要求1所述的设备,其中,
    所述条纹编码图像还包括:第二条纹组,所述第二条纹组与所述第一条纹组相邻设置;
    所述像平面包括:第二成像区间,所述第二成像区间与所述第一成像区间相邻设置;
    当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第二条纹组在所述像平面的成像位于所述第二成像区间内且所述第二成像区间内仅有所述第二条纹组。
  5. 根据权利要求4所述的设备,其中,
    所述条纹编码图像包括:多个呈周期性排布的条纹组,所述第一条纹组与所述第二条纹组分别为一个周期的条纹组。
  6. 根据权利要求4所述的设备,其中,
    所述投影设备的投影光轴和所述相机的采集光轴之间形成有系统夹角α,所述相机的光学参数包括:镜头放大倍率k 1,所述三维扫描设备的有效景深用ΔL表示,所述第二成像区间用d 2表示,d 2=ΔL×tgα÷k 1
  7. 根据权利要求4所述的设备,其中,
    所述投影设备包括:图像显示元件,所述图像显示元件包括:第二显示区间,所述第二显示区间设有所述第二条纹组;
    所述投影设备的光学参数包括:所述投影设备的镜头放大倍率k 2,所述第二显示区间用D 2表示,D 2=ΔL×tgα÷k 2
  8. 根据权利要求1所述的设备,其中,所述设备还包括:
    处理器,被设置为基于所述相机图像对所述待扫描对象进行三维重建。
  9. 根据权利要求8所述的设备,其中,
    所述处理器预设有所述第一成像区间坐标;
    所述处理器基于所述相机图像确定所述相机图像中条纹的中心所在像素坐标;
    所述处理器基于所述条纹的像素坐标及所述第一成像区间的坐标,确定所述相机图像中各条纹的编号;
    所述处理器基于所述条纹的中心所在像素坐标及所述编号进行三维重建,获取待扫描对象的三维数字模型。
  10. 根据权利要求8所述的设备,其中,
    所述处理器预设有条纹编码图像中各条纹的光平面及对应编号;
    所述处理器基于所述相机图像中各条纹的编号与所述各条纹的光平面的对应编号的一致性确定所述条纹的中心所在像素坐标所对应的光平面;
    所述处理器基于所述条纹的中心所在像素坐标及对应的光平面进行三角计算,重建待扫描对象的三维数字模型。
  11. 一种三维扫描方法,基于权利要求1-7中任一项所述的三维扫描设备执行以下步骤:
    通过投影设备向待扫描对象投射条纹编码图像;
    通过相机对所述待扫描对象进行采集,得到相机图像,其中,所述相机图像为所述待扫描对象在所述相机的像平面的成像,所述像平面包括第一成像区间, 当所述待扫描对象位于所述三维扫描设备的有效景深范围内,所述第一条纹组在所述像平面的成像位于所述第一成像区间内且所述第一成像区间内仅有所述第一条纹组;
    通过处理器基于所述相机图像对所述待扫描对象进行三维重建。
  12. 根据权利要求11所述的方法,其中,所述方法还包括:
    基于所述相机图像,确定所述相机图像中条纹的中心所在像素坐标;
    所述处理器预设有第一成像区间的坐标,基于所述条纹的像素坐标及所述第一成像区间的坐标,确定各条纹的编号;
    所述条纹的中心所在像素坐标基于所述编号进行三维重建,获取待扫描对象的三维数字模型。
  13. 一种三维扫描方法,包括:
    向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;
    采集所述待扫描对象的三维重建图像,其中,所述三维重建图像中所述待扫描对象的表面带有所述条纹编码图像;
    基于所述三维重建图像,重建所述待扫描对象的三维模型。
  14. 根据权利要求13所述的方法,其中,在所述条纹编码图像为时间编码图像的情况下,所述三维扫描方法包括:
    在第一时间向所述待扫描对象表面投影第一时间条纹图案;
    获取所述待扫描对象表面的第一时间条纹图像;
    在第二时间向所述待扫描对象表面投影第二时间条纹图案;
    获取所述待扫描对象表面的第二时间条纹图像;
    基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表。
  15. 根据权利要求14所述的方法,其中,基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表包括:
    基于所述第一时间条纹图像确定第一编码表;
    基于所述第二时间条纹图像确定第二编码表;
    基于所述第一编码表与所述第二编码表构建所述时间图像编码表。
  16. 根据权利要求15所述的方法,其中,
    基于所述第一时间条纹图像确定第一编码表包括:
    将所述第一时间条纹图像中有条纹的像素对应取第一编码值,将所述第一时间条纹图像中无条纹的像素对应取第二编码值,基于所述第一时间条纹图像的像素位置分布的所述第一编码值与所述第二编码值构建第一编码表;
    基于所述第二时间条纹图像确定第二编码表包括:
    将所述第二时间条纹图像中有条纹的像素对应取第一编码值,将所述第二时间条纹图像中无条纹的像素对应取第二编码值,基于所述第二时间条纹图像的像素位置分布的所述第一编码值与所述第二编码值构建第二编码表;
    基于所述第一编码表与所述第二编码表构建所述时间图像编码表包括:
    将所述第一编码表与所述第二编码表中相同像素位置的编码值依据所述第一时间条纹图像与所述第二时间条纹图像的获取顺序排列作为对应像素的编码序列,基于所述编码序列构成时间图像编码表。
  17. 根据权利要求14所述的方法,其中,在获取所述待扫描对象表面的所述第二时间条纹图像之后,所述方法还包括:
    在第三时间向所述待扫描对象表面投影第三时间条纹图案;
    获取所述待扫描对象表面的第三时间条纹图像;
    基于所述第一时间条纹图像、所述第二时间条纹图像及所述第三时间条纹图像确定时间图像编码表。
  18. 根据权利要求18所述的方法,其中,基于所述第一时间条纹图像、所述第二时间条纹图像及所述第三时间条纹图像确定时间图像编码表包括:
    将所述第一时间条纹图像中有条纹的像素对应取第一编码值,将所述第一时间条纹图像中无条纹的像素对应取第二编码值,基于所述第一时间条纹图像的像素位置分布的第一编码值与第二编码值构建第一编码表;
    将所述第二时间条纹图像中有条纹的像素对应取第一编码值,将所述第二时间条纹图像中无条纹的像素对应取第二编码值,基于所述第二时间条纹图像的像素位置分布的第一编码值与第二编码值构建第二编码表;
    将所述第三时间条纹图像中有条纹的像素对应取第一编码值,将所述第三时间条纹图案中无条纹的像素对应取第二编码值,基于所述第三时间条纹图像的像素位置分布的第一编码值与第二编码值构建第三编码表;
    将所述第一编码表、所述第二编码表及所述第三编码表中相同像素位置的编码值依据所述第一时间条纹图像、所述第二时间条纹图像与所述第三时间条纹图像的获取顺序排列作为对应像素的编码序列,并基于所述编码序列构成时间图像编码表。
  19. 根据权利要求13-18中任意一项所述的方法,其中,所述编码表采用二进制编码,所述时间编码图像中有条纹的像素对应的编码值为1,所述时间编码图像中无条纹的像素对应的编码值为0。
  20. 根据权利要求14所述的方法,其中,在基于所述第一时间条纹图像与所述第二时间条纹图像确定时间图像编码表之后,所述方法还包括:
    向所述待扫描对象表面投影第四时间条纹图案,获取所述待扫描对象表面的第四时间条纹图像,并基于所述时间图像编码表确定所述第四时间条纹图像中各条纹的序列;
    向所述待扫描对象表面投影第五时间条纹图案,获取所述待扫描对象表面的第五时间条纹图像,并基于所述时间图像编码表确定所述第五时间条纹图像中各条纹的序列;其中,所述第五时间条纹图案基于所述第四时间条纹图案中各条纹往相同方向偏移距离d得到。
  21. 根据权利要求13所述的方法,其中,在所述条纹编码图像为颜色编码图像的情况下,所述三维扫描方法包括:
    向所述待扫描对象表面投影所述颜色编码图像,其中,所述颜色编码图像包括:第一颜色条纹图案和第二颜色条纹图案;
    获取所述待扫描对象表面的颜色条纹图像,其中,所述颜色条纹图像包括:第一颜色条纹图像和第二颜色条纹图像;
    基于所述第一颜色条纹图像与所述第二颜色条纹图像确定颜色图像编码表。
  22. 根据权利要求21所述的方法,其中,基于所述颜色条纹图像确定颜色图像编码表,包括:
    基于所述第一颜色条纹图像确定第一颜色编码表;
    基于所述第二颜色条纹图像确定第二颜色编码表;
    基于第一颜色编码表和第二颜色编码表构建所述颜色图像编码表。
  23. 根据权利要求22所述的方法,其中,
    基于所述第一颜色条纹图像确定第一颜色编码表包括:
    将所述第一颜色条纹图像中有第一颜色的像素对应取第一编码序列,将所述第一颜色条纹图像中无第一颜色的像素对应取第四编码序列,基于所述第一颜色条纹图像的像素位置分布的第一编码序列与四编码序列构建第一颜色编码表;
    基于所述第二颜色条纹图像确定第二颜色编码表包括:
    将所述第二颜色条纹图像中有第二颜色的像素对应取第二编码序列,将所述第二颜色条纹图像中无第二颜色的像素对应取第四编码序列,基于所述第二颜色条纹图像的像素位置分布的第二编码序列与四编码序列构建第二颜色编码表;
    基于第一颜色编码表和第二颜色编码表构建所述颜色图像编码表包括:
    将所述第一颜色编码表和所述第二颜色编码表中相同像素位置的编码序列叠加作为对应像素的编码序列,对应各像素分布的所述叠加的编码序列构成颜色图像编码表。
  24. 根据权利要求21-23中任意一项所述的方法,其中,所述编码表采用二进制编码,所述颜色编码图像中有第一颜色的像素对应的第一编码序列为(0,0,1),所述颜色编码图像中有第二颜色的像素对应的第二编码序列为(0,1,0),所述颜色编码图像中无颜色的像素对应的第四编码序列为(0,0,0)。
  25. 一种三维扫描装置,包括:
    投影单元,被设置为向待扫描对象投影条纹编码图像,其中,所述条纹编码图像包括:时间编码图像或颜色编码图像,所述时间编码图像包括多个基于时间排列的时间条纹图案,所述颜色编码图像中包括使用多个颜色进行编码的颜色条纹图案;
    采集单元,被设置为采集所述待扫描对象的三维重建图像,其中,所述三维重建图像中所述待扫描对象的表面带有所述条纹编码图像;
    重建单元,被设置为基于所述三维重建图像,重建所述待扫描对象的三维模型。
  26. 一种计算机可读存储介质或非易失性存储介质,其中,所述计算机可读存储介质或非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机 可读存储介质或非易失性存储介质所在设备执行权利要求13至24中任意一项所述三维扫描方法。
  27. 一种处理器,其中,所述处理器被设置为运行程序,其中,所述程序运行时执行权利要求13至24中任意一项所述三维扫描方法。
PCT/CN2021/143723 2020-12-31 2021-12-31 三维扫描设备、方法、装置、存储介质及处理器 WO2022143992A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21914721.2A EP4272697A4 (en) 2020-12-31 2021-12-31 THREE-DIMENSIONAL SCANNING DEVICE, METHOD AND APPARATUS, STORAGE MEDIUM AND PROCESSOR
KR1020237026221A KR20230128521A (ko) 2020-12-31 2021-12-31 3차원 스캐닝 기기, 방법 및 장치, 저장 매체 및 프로세서
US18/270,497 US20240058106A1 (en) 2020-12-31 2021-12-31 Three-dimensional Scanning Device, Method and Apparatus, Storage Medium and Processor
JP2023540479A JP2024502065A (ja) 2020-12-31 2021-12-31 三次元走査機器、方法、装置、記憶媒体およびプロセッサ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202011640685.8A CN114681088B (zh) 2020-12-31 2020-12-31 三维扫描方法、装置、存储介质和处理器
CN202011642145.3 2020-12-31
CN202011640685.8 2020-12-31
CN202011642145.3A CN114681089B (zh) 2020-12-31 2020-12-31 三维扫描装置和方法

Publications (1)

Publication Number Publication Date
WO2022143992A1 true WO2022143992A1 (zh) 2022-07-07

Family

ID=82259092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/143723 WO2022143992A1 (zh) 2020-12-31 2021-12-31 三维扫描设备、方法、装置、存储介质及处理器

Country Status (5)

Country Link
US (1) US20240058106A1 (zh)
EP (1) EP4272697A4 (zh)
JP (1) JP2024502065A (zh)
KR (1) KR20230128521A (zh)
WO (1) WO2022143992A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
CN102519390A (zh) * 2011-12-21 2012-06-27 哈尔滨理工大学 三编码周期灰度梯形相移结构光三维信息获取方法
US20150054946A1 (en) * 2013-08-21 2015-02-26 Faro Technologies, Inc. Real-time inspection guidance of triangulation scanner
CN108261171A (zh) * 2017-10-30 2018-07-10 杭州先临三维科技股份有限公司 口内三维扫描装置和方法
CN108985310A (zh) * 2018-05-04 2018-12-11 长春理工大学 基于序列特征重复度的条纹码字匹配方法
CN109489583A (zh) * 2018-11-19 2019-03-19 先临三维科技股份有限公司 投影装置、采集装置及具有其的三维扫描系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TR201811449T4 (tr) * 2012-11-07 2018-09-21 Artec Europe S A R L Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
CN102519390A (zh) * 2011-12-21 2012-06-27 哈尔滨理工大学 三编码周期灰度梯形相移结构光三维信息获取方法
US20150054946A1 (en) * 2013-08-21 2015-02-26 Faro Technologies, Inc. Real-time inspection guidance of triangulation scanner
CN108261171A (zh) * 2017-10-30 2018-07-10 杭州先临三维科技股份有限公司 口内三维扫描装置和方法
CN108985310A (zh) * 2018-05-04 2018-12-11 长春理工大学 基于序列特征重复度的条纹码字匹配方法
CN109489583A (zh) * 2018-11-19 2019-03-19 先临三维科技股份有限公司 投影装置、采集装置及具有其的三维扫描系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4272697A4 *

Also Published As

Publication number Publication date
EP4272697A1 (en) 2023-11-08
KR20230128521A (ko) 2023-09-05
US20240058106A1 (en) 2024-02-22
EP4272697A4 (en) 2024-03-13
JP2024502065A (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
JP6619893B2 (ja) 3次元走査システムおよびその走査方法
EP1969307B1 (en) Coded structured light
JP6223331B2 (ja) 歯科分野で使用される三次元測定デバイス
US9808148B2 (en) Spatial 3D sterioscopic intraoral camera system
US9192305B2 (en) Estimating a surface texture of a tooth
AU2004212587A1 (en) Panoramic scanner
US20050068544A1 (en) Panoramic scanner
US10973581B2 (en) Systems and methods for obtaining a structured light reconstruction of a 3D surface
CN106580506B (zh) 分时三维扫描系统和方法
CN108269300A (zh) 牙齿三维数据重建方法、装置和系统
CN107644454A (zh) 一种图像处理方法及装置
US20230240818A1 (en) Taking an optical impression of a patient's dental arch
EP2026034B1 (de) Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
US20120224756A1 (en) Method and arrangement for determining a combined data record for a masticatory organ to be measured
CN108261171A (zh) 口内三维扫描装置和方法
WO2022143992A1 (zh) 三维扫描设备、方法、装置、存储介质及处理器
CN100581461C (zh) 用于测量牙齿几何形状的装置
CN105662632A (zh) 一种用于牙颌模型的颜色信息扫描装置及方法
WO2020024144A1 (zh) 一种三维成像方法、装置及终端设备
WO2024032666A1 (zh) 三维重建方法及装置、系统
CN102884798A (zh) 提取纹理图像和深度图像的装置及方法
CN114681088B (zh) 三维扫描方法、装置、存储介质和处理器
CN114681089B (zh) 三维扫描装置和方法
Hasanuddin et al. 3D scanner for orthodontic using triangulation method
US20160037903A1 (en) Systems, methods and apparatus for tracking a toothbrush

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21914721

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18270497

Country of ref document: US

Ref document number: 2023540479

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20237026221

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021914721

Country of ref document: EP

Effective date: 20230731