JP2024502064A - 投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム - Google Patents
投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム Download PDFInfo
- Publication number
- JP2024502064A JP2024502064A JP2023540478A JP2023540478A JP2024502064A JP 2024502064 A JP2024502064 A JP 2024502064A JP 2023540478 A JP2023540478 A JP 2023540478A JP 2023540478 A JP2023540478 A JP 2023540478A JP 2024502064 A JP2024502064 A JP 2024502064A
- Authority
- JP
- Japan
- Prior art keywords
- stripe
- color
- stripes
- decoding
- cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000005259 measurement Methods 0.000 claims abstract description 72
- 239000003086 colorant Substances 0.000 claims abstract description 39
- 230000003287 optical effect Effects 0.000 claims description 30
- 108091026890 Coding region Proteins 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
Abstract
本開示は、カラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムに関する。該カラー投影モジュールは、測定対象物の表面にカラーストライプパターンを投影するように構成される。ここで、カラーストライプパターンは、周期的に繰り返されるm個のベースストライプシーケンスを含み、mは正整数であり、ベースストライプシーケンスは、k種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数である。その結果、周期的に繰り返されるカラーストライプを用いてストライプのコード化および対応する復号を達成し、これによりストライプの色の数および復号に必要なストライプの数を低減し、復号安定性の向上、構造の簡素化、走査効率の向上に役立つ。
Description
<関連出願の相互参照>
本開示は、2020年12月31日に中国特許庁に出願された中国特許出願第202011626487.6号の「カラー投影モジュール、ストライプ復号方法、装置、媒体、デバイスおよびシステム」の優先権を主張し、その内容全体は参照によって本開示に援用される。
本開示は、2020年12月31日に中国特許庁に出願された中国特許出願第202011626487.6号の「カラー投影モジュール、ストライプ復号方法、装置、媒体、デバイスおよびシステム」の優先権を主張し、その内容全体は参照によって本開示に援用される。
本開示は、三次元測定の技術分野に関し、特に、カラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムに関する。
近年、構造光三次元測定技術は、急速に発展し、非接触、高精度、高効率などの測定特性に依存して、工業検査、補助医療、電子デバイス、文化財の修復などの分野で広く利用されている。構造光三次元測定技術は、コード化パターンを測定対象物の表面に投影し、物体の表面形状によって変調されたコード化パターンを収集および解析することによって、物体の実際の三次元形状を取得する三次元再構成技術である。構造光三次元測定技術は、投影されるコード化パターンの数によって、シングルフレーム構造光とマルチフレーム構造光に分けることができる。ここで、マルチフレーム構造光技術は、複数フレームのコード化パターンを連続的に投影する必要があり、物体の移動速度または走査速度に一定の要件があり、リアルタイムで高いフレームレートを実現できず、対応する構造も複雑で、投影デバイスも高価である。シングルフレーム構造光技術は、測定対象物の表面に1枚のコード化パターンを投影すればよく、高速でコード化パターンを変更する必要がなく、構造がシンプルで価格が低く、広く研究されている。
シングルフレーム構造光技術として、カラーストライプコード化構造光技術は、優れた耐干渉性と高精度などの利点により、複雑な物体の高精度測定によく利用されている。該技術の特徴は、複数のカラー色のコード化ストライプを物体に投影し、隣接する複数のストライプの色情報から現在のストライプの番号情報を一意に復号し、最終的にそれらを正しく照合することで物体表面の三次元点座標を算出することである。単一画像上の各ストライプのコード化一意性を確保するために、ストライプの色の数kと、単一ストライプを復号するために設定されるストライプの数n(以下、単に復号幅という)には、単一画像上のストライプ総数がkn未満を満たす必要があるという厳しい条件がある。従来のカラーストライプコード化技術では、画像全体におけるストライプコード化の一意性を確保するために、より多くのストライプ色が使用されるか、復号に多くのストライプが必要である(少なくとも5つのストライプ色、または復号には少なくとも4本のストライプが必要である)。しかしながら、ストライプの色の種類が多いほど、物体の表面テクスチャによる干渉が大きくなり、復号が不安定になり、また、単一ストライプを復号するのに必要なストライプの数が多いほど、物体表面の不連続面からの干渉が大きくなり、復号のエラー率が高くなり、小さな物体を再構成することが困難になる。したがって、従来のカラーストライプコード化技術は、ほとんどが単一画像上の各ストライプコード化の一意性に制限され、その結果、ストライプの色が多いか、復号幅が大きく、復号が不安定で再構成の完全性が低いため、走査効率が大幅に制限される。
本開示が解決しようとする課題は、従来のカラーストライプコード化技術では、ストライプの色の種類が多いか、または復号幅が大きく、復号が不安定で、再構成の完全性が低いため、走査効率が大きく制限されるという問題を解決することである。
上記課題を解決するために、本開示の実施例は、単一画像でのコード化が周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提案し、ストライプの色の数および復号幅を大幅に低減させ、走査効率を向上させるカラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるm個(mは正整数)のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、k種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数であるカラー投影モジュールを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるm個(mは正整数)のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、k種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数であるカラー投影モジュールを提供する。
いくつかの実施例において、前記ベースストライプシーケンスは、k要素のn次デブルーインシーケンスに基づいて配列される。
いくつかの実施例において、2つの隣接する前記サイクル(周期)では、ストライプ間隔の少なくとも一部が異なる。
いくつかの実施例において、同一の前記サイクルでは、ストライプ間隔の少なくとも一部が異なる。
いくつかの実施例において、kの値が3とされ、またはnの値が3とされ、またはkの値およびnの値がいずれも3とされる。
いくつかの実施例において、3つの互いに異なる色は、それぞれ赤、緑および青である。
いくつかの実施例において、前記モジュールは、3色光源、ミラーアレイ、および制御システムを備える。
前記制御システムは、ミラーが対応する色の光を反射して前記プリセットカラーストライプパターンを投影するように、前記ミラーアレイ内の各ミラーの角度を調整するように構成される。
いくつかの実施例において、前記モジュールは、3色光源およびMRSKコードを含む。
前記3色光源からの光は、MRSKコードを介して前記プリセットカラーストライプパターンを投影する。
本開示は、上記いずれかのカラー投影モジュールによって測定対象物の表面に投影された後にカメラモジュールによって取得されたストライプパターンを復号するカラーストライプの復号方法であって、
測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む復号方法を提供する。
測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む復号方法を提供する。
いくつかの実施例において、前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップは、
プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む。
プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む。
いくつかの実施例において、該復号方法は、
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、
復号がずれている場合、対応する三次元点座標を修正して更新するステップと、をさらに含む。
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、
復号がずれている場合、対応する三次元点座標を修正して更新するステップと、をさらに含む。
いくつかの実施例において、各ストライプの番号に基づいて各ストライプを三次元的に再構成する前記ステップは、
前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
本開示は、上記復号方法のいずれかを実行するように構成されたカラーストライプの復号装置であって、
測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える復号装置を提供する。
測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える復号装置を提供する。
いくつかの実施例において、前記番号決定モジュールは、
プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
いくつかの実施例において、前記三次元点座標決定モジュールは、
前記番号に基づいて、対応する光平面を決定し、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
前記番号に基づいて、対応する光平面を決定し、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
いくつかの実施例において、該復号装置は、
前記三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、
復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
前記三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、
復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
本開示は、プロセッサによって実行されると、プロセッサに上記いずれかの復号方法を実施させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。
本開示は、プロセッサと、
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される電子デバイスをさらに提供する。
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される電子デバイスをさらに提供する。
本開示は、プリセット角度をなすカラー投影モジュール、およびカメラモジュールを備える、カラーストライプコード化構造光に基づく三次元測定システムであって、
前記カラー投影モジュールは、上記カラー投影モジュールのいずれかを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れないカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。
前記カラー投影モジュールは、上記カラー投影モジュールのいずれかを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れないカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。
いくつかの実施例において、前記カラー投影モジュールおよび前記カメラモジュールは、同一の口腔内スキャナー内に配置される。
いくつかの実施例において、該システムは、
前記ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに備える。
前記ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに備える。
いくつかの実施例において、前記カラー投影モジュールは、DLP、LCOSまたは透過投影などの手段によって実現され、
前記カメラモジュールは、1つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも2つの画像取得センサーを備える。
前記カメラモジュールは、1つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも2つの画像取得センサーを備える。
本開示の実施例による上記技術的解決手段は、従来技術に対して以下の利点を有する、
本開示の実施例による該カラー投影モジュールは、カラーストライプパターンを測定対象物の表面に投影するように構成され、カラーストライプパターンは、m個(mは正整数)の周期的に繰り返されるベースストライプシーケンスを含み、ベースストライプシーケンスはk種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数である。したがって、周期的に繰り返されるカラーストライプコード化方式によりカラーストライプパターンを形成することにより、カラーストライプの色の数が低減され、復号に必要なストライプの数も低減され、ストライプの数が少ないほど、物体表面の不連続性による干渉が少なくなり、復号エラー率が低くなり、小さな物体の再構築が容易になる。その結果、該カラーストライプパターンにおける色の種類が少なくなり、かつ、その復号幅が狭くなるため、復号の安定性が高くなり、再構成の完全性を向上させ、構造の簡素化と走査効率の向上に有利である。
上記の一般的な説明およびそれに続く詳細な説明は、例示的および説明的なものに過ぎず、本開示を限定するものではないことを理解されたい。
ここでの添付図面は、本明細書に組み込まれ、かつ、その一部を構成し、本開示と一致する実施例を例示し、本開示の原理を説明するために明細書とともに説明される。
以下、本開示の実施例または従来技術における技術的解決手段をより明確に説明するために、実施例または従来技術の説明において必要な添付図面を簡単に説明するが、当業者にとって、これらの添付図面に基づいて他の添付図面を創造的労力なしに取得できることは明らかである。
本開示の実施例におけるカラーストライプパターンの概略図である。
本開示の実施例におけるカラーストライプの復号方法のフローチャートである。
本開示の実施例におけるカラーストライプの復号装置の構造概略図である。
本開示の実施例における電子デバイスの構造概略図である。
本開示の実施例における三次元測定システムの構造概略図である。
本開示の実施例における別の三次元測定システムの構造概略図である。
本開示の実施例における三次元測定システムのパラメータ関連付けの関係を示す原理図である。
以下、本開示の実施例の目的、技術的解決手段および利点をより明確にするために、本開示の実施例における技術的解決手段を明確かつ完全に説明し、説明された実施例は本開示の一部の実施例であり、そのすべてではないことは明らかである。本開示の実施例に基づいて、当業者によって創造的な労力を要することなく得られる他のすべての実施例は、本開示の保護範囲に属する。
上記の背景技術における内容を組み合わせると、従来のカラーストライプコード化構造光三次元測定技術は、単一画像上のカラーコード化の一意性を確保するために、必要なストライプの色の数が多く、単一ストライプを復号するのに必要なストライプの数(すなわち、個数)が多く、小さくて複雑な形状の物体(例えば、口腔内歯、歯型)を走査する場合、コード化パターンは深度変調によるコードの欠落または破損が起こりやすく、その結果、復号不能または復号エラーが発生し、単一フレームの再構成データの整合性が低く、走査の品質と効率が大幅に低減する。
上記問題に対して、本開示の実施例は、カラー投影モジュール、復号方法、復号装置、メディア、電子デバイス(例えば、コンピュータ)および三次元測定システムを含む、周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提供する。該技術的解決手段では、周期的に繰り返されるストライプ配列方法を用いることにより、ストライプの色の数および復号に必要なストライプの数を大幅に低減させるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小さくて複雑な形状の物体を高速、高精度かつ完全に測定することができる。
以下、図1~図7を参照して本開示の実施例によるカラー投影モジュール、ストライプコード化と復号方法、装置および三次元測定システムについて例示的に説明する。
本開示の実施例において、カラー投影モジュールは、カラーストライプパターン(「カラーストライプ」または「ストライプパターン」とも呼ばれる)を測定対象物の表面に投影するように構成され、カラーストライプパターンは、m個(mは正整数)の周期的に繰り返されるベースストライプシーケンスを含み、ベースストライプシーケンスはk種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数である。
ここで、l0=kn、kとnはいずれも2以上の正整数であり、k個のカラーストライプのうちの1つまたは複数のカラーストライプは、個数がnのストライプシーケンスに配列され、カラー配列が異なるkn種類のストライプシーケンスを形成することができ、例えば、赤と緑という2種類のカラーストライプを個数が2のストライプシーケンスに配列すると、異なる配列で22個のストライプシーケンスを形成し、すなわち(赤-赤)、(赤-緑)、(緑-赤)、(緑-緑)という4つのストライプシーケンスであり、また、赤、緑、青という3種類のカラーストライプのうちの2種類を個数が2のストライプシーケンスに配列すると、異なる配列で32個のストライプシーケンスを形成でき、さらに、赤、緑、青という3種類のカラーストライプを個数が3のストライプシーケンスに配列すると、異なる配列で33個のストライプシーケンスを形成できる。ベースストライプシーケンスでは、任意の連続するn本のストライプからなるn個のストライプシーケンスは一意であり、すなわちベースストライプシーケンスには、任意に連続するn個のストライプからなるnビットのカラーベースのl個のストライプシーケンスが形成され、かつ、任意に連続するn個のストライプからなるnビットのカラーベースのl個のストライプシーケンスは、kn個の異なるカラー配列のnビットのストライプシーケンスのうちのl種とする。これにより、より少ない色の種類とより狭い復号幅で、周期的に繰り返されるストライプ配列に基づいてカラーストライプパターンを形成することができる。
ここで、kおよびnの値は、測定対象物の表面の大きさ、カラー投影モジュールの性能パラメータおよびカメラの性能パラメータに基づいて決定することができ、本開示の実施例において限定されない。なお、ベースストライプシーケンスには、任意に連続するn個のストライプからなるnビットのカラーベースのl個のストライプシーケンスが形成され、それは、ベースストライプシーケンスをエンドツーエンド接続して形成されるサイクリックストライプシーケンスに基づいて決定される。
例示的に、kの値は、2、3または他のより大きな値であってもよく、すなわち、該カラーストライプコードにおけるストライプの色は2、3またはそれ以上であってもよく、同様に、nの値は、2、3または他のより大きな値であってもよく、すなわち、単一ストライプを復号するのに必要なストライプ数は2、3またはそれ以上であり、kおよびnの値は同じであっても異なってもよく、本開示の実施例において限定されない。
例示的に、kおよびnはいずれも3をとり、l0=kn=27、l≦27となるようにする。
例示的に、図1は、本開示の実施例におけるカラーストライプパターンの概略図である。図1に示すとおり、k、nおよびmの値はいずれも3をとり、l=l0=27であるため、ストライプの総数は81であり、3つの繰り返しサイクル、3つの異なる色、復号幅が3のカラーストライプパターンを含む。
本実施例によるカラー投影モジュールは、周期的に繰り返されるカラーストライプコード化方式に基づいてカラーストライプパターンを形成することができ、カラーストライプの色の数が低減され、復号に必要なストライプの数も低減され、ストライプの数が少ないほど、物体表面の不連続性による干渉が少なくなり、復号エラー率が低くなり、小さな物体の再構築が容易になる。その結果、該カラーストライプパターンにおける色の種類が少なくなり、かつ、その復号幅が狭くなるため、復号の安定性が高くなり、再構成の完全性を向上させ、構造の簡素化と走査効率の向上に有利である。
ここで、ベースストライプシーケンスにおける任意の連続するn本のストライプはいずれもk個のカラーストライプにおけるカラーストライプであり、かつ、ベースストライプシーケンスにおける任意の連続するn本のストライプによって形成されるストライプシーケンスは、互いに違う。k種類の色をそれぞれコード0、1......(k-1)で表すと、ベースストライプシーケンスに基づいて決定されるコードシーケンスは、DeBruijnシーケンスを満たす。
k要素n次のDeBruijnシーケンス、すなわちB(k,n)は、k要素で構成されるサイクリックシーケンスであり、長さnのすべてのk要素からなるシーケンスはすべて(循環形式で)そのサブシーケンスに含まれ、そして一度だけ現れる。ここで、色のコードはDeBruijnシーケンスの要素に対応し、色の種類kはDeBruijnシーケンスの要素の種類に対応し、任意の連続するn本のストライプで形成されるストライプシーケンスはDeBruijnシーケンスのサブシーケンスに対応する。
ベースストライプシーケンスのストライプの総数lはkn以下である。ベースストライプシーケンスのストライプの総数がknに等しい場合、ベースストライプシーケンスに形成される任意の連続するn本のストライプに基づいて形成されるln個のストライプシーケンスは、配列が異なるkn種類のストライプシーケンスの全てのストライプシーケンスを含み、ベースストライプシーケンスのストライプの総数がkn未満の場合、ベースストライプシーケンスに形成される任意の連続するn本のストライプに基づいて形成されるln個のストライプシーケンスは、配列が異なるkn種類のストライプシーケンスの一部である。
例示的に、ベースストライプシーケンスk=3、n=3の場合、3つの色を0、1、2の数字で表され、例えば、赤は0、緑は1、青は2で表され、赤-赤-赤-緑-赤-赤-青-赤-緑-緑-赤-緑-青-赤-青-緑-赤-青-青-緑-緑-緑-青-緑-青-青-青のように配列された27本のストライプのコード化シーケンスは、{0,0,0,1,0,0,2,0,1,1,0,1,2,0,2,1,0,2,2,1,1,1,2,1,2,2,2}である。
該コード化シーケンスにおいて、任意の連続する3つのコードからなるシーケンスは一意であり、例えば、最初の3ビットシーケンス{0,0,0}、2番目の3ビットシーケンス{0,0,1}......最後の3ビットシーケンス{2,2,2}とし、このように、各3ビットシーケンスは、コード化シーケンス全体で1回しか出現しない。各コードは1種類の色のストライプに対応し、各3ビットシーケンスはベースシーケンスのうちの1つのストライプに対応し、すなわち1つのストライプのコード化値になり、該ストライプの識別位置として設定され、該シーケンスは27本のストライプに対応する。
該シーケンスにおける3ビットシーケンスはそのうちの1つのストライプに対応し、該ストライプのコード化値として、好ましくは、連続するnビットコードによって形成されるnビットシーケンスは、nビットコードのうちの1ビットコードに対応するストライプのコード化値として使用され、例えば、{0,0,0}はベースストライプシーケンスのうちの1番目のストライプのコード化値とし、{0,0,1}はベースストライプシーケンスのうちの2番目のストライプのコード化値とし、このようにして、連続する3ビットコードによって形成される3ビットシーケンスは、3ビットコードのうちの第1ビットコードに対応するストライプのコード化シーケンスとして使用され、もちろん、{0,0,0}はベースストライプシーケンスのうちの2番目のストライプのコード化値とし、{0,0,1}はベースストライプシーケンスのうちの3番目のストライプのコード化値とすることもでき、このようにして、連続する3ビットコードによって形成される3ビットシーケンスは、3ビットコードのうちの第1ビットコードに対応するストライプのコード化シーケンスとして使用される。
他の実施形態では、他のコード化原理でコード化でき、任意の連続するn個のコードからなるnビットシーケンスが一意であることを満たせば十分である。
いくつかの実施例において、ストライプの間隔の少なくとも一部は、2つの隣接するサイクルで異なる。
ここで、隣接する2つのサイクルにおけるストライプの一部または全部を異なる間隔に設定することにより、隣接する2つのサイクル間の間隔差分設計を達成でき、復号プロセスにおける復号エラーチェックを実現し、復号精度を確保することに有益である。
例示的に、奇数番目のサイクルの奇数番目のストライプ間隔は、偶数番目のサイクルに対応するストライプ間隔よりも小さく、奇数番目のサイクルの偶数番目のストライプ間隔は、偶数番目のサイクルに対応するストライプ間隔よりも大きいように設定でき、または、他のストライプ間隔の差分設定方法を採用できるが、ここでは限定しない。
例示的に、ストライプ間隔は、2つの隣接するストライプの中心線間の距離、または2つの隣接するストライプの対向する側線間の距離、または他の基準点によって定義されてもよく、同一のカラーストライプパターンで同じ基準点によって定義することができるが、ここでは限定しない。
いくつかの実施例において、2つの隣接するサイクルでは、ストライプ間隔の大きさは、逆に設定される。
例示的に、任意の2つの隣接するサイクルにおいて、一方のサイクルでは、各ストライプ間隔がddDDddDDdd......の順に配列され、他方のサイクルでは、各ストライプ間隔がDDddDDddDD......の順に配列され、D≠dである。例えば、D>dの場合、一方のサイクルでは、各ストライプの間隔が小小大大小小大大小小......の順に配列され、他方のサイクルでは、各ストライプの間隔が大大小小大大小小大大......の順に配列される。このように、隣接する2つのサイクルでは、対応する位置のストライプ間隔の大きさは、大小が逆になる。
他の実施形態では、他のストライプ間隔配列方法を選択することもでき、本開示の実施例では限定しない。
いくつかの実施例において、ストライプ間隔は、各サイクルで全部異なる。
いくつかの実施例において、ストライプ間隔の少なくとも一部は、同一のサイクルで異なる。
ここで、同一のサイクルでは、ストライプ間隔の一部または全部が異なるが、カラー投影モジュールの要件に従って設定されてもよく、本開示の実施例では限定しない。
いくつかの実施例において、kの値は3である。
このようにすると、ストライプの色の種類が少なくなる。他の実施形態では、kの値は、2、4または他の値であることもできるが、ここでは限定しない。
いくつかの実施例において、3つの互いに異なる色は、赤、緑、および青である。
このように、3つの互いに異なる色として3原色のみが使用され、カラーストライプの色に対するさらなる合成または分解は必要なく、ストライプのコード化および復号方法を簡略化するのに役立つ。
いくつかの実施例において、カラー投影モジュールは、3色光源、ミラーアレイおよび制御システムを備え、制御システムは、ミラーが対応する色の光を反射してプリセットカラーストライプパターンを投影するように、ミラーアレイ内の各ミラーの角度を調整するように構成される。
ここで、カラー投影モジュールの実施形態は、デジタル光処理(Digital Light Processing,DLP)プロジェクタを含むことができる。該DLPプロジェクタは、主に、RGB3色光源と、デジタルマイクロミラーデバイス(Digital Micromirror Devices,DMD)などのミラーアレイと、制御システムとを備える。ここで、制御システムによって、各ミラーが対応する色の光を反射してカラーストライプパターンを投影するように、ミラーアレイ内の各ミラーの角度を調整する。
ここで、カラーストライプパターンは、カラーストライプコード化方法に基づいて決定されたカラーストライプパターンとして、上記カラーストライプの配列ルールを満たす。
いくつかの実施例において、カラー投影モジュールは、3色光源およびMRSKコードを含み、3色光源からの光はMRSKコードを通過して、プリセットカラーストライプパターンを投影する。
ここで、カラー投影モジュールの実施形態は、透視投影の原理に基づく光学機械をさらに含むことができる。該光学機械は主に、RGB3色光源およびMRSKコードを含み、MRSKコードをカスタマイズすることで、三色光源が通過した後、所望のパターン、すなわちプリセットカラーストライプパターンを投影できるようにする。
他の実施形態では、カラー投影モジュールは、他の原理を用いた光学機械をさらに含んでもよいが、本開示の実施例では説明を省略し限定しない。
他の実施形態では、カラー投影モジュールは、他の原理を用いた光学機械をさらに含んでもよいが、本開示の実施例では説明を省略し限定しない。
本開示の実施例によるカラー投影モジュールは、三次元測定システムにおけるプロジェクタ、または、他の測定システムにおける投影機とすることができるが、本開示の実施例では限定しない。
上記実施形態では、カラーストライプパターン内のベースコード化シーケンスがmサイクル繰り返され、全長mlのサイクル繰り返しコード化シーケンスが形成される。
ここで、mは正整数であり、各サイクル間のストライプは、画像において重複する領域は出現されない。例示的に、mは、1、2、3または他のより大きな値であってもよいが、本開示の実施例によって限定されない。
ベースコード化シーケンスを1つのサイクル単位としてmサイクル繰り返し、全長mlのサイクル繰り返しコード化シーケンスを形成する。かつ、サイクル数mは、各サイクル間のストライプが該システムの測定された被写界深度内で重ならないように構成される。このようにすることで、復号が容易になる。
mは、以下の三次元測定システムの構造によって決定される被写界深度の範囲を組み合わせることによって決定することができる。
例示的に、上記と合わせると、ベースコード化シーケンスが27ビットで、mの値が3である場合、該サイクル繰り返しコード化シーケンスは、{0,0,0,1,0,0,2,0,1,1,0,1,2,0,2,1,0,2,2,1,1,1,2,1,2,2,2,|0,0,0,1,0,0,2,0,1,1,0,1,2,0,2,1,0,2,2,1,1,1,2,1,2,2,2,|0,0,0,1,0,0,2,0,1,1,0,1,2,0,2,1,0,2,2,1,1,1,2,1,2,2,2}のように表すことができる。
その全長は3×27=81、すなわちml=81であり、以下の三次元測定システムの解像度要件を満たすことができる。
該カラーストライプコードは、1つのサイクル単位内の各コード化値が一意であるが、コード化シーケンス全体では複数のサイクルで繰り返される。その結果、より少ないストライプの色と、より小さな復号幅で、サイクルでコード化を繰り返すことにより、高解像度のコード化シーケンスを達成することができ、同時に、より少ないコード化の色と小さな復号幅で、カラーストライプコード化は高い解像度を持ち、復号エラー率が低く、それは、小型の測定対象物を速く、正確に、完全に測定できるようになる。
同じ発明概念に基づいて、本開示は、カラーストライプの復号方法をさらに提供する。上記のいずれかのカラー投影モジュールが測定対象物の表面に投影された後にカメラモジュールによって取得されたストライプパターンを復号する。上記サイクル繰り返しコード化方法で復号することにより、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
例示的に、図2は、本開示の実施例におけるカラーストライプの復号方法のフローチャートである。図2に示すとおり、該復号方法は、以下を含むことができる。
S301では、測定対象物の表面におけるストライプパターンを取得する。
例示的に、カメラモジュールによって測定対象物の表面画像を取得でき、該画像は、ストライプパターンを含む。
S302では、ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定する。
例示的に、該ステップは、ストライプ画像に対して画像解析を行い、ストライプの中心線を抽出し、ストライプの中心が位置するピクセル座標xを取得することを含み得る。
S303では、ピクセル座標および対応する色に基づいて、各ストライプの番号を決定する。
ここで、番号は、ストライプが位置するカラーストライプコード全体における相対位置を表す。
いくつかの実施例において、該ステップは、以下を含むことができる。
ステップ1:プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコード(すなわち、コードネーム)を決定する。
ここで、色は、カラーコードに対応するように構成され、各色に対して1つのカラーコードが予め設定され、すなわち、各色は1つのカラーコードに対応する。例えば、カラーコードは数字で表すことができ、赤は0、緑は1、青は2で表すことができ、または、カラーコードは文字などの形で表すことができ、ここでは限定しない。
このように、ピクセル座標およびそれに対応する色に基づいて対応するプリセットカラーコードを検索すると、各ストライプに対応するカラーコードを決定することができる。
ステップ2:i番目(iはl以下の正整数)のストライプの場合、各ストライプのカラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とする。
ここで、上記と併せて、n個の連続するストライプに対応するn個の連続するカラーコードを用いて、各ストライプを対応して区別し、n個の連続するカラーコードをi番目のストライプのコード値として用いることにより、復号を容易に達成することができる。
ステップ3:各ストライプのコード化値に基づいて、単一ベースコード化シーケンスにおける各ストライプの番号を決定する。
すなわち、各ストライプについて、該ストライプが位置するn個の連続するストライプカラーシーケンス(すなわちコードネーム)に基づいて、1つのベースコードシーケンスにおける該ストライプの番号が決定される。
これにより、各サイクルセル単位における各ストライプの番号を決定することができる。具体的には、現在のストライプが位置するn個の連続するストライプカラーシーケンスに基づいて、該ストライプに対応するコード値pを決定することにより、ベースコードシーケンスにおける該ストライプの番号Ipが得られ、このとき、コード値がpのストライプは合計m本存在する。
例示的に、図1に示すとおり、第1サイクルにおける第1ストライプの連続する3ビットの番号は{0,0,0}であり、該コードは、ストライプパターン全体で3つあり、すなわち、第1サイクルの1番目、第2サイクルの1番目、および第3サイクルの1番目である。
ステップ4:各サイクルのプリセットピクセル座標範囲を取得する。
該ステップでは、各サイクルのプリセットピクセル座標範囲は、後続のステップでストライプが位置するサイクルを決定するためのデータサポートを提供するように、投影モジュールとカメラモジュールのハードウェア構成に従って決定される。
ステップ5:プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定する。
これにより、各ストライプが位置するサイクルを決定することができる。
ここで、上記カメラモジュールによって取得されたカラーストライプは、被写界深度の制限を考慮するため、異なるサイクルでは、同じコード化値を有するストライプは、重複しない画像領域にのみ現れる。これに基づいて、各ストライプのピクセル座標xとコード化値pに従って、該ストライプが位置するサイクルmiを決定することができる。すなわち、三次元測定装置の構造によって被写界深度が決まり、測定対象物が三次元測定装置の被写界深度内にある場合、投影モジュールによって投影されたストライプパターンが測定対象物によって変調され、カメラモジュールによって取得され、ストライプパターン内の各サイクルのストライプは、カメラモジュールの対応する撮影領域でのみ撮影されるため、各サイクルのストライプが位置する撮像範囲が決定される。投影モジュールによって投影されるストライプパターンおよびカメラモジュールによって撮影されるストライプパターンのマッピング関係は、投影モジュールの被写界深度と倍率、カメラモジュールの被写界深度と倍率、投影モジュールの光軸およびカメラモジュールの光軸の角度によって決定される。
例えば、第1サイクルの1番目のストライプが現れる画像範囲はx1=[5,100]、第2サイクルの1番目のストライプが現れる画像範囲はx2=[275,370]、第3サイクルの1番目のストライプが現れる画像範囲はx3=[545,640]であり、これに基づいて、対応するストライプは、{0,0,0}としてコード化したストライプのピクセル座標xおよび上記ストライプが位置する範囲に応じて決定することができる。
ステップ6:単一ベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターン全体における該ストライプの番号が決定される。
前のステップに基づいて、各ストライプによって単一サイクル内の番号pおよびそれが位置するサイクルmiが計算され、これに基づいて、シーケンス全体における各ストライプの番号Iを計算でき、すなわち、I=Ip+mi×lである。
S304では、各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定する。
該ステップでは、三次元測定システムにおけるカメラモジュールの具現形態に基づいて、ストライプのコード化に従って双眼または単眼の再構成を行い、測定対象物の三次元点座標を得ることで、測定対象物の表面の三次元再構成を達成することができる。
いくつかの実施例において、該ステップにおける各ストライプの番号に基づく各ストライプに対する三次元再構成は、
番号に基づいて、対応する光平面を決定するステップと、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
番号に基づいて、対応する光平面を決定するステップと、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
具体的には、三次元測定システムのコンピュータ(データ記憶およびデータ処理システム)には、光学機械(すなわちカラー投影モジュール)およびカメラ(すなわちカメラモジュール)の内部と外部パラメータが事前に設定され、例えば光学機械およびカメラの内部と外部パラメータは、キャリブレーションによって決定することができる。
コンピュータには、カラーストライプパターンのコード化ルール、例えばR=0、G=1、B=2、かつ、連続する3ビットのコードが第1ビット(または第2ビット、または第3ビット)のコード化値に対応するストライプの番号として事前に設定される。
コンピュータには、カラーストライプパターンの各ストライプに対応する光平面番号が事前に設定され、例えば、1番目のストライプに対応する光平面番号は(0,0,0)、2番目のストライプに対応する光平面番号は(0,0,1)であり、例示的に、各ストライプに対応する光平面番号はキャリブレーションによって決定することができる。
コンピュータには、ストライプサイクルの範囲が事前に設定され、すなわちピクセル座標の範囲が事前に設定され、三次元空間X、Y、Zの範囲を含む。
これに基づいて、光学機械が測定対象物の表面にカラーストライプパターンを投影し、カメラが測定対象物の表面で変調されたストライプ画像を取得してコンピュータに送信し、コンピュータが取得したストライプ画像に基づいて各ストライプの中心線を抽出し、かつ、各ストライプの中心線に基づいてピクセル座標およびピクセル座標に対応するRGB値を決定し、ピクセル座標とそのRGB値、コンピュータに事前に設定されたコード化ルール(R=0、G=1、B=2)に基づいて対応するコード化値を決定し、「連続する3ビットのコード化値を第1ビット(または第2ビット、または第3ビット)に対応するストライプの番号とする」というコード化ルールに基づいて各ストライプの番号を決定する。
次に、単眼システムの場合、ストライプの番号に基づいて対応する光平面を決定し、光平面方程式、ターゲットストライプの中心座標、およびカメラの内部と外部パラメータに従って三次元点座標を再構築する。双眼システムの場合、光平面はキャリブレーションされないが、左右の画像における各ストライプの番号に基づいて対応するストライプを決定し、対応するストライプおよびカメラの内部と外部パラメータに基づいて三次元点座標を再構成し、このようにして、測定対象物の三次元点座標を決定することができる。
いくつかの実施例において、図2に基づいて、該復号方法は、サイクルエラーの復号を識別し修正するステップをさらに含み、具体的には、以下のステップを含み得る。
ステップ1:三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを判断する。
ステップ1:三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを判断する。
ステップ2:復号がずれている場合、対応する三次元点座標を修正し更新する。
該ステップ1およびステップ2は、ストライクエラーおよびサイクルエラーのうちの少なくとも一方の復号を識別して補正する。
例示的に、上記と組み合わせて、カラーストライプコード化方法では、奇数サイクルと偶数サイクルの奇数ストライプに対してオフセット動作を行い、奇数サイクルのストライプが間違って偶数サイクルに復号される場合、対応する奇数ストライプの間に非常に大きな深度差が発生する。これに基づいて、特定の深度差閾値を通じて、現在のストライプの復号サイクルがずれているか否かを判断することができ、サイクルが間違っている場合、サイクル数を隣接するサイクルに向けて調整することにより、サイクル数に対する補正を達成し、復号精度を向上させる。
ここで、深度差閾値の大きさは、被写界深度およびサイクル数に基づいて設定されてもよく、本開示の実施例では、その具体的な値を限定しない。
例示的に、サイクルずれが発生し、更新された三次元点座標を修正するために正しいサイクルを再マッチングする(すなわち、サイクルを補正する)必要がある場合、複数(少なくともn本)の連続するストライプが誤って復号されるケース1と、隣接するサイクルのストライプ番号に誤って復号されるケース2と、を含み得る。
また、1本または2本のストライプが誤って復号された場合、識別が容易であるため削除することができ、その後の補正を必要とせず、すなわち、三次元点座標は、対応する誤った点を削除して更新する。
サイクルに対する補正が必要な場合、本開示の実施例による復号方法において、以下の2つのステップで認識することができる。
ステップ1:復号がずれている場合、ストライプの深さがジャンプし、場合によっては、ずれたストライプの深さがカメラの(事前にキャリブレーションされた)被写界深度を超え、そのように識別または削除され、すなわち、被写界深度を超える三次元点座標を識別した場合、対応する三次元点座標を削除する。
ステップ2:該ストライプの深さが被写界深度を超えない場合、隣接するサイクルのストライプに対して異なる方向にオフセットされるため、隣接するサイクルのストライプ間の間隔に差が生じる。これに基づいて、ストライプの復号がずれている場合、連続するn本のストライプ間の深さが波打つように見える。例えば、第1サイクルのストライプ1、2、3が復号ミスで第2サイクルの1、2、3と誤認された場合、第1、第3ストライプの対応する再構成された三次元点座標は、周囲の隣接する座標に対して大きなジャンプを生じ、これら3つのストライプに対応する深さが「V」字型になることにより識別され、すなわち三次元点の波紋状分布が識別されれば、対応するストライプにサイクルずれが生じていると識別することができる。
さらに、ストライプにサイクルずれが識別された場合、そのサイクルを修正する(すなわち、補正する)。修正ステップは、以下のステップを含み得る。
サイクルがずれたストライプの深さを再計算し、隣接するサイクルの光平面を用いて複数の深さの場合を計算し(例えば、第2サイクルの1番目のストライプが誤って復号された場合、第1サイクルの1番目の光平面と第3サイクルの1番目の光平面を用いてその深さを計算する)、波紋状が最も小さなサイクルを該ストライプの正しいサイクルとする。
このようにして、ストライプのサイクルエラーを識別および修正し、復号精度を向上させ、三次元点座標を修正して更新する。
いくつかの実施例において、上記コード化方法に対する復号方法は、ストライプパターンに基づいてストライプの中心線を抽出し、ストライプの中心が位置するピクセル座標xを取得する。その後、各ストライプのコード化値を決定し、すなわち、現在のストライプが位置するn個の連続するストライプカラーシーケンスに基づいて、該ストライプに対応するコード値pを決定することにより、ベースコードシーケンスにおける該ストライプの番号Ipが得られ、このとき、コード値がpのストライプは合計m本存在する。次に、各ストライプが位置するサイクルを決定する。ここで、カラーストライプコード化が生成される場合、被写界深度の制限を考慮して、異なるサイクルでは、同じコード化値を持つストライプは、非重複画像領域にのみ現れ、これに基づいて、各ストライプのピクセル座標xおよび番号Ipに基づいて該ストライプが位置するサイクルmiを決定することができる。続いて、各ストライプによって計算されたコード化値p、番号Ip、およびそれが位置するサイクルmiに基づいて、シーケンス全体における各ストライプの番号I=Ip+mi×lを算出する。次に、ストライプのコード化に従って双眼または単眼の再構成を行い、各ストライプの三次元点座標を取得し、これにより測定対象物の表面に対する三次元再構成が達成される。好ましくは、該復号方法はまた、間違ったサイクルの復号を識別し、すなわち、隣接するサイクルのストライプに対する上記差分設計に基づいて、奇数サイクルのストライプが偶数サイクルに誤って復号される場合、対応する奇数ストライプの間に非常に大きな深度差が生じるため、特定の深度差閾値によって、現在のストライプの復号サイクルがずれているか否かを判断でき、そして被写界深度と組み合わせてサイクルを補正する。上記サイクル繰り返しコード化方法で復号することにより、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
上述実施例に基づいて、本開示の実施例はまた、上記復号方法のいずれかを実行するように構成されたカラーストライプの復号装置を提供する。したがって、該復号装置も、上記いずれかの復号方法の有益な効果を有する。同じことは、上記を参照して理解することができ、ここでは説明を省略する。
例示的に、図3は、本開示の実施例におけるカラーストライプの復号装置の構造概略図である。図3に示すとおり、該復号装置は、測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュール501と、ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュール502と、ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュール503と、各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュール504と、を備える。
これにより、カラーストライプの復号装置は、上記サイクル繰り返しを用いたカラーストライプパターンに対して復号することができ、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
いくつかの実施例において、番号決定モジュール503は、
プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定し、i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とし、各ストライプのコード化値に基づいて、単一のベースコード化シーケンスにおける各ストライプの番号を決定し、各サイクルのプリセットピクセル座標範囲を取得し、プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、単一のベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定し、i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とし、各ストライプのコード化値に基づいて、単一のベースコード化シーケンスにおける各ストライプの番号を決定し、各サイクルのプリセットピクセル座標範囲を取得し、プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、単一のベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
このようにして、ストライプパターンにおける各ストライプが1つのサイクル単位での番号およびそれが位置するサイクル数を決定することができるため、カラーストライプコード全体におけるその番号を決定することができる。
いくつかの実施例において、三次元点座標決定モジュール504は、
番号に基づいて、対応する光平面を決定し、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
番号に基づいて、対応する光平面を決定し、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
このように、単眼システムまたは双眼システムに基づいて、測定対象物に対する三次元再構成を達成することができる。
いくつかの実施例において、該復号装置は、三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
このように、三次元点の連続性を判断することで、現在のストライプの復号サイクルがずれているか否かを判断でき、サイクルずれが生じた場合、隣接するサイクルに向けてサイクルを調整することで、サイクル数を補正し、復号精度を向上させる。
上記実施形態に基づいて、本開示の実施例はまた、上記いずれかの復号方法を実施するように設定できる電子デバイス(すなわち、復号デバイス)を提供する。
例示的に、図4は、本開示の実施例における電子デバイスの構造概略図である。図4に示すとおり、該電子デバイス70は、プロセッサ701と、コンピュータプログラム命令(すな実行可能命令)を記憶するように構成されるメモリ702と、を備え、前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される。
具体的には、上記プロセッサ701は、中央処理装置(CPU)、または特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)を含むことができ、または、本願の実施例の1つまたは複数の集積回路を実装するよう構成されてもよい。
メモリ702は、情報または命令として構成された大容量メモリを含み得る。例として、限定ではなく、メモリ702は、ハードディスクドライブ(Hard Disk Drive,HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープまたはユニバーサルシリアルバス(Universal Serial Bus,USB)ドライブまたはこれらの2以上の組合せを含み得る。適切な場合、メモリ702は、取り外し可能または取り外し不可能な(または固定された)メディアを含み得る。適切な場合、メモリ702は、統合ゲートウェイ装置の内部または外部であってもよい。特定の実施例において、メモリ702は不揮発性ソリッドステートメモリである。特定の実施例において、メモリ702は、読み取り専用メモリ(Read-Only Memory,ROM)を含む。適切な場合、該ROMは、マスクプログラマブルROM、プログラマブルROM(Programmable ROM,PROM)、消去可能PROM(Electrical Programmable ROM,EPROM)、電気的消去可能PROM(Electrically Erasable Programmable ROM,EEPROM)、電気的書き換え可能ROM(Electrically Alterable ROM,EAROM)またはフラッシュメモリ、またはこれらの2つ以上の組合せであってよい。
プロセッサ701は、メモリ702に記憶されたコンピュータプログラム命令を読み出して実行することによって、本開示の実施例による復号方法のステップを実行する。
一例では、該電子デバイス70は、トランシーバ703およびバス704をさらに備えることができる。ここで、図4に示すとおり、プロセッサ701、メモリ702およびトランシーバ703は、バス704を介して接続されて通信する。
バス704は、ハードウェア、ソフトウェア、またはその両方を含む。例として、限定ではなく、バスは、加速グラフィックスポート(Accelerated Graphics Port,AGP)または他のグラフィックスバス、強化された業界標準アーキテクチャ(Extended Industry Standard Architecture,EISA)バス、フロントサイドバス(Front Side BUS,FSB)、ハイパートランスポート(Hyper Transport,HT)インターコネクト、業界標準アーキテクチャ(Industrial Standard Architecture,ISA)バス、無制限帯域幅インターコネクト、ローピンカウント(Low Pin Count,LPN)インターコネクト、メモリバス、マイクロチャネルアーキテクチャ(Micro Channel Architecture,MCA)バス、ペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnect,PCI)バス、PCI-Express(PCI-X)バス、シリアルアドバンスドテクノロジーアタッチメント(Serial Advanced Technology Attachment,SATA)バス、ビデオエレクトロニクススタンダーズアソシエーションローカル(Video Electronics Standards Association Local Bus,VLB)バス、またはその他の適切なバス、またはこれらの2つ以上の組合せを含む。適切な場合、バス704は、1つまたは複数のバスを含み得る。本願の実施例では特定のバスが説明および図示されるが、本願は任意の適切なバスまたはインターコネクトを企図する。
上記の実施形態に基づいて、本開示の実施例は、プロセッサによって実行されると、プロセッサに上記いずれかの復号方法を実行させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。
例示的に、図4に示すとおり、命令を含む記憶媒体であって、例えば命令を含むメモリ302であって、上記命令はプロセッサ301によって実行され、本開示の実施例による復号方法を完了することができる。
好ましくは、記憶媒体は、非一時的なコンピュータ可読記憶媒体であってもよく、例えば、非一時的なコンピュータ可読記憶媒体は、ROM、ランダムアクセスメモリ(Random Access Memory,RAM)、コンパクトディスク読み取り専用メモリ(Compact Disc ROM,CD-ROM)、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
上記実施形態に基づいて、本開示の実施例は、上記いずれのカラー投影モジュールおよび復号方法を採用して測定対象物に対する三次元測定を達成できるカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。したがって、上記実施例のいずれかの有益な効果も有し、上記を参照すれば理解できるため、ここでは説明を省略する。
例示的に、図5は、本開示の実施例における三次元測定システムの構造概略図であり、図6は、本開示の実施例における別の三次元測定システムの構造概略図である。図5および図6に示すとおり、該システムは、プリセット角度をなすカラー投影モジュール601、およびカメラモジュール602を備え、カラー投影モジュール601は、上記カラー投影モジュールのいずれかを用いて、測定対象物600の表面にカラーストライプパターンを投影するように構成され、カメラモジュール602は、測定対象物600の表面によって変調されたストライプパターンを取得するように構成され、ストライプパターンでは、各サイクル間にストライプの重複領域が現れない。
ここで、上記カメラモジュールによって取得されたカラーストライプは、被写界深度の制限を考慮するため、異なるサイクルでは、同じコード化値を有するストライプは、重複しない画像領域にのみ現れる。これに基づいて、各ストライプのピクセル座標xとコード化値pに従って、該ストライプが位置するサイクルmiを決定することができる。すなわち、三次元測定装置の構造によって被写界深度が決まり、測定対象物が三次元測定装置の被写界深度内にある場合、投影モジュールによって投影されたストライプパターンが測定対象物によって変調され、カメラモジュールによって撮影され、ストライプパターン内の各サイクルのストライプは、カメラモジュールの対応する撮影領域でのみ撮影されるため、各サイクルのストライプが位置する撮像範囲が決定される。投影モジュールによって投影されるストライプパターンおよびカメラモジュールによって撮影されるストライプパターンのマッピング関係は、投影モジュールの被写界深度と倍率、カメラモジュールの被写界深度と倍率、投影モジュールの光軸およびカメラモジュールの光軸の角度によって決定される。以下、図7に示すとおり、プリセット角度(投影モジュールの光軸とカメラモジュールの光軸との間の角度)と被写界深度およびサイクル数との関係を例示的に説明する。例示的に、図7は、本開示の実施例における三次元測定システムのパラメータ関連付けの関係を示す原理図である。図7に示すとおり、6021はカメラレンズを表し、カラー投影モジュール601とカメラモジュール602との間のプリセット角度はαであり、△L1および△L2はそれぞれ前景深度と背景深度を表し、その和が被写界深度であり、該被写界深度に対応するカメラ画像上の固定投影光の移動範囲を(a+b)/v、すなわち単一サイクル範囲(a+b)/v=(△L1+△L2)×tanα÷vとなり、該単一サイクル範囲では、各サイクル間のストライプが重ならないように、多くとも1つのサイクル単位が設定される。ここで、vはスケールファクターを表し、一般的にはカメラ倍率であり、システム構造に基づいて設定できるが、ここで限定されない。
例示的に、カラー投影モジュール601とカメラモジュール602は、両者が同一の口腔内スキャナーに設けられる場合のように、同一のスキャナーに統合することができ、または、両者を別々に設けてもよく、本開示の実施例では限定しない。
例示的に、コード化方法は、カラー投影モジュール601でローカルに実行されてもよく、またはリモートサーバで実行されてもよく、復号方法は、カメラモジュール602でローカルに実行されてもよく、または電子デバイス(例えば、コンピュータ)で実行されてもよく、またはリモートサーバで実行されてもよく、本開示の実施例では限定しない。
いくつかの実施例において、該システムは、データ処理モジュールは、ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに含むことができ、これにより測定対象物に対する走査プロセスが達成される。ここで、データ処理モジュールは、上記いずれかの復号装置における各機能モジュールなど、電子デバイスに組み込まれた機能モジュールであってもよい。
いくつかの実施例において、カラー投影モジュール601は、デジタル光処理(Digital Light Processing,DLP)、液晶オンシリコン(Liquid Crystal on Silicon,LCOS)または透過投影などの手段によって実装される。
ここで、DLP技術は、偏光を必要とせず、光の利用効率が高く、また、ピクセルピッチが小さいため、ほぼシームレスなカラーストライプコード化画像が得られ、ストライプがより細かくなる。LCOS技術は、単結晶シリコンにより実現され、より細かいラインが可能となるため、高解像度の投影構造が達成しやすく、製品構造がシンプルである。透過投影技術は、透視投影技術とも呼ばれ、プリセット光が光透過部に設けられたカラーストライプパターンに対応するプリセットパターンを通過した後、カラーストライプの形態で測定対象物600の表面に投影されるターゲット光を生成するため、光コード化方法はシンプルである。
他の実施形態では、カラー投影モジュール601が上記コード化方法を実施できるように、当業者に知られている他の手段を使用することができ、本開示の実施例では限定しない。
いくつかの実施例において、カメラモジュール602は、1つのカラー画像センサーを備えるか、または、分光システムおよび少なくとも2つの画像取得センサーを備える。
例示的に、図5に示すとおり、該カメラモジュール602は、1つのカラー画像センサー620を備え、すなわち、カメラモジュール602は、カラーカメラを採用することができる。該カラーカメラは、カラーストライプパターンとテクスチャマップを直接的に取得し、上記復号方法を用いて復号することができる。
例示的に、図6に示すとおり、該カメラモジュール602は、分光システム622、および少なくとも2つ(図6では2つが示される)の画像取得センサー(またはカメラ)621を備え、例示的に、分光システム622は、分光ミラーを備えることができ、分光ミラーを用いて異なるスペクトル色を分離でき、複数のカメラで取得でき、それぞれのカメラは1つまたは複数の色を取得する。
例示的に、上記3つのカラーコード化方法に対応して、カメラモジュール602の1つの実装形態は、3つの画像取得センサーを設け、そのすべてが白黒画像取得センサーを採用し、それぞれ1つの色を取得すること、または2つの白黒画像取得センサー(すなわち白黒カメラ)および1つのカラー画像取得センサー(すなわちカラーカメラ)を設け、2つの白黒カメラがそれぞれ青色光と緑色光などの3色のうちの2色を取得し、カラーカメラが赤色光と3チャンネルテクスチャパターンなどの3番目の色を取得することである。
他の実施形態では、カメラモジュール602はまた他の方法で実施でき、本開示の実施例では限定しない。
上記に基づいて、該カラーストライプコード化構造光に基づく三次元測定システムは主に、1つのカラー投影モジュール601および1つのカメラモジュール602からなり、カラー投影モジュール601とカメラモジュール602は一定の角度を形成し、カラー投影モジュール601はカラーコード化ストライプパターンを投影するように構成され、カメラモジュール602は測定対象物600の表面により変調されたストライプパターンを取得するように構成される。ここで、カラー投影モジュール601は、DLP、LCOSまたは透過投影などの手段を含むが、これらに限定されない。カメラモジュール602は、1つのカラー画像センサー、2つの画像センサーと分光システム、3つの画像センサーと分光システムなどを含むが、これらに限定されない。
したがって、上記三次元測定システムの構造設計、コード化方法、復号方法に基づいて、シンプルで効率的、安定した低コストなカラーストライプコード化構造光三次元測定方法を達成し、小型で複雑な物体を高速かつ高精度に測定するように設定することができる。具体的には、本開示の実施例は、周期的に繰り返されるカラーストライプコード化構造光技術を使用することにより、使用されるストライプカラーの数を大幅に低減し、これにより、スペクトルの数を低減し、カラーストライプ投影構造を簡素化し、ハードウェアコストを低減させ、また、復号のために設定されるストライプの数を減らし、復号の安定性と効率を向上させ、可解性が高く、エラー率が低く、少ない数のストライプ色およびより小さな復号幅に基づいて、周期的繰り返しコード化を用いることによって、高い分解能が達成され、三次元測定システムの構造がよりシンプルになり、そして走査効率が高くなる。
なお、本明細書において、「第1」と「第2」などの関係用語は、あるエンティティまたは動作を他のエンティティまたは動作から区別するためにのみ使用され、これらのエンティティまたは動作の間に必ずしもそのような実際の関係または順序を必要として示唆するものではない。また、「備える」、「含む」またはその他の変形という用語は、様々な要素を含むプロセス、方法、物品または装置が、それらの要素だけでなく、明示的にリストされていない他の要素、またはそのようなプロセス、方法、物品またはデバイスに固有の要素も含むように、非排他的に含めることを意図する。さらなる制限なしに、「1つの......を含む」という記述によって定義される要素は、前記要素を含むプロセス、方法、物品またはデバイスにおける追加の同一要素の存在を排除するものではない。
以上は、当業者が本開示を理解または実施できるようにするための本開示の具体的な実施形態に過ぎない。これらの実施例に対する様々な変更が当業者には明らかであり、本開示の精神または範囲から逸脱することなく、本明細書に定義された一般原理を他の実施例において実施することができる。したがって、本開示は、本明細書に示されるこれらの実施例に限定されるものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲が与えられるべきである。
本開示は、周期的に繰り返されるカラーストライプを用いてストライプのコード化および復号を達成し、これによりストライプの色の数および復号に必要なストライプの数を低減し、復号安定性の向上、構造の簡素化、走査効率の向上に役立ち、産業上の利用可能性が高い。
上記課題を解決するために、本開示の実施例は、単一画像でのコード化が周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提案し、ストライプの色の数および復号幅を大幅に低減させ、走査効率を向上させるカラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるm個(mは正整数)のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、k種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数であるカラー投影モジュールを提供する。
前記ベースストライプシーケンスは、コード化シーケンスで表すものとして、ベースコード化シーケンスとも称する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるm個(mは正整数)のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、k種類の異なる色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数であるカラー投影モジュールを提供する。
前記ベースストライプシーケンスは、コード化シーケンスで表すものとして、ベースコード化シーケンスとも称する。
メモリ702は、情報または命令として構成された大容量メモリを含み得る。例として、限定ではなく、メモリ702は、ハードディスクドライブ(Hard Disk Drive,HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープまたはユニバーサルシリアルバス(Universal Serial Bus,USB)ドライブまたはこれらの2以上の組合せを含み得る。適切な場合、メモリ702は、取り外し可能または取り外し不可能な(または固定された)メディアを含み得る。適切な場合、メモリ702は、統合ゲートウェイ装置の内部または外部であってもよい。特定の実施例において、メモリ702は不揮発性ソリッドステートメモリである。特定の実施例において、メモリ702は、読み取り専用メモリ(Read-Only Memory,ROM)を含む。適切な場合、該ROMは、マスクプログラマブルROM、プログラマブルROM(Programmable ROM,PROM)、消去可能PROM(Erasable Programmable ROM,EPROM)、電気的消去可能PROM(Electrically Erasable Programmable ROM,EEPROM)、電気的書き換え可能ROM(Electrically Alterable ROM,EAROM)またはフラッシュメモリ、またはこれらの2つ以上の組合せであってよい。
Claims (18)
- 測定対象物の表面にカラーストライプパターンを投影するように構成される投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるm個(mは正整数)のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、k種類の色のストライプを含み、かつ、任意の連続するn個のストライプからなるnビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数lは、l≦l0、l0=knを満たし、kおよびnはいずれも2以上の正整数である、投影モジュール。 - 前記ベースストライプシーケンスは、デブルーインシーケンスに基づいて配列される、請求項1に記載のカラー投影モジュール。
- 2つの隣接する前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項1に記載のカラー投影モジュール。
- 同一の前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項1に記載のカラー投影モジュール。
- kの値が3とされ、またはnの値が3とされ、またはkの値およびnの値がいずれも3とされる、請求項1に記載のカラー投影モジュール。
- 3つの互いに異なる色は、それぞれ赤、緑および青である、請求項5に記載のカラー投影モジュール。
- 請求項1~6のいずれか1項に記載のカラー投影モジュールによって測定対象物の表面に投影された後にカメラモジュールによって撮影されたストライプパターンを復号するカラーストライプの復号方法であって、
測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む、復号方法。 - 前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップは、
プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む、請求項7に記載の復号方法。 - 前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、
復号がずれている場合に、対応する三次元点座標を修正して更新するステップと、をさらに含む、請求項8に記載の復号方法。 - 各ストライプの番号に基づいて各ストライプを三次元的に再構成する前記ステップは、
前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む、請求項7に記載の復号方法。 - 請求項7~10のいずれか1項に記載の復号方法を実行するように構成されるカラーストライプの復号装置であって、
測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
前記各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える、復号装置。 - 前記番号決定モジュールは、
プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
i番目(iはl以下の正整数)のストライプの場合、各ストライプの前記カラーコードに基づいて、i番目のストライプが位置するn個の連続するストライプに対応するn個の連続するカラーコードを決定し、それをi番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される、請求項11に記載の復号装置。 - プロセッサによって実行されると、プロセッサに請求項7~10のいずれか1項に記載の復号方法を実施させるコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。
- 電子デバイスであって、
プロセッサと、
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して請求項7~10のいずれか1項に記載の復号方法を実行するように構成される電子デバイス。 - プリセット角度をなすカラー投影モジュールおよびカメラモジュールを備える、カラーストライプコード化構造光に基づく三次元測定システムであって、
前記カラー投影モジュールは、請求項1~6のいずれか1項に記載のカラー投影モジュールを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、
前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れない、カラーストライプコード化構造光に基づく三次元測定システム。 - 前記カラー投影モジュールおよび前記カメラモジュールは、同一の口腔内スキャナー内に配置される、請求項15に記載のシステム。
- 前記ストライプパターンを受信し、請求項7~10のいずれか1項に記載の復号方法を実行するように構成されるデータ処理モジュールをさらに備える、請求項15に記載のシステム。
- 前記カラー投影モジュールは、DLP、LCOSまたは透過投影などの手段によって実現され、
前記カメラモジュールは、
1つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも2つの画像取得センサーを備える、請求項15に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011626487.6A CN114688994B (zh) | 2020-12-31 | 2020-12-31 | 彩色投影模块、条纹解码方法、装置、介质、设备和系统 |
CN202011626487.6 | 2020-12-31 | ||
PCT/CN2021/139304 WO2022143232A1 (zh) | 2020-12-31 | 2021-12-17 | 彩色投影模块、条纹解码方法、装置、介质、设备和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024502064A true JP2024502064A (ja) | 2024-01-17 |
Family
ID=82135311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023540478A Pending JP2024502064A (ja) | 2020-12-31 | 2021-12-17 | 投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240062397A1 (ja) |
EP (1) | EP4273498A4 (ja) |
JP (1) | JP2024502064A (ja) |
KR (1) | KR20230128340A (ja) |
CN (2) | CN114688994B (ja) |
WO (1) | WO2022143232A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115512083B (zh) * | 2022-09-20 | 2023-04-11 | 广西壮族自治区地图院 | 一种多倾斜角度数控沙盘自适应投影方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2306515A1 (en) * | 2000-04-25 | 2001-10-25 | Inspeck Inc. | Internet stereo vision, 3d digitizing, and motion capture camera |
WO2001084479A1 (en) * | 2000-04-28 | 2001-11-08 | Orametirix, Inc. | Method and system for scanning a surface and generating a three-dimensional object |
CA2528791A1 (en) * | 2005-12-01 | 2007-06-01 | Peirong Jia | Full-field three-dimensional measurement method |
US7474415B2 (en) * | 2006-09-13 | 2009-01-06 | Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. | Measurement method of three-dimensional profiles and reconstruction system thereof using subpixel localization with color gratings and picture-in-picture switching on single display |
CN101441066B (zh) * | 2008-12-23 | 2010-07-21 | 西安交通大学 | 彩色条纹编码的相位去包裹方法 |
CN101509764A (zh) * | 2009-02-27 | 2009-08-19 | 东南大学 | 一种快速获取物体三维形状的方法 |
CN101526340B (zh) * | 2009-03-20 | 2010-09-01 | 东南大学 | 基于格雷编码原理的光栅条纹图像的条纹彩色编码方法 |
US8908958B2 (en) * | 2009-09-03 | 2014-12-09 | Ron Kimmel | Devices and methods of generating three dimensional (3D) colored models |
DE112011102991B4 (de) * | 2010-09-08 | 2016-09-22 | Canon Kabushiki Kaisha | Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters |
CN102519394B (zh) * | 2011-11-18 | 2014-04-16 | 东南大学 | 一种高适应性彩色结构光三维测量方法 |
CN108592822B (zh) * | 2017-12-04 | 2020-01-07 | 湖南大学 | 一种基于双目相机及结构光编解码的测量系统及方法 |
CN108592823B (zh) * | 2017-12-04 | 2020-01-07 | 湖南大学 | 一种基于双目视觉彩色条纹编码的解码方法 |
-
2020
- 2020-12-31 CN CN202011626487.6A patent/CN114688994B/zh active Active
- 2020-12-31 CN CN202310412276.XA patent/CN116379964A/zh active Pending
-
2021
- 2021-12-17 JP JP2023540478A patent/JP2024502064A/ja active Pending
- 2021-12-17 KR KR1020237026222A patent/KR20230128340A/ko active Search and Examination
- 2021-12-17 US US18/270,501 patent/US20240062397A1/en active Pending
- 2021-12-17 EP EP21913973.0A patent/EP4273498A4/en active Pending
- 2021-12-17 WO PCT/CN2021/139304 patent/WO2022143232A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20240062397A1 (en) | 2024-02-22 |
CN114688994A (zh) | 2022-07-01 |
CN116379964A (zh) | 2023-07-04 |
WO2022143232A1 (zh) | 2022-07-07 |
EP4273498A1 (en) | 2023-11-08 |
CN114688994B (zh) | 2023-03-14 |
KR20230128340A (ko) | 2023-09-04 |
EP4273498A4 (en) | 2024-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103069250B (zh) | 三维测量设备、三维测量方法 | |
CN110686599B (zh) | 基于彩色格雷码结构光的三维测量方法、系统、装置 | |
US9030470B2 (en) | Method and system for rapid three-dimensional shape measurement | |
US9007602B2 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program | |
JP2012013453A (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
JP6170281B2 (ja) | 三次元計測装置、三次元計測装置の制御方法、およびプログラム | |
JP5611022B2 (ja) | 三次元計測装置及び三次元計測方法 | |
US11073689B2 (en) | Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space | |
JP2024502064A (ja) | 投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム | |
CN104634323A (zh) | 一种多级摄像三维照相系统及方法 | |
CN104200456A (zh) | 一种用于线结构光三维测量的解码方法 | |
CN110141800B (zh) | 一种加速器光距尺设备、标定方法及光距尺生成方法 | |
JPH03293507A (ja) | 3次元形状測定装置 | |
CN114993207B (zh) | 基于双目测量系统的三维重建方法 | |
JP2006010613A (ja) | 画像の歪み補正方法 | |
CN114693807A (zh) | 一种输电线路图像与点云的映射数据重构方法及系统 | |
CN212843399U (zh) | 一种便携的三维测量设备 | |
CN110796708A (zh) | 基于Gold矩阵投影的投影仪的标定方法 | |
CN116558445B (zh) | 一种条纹投影的相位解码方法、计算机可读存储介质 | |
CN112887700A (zh) | 单元透镜和透镜阵列的横向位置误差二维度量方法 | |
JP2014194436A (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
JP7448824B2 (ja) | 三次元計測システムおよび三次元計測方法 | |
CN113916153B (zh) | 一种主被动结合的结构光三维测量方法 | |
CN117557485A (zh) | 彩色图像获取方法、系统、设备、介质及口内扫描装置 | |
CN115937418A (zh) | 结构光编码方法、三维重建方法、口腔扫描仪及重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |