JP2023520902A - 走査システム及びその較正 - Google Patents
走査システム及びその較正 Download PDFInfo
- Publication number
- JP2023520902A JP2023520902A JP2022560951A JP2022560951A JP2023520902A JP 2023520902 A JP2023520902 A JP 2023520902A JP 2022560951 A JP2022560951 A JP 2022560951A JP 2022560951 A JP2022560951 A JP 2022560951A JP 2023520902 A JP2023520902 A JP 2023520902A
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- uncalibrated
- calibration
- calibration object
- calibrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
3次元較正オブジェクトの3次元表現の生成に基づいて、較正された走査システムに修正される未較正走査システムが開示される。
Description
本開示は、走査システムに関する。より具体的には、本開示の走査システムは、較正された走査システムに修正される。
スキャニングの分野では、スキャニングシステムの較正がよく知られており、スキャニングでは、通常、イメージカメラ等のカメラを使って、2D画像を取得する。
さらに、カメラの較正は、2D画像から計量情報を抽出するために、3Dコンピュータビジョンでは、必要な工程である。
較正の分野では、これまでにもいくつかの書籍や学術論文が出版されており、例えば、Gerard MedioniとSing Bing Kangが編集した「Emerging Topics in Computer Vision」(2003年出版)は、そのうちの第2章がカメラの較正に特化している。この章は、較正の分野で知られており、IEEE Transactions on Pattern Analysis and Machine Intelligence,2000年12月,Vol 22:pp.1330-1334の「A Flexible New Technique for Camera Calibration」に関する論文で知られているZhengyou Zhangによって執筆されている。そこに開示されたカメラの較正のための技術は、Zhang法として知られ、走査システムの較正に広く使用されてきた。Zhangの論文の要旨は、以下のように、非常によくその技術を開示している。
「カメラを簡単に較正する柔軟な新手法を提案する。この手法は、3D幾何学やコンピュータビジョンの専門的な知識がなくても利用するのに適している。この手法では、いくつかの(少なくとも2つの)異なる方向で示された平面パターンをカメラで観察するだけでよい。カメラと平面パターンのどちらかを自由に動かすことができる。動きは既知である必要はない。レンズの放射状歪みはモデル化される。提案する手法は、閉じた形式の解と、それに続く最尤法に基づく非線形の精緻化からなる。コンピュータシミュレーションと実データの両方を用いて提案手法をテストし、非常に良い結果を得た。直交する2面や3面のような高価な装置を用いる従来の手法に比べ、提案手法は使いやすく、柔軟性に富んでいる。これにより、3Dコンピュータビジョンを実験室環境から実世界での使用へと一歩前進させることができる。」
このように、Zhang氏の方法がカメラの較正に多用されている理由は、移動させるのは平面パターンだけでよく、特に、直交する2面や3面のような、3Dのオブジェクトを使う必要がないため、簡単に実行できることにある。さらに重要なことは、先ほど述べたように、動きを知る必要がないことである。このため、Zhangの方法は、Tsaiの方法として知られる別の方法を改善したものでもある。Tsaiは、IEEE Journal of Robotics and Automation,3(4):323-344,1987年8月の論文「A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf tv cameras and lenses」において、Tsai法として知られる別の方法を改善したものである。
Tsaiの方法は、文献で最も参照されている較正方法の一つであり、現在も利用されている。また、おそらく、カメラモデルのパラメータに歪みを含めた最初の方法であり、単一の係数によってモデル化された放射状歪みを考慮している。Tsaiの方法では、チェッカーパターンを持つ1つの平面を使用するが、Zhangの方法とは異なり、平面は既知の動きで、少なくとも1回は変位させる必要がある。
上記から既に推察されるように、較正には、2Dオブジェクトに基づくものと、3Dオブジェクトに基づくものがある。著書「Emerging Topics in Computer Vision」の第2章では、3Dリファレンスオブジェクト、2D平面、1D直線を用いた較正手法、およびセルフ較正技術について述べられている。3Dリファレンスの使用については、3D空間の形状が非常に正確に分かっている較正オブジェクトを観察することによって、カメラの較正を実行することを説明している。
実際のところ、カメラの較正には、2Dリファレンスではなく、3Dリファレンスを用いるのが従来の方法であり、あるいは、そうであった。例えば、Zhangが「Emerging Topics in Computer Vision」の第2章で紹介しているように、直交する2つの平面からなる3Dリファレンスにチェッカーパターンを印刷し、3D座標系(この座標系でチェッカーコーナーの座標が非常に正確に分かる)を添付すると、4つの較正ステップで較正することができる。
この典型的な較正ステップは、以下の4つである。
(a)各画像のチェッカーパターンのコーナーを検出する。
(b)線形最小二乗法を用いて、カメラ投影行列Pを推定する。
(c)Pから内因性および外因性パラメータA、R、tを復元する。
(d)非線形最適化によりA、R、およびtを精緻化する。
(a)各画像のチェッカーパターンのコーナーを検出する。
(b)線形最小二乗法を用いて、カメラ投影行列Pを推定する。
(c)Pから内因性および外因性パラメータA、R、tを復元する。
(d)非線形最適化によりA、R、およびtを精緻化する。
内因性パラメータ(外因性パラメータと呼ばれることもある)は、カメラの方向(回転)と位置(移動)、すなわち(R,t)であり、ワールド座標系をカメラ座標系に関連付ける。
外因性パラメータ(内因性パラメータと呼ばれることもある)は、カメラの特性で、A(行列)から、典型的には(α,β,γ,u0,v0)の要素を持ち、(u0,v0)は主点の座標であり、αおよびβは画像のu軸およびv軸のスケール係数、γは2つの画像軸の傾きを表すパラメータである。
Zhangによって指摘されているように、4つの較正ステップ(a~d)に関連して、最初に非線形最適化によってPを精緻化し、精緻化したPからA、R、tを求めることも可能である。さらに、画像内で直接作業することによって、コーナー検出を回避できることも知られている。例えば、画像中の特徴検出はオプションである。
較正については、通常、3Dリファレンスを使用することで最高の精度が得られるため、精度が不可欠であり、3Dリファレンスを作成して使用することが可能な場合に使用することをZhangは推奨している。
しかしながら、2Dリファレンスによる較正は、使いやすさと精度の高さから、ほとんどの場面で最良の選択であるように思われるとZhang氏は述べている。
それにもかかわらず、精度の高いスキャニングシステムを提供することを目的とする場合、スキャニングの分野では、(特徴および/またはエッジを有する)3Dリファレンスを使用する必要があることが知られており、上記の4つの較正ステップ(a~d)を実行することが推奨される。立方体上の4つのチェッカーボード(すなわち、エッジを含む)を使用した3Dリファレンスに依存する較正方法の一例は、L.HuangらによるOptics and Lasers in Engineering 115 (2019)32-41の論文「Research on multi-camera calibration and point-cloud correction method based on three-dimensional calibration object」に開示されている。そこに開示された方法は、2D画像ではなく、点群の誤差を補正するものである。しかしながら、エッジ検出は較正を実行するための前提条件であるため、上述の較正オブジェクトは、少なくとも設計上、較正オブジェクトと走査装置に対して要件を設定することに変わりはない。
このように、較正の分野では、3Dリファレンスを用いることで得られる精度と、2Dリファレンスを用いることで得られる使い易さという、2つを両立させる較正方法が求められている。さらに、較正の分野では、(特徴および/またはエッジを有する)3Dリファレンスよりも安価で簡単に製造できる3Dリファレンスが望ましい。さらに、従来の要求によれば、較正の分野では、特定の3Dリファレンスを必要とすること、および走査装置が3Dリファレンスのコーナー/特徴検出を実行するように構成されていることの両方から、較正ステップの第1のステップ、すなわち、コーナーまたは特徴の検出を必要としない方法が望ましい。全体として、較正の分野では、いくつかの改善が必要であり、また望まれている。
本開示の目的は、走査システムおよびその較正方法を提供することであり、それによって較正された走査システムが得られる。本開示のさらなる目的は、高精度を備えた較正された走査システムを提供することである。さらに、本開示の目的は、発明の背景で説明したように、要望に応じた走査システムおよびその較正を提供することである。
本開示は、第1の側面において、3Dリファレンスを用いて較正されるように構成された走査システムを提供し、これによって、2Dリファレンスに依存する走査システムよりも精度が改善される。さらに、本開示は、特定の所定の特徴および/またはコーナー/エッジを有する3Dリファレンスを必要としない走査システム、および、これを較正する方法を提供する。したがって、本開示は、3Dリファレンスに対して特定の特徴要件を有さない較正方法を提供する。全体として、本開示は、2Dリファレンスを使用するのと同じくらい簡単であり、3Dリファレンスを使用して得られるような精度を依然として提供する、走査システムのための改良された較正方法を提供する。
本開示は、まず、走査システムを提供する。特に、3次元較正オブジェクトの3次元表現の生成に基づいて、較正された走査システムに修正される未較正走査システムが開示される。
走査システムは、走査装置であって、光を放射するように構成された光源であって、走査装置が光をオブジェクトに照射するように構成されている、光源と、複数のセンサ素子を含むイメージセンサであって、イメージセンサが、オブジェクト、およびオブジェクトに送られる光の一連の画像を形成するように構成され、かつ、各画像は複数の画素を含む、イメージセンサと、プロセッサと、を備える。
プロセッサは、以下で説明するようなステップを実行することによって、較正を実行するように構成されている。一実施形態では、プロセッサが較正モードにあるとき、すなわち、プロセッサが較正を実行するとき、プロセッサは、走査されているオブジェクトが較正オブジェクトであることを通知される。
本開示の最初のステップは、実世界座標系における較正オブジェクトのリファレンス3次元表現をインポートすることである。このようなステップは、発明の背景で説明したような、典型的な較正ステップ(a~d)には開示されていない。
本開示の第2のステップは、一連の画像を登録して、登録された一連の画像とすることである。典型的にはチェッカーパターンのコーナーが各画像で検出されるため、少なくとも一連の画像は、典型的な較正ステップ(a~d)からわかる(ステップ(b)を参照されたい)。しかしながら、画像の登録は、典型的な較正ステップ(a~d)の必須のステップではないが、本開示では、一連の画像に基づいて3D表現を形成するために、一連の画像の登録が必要である。これについては、次の2つのステップ、すなわち、第3および第4のステップで説明する。
本開示の第3のステップは、第1の変換を使用して、登録された一連の画像と、画像のそれぞれからの少なくとも1組の画素とを、走査装置座標系における較正オブジェクトの座標のデータセットに変換することである。例えば、一実施形態において、画素は、走査装置のイメージセンサのリファレンスにおいて座標セットによって定義される位置、例えば、(u0、v0)を有することができる。走査装置座標系における第3の座標は、(u0,v0)座標セットにリンクされ、例えば、フォーカスレンズの位置d1であってよく、これにより、較正オブジェクトの座標のデータセットは、(u0,v0,d1)であってよい。あるいは、(u0,v0)座標セットにリンクされた、走査装置座標系における第3の座標は、例えば、予想される座標セットに対する(u0,v0)座標セットの変位d2であってもよく、これによって、較正オブジェクトの座標のデータセットは(u0,v0,d2)であってもよい。典型的な較正ステップ(a~d)は、必ずしも登録されていない画像の、イメージセンサのリファレンスにおける少なくとも空間座標セットへの第1の変換を含み、それによって(u0,v0)が提供される。
本開示の第4のステップは、第2の変換を用いて、走査装置座標系における較正オブジェクトの座標のデータセットを、実世界座標系における較正オブジェクトの点群に変換することである。好ましい実施形態では、第2の変換は、三角点群を三角点群に変換する。このような第2の変換を使用することの効果は、離散化誤差を除去することである。点群は、3D空間のオブジェクトと視覚情報(画像)からカメラで観測した2D画像との間の変換に基づいているため、内因性パラメータと外因性パラメータが少なくとも概略的に取得されると、点群を得ることが可能である。換言すると、(u0,v0)およびパラメータ(α,β,γ)の両方を持つ行列Aから外因性パラメータを概略的に知り、内因性パラメータ(R,t)を知ることによって、(u0,v0)の点群への変換が可能である。したがって、本開示による第4のステップは、原則として、少なくとも内因性パラメータおよび外因性パラメータの推定値を有する第2の変換に依存する。しかしながら、これらのパラメータは、例えば、従来の走査装置からの変換に基づく推定値であってよい。さらに、これらのパラメータは、ZhangまたはTsaiの論文で知られているように、内因性パラメータおよび外因性パラメータと同一である必要はない。変換を記述するために使用することができる多くのパラメータがあり、ZhangおよびTsaiでさえ、異なるパラメータを記述している。さらに、場合によっては、変換は明示的な方法(Tsaiの方法のように全てのパラメータが取得される場合)に基づくことができ、他の場合には、変換は暗黙的な方法(Zhangの方法のように全てのパラメータが決定されるわけではない場合)に基づくことができ、例えば、Teresa Cristina de Sousa Azevedoが2012年に発表した博士論文「3D Object Reconstruction using Computer Vision: Reconstruction and Characterization Applications for External Human Anatomical Structures」では、さまざまな較正手法を特徴づけている。第2の変換を定義するパラメータは、微調整や精緻化を行う必要がない。したがって、これは、本開示の未較正走査システムを、3次元較正オブジェクトの3次元表現の生成に基づく較正走査システムに修正することを定義するものである。
典型的な較正ステップ(a~d)と比較して、本開示の走査システムは、(b)線形最小二乗法を用いてカメラ投影行列Pを推定する必要がなく、(c)Pから内因性および外因性パラメータA、R、およびtを回復する必要がなく、(d)非線形最適化によって、A、R、およびtを精緻化する必要がない。本開示の走査システムは、点群を生成するように構成されている第2の変換を必要とするだけである。本開示の走査システムを用いて生成された点群は、実世界の座標系における較正オブジェクトのインポートされた3次元表現とは非常に異なる可能性がある。本開示による走査システムは、この第4のステップまで較正されていないため、これは実際に予想されることである。しかしながら、いくつかの実施形態では、内因性パラメータおよび外因性パラメータは、先に説明したように、最初の3つの典型的な較正ステップ(a~c)のうちの1つまたは複数を使用して確立され得る。典型的な較正ステップの第4のステップ、すなわち、(d)非線形最適化によって、A、R、およびtを精緻化するステップは、容易に省くことができ、それによって、このステップまでの本開示の走査システムは、3次元較正オブジェクトの3次元表現の生成に基づいて較正走査システムに修正される未較正走査システムとして依然として定義されることになる。したがって、本開示の走査システムおよびそれを較正する方法は、これまでのところ(較正がまだ始まっていないため)、4つのステップ(a~d)によって定義される典型的な較正よりもはるかに簡単である。しかしながら、開示される次のステップでは、較正が開始され、最終的に完了する。
本開示の第5のステップでは、実世界座標系における較正オブジェクトの点群を、アライメント手順を用いて、実世界座標系における較正オブジェクトのリファレンス3次元表現にアライメントする。特に、4つの典型的なステップ(a~d)を用いる典型的な較正方法において、実世界座標系における較正オブジェクトのリファレンス3次元表現がインポートされないため、この第5のステップは、4つの典型的なステップ(a~d)を用いる典型的な較正の一部とはならない。さらに、本開示の第5のステップにおいて、アライメント手順は、リファレンス3次元表現と点群との間の第1の差分を最小化することに基づいて行われる。この第5のステップは、3次元リファレンスオブジェクトが使用されたとしても、アライメント手順は、典型的な較正のステップ(b)とは根本的に異なるが、これは、本開示の走査システムにおいて、最小化が、典型的な2D画像空間ではなく、3D世界座標空間で行われているためである。詳しく説明すると、典型的な較正は、(a)各画像のチェッカーパターンのコーナーを検出し、これらの画像から、(b)線形最小二乗法を用いてカメラ投影行列Pを推定することに基づいている。本開示の方法は、2D空間の代わりに3D空間における最小化を適用する。本発明の発明者らは、最小化が3D空間で実行されると、(較正される)最終的な点群の精度が、2D空間での最小化に基づく較正よりも大幅に改善されることを認識した。
先に説明したように、L.Huangらの開示は、立方体上の4つの市松模様のエッジを持つ3Dリファレンスオブジェクトに依存しているが、アライメントステップを開示していない(エッジの特徴検出から立方体の座標が直接得られるため)。したがって、L.Huangらは、本開示の方法で定義されるような最小化ステップを開示していない。しかしながら、L.Huangらは、立方体上の特徴点と生成された点群との比較を行い、それによって回転行列と並進行列を求め、精緻化することを開示している。この精緻化は、立方体上の特徴点と生成された点群との差分を最小にすることに基づいている。この精緻化では、標準的な特徴の平面と再構成された特徴の平面との比較が行われる。この最小化/精緻化は、既知の特徴を持つ平面がリファレンス3Dオブジェクトの一部であるからこそ可能である。たとえ比較がアライメント手順と見なされたとしても、L.Huangにおけるアライメント手順は、精緻化のためのものであり、3次元表現を生成するためのものではないことを強調しなければならない。したがって、本開示の走査システムは、L.Huangの開示とは異なる。要約すると、L.Huangらは、3D表現の生成におけるアライメント手順を避け、代わりに3Dオブジェクトに要件を課している。
本開示は、3Dオブジェクトの要件を回避し、その結果、アライメント手順への要件を課す。要件を物理的な世界ではなくソフトウェアに移行することの利点は多い。まず、第1に、L.Huangらが要求するような特別な3D較正オブジェクトを設計する必要がない。第2に、ソフトウェアは一度だけプログラムすれば十分である。第3に、ソフトウェアのプログラミングにかかるコストは、特別に設計された較正オブジェクトを製造するよりもはるかに低い。最後に、特別に設計された3D較正オブジェクトを使用するのではなく、(ソフトウェアでプログラムされた)3Dリファレンスオブジェクトに対してアライメント手順を用いることで、精度と使いやすさの両方が劇的に改善される。
本開示の上述した第5のステップ、すなわち、アライメントステップを用いて較正が開始されると、実際の較正を開始して、終了することができる。これについては、次の2つのステップで説明する。
本開示の第6のステップは、アライメント手順を使用した後に、点群と、実世界座標系における較正オブジェクトのリファレンス3次元表現と、の間の第2の差分を導出することである。この第2の差分は、生成された点群内の個々の点が、実世界座標系における較正オブジェクトのリファレンス3次元表現上の対応する点からどの程度異なるかについての情報であってよい。
本開示の第7のステップは、第2の差分に基づいて、第2の変換を較正された変換に修正し、これにより、実世界座標系における較正オブジェクトの点群における点の位置が3次元において調整され、これにより、未較正走査装置を較正された走査装置に修正する、ステップである。
未較正走査装置が較正走査装置に修正された後、較正走査装置は、較正された変換に基づいて、実世界座標系における較正オブジェクトの較正された3次元表現を生成することができ、これにより、実世界座標系における較正オブジェクトの較正された3次元表現と、実世界座標系における較正オブジェクトのリファレンス3次元表現と、の間の差分が減少する。
本開示の第2の側面では、較正された走査システムを得るためのシステムであって、第1の側面による未較正走査システムと、3次元較正オブジェクトと、を備えるシステムが提供される。
本開示の第3の態様では、口腔内オブジェクトの3次元表現を生成するための較正された走査システムが提供され、較正された走査システムは、第1の態様に従った未較正走査システムを修正することによって提供され、それによって較正走査システムは、走査装置であって、光を放射するように構成された光源であって、走査装置が、光をオブジェクトに送るように構成されている、光源と、複数のセンサ素子を含むイメージセンサであって、イメージセンサは、オブジェクトおよびオブジェクトに送られる光の一連の画像を形成するように構成された、イメージセンサと、を備え、イメージセンサは、複数の画素と、プロセッサと、を備え、プロセッサは、一連の画像を登録し、第1の変換を使用して、登録された一連の画像と画素の少なくとも一組を、走査装置座標系におけるオブジェクトの座標のデータセットに変換し、較正された変換を使用して、走査装置座標系におけるオブジェクトの座標のデータセットを、実世界座標系におけるオブジェクトの点群に変換し、較正された変換に基づいて、実世界座標系におけるオブジェクトの較正された3次元表現を生成する、ように構成されている。
本開示の第4の態様では、第2の態様によるシステム、それによって未較正走査システムおよび3次元較正オブジェクトを提供し、未較正走査システムを用いて3次元較正オブジェクトを走査し、それによって走査装置を用いて3次元較正オブジェクトを走査し、それによって未較正走査システム内のプロセッサを用いて較正を実行し、第3の態様にしたがって較正された走査装置を取得する、ことを実行することによって、未較正走査システムを較正する方法が提供される。
本開示の第5の態様では、画面上のグラフィカルユーザインタフェースに表示される、走査装置を較正するためのコンピュータ実装方法が提供され、3次元較正オブジェクトのリファレンス3D表現のリファレンスデータを取得し、グラフィカルユーザインタフェースにおいて、リファレンスデータに基づいて、3次元較正オブジェクトのリファレンス3D表現を形成するステップと、3次元較正オブジェクトを走査するためにユーザによって使用される携帯型装置に基づいて、および3次元較正オブジェクトの2Dイメージの1つ以上の装置-実世界座標変換から、測定データを取得する、ステップを備える。
さらに、コンピュータ実装方法は、アライメント手順を使用して、測定データをリファレンスデータにアライメントしてアライメントデータを取得し、アライメントデータに基づいて、1つ以上の変換を更新し、それによって走査装置を較正する、ステップを含む。
さらに、コンピュータ実装方法は、グラフィカルユーザインタフェースにおいて、ユーザに対して、3次元較正オブジェクトの走査を続けるように案内するインジケータを表示し、走査装置の較正が完了したことを示す通知をグラフィカルユーザインタフェースに表示する、ステップを含む。
ユーザが走査を継続するように誘導するインジケータをユーザに表示するステップは、アライメントステップの前、最中、後に実行することができる。特に、ステップの順序を入れ替えることができ、1つ以上のステップを数回繰り返してもよい。ユーザが走査を続けるように誘導することによって、走査装置を較正するための最適な方法が、ここに開示される。
本発明の上記および/または追加の目的、特徴、および利点は、添付の図面を参照しながら、本発明の実施形態の以下の例示的かつ非限定的な詳細説明によってさらに説明されるであろう。
図1aは、本開示による3Dリファレンスを用いて較正されるように構成された未較正走査システムの第1の例を示す図である。
図1bは、本開示による較正方法の一例を示す図である。
図1cは、本開示による較正方法の詳細の一例を示す図である。
図2は、本開示による3Dリファレンスを用いて較正されるように構成された未較正走査システムの第2の例を示す図である。
図3は、本開示の走査装置の較正に関連する走査を行うためのガイダンスを表示する、ユーザインターフェースの一例を示す図である。
[走査装置]
一実施形態では、走査装置は、携帯型走査装置である。例えば、走査装置は、口腔内走査装置であってもよい。従って、未較正走査装置は、口腔内走査装置であってもよい。
一実施形態では、走査装置は、携帯型走査装置である。例えば、走査装置は、口腔内走査装置であってもよい。従って、未較正走査装置は、口腔内走査装置であってもよい。
好ましい実施形態では、走査装置のイメージセンサは、走査装置座標系におけるz方向に垂直な平面に配置され、光学素子は、イメージセンサに対して、z方向に沿って移動するように構成され、それによって、光学素子が移動する間に、オブジェクトの一連の画像が形成される。
より好ましい実施形態において、かつ、上述の好ましい実施形態に関連して、プロセッサは、さらに、走査装置座標系におけるz方向に沿って登録された一連の画像を積み重ねてボリュームを形成し、登録された一連の画像における各画像がボリュームにおける層を構成し、それによってボリュームが一連の複数の画素で構成され、ボリューム内の複数の画素のそれぞれ、またはボリューム内の複数の画素群のそれぞれについて、フォーカス測度を計算し、複数の画素群のそれぞれは、複数の画素のサブセットによって形成され、フォーカス測度に基づいて、ボリューム内の複数の画素のそれぞれについて、最大フォーカス測度zmを計算し、それによって複数の画素のサブセットがzmと関連付けられるか、または、ボリューム内の複数の画素群のそれぞれについて、複数の画素のサブセットがzmと関連付けられ、それによって、第1の変換を用いて、zmと関連付けられた複数の画素群が、走査装置座標系におけるオブジェクトの座標データに変換される少なくとも一連の画素であると決定する、ように構成される。
[リファレンス3次元表現]
一実施形態では、実世界座標系における較正オブジェクトのリファレンス3次元表現をインポートするステップは、未較正走査システムとは異なる走査システムから較正オブジェクトの高精度な3次元表現をインポートすることに基づいて行われる。例えば、上述したように、未較正走査システムは、口腔内走査装置のような携帯型走査装置を含んでよく、高精度な3次元表現は、次に、固定ラボ走査装置またはGOM走査装置のような走査装置から取得することができる。
一実施形態では、実世界座標系における較正オブジェクトのリファレンス3次元表現をインポートするステップは、未較正走査システムとは異なる走査システムから較正オブジェクトの高精度な3次元表現をインポートすることに基づいて行われる。例えば、上述したように、未較正走査システムは、口腔内走査装置のような携帯型走査装置を含んでよく、高精度な3次元表現は、次に、固定ラボ走査装置またはGOM走査装置のような走査装置から取得することができる。
[アライメント手順および変換]
一実施形態では、アライメント手順は、点群から面への登録(registration)、または、点から点への登録によって、点群をリファレンス3次元表現にアライメントすることに基づく。
一実施形態では、アライメント手順は、点群から面への登録(registration)、または、点から点への登録によって、点群をリファレンス3次元表現にアライメントすることに基づく。
別の実施形態では、第2の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が3次元で調整され、点群内の点の各々を個別に調整することによって実行される。このようなアプローチは、調整が様々なパラメータに依存する場合よりも柔軟である。本実施形態で説明したような、より柔軟な解決策により、較正が行われた後の走査装置の精度は、大幅に改善される。
さらに別の実施形態では、第2の変換を較正された変換に修正するステップであって、それによって実世界座標系におけるオブジェクトの点群内の点の位置が3次元で調整されるステップは、点群内の各点について3次元の位置を3方向で同時に調整することによって実施される。このようなアプローチは、段階的に、つまり非同時的に調整するよりも精度が高い。したがって、このようなアプローチにより、較正を行った後の走査装置の精度が大幅に改善される。
好ましい実施形態において、第2の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が3次元で調整され、点群内の点の各々に、3つの方向成分からなる補正ベクトルを加えることによって実行される。この方法は、調整が単純化されることを意味し、較正方法の高速化と効率化を実現する。
いくつかの実施形態において、走査装置が走査中に移動する光学素子を備える場合、第2の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が3次元で調整され、光学素子が移動する間に、較正オブジェクトの一連の画像が形成されることにより、光学素子のz方向に沿った位置に関連づけられる。
他の実施形態では、走査装置が走査中に移動する光学素子を備える場合、光学素子のz方向に沿った位置に関連する3次元の調整は、z方向に沿った位置の各々について高次多項式によって定義される。本実施形態によれば、調整を効率的に行うことができるため、高速な走査装置を提供することができる。
最も好ましい実施形態において、第2の変換を較正された変換に修正するステップは、ルックアップテーブルによって定義される。この実施形態は、調整を効率的に適用することを保証し、したがって、高速な走査装置を提供する。
[較正システム]
最も好ましい実施形態、特に走査装置が口腔内走査装置である実施形態では、3次元較正オブジェクトは、複数の歯科口腔内オブジェクトを含む歯列の形状を有する。そして、3次元較正オブジェクトは、較正後に走査されるオブジェクトに類似しており、これに類似していることによって、較正が非常に正確であることが判明している。
最も好ましい実施形態、特に走査装置が口腔内走査装置である実施形態では、3次元較正オブジェクトは、複数の歯科口腔内オブジェクトを含む歯列の形状を有する。そして、3次元較正オブジェクトは、較正後に走査されるオブジェクトに類似しており、これに類似していることによって、較正が非常に正確であることが判明している。
[ユーザインターフェース]
一実施形態では、コンピュータ実装方法は、グラフィカルユーザインターフェースにおいて、アライメントデータおよび/または前記更新された変換に基づいて、3次元較正オブジェクトの少なくとも一部の3D表現を形成するステップをさらに備え、前記少なくとも一部が、表示されたリファレンス3D表現と比較して見ることができるように構成される。これにより、ユーザは、リファレンス3D表現のどこでアライメントが成功したか、また、どこから走査すればよいかを知ることができる。アライメントが成功した領域から離れて走査することで、較正がさらに改善される可能性がある。その理由は、較正が較正オブジェクトの異なる3D構造に依存し、その結果、これらの構造への変換を調整するためである。
一実施形態では、コンピュータ実装方法は、グラフィカルユーザインターフェースにおいて、アライメントデータおよび/または前記更新された変換に基づいて、3次元較正オブジェクトの少なくとも一部の3D表現を形成するステップをさらに備え、前記少なくとも一部が、表示されたリファレンス3D表現と比較して見ることができるように構成される。これにより、ユーザは、リファレンス3D表現のどこでアライメントが成功したか、また、どこから走査すればよいかを知ることができる。アライメントが成功した領域から離れて走査することで、較正がさらに改善される可能性がある。その理由は、較正が較正オブジェクトの異なる3D構造に依存し、その結果、これらの構造への変換を調整するためである。
第2の実施形態において、コンピュータ実装方法は、予め定義された基準が満たされるまで、前記ステップの1つ以上を複数回繰り返すことを含む。例えば、以下のステップは、較正の精度を向上させるために、複数回実行されてもよい。
- ユーザが3次元較正オブジェクトを走査するために使用する携帯型装置に基づき、3次元較正オブジェクトの2D画像の1つ以上のデバイスから実世界への座標変換から、測定データを取得する。
- アライメント手順を用いて、測定データをリファレンスデータにアライメントし、アライメントデータを取得する。
- アライメントデータに基づいて、前記1つ以上の変換を更新し、走査装置を較正する。
- グラフィカルユーザインターフェースにおいて、ユーザに対してインジケータを表示し、そこからユーザが3次元較正オブジェクトの走査を継続するように誘導する。
- ユーザが3次元較正オブジェクトを走査するために使用する携帯型装置に基づき、3次元較正オブジェクトの2D画像の1つ以上のデバイスから実世界への座標変換から、測定データを取得する。
- アライメント手順を用いて、測定データをリファレンスデータにアライメントし、アライメントデータを取得する。
- アライメントデータに基づいて、前記1つ以上の変換を更新し、走査装置を較正する。
- グラフィカルユーザインターフェースにおいて、ユーザに対してインジケータを表示し、そこからユーザが3次元較正オブジェクトの走査を継続するように誘導する。
明らかに、前記1つ以上の変換を繰り返し更新することによって、前記変換は、ますます改善され続ける可能性がある。ある時点で、前記変換の変化が非常に小さくなり、較正に有意な価値が与えられなくなる場合がある。したがって、そのような点に到達した場合は、較正を停止することが理にかなっている。
したがって、いくつかの実施形態では、通知を表示するステップ(走査装置の較正が完了したことを示す)は、説明したように、予め定義された基準に基づいて行われる。
好ましい実施形態では、アライメントステップは、アライメントステップを支援するために、ユーザインタフェースにおいて、3次元較正オブジェクトのリファレンス3D表現上の点をユーザが受信するステップによって開始される。例えば、ユーザは、リファレンス3D表現をクリックすることができ、これにより、コンピュータ実装方法は、点を登録し、受信する。この点を登録することによって、ユーザの支援によってアライメントステップが実行される。この点は、例えば、ユーザが走査を開始するときに、この点が開始点として使用されることをアライメント手順に通知することができる。アライメント手順は、選択された点によって、走査からの測定データがリファレンス3D表現上のどこでアライメントされるべきかを通知してもよい。この実施形態は、アライメントがより効率的に行われることを提供することができ、全体的な効果として、較正オブジェクト上の異なる領域が較正において考慮され得るため、較正が両方により信頼できるものになり得るということを提供することができる。さらに、本実施形態は、走査装置の較正が時間的に効率的な方法で完了することを提供することができる。すなわち、較正プロセスは、精度が向上し、ユーザインタフェースにおけるユーザとの相互作用により低減する可能性がある。
より好ましい実施形態では、ユーザを3次元較正オブジェクトの走査を継続するように誘導するユーザへのインジケータは、3次元較正オブジェクトのどこで、ユーザが走査を継続すべきかを更に示す。例えば、ユーザは、リファレンス3D表現上のポインタまたは色によって、3次元較正オブジェクト上の特定の領域を走査するように誘導されてもよい。この実施形態は、較正オブジェクト上の異なる領域が較正において考慮され得るため、較正がより信頼性の高いものとされ得ることを提供し得る。さらに、本実施形態は、走査装置の較正が時間効率のよい方法で完了することを提供することができる。すなわち、較正プロセスは、精度が向上し、ユーザインタフェースにおけるユーザとの相互作用により低減する可能性がある。
最も好ましい実施形態では、インジケータは、アライメントデータの絶対的および/または相対的な尺度であり、それによって、ユーザが3次元較正オブジェクトの走査をどの程度まで継続する必要があるかを携帯型装置のユーザに示す。
例えば、最も好ましい実施形態では、インジケータは、走査ボリューム内のデータ範囲を示すことができる。データ範囲は、走査装置の走査ボリューム内のどこで測定データがリファレンスモデルに対してアライメントされたかをユーザに示すことができる。したがって、インジケータは、走査装置の走査ボリューム全体において十分にアライメントされた測定データを得るために、較正オブジェクトに対して走査装置を異なる位置に配置するようにユーザを誘導することができる。このように、十分なデータ範囲が得られるようにすることで、正確な較正を実現することができる
上記のようなインジケータをユーザに表示することによって、ユーザは、予想される時間および/または予想される性能について知ることができる。したがって、ユーザは、走査装置での性能を向上させ、それによって、較正中の走査時間を短縮することができる。このように、インジケータは、全体の較正時間を短縮する方法となり得る。
[例1 口腔内スキャニングシステムの較正]
第1の例では、図1aに、口腔内3D走査装置1と接続されたコンピュータ2を備えた、未較正走査システムが示されている。この走査システムは、複数の画像を記録し、これらの画像に基づいて実世界の3D座標を構築するように構成されている。実世界座標に基づき、走査システムはさらに、走査されるオブジェクトの3D表現を形成するように構成されている。
第1の例では、図1aに、口腔内3D走査装置1と接続されたコンピュータ2を備えた、未較正走査システムが示されている。この走査システムは、複数の画像を記録し、これらの画像に基づいて実世界の3D座標を構築するように構成されている。実世界座標に基づき、走査システムはさらに、走査されるオブジェクトの3D表現を形成するように構成されている。
未較正走査システムは、走査されるオブジェクトに光を照射するように適合された光源4と、2D画像を取得するためのCMOSセンサなどのイメージセンサ3と、2D画像のセットを3D情報に処理するためのFPGA(フィールドプログラマブルゲートアレイ)プロセッサ5と、3D情報をデータパッケージに、バッファリングし、圧縮し、および、順序付けるプロセッサ6(ARMプロセッサなど)と、を含む。データパッケージは、無線接続7を介して、コンピュータ2上で実行されているリモートデータ処理サービスにパッケージを転送するように構成されたWi-Fiモジュールに渡される
未較正の走査システムは、3D較正オブジェクト8が走査される較正方法を実行することによって較正される。本明細書で開示される較正方法を実行するために、まず、較正オブジェクト8の3Dデジタルリファレンス表現9が、コンピュータ2上で実行されるデータ処理サービスに読み込まれる。
較正方法の詳細を図1bに示す。走査装置1は、走査中にオブジェクト8から深度情報を取得し、走査は、走査装置によって、一連の2D画像を取得しながら、フォーカスレンズを調整することにより行われる。フォーカスレンズの位置は、オブジェクトが配置されているオブジェクト空間内の走査ボリューム内でフォーカス面をシフトする。走査ボリュームは、フォーカスレンズの視野とともに、フォーカスレンズの移動距離によって定義される。
一連の2D画像は、登録された一連の2D画像10に変換される。一連の2D画像10は、第1の変換12を実行することによって、センサ座標(u,v,d)の深度情報を有するデータセット11に変換される。接続されたコンピュータ2は、第2の変換14を実行することによって、走査装置1からの入力データ11を点群13に処理するためのプロセッサ6を含む。さらに、プロセッサ6は、個々の点群13をアライメントし、それらを融合させることによって、走査されたオブジェクト8の正確な再構成を制御するために構成されている。
第2の変換14は、走査装置座標、すなわち、イメージセンサ上のインフォーカス画素位置(u,v)およびフォーカスレンズの位置を記述するエンコーダ位置dからの深度情報を、(x,y,z)と記述される現実の3D座標に変換する。第2の変換14は、走査装置座標(u,v,d)から実世界座標(x,y,z)へのデバイス固有のマッピングを提供することを意図している。それにもかかわらず、最初から今に至るまで、第2の変換14は、デバイス固有ではない。
未較正の走査装置の組み立て時に、第2の変換14、すなわち、走査装置座標から実世界座標へのマッピングの初期状態として機能するように、公称幾何表現(nominal geometry representation)が走査装置1にロードされる。このマッピング変換14の初期状態は、走査装置がコンピュータに最初に接続されたときに、走査装置からデータ処理サービスに渡される。
最初の第2の変換14は、光学パラメータを使用して走査装置のセットアップ、すなわち、レンズをどのように傾けて配置するか、および/または、立方体をセンサに対してどのように傾けるか等を記述する公称光学セットアップに基づいてよい。汎用的な光学配置が、光学セットアップを介して光線追跡を行い、全ての走査装置座標を3Dワールド座標に変換するために使用することができる。従って、最初の第2の変換14のその汎用的な性質のために、座標は互いに等距離で完全なグリッドにない場合があり、より不規則になる場合がある。ここで説明したような第2の変換14は、走査装置が未較正の走査装置1であるものと定義し、装置固有の補正は、公称幾何表現には適用されないことを意味する。
以下では、未較正の走査装置1に対して、特定の走査ボリューム較正を適用することにより、初期の第2の変換を、走査装置座標から実世界座標への高精度な装置固有の第2の変換14に置き換える。
一実施形態において、走査ボリューム較正は、走査装置1の光学的セットアップに依存せず、既知の較正オブジェクト8を走査する反復経験的アプローチに基づいてよい。既知の較正オブジェクト8は、図1aに示されるような石膏顎モデルであってもよい。さらに、較正オブジェクト8は、高解像度のリファレンス表現9を取得するために別の走査装置で走査されたものであってもよい。
前述したように、最初の第2の変換操作14を用いて、点群13が形成される。個々の点群13は、較正オブジェクト8の完全な形状(geometry)のサブセットを表すため、副走査と呼ばれる。走査ボリューム較正の間、未較正の走査装置1は、リファレンス表現9の走査中に、複数の副走査を取得する。副走査のそれぞれ、すなわち、点群15のそれぞれは、例えば、反復最近接点(ICP)点対面登録を用いることによって、リファレンス表現9にアライメントされる。このアライメントステップは、図1bに見ることができる。
全ての副走査15がリファレンス表現9に対して適切にアライメントされると、コンピュータ実装方法は、全ての副走査15について、走査ボリュームのサブセクション17の全ての頂点18を通して繰り返し処理を行う。各頂点18について、リファレンスメッシュ上の最も近い点が見つかり、その特定の副走査において、走査装置から見た差分ベクトル16が計算される。その結果、x方向、y方向、z方向に誤差が生じる。したがって、各画素座標(u、v)および直線位置dに対して、一組の差分ベクトルvn16が存在することになる。これらの差分は、最初の第2の変換を訂正するために使用される。
上述したように、走査ボリュームは、走査装置座標(u,v,d)の離散化によって定義されるサブセクション、具体的には、超直方体に分割され、すなわち、イメージセンサ座標および直線位置が多数の固定区間に分割され、これらの区間のデカルト積が、走査ボリューム17のサブセクションを定義する。
走査ボリュームの詳細については、後述する。これらのサブセクション18の頂点pijk=(ui,vj,dk),i=0・・・N1,j=0・・・N2,k=0・・・N3は、初期形状を利用して実世界座標に変換される。この結果、走査ボリュームにまたがる集合qijk=(xi,yj,zk),i=0・・・N1,j=0・・・N2,k=0・・・N3,が得られる。それぞれのqijk18は、点のごく近傍を調べ、どの差分ベクトルvn16がこの近傍にあるかを確認することによって修正される。これらのベクトルは、修正される点までの距離に基づいて加重平均される。この加重平均は修正ベクトルcijkとなり、これを加算して新しい座標マッピングq´ijk=qijk+cijkが得られる。この新しいマッピングは、新しいジオメトリ較正を決定する、すなわち、新しい第2の変換14を決定する。任意の点(u,v,d)の実世界座標は、上記離散化の超直方体を(u,v,d)で求め、超直方体の8つの角のそれぞれについてq´ijkを調べ、その角を3次元線形補間して(u,v,d)に対応する(x,y,z)を求めることにより決定される。従って、初期の第2の変換14を新たな第2の変換14に置き換えると、生成された3D表現が修正される。このような処理を複数回繰り返すことで、較正を最適化することができる。図1cのフローチャートには、第2の変換14を更新する反復処理が図示されている。
[例2 ラボ走査システム]
第2の例として、固定されたデスクトップ3D走査装置1と接続されたコンピュータ2を備えた未較正走査システムを図2に示す。このスキャニングシステムは、複数の画像を記録し、これらの画像に基づいて実世界の3D座標を構築するように構成されている。実世界座標に基づいて、走査システムは、さらに、走査されるオブジェクトの3D表現を形成するように構成されている。
第2の例として、固定されたデスクトップ3D走査装置1と接続されたコンピュータ2を備えた未較正走査システムを図2に示す。このスキャニングシステムは、複数の画像を記録し、これらの画像に基づいて実世界の3D座標を構築するように構成されている。実世界座標に基づいて、走査システムは、さらに、走査されるオブジェクトの3D表現を形成するように構成されている。
未較正走査システムは、走査されるオブジェクトに光を投射するように適合された光源4と、2D画像を取得するための1つまたは複数のCMOSセンサ等のイメージセンサ3(この例では、4つのイメージセンサ3がある)と、2D画像のセットを3D情報に処理するFPGA(フィールドプログラマブルゲートアレイ)プロセッサ5と、3D情報をデータパッケージに、バッファリングし、圧縮し、および、順序付けるプロセッサ6(ARMプロセッサなど)と、を含む。データパッケージはPhy(USB/イーサネット(登録商標))に渡され、有線接続7を介してコンピュータ2上で動作するデータ処理サービスにパッケージを転送する。
未較正走査システムは、3D較正オブジェクト8が走査される較正方法を実行することによって較正される。ここに開示された較正方法を実行するために、較正オブジェクトの3Dデジタルリファレンス表現9が、まず、コンピュータ2上で実行されるデータ処理サービスにロードされる。較正方法のさらなる詳細は、図1bに示されている。走査装置1は、走査中にオブジェクト8から深度情報を取得し、走査は、リファレンスオブジェクト8を回転板19に置き、イメージセンサ3の前で異なる視野角に移動させることによって走査装置によって実行される。オブジェクト8は、独立した2つの回転軸(回転軸と旋回軸)で回転される。
走査装置1は、プロジェクタユニット4から定位置に配置された4つの個別カメラ3からオブジェクトの複数の画像を同時に記録しながら、オブジェクト8にラインパターンを投影することにより、走査されたオブジェクトから奥行き情報を取得する。ラインパターンは、コード化されたパターンであってもよいし、ラインの束であってもよい。一例では、合計30本の個々の線がオブジェクトに投影される。オブジェクト8がカメラユニット3に対して定位置に維持されている間、一連の2D画像を記録しながら、プロジェクタユニットおよび4つのカメラ3を揺動させることによって、ラインがオブジェクト8を横切って滑らかに掃引される。
FPGAプロセッサ5は、さらに、較正オブジェクト8のさまざまな位置、オブジェクトに投影される線の動き、および4つの個々のカメラ3の動作を制御する。
ラインパターンがオブジェクト8を横切って掃引されると、画像情報データが処理ユニット6に転送される。ここでは、その情報を用いて、最初に第1の変換12により、異なるカメラ画像と異なるプロジェクタ平面内のラインとの対応計算を行い、深度データを三角測量する。
第2の変換14を行うことで、オブジェクト座標が得られる。なお、第2の変換を求める方法は、実施例1で説明した手順と同様でよい。
[例3 較正を実行するためのユーザインタフェース]
図3は、未較正走査システム1のオペレータに、較正を実行するための走査データの収集を案内するためのユーザインタフェースを示す。
図3は、未較正走査システム1のオペレータに、較正を実行するための走査データの収集を案内するためのユーザインタフェースを示す。
このユーザインタフェースは、携帯型走査装置を較正する場合に有利であり、例えば、較正を行うためのデータを収集するために、オペレータが物理的較正オブジェクト8に対して走査装置をどのように配置することができるかを案内することができるためである。
この例では、ユーザインターフェースは次のようにしてもよい。
図3は、画面上のグラフィカルユーザインタフェースに表示される、走査装置2を較正するためのコンピュータ実装方法を示し、3Dリファレンスオブジェクト8のリファレンス3D表現のリファレンスデータを取得する第1のステップを含む。リファレンス3D表現のリファレンスデータは、例えば、図2に示すラボ走査装置や産業グレード走査装置などの高精度3D走査装置を用いて3Dリファレンスオブジェクト8を走査することによって得られるファイルであってもよい。
コンピュータ実装方法における第2のステップは、ここに例示するように、グラフィカルユーザインタフェースにおいて、リファレンスデータに基づいて、3Dリファレンスオブジェクト8のリファレンス3D表現9を形成することである。較正を開始するとき、ユーザインタフェースは、較正に使用される3Dリファレンスオブジェクト8に対応するライブラリからリファレンス3D表現9を選択するようにユーザに促すことができる。
ここで例示されるようなコンピュータ実装方法における第3のステップは、リファレンス3D較正オブジェクト8を走査するためにユーザによって使用される携帯型装置2に基づいて、3Dリファレンスオブジェクトの2D画像の1つ以上の装置-実世界座標変換から、測定データを取得することである。
ここで例示されるようなコンピュータ実装方法における第4のステップは、アライメントデータを得るために、アライメント手順を用いて、測定データをリファレンスデータにアライメントすることである。したがって、ここで説明されているような較正ルーチンは、較正オブジェクトの取得された測定データを較正オブジェクトのリファレンスデータに登録することによって、特にアライメントによって動作することができる。登録は、2つの点群のアライメントを行う空間変換(スケーリング、回転、平行移動など)を見つけるプロセスとして知られている。このような変換を見つける目的は、複数のデータセットをグローバルに一貫したモデル(または、座標フレーム)にマージすること、および特徴を識別するため、または、その姿勢を推定するために新しい測定値を既知のデータセットにマッピングすることを含む。したがって、いくつかの実施形態では、第4のステップは、アライメントに基づくそのような登録を実行してもよい。
第一の実施形態では、まず、リファレンス3D較正オブジェクトを走査して3D表現を生成し、次に、走査した3Dデータをリファレンス表現に登録し、次に、個々の副走査をリファレンス表現に登録することによって、登録を行うことができる。
第2の実施形態において、登録は、走査中に各副走査をリファレンス表現上に登録することによって実行されてもよい。この実施形態は、リファレンス表現上の測定データをリアルタイムで視覚化することができるため、有利である。さらに、リファレンス表現に直接登録することで、較正ルーチンが較正のための誤ったデータの記録を避けることができるため、データ品質を向上させることができる。較正オブジェクトが走査中に捕捉された小さな異物や欠陥を持っている場合、リファレンス表現に対応するものが存在しないため、そのデータは較正ルーチンのデータプールから即座に削除される。これにより、本手法のロバスト性が向上する。
リファレンス表現に直接登録を行うには、最初に取得した副走査をリファレンス表現に登録することができる。その後の副走査は、後続の副走査がリファレンス表現上に登録されるように、前の副走査からのアライメント情報に依存してもよい。最初に取得された副走査を登録するために、ユーザは、走査を開始する必要があるユーザインタフェース内のリファレンス表現9上の点20(リファレンス表現は図3において青で示されている)を手動でマークすることができる。各副走査は、その後、点20のマークされた位置をアライメントの開始推測として使用し、その後、副走査を表現上に登録することを試みることができる。登録が成功した後、副走査は表現にアライメントされてよい。
一実施形態では、上述したような登録プロセスは、反復最近接点(ICP)として知られるプロセスであってよい。最も好ましい実施形態において、上述したような登録プロセスは、1つ以上の収束基準によって定義されてもよい。1つ以上の収束基準は、登録速度の性能および誤登録の回避を定義する。
収束基準のパラメータは、副走査とリファレンスの間の一致点の最小数であってもよい。一致は、副走査点から特定の距離内にあるリファレンス上の点によって定義できる。表面法線は、ほぼ同じ方向を指す。すなわち、副走査点の法線ベクトルと、副走査点に対応するリファレンスの法線ベクトルとの内積が0より大きいことが、一致しているとみなされる条件である。
ここに例示されるようなコンピュータ実装方法における第5のステップは、アライメントデータに基づいて、前記1つ以上の変換を更新し、それによって走査装置を較正することである。例えば、前記1つ以上の変換は、本開示の第1および第2の態様に関連して説明したような第1および/または第2の変換であってもよい。
ここで例示されるようなコンピュータ実装方法における第6のステップは、グラフィカルユーザインターフェースにおいて、アライメントデータおよび/または前記更新された変換に基づいて、リファレンス3Dオブジェクトの少なくとも一部21を形成することであり、前記少なくとも一部21が、表示されたリファレンス3D表現9と比較して見ることができ、リファレンス3D表現9のどこでアライメントが成功したかをユーザに対して示すようにすることである。リファレンス3Dオブジェクトの少なくとも一部21は、図3において灰色で示されている。少なくとも一部21は、1つ以上の副走査からの1つ以上の点群である。この例では、少なくとも一部21は、複数の副走査からのものである。
ここで例示されるようなコンピュータ実装方法における第7のステップは、グラフィカルユーザインタフェースにおいて、ユーザに対してインジケータ22を表示し、そこからユーザをリファレンス3D較正オブジェクトの走査を継続するように誘導することである。この例では、インジケータ22は、アライメントデータの相対的な尺度であり、それによって、携帯型装置のユーザに対して、ユーザがどの程度までリファレンス3D較正オブジェクトの走査を継続する必要があるかを示すものである。図3から分かるように、インジケータ22は3つのインジケータからなり、これらのインジケータの各々は、走査ボリューム(底部、中間部、および上部)において、十分なデータ(白で示される)が取得された領域、または不十分なデータ(黒で示される)が取得された領域のいずれかが存在することを示す。
より具体的には、図3に例示するようなインジケータ22は、走査ボリュームのデータ密度を示し、走査ボリュームの上部から下部までの複数の2次元スライスとして表示される。特定のスライスの特定の領域で十分なデータが取得されると、その特定の領域は黒色から白色に変化する。
インジケータ22は、ユーザが走査ボリューム内のどこでデータを収集し、どこでさらに走査する必要があるかを示す。これは、走査ボリューム全体において十分なデータカバレッジが得られるようにするためのガイダンスツールとして使用される。この例における全体の走査ボリュームは、前後に移動するレンズを有するフォーカス式走査装置によって定義される。したがって、この例における全体の走査体積は、フォーカスレンズの位置の間隔内の視野で取得された多数の2D画像から構成される。
ここで例示するインジケータ22は、最上部の画像が走査ボリュームの上部を表し、最下部の画像が走査ボリュームの底部を表すように定義されている。その間の画像は、時系列に並んだ中間領域を表している。ユーザが走査すると、画像内の領域は黒から白に変わり、走査ボリュームの対応する領域から副走査のデータが収集される。副走査のデータ点がリファレンス表現と一致した場合のみ、その点を有効とし、画像に表示することで、カバレッジ画像を定義している。
インジケータ22のカバレッジフレームは、各個々の2Dスライスの良好なデータカバレッジを得るため、および走査装置2を角度付けまたは傾斜させることによって、全ての異なる2Dスライスについてと同様に、較正オブジェクトに対して、走査装置をどのように配置するかについてユーザに視覚情報を提供する。1つのスライスが十分なデータカバレッジを含む場合(スライスは、走査装置から較正オブジェクトまでのある距離を表す)、そのスライスは、それによって、走査装置をオブジェクトからわずかに離すか、またはオブジェクトに近づけるかのいずれかによって、ユーザに対して走査ボリューム内の異なる領域におけるデータの取得に集中するように示す緑色になる場合がある。
ユーザインタフェースは、さらに、走査装置を再配置することによって、所望のデータカバレッジを得る方法についてオペレータに指示を提供してもよい。これは、オブジェクト8に対する走査装置の推奨される動きを示すアニメーションの形式であってよい。
最後に、ここで例示されるようなコンピュータ実装方法における最終ステップは、グラフィカルユーザインターフェースにおいて、走査装置の較正が完了したことを示す通知を表示することである。これは、例えば、全てのスライスが緑色になったときに、インジケータ22によって表示されてもよい。
Claims (24)
- 3次元較正オブジェクトの3次元表現の生成に基づいて較正された走査システムに修正される未較正走査システムであって
走査装置であって、
光を放射するように構成された光源であって、前記走査装置は、前記光をオブジェクトに照射するように構成されている、光源と、
複数のセンサ素子を含むイメージセンサであって、前記イメージセンサは、前記オブジェクト、および前記オブジェクトに送られる前記光の一連の画像を形成するように構成され、かつ、各画像は複数の画素を含む、イメージセンサと、
を備える、走査装置と、
プロセッサであって、
実世界座標系における前記較正オブジェクトのリファレンス3次元表現をインポートし、
前記一連の画像を登録して、登録された一連の画像とし、
第1の変換を使用して、前記登録された一連の画像と、前記画像のそれぞれからの少なくとも1組の前記画素とを、走査装置座標系における前記較正オブジェクトの座標のデータセットに変換し、
第2の変換を使用して、前記走査装置座標系における前記較正オブジェクトの前記座標のデータセットを、実世界座標系における前記較正オブジェクトの点群に変換し、
前記実世界座標系における前記較正オブジェクトの前記点群を、アライメント手順を用いて、前記実世界座標系における前記較正オブジェクトの前記リファレンス3次元表現にアライメントし、前記アライメント手順は、前記リファレンス3次元表現と前記点群との第1の差分を最小化することに基づき、
前記アライメント手順を使用した後に、前記点群と、前記実世界座標系における前記較正オブジェクトの前記リファレンス3次元表現との間の第2の差分を導出し、
前記第2の差分に基づいて、前記第2の変換を較正された変換に修正し、
これにより、前記実世界座標系における前記較正オブジェクトの前記点群における点の位置が3次元において調整され、
これにより、未較正走査装置を較正された走査装置に修正する、
ことを実行することにより、較正を行うように構成されたプロセッサと、
を有する未較正走査システム。 - 前記走査装置は、携帯型走査装置である、請求項1に記載の未較正走査システム。
- 前記アライメント手順は、前記点群から前記リファレンス3次元表現へのアライメントを、点から面への登録、または、点から点への登録によって行うことに基づいている、請求項1または2に記載の未較正走査システム。
- 前記イメージセンサは、前記走査装置座標系におけるz方向に垂直な平面内に配置され、
光学素子が、前記イメージセンサに対して相対的に、かつ前記z方向に沿って移動するように構成され、それによって、前記光学素子が移動している間、前記オブジェクトの前記一連の画像が形成される、
請求項1乃至3のいずれか一項に記載の未較正走査システム。 - 前記プロセッサは、さらに、
前記走査装置座標系におけるz方向に沿って、前記登録された一連の画像を積み重ねて、ボリュームを形成することであって、
前記登録された一連の画像の各画像は、前記ボリューム内のレイヤーを含み、これにより、前記ボリュームは、一連の複数の画素で構成される、
形成することと、
フォーカス測度を計算することであって、
前記ボリューム内の前記複数の画素の各々について、または、
前記ボリューム内の複数の画素群の各々について、前記複数の画素群の各々は、前記複数の画素のサブセットによって形成されている、
計算することと、
前記フォーカス測度に基づいて、最大フォーカス測度zmを計算することであって、
前記ボリューム内の前記複数の画素の各々であって、それによって、前記複数の画素のサブセットがzmに関連付けられる、前記ボリューム内の前記複数の画素の各々について、または、
前記ボリューム内の前記複数の画素群の各々であって、それによって、前記複数の画素のサブセットがzmに関連付けられる、前記ボリューム内の前記複数の画素群の各々について、
計算することと、
を実行するように構成され、
それによって、前記第1の変換を使用して、前記zmに関連付けられた前記複数の画素の前記サブセットは、前記走査装置座標系における前記オブジェクトの座標の前記データセットに変換される画素の前記少なくともセットである、
請求項4に記載の未較正走査システム。 - 前記第2の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が3次元で調整されるステップは、前記点群内の前記点のそれぞれを個別に調整することによって行われる、請求項1乃至5のいずれか一項に記載の未較正走査システム。
- 前記第2の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が3次元で調整され、前記点群内の各点について前記3次元の位置を3方向で同時に調整することによって行われる、請求項1乃至6のいずれか一項に記載の未較正走査システム。
- 前記第2の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が3次元で調整されるステップは、3つの方向成分からなる補正ベクトルを前記点群内の前記点のそれぞれに加えることによって行われる、請求項1乃至7のいずれか一項に記載の未較正走査システム。
- 前記第2の変換を較正された変換に修正するステップであって、それによって、前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が3次元で調整され、前記光学素子が移動する間に前記較正オブジェクトの前記一連の画像が形成されることにより、前記光学素子の前記z方向に沿った位置に関連付けられる、請求項4に記載の未較正走査システム。
- 前記光学素子の前記z方向に沿った位置に関連する3次元での前記調整は、前記z方向に沿った前記位置のそれぞれについて高次の多項式によって定義される、請求項9に記載の未較正走査システム。
- 前記第2の変換を較正された変換に修正するステップは、ルックアップテーブルによって定義される、請求項1乃至10のいずれか一項に記載の未較正走査システム。
- 前記未較正走査装置は、口腔内走査装置である、請求項1乃至11のいずれか一項に記載の未較正走査システム。
- 前記実世界座標系における前記較正オブジェクトのリファレンス3次元表現をインポートするステップは、前記未較正走査システムとは異なる走査システムから、前記較正オブジェクトの高精度3次元表現をインポートすることに基づく、請求項1乃至12のいずれか一項に記載の未較正走査システム。
- 較正された走査システムを得るためのシステムであって、
請求項1乃至13のいずれか一項に記載の未較正走査システムと、
3次元の較正オブジェクトと、
を備えるシステム。 - 前記3次元較正オブジェクトは、複数の歯科口腔オブジェクトを含む歯列の形状である、請求項14に記載のシステム。
- 口腔内オブジェクトの3次元表現を生成するための較正された走査システムであって、前記較正された走査システムは、請求項1乃至13のいずれか一項に記載の前記未較正走査システムを修正することによって提供され、それによって前記較正された走査システムは、
走査装置であって、
光を放射するように構成された光源であって、前記走査装置が前記光をオブジェクトに照射するように構成されている、光源と、
複数のセンサ素子を含むイメージセンサであって、該イメージセンサは、前記オブジェクトおよび前記オブジェクトに送られる前記光の一連の画像を形成するように構成され、各画像は、複数の画素を含む、イメージセンサと、
を備える走査装置と、
プロセッサであって、
前記一連の画像を登録し、
第1の変換を使用して、前記登録された一連の画像および少なくとも1セットの前記画素を、前記走査装置座標系における前記オブジェクトの座標のデータセットに変換し、
前記較正された変換を使用して、前記走査装置座標系における前記オブジェクトの座標の前記データセットを実世界座標系における前記オブジェクトの点群に変換し、
前記較正された変換に基づいて、前記実世界座標系における前記オブジェクトの較正された3次元表現を生成する、
ステップを実行するように構成されたプロセッサと、
を備える、較正された走査システム。 - 請求項14に記載の前記システムを提供し、それによって、前記未較正走査システムおよび前記3次元較正オブジェクトを提供し、
前記未較正走査システムを用いて、前記3次元較正オブジェクトを走査し、それによって、前記走査装置を用いて、前記3次元較正オブジェクトを走査し、それによって、前記未較正走査システム内の前記プロセッサを使用して前記較正を実行し、
請求項16に記載の前記較正された走査装置を取得する、
ステップを実行することにより、未較正走査システムを較正する方法。 - 画面上のグラフィカルユーザインタフェースに表示される、走査装置を較正するためのコンピュータ実装方法であって、
3次元較正オブジェクトのリファレンス3D表現のリファレンスデータを取得し、
前記グラフィカルユーザインターフェースにおいて、前記リファレンスデータに基づいて、前記3次元較正オブジェクトのリファレンス3D表現を形成し、
ユーザが前記3次元較正オブジェクトを走査するために使用する携帯装置に基づいて、前記3次元較正オブジェクトの2D画像の1つ以上の装置-実世界間の座標変換から、測定データを取得し、
アライメント手順を用いて、前記測定データを前記リファレンスデータにアライメントし、アライメントデータを取得し、
前記アライメントデータに基づいて、前記1つ以上の変換を更新し、それによって前記走査装置を較正し、
前記グラフィカルユーザインターフェースにおいて、前記ユーザに対してインジケータを表示し、前記ユーザが前記3次元較正オブジェクトの走査を継続するように誘導し、
前記グラフィカルユーザインターフェースに、前記走査装置の前記較正が完了したことを示す通知を表示する、
ステップを含む、コンピュータ実装方法。 - 前記方法は、前記グラフィカルユーザインターフェースにおいて、前記アライメントデータおよび/または前記更新された変換に基づいて、前記3次元較正オブジェクトの少なくとも一部の3D表現を形成し、前記少なくとも一部が、表示されたリファレンス3D表現と比較して見ることができるようにするステップを更に含む、請求項18に記載のコンピュータ実装方法。
- 前記方法は、予め定義された基準が満たされるまで、前記ステップの1つ以上を複数回繰り返すことを含む、請求項18または19に記載のコンピュータ実装方法。
- 前記通知を表示するステップは、前記予め定義された基準に基づいて行われる、請求項20に記載のコンピュータ実装方法。
- アライメントを行う前記ステップは、アライメントを行う前記ステップを支援するために、前記ユーザインタフェースにおいて、前記ユーザが、前記3次元較正オブジェクトの前記リファレンス3D表現上の点を受信するステップによって開始される、請求項18乃至21のいずれか一項に記載のコンピュータ実装方法。
- 前記3次元較正オブジェクトの走査を継続するように前記ユーザを誘導する前記ユーザへの前記インジケータは、前記3次元較正オブジェクトのどこで、前記ユーザが走査を継続すべきかをさらに示す、請求項18乃至22のいずれか一項に記載のコンピュータ実装方法。
- 前記インジケータは、アライメントデータの絶対的および/または相対的な尺度であり、それによって、前記ユーザが、どの程度まで前記3次元較正オブジェクトの走査を継続する必要があるかを前記携帯装置の前記ユーザに示す、請求項18乃至23のいずれか一項に記載のコンピュータ実装方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20168498.2 | 2020-04-07 | ||
EP20168498 | 2020-04-07 | ||
PCT/EP2021/059045 WO2021204865A1 (en) | 2020-04-07 | 2021-04-07 | Scanning system and calibration thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023520902A true JP2023520902A (ja) | 2023-05-22 |
Family
ID=70227868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022560951A Pending JP2023520902A (ja) | 2020-04-07 | 2021-04-07 | 走査システム及びその較正 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230083150A1 (ja) |
EP (1) | EP4133451A1 (ja) |
JP (1) | JP2023520902A (ja) |
KR (1) | KR20220164771A (ja) |
CN (1) | CN115485726A (ja) |
BR (1) | BR112022019080A2 (ja) |
WO (1) | WO2021204865A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11967111B2 (en) * | 2020-12-15 | 2024-04-23 | Kwangwoon University Industry-Academic Collaboration Foundation | Multi-view camera-based iterative calibration method for generation of 3D volume model |
CN115137505B (zh) * | 2022-07-01 | 2023-07-18 | 四川大学 | 基于数字化技术的标准牙颌固位导板的制作工艺 |
CN117906499A (zh) * | 2024-03-15 | 2024-04-19 | 江苏省计量科学研究院(江苏省能源计量数据中心) | 一种光学三维扫描仪校准系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7013191B2 (en) * | 1999-11-30 | 2006-03-14 | Orametrix, Inc. | Interactive orthodontic care system based on intra-oral scanning of teeth |
DE102012201193B3 (de) * | 2012-01-27 | 2013-06-13 | Sirona Dental Systems Gmbh | Verfahren und Referenzmodell zur Überprüfung eines Vermessungssystems |
US10154246B2 (en) * | 2014-11-20 | 2018-12-11 | Cappasity Inc. | Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras |
EP3040941B1 (en) * | 2014-12-29 | 2017-08-02 | Dassault Systèmes | Method for calibrating a depth camera |
WO2017070928A1 (en) * | 2015-10-30 | 2017-05-04 | Carestream Health, Inc. | Target with features for 3-d scanner calibration |
US10507087B2 (en) * | 2016-07-27 | 2019-12-17 | Align Technology, Inc. | Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth |
US11346950B2 (en) * | 2018-11-19 | 2022-05-31 | Huawei Technologies Co., Ltd. | System, device and method of generating a high resolution and high accuracy point cloud |
-
2021
- 2021-04-07 KR KR1020227038644A patent/KR20220164771A/ko active Search and Examination
- 2021-04-07 US US17/917,477 patent/US20230083150A1/en active Pending
- 2021-04-07 JP JP2022560951A patent/JP2023520902A/ja active Pending
- 2021-04-07 CN CN202180031899.1A patent/CN115485726A/zh active Pending
- 2021-04-07 WO PCT/EP2021/059045 patent/WO2021204865A1/en unknown
- 2021-04-07 EP EP21716450.8A patent/EP4133451A1/en active Pending
- 2021-04-07 BR BR112022019080A patent/BR112022019080A2/pt not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
BR112022019080A2 (pt) | 2022-11-08 |
US20230083150A1 (en) | 2023-03-16 |
KR20220164771A (ko) | 2022-12-13 |
EP4133451A1 (en) | 2023-02-15 |
CN115485726A (zh) | 2022-12-16 |
WO2021204865A1 (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023520902A (ja) | 走査システム及びその較正 | |
KR102086940B1 (ko) | 3차원 비접촉 스캐닝 시스템의 현장 교정 | |
JP4111166B2 (ja) | 3次元形状入力装置 | |
CN102782721B (zh) | 用于相机校准误差的运行时测定的系统和方法 | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JPH07239219A (ja) | 非接触式タイヤ端面輪郭形状計測方法および装置 | |
JP6881188B2 (ja) | 位置検出装置およびプログラム | |
WO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
CN115540775A (zh) | 一种ccd单相机的3d视频引伸计 | |
JP2009222568A (ja) | 3次元形状データの生成方法および装置ならびにコンピュータプログラム | |
JP2012013592A (ja) | 3次元形状測定機の校正方法及び3次元形状測定機 | |
JP6921036B2 (ja) | レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置 | |
JP4077755B2 (ja) | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 | |
JP2009288165A (ja) | ラインセンサカメラの較正方法、較正装置及びプログラム | |
JP4429135B2 (ja) | 三次元形状計測システム及び計測方法 | |
JP3924576B2 (ja) | 写真測量による3次元計測方法及び装置 | |
JP2012013593A (ja) | 3次元形状測定機の校正方法及び3次元形状測定機 | |
CN113661474A (zh) | 基准位置设定方法和操作检测装置 | |
JP4159373B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
Stepanyants et al. | PC-Based Digital Close-Range Photogrammetric System for Rapid 3D Data Input in CAD Systems | |
KR101424118B1 (ko) | 3차원 스캐닝 장치 및 3차원 스캐닝 방법 | |
US20230274454A1 (en) | Correction mapping | |
CN113641318B (zh) | 显示数据校准方法及系统 | |
JP4766839B2 (ja) | 計測方法、計測システム及びプログラム | |
KR100483345B1 (ko) | 이중파장 영사식 모아레 기반 형상측정장치 및 레지스트레이션을 이용한 멀티헤드 시스템용 자동 캘리브레이션 방법 |