JP5328985B2 - 三次元画像を撮影するための方法 - Google Patents

三次元画像を撮影するための方法 Download PDF

Info

Publication number
JP5328985B2
JP5328985B2 JP2012532413A JP2012532413A JP5328985B2 JP 5328985 B2 JP5328985 B2 JP 5328985B2 JP 2012532413 A JP2012532413 A JP 2012532413A JP 2012532413 A JP2012532413 A JP 2012532413A JP 5328985 B2 JP5328985 B2 JP 5328985B2
Authority
JP
Japan
Prior art keywords
image
camera
epipolar line
cameras
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012532413A
Other languages
English (en)
Other versions
JP2013507601A (ja
Inventor
ノヴァク クリストフ
コイヒニ ホアスト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATRON3D GmbH
Original Assignee
ATRON3D GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATRON3D GmbH filed Critical ATRON3D GmbH
Publication of JP2013507601A publication Critical patent/JP2013507601A/ja
Application granted granted Critical
Publication of JP5328985B2 publication Critical patent/JP5328985B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Description

本発明は、請求項1の上位概念に記載された、対象物の三次元画像を撮影するための方法並びに、請求項8の上位概念に記載された、対象物の三次元画像を撮影するための装置に関する。
本発明の方法および装置は、殊に、歯の三次元撮影の領域で使用される。ここでこの使用領域は、デジタル歯型および顎型の撮影、診断のサポート、歯の処置の監視並びに使用されているインプラントの確実なコントロールにまで拡がっている。医療技術および産業技術の分野におけるさらなる使用領域の他に、例えば、内視鏡の分野において、一般的に、アクセス困難な空間領域が体積測定によって測定される。
本発明の背景は、アクセス困難な対象物、例えば人間の口腔内の歯の体積測定撮影である。ここでの問題は一方では撮影ユニットの小型化が必要であるということであり、他方では、この方法に高い確実性が求められている、ということである。殊に、歯科医術の分野ではしばしば、約0.1mmの寸法が重要となり、従って、結像されるべき対象物の全体的な細部を充分な解像度で検出するためには、約0.01mmの領域の解像度が必要となる。
従来技術から既に、三次元画像を供給する、歯の測定装置が既知である。この装置の重要な欠点は、結像されるべき対象物へ向かうセンサ部分が多くの場合、扱いにくく、かつかさばるということである。なぜなら、時折、種々の部品セットが、撮影領域において必要となるからである。
従って、本発明の課題は、高い精度で三次元画像を供給する装置および方法を提供することである。ここでこの装置は、できるだけコンパクトな構造を有している。
本発明はこの課題を、請求項1の特徴部分に記載されている構成を有するようにした、冒頭に記載した様式の方法によって解決する。本発明は上述の課題を、請求項8の特徴部分に記載されている構成を有するようにした、冒頭に記載した様式の装置によって解決する。
本発明では、事前に、2つのカメラの配置が較正される。ここでこの2つのカメラの相互の位置および向きが確定され、変換が特定される。この変換はそれぞれ、一方のカメラによって記録された像の画像位置と、別のカメラによって記録された像の画像位置に、三次元撮影空間内の1つの空間位置を割り当てる。さらに、較正プロセスの過程において、各カメラに対してそれぞれ1つのエピポーラ線群が求められる。ここで、一方のカメラのそれぞれ1つのエピポーラ線は、他方のカメラの1つのエピポーラ線にそれぞれ割り当てられる。ここで、所定のランダム画像が、撮影されるべき対象物上に投影されるように設定がされている。ここで、ランダム画像の個々の画像点は、少なくとも2つの、相違している色値および/または強度値を有している。次に第1のカメラの各ピクセルに対してそれぞれ1つの周辺区域が特定され、第1のカメラに対して見出され、各ピクセルを含んでいるエピポーラ線が特定される。次に、この見出された第1のエピポーラ線に対応する、第2のカメラの第2のエピポーラ線が特定される。第2のエピポーラ線上に存在する第2のカメラの画像のピクセル全体に対して、第1の周辺区域に対して合同である第2の周辺区域が特定され、第1の周辺区域と第2の周辺区域の強度値が相互に比較され、2つの周辺区域に対する一致度が特定され、一致度が最大である、第2のエピポーラ線上の画像位置が特定される。変換によって、第1のカメラのピクセルの画像位置および第2のエピポーラ線上の求められた画像位置とに基づいて、空間位置が特定され、この空間位置が記憶される。ここで、撮影された対象物の画像は、見出された空間位置のセットによって特定され、さらなる処理のために供給される。この手法によって、容易かつ効果的な三次元撮影および対象物の結像が可能になり、ここで2つの同じピクセル領域の割り当てをあらわす、2つのカメラのピクセルが、これまでに既知の方法に対して格段に容易にされ、2つの同じ画像領域を結像するピクセルを見出すのに必要な計算ステップが格段に迅速に行われる。
本発明の特別な実施形態では、空間位置セットの記録の直前または直後に、ランダム画像の投影が停止され、場合によっては付加的に対象物が照明される。ここで、少なくとも1つのカメラによって、撮影されるべき対象物の画像が記録される。各求められた空間点に強度値または画像位置が割り当てられ、これによって、変換に基づいて、空間点の空間位置が求められる。このような手法によって、対象物の撮影された三次元画像に色表現が設けられ、場合によっては自身の色で表される。
さらに、メッシュ分割方法によって、記録された点セットに基づいて、表面分解または空間分解が、複数の空間エレメントまたは表面エレメントによって行われる。これは次のような顕著な利点を有している。すなわち、撮影された点セットの三次元表示が容易に可能であり、後続の計算が容易に行われるという顕著な利点を有している。
本発明の特別なアスペクトでは、表面分解の表面エレメントに、点セットの空間点の強度値から、特に補間によって求められた強度値が割り当てられ、場合によっては表示される。これによって特に、撮影された対象物のリアルな色表現が可能になる。
本発明の特に有利なアスペクトでは、継続的に対象物の三次元画像が撮影され、対象物が、カメラに対する相対的な配置のために動かされる。ここでこの相対運動は緩慢に行われ、時間的に順次連続した画像の撮影された空間領域の重畳が生じ、求められた点セット、表面分解または空間分解が等長変換によって見出される。これによって、複数の撮影から、1つの合成された撮影が作成される。ここで有利には、通常は非常に短い距離から行われる撮影が、容易に合成され、これによって、複数の部分画像から成る全体画像が作成される。その大きさは、2つのカメラの撮影領域の大きさを超える。
さらに、第1の周辺区域と、第2のカメラの画像のエピポーラ線上のピクセルの第2の周辺区域との一致が乏しい場合には、撮影されるべき対象物の表面をマット化する流体が、撮影されるべき対象物上に散布され、一致している周辺区域を見出す過程は、この流体の散布後に続けられる。これによって殊に、非常に強く反射している、または非常に光沢のある対象物の場合に、正確な三次元撮影が可能になる。
さらに本発明による、重複する撮影領域を有する2つのカメラによる対象物の三次元画像撮影のための装置では、ランダム画像を結像するための投影ユニットが設けられ、ランダム画像の個別のピクセルは、少なくとも2つの相違する色値および/または強度値を有する。ここでこの投影ユニットによって、ランダム画像が、2つのカメラの重畳している撮影領域内に投影可能である。この装置では、ランダム画像が次のように選択される。すなわち、2つのカメラ1a、1bの画像内で同じエピポーラ線9a、9b上に位置するピクセルが明確な周辺区域を有するように選択される。このような装置によって、非常に容易に三次元画像に変換可能な画像が撮影される。
本発明の特別なアスペクトでは、有利には切り替え可能な光源が設けられる。この光源は、2つのカメラの重畳している撮影領域を照明する。このような光源で照明することによって、三次元画像の撮影のために必要なカメラ画像の他に、別のカメラ画像も作成される。これは直接的に評価可能である、または撮影後に求められた三次元の対象画像を撮影した後の着色に用いられる。
さらに本発明は、噴霧器によって発展的に構成される。この噴霧器によって、マット化する流体が、撮影されるべき対象物上に被着される。これによって、マットな画像の撮影が可能になり、この画像によって、三次元画像がより容易に得られる。
本発明の別の有利なアスペクトでは、カメラに較正ユニットが後置接続されている。この較正ユニットによって、2つのカメラ相互の位置および向きが相互に確定され、変換が特定される。この変換はそれぞれ、一方のカメラによって記録された像の画像位置、殊にピクセルと、別のカメラによって記録された像の画像位置、殊にピクセルに、三次元撮影空間内の1つの空間位置、殊にボクセルを割り当て、各カメラに対してそれぞれ1つのエピポーラ線群を求める。ここで、一方のカメラのそれぞれ1つのエピポーラ線に別のカメラの1つのエピポーラ線が割り当てられている。これらのカメラには評価ユニットが後置接続されており、この評価ユニットによって、第1のカメラの各ピクセルに対して第1の周辺区域、例えば、3×3ピクセルまたは5×5ピクセルの周辺区域が特定され、この第1のカメラに対して見出され、各ピクセルを含んでいる第1のエピポーラ線が特定される。この見出された第1のエピポーラ線に対応する、別のカメラの第2のエピポーラ線が特定され、この第2のエピポーラ線上に存在する、第2のカメラの画像の全ピクセルに対して、第2の周辺区域が特定される。これは第1の周辺区域に対して合同である。ここで第1の周辺区域および第2の周辺区域の強度値は、比較ユニットによって相互に比較可能である。この比較ユニットによって、2つの周辺区域に対する一致の程度が特定可能であり、殊にその上で一致度が最大である、第2のエピポーラ線上の画像位置、殊にピクセルが特定され、変換によって、第1のカメラのピクセルの画像位置と第2のエピポーラ線上の求められた画像位置とに基づいて、空間位置が特定され、この空間位置が記憶装置内に記憶される。
このような装置によって、容易にかつリソースを節約して、対象物の三次元画像を撮影することができる。
さらに、2つのカメラの光軸をほぼ平行に配向することができる。これによって、特に容易に変換を見出すことが可能になり、撮影された三次元画像の精度を改善することができる。
本発明のさらに有利なアスペクトでは、2つのカメラと投影ユニットが同一の担体または器具上に配置されている。これによって、容易な操作が、殊に空間が制限されている箇所で可能になる。
本発明の有利な構成および発展形態は従属請求項に記載されている。
本発明を例示的に、以下の図に基づいて説明する。
2つのカメラと1つの投影ユニットを備えた、口腔鏡の形状および寸法の器具の正面を示す図 2つのカメラと1つの投影ユニットを備えた器具の側面を示す図 対応するエピポーラ線を備えた2つのカメラの画像を示す図 第1のエピポーラ線、第2のエピポーラ線並びに、周辺区域を伴う、これらのエピポーラ線上に位置する点を示す図 一致度の離散した図並びに第2のエピポーラ線上の1つの上の一致度の補間を示す図 複数の個別撮影から成る、合成された撮影としての歯の撮影を示す図 2つのカメラによって形成された画像上に2つの画像位置が与えられている場合の、較正された変換関数の作用を示す図 ランダム画像を示す図
図1は、口腔鏡の形状および寸法をした器具10を備えた、本発明による装置の基本的な構造の例を示している。この装置は器具10を含んでおり、この器具の終端部11上に2つのカメラ1a、1bおよび投影ユニット2が配置されている。択一的な実施形態は、内視鏡、外科器具または一般的に器具担体を含んでいる。これらは記録されるべき、アクセス不可能な対象物30、例えば歯へと向けられ、その上に2つのカメラ1a、1bおよび以降でさらに説明される投影ユニット2が配置される。
これら2つのカメラ1a、1bは画像領域3a、3bを有しており、これらの画像領域は部分的に重畳している。2つのカメラ1a、1bの撮影領域は同じ大きさに選択されており、ここで、カメラ1a、1bと、撮影されるべき対象物30との典型的な設定されている間隔に応じて、撮影領域が次のように選択される。すなわち、対象物30のできるだけ大きい部分が、2つのカメラ1a、1bの撮影領域3a、3bの重畳領域4内に位置するように選択される。
2つのカメラ1a、1bの間の領域内には投影ユニット2が配置されている。これは、ランダム画像40を、2つのカメラ1a、1bの重畳領域4の少なくとも部分領域内に投影する。殊に、ランダム画像40が、2つのカメラ1a、1bの2つの画像領域3a、3bの重畳領域全体4に投影されるのは有利である。図2に示された例では、ランダム画像40は投影ユニット2によって投影領域5内に投影される。この投影領域は、2つのカメラ1a、1bの2つの画像領域3a、3bの重畳領域4を含む。
対象物を撮影する前に、2つのカメラ1a、1bの配置に対して較正が行われる。2つのカメラ1a、1bの較正の間、投影ユニット2は不要であり、較正過程全体の間はスイッチオフされる。較正時にはまず、2つのカメラ1a、1bの相互の位置および向きが確定される。このような過程は、種々のやり方で実現され、有利な方法はJ. Heikkilae著「Geometric camera calibration using circular control points, IEEE Transcations on Pattern Analysis and Machine Intelligence 22(10), 1066-1077, 2000」またはFaugeras, Toscani著「Camera calibration for 3D computer vision, Proc. Int'l Workshop on Industrial Applications of Machine Vision and Machine Intelligence, Tokyo, Japan, pp. 240-247, Feb. 1987」に記載されている。結果として、変換が得られる。この変換は第1のカメラ1aの画像の画像点8aおよび第2のカメラ1bの画像の画像点8bに、2つのカメラ1a、1bの重畳している撮影領域内の空間点17を割り当てる。
各ピクセルには、不可逆的に明確に、1つの画像点8a、8bが割り当てられている。しかし画像点が、個々のピクセルの間に位置しても良く、これによって、後続に記載する方法が、サブピクセル算術の使用に適するようになる。
当然ながら、このような割り当ては、任意の画像点8a、8bに対しては行われず、対応しているエピポーラ線9a、9b上に位置している画像点8a、8bに対してのみ空間点17が求められる。このような理由から較正の過程において、2つのカメラ1a、1bの図3において示されたエピポーラ線9a、9bの群を見出すこと、および一方のカメラ1aの各エピポーラ線9aを不可逆的に、それぞれ別のカメラ1bのエピポーラ線9bに割り当てることが必要となる。エピポーラ線9a、9bの発見および相互割り当ては、当業者に既知であり、例えばZhengyou Zhang著「Determining the Epipolar Geometry and its Uncertainty: A Review, International Journal of Computer Vision, volume 27 pages 161-195, 1996」に記載されている。
上述したように、本発明による方法の過程では、ランダム画像40が、カメラ1a、1bの重畳領域4上に投影される。このランダム画像は例えば、設定された高さ、幅、多数の矩形のラスタ状に配置されたピクセルないしは画像領域を備えたデジタル画像である。これらのピクセルは、多数の設定された色値および/または強度値からの1つを有する。 ランダム画像40を使用することの遠因は、以降に記載されている方法の場合には、各ピクセルの周辺区域、例えば3×3または5×5の周辺区域が、ランダム画像全体内で各ピクセルに明確に割り当てられるべきである、ということである。周辺区域の明確性に基づいて、空間点が種々の箇所で、2つのカメラ1a、1bのそれぞれ1つによって撮影された2つのデジタル画像内で見出される。ピクセル毎に2つの相違する輝度値、例えば白および黒が可能なランダム値として設定される場合には、5×5ピクセルの周辺区域の使用時には、約3200万の異なる周辺区域が提供される。従って、この方法をさらに制限することなく、3200万個までのピクセルを有する画像が撮影され、各撮影されたピクセルに明確な周辺区域が割り当てられる。
このランダム画像は既に、非常に容易な手段によって製造されており、例えば、スライドとして存在する。個々のピクセルに割り当てられたランダム値の計算はここで、既に既知のアルゴリズムによって行われる。これは例えばMersenne Twister アルゴリズムによって行われる。このアルゴリズムは充分に知られており、M. Matsumoto and T. Nishimura著「Mersenne twister: A 623-dimensionally equidistributed uniform pseudorandom number generator. ACM Trans, on Modeling and Computer Simulations, 1998」に記載されている。
場所の最適化に対して択一的に、回折格子による投影ユニット2の構成が行われる。この場合には、デジタル画像の情報を担う回折格子の寸法を、スライドを使用した場合よりも格段に小さくすることが可能である。デジタル画像を表すための回折格子の構成は、当業者に充分に知られており、例えば、JR Leger, MG MoharamおよびTK Gayiord著「Diffractive Optics - An Introduction to the Feature Issue. Applied Optics, 1995, 34 (14) p. 2399-2400」に記載されている。スライドまたは回折格子の領域に、光源、例えばレーザーダイオードが設けられる。この光源の光は、スライドまたは回折格子によって対象物30上に投影される。
対象物30の三次元画像を得るために、以下で説明されるステップが、2つのカメラのうちの1つのカメラ(これは以降では第1のカメラ1aである)の撮影された画像の個々のピクセル8aに対して行われる。この第1のカメラ1aによって撮影されたピクセル8aは、以降では第1のピクセル8aである。場合によってはこのピクセル8aの数は、その撮影領域が、別のカメラ(これは以下では第2のカメラ1bである)の撮影領域によって含まれていないピクセルのぶんだけ低減される。第2のカメラ1bによって撮影されたピクセル8bは、以下で第2のピクセル8bである。
まずはじめに、各第1のピクセル8aに対して第1の周辺区域13aが特定される。これは例えば、5×5のピクセルの大きさを有する周辺区域である。ここで、各ピクセル8aは有利には、第1の周辺区域13aの中央箇所に位置する。
第1のカメラ1aの各第1のピクセル8aに対して、図4に示されているように、第1のカメラ1aのエピポーラ線9aが使用され、並びに、これに対応する、第2のカメラ1bのエピポーラ線9bが使用される。上述のように、これらのエピポーラ線9a、9bは既に、カメラ1a、1bの較正の過程において求められている。次に、エピポーラ線9b上に位置する第2のカメラ1bの画像上の第2のピクセル8bに対して、5×5ピクセルの第2の周辺区域13bが求められ、第1の周辺区域13aと比較される。この比較の過程において、一致度が求められる。この一致度は、2つの周辺区域13a、13bの強度値が一致しているか否かを示す。
2つの周辺区域13a、13bが、自身に割り当てられている強度値に関して一致していると、一致度が、その表現に依存して、最大値または最小値を供給し、殊に、完全一致の場合には0を供給する。例えば、2つの周辺区域に対する一致度としてユークリッド間隔が使用される。この場合にはピクセル毎に、周辺区域の強度値全体が相互に比較される。一致度を形成する別の方法は、Reinhard Klette, Andreas Koschan, Karsten Schluens著「Computer Vision - Raeumliche Information aus digitalen Bildern, 1.Auflage (1996), Friedr. Vieweg & Sohn Verlag」に記載されている。各周辺区域13a、13bに対する一致度は、2つのピクセルによって形成される。これらのピクセルのうちの1つは、第1のカメラ1aの画像内に位置し、別の1つは、第1のエピポーラ線9aに対応している第2のエピポーラ線9b上に位置し、第1のエピポーラ線上には第1のカメラ1aの画像内の第1のピクセル8aが位置する。各第2のエピポーラ線9b上には典型的に100〜1000個のピクセルが位置しているので、それぞれ、第2のエピポーラ線9b上に位置する点全体に対する一致度が形成される。この一致度は、各ピクセルの画像位置とともに、離散して定義されている関数内に書き入れられる。その定義領域は、補間関数20によって、全体的な第2のエピポーラ線9b上に及んでいる。一致度のこの分散して定義された関数および属する補間関数20が、図5に示されている。この補間関数20から極大値を探し出し、極大値が見出された画像位置14が、第1のカメラの画像からのピクセル8aに相応する画像位置と見なされる。この画像位置14並びに第1のカメラ1aの画像からのピクセル8aの画像位置上に、画像領域内の非常に近似した周辺区域並びに周辺区域の明確性に基づいて、同一の対象物領域が結像されることが仮定される。
これによって、第1のカメラ1aの画像のピクセルに対して、同一の対象物領域を結像する第2のカメラ1bの画像の画像位置の探索は、第2のエピポーラ線9b上に制限される。従って、ランダム画像全体に対する周辺区域の明確性の非常に厳しい基準から離れ、2つのカメラ1a、1bの画像内で同一のエピポーラ線9a、9b上に位置するピクセルに対してのみ周辺区域の明確性が要求される。許容されるランダム画像の領域のこのような拡張に基づいて、多くの場合には、3×3の周辺区域のみが求められる。確実性を高めるために、ないしは正確性を高めるために、数値的にコストのかかる5×5の周辺区域を使用することができる。
求められた2つの画像位置は、空間位置17を供給する較正の過程において変換の影響を受ける。この空間位置17は、撮影の過程において2つのカメラの画像内の2つの求められた画像位置上に結像された、空間内の位置に相応する。
この方法が、第1のカメラ1aの画像の幾つかの画像点8aに対して使用されると、同様に多数の画像位置14が、第2のカメラの同時に撮影された画像内で得られ、これと並んで同様に、撮影された対象物30の表面上に位置する多数の空間点17が得られる。
本発明による装置の拡張は図1に示されている。ここでこれは付加的に切り替え可能な光源6を有している。この光源は、結像されるべき対象物30を、2つのカメラの撮影領域3a、3bの重畳領域4内で照明する。この光源6は可及的に短く、投影ユニット2をスイッチオンする前にスイッチオンされる。次に、2つのカメラ1a、1bのうちの1つまたは両方によってそれぞれ1つの画像が作成され、1つまたは複数のカラーチャネルに対する強度値が撮影される。その後、光源6がスイッチオフされ、投影ユニット2がスイッチオンされ、空間位置17を求めるための上述した方法が実施される。光源6の光による画像の撮影の間および、これに続く空間位置17の撮影の間の装置の位置は不変のままであると仮定される。画像位置14および属する空間点17が特定された後、各空間点17に、変換を介して確定されたピクセル8aおよび/または第2のエピポーラ線9b上の属する第2のピクセル8bの強度値が割り当てられる。
本発明による方法の付加的な改善は、次のことによって行われる。すなわち、点を求めた後に、メッシュ分割ステップを、個別の空間点17の求められた点集合上で用いることによって行われる。ここで求められた空間点17は、三次元対象物の表面の点と見なされる。これは四面体によって表される。場合によっては、この表現は、別の種類のエレメント、例えば角柱または立方体によって行われる、または表面だけが三角計または四角形によって表される。メッシュ分割アルゴリズムの包括的な記載は例えば、 Joe. Simpson著「Triangular Meshes for Regions of Complicated Shape, International Journal for Numerical Methods in Engineering, Wiley, Vol 23, pp.751-778. 1986」またはBorouchaki, Lo著「Fast Delaunay triangulation in three dimensions, Computer methods in applied mechanics and engineering, Eisevier, Vol 128, pp. 153-167. 1995」において見出される。
事前に既に、個々の空間点17に強度値が割り当てられている場合には、これらの強度値は、補間によって、表面のエレメント上に伝達される。これによって、表面の一貫した色表現が得られる。
図示された装置は、1秒あたり、結像されるべき対象物30の約10〜20の結像を行う。装置が図6に示されているように、結像されるべき対象物、ここでは歯に対して緩慢に動かされ、相次ぐ2つの時間区間において、重複した対象物領域が撮影される場合には、この重複した画像領域を、等長変換によって相互に移行させて、これらを同じ空間領域内に位置付けることができる。このような方法は例えば、Timothee Jost, Heinz Huegli著「Fast ICP algorithms for shape registration, Proceedings of the 24th DAGM Symposium on Pattern Recognition, pp. 91 - 99, 2002」に記載されている。複数の異なる時点で複数の画像を撮影することによって、大きい三次元画像が、複数の小さい画像から構成される。このような手法によって、図6に示された歯列全体が三次元で結像される。この撮影プロセスの間、目下撮影された各三次元の全体結像が、モニター上に示される。測定過程が次に付加的にサポートされ、測定の間、同時に、測定ヘッドの最適な配向(仮想水平)および目下の配向が、その時々の三次元画像に基づいて示される。
本発明による装置の以下に記載された改善によって、カメラによって撮影された画像のコントラストが改善される。撮影されるべき対象物の表面が非常に高い反射性を有する場合には、画像は時折、正しく示されない、ないしは、画像上に幾つかの意図しない反射が生じてしまう。これによって撮影の質が格段に悪くなる。このような理由から、マット化する流体、例えばアルギン酸塩が歯の上に散布される。このアルギン酸塩は、上述の手法による三次元画像の撮影を格段に容易にする。このような理由から、装置は噴霧器7を有する。この噴霧器によって、マット化する流体が、撮影されるべき対象物上に被着される。
装置を担う器具10の取っ手の背面にはケーブルが設けられている。このケーブルによって、装置は処理ユニットと接続される。この処理ユニットは、カメラ1a、1b、投影ユニット2、光源6に供給電圧を供給し、求められたデータをカメラ1a、1bから受信する。さらに、流体が、器具10の取っ手を通る流体線路を介して噴霧器7に供給される。
択一的に、データを処理ユニットに伝送するために、WLANインタフェースを使用することができる。これは、ケーブルガイドが不必要である、という利点を呈する。この実施例では、器具10はカメラに電圧を供給するためのバッテリー、投影ユニットおよび光源、並びに、マット化する流体のためのタンクを有している。
有利には、ランダム画像40は次のように選択される。すなわち、2つのカメラ1a、1bの画像内で、同じエピポーラ線9a、9b上に位置するピクセルが明確な周辺区域13a、13bを有するように選択される。
このようなランダム画像40は、それ自体公知の「構造化されたライトパターン」と以下の点において異なる。すなわち、個々のピクセルの周辺区域13a、13bgが相違し、殊にエピポーラ線9a、9b上でユニークである、という点において異なる。構造化されたライトパターンは、複数のピクセルを有する。これらはそれぞれ、同一の周辺区域13a、13bを有する。構造化されたライトパターンとは異なり、識別方法が、1つの画像撮影ステップによって撮影されたカメラ画像内の同じ空間点の同時の識別によって行われる。これは殊に有利である。なぜならこれによって、相前後して行われる複数の撮影時に、複数の構造化されたライトパターンによって生じる運動アーチファクトが回避されるからである。このようにして、三次元画像の迅速かつ容易な検出が可能になる。

Claims (11)

  1. 重複する撮影領域を有する2つのカメラ(1a、1b)を用いて対象物の三次元画像を撮影するための方法であって、
    前記2つのカメラ(1a、1b)の配置を事前に較正し、この際に当該2つのカメラ(1a、1b)の相互の位置および向きを確定し、かつ、変換を特定し、当該変換は、一方のカメラ(1a)によって撮影された画像のピクセルの画像位置(8a)、他方のカメラ(1b)によって撮影された画像のピクセルの画像位置(8b)それぞれ、三次元撮影空間における1つのボクセルの空間位置(17)割り当て、
    さらに前記較正プロセスの過程において、前記各カメラ(1a、1b)に対してそれぞれ1つのエピポーラ線(9a、9b)の群を求め、この際に、一方のカメラ(1a)の1つのエピポーラ線(9a)を他方のカメラ(1b)の1つのエピポーラ線(9b)にそれぞれ割り当てる方法において、
    前記較正プロセスの後に、
    予め設定されたランダム画像(40)を、前記撮影されるべき対象物(30)上に投影し、当該ランダム画像(40)の個々の画像点は、相違する少なくとも2つの色値および/または強度値を有しており、次に、前記第1のカメラ(1a)の各ピクセルに対して、
    複数の互いに隣接するピクセルからなる第1の周辺区域(13a)を特定し、
    ・前記第1のカメラ(1a)に対して見出され、かつ、各ピクセル(8a)を含んでいる第1のエピポーラ線(9b)を特定し、
    ・当該見出された第1のエピポーラ線(9a)に対応する、前記第2のカメラ(1b)の第2のエピポーラ線(9b)を特定し、
    ・当該第2のエピポーラ線(9b)上に位置する、前記第2のカメラ(1b)の画像の全ピクセル(8b)に対して、
    ・前記第1の周辺区域(13a)と合同である第2の周辺区域(13b)を特定し、
    ・前記第1の周辺区域(13a)の強度値と、前記第2の周辺区域(13b)の強度値を相互に比較し、
    ・当該2つの周辺区域に対する一致度を特定し、
    ・前記一致度が最大である、前記第2のエピポーラ線(9b)上のピクセルの画像位置(14)を特定し、
    ・前記変換を用いて、前記第1のカメラ(1a)のピクセル(8a)の画像位置と、前記第2のエピポーラ線(8b)上の求められた画像位置(14)とに基づいて、空間位置(17)を特定し、当該空間位置(17)を記憶し、前記撮影された対象物(30)の像を、当該見出された空間位置(17)のセットによって特定し、さらなる処理のために供給し、
    前記第1の周辺区域(13a)と、前記第2のカメラ(1b)の画像のエピポーラ線(9b)上の第2のピクセル(8b)の第2の周辺区域(13b)との一致が不足している場合には、前記撮影されるべき対象物(30)の表面をマット化する流体を、当該撮影されるべき対象物上に散布し、前記流体の散布後に、一致する周辺区域を見出す過程を続ける、
    ことを特徴とする、三次元画像を撮影するための方法。
  2. 前記空間位置(17)のセットの記録の直前または直後に、前記ランダム画像の投影をオフにし、なくとも1つのカメラ(1a、1b)によって、前記撮影すべき対象物(30)の画像を記録し、
    前記求められた各空間点(17)に、前記変換に基づいて前記空間点(17)の空間位置が求められたところのピクセル(8a、8b)の画像位置(14)の、つまたは複数の強度値割り当てる、請求項1記載の方法。
  3. メッシュ分割方法を用いて、記録された点のセットに基づいて、複数の空間エレメントまたは表面エレメントを伴う表面分解または空間分解を行う、請求項1または2記載の方法。
  4. 前記表面分解の表面エレメントに、前記点のセットの空間点の強度値から、間によって求められた強度経過を割り当て、請求項2または3記載の方法。
  5. 対象物(30)の三次元画像を継続的に撮影し、
    当該対象物を、前記カメラ(1a、1b)の配置に対して相対的に動かし、
    ここで時間的に連続した2つの画像の前記撮影された空間領域の重畳が生じるように当該相対運動を緩慢に行い、前記求められた点のセット、表面分解または空間分解を等長変換によって見出し、これによって、複数の撮影から、1つの合成された撮影を作成する、請求項1から4までのいずれか1項記載の方法。
  6. 2つのカメラ(1a、1b)の画像内で同じエピポーラ線(9a、9b)上に位置するピクセルが明確な周辺区域(13a、13b)を有するように前記ランダム画像(40)を選択する、請求項1からまでのいずれか1項記載の方法。
  7. 重複する撮影領域を有する2つのカメラ(1a、1b)を用いて対象物の三次元画像を撮影するための装置であって、
    ランダム画像(40)を結像するための投影ユニット(2)を有しており、当該ランダム画像(40)の個々のピクセルは、相違する少なくとも2つの色値および/または強度値を有しており、
    当該投影ユニット(2)によって、前記ランダム画像(40)が、2つのカメラ(1a、1b)の前記重複した撮影領域内に投影される装置において、
    a)前記カメラ(1a、1b)に較正ユニットが後置接続されており、当該較正ユニットによって、
    ・当該2つのカメラ(1a、1b)の相互の位置および向きが確定され、変換が特定され、当該変換は、一方のカメラ(1a)によって撮影された画像の画像位置ピクセルと、他方のカメラ(1b)によって撮影された画像の画像位置ピクセルにそれぞれ、三次元撮影空間における1つの空間位置(17)ボクセルを割り当て、
    ・前記較正ユニットによって、前記各カメラ(1a、1b)に対してそれぞれエピポーラ線(9a、9b)の群を求め、一方のカメラ(1a)の1つのエピポーラ線(9a)に、他方のカメラ(1b)の1つのエピポーラ線(9b)をそれぞれ割り当て、
    b)前記カメラに評価ユニットが後置接続されており、当該評価ユニットによって、前記第1のカメラ(1a)によって撮影された画像の各ピクセルに対して、
    複数の互いに隣接するピクセルからなる周辺区域(13a)が特定され、
    ・当該第1のカメラ(1a)に対して見出され、前記第1のカメラの各ピクセル(1a)を含んでいる第1のエピポーラ線(9a)が特定され、
    ・当該見出された第1のエピポーラ線(9a)に対応する、前記別のカメラ(1b)の第2のエピポーラ線(9b)が特定され、
    ・前記第2のエピポーラ線(9b)上に位置する、前記第2のカメラ(1b)の画像の全ピクセル(8b)に対して、
    ・前記第1の周辺区域(13a)と合同である第2の周辺区域(13b)が特定され、
    c)前記第1の周辺区域(13a)の強度値と前記第2の周辺区域(13b)の強度値を相互に比較する比較ユニットが設けられており、ここで
    ・前記比較ユニットによって、当該2つの周辺区域に対する一致度が特定され、前記一致度が最大である、前記第2のエピポーラ線(9b)上のピクセルの画像位置特定され、
    ・前記比較ユニットによって、変換が、前記第1のカメラ(1a)のピクセル(8a)の画像位置と、前記第2のエピポーラ線(9b)上の求められた画像位置(14)とに基づいて、空間位置(17)を特定可能であり、当該空間位置(17)は記憶装置内に記憶可能であり、
    前記撮影されるべき対象物上にマット化する流体を被着させるための噴霧器(7)を有している、
    ことを特徴とする、三次元画像を撮影するための装置。
  8. り替え可能である光源(6)を有しており、当該光源は、前記2つのカメラの重複している撮影領域を照明する、請求項記載の装置。
  9. 前記2つのカメラ(1a、1b)の光軸はほぼ平行に配向されている、請求項7または8記載の装置。
  10. 前記2つのカメラ(1a、1b)と前記投影ユニット(2)は同じ担体または器具(10)上に配置されている、請求項からまでのいずれか1項記載の装置。
  11. 前記2つのカメラ(1a、1b)の画像内で、同じエピポーラ線(9a、9b)上に位置するピクセルが明確な周辺区域(13a、13b)を有するように前記ランダム画像(40)を選択する、請求項から10までのいずれか1項記載の装置。
JP2012532413A 2009-10-07 2010-10-06 三次元画像を撮影するための方法 Expired - Fee Related JP5328985B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA1585/2009 2009-10-07
AT0158509A AT508563B1 (de) 2009-10-07 2009-10-07 Verfahren zur aufnahme dreidimensionaler abbilder
PCT/AT2010/000372 WO2011041812A1 (de) 2009-10-07 2010-10-06 Verfahren zur aufnahme dreidimensionaler abbilder

Publications (2)

Publication Number Publication Date
JP2013507601A JP2013507601A (ja) 2013-03-04
JP5328985B2 true JP5328985B2 (ja) 2013-10-30

Family

ID=43430905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532413A Expired - Fee Related JP5328985B2 (ja) 2009-10-07 2010-10-06 三次元画像を撮影するための方法

Country Status (7)

Country Link
US (1) US9050158B2 (ja)
EP (1) EP2486542B1 (ja)
JP (1) JP5328985B2 (ja)
KR (1) KR101395234B1 (ja)
AT (1) AT508563B1 (ja)
BR (1) BR112012008009A2 (ja)
WO (1) WO2011041812A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT510554B1 (de) 2011-03-18 2012-05-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
AT511223B1 (de) 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
AT511251B1 (de) 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
DE102012100953B4 (de) 2012-02-06 2020-01-09 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
DE102012100955A1 (de) 2012-02-06 2013-08-08 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten
DE102012100959A1 (de) 2012-02-06 2013-08-08 A.Tron3D Gmbh Verfahren zum Darstellen optisch ermittelter Oberflächengeometrien
JP6015501B2 (ja) * 2012-06-01 2016-10-26 ソニー株式会社 歯用装置及び医療用装置
EP2672461A1 (de) 2012-06-05 2013-12-11 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
US9080856B2 (en) * 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9268012B2 (en) 2013-07-12 2016-02-23 Princeton Optronics Inc. 2-D planar VCSEL source for 3-D imaging
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
EP2886043A1 (de) * 2013-12-23 2015-06-24 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
IL235952A0 (en) 2014-11-27 2015-02-26 Imaging Solutions Ltd Ab Intraoral 3D scanner
KR102042024B1 (ko) 2017-12-14 2019-11-07 주식회사 바텍 구강 스캐너
KR102033426B1 (ko) 2018-03-20 2019-10-17 주식회사 바텍 구강 스캐너
US11096765B2 (en) 2018-06-22 2021-08-24 Align Technology, Inc. Light field intraoral 3D scanner with structured light illumination
US10849723B1 (en) 2019-05-07 2020-12-01 Sdc U.S. Smilepay Spv Scanning device
KR102385076B1 (ko) * 2020-07-10 2022-04-11 주식회사 메디트 데이터 잠금 시스템 및 데이터 잠금 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194126A (ja) 2000-01-14 2001-07-19 Sony Corp 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
JP2002013918A (ja) 2000-06-29 2002-01-18 Fuji Xerox Co Ltd 3次元画像生成装置および3次元画像生成方法
JP3975736B2 (ja) 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP3626144B2 (ja) 2002-03-01 2005-03-02 株式会社セルシス 立体オブジェクトデータからの漫画的表現の2次元画像の生成方法および生成プログラム
EP1506745A1 (de) * 2003-08-15 2005-02-16 Jeanette Mörmann Rohling und Verfahren zur Herstellung einer Zahnrestauration
EP1524622A1 (en) 2003-10-17 2005-04-20 Koninklijke Philips Electronics N.V. Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
KR100764419B1 (ko) * 2004-02-09 2007-10-05 강철권 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법
US7804585B2 (en) * 2006-01-08 2010-09-28 Visiontools Bildanalyse Systeme Gmbh Creation of a range image
US7986321B2 (en) * 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
US8830309B2 (en) 2008-01-04 2014-09-09 3M Innovative Properties Company Hierarchical processing using image deformation

Also Published As

Publication number Publication date
WO2011041812A1 (de) 2011-04-14
AT508563B1 (de) 2011-02-15
US20120218389A1 (en) 2012-08-30
KR101395234B1 (ko) 2014-05-15
JP2013507601A (ja) 2013-03-04
EP2486542A1 (de) 2012-08-15
AT508563A4 (de) 2011-02-15
BR112012008009A2 (pt) 2019-09-24
KR20120081185A (ko) 2012-07-18
EP2486542B1 (de) 2018-07-04
US9050158B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
JP5328985B2 (ja) 三次元画像を撮影するための方法
US7986321B2 (en) System and method for generating structured light for 3-dimensional image rendering
JP6198857B2 (ja) 3次元の画像形成を行うための方法及びシステム
US10937179B2 (en) System and method for 3D scene reconstruction with dual complementary pattern illumination
US10347031B2 (en) Apparatus and method of texture mapping for dental 3D scanner
CN105358092B (zh) 用于牙齿表面成像设备的基于视频的自动获取
US8134719B2 (en) 3-D imaging using telecentric defocus
JP6112769B2 (ja) 情報処理装置、情報処理方法
EP2212645B1 (en) Method for optical measurement of the three dimensional geometry of objects
US20100046005A1 (en) Electrostatice chuck with anti-reflective coating, measuring method and use of said chuck
US20100245851A1 (en) Method and apparatus for high-speed unconstrained three-dimensional digitalization
US20100284589A1 (en) Method for optical measurement of objects using a triangulation method
JP2019523064A5 (ja)
US20100239136A1 (en) Device for Determining the 3D Coordinates of an Object, In Particular of a Tooth
WO2013008804A1 (ja) 計測装置および情報処理装置
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
JP2009515493A (ja) カメラ動きの決定
JP2003130621A (ja) 3次元形状計測方法およびその装置
JP2012215394A (ja) 三次元計測装置および三次元計測方法
US20170103569A1 (en) Operator interface for 3d surface display using 2d index image
CN108261171A (zh) 口内三维扫描装置和方法
JP6293122B2 (ja) 歯の状況の測定方法
EP3195253B1 (en) 3- d intraoral measurements using optical multiline method
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
JP2011095131A (ja) 画像処理方法

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130723

R150 Certificate of patent or registration of utility model

Ref document number: 5328985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees