JP7450558B2 - カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム - Google Patents

カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム Download PDF

Info

Publication number
JP7450558B2
JP7450558B2 JP2020568340A JP2020568340A JP7450558B2 JP 7450558 B2 JP7450558 B2 JP 7450558B2 JP 2020568340 A JP2020568340 A JP 2020568340A JP 2020568340 A JP2020568340 A JP 2020568340A JP 7450558 B2 JP7450558 B2 JP 7450558B2
Authority
JP
Japan
Prior art keywords
lens
camera
light source
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020568340A
Other languages
English (en)
Other versions
JP2021527206A (ja
Inventor
テューエス,マイケル
Original Assignee
デンツプライ シロナ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デンツプライ シロナ インコーポレイテッド filed Critical デンツプライ シロナ インコーポレイテッド
Publication of JP2021527206A publication Critical patent/JP2021527206A/ja
Application granted granted Critical
Publication of JP7450558B2 publication Critical patent/JP7450558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0009Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
    • G02B19/0014Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only at least one surface having optical power
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0047Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
    • G02B19/0061Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED
    • G02B19/0066Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED in the form of an LED array
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30Collimators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/005Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0062Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G02B3/0068Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本願は、全般的に、カメラ内で動的投影パターンを生成するためのデバイスに関し、より詳細には、3次元(3D)測定のために対象物の表面上に投影するための動的パターンをカメラ内で生成するために光学アレイ生成器を利用するためのデバイス、方法およびシステムに関する。
縞投影のような構造化光走査方法では、正弦波縞パターンのような光の構造化パターンで対象物が照明され得る。構造化パターンは、対象物によって幾何学的に歪められ、または位相変調され、その後、投影に対して既知の角度でカメラを用いて画像として記録され得る。フーリエ変換のような技術を用いて、記録された画像を分析することによって歪み、変位または位相変調を計算することができる。例えば、適切な位相アンラッピングアルゴリズム、パターン認識またはエッジ検出方法を使用して、記録画像内のデプスキューが再構成のために3D座標に変換され得る。例えば、対象物の高さの変化に比例する連続的な位相分布が得られ、アンラップされた位相分布を現実世界の3D座標にマッピングするようにシステムが調整され得る。
具体的には、3D情報は、投影パターンの投影方向に対してある角度傾斜した観察角度で対象物の画像を撮影することによって取得され得る。その後、投影パターンは、対象物の表面形状によって歪められる。投影パターンの特徴は、画像処理アルゴリズムによって、歪んだ画像内の対応する特徴と照合され得る。測定されている対象物が半透明である場合に問題が生じる。投影光は、半透明の対象物を透過し、その深さ方向に拡散される。このような材料の例としては、ワックス、皮膚または歯が挙げられる。その結果、対象物の深さからの拡散非構造化散乱光が対象物の表面によって反射された所望の光に重畳されるので、対象物の表面上のパターンのコントラストが著しく低下する。コントラストの低下により、ノイズが信号振幅よりも大きくなり得るため、投影特徴の検出が不可能になり得る。同様に、プロジェクタを使用した立体撮影の場合には、投影画像と記録画像との間に全く相関が見られない場合がある。この状況における改善可能な点は、センサ上の光量を増加させて、信号に対するセンサのショットノイズを低減することである。しかしながら、これは、画像センサ画素のフルウェルキャパシティによって技術的に制限される。さらに、「対象物ノイズ」(例えば粗い表面または不均一な着色から、対象物自体によって引き起こされる外乱)は、光量を増加させることによって低減することができない。
上記に関連した既存の制限および他の制限は、対象物の表面上に投影するための動的パターンをカメラ/スキャナ内で生成すると同時に、ノイズを低減し、3次元(3D)測定のためのデータ密度を増加させるために光学アレイ生成器を利用するためのデバイス、方法およびシステムによって克服され得る。本明細書では、測定対象物の表面上に光学的特徴を生成するために、投影光パターンが使用され、対象物を測定するために、三角測量原理に従って動作する光学的3D測定方法が使用され得る。光パターンは、カメラによって撮像された対象物上に投影され得る。対象物の表面が3D表面変化のない平面である場合、対応する反射画像内に示されるパターンは、投影光パターンのパターンと同じ(または同様)であり得る。しかしながら、対象物の表面が非平面である場合、対応する画像内の投影された構造化光パターンは、表面形状によって歪められ得る。投影された構造化光パターンの歪みからの情報を使用して、測定されている対象物の3D表面幾何学的形状を抽出することができる。ノイズ低減およびデータ密度増加設定/技術と共に、様々な構造化照明パターンを使用することにより、対象物の3D表面プロファイルを測定することができる。
一態様では、本発明は、投影のための複数の動的パターンを生成するための光学アレイ生成器と、複数の動的パターンを測定対象物の表面上に合焦させるためにカメラ内に配置された第1の結像光学系と、測定対象物の表面による複数の動的パターンの反射によって形成された複数の反射画像を記録するためにカメラ内に配置された画像センサと、画像センサ上に複数の反射画像を結像するためにカメラ内に配置された第2の結像光学系とを備える3Dカメラであって、光学アレイ生成器は、(i)各々の領域の光度が別個に制御される複数の離散領域を含む光源、(ii)複数の動的パターンを形成するために光源からの光を像面に結像するように構成された複数のレンズを備えるレンズアレイ、および(iii)光源の光をレンズアレイ上へ方向付けるように構成されたコリメータを備え、光源の複数の領域の光度は、時間の経過とともに変動するように複数の動的パターンを生成するように電子的に制御される、3Dカメラを提供する。
別の態様では、本発明は、1つまたは複数の以下の特徴を含み得る。(i)複数のレンズの各々が両凸レンズであるカメラ、(ii)光源の複数の離散領域がLEDダイ、レーザダイオード、および他端に他の光源が取り付けられた複数の光ファイバの一端からなる群から選択されるカメラ、(iii)複数のコリメータおよび複数の光源をさらに備えるカメラ、(iv)記録画像を処理するためのデジタル信号処理ユニットをさらに備えるカメラ、(v)画像センサが画素内復調を実行するように構成されたカメラ、(vi)光源がLEDダイの2×2LEDアレイであるカメラ、(vii)複数のレンズの各々が球面レンズであるカメラ、(viii)複数のレンズの各々がシリンドリカルレンズであるカメラ、(ix)レンズアレイの厚さが50μm~10mmであるカメラ、(x)レンズアレイがガラスキャリア、ガラスキャリアの両側に成形された2つのポリマー層、および光源の光を選択的に変更するためにガラスキャリアに貼り付けられた構造化マスクを備えるカメラ、(xi)マスクが光源からの光にバイナリコードまたはカラーコードを刻印するための構造化カラーフィルタであるカメラ、(xii)複数の動的パターンが非周期的であるカメラ、(xiii)非周期的動的パターンを生成するためにレンズアレイの複数のレンズの中心が個別にオフセットされているカメラ、(xiv)複数の動的パターンが周期的であるカメラ、(xv)レンズアレイが入射レンズと出射レンズの対を備え、入射レンズがフーリエレンズとしての機能を果たし、出射レンズがフィールドレンズとしての機能を果たし、各々の対が像面に副画像を生成するカメラ、(xvi)レンズアレイがフーリエレンズとしての機能を果たす入射レンズを有する第1のレンズアレイとフィールドレンズとしての機能を果たす出射レンズを有する第2のレンズアレイとを備え、第1のマイクロレンズアレイおよび第2のマイクロレンズアレイが片面プロファイルを有し、互いに向かい合わせになるように構成されるカメラ、および(xvii)これらの組み合わせ。
一態様では、本発明は、対象物を測定するための複数の動的パターンを生成する方法であって、コリメータのための構造化光を生成するために光源の複数の離散領域の各々の光度を電子的に制御するステップと、コリメータを使用して光源からの構造化光をレンズアレイ上へ方向付けるステップと、レンズアレイの複数のレンズを使用して構造化光の副画像を生成するステップであって、副画像は複数の動的パターンを形成するためにレンズアレイの焦点面に形成される、副画像生成ステップと、複数の動的パターンを測定対象物の表面に合焦させるステップと、複数の反射画像を画像センサ上に結像するステップと、画像センサを用いて複数の反射画像を記録するステップと、光源の変調信号を使用して対象物の3次元画像を取得するために複数の記録画像を処理するステップとを含む、方法を提供する。
一態様では、本発明は、以下の特徴のうちの1つまたは複数を含む方法を提供する。(i)時系列順に動的パターンを投影し、評価して、完全なパターンを投影するために受信される3Dデータ点の総数と同じまたは実質的に同じ総数の3Dデータ点を受信することによって、対象物の平均放射照度を低減するステップをさらに含む方法、(ii)対象物の平均放射照度がある係数だけ低減される方法。一態様では、係数は2であり、(iii)レンズアレイの複数のレンズの中心を個別にオフセットすることによって非周期的パターンを生成するステップを含む方法、(iv)それらの任意の組み合わせ。
さらに別の態様では、本発明は、対象物を測定するための複数の動的パターンを生成するシステムであって、コリメータのための構造化光を生成するために光源の複数の離散領域の各々の光度を電子的に制御し、コリメータを使用して光源からの構造化光をレンズアレイ上へ方向付けし、レンズアレイの複数のレンズを使用して構造化光の副画像を生成し、この場合、副画像は複数の動的パターンを形成するためにレンズアレイの焦点面に形成され、照明光学系を用いて複数の動的パターンを測定対象物の表面上に結像し、画像センサを用いて対象物の表面からの複数の反射画像を記録するステップと、光源の変調信号を使用して対象物の3次元画像を取得するために複数の反射画像を処理するように動作可能な少なくとも1つのプロセッサを備えるシステムを提供する。
さらなる特徴ならびに利点、および本明細書内の様々な実施形態の構造ならびに動作について、添付図面を参照しながら以下で詳細に説明する。
例示的な実施形態は、本明細書内の以下の詳細な説明および添付図面からより十分に理解されるであろう。図面において、同様の要素は、同様の参照文字で表され、これらの要素は、単なる例に過ぎず、したがって、本明細書内の例示的な実施形態を限定するものではない。
対象物を測定するためのパターンを投影するために使用されるカメラシステムを示す図である。 図1のシステムのコンピュータシステムの一例のブロック図である。 構造化照明のためのプロジェクタの概略図である。 本明細書内の一実施形態に係る光学アレイ生成器を示す図である。 本明細書内の一実施形態に係る球面レンズアレイによるドットパターンの生成を示す図である。 本明細書内の一実施形態に係るシリンドリカルレンズアレイによるストライプパターンの生成を示す図である。 本明細書で説明される例示的な一実施形態を示す図である。 レンズアレイと追加のマスクとの組み合わせを示す図である。 本明細書内の一実施形態の2つの投影パターンの関係を示す図である。 レンズが向かい合わせで取り付けられた、2つの片面整列レンズアレイを示す図である。
異なる図面は、同じ構成要素を識別するために少なくともいくつかの同一の参照番号を有し得るが、以下では、そのような各々の構成要素について、各図面に関して詳細に説明していない場合がある。
本明細書に記載されている例示的な態様によれば、3次元(3D)測定のために対象物の表面上に投影するための動的パターンをカメラ(例えば、歯科用カメラ)内で生成するための方法およびシステムが提供される。
一態様では、投影パターンを生成するための光学アレイ生成器2が、カメラ1(例えば、歯科用カメラ)内に設けられ得る。光学アレイ生成器は、コリメータ21と、LEDアレイ20と、レンズアレイ22とを備え得る。コリメータ21は、LEDアレイ20の光を、サブレンズ25を備えるレンズアレイ22上へ方向付けるように構成され得る。コンピュータシステム100は、所定のパターンで光を放出するように、(i)画像センサ4の露光時間と、(ii)LEDアレイ20のLEDとを制御し、同期させることができる。例えば、いくつかのLEDは、所定のパターンの構造化光を生成するために、他のLEDがオフにされるのと同時にオンにされ得る。本明細書内の一実施形態では、LEDの時間的な点灯シーケンスが周期的に繰り返され得る。レンズアレイ22の各々のサブレンズ25は、制御されたLEDアレイ20の画像を生成するように構成され得る。したがって、LEDアレイ20によって生成された画像/構造化光は、レンズアレイ22によって副画像26のアレイに増倍され得る。レンズアレイ22の副画像26は、レンズアレイ22の焦点面23で合成されて合成画像27が形成される。レンズアレイ22のレンズ25は、照明経路において高い開口数を使用することにより高い光効率を可能にするために両凸レンズであり得る。本明細書内の一実施形態では、両凸レンズの第1の界面は、画像を生成するフーリエレンズとしての機能を果たし得る。第2の界面は、フィールドレンズとしての機能を果たし、カメラシステムの結像光学系の瞳へ光を方向付けることができる。別の実施形態では、カメラ1は、測定対象物14の表面上に合成画像27を投影するための投影光学系を備える。本明細書内の一実施形態では、副画像への変換のためにLEDアレイ20によって生成された画像は、構造化され、可変(非静的)であり得る。本明細書内の一実施形態では、光源はLEDダイ59を備え得る。別の実施形態では、レーザダイオードまたは他の発光素子(図示せず)が使用され得る。さらに別の実施形態では、光源は、他端に光源が取り付けられた複数の光ファイバの一端から形成され得る。さらに別の実施形態では、各々が複数の光源を有する複数のコリメータ21が使用され得る。
本明細書内の別の例示的な実施形態によれば、カメラシステム101が提供される。カメラシステムは、測定対象物14上に投影パターンを生成するように構成された光学アレイ生成器2と、反射された投影パターンを記録するためのセンサ4と、記録された画像を処理するためのデジタル信号処理ユニット5とを含み得る。一実施形態では、センサ4は、センサがフォトダイオード、前置増幅器、同期復調器、および積分器を備える、画素内復調機能を含み得る。別の実施形態では、センサ4は、光学アレイ生成器によって生成された異なる投影パターンための画像の連続シーケンスを記録するための2Dセンサである。別の実施形態では、システム101は、記録された画像をさらに処理し、対象物14の3次元測定を表示するための取得ユニット6を備える。
本明細書内の別の例示的な実施形態によれば、光学アレイ生成器2を利用して、3次元(3D)測定のために対象物の表面15上に投影するための動的パターンをカメラ内で生成する方法が提供される。本明細書内の例示的な一実施形態によれば、該方法は、LEDアレイ20から複数の投影パターンを生成するステップと、コリメータ21を使用してLEDアレイ20の複数の投影パターンの各々をレンズアレイ22上へ方向付けるステップと、レンズアレイのサブレンズ25を用いて複数の投影パターンの各々の副画像26を生成するステップであって、副画像26はレンズアレイ22の焦点面23内に形成されて合成画像27を形成する、副画像生成ステップと、複数の投影パターンを測定対象物14の表面15上に合焦させるステップと、複数の反射画像を画像センサ4上に結像するステップと、センサ4を用いて対象物の表面15からの複数の反射画像を記録するステップと、複数の記録画像を処理して対象物の3次元画像を取得するステップとを含む。
一実施形態では、複数の投影パターンを生成するステップは、投影用のLEDアレイを用いて時変パターンを生成することによって測定対象物の平均放射照度を低減することを含み得、この場合、投影パターンの1つまたは複数の標識(例えば、形状、ストライプ、ドット、および/またはその他)は省略される。一実施形態では、投影パターンのn番目ごと、例えば1つおきの明るい標識(例えば、ストライプ、格子パターン)は、コンピュータシステム100によるLEDアレイ22の制御によって省略され得る。投影パターンの1つおきの明るい標識(例えば、ストライプ)が省略される一実施形態では、対象物14の平均放射照度は2分の1に低減され得、このことはさらに、対象物14の拡散背景放射を半減させるが、残りの縞の信号振幅は、同じまたは実質的に同じままである。投影パターンの1つおきの明るい標識(例えば、ストライプ)が省略される一実施形態では、信号対ノイズ比は、2の平方根倍に改善され得る。ストライプの省略は、3D再構成のための利用可能な特徴の数を減少させ、したがって、1周期の係数だけシフトされた交互パターンは、省略しなかった場合と同じまたは実質的に同じ総数の3D再構成のための3Dデータ点が取得されるように、時系列順に投影される。例えば、一実施形態では、第1の投影パターンおよび第2の投影パターンは、交互の明るいストライプおよび暗いストライプを含む標準投影パターンから得られる。第1の投影パターンは、標準投影パターンの1つおきの明るいストライプを省略することによって得られる。第2の投影パターンは、第1の投影パターンを半周期だけシフトさせることによって得られる。第1の投影パターンおよび第2の投影パターン(すなわち、半周期だけシフトされた第1の投影パターン)を交互に投影することによって、標準投影パターンが投影のために使用された場合と同じまたは実質的に同じ数の3Dデータ点が取得され得、したがって、測定対象物に入射する投影ごとの明るいストライプの数、ひいては、測定対象物14の平均放射照度が低減され得る。
別の実施形態では、記録ステップは、画素内復調機能を備えたセンサ4を用いて実行され得、センサは、フォトダイオード、前置増幅器、同期復調器、および/または積分器を備える。別の実施形態では、記録ステップは、光学アレイ生成器によって生成された異なる投影パターンの画像の連続シーケンスを記録するための2Dセンサを用いて実行され得る。別の実施形態では、処理ステップは、記録画像内の投影特徴の位置を特定すること、および記録画像を処理して対象物14の3次元測定値にすることを含む。
本明細書のさらに別の実施形態では、レンズアレイ22のレンズ25は、球面レンズまたはシリンドリカルレンズであり得る。デバイス、方法およびシステムは、3次元測定において生成されるノイズを低減し、対象物を走査するときに収集されるデータの密度を増加させるのに有用であり得る。デバイス、方法およびシステムについて、以下でより詳細に説明する。
光学アレイ生成器、カメラおよびカメラシステム
図1は、カメラ内に動的パターンを生成するためのカメラ1を備え、本明細書内の少なくとも1つの例示的な実施形態に従って構築され、動作され得るカメラシステム101のブロック図を示す。該システムはさらに、対象物の3次元表現を生成し、表示するためのコンピュータシステム100を備え得る。コンピュータシステム100は、カメラ1と電気的に接続され得る。カメラは、空間的および時間的に変調された光源(例えば、LEDアレイ20)と、コリメータ21と、LEDアレイの合成画像27を生成するためのサブレンズ25を備えるレンズアレイ22とを備える光学アレイ生成器2を含み得る。合成画像27は、副画像26を含み、各々のサブレンズが副画像26を生成し得る。照明用の結像光学系12は、合成画像を測定対象物14上に投影することができる。本明細書内の一実施形態では、結像光学系12は、走査プロセスまたは露光中に、様々な合成画像を含む動的パターンを対象物14上に投影する。対象物14は、例えば、歯、皮膚、歯肉、セラミック、アマルガム、金および/またはその他のものであり得る。カメラはさらに、走査プロセスまたは露光中に、対象物14によって反射された画像を検出するための結像光学系13を備える。受信された画像は、例えば、偏向ミラー3または90°プリズムによってセンサ4に伝搬されて、記録される。センサは、標準的な2Dセンサまたは画素内復調機能を有するセンサであり得、センサの各々の画素は、フォトダイオード、前置増幅器、同期復調器、および積分器を含み得る。各々の画素のフォトダイオードは、対象物14からの光を光電流に変換することができる。次に、光電流が増幅され、同期復調器へ供給され得る。復調器は、光アレイ生成器2の光源の変調信号によって同期され得る。変調周波数は光源によってのみ制限され得ることが分かる。したがって、適切なLEDまたはレーザダイオードが使用される場合に、変調のために使用される周波数は、最大MHz範囲内にあり得る。高い変調周波数(例えば、20kHz~500kHzまたは1kHz~100MHz)を使用することは、非常に高い照度が使用されているときでさえ、画素積分器が飽和され得ないという利点を有し得る。復調器出力は、積分器によって露光時間にわたって加算され得る。露光の終了時に、積分された信号は、光変調の振幅に比例し得る。一定の背景光は復調によって抑制される。読み出しのために、画像マトリクスの画素はスイッチマトリクスによって順次アドレスされ、積分器の電圧はデジタル化され、デジタル信号前処理ユニット5に転送される。センサが標準的な2Dセンサである場合、センサは、光学アレイ生成器2によって生成された異なる照明パターンに対する画像の連続シーケンスを記録することができる。
露光/走査中に、デジタル信号前処理ユニット5は、センサ4の単一の画像フレームを収集し、このユニットのローカルメモリに画像を記憶することができる。画像は、カメラの処理ユニット5上で前処理され得る、またはさらなる処理ステップのために取得ユニット6に送信され得る。処理は、ノイズを低減するための画像フィルタリング、背景光を除去するために異なる光源を用いて生成された画像の減算、およびエッジ検出のようなステップを含み得る。取得ユニット6は、ディスプレイ128と、中央処理ユニット(CPU)123、およびランダム・アクセス・メモリ(RAM)133を含むコンピュータプロセッサとを備え得る。
本明細書内の一実施形態では、前処理された画像データは、表面を表す3D点群を抽出するためにさらに分析され得る。点に適用された歪み補正は、光学系の結像特性を補正する。カメラが記録中に移動されると、異なる視点からの対象物14の異なる部分を示す一連の点群が生じる。これらの点群は、一貫した3Dモデルを提供するために、CPU123によって個々に回転および平行移動される。この3Dモデルは、最終的にディスプレイ128上にレンダリングされる。
図3は、縞投影のためのプロジェクタの基本図である。光源10からの光は、コリメータ11によってマスク16上へ方向付けられる。マスク16からの光は、結像光学系17によって対象物14上に投影され、したがって表面15上で見えるようになる。
図4は、時間的に変動する動的パターンを生成するための光学アレイ生成器2の概略図である。図5は、光アレイ生成器2のLEDアレイ20の上面図である。コリメータ21は、LEDアレイ20の光をレンズアレイ22上へ方向付ける。レンズアレイの各々のサブレンズ25は、LEDアレイの副画像26を生成する。本明細書内の一実施形態では、LEDアレイは、図5に示されているような2×2LEDアレイ30であるが、他のLEDアレイが使用されてもよく、例えば、n×mLED(「n」が1~10であり得、「m」が2~10であり得る)が使用されてもよいが、これに限定されなくてもよい。副画像26は、レンズアレイ22の焦点面23において合成されて、合成画像27が形成される。次に、この焦点面内の合成画像27は、スキャナの照明用結像光学系12(投影光学系)によって対象物表面上に結像され得る。本明細書内の例示的な一実施形態では、図4に示されているように、LEDアレイ20の2つの光源(A、B)は、コリメータ21の対物面(X-Y平面)内に配置される。コリメータ21の後方では、光源から発せられたビームが2つの傾斜ビーム24を形成する。ビームは、レンズアレイ22によって像面23に合焦され得る。各々の個々のレンズは、1つの焦点対(A'、B')を生成し得る。焦点A'と焦点B'との間のオフセットは、傾斜ビーム24の入射角およびレンズアレイの焦点距離の選択によって決定され得る。一実施形態では、複数のコリメータ21および複数の光源が使用され得る。ここでは、光源がコリメータ21と結合されている。個々のコリメータは、レンズアレイ22への必要な入射角に従って真っ直ぐに整列され得る。しかしながら、スペースを節約するために、コリメータを平行に整列させ、偏向要素(例えば、ミラー)を使用してレンズアレイ22への光の入射角を設定することが有利であり得る。
図7は、本明細書内の別の実施形態を示す。コリメータアセンブリ50は、例えば2つのLEDダイ59からの光を、入射レンズ/出射レンズ対(54、55)を備える両凸シリンドリカルレンズアレイ51上に合焦させることができ、各々の対は、各々のLEDダイ59に対して像面56内にストライプを形成し得る。本明細書内の一実施形態では、2つのLEDダイの中心は、1.5mm(または、例えば0.5mm~15mm)離間し得、コリメータは、10mmの有効焦点距離を有し得る。これは、コリメータアセンブリ50を出る平行光束に対して、atan((1.5mm/2)/10mm)=4.3°(または、例えば、2°~10°もしくは0.1°~30°)の傾斜角をもたらし得る。レンズアレイ51の屈折率(例えば、n=1.52)により、角度はアレイの基板内で2.8°減少し得る。ストライプが100μ(または、例えば、2μ~200μm)の間隔を有する必要があるという要件から、(100μm/2)/tan(2.8°)=1.0mm(または、例えば、50μm~10mm)のレンズアレイの厚さが得られる。2つの隣接するマイクロレンズの中心間の距離(ピッチ)は、ストライプ間隔の2倍(例えば、200μm)であり得る。セクション58は、アレイの拡大された一対のレンズの断面である。入射レンズ54は、フーリエレンズとしての機能を果たし、像面56内に焦点を生成し得る。出射レンズ55は、焦点の後ろのビームコーンが確実に像面56に対して垂直になるようにするフィールドレンズとしての機能を果たし得る。その結果、光は、口径食が発生することなくレンズ52によって試験対象物53上に結像され得る。
図8は、本明細書内のさらに別の実施形態を示す。レンズアレイ22は、2つのポリマー層が成形されたガラスキャリア60と、ガラスキャリア60に貼り付けられた構造化マスク62とを備え得る。ここで、点または線は、マスク62の使用によって特定の光源に対して選択的に隠され得る。本明細書内の別の実施形態では、マスクは、構造化カラーフィルタであり得、バイナリまたはカラーコードが、LEDアレイ20によって生成された周期的パターン上に刻印され得る。
図10は、ロバストなマイクロリーンアレイ構成が実現され得る本明細書内のさらに別の実施形態を示しており、この構成は、「サンドイッチ」構成であり得、各々が厚い片面プロファイルを有する複数のマイクロレンズアレイ82(例えば、2つのマイクロレンズアレイ)であって、図10に示されているように、レンズ54、55が互いに位置合わせされ、向かい合わせの状態で取り付けられ得る複数のマイクロレンズアレイ82を備え得る。本明細書では、入射する平行光線80は、フーリエレンズとしての機能を果たし、像面56内に焦点を生成し得る入射レンズ54に入射し得る。出射レンズ55は、焦点の後ろのビームコーンが確実に像面56に対して垂直になるようにするフィールドレンズとしての機能を果たし得る。
3D測定のために動的パターンをカメラ内で生成するためのコンピュータシステム
3次元(3D)測定のために対象物の表面上に投影するための動的パターンをカメラ内で生成するシステム101について説明したが、ここで、本明細書内の例示的な実施形態の少なくともいくつかに従って使用され得るコンピュータシステム100のブロック図を示した図2について説明する。本明細書では、この例示的なコンピュータシステム100に関して様々な実施形態が示されているが、この説明を読めば、他のコンピュータシステムおよび/またはアーキテクチャを使用して本開示を実施する方法が当業者(複数を含む)に明らかになるであろう。
本明細書内の例示的な一実施形態では、コンピュータシステム100の少なくともいくつかのコンポーネントは、図1のコンピュータシステム100を形成し得る、または図1のコンピュータシステム100に含まれ得る。コンピュータシステム100は、少なくとも1つのコンピュータプロセッサ122を含む。コンピュータプロセッサ122は、例えば、図1に示されているような中央処理ユニット123、多重処理ユニット、特定用途向け集積回路(「ASIC」)、フィールド・プログラマブル・ゲート・アレイ(「FPGA」)などを含み得る。プロセッサ122は、通信インフラ124(例えば、通信バス、クロスオーバー・バー・デバイス、またはネットワーク)に接続され得る。本明細書内の一実施形態では、プロセッサ122は、画素内復調機能を有するセンサ4を有するカメラ1の前処理ユニット5から画像データを取得するCPU123を含む。画像データは、メモリに一時的に記憶され、その後、分析され得る。記録中にカメラ1を移動させると、一連の点群が形成される。CPU123は、コンピュータシステム100のディスプレイインターフェース126上でレンダリングするための一貫した3Dモデルを提供するために、点群を回転および平行移動させ得る。別の実施形態では、CPUは、センサ4によって検出された画像特徴を投影特徴と照合し、それらを、各々の画像を用いた三角測量によって3D点群に変換して、別個の点群を形成する。ここで、センサは、画素内復調機能を有していなくてもよい。カメラが移動すると、一連の点群が生じる。これらの点群は、CPU123によって個々に回転および平行移動されて、一貫した3Dモデルが提供され得る。この3Dモデルは、最終的にディスプレイ128上にレンダリングされる。本明細書内の一実施形態では、画像データ内のエッジまたは特徴の直接検出が実行され得る。本明細書内のさらに別の実施形態では、カメラ1のデジタル信号前処理ユニット5は、コンピュータシステム100に組み込まれ得る。
ディスプレイインターフェース(または他の出力インターフェース)126は、ディスプレイユニット128(例示的な一実施形態では、図1のディスプレイユニット128を形成し得る、または図1のディスプレイユニット128に含まれ得る)上に表示するために、通信インフラ124から(またはフレームバッファ(図示せず)から)ビデオグラフィックス、テキスト、および他のデータを転送する。例えば、ディスプレイインターフェース126は、グラフィックス処理ユニットを有するビデオカードを含み得る。
コンピュータシステム100はさらに、コンピュータプロセッサ122に情報を送信するためにコンピュータシステム100のユーザによって使用され得る入力ユニット130を含む。本明細書内の例示的な一実施形態では、入力ユニット130は、図1の入力ユニット130を形成し得る、または図1の入力ユニット130に含まれ得る。入力ユニット130は、トラックボールまたは他の入力デバイスを含み得る。一例では、ディスプレイユニット128、入力ユニット130、およびコンピュータプロセッサ122は、集合的にユーザインターフェースを形成し得る。
動的パターンを生成する1つまたは複数のステップは、コンピュータ可読プログラム命令の形態で非一時的な記憶装置に記憶され得る。手順を実行するために、プロセッサ122は、記憶装置に記憶されている適切な命令をメモリにロードし、その後、ロードされた命令を実行する。
図2のコンピュータシステム100は、メインメモリ132(図1に示されているようなランダム・アクセス・メモリ(「RAM」)123であり得る)を備え得、さらに二次メモリ134を含み得る。二次メモリ134は、例えば、ハードディスクドライブ136および/または取り外し可能な記憶ドライブ138(例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブなど)を含み得る。取り外し可能な記憶ドライブ138は、周知の方法で取り外し可能な記憶装置140からの読み出し、および/または取り外し可能な記憶装置140への書き込みを行う。取り外し可能な記憶装置140は、例えば、取り外し可能な記憶ドライブ138に書き込まれ、取り外し可能な記憶ドライブ138によって読み取られる、フロッピーディスク、磁気テープ、光ディスク、フラッシュメモリデバイスなどであり得る。取り外し可能な記憶装置140は、コンピュータ実行可能ソフトウェア命令および/またはデータを記憶する非一時的なコンピュータ可読記憶媒体を含み得る。
さらなる代替形態では、二次メモリ134は、コンピュータシステム100にロードされるコンピュータ実行可能プログラムまたは他の命令を記憶する他のコンピュータ可読媒体を含み得る。このようなデバイスは、取り外し可能な記憶装置144およびインターフェース142(例えば、プログラムカートリッジおよびカートリッジインターフェース)と、取り外し可能なメモリチップ(例えば、消去可能プログラマブル・リードオンリメモリ(「EPROM」)またはプログラマブル・リードオンリメモリ(「PROM」)および関連するメモリソケットと、ソフトウェアおよびデータを取り外し可能な記憶装置144からコンピュータシステム100の他の部分に転送することを可能にする他の取り外し可能な記憶装置144およびインターフェース142と、を含み得る。
コンピュータシステム100はさらに、コンピュータシステム100と外部デバイスとの間でソフトウェアおよびデータを転送することを可能にする通信インターフェース146を含み得る。このようなインターフェースは、モデム、ネットワークインターフェース(例えば、イーサネットカード、Bluetooth、またはIEEE802.11ワイヤレスLANインターフェース)、通信ポート(例えば、ユニバーサルシリアルバス(「USB」)ポートまたはFireWire(登録商標)ポート)、PCメモリカード国際協会(「PCMCIA」)インターフェースなどを含み得る。通信インターフェース146を介して転送されるソフトウェアおよびデータは、信号(電子信号、電磁信号、光信号、または通信インターフェース146によって送信および/または受信され得る別のタイプの信号であり得る)の形態であり得る。信号は、通信経路148(例えば、チャネル)を介して通信インターフェース146に供給される。通信経路148は、信号を搬送し、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数(「RF」)リンクなどを使用して実装され得る。通信インターフェース146は、コンピュータシステム100とリモートサーバまたはクラウドベースのストレージ(図示せず)との間でソフトウェアまたはデータまたは他の情報を転送するために使用され得る。
1つまたは複数のコンピュータプログラムまたはコンピュータ制御ロジックは、メインメモリ132および/または二次メモリ134に記憶され得る。コンピュータプログラムはさらに、通信インターフェース146を介して受信され得る。コンピュータプログラムは、コンピュータプロセッサ122によって実行されると、コンピュータシステム100に後述の方法を実行させるコンピュータ実行可能命令を含む。したがって、コンピュータプログラムは、コンピュータシステム100およびカメラシステム101の他のコンポーネントを制御することができる。
別の実施形態では、ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶され、取り外し可能な記憶ドライブ138、ハードディスクドライブ136、および/または通信インターフェース146を使用して、コンピュータシステム100のメインメモリ132および/または二次メモリ134にロードされ得る。制御ロジック(ソフトウェア)は、プロセッサ122によって実行されると、コンピュータシステム100、より一般的にはいくつかの実施形態におけるカメラシステムに、後述の方法のいくつかを実行させる。
最後に、別の例示的な実施形態では、ASIC、FPGAなどのハードウェアコンポーネントを使用して、本明細書内で説明する機能を実行することができる。本明細書内で説明する機能を実行するようなそのようなハードウェアコンポーネントの実装は、この説明から当業者(複数を含む)には明らかであろう。
3D測定のためにカメラ内で動的パターンを生成する方法
図2のコンピュータシステム100について説明したが、次に、異なるレンズタイプを使用して投影パターンを生成する方法を示した図4~図6と併せてカメラシステム101についてさらに説明する。
本明細書内の例示的な一実施形態によれば、投影パターンのいくつかのストライプ(例えば、投影パターンの1つおきの明るいストライプ)を省略することによって、投影のための時変パターンが生成され得る。このことにより、対象物の平均放射照度を2分の1に低減することができ、さらに対象物の拡散背景放射も半減させることができる。しかしながら、残りの縞の信号振幅は同じままである。したがって、これは、信号対ノイズ比を2の平方根倍に改善する。これは、画素ノイズが、現代の画像センサ上のショットノイズに左右されるためである。ショットノイズは、画素がランダムに到着する光子に対するカウンタとみなされ得るために生じる。一定の光強度に対して、計数された光子の統計は、nの平方根の標準偏差を有する正規分布によって近似され得、ここで、nは、計数された光子の平均数である。したがって、信号対ノイズ比(S/N)は、S/N=n/nの平方根=nの平方根となる。単一画素の読み出しは、計数された背景光の光子nbと所望の信号光子nsとの合計に比例する信号を送ることができる。半透明材料では、背景光が信号(nb>>ns)を支配し得るので、信号対ノイズ比は、背景光の強度によって決定され得るS/N=nの平方根~nbの平方根。したがって、1つおきの明るいストライプを省略することによって拡散散乱背景光nbが半減され、残りのストライプの強度が変わらないまま維持されるので信号nsが一定のまま維持される本明細書内の例示的な一実施形態では、信号対ノイズ比は、2の平方根倍に改善される。
本明細書内の例示的な一実施形態では、測定対象物14に入射する明るいストライプの低減は、3D再構成のために利用可能な特徴の数を低減する。省略しなかった場合と同じ総数の3Dデータ点を受信するために、時系列順にいくつかの異なるパターンを投影して評価することは、同じ空間分解能での3D再構成を可能にする。例えば、図9に示されているように、第1の投影パターン71および第2の投影パターン72は、交互の明るいストライプ74および暗いストライプ73を含む標準投影パターン70から得られる。第1の投影パターン71は、標準投影パターン70の1つおきの明るいストライプ74bを省略することによって得られる。第2の投影パターン72は、第1の投影パターン71を半周期(0.5×P1)だけシフトさせることによって得られる。第1の投影パターン71および第2の投影パターン72(すなわち、半周期だけシフトされた第1の投影パターン71)を交互に投影することによって、標準投影パターン70が投影された場合と同じ数の3Dデータ点が取得され得、その結果、測定されている対象物に入射する投影ごとの明るいストライプ74の数が低減され、ひいては、測定対象物の平均放射照度が低減されると同時に、再構成のために同じ数のデータ点が取得される。第1の投影パターン71と第2の投影パターン72とを重畳することによって、標準投影パターン70が得られる。本明細書内の例示的な一実施形態では、暗いストライプ73は、オフにされるLEDアレイ20のLEDに対応し、明るいストライプ74は、オンにされるLEDアレイ20のLEDに対応し得る。当業者(POSA)には、この技術が投影パターンを変化させるように適合され得ることが分かるであろう。例えば、別の標準投影パターン(図示せず)の1つおき、および2つおきの明るいストライプが、別の第1の投影パターン(図示せず)を得るために省略され得、この場合、別の第1の投影パターンは、別の第2の投影パターン(図示せず)を得るために周期の3分の1だけシフトされ、別の第2の投影パターンは、第3の投影パターン(図示せず)を得るために周期の3分の1だけシフトされ、別の第1の投影パターン、別の第2の投影パターンおよび第3の投影パターンの重畳は、別の標準投影パターンを生成する。
投影パターンを得るために、LEDアレイ内の各々のLED/ダイの強度が個別に制御され得る。
ここで図5を参照すると、4つのLED(A、B、C、D)のうちの1つのLED(A)のみが発光され、ドットパターン31は、露光中に透過される特徴の4分の1(1/4)および平均光強度の4分の1(1/4)のみを有するパターンで、レンズアレイの像面に生成され得る。したがって、4つのLED全てが同時にオンにされるときに生じる散乱光の量と比較して、より少ない量の散乱光が生じる。4つのLEDダイ(A、B、C、D)が、設定によって縮小画像のアレイに結像されることが分かる。1つのLEDのみがオンされると、間引きドットパターンが形成される。別のLEDがオンにされ、第1のLEDがオフにされる場合、シフトされた間引きドットパターンが作成される。したがって、対象物14に送信すべきLEDアレイ30内の完全な情報は、4つのLEDを連続的にオンにし、オンにされた各々のLEDについて対応する反射画像を記録することによって得られる。
球面レンズのアレイは、図5に示されているようなドットパターンを生成するために使用され得るが、シリンドリカルレンズの線形アレイは、図6に示されているような縞パターンを生成するために使用され得ることがわかる。片面レンズが使用される場合もある。ここで、光源(LED)は、像面23に垂直な列を成して配置され得る。各々のレンズは、図6に示されているような各々の光源のストライプ状の像を生成し得る。それぞれの光源を連続的に発光させることによって、横方向にシフトされた縞パターンが、投影および記録のために生成され得る。
本発明のさらなる一実施形態では、立体画像化および再構成が使用され得る。立体的対象物再構成は、複数の視点から観察された対象物の異なる画像から対応する画素間の視差を通して対象物の空間形状および位置を推定することによって3D対象物を再構成する。ステレオビジョン技術の原理は三角測量であり、対象物の固有の輪郭が2つの平行でないカメラから撮影された写真を用いて決定され得る。ステレオビジョン手法は、2つのカメラからの光素子間の対応関係に依存し得、この対応関係は、決定することが困難である場合がある。立体的対象物再構成における曖昧さを回避するために、非周期的な投影パターンが使用され得る。これらの非周期的パターンはさらに、レンズアレイ22内のレンズの中心が個々にオフセットされる場合に、上記の方法によって生成され得る。公称グリッド位置からのレンズのオフセットはランダムであり得、レンズ直径の2分の1を超えてはならない。同様に、非周期的タイリングは、レンズ構成の基礎となり得る。
規則的なレンズアレイのパターンの周期性を回避する別の方法は、レンズアレイの焦点面の近くにパターン化されたマスク62を配置することであり得る。ここで、特定のレンズおよび光源の組み合わせによって生成される個々のストライプまたはスポットが抑制され得る。例えば、立体画像化では、1つの光源は、高密度の3D点のための完全なストライプまたはドットパターンを作成するために使用され得、別の光源は、図8に示されているように、立体画像の曖昧さのない照合のための追加情報を提供するために、間引きされたランダムなドットパターンを生成するために使用され得る。レンズアレイ22によって生成された周期的パターン上に追加のカラーコードを追加するために、レンズアレイ22の焦点面内で構造化カラーフィルタを使用することもでき、前記コードは光源ごとに個別に変更可能である。
時系列的な投影は、全密度3D再構成のために複数の画像取得を必要とし得る。対象物が移動する、またはカメラ/スキャナが移動すると、対象物再構成における望ましくないアーチファクトが生じ得る。したがって、完全な3D情報を一度に取得することが望ましい場合がある。時系列的な取得の代替形態は、個々の画像フレームのスペクトル符号化である。この目的のために、スペクトルの重なりが小さい複数の狭帯域光源が使用され得る。全ての光源が同時に発光状態にある場合、複数の着色パターンが対象物上で同時に重畳され得る。その後、対応するスペクトルチャネルを有するカラーカメラ(図示せず)が個々の画像を同時に記録することができる。最も単純なケースでは、標準的なRGBカラーセンサがこの目的のために使用され得る。4色以上の色が使用される場合、ハイパースペクトルセンサが使用され得る。
さらに別の実施形態では、相補的パターンが生成され得る。パターンが同じフィルファクタを有する場合、拡散背景ノイズは、拡散背景が両方の画像において同じであるので、2つの相補的対象物画像(例えば、一方のパターンにおける明るい領域が他方のパターンにおける暗い領域に対応する2つのパターン)を減算することによって除去され得る。相補的パターンの例としては、各々が半周期または他の形でオフセットされた格子パターン、ストライプパターン、またはドットパターンを挙げることができる。
本明細書に記載されている実施形態の利点は、可動部品がないため、ロバスト性を含むという点である。さらに、光学装置はスライドまたはグリッド構造を含むとは限らないので、コリメータ21からの光は、ほとんどまたは全く吸収されずに、レンズアレイ22を通過して、照明12のための結像光学系に至る。さらに、デジタル・マイクロミラー・デバイス(DMD)または液晶デバイス(LCD)を使用するカメラのような他のデバイスと比較して、コンパクトなサイズであるために、スペースが節約され得る。
上記説明から、本明細書で説明される例示的な実施形態は、カメラ内で動的投影パターンを生成するためのデバイス、方法、およびシステムを提供することが理解され得る。
別段の定義がない限り、本明細書内で使用されている全ての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されている意味と同じ意味を有するものとする。本明細書に記載されるものと同様または同等である方法および材料が本開示の実践または試験において使用され得るが、好適な方法および材料は、上記に記載されている。本明細書内で言及される全ての刊行物、特許出願、特許、および他の参考文献は、適用可能な法律および規制によって許容される範囲内で、その内容全体が参照によって組み込まれるものとする。本開示は、その精神または本質的な属性から逸脱することなく、他の特定の形態で具現化されてもよく、したがって、本発明の実施形態は、あらゆる点において、例示的であり、限定的ではないと考えられるのが望ましい。本明細書内で使用されている任意の見出しは、便宜のみを目的としたものであり、法的または制限効果を有するものではない。

Claims (17)

  1. 投影のための複数の動的パターンを生成するための光学アレイ生成器と、
    前記複数の動的パターンを測定対象物の表面上に合焦させるために配置された第1の結像光学系と、
    前記測定対象物の前記表面による前記複数の動的パターンの反射から形成された複数の反射画像を記録するために配置された画像センサと、
    前記複数の反射画像を前記画像センサ上に結像するために配置された第2の結像光学系と
    を備えるカメラであって、
    前記光学アレイ生成器は、(i)各々の領域の光度が別個に制御される複数の離散領域を含む光源、(ii)前記複数の動的パターンを形成するために前記光源からの光を像面に結像するように構成された複数のレンズを備えるレンズアレイ、および(iii)前記光源の光を前記レンズアレイ上へ方向付けるように構成されたコリメータをさらに含み、
    前記光源の前記複数の離散領域の光度は、時間の経過とともに変動するように複数の動的パターンを生成するように電子的に制御され、
    時系列順に異なるパターンを投影し、評価して、完全なパターンを投影するために受信される3Dデータ点の総数と同じまたは実質的に同じ総数の3Dデータ点を受信することによって、前記対象物の平均放射照度を低減するように構成される、カメラ。
  2. 前記複数のレンズの各々は、両凸レンズ、球面レンズ、またはシリンドリカルレンズである、請求項1に記載のカメラ。
  3. 前記光源の前記複数の離散領域は、LEDダイ、レーザダイオード、および他端に他の光源が取り付けられた複数の光ファイバの一端からなる群から選択される、請求項1に記載のカメラ。
  4. 複数のコリメータおよび複数の光源をさらに備える、請求項1に記載のカメラ。
  5. 前記複数の反射画像を処理するためのデジタル信号処理ユニットをさらに備える、請求項1に記載のカメラ。
  6. 前記画像センサは、画素内復調を実行するように構成される、請求項1に記載のカメラ。
  7. 前記光源は、LEDダイの2×2LEDアレイである、請求項1に記載のカメラ。
  8. 前記レンズアレイの厚さは、50μm~10mmである、請求項1に記載のカメラ。
  9. 前記レンズアレイは、ガラスキャリアと、前記ガラスキャリアの両側に成形された2つのポリマー層と、前記光源の光を選択的に変更するために前記ガラスキャリアに貼り付けられた構造化マスクとを含む、請求項1に記載のカメラ。
  10. 前記構造化マスクは、前記光源からの光にバイナリコードまたはカラーコードを刻印するための構造化カラーフィルタである、請求項9に記載のカメラ。
  11. 前記複数の動的パターンは非周期的である、請求項1に記載のカメラ。
  12. 前記レンズアレイの前記複数のレンズの中心は、非周期的動的パターンを生成するために個々にオフセットされる、請求項9に記載のカメラ。
  13. 前記複数の動的パターンは周期的である、請求項1に記載のカメラ。
  14. 前記レンズアレイは、入射レンズと出射レンズの対を含み、前記入射レンズは、フーリエレンズとしての機能を果たし、前記出射レンズは、フィールドレンズとしての機能を果たし、各々の対は、前記像面に副画像を生成する、請求項1に記載のカメラ。
  15. 前記レンズアレイは、フーリエレンズとしての機能を果たす入射レンズを有する第1のマイクロレンズアレイと、フィールドレンズとしての機能を果たす出射レンズを有する第2のマイクロレンズアレイとを含み、前記第1のマイクロレンズアレイおよび前記第2のマイクロレンズアレイは、片面プロファイルを有し、互いに向かい合わせになるように構成される、請求項1に記載のカメラ。
  16. 対象物を測定するための複数の動的パターンを生成する方法であって、
    コリメータのための構造化光を生成するために光源の複数の離散領域の各々の光度を電子的に制御するステップと、
    前記コリメータを使用して前記光源からの前記構造化光をレンズアレイ上へ方向付けるステップと、
    前記レンズアレイの複数のレンズを使用して前記構造化光の副画像を生成するステップであって、前記副画像は、前記複数の動的パターンを形成するために前記レンズアレイの焦点面に形成される、副画像生成ステップと、
    前記複数の動的パターンを測定対象物の表面上に合焦させるステップと、
    複数の反射画像を画像センサ上に結像するステップと、
    前記画像センサを用いて前記複数の反射画像を記録するステップと、
    前記光源の変調信号を使用して前記対象物の3次元画像を取得するために、前記複数の反射画像を処理するステップと、
    時系列順に異なるパターンを投影し、評価して、完全なパターンを投影するために受信される3Dデータ点の総数と同じまたは実質的に同じ総数の3Dデータ点を受信することによって、前記対象物の平均放射照度を低減するステップと
    を含む、方法。
  17. 対象物を測定するための複数の動的パターンを生成するためのシステムであって、
    コリメータのための構造化光を生成するために光源の複数の離散領域の各々の光度を電子的に制御し、
    前記コリメータを使用して前記光源からの前記構造化光をレンズアレイ上へ方向付けし、
    前記レンズアレイの複数のレンズを使用して前記構造化光の副画像を生成し、この場合、前記副画像は、前記複数の動的パターンを形成するために前記レンズアレイの焦点面に形成され、
    照明光学系を用いて前記複数の動的パターンを、測定対象物の表面に結像し、
    画像センサを用いて前記対象物の前記表面からの複数の反射画像を記録し、
    前記光源の変調信号を使用して前記対象物の3次元画像を取得するために、前記複数の反射画像を処理する
    ように動作可能な少なくとも1つのプロセッサを備え、
    時系列順に異なるパターンを投影し、評価して、完全なパターンを投影するために受信される3Dデータ点の総数と同じまたは実質的に同じ総数の3Dデータ点を受信することによって、前記対象物の平均放射照度を低減するように構成される、
    システム。
JP2020568340A 2018-06-08 2019-06-07 カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム Active JP7450558B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/003,592 US10986328B2 (en) 2018-06-08 2018-06-08 Device, method and system for generating dynamic projection patterns in a camera
US16/003,592 2018-06-08
PCT/US2019/035927 WO2019236934A1 (en) 2018-06-08 2019-06-07 Device, method and system for generating dynamic projection patterns in a camera

Publications (2)

Publication Number Publication Date
JP2021527206A JP2021527206A (ja) 2021-10-11
JP7450558B2 true JP7450558B2 (ja) 2024-03-15

Family

ID=67003735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568340A Active JP7450558B2 (ja) 2018-06-08 2019-06-07 カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム

Country Status (6)

Country Link
US (1) US10986328B2 (ja)
EP (2) EP3801366B1 (ja)
JP (1) JP7450558B2 (ja)
KR (1) KR20210018420A (ja)
CN (1) CN112384167B (ja)
WO (1) WO2019236934A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11300806B2 (en) * 2018-11-08 2022-04-12 Brass Roots Technologies, LLC Multi-image projection method utilizing bit segment rate switching
US11317078B2 (en) * 2019-05-28 2022-04-26 Purdue Research Foundation Method and system for automatic exposure determination for high- resolution structured light 3D imaging
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
US20210121049A1 (en) * 2019-10-24 2021-04-29 Align Technology, Inc. Window self-detection
CN111787301A (zh) * 2020-06-15 2020-10-16 广东朗呈医疗器械科技有限公司 镜头、三维成像方法、装置、设备及存储介质
EP3982113A1 (en) * 2020-10-06 2022-04-13 Sens-Tech Ltd. Method and apparatus for inspection of a subject article
CN112866774A (zh) * 2021-01-07 2021-05-28 福建捷联电子有限公司 一种具有多功能相机的显示器及其控制方法
EP4193905A1 (en) 2021-12-07 2023-06-14 Sopro SA Intraoral scanner, intraoral scanning system, method for performing intraoral scans and computer program product
US11979548B2 (en) 2022-04-08 2024-05-07 Himax Technologies Limited Structured light projector and three-dimensional image sensing apparatus
WO2023201596A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种探测装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050112A (ja) 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
JP2005172622A (ja) 2003-12-11 2005-06-30 Hamamatsu Photonics Kk 3次元形状計測装置
WO2016188939A1 (de) 2015-05-22 2016-12-01 Sirona Dental Systems Gmbh Vorrichtung zur optischen 3d-vermessung eines objekts

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4440613C1 (de) * 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
JP3776500B2 (ja) * 1996-03-26 2006-05-17 オリンパス株式会社 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
RU2181498C1 (ru) * 2001-01-15 2002-04-20 Общество с ограниченной ответственностью "Лаборатория АМФОРА" Способ определения микрорельефа объекта и оптических свойств приповерхностного слоя, модуляционный интерференционный микроскоп для осуществления способа
DE10304111B4 (de) 2003-01-31 2011-04-28 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts
EP2051042B1 (de) 2007-10-18 2010-11-03 Nectar Imaging S.r.l. Vorrichtung zur tomografischen Erfassung von Objekten
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE102007054907A1 (de) 2007-11-15 2009-05-28 Sirona Dental Systems Gmbh Verfahren zur optischen Vermessung von Objekten unter Verwendung eines Triangulationsverfahrens
DE102007058590B4 (de) 2007-12-04 2010-09-16 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
DE102008040949B4 (de) 2008-08-01 2012-03-08 Sirona Dental Systems Gmbh Optisches Projektionsgitter, Messkamera mit optischem Projektionsgitter und Verfahren zur Erzeugung eines optischen Projektionsgitters
DE102008040947B4 (de) * 2008-08-01 2014-02-06 Sirona Dental Systems Gmbh 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation
JP2010067439A (ja) * 2008-09-10 2010-03-25 Harison Toshiba Lighting Corp 面発光装置および表示装置
CN101694375B (zh) * 2009-10-23 2011-06-22 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
GB2507020A (en) * 2011-07-13 2014-04-16 Faro Tech Inc Device and method using a spatial light modulator to find 3D coordinates of an object
US9742993B2 (en) * 2012-02-16 2017-08-22 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution optical image scanning
WO2014102341A1 (en) * 2012-12-31 2014-07-03 Iee International Electronics & Engineering S.A. Optical system generating a structured light field from an array of light sources by meand of a refracting or reflecting light structuring element
DE102013013791B4 (de) * 2013-08-14 2015-03-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum berührungslosen Vermessen von Oberflächenkonturen
DE102013218231A1 (de) 2013-09-11 2015-03-12 Sirona Dental Systems Gmbh Optisches System zur Erzeugung eines sich zeitlich ändernden Musters für ein Konfokalmikroskop
US9389069B2 (en) * 2014-03-26 2016-07-12 Alces Technology, Inc. Compact 3D depth capture systems
CN110716381B (zh) * 2014-05-06 2021-10-15 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
US10772506B2 (en) * 2014-07-07 2020-09-15 Align Technology, Inc. Apparatus for dental confocal imaging
EP3165874B1 (en) * 2015-11-04 2020-08-19 Hexagon Technology Center GmbH Method and device for triangulation-based distance measurement
DE102016000415A1 (de) * 2016-01-19 2017-07-20 DüRR DENTAL AG Vorrichtung zum dreidimensionalen Erfassen einer Oberflächenstruktur

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050112A (ja) 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
JP2005172622A (ja) 2003-12-11 2005-06-30 Hamamatsu Photonics Kk 3次元形状計測装置
WO2016188939A1 (de) 2015-05-22 2016-12-01 Sirona Dental Systems Gmbh Vorrichtung zur optischen 3d-vermessung eines objekts

Also Published As

Publication number Publication date
CN112384167B (zh) 2022-02-18
CN112384167A (zh) 2021-02-19
US20190379881A1 (en) 2019-12-12
WO2019236934A1 (en) 2019-12-12
EP4372447A2 (en) 2024-05-22
EP3801366B1 (en) 2024-02-28
US10986328B2 (en) 2021-04-20
KR20210018420A (ko) 2021-02-17
JP2021527206A (ja) 2021-10-11
EP3801366A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP7450558B2 (ja) カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム
US11680790B2 (en) Multiple channel locating
JP7386185B2 (ja) 共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム
US9599463B2 (en) Object detection device
JP4823212B2 (ja) 共焦点顕微鏡法の原理に基づく測定装置および方法
US20110080471A1 (en) Hybrid method for 3D shape measurement
CN107024850B (zh) 高速结构光三维成像系统
CN105358092A (zh) 用于牙齿表面成像设备的基于视频的自动获取
KR102248248B1 (ko) 물체 표면의 3d 데이터를 획득하는 구조광 투영 광학 시스템
Sagawa et al. One-shot 3d reconstruction of moving objects by projecting wave grid pattern with diffractive optical element
US20180202801A1 (en) Device and method for detecting an image of a preferably structured surface of an object
JP2010281733A (ja) 3d光学作像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150