JP2023547699A - 重なる視野を有するセンサを有する三次元スキャナ - Google Patents
重なる視野を有するセンサを有する三次元スキャナ Download PDFInfo
- Publication number
- JP2023547699A JP2023547699A JP2023527655A JP2023527655A JP2023547699A JP 2023547699 A JP2023547699 A JP 2023547699A JP 2023527655 A JP2023527655 A JP 2023527655A JP 2023527655 A JP2023527655 A JP 2023527655A JP 2023547699 A JP2023547699 A JP 2023547699A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- sensor
- optical axis
- projector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 148
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 21
- 238000006073 displacement reaction Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
システムは、複数の非コード化要素を物体上に投影するように構成されたプロジェクタを含み、プロジェクタは、第1の光軸を有する。システムは、第1のレンズと第1のセンサとを有する第1のカメラを含む。第1のレンズは、第2の光軸を画定する。システムは、第2のレンズと第2のセンサとを有する第2のカメラを含む。第2のレンズは、第3の光軸を画定する。プロジェクタ、第1のカメラ、及び第2のカメラは、第1の方向において略直線上に配設されている。第1の光軸は、第2の光軸に対して実質的に平行であり、第2の光軸は、第3の光軸に対して実質的に平行である。第1のセンサの中心は、第2の光軸から離れるように第1の方向に沿って変位し、第2のセンサの中心は、第3の光軸から離れるように第1の方向に沿って変位している。【選択図】図1
Description
本発明は、概して三次元スキャナに関し、より詳細には、重なる視野を有するセンサを有する三次元スキャナに関する。
三次元(3D)スキャナは、物理的物体の表面の3Dモデルを構築するデバイスである。三次元スキャナは、工業設計及び製造、コンピュータ化されたアニメーション、科学、教育、医学、芸術、設計、及びその他を含む多くの分野にわたる用途を有している。
本開示は、3Dスキャン技術に関する。3Dスキャンへの1つのアプローチは、プロジェクタが既知の光のパターンを物体の表面上に投影する、いわゆる「構造化光」の使用である。例えば、プロジェクタからの光は、その上に印刷されたパターンを有するスライドを通して方向付けることができる。物体の表面の形状は、カメラによって取り込まれた光のパターンの歪みから推測される。1つ以上のカメラを使用して、物体上のパターンの反射の画像を取得することができる。画像内のパターンの要素の位置を測定する(例えば、パターンの歪みを測定する)ことによって、コンピュータシステムは、例えば、三角測量アルゴリズムなどの単純な幾何学的計算を使用して、物体の表面上の位置を決定することができる。構造化光アプローチは、レーザレンジファインダが、表面にわたってラスタスキャンされる光のパルスの往復時間を計時することで表面までの距離を見出す飛行時間アプローチなど、他のアプローチと対比することができる。
物体の表面上の位置を決定するために、コンピュータシステムは、画像内のどの要素がスライド上のどの要素に対応するかを知る必要がある。この問題を解決する2つの一般的なアプローチがあり、1つの方法はコード化要素を利用し、別の方法は非コード化要素に依存している。コード化要素を用いて、パターン内の要素は、何らかの固有の識別特性を有しており、該識別特性により、コンピュータシステムは、どの撮像された要素が物体上のどの要素に対応するかを解明することが可能になる。非コード化要素(例えば、線)では、1つの撮像された要素を他の要素から明確化するために、何らかの他の方法が必要である。
一部の実施形態では、3Dスキャンへの非コード化構造化光アプローチにおいて、撮像された要素(例えば、線)を明確化するための方法が提供される。この方法は、プロジェクタ及び少なくとも2つのカメラを有するスキャナを使用して実行される。プロジェクタは、物体の表面上に複数の線を投影する。反射は、第1のカメラ及び第2のカメラによって撮像される。第1のカメラからの第1の画像において要素(例えば、歪んだ線)が検出され、投影パターンの要素への対応関係が仮定される。この仮定を使用して、要素の位置は、第2のカメラ内の第2の画像に変換される。要素が第2の画像にも存在しない場合、仮説は除外される。一部の実施形態では、仮説が第1のカメラの焦点深度の外側にある物体上の位置をもたらす場合、仮説は除外される。
一部の実施形態では、3Dスキャナが提供される。一部の実施形態では、3Dスキャナは、構造化光アプローチを使用する。一部の実施形態では、3Dスキャナは、非コード化要素を使用する。2つ以上のカメラ及びプロジェクタの視野を重ねることによって、3Dスキャナの性能が改善される。一部の実施形態では、他の利点の中でも、製造の容易さを改善するために、2つ以上のカメラ及びプロジェクタは、実質的に平行である光軸を有する。このようにして、2つ以上のカメラ(それらのセンサ及び光学系を含む)を平行な平面上に取り付けることができる。例えば、2つ以上のカメラのためのセンサは、単一のプリント回路基板上に取り付けられてもよい。2つ以上のカメラの視野の重なりを最大化するために、少なくとも1つのカメラのセンサは、その光軸に対して変位している(例えば、シフトしている)。
そのために、3Dスキャナは、複数の非コード化要素を物体上に投影するように構成されたプロジェクタを含む。プロジェクタは、第1の光軸を有する。3Dスキャナは、第1のレンズ及び第1のセンサを備える第1のカメラを更に含む。第1のレンズは、複数の非コード化要素の第1の部分の反射を第1のセンサ上に集束させる。第1のレンズは、第2の光軸を画定する。3Dスキャナは、第2のレンズと第2のセンサとを備える第2のカメラを含む。第2のレンズは、複数の非コード化要素の第2の部分の反射を第2のセンサ上に集束させる。第2のレンズは、第3の光軸を画定する。プロジェクタ、第1のカメラ、及び第2のカメラは、第1の方向に互いにオフセットされる。第1の光軸は、第2の光軸に対して実質的に平行であり、第2の光軸は、第3の光軸に対して実質的に平行である。第1のセンサの中心は、第2の光軸から離れるように第1の方向に沿って変位している。
一部の実施形態では、第2のセンサの中心は、第3の光軸から離れるように第1の方向に沿って変位している。
一部の実施形態では、第2のセンサの中心は、第3の光軸から離れるように第1の方向に沿って変位している。
説明される種々の実施形態をより良く理解するために、以下の図面と併せて、以下の実施形態の説明を参照されたい。
上述の種々の図は、概して言えば、本開示によって提供される3Dスキャナの異なる実施形態を示す。しかしながら、1つの図に示され、それに関して説明されるスキャナのある特徴(例えば、カメラ、プロジェクタなど)は、他の図に示される他のスキャナを参照して説明されるものに類似し得ることが理解されるであろう。簡潔にするために、かかる詳細は、本開示全体を通して繰り返されない。
ここで実施形態を参照するが、その例は添付の図面に示されている。以下の説明では、説明される種々の実施形態の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、説明される種々の実施形態は、これらの具体的な詳細なしに実施され得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の発明の態様を不必要に曖昧にしないように、詳細には説明されていない。
本明細書で使用されるように、オフセットという用語は、スキャナの本体(例えば、筐体)内のカメラ及び検出器の相対的位置を指すために使用される一方、変位という用語は、カメラの光学軸に対するセンサの位置、又はプロジェクタの光学軸に対するスライドの位置を説明するために使用されることに留意されたい。
図1は、3Dスキャナ100の正面図を示し、3Dスキャナ100は、1つ以上の非コード化要素を測定対象の物体上に投影するプロジェクタ114を含む。一部の実施形態では、1つ以上の非コード化要素は、非コード化光パターンの一部である(すなわち、非コード化光パターンは、1つ以上の非コード化要素を備える)。3Dスキャナ100は、3つのカメラ(第1のカメラ102、第2のカメラ106、第3のカメラ110)を備える。一部の実施形態では、3つより少ないカメラが使用される。例えば、一部の実施形態では、2つのカメラが使用される。他の実施形態では、ただ1つのカメラが使用される。一部の実施形態では、3つよりも多いカメラ(例えば、4つのカメラ、5つのカメラ)が使用される。第1のカメラ102は第1のセンサ104を含み、第2のカメラ106は第2のセンサ108を含み、第3のカメラ110は第3のセンサ112を含む。
一部の実施形態では、3つのカメラは、物体から反射される光の非コード化パターンを取り込むためのものである。一部の実施形態では、光の非コード化パターンは、線又は他の反復要素などの構造化光パターンを含む。非コード化パターンという用語は、かかる線又は繰り返し要素が、パターンの特定の要素が取り込まれた画像内で識別されることを可能にする個々の固有の特性を欠いていることを意味する。一部の実施形態では、2つ以上のカメラが、2つ以上のカメラの各々の画像内に記録された特定の要素(例えば、線)を識別するために使用される。一部の実施形態では、非コード化パターンは、少なくとも第1の方向(例えば、x方向、y方向)に比較的小さい寸法を有する単純な要素(例えば、線、ドット、小さいバー)のセットを有する。
これらの単純な要素の個々の特徴は、プロジェクタ114に十分に近くない単一のカメラから取得された画像によって要素を識別するほど顕著ではない。
これらの単純な要素の個々の特徴は、プロジェクタ114に十分に近くない単一のカメラから取得された画像によって要素を識別するほど顕著ではない。
第1のカメラ102、第2のカメラ106、及び第3のカメラ110の各々は、プロジェクタ114によって放出され、測定対象の物体から反射された光の画像データを記録し、コンピュータシステム(例えば、図9の3Dスキャナ900及び/又はリモートデバイス936のコンピュータシステム)に伝送する。
第1のセンサ104上の線118は、x方向及びy方向の両方に沿った第1のカメラ102の幾何学的中心からの第1のセンサ104の中心の変位を示す。一部の実施形態では、第1のカメラ102の幾何学的中心は、その光学系の光軸によって画定される。第2のセンサ108上の線120は、x方向及びy方向の両方に沿った第2のカメラ106の幾何学的中心からの第2のセンサ108の中心の変位を示す。センサの中心の変位に関する更なる詳細が図4に示されている。第3のカメラ110の第3のセンサ112の中心は変位していない。したがって、第3のセンサ112上には、変位を示す線は示されていない。
各カメラは、以下で更に詳細に説明するように、視野を有する。一部の実施形態では、カメラのうちの1つの視野は、他のカメラの視野とは異なる。例えば、一部の実施形態では、第3のカメラ110からの物体の視野は、第1のカメラ102からの物体の視野よりも小さい。一部の実施形態では、第3のカメラ110からの物体の視野は、第1のカメラ102からの物体の視野よりも大きい。種々の実施形態において、カメラの視野の各々は、同じであっても異なっていてもよい。
プロジェクタ114はスライド116を含み、線122は、プロジェクタ114の幾何学的中心からのx方向に沿ったスライド116の中心の変位を示す。一部の実施形態では、プロジェクタ114の幾何学的中心は、後続の図で説明されるように、プロジェクタ114の光軸によって画定される。一部の実施形態では、スライド116の中心の変位は、随意である(すなわち、一部の実施形態では、スライドは、プロジェクタに対して中心に置かれる)ことに留意されたい。
一部の実施形態では、プロジェクタ114、第1のカメラ102、第2のカメラ106、及び第3のカメラ110は全て、同じ平面上に(例えば、zの特定の値においてx-y平面内に)配設される。一部の実施形態では、プロジェクタ114、第1のカメラ102、第2のカメラ106、及び第3のカメラ110のうちの1つ以上は、異なるz値に位置する(例えば、1つ以上のカメラ及び/又はプロジェクタは、図1の平面の上方又は下方に延在する)。
図2には、プロジェクタ202と、3つのカメラ(第1のカメラ204、第2のカメラ206、第3のカメラ208)とがy方向に沿って略直線状に配置された3Dスキャナ200が示されている。例えば、プロジェクタ、第1のカメラ204、第2のカメラ206、及び第3のカメラ208の位置は、x方向に沿って実質的に変化しない。一部の実施形態では、3つのカメラは、プロジェクタ202の片側に配置される。表現を容易にするために、プロジェクタ202の光軸からのスライドの中心の変位(存在する場合)、並びにそれらのそれぞれの光軸からの第1のカメラ204、第2のカメラ206、及び第3のカメラ208のセンサのうちの1つ以上の中心の変位(存在する場合)は、図2に示されていない。
図3は、z-y平面に沿った3Dスキャナ300の図を示している。3Dスキャナ300は、プロジェクタ302と、第1のカメラ304と、第2のカメラ306とを含む。プロジェクタ302は光軸308を有し、第1のカメラ304は光軸310を有し、第2のカメラ306は光軸312を有する。
一部の実施形態では、プロジェクタ302の光軸308は、プロジェクタ302内の光学系(例えば、レンズシステム)によって画定される。一部の実施形態では、第1のカメラ304の光軸310及び第2のカメラ306の光軸312は、それぞれ、第1のカメラ304及び第2のカメラ306内の結像光学系(例えば、結像レンズ又はレンズシステム)によって画定される。一部の実施形態では、光軸は、結像光学系の光学要素の各面の曲率中心を通過し、結像光学系の回転対称軸と一致する。
第1のカメラ304及び第2のカメラ306内の結像光学系は、領域314内に位置する物体の鮮明な画像を(第1のカメラ304及び第2のカメラ306のそれぞれのセンサ上に)形成する。領域314は、近平面316及び遠平面318によって境界される。
プロジェクタ302並びに第1のカメラ304及び第2のカメラ306から、近平面316により近い、又は遠平面318よりも遠い、z方向に沿った距離に位置する物体の画像は、デフォーカスによってぼける。別の言い方をすれば、一部の実施形態では、近平面316及び遠平面318は、閾値分解能によって画定される。一部の実施形態では、閾値分解能は、物体の表面上の個々の要素を検出及び/又は区別するために必要とされる分解能である。近平面316及び遠平面318によって画定される領域314の外側では、焦点ぼけは、閾値分解能を用いて物体を分解することができないことをもたらす。最良の焦点面324は、領域314内に位置する。一部の実施形態では、最良の焦点面324に近接して一致するz距離に位置決めされた表面は、第1のカメラ304及び第2のカメラ306のセンサ上に最も鮮明な画像を形成する。
特定のカメラの視野は、そのカメラのセンサ上でキャプチャされる物体空間のエリア又は領域である。一部の実施形態では、領域314はまた、第1のカメラ304及び第2のカメラ306の各々の視野の一部を表す。プロジェクタ302はまた、第1のカメラ304及び第2のカメラ306のうちの少なくとも1つの視野内に光の非コード化パターンを投影する(一部の実施形態では、第1のカメラ304及び第2のカメラ306の視野は重なり、プロジェクタは、視野が重なる場所に光の非コード化パターンを投影することに留意されたい)。
パターンの投影された要素がカメラ(例えば、第1のカメラ304、第2のカメラ306)の各々の視野内にある場合、異なるカメラによって取得された画像を使用して、図8の方法800を参照して説明されるように、投影された要素を識別する(例えば、投影されたパターンとの対応関係を識別する)ことができるため、それらの視野が重なるようにプロジェクタ302、第1のカメラ304、及び第2のカメラ306を機械的に配置することで、3Dスキャナ300の性能が向上する。一部の実施形態では、他の利点の中でも、製造の容易さを改善するために、2つ以上のカメラ及びプロジェクタは、図3に示されるように、実質的に平行である光軸を有する。このようにして、2つ以上のカメラ(それらのセンサ及び光学系を含む)を(図7に示されるように)平行な平面上に取り付けることができる。例えば、2つ以上のカメラのためのセンサは、単一のプリント回路基板上に取り付けられてもよい。2つ以上のカメラの視野の重なりを最大化するために、少なくとも1つのカメラのセンサは、その光軸に対して変位している。
そのために、プロジェクタ302の光軸308、第1のカメラ304の光軸310、及び第2のカメラ306の光軸312は、互いに対して実質的に平行である。換言すれば、光軸308、310、312の任意の対の間に形成される角度は、ゼロ(例えば、設計公差内)に近い。第1のカメラ304の視野、第2のカメラ306の視野、及びプロジェクタ302の視野の重なりを最大にするために、第1のカメラ304及び第2のカメラ306の各々のセンサの幾何学的中心は、それぞれのカメラの光軸から変位している。一部の実施形態では、センサの幾何学的中心は、センサの重心である。一部の実施形態では、センサの幾何学的中心は、センサの中心ピクセルである。
一部の実施形態では、プロジェクタ302内のスライドの幾何学的中心も、プロジェクタ302の視野が第1のカメラ304及び第2のカメラ306の視野と重なるように、プロジェクタの光軸から変位している。本明細書で使用されるように、プロジェクタの視野(又は、同等に、投影の視野)という用語は、スライドパターンが投影される領域を意味するために使用される。一部の実施形態では、プロジェクタ302は、ランプ、LED、又はレーザなどの光源を含み、光学システムは、集光レンズを含む。集光レンズは、光源(例えば、点光源)からの発散ビームを実質的に平行なビームにして、プロジェクタ内のスライドなどの物体を照明する。一部の実施形態では、スライドは、複数の幾何学的要素を画定する。種々の実施形態では、幾何学的要素は、ドット及び/又は水平(又は垂直)平行線若しくは帯を備える。一部の実施形態では、プロジェクタの光学システムは、スライドの後に追加の光学系(例えば、レンズ)を含む。
すなわち、3Dスキャナ300の各カメラには、測定領域内の各点が撮像される。多くの場合、物体の測定領域(例えば、物体の3D再構成を生成する目的で、各画像において使用可能なデータが取得される物体の領域)を増加させることが望ましい。カメラ(例えば、カメラ304及びカメラ306)の視野の重なりを増加させることは、物体の測定面積を増加させる。(例えば、最良の焦点面324において)視野が完全に重なった場合、3Dスキャナ300内のカメラの各々は、同一測定面積から反射光を受信する。一部の実施形態では、3つのカメラが3Dスキャナに含まれるとき、測定される物体は、同時に、3つ全てのカメラ上に対応する撮像点を有する。一部の実施形態では、4つのカメラが3Dスキャナに含まれるとき、測定される物体は、4つ全てのカメラ上に対応する撮像点を同時に有する。
図4は、一部の実施形態による、センサの中心が、カメラ(例えば、図1のカメラ102又は106などの先行又は後続の図面に示されるカメラのうちのいずれか)の幾何学的中心に対してどの様に変位しているか(例えば、シフトしているか)を図示する。カメラ400は、中心404を有するセンサ402(一点鎖線の輪郭を有する矩形によって示される)を含む。一部の実施形態では、センサ402の中心404は、センサ402のピクセルのアレイの中心にあるピクセルである。一部の実施形態では、中心404は、センサ402の重心である。カメラ400は、視野410内の1つ以上の物体をセンサ402上に結像する結像光学系406(例えば、1つ以上のレンズ)も含む。結像光学系406は光軸408を画定する。一部の実施形態では、結像光学系406の光軸408は、結像光学系406内のレンズ(又は他の光学要素)の曲率中心を通過する対称軸(例えば、回転対称)である。例示として、結像光学系406は、単一のレンズによって表される。一部の実施形態では結像光学系406は、1つ以上のレンズ及び/又はミラーを含む結像システムである。
一部の実施形態では、結像光学系406は、センサ402が検出することができるよりも大きい視野410(y方向に沿って幅418を有する)を取り込む。例えば、結像光学系406は、視野410の画像412を形成する。図4では、視野410の2つのエッジ光線(点線で示す)が、結像光学系406の中心を通過するように概略的に示されている。例えば、エッジ光線を超えると、口径食などの収差が大きくなりすぎて、好適なデータを収集できなくなる。画像412は、センサ402の幅よりも大きい(図示のようにy方向に沿った)横寸法416を有する。
図4に示すように、センサ402の中心404を例えばy方向に沿って変位させることによって、センサ402によって測定されるカメラ400の検出視野414が変化する。検出視野414はまた、結像光学系406の中心を通過し、センサ402の境界に到達する2つのエッジ光線(実線で示される)によって概略的に示される。変位432の結果として、検出視野414は、カメラ400の光軸408に対して非対称となる。
センサ402の視野(例えば、センサ402の有効範囲の角度)は、センサ402の中心404のy方向に沿った変位432に依存する。視野は、結像光学系406とセンサ402との間のz方向に沿った距離420にも依存する。距離420は、デバイス設計のパラメータであり、既知である。センサ402の(例えば、y方向に沿った、x方向に沿った)寸法も既知である。
図4は、z-y平面におけるカメラ400及びその視野414を示している。結像光学系406が球面光学系(例えば、球面レンズ、球面ミラー)を含む場合、結像光学系406の視野410は、x-y平面内に延在し、x方向に沿って幅418も有する。
一部の実施形態では、y方向に沿ってセンサ402の中心404を変位させることに加えて、中心404はまた、x方向に沿って変位している(例えば、カメラ400がx方向にプロジェクタからオフセットされる実施形態の場合)。x方向及びy方向の両方に沿って変位した中心を有するセンサの場合、画像の視野は、(図4に示すように)y方向及びx方向の両方に沿って光軸408に関して非対称である。一部の実施形態では、センサ402の中心404は、x方向に沿ってのみ変位し、y方向に沿っては変位しない。x方向に沿ってのみ変位し、y方向に沿っては変位しない中心を有するセンサの場合、画像の視野は、y方向に関して対称であるが、x方向に沿って非対称である。
図5は、プロジェクタ502、第1のカメラ504、第2のカメラ506、及び第3のカメラ508を含む3Dスキャナ500を示している。プロジェクタ502は、光源518からの光を物体シーン526上に方向付けるように構成された光学システム510を含む。一部の実施形態では、光は、光が非コード化要素を含むように、パターン化スライドを通して投影される。一部の実施形態では、光の非コード化パターンは、投影パターン上に所定の又は較正された位置を有する、破線、曲線、又はドットのアレイを含む。一部の実施形態では、非コード化パターンの共通特性は、パターンが、少なくとも第1の方向に比較的小さい寸法を有する単純な要素(例えば、線、ドット、小さいバー)のセットを有することである。これらの単純な要素の個々の特徴は、プロジェクタに十分に近くない単一のカメラから取得された画像によって要素を識別するほど顕著ではない。代わりに、一部の実施形態では、プロジェクタによって投影され、測定物体によって反射される各非コード要素は、カメラの各々によって知覚される線の座標を比較することによって識別される(例えば、投影されたスライドパターンとのその対応関係が識別される)。一部の実施形態では、相互及びプロジェクタからのカメラのより大きいオフセットは、(例えば、図8に関して説明される方法を使用して)撮像された要素と投影パターンとの間の対応関係を識別する際により良好な正確度につながり得る。
光学システム510は、関連する光軸528を有する。第1のカメラは、光学システム512と、光センサ520とを含む。光学システム512は、関連する光軸530を有する。第2のカメラは、光学システム514と、光センサ522とを含む。光学システム514は、関連する光軸532を有する。第3のカメラは、光学システム516と、光センサ524とを含む。光学システム516は、関連する光軸534を有する。光軸528は、光軸530、光軸532、及び光軸534に対して実質的に平行である。
図5には、プロジェクタ502と、第1のカメラ504と、第2のカメラ506と、第3のカメラ508とが、y方向に沿って略直線上に配置されている様子が示されている。第1のカメラ504の視野538は、光学センサ520の中心が第1のカメラ504の幾何学的中心に対して変位しないため、光軸530を中心として実質的に対称である。光学センサ522の中心は、y方向に沿って図5の右側に変位しており、その結果、第2のカメラ506の視野540は、光軸532の周りでy方向に非対称である。光学センサ524の中心は、y方向に沿って図5の右側に更に変位しており、その結果、第3のカメラ508の視野542は、光軸534の周りでy方向に非対称である。光源518内のスライド(図示せず)は、y方向に沿って図5の左側に変位して、光軸528に対して非対称であるプロジェクタ502の視野536を生成する。センサ及びプロジェクタ502を適切に変位させることによって、プロジェクタ502の視野536、第1のカメラ504の視野538、第2のカメラ506の視野540、及び第3のカメラ508の視野542は、物体シーン526において実質的に重なる。
一部の実施形態では、3Dスキャナ500は、光学センサによって記録されたデータを受信するように構成された1つ以上のプロセッサ(例えば、図9のプロセッサ902)を含む。一部の実施形態では、光学センサによって生成されるデータは、非常に大きい。例えば、一部の光学センサは、100フレーム/秒(fps)超を提供し、精度の理由から、多くの場合、可能な限り高いフレームレートを使用することが望ましい(例えば、より多くのフレームを処理することは、同一のスキャン時間に対してより良好な精度を伴うより鮮明な3Dモデルを提供する)。一例として、3つの超高解像度(HD)カメラは、毎秒30ギガビットのスループットを生成することができる。一部の実施形態では、この問題を解決するために、光センサによって記録されたデータを受信するように構成された1つ以上のプロセッサは、膨大なデータ処理並列性が可能なフィールドプログラマブルゲートアレイ(FPGA)である。しかしながら、FPGAの欠点は、それらが典型的には少量のオンボードランダムアクセスメモリ(RAM)を含むことである。
一部の実施形態では、この問題を解決するために、光学センサは、センサが変位される方向(例えば、y方向)に対して平行な読み出し方向に沿ってデータを連続的に提供するように構成される。一部の実施形態では、3Dスキャナ500は、データが各光学センサから読み出されるFPGAを含む(例えば、各センサからのデータは、チップ間通信の必要性を回避するように、単一の共通FPGA上に読み出される)。読み出し中の任意の所与の時間に、FPGAは、各光センサについて、物体の表面上に投影された要素の全てよりも少ない同じサブセットを含む物体シーンの画像の一部分を記憶する(例えば、同じサブセットが各FPGAのRAMに同時に記憶される)。一部の実施形態では、以下に説明される方法800は、それぞれの要素の画像が各光学センサからFPGAのRAM内に記憶されている間に、(例えば、その要素に対応する物体の表面上の空間点を計算することによって)各それぞれの要素に対して行われる。このようにして、方法800は、読み出しが行われるときに実行される。
図6は、プロジェクタ602と単一のカメラ604とを含む3Dスキャナ600を示している。プロジェクタ602は、関連する光軸608を有する光学システム606を含む。プロジェクタ602はまた、スライド620を含む。スライド620の中心622は、y方向に沿って、図6の左側に、光軸608に対して距離628だけ変位している。スライド620の中心622の変位は、光軸608に対して非対称であるプロジェクタ602の視野616をもたらす。
単一のカメラ604は、関連する光軸612を有する光学システム610を含む。単一のカメラ604はまた、センサ624を含む。センサ625の中心626は、y方向に沿って、図6の右側に、光軸612に対して距離630だけ変位している。センサ624の中心626の変位は、光軸612に対して非対称である単一のカメラ604の視野618をもたらす。プロジェクタ602の視野616と単一のカメラ604の視野618は、物体シーン611内の平面614で重なる。平面614は、z-y平面内の線によって示される。平面614は、x-y平面に延在する。プロジェクタ602の光軸608は、シングルカメラ604の光軸612に対して実質的に平行である。すなわち、光軸608と光軸612とのなす角度はゼロに近い。
図7は、プロジェクタ702、第1のカメラ704、及び第2のカメラ706を含む3Dスキャナ700を示している。プロジェクタ702は、関連する光軸730を有する光学システム708を含む。プロジェクタ702はまた、スライド714を含む。スライド714の中心は、y方向に沿って、図7の左側に、光軸730に対して距離736だけ変位している。スライド714の中心の変位は、光軸730に対して非対称であるプロジェクタ702の視野738をもたらす。
第1のカメラ704は、関連する光軸732を有する光学システム710を含む。第1のカメラ704はまた、光軸732に対してy方向に沿って図7の右側に変位した中心を有するセンサ716を含む。センサ716の変位は、光軸732に対して非対称である第1のカメラ704の視野740をもたらす。
第2のカメラ706は、関連する光軸734を有する光学システム712を含む。第2のカメラ706はまた、光軸734に対してy方向に沿って図7の右側に変位した中心を有するセンサ718を含む。センサ718の変位は、光軸734に対して非対称である第2のカメラ706の視野742をもたらす。
一部の実施形態では、プロジェクタ702、第1のカメラ704、及び第2のカメラ706は、光学ホルダ720に接続される。一部の実施形態では、プロジェクタ702、第1のカメラ704、及び第2のカメラ706は、光学ホルダ720上に取り付けられる。一部の実施形態では、光学ホルダ720は、プロジェクタ702、第1のカメラ704、及び第2のカメラ706を機械的に結合するように構成される。一部の実施形態では、第1のカメラ704のセンサ716及び第2のカメラ706のセンサ718は、共通の機械的支持体722上に支持される。一部の実施形態では、第1のカメラ704のセンサ716及び第2のカメラ706のセンサ718は、機械的支持体722上に(例えば、直接)製作される(すなわち、機械的支持体722は、一体構造である)。一部の実施形態では、機械的支持体722は、プリント回路基板(PCB)を含む。一部の実施形態では、機械的支持体722は平坦である。一部の実施形態では、センサ716及びセンサ718は、したがって、共通平面内に位置決めされる。一部の実施形態では、接続要素724は、機械的支持体722を光学ホルダ720に結合する。例えば、異なるカメラの光学系のための単一の機械的支持体が、プロジェクタ702、第1のカメラ704、及び第2のカメラ706を機械的に結合する。
プロジェクタ702の視野738、第1のカメラ704の視野740、及び第2のカメラ706の視野742は、物体シーン726内の平面728で重なる。平面728は、z-y平面内の線によって示される。平面718は、x-y平面に延在する。プロジェクタ702の光軸730は、第1のカメラ704の光軸732及び第2のカメラ706の光軸734に対して平行である。
異なるカメラのセンサを同一の機械的支持体上に取り付けること(及び/又はセンサを機械的支持体上に直接加工すること)で、センサの製造が簡略化され、第1のカメラ704と第2のカメラ706との間のより高速な温度安定化が提供される。例えば、単一の機械的支持体を有することは、センサ716とセンサ718との間の温度を迅速に安定させる。センサが同一の機械的支持体上に取り付けられるとき、z方向に沿ったカメラのオフセットと関連付けられる不整合誤差は、より小さくなる。一部の実施形態では、光学ホルダ720は、光学システム708、光学システム710、及び光学システム712を同じ基板に締結して固定する。光学システム708を同じ基板に固定することは、異なる光学システム間のz方向及びx方向におけるミスアライメントを低減し、y方向におけるそれらの相対的な所望のオフセットがより正確に維持されることを可能にする。
モノクロセンサは、プロジェクタの光源によって生成され、測定対象物によって反射された光のパターンを取り込むために3Dスキャナにおいて概して使用されている。
モノクロセンサは、カラーフィルタを含まない。3Dスキャナは、多くの場合、物体のテクスチャ情報を取り込むための別個のカラーセンサを有する。一部の実施形態では、テクスチャ情報は、色情報、並びに任意選択的に、物体の外観の1つ以上の非色特性(例えば、鏡面性)を含む。例えば、カラー光センサは、入射光の色及び輝度の両方を検出する1つ以上の内蔵フィルタを含む。一部の実施形態では、これらの2つの機能(例えば、物体のテクスチャ感知及び3D輪郭のマッピング)は、1つのカラーカメラ(例えば、物体からの異なる波長の反射光を受信するように構成されたカラーセンサを有する第1のカメラ504)に組み合わされる。カラーカメラからの1つのフレームは、測定物体から反射された投影光パターンの画像を取り込み、後続のフレームは、物体の色又はテクスチャ情報を取り込む。一部の実施形態では、カラー光センサは、カラーフィルタの存在に起因してより低い感度を有する。一部の実施形態では、残りのカメラ(例えば、カメラ506及び508)は、モノクロカメラである。
モノクロセンサは、カラーフィルタを含まない。3Dスキャナは、多くの場合、物体のテクスチャ情報を取り込むための別個のカラーセンサを有する。一部の実施形態では、テクスチャ情報は、色情報、並びに任意選択的に、物体の外観の1つ以上の非色特性(例えば、鏡面性)を含む。例えば、カラー光センサは、入射光の色及び輝度の両方を検出する1つ以上の内蔵フィルタを含む。一部の実施形態では、これらの2つの機能(例えば、物体のテクスチャ感知及び3D輪郭のマッピング)は、1つのカラーカメラ(例えば、物体からの異なる波長の反射光を受信するように構成されたカラーセンサを有する第1のカメラ504)に組み合わされる。カラーカメラからの1つのフレームは、測定物体から反射された投影光パターンの画像を取り込み、後続のフレームは、物体の色又はテクスチャ情報を取り込む。一部の実施形態では、カラー光センサは、カラーフィルタの存在に起因してより低い感度を有する。一部の実施形態では、残りのカメラ(例えば、カメラ506及び508)は、モノクロカメラである。
図8は、一部の実施形態による、物体の3Dモデルを生成する方法800のフロー図を示している。一部の実施形態では、方法800は、3Dスキャナ(例えば、先行する図を参照して説明された3Dスキャナのいずれか)で実行される。一部の実施形態では、方法800の一部の動作は、3Dスキャナとは異なるコンピュータシステム(例えば、図9のリモートデバイス936など、3Dスキャナからデータを受信し、そのデータを処理するコンピュータシステム)によって実行される。方法800の一部の動作は、任意選択的に、組み合わされ、かつ/又は一部の動作の順序は、任意選択的に、変更される。説明を容易にするために、方法800は、3Dスキャナ700(図7)によって実行されるものとして説明される。
方法800は、(例えば、プロジェクタ702を使用して)物体の表面上に複数の要素を投影すること(802)を含む。一部の実施形態では、要素は非コード化要素である。一部の実施形態では、要素は線である。
方法800は、第1のカメラ(例えば、図7の第1のカメラ704)を使用して、物体から反射された複数の線の一部の第1の画像を取り込むこと(804)を含む。第1の画像に取り込まれる複数の線の一部は、第1のカメラの視野内のものである。
方法800は、第2のカメラ(例えば、図7の第2のカメラ706)を使用して、物体から反射された複数の線の一部の第2の画像を取り込むこと(806)を含む。
第2の画像に取り込まれる複数の線の一部は、第2のカメラの視野内のものである。
第2の画像に取り込まれる複数の線の一部は、第2のカメラの視野内のものである。
一部の実施形態では、第1の画像及び第2の画像は、実質的に同時に取り込まれる。一部の実施形態では、第1の画像及び第2の画像は、複数の要素が物体の表面上に投影されている間に取り込まれる。
一部の実施形態では、第1のカメラ及び第2のカメラのそれぞれ1つは、カラー(例えば、RGB)カメラである。一部の実施形態では、第1のカメラ及び第2のカメラのうちの他方は、モノクロカメラである。一部の実施形態では、複数の要素は、物体の表面上にストロボ的に投影される(例えば、照射される)。複数の要素が物体の表面上に投影されている間に取得された画像は、(後述するように)物体の表面の3D再構成のために使用される。加えて、一部の実施形態では、カラーカメラはまた、複数の要素が物体の表面上に投影されていない間に画像を取得する。一部の実施形態では、カラーカメラは、プロジェクタのストロボ投影間の画像を取得する。したがって、一部の実施形態では、物体のカラー画像は、複数の非コード化要素の反射を含まない。一部の実施形態では、複数の要素が物体の表面上に投影されていない間に取得された画像は、物体の表面の3D再構成のためのテクスチャを生成するために使用される。
方法800は、物体の表面上に投影された複数の線のそれぞれの線に対応する第1の画像上の画像点を使用して、物体の表面上の複数の可能な空間点を計算すること(808)を含む。一部の実施形態では、複数の可能な空間点を計算することは、複数の可能な空間点のz成分を計算することを含む。一部の実施形態では、物体の表面上の各可能な空間点は、第1の画像内の撮像された要素とスライド上の投影パターン内の要素との間の対応関係を仮定することによって計算される。対応関係が分かると、3Dスキャナの幾何学的形状を考慮に入れて、三角測量アルゴリズムを利用することによって、物体の表面上の空間点を決定することができる。本明細書で使用される三角測量は、物体の表面上の点の位置を決定するために、スキャナの幾何学的形状の知識とともに、物体の表面上に投影された既知の要素の画像内の位置を使用することである。
可能な(例えば、仮定された)空間点のうちの一部は、3Dスキャナ700の被写界深度(例えば、焦点深度)の外側に位置し得る(例えば、図3の領域314の外側に位置する)。したがって、方法800は、複数の可能な空間点から、第1のカメラの被写界深度の外側にある空間点を排斥することを含み、排斥することは、残りの空間点のセットをもたらす。
方法800は、残りの空間点のセットのそれぞれの空間点について、(例えば、3Dスキャナ700の幾何学形状及び物体の表面上の仮定された空間点を使用して、第1の画像内の点を第2の画像内の点にマッピングすることによって)それぞれの空間点が第2の画像内の撮像された線に対応するかどうかを判定すること(810)を含む。
方法800は、それぞれの空間点が第2の画像内の撮像された線に対応するという判定に従って、それぞれの空間点を物体の表面上の対応する位置として記憶すること(814)を更に含む。例えば、第1の画像内の線の仮定された空間座標が第2の画像内の線にマッピングするという事実は、仮定が正しかったことを確認するものである。一部の実施形態では、追加の画像が、第1の画像内の要素と投影パターン内の要素との間の対応における曖昧さを排除するために必要とされ得る。したがって、一部の実施形態では、追加のカメラが、追加の画像を取得するために使用される(例えば、図5は、3つのカメラを伴うスキャナを示す)。
一部の実施形態では、方法800は、それぞれの空間点が第3の画像中の撮像された非コード化要素に対応しないという判定に従って、それぞれの空間点を物体の表面上の可能な対応する位置としてメモリから除去することを含む。一部の実施形態では、方法800は、撮像された要素と投影パターンの要素との間の仮定された対応関係を可能性のセットから排除することを含む。
図8の動作について説明した特定の順序は一例にすぎず、説明した順序が動作を実行することができる唯一の順序であることを示すものではないことを理解されたい。当業者は、本明細書で説明される動作を並べ替えるための種々の方法を認識するであろう。
図9は、一部の実施形態による3Dスキャナ900のブロック図である。前の図のいずれかを参照して説明した3Dスキャナは、3Dスキャナ900に関して説明した特徴のいずれかを含むことができることに留意されたい。例えば、前の図を参照して説明した3Dスキャナのいずれも、3Dスキャナ900に関して説明したようなコンピュータシステムを含むことができる。3Dスキャナ900又は3Dスキャナ900のコンピュータシステムは、典型的には、メモリ904、1つ以上のプロセッサ902、電源906、ユーザ入力/出力(I/O)サブシステム908、1つ以上のセンサ903(例えば、カメラ)、1つ以上の光源311(例えば、プロジェクタ)、及びこれらの構成要素を相互接続するための通信バス910を含む。プロセッサ902は、メモリ904に記憶されたモジュール、プログラム、及び/又は命令を実行し、それによって処理動作を実行する。
一部の実施形態では、プロセッサ902は、少なくとも1つの中央処理装置を含む。一部の実施形態では、プロセッサ902は、少なくとも1つのグラフィカル処理ユニットを含む。一部の実施形態では、プロセッサ902は、少なくとも1つのフィールドプログラマブルゲートアレイを含む。
一部の実施形態では、メモリ904は、1つ以上のプログラム(例えば、命令のセット)及び/又はデータ構造を記憶する。一部の実施形態では、メモリ904又はメモリ904の非一時的コンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又はそれらのサブセット若しくはスーパーセットを記憶する
・種々の基本システムサービスを処理し、ハードウェア依存タスクを実行するための手順を含むオペレーティングシステム912、
・1つ以上の通信ネットワーク950を介して3Dスキャナを他のコンピュータシステム(例えば、リモートデバイス936)に接続するためのネットワーク通信モジュール918、
・ユーザ入力/出力(I/O)サブシステム908を介してユーザからコマンド及び/又は入力を受信し、ユーザ入力/出力(I/O)サブシステム908上での提示及び/又は表示のための出力を提供するユーザインターフェースモジュール920、
・方法800(図8)に関して説明される動作のいずれか又は全てを随意に行うことを含む、センサ903からのデータを処理又は前処理するためのデータ処理モジュール924、
・カメラ、プロジェクタ、及びセンサの読み出しを制御するためのデータ取得モジュール926、
・3Dスキャナ900によって使用及び生成されるデータを記憶するバッファ、RAM、ROM、及び/又は他のメモリを含む記憶装置930。
・種々の基本システムサービスを処理し、ハードウェア依存タスクを実行するための手順を含むオペレーティングシステム912、
・1つ以上の通信ネットワーク950を介して3Dスキャナを他のコンピュータシステム(例えば、リモートデバイス936)に接続するためのネットワーク通信モジュール918、
・ユーザ入力/出力(I/O)サブシステム908を介してユーザからコマンド及び/又は入力を受信し、ユーザ入力/出力(I/O)サブシステム908上での提示及び/又は表示のための出力を提供するユーザインターフェースモジュール920、
・方法800(図8)に関して説明される動作のいずれか又は全てを随意に行うことを含む、センサ903からのデータを処理又は前処理するためのデータ処理モジュール924、
・カメラ、プロジェクタ、及びセンサの読み出しを制御するためのデータ取得モジュール926、
・3Dスキャナ900によって使用及び生成されるデータを記憶するバッファ、RAM、ROM、及び/又は他のメモリを含む記憶装置930。
上記で識別されたモジュール(例えば、命令のセットを含むデータ構造及び/又はプログラム)は、別個のソフトウェアプログラム、プロシージャ、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施形態で組み合わせられるか、又は別様に再構成されてもよい。一部の実施形態では、メモリ904は、上記で識別されたモジュールのサブセットを記憶する。更に、メモリ904は、上記で説明されていない追加のモジュールを記憶し得る。一部の実施形態では、メモリ904又はメモリ904の非一時的コンピュータ可読記憶媒体に記憶されたモジュールは、以下で説明する方法におけるそれぞれの動作を実装するための命令を提供する。一部の実施形態では、これらのモジュールのうちの一部又は全ては、モジュール機能性の一部又は全てを包含する専用ハードウェア回路(例えば、FPGA)を用いて実装されてもよい。上記で識別された要素のうちの1つ以上は、プロセッサ902のうちの1つ以上によって実行され得る。
一部の実施形態では、ユーザ入力/出力(I/O)サブシステム908は、通信ネットワーク950を介して、並びに/又は有線及び/若しくは無線接続を介して、3Dスキャナ900を1つ以上のリモートデバイス936(例えば、外部ディスプレイ)などの1つ以上のデバイスに通信可能に結合する。一部の実施形態では、通信ネットワーク950はインターネットである。一部の実施形態では、ユーザ入力/出力(I/O)サブシステム908は、3Dスキャナ900を、タッチセンサ式ディスプレイなどの1つ以上の統合又は周辺デバイスに通信可能に結合する。
一部の実施形態では、センサ903は、テクスチャ(例えば、色データ)を収集する第1の光学センサ(例えば、CCD)(例えば、センサ716、図7)と、3Dデータを収集する第2の光学センサ(例えば、CCD)(例えば、センサ718)と、モーションセンサ(例えば、微小電気機械システム(MEMS)、ジャイロスコープ、及び1つ以上のホールセンサを使用して実装され得る、9自由度(DOF)センサ)とを含む。一部の実施形態では、第1の光学センサは、テクスチャを収集することに加えて、3Dデータを収集する。
一部の実施形態では、光源911(例えば、本明細書に説明されるプロジェクタの構成要素)は、1つ以上のレーザを含む。一部の実施形態では、1つ以上のレーザは、垂直共振器面発光レーザ(VCSEL)を含む。一部の実施形態では、光源911はまた、可視光を生成する発光ダイオード(LED)のアレイを含む。
通信バス910は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと称されることもある)を任意選択的に含む。
前述の記載は、説明のために、特定の実施形態を参照して記載されている。しかしながら、上記の例示的な説明は、網羅的であること、又は本発明を開示された厳密な形態に限定することを意図するものではない。上記の教示に鑑みて、多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際の適用を最良に説明し、それによって、他の当業者が、本発明及び種々の説明される実施形態を、企図される特定の使用に好適であるような種々の修正とともに最良に使用することを可能にするために、選択及び説明された。
第1、第2などの用語は、一部の事例では、種々の要素を説明するために本明細書で使用されるが、これらの要素はこれらの用語によって限定されるべきではないことも理解されよう。これらの用語は、1つの要素を別の要素と区別するためにのみ使用される。例えば、説明される種々の実施形態の範囲から逸脱することなく、第1のセンサを第2のセンサと称することができ、同様に、第2のセンサを第1のセンサと称することができる。第1のセンサ及び第2のセンサは、両方ともセンサであるが、文脈がそうでないことを明確に示さない限り、それらは同じセンサではない。
本明細書に記載された種々の実施形態の説明において使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図していない。種々の説明される実施形態の説明及び添付の特許請求の範囲において使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうでないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用される「及び/又は」という用語は、関連する列挙された項目の1つ以上の任意の及び全ての可能な組み合わせを指し、包含することも理解されよう。「含む(includes)」、「含んでいる(including)」、「備える(comprises)」、及び/又は「備えている(comprising)」という用語は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を排除しないことが更に理解されよう。
本明細書で使用される場合、用語「場合(if)」は、文脈に応じて、「とき(when)」又は「とき(upon)」又は「決定に応答して」又は「検出に応答して」を意味すると任意選択的に解釈される。同様に、「決定された場合」又は「[述べられた状態又は事象]が検出された場合」という句は、状況に応じて、「決定したとき」又は「決定したことに応答して」又は「[述べられた状態又は事象]を検出したとき」又は「[述べられた状態又は事象]を検出したことに応答して」を意味すると任意選択的に解釈される。
Claims (28)
- システムであって、
複数の非コード化要素を物体上に投影するように構成されたプロジェクタであって、前記プロジェクタは、第1の光軸を有する、プロジェクタと、
第1のレンズと第1のセンサとを備える第1のカメラであって、前記第1のレンズは、前記複数の非コード化要素の第1の部分の反射を前記第1のセンサ上に集束させ、前記第1のレンズは、第2の光軸を画定する、第1のカメラと、
第2のレンズ及び第2のセンサを備える第2のカメラであって、前記第2のレンズは、前記複数の非コード化要素の第2の部分の反射を前記第2のセンサ上に集束させ、前記第2のレンズは、第3の光軸を画定する、第2のカメラと、を備え、
前記プロジェクタ、前記第1のカメラ、及び前記第2のカメラは、第1の方向に互いにオフセットされ、
前記第1の光軸は、前記第2の光軸に対して実質的に平行であり、前記第2の光軸は、前記第3の光軸に対して実質的に平行であり、
前記第1のセンサの中心は、前記第2の光軸から離れるように前記第1の方向に沿って変位し、
前記第2のセンサの中心は、前記第3の光軸から離れるように前記第1の方向に沿って変位している、システム。 - 前記プロジェクタ、前記第1のカメラ、及び前記第2のカメラは、前記第1の方向において略直線上に配設されている、請求項1に記載のシステム。
- 前記プロジェクタは、前記略直線の第1の端部に位置決めされ、前記第1のカメラ及び前記第2のカメラは、前記プロジェクタの一方の側で、前記略直線上に前記第1の方向に沿って位置決めされている、請求項2に記載のシステム。
- 前記第1のカメラの被写界深度は、前記第2のカメラの被写界深度と実質的に同一である、請求項1に記載のシステム。
- 前記第1の方向に沿って変位した前記第2のセンサの前記中心は、前記第3の光軸に対して非対称である前記第2のカメラからの前記物体の視野を提供する、請求項1に記載のシステム。
- 前記複数の非コード化要素が前記物体上に投影される前記プロジェクタの視野、前記第1のカメラからの前記物体の視野、及び前記第2のカメラからの前記物体の視野は、重なるように構成されている、請求項5に記載のシステム。
- 前記第1のカメラからの前記物体の前記視野は、前記プロジェクタの前記視野よりも大きい、請求項6に記載のシステム。
- 第3のレンズ及び第3のセンサを有する第3のカメラを更に備え、
前記第3のレンズは、前記複数の非コード化要素の第3の部分の反射を前記第3のセンサ上に集束させ、
前記第3のレンズは、第4の光軸を画定し、
前記プロジェクタは、前記略直線の第1の端部に位置決めされ、前記第1のカメラ、前記第2のカメラ、及び前記第3のカメラは、前記プロジェクタの一方の側で、前記略直線上に前記第1の方向に沿って位置決めされ、
前記第1の方向に沿って変位した前記第2のセンサの前記中心は、前記第3の光軸に対して非対称である前記第2のカメラからの前記物体の視野を提供し、
前記複数の非コード化要素が前記物体上に投影される前記プロジェクタの視野、前記第1のカメラからの前記物体の視野、及び前記第2のカメラからの前記物体の視野は、重なるように構成されている、請求項2に記載のシステム。 - 前記第3のカメラからの前記物体の前記視野は、前記第2のカメラからの前記物体の前記視野よりも小さい、請求項8に記載のシステム。
- 前記プロジェクタは、前記第1の光軸から離れるように前記第1の方向に沿って変位したスライドを備え、前記複数の非コード化要素が前記物体上に投影される前記プロジェクタの視野は、前記第1の光軸に対して非対称である、請求項1に記載のシステム。
- 前記第1のカメラを前記第2のカメラに機械的に結合する機械的支持体を更に備える、請求項1に記載のシステム。
- 前記機械的支持体は、前記第1のセンサ及び前記第2のセンサが配設されたプリント回路基板を含む、請求項11に記載のシステム。
- 前記機械的支持体は、前記第1のセンサと前記第2のセンサとの間の温度を安定させるように構成されている、請求項11に記載のシステム。
- 前記プロジェクタ、前記第1のカメラ、及び前記第2のカメラを機械的に結合するように構成された光学ホルダを更に備える、請求項11に記載のシステム。
- 前記第1のセンサは、前記物体からの異なる波長の反射光を受け取るように構成されたカラーセンサを含む、請求項1に記載のシステム。
- 前記物体からの異なる波長の前記反射光は、前記物体のテクスチャ情報を提供する、請求項15に記載のシステム。
- 前記第1のセンサから第1の画像を受信し、前記第1のセンサから後続の第2の画像を受信するように構成された1つ以上のプロセッサを更に備え、前記第1の画像は、前記複数の非コード化要素の前記第1の部分の前記反射を含み、前記後続の第2の画像は、前記複数の非コード化要素の反射を含まない前記物体のカラー画像を含む、請求項15に記載のシステム。
- 前記第1のセンサによって記録されたデータ及び前記第2のセンサによって記録されたデータを受信するように構成された1つ以上のプロセッサを更に備え、前記第1のセンサ及び前記第2のセンサの両方は、読み出し方向に沿って1つ以上のプロセッサに順次提供するように構成されている、請求項1に記載のシステム。
- 前記第1のカメラの前記読み出し方向は、前記第1の方向に対して平行である、請求項18に記載のシステム。
- 前記1つ以上のプロセッサは、前記第1のセンサ及び前記第2のセンサの両方から前記データを受信する共通プロセッサを含む、請求項19に記載のシステム。
- 前記共通プロセッサは、フィールドプログラマブルゲートアレイである、請求項20に記載のシステム。
- 1つ以上のプロセッサと、メモリと、を更に備え、前記メモリは、
前記物体の前記表面上に投影された前記複数の非コード化要素のそれぞれの非コード化要素に対応する前記第1のカメラからの第1の画像上の画像点を使用して、前記物体の前記表面上の複数の可能な空間点を計算することと、
前記複数の可能な空間点から、前記第1のカメラの被写界深度の外側にある空間点を排斥することであって、前記排斥することは、残りの空間点のセットをもたらす、排斥することと、
残りの空間点の前記セットのそれぞれの空間点について、前記それぞれの空間点が前記第2のカメラからの第2の画像中の撮像された非コード化要素に対応するかどうかを判定することと、
前記それぞれの空間点が前記第2の画像中の撮像された非コード化要素に対応するという判定に従って、前記それぞれの空間点を前記物体の前記表面上の対応する位置として記憶することと、のための命令を記憶している、請求項1に記載のシステム。 - 前記メモリは、
前記それぞれの空間点が、第3のカメラからの第3の画像内の撮像された非コード化要素に対応するかどうかを判定することと、
前記それぞれの空間点が前記第3の画像内の撮像された非コード化要素に対応するという判定に従って、前記それぞれの空間点を前記物体の前記表面上の前記対応する位置として記憶することと、のための命令を更に記憶している、請求項22に記載のシステム。 - 前記命令は、前記それぞれの空間点が前記第3の画像内の撮像された非コード化要素に対応しないという判定に従って、前記それぞれの空間点を前記物体の前記表面上の可能な対応する位置として前記メモリから除去するための命令を更に含む、請求項23に記載のシステム。
- 前記それぞれの空間点が前記第2の画像内の撮像された非コード化要素に対応するかどうかを判定することは、前記それぞれの空間点に対応する前記第2の画像内の画像点を計算することと、非コード化要素の一部分が前記画像点において撮像されるかどうかを識別することと、を含む、請求項22に記載のシステム。
- 前記非コード化要素は、線である、請求項1に記載のシステム。
- システムであって、
複数の非コード化要素を物体上に投影するように構成されたプロジェクタであって、前記プロジェクタは、第1の光軸を有する、プロジェクタと、
第1のレンズと第1のセンサとを備える第1のカメラであって、前記第1のレンズは、前記複数の非コード化要素の第1の部分の反射を前記第1のセンサ上に集束させ、前記第1のレンズは、第2の光軸を画定する、第1のカメラと、
第2のレンズ及び第2のセンサを備える第2のカメラであって、前記第2のレンズは、前記複数の非コード化要素の第2の部分の反射を前記第2のセンサ上に集束させ、前記第2のレンズは、第3の光軸を画定する、第2のカメラと、を備え、
前記第1のセンサ及び前記第2のセンサは、共通の平面上に配設され、前記第2の光軸は、前記第3の光軸に対して実質的に平行であり、前記第1のセンサの中心は、前記第2の光軸から離れるように前記第1の方向に沿って変位している、システム。 - システムであって、
複数の非コード化要素を物体上に投影するように構成されたプロジェクタであって、前記プロジェクタは、第1の光軸を有する、プロジェクタと、
第1のレンズと第1のセンサとを備える第1のカメラであって、前記第1のレンズは、前記複数の非コード化要素の第1の部分の反射を前記第1のセンサ上に集束させ、前記第1のレンズは、第2の光軸を画定する、第1のカメラと、を備え、
前記第1のセンサの中心は、前記第2の光軸から離れるように前記第1の方向に沿って変位している、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063111445P | 2020-11-09 | 2020-11-09 | |
US63/111,445 | 2020-11-09 | ||
PCT/IB2021/000722 WO2022096925A1 (en) | 2020-11-09 | 2021-10-27 | Three-dimensional scanner having sensors with overlapping fields of view |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023547699A true JP2023547699A (ja) | 2023-11-13 |
Family
ID=78827857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023527655A Pending JP2023547699A (ja) | 2020-11-09 | 2021-10-27 | 重なる視野を有するセンサを有する三次元スキャナ |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230408253A1 (ja) |
EP (1) | EP4241041A1 (ja) |
JP (1) | JP2023547699A (ja) |
KR (1) | KR20230101899A (ja) |
CN (1) | CN116601455A (ja) |
AU (1) | AU2021375399A1 (ja) |
MX (1) | MX2023005358A (ja) |
WO (1) | WO2022096925A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4296614A1 (en) * | 2022-06-24 | 2023-12-27 | Faro Technologies, Inc. | Line scanner having integrated processing capability |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1266562A (en) * | 1986-09-24 | 1990-03-13 | Donald Stewart | Distance measuring apparatus |
DE4130237A1 (de) * | 1991-09-11 | 1993-03-18 | Zeiss Carl Fa | Verfahren und vorrichtung zur dreidimensionalen optischen vermessung von objektoberflaechen |
US7103212B2 (en) * | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
-
2021
- 2021-10-27 JP JP2023527655A patent/JP2023547699A/ja active Pending
- 2021-10-27 CN CN202180078152.1A patent/CN116601455A/zh active Pending
- 2021-10-27 EP EP21823348.4A patent/EP4241041A1/en active Pending
- 2021-10-27 US US18/252,184 patent/US20230408253A1/en active Pending
- 2021-10-27 WO PCT/IB2021/000722 patent/WO2022096925A1/en active Application Filing
- 2021-10-27 AU AU2021375399A patent/AU2021375399A1/en active Pending
- 2021-10-27 MX MX2023005358A patent/MX2023005358A/es unknown
- 2021-10-27 KR KR1020237019442A patent/KR20230101899A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4241041A1 (en) | 2023-09-13 |
CN116601455A (zh) | 2023-08-15 |
MX2023005358A (es) | 2023-07-18 |
KR20230101899A (ko) | 2023-07-06 |
WO2022096925A1 (en) | 2022-05-12 |
US20230408253A1 (en) | 2023-12-21 |
AU2021375399A1 (en) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
EP3531066B1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
US10571668B2 (en) | Catadioptric projector systems, devices, and methods | |
EP2377464B1 (en) | 3-D imaging using double telecentric optics and depth from focus measurements | |
KR102040368B1 (ko) | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 | |
US10782126B2 (en) | Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner | |
US9797708B2 (en) | Apparatus and method for profiling a depth of a surface of a target object | |
US6480287B2 (en) | Three dimensional scanning system | |
CN112469361B (zh) | 用于在共焦相机中生成动态投影图案的设备、方法和系统 | |
US10057498B1 (en) | Light field vision system camera and methods for using the same | |
CN108718406B (zh) | 一种可变焦3d深度相机及其成像方法 | |
WO2013012335A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
JP2009300268A (ja) | 3次元情報検出装置 | |
US9704255B2 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
US11509835B2 (en) | Imaging system and method for producing images using means for adjusting optical focus | |
WO2014011182A1 (en) | Convergence/divergence based depth determination techniques and uses with defocusing imaging | |
JP2958458B1 (ja) | 多眼画像センサ | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
US11763491B2 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
KR20200064999A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈 | |
JP2023547699A (ja) | 重なる視野を有するセンサを有する三次元スキャナ | |
JP3321866B2 (ja) | 表面形状検出装置およびその方法 | |
CN115151945A (zh) | 将三维相机的坐标系转成二维相机的入射点 | |
US11481917B2 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
KR102184210B1 (ko) | 3차원 카메라 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230711 |