JP3818028B2 - 3D image capturing apparatus and 3D image capturing method - Google Patents
3D image capturing apparatus and 3D image capturing method Download PDFInfo
- Publication number
- JP3818028B2 JP3818028B2 JP2000207875A JP2000207875A JP3818028B2 JP 3818028 B2 JP3818028 B2 JP 3818028B2 JP 2000207875 A JP2000207875 A JP 2000207875A JP 2000207875 A JP2000207875 A JP 2000207875A JP 3818028 B2 JP3818028 B2 JP 3818028B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- pattern
- imaging
- dimensional image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は測定対象に対してパターン光を照射することによって得られるパターン投影像を、複数の撮像手段で異なる方向から撮像し、パターンの変化に基づいて距離情報を得る3次元画像撮像装置および3次元画像撮像方法に関し、測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段を用いた3次元画像撮像装置および3次元画像撮像方法に関する。
【0002】
【従来の技術】
3次元形状を取得する手法には、アクティブ手法(Active vision)とパッシブ手法(Passive vision)がある。アクティブ手法は、(1)レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、(2)スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、3次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から3次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【0003】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の3次元計測装置であるパターン投影法に関するものである。
【0004】
パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【0005】
代表的な空間コード化の一例として特開平5−3327375号公報に開示されている実施例について説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。
【0006】
スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はN個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【0007】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を256の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【0008】
パターンの投光回数を減らす手段として特開平3−192474号公報に開示されている色符号化がある。色符号化においては、q、kを2以上の所定の自然数とした時、q色以上の色を用いて、隣接する2本のスリット光が同色にならず、隣接するk本のスリット光による色の並びが1度しか現れないように符号化されたパターンを投影し、観測された画像からスリットの色を検出し、該当スリットの色並びからスリット番号を取得する。スリット番号から、スリットの照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【0009】
しかしながら、色符号化ではコード列の並びからコードを復元する為に、コードの復元の計算量が大きいという問題点がある。更に、R,G,Bの3色を用いて256の領域に分割したい場合には、コードを知りたいスリットの周囲8本のスリット光の並びを知る必要があり、連続してスリットが長く観測できるような形状の物体の計測にしか適さない。
【0010】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として特許第2565885号で公開されている空間パターンコード化法がある。この特許では、3値以上の濃淡、又は3色以上の色、又は濃淡と色の組み合わせによって3種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも3種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与したことを特徴とする。
【0011】
しかし、上述の方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。例えば、図21に示すように光源によって投光されたパターン列が"12345678"であるとき、撮影対象の構造によってはカメラで撮影されるパターン列が"1267"と欠落して認識されたり、パターン列"758"のように反転したパターン列が得られる場合がある。また、対象物の形状や反射率などによっても投光したパターンと撮影されたパターン列の変化により対応づけは困難となる。
【0012】
色符号化においては、復号化時にスリットのグループ化を行う際、スリットの欠落、反転の可能性があるパターンについては復号を行わない手法を用いてこの問題を回避している。空間パターンコード化法では2次元パターンを用いることで、前述の誤りの可能性を低減してはいるが、原理的には対象物によっては同じ誤りが生じる。従って、前述の方式では、実験室内の特殊な状況や対象物体を限定した状況での撮影では優れた精度が得られるものの、対象を限定しない一般的な撮影状況では精度の劣化は否めない。また、光源を用いた投光を行う手法では、広いレンジを有するものを対象とした時に、投光が届かない部位については3次元形状が得られない。また、投光されたパターンを対象物が遮ることで生じる影の領域も、距離の計測ができないため、実際に見えているのに距離が得られない領域が存在してしまう。
【0013】
そこで、本出願と同一出願人に係る特願平10−191063号、(特開2000−9442)、特願平10−247796(特開2000−65542)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない3次元画像撮影装置を提案した。
【0014】
【発明が解決しようとする課題】
上記の特願平10−191063号、(特開2000−9442)、特願平10−247796(特開2000−65542)における3次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、3次元形状を算出する際に、エラーとなって適切な3次元形状が計測できない。そのために、上記3次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、3次元形状を計測している。
【0015】
上記構成において、符号化されたパターンを投影する際の投影には、液晶などをつかったPCなどのコントローラで照射パターンを制御して投影するプロジェクタあるいはレーザによる投影構成を使用している。レーザ光を使ったものは、ポリゴンミラーなどの駆動系を有してしまうので、手持ちなどの振動に弱いという欠点や、ビデオレート以上の高速カメラなど高速シャッターが必要な物体に対してはプロジェクトパターンが追いつかないという欠点がある。また、ポリゴンミラーの駆動及びスリットレーザ光のコントロールをするための制御が必要となるといった問題があった。
【0016】
本発明は、このようなパターン照射を実行する投影手段の問題点に鑑みてなされたものであり、本発明は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ3次元画像撮像装置および3次元画像撮像方法を提供することを目的とする。
【0017】
【課題を解決するための手段】
本発明は、上記の目的を解決するものであり、その第1の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有することを特徴とする3次元画像撮像装置にある。
【0018】
さらに、本発明の第2の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有することを特徴とする3次元画像撮像装置にある。
さらに、本発明の第3の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有するとともに、前記光源は、平板型の発光素子または蛍光体であり、前記光学フィルターに近接して配置された構成を有することを特徴とする3次元画像撮像装置にある。
【0019】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記投光手段は、パターン光を不可視領域光によって形成する構成であり、前記光源は、赤外光または紫外光を用いた不可視領域の光源であることを特徴とする。
【0021】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記投光手段を構成する光学フィルターは、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせた構成であり、前記光源は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成であることを特徴とする。
【0022】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記投光手段の出射光と、前記第1の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタによって分離される構成であり、前記投光手段と前記第1の撮像手段とは、それぞれ光学的に同軸に配置された構成であることを特徴とする。
【0023】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、前記第1の撮像手段および前記第2の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする。
【0024】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るよう構成したことを特徴とする。
【0025】
さらに、本発明の3次元画像撮像装置の一実施態様において、前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得るよう構成したことを特徴とする。
【0028】
さらに、本発明の第4の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とにより、パターンの投影された測定対象を撮影する撮像ステップと、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成するステップと、
を有することを特徴とする3次元画像撮像方法にある。
【0030】
さらに、本発明の3次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであることを特徴とする。
【0031】
さらに、本発明の3次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする。
【0032】
さらに、本発明の3次元画像撮像方法の一実施態様において、前記3次元画像撮像方法は、さらに、前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るステップを有することを特徴とする。
【0033】
さらに、本発明の3次元画像撮像方法の一実施態様において、前記3次元画像撮像方法において、前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得ることを特徴とする。
【0034】
【発明の実施の形態】
以下、図を用いて本発明の3次元画像撮像装置および3次元画像撮像方法の実施の形態を詳しく説明する。
【0035】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する3次元画像撮像装置の構成を表すブロック図を図1に示す。図2に光源と撮像素子の位置関係を示す。
【0036】
図2に示すように、3次元形状測定装置は、3台のカメラ101〜103および投光器104を備える。各カメラの距離関係が揃うように、図示の距離I1、I2、I3は等しくされている。カメラ3,103と投光器104は、ビームスプリッタとしてのハーフミラー105を用いて光軸が一致するように配置される。カメラ1,101、カメラ2,102は、カメラ3,103と投光器104の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Lである。
【0037】
投光器104は、光源106と、マスクパターン107と、強度パターン108と、プリズム109とを有する。ここで光源106は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図3に示すように構成される。すなわち、入射してきた光310は、プリズム301で2方向に分割され、一方は不可視領域(赤外あるいは紫外)透過フィルター302を通って撮像装置(例えばCCDカメラ)303に入射し、他方は不可視領域(赤外と紫外)遮断フィルター304を通って撮像装置305に入射する。
【0038】
また図2に示す光源106は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ3,103においては、プログレッシブスキャンタイプのCCDカメラを用い、カメラ1,101、カメラ2,102に関しては、特に構成はこだわらない。ただし、カメラ3,103との対応を考慮すれば、同じ構成のCCDカメラが望ましい。光源106からパターンが投影され、3台のカメラ1〜3(101〜103)が同時に撮影を行う。そして各カメラは、フィルター304,305(図3参照)を通過した光を撮像装置303,305で得ることにより、画像の一括取得を行う。
【0039】
図1を用いて3次元形状測定装置の構成を説明する。図示のように、カメラ1,101は、撮影して得た輝度情報を輝度値メモリ121に記憶し、撮影パターンをパターン画像メモリ122に記憶する。カメラ2,102は、同様に、輝度情報を輝度値メモリ123に記憶し、撮影パターンをパターン画像メモリ124に記憶する。カメラ3,103は、輝度情報を輝度値メモリ125に記憶し、撮影パターンをパターン画像メモリ126に記憶する。投光器104は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ127に格納している。
【0040】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして3次元画像を得る。以下の操作は、カメラ1,101とカメラ3,103の組み合わせ、カメラ2,102とカメラ3,103の組み合わせの双方に共通なので、ここではカメラ1,101とカメラ3,103の組み合わせを例にとって説明する。
【0041】
図1において、領域分割部128は、カメラ3,103で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域1として抽出し、スリットパターン間の強度差が閾値以上である領域については領域2として抽出する。再コード化部129は、抽出された領域2について、パターン画像メモリ126に記憶された撮影パターンとフレームメモリ127に格納された投影パターンを用いて再コード化を行う。
【0042】
図4は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し(ステップ1001)、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする(ステップ1002)。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する(ステップ1003)。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する(ステップ1007)。
【0043】
閾値以上異なる場合は、新たな強度のセルかどうか判断する(ステップ1004)。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う(ステップ1005)。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する(ステップ1006)。これで、再コード化を終了する(ステップ1007)。
【0044】
図5はスリットパターンのコード化の例を示すもので、同図(a)はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ3(強)、2(中)、1(弱)が割り当てられている。同図(b)においては、左から3つめのセルで強度が変化して新たなコードが出現したので、新たに0というコードを割り当てている。同図(c)においては、左から3つめ上から2つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを[232]、横の並びを[131]という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には2次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【0045】
図6は、カメラ601〜603および投光器604を用いて、壁605の前に配置された板606にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図7に示すスリットパターンである。このとき、カメラ601、カメラ602で得られる画像は、図8及び図9に示すように、それぞれ板606の影となる領域801、901が生ずる。本例では、板606の表面には新たにコード化されたパターンとして、図10に示すようなスリットパターンが得られる。
【0046】
次に図1に戻って説明する。カメラ1,101側のコード復号部130は、パターン画像メモリ122から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部129で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図11は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ1で撮影された画像上のx座標とカメラパラメータである焦点距離Fと基線長Lとから、次の(数1)によって距離Zを算出する。
【0047】
【数1】
Z=(F×L)/(x+F×tanθ) (数1)
【0048】
この距離Zの算出は、カメラ2,102側のコード復号部131においても、同様に行われる。また、上述の領域1については次のようにして距離を算出する。領域1では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部132において、カメラ1〜3の輝度値メモリ121、123、125から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域1を除く領域に対しては、前述の操作により距離が算出されているので、領域1の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差dを検出し、カメラパラメータである画素サイズλを用いて、次の(数2)によって距離Zを算出する。
【0049】
【数2】
Z=(L×F)/(λ×d) (数2)
【0050】
前述の手法でカメラ3,103とカメラ1,101の組み合わせによって得られた距離情報では、図8に示す板の影となる領域801の距離情報が検出できない。一方、カメラ3,103とカメラ2,102の組み合わせによって得られた距離情報では、図9に示す板の影となる領域901の距離情報が検出できない。しかし、図8に示す板の影となる領域801の距離情報が算出可能である。従って、図1の距離情報統合部133において、カメラ3,103とカメラ1,101の組で算出された距離情報およびカメラ3,103とカメラ2,102で算出された距離情報から、カメラ3の画像(図12)のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ3の輝度画像に対応づけて3次元画像メモリに記憶することで3次元画像撮像を行う。
【0051】
上述したような構成により、距離データを取得して3次元画像の生成を実行する。上述の構成の3次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。このためのパターン投影手段の具体的構成を図13に示す。
【0052】
図13に示すパターン投影手段は、光源1301と、光源1301の光の光透過態様、すなわち、光透過量あるいは透過率をコントロールするようなフォトマスクなどの透過マスクで構成される濃度分布を持った光学フィルター1302によって構成される。光学フィルター1302は、予め所定の濃度分布のパターン光を透過するように構成された光学フィルターである。光源1301からの出射光は、光学フィルター1302を介して測定対象物に照射されて投影パターン1303が測定対象に投影される。
【0053】
このような投光手段構成において、例えば測定対象である被写体が動く物体の場合は、光源1301を撮影時に常時点灯することによって、任意のタイミングで3次元画像生成のためのパターン画像を撮影することができる。また、被写体の対象が静物の場合は、撮影時、前後の時間も含めて光源1301を点灯させておくか、撮影時に同期させて光源1301を瞬間的に光らせることで、3次元画像生成のためのパターン画像を撮像することができる。
【0054】
なお、図13に示す投光手段構成において、投光手段を構成する光学フィルター1302は、可視領域光を透過する構成とするとともに、投影パターンに対応させて不可視領域光の強度変化パターンを形成し、光源1301は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成とすることで、撮像手段によって撮影される輝度画像の照明手段としても兼用できる構成とすることが可能である。
【0055】
具体的には、パターン光を不可視領域光、例えば近赤外光によって形成しようとする場合は、光学フィルター1302は、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせる構成とする。この場合、可視光は光学フィルター1302を透過する。光源1301は、可視領域及び近赤外の波長に強度を持つものを使用する。このような構成であれば、投光装置は、輝度画像の照明装置としても兼用でき、暗所などにおいての測定も可能になる。
【0056】
測定対象である被写体と、スリットパターンを形成した光学フィルターと、光学フィルターを用いた投光手段による被写体への投光パターン照射例を図14に示す。図14(a)は、測定対象である被写体であり、図14(b)はスリットパターンを形成した光学フィルター、図14(c)は光学フィルターを用いた投光手段による被写体への投光パターン照射例である。図14(c)に示す照射パターンを投影した被写体を、前述したよう、撮像手段を用いて異なる角度から撮影して、撮影されたパターンに基づいて距離情報を取得する。
【0057】
図15に光学系を中心とした本発明の3次元画像撮像装置の構成を示す。図15の3次元画像撮像装置において、測定対象物体1501にパターン光を照射し、測定対象物体1501に対して異なる角度に設置した複数のカメラ、例えばCCD等の撮像素子で、パターンの照射された画像を撮影し、画像撮り込み部で複数画像を撮り込み、画像処理部において対応付け処理を実行し、計算処理部で距離を算出する。これらの処理は、図1以下を用いてすでに説明した通りである。パターン光を投光する投光素子は、光源1511、光源1511の光の透過量をコントロールするような濃度分布を持った光学フィルター1512、レンズ光学系1513によって構成される。また、投光素子と同軸配置される撮像素子は、CCD等の撮像素子1521と、レンズ光学系1522によって構成される。投光素子から出力されたパターン光は、ビームスプリッタとしてのハーフミラーを介して測定対象物体1501に照射され、測定対象物のパターン照射像は、ハーフミラーを介して反射して、撮像素子1521によって撮影される。
【0058】
図15の構成例において、画像撮込部は、3次元画像の画像処理を実行するPCに接続されているが、制御装置、画像記憶装置、画像処理/演算装置などを、画像撮込部と一体化した構造にしたり、また、画像データ、光学系パラメータなどをコンパクトフラッシュなどの記憶媒体に記憶し、後程、データをPCなどの画像処理装置に転送し、距離情報の算出演算を行う構成とすることも可能である。
【0059】
図16は、光学系のみを抽出して示す構成図である。被写体1601に対して投影装置1602によりパターン光を、光の透過量をコントロールするような濃度分布を持った光学フィルター1612を用いて照射し、撮像素子1603,1604により、パターン照射のなされた像を撮影する。なお、図16においては、カメラを2つのみ示しているが、先に説明した図1,2の構成のように3つのカメラを配置した構成としてもよい。
【0060】
撮像素子1603及び撮像素子1604は,同じ構成の撮像素子で,撮像素子1603は、投影装置1602と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子1604は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に,輝度も撮影する。
【0061】
図17は、図16に示す構成における撮像素子の詳細構成例を示すものである。撮像素子は、図17に示すように、レンズ1701、不可視光トリミングフィルター1702、不可視反射ダイクロイック膜1703、可視光トリミングフィルター1704、および2つの撮像素子光電面1705,1706を有する。レンズ1701を介する入射光は、不可視光トリミングフィルター1702、不可視反射ダイクロイック膜1703によって、不可視光像が撮像素子光電面1705によって撮像され、可視光像が撮像素子光電面1706によって撮像される。パターン光は、赤外もしくは紫外光の不可視光によって照射され、他の角度から撮影されたパターン照射光との対応付け用の距離情報分析データとして用いられる。
【0062】
図18は、投光素子と、投光素子と光学的に同軸に配置される撮像素子とを組み合わせた構成を示すものである。撮像素子は、図17と同様の構成であり、レンズ1801、不可視光トリミングフィルター1802、不可視反射ダイクロイック膜1803、可視光トリミングフィルター1804、および2つの撮像素子光電面1805,1806を有する。レンズ1801を介する入射光は、不可視光トリミングフィルター1802、不可視反射ダイクロイック膜1803によって、不可視光像が撮像素子光電面1805によって撮像され、可視光像が撮像素子光電面1806によって撮像される。パターン光は、赤外光源1811、光学的フィルター1812を介して照射される。なお、パターン光は、紫外光の不可視光によって照射する構成としてもよい。
【0063】
赤外光源1811、光学的フィルター1812によって構成される投光手段の出射光と、前記撮像手段の入射光とは、ビームスプリッタとしてのハーフミラー1813によって分離され、投光手段と撮像手段とは、それぞれが光学的に同軸となるように配置される。
【0064】
さらに、図19にビームスプリッタとしてのハーフミラーと、投光パターン形成用の光学フィルターを一体化あるいは近接させて構成した光学系の構成を示す。
【0065】
被写体1901に対して光源1902から発せられた光は、ビームスプリッタとしてのハーフミラー1921の手前に一体化して貼りつけられた、あるいは近接して配置された光の透過量をコントロールするような濃度分布を持った光学フィルター1922を通過し、さらにハーフミラー1921を通過することによって、被写体1901に投影パターンを形成する。
【0066】
投影パターンの投影された被写体1901の像は、光源1902と光学的に同軸の被写体像を撮影する撮像素子1,1903と、撮像素子1,1903とは異なる方向から被写体像を撮影する撮像素子1,1904により撮影される。なお、図19においては、カメラを2つのみ示しているが、先に説明した図1,2の構成のように3つのカメラを配置した構成としてもよい。
【0067】
撮像素子1903は、光源1902および光学フィルター1922により構成される投影装置と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子1904は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に,輝度も撮影する。
【0068】
図19の構成は、ビームスプリッタとしてのハーフミラー1921と、光学フィルター1922とを近接してまとめた構成であり、このようにハーフミラー背面にパターンを形成した光学フィルターを形成することによりコンパクトな構成が可能となり、投光手段および撮影手段を含めた光学系全体の大きさの小型化を図ることができる。
【0069】
ビームスプリッタと光学フィルターの小型化構成の例を図20に示す。図20(a)は、図19を用いて説明したと同様の構成であり、ビームスプリッタとしてのハーフミラー2001背面にパターンを形成した光学フィルター2002を形成し、光源2003からの光を光学フィルター2002およびハーフミラー2001を介して被写体に投影する構成である。すなわち、光学フィルターをハーフミラーの光源側の面に沿って近接して配置した構成である。
【0070】
図20(b)は、ビームスプリッタとしてのハーフミラー2001背面にパターンを形成した光学フィルター2002を形成し、さらにEL(electric Luminescence)素子、あるいは薄形の蛍光灯のような平板型の光源を使用した構成であり、平板型の光源2004を光学フィルター2002の側面に沿って設置した構成を持つ、光源2004からの光は光学フィルター2002およびハーフミラー2001を介して被写体に投影される。図20(b)の構成ではビームスプリッタ、光学フィルター、光源を一体化して構成することが可能となり、さらなる小型化が実現される。
【0071】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0072】
【発明の効果】
以上、述べたように、本発明の3次元画像撮像装置および3次元画像撮像方法は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ3次元画像撮像装置および3次元画像撮像方法が実現される。駆動装置や制御装置がいらないために小型化および簡易構造とした投光手段構成とすることができる。レーザー等によるパターン形成を行なう投光手段構成と異なり、駆動系が必要とならないために振動などに強く、例えば携帯型の撮像装置として使用する場合に適した構成である。
【0073】
さらに、本発明の3次元画像撮像装置および3次元画像撮像方法によれば、ハーフミラーを用いて、投光手段の投光パターン照射光と、パターン照射された被写体の撮影像に対応する入射光を分離する構成とすることにより、投光手段と撮像手段とを組み合わせる構成が実現され、コンパクトな撮像および投光手段構成が実現される。
【0074】
さらに、本発明の3次元画像撮像装置および3次元画像撮像方法によれば、ハーフミラー、光学フィルターを一体化する構成としたことにより投光手段と撮像手段とを組み合わせた小型の撮像および投光手段構成が実現される。さらに、平板型の光源を組み合わせることにより、一層の小型化が実現される。
【図面の簡単な説明】
【図1】本発明の3次元画像撮像装置において使用される3次元形状計測装置の構成例を示すブロック図である。
【図2】本発明の3次元画像撮像装置において使用される3次元形状計測装置のカメラ構成例を示すブロック図である。
【図3】本発明の3次元画像撮像装置において使用される3次元形状計測装置の撮像構成を説明する図である。
【図4】本発明の3次元画像撮像装置において使用される3次元形状計測装置の処理フローを示す図である。
【図5】本発明の3次元画像撮像装置において使用される3次元形状計測装置の投影パターンのコード化の例を示す図である。
【図6】本発明の3次元画像撮像装置において使用される3次元形状計測装置の撮影構成例を示す図である。
【図7】本発明の3次元画像撮像装置において使用される3次元形状計測装置の投影パターン例を示す図である。
【図8】本発明の3次元画像撮像装置において使用される3次元形状計測装置のカメラ1で撮影されるスリットパターンの例を示す図である。
【図9】本発明の3次元画像撮像装置において使用される3次元形状計測装置のカメラ2で撮影されるスリットパターンの例を示す図である。
【図10】本発明の3次元画像撮像装置において使用される3次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図11】本発明の3次元画像撮像装置において使用される3次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図12】本発明の3次元画像撮像装置において使用される3次元形状計測装置のカメラ3で撮影されるスリットパターンの例を示す図である。
【図13】本発明の3次元画像撮像装置における光学フィルターを適用した投光手段構成を示す図である。
【図14】本発明の3次元画像撮像装置における光学フィルターおよび測定対象物の具体例を説明する図である。
【図15】本発明の3次元画像撮像装置における撮像素子、投光素子の画角の一致構成例を示す図である。
【図16】本発明の3次元画像撮像装置における撮像素子、投光素子の画角の一致構成を光学系を中心として示す図である。
【図17】本発明の3次元画像撮像装置における撮像素子の構成例を示す図である。
【図18】本発明の3次元画像撮像装置における投光素子と撮像素子の組み合わせ構成例を示す図である。
【図19】本発明の3次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例を示す図である。
【図20】本発明の3次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例をす図である。
【図21】空間コード化法によるコードの転写、途切れの例を説明する図である。
【符号の説明】
101 カメラ1
102 カメラ2
103 カメラ3
104 投光器
105 ハーフミラー
106 光源
107 マスクパターン
108 強度パターン
109 プリズム
121,123,125 輝度値メモリ
122,124,126 パターン画像メモリ
127 フレームメモリ
128 領域分割部
129 再コード化部
130,131 コード復号部
133 距離情報の統合部
134 3次元メモリ
301 プリズム
302,304 透過フィルタ
303,305 撮像装置
601,602,603 カメラ
604 投光器
605 壁
606 板
801,901 影領域
1511 光源
1512 光学フィルター
1513 レンズ
1521 撮像素子
1522 レンズ
1602 投影装置
1603,1604 撮像素子
1612 光学フィルター
1701 レンズ
1702 不可視光トリミングフィルター
1703 不可視反射ダイクロイック膜
1704 可視光トリミングフィルター
1705,1706 撮像素子光電面
1801 レンズ
1802 不可視光トリミングフィルター
1803 不可視反射ダイクロイック膜
1804 可視光トリミングフィルター
1805,1806 撮像素子光電面
1811 赤外光源
1812 光学フィルター
1813 ハーフミラー
1901 被写体
1902 光源
1903,1904 撮像素子
1921 ハーフミラー
1922 光学フィルター
2001 ハーフミラー
2002 光学フィルター
2003,2004 光源[0001]
BACKGROUND OF THE INVENTION
The present invention captures a pattern projection image obtained by irradiating a measurement target with pattern light from different directions by a plurality of imaging means, and obtains distance information based on a change in the pattern, and 3 A three-dimensional image capturing apparatus and a three-dimensional image capturing apparatus using a light projecting unit including a light source and an optical filter in which a light transmission mode is changed corresponding to a pattern projected onto a measurement object. The present invention relates to an image capturing method.
[0002]
[Prior art]
As a method for acquiring a three-dimensional shape, there are an active method (Active vision) and a passive method (Passive vision). Active methods include (1) a laser method that emits laser light, ultrasonic waves, etc., measures the amount of reflected light and the arrival time from an object, and extracts depth information, and (2) a special pattern light source such as slit light. A pattern projection method for estimating the target shape from image information such as geometric deformation of the target surface pattern using (3), a method for obtaining three-dimensional information by forming contour lines with moire fringes by optical processing, etc. There is. On the other hand, the passive method uses knowledge about the appearance of an object, light source, illumination, shadow information, etc., and uses monocular stereoscopic vision to estimate 3D information from a single image, depth information of each pixel by triangulation principle And binocular stereopsis for estimating
[0003]
In general, the active method has higher measurement accuracy, but the measurable range is often small due to limitations of the light projecting means. On the other hand, the passive method is general-purpose and has few restrictions on objects. The present invention relates to a pattern projection method which is a three-dimensional measuring apparatus using this active method.
[0004]
In the pattern projection method, reference pattern light is projected onto a target object, and photographing is performed from a direction different from the direction in which the reference pattern light is projected. The photographed pattern is deformed depending on the shape of the object. By associating the observed deformation pattern with the projected pattern, three-dimensional measurement of the object can be performed. The problem with the pattern projection method is how to reduce the miscorrespondence and simplify the correspondence between the deformation pattern and the projected pattern. Accordingly, various pattern projection methods (spatial pattern coding, moire, color coding) have been proposed.
[0005]
An example disclosed in Japanese Patent Laid-Open No. 5-3327375 will be described as an example of typical spatial coding. In this example, a laser light source and a lens system that shapes laser light into a slit shape, a scanning device that scans and irradiates the shaped laser light onto an object, a camera that detects reflected light from the object, and these It consists of a device to control.
[0006]
A striped pattern is formed on the object by the laser beam scanned from the scanning device between a portion irradiated with the laser beam and a portion not irradiated with the laser beam. By irradiating the laser beam with a plurality of different patterns, the object is divided into N identifiable portions. The shape of the object can be calculated by determining in which part the pixels on the image captured by the camera from different positions are included.
[0007]
In order to increase the resolution, it is necessary to perform scanning with a plurality of lasers and to perform imaging with a plurality of cameras. For example, in order to divide the screen into 256 areas, it is necessary to shoot 8 times. For this reason, it is difficult to capture a fast-moving object, and it is necessary to securely fix the imaging system during scanning. Therefore, even if the apparatus itself is simple, it is difficult to easily perform imaging.
[0008]
As a means for reducing the number of times the pattern is projected, there is color coding disclosed in Japanese Patent Laid-Open No. 3-192474. In color coding, when q and k are set to a predetermined natural number of 2 or more, using colors of q colors or more, two adjacent slit lights are not the same color, but by adjacent k slit lights. A pattern encoded so that the color sequence appears only once is projected, the color of the slit is detected from the observed image, and the slit number is obtained from the color sequence of the corresponding slit. From the slit number, the irradiation direction of the slit can be calculated, and the distance can be calculated in the same manner as in the spatial coding example.
[0009]
However, in color coding, there is a problem in that the amount of calculation for code restoration is large because codes are restored from the arrangement of code strings. Furthermore, when dividing into 256 areas using three colors of R, G, and B, it is necessary to know the arrangement of the eight slit lights around the slit where the code is to be known, and the slits are continuously long. It is only suitable for measuring objects that can be shaped.
[0010]
There is a spatial pattern coding method disclosed in Japanese Patent No. 2565885 as means for easily restoring a slit and projecting a pattern coded once. In this patent, there are three or more gradation regions by three or more shades, three or more colors, or a combination of shades and colors, and at least three types of floors at the intersection of the boundary of the gradation regions. According to the type and order of gradations that are in contact with the intersection of the projected images produced by projecting the pattern onto the object to be measured. A main code is assigned, and a combination code obtained by combining the main code or the main code of the intersection with the main code of the surrounding intersection is assigned as a feature code for identifying the intersection.
[0011]
However, in the above-described method, depending on the object to be photographed, the coding may be lost and correct code association may not be possible. For example, as shown in FIG. 21, when the pattern sequence projected by the light source is “12345678”, the pattern sequence captured by the camera may be recognized as “1267” depending on the structure of the imaging target, In some cases, an inverted pattern sequence such as the sequence "758" is obtained. In addition, it is difficult to associate the projected pattern with the photographed pattern sequence due to the shape and reflectance of the object.
[0012]
In color coding, when slits are grouped at the time of decoding, this problem is avoided by using a method that does not perform decoding for patterns that may be missing or inverted. In the spatial pattern coding method, the possibility of the aforementioned error is reduced by using a two-dimensional pattern, but in principle, the same error occurs depending on the object. Therefore, in the above-described method, although excellent accuracy can be obtained in shooting in a special situation in a laboratory or a situation in which a target object is limited, deterioration in accuracy cannot be denied in a general imaging situation in which a target is not limited. Further, in the method of performing light projection using a light source, when a target having a wide range is targeted, a three-dimensional shape cannot be obtained for a portion where the light projection does not reach. In addition, since a shadow area generated by the object blocking the projected pattern cannot be measured, there is an area where the distance cannot be obtained even though it is actually visible.
[0013]
Therefore, in Japanese Patent Application No. 10-191063, (Japanese Patent Laid-Open No. 2000-9442), and Japanese Patent Application No. 10-247796 (Japanese Patent Laid-Open No. 2000-65542) related to the same applicant as this application, the projected pattern is fed back and a new one is added. We proposed a 3D image capturing device that does not depend on the object by generating code.
[0014]
[Problems to be solved by the invention]
The three-dimensional image photographing apparatus described in Japanese Patent Application No. 10-191063 (Japanese Patent Application Laid-Open No. 2000-9442) and Japanese Patent Application No. 10-247796 (Japanese Patent Application Laid-Open No. 2000-65542) uses a light projection pattern having a plurality of intensities and a plurality of wavelengths. This is realized by projecting what is encoded by At this time, the projection pattern changes due to the influence of the luminance information of the subject, the material, and the like, and when calculating the three-dimensional shape, an error occurs and an appropriate three-dimensional shape cannot be measured. Therefore, the three-dimensional imaging apparatus is arranged on the same optical axis as the light projecting element, monitors the amount of change in the light projection pattern according to the subject information, performs re-encoding, and measures the three-dimensional shape. .
[0015]
In the above configuration, for the projection when the encoded pattern is projected, a projector or laser projection configuration is used in which the irradiation pattern is controlled by a controller such as a PC using liquid crystal or the like. Projections using laser light have a drive system such as a polygon mirror, so they are vulnerable to hand-held vibrations, and project patterns for objects that require a high-speed shutter, such as a high-speed camera with a video rate or higher. Has the disadvantage of not catching up. In addition, there is a problem that control for driving the polygon mirror and controlling the slit laser beam is required.
[0016]
The present invention has been made in view of the problems of projection means for executing such pattern irradiation, and the present invention relates to a pattern to be projected, a transmission mask such as a photomask, and a pattern for projecting the pattern. An object of the present invention is to provide a three-dimensional image capturing apparatus and a three-dimensional image capturing method having a light-weight and low-cost configuration by using a light source.
[0017]
[Means for Solving the Problems]
The present invention solves the above object, and the first aspect of the present invention is
The optical filter is configured to transmit visible region light and has an invisible region light intensity change pattern corresponding to the projection pattern projected onto the measurement target, and the spectrum of both visible and invisible region wavelengths. Light sourceA light projecting means comprising:
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. From shooting patterns by meansA three-dimensional image capturing apparatus having a configuration for generating first distance information.
[0018]
Furthermore, the present inventionThe second aspect is
A light projecting means including an optical filter having a pattern in which a light transmission mode is changed corresponding to a pattern to be projected on a measurement target, and a light source;
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. Having a configuration for generating first distance information from a photographing pattern by means;
The light emitted from the light projecting means and the light incident from the first image capturing means are input / output through a common lens and separated by a half mirror configured as a beam splitter. The optical filter constituting the light means is in a three-dimensional image pickup apparatus having a structure arranged along the light source side surface of the half mirror.
Furthermore, the third aspect of the present invention provides
A light projecting means including an optical filter having a pattern in which a light transmission mode is changed corresponding to a pattern to be projected on a measurement target, and a light source;
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. Having a configuration for generating first distance information from a photographing pattern by means;
The light emitted from the light projecting means and the light incident from the first image capturing means are input / output through a common lens and separated by a half mirror configured as a beam splitter. The optical filter constituting the light means has a configuration arranged along the surface on the light source side of the half mirror, and the light source is a flat light-emitting element or phosphor, and is arranged close to the optical filter. A three-dimensional image pickup apparatus having the structure described above.
[0019]
Furthermore, in an embodiment of the three-dimensional image pickup apparatus of the present invention, the light projecting unit is configured to form pattern light with invisible region light, and the light source is invisible region using infrared light or ultraviolet light. It is characterized by being a light source.
[0021]
Furthermore, in one embodiment of the three-dimensional image pickup apparatus of the present invention, the optical filter constituting the light projecting means changes the transmittance of the infrared cut mask to have an intensity distribution corresponding to the irradiation pattern. The light source has a spectrum having both visible and invisible wavelength ranges.
[0022]
Furthermore, in one embodiment of the three-dimensional image capturing apparatus of the present invention, the light emitted from the light projecting means and the light incident from the first image capturing means are input / output through a common lens and are beam splitters. The light projecting unit and the first image capturing unit are optically arranged coaxially with each other.
[0023]
Furthermore, in an embodiment of the three-dimensional image capturing apparatus of the present invention, the light projecting unit has a light source that generates light in an invisible region, and the first image capturing unit and the second image capturing unit are in an invisible region. It has a configuration that includes a filter that transmits light and a filter that blocks light in an invisible region, and captures a pattern projection image and a luminance image in parallel.
[0024]
Furthermore, in an embodiment of the three-dimensional image pickup apparatus of the present invention, the first image pickup means and the first image pickup means for the region where the change amount of the shooting pattern by the first image pickup means relative to the projection pattern by the light projection means is less than a predetermined value. 2nd distance information is produced | generated by matching each luminance information obtained from 2 imaging means, The said 1st distance information, 2nd distance information, and the brightness | luminance obtained from the 1st or 2nd imaging means A feature is that a three-dimensional image is obtained using information.
[0025]
Furthermore, in an embodiment of the three-dimensional image capturing apparatus of the present invention, the second image capturing unit is configured by a plurality of image capturing units that capture images of the measurement target at different angles, and the plurality of second image capturing units A feature is that a three-dimensional image is obtained by synthesizing distance information obtained based on each photographed projection pattern.
[0028]
Furthermore, the present invention4thThe side of
The optical filter is configured to transmit visible region light and has an invisible region light intensity change pattern corresponding to the projection pattern projected onto the measurement target, and the spectrum of both visible and invisible region wavelengths. Light sourceA light projecting step for projecting a pattern onto a measurement object by a light projecting means comprising:
A pattern is projected by a first imaging unit that captures a projection pattern from the optical axis direction of the light projecting unit and a second imaging unit that captures the projection pattern from a direction different from the optical axis direction of the light projecting unit. An imaging step for photographing the measured object;
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. From shooting patterns by meansGenerating first distance information;
A three-dimensional image capturing method characterized by comprising:
[0030]
Furthermore, in one embodiment of the three-dimensional image capturing method of the present invention, the projecting step includes forming the pattern light with invisible region light using the light source as an invisible region light source using infrared light or ultraviolet light. It is characterized by being.
[0031]
Furthermore, in one embodiment of the three-dimensional image capturing method of the present invention, the projecting step includes forming the pattern light with invisible region light using the light source as an invisible region light source using infrared light or ultraviolet light. The imaging step is a step of capturing a pattern projection image and a luminance image in parallel.
[0032]
Furthermore, in an embodiment of the three-dimensional image imaging method of the present invention, the three-dimensional image imaging method further includes a change amount of the photographing pattern by the first imaging means with respect to the projection pattern by the light projecting means being less than a predetermined value. For the region, second distance information is generated by associating the luminance information obtained from the first imaging means and the second imaging means, and the first distance information, the second distance information, and the first or It has the step which acquires a 3-dimensional image using the brightness | luminance information obtained from the 2nd imaging means.
[0033]
Furthermore, in an embodiment of the three-dimensional image imaging method of the present invention, in the three-dimensional image imaging method, the second imaging means is constituted by a plurality of imaging means for imaging the measurement object at different angles, The distance information calculated | required based on the projection pattern image | photographed by each of several 2nd image pick-up means is synthesize | combined, It is characterized by the above-mentioned.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a 3D image capturing apparatus and a 3D image capturing method of the present invention will be described in detail with reference to the drawings.
[0035]
First, the principle of distance data acquisition using recoding processing will be described. FIG. 1 is a block diagram showing a configuration of a three-dimensional image capturing apparatus that executes distance data acquisition using recoding processing. FIG. 2 shows the positional relationship between the light source and the image sensor.
[0036]
As shown in FIG. 2, the three-dimensional shape measuring apparatus includes three
[0037]
The
[0038]
In addition, the
[0039]
The configuration of the three-dimensional shape measuring apparatus will be described with reference to FIG. As shown in the figure, the
[0040]
A three-dimensional image is obtained as follows using the stored photographing pattern and luminance information. The following operations are common to both the combination of the
[0041]
In FIG. 1, the
[0042]
FIG. 4 is a flowchart for performing re-encoding. First, each slit pattern is divided vertically for each slit width (step 1001) to generate a square cell. The average value of the intensity is taken for each generated cell, and the average value is set as the intensity of each cell (step 1002). Intensity between cells corresponding to the projection pattern and shooting pattern is compared in order from the center of the image, and the pattern changes due to factors such as the reflectance of the object and the distance to the object, so the intensity between the cells exceeds the threshold. It is determined whether or not they are different (step 1003). If the difference is not more than the threshold value, the recoding is terminated for all the photographed cells (step 1007).
[0043]
If the difference is greater than the threshold, it is determined whether the cell has a new intensity (step 1004). If the cell has a new strength, a new code is generated and assigned (step 1005). If the cell does not have a new intensity, it is coded using a sequence of slit patterns that can be distinguished from other appearing parts (step 1006). This completes the recoding (step 1007).
[0044]
FIG. 5 shows an example of the coding of the slit pattern. FIG. 5A shows a projection pattern coded by the arrangement of the slits, and the intensity is 3 (strong), 2 (medium), and 1 (weak), respectively. ) Is assigned. In FIG. 5B, since the strength changes in the third cell from the left and a new code appears, a code of 0 is newly assigned. In FIG. 8C, since the existing code appears in the third cell from the left and the second cell from the top, the vertical code is [232] and the horizontal code is set as a new code from the cell code. Recode as [131]. This re-encoding is equivalent to projecting a complex pattern such as a two-dimensional pattern at a site where the shape of the object is rich in change, and projecting a simple pattern at a site where there is little change. This process is repeated and recoding is performed by assigning unique codes to all cells.
[0045]
FIG. 6 shows an example in which the encoded pattern is projected onto the
[0046]
Next, referring back to FIG. The
[0047]
[Expression 1]
Z = (F × L) / (x + F × tan θ) (Equation 1)
[0048]
The calculation of the distance Z is similarly performed in the
[0049]
[Expression 2]
Z = (L × F) / (λ × d) (Equation 2)
[0050]
With the distance information obtained by the combination of the
[0051]
With the configuration as described above, distance data is acquired and a three-dimensional image is generated. The three-dimensional image capturing apparatus having the above-described configuration is realized by projecting a projection pattern encoded with a plurality of intensities and a plurality of wavelengths. A specific configuration of the pattern projection means for this purpose is shown in FIG.
[0052]
The pattern projection means shown in FIG. 13 has a density distribution composed of a
[0053]
In such a light projecting unit configuration, for example, in the case where the subject to be measured is a moving object, a
[0054]
In the configuration of the light projecting means shown in FIG. 13, the
[0055]
Specifically, when the pattern light is to be formed by invisible region light, for example, near infrared light, the
[0056]
FIG. 14 shows an example of the projection pattern irradiation to the subject by the subject to be measured, the optical filter formed with the slit pattern, and the light projecting means using the optical filter. FIG. 14A shows a subject to be measured, FIG. 14B shows an optical filter formed with a slit pattern, and FIG. 14C shows a light projection pattern on the subject by light projecting means using the optical filter. This is an example of irradiation. The subject on which the irradiation pattern shown in FIG. 14C is projected is photographed from different angles using the imaging unit as described above, and distance information is acquired based on the photographed pattern.
[0057]
FIG. 15 shows the configuration of the three-dimensional image pickup apparatus of the present invention centering on the optical system. In the three-dimensional image capturing apparatus of FIG. 15, pattern light is irradiated to the
[0058]
In the configuration example of FIG. 15, the image capturing unit is connected to a PC that performs image processing of a three-dimensional image. However, the control device, the image storage device, the image processing / arithmetic device, and the like are referred to as an image capturing unit. An integrated structure, or a configuration in which image data, optical system parameters, etc. are stored in a storage medium such as a compact flash, and later, the data is transferred to an image processing apparatus such as a PC to calculate distance information. It is also possible to do.
[0059]
FIG. 16 is a configuration diagram showing only the optical system. The
[0060]
The
[0061]
FIG. 17 shows a detailed configuration example of the image sensor in the configuration shown in FIG. As shown in FIG. 17, the imaging element includes a
[0062]
FIG. 18 shows a configuration in which a light projecting element and an image sensor that is optically coaxial with the light projecting element are combined. The image sensor has the same configuration as that in FIG. 17 and includes a
[0063]
The light emitted from the light projecting means constituted by the infrared light source 1811 and the optical filter 1812 and the incident light from the image capturing means are separated by a
[0064]
Further, FIG. 19 shows a configuration of an optical system in which a half mirror as a beam splitter and an optical filter for forming a projection pattern are integrated or close to each other.
[0065]
The light emitted from the
[0066]
The image of the subject 1901 on which the projection pattern is projected is an
[0067]
The
[0068]
The configuration in FIG. 19 is a configuration in which a
[0069]
An example of a miniaturized configuration of the beam splitter and the optical filter is shown in FIG. FIG. 20A has the same configuration as that described with reference to FIG. 19, in which an
[0070]
In FIG. 20B, an
[0071]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
[0072]
【The invention's effect】
As described above, the three-dimensional image capturing apparatus and the three-dimensional image capturing method of the present invention are lightweight by using a transmissive mask such as a photomask and a light source for projecting the pattern to be projected. In addition, a three-dimensional image capturing apparatus and a three-dimensional image capturing method having a low-cost configuration are realized. Since a driving device and a control device are not required, the light projecting unit configuration can be reduced in size and simplified. Unlike the configuration of the light projecting means that performs pattern formation with a laser or the like, the drive system is not required, so that it is resistant to vibrations and is suitable for use as, for example, a portable imaging device.
[0073]
Furthermore, according to the three-dimensional image capturing apparatus and the three-dimensional image capturing method of the present invention, the incident light corresponding to the projected image of the light projected pattern of the light projecting unit and the image of the subject irradiated with the pattern using the half mirror. By adopting a configuration in which the projector is separated, a configuration in which the light projecting unit and the image capturing unit are combined is realized, and a compact image capturing and projecting unit configuration is realized.
[0074]
Furthermore, according to the three-dimensional image capturing apparatus and the three-dimensional image capturing method of the present invention, a small-sized image capturing and projecting in which the light projecting unit and the image capturing unit are combined by integrating the half mirror and the optical filter. Means configuration is realized. Furthermore, further miniaturization is realized by combining a flat light source.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a three-dimensional shape measuring apparatus used in a three-dimensional image capturing apparatus of the present invention.
FIG. 2 is a block diagram illustrating a camera configuration example of a three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 3 is a diagram illustrating an imaging configuration of a three-dimensional shape measurement apparatus used in the three-dimensional image imaging apparatus of the present invention.
FIG. 4 is a diagram showing a processing flow of a three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 5 is a diagram showing an example of encoding a projection pattern of a three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 6 is a diagram illustrating a photographing configuration example of a three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 7 is a diagram showing an example of a projection pattern of a three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 8 is a diagram showing an example of a slit pattern photographed by the
FIG. 9 is a diagram showing an example of a slit pattern photographed by the
FIG. 10 is a diagram showing an example of a newly coded slit pattern in the three-dimensional shape measuring apparatus used in the three-dimensional image capturing apparatus of the present invention.
FIG. 11 is a diagram illustrating a distance calculation method by a spatial encoding method of a three-dimensional shape measurement apparatus used in the three-dimensional image pickup apparatus of the present invention.
FIG. 12 is a diagram showing an example of a slit pattern photographed by a
FIG. 13 is a diagram illustrating a configuration of a light projecting unit to which an optical filter is applied in the three-dimensional image capturing apparatus of the present invention.
FIG. 14 is a diagram illustrating a specific example of an optical filter and a measurement object in the three-dimensional image capturing apparatus of the present invention.
FIG. 15 is a diagram illustrating a configuration example in which the angle of view of the imaging element and the light projecting element is matched in the three-dimensional image imaging apparatus of the present invention.
FIG. 16 is a diagram illustrating a configuration in which the angle of view of the imaging element and the light projecting element in the three-dimensional image imaging apparatus of the present invention is centered on the optical system.
FIG. 17 is a diagram illustrating a configuration example of an imaging element in the three-dimensional image imaging apparatus of the present invention.
FIG. 18 is a diagram illustrating a combination configuration example of a light projecting element and an imaging element in the three-dimensional image imaging apparatus of the present invention.
FIG. 19 is a diagram illustrating a configuration example for realizing miniaturization of a light projecting element and an imaging element in the three-dimensional image capturing apparatus of the present invention.
FIG. 20 is a diagram illustrating a configuration example for realizing miniaturization of a light projecting element and an imaging element in the three-dimensional image imaging apparatus of the present invention.
FIG. 21 is a diagram for explaining an example of code transfer and interruption by a spatial encoding method;
[Explanation of symbols]
101
102
103
104 Floodlight
105 half mirror
106 Light source
107 Mask pattern
108 Strength pattern
109 prism
121, 123, 125 Luminance value memory
122, 124, 126 Pattern image memory
127 frame memory
128 area division
129 Recoding section
130,131 code decoding unit
133 Integration unit of distance information
134 3D memory
301 prism
302,304 Transmission filter
303,305 Imaging device
601 602 603 Camera
604 Floodlight
605 wall
606 board
801, 901 shadow area
1511 light source
1512 Optical filter
1513 lens
1521 Image sensor
1522 lens
1602 Projector
1603, 1604 image sensor
1612 Optical filter
1701 Lens
1702 Invisible light trimming filter
1703 Invisible reflective dichroic film
1704 Visible light trimming filter
1705, 1706 Image sensor photocathode
1801 lens
1802 Invisible light trimming filter
1803 Invisible reflective dichroic film
1804 Visible light trimming filter
1805, 1806 Image sensor photocathode
1811 Infrared light source
1812 Optical filter
1813 half mirror
1901 Subject
1902 Light source
1903, 1904 Image sensor
1921 half mirror
1922 Optical filter
2001 half mirror
2002 Optical filter
2003, 2004 Light source
Claims (14)
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有することを特徴とする3次元画像撮像装置。 The optical filter is configured to transmit visible region light and has an invisible region light intensity change pattern corresponding to the projection pattern projected onto the measurement target, and the spectrum of both visible and invisible region wavelengths. A light projecting means comprising a light source having
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. A three-dimensional image pickup apparatus having a configuration for generating first distance information from a shooting pattern by means .
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有することを特徴とする3次元画像撮像装置。A light projecting means including an optical filter having a pattern in which a light transmission mode is changed corresponding to a pattern to be projected on a measurement target, and a light source;
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. Having a configuration for generating first distance information from a photographing pattern by means;
The light emitted from the light projecting means and the light incident from the first image capturing means are input / output through a common lens and separated by a half mirror configured as a beam splitter. The optical filter constituting the light means has a structure arranged along the light source side surface of the half mirror.
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有するとともに、前記光源は、平板型の発光素子または蛍光体であり、前記光学フィルターに近接して配置された構成を有することを特徴とする3次元画像撮像装置。A light projecting means including an optical filter having a pattern in which a light transmission mode is changed corresponding to a pattern to be projected on a measurement target, and a light source;
First imaging means for photographing a projection pattern from an optical axis direction of the light projecting means;
Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the light projecting means,
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. Having a configuration for generating first distance information from a photographing pattern by means;
The light emitted from the light projecting means and the light incident from the first image capturing means are input / output through a common lens and separated by a half mirror configured as a beam splitter. The optical filter constituting the light means has a configuration arranged along the surface on the light source side of the half mirror, and the light source is a flat light-emitting element or phosphor, and is arranged close to the optical filter. A three-dimensional image capturing apparatus having the structure described above.
パターン光を不可視領域光によって形成する構成であり、前記光源は、赤外光または紫外光を用いた不可視領域の光源であることを特徴とする請求項1または2または3いずれかに記載の3次元画像撮像装置。The light projecting means is
A structure in which a pattern light by invisible region light, the light source 3 according to any one of claims 1 or 2 or 3, characterized in that a light source of invisible area using infrared light or ultraviolet light Dimensional image imaging device.
赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせた構成であり、
前記光源は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成であることを特徴とする請求項1または2または3いずれかに記載の3次元画像撮像装置。The optical filter constituting the light projecting means is
It is a configuration that has an intensity distribution corresponding to the irradiation pattern by changing the transmittance of the mask for infrared cutting,
The light source, three-dimensional imaging apparatus according to claim 1 or 2 or 3, characterized in that a structure having a spectrum of both regions of wavelengths in the visible region and the invisible region.
前記第1の撮像手段および前記第2の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする請求項1または2または3いずれかに記載の3次元画像撮像装置。The light projecting means has a light source that generates light in an invisible region,
The first imaging means and the second imaging means have a filter that transmits light in the invisible region and a filter that blocks light in the invisible region, and captures the pattern projection image and the luminance image in parallel. 3-dimensional imaging device according to claim 1 or 2 or 3, characterized in that it has.
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とにより、パターンの投影された測定対象を撮影する撮像ステップと、
前記投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成するステップと、
を有することを特徴とする3次元画像撮像方法。 The optical filter is configured to transmit visible region light and has an invisible region light intensity change pattern corresponding to the projection pattern projected onto the measurement target, and the spectrum of both visible and invisible region wavelengths. A light projecting step of projecting a pattern onto a measurement object by a light projecting means having a light source having ,
A pattern is projected by a first imaging unit that captures a projection pattern from the optical axis direction of the light projecting unit and a second imaging unit that captures the projection pattern from a direction different from the optical axis direction of the light projecting unit. An imaging step for photographing the measured object;
A new code corresponding to the shooting pattern by the first imaging unit is assigned to a region where the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is a predetermined value or more, and the second imaging is performed based on the new code. Generating first distance information from an imaging pattern by means ;
A three-dimensional image capturing method characterized by comprising:
前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであることを特徴とする請求項10に記載の3次元画像撮像方法。The projecting step includes
The three-dimensional image capturing method according to claim 10 , wherein the pattern light is formed by invisible region light using the light source as a light source in an invisible region using infrared light or ultraviolet light.
前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、
前記撮像ステップは、
パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする請求項10に記載の3次元画像撮像方法。The projecting step includes
The light source is a light source in an invisible region using infrared light or ultraviolet light, and pattern light is formed by invisible region light,
The imaging step includes
The three-dimensional image capturing method according to claim 10 , which is a step of capturing a pattern projection image and a luminance image in parallel.
前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るステップを有することを特徴とする請求項10に記載の3次元画像撮像方法。The three-dimensional image capturing method further includes:
A region in which the change amount of the shooting pattern by the first imaging unit with respect to the projection pattern by the light projecting unit is less than a predetermined value is obtained by associating each luminance information obtained from the first imaging unit and the second imaging unit. Generating distance information of 2 and obtaining a three-dimensional image using the first distance information, the second distance information, and the luminance information obtained from the first or second imaging means. The three-dimensional image imaging method according to claim 10 .
前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得ることを特徴とする請求項10に記載の3次元画像撮像方法。In the three-dimensional image capturing method,
The second imaging means is composed of a plurality of imaging means for imaging the measurement object at different angles, and synthesizes distance information obtained based on the projected pattern captured by each of the plurality of second imaging means. The three-dimensional image capturing method according to claim 10 , wherein a three-dimensional image is obtained.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000207875A JP3818028B2 (en) | 2000-07-10 | 2000-07-10 | 3D image capturing apparatus and 3D image capturing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000207875A JP3818028B2 (en) | 2000-07-10 | 2000-07-10 | 3D image capturing apparatus and 3D image capturing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002027501A JP2002027501A (en) | 2002-01-25 |
JP3818028B2 true JP3818028B2 (en) | 2006-09-06 |
Family
ID=18704564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000207875A Expired - Fee Related JP3818028B2 (en) | 2000-07-10 | 2000-07-10 | 3D image capturing apparatus and 3D image capturing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3818028B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4502104B2 (en) * | 2002-04-12 | 2010-07-14 | 株式会社ジェイエイアイコーポレーション | Image pickup apparatus having compound prism optical system |
JP5122729B2 (en) * | 2005-04-26 | 2013-01-16 | 照明 與語 | 3D shape measurement method |
JP2007051893A (en) * | 2005-08-16 | 2007-03-01 | Ricoh Co Ltd | Method and device for measuring three-dimensional geometry |
DE112010005765B4 (en) | 2010-07-23 | 2016-06-16 | Toyota Jidosha Kabushiki Kaisha | Distance measuring device and distance measuring method |
DE112010005757T5 (en) | 2010-07-23 | 2013-07-04 | Toyota Jidosha Kabushiki Kaisha | Distance measuring device and distance measuring method |
JP5587756B2 (en) * | 2010-12-10 | 2014-09-10 | 日立マクセル株式会社 | Optical distance measuring device, distance measuring method of optical distance measuring device, and distance measuring program |
JP6101746B2 (en) * | 2015-06-25 | 2017-03-22 | 株式会社Screenホールディングス | Sample holding plate, imaging apparatus, and imaging method |
JP6206560B2 (en) * | 2015-09-28 | 2017-10-04 | 株式会社リコー | system |
JP7474083B2 (en) | 2020-03-17 | 2024-04-24 | ミネベアミツミ株式会社 | Method for measuring three-dimensional data of an object, method for generating training data, and training data generating device |
WO2021187316A1 (en) * | 2020-03-17 | 2021-09-23 | ミネベアミツミ株式会社 | Object three-dimensional data measurement method, object three-dimensional data measurement device, learning data generation method, and learning data generation device |
JP2022046063A (en) * | 2020-09-10 | 2022-03-23 | セイコーエプソン株式会社 | Three-dimensional shape measuring method and three-dimensional shape measuring device |
-
2000
- 2000-07-10 JP JP2000207875A patent/JP3818028B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002027501A (en) | 2002-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7075625B2 (en) | Range finder and method | |
JP3714063B2 (en) | 3D shape measuring device | |
US10782126B2 (en) | Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner | |
US8025408B2 (en) | Method, apparatus and program for image processing and method and apparatus for image synthesizing | |
JP3482990B2 (en) | 3D image capturing device | |
JP2002213931A (en) | Instrument and method for measuring three-dimensional shape | |
KR20200123483A (en) | 3D depth detection and adjustment of camera exposure for 2D imaging | |
KR20190051052A (en) | A three-dimensional scanning method including a laser of a plurality of different wavelengths, | |
JP2009300268A (en) | Three-dimensional information detection device | |
US10679370B2 (en) | Energy optimized imaging system with 360 degree field-of-view | |
IL230540A (en) | 3d geometric modeling and 3d video content creation | |
EP3524929B1 (en) | Projection system | |
CN107783353A (en) | For catching the apparatus and system of stereopsis | |
JP3818028B2 (en) | 3D image capturing apparatus and 3D image capturing method | |
KR101824328B1 (en) | 3-D scanner and the scanning method using the chromatic aberration | |
KR20130027671A (en) | Apparatus for obtaining depth information and system for obtaining 3-dimensional information comprising the same | |
JP3414624B2 (en) | Real-time range finder | |
JP2004110804A (en) | Three-dimensional image photographing equipment and method | |
JP3384329B2 (en) | 3D image capturing device | |
US11350077B2 (en) | Handheld three dimensional scanner with an autoaperture | |
CN208536839U (en) | Image capture device | |
JP3852285B2 (en) | 3D shape measuring apparatus and 3D shape measuring method | |
JP3932776B2 (en) | 3D image generation apparatus and 3D image generation method | |
JP2002013918A (en) | Three-dimensional image forming device and three- dimensional image forming method | |
KR20150047604A (en) | Method for description of object points of the object space and connection for its implementation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |