JP3384329B2 - ３次元画像撮影装置 - Google Patents
３次元画像撮影装置Info
- Publication number
- JP3384329B2 JP3384329B2 JP19106398A JP19106398A JP3384329B2 JP 3384329 B2 JP3384329 B2 JP 3384329B2 JP 19106398 A JP19106398 A JP 19106398A JP 19106398 A JP19106398 A JP 19106398A JP 3384329 B2 JP3384329 B2 JP 3384329B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- camera
- dimensional image
- optical axis
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、輝度情報および距
離情報から３次元画像情報を生成する３次元画像撮影装
置に関する。
離情報から３次元画像情報を生成する３次元画像撮影装
置に関する。
【０００２】
【従来の技術】従来から、対象物体の形状を測定する手
法として、パッシブ手法（ｓｈａｐｅｆｒｏｍ Ｘ、ス
テレオ視）とアクティブ手法（レーザーレーダ、パター
ン投影、スポット投影）とが知られている。このうち、
パッシブ手法は汎用的であり対象物体に対する制約が少
ないという特色を有し、一方、アクティブ手法は一般的
に計測精度は高いが投光手段の限界などにより測定でき
るレンジが小さい場合が多いという特色を有する。
法として、パッシブ手法（ｓｈａｐｅｆｒｏｍ Ｘ、ス
テレオ視）とアクティブ手法（レーザーレーダ、パター
ン投影、スポット投影）とが知られている。このうち、
パッシブ手法は汎用的であり対象物体に対する制約が少
ないという特色を有し、一方、アクティブ手法は一般的
に計測精度は高いが投光手段の限界などにより測定でき
るレンジが小さい場合が多いという特色を有する。
【０００３】アクティブ手法の一つであるパターン投影
法では、対象とする物体に基準となるパターン光を投影
し、このパターン光が投影された方向とは異なる方向か
ら投影パターンを撮影する。撮影されたパターンは、物
体の形状によって変形を受けたものとなる。この撮影さ
れた変形パターンと投影したパターンとの対応づけを行
うことで、物体の３次元計測を行うことができる。
法では、対象とする物体に基準となるパターン光を投影
し、このパターン光が投影された方向とは異なる方向か
ら投影パターンを撮影する。撮影されたパターンは、物
体の形状によって変形を受けたものとなる。この撮影さ
れた変形パターンと投影したパターンとの対応づけを行
うことで、物体の３次元計測を行うことができる。
【０００４】パターン投影法では、変形パターンと投影
したパターンの対応づけを、いかに誤対応を少なくかつ
簡便に行うかが課題となる。そこで、様々なパターン投
影の手法（空間パターンコード化、モアレ、色符号化な
ど）が提案されている。例えば、特開平５−３３２７３
７号公報には、空間コード化法を用いた小型で簡易な形
状計測装置が開示されている。この装置は、レーザ光源
と、レーザ光をスリット形に整形するレンズ系と、整形
されたレーザ光を対象物に照射し走査するスキャンニン
グ装置と、対象物からの反射光を検出するＣＣＤカメラ
と、これらを制御する装置とからなる。対象物をスキャ
ンニング装置によってレーザ光で走査すると、レーザ光
の照射された部分と照射されない部分が生じ縞模様が形
成される。レーザ光の照射を複数の異なるパターンによ
り行うことで、対象物はＮ個の識別可能な部分に分割さ
れる。対象物を異なる位置からＣＣＤカメラで撮影した
画像上の各画素が、分割されたどの部分に含まれるかを
判別することにより、対象物の形状を算出することがで
きる。ここで解像度を高くする為には、複数回のレーザ
による走査と複数回のカメラによる撮影が必要となる。
例えば、画面を２５６の領域に分割するには８回の撮影
が必要である。そのため動きの早い物体の撮影は困難と
なり、更にスキャンを行う間は撮影系を確実に固定して
おく必要があるので、装置自体は簡便となっても手軽に
撮影を行う事は難しい。
したパターンの対応づけを、いかに誤対応を少なくかつ
簡便に行うかが課題となる。そこで、様々なパターン投
影の手法（空間パターンコード化、モアレ、色符号化な
ど）が提案されている。例えば、特開平５−３３２７３
７号公報には、空間コード化法を用いた小型で簡易な形
状計測装置が開示されている。この装置は、レーザ光源
と、レーザ光をスリット形に整形するレンズ系と、整形
されたレーザ光を対象物に照射し走査するスキャンニン
グ装置と、対象物からの反射光を検出するＣＣＤカメラ
と、これらを制御する装置とからなる。対象物をスキャ
ンニング装置によってレーザ光で走査すると、レーザ光
の照射された部分と照射されない部分が生じ縞模様が形
成される。レーザ光の照射を複数の異なるパターンによ
り行うことで、対象物はＮ個の識別可能な部分に分割さ
れる。対象物を異なる位置からＣＣＤカメラで撮影した
画像上の各画素が、分割されたどの部分に含まれるかを
判別することにより、対象物の形状を算出することがで
きる。ここで解像度を高くする為には、複数回のレーザ
による走査と複数回のカメラによる撮影が必要となる。
例えば、画面を２５６の領域に分割するには８回の撮影
が必要である。そのため動きの早い物体の撮影は困難と
なり、更にスキャンを行う間は撮影系を確実に固定して
おく必要があるので、装置自体は簡便となっても手軽に
撮影を行う事は難しい。
【０００５】パターンの投光回数を減らすものとして、
例えば特開平３−１９２４７４号公報に開示された色符
号化法がある。色符号化法においては、ｑ、ｋを２以上
の所定の自然数とした時、ｑ色以上の色を用いて、隣接
する２本のスリット光が同色にならず、隣接するｋ本の
スリット光による色の並びが１度しか現れないように符
号化されたパターンを投影し、観測された画像からスリ
ットの色を検出し、該当スリットの色並びからスリット
番号を取得する。このスリット番号からスリットの照射
方向を算出することにより、空間コード化法の場合と同
様にして距離を算出することができる。色符号化法で
は、コード列の並びからコードを復元する為に、コード
の復元の計算量が大きいという問題がある。例えば、
赤、緑、青の３色を用いて２５６の領域に分割したい場
合には、スリットの周囲８本のスリット光の並びを知る
必要がある。従ってこの方法は、連続してスリットが長
く観測できるような形状の物体の計測にしか適さない。
例えば特開平３−１９２４７４号公報に開示された色符
号化法がある。色符号化法においては、ｑ、ｋを２以上
の所定の自然数とした時、ｑ色以上の色を用いて、隣接
する２本のスリット光が同色にならず、隣接するｋ本の
スリット光による色の並びが１度しか現れないように符
号化されたパターンを投影し、観測された画像からスリ
ットの色を検出し、該当スリットの色並びからスリット
番号を取得する。このスリット番号からスリットの照射
方向を算出することにより、空間コード化法の場合と同
様にして距離を算出することができる。色符号化法で
は、コード列の並びからコードを復元する為に、コード
の復元の計算量が大きいという問題がある。例えば、
赤、緑、青の３色を用いて２５６の領域に分割したい場
合には、スリットの周囲８本のスリット光の並びを知る
必要がある。従ってこの方法は、連続してスリットが長
く観測できるような形状の物体の計測にしか適さない。
【０００６】スリットの復元を容易に行い、更に１回で
コード化されたパターンを投影するものとして、例えば
特許第２５６５８８５号公報で提案されているような空
間パターンコード化法がある。この方法は、３値以上の
濃淡、又は３色以上の色、又は濃淡と色の組み合わせに
よる３種類以上の階調領域を有する。そして、階調領域
の境界線の交点において少なくとも３種類の階調領域が
互いに接するように配置した多値格子板パターンを具備
し、このパターンを被測定対象物に投影して生じる投影
像の交点に階調の種類と順序に応じた主コードを付与す
る。そして、この主コードを、または前記交点の主コー
ドとその周囲交点の主コードとを組み合わせた組み合わ
せコードを、先の交点の識別用の特徴コードとして付与
するものである。
コード化されたパターンを投影するものとして、例えば
特許第２５６５８８５号公報で提案されているような空
間パターンコード化法がある。この方法は、３値以上の
濃淡、又は３色以上の色、又は濃淡と色の組み合わせに
よる３種類以上の階調領域を有する。そして、階調領域
の境界線の交点において少なくとも３種類の階調領域が
互いに接するように配置した多値格子板パターンを具備
し、このパターンを被測定対象物に投影して生じる投影
像の交点に階調の種類と順序に応じた主コードを付与す
る。そして、この主コードを、または前記交点の主コー
ドとその周囲交点の主コードとを組み合わせた組み合わ
せコードを、先の交点の識別用の特徴コードとして付与
するものである。
【０００７】
【発明が解決しようとする課題】しかし、従来の方法で
は、撮影対象によってはコード化が崩れてしまい正しい
コードの対応づけができなくなる場合がある。例えば、
光源により投光されたパターン列をカメラで撮影したと
き、撮影されたパターン列に欠落や反転が生じることが
ある。また、対象物の形状や反射率などによっても投光
したパターン列と撮影されたパターン列の変化により対
応づけが困難となる場合がある。
は、撮影対象によってはコード化が崩れてしまい正しい
コードの対応づけができなくなる場合がある。例えば、
光源により投光されたパターン列をカメラで撮影したと
き、撮影されたパターン列に欠落や反転が生じることが
ある。また、対象物の形状や反射率などによっても投光
したパターン列と撮影されたパターン列の変化により対
応づけが困難となる場合がある。
【０００８】この問題に対して、色符号化法において
は、スリットの欠落や反転の可能性があるパターンにつ
いては復号を行わないようにして、この問題を避けてい
る。また空間パターンコード化法では、２次元パターン
を用いて前述の誤りの可能性を低減してはいるが、対象
物によっては原理的に同じ誤りが生じてしまう。したが
ってこの方法は、実験室内の特殊な状況や対象物体を限
定した状況での撮影では優れた精度が得られるものの、
対象物体を限定しない一般的な撮影状況では精度の劣化
は否めない。
は、スリットの欠落や反転の可能性があるパターンにつ
いては復号を行わないようにして、この問題を避けてい
る。また空間パターンコード化法では、２次元パターン
を用いて前述の誤りの可能性を低減してはいるが、対象
物によっては原理的に同じ誤りが生じてしまう。したが
ってこの方法は、実験室内の特殊な状況や対象物体を限
定した状況での撮影では優れた精度が得られるものの、
対象物体を限定しない一般的な撮影状況では精度の劣化
は否めない。
【０００９】また、光源を用いて投光を行う手法では、
広いレンジを有するものを対象とした時に、投光パター
ンの届かない部位については３次元形状が得られない。
さらに、投光パターンが対象物に遮られて生じる影の領
域も、距離の計測ができないため３次元形状が得られな
いという問題がある。
広いレンジを有するものを対象とした時に、投光パター
ンの届かない部位については３次元形状が得られない。
さらに、投光パターンが対象物に遮られて生じる影の領
域も、距離の計測ができないため３次元形状が得られな
いという問題がある。
【００１０】従って本発明の目的は、対象物に依存せず
精度良く３次元画像を撮影可能な３次元画像撮影装置を
提供することにある。
精度良く３次元画像を撮影可能な３次元画像撮影装置を
提供することにある。
【００１１】
【課題を解決するための手段】上記目的は、コード化さ
れたパターンを投影する第１の投光器と、第１の投光器
の光軸方向から前記投影パターンを撮影する第１のカメ
ラと、第１の投光器の光軸方向と異なる方向から前記投
影パターンを撮影する第２のカメラとを備え、前記投影
パターンに対する第１のカメラによる撮影パターンの変
化量が所定値以上の領域について新たなコードを割り付
け、前記割り付けたコードを用いて第２のカメラによる
撮影パターンから第１の距離情報を生成し、第１の距離
情報および第２のカメラより得られた輝度情報に基づい
て３次元画像を得るよう構成した３次元画像撮影装置に
より、達成される。
れたパターンを投影する第１の投光器と、第１の投光器
の光軸方向から前記投影パターンを撮影する第１のカメ
ラと、第１の投光器の光軸方向と異なる方向から前記投
影パターンを撮影する第２のカメラとを備え、前記投影
パターンに対する第１のカメラによる撮影パターンの変
化量が所定値以上の領域について新たなコードを割り付
け、前記割り付けたコードを用いて第２のカメラによる
撮影パターンから第１の距離情報を生成し、第１の距離
情報および第２のカメラより得られた輝度情報に基づい
て３次元画像を得るよう構成した３次元画像撮影装置に
より、達成される。
【００１２】投影パターンに対する第１のカメラによる
撮影パターンの変化量が所定値未満の領域については、
第１のカメラおよび第２のカメラより得られた各輝度情
報の対応づけにより、第２の距離情報を生成することが
できる。この第２の距離情報は、上述の３次元画像の生
成に用いられる。また、第１の投光器及び第１のカメラ
は、同一平面上で第２のカメラを挟んで設けられた赤外
光源を有する第３の投光器及び紫外光源を有する第４の
投光器並びに第３及び第４の投光器の各光軸方向からそ
れぞれ投影パターンを撮影する第３及び第４のカメラか
ら構成することができる。
撮影パターンの変化量が所定値未満の領域については、
第１のカメラおよび第２のカメラより得られた各輝度情
報の対応づけにより、第２の距離情報を生成することが
できる。この第２の距離情報は、上述の３次元画像の生
成に用いられる。また、第１の投光器及び第１のカメラ
は、同一平面上で第２のカメラを挟んで設けられた赤外
光源を有する第３の投光器及び紫外光源を有する第４の
投光器並びに第３及び第４の投光器の各光軸方向からそ
れぞれ投影パターンを撮影する第３及び第４のカメラか
ら構成することができる。
【００１３】本発明に係る３次元画像撮影方法は、コー
ド化されたパターンを投影し、投影したのと同じ光軸方
向および異なる光軸方向から投影パターンをそれぞれ撮
影し、投影パターンに対する同じ光軸方向から撮影した
撮影パターンの変化量が所定値以上の領域について新た
なコードを割り付け、この割り付けたコードを用いて異
なる光軸方向から撮影した撮影パターンから距離情報を
生成し、この距離情報および上述の異なる光軸方向から
撮影して得た輝度情報に基づいて３次元画像を得るよう
にしたものである。
ド化されたパターンを投影し、投影したのと同じ光軸方
向および異なる光軸方向から投影パターンをそれぞれ撮
影し、投影パターンに対する同じ光軸方向から撮影した
撮影パターンの変化量が所定値以上の領域について新た
なコードを割り付け、この割り付けたコードを用いて異
なる光軸方向から撮影した撮影パターンから距離情報を
生成し、この距離情報および上述の異なる光軸方向から
撮影して得た輝度情報に基づいて３次元画像を得るよう
にしたものである。
【００１４】これにより本発明では、対象物に依存せず
精度良く３次元画像を撮影可能な３次元画像撮影装置を
得ることができる。
精度良く３次元画像を撮影可能な３次元画像撮影装置を
得ることができる。
【００１５】
【発明の実施の形態】以下、図面を参照しながら本発明
の一実施例を説明する。
の一実施例を説明する。
【００１６】図１は、本発明に係る３次元画像撮影装置
におけるカメラと投光器の配置関係を示す図である。図
のように、本実施例では、３台のカメラ１〜３および投
光器４、６を備える。各カメラの距離関係が揃うよう
に、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カ
メラ１と投光器４及びカメラ２と投光器６は、それぞれ
ハーフミラー５、７を用いて光軸が一致するように配置
される。カメラ１と投光器４の組とカメラ２と投光器６
の組との間に、ファインダを兼ねたカメラ３が、それら
と光軸が異なるように配置される。中央の光軸と両側の
光軸との距離が基線長Ｌである。
におけるカメラと投光器の配置関係を示す図である。図
のように、本実施例では、３台のカメラ１〜３および投
光器４、６を備える。各カメラの距離関係が揃うよう
に、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カ
メラ１と投光器４及びカメラ２と投光器６は、それぞれ
ハーフミラー５、７を用いて光軸が一致するように配置
される。カメラ１と投光器４の組とカメラ２と投光器６
の組との間に、ファインダを兼ねたカメラ３が、それら
と光軸が異なるように配置される。中央の光軸と両側の
光軸との距離が基線長Ｌである。
【００１７】投光器４、６は、弁別可能なパターンを投
光する為にそれぞれ異なる波長の光源を有する。本実施
例では、投光器４は赤外光源を有し、投光器６は紫外光
源を有する。この場合、各カメラは図２に示すように構
成される。すなわち、入射してきた光１０は、プリズム
１１で３方向に分割され、一つは赤外透過フィルター１
２を通って撮像装置（例えばＣＣＤカメラ）１３に入射
し、もう一つは紫外透過フィルター１４を通って撮像装
置１５に入射し、残りの一つは赤外及び紫外遮断フィル
ター１６を通って撮像装置１７に入射する。但し、カメ
ラ１は、赤外透過フィルタを有する撮像装置と赤外遮断
フィルタを有する撮像装置からなるもの、カメラ２は、
紫外透過フィルタを有する撮像装置と紫外遮断フィルタ
を有する撮像装置からなるものでよい。投光器４からは
赤外光のパターンが投影され、また投光器６からは紫外
光のパターンが投影され、３台のカメラ１〜３が同時に
撮影を行う。そして各カメラは、各フィルターを通過し
た光をそれぞれ撮像装置で得ることにより、画像の一括
取得を行う。
光する為にそれぞれ異なる波長の光源を有する。本実施
例では、投光器４は赤外光源を有し、投光器６は紫外光
源を有する。この場合、各カメラは図２に示すように構
成される。すなわち、入射してきた光１０は、プリズム
１１で３方向に分割され、一つは赤外透過フィルター１
２を通って撮像装置（例えばＣＣＤカメラ）１３に入射
し、もう一つは紫外透過フィルター１４を通って撮像装
置１５に入射し、残りの一つは赤外及び紫外遮断フィル
ター１６を通って撮像装置１７に入射する。但し、カメ
ラ１は、赤外透過フィルタを有する撮像装置と赤外遮断
フィルタを有する撮像装置からなるもの、カメラ２は、
紫外透過フィルタを有する撮像装置と紫外遮断フィルタ
を有する撮像装置からなるものでよい。投光器４からは
赤外光のパターンが投影され、また投光器６からは紫外
光のパターンが投影され、３台のカメラ１〜３が同時に
撮影を行う。そして各カメラは、各フィルターを通過し
た光をそれぞれ撮像装置で得ることにより、画像の一括
取得を行う。
【００１８】図３は、本発明に係る３次元画像撮影装置
の一実施例を示す図である。図示のように、カメラ１
は、撮影して得た輝度情報を輝度値メモリ２１に記憶
し、赤外光の撮影パターンをパターン画像メモリ２２に
記憶する。カメラ２は、同様に、輝度情報を輝度値メモ
リ２３に記憶し、紫外光の撮影パターンをパターン画像
メモリ２４に記憶する。カメラ３は、輝度情報を輝度値
メモリ２５に記憶し、赤外光の撮影パターンをパターン
画像メモリ２６に、紫外光の撮影パターンをパターン画
像メモリ２７に記憶する。投光器４、６は、事前に作成
したコード化されたパターンを後に参照する為に、各ス
リットを正方格子上のセルに分割してそれぞれフレーム
メモリ２８、３２に格納している。
の一実施例を示す図である。図示のように、カメラ１
は、撮影して得た輝度情報を輝度値メモリ２１に記憶
し、赤外光の撮影パターンをパターン画像メモリ２２に
記憶する。カメラ２は、同様に、輝度情報を輝度値メモ
リ２３に記憶し、紫外光の撮影パターンをパターン画像
メモリ２４に記憶する。カメラ３は、輝度情報を輝度値
メモリ２５に記憶し、赤外光の撮影パターンをパターン
画像メモリ２６に、紫外光の撮影パターンをパターン画
像メモリ２７に記憶する。投光器４、６は、事前に作成
したコード化されたパターンを後に参照する為に、各ス
リットを正方格子上のセルに分割してそれぞれフレーム
メモリ２８、３２に格納している。
【００１９】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１とカメラ３の組み合わせ、カメラ
２とカメラ３の組み合わせの双方に共通なので、ここで
はカメラ１とカメラ３の組み合わせを例にとって説明す
る。
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１とカメラ３の組み合わせ、カメラ
２とカメラ３の組み合わせの双方に共通なので、ここで
はカメラ１とカメラ３の組み合わせを例にとって説明す
る。
【００２０】図３において、領域分割部２９は、カメラ
１で撮影された撮影パターンの領域分割を行う。そし
て、隣り合うスリットパターン間の強度差が閾値以下で
ある領域については投光器からの光が届いてない領域１
として抽出し、スリットパターン間の強度差が閾値以上
である領域については領域２として抽出する。再コード
化部３０は、抽出された領域２について、パターン画像
メモリ２２に記憶された撮影パターンとフレームメモリ
２８に格納された投影パターンを用いて再コード化を行
う。
１で撮影された撮影パターンの領域分割を行う。そし
て、隣り合うスリットパターン間の強度差が閾値以下で
ある領域については投光器からの光が届いてない領域１
として抽出し、スリットパターン間の強度差が閾値以上
である領域については領域２として抽出する。再コード
化部３０は、抽出された領域２について、パターン画像
メモリ２２に記憶された撮影パターンとフレームメモリ
２８に格納された投影パターンを用いて再コード化を行
う。
【００２１】図４は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ４１）、正方形のセルを生
成する。生成された各セルについて強度の平均値をと
り、平均値を各セルの強度とする（ステップ４２）。画
像の中心から順に、投影パターン及び撮影パターンの対
応する各セル間の強度を比較し、対象物の反射率、対象
物までの距離などの要因によってパターンが変化したた
めにセル間の強度が閾値以上異なるかどうかを判断する
（ステップ４３）。閾値以上異ならない場合は、撮影さ
れたすべてのセルについて再コード化を終了する（ステ
ップ４７）。閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ４４）。そして、新たな強
度のセルのときは、新たなコードの生成、割り付けを行
う（ステップ４５）。また、新たな強度のセルでないと
きは、他に出現している部位と識別可能とするスリット
パターンの並びを用いてコード化する（ステップ４
６）。これで、再コード化を終了する（ステップ４
７）。
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ４１）、正方形のセルを生
成する。生成された各セルについて強度の平均値をと
り、平均値を各セルの強度とする（ステップ４２）。画
像の中心から順に、投影パターン及び撮影パターンの対
応する各セル間の強度を比較し、対象物の反射率、対象
物までの距離などの要因によってパターンが変化したた
めにセル間の強度が閾値以上異なるかどうかを判断する
（ステップ４３）。閾値以上異ならない場合は、撮影さ
れたすべてのセルについて再コード化を終了する（ステ
ップ４７）。閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ４４）。そして、新たな強
度のセルのときは、新たなコードの生成、割り付けを行
う（ステップ４５）。また、新たな強度のセルでないと
きは、他に出現している部位と識別可能とするスリット
パターンの並びを用いてコード化する（ステップ４
６）。これで、再コード化を終了する（ステップ４
７）。
【００２２】図５はスリットパターンのコード化の例を
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
【００２３】図６は、カメラ１〜３および投光器４、６
を用いて、壁６１の前に配置された板６２にコード化さ
れたパターンを投光する例を示す。ここでコード化され
たパターンは、図７に示すスリットパターンである。こ
のとき、カメラ１、カメラ３で得られる画像は、それぞ
れ図８及び図９に示すようになる。本例では、板６２の
表面には新たにコード化されたパターンとして、図１０
に示すようなスリットパターンが得られる。
を用いて、壁６１の前に配置された板６２にコード化さ
れたパターンを投光する例を示す。ここでコード化され
たパターンは、図７に示すスリットパターンである。こ
のとき、カメラ１、カメラ３で得られる画像は、それぞ
れ図８及び図９に示すようになる。本例では、板６２の
表面には新たにコード化されたパターンとして、図１０
に示すようなスリットパターンが得られる。
【００２４】次に図３に戻って説明する。同図のコード
復号部３１は、パターン画像メモリ２６から投影パター
ンを抽出し、上述と同様にしてセルに分割する。そし
て、先に再コード化部３０で再コード化されたコードを
用いて各セルのコードを検出し、この検出したコードに
基づいて光源からのスリット角θを算出する。図１１は
空間コード化における距離の算出方法を示す図であり、
各画素の属するセルのスリット角θとカメラ１で撮影さ
れた画像上のｘ座標とカメラパラメータである焦点距離
Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算
出する。
復号部３１は、パターン画像メモリ２６から投影パター
ンを抽出し、上述と同様にしてセルに分割する。そし
て、先に再コード化部３０で再コード化されたコードを
用いて各セルのコードを検出し、この検出したコードに
基づいて光源からのスリット角θを算出する。図１１は
空間コード化における距離の算出方法を示す図であり、
各画素の属するセルのスリット角θとカメラ１で撮影さ
れた画像上のｘ座標とカメラパラメータである焦点距離
Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算
出する。
【００２５】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００２６】この距離Ｚの算出は、カメラ２側において
も同様に行われる。即ち、図３の再コード化部３４は、
抽出された領域２について、パターン画像メモリ２４に
記憶された撮影パターンとフレームメモリ３２に格納さ
れた投影パターンを用いて再コード化を行う。そしてコ
ード復号部３５は、パターン画像メモリ２７から投影パ
ターンを抽出し、上述と同様にしてセルに分割する。そ
して、先に再コード化部３４で再コード化されたコード
を用いて各セルのコードを検出し、この検出したコード
に基づいて光源からのスリット角θを算出し、距離を求
める。
も同様に行われる。即ち、図３の再コード化部３４は、
抽出された領域２について、パターン画像メモリ２４に
記憶された撮影パターンとフレームメモリ３２に格納さ
れた投影パターンを用いて再コード化を行う。そしてコ
ード復号部３５は、パターン画像メモリ２７から投影パ
ターンを抽出し、上述と同様にしてセルに分割する。そ
して、先に再コード化部３４で再コード化されたコード
を用いて各セルのコードを検出し、この検出したコード
に基づいて光源からのスリット角θを算出し、距離を求
める。
【００２７】また、上述の領域１については次のように
して距離を算出する。領域１では、投光されたパターン
によるパターン検出は行うことができないので、対応点
探索部３６、３７において、カメラ１〜３の輝度値メモ
リ２１、２３、２５から読み出された輝度情報を用いて
視差を検出し、これに基づいて距離を算出する。領域１
を除く領域に対しては、前述の操作により距離が算出さ
れているので、領域１の距離の最小値が得られ、また対
応づけ可能な画素も限定される。これらの制限を用い
て、画素間の対応づけを行い視差ｄを検出し、カメラパ
ラメータである画素サイズλを用いて、次の（数２）に
よって距離Ｚを算出する。
して距離を算出する。領域１では、投光されたパターン
によるパターン検出は行うことができないので、対応点
探索部３６、３７において、カメラ１〜３の輝度値メモ
リ２１、２３、２５から読み出された輝度情報を用いて
視差を検出し、これに基づいて距離を算出する。領域１
を除く領域に対しては、前述の操作により距離が算出さ
れているので、領域１の距離の最小値が得られ、また対
応づけ可能な画素も限定される。これらの制限を用い
て、画素間の対応づけを行い視差ｄを検出し、カメラパ
ラメータである画素サイズλを用いて、次の（数２）に
よって距離Ｚを算出する。
【００２８】
【数２】
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００２９】前述の手法でカメラ１とカメラ３の組み合
わせによって得られた距離情報では、図９に示す板の影
となる領域９１の距離情報が検出できない。一方、カメ
ラ２とカメラ３の組み合わせによって得られた距離情報
では、図１２に示す板の影となる領域１２１の距離情報
が検出できないが、図９に示す板の影となる領域９１の
距離は算出可能である。図３の距離情報統合部３３にお
いて、カメラ１とカメラ３の組で算出された距離情報お
よびカメラ２とカメラ３で算出された距離情報、並びに
カメラ１〜３の輝度情報から算出された距離情報を、カ
メラ３で取得した輝度情報と統合することにより３次元
画像情報を得る。以上の操作によって得られた３次元画
像情報を３次元画像メモリ３９に記憶することで３次元
画像撮影が行なわれる。
わせによって得られた距離情報では、図９に示す板の影
となる領域９１の距離情報が検出できない。一方、カメ
ラ２とカメラ３の組み合わせによって得られた距離情報
では、図１２に示す板の影となる領域１２１の距離情報
が検出できないが、図９に示す板の影となる領域９１の
距離は算出可能である。図３の距離情報統合部３３にお
いて、カメラ１とカメラ３の組で算出された距離情報お
よびカメラ２とカメラ３で算出された距離情報、並びに
カメラ１〜３の輝度情報から算出された距離情報を、カ
メラ３で取得した輝度情報と統合することにより３次元
画像情報を得る。以上の操作によって得られた３次元画
像情報を３次元画像メモリ３９に記憶することで３次元
画像撮影が行なわれる。
【００３０】本発明は上記実施例に限られるものではな
い。上記実施例では、光源として赤外光源あるいは紫外
光源を用いているが、弁別可能なパターンが投光可能で
あれば他の波長を用いても実現できる。また、それぞれ
パターンを強度だけでなく、２つの波長の違いを利用し
たコード化も可能である。例えば、２つの異なる赤外波
長光を用いて図１３（ａ）のようにコード化することが
できる。本図では、ハッチングされている部分とハッチ
ングされていない部分で波長が異なる。このようなパタ
ーンを投影する為には、図１３（ｂ）、（ｃ）に示すよ
うなマスクパターンを用いる。投影パターンを２つの波
長でコード化することによって、単なる強度によるパタ
ーンのコード化よりも識別が容易となる。また対象物の
反射率や形状によって、あるパターンが他の部分のパタ
ーンと同じパターンに変化してしまう確率が減少する。
これにより誤認識が減り、再コード化にかかる計算量も
減少する。
い。上記実施例では、光源として赤外光源あるいは紫外
光源を用いているが、弁別可能なパターンが投光可能で
あれば他の波長を用いても実現できる。また、それぞれ
パターンを強度だけでなく、２つの波長の違いを利用し
たコード化も可能である。例えば、２つの異なる赤外波
長光を用いて図１３（ａ）のようにコード化することが
できる。本図では、ハッチングされている部分とハッチ
ングされていない部分で波長が異なる。このようなパタ
ーンを投影する為には、図１３（ｂ）、（ｃ）に示すよ
うなマスクパターンを用いる。投影パターンを２つの波
長でコード化することによって、単なる強度によるパタ
ーンのコード化よりも識別が容易となる。また対象物の
反射率や形状によって、あるパターンが他の部分のパタ
ーンと同じパターンに変化してしまう確率が減少する。
これにより誤認識が減り、再コード化にかかる計算量も
減少する。
【００３１】システム構成については、本実施例では、
投光器とカメラから構成される部分を２組用いたが、組
み合せを増やし多数決論理などを導入した構成やカメラ
配置を異ならせる構成も考えられる。
投光器とカメラから構成される部分を２組用いたが、組
み合せを増やし多数決論理などを導入した構成やカメラ
配置を異ならせる構成も考えられる。
【００３２】本発明によれば、投影したパターンを同じ
光軸で撮影したパターンを用いて再コード化することに
より、精度良く３次元形状計測を行うことができる。こ
の再コード化により、対象物の形状によってパターン光
を変化させるのに等しい効果を得ることができる。カメ
ラの配置と組み合わせによって、パターン投影法で問題
となるオクルージョンを排除できる。不可視光による投
光と３つの撮像手段をもつカメラ等を用い、フィルタに
よって分光することで画像の一括取得が可能である。従
って、対象の形状や撮影条件に依存せず、ファインダー
となる画面中にオクルージョンのない３次元距離計測を
行うことができる。
光軸で撮影したパターンを用いて再コード化することに
より、精度良く３次元形状計測を行うことができる。こ
の再コード化により、対象物の形状によってパターン光
を変化させるのに等しい効果を得ることができる。カメ
ラの配置と組み合わせによって、パターン投影法で問題
となるオクルージョンを排除できる。不可視光による投
光と３つの撮像手段をもつカメラ等を用い、フィルタに
よって分光することで画像の一括取得が可能である。従
って、対象の形状や撮影条件に依存せず、ファインダー
となる画面中にオクルージョンのない３次元距離計測を
行うことができる。
【００３３】
【発明の効果】本発明によれば、対象物に依存せず精度
良く３次元画像を撮影可能な３次元画像撮影装置を得る
ことができる。
良く３次元画像を撮影可能な３次元画像撮影装置を得る
ことができる。
【図１】本発明に係る３次元画像撮影装置におけるカメ
ラと投光器の配置関係を示す図である。
ラと投光器の配置関係を示す図である。
【図２】カメラの構成例を示す図である。
【図３】本発明に係る３次元画像撮影装置の一実施例を
示すブロック図である。
示すブロック図である。
【図４】再コード化を行う際のフローチャートである。
【図５】（ａ）〜（ｃ）はそれぞれスリットパターンの
コード化の例を示す図である。
コード化の例を示す図である。
【図６】カメラ及び投光器を用いて投影パターンを投
光、撮影する例を示す図である。
光、撮影する例を示す図である。
【図７】投影パターンの一例を示す図である。
【図８】投光器の光軸方向から撮影されたスリットパタ
ーンの一例を示す図である。
ーンの一例を示す図である。
【図９】投光器の光軸方向と異なる方向から撮影された
スリットパターンの一例を示す図である。
スリットパターンの一例を示す図である。
【図１０】新たにコード化されたスリットパターンの一
例を示す図である。
例を示す図である。
【図１１】空間コード化における距離の算出方法を示す
図である。
図である。
【図１２】投光器の光軸方向と異なる方向から撮影され
たスリットパターンの一例を示す図である。
たスリットパターンの一例を示す図である。
【図１３】（ａ）は異なる波長光による投影パターンの
例を示す図、（ｂ）および（ｃ）はそのマスクパターン
を示す図である。
例を示す図、（ｂ）および（ｃ）はそのマスクパターン
を示す図である。
１、２、３ カメラ
４、６ 投光器
２１、２３、２５ 輝度値メモリ
２２、２４、２６、２７ パターン画像メモリ
２８、３２ フレームメモリ
２９、３３ 領域分割部
３０、３４ 再コード化部
３１、３５ コード復号部
３６、３７ 対応点探索部
３８ 距離情報統合部
３９ ３次元画像メモリ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 昭63−191281（ＪＰ，Ａ)
特開 平３−192474（ＪＰ，Ａ)
特開 平５−332737（ＪＰ，Ａ)
特開 平６−121325（ＪＰ，Ａ)
特開 平７−19839（ＪＰ，Ａ)
特開 平10−31742（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01B 11/00 - 11/30
Claims (6)
- 【請求項１】 コード化されたパターンを投影する第１
の投光器と、第１の投光器の光軸方向から前記投影パタ
ーンを撮影する第１のカメラと、第１の投光器の光軸方
向と異なる方向から前記投影パターンを撮影する第２の
カメラとを備え、前記投影パターンに対する第１のカメ
ラによる撮影パターンの変化量が所定値以上の領域につ
いて新たなコードを割り付け、前記割り付けたコードを
用いて第２のカメラによる撮影パターンから第１の距離
情報を生成し、第１の距離情報および第２のカメラより
得られた輝度情報に基づいて３次元画像を得るよう構成
したことを特徴とする３次元画像撮影装置。 - 【請求項２】 前記第１の投光器による投影パターンに
対する第１のカメラによる撮影パターンの変化量が所定
値未満の領域について、第１のカメラおよび第２のカメ
ラより得られた各輝度情報の対応づけにより第２の距離
情報を生成し、第１の距離情報、第２の距離情報および
第１のカメラより得られた輝度情報を用いて３次元画像
を得るよう構成したことを特徴とする請求項１記載の３
次元画像撮影装置。 - 【請求項３】 前記投光器は不可視領域の光を発生する
光源を有し、第１のカメラは不可視領域の光を透過する
フィルターおよび不可視領域の光を遮断するフィルター
を有することを特徴とする請求項１記載の３次元画像撮
影装置。 - 【請求項４】 第１の投光器及び第１のカメラは、同一
平面上で第２のカメラを挟んで設けられた赤外光源を有
する第３の投光器及び紫外光源を有する第４の投光器並
びに第３及び第４の投光器の各光軸方向からそれぞれ投
影パターンを撮影する第３及び第４のカメラから構成さ
れることを特徴とする請求項１記載の３次元画像撮影装
置。 - 【請求項５】 コード化されたパターンを投影し、前記
パターンの投影と同じ光軸方向および異なる光軸方向か
らそれぞれ前記投影パターンを撮影し、前記投影パター
ンに対する前記同じ光軸方向から撮影した撮影パターン
の変化量が所定値以上の領域について新たなコードを割
り付け、前記割り付けたコードを用いて前記異なる光軸
方向から撮影した撮影パターンから距離情報を生成し、
前記距離情報および前記異なる光軸方向から撮影して得
た輝度情報に基づいて３次元画像を得ることを特徴とす
る３次元画像撮影方法。 - 【請求項６】 請求項１記載の３次元画像撮影装置に用
いるカメラであって、入射光を分割する光分割部と、前
記分割された光を赤外領域透過フィルターを介して撮像
する第１の撮像部と、前記分割された光を紫外領域透過
フィルターを介して撮像する第２の撮像部と、前記分割
された光を赤外及び紫外領域遮断フィルターを介して撮
像する第３の撮像部とを備えたことを特徴とするカメ
ラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19106398A JP3384329B2 (ja) | 1998-06-22 | 1998-06-22 | ３次元画像撮影装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19106398A JP3384329B2 (ja) | 1998-06-22 | 1998-06-22 | ３次元画像撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000009442A JP2000009442A (ja) | 2000-01-14 |
| JP3384329B2 true JP3384329B2 (ja) | 2003-03-10 |
Family
ID=16268272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19106398A Expired - Fee Related JP3384329B2 (ja) | 1998-06-22 | 1998-06-22 | ３次元画像撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3384329B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103097858A (zh) * | 2010-09-13 | 2013-05-08 | 微-埃普西龙光电股份有限公司 | 用于测定距离的光学测量系统 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4337203B2 (ja) * | 2000-01-24 | 2009-09-30 | ソニー株式会社 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
| JP3867512B2 (ja) | 2000-06-29 | 2007-01-10 | 富士ゼロックス株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP2002191058A (ja) * | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | ３次元画像取得装置および３次元画像取得方法 |
| JP3852285B2 (ja) * | 2001-01-10 | 2006-11-29 | 富士ゼロックス株式会社 | ３次元形状計測装置および３次元形状計測方法 |
| US20040041996A1 (en) | 2002-08-28 | 2004-03-04 | Fuji Xerox Co., Ltd. | Range finder and method |
| JP4379056B2 (ja) | 2003-08-12 | 2009-12-09 | 富士ゼロックス株式会社 | 三次元画像撮像装置および方法 |
| JP4848166B2 (ja) * | 2005-09-30 | 2011-12-28 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
| JP4459155B2 (ja) * | 2005-11-14 | 2010-04-28 | 株式会社東芝 | 光学式位置計測装置 |
| JP5594923B2 (ja) * | 2005-12-08 | 2014-09-24 | 富士機械製造株式会社 | 基板面高さ測定方法及びその装置 |
| JP5610211B2 (ja) * | 2010-09-24 | 2014-10-22 | 株式会社Ihi | 投影面情報提示装置と方法 |
| EP2799810A1 (de) * | 2013-04-30 | 2014-11-05 | Aimess Services GmbH | Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2565885B2 (ja) * | 1987-02-04 | 1996-12-18 | 日本電信電話株式会社 | 空間パタ−ンコ−ド化方法 |
| JPH03192474A (ja) * | 1989-12-22 | 1991-08-22 | Fujitsu Ltd | ３次元形状計測方式 |
| JPH0816608B2 (ja) * | 1991-03-15 | 1996-02-21 | 幸男 佐藤 | 形状計測装置 |
| JPH06121325A (ja) * | 1992-10-07 | 1994-04-28 | Nippon Hoso Kyokai <Nhk> | カラー撮像装置 |
| JP3219551B2 (ja) * | 1993-06-30 | 2001-10-15 | 株式会社資生堂 | 表面状態解析システム |
| JP2921496B2 (ja) * | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | 画像処理装置および物体移載装置 |
-
1998
- 1998-06-22 JP JP19106398A patent/JP3384329B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103097858A (zh) * | 2010-09-13 | 2013-05-08 | 微-埃普西龙光电股份有限公司 | 用于测定距离的光学测量系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000009442A (ja) | 2000-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3482990B2 (ja) | ３次元画像撮影装置 | |
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| US7075625B2 (en) | Range finder and method | |
| US7103212B2 (en) | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns | |
| JP6484072B2 (ja) | 物体検出装置 | |
| JP2012504771A (ja) | 三次元及び距離の面間推定を与えるための方法及びシステム | |
| JP3384329B2 (ja) | ３次元画像撮影装置 | |
| JP2002191058A (ja) | ３次元画像取得装置および３次元画像取得方法 | |
| JP7086861B2 (ja) | プレノプティックカメラを用いた三次元再構成方法 | |
| KR20100017236A (ko) | 카메라 위치를 얻기 위한 중앙 개구를 가진, 단일 렌즈, 단일 센서 3-ｄ 영상화 장치 | |
| CN105554470B (zh) | 深度数据监控系统 | |
| JP2003042735A (ja) | ３次元計測方法および装置並びにコンピュータプログラム | |
| JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH05332737A (ja) | 形状計測装置 | |
| JP3818028B2 (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| JP2004110804A (ja) | ３次元画像撮影装置及び方法 | |
| JP2996067B2 (ja) | 三次元計測装置 | |
| JP3852285B2 (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| JP3932776B2 (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| US20200234458A1 (en) | Apparatus and method for encoding in structured depth camera system | |
| US10852126B2 (en) | Method and arrangement for optically capturing an object with a light pattern projection | |
| JP2002013918A (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| JP2001264017A (ja) | ３次元画像撮影装置 | |
| JP2002107129A (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| Sagawa et al. | One-shot 3d reconstruction of moving objects by projecting wave grid pattern with diffractive optical element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071227 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081227 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091227 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101227 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111227 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111227 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121227 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |