JP3729035B2 - ３次元画像撮像装置および３次元画像撮像方法 - Google Patents
３次元画像撮像装置および３次元画像撮像方法 Download PDFInfo
- Publication number
- JP3729035B2 JP3729035B2 JP2000197623A JP2000197623A JP3729035B2 JP 3729035 B2 JP3729035 B2 JP 3729035B2 JP 2000197623 A JP2000197623 A JP 2000197623A JP 2000197623 A JP2000197623 A JP 2000197623A JP 3729035 B2 JP3729035 B2 JP 3729035B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- color
- projection
- imaging
- projection pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は輝度情報とともに距離情報を入手する（３次元画像と呼ぶ）画像撮影方法および装置に係り、空間符号化とその補正手段により信頼性を高め、対象物体を限定せず測定対象物までの距離の取得を実現する３次元画像撮像装置および３次元画像撮像方法に関する。
【０００２】
【従来の技術】
測定対象物体の形状を測定する手法としては、パッシブ手法（ステレオ画像法、shape from X）とアクティブ手法（飛行時間測定法、三角測量法：スポット光あるいはパターン光投影法）が存在する。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの到達時間を計測し、奥行き情報を抽出する飛行時間測定法や、（2）所定の位置に配置されたスポット光や、スリット光などの特殊な光源と撮像カメラを用い、三角測量の原理により距離を算出するスポットあるいはパターン光投影法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがあり、何らかのエネルギーを対象物体に放射しその反射を検出することによって形状を計測する方式であり、計測精度が高いメリットがあるため、種々の実用化研究が盛んである。アクティブ手法における課題として計測時間の短縮があり、これを解決するために、スポット光投射法から種々のパターン光投射法が提案されおり、その代表的な方式が、空間コード化法、色符号化法である。
【０００３】
空間コード化法の一例として特開平5−332737号公報に開示されている実施例を参照して説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光と対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数パターン（Nパターン）によって行うことで対象物上は2N−1個の識別可能な部分に分割（コード化）される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【０００４】
しかし一般に解像度を高くする為には、複数回のレーザによるスキャンを行い複数回のカメラによる撮影が必要となる。例えば画面を255の領域に分割する為には、8回の撮像が必要になる。そのため動きの速い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので，装置自体は簡便となっても手軽に撮影を行う事は難しい。
【０００５】
第2の従来例として、パターンの投影回数を減らし、計測時間のさらなる短縮を目的とした色符号化法がある。これを特開平3−192474号公報に開示されている実施例を参照して説明する。隣接する2本のパターン光が同色にならないように符号化されたパターン光を投影し、観測された画像からパターン光の色を検出し、該当パターン光の色並びからパターン光番号を取得する。パターン光番号から、パターン光の照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【０００６】
しかし上述の方式では、例えば、測定対象物の色が白一色であるといった限定された条件では、撮像パターンと投光パターンの色は一致し、両者の対応付けは容易だが、現実の環境下は、測定対象物は複数の色を持つ（分光反射率分布は片寄っている）ので、撮像パターンは対象物の反射率によって変化を受け、両者の対応付けは困難となる。
【０００７】
図６、７を用いて投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する。図６は、測定対象物が全て白地である場合、図７は、白地ではない場合を示す。
【０００８】
図６に示すように、測定対象物が白地である場合は、測定対象物は各波長領域全面に渡り一様な分光反射率ｒ0（λ）を持つ。この測定対象物に例えば、赤色の投光パターンRを投影した場合、測定対象物上での投光パターンRの反射光量Irは、
【０００９】
【数１】
【００１０】
として求まる。
ここで、 ro(λ)：測定対象物の分光反射率
ir(λ)：投光パターンRの分光分布である。
【００１１】
反射光量Irを図で示すと、測定対象物の分光反射率と投光パターンRの分光分布の重なり合う図６に示すグレー領域に対応する光量となる。この場合、十分な反射光量が得られ、赤色の投光パターンRは、撮像装置により赤色の撮像パターンRとして認識される。同様に緑G、青Bの投光パターンを投影した場合でも、それぞれ緑、青の波長領域における反射光が得られ、緑色の撮像パターン、青色の撮像パターンとして認識される。
【００１２】
しかし、一般的に３次元計測の測定対象となる対象物は、白地一色である可能性は少ない。この場合の投光パターンに対する測定対象物の反射光についての検討を図７に示す。
【００１３】
図７は、測定対象物が白地以外の多様な色分布（反射率分布）を持つ場合の投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光を示す図であり、図７(a)は、赤Ｒ領域に片寄った反射率ro(λ)の分布を持った測定対象物、図７（ｂ）は、青Ｂから緑Ｇ領域に片寄った反射率ro(λ)の分布を持った測定対象物の分光反射率分布を示している。投光パターンRの反射光量Irは、同様に、
【００１４】
【数２】
【００１５】
として求まる。対象物が図７（ａ）に示すように、赤Ｒ領域に片寄った反射率ro(λ)の分布を持った測定対象物の場合、反射光量Irは、図７（ａ）のグレー領域に示すように一定の値を持つため撮像装置により、赤色の撮像パターンRとして認識されるが、対象物が図７（ｂ）に示すように、青Ｂから緑Ｇ領域に片寄った反射率ro(λ)の分布を持った測定対象物の場合、反射光量Irは、図７（ｂ）のグレー領域に相当する量となり極端に小さくなり、赤色の撮像パターンRとして認識することができない。
【００１６】
図７の例は、赤Ｒの投光パターンを使用した場合の例を示したが、緑G、青Bの投光パターンを投影した場合でも同様に対象物の分光反射率に応じて、同色の撮像パターンとして認識されないケースが存在する。
【００１７】
従って色符号化法では、対象物体を限定した状況での撮影では高い精度が得られるもの、対象を限定しない一般的な撮影状況では極端に精度が劣化するという問題がある。
【００１８】
【発明が解決しようとする課題】
本発明は、上述のような色符号化法における問題点を解決することを目的とするものであり、測定対象物の分光反射率が一様でなくても、投光パターンと撮像パターンとの正確な対応付けが可能で、比較的少ない撮像回数で、高精度な３次元画像を取得できる３次元画像撮像方法および装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は、上述の目的を達成するものであり、本発明の第１の側面は、
色符号化された投光パターンを測定対象物に投影する投影手段と、
前記投影手段により前記測定対象物表面に生じる光学像を撮像する撮像手段と、
前記撮像手段により取得した撮像パターンと前記投光パターンを比較し対応付けする比較対応手段と、
前記比較対応手段からの出力より測定対象物までの距離を算出する距離算出手段と、
投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替え手段と、
を有することを特徴とする３次元画像撮像装置にある。
【００２０】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記パターン入れ替え手段は、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行する演算処理手段を含む構成であることを特徴とする。
【００２１】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投影手段の投影する投光パターンは、隣接する２本のパターンが同色にならないｋ本のスリット構成であり、スリットを構成する隣接する色の並びはｋ本のスリット構成中に重複して存在しない構成であることを特徴とする。
【００２２】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投影手段の投影する投光パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影し、前記パターン入れ替え手段は、前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給する構成であることを特徴とする。
【００２３】
さらに、本発明の第２の側面は、
色符号化された投光パターンを測定対象物に投影する投影ステップと、
前記投影ステップにおいて前記測定対象物表面に生じる光学像を撮像する撮像ステップと、
前記撮像ステップにおいて撮影した撮像パターンと前記投光パターンを比較し対応付けする比較対応ステップと、
前記比較対応ステップにおいて対応付け困難な領域が検出された場合に、前記投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替えステップと、
前記再符号化された投光パターンを測定対象物に投影して撮影した再符号化撮像パターンについての対応付け処理を実行する比較対応再処理ステップと、
前記比較対応再処理ステップにおいて求められる対応データにより測定対象物までの距離を算出する距離算出ステップと、
を有することを特徴とする３次元画像撮像方法にある。
【００２４】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記パターン入れ替えステップは、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行するステップを含むことを特徴とする。
【００２５】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投影ステップは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影するステップであり、前記パターン入れ替えステップは、前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給するステップであることを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照しながら本発明を具体的に説明する。図1に本発明の実施例の構成図を示す。本実施例における3次元画像撮影装置は、色符号化された投光パターンを対象物に投影する投影部１０と、投影部１０により測定対象物１００表面に生じる光学像を撮像する撮像部２０と、撮像部２０により取得した撮像パターンと投光パターンを比較し対応付けする比較対応部３０と、比較対応部３０からの出力より対象物１００までの距離を算出する距離算出部４０により構成される。
【００２７】
本実施例では、投影部１０として光源に液晶プロジェクタ１０１を用いた。液晶プロジェクタ１０２はパーソナルコンピュータ１０１より制御され、投光パターンの色の選択が行われる。撮像部２０にはCCDカメラ２０１を用い、測定対象物１００上の光学像を撮像した。CCDカメラ２０１により撮像した画像出力データ（撮像パターン）は、投影部１０により投光された投光パターンデータと、撮像部２０において撮影された撮像パターンデータの比較対応付けを行う比較対応部３０に送られ、比較対応部３０にて得られたデータにより、距離算出部４０において測定対象物１００までの距離を算出する。
【００２８】
次に図１に示す3次元画像撮影装置を使用した具体的な色符号化の方法と距離算出の原理を説明する。
【００２９】
投光パターンの識別は、パターン光の色を変えることにより行い、形状は縦ストライプパターンとした。パターン光の色をq種類（階調）とした場合、隣接するパターン光は同階調にならない、隣接するk本のパターン光による階調の並び方が、どのパターン光の並びに対しても一度しか現れないような条件を与えると、総パターン光の数Nは、以下の式に示される通りとなる。すなわち、
【００３０】
【数３】
N＝ｑ（ｑ−１）(k-1)＋ｋ−１
で与えられる。
【００３１】
本実施例では、パターン光の色を赤、緑、青（R、G、B）を用いてq＝3とし、また隣接パターン光数：ｋ＝8として色符号化を行った。この場合、総パターン数Nは、上記式にｑ＝３，ｋ＝８を適用して、以下のように求められる。
【００３２】
【数４】
N＝３９１
【００３３】
となり測定対象物は、投光パターンにより３９１の領域に分割される。
【００３４】
次に距離算出の原理を説明する。図2に、本実施例での光源とカメラおよび対象物までのレイアウトを示す。カメラによりパターン光が撮影され、撮像画像上での測定点をP(x,y)、カメラの焦点距離をF、光源とカメラの距離である基線長をLとした場合、点Pの距離Zは、
【００３５】
【数５】
【００３６】
として求まる。本発明では、図2には示してないが複数の投光パターン、撮像パターンが存在する。したがってある撮像パターンが、光源から投影された複数の投光パターンの中で、どれに相当するかの対応が取れていることが必要であり、この対応の精度が、計測精度を大きく左右する。そこで、次に示す計測手法を実施した。
【００３７】
（手順１） RGBによる色符号化投光パターンによる対応付け
RGBの3色を用いて、先の符号化手法により、投光パターンの符号化を図１に示す投影部１０のパーソナルコンピュータ１０１において行う。符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により撮像する。
【００３８】
次に、比較対応部３０において、撮像部２０のＣＣＤカメラ２０１により取得した撮像パターンと、投影部１０の投影した投光パターンとを比較し対応付け処理を実行する。理想的な状態では、全ての撮像パターンの色データは正確に得られ、撮像パターンと投光パターンとの対応付けは可能であるが、現実には図3に示すような、色データが正確に得られないUKパターン（unknownパターン）が出現する。
【００３９】
これら対応付けが困難となる領域、すなわちUKパターン（unknownパターン）についての処理について、以下説明する。
【００４０】
（手順2） RGBの補色による再符号化投光パターンによる対応付け
手順1の色符号化で用いた投光パターンRGBのそれぞれのパターン色に対して補色の関係である色を用いて再符号化処理を行なう。すなわち、R→（B+G）、G→（B＋R）、B→（G+R）、すなわち、投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して、色符号化を実行し再符号化投光パターンを投影部１０のパーソナルコンピュータ１０１において生成して再符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により再度、撮影する。
【００４１】
なお、図３に示すようにUKパターン３０１の前後は緑Gであることが分かっており、投光パターンには連続して同じ色のパターンの配列はないから、UKパターンはRかBのどちらかであることは判別される。以下、ＵＫパターンがＲであるか、Ｂであるかの判別についてケース１（Ｒであると判定される）、ケース２（Ｂであると判定される）とに分けて説明する。
【００４２】
ケース1）UKパターンがRの場合
撮像パターンにおいてRが検出されない場合の対象物の分光反射率は、図4ａ）に示した通り、大別して４通りになる。またUKパターンがR（＝１回目の投光パターンがR）であった場合には、再符号化の際の投光パターンは、R色に対して補色の関係である色（B+G）を用いているので、対象物の分光反射率と投光パターンの分光分布の組み合わせとして想定されるのは、大別して図４ａ）に示される４通りである。
【００４３】
図４ａ）の（１）は、測定対象物の分光反射率がＲの領域のみで低下している場合、（２）は、測定対象物の分光反射率がＧおよびＲの領域で低下している場合、（３）は、測定対象物の分光反射率がＢおよびＲの領域で低下している場合、（４）は、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合である。
【００４４】
測定対象物の分光反射率が図４ａ）の（１）、（２）、（３）のような場合には、撮像部２０のＣＣＤカメラ２０１により撮像された撮像パターンの色データは、測定対象物の分光反射率と投光パターンの分光分布の重なり部分により求められる。
【００４５】
すなわち、測定対象物の分光反射率が図４ａ）の（１）の場合は、ＢとＧの混合色（Ｂ＋Ｇ）、（２）の場合は、Ｂが強くＧが弱い（Ｂ＋ｇ）、（３）の場合はＢが弱くＧが強い（ｂ＋Ｇ）、いずれの場合も、ケース1での撮像パターンの色データは、BとGが混合した色となる。従って、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、撮像パターン上に補色による投光パターンと同様のＢとGが混合した色が再現されることになり対応付けが可能となる。
【００４６】
なお、測定対象物の分光反射率が図４ａ）の（４）のように、Ｂ，Ｇ，Ｒすべての領域で低下している場合は、再度、撮像パターンの色データがUKとして判定される。この場合の処理は、手順3にて説明する。
【００４７】
ケース2）UKパターンがBの場合
図４ｂ）は、１回目の投光パターンと撮像パターンとの対応付けに含まれるUKパターンがBである場合の対象物の分光反射率と投光パターンの分光分布の組み合わせは、図4ｂ）に示した通り、大別して４通りになる。UKパターンがＢ（＝１回目の投光パターンがＢ）であった場合には、再符号化の際の投光パターンは、Ｂ色に対して補色の関係である色（Ｇ+Ｒ）を用いているので、対象物の分光反射率と投光パターンの分光分布の組み合わせとして想定されるのは、大別して図４ｂ）に示される４通りである。
【００４８】
図４ｂ）の（１）は、測定対象物の分光反射率がＢの領域のみで低下している場合、（２）は、測定対象物の分光反射率がＢおよびＧの領域で低下している場合、（３）は、測定対象物の分光反射率がＢおよびＲの領域で低下している場合、（４）は、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合である。
【００４９】
測定対象物の分光反射率が図４ｂ）の（１）、（２）、（３）のような場合には、撮像部２０のＣＣＤカメラ２０１により撮像された撮像パターンの色データは、測定対象物の分光反射率と投光パターンの分光分布の重なり部分により求められる。
【００５０】
すなわち、測定対象物の分光反射率が図４ｂ）の（１）の場合は、ＲとＧの混合色（Ｒ＋Ｇ）、（２）の場合は、Ｒが強くＧが弱い（Ｒ＋ｇ）、（３）の場合はＲが弱くＧが強い（ｒ＋Ｇ）、いずれの場合も、ケース1での撮像パターンの色データは、ＲとGが混合した色となる。従って、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、撮像パターン上に補色による投光パターンと同様のＲとGが混合した色が再現されることになり対応付けが可能となる。
【００５１】
なお、測定対象物の分光反射率が図４ａ）の（４）のように、Ｂ，Ｇ，Ｒすべての領域で低下している場合は、再度、撮像パターンの色データがUKとして判定される。この場合の処理は、手順３にて説明する。
【００５２】
上述したように、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、ＵＫパターンが本来ＲであってもＢであっても、補色を用いた、再符号化によるパターン投影により、投影パターンと撮像パターンとの対応付けが可能となる。
【００５３】
図４で説明したように、ＵＫパターンのパターンは、ケース１、またはケース２の２通りに限定され、補色を用いた２回目の投光パターンを撮像した撮像パターンの色データが、BとGが混合している場合には、１回目の投光パターンはR、補色を用いた２回目の投光パターンを撮像した撮像パターンの色データが、RとGが混合している場合には、１回目の投光パターンはBと認識できる。したがって、手順1において、色データが正確に得られないUKパターンを補完することができる。
【００５４】
（手順３）色データが得られない場合の補完手段
図４のケース１、ケース２の双方において、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合には、どのような補正手段を行っても、十分な色データは得られないので、UKパターンとし、パターンの前後関係から、色データを類推する。投影部の投影する投光パターンは、隣接する２本のパターンが同色にならないｋ本のスリット構成であり、スリットを構成する隣接する色の並びはｋ本のスリット構成中に重複して存在しない構成であるので、他の撮影パターンから類推が可能となる。
【００５５】
（手順４）距離データの算出
手順１，２，３により、投光パターンと撮像パターンの対応関係が求まるので、（１）式により、パターン光の照射領域全面に渡り、距離を計測する。
【００５６】
以上、説明した本発明の３次元画像撮像装置の処理フローを図５に示す。以下、図５の処理フローの各ステップについて説明する。
【００５７】
まず、ステップＳ５０１において、図１に示す投影部１０のパーソナルコンピュータが測定対象に投影する第１の投影パターンを生成して、液晶プロジェクタ１０２により、投影パターンを投影し、そのパターン投影像を撮像部２０のＣＣＤカメラ２０１が撮影し、比較対応部３０において、投影パターンと撮像パターンとの対応付け処理を実行する。
【００５８】
次にステップＳ５０２において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出されたか否かを判定する。ＵＫパターンが検出されない場合は、すべての撮像パターンの対応付けが可能であるので、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００５９】
ステップＳ５０２において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出された場合は、ステップＳ５０３に進む。
【００６０】
ステップＳ５０３では、第１の投光パターンの補色による再符号化パターン照射による撮像パターンの対応付け処理を実行する。すなわち、前述したように、例えば第１の投光パターンがＲＧＢを用いている場合は、それぞれのパターン色に対して補色の関係である色を用いて再符号化処理、すなわち、R→（B+G）、G→（B＋R）、B→（G+R）に変更して、色符号化を実行し再符号化投光パターンを投影部１０のパーソナルコンピュータ１０１において生成して再符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により再度、撮影し、比較対応部３０において、投影パターンと撮像パターンとの対応付け処理を実行する。
【００６１】
さらに、ステップＳ５０４において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出されたか否かを判定する。ＵＫパターンが検出されない場合は、すべての撮像パターンの対応付けが可能であるので、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００６２】
ステップＳ５０４において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出された場合は、ステップＳ５０５に進む。
【００６３】
ステップＳ５０５では、先に説明した例えば図４のケース１、ケース２の双方において、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合であるので、投光パターン変更を行っても、十分な色データは得られないので、UKパターンとし、パターンの前後関係から、色データを類推する。
【００６４】
以上の処理で撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが解消され、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００６５】
なお、上述した図４を用いた説明においては、対象物の分光反射率をＲＧＢ各領域に大別してモデル化したが、実際には、分光反射率は各波長領域にまたがって存在する。しかし、その場合、例えば図4ａ）の場合では、撮像パターンの色データはＢとＧが混合した色となるのは変わらないので、対応付けの精度を落とすことはない。なお、分光反射率をR領域において十分に持つ測定対象物は、前述の手順1において、撮像パターンがRと認識されるので、手順2の分光反射率のモデル化で考慮する必要はない。
【００６６】
本実施例では、光源に液晶プロジェクタを用いたが、その他の光源としてＬＥＤやＬＤ等を用いてもよい。その際、ＬＥＤやＬＤ等により、色符号化を行うためには、色符号化に使用する色に応じて、ＬＥＤやＬＤを用意する、ロッドレンズやシリンドリカルレンズを用いて、スポット光をパターン光に整形する、パターン光を対象物に対して、スキャンニングする走査機構とＬＥＤやＬＤのON/OFFを制御する制御機構により、所定のパターンを対象物に一括に照射する、これを各色に対して行う、といった手順にて実現させる。
【００６７】
また、本実施例では、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行する手段として、パーソナルコンピュータ（ＰＣ）を用いたが、パーソナルコンピュータ（ＰＣ）に限らず、同様の処理が可能な演算処理手段であればよい。さらに、補色関係の色の生成処理を逐次行なうのではなく、予め補色関係の色のパターンを用意しておき、必要に応じて投光パターンの色符号化の際に用いた色に対して補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替え手段として構成してもよい。
【００６８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６９】
【発明の効果】
以上説明したように、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、投影パターンとして色で符号化したパターン光を照射し、投光パターンと、撮像パターンの対応付けにより測定対象の距離データを取得する３次元形状計測処理において、撮像パターンに対応付け困難な領域が含まれていた場合、１回目の投光パターンの補色関係にある色で再符号化処理を行ない、第２の投光パターンを生成して照射し、対応付け処理を行なう構成であるので、投光パターンと撮像パターンとの対応付けの困難な領域を効率的に解消可能で、比較的少ない撮像回数で、高精度な３次元画像を取得することが可能となる。
【００７０】
また、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、測定対象物の分光反射率が一様でなく、投光パターンを照射して得られる撮像パターン中に、対応付けの困難な領域が含まれていた場合であっても、投光パターンの再符号化により得られる新たな投光パターンを用いることにより、対応付け困難領域を効率的に解消可能となる。
【図面の簡単な説明】
【図１】本発明の３次元画像撮像装置の構成を示すブロック図である。
【図２】本発明の３次元画像撮像装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図３】本発明の３次元画像撮像装置における撮像部において取得される撮像パターンにおける対応付け困難領域（ＵＫパターン）について説明する図である。
【図４】本発明の３次元画像撮像装置における補色を使用した撮像パターンにおける対応付け困難領域（ＵＫパターン）の解消処理について説明する図である。
【図５】本発明の３次元画像撮像装置における処理を示す処理フロー図である。
【図６】投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する図（測定対象物が全て白地である場合）である。
【図７】投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する図（測定対象物が白地でない場合）である。
【符号の説明】
１００ 測定対象物
１０ 投影部
１０１ パーソナルコンピュータ
１０２ 液晶プロジェクタ
２０ 撮像部
２０１ ＣＣＤカメラ
３０ 比較対応部
４０ 距離算出部
３０１ ＵＫパターン
【発明の属する技術分野】
本発明は輝度情報とともに距離情報を入手する（３次元画像と呼ぶ）画像撮影方法および装置に係り、空間符号化とその補正手段により信頼性を高め、対象物体を限定せず測定対象物までの距離の取得を実現する３次元画像撮像装置および３次元画像撮像方法に関する。
【０００２】
【従来の技術】
測定対象物体の形状を測定する手法としては、パッシブ手法（ステレオ画像法、shape from X）とアクティブ手法（飛行時間測定法、三角測量法：スポット光あるいはパターン光投影法）が存在する。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの到達時間を計測し、奥行き情報を抽出する飛行時間測定法や、（2）所定の位置に配置されたスポット光や、スリット光などの特殊な光源と撮像カメラを用い、三角測量の原理により距離を算出するスポットあるいはパターン光投影法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがあり、何らかのエネルギーを対象物体に放射しその反射を検出することによって形状を計測する方式であり、計測精度が高いメリットがあるため、種々の実用化研究が盛んである。アクティブ手法における課題として計測時間の短縮があり、これを解決するために、スポット光投射法から種々のパターン光投射法が提案されおり、その代表的な方式が、空間コード化法、色符号化法である。
【０００３】
空間コード化法の一例として特開平5−332737号公報に開示されている実施例を参照して説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光と対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数パターン（Nパターン）によって行うことで対象物上は2N−1個の識別可能な部分に分割（コード化）される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【０００４】
しかし一般に解像度を高くする為には、複数回のレーザによるスキャンを行い複数回のカメラによる撮影が必要となる。例えば画面を255の領域に分割する為には、8回の撮像が必要になる。そのため動きの速い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので，装置自体は簡便となっても手軽に撮影を行う事は難しい。
【０００５】
第2の従来例として、パターンの投影回数を減らし、計測時間のさらなる短縮を目的とした色符号化法がある。これを特開平3−192474号公報に開示されている実施例を参照して説明する。隣接する2本のパターン光が同色にならないように符号化されたパターン光を投影し、観測された画像からパターン光の色を検出し、該当パターン光の色並びからパターン光番号を取得する。パターン光番号から、パターン光の照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【０００６】
しかし上述の方式では、例えば、測定対象物の色が白一色であるといった限定された条件では、撮像パターンと投光パターンの色は一致し、両者の対応付けは容易だが、現実の環境下は、測定対象物は複数の色を持つ（分光反射率分布は片寄っている）ので、撮像パターンは対象物の反射率によって変化を受け、両者の対応付けは困難となる。
【０００７】
図６、７を用いて投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する。図６は、測定対象物が全て白地である場合、図７は、白地ではない場合を示す。
【０００８】
図６に示すように、測定対象物が白地である場合は、測定対象物は各波長領域全面に渡り一様な分光反射率ｒ0（λ）を持つ。この測定対象物に例えば、赤色の投光パターンRを投影した場合、測定対象物上での投光パターンRの反射光量Irは、
【０００９】
【数１】
として求まる。
ここで、 ro(λ)：測定対象物の分光反射率
ir(λ)：投光パターンRの分光分布である。
【００１１】
反射光量Irを図で示すと、測定対象物の分光反射率と投光パターンRの分光分布の重なり合う図６に示すグレー領域に対応する光量となる。この場合、十分な反射光量が得られ、赤色の投光パターンRは、撮像装置により赤色の撮像パターンRとして認識される。同様に緑G、青Bの投光パターンを投影した場合でも、それぞれ緑、青の波長領域における反射光が得られ、緑色の撮像パターン、青色の撮像パターンとして認識される。
【００１２】
しかし、一般的に３次元計測の測定対象となる対象物は、白地一色である可能性は少ない。この場合の投光パターンに対する測定対象物の反射光についての検討を図７に示す。
【００１３】
図７は、測定対象物が白地以外の多様な色分布（反射率分布）を持つ場合の投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光を示す図であり、図７(a)は、赤Ｒ領域に片寄った反射率ro(λ)の分布を持った測定対象物、図７（ｂ）は、青Ｂから緑Ｇ領域に片寄った反射率ro(λ)の分布を持った測定対象物の分光反射率分布を示している。投光パターンRの反射光量Irは、同様に、
【００１４】
【数２】
として求まる。対象物が図７（ａ）に示すように、赤Ｒ領域に片寄った反射率ro(λ)の分布を持った測定対象物の場合、反射光量Irは、図７（ａ）のグレー領域に示すように一定の値を持つため撮像装置により、赤色の撮像パターンRとして認識されるが、対象物が図７（ｂ）に示すように、青Ｂから緑Ｇ領域に片寄った反射率ro(λ)の分布を持った測定対象物の場合、反射光量Irは、図７（ｂ）のグレー領域に相当する量となり極端に小さくなり、赤色の撮像パターンRとして認識することができない。
【００１６】
図７の例は、赤Ｒの投光パターンを使用した場合の例を示したが、緑G、青Bの投光パターンを投影した場合でも同様に対象物の分光反射率に応じて、同色の撮像パターンとして認識されないケースが存在する。
【００１７】
従って色符号化法では、対象物体を限定した状況での撮影では高い精度が得られるもの、対象を限定しない一般的な撮影状況では極端に精度が劣化するという問題がある。
【００１８】
【発明が解決しようとする課題】
本発明は、上述のような色符号化法における問題点を解決することを目的とするものであり、測定対象物の分光反射率が一様でなくても、投光パターンと撮像パターンとの正確な対応付けが可能で、比較的少ない撮像回数で、高精度な３次元画像を取得できる３次元画像撮像方法および装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は、上述の目的を達成するものであり、本発明の第１の側面は、
色符号化された投光パターンを測定対象物に投影する投影手段と、
前記投影手段により前記測定対象物表面に生じる光学像を撮像する撮像手段と、
前記撮像手段により取得した撮像パターンと前記投光パターンを比較し対応付けする比較対応手段と、
前記比較対応手段からの出力より測定対象物までの距離を算出する距離算出手段と、
投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替え手段と、
を有することを特徴とする３次元画像撮像装置にある。
【００２０】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記パターン入れ替え手段は、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行する演算処理手段を含む構成であることを特徴とする。
【００２１】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投影手段の投影する投光パターンは、隣接する２本のパターンが同色にならないｋ本のスリット構成であり、スリットを構成する隣接する色の並びはｋ本のスリット構成中に重複して存在しない構成であることを特徴とする。
【００２２】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投影手段の投影する投光パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影し、前記パターン入れ替え手段は、前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給する構成であることを特徴とする。
【００２３】
さらに、本発明の第２の側面は、
色符号化された投光パターンを測定対象物に投影する投影ステップと、
前記投影ステップにおいて前記測定対象物表面に生じる光学像を撮像する撮像ステップと、
前記撮像ステップにおいて撮影した撮像パターンと前記投光パターンを比較し対応付けする比較対応ステップと、
前記比較対応ステップにおいて対応付け困難な領域が検出された場合に、前記投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替えステップと、
前記再符号化された投光パターンを測定対象物に投影して撮影した再符号化撮像パターンについての対応付け処理を実行する比較対応再処理ステップと、
前記比較対応再処理ステップにおいて求められる対応データにより測定対象物までの距離を算出する距離算出ステップと、
を有することを特徴とする３次元画像撮像方法にある。
【００２４】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記パターン入れ替えステップは、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行するステップを含むことを特徴とする。
【００２５】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投影ステップは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影するステップであり、前記パターン入れ替えステップは、前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給するステップであることを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照しながら本発明を具体的に説明する。図1に本発明の実施例の構成図を示す。本実施例における3次元画像撮影装置は、色符号化された投光パターンを対象物に投影する投影部１０と、投影部１０により測定対象物１００表面に生じる光学像を撮像する撮像部２０と、撮像部２０により取得した撮像パターンと投光パターンを比較し対応付けする比較対応部３０と、比較対応部３０からの出力より対象物１００までの距離を算出する距離算出部４０により構成される。
【００２７】
本実施例では、投影部１０として光源に液晶プロジェクタ１０１を用いた。液晶プロジェクタ１０２はパーソナルコンピュータ１０１より制御され、投光パターンの色の選択が行われる。撮像部２０にはCCDカメラ２０１を用い、測定対象物１００上の光学像を撮像した。CCDカメラ２０１により撮像した画像出力データ（撮像パターン）は、投影部１０により投光された投光パターンデータと、撮像部２０において撮影された撮像パターンデータの比較対応付けを行う比較対応部３０に送られ、比較対応部３０にて得られたデータにより、距離算出部４０において測定対象物１００までの距離を算出する。
【００２８】
次に図１に示す3次元画像撮影装置を使用した具体的な色符号化の方法と距離算出の原理を説明する。
【００２９】
投光パターンの識別は、パターン光の色を変えることにより行い、形状は縦ストライプパターンとした。パターン光の色をq種類（階調）とした場合、隣接するパターン光は同階調にならない、隣接するk本のパターン光による階調の並び方が、どのパターン光の並びに対しても一度しか現れないような条件を与えると、総パターン光の数Nは、以下の式に示される通りとなる。すなわち、
【００３０】
【数３】
N＝ｑ（ｑ−１）(k-1)＋ｋ−１
で与えられる。
【００３１】
本実施例では、パターン光の色を赤、緑、青（R、G、B）を用いてq＝3とし、また隣接パターン光数：ｋ＝8として色符号化を行った。この場合、総パターン数Nは、上記式にｑ＝３，ｋ＝８を適用して、以下のように求められる。
【００３２】
【数４】
N＝３９１
【００３３】
となり測定対象物は、投光パターンにより３９１の領域に分割される。
【００３４】
次に距離算出の原理を説明する。図2に、本実施例での光源とカメラおよび対象物までのレイアウトを示す。カメラによりパターン光が撮影され、撮像画像上での測定点をP(x,y)、カメラの焦点距離をF、光源とカメラの距離である基線長をLとした場合、点Pの距離Zは、
【００３５】
【数５】
として求まる。本発明では、図2には示してないが複数の投光パターン、撮像パターンが存在する。したがってある撮像パターンが、光源から投影された複数の投光パターンの中で、どれに相当するかの対応が取れていることが必要であり、この対応の精度が、計測精度を大きく左右する。そこで、次に示す計測手法を実施した。
【００３７】
（手順１） RGBによる色符号化投光パターンによる対応付け
RGBの3色を用いて、先の符号化手法により、投光パターンの符号化を図１に示す投影部１０のパーソナルコンピュータ１０１において行う。符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により撮像する。
【００３８】
次に、比較対応部３０において、撮像部２０のＣＣＤカメラ２０１により取得した撮像パターンと、投影部１０の投影した投光パターンとを比較し対応付け処理を実行する。理想的な状態では、全ての撮像パターンの色データは正確に得られ、撮像パターンと投光パターンとの対応付けは可能であるが、現実には図3に示すような、色データが正確に得られないUKパターン（unknownパターン）が出現する。
【００３９】
これら対応付けが困難となる領域、すなわちUKパターン（unknownパターン）についての処理について、以下説明する。
【００４０】
（手順2） RGBの補色による再符号化投光パターンによる対応付け
手順1の色符号化で用いた投光パターンRGBのそれぞれのパターン色に対して補色の関係である色を用いて再符号化処理を行なう。すなわち、R→（B+G）、G→（B＋R）、B→（G+R）、すなわち、投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して、色符号化を実行し再符号化投光パターンを投影部１０のパーソナルコンピュータ１０１において生成して再符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により再度、撮影する。
【００４１】
なお、図３に示すようにUKパターン３０１の前後は緑Gであることが分かっており、投光パターンには連続して同じ色のパターンの配列はないから、UKパターンはRかBのどちらかであることは判別される。以下、ＵＫパターンがＲであるか、Ｂであるかの判別についてケース１（Ｒであると判定される）、ケース２（Ｂであると判定される）とに分けて説明する。
【００４２】
ケース1）UKパターンがRの場合
撮像パターンにおいてRが検出されない場合の対象物の分光反射率は、図4ａ）に示した通り、大別して４通りになる。またUKパターンがR（＝１回目の投光パターンがR）であった場合には、再符号化の際の投光パターンは、R色に対して補色の関係である色（B+G）を用いているので、対象物の分光反射率と投光パターンの分光分布の組み合わせとして想定されるのは、大別して図４ａ）に示される４通りである。
【００４３】
図４ａ）の（１）は、測定対象物の分光反射率がＲの領域のみで低下している場合、（２）は、測定対象物の分光反射率がＧおよびＲの領域で低下している場合、（３）は、測定対象物の分光反射率がＢおよびＲの領域で低下している場合、（４）は、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合である。
【００４４】
測定対象物の分光反射率が図４ａ）の（１）、（２）、（３）のような場合には、撮像部２０のＣＣＤカメラ２０１により撮像された撮像パターンの色データは、測定対象物の分光反射率と投光パターンの分光分布の重なり部分により求められる。
【００４５】
すなわち、測定対象物の分光反射率が図４ａ）の（１）の場合は、ＢとＧの混合色（Ｂ＋Ｇ）、（２）の場合は、Ｂが強くＧが弱い（Ｂ＋ｇ）、（３）の場合はＢが弱くＧが強い（ｂ＋Ｇ）、いずれの場合も、ケース1での撮像パターンの色データは、BとGが混合した色となる。従って、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、撮像パターン上に補色による投光パターンと同様のＢとGが混合した色が再現されることになり対応付けが可能となる。
【００４６】
なお、測定対象物の分光反射率が図４ａ）の（４）のように、Ｂ，Ｇ，Ｒすべての領域で低下している場合は、再度、撮像パターンの色データがUKとして判定される。この場合の処理は、手順3にて説明する。
【００４７】
ケース2）UKパターンがBの場合
図４ｂ）は、１回目の投光パターンと撮像パターンとの対応付けに含まれるUKパターンがBである場合の対象物の分光反射率と投光パターンの分光分布の組み合わせは、図4ｂ）に示した通り、大別して４通りになる。UKパターンがＢ（＝１回目の投光パターンがＢ）であった場合には、再符号化の際の投光パターンは、Ｂ色に対して補色の関係である色（Ｇ+Ｒ）を用いているので、対象物の分光反射率と投光パターンの分光分布の組み合わせとして想定されるのは、大別して図４ｂ）に示される４通りである。
【００４８】
図４ｂ）の（１）は、測定対象物の分光反射率がＢの領域のみで低下している場合、（２）は、測定対象物の分光反射率がＢおよびＧの領域で低下している場合、（３）は、測定対象物の分光反射率がＢおよびＲの領域で低下している場合、（４）は、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合である。
【００４９】
測定対象物の分光反射率が図４ｂ）の（１）、（２）、（３）のような場合には、撮像部２０のＣＣＤカメラ２０１により撮像された撮像パターンの色データは、測定対象物の分光反射率と投光パターンの分光分布の重なり部分により求められる。
【００５０】
すなわち、測定対象物の分光反射率が図４ｂ）の（１）の場合は、ＲとＧの混合色（Ｒ＋Ｇ）、（２）の場合は、Ｒが強くＧが弱い（Ｒ＋ｇ）、（３）の場合はＲが弱くＧが強い（ｒ＋Ｇ）、いずれの場合も、ケース1での撮像パターンの色データは、ＲとGが混合した色となる。従って、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、撮像パターン上に補色による投光パターンと同様のＲとGが混合した色が再現されることになり対応付けが可能となる。
【００５１】
なお、測定対象物の分光反射率が図４ａ）の（４）のように、Ｂ，Ｇ，Ｒすべての領域で低下している場合は、再度、撮像パターンの色データがUKとして判定される。この場合の処理は、手順３にて説明する。
【００５２】
上述したように、第１回目の投光パターンと撮像パターンとの対応付けが不可能であった領域（ＵＫパターン）について、RGBの補色による再符号化投光パターンを用いることにより、ＵＫパターンが本来ＲであってもＢであっても、補色を用いた、再符号化によるパターン投影により、投影パターンと撮像パターンとの対応付けが可能となる。
【００５３】
図４で説明したように、ＵＫパターンのパターンは、ケース１、またはケース２の２通りに限定され、補色を用いた２回目の投光パターンを撮像した撮像パターンの色データが、BとGが混合している場合には、１回目の投光パターンはR、補色を用いた２回目の投光パターンを撮像した撮像パターンの色データが、RとGが混合している場合には、１回目の投光パターンはBと認識できる。したがって、手順1において、色データが正確に得られないUKパターンを補完することができる。
【００５４】
（手順３）色データが得られない場合の補完手段
図４のケース１、ケース２の双方において、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合には、どのような補正手段を行っても、十分な色データは得られないので、UKパターンとし、パターンの前後関係から、色データを類推する。投影部の投影する投光パターンは、隣接する２本のパターンが同色にならないｋ本のスリット構成であり、スリットを構成する隣接する色の並びはｋ本のスリット構成中に重複して存在しない構成であるので、他の撮影パターンから類推が可能となる。
【００５５】
（手順４）距離データの算出
手順１，２，３により、投光パターンと撮像パターンの対応関係が求まるので、（１）式により、パターン光の照射領域全面に渡り、距離を計測する。
【００５６】
以上、説明した本発明の３次元画像撮像装置の処理フローを図５に示す。以下、図５の処理フローの各ステップについて説明する。
【００５７】
まず、ステップＳ５０１において、図１に示す投影部１０のパーソナルコンピュータが測定対象に投影する第１の投影パターンを生成して、液晶プロジェクタ１０２により、投影パターンを投影し、そのパターン投影像を撮像部２０のＣＣＤカメラ２０１が撮影し、比較対応部３０において、投影パターンと撮像パターンとの対応付け処理を実行する。
【００５８】
次にステップＳ５０２において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出されたか否かを判定する。ＵＫパターンが検出されない場合は、すべての撮像パターンの対応付けが可能であるので、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００５９】
ステップＳ５０２において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出された場合は、ステップＳ５０３に進む。
【００６０】
ステップＳ５０３では、第１の投光パターンの補色による再符号化パターン照射による撮像パターンの対応付け処理を実行する。すなわち、前述したように、例えば第１の投光パターンがＲＧＢを用いている場合は、それぞれのパターン色に対して補色の関係である色を用いて再符号化処理、すなわち、R→（B+G）、G→（B＋R）、B→（G+R）に変更して、色符号化を実行し再符号化投光パターンを投影部１０のパーソナルコンピュータ１０１において生成して再符号化された投光パターンを液晶プロジェクタ１０２により測定対象物１００に投影し、投光パターンにより対象物表面に生じる光学像を撮像部２０のＣＣＤカメラ２０１により再度、撮影し、比較対応部３０において、投影パターンと撮像パターンとの対応付け処理を実行する。
【００６１】
さらに、ステップＳ５０４において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出されたか否かを判定する。ＵＫパターンが検出されない場合は、すべての撮像パターンの対応付けが可能であるので、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００６２】
ステップＳ５０４において、比較対応部３０における対応付け処理の際に、撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが検出された場合は、ステップＳ５０５に進む。
【００６３】
ステップＳ５０５では、先に説明した例えば図４のケース１、ケース２の双方において、測定対象物の分光反射率がＢ，Ｇ，Ｒすべての領域で低下している場合であるので、投光パターン変更を行っても、十分な色データは得られないので、UKパターンとし、パターンの前後関係から、色データを類推する。
【００６４】
以上の処理で撮像パターン中に対応付け困難な領域、すなわちＵＫパターンが解消され、ステップＳ５０６に進み、対応付け処理結果に基づいて距離算出部４０において距離データを算出する。
【００６５】
なお、上述した図４を用いた説明においては、対象物の分光反射率をＲＧＢ各領域に大別してモデル化したが、実際には、分光反射率は各波長領域にまたがって存在する。しかし、その場合、例えば図4ａ）の場合では、撮像パターンの色データはＢとＧが混合した色となるのは変わらないので、対応付けの精度を落とすことはない。なお、分光反射率をR領域において十分に持つ測定対象物は、前述の手順1において、撮像パターンがRと認識されるので、手順2の分光反射率のモデル化で考慮する必要はない。
【００６６】
本実施例では、光源に液晶プロジェクタを用いたが、その他の光源としてＬＥＤやＬＤ等を用いてもよい。その際、ＬＥＤやＬＤ等により、色符号化を行うためには、色符号化に使用する色に応じて、ＬＥＤやＬＤを用意する、ロッドレンズやシリンドリカルレンズを用いて、スポット光をパターン光に整形する、パターン光を対象物に対して、スキャンニングする走査機構とＬＥＤやＬＤのON/OFFを制御する制御機構により、所定のパターンを対象物に一括に照射する、これを各色に対して行う、といった手順にて実現させる。
【００６７】
また、本実施例では、投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行する手段として、パーソナルコンピュータ（ＰＣ）を用いたが、パーソナルコンピュータ（ＰＣ）に限らず、同様の処理が可能な演算処理手段であればよい。さらに、補色関係の色の生成処理を逐次行なうのではなく、予め補色関係の色のパターンを用意しておき、必要に応じて投光パターンの色符号化の際に用いた色に対して補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替え手段として構成してもよい。
【００６８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６９】
【発明の効果】
以上説明したように、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、投影パターンとして色で符号化したパターン光を照射し、投光パターンと、撮像パターンの対応付けにより測定対象の距離データを取得する３次元形状計測処理において、撮像パターンに対応付け困難な領域が含まれていた場合、１回目の投光パターンの補色関係にある色で再符号化処理を行ない、第２の投光パターンを生成して照射し、対応付け処理を行なう構成であるので、投光パターンと撮像パターンとの対応付けの困難な領域を効率的に解消可能で、比較的少ない撮像回数で、高精度な３次元画像を取得することが可能となる。
【００７０】
また、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、測定対象物の分光反射率が一様でなく、投光パターンを照射して得られる撮像パターン中に、対応付けの困難な領域が含まれていた場合であっても、投光パターンの再符号化により得られる新たな投光パターンを用いることにより、対応付け困難領域を効率的に解消可能となる。
【図面の簡単な説明】
【図１】本発明の３次元画像撮像装置の構成を示すブロック図である。
【図２】本発明の３次元画像撮像装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図３】本発明の３次元画像撮像装置における撮像部において取得される撮像パターンにおける対応付け困難領域（ＵＫパターン）について説明する図である。
【図４】本発明の３次元画像撮像装置における補色を使用した撮像パターンにおける対応付け困難領域（ＵＫパターン）の解消処理について説明する図である。
【図５】本発明の３次元画像撮像装置における処理を示す処理フロー図である。
【図６】投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する図（測定対象物が全て白地である場合）である。
【図７】投光パターンの分光分布と、測定対象物の分光反射率と、その結果得られる反射光について説明する図（測定対象物が白地でない場合）である。
【符号の説明】
１００ 測定対象物
１０ 投影部
１０１ パーソナルコンピュータ
１０２ 液晶プロジェクタ
２０ 撮像部
２０１ ＣＣＤカメラ
３０ 比較対応部
４０ 距離算出部
３０１ ＵＫパターン
Claims (7)
- 色符号化された投光パターンを測定対象物に投影する投影手段と、
前記投影手段により前記測定対象物表面に生じる光学像を撮像する撮像手段と、
前記撮像手段により取得した撮像パターンと前記投光パターンを比較し対応付けする比較対応手段と、
前記比較対応手段からの出力より測定対象物までの距離を算出する距離算出手段と、
投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替え手段と、
を有することを特徴とする３次元画像撮像装置。 - 前記パターン入れ替え手段は、
投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行する演算処理手段を含む構成であることを特徴とする請求項１に記載の３次元画像撮像装置。 - 前記投影手段の投影する投光パターンは、隣接する２本のパターンが同色にならないｋ本のスリット構成であり、スリットを構成する隣接する色の並びはｋ本のスリット構成中に重複して存在しない構成であることを特徴とする請求項１に記載の３次元画像撮像装置。
- 前記投影手段の投影する投光パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影し、
前記パターン入れ替え手段は、
前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給する構成であることを特徴とする請求項１に記載の３次元画像撮像装置。 - 色符号化された投光パターンを測定対象物に投影する投影ステップと、
前記投影ステップにおいて前記測定対象物表面に生じる光学像を撮像する撮像ステップと、
前記撮像ステップにおいて撮影した撮像パターンと前記投光パターンを比較し対応付けする比較対応ステップと、
前記比較対応ステップにおいて対応付け困難な領域が検出された場合に、前記投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いて再符号化された投光パターンを供給するパターン入れ替えステップと、
前記再符号化された投光パターンを測定対象物に投影して撮影した再符号化撮像パターンについての対応付け処理を実行する比較対応再処理ステップと、
前記比較対応再処理ステップにおいて求められる対応データにより測定対象物までの距離を算出する距離算出ステップと、
を有することを特徴とする３次元画像撮像方法。 - 前記パターン入れ替えステップは、
投光パターンの色符号化の際に用いた色に対して、補色の関係にある色を用いた再符号化を行ない、再符号化された投光パターンを生成するパターン生成処理を実行するステップを含むことを特徴とする請求項５に記載の３次元画像撮像方法。 - 前記投影ステップは、
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色により構成される投光パターンを測定対象物に投影するステップであり、
前記パターン入れ替えステップは、
前記投光パターンの赤（Ｒ）を、緑（Ｇ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、緑（Ｇ）を、赤（Ｒ）と青（Ｂ）の２色の波長を併せ持つ色に変更し、青（Ｂ）を、赤（Ｒ）と緑（Ｇ）の２色の波長を併せ持つ色に変更して再符号化された投光パターンを供給するステップであることを特徴とする請求項５に記載の３次元画像撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197623A JP3729035B2 (ja) | 2000-06-30 | 2000-06-30 | ３次元画像撮像装置および３次元画像撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197623A JP3729035B2 (ja) | 2000-06-30 | 2000-06-30 | ３次元画像撮像装置および３次元画像撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002013921A JP2002013921A (ja) | 2002-01-18 |
| JP3729035B2 true JP3729035B2 (ja) | 2005-12-21 |
Family
ID=18695924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000197623A Expired - Fee Related JP3729035B2 (ja) | 2000-06-30 | 2000-06-30 | ３次元画像撮像装置および３次元画像撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3729035B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104596444A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 一种基于编码图案投影的三维照相系统及方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005315728A (ja) * | 2004-04-28 | 2005-11-10 | Hiroshima Univ | 表面形状計測装置、表面形状計測方法 |
| KR101407818B1 (ko) | 2009-12-08 | 2014-06-17 | 한국전자통신연구원 | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 |
| KR101346982B1 (ko) | 2010-11-08 | 2014-01-02 | 한국전자통신연구원 | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 |
| DE102014207022A1 (de) * | 2014-04-11 | 2015-10-29 | Siemens Aktiengesellschaft | Tiefenbestimmung einer Oberfläche eines Prüfobjektes |
| JP7028814B2 (ja) * | 2019-02-07 | 2022-03-02 | ファナック株式会社 | 外形認識装置、外形認識システム及び外形認識方法 |
-
2000
- 2000-06-30 JP JP2000197623A patent/JP3729035B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104596444A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 一种基于编码图案投影的三维照相系统及方法 |
| CN104596444B (zh) * | 2015-02-15 | 2017-03-22 | 四川川大智胜软件股份有限公司 | 一种基于编码图案投影的三维照相系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002013921A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3714063B2 (ja) | ３次元形状計測装置 | |
| JP7350343B2 (ja) | 対象物の３次元画像を生成するための方法およびシステム | |
| US8199335B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| KR102241837B1 (ko) | 컬러를 기록하는 포커스 스캐닝 장치 | |
| JP3884321B2 (ja) | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 | |
| JP2002213931A (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| EP3801365B1 (en) | Device, method and system for generating dynamic projection patterns in a confocal camera | |
| JP2012059268A (ja) | 三次元撮像のためのデータ取得方法 | |
| JP2009168658A (ja) | 三次元形状計測装置 | |
| KR101824328B1 (ko) | 색수차를 이용한 3차원 스캐너 및 스캐닝 방법 | |
| KR101099138B1 (ko) | 3차원 형상 측정장치 | |
| JP3729035B2 (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| JP6948407B2 (ja) | 表面トポロジおよび関連する色を決定するための装置および方法 | |
| JP2005258622A (ja) | 三次元情報取得システムおよび三次元情報取得方法 | |
| JP2004110804A (ja) | ３次元画像撮影装置及び方法 | |
| KR101465996B1 (ko) | 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법 | |
| JP5743433B2 (ja) | 三次元形状計測装置 | |
| KR102521770B1 (ko) | 외부광 간섭 제거 방법 | |
| JP3852285B2 (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| JP2005003631A (ja) | ３次元形状測定装置および方法 | |
| JP2006023133A (ja) | ３次元形状測定装置および方法 | |
| JP2009216650A (ja) | 三次元形状測定装置 | |
| JP2017138787A (ja) | 撮像システム、撮像装置、撮像方法 | |
| JP2006058092A (ja) | ３次元形状測定装置および方法 | |
| JP4543821B2 (ja) | ３次元形状測定装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |