JP3941631B2

JP3941631B2 - 三次元撮像装置および方法

Info

Publication number: JP3941631B2
Application number: JP2002237295A
Authority: JP
Inventors: 義紀山口
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-08-16
Filing date: 2002-08-16
Publication date: 2007-07-04
Anticipated expiration: 2022-08-16
Also published as: JP2004077262A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラによるステレオ法により輝度情報とともに距離情報を入手する画像撮影装置およびに方法係り、各カメラのレイアウトをフリーにすることにより、計測領域を広げ、使い勝手を向上させることを可能にする装置および方法に関する。
【０００２】
【従来の技術】
対象物体の形状を測定する手法は、パッシブ手法（ステレオ画像法、ｓｈａｐｅｆｒｏｍＸ）とアクティブ手法（光飛行時間測定法、ステレオ画像法）に大別される。パッシブ手法とアクティブ手法の違いは、対象物に対し何らかなエネルギーを照射するか否かの差である。両者の手法においてそれぞれ存在するステレオ画像法は、複数のカメラによって同一対象物を撮像し、撮像画像における対応点を抽出し、三角測量により距離画像を算出する方式である。図９にパッシブ手法のステレオ画像法による三次元画像撮像装置を示す。一般に、ステレオ画像法は、特殊なデバイスを使用せずに三次元撮像装置を実現できるというメリットがある一方、カメラのキャリブレーションを必要とし、その工程が煩雑である、計測できない領域であるオクルージョンが必ず存在する等のデメリットがある。
【０００３】
キャリブレーションは、カメラ間の距離や姿勢などのレイアウトが変わるとカメラキャリブレーションを再度行う必要があり、これがさらに煩雑な工程を招いていた。従ってステレオ画像法を計測手法に用いた三次元画像撮像装置は、基本的に装置内の各コンポーネントである撮像系、画像処理系、電気系の位置関係が固定であり、一つの筐体に作り込まれている。そのため装置本体は大型化し可動性が悪く個別にカメラを移動させることができないため、対象物の形状や大きさに応じた任意視点での計測には不向きであり、計測領域が限定されるという問題があった。
【０００４】
オクルージョンは、凹凸がある対象物を二つのカメラで撮像するときにそれぞれのカメラの視線方向が違うために、一方のカメラでは撮像できる領域が他方のカメラでは撮像できない領域が存在しすることから発生する。そこで対象物の形状に合わせて個々のカメラを自由に移動できれば、オクルージョン領域はかなり低減できる。またカメラの位置やアングルを自由に変えることができれば、装置本体を移動させることなく、対象物の距離画像を手軽に取得することができる。しかしながら、上述した理由により、三次元画像撮像装置内の各コンポーネントは固定であるため、これらの要求は実現できないのが現状である。
【０００５】
パッシブ手法のステレオ画像法は、対象物に特徴点がないと計測精度が極端に低下する問題がある。特開２０００−９４４２号では、この問題を解決するために、投光系により対象物に符号化光を投射し、投光系の光軸方向から対象物上の光学像を撮像し、投光系の光軸方向と異なる方向から対象物上の光学像を撮像する手法が示されている（図１０参照）。対象物上には、符号化された光パターンが投影されているため、対象物自体に特徴点がなくても、計測精度が低下することなく、しかも投光系の光軸方向から対象物上の光学像を撮像することにより、対象物の反射率に起因した対応点探索精度の劣化を防ぐことのできる優れた手法である。しかしながら、この手法により提案された三次元画像撮像装置においても、装置内の各コンポーネントは固定であるため、先述した問題は解決できないのが現状である。
【０００６】
【発明が解決しようとする課題】
そこで本発明では、可動性がよく、任意視点での計測が可能であり、オクルージョン領域を緩和でき、計測精度が高く、キャリブレーションの煩雑さを解消できる三次元画像撮像装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面によれば、上述の目的を達成するために、符号化されたパターンを投射する投光系と、投光系と略同主点で、略同光軸方向から該符号化パターン投射像を撮像する第１の撮像系と、該投光系の光軸方向と異なる方向から該符号化パターン投射像を撮像する第２の撮像系と、該第１および第２の撮像系におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する三次元画像撮像装置において、該投光系と該第１の撮像系は、一つの移動式投光系・撮像系ユニットとして構成され、該移動式投光系・撮像系ユニットと該第２の撮像系は、互いに自由に移動可能であり、かつ撮像系間の三次元位置の変位量を検出する三次元位置変位量検出手段と、各撮像系の姿勢方向の変位量を検出する姿勢変位量検出手段とを有するようにしている。
【０００８】
この構成においては、該移動式投光系・撮像系ユニットと該第２の撮像系を相互に移動可能にしているので（少なくとも一方が対象物に対して移動するので）オクルージョン領域を削減することができる。
【０００９】
該移動式投光系・撮像系ユニットと該第２の撮像系の内の一方のみを対象物に対して移動させてもよいし、双方を対象物に対して移動させてもよい。
【００１０】
該移動式投光系・撮像系ユニットと該第２の撮像系におけるカメラの各々において実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段を設け、正確に距離測定が可能である。
【００１１】
さらに、三次元位置変位量検出手段および該姿勢変位量検出手段により求めた撮像系間の三次元位置変位量および各撮像系の姿勢方向の変位量により、該キャリブレーションパラメータ記憶手段に記憶されたキャリブレーションパラメータを補正することにより、再キョリブレーションを行う必要がない。
【００１２】
なお、本発明は、装置またはシステムの発明として実現できるのみでなく、方法の態様でも実現可能である。
【００１３】
本発明の上述の側面および本発明の他の側面は特許請求の範囲に記載され、以下実施例を用いて詳細に説明される。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を具体的に説明する。
【００１５】
図１に本発明の実施例の構成図を示す。図１において、本実施例における三次元画像撮影装置は、移動式投光系・撮像系ユニット１０、第２の撮像系２０、本体３０、パーソナルコンピュータ４０が基本的な構成である。
【００１６】
移動式投光系・撮像系ユニット１０は、第１の撮像系１１と投光系１２とハーフミラー１３とから構成され、ハーフミラー１３により投光系１２と撮像系１１は、略主点、略同光軸に調整、固定されており、両者の位置関係が変わることはない。投光系１２からは符号化されたパターンが対象物５０に投射される。符号化されたパターンは例えば図２に示すようなものであり、輝度の違うスリットパターンが同じ繰り返しが無いように配列されている。
【００１７】
本体３０には、画像処理系３１と電気系３２およびカメラのキャリブレーション時に求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段３３がコンポーネントとして存在し、筐体（本体３０）により一つに収められている。パーソナルコンピュータ４０は、本体３０を制御しかつ得られた三次元画像を表示するための装置である。
【００１８】
移動式投光系・撮像系ユニット１０および第２の撮像系２０は、ケーブルにより本体３０から分離され、それぞれ移動保持手段１４、２１により保持され、自由に移動が可能である。移動式投光系・撮像系ユニット１０および第２の撮像系２０の移動は、手作業で行ってもよいし、所定の駆動手段を用いてもよい。
【００１９】
移動式投光系・撮像系ユニット１０における第１の撮像系１１には、三次元位置変位量検出手段（図３に符号１５で示す）および姿勢変位量検出手段（図３に符号１６で示す）が具備されている。第２の撮像系２０には、姿勢変位量検出手段（図３に符号２２で示す）が具備されている。これらを説明する図を図３に示す。
【００２０】
図３において、三次元位置変位量検出手段１５は、二つの撮像系１１、２０間における三次元位置の変位量を検出する検出デバイスである。本実施例では、検出法としてＬＥＤやＬＤのスポット光走査と２次元配列の光検出器を組み合わせたＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）法、あるいはＬＥＤやＬＤのスポット光走査とＰＳＤ（ＰｏｓｉｔｉｏｎＳｅｎｓｉｎｇＤｅｖｉｃｅ）を組み合わせた三角測量法を用いた。
【００２１】
ＴＯＦ法による検出デバイスでは、図４に示すように、第１の撮像系１１に光源であるＬＥＤあるいはＬＤ１５１と２次元配列の光検出器１５２（後述する三角測量法ではＰＳＤ１５３）を具備してある。ＬＥＤあるいはＬＤ１５１のパルス状のスポット光を上下左右に走査させる。このスポット光の走査は、例えば図５に示すような２組のガルバノミラー１５４、１５５を用いて行うことができる。走査光の内、第２の撮像系２０上の反射面２３で反射したパルス光を第１の撮像系１１に具備された光検出器１５２により検出し、パルス照射時刻と反射光検出時刻差から算出した距離値とパルス走査角により、二つの撮像系間における三次元位置の変位量を求めた。
【００２２】
ＬＥＤやＰＤとＰＳＤを組み合わせた三角測量法による検出デバイスでも、第１の撮像系に光源であるＬＥＤあるいはＬＤ１５１とＰＳＤ１５３を具備し、ＬＥＤあるいはＬＤ１５１のパルス状のスポット光を図５のガルバノミラー１５４、１５５を用いて、上下左右に走査させる。走査光の内、第２の撮像系２０上の反射面２３で反射したスポット光を第１の移動式撮像系１１に具備されたＰＳＤ１５３により検出した。ＰＳＤ１５３によりスポット光が検出された位置が正確に分かり三角測量の原理により、二つの撮像系間における三次元位置の変位量を求めた。またＰＳＤ１５３の換わりにエリアセンサであるＣＣＤセンサやＣＭＯＳセンサを用いても構わない。
【００２３】
姿勢変位量検出手段１６、２２は、撮像系１１、２０の姿勢方向変位量を検出できる検出デバイスであり、本実施例では、ジャイロによる加速度センサ、あるいはコイルによる地磁気センサを用いた。姿勢変位量検出手段１６、２２は、第１および第２の撮像系１１、２０双方に具備されてある。ジャイロによる加速度センサでは、移動に伴い発生する加速度を積分することにより姿勢方向の変位量を求めた。地磁気センサでは、コイルに発生する磁界の向きと地磁気の向きの差分を検出することにより、姿勢方向を求めた。姿勢方向の変位量は、撮像系１１、２０の移動前と移動後の距離値の差分により求めた。これを第１および第２の撮像系１１、２０双方において行うことにより、それぞれの撮像系の姿勢変位量を求めた。
【００２４】
撮像系１１、２０におけるカメラのキャリブレーションは、Ｔｓａｉが提案する手法を用いた（ＲＹ．Ｔｓａｉ、「ＡＶｅｒｓａｔｉｌｅＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｆｏｒＨｉｇｈ−Ａｃｃｕｒａｃｙ３ＤＭａｃｈｉｎｅＶｉｓｉｏｎＭｅｔｒｏｌｏｇｙＵｓｉｎｇＯｆｆ−ｔｈｅ−ＳｈｅｌｆＴＶＣａｍｅｒａｓａｎｄＬｅｎｓｅｓ」、ＩＥＥＥＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ、ｖｏｌ．ＲＡ−３、Ｎｏ．４、Ａｕｇｕｓｔ１９８７参照）。これは、ピンホールカメラにレンズ収差の補正を加えたカメラモデルを想定し、物体の三次元位置（ワールド座標系）と撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータ（カメラ主点位置、回転角、焦点距離、収差、画像中心等）を、校正チャートを用いて高精度に求める手法である。図６に用いた校正チャートを示す。全体サイズは、９９．２×１２１．４ｍｍであり、１０．３×１０．３ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分並べたものである。校正チャートを装置のワーキングディスタンスに相当する位置に垂直方向から３０°傾けた状態で固定し、装置と校正チャートの距離を予め求めておいて、二つの撮像系１１、２０それぞれにおいて撮像した。これにより、既知である校正チャートにおける正方形パッチの頂点座標（ワールド座標系）と撮像系１１、２０の撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータであるカメラ主点位置、回転角、焦点距離、収差、画像中心、倍率を求めた。これにより、撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれの撮像系１１、２０において算出できる。対象物上の座標は、同一の点（対応点）としているため、二つの直線式の交点の座標を算出することにより、対象物までの距離を求めた。求めたキャリブレーションパラメータは、各撮像系１１、２０がキャリブレーション時の配置と異なる場合、キャリブレーションパラメータであるカメラ主点位置、回転角に影響を及ぼす。従って、カメラ主点位置、回転角を補正する必要が生じる。本実施例では、カメラ主点位置を三次元位置変位量検出手段１５により求めた三次元位置変位量により補正し、カメラ回転角を姿勢変位量検出手段１６、２２により求めた姿勢変位量により補正した。各撮像系１１、２０がキャリブレーション時の配置と異なる場合は、補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出した。
【００２５】
三次元画像を取得するまでの手順を図７および図８に示したフローチャートにより説明する。前段階として、撮像系のキャリブレーションを実施する。これを第１のフローチャート（図７）用いて説明する。移動式投光系・撮像系ユニットにおける第１の撮像系１１および第２の撮像系２０の両者間の距離、各撮像系１１、２０の姿勢方向が変化しないように配置決め、固定する（Ｓ１０）。この状態で各撮像系１１、２０において、校正チャートを撮像する（Ｓ１１）。撮像画像によりキャリブレーションパラメータを算出し、キャリブレーションパラメータ記憶手段３３に保存する（Ｓ１２）。
【００２６】
次に第２のフローチャート（図８）用いて、対象物の距離値算出までのフローを説明する。符号化パターンを対象物に投射し、対象物を第１、第２の撮像系にて撮像する（Ｓ２０）。ここで、第１、第２の撮像系１１、２０がキャリブレーション時の配置のままである場合には、キャリブレーションパラメータ記憶手段３３に保存されたキャリブレーションパラメータを用いて、対象物までの距離値を算出する（Ｓ２１、Ｓ２２）。第１、第２の撮像系１１、２０がキャリブレーション時の配置でない場合には、三次元位置変位量検出手段１５より、撮像系１１、２０間の三次元位置変位量を算出し、姿勢変位量検出手段１６、２２により、各撮像系１１、２０の姿勢変位量を算出する（Ｓ２３、Ｓ２４）。次にカメラ主点位置を三次元位置変位量検出手段１５により求めた三次元位置変位量により補正し、カメラ回転角を姿勢変位量検出手段１６、２２により求めた姿勢変位量により補正する（Ｓ２５）。補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出する（Ｓ２２）。
【００２７】
輝度情報は、符号化パターンを対象物に投射しない状態で第１あるいは第２の撮像系１１、２０により撮像した輝度画像を輝度情報として使用する。これにより、距離情報のみならず輝度情報も取得が可能になり、対象物の形状データに輝度データを貼り付けて表示するコンテンツを作成する際のデータ提供も可能になる。
【００２８】
【発明の効果】
以上説明したように、本発明によれ、各撮像系がキャリブレーション時の配置と異なる場合でも、補正手段により、初めから全てのキャリブレーション作業をやり直す煩わしさがなく、また各カメラのレイアウトをフリーにすることにより、可動性がよく、任意視点での計測が可能であり、オクルージョン領域を緩和でき、計測精度が高く、使い勝手を向上させることが可能となる三次元画像を提供できる。
【図面の簡単な説明】
【図１】本発明の実施例における三次元画像撮像装置の構成図である。
【図２】本発明の実施例における符号化パターンを示す図である。
【図３】本発明の実施例における移動式撮像系の三次元位置変位量検出手段および姿勢変位量検出手段の構成および検出手法を説明する図である。
【図４】三次元位置変位量検出手段に用いる光源（ＬＥＤあるいはＬＤ）および光検出器を説明する図である。
【図５】三次元位置変位量検出手段に用いる光源からの光を走査する機構を説明する図である。
【図６】本発明の実施例における校正チャートである。
【図７】本発明の実施例におけるキャリブレーションのフローを説明する図である。
【図８】本発明の実施例における距離値算出までのフローを説明する図である。
【図９】従来の三次元画像撮像装置の構成図である。
【図１０】従来の三次元画像撮像装置の構成図である。
【符号の説明】
１０移動式投光系・撮像系ユニット
１１第１の撮像系
１２投光系
１３ハーフミラー
１４移動保持手段
１５三次元位置変位量検出手段
１６姿勢変位量検出手段
２０第２の撮像系
２１移動保持手段
２２姿勢変位量検出手段
２３反射面
３０本体
３１画像処理系
３２電気系
３３キャリブレーションパラメータ記憶手段
４０パーソナルコンピュータ
５０対象物
１５１ＬＥＤあるいはＬＤ（光源）
１５２光検出器
１５３ＰＳＤ
１５４、１５５ガルバノミラー

Claims

符号化されたパターンを投射する投光系と、該投光系と略同主点で、略同光軸方向から該符号化パターン投射像を撮像する第１の撮像系と、該投光系の光軸方向と異なる方向から該符号化パターン投射像を撮像する第２の撮像系とを具備し、該第１および第２の撮像系におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する三次元画像撮像装置において、該投光系と該第１の撮像系とは、一つの移動式投光系・撮像系ユニットとして構成され、該移動式投光系・撮像系ユニットと該第２の撮像系とは、相対的に移動可能であり、かつ撮像系間の三次元位置の変位量を検出する三次元位置変位量検出手段と各撮像系の姿勢方向の変位量を検出する姿勢変位量検出手段とを有することを特徴とした三次元画像撮像装置。
該移動式投光系・撮像系ユニットと該第２の撮像系の各々のカメラおいて実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段を有する請求項１記載の三次元画像撮像装置。
該三次元位置変位量検出手段および該姿勢変位量検出手段により求めた撮像系間の三次元位置変位量および各撮像系の姿勢方向の変位量により、該キャリブレーションパラメータ記憶手段に記憶されたキャリブレーションパラメータを補正する請求項２記載の三次元画像撮像装置。
該移動式投光系・撮像系ユニットおよび該第２の撮像系の一方のみを移動可能とする請求項１、２または３記載の三次元画像撮像装置。
符号化されたパターンを投射する投光系と、該投光系と略同主点で、略同光軸方向から該符号化パターン投射像を撮像する第１の撮像系と、該投光系の光軸方向と異なる方向から該符号化パターン投射像を撮像する第２の撮像系とを用意し、該第１および第２の撮像系におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する三次元画像撮像方法において、該投光系と該第１の撮像系とを、一つの移動式投光系・撮像系ユニットとして構成し、該移動式投光系・撮像系ユニットと該第２の撮像系とを、相対的に移動可能に保持し、撮像系間の三次元位置の変位量を検出し、各撮像系の姿勢方向の変位量を検出し、撮像系間の三次元位置変位量および各撮像系の姿勢方向の変位量により、キャリブレーションパラメータを補正することを特徴とする三次元画像撮像方法。