JP4094197B2

JP4094197B2 - 多眼画像の対応点探索装置

Info

Publication number: JP4094197B2
Application number: JP2000007791A
Authority: JP
Inventors: 浩幸今泉; 眞蓼沼; 美和片山; 保明金次
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-01-17
Filing date: 2000-01-17
Publication date: 2008-06-04
Anticipated expiration: 2020-01-17
Also published as: JP2001195588A

Description

【０００１】
【発明の属する技術分野】
本発明は、３台以上複数台のカメラで撮影した複数の視点からの画像を用いて被写体の３次元的な位置を測定する装置に係り、特に、３つ以上複数の視点から撮影された各画像について局所的な画像の対応度を測定し、最も対応していると測定された点を対応点と定め、この対応点の画像上での位置、撮影したカメラの位置および向きから三角測量の原理により被写体までの距離を算出する多眼画像の対応点探索装置に関するものである。
【０００２】
【従来の技術】
従来、この種の多眼画像の対応点探索装置では、２台のカメラで撮影された１対の画像を対象とする方法が一般的である（例えば、Horn著、NTT ヒューマンインターフェース研究所プロジェクトRVT 訳、「ロボットビジョン」、朝倉書店より1993年刊行の第１３章写真測量とステレオ（ｐｐ．３２９−３６８）参照）。
【０００３】
また、３台以上のカメラで撮影された２対以上の画像を対象とする場合にも、各対で求められる誤差を平均するなどの方法が用いられている（T.Kanade et al.,“A stereo machine for video-rate dense depth mapping and its new applications”, Proceedings of 15_th Computer Vision and Patern RecognitionConference (CVPR), June, 1996)。
【０００４】
【発明が解決しようとする課題】
上述した２台のカメラで撮影された１対の画像を対象とする方法は、画像の中に片方のカメラでしか撮影されない領域が発生する割合が多く、また、対応点探索を行う探索線と同じ方向に周期的なパターンがある場合には、対応点が正しく特定できないという問題点があった。
【０００５】
また、３台以上のカメラを使用する場合にも、一部のカメラでしか撮影されない領域が存在するため、このような領域では、一部のカメラ対で対応度が低く測定され、また、誤差の平均をとることで、正しい対応点の対応度も低く計算され、結果的として対応点を誤って決定する割合が多くなるという問題点があった。
【０００６】
本発明の目的は、３台以上のカメラを使用する場合に、一部のカメラでしか撮影されない領域が存在することから正しい対応点の対応度が低く計算されるという上述した問題点を解決して、正しい対応点を決定することのできる多眼（３眼以上の）画像の対応点探索装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明による多眼画像の対応点探索装置は、３台以上Ｎ台のカメラで撮影されたＮ個の画像の中から、ある１枚の画像上の１画素の被写体までの距離を測定するための対応点探索において、この画像（上記１枚の画像）と他の（Ｎ−１）枚の画像間のＮ−１個の相互相関値からＭ個（Ｍ＝１，・・・，Ｎ−１）の相互相関値の積を _N-1Ｃ_M 通りの組み合わせについて求め、これら求めた積の最大値を、Ｍ＝１からＭ＝Ｎ−１までのＮ−１通りについて求め、これら最大値の重み付き平均値または重み付き最大値を対応度と定義して対応点探索を行うことにより、従来においては、一部のカメラでしか撮影されない領域が存在することで正しい対応点の対応度が低く計算されるという問題点を解決し、正しい対応点を決定することができるようにしたものである。
【０００８】
すなわち、本発明による多眼画像の対応点探索装置は、３つ以上の複数視点で観測されるそれぞれの画像中、１つの視点で観測される画像上の画素が他の視点で観測される画像上に投影される場合に、視点の幾何学的な光学パラメータを用いて前記１つの視点の画像上の画素位置が他の視点の画像上に投影される画素位置を算出する探索画素位置算出部と、前記３つ以上の複数視点で観測される各画像から前記探索画素位置算出部の出力により位置指定された画素と、該画素の近傍に位置する画素とからなる画像の小ブロックを切り出す画素ブロック切り出し部とを具えた多眼画像の対応点探索装置において、該装置はさらに、１つの視点の画像から切り出された画素ブロックと他の視点の画像から切り出された各画素ブロック間の相互相関係数を算出するブロック相互相関係数算出部と、該ブロック相互相関係数算出部により算出されたすべての相互相関係数から、それら相互相関係数のすべてを含むものから１個までの相互相関係数のすべての組み合わせごとの相互相関係数の積をそれぞれ求め、該求めた積の中から各最大値を算出する積の最大値算出部と、該積の最大値算出部により算出された各積の最大値にそれぞれ重み係数を乗じ、相互に加算したうえで前記重み係数の和で除算して、重み付き平均値（対応度）を算出する重み付き平均値算出部と、探索範囲にわたって、前記重み付き平均値算出部により算出された重み付き平均値を比較し、該比較の結果得られた重み付き平均値の最大値と該最大値となる場合に前記他の視点の画像上に投影される画素位置とを保持して、該保持した画素位置を探索結果の画素位置として出力する最大値および最大位置保持部とを具えてなることを特徴とするものである。
【０００９】
また、本発明による多眼画像の対応点探索装置は、３つ以上の複数視点で観測されるそれぞれの画像中、１つの視点で観測される画像上の画素が他の視点で観測される画像上に投影される場合に、視点の幾何学的な光学パラメータを用いて前記１つの視点の画像上の画素位置が他の視点の画像上に投影される画素位置を算出する探索画素位置算出部と、前記３つ以上の複数視点で観測される各画像から前記探索画素位置算出部の出力により位置指定された画素と、該画素の近傍に位置する画素とからなる画像の小ブロックを切り出す画素ブロック切り出し部とを具えた多眼画像の対応点探索装置において、該装置はさらに、１つの視点の画像から切り出された画素ブロックと他の視点の画像から切り出された各画素ブロック間の相互相関係数を算出するブロック相互相関係数算出部と、該ブロック相互相関係数算出部により算出されたすべての相互相関係数から、それら相互相関係数のすべてを含むものから１個までの相互相関係数のすべての組み合わせごとの相互相関係数の積をそれぞれ求め、該求めた積の中から各最大値を算出する積の最大値算出部と、該積の最大値算出部により算出された各積の最大値にそれぞれ重み係数を乗算し、それら重み係数が乗算された各積の最大値の中から最大のもの（対応度）を選択して出力する重み付き最大値出力部と、探索範囲にわたって、前記重み付き最大値出力部により算出された重み付き最大値を比較し、該比較の結果得られた重み付き最大値の最大値と該最大値となる場合に前記他の視点の画像上に投影される画素位置とを保持して、該保持した画素位置を探索結果の画素位置として出力する最大値および最大位置保持部とを具えてなることを特徴とするものである。
【００１０】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明による多眼画像の対応点探索装置の一実施形態をブロック図にて示している。
図１において、１はカメラ情報入力部、２は探索画素位置算出部、３は画素ブロック切り出し部、４はブロック相互相関係数算出部、５は積の最大値算出部、６は重み付き平均値算出部、そして７は最大値および最大位置保持部である。
【００１１】
動作につき説明する。
本実施形態においては、図示のように、Ｎ台のカメラで撮影されたＮ枚の画像（多眼画像）が左端の上側に示す各入力端子（Ｉ−１，Ｉ−２，Ｉ−３，・・・，Ｉ−Ｎ）から入力され、またそれらそれぞれのカメラの位置、光軸の向き、レンズの画角など幾何学的な光学パラメータ（多眼カメラパラメータ）が左端の下側に示す各入力端子（Ｉ−１′，Ｉ−２′，Ｉ−３′，・・・，Ｉ−Ｎ′）から入力されるものとする。それら入力されたＮ個の幾何学的な光学パラメータとＮ枚の画像は、カメラ情報入力部１（このカメラ情報入力部１は、次段への整合を行う程度で特段の信号処理を行うものではない）を介してｇ₁ ，ｇ₂ ，ｇ₃ ，・・・，ｇ_N として探索画素位置算出部２に、またａ₁ ，ａ₂ ，ａ₃ ，・・・，ａ_N として画素ブロック切り出し部３にそれぞれ供給される。
【００１２】
また、本発明においては、上記Ｎ枚の画像の中の１枚の画像上の画素が他の画像上のどの画素位置に投影されているかを特定する。なお、説明を簡単にするため、ここでは、ａ₁ の画像上の画素のａ₂ ，ａ₃ ，・・・，ａ_N の各画像上での対応点を探索するものとする。
【００１３】
まず、探索画素位置算出部２の動作について説明する。
いま、対応点を求めるａ₁ 上の画素の画素位置を（ｘ，ｙ）とし、この画素の被写体までの距離をｚとしたときに、各カメラのカメラパラメータｇ₁ ，ｇ₂ ，ｇ₃ ，・・・，ｇ_N によって決まる２×４行列Ｑ₁ ，Ｑ₂ ，Ｑ₃ ，・・・，Ｑ_N-1 から(1) 式によって
【数１】

ａ₂ ，ａ₃ ，・・・，ａ_N の各画像上でのＮ_-1組の対応点の画素位置（ｘ′，ｙ′）を算出する。ｂ₁ は探索画素位置算出部２によって与えられたａ₁ の画像上のこれから探索しようとする画素の画素位置を、また、ｂ₂ ，ｂ₃ ，・・・，ｂ_N はａ₁ の画像上の画素から被写体までの距離をｚとしたときのａ₂ ，ａ₃ ，・・・，ａ_N の各画像上での画素位置をそれぞれ示している。
探索画素位置算出部２によって出力される上記画素位置ｂ₂ ，ｂ₃ ，・・・，ｂ_N は、以下に説明するように、画像ブロック切り出し部３に供給されるが、これはまた、最大値および最大位置保持部７にも供給される。これについては後述する。
【００１４】
ａ₁ ，ａ₂ ，ａ₃ ，・・・，ａ_N までの各画像、および上述したｂ₁ ，ｂ₂ ，ｂ₃ ，・・・，ｂ_N までの各画素位置は画素ブロック切り出し部３に供給され、同切り出し部３において、ａ₁ ，ａ₂ ，ａ₃ ，・・・，ａ_N までの各画像からそれぞれｂ₁ ，ｂ₂ ，ｂ₃ ，・・・，ｂ_N によって指定された画素と、その近傍に位置する画素とからなる画像の小ブロックを切り出す。切り出された画像の小ブロックをｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N で示している。
【００１５】
これら切り出された画像の小ブロックｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N は、ブロック相互相関係数算出部４に供給され、画像の小ブロックｃ₂ ，ｃ₃ ，・・・，ｃ_N のそれぞれと画像の小ブロックｃ₁ との相互相関係数を算出される。例えば、画像の小ブロックｃ₁ とｃ₂ の相互相関係数は、いま、これら小ブロックの画素数をＬ、各小ブロックの画素値をＸ_i ，Ｙ_i とすると（２）式によって求められる。
【数２】

ただし、
【外１】

は各々ブロック内画素値の平均値である。
算出結果であるｄ₁ ，ｄ₂ ，・・・，ｄ_N-1 は、それぞれ小ブロックｃ₂ ，ｃ₃ ，・・・，ｃ_N に対する画像の小ブロック対間の相互相関係数である。
【００１６】
得られた相互相関係数ｄ₁ ，ｄ₂ ，・・・，ｄ_N-1 は積の最大値算出部５に供給される。積の最大値算出部５においては、上記相互相関関係ｄ₁ ，ｄ₂ ，・・・，ｄ_N-1 の積、ｄ₁ ，ｄ₂ ，・・・，ｄ_N-1 からＮ−２個の相関係数を選択して積を求めた_N-1 Ｃ_N-2 通りの数値の中の最大値、およびｄ₁ ，ｄ₂ ，・・・，ｄ_N-1 から１個の相関係数を選択したＮ−１通りの数値の中の最大値を、それぞれ積の最大値ｅ₁ ，ｅ₂ 、およびｅ_N-1 として算出する。なお、ｅ₃ とｅ_N-2の間の積の最大値（ｅ₃ ，ｅ₄ ，・・・，ｅ_N-3 ）も勿論同様な手順で算出するものとする。
【００１７】
得られた積の最大値ｅ₁ ，ｅ₂ ，・・・，ｅ_N-1 は重み付き平均値算出部６に供給される。重み付き平均値算出部６においては、積の最大値ｅ₁ ，ｅ₂ ，・・・，ｅ_N-1 に、例えば、（３）式で示される重み係数
【数３】

ただし、Ｃ_W は、０以上１以下の重み定数
をそれぞれ乗じ、加算した後、重み係数Ａ₁ ，Ａ₂ ，・・・，Ａ_N-1 の和で除算して重み付き平均値ｆ（これを、多眼画像について対応点の対応度と定義する）を算出して出力する。
【００１８】
この重み付き平均値ｆは最大値および最大位置保持部７に供給され、当該部７において以下のように動作する。
すなわち、最大値および最大位置保持部７には、ａ₁ の画像上の画素から被写体までの距離がｚであるときのａ₂ ，ａ₃ ，・・・，ａ_N の各画像上での画素位置を示すｂ₂ ，ｂ₃ ，・・・，ｂ_N が探索画素位置算出部２から供給されている（図１参照）が、その距離ｚを探索範囲にわたって変化させながら重み付き平均値ｆの最大値を検出し、その最大値とそのときのｚの値を保持するように動作させ、探索終了時にｆが最大値をとる距離ｚに相当するｂ₂ ，ｂ₃ ，・・・，ｂ_Nによって示される画像ａ₂ ，ａ₃ ，・・・，ａ_N 上の画素位置を正しい対応点としてそれぞれ出力端子ｏ−１，ｏ−２，・・・，ｏ−（Ｎ−１）から出力する。
【００１９】
以上により、本発明の一実施形態の説明を終るが、本発明は以上の実施形態に限られるものではなく、各種変形して実施することができる。
例えば、図１に示し上述した重み付き平均値算出部６は、図２に示す重み付き最大値出力部８に置き替え可能である。
【００２０】
図２において、符号８で示される重み付き最大値出力部は、Ａ₁ ，Ａ₂ ，・・・，Ａ_N-1 の重み係数乗算回路と最大値出力回路とによって構成され、重み係数Ａ₁ ，Ａ₂ ，・・・，Ａ_N-1 は上述した（３）式によって与えられるものである。また、最大値出力回路は、当該回路に供給される重み係数が乗算された積の最大値Ａ₁ ｅ₁ ，Ａ₂ ｅ₂ ，・・・，Ａ_N ｅ_N の中から最大のものを選択して出力する（符号ｆ（対応度）で示される）回路である。
【００２１】
【発明の効果】
以上説明したように、本発明によれば、３台以上複数のカメラ対に対して、対となる２台のカメラで撮影された画像について対応点を探索して求められる局所的な相互相関係数を複数のカメラ対について求め、この複数の相互相関係数から、新たな対応度を定義し、対応度の値が最大となる点を求めるようにしたことから、多眼画像の正しい対応点を決定することができる。
【図面の簡単な説明】
【図１】本発明による多眼画像の対応点探索装置の一実施形態をブロック図にて示している。
【図２】図１中の重み付き平均値算出部と置き替え可能な重み付き最大値出力部の構成を示している。
【符号の説明】
１カメラ情報入力部
２探索画素位置算出部
３画素ブロック切り出し部
４ブロック相互相関係数算出部
５積の最大値算出部
６重み付き平均値算出部
７最大値および最大位置保持部
８重み付き最大値出力部

Claims

３つ以上の複数視点で観測されるそれぞれの画像中、１つの視点で観測される画像上の画素が他の視点で観測される画像上に投影される場合に、視点の幾何学的な光学パラメータを用いて前記１つの視点の画像上の画素位置が他の視点の画像上に投影される画素位置を算出する探索画素位置算出部と、
前記３つ以上の複数視点で観測される各画像から前記探索画素位置算出部の出力により位置指定された画素と、該画素の近傍に位置する画素とからなる画像の小ブロックを切り出す画素ブロック切り出し部と
を具えた多眼画像の対応点探索装置において、該装置はさらに、
１つの視点の画像から切り出された画素ブロックと他の視点の画像から切り出された各画素ブロック間の相互相関係数を算出するブロック相互相関係数算出部と、
該ブロック相互相関係数算出部により算出されたすべての相互相関係数から、それら相互相関係数のすべてを含むものから１個までの相互相関係数のすべての組み合わせごとの相互相関係数の積をそれぞれ求め、該求めた積の中から各最大値を算出する積の最大値算出部と、
該積の最大値算出部により算出された各積の最大値にそれぞれ重み係数を乗じ、相互に加算したうえで前記重み係数の和で除算して、重み付き平均値（対応度）を算出する重み付き平均値算出部と、
探索範囲にわたって、前記重み付き平均値算出部により算出された重み付き平均値を比較し、該比較の結果得られた重み付き平均値の最大値と該最大値となる場合に前記他の視点の画像上に投影される画素位置とを保持して、該保持した画素位置を探索結果の画素位置として出力する最大値および最大位置保持部と
を具えてなることを特徴とする多眼画像の対応点探索装置。
３つ以上の複数視点で観測されるそれぞれの画像中、１つの視点で観測される画像上の画素が他の視点で観測される画像上に投影される場合に、視点の幾何学的な光学パラメータを用いて前記１つの視点の画像上の画素位置が他の視点の画像上に投影される画素位置を算出する探索画素位置算出部と、
前記３つ以上の複数視点で観測される各画像から前記探索画素位置算出部の出力により位置指定された画素と、該画素の近傍に位置する画素とからなる画像の小ブロックを切り出す画素ブロック切り出し部と
を具えた多眼画像の対応点探索装置において、該装置はさらに、
１つの視点の画像から切り出された画素ブロックと他の視点の画像から切り出された各画素ブロック間の相互相関係数を算出するブロック相互相関係数算出部と、
該ブロック相互相関係数算出部により算出されたすべての相互相関係数から、それら相互相関係数のすべてを含むものから１個までの相互相関係数のすべての組み合わせごとの相互相関係数の積をそれぞれ求め、該求めた積の中から各最大値を算出する積の最大値算出部と、
該積の最大値算出部により算出された各積の最大値にそれぞれ重み係数を乗算し、それら重み係数が乗算された各積の最大値の中から最大のもの（対応度）を選択して出力する重み付き最大値出力部と、
探索範囲にわたって、前記重み付き最大値出力部により算出された重み付き最大値を比較し、該比較の結果得られた重み付き最大値の最大値と該最大値となる場合に前記他の視点の画像上に投影される画素位置とを保持して、該保持した画素位置を探索結果の画素位置として出力する最大値および最大位置保持部と
を具えてなることを特徴とする多眼画像の対応点探索装置。