JPH0721387A

JPH0721387A - 複数画像の対応点抽出法

Info

Publication number: JPH0721387A
Application number: JP5150776A
Authority: JP
Inventors: Masakazu Matsugi; 優和真繼; Katsumi Iijima; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-06-22
Filing date: 1993-06-22
Publication date: 1995-01-24

Abstract

(57)【要約】【目的】高精度な対応点抽出を行う。【構成】各入力原画面の局所的水平方向空間周波数分
布を算出する（ステップＳ₃）。この結果に基いて視差
画面内各領域での局所演算子サイズを決定する（ステッ
プＳ₅）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数画像の対応点抽出
法に関し、特に、複数の画像からそれぞれ抽出した複数
のエピポーララインから形成される視差画面上の各交点
で、これら複数の画像の実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を行うことにより視差ライ
ンを得て、複数の画像の対応点を抽出する複数画像の対
応点抽出法に関するものである。

【０００２】

【従来の技術】図９は、従来距離画像を求めるために用
いられる三角測量の説明図である。なお、以下の説明で
は、特記しない限り、右側カメラおよび左側カメラのセ
ンサがそれぞれポジ面に置かれた状態で図示する。

【０００３】三角測量は、２つの不図示のカメラ（右側
カメラおよび左側カメラ）を用いて三次元空間内にある
物体（被写体）を撮像した際、この物体上の一点Ｐの投
影点を右側カメラのレンズの中心点Ｏ_R および左側カメ
ラのレンズの中心点Ｏ_L としたときの右側カメラのセン
サ面Ａ_SRでの投影点Ｐ_R と左側カメラのセンサ面Ａ_SLで
の投影点Ｐ_L とから、この物体上の一点Ｐの三次元座標
を得るものである。ここで、『基線Ｂ』，『基線長Ｌ
_B 』，『エピポーラ面（視線面）Ａ_e 』および『エピポ
ーラライン（視線像）Ｌ_eR，Ｌ_eL』はそれぞれ、以下の
ように定義される。（１）『基線Ｂ』とは、右側カメラのレンズの中心点Ｏ
_R と左側カメラのレンズの中心点Ｏ_L とを結ぶ線をい
う。（２）『基線長Ｌ_B 』とは、基線Ｂの長さをいう。（３）『エピポーラ面Ａ_e 』とは、物体上の一点Ｐと投
影点Ｐ_R と投影点Ｐ_L との三点を結んでできる平面をい
う。（４）『エピポーラライン（視線像）Ｌ_eR』とは、エピ
ポーラ面Ａ_e と右側カメラのセンサ面Ａ_SRとの交線をい
い、『エピポーララインＬ_eL』とは、エピポーラ面Ａ_e
と左側カメラのセンサ面Ａ_SLとの交線をいう。

【０００４】図１０（Ａ），（Ｂ）に示すように、基線
Ｂの中点を原点Ｏ（０，０，０）、基線Ｂに沿ってｘ
軸、紙面と垂直方向にｙ軸（不図示）および基線Ｂと垂
直方向にｚ軸をとり、右側カメラのレンズおよび左側カ
メラのレンズの焦点距離をそれぞれｆとし、物体上の一
点Ｐ、投影点Ｐ_R および投影点Ｐ_L の座標をそれぞれ
（ｘ_P ，ｙ_P ，ｚ_P ），（ｘ_PR，ｙ_PR，ｚ_PR）および
（ｘ_PL，ｙ_PL，ｚ_PL）とする。このとき、右側カメラお
よび左側カメラの光軸がそれぞれ、図１０（Ａ）に示す
ように、基線Ｂに対して垂直である場合（すなわち、該
２つの光軸が互いに平行である場合）には、（ｘ_PL＋Ｌ_B ／２）／ｆ＝（ｘ_P ＋Ｌ_B ／２）／ｚ_P （１．１）（ｘ_PR−Ｌ_B ／２）／ｆ＝（ｘ_P −Ｌ_B ／２）／ｚ_P （１．２）ｙ_L ／ｆ＝ｙ_R ／ｆ＝ｙ／ｚ_P （１．３）（Ｌ_B ＋ｘ_PL−ｘ_PR）／ｆ＝Ｌ_B ／ｚ_P （１．４）がそれぞれ成り立つ。上記（１．１）式，（１．２）
式，（１．３）式，（１．４）式によって、物体上の一
点Ｐの座標（ｘ_P ，ｙ_P ，ｚ_P ）は、下記（２．１）
式，（２．２）式，（２．３）式ｘ_P ＝Ｌ_B ・｛（ｘ_PL＋ｘ_PR）／２｝／（Ｌ_B ＋ｘ_PL−ｘ_PR）（２．１）ｙ_P ＝Ｌ_B ・｛（ｙ_PL＋ｙ_PR）／２｝／（Ｌ_B ＋ｘ_PL−ｘ_PR）（２．２）ｚ_P ＝Ｌ_B ・ｆ／（Ｌ_B ＋ｘ_PL−ｘ_PR）（２．３）より求まる。

【０００５】また、右側カメラおよび左側カメラの光軸
がそれぞれ、図１０（Ｂ）に示すように、基線Ｂに対し
て所定の角度（輻輳角）θをもっている場合には、（ｘ_PL＋Ｌ_B ／２）／ｚ_PL＝（ｘ_P ＋Ｌ_B ／２）／ｚ_P （３．１）（ｘ_PR−Ｌ_B ／２）／ｚ_PR＝（ｘ_P −Ｌ_B ／２）／ｚ_P （３．２）ｙ_PL／ｚ_PL＝ｙ_PR／ｚ_PR＝ｙ_P ／ｚ_P （３．３）Ｌ_B ／ｚ_P ＝｛（ｘ_PL＋Ｌ_B ／２）−（ｚ_PL／ｚ_PR）（ｚ_PR−Ｌ_B ／２）｝／ｚ_PL （３．４）ただし、｜ｘ_PR｜≧｜ｘ_PL｜Ｌ_B ／ｚ_P ＝｛−（ｘ_PR−Ｌ_B ／２）＋（ｚ_PR／ｚ_PL）（ｘ_PL＋Ｌ_B ／２）｝／ｚ_PR （３．５）ただし、｜ｘ_PR｜＜｜ｘ_PL｜ｚ_PR＝（ｘ_PR−Ｌ_B ／２）・tan （θ）＋ｆ・cos （θ）（３．６）ｚ_PL＝−（ｘ_PL＋Ｌ_B ／２）・tan （θ）＋ｆ・cos （θ）（３．７）がそれぞれ成り立つ。したがって、物体上の一点Ｐの座
標（ｘ_P ，ｙ_P ，ｚ_P ）は、上記（３．１）式，（３．
２）式，（３．３）式，（３．４）式，（３．５）式，
（３．６）式，（３．７）式より求まる。

【０００６】以上説明した三角測量により、右側撮像系
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体（被写体）までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
Ａ_SRでの投影点Ｐ_R と左側カメラのセンサ面Ａ_SLでの投
影点Ｐ_L とが同じ一点Ｐの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面Ａ_SLでの投影点Ｐ_L に対応す
る右側カメラのセンサ面Ａ_SRでの投影点Ｐ_R が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか（対応点抽出
法）が問題となる。かかる対応点抽出法の代表的なもの
としては、既に工場などで応用されているテンプレート
マッチング法と、視覚の処理に基づく協調的アルゴリズ
ムとがある。

【０００７】（１）テンプレートマッチング法テンプレートマッチング法は、左側カメラのセンサ面Ａ
_SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサ面Ａ_SRに結像される右画像の類似性を比較す
ることによって、対応点を決定するものである。なお、
類似性の比較には、以下に示す二通りの方法がある。

【０００８】（ａ）ＳＳＤＡ法（Sequential Similarit
y Detection Algorithm ）ＳＳＤＡ法は、以下に示す（４．１）式で示すように、
左画像のエピポーララインＬ_eL上のすべての画素および
右画像のエピポーララインＬ_eR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値Ｅ_L と探
索する右画像中の画素値Ｅ_R との差を加算して、得られ
た和Ｅ（ｘ，ｙ）が最小値になる座標を対応点の座標と
するものである。

【０００９】

【数１】ＳＳＤＡ法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。

【００１０】（ｂ）相関法相関法は、以下に示す（４．２）式で示すように、左画
像のテンプレート内の画像中の画素値Ｅ_L と探索する右
画像中の画素値Ｅ_R との相互相関をとることにより相関
値ρ（ｘ，ｙ）を求めて、求めた相関値ρ（ｘ，ｙ）が
最大値になる座標を対応点の座標とするものである。な
お、式（４．２）に示す正規化相互相関では、最大値は
“１”となる。

【００１１】

【数２】（２）協調アルゴリズム David Marrにより提案された『協調アルゴリズム』は、
以下に示す３つの規則を用いて視差ラインを得るアルゴ
リズムである（D. Marr, Vision ：A Computational In
vestigation into the Human Representation and Proc
essing of Visual Information, W. H. Freeman & Co.,
San Francisco Calif., 1982 ）。

【００１２】規則１（適合性）・・・・黒点は黒点とのみ整
合し得る。

【００１３】規則２（一意性）・・・・ほとんど常に、一つ
の画像の一つの黒点は、他方の画像の唯一の黒点と整合
し得る。

【００１４】規則３（連続性）・・・・整合する点の視差
は、ほとんど全域で滑らかに変化する。

【００１５】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図１１（Ａ）に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値
“１”をもち、一方、もしそれが正しくない対（誤標
的）を表わすならば、該処理装置は値“０”をもつ。

【００１６】規則２から、ただ１つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値“１”として生き残り、他
の処理装置の値はすべて“０”にすることで、規則２を
満足しようという考え方によるものである。

【００１７】規則３によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
１１（Ｂ）に示すような構造を与える。両眼からの視線
に対応する図中の水平線１０１および垂直の線１０２に
沿う処理装置に抑制性結合をかけ、視差一定の線に対応
する斜めの線１０３に沿う処理装置には興奮性結合をか
ける。我々は、そのアルゴリズムを二次元の画像に拡張
できる。その場合、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍１０４にかかるように
する。これを図１１（Ｃ）に示す。

【００１８】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所（誤標的
も含めすべて）は“１”を与えて他はすべて“０”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の“１”を合計し、抑制性近傍の“１”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値“１”にセットされ、もしそうでなけ
ればその処理装置は“０”にセットされる。形式的に、
このアルゴリズムは、次の（５）式に示す反復関係によ
って表わされる。

【００１９】

【数３】ここで、

【００２０】

【外１】は、図１１（Ａ）に示したネットワークにおける位置
（ｘ，ｙ）、視差ｄおよび時間ｔに対応する細胞の状態
を示す。Ｓ（ｘ，ｙ，ｄ）は局所的興奮性近傍、Ｏ
（ｘ，ｙ，ｄ）は抑制性近傍である。εは抑制定数であ
り、σは閾値関数である。初期状態Ｃ^O は、定められた
視差範囲内で、誤標的を含む可能な対をすべて含んでい
る。ここで、それは各繰り返しごとに加えられる（そう
する必要はないが、こうするとアルゴリズムがより速く
収束する）。

【００２１】次に、二枚の二値画像からそれぞれ抽出し
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。

【００２２】まず、視差ラインについて、図１２および
図１３をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図１２に示すような一組のエピ
ポーララインＬ_eL，Ｌ_eRが得られる。そこで、図１３に
示すように、得られた左のエピポーララインＬ_eLを画素
ａ_1Lが図示左側になり画素ａ_5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインＬ_eRを画素ａ_1Rが図示下側になり画素ａ_5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインＬ _eL，Ｌ_eR上の互いに対応する画素（画素
ａ_1Lと画素ａ_1Rなど）の交点ｂ₁ 〜ｂ₅をそれぞれ求め
る。このとき、各交点ｂ₁ 〜ｂ₅ を結ぶ線『視差ライン
１１４』と呼び、視差が一定の場合には視差ライン１１
４は図示右上りの傾き４５°の直線となるため、視差ラ
イン１１４を求めることにより左画像と右画像との視差
の変化がわかる。なお、２つのエピポーララインＬ_eL，
Ｌ_eRにより得られる平面を『視差画面１１３』と呼ぶ。

【００２３】次に、視差ラインと距離との関係につい
て、図１４乃至図１８をそれぞれ参照して説明する。

【００２４】図１４（Ａ）に示すように、右側カメラお
よび左側カメラから遠くに存在する視差が一定の各点ａ
₂₁〜ａ₂₅について視差画面と視差ラインとを同様にして
求めると、同図（Ｂ）に示す視差画面１２１と視差ライ
ン１３１とが得られる。図１５（Ａ）に示すように、前
記各点ａ₂₁〜ａ₂₅よりも右側カメラおよび左側カメラの
近くに存在する視差が一定の各点ａ₃₁〜ａ₃₄について視
差画面と視差ラインとを同様にして求めると、同図
（Ｂ）に示す視差画面１２２と視差ライン１３２とが得
られる。図１６（Ａ）に示すように、前記各点ａ₃₁〜ａ
₃₄よりも右側カメラおよび左側カメラの近くに存在する
視差が一定の各点ａ₄₁〜ａ₄₃について視差画面と視差ラ
インとを同様にして求めると、同図（Ｂ）に示す視差画
面１２３と視差ライン１３３とが得られる。図１７
（Ａ）に示すように、前記各点ａ₄₁〜ａ₄₃よりも右側カ
メラおよび左側カメラの近くに存在する視差が一定の各
点ａ₅₁，ａ ₅₂について視差画面と視差ラインとを同様に
して求めると、同図（Ｂ）に示す視差画面１２４と視差
ライン１３４とが得られる。

【００２５】以上のことにより、左側カメラおよび右側
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、（１）視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き４５°の直線
となる。（２）視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き４５°の直線となる。というこ
とがわかる。

【００２６】また、図１８（Ａ）に示すような各点ａ₆₁
〜ａ₆₆について視差画面と視差ラインとを同様にして求
めると、同図（Ｂ）に示す視差画面１２５と視差ライン
１３５とが得られる。ここで、得られる視差ライン１３
５は、視差画面１２５の図示左下隅から図１４（Ｂ）に
示した視差ライン１３１に沿って図示右上隅に向かって
進み、途中で図１５（Ｂ）に示した視差ライン１３２に
移ったのち、図１４（Ｂ）に示した視差ライン１３１に
沿って図示右上隅に向かって再度進むものとなる。した
がって、凹凸のある物体（被写体）についても、物体の
凹凸に応じた視差ラインが得られることがわかる。

【００２７】次に、Juleszのランダムドット・ステレオ
グラム（参照：デビット・マー，乾など訳、ピジョン
（視覚の計算理論と脳内表現），産業図書）のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図１９のフローチャートを参照して説明する。

【００２８】たとえばランダムドット・ステレオグラム
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
撮り込んだのち（ステップＳ１０１）、撮り込んだ二枚
の二値画像から任意の一組のエピポーララインＬ_eL，Ｌ
_eRを抽出する（ステップＳ１０２）。抽出した一組のエ
ピポーララインＬ_eL，Ｌ_eRを図２０に示すように配置す
る（ステップＳ１０３）。すなわち、左のエピポーララ
インＬ_eLは、その左端１４１_L が図示左側にされるとと
もにその右側１４１_R が図示右側にされて、図示横方向
に配置される。また、右のエピポーララインＬ_eRは、そ
の左端１４２_Lが図示下側にされるとともにその右端１
４２_R が図示上側にされて、図示縦方向に配置される。
続いて、左のエピポーララインＬ_eL上の画素値“黒”を
示す画素と右のエピポーララインＬ_eR上の画素値“黒”
を示す画素とが視差画面１４３上で交差する視差画面１
４３上のすべての交点を黒点とすることにより、図２１
に示すように、視差画面１４３の初期値を有する初期画
面１４４を作成する（ステップＳ１０４）。

【００２９】その後、作成された初期画面１４４中の各
黒点に対して、実画素に基づく興奮性結合および抑制性
結合をもつ局所処理をそれぞれ行う（ステップＳ１０
５）。このとき、実画素に基づく興奮性結合は、図２２
に示すように、初期画面１４４中の任意の一つの黒点Ｑ
を中心とした、傾き４５°の図示右上がりの直線方向を
長軸１５１とするとともに傾き−４５°の図示右下がり
の直線方向を短軸１５２とする楕円１５０内に存在する
各交点に対してそれぞれ行われる。また、実画素に基づ
く抑制性結合は、黒点Ｑに対して、図示水平方向の軸お
よび図示垂直方向の軸上に存在する各交点に対してそれ
ぞれ行われる。続いて、実画素に基づく興奮性結合およ
び抑制性結合をもつ局所処理が行われた初期画面１４４
の各交点に対して、たとえば図２３に示すような二値出
力の閾値関数１７１（上記（５）式の閾値関数σに相
当）を用いた所定の処理をそれぞれ施すことにより、新
しい視差画面を作成する（ステップＳ１０６）。続い
て、ステップＳ１０５の処理およびステップＳ１０６の
処理が所定回数だけそれぞれ行われたか否かの判断を行
い（ステップＳ１０７）、所定回数だけ行われていない
場合には、ステップＳ１０６の処理において作成した新
しい視差画面を初期画面として、ステップＳ１０５の処
理およびステップＳ１０６の処理を繰り返す。その結
果、最終的に、ステップ１０Ｓ６の処理において作成し
た新しい視差画面上に視差ラインが得られ、この視差ラ
インに基づいて対応点の抽出を行うことができる。

【００３０】なお、ステップＳ１０７の判断の代わり
に、視差画面の各交点の値が収束するまで、ステップＳ
１０６の処理において作成した新しい視差画面を初期画
面としてステップＳ１０５の処理およびステップＳ１０
６の処理を繰り返して、処理を終えてもよい。また、ス
テップＳ１０１で取り込んだ二枚の二値画像の他の組の
エピポーララインＬ_eL，Ｌ_eRについて視差ラインを求め
る場合には、ステップＳ１０２からステップＳ１０７を
再度繰り返すことにより、同様にして視差ラインを求め
ることができる。

【００３１】

【発明が解決しようとする課題】上記従来例で示した対
応点抽出法においては以下のような問題点がある。（１）テンプレートマッチング法では周期的な構造をも
つ二値画像の場合には誤対応を起こす。（２）協調法アルゴリズムでは興奮性処理および抑制性
処理により初期視差画面から視差ラインを得るまでの処
理時間が長く、また空間周波数の分布が一様でない自然
画像に適用するには信頼性が十分でない。

【００３２】本発明の目的は、信頼性が高く、高精度な
対応点抽出を行うことができる複数画像の対応点抽出法
を提供することにある。

【００３３】

【課題を解決するための手段】本発明の複数画像の対応
点抽出法は、複数の画像のエピポーララインペアから形
成される視差画面上で局所演算処理を繰り返し行うこと
により視差ラインを得て、前記エピポーラライン上の対
応点を抽出する方法において、前記局所演算処理の視差
画面上のサイズを前記複数の画像中の対応する領域の局
所空間周波数に基づいて決めることを特徴とする。

【００３４】前記局所空間周波数の算出は予め画像分割
を行い、各領域の代表的空間周波数に基いて決めること
が好ましい。

【００３５】本発明の複数画像の対応点抽出法において
は、前記局所空間周波数のうちエピポーララインと概ね
直交方向の空間周波数成分に基いて画像データの補正を
行い、前記補正の後、前記局所空間周波数の水平方向代
表値を算出することにより、前記局所演算処理の視差画
面上サイズを決めることが好ましい。

【００３６】前記画像分割は複数のスケールで多重に行
い、各スケールで空間周波数の不連続部の検出を行った
後、前記不連続部の検出された領域では最小スケールの
局所領域で局所演算処理サイズの設定を行い、前記不連
続部の検出されない領域では最大スケールの局所領域で
局所演算処理サイズの設定を行うことは一層好ましい。

【００３７】

【作用】本発明によれば、局所演算処理の視差画面上サ
イズを複数の画像中の対応する領域の局所空間周波数に
基づいて決めることにより、対応点抽出精度を空間周波
数分布によらずに保つことができ、また視差ラインを得
るための必要演算回数（収束条件を満たすまでの反復演
算回数）を最小限にすることができる。

【００３８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００３９】（第１実施例）図１は本発明の第１実施例
の主な処理のフローチャート、図２は本発明の第１実施
例のハードウェア構成図、図３は本発明の第１実施例で
使用する局所演算子およびそのサイズの説明図、図４は
本発明の第１実施例の画像分割および局所空間周波数の
説明図である。

【００４０】図１中破線のブロックで囲まれた部分は図
２の対応点抽出処理部３で演算されるステップを示す。
図１において、まず図２の所定の配置のカメラ１，１₁
からなる複眼撮像光学系により複数の画像を撮像し演算
装置６へ入力し、演算装置６内の画像メモリ２，２₁に
記憶させる（ステップＳ₁ ）。次に、対応点抽出処理部
３が画面間で対応するエピポーララインペアを抽出し
（ステップＳ₂ ）、Ｓ／Ｎ、平均強度などを考慮して所
定の閾値で２値化した画像から従来例の協調法アルゴリ
ズムに基づき初期視差画面を生成する（ステップＳ
₄ ）。

【００４１】本実施例では協調法における楕円形状局所
演算子のサイズとして、図３に示すように視差画面内両
軸（左，右エピポーラライン）に対し４５°方向の長軸
サイズをＬ₁ 、その直交方向の軸上サイズをＬ₂ とす
る。

【００４２】ステップＳ₃ は、各入力原画面の局所的水
平方向空間周波数代表値分布Ｓ_f(i,j)を算出する（ｉ，
ｊは１〜ｎ間の整数）。このために図４のようにあらか
じめ原画像に所定サイズの領域分割（ｎｘｎ）を行い、
各領域でＳ_f を求め、この結果に基いて視差画面内各領
域での局所演算子サイズを決定する（ステップＳ₅ ）。

【００４３】以下簡単のために入力画像数を左右２つと
し、本実施例での局所演算子サイズ分布設定のステップ
（Ｓ₅ ）について述べる。まず左側入力画像のエピポー
ラライン上各点ｘ_L に対応する原画面内水平方向空間周
波数を

【００４４】

【外２】同様に右側入力画像のエピポーラライン上各点ｘ_R に対
して

【００４５】

【外３】とする。本実施例ではＬ₁ ，Ｌ₂ を

【００４６】

【数４】のように定める。ここにα^L ，α^R はそれぞれ定数であ
る。

【００４７】このように水平方向空間周波数に応じて原
画像中に対応する点にその空間周波数に反比例するサイ
ズの小さい局所演算子を適用する。ただしＬ₁ ，Ｌ₂ は
必ずしも空間周波数に反比例させる必要はなく、空間周
波数が高くなるほど減少する任意の非線形関数でもよ
い。またエピポーララインペア抽出（Ｓ₂ ）に先立って
輻輳角が０°でない場合には座標変換等によって画像デ
ータの補正を行ったのち局所空間周波数を算出すること
により、より適切な局所演算処理サイズを得ることがで
きる。局所空間周波数代表値Ｓ_f(i,j)としては、分割領
域内の最大スペクトル値を与える水平方向空間周波数あ
るいは平均的水平方向空間周波数

【００４８】

【外４】

【００４９】

【数５】（ただしａ_i は水平方向空間周波数ｆ_i におけるスペク
トル値）などが用いられる。

【００５０】また局所的空間周波数スペクトルの算出に
際しては、分割領域サイズに対応した幅のガウシアン関
数を重みつき窓関数とする局所フーリエ変換（Marcelja
S.(1980), J.Opt. Soc. Am, Vol.70 pp.1297-1300）な
どが用いられる。

【００５１】（第２実施例）図５は本発明の第２実施例
の主な処理のフローチャート、図６は本発明の第２実施
例のエピポーララインペアの説明図である。本実施例で
はステップＳ₃ において、図４のように領域分割された
各領域で原入力画像の垂直方向それぞれの空間周波数平
均値を算出する。またステップＳ₂ではエピポーラライ
ンの抽出をそれぞれの原画像全面にわたってあらがじめ
行うか、または対応点抽出を行う各エピポーララインペ
アをはさみ、近接した複数のエピポーララインセットを
あらかじめ抽出する。図５において、図１と同一ステッ
プ符号は同一処理を示す。

【００５２】本実施例では、簡単のためにカメラ配置は
輻輳角０°で光軸平行とし、対応点抽出を行うエピポー
ララインペアそれぞれに対し、上下各１本の最近接エピ
ポーララインのペアをあらかじめ抽出し、図６に示すよ
うに、左右入力画像の対応点抽出を行うエピポーラライ
ンペア（Ｌ^L _i，Ｌ^R _i）を中心とする計３つのエピポーラ
ラインペア（Ｌ^L _i-1，Ｌ^R _i-1），（Ｌ^L _i，Ｌ^R _i），（Ｌ
^L _i+1，Ｌ^R _i+1）を考える。

【００５３】まずエピポーララインの各点ｘ_i ^L(R) をは
さみ、ライン方向と直交方向の２点、

【００５４】

【外５】を考え、それぞれの画素値をＰ（ｘ_i ^L(R) ）のように表
記する。また

【００５５】

【外６】とおく。このとき（Ｐ₁ ，Ｐ₂ ，Ｐ₃ ）＝（０，１，
０）または（１，０，１）のように対応点抽出を行うエ
ピポーラライン上の点が孤立した画素値をとる場合は、
上下画素値Ｐ₁ （またはＰ₃ ）にＰ₂ を変更する（ステ
ップＳ₈ ）。ただしこのときｘ_i ^L(R) を含む領域の垂直
方向空間周波数Ｆ_v ^L(R) （ｘ_i ^L(R) ）はＦ_v＜Ｆ₀ ，Ｆ₀
：１／Ｌ_p （Ｌ_p ：画素サイズ）とする。すなわち垂
直方向の局所的空間周波数が隣接画素間での画素値の変
動を示すほど高くないにも拘らずそのような画素値の変
動を示す場合は、本実施例のステップＳ₈のように孤立
画素がノイズにより生起したものとみなし、これを補正
する。

【００５６】次に補正済みの画像に対し水平方向空間周
波数を算出（ステップＳ₃）し、以降の処理は第１実施
例と同じとする。すなわち本実施例では局所演算処理の
サイズを水平方向空間周波数に基いて決める。

【００５７】（第３実施例）図７は本発明の第３実施例
の多重分割の説明図、図８は本発明の第３実施例の主な
処理のフローチャートである。

【００５８】本実施例では局所空間周波数を求める領域
のサイズを複数用意する。すなわち入力画像を図７のよ
うにサイズＬ₁ ×Ｌ₁ ，Ｌ₂ ×Ｌ₂ ，・・・・，Ｌ_m ×Ｌ_m
（Ｌ ₁ ＞Ｌ₂ ＞・・・・＞Ｌ_m ）のようにｍ通りに分割して
おき、それぞれの分割サイズでの各領域の水平方向空間
周波数分布Ｓ_f ^k（ｉ，ｊ）（ｋ＝１，２，・・・・，ｍ）を
求める。ここでＳ_f ^k（ｉ，ｊ）は分割サイズＬ_k 、領域
番号（ｉ，ｊ）の領域において最大スペクトル値を与え
る代表的水平方向空間周波数値を表わす。次に同じ分割
サイズの隣接領域の水平方向空間周波数値との差の絶対
値｜Ｓ_f ^k（ｉ，ｊ）−Ｓ_f ^k（ｉ−１，ｊ）｜｜Ｓ_f ^k（ｉ，ｊ）−Ｓ_f ^k（ｉ＋１，ｊ）｜｜Ｓ_f ^k（ｉ，ｊ）−Ｓ_f ^k（ｉ，ｊ−１）｜｜Ｓ_f ^k（ｉ，ｊ）−Ｓ_f ^k（ｉ，ｊ＋１）｜を考え、その最大値をΔＳ_f ^k（ｉ，ｊ）とおく。隣接領
域間の水平方向空間周波数の差が所定値αより大きい場
合、サイズＬ_k 、領域番号（ｉ，ｊ）の分割領域は隣接
領域の少なくとも１つと異なる空間周波数を有し、本実
施例においては異なるサイズの局所演算子を用いるべき
であることを意味する。このような局所空間周波数の不
連続部を異なる分割領域サイズ、言い換えれば異なる解
像度で検出することにより、局所演算子のサイズを画像
中の局所的空間周波数の変化に応じて適切に定めること
ができる。

【００５９】すなわち空間周波数がゆるやかに変化する
場合には、サイズの大きい分割領域での代表的空間周波
数値Ｓ_f ^k（ｉ，ｊ）はその領域内でのサイズの小さい分
割領域での値Ｓ_f ^m（ｉ₁，ｊ₁）（ただしｍ＞ｋ，ｉ₁，
ｊ₁は１〜ｎ間の整数）に概ね等しくなる。一方、空間
周波数があるサイズＬ_k の分割領域内で不連続的に変化
する場合、不連続部分の領域サイズに応じてその領域内
においてＳ_f ^m（ｉ，ｊ）とＳ_f ^k（ｉ₁，ｊ₁）（ｍ＞ｋ）
とが著しく異なることがある。

【００６０】本実施例では、このような空間周波数分布
の誤推定をなくすために階層的に多重スケールで同一画
像の領域分割を行い各スケールごとに不連続部を検出
し、局所演算処理のサイズを不連続部の検出された最小
スケールで画像中の各領域ごとに設定する。

【００６１】以下、図８に基いて第３実施例の局所演算
子サイズの設定（ステップＳ₅ ）に至る処理を説明す
る。あらかじめ入力データを多重スケールで分割（ステ
ップＳ ₉ ）しておき、各スケールごとに、各領域で空間
周波数分布を算出し（ステップＳ₁₀）、さらに空間周波
数が局所的に不連続に変化する領域をスケールごとに検
出する（ステップＳ₁₁）。局所演算処理サイズの設定は
不連続の検出された最小スケールの局所領域ごとに行
う。また不連続の検出されない画像中の領域に対しては
不連続の検出されない最大スケールで設定を行うことに
より処理サイズの設定を正確に行うことができる。

【００６２】

【発明の効果】以上説明したように本発明によれば、画
像中の局所的空間周波数に応じて対応点抽出局所演算処
理サイズを適応的に変えることにより、対応点抽出精度
を空間周波数の局所的変化によらずに保持することがで
き、信頼性を向上させることができた。

【００６３】また視差ラインを得るまでの必要演算回数
を空間周波数に応じて最小限に抑えることができた。

【００６４】さらに水平方向空間周波数を局所演算処理
サイズの設定に用い、垂直方向空間周波数をノイズなど
の影響による画素データの補正に用いることにより、よ
り高精度な対応点抽出を行うことができた。

【図面の簡単な説明】

【図１】本発明の第１実施例の主な処理のフローチャー
ト。

【図２】本発明の第１実施例のハードウエア構成図。

【図３】本発明の第１実施例で使用する局所演算子およ
びそのサイズの説明図。

【図４】本発明の第１実施例の画像分割および局所空間
周波数の説明図。

【図５】本発明の第２実施例の主な処理のフローチャー
ト。

【図６】本発明の第２実施例のエピポーララインペアの
説明図。

【図７】本発明の第３実施例の多重画像分割の説明図。

【図８】本発明の第４実施例の主な処理のフローチャー
ト。

【図９】従来距離画像を求めるために用いられる三角測
量の説明図。

【図１０】（Ａ），（Ｂ）は図９の各点の座標を示す説
明図。

【図１１】（Ａ），（Ｂ），（Ｃ）は協調アルゴリズム
の説明図。

【図１２】各点ａ₁〜ａ₅におけるエピポーララインの説
明図。

【図１３】視差画面１１３および視差ライン１１４の説
明図。

【図１４】（Ａ）は各点ａ₂₁〜ａ₂₅におけるエピポーラ
ラインの説明図、（Ｂ）はその視差画面１２１および視
差ライン１３１の説明図。

【図１５】（Ａ）は各点ａ₃₁〜ａ₂₅におけるエピポーラ
ラインの説明図、（Ｂ）はその視差画面１２２および視
差ライン１３２の説明図。

【図１６】（Ａ）は各点ａ₄₁〜ａ₄₃におけるエピポーラ
ラインの説明図、（Ｂ）はその視差画面１２３および視
差ライン１３３の説明図。

【図１７】（Ａ）は各点ａ₅₁，ａ₅₂におけるエピポーラ
ラインの説明図、（Ｂ）はその視差画面１２４および視
差ライン１３４の説明図。

【図１８】（Ａ）は各点ａ₆₁〜ａ₆₆におけるエピポーラ
ラインの説明図、（Ｂ）はその視差画面１２５および視
差ライン１３５の説明図。

【図１９】協調アルゴリズムにより対応点抽出を行う例
を示すフローチャート。

【図２０】図１９で用いるエピポーララインの説明図。

【図２１】図１９で用いる初期画面の説明図。

【図２２】興奮性処理および抑制性処理の説明図。

【図２３】関値関数の例を示す図。

【符号の説明】

１，１₁ カメラ２，２₁ 画像メモリ３対応点抽出処理部６演算装置Ｓ₁ 複数画像入力のステップＳ₂ エピポーラライン抽出のステップＳ₃ 局所空間周波数分布算出のステップＳ₄ 初期画面生成のステップＳ₅ 局所演算子サイズ分布設定のステップＳ₆ 視差画面上並列局所演算のステップＳ₇ 新視差画面生成のステップＳ₈ 画素値補正のステップＳ₉ 多重スケール画像分割のステップＳ₁₀ スケール毎局所空間周波数分布算出のステップＳ₁₁ 局所空間周波数不連続部検出のステップ

Claims

【特許請求の範囲】

【請求項１】複数の画像のエピポーララインペアから
形成される視差画面上で局所演算処理を繰り返し行うこ
とにより視差ラインを得て、前記エピポーラライン上の
対応点を抽出する方法において、前記局所演算処理の視
差画面上のサイズを前記複数の画像中の対応する領域の
局所空間周波数に基づいて決めることを特徴とする対応
点抽出法。
【請求項２】前記局所空間周波数の算出は予め画像分
割を行い、各領域の代表的空間周波数に基いて決めるこ
とを特徴とする請求項１記載の複数画像の対応点抽出
法。
【請求項３】前記局所空間周波数のうちエピポーララ
インと概ね直交方向の空間周波数成分に基いて画像デー
タの補正を行い、前記補正の後、前記局所空間周波数の
水平方向代表値を算出することにより、前記局所演算処
理の視差画面上サイズを決めることを特徴とする請求項
１記載の複数画像対応点抽出法。
【請求項４】前記画像分割は複数のスケールで多重に
行い、各スケールで空間周波数の不連続部の検出を行っ
た後、前記不連続部の検出された領域では最小スケール
の局所領域で局所演算処理サイズの設定を行い、前記不
連続部の検出されない領域では最大スケールの局所領域
で局所演算処理サイズの設定を行うことを特徴とする請
求項２記載の複数画像の対応点抽出法。