JPH0719832A

JPH0719832A - 複数画像の対応点抽出方法

Info

Publication number: JPH0719832A
Application number: JP5149302A
Authority: JP
Inventors: Kazutaka Inoguchi; 和隆猪口; Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-06-21
Filing date: 1993-06-21
Publication date: 1995-01-20
Also published as: US5655033A

Abstract

(57)【要約】【目的】複数画像の対応点抽出方法を、信頼性の向上
および処理時間の短縮化が図れるようにする。【構成】本発明の第１の複数画像の対応点抽出方法で
は、対応点が本来得られるべき右のエピポーララインＬ
_eRj を計算により求めて、従来の対応点抽出方法によっ
て右側画像上に得られた対応候補点Ｐ_Riを前記求めた右
のエピポーララインＬ_eRj 上の最短距離の点Ｐ_Ri’（図
１に○印で示す点）に移すことにより、複数画像の対応
点抽出を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数画像の対応点抽出
方法に関し、特に、複数の画像からそれぞれ抽出した複
数のエピポーララインから形成される視差画面上の各交
点で、複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、複数の画像の対応点を抽出する複数画像の対応点
抽出方法に関するものである。

【０００２】

【従来の技術】複眼撮像系を用いた画像処理技術として
は、一般に、三角測量を用いた３次元情報抽出方式およ
び高精細画像合成方式などが知られている。ここで、高
精細画像合成方式は、高解像化の手法として、（１）固体撮像素子をスイングさせて空間的に解像度を
上げる方法（２）入力光を分割して、複数の固体撮像素子で画像の
一部分を撮像し、領域合成する方法（３）複屈折による光学的シフトを用いる方法などを用
いるものである。

【０００３】しかし、上記（１）〜（３）の方法はいず
れも、入力してくる光を時空間的に分割するものであ
り、ＳＮ比の低下をもたらす。そこで、既存の２つ撮像
素子を用いて高解像度を図る方式、および、異なる角度
から撮影した２つの画像から高精細画像を生成する方式
について、本発明者らは提案している。高精細画像を得
る方式は、（１）各画像の対応関係を推定し、対応する位置に値を
入れる処理（２）上記（１）によってずれをもった形で入れた画素
から、等間隔でサンプリングされたように（あたかも高
解像な撮像素子で取得したように）変換する処理の２つ
の分けられる。このうち、上記（１）の処理に相当する
部分は、両眼立体視法の際の対応点抽出の問題と同様の
処理として考えることができる。

【０００４】図１８は、距離画像を求めるために用いら
れる三角測量を説明するための図である。なお、以下の
説明では、特記しない限り、右側カメラおよび左側カメ
ラのセンサがそれぞれポジ面に置かれた状態で図示す
る。

【０００５】三角測量は、２つのカメラ（右側カメラお
よび左側カメラ）を用いて三次元空間内にある物体（被
写体）を撮像した際、この物体上の一点Ｐの投影点を右
側カメラのレンズの中心点Ｏ_R および左側カメラのレン
ズの中心点Ｏ_L としたときの右側カメラのセンサ面Ａ_SR
での投影点Ｐ_R と左側カメラのセンサ面Ａ_SLでの投影点
Ｐ_L とから、この物体上の一点Ｐの三次元座標を得るも
のである。ここで、『基線Ｂ』，『基線長Ｌ_B 』，『エ
ピポーラ面（視線面）Ａ_e 』および『エピポーラライン
（視線像）Ｌ_eR，Ｌ_eL』はそれぞれ、以下のように定義
される。（１）『基線Ｂ』とは、右側カメラのレンズの中心点Ｏ
_R と左側カメラのレンズの中心点Ｏ_L とを結ぶ線をい
う。（２）『基線長Ｌ_B 』とは、基線Ｂの長さをいう。（３）『エピポーラ面Ａ_e 』とは、物体上の一点Ｐと投
影点Ｐ_R と投影点Ｐ_L との三点を結んでできる平面をい
う。（４）『エピポーラライン（視線像）Ｌ_eR』とは、エピ
ポーラ面Ａ_e と右側カメラのセンサ面Ａ_SRとの交線をい
い、『エピポーララインＬ_eL』とは、エピポーラ面Ａ_e
と左側カメラのセンサ面Ａ_SLとの交線をいう。

【０００６】図１９に示すように、基線Ｂの中点を原点
Ｏ（０，０，０），基線Ｂに沿ってｘ軸，紙面と垂直方
向にｙ軸（不図示）および基線Ｂと垂直方向にｚ軸をと
り、右側カメラのレンズおよび左側カメラのレンズの焦
点距離をそれぞれｆとし、物体上の一点Ｐ，投影点Ｐ_R
および投影点Ｐ_L の座標をそれぞれ（ｘ_P，ｙ_P，
ｚ_P），（ｘ_PR ，ｙ_PR，ｚ_PR）および（ｘ_PL，ｙ_PL，ｚ
_PL）とする。このとき、右側カメラおよび左側カメラの
光軸がそれぞれ、図１９に示すように、基線Ｂに対して
垂直である場合（すなわち、該２つの光軸が互いに平行
である場合）には、（ｘ_PL＋Ｌ_B／２）／ｆ＝（ｘ_P＋Ｌ_B／２）／ｚ_P （１．１）（ｘ_PR−Ｌ_B／２）／ｆ＝（ｘ_P−Ｌ_B／２）／ｚ_P （１．２）ｙ_L／ｆ＝ｙ_R／ｆ＝ｙ／ｚ_P （１．３）（Ｌ_B＋ｘ_PL−ｘ_PR）／ｆ＝Ｌ_B／ｚ_P （１．４）がそれぞれ成り立つ。よって、物体上の一点Ｐの座標
（ｘ_P，ｙ_P，ｚ_P）は、ｘ_P＝Ｌ_B・｛（ｘ_PL＋ｘ_PR）／２｝／（Ｌ_B＋ｘ_PL−ｘ_PR）（２．１）ｙ_P＝Ｌ_B・｛（ｙ_PL＋ｙ_PR）／２｝／（Ｌ_B＋ｘ_PL−ｘ_PR）（２．２）ｚ_P＝Ｌ_B・ｆ／（Ｌ_B＋ｘ_PL−ｘ_PR）（２．３）より求まる。

【０００７】また、右側カメラおよび左側カメラの光軸
がそれぞれ、図２０に示すように、基線Ｂに対して所定
の角度（輻湊角）θをもっている場合には、（ｘ_PL＋Ｌ_B／２）／ｚ_PL＝（ｘ_P＋Ｌ_B／２）／ｚ_P （３．１）（ｘ_PR−Ｌ_B／２）／ｚ_PR＝（ｘ_P−Ｌ_B／２）／ｚ_P （３．２）ｙ_PL／ｚ_PL＝ｙ_PR／ｚ_PR＝ｙ_P／ｚ_P （３．３）Ｌ_B／ｚ_P＝｛（ｘ_PL＋Ｌ_B／２）−（ｚ_PL／ｚ_PR）（ｘ_PR−Ｌ_B／２）｝／ｚ _PL （３．４）ただし、｜ｘ_PR｜≧｜ｘ_PL｜Ｌ_B／ｚ_P＝｛−（ｘ_PR−Ｌ_B／２）＋（ｚ_PR／ｚ_PL）（ｘ_PL＋Ｌ_B／２）｝／ｚ_PR （３．５）ただし、｜ｘ_PR｜＜｜ｘ_PL｜ｚ_PR＝（ｘ_PR−Ｌ_B／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．６）ｚ_PL＝−（ｘ_PL＋Ｌ_B／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．７）がそれぞれ成り立つ。したがって、物体上の一点Ｐの座
標（ｘ_P，ｙ_P，ｚ_P）は、上記（３．１）式から上記
（３．７）式より求まる。

【０００８】以上説明した三角測量により、右側撮像系
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体（被写体）までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
Ａ_SRでの投影点Ｐ_R と左側カメラのセンサ面Ａ_SLでの投
影点Ｐ_L とが同じ一点Ｐの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面Ａ_SLでの投影点Ｐ_L に対応す
る右側カメラのセンサ面Ａ_SRでの投影点Ｐ_R が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか（対応点抽出
方法）が問題となる。かかる対応点抽出方法の代表的な
ものとしては、既に工場などで応用されているテンプレ
ートマッチング法と、視覚の処理に基づく協調法（協調
的アルゴリズム）とがある。

【０００９】（１）テンプレートマッチング法テンプレートマッチング法は、左側カメラのセンサ面Ａ
_SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサＡ_SRに結像される右画像の類似性を比較する
ことによって、対応点を決定するものである。なお、類
似性の比較には、以下に示す二通りの方法がある。

【００１０】（ａ）ＳＳＤＡ法（Sequential Similarit
y Detection Algorithm ）ＳＳＤＡ法は、以下に示す（４．１）式で示すように、
左画像のエピポーララインＬ_eL上のすべての画素および
右画像のエピポーララインＬ_eR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値Ｅ_L と探
索する右画像中の画素値Ｅ_R との差を加算して、得られ
た和Ｅ(ｘ，ｙ)が最小値になる座標を対応点の座標とす
るものである。

【００１１】

【数１】ＳＳＤＡ法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。

【００１２】（ｂ）相関法相関法は、以下に示す（４．２）式で示すように、左画
像のテンプレート内の画像中の画素値Ｅ_L と探索する右
画像中の画素値Ｅ_R との相互相関をとることにより相関
値ρ(ｘ，ｙ)を求めて、求めた相関値ρ(ｘ，ｙ)が最大
値となる座標を対応点の座標とするものである。なお、
式（４．２）に示す正規化相互相関では、最大値は
“１”となる。

【００１３】

【数２】（２）協調法（協調アルゴリズム） David Marrにより提案された『協調アルゴリズム』は、
以下に示す３つの規則を用いて視差ラインを得るアルゴ
リズムである(D. Marr, Vision: A Computational Inve
stigation into the Human Representation and Proces
sing of VisualInformation, W. H. Freeman & Co., Sa
n Francisco Calif., 1982)。

【００１４】規則１（適合性） …… 黒点は黒点とのみ
整合し得る規則２（一意性） …… ほとんど常に、一つの画像の一
つの黒点は、他方の画像の唯一の黒点と整合し得る規則３（連続性） …… 整合する点の視差は、ほとんど
全域で滑らかに変化する。

【００１５】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図２１（Ａ）に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値
“１”をもち、一方、もしそれが正しくない対（誤標
的）を表わすならば、該処理装置は値“０”をもつ。

【００１６】規則２から、ただ１つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値“１”として生き残り、他
の処理装置の値をすべて“０”にすることで、規則２を
満足しようという考え方によるものである。

【００１７】規則３によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
２１（Ｂ）に示すような構造を与える。両眼からの視線
に対応する図中の水平の線101 および垂直の線102 に沿
う処理装置に抑制性結合をかけ、視差一定の線に対応す
る斜めの線103 に沿う処理装置には興奮性結合をかけ
る。我々は、そのアルゴリズムを二次元の画像に拡張で
きる。その場合は、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍104 にかかるようにす
る。これを図２１（Ｃ）に示す。

【００１８】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所（誤標的
も含めすべて）は“１”を与えて他はすべて“０”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の“１”を合計し、抑制性近傍の“１”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値“１”にセットされ、もしそうでなけ
ればその処理装置は“０”にセットされる。形式的に、
このアルゴリズムは、次の（５）式に示す反復関係によ
って表わされる。

【００１９】

【数３】ここで、

【００２０】

【外１】は、図２１（Ａ）に示したネットワークにおける位置
（ｘ，ｙ），視差ｄおよび時間ｔに対応する細胞の状態
を示す。Ｓ(ｘ，ｙ，ｄ)は局所的興奮性近傍，Ｏ(ｘ，
ｙ，ｄ)は抑制性近傍である。εは抑制定数であり、σ
は閾値関数である。初期状態Ｃ⁰ は、定められた視差範
囲内で、誤標的を含む可能な対をすべて含んでいる。こ
こで、それは各繰り返しごとに加えられる（そうする必
要はないが、こうするとアルゴリズムがより速く収束す
る）。

【００２１】次に、二枚の二値画像からそれぞれ抽出し
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。

【００２２】まず、視差ラインについて、図２２および
図２３をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図２２に示すような一組のエピ
ポーララインＬ_eL，Ｌ_eRが得られる。そこで、図２３に
示すように、得られた左のエピポーララインＬ_eLを画素
ａ_1Lが図示左側になり画素ａ_5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインＬ_eRを画素ａ_1Rが図示下側になり画素ａ_5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインＬ _eL，Ｌ_eR上の互いに対応する画素（画素
ａ_1Lと画素ａ_1Rなど）の交点ｂ₁〜ｂ₅をそれぞれ求め
る。このとき、各交点ｂ₁〜ｂ₅を結ぶ線を『視差ライン
114 』と呼び、視差が一定の場合には視差ライン114 は
図示右上がりの傾き４５゜の直線となるため、視差ライ
ン114 を求めることにより左画像と右画像との視差の変
化がわかる。なお、２つのエピポーララインＬ_eL，Ｌ_eR
により得られる平面を『視差画面113 』と呼ぶ。

【００２３】次に、視差ラインと距離との関係につい
て、図２４乃至図２８をそれぞれ参照して説明する。

【００２４】図２４（Ａ）に示すように、右側カメラお
よび左側カメラから遠くに存在する視差が一定の各点ａ
₂₁〜ａ₂₅について視差画面と視差ラインとを同様にして
求めると、同図（Ｂ）に示す視差画面121 と視差ライン
131 とが得られる。図２５（Ａ）に示すように、前記各
点ａ₂₁〜ａ₂₅よりも右側カメラおよび左側カメラの近く
に存在する視差が一定の各点ａ₃₁〜ａ₃₄について視差画
面と視差ラインとを同様にして求めると、同図（Ｂ）に
示す視差画面122 と視差ライン132 とが得られる。図２
６（Ａ）に示すように、前記各点ａ₃₁〜ａ₃₄よりも右側
カメラおよび左側カメラの近くに存在する視差が一定の
各点ａ₄₁〜ａ₄₃について視差画面と視差ラインとを同様
にして求めると、同図（Ｂ）に示す視差画面123 と視差
ライン133 とが得られる。図２７（Ａ）に示すように、
前記各点ａ₄₁〜ａ₄₃よりも右側カメラおよび左側カメラ
の近くに存在する視差が一定の各点ａ₅₁，ａ₅₂について
視差画面と視差ラインとを同様にして求めると、同図
（Ｂ）に示す視差画面124 と視差ライン134 とが得られ
る。

【００２５】以上のことにより、左側カメラおよび右側
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、（１）視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き４５°の直線
となる。（２）視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き４５°の直線となる。というこ
とがわかる。

【００２６】また、図２８（Ａ）に示すような各点ａ₆₁
〜ａ₆₆について視差画面と視差ラインとを同様にして求
めると、同図（Ｂ）に示す視差画面125 と視差ライン13
5 とが得られる。ここで、得られた視差ライン135 は、
視差画面125 の図示左下隅から図２４（Ｂ）に示した視
差ライン131 に沿って図示右上隅に向かって進み、途中
で図示５７（Ｂ）に示した視差ライン132 に移ったの
ち、図２４（Ｂ）に示した視差ライン131 に沿って図示
右上隅に向かって再度進むものとなる。したがって、凹
凸のある物体（被写体）についても、物体の凹凸に応じ
た視差ラインが得られることがわかる。

【００２７】以上の結果、三角測量より求めた距離のデ
ータを視差画面の座標が保持しているとすると、得られ
た視差ラインの座標より被写体までの距離を求めること
ができる。

【００２８】次に、Juleszのランダムドット・ステレオ
グラム（参照：デビット・マー，乾など訳，ビジョン
（視覚の計算理論と脳内表現），産業図書）のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図２９に示すフローチャートを参照して説明す
る。

【００２９】たとえばランダムドット・ステレオグラム
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
取り込んだのち（ステップＳ１）、取り込んだ二枚の二
値画像から任意の一組のエピポーララインＬ_eL，Ｌ_eRを
抽出する（ステップＳ２）。抽出した一組のエピポーラ
ラインＬ_eL，Ｌ_eRを図３０に示すように配置する（ステ
ップＳ３）。すなわち、左のエピポーララインＬ_eLは、
その左端141_Lが図示左側にされるとともにその右端141_R
が図示右側にされて、図示横方向に配置される。また、
右のエピポーララインＬ_eRは、その左端142_Lが図示下側
にされるとともにその右端142_Rが図示上側にされて、図
示縦方向に配置される。続いて、左のエピポーラライン
Ｌ_eL上の画素値“黒”を示す画素と右のエピポーラライ
ンＬ_eR上の画素値“黒”を示す画素とが視差画面143 上
で交差する視差画面143 上のすべての交点を黒点とする
ことにより、図３１に示すように、視差画面143 の初期
値を有する初期画面144 を作成する（ステップＳ４）。

【００３０】その後、作成された初期画面144 中の各黒
点に対して、実画素に基づく興奮性結合および抑制性結
合をもつ局所処理をそれぞれ行う（ステップＳ５）。こ
のとき、実画素に基づく興奮性結合は、図３２に示すよ
うに、初期画面144 中の任意の一つの黒点Ｑを中心とし
た、傾き４５°の図示右上がりの直線方向を長軸151と
するとともに傾き−４５°の図示右下がりの直線方向を
短軸152 とする楕円150 内に存在する各交点に対してそ
れぞれ行われる。また、実画素に基づく抑制性結合は、
黒点Ｑに対して、図示水平方向の軸および図示垂直方向
の軸上に存在する各交点に対してそれぞれ行われる。続
いて、実画素に基づく興奮性結合および抑制性結合をも
つ局所処理が行われた初期画面144 の各交点に対して、
たとえば図３３に示すような二値出力の閾値関数171
（上記（５）式の閾値関数σに相当）を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る（ステップＳ６）。続いて、ステップＳ５の処理およ
びステップＳ６の処理が所定回数だけそれぞれ行われた
か否かの判断を行い（ステップＳ７）、所定回数だけ行
われていない場合には、ステップＳ６の処理において作
成した新しい視差画面を初期画面として、ステップＳ５
の処理およびステップＳ６の処理を繰り返す。その結
果、最終的に、ステップＳ６の処理において作成した新
しい視差画面上に視差ラインが得られ、この視差ライン
に基づいて対応点の抽出を行うことができる。

【００３１】なお、ステップＳ７の判断の代わりに、視
差画面の各交点の値が収束するまで、ステップＳ６の処
理において作成した新しい視差画面を初期画面としてス
テップＳ５の処理およびステップＳ６の処理を繰り返し
て、処理を終えてもよい。また、ステップＳ１で取り込
んだ二枚の二値画像の他の組のエピポーララインＬ_eL，
Ｌ_eRについて視差ラインを求める場合には、ステップＳ
２からステップＳ７を再度繰り返すことにより、同様に
して視差ラインを求めることができる。

【００３２】次に、図２９のステップＳ２における一組
のエピポーララインの抽出方法について、図３４を参照
して詳しく説明する。

【００３３】２つのカメラ（左側カメラと右側カメラ）
のレンズの中心点をそれぞれ、図３４に示すように、Ｏ
_L，Ｏ_Rとする。また、左側カメラのセンサ面Ａ_SL上の座
標を（ｘ_L，ｙ_L，ｚ_L）、右側カメラのセンサ面Ａ_SR上
の座標を（ｘ_R，ｙ_R，ｚ_R）とする。このとき、ｚ_L 軸
およびｚ_R 軸は各光軸と一致するようにする。

【００３４】ｘ_L 軸，ｙ_L 軸，ｚ_L 軸，ｘ_R 軸，ｙ_R 軸
およびｚ_R 軸の単位ベクトルをそれぞれ

【００３５】

【外２】とし、左側カメラのセンサ面Ａ_SLから左側カメラのレン
ズの中心点Ｏ_L までの距離をｆ_L とし、右側カメラのセ
ンサ面Ａ_SRから右側カメラのレンズの中心点Ｏ_Rまでの
距離をｆ_R とすると、物体上の一点Ｐの左側カメラのセ
ンサ面Ａ_SL上の投影点Ｐ_L のベクトル

【００３６】

【外３】および右側カメラのセンサ面Ａ_SR上の投影点Ｐ_R のベク
トル

【００３７】

【外４】はそれぞれ、

【００３８】

【数４】と表される。

【００３９】左側カメラのセンサ面Ａ_SL上の投影点Ｐ_L
と左側カメラのレンズの中心点Ｏ_Lとの間の相対位置ベ
クトル

【００４０】

【外５】、および、右側カメラのセンサ面Ａ_SR上の投影点Ｐ_R と
右側カメラのレンズの中心点Ｏ_R との間の相対位置ベク
トル

【００４１】

【外６】はそれぞれ、

【００４２】

【数５】と表され、また、左側カメラのレンズの中心点Ｏ_L と右
側カメラのレンズの中心点Ｏ_R との間の相対位置ベクト
ル

【００４３】

【外７】（基線長に相当する）は、

【００４４】

【数６】と表され、エピポーラ面Ａ_e の単位法線ベクトル

【００４５】

【外８】は、

【００４６】

【数７】と表される。

【００４７】右側カメラのセンサ面Ａ_SRの単位法線ベク
トルを

【００４８】

【外９】とすると、右のエピポーララインＬ_eRは

【００４９】

【外１０】と

【００５０】

【外１１】とに直交するので、この方向の単位ベクトル

【００５１】

【外１２】は、

【００５２】

【数８】と表される。よって、右側カメラのセンサ面Ａ_SRの投影
点Ｐ_R のベクトルを

【００５３】

【外１３】とすると、右のエピポーララインＬ_eRは、

【００５４】

【数９】と表される。左のエピポーララインＬ_eLについても同様
に表される。

【００５５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の複数画像の対応点抽出方法においては、以下に
示すような問題がある。（１）テンプレートマッチング法では、一方の画像中の
点の他方の画像における対応点が画素上に得られるた
め、十分な精度を得ることができない。また、周期的な
画像中などでは誤対応を生じることがある。（２）テンプレートマッチング法では、周期的な構造を
もつ二値画像の場合には、誤対応を起こすなど信頼性が
十分ではない。（３）協調アルゴリズムでは、興奮性処理および抑制性
処理により、初期画面から視差ラインを得るまでの処理
時間が長いという欠点を有しており、また、信頼性の面
でも必ずしも十分というわけではない。

【００５６】本発明の目的は、信頼性の向上および処理
時間の短縮化が図れる複数画像の対応点抽出方法を提供
することにある。

【００５７】

【課題を解決するための手段】本発明の第１の複数画像
の対応点抽出方法は、複数の画像のうちの任意の一つの
画像から抽出したエピポーラライン上の複数の点に対す
る前記複数の画像のうちの他の画像上における対応点の
抽出を行う際に、対応候補点群を求めたのち、該求めた
対応候補点群を代表する直線を求め、該求めた直線上に
前記対応候補点群を移す。

【００５８】ここで、前記直線上に前記対応候補点群を
移す際に、該直線との間の距離が所定のしきい値よりも
小さい対応候補点のみ移し、該直線との間の距離が所定
のしきい値よりも大きい対応候補点を除去してもよい。

【００５９】また、前記対応候補点群を求める際に、前
記複数の画像からそれぞれ抽出した複数のエピポーララ
インから形成される視差画面上の各交点で、該複数の画
像の実画素に基づく興奮性結合および抑制性結合をもつ
局所演算を行うことにより視差ラインを得て、該複数の
画像の対応点を抽出する複数画像の対応点抽出方法を用
いてもよい。

【００６０】本発明の第２の複数画像の対応点抽出方法
は、複数の画像からそれぞれ抽出した複数のエピポーラ
ラインから形成される視差画面上の各交点で、該複数の
画像の実画素に基づく興奮性結合および抑制性結合をも
つ局所演算を行うことにより視差ラインを得て、該複数
の画像の対応点を抽出する複数画像の対応点抽出方法に
おいて、協調法以外の方法により対応候補点群を予め求
め、該求めた対応候補点群を用いて前記協調法により初
期画面の作成を行う。

【００６１】ここで、前記対応候補点群を予め求めるた
めの方法として、テンプレートマッチング法を用いても
よい。

【００６２】

【作用】本発明の第１の複数画像の対応点抽出方法は、
複数の画像のうちの任意の一つの画像から抽出したエピ
ポーラライン上の複数の点に対する複数の画像のうちの
他の画像上における対応点の抽出を行う際に、対応候補
点群を求めたのち、求めた対応候補点群を代表する直線
を求め、求めた直線上に前記対応候補点群を移すことに
より、複数画像間の対応関係が従来のテンプレートマッ
チング法などに比べより精度よく求まるため、サブ画素
精度での対応関係を得ることができる。また、前記直線
上に対応候補点群を移す際に、直線との間の距離が所定
のしきい値よりも小さい対応候補点のみ移し、直線との
間の距離が所定のしきい値よりも大きい対応候補点を除
去することにより、所定のしきい値を誤対応点判断の基
準として所定のしきい値よりも大きい対応候補点を除去
することができるため、複数画像間の対応関係をより一
層明確にすることができる。

【００６３】本発明の第２の複数画像の対応点抽出方法
は、協調法以外の方法（たとえば、テンプレートマッチ
ング法）により対応候補点群を予め求め、求めた対応候
補点群を用いて協調法により初期画面の作成を行うこと
により、視差画面中の視差ラインの生成を早めることが
できる。また、テンプレートマッチング法により対応候
補点群を予め求め、求めた対応候補点群を用いて協調法
により初期画面の作成を行うことにより、誤対応を少な
くすることができる。

【００６４】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００６５】なお、以下の説明では、左右一対のカメラ
を用いて得られた一対の画像において対応点抽出を行う
こととする。この際、左右どちらの画像を基準にして対
応を求めてもよいが、ここでは、左画像を基準とし、左
側画像中の点の対応点を右側画像中に求めるように、対
応点抽出を行うものとする。

【００６６】図１は、本発明の第１の複数画像の対応点
抽出方法の基本概念を説明するための図である。

【００６７】本来、左のエピポーララインＬ_eLj 上の一
点に対する右側画像中の対応点は、左のエピポーラライ
ンＬ_eLj と対をなす右のエピポーララインＬ_eRj 上の点
Ｐ_Ri’と対応しているはずである。しかし、テンプレー
トマッチング法などの従来の対応点抽出方法を行った場
合には、図１に×印で示すように、対応点Ｐ_Riが右のエ
ピポーララインＬ_eRj 上に得られず、ばらつきが生じる
（以下、対応点Ｐ_Riを「対応候補点Ｐ_Ri」と称す
る。）。そこで、本発明の第１の複数画像の対応点抽出
方法では、対応点が本来得られるべき右のエピポーララ
インＬ_eRj を計算により求めて、従来の対応点抽出方法
によって右側画像上に得られた対応候補点Ｐ_Riを前記求
めた右のエピポーララインＬ_eRj 上の最短距離の点
Ｐ_Ri’（図１に○印で示す点）に移すことにより、複数
画像の対応点抽出を行う。

【００６８】図２は、本発明の第１の複数画像の対応点
抽出方法の第１の実施例を説明するための図である。

【００６９】左側センサ上の一画素（一点）を選ぶと、
選んだ点と左側カメラのレンズ中心Ｏ_L と右側カメラの
レンズ中心Ｏ_R との３点から、エピポーラ面が形成され
る（ステップＳ１）。形成されたエピポーラ面と左右の
センサとの交線として、一対のエピポーララインが得ら
れる（ステップＳ２）。このようなエピポーララインの
組が画像中にｍ組存在するとして、左右のエピポーララ
インをそれぞれＬ_eLj，Ｌ_eRj （ｊ＝１〜ｍ）とする。
このとき、求められた左のエピポーララインＬ _eLj は、
前述した（６．９）式と同様にして、

【００７０】

【数１０】と表される。

【００７１】図３および図４に示すように、ステップＳ
２で求められた左のエピポーララインＬ_eLj と左側セン
サ上の各画素（図３図示白抜きの四角）との交点Ｐ_Liが
それぞれ抽出される。いま、左側センサ上の全域で、交
点Ｐ_Liが合計ｎ個得られたとする。ｎ個の交点Ｐ_Li（ｉ
＝１〜ｎ）について、テンプレートマッチング法などに
より、右側画像中の対応候補点Ｐ_Ri（ｉ＝１〜ｎ）が求
められる（ステップＳ３）。通常、テンプレートマッチ
ング法などにより対応候補点Ｐ_Riを求める場合は、図５
に示すように、右側センサの画素（図４図示白抜きの四
角）上に、対応候補点Ｐ_Riが得られる。そのため、本来
ならば、左のエピポーララインＬ_eLj と対をなす右のエ
ピポーララインＬ_eRj 上に直線状に得られるはずである
対応候補点点Ｐ_Riが、実際には、図６に示すように、ば
らついた状態でそれぞれ求められる。

【００７２】そこで、左のエピポーララインＬ_eLj と対
をなす右のエピポーララインＬ_eRjを算出する（ステッ
プＳ４）。図１９および図２０に示したような点０を原
点とする座標を考える。この座標系の表示では、左側カ
メラのセンサ面Ａ_SL上の投影点Ｐ_L と左側カメラのレン
ズの中心点Ｏ_L との間の相対位置ベクトル

【００７３】

【外１４】は、

【００７４】

【数１１】と表される。いま、

【００７５】

【数１２】と表されるベクトル

【００７６】

【外１５】を考える。

【００７７】

【数１３】で規定される点Ｐ_L’ は、点Ｏ_L，点Ｏ_Rおよび点Ｐ_L か
らなるエピポーラ面上にあり、 γ＝ｆ_R／ｆ_L （７．５）としたところで、点Ｐ_L’ が右側センサ面上または右側
センサ面を含む平面上にくる。したがって、

【００７８】

【数１４】とおけば、点Ｘ_Rは右側センサ面上にあり、かつ、右の
エピポーララインＬ_eRj上にある。また、右のエピポー
ララインＬ_eRj は、

【００７９】

【外１６】と

【００８０】

【外１７】とに直交するので、この単位方向ベクトル

【００８１】

【外１８】は、

【００８２】

【数１５】で表される。したがって、右のエピポーララインＬ_eRj
は、

【００８３】

【数１６】で表される。

【００８４】本来、対応候補点群は、上記ステップＳ４
で求めた右のエピポーララインＬ_eR _j の周辺に分布して
いるはずである。しかし、テンプレートマッチング法な
どを用いた場合には、誤対応を起こし、右のエピポーラ
ラインＬ_eRj から離れたところに対応候補点Ｐ_Riが求め
られることがある。そこで、対応候補点Ｐ_Riのうち誤対
応と考えられる点（以下、「誤対応点」と称する。）を
除去し（ステップＳ５）、対応点抽出における信頼性の
向上を図る。すなわち、誤対応点は、上述したように、
他の対応候補点Ｐ_Riに比べて、求めた右のエピポーララ
インＬ_eRj からの距離が離れていると考えられる。そこ
で、対応候補点Ｐ_Riと求めた右のエピポーララインＬ
_eRj との間の距離ｌ_i が所定のしきい値Ｔｈよりも大き
いときに、その対応候補点Ｐ_Riを誤対応点として除去す
る。なお、しきい値Ｔｈは、任意に設定可能であるが、
たとえば、距離ｌ_i の平均値

【００８５】

【外１９】の数倍程度とすればよい。また、誤対応点の除去方法と
しては、他の方法、たとえば、対応候補点分布における
偏差値を求め、求めた偏差値が所定の範囲内に入ってい
ないものを除去する方法などでもよい。

【００８６】続いて、上記ステップＳ５で除去されなか
った対応候補点Ｐ_Riを、対応点が本来存在するべきであ
る前記求めた右のエピポーララインＬ_eRj 上に再配置す
る（ステップＳ６）。その方法としては、図１に示すよ
うに、対応候補点Ｐ_Riと求めた右のエピポーララインＬ
_eRj との最短距離の点Ｐ_Ri’を求めて、この求めた点Ｐ
_Ri’に対応候補点Ｐ_Riを移せばよい。これにより、図７
に示すように、サブ画素精度を得ることが可能になる。

【００８７】以上で、左のエピポーララインＬ_eLj 上の
対応点抽出が完了するが、これと同様な左のエピポーラ
ラインＬ_eLj が左側画像中には複数本存在すると考えら
れる。いま、左側画像中に左のエピポーララインＬ_eLj
がｍ本得られるものとして、画面全域での対応を求める
ために、以下の過程を実行する。

【００８８】既に対応点抽出を行った左のエピポーララ
インＬ_eLj 上にない左側センサ上の一点を選び、ステッ
プＳ２〜ステップＳ６の動作を繰り返す（ステップＳ
７）。以上の動作をｍ回繰り返すことで、左側画像と右
側画像の対応がすべて求められ、画面全域での対応点抽
出が完了する（ステップＳ８）。

【００８９】次に、本発明の第１の複数画像の対応点抽
出方法の第２の実施例について、図８〜図１１をそれぞ
れ参照して、説明する。

【００９０】左のエピポーララインＬ_eLj 上の各点につ
いては、その対応点が右のエピポーララインＬ_eRj 上に
求められるはずである。しかし、左右のカメラの個体差
などにより、若干のズレを生じることが考えられる。そ
こで、右のエピポーララインＬ_eRj の代わりに、左のエ
ピポーララインＬ_eLj 上の各点に関してテンプレートマ
ッチング法などによって得られる右側画像上の対応候補
点Ｐ_Ri群の分布形状を近似する一本の直線を用いて、こ
の直線上の最短距離の点Ｐ_Ri’に対応候補点Ｐ _Ri群を再
配置することにより、複数画像の対応点抽出を行うこと
もできる。

【００９１】以下、本実施例の複数画像の対応点抽出方
法について、図８を参照しつつ、詳しく説明する。

【００９２】上述した第１の実施例と同様にして、左側
センサ上の一点を選択し（ステップＳ１１）、選択した
点と左側カメラのレンズ中心Ｏ_L と右側カメラのレンズ
中心Ｏ_R との３点から形成されるエピポーラ面と左右の
センサとの交線として一対のエピポーララインを得るこ
とにより左のエピポーララインＬ_eLj を求めたのち（ス
テップＳ１２）、求めた左のエピポーララインＬ_eLj と
左側センサ上の各画素との交点Ｐ_Liをそれぞれ抽出し
て、抽出したｎ個の交点Ｐ_Li（ｉ＝１〜ｎ）についてテ
ンプレートマッチング法などにより右側画像中の対応候
補点Ｐ_Ri（ｉ＝１〜ｎ）を求める（ステップＳ１３）。

【００９３】続いて、図１８に示した右側センサ面Ａ_SR
の座標軸に対応して、図９に示すような右側画像の座標
軸Ｘ_R，Ｙ_Rをとる。ここで、求める対応点群の分布形状
を一本の直線で近似する。近似した直線の方程式を“Ｙ
_R＝ａＸ_R＋ｂ”とすると、この直線と対応候補点Ｐ
_Ri(Ｘ_Ri，Ｙ_Ri)との間の距離ｌ_i は、ｌ_i＝｛（Ｘ_R−Ｘ_Ri）²＋（ａＸ_R＋ｂ−Ｙ_Ri）²｝^1/2 （８）で表わされる。そして、

【００９４】

【数１７】で定義される変数Ｅを最小とする各係数ａ，ｂの値をそ
れぞれ求めることにより、直線“Ｙ_R＝ａＸ_R＋ｂ”を決
定する（ステップＳ１４）。

【００９５】このとき、他の対応候補点に比べて前記直
線“Ｙ_R＝ａＸ_R＋ｂ”から著しく離れた対応候補点が存
在する場合には、この対応候補点は誤対応点と考えられ
るため、この対応候補点（誤対応点）を除去することに
より、信頼性の向上を図る（ステップＳ１５）。なお、
誤対応点の除去方法としては、上記（８）式より求めた
距離ｌ_i が所定のしきい値Ｔｈよりも大きいときに、そ
の対応候補点Ｐ_Riを誤対応点として除去する方法を用い
ることができる。ここで、しきい値Ｔｈは、任意に設定
可能であるが、たとえば、距離ｌ_i の平均値

【００９６】

【外２０】の数倍程度とすればよい。また、誤対応点の除去方法と
しては、他の方法、たとえば、対応候補点分布における
偏差値を求め、求めた偏差値が所定の範囲内に入ってい
ないものを除去する方法などでもよい。

【００９７】続いて、上記ステップＳ１５で除去されな
かった対応候補点Ｐ_Riを、対応点が本来存在するべきで
ある直線“Ｙ_R＝ａＸ_R＋ｂ”上に再配置する（ステップ
Ｓ１６）。その方法としては、図１０に示すように、対
応候補点Ｐ_Riと直線“Ｙ_R＝ａＸ_R＋ｂ”との最短距離の
点Ｐ_Ri’を求めて、この求めた点Ｐ_Ri’に対応候補点Ｐ
_Riを移せばよい。これにより、図１１に示すように、サ
ブ画素精度を得ることが可能になる。

【００９８】以上で、左のエピポーララインＬ_eLj 上の
対応点抽出が完了するが、これと同様な左のエピポーラ
ラインＬ_eLj が左側画像中には複数本存在すると考えら
れる。いま、左側画像中に左のエピポーララインＬ_eLj
がｍ本得られるものとして、画面全域での対応を求める
ために、以下の過程を実行する。

【００９９】既に対応点抽出を行った左のエピポーララ
インＬ_eLj 上にない左側センサ上の一点を選び、ステッ
プＳ１２〜ステップＳ１６の動作を繰り返す（ステップ
Ｓ１７）。以上の動作をｍ回繰り返すことで、左側画像
と右側画像の対応がすべて求められ、画面全域での対応
点抽出が完了する（ステップＳ１８）。

【０１００】なお、ステップＳ１５で除去すべき誤対応
点は、互いに隣り合う２つの対応候補点間の距離が他の
ものに比べて著しく長いものとして求められるはずであ
る。したがって、このような対応候補点が存在する場合
は、直線“Ｙ_R＝ａＸ_R＋ｂ”を求める前の段階でその対
応候補点を予め除去しておけば、対応点分布形状を近似
する直線“Ｙ_R＝ａＸ_R＋ｂ”をより精度よく求めること
ができる。

【０１０１】以上説明した各実施例においては、複数画
像の対応点抽出方法としてテンプレートマッチング法を
用いた場合についてのみ言及しているが、それ以外の複
数画像の対応点抽出方法（たとえば協調法など）を用い
ても、同様の効果が得られる。また、カメラのレンズの
収差などによりエピポーララインが直線状に得られない
場合などにおいては、上述した手順を右側画像を基準と
しても行い、左側画像を基準とした場合と右側画像を基
準とした場合の動作を複数回だけ繰り返すことによって
も、同様の効果が期待できる。

【０１０２】図１２は、本発明の第２の複数画像の対応
点抽出方法の基本概念を説明するためのフローチャート
である。なお、以下の説明においては、複眼撮像系によ
り得られる左右一対の二値画像に対して、一画素単位の
精度で対応点抽出を行うこととする。

【０１０３】複眼撮像系より画像を取り込むことによ
り、左右一対の二値画像を得る（ステップＳ２１）。得
られた一組の二値画像を用いて、テンプレートマッチン
グ法により対応点抽出を行うことにより、対応候補点を
求める（ステップＳ２２）。ステップＳ２１で得られた
一組の二値画像から任意の左右一組のエピポーラライン
Ｌ_eL，Ｌ_eRを抽出する（ステップＳ２３）。なお、抽出
した左右のエピポーララインＬ_eL，Ｌ_eRは、ステップＳ
２２で求めた対応関係が存在している。

【０１０４】続いて、抽出した左右のエピポーラライン
Ｌ_eL，Ｌ_eRを、図１３に示すように、それぞれ配置する
（ステップＳ２４）。すなわち、左端１１_L を図示左側
にするとともに右端１１_R を図示右側にして、左のエピ
ポーララインＬ_eLを図示横方向に配置する。また、左端
１２_L を図示下側にするとともに右端１２_R を図示上側
にして、右のエピポーララインＬ_eRを図示縦方向に配置
する。続いて、左右のエピポーララインＬ_eL，Ｌ_eRの画
素間の対応候補点情報などに基づいて、視差画面の初期
値を有する初期画面２０を作成する（ステップＳ２
５）。このときの視差画面の初期値の選び方は種々ある
ので、その詳細については、後述する各実施例の説明の
中で説明する。

【０１０５】その後、作成した初期画面２０中の各黒点
に対して、実画素に基づく興奮性結合および抑制性結合
をもつ局所処理をそれぞれ行う（ステップＳ２６）。こ
のとき、実画素に基づく興奮性結合は、図３２に示した
ように、初期画面２０中の任意の一つの黒点を中心とし
た、傾き４５°の図示右上がりの直線方向を長軸とする
とともに傾き−４５°の図示右下がりの直線方向を短軸
とする楕円内に存在する各交点に対してそれぞれ行われ
る。また、実画素に基づく抑制性結合は、黒点に対し
て、図示水平方向の軸および図示垂直方向の軸上に存在
する各交点に対してそれぞれ行われる。続いて、実画素
に基づく興奮性結合および抑制性結合をもつ局所処理が
行われた初期画面２０の各交点に対して、たとえば図３
３に示したような二値出力の閾値関数を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る（ステップＳ２７）。

【０１０６】続いて、ステップＳ２６の処理およびステ
ップＳ２７の処理が所定回数だけそれぞれ行われたか否
かの判断を行い（ステップＳ２８）、所定回数だけ行わ
れていない場合には、ステップＳ２７の処理において作
成した新しい視差画面を初期画面として、ステップＳ２
６の処理およびステップＳ２７の処理を繰り返す。その
結果、最終的に、ステップＳ２７の処理において作成し
た新しい視差画面上に視差ラインが得られ、この視差ラ
インに基づいて対応点の抽出を行うことができる。

【０１０７】なお、ステップＳ２８の判断の代わりに、
視差画面の各交点の値が収束するまで、ステップＳ２７
の処理において作成した新しい視差画面を初期画面とし
てステップＳ２６の処理およびステップＳ２７の処理を
繰り返して、処理を終えてもよい。また、ステップＳ２
１で取り込んだ二枚の二値画像の他の組のエピポーララ
インＬ_eL，Ｌ_eRについて視差ラインを求める場合には、
ステップＳ２３からステップＳ２８を再度繰り返すこと
により、同様にして視差ラインを求めることができる。

【０１０８】次に、上述したステップＳ２５における初
期画面２０の作成に際しての初期値の選び方について、
第１の実施例乃至第３の実施例を用いて詳細に説明す
る。

【０１０９】本発明の第２の複数画像の対応点抽出方法
の第１の実施例では、図１２に示したステップＳ２５の
処理において、テンプレートマッチング法によって得ら
れた対応情報のみから初期画面を作成する。すなわち、
左のエピポーララインＬ_eL上の任意の一画素と最も相関
の強かった右のエピポーラライン上の画素（対応候補
点）とが視差画面上で交差する点を黒点とすると、図１
３に示したような視差画面が得られる。この視差画面を
初期画面２０として、図１２に示したステップＳ２６以
下の処理を行う。

【０１１０】このとき、初期画面２０における黒点の並
びは、図１７に示す最終的に求める視差ライン６０に近
い形状であるため、処理に要する時間が短縮できる。ま
た、初期画面２０の複数の黒点に含まれる誤対応点も、
図１２に示したステップＳ２６の処理により除去される
ため、信頼性の向上が図れる。

【０１１１】本発明の第２の複数画像の対応点抽出方法
の第２の実施例では、視差画面の初期値は、通常初期値
と対応候補点情報のみに基づく初期値とから表１に示す
“ＡＮＤ”の関係に従って選ばれる。ここで、「通常初
期値」とは、従来例の協調アルゴリズムの項で述べたよ
うな、左のエピポーララインＬ_eL上の画素値“黒”を示
す画素と右のエピポーララインＬ_eR上の画素値“黒”を
示す画素とが視差画面上で交差する視差画面上のすべて
の交点を黒点とすることにより選ばれた初期値をいう。

【０１１２】

【表１】左右のエピポーララインＬ_eL，Ｌ_eR上の画素値がそれぞ
れ、図１４に示すような“黒”と“白”の画素値で与え
られているとき、“通常初期値”に基づく初期画面３０
は、図１４に示す初期画面として与えられる。初期画面
３０上において黒点で示された交点で、かつ、テンプレ
ートマッチング法で得られた対応候補点情報に基づく図
１３に示した初期画面２０上において黒点で示された交
点を、黒点とすることにより、図１５に示すような初期
画面４０を作成する。その後、図１２に示したステップ
Ｓ２６以降の処理を施すことにより、最終的に図１７に
示すような視差ライン６０を得る。

【０１１３】本実施例においても、前述した本発明の第
２の複数画像の対応点抽出方法の第１の実施例と同様の
効果が得られるとともに、対応候補点中の明らかに左右
の画素値の違う対応が協調アルゴリズムに基づく処理を
行う前に除去されるという効果を得られる。

【０１１４】本発明の第２の複数画像の対応点抽出方法
の第３の実施例では、視差画面の初期値は、通常初期値
と対応候補点情報のみに基づく初期値とから表１に示す
“ＯＲ”の関係に従って選ばれる。

【０１１５】すなわち、“通常初期値”に基づき作成さ
れた図１４に示した初期画面３０上において黒点で示さ
れた交点とテンプレートマッチング法で得られた対応候
補点情報に基づく図１３に示した初期画面２０上におい
て黒点で示された交点との両方を黒点とすることによ
り、図１６に示すような初期画面５０を作成する。その
後、図１２に示したステップＳ２６以降の処理を施すこ
とにより、最終的に図１７に示すような視差ライン６０
を得る。

【０１１６】本実施例においても、前述した本発明の第
２の複数画像の対応点抽出方法の第１の実施例と同様の
効果が得られるとともに、対応点探索の範囲が拡がり、
より信頼性の高い対応点抽出を行うことができる。

【０１１７】なお、表１において、『左右画素値』の欄
は、左エピポーララインＬ_eLおよび右エピポーラライン
Ｌ_eR上の画素の画素値（“黒”または“白”）を示すも
のである。『対応候補関係』の欄は、左右画素同士が対
応候補点であると求められた場合の“有”と対応候補点
同士ではないとされた場合の“無”とを示すものであ
る。『初期値の与え方』の欄は、視差画面上で左右の画
素同士が交わる点に与える値（“黒”または“白”）を
示すものである。『通常初期値』の欄は、左右画素値が
ともに“黒”である場合にのみ“黒”とする初期値の与
え方を示すものである。『対応候補点』の欄は、対応候
補点同士であるとされた交点（すなわち、『対応候補関
係』の欄で“有”で示された交点）に“黒”を与える第
１の実施例における初期値の与え方を示すものである。
『ＡＮＤ』の欄は、『通常初期値』の欄と『対応候補
点』の欄でともに“黒”で示された交点にのみ“黒”と
する第２の実施例における初期値の与え方を示すもので
ある。『ＯＲ』の欄は、『通常初期値』の欄で“黒”で
示された交点および『対応候補点』の欄で“黒”で示さ
れた交点の両方の交点に“黒”を与えるに第３の実施例
おける初期値の与え方を示すものである。

【０１１８】以上の説明では、二値画像について本発明
の第１および第２の複数画像の対応点抽出方法を適用し
たが、濃淡画像について適用する場合には、たとえば特
願平４−２８８３７１号において開示したようなエピポ
ーララインの各画素値を中間値としかつ視差画面上の各
交点の値を中間値とする手法と組み合せることにより、
濃淡画像についても適用することができる。

【０１１９】

【発明の効果】本発明は、上述のとおり構成されている
ので、次の効果を奏する。

【０１２０】請求項１記載の発明（本発明の第１の複数
画像の対応点抽出方法）は、複数画像間の対応関係が従
来のテンプレートマッチング法などに比べより精度よく
求まるため、サブ画素精度での対応関係を得ることがで
きるので、信頼性の向上が図れる。

【０１２１】請求項２記載の発明（本発明の第１の複数
画像の対応点抽出方法）は、所定のしきい値を誤対応点
判断の基準として所定のしきい値よりも大きい対応候補
点を除去することができるため、複数画像間の対応関係
をより一層明確にすることができるので、さらに信頼性
の向上が図れる。

【０１２２】請求項３記載の発明（本発明の第２の複数
画像の対応点抽出方法）は、視差画面中の視差ラインの
生成を早めることができるので、処理時間の短縮化が図
れる。

【０１２３】請求項４記載の発明（本発明の第２の複数
画像の対応点抽出方法）は、誤対応を少なくすることが
できるので、信頼性の向上が図れる。

【図面の簡単な説明】

【図１】本発明の第１の複数画像の対応点抽出方法の基
本概念を説明するための図である。

【図２】本発明の第１の複数画像の対応点抽出方法の第
１の実施例を説明するための図である。

【図３】図２に示したステップＳ３における動作を説明
するための図である。

【図４】図２に示したステップＳ３における動作を説明
するための図である。

【図５】図２に示したステップＳ３における動作を説明
するための図である。

【図６】図２に示したステップＳ３における動作を説明
するための図である。

【図７】図２に示したステップＳ６における動作を説明
するための図である。

【図８】本発明の第１の複数画像の対応点抽出方法の第
２の実施例を説明するための図である。

【図９】図８に示したステップＳ１４における動作を説
明するための図である。

【図１０】図８に示したステップＳ１６における動作を
説明するための図である。

【図１１】図８に示したステップＳ１６における動作を
説明するための図である。

【図１２】本発明の第２の複数画像の対応点抽出方法の
基本概念を説明するためのフローチャートである。

【図１３】図１２に示したステップＳ２４における動作
を説明するための図である。

【図１４】本発明の第２の複数画像の対応点抽出方法の
第２の実施例における初期画面の作成に際しての初期値
の選び方を説明するための図である。

【図１５】本発明の第２の複数画像の対応点抽出方法の
第２の実施例において作成される初期画面の一例を示す
ための図である。

【図１６】本発明の第２の複数画像の対応点抽出方法の
第３の実施例において作成される初期画面の一例を示す
ための図である。

【図１７】最終的に得られる視差ラインの一例を示すた
めの図である。

【図１８】距離画像を求めるために用いられる三角測量
を説明するための図である。

【図１９】図１８に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
垂直である場合の物体上の一点の座標を説明するための
図である。

【図２０】図１８に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
角度（輻湊角）をもっている場合の上の一点の座標を説
明するための図である。

【図２１】協調アルゴリズムを説明するための図であ
る。

【図２２】視差ラインを説明するための図である。

【図２３】視差ラインを説明するための図である。

【図２４】視差ラインと距離との関係を説明するための
図である。

【図２５】視差ラインと距離との関係を説明するための
図である。

【図２６】視差ラインと距離との関係を説明するための
図である。

【図２７】視差ラインと距離との関係を説明するための
図である。

【図２８】視差ラインと距離との関係を説明するための
図である。

【図２９】Juleszのランダムドットステレオグラムのよ
うに極めて類似した画像に変換された二枚の二値画像に
対して協調アルゴリズムにより対応点抽出を行う例を説
明するためのフローチャートである。

【図３０】協調アルゴリズムにおける左右のエピポーラ
ラインの配置を示す図である。

【図３１】協調アルゴリズムにおける初期画面の作成方
法を説明するための図である。

【図３２】協調アルゴリズムにおける実画素に基づく興
奮性結合および抑制性結合の範囲を説明するための図で
ある。

【図３３】二値出力の閾値関数の一例を示す図である。

【図３４】一組のエピポーララインの抽出方法を説明す
るための図である。

【符号の説明】

１１_L，１２_L 左端１１_R，１２_R 右端２０，４０，５０初期画面３０通常初期値に基づく初期画面６０視差ラインＬ_eLj，Ｌ_eL 左のエピポーララインＬ_eRj，Ｌ_eR 右のエピポーララインＰ_Ri 対応候補点Ｐ_Li 交点Ｐ_Ri’ 点Ｘ_R，Ｙ_R 座標軸

Claims

【特許請求の範囲】

【請求項１】複数の画像のうちの任意の一つの画像か
ら抽出したエピポーラライン上の複数の点に対する前記
複数の画像のうちの他の画像上における対応点の抽出を
行う際に、対応候補点群を求めたのち、該求めた対応候
補点群を代表する直線を求め、該求めた直線上に前記対
応候補点群を移すことを特徴とする複数画像の対応点抽
出方法。
【請求項２】前記直線上に前記対応候補点群を移す際
に、該直線との間の距離が所定のしきい値よりも小さい
対応候補点のみ移し、該直線との間の距離が所定のしき
い値よりも大きい対応候補点を除去することを特徴とす
る請求項１記載の複数画像の対応点抽出方法。
【請求項３】前記対応候補点群を求める際に、前記複
数の画像からそれぞれ抽出した複数のエピポーラライン
から形成される視差画面上の各交点で、該複数の画像の
実画素に基づく興奮性結合および抑制性結合をもつ局所
演算を行うことにより視差ラインを得て、該複数の画像
の対応点を抽出する複数画像の対応点抽出方法を用いる
ことを特徴とする請求項１または請求項２記載の複数画
像の対応点抽出方法。
【請求項４】複数の画像からそれぞれ抽出した複数の
エピポーララインから形成される視差画面上の各交点
で、該複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、該複数の画像の対応点を抽出する複数画像の対応
点抽出方法において、協調法以外の方法により対応候補
点群を予め求め、該求めた対応候補点群を用いて前記協
調法により初期画面の作成を行うことを特徴とする複数
画像の対応点抽出方法。
【請求項５】前記対応候補点群を予め求めるための方
法として、テンプレートマッチング法を用いたことを特
徴とする請求項４記載の複数画像の対応点抽出方法。