JPH0581410A - 対応点探索方式 - Google Patents

Abstract

(57)【要約】 【目的】本発明は複数のテレビカメラで撮影されたステ
レオ画像を用いて両眼立体視を行う際適用される対応点
探索方式に関し、高速でかつ信頼性の高い対応点探索を
行うことを目的とする。 【構成】複数の画像入力手段で入力された入力画像１０
を用いて両眼立体視を行う際、左右画像上で対応点探索
を行う対応点探索方式において、入力画像１０から抽出
されたエッジから、縦方向に連続した連結エッジ２０を
生成する連続エッジ生成部１と、各走査線上において連
続エッジ生成部１により生成された連結エッジ２０に、
所定方向に対し順序付けを行う連結エッジ順序付け部２
と、連結エッジの属性、及び連結エッジ順序付け部２に
より順序付けされた連結エッジ３０の順序に基づき左右
画像上で連続エッジ３０の対応付けを行う連結エッジ対
応付け部３とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は対応点探索方式に係り、
特に複数のテレビカメラで撮影されたステレオ画像を用
いて両眼立体視を行う際適用される対応点探索方式に関
する。

【０００２】近年、２次元情報に比べて多種の情報を重
畳させうる３次元情報処理が注目されている。

【０００３】特に、ステレオ画像を用いて両眼立体視を
行う分野においては、左右画像の対応付けを誤りなく、
かつ高速に行うことが重要である。

【０００４】よって、左右画像より抽出されるエッジに
基づき高速かつ正確に左右画像の対応付けを行い得る対
応点探索方式が望まれている。

【０００５】

【従来の技術】複数のテレビカメラで撮影されたステレ
オ画像を用いて両眼立体視を行う際、左右画像の対応付
けを行う必要がある。この左右画像の対応付けの手法と
しては種々提案されているが、その一種として、先ず各
画像より連結エッジ（画像の縦及び斜め方向に接続して
いるエッジ）を生成し、生成された連結エッジに順序付
けを行い、続いて順序付けがされた連結エッジに基づき
左右画像の対応付けを行う方式が知られている。

【０００６】 上記の方式における連結エッジの生成
に関する従来技術は、次の通りである。先ず、画像より
エッジを抽出し、その後３×３のウィンドウを画像上で
移動させる。そして、このウィンドウ中心にヒットがあ
った場合、このヒットのあった位置を始点として、当該
中心の回り８近傍を探索することにより連続したエッジ
の探索を行う。この探索中に端点が発見されたならば、
そこでエッジを分割し、続いて分割されたエッジの探索
を続行する。

【０００７】 また、上記方式における連結エッジの
順序付けに関する従来技術としては、連結エッジに対し
順序付けする際に、連結エッジ上の最小となるＸ座標を
抽出し、この座標の大小関係でのみ順序付けを行ってい
た。

【０００８】 更に、上記方式における連結エッジの
対応付けに関する従来技術としては、画像から生成され
たセグメントの属性にのみ着目し、左右画像上の同一走
査線上にある全てのセグメントについて、その類似性か
らの対応の判定を行っていた。

【０００９】

【発明が解決しようとする課題】しかるに、上記で述
べた従来の連結エッジの生成方式では、中心の回り８近
傍に対してエッジの探索を行うと共に、端点検出，分岐
点検出，及び分岐点処理を同時に行うこととなり処理が
複雑になり処理の高速化が図れないという問題点があっ
た。

【００１０】また、上記で述べた従来の連結エッジの
順序付け方式では、図２３（Ａ）に示すように、連結エ
ッジが垂直に近い場合（同図には、ｅ_1,ｅ₂ の二つの連
結エッジが示されている）には順序付けの結果は一義的
に決定する。具体的には、本例の場合は、下端のＸ座標
の小さな連結エッジｅ₁ が１番となり、連結エッジｅ ₂
が２番となる。

【００１１】しかるに、同図（ｂ）のように、連結エッ
ジが傾いている場合（各図には、ｅ _1,ｅ_2,ｅ₃ の三つの
連結エッジが示されている）には、エッジの連結エッジ
の長さ及び位置により順序付きの結果が一義的に決定さ
れない場合が生ずるという問題点があった。

【００１２】具体的には、同図（ｃ）のように連結エッ
ジが傾いている場合であっても、各連結エッジｅ_1,ｅ_2,
ｅ₃ の下端のＸ座標がｅ₁ ＜ｅ₂ ＜ｅ₃ となっていれば
連結エッジｅ₁ を１番、連結エッジｅ₂ を２番、連結エ
ッジｅ₃ を３番と正確に順序づけを行うことができる。
しかし、上記した同図（ｂ）の場合には各連結エッジｅ
_1,ｅ_2,ｅ₃ の下端のＸ座標がｅ₁ ＞ｅ₂ ＞ｅ₃ となって
おり、従って従来方式では同図（ｂ）の場合は、連結エ
ッジｅ₁ を３番、連結エッジｅ₂ を２番、連結エッジｅ
₃ を１番と誤って順序付けを行ってしまう。

【００１３】更に、上記で述べた従来の連結エッジの
対応付け方式では、同一走査線上にある全てのセグメン
トが対応候補となり、対応付けを行う回数が増大し、ま
たその類似性のみによる判定では、誤対応の発生する可
能性が極めて高く、複雑な画像に対して行った対応付け
では、その対応付けの信頼性が低下するという問題点が
あった。

【００１４】本発明は上記の点に鑑みてなされたもので
あり、高速でかつ信頼性の高い対応点探索を行い得る対
応点探索方式を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記課題を解決するため
に、本発明では、複数の画像入力手段で入力された入力
画像を用いて両眼立体視を行う際、左右画像上で対応点
探索を行う対応点探索方式において、入力画像から抽出
されたエッジから、縦方向に連続した連結エッジを生成
する連続エッジ生成手段と、各走査線上において、連続
エッジ生成手段により生成された連結エッジに、所定方
向に対し順序付けを行う連結エッジ順序付け手段と、上
記連結エッジの属性、及び上記連結エッジ順序付け手段
により順序付けされた連結エッジの順序に基づき左右画
像上で連続エッジの対応付けを行う連結エッジ対応付け
手段とを設けたことを特徴とするものである。

【００１６】また、上記連続エッジ生成手段を、入力画
像から抽出されたエッジに対して、縦方向のエッジのみ
を抽出する縦エッジ抽出手段と、エッジが分岐，交差ま
たは同一の走査線と２回以上交差している場合にエッジ
を分割する交差分離手段と、連続したエッジを探索し、
所定条件を満たす連続したエッジが存在した場合、これ
を連続エッジとする連結エッジ探索判定手段とを設けた
構成としても良い。

【００１７】また、上記連結エッジ順序付け手段を、走
査線上に一本も該連結エッジが存在しない領域と、連結
エッジが存在する領域とを分割する領域分割手段と、上
記分割された領域内に存在する該連結エッジを、各領域
内で同一順序が付されないよう該連結エッジに固有の番
号を付す領域内順序付け手段と、上記順序付けされた連
結エッジを、画像全体にわたって同一順序が付されない
よう上記連結エッジに固有の番号を付す領域管順序付け
手段とを設けた構成としても良い。

【００１８】また、連結エッジ対応付け手段を、上記左
右画像上で順序付けされた連結エッジから、この連結エ
ッジの方向と長さを算出して、算出された方向と長さを
連結エッジの属性として対応付けを行う構成としても良
い。

【００１９】更に、連結エッジ対応付け手段を、連結エ
ッジに屈曲点が存在する場合に、この屈曲点の前後で連
結エッジを分割すると同時に分割したことを示す接続関
係を属性として与え、上記分割された個々の連結エッジ
の方向と長さを算出し、算出された方向と長さを連結エ
ッジの属性として対応付けを行う構成としても良い。

【００２０】

【作用】図２〜図７に連結エッジの生成に関する本発明
の原理図を示す。

【００２１】いま、図２に示すようなエッジが入力画像
より抽出されたとする。連続エッジ生成手段は、両眼立
体視の対応付けにおいて原理的に対応付けが不可能な横
エッジ（画像の水平方向のエッジ。同図に中空の○印で
示す）を除去する。図３は横エッジを消去する領域の方
向を示しており、また図４は横エッジを消去する方法を
示している。具体的には、１×３のウィンドウをＸ方向
に移動させ、図４（４）に示すようにＸ方向に横エッジ
を構成する画素が３個連続した場合に、その中央のエッ
ジを消去する処理が行われる。

【００２２】続いて、交差分離手段により、エッジが分
岐，交差，または同一走査線と２度以上交差する場合に
エッジを分離する。ここで、エッジが分岐，交差，また
は同一走査線と２度以上交差する場合とは、図５（Ａ）
〜（Ｄ）に示されるような場合である。

【００２３】エッジが分離されると、続いて連結エッジ
探索判定手段により、エッジの始点を探索し、この始点
の５近傍に対して連続したエッジの探索を行う。これ
は、３×１，３×３または３×２のウィンドウを移動さ
せることにより処理することができる。図６は連結エッ
ジの端点の探索方法を示しており、また図７は連結エッ
ジの探索の仕方を示している。

【００２４】図８〜図１０に連結エッジの順序付けに関
する本発明の原理図を示す。

【００２５】連結エッジ順序付け手段は、図８に示すよ
うに、連結エッジを構成する特徴点を各走査線（破線で
示す）毎に左から右へ番号付けし、走査線と連結エッジ
が交差する毎に番号を増やしてゆく。また領域分割手段
は、図９に示すように、走査線上に１本も連結エッジが
無い時に領域を分割し、分割された各領域毎に連結エッ
ジを左から右へ順序付けする。更に、領域間連結エッジ
順序付け手段は、図１０に示されるように、分割された
各領域間で連結エッジ番号が重複したり、抜けたりする
ことがないように順序付けを行う。

【００２６】図１１に上記のように順序付けされた連結
エッジを用いた左右画像の対応付けに関する本発明の原
理図を示す。

【００２７】連結エッジ対応付け手段は、予め各連結エ
ッジの属性として長さと方向を算出する。但し、同図に
示されるように連結エッジが曲率の大きな点を含む場合
には、屈曲点を探索し連結エッジをこの屈曲点で分割
し、分割された連結エッジについてその方向を算出する
ものとする。連結エッジ対応付け手段は、これらの属性
と連結エッジの順序を用いて左右画像の対応付け処理を
行う。

【００２８】両眼立体視において、オクルージョンによ
る特徴点の隠れや特徴点抽出のロスが無ければ、ある走
査線上での特徴点の並びは原理的に左右画像上で保存さ
れる。オクルージョンにより特徴点の隠れや特徴点抽出
のロスが有る場合であっても、それ以外の大部分の特徴
点については並びが保存されている。この保存された並
びを利用すると左右画像上で対応点を高速かつ正確に行
うことができる。

【００２９】

【実施例】次に本発明の実施例について図面と共に説明
する。図１は本発明の一実施例を示すブロック図であ
る。本発明方式は、大略すると連続エッジ生成部１と、
連結エッジ順序付け部２と、連結エッジ対応付け部３と
により構成されている。

【００３０】また、連続エッジ生成部１は、エッジ抽出
部１１，縦エッジ抽出部１２，交差分離部１３，連結エ
ッジ探索判定部１４とにより構成され、連結エッジ順序
付け部２は、走査線上順序付け部２１，領域分割部２
２，領域内順序付け部２３，領域間順序付け部２４とに
より構成され、更に連結エッジ対応付け部３は、エッジ
方向算出部３１，エッジ分割部３２，エッジ長抽出部３
３，対応付け候補選択部３４，連結エッジ対応付け部３
５とにより構成されている。

【００３１】連続エッジ生成部１の各構成要素は、次の
ように機能する。エッジ抽出部１１は入力画像１０より
輪郭線を抽出し、縦エッジ抽出部１２はエッジ抽出部１
１により抽出された輪郭線の内縦方向の輪郭線（縦エッ
ジ）のみを抽出する。そして、縦エッジ同士が交差する
場合、または１本の縦エッジが同一の走査線と複数回交
差する場合は、交差分離部１３により当該縦エッジは何
本かの縦エッジに分離される。交差分離部１３により分
離された縦エッジは、連結エッジ探索判定部１４により
連結を探索され、その長さが所定の閾値よりも大きい時
に、連結エッジと判定される。以上の処理により連結エ
ッジ２０が生成される。

【００３２】また、連結エッジ順序付け部２の各構成要
素は、次のように機能する。走査線上順序付け部２１
は、各走査線上で上記のように生成された連結エッジ２
０に番号付けを行う。また、走査線上に１本も連結エッ
ジ２０が無い場合には、領域分割部２２は領域を分割
し、領域内順序付け部２３は分割された領域内において
連結エッジを左から右へ順序付けする。領域間順序付け
部２４は、分割された領域間で、連結エッジ２０の番号
が重複したり抜けたりしないように順序付けを行う。以
上の処理により順序付けされた連結エッジ３０が生成さ
れる。

【００３３】更に、連結エッジ対応付け部３の各構成要
素は、次のように機能する。エッジ方向算出部３１は、
左右画像上で夫々順序付けされた連結エッジ３０−１，
３０−２より独立にエッジ長を抽出する。また、エッジ
分割部３２は、連結エッジ３０−１，３０−２が大きな
曲率を持つ場合にこの屈曲点を探索し、その屈曲点で連
結エッジ３０−１，３０−２を分割し、エッジ長抽出部
３３はエッジの方向を算出する。対応付け候補選択部３
４は、連結エッジ３０−１，３０−２の左右での順序を
考慮して対応付けすべき連結エッジの候補を選択し、連
結エッジ対応付け部３５は対応付け候補選択部３４で選
択された連結エッジについて、エッジ長と方向の類似性
を判定し、所定の判定基準に収まっていれば対応付けが
されたものとし、上記基準に収まらなければ誤対応であ
った旨を対応付け候補選択部３４に伝達し、次の候補の
対応付けを行う。以上の処理により視差画像４０が生成
される。尚、上記の処理において連続エッジ生成部１及
び連結エッジ順序付け部２で実施される処理は、左右画
像に対して夫々実施される処理である。

【００３４】続いて、上記した連続エッジ生成部１、連
結エッジ順序付け部２、連結エッジ対応付け部３を構成
する各構成要素について更に詳細に説明する。

【００３５】先ず、エッジ抽出部１１について説明す
る。

【００３６】画像の輪郭線を抽出するために、ある走査
線上の輝度レベルの二次微分がゼロとなる点をその走査
線上の輪郭線とする、いわゆるゼロクロッシング法を用
いる。ゼロクロッシング法により輪郭線を得るために
は、以下の処理が必要となる。

【００３７】(1) 入力画像の一次微分を求める (2) (1)の画像を二値化する (3) 入力画像の二次微分を求める (4) (3)の画像を二値化する (5) (4)の画像の輪郭を求める (6) (2)と(5) の共通部分を輪郭線とする (1) 入力画像の一次微分を求めるには、求める画素と
その回りの８点を含む、３×３の画素Ａに対して図１２
に示されるウィンドウを作用させ、

【００３８】

【数１】 を求めることにより得ることができる。例えば、３×３
の画素Ａが図１３に示される場合には、Ａｆ_x ＝６＋２
−８＋７＝７，Ａｆ_y ＝６−８−４−７＝−１３である
から、Ｆ₁ ＝１４となる。ここで、Ｆ₁ は明るさの度合
いを示す値であり、明るい程Ｆ₁ の値は大きくなる。 (2) (1)の画像を二値化は、一次微分画像が任意の閾値
θよりも大きい部分を１，その他を０とすることにより
得ることができる。 (3) 入力画像の二次微分を求めるには、各画素に図１
４に示されるウィンドウを作用させることにより得るこ
とができる。例えば、３×３の画素Ａが、図１３に示さ
れる場合には、二次微分Ｆ₂ はＦ₂ ＝−６０＋４０−２
−８−４−７＝１３となる。 (4) (3)で得られた二次微分画像の二値化は、閾値をθ
＝０とすることにより、上記の(2) と同様にして得るこ
とができる。 (5) (4)の画像の輪郭を求めるには、３×３の画素Ａの
中心が１である時、その回りの８画素の内、図１５に示
す４画素以上が１である場合に、中心を０とすることに
より求めることができる。同図において、空白で示した
部分は０または１のいずれでも良いため、中心を０とし
得る場合の数は全部で１６通りとなる。この１６通りを
判定するために、３×３の画素Ａに対して、各画素に図
１６に示すように順序を付ける。

【００３９】また、Ａ(-1)＝１の時、Ａ(0) 〜Ａ(7) の
ヒットしている場所を知るために、

【００４０】

【数２】 を求める。上式によると中心を除く４画素以上がヒット
している場合は、Ｉ_CASE＝85,87,93,95,117,119,125,12
7,213,215,221,223,245,247,253,255 の時であり、これ
らの時Ａ(-1)＝０とする。 (6) 上記の如く二値化された一次微分画像と、二値化
された二次微分画像の輪郭の各画素における論理積を計
算することにより、ゼロクロッシング法による輪郭線を
得ることができる。

【００４１】次に、縦エッジ抽出部１２について説明す
る。

【００４２】縦エッジを抽出するためには、図２で○で
示されたＸ軸と平行なエッジ（水平エッジ）を消去すれ
ばよい。このために、図３に示すような３×１のウィン
ドウをＸ軸方向に移動させながら、横エッジを消去す
る。この時、３×１のウィンドウに画素が並ぶパターン
は図４（１）〜（４）に示す４通りがあり、Ｘ軸と平行
に３画素以上が並ぶ場合を横エッジであるとすれば、同
図（４）の場合に３×１のウィンドウの中央を消去すれ
ばよい。

【００４３】次に、交差分離部１３について説明する。

【００４４】エッジの交差には、図５（Ａ），（Ｂ）に
示すような、エッジ同士が交差している場合と、同図
（Ｃ），（Ｄ）に示すような、一本のエッジが２回以
上同一の走査線と交差する場合とがある。

【００４５】エッジ同士が交差している場合は、次の
ようにしてエッジを分離する。エッジ画像において３×
３の画素の中央で複数のエッジ同士が交差するのは、中
央以外の画素が１である数をｎ_hit とするとｎ_hit ＞３
の時である。従って、ｎ_hit ＞３の時、３×３の画素の
中央を０とすれば交差を分離することができる。また、
一本のエッジが２回以上同一の走査線と交差する場合
は、次のようにしてエッジを分離する。一本のエッジが
２回以上同一の走査線と交差するのは、図１７に示す７
通りである。同図に示す７通りの場合を判定するため
に、エッジ抽出部１１において、二値化された二次微分
画像の輪郭を求めた時と同様に、３×３の画素Ａの各画
素に順番を付け、前記した数２によりＩ_CASEを求める。
すると、交差が生じるのは、Ｉ_CASE＝9,10,17,18,33,14
4,160 の時であり、これらの時Ａ(-1)＝０とすることに
より交差を分離することができる。

【００４６】次に、連結エッジ探索判定部１４について
説明する。

【００４７】縦エッジ抽出部１２及び交差分離部１３に
より生成された縦エッジは、そのままでは走査線間に渡
るエッジの連結情報が無いので、画像全体に渡ってエッ
ジの連結情報を生成する。エッジの連結情報を生成する
には、連結エッジ始点の発見と、連結エッジの探索
が必要である。また、探索された連結エッジの候補のう
ち、エッジの長さが決められた閾値よりも大きいものを
連結エッジであると判定し、連結エッジ情報を出力す
る。

【００４８】連結エッジ始点の発見は次のようにして
行う。図６のように、３×３のウィンドウを走査線に沿
って移動させ、３×３の中央の画素がヒットし、かつ左
右，左右斜め上，真上の５つの画素の内に１つだけヒッ
トがある時に、その中央の画素を連結エッジの始点とす
る。また、連結エッジの探索は、図７に示すように、
５つの画素のどれがヒットしたかによってその探索方向
を換え、その探索方向に沿って１画素づつエッジを探索
する。

【００４９】次に走査線上順序付け部２１について説明
する。

【００５０】図８に示されるように、各走査線毎に、Ｘ
座標の小さい値の方から連結エッジと交差が起こる度に
エッジに順番を付けてゆく。

【００５１】次に領域分割部２２について説明する。

【００５２】領域分割は、連結エッジの順序付け処理を
簡単化するために実行する処理である。図９に示すよう
に、Ｙが小から大に向かって走査線を動かし連結エッジ
と交差があった時、交差フラグ＝Ｔとし、交差が無い
時、交差フラグをＦとする。すると、縦エッジが存在し
ないのは、交差フラグがＴからＦに変わった点であるか
ら、この点で領域を分割すればよい。

【００５３】次に領域内順序付け部２３について説明す
る。

【００５４】連結エッジの順序付けが複雑となるのは、
ある連結エッジの順番が走査線によって異なっている
場合と、左にある連結エッジの順番が変更された場合
であり、それ以外では走査線上の順番付け部２１の結果
がそのまま領域内順序付け部２３の処理結果となる。上
記及びの場合には、以下のような処理を行う。

【００５５】ある連結エッジの順番が走査線によって
異なっている場合 走査線Ｙ＝ｉ−１とＹ＝ｉとで順番が変化した場合、順
番の小さい方を大きい方で置き換える。

【００５６】左にある連結エッジの順番が変更された
場合 上記ので順番が変更される前の状態で、それよりも右
にある連結エッジ（順番がの連結エッジよりも大き
い）の順番をにより更新された増加分を加算したもの
と置き換える。尚、図１８に上記した，により順番
の変更が起こる場合の処理の流れ、及びデータの格納の
仕方を示す。

【００５７】図１９及び図２０に、ある連結エッジの順
番が走査線によって異なっている場合の例を示し、また
各連結エッジの走査線毎での順番の変化を図２１及び２
２に示す。

【００５８】図１９の例では、走査線ｉ−１と走査線ｉ
において、連結エッジｄの順番が２から３へと変化して
いる。このような変化が起こった場合、走査線ｉ−１に
おいて連結エッジｄよりも右に連結エッジが存在する時
には、その連結エッジの順番を１つ増やせばよい。実際
には、連結エッジｃがｄの右側にあるから、走査線ｉに
おいて連結エッジｄの順番が１つ増えたことに対応し
て、連結エッジｃの順番も１つ増やせばよい（順番３を
順番４とする）。

【００５９】上記処理を行った結果が、図２０に示す順
序１である。しかし、このままでは連結エッジｂとｅ、
連結エッジｃとｆの順序が重複しているので、これを避
けるために更に順序付けを行う。２回目の順序付けにお
いては、順序１で得られた順序をソートすることにより
最終的な結果を得ることができる。この場合、連結エッ
ジｂとｅ、連結エッジｃとｆは互いに左右の関係を持た
ないので、その順序は任意である。従って、順序１より
連結エッジａ，ｂ，ｅ，ｄ，ｃ，ｆの順に連結エッジが
左から右へ並んでいると考えられ、順序１をソートした
順序２と一致する。

【００６０】図２１に示す例では、走査線ｉ−１と走査
線ｉにおいて、連結エッジｃの順番が３から１へと変化
している。このような変化が起こった場合、走査線ｉ−
１において連結エッジｃは連結エッジｂの右側にあるか
ら、走査線ｉにおいて連結エッジｃの順番が下がったな
ら（順番３が順番１に下がる）、連結エッジｃの順番を
走査線ｉ−１における順番と置き換える（順番１を順番
３に置き換える）。これに伴って、走査線ｉ−１におい
て連結エッジｃよりも順番の大きい連結エッジｄの順番
を連結エッジｃよりも大きくする（順番２を順番４に置
き換える）。以上の走査を行った結果が図２２に示す順
序１であり、順序の重複がないので順序１をソートした
順序２は順序１と同じになる。

【００６１】次に領域間順序付け部２４について説明す
る。

【００６２】図１０に示すように、分割された領域間に
またがって、連結エッジの順序付けを行う。この際、連
結エッジ番号が重複したり、抜けたりすることがないよ
うに、各領域における連結エッジ番号の最大値を次の領
域の連結エッジ番号に加える処理を行う。具体的には、
同図においてＹ座標の小さな領域（下部に位置する領
域）には順番１から順番４の４つの連結エッジがあるた
め、Ｙ座標の大きな領域（上部に位置する領域）に存在
する４つの連結エッジは、順番５から順番が付される。
よって、Ｙ座標の大きな領域に存在する４つの連結エッ
ジには左より順番５から順番８が付させる。

【００６３】次にエッジ方向算出部３１について説明す
る。

【００６４】左右画像で夫々順序付けられた連結エッジ
に対して、独立に連結エッジの属性の一つである方向を
算出する。但し、連結エッジ上に大きな曲率を持つ点が
存在する場合には、その点で連結エッジを分割した上で
方向を算出する。

【００６５】次にエッジ分割部３２について説明する。

【００６６】連結エッジ上の点について曲率を計算し、
閾値を上回る場合には、その点で連結エッジを分割す
る。曲率の変化は例えば、ｋ−曲率によって測定し、ｋ
−曲率の絶対値が一定値以上で局所的に極大または極小
となる点を屈曲点とし、その点で分割を行う（尚、ｋ−
曲率については、例えば「パターン情報処理」長尾真
著、コロナ社等に記されている）。エッジが分割された
時は、連結エッジの属性としてこの接続関係を付加す
る。

【００６７】次にエッジ長抽出部３３について説明す
る。

【００６８】エッジ分割部３２において分割された連結
エッジを構成する特徴点（画素）の数をエッジ長とす
る。

【００６９】次に対応付け候補選択部３４について説明
する。

【００７０】前記のように、両眼立体視において、オク
ルージョンにより特徴点の隠れや特徴点抽出のロスが無
ければ、ある走査線上での特徴点の並びは原理的に左右
画像上で保存されている。しかし、実際にはオクルージ
ョンにより特徴点の隠れや特徴点抽出のロスが有り、部
分的に順序の保存されてない場合が有るが、それ以外の
大部分の特徴点については順序が保存されている。この
保存された順序を用いることにより、対応付けを効率良
く行うことができる。

【００７１】対応付け候補選択部３４においては、同一
順序の連結エッジの対応付けを有線的に行い、対応が付
かなかった場合には、ある幅（１から上限値まで）で前
後の順位の連結エッジ同士を候補として出力する。

【００７２】次に連結エッジ対応付け部３５について説
明する。

【００７３】対応付け候補として選択された左右画像の
連続エッジの属性（長さ，方向，接続関係）に対して閾
値処理を行い、対応，誤対応を決定する。誤対応と判定
された場合には、その旨を対応付け候補選択部３４に伝
達し、新たに対応候補を得る。

【００７４】本発明に係る対応点探索方式では、上記し
てきたように、連結エッジの生成処理においては、始め
に横エッジを除去し、続いてエッジが分岐，交差または
同一の走査線と２度以上交差するように場合にエッジを
分離し、この分離されたエッジに対して始点を探索し、
この始点の５近傍に対して連続したエッジの探索を行う
ため、連結エッジの生成を高速に行うことができる。

【００７５】また、連結エッジの順序付け処理において
は、連結エッジを構成する特徴点を各走査線毎に左から
右へ番号付けし、ある走査線上に１本も連結エッジが無
い場合には、その前後で領域を分割し、分割された各領
域毎に連結エッジを左から右ほ順序付けし、分化された
領域間で連結エッジ番号が重複したり抜けたりすること
のないように順序付けすることにより、エッジの長さや
位置の影響を受けずに連結エッジの順序付けを行うこと
ができる。

【００７６】更に、両眼立体視においては、オクルージ
ョンによる特徴点の隠れや特徴点抽出のロスがある場合
でも、それ以外の大部分の特徴点については並びが保存
されているため、この保存された並びを利用して左右画
像上で対応点探索を高速かつ正確に行うことができる。

【００７７】

【発明の効果】上述の如く本発明によれば、両眼立体視
を行う際適用される対応点探索を高速かつ正確に行うこ
とができる等の特長を有する。

【図面の簡単な説明】

【図１】本発明の一実施例である対応点探索方式を適用
した対応点探索装置の構成をしめすブロック図である。

【図２】縦エッジの生成を説明するための図である。

【図３】横エッジを消去する領域の移動方向を示す図で
ある。

【図４】横エッジを消去する方法を説明するための図で
ある。

【図５】交差しているエッジの例を示す図である。

【図６】連結エッジの始点の発見方法を説明するための
図である。

【図７】連結エッジの探索方向を説明するための図であ
る。

【図８】走査線毎に番号付けを行う方法を説明するため
の図である。

【図９】領域の分割を説明するための図である。

【図１０】順序付けされた結果を示す図である。

【図１１】連結エッジの順序を用いた対応付けを説明す
るための図である。

【図１２】入力画像に対して一次微分処理を行う際、作
用させるウィンドウを示す図である。

【図１３】３×３の画素の一例を示す図である。

【図１４】一次微分画像に対して二次微分処理を行う
際、作用させるウィンドウを示す図である。

【図１５】二次微分画像の輪郭を求める際、作用させる
ウィンドウを示す図である。

【図１６】二次微分画像の輪郭を求める際、３×３の画
素に対して行う順番付けを説明するための図である。

【図１７】１本のエッジが２回以上同一の走査線と交差
する場合を示す図である。

【図１８】順番の変更が起こる場合の処理の流れ，デー
タの格納の仕方を示す図である。

【図１９】走査線毎に順番付けされた連結エッジの一例
を示す図である。

【図２０】図１９に示される連結エッジの順序付けを行
うテーブルを示す図である。

【図２１】走査線毎に順序付けされた連結エッジの一例
を示す図である。

【図２２】図２０に示される連結エッジの順序付けを行
うテーブルを示す図である。

【図２３】連結エッジの順序付けを説明するための図で
ある。

【符号の説明】

１ 連結エッジ部 ２ 連結エッジ順序付け部 ３ 連結エッジ対応付け部 １０ 入力画像 １１ エッジ抽出部 １２ 縦エッジ抽出部 １３ 交差分離部 １４ 連結エッジ探索判定部 ２０ 連結エッジ ２１ 走査線上順序付け部 ２２ 領域分割部 ２３ 領域内順序付け部 ２４ 領域間順序付け部 ３０−１，３０−２ 順序付連結エッジ ３１ エッジ方向算出部 ３２ エッジ分割部 ３３ エッジ長抽出部 ３４ 対応付け候補選択部 ３５ 連結エッジ対応付け部 ４０ 視差画像

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の画像入力手段で入力された入力画
   像（１０）を用いて両眼立体視を行う際、左右画像上で
   対応点探索を行う対応点探索方式であって、 入力画像（１０）から抽出されたエッジから、縦方向に
   連続した連結エッジ（２０）を生成する連続エッジ生成
   手段（１）と、 各走査線上において、該連続エッジ生成手段（１）によ
   り生成された連結エッジ（２０）に、所定方向に対し順
   序付けを行う連結エッジ順序付け手段（２）と、 該連結エッジの属性、及び該連結エッジ順序付け手段
   （２）により順序付けされた該連結エッジ（３０）の順
   序に基づき左右画像上で該連続エッジ（３０）の対応付
   けを行う連結エッジ対応付け手段（３）とを具備するこ
   とを特徴とする対応点探索方式。
2. 【請求項２】 該連続エッジ生成手段（１）は、 入力画像から抽出されたエッジに対して、縦方向のエッ
   ジのみを抽出する縦エッジ抽出手段（１２）と、 該エッジが分岐，交差または同一の走査線と２回以上交
   差している場合に該エッジを分割する交差分離手段（１
   ３）と、 連続したエッジを探索し、所定条件を満たす連続したエ
   ッジが存在した場合、これを連続エッジとする連結エッ
   ジ探索判定手段（１４）とを具備することを特徴とする
   請求項１の対応点探索方式。
3. 【請求項３】 該連結エッジ順序付け手段（２）は、 該走査線上に一本も該連結エッジが存在しない領域と、
   該連結エッジが存在する領域とを分割する領域分割手段
   （２２）と、 上記分割された領域内に存在する該連結エッジを、各領
   域内で同一順序が付されないよう該連結エッジに固有の
   番号を付す領域内順序付け手段（２３）と、 上記順序付けされた該連結エッジを、画像全体にわたっ
   て同一順序が付されないよう該連結エッジに固有の番号
   を付す領域間順序付け手段（２４）とを具備することを
   特徴とする請求項１の対応点探索方式。
4. 【請求項４】 該連結エッジ対応付け手段（３）は、 上記左右画像上で順序付けされた連結エッジから、該連
   結エッジの方向と長さを算出して、算出された方向と長
   さを該連結エッジの属性として対応付けを行うことを特
   徴とする請求項１の対応点探索方式。
5. 【請求項５】 該連結エッジ対応付け手段（３）は、 該連結エッジに屈曲点が存在する場合に、該屈曲点の前
   後で該連結エッジを分割すると同時に分割したことを示
   す接続関係を属性として与え、上記分割された個々の連
   結エッジの方向と長さを算出し、算出された方向と長さ
   を該連結エッジの属性として対応付けを行うことを特徴
   とする請求項４の対応点探索方式。