JPH08294143A

JPH08294143A - 画像間対応付け方法および画像間視差計測方法

Info

Publication number: JPH08294143A
Application number: JP7097204A
Authority: JP
Inventors: Katsumasa Onda; 勝政恩田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-04-21
Filing date: 1995-04-21
Publication date: 1996-11-05
Anticipated expiration: 2019-07-07
Also published as: JP3539788B2; DE69624614D1; EP0738872A3; US5867591A; EP0738872A2; EP0738872B1; DE69624614T2; CA2174590A1; US6125198A; CA2174590C

Abstract

(57)【要約】【目的】できるだけ少ない演算量でステレオ画像の対
応付けおよびステレオ画像の視差を決定し、また、対応
付けで発生した誤りを吸収できるようにする。【構成】まず、撮像フェーズ(Ａ)では２台の撮像装置
にて左右の画像を得る(Ｓ101，Ｓ102)。次に、撮像フェ
ーズ(Ａ)で得られた左右画像は、特徴抽出フェーズ(Ｂ)
にて特徴抽出が施され(Ｓ103，Ｓ104)、後段の対応付け
フェーズ(Ｃ)にて左右２つの特徴画像間で対応付けが行
われる(Ｓ105)。対応付けフェーズ(Ｃ)では、基準とす
る一方の特徴画像上をある走査規則にしたがって一次元
ウィンドゥを走査させることによって、対応付けの単位
である前記ウィンドゥを順次設定し、設定した前記一次
元ウィンドゥ毎に他方の特徴画像との間で対応付けを行
う。次に、視差決定フェーズ(Ｄ)では、基準とする一方
の特徴画像をある大きさのブロックにて分割し、各ブロ
ック毎に当該ブロックの画素を包含する前記一次元ウィ
ンドゥの対応付けによって得られた視差を用いてヒスト
グラムを生成し、例えば、そのピーク位置での視差をブ
ロックの視差とする(Ｓ106)。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像間対応付け方法お
よび画像間視差計測方法に関するものである。

【０００２】具体的な産業上の応用分野としては、ステ
レオ画像からの撮影対象空間の距離情報取得、ステレオ
画像(立体映像)の情報量圧縮、ステレオ画像(立体映像)
の表示制御、動画像からのオプティカルフロー抽出、な
どに利用することができるものである。

【０００３】

【従来の技術】ここでは、２つの撮像手段にて得られる
２つの画像(ステレオ画像)間の対応付けを行い、その画
像間の視差を計測することにより撮影対象空間の距離情
報を取得するいわゆるステレオ画像計測の技術を例に、
従来の一般的な画像間対応付け方法および画像間視差計
測方法について説明する。

【０００４】図23はステレオ画像計測の原理を説明する
図であって、図23において、実空間を表す座標として
ｘ，ｙ，ｚを用い、画像面(カメラの撮像面)上の位置を
表す座標としてＸ，Ｙを用いる。ただし、２台のカメラ
23Ｌ，23Ｒを区別するために、左カメラ23Ｌの画像面上
の位置を表す座標としてＸ_L，Ｙ_Lを用い、右カメラ23Ｒ
の画像面上の位置を表す座標としてＸ_R，Ｙ_Rを用いる。
ｘ軸とＸ_L軸，ｘ軸とＸ_R軸，ｙ軸とＹ_L軸，ｙ軸とＹ_R軸
は各々互いに平行であり、ｚ軸は２台のカメラ23Ｌ，23
Ｒの光軸に共に平行であるとする。実空間座標系の原点
を左右カメラの投影中心の中点にとり、この投影中心間
の距離を基線長と呼びその長さを２aで表すことにす
る。また、投影中心と画像面との距離(焦点距離)をｆで
表す。

【０００５】今、実空間内の点ｐが左画像面上の点Ｐ
_L(Ｘ_L，Ｙ_L)、右画像面上の点Ｐ_R(Ｘ_R，Ｙ_R)にそれぞれ
投影されたとする。ステレオ画像計測では、画像面上に
おいてＰ_L，Ｐ_Rを決定し(画像間対応付け)、三角測量の
原理に基づいて点ｐの実空間座標(ｘ，ｙ，ｚ)を求め
る。ここでは、２台のカメラ23Ｌ，23Ｒの光軸が同一平
面上にありｘ軸とＸ軸とを平行にとっていることから、
Ｙ_LとＹ_Rとは同じ値をとる。画像面上の座標Ｘ_L，Ｙ_L，
Ｘ_R，Ｙ_Rと実空間内の座標ｘ，ｙ，ｚとの関係は、

【０００６】

【数２】

【０００７】あるいは、

【０００８】

【数３】

【０００９】と求められる。ここで、

【００１０】

【数４】ｄ＝Ｘ_L−Ｘ_R は視差ｄを表している(ステレオ画像間視差)。(数３)か
ら、ａ＞０であるので

【００１１】

【数５】Ｘ_L＞Ｘ_R かつＹ_L＝Ｙ_R これは、一方の画像面上の１点の他方の画像面上での対
応点は、エピポーラ線である同じ走査線上、かつＸ_L＞
Ｘ_Rの範囲に存在することを表す。したがって、一方の
画像上の１点に対応した他方の画像上の点は、対応点が
存在する可能性のある直線に沿ったある小領域について
画像の類似性を調べて見出すことができる。

【００１２】次に、類似性の評価方法について説明す
る。一例として、尾上守夫他編「画像処理ハンドブッ
ク」(昭晃堂)に記載された図24に示す従来例の両画像間
の相互相関値を調べる方法について説明する。今、左画
像2401上のある画素2403に対応する右画像2402中の点
(対応点)を決定する。対応点を決定したい左画像2401上
の画素2403を中心とする大きさｎ×ｍの矩形小領域2404
(以下、小領域という)を設定し、その内部における各点
の明るさをＩ_L(ｉ，ｊ)とする。一方、前出の(数５)の
条件を満たす右画像2402上の画素を中心とする大きさｎ
×ｍの矩形小領域2405(以下、小領域という)の内部にお
ける各点の明るさをＩ_R(ｉ，ｊ)とする。それぞれの小
領域2404，2405についての明るさの平均と分散をμ_L，
μ_R，σ_L ²，σ_R ²とすると、これらの小領域間の相互相
関値は次式で与えられる。

【００１３】

【数６】

【００１４】対応点が存在する可能性のある直線(エピ
ポーラ線)に沿ってこの値を計算し、この値が最大とな
る部分を対応点とする。この方法では、対応点を画素単
位に決定することができ、また対応点が決まればその対
応点の座標位置から即座に(数４)を用いて視差ｄが求ま
ることになる。この例からも対応点の決定には非常に多
くの演算量を要することがわかる。すなわち対応点を決
定する全ての画素について、上式の演算を対応点が存在
する可能性のある範囲全域にわたって実行する。

【００１５】相関計算のための小領域の大きさを小さく
すれば演算速度は速くできるが、画像の歪みや雑音の影
響を受けやすくなり、対応点検出の安定性が悪くなる。
逆に、小領域の大きさを大きくすると、多くの演算時間
を要するのみでなく、相関値の変化が緩やかになりす
ぎ、対応点検出の精度が低下する。小領域の大きさは、
対象とする画像の性質により適切に設定することが必要
である。さらにこの方法では、(数４)より明らかなよう
に対応付けの結果が即座に視差に反映されるため、誤っ
た対応付けが発生すると、その誤りは計測される視差ｄ
に直接影響する。すなわち対応付けでの誤りは視差の誤
りとなる。

【００１６】このように、画素毎に対応点を決定する方
法では膨大な演算量を必要とする。そこで、画像をある
大きさのブロックを単位に分割し、ブロック毎に対応領
域を決定する方法がある。ブロック毎に左右画像間の対
応領域を求める方法としては、例えば、実吉他“三次元
画像認識技術を用いた運転支援システム”、自動車技術
会学術講演会前刷集924,pp.169-172(1992-10)がある。

【００１７】図25は従来例における矩形小領域(ブロッ
ク単位)に画像間の対応付けを行う方法を説明する図で
ある。今、左画像2501を基準とし、左画像をｎ×ｍ画素
のサイズのブロック2503を単位に分割し、分割されたブ
ロック毎に右画像2502中より対応領域を探索し視差を求
める。対応領域決定のための類似度評価式として

【００１８】

【数７】

【００１９】を用いる。ここでＬi，Ｒiはそれぞれ左ブ
ロック2503、右ブロック2504内のｉ番目の画素における
輝度である。この評価式は、(数６)のような平均値を引
く等の操作を伴わないため類似度評価式(数６)に比べれ
ば演算量も少ないが、それでも、２次元の類似度評価を
行うためにはラインメモリが必要となるなど、ハードウ
ェア規模は依然として大きくなりがちであると共に、メ
モリアクセスの回数も多くなるため処理時間も膨大にな
る。

【００２０】また、類似度評価として輝度値を使ってい
るため、正確な対応付けを行うには、対応付け処理を行
う前に、左右カメラの感度差調整，シェーディング補正
などを行う必要があり、これらの前処理部のハードコス
トが増大するという難点がある。また、撮影対象空間内
に存在する直線などは、左右画像において、図26に問題
点の１つを示すように、左右画像2601，2602において傾
きの異なる直線2603，2604として撮像されたブロック26
05，2606があるため、このような場合には正確な対応領
域を決定することが難しくなる。

【００２１】さらに、図27に問題点の他の１つを示すよ
うに左右画像2701，2702においてブロック2703，2704内
の画素のみを用いて対応領域を決定するために誤った判
定を行う可能性が大きく、また誤った対応付けが発生し
た場合には、その誤りがそのまま視差の誤りとなること
は上述の例と同じことである。

【００２２】ここで、上述の視差計測方法では、画像デ
ータがある周波数でサンプリングされたディジタルデー
タのために、計測できる視差の最小単位は１画素であ
る。しかるに、さらに精度の高い視差計測を行うことが
可能である。

【００２３】図28は従来の画像間視差計測方法における
サブピクセル精度の視差を計測する方法を説明する図で
ある。図28は、ブロック毎に(数７)の計算を探索範囲に
わたって計算したときの類似度評価値Ｃ(縦軸)のピーク
位置付近の様子を表している。ピーク位置およびその前
後での視差ｄi，ｄi-1，ｄi+1(画素)と各視差における
類似度評価値Ｃi，Ｃi-1，Ｃi+1を用いてサブピクセル
精度の視差計測を行う。具体的には、(ｄi-1，Ｃi-1)，
(ｄi，Ｃi)の２点を通過する直線2801と、この直線2801
と傾きの絶対値は同じで符号が正負反対の直線でしかも
点(ｄi+1，Ｃi+1)を通過する直線2802の交点2803を求
め、その交点2803での視差ｄsを最終的なブロックの視
差とする。

【００２４】

【発明が解決しようとする課題】したがって、従来の画
像間対応付け方法および画像間視差計測方法では、対応
付けの際の類似度評価を行うにあたり、(数６)(数７)の
ような加減乗除算が必要となるためにハードウェアコス
トが大きくなると共に、処理時間も大きくなる。

【００２５】また二次元ウィンドゥで類似度評価を行う
ためにラインメモリが必要となるなどハードウェアコス
トが大きくなるのみでなく、メモリアクセス回数が多く
なるなど処理時間も大きくなる。

【００２６】また、左右画像の輝度を用いて類似度評価
を行っているために、対応付け処理前に、左右カメラの
感度差調整やシェーディング補正が必要となるなど、前
処理部のハードウェアコストが増大する。

【００２７】また、視差決定の単位であるブロックと対
応付けの単位である２次元ウィンドゥが同一であるため
に、二次元ウィンドゥの対応付けによって発生した誤り
は、対応するブロックの視差の誤りとなる。すなわち、
対応付けで発生した誤りを吸収あるい補正する手段が存
在しない。

【００２８】また、ブロック(＝二次元ウィンドゥ)内の
画素のみを用いてブロックの対応領域を決定するため
に、誤った判定を行う可能性が大きい。

【００２９】本発明は、上記問題点に鑑み、できるだけ
少ない演算量、小さいハードウェア構成でもって処理時
間を短時間に行い、しかも信頼性・精度共に高い、画像
間の対応付けおよび画像間の視差を決定する方法を提供
することを目的とする。

【００３０】

【課題を解決するための手段】本発明は上記目的を達成
するために、画像間対応付け方法および画像間視差計測
方法は、第１の手段として、２つの画像ＩＬ，ＩＲを、
それぞれ複数の周波数成分画像ＩＬをＬ1，Ｌ2，Ｌ3，…，Ｌk，Ｌk+1，…，Ｌn ＩＲをＲ1，Ｒ2，Ｒ3，…，Ｒk，Ｒk+1，…，Ｒn に展開すると共に各周波数成分画像に対して２次微分処
理を施し、前記２次微分処理を施された各画像それぞれ
を画像毎に３値化することによって得られる複数の３値
化周波数成分画像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を用いて画像間の対応付けを行うことを特徴とする。

【００３１】また第２の手段として、対応付けの単位と
してＮ画素のサイズの一次元ウィンドゥを用いる。

【００３２】また、第３の手段として、Ｎ画素のサイズ
の一次元ウィンドゥをＮ／２画素ずつ基準画像上をオー
バーラップさせながら順次走査しながら設定し、前記設
定した一次元ウィンドゥ毎に対応付けを行う。

【００３３】また、第４の手段として、第３の手段に記
載の一次元ウィンドゥ毎の対応付けにおいて、第１の手
段により得られる画像ＩＬ，ＩＲの、同じ周波数成分を
有する３値化周波数成分画像間において、基準画像上に
設定された一次元ウィンドゥ毎に、一次元ウィンドゥ内
各画素について、もう一方の３値化周波数成分画像との
間で、共にｐの画素あるいは共にｍの画素をＰ、また共
にｚの画素をＺと記号化する操作を全ての３値化周波数
成分画像間について行い、

【００３４】

【数８】Ｅall＝Σβk(Ｐの数)k＋Σγk(Ｚの数)k ただし、 βk，γk：重み係数 (Ｐの数)k，(Ｚの数)k：ＴＬk，ＴＲk間の一次元ウィン
ドゥ毎評価結果を類似度評価式として、前記一次元ウィンドゥ毎に対応
領域を決定する。すなわち、一次元３値パターンの一致
度(単なるビット比較)で類似度を評価する。

【００３５】また、第５の手段として、一次元ウィンド
ゥ毎に、第４の手段により類似度を評価することによっ
て、最も類似度の高い領域と、２番目に類似度の高い領
域を他方の画像中より探索し、最も類似度の高い領域に
おける視差を第一候補視差、２番目に類似度の高い領域
における視差を第二候補視差とし、前記第一候補視差お
よび、あるいは第二候補視差を用いて後記第６の手段に
記載のブロック単位に視差を決定する。

【００３６】また、第６の手段として、画像全体をＭ×
Ｌ画素の大きさのブロックを単位として分割して、最終
的には、このブロック単位にブロック視差を決定する。
ブロック単位の視差を決定するにあたり、第５の手段に
よって得られる第一候補視差および、あるいは第二候補
視差を用いてブロック毎にヒストグラムを生成し、その
ピーク位置での視差をブロックの視差として決定する。

【００３７】また第７の手段として、第６の手段に記載
のブロック単位に決定される視差の精度をさらに上げる
ために、ブロック毎に生成されるヒストグラムのピーク
位置での視差ｄiおよびその前後の視差ｄi-1，ｄi+1、
さらに、前記ｄi，ｄi-1，ｄi+1での頻度値ｈi，ｈi-
1，ｈi+1を用いて、サブピクセル精度の視差計測を行
う。

【００３８】

【作用】本発明の第１の手段により得られる複数の３値
化周波数成分画像は、さまざまな解像度でのエッジ位置
を表している。このエッジ位置は基本的には左右カメラ
の感度差、シェーディング等の影響を受けないため、左
右カメラの感度差調整やシェーディング補正などの前処
理が不要となり、ハードウェアコストの低減、処理時間
の低減ができる。

【００３９】第２の手段により、対応付けの単位としＮ
画素のサイズの一次元ウィンドゥを用いることで、ライ
ンメモリが不要となるためハードウェアコストが低減で
きるのみならず、メモリアクセスの回数が低減できるの
で処理時間の低減ができる。

【００４０】第３の手段により、第６の手段に記載のブ
ロック視差を決定する際にブロック外の画素をも使用す
ることになり、ブロック内の情報のみでは多数の対応領
域が存在してしまうような場合でも信頼性の高いブロッ
ク視差の決定が可能となる。

【００４１】第４の手段により、対応付けのための評価
に加減乗除算が不要となり、単なるビット比較のみで類
似度の評価ができるため、ハードウェアコストを低減で
きると共に、処理時間を低減できる。

【００４２】第５，第６の手段により、一つの一次元ウ
ィンドゥにおける類似領域を第二候補まで決定し、これ
を用いてブロックの視差を決定するために、あるウィン
ドゥの対応付けにおいて、第一候補視差および、あるい
は第二候補視差が誤っていたとしても、当該ブロックの
視差を決定する際に使用する他の一次元ウィンドゥの多
くで正確な対応付けがなされれば、前記誤りは吸収でき
る。すなわち、全体としてブロック視差の信頼性を向上
できる。

【００４３】第７の手段により、サブピクセル精度での
視差計測が可能となり、視差の精度を向上することがで
きる。

【００４４】したがって、本発明の画像感対応付け方法
および画像間視差計測方法によれば、従来方法に比べ格
段にハードウェア規模を小さくすることが可能であり、
したがって、装置を安価に実現できる。

【００４５】また、対応付けに要する処理時間を格段に
低減できる。

【００４６】また、信頼性・精度ともに高い視差計測が
可能となる。

【００４７】したがって、応用の一例として、逐次入力
されるステレオ画像からごく短時間のうちに画面全体の
視差を計測することができ、視差のリアルタイム計測が
可能となる。さらに、視差の時間変化を常時監視し続け
ることによって、踏切内での障害物検知や侵入者検知な
どの産業用監視装置等の実用化が可能となる。

【００４８】

【実施例】以下、本発明の画像間対応付け方法および画
像間視差計測方法をステレオ画像計測に実施した場合に
ついて説明する。

【００４９】本発明の画像間対応付け方法および画像間
視差計測方法を用いたステレオ画像計測の第１の実施例
について説明する。図１は本発明の第１の実施例におけ
るステレオ画像獲得から視差決定までの処理の流れを示
す図である。まず、撮像フェーズ(Ａ)では２台の撮像装
置にて左右の２画像を得る(Ｓ101，Ｓ102)。次に、撮像
フェーズ(Ａ)で得られた左右画像は、それぞれ特徴抽出
フェーズ(Ｂ)にて特徴抽出が施され(Ｓ103，Ｓ104),後
段の対応付けフェーズ(Ｃ)にて左右２つの特徴画像間で
対応付けが行われる(Ｓ105)。

【００５０】すなわち、対応付けフェーズ(Ｃ)では、基
準とする一方の特徴画像上をある走査規則にしたがって
一次元ウィンドゥを走査させることによって、対応付け
の単位である前記ウィンドゥを順次設定し、設定した前
記一次元ウィンドゥ毎に他方の特徴画像との間で対応付
けを行う。

【００５１】次に視差決定フェーズ(Ｄ)では、基準とす
る一方の特徴画像をある大きさのブロックにて分割し、
各ブロック毎に当該ブロックの画素を包含する前記一次
元ウィンドゥの対応付けによって得られた視差を用いて
ヒストグラムを生成し、例えば、そのピーク位置での視
差をブロックの視差と決定する(Ｓ106)。以下、各フェ
ーズで行われる処理について詳細に説明する。

【００５２】(Ａ)撮像フェーズステレオカメラの構成方法としてはさまざまな方法があ
るが、本実施例においては左右平行配置(２台のカメラ
を水平方向に左右配置し、２台のカメラの光軸が平行に
なるように配置)とした。前述した図23が左右平行配置
の理想配置モデルを表している。しかし、実際には２台
のカメラを理想配置モデルと全くズレることなく構成す
ることは困難であり、したがってステレオ画像の対応付
け方法および視差計測方法自体にこれらの多少のズレを
許容できるような柔軟性を持たせることが重要である。

【００５３】また、以下の実施例の説明においては撮像
フェーズ(Ａ)で得られる左右画像は一例として、画像サ
イズが768(Ｈ)×480(Ｖ)のモノクロ画像として説明する
が、本発明はこれらに限定されるものではない。撮像フ
ェーズ(Ａ)にて得られる左右画像を左画像：ＩＬ（ｘ，ｙ）右画像：ＩＲ（ｘ，ｙ）とする。ただし、１≦ｘ≦768，１≦ｙ≦480 ０≦ＩＬ（ｘ，ｙ）≦255，０≦ＩＲ（ｘ，ｙ）≦255 であり、図２のモノクロ画像に示すようにｘは画像水平
方向へのインデックス、ｙは画像ライン方向へのインデ
ックスを示し、右方向ｘへ画素番号、下方向ｙへライン
番号を示している。

【００５４】また対応付けを行う際には、いずれか一方
の画像を基準にし、他方の画像から対応領域を探索す
る。本実施例では左画像を基準とし、基準となる左画像
を図７に示すようにＭ×Ｌ画素のサイズのブロックで分
割する。一例として、ＭおよびＬを16とし、16×16画素
のサイズのブロックで分割する。したがって、左画像は
水平方向48、垂直方向30の領域すなわち1440個のブロッ
クに分割される。ブロックの識別子として、以下、ＢＬ
(Ｘ，Ｙ)を用いることにする。すなわち、ブロック識別子：ＢＬ（Ｘ，Ｙ），１≦Ｘ≦48，１≦Ｙ
≦30 とする。

【００５５】(Ｂ)特徴抽出フェーズ特徴抽出フェーズ(Ｂ)では、撮像フェーズ(Ａ)で得られ
た２つの左右画像ＩＬ，ＩＲをそれぞれ複数の周波数成
分画像ＩＬをＬ1，Ｌ2，Ｌ3，…，Ｌk，Ｌk+1，…,Ｌn ＩＲをＲ1，Ｒ2，Ｒ3，…，Ｒk，Ｒk+1，…,Ｒn に展開すると共に各周波数成分画像に対して２次微分処
理を施し、前記２次微分処理を施された各画像それぞれ
を画素毎に３値化し、下記のような３値化周波数成分画
像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を得る。この操作は、さまざまな解像度でのエッジを抽
出している。このような操作を行う第１の目的は、・エッジ位置は基本的にはカメラ間の感度差やシェーデ
ィングの影響を受けない。という性質を利用することに
よって、前処理としての、カメラ間の感度差補正やシェ
ーディング補正をすることなしに正確な対応付けを可能
とすることにある。さらに、３値化する目的は、類似度
評価をできるだけ小規模なハードウェア構成で実現する
ことにある。

【００５６】第２の目的は、・低域成分エッジは、ノイズには影響されにくいが、位
置精度はあまりよくない。・高域成分エッジは、ノイズには影響されやすいが、位
置精度は良い。

【００５７】という性質を利用することによって、でき
るだけノイズの影響を受けずに、しかも精度の良い対応
付けを行うことにある。

【００５８】次に、３値化の具体的方法について説明す
る。図６は第１の実施例および後記第３の実施例におけ
る低周波数成分画像の３値化方法を示す図であり、上記
全ての周波数成分画像を、図６に示すように、正の閾値
ＴＨ1(＞０)および負の閾値ＴＨ2(＜０)で、画素毎に３
値化する。例えば、ＴＨ2未満のとき、 ……−１ＴＨ2以上、ＴＨ1未満のとき、……０ＴＨ1より大きいとき、 ……１上記のごとく３値化された画像(３値化周波数成分画像)
は、画像エッジ部の特にピーク位置(正または負)付近で
１または−１、それ以外の点で０と表現される。この３
値化方法は、回路構成は簡単でノイズに対しても比較的
影響を受けにくいという特徴があるが、左右画像ＩＬ・
ＩＲに感度差がある場合などは閾値付近の画素で、量子
化誤差により、エッジ位置情報として数画素の誤差が発
生する可能性がある。

【００５９】図３は、図１の特徴抽出フェーズ(Ｂ)での
処理を実現する第１の装置例のブロック図である。特徴
抽出フェーズ(Ｂ)に入力される左(右)画像ＩＬ(ＩＲ)は
撮像フェーズ(Ａ)にて得られる左(右)画像ＩＬ(ＩＲ)で
あり、fc(Ｈz)に帯域制限されているものとする。図３
に例示する入力された画像ＩＬは、複数の低域通過フィ
ルタ(以下、ＬＰＦという)および高域通過フィルタ(以
下、ＨＰＦという)の組み合わせにより、それぞれ異な
る周波数成分を有する帯域信号に展開され(周波数成分
画像ＦＬk)、それぞれ３値化処理(Ｆ)にて３値化される
(３値化周波数成分画像ＴＬk)。なお、前記ＨＰＦは２
次微分性を有する高域通過フィルタである。このような
構成のブロック図で展開される周波数成分画像ＦＬkの
周波数分割例(帯域分割例)を図４に示す。

【００６０】このようにして得られる複数の３値化周波
数成分画像ＴＬkは、各周波数成分画像中に含まれるエ
ッジ位置を表しており、後段の対応付けフェーズ(Ｃ)に
て、左右画像間の対応付けに利用される。ただし、展開
する周波数成分画像ＦＬkの数やそれぞれの周波数帯域
幅などは、所望する性能と許容されるコストに合わせて
最適な組み合わせを選択する必要がある。

【００６１】また図５は図１の特徴抽出フェーズ(Ｂ)で
の処理を実現する第２の装置例のブロック図である。こ
の例で使用するラプラシアン・ガウシアン・フィルタσ
のベースとなるラプラシアンガウシアン関数(▽²Ｇ)は
ガウス関数の２階微分をとることにより与えられる。一
次元の場合、

【００６２】

【数９】

【００６３】二次元の場合

【００６４】

【数１０】

【００６５】ただし、ｒ²＝ｉ²＋ｊ²，σ²は、ガウス関
数の分散を示す。

【００６６】この関数と画像とのコンボリューションを
とる(ラプラシアン・ガウシアン・フィルタ)ことは、画像
にガウシアンフィルタをかけて平滑化した後に(ＬＰ
Ｆ)，２階微分(ラプラシアン、ＨＰＦ)をとる操作とみ
なすことができる。σの値を変えることによって、複数
の解像度(スケール)におけるエッジ抽出を行うことがで
き、画像処理において広く利用されている。

【００６７】このような方法により、画像を複数の周波
数成分画像へ展開し、それぞれを３値化することによっ
て得られる３値化周波数成分は、左３値化周波数成分画像：ＴＬ1(ｘ，ｙ)，ＴＬ2(ｘ，
ｙ)，ＴＬ3(ｘ，ｙ)… 右３値化周波数成分画像：ＴＲ1(ｘ，ｙ)，ＴＲ2(ｘ，
ｙ)，ＴＲ3(ｘ，ｙ)…となる。

【００６８】ここで、

【００６９】

【数１１】１≦ｘ≦768，１≦ｙ≦480 −１≦ＴＬ1(ｘ，ｙ)，ＴＬ2(ｘ，ｙ)，ＴＬ3(ｘ，ｙ)……≦１、 −１≦ＴＲ1(ｘ，ｙ)，ＴＲ2(ｘ，ｙ)，ＴＲ3(ｘ，ｙ)……≦１は、後段の対応付けフェーズ(Ｃ)へと送られ、左右画像
間の対応付けに使用される。

【００７０】(Ｃ)対応付けフェーズ対応付けフェーズでは、特徴抽出フェーズ(Ｂ)にて３値
化された複数の左右３値化周波数成分画像を用いて、左
右画像の対応付けを行う。対応付けを行う際には、いず
れか一方の画像を基準にし、他方の画像から対応領域を
探索する。撮像フェーズ(Ａ)でも説明したように、本実
施例では左画像を基準とした場合について説明する。基
準となる左画像を、図７に示すようなＭ×Ｌ画素のブロ
ックで分割したものと同様に、図８に示すように左３値
化周波数成分画像ＴＬkすべてを同様なブロックに分割
する。左３値化周波数成分画像ＴＬkのブロック識別子
として、以下、ＢＬk(Ｘ，Ｙ)を用いることにする。す
なわち、ブロック識別子：ＢＬk(Ｘ，Ｙ)、１≦Ｘ≦48、１≦Ｙ
≦30 本実施例の対応付けでは、奇数ラインについてのみ行い
(対応付けの対象となる走査線のことを特に対象走査線
という)、しかも対応付けフェーズ以降、偶数ラインの
情報は全く利用しない。

【００７１】まず、図８に示すように、左３値化周波数
成分画像ＴＬk(ｘ，ｙ)の奇数ライン(対象走査線)上
を、水平方向16(＝Ｍ)画素のサイズの一次元ウィンドゥ
を、８(＝Ｍ／２)画素ずつオーバーラップさせながら移
動させる。これにより、対象走査線１ライン当たりの一
次元ウィンドゥ走査によって95個のウィンドゥが設定さ
れ、設定された一次元ウィンドゥ毎に、右３値化周波数
成分画像ＴＲk(ｘ，ｙ)中より対応候補領域を決定す
る。前記一次元ウィンドウの識別子として、以下、ＷＮ
k(Ｉ，Ｊ)を用いることにする。

【００７２】ウィンドゥ識別子：ＷＮk(Ｉ，Ｊ)、１≦
Ｉ≦95、１≦Ｊ≦240 ここで、図９に示すように、ブロックＢＬk(Ｘ，Ｙ)内
に完全に包含される一次元ウィンドゥ901は８個存在
し、それらはブロックインデックスＸ，Ｙを用いて、

【００７３】

【数１２】ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ−１，８(Ｙ−１)＋ｕ) ただし、１≦ｕ≦８と表現することができる。また、ブ
ロックＢＬk(Ｘ，Ｙ)内の８(＝Ｍ／２)画素とブロック
ＢＬk(Ｘ−１，Ｙ)内の８(＝Ｍ／２)画素を含む一次元
ウィンドゥ902も８個存在し、それらはブロックインデ
ックスＸ，Ｙを用いて、

【００７４】

【数１３】ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ−２，８(Ｙ−１)＋ｕ) ただし、１≦ｕ≦８と表現することができる。また、ブ
ロックＢＬk(Ｘ，Ｙ)内の８(＝Ｍ／２)画素とブロック
ＢＬk(Ｘ＋１，Ｙ)内の８(＝Ｍ／２)画素を含む一次元
ウィンドゥ903も８個存在し、それらはブロックインデ
ックスＸ，Ｙを用いて、

【００７５】

【数１４】ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ,８(Ｙ−１)＋ｕ) ただし、１≦ｕ≦８と表現することができる。

【００７６】対応付けの単位として一次元ウィンドゥを
使用する目的は、従来の二次元ウィンドゥに比べて、小
規模なハードウェアで構成できる、メモリアクセスの回
数が少ないために処理時間を短縮できる、ことにある。

【００７７】また、一次元ウィンドゥを８(＝Ｍ／２)画
素ずつオーバーラップさせながら設定する目的は、ブロ
ックの視差を決定する際にブロック内の画素のみでは一
意に対応領域を決定しにくいような場合にも周辺の画素
を使用することによって信頼性の高い対応領域決定がで
きるようにすることにある。

【００７８】次に、上述のごとく設定される一次元ウィ
ンドゥ毎に対応領域を決定する方法について説明する。
図10に示すように、左３値化周波数成分画像ＴＬk上に
設定された一次元ウィンドゥ毎に対応領域を右３値化周
波数成分画像ＴＲk中より探索する。探索は、一次元ウ
ィンドゥ内に包含される左右３値化周波数成分画像ＴＬ
k，ＴＲkの類似度を前記(数８)によって評価し、各一次
元ウィンドゥ毎に、最も類似度の高い領域での視差(dis
p)を第一候補視差(disp1)、２番目に類似度の高い領域
での視差(disp)を第二候補視差(disp2)とする。すなわ
ち、各一次元ウィンドゥ毎に第二候補まで決定する。

【００７９】上述のごとく各一次元ウィンドゥごとの対
応付けによって得られる第一候補視差および第二候補視
差は最終的な視差ではなく視差の候補である。最終的な
視差は後段の視差決定フェーズにて前記分割されたブロ
ック単位に前記第一候補視差および、あるいは第二候補
視差を用いて決定される。

【００８０】次に、類似度の具体的評価方法について図
11を用いて説明する。類似度の評価は、基準となる左３
値化周波数成分画像ＴＬk上に設定された水平方向１(＝
Ｍ)画素のサイズの一次元ウィンドゥ内の16画素と、右
３値化周波数成分画像ＴＲk中の対応領域存在可能範囲
内における水平方向の16画素と比較により行う。すなわ
ち、対応する画素毎に、共に０の画素：Ｚ共に１の画素：Ｐ共に−１の画素：Ｐその他の組み合わせ：０と記号化する操作(画素毎の評価)を対象の一次元ウィン
ドゥ内16画素について行い、しかも、複数の３値化周波
数成分画像ＴＬk，ＴＲk間で行い、

【００８１】

【数１５】Ｅall＝Σβk(Ｐの数)k＋Σγk(Ｚの数)k ただし、 βk，γk：重み係数 (Ｐの数)k，(Ｚの数)k：ＴＬk，ＴＲk間の一次元ウィン
ドゥ毎評価結果を算出する。類似度評価値Ｅallが大きいほど類似度が
高いと評価する。(数15)におけるkは、k＝１〜ｎでもよ
いし、一部のみ使用してもよい。また、(数15)における
右辺第１項は対応付けのための特徴であるエッジ点にお
ける一致画素数を表しており、この数が大きいほど対応
付け結果の信頼性は高く、小さい場合は信頼性が低いと
考えられる。したがって、第一候補視差における類似度
評価結果において右辺第１項がある閾値ＴＨ3より小さ
いときにはその候補視差を無効とすることにより、誤っ
た対応付けを棄却することができる。

【００８２】さて、左画像の奇数ライン上を８(＝Ｍ／
２)画素ずつオーバーラップしながら走査される各一次
元ウィンドゥ毎に決定された第一候補視差(disp1)、第
二候補視差(disp2)は、例えば図12に示すように格納用
メモリ(格納領域)に格納される。ただし、図12では格納
領域を、画像イメージとの対応がわかりやすくなるよう
に描いてあるが、実際には空白の部分の領域(メモリ)は
必要ない。

【００８３】(Ｄ)視差決定フェーズ視差決定フェーズでは、前記対応付けフェーズ(Ｃ)にて
一次元ウィンドゥ毎に決定された第一候補視差(disp
1)、第二候補視差(disp2)を用いて、各ブロック(1440個
のブロック)の視差を決定する。

【００８４】ブロックの視差決定方法について図13を用
いて説明する。図13は、ブロックＢＬ(Ｘ，Ｙ)の視差を
決定する方法について説明図である。図13に示す破線内
に存在する第一候補視差(disp1)、第二候補視差(disp2)
は、ブロックＢＬ(Ｘ，Ｙ)内に存在する画素を少なくと
も８画素含む一次元ウィンドゥの対応付けによって決定
されたものであり、ブロックＢＬ(Ｘ，Ｙ)の視差を決定
するためには図13の破線内に格納されている第一候補視
差(disp1)および、あるいは第二候補視差(disp2)を用い
て(本実施例では全24組)、図14に示すような視差のヒス
トグラムを生成する。生成したヒストグラムのピーク位
置での視差ｄiをブロックＢＬ(Ｘ，Ｙ)の視差として決
定する。

【００８５】従来の技術で説明した２番目の例では、ブ
ロック単位に画像を分割し、対応付けの際の類似度評価
も前記ブロック毎に、しかもブロック内の画素のみを用
いて行っていたため、類似している領域が複数存在する
場合には、誤対応を起こしやすいのみならず、対応付け
で発生した誤りがそのままそのブロックの視差の誤りと
なる。

【００８６】ところが本発明のブロック毎の視差計測方
法、すなわち、互いにオーバーラップさせた複数の一次
元ウィンドゥの対応付け結果から、ブロック毎にヒスト
グラムを生成し、前記ヒストグラムのピーク位置での視
差をブロックＢＬ(Ｘ，Ｙ)の視差とすることによって、
一次元ウィンドゥ毎に実行された対応付けに誤りの対応
付けが発生しても(誤った候補視差が計測されても)、こ
の誤りを吸収することができる。

【００８７】また、オーバーラップ・一次元ウィンドゥ
走査の結果として、ブロックの視差を決定する際に、ブ
ロック外の画素をも用いていることになり、類似した領
域が存在するような場合でも視差の誤計測が発生しにく
いという特徴がある。

【００８８】このような視差計測方法では、画像データ
がある周波数でサンプリングされたディジタルデータの
ために、計測できる視差の最小単位は１画素である。さ
らに精度の高い視差計測が必要な場合には、以下に述べ
る方法によってサブピクセル精度での計測を行うことが
可能である。

【００８９】図15を用いてその方法について説明する。
図15は、前述したような方法によってブロック毎に生成
した視差のヒストグラムにおいて、ピーク位置を与える
視差付近の度数分布を表している。ピーク位置dsおよび
その前後での視差ｄi，ｄi-1，ｄi+1(画素)と各視差に
おける頻度値ｈi，ｈi-1，ｈi+1を用いてサブピクセル
の視差計測を行う。具体的には、(ｄi-1，ｈi-1)、(ｄ
i，ｈi)の２点を通過する直線1501と、直線1501と傾き
の絶対値は同じで符号が正負反対の直線でしかも点(ｄi
+1，ｈi+1)を通過する直線1502の交点1503を求め、その
交点1503における視差ｄsを最終的なブロックの視差と
する。説明したサブピクセル視差計測方法は、従来の技
術の項で説明した(数７)による類似度評価値Ｃを用いる
方法とは、ヒストグラムの頻度値を用いる点で本質的に
異なるものである。

【００９０】本発明の画像対応付け方法および画像間視
差計測方法を用いたステレオ画像計測の第２の実施例に
ついて説明する。図16は本発明の第２の実施例における
ステレオ画像獲得から視差決定までの処理の流れを示す
図である。まず、撮像フェーズ(Ａ)では２台の撮像装置
にて左右の２画像を得る(Ｓ1601，Ｓ1602)。撮像フェー
ズ(Ａ)での処理は、前記第１の実施例と全く同じであ
る。次に、撮像フェーズ(Ａ)で得られた左右画像は、そ
れぞれ特徴抽出フェーズ(Ｂ′)にて特徴抽出が施され
(Ｓ1603，Ｓ1604)、後段の対応付けフェーズ(Ｃ)にて左
右２つの特徴画像間で対応付けが行われ(Ｓ1605)、さら
に視差決定フェーズ(Ｄ)でブロック単位に視差が決定さ
れる(Ｓ1606)。対応付けフェーズ(Ｃ)、視差決定フェー
ズ(Ｄ)の処理についても第１の実施例と全く同じであ
る。

【００９１】以下、第２の実施例において第１の実施例
と異なる部分、すなわち特徴抽出フェーズ(Ｂ′)で行わ
れる処理について詳細に説明する。

【００９２】(Ｂ′)特徴抽出フェーズ特徴抽出フェーズ(Ｂ′)では、撮像フェーズ(Ａ)で得ら
れた画像ＩＬ，ＩＲをそれぞれ複数の周波数成分画像ＩＬをＬ1，Ｌ2，Ｌ3，……，Ｌk，Ｌk+1，……，Ｌn ＩＲをＲ1，Ｒ2，Ｒ3，……，Ｒk，Ｒk+1，……，Ｒn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを画素毎に３値化し、下記のような３値化周波数成分
画像ＴＬ1，ＴＬ2，ＴＬ3，……，ＴＬk，ＴＬk+1，……，
ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，……，ＴＲk，ＴＲk+1，……，
ＴＲn を得る。処理の流れおよびその目的は、第１の実施例に
おける特徴抽出フェーズ(Ｂ′)と同じである。

【００９３】次に、第１の実施例とは異なる部分、すな
わち３値化の方法について説明する。図19は第２の実施
例における周波数成分画像の３値化方法を示し、上記す
べての周波数成分画像を、図19に示すように、画素毎に
ゼロ交差点か否か、またゼロ交差点であればその傾きが
正か負かにより計３種に分類することによって３値化す
る。例えば、ゼロ交差点以外の画素を ……０ゼロ交差点で正の傾きを持つ画素を……１ゼロ交差点で負の傾きを持つ画素を……−１上記のごとく３値化された画像(３値化周波数成分画像)
は、画像エッジ部の特に変曲点(＝ゼロ交差点)で１また
は−１、それ以外の点で０と表現されるため、第１の実
施例における３値化処理(Ｆ)に比較してより正確なエッ
ジ位置を表現することができる。この第２の実施例にお
ける３値化処理(Ｇ)にもまして左右画像の感度差に影響
されないという特徴があり、したがって、エッジの位置
情報としての精度はよいが、ゼロ交差点の検出はノイズ
の影響を受けやすいという欠点がある。

【００９４】図17は図16の特徴抽出フェーズ(Ｂ′)での
処理を実現する第１の装置例のブロック図である。特徴
抽出フェーズ(Ｂ′)に入力される左画像ＩＬは撮像フェ
ーズ(Ａ)にて得られる画像であり、fc(Ｈz)に帯域制限
されているものとする。入力された画像は、複数の低域
通過フィルタ(ＬＰＦ)および高域通過フィルタ(ＨＰＦ)
の組み合わせにより、それぞれ異なる周波数成分を有す
る帯域信号に展開される(周波数成分画像ＦＬk)。この
処理は第１の実施例と同じである。展開された周波数成
分画像ＦＬkそれぞれは上述した３値化処理(Ｇ)にて３
値化される(３値化周波数成分画像ＴＬk)。

【００９５】このようにして得られる複数の３値化周波
数成分画像ＴＬkは、各周波数成分画像中に含まれるエ
ッジ位置を表しており、後段の対応付けフェーズ(Ｃ)に
て、左右画像間の対応付けに利用される。ただし、展開
する周波数成分画像の数やそれぞれの周波数帯域幅など
は、所望する性能と許容されるコストに合わせて最適な
組み合わせを選択する必要があることは第１の実施例と
同じである。

【００９６】また図18は、図16の特徴抽出フェーズ
(Ｂ′)での処理を実現する第２の装置例のブロック図で
あり、前記第１の実施例の図５と同様の構成であるが、
第１の実施例と異なる点は、３値化処理(Ｇ)の部分であ
る。

【００９７】このように、画像を複数の周波数成分画像
ＦＬkへ展開し、それぞれを３値化することによって得
られる３値化周波数成分画像ＴＬkは、後段の対応付け
フェーズ(Ｃ)へと送られ一次元ウィンドゥ毎の対応付け
が施された後、視差決定フェーズ(Ｄ)にてブロック毎に
視差が決定される。

【００９８】本発明の画像対応付け方法および画像間視
差計測方法を用いたステレオ画像計測の第３の実施例に
ついて説明する。図20は本発明の第３の実施例における
ステレオ画像獲得から視差決定までの処理の流れを示す
図である。まず、撮像フェーズ(Ａ)では２台の撮像装置
にて左右の２画像を得る(Ｓ2001，Ｓ2002)。撮像フェー
ズ(Ａ)での処理は、前記第１および第２の実施例と全く
同じである。次に、撮像フェーズ(Ａ)で得られた左右画
像は、それぞれ特徴抽出フェーズ(Ｂ″)にて特徴抽出が
施され(Ｓ2003，Ｓ2004)、後段の対応付けフェーズ(Ｃ)
にて左右２つの特徴画像間で対応付けが行われ(Ｓ200
5)、さらに視差決定フェーズ(Ｄ)でブロック単位に視差
が決定される(Ｓ2006)。対応付けフェーズ(Ｃ),視差決
定フェーズ(Ｄ)の処理についても第１および第２の実施
例と全く同じである。

【００９９】以下、第３の実施例において第１および第
２の実施例と異なる部分、すなわち特徴抽出フェーズ
(Ｂ″)で行われる処理について詳細に説明する。

【０１００】(Ｂ″)特徴抽出フェーズ特徴抽出フェーズ(Ｂ″)では、撮像フェーズ(Ａ)で得ら
れた画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像ＩＬをＬ1，Ｌ2，Ｌ3，……，Ｌk，Ｌk+1，……，Ｌn ＩＲをＲ1，Ｒ2，Ｒ3，……，Ｒk，Ｒk+1，……，Ｒn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを画素毎に３値化し、下記のような３値化周波数成分
画像ＴＬ1，ＴＬ2，ＴＬ3，……，ＴＬk，ＴＬk+1，……，
ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，……，ＴＲk，ＴＲk+1，……，
ＴＲn を得る。処理の流れおよびその目的は、第１および第２
の実施例における特徴抽出フェーズ(Ｂ′)，(Ｂ″)と同
じである。

【０１０１】次に、第１および第２の実施例とは異なる
部分、すなわち３値化について説明する。第３の実施例
においては、上記周波数成分画像を低域周波数成分画像
については、第１の実施例に記載の３値化処理(Ｆ)、高
域周波数成分画像については、第２の実施例に記載の３
値化処理(Ｇ)で３値化する。高域周波数成分画像は低域
周波数成分画像に比べてより正確なエッジ位置情報を持
っており、それを有効に利用するために、高域周波数成
分画像の３値化にはゼロ交差点表現を用いる。ただし、
この３値化処理(Ｇ)によって得られるエッジ情報にはノ
イズによる誤ったエッジ情報が含まれやすい。逆に、低
域周波数成分画像はエッジ位置情報としてはあまり正確
でないため閾値による３値化方法を用いるが、この３値
化処理(Ｆ)によって得られるエッジ情報にはノイズによ
る誤ったエッジ情報は少ない。

【０１０２】図21は図20の特徴抽出フェーズ(Ｂ″)での
処理を実現するための第１の装置例のブロック図であ
る。特徴抽出フェーズ(Ｂ″)に入力される左画像ＩＬは
撮像フェーズ(Ａ)にて得られる画像であり、fc(Ｈz)に
帯域制限されているものとする。入力された画像は、複
数の低域通過フィルタ(ＬＰＦ)および高域通過フィルタ
(ＨＰＦ)の組み合わせにより、それぞれ異なる周波数成
分を有する帯域信号に展開される(周波数成分画像ＦＬ
k)。この処理は第１および第２の実施例と同じである。
展開された周波数成分画像ＦＬkそれぞれは、低域周波
数成分画像については第１の実施例に記載の３値化処理
(Ｆ)、高域周波数成分画像については、第２の実施例に
記載の３値化処理(Ｇ)にて３値化される(３値化周波数
成分画像ＴＬk)。

【０１０３】このようにして得られる複数の３値化周波
成分画像ＴＬkは、各周波数成分画像中に含まれるエッ
ジ位置を表しており、後段の対応付けフェーズ(Ｃ)に
て、左右画像間の対応付けに利用される。ただし、展開
する周波数成分画像の数やそれぞれの周波数帯域幅、さ
らに、３値化処理(Ｆ)および３値化処理(Ｇ)の各周波数
成分画像への選択適用方法などは、所望する性能と許容
されるコストに合わせて最適な組み合わせを選択する必
要がある。

【０１０４】また図22は、図20の特徴抽出フェーズ
(Ｂ″)での処理を実現するための第２の装置例のブロッ
ク図であり、前記第１，第２の実施例の図５，図８と同
様の構成であるが、第１および第２の実施例と異なる点
は３値化処理の部分のみである。

【０１０５】このように、画像を複数の周波数成分画像
へ展開し、それぞれを３値化することによって得られる
３値化周波数成分画像は、後段の対応付けフェーズ(Ｃ)
へと送られ一次元ウィンドゥ毎の対応付けが施された
後、視差決定フェーズ(Ｄ)にてブロック毎に視差が決定
される。

【０１０６】以上、本発明の画像間対応付け方法および
画像間視差計測方法の応用例として、ステレオ画像計測
について、第１，第２，第３の実施例を挙げて説明し
た。本実施例においては、ステレオカメラとして左右平
行配置のカメラを用いたが、本発明はこれに限定される
ものではない。さらに、本実施例においては、対象走査
線として奇数ラインのみを用いた場合について説明した
が、偶数ラインのみを用いた場合にも同様の結果を期待
できる。また、すべてのラインを対象走査線とした場合
には、処理量は本実施例の約２倍になるが計測視差の信
頼性の向上が期待できる。さらに本実施例では、ウィン
ドゥサイズは水平方向Ｍ＝16画素、ブロックのサイズを
Ｍ×Ｌ＝16×16画素としたが、本発明はこれに限定され
るものでは当然ない。

【０１０７】

【発明の効果】以上説明したように、本発明の画像対応
付け方法および画像間視差計測方法によれば、少ない演
算量で、小規模・安価なハードウェア構成で、処理時間
を高速に、しかも信頼性・精度ともに高い、画像間対応
付け・画像間視差計測が実現できる。

【０１０８】したがって、一例として、逐次入力される
ステレオ画像より常に視差を計測し、視差の変化を監視
しつづけることによって、踏切内での障害物を検知した
り、侵入者を検知したりするなど、産業用監視装置の実
用化が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例におけるステレオ画像獲
得から視差決定までの処理の流れを示すブロック図であ
る。

【図２】本発明の画像間対応付け方法および画像間視差
計測方法の一実施例について説明する際に使用するモノ
クロ画像についての説明図である。

【図３】図１の特徴抽出フェーズ(Ｂ)での処理を実現す
る第１の装置例のブロック図である。

【図４】図３，図17，図21の特徴抽出フェーズの処理装
置にて実現される周波数成分画像への展開された周波数
分割例を示す図である。

【図５】図１の特徴抽出フェーズ(Ｂ)での処理を実現す
る第２の装置例のブロック図である。

【図６】本発明の第１の実施例における周波数成分画像
の３値化方法と第３の実施例における低域周波数成分画
像の３値化方法についての説明図である。

【図７】本発明の視差決定単位であるブロックを単位と
した画像の分割例を説明するための図である。

【図８】本発明の対応付けの単位である一次元ウィンド
ゥの走査方法を説明する図である。

【図９】本発明の対応付けの単位である一次元ウィンド
ゥの走査と視差決定単位であるブロックの関係を説明す
る図である。

【図１０】本発明の一次元ウィンドゥ毎の視差候補決定
方法を説明する図である。

【図１１】本発明の一次元ウィンドゥ毎の類似度評価方
法を説明する図である。

【図１２】本発明の一次元ウィンドゥ毎に決定された候
補視差を一時蓄積するための格納領域(メモリ)の一例に
ついて説明する図である。

【図１３】本発明の一次元ウィンドゥ毎に決定された格
納領域に一時蓄積された候補視差を用いて、ブロック毎
にヒストグラムを生成する方法の説明図である。

【図１４】本発明のブロック毎に生成されるヒストグラ
ムの一例を示す図である。

【図１５】本発明のブロック毎に生成されたヒストグラ
ムからサブピクセル精度の視差を計測する方法の説明図
である。

【図１６】本発明の第２の実施例におけるステレオ画像
獲得から視差決定までの処理の流れを示す図である。

【図１７】図16の特徴抽出フェーズ(Ｂ″)での処理を実
現する第１の装置例のブロック図である。

【図１８】図16の特徴抽出フェーズ(Ｂ″)での処理を実
現する第２の装置例のブロック図である。

【図１９】本発明の第２の実施例における周波数成分画
像の３値化方法と第３の実施例における高域周波数成分
画像の３値化方法についての説明図である。

【図２０】本発明の第３の実施例におけるステレオ画像
獲得から視差決定までの処理の流れを示す図である。

【図２１】図20の特徴抽出フェーズ(Ｂ″)での処理を実
現する第１の装置例のブロック図である。

【図２２】図20の特徴抽出フェーズ(Ｂ″)での処理を実
現する第２の装置例のブロック図である。

【図２３】ステレオ画像計測の原理を説明する図であ
る。

【図２４】従来例における両画像間の相互相関値を調べ
る方法を説明する図である。

【図２５】従来例における矩形小領域(ブロック)単位に
画像間の対応付けを行う方法を説明する図である。

【図２６】従来における問題点の１つを説明する図であ
る。

【図２７】従来における問題点の他の１つを説明する図
である。

【図２８】従来の画像間視差計測方法におけるサブピク
セル精度の視差を計測する方法を説明する図である。

【符号の説明】

901…ブロックＢＬk(Ｘ，Ｙ)内に完全に包含される一次
元ウィンドゥ、 902…ブロックＢＬk(Ｘ，Ｙ)内の８画
素と、ブロックＢＬk(Ｘ−１，Ｙ)内の８画素を含む一
次元ウィンドゥ、 903…ブロックＢＬk(Ｘ，Ｙ)内の８
画素と、ブロックＢＬk(Ｘ＋１，Ｙ)内の８画素を含む
一次元ウィンドゥ、 1501…(ｄi-1，ｈi-1)、(ｄi，ｈ
i)の２点を通過する直線、 1502…直線1501と傾きの絶
対値は同じで符号が正負反対の直線で、しかも、点(ｄi
+1，ｈi+1)を通過する直線、2801…(ｄi-1，Ｃi-1)、
(ｄi，Ｃi)の２点を通過する直線、 2802…直線2801と
傾きの絶対値は同じで符号が正負反対の直線で、しか
も、点(ｄi+1，Ｃi+1)を通過する直線、 23Ｌ，23Ｒ…
カメラ、 2401，2501，2601，2701…左画像、2402，25
02，2602，2702…右画像、2403…画素、 2404，2405…
矩形小領域、2503，2504，2605，2606，2703，2704…ブ
ロック、 1501，1502，2603，2604，2801，2802…直
線、 1503，2803…交点、 (Ａ)…撮像フェーズ、
(Ｂ)，(Ｂ′)，(Ｂ″)…特徴抽出フェーズ、 (Ｃ)…対
応付けフェーズ、 (Ｄ)…視差決定フェーズ、 (Ｓ10
1)，(Ｓ1601)，(Ｓ2001)…撮像(左画像)、 (Ｓ102)，
(Ｓ1602)，(Ｓ2002)…撮像(右画像)、 (Ｓ103)，(Ｓ10
4)，(Ｓ1603)，(Ｓ1604)，(Ｓ2003)，(Ｓ2004)…特徴抽
出、 (Ｓ105)，(Ｓ1605)，(Ｓ2005)…対応付け、 (Ｓ
106)，(Ｓ1606)，(Ｓ2006)…視差決定。

Claims

【特許請求の範囲】

【請求項１】２つの画像ＩＬ，ＩＲを、それぞれ複数
の周波数成分画像ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，
…，ＦＬn ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，
…，ＦＲn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを画素毎に３値化することによって得られる３値化周
波数成分画像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を用いて画像間の対応付けを行うことを特徴とする画像
間対応付け方法。
【請求項２】２つの画像ＩＬ，ＩＲを、それぞれ複数
の周波数成分画像ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，
…，ＦＬn ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，
…，ＦＲn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを正の閾値ＴＨ1(＞０)および負の閾値ＴＨ2(＜０)を
用いて、画素毎に、閾値ＴＨ1(＞０)以上の画素をｐ、閾値ＴＨ2(＜０)以上、閾値ＴＨ1未満の画素をｚ、閾値ＴＨ2未満の画素をｍ、とする３値化することによ
って得られる複数の３値化周波数成分画像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を用いて画像間の対応付けを行うことを特徴とする画像
間対応付け方法。
【請求項３】２つの画像ＩＬ，ＩＲを、それぞれ複数
の周波数成分画像ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，
…，ＦＬn ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，
…，ＦＲn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを、画素毎に、ゼロ交差点以外の画素をｚ、ゼロ交差点で正の傾きを持つ画素をｐ、ゼロ交差点で負の傾きを持つ画素をｍ、とする３値化す
ることによって得られる複数の３値化周波数成分画像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を用いて画像間の対応付けを行うことを特徴とする画像
間対応付け方法。
【請求項４】２つの画像ＩＬ，ＩＲを、それぞれ複数
の周波数成分画像ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，
…，ＦＬn ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，
…，ＦＲn に展開するとともに各周波数成分画像に対して２次微分
処理を施し、前記２次微分処理を施された各画像それぞ
れを、低域周波数成分画像については正の閾値ＴＨ1(＞
０)および負の閾値ＴＨ2(＜０)を用いて、画素毎に、閾値ＴＨ1(＞０)以上の画素をｐ閾値ＴＨ2(＜０)以上、閾値ＴＨ1未満の画素をｚ閾値ＴＨ2未満の画素をｍ、とする３値化し、高域周波
数成分画像については、画素毎に、ゼロ交差点以外の画素をｚ、ゼロ交差点で正の傾きを持つ画素をｐ、する交差点で負の傾きを持つ画素をｍ、とする３値化す
ることによって得られる複数の３値化周波数成分画像ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn を用いて画像間の対応付けを行うことを特徴とする画像
間対応付け方法。
【請求項５】請求項１〜４記載の方法によって得られ
る、画像ＩＬ，ＩＲのそれぞれの３値化周波数成分画像
を用いて画像間の対応付けを行う方法において、基準と
する一方の画像ＩＬの３値化周波数成分画像上にＮ画素
のサイズの一次元ウィンドゥを設定し、前記一次元ウィ
ンドゥ内Ｎ画素の３値パターンと類似する領域をもう一
方の画像ＩＲの３値化周波数成分画像中より探索し、対
応領域を決定することを特徴とする画像間対応付け方
法。
【請求項６】請求項５記載の画像間対応付け方法にお
いて、Ｎ画素のサイズの一次元ウィンドゥを、基準とす
る一方の３値化周波数成分画像上をＮ／２画素ずつオー
バーラップさせながらかつエピポーラ線上を画面全体に
ついて順次走査させながら設定し、前記設定した一次元
ウィンドゥ毎に対応付けを行うことを特徴とする画像間
対応付け方法。
【請求項７】請求項１〜４記載の方法によって得られ
る画像ＩＬ，ＩＲの、同じ周波数成分を有する３値化周
波数成分画像ＴＫk，ＴＲk間において、請求項５あるい
は請求項６に記載の基準とする一方の３値化周波数成分
画像(ＴＬkまたはＴＲk)上に設定された一次元ウィンド
ゥ毎に、一次元ウィンドゥ内各画素について、もう一方
の３値化周波数成分画像(ＴＲkまたはＴＬk)との間で、
共にｐの画素あるいは共にｍの画素をＰ、また、共にｚ
の画素をＺと記号化する操作を全ての３値化周波数成分
画像ＴＬk，ＴＲk間について行い、【数１】Ｅall＝Σβｋ(Ｐの数)k＋Σγｋ（Ｚの数）ｋただし、 βｋ，γｋ：重み係数 (Ｐの数)ｋ，(Ｚの数)ｋ：ＴＬk，ＴＲk間の一次元ウィ
ンドゥ毎評価結果を類似度評価式として、前記一次元ウィンドゥ毎に対応
領域を決定することを特徴とする画像間対応付け方法。
【請求項８】請求項７記載の類似度評価式(数１)にお
いて、Σβk(Ｐの数)kがある閾値ＴＨ3(＞０)以上のと
きのみ、当該一次元ウィンドゥの対応付け結果を有効と
することを特徴とする画像間対応付け方法。
【請求項９】請求項７記載の一次元ウィンドゥ毎の類
似度評価式(数１)に基づいて、基準とする画像上に設定
した一次元ウィンドゥ毎に、最も類似度の高い領域と、
２番目に類似度の高い領域を他方の画像中より探索し、
最も類似度の高い領域における視差を第一候補視差、２
番目に類似度の高い領域における視差を第二候補視差と
し、前記第一候補視差および、あるいは前記第二候補視
差を用いて画像間の視差を決定することを特徴とする画
像間視差計測方法。
【請求項１０】画像全体をＭ×Ｌ画素の大きさのブロ
ックを単位として分割し、このブロック単位に視差を決
定することを特徴とする画素間視差計測方法において、
各ブロック毎に、当該ブロック内の一部の画素を包含す
る請求項５〜６記載の一次元ウィンドゥの対応付けによ
って決定される請求項９記載の第一候補視差および、あ
るいは第二候補視差を用いてヒストグラムを生成し、ヒ
ストグラムのピーク位置での視差をそのブロックの視差
として決定することを特徴とする画像間視差計測方法。
【請求項１１】画像全体をＭ×Ｌ画素の大きさのブロ
ックを単位として分割し、このブロック単位に視差を決
定することを特徴とする画像間視差計測方法において、
各ブロック毎に、当該ブロック内の一部の画素を包含す
る請求項５〜６記載の一次元ウィンドゥの対応付けによ
って決定される請求項９記載の第一候補視差および、あ
るいは第二候補視差を用いてヒストグラムを生成し、ヒ
ストグラムのピーク位置での視差ｄiおよびその前後の
視差ｄi-1，ｄi+1、さらに、前記ｄi，ｄi-1，ｄi+1で
の頻度値ｈi，ｈi-1，ｈi+1を用いてサブピクセル精度
の推定を行うことによって得られる視差を当該ブロック
の視差として決定することを特徴とする画像間視差計測
方法。