JP3054691B2 - フレーム処理型ステレオ画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の認識装置に
関し、異なる位置に配置された複数の撮像手段による画
像情報から三角測量の原理を利用して対象物体までの距
離情報を計測するステレオ画像処理装置に関する。

【０００２】

【従来の技術】従来より、撮像手段たる画像センサの撮
像結果に基づき認識対象物体までの距離を計測する方法
として、ステレオビジョン（ステレオ視）による計測方
法が広く知られている。

【０００３】この計測は、２次元画像から、距離、深
度、奥行きといった３次元情報を得るために有用な方法
である。

【０００４】すなわち、２台の画像センサを例えば左右
に配置し、これら２台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で、
対象物までの距離を測定するという方法である。このと
きの左右の画像センサの対は、ステレオ対と呼ばれてお
り、２台で計測を行うことから２眼ステレオ視と呼ばれ
ている。

【０００５】図１５は、こうした２眼ステレオ視の原理
を示したものである。

【０００６】同図に示すように、２眼ステレオ視では、
左右の画像センサ１、２の画像＃１（撮像面１ａ上で得
られる）、画像＃２（撮像面２ａ上で得られる）中の、
対応する点Ｐ₁、Ｐ₂同士の位置の差である視差（ディス
パリティ）ｄを計測する必要がある。一般に視差ｄは、
３次元空間中の点５０ａ（認識対象物体５０上の点）ま
での距離ｚとの間に、次式で示す関係が成立する。

【０００７】ｚ＝Ｆ・Ｂ/ ｄ …（１） ここに、Ｂは左右の画像センサ１、２間の距離（基線
長）であり、Ｆは画像センサ１のレンズ３１、画像セン
サ２のレンズ３２の焦点距離である。通常、基線長Ｂと
焦点距離Ｆは既知であるので、視差ｄが分かれば、距離
ｚは一義的に求められることになる。

【０００８】この視差ｄは、両画像＃１、＃２間で、ど
の点がどの点に対応するかを逐一探索することにより算
出することができる。

【０００９】このときの一方の画像＃１上の点Ｐ₁に対
応する他方の画像＃２上の点Ｐ₂のことを「対応点」と
以下呼ぶこととし、対応点を探索することを、以下「対
応点探索」と呼ぶことにする。物体５０までの距離を仮
定したとき、一方の画像＃１上の点Ｐ₁に対応する他方
の画像＃２上の点のことを以下「対応候補点」と呼ぶこ
とにする。

【００１０】２眼ステレオ視による計測を行う場合、上
記対応点探索を行った結果、真の距離ｚに対応する真の
対応点Ｐ₂を検出することができれば、真の視差ｄを算
出することができたことになり、このとき対象物５０上
の点５０ａまでの真の距離ｚが計測できたといえる。

【００１１】こうした処理を、一方の画像＃１の全画素
について実行することにより、画像＃１の全選択画素に
距離情報を付与した画像（距離画像）が生成されること
になる。

【００１２】上記対応点を探索して真の距離を求める処
理を、図１６、図１７、図１８を用いて詳述する。

【００１３】図１８は、従来の２眼ステレオ視による距
離計測装置（物体認識装置）の構成を示すブロック図で
ある。

【００１４】基準画像入力部１０１には、視差ｄ （距
離ｚ）を算出する際に基準となる画像センサ１で撮像さ
れた基準画像＃１が取り込まれる。一方、画像入力部１
０２には、基準画像＃１上の点に対応する対応点が存在
する画像である画像センサ２の撮像画像＃２が取り込ま
れる。

【００１５】つぎに、対応候補点座標生成部１０３、局
所情報抽出部１０４、ウインドウ処理型類似度算出部１
０５、距離推定部１０６における処理を図１６を用いて
説明すると、まず、対応候補点座標生成部１０３では、
基準画像＃１の各画素に対して、仮定した距離ｚ_n毎
に、画像センサ２の画像＃２の対応候補点の位置座標が
記憶、格納されており、これを読み出すことにより対応
候補点の位置座標を発生する。

【００１６】すなわち、基準画像センサ１の基準画像＃
１の中から位置（ｉ，ｊ）で特定される画素Ｐ₁が選択
されるとともに、認識対象物体５０までの距離ｚ_nが仮
定される。そして、この仮定距離ｚ_nに対応する他方の
画像センサ２の画像＃２内の対応候補点Ｐ₂の位置座標
（Ｘ₂，Ｙ₂）が読み出される。

【００１７】つぎに、局所情報抽出部１０４では、この
ようにして対応候補点座標生成部１０３によって発生さ
れた対応候補点の位置座標に基づき局所情報を抽出する
処理が実行される。ここで、局所情報とは、対応候補点
の近傍の画素を考慮して得られる対応候補点の画像情報
のことである。

【００１８】さらに、ウインドウ処理型類似度算出部１
０５では、上記局所情報抽出部１０４で得られた対応候
補点Ｐ₂の画像情報と基準画像の選択画素Ｐ₁の画像情報
との類似度が算出される。具体的には、基準画像＃１の
選択された画素の周囲の領域と、画像センサ２の画像＃
２の対応候補点の周囲の領域とのパターンマッチングに
より、両画像の領域同士が比較されて、類似度が算出さ
れる。

【００１９】すなわち、図１６に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、 ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。そして同様のパターンマッ
チングが、基準画像＃１の各選択画素毎に全画素につい
て行われる。

【００２０】図１７は、仮定距離ｚ_nと類似度の逆数Ｑs
との対応関係を示すグラフである。

【００２１】図１６のウインドウＷＤ₁と、仮定距離が
ｚ_n ´のときの対応候補点の位置を中心とするウインド
ウＷＤ₂´とのマッチングを行った結果は、図１７に示
すように類似度の逆数Ｑsとして大きな値が得られてい
る（類似度は小さくなっている）が、図１６のウインド
ウＷＤ₁と、仮定距離がｚ_xのときの対応候補点の位置を
中心とするウインドウＷＤ₂とのマッチングを行った結
果は、図１７に示すように類似度の逆数Ｑsは小さくな
っている（類似度は大きくなっている）のがわかる。な
お、類似度は、一般に、比較すべき選択画素と対応候補
点の画像情報の差の絶対値や、差の２乗和として求めら
れる。

【００２２】このようにして仮定距離ｚ_nと類似度の逆
数Ｑsとの対応関係から、最も類似度が高くなる点（類
似度の逆数Ｑsが最小値となる点）を判別し、この最も
類似度が高くなっている点に対応する仮定距離ｚ_xを最
終的に、認識対象物体５０上の点５０ａまでの真の距離
（最も確からしい距離）と推定する。つまり、図１６に
おける仮定距離ｚ_xに対応する対応候補点Ｐ₂が選択画素
Ｐ₁に対する対応点であるとされる。このように、距離
推定部１０６では、基準画像＃１の選択画素について仮
定距離ｚ_nを順次変化させて得られた各類似度の中か
ら、最も類似度の高くなるものが判別され、最も類似度
が高くなる仮定距離ｚ_xが真の距離と推定され、出力さ
れる。

【００２３】以上、２眼ステレオ視による場合を説明し
たが、３台以上の画像センサを用いてもよい。３台以上
の画像センサを用いて距離計測（物体認識）を行うこと
を、多眼ステレオ視による距離計測（物体認識）と称す
ることにする。

【００２４】多眼ステレオ視は、対応点のあいまいさを
低減できるため、格段に信頼性を向上できるので最近良
く用いられている。この多眼ステレオ視による距離計測
装置（物体認識装置）では、複数の画像センサを、２台
の画像センサからなるステレオ対に分割し、それぞれの
ステレオ対に対し、前述した２眼ステレオ視の原理を繰
り返し適用する方式をとっている。

【００２５】すなわち、複数ある画像センサの中から基
準となる画像センサを選択し、この基準画像センサと他
の画像センサとの間で、ステレオ対を構成する。そし
て、各ステレオ対に対して２眼ステレオ視の場合の処理
を適用していく。この結果、基準画像センサから基準画
像センサの視野内に存在する認識対象物までの距離が計
測されることになる。

【００２６】従来の多眼ステレオにおけるステレオ対の
関係を図１９を参照して説明すると、図１６に示す２眼
ステレオでは、基準画像＃１と対をなす対応画像は＃２
の１つであったが、多眼ステレオでは、基準画像＃１と
画像センサ２の画像＃２の対、基準画像＃１と画像セン
サ３の画像＃３の対、…、基準画像＃１と画像センサＮ
の画像＃Ｎの対という具合に複数のステレオ対が存在す
る。こうした対応画像と基準画像の各ステレオ対に基づ
く処理を行う前には、画像センサたるカメラの取付け歪
みなどを考慮する必要があり、通常はキャリブレーショ
ンによる補正処理を前もって行うようにしている。

【００２７】多眼ステレオによって対応点を探索して真
の距離を求める処理を、前述した２眼ステレオの図１
６、図１８に対応する図１９、図２０を用いて詳述す
る。

【００２８】図２０は、従来の多眼ステレオ視による距
離計測装置（物体認識装置）の構成を説明する図であ
る。

【００２９】なお、各画像センサ１、２、３、…、Ｎ
は、水平、垂直あるいは斜め方向に所定の間隔で配置さ
れているものとする（説明の便宜上、図２０では一定間
隔で左右に配置されている場合を示している）。

【００３０】基準画像入力部２０１には、視差ｄ（距離
ｚ）を算出する際に基準となる画像センサ１で撮像され
た基準画像＃１が取り込まれる。一方、画像入力部２０
２には、基準画像＃１上の点に対応する対応点が存在す
る画像である画像センサ２の撮像画像＃２が取り込まれ
る。他の画像入力部２０３、２０４においても、基準画
像＃１に対応する画像センサ３の画像＃３が、基準画像
＃１に対応する画像センサＮの画像＃Ｎがそれぞれ取り
込まれる。

【００３１】対応候補点座標生成部２０５では、基準画
像＃１の各画素に対して、仮定した距離ｚ_n毎に、画像
センサ２の画像＃２の対応候補点の位置座標、画像セン
サ３の画像＃３の対応候補点の位置座標、画像センサＮ
の画像＃Ｎの対応候補点の位置座標がそれぞれ記憶、格
納されており、これらを読み出すことにより各対応候補
点の位置座標を発生する。

【００３２】すなわち、基準画像センサ１の基準画像＃
１の中から所定位置Ｐ₁に存在する（ｉ，ｊ）で特定さ
れる画素が選択されるとともに、認識対象物体５０まで
の距離ｚ_nが仮定される。そして、この仮定距離ｚ_nに対
応する画像センサ２の画像＃２内の対応候補点Ｐ₂の位
置座標（Ｘ₂，Ｙ₂）が読み出される。同様にして、基準
画像＃１の選択画素Ｐ₁（ｉ，ｊ）、仮定距離ｚ_nに対応
する画像センサ３の画像＃３の対応候補点Ｐ₃の位置座
標が読み出され、基準画像＃１の選択画素Ｐ₁（ｉ，
ｊ）、仮定距離ｚ_nに対応する画像センサＮの画像＃Ｎ
の対応候補点Ｐ_Nの位置座標が読み出される。そして、
仮定距離ｚ_nを順次変化させて同様の読み出しが行われ
る。また、選択画素を順次変化させることによって同様
の読み出しが行われる。こうして対応候補点Ｐ₂の位置
座標（Ｘ₂，Ｙ₂）、対応候補点Ｐ₃の位置座標（Ｘ₃，Ｙ
₃）、・・・、対応候補点Ｐ_Nの位置座標（Ｘ_N，Ｙ_N）が対
応候補点座標生成部２０５から出力される。

【００３３】つぎに、局所情報抽出部２０６では、この
ようにして対応候補点座標生成部２０５によって発生さ
れた対応候補点の位置座標に基づき局所情報を抽出する
処理が実行される。同様にして、局所情報抽出部２０７
では、対応候補点座標生成部２０５で発生された画像セ
ンサ３の画像＃３の対応候補点Ｐ₃の位置座標に基づい
て、対応候補点Ｐ₃の局所情報が、局所情報抽出部２０
８では、対応候補点座標生成部２０５で発生された画像
センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置座標に基づ
いて、対応候補点Ｐ_Nの局所情報がそれぞれ求められ
る。

【００３４】さらに、ウインドウ処理型類似度算出部２
０９では、上記局所情報抽出部２０６で得られた対応候
補点Ｐ₂の局所情報Ｆ₂と基準画像＃１の選択画素Ｐ₁の
画像情報との類似度が算出される。具体的には、基準画
像＃１の選択された画素の周囲の領域と、画像センサ２
の画像＃２の対応候補点の周囲の領域とのパターンマッ
チングにより、両画像の領域同士が比較されて、類似度
が算出される。

【００３５】すなわち、図１９に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、 ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。

【００３６】図２３（１）は、仮定距離ｚ_nとステレオ
対（基準画像センサ１と画像センサ２）の類似度の逆数
Ｑs₁との対応関係を示すグラフである。

【００３７】図１９のウインドウＷＤ₁と、仮定距離が
ｚ_n ´のときの対応候補点の位置座標を中心とするウイ
ンドウＷＤ₂´とのマッチングを行った結果は、図２３
（１）に示すように類似度の逆数Ｑs₁として大きな値が
得られている（類似度は小さくなっている）が、図１９
のウインドウＷＤ₁と、仮定距離がｚ_xのときの対応候補
点の位置座標を中心とするウインドウＷＤ₂とのマッチ
ングを行った結果は、図２３（１）に示すように類似度
の逆数Ｑs₁は小さくなっている（類似度は大きくなって
いる）のがわかる。

【００３８】同様にしてウインドウ処理型類似度算出部
２１０では、基準画像＃１の選択画素Ｐ₁の位置座標を
中心とするウインドウＷＤ₁と、画像センサ３の画像＃
３の対応候補点Ｐ₃の位置座標を中心とするウインドウ
ＷＤ₃とのパターンマッチングが実行され、これらの類
似度が算出される。そして、パターンマッチングが各仮
定距離ｚ_n毎に行われることによって、このステレオ対
（基準画像センサ１と画像センサ３）についても図２３
（２）に示すような仮定距離ｚ_nと類似度の逆数Ｑs₂と
の対応関係を示すグラフが求められる。同様にしてウイ
ンドウ処理型類似度算出部２１１では、基準画像＃１の
選択画素Ｐ₁の位置座標を中心とするウインドウＷＤ
₁と、画像センサＮの画像＃Ｎの対応候補点Ｐ_N の位置
座標を中心とするウインドウＷＤ_Nとのパターンマッチ
ングが実行され、これらの類似度が算出される。そし
て、パターンマッチングが各仮定距離ｚ_n毎に行われる
ことによって、このステレオ対（基準画像センサ１と画
像センサＮ）についても図２３（Ｎ）に示す仮定距離ｚ
_nと類似度の逆数Ｑs_Nとの対応関係が求められる。

【００３９】最後に、各ステレオ対毎に得られた仮定距
離ｚ_nと類似度の逆数との対応関係を仮定距離毎に加算
する。

【００４０】さらに図２３（融合結果）に示すように、
仮定距離ｚ_nと類似度の逆数の加算値との対応関係か
ら、最も類似度が高くなる点（類似度の逆数の加算値が
最小値となる点）を判別し、この最も類似度が高くなっ
ている点に対応する仮定距離ｚ_xを最終的に、認識対象
物体５０上の点５０ａまでの真の距離（最も確からしい
距離）と推定する。かかる処理は、基準画像＃１の各選
択画素毎に全画素について行われる。

【００４１】以上のようにして、距離推定部２１２で
は、仮定距離ｚ_nを順次変化させて得られた類似度の加
算値の中から、最も類似度の加算値が高くなるものが判
別され、最も類似度の加算値が高くなる仮定距離ｚ_xが
真の距離と推定され、出力される。そして、かかる距離
推定が基準画像＃１の全画素について行われることか
ら、基準画像＃１の全選択画素に距離情報を付与した画
像（距離画像）が生成されることになる。

【００４２】ここに、論文１「複数の基線長を利用した
ステレオマッチング」（電子情報通信学会論文誌、D-2
VOL ．J75-D-2 No．８ １９９２−８、奥富正敏、金出
武雄）には、ウインドウ毎のマッチングによるステレオ
処理に関する技術が記載されている。

【００４３】すなわち、上記論文１には、基準画像の選
択画素の位置を中心とするウインドウを切り出すととも
に、対応画像の対応候補点の位置を中心とするウインド
ウを切り出し、これらウインドウ同士についてパターン
マッチングを行うことにより、基準画像の選択画素につ
いてウインドウ内加算された類似度を演算する技術が記
載されている。具体的には、一方のウインドウ内の画素
の画像情報と、この画素に対応する他方のウインドウ内
の画素の画像情報との差の２乗を、ウインドウ内の各画
素毎に求め、この画像情報の差の２乗値を、ウインドウ
内の全画素について加算したものを、類似度としてい
る。

【００４４】また、論文２「ビデオレート・ステレオマ
シン」（日本ロボット学会誌、ｖｏｌ．１３ No．３、
金出武雄、木村茂）には、上記論文１に記載されている
ウインドウ毎のマッチングによるステレオ処理を、専用
のハードウエアで実現する技術が記載されている。

【００４５】すなわち、ウインドウ内の各画素ごとに求
めた画像情報の差の絶対値を加算する処理を、前回の画
素の処理結果や中間結果などを用いて、高速に行う技術
が記載されている。こうした前回の画素の処理結果や中
間結果などを用いてウインドウ内加算を行う方法を、こ
こでは再帰型のウインドウ内加算方法と呼ぶことにす
る。

【００４６】つぎに、図１１、図１２を参照して、この
再帰型のウインドウ内加算処理について説明する。

【００４７】図１２は、上記再帰型のウインドウ内加算
処理を行う専用のハードウエアを示すブロック図であ
る。これは、パイプライン化されたハードウエアとして
も実現できる。

【００４８】図１１は、再帰型のウインドウ内加算処理
の概念図である。

【００４９】同図１１では、サイズが３×３画素のウイ
ンドウ内で加算が行われる場合を想定している。図１１
に示される各画素の箱内には、たとえば画素（ｉ，ｊ−
３）の箱内には、この画素（ｉ，ｊ−３）に対応する類
似度（選択画素（ｉ，ｊ−３）の画像情報とこれの対応
点の画像情報の差の２乗値）が格納されているものとす
る。

【００５０】いま、座標位置（ｉ−２，ｊ−１）の画素
のウインドウ内加算した類似度を求めた後に、座標位置
（ｉ−１，ｊ−１）の画素のウインドウ内加算した類似
度を求める場合を考える。

【００５１】すると、以下の手順で、類似度（画像情報
の差の２乗値）のウインドウ内加算処理が実行される。
手順１、２ではｊ方向の演算が、手順３、４ではｉ方向
の演算が実行される。

【００５２】・手順１．座標位置（ｉ，ｊ）の画素につ
いて類似度（画像情報の差の２乗値）を示すデータが入
力されると、この画素（ｉ，ｊ）に対応する類似度は、
前に演算された各画素（ｉ，ｊ−３）、（ｉ，ｊ−
２）、（ｉ，ｊ−１）といったｊ方向の各画素の類似度
の加算結果に加算される（加算１）。

【００５３】・手順２．つぎに、上記手順１の加算結果
（加算１）から、画素（ｉ，ｊ−３）に対応する類似度
が減算される（減算１）。このようにして、各画素
（ｉ，ｊ−２）、（ｉ，ｊ−１）、（ｉ，ｊ）といった
ｊ方向の各画素の類似度を加算したものが求められる。

【００５４】・手順３．つぎに、上記手順２の減算結果
（減算１）が、前回のウインドウＡ（中心画素（ｉ−
２，ｊ−１））のウインドウ内加算結果（中心画素（ｉ
−２，ｊ−１）のウインドウ内加算した類似度）に加算
される（加算２）。

【００５５】・手順４．つぎに、上記手順３の加算結果
（加算２）から、先に演算された各画素（ｉ−３，ｊ−
２）、（ｉ−３，ｊ−１）、（ｉ−３，ｊ）といったｊ
方向の各画素の類似度の加算結果が減算されることで、
今回のウインドウＢ（中心画素（ｉ−１，ｊ−１））の
ウインドウ内加算結果、つまり中心画素（ｉ−１，ｊ−
１）のウインドウ内加算した類似度が求められる。

【００５６】そして、上記手順４で算出されたウインド
ウＢの加算結果は、次の画素（ｉ，ｊ−１）を中心とし
たウインドウ内加算を行うときには、ウインドウＡの値
として使用される。このようにして、順次ウインドウ内
加算が行われる。

【００５７】上記手順は、再帰型ウインドウ内加算の一
例であり、ｉ、ｊの方向を入れ替えるなど適宜変更が可
能である。

【００５８】このように再帰型のウインドウ内加算で
は、今回のウインドウ内加算を行うときに、以前に行っ
たウインドウと領域が重なっている場合には、重なって
いる領域について重複した加算を繰り返し行うのではな
く、前の加算結果を利用することにより、計算量を低減
するようにしている。

【００５９】サイズが３×３画素のウインドウの中に
は、９個の類似度のデータがあり、これらについてウイ
ンドウ内加算処理を単純に行うとすると、８回の類似度
の加算（８回の演算）が必要である。

【００６０】これに対して図１１に示す再帰型ウインド
ウ内加算では、加算１、加算２といった２回の加算と、
減算１、減算２といった２回の減算の合計４回の演算で
済み、計算量が大幅に低減されるのがわかる。

【００６１】この処理を、図１２に示す処理ブロック図
でみると、手順２で使用される画素（ｉ，ｊ−３）の類
似度のデータは、第１のシフトレジスタ５０３によって
タイミングを合わせられて、減算１を行う減算１処理部
５０２に入力される。

【００６２】また、加算１に使用される画素（ｉ，ｊ−
３）、（ｉ，ｊ−２）、（ｉ，ｊ−１）の類似度の加算
結果は、減算１の演算が行われたときに、その結果が第
２のシフトレジスタ５０４に入力され、タイミングを合
わせられて、加算１を行う加算１処理部５０１に入力さ
れる。

【００６３】ｉ方向の演算についても同様に、第３のシ
フトレジスタ５０７、第４のシフトレジスタ５０８で
は、第１のシフトレジスタ５０３、第２のシフトレジス
タ５０４と同様にしてタイミング調整がなされた上で、
減算２を行う減算２処理部５０６、加算２を行う加算２
処理部５０５にデータが入力される。

【００６４】

【発明が解決しようとする課題】前述した２眼ステレオ
視による計測処理、多眼ステレオ視による計測処理を行
う場合、その全演算量の中で、類似度のウインドウ内加
算といった演算が大きなウエイトを占めている。したが
って、処理の高速化を達成するには、このウインドウ内
加算という演算を高速に行うことが必要である。

【００６５】確かに、前述した図１１、図１２に示す再
帰型のウインドウ内加算処理を行った場合には、従来よ
りも処理を高速に行うことは可能である。

【００６６】しかし、この再帰型のウインドウ内加算
を、パイプライン処理によるハードウエアで実現するた
めには、図１２に示すように、 演算手順に合わせてシ
フトレジスタでタイミング調整を行わせるよう専用のハ
ードウエア演算器を開発する必要がある。

【００６７】さらに、こうした専用のハードウエアで
は、仮定距離が変わったときの初期化などの制御が複雑
となり、その設計が困難であるという問題がある。

【００６８】本発明は、こうした実状に鑑みてなされた
ものであり、類似度のウインドウ内加算を行う際に、演
算手順に合わせて専用のハードウエアを開発する必要が
なく、画像を走査するときに通常用いられる汎用の演算
処理装置を用いることで、高速化を損なうことなく簡易
に演算を行えるようにすることを解決課題とするもので
ある。

【００６９】

【課題を解決するための手段および効果】以下に述べる
ことは、容易に多眼ステレオに適用できるが、簡単のた
め２眼ステレオに適用される場合を想定して述べる。

【００７０】本発明の第１発明では、上記解決課題を達
成するために、複数の撮像手段を所定の間隔をもって配
置し、これら複数の撮像手段のうちの一の撮像手段で対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記一の撮像手段から前記選択画素に
対応する前記物体上の点までの仮定距離の大きさ毎に抽
出し、前記選択画素の画像情報と前記対応候補点の画像
情報の類似度を算出し、この算出された類似度が最も大
きくなるときの前記仮定距離を、前記一の撮像手段から
前記選択画素に対応する前記物体上の点までの推定距離
とする計測を行うステレオ画像処理装置において、画像
の各画素ごとに、対象画素近傍の局所領域のデータを取
り込み、そのデータに対して並列に演算することによ
り、画像を加工することができる、局所並列型演算器３
１１を予め用意するとともに、さらに、各画素にそれぞ
れ、前記選択画素の画像情報と、この選択画素に対応す
る対応候補点の画像情報との類似度を示す画素から構成
される画像を入力し、この画像を所定の走査形式で順次
走査しながら、少なくとも一つ以上の前記局所並列型演
算器を用いることにより、各画素毎に、当該画素の周辺
領域の各画素の類似度の画像情報を融合して、類似度の
安定化を行う類似度安定化手段３０６を具え、前記類似
度安定化手段から出力された画像に基づいて、各画素毎
に推定距離を求めるようにしている。

【００７１】かかる構成によれば、図１に示すように、
各画素データＰ_f（ｉ，ｊ）毎に、対象画素近傍の局所
領域のデータを取り込み、そのデータに対して並列に演
算することにより、画像を加工することができる、局所
並列型演算器３１１が予め用意される。

【００７２】処理実行中のデータの流れを示したものが
図３、図１４である。以下、この図３、図１４を使って
説明する。

【００７３】まず、類似度安定化手段３０６に対して、
各画素データＰ_f（ｉ，ｊ）にそれぞれ、選択画素Ｐ
₁（ｉ，ｊ）の画像情報Ｇ₁（ｉ，ｊ）と、この選択画素
Ｐ₁（ｉ，ｊ）に対応する対応候補点Ｐ₂（ｉ，ｊ，
ｚ_n）の画像情報Ｇ₂（ｉ，ｊ，ｚ_n）との類似度Ｑad
（ｉ，ｊ，ｚ_n）を示す画素データから構成される画像
が入力され、この画像をラスタ形式などの所定の形式で
BR>順次走査しながら、少なくとも一つ以上の前記局所
並列型演算器３１１を用いることにより、各画素データ
毎に、当該画素データの周辺領域の類似度の画像情報Ｑ
ad（ｉ，ｊ，ｚ_n）を融合して、当該画素データＰ
_f（ｉ，ｊ）の類似度Ｑad（ｉ，ｊ，ｚ_n）を安定化し
た、安定化類似度Ｑs（ｉ，ｊ，ｚ_n）が求められる。

【００７４】そして、こうして求められた安定化類似度
の基づいて、各画素データＰ_f（ｉ，ｊ）毎に推定距離
ｚ_xが求められる。

【００７５】以上のように第１発明では、類似度の安定
化を行う際に、予め、ラスタ形式などの所定の形式の走
査画像を入力とする汎用の局所並列型演算器３１１を用
いて、類似度を安定化する演算処理を行うようにしたの
で、類似度の安定化のための演算手順に合わせて専用の
ハードウエアを開発する必要がない。この結果、高速化
を損なうことなく簡易に類似度安定化の演算を行うこと
ができる。

【００７６】すなわち、従来のステレオ画像処理では、
ウインドウＷＤ₁、 ＷＤ₂同士のパターンマッチングを
行う際に、単純なウインドウ内加算を行うようにしてい
た（ウインドウＷＤ₁内の各画素毎に類似度Ｑadを求
め、これらを加算していた）。そして、この演算を行う
ためのハードウエアを構築する際にも、ウインドウ内加
算にとらわれていたため、特別な演算を行う専用の装置
にならざるを得なかった。

【００７７】しかし、ウインドウ内加算の本質は、パタ
ーンマッチングを行う際のウインドウ内の画像情報の安
定化であるにすぎず、ウインドウ内加算にとらわれる必
要はない。

【００７８】ここに、本発明者は、一般的な画像処理の
分野では、ラスタ形式の画像データを取り込み、その２
次元の画像中のあるフィルタ領域（ウインドウ領域）に
対して、局所並列型演算器（空間フィルタ）を使って重
み付けと畳み込み積分を行うことで、ウインドウ内の画
像情報を安定化することができることに着目した。

【００７９】そこで、類似度Ｑadを示す画素データから
構成された画像を順次走査しながら、局所並列型演算器
（空間フィルタ）３１１を使用することで、安定化類似
度Ｑsの演算を高速に行うようにしたものである。

【００８０】ここで用いられる局所並列型演算器３１１
は、単に、ウインドウ内の画像情報を安定化する演算を
行うものであり（従来の再帰型のウインドウ内加算を行
うものではない）、専用の演算処理装置を特別に開発す
る必要がなく、汎用のもの（汎用の空間フィルタリング
処理用ＬＳＩ）を使用することができ、装置を簡易に構
築することが可能である。また、ハードウエアの規模も
低減することができる。

【００８１】本発明の第２発明では、上記解決課題を達
成するために、複数の撮像手段を所定の間隔をもって配
置し、これら複数の撮像手段のうちの一の撮像手段で対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記一の撮像手段から前記選択画素に
対応する前記物体上の点までの仮定距離の大きさ毎に抽
出し、前記選択画素の画像情報と前記対応候補点の画像
情報の類似度を算出し、この算出された類似度が最も大
きくなるときの前記仮定距離を、前記一の撮像手段から
前記選択画素に対応する前記物体上の点までの推定距離
とする計測を行うステレオ画像処理装置において、画像
の各画素ごとに、対象画素近傍の局所領域のデータを取
り込み、そのデータに対して並列に演算することによ
り、画像を加工することができる局所並列型演算器３１
１を予め用意するとともに、さらに、複数の撮像手段の
うちの一の撮像手段の撮像画像中の画素を所定の走査形
式で順次選択し、当該選択画素に対応する他の撮像手段
の撮像画像中の対応候補点の座標位置をデータとして保
持する画素から構成される画像フレームを、仮定距離毎
に、一つの画像フレームとして生成する対応候補点座標
生成手段３０１と、前記対応候補点座標生成手段で生成
された画像フレームを入力して、画素単位に前記所定の
走査形式で、前記一の撮像手段の撮像画像中の選択画素
の画像情報と当該選択画素に対応する他の撮像手段の撮
像画像中の対応候補点の画像情報を抽出し、これら抽出
された画像情報を、入力された画像フレームに準じた形
式の画像フレームにして出力する対応候補点情報抽出手
段３０４と、前記対応候補点情報抽出手段から出力され
た画像フレームを入力して、画素単位に前記所定の走査
形式で、前記抽出された画像情報同士の類似度を計算
し、この類似度を、入力された画像フレームに準じた形
式の画像フレームにして出力する類似度算出手段３０５
と、前記類似度算出手段から出力された画像フレームを
入力して、画素単位に前記所定の走査形式で、少なくと
も１個の前記局所並列型演算器によって対象画素近傍の
類似度を融合することにより類似度の安定化を行い、こ
の安定化された類似度を、入力された画像フレームに準
じた形式の画像フレームにして出力する類似度安定化手
段３０６と、前記類似度安定化手段から出力された画像
フレームを入力して、仮定距離の変化に対する安定化さ
れた類似度の変化を求め、安定化された類似度が最も大
きくなるときの仮定距離を、画素単位で前記所定の走査
形式で算出し、この安定化された類似度が最も大きくな
るときの仮定距離を、入力された画像フレームに準じた
形式の画像フレームにして出力する距離推定手段３０７
と、を具え、前記画像フレームを構成する各画素のデー
タを、これら前記対応候補点座標生成手段、前記対応候
補点情報抽出手段、前記類似度算出手段、前記類似度安
定化手段、前記距離推定手段の各手段による処理によっ
て順次更新させつつ、これら各手段の間で、当該画像フ
レームを、画素単位に前記所定の走査形式で転送させな
がら処理するようにしている。

【００８２】かかる構成によれば、図１に示すように、
画像の各画素毎に、対象画素近傍の局所領域のデータを
取り込み、そのデータに対して並列に演算することによ
り、画像を加工することができる、局所並列型演算器３
１１が予め用意される。

【００８３】画像フレームの中のデータの流れを示した
ものが、図３、図１４である。

【００８４】以下、この図３、図１４を使って説明す
る。

【００８５】まず、対応候補点座標生成手段３０１で、
一の撮像手段１による撮像画像＃１の各選択画素Ｐ
₁（ｉ，ｊ）にそれぞれ対応する各画素データＰ_f（ｉ，
ｊ）を有し、これら各画素データＰ_f（ｉ，ｊ）に、対
応する選択画素Ｐ₁（ｉ，ｊ）の座標位置（ｉ，ｊ）
と、この選択画素Ｐ₁（ｉ，ｊ）の対応候補点Ｐ₂（ｉ，
ｊ，ｚ_n ）の座標位置（Ｘ₂，Ｙ₂）が格納された画像フ
レーム２０が、仮定距離ｚ_n毎に生成される。

【００８６】そして、この画像フレーム２０が、対応候
補点情報抽出手段３０４に入力され、この画像フレーム
２０が順次走査されることにより、各画素データＰ
_f（ｉ，ｊ）にそれぞれ格納された、対応する選択画素
Ｐ₁（ｉ，ｊ）の座標位置（ｉ，ｊ）と、この選択画素
Ｐ₁（ｉ，ｊ）の対応候補点Ｐ₂（ｉ，ｊ，ｚ_n ）の座標
位置（Ｘ₂，Ｙ₂）から、座標位置（ｉ，ｊ）に対応する
選択画素Ｐ₁（ｉ，ｊ）の画像情報Ｇ₁（ｉ，ｊ）と、こ
の選択画素Ｐ₁（ｉ，ｊ）の対応候補点Ｐ₂（ｉ，ｊ，ｚ
_n）の画像情報Ｇ₂（ｉ，ｊ，ｚ_n）が、各画素データＰ_f
（ｉ，ｊ）毎に求められ、当該両撮像画像＃１、＃２の
画像情報Ｇ₁（ｉ，ｊ）、 Ｇ₂（ｉ，ｊ，ｚ_n）が、各画
素データＰ_f（ｉ，ｊ）にそれぞれ格納され、これが画
像フレーム２０として出力される。

【００８７】そして、この画像フレーム２０が、類似度
算出手段３０５に入力され、この画像フレーム２０が順
次走査されることにより、各画素データＰ_f（ｉ，ｊ）
にそれぞれ格納された両撮像画像＃１、＃２の画像情報
Ｇ₁（ｉ，ｊ）、 Ｇ₂（ｉ，ｊ，ｚ_n）から、これらの類
似度Ｑad（ｉ，ｊ，ｚ_n）が、各画素データＰ_f（ｉ，
ｊ）毎に求められ、当該類似度を示す画像情報Ｑad
（ｉ，ｊ，ｚ_n）が、各画素データＰ_f（ｉ，ｊ）にそれ
ぞれ格納され、これが画像フレーム２０として出力され
る。

【００８８】そして、この画像フレーム２０が、類似度
安定化手段３０６に入力され、この画像フレーム２０を
順次走査しながら、上記局所並列型演算器３１１を用い
ることにより、各画素データＰ_f（ｉ，ｊ）毎に、当該
画素Ｐ_f（ｉ，ｊ）を含む周辺の領域ＷＤ_fの各画素の類
似度を示す画像情報Ｑad（ｉ，ｊ，ｚ_n）を融合して、
当該画素データＰ_f（ｉ，ｊ）の類似度Ｑad（ｉ，ｊ，
ｚ_n）を安定化した安定化類似度Ｑs（ｉ，ｊ，ｚn）が
求められ、各画素データＰｆ（ｉ，ｊ）にそれぞれ、安
定化類似度を示す画像情報Ｑs（ｉ，ｊ，ｚ_n）が格納さ
れた画像フレーム２０が出力される。

【００８９】そして、この画像フレーム２０が、仮定距
離ｚ_n毎に、距離推定手段３０７に順次入力され、これ
ら仮定距離ｚ_n毎の画像フレーム２０が順次走査される
ことにより、各画素データＰ_f（ｉ，ｊ）にそれぞれ格
納された安定化類似度を示す画像情報Ｑs（ｉ，ｊ，
ｚ_n）から、安定化類似度Ｑs（ｉ，ｊ，ｚ_n）が最も大
きくなるときの仮定距離ｚ_xが、各画素データＰ_f（ｉ，
ｊ）毎に求められ、これが推定距離ｚ_x（ｉ，ｊ）とさ
れて、この推定距離を示す画像情報ｚ_x（ｉ，ｊ）が、
各画素データＰ_f（ｉ，ｊ）にそれぞれ格納され、これ
が画像フレーム２０として出力される。

【００９０】以上のように第２発明では、第１発明に加
えて、所定の走査形式（たとえばラスタ形式）の画像フ
レーム２０を、各手段間で転送するようにしているの
で、画像表示を行う手段との整合性がよく、簡単なハー
ドウエアで各手段から出力される画像フレーム２０の情
報を画像表示することができる。たとえば、最終段の距
離推定手段３０７から出力される画像フレーム２０を画
像表示させるだけではなく、その前段の類似度安定化手
段３０６から出力された画像フレーム２０をそのまま画
像表示させることができる。

【００９１】また、第３発明では、第２発明の構成に加
えて、前記対応候補点情報抽出手段および前記類似度算
出手段および前記類似度安定化手段および前記距離推定
手段を対象として、必要に応じて対象となる前記各手段
において、前記対応候補点情報抽出手段では選択画素の
画像情報と対応候補点の画像情報の抽出処理、前記類似
度算出手段では類似度の算出処理、前記類似度安定化手
段では類似度の安定化処理、前記距離推定手段では距離
推定処理、を行わずに、入力された画像フレームの画素
データを保持した形で画像フレームを出力できるように
している。

【００９２】かかる構成によれば、図１に示すように、
距離推定手段３０７から出力される画像フレーム２０を
表示する表示手段３０８を、さらに設ける場合を考える
と、距離推定手段３０７から出力される各画素Ｐ
_f（ｉ，ｊ）に、推定距離ｚ_x（ｉ，ｊ）が格納された画
像フレーム２０だけが、表示手段３０８に表示されるの
ではなく、たとえば、対応候補点情報抽出手段３０４お
よび類似度算出手段３０５および類似度安定化手段３０
６および距離推定手段３０７を対象として、入力された
画像フレーム２０の画素データを保持した形で画像フレ
ームを出力させる手段を設けると、対応候補点座標生成
手段３０１から出力される画像フレーム２０が、つま
り、各画素データＰ_f（ｉ，ｊ）に、対応する選択画素
Ｐ₁（ｉ，ｊ）の座標位置（ｉ，ｊ）と、この選択画素
Ｐ₁（ｉ，ｊ）の対応候補点Ｐ₂（ｉ，ｊ，ｚ_n ）の座標
位置（Ｘ₂，Ｙ₂）が格納された画像フレーム２０が、表
示手段３０８に表示される。

【００９３】あるいは、類似度算出手段３０５および類
似度安定化手段３０６および距離推定手段３０７を対象
として、入力された画像フレーム２０の画素データを保
持した形で画像フレームを出力させる手段を設けると、
対応候補点情報抽出手段３０４から出力される画像フレ
ーム２０が、つまり、各画素データＰ_f（ｉ，ｊ）に、
両撮像画像＃１、＃２の画像情報Ｇ₁（ｉ，ｊ）、 Ｇ₂
（ｉ，ｊ，ｚ_n）が格納された画像フレーム２０が表示
手段３０８に表示される。

【００９４】あるいは、類似度安定化手段３０６および
距離推定手段３０７を対象として、入力された画像フレ
ーム２０の画素データを保持した形で画像フレームを出
力させる手段を設けると、類似度算出手段３０５から出
力される画像フレーム２０が、つまり、各画素Ｐ
_f（ｉ，ｊ）に、類似度を示す画像情報Ｑad（ｉ，ｊ，
ｚ_n）が格納された画像フレーム２０が表示手段３０８
に表示される。

【００９５】あるいは、距離推定手段３０７を対象とし
て、入力された画像フレーム２０の画素データを保持し
た形で画像フレームを出力させる手段を設けると、類似
度安定化手段３０６から出力される画像フレーム２０
が、つまり、各画素Ｐ_f（ｉ，ｊ）に、安定化類似度を
示す画像情報Ｑs（ｉ，ｊ，ｚ_n）が格納された画像フレ
ーム２０が表示手段３０８に表示される。

【００９６】あるいは、処理途中の類似度安定化手段３
０６のみを対象として、入力された画像フレーム２０の
画素データを保持した形で画像フレームを出力させる手
段を設けると、距離推定手段３０７から出力される各画
素データＰ_f（ｉ，ｊ）に、安定化されていない類似度
によって求められた推定距離ｚ_x（ｉ，ｊ）が格納さ
れ、その画像フレーム２０が表示手段３０８に表示され
る。

【００９７】このように、対応候補点情報抽出手段３０
４および類似度算出手段３０５および類似度安定化手段
３０６および距離推定手段３０７を対象として、あるい
は、類似度算出手段３０５および類似度安定化手段３０
６および距離推定手段３０７を対象として、あるいは、
類似度安定化手段３０６および距離推定手段３０７を対
象として、あるいは、距離推定手段３０７を対象とし
て、演算処理を行うことなく入力された画像フレーム２
０の画素データを保持した形で画像フレームを出力させ
る手段を設けるようにしたので、最終段の距離推定手段
３０７から出力される画像フレーム２０を表示手段３０
８に画像表示させることができるだけではなく、その前
段の各手段３０４、３０５、３０６から出力される画像
フレーム２０を同じ表示手段３０８に画像表示させるこ
とができる。

【００９８】さらに、対応候補点情報抽出手段３０４お
よび類似度算出手段３０５および類似度安定化手段３０
６および距離推定手段３０７の中の、少なくとも一つを
対象として、演算処理を行うことなく入力された画像フ
レーム２０の画素データを保持した形で画像フレームを
出力させる手段を設けるようにしたので、途中の演算処
理を省略した場合の、距離推定手段３０７から出力され
る画像フレーム２０を表示手段３０８に画像表示させる
ことができる。

【００９９】以上のように、通常、最終的に得られた距
離画像を表示するものとして設けられている一つの表示
手段３０８に、途中の演算処理結果および途中の一部の
演算処理を省略した演算処理結果を表示させることがで
きる。

【０１００】演算処理結果を表示させることにより、そ
の結果を視覚的に容易に、そして高速に、確認すること
ができることは、デバックの際に非常に有効である。

【０１０１】したがって、余分なハードウエアを追加し
なくても、小規模なハードウエアでデバック作業を効率
的に行うことができる。

【０１０２】また、第４発明では、第２発明の構成に加
えて、前記距離推定手段で、各仮定距離と各安定化類似
度との対応関係を、画像フレームの各画素データ毎に求
め、さらに、この対応関係を補間することにより、補間
した対応関係を求め、この補間した対応関係より、安定
化類似度が最も大きくなる点を求め、この点に対応する
仮定距離を推定距離とする演算処理を行うようにしてい
る。

【０１０３】かかる構成によれば、図２１に示すよう
に、距離推定手段３０７で、各仮定距離ｚ_nと各安定化
類似度Ｑsとの対応関係Ｌ1が、画像フレーム２０の各画
素データＰ_f（ｉ，ｊ）毎に求められ、さらに、この対
応関係Ｌ1が補間されることにより、補間した対応関係
（補間曲線）Ｌ2が求められ、この補間した対応関係Ｌ2
より、安定化類似度Ｑsが最も大きくなる点（安定化類
似度の逆数が最も小さくなる）が求められ、この点に対
応する仮定距離ｚ_nを推定距離ｚ_xとする演算処理が行わ
れる。

【０１０４】以上のような補間演算（Ｌ1をＬ2にする曲
線近似）がなされることにより、各画像フレーム２０で
仮定距離を…、ｚ₈、ｚ₉、ｚ₁₀、ｚ₁₁、ｚ₁₂、…と変化
させたときの間隔以下の分解能で、距離を推定すること
が可能となり、高精度に計測を行うことができるように
なる。特に、画像フレーム２０を距離推定手段３０７に
入力させ、これを走査しながら順次処理を行うようにし
たので、小型のハードウエアで高速に処理を行わせるこ
とが可能となる。

【０１０５】また、第５発明では、第２発明の構成に加
えて、前記撮像手段によって撮像した撮像画像から、前
記対応候補点情報抽出手段によって画像情報を抽出する
前に、少なくとも１個の前記局所並列型演算器を用いて
前記撮像画像の前処理を行う場合に、前記撮像画像の前
処理を行う際には、前記撮像画像が前記局所並列型演算
器に入力され、かつ、この局所並列型演算器によって、
入力された撮像画像の前処理が行われた前処理画像が前
記対応候補点情報抽出手段に出力されるように、前記局
所並列型演算器の入出力を切り換えるとともに、前記類
似度を安定化する処理を行う際には、前記類似度算出手
段から出力された画像フレームが前記局所並列型演算器
に入力され、かつ、この局所並列型演算器によって、入
力された画像フレームの各画素データについて類似度を
安定化する処理が行われた画像フレームが、前記距離推
定手段に出力されるように、前記局所並列型演算器の入
出力を切り換える経路制御手段３０９、３１２を具える
ようにしている。

【０１０６】かかる構成によれば、局所並列型演算器は
係数を設定することによりＬｏＧ（Laplacian of Gauss
ian）フィルタをかけた強調処理画像が得られるため、
図６に示すように、複数の撮像手段１、２による撮像画
像＃１、＃２を原画像とし、当該原画像＃１の各画素に
対して、局所並列型演算器３１１を用いた画像処理を施
すことによって、原画像＃１の特徴を強調した前処理画
像＃１Ａを生成する前処理手段３１０が、さらに、具え
られる。そして、この前処理手段３１０で生成された前
処理画像＃１Ａが、原画像＃１の代わりに使用される。

【０１０７】まず、前処理手段３１０による前処理が行
われる際には、経路制御手段３０９、３１２によって、
局所並列型演算器３１１が、この前処理を実行できるよ
うに経路がに切り換えられる。

【０１０８】つまり、撮像手段１の撮像画像、つまり画
像データ入力部３０２の原画像＃１が、局所並列型演算
器３１１に入力され、この局所並列型演算器３１１を用
いて前処理手段３１０により原画像＃１の前処理が行わ
れる。そして、前処理画像＃１Ａが、画像データ記憶部
３０３を介して対応候補点情報抽出手段３０４に出力さ
れる。

【０１０９】そして、類似度安定化手段３０６による類
似度安定化処理が行われる際には、局所並列型演算器３
１１が、この類似度安定化処理を実行できるように経路
が切り換えられる。つまり、類似度算出手段３０５から
出力された画像フレーム２０が、局所並列型演算器３１
１に入力され、この局所並列型演算器３１１を用いて類
似度安定化手段３０６によって、安定化類似度Ｑsが演
算される。そして、安定化類似度Ｑsが各画素毎に演算
された画像フレーム２０が、距離推定手段３０７に出力
される。

【０１１０】本発明は、局所並列型演算器３１１は、ウ
インドウ内の画像情報を演算できるものであるので、類
似度を安定化する演算処理にも、原画像の特徴を強調す
るステレオ画像処理の前処理にも、共用できる点に着目
して、なされたものである。

【０１１１】局所並列型演算器３１１を、前処理手段３
１０側、類似度安定化手段３０６側に、時間的に切り換
えて、使用し、一つの局所並列型演算器３１１を共用す
ることにより、ハードウエアの規模を小さくでき、装
置、システムの小型化、軽量化、低コスト化が実現され
る。

【０１１２】また、第６発明では、第２発明の構成に加
えて、前記距離推定手段から出力される画像フレームを
入力して、入力した画像フレームの一部の画素データの
画像情報に基づいて、当該画像フレームの情報量を圧縮
した圧縮画像フレームを生成して、前記画像フレームお
よび前記圧縮画像フレームを、出力する圧縮手段３１４
を、さらに具えるようにしている。

【０１１３】さらに、第７発明では、第６発明の構成に
加えて、前記圧縮手段により圧縮された圧縮画像フレー
ムを、さらに所定回数、当該圧縮手段で繰り返し圧縮す
ることにより、複数の圧縮サイズの異なる圧縮画像フレ
ームを生成し、これら複数の圧縮サイズの異なる圧縮画
像フレームおよび前記画像フレームを出力するようにし
ている。

【０１１４】かかる第６発明の構成によれば、図８、図
１３に示すように、距離推定手段３０７から出力される
画像フレーム２０Ａの画素データの画像情報に基づい
て、当該画像フレーム２０Ｂの情報量を圧縮した圧縮画
像フレーム２０Ｃが、圧縮手段３１４で生成される。

【０１１５】そして、圧縮手段３１４から出力された画
像フレームが、物体の認識手段に送られた場合には、こ
の圧縮画像フレーム２０Ｃと、画像フレーム２０Ｂとに
基づいて、物体５０が認識される。

【０１１６】第７発明では、さらに、圧縮画像フレーム
２０Ｃが、さらに所定回数、同じ圧縮手段３１４で圧縮
されることにより、複数の圧縮サイズの異なる圧縮画像
フレーム２０Ｃ、２０Ｄが生成される。

【０１１７】そして、これら複数の圧縮サイズの異なる
圧縮画像フレーム２０Ｃ、２０Ｄと、画像フレーム２０
Ｂとに基づいて、物体５０が認識される。

【０１１８】このように、多重解像度の画像２０Ｂ、２
０Ｃ、２０Ｄを得るようにしたので、これらに基づき、
物体５０の認識を効率良く行うことができる。

【０１１９】たとえば、まず、情報量が圧縮された画像
２０Ｃないしは２０Ｄから、物体５０の大局的な特徴を
つかみ、処理範囲を限定することができる。つぎの段階
では情報量が多い画像２０Ｂの上記限定された処理範囲
について、詳細な処理を行うことで、物体５０の形状、
大きさなどの必要な情報を、効率的に取得することがで
きる。

【０１２０】特に、本発明では、画像フレーム２０Ａ
を、圧縮手段３１４に入力させ、これを走査しながら順
次処理を行うことが可能であり、簡単なハードウエアで
効率的に、多重解像度の画像を得ることができる。

【０１２１】なお、本発明の局所並列型演算器３１１
は、図２２（ａ）に示すように、多段の空間フィルタ３
１１ａ、３１１ｂ、３１１ｃで構成することにより、等
価的に大きなウインドウサイズにも対応させることがで
きる。また、図２２（ｂ）に示すように、空間フィルタ
３１１ｄの出力をバッファ３３０を介して、所定回数、
同空間フィルタ３１１ｄを通過させることにより、等価
的に大きなウインドウサイズに対応させることができ
る。

【０１２２】以上では、２眼ステレオに適用される場合
を想定して述べたが、多眼ステレオに適用できることは
言うまでもない。

【０１２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。

【０１２４】図１は、本実施形態の多眼ステレオを利用
したステレオ画像処理装置の構成を示すブロック図であ
る。なお、以下では、多眼ステレオに適用される場合を
想定しているが、２眼ステレオに適用してもよい。

【０１２５】図１５〜図２０で説明した２眼ステレオ、
多眼ステレオ計測装置の基本的構成については、適宜、
省略する。

【０１２６】図１に示す装置は、フレーム処理形式で、
多眼ステレオによる計測を行うものであり、各処理部３
０１、３０４、３０５、３０６、３０７、３０８間を、
統一した形式の画像フレーム２０が転送され、各処理部
で、パイプライン的に処理が行われる。なお、各処理部
の間に、各出力を記憶するメモリを設けて処理を行うよ
うにしてもよい。

【０１２７】画像データ入力部３０２には、視差ｄ（物
体５０までの距離ｚ）を算出する際に基準となる画像セ
ンサ１で撮像された基準画像＃１が取り込まれる。ま
た、この基準画像＃１上の選択画素Ｐ₁に対応する対応
点Ｐ₂が存在する画像である画像センサ２の画像＃２が
取り込まれる。同様に、画像センサ３の画像＃３、…、
画像センサＮの画像＃Ｎについてもそれぞれ取り込まれ
る。

【０１２８】画像データ記憶部３０３には、画像データ
入力部３０２に取り込まれた基準画像＃１および各画像
センサの画像＃２、＃３、・・・、＃Ｎが記憶される。

【０１２９】画像フレーム２０は、形式が統一されてお
り、フレーム処理型対応候補点座標生成部３０１、フレ
ーム処理型対応候補点情報抽出部３０４、フレーム処理
型類似度算出部３０５、フレーム処理型類似度安定化部
３０６、フレーム処理型距離推定部３０７といった各処
理部で、それぞれラスタ走査で入力され、各処理部で必
要な演算が施されて、画像フレーム２０を構成する画素
に、順次演算されたデータが格納されていく。つまり、
画像フレーム２０は、各処理部の間を、パイプライン的
に演算され、転送されていく。

【０１３０】最終段のフレーム処理型距離推定部３０７
からは、距離画像を含む画像フレーム２０が出力され、
表示部３０８に表示される。

【０１３１】例えば、フレーム処理型対応候補点座標生
成部３０１、フレーム処理型対応候補点情報抽出部３０
４間は、データ転送のタイミングをとるためのクロック
信号が送出される信号線３５０、画像フレーム２０の開
始ＳＦ、終了ＥＦなどの属性を示す信号が送出される信
号線３５１、仮定距離ｚ_n、フレーム処理型対応候補点
座標生成部３０１での演算結果などのデータが送出され
る信号線３５２を介して接続されており、画像フレーム
２０の属性、仮定距離、データなどが転送される。他の
各処理部の間も同様の転送が行われる。なお、本実施形
態では、クロック信号は、各処理部間で各々専用のクロ
ックを使用するようにしているが、共通のクロックを使
用してもよい。すなわち、一つのクロック発生器から発
生するクロック信号を直接、各処理部に送出するように
してもよい。

【０１３２】図２は、各処理部間を流れていく画像フレ
ーム２０の構成の例を示す図である。同図２に示すよう
に、画像フレーム２０は、属性を示す層２０ａと、仮定
距離ｚ_nを示す層２０ｂと、データを示す層２０ｃの３
層から成っている例で説明する。

【０１３３】属性を示す層２０ａでは、画像フレーム２
０を構成する各画素データ１０に、画像フレーム２０の
開始を示す情報ＳＦ、水平ラインの終了を示す情報Ｅ
Ｌ、画像フレーム２０の終了を示す情報ＥＦ、これら以
外であることを示す情報ＮＮのいずれかが対応づけられ
ている。

【０１３４】仮定距離ｚ_nを示す層２０ｂでは、画像フ
レーム２０を構成する各画素データ１０に、同一の仮定
距離ｚ_nを示す情報が対応づけられている。つまり、仮
定距離ｚ_n毎に、画像フレーム２０が生成されることを
示している。

【０１３５】データを示す層２０ｃでは、画像フレーム
２０を構成する各画素データ１０に、各処理部で行われ
た演算結果に応じたデータが、格納される。

【０１３６】つぎに、画像フレーム２０がパイプライン
的に各処理部で演算されていくときに、このデータがど
のように変遷していくかを、図３および図１４を参照し
て説明する。

【０１３７】まず、フレーム処理型対応候補点座標生成
部３０１では、各画素データ１０に、基準画像＃１の選
択画素Ｐ₁の座標位置を示す位置データ（ｉ，ｊ）と、
この選択画素Ｐ₁の対応候補点Ｐ₂、 Ｐ₃、・・・、Ｐ_Nの座
標位置を示す位置データ（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）、
・・・、（Ｘ_N，Ｙ_N）を順次出力し、また、仮定距離ｚ_nを
順次変化していくことで、画像フレーム２０が仮定距離
ｚ_n毎に出力される。

【０１３８】このとき、画像フレーム２０は、クロック
信号線３５０を流れるクロック信号に同期してラスタ走
査の形式で出力される。具体的には、基準画像＃１中の
選択画素Ｐ₁の座標位置データ（ｉ，ｊ）が、図４
（ａ）に示す順序で出力されていく。

【０１３９】図４（ａ）は、フレーム処理型対応候補点
座標生成部３０１で行われる画像フレーム生成処理の中
の基準画像＃１の選択画素Ｐ₁の座標位置データ生成を
行う際のフローチャートである。

【０１４０】図４（ａ）に示すように、まず、基準画像
＃１のｉ方向の最大座標位置ｉ_max、ｊ方向の最大座標
位置ｊ_max、走査開始の座標位置（ｉ_s，ｊ_s）、仮定距
離ｚ_nの最小距離ｚ₁、最大距離ｚ_maxは、既知であるの
で予め設定されているものとする。

【０１４１】そして、仮定距離ｚ_nを最小距離ｚ₁に設定
し、画素の座標位置を、走査開始座標位置（ｉ_s，ｊ_s）
に初期設定した上で（ステップ４０１）、ｉが最大座標
位置ｉ_maxに達するまで、基準画像＃１を水平方向に走
査（主走査）していく（ステップ４０２の判断ＹＥＳ、
ステップ４０３）。

【０１４２】ｉが最大座標位置ｉ_maxに達すると（ステ
ップ４０２の判断ＮＯ）、ｊを＋１インクリメントした
上で（副走査）、走査開始位置ｉ_sから水平方向に最大
位置ｉ_maxに達するまで、基準画像＃１を水平方向に走
査（主走査）していく（ステップ４０４の判断ＹＥＳ、
ステップ４０５、ステップ４０２の判断ＹＥＳ、ステッ
プ４０３）。

【０１４３】以上の処理が、ｊが最大座標位置ｊ_maxに
達するまで（ステップ４０４の判断ＮＯ）、繰り返され
る。

【０１４４】このようにして、基準画像＃１中の各選択
画素Ｐ₁が、ラスタ走査の形式で順次選択されていき、
画像フレーム２０の各画素データ１０にそれぞれ、基準
画像＃１の各選択画素Ｐ₁の座標位置を示す位置データ
（ｉ，ｊ）と、この選択画素Ｐ₁の対応候補点Ｐ₂、
Ｐ₃、・・・、Ｐ_Nの座標位置を示す位置データ（Ｘ₂，
Ｙ₂）、（Ｘ₃，Ｙ₃）、・・・、（Ｘ_N，Ｙ_N）が格納された
ものが生成、出力される。また、この画像フレーム２０
（の仮定距離を示す層２０ｂ）には、仮定距離ｚ_nとし
て最小距離ｚ₁を示す情報が格納される（図４（ｂ）参
照）。

【０１４５】以下、仮定距離ｚ_nを次の仮定距離ｚ_n+1に
設定し、画素の座標位置を、走査開始座標位置（ｉ_s，
ｊ_s）に設定し直した上で（ステップ４０７）、ｉ、ｊ
が最大座標位置ｉ_max、ｊ_maxに達するまで、基準画像＃
１を走査していく処理を、仮定距離ｚnが最大距離ｚ_max
になるまで（ステップ４０６の判断ＮＯ）、繰り返し行
うことで、各仮定距離ｚ₂、ｚ₃…ｚ_maxの画像フレーム
２０が順次生成されていく（図４（ｂ）参照）。

【０１４６】こうして、各画素データＰ_f（ｉ，ｊ）１
０に、対応する選択画素Ｐ₁の座標位置を示す位置デー
タ（ｉ，ｊ）と、この選択画素Ｐ₁の対応候補点Ｐ₂、
Ｐ₃、・・・、Ｐ_Nの座標位置を示す位置データ（Ｘ₂，
Ｙ₂）、（Ｘ₃，Ｙ₃）、・・・、（Ｘ_N，Ｙ_N）が格納された
画像フレーム２０が、仮定距離ｚ_n毎に生成され、フレ
ーム処理型対応候補点座標生成部３０１から出力され
る。

【０１４７】フレーム処理型対応候補点座標生成部３０
１から出力される画像フレーム２０を、図１４（ａ）に
概念的に示す。画像フレーム２０の各画素データＰ
_f（ｉ，ｊ）には、基準画像＃１の座標位置の位置デー
タ（ｉ，ｊ）と、この選択画素Ｐ₁の対応候補点Ｐ₂ 、
Ｐ₃、・・・、Ｐ_Nの座標位置を示す位置データ（Ｘ₂，
Ｙ₂）、（Ｘ₃，Ｙ₃）、・・・、（Ｘ_N，Ｙ_N）が格納されて
いる。

【０１４８】なお、仮定距離ｚ_nを変えていく間隔は、
たとえば基準画像＃１と画像センサ２の画像＃２の視差
ｄが１画素毎に変化していく間隔に設定される。

【０１４９】ここで、画像フレーム２０は、クロック信
号線３５０を流れるクロック信号に同期してラスタ走査
の形式でフレーム処理型対応候補点座標生成部３０１か
ら出力されている。その後段の各処理部においても同様
である。

【０１５０】すなわち、図５（ａ）に示す画像フレーム
２０は、クロック信号に同期して図５（ｂ）に示す画素
データの順序で、各処理部間をパイプライン的に転送さ
れていくことになる。ここで、図５（ｂ）では、基準画
像＃１の座標位置の位置データ（ｉ，ｊ）のみを記述
し、選択画素Ｐ₁の対応候補点Ｐ₂、 Ｐ₃、・・・、Ｐ_Nの座
標位置を示す位置データ（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）、
・・・、（Ｘ_N，Ｙ_N）は省略している。

【０１５１】なお、以下の説明では、各画像センサの画
像＃２、＃３、・・・、＃Ｎについて行われる処理は同じ
であるので、適宜、画像センサ２の画像＃２を代表させ
て説明する。

【０１５２】つぎの、フレーム処理型対応候補点情報抽
出部３０４では、フレーム処理型対応候補点座標生成部
３０１で生成された画像フレーム２０がラスタ走査の形
式で入力される。

【０１５３】入力された画像フレーム２０の各画素デー
タＰ_f（ｉ，ｊ）には、それぞれ選択画素Ｐ₁の座標位置
データ（ｉ，ｊ）と、この選択画素Ｐ₁の対応候補点
Ｐ₂、Ｐ₃、・・・、Ｐ_Nの座標位置データ（Ｘ₂，Ｙ₂）、
（Ｘ₃，Ｙ₃）、・・・、（Ｘ_N，Ｙ_N）が格納されているの
で、この座標位置データに基づき、選択画素Ｐ₁（ｉ，
ｊ）の画像情報Ｇ₁（ｉ，ｊ）が画像データ記憶部３０
３から読み出されるとともに、この選択画素Ｐ₁（ｉ，
ｊ）の対応候補点Ｐ₂（ｉ，ｊ，ｚ_n）の画像情報Ｇ
₂（ｉ，ｊ，ｚ_n）が画像データ記憶部３０３から読み出
される。

【０１５４】こうして、入力された画像フレーム２０の
各画素データＰ_f（ｉ，ｊ）毎に、撮像画像の画像情報
を読み出す処理がなされ、両撮像画像＃１、＃２の画像
情報Ｇ₁（ｉ，ｊ）、Ｇ₂（ｉ，ｊ，ｚ_n）が、各画素デ
ータＰ_f（ｉ，ｊ）にそれぞれ格納された上で、画像フ
レーム２０として出力される。もちろん、多眼ステレオ
であるので、撮像画像＃３の画像情報Ｇ₃、撮像画像＃
Ｎの画像情報Ｇ_Nも各画素に格納されることになる。

【０１５５】図１４（ｂ）は、フレーム処理型対応候補
点情報抽出部３０４から出力される画像フレーム２０を
概念的に示したものである。画像フレーム２０の各画素
データＰ_f（ｉ，ｊ）には、両撮像画像＃１、＃２の撮
像画像情報Ｇ₁（ｉ，ｊ）、Ｇ₂（ｉ，ｊ，ｚ_n）が格納
されている。

【０１５６】つぎに、フレーム処理型対応候補点情報抽
出部３０４から出力された画像フレーム２０は、フレー
ム処理型類似度算出部３０５にラスタ走査の形式で入力
される。

【０１５７】入力された画像フレーム２０の各画素デー
タＰ_f（ｉ，ｊ）には、それぞれ撮像画像＃１、＃２の
画像情報Ｇ₁（ｉ，ｊ）、Ｇ₂（ｉ，ｊ，ｚ_n）が格納さ
れているので、この画像情報Ｇ₁、Ｇ₂に基づき、これら
の類似度Ｑad（ｉ，ｊ，ｚ_n）が、下記（３）式のごと
く、求められる。

【０１５８】 Ｑad（ｉ，ｊ，ｚ_n）＝｜Ｇ₂（ｉ，ｊ，ｚ_n）−Ｇ₁（ｉ，ｊ）｜ …（３） 上記（３）式からわかるようにＱadは、両撮像画像＃
１、＃２の画像情報Ｇ₁、Ｇ₂の差の絶対値であり、この
値が大きいほど類似度は低いということを示している。
したがって、Ｑadは、実際には、類似度の逆数を表して
いるが、本明細書では説明の便宜のため、Ｑadを、適
宜、「類似度」と称することにする。

【０１５９】こうして、入力された画像フレーム２０の
各画素データＰ_f（ｉ，ｊ）毎に、類似度Ｑadを演算す
る処理（（３）式）がなされ、類似度Ｑadが各画素デー
タＰｆ（ｉ，ｊ）にそれぞれ格納された上で、画像フレ
ーム２０として出力される。もちろん、多眼ステレオで
あるので、従来技術で説明したように、各ステレオ対毎
に、類似度Ｑadが演算され、各ステレオ対毎に演算され
た類似度Ｑadを加算した類似度Ｑadが各画素データに格
納されることになる。

【０１６０】図１４（ｃ）は、フレーム処理型類似度算
出部３０５から出力される画像フレーム２０を概念的に
示したものである。 画像フレーム２０の各画素データ
には、類似度を示す画像情報Ｑadが格納されている。

【０１６１】つぎに、フレーム処理型類似度算出部３０
５から出力された画像フレーム２０は、フレーム処理型
類似度安定化部３０６にラスタ走査の形式で入力され
る。

【０１６２】ここで、このフレーム処理型類似度安定化
部３０６には、画像の各画素ごとに、対象画素近傍の局
所領域のデータを取り込み、そのデータに対して並列に
演算することにより、画像を加工することができる、局
所並列型演算器（空間フィルタ）３１１が予め設けられ
ている。

【０１６３】さて、局所並列型演算器（空間フィルタ）
３１１は、一般的な画像処理の分野で使用されているも
のであり、ラスタ形式の画像データを取り込み、その２
次元の画像中のあるフィルタ領域（ウインドウ領域）に
対して、重み付けと畳み込み積分を行うものである。い
ま、フレーム処理型類似度算出部３０５から出力された
類似度Ｑadは、クロック信号に同期して画素単位で転送
されているので、この一般的に画像処理の分野で使用さ
れている局所並列型演算器（空間フィルタ）３１１を使
用して、各画素ごとに、類似度の安定化の処理を、きわ
めて高速に行うことができる。

【０１６４】ここで、局所並列型演算器３１１で行われ
る類似度の安定化演算処理について説明する。

【０１６５】類似度Ｑad（類似度の逆数）は、上述した
（３）式に示すように、多眼ステレオでは、一般的に
は、下記（４）式で表される。

【０１６６】 そして、安定化された類似度Ｑs（安定化された類似度
の逆数）は、上記Ｑad（ｉ，ｊ，ｚ_n）に基づき、下記
（５）式のような演算を行うことによって求められる。

【０１６７】ここで、空間フィルタのサイズ（ウインド
ウサイズ）は、（２Ｎ₁＋１）×（２Ｎ₂＋１）であると
する。

【０１６８】 ただし、ここで、 ｉ、ｊ ：基準画像＃１の選択画素Ｐ₁（ｉ，ｊ）の座標位置 ｚ_n ：仮定距離 Ｎ ：全撮像画像の数（２眼ステレオでは２となる） Ｇ_k（ｉ，ｊ，ｚ_n）：基準画像＃１の選択画素位置（ｉ，ｊ）における仮定距離 ｚ_nでの画像センサｋの画像＃ｋの 対応候補点の画像情報 Ｇ₁（ｉ，ｊ） ：基準画像＃１の選択画素位置（ｉ，ｊ）における画像情 報 Ｑad（ｉ，ｊ，ｚ_n）：基準画像＃１の選択画素位置（ｉ，ｊ）における仮定距 離ｚ_nでの類似度 （値としては類似度の逆数を示す） Ｗ（ｐ，ｑ） ：類似度の安定化を行う空間フィルタ領域内の位置（ｐ， ｑ）における重み係数 Ｑs（ｉ，ｊ，ｚ_n）：基準画像＃１の選択画素位置（ｉ，ｊ）における仮定距 離ｚ_nでの安定化した類似度 （値としては安定化した類似度の逆数を示す） そこで、上記（５）式において、空間フィルタの重み係
数Ｗ（ｐ，ｑ）を１とし、空間フィルタ領域の縦横の大
きさＮ₁、Ｎ₂を同一とすることによって、図２４に示す
ように、従来の正方形のウインドウＷＤ₁内のウインド
ウ内加算と同等の処理を行うことができる。

【０１６９】なお、必ずしも、正方形のウインドウＷＤ
₁内の加算を行う必要はなく、たとえば、フィルタ領域
を円形とし、この円形の範囲の重み係数Ｗ（ｐ，ｑ）を
１とすることによって、円形のウインドウ内加算を行う
ことができる。

【０１７０】また、空間フィルタの全ての位置の重み係
数Ｗ（ｐ，ｑ）を１とする必要はなく、たとえば、ウイ
ンドウの中心付近の重み係数Ｗ（ｐ，ｑ）を、中心から
離れた周囲の領域の重み係数Ｗ（ｐ，ｑ）よりも大きく
することにより、ウインドウの中心付近の寄与率が高い
ように安定化類似度Ｑsを演算することができる。

【０１７１】さらに、空間フィルタの重み係数Ｗ（ｐ，
ｑ）が最も大きくなる位置をウインドウの中心からずら
すことにより、寄与率が高くなる場所がウインドウの中
心付近とは異なる位置となるように、安定化類似度Ｑs
を演算することができる。

【０１７２】入力された画像フレーム２０を順次走査し
ながら、上記局所並列型演算器３１１を用いることによ
り、各画素データに格納された類似度Ｑadに基づいて安
定化類似度Ｑsを演算する処理が順次実行される。

【０１７３】すなわち、上記（５）式に示されるよう
に、画像フレーム２０の各画素データ１０毎に、当該座
標位置（ｉ，ｊ）を含む周辺の領域の各画素の類似度Ｑ
ad（ｉ，ｊ，ｚ_n）を融合して（ ＷＤ₁とＷＤ₂のパター
ンマッチングと同様の処理が行われる）、当該座標位置
（ｉ，ｊ）の類似度Ｑad（ｉ，ｊ，ｚ_n）を安定化した
安定化類似度Ｑs（ｉ，ｊ，ｚ_n）が求められ、各画素デ
ータＰ_f（ｉ，ｊ）にそれぞれ、安定化類似度Ｑs（ｉ，
ｊ，ｚ_n）が格納された画像フレーム２０が、フレーム
処理型類似度安定化部３０６から出力される。

【０１７４】このように、類似度Ｑadが各画素に格納さ
れた画像フレーム２０を順次走査しながら、局所並列型
演算器（空間フィルタ）３１１を使用することで、安定
化類似度Ｑsを演算するようにしたので、処理を高速に
行うことができる。

【０１７５】しかも、ここで用いられる局所並列型演算
器３１１は、単に、ウインドウ内の画像情報を安定化す
る演算を行うものであり（従来の再帰型のウインドウ内
加算を行うものではない）、専用の演算器を特別に開発
する必要がなく、汎用のもの（汎用の画像処理用ＬＳ
Ｉ）を使用することができ、装置を簡易に構築すること
が可能である。また、ハードウエアの規模も低減するこ
とができる。

【０１７６】図１４（ｄ）は、フレーム処理型類似度安
定化部３０６から出力される画像フレーム２０を概念的
に示したものである。画像フレーム２０の各画素データ
には、安定化類似度Ｑsが格納されている。

【０１７７】つぎに、フレーム処理型類似度安定化部３
０６から出力された画像フレーム２０が、仮定距離ｚ_n
毎に、フレーム処理型距離推定部３０７に順次入力され
る。

【０１７８】そして、これら仮定距離ｚ_n毎の画像フレ
ーム２０が順次走査されることにより、座標位置（ｉ，
ｊ）に、物体５０までの真の距離を推定する演算が実行
される。

【０１７９】ここで、仮定距離ｚ_nごとの画像フレーム
２０の同一座標位置（ｉ，ｊ）には、それぞれ、仮定距
離ごとの安定化類似度Ｑsが格納されている。そこで、
これら同一座標位置（ｉ，ｊ）について、安定化類似度
Ｑsの大きさを比較して、最も安定化類似度Ｑsが大きく
なる（上記（５）式に示す安定化類似度の逆数が最も小
さくなる）ときの仮定距離ｚ_xが、全仮定距離ｚ₁〜ｚ
_maxの中から選択される。そして、この選択した仮定距
離ｚ_xが、当該座標位置（ｉ，ｊ）についての推定距離
ｚ_xであると決定する。この処理が、画像フレーム２０
の全ての画素データについて、画像フレーム２０を順次
走査しながら、順次実行される。

【０１８０】こうして、推定距離ｚ_x（ｉ，ｊ）が、各
画素データにそれぞれ格納され、これが画像フレーム２
０として、フレーム処理型距離推定部３０７から出力さ
れる。

【０１８１】図１４（ｅ）は、フレーム処理型距離推定
部３０７から出力される画像フレーム２０を概念的に示
したものである。画像フレーム２０の各画素データに
は、推定距離ｚ_x（ｉ，ｊ）が格納されている。ここで
は仮定距離として扱っているが、視差の値（画像上のず
れを画素の数で表したもの）で扱ってもよい。

【０１８２】フレーム処理型距離推定部３０７から出力
された画像フレーム２０は、物体５０の距離画像を示し
ている。この距離画像がそのまま、あるいは、適宜処理
が施されて、物体５０の３次元的な特徴を示す３次元画
像として生成され、これが表示部３０８に表示される。

【０１８３】ここで、表示部３０８とは、フレーム処理
型距離推定部３０７から出力された画像を、確認するこ
とができるものであれば、任意であり、ＣＲＴなどの画
像表示手段、あるいは、紙などに画像を印刷、表示して
出力するプリンタなどの概念を含むものである。応用の
一例として表示部としているが、たとえば他の物体認識
装置などの装置へのインターフェイスであってもよい
し、他の別の装置であってもよい。

【０１８４】さて、本実施形態では、フレーム処理型類
似度安定化部３０６で、類似度の安定化処理を行う際
に、一つの空間フィルタ３１１で処理を行うようにして
いるが、空間フィルタを多段で使用することなどして、
大きなウインドウサイズに対応させることも可能であ
る。

【０１８５】たとえば、図２２（ａ）に示すように、複
数の空間フィルタ３１１ａ、３１１ｂ、３１１ｃを直列
に連続して配置することにより、等価的に大きなウイン
ドウサイズの空間フィルタを使用したのと同等の効果を
得ることができる。つまり、より大きなウインドウサイ
ズでの類似度の安定化処理を行わせることができる。

【０１８６】また、図２２（ｂ）に示すように、空間フ
ィルタ３１１ｄの出力をバッファ３３０に一時的に記憶
させ、図示しない切換器を制御することにより、その記
憶させた演算結果を再度、同じ空間フィルタ３１１ｄで
演算させる処理を所定回数繰り返し行うことでも、等価
的に大きなウインドウサイズの空間フィルタを使用した
のと同等にすることができ、より大きなウインドウサイ
ズでの類似度安定化処理を行わせることができる。

【０１８７】さらに、空間フィルタをカスケードに接続
することによっても、大きなウインドウサイズの空間フ
ィルタを使用したのと同等の効果を得ることができ、よ
り大きなウインドウサイズでの類似度安定化処理を行わ
せることができる。

【０１８８】本実施形態では、画像センサ１、２、３、
・・・、Ｎで撮像された原画像＃１、＃２、＃３、・・・、＃
Ｎをそのまま画像データ記憶部３０３に入力、記憶さ
せ、これを後段の演算処理で使用しているが、原画像に
対して例えば画像の特徴を強調するような前処理を施し
た上で、後段の演算処理で使用する実施も可能である。

【０１８９】すなわち、一般的に、画像センサ１、２、
３、・・・、Ｎで撮像された原画像＃１、＃２、＃３、・・
・、＃Ｎの特徴を強調するために、また画像センサの感
度特性や光学的特性のばらつきを吸収するために、空間
フィルタを使用してＬｏＧ（Laplacian of Gaussian）
フィルタなどの前処理を施し、前処理画像＃１Ａ 、＃
２Ａ 、＃３Ａ、・・・、＃ＮＡを取得し、これを原画像の
代わりに画像データ記憶部３０３に取り込む場合があ
る。

【０１９０】ここで、類似度安定化のために用いられて
いる局所並列型演算器（空間フィルタ）３１１は、ウイ
ンドウ内の画像情報に対してを演算を行うものであるの
で、類似度を安定化する演算処理にも、原画像＃１〜＃
Ｎの特徴を強調するような画像処理にも、共用すること
ができる。

【０１９１】そこで、この点に着目して、局所並列型演
算器（空間フィルタ）３１１の前後に入出力信号を切り
換える経路制御部を設け、原画像＃１〜＃Ｎの前処理に
使用する空間フィルタと、類似度の安定化のために使用
する空間フィルタを共用する装置構成とすることができ
る。

【０１９２】図６は、こうした局所並列型演算器３１１
を共用する実施形態装置を示す図であり、図１と同一構
成要素には同一符号を付している。

【０１９３】同図６に示すように、まず、前処理部３１
０による画像処理が行われる際には、経路制御部３０
９、３１２によって、局所並列型演算器（空間フィル
タ）３１１が、この前処理を実行できるように経路が切
り換えられ、画像データ入力部３０２から出力された画
像センサ１〜Ｎの原画像＃１〜＃Ｎが前処理部３１０に
出力される。この結果、原画像＃１〜＃Ｎに対して、局
所並列型演算器３１１を用いて前処理が行われる。

【０１９４】すなわち、複数の撮像手段１〜Ｎによる撮
像画像＃１〜＃Ｎを原画像とし、たとえば、原画像＃１
であれば、この原画像＃１の各画素に対して、局所並列
型演算器３１１を用いた画像処理を施すことによって、
原画像＃１の前処理画像＃１Ａが生成される。同様に、
他の原画像＃２〜＃Ｎについても前処理画像＃２Ａ〜＃
ＮＡが生成される。

【０１９５】そして、経路制御部３１２を介して、前処
理部３１０で生成された前処理画像＃１Ａ 〜＃ＮＡ
が、後段の画像データ記憶部３０３に、原画像＃１〜＃
Ｎの代わりに記憶される。

【０１９６】一方、フレーム処理型類似度安定化部３０
６による演算処理が行われる際には、経路制御部２０
９、３１２によって、局所並列型演算器（空間フィル
タ）３１１が、この類似度安定化処理を実行できるよう
に経路が切り換えられ、フレーム処理型類似度算出部３
０５から出力された画像フレーム２０が、フレーム処理
型類似度安定化部３０６に出力される。この結果、局所
並列型演算器３１１を用いて安定化類似度Ｑsを演算す
る処理が行われる。

【０１９７】そして、経路制御部３１２を介して、フレ
ーム処理型類似度安定化部３０６から出力された画像フ
レーム２０が、後段のフレーム処理型距離推定部３０７
に出力される。

【０１９８】なお、この図６に示す実施形態装置では、
図１と同様に、パイプライン的に画像フレーム２０を流
すようにしているが、図７に示すように、一の処理部か
らつぎの処理部に画像フレーム２０を転送する際に、切
り換えを行う構成としてもよい。

【０１９９】図７の装置では、たとえばクロスバースイ
ッチのように、複数の処理部からの信号を複数の処理部
に自由に選択、切り換えすることができる経路制御部３
１３が設けられる。

【０２００】各処理部３０１〜３０７および３１０間の
一の処理部からつぎの処理部に信号を入出力される際
に、経路制御部３１３に応じて、切り換えがなされる。

【０２０１】特に、画像データ入力部３０２から原画像
＃１〜＃Ｎが出力された際には、経路制御部３１３を介
して、これが前処理部３１０に出力され、局所並列型演
算器（空間フィルタ）３１１を用いて、前処理画像＃１
Ａ 〜＃ＮＡが生成される。

【０２０２】また、フレーム処理型類似度算出部３０５
から画像フレーム２０が出力された際には、経路制御部
３１３を介して、これがフレーム処理型類似度安定化部
３０６に出力され、局所並列型演算器（空間フィルタ）
３１１を用いて、類似度の安定化処理が行われることに
なる。

【０２０３】以上のように、図６、図７に示す実施形態
によれば、局所並列型演算器（空間フィルタ）３１１
を、前処理部３１０側、フレーム処理型類似度安定化部
３０６側に、時間的に切り換えて、使用し、一つの局所
並列型演算器（空間フィルタ）を共用するようにしたの
で、ハードウエアの規模を小さくすることができ、装
置、システムの小型化、軽量化、低コスト化を図ること
ができる。

【０２０４】さて、図１に示す実施形態では、フレーム
処理型距離推定部３０７から出力された画像フレーム２
０を、表示部３０８に画像表示させ、これをもって物体
５０の存在の確認を行うことができる。

【０２０５】ここで、フレーム処理型距離推定部３０７
から出力される画像フレーム２０は、ラスタ走査の形式
になっているため、一般的なラスタ走査を行う画像表示
部３０８の装置との整合性がよく、簡単なハードウエア
で画像フレーム２０の情報を画像表示することができ
る。

【０２０６】すなわち、フレーム処理型距離推定部３０
７から出力される画像フレーム２０は、ラスタ走査の形
式になっているため、表示部３０８としては、入力と表
示のタイミングクロックを変換するだけでよく、入力さ
れた画像フレーム２０をアドレス操作が不必要なフィー
ルドメモリに記憶し、画像表示のタイミングでフィール
ドメモリからデータを、入力した順序で読み出すという
小規模のハードウエアで表示部３０８を構築することが
できる。

【０２０７】ここで、同じラスタ走査の形式の画像フレ
ーム２０が、各処理部３０１、３０４、３０５、３０
６、３０７、３０８間で転送されているので、各処理部
から出力される画像フレーム２０は、同様に、画像表示
を行う表示装置との整合性がよく、簡単なハードウエア
で各処理部から出力される画像フレーム２０の情報を画
像表示させることができる。

【０２０８】このことを利用して、最終段のフレーム処
理型距離推定部３０７から出力される画像フレーム２０
を画像表示させるだけではなく、その前段のフレーム処
理型類似度安定化部３０６から出力される画像フレーム
２０をそのまま画像表示させることができる。

【０２０９】また、さらに、その前段のフレーム処理型
類似度算出部３０５、フレーム処理型対応候補点情報抽
出部３０４から出力される画像フレーム２０をそのまま
画像表示させてもよい。

【０２１０】こうして、途中の画像処理結果を画像表示
させることで、デバック作業を効率的に行うことができ
る。

【０２１１】また、途中の画像処理結果を画像表示させ
るにあたって、最終段のフレーム処理型距離推定部３０
７から出力される画像フレーム２０を表示する表示部３
０８を、共用する実施も可能である。

【０２１２】この場合は、フレーム処理型対応候補点情
報抽出部３０４およびフレーム処理型類似度算出部３０
５およびフレーム処理型類似度安定化部３０６およびフ
レーム処理型距離推定部３０７を対象として、入力され
た画像フレーム２０の画素データを保持した形で画像フ
レームを出力させる手段を設ける。

【０２１３】この結果、フレーム処理型対応候補点座標
生成部３０１から出力される画像フレーム２０が、その
まま、表示部３０８に表示される。これにより、表示部
３０８で、各画素データＰ_f（ｉ，ｊ）に対応する選択
画素Ｐ₁（ｉ，ｊ）の座標位置（ｉ，ｊ）と、この選択
画素Ｐ₁（ｉ，ｊ）の対応候補点Ｐ₂（ｉ，ｊ，ｚ_n ）の
座標位置（Ｘ₂，Ｙ₂）を確認することができる。

【０２１４】また、フレーム処理型類似度算出部３０５
およびフレーム処理型類似度安定化部３０６およびフレ
ーム処理型距離推定部３０７を対象として、それぞれ
に、必要な演算を行うことなく、入力された画像フレー
ム２０の画素データを保持した形で画像フレームを出力
させる手段を設けてもよい。

【０２１５】この場合には、フレーム処理型対応候補点
情報抽出部３０４から出力される画像フレーム２０が、
そのまま、表示部３０８に表示される。これにより、表
示部３０８で、各撮像画像＃１〜＃Ｎの撮像画像情報Ｇ
₁（ｉ，ｊ）、Ｇ₂（ｉ，ｊ，ｚ_n ）、・・・、Ｇ_N（ｉ，
ｊ，ｚ_n ）を確認することができる（図１４（ｂ）参
照）。

【０２１６】また、フレーム処理型類似度安定化部３０
６およびフレーム処理型距離推定部３０７を対象とし
て、それぞれに、必要な演算を行うことなく、入力され
た画像フレーム２０の画素データを保持した形で画像フ
レームを出力させる手段を設けてもよい。

【０２１７】この場合には、フレーム処理型類似度算出
部３０５から出力される画像フレーム２０が、そのま
ま、表示部３０８に表示される。これにより、表示部３
０８で、類似度Ｑad（ｉ，ｊ，ｚ_n）を確認することが
できる（図１４（ｃ）参照）。

【０２１８】また、フレーム処理型距離推定部３０７を
対象として、必要な演算を行うことなく、入力された画
像フレーム２０の画素データを保持した形で画像フレー
ムを出力させる手段を設けてもよい。

【０２１９】この場合には、フレーム処理型類似度安定
化部３０６から出力される画像フレーム２０が、そのま
ま、表示部３０８に表示される。これにより、表示部３
０８で、安定化類似度Ｑs（ｉ，ｊ，ｚ_n）を確認するこ
とができる（図１４（ｄ）参照）。

【０２２０】あるいは、処理途中の類似度安定化部３０
６のみを対象として、入力された画像フレーム２０の画
素データを保持した形で画像フレームを出力させる手段
を設けると、距離推定部３０７から出力される各画素デ
ータに、安定化されていない類似度によって求められた
推定距離ｚ_x（ｉ，ｊ）が格納され、その画像フレーム
２０が表示部３０８に表示される。

【０２２１】すなわち、対応候補点情報抽出部３０４お
よび類似度算出部３０５および類似度安定化部３０６お
よび距離推定部３０７の中の、少なくとも一つを対象と
して、演算処理を行うことなく入力された画像フレーム
２０の画素データを保持した形で画像フレームを出力さ
せる手段を設けると、途中の演算処理を省略した場合
の、距離推定部３０７から出力される画像フレーム２０
を表示部３０８に画像表示させることができる。

【０２２２】以上のように、通常、最終的に得られた距
離画像を表示するものとして設けられている一つの表示
部３０８に、途中の演算処理結果および途中の一部の演
算処理を省略した演算処理結果を表示させることができ
るので、余分なハードウエアを追加しなくても、小規模
なハードウエアで、デバック作業を効率的に行うことが
可能となる。

【０２２３】また、本実施形態では、フレーム処理型距
離推定部３０７から出力された距離画像を示す画像フレ
ーム２０をそのまま表示させるようにしているが、情報
量、解像度の異なる複数の画像フレームを取得し、これ
らを物体の認識処理を行うような別の装置に送ることに
より、これらに基づき物体の認識処理を効率的に行うよ
うにしてもよい。

【０２２４】本実施形態では、図８に示すように、フレ
ーム処理型距離推定部３０７から出力される画像フレー
ム２０Ａ（図１３参照）の画素の画像情報に基づいて、
当該画像フレーム２０Ａの情報量を、所定回数、圧縮し
て、情報量、解像度の異なる圧縮画像フレーム２０Ｃ、
２０Ｄを生成、出力するデータ圧縮処理部３１４が、設
けられる。特に、本実施形態では、ラスタ走査の形式の
画像フレーム２０Ａを、データ圧縮処理部３１４に入力
させ、これを走査しながら順次処理を行うことが可能で
あり、簡単なハードウエアで効率的に、多重解像度の画
像２０Ｂ、２０Ｃ、２０Ｄを得ることができる。

【０２２５】すなわち、フレーム処理型距離推定部３０
７から画像フレーム２０Ａが、このデータ圧縮処理部３
１４に入力されると、最初は、経路制御部３１５によ
り、この画像フレーム２０Ｂが、出力される。この結
果、後段の物体認識装置などでは、図１３に示すよう
に、入力画像フレーム２０Ａと情報量、解像度が同じ画
像フレーム２０Ｂが入力されることになる。

【０２２６】画像フレーム２０Ｂに出力されているとき
に、同時に、画像フレーム２０Ｂはフィルタ部３１６に
入力される。

【０２２７】後段の間引き処理部３１７で画像データを
間引く処理を行うことによって意図しない信号成分が発
生するので、フィルタ部３１６では、この意図しない信
号成分による画像劣化を避けるために、間引き処理を行
う前に、事前に空間フィルタによって、各画素毎に、近
傍の画像情報（距離情報）との融合を行う画像処理が行
われる。

【０２２８】間引き処理部３１７では、入力された画像
フレーム２０Ｂのうち、縦方向の全画素のうち、半分だ
けの画素、横方向でも、全画素のうち、半分だけの画素
が選択、間引きされ、これら選択された画素を用いて、
情報量が、画像フレーム２０Ｂの半分に圧縮された圧縮
画像フレーム２０Ｃが生成される（図１３参照）。ここ
で、間引く間隔は、画像中で等間隔であるものとする。

【０２２９】こうして、画像フレーム２０Ｂの全画素の
うち１／４の画素の画像情報に基づいて、当該画像フレ
ーム２０Ｂの情報量が１／４に圧縮された圧縮画像フレ
ーム２０Ｃが生成され、これが記憶部３１８に記憶され
る。

【０２３０】フレーム処理型距離推定部３０７からの画
像フレーム２０Ｂの出力が終了すると、経路制御部３１
５によって、記憶部３１８に記憶された圧縮画像フレー
ム２０Ｃが、後段の物体認識装置などに出力され始めら
れる。このときも、同時に、圧縮画像フレーム２０Ｃが
フィルタ部３１６に出力される。

【０２３１】以下、この圧縮画像フレーム２０Ｃについ
ても同様の処理が繰り返し実行され、圧縮画像フレーム
２０Ｃの全画素のうち１／４の画素の画像情報に基づい
て、当該圧縮画像フレーム２０Ｃの情報量が１／４に圧
縮（画像フレーム２０Ｂの情報量の１／１６に圧縮）さ
れた圧縮画像フレーム２０Ｄが、後段の物体認識装置な
どに出力されることになる（図１３参照）。さらに、同
様の処理を１回ないし２回以上繰り返してもよい。

【０２３２】また、圧縮処理を１回だけにし、圧縮画像
フレーム２０Ｃを出力させるにとどめてもよい。

【０２３３】この結果、後段の物体認識装置には、情報
量、解像度のそれぞれ異なる画像フレーム２０Ｂ、圧縮
画像フレーム２０Ｃ、２０Ｄが入力されることになり、
物体５０の認識処理が実行される。

【０２３４】認識処理の手順としては、まず、情報量が
圧縮された画像２０Ｃないしは２０Ｄから、物体５０の
大局的な特徴をつかむ処理が実行される。

【０２３５】たとえば、車両前方の障害物を撮像しなが
ら車両が走行する場合を想定すると、画像２０Ｃないし
は２０Ｄは大局的な情報をもっているので、障害物の有
無の認識を迅速に行うことができる。障害物が存在する
画像領域と障害物が存在しない画像領域を区別できたな
らば、詳細に画像処理を行うべき範囲を限定することが
できる。

【０２３６】つぎの段階では、情報量が多い画像２０Ｂ
の上記限定された処理範囲について、詳細な画像処理が
行われる。たとえば、物体５０が車両前方の障害物であ
るとすると、画像処理をすべき範囲がすでに限定されて
いるので、この障害物の形状、大きさなど、車両制御に
必要な情報を、迅速に取得することができる。

【０２３７】つぎに、フレーム処理型距離推定部３０７
で行われる演算処理について、図９、図１０を併せ参照
して説明する。

【０２３８】同図９に示すフレーム処理型距離推定部３
０７では、画像列として順次入力される（安定化）類似
度の逆数Ｑsを、前回の仮定距離の画像フレームに対す
る演算結果と比較しつつ、類似度の逆数Ｑsが最も小さ
くなる（類似度Ｑsが最も大きくなる）ときの仮定距離
ｚ_n、そのときの類似度の逆数ＱC、この仮定距離ｚ_nの
前後の仮定距離ｚ_n-1、ｚ_n+1に対応する類似度の逆数Ｑ
L、ＱRが求められ、これらの情報から、図２１に示すよ
うに類似度の逆数Ｑsの離散的な分布Ｌ1が求められる。
さらに、曲線近似によって得られる補間曲線Ｌ2から、
類似度の逆数Ｑsが最も小さくなる（類似度Ｑsが最も大
きくなる）仮定距離ｚ_xが、設定された仮定距離ｚ₁、ｚ
₂、…、ｚ_maxの間隔以下の分解能をもって、高精度に求
められる。

【０２３９】すなわち、このフレーム処理型距離推定部
３０７には、フレーム処理型類似度安定化部３０６から
出力された画像フレーム２０がラスタ走査の形式で、図
５（ｂ）に示す画素データの順序で入力されるので、入
力データ３２０の内容は、順次更新される。つまり、現
在入力された画素に格納された類似度の逆数Ｑs、およ
び現在入力されている画像フレーム２０に対応づけられ
ている仮定距離ｚ_nは、順次、更新される。

【０２４０】類似度比較部３２２では、前のデータ３２
１の内容と、入力データ３２０の内容とを比較して、類
似度の逆数の大小関係を比較し、この比較結果を、保存
データの作成部３２３に送出する。この保存データ作成
部３２３では、類似度比較部３２２の比較結果に基づい
て、保存データ３２４の内容を順次更新する。

【０２４１】保存データ３２４の内容は、ＱL、ＱC、Ｑ
R、ｚ_m、POS、ＱX、ＱYである。ＱL、ＱC、ＱRは、連続
する仮定距離ｚ_n-1、ｚ_n、ｚ_n+1に対応する類似度の逆
数を表す。ｚ_mは、類似度の逆数の最小値が検出された
仮定距離ｚ_nを表す。また、POSは、ＱL、ＱC、ＱRの中
のいずれが類似度の逆数の最小値であることを特定する
符号である。 ＱLが最小の場合には、POSは、（１０
０）となり、ＱCが最小の場合には、POSは、（０１０）
となり、ＱRが最小の場合には、POSは、（００１）とな
る。

【０２４２】また、ＱXは、２回前の類似度の逆数Ｑsを
表し、ＱYは、前回の類似度の逆数Ｑsを表す。

【０２４３】保存データ３２４の内容ＱL、ＱC、ＱR、
ｚ_m、POS、ＱX、ＱYは、フィールドメモリである記憶部
３２５に記憶、格納される。

【０２４４】記憶部３２５の書き込み、および読み出し
制御は、今回の仮定距離ｚ_nの座標位置（ｉ，ｊ）の保
存データ３２４の内容であるＱL、ＱC、ＱR、ｚ_m、PO
S、ＱX、ＱYが書き込まれるとともに、前回の仮定距離
ｚ_n-1の、ラスタ走査の形式の次の座標位置（ｉ，ｊ＋
１）の保存データが読み出され、このデータの中の類似
度の逆数と、次の入力データの中の、今回の仮定距離ｚ
_nの座標位置（ｉ，ｊ＋１）の類似度の逆数Ｑsとの比較
を行うことができるようになっている。

【０２４５】いま、説明の便宜のため、画像フレーム２
０の画素データの座標位置を固定して、仮定距離ｚ_nが
順次変化した場合を想定し、類似度比較部３２２、保存
データ作成部３２３で実行される処理について図１０を
参照しつつ説明する。

【０２４６】いま、図１０（ａ）に示すように、類似度
比較部３２２で、前のデータ３２１の内容と、入力デー
タ３２０の内容とを比較して、現在、入力された類似度
の逆数Ｑs（仮定距離ｚ₁₀）が最小であった場合（前回
のＱC（仮定距離ｚ₄）よりもＱsが小さい）には、保存
データ作成部３２３では、ｚ_m（類似度の逆数の最小値
を検出した仮定距離）の内容を、この入力データＱsに
対応する仮定距離ｚ₁₀にするとともに、ＱL、ＱC、ＱR
の内容をそれぞれ、ＱX（仮定距離ｚ₈）、ＱY（仮定距
離ｚ₉）、Ｑs（仮定距離ｚ₁₀）にした上で、保存データ
３２４として出力する。また、このとき中心のＱR（仮
定距離ｚ₁₀）に最小値があるので、POS＝（００１）と
した内容を保存データ３２４として出力する。

【０２４７】しかし、図１０（ｃ）に示すように、類似
度比較部３２２で、前のデータ３２１の内容と、入力デ
ータ３２０の内容とを比較して、入力データ３２０の類
似度の逆数Ｑs（仮定距離ｚ₁₀）が最小ではなく、前回
の類似度の逆数ＱY（仮定距離ｚ₉）が最小でもなかった
場合（前回のＱC（仮定距離ｚ₄）が最小）には、ｚ_m、
ＱL、ＱC、ＱRの内容を、前回のデータと同じ内容とし
たままで、保存データ３２４として出力する。ただし、
ＱX、ＱYの内容は更新される。

【０２４８】また、図１０（ｂ）に示すように、類似度
比較部３２２で、前のデータ３２１の内容と、入力デー
タ３２０の内容とを比較して、入力された類似度の逆数
Ｑs（仮定距離ｚ₁₁）が最小ではなく、前回の入力デー
タＱY（仮定距離ｚ₁₀）が最小であった場合には（POS＝
（００１））、保存データ作成部３２３では、ｚ_mの内
容を前回のｚ_mの内容のまま（仮定距離ｚ₁₀）で、これ
を保存データ３２４として出力する。また、ＱL、ＱC、
ＱRの内容をそれぞれ、ＱX（仮定距離ｚ₉）、ＱY（仮定
距離ｚ₁₀）、Ｑs（仮定距離ｚ₁₁）にした上で、これを
保存データ３２４として出力する。また、このとき中心
のＱC（仮定距離ｚ₁₀）に最小値があるので、POS＝（０
１０）とした内容を、保存データ３２４として出力す
る。

【０２４９】こうして、出力データ３２６のPOSの内容
が（００１）から（０１０）になった場合には、図２１
に示すように、連続した３つの仮定距離ｚ_n-1、ｚ_n、ｚ
_n+1（ｚ₉，ｚ₁₀，ｚ₁₁）のうち、中心の仮定距離ｚ
_n（ｚ₁₀）に対応する類似度の逆数ＱCが最小となってい
る場合なので、この類似度の逆数の離散的な分布Ｌ1を
曲線近似することで、類似度の最小値および最小値をと
る仮定距離をより詳細に求めることが可能になる。

【０２５０】そこで、曲線近似部３２７では、中心の仮
定距離ｚ_n（ｚ₁₀）に対応する類似度の逆数ＱCが最小と
なっている離散的な分布Ｌ1に対して、曲線近似による
補間処理を施す。

【０２５１】そして、この補間曲線Ｌ2から、類似度の
逆数Ｑsが最も小さくなる（類似度Ｑsが最も大きくな
る）仮定距離ｚ_xを求める。

【０２５２】このようにして、物体５０までの真の距離
（推定距離）ｚ_xが、予め設定された仮定距離ｚ₁、
ｚ₂、…、ｚ_maxの間隔以下の分解能をもって、高精度に
求められる。

【図面の簡単な説明】

【図１】図１は本発明の実施形態の装置の構成を示すブ
ロック図である。

【図２】図２は画像フレームの構成の例を示す図であ
る。

【図３】図３は画像フレームのデータの変遷を示す図で
ある。

【図４】図４は画像フレームを生成する処理手順を示す
フローチャートである。

【図５】図５（ａ）、（ｂ）はラスタ走査によるデータ
の流れを説明するために用いた図である。

【図６】図６は前処理部を備えた装置の構成を示すブロ
ック図である。

【図７】図７はクロスバースイッチを備えた装置の構成
を示すブロック図である。

【図８】図８はデータ圧縮処理部を示すブロック図であ
る。

【図９】図９は曲線補間により距離を推定する処理が行
われる距離推定部のブロック図である。

【図１０】図１０（ａ）、（ｂ）、（ｃ）は図９に示す
保存データの内容の変遷を説明する図である。

【図１１】図１１は再帰型のウインドウ内加算を説明す
る図である。

【図１２】図１２は再帰型のウインドウ内加算処理を行
う演算器のブロック図である。

【図１３】図１３は図８に示すデータ圧縮処理部で行わ
れるデータ圧縮の様子を説明するために用いた図であ
る。

【図１４】図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、
（ｅ）は、画像フレームのデータの内容の変遷を説明す
るために用いた図である。

【図１５】図１５は従来の２眼ステレオの画像処理の原
理を示した図である。

【図１６】図１６は従来の２眼ステレオの距離計測の処
理を説明するために用いた図である。

【図１７】図１７は２眼ステレオの場合の仮定距離と類
似度の逆数との対応関係を示すグラフである。

【図１８】図１８は従来の２眼ステレオ装置の構成を示
したブロック図である。

【図１９】図１９は従来の多眼ステレオの距離計測の処
理内容を説明するために用いた図である。

【図２０】図２０は従来の多眼ステレオ装置の構成を示
したブロック図である。

【図２１】図２１は推定距離を補間によって求める様子
を示す図である。

【図２２】図２２（ａ）、（ｂ）は多段の空間フィルタ
を説明する図である。

【図２３】図２３は多眼ステレオの場合の仮定距離と類
似度の逆数との対応関係を示すグラフである。

【図２４】図２４はウインドウ領域を説明する図であ
る。

【符号の説明】

１〜Ｎ 画像センサ ２０ 画像フレーム ３０１ フレーム処理型対応候補点座標生成部 ３０２ 画像データ入力部 ３０３ 画像データ記憶部 ３０４ フレーム処理型対応候補点情報抽出部 ３０５ フレーム処理型類似度算出部 ３０６ フレーム処理型類似度安定化部 ３０７ フレーム処理型距離推定部 ３０８ 表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中野 勝之 東京都目黒区中目黒２−２−30 (72)発明者 細井 光夫 神奈川県平塚市四之宮2597 株式会社 小松製作所 特機事業本部 研究部内 (72)発明者 坂本 卓也 神奈川県平塚市四之宮2597 株式会社 小松製作所 特機事業本部 研究部内 (72)発明者 川村 英二 神奈川県川崎市宮前区有馬２丁目８番24 号 株式会社 サイヴァース内 (56)参考文献 特開 平９−204524（ＪＰ，Ａ) 特開 平10−320561（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 複数の撮像手段を所定の間隔をもって
   配置し、これら複数の撮像手段のうちの一の撮像手段で
   対象物体を撮像したときの当該一の撮像手段の撮像画像
   中の選択画素に対応する他の撮像手段の撮像画像中の対
   応候補点の情報を、前記一の撮像手段から前記選択画素
   に対応する前記物体上の点までの仮定距離の大きさ毎に
   抽出し、前記選択画素の画像情報と前記対応候補点の画
   像情報の類似度を算出し、この算出された類似度が最も
   大きくなるときの前記仮定距離を、前記一の撮像手段か
   ら前記選択画素に対応する前記物体上の点までの推定距
   離とする計測を行うステレオ画像処理装置において、 画像の各画素ごとに、対象画素近傍の局所領域のデータ
   を取り込み、そのデータに対して並列に演算することに
   より、画像を加工することができる、局所並列型演算器
   （３１１）を予め用意するとともに、さらに、 各画素にそれぞれ、前記選択画素の画像情報と、この選
   択画素に対応する対応候補点の画像情報との類似度を示
   す画素から構成される画像を入力し、この画像を所定の
   走査形式で順次走査しながら、少なくとも一つ以上の、
   前記局所並列型演算器を用いることにより、各画素毎
   に、当該画素の周辺領域の各画素の類似度の画像情報を
   融合して、類似度の安定化を行う類似度安定化手段（３
   ０６）を具え、前記類似度安定化手段から出力された画
   像に基づいて、各画素毎に推定距離を求めるようにした
   ことを特徴とするステレオ画像処理装置。
2. 【請求項２】 複数の撮像手段を所定の間隔をもって
   配置し、これら複数の撮像手段のうちの一の撮像手段で
   対象物体を撮像したときの当該一の撮像手段の撮像画像
   中の選択画素に対応する他の撮像手段の撮像画像中の対
   応候補点の情報を、前記一の撮像手段から前記選択画素
   に対応する前記物体上の点までの仮定距離の大きさ毎に
   抽出し、前記選択画素の画像情報と前記対応候補点の画
   像情報の類似度を算出し、この算出された類似度が最も
   大きくなるときの前記仮定距離を、前記一の撮像手段か
   ら前記選択画素に対応する前記物体上の点までの推定距
   離とする計測を行うステレオ画像処理装置において、 画像の各画素ごとに、対象画素近傍の局所領域のデータ
   を取り込み、そのデータに対して並列に演算することに
   より、画像を加工することができる、局所並列型演算器
   （３１１）を予め用意するとともに、さらに、 複数の撮像手段のうちの一の撮像手段の撮像画像中の画
   素を所定の走査形式で順次選択し、当該選択画素に対応
   する他の撮像手段の撮像画像中の対応候補点の座標位置
   をデータとして保持する画素から構成される画像フレー
   ムを、仮定距離毎に、一つの画像フレームとして生成す
   る対応候補点座標生成手段（３０１）と、 前記対応候補点座標生成手段で生成された画像フレーム
   を入力して、画素単位に前記所定の走査形式で、前記一
   の撮像手段の撮像画像中の選択画素の画像情報と当該選
   択画素に対応する他の撮像手段の撮像画像中の対応候補
   点の画像情報を抽出し、これら抽出された画像情報を、
   入力された画像フレームに準じた形式の画像フレームに
   して出力する対応候補点情報抽出手段（３０４）と、 前記対応候補点情報抽出手段から出力された画像フレー
   ムを入力して、画素単位に前記所定の走査形式で、前記
   抽出された画像情報同士の類似度を計算し、この類似度
   を、入力された画像フレームに準じた形式の画像フレー
   ムにして出力する類似度算出手段（３０５）と、 前記類似度算出手段から出力された画像フレームを入力
   して、画素単位に前記所定の走査形式で、少なくとも１
   個の前記局所並列型演算器によって対象画素近傍の類似
   度を融合することにより類似度の安定化を行い、この安
   定化された類似度を、入力された画像フレームに準じた
   形式の画像フレームにして出力する類似度安定化手段
   （３０６）と、 前記類似度安定化手段から出力された画像フレームを入
   力して、仮定距離の変化に対する安定化された類似度の
   変化を求め、安定化された類似度が最も大きくなるとき
   の仮定距離を、画素単位で前記所定の走査形式で算出
   し、この安定化された類似度が最も大きくなるときの仮
   定距離を、入力された画像フレームに準じた形式の画像
   フレームにして出力する距離推定手段（３０７）と、を
   具え、 前記画像フレームを構成する各画素のデータを、これら
   前記対応候補点座標生成手段、前記対応候補点情報抽出
   手段、前記類似度算出手段、前記類似度安定化手段、前
   記距離推定手段の各手段による処理によって順次更新さ
   せつつ、これら各手段の間で、当該画像フレームを、画
   素単位に前記所定の走査形式で転送させながら処理する
   ことを特徴とするステレオ画像処理装置。
3. 【請求項３】 前記対応候補点情報抽出手段および
   類似度算出手段および類似度安定化手段および距離推定
   手段を対象として、必要に応じて対象となる前記各手段
   において、 前記対応候補点情報抽出手段では選択画素の画像情報と
   対応候補点の画像情報の抽出処理、 前記類似度算出手段では類似度の算出処理、 前記類似度安定化手段では類似度の安定化処理、 前記距離推定手段では距離推定処理、を行わずに、入力
   された画像フレームの画素データを保持した形で画像フ
   レームを出力するようにできることを特徴とする、 請求項２記載のステレオ画像処理装置。
4. 【請求項４】 前記距離推定手段は、各仮定距離と
   各安定化された類似度との対応関係を、画像フレームの
   各画素毎に求め、さらに、この対応関係を補間すること
   により、補間した対応関係を求め、この補間した対応関
   係より、安定化された類似度が最も大きくなる点を求
   め、この点に対応する仮定距離を推定距離とする演算処
   理（３２７）を行うものである、 請求項２記載のステレオ画像処理装置。
5. 【請求項５】 前記撮像手段によって撮像した撮像
   画像から、前記対応候補点情報抽出手段によって画像情
   報を抽出する前に、少なくとも１個の前記局所並列型演
   算器を用いて前記撮像画像の前処理を行う場合に、 前記撮像画像の前処理を行う際には、前記撮像画像が前
   記局所並列型演算器に入力され、かつ、この局所並列型
   演算器によって、入力された撮像画像の前処理が行われ
   た前処理画像が前記対応候補点情報抽出手段に出力され
   るように、前記局所並列型演算器の入出力を切り換える
   とともに、 前記類似度を安定化する処理を行う際には、前記類似度
   算出部から出力された画像フレームが前記局所並列型演
   算器に入力され、かつ、この局所並列型演算器によっ
   て、入力された画像フレームの各画素について類似度を
   安定化する処理が行われた画像フレームが、前記距離推
   定手段に出力されるように、前記局所並列型演算器の入
   出力を切り換える経路制御手段（３０９、３１２）を具
   えるようにしたことを特徴とする、 請求項２記載のステレオ画像処理装置。
6. 【請求項６】 前記距離推定手段から出力される画
   像フレームを入力して、入力した画像フレームの一部の
   画素の画像情報に基づいて、当該画像フレームの情報量
   を圧縮した圧縮画像フレームを生成して、前記入力した
   画像フレームおよび前記圧縮画像フレームを、出力する
   圧縮手段（３１４）を、さらに具えるようにしたことを
   特徴とする、 請求項２記載のステレオ画像処理装置。
7. 【請求項７】 前記圧縮手段により圧縮された圧縮画
   像フレームを、さらに所定回数、当該圧縮手段で繰り返
   し圧縮することにより、複数の圧縮サイズの異なる圧縮
   画像フレームを生成し、これら複数の圧縮サイズの異な
   る圧縮画像フレームおよび前記入力した画像フレームを
   出力するようにしたことを特徴とする、 請求項６記載のステレオ画像処理装置。