JPH11345336A

JPH11345336A - 障害物検出装置

Info

Publication number: JPH11345336A
Application number: JP10154625A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-06-03
Filing date: 1998-06-03
Publication date: 1999-12-14

Abstract

(57)【要約】【課題】検出対象の形状や色および背景色にかかわらず
確実に障害物の位置を検出することの出来る障害物検出
装置を提供する。【解決手段】車両に搭載された二つの電子式カメラによ
るステレオ画像全体にウインドウを設定し、設定したウ
インドウ毎に視差を求める。そして、前方に物体が存在
するとその方向に同じ視差の値を示すウインドウが固ま
ることを利用し、表の縦横の項目が画像上に設定したウ
インドウの水平方向の位置（光軸からの角度）と視差と
からなる表を作り、ウインドウ毎に求めた視差に応じ
て、その表の対応する位置に所定値を加算する操作を全
ウインドウにおいて行い、その結果の表中から値の高い
位置を物体として検知するように構成した。この方法に
よれば、検出物体の個数や検出対象物の形や色にかかわ
らず、同じ処理で同時に複数物体を検出することが可能
になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ画像処
理を用いて、障害物や背景の色に左右されずに前方の障
害物を検知し、その障害物までの距離とその障害物の水
平方向の位置（光軸からの距離）を求める技術に関し、
例えば自動車用の障害物検知装置、速度制御装置、ブレ
ーキ制御装置、自動操舵装置等に応用される技術であ
る。

【０００２】

【従来の技術】従来の障害物検出方法としては、例え
ば、特開平３−２６９２１１号公報に記載されたものが
ある。この方法は、検出対象を先行車としたものであ
り、先行車の特徴である左右の対象性および輝度ヒスト
グラムの高い位置を発見することで先行車の有無を判断
し、その位置においてステレオマッチングを行なうこと
で先行車までの距離を求めるものである。

【０００３】

【発明が解決しようとする課題】しかし、上記従来例の
方法においては、車両の特徴である左右対称性を利用し
ているため、車両以外の障害物を検知するのが困難であ
るという問題があった。また、輝度のヒストグラムを利
用するため、検知能力が障害物およびその背景の色に左
右されるという問題があった。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、検出対象の形状や色
および背景色にかかわらず確実に障害物の位置を検出す
ることの出来る障害物検出装置を提供することを目的と
する。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。まず、請求項１に記載の発明において
は、ステレオ画像全体にウインドウを設定し、設定した
ウインドウ毎に視差（光軸が平行で、所定間隔を隔てて
設置された二つのカメラＡ、Ｂで一つの物体を撮像した
場合に、それぞれのカメラに写った画像の位置の差）を
求める。そして、前方に物体が存在するとその方向に同
じ視差の値を示すウインドウが固まることを利用し、表
の縦横の項目が画像上に設定したウインドウの水平方向
の位置（光軸からの角度）と視差とからなる表を作り、
ウインドウ毎に求めた視差に応じて、その表の対応する
位置に所定値を加算する処理（投票）を全ウインドウに
おいて行い、その結果の表中から値の高い位置を物体と
して検知するように構成したものである。この方法によ
れば、検出物体の個数や検出対象物の形や色にかかわら
ず、同じ処理で同時に複数物体を検出することが可能に
なる。なお、上記の構成は例えば後記第１の実施の形態
に相当する。

【０００６】次に、請求項２に記載の発明においては、
上記の物体を求めた位置における視差の値に基づいて上
記カメラから上記検出した物体までの距離を求め、か
つ、上記表中における上記検出した物体が存在する水平
方向の角度と上記の求めた距離とに基づいて、上記カメ
ラの光軸から上記検出した物体までの水平方向の距離を
算出するように構成している。視差の値はカメラから物
体までの距離に対応するので、三角測量の原理で距離の
値を求めることが出来る。なお、上記の構成は例えば後
記第２の実施の形態に相当する。

【０００７】次に、請求項３に記載の発明は、請求項２
に記載の距離の算出をより精密に行なうものであり、視
差の算出処理において、各ウインドウ毎に求めた類似度
の平均値を求め、横軸を両カメラの画像の位置の差、縦
軸を類似度の平均値としたグラフにプロットした際の曲
線を２次曲線とみなし、その曲線が極値となる位置を求
め、その極値となる位置の値を視差とするように構成し
たものである。このように構成することにより、視差の
値を少数点以下の値まで算出することが出来、それだけ
高精度の距離算出を行なうことが出来る。なお、上記の
構成は例えば後記第４の実施の形態の一部に相当する。

【０００８】次に、請求項４に記載の発明においては、
ウインドウ毎における視差算出のマッチング処理の前処
理として、ウインドウ内の視差方向の分散を求める方法
を用いているので、視差の算出が困難なウインドウにお
ける差分計算を省略できるので処理が高速になる。加え
て、マッチングの困難なウインドウにおける視差を算出
しないため、後処理である物体検知の信頼性が向上す
る。なお、上記の構成は例えば後記第３の実施の形態の
一部に相当する。

【０００９】次に、請求項５に記載の発明においては、
視差を算出したウインドウにおいて、その視差を決定す
るために求めた走査範囲内における各画素毎の類似度の
平均値と最も類似度の高い位置との差の大小に応じて、
求められた視差の信頼性を判断し、信頼性の低いもの、
つまり、誤検知の可能性の高い視差を表への投票に用い
ないように構成したものである。この構成により、誤検
出が減り、物体検知の信頼性を向上させることが出来
る。なお、上記の構成は例えば後記第３の実施の形態の
一部に相当する。

【００１０】次に、請求項６に記載の発明においては、
表への投票の際、その周囲の枠にも低い値を加算するよ
うに構成したことにより、量子化誤差などにより、同じ
距離に存在するにもかかわらず視差が１画素分だけ異な
るものとして検出された物体を同じ物体として検出しや
すくなる。また、障害物の特徴的なエッジが隣合う二つ
のウインドウに股がる場合なども隣のウインドウ同志に
値を反映させることができるため障害物の検知が確実に
なる。なお、上記の構成は例えば後記第４の実施の形態
の一部に相当する。

【００１１】

【発明の効果】本発明によれば、検出物体の個数や検出
物体の形や色にかかわらず、同じ処理で同時に複数物体
を正確に検出することが可能になる、という効果が得ら
れる。また、請求項２においては、カメラから検出物体
までの距離とカメラの光軸から検出物体までの水平方向
の距離を算出することが出来る。また、請求項３におい
ては距離の算出をより高精度に行なうことが出来る。ま
た、請求項４においては物体検知の信頼性が向上すると
共に処理を高速化することが出来る。また、請求項５お
よび請求項６においては誤検出を減少させ、物体検知の
信頼性を向上させることが出来る、という効果が得られ
る。

【００１２】

【発明の実施の形態】（第１の実施の形態）図１は第１
の実施の形態の構成を示すブロック図である。図１にお
いて、１および２は電子式のカメラであり、自車の前部
に前方を向いて設置されており、両カメラの光軸は相互
に平行で、かつ撮像面の水平軸が同じライン上に揃うよ
うに設置されている。なお、車両の後部に後方を向けて
設置し、車両後方の障害物を検出するように構成するこ
ともできる。２０は自車の前方に存在する障害物等の検
出対象物であり、図１では先行車を例示している。３０
は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等から
なるマイクロコンピュータで構成される。演算部３０に
おいて、３、４はそれぞれカメラ１、２から入力した画
像信号を記憶する画像メモリである。また、５〜９は演
算部３０における演算内容をブロックで示したものであ
り、５はウインドウ設定手段、６は視差算出手段、７は
視差・角度の表、８は投票手段、９は表７から所定のし
きい値以上の位置を検出することによって車両前方の物
体を検出する物体検出手段である。演算部３０内のこれ
らの各手段については詳細を後述する。

【００１３】図２は、ステレオ画像を用いて三角測量の
原理でカメラから検出対象までの距離を求める原理を説
明する図である。図２においては、カメラＡ（前記カメ
ラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記
カメラ２に相当）で撮像した画像を画像Ｂで示し、検出
対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。

【００１４】図２から判るように、焦点距離ｆ、眼間距
離（両カメラ間の距離）Ｄが既知であり、光軸が互いに
平行な２台のカメラＡ、Ｂで撮像したステレオ画像にお
いて、２枚の画像間のマッチング位置ｘａ、ｘｂを求め
ることできれば、カメラから対象物ｐまでの距離Ｚは下
記（数１）式より求めることができる。

【００１５】Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１）ただし、ｘａ−ｘｂ＝Ｓは視差であり、図２のように、
光軸が平行で、所定間隔を隔てて設置された二つのカメ
ラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカ
メラに写った画像の位置の差、すなわち画像Ａにおける
位置ｘａと画像Ｂにおける位置ｘｂとの差である。な
お、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点
距離ｆ、視差Ｓおよび位置ｘａ、ｘｂの単位は画素であ
る。例えばカメラＡ、ＢはＣＣＤを用いたものであり、
画素数を６４０×４８０とした場合、１画素の大きさは
１０μｍ程度である。

【００１６】上記（数１）式の焦点距離ｆは単位を画素
として計算しているが、一般に、焦点距離ｆは単位がｍ
ｍで表される場合が多い。それを単位が画素の値に換算
するには、例えば、図３に示すように、大きさの判って
いる幅Ｗ（ｍｍ）の対象物を距離ｚ（ｍｍ）離れたとこ
ろにおいて撮像し、そのときに撮像される画像上での対
象物の画素数ｗｘをエッジ検出などの画像処理によって
検出することにより、下記（数２）式で求めることがで
きる。

【００１７】ｆ＝ｚ・ｗｘ／Ｗ …（数２）ただし、ｗｘ、ｆの単位は画素、ｚ、Ｗの単位はｍｍまた、上記の視差Ｓを検出するには、一方の画像（例え
ば画像Ｂ）上において点ｐが撮像されている点（ｘｂ、
ｙｂ）に対応する他方の画像（例えば画像Ａ）上の点
（ｘａ、ｙａ）を検出する必要がある。その方法として
は、画像Ｂ上の点（ｘｂ、ｙｂ）を含む或る範囲の画像
（ウインドウ）と最も類似した範囲を画像Ａ内から探す
ことで求めることができる。この類似度の算出には、画
像間の差分法や正規化相関法などがある。

【００１８】図４は、両画像の対応する位置毎の視差を
求めた結果を示す図であり、詳しくは、道路前方を撮像
した画像において、一方の画像（例えば画像Ｂ）をウイ
ンドウ毎に切り、その全てのウインドウにおいて他方の
画像（例えば画像Ａ）からそのウインドウと最も類似度
の高い画像の位置を求めることで、両画像における対応
する位置を検出し、それぞれの対応する位置から各ウイ
ンドウ毎の視差を求めた結果を表したものである。図４
において、（Ａ）は左画像（画像Ａに相当）、（Ｂ）は
右画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は
視差が「１５」のウインドウ部分のみを抜き出した画像
を示す。また、図４（Ｂ）、（Ｃ）の(1)〜(20)は各ウ
インドウの水平方向（以下、横方向と記す）の位置を示
し、横方向の角度に相当する（図５で詳述）。ただし、
図においては(1)〜(20)を丸付き数字で表している。ま
た、一つのウインドウは幅（ｘ方向の長さ）がｘｗ、高
さ（ｙ方向の長さ）がｙｗである。上記のように、各ウ
インドウ毎の視差が判れば、前記（数１）式を用いるこ
とによって、該当するウインドウに撮像されている物体
までの距離を求めることが出来る。

【００１９】以下、図４のようにウインドウ毎にその内
部に撮像されている物体までの視差を求めた画像を“距
離画像”と呼ぶことにする。このウインドウ毎に算出さ
れる視差は、当該ウインドウの内部に撮像されていてエ
ッジなどの特徴的な部分を持つ物体までの距離に相当す
るから、一つの対象物が複数ウインドウに跨って撮像さ
れていると、隣接するウインドウで同じ視差が求められ
る。例えば、道路前方を撮像した画像における距離画像
の場合、先行車と、先行車が存在する真下の路面とは同
距離なので、図４（Ｄ）に太線のウインドウで示すよう
に、先行車の下部と同じｙ座標上にあるウインドウは先
行車と同じ視差で算出される。例えば図４（Ｃ）の下か
ら２行目に「１５」が横方向に連続しているのが上記の
部分に相当する。なお、図４（Ｃ）において、中央部分
に視差「１５」が集合している部分が先行車に相当し、
(3)、(4)列に視差「１９」が集合している部分が「左方
の木」に相当し、(6)列に視差「５」が連続している部
分が「中央の木」に相当する。

【００２０】図５は、図４に示した画像をカメラで撮像
したときにおいて、２台のカメラ２１、２２に対して、
先行車２３とその横の２本の木２４（前記左方の木に相
当）、２５（前記中央の木に相当）の位置関係と、画像
上に設定したウインドウの中に撮像される角度を示した
図である。

【００２１】また、図６は、縦方向に視差、横方向に角
度〔図４、図５の(1)〜(20)〕をとった視差・角度の表
（以下、投票用の表と呼ぶ）を示した図であり、（Ａ）
は左画像、（Ｂ）は右画像、（Ｃ）は上記の投票用の表
を示す。

【００２２】また、図７は、距離画像上の或るウインド
ウで求めた視差とそのウインドウの横方向の位置に基づ
いて、対応する表中の位置に投票する様子をあらわした
図であり、（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）
は投票用の表を示す。なお、この場合における「投票」
とは、或る角度位置とそれに対応する視差の値の位置
に、＋１ずつ加算することを意味する。例えば角度(8)
の位置に視差「１５」が１個存在する場合には、図７
（Ｃ）の角度(8)で視差「１５」の位置に「＋１」が加
算される。図７（Ｂ）の例では、角度(8)の位置に視差
「１５」が５個存在するから、最終的には角度(8)で視
差「１５」の位置に「５」が投票されることになる。

【００２３】また、図８は、上記の投票を全てのウイン
ドウにおいて行った結果を示す図であり、（Ａ）は右画
像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。

【００２４】図５から判るように、図４で設定したウイ
ンドウにおいて、横方向が同じ位置のウインドウは同じ
方向を撮像したものである。また、図８から判るよう
に、前方に物体が存在する場合、物体を検知している部
分では同じｘ座標上の縦方向のウインドウは同じ視差が
求められ、路面上に物体が存在しない場合では同じｙ座
標上の横方向のウインドウで同じ視差が求められる。こ
のような距離画像を用いて、図７に示した方法で表に投
票を行なうと、同じ方向（同じｘ座標上）に同じ視差が
並んでいると、その方向と視差への値への投票回数が多
くなるため、その位置の値が高くなる。したがって、図
８の表から値の高い位置を探すことで前方の物体の有無
を検知できる。図８に示す例では、角度(3)、(4)で視差
「１９」の部分（左方の木に相当）、角度(5)で視差
「５」の部分（中央の木に相当）、角度(8)〜(16)で視
差「１５」の部分（先行車に相当）で投票が集中し、値
が高くなっている。

【００２５】上記の方法では、表から探す値のしきい値
の設定により、検知対象とする物体の高さも調整でき、
かつ、対象物の形や色に関係なく、また、一つの物体の
検出も複数物体の検出も同じ処理で行なうことが出来
る。

【００２６】図１に示した第１の実施の形態において
は、上記の各機能を各手段として示したものであり、ウ
インドウ設定手段５で上記各ウインドウを設定し、視差
算出手段６で上記視差を算出する。また視差・角度の表
（投票用の表）７は上記図７（Ｃ）に相当し、投票手段
８は、図７で説明した投票を行ない、物体検出手段９は
図８（Ｃ）に示した表から所定のしきい値以上の位置を
検出することによって車両前方に存在する物体を検出す
る。

【００２７】以上説明したごとく、第１の実施の形態に
おいては、前方に物体が存在すると、同じ方向に同じ視
差を示すウインドウが固まることを利用し、定義したウ
インドウ毎に求めた視差をそのウインドウの横方向の角
度に基づいて角度と視差からなる表中の対応する位置に
値を加算し、全ウインドウにおいてその操作を行った結
果の表中から値の高い位置を探すことにより、物体を検
知するように構成している。そのため、複数の物体も一
つの物体も同じ手法で検出することができ、検出対象や
背景の色に左右されずに物体を検知できるようになる。
また、白線や停止線などの路面表示は、同じ視差を示す
ウインドウが同じ方向に現れないため、路面表示と高さ
をもつ障害物とを誤検出することがなくなるという利点
もある。加えて、距離画像だけを利用しているため、検
出対象の色や形状および背景色にかかわらず同様の処理
で複数物体を検出できる。

【００２８】（第２の実施の形態）次に、図９は第２の
実施の形態を示すブロック図である。これは前記図１に
おいて、物体検出手段９の次に距離算出手段１０を設け
たものであり、その他の部分は図１と同様である。距離
算出手段１０はカメラから検出物体までの距離と横方向
の位置（光軸から対象物までのｘ方向の距離、例えば図
５のｘ１、ｘ２等）を算出する。前記第１の実施の形態
で説明したように、図８（Ｃ）の表中から検知した位置
（所定値以上の値を示す位置）は、その横軸と縦軸の値
がその物体の視差と方向を表しているため、この値を用
いることで物体までの距離と横方向の位置を求めること
ができる。

【００２９】以下、その計算方法を説明する。まず、物
体までの距離を求める。検出した物体までの距離は、前
述した原理により、視差が検出できれば計算できる。し
たがって図８（Ｃ）で物体が検出された視差の値（前記
「１９」と「４」と「１５」）を前記（数１）式のＳに
代入することにより、それぞれ「左方の木」、「中央の
木」「先行車」までの距離を求めることができる。

【００３０】次に横方向の位置を求める。図５から判る
ように、(1)〜(20)は各ウインドウ毎に撮像されるレン
ズ中心からの角度を表している。一つのウインドウ毎の
角度θは幾何学的に下記（数３）式で求めることができ
る。 θ＝ｔａｎ~¹（ｘｗ／ｆ） …（数３）なお、ｘｗは一つのウインドウの横方向の大きさであ
る。また、ｘｗおよびｆの単位は画素である。

【００３１】物体の横方向の位置ＸＬ（光軸上から物体
までのｘ方向の距離）は、図５に示す位置関係にあるの
で、（数１）式で求めた距離と表の角度に基づいて、下
記（数４）式で求めることができる。ＸＬ＝Ｚ・ｔａｎ〔（Ｎ−Ｍ）・θ〕 …（数４）ただし、Ｎは物体が検出されたウインドウの左端からの
順番、Ｍは光軸上のウインドウの左端からの順番を示
す。例えば図５の場合には、Ｍは１０〔左端から１０番
目の(10)〕、検出物体が先行車の場合はＮは７〔左端か
ら７番目の(7)〕である。なお、ＸＬ＜０は物体が光軸
より右側にあるとき、ＸＬ＞０は左側にあるときを示
す。また距離Ｚおよび横方向位置ＸＬの単位はｍであ
る。

【００３２】図５の例の場合には、光軸方向は角度(10)
であり、距離ＺがＬ１である先行車の左端は角度(7)に
撮像されているので、この先行車の左端の光軸からの横
方向位置ｘ１は、ｘ１＝Ｌ１・ｔａｎ〔（７−１０）・θ〕＝−Ｌ１・ｔ
ａｎ（３θ）である。また、距離がＬ２である左方の木は角度(3)に
撮像されているので、横方向の位置は、ｘ２＝Ｌ２・ｔａｎ〔（３−１０）・θ〕＝−Ｌ１・ｔ
ａｎ（７θ）である。図９の距離算出手段１０は上記の演算内容を示
したものである。なお、距離算出をより高精度に行なう
方法については、後記第４の実施の形態で説明する。

【００３３】以上説明したごとく、第２の実施の形態に
おいては、第１の実施の形態で作成した表から値がしき
い値以上である位置を検出し、その位置の視差に基づい
て距離を算出し、その位置の方向と求めた距離に基づい
て横方向（水平方向）の位置を計算するように構成して
いる。そのため物体検知後、表の位置を用いた三角測量
と比例計算という少ない手間だけで物体までの距離と横
方向の位置との両方を計算できる。また、物体が複数あ
る場合でも、画像全体を再度走査することなく、表中の
しきい値以上の位置において同様の計算を施すだけで距
離と位置を計算できるため、物体の距離、位置の計測を
高速に行なうことが出来る。

【００３４】（第３の実施の形態）図１０は本発明の第
３の実施の形態を示すブロック図である。この実施の形
態は、前記図９の構成に加えて、輝度分散算出手段１
１、分散判断手段１２、類似度格納手段１３、差算出手
段１４、判断手段１５を設けたものであり、障害物の誤
検知を防止する機能を設けたものである。

【００３５】図１１は物体の誤検知を防止する機能を説
明するための図であり、図１１（Ａ）は、処理対象画像
上に設定した各ウインドウの画像を示す図であり、図１
１（Ｂ）に示すような星型の図形を撮像した場合に、図
１１（Ａ）の（ａ）は無地のウインドウ（撮像された図
形が無い部分）、（ｂ）は視差と平行な方向にだけエッ
ジを持つウインドウ、（ｃ）はエッジをもつウインド
ウ、（ｄ）はノイズを含むウインドウを示す。そして
（ａ）〜（ｄ）において各図形の下に示したグラフは、
差分マッチングによって視差を求め、各画素毎（視差）
に求めた差分値を、縦軸を差分値、横軸を視差としてグ
ラフ化し、そのグラフから最小値を探すことによってマ
ッチング位置（差分値最小の位置＝類似度が最大の位
置）を求める状態を表したものである。

【００３６】また、図１１（Ｂ）は、画像上に定義した
（ａ）〜（ｄ）それぞれのウインドウの位置と、それら
の定義したウインドウの走査範囲を示す図である。ま
た、図１１（Ｃ）は、それぞれのウインドウ（ａ）〜
（ｄ）において、視差方向に切った１ライン上の輝度分
散を複数個所で求める状態をあらわした図である。ま
た、図１１（Ｄ）は、二つのカメラで撮像した対象物と
その対象物が画像上に撮像されたときの位置関係を表し
た図である。

【００３７】なお、上記の差分とは、基準画像と他方の
画像の各画素毎の輝度差の総和であり、差分が小さいほ
ど類似度は大となる。通常、類似度と差分は次の式で表
される。なお、上式において、ｘは基準画像（画像Ａ）の輝度、
ｘはｘの平均値、ｙは他方の画像（画像Ｂ）の輝度、ｙ
はｙの平均値である。

【００３８】前記図２に示したように、二つのカメラを
撮像面の同一ラインが同一直線上に並ぶように設置した
場合、互いの画像上でのマッチング位置は同一ライン上
にのる。このことから、類似画像の探索は図１１に示し
たように同じライン上において視差方向に１画素ずつず
らしながら行なうことで求められる。そしてそのウイン
ドウの視差は、この操作において最も差分値が低いと判
断された画像が存在する位置と基準画像のウインドウを
定義した位置との差として求められる。また、右画像を
基準画像とした場合、右画像上に定義したウインドウと
のマッチング位置は、図１１（Ｄ）に示すように左画像
上では右画像でウインドウを定義した位置よりも右側に
なる。つまり、画像の探索範囲は、右画像でウインドウ
を定義した位置から右方向に走査すればよく、視差は走
査の始点からマッチング位置までのずれとなる。図１１
の例では、図１１（Ａ）の（ｃ）のグラフに示したよう
になる。

【００３９】上記のように、図１１（Ａ）は四つのウイ
ンドウそれぞれにおいて各画素毎に求めた差分値（基準
画像と差分を求めた画像との差）と視差（基準画像と差
分を求めた画像との位置の差）との関係をグラフ化した
ものであり、差分マッチングの場合、差分値が最小の位
置が類似度の最も高い位置となる。しかし、例えば図１
１（Ａ）の（ａ）のように、ウインドウもウインドウの
探索範囲も共に無地の画像であると、どの位置において
も差分が同じ値となるため視差を決めることができな
い。実画像では、このようなウインドウでも小さなノイ
ズがあるために、それぞれの位置で異なる値の差分が求
められ、最小値の位置も求められてしまうが、このよう
な場合、この位置は物体の視差を検出したものでないた
め、この視差を物体検知に利用すると誤検知の原因とな
る。また、図１１（Ａ）の（ｂ）のように視差と平行な
エッジしかないウインドウでは、物体の一部と考えられ
るエッジが撮像されているが、（ａ）と同様に、差分値
は走査範囲内で全て同じ値なので、求められた視差は正
確なものでない可能性が高い。すなわち上記（ａ）、
（ｂ）のような場合に求めた視差は誤計測の原因になる
可能性が高いため、視差は求めるべきではないと言え
る。

【００４０】以下、上記のような誤検知の要因を取り除
く方法を説明をする。図１１（Ｃ）は、各ウインドウに
おいて視差方向に切った横１ライン上の輝度分散を複数
箇所で求めた状態を示す図である。視差と平行に切られ
た横１ラインのウインドウの輝度分散は、（ａ）のよう
な無地のウインドウにおいても、（ｂ）のような視差と
平行な方向にだけエッジを持つウインドウにおいても、
共に小さな値となる。逆に、（ｃ）のように視差の算出
が可能なウインドウでは分散は大きくなる。

【００４１】また、ウインドウ内の全体の輝度分散を計
算すると、（ａ）の無地のウインドウでは分散が小さく
なるが、（ｂ）のウインドウの分散は大きくなってしま
う。しかし、図１１（Ｃ）に示したように横１ラインの
分散を算出すれば、（ａ）（ｂ）は共に分散が小さくな
るので、視差算出が不適なウインドウを正確に検出する
ことができる。このように複数箇所の１ライン上の分散
の合計または平均値に基づいて視差を求めることが適当
であるか否かを、マッチングを行なう前に判断すれば、
誤検知のウインドウを取り除くことができ、同時に計算
量を削減することができる。

【００４２】また、視差の算出は、図１１（Ａ）に示し
た差分値のグラフから最小値の位置を探すことで行なう
ため、最小値に近い値が複数箇所で見られるものは、無
地のウインドウや視差方向と平行なエッジしか持たない
画像と同様に、求めた視差の確実性は低いものとなる。
例えば、図１１（Ａ）の（ｄ）のようにノイズのある画
像では、前述の図１１（Ｃ）の方法で求めた分散は大き
くなるが、差分値のグラフは、最小値に非常に近い値が
複数箇所で求められるため、その中から視差を断定する
ことは困難である。仮に、求められた差分値最小位置を
視差としても、この位置は誤対応位置である可能性が高
い。したがってこのような場合には視差を求めない方が
よい。そのため次のような方法を用いる。

【００４３】図１１（Ａ）に示すように、走査範囲内で
求めた差分値の平均値とその中の最小差分値を求める
と、全体の差分値のうち、最小値に近い値が多く現れる
場合にはマッチング範囲内で求めた差分の平均値と差分
の最小値との差が小さくなる、つまり、この二つの値の
差が或るしきい値より小さい場合には、そのウインドウ
で求めた視差は誤対応の高いものであると判断すること
ができる。したがって、上記の判断において誤対応の可
能性の高いと判断した視差は、この後の処理である表へ
の投票に用いないようにすれば、物体の検知をより確実
にすることができる。なお、上記図１１（Ａ）のグラフ
は縦軸に差分をとっているが、差分の逆数の類似度をと
った場合には、類似度の最大値と類似度の平均値との差
が所定のしきい値より小さい場合に誤対応と判断する。

【００４４】上記のように、各ウインドウにおいて視差
方向に切った横１ライン上の輝度分散が各ラインにおい
て小さい場合、およびマッチング範囲内で求めた差分の
平均値と差分の最小値との差（類似度の最大値と類似度
の平均値との差）が小さい場合には、誤対応の可能性が
高いので、そのウインドウで求めた視差を用いないよう
にすることにより、物体検知をより確実にすることがで
きる。

【００４５】第３の実施の形態においては、輝度分散算
出手段１１で上記の横１ライン毎の分散を算出し、分散
判断手段１２で上記の分散が所定のしきい値より大か否
かを判断する。そして分散がしきい値以上の場合にのみ
視差算出手段６による視差の算出を行なう。また、類似
度格納手段１３に走査範囲内の類似度（差分値）を格納
し、差算出手段１４で類似度の（最大値−平均値：差分
値の場合には平均値−最小値）を演算し、判断手段１５
で上記（最大値−平均値）が所定のしきい値以上か否か
を判断し、しきい値以上の場合にのみ次の投票手段８に
おける投票を行なうように構成している。

【００４６】以上説明したごとく、第３の実施の形態に
おいては、ウインドウ毎における視差算出のマッチング
処理の前処理として、ウインドウ内の視差方向の分散を
求める方法を用いるため、視差の算出が不可能なウイン
ドウにおける差分計算を省略できるので処理が高速にな
る。加えて、マッチングの困難なウインドウにおける視
差を算出しないため、後処理である物体検知の信頼性が
向上する。

【００４７】また、視差を算出したウインドウにおい
て、その視差を決定するために求めた走査範囲内におけ
る各画素毎の差分の平均値と最も差分の低い位置との差
の大小に応じて、求められた視差の信頼性を判断し、信
頼性の低いもの、つまり、誤検知の可能性の高い視差を
表への投票に用いない方法をとるため、誤検出が減り、
物体検知の信頼性が向上する。

【００４８】（第４の実施の形態）図１２は、本発明の
第４の実施の形態を示すブロック図である。この実施の
形態は、前記図１０の構成において、投票手段と距離算
出手段の内容を変更したものであり、物体の検出と算出
した距離の値とを高精度化する機能を設けたものであ
る。図１２において、１６は投票手段、１７は距離算出
手段を示す。

【００４９】まず、物体検出の高精度化処理について説
明する。図１３は、投票方法による物体検出の高精度化
処理を説明するための図であり、図１１で説明した方法
で確実性の高いウインドウの視差だけを残した結果を用
いて、図７に示した投票用の表へ投票する際に、視差を
検出したウインドウの方向と視差とに基づいて、その対
応する位置には高い値を、その位置と隣接する位置には
低い値を加算する状態を表した図である。

【００５０】デジタル画像には量子化誤差があるため、
同じ距離にある物体上に切った二つのウインドウにおい
ても視差が１画素異なってしまうことが多く発生する。
特に、先行車のように内部が無地の物体を検出対象とし
た場合には、視差算出の基準となるエッジが物体の輪郭
だけとなるため、このようなことが多く起こる。加えて
内部が無地の物体はその輪郭を含むウインドウしか視差
の算出ができないため、同じ視差が固まりとして検出さ
れず、かつ、そのエッジが画像に対して斜めである場合
には、同一物体を検出しているウインドウであるにも関
わらず同じ方向のウインドウで同じ視差が検出されな
い。このように本来同じになるべき視差の値が異なる
と、図７に示した単純な投票方法では、各方向（同じｘ
座標上に並ぶウインドウ）で視差の値が異なり、同じ値
が連続して検出されないため、物体を検知できない。そ
のため、図１３においては、該当する個所に単純に１票
を投票するのではなく、該当する個所およびその近接個
所に投票するようにしたものである。図１３に示す例で
は、角度が(8)で視差が「１５」の個所に１票を入れる
場合に、上記の個所には３票を入れ、その上下の個所に
はそれぞれ２票を入れ、左右の個所にはそれぞれ１票を
入れるものである。このようにすれば、量子化誤差によ
る視差の違いをお互いに反映させることができ、また、
隣合うウインドウにおいて同じ視差が検出された場合も
お互いにそのことを反映させた投票ができるので、例え
ば内部が無地であるために視差を求めにくい物体の未検
出を防ぐことができる。

【００５１】次に、距離算出の高精度化処理について説
明する。図１４は、差分の平均値を加えたグラフを示す
図であり、図１４（Ａ）は画像上に視差を求めることの
できたウインドウを示した図であり、図１４（Ｂ）は表
中のしきい値以上の値を示した個所に投票したウインド
ウにおいて、マッチング時に求めた各画素毎の差分値の
グラフと、そのグラフの中に、そのウインドウの視差と
して求められた位置の左右Ｌ／２画素分の位置で求めた
差分値の平均値のグラフ（全部でＬ画素分の位置で求め
られた値の平均）を示した図である。

【００５２】前記のように、図７の表によって検知した
物体までの距離は、表中の縦方向の位置（視差）を前記
（数１）式に代入することによって計算することができ
る。しかし、表から求める視差は整数単位であるため距
離精度が悪い。物体の視差は、差分値が最も小さくなる
部分であり、この差分値は、図１４のグラフからも判る
ように整数として求められた視差に近い位置を極値とす
る２次曲線に近い形状をしている。つまり、視差をこの
２次曲線の極値として求めることにより、より細かい単
位で視差を求めることができる。更に、ここでは、物体
の視差は物体上にかかる複数のウインドウで求めている
ため、これらのウインドウ全てにおいて求めた走査範囲
内における各画素毎の差分値の平均を求め、その平均値
のグラフを２次曲線とみなしたときの極値をとる位置を
視差とすることにより、物体を検知した全てのウインド
ウの結果を反映させた視差を算出できるようになり、よ
り正確かつ高精度な距離を算出できるようになる。な
お、上記の例では２次曲線に近似した場合を例示した
が、これに限るものではなく、より高次の曲線に近似し
てもよい。

【００５３】図１２の実施の形態においては、投票手段
１６において、図１３で説明した物体検知の高精度化処
理を行ない、距離算出手段１７では図１４で説明した距
離算出の高精度化処理を行なっている。

【００５４】以上説明したごとく、第４の実施の形態に
おいては、表への投票の際、その周囲の枠にも低い値を
加算する方法を取ったため、量子化誤差などにより、同
じ距離にあるにもかかわらず視差が１画素分だけ異なる
ものとして検出された物体を同じ物体として検出しやす
くなる。また、物体の特徴的なエッジが隣合う二つのウ
インドウに股がる場合なども隣のウインドウ同志に値を
反映させることができるため物体の検知が確実になる。

【００５５】また、表中で発見した物体の距離を計算す
る際、表中のしきい値以上である位置に加算する基とな
るウインドウ全てにおける各視差毎に求めた差分の平均
値を求め、縦軸をその平均値、横軸を視差としたときに
できる曲線を２次曲線とみなし、その曲線が極値となる
位置を視差とするので、画素単位でしか求められない視
差を少数単位で求めることが可能になり、距離をより高
精度に算出できるようになる。

【００５６】（実施例）次に、これまで説明した第１〜
第４の実施の形態を用いて、道路前方にある２本の木と
先行車までの距離、およびそれらの横方向の位置を計測
する実施例について説明する。ここでは、前記図２に示
したように、２台のカメラの光軸が平行になり、かつ、
２台のカメラのｙ軸が同一ライン上にのるように配置し
たステレオカメラを用いることにする。

【００５７】図１５は、この実施例における処理のフロ
ーチャートである。図１５において、まず、ステップＳ
１００では、初期設定を行なう。この初期設定では、新
たな画像を入力する前に処理中に用いる値格納用の表を
クリアする。ここで初期設定を行なう表は、図１６に示
すような各ウインドウ毎に求めた差分値を格納（後記ス
テップＳ１０４で説明）するための表と、図１７に示す
ような各ウインドウ毎に求めた視差を格納するための表
である。なお、図１７（Ｃ）、（Ｄ）に示す視差格納用
の表において、「−１」と記載してあるのは、視差が求
められないことを示すフラグであり、図１７（Ｃ）が初
期設定した状態（全ての個所を「−１」に設定）を示
す。

【００５８】次に、ステップＳ１０１では画像入力を行
なう。ここでは、前記図２の画像Ａと画像Ｂを入力す
る。次にステップＳ１０２では、どちらか一方の画像上
にウインドウを定義（設定）する。ここでは、前記図４
に示したように、縦に１０個、横に２０個の合計１０×
２０個のウインドウを定義する。

【００５９】次に、ステップＳ１０３〜Ｓ１０６におい
て、定義したウインドウ全てにおいて視差を検出し、そ
の結果を表へ投票する。まず、ステップＳ１０３では分
散チェックを行なう。すなわち、最初の処理対象のウイ
ンドウにおいて、図１１（Ｃ）で説明した処理を行な
う。この方法で求めた分散がしきい値以下である場合は
何もせずに次のウインドウの処理に移行し、分散がしき
い値以上である場合は、ステップＳ１０４で差分マッチ
ング処理を行なって視差を算出する。このマッチング処
理は前記図１１（Ｂ）で説明した処理である。このとき
求めた各画素毎の差分値は後に行なう視差の信頼性判断
（ステップＳ１０５）や視差の高精度化処理（ステップ
Ｓ１１０）で利用するので、図１６の表に各ウインドウ
毎に格納しておく。なお、格納するステップは図示を省
略した。

【００６０】次に、ステップＳ１０５では、算出した視
差の確実性を調べるため、そのウインドウにおいて求め
た全差分値の平均値と最小差分値との差を求め、その差
が所定のしきい値以上か否かを判断する。この処理は前
記図１１（Ａ）で説明した処理である。この判断におい
て、平均値と最小値との差がしきい値以上であればステ
ップＳ１０６で表への投票を行った後に次のウインドウ
の処理へ移り、しきい値より小さいときは表への投票は
行わずに次のウインドウの処理へ移る。また、各ウイン
ドウで求めた視差は視差の高精度化処理で用いるので、
画像上の縦横に定義したウインドウの数と同じ大きさの
視差格納用の表を用意しておき、確実性の高い視差が求
められたとき表中の対応する位置にそのウインドウで求
めた視差を格納する。図１７（Ｄ）が視差を格納した後
の表である。なお、格納するステップは図示を省略し
た。

【００６１】上記のステップＳ１０６において、確実な
視差が求められたときの表への投票の方法は、前記図７
の方法と前記図１３の方法とのどちらを用いてもよい。
しかし、対象物が車両である場合には、車両の内部が無
地であり、輪郭しか視差検出ができないことが多いた
め、図１３の方法を用いる方が望ましい。投票は視差が
検出された全てのウインドウにおいて同様の処理を行な
う。

【００６２】全てのウインドウにおいて求めた視差の投
票終了後、投票用の表からしきい値以上の値を持つ位置
を探索する。図１８は、投票に利用された視差が検出さ
れた結果と、それに基づいて投票したときの投票終了後
の表の様子を示す。物体がある程度大きいと、しきい値
以上の位置が横に並んで検出される。

【００６３】次に、図１８の表から物体を分離しながら
物体となる物体を検知する処理をステップＳ１０７〜Ｓ
１０９で説明する。まず、ステップＳ１０７では、或る
しきい値で図１８の表を２値化する。上記のしきい値は
検出対象とする物体の高さによって経験的に決めること
ができる。次に、ステップＳ１０８では、２値化後の表
をラベリングする。ラベリングは連結性を調べることで
行なう一般的な方法で十分である。ラベリング後の表中
のラベル数は検知した物体数であり、そのラベルを検知
した縦方向の位置が視差である。図１９（Ｂ）はラベリ
ングした結果を示す。次に、ステップＳ１０９では、上
記図１９（Ｂ）に示すラベリングした結果から物体を検
知する。なお、図１９（Ｂ）にも示すように、１台であ
る先行車の左端と右端だけが別個に検出され、二つのラ
ベルとして検出される場合があるが、このような場合は
同じ距離にあり、同じ動きをするなどの情報から一つの
物体として判断することができる。

【００６４】次に、検知した物体の距離と位置を求める
方法を説明する。まず、ステップＳ１１０では、前記図
１４で説明した方法で視差の高精度化処理を行なう。そ
の手順を説明する。図２０は、横方向(7)の位置に視差
「１５」の物体を検知したときにおいて、その物体まで
の視差の高精度化を行なう処理例を示したものである。
まず、図２０（Ａ）に示すラベル図〔図１９（Ｂ）と同
じ〕から、そこに投票したウインドウを探す。検知した
ラベルに投票したウインドウの探索は、図２０（Ｂ）に
示すように、図１６のウインドウ毎の視差を格納した表
を用いて、検知したラベルと同じ横方向の位置にある列
を縦に走査し、検知物体と同じ視差の格納されている位
置を探索することで行なうことが出来る。次に、これら
のウインドウで求めた各画素毎の差分値の平均を求め
る。視差を求めたウインドウにおける各画素毎の差分値
は前記図１７に示す表に格納されているので、その表を
用いて、図１６の表から検出した対応するウインドウの
差分値を全て加算し、そのウインドウの個数で割れば平
均値を求めることができる。図２０（Ｃ）はこの平均値
をグラフ化したものである。このグラフにおいて、処理
中のウインドウで求めた視差（ここでは１５）付近の曲
線、すなわち図２０（Ｃ）のＬの範囲内を２次曲線とみ
なし、その曲線が極値となる位置（ここでは１４.４）
を視差とする。

【００６５】次に、ステップＳ１１１では、求めた視差
を用いて検知物体の距離を求める。物体までの距離は前
の処理で求めた視差を前記（数１）式に代入することで
算出できる。また、物体の光軸に対する横方向の距離
は、上記の距離と物体を検知したウインドウの横方向の
番号を前記（数４）式に代入することによって求めるこ
とができる。この処理を表から検知した全ての物体につ
いて施すことによって前方に撮像された複数物体の距離
と位置を求めることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図。

【図２】ステレオ画像を用いて三角測量の原理でカメラ
から検出対象までの距離を求める原理を説明する図。

【図３】単位がｍｍで表される焦点距離ｆを単位が画素
の値に換算する方法を説明するための図。

【図４】ステレオ画像における両画像の対応する位置毎
の視差を求めた結果を示す図。

【図５】画像をカメラで撮像した場合に、２台のカメラ
に対して、先行車とその横の２本の木の位置関係と、画
像上に定義したウインドウの中に撮像される角度を示し
た図。

【図６】縦方向に視差、横方向に角度をとった投票用の
表を示した図であり、（Ａ）は左画像、（Ｂ）は右画
像、（Ｃ）は投票用の表を示す。

【図７】距離画像上の或るウインドウで求めた視差とそ
のウインドウの横方向の位置に基づいて、対応する表中
の位置に投票する様子をあらわした図であり、（Ａ）は
右画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示
す。

【図８】投票を全てのウインドウにおいて行った結果を
示す図であり、（Ａ）は右画像、（Ｂ）は視差の表、
（Ｃ）は投票用の表を示す。

【図９】本発明の第２の実施の形態を示すブロック図。

【図１０】本発明の第３の実施の形態を示すブロック
図。

【図１１】障害物の誤検知を防止する機能を説明するた
めの図であり、（Ａ）は、処理対象画像上に設定した各
ウインドウの画像を示す図、（Ｂ）は画像上に定義した
各ウインドウの位置と、それらの定義したウインドウの
走査範囲を示す図、（Ｃ）は各ウインドウにおいて、視
差方向に切った１ライン上の輝度分散を複数個所で求め
る状態をあらわした図、（Ｄ）は二つのカメラで撮像し
た対象物とその対象物が画像上に撮像されたときの位置
関係を表した図。

【図１２】本発明の第４の実施の形態を示すブロック
図。

【図１３】投票方法による障害物検出の高精度化処理を
説明するための図。

【図１４】差分の平均値を加えたグラフを示す図であ
り、（Ａ）は画像上に視差を求めることのできたウイン
ドウを示した図、（Ｂ）はマッチング時に求めた各画素
毎の差分値のグラフと、差分値の平均値のグラフを示し
た図。

【図１５】本発明の一実施例における処理の流れを示す
フローチャート。

【図１６】各ウインドウ毎に求めた差分値を格納するた
めの表を示す図。

【図１７】各ウインドウ毎に求めた視差を格納するため
の表を示す図。

【図１８】投票に利用された視差が検出された結果と、
それに基づいて投票したときの投票終了後の表の様子を
示す図。

【図１９】ラベリングした結果を示す図。

【図２０】或る横方向の位置に或る視差の物体を検知し
たときにおいて、その物体までの視差の高精度化を行な
う処理例を示す図。

【符号の説明】

１、２…電子式のカメラ３、４…画像メ
モリ５…ウインドウ設定手段６…視差算出手
段７…視差・角度の表８…投票手段９…物体検出手段１０…距離算出手
段１１…輝度分散算出手段１２…分散判断
手段１３…類似度格納手段１４…差算出手
段１５…判断手段１６…投票手段１７…距離算出手段２０…検出対象
物２１、２２…カメラ２３…先行車２４、２５…木３０…演算部

Claims

【特許請求の範囲】

【請求項１】車両に搭載された二つの電子式カメラから
なり、両カメラが共に車両前方または後方に向けて相互
に光軸が平行で、かつ撮像面の水平軸が同じライン上に
揃うように設置されたカメラと、上記両カメラが撮像した映像信号をディジタル画像とし
て一時的に記憶するメモリと、一方のカメラの画像を所定の大きさのウインドウ領域毎
に分割するウインドウ設定手段と、上記の各ウインドウ毎に、当該ウインドウの画像と他方
のカメラの画像との類似度を算出し、当該ウインドウと
他方のカメラで最も類似度の高かった画像位置との位置
の差を検出することにより、各ウインドウ毎の視差を求
める視差算出手段と、上記各ウインドウにおける光軸からの水平方向の角度と
視差の値とを横軸と縦軸とに対応させた表と、上記各ウインドウ毎の水平方向の角度と当該ウインドウ
における視差の値とに対応した上記表の該当する位置
に、所定値を加算する投票手段と、上記投票後の表中の値が所定のしきい値以上の位置を検
出することにより、車両前方または後方に存在する物体
を検出する物体検出手段と、を備えたことを特徴とする障害物検出装置。
【請求項２】上記物体検出手段で求めた位置における視
差の値に基づいて上記カメラから上記検出した物体まで
の距離を求め、かつ、上記表中における上記検出した物
体が存在する水平方向の角度と上記の求めた距離とに基
づいて、上記カメラの光軸から上記検出した物体までの
水平方向の距離を算出する距離算出手段を備えたことを
特徴とする請求項１に記載の障害物検出装置。
【請求項３】上記距離算出手段は、上記視差算出手段の
処理において各ウインドウで求めた走査範囲内の画素毎
の類似度について、各ウインドウ毎に求めた類似度の平
均値を求め、横軸を両カメラの画像の位置の差、縦軸を
類似度の平均値としたグラフにプロットした際の曲線を
２次曲線とみなし、その曲線が極値となる位置を求め、
その極値となる位置の値を視差とするものである、こと
を特徴とする請求項２に記載の障害物検出装置。
【請求項４】上記ウインドウ設定手段で設定した各ウイ
ンドウにおいて、当該ウインドウ内の水平方向の１ライ
ン上の輝度の分散値を、複数のラインについて求める輝
度分散算出手段と、上記複数のラインで求めた１ライン
毎の輝度分散値の平均値または加算値が所定のしきい値
以上か否かを判断する分散判断手段と、を備え、上記所
定のしきい値以上であるウインドウについてのみ上記視
差算出手段以降の処理を行なうように構成した、ことを
特徴とする請求項１乃至請求項３の何れかに記載の障害
物検出装置。
【請求項５】上記視差算出手段の処理において各ウイン
ドウで求めた走査範囲内の画素毎の類似度を格納する類
似度格納手段と、各ウインドウ毎に走査範囲内で求めた
全類似度の平均値とその走査範囲内の最も類似度の大き
い値との差を求める差算出手段と、上記差の値が所定の
しきい値以上か否かを判断する判断手段と、を備え、上
記差がしきい値以上であったウインドウで求めた視差の
みを上記投票手段以降の処理に用いるように構成した、
ことを特徴とする請求項１乃至請求項４の何れかに記載
の障害物検出装置。
【請求項６】上記投票手段は、上記各ウインドウ毎の水
平方向の角度と、当該ウインドウにおける視差の値とに
対応した上記表の該当する位置には所定値を加算し、そ
の周囲には上記所定値よりも小さな値を加算するように
構成したものである、ことを特徴とする請求項１乃至請
求項５の何れかに記載の障害物検出装置。