JP3596314B2

JP3596314B2 - 物体端の位置計測装置および移動体の通行判断装置

Info

Publication number: JP3596314B2
Application number: JP31190398A
Authority: JP
Inventors: 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-11-02
Filing date: 1998-11-02
Publication date: 2004-12-02
Anticipated expiration: 2018-11-02
Also published as: JP2000136905A; US6477260B1

Description

【０００１】
【発明の属する技術分野】
この発明は、ステレオ画像処理を用いて、前方の障害物を検知し、その障害物まで距離および横端の位置を周囲の環境に影響されることなく、かつ、精度良く求める技術に関し、例えば自動車用の障害物検知装置、速度制御装置、ブレーキ制御装置、自動操舵装置等に応用される技術である。
【０００２】
【従来の技術】
従来の障害物検出方法としては、例えば特開平８−２７８１２６号公報に記載されたものがある。上記従来技術は、検出対象を先行車としたものであり、先行車は路面上に存在すること、および車両は横エッジが長いことが多いことから、検出対象物の探索範囲を白線検出により求めた路面上に限定し、路面上の横エッジを探索することで先行車の画像上の位置を求め、その位置においてステレオマッチングを行なうことで先行車までの距離を求めるものである。
【０００３】
【発明が解決しようとする課題】
しかし、この方法においては、先行車の検出範囲を、白線を基にして求めた自車レーン上に限定しているため、白線のない道路や先行車が近距離にあって白線が隠れてしまう場合には路面領域を限定できないので、そのような場面では水平エッジの探索範囲の限定ができなくなり、先行車検出が不安定になる、という問題がある。また、この方法では、路面上の垂直エッジの探索を行ない、その垂直エッジを用いてステレオマッチングにより先行車の距離と画像上の位置検出を行っており、先行車の横端の位置は、路面上に存在する垂直エッジ端から予想して判断しているため、他の物体の端や背景との区別がつきにくいので、車両の横方向の位置精度が悪いという問題がある。
【０００４】
本発明は、上記のごとき従来技術の問題を解決するためになされたものであり、白線や車両の位置などの周囲環境に影響されることなく障害物の位置を検出し、かつ、その障害物の横端の位置を高精度に求めることのできる物体端の位置計測装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては、特許請求の範囲に記載するように構成している。すなわち、請求項１においては、ステレオ画像全体を複数のに画像領域（以下、ウィンドウと記す）に分割し、各ウィンドウ毎に視差を求める。そして前方に物体が存在すると、同じ視差のウィンドウが固まることを利用し、視差×水平方向位置（横方向つまりｘ軸方向に定義したウィンドウ）の表（以下、視差×横位置の表と呼ぶ）を用いて、各ウィンドウ毎に求めた視差に基づいて、表の対応する位置に投票する。そして、ｘ軸方向において同じ位置に並ぶウィンドウのうち同じ視差となるウィンドウの数を求め、表中の値の高い位置を物体の位置として検出する。また、その値が高くなる表中の視差に応じて物体までの距離を求め、かつ、その表の横方向の位置をもとに、画像上において物体が撮像される横方向のおおよその位置を求める。この画像上の物体の横端座標を求める際、各ｘ座標毎に範囲Ｂ内の輝度の平均値を求め、時間的に連続して毎回の処理で求めた輝度の平均値を格納し、或る一定時間内における各ｘ座標毎の輝度の平均値の分散が低い範囲を縦エッジの存在する範囲として求める。その範囲内において求めた各垂直方向位置（ｙ座標）毎の水平微分値の絶対値のヒストグラムに基づいて物体の上下端を求め、その上下端と判断されたエッジに挟まれる範囲を画像上で物体が存在する縦方向の範囲Ｂとして限定する。これらの方法で求めた上下方向の範囲が物体（先行車）が撮像されている範囲である。また、範囲Ｂ内において求めた各ｘ座標毎の垂直微分の絶対値のヒストグラムから求めた垂直エッジの中から、視差×横位置の表で求めた先行車位置付近のエッジを選択することにより、先行車の横端エッジの位置を精度よく、かつ周囲の環境に影響されることなく求めることが出来る。最後に、画像上において今までに述べた方法で求めたこの横端のエッジの座標位置を用いて、この値を実座標系に変換することにより前方の物体の距離と横端の実空間上の位置を求めることが出来る。
【０００６】
また、本発明においては、検出領域を自車レーンだけに限定していないため、検出物体の個数や検出対象物の形や色にかかわらず、同じ処理で同時に複数物体を検出することが可能になり、検出した個々の物体の全てにおいて同様の方法により画像上での横端位置の計測が可能となる。
【０００７】
次に、請求項２に記載の発明においては、請求項１における視差×横位置の表の投票結果より画像上におけるおおよその横位置を特定する際、或る一定時間内でヒストグラムをとり、その時間内において連続して物体と判断される範囲Ａを決め、ほぼ確実に物体と判断できるＡの範囲を、前方物体の縦方向の範囲Ｂを求めるためのヒストグラムを求める範囲とするように構成している。
【０００８】
次に、請求項３に記載の発明においては、請求項２のように、ほぼ確実に物体と判断できるＡの範囲を求めた場合には、垂直範囲検出手段において、水平エッジのヒストグラムから垂直範囲を求めるという面倒な演算の代わりに、簡単なＨｏｕｇｈ変換によるエッジ探索によって垂直範囲を検出するように構成している。
【０００９】
次に、請求項４に記載の発明においては、範囲Ｂを求める際、距離・水平範囲算出手段で求めた物体までの距離と、カメラの焦点距離と、カメラの高さと、前方物体の一般的な寸法から予想される概略の高さ応じて予め設定した値（例えば車両の一般的な高さに相当する値で、予め設定した値）とに基づいて、物体の上下端が撮像されうるおおよそのｙ座標位置ＨＵ，ＨＤを幾何学的に求め、請求項２の垂直範囲検出手段で求めた水平微分値のヒストグラムの高い位置のエッジを選択するように構成している。
【００１０】
次に、請求項５に記載の発明においては、範囲Ｂを求める際、距離・水平範囲算出手段で求めた物体までの距離と、カメラの焦点距離と、カメラの高さと、前方物体の一般的な寸法から予想される概略の高さ応じて予め設定した値（例えば車両の一般的な高さに相当する値で、予め設定した値）とに基づいて、物体の上下端が撮像されうるおおよそのｙ座標位置ＨＵ，ＨＤを幾何学的に求め、請求項３の垂直範囲検出手段で求めた水平エッジ位置のうち、ｙ＝ＨＵとｙ＝ＨＤ付近のエッジを選択するように構成している。
【００１１】
次に、請求項６に記載の発明においては、画像上の物体の横端座標を求める際、範囲Ｂ内で求めた垂直エッジのヒストグラムで求められた垂直エッジの中から、輝度の平均値の時間的分散の低い範囲の両端付近にあり、かつ、範囲Ａ（物体が確実に存在する範囲）と範囲Ａ’（物体が存在する可能性の高い範囲）との間付近にあるエッジを選択するように構成している。
【００１２】
次に、請求項７に記載の発明は、請求項１〜請求項６に記載の物体端の位置計測装置を用いた移動体の通行判断装置であり、位置計測装置の計測結果に基づいて、上記位置計測装置を搭載した移動体（例えば車両）の前進判断と経路誘導との少なくとも一方を決定する手段を備えたものである。
上記の構成により、移動体の前進の判断や他物体に衝突することなく移動できる経路を誘導することが出来る。
【００１３】
【発明の効果】
請求項１では、水平エッジに比べて短く、周囲の木や壁などの影響により検出が困難である車両の横端位置を、高精度かつ背景の影響のないロバストな検出が可能になるという効果がある。さらに、複数の先行車が検出された場合においても、それぞれに同様の処理を施すことで、複数の障害物の横位置を求めることができるという利点がある。
【００１４】
請求項２では、より正確かつ背景の影響を受けずに水平エッジを検出できるようになるという効果がある。さらに、先行車が至近距離にある場合、オクルージョンの影響によって視差×横位置の表における車両の横端位置付近のウィンドウの視差が不安定になるため、水平エッジの検出範囲だけでなく、範囲Ｂ内において検出した垂直エッジの中からの車両端エッジの選択を誤判断する可能性があるが、請求項２の構成によれば、確実に車両内である領域Ａを求めているため、その範囲を考慮に入れることでエッジの選択もより正確になる。
【００１５】
請求項３では、請求項２で求めた確実に車両の内部であると判断された領域Ａ内だけでの水平エッジを検出する構成としたことにより、背景に存在するエッジの影響が減少するので、その範囲内で単純なＨｏｕｇｈ変換によるエッジ検出法を用いることにより高速な方法にすることが可能である。また、対象物が既知の場合（例えば車両）では、範囲Ａ内において対象物に応じたエッジ検出方法にすることにより、確実かつ高速な処理に応用できるという利点もある。また、範囲の限定だけ確実性の増加を図っているので、エッジ検出方法は様々な応用が可能である。
【００１６】
請求項４では、範囲Ａ内で求めたエッジから車両の上下端を選択する際に、先行車の距離をもとに、先行車の上下端が撮像されうるおおよその位置を求め、その付近で検出されたエッジを選択する構成としたことにより、路面上の影や歩道橋など、範囲Ａ内にたまたま撮像されてしまう先行車以外の水平エッジとの誤検出を防ぐことができるという効果がある。さらに、エッジの検出範囲を、予め求めておいた先行車の上下端が撮像されうる付近だけに限定することで高速化も可能である。
【００１７】
請求項５においても請求項４と同様の効果が得られる。
【００１８】
請求項６では、求めたエッジのうち、各ｘ座標毎の輝度の平均値の分散の小さい範囲の両端付近にあり、かつ、視差から求めた範囲Ａと範囲Ａ’の間付近にあるエッジを車両の横端として選択することにより、背景や車両の形に左右されることなく、かつ、車両の距離とは異なる位置と誤判断することがないため、より確実に車両端座標を求めることが可能となるという効果がある。
【００１９】
請求項７では、請求項１〜請求項６に記載の物体端の位置計測装置を利用することにより、前方障害物の正確な横位置判断を行なうことが出来るので、例えば、料金所前の合流による渋滞など、左右の斜め前に車両などの障害物がある場合においても自車両の通行判断が可能な装置を実現することが出来る。
【００２０】
【発明の実施の形態】
（第１の実施の形態）
図１は第１の実施の形態の構成を示すブロック図である。この構成は請求項１に相当する。
図１において、１および２は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されている。なお、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。２０は自車の前方に存在する障害物等の検出対象物であり、図１では先行車を例示している。３０は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。演算部３０において、３、４はそれぞれカメラ１、２から入力した画像信号を記憶する画像メモリである。また、５〜１１は演算部３０における演算内容をブロックで示したものであり、５はウィンドウ（画像領域）設定手段、６は視差算出手段、７は投票手段、８は距離・水平範囲算出手段、９は垂直範囲算出手段、１０はエッジ選択手段、１１は実位置算出手段である。なお、演算部３０内のこれらの各手段については詳細を後述する。
【００２１】
図２は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図２においては、カメラＡ（前記カメラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。
【００２２】
図２から判るように、焦点距離ｆ、眼間距離（両カメラ間の距離）Ｄが既知であり、光軸が互いに平行な２台のカメラＡ、Ｂで撮像したステレオ画像において、２枚の画像間のマッチング位置ｘａ、ｘｂを求めることできれば、カメラから対象物ｐまでの距離Ｚは下記（数１）式より求めることができる。
【００２３】
Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１）
ただし、ｘａ−ｘｂ＝Ｓは視差であり、図２のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Ａにおける位置ｘａと画像Ｂにおける位置ｘｂとの差である。なお、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点距離ｆ、視差Ｓおよび位置ｘａ、ｘｂの単位は画素である。例えばカメラＡ、ＢはＣＣＤを用いたものであり、画素数を６４０×４８０とした場合、１画素の大きさは１０μｍ程度である。
【００２４】
上記（数１）式の焦点距離ｆは単位を画素として計算しているが、一般に、焦点距離ｆは単位がｍｍで表される場合が多い。それを単位が画素の値に換算するには、例えば、図３に示すように、大きさの判っている幅Ｗ（ｍｍ）の対象物を距離ｚ（ｍｍ）離れたところにおいて撮像し、そのときに撮像される画像上での対象物の画素数ｗｘをエッジ検出などの画像処理によって検出することにより、下記（数２）式で求めることができる。
【００２５】
ｆ＝ｚ・ｗｘ／Ｗ …（数２）
ただし、ｗｘ、ｆの単位は画素、ｚ、Ｗの単位はｍｍ
また、上記の視差Ｓを検出するには、一方の画像（例えば画像Ｂ）上において点ｐが撮像されている点（ｘｂ、ｙｂ）に対応する他方の画像（例えば画像Ａ）上の点（ｘａ、ｙａ）を検出する必要がある。その方法としては、画像Ｂ上の点（ｘｂ、ｙｂ）を含む或る範囲の画像（ウィンドウ）と最も類似した範囲を画像Ａ内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。
【００２６】
図４は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像（例えば画像Ｂ）をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像（例えば画像Ａ）からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図４において、（Ａ）は左画像（画像Ａに相当）、（Ｂ）は右画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は視差が「１５」のウィンドウ部分のみを抜き出した画像を示す。また、図４（Ｂ）、（Ｃ）の（１）〜（２０）は各ウィンドウの水平方向（以下、横方向と記す）の位置を示す。ただし、図においては（１）〜（２０）を丸付き数字で表している。また、一つのウィンドウは幅（ｘ方向の長さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。
上記のように、各ウィンドウ毎の視差が判れば、前記（数１）式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【００２７】
以下、図４のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ（画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する）などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図４（Ｄ）に太線のウィンドウで示すように、先行車の下部と同じｙ座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図４（Ｃ）の下から２行目に「１５」が横方向に連続しているのが上記の部分に相当する。なお、図４（Ｃ）において、中央部分に視差「１５」が集合している部分が先行車に相当し、（３）、（４）列に視差「１９」が集合している部分が「左方の木」に相当し、（６）列に視差「５」が連続している部分が「中央の木」に相当する。
【００２８】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているｘ座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じｘ座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一ｘ座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【００２９】
これまでに説明した構成は、本出願人が既に出願した特願平１０−１５４６２５号（未公開）と同じである。本発明は、上記本出願人の先行発明をさらに発展させたものであり、上記のようにして検出した前方物体の横方向の位置をより正確に検出する技術である。
【００３０】
図５は、距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図であり、（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。なお、この場合における「投票」とは、或る横方向位置とそれに対応する視差の値の位置に、＋１ずつ加算することを意味する。例えば位置（８）の位置に視差「１５」が１個存在する場合には、図５（Ｃ）の位置（８）で視差「１５」の位置に「＋１」が加算される。図５（Ｂ）の例では、位置（８）の位置に視差「１５」が５個存在するから、最終的には位置（８）で視差「１５」の位置に「５」が投票されることになる。
【００３１】
また、図６は、上記の投票を全てのウィンドウにおいて行った結果を示す図であり、（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。
【００３２】
図５から判るように、図４で設定したウィンドウにおいて、横方向が同じ位置のウィンドウは同じ方向を撮像したものである。また、図６から判るように、前方に物体が存在する場合、物体を検知している部分では同じｘ座標上の縦方向のウィンドウは同じ視差が求められ、路面上に物体が存在しない場合では同じｙ座標上の横方向のウィンドウで同じ視差が求められる。このような距離画像を用いて、図５に示した方法で表に投票を行なうと、同じ方向（同じｘ座標上）に同じ視差が並んでいると、その方向と視差への値への投票回数が多くなるため、その位置の値が高くなる。したがって、図６の表から値の高い位置を探すことで前方の物体の有無を検知できる。図６に示す例では、（３）、（４）番目のウィンドウで視差「１９」の部分（左方の木に相当）、（５）番目のウィンドウで視差「５」の部分（中央の木に相当）、（８）〜（１６）番目のウィンドウで視差「１５」の部分（先行車に相当）で投票が集中し、値が高くなっている。例えば視差「１５」の部分の値が高いということは、カメラが撮像した画角内に視差が約１５画素となる物体が撮像されていることを示す。仮に前記図２に示した眼間距離Ｄを０．１ｍ、焦点距離ｆを１５００画素とすると、カメラからその物体までの距離は、前記（数１）式により、前方１０ｍ（＝１５００×０．１／１５）であると求められる。また、視差が１５画素の位置の投票結果をｘ軸方向で見ると、ｘ軸方向に定義した（８）〜（１６）番目のウィンドウ付近の値が高く、その左右両側のウィンドウでは投票値が低くなっている。
【００３３】
図７は、上記の内容を判りやすく示すため、図６の投票結果から視差１５の部分を抜き出して１次元グラフとしてあらわした図である。図７において、（ａ）は図６の（ｃ）に相当する表、（ｂ）は１次元グラフ、（ｃ）は対応する画像である。以下、図７を用いて、物体が撮像されるおおよその横方向（ｘ軸方向）の範囲を求める方法を説明する。
【００３４】
図７（ｂ）において、横軸はｘ方向に定義したウィンドウの位置、縦軸はそのｘ座標位置で視差＝１５となったウィンドウの個数である。この図では、（８）〜（１６）番目の値が高い。このことは（８）〜（１６）番目の間に高さをもつ物体が撮像されていることを示している。また、グラフ内の横線は、物体が撮像されているか否かを判断するために設けたしきい値である。しきい値は、例えば次の方法で設定すればよい。すなわち、表の値は画像上に撮像される物体の高さに比例し、画像上の物体の高さは実際の物体の高さを一定とすると物体までの距離に反比例する。このことから、物体までの距離に応じて画像上の高さを計算し、その高さに含まれるウィンドウの個数を基準にヒストグラムのしきい値を設定することができる。例えば、図７（ｂ）では、しきい値を５．５に設定している。したがって、しきい値以上の値を持つ位置は（８）〜（１６）番目のウィンドウであるので、前方の物体が撮像されるおおよその横方向の範囲は（８）〜（１６）番目のウィンドウの間であると求められる。
【００３５】
図８は、図７で求めた範囲内で輝度の水平微分の絶対値を求め、その水平微分値の絶対値をｘ座標毎に加算して求めたヒストグラムを表した図である。図８において、（ａ）は原画像、（ｂ）は水平微分した結果を示す画像、（ｃ）はそのヒストグラムである。なお、ｘｓとｘｅは車両が撮像されたおおよその両端のｘ座標位置を示す。
【００３６】
前方に検出した物体が車両の場合、図８に示すように車両の上下端やバンパー、窓枠など水平エッジを持つ位置のヒストグラムが高くなる。ここで、微分の絶対値を加算するのは、車両の色によらないようにするためと、エッジが多少斜めで細い場合に互いに打ち消し合うことでエッジのヒストグラムがエッジがあるにもかかわらず低くなることを防ぐためである。また、ここでは、水平微分値のヒストグラムをとる範囲を、物体を検出したおおよその範囲内に横方向を限定したため、車両以外のエッジ成分の値が加算されることが少ない。つまり、このヒストグラムの値が高い位置は車両のエッジとみなせるため、これらのエッジの中から或る程度上部のものと或る程度下部にあるエッジとがそれぞれ車両の上下端のエッジとなる。
【００３７】
図９は、上記の結果に基づいて、前方車両の上下端を求めた結果を示す図である。図９において、小さな星印は水平エッジを検出した場所を示し、大きな星印は車両の上下端のｙ座標位置（ｙｕ、ｙｄ）を示す。また、範囲Ｂは車両の上下端に挟まれた範囲を示す。
【００３８】
図１０は、前述の方法で求めた車両の上下端に挟まれる範囲Ｂ内の画像を垂直微分し、範囲Ｂ内の垂直微分成分の各ｘ座標毎のヒストグラムをとった結果を示す図である。図１０において、（ａ）はヒストグラム、（ｂ）は垂直微分画像、（ｃ）は原画像である。
【００３９】
この場合も範囲Ｂを求めたときと同様に、車両が撮像されている部分だけの垂直微分成分のヒストグラムであるので、車両のエッジのある部分のヒストグラムが高くなる。また、ここでは、図７の処理により画像上において車両の両端が撮像されるおおよその横方向の位置（図１０の（８）〜（１６）の間）がわかっている。これらのことから、距離画像から求めた車両左右両端付近にあり、かつ、垂直エッジ成分を多く含むｘ座標位置を車両の左右端として求めることができる。図１０（ａ）に大きな星印で示した位置が上記の左右端に相当する。この例では、図７で求めたおおよその位置ｘｅ、ｘｓよりも、やや外側に位置している。
【００４０】
この方法では、エッジのヒストグラムをとる範囲を車両以外を含まない範囲としたため、背景が変化してもそれに影響されない。また、画素単位で横エッジの位置を求めることができるため、距離画像からの横位置探索方法よりも位置を高精度に求めることができる。
【００４１】
図１１は、図２に示したカメラ設定を上方から見た図である。この図をもとに、画像上において求めた障害物の横位置と距離に基づいて、カメラに対する実際の横位置を求める方法を説明する。
【００４２】
座標系の原点を２台のカメラのレンズ中心間を結ぶ線分の中点とし、右画像において求めた先行車の左右端の座標をｘｌｒ，ｘｒｒ（単位は画素）、焦点距離をｆ（画素）、視差から求めた先行車までの距離をｚ（ｍ）、眼間距離（カメラ間の距離）をＤ（ｍ）とすると、２台のカメラのレンズ中心間を結ぶ線分の中点から見た、前方車両の左右端の距離ｘｌ，ｘｒ（ｍ）は、下記（数３）式で求めることができる。
【００４３】

【００４４】
なお、前記図１の演算部３０における各ブロックは、それぞれこれまで説明した下記の部分に相当する。すなわち、ウィンドウ設定手段５および視差算出手段６は図４で説明した内容に、投票手段７は図５および図６で説明した内容に、距離・水平範囲算出手段８は図６〜図８で説明した内容に、垂直範囲算出手段９は図９で説明した内容に、エッジ選択手段１０は図１０で説明した内容に、実位置算出手段１１は図１１で説明した内容に、それぞれ相当する。
【００４５】
以上説明してきたように、第１の実施の形態においては、前方に物体が存在すると同じ方向に同じ視差を示すウィンドウが固まることを利用し、定義したウィンドウ毎に求めた視差をそのウィンドウの横方向の位置をもとに視差と横位置からなる表中の対応する位置に値を加算し、全ウィンドウにおいてその操作を行った結果できた表中から値の高い位置を探すことで物体の距離と画像上において先行車が撮像されるおおよその範囲を求め、背景の影響を防ぐために、その範囲内において水平エッジのヒストグラムによりエッジを検出することで先行車の上下端に挟まれる範囲Ｂを求め、範囲Ｂ内において垂直エッジのヒストグラムを求めることで垂直エッジを求め、それらのエッジの中から視差×横位置の表から求めたおおよその横位置の範囲付近にあるエッジを選択することで画像上における車両の横端位置を求め、その横端位置と視差から求めた車両までの距離をもとに、前方の車両の端の横方向の位置を求める構成としている。そのため、通常、水平エッジに比べて短く、周囲の木や壁などの影響により検出が困難である車両の横端位置を、高精度かつ背景の影響を受けないロバストな検出が可能になるという効果がある。さらに、この方法によれば、視差×横位置の表により、複数の先行車が検出された場合においても、それぞれに同様の処理を施すことで、複数の障害物の横位置を求めることができるという利点がある。
【００４６】
（第２の実施の形態）
次に、第２の実施の形態について説明する。この構成は請求項２に相当する。前記第１の実施の形態の処理では、図７の処理でおおよその車両の横位置をウィンドウ単位で求めている。しかし、車両が至近距離にある場合は、図１２に示すように、車両端付近の画像はステレオ画像処理の問題点の一つであるオクルージョン（前方の画像がそれより近くにある画像で隠される範囲が左画像と右画像とで異なること）により対応点が見つからない領域となるため、背景によって結果が左右されることが多く、車両端付近で求めた視差は誤計測である場合が多い。オクルージョンにより視差が不安定になる領域は、図１２の右画像において車両左端が撮像される位置ｘｌｒと左画像において車両の左端が撮像される位置ｘｌｌとの間と、右画像において車両右端が撮像される位置ｘｒｒと左画像において車両の右端が撮像される位置ｘｒｌとの間の領域である。このことから、ｘｌｒとｘｌｌとの間、およびｘｒｒとｘｒｌとの間を除いたｘｌｌ〜ｘｒｒの範囲を確実に車両である範囲Ａとして、この後の処理である水平エッジのヒストグラムをとる範囲とする。
【００４７】
また、上記の不安定領域も含めたｘｌｒ〜ｘｒｌの範囲をＡ’とし、車両の候補となる領域とする。この範囲Ａ’は、前記第１の実施の形態において、最終的に画像上の左右の横端エッジを求める際のエッジの存在選択範囲の基準としても用いている。
【００４８】
上記の範囲Ａを求めるには、画像が存在するおおよそのｘ軸方向の範囲を求める処理を時間的に連続して行なったときに、連続して範囲内と判断された部分を範囲Ａとする。また、範囲Ａ’を求めるには、連続的ではないが所定の指定の回数以上範囲内であると判断された部分を範囲Ａ’とする。
【００４９】
上記のように第２の実施の形態においては、第１の実施の形態で作成した表から先行車のおおよその横位置を求める際、時間的に連続して先行車の範囲内と判断される領域Ａと連続的ではないが或る指定回数以上先行車の範囲内と判断される領域Ａ’とを求め、先行車の水平エッジを求める際に、領域Ａ内においてエツジを求める構成としたため、より正確かつ背景の影響を受けずに水平エッジを検出できるようになるという効果がある。さらに、先行車が至近距離にある場合、オクルージョンの影響により、視差×横位置の表における車両の横端位置付近のウィンドウの視差が不安定になるため、水平エッジの検出範囲だけでなく、範囲Ｂ内において検出した垂直エッジの中からの車両端エッジの選択を誤判断することもありうるが、この実施の形態では、確実に車両内である領域と車両の候補領域とを求めているため、それら二つの範囲を考慮に入れることでエッジの選択もより正確になる。
【００５０】
（第３の実施の形態）
次に、第３の実施の形態について説明する。この構成は請求項３に相当する。第３の実施の形態においては、画像上の車両の上下端を求める際、第２の実施の形態において確実に物体が存在すると判断された範囲Ａ内においてＨｏｕｇｈ変換などの一般的直線検出方法などを用いて水平直線を検出するものである。
【００５１】
上記のように車両の水平エッジを求める際、確実に車両の内部であると判断された領域内だけでの水平エッジを検出する構成としたことにより、背景に存在するエッジの影響が減少するため、その範囲内で単純なエッジ検出法を用いることが可能になるので、より高速な方法にすることが出来る。また、対象物が既知な場合では、範囲Ａ内において対象物に応じたエッジ検出方法にすることで、確実かつ高速な処理に応用できるという利点もある。そして範囲の限定だけ確実性を向上させることが出来るので、エッジ検出方法は様々な応用が可能である。
【００５２】
（第４の実施の形態）
次に、第４の実施の形態について説明する。この構成は請求項４に相当する。第４の実施の形態においては、画像上の車両の上下端（上下方向の範囲Ｂ）を求める際、まず、車両の上下端が撮像されうる位置を限定し、その位置付近で検出されたエッジを選択するように構成している。位置の限定は次の計算で行なうことが出来る。ここでは、距離画像に基づいて車両までの距離が求められているので、図１３に示すように、画像上に車両が撮像されるおおよその縦方向（ｙ軸方向）の位置を求めることができる。
【００５３】
図１３において、検出した車両までの距離をｚ、その車両の高さをｈ（一般的な車両の寸法から予想される概略の高さで、予め設定した値）、路面からのカメラの高さをＨとすると、画像上に車両が撮像されるおおよその範囲ＨＵ〜ＨＤは下記（数４）式で求めることができる。
【００５４】
ＨＵ＝ｆ×（ｈ−Ｈ）／ｚ，ＨＤ＝−ｆ×Ｈ／ｚ …（数４）
車両の上下端のｙ座標位置は、範囲Ａ内でとった水平エッジのヒストグラムや範囲Ａ内でＨｏｕｇｈ変換などで検出した水平エッジのうち、ｙ１（ＨＵに相当）とｙ２（ＨＤに相当）付近にあるものを選択する。
【００５５】
上記のように、第４の実施の形態においては、範囲Ａ内で求めたエッジから車両の上下端を選択する際に、先行車の距離をもとに、先行車の上下端が撮像されうるおおよその位置を求め、その付近で検出されたエッジを選択する構成としたことにより、路面上の影や歩道橋など、範囲Ａ内にたまたま撮像されてしまう先行車以外の水平エッジとの誤検出を防ぐことができるという効果がある。さらに、エッジの検出範囲を、あらかじめ求めておいた先行車の上下端が撮像されうる付近だけに限定することで高速化も可能である。
【００５６】
（第５の実施の形態）
次に、第５の実施の形態について説明する。この構成は請求項５に相当する。第５の実施の形態おいては、画像上の車両の左右端を求める際、車両の内部の輝度は時間的に不変であるが車両周囲の背景は変化することを利用し、時間的に連続して各ｘ座標毎における範囲Ｂ内の輝度の平均値を求め、その各ｘ座標毎に求めた毎回の平均値を格納し、所定時間内における各ｘ座標毎の輝度の平均値の分散を求め、分散が低い範囲を車両の内部と判断することで、車両の横端位置を求める。
【００５７】
上記のように、範囲Ｂ内で車両の横端位置を求める際、時間的に連続して範囲Ｂ内で各ｘ座標毎の輝度の平均値を計算し、各ｘ座標毎に求めた輝度の平均値の時間的な分散の小さい位置を車両が撮像されている範囲として求めるように構成したことにより、車高が低い、背景が車両と同じ色であるなど、縦エッジの検出が困難であるような状況化でも車両端の検出が可能になるという効果がある。
【００５８】
（第６の実施の形態）
次に、第６の実施の形態について説明する。この構成は請求項６に相当する。第６の実施の形態においては、画像上の車両の左右端を求める際、第５の実施の形態の方法で求めた車両の内部に相当するｘ軸方向の範囲と、第２の実施の形態で求めた確実領域Ａと候補領域Ａ’の間付近にあり、範囲Ｂ内で垂直エッジのヒストグラムやＨｏｕｇｈ変換などで求められた垂直エッジの位置を求め、検出されたエッジのうち、時間的に連続して求めた輝度分散の小さい範囲の両端付近にあるエッジを選択するように構成している。
【００５９】
上記のように、求めたエッジのうち、各ｘ座標毎の輝度の平均値の分散の小さい範囲の両端付近で、かつ、視差から求めた範囲Ａと範囲Ａ’の間付近にあるエッジを車両の横端として選択することにより、背景や車両の形に左右されることなく、かつ、車両の距離とは異なる位置と誤判断することがないため、より確実に車両横端の座標を求めることが可能になる、という効果がある。
【００６０】
（第７の実施の形態）
次に、第７の実施の形態について説明する。この構成は請求項７に相当する。第７の実施の形態においては、第１〜第６の実施の形態で説明した物体端の位置計測装置と、この位置計測装置の計測結果に基づいて、位置計測装置を搭載した車両の前進判断と経路誘導との少なくとも一方を決定する手段と、を備えるように構成している。すなわち、上記物体端の位置計測装置を用いて、自車両前方に存在する物体（例えば先行車）までの距離とその横端位置を計測し、その結果に基づいて、先行車との衝突の可能性と安全な経路を判断し、自車両の前進の可否、および経路を決定するものである。
【００６１】
上記の車両の前進判断と経路誘導との少なくとも一方を決定する手段としては、例えば、先行車の横の空間の幅と自車両の幅とを比較することにより、通り抜けが可能か否かを判断し、可能な場合には自車両の進行を“可”とし、かつ先行車の横端位置から判断して、自車両が安全に通過出来る進路を経路として決定する装置を用いることが出来る。その決定結果は、例えば液晶表示器のような車載の表示器に表示したり、あるいは自動操舵装置に経路情報として与える。また、自車両の進行が“不可”の場合には、ブレーキ制御装置等を制御して、減速または停車等の措置を行なうことが出来る。
【００６２】
通常、車両は水平エッジに比べて垂直エッジが短いため、画像全体で検出した垂直エッジから車両の横端の位置を求めることは困難である。例えば、エッジの検出だけの判断では、車両の縦エッジと白線や路肩などとの区別が困難である。一方、距離画像からの横位置検出では、横位置をウィンドウ単位でしか求めることができないため精度が粗い。さらに、仮に１画素単位で視差を算出し、画素単位で横位置を求める場合でも、前記第２の実施の形態で説明したように、オクルージョンによって視差が不安定な領域が横位置となるため、エッジ検出と同様に視差×横位置への投票結果からの判断だけでは車両の横位置を精度よく求めることはできない。特に、車両の横方向の位置を精度良く必要とする状況は、先行車が比較的至近距離にある場合が多い。例えば、駐車車両のある路地でのすり抜け判断や、渋滞時における斜め前方車両の幅寄せ時のブレーキ判断などである。しかし、従来の方法では、エッジ検出はもちろん、ウィンドウ毎に求めた視差ｘの表からの横位置範囲検出でも、物体が近いがゆえに起こるオクルージョンの問題により横端位置の精度良い検出は困難であった。
【００６３】
それに対して本発明の物体端の計測装置によれば、車両端の検出を距離画像から求められる位置とするだけにとどめず、まず、その距離画像から求められるおおよその車両撮像範囲に限定した上で比較的検出しやすい水平エッジを検出し、長さが短いことが多いため通常検出が困難である車両左右端の垂直エッジを、車両の上下端からなる水平エッジに挟まれた範囲内だけで検出し、車両の横端も含む数本の垂直エッジを検出し、それらのエッジの中から、距離画像から求めたおおよその範囲の両端付近にあるものを選択することにより、単なるエッジ検出や距離画像からの検出では困難な車両の横端エッジの正確な検出を可能とした。
【００６４】
また、本発明においては、エッジ検出範囲やエッジの選択範囲をステレオ画像処理で求めた同じ距離として求められるおおよその範囲としたため、背景や路面状態、路面への影、白線の有無など、車両以外の周囲の状況に依らない正確な計測処理が可能となる。
【００６５】
加えて、テクスチャ（本来存在する物体表面の模様：例えば木目などで、ノイズとは異なる）やエッジが少なく、時間的に連続して撮像した場合でも背景に比べて輝度の変化が非常に少ないという車両ボディ面の画像の特徴を利用し、距離画像と水平エッジの処理によって車両を挟む範囲に上下方向を限定した後、その範囲内において各ｘ座標毎の輝度の平均値を時間的に連続してとり、その時間的分散の小さい範囲を車両内と判断することもできる。さらに、車両の存在する範囲内において検出したエッジの中から先行車の横端に位置するものを選択する際に、距離画像から求めたおおよその位置と、この各ｘ座標毎に求めた輝度の平均の時間的分散が小さい範囲も考慮にいれることでより、確実に横端の位置を求めることが可能となる。
【００６６】
以下、これまで説明した実施の形態における具体的な実施例について処理のフローチャートを用いて説明する。
図１４は、本発明の処理の第１の実施例を示すフローチャートである。
ここでは、前記図２に示したようにカメラを路面に対して横に平行に並べ、２台のカメラのｙ軸が同一ライン上にのるように配置したステレオカメラを用いている。
【００６７】
図１４において、まず、ステップＳ１００では、視差×横位置の表の初期化とヒストグラムの初期化を行なう。
次に、ステップＳ１０１では、ステレオ画像の画像Ａと画像Ｂを入力する。
次に、ステップＳ１０２では、ステレオ画像のどちらか片方の画像上にウィンドウを定義する。ここでは、図４に示したように、縦に１０個横に２０個の合計１０×２０個のウィンドウを定義する。
【００６８】
次に、ステップＳ１０３では、定義したウィンドウの全てにおいて視差を検出し、図５で説明したように、視差×横位置の表への投票を行なう。ここで、距離画像作成のための画像のマッチングは、正規化相関法や差分法などを用いればよい。
次に、ステップＳ１０４では、上記の表への投票結果を用いて表中の値の高い位置をもとに、図６で説明したように、先行車の有無と、その視差から、先行車までの距離の計算を行なう。ここで、先行車がなければステップＳ１０１へ戻って次の画像入力へ移り、先行車があれば、ステップＳ１０５へ進む。
【００６９】
次に、ステップＳ１０５では、横位置の判断を行なう。横方向の範囲の判断は図７で説明した方法でよい。また、横位置の判断において第２の実施の形態で説明した方法を用いる場合は、各処理毎に求めた横位置を毎回更新しながら過去数回分格納し、この過去数回において時間的に連続して先行車範囲内と判断される範囲Ａと、連続的ではないが、格納した個数の半分程度に設定した所定回数以上で先行車範囲内と判断される範囲Ａ’を求める。
【００７０】
次に、ステップＳ１０６では、範囲Ａを求めた後に、この範囲内にある水平エッジを検出し、車両の上下端を求める。この処理では図８に示したように、範囲Ａ内の各画素において輝度の水平微分値の絶対値を求め、各ｙ座標毎の水平微分値のヒストグラムをとればよい。
【００７１】
ここで、ｙ＝ｙｐの水平微分値のヒストグラムをＨｈ（ｙｐ）とすると、その値は、点（ｘ，ｙｐ）の水平微分の絶対値を｜ｄＩｙ（ｘ，ｙｐ）｜、範囲Ａの始点をｘｓ、終点をｘｅとすると下記（数５）式で求められる。
【００７２】

【００７３】
この水平微分値の絶対値は、例えば図１５（ａ）に示したようなソーベルオペレータとのコンボリューション結果の絶対値として求めればよい。また、水平エッジのヒストグラムは非常に有効な検出方法と考えられるが、この範囲Ａ内には、図８からも判るように先行車以外の物体はほとんど無いため、第３の実施の形態で説明したように、範囲Ａ内におけるＨｏｕｇｈ変換など一般的な直線検出方法などにより水平方向の直線を用いてもよい。
【００７４】
上記の方法で検出された数本の水平直線から、次の処理である車両の横端エッジの検出範囲を限定するために、車両の上下端の直線を選択する。通常、車両の上下は空と路面の領域となり、車両は長い水平エッジを持つことが多いため、検出された水平エッジのうち、この後の処理であるヒストグラムをとるために十分な大きさをもつ領域を作る２本のエッジを適当に選択してもよい。しかし、前方の歩道橋や路面の影などの誤検出を防ぎ、より確実に求めるためには、第４の実施の形態で説明した方法を用いる方が確実である。この場合、図１３で示したように、（数５）式によって車両が発見された距離をもとに車両が撮像されうるｙ座標値ＨＵ，ＨＤを求めておき、そのＨＵ，ＨＤ付近で検出されたエッジを選択すればよい。このような方法で求めた車両の上端エッジｙ＝ｙｕと下端エッジｙ＝ｙａに挟まれる範囲を範囲Ｂとする。
【００７５】
次に、ステップＳ１０７では、範囲Ｂ内に含まれる縦エッジを検出することで画像上における先行車の左右横端位置を求める。この処理は、図１０に示したように、範囲Ｂ内で輝度の垂直微分値の絶対値を求め、各ｙ座標毎に範囲Ｂ内の微分値のヒストグラムをとる。
ここで、ｙ＝ｙｐの垂直微分値のヒストグラムをＨｖ（ｘｐ）とすると、その値は、点（ｘｐ，ｙ）の水平微分の絶対値を｜ｄＩｘ（ｘｐ，ｙ）｜、範囲Ｂの始点をｙｕ、終点をｙｄとすると下記（数６）式で求められる。
【００７６】

【００７７】
この垂直微分値の絶対値は、例えば図１５（ｂ）に示したソーベルオペレータとのコンボリューション結果の絶対値として求められる。また、エッジの検出範囲を範囲Ｂ内とすると、その範囲内には確実に先行車のエッジが含まれ、同時に先行車以外のエッジが減るため、第５の実施の形態で説明したように、範囲Ｂ内におけるＨｏｕｇｈ変換など一般的な直線検出方法などにより垂直方向の直線を用いてもよい。
【００７８】
これらの方法で検出された数本の垂直直線から車両の左右端の直線を選択する。車両のおおよその横位置は、視差×横位置の表を用いた検出結果から求められているので、図１６に示すように、範囲Ｂ内で検出したエッジの中から視差×横位置の表から検出した範囲の両端付近にあるものを選択すればよい。
【００７９】
また、車両が至近距離にあるときは、図１２で説明したオクルージョンにより視差をもとに求めた車両の範囲が不安定であるため、第６の実施の形態で説明したように、確実に先行車と判断される範囲Ａと先行車である可能性のある範囲と判断された範囲Ａ’の間に挟まれる範囲付近をもとに、右画像の場合は図１２のようにｘ＝ｘｌｒとｘ＝ｘｒｒ付近、左画像の場合は、ｘ＝ｘｌｌとｘ＝ｘｒｌ付近にあるエッジを選択してもよい。この状態を図１７に示す。
【００８０】
次に、ステップＳ１０８では、ステップＳ１０７の処理で求めた画像上の車両の横端位置をもとに、実座標系におけるカメラに対する横位置を求める。具体的には、図１１の関係により、右画像または左画像で検出した横端の画像上の座標を用いて、（数３）式により実座標系における前方の車両端の位置を求めることができる。
【００８１】
次に、図１８は、本発明の処理の第２の実施例を示すフローチャートである。この処理において、Ｓ１００〜Ｓ１０６（初期設定から範囲Ｂを求める）までは前記図１４と同じ処理であり、ステップＳ１０９とＳ１１０とを追加したものである。
【００８２】
先行車は水平エッジに比べて垂直エッジは短いことが多い。そのため、周囲の樹木や建物など背景に縦エッジを多く含む場面においては、範囲Ｂ内でのエッジ検出だけでは検出位置が安定しない場合もある。第５の実施の形態はそのような場面に対処するための方法であり、本フローチャートのステップＳ１０９とＳ１１０とがその処理に相当する。
【００８３】
通常１台の車両に追従している場合、背景の画像は変化するが、車両を撮像している部分の輝度は変化しない。特に、車両のボディはテクスチャがなく一様であることが多いため、時間的に連続して撮像した画像間において、輝度の変化が非常に少ない。車両部分の輝度分布の変化が背景に比べて少ないことは、走行中のような背景が変化する場合だけでなく、渋滞のように車両がほぼ停止しているときにも同じことが言える。すなわち、背景には、木などのように風で動くものや、周囲の歩行者など車の走行状態に関係なく動くものがたくさんあり、さらに、車両のボディのように人工的に一様に塗装された面は光りの当り具合の微妙な変化に関係なく一様な輝度として撮像されるが、路面や壁などテクスチャをもつ部分は、光の微妙な変化や撮像している微妙な角度の変化などにより、画像上の輝度が変化するためである。
【００８４】
図１９（ａ）、（ｂ）、（ｃ）は、時刻ｔ、ｔ＋１、・・・、ｔ＋ｎの連続した処理毎において、範囲Ｂ内の各ｘ座標毎の輝度の平均値を求めた状態を示す図であり、図１９（ｄ）に示したグラフは、ｎ回の時間的に連続した処理のそれぞれにおいて、各ｘ座標毎に求めた範囲Ｂ内の輝度の平均値の分散を表したものである。
【００８５】
ここで、時刻ｔに撮像された画像の点（ｘ，ｙ）の輝度をＩｔ（ｘ，ｙ）、範囲Ｂの上の座標をｙｕ、下の座標をｙｄとすると、ｘ＝ｘｐにおける輝度の平均値Ｉｔ（ｘｐ）は下記（数７）式で求められる。
【００８６】

【００８７】
また、時刻ｔ−ｎ〜時刻ｔの間に計算した輝度の平均値の分散Ｖｔ（ｘｐ）は、下記（数８）式で求められる。

【００８８】
ここで、輝度の平均値を計算する際に用いる値は、車両の上下端に挟まれる範囲に限定したため、車両が撮像されているｘ座標上では車両上の輝度だけが加算される。車両の特にボディにはテクスチャやエッジがないため、多少光りの加減や車両の位置が変化しても輝度の変化が小さい。そのため時間的に連続して車両上の輝度の平均値（数８）を求めた場合、その値はほとんど変化しない。一方、車両以外の撮像される部分では、カメラ搭載車両が動いているときはもちろん、車両が停止している状態であっても、背景の草木や周囲の歩行者、路面の細かいテクスチャヘの光の当たり具合が変化するため、時間的に輝度の平均値が変化する。このことから、図１９に示したように、分散の小さい範囲は車両が撮像されている範囲とみなすことができる。図１８のステップＳ１０９ではこの分散の小さい範囲を求めている。また、ここでは、輝度の合計ではなく輝度の平均値を求めている。すなわち、範囲Ｂの幅（ｙｕ〜ｙｄの間の長さ）は車間距離の変化により画像上の大きさが変化してもその大きさに応じた範囲が求められるため、車両の画像上の大きさが変化する場合にも同じことが適用できる。
【００８９】
次に、ステップＳ１１０では、この輝度の平均値の分散の結果と、ステップＳ１０７で行ったエッジ検出結果を用いて、図２０に示すように、（数８）式で求めた分散の小さい範囲の両端付近にあり、かつ、ステップＳ１０４の処理で求めた範囲Ａと範囲Ａ’の間付近にあるエッジを車両の横端位置として選択する。このような処理を行なうことにより、周囲環境に影響されない、よりロバスト性の高い横位置検出が可能となる。
【００９０】
次に、図２１は、第７の実施の形態における本発明の適用を説明するための図である。
図２１（ａ）は、斜め前に車両がある場合や料金所前の渋滞のように、車両が白線に沿わず入り乱れている場合に、自車が安全に進行出来るか否かを判断する状態を示す。本発明の物体端の位置計測装置によれば、前方の障害物（先行車）の横端位置を正確に検出することが出来るので、自車の横幅と比較することによって安全に前進出来るか否かを判断することが出来る。その結果は車載の液晶表示器等に表示し、運転者に提示することが出来る。また、上記の判断結果を用いて、例えば右端が接触するおそれのある進路の場合は、それを表示して左側へ寄るように指示する等、進行経路を表示することも可能である。また、自動的にブレーキ装置を作動させて、減速や停止の制御に利用することも可能である。
【００９１】
また、図２１（ｂ）は、駐車車両のある路地の状況を示す。このような場合でも斜め前方の車両の横端を判断できるため、自車が車両に衝突することなく前進できるか否かの判断が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図３】ステレオ画像処理による距離算出方法を説明する図。
【図４】二つの画像の対応する位置毎の視差を求めた結果を示す図。
【図５】距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図。
【図６】図５の投票を全てのウィンドウにおいて行った結果を示す図。
【図７】図６の投票結果から視差が１５画素の部分を抜き出して１次元グラフとして表した図。
【図８】図７で求めた範囲内で輝度の水平微分の絶対値を求め、その水平微分値の絶対値をｘ座標毎に加算して求めたヒストグラムを表した図。
【図９】図８の結果に基づいて、前方車両の上下端を求めた結果を示す図。
【図１０】図９の方法で求めた車両の上下端に挟まれる範囲Ｂ内の画像を垂直微分し、範囲Ｂ内の垂直微分成分の各ｘ座標毎のヒストグラムをとった結果を示す図。
【図１１】図２に示したカメラ設定を上方から見た図。
【図１２】オクルージョンによって不安定になる理由を説明するための図。
【図１３】画像上における前方車両のおおよその撮像位置の求め方を説明するための図。
【図１４】本発明の処理の第１の実施例を示すフローチャート。
【図１５】水平・垂直微分画像算出用のソーベルオペレータの一例を示す図。
【図１６】垂直エッジの選択方法を示す図。
【図１７】垂直エッジの選択方法の他の例を示す図。
【図１８】本発明の処理の第２の実施例を示すフローチャート。
【図１９】時間的分散と範囲Ａと範囲Ａ’を考慮した垂直エッジの選択方法を説明するための図。
【図２０】垂直エッジの選択方法の他の例を説明するための図。
【図２１】本発明の移動体の通行判断装置における適用状況を説明するための図。
【符号の説明】
１、２…電子式のカメラ３、４…画像メモリ
５…ウィンドウ設定手段６…視差算出手段
７…投票手段８…距離・水平範囲算出手段
９…垂直範囲算出手段１０…エッジ選択手段
１１…実位置算出手段３０…演算部
２０…自車の前方に存在する検出対象物（先行車両）

Claims

車両に搭載された二つの電子式カメラからなり、両カメラが共に車両前方または後方に向けて相互に光軸が平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されたカメラと、
一方のカメラの画像を所定の大きさの画像領域毎に分割する画像領域設定手段と、
上記の各画像領域毎に、当該画像領域内の画像と他方のカメラの画像との類似度を算出し、当該画像領域と他方のカメラで最も類似度の高かった画像位置との位置の差を検出することにより、各画像領域毎の視差を求める視差算出手段と、
上記各画像領域の水平方向の位置と視差の値とを横軸と縦軸とに対応させた表を有し、上記各画像領域毎の水平方向の位置と当該画像領域における視差の値とに対応した上記表の該当する位置に、所定値を加算する投票手段と、
上記表中で高い値の存在する位置から、その位置の視差に基づいて前方の物体までの距離を求め、かつ、上記高い値の位置の水平方向位置に基づいて、画像上においてその物体が撮像されるおおよその水平方向の範囲を求める距離・水平範囲算出手段と、
上記距離・水平範囲算出手段で求めた範囲内において、各垂直座標毎に水平エッジのヒストグラムを求め、その値が高い位置に挟まれる垂直方向の範囲を求める垂直範囲検出手段と、
上記垂直範囲算出手段で求めた範囲内において、時間的に連続した処理において同一水平方向位置に並ぶ範囲内の輝度の平均値を求め、所定時間内における各水平方向位置毎に求めた輝度の平均値の分散が低い範囲を物体の存在位置と判断し、各水平座標毎に垂直エッジ成分のヒストグラムを求め、該ヒストグラムから求められた原画像の垂直エッジの中から上記物体の存在位置と判断した範囲の両端付近のエッジを選択するエッジ選択手段と、
上記距離・水平範囲算出手段で求めた物体までの距離と上記エッジ選択手段で求めた垂直エッジ座標とに基づいて、上記画像上の垂直エッジに相当する前方物体の横端の、上記カメラに対する実空間上の位置を求める実位置算出手段と、
を有することを特徴とする物体端の位置計測装置。
車両に搭載された二つの電子式カメラからなり、両カメラが共に車両前方または後方に向けて相互に光軸が平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されたカメラと、
一方のカメラの画像を所定の大きさの画像領域毎に分割する画像領域設定手段と、
上記の各画像領域毎に、当該画像領域内の画像と他方のカメラの画像との類似度を算出し、当該画像領域と他方のカメラで最も類似度の高かった画像位置との位置の差を検出することにより、各画像領域毎の視差を求める視差算出手段と、
上記各画像領域の水平方向の位置と視差の値とを横軸と縦軸とに対応させた表を有し、上記各画像領域毎の水平方向の位置と当該画像領域における視差の値とに対応した上記表の該当する位置に、所定値を加算する投票手段と、
上記表中で高い値の存在する位置から、その位置の視差に基づいて前方の物体までの距離を求め、かつ、上記高い値の位置の水平方向位置に基づいて、画像上においてその物体が撮像されるおおよその水平方向の範囲を求める距離・水平範囲算出手段と、
上記距離・水平範囲算出手段における水平範囲算出処理を時間的に連続して行ったときに、連続して範囲内と判断される範囲Ａを求める連続範囲検出手段と、
上記連続範囲検出手段で求めた範囲Ａ内において、各垂直座標毎に水平エッジのヒストグラムを求め、その値が高い位置に挟まれる垂直方向の範囲Ｂを求める垂直範囲検出手段と、
上記垂直範囲検出手段で求めた範囲Ｂ内において、時間的に連続した処理において同一水平方向位置に並ぶ範囲内の輝度の平均値を求め、所定時間内における各水平方向位置毎に求めた輝度の平均値の分散が低い範囲を物体の存在位置と判断し、各水平座標毎に垂直エッジ成分のヒストグラムを求め、該ヒストグラムから求められた原画像の垂直エッジの中から上記物体の存在位置と判断した範囲の両端付近のエッジを選択するエッジ選択手段と、
上記距離・水平範囲算出手段で求めた物体までの距離と上記エッジ選択手段で求めた垂直エッジ座標とに基づいて、上記画像上の垂直エッジに相当する前方物体の横端の、上記カメラに対する実空間上の位置を求める実位置算出手段と、
を有することを特徴とする物体端の位置計測装置。
車両に搭載された二つの電子式カメラからなり、両カメラが共に車両前方または後方に向けて相互に光軸が平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されたカメラと、
一方のカメラの画像を所定の大きさの画像領域毎に分割する画像領域設定手段と、
上記の各画像領域毎に、当該画像領域内の画像と他方のカメラの画像との類似度を算出し、当該画像領域と他方のカメラで最も類似度の高かった画像位置との位置の差を検出することにより、各画像領域毎の視差を求める視差算出手段と、
上記各画像領域の水平方向の位置と視差の値とを横軸と縦軸とに対応させた表を有し、上記各画像領域毎の水平方向の位置と当該画像領域における視差の値とに対応した上記表の該当する位置に、所定値を加算する投票手段と、
上記表中で高い値の存在する位置から、その位置の視差に基づいて前方の物体までの距離を求め、かつ、上記高い値の位置の水平方向位置に基づいて、画像上においてその物体が撮像されるおおよその水平方向の範囲を求める距離・水平範囲算出手段と、
上記距離・水平範囲算出手段における水平範囲算出処理を時間的に連続して行ったときに、連続して範囲内と判断される範囲Ａを求める連続範囲検出手段と、
上記連続範囲検出手段で求めた範囲Ａ内において、Ｈｏｕｇｈ変換によって水平エッジの探索を行うことにより、垂直方向の範囲Ｂを求める垂直範囲検出手段と、
上記垂直範囲検出手段で求めた範囲Ｂ内において、時間的に連続した処理において同一水平方向位置に並ぶ範囲内の輝度の平均値を求め、所定時間内における各水平方向位置毎に求めた輝度の平均値の分散が低い範囲を物体の存在位置と判断し、各水平座標毎に垂直エッジ成分のヒストグラムを求め、該ヒストグラムから求められた原画像の垂直エッジの中から上記物体の存在位置と判断した範囲の両端付近のエッジを選択するエッジ選択手段と、
上記距離・水平範囲算出手段で求めた物体までの距離と上記エッジ選択手段で求めた垂直エッジ座標とに基づいて、上記画像上の垂直エッジに相当する前方物体の横端の、上記カメラに対する実空間上の位置を求める実位置算出手段と、
を有することを特徴とする物体端の位置計測装置。
上記垂直範囲検出手段において垂直方向の範囲Ｂを求める際、上記距離・水平範囲算出手段で求めた前方物体までの距離と、上記カメラの焦点距離と、上記カメラを設置した高さと、上記前方物体の一般的な寸法から予想される概略の高さ応じて予め設定した値と、に基づいて、画像上で物体の上下端が撮像されているおおよそのｙ座標位置ＨＵ，ＨＤを求め、上記請求項２の垂直範囲検出手段で求めた水平エッジのヒストグラムの高さの高い位置の中から、ｙ座標がＨＵ，ＨＤ付近の位置を上記範囲Ｂとして選択するように構成したことを特徴とする請求項２に記載の物体端の位置計測装置。
上記垂直範囲検出手段において垂直方向の範囲Ｂを求める際、上記距離・水平範囲算出手段で求めた前方物体までの距離と、上記カメラの焦点距離と、上記カメラを設置した高さと、上記前方物体の一般的な寸法から予想される概略の高さ応じて予め設定した値と、に基づいて、画像上で物体の上下端が撮像されているおおよそのｙ座標位置ＨＵ，ＨＤを求め、請求項３の垂直範囲検出手段で求めた水平エッジ位置の中から、ｙ座標がＨＵ，ＨＤ付近の位置を上記範囲Ｂとして選択するように構成したことを特徴とする請求項３に記載の物体端の位置計測装置。
車両に搭載された二つの電子式カメラからなり、両カメラが共に車両前方または後方に向けて相互に光軸が平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されたカメラと、
一方のカメラの画像を所定の大きさの画像領域毎に分割する画像領域設定手段と、
上記の各画像領域毎に、当該画像領域内の画像と他方のカメラの画像との類似度を算出し、当該画像領域と他方のカメラで最も類似度の高かった画像位置との位置の差を検出することにより、各画像領域毎の視差を求める視差算出手段と、
上記各画像領域の水平方向の位置と視差の値とを横軸と縦軸とに対応させた表を有し、上記各画像領域毎の水平方向の位置と当該画像領域における視差の値とに対応した上記表の該当する位置に、所定値を加算する投票手段と、
上記表中で高い値の存在する位置から、その位置の視差に基づいて前方の物体までの距離を求め、かつ、上記高い値の位置の水平方向位置に基づいて、画像上においてその物体が撮像されるおおよその水平方向の範囲を求める距離・水平範囲算出手段と、
上記距離・水平範囲算出手段における水平範囲算出処理を時間的に連続して行ったときに、連続して範囲内と判断される範囲Ａと、連続的ではないが所定回数以上範囲内であると判断される範囲Ａ’とを求める連続範囲検出手段と、
上記連続範囲検出手段で求めた範囲Ａ内において、各垂直座標毎に水平エッジのヒストグラムを求め、その値が高い位置に挟まれる垂直方向の範囲Ｂを求める垂直範囲検出手段と、
上記垂直範囲検出手段で求めた範囲Ｂ内において、時間的に連続した処理において同一水平方向位置に並ぶ範囲内の輝度の平均値を求め、所定時間内における各水平方向位置毎に求めた輝度の平均値の分散が低い範囲を物体の存在位置と判断し、各水平座標毎に垂直エッジ成分のヒストグラムを求め、該ヒストグラムから求められた原画像の垂直エッジの中から上記物体の存在位置と判断された範囲の両端付近にあり、かつ、上記範囲Ａと範囲Ａ’との間付近にあるエッジを選択するエッジ選択手段と、
上記距離・水平範囲算出手段で求めた物体までの距離と上記エッジ選択手段で求めた垂直エッジ座標とに基づいて、上記画像上の垂直エッジに相当する前方物体の横端の、上記カメラに対する実空間上の位置を求める実位置算出手段と、
を有することを特徴とする物体端の位置計測装置。
請求項１乃至請求項６の何れかに記載の物体端の位置計測装置と、
上記位置計測装置の計測結果に基づいて、上記位置計測装置を搭載した移動体の前進判断と経路誘導との少なくとも一方を決定する手段と、
を備えたことを特徴とする移動体の通行判断装置。