JP3757500B2

JP3757500B2 - 先行車追従装置

Info

Publication number: JP3757500B2
Application number: JP30202896A
Authority: JP
Inventors: 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-11-13
Filing date: 1996-11-13
Publication date: 2006-03-22
Anticipated expiration: 2016-11-13
Also published as: JPH10143799A

Description

【０００１】
【発明の属する技術分野】
本発明は車載先行車追従装置に関する。
【０００２】
【従来の技術】
従来、車載ステレオ画像処理装置による先行車追従装置として、たとえば、特開平２−２３２５１２号公報に記載されたものが知られている。この従来の先行車追従装置は、ある時刻の画像上に切ったウィンドウ内の画像をテンプレートとし、その画像と最も類似した画像の位置を新たに入力した画像上から求め、その位置を新たなウィンドウとして同じ処理を繰り返すことにより先行車追従を行う方式のものである。
【０００３】
【発明が解決しようとする課題】
ところが、このような従来の先行車追従装置では、先行車との相対速度が大きい時、特に先行車が急ブレーキをかけた時などでは先行車の画像上での大きさが連続的に入力する画像間でも大きく変化するために、テンプレートとのマッチングが困難となる問題点があった。また相対速度が小さい場合でも、画像処理時間間隔が長いと、相対速度が大きい場合と同じように連続画像間で先行車の大きさが大きく変化するためマッチングが困難となる問題点もあった。
【０００４】
本発明はこのような従来の問題点に鑑みてなされたもので、ある時刻においてその過去数回分で求めた先行車までの距離値をもとにして先行車との相対速度を求め、その相対速度から現時刻の画像上での先行車の大きさと新たに入力する画像上での先行車の大きさとの比率を求め、その比率をもとにして現時刻の画像上に切ったウィンドウ内の画像をスケーリングし、新たに入力する画像上での先行車の大きさに合わせたテンプレートを作成することにより、先行車との相対速度が大きい場合や画像処理時間間隔が大きい場合にもテンプレートとのマッチングが容易に行える先行車追従装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１の発明の先行車追従装置は、前方の情景を撮像する２台の撮像手段と、前記２台の撮像手段それぞれの撮像した画像を記憶する画像メモリと、前記２台の撮像手段のうちのいずれか１台の撮像手段の撮像した画像に対して、与えられる先行車を含む画像のテンプレートとマッチング処理することによって当該画像中の先行車を含むウィンドウを切り出す先行車検出手段と、前記２台の撮像手段のうちの他方の撮像手段の撮像した画像を前記先行車検出手段の切り出したウィンドウとマッチング処理することによって当該他方の撮像手段の画像中の先行車を含むウィンドウを切り出す視差算出手段と、前記２台の撮像手段それぞれの画像中から切り出されたウィンドウの座標値に基づいて先行車までの距離を算出する距離算出手段と、前記距離算出手段の算出した距離データを複数回分記憶する距離データ記憶手段と、前記距離データ記憶手段に記憶されている過去の複数回分の距離データに基づいて先行車との相対速度を算出する相対速度算出手段と、前記相対速度算出手段の算出した相対速度に基づき、前記先行車検出手段が前回の演算時に切り出した前記先行車を含むウィンドウをスケーリングして新たな先行車を含む画像のテンプレートを作成して前記先行車検出手段に与えるテンプレート作成手段と、前記２台の撮像手段にて撮像された画像から先行車を含むウィンドウの切り出しができたかどうかによって先行車を追従しているかどうかを判断する追従判断手段と、前記追従判断手段が追従していると判断した時に前記テンプレート作成手段が作成したテンプレートとそれを用いた時の先行車までの距離とを保存するテンプレート・距離保存手段と、前記追従判断手段が先行車を追従していないと判断した時に、前記先行車検出手段の用いる画像をあらかじめ設定した所定の大きさの複数のブロックに分割し、各ブロックごとにその中に撮像されている物体までの距離を求めるブロック距離算出手段と、前記ブロック距離算出手段の算出した距離のうち最短距離を与えるブロックを選択する最短距離ブロック選択手段とを備え、前記テンプレート作成手段は、前記追従判断手段が先行車を追従していないと判断した時には、前記最短距離ブロック選択手段の選択したブロックまでの距離と、前記テンプレート・距離保存手段に保存されている距離との比率に基づき、前記テンプレート・距離保存手段に保存されているテンプレートをスケーリングして新たなテンプレートを作成し、前記先行車検出手段に与えることを特徴とするものである。
【０００６】
この請求項１の発明の先行車追従装置では、前方の情景を２台の撮像手段によって撮像し、それぞれの画像を画像メモリに記憶する。そして先行車検出手段が、２台の撮像手段のうちのいずれか１台の撮像手段の撮像した画像に対して、与えられる先行車を含む画像のテンプレートとマッチング処理することによって当該画像中の先行車を含むウィンドウを切り出し、視差算出手段が２台の撮像手段のうちの他方の撮像手段の撮像した画像を先行車検出手段の切り出したウィンドウとマッチング処理することによって当該他方の撮像手段の画像中の先行車を含むウィンドウを切り出す。そして距離算出手段が、これら２台の撮像手段それぞれの画像中から切り出されたウィンドウの座標値に基づいて先行車までの距離を算出し、距離データ記憶手段に記憶する。なお、この距離データ記憶手段には距離算出手段の算出した距離データを過去数回分記憶させておく。
【０００７】
そして相対速度算出手段が、距離データ記憶手段に記憶されている過去数回分の距離データに基づいて先行車との相対速度を算出してテンプレート作成手段に与え、テンプレート作成手段は、相対速度算出手段の算出した相対速度に基づき、先行車検出手段が前回の演算時に切り出した先行車を含むウィンドウをスケーリングして新たな先行車を含む画像のテンプレートを作成して先行車検出手段に与える。
【０００８】
以上の処理を繰り返すことによって、先行車に対する急激な接近があった場合、あるいは追従処理時間間隔が長くてその間に先行車との距離が大きく変化したような場合でも、先行車との相対速度を過去数回分の距離データから算出して予測するために先行車を見失うことなく追従することができ、先行車追従性を改善することができる。
【００１２】
また請求項１の発明の先行車追従装置では、追従判断手段によって本装置が先行車に追従しているかどうか判断し、追従していると判断した時にはテンプレート作成手段が作成したテンプレートとそれを用いた時の先行車までの距離とをテンプレート・距離保存手段に保存しておく。
【００１３】
そして追従判断手段が、本装置が先行車に追従しておらず先行車を見失ったと判断した時には、ブロック距離算出手段が先行車検出手段の用いる画像をあらかじめ設定したある大きさの複数のブロックに分割し、各ブロックごとにその中に撮像されている物体までの距離を求め、最短距離ブロック選択手段がこのブロック距離算出手段の算出した距離のうち最短距離を与えるブロックを選択する。そして、テンプレート作成手段が、この最短距離ブロック選択手段の選択したブロックまでの距離と、テンプレート・距離保存手段に保存されている距離との比率に基づき、テンプレート・距離保存手段に保存されているテンプレートをスケーリングして新たなテンプレートを作成して先行車検出手段に与える。
【００１４】
これにより、先行車検出手段、視差算出手段、距離算出手段及び相対速度算出手段によって２台の撮像手段それぞれの撮像した画像から先行車を含むウィンドウを切り出して先行車までの距離の算出と相対速度の算出するという先行車追従処理を継続することができる。
【００１５】
請求項２の発明は、請求項１の先行車追従装置においてさらに、前記最短距離ブロック選択手段の選択したブロックに対して、前記ブロック距離算出手段の算出した最短距離に基づいて（ｘ，ｙ）座標位置を決定し、前記テンプレート作成手段に与える座標決定手段を備えてものであり、これによってテンプレート作成手段は撮像手段の撮像した画像中からテンプレートを作成する位置のおおよその見当をつけることができ、それだけテンプレート作成処理の高速化が図れる。
【００１６】
【発明の効果】
請求項１の発明によれば、先行車に対する急激な接近があった場合、あるいは追従処理時間間隔が長くてその間に先行車との距離が大きく変化したような場合でも、先行車との相対速度を過去数回分の距離データから算出して予測するために先行車を見失うことなく追従することができ、先行車追従性を改善することができる。
【００１８】
また、請求項１の発明によれば、本装置が先行車を一時的に見失っても、画像中から先行車の存在する位置を自動的に探索して割り出し、テンプレートを作成して先行車追従処理を継続することができ、先行車追従の信頼性を高めることができる。
【００１９】
請求項２の発明によれば、請求項１の先行車追従装置においてさらに、最短距離ブロック選択手段の選択したブロックに対して、ブロック距離算出手段の算出した最短距離に基づいて（ｘ，ｙ）座標位置を決定してテンプレート作成手段に与える座標決定手段を備えているので、テンプレート作成手段が撮像手段の撮像した画像中からテンプレートを作成する位置のおおよその見当をつけることができ、テンプレート作成処理の高速化が図れる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の第１の実施の形態の機能構成を示しており、この第１の実施の形態の先行車追従装置は、車両の先頭部において上下の光軸が１つの垂直面上に乗るような上下位置関係に設置された２台のカメラ１ａ，１ｂと、これらのカメラ１ａ，１ｂそれぞれの撮像した映像信号をディジタル画像データとして保存する画像メモリ２ａ，２ｂと、これらの画像メモリ２ａ，２ｂのいずれかあらかじめ定めた一方のもの（以下の説明では、画像メモリ２ａとする）の画像からあるテンプレートとの類似度を求めることによって距離測定対象物である先行車を検出する先行車検出部３と、この先行車検出部３が用いた画像内において先行車が検出された位置の画像と最も類似した画像が存在する位置を他方の画像メモリ２の画像内から探し出す視差計算部４とを備えている。
【００２１】
この実施の形態の先行車追従装置はさらに、視差計算部４で求めた互いに類似した位置と２台のカメラ１ａ，１ｂの位置関係とに基づき、先行車までの距離を算出する距離算出部５と、この距離算出部５が算出した先行車までの距離データの過去数回分のデータを記憶する距離保管部６と、この距離保管部６に記憶されている過去数回分の距離データから先行車との相対速度を算出する相対速度算出部７と、この相対速度算出部７で求めた相対速度をもとにして、新たに入力される画像上の先行車の大きさを前回に入力された画像上での先行車の大きさから予測し、先行車検出部３で先行車の画像上の位置を求める際に前回に入力された画像上の先行車が存在する位置に切られたウィンドウ内の画像を新たに入力される画像上の先行車の大きさに合わせてスケーリングしたテンプレートを作成するテンプレート作成部８とを備えている。
【００２２】
次に、上記構成の先行車追従装置の動作について説明する。図２にカメラ１ａ，１ｂそれぞれが撮像した先行車１０の画像Ａ上の大きさと距離ｚとの関係が示してあり、先行車１０の車幅Ｗ（ｍ）と先行車１０までの距離ｚ（ｍ）とカメラ１ａ，１ｂそれぞれのレンズ１２ａ，１２ｂから撮像面１３ａ，１３ｂまでの焦点距離ｆ（画素）とすると、画像Ａ上の先行車の大きさxw（画素）は、次の数１式で求められる。
【００２３】
【数１】

ただし、一般に焦点距離ｆは（ｍｍ）の単位で表わされることが多いが、ここではｆ（ｍｍ）を画像Ａにおける１画素の大きさ（単位はｍｍ）で割ることによって単位を画素に変換する。たとえば、図２における画像Ａにおける１画素の大きさは、既知のＷ（ｍｍ），ｚ（ｍｍ），ｆ（ｍｍ）を設定し、その時に撮像される画像Ａ上のxwの画素数を求め、それを上記の数１式に代入することによって求めることができる。
【００２４】
通常、カメラ１ａ，１ｂの焦点距離ｆは固定値であり、同じ先行車１０を追従する場合には車幅Ｗも固定値となるので、画像Ａ上の先行車の大きさxwは距離ｚに反比例する。図３及び図４は同じ先行車１０との相対速度が０ｋｍ／ｈの場合と先行車１０が自車より速くて遠ざかる場合との画像Ａの先行車の大きさの変化の様子を示している。これらの図３及び図４と上記数１式とから分かるように、車間距離ｚが一定であれば画像Ａ上の先行車の大きさxwも一定であるが、画像Ａ上の先行車の大きさxwは車間距離ｚによって変化するため、相対速度が０でない時には固定の大きさのテンプレートで位置検出を行うことはできない。また連続して入力される画像をもとにしてテンプレートを更新することによってその時々の先行車の大きさxwに対応したテンプレートを作成することはできるが、急に相対速度が増加した時や画像の取り込み時間間隔が長い時にはこの方法では対応することができない。
【００２５】
そこで本発明では、以下に説明する原理手法によって連続した過去数回分の画像を用いてテンプレートを更新し、急激に大きな変化がある場合でも対応することができるようにしたのである。
【００２６】
相対速度がａ（ｍ／ｓ）、画像の取り込み時間間隔がΔｔ（ｓ）の時、１枚の画像を入力してから次の画像を入力するまでに変化する車間距離Δｚは、Δｔ・ａ（ｍ）である。画像上の先行車の大きさxwは車間距離ｚに反比例するので、時刻ｔでの車間距離をｚ_ｔとし、時刻ｔでの画像上の先行車の大きさをxw_ｔとし、時刻t+1 での画像上の先行車の大きさをxw_t+1とすると、時刻ｔと時刻t+1 とでの画像上の先行車の大きさの間には、次の数２式の関係が成り立つ。
【００２７】
【数２】

この数２式内の相対速度ａは、ある一定時間間隔ごとにステレオ画像処理で求めた過去数回分の距離値をもとにして求めることができる。図５にはある時刻ｔから遡って過去数回分の距離値の変化をグラフにして示してあるが、相対速度ａはこのような過去数回分の距離値データを利用して最小２乗誤差をとる直線の傾きより求めることができる。また各時刻で求めた先行車までの距離ｚは図６に示す原理によってステレオ画像において２枚の画像間のマッチング位置ｙａ，ｙｂを求めることによって次の数３式から算出することができる。
【００２８】
【数３】

ここで、ｆ，ｙａ，ｙｂの単位は画素、Ｄ，ｚの単位はｍである。
【００２９】
このようにして算出した相対速度ａをもとにして、時刻ｔの画像に切ったウィンドウを数２式の比率でスケーリングすることによって次回の入力画像上の先行車の大きさとテンプレートとを作成することができる。
【００３０】
このようにして、位置検出を行う画像上での先行車の大きさとテンプレートとを作成する基本となる画像上での先行車の大きさの比率を求め、この比率を用いて位置検出を行う画像上の先行車の大きさに合わせてスケーリングしてテンプレートを作成することにより、相対速度が大きい時や画像の入力時間間隔が長い時など、先行車の大きさが大きく変化する場合においてもテンプレートと処理対象画像上での先行車との間で大きさが大きく異なることがなくなるために、確実にマッチングを行うことができるようになる。また、連続画像処理で相対速度と車間距離と画像上での先行車位置が常に分かっていることから、これらの値をもとにして次回の画像での先行車の存在範囲が限定できて先行車の位置検出の処理範囲を限定することができ、処理の高速化も可能となる。
【００３１】
以上の原理をもとにして先行車追従を実行する図１に示した第１の実施の形態の先行車追従装置による先行車追従動作は、次の通りである。上下に２台設置されているカメラ１ａ，１ｂによって所定周期ごとに前方の情景を撮像し、その画像信号は画像メモリ２ａ，２ｂそれぞれにディジタル画像データとして記憶されていく。この画像メモリ２ａ，２ｂは過去数回分の画像データを蓄積し、新たな入力があると最古のものから画像データを順繰りに最新の画像データで更新していくことにより、現在時点に近い連続した過去数回分の画像データを記憶している。
【００３２】
テンプレート作成部８は、画像メモリ２ａに記憶されている画像データを用いて先行車の最新のテンプレートを作成する。この先行車のテンプレートの作成方法を図７を用いて説明する。図７において左の画像Ａは時刻ｔの画像、右の画像Ａ' は新たに入力する画像の予想図である。ここでテンプレートの大きさは常にxw×ywに固定することにして、xw×ywのテンプレートにスケーリングされるべきウィンドウの範囲xw' ×yw' の大きさを相対速度より求め、その大きさxw' ×yw' のウィンドウ内の画像をxw×ywにスケーリングすることによってテンプレートを作成する。
【００３３】
xw' ，yw' は数４式によって求める。
【００３４】
【数４】

数４式の中のxw，ywは適当な大きさに定義する。またａは相対速度、Δｔは画像の入力時間間隔である。そしてこの相対速度ａは相対速度算出部７において算出するが、それには距離算出部５において算出し、距離保管部６に記憶されている連続する最新の過去数回分の車間距離ｚに対して、図５に示したように最小２乗誤差となる直線（ｙ＝ａｔ＋ｂ）の傾きａとして求めるものであり、テンプレート作成部８において、この相対速度ａを上記数４式に代入することによって時刻ｔの画像上に切るウィンドウの大きさxw' ×yw' を決定する。またテンプレートを作成するための画像を抜き出すウィンドウの位置は、先行車検出部３において時刻ｔの画像上で先行車の位置検出を行った際に先行車が検出された位置（ｘ_ｔ，ｙ_ｔ）を始点とする位置に切る。
【００３５】
このようにして定義された大きさxw' ×yw' のウィンドウ内の画像を大きさがxw×ywになるようにスケーリングする。スケーリングは図７の上側に示したように、テンプレートの左上端の点を原点とし、左端の画素から順に各点が対応する位置を比例計算により求め、対応する位置の輝度をテンプレート上の輝度とすることによって行う。つまり、テンプレート上の点（ｉ，ｊ）の輝度を画像Ａ上の点（ｘ_ｔ＋ｉ×xw／xw' ，ｙ_ｔ＋ｊ×yw／yw' ）の輝度とする操作をxw×yw箇所の画素において行い、位置検出画像上の先行車の大きさに合わせたテンプレートを作成するのである。
【００３６】
先行車検出部３における先行車位置検出は、次の手順による。この先行車位置検出は、テンプレート作成部８によって作成したテンプレートと最も類似度の高い部分を、新たに入力した画像内から探し出す操作によって行う。この類似度は、正規化相関法を用いて算出することができる。図８に正規化相関法による位置検出手法を示してあり、テンプレートの輝度値をＴij、新たに入力した画像内から抜き出した位置の画像の輝度値をＡijとすると、互いの画像の類似度Ｒは次の数５式により算出することができる。
【００３７】
【数５】

この数５式による類似度Ｒが高いほど類似性が強くなる。そこで新たに入力した画像Ａから位置をずらしながらテンプレートと同じ大きさxw×ywの画像を切り取り、数５式に当てはめてそれぞれの類似度を算出し、類似度が最も大きい切り出し画像の位置を先行車の位置として決定する。図８の場合には中段の切り出し画像のうち、真ん中の画像がテンプレートに最も類似度が高い画像と決定し、その画像の左上端位置座標（ｘ_ｔ＋Δｔ，ｙ_ｔ＋Δｔ）を先行車の位置と決定するのである。
【００３８】
距離算出部５は次の手法によって先行車との車間距離ｚを算出する。前述のように、図６に示した原理によって先行車の一部が撮像されていて、互いに対応する位置ｙａ，ｙｂが分かれば、数３式によって先行車までの距離ｚを求めることができる。
【００３９】
そこでまず、視差計算部４においてテンプレートマッチング処理を行うことになる。先行車の位置は先行車検出部３においてカメラ１ａの撮像した画像Ａに基づいてすでに決定されているので、視差計算部４では図９に示すように、ウィンドウの始点をｙａとして、このｙａの位置に切られたウィンドウをテンプレートとすることにより、先行車検出部３で行った位置検出と同じようにカメラ１ｂが撮像した画像Ｂから、画像Ａから切られたテンプレートと最も類似度Ｓの高い位置を次の数６式を用いた正規化相関法によって求め、その位置をｙｂとする。
【００４０】
【数６】

なお、このマッチング処理では、２台のカメラ１ａ，１ｂはそれらのｙ軸が同一ライン上に乗るように配置されているので、図９に示すように探索する位置はｘｂ（＝ｘａ）におけるｙ軸方向だけでよい。そして求めたｙａ，ｙｂを数３式に代入することによって先行車１０までの距離ｚを求めることができる。この距離ｚの算出は、距離算出部５において行い、その結果は距離保管部６に記憶する。
【００４１】
以上の方法で算出する先行車までの距離ｚは、毎回更新しながら過去数回分の距離を距離保管部６に記憶しておく。そして、次の画像処理を行う時に、最新の距離ｚを用いて上記の相対速度を算出し、先行車追従用のテンプレート作成時のスケーリングの比率として利用する。
【００４２】
このような処理を繰り返すことによって、先行車を追従しながら車間距離計測、相対速度の算出を行う。そしてこれらの算出データは外部に出力され、車間距離警報、急接近警報、その他の前方安全監視機能に利用することになる。
【００４３】
次に、本発明の第２の実施の形態を図１０に基づいて説明する。この第２の実施の形態の先行車追従装置は、ある決まった先行車１０を追従し続ける処理において、先行車を一時的に見失った後に同じ先行車を再び見つけて追従を再開できるように、先行車を見失った時にはテンプレートを更新せず、それまで用いていたテンプレートとその時の距離とを常に保存しておき、そのテンプレートを用いて先行車の探索を継続する機能を付加的に備えたことを特徴とする。つまり、通常は第１の実施の形態の先行車追従装置と同じ処理を行い、先行車を一時的に見失った時に限り、テンプレートを更新せず、先行車を追従している時に保存したテンプレートをその時の距離に応じてスケーリングし、そのスケーリングしたテンプレートを用いて先行車位置を検出する処理を行うようにしているのである。
【００４４】
この第２の実施の形態の先行車追従装置の機能構成を図１０に基づいて説明する。第２の実施の形態の先行車追従装置は、図１に示した第１の実施の形態と同様に２台のカメラ１ａ，１ｂ、画像メモリ２ａ，２ｂを備え、先行車位置を検出する先行車検出部３−１と、視差計算部４、距離算出部５、距離保管部６、相対速度算出部７、テンプレート作成部８−１を備えている。これらのうち先行車検出部３−１、テンプレート作成部８−１は先行車を見失った時に行う先行車位置検出処理、テンプレート作成処理が第１の実施の形態のものとは異なっている。
【００４５】
この第２の実施の形態の先行車追従装置ではさらに、先行車１０に追従していることを判断する追従判断部２１と、先行車１０に追従している時に用いたテンプレートとその時の距離とを記憶しておくテンプレート・距離保管部２２と、画像内をある大きさのブロックに区切り、そのブロックごとにブロック内に撮像されている物体までの距離を求める距離画像作成部２３と、ブロックごとに求めた距離値のうち最小の距離を与えるブロックを先行車が撮像されているブロックとし、物体のｙ座標を求める最短距離位置検出部２４及びｙ座標位置算出部２５とを備えている。そしてテンプレート作成部８−１は、先行車を見失った時に、最も短い距離位置の先行車が撮像されているブロックにおいてその距離の時に撮像される先行車の大きさに合わせてスケーリングしたテンプレートを作成し、また先行車検出部３−１はこのテンプレートを用いて先行車の位置検出を行う。
【００４６】
次に、上記構成の第２の実施の形態の動作について説明する。追従判断部２１が後述する演算処理により先行車１０に追従していると判断している間は、先行車検出部３−１、視差計算部４、距離算出部５、距離保管部６、相対速度算出部７及びテンプレート作成部８−１は第１の実施の形態と同じ演算処理により先行車追従処理を繰り返す。
【００４７】
ここで、先行車１０に追従しているかどうかは、たとえば、先行車検出部３−１が算出する前述の数６式による類似度Ｓの大きさと、画像Ａにおける横エッジの有無により判断することができる。画像Ａ上での先行車には通常、横エッジ（つまり、縦方向の線）が多く、また先行車１０を追従し続けている時には類似度Ｓの最大値が１に近くなるが、位置検出の走査範囲内に先行車が存在しなくなると類似度の最大値が低くなる。したがって、類似度の最大値があるしきい値以下となり、かつ横エッジの強度や長さがあるしきい値以下となった時には先行車を見失ったと判断することができる。そこで、追従判断部２１は、先行車検出部３−１が行う上記の類似度の演算値をしきい値と比較し、また画像Ａにおける横エッジの抽出とその強度演算及び長さ演算を行い、しきい値と比較することによって先行車１０に追従しているか見失ったかどうかを判断する。
【００４８】
追従判断部２１が先行車を見失ったと判断した時には、テンプレートを更新せず、その時に用いたテンプレートとそのテンプレートを作成した画像上に撮像されている先行車までの距離ｚｓをテンプレート・距離保管部２２に記憶し、それらのデータを用いて、次に説明する方法によって先行車探索を行う。
【００４９】
図１１（ａ），（ｂ）に示すようにカメラ１ａが撮像し、画像メモリ２ａに記憶された画像Ａ上で、先行車１０が撮像されていれば存在するはずの範囲Ｃは、路面上である画像Ａの下部に限られている。そこで距離画像作成部２３において、図１２に示すように画像Ａ内で路面が撮像されている範囲Ｃをブロックｂ１，ｂ２，ｂ３，ｂ４ごとに区切り、最短距離位置検出部２４において各ブロックごとの距離ｄ１，ｄ２，ｄ３，ｄ４を求める。このブロックごとの距離は、画像Ａにおいてブロックｂ１，ｂ２，ｂ３，ｂ４を定義し、それをテンプレートとして視差計算部４及び距離算出部５による車間距離計測処理と同じように、正規化相関法で画像Ｂ内から類似度の最も高いブロックの位置を探すことでそのブロック内に撮像されている先行車までの距離を求めるのである。
【００５０】
ただし、このブロックごとのステレオマッチングは垂直微分画像を用いる。これは、先行車は横エッジを多く持つため、ブロック内に先行車が存在する場合に背景の画像よりも先行車の横エッジが強調されたマッチングが行われるようにするためである。この方法でステレオマッチングを行うと、先行車が撮像されている場合、そのブロックまでの距離が短くなるので、すべてのブロックのうち最短距離のものを先行車が存在する可能性のあるブロックと見なし、その後に先行車の存在を確認する処理を行う。なお、最短距離位置検出部２４によって最短距離位置のブロックを特定すると、ｙ座標位置検出部２５はそのブロックの画像中に存在する先行車の一部のｙ軸座標位置を後述する方法によって検出する。
【００５１】
上記の先行車の存在確認はテンプレート作成部８−１において行う。図１３に示すように、最近距離のブロック（ここではブロックｂ２であったとしている）内の対象物までの距離ｄ２はすでに求められているので、その距離をｚｂとし、テンプレート・距離保管部２２に記憶されているテンプレートＴとそのテンプレートを作成した時の距離ｚｓとをもとにしてブロックｂ２の画像内の先行車の大きさに合わせてテンプレートＴをスケーリングして位置検出用のテンプレートＴ′を作成する。そして先行車検出部３−１は、このテンプレートＴ′を用いてブロックｂ２の近辺で最も類似度の高い位置を探索し、その位置での類似度と横エッジの強度と長さが先行車に追従したと見なされるしきい値を越えていたなら、先行車を検出したものと見なし、再び前述の第１の実施の形態と同じ手順でテンプレートを更新しながら先行車を追従する処理を続ける。
【００５２】
しかしながらしきい値を越えていなければ、いままで探索対象とした画像Ａ内には先行車は存在していないものと判断し、さらに次の画像の取り込みと、上記の先行車探索処理を繰り返す。
【００５３】
この第２の実施の形態によれば、次のような利点がある。テンプレートマッチングによって先行車の位置検出を行う場合、車間距離によって先行車の大きさが変わることが問題点となることが多いが、第２の実施の形態で採用した方法によれば、画像内の各ブロックごとの距離と先行車を表すテンプレートの距離とを共に保存しているために、ブロック内に撮像されている物体までの距離ｚｂとテンプレートの距離ｚｓとをもとにした比例計算によってテンプレートＴを位置検出を行う画像Ａ上の先行車の大きさに合わせてスケーリングして位置検出用のテンプレートＴ′を作成することができ、先行車を一時的に見失ってもテンプレートマッチングによる先行車追従を継続することができるのである。
【００５４】
また先行車を見失った時の復帰処理において、次のような利点もある。図１３に示すように、先行車１０までの距離ｚと、先行車１０を撮像しているカメラ１ａの高さ位置から先行車の一部までの垂直高さｈとが分かっていれば、先行車１０が撮像されるｙ軸方向の位置ｙａは次の数７式より求めることができる。
【００５５】
【数７】

そこで最短距離位置検出部２４によりあるブロックｂ２で求めた距離を先行車までの距離と仮定すると、ｙ座標位置検出部２５は数７式より先行車の横エッジが存在するおおよそのｙ軸方向の位置を求め、テンプレート作成部８−１はこれらの演算結果に基づき、先行車の位置検出範囲をｘ軸方向はそのブロックｂ２の近辺であり、ｙ軸方向は数７式で求めた付近に限定することができ、テンプレート作成処理時間を短くすることができる。また先行車が幾何学的に撮像される可能性が全くない位置を検出することがないので、誤検出を減らすこともできる。さらにｙ座標位置検出部２５が数７式によって求めたｙ軸座標値は、先行車の存在確認を行う際の横エッジの存在確認位置として利用することもできる。
【００５６】
次に、本発明の第３の実施の形態を図１４に基づいて説明する。この第３の実施の形態の先行車追従装置は、第１の実施の形態の構成にさらに、画像Ａに対するマッチング処理の際の処理範囲を限定する処理範囲限定部３１を追加的に備え、テンプレート作成部８−２、先行車検出部３−２がこの処理範囲限定部３１の指示によって画像Ａに対するマッチング処理範囲を限定するようにしたことを特徴とする。
【００５７】
画像上での先行車の大きさを考慮するために常に相対速度と車間距離とを求めているので、それらの値をもとに先行車が画像上で存在する範囲を求めることができ、これに基づいて位置検出の走査範囲を限定することによって処理の高速化が図れる。図１５に示すように、前方に曲率半径がｒの道路がある時のカメラ１ａ，１ｂの撮像した画像Ａ，Ｂ上の先行車の横方向の動きの大きさは、次の数８式のようになる。
【００５８】
【数８】

また図１６から明らかなように連続入力画像間での先行車１０の縦方向の動きの大きさは数９式のようになる。
【００５９】
【数９】

ただし、数８式、数９式において、
ｘ_ｔ：時刻ｔでのウィンドウ位置のｘ座標（画素）
ｘ_ｔ＋Δｔ：時刻ｔ＋Δｔでのウィンドウ位置のｘ座標（画素）
Δｔ：画像の入力時間間隔（ｓ）
ａ：相対速度（ｍ／ｓ）
ｚ_ｔ：時刻ｔでの車間距離（ｍ）
ｒ：前方道路の曲率半径（ｍ）
ｆ：焦点距離（画素）
ｈ：先行車の一部から光軸までの距離（ｍ）
である。
【００６０】
そして曲率半径ｒは走行道路によって異なるが、これは道路地図資料などから調べることができるために既知の値と見なすことができる（高速道路ではきついカーブでも３００ｍ程度であり、あらかじめ設定しておくこともできる）。また光軸からの高さｈはカメラ１ａ，１ｂの取付位置によって決まるもので、測定して入力しておくことができる。さらに相対速度ａや車間距離ｚ_ｔは画像処理で常に求めている。このため、数８式、数９式それぞれの右辺の代数文字のすべてに数値を代入することができるので、連続画像間で先行車の動く領域をあらかじめ求めておくことができる。つまり、相対速度ａと車間距離ｚ_ｔとが分かれば、連続画像間で先行車の位置の動く大きさを算出することができ、このために、位置検出の走査範囲を限定することができ、演算処理時間を短縮することができる。
【００６１】
そこでこの第３の実施の形態の先行車追従装置では、第１の実施の形態において処理範囲限定部３１を付加した構成とすることにより、距離算出部５から得られる車間距離ｚ_ｔと相対速度算出部７から得られる相対速度ａとに基づいて、数８式、数９式により処理範囲を限定し、これをテンプレート作成部８−２と先行車検出部３−２に与え、これらが実行するテンプレート作成処理とマッチング処理において走査範囲を限定させるようにしているのである。
【００６２】
これによって第３の実施の形態では、先行車位置検出のための走査範囲を限定することができて処理時間を短縮することができ、さらに走査範囲を限定することで、先行車が幾何学的に撮像される可能性が全くない位置を検出することがないので、誤検出を減らすこともできる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の機能ブロック図。
【図２】上記の実施の形態における光学系の説明図。
【図３】上記の実施の形態のおける先行車との相対速度が０の時の画像の時間推移を示す説明図。
【図４】上記の実施の形態における先行車が遠ざかる時の画像の時間推移を示す説明図。
【図５】上記の実施の形態における車間距離の最小２乗法による予測処理を示す説明図。
【図６】上記の実施の形態における上下２台のカメラによる視差算出処理を示す説明図。
【図７】上記の実施の形態におけるテンプレート作成部のテンプレート作成処理を示す説明図。
【図８】上記の実施の形態における先行車検出部の先行車検出処理を示す説明図。
【図９】上記の実施の形態における視差計算部のステレオマッチング処理を示す説明図。
【図１０】本発明の第２の実施の形態の機能ブロック図。
【図１１】上記の実施の形態における先行車の画像上での存在範囲を示す説明図。
【図１２】上記の実施の形態における画像上での先行車検出手順を示す説明図。
【図１３】上記の実施の形態におけるテンプレート作成部のテンプレート作成処理を示す説明図。
【図１４】本発明の第３の実施の形態の機能ブロック図。
【図１５】上記の実施の形態におけるカーブ道路での先行車の横方向の存在範囲を示す説明図。
【図１６】上記の実施の形態における先行車の縦方向の存在範囲を示す説明図。
【符号の説明】
１ａ，１ｂカメラ
２ａ，２ｂ画像メモリ
３，３−１，３−２先行車検出部
４視差計算部
５距離算出部
６距離保管部
７相対速度検出部
８，８−１，８−２テンプレート作成部
１０先行車
１２ａ，１２ｂレンズ
１３ａ，１３ｂ撮像面
２１追従判断部
２２テンプレート・距離保管部
２３距離画像作成部
２４最短距離位置検出部
２５ｙ座標位置算出部
３１処理範囲限定部

Claims

前方の情景を撮像する２台の撮像手段と、
前記２台の撮像手段それぞれの撮像した画像を記憶する画像メモリと、
前記２台の撮像手段のうちのいずれか１台の撮像手段の撮像した画像に対して、与えられる先行車を含む画像のテンプレートとマッチング処理することによって当該画像中の先行車を含むウィンドウを切り出す先行車検出手段と、
前記２台の撮像手段のうちの他方の撮像手段の撮像した画像を前記先行車検出手段の切り出したウィンドウとマッチング処理することによって当該他方の撮像手段の画像中の先行車を含むウィンドウを切り出す視差算出手段と、
前記２台の撮像手段それぞれの画像中から切り出されたウィンドウの座標値に基づいて先行車までの距離を算出する距離算出手段と、
前記距離算出手段の算出した距離データを複数回分記憶する距離データ記憶手段と、
前記距離データ記憶手段に記憶されている過去の複数回分の距離データに基づいて先行車との相対速度を算出する相対速度算出手段と、
前記相対速度算出手段の算出した相対速度に基づき、前記先行車検出手段が前回の演算時に切り出した前記先行車を含むウィンドウをスケーリングして新たな先行車を含む画像のテンプレートを作成して前記先行車検出手段に与えるテンプレート作成手段と、
前記２台の撮像手段にて撮像された画像から先行車を含むウィンドウの切り出しができたかどうかによって先行車を追従しているかどうかを判断する追従判断手段と、
前記追従判断手段が追従していると判断した時に前記テンプレート作成手段が作成したテンプレートとそれを用いた時の先行車までの距離とを保存するテンプレート・距離保存手段と、
前記追従判断手段が先行車を追従していないと判断した時に、前記先行車検出手段の用いる画像をあらかじめ設定した所定の大きさの複数のブロックに分割し、各ブロックごとにその中に撮像されている物体までの距離を求めるブロック距離算出手段と、
前記ブロック距離算出手段の算出した距離のうち最短距離を与えるブロックを選択する最短距離ブロック選択手段とを備え、
前記テンプレート作成手段は、前記追従判断手段が先行車を追従していないと判断した時には、前記最短距離ブロック選択手段の選択したブロックまでの距離と、前記テンプレート・距離保存手段に保存されている距離との比率に基づき、前記テンプレート・距離保存手段に保存されているテンプレートをスケーリングして新たなテンプレートを作成し、前記先行車検出手段に与えることを特徴とする先行車追従装置。
前記最短距離ブロック選択手段の選択したブロックに対して、前記ブロック距離算出手段の算出した最短距離に基づいて（ｘ，ｙ）座標位置を決定し、前記テンプレート作成手段に与える座標決定手段を備えて成る請求項１に記載の先行車追従装置。