JP4151890B2 - 車両監視装置および車両監視方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両が走行する車線に隣接する隣接車線を走行する他車両のウィンカ状態から、他車両の挙動を監視する車両監視装置および車両監視方法に関する。
【０００２】
【従来の技術】
近年、単眼カメラ、ステレオカメラ、或いはミリ波レーダといった各種センサを用いた車両監視装置が注目されている（例えば、特許文献１参照）。この類の車両監視装置では、自車両に搭載されたセンサによって所定の監視領域内の景色を撮像またはスキャンし、これにより得られた情報に基づいて、走行状況を認識している。車両監視装置が認識すべき対象物としては、典型的には、車線（道路）や先行車が挙げられる。また、このような車両監視装置では、さらに制御装置（例えば、ＡＴ制御装置、エンジン制御装置またはブレーキ制御装置等）や警報装置を組合わせることにより、車間距離感応型クルーズコントロールや他車両の接近警報等といった運転支援機能を含ませることも考えられている。運転支援機能付きの車両監視装置では、基本的に、先行車までの距離と相対速度とを検出し、これらの検出結果に基づいて制御装置や警報装置が制御されている。
【０００３】
一般に、人間が車両の運転を行う場合、ドライバーは、他車両の挙動を予測しながら、自車両の走行制御を行うことが多い。例えば、隣接車線を走行する他車両が車線変更を行うべく、自車両の走行車線に割り込んでくる場合には、ドライバーは他車両のウィンカ状態を認識することにより、自車線への割り込みを予測するといった如くである。そして、割り込んだ他車両と自車両との車間距離を考慮して、必要に応じてブレーキ操作、或いは、シフトダウンといった操作が行われる。
【０００４】
なお、例えば、特許文献２には、他車両のウィンカを検出する手法が開示されている。特許文献２によれば、ステレオ画像に基づいて先行車を複数のウィンドの塊（ウィンドウ群）として検出するとともに、ウィンドウ群の両側のウィンドウ（すなわち、車両後面の両端）の輝度変化を検出することにより、ウィンカの作動状態を判断している。
【０００５】
【特許文献１】
特開平１０−２８３４６１号公報
【特許文献２】
特開平１１−１４３４６号公報
【０００６】
【発明が解決しようとする課題】
ところで、従来の車両監視装置では、割り込み車両の一部が自車線内に入ることを条件として、この割り込み車両を監視すべき先行車として認識している。このため、このような車両監視装置では、ドライバーが他車両の車線変更を認識して運転操作を行う場合と比べて、減速或いは加速中断といった制御に遅れが生じる可能性が考えられる。この遅れは、ドライバーに対して人間の運転との違和感を与えたり、また、場合によっては、他車両との接触の危険性が増すことにもなりかねない。そこで、このような問題を避けるべく、例えば、特許文献２に開示されているように、他車両のウィンカを検出し、この検出されたウィンカの状態に基づき他車両の挙動を把握し、これを車両監視に反映させることが考えられる。
【０００７】
しかしながら、隣接車線を走行する他車両を自車両側からカメラで撮像した場合、このカメラは斜め後方から他車両を撮像するので、他車両は車両側面と車両後面とを含んで観察されることとなる。したがって、他車両を複数のウィンドウの塊として検出するとともに、ウィンカ位置をこれらウィンドウ群の両端として検出したのでは、ウィンドウ群の両端と他車両のウィンカ位置とが対応しないため、ウィンカを検出できない可能性がある。また、自車両と他車両の位置関係によっては、カメラの画角範囲に他車両の車両後面が入らないことも考えられ、この場合では、特許文献２に開示されたウィンカ検出手法では、ウィンカを認識することが困難となる可能性がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、その目的は、隣接車線を走行する他車両のウィンカ状態を検出するべく、隣接車線を走行する他車両のウィンカを認識することである。
【０００９】
また、本発明の別の目的は、車両監視に応じて車両の走行制御を行う装置における安全性・信頼性を一層向上させることである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、自車両が走行する車線に隣接する隣接車線を走行する他車両のウィンカ状態から、他車両の挙動を監視する車両監視装置を提供する。この車両監視装置は、第１のカメラと、センサと、車線認識部と、車両認識部と、ウィンカ認識部とを有する。ここで、第１のカメラは、監視領域を含む景色を撮像することにより、カラー画像を出力する。センサは、監視領域内における距離の二次元的な分布を示す距離データを出力する。車線認識部は、少なくとも距離データに基づき、監視領域内の車線を認識する。車両認識部は、距離データに基づき、認識された車線から隣接車線を走行する他車両を特定するとともに、特定された他車両の車両側面を認識する。ウィンカ認識部は、カラー画像または距離データによって規定される二次元平面上において、認識された車両側面の端部位置を基準としてウィンカ領域を設定し、カラー画像に基づいてウィンカの色成分の画素を検出する。そして、設定されたウィンカ領域に対応するカラー画像上の領域と位置的に対応する検出された画素がウィンカとして認識される。
【００１１】
ここで、第１の発明において、ウィンカ認識部は、端部位置を基準として、車両側面に対応する領域にウィンカ領域を設定することことが好ましい。このとき、このウィンカ認識部は、端部位置を基準として、車両後面に対応する領域にもウィンカ領域を設定してもよい。
【００１２】
また、第１の発明において、ウィンカ認識部は、ウィンカとして認識された画素の時系列的な面積変化に基づき、他車両のウィンカが点滅しているか否かを判断することが好ましい。
【００１３】
また、第１の発明において、ウィンカ認識部は、車両認識部が特定された他車両の車両後面をさらに認識している場合、車両側面と車両後面との境界位置を基準として、ウィンカ領域を設定することが好ましい。
【００１４】
さらに、第１の発明は、監視領域を含む景色を撮像することにより、カラー画像を出力し、かつ、第１のカメラと協働することによってステレオカメラとして機能する第２のカメラをさらに有することが好ましい。この場合、センサは、第１のカメラから出力されるカラー画像と、第２のカメラから出力されるカラー画像とに基づき、ステレオマッチングによって、距離データを出力することが望ましい。一方、第１の発明は、監視領域を含む景色を撮像することにより、一対の画像データを出力するモノクロステレオカメラをさらに有してもよい。この場合、センサは、モノクロステレオカメラから出力された一対の画像データに基づいて、ステレオマッチングによって距離データとして出力することが好ましい。
【００１５】
また、第２の発明は、監視領域を含む景色をカメラで撮像することにより取得されたカラー画像と、監視領域内における距離の二次元的な分布を示す距離データとに基づいて、自車両が走行する車線と隣接する車線を走行する他車両のウィンカ状態から、他車両の挙動を監視する車両監視方法を提供する。この車両監視方法は、第１のステップとして、少なくとも距離データに基づいて、監視領域内の車線を認識する。第２のステップとして、距離データに基づいて、認識された車線から隣接車線を走行する他車両を特定するとともに、特定された他車両の車両側面を認識する。第３のステップとして、カラー画像または距離データによって規定される二次元平面上において、認識された車両側面の端部位置を基準としてウィンカ領域を設定する。第４のステップとして、カラー画像に基づいてウィンカの色成分の画素を検出する。第５のステップとして、設定されたウィンカ領域に対応するカラー画像上の領域と位置的に対応する検出された画素をウィンカとして認識する。
【００１６】
ここで、第２の発明において、第３のステップは、端部位置を基準として、車両側面に対応する領域にウィンカ領域を設定することが好ましい。このとき、第３のステップは、端部位置を基準として、車両後面に対応する領域にもウィンカ領域を設定してもよい。
【００１７】
【発明の実施の形態】
図１は、本実施形態にかかる走行支援機能付きの車両監視装置の概略的なブロック図である。この車両監視装置は、カラー画像と、距離データとに基づいて、自車両が走行する車線と隣接する車線を走行する他車両のウィンカ状態から、他車両の挙動を監視する。
【００１８】
自車両前方を撮像するステレオカメラ（本実施形態では、カラーステレオカメラ）は、ルームミラーの近傍に取り付けられており、ＣＣＤやＣＭＯＳセンサ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。それぞれのカメラ１，２は、車幅方向において所定の間隔（カメラ基線長）で取り付けられている。基準画像を出力するメインカメラ１は、自車両の進行方向に向かって右側に取り付けられている。一方、比較画像を出力するサブカメラ２は、進行方向に向かって左側に取り付けられている。
【００１９】
それぞれのカメラ１，２は、赤緑青のそれぞれに別個のイメージセンサを内蔵している（例えば、３板式カラーＣＣＤ）。メインカメラ１から出力されるカラー画像（以下、「基準画像」と称する）は、実際には、赤画像（以下、「Ｒ画像」と称する）、緑画像（以下、「Ｇ画像」と称する）および青画像（以下、「Ｂ画像」と称する）の３つの原色画像によって構成される。同様に、サブカメラ２から出力されるカラー画像（以下、「比較画像」と称する）も、Ｒ画像、Ｇ画像およびＢ画像の３つの原色画像によって構成される。したがって、一対のカメラ１，２が１回の撮影タイミングで出力する画像は合計６枚になる。以下、基準画像を構成するＲ画像を基準画像（Ｒ）と記す場合がある。同様に、基準画像を構成するＧ画像を基準画像（Ｇ）、Ｂ画像を基準画像（Ｂ）と記すことがある。比較画像についても、Ｒ，Ｇ，Ｂ画像を、それぞれ、比較画像（Ｒ）、比較画像（Ｇ）、比較画像（Ｂ）と記すことがある。
【００２０】
一対のカメラ１，２の同期が取れている状態において、それぞれのカメラ１，２から出力されたアナログ画像は、後段の構成要素の入力レンジに合致するように、アナログインターフェース３において調整される。アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａは、対になるアナログ画像信号の明るさバランスを調整する。この調整は、互いに同じ色（Ｒ，Ｇ，Ｂ）の画像同士で行う。アナログインターフェース３において調整されたアナログ画像対は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２１】
画像補正部５は、デジタル化された画像対を構成する６つの原色画像のそれぞれについて、輝度の補正および画像の幾何学的な変換等を行う。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。そこで、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換を行う。これにより、ステレオマッチングを行う際の前提となる、画像対における水平線（エピポーラライン）の一致が保証される。このような画像処理を経て、メインカメラ１の出力信号から、水平方向（ｉ座標方向）が512画素（ピクセル）、垂直方向（ｊ座標方向）が200画素（ピクセル）の基準画像データが生成される。また、サブカメラ２の出力信号から、基準画像データと垂直方向長が同じで、基準画像データよりも大きな水平方向長の比較画像データが生成される（一例として、水平方向が640画素（ピクセル）、垂直方向が200画素（ピクセル））。ここで、画像のそれぞれによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。画像補正部５において補正された１フレーム相当の基準画像データと比較画像データとは、後段のステレオ画像処理部６に出力されるとともに、画像データメモリ７に格納される。
【００２２】
ステレオ画像処理部６は、基準画像データと比較画像データとに基づいて、ステレオマッチングを行い、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差の集合であり、個々の視差は画像平面上の位置（ｉ，ｊ）と対応付けられている。換言すれば、距離データは、監視領域内における距離の二次元的な分布である。それぞれの視差は、基準画像の一部を構成する所定面積の画素ブロック毎に１つ算出される。一対のカメラ１，２のそれぞれから３つの原色画像が出力される本実施形態では、このステレオマッチングは、同一色の原色画像対に関して別個に行われる。すなわち、Ｒ画像（基準画像（Ｒ）と比較画像（Ｒ））、Ｇ画像（（基準画像（Ｇ）と比較画像（Ｇ））、Ｂ画像（基準画像（Ｂ）と比較画像（Ｂ））のそれぞれについて独立して行われる。
【００２３】
本実施形態では、４×４画素の画素ブロックを視差の算出単位としている。したがって、１フレーム相当の画像全体では、基準画像に含まれる画素ブロックの個数分、すなわち128×50個の視差が算出され得る。周知のように、視差は、その算出単位である画素ブロックに関する水平方向のずれ量であり、画素ブロックに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロック内に写し出されている対象物がカメラ１，２に近いほど、この画素ブロックの視差は大きくなり、対象物が遠いほど視差は小さくなる（無限に遠い場合、視差は0になる）。
【００２４】
ある画素ブロック（相関元）に関する視差を算出する場合、この画素ブロックの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ１，２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部６は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックの視差とする。
【００２５】
画素ブロック間における輝度特性の相関は、例えば、シティブロック距離を算出することで評価でき、基本的には、その値が最小となるものが相関を有する画素ブロックである。そして、相関を有する画素ブロック同士の水平方向のずれ量が視差として出力される。なお、シティブロック距離を算出するためのハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。
【００２６】
ステレオ画像処理部６は、同一色の原色画像同士（例えば、基準画像（Ｒ）と比較画像（Ｒ））でステレオマッチングを行い、後段の融合処理部８に出力する。これにより、基準画像における一画素ブロックに関して、３つの視差、すなわち、Ｒ画像より算出された視差Ｎｒ、Ｇ画像より算出された視差Ｎｇ、Ｂ画像より算出された視差Ｎｂが算出される（以下、それぞれを「原色視差」という）。
【００２７】
融合処理部８は、ある画素ブロックに関して算出された３つの原色視差Ｎｒ，Ｎｇ，Ｎｂを融合し、その画素ブロックに関する統一的な視差Ｎｉ（以下、「統一視差Ｎｉ」という）を算出する。この融合は、数式１に示すように、積和演算（本実施形態では加重平均）に基づいて行われる。具体的には、ある画素ブロックに関する原色視差Ｎｒ，Ｎｇ，Ｎｂに重み付けを与えた上で加算することにより、この画素ブロックに関する統一視差Ｎｉが算出される。ここで、Ｏｒは赤（Ｒ）についての重み係数、Ｏｇは緑（Ｇ）、Ｏｂは青（Ｂ）についての重み係数である。
【数１】
Ｎｉ＝Ｏｒ・Ｎｒ ＋ Ｏｇ・Ｎｇ ＋ Ｏｂ・Ｎｂ
【００２８】
重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）は、検出対象選定部９によって指定される。検出対象選定部９は、現時点で検出したい対象物（例えば、追い越し禁止のセンターライン等）を選定する。検出対象物は、車両走行時に出現し得るものであり、複数の対象物（例えば、追い越し禁止センターライン、ストップランプやウィンカ等）が予め設定されている。検出対象選定部９は、図示しない自車両の速度センサや操舵角センサ等より特定される走行状況に応じて、いずれかの対象物を検出対象物として選定し、その検出対象物に関する重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）を融合処理部８に対して出力する。
【００２９】
重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）を、加重平均の重み係数として捉えると、具体的な係数値Ｏｒ，Ｏｇ，Ｏｂは、数式２に示した４つの条件（式）を具備する必要がある。
【数２】
Ｏｒ＋Ｏｇ＋Ｏｂ＝１
０≦Ｏｒ≦１
０≦Ｏｇ≦１
０≦Ｏｂ≦１
【００３０】
なお、検出対象物の認識精度を高めるために、重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）には、対象物の色を反映させることが好ましい。具体的には、それぞれの重み係数Ｏｒ，Ｏｇ，Ｏｂは、数式３のように定義する。同数式において、Ｉｒは対象物の赤色（Ｒ）の色成分値、Ｉｇは緑色（Ｇ）の色成分値、Ｉｂは青色（Ｂ）の色成分値である。重み係数Ｏｒ，Ｏｇ，Ｏｂの具体値は、後述する色情報テーブル１１ａの内容に基づき、数式３の演算を実行することによって決定する。
【数３】
Ｏｒ＝Ｉｒ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
Ｏｇ＝Ｉｇ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
Ｏｂ＝Ｉｂ／（Ｉｒ ＋ Ｉｇ ＋ Ｉｂ）
【００３１】
検出対象選定部９は、予め設定されたプログラムを実行することで検出対象物を選定するマイクロコンピュータ１０と、プログラムおよび各種データが格納されたメモリ１１とを有する。メモリ１１は、プログラムおよびデータが固定的に格納されたＲＯＭと、マイクロコンピュータ１０のワーク領域等として使用されるＲＡＭとを含む。このメモリ１１に格納されている情報としては、例えば、上述した演算処理によって決定された重み係数Ｏｒ，Ｏｇ，Ｏｂの具体値、色情報テーブル１１ａが挙げられる。
【００３２】
数式３に示した演算によって決定された重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）は、メモリ１１（ＲＡＭ）における所定のアドレス領域（以下、「重み設定領域」という）に格納・保持される。そして、重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）が更新されると、この重み設定領域に書き込まれている値も速やかに更新される。融合処理部８は、重み設定領域にアクセスすることで、現時点で適用すべき重み係数のセット（Ｏｒ，Ｏｇ，Ｏｂ）を獲得する。
【００３３】
図２は、色情報テーブル１１ａの一例を示す図である。この色情報テーブル１１ａには、検出対象物１１１と、その色を表現した色情報１１２とが対応付けて記述されている。色情報１１２は、２５６階調の輝度値で表現した色成分（Ｉｒ，Ｉｇ，Ｉｂ）である。例えば、追い越し禁止のセンターライン（日本国内においては黄色あるいはオレンジ色）は、Ｉｒ＝２４０，Ｉｇ＝１９０，Ｉｂ＝０に設定されている。また、車両のリアランプおよびストップランプは、Ｉｒ＝２４０，Ｉｇ＝０，Ｉｂ＝０に設定されている。
【００３４】
このようにして求められた統一視差Ｎｉの１フレーム分の集合は、画像平面上の位置（ｉ，ｊ）と対応付けた上で、距離データ（ｉ，ｊ，Ｎｉ）として距離データメモリ１２に格納される。なお、統一視差Ｎｉを算出する融合処理部８の詳細については、本出願人によって既に出願されている特願２００１−３４３８０１号に開示されているので、必要ならば参照されたい。
【００３５】
マイクロコンピュータ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、車線認識部１３ａ、車両認識部１３ｂおよびウィンカ認識部１３ｃを有する。マイクロコンピュータ１３は、これらの機能を実行する前提として、１フレーム相当の画像データを画像データメモリ７から読み出すとともに、読み出された画像データに対応する距離データを距離データメモリ１２から読み出す。
【００３６】
車線認識部１３ａは、少なくとも読み出された距離データに基づき、監視領域内の車線を認識する。そして、認識された車線（正確には、これらを規定するパラメータ）が車両認識部１３ｂに対して出力される。車両認識部１３ｂは、読み出された距離データに基づき、認識された車線から隣接車線を走行する他車両を特定するとともに、この特定された他車両の車両側面を認識する。このとき、特定された他車両について、車両後面が認識可能である場合、車両認識部１３ｂは、車両側面と車両後面との組合わせとして他車両を認識する。なお、車両認識部１３ｂは、読み込まれた画像データを利用して、隣接車線を走行する他車両を特定してもよい。ウィンカ認識部１３ｃは、画像（本実施形態では、画像データによって規定される二次元的な画像平面）または距離データによって規定される二次元平面上において、認識された車両側面の端部位置を基準としてウィンカ領域を設定するとともに、読み込まれた画像データに基づいてウィンカの色成分の画素を検出する。そして、設定されたウィンカ領域に対応する画像平面上の領域と位置的に対応する画素がウィンカとして認識される。
【００３７】
そして、マイクロコンピュータ１３は、これらの認識結果に基づいて、警報が必要と判定された場合、モニターやスピーカー等の警報装置１４を作動させてドライバーに注意を促す。また、必要に応じて制御装置１５を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が適宜実行される。本実施形態の特徴の一つとして、マイクロコンピュータ１３は、後述するフローチャートに示す処理を行うことにより、自車両が走行する車線と隣接する車線を走行する他車両のウィンカ状態から、他車両の挙動を監視している。
【００３８】
図３は、本実施形態にかかる車両監視手順を示すフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１３によって実行される。まず、ステップ１において、マイクロコンピュータ１３は、画像データメモリ７より一フレームの画像データを読み込むとともに、この画像データに対応する距離データを距離データメモリ１２より読み込む。
【００３９】
ステップ２において、車線認識部１３ａは、読み込まれた画像データおよび距離データに基づき、監視領域内の車線を認識する。具体的には、車線認識部１３ａは、道路モデルを算出することにより、道路上に描かれた車線を規定する白線を認識する。この道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現される。すなわち、「車線の認識」とは、この直線式のパラメータを、実際の白線形状に合致するような値に設定することである。
【００４０】
白線は道路面と比較して高輝度であるという知得に基づき、車線認識部１３ａは、道路の幅方向の輝度変化を評価して、監視領域内の白線の位置を画像平面上で特定する。この白線の実空間上の位置（ｘ，ｙ，ｚ）は、画像平面上の位置（ｉ，ｊ）とこの位置に関して算出された視差Ｎｉとに基づいて、すなわち、距離データに基づいて、周知の座標変換式より算出される。自車両の位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。このとき、ｘ−ｚ平面（ｙ＝0）は、道路が平坦な場合、道路面と一致する。道路モデルは、道路上の自車線を距離方向に複数区間に分割し、各区間における左右の白線を三次元の直線で近似し、これらを折れ線状に連結することによって表現される。
【００４１】
ステップ３において、車両認識部１３ｂは、距離データに基づき、監視領域内に存在する立体物を検出するとともに、この検出結果に基づき監視領域内の他車両を特定する。具体的には、車両認識部１３ｂは、読み込まれた距離データを、例えば、図４に示すように、ｉｊ平面において、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分に分割する。そして、分割された区分のそれぞれを処理対象として、以下に示す処理が行われる。
【００４２】
まず、処理対象とする区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差Ｎｉをいう。そして、選択されたデータについて、周知の座標変換式を用いて、三次元位置（ｘ，ｙ，ｚ）が算出される。つぎに、上述した道路モデルの直線式を用い、算出された距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さｙとを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。そして、この区分内のすべてのデータについて、同様の処理が繰り返し実行され、その区分内に存在する立体物データが、順次抽出される。
【００４３】
立体物データの抽出処理が完了すると、次に、抽出された立体物データを処理対象として、ヒストグラムが算出される。このヒストグラムは、予め設定された距離（例えば、15m）の区間に含まれる立体物データの個数を数えることで、例えば、距離ｚを横軸とした立体物データの出現頻度として表される。このヒストグラムが作成されると、出現頻度が所定のしきい値以上で、かつ、最頻距離となる区間が検出される。このとき、車両認識部１３ｂは、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在するデータ数相当の距離ｚの平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離Ｚとして算出される。
【００４４】
そして、距離データに関するすべての区分について、上述した処理が繰り返し実行され、分割された区分相当数の距離Ｚが算出される。
【００４５】
つぎに、算出された区分相当数の距離Ｚに基づき、この距離Ｚが近似している区分同士がグループにまとめられる。この処理では、各区分の立体物の距離Ｚを調べるとともに、隣接する区分において立体物までの距離Ｚの差が判定値以下の場合は同一の立体物とみなし、隣接する区分が同一のグループにまとめられる。一方、この距離Ｚの差が判定値を超えている場合には、これらの区分に関する距離Ｚは別々の立体物の距離を示すものであるとみなし、隣接する区分が異なるグループとして分けられる。そして、まとめられたグループのそれぞれに対し、「側壁」か「物体」かの分類が行れるとともに、グループそれぞれのパラメータが算出される。
【００４６】
この処理では、グループ内の各区分の位置（ｘ，Ｚ）から、ハフ変換または最小二乗法によって近似直線を求めることにより、グループ全体の傾きが算出される。そして、この直線の傾きが、設定値（例えば、４５°）と比較される。算出された直線の傾きが、設定値以下で、かつ、グループ内での距離Ｚの並びが略ｚ軸方向の場合には、このグループが「側壁」とラベル付けされる。一方、算出された直線の傾きが、設定値を超え、かつ、グループ内での距離Ｚの並びが略ｘ軸方向の場合には、このグループが「物体」とラベル付けされる。そして、「物体」とラベル付けされたグループでは、グループ内の距離Ｚから算出される平均距離や、左端、右端のｘ座標等がグループのパラメータとして算出される。また、「側壁」とラベル付けされたグループでは、グループ内の距離Ｚの並びの方向（ｚ軸との傾き）や前後端の位置（ｚ，ｘ座標）等がグループのパラメータとして算出される。
【００４７】
そして、ラベル付けされたグループのうち、同一の立体物であるにも拘わらず、「物体」と「側壁」として個別にラベル付けされているグループが、「物体」と「側壁」との組合わせとして認識される。なぜならば、隣接車線を走行する他車両では、車両側面を「側壁」、車両後面を「物体」としてグループ分けされている可能性があり、これらのグループのそれぞれが独立した立体物として認識される恐れがあるからである。そこで、この処理では、「物体」とラベル付けされたグループの端点の位置と、「側壁」とラベル付けされたグループの端点の位置との差が算出される。各端点の位置は、「物体」が自車両の正面（ｚ軸に相当）より右側にある場合には、「物体」の左端の位置と「側壁」の手前側の端点の位置となる。一方、「物体」が自車両の正面より左側にある場合には、各端点の位置は、「物体」の右端の位置と「側壁」の手前側の端点の位置ととなる。そして、各グループの端点の位置の差が判定値（例えば、1ｍ程度）以内で、互いに接近しているか否かが調べられる。このとき、各グループの端点の位置の差が判定値以内の場合には、これらのグループが同一立体物であると判定される。なぜならば、１個の立体物の後部と側面とが同時に見える場合、その２つの面が作るコーナーは自車両側に凸となっているため、「物体」の左端の位置と「側壁」の手前側の端点の位置と（或いは、「物体」の右端の位置と「側壁」の手前側の端点の位置と）は、本来、一致すると考えられるからである。したがって、２つのグループの位置の差が判定値以内にあるとき、この２つのグループが１個の立体物であると判断されることとなる。
【００４８】
以上の処理により、監視領域内の立体物のそれぞれがグループとして認識され、隣接する車線および自車線上に存在する立体物のグループが他車両として特定される。具体的には、車両認識部１３ｂは、「物体」と「側壁」との組合わせとラベル付けされたグループ、或いは、「側壁」とラベル付けされたグループを、隣接車線に存在する他車両として特定する。一方、車両認識部１３ｂは、基本的に、「物体」とラベル付けされたグループを、自車両と同一の車線に存在する他車両として特定する。
【００４９】
図５は、他車両の特定結果の一例を示す説明図である。同図に示すように、監視領域内の他車両を「物体」・「側壁」のラベル付けがされたグループとして特定しているので、車両認識部１３ｂは「側壁」とラベル付けされたグループを認識することにより、車両側面を認識することができる。また、車両認識部１３ｂは、「物体」とラベル付けされたグループを認識することにより、車両後面を認識することができる。なお、立体物を「物体」・「側壁」として検出する詳細な手法については、特開平１０−２８３４６１号公報に開示されているので、必要ならば参照されたい。
【００５０】
そして、ステップ４において、上述した他車両の特定結果に基づき、隣接車線に他車両が存在するか否かが判断される。このステップ４で肯定判定された場合、ステップ５に進む。一方、このステップ４で否定判定された場合には、後段のステップ８に進む。
【００５１】
ステップ４に続くステップ５において、ウィンカ検出部１３ｃは、特定された隣接車線に存在する他車両について、ウィンカを認識するとともに、このウィンカの点滅状態を検出する。図６は、ウィンカ点滅検出ルーチンを示す詳細なフローチャートである。まず、ステップ５１において、距離データによって規定される画像平面上において、他車両のウィンカ存在するであろう領域に、ウィンカ領域が設定される。
【００５２】
図７は、ウィンカ認識部１３ｃによって設定されるウィンカ領域を示す説明図である。具体的には、隣接車線に存在する他車両についてウィンカ領域を設定する前提として、車両認識部１３ｂで検出された他車両の車両側面と車両後面との境界位置を基準として、距離データ上で基準位置Ｐs（ｉs，ｊs）が決定される。本実施形態では、最も道路側となる境界位置上の点に、この基準位置Ｐs（ｉs，ｊs）が決定されている。そして、この基準位置Ｐs（ｉs，ｊs）に基づいて、道路面よりある程度の高さとなる位置（すなわち、基準位置Ｐs（ｉs，ｊs）からｊ方向にシフトした位置）において、車両後面側に、所定面積の第１のウィンカ領域Ａwin1が設定される。この高さは車両に設けられたウィンカに相当する位置を基準に決定されており、結果として、この第１のウィンカ領域Ａwin1は他車両の車両後面のウィンカ位置に対応する。また、車両側面側に、車両の側面に沿って車長方向に延在する第２のウィンカ領域Ａwin2（この第２のウィンカ領域Ａwin2は所定の幅を有する）が設定される。すなわち、この第２のウィンカ領域Ａwin2は、他車両の車両側面に設けられたウィンカの位置に対応する。
【００５３】
なお、自車両から、隣接する他車両を撮像した場合、自車両の位置より少しだけ前方に存在する他車両は、その車両側面しか検出でできない可能性がある。したがって、ウィンカ領域を設定するための基準位置は、車両側面の端部（正確には、自車両側の端部）を基準とすればよい。すなわち、上述した実施形態は、車両側面の端部位置が、車両後面の位置と一致しているケースであるといえる。例えば、図７に示すように、車両側面のみから認識される他車両（図中、右側の車両）では、車両側面の端部位置を基準として、第２のウィンカ領域Ａwin2のみが設定されることとなる。また、上述したステップ５１の処理では、距離データ上においてウィンカ領域を設定しているが、このウィンカ領域と相当する領域を、画像データ上の対応する位置にウィンカ領域として設定してもよい。
【００５４】
そして、ステップ５２において、画像データに基づき、ウィンカの色成分画素が抽出される。ここで、ウィンカの色成分とは、一般に、オレンジないし黄色であり、このステップ５２では、オレンジないし黄色の画素が抽出される。具体的には、３つの原色画像のそれぞれにおいて、位置的に対応する画素を処理対象として、Ｇ画像とＲ画像との輝度値の比Ｇ/Ｒと、Ｇ画像とＢ画像との輝度値の比Ｇ/Ｂとが求められる。そして、求められたＧ/ＲとＧ/Ｂとが予め設定された設定範囲内（すなわち、オレンジないし黄色となるＧ/Ｒの範囲とＧ/Ｂの範囲）に存在する画素が、ウィンカの色成分画素として抽出される。
【００５５】
ステップ５３において、抽出されたウィンカの色成分画素のうち、座標位置的に連続する画素が、グループＧnとしてまとめられる（グループ化）。そして、まとめられたグループＧnのそれぞれを処理対象として、グループの面積Ｗgnと、画像平面上での重心位置Ｐgn（ｉgn，ｊgn）とが算出される（ステップ５４）。
【００５６】
つぎに、ステップ５５において、グループＧnの重心位置Ｐgn（ｉgn，ｊgn）が、ステップ５１で設定された第１および第２のウィンカ領域Ａwin1，Ａwin2に相当する画像平面上での領域と位置的に対応するか否かが判断される。このステップ５５で否定判定された場合、このグループＧnがウィンカではないと判断され、図３に示すステップ８に進む。一方、このステップ５５で肯定判定された場合、このグループＧnがウィンカである可能性が高いと判断され、ステップ５６に進む。
【００５７】
ステップ５５に続くステップ５６において、グループＧnの重心位置Ｐgn（ｉgn,ｊgn）が第１および第２のウィンカ領域Ａwin1，Ａwin2と位置的に対応すると判断されたグループＧnの面積Ｗgnが、所定の判定値Ｗth以上であるか否かが判断される。ここで、この所定の設定値Ｗthは、グループＧnの面積Ｗgnがウィンカの大きさと等価であると認められる程度の値として決定されており、第１および第２のウィンカ領域Ａwin1，Ａwin2の距離データ上の位置上に応じてその値が異なる。すなわち、設定された第１および第２のウィンカ領域Ａwin1，Ａwin2の位置に対応する実空間での位置が自車両から遠い場合は、この所定の判定値Ｗthは遠近を考慮して、ある程度小さな値となる。一方、設定された第１および第２のウィンカ領域Ａwin1，Ａwin2の位置に対応する実空間での位置が自車両に近い場合は、この所定の判定値Ｗthは遠近を考慮して、ある程度大きな値となっている。
【００５８】
そして、このステップ５６で否定判定された場合、このグループＧnがウィンカと認められる程度の面積を有さないと判断され、図３に示すステップ８に進む。一方、ステップ５６で肯定判定された場合、このグループＧnがウィンカとして判断され、グループＧnの面積Ｗgnを例えばＲＡＭ領域に格納し、ステップ５７に進む。
【００５９】
ステップ５６に続くステップ５７において、格納されたグループＧnの面積Ｗgnうち、過去Ｍ回に検出されたグループ面積Ｗgnの平均値Ｗaが算出される。この過去Ｍ回のデータは、ウィンカが点滅しているか否かを判断し得る程度の回数相当のデータである。例えば、ウィンカの点滅状態を判断し得る時間を2秒とした場合、本ルーチンの実行間隔を0.01秒としたならば、処理対象とするデータ数Ｍは200回となる。なお、現在の検出数がＭ回以下である場合には、この平均値Ｗaは、現在までに検出されているグループ面積Ｗgnの平均値として算出される。
【００６０】
ステップ５８において、点滅判定値Ｂが算出される。この点滅判定値Ｂは、検出されたグループ面積Ｗgnと、グループ面積Ｗgnの過去Ｍ回の平均値Ｗaとの差（絶対値）の過去Ｍ回における総和である（Σ｜Ｗgn−Ｗa｜）。この点滅判定値Ｂは、ウィンカの点滅回数が多い程その値が大きくなり、ウィンカの点滅回数が少ないほどその値が小さくなる傾向となる。そして、この点滅判定値Ｂの算出にともない、本ルーチンを抜ける。
【００６１】
再び図３を参照して、ステップ６において、ウィンカ点滅検出ルーチンで算出された点滅判定値Ｂと、判定値Ｂthとが比較される。ここで、この点滅判定値Ｂと比較対象となる判定値Ｂthは、ウィンカが点滅していると認められる程度の点滅判定値Ｂの最小値として決定されている。したがって、この比較結果に基づき、点滅判定値Ｂが判定値Ｂth以上である場合には、隣接車線に存在する他車両のウィンカが点滅していると判断され、ステップ７に進む。一方、この比較結果に基づき、点滅判定値Ｂが判定値Ｂthより小さい場合には、隣接車線に存在する他車両のウィンカが点滅していない判断され、ステップ８に進む。
【００６２】
そして、ステップ６に続くステップ７において、隣接車線を走行する他車両のウィンカの点滅判断をうけ、ウィンカ認識部１３ｃは、自車線への合流車両があると判断する。このとき、マイクロコンピュータ１３は、警報装置１４を作動させて、ドライバーに対して、合流車両の存在を注意してもよい。また、自車線への合流車両がある場合には、制御装置１５の制御基準となる対象他車両がこの合流車両に切り換えられるとともに、必要に応じてＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が行われる。
【００６３】
一方、ステップ８において、隣接車線を走行する他車両のウィンカの非点滅の判断をうけ、ウィンカ認識部１３ｃは、自車線への合流車両はないと判断する。この場合、マイクロコンピュータ１３は、通常の車両監視を行うべく、先行車（或いは、障害物）との車間距離と相対速度を基準とした衝突防止や、車線逸脱防止といった車両制御を行う。
【００６４】
以上説明したように、本実施形態に示す車両監視手法では、まず、監視領域内の隣接車線を走行する他車両にあたり、この他車両を車両側面・車両後面として認識している。そして、認識された車両側面の端部位置を基準として、ウィンカ領域が設定されている。これにより、ウィンカ位置が両端に存在しないような場合（例えば、自車両から眺めた隣接車線を走行する他車両）であっても、他車両の車両側面の端部を基準とすることで、ウィンカ領域が他車両のウィンカ位置上に設定されるので、ウィンカを有効に認識することができる。また、カメラの画角範囲に他車両の車両後面が入りきらないような場合であっても、他車両の車両側面の端部を基準とすることで、ウィンカ領域が車両側面のウィンカ位置上に設定されるので、ウィンカを有効に認識することができる。このようにウィンカを認識することにより、認識されたウィンカから、他車両の挙動を監視することができる。例えば、点滅状態を判断することにより、隣接車線に存在する他車両が自車線に合流する車両であるか否かを把握することができる。これにより、合流車両の存在をドライバーへ注意を促したり、或いは、この合流車両に着目して車両制御を行うことができるので、車両監視の安全性・信頼性を向上させることができる。
【００６５】
なお、本実施形態では、ステレオマッチングを用いて距離データを算出したが、レーザレーダまたはミリ波レーダ等の種々のセンサを用いることにより、距離データを出力してもよい。すなわち、図１に示す車両監視装置において、カメラ１，２によって撮像された撮像画像に基づき、距離データを算出するステレオ画像処理部６は、これらのセンサと同様な機能を有する。
【００６６】
また、上述した実施形態では、カメラ１，２から出力されるカラー画像を用いて、距離データの算出、および、ウィンカの点滅検出を行う構成であったが、本発明はこのような形態に限定されない。図８は、本実施形態にかかる別の走行支援機能付きの車両監視装置の概略的なブロック図である。同図に示す車両監視装置が上述した実施形態と相違する点は、図１に示すカラーステレオカメラ（カメラ１，２）と置換して、モノクロステレオカメラ（カメラ１６，１７）と、カラーカメラ（カメラ１８）とを有していることである。また、図８に示す車両監視装置では、モノクロステレオカメラの使用にともない、図１に示した融合処理部８と、検出対象選定部９とを構成要素として有さない。すなわち、図８に示す車両監視装置では、モノクロステレオカメラからの出力画像に基づき距離データが算出され、この距離データに基づき監視領域内の車線および車両が認識される。また、これらの認識結果とともに、カラーカメラ（カメラ１８）からの出力画像に基づき、ウィンカの点滅検出が行われる。このような構成であっても、上述した実施形態と同様の作用・効果を奏することができる。また、かかる車両監視装置は、図１に示した車両監視装置と比べて、ステレオマッチングを行う際カラー画像を用いない分、計算処理を簡略化できるという長所を有する。
【００６７】
【発明の効果】
このように、本発明の手法によれば、他車両の車両側面の端部を基準とすることで、ウィンカ領域が他車両のウィンカ位置上に設定されることとなるので、ウィンカを有効に認識することができる。これにより、隣接車線を走行する他車両のウィンカを認識することができるので、この他車両の挙動を有効に監視することができる。
【図面の簡単な説明】
【図１】本実施形態にかかる走行支援機能付きの車両監視装置の概略的なブロック図
【図２】色情報テーブルの一例を示す図
【図３】本実施形態にかかる車両監視手順を示すフローチャート
【図４】複数の区分に分割された距離データを示す説明図
【図５】車両の特定結果の一例を示す説明図
【図６】ウィンカ点滅検出ルーチンを示す詳細なフローチャート
【図７】ウィンカ認識部によって設定されるウィンカ領域を示す説明図
【図８】本実施形態にかかる別の走行支援機能付きの車両監視装置の概略的なブロック図
【符号の説明】
１ メインカメラ
２ サブカメラ
３ アナログインターフェース
３ａ ゲインコントロールアンプ
４ Ａ／Ｄコンバータ
５ 画像補正部
６ ステレオ画像処理部
７ 画像データメモリ
８ 融合処理部
９ 検出対象選定部
１０ マイクロコンピュータ
１１ メモリ
１１ａ 色情報テーブル
１２ 距離データメモリ
１３ マイクロコンピュータ
１３ａ 車線認識部
１３ｂ 車両認識部
１３ｃ ウィンカ認識部
１４ 警報装置
１５ 制御装置

Claims (10)

1. 自車両が走行する車線に隣接する隣接車線を走行する他車両のウィンカ状態から、当該他車両の挙動を監視する車両監視装置において、
   監視領域を含む景色を撮像することにより、カラー画像を出力する第１のカメラと、
   前記監視領域内における距離の二次元的な分布を示す距離データを出力するセンサと、
   少なくとも前記距離データに基づき、前記監視領域内の車線を認識する車線認識部と、
   前記距離データに基づき、前記認識された車線から隣接車線を走行する他車両を特定するとともに、当該特定された他車両の車両側面と車両後面とを認識する車両認識部と、
   前記カラー画像または前記距離データによって規定される二次元平面上において、前記認識された車両側面と車両後面との境界位置を基準として所定面積のウィンカ領域を設定し、前記カラー画像に基づいてウィンカの色成分の画素を検出するとともに、前記設定されたウィンカ領域に対応する前記カラー画像上の領域と位置的に対応する前記検出された画素をウィンカとして認識するウィンカ認識部と
   を有することを特徴とする車両監視装置。
2. 前記ウィンカ認識部は、前記端部位置を基準として、前記車両側面に対応する領域にウィンカ領域を設定することを特徴とする請求項１に記載された車両監視装置。
3. 前記ウィンカ認識部は、前記端部位置を基準として、車両後面に対応する領域にもウィンカ領域を設定することを特徴とする請求項２に記載された車両監視装置。
4. 前記ウィンカ認識部は、前記ウィンカとして認識された画素の時系列的な面積変化に基づき、前記他車両のウィンカが点滅しているか否かを判断することを特徴とする請求項１から３のいずれかに記載された車両監視装置。
5. 前記車両認識部は、前記特定された他車両の車両側面と車両後面とを個別に認識し、
   前記ウィンカ認識部は、前記車両認識部が前記特定された他車両の車両後面を認識している場合、前記車両側面と前記車両後面との境界位置を基準として、前記ウィンカ領域を設定することを特徴とする請求項１から４のいずれかに記載された車両監視装置。
6. 前記監視領域を含む景色を撮像することにより、カラー画像を出力し、かつ、前記第１のカメラと協働することによってステレオカメラとして機能する第２のカメラをさらに有し、
   前記センサは、前記第１のカメラから出力されるカラー画像と、前記第２のカメラから出力されるカラー画像とに基づき、ステレオマッチングによって、前記距離データを出力することを特徴とする請求項１から５のいずれかに記載された車両監視装置。
7. 前記監視領域を含む景色を撮像することにより、一対の画像データを出力するモノクロステレオカメラをさらに有し、
   前記センサは、当該モノクロステレオカメラから出力された一対の画像データに基づいて、ステレオマッチングによって前記距離データとして出力することを特徴とする請求項１から５のいずれかに記載された車両監視装置。
8. 監視領域を含む景色をカメラで撮像することにより取得されたカラー画像と、前記監視領域内における距離の二次元的な分布を示す距離データとに基づいて、自車両が走行する車線と隣接する車線を走行する他車両のウィンカ状態から、当該他車両の挙動を監視する車両監視方法において、
   前記監視領域内の車線を認識する第１のステップと、
   前記認識された車線から隣接車線を走行する他車両を特定するとともに、当該特定された他車両の車両側面と車両後面とを認識する第２のステップと、
   前記カラー画像または前記距離データによって規定される二次元平面上において、前記認識された車両側面と車両後面との境界位置を基準として所定面積のウィンカ領域を設定する第３のステップと、
   前記カラー画像に基づいてウィンカの色成分の画素を検出する第４のステップと、
   前記設定されたウィンカ領域に対応する前記カラー画像上の領域と位置的に対応する前記検出された画素をウィンカとして認識する第５のステップと
   を有することを特徴とする車両監視方法。
9. 前記第３のステップは、前記端部位置を基準として、前記車両側面に対応する領域にウィンカ領域を設定することを特徴とする請求項８に記載された車両監視方法。
10. 前記第３のステップは、前記端部位置を基準として、車両後面に対応する領域にもウィンカ領域を設定することを特徴とする請求項９に記載された車両監視方法。

Images