JP5065172B2 - 車両灯火判定装置及びプログラム - Google Patents

Description

本発明は、車両灯火判定装置及びプログラムに係り、特に、撮像画像が、車両灯火を表わしているか否かを判定する車両灯火判定装置及びプログラムに関する。

従来より、白黒センサにより、夜間道路の光景を表す画像を取得し、画像から光源に対応する領域を抽出し、領域内の光強度の分布に基づいて、光源の種類を判別する方法が知られている（特許文献１）。

また、車両の前方画像から、明るい部分の大きさに基づき対称性を持ったペアを抽出し、所定時間後の画像においてこのペアの対称性を追跡し、追跡できたときには、そのライトが他車の光源であると判断する夜間用車両認識装置が知られている（特許文献２）。
特開２００７−２３８０９０号公報 特開平８−１６６２２１号公報

しかしながら、上記特許文献１に記載の技術では、画像中から抽出した光源領域について、光強度の分布に基づいて、車両光源であるか看板等の二次光源であるかを判別しているが、街路灯のような自発光物を、車両光源であると誤って判定してしまう、という問題がある。

また、上記特許文献２に記載の技術では、時系列の追跡により誤検出を低減しているが、対象車両が自車両とかなり離れた地点に存在する場合、短い観測時間の間には見え方がほとんど変化しないため、精度よく車両判定を行うことができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる車両灯火判定装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１発明に係る車両灯火判定装置は、撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、予め求められた路面を基準とした前記撮像装置の取付位置の高さ、予め求められた前記撮像装置の光軸の方向、及び前記撮像画像における前記一対の高輝度領域の高さに基づいて求められる前記候補領域が表わす一対の灯火が存在する路面を基準とした高さを算出する算出手段と、前記算出手段によって算出された前記路面を基準とした高さが所定範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段とを含んで構成されている。

第２発明に係るプログラムは、コンピュータを、撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、予め求められた路面を基準とした前記撮像装置の取付位置の高さ、予め求められた前記撮像装置の光軸の方向、及び前記撮像画像における前記一対の高輝度領域の高さに基づいて求められる前記候補領域が表わす一対の灯火が存在する路面を基準とした高さを算出する算出手段、及び前記算出手段によって算出された前記路面を基準とした高さが所定範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段として機能させるためのプログラムである。

本発明によれば、領域抽出手段によって、撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出し、候補探索手段によって、領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する。

そして、算出手段によって、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、予め求められた路面を基準とした前記撮像装置の取付位置の高さ、予め求められた前記撮像装置の光軸の方向、及び前記撮像画像における前記一対の高輝度領域の高さに基づいて求められる前記候補領域が表わす一対の灯火が存在する路面を基準とした高さを算出する。

判定手段によって、前記算出手段によって算出された前記路面を基準とした高さが所定範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する。

このように、候補領域が表わす車両の一対の灯火が存在する路面を基準とした高さを用いて、候補領域が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が、車両灯火を表わしているか否かを精度よく判定することができる。

本発明に係る算出手段は、路面を基準とした高さを算出し、判定手段は、算出手段によって算出された路面を基準とした高さが所定範囲内である場合、候補領域が、車両の一対の灯火を表わしていると判定することができる。これによって、候補領域が表わす一対の灯火が存在する路面を基準とした高さを用いて、撮像画像が、車両灯火を表わしているか否かを精度よく判定することができる。

第３発明に係る車両灯火判定装置の算出手段は、候補領域が表わす一対の灯火までの距離を算出し、判定手段は、候補領域の一対の高輝度領域の面積が、候補領域が表わす車両の一対の灯火までの距離に応じて予め定められた車両灯火を表わす領域の面積の範囲内である場合、候補領域が、車両の一対の灯火を表わしていると判定することができる。これによって、候補領域が表わす一対の灯火までの距離と候補領域の一対の高輝度領域の大きさとを用いて、撮像画像が、車両灯火を表わしているか否かを精度よく判定することができる。

第４発明に係る車両灯火判定装置は、自装置の周辺の道路領域を示す道路情報を取得する取得手段を含み、算出手段は、候補領域が表わす一対の灯火が存在する水平面上の位置を算出し、判定手段は、取得手段によって取得された道路情報及び算出手段によって算出された位置に基づいて、算出された位置が、道路情報が示す道路領域内に存在する場合、候補領域が、車両の一対の灯火を表わしていると判定することができる。これによって、候補領域が表わす一対の灯火が存在する水平面上の位置と自装置の周辺の道路領域を示す道路情報とを用いて、撮像画像が、車両灯火を表わしているか否かを精度よく判定することができる。

上記の候補探索手段は、領域抽出手段によって抽出された高輝度領域の縦方向及び横方向の各々の長さ、縦横比、面積、及び輝度値の少なくとも一つに基づいて、候補領域を探索する。これによって、横方向に並んだ一対の高輝度領域を候補領域として精度よく探索することができる。

また、上記の候補探索手段は、領域抽出手段によって抽出された高輝度領域の横方向の長さに基づいて、該高輝度領域を含む候補領域の探索範囲を設定することができる。これによって、横方向に並んだ一対の高輝度領域を候補領域として高速に探索することができる。

上記の領域抽出手段は、複数の車両灯火の種類に応じて設定された閾値に基づいて、車両灯火の種類の各々について、撮像画像から、輝度値が、対応する閾値以上となる高輝度領域を抽出し、候補探索手段は、車両灯火の種類の各々について、車両灯火の種類について抽出された高輝度領域から、候補領域を探索し、判定手段は、算出手段によって算出された車両灯火の種類の候補領域が表わす一対の灯火までの距離、水平面を基準とした高さ、及び水平面上の位置の少なくとも１つに基づいて、候補領域が、車両灯火の種類の一対の灯火を表わしているか否かを判定することができる。これによって、撮像画像が、車両灯火の種類別に、車両灯火を表わしているか否かを精度よく判定することができる。

上記の車両灯火判定装置は、判定手段の判定結果を出力する出力手段を更に含むことができる。これによって、撮像画像が、車両灯火を表わしていることをユーザに知らせることができる。

また、上記の車両灯火判定装置は、判定手段の判定結果に応じて、自車両に設けられた照明装置を制御する照明制御手段を更に含むことができる。これによって、周辺車両の存在に応じて照明装置による照明を適切に制御することができる。

以上説明したように、本発明の車両灯火判定装置及びプログラムによれば、候補領域が表わす車両の一対の灯火までの距離、一対の灯火が存在する路面を基準とした高さ、又は一対の灯火が存在する水平面上の位置を用いて、候補領域が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が、車両灯火を表わしているか否かを精度よく判定することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された前方画像に基づいてヘッドライトを制御する照明制御装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る照明制御装置１０は、自車両の前方の画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、カーナビ画面等を表示する表示装置１４と、撮像された前方画像に基づいて、自車両に設けられたヘッドライト１６を制御すると共に、表示装置１４の表示を制御するコンピュータ１８とを備えている。なお、撮像装置１２は、カメラの台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。

コンピュータ１８は、ＣＰＵ、後述する照明制御処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１８は、撮像装置１２から出力される前方画像を入力する画像入力部２０と、画像入力部２０の出力である前方画像の各画素について、輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を抽出する領域抽出部２２と、抽出された複数の高輝度領域から、高輝度領域の類似性に基づいて、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索するペア候補探索部２４と、探索された車両灯火ペア候補の各々について、３次元位置を算出する３次元位置算出部２６と、算出された３次元位置の高さ成分に基づいて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定する車両灯火ペア判定部２８と、判定結果に基づいて、表示装置１４の表示を制御する表示制御部３０と、判定結果に基づいて、ヘッドライト１６を制御する照明制御部３２とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

領域抽出部２２は、画像入力部２０によって入力された図２に示すような前方画像の各画素の輝度値を閾値処理して、図３に示すように、光源に対応する高輝度領域を抽出する。

ペア候補探索部２４は、抽出された複数の高輝度領域から、以下に説明するように、車両灯火ペア候補を探索する。まず、ペア探索対象の高輝度領域について、予め定められた車両灯火の横方向の長さと灯火ペア間の間隔との比を用いて、高輝度領域の横方向の長さに対応する灯火ペア間の間隔を横方向の長さとするペア探索範囲を、高輝度領域の左右に設定する。

そして、ペア探索範囲内に存在する高輝度領域と、ペア探索対象の高輝度領域とを比較して、領域の縦方向の長さの差が所定範囲内であり、かつ、横方向の長さの差が所定範囲内である場合には、領域の縦方向の長さと横方向の長さとがほぼ同一であると判断し、ペア探索対象の高輝度領域と、比較対象の高輝度領域とを、車両灯火ペア候補とする。

上記の探索処理を、各高輝度領域について行い、複数の車両灯火ペア候補を探索する。なお、上記では、車両灯火ペア候補として判断する条件が、領域の縦方向の長さ及び横方向の長さの類似性に関する条件である場合を例に説明したが、これに限定されるものではなく、領域の縦横比がほぼ同一であること、領域面積がほぼ同一であること、及び輝度値がほぼ同一であることの何れかを、車両灯火ペア候補として判断する条件としてもよく、また、領域の縦方向の長さ及び横方向の長さがほぼ同一であること、領域面積がほぼ同一であること、及び輝度値がほぼ同一であることの任意の組み合わせを、車両灯火ペア候補として判断する条件としてもよい。

ここで、本実施の形態の原理について説明する。車両灯火のペアは、多くの場合車両の両端に設置されている。また、車幅は、車種によって違いはあるものの、例えば乗用車については１．６〜１．８ｍとほぼ規定の車幅となるように製造されている。したがって、車幅を仮定し、灯火間隔も同程度の距離であると仮定すると、三角測量の原理により、画像中での光源間の距離に基づいて、対象車両までの距離を概算することができる。さらに、カメラの取付状況（高さや、俯角、ヨー角）も考慮すれば、対象車両の高さや横位置を計算することができる。

そこで、本実施の形態では、３次元位置算出部２６によって、図４に示すように、灯火間隔ｗを仮定して、以下の（１）式〜（３）式に従って、前方画像中での車両灯火ペア候補が車両灯火のペアを表していると推定した場合の車両灯火のペアの中点の３次元座標（ｘ,ｙ,ｚ）を算出することができる。なお、簡単のため、撮像装置１２の光軸が水平であり、かつ、撮像装置１２の光軸が車両の正面方向と一致している場合を仮定する。

ただし、（Ｘ、Ｙ）は、前方画像における車両灯火ペア候補の１対の高輝度領域の中点の座標であり、（Ｘ_Ｃ、Ｙ_Ｃ）は、前方画像の中心座標である。また、ｈは、予め求められた撮像装置１２の取り付け位置の路面を基準とした高さ、ｆは、予め求められた撮像装置１２の焦点距離である。また、ｄ_ｘは、前方画像における車両灯火ペア候補の１対の高輝度領域の重心間の距離である。

なお、上記（１）式〜（３）式では、撮像装置１２の光軸が水平であり、かつ、撮像装置１２の光軸が車両の正面方向と一致している場合の算出方法について説明したが、撮像装置１２の取り付けにおいて、撮像装置１２の光軸が、水平でない場合や車両の正面方向と一致しない場合には、撮像装置１２の光軸の水平面に対する俯角や、撮像装置１２の光軸の車両正面方向に対するヨー角（方位角）を更に考慮して、車両灯火ペアの３次元座標を算出するようにすればよい。

また、「道路運送車両の保安基準の細目を定める告示」にて、車両灯火の取付位置に関する条件が規定されている。例えば、ブレーキランプについては、上縁の高さが地上２．１ｍ以下であって、下縁の高さが地上０．３５ｍ以上となるように取り付けることが規定されており、テールランプについては、照明部の中心が地上２ｍ以下となるように取り付けることが規定されている。また、ヘッドライトについては、取付位置が地上１ｍ以下となるように取り付けることが規定されている。

そこで、車両灯火ペア判定部２８は、算出された３次元位置の高さが、路面を基準とした、車両灯火の取り付け位置の高さに関する所定範囲（０．３５ｍ〜２．１ｍ）内に存在するか否かを判定し、算出された３次元位置の高さが、上記の所定範囲内となる車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定し、一方、算出された３次元位置の高さが、上記の所定範囲外となる車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

表示制御部３０は、前方画像から探索された車両灯火ペア候補が車両灯火のペアを表わしていると判定された場合、車両灯火ペアが存在することを運転者に提示するための画像を生成して、生成した画像を表示装置１４に表示させる。

照明制御部３２は、前方画像から探索された車両灯火ペア候補が車両灯火のペアを表わしていると判定された場合、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御し、前方画像から探索された全ての車両灯火ペア候補が車両灯火のペアを表わしていないと判定された場合、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御する。

次に、第１の実施の形態に係る照明制御装置１０の作用について説明する。照明制御装置１０を搭載した自車両が夜間に道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ１８において、図５に示す照明制御処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、上記ステップ１００で取得した前方画像の各画素について、輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を抽出する。

そして、ステップ１０４で、上記ステップ１０２で抽出された高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対照の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の縦方向及び横方向の大きさと、探索範囲内に存在する高輝度領域の縦方向及び横方向の大きさとを比較して、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索する。

次のステップ１０６では、上記ステップ１０４で探索された車両灯火ペア候補の各々について、仮定した灯火間隔、前方画像から算出される前方画像における車両灯火ペア候補の１対の高輝度領域の中点の座標、予め求められた撮像装置１２の取り付け位置の路面を基準とした高さ、予め求められた撮像装置１２の焦点距離、及び前方画像から算出される前方画像における車両灯火ペア候補の１対の高輝度領域間の間隔に基づいて、上記（１）式〜（３）式に従って、車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出する。

そして、ステップ１０８において、上記ステップ１０６で算出された車両灯火ペア候補の各々の３次元位置の高さ成分ｙが、車両灯火の取り付け位置の高さについて予め定められた所定範囲内であるか否かを判定して、車両灯火ペア候補の各々が、車両灯火ペアを表わしているか否かを判定する。

次のステップ１１０では、上記ステップ１０８の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定する。前方画像から探索された車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、ステップ１１２において、前方に車両灯火のペアが存在することを表示装置１４に表示させる。そして、ステップ１１４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、上記ステップ１１０において、前方画像から探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ステップ１１６へ移行し、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る照明制御装置によれば、車両灯火ペア候補が表わす車両灯火ペアが存在する路面を基準とした高さを用いて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

また、抽出された高輝度領域の縦方向及び横方向の各々の長さに基づいて、車両灯火ペア候補を探索することによって、横方向に並んだ類似した高輝度領域のペアを車両灯火ペア候補として精度よく探索することができる。

また、ペア探索対象の高輝度領域の横方向の長さに基づいて、ペア探索対象の高輝度領域の左右の各々に探索範囲を設定することにより、横方向に並んだ類似した高輝度領域のペアを車両灯火ペア候補として高速に探索することができる。

また、周辺車両の存在に応じて、ヘッドライトのハイビーム及びロービームの切り替えを適切に制御することができる。

また、算出した３次元位置の高さ情報から、車両灯火と街路灯とを精度よく区別することができる。

なお、上記の実施の形態では、車両灯火ペアの３次元位置を算出して、車両灯火ペアの高さを求める場合を例に説明したが、これに限定されるものではなく、仮定した車両灯火ペアの灯火間の距離、前方画像から得られる車両灯火ペア候補の一対の高輝度領域間の距離、路面を基準とした撮像装置の取付位置の高さ、予め求められた水平面を基準とした撮像装置の光軸の俯角、及び前方画像から得られる前方画像における車両灯火ペア候補の高輝度領域の座標の高さ成分に基づいて、三角測量の原理より、車両灯火ペアの高さを求めるようにしてもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る照明制御装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、車両灯火ペア候補から推定される車両灯火ペアまでの距離と、車両灯火ペア候補の高輝度領域の輝度値とに基づいて、車両灯火ペア候補が車両灯火のペアを表わしているか否かを判定している点が第１の実施の形態と異なっている。

第２の実施の形態に係る照明制御装置のコンピュータ１８では、３次元位置算出部２６によって、前方画像中での車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出すると共に、算出された３次元位置に基づいて、自車両から算出された３次元位置までの距離を算出する。

また、「道路運送車両の保安基準の細目を定める告示」にて、車両灯火の明るさに関する条件が規定されている。例えば、ブレーキランプについては、昼間に１００ｍ離れた位置から点灯を確認できるような明るさであって、光源が１５Ｗ以上６０Ｗ以下であることが規定されており、テールランプについては、昼間に１５０ｍ離れた位置から点灯を確認できる明るさであって、光源が３Ｗ以上であることが規定されており、ヘッドライトについては、夜間に前方１５ｍの距離にある障害物を確認できる明るさであることが規定されている。

また、撮像画像の車両灯火を表わす領域の輝度値は、撮像装置から車両灯火までの距離の２乗に反比例して低下する。従って、車両灯火の明るさを仮定すれば、車両灯火までの距離が所定距離である場合に、撮像画像の車両灯火を表わす領域を推定することができる。

そこで、車両灯火ペア判定部２８では、車両灯火を表わす領域の輝度値の範囲を予め定めておき、各車両灯火ペア候補について、一対の高輝度領域の平均輝度値を検出する。また、車両灯火ペア判定部２８は、検出された車両灯火ペア候補の一対の高輝度領域の平均輝度値が、平均輝度値及び距離について定められた条件として、算出された３次元位置に基づく距離に応じて推定される車両灯火の輝度値の範囲内に存在するか否かを判定し、検出された一対の高輝度領域の平均輝度値が、上記の算出された距離に応じた輝度値の範囲内となる車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定し、一方、検出された一対の高輝度領域の平均輝度値が、上記の算出された距離に応じた輝度値の範囲外となる車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

なお、車両灯火を表わす領域の輝度値の範囲については、統計的又は実験的に、「道路運送車両の保安基準の細目を定める告示」に規定されている明るさの車両灯火を撮像した画像から、車両灯火を表わす領域の輝度値を調べておき、車両灯火を表わす領域の輝度値の範囲を予め設定しておけばよい。また、車両灯火までの距離と、車両灯火の輝度値の範囲との関係については、統計的又は実験的に、車両灯火までの距離が異なる複数パターンについて、上記の輝度値の範囲となる車両灯火を撮像した場合の車両灯火を表わす領域の輝度値を調べておき、車両灯火までの距離と車両灯火の輝度値の範囲との関係を予め設定しておけばよい。

次に、第２の実施の形態に係る照明制御処理ルーチンについて図６を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ１００で、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出し、次のステップ１０４で、抽出された高輝度領域から、車両灯火ペア候補を探索する。

そして、ステップ２００において、探索された車両灯火ペア候補の各々について、車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出すると共に、算出した３次元位置までの距離を算出する。

そして、ステップ２０２において、車両灯火ペア候補の各々について、一対の高輝度領域の平均輝度値を検出し、次のステップ２０４で、算出された距離、及び予め定められた車両灯火の輝度値の範囲と距離との関係に基づいて、算出された距離に応じた車両灯火の輝度値の範囲を算出する。

そして、ステップ２０６において、車両灯火ペア候補の各々について、検出された一対の高輝度領域の平均輝度値が、算出された距離に応じた車両灯火の輝度値の範囲内であるか否かを判定して、車両灯火ペア候補の各々が、車両灯火ペアを表わしているか否かを判定する。

次に、ステップ１１０で、上記ステップ２０６の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定し、車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、ステップ１１２で、前方に車両灯火のペアが存在することを表示装置１４に表示させると共に、ステップ１１４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、上記ステップ１１０で、探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ステップ１１６において、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る照明制御装置によれば、車両灯火ペア候補が表わす車両灯火ペアまでの距離と車両灯火ペア候補の一対の高輝度領域の平均輝度値とを用いて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

なお、上記の実施の形態では、車両灯火ペア候補について、一対の高輝度領域の平均輝度値を検出して、推定される輝度値の範囲内に存在するか否かを判定する場合を例に説明したが、これに限定されるものではなく、車両灯火ペア候補について、右側の高輝度領域の平均輝度値及び左側の高輝度領域の平均輝度値を検出して、各々の平均輝度値について、推定される輝度値の範囲内に存在するか否かを判定するようにしてもよい。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る照明制御装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、車両灯火ペア候補から推定される車両灯火ペアまでの距離と、車両灯火ペア候補の高輝度領域の面積とに基づいて、車両灯火ペア候補が車両灯火のペアを表わしているか否かを判定している点が第１の実施の形態と異なっている。

第３の実施の形態に係る照明制御装置のコンピュータ１８では、３次元位置算出部２６によって、前方画像中での車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出すると共に、算出された３次元位置に基づいて、自車両から算出された３次元位置までの距離を算出する。

また、「道路運送車両の保安基準の細目を定める告示」にて、車両灯火の面積に関する条件が規定されている。例えば、ブレーキランプについては、照明部の面積が２０ｃｍ^２以上であることが規定されており、テールランプについては、照明部の面積が１０ｃｍ^２以上であることが規定されている。

また、撮像画像の車両灯火を表わす領域の大きさは、撮像装置から車両灯火までの距離の２乗に反比例して小さくなる。従って、車両灯火の大きさを仮定すれば、車両灯火までの距離が所定距離である場合に、撮像画像の車両灯火を表わす領域の大きさを推定することができる。

そこで、車両灯火ペア判定部２８では、車両灯火を表わす領域の面積の範囲を予め定めておき、各車両灯火ペア候補について、一対の高輝度領域の平均面積を算出する。また、車両灯火ペア判定部２８は、算出された車両灯火ペア候補の一対の高輝度領域の平均面積が、平均面積及び距離について定められた条件として、算出された３次元位置に基づく距離に応じて推定される車両灯火の面積の範囲内に存在するか否かを判定し、検出された一対の高輝度領域の平均面積が、上記の算出された距離に応じた面積の範囲内となる車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定し、一方、検出された一対の高輝度領域の平均面積が、上記の算出された距離に応じた面積の範囲外となる車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

なお、車両灯火を表わす領域の面積の範囲については、統計的又は実験的に、「道路運送車両の保安基準の細目を定める告示」に規定されている大きさの車両灯火を撮像した画像において、車両灯火を表わす領域の面積を調べておき、車両灯火を表わす領域の面積の範囲を予め設定しておけばよい。また、車両灯火までの距離と、車両灯火の面積の範囲との関係については、統計的又は実験的に、車両灯火までの距離が異なる複数パターンについて、上記の面積の範囲となる車両灯火を撮像した場合の車両灯火を表わす領域の面積を調べておき、車両灯火までの距離と車両灯火の面積の範囲との関係を予め設定しておけばよい。

また、第３の実施の形態に係る照明制御処理ルーチンでは、撮像装置１２より撮像された前方画像を取得し、取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出し、抽出された高輝度領域から、車両灯火ペア候補を探索する。

そして、探索された車両灯火ペア候補の各々について、車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出すると共に、算出した３次元位置までの距離を算出する。

そして、車両灯火ペア候補の各々について、一対の高輝度領域の平均面積を算出し、また、算出された距離、及び予め定められた車両灯火の面積の範囲と距離との関係に基づいて、算出された距離に応じた車両灯火の面積の範囲を算出する。

そして、車両灯火ペア候補の各々について、算出された一対の高輝度領域の平均面積が、算出された距離に応じた車両灯火の面積の範囲内であるか否かを判定して、車両灯火ペア候補の各々が、車両灯火のペアを表わしているか否かを判定する。

次に、判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定し、車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、前方に車両灯火のペアが存在することを表示装置１４に表示させると共に、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る照明制御装置によれば、車両灯火ペア候補が表わす車両灯火ペアまでの距離と車両灯火ペア候補の一対の高輝度領域の平均面積とを用いて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

なお、上記の第２の実施の形態及び第３の実施の形態では、車両灯火ペアの３次元位置を算出して、車両灯火ペアまでの距離を求める場合を例に説明したが、これに限定されるものではなく、仮定した車両灯火ペアの灯火間の距離、前方画像から得られる車両灯火ペア候補の一対の高輝度領域間の距離、及び撮像装置の焦点距離に基づいて、三角測量の原理により、車両灯火ペア候補が表わす車両灯火ペアまでの距離を求めるようにしてもよい。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第４の実施の形態では、前方画像から水平面上の道路領域を認識している点と、車両灯火ペア候補から推定される車両灯火ペアの水平面上の位置と、認識された水平面上の道路領域とに基づいて、車両灯火ペア候補が車両灯火のペアを表わしているか否かを判定している点とが、第１の実施の形態と異なっている。

図７に示すように、第４の実施の形態に係る照明制御装置４１０のコンピュータ４１８は、画像入力部２０と、領域抽出部２２と、ペア候補探索部２４と、３次元位置算出部２６と、入力された前方画像に基づいて、水平面上の道路領域を認識する道路領域認識部４２７と、算出された３次元位置から得られる水平面上の位置、及び認識された水平面上の道路領域に基づいて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定する車両灯火ペア判定部４２８と、表示制御部３０と、照明制御部３２とを備えている。

道路領域認識部４２７は、前方画像に対してパターン認識処理を行い、前方画像に表された自車両が走行中の道路について、車線幅又は道路幅、及び道路形状に関する情報（曲率や勾配）を認識し、認識した車線幅又は道路幅、及び道路形状に関する情報に基づいて、水平面上における数百ｍ先までの道路領域を推定する。

車両灯火ペア判定部４２８は、算出された３次元位置から得られる車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置（ｘ軸方向の位置、ｚ軸方向の位置）が、認識された水平面上の道路領域内に存在するか否かを判定し、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置が、認識された水平面上の道路領域内に存在する車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定し、一方、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置が、認識された水平面上の道路領域外に存在する車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

次に、第４の実施の形態に係る照明制御処理ルーチンについて図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００で、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出し、次のステップ１０４で、抽出された高輝度領域から、車両灯火ペア候補を探索する。

そして、ステップ１０６において、探索された車両灯火ペア候補の各々について、車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出する。

そして、ステップ４５０において、上記ステップ１００で取得した前方画像に対してパターン認識処理を行い、自車両が走行中の道路の道路幅又は車線幅、及び道路形状に関する情報を認識する。そして、ステップ４５２において、上記ステップ４５０で認識した道路の道路幅又は車線幅、及び道路形状に関する情報に基づいて、水平面上における数百ｍ先までの道路領域を推定する。

次のステップ４５４において、車両灯火ペア候補の各々について、算出された車両灯火の３次元位置から得られる水平面上の位置が、上記ステップ４５２で推定された水平面上の道路領域内であるか否かを判定して、車両灯火ペア候補の各々が、車両灯火のペアを表わしているか否かを判定する。

次に、ステップ１１０で、上記ステップ４５４の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定し、車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、ステップ１１２で、前方に車両灯火のペアが存在することを表示装置１４に表示させると共に、ステップ１１４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、上記ステップ１１０で、探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ステップ１１６において、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第４の実施の形態に係る照明制御装置によれば、車両灯火ペア候補が表わす車両灯火ペアが存在する水平面上の位置と前方画像から認識された水平面上の道路領域とを用いて、車両灯火ペアが存在する位置が、道路上であるか否かを確認して、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

次に、第５の実施の形態について説明する。なお、第１の実施の形態及び第４の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第５の実施の形態では、ナビゲーションシステムから得られるナビ地図情報に基づいて、水平面上の道路領域を示す情報を取得している点が、第４の実施の形態と主に異なっている。

図９に示すように、第５の実施の形態に係る照明制御装置５１０のコンピュータ５１８は、画像入力部２０と、領域抽出部２２と、ペア候補探索部２４と、３次元位置算出部２６と、自車両に搭載されたナビゲーションシステム（図示省略）から取得されるナビ地図情報に基づいて、水平面上の道路領域を示す情報を取得する道路領域取得部５２７と、算出された３次元位置から得られる水平面上の位置、及び取得された情報が示す水平面上の道路領域に基づいて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定する車両灯火ペア判定部５２８と、表示制御部３０と、照明制御部３２とを備えている。

道路領域取得部５２７は、ナビゲーションシステム（図示省略）から取得されるナビ地図情報から、数百ｍ先までの走行中の道路に関する情報を取得し、水平面上における数百ｍ先までの道路領域を示す情報を取得する。

車両灯火ペア判定部５２８は、算出された３次元位置から得られる車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置（ｘ軸方向の位置、ｚ軸方向の位置）が、取得された情報が示す水平面上の道路領域内に存在するか否かを判定し、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置が、取得された情報が示す水平面上の道路領域内に存在する車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定し、一方、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置が、取得された情報が示す水平面上の道路領域外に存在する車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

第５の実施の形態に係る照明制御処理ルーチンでは、撮像装置１２より撮像された前方画像を取得し、取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出し、抽出された高輝度領域から、車両灯火ペア候補を探索する。次に、探索された車両灯火ペア候補の各々について、車両灯火ペア候補が車両灯火のペアを表していると推定した場合の車両灯火の３次元位置を算出する。

そして、ナビゲーションシステムから自車両の周辺道路に関するナビ地図情報を取得し、ナビ地図情報から、自車両が走行している道路の数百ｍ先までの道路に関する情報を取得する。そして、取得した数百ｍ先までの道路に関する情報に基づいて、水平面上における数百ｍ先までの道路領域を示す情報を取得する。

次に、車両灯火ペア候補の各々について、算出された車両灯火の３次元位置から得られる水平面上の位置が、取得した情報が示す水平面上の道路領域内であるか否かを判定して、車両灯火ペア候補の各々が、車両灯火のペアを表わしているか否かを判定する。

そして、上記の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定し、車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、前方に車両灯火のペアが存在することを表示装置１４に表示させると共に、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

このように、車両灯火ペア候補が表わす車両灯火ペアが存在する水平面上の位置とナビ地図情報から取得された情報が示す水平面上の道路領域とを用いて、車両灯火ペアが存在する位置が、道路上であるか否かを確認して、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

なお、上記の実施の形態では、ナビ地図情報から水平面上の道路領域を示す情報を取得する場合を例に説明したが、これに限定されるものではなく、路車間通信などにより、道路情報を取得して、水平面上の道路領域を示す情報を取得するようにしてもよい。

また、車両灯火ペア候補が表わす車両灯火ペアが存在する位置が、道路上であると判断された場合には、車両灯火ペアが存在する道路の車線を更に判定して、車両灯火ペアの車両が、対向車及び先行車の何れであるかを識別するようにしてもよい。

また、上記の第４の実施の形態及び第５の実施の形態では、車両灯火ペアの３次元位置を算出して、車両灯火ペアの水平面上の位置を求める場合を例に説明したが、これに限定されるものではなく、仮定された車両灯火ペアの灯火間の距離、前方画像から得られる車両灯火ペア候補の一対の高輝度領域間の距離、前方画像における車両灯火ペア候補一対の高輝度領域の位置、予め求められた撮像装置の光軸の方向（車両正面方向に対する光軸のヨー角や水平面を基準とした光軸の俯角）に基づいて、三角測量の原理より、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置を求めるようにしてもよい。

次に、第６の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第６の実施の形態では、ヘッドライト候補となる高輝度領域と、テールランプ候補となる高輝度領域とに分けて抽出している点と、抽出されたヘッドライト候補となる高輝度領域から、ヘッドライトのペアを表わしているか否かを判定し、抽出されたテールライト候補となる高輝度領域から、テールランプ又はブレーキランプのペアを表わしているか否かを判定している点が、第１の実施の形態と主に異なっている。

図１０に示すように、第６の実施の形態に係る照明制御装置６１０のコンピュータ６１８は、画像入力部２０と、画像入力部２０の出力である前方画像の各画素について、輝度値が、ヘッドライトに対応して定められた第１閾値以上であるか否かを判定して、輝度値が第１閾値以上となるヘッドライト候補の高輝度領域を抽出するヘッドライト候補領域抽出部６２２と、画像入力部２０の出力である前方画像の各画素について、輝度値が、テールランプに対応して定められた第２閾値以上であるか否かを判定して、輝度値が第２閾値以上となるテールランプ候補の高輝度領域を抽出するテールランプ候補領域抽出部６２３と、抽出されたヘッドライト候補の複数の高輝度領域から、高輝度領域の類似性に基づいて、横方向に並んだ類似する高輝度領域のペアを、ヘッドライトペア候補として探索すると共に、抽出されたテールランプ候補の複数の高輝度領域から、高輝度領域の類似性に基づいて、横方向に並んだ類似する高輝度領域のペアを、テールランプペア候補として探索するペア候補探索部６２４と、探索されたヘッドライトペア候補の各々について、３次元位置を算出すると共に、探索されたテールランプペア候補の各々について、３次元位置を算出する３次元位置算出部６２６と、算出された３次元位置の高さ情報に基づいて、ヘッドライトペア候補が、ヘッドライトのペアを表わしているか否かを判定すると共に、テールランプペア候補が、テールランプ又はブレーキランプのペアを表わしているか否かを判定する車両灯火ペア判定部６２８と、判定結果に基づいて、表示装置１４の表示を制御する表示制御部６３０と、判定結果に基づいて、ヘッドライト１６を制御する照明制御部６３２とを備えている。

ヘッドライト候補領域抽出部６２２は、対向車のヘッドライトを想定して定められた第１閾値を用いて、画像入力部２０によって入力された前方画像の各画素の輝度値を閾値処理して、ヘッドライト候補の高輝度領域を抽出する。

テールランプ候補領域抽出部６２３は、先行車のテールランプ（特に遠距離に存在する先行車のテールランプ）を想定して定められた第２閾値を用いて、画像入力部２０によって入力された前方画像の各画素の輝度値を閾値処理して、テールランプ候補の高輝度領域を抽出する。第２閾値は第１閾値よりも低い値であるので、テールランプ候補領域抽出部６２３では、ヘッドライト候補領域抽出部６２２で抽出したヘッドライト候補の高輝度領域と重なる領域を抽出することができる。しかし、ヘッドライト候補の高輝度領域を用いた探索及び判定は別途行なうため、テールランプ候補領域抽出部６２３では、ヘッドライト候補の高輝度領域として抽出された領域とは重ならない領域のみを、テールランプ候補の高輝度領域として抽出する。

ペア候補探索部６２４は、抽出されたヘッドライト候補の複数の高輝度領域から、上記の第１の実施の形態に係るペア候補探索部２４と同様に、ヘッドライトペア候補を探索する。また、ペア候補探索部６２４は、抽出されたテールランプ候補の複数の高輝度領域から、上記の第１の実施の形態に係るペア候補探索部２４と同様に、テールランプ候補を探索する。

３次元位置算出部６２６は、ヘッドライトの灯火間隔ｗを仮定して、上記の（１）式〜（３）式に従って、前方画像中でのヘッドライトペア候補がヘッドライトのペアを表していると推定した場合のヘッドライトの３次元位置（ｘ,ｙ,ｚ）を算出する。また、３次元位置算出部６２６は、テールランプの灯火間隔ｗを仮定して、上記の（１）式〜（３）式に従って、前方画像中でのテールランプペア候補がテールランプのペアを表していると推定した場合のテールランプの３次元位置（ｘ,ｙ,ｚ）を算出する。

車両灯火ペア判定部６２８は、算出されたヘッドライトの３次元位置の高さが、路面を基準としたヘッドライトの取り付け位置の高さの範囲（０．３５ｍ〜１ｍ）内に存在するか否かを判定し、算出された３次元位置の高さが、上記の高さの範囲内となるヘッドライトペア候補は、ヘッドライトのペアを表わしていると判定し、一方、算出されたヘッドライトの３次元位置の高さが、上記の高さの範囲外となるヘッドライトペア候補は、ヘッドライトのペアを表わしていないと判定する。

また、車両灯火ペア判定部６２８は、算出されたテールランプの３次元位置の高さが、路面を基準としたテールランプ及びブレーキランプの取り付け位置の高さの範囲（０．３５ｍ〜２．１ｍ）内に存在するか否かを判定し、算出された３次元位置の高さが、上記の高さの範囲内となるテールランプペア候補は、テールランプ又はブレーキランプのペアを表わしていると判定し、一方、算出されたテールランプの３次元位置の高さが、上記の高さの範囲外となるテールランプペア候補は、テールランプのペア及びブレーキランプのペアの何れも表わしていないと判定する。

表示制御部６３０は、前方画像から探索されたヘッドライトペア候補がヘッドライトのペアを表わしていると判定された場合、及び探索されたテールランプペア候補がテールランプ又はブレーキランプのペアを表わしていると判定された場合には、ヘッドライトのペア、テールランプのペア、又はブレーキランプのペアが存在することを運転者に提示するための画像を生成して、生成した画像を表示装置１４に表示させる。

照明制御部６３２は、前方画像から探索されたヘッドライトペア候補がヘッドライトのペアを表わしていると判定された場合、又は前方画像から探索されたテールランプペア候補がテールランプ又はブレーキランプのペアを表わしていると判定された場合に、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御する。また、照明制御部６３２は、前方画像から探索されたヘッドライトペア候補の全てがヘッドライトのペアを表わしていないと判定され、かつ、前方画像から探索された全てのテールランプペア候補がテールランプ又はブレーキランプのペアを表わしていないと判定された場合、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御する。

次に、第６の実施の形態に係る照明制御処理ルーチンについて図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ６５０において、上記ステップ１００で取得した前方画像の各画素について、輝度値が第１閾値以上であるか否かを判定して、輝度値が第１閾値以上となるヘッドライト候補の高輝度領域を抽出する。

そして、ステップ６５２で、上記ステップ６５０で抽出されたヘッドライト候補の高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対象の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の縦方向及び横方向の大きさと、探索範囲内に存在するヘッドライト候補の高輝度領域の縦方向及び横方向の大きさとを比較して、横方向に並んだ類似したヘッドライト候補の高輝度領域のペアを、ヘッドライトペア候補として探索する。

次のステップ６５４では、上記ステップ６５２で探索されたヘッドライトペア候補の各々について、仮定した灯火間隔、前方画像から算出される前方画像におけるヘッドライトペア候補の１対の高輝度領域の中点の座標、予め求められた撮像装置１２の取り付け位置の路面を基準とした高さ、予め求められた撮像装置１２の焦点距離、及び前方画像から算出される前方画像におけるヘッドライトペア候補の１対の高輝度領域間の間隔に基づいて、上記（１）式〜（３）式に従って、ヘッドライトペア候補がヘッドライトのペアを表していると推定した場合のヘッドライトの３次元位置を算出する。

そして、ステップ６５６において、上記ステップ６５４で算出されたヘッドライトペア候補の各々の３次元位置の高さ成分ｙが、ヘッドライトの取り付け位置の高さについて予め定められた範囲内であるか否かを判定して、ヘッドライトペア候補の各々が、ヘッドライトのペアを表わしているか否かを判定する。

次のステップ６５８では、上記ステップ１００で取得した前方画像の各画素について、輝度値が第２閾値以上であるか否かを判定して、輝度値が第２閾値以上となるテールランプ候補の高輝度領域を抽出する。なお、上記ステップ６５０で抽出されたヘッドライト候補の高輝度領域については、抽出対象から除外する。

そして、ステップ６６０で、上記ステップ６５８で抽出されたテールランプ候補の高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対象の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の縦方向及び横方向の大きさと、探索範囲内に存在するテールランプ候補の高輝度領域の縦方向及び横方向の大きさとを比較して、横方向に並んだ類似したテールランプ候補の高輝度領域のペアを、テールランプペア候補として探索する。

次のステップ６６２では、上記ステップ６６０で探索されたテールランプペア候補の各々について、仮定した灯火間隔、前方画像から算出される前方画像におけるテールランプペア候補の１対の高輝度領域の中点の座標、予め求められた撮像装置１２の取り付け位置の路面を基準とした高さ、予め求められた撮像装置１２の焦点距離、及び前方画像から算出される前方画像におけるテールランプペア候補の１対の高輝度領域間の間隔に基づいて、上記（１）式〜（３）式に従って、テールランプペア候補がテールランプのペアを表していると推定した場合のテールランプの３次元位置を算出する。

そして、ステップ６６４において、上記ステップ６６２で算出されたテールランプペア候補の各々の３次元位置の高さ成分ｙが、テールランプ又はブレーキランプの取り付け位置の高さについて予め定められた範囲内であるか否かを判定して、テールランプペア候補の各々が、テールランプのペアを表わしているか否かを判定する。

そして、ステップ６６６において、上記ステップ６５６の判定結果及び上記ステップ６６４の判定結果に基づいて、ヘッドライトのペアを表わしているヘッドライトペア候補や、テールランプ又はブレーキランプを表しているテールランプペア候補があったか否かを判定する。前方画像から探索されたヘッドライトペア候補の少なくとも一つが、ヘッドライトのペアを表わしていると判定された場合、及び前方画像から探索されたテールランプペア候補の少なくとも一つが、テールランプ又はブレーキランプのペアを表わしていると判定された場合には、ステップ６６８において、ヘッドライトのペア、テールランプのペア、又はブレーキランプのペアが前方に存在することを表示装置１４に表示させる。

そして、ステップ１１４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

また、上記ステップ６６６において、前方画像から探索されたヘッドライトペア候補の全てが、ヘッドライトのペアを表わしていないと判定され、かつ、前方画像から探索されたテールランプペア候補の全てが、テールランプ又はブレーキランプのペアを表わしていないと判定された場合には、ステップ１１６へ移行し、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

このように、車両灯火の種類別に、前方画像が車両灯火を表わしているか否かを精度よく判定することができる。

なお、上記の実施の形態では、２種類の車両灯火に応じて輝度値に関する閾値を２段階設定した場合を例に説明したが、これに限定されるものではなく、ヘッドライト、テールランプ、及びブレーキランプの３種類の車両灯火に応じて、輝度値に関する３段階の閾値を設定してもよい。また、更に、車両灯火ペアが存在する位置までの距離に応じて、輝度値に関する閾値を多段階に設定してもよい。

次に、第７の実施の形態について説明する。なお、第７の実施の形態に係る照明制御装置は、第４の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第７の実施の形態に係る照明制御装置では、３次元位置算出部２６によって、前方画像中での車両灯火ペア候補が車両灯火ペアを表していると推定した場合の車両灯火の３次元位置を算出すると共に、算出された３次元位置に基づいて、自車両から算出された３次元位置までの距離を算出する。

車両灯火ペア判定部４２８では、上記の第１の実施の形態と同様に、算出された３次元位置の高さが、路面を基準とした、車両灯火の取り付け位置の高さに関する所定範囲内に存在するか否かを判定する。また、上記の第２の実施の形態と同様に、各車両灯火ペア候補について、一対の高輝度領域の平均輝度値を検出し、検出された車両灯火ペア候補の一対の高輝度領域の平均輝度値が、算出された３次元位置に基づく距離に応じて推定される車両灯火の輝度値の範囲内に存在するか否かを判定する。また、上記の第３の実施の形態と同様に、各車両灯火ペア候補について、一対の高輝度領域の平均面積を算出し、算出された車両灯火ペア候補の一対の高輝度領域の平均面積が、算出された３次元位置に基づく距離に応じて推定される車両灯火の面積の範囲内に存在するか否かを判定する。また、算出された３次元位置から得られる車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置（ｘ軸方向の位置、ｚ軸方向の位置）が、道路領域認識部４２７によって認識された水平面上の道路領域内に存在するか否かを判定する。車両灯火ペア判定部４２８は、判定対象の車両灯火ペア候補について、算出された３次元位置の高さが、上記の所定範囲内となると判定され、検出された一対の高輝度領域の平均輝度値が、上記の算出された距離に応じた輝度値の範囲内となると判定され、検出された一対の高輝度領域の平均面積が、上記の算出された距離に応じた面積の範囲内となると判定され、車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置が、認識された水平面上の道路領域内に存在すると判定された場合、判定対象の車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定する。それ以外の場合には、車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

なお、照明制御装置の他の構成及び作用については、第４の実施の形態と同様であるため、説明を省略する。

このように、車両灯火ペア候補が表わす車両灯火ペアが存在する路面を基準とした高さ、車両灯火ペアまでの距離、及び車両灯火ペアが存在する水平面上の位置を用いて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定することにより、撮像された前方画像が、車両灯火ペアを表わしているか否かを精度よく判定することができる。

なお、上記の実施の形態では、前方画像から水平面上の道路領域を認識する場合を例に説明したが、これに限定されるものではなく、上記の第５の実施の形態と同様に、ナビ地図情報から、水平面上の道路領域を示す情報を取得するようにしてもよい。

また、算出された３次元位置の高さに関する判定、車両灯火ペア候補の一対の高輝度領域の平均輝度値と距離とに関する判定、車両灯火ペア候補の一対の高輝度領域の平均面積と距離とに関する判定、及び車両灯火ペア候補が表わす車両灯火ペアの水平面上の位置と水平面上の道路領域とに関する判定の任意の組み合わせを行って、前方画像が車両灯火ペアを表わしているか否かを判定するようにしてもよい。

また、上記の第１の実施の形態〜第７の実施の形態では、前方画像が車両灯火ペアを表わしているか否かによって、ヘッドライトのハイビーム及びロービームを制御する場合を例に説明したが、これに限定されるものではなく、ヘッドライトの輝度を調整するようにしてもよい。また、テールランプの輝度やブレーキランプの輝度を調整するようにしてもよい。

また、前方画像が車両灯火ペアを表わしていると判定された場合、前方画像が車両灯火ペアを表わしていることを表示装置に表示させる場合を例に説明したが、これに限定されるものではなく、車両灯火ペアが存在する位置を表示装置に表示させるようにしてもよい。また、前方画像が車両灯火ペアを表わしていることを、ランプ等の光や音声出力によって提示するようにしてもよい。

また、先行車両や対向車両が、普通乗用車である場合を想定して、撮像された前方画像が、車両灯火ペアを表わしているか否かを判定する場合を例に説明したが、これに限定されるものではなく、先行車両や対向車両が、普通乗用車及び大型車の各々である場合を想定してもよい。この場合には、普通乗用車である場合を想定し、灯火間隔を１．６〜１．８ｍと仮定して、車両灯火の高さや３次元位置を算出すると共に、大型車である場合を想定し、灯火間隔を２．２５〜２．５ｍと仮定して、車両灯火の高さや３次元位置を算出する。そして、普通乗用車及び大型車の各々を想定した場合の算出結果に基づいて、車両灯火ペアを表わしているか否かを判定するようにすればよい。また、他の車種についても同様に、車種に応じた灯火間隔を仮定して、車両灯火の高さや３次元位置を算出し、車両灯火ペアを表わしているか否かを判定するようにすればよい。

本発明の第１の実施の形態に係る照明制御装置の構成を示すブロック図である。 撮像装置によって撮像された前方画像を示すイメージ図である。 前方画像から高輝度領域が抽出された結果を示すイメージ図である。 車両灯火ペア候補が表わす車両灯火ペアの３次元位置の算出方法を説明するための図である。 本発明の第１の実施の形態に係る照明制御装置における照明制御処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る照明制御装置における照明制御処理ルーチンの内容を示すフローチャートである。 本発明の第４の実施の形態に係る照明制御装置の構成を示すブロック図である。 本発明の第４の実施の形態に係る照明制御装置における照明制御処理ルーチンの内容を示すフローチャートである。 本発明の第５の実施の形態に係る照明制御装置の構成を示すブロック図である。 本発明の第６の実施の形態に係る照明制御装置の構成を示すブロック図である。 本発明の第６の実施の形態に係る照明制御装置における照明制御処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、４１０、５１０、６１０照明制御装置
１２ 撮像装置
１４ 表示装置
１６ ヘッドライト
１８、４１８、５１８、６１８コンピュータ
２２ 領域抽出部
２４、６２４ ペア候補探索部
２６、６２６ ３次元位置算出部
２８、４２８、５２８、６２８車両灯火ペア判定部
３０、６３０ 表示制御部
３２、６３２ 照明制御部
４２７ 道路領域認識部
５２７ 道路領域取得部
６２２ ヘッドライト候補領域抽出部
６２３ テールランプ候補領域抽出部

Claims (11)

1. 撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
   予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、予め求められた路面を基準とした前記撮像装置の取付位置の高さ、予め求められた前記撮像装置の光軸の方向、及び前記撮像画像における前記一対の高輝度領域の高さに基づいて求められる前記候補領域が表わす一対の灯火が存在する路面を基準とした高さを算出する算出手段と、
   前記算出手段によって算出された前記路面を基準とした高さが所定範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段と、
   を含む車両灯火判定装置。
2. 撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
   予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて求められる前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段と、
   前記候補領域の一対の高輝度領域の面積が、前記候補領域が表わす車両の一対の灯火までの距離に応じて予め定められた車両灯火を表わす領域の面積の範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段と、
   を含む車両灯火判定装置。
3. 撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
   自装置の周辺の道路領域を示す道路情報を取得する取得手段と、
   予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、前記撮像画像における前記一対の高輝度領域の位置、予め求められた前記撮像装置の光軸の方向に基づいて求められる前記候補領域が表わす一対の灯火が存在する水平面上の位置を算出する算出手段と、
   前記取得手段によって取得された前記道路情報及び前記算出手段によって算出された位置に基づいて、前記算出された位置が、前記道路情報が示す道路領域内に存在する場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段と、
   を含む車両灯火判定装置。
4. 前記候補探索手段は、前記領域抽出手段によって抽出された高輝度領域の縦方向及び横方向の各々の長さ、縦横比、面積、及び輝度値の少なくとも一つに基づいて、前記候補領域を探索する請求項１〜請求項３の何れか１項記載の車両灯火判定装置。
5. 前記候補探索手段は、前記領域抽出手段によって抽出された高輝度領域の横方向の長さに基づいて、該高輝度領域を含む前記候補領域の探索範囲を設定する請求項１〜請求項４の何れか１項記載の車両灯火判定装置。
6. 前記領域抽出手段は、複数の車両灯火の種類に応じて設定された閾値に基づいて、前記車両灯火の種類の各々について、前記撮像画像から、輝度値が、対応する閾値以上となる高輝度領域を抽出し、
   前記候補探索手段は、前記車両灯火の種類の各々について、前記車両灯火の種類について抽出された高輝度領域から、前記候補領域を探索し、
   前記判定手段は、前記算出手段によって算出された前記車両灯火の種類の前記候補領域が表わす一対の灯火までの距離、前記水平面を基準とした高さ、及び前記水平面上の位置の少なくとも１つに基づいて、前記候補領域が、前記車両灯火の種類の一対の灯火を表わしているか否かを判定する請求項１〜請求項５の何れか１項記載の車両灯火判定装置。
7. 前記判定手段の判定結果を出力する出力手段を更に含む請求項１〜請求項６の何れか１項記載の車両灯火判定装置。
8. 前記判定手段の判定結果に応じて、自車両に設けられた照明装置を制御する照明制御手段を更に含む請求項１〜請求項７の何れか１項記載の車両灯火判定装置。
9. コンピュータを、
   撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、
   前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、
   予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、予め求められた路面を基準とした前記撮像装置の取付位置の高さ、予め求められた前記撮像装置の光軸の方向、及び前記撮像画像における前記一対の高輝度領域の高さに基づいて求められる前記候補領域が表わす一対の灯火が存在する路面を基準とした高さを算出する算出手段、及び
   前記算出手段によって算出された前記路面を基準とした高さが所定範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段
   として機能させるためのプログラム。
10. コンピュータを、
    撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、
    前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、
    予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて求められる前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段、及び
    前記候補領域の一対の高輝度領域の面積が、前記候補領域が表わす車両の一対の灯火までの距離に応じて予め定められた車両灯火を表わす領域の面積の範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段
    として機能させるためのプログラム。
11. コンピュータを、
    撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、
    前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、
    自装置の周辺の道路領域を示す道路情報を取得する取得手段、
    予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、前記撮像画像における前記一対の高輝度領域の位置、予め求められた前記撮像装置の光軸の方向に基づいて求められる前記候補領域が表わす一対の灯火が存在する水平面上の位置を算出する算出手段、及び
    前記取得手段によって取得された前記道路情報及び前記算出手段によって算出された位置に基づいて、前記算出された位置が、前記道路情報が示す道路領域内に存在する場合、前記候補領域が、車両の一対の灯火を表わしていると判定する判定手段
    として機能させるためのプログラム。