JP5310162B2

JP5310162B2 - 車両灯火判定装置

Info

Publication number: JP5310162B2
Application number: JP2009068799A
Authority: JP
Inventors: 清澄城殿; 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2009-03-19
Filing date: 2009-03-19
Publication date: 2013-10-09
Anticipated expiration: 2029-03-19
Also published as: JP2010221756A

Description

本発明は、車両灯火判定装置に係り、特に、撮像画像が、車両灯火を表わしているか否かを判定する車両灯火判定装置に関する。

従来より、車両のランプが光源である場合に、画像センサによって観測される輝度範囲を予め各距離において定めておいて、このような距離と輝度範囲との関係を記憶しておき、実際に画像センサにおいて観測した輝度と、その光源までの距離との関係を、この記憶した関係に照らし合せることにより、光源が車両のヘッドランプやテールランプであるかを識別する車両検出装置が知られている（特許文献１）。

また、車載カメラで撮像した画像を用いて、車両の外部環境を推定する車両用画像処理装置や、車両のランプに相当する光源を識別し、先行車両や対向車両を検出する車両検出装置が知られている（特許文献２、３）。

特開２００８−４０６１５号公報特開２００８−２８９５７号公報特開２００８−９４２４９号公報

しかしながら、上記特許文献１〜特許文献３に記載の技術では、光源を撮像した場合に、光源領域の中心部では画素値が飽和してしまい、十分な精度で光源の明るさを推定できないため、車両灯火を精度よく判定することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる車両灯火判定装置を提供することを目的とする。

上記の目的を達成するために第１の発明に係る車両灯火判定装置は、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段と、前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段と、前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段とを含んで構成されている。

第１の発明に係る車両灯火判定装置によれば、撮像装置によって、自車両の周辺を撮像し、領域抽出手段によって、撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する。候補探索手段によって、領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する。

そして、算出手段によって、予め定められた車両の一対の灯火間の距離、候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び撮像装置の焦点距離に基づいて、候補領域が表わす車両の一対の灯火までの距離を算出する。また、補正手段によって、候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する。

そして、判定手段によって、候補領域の高輝度領域の輝度値の総和、算出手段によって算出された候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、候補領域が、車両の一対の灯火を表わしているか否かを判定する。

このように、輝度値が最大値となる画素を補間することにより候補領域の輝度値を補正して、候補領域が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。

第２の発明に係る車両灯火判定装置は、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段と、前記領域抽出手段によって抽出された高輝度領域から、輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段と、前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段とを含んで構成されている。

第２の発明に係る車両灯火判定装置によれば、撮像装置によって、自車両の周辺を撮像し、領域抽出手段によって、撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する。補正手段によって、高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する。

そして、候補探索手段によって、領域抽出手段によって抽出された高輝度領域から、輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する。算出手段によって、予め定められた車両の一対の灯火間の距離、候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び撮像装置の焦点距離に基づいて、候補領域が表わす車両の一対の灯火までの距離を算出する。

このように、輝度値が最大値となる画素を補間することにより高輝度領域の輝度値を補正し、候補領域である一対の高輝度領域が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。

第３の発明に係る車両灯火判定装置は、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記領域抽出手段によって抽出された前記高輝度領域が表わす物体までの距離を取得する距離取得手段と、前記距離取得手段によって取得された前記高輝度領域が表わす物体までの距離、及び前記高輝度領域間の距離に基づいて、前記高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段と、前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段とを含んで構成されている。

第３の発明に係る車両灯火判定装置によれば、撮像装置によって、自車両の周辺を撮像し、領域抽出手段によって、撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する。また、距離計測装置によって、自車両の周辺に存在する物体までの距離を計測する。距離取得手段によって、距離計測装置の計測結果から、領域抽出手段によって抽出された高輝度領域が表わす物体までの距離を取得する。

そして、候補探索手段によって、距離取得手段によって取得された高輝度領域が表わす物体までの距離、及び高輝度領域間の距離に基づいて、高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する。補正手段によって、候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する。

そして、判定手段によって、候補領域の高輝度領域の輝度値の総和、取得手段によって取得された候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、候補領域が、車両の一対の灯火を表わしているか否かを判定する。

第４の発明に係る車両灯火判定装置は、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記高輝度領域が表わす物体までの距離を取得する距離取得手段と、前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段と、前記領域抽出手段によって抽出された高輝度領域から、前記距離取得手段によって取得された距離及び輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段とを含んで構成されている。

第４の発明に係る車両灯火判定装置によれば、撮像装置によって、自車両の周辺を撮像し、領域抽出手段によって、撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する。また、距離計測装置によって、自車両の周辺に存在する物体までの距離を計測し、距離取得手段によって、距離計測装置の計測結果から、高輝度領域が表わす物体までの距離を取得する。

そして、補正手段によって、高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する。候補探索手段によって、領域抽出手段によって抽出された高輝度領域から、距離取得手段によって取得された距離及び輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する。

第１の発明及び第２の発明の算出手段は、候補領域の高輝度領域の大きさ及び輝度の少なくとも一方に基づいて、車種を判定し、判定された車種に対応して予め定められた車両の一対の灯火間の距離を用いて、候補領域が表わす車両の一対の灯火までの距離を算出することができる。これによって、撮像画像が車両灯火を表わしているか否かを、より精度よく判定することができる。

第３の発明及び第４の発明の車両灯火判定装置は、判定手段によって車両の一対の灯火を表わしていると判定されなかった高輝度領域に対して、高輝度領域の輝度値の総和、取得手段によって取得された高輝度領域が表わす物体までの距離、及び予め求められた二輪車の灯火の明るさに基づいて、高輝度領域が、二輪車の灯火を表わしているか否かを判定する第２判定手段を更に含むことができる。これによって、撮像画像が二輪車の灯火を表わしているか否かを更に判定することができる。

上記の判定手段は、候補領域の輝度値の総和と、候補領域が表わす車両の一対の灯火までの距離とに基づいて推定される候補領域が表わす車両の一対の灯火の明るさが、予め求められた車両の一対の灯火の明るさの範囲内である場合、候補領域が、車両の一対の灯火を表わしていると判定することができる。

上記の判定手段は、候補領域の輝度値の総和が、候補領域が表わす車両の一対の灯火までの距離と、予め求められた車両の一対の灯火の明るさの範囲とに基づいて算出される、輝度値の総和の範囲内である場合、候補領域が、車両の一対の灯火を表わしていると判定することができる。

また、上記の車両の一対の灯火の明るさの範囲を、複数種類の車種又は複数種類の灯火に対応する明るさを含む範囲とすることができる。

上記の車両灯火判定装置は、判定手段の判定結果を出力する出力手段を更に含むことができる。これによって、撮像画像が、車両灯火を表わしていることをユーザに知らせることができる。

また、上記の車両灯火判定装置は、判定手段の判定結果に応じて、自車両に設けられた照明装置を制御する照明制御手段を更に含むことができる。これによって、周辺車両の存在に応じて照明装置による照明を適切に制御することができる。

上記の発明は、以下のようにプログラムで実現することができる。

第１のプログラムは、コンピュータを、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段、前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段、及び前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段として機能させるプログラムである。

第２のプログラムは、コンピュータを、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段、前記領域抽出手段によって抽出された高輝度領域から、輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段、及び前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段として機能させるプログラムである。

第３のプログラムは、コンピュータを、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記領域抽出手段によって抽出された前記高輝度領域が表わす物体までの距離を取得する距離取得手段、前記距離取得手段によって取得された前記高輝度領域が表わす物体までの距離、及び前記高輝度領域間の距離に基づいて、前記高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段、及び前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段として機能させるためのプログラムである。

第４のプログラムは、コンピュータを、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記高輝度領域が表わす物体までの距離を取得する距離取得手段、前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、該画素の輝度値を補正する補正手段、前記領域抽出手段によって抽出された高輝度領域から、前記距離取得手段によって取得された距離及び輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段、及び前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段として機能させるためのプログラムである。

以上説明したように、本発明の車両灯火判定装置によれば、輝度値が最大値となる画素を補間することにより候補領域又は高輝度領域の輝度値を補正し、候補領域が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる、という効果が得られる。

本発明の第１の実施の形態に係る車載用照明システムの構成を示すブロック図である。（Ａ）撮像装置によって撮像された前方画像を示すイメージ図、及び（Ｂ）露光制御を行って撮像した画像の拡大図である。車両灯火ペア候補が表わす車両灯火ペアまでの距離の算出方法を説明するための図である。（Ａ）高輝度領域の輝度分布を示すグラフ、及び（Ｂ）飽和領域を補間した高輝度領域の輝度分布を示すグラフである。ヘッドライト、ストップランプ、及びテールランプの各々を表わす領域について補正した場合の輝度値の総和を示すグラフである。カメラで光源を撮像した場合の模式図である。本発明の第１の実施の形態に係る車載用照明システムにおける照明制御処理ルーチンの内容を示すフローチャートである。本発明の第２の実施の形態に係る車載用照明システムの構成を示すブロック図である。本発明の第２の実施の形態に係る車載用照明システムにおける照明制御処理ルーチンの内容を示すフローチャートである。本発明の第５の実施の形態に係る車載用照明システムの構成を示すブロック図である。本発明の第５の実施の形態に係る車載用照明システムにおける照明制御処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された前方画像に基づいてヘッドライトを制御する車載用照明システムに本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る車載用照明システム１０は、自車両の前方の画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、カーナビ画面等を表示する表示装置１４と、撮像された前方画像に基づいて、自車両に設けられたヘッドライト１６を制御すると共に、表示装置１４の表示を制御するコンピュータ１８とを備えている。なお、撮像装置１２は、カメラの台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。なお、以下では、撮像装置１２によって出力される画像が、濃淡画像である場合を例に説明する。

表示装置１４は、ヘッドアップディスプレイやナビ画面で構成されている。なお、表示装置１４が、出力手段の一例である。

コンピュータ１８は、ＣＰＵ、後述する照明制御処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１８は、撮像装置１２から出力される前方画像を入力する画像入力部２０と、画像入力部２０の出力である前方画像の各画素について、輝度値（画素値）が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を抽出する領域抽出部２２と、抽出された複数の高輝度領域から、高輝度領域の類似性に基づいて、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索するペア候補探索部２４と、探索された車両灯火ペア候補の各々について、車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアまでの距離を推定する距離推定部２６と、車両灯火ペア候補である高輝度領域における受光量を推定する受光量推定部２８と、各車両灯火ペア候補について推定された距離、及び高輝度領域における受光量に基づいて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定する車両灯火判定部３０と、判定結果に基づいて、表示装置１４の表示を制御する表示制御部３２と、判定結果に基づいて、ヘッドライト１６を制御する照明制御部３４を備えている。なお、距離推定部２６は、算出手段の一例であり、受光量推定部２８は、補正手段の一例である。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

領域抽出部２２は、画像入力部２０によって入力された図２（Ａ）に示すような前方画像の各画素の輝度値を閾値処理して、光源に対応する高輝度領域を抽出する。

ペア候補探索部２４は、抽出された複数の高輝度領域から、以下に説明するように、車両灯火ペア候補を探索する。まず、各高輝度領域について、高さや幅、縦横比、領域面積、輝度値など、ペア探索に必要な領域情報を認識して取得する。

そして、ペア探索対象の高輝度領域について、予め定められた車両灯火の横方向の長さと灯火ペア間の間隔との比を用いて、高輝度領域の横方向の長さに対応する灯火ペア間の間隔を横方向の長さとするペア探索範囲を、高輝度領域の左右に設定する。そして、ペア探索範囲内に存在する高輝度領域を任意に選択し、任意に選択された高輝度領域とペア探索対象の高輝度領域とを比較して、領域の高さ（縦方向の長さ）の差が所定範囲内であり、かつ、幅（横方向の長さ）の差が所定範囲内である場合には、領域の高さと幅とがほぼ同一であると判断し、選択された２つの高輝度領域を、車両灯火ペア候補とする。

上記の探索処理を、各高輝度領域について行い、複数の車両灯火ペア候補を探索する。なお、上記では、車両灯火ペア候補として判断する条件が、領域の高さ及び幅の類似性に関する条件である場合を例に説明したが、これに限定されるものではなく、領域の縦横比がほぼ同一であること、領域面積がほぼ同一であること、及び輝度値がほぼ同一であることの何れかを、車両灯火ペア候補として判断する条件としてもよく、また、領域の縦方向の長さ及び横方向の長さがほぼ同一であること、領域面積がほぼ同一であること、及び輝度値がほぼ同一であることの任意の組み合わせを、車両灯火ペア候補として判断する条件としてもよい。

次に、車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアまでの距離を推定する原理について説明する。車両灯火のペアは、多くの場合、車両の両端に設置されている。また、車幅は、車種によって違いはあるものの、例えば乗用車については１．６〜１．８ｍとほぼ規定の車幅となるように製造されている。したがって、車幅を仮定し、灯火間隔も同程度の距離であると仮定すると、三角測量の原理により、画像中での光源間の距離に基づいて、車両灯火ペアまでの距離を概算することができる。

本実施の形態における距離推定部２６では、車両灯火ペア候補の各々について、図３に示すように、灯火間隔ｗを仮定して、以下の（１）式に従って、前方画像中での車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアの中点までの距離ｚを算出する。

ただし、ｆは、予め求められた撮像装置１２の焦点距離であり、ｄ_ｘは、前方画像における車両灯火ペア候補の１対の高輝度領域の重心間の距離である。

次に、車両灯火ペア候補の各高輝度領域の受光量を推定する原理について説明する。

まず、車両灯火ペア候補の各高輝度領域Ｗｉにおける受光量Ｒｉは、以下の（２）式で算出される。

ただし、Ｉ（ｘ，ｙ）は高輝度領域Ｗｉ中の画素（ｘ，ｙ）における画素値（輝度値）を表している。従って、受光量Ｒｉは、高輝度領域Ｗｉ中の輝度値の総和で表わされる。この受光量Ｒｉが、撮像装置１２によって光源から受光された光量に相当する。

ここで、光源は周辺環境に比べて極端に明るいため、ダイナミックレンジが広いカメラであっても撮像された光源領域の中心付近では画素値が飽和する場合が多い。図２（Ｂ）は、上記図２（Ａ）と同じシーンで露光制御を行って撮像した画像のうち、対向車のヘッドライト付近を拡大した図である。図２（Ｂ）中の丸で囲んだヘッドライトの２次元輝度分布を、図４（Ａ）に示す。高輝度領域の中心部で輝度値が２５５となり飽和している様子が分かる。このような場合、上記（２）式に従って求められる受光量（輝度値の総和）は、光源の明るさをある程度反映するものの、その精度は高くないため、光源の明るさに対する推定精度が劣化する。シャッター速度の調整により飽和なく撮像することも可能であるが、走行環境には、先行車や対向車が異なる距離に存在し、様々な距離に光源が存在するため、全ての光源を一度に飽和無く撮像することは困難である。

そこで、受光量推定部２８では、各車両灯火ペア候補について、一対の高輝度領域の各々の輝度分布全体に、確率分布モデルを当てはめて、飽和領域（輝度値が最大値となっている画素の集合）の輝度値を補間することにより、一対の高輝度領域の各々の輝度値を補正する。たとえば、確率分布モデルとして、以下の（３）式で表される二変量正規分布を利用して、飽和領域の輝度値を補間する。

図４（Ｂ）に、上記（３）式の二変量正規分布を利用して、飽和領域の輝度値を補間した場合の高輝度領域の２次元輝度分布を示す。

受光量推定部２８は、上記の二変量正規分布のような確率分布モデルについて、高輝度領域内の飽和領域の周辺画素の輝度値との差が最も小さくなるように当てはめを行い、当てはめた確率分布モデルに基づいて、高輝度領域の輝度値を補正して輝度値Ｉ’（ｘ，ｙ）を得る。受光量推定部２８は、補正された高輝度領域の輝度値Ｉ’（ｘ，ｙ）を用いて、上記（１）式の計算を行い、車両灯火ペア候補の一対の高輝度領域の各々における受光量を推定する。

図５に、ヘッドライト、ストップランプ、及びテールランプの各々を表わす領域について、上記の受光量の推定を行った結果を示す。距離に応じて見かけの角度が変化するため、多少のバラつきはあるものの、３種類の灯火が識別可能であることが分かる。

次に、車両灯火ペア候補が、車両灯火ペアを表わしているか否かを判定する原理について説明する。

まず、カメラで光源を撮像した場合の模式図を図６に示す。このとき、以下の（４）式の関係から、レンズの透過率やカメラ感度などのカメラパラメータが既知であるとすれば、カメラで受光された光源からの受光量と、光源までの距離とに基づいて、撮像した光源の明るさを推定することが可能であることが分かる。

ただし、Ｐ_０は、カメラで受光される光源からの光の強度（明るさ）であり、σは、レンズの有効面積であり、Ｐ_ｔは、光源の放射光量である。また、Ｔは、レンズの透過率であり、Ｇは、カメラ感度であり、ｒは、光源までの距離である。

上記（４）式により、以下の（５）式が得られ、車両灯火ペア候補の高輝度領域Ｗｉが表わす車両灯火の明るさｇｉは、高輝度領域Ｗｉにおける受光量Ｒｉに基づいて、以下の（５）式に従って推定される。

ここで、Ｃ_ｒは車両灯火ペア候補が表わす車両灯火ペアまでの距離に応じた補正係数である。上記（５）式に示すように、光源から撮像部に照射された、車両灯火ペア候補の高輝度領域の受光量に、距離補正係数を掛けた値は、光源の明るさを表わしている。

また、「道路運送車両の保安基準の細目を定める告示」にて、車両灯火の明るさに関する条件が規定されている。例えば、ストップランプ（制動灯）については、昼間に１００ｍ離れた位置から点灯を確認できるような明るさであって、光源が１５Ｗ以上６０Ｗ以下であることが規定されており、テールランプ（尾灯）については、夜間に１５０ｍ離れた位置から点灯を確認できる明るさであって、光源が３Ｗ以上であることが規定されており、ウィンカ（方向指示灯）については、昼間に１００ｍの距離から店頭を確認できる明るさであることが規定されている。

上記のように、ヘッドライトや制動灯などの灯火の種類に対応する明るさを含めた車両灯火の明るさ（光の強度）の範囲が、メモリに記憶されている。なお、車種や観測による変動幅を含めた形で、車両灯火の明るさの範囲が記憶されていてもよい。

車両灯火判定部３０では、各車両灯火ペア候補について、車両灯火ペア候補について推定された距離と、推定された高輝度領域の受光量とに基づいて、上記（５）式に従って、一対の高輝度領域の各々における光源の明るさを各々推定し、一対の高輝度領域の各々について推定された光源の明るさの各々が、メモリに記憶された、車両灯火の明るさの範囲内に存在するか否かを判定する。

一対の高輝度領域の各々について推定された光源の明るさの各々が、予め定められた車両灯火の明るさの範囲内となる車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定する。一方、一対の高輝度領域の各々について推定された光源の明るさの少なくとも一方が、予め定められた車両灯火の明るさの範囲外となる車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

また、車両灯火判定部３０は、車両灯火のペアを表わしていると判定された車両灯火ペア候補に基づいて、車両位置を検出する。

表示制御部３２は、前方画像から探索された車両灯火ペア候補が車両灯火のペアを表わしていると判定された場合、車両灯火ペアの車両位置を運転者に提示するための画像を生成して、生成した画像を表示装置１４に表示させる。

照明制御部３４は、前方画像から探索された車両灯火ペア候補が車両灯火のペアを表わしていると判定された場合、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御し、前方画像から探索された全ての車両灯火ペア候補が車両灯火のペアを表わしていないと判定された場合、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御する。

次に、第１の実施の形態に係る車載用照明システム１０の作用について説明する。車載用照明システム１０を搭載した自車両が夜間に道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ１８において、図７に示す照明制御処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、上記ステップ１００で取得した前方画像の各画素について、輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を抽出する。

そして、ステップ１０４で、上記ステップ１０２で抽出された高輝度領域の各々について、領域の高さや幅などを含む属性値を認識して取得する。ステップ１０６では、上記ステップ１０２で抽出された高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対象の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の高さ及び幅などと、探索範囲内に存在する高輝度領域の高さ及び幅などとを比較して、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索する。

ステップ１１０では、上記ステップ１０６で探索された車両灯火ペア候補から、処理対象の候補を設定し、処理対象の車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアまでの距離を推定する。そして、ステップ１１２において、車両灯火ペア候補の一対の高輝度領域の各々における受光量を推定する。このとき、高輝度領域内の飽和領域については、周辺画素の輝度値及び確率分布モデルに基づいて、輝度値が補間され、補間された輝度値を用いて、受光量が推定される。

次のステップ１１４では、上記ステップ１１０で推定された距離と、上記ステップ１１２で推定された受光量とに基づいて、一対の高輝度領域の各々における光源の明るさを推定し、一対の高輝度領域の各々について推定された光源の明るさの各々が、メモリに記憶された、車両灯火の明るさの範囲内に存在するか否かを判定する。一対の高輝度領域の各々について推定された光源の明るさの各々が、車両灯火の明るさの範囲内である場合には、車両灯火ペア候補が、車両灯火のペアを表わしていると判定される。

そして、ステップ１１６において、上記ステップ１１４で車両灯火ペア候補が車両灯火のペアを表わしていると判定された場合には、その車両灯火を有している車両の位置を検出する。次のステップ１１８では、探索された全車両灯火ペア候補について、上記ステップ１１０〜１１６の処理を行ったか否かを判定し、上記処理が行われていない車両灯火ペア候補が存在する場合には、上記ステップ１１０へ戻り、上記処理が行われていない車両灯火ペア候補を処理対象として設定する。一方、全部の車両灯火ペア候補について、上記処理が行われた場合には、ステップ１２０へ進む。

ステップ１２０では、上記ステップ１１４の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補があったか否かを判定する。前方画像から探索された車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしていると判定された場合には、ステップ１２２において、上記ステップ１１６で検出された車両位置を表示装置１４に表示させる。そして、ステップ１２４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、上記ステップ１２０において、前方画像から探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしていないと判定された場合には、ステップ１２６へ移行し、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る車載用照明システムによれば、飽和状態の画素を周辺画素に基づいて補間するように、車両灯火ペア候補の輝度値を補正して、カメラで撮像された光源の明るさを精度よく推定し、車両灯火ペア候補が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。

また、飽和していない周辺画素の輝度分布を手掛かりに、飽和状態の領域を含む高輝度領域の輝度分布を、確率分布に近似するように、飽和領域の輝度値を補間することにより、高輝度領域における光源からの受光量の推定精度を改善することができる。

また、周辺車両の存在に応じて、ヘッドライトのハイビーム及びロービームの切り替えを適切に制御することができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、高輝度領域が二輪車の灯火を表わしているか否かを更に判定している点が、第１の実施の形態と主に異なっている。

図８に示すように、第２の実施の形態に係る車載用照明システム２１０は、撮像装置１２と、表示装置１４と、自車両の前方に存在する物体までの距離を計測する距離計測装置２１２と、撮像された前方画像と計測された距離とに基づいて、自車両に設けられたヘッドライト１６を制御すると共に、表示装置１４の表示を制御するコンピュータ２１８とを備えている。

距離計測装置２１２は、例えば、レーザレーダを用いて構成され、自車両の前方に対して、レーザを走査して、自車両の前方に存在する各物体までの距離を計測する。

コンピュータ２１８は、画像入力部２０と、距離計測装置２１２から出力される前方の物体までの距離を示す距離情報を取得する距離情報取得部２２０と、領域抽出部２２と、抽出された複数の高輝度領域から、高輝度領域の類似性及び距離情報に基づいて、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索するペア候補探索部２２４と、受光量推定部２８と、車両灯火判定部３０と、車両灯火のペアを表わしていると判定されなかった高輝度領域について、距離情報、及び高輝度領域における受光量に基づいて、二輪車の灯火を表わしているか否かを判定する二輪車灯火判定部２３０と、表示制御部３２と、照明制御部３４を備えている。なお、二輪車灯火判定部２３０が、第２判定手段の一例である。

ペア候補探索部２２４は、ペア探索対象の高輝度領域について、高輝度領域の横方向の長さに対応する灯火ペア間の間隔を横方向の長さとするペア探索範囲を、高輝度領域の左右に設定し、そして、ペア探索範囲内に存在する高輝度領域を任意に選択し、任意に選択された高輝度領域とペア探索対象の高輝度領域とを比較して、領域の高さの差が所定範囲内であり、幅の差が所定範囲内であり、距離情報から得られる高輝度領域が表わす物体までの距離の差が所定範囲内である場合には、領域の高さと幅とがほぼ同一であり、距離もほぼ同一であると判断し、選択された２つの高輝度領域を、車両灯火ペア候補とする。

車両灯火判定部３０は、各車両灯火ペア候補について、一対の高輝度領域の各々の受光量と、一対の高輝度領域の各々が表わす物体までの距離とに基づいて、一対の高輝度領域の各々における光源の明るさを推定し、一対の高輝度領域の各々について推定された光源の明るさの各々が、メモリに記憶された、車両灯火の明るさの範囲内に存在するか否かを判定することにより、車両灯火のペアを表わしているか否かを判定する。

二輪車灯火判定部２３０は、以下に説明するように、車両灯火のペアを表わしていると判定されなかった高輝度領域の各々について、二輪車の灯火を表しているか否かを判定する。

まず、高輝度領域の大きさや形状、高さによって、二輪車の灯火となり得る候補を探索した後、二輪車灯火候補となる高輝度領域の各々について、受光量推定部２８と同様に、飽和領域を補間してから、二輪車灯火候補における受光量を推定する。

また、距離情報取得部２２０によって取得された距離情報を用いて、車両灯火判定部３０と同様に、二輪車灯火候補が表わす光源の明るさを推定し、二輪車灯火候補について推定された光源の明るさが、予め求められてメモリに記憶された、二輪車の灯火の明るさの範囲内に存在するか否かを判定する。

二輪車灯火候補について推定された光源の明るさが、予め定められた二輪車の灯火の明るさの範囲内となる二輪車灯火候補は、二輪車の灯火として矛盾しないため、二輪車の灯火を表わしていると判定する。一方、二輪車灯火候補について推定された光源の明るさが、予め定められた二輪車の灯火の明るさの範囲外となる二輪車灯火候補は、二輪車の灯火として矛盾するため、二輪車の灯火を表わしていないと判定する。

また、二輪車灯火判定部２３０は、二輪車の灯火を表わしていると判定された二輪車灯火候補について、その二輪車の灯火を有する二輪車の位置を検出する。

次に、第２の実施の形態に係る照明制御処理ルーチンについて図９を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ２５０において、距離計測装置２１２から距離情報を取得する。次のステップ１０２では、上記ステップ１００で取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出し、ステップ２５２において、上記ステップ１０２で抽出された高輝度領域の各々について、領域の高さや幅などを含む属性値と、距離情報から得られる高輝度領域が表わす物体までの距離とを認識して取得する。

そして、ステップ２５４では、上記ステップ１０２で抽出された高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対象の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の高さ、幅、及び距離と、探索範囲内に存在する高輝度領域の高さ、幅、及び距離とを比較して、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索する。

次のステップ１１２では、上記ステップ２５４で探索された車両灯火ペア候補から、処理対象の候補を設定し、車両灯火ペア候補の一対の高輝度領域の各々における受光量を推定し、ステップ１１４において、上記ステップ２５２で認識した距離と、上記ステップ１１２で推定された受光量とに基づいて、一対の高輝度領域の各々における光源の明るさを推定し、一対の高輝度領域の各々について推定された光源の明るさに基づいて、車両灯火ペア候補が、車両灯火のペアを表わしているか否かを判定する。

そして、ステップ２５６では、探索された全ての車両灯火ペア候補について、上記の処理を行ったか否かを判定し、上記処理が行われていない車両灯火ペア候補がある場合には、上記ステップ１１２へ戻り、上記処理が行われていない車両灯火ペア候補を処理対象として設定する。一方、全部の車両灯火ペア候補について、上記処理が行われた場合には、ステップ２５８へ進む。

ステップ２５８では、上記ステップ１１４で車両灯火のペアを表わしていると判定されなかった高輝度領域から、二輪車灯火候補を探索し、二輪車灯火候補の各々について、二輪車の灯火を表わしているか否かを判定する。次のステップ２６０では、上記ステップ１１４の判定結果に基づいて、車両灯火を有している車両の位置を検出すると共に、上記ステップ２５８の判定結果に基づいて、二輪車の灯火を有している二輪車の位置を検出する。

ステップ２６２では、上記ステップ１１４及びステップ２５８の判定結果に基づいて、車両灯火のペアを表わしている車両灯火ペア候補、又は二輪車の灯火を表わしている二輪車灯火候補があったか否かを判定する。前方画像から探索された車両灯火ペア候補の少なくとも一つが、車両灯火のペアを表わしているか、または、探索された二輪車灯火候補の少なくとも一つが、二輪車の灯火を表わしていると判定された場合には、ステップ２６４において、上記ステップ２６０で検出された車両位置又は二輪車位置を表示装置１４に表示させる。そして、ステップ１２４において、ヘッドライト１６からロービームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

一方、上記ステップ２６２において、前方画像から探索された車両灯火ペア候補の全てが、車両灯火のペアを表わしておらず、かつ、探索された二輪車灯火候補の全てが、二輪車の灯火を表わしていないと判定された場合には、ステップ１２６へ移行し、ヘッドライト１６からハイビームが照射されるようにヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る車載用照明システムによれば、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。また、飽和状態の画素を、周辺画素の輝度値に基づいて補間するように、高輝度領域の輝度値を補正して、カメラで撮像された光源の明るさを精度よく推定し、高輝度領域が、二輪車の灯火を表わしているか否かを判定することにより、撮像画像が二輪車の灯火を表わしているか否かを、精度よく判定することができる。

なお、上記の実施の形態では、二輪車灯火候補である高輝度領域について推定された光源の明るさが、二輪車の灯火の明るさの範囲内である場合に、二輪車の灯火を表わしていると判定する場合を例に説明したが、さらに、判定精度を高めるために、時系列画像で、二輪車灯火候補の位置や明るさ変化を追跡するようにしてもよい。

また、レーザレーダによって、前方の物体までの距離を計測する場合を例に説明したが、これに限定されるものではなく、ステレオカメラを用いて距離計測装置を構成し、前方の物体までの距離を計測するようにしてもよい。この場合には、撮像装置を共有して、ステレオカメラを構成してもよい。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る車載用照明システムは、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、車両灯火ペア候補の高輝度領域における受光量が、所定範囲内であるか否かに基づいて、車両灯火のペアを表わしているか否かを判定している点が、第１の実施の形態と主に異なっている。

第３の実施の形態における車載用照明システムの車両灯火判定部３０では、ヘッドライトや制動灯などの灯火の種類を含めた車両灯火の明るさの範囲が、メモリに記憶されている。車両灯火判定部３０は、各車両灯火ペア候補について、車両灯火ペア候補について推定された距離に基づいて、上記（５）式の関係を用いて、車両灯火からの受光量の範囲を算出し、一対の高輝度領域の各々について推定された受光量が、算出された車両灯火からの受光量の範囲内に存在するか否かを判定する。

一対の高輝度領域の各々について推定された受光量が、算出された車両灯火からの受光量の範囲内となる車両灯火ペア候補は、車両灯火のペアとして矛盾しないため、車両灯火のペアを表わしていると判定する。一方、一対の高輝度領域の各々について推定された受光量が、算出された車両灯火からの受光量の範囲外となる車両灯火ペア候補は、車両灯火のペアとして矛盾するため、車両灯火のペアを表わしていないと判定する。

なお、第３の実施の形態に係る車載用照明システムの他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、輝度値が最大値となる画素を周辺画素に基づいて補間することにより車両灯火ペア候補の輝度値を補正してから、車両灯火ペア候補の受光量が、予め求められた車両の灯火の明るさの範囲から算出される受光量の範囲内であるか否かを判定して、車両灯火ペア候補が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る車載用照明システムの構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第４の実施の形態では、車両灯火ペア候補の高輝度領域の大きさ及び輝度から、車種を判定し、車種に応じた車両灯火間の幅の仮定値を用いて、車両灯火ペア候補までの距離を推定している点が、第１の実施の形態と主に異なっている。

第４の実施の形態における車載用照明システムの距離推定部２６では、車両灯火ペア候補の各々について、以下に説明するように、車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアまでの距離を推定する。

まず、車両灯火ペアの一対の高輝度領域の大きさ及び輝度に基づいて、車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアを有する車両の車種が、大型車であるか小型車であるかを判定する。

そして、判定された車種に応じて予め定められた灯火間隔ｗ（車種が小型車である場合の灯火間隔は、例えば１．６〜１．８ｍであり、車種が大型車である場合の灯火間隔は、例えば２．２５〜２．５ｍ）を仮定して、上記（１）式に従って、前方画像中での車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアの中点までの距離ｚを算出する。

なお、第４の実施の形態に係る車載用照明システムの他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、車両灯火ペア候補の高輝度領域の大きさ及び輝度に基づいて、車種を判定し、判定された車種に対応して予め定められた車両の一対の灯火間の距離を用いて、車両灯火ペア候補が表わす車両の一対の灯火までの距離を算出することにより、車両灯火ペア候補の光源の明るさを精度よく推定することができ、撮像画像が車両灯火を表わしているか否かを、より精度よく判定することができる。

次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第５の実施の形態では、抽出された高輝度領域の各々について、飽和領域の輝度値を補正して受光量を推定し、推定された受光量を用いて車両灯火ペア候補を探索している点が、第１の実施の形態と異なっている。

図１０に示すように、第５の実施の形態に係る車載用照明システム５１０のコンピュータ５１８は、画像入力部２０と、領域抽出部２２と、抽出された複数の高輝度領域の各々について、高輝度領域内の飽和領域の輝度値を補間するように補正すると共に、高輝度領域における受光量を推定する受光量推定部５２８と、ペア候補探索部２４と、距離推定部２６と、車両灯火判定部３０と、表示制御部３２と、照明制御部３４を備えている。

受光量推定部５２８は、抽出された各高輝度領域について、高輝度領域の輝度分布全体に対して高輝度領域内の飽和領域の周辺画素の輝度値との差が最も小さくなるように確率分布モデルを当てはめて、当てはめた確率分布モデルに基づいて、高輝度領域の輝度値を補正する。受光量推定部５２８は、補正された高輝度領域の輝度値を用いて、上記（１）式の計算を行い、高輝度領域の各々における受光量を推定する。

ペア候補探索部２４は、ペア探索対象の高輝度領域について、高輝度領域の横方向の長さに対応する灯火ペア間の間隔を横方向の長さとするペア探索範囲を、高輝度領域の左右に設定し、そして、ペア探索範囲内に存在する高輝度領域を任意に選択し、任意に選択された高輝度領域とペア探索対象の高輝度領域とを比較して、領域の高さの差が所定範囲内であり、幅の差が所定範囲内であり、かつ、推定された受光量の差が所定範囲内である場合には、領域の高さと幅とがほぼ同一であり、受光量もほぼ同一であると判断し、選択された２つの高輝度領域を、車両灯火ペア候補とする。

車両灯火判定部３０は、各車両灯火ペア候補について、一対の高輝度領域の各々について受光量推定部５２８で推定された受光量と、一対の高輝度領域の各々までの距離とに基づいて、一対の高輝度領域の各々における光源の明るさを推定し、一対の高輝度領域の各々について推定された光源の明るさが、メモリに記憶された、車両灯火の明るさの範囲内に存在するか否かを判定することにより、車両灯火のペアを表わしているか否かを判定する。

次に、第５の実施の形態に係る照明制御処理ルーチンについて、図１１を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して説明を省略する。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、上記ステップ１００で取得した前方画像から、輝度値が閾値以上となる高輝度領域を抽出する。そして、ステップ１０４で、上記ステップ１０２で抽出された高輝度領域の各々について、領域の高さや幅などを含む属性値を認識して取得する。

次のステップ５５０では、上記ステップ１０２で抽出された高輝度領域の各々における受光量を推定する。このとき、高輝度領域内の飽和領域については、周辺画素の輝度値に基づいて輝度値が補間され、補間された輝度値を用いて、受光量が推定される。

そして、ステップ５５２では、上記ステップ１０２で抽出された高輝度領域の各々について、ペア探索対象の高輝度領域の横方向の長さに応じた探索範囲を、ペア探索対象の高輝度領域の左右の各々に設定し、ペア探索対象の高輝度領域の高さ、幅、及び受光量と、探索範囲内に存在する高輝度領域の高さ、幅、及び受光量とを比較して、横方向に並んだ類似した高輝度領域のペアを、車両灯火ペア候補として探索する。

ステップ１１０では、上記ステップ５５２で探索された車両灯火ペア候補から、処理対象の候補を設定し、処理対象の車両灯火ペア候補が車両灯火のペアを表していると仮定した場合の車両灯火のペアまでの距離を推定する。そして、ステップ１１４において、上記ステップ１１０で推定された距離と、上記ステップ５５０で推定された受光量とに基づいて、一対の高輝度領域の各々における光源の明るさを推定し、一対の高輝度領域の各々について推定された光源の明るさが、メモリに記憶された、車両灯火の明るさの範囲内に存在するか否かを判定して、車両灯火ペア候補が、車両灯火のペアを表わしていか否かを判定する。

そして、ステップ１１６において、車両灯火ペアが表わす車両灯火を有している車両の位置を検出し、次のステップ１１８では、探索された全ての車両灯火ペア候補について、上記の処理を行ったか否かを判定する。上記処理が行われていない車両灯火ペア候補が存在する場合には、上記ステップ１１０へ戻るが、一方、全ての車両灯火ペア候補について、上記処理が行われた場合には、ステップ１２０へ進む。

以上説明したように、第５の実施の形態に係る車載用照明システムによれば、飽和状態の画素を周辺画素に基づいて補間することにより高輝度領域の輝度値を補正して、カメラで撮像された光源の明るさを精度よく推定し、車両灯火ペア候補が、車両の一対の灯火を表わしているか否かを判定することにより、撮像画像が車両灯火を表わしているか否かを、精度よく判定することができる。

なお、上記の第１の実施の形態〜第５の実施の形態では、推定された光源の明るさが、車両灯火の明るさの範囲内であるか否かを判定して、車両の灯火を表わしているか否かを判定する場合を例に説明したが、これに限定されるものではなく、ヘッドライト、テールランプ、及びブレーキランプの３種類の車両灯火に応じて、明るさの範囲を各々設定しておき、推定された光源の明るさが、設定された各種の車両灯火の明るさの範囲内であるか否かを各々判定して、どの種類の車両の灯火を表わしているか否かを判定するようにしてもよい。

また、前方画像が車両灯火ペアを表わしているか否かによって、ヘッドライトのハイビーム及びロービームを制御する場合を例に説明したが、これに限定されるものではなく、ヘッドライトの輝度を調整するようにしてもよい。例えば、検出された車両位置の方向の輝度を低下させるように調整してもよい。

また、車両灯火ペア候補の一対の高輝度領域について推定される光源の明るさの各々が、車両の灯火の明るさの範囲内である場合に、車両灯火のペアを表わしていると判定する場合を例に説明したが、これに限定されるものではなく、車両灯火ペア候補の一対の高輝度領域について推定される光源の明るさの少なくとも一方が、車両の灯火の明るさの範囲内である場合に、車両灯火のペアを表わしていると判定するようにしてもよい。また、車両灯火ペア候補の一対の高輝度領域について推定される光源の明るさの平均値が、車両の灯火の明るさの範囲内である場合に、車両灯火のペアを表わしていると判定するようにしてもよい。

また、上記の第１の実施の形態及び第３の実施の形態〜第５の実施の形態では、高輝度領域間の距離に基づいて、車両灯火ペア候補が表わす車両灯火ペアまでの距離を推定する場合を例に説明したが、これに限定されるものではなく、上記の第２の実施の形態のように、距離計測装置によって計測された距離から、車両灯火ペア候補が表わす車両灯火ペアまでの距離を取得するようにしてもよい。この場合には、計測された距離から得られる高輝度領域を表わす物体までの距離を用いて、車両灯火ペア候補を探索するようにしてもよい。

１０、２１０、５１０車載用照明システム
１２撮像装置
１４表示装置
１６ヘッドライト
１８、２１８、５１８コンピュータ
２２領域抽出部
２４、２２４ペア候補探索部
２６距離推定部
２８、５２８受光量推定部
３０車両灯火判定部
３２表示制御部
３４照明制御部
２１２距離計測装置
２２０距離情報取得部
２３０二輪車灯火判定部

Claims

自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段と、
前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、前記画素の輝度値を補正する補正手段と、
前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段と、
を含む車両灯火判定装置。
自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、前記画素の輝度値を補正する補正手段と、
前記領域抽出手段によって抽出された高輝度領域から、輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
予め定められた車両の一対の灯火間の距離、前記候補探索手段によって探索された候補領域の一対の高輝度領域間の距離、及び前記撮像装置の焦点距離に基づいて、前記候補領域が表わす車両の一対の灯火までの距離を算出する算出手段と、
前記候補領域の高輝度領域の輝度値の総和、前記算出手段によって算出された前記候補領域が表わす車両の一対の灯火までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段と、
を含む車両灯火判定装置。
自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記領域抽出手段によって抽出された前記高輝度領域が表わす物体までの距離を取得する距離取得手段と、
前記距離取得手段によって取得された前記高輝度領域が表わす物体までの距離、及び前記高輝度領域間の距離に基づいて、前記高輝度領域から、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
前記候補領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、前記画素の輝度値を補正する補正手段と、
前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段と、
を含む車両灯火判定装置。
自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
自車両の周辺に存在する物体までの距離を計測する距離計測装置の計測結果から、前記高輝度領域が表わす物体までの距離を取得する距離取得手段と、
前記高輝度領域のうちの輝度値が最大値となる画素について、周辺画素の輝度値に基づいて補間することにより、前記画素の輝度値を補正する補正手段と、
前記領域抽出手段によって抽出された高輝度領域から、前記距離取得手段によって取得された距離及び輝度値が類似し、かつ、横方向に並んだ一対の高輝度領域を、候補領域として探索する候補探索手段と、
前記候補領域の高輝度領域の輝度値の総和、前記取得手段によって取得された前記候補領域の高輝度領域が表わす物体までの距離、及び予め求められた車両の一対の灯火の明るさに基づいて、前記候補領域が、車両の一対の灯火を表わしているか否かを判定する判定手段と、
を含む車両灯火判定装置。
前記算出手段は、前記候補領域の高輝度領域の大きさ及び輝度の少なくとも一方に基づいて、車種を判定し、判定された車種に対応して予め定められた車両の一対の灯火間の距離を用いて、前記候補領域が表わす車両の一対の灯火までの距離を算出する請求項１又は２記載の車両灯火判定装置。
前記判定手段によって前記車両の一対の灯火を表わしていると判定されなかった高輝度領域に対して、前記高輝度領域の輝度値の総和、前記取得手段によって取得された前記高輝度領域が表わす物体までの距離、及び予め求められた二輪車の灯火の明るさに基づいて、前記高輝度領域が、二輪車の灯火を表わしているか否かを判定する第２判定手段を更に含む請求項３又は４記載の車両灯火判定装置。
前記判定手段は、前記候補領域の輝度値の総和と、前記候補領域が表わす車両の一対の灯火までの距離とに基づいて推定される前記候補領域が表わす車両の一対の灯火の明るさが、予め求められた車両の一対の灯火の明るさの範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する請求項１〜請求項６の何れか１項記載の車両灯火判定装置。
前記判定手段は、前記候補領域の輝度値の総和が、前記候補領域が表わす車両の一対の灯火までの距離と、予め求められた車両の一対の灯火の明るさの範囲とに基づいて算出される、前記輝度値の総和の範囲内である場合、前記候補領域が、車両の一対の灯火を表わしていると判定する請求項１〜請求項６の何れか１項記載の車両灯火判定装置。
前記車両の一対の灯火の明るさの範囲を、複数種類の車種又は複数種類の灯火に対応する明るさを含む範囲とした請求項７又は８記載の車両灯火判定装置。
前記判定手段の判定結果を出力する出力手段を更に含む請求項１〜請求項９の何れか１項記載の車両灯火判定装置。
前記判定手段の判定結果に応じて、自車両に設けられた照明装置を制御する照明制御手段を更に含む請求項１〜請求項１０の何れか１項記載の車両灯火判定装置。