JP3671460B2 - ランプ点灯検出方法およびストップランプ点灯検出装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ランプ点灯検出方法に係り、特に、特定の色のランプを抽出して当該ランプの点灯の有無を認識するするランプ点灯検出方法に関する。さらに、このランプ点灯検出方法の実施に直接使用する装置として、ストップランプ点灯検出装置に係り、特に、車載用のストップランプ点灯検出装置に関する。
【０００２】
【従来の技術】
従来、カラー画像認識において、特定の色の対象物体を抽出するには、図１３に示すように、画像を構成する画素毎に特定色に該当するかどうか判定し、ラベリングを行っている。この特定色の対象物体としては、例えば先行車のストップランプが該当する。
【０００３】
【発明が解決しようとする課題】
しかしながら、実際に撮像された対象物体の画面上の色彩は一様な色分布ではないため、例えば、ストップランプでは中央部が白色、周辺部が暗赤色となるため、単純に特定色のみを抽出するのでは対象物体を良好に抽出できない場合が生じる。
【０００４】
特に、カメラの設定や、天候、光源の位置や色温度等の各種の撮像条件によって、対象物体でない画素が特定色に該当しノイズとなる場合もある。
【０００５】
従って、単純に特定色の抽出処理のみで対象物体を抽出する従来例では、抽出すべき物体の画素の一部が欠落したり、また、抽出対象でない画素を抽出対象と誤認識することがある、という不都合が生じた。
【０００６】
【発明の目的】
本発明は、係る従来例の有する課題を改善し、特に、点灯時と消灯時とでは色彩が変化し、また、中央部分と周辺部分とでは色彩が異なるランプの点灯を画像処理により認識することのできるランプ点灯検出方法を提供することを、その目的とする。
【０００７】
さらに、ランプが先行車のストップランプ（ブレーキランプ）である場合に、これをストップランプの画像上の色彩に多少の変化があっても良好に認識することのできるストップランプ点灯検出装置を提供することを、その目的とする。
【０００８】
【課題を解決する手段】
そこで、本発明では、第１の手段として、認識対象のランプを撮像する撮像工程と、この撮像工程で撮像されたカラー画像データから特定色およびその近似色が一定画素数以上連続した特定色領域を抽出する第１の特定色領域抽出工程と、この第１の特定色領域抽出工程により抽出された複数の特定色領域の各画素について特定色への近似度を算出すると共に、当該近似度の平均値を特定色領域を単位に算出する近似度平均値算出工程とを備えている。
さらに、この近似度平均値算出工程により算出された近似度平均値が所定のしきい値以上の特定色領域を抽出する第２の特定色領域抽出工程と、この第２の特定色部分で抽出された各特定色領域について当該特定色領域毎に輝度の平均値を算出する輝度平均値算出工程と、この輝度平均値算出工程により算出された輝度平均値が一定のしきい値を越えたか否かを判定する判定工程とを備えた、という構成のランプ点灯検出方法を採っている。
【０００９】
第２の手段では、第１の手段によるランプ点灯検出方法の実施に直接使用する装置として、車両前方を撮像する撮像手段と、この撮像手段からのカラー画像をデジタルデータに変換するＡ／Ｄ変換器と、このＡ／Ｄ変換器からのカラー画像データ中の各画素の輝度値を抽出する輝度データ抽出手段とを備え、この輝度データ抽出手段に、Ａ／Ｄ変換器によって出力されるカラー画像データの全色についてストップランプ色との近似度を予め記憶した近似度データ記憶部と、この近似度データ記憶部中の近似度データに基づいてＡ／Ｄ変換器からのカラー画像データの各画素について近似度を出力する特定色データ抽出手段とを併設すると共に、この特定色データ抽出手段に、当該特定色データ抽出手段が抽出した近似度データに基づいて特定色領域を抽出すると共に当該特定色領域を単位とした輝度値の平均値を所定のしきい値と比較する判定手段を併設した、という構成のストップランプ点灯検出装置を採っている。
【００１０】
第３の手段として、判定手段が、特定色領域中の各画素の近似度の平均値を算出すると共に当該近似度平均値が一定以上の特定色領域をストップランプ部分と判定するストップランプ部分抽出機能を備え、近似度データは、赤色成分多い色彩の値が大きく設定されると共に黄色の値が負数に設定された、という構成を採っている。
【００１１】
本発明で、これらの手段によって、前述した目的を達成しようとするものである。
【００１２】
【作用】
第１の手段によるランプ認識方法では、まず、撮像工程で、認識対象のランプを撮像する。すると、カラー画像データが得られる。次いで、第１の特定色領域抽出工程で、当該カラー画像データから特定色およびその近似色が一定画素数以上連続する領域を抽出する。すると、認識対象のランプの色に近い色の特定色領域が抽出される。さらに、近似度平均値算出工程で、当該特定色領域中の各画素について特定色への近似度を算出し、さらに、当該特定色領域を単位に近似度の平均値を算出する。すると、画像データ中の複数の特定色領域について、１つ１つの領域を単位として特定色への近似度が算出される。
【００１３】
さらに、第２の特定色領域抽出工程では、この近似度平均値が所定のしきい値以上の特定色領域を抽出する。これにより、認識対象のランプの近似色が一定領域撮像された領域を特定する。次いで、この第２の特定色部分で抽出された各特定色領域について当該特定色領域毎に輝度の平均値を算出する。すると、認識対象のランプの近似色が一定領域撮像された領域について、当該領域の明るさの平均値が算出される。さらに、判定工程で、この輝度平均値算出工程により算出された輝度平均値が一定のしきい値を越えたか否かを判定する。これにより、当該輝度平均値がしきい値を越えた場合にはランプの点灯と判定し、一方、しきい値を越えない場合には、ランプは点灯していないと判定する。
【００１４】
第２の手段では、まず、撮像手段は、自車の前方をカラーで撮像する。次いで、Ａ／Ｄ変換器は、この撮像手段からのカラー画像をデジタルデータに変換する。このカラー画像データは輝度データ抽出手段および特定色データ抽出手段とに入力される。輝度データ抽出手段では、このカラー画像データ中の各画素の輝度値を抽出する。一方、特定色データ抽出手段では、近似度データ記憶部中の近似度データに基づいてカラー画像データ中の各画素のストップランプ色との近似度を出力する。
【００１５】
さらに、判定手段は、まず、この特定色データ抽出手段が抽出した特定色データによる近似度に基づいて特定色領域を抽出する。さらに、当該特定色領域の輝度値を所定のしきい値と比較することにより、ストップランプの点灯の有無を判定する。
【００１６】
第３の手段では、近似度として、ストップランプの色である赤色成分多い色彩の値が大きく設定され、ウインカの色である黄色の値が負数に設定されているため、カラー画像データ中のウインカが撮像された部分の近似度はマイナスとなり、一方、カラー画像データ中のストップランプが撮像された部分の近似度はプラスの大きい値となる。このため、判定手段が、特定色領域中の各画素の近似度の平均値を算出すると、ウインカ部分であるのか又はストップランプ部分であるのかが良好に分離される。このため、判定部は、当該近似度平均値が一定以上の特定色領域をストップランプ部分と判定する。さらに、判定部は、このストップランプ部分と判定された特定色領域について輝度値による点灯の有無の判定を行うため、ウインカが点灯していても、これにかかわらずストップランプの点灯のみを抽出する。
【００１７】
【実施例】
次に本発明の一実施例について図面を参照して説明する。
【００１８】
図１は、本発明によるランプ点灯検出方法の構成を示すフローチャートである。本実施例では、認識対象のランプとして、画面中の何処に当該ランプが撮像されるか不確定で、かつ、特定の色をしたランプであり、さらに、点灯中と消灯中とでは色が多少変更するランプを対象としている。
【００１９】
このようなランプとしては、車両のストップランプ（ブレーキランプ）や、ウインカや、信号などがある。まず、信号を対象とした認識方法を第１実施例として説明し、次いで、ストップランプを対象としたストップランプ点灯検出装置を第２実施例として説明する。
【００２０】
この第１実施例では、赤信号の点灯の有無を認識対象とする。まず、撮像工程で、認識対象の信号が所定ドット数以上となる大きさで車両の前方を撮像する（ステップＳ１）。すると、カラー画像データが得られる。
【００２１】
次いで、第１の特定色領域抽出工程で、当該カラー画像データから赤信号の一般的な色およびその近似色が一定画素数（面積）以上連続する領域を抽出する（ステップＳ２）。この近似色の範囲は、赤信号の点灯の有無による色彩の変化と、信号機での反射等による色彩の変化を考慮して定められる。ここでは、赤信号を撮像したときに生じ得る色彩であれば、近似色に含まれる。このため、認識対象の赤信号の色に近い色の特定色領域が抽出される。
【００２２】
さらに、近似度平均値算出工程で、当該特定色領域中の各画素の特定色への近似度の平均値を当該特定色領域毎に算出する（ステップＳ３）。すると、画像データ中の複数の特定色領域について、１つ１つの領域を単位として特定色への近似度が算出される。
【００２３】
さらに、第２の特定色領域抽出工程では、この近似度平均値が所定のしきい値以上の特定色領域を抽出する（ステップＳ４）。これにより、認識対象の赤信号の近似色が一定領域撮像された領域を特定する。従って、画像データ中に赤信号に該当する部分が存在するか否かが判明し、かつ、存在する場合には画像データ中の位置が特定される。
【００２４】
次いで、この第２の特定色部分で抽出された各特定色領域について当該特定色領域毎に輝度の平均値を算出する（ステップＳ５）。これは色彩によって赤信号と判定された領域について、当該赤信号が点灯しているか否かを判定するためである。
【００２５】
さらに、判定工程で、この輝度平均値算出工程により算出された輝度平均値が一定のしきい値を越えたか否かを判定し、これにより、当該輝度平均値がしきい値を越えた場合には赤信号の点灯と判定し、一方、しきい値を越えない場合には、赤信号は点灯していないと判定する。
【００２６】
このような処理を信号の各色毎に行うことで、各色の点灯の有無を認識することができる。また、その他特定色のランプについても、この図１に示した工程で認識処理を行うと、外乱光等により色彩が変化するランプや、特に、点灯の有無によりその色彩が変化するランプについて、良好に点灯の有無を判定することができる。また、周辺部と中央部で色彩が変化するランプに対しても良好に認識処理を行うことができる。
【００２７】
次に、ストップランプ点灯検出装置の実施例を説明する。図２はストップランプ点灯検出装置の構成を示すブロック図である。ストップランプ点灯検出装置は、撮像手段としてのＣＣＤカメラ１と、先行車のストップランプ点灯を判定するストップランプ認識手段２と、表示装置等の認識結果出力手段３とを備えている。ＣＣＤカメラ１は車両に取り付けられ自車の進行方向を撮像する。ストップランプ認識手段３は、このＣＣＤカメラ１からの画像データに基づいて先行車両のストップランプ点灯の検出処理を行い、検出結果を表示装置３へ出力する。
【００２８】
図３はストップランプ認識手段２の詳細構成を示すブロック図である。ストップランプ認識手段２は、ＣＣＤカメラ１からのカラー画像をデジタルデータに変換するＡ／Ｄ変換器２１と、デジタル画像データのＲＧＢ値を各色毎の輝度データ又は特定色データに変換するデータ変換用ＲＯＭ２２と、これら輝度データ又は特定色データを記憶する画像メモリ２３と、この画像メモリ中の各データに基づいて画像処理を行うＣＰＵ２４とを備えている。
【００２９】
ＣＣＤカメラ１で撮像した画像データはＲＧＢ三原色毎にＡ／Ｄ変換器２１でデジタル化される。デジタル化されたカラー画像データは、輝度変化（モノクロ化）データマップを格納したデータ変換用ＲＯＭ２２ａおよびストップランプ色データマップを格納したデータ変換用ＲＯＭ２２ｂに入力される。各データ変換用ＲＯＭ２２からは、モノクロの輝度データおよびストップランプ抽出画像（特定色データ）がそれぞれの画像メモリ２３ａ，２３ｂに出力される。
【００３０】
図４はデータ変換用ＲＯＭ２２によるカラー画像データの変換過程を示すブロック図である。このデータ変換用ＲＯＭ２２では、デジタルカラー画像のＲＧＢ値と、ＲＯＭの入力アドレス値を対応させている。本実施例では、ＲＧＢ値をそれぞれ８ビット（２５６階調）としている。輝度データ抽出用ＲＯＭ２２ａには、任意色に対する輝度値がデータマップとして格納されている。一方、ストップランプ色データ抽出用ＲＯＭ２２ｂには、任意色のストップランプ色らしさ（３ビット）がデータマップとして格納されている。
【００３１】
図５は図４に示した工程での画像変換に用いられる各画像データを簡略表示したものである。カラーのデジタル画像データ（図５（Ａ）参照）がＡ／Ｄ変換器２１から各データ変換用ＲＯＭ２２ａ，２２ｂに入力されると、それぞれモノクロの輝度データ（図５（Ｂ）参照）と、ストップランプ色（特定色）データ（図５（Ｃ）参照）とが出力される。
【００３２】
図６は特定色の近似値（ストップランプらしさ値）の詳細を説明する説明図である。本実施例では、ＲＯＭをデータ変換器として用いているため、Ａ／Ｄ変換器２１は、ＲＧＢ各データを１６ビットで出力する。従って、ストップランプ色データ抽出用ＲＯＭ２２ａには、１６×１６×１６の色数（セル）のそれぞれについて近似値が定められたマップが格納されている。近似値としては、０，１，４，８，−２の５段階評価としている。このため、図６（Ａ）に示すように、ＲＧＢ空間には０〜４の値がマップとして記録されていて、この値は、図６（Ｂ）に示すように近似値に対応している。
【００３３】
図７乃至図８は、は図６に示したＲＧＢ空間の詳細を示す図である。図７に示すように、赤成分が多く含まれている色に対応したセルには、近似値「８」に対応するマップデータ「３」が格納されている。この値は、赤成分が少なくなるにつれて小さくなるように、試行錯誤の上経験的に設定した。
【００３４】
また、ストップランプ認識では、通常車両のストップランプの近傍にはウインカが配置されているため、ストップランプとウインカとを良好に区別する必要がある。このため、本実施例では、橙から黄色に対応する色彩の近似値（ストップランプらしさ値）の値を負数にしている。このため、ウインカが撮像され、当該ウインカの領域については、近似度の平均値が極端に低くなるため、ストップランプの領域であると判定されない。
【００３５】
つぎに、上述した構成でのストップランプ点灯の認識処理の一例を図９のフローチャートを参照して説明する。
【００３６】
まず、図４の画像前処理によって、ストップランプ色らしさを示す特徴量を多値化したストップランプ色抽出画像を取り込む（ステップＳ１１）。このストップランプ色抽出画像について、値が「０」でない画素についてラベリングを行う（ステップＳ１２）
【００３７】
次いで、ラベルが存在する場合（ステップＳ１３）、ラベル毎に近似値（ストップランプ色らしさを示す多値化された特徴量）の平均値を演算する（ステップＳ１４）。
【００３８】
さらに、この近似値の平均値があるしきい値より大きいラベルが存在するか否かを判定する（ステップＳ１５）。これにより、ラベル単位で色評価を行う。
【００３９】
次いで、ラベルを構成する画素の輝度値を、図４に示した前処理によって得られたモノクロの輝度データに基づいて取り込み（ステップＳ１６）、ラベル毎の輝度値平均を演算する（ステップＳ１７）。
【００４０】
この輝度値平均があるしきい値より大きいラベルが存在するか否かを判定する（ステップＳ１８）ことにより、ラベル単位でランプ輝度評価を行う。このように、本実施例では、ラベル単位での色評価およびランプ輝度評価によって、先行車ストップランプ点灯判定を行う（ステップＳ１９）。
【００４１】
図１０は図９に示したアルゴリズムに従って、カラー原画像からストップランプ抽出を行う過程を模式的に示したものである。ストップランプｓと近似色物体ｋとが撮像されたカラー原画像（図１０（Ａ）参照）は、図３に示したストップランプ色データ抽出用ＲＯＭ２２ｂによって、ストップランプ色らしさを示す特徴量が８段階（３ビット）に多値化される（図１０（Ｂ）参照）。
【００４２】
次に、「０」以外の画素についてラベリングを行う。図１０（Ｃ）では、４個のラベルが抽出されている。各々のラベルについて近似値の平均を演算し（図１０（Ｄ）参照）、あるしきい値より小さいラベルは破棄する。ここでは、しきい値＝２．０に設定しているため、図１０（Ｅ）に示す例では３個のラベルが抽出される。
【００４３】
さらに、ラベル毎の輝度値平均を演算子、あるしきい値より小さいラベルは破棄する。ここでは、しきい値＝１２７に設定し、図１０（Ｆ）では２このラベルが抽出される。異常の処理によって、抽出された図１０（Ｅ）のラベル２個を点灯している先行車両のストップランプと判定する。
【００４４】
図１１は雑音（ノイズ）対策として、ラベル面積（ラベル構成画素数）評価と、画面間のラベル位置の変化（時間的、位置的相関性）評価を用いている。ステップＳ２０では、あるしきい値異常の面積をもつラベルのみをストップランプと認識し、ステップＳ２１では画面上のラベル位置が大きく移動しない（相関性がある）ものだけをストップランプと認識している。
【００４５】
また、本提案は、図１２に示すように、車間距離警報装置と組み合わせた場合にも有効である。測距手段で先行車との車間距離、相対速度を演算し、車速センサ、ブレーキセンサで自車両の速度、ブレーキ状態を取得する。さらに、本実施例による先行車両ストップランプ認識結果に基づいて接近状態を評価することで、従来の車間距離接近警報装置より的確なタイミングで警報を発することができる。
【００４６】
上述したように本実施例によると、画素単位ではなくラベル単位で色評価を行うため、対象物体（実施例ではストップランプ）の抽出が的確に行われる。また、先行車ストップランプ点灯検出装置として車間距離警報装置と組み合わせて使用することにより、警報の信頼性を高めることができる。
【００４７】
【発明の効果】
本発明は以上のように構成され機能するので、これによると、請求項１記載の発明では、近似度平均値算出工程が、当該特定色領域中の各画素の特定色への近似度の平均値を当該特定色領域毎に算出し、第２の特定色領域抽出工程では、この近似度平均値が所定のしきい値以上の特定色領域を抽出するため、認識対象のランプの画像データ上の位置を特定することができ、さらに、判定工程で、当該特定色領域の輝度値の平均値に基づいてランプ点灯の有無を判定するため、ランプが撮像された領域についてのみ輝度による点灯の判定を行うことができ、このため、点灯時と消灯時とでは色彩が変化するランプや、中央部分と周辺部分とでは色彩が異なるランプであってもその点灯の有無を的確に抽出することができる従来にない優れたランプ点灯検出方法を提供することができる。
【００４８】
請求項２記載の発明では、輝度データ抽出手段が、カラー画像データ中の各画素の輝度値を抽出し、特定色データ抽出手段が、近似度データ記憶部中の近似度データに基づいてカラー画像データ中の各画素のストップランプ色との近似度を出力するため、特定色についての近似度でストップランプが撮像された画像データ中の領域を特定することができ、さらに、判定手段は、当該特定色領域の輝度値を所定のしきい値と比較することによりストップランプの点灯の有無を判定するため、点灯時と消灯時とでは色彩が変化し、また中央部分と周辺部分とでは色彩が異なり、さらに、先行車によって形状が異なるストップランプであってもその点灯の有無を的確に抽出することができる従来にない優れたストップランプ点灯検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明によるランプ点灯検出方法の実施例の構成を示すフローチャートである。
【図２】本発明によるストップランプ点灯検出装置の実施例の構成を示すブロック図である。
【図３】図２に示したストップランプ認識手段の詳細構成を示すブロック図である。
【図４】図３に示したデータ変換用ＲＯＭの動作を説明するための説明図である。
【図５】図２に示した構成で扱う画像の例を示す説明図で、図５（Ａ）はＣＣＤカメラで撮像したカラー画像を簡略表示した図で、図５（Ｂ）は輝度データの一例を示す図で、図５（Ｃ）は特定色データの一例を示す図である。
【図６】図６（Ａ）〜（Ｃ）は、図２に示した構成で扱う特定色についての近似値を説明するための説明図である。
【図７】図４に示したストップランプ色データ抽出用ＲＯＭに格納されたマップデータの前半を示す説明図である。
【図８】図４に示したストップランプ色データ抽出用ＲＯＭに格納されたマップデータの後半を示す説明図である。
【図９】図２に示した構成での動作例を示すフローチャートである。
【図１０】図１０（Ａ）〜（Ｆ）は、図９に示した処理工程で生じる各画像の一例を示す図である。
【図１１】図９に示した処理の変形例を示すフローチャートである。
【図１２】図２に示したストップランプ点灯検出装置を用いた車間距離警報装置の構成を示すブロック図である。
【図１３】図１３（Ａ）〜（Ｃ）は、従来のストップランプ抽出処理を説明するための説明図である。
【符号の説明】
Ｓ１ 撮像工程
Ｓ２ 第１の特定色領域抽出工程
Ｓ３ 近似度平均値算出工程
Ｓ４ 第２の特定色領域抽出工程
Ｓ５ 輝度平均値算出工程
Ｓ６ 判定工程
１ カラー画像撮像手段
２ ストップランプ認識手段
２１ Ａ／Ｄ変換器
２２ データ変換用ＲＯＭ
２２ａ 輝度データ抽出用ＲＯＭ
２２ｂ ストップランプ色（特定色）データ抽出用ＲＯＭ
２３ 画像メモリ
２４ ＣＰＵ
３ 出力手段

Claims (3)

1. 認識対象のランプを撮像する撮像工程と、この撮像工程で撮像されたカラー画像データから特定色およびその近似色が一定画素数以上連続した特定色領域を抽出する第１の特定色領域抽出工程と、この第１の特定色領域抽出工程により抽出された前記複数の特定色領域の各画素について前記特定色への近似度を算出すると共に、当該近似度の平均値を前記特定色領域を単位に算出する近似度平均値算出工程とを備えると共に、
   この近似度平均値算出工程により算出された近似度平均値が所定のしきい値以上の前記特定色領域を抽出する第２の特定色領域抽出工程と、この第２の特定色領域抽出工程で抽出された各特定色領域について当該特定色領域毎に輝度の平均値を算出する輝度平均値算出工程と、この輝度平均値算出工程により算出された輝度平均値が一定のしきい値を越えたか否かを判定する判定工程とを備えたことを特徴とするランプ点灯検出方法。
2. 車両前方を撮像する撮像手段と、この撮像手段からのカラー画像をデジタルデータに変換するＡ／Ｄ変換器と、このＡ／Ｄ変換器からのカラー画像データ中の各画素の輝度値を抽出する輝度データ抽出手段とを備え、
   この輝度データ抽出手段に、前記Ａ／Ｄ変換器によって出力されるカラー画像データの全色についてストップランプ色との近似度を予め記憶した近似度データ記憶部と、この近似度データ記憶部中の近似度データに基づいて前記Ａ／Ｄ変換器からのカラー画像データの各画素について前記近似度を出力する特定色データ抽出手段とを併設すると共に、
   この特定色データ抽出手段に、当該特定色データ抽出手段が抽出した近似度データに基づいて特定色領域を抽出すると共に当該特定色領域を単位とした前記輝度値の平均値を所定のしきい値と比較する判定手段を併設したことを特徴とするストップランプ点灯検出装置。
3. 前記判定手段が、前記特定色領域中の各画素の近似度の平均値を算出すると共に当該近似度平均値が一定以上の特定色領域をストップランプ部分と判定するストップランプ部分抽出機能を備え、
   前記ストップランプ色の近似度は、赤色成分多い色彩の値が大きく設定されると共に黄色の値が負数に設定されたことを特徴とする請求項２記載のストップランプ点灯検出装置。

Images