JP6477876B2 - 信号機検出装置及び信号機検出方法 - Google Patents

Description

本発明は、信号機検出装置及び信号機検出方法に関するものである。

従来から、信号機の外形をパターン比較により特定した上で、信号機の灯火位置を濃淡画像の輝度から判断する技術が知られている（特許文献１参照）。

特開２００８−３７４６号公報

カラー画像に対する一般的なグレースケール変換処理を行って濃淡画像を生成した場合、輝度が同じ対象物であっても、赤色の対象物の方が緑色の対象物に比べて輝度が小さく変換されてしまう。よって、交通信号機の灯火の提示色に係わらず一定の輝度閾値を用いて灯火を検出する場合、赤色灯火は緑色灯火に比べて検出され難かった。

本発明は、上記課題に鑑みて成されたものであり、その目的は、提示色に係わらず、同じ輝度閾値を用いて安定して灯火位置を判定できる信号機検出装置及び信号機検出方法を提供することである。

本発明の一態様に係わる信号機検出装置は、車両に搭載されたカラー撮像部でカラー画像を取得し、カラー画像を、交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差を所定値以内とするカラー画像の各色要素に対する濃淡階調の対応付けによって、濃淡画像へ変換し、濃淡画像から交通信号機の灯火を検出する。

図１は、第１実施形態に係わる信号機検出装置１の全体構成を示すブロック図である。 図２は、図１の同期画像生成回路２４の詳細な構成を示すブロック図である。 図３は、ベイヤー画像からカラー画像へのベイヤー変換処理の例を示す図であり、図３（ａ）は赤色灯火を検出した時のベイヤー画像を示し、図３（ｂ）は図３（ａ）のベイヤー画像を変換したカラー画像を示し、図３（ｃ）は緑色灯火を検出した時のベイヤー画像を示し、図３（ｄ）は図３（ｃ）のベイヤー画像を変換したカラー画像を示す。 図４は、カラー画像を、（式１）に示した一般的な重み付けの計数を用いてグレースケール変換した場合の濃淡画像の例を示し、図４（ａ）は、図３（ｃ）のカラー画像を変換した濃淡画像であり、図４（ｂ）は、図３（ｄ）のカラー画像を変換した濃淡画像である。 図５は、カラー画像を、（式２）に示したグレースケール変換式を用いてグレースケール変換した場合の濃淡画像の例を示し、図５（ａ）は、図３（ｃ）のカラー画像を変換した濃淡画像であり、図５（ｂ）は、図３（ｄ）のカラー画像を変換した濃淡画像である。 図６は、図１の信号機検出装置１を用いた信号機検出方法の一例を示すフローチャートである。 図７は、第２実施形態に係わる信号機検出方法の一例を示すフローチャートである。 図８は、第３実施形態に係わる信号機検出装置２の全体構成を示すブロック図である。 図９は、図８の信号機検出装置２を用いた信号機検出方法の一例を示すフローチャートである。 図１０（ａ）はベイヤー画像のベイヤー配列を示し、図１０（ｂ）〜（ｄ）は図１０（ａ）を色ごとに画素を分割して抽出された画像を示す。

（第１実施形態）
次に、図面を参照して、本発明の実施の形態を詳細に説明する。

図１を参照して、第１実施形態に係わる信号機検出装置１の全体構成を説明する。信号機検出装置１は、車両に搭載され、車両の周囲を撮像してカラー画像を取得するカラー撮像部１１と、カラー撮像部１１により取得されたカラー画像を用いて交通信号機を検出する画像処理部１２と、車両位置検出部１３と、地図データベース１４とを備える。

カラー撮像部１１は、固体撮像素子（イメージセンサ）、例えばＣＣＤ又はＣＭＯＳを備えたディジタルカメラであって、画像処理が可能なカラー画像を取得する。カラー撮像部１１は、所定の時間間隔で繰り返し、例えば、車両の前方を撮像して、連続する複数のカラー画像を取得する。カラー撮像部１１は、交通信号機に供給される系統電源の１交流周期の間に、複数回の撮像を行う。カラー撮像部１１は、各カラー画像に、車両の前方に存在する１又は２以上の交通信号機の灯火を撮像することができる。イメージセンサは、少なくとも、交通信号機の灯火を、車両が停止するために必要な距離で検出することができる程度の感度を有する。

画像処理部１２は、カラー撮像部１１により取得されたカラー画像のデータを受信し、カラー画像の中に含まれる交通信号機の画像上の位置、及び交通信号機の灯火色を検出する。検出された交通信号機の情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１６）に転送される。画像処理部１２は、例えば、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置１が備える複数の情報処理回路を構成する。画像処理部１２は、カラー画像から交通信号機を検出する一連の情報処理サイクル（グレースケール変換処理及び電力同期処理を含む）を、連続する複数のカラー画像毎に繰り返し実行する。画像処理部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

画像処理部１２により構成される複数の情報処理回路には、濃淡画像生成回路２１と、信号機検出回路２２とが含まれる。

濃淡画像生成回路２１は、カラー画像を濃淡階調からなる濃淡画像へ変換する。換言すれば、カラー画像に対してグレースケール変換処理を実行して、輝度（明度を含む）情報のみから成る濃淡画像を生成する。

人間の目では、色合いによって明るさの感じ方が違う。NTSC加重平均法では、人間の目に違和感の無いグレースケール変換を行うために、例えば、（式１）に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色要素の値に一定の重みを付している。これにより、カラー画像の各色要素と濃淡階調とを対応付けている。（式１）に示す重み付けの係数（NTSC Coefficients）は、一般的なグレースケール変換式として良く知られている。（式１）において、Ｙは、濃淡画像における輝度を示し、Ｒ，Ｇ，Ｂは、カラー画像におけるＲ要素値、Ｇ要素値、Ｂ要素値を示す。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（式１）

しかし、一般的なグレースケール変換式を交通信号機の灯火検出に用いた場合、交通信号機の緑色灯火に比べ、赤色灯火の輝度が小さく変換されてしまう。このため、灯火色に応じて検出距離又は検出感度にバラツキが生じてしまう。例えば、車両から遠方の緑色灯火を検出できるが、車両から近傍の赤色灯火を検出できない場合がある。

そこで、本実施形態では、交通信号機の灯火色に特化したグレースケール変換式を用いることで、灯火色による検知距離のバラツキを抑制する。具体的には、濃淡画像における交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるように、カラー画像の各色要素を濃淡階調に対応付ける。グレースケール変換処理の詳細については、図４及び図５を参照して後述する。

信号機検出回路２２は、濃淡画像及びカラー画像を用いて、交通信号機の画像上の位置及び交通信号機の灯火色を検出する。信号機検出回路２２は、同期画像生成回路２４と、灯火位置判定回路２５と、灯火色判定回路２６とを備える。

同期画像生成回路２４は、先ず、交通信号機を含む車両周辺における系統電源の周波数情報を取得する。そして、系統電源の周波数情報を用いて、濃淡画像の中から、電力の交流周期と同期して輝度が変化する同期画素を抽出する。そして、抽出された同期画素からなる同期画像を生成する。具体的に、図２に示すように、同期画像生成回路２４は、基準信号生成部と、乗算部３０と、平均画像生成部３１とを備える。基準信号生成部は、系統電源（商用電源）の周波数情報を用いて、交通信号機に供給される電力の位相に同期した基準信号２９を生成する。そして、乗算部３０は、フレーム２８（濃淡画像）の各画素の輝度信号と基準信号２９とを乗算する。乗算部３０は、メモリに同時に記憶されている複数のフレーム２８（濃淡画像）の各々について、上記した乗算処理を実施する。平均画像生成部３１は、乗算部３０によるフレーム毎の乗算結果の平均値を求め、同期画素からなる同期画像として出力する。

交通信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期（例えば、１００Ｈｚ）と同じ周期で変化する。そこで、交通信号機に供給される電力の交流周期に同期して輝度が変化する同期画素をフレーム２８（濃淡画像）の中から抽出することができる。

灯火位置判定回路２５（灯火検出回路）は、同期画素の中から点灯中の信号灯、即ち灯火を検出する。具体的には、予め定めた輝度閾値よりも輝度が高い同期画素を灯火として判定して、濃淡画像上の灯火の位置を検出する。

灯火色判定回路２６は、カラー撮像部１１により取得されたカラー画像を受信し、カラー画像を用いて、灯火位置判定回路２５により判定された濃淡画像上の灯火の位置における交通信号機の灯火色を検出する。

車両位置検出部１３は、車両の現在位置及び現在姿勢を検出する。検出方法は特に問わず、既知の方法を用いることができる。例えば、ＧＰＳ信号などの測位信号を受信して車両の現在位置及び現在姿勢を検出してもよい。或いは、カラー画像から検出されるランドマーク及びこのランドマークの地図上の位置から、位置及び姿勢を検出してもよい。更に、測位信号を受信できない場合、或いは、ランドマークが検出できない場合、車両のヨーレイト及び車輪速から車両の移動量（オドメトリ）による自己位置推定を用いてもよい。

地図データベース１４には、車両が走行可能な道路の形状及び道路上に設けられた交通信号機の位置を示すデータが格納されている。灯火位置判定回路２５は、地図上における車両の現在位置及び現在姿勢、及び地図上における交通信号機の位置を示すデータを用いて、カラー画像、濃淡画像、或いは同期画像（単に、画像と呼ぶ。）上において、交通信号機が写ることが予測される検索範囲を設定する。灯火位置判定回路２５は、設定された検索範囲の中から、輝度閾値よりも輝度が高い同期画素を灯火として判定することができる。

図３を参照して、ベイヤー画像からＲＧＢカラー画像へのベイヤー変換処理を説明する。図３（ａ）は、赤色灯火をカラー撮像部１１が最小単位の４画素で撮像した時のベイヤー画像を示しており、受光している画素は、値を１とし、受光していない画素は、値を０として示している。図示していないが、この４画素の周囲の画素は、受光していない画素であり、値は０である。図３（ｂ）は図３（ａ）のベイヤー画像をベイヤー変換したＲＧＢカラー画像を示しており、変換後に値のある画素のみ図示している。図３（ｃ）は緑色灯火をカラー撮像部１１が最小単位の４画素で撮像した時のベイヤー画像を示しており、受光している画素は、値を１とし、受光していない画素は、値を０として示している。図示していないが、この４画素の周囲の画素は、受光していない画素であり、値は０である。図３（ｄ）は図３（ｃ）のベイヤー画像をベイヤー変換したＲＧＢカラー画像を示しており、変換後に値のある画素のみ図示している。

イメージセンサは、図３（ａ）及び（ｃ）に示すように、１つの赤色（Ｒ）、２つの緑色（Ｇ１、Ｇ２）及び１つの青色（Ｂ）のベイヤー配列を単位とするベイヤー画像を生成する。赤色灯火の場合、図３（ａ）のように、赤色（Ｒ）が割り当てられた画素のみが光を受光する。緑色灯火の場合、図３（ｃ）のように、緑色（Ｇ１、Ｇ２）及び青色（Ｂ）が割り当てられた画素のみが光を受光する。

そして、カラー撮像部１１が備える画像エンジンは、各画素で受光した電荷を輝度値に変換してベイヤー画像を読み出し、このベイヤー画像に対してベイヤー変換を行い、図３（ｂ）及び（ｄ）に示すように、ＲＧＢカラー画像を生成する。図３（ｂ）及び（ｄ）の枠内に示す数値は、各画素の（Ｒ要素値、Ｇ要素値、Ｂ要素値）を示す。ベイヤー変換では、ベイヤー画像において、各画素で受光できないＲＧＢ成分を周囲に隣接する８つの画素から補完する処理を行う。例えば、赤色（Ｒ）が割り当てられた画素（図３（ａ））に対して、受光できないＧ成分及びＢ成分を当該画素に隣接する８つの画素からそれぞれ補完する。これにより、図３（ｂ）に示すＲＧＢカラー画像を得ることができる。図３（ｂ）の（１）の画素が、赤色（Ｒ）が割り当てられた画素（図３（ａ））に対応している。図３（ａ）の場合、緑色（Ｇ）及び青色（Ｂ）が割り当てられた画素は光を受光していないので、図３（ｂ）の（１）の画素は、（１，０，０）となる。緑色（Ｇ１）が割り当てられた画素に対して、受光できないＲ成分及びＢ成分を当該画素に隣接する８つの画素からそれぞれ補完する。図３（ｂ）の（２）の画素が、緑色（Ｇ１）が割り当てられた画素（図３（ａ））に対応している。図３（ａ）のＲ画素は受光しているが、隣接するＲ成分の画素は光を受光していないので、図３（ｂ）の（２）の画素は、（０．５，０，０）となる。緑色（Ｇ２）及び青色（Ｂ）が割り当てられた画素の補完についても同様である。

図４は、ＲＧＢカラー画像を、（式１）に示した一般的な重み付けの係数を用いてグレースケール変換した濃淡画像の例を示す。図４（ａ）は、図３（ｂ）のＲＧＢカラー画像を変換した濃淡画像であり、図４（ｂ）は、図３（ｄ）のＲＧＢカラー画像を変換した濃淡画像である。図４（ａ）及び（ｂ）の各枠内に示す数値は、各画素の輝度を示す。輝度閾値を０．１５とした場合、図４（ａ）及び（ｂ）のハッチングを付した画素が、輝度閾値を超えるため、灯火として検出される。図４（ａ）と図４（ｂ）とを比較すると、濃淡画像における赤色灯火の輝度は、緑色灯火の輝度に比べて小さい。更に、灯火として検出される画素の範囲も、緑色灯火に比べて、赤色灯火は狭くなる。このように、（式１）に示す一般的なグレースケール変換式を用いた場合、灯火色に応じて、濃淡画像における各画素の輝度値、及び灯火として検出される画素の範囲（面積）に大きなバラツキが生じる。

これに対して、本実施形態の濃淡画像生成回路２１は、（式２）に示すグレースケール変換式を用いて、カラー画像をグレースケール変換する。（式２）は、一般的なグレースケール変換式（式１）と比べて、重み付けの係数が相違する。赤色（Ｒ）の係数が増加し、緑色（Ｇ）及び青色（Ｂ）の係数が減少している。

Ｙ＝０．４×Ｒ＋０．５×Ｇ＋０．１×Ｂ ・・・（式２）

図５は、図３（ｃ）及び図３（ｄ）のＲＧＢカラー画像を、（式２）に示したグレースケール変換式を用いてグレースケール変換した濃淡画像を示す。図５（ａ）及び（ｂ）の各枠内に示す数値は、各画素の輝度を示す。図４と同様にして輝度閾値を０．１５とした場合、図５（ａ）及び（ｂ）のハッチングを付した画素が、輝度閾値を超えるため、灯火として検出される。図４と図５とを比較すると、濃淡画像における赤色灯火の輝度と緑色灯火の輝度との差は、図４よりも図５の方が小さい。更に、緑色灯火として検出される画素の範囲と、赤色灯火として検出される画素の範囲との差も、図４よりも図５の方が小さい。このように、（式１）の代わりに（式２）を用いることによって、灯火色に応じた、濃淡画像における各画素の輝度値のバラツキ、及び灯火として検出される画素の範囲（面積）のバラツキを小さくすることができる。

このように、濃淡画像生成回路２１は、濃淡画像における交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるように、ＲＧＢカラー画像の各色要素を濃淡階調に対応付ける。各色要素の重み付けの係数を調整することにより、ＲＧＢカラー画像の各色要素を濃淡階調に対応付けることができる。これにより、交通信号機の灯火色に特化したグレースケール変換式（式２）を用いて、灯火色による検知距離のバラツキを抑制することができる。

図６のフローチャートを参照して、図１の信号機検出装置１を用いた信号機検出方法の一例を説明する。

先ず、ステップＳ０１において、カラー撮像部１１は、カラー画像を連続して取得する。取得した複数のカラー画像は、メモリに記憶される。交通信号機に供給される系統電源の１交流周期の間に、６枚のカラー画像が取得された場合（Ｓ０３でＹＥＳ）、ステップＳ０５に進み、濃淡画像生成回路２１は、（式２）を用いて、各カラー画像を濃淡画像へグレースケール変換する。変換した６枚の濃淡画像は、再びメモリに転送される。

次に、ステップＳ０７に進み、同期画像生成回路２４は、６枚の濃淡画像に対して、図２に示した処理を施して、電力の交流周期と同期して輝度が変化する同期画素からなる同期画像を生成する。ステップＳ０９に進み、灯火位置判定回路２５は、交通信号機の位置情報と、予め定めた輝度閾値よりも輝度が高い同期画素からなる画素群とが合致するか否かを判断する。具体的には、先ず、予め定めた輝度閾値よりも輝度が高い同期画素を灯火として判定して、灯火の画像上の位置を検出する。そして、車両の位置及び姿勢、及び交通信号機の位置情報から、交通信号機が撮像されることが予測される画像上の検索範囲を設定する。画像上の灯火の位置が検索範囲に含まれているか否かを判断する。画像上の灯火の位置が検索範囲に含まれている場合（Ｓ０９でＹＥＳ）、灯火である可能性が高いと判断できる。そこで、ステップＳ１１に進み、灯火色判定回路２６は、カラー画像を用いて、ステップＳ０９で判定された灯火の画像上の位置における交通信号機の灯火色を検出する。一方、画像上の灯火の位置が検索範囲に含まれていない場合（Ｓ０９でＮＯ）、灯火である可能性は低いと判断できるので、灯火色を検出することなく、処理は終了する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

カラー画像に対する一般的なグレースケール変換処理を行って濃淡画像を生成した場合、輝度が同じ対象物であっても、赤色の対象物の方が緑色の対象物に比べて輝度が小さく変換されてしまう。よって、提示色に係わらず一定の輝度閾値を用いた場合、緑色に比べて赤色が検出されにくかった。そこで、濃淡画像生成回路２１は、交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるカラー画像の各色要素に対する濃淡階調の対応付けによって、カラー画像を濃淡画像へ変換する。これにより、緑色と赤色の検出感度を揃えることができるので、提示色に係わらず、同じ輝度閾値を用いて安定して灯火位置を判定することができる。また、灯火色に応じた検出距離のバラツキを抑制することができる。

濃淡画像生成回路２１は、カラー画像のＲ要素、Ｇ要素及びＢ要素の各々を濃淡階調に対応付ける。即ち、（式２）に示したＲ要素、Ｇ要素及びＢ要素の各々の重み付けの係数を調整している。これにより、提示色間での検出感度を精度良く揃えることができる。

なお、濃淡画像生成回路２１は、カラー画像のＲ要素及びＧ要素の各々を濃淡階調に対応付けてもよい。即ち、（式２）の右辺から、第３項を削除してもよい。これにより、より簡易な方法で提示色間での検出感度を精度良く揃えることができる。

濃淡画像生成回路２１は、濃淡画像における交通信号機の赤色灯火の輝度と交通信号機の緑色灯火の輝度が略同一となるように、カラー画像の各色要素を濃淡階調に対応付けてもよい。輝度差が所定値以内とする場合に比べて、更に、緑色と赤色の検出感度を揃えて、灯火色に応じた検出距離のバラツキを抑制することができる。「略同一」とは、完全な同一のみならず、微少な誤差を含んだ実質的な同一をも含む表現である。

図３〜図５には、べイヤー画像からカラー画像を介して濃淡画像を生成する例を示したが、べイヤー画像から直接、濃淡画像を生成しても構わない。変換処理工程が削減され、演算負荷の軽減、処理速度の向上などの効果がある。

（第１変形例）
車両の進行方向に在る２つの交差点間の距離が基準値以内であると、画像内に写る交通信号機がどちらの交差点に在るのか判別できない場合がある。この場合、緑色よりも赤色の検出感度が低いと、手前側の交差点の提示色を誤って緑色と判定してしまうおそれがある。具体的には、奥側の交差点の緑色灯火を検出できたが、手前側の交差点の赤灯火を検出できなかった場合、奥側の緑色灯火を手前側の交通信号機の提示色として誤検出してしまう可能性がある。なぜなら、画像内の交通信号機の位置が近い場合には交通信号機の地図上の位置を特定することが難しいからである。

そこで、車両の進行方向に在る２つの交差点間の距離が基準値以内である場合に、濃淡画像生成回路２１は、濃淡画像における交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるように、カラー画像の各色要素を濃淡階調に対応付ける。交差点間の距離が基準値よりも長い場合には、奥側の交差点の緑色灯火を検出できた場合には、手前側の交差点の赤灯火も検出できるため、濃淡画像生成回路２１は、例えば（式１）に示した一般的なグレースケール変換式を用いて、濃淡画像を生成すればよい。

これにより、奥側の緑色灯火を手前側の交通信号機の提示色として誤検出してしまうこと、即ち、手前側の赤色灯火の見落としを抑制することができる。

（第２実施形態）
本実施形態では、図７を参照して、車両の進行方向に在る２つの交差点間の距離が基準値以内であり、且つ、緑色灯火を検出した場合、赤色灯火と緑色灯火の輝度差が小さくなるように、カラー画像の各色要素に対する濃淡階調の対応付けを変更する例を説明する。

図７のステップＳ０１〜Ｓ１１の処理は、図６のステップＳ０１〜Ｓ１１と同じであり、説明を省略する。なお、本実施形態では、ステップＳ０５、Ｓ０７でのグレースケール変換を（式１）を用いている。ステップＳ１３に進み、灯火位置判定回路２５は、車両の位置及び地図情報を用いて、車両の進行方向に在る２つの交差点間の距離が基準値以内であるか否かを判断する。基準値以内である場合（Ｓ１３でＹＥＳ）、奥側の緑色灯火を手前側の交通信号機の提示色として誤検出してしまうおそれがあるため、ステップＳ１５へ進み、ステップＳ１１で検出された灯火が緑色であるか否かを判断する。灯火が緑色である場合（ステップＳ１５でＹＥＳ）、手前側の赤色灯火の非検出を抑制する必要がある。そこで、ステップＳ１７に進み、各色要素の重み付けの係数が（式１）に示す値（初期値）であるか否かを判断し、初期値であれば（Ｓ１７でＹＥＳ）、Ｒ要素の重み付けの係数を増加させ（ステップＳ２１）、ステップＳ０５に戻り、再度、グレースケール変換を実施する。初期値でなければ（Ｓ１７でＮＯ）、つまり既に増加させている場合、Ｒ要素の重み付けの係数を（式１）に示す初期値に戻す（ステップＳ１９）。

このように、車両の進行方向に在る２つの交差点間の距離が基準値以内であり、且つ、緑色灯火を検出した場合、赤色灯火の非検出を抑制する必要があると判断できる。そこで、Ｒ要素の重み付けの係数を増加させ、再度、灯火の検出を実行する。それでも赤色灯火を検出できない場合（ステップＳ１５でＹＥＳ）、赤色灯火は無いと判断して、Ｒ要素の重み付けの係数を元の値に戻し（ステップＳ１９）、処理を終了する。なお、Ｒ要素の重み付けの係数を増加させる場合、（式２）を用いても良い。

以上説明したように、車両の進行方向に在る２つの交差点間の距離が基準値以内であり、且つ、緑色灯火が検出された場合、濃淡画像生成回路２１は、赤色灯火の検出感度を上げて、再度、カラー画像を濃淡画像へ変換する。これにより、濃淡画像における交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるように、カラー画像の各色要素と濃淡階調との対応付けを変更することができる。そして、灯火位置判定回路２５は、再変換した濃淡画像から交通信号機を検出するので、もし近傍の信号機の赤色灯火が点灯しており、非検出が発生した場合でも、再変換した濃淡画像から近傍の信号機の赤色灯火を検出することができる。これにより、赤色灯火の非検出を抑制することができる。なお、車両の進行方向に在る２つの交差点間の距離が基準値以内であるという条件を付して説明した。これに限らず、緑色灯火を検出した全ての場合に適用しても構わない。また、緑色灯火のみを検出し、赤色灯火を検出しなかった場合のみならず、検出した信号灯の中に赤色灯火が含まれている場合に適用してもよい。

（第３実施形態）
第３実施形態では、図３に示したベイヤー画像に対して、同期処理を実施する。即ち、ベイヤー画像の中から、電力の交流周期と同期して輝度が変化する同期画素を抽出して同期画像を生成する。そして、濃淡画像生成回路２１は、同期画像に対して、ベイヤー変換を行い、（式２）を用いたグレースケール変換を実施する。

図８は、第３実施形態に係わる信号機検出装置２の構成例を示す。図１に比べて、同期画像生成回路２４と濃淡画像生成回路２１の配置が入れ替わっている。カラー撮像部１１では、ベイヤー変換は行わず、ベイヤー画像が同期画像生成回路２４に転送される。濃淡画像生成回路２１は、同期画像に対してベイヤー変換を行い、同期画像のＲＧＢカラー画像を生成した上、グレースケール変換を実施する。灯火色判定回路２６は、カラー画像の代わりに、同期画像を用いて灯火色を判定している。その他の構成は、図１と同じである。

図９は、図８の信号機検出装置２を用いた信号機検出方法の一例を示す。ステップＳ０１とＳ０３は図６と同じ処理である。その後、図６のステップＳ０７の代わりに、ステップＳ０８に進み、同期画像生成回路２４は、６枚のカラー画像に対して、図２に示した処理を施して、電力の交流周期と同期して輝度が変化する同期画素からなる同期画像を生成する。

図６のステップＳ０５の代わりに、ステップＳ０６に進み、濃淡画像生成回路２１は、同期画像に対してベイヤー変換を行い同期画像のＲＧＢカラー画像を生成した上、（式２）を用いて、同期画像を濃淡画像へグレースケール変換する。変換した濃淡画像は、再びメモリに転送される。図６のステップＳ０９の代わりに、ステップＳ１０に進み、灯火位置判定回路２５は、交通信号機の位置情報と、予め定めた輝度閾値よりも輝度が高い同期画素からなる画素群とが合致するか否かを判断する。

画像上の灯火の位置が検索範囲に含まれている場合（Ｓ１０でＹＥＳ）、灯火である可能性が高いと判断できる。そこで、図６のステップＳ１１の代わりに、ステップＳ１２に進み、灯火色判定回路２６は、同期画像を用いて、ステップＳ１０で判定された画像上の灯火の位置における交通信号機の灯火色を検出する。その後、ステップＳ１３〜Ｓ２１は図６と同じ処理である。

ベイヤー変換した後のＲＧＢカラー画像から同期画像を生成した場合には、輝度値が低い画素では、電力の交流周期と同期しているか判別できなくなり、灯火として検出される範囲（面積）が狭くなる場合があった。濃淡画像の処理の前に、ベイヤー画像から直接、同期画像を生成ことにより、ＲＧＢカラー画像もしくは濃淡画像での灯火として検出される範囲（面積）の減少を抑制することができる。

（第４実施形態）
本実施形態では、ベイヤー画像からＲ要素、Ｇ要素及びＢ要素の各々を抽出し、それぞれの濃淡画像から灯火を検出する信号機検出装置を説明する。よって、濃淡画像は、色要素毎に生成される。

図１０（ａ）はベイヤー画像４１を示し、図１０（ｂ）〜（ｄ）は図１０（ａ）を分割して抽出された色要素毎の画像（４１Ｒ、４１Ｇ、４１Ｂ）を示す。カラー撮像部１１は、イメージセンサの画素毎にＲ要素、Ｇ要素又はＢ要素を割り当てたベイヤー画像４１を生成する。カラー撮像部１１は、ベイヤー画像４１からＲ要素、Ｇ要素及びＢ要素の各々を抽出したＲ画像４１Ｒ、Ｇ画像４１Ｇ及びＢ画像４１Ｂを生成する。濃淡画像生成回路２１は、Ｒ画像、Ｇ画像及びＢ画像の各々を濃淡画像へ変換する。このとき、Ｒ画像４１Ｒ、Ｇ画像４１Ｇ及びＢ画像４１Ｂの各々に、（式２）に示す重み付けの係数を乗算して、色ごとの濃淡画像を形成する。同期画像生成回路２４は、濃淡画像の各々から同期画素を抽出して同期画像を生成する。灯火位置判定回路２５は、同期画像の各々から交通信号機の灯火を検出する。

このように、色ごとに、濃淡画像、同期画像を生成し、色ごとの画像から灯火を検出する。これにより、色の違いによる輝度の不均衡を排除することができ、赤色灯火と緑色灯火の検出感度を揃えることができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

図７では、Ｒ要素の重み付けの係数を増加させる（ステップＳ２１）例を示したが、これに限らない。例えば、Ｇ要素及びＢ要素の重み付けの係数を減少させてもよい。これにより、濃淡画像における交通信号機の赤色灯火と交通信号機の緑色灯火との輝度差が所定値以内となるように、カラー画像の各色要素と濃淡階調との対応付けを変更することができる。

１、２ 信号機検出装置
１１ カラー撮像部
１３ 車両位置検出部
１４ 地図データベース
２１ 濃淡画像生成回路
２５ 灯火位置判定回路（灯火検出回路）
２６ 灯火色判定回路
２８ フレーム（画像）
４１ ベイヤー画像

Claims (10)

1. 車両に搭載され、交通信号機を含むカラー画像を取得するカラー撮像部と、
   前記カラー画像を濃淡画像へ変換する濃淡画像生成回路と、
   前記濃淡画像から前記交通信号機の灯火を検出する灯火検出回路と、を備え、
   前記濃淡画像生成回路は、前記交通信号機の赤色灯火と前記交通信号機の緑色灯火との輝度差が小さくなるように、前記カラー画像を前記濃淡画像へ変換するときのＲ要素、Ｇ要素及びＢ要素の比率のうち、Ｒ要素の比率を、０．４以上に増加させる
   ことを特徴とする信号機検出装置。
2. 車両に搭載され、交通信号機を含むカラー画像を取得するカラー撮像部と、
   前記カラー画像を濃淡画像へ変換する濃淡画像生成回路と、
   前記濃淡画像から前記交通信号機の灯火を検出する灯火検出回路と、
   前記交通信号機の位置を含む地図データを記憶する地図データベースと、
   地図上の前記車両の位置を検出する車両位置検出部と、を備え、
   前記濃淡画像生成回路は、前記車両の進行方向に在る２つの交差点間の距離が基準値以内である場合に、赤色灯火の検出感度を高くして、前記カラー画像を前記濃淡画像へ変換する
   ことを特徴とする信号機検出装置。
3. 車両に搭載され、交通信号機を含むカラー画像を取得するカラー撮像部と、
   前記カラー画像を濃淡画像へ変換する濃淡画像生成回路と、
   前記濃淡画像から前記交通信号機の灯火を検出する灯火検出回路と、を備え、
   前記濃淡画像生成回路は、前記灯火検出回路が前記交通信号機の緑色灯火を検出した場合、赤色灯火の検出感度を高くして、再度、前記カラー画像を前記濃淡画像へ変換する
   ことを特徴とする信号機検出装置。
4. 前記濃淡画像生成回路は、前記カラー画像を、前記交通信号機の赤色灯火の輝度と前記交通信号機の緑色灯火の輝度を略同一とする前記カラー画像の各色要素に対する濃淡画像の輝度への重み付けによって、前記濃淡画像へ変換する
   ことを特徴とする請求項１〜３のいずれか一項に記載の信号機検出装置。
5. 前記濃淡画像生成回路は、前記カラー画像のＲ要素、Ｇ要素及びＢ要素の各々を濃淡画像の輝度への重み付けをすることを特徴とする請求項１〜４のいずれか一項に記載の信号機検出装置。
6. 前記濃淡画像生成回路は、前記カラー画像のＲ要素及びＧ要素の各々を濃淡画像の輝度への重み付けをすることを特徴とする請求項１〜４のいずれか一項に記載の信号機検出装置。
7. 前記カラー撮像部は、画素毎にＲ要素、Ｇ要素又はＢ要素を割り当てたベイヤー画像を生成し、前記ベイヤー画像からＲ要素、Ｇ要素及びＢ要素の各々を抽出したＲ画像、Ｇ画像及びＢ画像を生成し、
   前記濃淡画像生成回路は、前記Ｒ画像、Ｇ画像及びＢ画像の各々を濃淡画像へ変換し、
   前記灯火検出回路は、前記濃淡画像の各々から前記交通信号機の灯火を検出する
   ことを特徴とする請求項１〜６のいずれか一項に記載の信号機検出装置。
8. 車両に搭載されたカラー撮像部を用いて、交通信号機を含むカラー画像を取得し、
   前記カラー画像を濃淡画像へ変換し、
   前記濃淡画像から前記交通信号機の灯火を検出する信号機検出方法であって、
   前記交通信号機の赤色灯火と前記交通信号機の緑色灯火との輝度差が小さくなるように、前記カラー画像を前記濃淡画像へ変換するときのＲ要素、Ｇ要素及びＢ要素の比率のうち、Ｒ要素の比率を、０．４以上に増加させる
   ことを特徴とする信号機検出方法。
9. 車両に搭載されたカラー撮像部を用いて、交通信号機を含むカラー画像を取得し、
   前記カラー画像を濃淡画像へ変換し、
   前記濃淡画像から前記交通信号機の灯火を検出する信号機検出方法であって、
   前記車両の進行方向に在る２つの交差点間の距離が基準値以内である場合に、赤色灯火の検出感度を高くして、前記カラー画像を前記濃淡画像へ変換する
   ことを特徴とする信号機検出方法。
10. 車両に搭載されたカラー撮像部を用いて、交通信号機を含むカラー画像を取得し、
    前記カラー画像を濃淡画像へ変換し、
    前記濃淡画像から前記交通信号機の灯火を検出する信号機検出方法であって、
    前記交通信号機の緑色灯火を検出した場合、赤色灯火の検出感度を高くして、再度、前記カラー画像を前記濃淡画像へ変換する
    ことを特徴とする信号機検出方法。

Images