JP6742736B2 - 信号機の点灯色判定装置および信号機の点灯色判定方法 - Google Patents

Description

本発明は、信号機の点灯色判定装置および信号機の点灯色判定方法に関する。

従来、例えば、車載カメラ等の撮像装置によって撮像される撮像画像から信号機や道路標識などを認識する技術が提案されている（例えば、特許文献１参照）。

特開２０１２−２７６２３号公報

また近年、車載カメラ等で得られた撮像画像に基づいて、信号機の点灯色を判定する技術が要望されている。しかしながら、信号機の像を含む撮像画像は、照度や天候などが異なる様々な環境で撮像されることから、信号機の点灯色を正確に判定することは困難であった。

本発明は、上記に鑑みてなされたものであって、撮像画像に基づいて、信号機の点灯色を高精度に判定できる技術を提供することを目的とする。

実施形態に係る信号機の点灯色判定装置は、領域抽出部と、領域分割部と、領域特定部と、点灯色判定部とを備える。領域抽出部は、撮像画像から信号機の形状が存在する信号機領域を抽出する。領域分割部は、前記信号機領域を前記信号機の光源が存在する複数の光源領域に分割する。領域特定部は、前記複数の光源領域間の明るさの差に基づいて、点灯中の光源が存在する前記光源領域を点灯領域として特定する。点灯色判定部は、前記点灯領域の色に基づいて、前記信号機の点灯色を判定する。

実施形態に係る信号機の点灯色判定装置は、撮像画像に基づいて、信号機の点灯色を高精度に判定することができる。

図１は、実施形態に係る信号機の点灯色判定方法の説明図である。 図２は、実施形態に係る点灯色判定装置の構成を示す機能ブロック図である。 図３は、実施形態に係る信号領域の分割例を示す説明図である。 図４は、実施形態に係る点灯色判定手順の一例を示す説明図である。 図５は、実施形態に係る点灯色判定手順の一例を示す説明図である。 図６は、実施形態に係る点灯色判定手順の一例を示す説明図である。 図７は、実施形態に係る点灯色判定装置が実行する処理を示すフローチャートである。 図８は、実施形態に係る点灯色判定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に添付図面を参照して、実施形態に係る信号機の点灯色判定装置および信号機の点灯色判定方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

以下では、車両に設けられて車両の前方を撮像するカメラから入力される撮像画像に基づいて、撮像画像に写る信号機の点灯色を判定する点灯色判定装置（以下、単に「点灯色判定装置」と記載する）を例に挙げて説明する。なお、本実施形態は、自車両の側方を撮像するカメラから入力される撮像画像に基づいて、撮像画像に写る信号機の点灯色を判定する点灯色判定装置に適用することもできる。

図１は、実施形態に係る、例えば、青色、黄色、および赤色の３色の光源を含む信号機の点灯色判定方法の説明図である。図１に（ａ）で示すように、点灯色判定装置は、カメラから信号機Ｂが写る撮像画像Ａが入力される場合、まず、撮像画像Ａから信号機Ｂの形状が存在する信号機領域Ｃを抽出する。

点灯色判定装置は、撮像画像Ａに写る物体が信号機か否かを判定する基準となる信号機辞書情報を使用して、撮像画像Ａから信号機領域Ｃを抽出する。信号機辞書情報は、例えば、機械学習によって予め作成される情報である。なお、機械学習の一例については後述する。

続いて、点灯色判定装置は、図１に（ｂ）で示すように、信号機領域Ｃを信号機Ｂの光源が存在する複数（ここでは、３つ）の光源領域Ｃ１，Ｃ２，Ｃ３に分割する。そして、点灯色判定装置は、複数の光源領域Ｃ１，Ｃ２，Ｃ３間の明るさの差に基づいて、点灯中の光源が存在する光源領域Ｃ１を点灯領域として特定する。点灯している光源領域は相対的に明るく、点灯していない光源領域は相対的に暗くなる。このため、相対的に明るい領域を点灯領域として特定することができる。

その後、点灯色判定装置は、図１に（ｃ）に示すように、点灯領域でないと判定した２つの光源領域Ｃ２，Ｃ３を点灯色の判定対象から除外し、点灯領域であると判定した光源領域Ｃ１の色に基づいて、信号機Ｂの点灯色を判定する。

このように、点灯色判定装置は、撮像画像Ａから抽出した信号機領域Ｃ内の全画素ではなく、信号機領域Ｃの中で、点灯領域として特定した一つの光源領域Ｃ１内の画素について選択的に画素の色を判定することによって、信号機Ｂの点灯色を判定する。

したがって、実施形態に係る点灯色判定装置は、点灯状態でない光源領域が判定対象から除外されて、点灯状態の光源領域のみに基づいて判定されることから、高精度に信号機Ｂの点灯色を判定することができる。また、信号機領域Ｃ内の全ての画素について色の判定を行う場合に比べて、信号機の点灯色の判定に要する処理量を低減することができる。

次に、図２を参照し、実施形態に係る点灯色判定装置の構成について説明する。図２は、実施形態に係る点灯色判定装置１の構成を示す機能ブロック図である。図２に示すように、点灯色判定装置１は、カメラ２と車載装置３とに接続される。

カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備える撮像装置であり、車両の前方を撮像する位置、例えば、社室内のルームミラーの前面等に設置される。そして、カメラ２は、撮像画像を点灯色判定装置１へ出力する。

車載装置３は、例えば、自車両に搭載されるドライブレコーダやディスプレイ等である。ドライブレコーダは、例えば、車両の走行中および停車中にカメラ２によって撮像される撮像画像を記録する装置である。ディスプレイは、例えば、カーナビゲーション装置から入力される目的地までの道順の案内画像や、カメラ２によって撮像される撮像画像を表示する装置である。

点灯色判定装置１は、カメラ２から入力される撮像画像に基づいて、撮像画像に写る信号機の点灯色を判定し、点灯色の判定結果を車載装置３へ出力する装置である。また、点灯色判定装置１は、点灯色を判定した光源が点滅しているか否かを判定し、点滅の判定結果も車載装置３へ出力する。かかる点灯色判定装置１は、制御部４と、記憶部５とを備える。

制御部４は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を備えるマイクロコンピュータである。制御部４は、ＣＰＵがＲＯＭから点灯色判定プログラムを読み出し、ＲＡＭを作業領域として使用して実行することにより機能する拡縮画像生成部４１、領域抽出部４２、領域分割部４３、領域特定部４４、点灯色判定部４５、および点滅判定部４６を備える。

記憶部５は、不揮発性メモリやハードディスクドライブといった記憶デバイスであり、信号機辞書情報５１および判定履歴情報５２を記憶する。信号機辞書情報５１は、撮像画像に写る物体が信号機か否かを判定する基準となる情報であり、機械学習によって予め作成されて記憶部５に記憶される。ここで、信号機辞書情報５１の作成手順について、簡単に説明する。

信号機辞書情報５１を作成する場合、まず、形状が既知の複数種類の信号機の画像と、信号機以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１０００枚の画像）準備する。準備する画像のサイズは、例えば、３６ピクセル×３６ピクセルのサイズに統一する。

続いて、準備した各画像から、例えば、ＨＯＧ（Histgram of Oriented Gradient）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて、２次元平面上にプロットする。

続いて、例えば、ＳＶＭ（Support Vector Machine）等の識別器によって、２次元平面上における車両の画像と車両以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が、撮像画像に含まれる画像が信号機か否かの判定基準として使用される信号機辞書情報５１となる。これにより、制御部４は、信号機辞書情報５１を使用することによって、撮像画像内の３６ピクセル×３６ピクセル内の画像が信号機か否かを判定することができる。

なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量であってもよい。また、信号機の画像と信号機以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。

また、判定履歴情報５２は、点灯色判定部４５によって判定された点灯色の判定結果を時系列に記憶した情報である。具体的には、判定履歴情報５２は、撮像画像における点灯領域の位置および点灯色を示す情報であり、例えば、ＸＹ直交座標系に変換した撮像画像における点灯領域が存在する位置のＸＹ座標値と、点灯領域の点灯色を示す色相値とを含む情報である。

制御部４の説明に戻り、拡縮画像生成部４１は、カメラ２から入力される撮像画像について、それぞれ拡縮率が異なる複数の拡大画像および縮小画像（例えば、２５枚の拡縮画像）を生成して、領域抽出部４２へ出力する処理部である。

領域抽出部４２は、信号機辞書情報５１を使用し、拡縮画像生成部４１から入力される拡縮画像から信号機が存在する信号機領域を抽出し、抽出した信号機領域内の画像情報を領域分割部４３へ出力する処理部である。

ここで、信号機辞書情報５１は、前述したように、３６ピクセル×３６ピクセル内の画像が信号機か否かを判別するために使用される情報である。そして、撮像画像における信号機は、車両からの距離によって大きさが異なり、大きさが３６ピクセル×３６ピクセルとは限らない。

このため、領域抽出部４２は、撮像画像から信号機の形状が存在する信号機領域を抽出することができない場合もあるが、拡縮画像生成部４１から入力される拡縮率が異なる複数の拡縮画像を探索することによって、信号機領域を抽出することができる。

領域分割部４３は、領域抽出部４２から入力される信号機領域内の画像情報に基づいて、信号機領域を信号機の光源が存在する複数の光源領域に分割し、分割した複数の光源領域内の各画像情報を領域特定部４４へ出力する処理部である。

ここで、図３を参照し、領域分割部４３による信号機領域の分割例について説明する。図３は、実施形態に係る信号領域の分割例を示す説明図である。領域分割部４３は、領域抽出部４２から入力される信号機領域の画像情報に基づいて、まず、信号機の外形を判別する。そして、領域分割部４３は、判別した信号機の外形に応じた分割態様で信号機領域を分割する。

例えば、領域分割部４３は、図３に（ａ）で示すように、信号機領域Ｃａの縦の長さが横の長さの略３倍である場合、信号機領域Ｃａを上段、中断、および下段の３つの光源領域Ｃ１，Ｃ２，Ｃ３に３等分する。

これにより、領域分割部４３は、点灯色の判定対象となる信号機Ｂ１が、上から赤信号、黄信号、および青信号の順にならぶ縦型のものである場合に、３つの光源それぞれに対応する３つの光源領域Ｃ１，Ｃ２，Ｃ３に信号機領域Ｃａを分割することができる。

また、領域分割部４３は、例えば、図３に（ｂ）で示すように、信号機領域Ｃｂの上辺が水平方向と平行であり、左端の縦の長さが、右端の縦の長さよりも長い場合、信号機領域Ｃｂの上段を、左、真中、右の３つの光源領域Ｃ１，Ｃ２，Ｃ３に３等分する。さらに、領域分割部４３は、信号機領域Ｃｂ内で残る左側下段の領域を光源領域Ｃ４として分割する。

これにより、領域分割部４３は、点灯色の判定対象となる信号機Ｂ２が、図１に示した信号機Ｂの左下に矢印信号が設けられるものである場合に、４つの光源それぞれに対応する４つの光源領域Ｃ１，Ｃ２，Ｃ３，Ｃ４に信号機領域Ｃｂを分割することができる。

また、領域分割部４３は、例えば、図３に（ｃ）に示すように、信号機領域Ｃｃの縦の長さが横の長さの略２倍である場合、信号機領域Ｃｃを上段および下段の２つの光源領域Ｃ１，Ｃ２に２等分する。

これにより、領域分割部４３は、点灯色の判定対象となる信号機Ｂ３が、上段に横断不可、下段に横断可の信号が配置される歩行者用のものである場合に、２つの光源それぞれに対応する２つの光源領域Ｃ１，Ｃ２に信号機領域Ｃｃを分割することができる。

図２へ戻り、領域特定部４４は、領域分割部４３から入力される分割された各光源領域内の画像情報に含まれる各画素の輝度値に基づいて、光源領域間の明るさの差（輝度差）を導出する。そして、分割領域間の明るさの差に基づいて、点灯中の光源が存在する光源領域を特定し、特定した光源領域内の画像情報を点灯色判定部４５へ出力する処理部である。

点灯色判定部４５は、領域特定部４４から入力される点灯領域内の画像情報に含まれる各画素の色に基づいて、信号機の点灯色を判定し、撮像画像における点灯領域の位置および点灯色を示す情報を車載装置３へ出力する処理部である。かかる点灯色判定部４５は、判定した点灯領域の位置および点灯色を示す情報を判定履歴情報５２として、撮像画像毎に順次時系列で記憶部５に記憶させる処理も行う。

ここで、図４〜図６を参照し、点灯色判定部４５による信号機の点灯色判定手順について説明する。図４〜図６は、実施形態に係る点灯色判定手順の一例を示す説明図である。一般に、撮像画像の色判定は、ＲＧＢ色空間が使用される。しかしながら、ＲＧＢ色空間は、輝度変化に対してきわめて脆弱であるため、撮像画像中における信号機の点灯色判定には不向きである。

このため、点灯色判定部４５は、点灯領域における画素のＲＧＢ色空間における色をＨＳＶ色空間の色相に変換して、信号機の点灯色判定を行う。ＨＳＶ色空間では、色の種類が０°〜３６０°の色相範囲によって表記される。

ＨＳＶ色空間では、青色は１３０°〜２４０°、黄色は０°〜６０°、赤色は０°〜３０°と３００°〜３６０°であり、黄色の範囲と赤色の範囲とに一部重複する範囲がある。このため、単純にＨＳＶ色区間を使用して、信号機の点灯色判定を行った場合、黄色および赤色の判定精度が低下するおそれがある。

そこで、点灯色判定部４５は、図４に示すように、予め青信号、黄信号、赤信号の重複しない色相範囲を設定する。例えば、青信号の色相範囲を１３０°〜２４０°、黄信号の色相範囲を３１°〜７０°、赤信号の色相範囲を赤色は０°〜３０°と３００°〜３６０°と設定する。

そして、点灯色判定部４５は、点灯領域として判定した光源領域Ｃ１における各画素の色相が青信号、黄信号、および赤信号の色相範囲のうち、どの色相範囲に入るかを判定する。続いて、点灯色判定部４５は、判定結果を対応する色の信号に投票することによって、点灯領域内の各画素を信号機が点灯可能な点灯色のうちのいずれかに分類し、分類された点灯色毎の画素数に基づいて、信号機の点灯色を判定する。

例えば、点灯色判定部４５は、点灯領域の画素数が１００の場合、図５に（ａ）で示すように、青信号に分類された画素数が７０、黄信号に分類された画素数が１０、赤信号に分類された画素数が２０であれば、信号機の点灯色を青色と判定する。

このように、点灯色判定部４５は、点灯領域における各画素の色相を信号機が点灯可能な複数の点灯色のうちのいずれかに分類し、分類された点灯色毎の画素数に基づいて、信号機の点灯色を判定するので、点灯色の判定精度を向上させることができる。

なお、点灯色判定部４５は、必ずしも、点灯領域内の全画素について、色相の判定および判定結果の投票を行う構成でなくてもよい。例えば、図５に（ｂ）で示すように、点灯色判定部４５は、投票結果を監視し、いち早く得票数が予め設定された閾値（例えば、５０）に達した色（ここでは、青色）を点灯色と判定する構成であってもよい。

また、図５に（ｃ）で示すように、点灯色判定部４５は、投票結果を監視し、投票数が点灯領域内の総画素数（例えば、１００）のうち、半数（ここでは、５０）に達した時点で最も得票数が多かった色（ここでは、青色）を点灯色と判定する構成であってもよい。これらの方法によれば、点灯色判定部４５は、点灯色の判定に要する処理量をさらに低減することができる。

また、図５に（ｄ）で示すように、点灯色判定部４５は、投票先として、青信号、黄信号、および赤信号のいずれにも該当しない画素を投票する該当なしを備える構成であってもよい。これにより、点灯色判定部４５は、例えば、不鮮明な中間色の画素を誤った投票先に投票することによる点灯色の判定精度の低下を防止することができる。

また、図６に（ａ）で示すように、点灯色判定部４５は、点灯領域として特定した光源領域Ｃ１における中央領域Ｄ１について、選択的に各画素の色相を判定する構成であってもよい。また、図６に（ｂ）で示すように、点灯色判定部４５は、点灯領域として特定した光源領域Ｃ１を、上段、中段、および下段の領域に分割し、中段の領域Ｄ２について、選択的に各画素の色相を判定する構成であってもよい。

また、図６に（ｃ）で示すように、点灯色判定部４５は、点灯領域として特定した光源領域Ｃ１を、左、中、および右の領域に分割し、中の領域Ｄ３について、選択的に各画素の色相を判定する構成であってもよい。これにより、光源以外の画素が除外される可能性が高くなり、さらに点灯色の判定精度を向上させることができるとともに、点灯色判定部４５は、点灯色の判定に要する処理量をより一層低減することができる。

なお、本実施形態では、点灯色判定部４５が信号機の点灯色を青色、黄色、および赤色の３色のうち、いずれの色かを判定する場合を例に挙げたが、点灯色判定部４５は、青色および赤色の２色のうち、いずれの色かを判定する構成であってもよい。

図２へ戻り、点滅判定部４６は、記憶部５から時系列に記憶された点灯領域の位置および点灯色を示す判定履歴情報５２を読み出し、判定履歴情報５２に基づいて、点灯中の信号が点滅中か否かを判定し、判定結果を車載装置３へ出力する処理部である。

このように、点灯色判定装置１は、点灯領域の位置および点灯色を示す判定履歴情報５２を時系列に記憶部５に記憶しておくことにより、点灯中の信号が点滅中か否かを判定することができる。

次に、図７を参照し、点灯色判定装置１が実行する処理について説明する。図７は、実施形態に係る点灯色判定装置１が実行する処理を示すフローチャートである。点灯色判定装置１の制御部４は、カメラ２から撮像画像が順次入力される度に、図７に示す処理を実行する。

具体的には、図７に示すように、制御部４は、まず、撮像画像から拡縮率が異なる複数の拡縮画像を生成する（ステップＳ１０１）。その後、制御部４は、信号機辞書情報５１を使用して、各拡縮画像から信号機の形状が存在する複数の信号機領域を抽出する（ステップＳ１０２）。続いて、制御部４は、抽出した信号機領域を信号機の光源が存在する複数の光源領域に分割する（ステップＳ１０３）。

その後、制御部４の領域特定部４４は、複数の光源領域間の明るさの差に基づいて、点灯中の光源が存在する光源領域を点灯領域として特定する（ステップＳ１０４）。制御部４の領域特定部４４は、複数の光源領域間の明るさの差（輝度差）が所定の閾値以上ある場合は、最も明るい光源領域を点灯領域として特定する。続いて、制御部４の点灯色判定部４５は、点灯領域の色に基づいて、信号機の点灯色を判定する（ステップＳ１０５）。

また、制御部４の領域特定部４４は、複数の光源領域間の明るさの差（輝度差）が所定の閾値未満の場合は、複数の光源領域の明るさがおよそ同一となるため、信号機が点灯中の光源が存在しない滅灯状態と判定する。例えば、信号機が点滅している場合には、このような滅灯状態と、いずれかの光源が点灯している点灯状態とが交互に繰り返される。信号機が滅灯状態の場合には、信号機の点灯色を判定することは困難である。このため、信号機が滅灯状態の場合は、制御部４の点灯色判定部４５は、信号機の点灯色を判定しない。これにより、信号機の点灯色の判定結果として精度の低い結果が出力されることを防止できる。

その後、制御部４は、判定した撮像画像における点灯領域の位置および点灯色を示す判定履歴情報５２を記憶部５に記憶させる（ステップＳ１０６）。続いて、制御部４は、記憶部５に記憶された判定履歴情報５２に基づいて、点灯色を判定した光源が点滅しているか否かを判定する点滅判定を行う（ステップＳ１０７）。

その後、制御部４は、判定した撮像画像における点灯領域の位置、点灯色、および点滅判定の結果を車載装置３へ出力する判定結果出力を行って（ステップＳ１０８）、処理を終了する。

上述したように、実施形態に係る点灯色判定装置は、領域抽出部と、領域分割部と、領域特定部と、点灯色判定部とを備える。領域抽出部は、撮像画像から信号機の形状が存在する信号機領域を抽出する。領域分割部は、信号機領域を信号機の光源が存在する複数の光源領域に分割する。

領域特定部は、複数の光源領域間の明るさの差に基づいて、点灯中の光源が存在する光源領域を点灯領域として特定する。点灯色判定部は、点灯領域の色に基づいて、信号機の点灯色を判定する。これにより、撮像画像に基づいて信号機の点灯色を高精度に判定できる。また、点灯色判定装置は、撮像画像における信号機の点灯色の判定に要する処理量を低減することができる。

次に、図８を参照し、点灯色判定装置１のハードウェア構成について説明する。図８は、実施形態に係る点灯色判定装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。点灯色判定装置１は、図８に一例として示す構成のコンピュータ２００で実現することができる。

コンピュータ２００は、ＣＰＵ（Central Processing Unit）２１０と、ＲＯＭ（Read Only Memory）２２０と、ＲＡＭ（Random Access Memory）２３０と、ＨＤＤ（Hard Disk Drive）２４０とを備える。また、コンピュータ２００は、メディアインターフェイス（Ｉ／Ｆ）２５０と、通信インターフェイス（Ｉ／Ｆ）２６０と、入出力インターフェイス（Ｉ／Ｆ）２７０とを備える。

なお、コンピュータ２００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ２４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ２４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ２１０は、ＲＯＭ２２０およびＨＤＤ２４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２２０は、コンピュータ２００の起動時にＣＰＵ２１０によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ２４０は、ＣＰＵ２１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ２５０は、記憶媒体２８０に格納されたプログラムやデータを読み取り、ＲＡＭ２３０を介してＣＰＵ２１０に提供する。ＣＰＵ２１０は、かかるプログラムを、メディアＩ／Ｆ２５０を介して記憶媒体２８０からＲＡＭ２３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ２１０は、かかるデータを用いてプログラムを実行する。記憶媒体２８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からデータを受信してＣＰＵ２１０に送り、ＣＰＵ２１０が生成したデータを、ネットワーク２９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からプログラムを受信してＣＰＵ２１０に送り、ＣＰＵ２１０がかかるプログラムを実行する。

ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、ディスプレイ等の出力部を制御する。ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、出力部からデータを取得する。また、ＣＰＵ２１０は、生成したデータを入出力Ｉ／Ｆ２７０を介して出力部に出力する。

例えば、コンピュータ２００が点灯色判定装置１として機能する場合、コンピュータ２００のＣＰＵ２１０は、ＲＡＭ２３０上にロードされたプログラムを実行することにより、拡縮画像生成部４１、領域抽出部４２、領域分割部４３、領域特定部４４、点灯色判定部４５、および点滅判定部４６の各機能を実現する。

コンピュータ２００のＣＰＵ２１０は、例えばこれらのプログラムを記憶媒体２８０から読み取って実行するが、他の例として、他の装置からネットワーク２９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ２４０は、記憶部５が記憶する信号機辞書情報５１および判定履歴情報５２を記憶することができる。

なお、上記では、点灯色判定装置１と車載装置３とは別の装置であるものとして説明したが、これらを一体化してもよい。すなわち、上述した点灯色判定装置１と車載装置３との双方の機能を一つの装置が備えていてもよい。

１ 点灯色判定装置
２ カメラ
３ 車載装置
４ 制御部
５ 記憶部
４１ 拡縮画像生成部
４２ 領域抽出部
４３ 領域分割部
４４ 領域特定部
４５ 点灯色判定部
４６ 点滅判定部
５１ 信号機辞書情報
５２ 判定履歴情報
２００ コンピュータ
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２４０ ＨＤＤ
２５０ メディアＩ／Ｆ
２６０ 通信Ｉ／Ｆ
２７０ 入出力Ｉ／Ｆ
２８０ 記憶媒体
２９０ ネットワーク
Ａ 撮像画像
Ｂ，Ｂ１，Ｂ２，Ｂ３ 信号機
Ｃ，Ｃａ，Ｃｂ，Ｃｃ 信号機領域
Ｃ１，Ｃ２，Ｃ３，Ｃ４ 光源領域

Claims (4)

1. 撮像画像から信号機の形状が存在する信号機領域を抽出する領域抽出部と、
   前記信号機領域を前記信号機の光源が存在する複数の光源領域に分割する領域分割部と、
   前記複数の光源領域間の明るさの差に基づいて、点灯中の光源が存在する前記光源領域を点灯領域として特定する領域特定部と、
   前記点灯領域の色に基づいて、前記信号機の点灯色を判定する点灯色判定部と
   を備え、
   前記点灯色判定部は、
   前記点灯領域における各画素の色相を前記信号機が点灯可能な複数の点灯色のうちのいずれかに分類し、
   前記分類の過程において、前記分類された画素数が所定のしきい値を最初に超えた分類の点灯色を、前記信号機の点灯色として判定する
   ことを特徴とする信号機の点灯色判定装置。
2. 前記点灯色判定部は、
   予め設定される青色の色相範囲、黄色の色相範囲、および赤色の色相範囲のうち、前記点灯領域における各画素の色相が含まれる色相範囲に基づいて、各画素の色相を分類する
   ことを特徴とする請求項１に記載の信号機の点灯色判定装置。
3. 前記複数の光源領域間の明るさの差が閾値未満の場合には、
   前記点灯色判定部は、前記信号機の点灯色を判定しない
   ことを特徴とする請求項１または請求項２に記載の信号機の点灯色判定装置。
4. 領域抽出部が、撮像画像から信号機の形状が存在する信号機領域を抽出する工程と、
   領域分割部が、前記信号機領域を前記信号機の光源が存在する複数の光源領域に分割する工程と、
   領域特定部が、前記複数の光源領域間の明るさの差に基づいて、点灯中の光源が存在する前記光源領域を点灯領域として特定する工程と、
   点灯色判定部が、前記点灯領域の色に基づいて、前記信号機の点灯色を判定する工程と
   を含み、
   前記信号機の点灯色を判定する工程は、
   前記点灯領域における各画素の色相を前記信号機が点灯可能な複数の点灯色のうちのいずれかに分類し、
   前記分類の過程において、前記分類された画素数が所定のしきい値を最初に超えた分類の点灯色を、前記信号機の点灯色として判定する工程
   を含むことを特徴とする信号機の点灯色判定方法。