JP5071198B2 - 信号機認識装置，信号機認識方法および信号機認識プログラム - Google Patents

Description

本発明は，画像から信号機を認識する技術に関するものであり，特に，画像の撮影環境に左右されずに，精度良く画像から信号機を認識することができる信号機認識装置，信号機認識方法および信号機認識プログラムに関するものである。

近年，安全走行のための車室外監視用のカメラが車に搭載されるようになってきており，その搭載車両台数が急速に増加している。車載カメラは，例えば，車両前方を向けて車両に搭載され，道路の白線を検出して操舵の自動制御を行ったり，前方車両を検出して衝突低減のための自動制御を行ったりなどの用途に使用される。

このような車載カメラを，交通信号機を認識する用途に使用することも考えられている。交通信号機を認識するにあたっては，信号機の点灯色に特徴があるため，信号機検出に色抽出を利用すれば，処理時間の短縮や検出率の向上に大きく寄与できる。

例えば，昼夜の区別に関わらず信号機を的確に認識するために，信号機の灯火色に着目した色抽出により，相対的に単純な形状である円形状を画像から抽出し，この円形状に対して地上高および距離を算出することにより，所定道路構造の周辺に所定の基準高さを有するように設置される信号機を認識する技術がある（例えば，特許文献１参照）。
特開２００７−２５７３０３号公報

しかし，信号機の点灯色を認識するために通常の制御（オートゲイン）を行うカメラを用いると，特に夜間などの暗いときには，信号機は周囲と比較して強い光を発するので，信号の点灯部分の光量が飽和してしまい，色が認識できなくなる場合がある。

このような問題を回避するための技術として，画像内において信号機の色ではなく形状に着目して信号機を認識する技術がある。この技術の場合には，交通信号機を形状で認識することにより，信号機を検出する必要がある。しかし，夜間などの暗いときには，信号機を形状で認識することが難しくなるため，信号機の検出率が低下してしまう。

信号機は屋外に設置されているため，昼夜で撮影環境（周囲の光強度）が大きく異なる。したがって，画像からの信号機認識においては，信号点灯部の飽和を回避するとともに，撮影環境を問わずに信号機の形状を認識できるようにする必要がある。

本発明は，上記の問題点の解決を図り，撮影環境に左右されずに，精度良く画像から信号機を認識することが可能となる技術を提供することを目的とする。

ゲインを抑える制御で，信号機の点灯色が飽和しないように工夫された第一の画像を取得し，信号機の青，黄，赤のいずれかの灯火面の色であり，所定以上の円形度である領域を，第一の領域として抽出する。第一の画像は，例えば，撮影された高階調画像から信号機の点灯色が飽和しない階調部分が抜き出された画像である。

また，信号機の点灯色を抽出する第一の画像とは撮影されている被写体が同じであるが，信号機の灯火面の周囲の信号機の形状が抽出できるように，撮影環境に応じてゲインが制御されて取得された第二の画像から，所定の信号機の形状を有する領域を第二の領域として抽出する。第二の画像は，例えば，撮影された高階調画像から第一の領域の所定周辺領域の平均輝度などの輝度情報が所定の範囲になるように調整された階調部分が抜き出された画像である。

抽出された第二の領域を検出された信号機の領域として，また抽出された第一の領域の色を信号機の点灯色として認識する。

従来のように，単純に同じ画像から信号機の点灯色と信号機の形状との抽出を試みるのではなく，それぞれの抽出に適した２つの画像から信号機の点灯色と信号機の形状とを抽出するので，撮影環境に左右されずに，精度良く画像から信号機を認識することが可能となる。

具体的には，信号機認識装置は，撮影画像から，所定の階調部分を抜き出した第一の画像を取得する第一の画像取得部と，第一の画像から所定の色および形状を有する第一の領域を抽出する第一の領域抽出部と，撮影画像から，撮影画像における第一の領域の所定の周辺領域の輝度情報に基づいて，該輝度情報が所定の範囲になるように決定された階調部分を抜き出した第二の画像を取得する第二の画像取得部と，第二の画像から抽出された第一の領域を含む所定の形状を有する第二の領域を抽出する第二の領域抽出部と，第二の領域を検出された信号機の領域として認識し，第一の領域の色を信号の点灯色として認識する信号機検出部とを備える。

このように，撮影環境に左右されやすい，画像からの信号機の形状の抽出を，信号機の点灯色を抽出するための第一画像とは異なる画像であって，撮影環境に応じて取得された第二の画像から行うので，撮影環境に左右されずに，信号機の点灯色と信号機の形状との両方を抽出することが可能になる。

また，上記の信号機認識装置において，第二の領域抽出部が，第一の領域の色に基づいてテンプレートを決定し，決定されたテンプレートに基づいて第二の画像から第二の領域を抽出するようにしてもよい。信号機の形状のテンプレートを信号機の点灯色に合わせて用意しておくことにより，簡単に画像から信号機の領域を抽出することができる。

また，上記の信号機認識装置において，信号機検出部が，画像上での第二の領域の大きさに基づいて，画像を撮影したカメラから第二の領域に撮影された信号機までの距離を求めるようにしてもよい。精度良く画像から信号機を認識することができるので，カメラから信号機までの距離も，精度良く求めることができる。

信号機の点灯色と信号機の形状とのそれぞれの抽出に適した２つの画像から，信号機の点灯色と信号機の形状とを抽出することにより，撮影環境に左右されずに，信号機の点灯色と信号機の形状的特徴とをともに利用した信号機の検出を行うことが可能となり，画像からの信号機の認識を精度良く行うことが可能となる。

以下，本発明の実施の形態について，図を用いて説明する。

〔実施の形態１〕
図１は，本実施の形態１による信号機認識装置の構成例を示す図である。信号機認識装置１０は，イメージセンサ２０により撮像された画像から，信号機を認識する手段であり，コンピュータが備えるＣＰＵ，メモリ等のハードウェアと，ソフトウェアプログラムとにより実現される。信号機認識装置１０は，色特徴画像取得部１１，色特徴候補領域抽出部１２，形状特徴画像取得部１３，形状特徴候補領域抽出部１４，信号機テンプレート情報記憶部１５，信号機検出部１６を備える。

イメージセンサ２０は，車両に搭載され，画像を撮像する手段である。イメージセンサ２０としては，例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いる。イメージセンサ２０は，車両の前方，後方のどちらの方向を向けて取り付けられてもよいが，本実施の形態では，車両の前方を向けて取り付けられた場合について説明する。

イメージセンサ２０は，３０ｆｐｓや６０ｆｐｓなどで，画像を取得する。また，ここでは，シャッタースピードをフレームごとに制御できる機能を有したイメージセンサ２０を用いる。例えば，奇数番目のフレームでは高速のシャッタースピードで撮影し，偶数番目のフレームでは低速のシャッタースピードで撮影するといったように，交互に高速・低速のシャッタースピードでの撮影を行う。

ここで，シャッターはメカニカルシャッターではなく，主に電子シャッターであるものとする。また，画像階調は，ＲＧＢの３色がそれぞれ８ｂｉｔ階調で表された画像であるものとして説明を行うが，これ以外の形式，階調でも構わない。

色特徴画像取得部１１は，イメージセンサ２０から，シャッタースピードｓｐ１を用いて撮像された色特徴画像を取得する。シャッタースピードｓｐ１は，あらかじめ定められた範囲または固定値であり，信号機の灯火面が飽和しないように，また灯火面が暗くならない範囲で設定される。レンズの絞りや，ＣＣＤの感度などもあらかじめ定められている。

なお，交通信号機の中には，ＬＥＤ式のものがある。ＬＥＤ式の信号機の場合には，灯火時でも人の目には認識できない程度の周期で点灯と消灯を繰り返すという特徴がある。そのため，点灯・消灯の周期よりも短いシャッタースピードで撮影を行うと，青，黄，赤のすべての灯火面が消灯している信号機の画像が取得される可能性がある。このような現状を回避し，信号機の灯火色を確実に捕らえるようにするには，点灯・消灯の周期よりも長いシャッタースピードで画像を取得すればよい。

しかし，シャッタースピードを長くするだけでは，信号機の灯火面をはじめ，画像全体が飽和してしまう可能性がある。ＮＤフィルタで光量を抑えるなどの対策も可能であるが，ＮＤフィルタを用いると後述の形状特徴画像取得部１３においても光量が抑えられてしまうため，夜間などの暗いときに，信号機の形状が捕らえられなくなるという不具合がある。そのため，色特徴画像取得部１１による画像取得のときにのみ，イメージセンサ２０の感度を下げることにより，シャッタースピードを長くしたことによる飽和が発生しないようにするなどの工夫を行う。

色特徴候補領域抽出部１２では，信号機の灯火面の色特徴に基づいて，色特徴画像取得部１１により取得された色特徴画像から，信号機の灯火面の候補領域を抽出する。

図２は，本実施の形態による色特徴候補領域抽出処理フローチャートである。処理を開始すると，まず，信号の灯火面の特定色，すなわち青，黄，赤の色を持つ領域の抽出を，それぞれ行う（ステップＳ１０）。信号機の青，黄，赤の各色は，あらかじめ所定の色範囲に規定されている。領域を抽出する青，黄，赤の色の範囲は，信号機の各灯火色の色特徴に合わせ，あらかじめ定めておく。

例えば，ＲＧＢ色空間における色の抜き出しにおいて，信号の青の領域の抽出を行う場合には，以下に示すＲＧＢの各階調値の条件をすべて満たす画素を，色特徴画像から抜き出す。

Ｒ_bl ＜ Ｒ（ｘ，ｙ） ＜ Ｒ_bh
Ｇ_bl ＜ Ｇ（ｘ，ｙ） ＜ Ｇ_bh
Ｂ_bl ＜ Ｂ（ｘ，ｙ） ＜ Ｂ_bh
ここで，Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ），Ｇ（ｘ，ｙ）は，それぞれ色特徴画像上の各画素におけるＲＧＢの各階調値である。また，Ｒ_bl，Ｇ_bl，Ｂ_bl，は，信号の青領域抽出時におけるＲＧＢの各階調値の下限閾値を示し，Ｒ_bh，Ｇ_bh，Ｂ_bhは，信号の青領域抽出時におけるＲＧＢの各階調値の上限閾値を示す。信号の黄の領域，赤の領域の抽出についても，同様に行うことができる。

なお，ここではＲＧＢ空間における信号の色領域の抽出例を説明したが，他の色空間（例えば，Ｌ^* ａ^* ｂ^* 色空間など）でも，ＲＧＢ空間の例と同様にそれぞれの要素の範囲を定めて，信号の色領域を抽出することができる。

次に，信号の各色で抽出された各領域について，それぞれの大きさ（例えば，面積など）を算出し（ステップＳ１１），算出された領域の大きさが所定の範囲の領域に，候補を絞り込む（ステップＳ１２）。ここで，領域とは，色ごとに抽出された画素が連続している領域を示す。

例えば，抽出された同じ青色の領域でも，領域の大きさが大きすぎたり，小さすぎるものは，信号の青の灯火面ではない可能性がある。また，たとえ信号の青の灯火面であっても，近すぎる，または遠すぎる信号の灯火面である。ここでは，正確な信号機の認識のために，あらかじめ設定された範囲内の大きさの領域に，候補を絞り込む。

ほとんどの信号機の灯火面の大きさは，だいたい同じ大きさで作られている。イメージセンサの特性やレンズの特性により，色特徴画像上で検出された灯火面の大きさから，信号機までの距離がわかる。例えば，１０ｍ先から５０ｍ先までの信号機を認識することを目的とする場合には，１０ｍ先の信号機の灯火面が色特徴画像上に写ったときの大きさを上限とし，５０ｍ先の信号機の灯火面が色特徴画像上に写ったときの大きさを下限として，絞込みを行うことができる。

例えば，抽出された領域の面積がＳである場合に，以下に示す条件を満たす領域に，候補を絞り込む。

Ｓ_l ＜ Ｓ ＜ Ｓ_h
ここで，Ｓ_l は，候補とする領域の面積の下限閾値を示し，Ｓ_h は，候補とする領域の面積の上限閾値を示す。

続いて，各領域について，領域の周囲長Ｌを算出し，領域の周囲長Ｌと領域の面積Ｓとを用いて，各領域の円形度を算出し（ステップＳ１３），算出された円形度が所定値以上の領域に，候補を絞り込む（ステップＳ１４）。円形度は，例えば，４πＳ／Ｌ² によって算出される。ここでは，算出された円形度の値があらかじめ定められた閾値，例えば０．８よりも大きいときにのみ，その領域が候補領域となる。

以上の図２に示す処理により得られた候補領域を，信号機の色特徴候補領域とする。なお，以下では，信号機の青色で抽出された領域を青色特徴候補領域，信号機の黄色で抽出された領域を黄色特徴候補領域，信号機の赤色で抽出された領域を赤色特徴候補領域と呼ぶものとする。

形状特徴画像取得部１３は，イメージセンサ２０から，信号機の形状特徴を抽出するための形状特徴画像を取得する。このときのイメージセンサ２０のシャッタースピードｓｐ２は，例えば，抽出された色特徴候補領域の周辺の明るさの評価を行い，決定する。なお，以下では，以前に撮影された形状特徴画像における色特徴候補領域の周辺の輝度情報に基づいて，シャッタースピードｓｐ２を決定しているが，色特徴画像における色特徴候補領域の周辺の輝度情報に基づいて，シャッタースピードｓｐ２を決定するようにしてもよい。

図３は，本実施の形態１による形状特徴画像取得時のイメージセンサのシャッタースピードを調整する処理のフローチャートである。形状特徴画像を取得するときのイメージセンサ２０のシャッタースピードｓｐ２は，例えば図３に示すような判定方法を用いて決定する。なお，図３の中で，Ｉ_ave は，前フレームにおける形状特徴画像上の色特徴候補領域の所定の周辺領域の平均輝度を示し，ｓｐ２’は，前フレーム撮像時のイメージセンサ２０のシャッタースピードである。なお，ここでは輝度情報として平均輝度を例に挙げているが，これに限るものではなく，平均輝度の代わりに，輝度の最頻値や中央値を用いても構わない。

Ｉ_ave が１９２以上である場合には（ステップＳ２０），ｓｐ２＝ｓｐ２’×１／２とし（ステップＳ２１），シャッタースピードｓｐ２を速くする。Ｉ_ave が６４以上である場合には（ステップＳ２２），すなわちＩ_ave が１９２未満６４以上である場合には，ｓｐ２＝ｓｐ２’とし（ステップＳ２３），シャッタースピードｓｐ２を変えない。Ｉ_ave が６４以上でない場合には（ステップＳ２２），すなわちＩ_ave が６４未満である場合には，ｓｐ２＝ ｓｐ２’×２とし（ステップＳ２４），シャッタースピードｓｐ２を遅くする。

色特徴候補領域周辺の平均輝度をもとに，イメージセンサ２０のシャッタースピードｓｐ２を制御することにより，信号機の形状を抽出するための適切な形状特徴画像を取得することができる。

図４は，本実施の形態による平均輝度算出領域の例を説明する図である。本実施の形態では，形状特徴画像２００上の，色特徴候補領域周辺の平均輝度を算出するための領域を，平均輝度算出領域２１０と呼ぶものとする。図４に示すように，平均輝度算出領域２１０は，色特徴候補領域の色と大きさとによって決定される。図４（Ａ）は，青色特徴候補領域１１０に対する平均輝度算出領域２１０の例を示し，図４（Ｂ）は，黄色特徴候補領域１２０に対する平均輝度算出領域２１０の例を示し，図４（Ｃ）は，赤色特徴候補領域１３０に対する平均輝度算出領域２１０の例を示す。

例えば，図４（Ａ）において，青色特徴候補領域１１０の面積がＳであり，青色特徴候補領域の中心座標が（ｘ_b ，ｙ_b ）である場合の例について説明する。青色特徴候補領域１１０の面積Ｓから，平均輝度算出領域２１０を算出するための基準幅ｗを決定する。基準幅ｗは，例えば，青色特徴候補領域１１０の直径画素数の１．５倍の画素数とする。平均輝度算出領域２１０を，以下の条件を満たす座標（ｘ，ｙ）の画素の集合とする。

ｘ_b −ｗ ≦ ｘ ≦ ｘ_b ＋ｗ×３
ｙ_b −ｗ ≦ ｙ ≦ ｙ_b ＋ｗ
ここでは，信号機の形状を横型の信号機としており，青の灯火面は信号機の一番左であるため，平均輝度算出領域２１０は，青色特徴候補領域１１０の右側が広くなっている。

信号機の形状を横型の信号機とすれば，平均輝度算出領域２１０のｙ座標範囲は，黄色特徴候補領域１２０の場合も，赤色特徴候補領域１３０の場合も青色特徴候補領域１１０と同じであるので，上記の青色特徴候補領域１１０の中心座標を置き換えるだけで求められる。平均輝度算出領域２１０のｘ座標範囲は，信号機の灯火面の青，黄，赤という配置の情報を考慮すると，黄色特徴候補領域１２０の場合，赤色特徴候補領域１３０の場合で，それぞれ以下の条件となる。

ｘ_y −ｗ×２ ≦ ｘ ≦ ｘ_y ＋ｗ×２
ｘ_r −ｗ×３ ≦ ｘ ≦ ｘ_r ＋ｗ
なお，ここでは，黄色特徴候補領域１２０の中心座標が（ｘ_y ，ｙ_y ）であり，赤色特徴候補領域の中心座標が（ｘ_r ，ｙ_r ）であるものとする。

形状特徴候補領域抽出部１４は，信号機の形状特徴に基づいて，形状特徴画像取得部１３により取得された形状特徴画像から，信号機の候補領域を抽出する。

図５は，本実施の形態による形状特徴候補領域抽出処理フローチャートである。図５に示す形状特徴候補領域抽出処理の例では，信号機の形状のテンプレートを用いて，マッチングを行う。テンプレートを用いた画像マッチングの手法としては，様々なものがある。例えばカラー情報でマッチングする方法もあるが，ここでは，輝度情報でマッチングする方法について説明する。

信号機テンプレート情報記憶部１５には，点灯色ごとに数種類のテンプレートがあらかじめ保持されており，抽出された色特徴候補領域の色に該当するテンプレートの一種類ごとに，図５に示す形状特徴候補領域抽出処理を行う。ただし，ひとつのテンプレートで形状特徴候補領域が抽出された場合には，他のテンプレートでのマッチングは行われないものとする。

まず，色特徴候補領域抽出部１２で抽出された信号機の灯火面の大きさを取得し，それをもとにテンプレートの大きさを調整する（ステップＳ３０）。ここでは，灯火面の大きさは，色特徴候補領域の縦幅と横幅との平均値であるものとする。

図６は，テンプレートの大きさ調整の例を説明する図である。図６では，抽出された赤色特徴候補領域１３０をもとにテンプレートの大きさを調整する例である。図６において，テンプレート３００は，信号機テンプレート情報記憶部１５に保持された，赤色の灯火面用のテンプレートの１つである。テンプレート３００の大きさを，赤色特徴候補領域１３０の大きさに合わせて調整する。

図６において，テンプレート３１０は，赤色特徴候補領域１３０の大きさに合わせて調整されたテンプレートである。ここではさらに，抽出された赤色特徴候補領域１３０の大きさの誤差を踏まえて，テンプレート３１０より１０％小さいテンプレート３２０と，テンプレート３１０より１０％大きいテンプレート３３０とを用意する。

例えば，灯火面の大きさが３０ｐｉｘｅｌの場合を基準とし，テンプレートはそのままの大きさのもの，１０％大きくしたもの，１０％小さくしたものと，３段階に用意するものとする。また，色特徴候補領域の大きさが１５ｐｉｘｅｌの場合には，１５／３０＝１／２なので，テンプレートは半分の大きさに調整したもの，５５％の大きさのもの，４５％の大きさのものと，３段階に用意する。

次に，形状特徴画像上のテンプレートによる探索の範囲，すなわちテンプレートを照合する範囲を決定する（ステップＳ３１）。テンプレートを照合する範囲は，色特徴候補領域の色と大きさとによって決定する。テンプレートによる探索範囲は，例えば，図４に示す平均輝度算出領域２１０と同様とする。

決定された探索範囲内で，例えば縦横に３ｐｉｘｅｌずつずらしながら，テンプレートと形状特徴画像との相互相関係数を計算する（ステップＳ３２）。算出された相互相関係数が，あらかじめ定められた閾値，例えば０．８よりも大きく，かつ最大となった領域を，信号機の形状特徴候補領域として抽出する（ステップＳ３３）。

相互相関係数を求める方法としては，相関を表す指標が算出できればどのような方法でもよい。例えば，次式のような相互相関係数を用いる。以下の式では，形状特徴画像をｆ（ｘ，ｙ），テンプレートをｇ（ｘ，ｙ），テンプレートの面積をＳとする。

このような処理を，大きさを３段階にしたテンプレートのそれぞれについて行い，最終的に，相互相関係数が最大となる領域を信号機の形状特徴候補領域とする。なお，閾値条件を満たす相互相関係数が得られなかった場合には，そのテンプレートでは信号機が検出されなかったものと判断し，次のテンプレートによる形状特徴候補領域抽出処理に移る。

信号機検出部１６は，形状特徴候補領域抽出部１４により抽出された領域を信号機検出領域とする。また，色特徴候補領域抽出部１２により抽出された，信号機検出領域の色を信号機の点灯色とする。さらに，自車（または，イメージセンサ２０）から信号機までの距離ｄを求めるようにしてもよい。信号機検出領域の大きさや位置などから信号機までの距離ｄを求める方法としては，様々なものがある。

例えば，形状特徴候補領域が抽出されたテンプレートの大きさ調整の倍率ｍを用いた次式により，信号機までの距離ｄを求めることができる。

ｄ＝ｃ／ｍ
ここでｃは定数であり，レンズ特性，イメージセンサの特性などによって決定される。例えば，レンズ特性，イメージセンサの特性などを考慮して，大きさを調整せずに形状特徴候補領域が抽出されたときに信号機までの距離ｄが２０ｍとなるようにテンプレートの基準の大きさが決まっている場合に，定数ｃ＝２０［ｍ］とすることができる。このとき，形状特徴候補領域が抽出されたテンプレートの大きさ調整の倍率が０．５倍であれば，
ｄ＝２０／０．５＝４０
となり，信号機までの距離ｄ＝４０［ｍ］が求められる。

得られた信号機検出領域，信号機の灯火色，信号機までの距離などの情報を，信号機検出情報として出力する。

図７は，本実施の形態１による信号機認識処理フローチャートである。ここで，本実施の形態１による一連の処理の流れを，簡単にまとめておく。

まず，イメージセンサ２０から，信号機の灯火面が飽和しないように，また灯火面が暗くならない範囲に設定されたシャッタースピードｓｐ１で撮像された画像を，色特徴画像として取得し（ステップＳ４０），取得された色特徴画像から，所定の色および所定の形状を有する色特徴候補領域を抽出する（ステップＳ４１）。所定の色としては，信号機の青，黄，赤の各点灯色に該当する色の範囲が指定されている。また，所定の形状は，円形度の閾値などにより定められている。

次に，イメージセンサ２０から，抽出された色特徴候補領域の周辺の所定の範囲内の平均輝度に基づいて決定されたシャッタースピードｓｐ２で撮像された画像を，形状特徴画像として取得し（ステップＳ４２），取得された形状特徴画像から，所定の形状を有する形状特徴候補領域を抽出する（ステップＳ４３）。所定の形状は，信号機の形状のテンプレートなどにより，指定されている。

抽出された形状特徴候補領域を信号機検出領域とし，このときの色特徴候補領域の色を信号機の色として，信号機を認識する（ステップＳ４４）。さらに，信号機までの距離を算出するようにしてもよい。

〔実施の形態２〕
本実施の形態２では，高階調画像はＲＧＢの３色がそれぞれ１２ｂｉｔ階調で表された画像であるものとし，色特徴画像と形状特徴画像はＲＧＢの３色がそれぞれ８ｂｉｔ階調で表された画像であるものとして説明を行うが，これ以外の形式，階調でも構わない。

図８は，本実施の形態２による信号機認識装置の構成例を示す図である。信号機認識装置１０’は，色特徴画像取得部１１，色特徴候補領域抽出部１２，形状特徴画像取得部１３，形状特徴候補領域抽出部１４，信号機テンプレート情報記憶部１５，信号機検出部１６，高階調画像取得部１７，形状特徴画像抽出情報記憶部１８を備える。

なお，信号機認識装置１０’において，色特徴候補領域抽出部１２，形状特徴候補領域抽出部１４，信号機テンプレート情報記憶部１５，信号機検出部１６については，前述の実施の形態１と同様であるので，説明を省略する。

イメージセンサ２０’としては，高ダイナミックセンサであるＣＭＯＳイメージセンサなど，例えば１２ｂｉｔ階調などの高階調で表された画像を取得できるものを用いる。イメージセンサ２０’は，車両の前方，後方のどちらの方向を向けて取り付けられてもよいが，本実施の形態では，車両の前方を向けて取り付けられた場合について説明する。

イメージセンサ２０’は，３０ｆｐｓや６０ｆｐｓなどで，画像を取得する。イメージセンサ２０’は高ダイナミックセンサであるため，シャッタースピードやレンズの絞り，イメージセンサ２０’の感度などはあらかじめ固定で定められているものとする。

実施の形態１でも述べたが，ＬＥＤ式の信号機の灯火色を確実に捕らえるようにする場合には，シャッタースピードを遅くして撮影する必要がある。高ダイナミックセンサを用いても信号機の灯火色が飽和してしまうような場合には，ＮＤフィルタを用いたり，イメージセンサ２０’の感度を下げたりするなどの，信号機の灯火色が飽和しないようにするための工夫が必要である。

高階調画像取得部１７は，イメージセンサ２０’から，撮像された高階調画像を取得する。ここで取得される高階調画像は，前述の１２ｂｉｔ階調の画像である。

色特徴画像取得部１１は，取得された高階調画像から，あらかじめ定められた階調で８ｂｉｔ分を，色特徴画像として抜き出す。

図９は，高階調画像と色特徴画像／形状特徴画像との関係を説明する図である。図９において，横軸は高階調画像の輝度の階調値を示し，縦軸はその輝度値の画素の出現頻度を示す。色特徴画像としては，信号機の灯火面が飽和しないように，また灯火面が暗くならないように，あらかじめ設定された８ｂｉｔ階調の画像が，高階調画像から抜き出される。

形状特徴画像取得部１３は，高階調画像から，信号機の形状特徴を抽出するための，８ｂｉｔ階調の形状特徴画像を抜き出す（図９参照）。高階調画像から形状特徴画像を抜き出す階調部分は，例えば，色特徴候補領域の周囲の平均輝度算出領域（図４参照）の平均輝度に基づいて，調整される。なお，ここでは輝度情報として平均輝度を例に挙げているが，これに限るものではなく，平均輝度の代わりに，輝度の最頻値や中央値を用いても構わない。

例えば，色特徴候補領域の周囲の平均輝度が６４以上１９２未満となるように８ｂｉｔ階調の画像が抜き出されるように用意され，形状特徴画像抽出情報記憶部１８に保持された形状特徴画像抽出情報を，高階調画像における色特徴候補領域の周囲の平均輝度で参照して，抜き出す階調部分を決定する。

図１０は，本実施の形態による形状特徴画像抽出情報の例を示す図である。例えば，高階調画像において，色特徴候補領域の周囲の平均輝度算出領域の平均輝度が７５４である場合に，図１０に示す形状特徴画像抽出情報１８０を参照し，得られた６４０〜８９５の階調部分を，形状特徴画像として高階調画像から抜き出す。具体的には，高階調画像をｆ_DR（ｘ，ｙ）とすると，形状特徴画像ｆ_S （ｘ，ｙ）は，
・ｆ_DR（ｘ，ｙ）＜６４０のとき，
ｆ_S （ｘ，ｙ）＝０
・６４０≦ｆ_DR（ｘ，ｙ）≦８９５のとき，
ｆ_S （ｘ，ｙ）＝ｆ_DR（ｘ，ｙ）−６４０
・８９５＜ｆ_DR（ｘ，ｙ）のとき，
ｆ_S （ｘ，ｙ）＝２５５
と，決定することができる。

図１１は，本実施の形態２による信号機認識処理フローチャートである。ここで，本実施の形態２による一連の処理の流れを，簡単にまとめておく。まず，イメージセンサ２０から，高階調画像を取得する（ステップＳ５０）。

取得された高階調画像から，信号機の灯火面が飽和しないように，また灯火面が暗くならないように，定められた階調部分の画像を，色特徴画像として取得し（ステップＳ５１），取得された色特徴画像から，所定の色および所定の形状を有する色特徴候補領域を抽出する（ステップＳ５２）。

次に，取得された高階調画像から，高階調画像における色特徴候補領域の周辺の所定の範囲内の平均輝度に基づいて，形状特徴画像における色特徴候補領域の周囲の平均輝度が所定の階調範囲内になるように調整された画像を，形状特徴画像として取得し（ステップＳ５３），取得された形状特徴画像から，所定の形状を有する形状特徴候補領域を抽出する（ステップＳ５４）。

抽出された形状特徴候補領域を信号機検出領域とし，このときの色特徴候補領域の色を信号機の色として，信号機を認識する（ステップＳ５５）。さらに，信号機までの距離を算出するようにしてもよい。

以上，本実施の形態１，本実施の形態２について説明したが，本発明はこれらの実施の形態に限られるものではない。例えば，本実施の形態では，左から青，黄，赤の点灯色を持つ横型の信号機のみを考慮して説明を行っているが，上から赤，黄，青の点灯色を持つ縦型の信号機や，矢印つきの信号機など，他の形状の信号機も抽出できるように，平均輝度算出領域や，信号機の形状のテンプレートを設定することもできる。

また，例えば，画像から複数の信号機検出領域を検出することも可能であり，検出された複数の信号機から最も距離が近い信号機を認識するなどの処理も可能である。

以上説明した本実施の形態の特徴を列挙すると，以下の通りとなる。

（付記１）
同じ被写体が撮影されている第一の画像と第二の画像とを取得する画像取得部と，
前記第一の画像から，所定の色および形状を有する第一の領域を抽出する第一の領域抽出部と，
前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する第二の領域抽出部と，
前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する信号機検出部とを備える
ことを特徴とする信号機認識装置。

（付記２）
前記第二の画像は，前記第一の画像または以前に撮影された第二の画像の輝度情報に基づいて決定されたシャッタースピードで撮像された画像である
ことを特徴とする付記１に記載の信号機認識装置。

（付記３）
前記第一の画像は，所定のシャッタースピードで撮像された画像であり，
前記第二の画像は，前記第一の画像または以前に撮影された第二の画像において，前記第一の領域の所定の周辺領域の平均輝度に基づいて決定されたシャッタースピードで撮像された画像である
ことを特徴とする付記１に記載の信号機認識装置。

（付記４）
前記第一の画像と前記第二の画像とは，前記被写体について撮影された１つの画像から生成された，互いに異なる画像である
ことを特徴とする付記１に記載の信号機認識装置。

（付記５）
前記第一の画像は，前記被写体について撮影された１つの画像から，所定の階調部分が抜き出された画像であり，
前記第二の画像は，前記被写体について撮影された１つの画像における前記第一の領域の所定の周辺領域の平均輝度に基づいて，前記第二の画像における前記第一の領域の所定の周辺領域の平均輝度が所定の範囲になるように決定された階調部分が，前記被写体について撮影された１つの画像から抜き出された画像である
ことを特徴とする付記１に記載の信号機認識装置。

（付記６）
前記第二の領域抽出部は，前記第一の領域の色に基づいてテンプレートを決定し，決定されたテンプレートに基づいて，前記第二の画像から前記第二の領域を抽出する
ことを特徴とする付記１から付記５までのいずれかに記載の信号機認識装置。

（付記７）
前記信号機検出部は，画像上での前記第二の領域の大きさに基づいて，前記画像を撮影したカメラから前記第二の領域に撮影された信号機までの距離を求める
ことを特徴とする付記１から付記６までのいずれかに記載の信号機認識装置。

（付記８）
信号機認識装置が実行する信号機認識方法であって，
第一の画像を取得する過程と，
前記第一の画像から，所定の色および形状を有する第一の領域を抽出する過程と，
前記第一の画像と同じ被写体が撮影されている第二の画像を取得する過程と，
前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する過程と，
前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する過程とを有する
ことを特徴とする信号機認識方法。

（付記９）
コンピュータを，
同じ被写体が撮影されている第一の画像と第二の画像とを取得する画像取得部と，
前記第一の画像から，所定の色および形状を有する第一の領域を抽出する第一の領域抽出部と，
前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する第二の領域抽出部と，
前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する信号機検出部として，
機能させるための信号機認識プログラム。

本実施の形態１による信号機認識装置の構成例を示す図である。 本実施の形態による色特徴候補領域抽出処理フローチャートである。 本実施の形態１による形状特徴画像取得時のイメージセンサのシャッタースピードを調整する処理のフローチャートである。 本実施の形態による平均輝度算出領域の例を説明する図である。 本実施の形態による形状特徴候補領域抽出処理フローチャートである。 テンプレートの大きさ調整の例を説明する図である。 本実施の形態１による信号機認識処理フローチャートである。 本実施の形態２による信号機認識装置の構成例を示す図である。 高階調画像と色特徴画像／形状特徴画像との関係を説明する図である。 本実施の形態による形状特徴画像抽出情報の例を示す図である。 本実施の形態２による信号機認識処理フローチャートである。

符号の説明

１０，１０’ 信号機認識装置
１１ 色特徴画像取得部
１２ 色特徴候補領域抽出部
１３ 形状特徴画像取得部
１４ 形状特徴候補領域抽出部
１５ 信号機テンプレート情報記憶部
１６ 信号機検出部
１７ 高階調画像取得部
１８ 形状特徴画像抽出情報記憶部
２０，２０’ イメージセンサ

Claims (5)

1. 撮影画像から，所定の階調部分を抜き出した第一の画像を取得する第一の画像取得部と，
   前記第一の画像から，所定の色および形状を有する第一の領域を抽出する第一の領域抽出部と，
   前記撮影画像から，前記撮影画像における前記第一の領域の所定の周辺領域の輝度情報に基づいて，該輝度情報が所定の範囲になるように決定された階調部分を抜き出した第二の画像を取得する第二の画像取得部と，
   前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する第二の領域抽出部と，
   前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する信号機検出部とを備える
   ことを特徴とする信号機認識装置。
2. 前記第二の領域抽出部は，前記第一の領域の色に基づいてテンプレートを決定し，決定されたテンプレートに基づいて，前記第二の画像から前記第二の領域を抽出する
   ことを特徴とする請求項１に記載の信号機認識装置。
3. 前記信号機検出部は，画像上での前記第二の領域の大きさに基づいて，前記画像を撮影したカメラから前記第二の領域に撮影された信号機までの距離を求める
   ことを特徴とする請求項１または請求項２に記載の信号機認識装置。
4. 信号機認識装置が実行する信号機認識方法であって，
   撮影画像から，所定の階調部分を抜き出した第一の画像を取得する過程と，
   前記第一の画像から，所定の色および形状を有する第一の領域を抽出する過程と，
   前記撮影画像から，前記撮影画像における前記第一の領域の所定の周辺領域の輝度情報に基づいて，該輝度情報が所定の範囲になるように決定された階調部分を抜き出した第二の画像を取得する過程と，
   前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する過程と，
   前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する過程とを有する
   ことを特徴とする信号機認識方法。
5. コンピュータを，
   撮影画像から，所定の階調部分を抜き出した第一の画像を取得する第一の画像取得部と，
   前記第一の画像から，所定の色および形状を有する第一の領域を抽出する第一の領域抽出部と，
   前記撮影画像から，前記撮影画像における前記第一の領域の所定の周辺領域の輝度情報に基づいて，該輝度情報が所定の範囲になるように決定された階調部分を抜き出した第二の画像を取得する第二の画像取得部と，
   前記第二の画像から，前記抽出された第一の領域を含む，所定の形状を有する第二の領域を抽出する第二の領域抽出部と，
   前記第二の領域を検出された信号機の領域として認識し，前記第一の領域の色を信号の点灯色として認識する信号機検出部として，
   機能させるための信号機認識プログラム。

Images