JPWO2017009933A1 - 信号機認識装置及び信号機認識方法 - Google Patents

Abstract

車両周囲の画像を撮像するカメラ（１１）と、車両周囲の地図情報を取得する地図情報取得部（１７）と、車両の地図上の現在位置を検出する車両現在位置検出部（１２）と、車両現在位置と前記地図情報に基づき、前記信号機の画像上の位置を推定する信号機位置推定部（２１）を備える。更に、信号機の画像上の位置と信号機の画像上の将来の移動方向に基づいて、カメラの撮像方向を設定する撮像姿勢設定部（２３）と、カメラの撮像方向を、撮像方向設定部で設定された撮像方向に変更するカメラ姿勢制御部（２４）と、カメラが撮像方向で撮像した画像から信号機を認識する信号機認識部（１４）を備える。カメラの姿勢に影響されることなく、信号機の点灯状態を高精度に検出できる。

Description

本発明は、車両に搭載されて信号機を認識する信号機認識装置及び信号機認識方法に関する。

例えば、自動運転機能が搭載された車両では、車両の走行路に設けられる信号機を認識し、信号機の点灯色等の点灯状態を検出することにより、停止、走行等の運転を制御する。

従来における信号機認識装置として、例えば、特許文献１（特開平１１−３０６４８９号公報）に開示されたものが知られている。該引用文献１では、車両にカメラを搭載して前方の信号機を撮像する。この際、カメラで撮像された画像の中心に信号機が位置するように、カメラの水平方向の角度、及び垂直方向の角度を制御する。更に、信号機の画像が所望の大きさになるように、拡大率を制御している。

特開平１１−３０６４８９号公報

しかしながら、特許文献１に開示された従来例では、カメラの撮像方向を変更している間は、該カメラで撮像される画像にブレが発生し画像認識が難しくなる。その結果、カメラの撮像方向を変更している間は信号機の点灯状態を検出精度が低下する虞があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両が信号機に接近した際に、撮像部の撮像方向の変更を不要とするか、或いは撮像方向の変更の回数を低減することが可能な信号機認識装置を提供することにある。

本発明の一態様に係る信号機認識装置は、撮像部と、地図情報を取得する地図情報取得部と、車両の地図上の現在位置を検出する車両現在位置検出部と、信号機の画像上の位置を推定する信号機位置推定部を有する。更に、信号機の画像上の位置と、信号機の画像上の将来の移動方向に基づいて、撮像部の撮像方向を設定する撮像方向設定部と、撮像部の撮像方向を、撮像方向設定部で設定された撮像方向に変更する撮像方向変更部と、撮像部が撮像方向で撮像した画像から信号機を認識する信号機認識部を備える。

本発明の一態様に係る信号機認識方法は、撮像部により車両周囲の画像を撮像し、車両周囲の地図情報を取得し、車両の地図上の現在位置を検出し、車両現在位置と地図情報に基づき、信号機の画像上の位置を推定する。更に、信号機の画像上の位置と、信号機の画像上の将来の移動方向に基づいて、撮像部の撮像方向を設定し、撮像部の撮像方向を、撮像方向設定部で設定された撮像方向に変更し、撮像部が撮像方向で撮像した画像から信号機を認識する。

本発明の実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。 本発明の実施形態に係る信号機認識装置の詳細な構成を示すブロック図である。 第１実施形態に係る撮像姿勢設定部の詳細な構成を示すブロック図である。 第１実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 画像中に存在する信号機の、現在の位置座標を示す説明図である。 画像中に存在する信号機の、過去の位置座標及び現在の位置座標を示す説明図である。 カメラの撮像方向を変更して、信号機の位置座標が画像の左下方に移動した様子を示す説明図である。 第１実施形態に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向の変更後の画像を示す。 第２実施形態に係る撮像姿勢設定部の詳細な構成を示すブロック図である。 第２実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 第２実施形態に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向変更後の画像を示す。 車両がカーブ路を走行したときの、画像上での信号機の移動軌跡を示す説明図である。 第２実施形態を採用しない信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）、（ｄ）は撮像方向の変更後の画像を示す。 第３実施形態に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向の変更後の画像を示す。 第３実施形態を採用しない信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向の変更後の画像を示す。 第３実施形態の変形例に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向の変更後の画像を示す。 第４実施形態に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）、（ｄ）、（ｅ）は撮像方向の変更後の画像を示す。 第５実施形態に係る信号機認識装置の、撮像方向の変更のタイミングを示す説明図であり、（ａ）は車両の走行経路を示し、（ｂ）は撮像方向の変更前の画像を示し、（ｃ）は撮像方向の変更後の画像を示す。

以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態の説明］
図１は、本発明の第１実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。また、図２は、図１に示した信号機認識装置１００を詳細に示したブロック図である。図１に示すように、信号機認識装置１００は車両５１に搭載され、該車両５１に搭載された各種の機器より、地図情報Ｄ０２、カメラ情報Ｄ０３、車両現在位置情報Ｄ０５、及び画像データＤ０７が入力される。そして、該信号機認識装置１００で認識した情報である信号機情報Ｄ０４を後段の装置に出力する。

カメラ情報Ｄ０３は、車両５１に対するカメラ１１（図２参照）の設置位置に関する情報である。車両５１の地図上の向きを示す三次元情報が取得されると、カメラ情報Ｄ０３に基づいてカメラ１１による車両周囲の撮像領域を推定することが可能となる。

地図情報Ｄ０２は、車両が走行する走行路の地図データ（車両周囲の地図情報）を含む地図データベースより与えられる情報であり、走行路に存在する地上ランドマーク等の物標の位置情報及び信号機の位置情報等が含まれている。

図２に示すように信号機認識装置１００は、カメラ１１（撮像部）、車両現在位置検出部１２、地図情報取得部１７、撮像方向設定部１３、信号機認識部１４、及びランドマーク情報取得部１８を備えている。

カメラ１１は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたカメラであり、車両５１に設置され、走行路の周囲を撮像して周辺領域のデジタル画像を取得する。カメラ１１は、撮像した画像を画像データＤ０７として、信号機認識部１４に出力する。また、カメラ１１は、車両５１に対するカメラ１１の設置位置に関する情報を記憶しており、カメラ情報Ｄ０３として、撮像方向設定部１３に出力する。カメラ１１の設置位置に関する情報は、例えば、キャリブレーション用のマークなどを車両５１に対して既知の位置に設置して、カメラ１１で撮像された画像上の位置から設置位置を算出することができる。更に、カメラ１１は、車両５１に対してパン、チルト方向で回転自在の機構を介して設置されており、パン、チルト方向の回転角度を駆動する駆動機構を有し、パン、チルト方向の回転角度を駆動することによって、カメラ１１を所望の撮像方向となるように、カメラ１１の姿勢を制御することができる。

地図情報取得部１７は、車両が走行する走行路の地図情報（車両周囲の地図情報）を含む地図データベースより、走行路の周辺に存在する地上ランドマーク等の物標の位置情報、及び信号機の位置情報等を取得する。この地図情報を、地図情報Ｄ０２として、車両現在位置検出部１２と撮像方向設定部１３に出力する。

ランドマーク情報取得部１８は、例えば、車載されたセンシング用カメラ或いはレーザレーダ等であり、地上ランドマーク（路面標示（レーンマーク、停止線、文字）、縁石、信号機、標識等）を認識して、車両５１に対する相対位置の情報を取得する。取得した情報をランドマーク情報Ｄ０１として、車両現在位置検出部１２に出力する。

車両現在位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２を取得し、これらの情報に基づいて、車両５１の地図上の現在位置を検出し、これを車両現在位置情報Ｄ０５として出力する。前述したように、ランドマーク情報Ｄ０１には、地上ランドマークの車両５１に対する相対的な位置関係を示す情報が含まれている。従って、該ランドマーク情報Ｄ０１の位置情報と、地図情報Ｄ０２に含まれる地上ランドマークの位置情報を照合することにより、車両５１の地図上の現在位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置にはその座標及び姿勢が含まれ、車両５１の位置にはその座標及び姿勢が含まれる。車両現在位置検出部１２は、基準となる座標系における座標（ｘ，ｙ，ｚ）及び各座標軸の回転方向である姿勢(ヨー、ピッチ、ロール)を車両現在位置情報Ｄ０５として出力する。

撮像方向設定部１３は、車両現在位置情報Ｄ０５と地図情報Ｄ０２に基づいて、車両５１の走行路に存在する信号機がカメラ１１の撮像領域内に入るように、カメラ１１の撮像方向を姿勢制御する。具体的には、カメラ１１のパン、チルト方向の回転角度を目標とする撮像方向となるように駆動することによって、カメラ１１の姿勢を制御することができる。そして、この撮像方向で撮像された画像から、信号機が存在すると推定される検出領域を設定し、検出領域情報Ｄ０６として出力する。即ち、カメラ１１の姿勢が決定され、撮像する領域が設定されれば、カメラ１１で撮像される画像上で信号機が存在するであろう位置を特定することができるので、この位置を含む領域を検出領域として設定することができる。この検出領域情報Ｄ０６は、信号機認識部１４に出力される。この際、検出領域は、信号機が車両挙動や車両現在位置情報に誤差が生じた場合でも各信号機が検出領域内からフレームアウトしない大きさに設定する。撮像方向設定部１３は、車両５１の位置と、信号機位置と、信号機位置の変化量に基づいて、カメラ１１の撮像方向を決定する機能を備えている。撮像方向設定部１３の詳細については、図３を参照して後述する。

信号機認識部１４は、カメラ１１で撮像された画像データＤ０７から、上述した検出領域情報Ｄ０６に基づいて信号機を認識する。具体的には、カメラ１１より出力される画像データＤ０７、及び撮像方向設定部１３で設定された検出領域情報Ｄ０６に基づき、検出領域について信号機を認識するための画像処理を実施する。画像処理の方法としては、例えば、信号機が有する信号灯を、商用電源の交流周期に同期した点滅光を用いて検出する方法、或いは、赤、緑、黄の色相及び丸形形状等の特徴の類似判定をする方法等を用いて検出することができる。その他、信号機を検出するための既知の画像処理を適用することができる。信号機の認識処理は、カメラ１１で撮像された画像データＤ０７の全体ではなく、その一部分として設定した検出領域に対して実施することにより、信号機検出のための情報処理の負荷を軽減して、迅速に信号機を検出することができる。そして、信号機認識部１４は、信号機の認識結果を信号機情報Ｄ０４として出力する。なお、信号機の認識処理は上記の方法に限定されず、その他の方法を採用することも可能である。

図３は、撮像方向設定部１３の詳細な構成を示すブロック図である。図３に示すように、撮像方向設定部１３は、信号機位置推定部２１、位置変化量算出部２２、撮像姿勢設定部２３、カメラ姿勢制御部２４、及び検出領域算出部２５を備えている。

信号機位置推定部２１は、地図情報Ｄ０２と車両現在位置情報Ｄ０５を入力とし、検出位置情報Ｄ０８を出力する。地図情報Ｄ０２には、各信号機の座標が含まれているので、信号機位置推定部２１は、各信号機の座標と車両５１の座標、及びカメラ１１の姿勢に基づいて、車両５１に対する信号機の相対座標を求めることができる。従って、カメラ１１が周囲を撮像する際の姿勢が決定されれば、撮像した画像上での信号機が撮像されるであろう画像上の位置を特定することができる。例えば、図５に示すように画像Ｒ１内において、信号機の推定位置（ｘ２，ｙ２）を設定することができる。即ち、信号機位置推定部２１は、車両５１の周囲の地図情報に基づき、信号機の位置を推定する機能を備えている。

位置変化量算出部２２は、画像Ｒ１内での信号機位置の変化量を算出する。即ち、図６に示すように、画像Ｒ１内において、過去の検出位置座標（ｘ１，ｙ１）と現在の検出位置座標（ｘ３，ｙ３）を取得し、信号機の画像上の位置変化量を算出する。そして、演算した信号機の画像上の位置変化量を検出位置変化情報Ｄ０９として出力する。具体的には、ｘ座標の差分（ｘ３−ｘ１）＝ｄｘ、及びｙ座標の差分（ｙ３−ｙ１）＝ｄｙを演算し、変化量（ｄｘ，ｄｙ）を求める。この際、過去の検出時と現在の検出時では、カメラ１１の姿勢が同一とされていることが条件となる。また、過去の検出位置座標として、検出周期の１周期前のものを用いることができる。或いは、ノイズが乗らないようであれば、２周期以上前のものを用いても良い。即ち、位置変化量算出部２２は、信号機位置推定部２１で推定された信号機位置の時間経過に伴う変化量を算出する機能を備えている。

撮像姿勢設定部２３は、上記の変化量（ｄｘ，ｄｙ）を参照し、この変化量から画像Ｒ１内での信号機の移動方向を推定する。そして、推定した移動方向に基づき、画像Ｒ１内から信号機がフレームアウトしないように、カメラ１１の撮像方向を決定する。具体的には、上記の変化量（ｄｘ，ｄｙ）から、画像Ｒ１内での信号機の変化方向を求め、この変化方向とは反対方向の側となる画像Ｒ１内の適所に信号機が位置するように、カメラ１１の撮像方向を決定する。即ち、撮像姿勢設定部２３は、車両５１の位置と、信号機位置推定部２１で推定された信号機位置と、信号機位置の変化量に基づいて、カメラ１１の撮像方向を決定する撮像方向設定部としての機能を備えている。

上述の図５に示したように、画像Ｒ１内の右側の符号ｑ１の地点に信号機が存在し、更に、図６に示したように、この信号機の移動方向が右上方向である場合、即ち、ｄｘが正の値（ｄｘ＞０）、ｄｙが負の値（ｄｙ＜０）である場合には、画像Ｒ１内での信号機は、右上方向に移動するものと推定される。従って、図７に示すように、画像Ｒ１内の左下の符号ｑ２の位置に信号機が位置するようにカメラ１１の撮像方向を決定する。ここで、このような場合でも、車両が信号機の地点を通過するまでの間、車両挙動や車両現在位置情報に誤差が生じた場合を想定しても、信号機がフレームアウトしない位置に推定位置（ｘ２、ｙ２）が存在すると判断される場合には、カメラ１１の撮像方向を変更せずに現在の状態を維持する。

カメラ姿勢制御部２４は、撮像姿勢設定部２３より出力された撮像姿勢情報Ｄ１０に基づき、画像Ｒ１内から信号機がフレームアウトしないように、カメラ１１の撮像方向を姿勢制御する。具体的には、カメラ１１のパン、チルト方向の回転角度を目標とする撮像方向となるように駆動することによって、カメラ１１の姿勢を制御することができる。そして、姿勢制御により設定されたカメラ１１の姿勢情報Ｄ１１を出力する。また、撮像姿勢情報Ｄ１０が今回の演算時と１周期前の演算時で変化しない場合には、カメラ１１の撮像方向の変更を行わず現在の撮像方向を維持する。カメラ姿勢制御部２４は、カメラ１１による撮像方向が撮像姿勢設定部２３で設定された撮像方向となるように撮像方向を変更する撮像方向変更部としての機能を備えている。

検出領域算出部２５は、上記のカメラ１１の姿勢情報Ｄ１１と、地図情報Ｄ０２、及び車両現在位置情報Ｄ０５に基づいて、カメラ１１にて撮像された画像Ｒ１から、信号機を検出するための検出領域を設定する。地図情報Ｄ０２には、予め信号機の位置が地図上の座標として登録されている。地図上の信号機の位置の座標と、地図上の車両５１の現在位置の座標及び姿勢に基づき、車両５１に対する信号機の相対位置を求めることができる。そして、この相対位置と、カメラ１１の車両５１に対する姿勢情報Ｄ１１に基づいて、カメラ１１で撮像された画像Ｒ１の画像上の信号機の位置を求め、更に、この画像上の信号機の位置に基づいて、画像Ｒ１内に検出領域を設定する。検出領域は、車両挙動や車両現在位置情報に誤差が生じた場合でも信号機がフレームアウトしない大きさに定める。そして、設定した検出領域情報Ｄ０６を出力する。この検出領域情報Ｄ０６は、図２に示したように、信号機認識部１４に出力される。

なお、前述した車両現在位置検出部１２、撮像方向設定部１３、信号機認識部１４は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部（１２，１３，１４）を構成する。マイクロコントローラが備えるメモリの一部は、地図情報Ｄ０２を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両に関わる他の制御（例えば、自動運転制御）に用いるＥＣＵと兼用してもよい。

次に、上述した第１実施形態に係る信号機認識装置１００の作用を、図４に示すフローチャートを参照して説明する。初めに、ステップＳ１１において、図３に示した信号機位置推定部２１は、地図情報Ｄ０２と車両現在位置情報Ｄ０５に基づいて、カメラ１１で撮像された画像Ｒ１内にて、信号機位置を算出する。具体的には、図５に示す符号ｑ１の位置を算出する。この処理は、所定の演算周期で実行される。

ステップＳ１２において、位置変化量算出部２２は、画像Ｒ１内での信号機位置の変化量を算出する。図６に示すように、信号機の位置座標が（ｘ１，ｙ１）から（ｘ３，ｙ３）へ移動した場合には、この際の変化量（ｄｘ，ｄｙ）を算出する。

ステップＳ１３において撮像姿勢設定部２３は、画像Ｒ１内の信号機が、該画像Ｒ１からフレームアウトするか否かを推定する。この処理では、図６に示したように、信号機の推定位置座標（ｘ２，ｙ２）、及び変化量（ｄｘ，ｄｙ）に基づいて、信号機が画像Ｒ１からフレームアウトするか否かを推定する。

そして、フレームアウトすると推定される場合には（ステップＳ１３でＹＥＳ）、ステップＳ１４において、カメラ姿勢制御部２４は、画像Ｒ１から信号機がフレームアウトしないように、或いは余儀なくフレームアウトする場合でも、撮像方向の変更回数が最小限に納まるようにカメラ１１の撮像方向を設定して姿勢制御する。例えば、図６に示したように、画像Ｒ１内での信号機が座標（ｘ２，ｙ２）に存在すると推定され、且つ、この信号機が右上方に移動している場合には、このままでは信号機は画像Ｒ１からフレームアウトすると予想される。従って、図７に示すように画像Ｒ１内の左下に示す符号ｑ２の位置に信号機が位置するように、カメラ１１の撮像方向を設定する。ステップＳ１５において、カメラ姿勢制御部２４は、設定された撮像方向となるように、カメラ１１の姿勢を制御する。

一方、フレームアウトしないと推定される場合には（ステップＳ１３でＮＯ）、ステップＳ１６に処理を進める。その後、ステップＳ１６において、検出領域算出部２５は、カメラ１１で撮像された画像Ｒ１から、信号機を検出するための検出領域を設定する。その結果、車両５１が信号機の設置されている交差点に接近した際に、該信号機が画像Ｒ１からフレームアウトすることを回避できる。

次に、車両５１が信号機に接近する際の、画像Ｒ１内での信号機位置の変化について説明する。図８は、車両５１が直線の走行路Ｘ１を走行して信号機Ｐ１に接近している様子を模式的に示す説明図である。図８（ａ）は車両と信号機Ｐ１の位置関係を示し、（ｂ）はカメラ１１の撮像方向を変更する前の画像Ｒ１を示し、（ｃ）はカメラ１１の撮像方向を変更した後の画像Ｒ１を示している。

図８（ａ）に示す地点Ｚ１は、車両５１が信号機Ｐ１から十分に離れており、カメラ１１で撮像した画像から信号機Ｐ１を確認できる地点である。また、地点Ｚ２は車両５１が信号機Ｐ１に接近した地点である。地点Ｚ３は停止線が設定されている地点である。従って、地点Ｚ２〜Ｚ３の領域は、車両５１が制動を行う領域、即ち、停止或いは走行を判断し、停止すると判断した場合には、車両５１を減速させて車両５１が停止するように制動する領域である。このため、地点Ｚ２〜Ｚ３で示す領域は、信号機Ｐ１の点灯状態の変化を高精度に認識する必要がある領域である。

図８（ａ）に示すように、車両５１が地点Ｚ１を走行している場合には、図８（ｂ）の符号ｂ１に示すように、信号機Ｐ１はカメラ１１で撮像される画像Ｒ１内の右下方に存在している。

その後、車両５１が地点Ｚ２に達すると、符号ｂ２に示すように、信号機Ｐ１は画像Ｒ１内の右上方向に移動する。この際、車両５１の接近に伴い信号機Ｐ１は大きく表示されている。従って、このままでは信号機Ｐ１は画像Ｒ１からフレームアウトしてしまう。

本実施形態では、車両５１が走行路の地点Ｚ２に達した時点で、カメラ１１の撮像方向を変更する。具体的には、カメラ１１による撮像領域を右上方向に移動させる。こうすることにより図８（ｃ）の符号ｃ１に示すように、信号機Ｐ１が画像Ｒ１内の左下に移動することになる。従って、車両５１が更に進行して地点Ｚ３に達した時点では、符号ｃ２に示すように、信号機Ｐ１が画像Ｒ１からフレームアウトすることなく確実に表示されている。即ち、信号機Ｐ１の点灯状態を高精度に認識する必要がある地点Ｚ２〜Ｚ３の領域において、カメラ１１の撮像方向を変更することなく、画像Ｒ１内に信号機Ｐ１を留めることができる。そして、この画像Ｒ１内に検出領域を設定することにより、高精度な信号機認識が可能になる。

このようにして、第１実施形態に係る信号機認識装置１００では、カメラ１１で撮像される画像Ｒ１内に存在する信号機Ｐ１を検出する際には、画像Ｒ１内での信号機Ｐ１の移動方向に基づいて、該信号機Ｐ１がフレームアウトするか否かを推定する。そして、フレームアウトすると推定された場合には、事前に画像Ｒ１内の信号機Ｐ１の位置が、フレームアウトしない位置となるように、カメラ１１の撮像方向を変更する。

従って、車両５１が図８（ａ）に示す信号機Ｐ１に接近し、地点Ｚ２に達した後には、カメラ１１の撮像方向の姿勢制御をすることなく、信号機Ｐ１が画像Ｒ１からフレームアウトすることを回避できる。即ち、信号機Ｐ１の点灯状態を検出する際に最も重要となる地点Ｚ２〜Ｚ３の領域にて、カメラ１１の撮像方向の変更が不要になるか、或いは撮像方向の変更の回数が低減されるので、カメラ１１で撮像される画像にブレが生じることを回避できる。よって、確実に信号機Ｐ１の点灯状態を検出し、自動運転等に役立てることができる。

また、撮像方向設定部１３は、信号機の画像上の位置と信号機の画像上の将来の移動範囲から撮像方向の変更量を算出し、カメラ１１の撮像範囲と、撮像方向の変更量に基づいて撮像方向を設定するので、信号機Ｐ１が画像Ｒ１からフレームアウトすることを確実に回避することができる。

［第１実施形態の変形例の説明］
次に、第１実施形態に係る信号機認識装置１００の変形例について説明する。前述した第１実施形態では、車両の車両現在位置情報Ｄ０５、及び地図情報Ｄ０２（図３参照）に基づいて、画像Ｒ１内に存在する信号機Ｐ１の位置を推定し、この信号機Ｐ１の移動方向に基づいてカメラ１１の撮像方向の姿勢制御をする構成とした。

これに対して、変形例に係る信号機認識装置では、図３に示した信号機位置推定部２１が、画像Ｒ１内の画像を実際に画像処理することにより、信号機Ｐ１の位置を認識する。そして、位置変化量算出部２２は、過去に認識した信号機Ｐ１の位置（ｘ１，ｙ１）と、現在認識した信号機Ｐ１の位置（ｘ２，ｙ２）を画像処理により検出し、検出した位置情報から、検出位置変化情報Ｄ０９を求める。

このように、変形例に係る信号機認識装置では、画像Ｒ１内の画像内に存在する信号機Ｐ１を画像処理により認識し、この信号機Ｐ１の移動方向に基づいてカメラ１１の撮像方向の姿勢制御をするので、より高精度なカメラ１１の撮像方向の姿勢制御が可能となる。

［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。第２実施形態に係る信号機認識装置の全体構成は、前述した図１と同一であり、撮像方向設定部１３の構成が相違する。以下、図９に示すブロック図を参照して、第２実施形態に係る撮像方向設定部１３の構成について説明する。

図９に示すように、撮像方向設定部１３は、走行経路決定部２６と、信号機位置推定部２１と、撮像姿勢設定部２３と、カメラ姿勢制御部２４、及び、検出領域算出部２５を備えている。図３に示した「位置変化量算出部２２」の代わりに、「走行経路決定部２６」が設けられている点で、前述した第１実施形態と相違する。図３と同一の構成要素については、同一符号を付して構成説明を省略する。

走行経路決定部２６には、地図情報Ｄ０２、及び車両現在位置情報Ｄ０５が入力され、これらの情報を用いて、車両５１が走行する経路を求める。例えば、地図情報Ｄ０２に基づいて、車両５１が現在走行している走行路を検出し、更に、車両現在位置情報Ｄ０５から車両５１がこの走行路上のどの位置を走行しているかを検出する。そして、この検出結果から車両５１が今後走行する経路を推定し、走行経路情報Ｄ１２として出力する。例えば、車両５１がカーブ路の手前を走行しており、その後、このカーブ路に進入すると推定される場合には（後述する図１１（ａ）の車両５１参照）、このカーブ路のカーブ方向（左または右方向）、及び曲率半径の情報を、走行経路情報Ｄ１２として出力する。

撮像姿勢設定部２３は、走行経路情報Ｄ１２、及び信号機位置推定部２１より出力される検出位置情報Ｄ０８に基づいて、カメラ１１の撮像方向を決定する。具体的には、撮像姿勢設定部２３は、車両５１の走行状況に応じてカメラ１１が信号機Ｐ１を撮像する際の撮像方向の変化を予測し、撮像方向に変化が生じた場合でも信号機Ｐ１が画像Ｒ１からフレームアウトしないように、カメラ１１の撮像方向を決定する。

次に、第２実施形態に係る信号機認識装置の作用を、図１０に示すフローチャートを参照して説明する。初めに、ステップＳ３１において、図９に示した信号機位置推定部２１は、地図情報Ｄ０２と車両現在位置情報Ｄ０５に基づいて、カメラ１１で撮像された画像Ｒ１内で、信号機位置を算出する。この処理は、所定の演算周期で実行される。

ステップＳ３２において、走行経路決定部２６は、車両５１が将来走行すると推定される経路を地図情報Ｄ０２から取得し、更に車両５１の車両現在位置情報Ｄ０５に基づいて、画像Ｒ１内での信号機の動きを予測する。

ステップＳ３３において撮像姿勢設定部２３は、画像Ｒ１内の信号機が、該画像Ｒ１からフレームアウトするか否かを推定する。この処理では、車両５１の走行経路の状況に基づいて、該車両５１が信号機の設置されている交差点に接近した場合の、車両５１の走行方向等の情報から、信号機が画像からフレームアウトするか否かを推定する。

そして、フレームアウトすると推定される場合には（ステップＳ３３でＹＥＳ）、ステップＳ３４において、カメラ姿勢制御部２４は、画像Ｒ１から信号機がフレームアウトしないように、或いは余儀なくフレームアウトする場合でも、撮像方向の変更回数が最小限に納まるようにカメラ１１の撮像方向を設定して姿勢制御する。カメラ１１の撮像方向の姿勢制御については、図１１〜図１３を参照して後述する。ステップＳ３５において、カメラ姿勢制御部２４は、設定された撮像方向となるように、カメラ１１の撮像方向の姿勢制御をする。その後、ステップＳ３６に処理を進める。

一方、フレームアウトしないと推定される場合には（ステップＳ３３でＮＯ）、ステップＳ３６に処理を進める。ステップＳ３６において、検出領域算出部２５は、カメラ１１で撮像された画像Ｒ１から、信号機を検出するための検出領域を設定する。このような設定により、車両５１が信号機の設置された交差点に接近した際に、該信号機が画像Ｒ１内からフレームアウトすることを回避できる。

次に、前述したステップＳ３４の処理の詳細について、図１１〜図１３を参照して説明する。例えば、図１１（ａ）に示すように、車両５１が右方向にカーブするカーブ路Ｘ２を走行して、信号機Ｐ１が設置された交差点に向かう場合を例に挙げて説明する。図１１（ａ）に示すように、車両５１は、地点Ｚ１，Ｚ２，Ｚ３，Ｚ４に向けて進行する。

いま、図１１（ａ）に示す地点Ｚ１において、図１１（ｂ）の符号ｂ１に示すように、画像Ｒ１の左下方に信号機Ｐ１が存在しているものとする。この拡大図を図１２に示す。そして、車両５１がカーブ路Ｘ２を走行することにより信号機Ｐ１は、図１２に示す画像Ｒ１に対して曲線Ｌ１のように移動することになる。なお、図１２に示すＺ１〜Ｚ４は、図１１（ａ）に示す地点Ｚ１〜Ｚ４に対応している。従って、カメラ１１の撮像方向を変化させて画像Ｒ１を移動させなければ、信号機Ｐ１は画像Ｒ１からフレームアウトしてしまう。

画像Ｒ１内で、信号機Ｐ１が曲線Ｌ１に示す移動軌跡を辿って移動することは、地図情報Ｄ０２、及び車両の車両現在位置情報Ｄ０５から予め取得できる情報である。そこで、カメラ姿勢制御部２４は、信号機Ｐ１が図１２に示す曲線Ｌ１のように変化することを推定し、曲線Ｌ１のような変化が生じた場合でも信号機Ｐ１が画像Ｒ１からフレームアウトしないように、カメラ１１の撮像方向の姿勢制御をする。

具体的には、車両５１が図１１（ａ）に示す地点Ｚ１に達した時点で、図１１（ｂ）の符号ｂ１に示すように、信号機が画像Ｒ１の左下方に存在する場合には、図１１（ｃ）の符号ｃ１に示すように、信号機が画像Ｒ１の中央のやや左に位置するようにカメラ１１の撮像方向の姿勢制御をする。

すると、車両５１が地点Ｚ２に達した際に、符号ｃ２に示すように信号機Ｐ１が画像Ｒ１の左端部に位置する。更に、車両５１が地点Ｚ３，Ｚ４に達すると、信号機Ｐ１は符号ｃ３，ｃ４に示すように信号機Ｐ１が画像Ｒ１内に位置する。つまり、車両５１が地点Ｚ１に達した時点で、車両５１の将来の走行経路、及び車両５１の車両現在位置情報Ｄ０５に基づき、画像Ｒ１内での信号機の動きを予測し、この予測に基づいて予めカメラ１１の撮像方向の姿勢制御をしておくことにより、地点Ｚ１を通過した後には、カメラ１１の撮像方向の姿勢制御をすることなく、画像Ｒ１内に信号機Ｐ１を捉えることができる。

次に、図１１に示したカメラ１１の撮像方向の姿勢制御と対比するために、画像Ｒ１内での信号機Ｐ１の移動方向のみに基づいてカメラ１１の撮像方向を変更する場合、即ち、車両５１の走行経路を推定せずにカメラ１１の撮像方向を変更する場合について、図１３を参照して説明する。図１３（ａ）は、車両５１の位置と該車両５１の走行経路であるカーブ路Ｘ２を示しており、図１１（ａ）と同一の図である。そして、図１３（ｂ）の符号ｂ１に示すように、信号機Ｐ１が画像Ｒ１内の左下方に存在し、且つこの信号機Ｐ１が左方向に移動する場合には、図１３（ｃ）の符号ｃ１に示すように、画像Ｒ１の右側に信号機Ｐ１が位置するように、カメラ１１の撮像方向を変更する。

その後、車両５１が地点Ｚ２に達すると、今度は符号ｃ２に示すように、信号機Ｐ１が右上方向に移動することになる。従って、車両５１が地点Ｚ３に達すると、符号ｃ３に示すように、画像Ｒ１内から信号機Ｐ１がフレームアウトする可能性が高まる。従って、車両５１が地点Ｚ３に達した時点で図１３（ｄ）の符号ｄ１に示すように、信号機Ｐ１が画像Ｒ１の左側に位置するようにカメラ１１の撮像方向を変更する。そして、車両５１が地点Ｚ４に達した時点では、図１３（ｄ）の符号ｄ２に示すように、信号機Ｐ１が画像Ｒ１のほぼ中央に位置することになる。

このように、図１３に示した例では、信号機Ｐ１が画像Ｒ１内からフレームアウトすることを回避することができるものの、車両５１が地点Ｚ１から地点Ｚ４に達するまでの間に２回の撮像方向の変更を行っている。その結果、カメラ１１の撮像方向の姿勢制御の時間が増え、信号機Ｐ１の点灯状態の検出精度が低下する可能性がある。

これに対して、第２実施形態に係る信号機認識装置では、車両５１の走行経路であるカーブ路Ｘ２に基づいてカメラ１１の撮像方向を姿勢制御するので、図１１に示すように、信号機Ｐ１から十分に離れた地点である地点Ｚ１に達した時点でカメラ１１の撮像方向を変更すると、その後、信号機Ｐ１が画像Ｒ１からフレームアウトすることがなくなる。よって、車両５１が信号機Ｐ１に接近した後においてのカメラ１１の撮像方向の変更がなくなる。

このようにして、第２実施形態に係る信号機認識装置１００では、撮像方向設定部１３が走行経路決定部２６を備えており、該走行経路決定部２６により、車両５１の走行経路を予め推定することにより、画像Ｒ１内での信号機Ｐ１の移動範囲を予測する。即ち、信号機の画像上の将来の移動範囲を予測する。そして、この移動範囲に基づいて、信号機がフレームアウトしないように、カメラ１１の撮像方向を変更する。

従って、車両５１がカーブ路を走行する場合等で、画像Ｒ１内で信号機Ｐ１が複雑に移動する場合であっても、必要最小限の撮像方向の変更により信号機Ｐ１のフレームアウトを回避できる。その結果、信号機Ｐ１に接近する地点Ｚ２〜Ｚ４でのカメラ１１の撮像方向の変更が不要となるので、信号機Ｐ１の点灯状態の変化を確実に検出して、交差点で停止するか、走行するかを確実に判断することが可能となる。

［第３実施形態の説明］
次に、本発明の第３実施形態について説明する。上述した第１実施形態、及び第２実施形態では、信号機Ｐ１が存在する交差点から十分遠い地点である地点Ｚ１にてカメラ１１の撮像方向を変更し、その後、カメラ１１の撮像方向の変更を不要とすることについて示した。

第３実施形態では、車両５１が自動運転されているものとし、信号機Ｐ１の手前に、カメラの撮像方向の変更を制限する領域（以下「変更制限領域」という）を設定する。そして、この変更制限領域内にてカメラ１１の撮像方向を変更することなく、信号機Ｐ１が画像Ｒ１内からフレームアウトしないように制御する。以下、図１４、図１５を参照して詳細に説明する。なお、装置構成は、第１実施形態で示した図１〜図３と同様であるので、説明を省略する。

図１４（ａ）は、信号機Ｐ１の手前に設定した変更制限領域Ｑ１を示す説明図である。自動運転されている車両５１が信号機Ｐ１に接近する場合には、この信号機Ｐ１の点灯状態（赤色、緑色の点灯状態等）を監視し、この点灯状態に応じて、車両５１を停止させるか、或いはそのまま走行を継続するかを判断する。この判断が必要な領域を上記の変更制限領域Ｑ１として設定する。即ち、カメラ１１の撮像方向が変更されると、点灯状態の検出精度が低下するので、この判断が必要な領域では信号機Ｐ１の点灯状態を高精度に検出できるように変更制限領域Ｑ１として設定する。ここで、変更制限領域Ｑ１は、信号機Ｐ１に対して設けられる停止位置、車両５１の走行速度、車両現在位置情報Ｄ０５、地図情報Ｄ０２に基づいて設定することができる。

例えば、図１４（ａ）に示すように、変更制限領域Ｑ１に達しない地点である地点Ｚ１では、車両５１から信号機Ｐ１まで十分な距離があるので、カメラ１１の撮像方向を変更しても信号機Ｐ１の点灯状態検出に影響は無い。更に、変更制限領域Ｑ１を通り越した地点Ｚ２では、車両５１が停止するか、或いは走行を継続するかの判断が既に終了しているので、カメラ１１の撮像方向の変更は車両５１の自動運転の走行制御に大きな影響を与えない。

従って、第３実施形態では、変更制限領域Ｑ１を設定し、この変更制限領域Ｑ１以外の地点でカメラ１１の撮像方向を変更するようにカメラ１１の姿勢を制御する。

具体的には、図１４（ｂ）の符号ｂ１に示すように、地点Ｚ１では画像Ｒ１に存在する信号機Ｐ１は、中央のやや右側に存在するので、この時点では信号機Ｐ１はフレームアウトしないと判断される。しかし、車両５１が変更制限領域Ｑ１の直前である地点Ｚ１に達しているから、この時点でカメラ１１の撮像方向を変更する。その結果、図１４（ｃ）の符号ｃ１に示すように、信号機Ｐ１は画像Ｒ１内の左下方に位置するように制御される。その後、車両５１が変更制限領域Ｑ１内を通過して地点Ｚ２に達するまでの間に、図１４（ｃ）の符号ｃ２、ｃ３に示すように、信号機Ｐ１が画像Ｒ１内からフレームアウトすることなく捉えることができる。

これに対して、変更制限領域Ｑ１を設定しない場合には、図１５に示すように、変更制限領域Ｑ１内にてカメラ１１の撮像方向が変更されることになる。即ち、図１５（ａ）で車両５１が地点Ｚ１に達した時点では、図１５（ｂ）の符号ｂ１に示すように、信号機Ｐ１は画像Ｒ１の中央やや右側に存在するので、該信号機Ｐ１は画像Ｒ１内からフレームアウトすると判断されない。そして、符号ｂ２に示すように、信号機Ｐ１が画像Ｒ１の右端部に位置した時点（図１５（ａ）で車両５１が変更制限領域Ｑ１内の位置）で、フレームアウトすると判断されるので、この時点でカメラ１１の撮像方向が変更されることになる。

その結果、図１５（ｃ）の符号ｃ１に示すように、信号機Ｐ１が画像Ｒ１の左下方に来るように制御される。更に、車両５１が走行すると、地点Ｚ２に達した時点で図１５（ｃ）の符号ｃ２に示すように信号機Ｐ１が画像Ｒ１内の中央やや右側に位置する。この場合、信号機Ｐ１の点灯状態の認識結果を必要とする変更制限領域Ｑ１内にてカメラ１１の撮像方向が変更されることになる。

従って、車両５１が信号機Ｐ１の点灯状態に応じて停止するか、或いは走行を継続するかの判断が必要とされる領域内でカメラ１１の撮像方向が変更され、この撮像方向の変更により信号機Ｐ１の検出精度が低下する可能性がある。

第３実施形態に係る信号機認識装置１００では、図１４に示したように信号機Ｐ１の手前に変更制限領域Ｑ１を設定し、該変更制限領域Ｑ１内でのカメラ１１の撮像方向の変更を禁止しているので、画像Ｒ１内から信号機Ｐ１がフレームアウトすることを防止し、且つ、信号機Ｐ１の点灯状態を高精度に検出することができる。その結果、車両５１を停止させるか、或いは走行させるかを適切に判断することができる。

また、変更制限領域Ｑ１は、車速と減速Ｇと停止線までの距離に応じて変化する。この変化に応じて変更制限領域Ｑ１を設定することにより、信号機Ｐ１の認識結果が必要なタイミングと、カメラ１１の撮像方向を変更するタイミングを確実にずらすことができる。

［第３実施形態の変形例の説明］
前述した第３実施形態では、信号機Ｐ１の手前にカメラ１１の撮像方向の変更を禁止する変更制限領域Ｑ１を設定し、車両５１がこの変更制限領域Ｑ１に達する前の時点でカメラ１１の撮像方向を変更することにより、画像Ｒ１内から信号機Ｐ１がフレームアウトすることを回避するように制御した。

信号機Ｐ１の点灯状態の検出は、所定の演算周期毎に実行されており、カメラ１１で撮像された画像のうち、例えば、演算周期の開始時点の画像のみ使われる場合がある。このような場合には、この演算周期内で、カメラ１１で撮像された画像を使用しない時間帯においては、カメラ１１の撮像方向を変更しても、信号機Ｐ１の点灯状態の検出に影響を与えない。

そこで、変形例に係る信号機認識装置では、車両５１が変更制限領域Ｑ１内を走行している際に、カメラ１１で撮像された画像を使用する時間帯（以下、「画像使用時間帯」という）と、カメラ１１で撮像された画像を使用しないカメラ１１の撮像方向を変更可能な時間帯（以下、「変更時間帯」という）に区分し、画像使用時間帯のみにおいて、撮像方向の変更を禁止するように変更禁止領域を設定する。

具体的には、図１６（ａ）に示すように、変更制限領域Ｑ１内に、画像使用時間帯に対応する領域Ｑａ、及び変更時間帯に対応する領域Ｑｂを設定する。これらの領域Ｑａ、Ｑｂは、車両５１の走行速度、及び信号機認識部１４における演算周期に基づいて設定することができる。そして、領域Ｑｂについては、カメラ１１の撮像方向の変更を許可する。

従って、例えば変更制限領域Ｑ１内における地点Ｚ２は領域Ｑｂ内であるので、カメラ１１の撮像方向を変更することが可能である。よって、図１６（ｂ）に示すように、車両５１が地点Ｚ１を走行している場合には、図１６（ｂ）の符号ｂ１に示すように、信号機Ｐ１はフレームアウトしないので、カメラ１１の撮像方向を変更しない。そして、車両５１が地点Ｚ２に達した時点で、符号ｂ２に示すように、画像Ｒ１から信号機Ｐ１がフレームアウトすると判断されるので、カメラ１１の撮像方向を変更する。その結果、図１６（ｃ）の符号ｃ１に示すように、画像Ｒ１内の左下に信号機Ｐ１が位置するようになり、その後、車両５１が地点Ｚ３に達した際においても図１６の符号ｃ２に示すように、画像Ｒ１から信号機Ｐ１はフレームアウトしない。

このようにして、第３実施形態の変形例に係る信号機認識装置１００では、信号機認識部１４の演算周期に基づいて、画像使用時間帯に対応する領域Ｑａと、変更時間帯に対応する領域Ｑｂを設定し、領域Ｑｂについてはカメラ１１の撮像方向の変更を許可している。従って、車両５１が変更制限領域Ｑ１内に進入した場合であっても、領域Ｑｂ内の走行時にてカメラ１１の撮像方向を変更することが可能になり、信号機Ｐ１が画像Ｒ１内からフレームアウトすることをより確実に回避することが可能となる。

［第４実施形態の説明］
次に、本発明の第４実施形態について説明する。なお、装置構成は、第１実施形態で示した図１〜図３と同様であるので、説明を省略する。

第４実施形態では、監視対象となる信号機が２つ存在する場合に、双方の信号機が画像からフレームアウトしないように、カメラ１１の撮像方向の姿勢制御をする。以下、図１７を参照して詳細に説明する。図１７（ａ）に示すように、車両５１の走行路Ｘ３に２つの信号機Ｐ１，Ｐ２が存在し双方が撮像可能である場合には、双方の信号機Ｐ１，Ｐ２が画像Ｒ１からフレームアウトしないようにカメラ１１の撮像方向の姿勢制御をする。

従って、車両５１が地点Ｚ１に達した際に、図１７（ｂ）の符号ｂ１に示すように２つの信号機Ｐ１，Ｐ２が存在する画像Ｒ１が得られる。その後、地点Ｚ２に達すると符号ｂ２に示すように、信号機Ｐ２が画像Ｒ１からフレームアウトすると判断される。この場合には、この地点Ｚ２にてカメラ１１の撮像方向を変更する。その結果、図１７（ｃ）の符号ｃ１に示すように、信号機Ｐ１，Ｐ２が画像Ｒ１内の左側に位置するようにカメラ１１の撮像方向を設定して姿勢制御する。即ち、２つの信号機Ｐ１，Ｐ２のうち左側の信号機Ｐ１が、画像Ｒ１の左側に位置するようにして、双方の信号機Ｐ１，Ｐ２がフレームアウトしないように制御する。

更に、車両５１が地点Ｚ３に達した際には、図１７（ｃ）の符号ｃ２に示すように、信号機Ｐ２が画像Ｒ１からフレームアウトすると判断される。この場合には、この地点Ｚ３にてカメラ１１の撮像方向を変更する。その結果、図１７（ｄ）の符号ｄ１に示すように、信号機Ｐ１，Ｐ２が画像Ｒ１内の左側に位置するようにカメラ１１の撮像方向を設定して姿勢制御する。

その後、車両５１が地点Ｚ４に達した際には、図１７（ｄ）の符号ｄ２に示すように、信号機Ｐ２が画像Ｒ１内からフレームアウトすると判断される。この場合には、この地点Ｚ４にてカメラ１１の撮像方向を変更する。その結果、図１７（ｅ）の符号ｅ１に示すように、信号機Ｐ１，Ｐ２が画像Ｒ１内の左側に位置するようにカメラ１１の撮像方向を設定して姿勢制御する。そして、車両５１が地点Ｚ５に達した時点では、双方の信号機Ｐ１，Ｐ２は画像Ｒ１内からフレームアウトされることなく捉えられることになる。

このようにして、第４実施形態に係る信号機認識装置１００では、２つの信号機Ｐ１，Ｐ２が存在する場合でも、各信号機Ｐ１，Ｐ２が画像Ｒ１からフレームアウトすることなく表示させ続けることが可能となる。ここで、図１７に示した例では、図１７（ａ）に示す地点Ｚ２，Ｚ３，Ｚ４の３か所にてカメラ１１の撮像方向の姿勢制御をしている。このようなカメラ１１の撮像方向の姿勢制御は、前述した図１６に示したように、信号認識処理のカメラ１１で撮像された画像を使用しない期間となる領域Ｑｂにて実行することにより、信号機状態の検出精度に影響を与えることなくカメラ１１の撮像方向を変更することが可能となる。

なお、上記した第４実施形態では、２つの信号機Ｐ１，Ｐ２が存在する場合に、これらの各信号機Ｐ１，Ｐ２が画像Ｒ１からフレームアウトしないようにカメラ１１の撮像方向を設定して姿勢制御する例について説明したが、本発明は２つの信号機に限定されず、３以上の信号機が存在する場合にも同様に適用することが可能である。

［第５実施形態の説明］
次に、本発明の第５実施形態について説明する。なお、装置構成は第１実施形態で示した図１〜図３と同様であるので、説明を省略する。

第５実施形態では、監視対象となる信号機が２つ存在し、且つ、双方の信号機が同期して作動する場合には、このうち画像Ｒ１内での移動量が小さい方を優先的にフレームアウトしないようにカメラ１１の撮像方向を設定して姿勢制御する。以下、図１８を参照して詳細に説明する。図１８（ａ）に示すように、車両５１の走行路に２つの信号機Ｐ１，Ｐ２が存在する場合には、地点Ｚ１においてカメラ１１で撮像される画像Ｒ１は、図１８（ｂ）の符号ｂ１に示すように、画像Ｒ１の中央部に各信号機Ｐ１，Ｐ２が捉えられることになる。そして、各信号機Ｐ１，Ｐ２が同期して作動する場合、即ち、点灯色の変化が同一である場合には、各信号機Ｐ１，Ｐ２のうち画像Ｒ１内での移動量が小さいと推定される信号機Ｐ１が、画像Ｒ１からフレームアウトしないようにカメラ１１の撮像方向の姿勢制御をする。

即ち、車両５１が地点Ｚ２に達した時点で図１８（ｂ）の符号ｂ２に示すように、信号機Ｐ２がフレームアウトすると判断された場合であっても、カメラ１１の撮像方向の姿勢制御をしない。そして、車両５１が地点Ｚ３に達した時点で符号ｂ３に示すように、信号機Ｐ１がフレームアウトすると判断された場合に、カメラ１１の撮像方向の姿勢制御をして、図１８（ｃ）の符号ｃ１に示すように信号機Ｐ１が画像Ｒ１の左側に位置するようにする。その後、車両５１が地点Ｚ４，Ｚ５に達した際には、それぞれ符号ｃ２，ｃ３に示すように、信号機Ｐ１は画像Ｒ１からフレームアウトすることなく捉えられることになる。その結果、信号機Ｐ１の点灯状態を確実に認識することが可能となる。勿論、信号機Ｐ２は、信号機Ｐ１と同期して作動するので、点灯状態を検出できなくても問題は生じない。

また、地点Ｚ３におけるカメラ１１の撮像方向の姿勢制御は、前述した図１６に示したように、信号認識処理のカメラ１１で撮像された画像を使用しない期間となる領域Ｑｂにて実行することにより、信号機状態の検出精度に影響を与えることなくカメラ１１の撮像方向を変更することが可能となる。

このようにして、第５実施形態に係る信号機認識装置では、カメラ１１で撮像される画像Ｒ１内に、互いに同期して作動する２つの信号機Ｐ１，Ｐ２が存在する場合には、このうち一方の信号機（上記の例では、信号機Ｐ１）が画像Ｒ１からフレームアウトしないように制御されるので、カメラ１１の撮像方向の変更の回数を低減させ、且つ、確実に信号機の点灯状態を検出することが可能となる。

以上、本発明の信号機認識装置、及び信号機認識方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

１１ カメラ（撮像部）
１２ 車両現在位置検出部
１３ 撮像方向設定部
１４ 信号機認識部
２１ 信号機位置推定部
２２ 位置変化量算出部
２３ 撮像姿勢設定部
２４ カメラ姿勢制御部
２５ 検出領域算出部
２６ 走行経路決定部
５１ 車両
１００ 信号機認識装置
Ｄ０１ ランドマーク情報
Ｄ０２ 地図情報
Ｄ０３ カメラ情報
Ｄ０４ 信号機情報
Ｄ０５ 車両現在位置情報
Ｄ０６ 検出領域情報
Ｄ０７ 画像データ
Ｄ０８ 検出位置情報
Ｄ０９ 検出位置変化情報
Ｄ１０ 撮像姿勢情報
Ｄ１１ 姿勢情報
Ｄ１２ 走行経路情報
Ｐ１，Ｐ２ 信号機
Ｑ１ 変更制限領域
Ｒ１ 画像
Ｘ１ 走行路
Ｘ２ カーブ路
Ｘ３ 走行路

Claims (9)

1. 車両に搭載され、前記車両周囲の画像を撮像する撮像部と、
   前記車両周囲の地図情報を取得する地図情報取得部と、
   前記車両の地図上の現在位置を検出する車両現在位置検出部と、
   前記車両現在位置と前記地図情報に基づき、信号機の画像上の位置を推定する信号機位置推定部と、
   前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を設定する撮像方向設定部と、
   前記撮像部の撮像方向を、前記撮像方向設定部で設定された撮像方向に変更する撮像方向変更部と、
   前記撮像部が前記撮像方向で撮像した画像から信号機を認識する信号機認識部と、
   を備えたことを特徴とする信号機認識装置。
2. 前記撮像方向設定部は、前記信号機の画像上の位置と、前記信号機の画像上の将来の移動範囲に基づいて前記撮像部の撮像方向を設定すること
   を特徴とする請求項１に記載の信号機認識装置。
3. 撮像方向設定部は、前記信号機の画像上の位置と前記信号機の画像上の将来の移動範囲から撮像方向の変更量を算出し、前記撮像部の撮像範囲と前記変更量に基づいて撮像方向を設定すること
   を特徴とする請求項２に記載の信号機認識装置。
4. 前記撮像方向設定部は、前記車両の将来の走行経路に基づいて前記信号機の画像上の将来の移動範囲を予測すること
   を特徴とする請求項２または３に記載の信号機認識装置。
5. 前記撮像方向設定部は、複数の信号機が前記撮像部にて撮像可能である場合には、前記複数の信号機が画像上に含まれるように、前記撮像部の撮像方向を設定すること
   を特徴とする請求項１〜４のいずれか１項に記載の信号機認識装置。
6. 前記撮像方向設定部は、同期して作動する複数の信号機が前記撮像部にて撮像可能である場合には、前記同期して作動する複数の信号機のうち、画像上の移動量が最小となる信号機の移動方向に基づいて前記撮像部の撮像方向を設定すること
   を特徴とする請求項１〜５のいずれか１項に記載の信号機認識装置。
7. 前記撮像方向設定部は、前記信号機に対して設けられる停止位置から前記車両までの距離、及び前記車両の走行速度に基づいて、前記撮像部の撮像方向の変更を制限する変更制限領域を設定し、該変更制限領域内に進入する前に、前記撮像部の撮像方向を変更すること
   を特徴とする請求項１〜６のいずれか１項に記載の信号機認識装置。
8. 前記撮像方向設定部は、前記信号機に対して設けられる停止位置から車両までの距離、車両の走行速度、及び、前記信号機認識部による信号機認識の演算周期に基づいて、前記撮像部の撮像方向の変更時間帯を設定し、
   前記撮像方向変更部は、前記変更時間帯に前記撮像部の撮像方向を変更すること
   を特徴とする請求項１〜６のいずれか１項に記載の信号機認識装置。
9. 撮像部により車両周囲の画像を撮像するステップと、
   車両周囲の地図情報を取得するステップと、
   車両の地図上の現在位置を検出するステップと、
   車両現在位置と前記地図情報に基づき、前記信号機の画像上の位置を推定するステップと、
   前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を設定するステップと、
   前記撮像部の撮像方向を、設定された撮像方向に変更するステップと、
   前記撮像部が前記撮像方向で撮像した画像から信号機を認識するステップと、
   を備えたことを特徴とする信号機認識方法。

Images