JP6256611B2 - 信号機検出装置及び信号機検出方法 - Google Patents

Description

本発明は、信号機検出装置及び信号機検出方法に関する。

従来、車両前方に存在する信号機を検出するための手法として、車両前方に複数の信号機が存在する場合、画像データ上の大きさが最大の信号機を検出する手法が知られている（例えば、特許文献１参照）。

特開２００７−２５７２９９号公報

しかしながら、特許文献１に記載の手法では、最大の信号機が先行車等の物体により遮蔽された場合には、その遮蔽が一時的なものであったとしても、次に大きい信号機に検出対象が切り替わってしまう。そのため、検出対象となる信号機を適切に選択することが困難となる場合があった。

本発明は、上記課題に鑑みて成されたものであり、その目的は、信号機の遮蔽継続状態に基づいて検出対象となる信号機を適切に選択することができる信号機検出装置及び信号機検出方法を提供することである。

本発明の一態様に係る信号機検出装置及び信号機検出方法は、車両に搭載された撮像部により周囲の画像を撮像し、車両の位置及び地図情報から、車両周囲の信号機の位置を推定し、信号機が存在すると推定される信号機探索領域を設定し、画像上で信号機探索領域を探索して信号機を検出し、信号機探索領域で信号機が継続して遮蔽される遮蔽継続状態になるかを推定し、遮蔽継続状態になると推定された場合には、遮蔽継続状態に基づいて信号機探索領域を選択することを特徴とする。

図１は、本発明の実施の形態に係る信号機検出装置の構成の一例を示すブロック図である。 図２は、本発明の実施の形態に係る位置推定システムの構成の一例を示すブロック図である。 図３は、本発明の実施の形態に係る遮蔽推定システムの構成の一例を示すブロック図である。 図４は、本発明の実施の形態に係る信号機検出システムの構成の一例を示すブロック図である。 図５は、本発明の実施の形態に係る車両制御システムの構成の一例を示すブロック図である。 図６は、本発明の実施の形態に係る信号機検出方法の一例を示すフローチャートである。 図７は、本発明の実施の形態に係る信号機位置推定処理の一例を示すフローチャートである。 図８は、本発明の実施の形態に係る遮蔽推定処理の一例を示すフローチャートである。 図９は、本発明の実施の形態に係る信号機検出処理の一例を示すフローチャートである。 図１０は、本発明の実施の形態に係る車両制御処理の一例を示すフローチャートである。 図１１（ａ）及び図１１（ｂ）は、本発明の第１の実施例に係る前方画像の時間変化の一例を示す概略図である。 図１２（ａ）は、本発明の第１の実施例に係る停車位置までの距離の時間変化を表すタイミングチャートである。図１２（ｂ）は、本発明の第１の実施例に係る車速の時間変化を表すタイミングチャートである。図１２（ｃ）は、本発明の第１の実施例に係る物体位置及び信号機探索領域位置の時間変化を表すタイミングチャートである。図１２（ｄ）は、本発明の第１の実施例に係る物体位置に対する信号機探索領域の相対位置の時間変化を表すタイミングチャートである。 図１３（ａ）及び図１３（ｂ）は、本発明の第２の実施例に係る前方画像の時間変化の一例を示す概略図である。 図１４（ａ）は、本発明の第２の実施例に係る停車位置までの距離の時間変化を表すタイミングチャートである。図１４（ｂ）は、本発明の第２の実施例に係る車速の時間変化を表すタイミングチャートである。図１４（ｃ）は、本発明の第２の実施例に係る物体位置及び信号機探索領域位置の時間変化を表すタイミングチャートである。図１４（ｄ）は、本発明の第２の実施例に係る物体位置に対する信号機探索領域の相対位置の時間変化を表すタイミングチャートである。 図１５（ａ）及び図１５（ｂ）は、本発明の第３の実施例に係る前方画像の時間変化の一例を示す概略図である。 図１６（ａ）は、本発明の第３の実施例に係る停車位置からの距離の時間変化を表すタイミングチャートである。図１６（ｂ）は、本発明の第３の実施例に係る車速の時間変化を表すタイミングチャートである。図１６（ｃ）は、本発明の第３の実施例に係る物体位置及び信号機探索領域位置の時間変化を表すタイミングチャートである。図１６（ｄ）は、本発明の第３の実施例に係る物体位置に対する信号機探索領域の相対位置の時間変化を表すタイミングチャートである。 図１７（ａ）及び図１７（ｂ）は、本発明の第４の実施例に係る前方画像の時間変化の一例を示す概略図である。 図１８（ａ）は、本発明の第４の実施例に係る停車位置までの距離の時間変化を表すタイミングチャートである。図１８（ｂ）は、本発明の第４の実施例に係る車速の時間変化を表すタイミングチャートである。図１８（ｃ）は、本発明の第４の実施例に係る物体位置及び信号機探索領域位置の時間変化を表すタイミングチャートである。図１８（ｄ）は、本発明の第４の実施例に係る物体位置に対する信号機探索領域の相対位置の時間変化を表すタイミングチャートである。

図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

［信号機検出装置］
本発明の実施の形態に係る信号機検出装置１０は、自動運転可能な車両に適用しうる。本発明の実施の形態に係る信号機検出装置１０は、図１に示すように、位置推定システム１、遮蔽推定システム２、信号機検出システム３及び車両制御システム４を備える。

位置推定システム１、遮蔽推定システム２、信号機検出システム３及び車両制御システム４は、主に、中央処理装置（ＣＰＵ）、メモリ及び入出力部を備えるマイクロコントローラ等を用いて実現することができる。ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、複数の情報処理部１〜４を構成する。なお、マイクロコントローラは、車両の自動運転制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

位置推定システム１には、全地球測位システム（ＧＰＳ）や車輪の回転数から得られる自車両の位置を含む位置情報Ｄ１と、物体（遮蔽物）による信号機の遮蔽状態等を含む遮蔽情報Ｄ４とが入力される。信号機を遮蔽する物体としては、特に限定されず、例えば先行車や対向車、街路樹、看板、標識等が挙げられる。位置推定システム１は、自車両が接近中の交差点に存在する信号機の位置を推定する。位置推定システム１は、自車両の位置から接近中の交差点までの距離を含む道路情報Ｄ２と、信号機の推定位置に関する信号機領域情報Ｄ３を出力する。

遮蔽推定システム２には、位置推定システム１から出力される信号機領域情報Ｄ３と、自車両に搭載されたレーザ、ミリ波レーダ、ステレオカメラ等の各種センサから得られるセンサ情報Ｄ５と、自車両に搭載された撮像部等から得られる映像信号Ｄ６と、信号機検出システム３から出力される信号機検出結果Ｄ７とが入力される。センサ情報Ｄ５は、自車両周辺の物体までの距離を含む。映像信号Ｄ６は、道路に引かれた白線、黄線等の規制情報を含む。遮蔽推定システム２は、接近中の交差点に存在する信号機の遮蔽状態を推定し、推定結果を遮蔽情報Ｄ４として出力する。

信号機検出システム３には、位置推定システム１から出力される信号機領域情報Ｄ３と、自車両に搭載された撮像部等から得られる映像信号Ｄ６とが入力される。信号機検出システム３は、周囲の画像から信号機を検出し、信号機検出結果Ｄ７を出力する。

車両制御システム４には、位置推定システム１から出力される道路情報Ｄ２と、遮蔽推定システム２から出力される遮蔽情報Ｄ４と、信号機検出システム３から出力される信号機検出結果Ｄ７と、自車両に搭載された各種センサ等から得られる車速を含む車両信号Ｄ８が入力される。車両制御システム４は、例えば先行車への追従、減速停止、加速といった交差点への接近方法（車両制御方法）を決定し、車両制御のための制御情報Ｄ９として出力する。

より具体的には、位置推定システム１は、図２に示すように、車両位置検出部１１、地図情報部（地図データベース）１２及び信号機位置推定部１３を備える。車両位置検出部１１は、ＧＰＳや車輪の回転数等から得られる自車両の位置を含む位置情報Ｄ１と、地図情報部１２に記憶された地図情報から得られる道路情報Ｄ２に基づいて、地図上の道路に対する自車両の相対位置及び姿勢を検出し、車両位置Ｄ１１として出力する。

地図情報部１２は、道路情報Ｄ２を含む地図情報をメモリに予め記憶している。地図情報部１２は、車両位置検出部１１により出力された車両位置Ｄ１１に基づいて、地図情報から、自車両が接近中の交差点に設置されている信号機の信号機座標Ｄ１２及び車両進行方向の道路情報Ｄ２を抽出する。

信号機位置推定部１３は、地図情報部１２から得られた信号機座標Ｄ１２に基づいて、自車両に対する信号機の相対位置を推定する。信号機位置推定部１３は更に、信号機の相対位置に基づいて、信号機が存在する可能性が高いと推定される領域を信号機探索領域として設定する。信号機探索領域は、車両位置Ｄ１１の検出精度等に応じて所定の範囲で適宜設定することができる。

信号機位置推定部１３は、接近中の交差点に複数の信号機がある場合には、複数の信号機のそれぞれについて信号機探索領域を設定する。更に、信号機位置推定部１３は、所定の優先順位にしたがって、複数の信号機探索領域のうちから、１つ又は複数の信号機探索領域を信号機の検出対象領域として選択して設定する。なお、所定の優先順位にしたがって、複数の信号機探索領域から信号機の検出対象領域を絞り込んで選択せず、複数の信号機探索領域すべてについて、一旦、信号機の検出を試みた後、信号機が検出できた信号機探索領域を信号機の検出対象領域として絞り込んで選択するようにしてもよい。

所定の優先順位としては、例えば、自車線側に位置する信号機よりも、対向車線側に位置する信号機の優先順位が高く設定される。自車線側に位置する信号機は、先行車や路肩の街路樹等により継続的に遮蔽される可能性が高い。一方、対向車線側に位置する信号機は、対向車により一時的に短い時間だけ遮蔽される可能性が高い。このため、対向車線側に位置する信号機を優先することで、信号機の検出確率を高めることができる。

また、所定の優先順位として、同じ車線側に複数の信号機がある場合、自車両から遠い信号機よりも、自車両から近い信号機の優先順位が高く設定される。自車両から近い信号機ほど、画像に大きく映り込むので、信号機を検出しやすくすることができる。

また、先行車追従制御中は、対向車線側に位置する信号機の信号機探索領域を優先的に信号機の検出対象領域に選択して設定する。先行車追従制御中は、先行車により自車線側の信号機が継続して遮蔽される。このため、対向車線側に位置する信号機の信号機探索領域を選択することにより、信号機の検出効率を高めることができる。所定の優先順位は、上述した以外にも適宜設定可能である。所定の優先順位は、メモリに予め記憶されていてもよい。

更に、信号機位置推定部１３は、遮蔽推定システム２から出力される遮蔽情報Ｄ４に基づいて信号機探索領域を選択する。例えば、現在設定されている信号機の信号機探索領域が、遮蔽されていないか又は遮蔽されているが一時的であり解消されると推定される場合には、信号機位置推定部１３は、現在設定されている信号機探索領域を維持する選択を行う。一方、現在設定されている信号機の信号機探索領域が、現在遮蔽されているか又は将来的に遮蔽されると推定される場合であって、且つそれが継続的な遮蔽であると推定される場合には、現在設定されている信号機探索領域から、他の信号機の信号機探索領域に信号機の検出対象領域を切り替える選択を行う。換言すると、現在設定されている信号機探索領域は、信号機の検出対象領域から外す選択を行い、他の信号機の信号機探索領域が、新たな信号機の検出対象領域として設定する選択を行う。信号機位置推定部１３は、信号機の検出対象領域として選択した信号機探索領域を含む信号機領域情報Ｄ３を出力する。なお、現在設定されている信号機探索領域が複数ある場合で、一部の信号機探索領域が、現在遮蔽されているか又は将来的に遮蔽されると推定される場合であって、且つそれが継続的な遮蔽であると推定される場合には、継続的な遮蔽が推定された信号機探索領域は、信号機の検出対象領域から外す選択を行い、その他の信号機探索領域は、信号機の検出対象領域として継続する選択を行うようにしてもよい。

図３に示すように、遮蔽推定システム２は、物体検出部２１及び遮蔽推定部２２を備える。物体検出部２１は、車両周囲に存在する物体までの距離を含むセンサ情報Ｄ５及び車両周囲の白線、黄線等の規制情報を含む映像信号Ｄ６に基づいて、車両周囲に存在する物体を検出する。検出される物体としては、例えば、先行車や対向車、街路樹、看板、標識等が想定される。物体検出部２１は更に、検出された物体のそれぞれについて、自車両に対する物体の相対位置、移動方向及び移動速度を計算し、物体位置Ｄ２１として出力する。

遮蔽推定部２２は、物体検出部２１から出力される物体位置Ｄ２１と、信号機位置推定部１３から出力される信号機領域情報Ｄ３とに基づいて、信号機探索領域及び物体の位置関係から、自車両からみたときに信号機探索領域が物体により現在遮蔽されているか否かを判定する。このとき、信号機探索領域が物体により完全に遮蔽された場合に遮蔽されていると判定してもよく、或いは、信号機探索領域が物体により部分的に遮蔽された場合でも遮蔽されていると判定してもよい。また、遮蔽推定部２２は、信号機検出システム３から出力される信号機検出結果Ｄ７が信号機を検出できなかったことを表す場合に、信号機探索領域が遮蔽されていると判定してもよい。

遮蔽推定部２２は更に、物体検出部２１から出力される物体位置Ｄ２１と、信号機位置推定部１３から出力される信号機領域情報Ｄ３とに基づいて、自車両、信号機探索領域及び物体の相対位置、移動方向及び移動速度から、信号機探索領域が物体により将来的に遮蔽されるか判定（推定）する。

信号機探索領域が現在遮蔽されている又は将来遮蔽されると判定された場合、遮蔽推定部２２は更に、継続的な遮蔽であるか、又は一時的な遮蔽であるかを判定する。継続的な遮蔽とは、例えば街路樹により自車線側の信号機が遮蔽されたままとなっている状況や、先行車があり車間距離が狭くなる度に自車線側の信号機が遮蔽される場合が想定される。一時的な遮蔽とは、例えば対向車線側の信号機が対向車により一時的に遮蔽されるが、自車両と対向車がすれ違うことで遮蔽が解消される場合が想定される。

継続的な遮蔽であるか、又は一時的な遮蔽であるかの判定方法の一例としては、遮蔽推定部２２は、自車両、物体及び信号機探索領域の相対位置、移動方向及び移動速度等から、信号機探索領域の遮蔽時間（換言すれば、遮蔽が解消するまでの時間）を計算する。遮蔽推定部２２は更に、計算した遮蔽時間が所定時間（閾値）以下であれば一時的な遮蔽と判定する。一方、遮蔽時間が所定時間（閾値）よりも長ければ、継続的な遮蔽と判定する。遮蔽時間と比較するための閾値は遮蔽推定部２２等により適宜設定可能である。閾値は、例えばその閾値以下であれば車両が減速して交差点の停止位置で停車可能な時間に設定される。この場合の閾値は、例えば、自車両の位置と、交差点の停止位置までの距離と、自車両の車速と、許容される減速度から自車両が減速制御を開始しなければならない時間を計算して設定することができる。なお、遮蔽推定部２２は、物体及び信号機探索領域が少なくとも同じ方向に移動している場合に、継続的な遮蔽と判定してもよい。

図４に示すように、信号機検出システム３は、撮像部３１及び信号機検出部３２を備える。撮像部３１は、例えばＣＣＤカメラやＣＭＯＳカメラ等のデジタルカメラであって、車両の周囲の風景を撮像し、周囲の画像を取得する。撮像部３１の画角は固定されていてもよく、映像信号Ｄ６等に基づいて垂直方向及び水平方向に適宜調整可能であってもよい。

信号機検出部３２は、撮像部３１により撮像された画像Ｄ３１と、信号機位置推定部１３から出力される信号機領域情報Ｄ３とを対応づけて、画像Ｄ３１上に信号機探索領域を設定する。信号機検出部３２は更に、画像Ｄ３１上の信号機探索領域を探索して信号機を検出する。信号機の検出方法としては、例えば商用電源の交流周期に基づく同期検波処理や、色相及び形状の類似判定処理、その他周知のアルゴリズムを採用可能である。信号機検出部３２は、信号機を検出できた場合には、信号機の灯火の色情報を含む信号機検出結果Ｄ７を出力する。信号機検出部３２は、信号機を検出できなかった場合には、信号機が検出できなかったことを含む信号機検出結果Ｄ７を出力する。

図５に示すように、車両制御システム４は、車両信号取得部４１、車間及び停止位置計算部４２並びに車両制御部４３を備える。車両信号取得部４１は、車両信号Ｄ８を取得し、車両信号Ｄ８から自車両の車速を含む車速情報Ｄ４１を抽出する。

車間及び停止位置計算部４２は、遮蔽推定部２２から出力される遮蔽情報Ｄ４にて先行車により遮蔽されていることが表される場合には、車速情報Ｄ４１等に基づいて、先行車と自車両との車間距離を算出する。なお、車間及び停止位置計算部４２は、先行車に限らず進路上の障害物となりうるものに対しては、衝突までの時間を計算する。

車間及び停止位置計算部４２は、地図情報部１２から出力される道路情報Ｄ２に基づいて、次の交差点に停止線等の停止すべき位置（停止位置）がある場合には、自車両の位置から停止位置までの距離を計算する。車間及び停止位置計算部４２による計算結果は、車間及び停止位置情報Ｄ４２として出力される。

車両制御部４３は、信号機検出部３２から出力される信号機検出結果Ｄ７と、車間及び停止位置計算部４２から出力される車間及び停止位置情報Ｄ４２とに基づいて、交差点へ接近する際の車両制御方法を選択し、制御情報Ｄ９として出力する。

例えば、車両制御部４３は、遮蔽情報Ｄ４が先行車により信号機が継続的に遮蔽されていることを表すものの、車間及び停止位置情報Ｄ４２に基づいて通常の減速度で減速した場合に停止線よりも手前に停車できると判断される場合には、先行車への追従を選択する。また、車両制御部４３は、遮蔽情報Ｄ４が先行車により信号機が継続的に遮蔽されていることを表し、車間及び停止位置情報Ｄ４２に基づいて通常の減速度で停止位置までに停車できないと判断した場合には、減速を選択する。

また、車両制御部４３は、遮蔽情報Ｄ４にて信号機が遮蔽されていないことが表され、信号機検出結果Ｄ７に含まれる信号機の灯火の色が青の場合は、現在の車速の維持を選択する。また、車両制御部４３は、遮蔽情報Ｄ４にて信号機が遮蔽されていないことが表され、信号機検出結果Ｄ７に含まれる信号機の灯火の色が赤であり、且つ現在の車速から通常の減速度で停止位置に停車する場合は、減速を選択する。また、車両制御部４３は、遮蔽情報Ｄ４にて信号機が遮蔽されていないことが表され、信号機検出結果Ｄ７に含まれる信号機の灯火の色が赤から減速中に青に変わった場合には、制限速度まで速度を回復するための加速を選択する。

また、車両制御部４３は、遮蔽情報Ｄ４にて信号機が遮蔽されていることが表された場合に、自車両、物体及び信号機の相対的な位置関係に基づいて、信号機の遮蔽が解消される位置関係に向けて車両を制御（例えば操舵又は加減速等）してもよい。例えば、先行車により自車線側の信号機が遮蔽されている場合、先行車との車間距離が広くなるように減速することにより、信号機を検出しやすくすることができる。また車線内で左右の一方へ寄るように操舵制御することにより、信号機を検出しやすくすることができる。

［信号機検出方法］
次に、図６〜図１０のフローチャートを参照しながら、本発明の実施の形態に係る信号機検出方法の一例を説明する。本発明の実施の形態に係る信号機検出方法の一連の処理は所定の間隔で繰り返し実行することができる。

図６は信号機検出方法の全体的な処理の流れを示す。図６のステップＳ１において、主に位置推定システム１が、車両が接近中の交差点に設置されている信号機の位置を推定する。この詳細を図７のフローチャートに示す。ステップＳ１１において、車両位置検出部１１が、位置情報Ｄ１及び道路情報Ｄ２に基づいて自車両の位置及び姿勢を検出し、車両位置Ｄ１１として出力する。ステップＳ１２において、地図情報部１２が、車両位置Ｄ１１に基づいて、車両が接近中の交差点に設定されている信号機の信号機座標Ｄ１２を出力する。

ステップＳ１３において、信号機位置推定部１３が、車両位置Ｄ１１及び信号機座標Ｄ１２から、接近中の交差点に設置されている信号機の有無を判定する。信号機が無いと判定された場合には処理を完了する。一方、信号機が有ると判定された場合、ステップＳ１４に移行する。ステップＳ１４において、信号機位置推定部１３が、車両位置Ｄ１１及び信号機座標Ｄ１２から自車両に対する信号機の相対位置を推定する。信号機位置推定部１３は更に、信号機が存在する可能性が高いと推定される領域を、信号機探索領域として設定する。信号機位置推定部１３は更に、複数の信号機探索領域が有る場合、所定の優先順位にしたがって１つ又は複数の信号機探索領域を信号機の検出対象領域として選択して設定する。

図６に戻り、ステップＳ２において、主に遮蔽推定システム２が、物体による信号機の遮蔽状態を推定する。この詳細を図８のフローチャートに示す。ステップＳ２１において、物体検出部２１が、車両の周囲の物体までの距離を含むセンサ情報Ｄ５及び映像信号Ｄ６等に基づいて車両の周囲の物体を検出する。物体検出部２１は更に、検出した物体のそれぞれについて、自車両に対する物体の相対位置、移動方向及び移動速度を計算する。

ステップＳ２３において、遮蔽推定部２２が、信号機探索領域及び物体の位置関係に基づいて、物体により信号機探索領域が遮蔽されているか否かを判定する。更に、遮蔽推定部２２が、信号機探索領域及び物体の位置、移動方向及び移動速度に基づいて、物体により信号機が将来遮蔽されるか否かを判定する。信号機が現在も将来も遮蔽されないと判定された場合には、ステップＳ２９に移行し、信号機位置推定部１３が、現在設定されている信号機探索領域を切り替えずに維持する。一方、ステップＳ２３において信号機が現在遮蔽されているか、又は将来遮蔽されると判定された場合には、ステップＳ２４に移行する。

ステップＳ２４において、遮蔽推定部２２が、信号機探索領域及び物体の位置、移動方向及び移動速度に基づいて、信号機探索領域の遮蔽が解消するまでの時間（遮蔽時間）を算出する。ステップＳ２５において、遮蔽推定部２２が、メモリから閾値を読み出して、遮蔽時間が閾値以上か否かを判定する。遮蔽時間が閾値以下の場合、一時的な遮蔽であると判定して、ステップＳ２９に移行し、信号機位置推定部１３が、現在設定されている信号機探索領域を切り替えずに維持する。一方、ステップＳ２５において遮蔽解消までの時間が閾値よりも長い場合には、継続的な遮蔽であると判定して、ステップＳ２６に移行する。

ステップＳ２６において、信号機位置推定部１３が、現在設定されている信号機探索領域の信号機の他の信号機の候補の有無を判定する。他の信号機の候補が有ると判定された場合、ステップＳ２７に移行し、他の信号機に対応する信号機探索領域に信号機の検出対象を切り替える。一方、ステップＳ２６で他の信号機の候補が無いと判定された場合には、ステップＳ２８に移行し、信号機が遮蔽されていても安全が確保できるように車両制御を行う。

図６に戻り、ステップＳ３において、主に信号機検出システム３が、車両周囲の信号機を検出する。この詳細を図９のフローチャートに示す。ステップＳ３１において、撮像部３１が画像Ｄ３１を取得する。ステップＳ３２において、信号機検出部３２が、画像Ｄ３１と信号機探索領域とを対応付けて、画像Ｄ３１上に信号機探索領域を設定する。ステップＳ３３において、信号機検出部３２が、画像Ｄ３１上の信号機探索領域を探索して信号機を検出する。

図６に戻り、ステップＳ４において、主に車両制御システム４が、信号機の遮蔽状態に応じて車両を制御する。この詳細を図１０のフローチャートに示す。ステップＳ４１において、車両信号取得部４１が車両信号Ｄ８を取得し、車両信号Ｄ８に含まれる車速情報Ｄ４１を抽出する。ステップＳ４２において、車間及び停止位置計算部４２が、道路情報Ｄ２等に基づいて、自車両と先行車との車間距離と、自車両の位置から交差点の停車位置までの距離を計算する。ステップＳ４３において、車両制御部４３が、遮蔽情報Ｄ４、信号機検出結果Ｄ７、車間及び停車位置情報Ｄ４２等に応じて車両制御方法を選択し、制御情報Ｄ９として出力する。車両に搭載されたＥＣＵは、制御情報にしたがって車両制御を行う。

［第１の実施例］
次に、本発明の第１の実施例として、図１１及び図１２を用いて、信号機の近くの街路樹や看板により信号機が継続的に遮蔽される場合を説明する。

図１１（ａ）に示すように、車両前方の交差点に、自車線側の信号機１０１及び対向車線側の信号機１０２が設置されている。自車線側の信号機１０１の信号機探索領域Ａ１１は、路肩の街路樹１００により部分的に遮蔽されている。図１１（ｂ）に示すように、車両が前進しても、自車線側の信号機１０１の信号機探索領域Ａ１１は街路樹１００により継続的に遮蔽されている。一方、対向車線側の信号機１０２の信号機探索領域Ａ１２は遮蔽されずに画像に映り込んでいる。

このような状況において、図１２（ａ）は車両の停止位置までの距離の時間変化を示し、図１２（ｂ）は車速の時間変化を示し、図１２（ｃ）は前方画像における消失点に対する物体（街路樹）１００及び信号機探索領域Ａ１１，Ａ１２の位置（車幅方向における重心位置）の時間変化を示し、図１２（ｄ）は物体（街路樹）１００に対する信号機探索領域Ａ１１，Ａ１２の相対位置（車幅方向における重心位置）の時間変化を示す。

時刻ｔ１０を現時点として、図１２（ｃ）及び図１２（ｄ）に示すように、遮蔽推定部２２は、信号機探索領域Ａ１１及び街路樹１００の位置が近接しており、街路樹１００により信号機探索領域Ａ１１が遮蔽されていると判定する。更に、遮蔽推定部２２は、時刻ｔ１０以降も信号機探索領域Ａ１１及び街路樹１００が近接しながら略同一方向に略同一速度で移動し、且つ遮蔽時間が所定時間（閾値）Ｔ１よりも長いので、継続的な遮蔽と推定する。

このため、信号機位置推定部１３は、信号機探索領域Ａ１１が信号機の検出対象として選択されていた場合には、他の信号機１０２の信号機探索領域Ａ１２を信号機の検出対象に切り替える。

信号機検出部３２は、信号機探索領域Ａ１２から信号機１０２を検出する。信号機検出部３２により信号機１０２の灯火が赤色と検出されている場合、図１２（ａ）及び図１２（ｂ）に示すように、時刻ｔ１１において減速を開始し、時刻ｔ１２において交差点の停止位置で停車する。

［第２の実施例］
次に、本発明の第２の実施例として、図１３及び図１４を用いて、先行車により継続的に遮蔽される場合を説明する。

図１３（ａ）は先行車２００に追従している状態であり、車両前方の交差点に自車線側の信号機２０１及び対向車線側の信号機２０２がある。図１３（ｂ）に示すように、先行車２００が減速した場合や赤信号により停車した場合、自車両と先行車２００の車間距離が狭まり、自車線側の信号機２０１の信号機探索領域Ａ２１が遮蔽される状況が多くなり、継続的な遮蔽状態といえる。

このような状況において、図１４（ａ）は停止位置までの距離の時間変化を示し、図１４（ｂ）は車速の時間変化を示し、図１４（ｃ）は前方画像における消失点に対する物体（先行車）２００及び信号機探索領域Ａ２１，Ａ２２の位置（車幅方向における重心位置）の時間変化を示し、図１４（ｄ）は物体（先行車）２００に対する信号機探索領域Ａ２１，Ａ２２の相対位置（車幅方向における重心位置）の時間変化を示す。

時刻ｔ２０を現時点として、遮蔽推定部２２は、図１４（ｃ）及び図１４（ｄ）に示すように、将来の時刻ｔ２１において信号機探索領域Ａ２１が先行車２００により遮蔽されると判定する。更に、遮蔽推定部２２は、先行車２００の推定位置があまり変化せず、遮蔽時間が所定時間（閾値）Ｔ２よりも長いため、先行車２００による継続的な遮蔽であると推定する。

信号機位置推定部１３は、信号機探索領域Ａ２１が信号機の検出対象として設定されていた場合には、対向車線側の信号機２０２の信号機探索領域Ａ２２を信号機の検出対象に切り替える。なお、信号機探索領域Ａ２１から信号機探索領域Ａ２２への切り替えは、時刻ｔ２０で直ちに行ってもよく、時刻ｔ２１で信号機探索領域Ａ２１が遮蔽されるときに行ってもよい。

信号機検出部３２は、検出対象として選択されている信号機探索領域Ａ２２から信号機２０２を検出する。信号機検出部３２により信号機２０２の灯火が赤色と検出されている場合、図１４（ａ）及び図１４（ｂ）に示すように、時刻ｔ２２において減速を開始し、時刻ｔ２３において交差点の停止位置で停車する。

［第３の実施例］
次に、本発明の第３の実施例として、図１５及び図１６を用いて、先行車があり交差点で停車している場合を説明する。

図１５（ａ）は交差点において自車両が先行車３００とともに停車している状態であり、図１５（ｂ）は先行車３００が発進した後の状態を示す。図１５（ａ）及び図１５（ｂ）に示すように、車両前方の自車線側には信号機３０１があり、対向車線側には信号機３０２がある。

このような状況において、図１６（ａ）は停止位置からの距離の時間変化を示し、図１６（ｂ）は車速の時間変化を示し、図１６（ｃ）は前方画像における消失点に対する先行車３００の位置（重心位置）と信号機探索領域Ａ３１，Ａ３２の位置（車幅方向における重心位置）の時間変化を示し、図１６（ｄ）は先行車３００に対する信号機探索領域Ａ３１，Ａ３２の相対位置（車幅方向における重心位置）の時間変化を示す。

時刻ｔ３０〜ｔ３１において、図１６（ａ）及び図１６（ｂ）に示すように、自車両及び先行車３００が停車中は、自車両の発進を抑止する。また、信号機探索領域Ａ３２が信号機の検出対象として予め選択されているものとする。

時刻ｔ３１において、遮蔽推定部２２は、図１６（ｃ）及び図１６（ｄ）に示すように、先行車３００が発進し、信号機探索領域Ａ３１の遮蔽が解消したと判定する。その後、時刻ｔ３２において、図１６（ａ）及び図１６（ｂ）に示すように、自車両が発進する。

時刻ｔ３３において、図１６（ｃ）及び図１６（ｄ）に示すように、信号機探索領域Ａ３２が画角外となる。このため、それより前の時刻ｔ３２において、信号機探索領域Ａ３２から、遮蔽が解消された信号機探索領域Ａ３１に信号機の検出対象領域を切り替えて設定する。

［第４の実施例］
次に、本発明の第４の実施例として、図１７及び図１８を用いて、対向車等による一時的遮蔽の場合を説明する。

図１７（ａ）は、対向車４００があり信号機探索領域Ａ４１が遮蔽されている状況を示し、図１７（ｂ）は、自車両及び対向車４００がすれ違うように移動することにより、信号機探索領域Ａ４１に対応する信号機４０１が映り込む状況を示す。

このような状況において、図１８（ａ）は停止位置までの距離の時間変化を示し、図１８（ｂ）は車速の時間変化を示し、図１８（ｃ）は前方画像における消失点に対する物体（対向車）４００及び信号機探索領域Ａ４１の位置（車幅方向における重心位置）の時間変化を示し、図１８（ｄ）は物体（対向車）４００に対する信号機探索領域Ａ４１の相対位置（車幅方向における重心位置）の時間変化を示す。

時刻ｔ４０を現時点として、遮蔽推定部２２は、図１８（ｃ）及び図１８（ｄ）に示すように、将来の時刻ｔ４１において信号機探索領域Ａ４１が対向車４００により遮蔽されると推定する。

遮蔽推定部２２は更に、信号機探索領域Ａ４１に対する対向車４００の移動方向及び移動速度から、遮蔽時間Ｔ４１を計算する。遮蔽推定部２２は更に、遮蔽時間Ｔ４１を、減速、停車に要する所定時間（閾値）Ｔ４２と比較する。遮蔽時間Ｔ４１が所定時間Ｔ４２以下であるため、一時的な遮蔽と推定する。

信号機位置推定部１３は、同一交差点内に他の信号機の候補が存在していても、現在設定されている信号機探索領域Ａ４１を維持し、信号機探索領域Ａ４１の遮蔽の解消を待つ。時刻ｔ４２において遮蔽が解消すると、信号機検出部３２は、信号機探索領域Ａ４１を探索して信号機を検出する。

［本発明の効果］
本発明の実施の形態によれば、信号機の物体による現在及び将来の遮蔽状態を推定し、推定された遮蔽状態に基づいて信号機探索領域を選択して設定することにより、信号機の検出対象とする信号機探索領域を適切に選択することができる。この結果、交差点の信号機を高精度に検出することができる。

また、信号機が現在遮蔽されているか又は将来遮蔽される場合に、信号機の遮蔽時間を推定し、推定された遮蔽時間が閾値以下の場合に、設定されている信号機探索領域を維持することにより、一時的な遮蔽が解消した後に信号機を検出することができ、不必要に信号機探索領域を切り替えずに済む。この結果、信号機検出装置１０の負荷を軽減することができる。

また、車両の周囲に信号機が複数存在し、且つ推定された遮蔽時間が閾値より長い場合には、設定されている信号機探索領域から他の信号機の信号機探索領域に切り替えることにより、信号機を検出可能な信号機探索領域を適切に選択することができる。

また、車両及び複数の信号機の位置関係から優先順を設定し、優先順に他の信号機の信号機探索領域を選択することにより、複数の信号機のうち、より検出しやすい信号機の信号機探索領域を適切に選択することができる。

また、先行車追従制御中は、対向車線側に位置する信号機の信号機探索領域を選択することにより、信号機の検出効率を高めることができる。

また、自車両、物体及び信号機の相対的な位置関係に基づいて、信号機の遮蔽が解消される位置関係に向けて車両を制御することにより、信号機を検出しやすくすることができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１ 位置推定システム
２ 遮蔽推定システム
３ 信号機検出システム
４ 車両制御システム
１０ 信号機検出装置
１１ 車両位置検出部
１２ 地図情報部
１３ 信号機位置推定部
２１ 物体検出部
２２ 遮蔽推定部
３１ 撮像部
３２ 信号機検出部
４１ 車両信号取得部
４２ 車間及び停止位置計算部
４３ 車両制御部

Claims (7)

1. 車両に搭載され、周囲の画像を撮像する撮像部と、
   前記車両の位置を検出する車両位置検出部と、
   地図情報を記憶している地図情報部と、
   前記車両の位置及び前記地図情報から、前記車両周囲の信号機の位置を推定し、前記信号機が存在すると推定される信号機探索領域を設定する信号機位置推定部と、
   前記画像上で前記信号機探索領域を探索して前記信号機を検出する信号機検出部と、
   前記信号機探索領域で前記信号機が継続して遮蔽される遮蔽継続状態になるか推定する遮蔽推定部
   とを備え、
   前記信号機位置推定部は、前記遮蔽推定部で前記遮蔽継続状態になると推定された場合には、前記遮蔽継続状態に基づいて前記信号機探索領域を選択することを特徴とする信号機検出装置。
2. 前記遮蔽推定部は、前記信号機が現在遮蔽されているか又は将来遮蔽される場合に、前記信号機の遮蔽時間を推定し、
   前記信号機位置推定部は、前記設定されている信号機検索領域で前記推定された遮蔽時間が閾値以下の場合に、前記設定されている信号機探索領域を維持する
   ことを特徴とする請求項１に記載の信号機検出装置。
3. 前記信号機位置推定部は、前記車両周囲の信号機が複数存在し、且つ前記推定された遮蔽時間が前記閾値より長い場合に、前記設定されている信号機探索領域から他の信号機の信号機探索領域に切り替えることを特徴とする請求項２に記載の信号機検出装置。
4. 前記信号機位置推定部は、前記車両及び前記複数の信号機の位置関係から優先順を設定し、前記優先順に前記他の信号機の信号機探索領域を選択する特徴とする請求項３に記載の信号機検出装置。
5. 前記信号機位置推定部は、先行車追従制御中は、対向車線側に位置する信号機の信号機探索領域を選択する特徴とする請求項１〜４のいずれか１項に記載の信号機検出装置。
6. 前記車両、物体及び前記信号機の相対的な位置関係に基づいて、前記信号機の遮蔽が解消される位置関係に向けて前記車両を制御することを特徴とする請求項１〜５のいずれか１項に記載の信号機検出装置。
7. 車両に搭載された撮像部により周囲の画像を撮像するステップと、
   前記車両の位置及び地図情報から、前記車両周囲の信号機の位置を推定するステップと、
   前記信号機が存在すると推定される信号機探索領域を設定するステップと、
   前記画像上で前記信号機探索領域を探索して前記信号機を検出するステップと、
   前記信号機探索領域で前記信号機が継続して遮蔽される遮蔽継続状態になるかを推定するステップと、
   前記遮蔽継続状態になると推定された場合には、前記遮蔽継続状態に基づいて前記信号機探索領域を選択するステップ
   とを含むことを特徴とする信号機検出方法。

Images