JP6106495B2 - 検出装置、制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像中から信号機や道路標識を検出する技術に関する。

従来から、車両前方を撮影するカメラから取得した画像に基づき、車両の前方風景に存在する信号機の信号表示を認識する技術が知られている。例えば、特許文献１には、撮像されたフレーム画像から色分布及び形状に基づいて信号灯の候補領域を抽出する技術が開示されている。また、特許文献１には、撮像装置の取り付け姿勢等に基づいて、フレーム画像上で信号機が存在する領域を推定し、当該領域内の画像の形状特徴に基づいて信号灯の候補領域を抽出する点についても開示されている。また、特許文献２には、撮影した画像の各画素から、赤灯火部の点灯時の色相、彩度、輝度の取り得る値の範囲に属する画素を抽出し、抽出した画素からなる領域の円形度を算出し、円形度が高い領域を、赤灯火候補領域に設定する技術が開示されている。

特開２０１２−１７３８７９号公報 国際公開ＷＯ２０１１／０７４０８７

特許文献１及び２では、いずれも、信号機と車両に搭載される撮影装置との位置関係によらず、撮影された画像を解析して信号機が存在する候補領域を検出する。この場合、撮影された画像中のどこに信号機が存在するかが不明の為、画像を解析する範囲を広く設定する必要がある。この場合、解析の負荷が重くなり、結果として候補領域を検出するまでに相当の時間が必要となる。また、画像を解析する範囲が広いほど、信号機の誤検出の可能性が高くなる。

本発明は、上記のような課題を解決するためになされたものであり、信号機や道路標識を検出する際に、画像を解析する範囲を好適に限定することが可能な検出装置を提供することを主な目的とする。

請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置であって、前記移動体の現在位置に関する情報を取得する第１取得手段と、前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、を備えることを特徴とする。

また、請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置が実行する制御方法であって、前記移動体の現在位置に関する情報を取得する第１取得工程と、前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得工程と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、を有することを特徴とする。

また、請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出するコンピュータが実行するプログラムであって、前記移動体の現在位置に関する情報を取得する第１取得手段と、前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段として前記コンピュータを機能させることを特徴とする。

実施例に係る信号認識システムの構成例を示す。 ナビゲーション装置の概略構成を示す。 車両と、信号認識の対象となる信号機とを側面から観察した図である。 カメラの撮影範囲と信号機との位置関係を示す図である。 図４の例における画像の表示例を示す。 信号機の近傍に、赤色の看板を有する建物がある場合の画像の表示例である。 本実施例における信号認識処理のフローチャートである。 （Ａ）は、信号機高が低い地域を走行中の車両と信号機とを側面から観察した図であり、（Ｂ）は、信号機高が高い地域を走行中の車両と信号機とを側面から観察した図である。

（Ａ）は、図８（Ａ）の例での画像の表示例を示し、（Ｂ）は、図８（Ｂ）の例での画像の表示例を示す。 （Ａ）は、車両の走行道路上に２つの信号機が存在する様子を側面視した図である。（Ｂ）は、（Ａ）の場合の画像の表示例を示す。 信号認識の対象となる信号機の位置で勾配を有する道路を車両が走行中の様子を側面視した図である。 変形例に係る信号認識システムの概略構成を示す。

本発明の好適な実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置であって、前記移動体の現在位置に関する情報を取得する第１取得手段と、道路標識または信号機の位置に関する情報を取得する第２取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、を備える。

上記の検出装置は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出し、第１取得手段と、第２取得手段と、検出手段とを備える。第１取得手段は、移動体の現在位置に関する情報を取得する。第２取得手段は、道路標識または信号機の位置に関する情報を取得する。検出手段は、移動体の現在位置に関する情報と道路標識または信号機の位置に関する情報とに応じた画像中の解析領域から道路標識または信号機に相当する画像を検出する。この態様では、検出装置は、移動体の現在位置に関する情報と道路標識または信号機の位置に関する情報とに応じた解析領域を定める。これにより、検出装置は、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。

上記検出装置の一態様では、前記第２取得手段は、前記道路標識または信号機の３次元位置に関する情報を取得し、前記検出手段は、前記移動体の現在位置に関する情報と、前記道路標識または信号機の３次元位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。一般に、信号機の高さによって画像中での信号機又は道路標識の表示位置が異なる。従って、この態様により、検出装置は、信号機又は道路標識の３次元位置に応じた解析領域を好適に設定することができる。

上記検出装置の他の一態様では、前記第２取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の設置位置についての法令に基づく前記道路標識または信号機の３次元位置に関する情報を取得する。この態様により、検出装置は、道路標識または信号機の設置位置についての法令に基づいて地域ごとに異なる高さを有する信号機又は道路標識に対して、解析領域を的確に設定することができる。

上記検出装置の他の一態様では、前記第２取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の高さ情報に基づく前記道路標識または信号機の３次元位置に関する情報を取得する。この態様により、検出装置は、地域ごとに異なる高さを有する信号機又は道路標識に対して、解析領域を的確に設定することができる。

上記検出装置の他の一態様では、前記検出手段は、前記道路標識または信号機の高さ情報が切り替わる複数の地域の境界から所定の範囲内に前記移動体の現在位置が位置する場合は、前記複数の地域のいずれの高さも含む高さ情報に応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。この態様により、検出装置は、道路標識または信号機の高さ情報が切り替わる地域の境界付近に設置された道路標識又は信号機を画像中から好適に認識することができる。

上記検出装置の他の一態様では、前記移動体への前記撮像手段の設置高に関する情報を取得する第３取得手段を備え、前記検出手段は前記移動体の現在位置に関する情報と、前記道路標識または信号機の３次元位置に関する情報と、前記撮像手段の設置高に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。この態様により、検出装置は、撮像手段の設置高を勘案し、解析領域を好適に設定することができる。

上記検出装置の他の一態様では、前記移動体が走行中の道路であって、前記現在位置から所定距離前方の道路の勾配情報を取得する第４取得手段を備え、前記検出手段は、前記道路の勾配情報を基に前記解析領域を補正する。この態様により、検出装置は、勾配を有する道路上に信号機又は道路標識が設置されていた場合であっても、的確に解析領域を設定することができる。

本発明の好適な他の実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置が実行する制御方法であって、前記移動体の現在位置に関する情報を取得する第１取得工程と、道路標識または信号機の位置に関する情報を取得する第２取得工程と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、を有する。検出装置は、この制御方法を実行することで、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。

本発明の好適な他の実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出するコンピュータが実行するプログラムであって、前記移動体の現在位置に関する情報を取得する第１取得手段と、道路標識または信号機の位置に関する情報を取得する第２取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。好適には、上述のプログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［システム構成］
図１は、本実施例に係る信号認識システムの構成例を示す。図１に示すように、信号認識システムは、車両Ｖｅに搭載されるナビゲーション装置１と、車両Ｖｅの前方に向けて設置されたカメラ２とを備える。ナビゲーション装置１と、カメラ２とは、有線又は無線により電気的に接続している。

ナビゲーション装置１は、出発地から目的地までの経路案内を行う機能などを有する。また、本実施例では、ナビゲーション装置１は、カメラ２が生成した画像に基づき、信号機の表示を認識する。

カメラ２は、車両Ｖｅの前方に向けて固定され、所定の間隔ごとに車両Ｖｅの前方を撮影した画像（「画像Ｉｍ」とも呼ぶ。）を生成する。カメラ２は、地面から所定の高さ（「カメラ設置高Ｈｃ」とも呼ぶ。）に固定され、かつ、所定の画角「θｖ」を有する。好適には、カメラ２の向きは、画像Ｉｍ中の消失点（即ち無限遠点）が画像Ｉｍの縦方向での中心位置になるように、略水平方向に向けられる。カメラ１４は、生成した画像Ｉｍをナビゲーション装置１へ供給する。カメラ１４は、本発明における「撮像手段」として機能する。

［ナビゲーション装置の構成］
図２は、ナビゲーション装置１の概略構成を示す。ナビゲーション装置１は、例えば据置型のナビゲーション装置やルート案内を行う携帯端末であって、図２に示すように、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４を含んでおり、ＲＯＭ２３などに記憶された制御プログラムを実行することで、ナビゲーション装置１全体の制御を行う。

例えば、システムコントローラ２０は、現在位置情報及び後述する地図データに含まれる信号機の位置情報に基づき、車両Ｖｅの前方所定距離以内に信号機があることを認識した場合、画像Ｉｍに基づき当該信号機の信号認識を行う。このとき、システムコントローラ２０は、画像Ｉｍから画像処理により信号機の表示領域を検出する領域（「解析領域Ｒｔａｇ」とも呼ぶ。）を決定する。これについては、［解析領域の決定］のセクションで詳しく説明する。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分（交差点）に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。また、地図データには、各信号機の位置情報が記憶されている。また、データ記憶ユニット３６は、信号機が設置される地上からの高さ（「信号機高Ｈｓ」とも呼ぶ。）、カメラ２の画角θｖ、及びカメラ設置高Ｈｃの情報を記憶する。なお、システムコントローラ２０は、これらの情報を、入力装置６０へのユーザの入力に基づき生成し、データ記憶ユニット３６に記憶させてもよい。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。また、通信装置３８は、所定間隔ごとにカメラ２から画像Ｉｍを受信し、システムコントローラ２０へ供給する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

なお、システムコントローラ２０は、本発明における「第１取得手段」、「第２取得手段」、「検出手段」、「第３取得手段」、「第４取得手段」及び「コンピュータ」として機能する。

［解析領域の決定方法］
次に、解析領域Ｒｔａｇの決定方法について説明する。概略的には、システムコントローラ２０は、現在位置情報及び信号機の位置情報等に基づき、カメラ２の向きに対する信号機の仰角（「仰角θｔａｇ」とも呼ぶ。）を算出し、当該仰角θｔａｇから解析領域Ｒｔａｇを決定する。

まず、仰角θｔａｇの算出方法について、図３を参照して説明する。図３は、車両Ｖｅと、信号認識の対象となる信号機７０とを側面視した図である。

図３に示すように、仰角θｔａｇは、カメラ２の向きに沿って水平に伸びる線９０と、カメラ２と信号機７０とを結ぶ線９１とがなす角に相当する。ここで、図３に示す線９０の長さは、カメラ２と信号機７０との水平方向での距離（「信号機距離Ｄ」とも呼ぶ。）に相当する。また、線９０及び線９１と共に直角三角形を形成する線９２の長さは、信号機高Ｈｓにカメラ設置高Ｈｃを引いた長さとなる。

この場合、仰角θｔａｇは、線９０と線９１と線９２とを辺とする直角三角形に基づき、三角関数を用いて式（１）に示すように表される。

ｔａｎθ＝（Ｈｓ−Ｈｃ）／Ｄ 式（１）
従って、システムコントローラ２０は、式（１）を参照することで、カメラ設置高Ｈｃと、信号機高Ｈｓと、信号機距離Ｄとに基づき、仰角θｔａｇを算出することができる。例えば、カメラ設置高Ｈｃが「１ｍ」、信号機高Ｈｓが「５ｍ」、信号機距離Ｄが「５０ｍ」とすると、式（１）により、仰角θｔａｇは、約４．６°となる。

次に、仰角θｔａｇから解析領域Ｒｔａｇを決定する方法について説明する。システムコントローラ２０は、画角θｖに対する仰角θｔａｇの比率に基づき、画像Ｉｍの縦方向での信号機７０の推定される表示位置（「推定表示位置」とも呼ぶ。）を算出することで、解析領域Ｒｔａｇを決定する。これについて、図４、図５を参照して具体的に説明する。

図４は、カメラ２の撮影範囲と信号機７０の位置との関係を示す図である。図４では、画角θｖが６０°、かつ、仰角θｔａｇが４．６°であるものとし、画像Ｉｍの縦方向の画素数（「縦画素数Ｎｖ」とも呼ぶ。）が１０００画素であるものとする。また、画像Ｉｍでの消失点は、画像Ｉｍの縦方向での中心位置と一致するものとする。

この場合、図４に示すように、カメラ２の水平線より上側の視野角は、画角θｖの半分（ここでは３０°）に相当する。従って、この場合、画像Ｉｍは、縦画素数Ｎｖのうち、上半分の画素（ここでは５００画素）により、カメラ２の水平線より上側の視野を表現することになる。

従って、この場合、システムコントローラ２０は、信号機７０の推定表示位置が、画角θｖの半分に対する仰角θｔａｇの比率に応じた画素分だけ画像Ｉｍの縦方向の中央から上にあると認識する。具体的には、システムコントローラ２０は、信号機７０の推定表示位置が、画像Ｉｍの縦方向の中央から以下の式（２）により求まる画素だけ上の位置であると認識する。

｛θｔａｇ／（θｖ／２）｝×（Ｎｖ／２） 式（２）
図４の例では、システムコントローラ２０は、式（２）に基づき、信号機７０の推定表示位置が７７（≒（４．６／３０）×５００）画素分だけ画像Ｉｍの縦方向の中央から上の位置にあると認識する。

そして、システムコントローラ２０は、式（２）により求めた画像Ｉｍの縦方向での信号機７０の表示位置の近傍範囲を、解析領域Ｒｔａｇに定める。これについて、図５を参照して説明する。

図５は、図４の例における画像Ｉｍの表示例を示す。図５に示すように、この場合、システムコントローラ２０は、画像Ｉｍの縦方向における信号機７０の推定表示位置が、消失点である地平線から７７画素分だけ上に位置すると判断する。そして、この場合、システムコントローラ２０は、解析領域Ｒｔａｇを、画像Ｉｍの縦方向において、信号機７０の推定表示位置の上下所定画素分（ここでは５０画素分）の範囲に定める。上述の所定画素は、例えば、式（２）に基づき算出した信号機７０の推定表示位置の想定される誤差の上限値に設定される。

このように、システムコントローラ２０は、仰角θｔａｇに基づき、信号機７０の表示領域を含むように、解析領域Ｒｔａｇを好適に設定することができる。これにより、信号認識の処理負荷を低減させると共に、信号機７０の誤検出を抑制することができる。

図６は、信号機７０の近傍に、赤色の看板７１０を有する建物７１がある場合の画像Ｉｍの表示例である。図６の例では、画像Ｉｍ中に、赤色の信号灯と近似した色を有する看板７１０が表示されている。この場合であっても、システムコントローラ２０は、信号機７０の仰角θｔａｇに基づき解析領域Ｒｔａｇを設定することで、看板７１０の表示領域を、信号認識を行う対象範囲である解析領域Ｒｔａｇから除外することができる。従って、この場合、システムコントローラ２０は、看板７１０が赤色の信号灯であると誤って検出するのを好適に抑制することができる。

［処理フロー］
図７は、本実施例における信号認識処理のフローチャートである。システムコントローラ２０は、図７に示す処理を、繰り返し実行する。

まず、システムコントローラ２０は、認識すべき信号機があるか否か判定する（ステップＳ１０１）。そして、システムコントローラ２０は、認識すべき信号機があると判断した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２へ処理を進める。例えば、システムコントローラ２０は、ＧＰＳ受信機１８等が検出した車両Ｖｅの現在位置と進行方向の情報、および地図データに含まれる信号機の位置情報と道路形状データに基づき、車両Ｖｅの前方へ所定距離以内に信号機があると判断した場合、認識すべき信号機があると判断し、ステップＳ１０２へ処理を進める。なお、システムコントローラ２０は、車両Ｖｅの停車時にのみステップＳ１０２以降の処理を実行すべきと判断してもよい。一方、認識すべき信号機がない場合（ステップＳ１０１；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。

次に、システムコントローラ２０は、認識対象の信号機に対する仰角θｔａｇを算出する（ステップＳ１０２）。具体的には、まず、システムコントローラ２０は、カメラ設置高Ｈｃと、信号機高Ｈｓとをデータ記憶ユニット３６から取得する。また、システムコントローラ２０は、ＧＰＳ受信機１８等が計測した現在位置情報と、地図データに含まれる認識対象の信号機の位置情報とに基づき、信号機距離Ｄを算出する。そして、システムコントローラ２０は、カメラ設置高Ｈｃと、信号機高Ｈｓと、信号機距離Ｄとに基づき、上述した式（１）を参照して仰角θｔａｇを算出する。

そして、システムコントローラ２０は、仰角θｔａｇに基づき、画像Ｉｍ中での解析領域Ｒｔａｇを決定する（ステップＳ１０３）。具体的には、システムコントローラ２０は、式（２）を用いて、画角θｖ及び縦画素数Ｎｖに基づき、画像Ｉｍの縦方向での信号機の推定表示位置を求め、当該位置から上下所定画素分の範囲を解析領域Ｒｔａｇに定める。

その後、システムコントローラ２０は、解析領域Ｒｔａｇ内で信号機の表示領域を検出し、当該信号機の信号表示を認識する（ステップＳ１０４）。この場合、システムコントローラ２０は、信号機の推定表示位置に基づく解析領域Ｒｔａｇに限定して画像の解析を行うため、信号機の表示領域の誤検出を抑制することができる。また、システムコントローラ２０は、信号認識に必要な解析処理の負荷を低減することができる。

以上説明したように、本実施例に係るナビゲーション装置１は、車両Ｖｅの前方風景を撮像するカメラ２により撮像された画像Ｉｍ中から、信号機を検出する。このとき、システムコントローラ２０は、車両Ｖｅの現在位置に関する情報をＧＰＳ受信機１８等から受信する。また、システムコントローラ２０は、信号機の位置情報をデータ記憶ユニット３６から取得する。そして、システムコントローラ２０は、現在位置情報と信号機の位置情報とに応じた画像Ｉｍ中の解析領域Ｒｔａｇから信号機に相当する画像を検出する。これにより、システムコントローラ２０は、信号機の表示領域の誤検出を抑制することができると共に、信号認識に必要な解析処理の負荷を低減することができる。

［変形例］
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。

（変形例１）
ナビゲーション装置１は、地域ごとの信号機の設置位置についての法令に基づいた信号機の位置情報を取得してもよい。一例として地域ごとに法令に応じた信号機高Ｈｓをデータ記憶ユニット３６に記憶し、車両Ｖｅが走行中の地域によって仰角θｔａｇを求めるために使用する信号機高Ｈｓの値を変更してもよい。これにより、ナビゲーション装置１は、走行中の地域に応じて式（１）で用いる信号機高Ｈｓを適切に設定し、仰角θｔａｇ及び解析領域Ｒｔａｇを高精度に定める。

一般に、地域ごとの法令によって信号機高Ｈｓは異なる。例えば、豪雪地帯では、積雪時に対応するために、他の地域よりも信号機が高い場所に設置される。以上を勘案し、ナビゲーション装置１は、地域ごとの信号機高Ｈｓをデータ記憶ユニット３６に記憶しておく。この場合、例えば、ナビゲーション装置１は、国ごとや都道府県ごとや市町村ごとなどの所定の地域ごとに、信号機高Ｈｓをデータ記憶ユニット３６に記憶しておく。なお、ナビゲーション装置１は、データ記憶ユニット３６に記憶する地域ごとの信号機高Ｈｓの情報を、通信装置３８を介して所定のサーバから取得してもよく、入力装置６０への入力に基づき取得してもよい。

図８（Ａ）は、信号機高Ｈｓが低い地域を走行中の車両Ｖｅと信号機７０Ａとを側面から観察した図であり、図８（Ｂ）は、信号機高Ｈｓが高い地域を走行中の車両Ｖｅと信号機７０Ｂとを側面から観察した図である。また、図９（Ａ）は、図８（Ａ）の例での画像Ｉｍの表示例を示し、図９（Ｂ）は、図８（Ｂ）の例での画像Ｉｍの表示例を示す。

図８（Ａ）、（Ｂ）の例では、まず、システムコントローラ２０は、ＧＰＳ受信機１８等が計測した現在位置に基づき、車両Ｖｅが走行中の地域を認識する。そして、システムコントローラ２０は、認識した地域に応じた信号機高Ｈｓをデータ記憶ユニット３６から取得し、式（１）を用いて仰角θｔａｇをそれぞれ算出する。

この場合、図８（Ａ）に示す信号機７０Ａに対する仰角θｔａｇは、図８（Ｂ）に示す信号機７０Ｂに対する仰角θｔａｇよりも小さくなり、信号機７０Ａの推定表示位置は、信号機７０Ｂの推定表示位置よりも低くなる。従って、図９（Ａ）、（Ｂ）に示すように、システムコントローラ２０は、画像Ｉｍでの信号機７０Ａに対する解析領域Ｒｔａｇを、信号機７０Ｂに対する解析領域Ｒｔａｇよりも低い位置に設定する。

このように、システムコントローラ２０は、仰角θｔａｇを求めるために使用する信号機高Ｈｓの値を走行中の地域によって変更することで、解析領域Ｒｔａｇを高精度に求めることができる。

また、好適には、信号機高Ｈｓが異なる地域の境界から所定範囲内を車両Ｖｅが走行中の場合、システムコントローラ２０は、当該地域の各々に対応する信号機高Ｈｓを用いてそれぞれ解析領域Ｒｔａｇを算出し、算出した解析領域Ｒｔａｇをいずれも含む領域内で信号機の表示領域を検出するとよい。上述の所定範囲は、例えば境界からの距離に基づき定められる範囲であってもよく、データ記憶ユニット３６に予め記憶されたエリアであってもよい。

一般に、信号機高Ｈｓが異なる地域の境界付近では、信号機高Ｈｓが異なる信号機が混在する可能性がある。従って、システムコントローラ２０は、信号機高Ｈｓが異なる地域の境界付近では、各地域に対応する解析領域Ｒｔａｇをいずれも含む領域内で信号機の表示領域を検出する。これにより、画像Ｉｍ中で信号機を確実に検出することができる。

なお、システムコントローラ２０は、信号機高Ｈｓが異なる地域の境界を通過後、現在走行中の地域に対応する信号機高Ｈｓに基づく解析領域Ｒｔａｇにより信号機を検出できた場合、以後では、走行中の地域に対応する信号機高Ｈｓに基づく解析領域Ｒｔａｇのみを対象にして信号機の検出処理を行ってもよい。

（変形例２）
システムコントローラ２０は、車両Ｖｅの前方所定距離以内に信号機が存在する場合であっても、当該信号機がカメラ２の撮影範囲に含まれない場合には、当該信号機に関する信号認識を実行しなくてもよい。

図１０（Ａ）は、車両Ｖｅの走行道路上に信号機７０Ｃ、７０Ｄが存在する様子を側面視した図である。そして、図１０（Ｂ）は、図１０（Ａ）の場合の画像Ｉｍの表示例を示す。

図１０（Ａ）、（Ｂ）に示すように、この場合、車両Ｖｅの走行道路上で車両Ｖｅに最も近い信号機７０Ｃは、カメラ２の撮影範囲に含まれない。従って、この場合、システムコントローラ２０は、信号機７０Ｃの信号認識を行うことができない。一方、車両Ｖｅの走行道路上で信号機７０Ｃの次に車両Ｖｅに近い信号機７０Ｄは、カメラ２の撮影範囲に含まれる。従って、図１０（Ａ）、（Ｂ）の例では、信号機７０Ｃの信号認識を実行しようとして信号機７０Ｄの信号認識を誤って実行してしまう可能性がある。

以上を勘案し、システムコントローラ２０は、式（１）に基づき仰角θｔａｇを算出後、当該仰角θｔａｇが所定角度（例えば画角θｖの半分）以上の場合には、当該仰角θｔａｇに対応する信号機の信号認識を実行しない。これにより、システムコントローラ２０は、信号認識の対象とする信号機以外の信号機の信号を誤って認識するのを抑制することができる。

（変形例３）
システムコントローラ２０は、道路の勾配情報をさらに勘案して解析領域Ｒｔａｇを定めてもよい。

図１１は、信号認識の対象となる信号機７０Ｅの位置で勾配を有する道路を車両Ｖｅが走行中の様子を側面視した図である。図１１の例では、まず、システムコントローラ２０は、例えば地図データに記憶された信号機７０Ｅの位置及び信号機７０Ｅ付近での道路の勾配（図１１では角度「θａ」）の情報に基づき、車両Ｖｅに対する信号機７０Ｅの設置位置の相対的な高さを認識する。そして、この場合、システムコントローラ２０は、認識した車両Ｖｅに対する信号機７０Ｅの設置位置の相対的な高さを、信号機高Ｈｓに加算した後、式（１）により仰角θｔａｇを算出する。これにより、システムコントローラ２０は、道路勾配に起因して、信号機の設置位置の標高と、車両Ｖｅの現在位置の標高とが異なる場合であっても、好適に仰角θｔａｇを算出し、解析領域Ｒｔａｇを高精度に算出することができる。

また、システムコントローラ２０は、車両Ｖｅが勾配を有する道路上にいると認識した場合には、式（１）により算出する仰角θｔａｇに対し、道路の勾配に起因してカメラ２が傾いた分だけ加減算を行う。例えば、システムコントローラ２０は、車両Ｖｅが上り坂にいる場合には、当該上り坂の勾配分だけ仰角θｔａｇを減算し、車両Ｖｅが下り坂にいる場合には、当該下り坂の勾配分だけ仰角θｔａｇを加算する。この場合、システムコントローラ２０は、地図データ及び測定した現在位置の情報に基づき、車両Ｖｅが存在する道路の勾配を認識してもよく、ナビゲーション装置１と接続する図示しない勾配センサの出力に基づき、車両Ｖｅが存在する道路の勾配を認識してもよい。

（変形例４）
ナビゲーション装置１は、信号機に代えて、又はこれに加えて、画像Ｉｍから道路標識を認識してもよい。

この場合、ナビゲーション装置１は、地図データとして、各道路標識の位置情報及び道路標識の高さの情報をデータ記憶ユニット３６に記憶しておく。そして、ナビゲーション装置１のシステムコントローラ２０は、地図データを参照し、車両Ｖｅの現在位置から車両Ｖｅの前方の所定距離以内に道路標識があると認識した場合には、当該道路標識に対する仰角θｔａｇを算出する。この場合、システムコントローラ２０は、信号機高Ｈｓに代えて、道路標識の高さを用いて、式（１）に基づき、仰角θｔａｇを算出する。その後、実施例と同様に、システムコントローラ２０は、算出した仰角θｔａｇに基づき、式（２）を用いて道路標識の画像Ｉｍの縦方向での推定表示位置を決定し、その近傍範囲を解析領域Ｒｔａｇに設定する。そして、システムコントローラ２０は、解析領域Ｒｔａｇ内で道路標識の表示領域を検出し、当該道路標識が示す内容を任意の画像認識技術により認識する。

このように、ナビゲーション装置１は、道路標識を認識する場合であっても、解析領域Ｒｔａｇを定めることで、画像Ｉｍ中の道路標識の表示領域の誤検出を好適に抑制することができる。

（変形例５）
ナビゲーション装置１が図７のフローチャートで実行する処理の全部または一部を、ナビゲーション装置１と接続するサーバ装置が実行してもよい。

図１２は、変形例に係る信号認識システムの概略構成を示す。図１２に示すように、ナビゲーション装置１は、ネットワーク２００を介してサーバ装置３００と接続する。サーバ装置３００は、ＣＰＵなどの制御部や、記憶部、及び通信部などを有し、予め記憶されたプログラムを実行することで所定の処理を行う。また、サーバ装置３００は、信号機の位置情報や信号機高Ｈｓの情報などを含む地図データを記憶する。

そして、サーバ装置３００は、ナビゲーション装置１から送信される画像Ｉｍや現在位置情報等に基づき、図７のフローチャートに示す信号認識処理を実行し、その処理結果をナビゲーション装置１に送信する。このように、本変形例によっても、信号認識システムは、好適に信号認識を実行することができる。

なお、サーバ装置３００は、地図データを記憶するサーバや図７のフローチャートに示す信号認識処理を実行するサーバなどの複数のサーバから構成されてもよい。この場合、各サーバは、他のサーバと通信を行い、割り当てられた処理を実行する。そして、本変形例では、サーバ装置３００は、本発明における「検出装置」の一例である。

１ ナビゲーション装置
２ カメラ
１０ 自立測位装置
１４ カメラ
１８ ＧＰＳ受信機
２０ システムコントローラ
２２ ＣＰＵ
３６ データ記憶ユニット
３８ 通信装置
４０ 表示ユニット
４４ ディスプレイ
６０ 入力装置
２００ ネットワーク
３００ サーバ装置

Claims (10)

1. 移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置であって、
   前記移動体の現在位置に関する情報を取得する第１取得手段と、
   前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得手段と、
   前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、
   を備えることを特徴とする検出装置。
2. 前記第２取得手段は、前記道路標識または信号機の３次元位置に関する情報を取得し、
   前記検出手段は、前記移動体の現在位置に関する情報と、前記道路標識または信号機の３次元位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出することを特徴とする請求項１に記載の検出装置。
3. 前記第２取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の設置位置についての法令に基づく前記道路標識または信号機の位置に関する情報を取得することを特徴とする請求項１または請求項２に記載の検出装置。
4. 前記第２取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の高さ情報に基づく前記道路標識または信号機の位置に関する情報を取得することを特徴とする請求項１〜３のいずれか一項に記載の検出装置。
5. 前記検出手段は、前記道路標識または信号機の高さ情報が切り替わる複数の地域の境界から所定の範囲内に前記移動体の現在位置が位置する場合は、前記複数の地域のいずれの高さも含む高さ情報に応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出することを特徴とする請求項４に記載の検出装置。
6. 前記移動体への前記撮像手段の設置高に関する情報を取得する第３取得手段を備え、
   前記検出手段は前記移動体の現在位置に関する情報と、前記道路標識または信号機の位置に関する情報と、前記撮像手段の設置高に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出することを特徴とする請求項１〜５のいずれか一項に記載の検出装置。
7. 前記移動体が走行中の道路であって、前記現在位置から所定距離前方の道路の勾配情報を取得する第４取得手段を備え、
   前記検出手段は、前記道路の勾配情報を基に前記解析領域を補正することを特徴とする請求項１〜６のいずれか一項に記載の検出装置。
8. 移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置が実行する制御方法であって、
   前記移動体の現在位置に関する情報を取得する第１取得工程と、
   前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得工程と、
   前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、
   を有することを特徴とする制御方法。
9. 移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出するコンピュータが実行するプログラムであって、
   前記移動体の現在位置に関する情報を取得する第１取得手段と、
   前記移動体の現在位置が属する地域ごとの道路標識または信号機の位置に関する情報を取得する第２取得手段と、
   前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段として前記コンピュータを機能させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とする記憶媒体。

Images