JP7088137B2 - 信号機情報管理システム - Google Patents

Description

本発明は、車両の運転を支援する運転支援制御に用いて好適な信号機情報を管理する技術に関する。

特許文献１に開示された方法によれば、信号機が通常位置する目標領域をカメラで走査して目標領域情報を取得し、目標領域情報から信号機を検出することが行われる。また、信号機の位置を判定することと、信号機の表示状態を判定することも行われ、さらに、信号機に対する信頼性を判定することが行われる。信頼性の判定は、例えば、信号機の位置と複数の既知の信号機の位置との比較により行われる。そして、上記方法によれば、信号機の表示状態と信号機に対する信頼性とに基づいて、車両は自律モードで制御される。

米国特許公開第２０１３／０２５３７５４号

上記従来技術における自律モードでの車両の制御は、車両の運転を支援する運転支援制御の一つである。運転支援制御では、信号機の位置は重要な情報として用いられる。信号機はカメラによって検出することができるが、信号機の位置に関する信号機情報が予めデータベース化されていれば、その信号機情報を用いてカメラ画像内での信号機の検出範囲を絞り込むことができる。つまり、データベース化された信号機情報は、運転支援制御に用いて好適である。ただし、そのデータベースは、必ずしも高品質の信号機情報のみが含まれているとは限らない。データベースに低品質の信号機情報が紛れ込んであり、その低品質の信号機情報を利用してしまうと、運転支援制御の精度が却って低下するおそれがある。

本発明は、運転支援制御に用いて好適な信号機情報の有用性を向上させることができる信号機情報管理システムを提供することを目的とする。

本発明に係る信号機情報管理システムは、車両に取り付けられ進行方向前方の風景を撮像するカメラと、カメラに結合されたコンピュータと、コンピュータに結合された記憶装置とを備える。記憶装置は、信号機の位置を示す信号機情報を含む信号機データベースを含む。信号機情報が示す信号機の位置は三次元空間中の絶対位置である。

コンピュータは、プロセッサと、プログラムを記憶するメモリとを物理的に有している。メモリに記憶されたプログラムは、プロセッサにより実行されたときに、以下の注目領域計算処理、信号機像検出処理、及び評価処理をコンピュータに実行させるように構成されている。

注目領域計算処理では、コンピュータは、車両の位置情報と信号機情報とに基づいて、カメラで撮像された画像中の信号機が存在するらしい注目領域を計算する。ここでいうカメラの位置とは三次元空間中の絶対位置である。カメラの位置に対する信号機の位置が分かれば、カメラ画像中において信号機が存在するらしい領域を特定することができる。信号機像検出処理では、コンピュータは、注目領域に含まれる信号機像を検出する。点灯している灯火が信号機像として検出されてもよい。信号機像の検出には、公知の画像処理、例えば、機械学習による画像処理を用いることができる。評価処理では、コンピュータは、注目領域計算処理で計算された注目領域の位置と、信号機像検出処理で検出された信号機像の位置とを比較し、その比較に基づいて信号機情報の確からしさを評価する。

カメラ画像内の注目領域の位置は、信号機情報における信号機の位置をカメラ画像内に投影したものに対応する。一方、カメラ画像内の信号機像の位置は、実際の三次元空間中の信号機の位置がカメラ画像内に投影されたものである。理想的には両者は一致するはずであるが、信号機情報における信号機の位置に実際とのずれがある場合、注目領域の位置と信号機像の位置との間にもずれが生じたり位置関係に変動が生じたりする。ゆえに、注目領域の位置と信号機像の位置とを比較すれば、その比較結果から信号機情報の確からしさを客観的に評価することができる。信号機情報の確からしさを客観的に評価することができれば、その評価結果を信号機情報の有用性の向上に繋げることができる。

評価処理では、コンピュータは、注目領域計算処理と信号機像検出処理とを異なる時間に複数回実施し、複数回の実施で得られたデータを用いて注目領域の位置に対する信号機像の位置のばらつき度合を計算し、ばらつき度合から信号機情報の確からしさを示す評価値を計算してもよい。信号機情報が確かであれば、注目領域の位置と信号機像の位置との間に時間による位置関係のばらつきは生じないはずである。ばらつき度合から評価値を計算することによって、信号機情報の確からしさについてより客観的な評価が可能となる。

また、評価処理では、コンピュータは、ばらつき度合が所定値以下の場合、注目領域の外枠と信号機像の外枠との間のマージンから評価値を計算してもよい。注目領域の位置と信号機像の位置との位置関係が安定していても、注目領域の位置に対して信号機像の位置に偏りが生じている場合には、信号機情報に不確かさが含まれていることを意味する。ゆえに、ばらつき度合が所定値以下の場合は、マージンから評価値を計算することによって、信号機情報の確からしさについてより客観的な評価が可能となる。

注目領域計算処理では、コンピュータは、信号機情報に付された評価値が高いほど、評価値が低い場合に比較して、信号機情報から計算される注目領域の大きさを縮小してもよい。評価値が高いということは、カメラ画像内での注目領域の位置と信号機の位置とのずれは小さく位置関係も安定していることを意味するので、注目領域を縮小しても信号機が注目領域から外れてしまう可能性は小さい。注目領域の大きさを縮小することで、灯火と誤検出してしまう物標が注目領域内に入り込む余地を小さくし、信号機像の検出精度を高めることができる。

コンピュータは、評価処理による評価結果に基づいて信号機情報における信号機の横位置、高さ、或いは奥行き位置を修正するデータベース修正処理をさらに実行してもよい。注目領域の位置に対する信号機像の位置の偏りや時間によるばらつきは、信号機情報における信号機の位置と実際の信号機の位置とのずれに起因し、且つ、横位置、高さ、或いは奥行き位置のどの方向にずれているかによって注目領域の位置と信号機像の位置とのずれの態様が決まる。評価処理による評価結果を信号機データベースに反映することにより、注目領域の位置と信号機像の位置とのずれを解消することができる。

信号機情報は、信号機を構成する灯火の配置を含んでもよい。また、データベース修正処理では、コンピュータは、信号機像検出処理で検出された信号機像が信号機情報における灯火の配置と整合しない場合、信号機像に基づいて信号機情報における灯火の配置を修正してもよい。信号機の灯火の配置は、例えば交差点における交通ルールの変更等によって変更される場合がある。この処理によれば、実際の信号機の灯火の配置に合わせて信号機情報における灯火の配置を更新することができ、信号機データベースを最新の状態に保つことができる。

以上述べたように、本発明に係る信号機情報管理システムによれば、運転支援制御に用いて好適な信号機情報の有用性を向上させることができる。

本発明の実施の形態に係る運転支援制御システムの概要を説明するための概念図である。 本発明の実施の形態における信号機情報の一例を説明するための概念図である。 本発明の実施の形態におけるカメラ画像を説明するための概念図である。 信号機情報の精度が与える影響について説明するための概念図である。 本発明の実施の形態に係る運転支援制御システムの構成を示すブロック図である。 本発明の実施の形態に係る信号機情報管理システムの構成を示すブロック図である。 本発明の実施の形態におけるＲＯＩと信号機像との位置関係の一例を示す図である。 本発明の実施の形態におけるＲＯＩと信号機像との位置関係の他の例を示す図である。 本発明の実施の形態におけるＲＯＩと信号機像との位置関係の更に他の例を示す図である。 本発明の実施の形態におけるＲＯＩと信号機像との位置関係の更に他の例を示す図である。 本発明の実施の形態におけるＲＯＩと信号機像との位置関係の更に他の例を示す図である。 本発明の実施の形態に係る信号機情報管理システムにおける処理の流れを示すフローチャートである。 本発明の実施の形態に係るデータベース修正処理の一例を説明するための概念図である。 信号機の灯火配置の変更前と変更後の一例を示す図である。 本発明の実施の形態における信号機灯火の検出パターンの一例を示す図である。 本発明の実施の形態における評価値を含んだ信号機情報の一例を説明するための概念図である。 本発明の実施の形態に係る評価値の利用方法の一例を説明するための図である。 本発明の実施の形態に係る評価値の利用方法の他の例を説明するための図である。 本発明の実施の形態に係る評価値の利用方法の更に他の例を説明するための図である。 カメラ画像に映る誤検オブジェクトの一例を示す図である。 本発明の実施の形態に係る誤検オブジェクトに対する処理の一例を示す図である。 本発明の実施の形態に係る評価値に基づくカメラチューニングの一例を説明するための図である。 本発明の実施の形態に係る評価値に基づくカメラチューニングの他の例を説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に本発明が限定されるものではない。また、以下に示す実施の形態において説明する構造やステップ等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、本発明に必ずしも必須のものではない。

１．運転支援制御システムの概要
本実施の形態に係る信号表示推定システムは、運転支援制御システムの一部として構成される。図１は、本実施の形態に係る運転支援制御システム１０の概要を説明するための概念図である。運転支援制御システム１０は、例えばＳＡＥ（Society of Automotive Engineers）のレベル定義においてレベル３以上の自動運転レベルを実現することができる制御システムである。

運転支援制御システム１０は、運転支援制御装置３０を含む。運転支援制御装置３０は、車両１の運転を支援する運転支援制御を行う。典型的には、運転支援制御は、操舵制御、加速制御、及び減速制御のうち少なくとも１つを含む。そのような運転支援制御としては、自動運転制御（autonomous driving control）、パス追従制御（path-following control）、車線維持支援制御（lane tracing assist control）、衝突回避制御（collision avoidance control）、等が例示される。

運転支援制御システム１０は、情報取得装置２０を含む。運転支援制御では、情報取得装置２０により取得される各種の情報が利用される。情報取得装置２０は、車両１に搭載されたセンサやＶ２Ｘ通信を用いて各種情報を取得する。Ｖ２Ｘ通信には、例えば、Ｖ２Ｖ通信、Ｖ２Ｉ通信、Ｖ２Ｎ通信が含まれる。車載センサやＶ２Ｘ通信によって取得される情報には、車両１の位置を示す車両位置情報、車両１の状態を示す車両状態情報、車両１の周囲の状況を示す周辺状況情報、等が含まれる。それら各種情報の中でも、車両１の前方に位置する信号機ＳＧの信号表示は、運転支援制御において特に重要とされる情報の１つである。

運転支援制御システム１０は、信号表示識別装置４０を含む。信号表示識別装置４０は、情報取得装置２０で取得された情報、詳しくは、車載カメラによって撮像されたカメラ画像を処理し、記憶装置５０が有するデータベース５１の情報を利用して、車両１の前方に位置する信号機ＳＧの信号表示を識別する機能を有している。信号表示識別装置４０で識別された信号表示は、運転支援制御装置３０による運転支援制御において利用される。運転支援制御装置３０は、例えば、識別された信号表示に従って車両１を減速させたり、所定位置に停止させたり、再発進させたりすることを行う。

２．信号機情報
信号表示識別装置４０による信号表示の識別には、信号機情報が利用される。信号機情報は、信号機ＳＧに関する地図情報であり、信号機ＳＧの位置及び向きを示す。信号機情報が示す信号機の位置は、三次元空間中の絶対位置であり、絶対座標系（緯度、経度、高度）において定義される。信号機情報が示す信号機の向きは、三次元空間中の方向であり、単位ベクトルで定義される。信号機データベース５１は、そのような信号機情報の集合体である。図１に示すように、信号機データベース５１は記憶装置５０に格納されている。

図２は、本実施の形態における信号機情報の一例を説明するための概念図である。図２に示される例では、信号機情報は、信号機の位置（絶対位置［Ｘ，Ｙ，Ｚ］）と、信号機の向き（単位ベクトル｛ｅ_ｘ，ｅ_ｙ，ｅ_ｚ｝）と、信号機の灯火配置とを含んでいる。つまり、信号機ＳＧの位置、向き、及び灯火配置が、１つのデータセットを構成し、信号機データベース５１に登録されている。信号機の灯火配置としては、日本では、青、黄、赤の３色の円形の灯火が横一列に並んだ信号機が一般的である。しかし、上段に３色の灯火を有し、下段に進行許可方向を示す青矢印の灯火を有する信号機もまた一般的である。

３．信号表示識別処理
信号表示識別装置４０による信号表示識別処理の概要について説明する。図３は、本実施の形態におけるカメラ画像を説明するための概念図である。図３に示す例では、カメラ画像には、車両１の前方の信号機ＳＧ及び先行車両２が含まれている。図３において、信号機ＳＧは、横に一列に並んだ３つの灯火と外枠とで表現されている。なお、白丸で表現した灯火は、カメラ画像において消灯しているように見える灯火を意味し、黒丸で表現した灯火は、カメラ画像において点灯しているように見える灯火を意味している。図３に例示するカメラ画像では、青色灯火が点灯しているように見えている。

カメラ画像中に点線で示す枠は、信号表示識別処理において注目すべき画像領域（以下、ＲＯＩと表記する）、つまり、カメラ画像中において信号機が存在しうる領域である。カメラの三次元空間中の絶対位置は、車両１の三次元空間中の絶対位置に等しいとみなしてよく、これはＧＰＳ受信機より取得することができる。ＧＰＳ受信機より取得できるカメラの位置情報（車両の位置情報）と、信号機情報に含まれる信号機ＳＧの位置及び向きとを参照することによって、カメラの位置に対する信号機の位置及び方向よりＲＯＩを絞り込むことができる。また、信号機情報に含まれる信号機の灯火配置によりＲＯＩを調整することができる。このことは、信号機認識処理の精度及び安定性の向上だけでなく、信号表示識別処理に必要な計算量の削減にも大きく寄与する。信号表示識別装置４０は、カメラの位置情報と信号機データベース５１の信号機情報とに基づいてカメラ画像中の信号機が存在するらしい注目領域を計算し、カメラ画像中にＲＯＩを設定する。

信号表示識別装置４０は、設定したＲＯＩ毎にカメラ画像を切り出し、機械学習による画像処理により、切り出したＲＯＩ画像内で点灯している灯火を検出する。点灯している灯火は公知の機械学習による画像処理を用いることによって検出する。信号表示識別処理のための機械学習の方法には限定はない。例えば、ベイズ推定法や最尤推定法等の統計的パターン認識手法を用いてもよいし、ディープラーニングを用いてもよい。

信号表示識別装置４０は、点灯している灯火のＲＯＩ画像の中での位置を計算し、点灯している灯火の灯火色と位置から信号機の信号表示を識別する。信号表示とは、交通規則において定められた灯火色の表示である。灯火色は、基本的には、青、黄、赤の３色である。なお、進行許可の灯火色は色相としては「緑」であるが、日本の法令では、進行許可の「緑」を「青」と記述しているため、本明細書でも進行許可の灯火の色を「青」と記述する。信号機の信号表示には、複数の灯火色の組み合わせも含まれる。例えば、日本で採用されている上段に青、黄、赤の３色の灯火を有し、下段に青矢印の灯火を有する信号機の場合、青矢印の灯火は赤色灯火の点灯時に点灯する。

さて、図４には、図３と同様に、車載カメラによって撮像されたカメラ画像の例が示されている。しかし、図３に示す例ではＲＯＩの中に信号機ＳＧが収まっていたのに対し、図４に示す例では、ＲＯＩから信号機ＳＧがはみ出している。より正確に言うならば、信号機ＳＧの位置からずれた位置にＲＯＩが設定されている。信号機ＳＧの位置とＲＯＩの位置との間にずれが生じていると、信号機ＳＧの信号表示を識別することができなかったり、誤って識別してしまったりするおそれがある。

上記の問題は、ＲＯＩの設定に用いている信号機情報の品質に起因する。例えば、信号機の実際の位置よりも信号機情報における信号機の位置が車線幅方向にずれている場合、カメラ画像内でのＲＯＩの位置は信号機ＳＧの位置に対して横方向にずれる。また、信号機の実際の位置よりも信号機情報における信号機の位置が高さ方向にずれている場合、カメラ画像内でのＲＯＩの位置は信号機ＳＧの位置に対して縦方向にずれる。さらに、信号機の実際の位置よりも信号機情報における信号機の位置が車線奥行き方向にずれている場合、カメラ画像内でのＲＯＩの位置は信号機ＳＧの位置に対して定まらず規則的な動きをする。そこで、本実施の形態に係る運転支援制御システム１０には、信号機情報を管理する仕組みが取り入られている。

４．運転支援制御システムの構成
本実施の形態に係る運転支援制御システムの詳細な構成について図５を用いて説明する。図５は、本実施の形態に係る運転支援制御システム１０の構成を示すブロック図である。運転支援制御システム１０は、情報取得装置２０、制御装置１００、記憶装置５０、及び走行装置２００を備えている。

情報取得装置２０は、例えば、周辺状況センサ２１、車両位置センサ２４、車両状態センサ２５、通信装置２６、及びＨＭＩ（Human Machine Interface）ユニット２７を含む。これらは、制御装置１００に直接、或いは、車載ネットワーク（車両１内に構築されたＣＡＮ（Controller Area Network）等の通信ネットワーク）を介して電気的に結合されている。

周辺状況センサ２１は、車両１の周囲の状況を検出する。周辺状況センサ２１としては、カメラ２２、ミリ波レーダ、及びＬＩＤＡＲ等が例示される。カメラ２２は、車両１の進行方向前方の風景を撮像する。図５に示す構成では１台のカメラ２２が設けられているが、カメラの台数は複数台でもよい。ＬＩＤＡＲは、レーザビームを利用して車両１の周囲の物標を検出する。ミリ波レーダは、電波を利用して車両１の周囲の物標を検出する。

車両位置センサ２４は、車両１の位置及び方位を計測する。例えば、車両位置センサ２４は、ＧＰＳ受信機を含む。ＧＰＳ受信機は、複数のＧＰＳ衛星から送信される信号を受信し、受信信号に基づいて車両１の位置及び方位を算出する。

車両状態センサ２５は、車両１の状態に関する情報を取得する。車両１の状態に関する情報は、車両１の速度、加速度、舵角、ヨーレート、等を含む。更に、車両１の状態に関する情報は、車両１のドライバによる運転操作も含む。運転操作は、アクセル操作、ブレーキ操作、及び操舵操作を含む。

通信装置２６は、車両１の外部と通信（Ｖ２Ｘ通信）を行って各種情報を取得する。例えば、通信装置２６は、通信ネットワークとの間でＶ２Ｎ通信を行う。通信装置２６は、周囲のインフラとの間でＶ２Ｉ通信を行ってもよい。通信装置２６は、周辺車両との間でＶ２Ｖ通信を行ってもよい。

ＨＭＩユニット２７は、ドライバに情報を提供し、また、ドライバから情報を受け付けるためのインタフェース装置である。具体的には、ＨＭＩユニット２７は、入力装置と出力装置を有している。入力装置としては、タッチパネル、スイッチ、マイク、等が例示される。出力装置としては、表示装置、スピーカ、等が例示される。

走行装置２００は、車両２を操舵するための操舵アクチュエータ、車両２を減速させるための制動アクチュエータ、及び車両２を加速させるための駆動アクチュエータを含んでいる。操舵アクチュエータには、例えば、モータ或いは油圧を用いたパワーステアリングシステムや、ステアバイワイヤ操舵システムが含まれる。制動アクチュエータには、例えば、油圧ブレーキや、電力回生ブレーキが含まれる。駆動アクチュエータには、例えば、エンジン、ＥＶシステム、ハイブリッドシステム、燃料電池システム等が含まれる。これらのアクチュエータは、制御装置１００に直接、或いは、車載ネットワークを介して電気的に結合されている。

制御装置１００は、プロセッサ１１０とメモリ１４０とを有するＥＣＵ（Electronic Control Unit）である。メモリ１４０には、少なくとも一つのプログラム（コンピュータにより実行可能なプログラム）やデータが記憶された不揮発性メモリと、プロセッサ１１０の演算結果や各センサから取得した情報を一時的に記憶する揮発性メモリとが含まれる。メモリ１４０に記憶されたプログラムは、プロセッサ１１０により実行されることで、プロセッサ１１０を運転支援制御装置３０、信号表示識別装置４０、及び信号機情報管理装置６０として動作させる。なお、制御装置１００を構成するＥＣＵは、複数のＥＣＵの集合であってもよい。

記憶装置５０は、信号機データベース５１を含む。記憶装置５０は、車両１に搭載され、制御装置１００に直接、或いは、車載ネットワークを介して電気的に結合されている。ただし、記憶装置５０は車両１の外部に配置されてもよい。例えば、インターネット上に記憶装置５０が配置され、無線通信を介して制御装置１００に結合されてもよい。

５．信号機情報管理システムの構成
次に、運転支援制御システム１０の一部を構成する信号機情報管理システムの詳細な構成について図６を用いて説明する。図６は、本実施の形態に係る信号機情報管理システム７０の構成を示すブロック図である。信号機情報管理システム７０は、カメラ２２、信号機情報管理装置６０、及び信号機データベース５１を備えている。

信号機情報管理装置６０は、所定のプログラムの実行時にプロセッサ１１０（図５参照）により実現される機能の１つである。信号機情報管理装置６０は、さらに複数の機能に分けることができる。信号機情報管理装置６０が有するそれぞれの機能は、位置情報取得部２１０、ＲＯＩ設定部２２０、信号機像検出部２３０、データベース評価部２４０、及ぶデータベース修正部２５０として表される。

位置情報取得部２１０は、カメラ２２の位置情報を取得する。位置情報は三次元空間中のカメラ２２の絶対位置であり、ＧＰＳ受信機より取得される車両１の位置情報に等しい。

ＲＯＩ設定部２２０は、信号機データベース５１の信号機情報と、位置情報取得部２１０で取得したカメラ２２の位置情報とを取り込む。そして、それらの情報に基づいてカメラ画像中の信号機が存在するらしい注目領域を計算する注目領域計算処理を実行し、ＲＯＩを設定する。

信号機像検出部２３０は、ＲＯＩに含まれる信号機像を検出する信号機像検出処理を実行する。詳しくは、信号機像検出部２３０は、ＲＯＩ設定部２２０で設定されたＲＯＩ毎にカメラ２２で撮像されたカメラ画像を切り出す。そして、機械学習による画像処理により、切り出したＲＯＩ画像内で点灯している灯火を検出する。或いは、点灯している灯火と消灯している灯火の両方を検出する。消灯している灯火は黒色灯火として検出できる場合がある。信号機における灯火の配置は既知であるので、ＲＯＩ画像内で点灯している灯火の色と位置とが分かれば、それを基準にして信号機像を検出することができる。信号機を構成する灯火の列を信号機像として捉えてもよいし、灯火の列から計算或いは推定される信号機ハウジングを信号機像として捉えてもよい。

データベース評価部２４０は、ＲＯＩ設定部２２０で設定されたＲＯＩのカメラ画像中の位置情報と、信号機像検出部２３０で検出された信号機像のカメラ画像中の位置とを取り込む。そして、両者の位置情報を比較し、その比較に基づいて信号機データベース５１の信号機情報の確からしさを評価する。確からしさ（certainty）は、尤度（likelihood）、確度（accuracy）、信頼度（reliability）、或いは有効性（availability）と言い換えることもでき、数値化することができる。データベース評価部２４０が行う評価処理の詳細については後述する。

データベース修正部２５０は、データベース評価部２４０による評価結果に基づいて、信号機データベース５１の信号機情報を修正する。データベース修正部２５０が行うデータベース修正処理の詳細については後述する。

６．評価処理
以下、本実施の形態に係る評価処理の詳細について説明する。図７乃至図１１は、本実施の形態におけるＲＯＩと信号機像との位置関係の例を示す図である。各図において、実線の長方形枠はＲＯＩを示し、一点鎖線の長方形枠は信号機像を示し、実線の円は点灯している灯火を示し、点線の円は消灯している灯火を示している。また、灯火のＲは赤色灯火を示し、Ｙは黄色灯火を示し、Ｇは青色灯火を示している。なお、各図では、灯火の位置及び色から計算される信号機ハウジングの外枠が信号機像として検出されているものとする。

図７に示す例では、信号機像はＲＯＩの略中央に位置し、時間による位置の変化も生じていない。このことは信号機情報の信号機の位置、詳しくは、横位置、高さ、奥行き位置の全てが正確であることを意味している。ゆえに、図７に示す例に対しては、信号機情報の確からしさに関して高い評価が与えられる。確からしさを数値化したものが評価値である。評価値を０から１００までの整数とすると、図７に示す例に対しては、例えば、１００点の評価値を与えることができる。

図８に示す例では、ＲＯＩに対する信号機像の時間による位置の変化は生じていない。しかし、信号機像の位置はＲＯＩの中央から右上側にずれており、信号機像の外枠とＲＯＩの外枠との間のマージンに左右で差が生じ、上下でも差が生じている。このことは、信号機情報の信号機の位置のうち奥行き位置は正確であるが、横位置と高さが実際から外れていることを意味している。ゆえに、図８に示す例に対しては、信号機情報の確からしさに関して、図７に示す例よりも低い評価が与えられる。この場合の評価値は、信号機像の外枠とＲＯＩの外枠との間のマージンに応じて計算される。つまり、信号機像がＲＯＩの中央に位置しているときのマージンを基準にして、左右のマージンのずれが大きいほど、また、上下のマージンのずれが大きいほど、評価値を低下させることが行われる。図８に示す例に対しては、例えば、８０点から９９点までの評価値を与えることができる。

図９に示す例では、ＲＯＩの位置に対する信号機像の位置は時間により変化している。ただし、その変化は規則的であり、信号機像はＲＯＩの中を略一方向に移動している。このことは、信号機情報の信号機の位置のうち少なくとも奥行き位置が実際から外れていることを意味している。ゆえに、図９に示す例に対しては、信号機情報の確からしさに関して、図８に示す例よりもさらに低い評価が与えられる。この場合、ＲＯＩの位置に対する信号機像の位置の複数フレーム分のばらつき度合（例えば、分散又は標準偏差）が計算され、そのばらつき度合から評価値が計算される。具体的には、ＲＯＩに対する信号機像の位置が安定している場合を基準にして、ばらつき度合が大きいほど評価値を低下させることが行われる。図９に示す例に対しては、例えば、５０点から７９点までの評価値を与えることができる。

図１０に示す例では、ＲＯＩの位置に対する信号機像の位置は時間により変化している。しかも、その変化は不規則である。このような例では、信号機の灯火と街灯等の信号機でない灯火の両方が検出されている可能性が高い。また、信号機の灯火のハレーションにより赤色と黄色がハンチングし、それによりカメラ画像内の同位置で灯火色が切り替わる結果、信号機像が不規則な動きをしているように見える場合もある。この場合、一部の灯火を無視すればＲＯＩの位置に対する信号機像の位置の変化が規則的になるのであれば、その灯火を無視してばらつき度合を計算し、ばらつき度合から評価値を計算することができる。図１０に示す例に対しては、例えば、１０点から４９点までの評価値を与えることができる。ただし、一部の灯火を無視したところで不規則性を解消できないのであれば、評価値として最低点である０点が与えられる。

図７乃至図１０で例示した評価処理では、カメラ画像にて一つの灯火が検出されたら、その灯火の色と位置から信号機像を検出している。しかし、より精度の高い評価を行うのであれば、信号機を構成する全ての灯火を検出し、それら灯火の色と位置とが信号機情報における灯火配置と一致するかどうか判定してもよい。図１１に示す例では、ある信号機の信号機情報として、青、黄、赤の３色の灯火が横一列に並んだ灯火配置が登録されている。そして、車両が当該信号機を１回目に通過したときに、青色灯火の点灯、青色灯火の点灯、そして黄色灯火の点灯が検出され、車両が当該信号機を２回目に通過したときに、赤色灯火の点灯、赤色灯火の点灯、そして赤色灯火の点灯が検出されている。これら検出された灯火は全て同一の信号機像の中に入るので、当該信号機の信号機情報に対して高い評価値を与えることができる。

以上説明した本実施の形態に係る信号機情報管理システム７０による評価処理までの流れは、図１２のフローチャートのようにまとめることができる。

ステップＳ１０では、信号機情報管理装置６０は、信号機データベース５１から読みだした信号機の信号機情報と、ＧＰＳで得られたカメラの位置情報とに基づいて、カメラに対する信号機の相対的な位置及び向きを計算し、カメラ画像中にＲＯＩを設定する。

ステップＳ２０では、信号機情報管理装置６０は、ステップＳ１０で設定したＲＯＩに合わせてカメラ画像を切り出し、機械学習による画像処理を用いて、切り出したＲＯＩ内で点灯している灯火を検出する。信号機情報管理装置６０は、点灯している灯火のＲＯＩ画像の中での位置を計算し、点灯している灯火の灯火色と位置から信号機像を検出する。

ステップＳ３０では、信号機情報管理装置６０は、ステップＳ２０で検出した信号機像の評価値を計算する。まず、信号機情報管理装置６０は、ＲＯＩの位置に対する信号機像の位置の複数フレーム分のばらつき度合を計算する。計算したばらつき度合が小さく、ＲＯに対する信号機像の相対位置が安定している場合には、次に、信号機像とＲＯＩとの間のマージンを計算する。そして、計算したばらつき度合とマージンとに基づいて評価値を計算する。

７．データベース修正処理
次に、本実施の形態に係るデータベース修正処理の詳細について説明する。前述の評価処理を実行することによって、信号機毎に信号機データベース５１の信号機情報の確からしさが判明する。データベース修正処理では、評価処理で得られた信号機情報の確からしさを示す評価値に基づいて、信号機データベース５１の修正が行われる。詳しくは、図１３に示すように、信号機情報における横位置、高さ、奥行き位置の何れかの修正が行われる。図１３に示す例では、元の位置が［Ｘ１，Ｙ１，Ｚ１］である信号機について、横方向位置がΔｘだけ増加されて［Ｘ１＋Δｘ，Ｙ１，Ｚ１］の位置に修正されている。

信号機データベース５１の修正が行われるのは、図８に示す例や図９に示す例のように、ＲＯＩの位置と信号機像の位置との間にずれが生じている場合である。図８に示す例の場合、つまり、評価値が８０点から９９点までの場合、信号機像の外枠とＲＯＩの外枠との間のマージンに応じて信号機情報における横位置と高さを修正することによって、ＲＯＩの位置と信号機像の位置との間のずれを抑えることができる。図９に示す例の場合、つまり、評価値が５０点から７９点までの場合、まずは、信号機情報における奥行き位置を修正することによって、ＲＯＩに対する信号機像の位置を安定させることができる。次に、信号機像の外枠とＲＯＩの外枠との間のマージンに応じて信号機情報における横位置或いは高さを修正することによって、ＲＯＩの位置と信号機像の位置との間のずれを抑えることができる。

図７に示す例や図１０に示す例では、信号機データベース５１の修正は行われない。図７に示す例の場合、つまり、評価値が１００点の場合、ＲＯＩに対する信号機像の位置は安定し、信号機像はＲＯＩの略中央に位置しているので、信号機データベース５１の修正を行う必要は無い。一方、図１０に示す例の場合、つまり、評価値が０点から４９点までの場合、原因が不明確であり、オンラインによる信号機データベース５１の修正は困難であるので、管理者に対して評価値と異常通知が通知される。

信号機データベース５１の修正は、元々の信号機情報の精度に問題があった場合に加え、信号機の移設や灯火配置の変更によって、事後的に信号機情報と実際との間にずれが生じた場合にも行われる。図１４は、３色の灯火を有する信号機が、上段に３色の灯火を有し下段に青矢印の灯火を有する信号機に置き換えられたケースを示している。各灯火配置は予めテンプレートとして用意されている。

図１５は、このような信号機において検出される灯火の色と配置の時間による変化を示している。検出された灯火の色と配置が信号機情報における灯火配置と一致せず、且つ、検出された灯火間の位置関係が閾値時間以上の観測で同じ位置関係を保っている場合、灯火配置が変更されたと判断される。図１５に示す例では、信号機像の枠外に青色灯火が検出され、枠内の赤色灯火と枠外の青色灯火が同時に点灯している状態が閾値時間以上観測されているので、灯火配置が変更されたと判断することができる。灯火配置の変更が判明した場合には、新たに検出された灯火の色と配置と一致するテンプレートが検索され、そのテンプレートに従って信号機情報における灯火配置が更新される。つまり、実際の信号機の灯火の配置に合わせて、信号機情報における灯火の配置が更新される。これにより、信号機データベース５１は最新の状態に保たれる。

８．評価値を含む信号機情報
評価処理において計算された評価値は、信号機情報に加えることもできる。図１６は、本実施の形態における評価値を含む信号機情報の例を説明するための概念図である。図１６に示される例では、信号機情報は、信号機の位置（絶対位置［Ｘ，Ｙ，Ｚ］）と、信号機の向き（単位ベクトル｛ｅ_ｘ，ｅ_ｙ，ｅ_ｚ｝）と、信号機の灯火配置とに加え、信号表示に与えられた評価値を含んでいる。つまり、図１６に示す例では、信号機の位置、向き、灯火配置、及び評価値が、１つのデータセットを構成し、信号機データベース５１に登録されている。

９．評価値の利用例
９－１．信号表示の選択
例えば、交差点には複数の信号機が存在するが、信号表示識別装置４０は、信号機毎に信号表示を識別する。その際、信号機データベース５１から各信号機の信号機情報を読み出し、評価値が高い信号表示を優先的に利用することにすれば、運転支援制御をより高精度に実施することが可能となる。言い換えれば、評価値も考慮に入れて信号機情報を適切に利用することによって、運転支援制御の精度を向上させることができる。

９－２．ＲＯＩのサイズ変更
信号機データベース５１の信号機情報が評価値を含む場合、その評価値はＲＯＩの設定（注目領域計算処理）において利用することができる。例えば、評価値が所定値以上の場合、図１７に示すように、観測時間に比例してＲＯＩのサイズを縮小してもよい。そして、最終的なＲＯＩの縮小率を評価値が高いほど大きくしてもよい。評価値が高いということは、ＲＯＩに対する信号機像の位置は安定しており、信号機像とＲＯＩとの間の左右及び上下のマージンのずれは小さいことを意味している。ゆえに、評価値が高いほど、ＲＯＩの縮小率を大きくしても信号機像がＲＯＩから外れてしまう可能性は小さい。ＲＯＩのサイズを縮小することで、灯火と誤検出してしまう物標がＲＯＩの中に入り込む余地を小さくし、信号機像の検出精度を高めることができる。

ＲＯＩのサイズを変更する場合には、そのサイズに応じて信号表示の識別処理の方法を変更してもよい。例えば、ＲＯＩのサイズが閾値以上の場合には、ディープラーニングを用いた画像処理を行い、ＲＯＩのサイズが閾値未満の場合には、予め要した灯火配置テンプレートと一致する点灯灯火を検出するようにしてもよい。ＲＯＩのサイズが信号機像のサイズと略同じまで縮小されている場合には、色の識別は行わずに、単に輝度が閾値を超えているかどうかによって灯火の点灯を検出するようにしてもよい。

９－３．ＲＯＩの位置変更
信号機像とＲＯＩとの間の左右或いは上下のマージンのずれが大きい場合は、ＲＯＩを大きく縮小することはできない。その場合、図１８に示すように、信号機像とＲＯＩとの安定した位置関係を閾値回数以上観測した段階で、信号機像がＲＯＩの中央にくるようにＲＯＩを左右或いは上下にオフセットしてもよい。図１８に示す例では、ＲＯＩは右方向と上方向とにそれぞれオフセットされている。なお、ＲＯＩの位置変更によって信号機像とＲＯＩとの間の左右及び上下のマージンのずれを小さくした後、ＲＯＩに対して上記のサイズ変更を続けて行ってもよい。

９－４．非灯火物標の排除
評価値が高い場合、ＲＯＩに対する信号機像の位置は安定している。ゆえに、評価値が高いはずの信号機において、検出した灯火の位置から計算した信号機像がＲＯＩから外れている場合、その灯火は信号機のものではない可能性が高い。例えば、図１９に示す例では、過去の２フレームでは赤色灯火の点灯が検出されていたが、現在時刻では赤色灯火の点灯が検出されている。しかし、検出された青色灯火の位置は、本来赤色灯火が点灯している位置である。この例の場合、信号機の前をトラックが横切ったときに、その側面の電飾を青色灯火として誤検出してしまった可能性が高い。ゆえに、現在時刻で検出された青色灯火は非灯火物標であるとして棄却することができる。

９－５．誤検オブジェクトの登録
図２０は、カメラ画像に映る誤検オブジェクトの一例を示す図である。図２０に示す例では、青色灯火と黄色灯火とが映っている。青色灯火はＲＯＩの中に位置し、その位置の時間による変化は小さい。一方、黄色灯火はフレーム毎に位置が変化し、ＲＯＩからもはみ出している。このように灯火配置が信号機情報と一致せず、且つ、検出灯火が複数存在し、それらの位置関係が不規則な場合、ＲＯＩの中の位置が安定している灯火の方を信号灯火として扱い、そうでない灯火を誤検オブジェクトとして信号機データベース５１に登録する。

図２０に示す例では、青色灯火は、ＲＯＩ中の位置が安定しているので信号灯火として判定される。黄色灯火は３点測量により位置を計算され、信号機データベース５１に誤検オブジェクトとしてその位置を登録される。信号機データベース５１を用いた信号表示の識別時には、図２１に示すように、登録された誤検オブジェクトの存在領域にマスクが施される。このマスクによって黄色灯火は検出されなくなり、誤検オブジェクトの影響による信号表示の識別精度の低下は抑えられる。

９－６．カメラの性能評価
図２２に示す例では、灯火の検出と未検出が繰り返されている。この場合、灯火が検出された時刻における検出場所の生画像において、輝度の増減（灯火の明滅）があれば、カメラはフリッカーの影響を大きく受けていると評価することができる。フリッカーの影響が大きいのであれば、カメラの露光時間を大きくすることで、フリッカーの影響を弱めることができる。

図２３に示す例では、検出された灯火の位置はフレーム間で同じであるが、フレームが変わるたびに灯火色が変わっている。この場合、カメラはハレーションの影響を大きく受けていると評価することができる。ハレーションの影響の大きさは、例えば、灯火色の識別結果におけるハンチングの有無（図２３に示す例のような赤色と黄色の繰り返し）や、灯火の検出部分の色の平均値の変化や、灯火中心部と灯火外縁部の色の平均値の差から判断することができる。ハレーションの影響が大きいのであれば、カメラのゲインや絞りを変更することで、ハレーションの影響を弱めることができる。

上述のカメラの性能評価は、いずれも評価値が高く、ＲＯＩに対する信号機像の位置が安定していることを前提にしている。また、評価値が高い場合には、ハレーションの影響が大きい場合であっても、灯火の識別結果を補正することができる。具体的には、灯火色の識別結果に赤色と黄色とでハンチングが生じており、それがハレーションの影響によるものと判断できる場合である。検出された灯火がＲＯＩ画像の右寄りに位置しているのであれば、識別された色が赤色か黄色かによらず、その灯火は赤色灯火と判定することができる。一方、その灯火がＲＯＩ画像の中央に位置しているのであれば、識別された色が赤色か黄色かによらず、その灯火は黄色灯火と判定することができる。

なお、ＲＯＩのサイズを小さくしても高い評価値が得られている場合には、輝度が閾値を超えるピクセルがどのバルブ領域に多いか判断することによって灯火を検出し、検出した灯火に対して上述のフリッカーによる影響の評価や、ハレーションによる影響の評価を実施してもよい。また、カメラが複数台搭載されている場合において、カメラ間で評価値に差がある場合には、評価値が高いカメラだけを性能評価の対象にしてもよい。

１ 車両
１０ 運転支援制御システム
２０ 情報取得装置
２２ カメラ
３０ 運転支援制御装置
４０ 信号表示識別装置
５０ 記憶装置
５１ 信号機データベース
６０ 信号機情報管理装置
７０ 信号機情報管理システム
１１０ プロセッサ
１４０ メモリ
２１０ 位置情報取得部
２２０ ＲＯＩ設定部
２３０ 信号機像検出部
２４０ データベース評価部
２５０ データベース修正部

Claims (6)

1. 車両に取り付けられ進行方向前方の風景を撮像するカメラと、
   前記カメラに結合されたコンピュータと、
   前記コンピュータに結合された記憶装置と、を備え、
   前記記憶装置は、
   信号機の位置を示す信号機情報を含む信号機データベースを含み、
   前記コンピュータは、
   前記車両の位置情報と前記信号機情報とに基づいて、前記カメラで撮像された画像中の信号機が存在するらしい注目領域を計算する注目領域計算処理と、
   前記注目領域に含まれる信号機像を検出する信号機像検出処理と、
   前記注目領域計算処理で計算された前記注目領域の位置と、前記信号機像検出処理で検出された前記信号機像の位置とを比較し、その比較に基づいて前記信号機情報の確からしさを評価する評価処理と、を実行する
   ことを特徴とする信号機情報管理システム。
2. 前記コンピュータは、前記評価処理では、
   前記注目領域計算処理と前記信号機像検出処理とを異なる時間に複数回実施し、
   複数回の実施で得られたデータを用いて前記注目領域の位置に対する前記信号機像の位置のばらつき度合を計算し、
   前記ばらつき度合から前記信号機情報の確からしさを示す評価値を計算する
   ことを特徴とする請求項１に記載の信号機情報管理システム。
3. 前記コンピュータは、前記評価処理では、
   前記ばらつき度合が所定値以下の場合、前記注目領域の外枠と前記信号機像の外枠との間のマージンから前記評価値を計算する
   ことを特徴とする請求項２に記載の信号機情報管理システム。
4. 前記コンピュータは、前記注目領域計算処理では、
   前記信号機情報に付された前記評価値が高いほど、前記評価値が低い場合に比較して、前記信号機情報から計算される前記注目領域の大きさを縮小する
   ことを特徴とする請求項３に記載の信号機情報管理システム。
5. 前記コンピュータは、
   前記評価処理による評価結果に基づいて前記信号機情報における前記信号機の横位置、高さ、或いは奥行き位置を修正するデータベース修正処理をさらに実行する
   ことを特徴とする請求項１乃至４の何れか１項に記載の信号機情報管理システム。
6. 前記信号機情報は、前記信号機を構成する灯火の配置を含み、
   前記コンピュータは、データベース修正処理では、
   前記信号機像検出処理で検出された前記信号機像が前記信号機情報における前記灯火の配置と整合しない場合、前記信号機像に基づいて前記信号機情報における前記灯火の配置を修正する
   ことを特徴とする請求項５に記載の信号機情報管理システム。

Images