JP7409257B2 - 信号機認識装置、信号機認識方法、車両制御装置 - Google Patents

Description

本開示は、カメラを用いて道路沿いに設置された信号機を検出する技術に関する。

特許文献１には、地図データを用いて信号機の位置を推定するとともに、当該信号機の推定位置に対応する画像領域に対して画像認識処理を行うことにより、信号機を検出する方法が開示されている。信号機の推定位置は、自車両の推定位置と地図データとから算出される。また、特許文献１には、信号機の検出領域として設定した画像領域内に信号機が発見されなかった場合には、検出領域とする画像領域を遠方側、換言すれば画像下側にスライドさせて再探索する構成が開示されている。

特許第６３３１８１１号公報

例えば夜間では、信号機の筐体が画像に写らずに、点灯している灯火部分しか画像に写らないことがある。そのように信号機の筐体が写っていない場合、画像認識処理では、信号機としての灯火装置とその他の灯火装置との区別がつきにくく、信号機を検出することが難しい。その他の灯火装置とは、街灯や、先行車のテールランプ、対向車のヘッドライト、光を発する商業看板などである。

特許文献１では、信号機としての灯火装置が、他の灯火装置と識別可能な状態で撮像されていることを前提としている。換言すれば、特許文献１では、信号機が他の灯火装置と識別困難な状況は想定されていない。特許文献１では、検出領域内に複数の灯火装置（換言すれば光源）が検出された場合には、どれが本当の信号機に相当するのかを識別することができない。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、信号機の検出精度を向上可能な信号機認識装置、信号機認識方法、及び、車両制御装置を提供することにある。

その目的を達成するための信号機認識装置は、一例として、車両の周辺に存在する信号機を認識するための信号機認識装置であって、車両の位置を取得する車両位置取得部（Ｆ１、Ｆ５）と、車両位置取得部が取得した車両の位置に基づき、地図データに登録されている、信号機の位置である地図上信号機位置を取得する地図上位置取得部（Ｆ２）と、車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得部（Ｆ３）と、地図上位置取得部が取得した地図上信号機位置と観測位置取得部が取得した観測灯火位置の差である近接度に基づいて、灯火装置が信号機であるか否かを判定する信号機認識部（Ｆ７１）と、を備え、地図データに登録されている信号機までの残り距離が所定の限界距離未満となっても、当該信号機に対応する灯火装置を特定できていない場合には、地図に登録されている信号機の検出に失敗したことを示すエラー信号を地図サーバに送信するように構成されている。

以上の構成では、検出された灯火装置が信号機かどうかの判断材料として、近接度が使用される。このような構成によれば検出された灯火装置が信号機であるかどうかの判断が難しい場合であっても、その判断精度を高めることができる。また、灯火装置が複数検出されている場合であっても、灯火装置毎の近接度を比較することにより、信号機に相当する灯火装置を特定可能となる。よって、信号機の検出精度を向上させることができる。

また上記目的を達成するための信号機認識方法は、少なくとも１つのプロセッサ（２１）によって実行される、車両の周辺に存在する信号機を認識するための信号機認識方法であって、車両の位置を取得する車両位置取得ステップ（Ｓ１０１）と、車両位置取得ステップで取得した車両の位置に基づき、地図データに登録されている、信号機の位置である地図上信号機位置を取得する地図上位置取得ステップ（Ｓ１０２）と、車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得ステップ（Ｓ１０３）と、地図上位置取得ステップで取得した地図上信号機位置と観測位置取得ステップで取得した観測灯火位置の差である近接度に基づいて、灯火装置が信号機であるか否かを判定する信号機認識ステップ（Ｓ１０７）と、地図データに登録されている信号機までの残り距離が所定の限界距離未満となっても、当該信号機に対応する灯火装置を特定できていない場合には、地図に登録されている信号機の検出に失敗したことを示すエラー信号を地図サーバに送信するステップと、を含む。

上記構成によれば、信号機認識装置と同様の作用効果により、信号機の検出精度を向上させることができる。

さらに上記目的を達成するための車両制御装置は、車両の周辺に存在する信号機の認識状態に応じた車両制御を実施する車両制御装置であって、車両の位置を取得する車両位置取得部（Ｆ１、Ｆ５）と、車両位置取得部が取得した車両の位置に基づき、地図データに登録されている、信号機の位置である地図上信号機位置を取得する地図上位置取得部（Ｆ２）と、車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得部（Ｆ３）と、地図上位置取得部が取得した地図上信号機位置と観測位置取得部が取得した観測灯火位置の差である近接度に基づいて、灯火装置が信号機であるか否かを判定する信号機認識部（Ｆ７１）と、を備え、車両から地図上信号機位置までの残り距離が所定の限界距離未満となっても信号機を認識できていない場合には、車両制御が実行されないことをユーザに通知するとともに、車両から地図上信号機位置までの残り距離が、限界距離よりも大きい所定の中止予告距離となっても信号機を認識できていない場合には、車両制御が実行されない可能性があることをユーザに予告するように構成されている。

上記の車両制御装置は、上述した信号機認識装置としての構成を含む。故に、上記構成によれば、信号機の検出精度を向上できるとともに、当該認識状態に応じた車両制御を実施可能となる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

地図連携システム１００の全体構成を説明するための図である。 車両制御システム１の構成を示すブロック図である。 前方カメラ１１の構成を示すブロック図である。 運転支援ＥＣＵ２０の構成を示すブロック図である。 運転支援ＥＣＵ２０が実行する信号機通過支援処理のフローチャートである。 運転支援ＥＣＵ２０の作動を説明するための図である。 見なし閾値Ｄｔｈの調整例を示す図である。 車両制御システム１と地図サーバ３との相互作用を説明するための図である。 路側機から送信された信号機情報を用いる構成を説明するための図である。 システム構成の変形例を示す図である。

図面を参照しながら本開示にかかる車両制御システム１の実施形態について説明する。なお、以下では、左側通行が法制化されている地域を例に挙げて説明を行う。右側通行が法制化されている地域では、左右を逆とすればよい。また、以降における信号機の青色灯火は通行を許可する点灯状態を示し、黄色及び赤色灯火は停車を指示する点灯状態を示すものとする。信号機には、矢印を表示する灯火装置を含めることができる。本開示は、車両制御システム１が使用される地域の法規や慣習に適合するように適宜変更して実施することができる。

＜全体構成の概要＞
図１は、本開示に係る車両制御システム１を含む地図連携システム１００の概略的な構成の一例を示す図である。図１に示すように、地図連携システム１００は、車両Ｍａに構築されている車両制御システム１と、地図サーバ３と、を備える。なお、図１では車両制御システム１を搭載した車両Ｍａを１台しか図示していないが、車両制御システム１を搭載した車両Ｍａは複数存在しうる。すなわち、地図連携システム１００を構成する車両は複数存在しうる。

車両制御システム１は、道路上を走行可能な多様な車両Ｍａに搭載可能である。車両Ｍａは、四輪自動車のほか、二輪自動車、三輪自動車等であってもよい。原動機付き自転車も二輪自動車に含めることができる。車両Ｍａは、個人によって所有されるオーナーカーであってもよいし、カーシェアリングサービスや車両貸し出しサービス（いわゆるレンタカー）に供される車両であってもよい。また、車両Ｍａは、サービスカーであってもよい。サービスカーには、タクシーや路線バス、乗り合いバスなどが含まれる。タクシーやバスは、運転手が搭乗していない、ロボットタクシーなどであってもよい。

以降における自車両とは以降では車両制御システム１が搭載されている１つの車両Ｍａを指す。自車両の運転席に着座している乗員（つまり運転席乗員）をユーザとも記載する。運転席乗員の概念には、自車両を遠隔操作する権限を有する存在であるオペレータも含まれる。なお、以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。

車両制御システム１は地図サーバ３と無線通信を実施することにより、地図サーバ３から局所的な高精度地図データである部分地図データをダウンロードして、運転支援や、自動運転、ナビゲーションに使用する。

＜地図データについて＞
ここではまず地図サーバ３が保有する地図データについて説明する。地図データは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。地図データは、道路ネットワークデータ、レーンネットワークデータ、地物データ、静的ＰＯＩデータ、及び動的ＰＯＩデータを備える。各データは階層的に構成されている。道路ネットワークデータは、道路リンク毎のリンクＩＤ、リンク長、レーン数、道路属性、及び接続ノード情報（例えばノードＩＤ）と、道路ノードごとのノードＩＤ、位置座標、接続リンク情報（例えばリンクＩＤ）と、を含む。

道路属性には、例えば、道路名称、道路種別、道路幅員、車線数を表す車線数情報、及び、速度規制値等が含まれる。リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれていてもよい。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。リンクデータには、自律走行が許容される道路であるか否かを示す属性情報を含んでもよい。

レーンネットワークデータは、レーンＩＤ、レーンレベルでのリンクＩＤ、リンク長、及び接続ノード情報と、レーンノードごとのノードＩＤ、位置座標、接続リンク情報（例えばリンクＩＤ）と、を含む。レーンネットワークデータが備えるレーンレベルでのリンク情報は、道路ネットワークデータが備える道路リンクと対応付けられている。

地物データは、道路端データ、路面標示データ、及び立体物データを含む。道路端データは道路端の位置を示す座標点群を含む。

路面標示データは、路面標示の設置位置及びその種別を示すデータである。路面標示とは、道路の交通に関する規制または指示のための路面に描かれたペイントを指す。路面標示は、１つの側面において、路面ペイントと呼ぶことができる。例えば、レーンの境界を示す車線区画線や、横断歩道、停止線、導流帯、安全地帯、規制矢印などが路面標示に含まれる。道路名称を示す路面ペイントも路面標示に含めることができる。路面に付与された線、記号、及び文字が路面標示に相当する。また、路面標示には、ペイントだけなく、路面自体の色の違いや、道路鋲、石などによって形成された線、記号、文字を含めることができる。

路面標示データは、車線区画線についてのデータである区画線データと、その他の路面標示についてのデータである点在路面標示データを含む。区画線データが道路に沿って連続的に延設される線状の標示についてのデータであるのに対し、点在路面標示データは、例えば一時停止線や制限速度標示など、必要な個所に点在している路面標示についてのデータである。点在路面標示データは、区画線以外の所定の路面標示の設置位置及びその種別を示す。

区画線データは、車線区画線についてのデータである。車線区画線には、チャッターバーやボッツドッツなどの道路鋲によって実現されるものも含まれる。区画線データは、車線区画線ごとの区画線ＩＤ、及び、設置部分を表す座標点群を備える。区画線データは、破線や実線、道路鋲などといったパターン情報を含む。車線区画線は、レーンマークあるいはレーンマーカーとも称される。以降における区画線とは、レーンの境界線をさす。区画線には、車道外側線や、中央線（いわゆるセンターライン）などを含めることができる。道路端データ及び区画線データは、例えばレーンＩＤやレーンレベルでのリンクＩＤといったレーン情報と対応付けられている。道路端や区画線の位置及び形状情報は３次スプライン曲線で表現されていてもよい。

立体物データは、道路沿いに設置された立体的な構造物の位置及び種別を表す。道路沿いに設置される立体構造物とは、例えば、交通標識、商業看板、ポール、ガードレール、縁石、樹木、電柱、信号機などである。交通標識とは、例えば規制標識や、案内標識、警戒標識、指示標識などとして作用する記号、文字列、及び図柄の少なくとも１つが付与された看板を指す。案内標識には、方面看板や、地域名称を示す地域名称看板、道路名を示す道路名称看板、高速道路の出入口やサービスエリア等を予告する予告看板などが含まれる。各立体構造物の形状および位置は、例えば座標点群によって表現されている。道路沿いに設置される上記の構造物の一部又は全部、及び、一時停止線などの所定の路面標示は、後述するランドマークとして使用される。つまり、地図データは、ランドマークの設置位置や種別についてのデータを含む。

静的ＰＯＩデータは、上記以外の静的な地図要素についてのデータである。ここでの静的な地図要素とは、例えば１週間～１週間以内での更新が求められる地物を指す。換言すれば静的な地図要素とは、数分から数時間程度では位置や存続状態が変化しない地図要素を指す。静的ＰＯＩデータは、料金所や、トンネル、高速道路の本線から退出するための分岐点や、合流地点などが含まれる。各静的ＰＯＩデータは、種別や位置情報を含む。静的ＰＯＩデータは、例えば、後述する前方カメラ１１の検出対象物に含まれていない静的な地図要素についてのデータとすることができる。

動的ＰＯＩデータは、動的な地図要素の位置を示すデータである。動的な地図要素とは、数分～数時間の時間変化に伴って位置や存続状態が変化する地図要素を指す。動的な地図要素には、例えば渋滞区間や、工事区間、故障車、落下物、事故地点、車線規制などが含まれる。局所的な豪雨が生じている区域である豪雨エリアや、路面が凍結している区間である路面凍結区間、積雪地点なども動的な地図要素に含めることができる。動的ＰＯＩデータ及び静的ＰＯＩデータは、車両の走行計画に影響を及ぼす地物や事象の位置及び種別を示すデータのうち、プローブデータに基づいて生成された地図データに対して、サーバやオペレータが特定の処理を行って後付けされうる。

上記の地図データは、道路形状及び構造物の特徴点の点群を含む３次元地図データであってもよい。３次元地図データは、道路端や車線区画線、交通標識などの地物の位置を３次元座標で表す地図データに相当する。なお、３次元地図は、ＲＥＭ（Road Experience Management）によって撮像画像をもとに生成されたものでもよい。また、地図データは、走行軌道モデルを含んでいてもよい。走行軌道モデルは、複数の車両の走行軌跡を統計的に統合することで生成された軌道データである。走行軌道モデルは、たとえば車線ごとの走行軌跡を平均化したものである。走行軌道モデルは、操舵支援実行時又は自動運転実行時の基準となる走行軌道を示すデータに相当する。なお、操舵支援機能はＬＴＡ（Lane Tracing Assist）、又は、ＬＴＣ（Lane Trace Control）と呼ばれることがある。ＬＴＡ及びＬＴＣは自車両を車線または先行車の軌跡に沿って走行させる、運転支援としての車両制御に相当する。

地図データは、複数のパッチに区分されて管理される。各パッチはそれぞれ異なる区域の地図データに相当する。地図データは、例えば図１に示すように地図収録領域を矩形状に分割したマップタイルの単位で格納されている。マップタイルは前述のパッチの下位概念に相当する。各マップタイルには、そのマップタイルが対応している現実世界の領域を示す情報が付与されている。現実世界の領域を示す情報は例えば緯度、経度および高度などで表現されている。マップタイルの１辺の長さは数百ｍに設定される。各マップタイルには固有のＩＤ（以降、タイルＩＤ）が付与されている。パッチごと、あるいは、マップタイルごとの地図データは、地図収録地域全体の一部、換言すれば局所的な地図データである。マップタイルは部分地図データに相当する。地図サーバ３は、車両制御システム１からの要求に基づき、車両制御システム１の位置に応じた部分地図データを配信する。

なお、マップタイルの１辺の大きさは数百ｍに限定されず、１ｋｍや２ｋｍなどであっても良い。マップタイルの形状は、矩形状でなくともよい。マップタイルは、六角形や円形などであってもよい。各マップタイルは、隣接するマップタイルと部分的に重なるように設定されていてもよい。つまり、各マップタイルは境界付近で他のマップタイルとオーバーラップするように設定されていてもよい。地図収録領域は、車両が使用される国全体であってもよいし、一部のエリアだけであってもよい。例えば地図収録領域は、一般車両の自動運転が許可されているエリアや、自動運転移動サービスが提供されるエリアだけであっても良い。加えて、地図データの分割態様は、データサイズによって規定されていてもよい。換言すれば、地図収録地域は、データサイズによって規定される範囲で分割されて管理されてもよい。その場合、各パッチは、データ量が所定値未満となるように設定されている。そのような態様によれば、１回の配信におけるデータサイズを一定値以下とすることができる。

上述した地図データは、例えば複数の車両からアップロードされるプローブデータを統合処理することによって随時更新される。なお、本実施形態の地図サーバ３が取り扱う地図データは、複数の車両で観測されたプローブデータを統合することで生成及び更新されるプローブデータ地図（以降、ＰＤ地図）とするが、これに限らない。地図サーバ３が取り扱う地図データは、定点測量計の結果や、高精度なＧＰＳ測量の結果、ＬｉＤＡＲ等を搭載した専用のプローブカーが測定したデータを元に生成された高精度地図（以降、ＨＤ地図）であってもよい。ＬｉＤＡＲはLight Detection and Ranging/Laser Imaging Detection and Rangingの略である。

＜車両制御システム１の構成について＞
車両制御システム１は、図２に示すように、前方カメラ１１、車両状態センサ１２、ロケータ１３、Ｖ２Ｘ車載器１４、ＨＭＩシステム１５、走行アクチュエータ１６、及び運転支援ＥＣＵ２０を備える。なお、部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。また、ＨＭＩは、Human Machine Interfaceの略である。Ｖ２ＸはVehicle to X（Everything）の略で、車を様々なものをつなぐ通信技術を指す。なお、Ｖ２Ｘの「Ｖ」は自車両としての自動車を指し、「Ｘ」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。

車両制御システム１を構成する上記の種々の装置またはセンサは、ノードとして、車両内に構築された通信ネットワークである車両内ネットワークＮｗに接続されている。車両内ネットワークＮｗに接続されたノード同士は相互に通信可能である。なお、特定の装置同士は、車両内ネットワークＮｗを介することなく直接的に通信可能に構成されていてもよい。図２において車両内ネットワークＮｗはバス型に構成されているが、これに限らない。ネットワークトポロジは、メッシュ型や、スター型、リング型などであってもよい。車両内ネットワークＮｗの規格としては、例えばController Area Network（ＣＡＮは登録商標）や、イーサネット（登録商標）、FlexRay（登録商標）など、多様な規格を採用可能である。

前方カメラ１１は、車両前方を所定の画角で撮像するカメラである。前方カメラ１１は、例えばフロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。前方カメラ１１は、図３に示すように、画像フレームを生成するカメラ本体部４０と、カメラ本体部４０が生成した画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するＥＣＵ（以降、カメラＥＣＵ４１）と、を備える。カメラ本体部４０は少なくともイメージセンサとレンズとを含む構成である。カメラ本体部４０は、所定のフレームレート（例えば６０ｆｐｓ）で撮像画像データを生成及び出力する。カメラＥＣＵ４１は、ＣＰＵや、ＧＰＵなどを含む画像処理チップを主体として構成されており、機能ブロックとして識別器４１１を含む。識別器４１１は、カメラ本体部４０で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器４１１には、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）などを利用可能である。

前方カメラ１１の検出対象物には、例えば、歩行者や、他車両などの移動体が含まれる。他車両には自転車や原動機付き自転車、オートバイも含まれる。また、前方カメラ１１は、灯火装置も検出可能に構成されている。ここでの灯火装置とは、信号機や、車両のヘッドライト、テールライト、街灯などといった、光を発する構成である。灯火装置との記載は、外部光源あるいは光源部と置き換えることもできる。

その他、前方カメラ１１は、所定の地物も検出可能に構成されている。前方カメラ１１が検出対象とする地物には、道路端や、路面標示、道路沿いに設置される構造物が含まれる。路面標示には、区画線や一時停止線などが含まれる。道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、交通標識、信号機などである。

なお、前方カメラ１１が検出対象とする地物の一部または全部は、運転支援ＥＣＵ２０においてランドマークとして利用される。本開示におけるランドマークとは、車両の縦方向位置を推定するための目印として利用可能な地物を指す。ランドマークとして用いる地物の種別は適宜変更可能である。ランドマークとしては、方面看板などの交通標識や路面標示など、経時変化が乏しく、且つ、３０ｍ以上離れた地点からでも画像認識可能な大きさを有する地物を採用することが好ましい。前方カメラ１１は、ランドマークに設定されている種別の地物を検出可能に構成されていればよい。

カメラＥＣＵ４１は、カメラＥＣＵ４１を構成する画像プロセッサは、色、輝度、色や輝度に関するコントラスト等を含む画像情報に基づいて、撮像画像から背景と検出対象物とを分離して抽出する。また、カメラＥＣＵ４１は、種々の検出対象物の位置及び方向を、ＳｆＭ（Structure from Motion）情報を含む画像から演算する。自車両に対する検出物の相対位置（距離および方向）は、画像内における対象物の大きさや姿勢（たとえば傾き度合い）に基づいて特定してもよい。さらに、カメラＥＣＵ４１は、車線区画線及び道路端を示す検出点の回帰曲線に基づいて、道路の曲率や幅員等などを認識する。

カメラＥＣＵ４１は、検出結果として、検出した物体毎の相対位置や種別、移動速度などを示す信号を出力する。検出物の種別の識別結果は、識別結果の尤もらしさを示す正解確率値を含む。例えば灯火装置に対する識別結果の正解確率値は、信号機である確率や、テールランプである確率、街灯である確率などを含む。信号機である確率が高いほど、他の種別である確率は下がる。夜間など信号機の筐体が見えない場合には、仮に真に検出物が信号機である場合であっても、検出物が信号機である確率値は昼間に比べて低下しうる。種別ごとの確率値は、特徴量の一致度合いを示すスコアとすることができる。カメラＥＣＵ４１の出力信号は、車両内ネットワークＮｗを介して運転支援ＥＣＵ２０に入力される。以降では便宜上、カメラＥＣＵ４１が算出する、検出された灯火装置の種別が信号機である確率のことを信号機確率Ｐとも記載する。前方カメラ１１の検出結果は、認識結果あるいは識別結果と読み替えることもできる。

なお、前方カメラ１１は、物体認識に用いた画像フレームを、車両内ネットワークＮｗを介して運転支援ＥＣＵ２０等に提供するように構成されていても良い。画像フレームは前方カメラ１１にとっての観測データに相当する。観測データは、センサが観測した生のデータ、あるいは認識処理が実行される前のデータに相当する。なお、観測データに基づく物体認識処理は、運転支援ＥＣＵ２０など、センサ外のＥＣＵが実行しても良い。例えばカメラＥＣＵ４１の機能の一部（主として物体認識機能）は、運転支援ＥＣＵ２０が備えていても良い。その場合、前方カメラ１１は、観測データとしての画像データを運転支援ＥＣＵ２０に提供すればよい。

車両状態センサ１２は、自車両の走行制御に関わる状態量を検出するセンサ群である。車両状態センサ１２には、車速センサ、操舵センサ、加速度センサ、ヨーレートセンサ等が含まれる。車速センサは、自車の車速を検出する。操舵センサは、自車の操舵角を検出する。加速度センサは、自車の前後加速度、横加速度等の加速度を検出する。ヨーレートセンサは、自車の角速度を検出する。なお、車両状態センサ１２として車両制御システム１が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車両状態センサ１２には、例えば、降雨を検出するレインセンサや、外の明るさを検出する照度センサを含めることができる。

ロケータ１３は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報等を生成する装置である。ロケータ１３は、例えば、ＧＮＳＳ受信機を用いて構成されている。ＧＮＳＳ受信機は、ＧＮＳＳ（Global Navigation Satellite System）を構成する測位衛星から送信される航法信号（以降、測位信号）を受信することで、当該ＧＮＳＳ受信機の現在位置を逐次検出するデバイスである。例えばＧＮＳＳ受信機は４機以上の測位衛星からの測位信号を受信できている場合には、１００ミリ秒ごとに測位結果を出力する。ＧＮＳＳとしては、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＩＲＮＳＳ、ＱＺＳＳ、Ｂｅｉｄｏｕ等を採用可能である。

ロケータ１３は、ＧＮＳＳ受信機の測位結果と、慣性センサの出力とを組み合わせることにより、自車両の位置を逐次測位する。例えば、ロケータ１３は、トンネル内などＧＮＳＳ受信機がＧＮＳＳ信号を受信できない場合には、ヨーレートと車速を用いてデッドレコニング（Dead Reckoning ：すなわち自律航法）を行う。ロケータ１３は加速度センサやジャイロセンサの出力を用いてデッドレコニングしても良い。測位した車両位置情報は車両内ネットワークＮｗに出力され、運転支援ＥＣＵ２０等で利用される。なお、ロケータ１３の機能の一部は運転支援ＥＣＵ２０が備えていても良い。

Ｖ２Ｘ車載器１４は、自車両が他の装置と無線通信を実施するための装置である。Ｖ２Ｘ車載器１４は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばＬＴＥ（Long Term Evolution）や４Ｇ、５Ｇなど多様なものを採用可能である。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に、換言すれば基地局を介さずに、無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーＶ２Ｘを実施するように構成されていても良い。自車両は、Ｖ２Ｘ車載器１４の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えば運転支援ＥＣＵ２０は、Ｖ２Ｘ車載器１４との協働により、地図サーバから現在位置に応じた高精度地図データをダウンロードして利用可能となる。

Ｖ２Ｘ車載器１４が備える狭域通信部は、通信距離が数百ｍ以内に限定される通信規格（以降、狭域通信規格）によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、ＩＥＥＥ１５０９にて開示されているＷＡＶＥ（Wireless Access in Vehicular Environment）規格や、ＤＳＲＣ（Dedicated Short Range Communications）規格など、任意のものを採用可能である。路側機は、例えば道路沿いなど、車両外部に設置された通信装置である。

ＨＭＩシステム１５は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。ＨＭＩシステム１５は、ディスプレイ１５１とＨＣＵ（HMI Control Unit）１５２を備える。なお、ユーザへの情報提示の手段としては、ディスプレイ１５１の他、スピーカや、バイブレータ、照明装置（例えばＬＥＤ）等を採用可能である。

ディスプレイ１５１は、画像を表示するデバイスである。ディスプレイ１５１は、例えば、インストゥルメントパネルの車幅方向中央部の最上部に設けられた、いわゆるセンターディスプレイである。ディスプレイ１５１は、フルカラー表示が可能なものであり、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、プラズマディスプレイ等を用いて実現できる。なお、ディスプレイ１５１は、フロントガラスの運転席前方の一部分に虚像を映し出すヘッドアップディスプレイであってもよい。また、ディスプレイ１５１は、メータディスプレイであってもよい。

ＨＣＵ１５２は、ユーザへの情報提示を統合的に制御する構成である。ＨＣＵ１５２は、例えばＣＰＵやＧＰＵなどのプロセッサと、ＲＡＭと、フラッシュメモリ等を用いて実現されている。ＨＣＵ１５２は、運転支援ＥＣＵ２０から提供される情報や、図示しない入力装置からの信号に基づき、ディスプレイ１５１の表示画面を制御する。例えばＨＣＵ１５２は、運転支援ＥＣＵ２０からの要求に基づき、運転支援の実行状態を示すアイコン画像をディスプレイ１５１に表示する。なお、ユーザへの情報提示の媒体はディスプレイ１５１に限定されない。ＨＣＵ１５２はスピーカなどを用いてユーザに情報を提示するように構成されていても良い。

走行アクチュエータ１６は、走行用のアクチュエータ類である。走行アクチュエータ１６には例えば制動装置としてのブレーキアクチュエータや、電子スロットル、操舵アクチュエータなどが含まれる。操舵アクチュエータには、ＥＰＳ（Electric Power Steering）モータも含まれる。走行アクチュエータ１６は運転支援ＥＣＵ２０によって制御される。なお、運転支援ＥＣＵ２０と走行アクチュエータとの間には、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等が介在していてもよい。

運転支援ＥＣＵ２０は、前方カメラ１１の検出結果をもとに運転席乗員の運転操作を支援するＥＣＵである。例えば運転支援ＥＣＵ２０は前方カメラ１１の検出結果をもとに、走行アクチュエータ１６を制御することにより、運転操作の一部または全部を運転席乗員の代わりに実行する。運転支援ＥＣＵ２０は、ユーザによる自律走行指示が入力されたことに基づいて、自車両を自律的に走行させる自動運転装置であってもよい。

運転支援ＥＣＵ２０は、処理部２１、ＲＡＭ２２、ストレージ２３、通信インターフェース２４、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部２１は、ＲＡＭ２２と結合された演算処理のためのハードウェアである。処理部２１は、ＣＰＵ（Central Processing Unit）等の演算コアを少なくとも一つ含む構成である。処理部２１は、ＲＡＭ２２へのアクセスにより、種々の処理を実行する。ストレージ２３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ２３には、処理部２１によって実行されるプログラムとして、運転支援プログラムが格納されている。処理部２１が上記プログラムを実行することは、運転支援プログラムに対応する方法として、信号機認識方法を含む運転支援方法が実行されることに相当する。通信インターフェース２４は、車両内ネットワークＮｗを介して他の装置と通信するための回路である。通信インターフェース２４は、アナログ回路素子やＩＣなどを用いて実現されればよい。運転支援ＥＣＵ２０が車両制御装置に相当する。

＜運転支援ＥＣＵ２０について＞
ここでは図４を用いて運転支援ＥＣＵ２０の機能及び作動について説明する。運転支援ＥＣＵ２０は、ストレージ２３に保存されている運転支援プログラムを実行することにより、図４に示す種々の機能ブロックに対応する機能を提供する。すなわち、運転支援ＥＣＵ２０は機能ブロックとして、暫定位置取得部Ｆ１、地図取得部Ｆ２、カメラ出力取得部Ｆ３、車両状態取得部Ｆ４、詳細位置算出部Ｆ５、位置誤差評価部Ｆ６、環境認識部Ｆ７、制御計画部Ｆ８、及び制御実行部Ｆ９を備える。

暫定位置取得部Ｆ１は、ロケータ１３から自車両の位置情報を取得する。また暫定位置取得部Ｆ１は、後述する詳細位置算出部Ｆ５が算出した位置を起点として、ヨーレートセンサ等の出力をもとにデッドレコニングを行う。なお、暫定位置取得部Ｆ１はロケータ１３の機能を備えていても良い。

地図取得部Ｆ２は、Ｖ２Ｘ車載器１４を介して地図サーバ３と無線通信することで、自車両の現在位置に対応する地図データを取得する。例えば、地図取得部Ｆ２は自車両が所定時間以内に通過予定の道路に関する部分地図データを地図サーバ３に要求して取得する。地図サーバ３から取得した部分地図データは例えば地図保持部Ｍ１に保存される。地図保持部Ｍ１は、例えばストレージ２３またはＲＡＭ２２が備える記憶領域の一部を用いて実現されている。地図保持部Ｍ１は、非遷移的な、実体を有する記憶媒体を用いて実現されている。

地図の取得時に利用される現在位置は、暫定位置取得部Ｆ１または詳細位置算出部Ｆ５で特定されたものを採用可能である。例えば、詳細位置算出部Ｆ５が現在位置を算出できている場合には、当該位置情報を用いて地図データを取得する。一方、詳細位置算出部Ｆ５が現在位置を算出できていない場合には、暫定位置取得部が取得した位置座標を用いて地図データを取得する。地図データには前述の通り、信号機の設置位置が含まれている。故に、地図取得部Ｆ２は、地図に登録されている信号機の位置座標である地図上信号機位置を取得する構成、すなわち地図上位置取得部に相当する。

なお、車両制御システム１は、地図データが格納された車載記憶装置を備えていてもよい。その場合には、地図取得部Ｆ２は当該車載記憶装置から現在位置周辺の地図データを順次読み出すように構成可能である。つまり、地図取得部Ｆ２が取得する地図データは、自車両にローカル保存されているものでもよいし、クラウド上に保存されたものでもよい。

カメラ出力取得部Ｆ３は、灯火装置や、他の移動体、ランドマーク、道路端、車線区画線などに対する前方カメラ１１の認識結果を取得する。例えばカメラ出力取得部Ｆ３は、位置や種別ごとの正解確率値を含む灯火装置の認識結果を取得する。具体的には、灯火装置の認識結果として、前方カメラ１１で検出されている灯火装置の位置や、信号機確率Ｐを取得する。カメラ出力取得部Ｆ３が取得する灯火装置の検出位置である観測灯火位置は、検出されている灯火装置が信号機である場合、前方カメラ１１で観測された信号機の位置である観測信号機位置に相当する。カメラ出力取得部Ｆ３が観測位置取得部に相当する。

また、カメラ出力取得部Ｆ３は、他の移動体の位置や移動速度、種別、及びサイズ等などを取得する。他の移動体には、他車両としての自動車や、歩行者、自転車などが含まれる。さらに、カメラ出力取得部Ｆ３は、前方カメラ１１から、ランドマークの相対位置や種別などを取得する。

なお、カメラ出力取得部Ｆ３は、カメラＥＣＵ４１から取得したランドマークの相対位置座標を、グローバル座標系における位置座標（以降、観測座標とも記載）に変換する。ランドマークの観測座標は、例えば自車両の現在位置座標と、自車両に対する地物の相対位置情報とを組み合わせることで算出される。なお、自車両の現在位置座標を用いたランドマークの観測座標の算出はカメラＥＣＵ４１が実施しても良い。またカメラ出力取得部Ｆ３は、ランドマークと同様に、区画線等の相対位置情報をグローバル座標系における位置座標に変換してもよい。カメラ出力取得部Ｆ３が取得したデータは、環境認識部Ｆ７に提供される。

車両状態取得部Ｆ４は、車両内ネットワークＮｗを介して車両状態センサ１２などから、走行速度、進行方向、時刻情報、天候、車室外の照度、ワイパーの動作速度などを取得する。

詳細位置算出部Ｆ５は、カメラ出力取得部Ｆ３が取得したランドマーク情報と走路情報とに基づくローカライズ処理を実行する。ローカライズ処理は、前方カメラ１１で撮像された画像に基づいて特定されたランドマーク等の位置と、高精度地図データに登録されている地物の位置座標とを照合することによって自車両の詳細位置を特定する処理を指す。ローカライズ処理は、例えば、方面看板などのランドマークを用いて縦方向の位置を推定する縦位置推定処理と、車線区画線及び道路端などの観測座標を用いて、道路横方向の位置を推定する横位置推定処理の少なくとも何れか一方を含みうる。ここでの縦方向とは、車両の前後方向に相当する。また、縦方向とは、直線道路区間においては、自車両から見て道路が伸びる方向（以降、道路延設方向とも記載）に相当する。ここでの横方向とは、道路の幅方向に対応する。

詳細位置算出部Ｆ５は、縦位置推定処理として、ランドマークの観測座標に基づいて、地図に登録されているランドマークと前方カメラ１１で観測されているランドマークとの対応付けを行う。例えば地図に登録されているランドマークのうち、ランドマークの観測座標から最も近いランドマークを同一のランドマークと推定する。なお、ランドマークの照合に際しては例えば形状，サイズ，色等の特徴量を用いて、特徴の一致度合いがより高いランドマークを採用することが好ましい。観測されているランドマークと、地図上のランドマークとの対応付けが完了すると、観測ランドマークに対応する地図上のランドマークの位置から、観測ランドマークと自車両の距離だけ縦方向にずらした位置を、地図上の自車の縦位置に設定する。

例えば、画像認識の結果として、自車両正面に存在する方面看板までの距離が４０ｍと特定している状況においては、地図データに登録されている当該方面看板の位置座標から４０ｍだけ車両後方にずれた位置に自車両が存在すると判定する。縦位置推定は、道路延設方向における自車位置を特定する処理に相当する。縦位置推定は縦方向のローカライズ処理と呼ぶこともできる。このような縦位置推定を行うことにより、交差点や、カーブ入口／出口、トンネル入口／出口、渋滞の最後尾などといった、道路上の特徴点、換言すればＰＯＩまでの詳細な残り距離が特定される。

なお、詳細位置算出部Ｆ５は、自車両の前方に複数のランドマーク（例えば方面看板）を検出している場合には、それら複数のランドマークのうち自車両から最も近いものを用いて縦位置推定を行う。画像等に基づく物体の種別や距離の認識精度は、自車両から近い物体ほど、その認識精度が高くなる。つまり、複数のランドマークを検出している場合には、車両から最も近いランドマークを用いて縦位置推定を行う構成によれば、位置の推定精度を高めることができる。

また、本実施形態の詳細位置算出部Ｆ５はより好ましい態様として、位置算出精度を担保するために、例えば所定の参照距離以内に存在するランドマークを用いて縦位置推定処理を実行するように構成されている。参照距離は例えば４０ｍとすることができる。参照距離は、３０ｍや５０ｍであってもよい。また、前方カメラ１１が望遠カメラを備える場合には、参照距離は１００ｍなどであってもよい。参照距離は、前方カメラ１１の認識可能距離や画角などといった性能及び仕様を元に設定されれば良い。

また、詳細位置算出部Ｆ５は、横位置推定処理として、前方カメラ１１で認識されている左右の道路端／区画線からの距離に基づいて、道路に対する自車両の横方向位置を特定する。例えば、画像解析の結果として、左側道路端から車両中心までの距離が１．７５ｍと特定されている場合には、左側道路端の座標から右側に１．７５ｍずれた位置に自車両が存在すると判定する。横位置推定は横方向のローカライズ処理と呼ぶこともできる。なお、詳細位置算出部Ｆ５は、前方カメラ１１で認識されている左右の道路端／区画線からの距離に基づいて、自車両が走行しているレーンの識別子である走行レーンＩＤを特定してもよい。走行レーンＩＤは、例えば左端または右端の道路端から何番目のレーンを自車両が走行しているかを示す。また、詳細位置算出部Ｆ５は、前方カメラ１１で認識されている左右の区画線からの距離に基づいて、走行車線内での自車両の詳細位置、例えば車線中央から左右方向へのオフセット量を特定してもよい。

ローカライズ処理の結果としての自車位置は、地図データと同様の座標系、例えば緯度、経度、高度で表現されればよい。自車位置情報は、例えばＷＧＳ８４（World Geodetic System 1984）など、任意の絶対座標系で表現することができる。

なお、本実施形態の詳細位置算出部Ｆ５は、一例として、昼間は参照距離以内に存在する信号機もランドマークとして用いてローカライズ処理を実施する一方、夜間は、信号機をランドマークとしては用いないように構成されている。つまり、夜間は、信号機以外のランドマークを用いてローカライズ処理を実施する。夜間は、信号機の筐体の視認性が悪く、信号機であるか否かの信頼度、換言すれば認識精度が昼間に比べて劣化するためである。もちろん、他の態様として、詳細位置算出部Ｆ５は、夜間でもローカライズ処理のランドマークとして信号機を用いるように構成されていても良い。信号機以外のランドマークとしては、例えば、一時停止線や横断歩道などの路面表示、案内標識などを採用可能である。なお、区画線や道路端は、昼夜問わず、横位置推定処理に使用可能である。故に、横方向のローカライズ処理は、夜間も昼間と同様の地物を用いて実施されうる。

詳細位置算出部Ｆ５は、所定の位置推定周期でローカライズ処理を逐次行う。位置推定周期のデフォルト値は２００ミリ秒や４００ミリ秒であってもよい。例えば詳細位置算出部Ｆ５は、ランドマークを認識（換言すれば捕捉）できている限りは上記の位置推定周期で縦位置推定処理を逐次実施する。詳細位置算出部Ｆ５は、ランドマークを認識できていない場合であっても、区画線及び道路端の少なくとも何れか一方を認識（換言すれば捕捉）できている限りは、位置推定周期で横位置推定処理を逐次行う。詳細位置算出部Ｆ５及び暫定位置取得部Ｆ１の少なくとも何れか一方が車両位置取得部に相当する。詳細位置算出部Ｆ５が算出した自車位置情報は暫定位置取得部Ｆ１や、位置誤差評価部Ｆ６、環境認識部Ｆ７などに提供される。

位置誤差評価部Ｆ６は、詳細位置算出部Ｆ５がローカライズ処理を実行するたびに、今回実施したローカライズ処理の結果として出力される現在位置と、暫定位置取得部Ｆ１がデッドレコニング等により算出している位置との差である車両位置誤差ρを算出する。例えば位置誤差評価部Ｆ６は、前回用いたランドマークとは異なるランドマークを用いてローカライズ処理を実行した際に、暫定位置取得部Ｆ１が算出している自車位置座標と、ローカライズ処理の結果との差を車両位置誤差ρとして算出する。ローカライズ処理を逐次実施できている限りは、前時刻のローカライズ処理の結果が暫定位置取得部Ｆ１が算出する暫定位置情報に反映されるため、車両位置誤差ρは十分に小さい値になる。例えば、ローカライズ処理を逐次実施できている限りは、車両位置誤差ρは０．５ｍ未満に抑制される。

車両位置誤差ρは、ローカライズができない期間が長いほど大きくなる傾向がある。ローカライズ処理を実行できない期間においては、最後にローカライズ処理を実行できた時点からの経過時間又は走行距離に所定の誤差見積もり係数を乗じることによって、暫定的な車両位置誤差ρが算出される。位置誤差評価部Ｆ６が算出した車両位置誤差ρは、環境認識部Ｆ７に提供される。位置誤差評価部Ｆ６は詳細位置算出部Ｆ５に内在していても良い。位置誤差評価部Ｆ６が位置誤差取得部に相当する。

環境認識部Ｆ７は、カメラ出力取得部Ｆ３が取得した前方カメラ１１での認識結果等に基づいて、自車両の周囲の環境である周辺環境を認識する。ここでの周辺環境には、自車両の現在位置や、走行レーン、道路種別、制限速度、信号機などの相対位置が含まれる。また、周辺環境には、他の移動体の位置や移動速度、周辺物体の形状及びサイズ等なども含めることができる。環境認識部Ｆ７は、サブ機能として、信号機認識部Ｆ７１を備える。

信号機認識部Ｆ７１は、地図データを用いて前方カメラ１１で検出されている灯火装置が信号機であるか否かを判定する構成である。信号機認識部Ｆ７１は、前方カメラ１１で検出された灯火装置が信号機かどうかの判断をするだけでなく、当該灯火装置は信号機であると判断した場合には、その点灯状態を認識する機能を含みうる。信号機認識部Ｆ７１の詳細については別途後述する。

なお、環境認識部Ｆ７は、複数の周辺監視センサのそれぞれから検出結果を取得し、それらを組み合わせることにより、自車周辺に存在する物体の位置及び種別を認識してもよい。その他、環境認識部Ｆ７はＶ２Ｘ車載器１４が他車両から受信した他車両情報や、路車間通信にて路側機から受信した交通情報等を用いて周辺環境を特定しても良い。路側器から取得できる交通情報には道路工事情報や、交通規制情報、渋滞情報、気象情報、制限速度などを含めることができる。

制御計画部Ｆ８は、環境認識部Ｆ７で認識された走行環境、及び、地図データを用いて、ユーザの運転操作を支援するための車両制御の計画を生成する。例えば制御計画部Ｆ８は、自車両の前方に信号機が存在することが確認された場合には、信号機の点灯状態に応じた車両制御の計画を作成する。例えば信号機から１００ｍ手前に自車両が到達した時点での信号機が赤色である場合には、信号機の所定距離手前で停車するように減速する走行計画を作成する。停車位置は地図データに示される一時停止線の位置としても良い。また、先行車が存在する場合には、先行車の所定距離の後方で停車するように、制御計画を随時更新しても良い。信号機が自車両の交差点への進入及び通過を許可する点灯状態となっている場合には、交差点を通過するための制御計画を策定する。交差点への進入及び通過を許可する点灯状態とは、矢印信号や青色が点灯している場合である。

信号機に備えた制御計画の内容は、信号機から所定距離（例えば１００ｍや５０ｍ）手前に自車両が到達した時点での信号機の点灯状態の予測結果などに基づいて生成されればよい。便宜上、信号機が設けられた道路を通過する際の走行を支援する車両制御のことを信号機通過支援と称する。信号機通過支援には、信号機の手前で停車するためのブレーキ制御が含まれる。なお、信号機通過支援は、ＨＭＩシステム１５と連携して、信号機の存在や、信号機の点灯状態をユーザに通知する処理であってもよい。信号機通過支援の制御計画は、車両用の信号機の点灯状態だけでなく、歩行者用の信号機の点灯状態に基づいて生成及び修正されても良い。信号機通過支援の制御計画は、信号機の点灯状態の変化に基づいて随時更新されても良い。

その他、制御計画部Ｆ８は、認識した走行レーンの中央を走行するための操舵量の制御スケジュールを含む制御計画したり、認識した先行車の挙動又は走行軌跡に沿う経路を走行計画として生成したりしてもよい。制御計画部Ｆ８は、自車の走行路が片側複数車線の道路に該当する場合には、自車の走行車線と同方向の隣接車線に車線変更するプラン候補を生成してもよい。制御計画部Ｆ８は、前方カメラ１１の検出結果または地図データに基づき自車両の前方に障害物が存在することが確認された場合には、障害物の側方を通過する走行計画を生成してもよい。走行計画には、算出した経路における速度調整のための加減速のスケジュール情報を含みうる。制御計画部Ｆ８は自車両を自律的に走行させるためのものであってもよい。

制御実行部Ｆ９は、制御計画部Ｆ８で決定された制御計画に対応する制御信号を、制御対象とする走行アクチュエータ１６及び又はＨＣＵ１５２へ出力する構成である。例えば減速が予定されている場合には、ブレーキアクチュエータや、電子スロットルに対して計画された減速度を実現するための制御信号を出力する。また、信号機通過支援の実行状態を示す画像や音声を出力させるための制御信号をＨＣＵ１５２に出力する。

＜運転支援ＥＣＵ２０の作動フローについて＞
次に図５に示すフローチャートを用いて運転支援ＥＣＵ２０が実行する信号機通過支援処理について説明する。図５に示すフローチャートは例えば車両の走行用電源がオンとなっている間、所定の周期（例えば２００ミリ秒毎）に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。本実施形態では一例として信号機通過支援処理はステップＳ１０１～Ｓ１１２を備える。

なお、詳細位置算出部Ｆ５は、図５に示すフローチャートとは独立して、換言すれば並列的に、運転支援ＥＣＵ２０はローカライズ処理を逐次実施する。具体的には、詳細位置算出部Ｆ５は、信号機以外のランドマークを用いて縦位置推定処理を逐次実施する。横位置に関しては区画線及び道路端の少なくとも何れか一方に基づいて逐次算出される。なお、信号機以外のランドマークを認識できていない場合の縦位置に関しては、例えば車速または車輪速などに基づいて推定されればよい。ローカライズ処理を実行することにより、地図上における自車両の詳細位置が決定される。

まずステップＳ１０１では、詳細位置算出部Ｆ５及び暫定位置取得部Ｆ１の少なくとも何れか一方が、自車両の現在位置を算出又は取得してステップＳ１０２に移る。ステップＳ１０１が車両位置取得ステップに相当する。

ステップＳ１０２では環境認識部Ｆ７が、地図取得部Ｆ２が取得した地図データを参照し、前方信号機の位置を特定するとともに、前方信号機までの距離である残距離Ｒｄを算出してステップＳ１０３に移る。前方信号機は、地図データに登録されている信号機の中で、自車両の前方に存在する自車両向けの信号機のうち、自車両から最も近い位置に信号機を指す。自車両向けの信号機とは、自車両が見るべき信号機、換言すれば自車両が従うべき信号機である。対向車向けの信号機や、交差車両向けの信号機は前方信号機に該当しない。なお、交差車両は、自車両が走行している道路に接続する他の道路を走行する車両を指す。例えば、交差点において横から来る車両が交差車両に相当する。

なお、ステップＳ１０２において地図データを参照した結果として、自車両の前方所定距離（例えば２５０ｍ）以内に、信号機が存在しないことが確認された場合には、以降の処理を省略して本フローを終了しても良い。本フロー終了時は、例えば２００ミリ秒後など、所定時間後にステップＳ１０１から再実行される。ステップＳ１０２が地図上位置取得ステップに相当する。

ステップＳ１０３ではカメラ出力取得部Ｆ３が前方カメラ１１から、信号機の可能性がある灯火装置の認識結果を取得してステップＳ１０４に移る。ステップＳ１０３が観測位置取得ステップに相当する。信号機の可能性がある灯火装置とは、例えば信号機確率Ｐが所定の候補閾値以上である灯火装置とすることができる。候補閾値は、信号機の可能性がある物体と、そうでない物体とを切り分けるための閾値であって、具体的な値は適宜変更可能である。候補閾値は例えば４０％とすることができる。候補閾値は５０％や７５％などであってもよい。ステップＳ１０３において信号機の可能性がある灯火装置が検出されていない場合には、ステップＳ１１０に移る。

ステップＳ１０４では信号機認識部Ｆ７１が、位置誤差評価部Ｆ６から上述した態様にて算出される車両位置誤差ρを取得してステップＳ１０５に移る。ステップＳ１０５では信号機認識部Ｆ７１が、ステップＳ１０４で取得した車両位置誤差ρが所定の誤差閾値Ｐｔｈ未満であるか否かを判定する。誤差閾値Ｐｔｈは、例えば０．５ｍや１ｍなどとすることができる。誤差閾値Ｐｔｈは１ｍ未満とすることで、信号停止時に一時停止線を超過するおそれを低減することができる。車両位置誤差ρが誤差閾値Ｐｔｈ未満である場合にはステップＳ１０５を肯定判定してステップＳ１０６に移る。一方、車両位置誤差ρが誤差閾値Ｐｔｈ以上である場合にはステップＳ１０５を否定判定してステップＳ１１０に移る。

ステップＳ１０６では信号機認識部Ｆ７１が、地図データに示されている前方信号機の位置と、ステップＳ１０２で取得した、前方カメラ１１で認識されている灯火装置の位置との差（換言すれば距離）である近接度δを算出してステップＳ１０７に移る。近接度δは３次元空間内での直線距離とすることができる。なお、近接度δは、横方向における距離であってもよい。横方向距離と、上下方向距離のそれぞれについての近接度δを算出しても良い。

ステップＳ１０７では信号機認識部Ｆ７１が、ステップＳ１０６で算出した近接度δが所定の見なし閾値Ｄｔｈ未満であるか否かを判定する。見なし閾値Ｄｔｈは、ステップＳ１０３において抽出された信号機の可能性がある灯火装置である信号機候補が、真に信号機であるか否かを切り分けるための閾値である。見なし閾値Ｄｔｈは例えば１．０ｍとすることができる。見なし閾値Ｄｔｈは、誤差閾値Ｐｔｈと同じか、誤差閾値Ｐｔｈよりも所定量大きい値とする事ができる。見なし閾値Ｄｔｈは０．５ｍや１．５ｍなどであってもよい。近接度δが見なし閾値Ｄｔｈ未満である場合にはステップＳ１０７を肯定判定してステップＳ１０８に移る。一方、近接度δが見なし閾値Ｄｔｈ以上である場合にはステップＳ１０７を否定判定してステップＳ１１０に移る。ステップＳ１０７が信号機認識ステップに相当する。

ステップＳ１０８では信号機認識部Ｆ７１が、ステップＳ１０２で抽出された信号機候補を信号機であると判定してステップＳ１０９に移る。なお、ステップＳ１０２において仮に信号機候補が複数抽出されている場合には、ステップＳ１０６において複数の信号機候補のそれぞれについての近接度δを算出する。そして、ステップＳ１０８では複数の信号機候補のうち、近接度δが最も小さいものを信号機と判定すればよい。なお、信号機認識部Ｆ７１は、近接度δと、前方カメラ１１が出力する信号機確率Ｐの両方に基づいて、信号機としての尤もらしさをスコア化し、当該スコアに基づいて信号機かどうかを判定しても良い。

ステップＳ１０９では制御計画部Ｆ８が、信号機通過支援として、前方信号機までの残距離Ｒｄ、及び、前方カメラ１１で認識されている前方信号機の点灯状態に応じた車両制御を計画し、制御実行部Ｆ９が当該制御計画に応じた制御を実行する。

ステップＳ１１０では残距離Ｒｄが所定の支援中止距離Ｒｔｈ未満であるか否かを判定する。支援中止距離Ｒｔｈは、信号機通過支援の実行を断念する閾値である。支援中止距離Ｒｔｈが限界距離に相当する。支援中止距離Ｒｔｈは例えば５０ｍとすることができる。支援中止距離Ｒｔｈは、１００ｍや７０ｍ、４０ｍなどであってもよい。支援中止距離Ｒｔｈは、信号機の点灯状態が赤色である場合に、信号機の手前に配置された一時停止線に自車両が至るまでに、所定の減速度で停車可能な距離に設定されている。ここで想定される減速度は、例えば０．３Ｇ≒３ｍ／ｓｅｃ＾２などである。

支援中止距離Ｒｔｈは、車両状態取得部Ｆ４が取得している自車両の走行速度に応じて動的に決定されても良い。走行速度が大きいほど支援中止距離Ｒｔｈは長く設定される。換言すれば、走行速度が所定値よりも小さい場合には、支援中止距離Ｒｔｈを所定のデフォルト値よりも短い値に設定可能である。支援中止距離Ｒｔｈは、時間によって規定されていても良い。例えば支援中止距離Ｒｔｈは６秒に相当する距離として動的に決定されても良い。残距離Ｒｄが支援中止距離Ｒｔｈ未満である場合にはステップＳ１１０を肯定判定してステップＳ１１２に移る。一方、残距離Ｒｄが支援中止距離Ｒｔｈ以上である場合にはステップＳ１１０を否定判定してステップＳ１１１に移る。

ステップＳ１１１では、信号機候補が信号機であるか否かの判断を保留として、本フローを終了する。当該ステップは、換言すれば、信号機通過支援を中断するか否かの判断を保留とするステップに相当する。判断を保留として本フローを終了した場合には、例えば２００ミリ秒後など、所定時間後にステップＳ１０１から再実行される。

ステップＳ１１２では制御計画部Ｆ８、前方信号機に対する信号機通過支援を中断することを決定する。また、制御実行部Ｆ９がＨＭＩシステム１５と連携して、信号機通過支援を行わないことをユーザに通知するための処理を実行して本フローを終了する。例えばステップＳ１１２では信号機通過支援を行わないことを示すテキストメッセージ又はアイコン画像をディスプレイ１５１に表示させるための指示信号をＨＣＵ１５２に出力し、表示させる。ステップＳ１１２では、信号機通過支援を行わないことを示す音声メッセージをスピーカから出力しても良い。さらに、信号機通過支援を行わないことを示すアイコン画像をディスプレイ１５１に表示してもよい。その他、ステップＳ１１２で通知する内容は、信号機を認識できていないことでもよい。ステップＳ１１２で通知する内容は、信号機の認識状態にかかる多様な情報とすることができる。また、ステップＳ１１２では、信号機の検出に失敗したことを示すエラー信号をＶ２Ｘ車載器１４を介して地図サーバ３にアップロードしても良い。当該構成によれば地図サーバ３は、信号機が認識されにくい地点や時間帯を特定可能となる。エラー信号は、現在位置や、前方信号機の識別情報、前方カメラ１１のモデル情報等を含んでいることが好ましい。

以上の構成では、検出された灯火装置が信号機かどうかの判断材料として、近接度δが使用される。当該構成によれば、地図に登録されている位置情報と観測結果との整合性が考慮されるため、画像の特徴量だけでは、検出された灯火装置が信号機であるかどうかの判断が難しい場合であっても、その判断精度を高めることができる。また、灯火装置が複数検出されている場合であっても、灯火装置毎の近接度δを比較することにより、信号機に相当する灯火装置を特定することができる。例えば、近接度δが最も小さい灯火装置を信号機の灯火だと判定することができる。

なお、検出された灯火装置が信号機であるかどうかの判断が難しい場合とは、例えば夜間などにおいて信号機の筐体が背景と同化している場合が含まれる。背景と同化している場合とは、言い換えれば、筐体の輪郭部分が背景に対してエッジ検出可能な輝度差を有していない状態が含まれる。また、降雨や逆光等により、信号機として認識するための画像情報が少ない場合も、検出された灯火装置が信号機であるかどうかの判断が難しい場合に含まれる。信号機として認識するための情報とは、筐体などの輪郭形状や、色情報などである。降雨時は、カメラ前方に存在するウインドシールドやレンズに付着した雨滴によって、画像内における物体の形状が歪むため、信号機を信号機と認識するための特徴量は低下しうる。逆光時もまた、例えば灯火部の数などといった筐体内の詳細構成を示すエッジ部分が不鮮明となったり、色情報が低下したりするため、信号機を信号機と認識するための特徴量は低下しうる。その他、本開示の構成は、例えばカーブ走行時など、多様なシーンにおいて、検出された灯火装置が信号機であるかどうかの判断精度を高めることができる。

また、本開示の信号機認識部Ｆ７１は、車両位置誤差ρが誤差閾値Ｐｔｈ未満であることを条件として、近接度δを用いた信号機判定を実施する。当該構成によれば、信号機を誤判定する恐れをより一層低減することができる。さらに、上記構成のように、検出されている灯火装置が近接度δを用いて信号機かどうかを判定する構成によれば、ビル等の窓ガラスに映り込んでいる信号機の像を、実際の信号機と誤判定する恐れを低減できる。ビル等の窓ガラスに反射して映り込んでいる信号機の像は、信号機の設置位置から大きく離れていることが期待できるためである。その他、ＰＤ地図は車両からアップロードされるプローブデータをもとに信号機の設置位置が登録される。そのため、ＰＤ地図に登録されている信号機の設置位置には、ある程度の誤差が含まれうる。そのような事情を踏まえると、誤差閾値Ｐｔｈにある程度の幅をもたせることで、信号機であるものを信号機ではないと誤判定する恐れを低減できる。

また、特許文献１等に開示の構成では、交差点での右左折時には、車体の旋回に伴って交差車両向けの信号機を、自車両向けの信号機と誤認識してしまう懸念がある。そのような懸念に対し、本開示の構成によれば、自車両が見るべき信号機を地図から抽出し、当該信号機との近接度δに基づいて信号機を認識する。当然、交差車両向けの信号機は、自車両が見るべき信号機とは、例えば５ｍ以上など、十分に離れていることが想定される。故に、本開示の構成によれば、交差車両向けの信号機を自車両向けの信号機と誤認識し、交差点内での停車等、予期せぬ動作が行われる恐れを低減できる。

なお、検出された灯火装置が信号機かどうかを近接度δを用いて判定する処理は、信号機である可能性が十分に高い灯火装置が検出されている場合には、省略されても良い。例えば、信号機確率Ｐが所定値（例えば９５％）以上となっている灯火装置が検出されている場合には、近接度δを用いた判定処理は省略されても良い。当該構成によれば、処理部２１の処理負荷を低減することが可能となる。当該構成は信号機確率Ｐが所定値以上の灯火装置が検出されている場合には当該灯火装置を信号機と見なす一方、信号機確率Ｐが所定値以上の灯火装置が検出されていない場合には近接度δに基づいて信号機に該当する灯火装置を探索する構成に相当する。その他、交差車両向けの信号機を自車両向けの信号機と誤認識することを抑制するために、交差点内で且つヨーレートが所定の閾値以上となっている状態においては、信号機の点灯状態の認識処理はキャンセルされても良い。また、信号機認識部Ｆ７１は、前方信号機とは区別して、交差車両向けの信号機や、対向車両向けの信号機を認識するように構成されていても良い。交差車両向けの信号機や、対向車両向けの信号機を認識する際にも、近接度δを用いた判定処理を適用することが可能である。交差車両向けの信号機や、対向車両向けの信号機は、他車両向け信号機と呼ぶことができる。

以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の構成も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の構成は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

＜支援中断の予告について＞
運転支援ＥＣＵ２０は、信号機通過支援を中止することを決定及び通知する前に、信号機通過支援を中止する可能性があることをユーザに予告する処理である中止予告処理を実施するように構成されていても良い。例えば運転支援ＥＣＵ２０は、残距離Ｒｄが中止予告距離Ｒｎ未満となった時点において、まだ前方信号機に対応する灯火装置を特定できていない場合、信号機通過支援を中止する可能性があることを示すメッセージを出力してもよい。中止予告距離Ｒｎは、支援中止距離Ｒｔｈよりも大きい範囲で設定される。例えば中止予告距離Ｒｎは７０ｍや１００ｍとすることができる。中止予告距離Ｒｎは支援中止距離Ｒｔｈに例えば２０ｍや、３０ｍといった所定の余裕度を加えた値とすることができる。中止予告距離Ｒｎや余裕度は、車両状態取得部Ｆ４が取得している自車両の走行速度に応じて動的に決定されても良い。例えば余裕度は４秒に相当する距離として動的に決定されても良い。中止予告処理として出力するメッセージは画像メッセージであってもよいし、音声メッセージであっても良い。信号機通過支援を中止する可能性があることを示す所定のアイコン画像をディスプレイ１５１に表示させても良い。

そのような構成では、最終的に信号機通過支援が中止される場合には、図６に示すように、運転支援ＥＣＵ２０は残距離Ｒｄが中止予告距離Ｒｎとなる地点を通過する際に、信号機通過支援を中止する可能性があることをユーザに予告する。そして、運転支援ＥＣＵ２０は残距離Ｒｄが支援中止距離Ｒｔｈとなる地点を通過する際に、信号機通過支援を中止することをユーザに通知する。このような構成によればユーザは、信号機通過支援が中止される可能性を事前に、換言すれば時間的に余裕がある段階で知ることができる。その結果、最終的に信号機通過支援が中止される場合であっても、ユーザを慌てさせる恐れを低減できる。

＜見なし閾値Ｄｔｈの捕捉＞
信号機認識部Ｆ７１は、検出された灯火装置の信号機確率Ｐに応じて、見なし閾値Ｄｔｈを緩和するように構成されていてもよい。すなわち、検出された灯火装置の信号機確率Ｐが大きいほど、見なし閾値Ｄｔｈを大きい値に設定するように構成されていても良い。例えば図７に示すように、信号機確率Ｐが４０％である場合には見なし閾値Ｄｔｈを所定の第１距離Ｄ１に設定する一方、信号機確率Ｐが９０％以上である場合には見なし閾値Ｄｔｈを所定の第２距離Ｄ２に設定する。信号機確率Ｐが９０％未満である場合には、信号機確率Ｐが大きいほど、見なし閾値Ｄｔｈを大きく設定する。第１距離Ｄ１は例えば０．５ｍや０．７ｍなどとすることができる。また第２距離Ｄ２は例えば２．０ｍや２．５ｍなどとすることができる。

このような構成によれば、地図に登録されている信号機の設置位置である地図上信号機位置が、実際の設置位置からずれていることに起因して、信号機を信号機ではないと誤判定する恐れを低減できる。つまり、地図上信号機位置が間違っている場合に信号機を検出できなくなることを抑制可能となる。また、当該構成によれば、地図上信号機位置と、前方カメラ１１で観測された信号機位置である観測信号機位置とのずれ度合いを精度良く評価可能となる。なお、前述の通り、ＰＤ地図に登録されている信号機の設置位置には誤差が含まれる。そのような事情を踏まえると、上記構成は地図サーバ３が取り扱う地図データがＰＤ地図である場合に特に好適といえる。

＜信号機認識部Ｆ７１の補足＞
上記の信号機の認識手法は、車両用の信号機の認識だけでなく、歩行者用の信号機の認識にも同様に適用する事ができる。信号機認識部Ｆ７１は、歩行者用の信号機を検出するように構成されていても良い。歩行者用の信号機を検出できれば、その点灯状態に基づいて歩行者の動きを予測しやすくなる。つまり、歩行者用の信号機の点灯状態を用いて交差点等を通過する際の車両制御を計画することにより、より安全性を高めることができる。

また、地図データを参照し、１つの進行方向に対して車両用の信号機と歩行者用の信号機の両方が設置されていることが特定できた場合には、車両用の信号機と、歩行者用の信号機をセットで認識するように構成されていても良い。車両用の信号機の近接度が所定の閾値未満であって、且つ、歩行者用の信号機の近接度も所定の閾値未満である場合に、それらを信号機と判定するように構成されていても良い。当該構成によれは、判断材料が増えるため、信号機ではないものを信号機であると誤判定する恐れを低減できる。

その他、信号機認識部Ｆ７１は、車両用の信号機の認識に、歩行者用の信号機の認識結果を補助的に使用しても良い。例えば、歩行者用の信号機を認識できている場合には、歩行者用の信号機の点灯状態に対応する色の光を発している灯火装置を優先的に探索しても良い。例えば、歩行者用の信号機が青色である場合には、青色の灯火装置の中から信号機を探索しても良い。同様に、歩行者用の信号機の識別に、車両用の信号機の検出結果を補助的に使用しても良い。車両用の信号機の認識結果と、歩行者用の信号機の認識結果は相補的に利用可能である。

なお、歩行者用の信号機は、車両用の信号機よりも相対的に下方に配置されている。そのため、歩行者用の信号機は、車両用の信号機よりも車両のヘッドライトや街明かり等により、筐体部分が検出されやすい。また、昼間においても、歩行者用の信号機は、車両用の信号機よりも筐体が雲などの背景と同化しにくい。故に、歩行者用の信号機は、他車両や建物などによって、前方カメラ１１の視界が遮られていない限りは、車両用の信号機よりも検出しやすい場合がある。そのような事情を考慮すれば、検出された灯火装置が車両用の信号機であるか否かの判断に、歩行者用の信号機の認識結果を相補的に使用することにより、車両用の信号機の認識精度を高めることができる。

一方で、車両用の信号機は歩行者用の信号機よりも相対的に上方に配置されている。そのため、車両用の信号機は、歩行者用の信号機よりも遠方から検出しやすいといった特性を有する。また、多くの場合において、歩行者用信号機と車両用の信号機は連動している。故に、歩行者用の信号機の探索に、車両用の信号機の点灯状態情報を利用することも可能である。例えば車両用の信号機が青色である場合には、歩行者用の信号機として青色の光源を優先的に探索してもよい。歩行者用の信号機の探索に、車両用の信号機の点灯状態情報を利用する構成によれば、歩行者用の信号機を検出するための処理負荷を低減したり、検出精度を高めることが可能となる。地図データには、車両用の信号機の設置位置だけでなく、歩行者用の信号機の設置位置が含まれていることが好ましい。また、地図データには、信号機データとして、進行方向を同一とする車両用の信号機と歩行者用信号機とが同期しているか否か、換言すれば歩車分離式信号であるか否かを示すデータが含まれていることが好ましい。

信号機認識部Ｆ７１は、同一方向についての歩行者用信号機と車両用の信号機が連動している場合、歩行者用の信号機の点灯状態に基づいて、車両用の信号機の点灯状態を推定してもよい。また、歩行者用の信号機と車両用の信号機の点灯状態の変化タイミングには、数秒～１０秒程度の時間差が設けられていることがある。信号機認識部Ｆ７１は、歩行者用の信号機の点灯状態の変化から、車両用の信号機の点灯状態の変化を予測して制御計画を作成及び修正しても良い。

その他、信号機認識部Ｆ７１は、前方信号機に対応する灯火装置を特定できた場合、所定のトラッキング手法を用いて前方信号機としての当該灯火装置を追跡する。灯火装置のトラッキング手法としては、多様な方法を援用可能である。例えば信号機認識部Ｆ７１は、前時刻での信号機の観測位置と自車両の移動速度に基づいて、現時刻での信号機の位置を推定し、現在の画像フレームに含まれる灯火装置の中から、当該推定位置に最も近いものを同一物と見なす。また、例えば前時刻で算出された近接度δと新たに算出された近接度δが所定の閾値以内となっているものを同一の信号機として追跡するように構成されていても良い。その他、信号機認識部Ｆ７１は、例えばカラーヒストグラムや、大きさ、輝度などといった特徴量の類似度合いを用いて信号機に相当する灯火装置を追跡してもよい。

なお、前時刻での観測位置に基づく推定位置と観測位置との類似度を主として用いて追跡する構成においては、灯火装置の点灯色が所定のパターンで変化したことに基づいて、当該灯火装置が信号機である確率を上げるように構成されていてもよい。検出されている灯火装置が信号機である確率を上げるための変化パターンとは、例えば、青色から黄色又は赤色になるパターンや、赤色または黄色から青色になるパターンなどがある。検出されている灯火装置が信号機である確率を上げるための変化パターンは、運転支援ＥＣＵ２０が使用される地域の信号機の変化パターンに対応するように適宜変更可能である。

＜地図更新への利用について＞
上記の構成によれば、地図上信号機位置と観測信号機位置のずれ量及びその方向を算出することができる。運転支援ＥＣＵ２０は機能部として、図８に示すように、地図上信号機位置と観測信号機位置とのずれ度合いを示すデータセットをプローブデータとして地図サーバ３に送信する報告処理部Ｆ１０を備えていてもよい。なお、図８では環境認識部Ｆ７などの説明済みの構成の図示は省略している。

プローブデータは、例えば、信号機識別情報と、信号機位置ずれ情報と、を含む。信号機識別情報は、報告対象とする信号機を示す情報であって、例えば地図データに登録されている信号機の識別番号とすることができる。信号機識別情報は交差点の名称またはノード番号と、自車両の進行方向を示すデータセットであってもよい。信号機位置ずれ情報は、地図上信号機位置と観測信号機位置のずれ量及びその方向を示す情報であって、緯度、経度、及び高度のそれぞれについてのずれ量を含むことが好ましい。信号機位置ずれ情報は、観測信号機位置を間接的に示すデータに相当する。プローブデータは、信号機位置ずれ情報の代わり、又は並列的に、観測信号機位置を直接的に示すデータ、すなわち、観測信号機位置の座標データを含んでいてもよい。信号機位置ずれ情報及び／又は観測信号機位置の座標データを含むプローブデータが観測結果情報に相当する。プローブデータの生成に使用する観測信号機位置は、信号機までの残距離Ｒｄが例えば４０ｍなどの所定距離となった時点で算出されたものであってもよいし、最後に信号機を検出した時点において算出した位置であってもよい。

プローブデータは、報告する信号機位置又は信号機位置ずれ情報を算出した時点における車両位置誤差ρを含んでいても良い。プローブデータに車両位置誤差ρを含めることにより、地図サーバ３は報告されてきた信号機の位置情報の精度を評価することが可能となる。その他、プローブデータは、走行軌道情報、走路情報、および地物情報を含んでいても良い。走行軌道情報は、自車両が走行した軌道を示す情報である。例えば走行軌道情報は、自車位置の点列として表現される。走路情報は、走行路の端部や中心線の軌道を示す情報である。走行路の端部等もまた座標点群によって表現されればよい。なお、走行軌道情報や走路情報は、３次スプライン曲線で表現されていてもよい。また、走行軌道情報や走路情報は、検出点の回帰式を示す係数パラメータで表現されていても良い。回帰式は複数の検出点の分布を近似的に表す直線または曲線に相当する関数であって、例えば最小二乗法等によって算出される。

報告処理部Ｆ１０によるプローブデータの送信は、所定の閾値以上の信号機位置のずれ量を検出した場合に実行される。その他、報告処理部Ｆ１０によるプローブデータの送信は、定期的に実行されても良い。また、プローブデータを送信するか否かは、地図サーバ３からの指示に基づいて制御されても良い。なお、近接度δに基づく、検出されている灯火装置が信号機かどうかの判定は、１つの実施の態様として、車両位置誤差ρが誤差閾値Ｐｔｈ未満であることを条件に実行される。つまり上記構成は車両位置誤差ρが誤差閾値Ｐｔｈ未満であることを条件として、信号機の位置情報を更新するためのプローブデータを地図サーバ３にアップロードする構成に相当する。

地図の更新を行う地図サーバ３は、図８に示すように、サーバプロセッサ３１、メモリ３２を含む、コンピュータとして構成されている。サーバプロセッサ３１は、ＣＰＵ等のプロセッサを用いて構成されている。メモリ３２は、ＲＡＭやフラッシュメモリを含む。また、地図サーバ３は、地図データを記憶している不揮発性の記憶装置である地図データベース３３を備える。地図データベース３３は、サーバプロセッサ３１によるデータの書き込み、読出、削除等が実施可能に構成されている。地図サーバ３は、図示しない通信装置及び広域通信網を介して車両Ｍａと通信可能に構成されている。

地図サーバ３はサーバプロセッサ３１が所定の地図更新プログラムを実行することによって実現される機能部として、報告受信部Ｇ１、地図更新部Ｇ２、及び配信処理部Ｇ３を備える。報告受信部Ｇ１は、自車両を含む複数の車両からアップロードされてきたプローブデータを、通信装置を介して取得する。報告受信部Ｇ１は、各車両から取得したプローブデータを地図更新部Ｇ２に提供する。

地図更新部Ｇ２は、各車両から送信されてくるプローブデータに基づいて、地図データベース３３に保存されている地図データを更新する。例えば、同一の信号機に対して、複数の車両から報告された信号機位置ずれ情報を統合処理することにより、信号機位置の修正量を決定し、地図データを更新する。例えば、緯度、経度及び高度のそれぞれについて、複数の車両で観測された信号機の位置ずれ量の分散を算出し、分散が所定の閾値未満である場合には、その中央値／平均値を当該信号機の位置の修正量として採用する。分散が所定の閾値以上である項目については、例えば検証フラグを立てる。検証フラグは、地図として登録するには不確かなデータであることを示すフラグに相当する。なお、地図更新部Ｇ２は、複数の車両で観測された信号機位置の分散を算出し、分散が所定の閾値未満である場合には、その中央値／平均値を当該信号機の座標として採用してもよい。分散が所定の閾値以上である信号機については、例えば検証フラグを立て、更新を保留としても良い。なお、統合処理における分散の評価は必須ではなく、省略されてもよい。地図更新部Ｇ２は、複数の車両から、同じ方向に信号機位置がずれている旨の報告を所定回数連続して受信した場合に、当該信号機の設置位置を更新してもよい。なお、地図更新部Ｇ２は、車両位置誤差ρがより小さいときに観測された信号機位置を、車両位置誤差ρがより大きいときに観測された信号機位置よりも優先的に、例えば重みを大きくして統合処理することが好ましい。そのような構成によれば、ＰＤ地図に収録される信号機の設置位置の精度をより一層高めることができる。

地図更新部Ｇ２は、例えば所定の周期で地図データの更新を行う。更新周期は１日毎であってもよいし、１週間毎又は１ヶ月毎であってもよい。また、所定数のプローブデータが蓄積された信号機から順に更新してもよい。１つの信号機の位置座標の更新に必要なプローブデータの数である更新所要報告数は例えば１０個とすることができる。更新所要報告数は８や、１２などであってもよい。更新所要報告数が多いほど精度が高まることが期待できる。更新所要報告数を少なくすることでリアルタイム性を高めることができる。

配信処理部Ｇ３は、地図データをマップタイル等のパッチ単位で、車両からの要求に基づき配信する構成である。例えば車両の地図取得部Ｆ２は、現在位置、及び、所定時間以内に通行予定のエリアに関する地図データを地図サーバ３に要求する。配信処理部Ｇ３は当該要求に基づいて、地図データを配信する。なお、配信処理部Ｇ３は、自発的に地図データを配信するように構成されていても良い。例えば地図データが車両に保存されて使用されるシステム構成においては、更新があった地図データを差分地図データとして各車両に配信してもよい。信号機などの立体構造物の位置情報は、区画線や交差点内の導流帯などといった路面標示データと対応付けられて配信される。なお、信号機などの立体構造物の位置情報は、交差点における進行方向毎及び車線毎の走行軌道モデルと対応付けられて配信されてもよい。以上の構成によれば、車両からの報告に基づいて信号機の位置を随時更新可能となる。

＜路側機等との連携について＞
運転支援ＥＣＵ２０は、機能部として図９に示すように、信号機情報受信部Ｆ１１を備えていても良い。信号機情報受信部Ｆ１１は、Ｖ２Ｘ車載器１４を介して路側機から前方信号機についての情報である信号機情報を取得する構成である。信号機情報は、例えば、前方信号機までの距離や、現在の点灯状態、点灯サイクル、点灯状態が変化するまでの残り時間などを含む情報とすることができる。

例えば、信号機情報受信部Ｆ１１が信号機情報を受信できた場合には、信号機認識部Ｆ７１は、受信した信号機情報を用いて信号機の認識を行う。例えば、信号機情報で現在の点灯状態が青色であると通知されている場合には、青色の灯火の中から、地図に登録されている信号機と、前方カメラ１１で検出されている灯火装置の対応付けを行う。なお、路側期からの信号機情報は、いったん受信開始したらその後も信号機を通過するまで安定して受信し続けられるとは限らない。残距離Ｒｄが１００ｍの地点までは信号機情報を取得できていたとしても、その後は通信トラブルや、大型車両による電波遮蔽によって受信不能となるケースも存在する。故に、いったん信号機情報を受信できた場合には、信号機情報だけに頼るのではなく、前方カメラ１１でも点灯状態を認識可能なように追跡し続けることが好ましい。追跡手法としては上述の通り多様な方法を採用可能である。

なお、特徴量の類似度合いを用いて信号機に対応する灯火装置を追跡する構成では、信号機の点灯状態が変化したタイミングで見失う（つまりロストする）恐れがある。信号機の点灯状態の変化に伴って、色が大きく変化するためである。色の類似度合いを用いて信号機に対応する灯火装置を追跡する構成においては、信号機情報受信部Ｆ１１が受信した信号機情報を相補的に用いて信号機としての灯火装置を追跡することが好ましい。例えば、信号機情報に示されている、信号機の点灯状態が変化する時点付近においては、灯火装置の追跡に使用する色情報の重みを下げるように構成されていても良い。具体的には、信号機情報に示されている、信号機の点灯状態が変化する時点付近においては、色の類似度合いを用いた第１の追跡手法から、色の類似度合いを用いない第２の追跡手法に切り替えて追跡を実施してもよい。第２の追跡手法は、例えば前時刻での観測位置に基づく推定位置と現時点での観測位置の類似性によって追跡を行う手法とすることができる。当該構成によれば、点灯状態の変化に起因して、信号機としての灯火装置の追跡が中断される恐れを低減できる。また、信号機に対応する灯火装置を探索する際には色情報を利用する一方、対応付けが成功した時点以降においては、追跡処理における色情報の重みを下げることにより、信号機の発見精度を高めつつ、ロストする恐れを低減可能となる。

もちろん、信号機情報は前方信号機に対応する灯火装置の特定だけでなく、直接的に信号機通過支援に利用してもよい。例えば制御計画部Ｆ８は、信号機情報に基づいて信号機前で停車するか否かを判断したり、加減速のスケジュールを作成したりしても良い。信号機情報がしばらくは赤色にならないことが示している場合には、信号機前で停車せずに通過する制御計画を策定すればよい。また、信号機情報に基づき残距離Ｒｄが所定値未満となるまでに赤色に変化することが予見される場合には、停車に向けて減速していく制御計画を策定すればよい。なお、無線通信による信号機情報を取得元は、路側機に限らない。信号機の動作状況を管理及び配信するセンタから、上記信号機情報を取得しても良い。通常であれば、インフラから無線送信される信号機情報は、画像認識結果よりも信頼性が高い。故に信号機情報を無線受信できている場合には、画像認識によって特定された信号機の点灯状態よりも、インフラから取得した信号機情報に基づいて制御計画を実施しても良い。ただし、悪意のある第三者によって、偽物の信号機情報が配信されることが懸念される。そのような懸念に基づけば、画像認識によって特定された信号機の点灯状態を、インフラから取得した信号機情報よりも優先的に用いて制御計画を実施しても良い。その他、信号機情報と画像認識結果との整合性に基づいて、受信している信号機情報の信憑性を評価した上で、当該信号機情報に基づいて制御計画を作成するように構成されていても良い。

＜システム構成の変形例＞
上述した実施形態では運転支援ＥＣＵ２０が信号機認識部Ｆ７１を備える構成を開示したが、種々の機能部の配置態様はこれに限らない。図１０に示すようにカメラＥＣＵ４１が信号機認識部Ｆ７１を備えていても良い。また、前述の通り、カメラＥＣＵ４１と運転支援ＥＣＵ２０は一体化されていても良い。換言すれば、カメラＥＣＵ４１としての機能は運転支援ＥＣＵ２０が備えていても良い。すなわち、前方カメラ１１は画像データを運転支援ＥＣＵ２０に出力して、運転支援ＥＣＵ２０が物体検出から種別識別までの処理を実行するように構成されていても良い。

その他、運転支援ＥＣＵ２０には、ミリ波レーダやソナー、ＬｉＤＡＲなどといった種々の周辺監視センサの検出結果が入力されるように構成されていてもよい。例えば環境認識部Ｆ７は、ミリ波レーダやＬｉＤＡＲの検出結果を前方カメラ１１での検出結果を、所定の重みで統合するセンサフュージョン処理により、走行環境を認識するように構成されていても良い。また、以上では、前方カメラ１１の画像を用いて信号機を認識する処理を例示したが、信号機を認識するためのカメラは前方カメラ１１に限定されない。後方カメラ、右側方カメラ、左側方カメラが生成した画像フレームを用いて信号機を検出するように構成されていても良い。上述した信号機の認識手法は、例えば側方カメラなど、前方カメラ１１以外の車載カメラが撮像した画像データに対しても適用可能である。

＜付言＞
本開示に記載の制御部及び処理部、並びにそれの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

つまり、処理部２１等が提供する手段および／または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば処理部２１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。処理部２１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。処理部２１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。処理部２１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。

１００ 地図連携システム、１ 車両制御システム、１１ 前方カメラ、１２ 車両状態センサ、１３ ロケータ、１４ Ｖ２Ｘ車載器、１５ ＨＭＩシステム、１６ 走行アクチュエータ、２０ 運転支援ＥＣＵ（車両制御装置）、２１ 処理部、３ 地図サーバ、３１ サーバプロセッサ、３２ メモリ、３３ 地図データベース、４０ カメラ本体、４１ カメラＥＣＵ、４１１ 識別器、Ｆ１ 暫定位置取得部（車両位置取得部）、Ｆ２ 地図取得部（地図上位置取得部）、Ｆ３ カメラ出力取得部（観測位置取得部）、Ｆ４ 車両状態取得部、Ｆ５ 詳細位置算出部（車両位置取得部）、Ｆ６ 位置誤差評価部（位置誤差取得部）、Ｆ７ 環境認識部、Ｆ７１ 信号機認識部、Ｆ８ 制御計画部、Ｆ９ 制御実行部、Ｆ１０ 報告処理部、Ｇ１ 報告受信部、Ｇ２ 地図更新部、Ｇ３ 配信処理部、Ｓ１０１ 車両位置取得ステップ、Ｓ１０２ 地図上位置取得ステップ、Ｓ１０３ 観測位置取得ステップ、Ｓ１０７ 信号機認識ステップ

Claims (11)

1. 車両の周辺に存在する信号機を認識するための信号機認識装置であって、
   前記車両の位置を取得する車両位置取得部（Ｆ１、Ｆ５）と、
   前記車両位置取得部が取得した前記車両の位置に基づき、地図データに登録されている、前記信号機の位置である地図上信号機位置を取得する地図上位置取得部（Ｆ２）と、
   車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得部（Ｆ３）と、
   前記地図上位置取得部が取得した前記地図上信号機位置と前記観測位置取得部が取得した前記観測灯火位置の差である近接度に基づいて、前記灯火装置が前記信号機であるか否かを判定する信号機認識部（Ｆ７１）と、を備え、
   前記地図データに登録されている前記信号機までの残り距離が所定の限界距離未満となっても、当該信号機に対応する前記灯火装置を特定できていない場合には、地図に登録されている信号機の検出に失敗したことを示すエラー信号を地図サーバに送信するように構成されている信号機認識装置。
2. 請求項１に記載の信号機認識装置であって、
   前記エラー信号は、現在位置情報、観測時刻情報、検出に失敗した前記信号機の識別情報、及び前記車載カメラのモデル情報の少なくとも何れか１つを含む、信号機認識装置。
3. 請求項１又は２に記載の信号機認識装置であって、
   前記信号機認識部は、前記近接度が所定の見なし閾値未満であることに基づいて、前記灯火装置を前記信号機と判定するように構成されている信号機認識装置。
4. 請求項１から３の何れか１項に記載の信号機認識装置であって、
   前記車両位置取得部が推定した前記車両の位置と、実際の前記車両の位置と差である車両位置誤差を取得する位置誤差取得部（Ｆ６）を備え、
   前記信号機認識部は、前記車両位置誤差が所定の誤差閾値未満であることを条件として、前記灯火装置が前記信号機であるか否かの判定を実施するように構成されている信号機認識装置。
5. 請求項４に記載の信号機認識装置であって、
   前記車両位置誤差が前記誤差閾値未満であることを条件として、前記信号機に対応する前記灯火装置の観測位置を直接的又は間接的に示す観測結果情報を、前記車両の外部に設けられている地図サーバに送信するように構成されている信号機認識装置。
6. 請求項１から５の何れか１項に記載の信号機認識装置であって、
   前記車両位置取得部は、前方カメラの撮像した画像フレームを用いて検出される所定のランドマークの位置情報と、前記地図データに登録されている前記ランドマークの位置情報とから、地図上における前記車両の位置座標を特定するものであって、
   前記ランドマークは、道路沿いに設置されている案内標識、信号機、ポール、商業看板、及び所定の路面標示の少なくとも何れか１つを含み、
   前記車両位置取得部は、少なくとも夜間は、前記ランドマークとして信号機は用いないように構成されている信号機認識装置。
7. 請求項１から６の何れか１項に記載の信号機認識装置であって、
   前記地図データに登録されている前記信号機までの残り距離が所定の限界距離未満となっても、当該信号機に対応する前記灯火装置を特定できていない場合には、当該信号機の認識状態にかかる情報をユーザに通知するように構成されている信号機認識装置。
8. 請求項１から７の何れか１項に記載の信号機認識装置であって、
   車両外部に設けられている通信装置から、前記信号機についての情報である信号機情報を受信する信号機情報受信部（Ｆ１１）を備え、
   前記信号機認識部は、前記信号機情報受信部が前記信号機情報を受信した場合には、当該信号機情報を用いて前記信号機に対応する前記灯火装置を特定するように構成されている信号機認識装置。
9. 請求項８に記載の信号機認識装置であって、
   前記信号機認識部は、前記信号機に対応する前記灯火装置を特定できた場合には、前記信号機としての当該灯火装置を追跡するように構成されており、
   前記信号機情報受信部が受信した前記信号機情報に基づいて、前記信号機としての前記灯火装置を追跡する方法を経時的に変更するように構成されている信号機認識装置。
10. 少なくとも１つのプロセッサ（２１）によって実行される、車両の周辺に存在する信号機を認識するための信号機認識方法であって、
    前記車両の位置を取得する車両位置取得ステップ（Ｓ１０１）と、
    前記車両位置取得ステップで取得した前記車両の位置に基づき、地図データに登録されている、前記信号機の位置である地図上信号機位置を取得する地図上位置取得ステップ（Ｓ１０２）と、
    車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得ステップ（Ｓ１０３）と、
    前記地図上位置取得ステップで取得した前記地図上信号機位置と前記観測位置取得ステップで取得した前記観測灯火位置の差である近接度に基づいて、前記灯火装置が前記信号機であるか否かを判定する信号機認識ステップ（Ｓ１０７）と、
    前記地図データに登録されている前記信号機までの残り距離が所定の限界距離未満となっても、当該信号機に対応する前記灯火装置を特定できていない場合には、地図に登録されている信号機の検出に失敗したことを示すエラー信号を地図サーバに送信するステップと、を含む信号機認識方法。
11. 車両の周辺に存在する信号機の認識状態に応じた車両制御を実施する車両制御装置であって、
    前記車両の位置を取得する車両位置取得部（Ｆ１、Ｆ５）と、
    前記車両位置取得部が取得した前記車両の位置に基づき、地図データに登録されている、前記信号機の位置である地図上信号機位置を取得する地図上位置取得部（Ｆ２）と、
    車載カメラが撮像した画像フレームを用いて検出される灯火装置の位置情報を、観測灯火位置として取得する観測位置取得部（Ｆ３）と、
    前記地図上位置取得部が取得した前記地図上信号機位置と前記観測位置取得部が取得した前記観測灯火位置の差である近接度に基づいて、前記灯火装置が前記信号機であるか否かを判定する信号機認識部（Ｆ７１）と、を備え、
    前記車両から前記地図上信号機位置までの残り距離が所定の限界距離未満となっても信号機を認識できていない場合には、前記車両制御が実行されないことをユーザに通知するとともに、
    前記車両から前記地図上信号機位置までの残り距離が、前記限界距離よりも大きい所定の中止予告距離となっても前記信号機を認識できていない場合には、前記車両制御が実行されない可能性があることをユーザに予告するように構成されている車両制御装置。

Images