JP6419011B2 - 地物画像認識システム、地物画像認識方法及びコンピュータプログラム - Google Patents

Description

本発明は、撮像した画像に基づいて車両の周辺にある地物を認識する地物画像認識システム、地物画像認識方法及びコンピュータプログラムに関する。

近年では車両の走行形態として、ユーザの運転操作に基づいて走行する手動走行以外に、ユーザの運転操作によらず車両が予め設定された経路に沿って自動的に走行を行う自動運転制御による走行について新たに提案されている。自動運転制御では、例えば、車両の現在位置、車両が走行する車線、周辺の他車両の位置を随時検出し、予め設定された経路に沿って走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。ここで、自動運転制御による走行はユーザの運転に係る負担を軽減できるメリットがあるが、道路状況や周辺環境によっては自動運転制御で走行を行わせることが難しい状況がある。例えば、車線の区画線が消えている又はカメラで認識できない程度まで薄くなっている区間では、車両が走行すべき車線を特定することができないので、自動運転制御で走行を行わせることが難しい。

しかしながら、上記車線の区画線等の路面に描かれる地物は、車両が通過することによってペイントが摩耗し易く、時間の経過に伴って消えたり薄くなっている箇所が多く存在する。そして、上記自動運転制御を行う際には、自動運転制御による走行の制御内容や実施可否を決定する為の基準として、上記地物の状態を正確に特定することが重要であった。そこで、例えば特開２０１４−１０４８４０号公報には、車両の前方及び後方にカメラを設置し、車両の進行方向に対応するカメラで撮像した画像に対して画像認識処理を行うことにより、路面に描かれた白線を検出する技術について記載されている。

特開２０１４−１０４８４０号公報（第６−９頁）

ここで、上記特許文献１のように走行中の車両に設置されたカメラで撮像した画像から地物を認識する場合には、周辺環境によって認識結果の信頼度が大きく変化する。例えば雨が降っていると、撮像された地物がはっきり映らずに地物の境界線や特徴点の抽出を正確に行うことが難しい。また、夜であると、撮像画像が暗くなり同じく地物の境界線や特徴点の抽出を正確に行うことが難しい。一方で、夜以外であっても撮像方向に太陽がある場合にはハレーションが生じ、同じく地物の境界線や特徴点の抽出を正確に行うことが難しい。

また、上記特許文献１のように複数のカメラが車両に設置されている場合には、周辺環境によってはカメラ毎に認識結果の信頼度が異なる場合もある。例えば、上記ハレーションについては、撮像方向に太陽があるカメラで撮像した画像のみ発生するので、同じ周辺環境であっても他の方向を撮像方向としたカメラについては発生しない。従って、特定の周辺環境では複数のカメラ毎の信頼度を考慮して画像認識結果から地物の状態を特定することが重要である。しかしながら、上記特許文献１では上記のような複数のカメラ毎の信頼度については考慮しておらず、車両の進行方向に基づいて画像認識を行う対象となるカメラを選択していた。その結果、地物の状態の特定が正確にできない場合があった。

本発明は前記従来における問題点を解消するためになされたものであり、周辺環境に応じて複数の撮像装置毎に画像認識結果に対して重み付けを行うことにより、地物の状態の特定精度を向上させた地物画像認識システム、地物画像認識方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る地物画像認識システムは、車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する画像認識結果取得手段と、前記車両の周辺環境を取得する環境取得手段と、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行う認識結果補正手段と、前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積する学習手段と、前記学習手段により累積された学習値に基づいて前記地物の状態を特定する地物状態特定手段と、を有することを特徴とする。
尚、「地物」は、道路上又は道路付近において位置や角度が固定されている物が該当し、障害物、建造物、道路標識（路面標示含む）等がある。

また、本発明に係る地物画像認識方法は、撮像装置により撮像された撮像画像に基づいて地物の認識を行う方法である。具体的には、画像認識結果取得手段が、車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得するステップと、環境取得手段が、前記車両の周辺環境を取得するステップと、認識結果補正手段が、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行うステップと、学習手段が、前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積するステップと、地物状態特定手段が、前記学習手段により累積された学習値に基づいて前記地物の状態を特定するステップと、を有することを特徴とする。

また、本発明に係るコンピュータプログラムは、撮像装置により撮像された撮像画像に基づいて地物の認識を行わせるプログラムである。具体的には、コンピュータを、車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する画像認識結果取得手段と、前記車両の周辺環境を取得する環境取得手段と、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行う認識結果補正手段と、前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積する学習手段と、前記学習手段により累積された学習値に基づいて前記地物の状態を特定する地物状態特定手段と、して機能させることを特徴とする。

前記構成を有する本発明に係る地物画像認識システム、地物画像認識方法及びコンピュータプログラムによれば、車両の搭載された複数の撮像装置により撮像した画像に基づいて地物の認識を行う場合において、周辺環境に応じて複数の撮像装置毎に画像認識結果に対して重み付けを行うことによって、撮像装置毎の画像認識結果に対する信頼度を考慮して画像認識結果から地物の状態の特定を行うことが可能となる。その結果、仮に誤った画像認識結果が取得された場合であっても、それらの影響を少なくして地物の状態を特定できるので、地物の状態の特定精度を向上させることが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 補正テーブルの一例を示した図である。 車両に設置されたフロントカメラとバックカメラを示した図である。 本実施形態に係る地物認識処理プログラムのフローチャートである。 学習値に基づいて区画線の状態の特定する方法を説明した図である。 本実施形態に係る画像認識結果補正処理のサブ処理プログラムのフローチャートである。

以下、本発明に係る地物画像認識システムを、ナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスを出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成されている。また、ナビゲーション装置１はＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置されたフロントカメラ１９やバックカメラ２０が接続されている。更に、ナビゲーション装置１の搭載された車両に対する各種制御を行う車両制御ＥＣＵ２１とも双方向通信可能に接続されている。また、自動運転開始ボタン等の車両に搭載された各種操作ボタン２２についても接続されている。

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２３、車速センサ２４、ステアリングセンサ２５、ジャイロセンサ２６等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２４は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１、学習ＤＢ３２、補正テーブル３３及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。また、地図情報ＤＢ３１や学習ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、経路の探索に係る処理に用いられる探索データ、施設に関する施設データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等が記憶された記憶手段である。

また、学習ＤＢ３２は、フロントカメラ１９及びバックカメラ２０により撮像した撮像画像に基づく地物に対する画像認識結果を累積して記憶した記憶手段である。尚、本実施形態では特に認識対象となる地物を車線の区画線とする。即ち、学習ＤＢ３２には、フロントカメラ１９及びバックカメラ２０により撮像した撮像画像に基づいて行われた区画線の画像認識結果（より具体的には区画線が認識できたか否か）が学習値として累積記憶されることとなる。そして、ナビゲーションＥＣＵ１３は、後述のように学習ＤＢ３２に記憶された学習値に基づいて区画線の状態（より具体的には区画線が消えている又はカメラで認識できないほど薄くなっている区間）を特定する。尚、学習ＤＢ３２に記憶される学習値の詳細については後述する。

また、補正テーブル３３は、フロントカメラ１９及びバックカメラ２０により撮像した撮像画像に基づいて行われた区画線の画像認識結果の重み付け行う為の補正値が規定されたテーブルである。

以下に、補正テーブル３３について具体例を挙げてより詳細に説明する。図２は補正テーブル３３の一例を示した図である。図２に示すように、補正テーブル３３は、周辺環境とカメラの撮像方向（本実施形態では前方を撮像するフロントカメラ１９と後方を撮像するバックカメラ２０）に対応付けられて補正値が規定されている。また、一部の周辺環境については車両の走行態様についても組み合わせて考慮される。また、補正値は画像認識結果の信頼度に基づいて減算する値が“０〜１”の間で適宜設定される。具体的には、認識精度に影響する外乱が少なく、画像認識結果の信頼度が高い（認識精度が高い）と予想される組み合わせ程、補正後の値が高く（即ち、重み付けが重く）なるように補正値を設定する。

例えば、周辺環境が『雨天』の場合には、雨滴の飛沫によって画像認識精度が低下する。また、フロントカメラ１９はレンズに付着した雨滴が走行時に風圧によって飛散するが、バックカメラ２０はレンズに付着した雨滴によって更に画像認識精度が低下する。従って、フロントカメラ１９及びバックカメラ２０とも補正値をマイナスとし、特にバックカメラ２０についてはフロントカメラ１９よりも補正値を低く設定する。例えばフロントカメラ１９を“−０．２”、バックカメラ２０を“−０．３”とする。但し、バックカメラ２０が車内に設置されている場合にはレンズに雨滴が付着しないので、補正値はフロントカメラ１９と同じ“−０．２”とする。

また、周辺環境が『積雪』の場合には、路上に積雪した雪によって区画線が隠れるので、区画線が存在しても撮像することができず画像認識精度が大きく低下する。従って、フロントカメラ１９及びバックカメラ２０とも補正値を大きくマイナスとする。例えばフロントカメラ１９を“−０．４”、バックカメラ２０を“−０．４”とする。

また、周辺環境が『前方車あり』の場合には、前方車両によってフロントカメラ１９の視界が遮られる可能性が高く、フロントカメラ１９については区画線が存在しても撮像できない場合が発生することから画像認識精度が低下する。一方、バックカメラ２０については影響がない。従って、フロントカメラ１９のみ補正値をマイナスとする。例えばフロントカメラ１９を“−０．３”、バックカメラ２０を“０（補正無し）”とする。

また、周辺環境が『夜でフロントカメラ１９により区画線を認識、バックカメラ２０では認識できず』の場合には、車両のヘッドライトの光の影響でフロントカメラ１９は区画線を認識でき、ヘッドライトの光が影響しないバックカメラ２０は暗闇で区画線を認識できなかったと推定できる。即ち、ヘッドライトの光が影響しないバックカメラ２０は暗闇によってフロントカメラ１９より画像認識精度が低くなるので、バックカメラ２０のみ補正値をマイナスとする。例えばフロントカメラ１９を“０（補正無し）”、バックカメラ２０を“−０．３”とする。

また、周辺環境と車両の走行態様が『朝で晴れており、且つ車両の進行方向が東向き』の場合には、撮像方向に太陽があるフロントカメラ１９で撮像した撮像画像についてはハレーションが発生し、画像認識精度が低下する。一方、撮像方向が逆方向を向くバックカメラ２０で撮像した撮像画像についてはハレーションが発生しない。従って、フロントカメラ１９のみ補正値をマイナスとする。例えばフロントカメラ１９を“−０．３”、バックカメラ２０を“０（補正無し）”とする。

また、周辺環境と車両の走行態様が『夕方で晴れており、且つ車両の進行方向が西向き』の場合には、撮像方向に太陽があるフロントカメラ１９で撮像した撮像画像についてはハレーションが発生し、画像認識精度が低下する。一方、撮像方向が逆方向を向くバックカメラ２０で撮像した撮像画像についてはハレーションが発生しない。従って、フロントカメラ１９のみ補正値をマイナスとする。例えばフロントカメラ１９を“−０．３”、バックカメラ２０を“０（補正無し）”とする。

また、周辺環境と車両の走行態様が『朝で晴れており、且つ車両の進行方向が西向き』の場合には、撮像方向に太陽があるバックカメラ２０で撮像した撮像画像についてはハレーションが発生し、画像認識精度が低下する。一方、撮像方向が逆方向を向くフロントカメラ１９で撮像した撮像画像についてはハレーションが発生しない。従って、バックカメラ２０のみ補正値をマイナスとする。例えばフロントカメラ１９を“０（補正無し）”、バックカメラ２０を“−０．３”とする。

また、周辺環境と車両の走行態様が『夕方で晴れており、且つ車両の進行方向が東向き』の場合には、撮像方向に太陽があるバックカメラ２０で撮像した撮像画像についてはハレーションが発生し、画像認識精度が低下する。一方、撮像方向が逆方向を向くフロントカメラ１９で撮像した撮像画像についてはハレーションが発生しない。従って、バックカメラ２０のみ補正値をマイナスとする。例えばフロントカメラ１９を“０（補正無し）”、バックカメラ２０を“−０．３”とする。

また、周辺環境が『霧』の場合には、霧によって視程が短くなり遠方の対象物を認識し難くなる。ここで、後述のようにフロントカメラ１９はバックカメラ２０と比較して光軸方向がより上方に向けて設置される。即ち、フロントカメラ１９はバックカメラ２０より遠方の対象物を視認する構成となっている。従って、霧によって視程が短くなっている状況では、バックカメラ２０は画像認識精度に大きく影響しないが、フロントカメラ１９は区画線が存在しても撮像できずに画像認識精度が低下する。従って、フロントカメラ１９のみ補正値をマイナスとする。例えばフロントカメラ１９を“−０．２”、バックカメラ２０を“０（補正無し）”とする。

そして、ナビゲーションＥＣＵ１３は、後述のように補正テーブル３３に基づいてフロントカメラ１９及びバックカメラ２０により撮像した撮像画像に基づいて行われた区画線の画像認識結果の重み付け行う。具体的には、撮像画像を撮像した際の周辺環境や走行態様の組み合わせに該当する補正値を補正テーブル３３から特定し、特定された補正値によりカメラ毎に画像認識結果の補正を行う。尚、複数の項目が該当する場合、例えば前方車があって雨天の場合等には、該当する補正値を合算する。即ち、前方車があって雨天の場合のフロントカメラ１９の補正値は、“−０．２”と−“０．３”を合わせて“−０．５”となる。その後、重み付けが行われた後の画像認識結果を学習値として学習ＤＢ３２に記憶するように構成する。その結果、認識精度に影響する外乱が少なく、画像認識結果の信頼度が高い（認識精度が高い）と予想される画像認識結果が、区画線の状態（より具体的には区画線が消えている又はカメラで認識できないほど薄くなっている区間）の特定に大きく影響することとなる。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の地物認識処理プログラム（図４参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を構成する。例えば、画像認識結果取得手段は、フロントカメラ１９及びバックカメラ２０について車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する。環境取得手段は、車両の周辺環境を取得する。認識結果補正手段は、カメラ毎の画像認識結果に対して、撮像画像を撮像した際の車両の周辺環境に応じた重み付けによる補正を行う。学習手段は、認識結果補正手段により補正されたカメラ毎の画像認識結果を学習値として学習ＤＢ３２に累積する。地物状態特定手段は、学習ＤＢ３２に累積された学習値に基づいて地物の状態を特定する。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。また、マイクと音声認識装置によって構成することもできる。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。また、本実施形態では、進行方向前方に区画線が消えている又はカメラで認識できないほど薄くなっている区間等の自動運転制御で走行を行わせることが難しい区間がある場合には、自動運転制御が実施できない旨の案内についても表示される。尚、液晶ディスプレイ１５の代わりに、ＨＵＤやＨＭＤを用いても良い。

ここで、車両の走行形態としては、ユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が予め設定された経路や道なりに沿って自動的に走行を行う自動運転制御による走行が可能である。尚、自動運転制御では、例えば、車両の現在位置、車両が走行する車線、周辺の他車両の位置を随時検出し、車両制御ＥＣＵ２１によって予め設定された経路や道なりに沿って走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。尚、自動運転制御による走行では車線変更や右左折を行うとしても良いし、車線変更や右左折については行われず、ユーザが車線変更や右左折にかかる車両操作を行わない限り基本的に車両が同一車線内を走行するとしても良い。自動運転制御の詳細については既に公知であるので説明は省略する。また、自動運転制御は全ての道路区間に対して行っても良いが、接続する他の道路との境界にゲート（有人無人、有料無料は問わない）が設けられた高速道路等の特定の道路区間のみに対して行う構成としても良い。尚、車両が自動運転を行うことが可能な区間（以下、自動運転区間という）を走行する場合には必ず自動運転制御が行われるのではなく、ユーザにより自動運転制御を行うことが選択され、且つ自動運転制御で走行を行わせることが可能と判定された状況でのみ行われる。

上記自動運転制御による走行は、ユーザの運転に係る負担を軽減できるメリットがあるが、道路状況や周辺環境によっては自動運転制御で走行を行わせることが難しい状況がある。例えば、区画線が消えている又はカメラで認識できない程度まで薄くなっている区間を走行する場合や悪天候の状況等である。特に本実施形態に係るナビゲーション装置１では、後述のようにフロントカメラ１９やバックカメラ２０で撮像した撮像画像から区画線が消えている又はカメラで認識できない程度まで薄くなっている区間を特定するように構成する（Ｓ１３）。そして、自動運転区間を自動運転制御により走行する場合において、区画線の特定結果やその他のカメラや外部サーバから取得した情報を考慮して自動運転制御が実施できるか否かを判定し、自動運転制御が実施できない区間が前方にあると判定された場合には、車両の自動運転制御を中止して手動運転に引き継ぐように車両制御ＥＣＵ２１に指示する。一方で、自動運転区間を手動運転により走行する場合において自動運転制御が実施できない区間が前方にあると判定された場合には、自動運転制御が開始できないことの案内を行うように構成する。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では、進行方向前方に区画線が消えている又はカメラで認識できないほど薄くなっている区間等の自動運転制御で走行を行わせることが難しい区間がある場合には、自動運転制御が実施できないことを案内する音声についても出力される。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報、プローブ情報、天候情報等を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。また、車車間で通信を行う車車間通信装置や路側機との間で通信を行う路車間通信装置も含む。

また、フロントカメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、図３に示すように車両５０のフロントバンパの上方やルームミラーの裏側に取り付けられるとともに光軸方向を車両５０の進行方向前方に向けて設置される。そして、フロントカメラ１９は、車両５０の進行方向前方を撮像し、車両５０の前方にある地物５１を認識するのに用いられる。

一方、バックカメラ２０は、同じくＣＣＤ等の固体撮像素子を用いたカメラにより構成され、図３に示すように車両５０の後方に装着されたナンバープレートの上中央付近に取り付けられ、光軸方向を車両５０の進行方向後方に向けて設置される。尚、バックカメラ２０は、フロントカメラ１９よりも光軸方向がより下方に向けて設置される。そして、バックカメラ２０は、車両５０の後方を撮像し、車両５０の後方にある地物５２を認識するのに用いられる。

また、ナビゲーションＥＣＵ１３は、フロントカメラ１９やバックカメラ２０で撮像された撮像画像に対して画像認識処理を行うことによって、車両が走行する道路に描かれた区画線や周辺の他車両等を検出する。特に、本実施形態では区画線の画像認識結果を学習値として累積して記憶することによって、区画線の状態（より具体的には区画線が消えている又はカメラで認識できないほど薄くなっている区間）を特定することも行う。また、フロントカメラ１９やバックカメラ２０以外に周辺環境を検出する為の手段として各種センサを配置しても良い。例えば、測距センサ、照度センサ、降雨センサ等を設置しても良い。

一方、車両制御ＥＣＵ２１は、ナビゲーション装置１が搭載された車両の制御を行う電子制御ユニットである。また、車両制御ＥＣＵ２１にはステアリング、ブレーキ、アクセル等の車両の各駆動部と接続されており、本実施形態では特に車両が自動運転区間を走行する場合において各駆動部を制御することにより車両の自動運転制御を実施する。また、ナビゲーションＥＣＵ１３は、車両の走行予定経路（案内経路）が決定された時点や走行開始後に、ＣＡＮを介して車両制御ＥＣＵ２１に対して自動運転制御に関する指示信号を送信する。そして、車両制御ＥＣＵ２１は受信した指示信号に応じて走行開始後の自動運転制御を実施する。尚、指示信号の内容は、車両に対して行われる自動運転制御の制御内容（例えば、定速走行、追従走行、スピードマネジメント（減速や加速制御）等）や制御の開始、中止、変更等を指示する情報である。尚、ナビゲーションＥＣＵ１３でなく車両制御ＥＣＵ２１が自動運転制御の制御内容を設定する構成としても良い。その場合には、車両制御ＥＣＵ２１はナビゲーション装置１から走行予定経路（案内経路）や車両状態や周辺の地図情報等の自動運転制御の設定に必要な情報を取得するように構成する。

続いて、前記構成を有するナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する地物認識処理プログラムについて図４に基づき説明する。図４は本実施形態に係る地物認識処理プログラムのフローチャートである。ここで、地物認識処理プログラムは車両のＡＣＣ電源がＯＮされた後に実行され、フロントカメラ１９やバックカメラ２０で撮像された画像から車線の区画線の認識を行うプログラムである。尚、以下の図４、図６にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

先ず、地物認識処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、フロントカメラ１９で撮像した撮像画像を取得するとともに、取得した撮像画像に対して画像認識処理を行い、画像認識処理の結果を取得する。尚、画像認識処理では、特に車両の走行する路面上に形成された区画線を認識対象とする。また、画像認識処理は、２値化処理、特徴点やテンプレートを用いたパターンマッチング処理等が行われるが、それらの画像認識処理については既に公知であるので詳細は省略する。そして、前記Ｓ１で取得される画像認識処理の結果は、フロントカメラ１９で撮像した撮像画像から“区画線を認識できた”又は“区画線を認識できなかった”のいずれかとなる。また、撮像画像を撮像した地点（車両の位置でも良いし、カメラにより撮像対象となった地点の位置でも良い）を特定する情報（例えば座標）についても取得する。

次に、Ｓ２においてＣＰＵ４１は、バックカメラ２０で撮像した撮像画像を取得するとともに、前記Ｓ１と同様に取得した撮像画像に対して画像認識処理を行い、画像認識処理の結果を取得する。前記Ｓ２で取得される画像認識処理の結果は、バックカメラ２０で撮像した撮像画像から“区画線を認識できた”又は“区画線を認識できなかった”のいずれかとなる。また、撮像画像を撮像した地点（車両の位置でも良いし、カメラにより撮像対象となった地点の位置でも良い）を特定する情報（例えば座標）についても取得する。

続いて、Ｓ３においてＣＰＵ４１は、前記Ｓ１で取得したフロントカメラ１９の画像認識結果が、フロントカメラ１９で撮像した撮像画像から“区画線を認識できなかった”であったか否か判定する。

そして、フロントカメラ１９で撮像した撮像画像から“区画線を認識できなかった”場合（Ｓ３：ＹＥＳ）には、フロントカメラ１９の画像認識結果（学習値）として『１（非認識）』を設定する（Ｓ４）。その後、Ｓ６へと移行する。

一方、フロントカメラ１９で撮像した撮像画像から“区画線を認識できた”場合（Ｓ３：ＮＯ）には、フロントカメラ１９の画像認識結果（学習値）として『０（認識）』を設定する（Ｓ５）。その後、Ｓ６へと移行する。

次に、Ｓ６においてＣＰＵ４１は、前記Ｓ２で取得したバックカメラ２０の画像認識結果が、バックカメラ２０で撮像した撮像画像から“区画線を認識できなかった”であったか否か判定する。

そして、バックカメラ２０で撮像した撮像画像から“区画線を認識できなかった”場合（Ｓ６：ＹＥＳ）には、バックカメラ２０の画像認識結果（学習値）として『１（非認識）』を設定する（Ｓ７）。その後、Ｓ９へと移行する。

一方、バックカメラ２０で撮像した撮像画像から“区画線を認識できた”場合（Ｓ６：ＮＯ）には、バックカメラ２０の画像認識結果（学習値）として『０（認識）』を設定する（Ｓ８）。その後、Ｓ９へと移行する。

Ｓ９においてＣＰＵ４１は、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定されたフロントカメラ１９とバックカメラ２０の画像認識結果（学習値）が、ともに『０（認識）』であったか否か判定する。

そして、フロントカメラ１９とバックカメラ２０の画像認識結果（学習値）がともに『０（認識）』であると判定された場合（Ｓ９：ＹＥＳ）には、画像認識結果（学習値）の補正を行うことなくＳ１１へと移行する。それに対して、フロントカメラ１９とバックカメラ２０の画像認識結果（学習値）の少なくとも一方が『１（非認識）』であると判定された場合（Ｓ９：ＮＯ）には、Ｓ１０へと移行する。

Ｓ１０においてＣＰＵ４１は、後述の画像認識結果（学習値）の補正処理（図６）を実行する。尚、画像認識結果（学習値）の補正処理は、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定されたフロントカメラ１９とバックカメラ２０の画像認識結果（学習値）を周辺環境に応じて重み付けを行う処理である。即ち、“区画線を認識できなかった”場合については周辺環境や車両の走行態様が原因で、区画線が存在するにもかかわらず認識できなかった可能性がある。そこで、後述の画像認識結果（学習値）の補正処理（図６）では、画像認識結果の信頼度を考慮して“区画線を認識できなかった”という結果に対する重みづけを行う。

次に、Ｓ１１においてＣＰＵ４１は、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定されたフロントカメラ１９とバックカメラ２０の画像認識結果（学習値）を、撮像した地点と対応付けて学習ＤＢ３２に累積記憶する。尚、前記Ｓ１０において補正がされている場合には補正後の画像認識結果（学習値）を学習ＤＢ３２に記憶する。尚、古い学習値（例えば１年以上前の）については順次、学習ＤＢ３２から削除するように構成することが望ましい。

その後、Ｓ１２においてＣＰＵ４１は、学習ＤＢ３２に記憶された学習値に基づいて区画線の状態を特定するタイミングとなったか否か判定する。尚、区画線の状態を特定するタイミングとしては、前回Ｓ１３を実施してから所定期間（例えば３か月）経過したタイミングとしても良いし、学習ＤＢ３２に学習値が所定数以上記憶されたタイミングとしても良い。

そして、区画線の状態を特定するタイミングとなったと判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、区画線の状態を特定するタイミングでないと判定された場合（Ｓ１２：ＮＯ）には、当該地物認識処理プログラムを終了する。

Ｓ１３においてＣＰＵ４１は、学習ＤＢ３２に記憶された学習値に基づいて区画線の状態を特定する。特に本実施形態では、区画線をカメラで認識することができない区間、即ち区画線が消えている又はカメラで認識できないほど薄くなっている区間を特定する。具体的には、累積された学習値が閾値以上となっている区間を、区画線が消えている又はカメラで認識できないほど薄くなっている区間、すなわち地物（ここでは区画線）をカメラにより認識することが難しい区間として特定する。

ここで、前記Ｓ１３の処理について具体例を挙げてより詳細に説明する。
例えば図５は、地点Ａから地点Ｂまでの区間を対象として学習ＤＢ３２に記憶された学習値を示した図である。ＣＰＵ４１は、図５に示すように地点Ａから地点Ｂまでの区間について、所定の単位区間（例えば１０ｍ毎）に区分して、各単位区間で撮像された撮像画像に基づく現在までの学習値の合計値を統計する。ここで、前述したように学習値は“区画線を認識できなかった”という画像認識結果が得られた場合に加算され、更に画像認識結果の信頼度が高いほど加算される値は大きくなる（最大で『１』）。
そして、各単位区間の内、学習値の合計が閾値（例えば１０）を超えている区間があれば、“区画線を認識できなかった”との認識結果は十分に信頼できると推定し、該区間を区画線が消えている又はカメラで認識できないほど薄くなっている区間、すなわち地物（ここでは区画線）をカメラにより認識することが難しい区間として特定する。尚、閾値は学習値の総数（その区間の走行頻度）に応じて適宜設定することが可能である。また、学習値は時間帯毎に分けて統計するように構成しても良い。

また、学習値に基づいて特定された区画線の状態は、プローブ情報として外部サーバを介して他の車両に配信する構成としても良い。一方、各車両からフロントカメラ１９やバックカメラ２０による画像認識結果を撮像位置や撮像時の周辺環境とともにプローブ情報として外部のサーバへと送信し、外部のサーバが各車両から取得したプローブ情報に基づいてＳ３以降の処理を実行し、全国道路にある各道路の区画線の状態を特定する構成としても良い。その場合には、外部のサーバにおいて特定された区画線の状態を、その後に各車両へと配信するように構成する。

次に、前記Ｓ１０において実行される画像認識結果（学習値）補正処理のサブ処理について図６に基づき説明する。図６は画像認識結果（学習値）補正処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、現在（即ち、画像認識対象の撮像画像を撮像した際）の車両の周辺環境を取得する。尚、前記Ｓ２１で取得対象となる車両の周辺環境は、時間帯（朝、昼、夕、夜）、天候（晴、雨、雪、霧）、前方車両の有無とする。ここで、時間帯についてはＧＰＳ２３から取得した現在時刻に基づいて特定する。また、天候については通信によって外部サーバから取得する構成としても良いし、照度センサや降雨センサ等のセンサを用いて検出する構成としても良い。また、前方車両についてはフロントカメラ１９の撮像画像から検出しても良いし、測距センサを用いて検出しても良い。

次に、Ｓ２２においてＣＰＵ４１は、現在（即ち、画像認識対象の撮像画像を撮像した際）の車両の走行態様を取得する。尚、前記Ｓ２２で取得対象となる車両の走行態様は、車両の進行方向とする。ここで、車両の進行方向についてはステアリングセンサ２５やジャイロセンサ２６によって検出する。

続いて、Ｓ２３においてＣＰＵ４１は、補正テーブル３３（図２）を読み出し、補正テーブル３３に前記Ｓ２１で取得した車両の周辺環境と前記Ｓ２２で取得した車両の走行態様に対応する補正値が規定されているか否か判定する。尚、前述したように補正テーブル３３には、周辺環境のみが対応付けられた補正値と、周辺環境と走行態様の組み合わせが対応付けられた補正値がそれぞれ規定されている。

そして、補正テーブル３３に前記Ｓ２１で取得した車両の周辺環境と前記Ｓ２２で取得した車両の走行態様に対応する補正値が規定されていると判定された場合（Ｓ２３：ＹＥＳ）には、Ｓ２４へと移行する。それに対して、補正テーブル３３に前記Ｓ２１で取得した車両の周辺環境と前記Ｓ２２で取得した車両の走行態様に対応する補正値が規定されていないと判定された場合（Ｓ２３：ＮＯ）には、画像認識結果（学習値）の補正を行うことなくＳ１１へと移行する。

Ｓ２４においてＣＰＵ４１は、補正テーブル３３から前記Ｓ２１で取得した車両の周辺環境と前記Ｓ２２で取得した車両の走行態様に対応する補正値を、カメラの撮像方向毎（本実施形態では前方を撮像するフロントカメラ１９と後方を撮像するバックカメラ２０）に特定する。例えば、周辺環境が『雨天』の場合には、フロントカメラ１９の補正値を“−０．２”、バックカメラ２０の補正値を“−０．３”に特定する。尚、前記Ｓ２１で取得した車両の周辺環境と前記Ｓ２２で取得した車両の走行態様に対応する補正値が複数ある場合、例えば前方車があって雨天の場合等には、該当する補正値を合算する。即ち、前方車があって雨天の場合のフロントカメラ１９の補正値は、“−０．２”と−“０．３”を合わせて“−０．５”に特定される。

その後、Ｓ２５においてＣＰＵ４１は、前記Ｓ２４で特定された補正値によりカメラの撮像方向毎（本実施形態では前方を撮像するフロントカメラ１９と後方を撮像するバックカメラ２０）に、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定された画像認識結果（学習値）を補正する。但し、設定されている画像認識結果（学習値）が『０（認識）』である場合については補正しない。

例えば、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定されたフロントカメラ１９とバックカメラ２０の画像認識結果（学習値）が、ともに『１（非認識）』であって、周辺環境が『雨天』の場合には、フロントカメラ１９の画像認識結果（学習値）は“１”から“０．２”を減算した“０．８”に補正される。一方、バックカメラ２０の画像認識結果（学習値）は“１”から“０．３”を減算した“０．７”に補正される。
また、前記Ｓ４、Ｓ５、Ｓ７及びＳ８で設定されたフロントカメラ１９の画像認識結果（学習値）が『１（非認識）』であって、バックカメラ２０の画像認識結果（学習値）が『０（認識）』であって、周辺環境が『雨天』の場合には、フロントカメラ１９の画像認識結果（学習値）は“１”から“０．２”を減算した“０．８”に補正される。一方、バックカメラ２０の画像認識結果（学習値）は“０”のままとなる。

上記Ｓ２５による補正を行った結果、認識精度に影響する外乱が少なく、画像認識結果の信頼度が高い（認識精度が高い）と予想される状況で区画線を認識できなかった画像認識結果（学習値）は、“区画線を認識できなかった”という結果が信頼できるので重み付けを重くする（学習値を“１”に近づける）。一方、認識精度に影響する外乱が多く、画像認識結果の信頼度が低い（認識精度が低い）と予想される状況で区画線を認識できなかった画像認識結果（学習値）は、区画線が存在するにもかかわらず認識できなかった可能性があるので重み付けを軽くする（学習値を“０”に近づける）。そして、それらの重み付けを行った補正後の学習値を統計することによって、その後にＳ１３において区画線の状態を特定する（図５）。その結果、仮に誤った画像認識結果が取得された場合であっても、それらの影響を少なくして区画線の状態を特定できるので、区画線の状態の特定精度を向上させることが可能となる。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１を用いた地物画像認識方法及びナビゲーション装置１で実行されるコンピュータプログラムによれば、フロントカメラ１９及びバックカメラ２０で撮像された撮像画像をそれぞれ取得するとともに、取得された撮像画像から車両の周辺に存在する車線の区画線に対する画像認識処理を行い（Ｓ１、Ｓ２）、カメラ毎の画像認識結果に対して撮像画像を撮像した際の車両の周辺環境や走行態様に応じた重み付けによる補正を行い（Ｓ１０）、補正された画像認識結果を学習値として累積し（Ｓ１１）、累積された学習値に基づいて区画線の状態を特定する（Ｓ１２）ので、車両の搭載された複数のカメラにより撮像した画像に基づいて車線の区画線の認識を行う場合において、車両の周辺環境や走行態様に応じて複数のカメラ毎に画像認識結果に対して重み付けを行うことによって、カメラ毎の画像認識結果に対する信頼度を考慮して画像認識結果から区画線の状態の特定を行うことが可能となる。その結果、仮に誤った画像認識結果が取得された場合であっても、それらの影響を少なくして区画線の状態を特定できるので、区画線の状態の特定精度を向上させることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、フロントカメラ１９やバックカメラ２０によって認識対象とする地物を車線の区画線としているが、車線の区画線以外の路面標示（例えば一時停止、横断歩道等）を認識対象としても良い。更に、路面標示以外の道路上又は道路付近において位置や角度が固定されている障害物、建造物、道路標識等を認識対象としても良い。

また、本実施形態では、設定されている画像認識結果（学習値）が『１（未認識）』である場合のみを補正対象としているが、設定されている画像認識結果（学習値）が『０（認識）』である場合についても補正対象としても良い。その場合には、画像認識結果（学習値）の信頼度が低い（認識精度が低い）と予想される状況程、より大きい値となるように補正する。

また、本実施形態では、画像認識結果が補正対象となる車両の周辺環境や走行態様として図２に例を挙げているが、図２に示す周辺環境や走行態様以外も対象としても良い。例えば、車両が高速で走行している場合には画像認識精度が低下すると考えられるので、画像認識結果を補正するように構成しても良い。

また、本実施形態では、車両の進行方向前方を撮像するフロントカメラ１９及び車両の進行方向後方を撮像するバックカメラ２０により計２方向から撮像した撮像画像から区画線を認識する構成としているが、車両の進行方向に対して他の方向を撮像するカメラ（例えば車両の進行方向に対して側方を撮像するカメラ）を用いても良い。その場合には、補正テーブル３３において他の方向を撮像するカメラについても補正値を規定するように構成する。

また、本実施形態では、地物認識処理プログラム（図４）の各ステップをナビゲーション装置１が実行する構成としているが、車両制御ＥＣＵ２１やその他の車載器が一部または全部を実行する構成としても良い。また、外部のサーバが実行する構成としても良い。尚、外部のサーバが実行する構成とする場合には、特定の車両に限らず、通信可能にある不特定多数の車両からフロントカメラ１９やバックカメラ２０で撮像した撮像画像に基づく画像認識処理の結果を収集し、Ｓ３以降の処理を実行する構成とすることも可能である。

また、本実施形態では、自動運転制御による走行を可能な車両において実施する構成としているが、手動運転による走行のみを実施可能な車両において実施することも可能である。

また、本発明に係る地物画像認識システムを具体化した実施例について上記に説明したが、地物画像認識システムは以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する画像認識結果取得手段と、前記車両の周辺環境を取得する環境取得手段と、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行う認識結果補正手段と、前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積する学習手段と、前記学習手段により累積された学習値に基づいて前記地物の状態を特定する地物状態特定手段と、を有することを特徴とする。
上記構成を有する地物画像認識システムによれば、車両の搭載された複数の撮像装置により撮像した画像に基づいて地物の認識を行う場合において、周辺環境に応じて複数の撮像装置毎に画像認識結果に対して重み付けを行うことによって、撮像装置毎の画像認識結果に対する信頼度を考慮して画像認識結果から地物の状態の特定を行うことが可能となる。その結果、仮に誤った画像認識結果が取得された場合であっても、それらの影響を少なくして地物の状態を特定できるので、地物の状態の特定精度を向上させることが可能となる。

また、第２の構成は以下のとおりである。
前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した前記撮像装置の前記車両の進行方向に対する撮像方向と、前記撮像画像を撮像した際の前記車両の周辺環境と、の組み合わせによって決定される補正値によって重み付けを行うことを特徴とする。
上記構成を有する地物画像認識システムによれば、車両の進行方向に対する撮像方向を考慮して画像認識結果の重み付けを行うので、画像認識結果の信頼度を撮像方向と周辺環境の組み合わせから特定し、より正確で詳細な重み付けを行うことが可能となる。

また、第３の構成は以下のとおりである。
前記車両の走行態様を取得する走行態様取得手段を有し、前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせに応じた重み付けによる補正を行うことを特徴とする。
上記構成を有する地物画像認識システムによれば、車両の走行態様についても考慮して画像認識結果の重み付けを行うので、画像認識結果の信頼度を車両の走行態様と周辺環境の組み合わせから特定し、より正確で詳細な重み付けを行うことが可能となる。

また、第４の構成は以下のとおりである。
前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した前記撮像装置の前記車両の進行方向に対する撮像方向と、前記撮像画像を撮像した際の前記車両の周辺環境と、前記撮像画像を撮像した際の前記車両の走行態様と、の組み合わせによって決定される補正値によって重み付けを行うことを特徴とする。
上記構成を有する地物画像認識システムによれば、車両の走行態様と車両の進行方向に対する撮像方向についても考慮して画像認識結果の重み付けを行うので、画像認識結果の信頼度を車両の走行態様と車両の進行方向に対する撮像方向と周辺環境の組み合わせから特定し、より正確で詳細な重み付けを行うことが可能となる。

また、第５の構成は以下のとおりである。
前記車両の走行態様は、前記車両の進行方向であり、前記車両の周辺環境は、時間帯、天候、前方車両の有無であり、前記車両の走行態様と前記車両の周辺環境の組み合わせと補正値とを対応付けた補正テーブルを有し、前記認識結果補正手段は、前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせが前記補正テーブルに規定されている場合には、該組み合わせに対応する補正値を用いて前記画像認識結果に対する補正を行い、前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせが前記補正テーブルに規定されていない場合には、前記画像認識結果に対する補正を行わないことを特徴とする。
上記構成を有する地物画像認識システムによれば、予め規定されたテーブルを用いて撮像画像を撮像した際の車両の周辺環境と走行態様の組み合わせに対応する適切な補正値を容易に特定することが可能となる。

また、第６の構成は以下のとおりである。
前記認識結果補正手段は、信頼度の高い画像認識結果程、前記地物の状態の特定に大きく影響するように重み付けを行うことを特徴とする。
上記構成を有する地物画像認識システムによれば、認識精度に影響する外乱が少なく、画像認識結果の信頼度が高い（認識精度が高い）と予想される状況での画像認識結果は重み付けを重くし、認識精度に影響する外乱が多く、画像認識結果の信頼度が低い（認識精度が低い）と予想される状況での画像認識結果は重み付けを軽くすることによって、仮に誤った画像認識結果が取得された場合であっても、それらの影響を少なくして地物の状態をより正確に特定することが可能となる。

また、第７の構成は以下のとおりである。
前記認識結果補正手段は、前記複数の撮像装置の画像認識結果が、少なくとも一の撮像装置が前記地物を認識しない結果であった場合に、前記画像認識結果に対する補正を行い、前記複数の撮像装置の画像認識結果が、いずれの撮像装置も前記地物を認識する結果であった場合には、前記画像認識結果に対する補正を行わないことを特徴とする。
上記構成を有する地物画像認識システムによれば、“区画線を認識できなかった”場合については、車両の周辺環境や走行態様が原因で、区画線が存在するにもかかわらず認識できなかった可能性があるので、画像認識結果の信頼度に応じた画像認識結果の重み付けを行うことによって、地物の状態の特定精度を向上させることが可能となる。

また、第８の構成は以下のとおりである。
前記地物状態特定手段は、前記学習手段により累積された学習値に基づいて前記地物を前記撮像装置により認識することが難しい区間を特定することを特徴とする。
上記構成を有する地物画像認識システムによれば、地物を撮像装置により認識することが難しい区間を特定することができるので、地物に基づいて車両制御や現在位置の特定を行う場合において、地物に基づく車両制御や現在位置の特定ができない区間を予め把握することが可能となる。

また、第９の構成は以下のとおりである。
所定の単位区間に区分して前記学習値が統計的に処理され、前記学習値は、前記地物を認識しない画像認識結果が得られた場合に加算され、画像認識結果の信頼度が高いほど加算される値は大きくなり、前記地物状態特定手段は、各単位区間の内、学習値の合計が閾値を超えている区間がある場合に、当該区間を前記地物を前記撮像装置により認識することが難しい区間として特定することを特徴とする。
上記構成を有する地物画像認識システムによれば、学習結果を用いた統計処理を行うことによって、地物を撮像装置により認識することが難しい区間を正確に特定することが可能となる。

また、第１０の構成は以下のとおりである。
前記複数の撮像装置は、前記車両の前方を撮像するフロントカメラと、前記車両の後方を撮像するバックカメラと、を含むことを特徴とする。
上記構成を有する地物画像認識システムによれば、特にフロントカメラとバックカメラにより撮像した画像に基づいて地物の認識を行う場合において、地物の状態の特定精度を向上させることが可能となる。

また、第１１の構成は以下のとおりである。
前記地物は、車線の区画線であることを特徴とする。
上記構成を有する地物画像認識システムによれば、車両の搭載された複数の撮像装置により撮像した画像に基づいて特に車線の区画線の認識を行う場合において、区画線の状態の特定精度を向上させることが可能となる。

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
３２ 学習ＤＢ
３３ 補正テーブル
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５０ 車両
５１、５２ 地物

Claims (13)

1. 車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する画像認識結果取得手段と、
   前記車両の周辺環境を取得する環境取得手段と、
   前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行う認識結果補正手段と、
   前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積する学習手段と、
   前記学習手段により累積された学習値に基づいて前記地物の状態を特定する地物状態特定手段と、を有することを特徴とする地物画像認識システム。
2. 前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した前記撮像装置の前記車両の進行方向に対する撮像方向と、前記撮像画像を撮像した際の前記車両の周辺環境と、の組み合わせによって決定される補正値によって重み付けを行うことを特徴とする請求項１に記載の地物画像認識システム。
3. 前記車両の走行態様を取得する走行態様取得手段を有し、
   前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせに応じた重み付けによる補正を行うことを特徴とする請求項１に記載の地物画像認識システム。
4. 前記認識結果補正手段は、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した前記撮像装置の前記車両の進行方向に対する撮像方向と、前記撮像画像を撮像した際の前記車両の周辺環境と、前記撮像画像を撮像した際の前記車両の走行態様と、の組み合わせによって決定される補正値によって重み付けを行うことを特徴とする請求項３に記載の地物画像認識システム。
5. 前記車両の走行態様は、前記車両の進行方向であり、
   前記車両の周辺環境は、時間帯、天候、前方車両の有無であり、
   前記車両の走行態様と前記車両の周辺環境の組み合わせと補正値とを対応付けた補正テーブルを有し、
   前記認識結果補正手段は、
   前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせが前記補正テーブルに規定されている場合には、該組み合わせに対応する補正値を用いて前記画像認識結果に対する補正を行い、
   前記撮像画像を撮像した際の前記車両の周辺環境と走行態様の組み合わせが前記補正テーブルに規定されていない場合には、前記画像認識結果に対する補正を行わないことを特徴とする請求項３又は請求項４に記載の地物画像認識システム。
6. 前記認識結果補正手段は、信頼度の高い画像認識結果程、前記地物の状態の特定に大きく影響するように重み付けを行うことを特徴とする請求項１乃至請求項５のいずれかに記載の地物画像認識システム。
7. 前記認識結果補正手段は、
   前記複数の撮像装置の画像認識結果が、少なくとも一の撮像装置が前記地物を認識しない結果であった場合に、前記画像認識結果に対する補正を行い、
   前記複数の撮像装置の画像認識結果が、いずれの撮像装置も前記地物を認識する結果であった場合には、前記画像認識結果に対する補正を行わないことを特徴とする請求項１乃至請求項６のいずれかに記載の地物画像認識システム。
8. 前記地物状態特定手段は、前記学習手段により累積された学習値に基づいて前記地物を前記撮像装置により認識することが難しい区間を特定することを特徴とする請求項１乃至請求項７のいずれかに記載の地物画像認識システム。
9. 所定の単位区間に区分して前記学習値が統計的に処理され、
   前記学習値は、前記地物を認識しない画像認識結果が得られた場合に加算され、画像認識結果の信頼度が高いほど加算される値は大きくなり、
   前記地物状態特定手段は、各単位区間の内、学習値の合計が閾値を超えている区間がある場合に、当該区間を前記地物を前記撮像装置により認識することが難しい区間として特定することを特徴とする請求項８に記載の地物画像認識システム。
10. 前記複数の撮像装置は、前記車両の前方を撮像するフロントカメラと、前記車両の後方を撮像するバックカメラと、を含むことを特徴とする請求項１乃至請求項９のいずれかに記載の地物画像認識システム。
11. 前記地物は、車線の区画線であることを特徴とする請求項１乃至請求項１０のいずれかに記載の地物画像認識システム。
12. 画像認識結果取得手段が、車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得するステップと、
    環境取得手段が、前記車両の周辺環境を取得するステップと、
    認識結果補正手段が、前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行うステップと、
    学習手段が、前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積するステップと、
    地物状態特定手段が、前記学習手段により累積された学習値に基づいて前記地物の状態を特定するステップと、を有することを特徴とする地物画像認識方法。
13. コンピュータを、
    車両に設置されるとともに前記車両の進行方向に対して異なる方向をそれぞれ撮像する複数の撮像装置により撮像された撮像画像に基づいて行われ、前記複数の撮像装置毎に前記車両の周辺に存在する地物に対する画像認識処理を行った画像認識結果を取得する画像認識結果取得手段と、
    前記車両の周辺環境を取得する環境取得手段と、
    前記複数の撮像装置毎の画像認識結果に対して、前記撮像画像を撮像した際の前記車両の周辺環境に応じた重み付けによる補正を行う認識結果補正手段と、
    前記認識結果補正手段により補正された前記複数の撮像装置毎の画像認識結果を学習値として累積する学習手段と、
    前記学習手段により累積された学習値に基づいて前記地物の状態を特定する地物状態特定手段と、
    して機能させる為のコンピュータプログラム。

Images