JP5505723B2 - 画像処理システム及び位置測位システム - Google Patents

Description

本発明は、画像処理システム、特に風景画像認識処理用参照データの作成のための画像処理システム、及びその参照データを用いた位置測位システムに関する。

従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳ信号の利用とを組み合わせる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とに基づいて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号及び各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。

特開２００７−１０８０４３号公報（段落番号０００９−００１３、図１）

しかし、上記特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では当該装置を利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。

そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくても高精度な位置決めを行うことができる位置測位システムの構築のために、風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データの作成が重要となるので、そのような効果的な参照用画像データの作成に適した画像処理システムの実現が望まれる。

上記課題を解決するための本発明に係る画像処理システムは、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、その特徴構成は、車両走行にともなって順次撮影された前記撮影画像のうち撮影位置が所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、前記処理対象撮影画像の類似度を算出する類似度算出部と、互いに前記類似度が相違する前記処理対象撮影画像を有用画像として選択する有用画像選択部と、前記有用画像から画像特徴点を抽出する特徴点抽出部と、前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部とを備える点にある。

上記構成によれば、所定領域において取得された複数の撮影画像について、当該撮影画像の間での類似度を算出し、互いに類似度が相違する処理対象撮影画像を有用画像として選択する。従って、その有用画像に基づいて生成された風景画像認識のための画像特徴点データである参照データは、所定領域内で近接している撮影位置の間で類似しないため、風景画像認識としてのマッチング処理の効率を向上させることができる。
風景画像認識による正確な位置検出を実現するためには、所定領域内で風景を順次撮影して多数の撮影画像を処理する必要があるが、例えば高速道路のような場所を走行する場合、同じような風景が周期的に撮影される可能性がある。また、例えば立体駐車場のように複数階層に分かれた場所を走行する場合、各階層で同じような風景が撮影される可能性がある。これらのような状況では、複数の撮影位置における参照データとの間で撮影画像のマッチングが成功し得るので、正確な位置決めが困難であり、マッチング処理に要する時間も長くなる。
しかしながら、本発明によれば、一旦、処理対象撮影画像として一時格納された複数の撮影画像の間での類似度を算出し、撮影画像同士で類似度が相違するように有用画像が選択されて参照データが生成されるので、効率の良いマッチング処理が可能となる。すなわち、上記構成によれば、効率の良いマッチング処理を可能とするような参照データが得られる画像処理システムを構築することができる。

上記課題を解決するために提案された先の発明構成の場合、撮像画像に対して類似度を算出していたが、これに代えて、撮像画像から生成される画像特徴点データに対して類似度を算出しても、同様の効果が得られる。そのような本発明による画像処理システムの第２の特徴構成は、車両走行にともなって順次撮影された前記撮影画像のうち所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、前記処理対象撮影画像から画像特徴点を抽出する特徴点抽出部と、前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データの類似度を算出する類似度算出部と、互いに前記類似度が相違する前記画像特徴点データを有用画像特徴点データとして選択する有用画像選択部と、前記有用画像特徴点データを当該有用画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部とを備える点にある。

この第２の特徴構成によれば、画像特徴点データから類似度を算出するので、撮影画像から類似度を算出するよりは、類似度算出のための処理が簡単となる可能性が高い。しかしながら、取得した全ての撮影画像から画像特徴点データを生成した後、当該画像特徴点データの間での類似度に基づいて有用画像特徴点データを選択することになるので、画像特徴点データを生成する処理の負担が第１の特徴構成に比べて大きくなる。第１の特徴構成を有する画像処理システムと第２の特徴構成を有する画像処理システムのいずれかを、必要とされる参照データの仕様に応じて選択することが望ましい。または、１つの画像処理システムに２つの特徴構成を混在させた複合型の画像処理システムを構築してもよい。

前記有用画像選択部による有用画像選択処理のさらに好適な実施形態として、有用画像選択部は、前記類似度と前記撮影位置とを相違パラメータとして前記類似度と前記撮影位置との両方が相違するように前記有用画像または前記有用画像特徴点データを選択する構成が提案される。この構成によれば、各処理対象撮影画像の類似度と撮影位置との両方が相違するように、複数の処理対象撮影画像から特定の処理対象撮影画像を有用画像として選択し、あるいは各画像特徴点データの類似度と撮影位置との両方が相違するように、複数の画像特徴点データから特定の画像特徴点データを有用画像特徴点データとして選択する。この較正によって生成される参照データは、類似度と撮影位置との両方が確実に類似していないため、風景画像認識としてのマッチング処理の効率を向上させることができる。

また、本発明に係る別の画像処理システムは、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、その特徴構成は、車両走行にともなって順次撮影された前記撮影画像のうち撮影位置が所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、前記処理対象撮影画像の類似度を算出する類似度算出部と、所定位置間隔毎の前記処理対象撮影画像の類似度を評価し、前記類似度が所定度より低い場合には前記所定位置間隔毎の前記処理対象撮影画像を前記有用画像として選択し、前記類似度が前記所定度より高い部分では当該部分の間隔を前記所定位置間隔に対して異ならせる有用画像選択部と、前記有用画像から画像特徴点を抽出する特徴点抽出部と、前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、を備える点にある。また、本発明に係る、さらに別の画像処理システムは、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、その特徴構成は、車両走行にともなって順次撮影された前記撮影画像のうち所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、前記処理対象撮影画像から画像特徴点を抽出する特徴点抽出部と、前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データの類似度を算出する類似度算出部と、所定位置間隔毎の前記画像特徴点データの類似度を評価し、前記類似度が所定度より低い場合には前記所定位置間隔毎の前記画像特徴点データを前記有用画像特徴点データとして選択し、前記類似度が前記所定度より高い部分では当該部分の間隔を前記所定位置間隔に対して異ならせる有用画像選択部と、前記有用画像特徴点データを当該有用画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、を備える点にある。これらの構成によれば、類似度が比較的高く、参照データの作成に不適切な処理対象撮影画像または画像特徴点データを確実に除去することができる。よって、無駄のない参照データデータベースを構築することができる。

前記有用画像選択部による有用画像または有用画像特徴点データの選択処理のさらに好適な実施形態として、第１の特徴構成では、前記類似度と前記撮影位置とによって二次面分布した前記処理対象撮影画像から、その散布度が最大となる前記所定数の組み合わせを前記有用画像として選択することが提案され、第２の特徴構成では、前記類似度と前記撮影位置とによって二次面分布した前記画像特徴点データから、その散布度が最大となる前記所定数の組み合わせを前記有用画像特徴点データとして選択することが提案される。この特徴を採用することにより、類似度と撮影位置とを座標軸とする二次面上で規定される処理対象撮影画像を表す座標点または画像特徴点データを表す座標点の散布度が大きくなるように、あるいは、互いの座標点の間隔が最大限に大きくなるように所定数の座標点を選択するような演算を行うことで、有用画像または有用画像特徴点データの最適な選択が実現する。

前記所定領域内に複数の識別対象経路が含まれる場合における、前記有用画像選択部による有用画像または有用画像特徴点データの選択処理の好適な実施形態として、第１の特徴構成では、複数の前記識別対象経路のそれぞれについて少なくとも１つの前記処理対象撮影画像を前記有用画像として選択することが提案され、第２の特徴構成では、複数の前記識別対象経路のそれぞれについて少なくとも１つの前記画像特徴点データを前記有用画像特徴点データとして選択することが提案される。この特徴を採用することにより、所定領域内に含まれる複数の識別対象経路のそれぞれにおいて取得される、複数の撮影画像同士で類似度が相違するように有用画像が選択されて参照データが生成され、あるいは、複数の画像特徴点データ同士で類似度が相違するように有用画像特徴点データが選択されて参照データが生成される。よって、所定領域内に複数の識別対象経路が含まれる場合でも、効率の良いマッチング処理を可能とし、経路の特定を容易化できる参照データを得ることができる。

これらの場合において、複数の前記識別対象経路は、分岐点で分岐した後の複数の経路であると好適である。この構成によれば、分岐点で分岐した後の、所定領域内における複数の経路を識別対象経路とすることで、効率の良いマッチング処理を可能とし、経路の特定を容易化できる参照データを得ることができる。

また、前記識別対象経路は、複数階層に分かれて存在する複数の経路の中から各階層に少なくとも１つ設定されていると好適である。この構成によれば、所定領域内において複数階層に分かれて存在する複数の経路を識別対象経路とすることで、効率の良いマッチング処理を可能とし、階層の特定を容易化できる参照データを得ることができる。

カーナビゲーションの分野では、推定自車位置をＧＰＳ信号や推測航法による位置座標の測定に基づいて行う際に生じる誤差に基づいて、推定自車位置を基準とした所定半径領域（以後、これを「誤差範囲」と称する）を定義し、この誤差範囲に実自車位置が存在するとみなしている。このような技術を考慮するならば、前記所定領域は、前記推定自車位置の誤差領域に対応していることが好適である。この所定領域で多数の撮影画像を取得し、それらの撮影画像または画像特徴点データに割り当てられた類似度が相違するように所定数分だけ有用画像または有用画像特徴点データとして選択することで、誤差範囲内で効率の良いマッチング処理を可能とするような参照データデータベースを構築することができる。

本発明の画像処理システムでは、車両の走行にともなって順次撮影される撮影画像に基づいて参照データを収集する。このとき、参照データの収集のための車両は、基本的に、所定経路に沿った走行を続けながら参照データを収集する。このような実情を考慮するならば、前記所定領域は、所定の走行距離領域であることが好適である。この所定の走行距離領域で多数の撮影画像を取得し、それらの撮影画像または画像特徴点データに割り当てられた類似度が相違するように所定数分だけ有用画像または有用画像特徴点データとして選択することで、所定走行距離領域内で効率の良いマッチング処理を可能とするような参照データデータベースを構築することができる。
なお、この場合においても、前記所定の走行距離領域は、前記推定自車位置の誤差領域に対応していることが好適である。また、有用画像選択部による有用画像または有用画像特徴点データの選択手法に関しても、これまで説明した各手法を採用することができる。

本発明の好適な実施形態の１つでは、前記画像特徴点の重要度を決定する特徴点重要度決定部が備えられ、画像特徴点データ生成部は、前記重要度に基づいて前記画像特徴点から前記撮影画像毎の前記画像特徴点データを生成するように構成されている。撮影画像から抽出される画像特徴点は、その位置やその画像特徴点の元となっている被写体の種別などの要因によって、風景画像認識における重要度が大きく異なる。例えば、道路表面の凹凸から得られた画像特徴点は自車位置を特定するためには有用ではない。また、併走する車両などの移動物体から得られた画像特徴点も、時間的な永続性がないので自車位置を特定するためには有用ではない。従って、上記の構成のように、画像特徴点に重要度を付与し、重要度に応じて全体の画像特徴点を整理することで、風景画像認識に適した画像特徴点データを生成することができる。

画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタなどを用いて検出できるエッジ点を用いるとよい。さらに、風景画像における特徴点という点を考慮すれば、ビルの輪郭やビル窓、各種看板の輪郭を示す直線上につながっていくエッジ点群が画像特徴点として適している。このため、本発明の好適な実施形態では、前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重要度が与えられるように構成されている。この構成によれば、風景を特徴付ける建物や看板などの特定の人工物などを正確かつ簡素に認識するための参照データを作成することができる。その際、前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比ベさらに高い重要度が与えられるようにすることが好適である。これにより、参照データに含まれる画像特徴点を建物や橋や看板などの最も重要な特徴点であるコーナ点、つまり上記交点エッジ点だけに限定して、画像認識における演算負担を減らすことが可能となる。なお、コーナ点の検出にはハリス演算子などを用いることができる。

さらに、本発明は、上述した画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのような位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する画像特徴点データ生成部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、を備えている。この位置測位システムでは、上述したように、風景マッチングに効果的な参照データを用いているので、高精度に自車位置を決定することができる。

本発明による画像処理システムによる参照データの作成と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位技術の基本概念を説明する模式図である。 本発明による画像処理システムの一例における主な機能の前段部を示す機能ブロック図である。 本発明による画像処理システムの一例における主な機能の後段部を示す機能ブロック図である。 本発明による画像処理システムの一例で採用されている有用画像選択アルゴリズムを模式的に示している模式図である。 撮影画像から重み係数の調整を行いながら画像特徴点データを生成する過程を模式的に示す模式図である。 本発明による画像処理システムで作成された参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。 本発明による画像処理システムの好適な適用場面の一例を示す模式図である。 本発明による画像処理システムの好適な適用場面の他の一例を示す模式図である。 本発明による画像処理システムの別実施例における主な機能を示す機能ブロック図である。

以下、図面を参照して本発明について詳細に説明する。図１は、車載カメラ（本例では、車両走行方向前方の風景を撮影する前方カメラ）からの風景画像を、本発明による画像処理システムによって作成される参照データを用いたマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を決定する、位置測位技術の基本概念を模式的に示している。なお、以下では、車両は、所定経路に沿った走行を続けながら参照データを収集するものとして説明する。

まず、参照データデータベース（以下、単に「参照データＤＢ」と略称する）９２の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置や撮影方位を含む撮影属性情報が入力される（＃０１ａ）。入力された撮影画像は、所定領域（ここでは、車両が走行する所定距離を占める領域である走行距離領域）毎に処理対象撮影画像としてワーキングメモリに一時格納される（＃０１ｂ）。なお、本例では、連続的に撮影される一連の撮影画像が処理対象撮影画像となる。一時格納された複数の撮影画像間での類似度が算出され、その類似度が各撮影画像に付与される（＃０１ｃ）。類似度が付与された複数の撮影画像から、類似度と撮影位置とを相違パラメータとして当該相違パラメータができるだけばらつくように、所定数の撮影画像が有用画像として選択される（＃０１ｄ）。有用画像として選択された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶ。画像特徴点の一例が、このエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される（＃０３）。

さらに、別系統で、撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が取得される（＃０４）。この撮影状況情報は、撮影画像の各領域に分布している画像特徴点に対して、特定被写体が位置する領域に属する画像特徴点の重要度を他の領域に属する画像特徴点に比べて相違させるために用いられる。詳しくは後で説明するが、例えば風景画像認識にふさわしくない画像特徴点の重要性を低くしたり、風景画像認識にとって重要となる画像特徴点の重要性を高くしたりする。これにより、最終的に信頼性の高い参照データＤＢ９２を構築することができる。この撮影状況情報に基づいて各画像特徴点の重要度が決定されると（＃０５）、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０６）。なお、撮影状況情報で取り扱われる特定被写体は、撮影画像から画像認識処理を通じて検知すること、各種車載センサ（距離センサ、障害物検出センサなど）からのセンサ信号を処理して検知すること、あるいはＶＩＣＳ（登録商標）（Vehicle Information and Communication System：道路交通情報通信システム）などを利用して外部からの信号を処理して検知することも可能である。

続いて、重み係数に基づいて画像特徴点を整理して撮影画像毎の画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外の画像特徴点を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが行われる場合には、そのパターンとして用いられる。そのため、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位と関係付けることで、撮影位置や撮影方位を検索キーとして利用可能なデータベース用データとなる（＃０８）。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、例えばパターンマッチングのパターンとして参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラ（本例では、車両走行方向前方の風景を撮影する前方カメラ）で風景を撮影して実撮影画像が得られると、その実撮影画像の撮影位置と撮影方位が入力される（＃１１）。この撮影位置と撮影方位の情報は、参照データＤＢ９２から参照データを抽出するために用いられる。なお、ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０２〜＃０７と同様の処理手順を経て、画像特徴点データであるマッチング用データが生成される（＃１２）。同時的に、入力された撮影位置と撮影方位を検索条件として、該当する撮影位置（推定自車位置）の参照データ及びその撮影位置（推定自車位置）の前後の参照データがマッチング候補参照データとして抽出される（＃１３）。

抽出されたマッチング候補参照データセットから参照データが１つずつパターンとして設定され、ステップ＃１２で生成されたマッチング用データとの間のパターンマッチング処理が実行される（＃１４）。なお、ここではこの処理を「風景画像認識」と称する。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１５）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１６）。

次に、上述した位置測位技術の基本概念に基づいて撮影画像から参照データを作り出す、本発明による画像処理システムの一例を図２及び図３を参照して説明する。
図２はこの画像処理システムの主な機能の前段部を示す機能ブロック図であり、図３はその後段部を示す機能ブロック図である。この画像処理システムは、データ入力部５１、一時格納部６１、類似度算出部６２、有用画像選択部６３、特徴点抽出部５２、特徴点重要度決定部５３、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、参照データデータベース化部５７、などの機能部を備えている。これらの各機能は、ハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、参照データを作成する目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報とが入力される。本実施形態のように画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報とが入力されることになる。但し、この画像処理システムがデータ処理センタなどの外部施設に設置されている形態を採用することも可能である。この場合においては、撮影画像と撮影属性情報と撮影状況情報とが一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像や撮影属性情報の生成方法は周知であるので、その説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、本実施形態では、撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データと、である。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られる、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される、車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識される、撮影場所の種別（例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなど）を表すエリア属性を示すデータである。

一時格納部６１は、入力された撮影画像を、処理単位で一時的に格納するワーキングメモリであり、通常はメインメモリの一部の領域に割り当てられる。一時格納部６１は、車両走行にともなって順次撮影された撮影画像のうち、撮影位置が所定領域に含まれる処理単位毎の複数の撮影画像を、処理対象撮影画像として一時格納する。本実施形態では、この処理単位は、推定自車位置を中心とする誤差範囲内で必要とされるだけの枚数の撮影画像であり、道路事情等によって予め決められている。

類似度算出部６２は、一時格納部６１に格納された撮影画像同士の類似度を算出する。例えば図７に示すように、高速道路のような場所を走行する場合、同じような風景が周期的に撮影されることがある。このような撮影画像に基づいて風景画像認識、例えばパターンマッチングを行ったとしても、類似するパターンが多数存在することになるため、１対１に対応する正確なパターンマッチングができず、その結果撮影位置（自車位置）の正確な特定が困難である。このような事態を回避するためには、取得した撮影画像の類似度を算出し、できるだけ類似度が低い撮影画像を選択して、パターンマッチング用のデータ（パターン）を予め整備しておくことが好ましい。さらに、類似度が低い撮影画像を選択したとしても、互いの撮影距離が偏っていて、選択された撮影画像間に長い間隔が存在すると、その区間で正確な位置検出が困難となる。このため、パターンマッチング用のデータを整備するに際しては、類似度と撮影距離との両者が適切に散布するように撮影画像を選択することが好ましい。この目的のために、まず類似度算出部６２は、各撮影画像に対して類似度を算出し、付与する。

類似度を算出する手法として、種々の手法が知られている。種々の画像特性を利用して、個々の撮影画像における特徴を代表するような指標値を求め、この指標値を類似度とすることができる。以下にそのような指標値を列挙する。
（１）画素値の平均を用いる手法
画像全体での画素値の平均を各色成分毎に演算して、比較したい画像間の各色成分別の平均値の三次元ユークリッド距離を求めて、正規化する。
（２）画像ヒストグラムを用いる手法
比較したい画像の色成分毎の輝度ヒストグラムから各階級での差分の２乗和の平方根を演算し、各色成分の値を積算して、正規化する。
（３）同一位置画素値の差分を用いる手法
互いの解像度を合わせ、同一位置の画素値の差分の２乗和の平方根を演算して、正規化する。
（４）画像の空間周波数ヒストグラムを用いる手法
比較したい画像の空間周波数をフーリエ変換し、周波数−輝度ヒストグラムを生成し、各階級での差分の２乗和の平方根を演算し、正規化する。

なお、上記以外でも種々の画像特性を利用した類似度の算出手法を採用することができ、本発明は特定の算出手法に限定されるわけではない。撮影画像が取得される状況に応じて、例えば、山間部走行や都市部走行や高速道路走行などに応じて類似度の算出手法を変更してもよい。

有用画像選択部６３は、上記のようにして求められた類似度を互いに比較することで、当該類似度が相違するように、撮影画像の中から有用画像を選択する。その際、さらに本発明の主旨を考慮すれば、類似度と撮影位置とによって二次面分布させた撮影画像から、その散布度が最大となるように所定数の撮影画像を有用画像として選択することが重要となる。例えば、二次面に散布度が最大となるように所定数の指標点を分布させ、各指標点に最も近い撮影画像を優先的に当該指標点に割り当てていくようなアルゴリズムを採用することができる。このようにすれば、上記主旨に沿った、類似度を考慮した有用画像の選択処理を、比較的簡単に実現することができる。

また、上述したように、車両の走行に伴って順次風景を撮影して得られた撮影画像は、その類似度が周期的であるとすれば、さらに簡単な選択アルゴリズムによって、類似度を考慮した有用画像の選択処理が可能である。類似度を上述したような手法で付与した後に実行される、この選択アルゴリズムを、図４の模式表現を用いて説明する。
図４では、取得された複数の撮影画像が、横軸に撮影位置、縦軸に類似度をとった二次元座標面にプロットされている。処理対象撮影画像は、推定自車位置（撮影位置：図４において「０」と表示）を中心とする誤差範囲（その境界線が撮影位置：０の両側に点線で示されている）に属する撮影画像全てである。
まず、図４（ａ）に示すように、最大類似度をもつ撮影画像（類似度算出の基本となる撮影画像）が第１有用画像として選択される。図４では選択された撮影画像（有用画像）は選択順位を示す序数とともにファイルアイコンで示されている。さらに、最小類似度をもつ撮影画像が第２有用画像として選択される。
次に、図４（ｂ）に示すように、最大類似度と最小類似度の中間線（第１選択線Ｌ１と呼ぶ）に属する撮影画像のうち、有用画像の散布度をより増加させる方の撮影画像が第３有用画像として選択される。なお、第１選択線Ｌ１に属する撮影画像とは、第１選択線Ｌ１上に位置するか、または第１選択線Ｌ１からの垂直距離が許容範囲内である撮影画像のことである。
さらに、図４（ｃ）に示すように、最大類似度と第１選択線Ｌ１との中間に位置する第２選択線Ｌ２に属する撮影画像のうち、有用画像の散布度をより増加させる方の撮影画像が第４有用画像として選択される。また、最小類似度と第１選択線Ｌ１との間に位置する第３選択線Ｌ３に属する撮影画像のうち、有用画像の散布度をより増加させる方の撮影画像が第５有用画像として選択される。
さらに、図４（ｄ）に示すように、第２選択線Ｌ２と第３選択線Ｌ３との中間に位置する第４選択線Ｌ４に属する撮影画像のうち、有用画像の散布度をより増加させる方の撮影画像が第６有用画像として選択される。
上述した選択処理を所定数の有用画像が選択されるまで続けられる。このようにして、有用画像選択部６３は、互いに類似度が相違する所定数の撮影画像を有用画像として選択する。なお、図７の例においては、有用画像として選択される可能性の高い撮影画像を太線で示している。有用画像選択部６３による有用画像選択処理が終了すると、選択された有用画像は、後段処理の最初の処理である特徴点抽出処理を受ける。

特徴点抽出部５２は、適当な演算子を使用して撮影画像（有用画像）から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、抽出された画像特徴点（エッジ点）の重要度を決定する。本実施形態では、エッジ検出処理によって得られるエッジ点のうち、特に１本の線分を形成する線分エッジ点（直線成分エッジ点）や、そのような２つの線分が交差（好ましくはほぼ直交）する交点であるコーナエッジ点（交点エッジ点）が、効果的な画像特徴点として扱われる。すなわち、特徴点重要度決定部５３は、線分エッジ点には、当該線分エッジ点以外のエッジ点よりも高い重要度を付与する。また、特徴点重要度決定部５３は、コーナエッジ点には、当該コーナエッジ点以外の線分エッジ点よりもさらに高い重要度を付与する。

また、特徴点重要度決定部５３は、撮影状況情報に含まれている各データの内容にも基づいて、抽出された画像特徴点の重要度を決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対して、前記走行レーン内の領域に属する画像特徴点に付与される重要度より高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して、前記移動物体が存在しない領域に属する画像特徴点に付与される重要度より低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に属する画像特徴点に対して、その中心領域以外の領域に属する画像特徴点に付与される重要度より高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に属する画像特徴点に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に属する画像特徴点に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に属する画像特徴点に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられる。一方、低い重要度が設定された画像特徴点は、実際の画像認識において使用されず、あるいは参照データから削除される可能性がある。この点を考慮して、画像特徴点の取捨選択の判定のために利用できるように、重要度に応じた重み係数が算定される。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を、対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して、撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて、各画像特徴点を整理して撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することで、マッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数を、そのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図５に示された模式的説明図を用いて説明する。撮影画像（図５（ａ）から画像特徴点を抽出することで特徴点画像（図５（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図５（ｃ）では特徴点画像に対応する重要度レイヤの形態で、各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図５（ｄ）では、大きな重み係数をもつほど大きい点となるように描いた形態で、重み係数を割り当てられた画像特徴点が示されている。ここで、例えば所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われ、図５（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じることになる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図５（ｅ）では調整係数群を、特徴点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形態で示している。画像特徴点データ生成部５６は、このような重み係数と調整係数とに基づいて最終的に設定された重み係数（調整後の重み係数）を用いて各画像特徴点を整理して、図５（ｆ）に示されるような画像特徴点データを、撮影画像（有用画像）毎に生成する。

参照データデータベース化部５７は、画像特徴点データ生成部５６によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する。データベース化された参照データは参照データＤＢ９２に格納されていく。

以上の説明では、画像特徴点毎に重要度が決定され、その結果、画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。この場合には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱うとよい。また、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。従って、本発明では、画像区画は１つまたは複数の画素から構成されることになる。

次に、上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図６は、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図データベース（以下、単に「道路地図ＤＢ」と略称する）９１とを有するデータベース９を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、及び経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の利用の有無など）を設定する処理部である。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳ信号の利用による位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、及び風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、車両の加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置（自車位置）を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上に合わせる補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２及び図３で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３、重み付け部５５、調整係数設定部５４、及び画像特徴点データ生成部５６を備えている。車載カメラ１４によって撮影された、車両からの前方風景撮影画像がデータ入力部５１に入力されると、特徴点抽出部５２は、入力された前方風景撮影画像から画像特徴点を抽出する。画像特徴点データ生成部５６は、画像特徴点から前方風景撮影画像毎の画像特徴点データを生成する。その際、重み付け部５５によって画像特徴点に対する重み付け処理（場合により、調整係数設定部５４による調整を伴う）が行われる。生成された画像特徴点データは、マッチング用データとして風景マッチング部６へ出力される。なお、特徴点重要度決定部５３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで、走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記エリア属性データを作成するために、自車位置決定部４５及びデータベース９と接続されている。撮影状況情報生成部７は、自車位置決定部４５からの自車位置座標を検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データを作成する。

風景マッチング部６は、参照データＤＢ９２から抽出した参照データと画像特徴点データ生成部５６から出力された画像特徴点データ（マッチング用データ）とのマッチングを行う。つまり、風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として決定され、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネルやスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じた操作入力を適切な操作信号に変化してシステム内部に転送する操作入力評価部２１ａとを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示画像生成モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３、車載ＬＡＮを通じて送られてくる挙動データに基づいて、制動や加速や操舵などといった車両の種々の挙動を検知する車両挙動検知モジュール２４を備えている。

以上説明したように、本実施形態に係る画像処理システムによれば、所定の走行距離領域内で撮影される複数の撮影画像同士で、類似度と撮影位置との両方が相違するように（より具体的には、類似度と撮影位置とによって二次面分布させた撮影画像から、その散布度が最大となるように）所定数の有用画像が選択されて、その有用画像から参照データが生成される。よって、例えば図７に示すような状況において同じような風景が周期的に撮影される場合であっても、類似度と撮影位置との両方が相違する参照データに基づいて行われるマッチング処理（風景画像認識）の効率を、大幅に向上させることができる。

〔その他の実施形態〕
（１）上述した実施形態では、図７に示されるような場面が本発明による画像処理システムの好適な適用場面の一例として想定されており、単一の経路上における所定の走行距離領域が「所定領域」として設定されている。この構成に代えて、二次元的または三次元的に互いに分離（「分岐」を含む）して存在する複数の経路に跨って「所定領域」が設定された構成としてもよい。このような「所定領域」が設定される場面としては、例えば図８に示す立体駐車場のように、複数階層に分かれた場所を車両が走行する場面を挙げることができる。このような状況においても、各階層（各フロア）で同じような風景が撮影される可能性がある。

この場合、各階層において駐車区画Ｃにつながる経路は、最上階の階層につながる螺旋状の経路（基幹経路Ｌａ）から分岐する経路（分岐経路Ｌｂ）として捉えることができる。そして、図８の例ではこれらの基幹経路Ｌａと複数の分岐経路Ｌｂとにより、複数の分岐点Ｂで分岐した複数の経路が構成され、基幹経路Ｌａと各階層における最上流側（基幹経路Ｌａ側）の分岐経路Ｌｂとが、識別対象経路Ｌｉとされている。これにより、複数階層に分かれて存在する複数の経路の中から各階層に１つずつ識別対象経路Ｌｉが設定され、これら複数の識別対象経路Ｌｉを全て含むように、三次元空間に亘る所定領域が設定されている。図８には、この所定領域の外縁が破線で概略的に示されている。この図８の例では、所定領域は推定自車位置の誤差領域に対応する円筒状の領域となっている。なお、この所定領域は、各分岐点Ｂを含むように設定されていてもいいし、各分岐点Ｂを含まないように設定されていてもよい。

所定領域がこのように三次元空間に亘って設定された場合であっても、上述した実施形態と同様に、所定領域内で撮影される複数の撮影画像を処理対象撮影画像として、当該処理対象撮影画像同士で類似度と撮影位置との両方が相違するように、所定数の有用画像が選択されて参照データが生成される。なお、この場合、複数の識別対象経路Ｌｉが複数階層に分かれて存在することから、断続的に入力される複数の撮影画像が処理対象撮影画像となる。

この場合において、有用画像選択部６３は更に、複数の識別対象経路Ｌｉのそれぞれについて少なくとも１つの処理対象撮影画像を有用画像として選択する。すなわち、有用画像選択部６３は、最終的に選択される有用画像が、各階層に１つずつ設定される複数の識別対象経路Ｌｉのそれぞれに少なくとも１つずつ含まれ、かつ、互いに類似度が相違することとなるように、複数の処理対象撮影画像の中から所定数の有用画像を選択する。有用画像選択部６３により選択された有用画像に基づいて、上述した実施形態で説明したのと同様の処理を経て参照データが生成され、データベース化された参照データが参照データＤＢ９２に格納される。このような参照データに基づいて行われる風景画像認識としてのマッチング処理は、非常に効率に優れたものとなる。更に、本例では各階層に１つずつ識別対象経路Ｌｉが設定されているので、自車位置が複数階層の中でどの階層にあるのかを容易に特定することができるという利点もある。

なお、上記の例においては、各階層における最上流側の分岐経路Ｌｂのみを識別対象経路Ｌｉとしていたが、各階層におけるさらに下流側の分岐経路Ｌｂも、識別対象経路Ｌｉに含ませてもよい。この場合、分岐経路Ｌｂの全部を識別対象経路Ｌｉに含ませてもよいし、一部のみを含ませてもよい。一部のみを含ませる場合には、分岐経路Ｌｂのうち、より上流側の経路を優先的に識別対象経路Ｌｉに含ませるとよい。このように、本発明においては、１つ又は２つ以上の分岐点で分岐した複数の経路の一部又は全部を、識別対象経路とすることができる。

（２）また、上記の例においては、図８に示すような立体駐車場を一例として、互いに分離して存在する複数の経路に跨って「所定領域」が設定される場合について説明したが、本発明の適用場面はこれに限定されない。例えば、１本の道路が１つ又は２つ以上の分岐点で分岐して、その分岐後の各経路が平面的に所定距離を隔てて並行している場合において、当該分岐後の経路のそれぞれを識別対象経路とし、それら複数の識別対象経路を全て含むように、二次元空間に亘って所定領域が設定された構成としてもよい。あるいは、１本の道路が１つ又は２つ以上の分岐点で分岐して、その分岐後の各経路が立体的に重なった状態で並行している場合において、当該分岐後の経路のそれぞれを識別対象経路とし、それら複数の識別対象経路を全て含むように、三次元空間に亘って所定領域が設定された構成としてもよい。これらの場合においても、最終的に生成される参照データは、効率的なマッチング処理に適したものとなる。そして、そのような参照データに基づいて行われる風景画像認識により、自車位置が分岐後の経路の中でどの経路を走行しているのかを容易に特定することができるという利点がある。

（３）上述した実施形態では、撮影画像から参照データを作り出す画像処理システムは、図２及び図３に示されているように、その前段部がデータ入力部５１、一時格納部６１、類似度算出部６２、及び有用画像選択部６３で構成され、その後段部が特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、及び参照データデータベース化部５７で構成されている。従って、類似度が付与された複数の撮影画像の中から有用画像が選択され、選択された有用画像から画像特徴点データが生成され、最終的に参照データが作り出されている。この構成に代えて、図９に示すように、その前段部をデータ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３、重み付け部５５、調整係数設定部５４、及び画像特徴点データ生成部５６で構成し、その後段部を一時格納部６１、類似度算出部６２、有用画像選択部６３、及び参照データデータベース化部５７で構成してもよい。この構成では、まず入力された全ての撮影画像から画像特徴点データが生成され、一時格納部６１に格納される。次いで、格納されている各画像特徴点データの類似度が算出され、当該画像特徴点データに類似度が付与される。その後、有用画像選択部６３によって、上述した実施形態と同様に、画像特徴点データが撮影位置と類似度との両方で高い散布度を示すように、所定数の画像特徴点データが有用画像特徴点データとして選択される。この有用画像特徴点データに、撮影位置や撮影方位の情報を関係付けて参照データが作り出される。

（４）上述した実施形態で説明した有用画像の選択アルゴリズムは単なる一例であって、本発明の実施形態はこれに限定されない。例えば有用画像の選択アルゴリズムの他の一例として、所定位置間隔毎の撮影画像である所定間隔撮影画像の類似度を評価し、所定間隔撮影画像の類似度が所定度より低い（ここでは、所定度に等しい場合を含む）場合には、所定位置間隔毎の撮影画像をそのまま有用画像として選択し、所定間隔撮影画像の類似度が所定度より高い場合には、所定位置間隔を広くするようにずらした後の撮影画像を有用画像として選択するような方法を採用しても良い。また、画像特徴点データに類似度が付与されるように構成された画像認識システムにおいても同様に、所定位置間隔毎の画像特徴点データである所定間隔画像特徴点データの類似度を評価し、所定間隔画像特徴点データの類似度が所定度より低い（ここでは、所定度に等しい場合を含む）場合には、所定位置間隔毎の画像特徴点データをそのまま有用画像特徴点データとして選択し、所定間隔画像特徴点データの類似度が所定度より高い場合には、所定位置間隔を広くするようにずらした後の画像特徴点データを有用画像特徴点データとして選択するような方法を採用しても良い。このようにすれば、類似度が比較的高く、参照データの作成に不適切な撮影画像または画像特徴点データを、確実に除去することができる。よって、無駄のない参照データＤＢ９２を構築することができる。

（５）上述した実施形態では、エッジ検出処理によって得られるエッジ点のうち、特に一本の線分を構成している線分エッジ点や、そのような線分が交差する交点であるコーナエッジ点が、効果的な画像特徴点として扱われる。しかしながら、本発明では、そのようなエッジ点のみが効果的な画像特徴点として扱われるわけではない。例えば、円や四角形などの幾何学的形状を形成する代表的なエッジ点（例えば円なら、円周上の３点など）、あるいは幾何学的形状の重心なども、その風景によっては効果的な画像特徴点となり得る。また、重要度を算定するための因子として、エッジ強度を採用することも好適である。例えば強度の強いエッジからなる線分なら、その線分の始点と終点に対応するエッジ点は、それ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点に対応するエッジ点なども、それ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点ではなく、順次撮影される撮影画像における色相や彩度の変化の大きい点を、画像特徴点として採用することも可能である。同様に色情報に基づくものとして、色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴点データ（マッチング用データ）との間の類似度判定（例えば、パターンマッチング）にとって有効なものであれば、全て利用の対象となる。

（６）上述した実施形態では、その重要度に応じて算定された重み係数を各画像特徴点へ割り当てていたが、この重み係数は重要度に対応する係数であり、この重み係数を導入せずに、重要度をそのまま重み係数として用いてもよい。

（７）上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）とが関係付けられていたが、それ以外に、上述した撮影状況情報や、さらには撮影日時や撮影時天候なども関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いた風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合には、撮影方位の情報は不必要となる。
逆に、１つの基本的な撮影方位で作成された参照データから、撮影方位を適度にずらした参照データを作り出すことができる場合には、方位センサなどの情報から算定された車両の走行方位に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。

（８）本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景を撮影するカメラであってもよいし、さらには側方または後方の風景を撮影するカメラであってもよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。

（９）上述した実施形態の説明に用いられた機能ブロック図において、区分けされて示された機能部は、分かりやすい説明を目的としている。よって、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である。

本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
６：風景マッチング部
１４：カメラ
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データデータベース化部
６１：一時格納部
６２：類似度算出部
６３：有用画像選択部
９２：参照データＤＢ（参照データデータベース）
９１：道路地図ＤＢ（道路地図データベース）
Ｌｉ：識別対象経路
Ｂ：分岐点

Claims (18)

1. 車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、
   車両走行にともなって順次撮影された前記撮影画像のうち撮影位置が所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、
   前記処理対象撮影画像の類似度を算出する類似度算出部と、
   互いに前記類似度が相違する前記処理対象撮影画像を有用画像として選択する有用画像選択部と、
   前記有用画像から画像特徴点を抽出する特徴点抽出部と、
   前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、
   を備える画像処理システム。
2. 前記有用画像選択部は、前記類似度と前記撮影位置とを相違パラメータとして前記類似度と前記撮影位置との両方が相違するように前記有用画像を選択する請求項１に記載の画像処理システム。
3. 車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、
   車両走行にともなって順次撮影された前記撮影画像のうち撮影位置が所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、
   前記処理対象撮影画像の類似度を算出する類似度算出部と、
   所定位置間隔毎の前記処理対象撮影画像の類似度を評価し、前記類似度が所定度より低い場合には前記所定位置間隔毎の前記処理対象撮影画像を前記有用画像として選択し、前記類似度が前記所定度より高い部分では当該部分の間隔を前記所定位置間隔に対して異ならせる有用画像選択部と、
   前記有用画像から画像特徴点を抽出する特徴点抽出部と、
   前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、
   を備える画像処理システム。
4. 前記有用画像選択部は、前記類似度と前記撮影位置とによって二次面分布した前記処理対象撮影画像から、その散布度が最大となる所定数の組み合わせを前記有用画像として選択する請求項２に記載の画像処理システム。
5. 前記所定領域内に複数の識別対象経路が含まれる場合において、前記有用画像選択部は、複数の前記識別対象経路のそれぞれについて少なくとも１つの前記処理対象撮影画像を前記有用画像として選択する請求項１から４のいずれか一項に記載の画像処理システム。
6. 車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、
   車両走行にともなって順次撮影された前記撮影画像のうち所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、
   前記処理対象撮影画像から画像特徴点を抽出する特徴点抽出部と、
   前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データの類似度を算出する類似度算出部と、
   互いに前記類似度が相違する前記画像特徴点データを有用画像特徴点データとして選択する有用画像選択部と、
   前記有用画像特徴点データを当該有用画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、
   を備える画像処理システム。
7. 前記有用画像選択部は、前記類似度と前記撮影位置とを相違パラメータとして前記類似度と前記撮影位置との両方が相違するように前記有用画像特徴点データを選択する請求項６に記載の画像処理システム。
8. 車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、
   車両走行にともなって順次撮影された前記撮影画像のうち所定領域に含まれる複数の撮影画像を処理対象撮影画像として一時格納する一時格納部と、
   前記処理対象撮影画像から画像特徴点を抽出する特徴点抽出部と、
   前記抽出された画像特徴点から構成される画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データの類似度を算出する類似度算出部と、
   所定位置間隔毎の前記画像特徴点データの類似度を評価し、前記類似度が所定度より低い場合には前記所定位置間隔毎の前記画像特徴点データを前記有用画像特徴点データとして選択し、前記類似度が前記所定度より高い部分では当該部分の間隔を前記所定位置間隔に対して異ならせる有用画像選択部と、
   前記有用画像特徴点データを当該有用画像特徴点データに対応する前記撮影画像の撮影位置と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、
   を備える画像処理システム。
9. 前記有用画像選択部は、前記類似度と前記撮影位置とによって二次面分布した前記画像特徴点データから、その散布度が最大となる所定数の組み合わせを前記有用画像特徴点データとして選択する請求項７に記載の画像処理システム。
10. 前記所定領域内に複数の識別対象経路が含まれる場合において、前記有用画像選択部は、複数の前記識別対象経路のそれぞれについて少なくとも１つの前記画像特徴点データを前記有用画像特徴点データとして選択する請求項６から９のいずれか一項に記載の画像処理システム。
11. 複数の前記識別対象経路は、分岐点で分岐した後の複数の経路である請求項５又は１０に記載の画像処理システム。
12. 前記識別対象経路は、複数階層に分かれて存在する複数の経路の中から各階層に少なくとも１つ設定されている請求項５、１０、又は１１に記載の画像処理システム。
13. 前記所定領域は、前記推定自車位置の誤差領域に対応している請求項１から１２のいずれか一項に記載の画像処理システム。
14. 前記所定領域は、所定の走行距離領域である請求項１、３、６又は８に記載の画像処理システム。
15. 前記画像特徴点の重要度を決定する特徴点重要度決定部が備えられ、
    画像特徴点データ生成部は、前記重要度に基づいて前記画像特徴点から前記撮影画像毎の前記画像特徴点データを生成する請求項１から１４のいずれか一項に記載の画像処理システム。
16. 前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重要度が与えられる請求項１５に記載の画像処理システム。
17. 前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比べさらに高い重要度が与えられる請求項１６に記載の画像処理システム。
18. 請求項１から１７のいずれか一項に記載の画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムであって、
    前記参照データを格納している参照データデータベースと、
    車両からの風景を撮影した撮影画像を入力するデータ入力部と、
    入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
    前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する画像特徴点データ生成部と、
    前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、
    を備える位置測位システム。

Images