JP5435306B2 - 画像処理システム及び位置測位システム - Google Patents

Description

本発明は、画像処理システム、特に風景画像認識に利用する参照データの生成ための画像処理システム、及びその参照データを用いた位置測位システムに関する。

従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系) における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と、記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。

特開２００７−１０８０４３号公報（段落番号０００９−００１３、図１）

しかし、上記特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。

そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい位置決めとして風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データである参照データの生成が重要となるので、そのような効果的な参照データの生成に適した画像処理システム及びそのような参照データを用いた位置測位システムの実現が望まれる。

本発明に係る画像処理システムは、風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを生成する画像処理システムであって、その特徴構成は、前記撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報を取得する撮影状況情報取得部と、前記撮影状況情報に基づいて前記画像特徴点の重要度を決定する特徴点重要度決定部と、前記重要度に基づいて前記画像特徴点から前記撮影画像に対応する画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置を含む撮影属性情報と関係付けて、前記参照データとして生成する参照データ生成部とを備える点にある。

この特徴構成によれば、風景を撮影した撮影画像から撮影画像毎に抽出された画像特徴点からなる画像特徴点データにその撮影時点の自車位置でもある撮影位置等の撮影属性情報が関係付けられ、参照データとして生成されるので、この画像特徴点データは風景画像認識のための参照データとして利用できる。その際に、画像特徴点の重要度がその撮影画像に特定被写体が含まれている可能性を表す撮影状況情報に基づいて決定され、割り当てられる。従って、各画像特徴点に割り当てられた重要度を用いることで当該画像特徴点を選別することや、画像マッチングなどの画像認識処理における参照データとして利用されるときの重要度を考慮した演算に利用することができるので、画像認識の高精度化に貢献できる。なお、撮影状況情報で取り扱われる特定被写体の一例は、ガードレールや路肩溝などの車両の走行レーンを規定するもの、併走車両や対向車両それに自転車や歩行者などの移動物体、さらには山間エリア・郊外エリア・市街地エリア・高層都市エリアなどを特徴づける山やビルなどの風景物である。このような特定被写体が含まれている場合に、その特定被写体の存在によって画像特徴点の重要度を変えることで、風景画像認識の精度を向上させる参照データを構築することができる。

ここで、前記特徴点重要度決定部は、前記撮影状況情報に基づいて、前記撮影画像中における時間的な変動が小さい被写体が含まれる可能性が高い領域に属する画像特徴点に対して、前記撮影画像中における時間的な変動が大きい被写体が含まれる可能性が高い領域に属する画像特徴点に対して付与される重要度よりも高い重要度を付与するように構成されていると好適である。この構成によれば、時間的な変動が少なく経時的に安定して利用できる画像特徴点を多く含む画像特徴点データを生成することができる。従って、信頼性の高い参照データを生成することができる。

また、前記撮影状況情報が車両の走行レーンの認識結果を含み、前記特徴点重要度決定部は、前記撮影画像中における路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対して、前記走行レーン内の領域に属する画像特徴点に対して付与される重要度より高い重要度を付与するように構成されていると好適である。この構成によれば、風景を撮影した撮影画像における時間的な変動が小さい被写体（例えば道路脇に配置されている人工物や自然物など）から抽出される画像特徴点の重要度を高くし、時間的な変動が大きい被写体（例えば道路上に位置している移動物体や障害物など）から抽出される画像特徴点の重要度を低くすることができる。これにより、時間的な変動が少なく経時的に安定して利用できる画像特徴点を多く含む画像特徴点データを生成することができる。従って、信頼性の高い参照データを生成することができる。

また、前記撮影状況情報が車載センサによる車両周辺に存在する移動物体の認識結果を含み、前記特徴点重要度決定部は、前記撮影画像中における前記移動物体が存在する領域に属する画像特徴点に対して、前記移動物体が存在しない領域に属する画像特徴点に対して付与される重要度より低い重要度を付与するように構成されていると好適である。この構成によれば、風景画像認識の参照データとして利用される際にはノイズとみなされる移動物体から抽出される画像特徴点の重要度を低くすることができる。これにより、移動物体に属する画像特徴点が含まれる割合が低い画像特徴点データを生成することができる。従って、信頼性の高い参照データを生成することができる。

さらに、前記撮影状況情報が前記撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所のエリア属性を含み、前記特徴点重要度決定部は、前記撮影画像中の位置に応じた前記重要度の付与規則を前記エリア属性に応じて変更するように構成されていると好適である。この構成によれば、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといった撮影場所のエリア属性に応じて、経時的に変化しない、場所を特定するのに適した物体が存在する撮影画像上の領域を推定して、そのような領域から抽出された画像特徴点の重要度を高くし、それ以外の画像特徴点の重要度を低くすることができる。これにより、信頼性の高い参照データを生成することができる。

さらに、なお画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタなどを用いて検出できるエッジ点が用いられる。本発明では、風景画像における特徴点という点を考慮すれば、ビルの輪郭やビル窓、各種看板の輪郭を示す直線上につながっていくエッジ点群が適している。このため、本発明の好適な実施形態では、前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、前記特徴点重要度決定部は、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重要度を付与するように構成されている。この構成によれば、風景を特徴付ける建物や看板などの特定の人工物などを正確かつ簡素に認識するための参照データを生成することができる。更に、前記特徴点重要度決定部が、前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比べさらに高い重要度を付与するように構成されると好適である。これにより、参照データに含まれる画像特徴点を建物や橋や看板などの最も重要な特徴点であるコーナ点、つまり上記交点エッジ点だけに限定して、画像認識における演算負担を減らすことが可能となる。コーナ点の検出には、例えばハリスオペレータなどを用いることができる。

特徴点重要度決定部による画像特徴点への重要度の割り当て処理を簡単化するためには、画像特徴点に対して個別に重要度を割り当てるのではなく、撮影画像を複数の区画に分割して、その区画単位で重要度を決定し、その各区画に属する画像特徴点に対しては同じ重要度を付与するようにするとよい。この目的のため、本発明の好適な実施形態の１つでは、前記撮影画像領域が複数の画像区画に分割され、前記特徴点重要度決定部が、同一画像区画に属する前記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を付与するように構成されている。

なお、この画像処理システムによってデータベースとして構築される参照データを用いて、リアルタイムで取得された撮影画像から抽出される画像特徴点データとのマッチング処理を通じて風景画像認識を行う際には、その参照データの利用形態によっては参照データに重要度を付属、つまり関係付けておいた方が便利な場合がある。そのため、本発明の実施形態の１つでは、前記参照データを構成する前記画像特徴点のそれぞれには当該画像特徴点に付与された重要度が関係付けられている。

最終的に画像特徴点データに関係付けられる、当該画像特徴点の抽出元である撮影画像の撮影位置を含む撮影属性情報に、撮影方位も含ませると、撮影方位を特定することでマッチング対象となる画像特徴点データを絞り込むことができて好都合である。

さらに、本発明は、上述した画像処理システムによって生成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのような位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点から前記撮影画像に対応する画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えている。この位置測位システムでは、上述したように、風景マッチングに適した参照データを用いているので、良好に自車位置を決定することができる。

本発明による画像処理システムによる参照データの生成と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位技術の基本概念を説明する模式図である。 本発明による画像処理システムの一例における主な機能を示す機能ブロック図である。 調整係数を用いた重み係数の調整を模式的に示す模式図である。 本発明による画像処理システムで生成された参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。

以下、図面を用いて本発明に係る実施形態を詳しく説明する。本実施形態では、車載カメラにより撮影した車両からの風景の撮影画像に基づいて風景画像の認識を行なう場合を例として説明する。図１は、車載カメラからの風景画像を、本実施形態に係る画像処理システムによって生成される参照データを用いたマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を決定する、位置測位技術の基本概念を模式的に示している。

まず、参照データデータベース９２（以下単に参照データＤＢと略称する）の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置や撮影方位を含む撮影属性情報が入力される（＃０１）。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分を線分エッジと呼び、複数の線分エッジが交差している交点をコーナと呼ぶ。また、線分エッジを構成するエッジ点を線分エッジ点と呼び、コーナに相当する線分エッジ点をコーナエッジ点と呼ぶ。画像特徴点の一例がこの線分エッジ点とコーナエッジ点である。エッジ検出処理によって得られるエッジ検出画像から、コーナエッジ点を含む線分エッジ点が画像特徴点として抽出される（＃０３）。

さらに、上記＃０１から＃０３の処理とは別系統で、撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が取得される（＃０４）。後から詳しく説明するが、この撮影状況情報は、撮影画像の各領域に分布している画像特徴点に対して、特定被写体が位置する領域に属する画像特徴点の重要度を他の領域に属する画像特徴点に比べて相違させるために用いられる。これにより、風景画像認識にふさわしくない画像特徴点の重要度を低くすることや、風景画像認識にとって重要となる画像特徴点の重要度を高くすることで、最終的に信頼性の高い参照データＤＢ９２を構築することができる。この撮影状況情報に基づいて各画像特徴点の重要度が決定されると（＃０５）、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０６）。なお、撮影状況情報で取り扱われる被写体は、撮影画像から画像認識処理を通じて検知すること、各種車載センサ（距離センサ、障害物検出センサなど）からのセンサ信号を処理して検知すること、あるいはＶＩＣＳ (登録商標)（Vehicle Information and Communication System：道路交通情報通信システム）などを利用して外部からの信号を処理して検知することも可能である。

続いて、重み係数に基づいて画像特徴点を整理して各撮影画像に対応する画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確性にとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位と関係付けることで、撮影位置や撮影方位を検索キーとして検索可能なデータベース用データ、すなわち参照データとして生成される（＃０８）。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、例えばパターンマッチングのパターンとして生成される。そして、生成された参照データは、参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データＤＢ９２から参照データを抽出するために用いられる、その撮影位置と撮影方位が入力される（＃１１）。ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０２〜＃０７と同様の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１２）。また、入力された撮影位置と撮影方位を検索条件として、該当する撮影位置（推定自車位置）の参照データ及びその撮影位置（推定自車位置）の前後の参照データがマッチング候補参照データセットとして抽出される（＃１３）。

抽出されたマッチング候補参照データセットから１つずつ参照データをパターンとして設定し、今生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１４）。パターンマッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１５）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１６）。

次に、上述した位置測位技術の基本概念に基づいて撮影画像から参照データを生成する、本発明による画像処理システムの一例を説明する。図２の機能ブロック図には、そのような画像処理システムの特に本発明に関係する機能が模式的に示されている。
この画像処理システムは、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、参照データ生成部５７、などの機能部を備えており、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、参照データ生成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、このデータ入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録媒体に記録され、これらのデータ入力はバッチ処理的に行われる。本実施形態では、データ入力部５１に撮影状況情報が入力されるため、このデータ入力部５１が本発明における撮影状況情報取得部５８としても機能する。なお撮影画像や撮影属性情報の生成方法は周知であるのでその説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、車両の走行レーンの認識結果のデータであり、撮影画像に対する画像処理を通じて得られる白線やガードレールや安全地帯などの認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、車載センサによる車両周辺に存在する移動物体の認識結果のデータであり、ここでは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所のエリア属性を示すデータであり、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといった撮影場所の種別を示すデータである。

特徴点抽出部５２は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、特徴点抽出部５２によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。この際、特徴点重要度決定部５３は、撮影状況情報に基づいて、撮影画像中における時間的な変動が小さい被写体が含まれる可能性が高い領域に属する画像特徴点に対して、撮影画像中における時間的な変動が大きい被写体が含まれる可能性が高い領域に属する画像特徴点に対して付与される重要度よりも高い重要度を付与する。ここで、時間的な変動が小さい被写体としては、例えば、道路脇（路肩）に配置されている建築物や標識等の人工物、或いは樹木等の自然物などが含まれる。また、時間的な変動が大きい被写体としては、例えば、道路上に位置している他の車両や歩行者や自転車等の移動物体、或いは工事現場の柵等の各種障害物などが含まれる。このように道路上に位置している移動物体等は、短期的に移動し、或いは取り除かれる可能性が高いため、風景画像認識の参照データとして用いるのに適していない。従って、そのような時間的な変動が大きい被写体が含まれる可能性が高い領域に属する画像特徴点に対して低い重要度を付与し、時間的な変動が小さい被写体が含まれる可能性が高い領域に属する画像特徴点に対して高い重要度を付与することで、時間的な変動が少なく経時的に安定して利用できる画像特徴点を多く含む画像特徴点データを生成することができる。

そこで、特徴点重要度決定部５３は、例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域（走行レーン外側の路肩側の領域）に属する画像特徴点に対して、前記走行レーン内の領域に属する画像特徴点に対して付与される重要度より高い重要度を付与する。また、特徴点重要度決定部５３は、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して、前記移動物体が存在しない領域に属する画像特徴点に対して付与される重要度より低い重要度を付与する。さらに、特徴点重要度決定部５３は、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に属する画像特徴点に対してその中心領域以外の領域に属する画像特徴点に比べ高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に属する画像特徴点に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に属する画像特徴点に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に属する画像特徴点に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。上記のとおり、特徴点重要度決定部５３により、正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されている。そこで、重み付け部５５は、高い重要度が設定された画像特徴点に大きい重み係数を割り当てる。一方、低い重要度が設定された画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除される方が好ましい場合があることを考慮して、重み付け部５５は、画像特徴点の取捨選択の判定のために利用できるように小さい重み係数を割り当てる。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を、撮影画像領域における重み係数の分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その結果として重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。すなわち、調整係数設定部５４は、演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数を設定し、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数を設定する。

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて、各画像特徴点を整理して各撮影画像に対応する画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を、図３に示された模式的説明図を用いて説明する。撮影画像（図３（ａ）から画像特徴点を抽出することで特徴点画像（図３（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図３（ｃ）では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図３（ｄ）では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で、重み係数が割り当てられた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われる場合を考える。この場合、例えば、図３（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。そこで、調整係数設定部５４は、この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数を設定する。そのように設定される調整係数を模式的に理解できるように、図３（ｅ）では、調整係数群を特徴点画像に対応させてマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示している。画像特徴点データ生成部５６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理し、図３（ｆ）で示されたような画像特徴点データを各撮影画像に対応させて生成する。

参照データ生成部５７は、画像特徴点データ生成部５６によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報と関係付けて、風景画像認識のために利用される参照データとして生成する。参照データ生成部５７は、生成した参照データを参照データＤＢ９２に格納する。従って、参照データ生成部５７は、生成した参照データをデータベース化する参照データデータベース化部としても機能する。

以上の説明では、画像特徴点毎に重要度が決定され、その結果、画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する画像特徴点を画像特徴点群としてグループ化して統一的に取り扱う構成としても好適である。この場合、特徴点重要度決定部５３は、同じ画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定する。なお、本発明では、画像区画は１つ又は複数の画素から構成される。すなわち、特徴点重要度決定部５３は、撮影画像を構成する複数画素を単位として前記画像区画を設定してもよいが、撮影画像を構成する１画素単位で前記画像区画を設定することも可能である。

次に、上述した画像処理システムで生成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正するカーナビゲーションシステムを説明する。図４には、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とナビゲーション用道路地図データを収納した道路地図データベース９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。すなわち、この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データが画像特徴点データ生成部５６から出力される。なお、特徴点重要度決定部５３で利用される撮影状況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを生成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。撮影状況情報生成部７は、受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータを生成する。また、撮影状況情報生成部７は、上記移動物体データを生成するために障害物検出用のセンサ群１８と接続されている。撮影状況情報生成部７は、このセンサ群１８からのセンサ情報に基づいて移動物体データを生成する。さらに、撮影状況情報生成部７は、上記エリア属性データを生成するために、自車位置決定部４５及びデータベース９と接続されている。撮影状況情報生成部７は、自車位置決定部４５からの自車位置座標を検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データを生成する。

風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして用い、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、当該マッチングが成功した参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネルやスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変換して内部に転送する操作入力評価部２１ａとを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示画像生成モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を出力するための音声生成モジュール２３、車載ＬＡＮを通じて送られてくる挙動データに基づいて、制動や加速や操舵などといった車両の種々の挙動を検知する車両挙動検知モジュール２４を備えている。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点のうち、特に一本の線分を構成している線分エッジ点（直線成分エッジ点）やそのような線分が交差、好ましくはほぼ直交する交点に相当するコーナエッジ点（交点エッジ点）が効果的な画像特徴点として扱われる。しかしながら、本発明における画像特徴点は、そのようなエッジ点に限定されるわけではない。風景によって効果的な画像特徴点として、例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは幾何学的形状の重心やその重心を示す画像上の点なども用いてよい。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点はそれ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども、それ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、その重要度に応じて算定された重み係数を各画像特徴点に割り当てていたが、この重み係数は重要度に対応する係数である。従って、この重み係数を導入せずに、特徴点重要度決定部５３により決定した重要度をそのまま重み係数として用いてもよい。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影属性情報としての撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候などを関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの生成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合には、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度に異ならせた参照データを用意することができる場合には、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。このように、撮影属性情報に撮影方位も含ませると、撮影方位を特定することでマッチング対象となる画像特徴点データを絞り込むことができる。

本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。

上述した実施形態では、風景を撮影した撮影画像が、車両に搭載されたカメラにより撮影される場合を例として説明した。しかし、本発明に係る画像処理システムは、このような車両からの風景の撮影画像に基づいて風景画像認識を行なうものに限定されない。例えば、携帯電話や携帯可能なナビゲーション装置等の各種の携帯端末に搭載されたカメラの撮影画像に基づいて風景画像認識を行なう画像処理システムにも、本発明を適用することが可能である。そして、風景画像を撮影するカメラが、車両や携帯端末などのいずれに設けられる場合であっても、本発明に係る画像処理システム及び位置測位システムの全部又は一部は、当該車両や携帯端末に備えられていてもよいし、これらとは離れた場所にあるデータ処理センタなどのサーバに備えられていてもよい。画像処理システムや位置測位システムがカメラ等と離れたサーバに備えられる場合には、撮影画像、撮影属性情報、撮影状況情報等は、各種の通信手段を介して送受信されて取得され、或いは一旦記録媒体に記録されてから当該記録媒体から読み出されることにより取得される構成とすることができる。

上述した実施形態の説明に用いられた機能ブロック図で区分けされて示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではない。よって、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である。

本発明は、風景画像認識に利用する参照データの生成ための画像処理システム、及びその参照データを用いた位置測位システムに好適に利用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データ生成部
５８：撮影状況情報取得部
６：風景マッチング部
１４：カメラ
９２：参照データＤＢ
９１：道路地図ＤＢ

Claims (11)

1. 風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを生成する画像処理システムであって、
   前記撮影画像を入力するデータ入力部と、
   入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
   前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報を取得する撮影状況情報取得部と、
   前記撮影状況情報に基づいて前記画像特徴点の重要度を決定する特徴点重要度決定部と、
   前記重要度に基づいて前記画像特徴点から前記撮影画像に対応する画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置を含む撮影属性情報と関係付けて、前記参照データとして生成する参照データ生成部と、
   を備える画像処理システム。
2. 前記特徴点重要度決定部は、前記撮影状況情報に基づいて、前記撮影画像中における時間的な変動が小さい被写体が含まれる可能性が高い領域に属する画像特徴点に対して、前記撮影画像中における時間的な変動が大きい被写体が含まれる可能性が高い領域に属する画像特徴点に対して付与される重要度よりも高い重要度を付与する請求項１に記載の画像処理システム。
3. 前記撮影状況情報が車両の走行レーンの認識結果を含み、
   前記特徴点重要度決定部は、前記撮影画像中における路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対して、前記走行レーン内の領域に属する画像特徴点に対して付与される重要度より高い重要度を付与する請求項１又は２に記載の画像処理システム。
4. 前記撮影状況情報が車載センサによる車両周辺に存在する移動物体の認識結果を含み、
   前記特徴点重要度決定部は、前記撮影画像中における前記移動物体が存在する領域に属する画像特徴点に対して、前記移動物体が存在しない領域に属する画像特徴点に対して付与される重要度より低い重要度を付与する請求項１から３のいずれか一項に記載の画像処理システム。
5. 前記撮影状況情報が前記撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所のエリア属性を含み、
   前記特徴点重要度決定部は、前記撮影画像中の位置に応じた前記重要度の付与規則を前記エリア属性に応じて変更する請求項１から４のいずれか一項に記載の画像処理システム。
6. 前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、
   前記特徴点重要度決定部は、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重要度を付与する請求項１から５のいずれか一項に記載の画像処理システム。
7. 前記特徴点重要度決定部は、前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比べさらに高い重要度を付与する請求項６に記載の画像処理システム。
8. 前記撮影画像領域が複数の画像区画に分割され、前記特徴点重要度決定部が、同一画像区画に属する前記画像特徴点を画像特徴群としてグループ化して統一的に取り扱い、当該画像特徴群に含まれる画像特徴点には同一の重要度を付与する請求項１から７のいずれか一項に記載の画像処理システム。
9. 前記参照データを構成する前記画像特徴点のそれぞれには当該画像特徴点に付与された重要度が関係付けられている請求項１から８のいずれか一項に記載の画像処理システム。
10. 前記撮影属性情報は、前記撮影画像の撮影位置に加えて撮影方位を含む請求項１から９のいずれか一項に記載の画像処理システム。
11. 請求項１から１０のいずれか一項に記載の画像処理システムによって生成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムにおいて、
    前記参照データを格納している参照データデータベースと、
    車両からの風景を撮影した撮影画像を入力するデータ入力部と、
    入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
    前記画像特徴点から前記撮影画像に対応する画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、
    前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えた位置測位システム。

Images