JP5168601B2 - 自車位置認識システム - Google Patents

Description

本発明は、衛星測位と推測航法とに基づいて車両の推定自車位置を算定する自車位置算定部と、前記推定自車位置を基準として前記推定自車位置の誤差を考慮して誤差範囲を算定する誤差範囲算定部とを備えた自車位置認識システムに関する。

上記のような自車位置認識システムは、カーナビゲーション装置における自車位置の算定に利用されている。衛星測位による測位と自律航法による測位とを行うナビゲーション装置の従来技術の１つとして、衛星測位によって測位した位置の信頼度の算出を、衛星測位によって測位した高度の推移に基づいて走行中の道路の縦断勾配を実測勾配として算出し、道路地図を表す地図データに基づいて、現在走行中の道路を走行中道路として特定するナビゲーション装置が知られている（特許文献１参照）。この装置では、さらに、各道路の縦断勾配または当該縦断勾配の範囲からの実測勾配の逸脱の度合いに基づいて、前記衛星測位によって測位した位置の信頼度を算出し、この信頼度に応じて誤差円の半径を衛星測位位置の信頼度が低いほど大きくしている。

また別な従来技術の１つとして、車載センサの検出によって算出された車両の走行位置及びその誤差精度に基づいて走行誤差範囲が求められ、ディファレンシャル方式ＧＰＳ（ＤＧＰＳ）システムによって測位された車両の存在位置及びその誤差精度に基づいてＤＧＰＳ誤差範囲が求められ、走行誤差範囲及びＤＧＰＳ誤差範囲に基づいてより限定された車両存在範囲が設定され、この車両存在範囲及び道路地図情報に基づいて車両の道路上の位置が推定される車両用ナビゲーション装置も知られている（特許文献２参照）。さらに、この車両用ナビゲーション装置では、走行誤差範囲とＤＧＰＳ誤差範囲との重なる範囲を車両存在範囲とすること、あるいは走行誤差範囲及びＤＧＰＳ誤差範囲のうち小さい方の範囲を車両存在範囲としたりすることにより、狭く且つ正確な車両存在範囲を設定している。

特開２００５−２４９６５４号公報（段落番号０００６−０００９、００４０、図１、図５）

特開平１１−３７７７６号公報（段落番号０００８−００１４、図３、図４）

上述した２つの従来技術では、自車位置の推定において誤差をもたらす誤差要因に基づいて誤差範囲の大きさを変更しようとする技術が開示されている。しかしながら、特許文献１による技術では、単純に誤差範囲の半径を増減しているだけであり、特に、車両走行方向の前方側と後方側とでは同じ誤差範囲となっているので、正確な自車位置の推定のためには十分には貢献できない。また、特許文献２による技術では、異なる手法で算定された２つの誤差範囲の論理積をとることで誤差範囲が調整しているだけであり、これも正確な自車位置の推定のためには十分には貢献できない。
例えば、風景マッチングなどによってより正確な自車位置の推定を行う場合には、可能な限り正確で小さな誤差範囲が設定されなければ、マッチング相手としての風景が多量となりマッチング効率が低下する。一般にマッチング処理では、マッチングしようとする画像のマッチング相手となる参照画像が複数用意され、それを順次取り換えながら処理を繰り返すことになる。マッチングが成立する相手は１つだけなので、残りの参照画像に対するマッチング処理は無駄な処理である。このため、マッチングが成立する参照風景画像を含む、用意されるべき参照風景画像の数は少ない方がマッチング効率が良いということになる。このためには、正確で小さな誤差範囲が要求される。このような実情から、衛星測位と推測航法とに基づいて車両の推定自車位置を算定する際に、その推定自車位置の誤差範囲をできるだけ正確に算定できる技術が望まれている。

本発明に係る自車位置認識システムは、衛星測位と推測航法とに基づいて車両の推定自車位置を算定する自車位置算定部と、前記推定自車位置を基準として前記推定自車位置の存在可能範囲を基本誤差範囲として算定する誤差範囲算定部とを備えた自車位置認識システムであって、車両走行方向を基準方向として当該基準方向に対する誤差の発生方向に偏りを有する誤差要因を方向性誤差要因として、１つ又は２つ以上の前記方向性誤差要因のそれぞれについて、誤差の発生量の推定値である推定誤差量を算出する推定誤差量演算部と、前記方向性誤差要因の誤差の発生方向及び推定誤差量に基づいて、前記基本誤差範囲を修正する誤差範囲修正部と、前記推定自車位置の周辺情報を取得するための周辺情報取得範囲を、誤差範囲に基づいて決定する周辺情報取得範囲決定部と、を備え、前記周辺情報取得範囲決定部は、前記誤差範囲修正部によって前記基本誤差範囲が修正された場合には、当該修正された誤差範囲に基づいて前記周辺情報取得範囲を決定し、前記周辺情報が、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される風景マッチング用の参照データであり、かつ、前記参照データと、車載カメラによる風景の実撮影画像から生成されたマッチング用データとのマッチングを通じて自車位置を決定する際の、前記参照データのデータベースからの抽出範囲として、前記周辺情報取得範囲決定部による前記周辺情報取得範囲が利用される点にある。

この特徴構成によれば、車両走行方向を基準方向として当該基準方向に対する誤差の発生方向に偏りを有する誤差要因を方向性誤差要因として、各方向性誤差要因について誤差の発生量を推定し、基本誤差範囲を修正する。従って、車両走行方向を基準としていずれの方向にどれだけ誤差が発生するかを適切に反映して基本誤差範囲の修正を行うことができる。ここで、基準方向に対する誤差の発生方向は、例えば、車両の前後方向の他、左右方向や車両走行方向に対して傾斜した方向等も有り得る。道路上を走行する車両においては、特に車両前後方向の誤差が重要となるが、この特徴構成によれば、各誤差要因が車両走行方向の前側へのずれ（前ずれ）をもたらすものか、あるいは車両走行方向の後側へのずれ（後ずれ）をもたらすものかをも考慮して、最終的な誤差が前ずれまたは後ずれをもたらすものであるかを推定誤差量として算出し、これに基づいて、従来の基本誤差範囲を修正することができる。従って、結果的に得られる修正された誤差範囲は、従来のものに比べ精度の高いものとなり、また誤差範囲の大きさも最小限にすることができる。このことは、自車位置認識システムが、例えばナビゲーションシステムに適用された場合において、この誤差範囲内で行われる各種案内が無駄なく行われることを可能にする。
また、上記の構成では、前記推定自車位置の周辺情報を取得するための周辺情報取得範囲を、誤差範囲に基づいて決定する周辺情報取得範囲決定部を更に備え、前記周辺情報取得範囲決定部は、前記誤差範囲修正部によって前記基本誤差範囲が修正された場合には、当該修正された誤差範囲に基づいて前記周辺情報取得範囲を決定する。自車位置の周辺領域を決定することで、その周辺領域に関係付けられた情報、いわゆる周辺情報を種々の形で利用できることになる。従って、本発明により、従来に比べて、精度が改善された誤差範囲を周辺情報の取得範囲とすることで、周辺情報のピンポイントな利用が実現する。
また、本発明による精度の高い誤差範囲との適合性がよい周辺情報として、車両からの風景を撮影した撮影画像から生成された風景マッチング用の参照データが挙げられる。自車位置を正確に決定する技術として、その時点での風景を撮影した撮影画像と、正確な自車位置と関係付けられたその参照画像との風景マッチングは優れているが、その際マッチング相手を絞り込むための抽出範囲（検索条件）の設定には、精度の高い誤差範囲を利用することが最も有効である。従って、上記の構成では、前記周辺情報が、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される風景マッチング用の参照データであり、かつ前記参照データと、車載カメラによる風景の実撮影画像から生成されたマッチング用データとのマッチングを通じて自車位置を決定する際の、前記参照データのデータベースからの抽出範囲として、前記周辺情報取得範囲決定部による前記周辺情報取得範囲が利用される。

このシステムで取り扱われる誤差要因が複数ある場合での、好適な実施形態の１つとして、前記推定誤差量演算部が複数の異なる前記方向性誤差要因に基づいて複数の推定誤差量を算出し、当該複数の推定誤差量の誤差発生方向を考慮した積算値を演算し、当該積算値に基づいて前記誤差範囲修正部が前記基本誤差範囲を修正することが提案される。つまり、複数の誤差要因の総合的な推定誤差量が符号付き演算としての積算値で表されるので、無駄に誤差範囲を拡大するような不都合は避けられる。

基本誤差範囲の修正における好適な形態として、前記誤差範囲修正部が、前記基本誤差範囲の中心を前記推定自車位置に対して車両走行方向にオフセットすることで前記基本誤差範囲を修正することが提案される。これによれば、基本誤差範囲を算定する従来のアルゴリズムはそのまま生かすことができ、従来のシステムに簡単に本発明を組み込むことができる。また、別な形態として、前記誤差範囲修正部が、前記推定自車位置を基準とする前記基本誤差範囲の車両走行方向における前方側及び後方側の少なくとも一方を調整することも提案される。これによると、より正確でかつ縮小された誤差範囲を算定する可能性もあり、優れた自車位置認識システムを提供することができる。

誤差要因の中には、ランダムな測定誤差など誤差の発生方向が車両走行方向に依存しないものがあるが、このような誤差要因も考慮することは、信頼性の高い誤差範囲を算定するためには重要である。このため、本発明による好適な実施形態の１つでは、前記推定誤差量演算部は、誤差の発生方向が車両走行方向に依存しない誤差要因を非方向性誤差要因として、１つ又は２つ以上の前記非方向性誤差要因のそれぞれについて、誤差の発生量の推定値である推定誤差量を算出する機能を有し、前記非方向性誤差要因の推定誤差量に基づいて、前記基本誤差範囲を、少なくとも車両走行方向の前方側と後方側とで均等に修正する非方向性誤差修正部を更に有する。この非方向性誤差修正部と方向性誤差修正部とを組み合わせることで、信頼性の高い誤差範囲を提供することができる。

特に、好適な方向性誤差要因として、本発明では、勾配道路における三次元データから二次元データへの変換誤差、道幅内での蛇行による走行距離誤差、タイヤスリップによる走行距離誤差、及びパルス検出式距離センサにおけるパルス抜けによる走行距離誤差の少なくとも一つが含まれる。これらは、比較的簡単にセンサ信号からその誤差要因を数量化することができ、かつその誤差の影響が大きく、修正の効果が高いからである。

本発明による自車位置認識システムを用いた風景マッチング自車位置決定の基本概念を説明する模式図である。 風景マッチングに用いられる参照データを生成する画像処理システムの主な機能と作用を模式的に示す機能ブロック図である。 参照データ作成時における調整係数を用いた重み係数の調整を模式的に示す模式図である。 本発明による自車位置認識システムの一例を採用したカーナビゲーションシステムの機能を示す機能ブロック図である。 本発明による自車位置認識システムの一例と風景マッチング部の機能を示す機能ブロック図である。 本発明による自車位置認識システムの主要構成要素である誤差演算手段の仕組みと示す機能ブロック図である。 誤差演算手段から出力される修正情報に基づく基本誤差範囲の修正を模式的に示す説明図である。 修正情報に基づく基本誤差範囲の修正に関し、図７とは異なる別形態での修正を模式的に示す説明図である。

以下、図面を用いて本発明を詳しく説明する。図１は、ここでは、車両走行方向前方を撮影するように配置された車載カメラからの風景画像をマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を認識する、本発明による自車位置認識システムの基本概念を模式的に示している。

まず、マッチング相手となる参照データを格納している参照データデータベース９２（以下単に参照データＤＢと略称する）の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像と、その撮影時の撮影位置や撮影方位を含む撮影属性情報とが入力される（＃０１）。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶことにするが、画像特徴点の一例がこのエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される（＃０３）。

風景画像認識のために用いられることを考慮すると、抽出された全ての画像特徴点は、同じ重要度をもっているとは限らない。例えば、その対応する撮影画像における座標位置によって各画像特徴点の重要度が異なる場合がある。このため、風景画像認識にふさわしくない画像特徴点の重要性を低くすることや、風景画像認識にとって重要となる画像特徴点の重要性を高くするといったルールを適用させながら、各画像特徴点の重要度を決定することが好ましい（＃０４）。各画像特徴点の重要度が決定されると、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０５）。

続いて、重み係数マトリックスを用いながら、画像特徴点を整理して撮影画像毎の画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位、さらには車両挙動と関係付けることで、撮影位置や撮影方位及び車両挙動を検索キーとして利用可能なデータベース用データとなる（＃０８）。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、つまりマッチング相手として抽出されるべき参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢを用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置、その推定自車位置を撮影位置として車載カメラで撮影された実撮影画像とその撮影方位と撮影状況情報、さらには各種センサ信号群が入力される。まずは、入力された撮影画像と撮影状況情報とから、上記ステップ＃０２〜＃０７の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１１）。

さらに、入力された撮影位置でもある推定自車位置に基づいて当該推定自車位置を中心とする基本誤差範囲が算定される（＃１２）。また、入力されたセンサ信号群が評価され、車両走行方向を基準方向として当該基準方向に対する誤差の発生方向に偏りを有する誤差要因である方向性誤差要因を数量化した１つ以上の誤差要因量が算出される（＃１３）。誤差要因毎に算出された誤差要因量のそれぞれに基づいて誤差の推定値である推定誤差量が演算される（＃１４）。この推定誤差量は符号付きであり、その誤差量には誤差の発生方向（例えば車両走行方向の前方側または後方側）が含まれている。方向性誤差要因毎の誤差の発生方向を含む推定誤差量は上述した基本誤差範囲の修正量として用いられる（＃１５）。推定誤差量によって修正された基本誤差範囲（修正誤差範囲）は、参照データＤＢ９２からマッチング相手としての参照データを抽出する範囲、つまり撮影位置を検索キーとする検索条件として利用される。この検索条件で、参照データ群が参照データＤＢ９２から抽出され、実撮影画像から生成されたマッチング用データのマッチング相手となる（＃１６）。

抽出されたマッチング相手としての参照データ列から１つずつ参照データをパターンとして設定し、今生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１７）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１８）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１９）。

次に、上述した自車位置認識システムで用いられる参照データを、車両から風景を撮影した撮影画像から作り出す、画像処理システムの一例を説明する。図２は、そのような画像処理システムの機能を模式的に示した機能ブロック図である。
この画像処理システムは、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、参照データデータベース化部５７、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラ（ここではフロントカメラ）による風景を撮影した撮影画像、その撮影時の撮影位置及び撮影方位を含む撮影属性情報、および撮影状況情報とが入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像や撮影属性情報の生成方法は周知であるのでその説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。

特徴点抽出部５２は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、特徴点抽出部５２によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて各画像特徴点を整理して記撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図３に示された模式的説明図を用いて説明する。撮影画像（図３（ａ）から画像特徴点を抽出することで特徴点画像（図３（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図３（ｃ）では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図３（ｄ）では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で重み係数を割り当てたれた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われると、例えば、図３（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図３（ｅ）では調整係数群を特徴点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。画像特徴点データ生成部５６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図３（ｆ）で示されたような画像特徴点データを撮影画像毎に生成する。

参照データデータベース化部５７は、画像特徴点データ生成部５６によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報に関係付けて、風景画像認識のために利用される参照データとしてデータベース化する。その際、風景画像認識を補助するために、車両挙動データから記録車両挙動として取り出された、撮影時の車両挙動を示す情報も、その参照データに関係付けられる。このようにデータベース化された参照データは参照データＤＢ９２に格納されていく。

以上の説明では、画像特徴点毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。従って、本発明では、画像区画は１つ又は複数の画素から構成されることになる。

次に、上述した自車位置認識システムの基本技術を採用した車載用カーナビゲーションシステムを説明する。図４には、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部１９、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図ＤＢ９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９、車両の制動や加速や操舵などといった車両の種々の挙動を示すセンサ信号や制御信号を車載ＬＡＮを通じて受け取って、種々の車両挙動を含む車両挙動データを生成して出力する車両挙動検知モジュール２４を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データが画像特徴点データ生成部５６から出力される。なお、特徴点重要度決定部５３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部１９によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部１９は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部１９は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部１９は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。

風景マッチング部６は、参照データＤＢ９２から後で詳しく説明する方法で所定数の参照データからなる参照データ列を抽出し、この参照データ列からマッチング相手として順次参照データをセットし、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。なお、後で詳しく説明するが、風景マッチング部６には、自車位置決定部４５から入力された推定自車位置に基づいて基本誤差範囲が算定され、さらにこの基本誤差範囲が誤差演算手段７から入力された修正情報に基づいて修正される。この修正された基本誤差範囲、つまり修正誤差範囲が、参照データＤＢ９２から参照データを抽出する際の抽出範囲となる。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３を備えている。

つぎに、図５を用いて風景マッチング部６の機能構成を説明する。風景マッチング部６は、基本誤差範囲算定部６１、誤差範囲修正部６２、参照データ出力部６３、マッチング実行部６４、マッチング撮影位置取り出し部６５を備えている。基本誤差範囲算定部６２は、自車位置決定部４５から推定自車位置を受け取り、従来から知られているアルゴリズムを用いてこの推定自車位置を中心として推定自車位置の存在可能範囲を基本誤差範囲（円または道路に沿った方向を長軸とする楕円）として算定する。誤差範囲修正部６２は、後で詳しく説明する誤差演算手段７から送られてくる修正情報に基づいて、基本誤差範囲を修正し、修正誤差範囲を生成する。ここで、方向性誤差要因とは、例えば、車両走行方向を基準として、前方又は後方の他、左右方向（車両走行方向に対して９０°の方向）や斜め方向（車両走行方向に対して３０°、６０°等の方向）等のように、特定の方向に偏った誤差を発生させる誤差要因である。一方、非方向性推定誤差要因とは、そのような特定方向への誤差の偏りがなく、全周囲にほぼ均等に誤差を発生させる誤差要因である。この実施形態では、修正情報には、車両走行方向に関して、例えば前方側へのずれまたは後方側へのずれを明示している方向性を有する方向性推定誤差量と、そのような方向性を有しない非方向性推定誤差量とが含まれている。従って、この誤差範囲修正部６２には、方向性推定誤差量に基づいて基本誤差範囲を修正する方向性誤差範囲修正部６２ａと、非方向性推定誤差量に基づいて基本誤差範囲を修正する非方向性誤差範囲修正部６２ｂとが含まれている。方向性誤差範囲修正部６２ａは、方向性推定誤差量に基づいて、基本誤差範囲の中心を推定自車位置に対して車両走行方向にオフセットすることで基本誤差範囲を修正する機能と、推定自車位置を基準とする基本誤差範囲の車両走行方向における前方側及び後方側の少なくとも一方を調整する機能を有する。また、非方向性誤差範囲修正部６２ｂは、基本誤差範囲を車両走行方向の前方側と後方側とで均等に修正する機能を有する。なお、非方向性誤差範囲修正部６２ｂは、基本誤差範囲を車両走行方向の前方側と後方側とで均等に修正する前後機能に代えて、基本誤差範囲を車両走行方向に水平直交する方向での右側と左側とで均等に修正する左右修正機能を持つようにしてもよいし、前記前後機能と左右修正機能の両方を持つようにしてもよい。

参照データ出力部６３は、誤差範囲修正部６２から送られてくる修正誤差範囲に基づいて、撮影画像処理部５によって生成されたマッチング用データのための適切なマッチング相手候補を抽出するための検索条件を作成する。さらに、参照データ出力部６３は、この検索条件によって参照データＤＢ９２から引き出された参照データをマッチング実行部６４に転送する。なお、この参照データ出力部６３は、参照データを推定自車位置の周辺情報とし、基本誤差範囲を周辺情報を取得するための周辺情報取得範囲とした際の周辺情報取得範囲決定部として機能するものである。周辺情報取得範囲決定部として機能する参照データ出力部６３は、誤差範囲修正部６２によって前記基本誤差範囲が修正された場合には、当該修正された誤差範囲に基づいて前記周辺情報取得範囲を決定する。この実施形態では、前記周辺情報が、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される風景マッチング用の参照データであり、かつ前記参照データと、車載カメラによる風景の実撮影画像から生成されたマッチング用データとのマッチングを通じて精密自車位置を決定する際の、前記参照データのデータベースからの抽出範囲として、周辺情報取得範囲決定部である参照データ出力部６３が周辺情報取得範囲を利用する。
マッチング実行部６４は、抽出された参照データ列を順々にパターンとしてセットしながら、マッチング用データに対するパターンマッチングを行う。マッチング撮影位置取り出し部６５は、マッチングが成功した場合、成功したマッチング相手としての参照画像に関係付けられている撮影位置（自車位置）を読み出して、これを高精度自車位置として自車位置決定部４５に送り出す。

つぎに、図６を用いて誤差演算手段７で実施されている機能を模式的に説明する。誤差演算手段７は、車両の駆動量を検知するセンサからのセンサ信号や車両制御量を検知するセンサからのセンサ信号を入力として、方向性推定誤差量と非方向性推定誤差量とを含む修正量を出力する演算機能を有している。ここでは、この演算は２ステップとなっており、各センサ信号から誤差要因量を算出する誤差要因量算出部７１と、この誤差要因量算出部７１で算出された誤差要因量：α（α1,α2,・・・αn）の組み合わせから方向性推定誤差量と非方向性推定誤差量を演算する推定誤差量演算部７２が備えられている。誤差要因量算出部７１には、道路勾配、操舵量、操舵変化率、スリップ量、などを示すセンサ信号：S1、S2、・・・Sn毎にそれが推定自車位置の推定誤差に及ぼす影響量として誤差要因量：α1,α2,・・・αnを導出する関数：ｆ1,ｆ2,・・・ｆnがテーブルまたは条件式の形で構築されている。推定誤差量演算部７２には、誤差要因量：α1,α2,・・・αnの組み合わせから方向性推定誤差量：ΔDを導出する関数：Gがテーブルまたは条件式、あるいはルールベースやニューラルネットワークの形で登録されている。この方向性推定誤差量：ΔDは符号付き量であり、例えばΔDが正の場合、前述した基本誤差範囲を車両走行方向前側にオフセットする前ずらし修正のための修正量として用いられ、ΔDが負の場合、前述した基本誤差範囲を車両走行方向後側にオフセットする前ずらし修正のための修正量として用いられる。代表的な方向性推定誤差量として、勾配道路における三次元データから二次元データへの変換誤差、道幅内での蛇行による走行距離誤差、タイヤスリップのよる走行距離誤差、パルス検出式距離センサにおけるパルス抜けによる走行距離誤差に関係する量を挙げることができる。なお、上の例において一般的にパルス検出式距離センサにおけるパルス抜けは、ΔDが負となり、後ずらし修正となり、他はΔDが正となり、後ずらし修正となる。さらに、推定誤差量演算部７２には、誤差要因量：α1,α2,・・・αnの中から選ばれたものから非方向性推定誤差量：ΔLを導出する関数：Hがテーブルまたは条件式、あるいはルールベースやニューラルネットワークの形で登録されている。この非方向性推定誤差量：ΔLも正または負の符号付き量であるが、その符号は方向性を表しているのではなく、ΔL＞０で基本誤差範囲の拡大を、ΔL＜０で基本誤差範囲の縮小を表している。

このようにして誤差演算手段７から出力される修正情報である修正量：ΔD、ΔLが誤差範囲修正部６２に送り込まれる。衛星測定による自車位置算定と推測航法による自車位置算定が基本誤差範囲算定部６１に送られることで推定自車位置が出力される。さらに、推定自車位置に基づいて基本誤差範囲が算定され、誤差演算手段７に出力される。誤差演算手段７では、基本誤差範囲が修正量：ΔD、ΔLに対応する分だけ修正され、修正誤差範囲として誤差範囲修正部６２に転送される。

次に図７を用いて、基本誤差範囲が修正量：ΔD、ΔLによって修正される態様を説明する。基本誤差範囲は、推定自車位置（撮影位置）と基本誤差範囲の中心Pが一致しており、基本誤差範囲の長さ：Lは車両走行方向の前側と後側の誤差範囲が等しい。一般に基本誤差範囲は円で表されるが、ここでは長軸が道路の延びる方向に沿う楕円として表されている。ここで、修正量：ΔDが入力されると、その符号に応じて、基本誤差範囲の中心Pが推定自車位置からオフセットする。また、修正量：ΔLが入力されると、その符号に応じて基本誤差範囲が拡大または縮小される。図７の上側の例では、基本誤差範囲を修正量：ΔD分だけ進行方向前側にオフセットすることで、修正誤差範囲が作成されている。また、図７の下側の例では、基本誤差範囲を修正量：ΔD分だけ進行方向前側にオフセットするとともに、修正量：ΔLの分だけ基本誤差範囲の車両走行方向の後側と前側の先端領域を縮小することで修正誤差範囲が作成されている。これにより、推定自車位置の誤差範囲が、運転状況や道路状況に応じてできるだけ正確に算定できるようになり、特に、例えば、風景マッチングにおける参照データの抽出を正確に行うために、要求される可能な限り正確でかつ場合によっては小さな誤差範囲の算定が実現する。

図８には、基本誤差範囲の修正に関して別な実施形態が示されている。ここでは、修正量（推定誤差量）は、基本誤差範囲の車両進行方向の前側領域に対する前側修正量：ΔＦと基本誤差範囲の車両進行方向の後側領域に対する後側修正量：ΔＲに分かれており、それぞれが独立的に各関数から導出される量として取り扱われている。つまり、前側修正量：ΔＦは、次の関数：Ｆ、つまり、
ΔＦ＝Ｆ(α1,α2,・・・αn)、によって導出され、
後側修正量：ΔＲは、次の関数：Ｒ、つまり、
ΔＲ＝Ｒ(α1,α2,・・・αn)、によって導出される。
なお、それぞれの関数の変数としてα1,α2,・・・αnの全てが利用されるとは限らず、必要のない変数にはその係数を０とすることで実質的に省かれる。さらに、変数の係数の正負符号も含めての適当な設定（その際係数を変数のべき乗としてもよい）により、種々の誤差要因量を最適に利用することができる。図８では、前側修正量：ΔＦの例だけが示されているが、前側修正量：ΔＦ及び後側修正量：ΔＲは正または負の符号付き量であり、その符号はΔＦ＞０で基本誤差範囲の前側領域の拡大を、ΔＦ＜０で基本誤差範囲の前側領域の縮小を、そしてΔＲ＞０で基本誤差範囲の後側領域の拡大を、ΔＲ＜０で基本誤差範囲の後側領域の縮小を表している。
なおこの別実施形態では基本誤差範囲の形状は円で、修正誤差円は涙形となっているが、基本誤差範囲の形状及び修正誤差範囲の形状は楕円や円に限定されているわけではなく、例えば矩形であってもよいし、他の形状であってもよい。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。また、マッチング実行部６４は、一般的なパターンマッチングのアルゴリズムを採用しているが、風景画像において重要度が高いコーナ点（２つの直線成分の交点としての交点エッジ点）の一致（マッチング）に他のエッジ点に比べて高い一致評価を与える重みつきパターンマッチングのアルゴリズムを採用してもよい。その際、参照データにコーナ点の座標値を示すコーナ属性値を付属させた形態で参照データＤＢ９２を構築するのが好ましいが、参照データが抽出される毎にコーナ点を検出するようにしてもよい。マッチング用データの方は、実撮影画像から生成される過程において、コーナ点に識別符号（ラベル）を付与しておくとよい。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには後方の風景を撮影するカメラであってよい。但し、後方の風景を撮影するリアカメラを利用すると、車両の走行ともに移動する特徴点の移動方向がフロントカメラの場合と逆となるので、特徴点が周辺に集中している場合には、基準点をオフセットする方向を後方ではなく前方とする。また特徴点が中央に集中している場合には、基準点をオフセットする方向を前方ではなく後方とする。つまり、フロントカメラでもリアカメラでも使用可能であるので、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されない。

上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である

本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データデータベース化部
６：風景マッチング部
６１：車両挙動評価部
６２：誤差範囲修正部
６３：参照データ出力部
６４：マッチング実行部
６５：マッチング撮影位置取り出し部
１４：カメラ
９１：道路地図ＤＢ（道路地図データベース）
９２：参照データＤＢ（参照データデータベース）

Claims (6)

1. 衛星測位と推測航法とに基づいて車両の推定自車位置を算定する自車位置算定部と、前記推定自車位置を基準として前記推定自車位置の存在可能範囲を基本誤差範囲として算定する誤差範囲算定部とを備えた自車位置認識システムであって、
   車両走行方向を基準方向として当該基準方向に対する誤差の発生方向に偏りを有する誤差要因を方向性誤差要因として、１つ又は２つ以上の前記方向性誤差要因のそれぞれについて、誤差の発生量の推定値である推定誤差量を算出する推定誤差量演算部と、
   前記方向性誤差要因の誤差の発生方向及び推定誤差量に基づいて、前記基本誤差範囲を修正する誤差範囲修正部と、
   前記推定自車位置の周辺情報を取得するための周辺情報取得範囲を、誤差範囲に基づいて決定する周辺情報取得範囲決定部と、を備え、
   前記周辺情報取得範囲決定部は、前記誤差範囲修正部によって前記基本誤差範囲が修正された場合には、当該修正された誤差範囲に基づいて前記周辺情報取得範囲を決定し、
   前記周辺情報が、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される風景マッチング用の参照データであり、かつ、
   前記参照データと、車載カメラによる風景の実撮影画像から生成されたマッチング用データとのマッチングを通じて自車位置を決定する際の、前記参照データのデータベースからの抽出範囲として、前記周辺情報取得範囲決定部による前記周辺情報取得範囲が利用される自車位置認識システム。
2. 前記推定誤差量演算部が複数の異なる前記方向性誤差要因に基づいて複数の推定誤差量を算出し、当該複数の推定誤差量の誤差発生方向を考慮した積算値を演算し、当該積算値に基づいて前記誤差範囲修正部が前記基本誤差範囲を修正する請求項１に記載の自車位置認識システム。
3. 前記誤差範囲修正部は、前記基本誤差範囲の中心を前記推定自車位置に対して車両走行方向にオフセットすることで前記基本誤差範囲を修正する請求項１又は２に記載の自車位置認識システム。
4. 前記誤差範囲修正部は、前記推定自車位置を基準とする前記基本誤差範囲の車両走行方向における前方側及び後方側の少なくとも一方を調整する請求項１又は２に記載の自車位置認識システム。
5. 前記推定誤差量演算部は、誤差の発生方向が車両走行方向に依存しない誤差要因を非方向性誤差要因として、１つ又は２つ以上の前記非方向性誤差要因のそれぞれについて、誤差の発生量の推定値である推定誤差量を算出する機能を有し、
   前記非方向性誤差要因の推定誤差量に基づいて、前記基本誤差範囲を、少なくとも車両走行方向の前方側と後方側とで均等に修正する非方向性誤差修正部を更に有する請求項１から４のいずれか一項に記載の自車位置認識システム。
6. 前記方向性誤差要因として、勾配道路における三次元データから二次元データへの変換誤差、道幅内での蛇行による走行距離誤差、タイヤスリップによる走行距離誤差、及びパルス検出式距離センサにおけるパルス抜けによる走行距離誤差の少なくとも一つが含まれている請求項１から５のいずれか一項に記載の自車位置認識システム。

Images