JP5062497B2 - 風景画像認識を用いた自車位置検出システム - Google Patents

Description

本発明は、車両から撮影した風景画像を用いて走行中の車両の現在位置を求める自車位置検出システムに関する。

従来から、カーナビゲーションの技術分野では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と、記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。しかし、この特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、高い演算能力が装置に要求され、コストアップの要因となる。

また、同じカーナビゲーションの技術分野において、建物や風景などの撮影画像を検索キーとして画像データベース上から類似度の大きい画像を検索し、検索された１以上の画像をそれに対応する地点特定情報と共に表示してユーザに提示し、この表示をみたユーザにより選択された画像に対応付けられた位置情報を目的地に設定するナビゲーション装置が知られている（例えば、特許文献２参照）。このナビゲーション装置を使用すると、ある地点で撮影した撮影画像を入力して検索を実行すれば、その入力画像にマッチする画像とそれに対応する地点特定情報とが検索にヒットしてユーザに提示され、ユーザの選択によりその地点が目的地に設定される。これにより、目的地に設定したい地点の位置や施設名などの情報が全く分らなくても、その地点の撮影画像を利用して目的地の設定を行うことが可能となる。しかしながら、このような風景撮影画像を用いた位置の特定では、検索キーとして入力画像にマッチする画像をナビゲーション装置が提示した後、ユーザが確認する必要があるので、カーナビゲーションで利用されている自車位置検出には適用することはできない。

特開２００７−１０８０４３号公報（段落番号０００９−００１３、図１） 特開２００４−３３３２３３号公報（段落番号００１０−００４３、図１）

上述した実情から、風景画像認識技術を用いながらも、人の判断を要求することなく、高い精度で効率的に自車位置検出が可能な自車位置検出システムの実現が望まれる。

本発明に係る風景画像認識を用いた自車位置検出システムの特徴構成は、車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データと、当該画像特徴点データに対応する撮影画像の撮影位置と、撮影時の車両が認識している車両イベントを示す記録車両イベントとを関係付けた参照データを格納している参照データデータベースと、車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、前記車両が認識した車両イベントである実車両イベント情報を生成する車両イベント評価部と、前記車両の推定自車位置に基づいて、前記参照データデータベースから前記推定自車位置の周辺を前記撮影位置とする参照データを抽出して、前記マッチング用データに対するマッチング相手候補として出力する第１参照データ出力部と、
前記車両イベント情報に基づいて、前記参照データデータベースから前記実車両イベントと一致する記録車両イベントを有する参照データを抽出して、前記マッチング用データに対するマッチング相手候補として出力する第２参照データ出力部と、前記第１参照データ出力部及び前記第２参照データ出力部の少なくとも一方により出力された前記参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、前記マッチングに成功した参照データに関係付けられた前記撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている点である。

なお、カーナビゲーションの分野では、ＧＰＳや推測航法による位置座標の測定において自車位置を推定する場合に誤差が生じるので、実自車位置（実際の自車位置）はこの推定自車位置を基準とした所定半径領域に存在するとみなされている。この所定半径領域は推定誤差範囲と呼ばれる。従って、この明細書においても、推定誤差範囲という語句が参照データの抽出条件となる推定自車位置の周辺という撮影位置の範囲を表すための一例として用いられる。さらに、車両は道路もしくはそれに同等な位置にしか存在していないことを条件とすると、その所定半径領域は例えば道に沿った形状に縮小することが可能であるが、そのような形状も含めて、推定誤差範囲（通常は単に誤差範囲と略称される）という語句が用いられる。
また、前記車両イベントとしては、走行途中の車両に生じる種々の事象や走行途中の車両を操作するために与えられる種々の事象が利用可能であるが、走行している道路上の位置を確定するために用いるものであることから、道路との関係で車両に生じる現象や与えられる事象が好都合である。そのような車両イベントとしては、例えば、曲線路走行、走行中の一旦停止、勾配をもつ道路の走行など、特定の道路状況に起因する車両挙動が挙げられる。特に好ましいのは車両の停止であり、この車両停止は距離センサなどで簡単に検出できるだけでなく、車両停止は、交差点や踏み切りや横断歩道との関連性もあり、それに基づいて抽出された参照データはマッチング相手としての価値が高いとみなすことができる。さらに特徴的な車両イベントとしては、車両が走行している道路における特定道路標識が検出されるという事象が好適である。

自車位置の誤差が、上述した推定誤差範囲を算定ために予測されている誤差を超えると、その推定誤差範囲に実自車位置が入らなくなることが生じる。その場合は、推定誤差範囲を順次広げていく必要があり、風景画像認識としてのマッチング処理に時間がかかるか、不可能となってしまう。しかしながら、上述した本発明の構成では、第１参照データ出力部と第２参照データ出力部とは、参照データの抽出の役割を分担している。つまり、第１参照データ出力部は推定自車位置の周辺（例えば推定誤差範囲内）を撮影位置とする参照データの抽出を行う。そして、第２参照データ出力部は車両イベントを検索条件として前記マッチング用データに対するマッチング相手候補としての参照データを抽出する。これにより、推定誤差範囲内に位置する参照データを用いたマッチングに失敗しても、順次推定誤差範囲を広げていくわけではなく、全く別な検索条件としての車両イベントを用いてマッチング相手としての参照データを抽出するので、そのマッチングが効果的に行われる。

第２参照データ出力部による抽出参照データは、第１参照データ出力部による抽出参照データを補完する目的があるので、前記第１参照データ出力部及び前記第２参照データ出力部は、位置の範囲として規定された参照データ抽出範囲内に前記撮影位置が含まれる参照データを抽出するように構成され、前記第２参照データ出力部の前記参照データ抽出範囲は、前記推定自車位置を中心とする前記第１参照データ出力部の前記参照データ抽出範囲より広く設定されるように構成されると好都合である。これにより、第１参照データ出力部の参照データ抽出範囲の外に存在するマッチング相手候補としての価値がある参照データを抽出することが可能となる。もちろん、推定自車位置の精度がある程度保証される場合には、第１参照データ出力部の参照データ抽出範囲で抽出された参照データでマッチング成功する確率が高いので、前記第１参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理が前記第２参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理に優先して行われるようにすることが好ましい。

逆に、前記推定自車位置の精度があまり期待できない状況の場合や、認識された車両イベントが特定撮影位置に強く依存している場合、前記第２参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理が前記第１参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理に優先して行われると好都合である。これにより、マッチング相手として抽出された参照データのマッチング可能性が良好となる。

ところで、車両イベントが一致する参照データは様々な撮影地点に存在しているはずなので、その検索範囲を絞り込む必要がある。推定自車位置の誤差は、前回のマッチング成功によって得られた自車位置によって修正された自車位置を誤差なしとして、それからスリップや蛇行走行などにより増加していくと考えられる。このことから、好適な実施形態の１つでは、前記第２参照データ出力部は、前記第１参照データ出力部によって出力されたマッチング相手候補とのマッチング成功によって得られた自車位置を出発点として前記車両のそれ以降の走行軌跡範囲に基づいて定まる範囲を前記参照データ抽出範囲とする。

本発明による、風景画像認識を用いた自車位置検出システムにおける自車位置検出技術の基本概念を説明する模式図である。 本発明による自車位置検出システムに用いられる参照データを生成する画像処理システムの主な機能を示す機能ブロック図である。 調整係数を用いた重み係数の調整を模式的に示す模式図である。 本発明による自車位置検出システムを採用したカーナビゲーションシステムの機能を示す機能ブロック図である。 一旦停止を例として車両イベントに基づく誤差範囲には属さない参照データの補完を模式的に説明するための模式図である。 曲線路走行を例として車両イベントに基づく誤差範囲には属さない参照データの補完を模式的に説明するための模式図である。 風景マッチング部の機能を示す機能ブロック図である。

以下、図面を用いて本発明を詳しく説明する。図１は、ここでは、車両走行方向前方を撮影するように配置された車載カメラからの風景画像を、本発明による画像処理システムによって作成される参照データを用いたマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を決定する、位置測位技術の基本概念を模式的に示している。

まず、参照データデータベース９２（以下単に参照データＤＢと略称する）の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像と、その撮影時の撮影位置や撮影方位を含む撮影属性情報と、その撮影時の車両イベント（一旦停止や曲線路走行など）としてのその車両イベントの事象値が入力される（＃０１）。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶことにするが、画像特徴点の一例がこのエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される（＃０３）。

風景画像認識のために用いられることを考慮すると、抽出された全ての画像特徴点は、同じ重要度をもっているとは限らない。例えば、その対応する撮影画像における座標位置によって各画像特徴点の重要度が異なる場合がある。このため、風景画像認識にふさわしくない画像特徴点の重要性を低くすることや、風景画像認識にとって重要となる画像特徴点の重要性を高くするといったルールを適用させながら、各画像特徴点の重要度を決定することが好ましい（＃０４）。各画像特徴点の重要度が決定されると、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０５）。

続いて、重み係数マトリックスを用いながら、画像特徴点を整理して撮影画像毎の画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位、さらには車両イベントと関係付けることで、撮影位置や撮影方位及び車両イベントを検索キーとして利用可能なデータベース用データとなる（＃０８）。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、つまりマッチング相手として抽出されるべき参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢを用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置、その推定自車位置を撮影位置として車載カメラで撮影された実撮影画像とその撮影方位、及びその撮影時の実車両イベントの事象を記録している車両イベントデータが入力される（＃１１）。まず、入力された撮影画像から、上記ステップ＃０２〜＃０７の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１２）。

また、入力された撮影位置でもある推定自車位置の誤差によって規定される推定誤差範囲（以下単に誤差範囲と略称する）が算定される（＃１３ａ）。さらに、入力された車両イベントデータも評価されて、参照データＤＢ９２の検索条件として利用できるような事象を含む実車両イベント情報が生成される（＃１３ｂ）。誤差範囲と実車両イベントとのそれぞれに基づいてマッチング用データのマッチング相手として適切な参照データが参照データＤＢ９２から抽出され（＃１３ｃ）、それぞれ、誤差範囲依存の参照データ及び車両イベント依存の参照データとして出力される（＃１３ｄ）。出力された参照データは風景画像認識であるマッチング処理のためにセットされる（＃１４）。

抽出されたマッチング候補参照データ列から１つずつ参照データをパターンとして設定し、今生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１５）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１６）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１７）。

次に、上述した自車位置検出システムで用いられる参照データを、車両から風景を撮影した撮影画像から作り出す、画像処理システムの一例を説明する。図２は、そのような画像処理システムの機能を模式的に示した機能ブロック図である。
この画像処理システムは、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、参照データデータベース化部５７、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報とが撮影関係情報として入力される。さらに、その撮影時の特定車両イベントの事象値を示す車両イベントデータも入力される。この車両イベントデータに含まれる特定車両イベントの事象値としては、例えば、一旦停止における車速、曲線路走行の操舵角、坂道走行での車両の前後方向の傾き（つまり道路の勾配）などが含まれる。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像、撮影属性情報、撮影状況情報、車両イベントデータが入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像、撮影属性情報、撮影状況情報、車両イベントデータが一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像、撮影属性情報、車両イベントデータの生成方法は周知であるのでその説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。

特徴点抽出部５２は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、特徴点抽出部５２によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて各画像特徴点を整理して記撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図３に示された模式的説明図を用いて説明する。撮影画像（図３（ａ）から画像特徴点を抽出することで特徴点画像（図３（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図３（ｃ）では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図３（ｄ）では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で重み係数を割り当てたれた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われると、例えば、図３（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図３（ｅ）では調整係数群を特徴点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。画像特徴点データ生成部５６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図３（ｆ）で示されたような画像特徴点データを撮影画像毎に生成する。

参照データデータベース化部５７は、画像特徴点データ生成部５６によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報に関係付けて、風景画像認識のために利用される参照データとしてデータベース化する。その際、風景画像認識を補助するために、車両イベントデータから記録車両イベントとして取り出された、撮影時の車両イベントの事象を示す情報も、その参照データに関係付けられる。このようにデータベース化された参照データは参照データＤＢ９２に格納されていく。

以上の説明では、画像特徴点毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。従って、本発明では、画像区画は１つ又は複数の画素から構成されることになる。

次に、上述した自車位置検出システムの基本概念、及び上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図４には、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図ＤＢ９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９、車両イベント検知モジュール２４を備えている。車両イベント検知モジュール２４は、車両の制動や加速や操舵などといった車両の種々の挙動を示すセンサ信号や制御信号を車載ＬＡＮを通じて受け取って、種々の車両イベントを含む車両イベントデータを生成して出力する機能を有する。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データが画像特徴点データ生成部５６から出力される。なお、特徴点重要度決定部５３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。

風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置及び車両イベント検知モジュール２４から送られてきた実車両イベントに基づいて参照データＤＢ９２から後で詳しく説明する抽出アルゴリズムに基づいて参照データを抽出する。さらに、抽出された参照データ列からパターンマッチングのパターンとして順次参照データをセットし、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３を備えている。

つぎに、風景マッチング部６で行われる、推定自車位置を中心とする誤差範囲に含まれる測定データ群の抽出と、車両イベント検知モジュール２４から送られてくる実車両イベントに基づいてその誤差範囲外であってもマッチング相手としての利用価値のある測定データ群（１つだけでもよい）の抽出との関係を図５と図６の模式図を用いて説明する。
図５は一旦停止を例として誤差範囲には属さない参照データの補完を車両イベントに基づいて抽出される参照データによって行っていることを説明するための模式図である。図５では、推定自車位置を基準点：P3とし、そこから車両走行方向の前方側に位置する参照データの撮影位置を推定自車位置から近い順にP4,P5,P6,P7で示し、そこから車両走行方向の後方側に位置する参照データの撮影位置をP2で示している。基準点：P3を中心として自車位置測定誤差に基づいて算定される誤差範囲は点線で示している。この例では、誤差範囲には、基準点：P3とともに撮影位置： P2とP4が属している。この撮影位置とは、参照データＤＢ９２に格納されている参照データの撮影位置を意味している。この誤差範囲に含まれる参照データは誤差範囲を検索条件として参照データＤＢ９２を検索することで抽出することができる。さらに、その撮影位置の参照データに関連付けられている記録車両イベント（一旦停止）の事象値としての車速（単位はkm/h）が模式的に示されており、基準点：P3は１０、撮影位置：P2は２０、撮影位置：P4は１０, 撮影位置：P7は０となっている。また、この図5の例では、実際の車両の位置である実自車位置はP7としており、この位置で実際の車両は一旦停止している。このような状態において、本発明の特徴により、さらに実車両イベントを検索条件として参照データＤＢ９２を検索することで、撮影位置：P7の参照データがマッチング相手として抽出されることになる。なお、実車両イベントを検索条件とする場合、参照データＤＢ９２から参照データを抽出するための抽出条件としての参照データ抽出範囲は、誤差範囲に基づいて定まる範囲、例えば、当該車両の走行軌跡範囲の２倍の範囲を採用するとよいが、その際推定自車位置を基準として所定のしきい値で制限を加えることにより無駄な参照データを抽出することが抑制される。

なお、図5の例では、実際の車両の位置である実自車位置は撮影位置：P7とされているので、実撮影画像はそこで撮影された撮影画像となり、実車両イベントの車速は０となっている。図５から理解できるように、推定自車位置が実自車位置とかなりずれており、誤差範囲を検索条件として抽出された参照データでは実撮影画像からのマッチング用データとのマッチングは失敗する。しかしながら、実車両イベントを検索条件として抽出された参照データは、誤差範囲から大きく離れた撮影位置：P7の参照データであるが、この参照データは、マッチング用データとのマッチングが成功する。これにより、推定自車位置を正しい自車位置に修正することができる。

図６は、曲線路走行を例として誤差範囲には属さない参照データの補完を車両イベントに基づいて抽出される参照データによって行うことを説明するための模式図である。図６では、推定自車位置を基準点：P4とし、そこから車両走行方向の前方側に位置する参照データの撮影位置を推定自車位置から近い順にP4,P5,P6,P7・・・P10で示し、そこから車両走行方向の後方側に位置する参照データの撮影位置を推定自車位置から近い順にP3,P2で示している。基準点：P4を中心として自車位置測定誤差に基づいて算定される誤差範囲はここでも点線で示している。この例では、誤差範囲には、基準点：P4とともに撮影位置： P3とP5が属している。この誤差範囲に含まれる参照データは誤差範囲を検索条件として参照データＤＢ９２を検索することで抽出することができる。さらに、その撮影位置の参照データに関連付けられている記録車両イベント（曲線路走行）の事象値としての操舵角が模式的に示されており、基準点：P4は０°、撮影位置：P3は０°、撮影位置：P5は０°, 撮影位置：P7は１５°となっている。また、この図６の例でも、実際の車両の位置である実自車位置はP7としており、この位置で実際の車両は操舵角１５°で曲線路走行している。このような状態において、ここでも、さらに実車両イベントを検索条件として参照データＤＢ９２を検索することで、撮影位置：P7の参照データがマッチング相手として抽出されることになる。ここでは、実際の車両の位置である実自車位置は撮影位置：P7とされているので、実撮影画像はそこで撮影された撮影画像となり、実車両イベントの操舵角は１５°となっている。図６から理解できるように、推定自車位置が実自車位置とかなりずれており、誤差範囲を検索条件として抽出された参照データでは実撮影画像からのマッチング用データとのマッチングは失敗する。しかしながら、実車両イベントを検索条件として抽出された参照データは、誤差範囲から大きく離れた撮影位置：P7の参照データであるが、この参照データは、マッチング用データとのマッチングが成功する。これにより、推定自車位置を正しい自車位置に修正することができる。

図７には、上述した誤差範囲と実車両イベントの両方を用いてそれぞれ出力される参照データと、撮影画像から生成されるマッチング用データとの間で風景画像認識を行う風景マッチング部６に備えられた各機能部を説明するための機能ブロック図が示されている。風景マッチング部６は、車両イベント評価部６１、誤差範囲算定部６２、参照データ出力部６３、マッチング実行部６４、マッチング撮影位置取り出し部６５、検索範囲設定部６６を備えている。
車両イベント評価部６１は、車両イベント検知モジュール２４から送られてくる車両イベントを評価して、車速、操舵角などの実車両イベントの事象値を示す値を、参照データに関連付けられている記録車両イベントと比較可能な形式で記録した車両イベント情報を出力する。誤差範囲算定部６２は、推定自車位置を基準として推定自車位置の誤差を考慮して誤差範囲を算定する。参照データ出力部６３は、第１参照データ出力部６３ａと第２参照データ出力部６３ｂと、これらの２つの参照データ出力部６３ａと６３ｂの動作を制御する参照データ出力管理部６３ｃを備えている。第１参照データ出力部６３ａは、誤差範囲算定部６２から送られてくる誤差範囲に基づいて、撮影画像処理部５によって生成されたマッチング用データのための適切なマッチング相手候補を抽出するための検索条件を作成して、基本的なマッチング相手としての基本参照データを抽出する。第２参照データ出力部６３ｂは、車両イベント評価部６１から送られてくる車両イベント情報に記録されている実車両イベント及び検索範囲設定部６６から限界範囲に基づいて検索条件を作成して、追加的なマッチング相手としての追加参照データを抽出する。検索範囲設定部６６は、ナビ制御モジュール２５から取得した案内経路データ等の走行履歴データから、前回のマッチング成功によって得られた自車位置を出発点としてそれ以降の車両の走行軌跡範囲に基づいて定まる範囲、例えば、当該車両の走行軌跡範囲の２倍の範囲を限界範囲として第２参照データ出力部６３ｂに与える。検索範囲設定部６６は、その他の任意の検索範囲を制限する限界範囲を生成して第２参照データ出力部６３ｂに与えることができる。参照データ出力管理部６３ｃは、原則的に、第１参照データ出力部６３ａによる参照データの抽出を優先し、その抽出データによるマッチングに失敗したときに第２参照データ出力部６３ｂによる参照データの抽出を行うモードやその優先度を逆にするモードなど、種々のモードで第１参照データ出力部６３ａと第２参照データ出力部６３ｂの動作を制御することができる。その際、そのモードの選択は、推定自車位置の信頼度に応じて設定するようにすることも可能である。なお、この実施形態では、第１参照データ出力部６３ａ及び第２参照データ出力部６３ｂは、位置の範囲として規定された参照データ抽出範囲内に撮影位置が含まれる参照データを抽出するように構成され、第２参照データ出力部６３ｂの参照データ抽出範囲は、推定自車位置を中心とする第１参照データ出力部６３ａの参照データ抽出範囲より広く設定されている。
マッチング実行部６４は、抽出された参照データ列を順々にパターンとしてセットしながら、マッチング用データに対するパターンマッチングを行う。マッチング撮影位置取り出し部６５は、マッチングが成功した場合、成功したマッチング相手としての参照画像に関係付けられている撮影位置（自車位置）を読み出して、これを高精度自車位置として自車位置決定部４５に送り出す。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。また、マッチング実行部６４は、一般的なパターンマッチングのアルゴリズムを採用しているが、風景画像において重要度が高いコーナ点（２つの直線成分の交点としての交点エッジ点）の一致（マッチング）に他のエッジ点に比べて高い一致評価を与える重みつきパターンマッチングのアルゴリズムを採用してもよい。その際、参照データにコーナ点の座標値を示すコーナ属性値を付属させた形態で参照データＤＢ９２を構築するのが好ましいが、参照データが抽出される毎にコーナ点を検出するようにしてもよい。マッチング用データの方は、実撮影画像から生成される過程において、コーナ点に識別符号（ラベル）を付与しておくとよい。

上述した実施形態では、前記第１参照データ出力部６３ａによる参照データデータベース９２からのマッチング相手候補の抽出処理が前記第２参照データ出力部６３ｂによる参照データデータベース９２からのマッチング相手候補の抽出処理に優先して行われていた。しかしながら、推定自車位置の精度があまり期待できない状況の場合や、認識された車両イベントが特定撮影位置に強く依存している場合、第２参照データ出力部６３ｂによる前記参照データデータベースからのマッチング相手候補の抽出処理が前記第１参照データ出力部６３ａによる参照データデータベース９２からのマッチング相手候補の抽出処理に優先して行われると好都合である。さらには、推定自車位置の信頼性を評価する機能を設け、その信頼性に応じて、第１参照データ出力部６３ａと第２参照データ出力部６３ｂのどちらを優先するかを決定するような構成を採用してもよい。
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには後方の風景を撮影するカメラであってよい。但し、後方の風景を撮影するリアカメラを利用すると、車両の走行ともに移動する特徴点の移動方向がフロントカメラの場合と逆となるので、特徴点が周辺に集中している場合には、基準点をオフセットする方向を後方ではなく前方とする。また特徴点が中央に集中している場合には、基準点をオフセットする方向を前方ではなく後方とする。つまり、フロントカメラでもリアカメラでも使用可能であるので、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されない。

上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である

本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データデータベース化部
６：風景マッチング部
６１：車両イベント評価部
６２：誤差範囲算定部
６３：参照データ出力部
６３ａ：第１参照データ出力部
６３ｂ：第２参照データ出力部
６３ｃ：参照データ出力管理部
６４：マッチング実行部
６５：マッチング撮影位置取り出し部
１４：カメラ
９１：道路地図ＤＢ（道路地図データベース）
９２：参照データＤＢ（参照データデータベース）

Claims (7)

1. 車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データと、当該画像特徴点データに対応する撮影画像の撮影位置と、撮影時の車両イベントを示す記録車両イベントとを関係付けた参照データを格納している参照データデータベースと、
   車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、
   前記車両が認識した車両イベントである実車両イベント情報を生成する車両イベント評価部と、
   前記車両の推定自車位置に基づいて、前記参照データデータベースから前記推定自車位置の周辺を前記撮影位置とする参照データを抽出して、前記マッチング用データに対するマッチング相手候補として出力する第１参照データ出力部と、
   前記車両イベント情報に基づいて、前記参照データデータベースから前記実車両イベントと一致する記録車両イベントを有する参照データを抽出して、前記マッチング用データに対するマッチング相手候補として出力する第２参照データ出力部と、
   前記第１参照データ出力部及び前記第２参照データ出力部の少なくとも一方により出力された前記参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、
   前記マッチングに成功した参照データに関係付けられた前記撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている、風景画像認識を用いた自車位置検出システム。
2. 前記第１参照データ出力部及び前記第２参照データ出力部は、位置の範囲として規定された参照データ抽出範囲内に前記撮影位置が含まれる参照データを抽出するように構成され、前記第２参照データ出力部の前記参照データ抽出範囲は、前記推定自車位置を中心とする前記第１参照データ出力部の前記参照データ抽出範囲より広く設定される請求項１に記載の自車位置検出システム。
3. 前記第１参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理が前記第２参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理に優先して行われる請求項１または２に記載の自車位置検出システム。
4. 前記第２参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理が前記第１参照データ出力部による前記参照データデータベースからのマッチング相手候補の抽出処理に優先して行われる請求項１または２に記載の自車位置検出システム。
5. 前記第２参照データ出力部は、前記第１参照データ出力部によって出力されたマッチング相手候補とのマッチング成功によって得られた自車位置を出発点として前記車両のそれ以降の走行軌跡範囲に基づいて定まる範囲を前記参照データ抽出範囲とする請求項２に記載の自車位置検出システム。
6. 前記車両イベントが、前記車両が走行する特定の道路状況に起因する車両挙動を含む請求項１から５のいずれか一項に記載の自車位置検出システム。
7. 前記車両イベントが、前記車両が走行する道路における特定道路標識の検出を含む請求項１から６のいずれか一項に記載の自車位置検出システム。
   

Images