JP5435294B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、車載カメラにより撮影された画像を用いて画像認識を行う画像処理装置及び画像処理プログラムに関する。

上記画像処理装置の従来例として、例えば下記の特許文献１に記載された技術がある。特許文献１に開示されている装置では、車載カメラにより撮影された画像の中にある道路標示を認識して当該道路標示の特徴点を抽出し、ＧＰＳ衛星からの信号等を利用して算出された推定自車位置を基準にした座標系（自動車座標系）における、当該特徴点の座標を算出する。そして、算出した自動車座標系における特徴点の座標と、道路標示情報データベースに記憶しているワールド座標系における道路標示の特徴点の座標とを用いて、車両の現在位置を修正する構成となっている。

しかし、上記特許文献１の構成では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。

特開２００７−１０８０４３号公報

上記の問題に鑑み、道路標示のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい方法として、風景画像認識技術の利用が考えられる。この場合、画像処理装置は、車載カメラにより撮影された風景画像に対して画像認識処理を行う構成となるが、風景画像には、例えば踏切に設置された遮断機の遮断棒のように、撮影のタイミングによって画像内における位置が異なるものとなり得る可動部が含まれる可能性がある。そのため、画像認識のための参照用の風景画像から生成されたデータと、車載カメラにより撮影された風景画像から生成されたデータとを単純に比較するだけでは、画像認識を適切に行えない可能性がある。

そこで、可動部を備える可動物体が風景画像に含まれている場合であっても、画像認識を適切に実行可能な画像処理装置の実現が望まれる。

本発明に係る画像処理装置の特徴構成は、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースと、前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースと、車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理部と、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記可動物体特徴点群の配置を基準とする前記移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記参照データに含まれる前記可動物体と認識する画像認識部と、を備える点にある。

本願では、特徴点群についての「位置情報」とは、当該特徴点群の画像中の座標を必ずしも意味するものではなく、位置に関するあらゆる情報を含む概念である。
また、本願では、対象特徴点群について「物体と認識する」とは、当該対象特徴点群が構成する物体の種別まで認識することを必ずしも意味するものではなく、当該対象特徴点群が、参照データに含まれる何らかの物体を構成することを認識することも含む概念である。

この特徴構成によれば、基準撮影画像の撮影時と実撮影画像の撮影時とで、可動物体が備える可動部の位置が異なっているような場合であっても、実撮影画像に含まれる可動物体が、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体である場合に、当該可動物体を適切に認識することができる。
また、可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データに基づき可動物体の認識が行われるため、異なる物体を誤認識することを抑制することができる。また、可動部の動きに応じて複数の参照データを備える構成に比べ、参照データの収集の手間及びコストを低減することができるとともに、参照データベースが備える参照データのデータ量を低減することができる。よって、画像処理装置の構成の簡素化を図ることができる。

ここで、前記参照データは、更に、動かない固定物体を構成する特徴点群である固定物体特徴点群の前記基準撮影画像内での位置情報を含み、前記画像認識部は、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記固定物体特徴点群の配置と一致する場合に、当該対象特徴点群を前記参照データに含まれる前記固定物体と認識する構成とすると好適である。

本願では、特徴点群の配置に関して「一致」とは、完全に一致する場合だけでなく、比較の対象となる２つの特徴点群の夫々が、互いに同一の物体を構成するとみなせる範囲内でずれている場合を含む概念として用いている。

この構成によれば、可動物体の認識に加えて固定物体の認識を行うことができるため、実撮影画像の画像認識をより適切に行うことができる。

また、前記参照データベースは、前記参照データを複数備えるとともに、当該複数の参照データの夫々を、各参照データに対応する前記基準撮影画像の撮影位置に関連付けて格納しており、前記画像認識部の認識結果に基づき、前記実撮影データと前記参照データとのマッチングを行うマッチング実行部と、前記マッチング実行部によるマッチングに成功した前記参照データを同定参照データとし、前記同定参照データに関連付けられた前記撮影位置に基づいて、前記実撮影データに対応する前記実撮影画像の撮影位置を決定する撮影位置決定部と、を更に備える構成とすると好適である。

この構成によれば、車載カメラによる実撮影画像の撮影位置を適切に決定することができるため、参照データに関連付けられた基準撮影画像の撮影位置と同程度の精度で、車載カメラを搭載した車両の自車位置を決定することが可能となる。

また、前記移動範囲データベースは、前記可動物体を複数種別に区分して、当該種別毎に前記移動範囲データを備え、前記画像認識部は、前記参照データと当該参照データに含まれる前記可動物体の種別に対応する前記移動範囲データとを用いて、前記可動物体の認識を行う構成とすると好適である。

この構成によれば、可動物体毎に移動範囲データを備える場合に比べ、移動範囲データベースが備える移動範囲データのデータ量を少なく抑えることができ、画像処理装置の構成の簡素化を図ることができる。

また、前記移動範囲データは、所定形状に配置された特徴点群の端部の特徴点を固定特徴点として、その特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させた場合の当該特徴点群の移動範囲を規定している構成とすると好適である。

又は、前記移動範囲データは、所定形状に配置された特徴点群を、所定の方向に所定の距離だけ平行移動させた場合の当該特徴点群の移動範囲を規定している構成としても好適である。

或いは、前記移動範囲データは、端部に共通の特徴点である共通特徴点を有するとともにそれぞれが所定形状に配置された第一特徴点群及び第二特徴点群からなる特徴点群について、前記第一特徴点群の前記共通特徴点とは反対側の端部の特徴点を固定特徴点として、前記第一特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させるとともに、前記第二特徴点群を前記共通特徴点の移動に伴って平行移動させた場合の当該特徴点群の移動範囲を規定している構成としても好適である。

これらの構成によれば、例えば、踏切、料金所、駐車場等に設置された遮断機、看板等、一定の場所にあって、一定の形状を保ったまま一定の法則で動く可動部を備える様々な可動物体について、可動部の移動規則に応じた移動範囲データを用いて、可動物体の画像認識を適切に行うことができる。

以上の各構成を備えた本発明に係る画像処理装置の技術的特徴は、画像処理方法や画像処理プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。

その場合における、画像処理プログラムの特徴構成は、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理ステップと、前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースから前記参照データを抽出する参照データ抽出ステップと、前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースから前記移動範囲データを抽出する移動範囲データ抽出ステップと、前記参照データ抽出ステップにて抽出された前記参照データを抽出参照データとするとともに、前記移動範囲データ抽出ステップにて抽出された前記移動範囲データを抽出移動範囲データとして、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記抽出参照データに含まれる前記可動物体特徴点群の配置を基準とする前記抽出移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記抽出参照データに含まれる前記可動物体と認識する画像認識ステップと、をコンピュータに実行させる点にある。

当然ながら、この画像処理プログラムも上述した画像処理装置に係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことが可能である。

本発明の実施形態に係る自車位置決定システムの概念を示す模式図である。 本発明の実施形態に係るナビゲーション装置の概略構成を示す模式図である。 本発明の実施形態に係る実撮影画像処理部における処理の流れを示す模式図である。 本発明の実施形態に係るパターンマッチング処理の概念を示す模式図である。 本発明の実施形態に係る回転移動範囲データの概念を示す模式図である。 本発明の実施形態に係る平行移動範囲データの概念を示す模式図である。 本発明の実施形態に係る回転平行移動範囲データの概念を示す模式図である。 本発明が対象とする可動物体の一例を示す模式図である。 本発明の実施形態に係る撮影位置決定処理の手順を示すフローチャートである。 本発明の実施形態に係るパターンマッチング処理の手順を示すフローチャートである。

本発明の実施形態について図面に基づいて説明する。ここでは、本発明に係る画像処理装置がナビゲーション装置に備えられ、当該ナビゲーション装置が搭載された車両の自車位置を決定する自車位置決定システムが構築されている場合を例として説明する。以下、本実施形態に係る自車位置決定システムの構成について、「自車位置決定システムの概略構成」、「ナビゲーション装置の概略構成」、「画像処理装置の構成」、「動作処理の手順」の順に詳細に説明する。

１．自車位置決定システムの概略構成
まず、本実施形態に係る自車位置決定システムの概念について、図１を参照して説明する。図１に示すように、画像処理装置２を備えたナビゲーション装置１が車両（以下、「自車両」という場合がある。）１００に搭載されている。そして、車両１００はカメラ１４（図２参照）を備え、所定のタイミングで風景を撮影する。ここで、車両１００が備えるカメラ１４による風景の撮影画像を「実撮影画像」とする。なお、所定のタイミングは、所定の時間間隔毎（例えば、１秒毎等）に設定したり、車両１００が所定の距離（例えば、１メートル等）を進む毎に設定したりすることができる。また、所定のタイミングを、特定の地点（例えば、交差点や横断歩道等）にさしかかる時点に設定することもできる。本実施形態では、カメラ１４は、車両１００の前方を撮影するフロントカメラとされている。本実施形態では、カメラ１４が、本発明における「車載カメラ」に相当する。

画像処理装置２は、実撮影画像から実撮影データを生成する（ステップ＃０１）。ここで、実撮影データは、後述する実撮影画像処理部５により生成されるデータ（図４（ｂ）参照）であり、具体的には、実撮影画像から抽出された複数の特徴点（特徴点群Ｇ）の、当該実撮影画像内での位置情報を含むデータである。

ナビゲーション装置１は、複数の参照データを格納する参照データベース９２を備えている。ここで、参照データとは、実撮影データとの間のパターンマッチング（以下、単に「マッチング」という場合がある。）の対象となるデータ（図４（ｅ）参照）であり、具体的には、物体（可動物体１０１や固定物体１０２等）を構成する特徴点群Ｇの基準撮影画像内での位置情報を含むデータである。ここで、「基準撮影画像」とは、参照データの生成元の画像であり、参照データを生成する目的で撮影された風景の撮影画像である。そして、参照データは、当該参照データに対応する基準撮影画像の撮影位置に関連付けられて、参照データベース９２に格納されている。

車両１００には、後述するように、自車の推定位置（推定自車位置）を算出する機能が備えられているが、参照データに関連付けられる基準撮影画像の撮影位置は、車両１００が算出する推定自車位置よりも高精度に決定されている。このような基準撮影画像は、例えば、参照データを生成する目的で走行するデータ収集車両による風景の撮影画像とされる。

画像処理装置２は、実撮影画像の撮影時における推定自車位置に基づき、参照データベース９２から、関連付けられた撮影位置が推定自車位置近傍に位置する参照データを、マッチング候補参照データとして抽出する（ステップ＃０２）。

そして、実撮影データとマッチング候補参照データに含まれる参照データとの間でパターンマッチング処理を実行し（ステップ＃０３）、マッチングが成功した参照データを同定参照データとする。画像処理装置２は、同定参照データに関連付けられた撮影位置を読み出し（ステップ＃０４）、当該撮影位置に基づき自車位置を決定する（ステップ＃０５）。

なお、本実施形態に係る画像処理装置２は、上記ステップ＃０３におけるパターンマッチング処理の手順に特徴を有する。詳細は後述するが、画像処理装置２は、実撮影データと参照データとをそのまま比較するだけではパターンマッチングが成功しない場合であっても、言い換えれば、実撮影データと参照データとが一致しない場合であっても、ある特定の条件が満たされる場合には、これらの実撮影データと参照データとの間のパターンマッチングが成功したと判定するように構成されている。

具体的には、実撮影データに含まれる特徴点の少なくとも一部からなる特徴点群（後述する「対象特徴点群ＧＣ」）の配置が、参照データに含まれる特徴点の少なくとも一部からなる特徴点群（後述する「可動物体特徴点群ＧＡ」）の配置を基準とする移動範囲データＲに規定された範囲内である場合には、対象特徴点群ＧＣは、可動物体特徴点群ＧＡが構成する物体と同一の物体を構成すると判定する。なお、移動範囲データＲは、移動範囲データベース９３に格納されている。これにより、実撮影画像の中に可動物体１０１（図１に示す例では、遮断棒（可動部）を備える遮断機１０）が含まれるような場合であっても、当該可動物体１０１を適切に認識することが可能となっている。

図１に示す例では、抽出された移動範囲データＲが回転移動に関する移動範囲を規定しており、可動物体特徴点群ＧＡを回転させると、当該可動物体特徴点群ＧＡの配置と対象特徴点群ＧＣの配置とが一致する。よって、対象特徴点群ＧＣは、可動物体特徴点群ＧＡが構成する物体と同一の物体を構成すると判定することができ、このような場合に、実撮影データと参照データとの間のパターンマッチングが成功したと判定する。これにより、たとえ、基準撮影画像の撮影時と実撮影画像の撮影時とで可動物体１０１（可動部）の位置が異なるような場合であっても、実撮影画像の撮影位置と同じ撮影位置が関連付けられた参照データを特定することができ、車両１００の自車位置を適切に修正することが可能となっている。

２．ナビゲーション装置の概略構成
次に、上述した自車位置決定システムを構築するナビゲーション装置１の概略構成について、図２を参照して説明する。図２に示すように、ナビゲーション装置１は、ナビ制御モジュール３と、自車位置検出モジュール４と、道路地図データベース９１と、参照データベース９２と、移動範囲データベース９３と、を備えている。

ナビ制御モジュール３、自車位置検出モジュール４、自車位置検出モジュール４が備える実撮影画像処理部５、及び自車位置検出モジュール４が備える風景マッチング部６のそれぞれは、後述するように、複数の機能部を備えている。そして、これらの各機能部は、互いに共通の或いはそれぞれ独立のＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア（プログラム）或いはその両方により実装されて構成されている。また、これらの各機能部は、デジタル転送バス等の通信線を介して互いに情報の受け渡しを行うことができるように構成されているとともに、上記各データベースからデータを抽出可能に構成されている。ここで、各機能部がソフトウェア（プログラム）により構成される場合には、当該ソフトウェアは、演算処理装置が参照可能なＲＡＭやＲＯＭ等の記憶手段に記憶される。

また、道路地図データベース９１、参照データベース９２、及び移動範囲データベース９３は、互いに共通の或いはそれぞれ独立の記憶装置により構成される。この記憶装置は、例えば、ハードディスクドライブ、フラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、及び経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理（経路探索処理）を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ（図示せず）の表示画面による案内表示やスピーカ（図示せず）による音声案内等により、運転者に対して適切な経路案内を行うための演算処理（経路案内処理）を行う処理部である。なお、道路地図データベース９１には、上記の経路探索処理や経路案内処理を実行する際や、モニタへの地図表示処理を実行する際等に参照される地図データが格納されている。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、風景画像認識の結果によって修正する機能を有する。自車位置検出モジュール４は、実撮影画像処理部５、風景マッチング部６、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、及び自車位置決定部４５を備えている。本実施形態では、図２に示すように、実撮影画像処理部５と、風景マッチング部６と、参照データベース９２と、移動範囲データベース９３とが、画像処理装置２を構成している。また、図２に示すように、車両１００には、ＧＰＳ測定ユニット１５、距離センサ１６、方位センサ１７、及びカメラ１４が備えられている。

ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両１００の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。

推測航法処理部４２には距離センサ１６と方位センサ１７とが接続されている。距離センサ１６は、車両１００の車速や移動距離を検出するセンサである。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。

自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

詳細は後述するが、画像処理装置２は、カメラ１４による風景の撮影画像である実撮影画像と、当該実撮影画像の撮影時の推定自車位置と、に基づきパターンマッチング（風景マッチング）処理を行い、当該実撮影画像の撮影位置を決定する。そして、画像処理装置２は、当該撮影位置の情報を自車位置決定部４５へ出力する。自車位置決定部４５は、画像処理装置２から転送されてきた撮影位置或いは当該撮影位置に基づき算出された位置を、推定自車位置と置き換え、自車位置の修正を行う。

３．画像処理装置の構成
次に、本実施形態に係る画像処理装置２の構成について説明する。画像処理装置２は、カメラ１４による風景の撮影画像である実撮影画像に基づきパターンマッチング処理を行い、当該実撮影画像の撮影位置を決定する機能を有している。上記のように、画像処理装置２は、実撮影画像処理部５と、参照データベース９２と、移動範囲データベース９３と、風景マッチング部６とを備えており、以下、これらの構成について順に説明する。

３−１．実撮影画像処理部の構成
実撮影画像処理部５は、カメラ１４による風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の実撮影画像内での位置情報を含む実撮影データを生成する。本実施形態では、実撮影画像処理部５は、図２に示すように、特徴点抽出部６０と、特徴オブジェクト認識部５２と、属性判定部５３と、実撮影データ生成部５７と、を備えている。以下、図３を参照して、実撮影画像処理部５における処理の流れについて説明する。

特徴点抽出部６０は、カメラ１４による風景の撮影画像である実撮影画像から、風景画像認識に適した画像特徴を示す画素または画素群を、特徴点として抽出する。画像特徴を示す特徴点は、その抽出の方法によって、画像特徴点群で表されるもの、線群で表されるもの、エリアで表されるものなど様々なものがある。本実施形態では、特徴点抽出部６０は、撮影画像から輪郭だけを抽出して、その抽出結果を画像特徴点の集まり（特徴点群）で表す。具体的には、特徴点抽出部６０は、実撮影画像にエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点とする。すなわち、特徴点抽出部６０は、図３に示すように、実撮影画像から抽出された複数の特徴点（エッジ点）により形成される特徴点画像（エッジ点画像）を生成しているといえる。

なお、本例では、実撮影画像はＲＧＢ画像であり、輝度差（濃度差）によって輪郭を検知するように構成されている。なお、彩度差や色相差によって輪郭を検知する構成とすることもできる。また、特徴点抽出部６０が抽出する特徴点に風景マッチングに不適な特徴点が含まれないように、抽出条件を設定することが可能である。このような抽出条件として、例えばエリア制限により特徴点の抽出に制限を加えることが可能である。また、例えば、画素値（本例では輝度差）の変化（勾配）の大きさ、すなわち、エッジの大きさ（エッジの強さ）によって、特徴点の抽出に制限を加えることも可能である。

特徴オブジェクト認識部５２は、特徴点抽出部６０にて抽出された特徴点に基づき、実撮影画像中における識別可能な事物を特徴オブジェクトとして認識する。本例では、特徴オブジェクトは幾何形状とされており、具体的には、直線、三角形、四角形、円等の基本的な幾何形状とされている。特徴オブジェクト認識部５２は、２つ以上の特徴点から規定される幾何形状を認識する。このような幾何形状の認識は、例えば、画像のハフ変換によって、直線や円を認識することにより可能であり、複数の直線やそれらの直線の交点を認識することで、三角形（３つの交点）や四角形（４つの交点）も認識することができる。これらの認識アルゴリズムはよく知られているので、詳しい説明は省略する。図３に示す例では、特徴オブジェクト認識部５２により、遮断機１０（図４（ａ）参照）の遮断棒に対応する直線と、家（建物）１２（図４（ａ）参照）の屋根に対応する三角形等が認識されている。

属性判定部５３は、特徴オブジェクト認識部５２で認識された幾何形状に対してその幾何形状を特定するためのオブジェクト属性（幾何形状の種別及び特徴）を判定する。なお、幾何形状の種別とは、上述した直線、三角形、四角形、円等の何れの幾何形状であるかの情報であり、幾何形状の特徴とは、長さや面積、或いは角度等の情報である。本例では、幾何形状の種別が直線である場合には、幾何形状の特徴には、当該直線の長さが含まれる。そして、属性判定部５３は、幾何形状毎に、各幾何形状を特定するオブジェクト属性の情報を、属性情報として生成する。なお、属性情報には、同一種の他の幾何形状と区別するための識別コード（ＩＤコード）が含まれる。

実撮影データ生成部５７は、特徴点抽出部６０にて抽出された特徴点の位置情報（特徴点画像の情報）と、属性判定部５３により生成された属性情報と、を含む実撮影データを生成する。そして、実撮影データ生成部５７が生成した実撮影データは、風景マッチング部６に送信される。

３−２．参照データベース
参照データベース９２は、参照データを格納するデータベースである。参照データは、風景マッチング部６によるパターンマッチング処理に利用されるマッチング対象のデータである。参照データの夫々には、図４（ｅ）に示すように、可動物体特徴点群ＧＡ及び固定物体特徴点群ＧＢの少なくとも一方（図４（ｅ）に示す例では双方）の基準撮影画像内での位置情報が含まれている。

ここで、「可動物体特徴点群ＧＡ」とは、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体１０１について、当該可動物体１０１を含む風景の撮影画像である基準撮影画像から当該可動物体１０１の複数の特徴点を抽出して生成された、任意時点における当該可動物体１０１を構成する特徴点群である。すなわち、可動物体特徴点群ＧＡとは、ある瞬間における可動物体１０１を構成する特徴点群、言い換えれば、可動部をその可動範囲内の任意の位置に固定した場合における可動物体１０１を構成する特徴点群である。なお、本発明で対象とする「可動物体」は、一定の形状を保ったまま一定の法則に従って動く可動部を備えるものであり、人工的に作製された物体とされる。すなわち、本発明における「可動物体」には、風や雨或いは雪等の気象現象（自然現象）に応じて動くような物体（木や葉等）は含まれず、本願にいう「可動部」の動きは、人工的に作り出されたもの、すなわち人工的に定めた法則に従ったものとなる。

このような可動物体１０１としては、例えば、踏切に設置されるとともに可動部としての遮断棒を備える遮断機１０（図１、図４（ｄ）参照）や、可動部としての回転板を備えた看板１１（図８参照）等がある。なお、遮断機は踏切に設置されるものに限定されず、例えば、車両の通行料を自動的に徴収する自動料金収受システムにおいて使用される遮断機や、駐車場や店舗に設置される遮断機も含まれる。また、可動物体１０１は、複数の可動部を備えるものであっても良い。

本実施形態における「可動物体１０１」は、可動部を支持する固定部（地上に直接的又は間接的に固定された部分）を備えるものである。すなわち、可動物体１０１が備える単数又は複数の「可動部」の動きは、固定部によって当該動きの基点や範囲が定められ、本実施形態における「可動部」は、一定の形状を保ったまま一定の法則に従って動くとともに、固定部によって動きの基点や範囲が定められた部分となる。なお、本発明では、固定部を備えずに可動部のみを備える物体も可動物体に含まれる。また、本発明で対象とする可動物体には、例えば走行中の車両等のように一定の法則に従って動くとは限らないものは含まれない。

また、「固定物体特徴点群ＧＢ」とは、動かない固定物体１０２を構成する特徴点群であり、固定物体１０２を含む風景の撮影画像である基準撮影画像から当該固定物体１０２の複数の特徴点を抽出して生成される。このような固定物体１０２としては、例えば、家１２やビル１３等の建物（図４（ｄ）参照）や道路標識等がある。すなわち、固定物体１０２とは、可動部を備えない物体である。

本実施形態では、参照データベース９２は、参照データを複数備えるとともに、当該複数の参照データの夫々を、各参照データに対応する基準撮影画像の撮影位置に関連付けて格納している。また、参照データの夫々には、実撮影データに含まれる上記属性情報と同様の属性情報が含まれている。このように、参照データと実撮影データとの双方が属性情報を備えることで、参照データと実撮影データとのパターンマッチング処理を適切に行うことが可能となっている。

また、本実施形態では、参照データには、当該参照データに可動物体１０１が含まれているか否かの情報が含まれている。また、参照データには、どの特徴点群Ｇが可動物体１０１を構成するかの情報は含まれていないが、参照データが可動物体１０１を含む場合には、当該可動物体１０１の種別（後述する）の情報が含まれている。

なお、このような参照データベース９２は、上記の実撮影画像処理部５と同様の構成を備える装置を用いて構築することができるため、ここでは詳細な説明は省略する。なお、参照データには、車両１００が算出する推定自車位置よりも高精度に決定された撮影位置を関連付ける必要があるため、参照データを生成する際には、風景の撮影画像（基準撮影画像）の撮影位置を高精度に取得できる手段が必要となる。

３−３．移動範囲データベース
移動範囲データベース９３は、可動物体特徴点群ＧＡが移動する可能性がある範囲を規定した情報を含む移動範囲データＲを格納するデータベースである。本実施形態では、可動物体１０１を、可動部の移動規則に基づき複数種別に区分している。そして、移動範囲データベース９３は、可動物体１０１の種別毎に移動範囲データＲを備えている。これにより、可動物体１０１に対して不適当な移動範囲データが関連付けられることを抑制しつつ、可動物体１０１毎に移動範囲データを備える構成に比べて移動範囲データベースを簡素なものとすることが可能となっている。

本実施形態では、移動範囲データベース９３は、可動物体１０１を、可動部が回転移動するもの、可動部が平行移動するもの、互いに連結された２つの可動部が回転平行移動するもの、の３つの種別に区分して、当該３つの種別に対応する移動範囲データＲ（回転移動範囲データ、平行移動範囲データ、及び回転平行移動範囲データ）を備えている。

回転移動範囲データは、図５に示すように、所定形状に配置された特徴点群Ｇの端部の特徴点を固定特徴点Ｐ１として、その特徴点群Ｇを当該固定特徴点Ｐ１の周りに所定の角度θだけ回転移動させた場合の当該特徴点群Ｇの移動範囲を規定している。ここで、所定の角度θは、例えば、４５度、９０度等とすることができる。また、所定の角度θは、時計回り方向側と反時計回り方向側とを区別する構成と、区別しない構成との何れにしても良い。図５に示すように、移動範囲データＲが回転移動範囲データである場合には、所定の角度θが、移動範囲データＲである。すなわち、回転移動範囲データは、特徴点群Ｇの固定特徴点Ｐ１周りの回転角度θを移動範囲として規定しているデータといえる。

平行移動範囲データは、図６に示すように、所定形状に配置された特徴点群Ｇを、所定の方向に所定の距離Ｄだけ平行移動させた場合の当該特徴点群Ｇの移動範囲を規定している。ここで、所定の距離Ｄは、例えば、基準撮影画像内において移動可能な最大範囲に基づき、例えば、当該最大範囲の半分の距離として定めたり、当該特徴点群Ｇの平行移動方向に直交する方向の長さに応じて、例えば、当該長さに対応する距離として定めたりすることができる。図６に示すように、移動範囲データＲが平行移動範囲データである場合には、所定の距離Ｄが、移動範囲データＲである。すなわち、平行移動範囲データは、特徴点群Ｇの所定の方向に沿った移動距離Ｄを移動範囲として規定しているデータといえる。

回転平行移動範囲データは、図７に示すように、端部に共通の特徴点である共通特徴点Ｐ２を有するとともにそれぞれが所定形状に配置された第一特徴点群Ｇ１及び第二特徴点群Ｇ２からなる特徴点群Ｇについて、第一特徴点群Ｇ１の共通特徴点Ｐ２とは反対側の端部の特徴点を固定特徴点Ｐ１として、第一特徴点群Ｇ１を当該固定特徴点Ｐ１の周りに所定の角度θだけ回転移動させるとともに、第二特徴点群Ｇ２を共通特徴点Ｐ２の移動に伴って平行移動させた場合の当該特徴点群Ｇの移動範囲を規定している。ここで、所定の角度θは、例えば、４５度、９０度等とすることができる。また、所定の角度θは、時計回り方向側と反時計回り方向側とを区別する構成と、区別しない構成との何れにしても良い。図７に示すように、移動範囲データＲが回転平行移動範囲データである場合には、所定の角度θが第一の移動範囲データＲ１であるとともに、共通特徴点Ｐ２の軌跡が形成する円弧の長さｆ（θ，Ｌ）が第二の移動範囲データＲ２である。ここで、円弧の長さｆ（θ，Ｌ）は、所定の角度θ及び第一特徴点群Ｇ１の長さＬの関数となる。すなわち、回転平行移動範囲データは、第一特徴点群Ｇ１の固定特徴点Ｐ１周りの回転角度θと、当該回転角度θと第一特徴点群Ｇ１の長さＬとにより定まる円弧の長さｆ（θ，Ｌ）とを、移動範囲として規定しているデータといえる。

３−４．風景マッチング部の構成
風景マッチング部６は、実撮影データ生成部５７より送られてきた実撮影データと、参照データベース９２から抽出した参照データとの間のパターンマッチング処理を行い、当該実撮影データの生成元の実撮影画像の撮影位置を決定する機能部である。本実施形態では、風景マッチング部６は、画像認識部７１と、マッチング実行部７２と、撮影位置決定部７３と、を備えている。

３−４−１．画像認識部の構成
画像認識部７１は、自車位置決定部４５から送られてきた実撮影画像の撮影時の推定自車位置に基づいて、実撮影データ生成部５７より送られてきた実撮影データとの間のパターンマッチング処理の候補となる参照データ（マッチング候補参照データ）を、参照データベース９２から抽出する。なお、上記のように、参照データの夫々には、各参照データに対応する基準撮影画像の撮影位置が関連付けられており、画像認識部７１は、関連付けられた撮影位置が実撮影画像の撮影時の推定自車位置近傍である参照データを、マッチング候補参照データとして抽出する。そして、画像認識部７１は、実撮影データと参照データとを比較し、マッチング実行部７２が実撮影データと参照データとの間のパターンマッチング処理を実行する際に必要となる情報を生成する。

上記のように、実撮影データには、当該実撮影データに含まれる複数の特徴点の、当該実撮影データの生成元の実撮影画像内における位置情報が含まれている。また、参照データには、当該参照データに含まれる複数の特徴点の、当該参照データの生成元の基準撮影画像内における位置情報が含まれている。そして、画像認識部７１は、実撮影データに含まれる複数の特徴点の配置と、参照データに含まれる複数の特徴点の配置とを比較し、実撮影データに含まれる複数の特徴点に対して画像認識処理を行う。

具体的には、画像認識部７１は、実撮影データに含まれる複数の特徴点の内の少なくとも一部から成る特徴点群Ｇを対象特徴点群ＧＣ（図４（ｂ）参照）とし、当該対象特徴点群ＧＣの配置と一致する特徴点群Ｇが参照データに含まれるか否かを判定する。なお、上記のように、実撮影データには、属性判定部５３により生成された属性情報が含まれている。また、参照データにも、同様に、属性情報が含まれている。よって、画像認識部７１は、各特徴点の画像内での位置に加えて属性情報にも基づいて、対象特徴点群ＧＣの配置と一致する特徴点群Ｇが参照データに含まれるか否かを判定する。

上記のように、参照データには、可動物体１０１を構成する特徴点群Ｇである可動物体特徴点群ＧＡの基準撮影画像内での位置情報と、固定物体１０２を構成する特徴点群である固定物体特徴点群ＧＢの基準撮影画像内での位置情報との内の、少なくとも一方の位置情報が含まれている。そして、画像認識部７１は、対象特徴点群ＧＣの配置が可動物体特徴点群ＧＡの配置と一致する場合に、当該対象特徴点群ＧＣを、当該可動物体特徴点群ＧＡが構成する可動物体１０１（参照データに含まれる可動物体１０１）と認識する。また、画像認識部７１は、対象特徴点群ＧＣの配置が固定物体特徴点群ＧＢの配置と一致する場合に、当該対象特徴点群ＧＣを、当該固定物体特徴点群ＧＢが構成する固定物体１０２（参照データに含まれる固定物体１０２）と認識する。

ところで、実撮影画像の中に可動物体１０１が含まれている場合、当該実撮影画像の撮影時と基準撮影画像の撮影時とで、可動物体１０１（より正確には、可動物体１０１が備える可動部）の位置が異なる可能性がある。そして、そのような場合には、実撮影画像と基準撮影画像との間で撮影位置及び撮影方向の双方が互いに同一の場合であっても、例えば図４に示すように、実撮影データにおける当該可動物体１０１を構成する対象特徴点群ＧＣの配置と、参照データにおける当該可動物体１０１を構成する特徴点群Ｇ（可動物体特徴点群ＧＡ）の配置とが異なるものとなってしまう。この場合、実撮影データに含まれる対象特徴点群ＧＣの配置と、参照データに含まれる可動物体特徴点群ＧＡの配置とを単純に比較するだけでは、対象特徴点群ＧＣと可動物体特徴点群ＧＡとが同一の可動物体１０１を構成しているにもかかわらず、互いに異なる物体を構成していると誤って判断してしまう可能性がある。

この点に関し、画像認識部７１は、上記の移動範囲データＲを用い、実撮影データに含まれる可動物体１０１の認識を行う構成を備えている。具体的には、画像認識部７１は、マッチング対象の参照データが含む可動物体１０１の種別に対応する移動範囲データＲを、移動範囲データベース９３から抽出する。そして、画像認識部７１は、実撮影データに含まれる対象特徴点群ＧＣの配置が、参照データに含まれる可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内である場合に、当該対象特徴点群ＧＣを、当該可動物体特徴点群ＧＡが構成する可動物体１０１（参照データに含まれる可動物体１０１）と認識するように構成されている。このように、本実施形態では、画像認識部７１は、参照データと当該参照データに含まれる可動物体１０１の種別に対応する移動範囲データＲとを用いて、可動物体１０１の認識を行う。なお、以下の説明では、このような認識処理を、「特別認識処理」という。

本実施形態では、参照データに可動物体１０１が含まれており、且つ、対象特徴点群ＧＣの属性情報と、可動物体特徴点群ＧＡの属性情報とが一致する場合に、画像認識部７１は上記の特別認識処理を実行する。なお、上記のように、本実施形態では、参照データには、可動物体１０１が含まれているか否かの情報が含まれているものの、どの特徴点群Ｇが可動物体１０１を構成するかの情報は含まれていない。そのため、本実施形態では、参照データに含まれる特徴点群Ｇであって、配置が実撮影データに含まれる何れの特徴点群Ｇとも一致しない特徴点群Ｇを可動物体特徴点群ＧＡとして、上記特別認識処理を実行するように構成されている。

また、本実施形態では、上記のように、参照データが可動物体１０１を含む場合に、参照データには、当該可動物体１０１の種別の情報が含まれているものの、どの特徴点群Ｇが可動物体１０１を構成するかの情報は含まれていない。よって、１つの参照データに、複数の互いに異なる種別の可動物体１０１が含まれている場合には、画像認識部７１は、上記特別認識処理を実行するに際し、当該複数の種別に対応する複数の移動範囲データＲの中から選択した１つの移動範囲データＲを用い、対象特徴点群ＧＣの配置が可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内であるか否かを判定する。そして、対象特徴点群ＧＣの配置が可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲外であった場合には、別の移動範囲データＲを選択して同様の判定を行うように構成されている。

３−４−２．マッチング実行部の構成
マッチング実行部７２は、画像認識部７１の認識結果に基づき、実撮影データと参照データとのマッチング（パターンマッチング、風景マッチング）を行う。上記のように、画像認識部７１は、実撮影画像に含まれる特徴点群Ｇの配置と一致する特徴点群Ｇが、参照データに含まれるか否かを判定する。そして、マッチング実行部７２は、画像認識部７１の当該判定結果に基づき、実撮影データと参照データとの間のパターンマッチングが成功したか否かを判定する。

ここで、「実撮影データと参照データとの間のパターンマッチングが成功する」とは、実撮影データの生成元の実撮影画像の撮影位置が、参照データの生成元の基準撮影画像の撮影位置と同一であるとみなせることを意味する。具体的には、画像認識部７１が、実撮影データに含まれる実質的に全ての特徴点群Ｇに対して、参照データに含まれる物体として認識することができた場合に、マッチング実行部７２は、実撮影データと参照データとの間のパターンマッチングが成功したと判定する。そして、マッチング実行部７２の判定結果の情報は、撮影位置決定部７３に送信される。

ここで、「実質的に全て」とは、風景画像認識に不適な特徴点群を除くことを意味する。このような不適な特徴点群は、本発明における「可動物体」及び「固定物体」のいずれにも該当しない物体を構成する特徴点群であり、例えば、自動車、自転車、人、或いは動物等が挙げられる。

３−４−３．撮影位置決定部の構成
撮影位置決定部７３は、マッチング実行部７２の判定結果を受け取り、実撮影データと参照データとの間のパターンマッチングが成功した場合に、当該実撮影データの生成元の実撮影画像の撮影位置を決定する。具体的には、パターンマッチングに成功した参照データを同定参照データ（図１参照）とし、撮影位置決定部７３は、同定参照データに関連付けられた撮影位置を取得する。そして、撮影位置決定部７３は、当該撮影位置を、実撮影データに対応する実撮影画像の撮影位置とする。なお、本例では、撮影位置決定部７３は、同定参照データに関連付けられた撮影位置を、そのまま実撮影画像の撮影位置として決定するように構成されている。しかし、パターンマッチング処理による一致度（マッチング度）が同程度の参照データが複数ある場合には、それら複数の参照データに関連付けられた複数の撮影位置に基づき、例えば平均値をとるなどして、実撮影画像の撮影位置を決定する構成とすることもできる。

３−４−４．可動物体認識処理の具体例
次に、風景マッチング部６によるパターンマッチング処理の概念について、図４に示す具体例を参照して説明する。図４（ａ）は、カメラ１４による風景の実撮影画像であり、当該実撮影画像には、固定物体１０２としての家１２及びビル１３と、可動物体１０１としての２つの遮断機１０とが含まれている。図４（ｂ）は、図４（ａ）に示す実撮影画像から実撮影画像処理部５により生成された実撮影データを示している。図４（ｂ）に示す実撮影データには、図４（ａ）に示す家１２、ビル１３、及び２つの遮断機１０のそれぞれに対応する４つの特徴点群Ｇが含まれている。ここでは、この図４（ｂ）に示す実撮影データが風景マッチング部６に送られてきたとして、風景マッチング部６におけるパターンマッチング処理について説明する。なお、図４（ｂ）においては、各特徴点の実撮影画像（図４（ａ））内での位置を分かりやすくするため、実撮影データには含まれない線分も併せて表示している。図４（ｅ）についても同様である。

画像認識部７１は、図４（ｂ）に示す実撮影データを受け取ると、上述したように、当該実撮影データとの間のパターンマッチング処理の候補となる参照データ（マッチング候補参照データ）を、参照データベース９２から抽出する。そして、マッチング候補参照データから１つの参照データを、マッチング対象の参照データとして選択する。ここでは、図４（ｅ）に示す参照データが選択されたとする。なお、図４（ｄ）は、図４（ｅ）に示す参照データの生成元の基準撮影画像を示している。図４（ａ）と図４（ｄ）とを比較すれば明らかなように、実撮影画像と基準撮影画像とは、同じ撮影位置で同じ撮影方向に撮影された画像であるが、可動物体１０１である遮断機１０が備える遮断棒（可動部）の画像内での位置が、実撮影画像と基準撮影画像とでは異なっている。よって、これらの画像から生成される実撮影データと参照データとの間でも、遮断機１０（遮断棒）を構成する特徴点群Ｇの配置が互いに異なっている。

上記のように、実撮影データには、４つの特徴点群Ｇが含まれている。よって、画像認識部７１は、当該４つの特徴点群Ｇのそれぞれを対象特徴点群ＧＣとして、当該対象特徴点群ＧＣの配置と一致する特徴点群Ｇが参照データに含まれるか否かを判定する。図４（ｂ）と図４（ｅ）とを比較すると明らかなように、参照データには、ビル１３を構成する対象特徴点群ＧＣの配置と一致する特徴点群Ｇ（固定物体特徴点群ＧＢ）が含まれているとともに、家１２を構成する対象特徴点群ＧＣの配置と一致する特徴点群Ｇ（固定物体特徴点群ＧＢ）が含まれている。よって、画像認識部７１は、実撮影データに含まれる２つの対象特徴点群ＧＣを、それぞれ、参照データにおいて２つの固定物体特徴点群ＧＢが構成する家１２及びビル１３と認識する。

なお、ここでは、説明の都合上、画像認識部７１が、家１２やビル１３を認識するという表現を用いているが、本発明では、画像認識部７１が物体の種別まで認識することを要件とはしていない。すなわち、本願では、実撮影データに含まれる対象特徴点群ＧＣが、参照データに含まれる何らかの物体を構成するとみなせる場合を、「対象特徴点群ＧＣを物体（可動物体１０１或いは固定物体１０２）と認識する」としている。

一方、図４（ｂ）と図４（ｅ）とを比較すると明らかなように、参照データには、遮断機１０を構成する対象特徴点群ＧＣの配置と一致する特徴点群Ｇが含まれていない。よって、図４（ｂ）に示す実撮影データと、図４（ｅ）に示す参照データとは一致しない。ここで、図４（ｂ）において上側の遮断機１０（遮断棒）を構成する対象特徴点群ＧＣと、図４（ｅ）において右側の遮断機１０（遮断棒）を構成する可動物体特徴点群ＧＡとは、双方とも直線状に配列されているとともに、当該直線の長さが一致する。すなわち、これらの対象特徴点群ＧＣと可動物体特徴点群ＧＡとは、それぞれに関連付けられた属性情報（幾何形状の種類及び特徴）が互いに一致する。同様に、図４（ｂ）において下側の遮断機１０（遮断棒）を構成する対象特徴点群ＧＣと、図４（ｅ）において左側の遮断機１０（遮断棒）を構成する可動物体特徴点群ＧＡとは、それぞれに関連付けられた属性情報（幾何形状の種類及び特徴）が互いに一致する。よって、画像認識部７１は、図４（ｂ）において２つの遮断機１０（遮断棒）を構成する２つの対象特徴点群ＧＣを、上記の特別認識処理を実行する対象特徴点群ＧＣ（以下、「特定対象特徴点群ＧＣ１」とする。）として選択する。

ここで、参照データに含まれる２つの可動物体特徴点群ＧＡは、互いに同一の種別の可動物体１０１を構成し、当該種別には、移動範囲データＲとして、図５に概念的に示すような回転移動範囲データが関連付けられているとする。なお、図４に示す例では、図４（ｆ）において左側の可動物体特徴点群ＧＡを時計回り方向に角度θ１だけ固定特徴点Ｐ１周りに回転させると、当該可動物体特徴点群ＧＡの配置は、図４（ｃ）における下側の特定対象特徴点群ＧＣ１の配置と一致する。よって、この角度θ１が、回転移動範囲データとして規定された所定の角度θ以下である場合に（図５参照）、図４（ｃ）における下側の特定対象特徴点群ＧＣ１の配置は、図４（ｆ）において左側の可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内となる。

また、図４（ｆ）において右側の可動物体特徴点群ＧＡを反時計回り方向に角度θ２だけ固定特徴点Ｐ１周りに回転させると、当該可動物体特徴点群ＧＡの配置は、図４（ｃ）における上側の特定対象特徴点群ＧＣ１の配置と一致する。よって、図示は省略するが、この角度θ２が、回転移動範囲データとして規定された所定の角度θ以下である場合に、図４（ｃ）における上側の特定対象特徴点群ＧＣ１の配置は、図４（ｆ）において右側の可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内となる。

以上のことから、θ１及びθ２の内の大きい方の角度をθ３とすると、角度θ３が、回転移動範囲データとして規定された所定の角度θ以下である場合に、図４（ｃ）に示す特定対象特徴点群ＧＣ１の配置は、参照データに含まれる可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内となる。この場合、画像認識部７１は、これら２つの特定対象特徴点群ＧＣのそれぞれを、参照データにおいて２つの可動物体特徴点群ＧＡが構成する２つの遮断機１０と認識する。そして、風景マッチング部６は、図４（ｂ）に示す実撮影データと、図４（ｅ）に示す参照データとの間のパターンマッチングが成功したと判定する。

なお、本例のように、可動物体１０１が同一の種別であっても、可動部の移動方向（本例では回転方向）が異なる場合がある。このような場合には、双方の移動方向に対して移動範囲データＲを個別に設定しても良いし、双方の移動方向に対して共通の移動範囲データＲを設定しても良い。

また、可動部の移動方向は、基準撮影画像の撮影時における可動部の位置にも依存するため、所定の角度θが時計回り方向側であるか反時計回り方向側であるかを区別する構成では、このことも考慮して移動範囲データＲが設定される。

さらに、ここでは、参照データに含まれる可動物体特徴点群ＧＡに、可動物体１０１が備える固定部を構成する特徴点が含まれないように、参照データが生成されている場合を例として説明したが、可動物体特徴点群ＧＡに当該固定部を構成する特徴点が含まれている場合には、可動物体特徴点群ＧＡの内の、可動部を構成する特徴点群Ｇに対して、上記の特別認識処理を適用し、固定部を構成する特徴点群Ｇについては、固定物体特徴点群ＧＢと同様に画像認識を行うと良い。

また、詳細な説明は省略するが、遮断機１０の種別によっては、図６に示す平行移動範囲データや、図７に示す回転移動範囲データが関連付けられ、上記特別認識処理を実行する構成とすることができる。補足説明すると、図６は、遮断機１０が備える遮断棒が上下方向に平行移動する場合に関連付けられる平行移動範囲データを示しており、本例では、可動物体特徴点群ＧＡは、特定対象特徴点群ＧＣ１に対して上側に位置する。この場合、特定対象特徴点群ＧＣ１の可動物体特徴点群ＧＡに対する下方方向へのずれ量（距離）Ｄ１が、平行移動範囲データを規定する所定の距離Ｄ以下である場合に、特定対象特徴点群ＧＣ１の配置は、可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内となる。

また、図７は、遮断機１０が２つの遮断棒を備えるとともに、当該２つの遮断棒が一端で連結され、一方の遮断棒が回転移動し、他方の遮断棒が一方の遮断棒の回転に伴い平行移動する場合に関連付けられる平行移動範囲データを示しており、本例では、可動物体特徴点群ＧＡは、特定対象特徴点群ＧＣ１に対して左上側に位置する。この場合、特定対象特徴点群ＧＣ１の内の第一特徴点群Ｇ１に対応する部分の当該第一特徴点群Ｇ１に対する回転角度θ１が、第一移動範囲データＲ１としての回転角度θ以下であり、且つ、特定対象特徴点群ＧＣ１の内の共通特徴点Ｐ２に対応する特徴点と当該共通特徴点Ｐ２とが境界を規定する円弧の長さｆ１が、第二移動範囲データＲ２としての円弧の長さｆ（θ，Ｌ）以下である場合に、特定対象特徴点群ＧＣ１の配置は、可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内となる。

また、本発明が対象とする可動物体１０１は遮断機１０のみではなく、その他のあらゆる可動物体１０１の認識に、本発明を適用することができる。例えば、図８（ａ）に示すように、所定の軸周りに回転する回転板を備えた看板１１の画像認識に、本発明を適用することができる。図８に示す例では、看板１１（回転板）の図８（ａ）における左側の端部は、回転に伴い図中左右方向に平行移動するため、このような看板１１も、上記の遮断機１０と同様に、平行移動範囲データを用いて認識することができる。

４．動作処理の手順
次に、図９、図１０を参照して、本実施形態に係る画像処理装置２において実行される撮影位置決定処理の手順（撮影位置決定方法）について説明する。以下に説明する撮影位置決定処理の手順は、上記のナビゲーション装置１（画像処理装置２）の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置１が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。なお、図１０は、図９のステップ＃１４のパターンマッチング処理の手順を示すフローチャートである。

４−１．撮影位置決定処理の全体の手順
図９に示すように、カメラ１４により撮影された実撮影画像が実撮影画像処理部５に入力されると、（ステップ＃１０：Ｙｅｓ）、実撮影データ生成部５７により実撮影データが生成される（ステップ＃１１）。そして、実撮影データが風景マッチング部６に送信され、画像認識部７１は、当該実撮影データとパターンマッチング処理を行うための参照データを、参照データベース９２からマッチング候補参照データとして抽出する（ステップ＃１２）。なお、ステップ＃１２のマッチング候補参照データの抽出処理を、ステップ＃１１の実撮影データの生成処理と同時に行う構成としたり、ステップ＃１１の処理よりも前に行う構成としたりすることもできる。

次に、画像認識部７１は、マッチング候補参照データから参照データを選択し（ステップ＃１３）、当該選択した参照データと実撮影データとの間のパターンマッチング処理を行う（ステップ＃１４）。なお、この、パターンマッチング処理については、後に図１０のフローチャートに基づいて詳細に説明する。

そして、参照データと実撮影データとの間のパターンマッチングが成功した場合には（ステップ＃１５：Ｙｅｓ）、撮影位置決定部７３は、パターンマッチングに成功した参照データ（同定参照データ）に関連付けられた撮影位置を取得し、当該撮影位置に基づき実撮影画像の撮影位置を決定する。

一方、参照データと実撮影データとの間のパターンマッチングが成功しなかった場合には（ステップ＃１５：Ｎｏ）、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがあるか否かの判定を行う（ステップ＃１７）。そして、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがある場合には（ステップ＃１７：Ｙｅｓ）、処理がステップ＃１３に戻され、ステップ＃１３からステップ＃１５の処理が再び実行される。一方、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがない場合には（ステップ＃１７：Ｎｏ）、すなわち、実撮影データが、マッチング候補参照データに含まれる何れの参照データともパターンマッチングに成功しなかった場合には、処理は終了する。

４−２．パターンマッチング処理の手順
次に、図１０を参照してパターンマッチング処理の手順について説明する。パターンマッチング処理では、まず初めに、実撮影データと参照データとが一致するか否かの判定が行われる（ステップ＃２０）。ここで、実撮影データと参照データとが一致するとは、実撮影データと参照データとをそのまま（すなわち、上記特別認識処理を行わずに）比較した際に、実撮影データに含まれる実質的に全ての特徴点群Ｇに対して、参照データに含まれる物体として認識することができることを意味する。そして、実撮影データと参照データとが一致する場合には（ステップ＃２１：Ｙｅｓ）、パターンマッチングが成功した（パターンマッチング成功）と判定し（ステップ＃２６）、処理は終了する。

一方、実撮影データと参照データとが一致しない場合には（ステップ＃２１：Ｎｏ）、参照データが可動物体１０１を含むか否かの判定を行う（ステップ＃２２）。上記のように、参照データは、当該参照データが可動物体１０１を含むか否かの情報を有しているので、この情報に基づきステップ＃２２の判定が実行される。そして、参照データが可動物体１０１を含まない場合には（ステップ＃２２：Ｎｏ）、パターンマッチングが成功しなかった（パターンマッチング不成功）と判定し（ステップ＃２７）、処理は終了する。

一方、参照データが可動物体１０１を含む場合には（ステップ＃２２：Ｙｅｓ）、特定対象特徴点群ＧＣ１の属性情報と、可動物体特徴点群ＧＡの属性情報と、が同一であるか否かを判定する（ステップ＃２３）。なお、特定対象特徴点群ＧＣ１は、実撮影データに含まれる特徴点群Ｇ（対象特徴点群ＧＣ）であって、配置が参照データに含まれる何れの特徴点群Ｇとも一致しない対象特徴点群ＧＣである。また、上記のように、本実施形態では、参照データには、当該参照データに可動物体１０１が含まれているか否かの情報が含まれているが、どの特徴点群Ｇが可動物体１０１を構成するかの情報は有していない。よって、本例では、参照データに含まれる特徴点群Ｇであって、配置が実撮影データに含まれる何れの特徴点群Ｇとも一致しない特徴点群Ｇを可動物体特徴点群ＧＡとする。

そして、特定対象特徴点群ＧＣ１の属性情報と可動物体特徴点群ＧＡの属性情報とが同一でない場合には（ステップ＃２３：Ｎｏ）、パターンマッチングが成功しなかった（パターンマッチング不成功）と判定し（ステップ＃２７）、処理は終了する。一方、特定対象特徴点群ＧＣ１の属性情報と可動物体特徴点群ＧＡの属性情報とが同一である場合には（ステップ＃２３：Ｙｅｓ）、移動範囲データベース９３より当該可動物体特徴点群ＧＡが構成する可動物体１０１の種別に対応する移動範囲データＲを抽出する（ステップ＃２４）。そして、ステップ＃２４にて抽出された移動範囲データＲに基づき、特定対象特徴点群ＧＣ１の配置が、可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内にあるか否かの判定が行われる（ステップ＃２５）。

そして、ステップ＃２５において、特定対象特徴点群ＧＣ１の配置が、可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内にあると判定された場合には（ステップ＃２５：Ｙｅｓ）、パターンマッチング成功と判定され（ステップ＃２６）、処理は終了する。一方、ステップ＃２５において、特定対象特徴点群ＧＣ１の配置が、可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲外にあると判定された場合には（ステップ＃２５：Ｎｏ）、パターンマッチング不成功と判定され（ステップ＃２７）、処理は終了する。

ところで、実撮影データに複数の特定対象特徴点群ＧＣ１が含まれ、参照データに複数の可動物体特徴点群ＧＡが含まれる場合がある。このような場合には、ステップ＃２３においては、特定対象特徴点群ＧＣ１と可動物体特徴点群ＧＡとを１対１に対応づけることができ、且つ、互いに対応付けられた特定対象特徴点群ＧＣ１と可動物体特徴点群ＧＡとの組の全てについて、各組を構成する特定対象特徴点群ＧＣ１の属性情報と可動物体特徴点群ＧＡの属性情報とが同一である場合に、ステップ＃２３においてＹｅｓと判定する。

同様に、互いに対応付けられた特定対象特徴点群ＧＣ１と可動物体特徴点群ＧＡとの組の全てについて、特定対象特徴点群ＧＣ１の配置が、当該特定対象特徴点群ＧＣ１と同じ組を構成する可動物体特徴点群ＧＡの配置を基準とする移動範囲データＲに規定された範囲内にある場合に、ステップ＃２５においてＹｅｓと判定する。

５．その他の実施形態
最後に、本発明に係るその他の実施形態を説明する。なお、以下の各々の実施形態で開示される特徴は、その実施形態でのみ利用できるものではなく、矛盾が生じない限り、別の実施形態にも適用可能である。

（１）上記の実施形態では、移動範囲データベース９３が、移動範囲データＲとして、回転移動範囲データと、平行移動範囲データと、回転平行移動範囲データと、の３つを備えている構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、これらの一部の移動範囲データＲのみを備える構成としたり、これらの組み合わせからなる移動範囲データＲを備える構成としたりすることもできる。また、上記３つの移動範囲データＲ以外の移動範囲データＲも更に備える構成とすることもできる。例えば、移動範囲データＲが、画像内において特徴点群Ｇを含む所定の大きさの領域を、当該特徴点群Ｇの移動範囲として規定する構成とすることもできる。なお、所定の大きさは、例えば、幅及び高さにより定まる四角形状の領域とし、或いは径により定まる円状の領域とすることができる。

（２）上記の実施形態では、移動範囲データベース９３が、可動物体１０１を複数種別に区分して、当該種別毎に移動範囲データＲを備える構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、移動範囲データベース９３が、可動物体１０１毎に移動範囲データＲを備える構成とすることも可能である。この場合、上記の実施形態とは異なり、参照データは、参照データに含まれる可動物体１０１の種別ではなく、当該可動物体１０１を特定するための情報を備える構成とする。また、移動範囲データベース９３が、全ての可動物体１０１に対して共通の移動範囲データＲを備える構成とすることもできる。

（３）上記の実施形態では、風景マッチング部６が、画像認識部７１の認識結果に基づき実撮影画像の撮影位置を決定する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、画像認識部７１による可動物体１０１の認識結果を、その他の用途に用いることも可能である。例えば、画像認識部７１が可動物体１０１を認識した際に、車両の運転者にその情報を提供（例えば、注意喚起として提供）する構成とすることも可能である。このような場合には、画像処理装置２は、マッチング実行部７２や撮影位置決定部７３を備えない構成としても良い。

（４）上記の実施形態では、撮影位置決定部７３による実撮影画像の撮影位置の決定結果を用いて、車両の自車位置（推定自車位置）の修正を行う構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、撮影位置決定部７３の決定結果に基づき車両１００の走行制御を行う等、当該決定結果をその他の用途に用いる構成とすることも、当然に可能である。

（５）上記の実施形態では、画像認識部７１が、マッチング対象の参照データが含む可動物体１０１の種別に対応する移動範囲データＲを、参照データベース９２とは別体に構成された移動範囲データベース９３から抽出する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、参照データベース９２と移動範囲データベース９３とが一体的に構成（以下、「一体データベース」という。）されているとともに、可動物体１０１を含む参照データの各々が、移動範囲データＲに関連付けられて格納されている構成とすることも、本発明の好適な実施形態の一つである。このような構成では、画像認識部７１は、一体データベースからの参照データの抽出と同時に、当該参照データが可動物体１０１を含む場合には当該可動物体１０１に対応する移動範囲データＲを一体データベースから抽出する構成となる。

（６）上記の実施形態では、実撮影画像処理部５が特徴オブジェクト認識部５２及び属性判定部５３を備え、特徴点抽出部６０にて抽出された特徴点に基づき、実撮影画像中における識別可能な事物を特徴オブジェクトとして認識してその属性情報を生成する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、実撮影画像処理部５が特徴オブジェクト認識部５２及び属性判定部５３を備えず、実撮影データ生成部５７が、特徴点抽出部６０により抽出された特徴点の位置情報（特徴点画像の情報）のみを含む実撮影データを生成する構成とすることもできる。この場合、参照データも、属性情報を備えない構成とすることができる。そして、このような構成では、画像認識部７１は、実撮影データと参照データとが一致せず、且つ、参照データに可動物体１０１が含まれている場合に、上記特別認識処理を実行する構成とすることができる。

（７）上記の実施形態では、参照データには、当該参照データに可動物体１０１が含まれているか否かの情報が含まれているが、どの特徴点群Ｇが可動物体１０１を構成するかの情報は有していない構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、参照データが、可動物体１０１を構成する特徴点群Ｇを特定するための情報を備えている構成とすることもできる。また、参照データが、可動物体１０１を含むか否かの情報を有さず、実撮影データと参照データとが一致しない場合に上記特別認識処理を実行する構成とすることもできる。

（８）上記の実施形態では、カメラ１４が、車両１００の前方を撮影するフロントカメラである構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車載カメラとして、車両前方斜め方向の風景を撮影するカメラや、車両側方或いは車両後方の風景を撮影するカメラであってよい。つまり、本発明で対象とする実撮影画像は、車両走行方向前方側の風景の撮影画像に限定されない。

（９）上記の実施形態において説明した機能部の割り当ては単なる一例であり、複数の機能部を組み合わせたり、１つの機能部をさらに区分けすることも可能である。

（１０）上記の実施形態では、画像処理装置２が、ナビゲーション装置１に備えられる構成を例として例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車両の走行制御装置等のその他の装置に画像処理装置２が備えられる構成とすることもできる。

（１１）上記の実施形態では、カメラ１４に加え、画像処理装置２を構成する実撮影画像処理部５、風景マッチング部６、参照データベース９２、及び移動範囲データベース９３の全てが、車両１００に搭載される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、実撮影画像処理部５、風景マッチング部６、参照データベース９２、及び移動範囲データベース９３の少なくともいずれかが、インターネット等の通信ネットワークを介して接続された状態で車両１００の外に設置されている構成とすることもできる。このような構成では、ネットワークを介して情報や信号の送受信を行うことにより、車両１００に備えられたカメラ１４により撮影された実撮影画像を処理する画像処理装置２が構成される。

（１２）その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載された構成及びこれと均等な構成を備えている限り、特許請求の範囲に記載されていない構成の一部を適宜改変した構成も、当然に本発明の技術的範囲に属する。

本発明は、車載カメラにより撮影された画像を用いて画像認識を行う画像処理装置及び画像処理プログラムに好適に利用することができる。

２：画像処理装置
５：実撮影画像処理部
１４：カメラ（車載カメラ）
７１：画像認識部
７２：マッチング実行部
７３：撮影位置決定部
９２：参照データベース
９３：移動範囲データベース
１０１：可動物体
１０２：固定物体
Ｄ：所定の距離
Ｇ：特徴点群
Ｇ１：第一特徴点群
Ｇ２：第二特徴点群
ＧＡ：可動物体特徴点群
ＧＢ：固定物体特徴点群
ＧＣ：対象特徴点群
Ｐ１：固定特徴点
Ｐ２：共通特徴点
Ｒ：移動範囲データ
θ：所定の角度

Claims (8)

1. 一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースと、
   前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースと、
   車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理部と、
   前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記可動物体特徴点群の配置を基準とする前記移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記参照データに含まれる前記可動物体と認識する画像認識部と、
   を備える画像処理装置。
2. 前記参照データは、更に、動かない固定物体を構成する特徴点群である固定物体特徴点群の前記基準撮影画像内での位置情報を含み、
   前記画像認識部は、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記固定物体特徴点群の配置と一致する場合に、当該対象特徴点群を前記参照データに含まれる前記固定物体と認識する請求項１に記載の画像処理装置。
3. 前記参照データベースは、前記参照データを複数備えるとともに、当該複数の参照データの夫々を、各参照データに対応する前記基準撮影画像の撮影位置に関連付けて格納しており、
   前記画像認識部の認識結果に基づき、前記実撮影データと前記参照データとのマッチングを行うマッチング実行部と、
   前記マッチング実行部によるマッチングに成功した前記参照データを同定参照データとし、前記同定参照データに関連付けられた前記撮影位置に基づいて、前記実撮影データに対応する前記実撮影画像の撮影位置を決定する撮影位置決定部と、
   を更に備える請求項１又は２に記載の画像処理装置。
4. 前記移動範囲データベースは、前記可動物体を複数種別に区分して、当該種別毎に前記移動範囲データを備え、
   前記画像認識部は、前記参照データと当該参照データに含まれる前記可動物体の種別に対応する前記移動範囲データとを用いて、前記可動物体の認識を行う請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記移動範囲データは、所定形状に配置された特徴点群の端部の特徴点を固定特徴点として、その特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させた場合の当該特徴点群の移動範囲を規定している請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記移動範囲データは、所定形状に配置された特徴点群を、所定の方向に所定の距離だけ平行移動させた場合の当該特徴点群の移動範囲を規定している請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記移動範囲データは、端部に共通の特徴点である共通特徴点を有するとともにそれぞれが所定形状に配置された第一特徴点群及び第二特徴点群からなる特徴点群について、前記第一特徴点群の前記共通特徴点とは反対側の端部の特徴点を固定特徴点として、前記第一特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させるとともに、前記第二特徴点群を前記共通特徴点の移動に伴って平行移動させた場合の当該特徴点群の移動範囲を規定している請求項１から４のいずれか一項に記載の画像処理装置。
8. 一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、
   車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理ステップと、
   前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースから前記参照データを抽出する参照データ抽出ステップと、
   前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースから前記移動範囲データを抽出する移動範囲データ抽出ステップと、
   前記参照データ抽出ステップにて抽出された前記参照データを抽出参照データとするとともに、前記移動範囲データ抽出ステップにて抽出された前記移動範囲データを抽出移動範囲データとして、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記抽出参照データに含まれる前記可動物体特徴点群の配置を基準とする前記抽出移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記抽出参照データに含まれる前記可動物体と認識する画像認識ステップと、
   をコンピュータに実行させるための画像処理プログラム。

Images