JP6265499B2 - 特徴量抽出装置及び場所推定装置 - Google Patents

Description

本発明は、入力画像から局所特徴量を抽出する特徴量抽出装置、方法及びプログラム、並びにこれを使用した場所推定装置、方法及びプログラムに関する。

環境中の自己位置（場所）の推定・特定は、人間や機械にとっては必須の能力である。今自分はどこにいるかということを知ることは、ロボットやコンピュータビジョンにとっては、常に重要である。特に、可動式のロボットにとって、今自分がどこにいるかを把握することは、ナビゲーションシステムには基本的要求となっている。

このような場所同定には、周辺環境の特徴量をいかに正確に抽出するかが大きなポイントとなる。従来、環境から局所特徴量を抽出する手法としては、アフィン不変の特徴量（ＭＳＥＲ， Ｈａｒｒｉｓ−Ａｆｆｉｎｅ， Ｈｅｓｓｉａｎ−Ａｆｆｉｎｅ， Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎなど）や、大きさ変化に不変な特徴量（ＳＩＦＴ：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ， ＳＵＲＦ：Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓなど）がある。また、連続画像において、上述の手法で各画像から抽出した局所特徴量の中から、撮影位置の変化にロバストなものだけをさらに抽出した特徴量としてＰＩＲＦ（Ｐｏｓｉｔｉｏｎ−Ｉｎｖａｒｉａｎｔ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）がある（特許文献１乃至３、非特許文献１）。

特開２０１１−０５３８２３号公報 特開２０１１−２１５７１６号公報 特願２０１０−１１５３０７号

Ｎ．Ｔｏｎｇｐｒａｓｉｔ，Ａ．Ｋａｗｅｗｏｎｇ，Ｏ．Ｈａｓｅｇａｗａ，"Ｐｉｒｆ−ｎａｖ ２：ｓｐｅｅｄｅｄｕｐ ｏｎｌｉｎｅ ａｎｄ ｉｎｃｒｃｍｅｎｔａｌ ａｐｐｅａｒｎｎｃｅ−ｂａｓｅｄ ｓｌａｍ ｉｎ ｈｉｇｈｌｙ ｄｙｎａｍｉｃ ｅｎｖｉｒｏｎｍｅｎｔ" ，ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ），２０１１．

しかしながら、ＰＩＲＦには、以下の問題点がある。ＰＩＲＦでは、連続する数フレームの画像に出現する局所特徴量（以下、単に特徴量ないし特徴点ともいう）を不変特徴量として抽出していたが、この際、空間内で位置が変化しない局所特徴量であっても、位置が変化している局所特徴量であっても、時間方向に連続して出現さえしていれば不変特徴量とみなされ抽出対象となる。すなわち、位置不変な局所特徴量と、位置が変化する動的な局所特徴量と、が分離されず、不変特徴量として等価に扱われていた。

そのため、ＰＩＲＦにより抽出した不変特徴量を用いた場所推定においては、例えば移動中の人物など、本来であれば場所推定の用にふさわしくない動的な物体の局所特徴量も用いられることとなり、推定精度や演算速度に悪影響を与えていた。

本発明は、このような問題点を解決するためになされたものであり、位置不変な局所特徴量を抽出できる特徴量抽出装置、方法及びプログラム、並びにそれを搭載した場所推定装置、方法及びプログラムを提供することを目的とする。

本発明に係る場所推定装置は、入力画像から位置不変特徴量を抽出する特徴量抽出手段と、各登録場所と位置不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング手段と、マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出手段と、前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定手段とを有し、前記特徴量抽出手段は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。

本発明に係る場所推定方法は、入力画像から不変特徴量を抽出する特徴量抽出工程と、各登録場所と不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング工程と、マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出工程と、前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定工程とを有し、前記特徴量抽出工程は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、前記局所特徴量抽出工程にて抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング工程と、前記特徴量マッチング工程にて連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択工程と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出工程とを有し、前記位置不変特徴量抽出工程は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。

本発明に係る特徴量抽出装置は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。

本発明に係る特徴量抽出方法は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、前記局所特徴量抽出工程にて抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング工程と、前記特徴量マッチング工程にて連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択工程と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出工程とを有し、前記位置不変特徴量抽出工程は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。

本発明に係るプログラムは、上記場所推定方法ないし特徴量抽出方法を、コンピュータに実行させるためのプログラムである。

本発明によれば、位置不変な局所特徴量を、堅牢な特徴量として抽出可能な特徴量抽出装置、方法及びプログラム、並びにそれを使用した場所推定装置、方法及びプログラムを提供することができる。

本発明の実施の形態にかかる場所推定装置を示すブロック図である。 本発明の実施の形態にかかる場所推定方法を示すフローチャートである。 位置不変特徴量の抽出処理を示すフローチャートである。 位置不変特徴量の抽出処理を示すリストである。 一方向アプローチのＩＣＧＭを示す図である。 両方向アプローチのＩＣＧＭを示す図である。 一方向アプローチ、両方向アプローチの比較を示す図である。 一方向アプローチ、両方向アプローチの比較を示す図である。 ＩＣＧＭによる特徴量の抽出実験結果を示す図である。 渋谷駅における場所認識実験を示す図である。 一方向アプローチ、両方向アプローチの比較を示す図である。 Ｍｉｎａｍｉｄａｉ屋外実験を示す図である。 Ｍｉｎａｍｉｄａｉ屋外実験結果を示す図である。 Ｍｉｎａｍｉｄａｉ屋外実験結果を示す図である。 対応特徴量の抽出処理を示す図である。 対応特徴量の抽出処理を示す図である。 位置不変特徴量の抽出処理を示す図である。 位置不変特徴量の抽出処理を示すリストである。 位置不変特徴量の抽出処理を示すリストである。

本実施の形態では、環境中において長期間にわたって位置が変化しない特徴量、すなわち位置不変特徴量を抽出し、これを場所推定に利用する手法を開示する。環境中には、静的な局所特徴量、すなわち長期間にわたっても位置が変化しない特徴量が含まれる。例えば、鉄道の駅には、多くの歩行者が存在するが、これらの歩行者の特徴量は、一般に短時間で位置が変化するので、静的な特徴量とは見なされない。一方、壁や看板のような要素に関する特徴量は、長期間にわたって位置が変化しない。場所推定には、このような位置不変特徴量を用いることが好適である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、移動型のロボット装置などに搭載される、場所を推定する場所推定装置に適用したものである。

＜本発明の実施の形態１＞
図１は、本発明の実施の形態にかかる場所推定装置を示すブロック図である。場所推定装置１０は、連続して撮影された連続画像からなる入力画像から位置不変特徴量を抽出する特徴量抽出部１１、共通辞書１２、マッチング部１３、類似度算出部１４及び場所認定部１５を有する。また、特徴量抽出部１１は、局所特徴量抽出部２１、特徴量マッチング部２２、対応特徴量選択部２３、及び位置不変特徴量抽出部２４を有する。

局所特徴量抽出部２１は、入力画像それぞれから、局所特徴量を抽出する。特徴量マッチング部２２は、局所特徴量抽出部２１により抽出された局所特徴量について、連続する入力画像間でマッチングをとる。対応特徴量選択部２３は、特徴量マッチング部により連続する画像間でマッチングが取れた特徴量を対応特徴量として抽出する。ここで、本実施の形態においては、特徴量マッチング部２２、対応特徴量選択部２３は、連続する２枚の画像を使用して、対応特徴量を求めるものとする。対応特徴量の抽出手法には、例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓ）がある。

位置不変特徴量抽出部２４は、本発明の特徴的な処理を実施する処理部であり、対応特徴量選択部２３が抽出した対応特徴量のうち、位置が変化していない特徴量（位置不変特徴量）のみを抽出する。以降、この位置不変特徴量の抽出手法をＩＣＧＭ（Ｉｎｃｒｅｍｅｎｔａｌ Ｃｅｎｔｅｒ ｏｆ Ｇｒａｖｉｔｙ Ｍａｔｃｈｉｎｇ）と称する。

マッチング部１３は、場所と、その場所の位置不変特徴量とが対応づけられて登録されているデータベースを参照し、入力画像と、登録済みの場所とのマッチングを行い、マッチングスコアを算出する。類似度算出部１４は、マッチングスコアが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する。場所認定部１５は、類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する。

次に、本実施の形態にかかる場所推定装置１０を用いた場所推定方法について説明する。図２は、本実施の形態にかかる場所推定方法を示すフローチャートである。

（位置不変特徴量の抽出）
先ず、特徴量抽出部１１が、入力画像Ｉ_ｔから位置不変特徴量を抽出する処理について説明する。

局所特徴量抽出部２１には、連続して撮影された２枚の画像Ｉ_ｔ及びＩ_ｔ−１が入力画像として入力される。ここで、ＩＣＧＭで要求される連続画像とは、例えば所定のフレームレートで（１秒毎に２フレームなど）、連続的に撮影された画像をいう。一般に、ビデオからキャプチャされた画像は連続的であるから、ＩＣＧＭにおける入力画像は、ビデオ画像を使用することが好適である。

先ず、局所特徴量抽出部２１は、既存の局所特徴量抽出方法を使用して局所特徴量を抽出する(ステップＳ１)。局所特徴量抽出部２１は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、又はＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓ）等の特徴量抽出手法を使用することができる。または、ＳＩＦＴやＳＵＲＦに限らず、他の局所特徴量を使用することができることは勿論である。特に、スケール、回転の変動、又はノイズ等に対してロバストな他の局所特徴量を用いることが好ましい。これらの局所特徴量を用いることで、既存の特徴量が有する性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる。

本実施の形態においては、ＳＵＲＦを使用するものとする。ＳＩＦＴは、局所特徴量として２０００乃至３０００以上の特徴量を抽出する。これに対し、ＳＵＲＦは、２００乃至３００の局所特徴量を抽出するため、演算量が少なくてすむ。

特徴量マッチング部２２は、現在時刻ｔで取得した画像Ｉ_ｔと、その直前の時刻ｔ−１で取得した画像Ｉ_ｔ−１とを使用し、これらの連続する画像間の局所特徴量のマッチングを行う。ここで、マッチングは、例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、又はＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓ）において用いられている種々の公知の手法で実施できる。例えば、それぞれの画像から抽出された特徴量を使用してマッチングスコアを計算し、そのマッチングスコアが所定の閾値以上であれば、両局所特徴量は、マッチしたものとみなす。

対応特徴量選択部２３は、特徴量マッチング部２２により連続する画像間でマッチしたものと判定された特徴量を対応特徴量として選択する。そして、現在時刻ｔの画像Ｉ_ｔにおける局所特徴量のセットｐ＝（ｐ_０，ｐ_１，・・・ｐ_ｎ）、時刻ｔ−１の画像Ｉ_ｔ−１における局所特徴量のセットｐ’＝（ｐ’_０，ｐ’_１，・・・ｐ’_ｎ）を生成する。

次に、位置不変特徴量抽出部２４が、対応特徴量のセットｐ，ｐ’を使用して、現在時刻ｔの画像Ｉ_ｔにおける位置不変特徴量を抽出する（ステップＳ２）。この位置不変特徴量の抽出処理のアルゴリズムを、図３のフローチャート及び図４のリストに示す。以下、図３のフローチャートを用いて当該アルゴリズムについて説明する。

ステップ１：２つの連続画像から、対応する局所特徴量の組を２つ選択する。すなわち、画像Ｉ_ｔの対応特徴量のセットｐから、２つの局所特徴量ｐ_０，ｐ_１を選択する。また、画像Ｉ_ｔ−１の対応特徴量のセットｐ’から、局所特徴量ｐ’_０，ｐ’_１を選択する。ここで、ｐ_０とｐ’_０、及びｐ_１とｐ’_１は、それぞれ特徴量マッチング部２２によって互いにマッチすると判定されたペアである。

ステップ２：それぞれの画像において、選択された２点に基づくベクトルを計算する。すなわち、画像Ｉ_ｔにおいては、ベクトルＣＧＶ０＝ｐ_０−ｐ_１、画像Ｉ_ｔ−１においては、ベクトルＣＧＶ１＝ｐ’_０−ｐ’_１を求める。

ステップ３：ベクトルＣＧＶ０とＣＧＶ１とを比較し、類似していないならばステップ１に戻る。一方、類似しているならば、局所特徴量ｐ_０，ｐ_１を位置不変特徴量と認定する。すなわち、両ベクトルの差分が所定のしきい値以下、｜｜ＣＧＶ０−ＣＧＶ１｜｜＜＝Ｔｈｒであるならば、両ベクトルは類似しているから、局所特徴量ｐｉ，ｐｊ、及びｐｉ’，ｐｊ’は位置不変であることになる。もし、｜｜ＣＧＶ０−ＣＧＶ１｜｜＞Ｔｈｒであるならば、ステップ１に戻る。ここで、両ベクトルが類似しているということは、局所特徴量ｐ_０，ｐ_１、及びｐ’_０，ｐ’_１の幾何学的な位置関係が両画像間においてほとんど変化していないこと、すなわち特徴点ｐ_０，ｐ_１の位置が不変とみなしうることを示している。

ステップ４：画像Ｉ_ｔから抽出した位置不変特徴量ｐ_０，ｐ_１を、ｐから削除するとともに、変数Ｐ_Ｒに格納する。同様に、画像Ｉ_ｔ−１の特徴量ｐ’_０，ｐ’_１を、ｐ’から削除するとともに、変数Ｐ’_Ｒに格納する。また、それぞれの画像において、選択した２点の重心ＣＧ０，ＣＧ１を式（１）により計算する。
ＣＧ０＝（ｐ_０＋ｐ_１）／２，ＣＧ１＝（ｐ’_０＋ｐ’_１）／２ ・・・（１）

ステップ５：以下、画像Ｉ_ｔ，画像Ｉ_ｔ−１の残る対応特徴量についても、順次、位置不変かどうかのテストを行っていく。まず、画像Ｉ_ｔ，画像Ｉ_ｔ−１から、対応する局所特徴量の組ｐ_２，ｐ’_２を選択する。この選択は、例えばインデックス順に行うことができる。つぎに、それぞれの画像において、ステップ４で計算した重心ＣＧ０，ＣＧ１と、選択した局所特徴量ｐ_２，ｐ’_２と、に基づくベクトルを計算する。すなわち、画像Ｉ_ｔにおいては、ベクトルＣＧＶ０＝ＣＧ０−ｐ_２を求め、画像Ｉ_ｔ−１においては、ベクトルＣＧＶ１＝ＣＧ１−ｐ’_２を求める。

ステップ６：これらのベクトルを比較し、類似しているならば、選択した局所特徴量を位置不変特徴量と認定する。すなわち、両ベクトルの差分がしきい値Ｔｈｒ以下、｜｜ＣＧＶ０−ＣＧＶ１｜｜≦Ｔｈｒであるならば、両ベクトルは類似しているから、局所特徴量ｐ_２，ｐ’_２は位置不変であることになる。ここで、両ベクトルが類似しているということは、重心ＣＧ０と局所特徴量ｐ_２、重心ＣＧ１と局所特徴量ｐ’_２の幾何学的な位置関係が両画像間においてほとんど変化していないこと、すなわち特徴点ｐ_２の位置が不変とみなしうることを示している。

ステップ７：画像Ｉ_ｔから抽出した位置不変特徴量ｐ_２を、ｐから削除するとともに、変数Ｐ_Ｒに格納する。同様に、画像Ｉ_ｔ−１の特徴量ｐ’_２を、ｐ’から削除するとともに、変数Ｐ’_Ｒに格納する。また、それぞれの画像において、先の重心ＣＧ０とｐ_２との重心、及び先の重心ＣＧ１とｐ’_２との重心を、それぞれ計算し、これらを新たな重心ＣＧ０，ＣＧ１とする。

ステップ８：一方、｜｜ＣＧＶ０−ＣＧＶ１｜｜＞Ｔｈｒであるならば、ｐ_２，ｐ’_２は位置不変でないことになる。よって、ｐ_２，ｐ’_２ｐは抽出対象から外されるべきである。したがって、ｐ_２をｐから削除するとともに、ｐ’_２をｐ’から削除する。

ステップ９：ｐ，ｐ’に含まれるすべての局所特徴量についてテストが終了したら、すなわちｐ，ｐ’が空襲号となったならば、処理を終了する。このとき、Ｐ_Ｒに含まれる局所特徴量が、位置不変特徴量である。以上で、位置不変特徴量の抽出処理は終了である。

（位置不変特徴量を用いた場所推定）
位置不変特徴量が抽出されたならば、つづいて、マッチング部１３が、共通辞書１２を参照してマッチングスコアｓ_ｍを求める(ステップＳ３)。共通辞書１２は、環境内における連続する場所（プレイス）Ｌ_ｍ、Ｌ_ｍ＋１、Ｌ_ｍ＋２・・それぞれについて、各プレイスの特徴量のセットであるモデルｍ、ｍ＋１、ｍ＋２・・を保持している。画像Ｉ_ｔと、場所Ｌ_ｍのモデルｍとのマッチングスコアｓ_ｍは、式（２）により求められる。
ｓ_ｍ＝ｎ_ｍ×ｎｕｍ＿ａｐｐｅａｒ ・・・（２）

ここで、ｓ_ｍは、プレイスＬ_ｍの特徴量セットであるモデルｍと、画像Ｉ_ｔの位置不変特徴量のセットＰ_Ｒとのマッチングスコアを示す。ｎｕｍ＿ａｐｐｅａｒは、共通辞書１２で一致した位置不変特徴量の数を示す。例えば、３つの位置不変特徴量が一致したならば、ｎｕｍ＿ａｐｐｅａｒ＝３である。ｎ_ｍは、モデルｍとマッチングした位置不変特徴量の数を示す。例えば、ｎ_ｍ＝２であれば、ｓ_ｍ＝２×３＝６となる。

次に、類似度算出部１４は、隣接するプレイスを考慮して、第２状態スコア（第１の推定値）ｂ_ｍを求める(ステップＳ４)。プレイスＬ_ｍで表れた特徴は、同様に隣接プレイスＬ_ｍ−２、Ｌ_ｍ−１、Ｌ_ｍ＋１、Ｌ_ｍ＋２で表れる可能性が高い。すなわち、これら隣接プレイスのマッチングスコアは、Ｌ_ｍのマッチングスコアｓ_ｍと略同じか若干低い程度と予測される。すなわち、例えばｓ_ｍが高いスコアであっても、ｓ_ｍ−１やｓ_ｍ＋１が０であるような場合は、マッチングスコアｓ_ｍの値がおかしい、すなわち、正しく場所推定できていないことになる。ここで、本実施の形態においては、ガウシアン関数ｐ_ｔ（ｍ，ｉ）で重みづけをした第２状態スコアｂ_ｍを下記の式（３）により求める。

ここで、ｗは、考慮する隣接プレイスの個数を示す。例えば、フレームレートが一定である場合、スピードが早ければ、このｗの値を例えば１とし、スピードが遅ければｗの値を２とするなどすることができる。

ここで、この第２状態スコアｂ_ｍに基づき、画像Ｉ_ｔがモデルｍと一致する、すなわち、既知の場所（ｋｎｏｗｎ ｐｌａｃｅ）であると判定することも可能であるが、本実施の形態においては、この第２状態スコアｂ_ｍを正規化することで、認定率を更に向上させる。

正規化スコア（第２推定値）ｂ＿ｎｏｒｍ_ｍは、式（４）より求めることができる(ステップＳ５)。

ここで、ｎは場所推定装置の移動速度に応じた値であり、ＩＣＧＭで得られる位置不変特徴量の最大抽出数とすることができる。類似度算出部１４は、この正規化スコアｂ＿ｎｏｒｍ_ｍを求め、場所認定部１５は、この値が所定の閾値より大きければ、画像Ｉ_ｔをモデルｍと一致する、すなわち、既知の場所（プレイス）として認定する(ステップＳ６、７)。ここで、画像Ｉ_ｔが、モデルｍと一致した場合、オリジナルのモデルｍに含まれていなかった位置不変特徴量をモデルｍに追加することで、モデルｍの特徴量をアップデートすることができる。このとき、各プレイスの特徴量が特許文献３のようにインデックスで保存されていれば、インデックスを増やすのみでよく、メモリ容量の増加を抑制することができる。また、モデルｍの特徴量は、例えばファーストインファーストアウト方式を取れば、メモリ容量を増加させることがない。

一方、正規化スコアｂ＿ｎｏｒｍ_ｍが所定の閾値に満たない場合、場所認定部１５は、画像Ｉ_ｔを新しい場所（プレイス）を示すものとして認定し(ステップＳ８)、例えば画像Ｉ_ｔが撮影された場所と、画像Ｉ_ｔから抽出された位置不変特徴量を共通辞書１２に登録する。

本実施の形態においては、特徴量抽出部１１が、堅牢な特徴量として、時間方向に連続して、かつ略同じ位置に存在する特徴量を抽出する。これにより、時間経過とともに移動する特徴量を分離できるため、場所認識に有効な特徴量を効果的に抽出することができる。

また、本実施の形態においては、特徴量抽出部１１が位置不変特徴量を抽出する際、堅牢な特徴量の重心を逐次更新し、この重心を用いて他の特徴量の堅牢性の判定を行う。重心は、特徴量の位置関係の情報を内包しているため、これを用いることにより位置情報を含めた堅牢性をテストすることができる。また、重心は計算が簡便であり、高速な処理が可能である。特に、本実施の形態では、特徴点の堅牢性テストの際に用いられる重心は、その時点までに堅牢と判定された全ての特徴点の重心となっている。すなわち、膨大な他の特徴量の位置情報をすべて参照する必要がなく、ただ１つの重心との関係を評価すれば、特徴点の位置の安定性を評価できるため、データ量及び演算量を圧縮することができる。

＜本発明の実施の形態２＞
（位置不変特徴量の抽出−一方向アプローチと両方向アプローチ）
実施の形態１では、位置不変特徴量を抽出する手法（ＩＣＧＭ）として、時刻ｔにおける画像Ｉ_ｔと、時刻ｔ−１における画像Ｉ_ｔ−１とを使用する方法について説明した。これを一方向アプローチと称する。実施の形態２では、より効果的に位置不変特徴量を抽出できる手法について説明する。以下、これを両方向アプローチと称する。

図５は、画像Ｉ_ｔと画像Ｉ_ｔ−１とから位置不変特徴量を抽出する、一方向アプローチのＩＣＧＭを示している。一方向アプローチとはつまり、現在の画像と、過去の画像との比較により、位置不変特徴量を抽出するアプローチである。こうして抽出された位置不変特徴量は、画像Ｉ_ｔのみから抽出される特徴量（ＳＩＦＴ，ＳＵＲＦなどにより）よりは優に堅牢である。しかし、一方向アプローチでは、位置不変特徴量の大幅な損失が発生することがある。損失が発生し得る具体的なケースについては後述する。

図６に、両方向アプローチのＩＣＧＭの概念を示す。両方向アプローチでは、まず、現在の画像Ｉ_ｔと、過去の画像Ｉ_ｔ−１とを比較して位置不変特徴量Ａを抽出し、ついで、現在の画像Ｉ_ｔと、将来の画像Ｉ_ｔ＋１とを比較して位置不変特徴量Ｂを抽出する。しかる後、両者の論理和Ｃ＝Ａ∪Ｂを、画像Ｉ_ｔの位置不変特徴量とする。

発明者は、既知の一眼カメラ等を使って画像を取得するような場合において、両方向アプローチのほうがより効果的に位置不変特徴量を抽出できることを発見した。具体的には、カメラの速度、動き等が、抽出できる位置不変特徴量に影響を与え得る。発明者は、既知の一眼カメラを使用した際に起こり得る２つの状況に関して考察を行った。カメラが一定速度で回転する場合と、一定の速度で無限遠物体に近づくか遠ざかる場合である。そして、これらの２つの典型的な状況のいずれにおいても、両方向アプローチが、一方向アプローチよりも優れていることがわかった。

まず、一定速度でカメラが回転する場合について考える。カメラの角速度をω、カメラの視野角をγで表す。このとき、カメラの視野が完全に別のシーンに切り替わるまでの時間をＴ_{Ｄｉｓａｐｐｅａｒ}＝γ／ωとする。また、一方向化アプローチによって特徴量抽出を行うのに必要な時間（ｔ−１からｔまで）をＴ_{Ｄｕｒａｔｉｏｎ}とする。なお、位置不変特徴量は、視野内に均一に分布しているものとする。

このとき、一方向アプローチによる、位置不変特徴量の数Ｐ_αの抽出率は式（５）のように与えられる。

一方、両方向アプローチによる、位置不変な特徴量の数Ｐ_βの抽出率は式（６）のように与えられる：

これらの２つのアプローチを比較するため、パラメータλ_αを式（７）のように定義する。
λ_α＝Ｔ_{Ｄｕｒａｔｉｏｎ}／Ｔ_{Ｄｉｓａｐｐｅａｒ} ・・・（７）

これより、Ｐ_α＝１−λ_αとなる。これを図７に表す。図７によれば、両方向アプローチは、一方向アプローチよりも位置不変な特徴量を多く抽出できることがわかる。具体的には、λ_α≦１／２であれば、両方向アプローチでは位置不変特徴量を漏れなく抽出できる。

また、カメラが一定の速度で無限遠物体に近づくか遠ざかる場合について考える。ここでも、Ｔ_{Ｄｕｒａｔｉｏｎ}を上述したものと同じ意味で用いる。垂直及び水平方向の視野角を、η及びθとする。なお、位置不変特徴量は視野内に均一に分布しているものとする。

ここで、カメラが無限遠の物体から速度νで遠ざかるとき、時刻ｔにおいて、カメラと物体との距離がｄであるとすると、カメラの視界ｓは式（８）のように与えられる。
ｓ＝４・ｔａｎ（η）ｔａｎ（θ）・ｄ^２ ・・・（８）

特徴量の抽出を実行するよりも時間Ｔ_{Ｄｕｒａｔｉｏｎ}だけ昔、すなわち時刻ｔ−Ｔ_{Ｄｕｒａｔｉｏｎ}において、カメラと物体との距離ｄ’は、ｄ’＝ｄ−Ｔ_{Ｄｕｒａｔｉｏｎ}・νで表される。よって、時刻ｔ−Ｔ_{Ｄｕｒａｔｉｏｎ}における視界ｓ’は式（９）のようになる。
ｓ’＝４・ｔａｎ（η）ｔａｎ（θ）・（ｄ−Ｔ_{Ｄｕｒａｔｉｏｎ}・ν）^２ ・・・（９）

よって、このとき

同様に、λ_βを定義する。
λ_β＝Ｔ_{Ｄｕｒａｔｉｏｎ}・ν／ｄ ・・・（１１）

カメラが対象から遠ざかる場合、一方向アプローチでは、位置不変特徴量の抽出処理を、現在及び過去の情報を使用して行うため、現在の情報の一部が捨象される。すなわち、Ｐ_α＝（１−λ_β）^２である。一方、両方向アプローチでは、現在、過去及び未来の情報を使用して処理を行う。将来におけるカメラの視野は現在よりも大きいので、現在の視界に含まれる情報の損失はゼロになる。すなわち、常にＰ_β＝１である。

カメラが無限遠の対象に接近する場合は、現在、及び現在の視界よりも大きな過去の視界の情報を用いて処理を行うため、情報の損失は常にゼロである。すなわち、Ｐ_α＝１、Ｐ_β＝１である。図８に、一方向アプローチ及び両方向アプローチの比較を示す。

このように、両方向アプローチは、一方向アプローチと比較して、より効果的に、動的な環境から位置不変特徴量を抽出することができる。これらの２つのアプローチの主な違いは以下のとおりである。一方向アプローチは、現在より以前から環境中に存在していた特徴量のみを、位置不変特徴量として抽出する。一方、両方向アプローチは、現在から将来にわたって環境中に存在する特徴量をも、位置不変特徴量として抽出する。換言すれば、両方向アプローチは、過去と現在、現在と将来の２つの情報セットを利用するため、一方向アプローチが有していた様々な問題を解決することができるのである。

なお、上述のパラメータλ_α及びλ_βを上昇させると、抽出される特徴量はより堅牢になる。しかしながら、このとき、抽出される特徴量の数は減少してしまう。パラメータλ_α及びλ_βを上昇させつつ、抽出される堅牢な特徴量の数も十分確保したいという場合、両方向アプローチは有効である。

本実施の形態では、両方向アプローチが、カメラの動きに関する典型的な２つの状況のいずれにおいても効果的であることを説明した。一般的なカメラの動きは、これらの単純な状況の組み合わせに分解することができるので、一般的に、両方向アプローチは、一方向アプローチよりも効果的に堅牢な特徴量を抽出できるといえる。

一方向アプローチ及び両方向アプローチのＩＣＧＭは、ＰＩＲＦに対して有利である。ＰＩＲＦもまた、連続する画像から堅牢な特徴量を抽出するために使用される手法である。図３及び図４のアルゴリズムにおいて、Ｔｈｒ→∞とすると、一方向アプローチのＩＣＧＭにおいて抽出される特徴量は、ＰＩＲＦにより抽出される特徴量に近づく。しかしながら、ＰＩＲＦでは、ウィンドウサイズ＝２である場合、すなわち２枚の画像を使用する場合、十分に堅牢な特徴量を抽出することができない。もしＰＩＲＦでさらに堅牢な特徴量を抽出したければ、ウィンドウサイズをより大きくする必要があるが、そうすると抽出される特徴量の数は非常に少なくなってしまうという問題があった。一方、ＩＣＧＭでは、Ｔｈｒを小さく設定するほど、ＰＩＲＦ（ウィンドウサイズ＝２）よりも堅牢な特徴量を抽出することが可能である。さらに、両方向アプローチを使用すれば、抽出される特徴量の数を増大させることができる。こうしたＩＣＧＭの特徴は、例えば後述のＳＬＡＭなどの処理を行う際に有効に作用する。

＜本発明の実施の形態３＞
次に、実施の形態３として、実施の形態１及び実施の形態２として示した特徴量抽出手法、及び場所認識手法を、実際の環境に適用した実験例を開示する。併せて、本発明の効果について説明する。

（Ａ）ＩＣＧＭによる特徴量の抽出実験
この実験は、ＩＣＧＭにより抽出される特徴量の精度を確認するための実験である。複数の画像から、ＩＣＧＭ及びＳＵＲＦを使用して特徴量を抽出し、これらの特徴量の複数の画像間でマッチングが取れているかを比較する。

この実験に使用するデータセット（図９（ａ）に示す２つの画像）は、いずれも室内環境から取り込まれた（室内で撮影された）ものである。また、この環境には、いくつかの移動する物体が含まれている。この画像では、楕円で囲まれた右側のスプレーボトルが前後の画像で移動している。さらに、２つの画像では、カメラの撮影範囲も、水平方向に移動している。

図９（ｂ）は、ＳＵＲＦにより、２つの画像から特徴点を抽出し、対応する特徴点同士をマッチングした状況を示している。この画像では、対応する特徴点同士を輝線で結んでいる。マッチングが正しければ、全ての輝線は水平であるはずだが、この画像では多くの輝線が傾いていることが分かる。すなわち、この例では、マッチングに多くの誤りが含まれている。加えて、移動した物体についても、マッチングが行われている。

図９（ｃ）は、ＩＣＧＭにより、２つの画像から位置不変特徴量を抽出し、対応する特徴点同士をマッチングした状況を示している。この画像では、ほとんどの輝線が水平であり、正しくマッチングが行われていることが分かる。また、移動した物体はマッチング対象とされず、無視されている。

ここで、ＳＵＲＦでマッチングが行われた特徴量の数は９７５であり、ＩＣＧＭでマッチングされた特徴量の数は３７４であった。この実験は、ＩＣＧＭが、カメラが移動するような動的な環境においても安定的かつ効果的に、堅牢すなわち位置不変な特徴量を抽出できることを示している。

（Ｂ）渋谷駅における場所認識実験
以下の実験は、ＩＣＧＭを、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）に適用したものである。特許文献３及び非特許文献１の同様の実験においては、ＰＩＲＦにより抽出された特徴量が使用されたが、本実験ではＩＣＧＭにより抽出された特徴量を使用する。

この実験は、厳密にＳＬＡＭではないが、ｌＣＧＭの場所認識の精度をテストするために好適である。この実験に使用するデータセットは、手持ちカメラを使用し、毎秒０．５フレームのレートで撮影された画像である（解像度は４８０＊３２０にリサイズした）。撮影時の渋谷駅は多くの人で混雑している状況であった。学習データの取得のため撮影を行ったルートは約８０メートルであり、学習時間は５分であった（図１０）。

まず、学習データを学習データベースに格納し、ＩＣＧＭとＰＩＲＦとを使用して、学習データから特徴量を抽出し、共通辞書１２の構築を行った。ついで、テスト用画像から同様に特徴量を抽出した。最後に、両者の特徴量を用いて場所を推定する実験を行った。なお、図１１は、ＩＣＧＭを使用する場合において、両方向アプローチ又は一方向アプローチを使用する場合の比較を示している。両方向アプローチの方が、一方向アプローチよりも多くの位置不変特徴量を得ることができることがわかる。

実験の結果、ＰＩＲＦを用いた場合の場所認識の精度は８２．６５パーセントであった。一方、ＩＣＧＭを用いた場合は９８．５６％であった。

（ｃ）Ｍｉｎａｍｉｄａｉ屋外実験（ＳＬＡＭ）
この実験に使用するデータセットは、手持ちカメラを使用し、毎秒０．５フレームのレートで撮影された画像である（解像度は４８０＊３２０にリサイズした）。この実験では、撮影時の環境は混雑してはいなかったものの、いくつかの動的な物体（車、人間）が存在していた（図１２）。学習データの取得のため撮影したルートは約１７０メートルであり、学習時間は９．５分であった。

図１３に、実験結果を示す。実線は、場所の学習が行われたルートを示す。点は、場所の認識が成功した座標を示す。ルートの１周目において学習された場所が、２周目においては的確に認識されていることが分かる。

図１４に、この実験の精度を示す。ＩＣＧＭを用いた場所認識（Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ）の精度は、ＰＩＲＦ−ｎａｖ２．０（特許文献３及び非特許文献１に記載の手法）及び公知のＦＡＢ−ＭＡＰよりも優れている。なお、Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ（ｒｅａｌ−ｔｉｍｅ）とは、場所推定フェーズで一方向アプローチを用い、Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）は、場所推定フェーズで両方向アプローチを用いたものである。Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）の方が、Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ（ｒｅａｌ−ｔｉｍｅ）よりも、抽出される特徴量の数が多いため、精度が向上している。なお、ＦＡＢ−ＭＡＰが最も高速なのは、これがバッチ処理手法であるためである。

なお、画像Ｉ_ｔの特徴量を抽出する際、両方向アプローチを用いる場合には、画像Ｉ_ｔ＋１も必要となる。換言すれば、将来の事象の情報（画像）が必要になる。すなわち、画像Ｉ_ｔ＋１を取得してから画像Ｉ_ｔの特徴量を抽出する必要があるため、時刻ｔにおけるリアルタイムでの特徴量抽出は出来ず、若干のタイムラグを要する。よって、ロボットなどのリアルタイムシステムにおいて、リアルタイム性が求められる場所認識フェーズで、両方向アプローチを用いることは出来ない。この場合、一方向アプローチを用いる必要がある。しかしながら、リアルタイムシステムにおいても、リアルタイム性が求められない辞書作成フェーズでは、両方向アプローチを使用することは可能である。また、例えば歩行者ナビゲーションなどの用途においては、厳格なリアルタイム性はあまり必要とされないので、辞書作成および場所認識の両フェーズにおいて両方向アプローチを使用することにより、システムの性能を向上させることが可能である。

＜本発明の実施の形態４＞
上述したように、本発明においては、画像から場所同定ができ、辞書のオンライン更新が可能である。そこで、例えば、携帯の動画撮影機能と組み合わせると、以下のような応用が可能である。

デパートやショッピングモールなどで迷子になった時、携帯で周りの景色をさっと一振り撮影し、サーバに送る。サーバはその画像を解析し、それがどこに位置するのか、また付加的に、周りにどのような施設やショップがあるか、などを返答することができる。

屋内ではＧＰＳは使えない。これに対し、本実施の形態においては、ユーザから送られてくる検索動画が、同時に辞書や地図の更新のためのデータとしても使える。このため、常時、辞書と地図の更新ができる。なお、従来のカーナビ等では、基本的に地図データの更新ができないか、更新するにはかなりの手間と費用がかかる。

携帯電話網にはサービス地域を分担して管理する基地局があるので、それぞれの基地局が、担当する範囲の地図を持ち、それを更新すればよい。つまり、巨大な辞書は不要で、メモリと演算速度が大幅に節約することができる。今後、眼鏡のようなウエアラブルビジョン（カメラ）が登場する可能性は高く、そうした眼鏡では常時場所を同定し、有用な情報を提示することもできる。

＜本発明の実施の形態５＞
実施の形態５では、画像の歪みや、回転（ｒｏｔａｔｉｏｎ）、剪断変形（ｓｈｅａｒｉｎｇ）、平行移動（ｔｒａｎｓｌａｔｉｏｎ）、拡大縮小（ｓｃａｌｉｎｇ）等に対しても頑健な位置不変特徴量を抽出し、より精度の高い場所推定を実現する手法を提案する。

（画像の歪み補正）
カメラのレンズ特性が、画像の歪みを引き起こすことがある。画像からより精度の高い対応特徴量、及び位置不変特徴量を抽出するためには、画像にこのような歪みのないことが好ましい。

画像の歪み補正を実施する手法として、例えばＯｐｅｎＣＶが公知である。ＯｐｅｎＣＶによれば、内部パラメータ（ｆ_ｘ，ｆ_ｙ，ｃ_ｘ，ｃ_ｙ）、ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ（放射状の歪み）を示す係数（ｋ_１，ｋ_２）、ｔａｎｇｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ（円周方向の歪み）を示す係数（ｐ_１，ｐ_２）をカメラのキャリブレーションを行うことにより取得し、取得した内部パラメータ及び歪み係数を使用して歪み補正を実施することができる。なお、上述の内部パラメータ及び歪み係数は、カメラ固有の値である。

局所特徴量抽出部２１は、画像から局所特徴量を抽出する前に、上述の歪み補正処理を実施することが好適である。これにより、対応特徴量選択部２３、位置不変特徴量抽出部２４は、より良い精度で対応特徴量、位置不変特徴量を抽出することが可能となる。

（順序制約）
上述の実施の形態では、対応特徴量選択部２３が対応特徴量のセットを抽出する処理について説明した。ところで、対応特徴量のセットには、真に対応するものでないのに、誤って対応特徴量と判定された特徴量の組も含まれ得る。発明者は、このように誤ってマッチするものと判断された特徴量の組を排除するための追加的手法として、順序制約を開発した。

図１５において、特徴量のセットＷ＝（ａ，ｂ，ｃ，ｄ，ｅ）及びＷ’＝（ａ’，ｂ’，ｃ’，ｄ’，ｅ’）は、２つの画像から抽出された、対応する特徴量のセットを示している。ここで、ａとａ’、ｂとｂ’、ｃとｃ’、ｅとｅ’は、それぞれ正しくマッチングされた特徴量の組であるものとする。一方、ｄとｄ’は、誤ってマッチングされた特徴量の組であるものとする。

ある点ｉ，ｉ’が誤ってマッチングされた特徴点であるかどうかを判別するため、まず対応特徴量選択部２３は、点ｉの相対距離ベクトルＤ_ｉ，Ｄ_ｉ’を求める。例えば、図１５の点ａにかかる相対距離ベクトルは、Ｄ_ａ＝（ｂ，ｃ，ｄ，ｅ）と定義される。ここで、ｂ，ｃ，ｄ，ｅは、点ａに最も近い点から最も遠い点に至る順にソートされている。同様に点ａ’にかかる相対距離ベクトルは、Ｄ_ａ’＝（d’,ｂ’，ｃ’，ｅ’）と定義される。

つぎに、対応特徴量選択部２３は、点ｉ，ｉ’のＤ_ｉ，Ｄ_ｉ’を使用して、指標ｏｆｆｓｅｔを求める。図１６に、ｏｆｆｓｅｔの算出手法を示す。Ｄ_ｉのｓ番目の要素がＷ_ｂであり、そのＷ_ｂとマッチングしているＷ’_ｂがＤ_i’のｋ番目の要素となっているとき、ｏｆｆｓｅｔ_ｓを｜ｋ−ｓ｜と定義する。

さらに、対応特徴量選択部２３は、ｏｆｆｓｅｔを使用して、指標ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）を求る。式（１２）に、ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）の定義を示す。

ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）は、その値が大きいほど、誤ったマッチングである確率が高いことを示す指標である。すなわち、ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）は、マッチングされた特徴量の組が、正しいか、誤りであるかを区別する為に使用できる。例えば、図１５の例では、ｄｉｆｆ（Ｄ_ａ，Ｄ_ａ’）＝０．２５、ｄｉｆｆ（Ｄ_ｄ，Ｄ_ｄ’）＝１１／１６と算出された。これは、特徴量ｄ，ｄ’の組は、誤ったマッチングである可能性が比較的高いことを意味している。

ところで、ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）は、アフィン不変な量でなく、またノイズ比率に敏感でない。そこで、ｄｉｆｆ（Ｄ_ｉ，Ｄ_ｉ’）を正規化したｄｉｆｆ_{ｎｏｒｍａｌ}を考える。ｄｉｆｆ_{ｎｏｒｍａｌ}は、平均μ_ｄｉｆｆ、標準偏差σ_ｄｉｆｆを用いて式（１３）のように計算できる。

対応特徴量選択部２３は、ある特徴量のセットｉ，ｉ’について、ｄｉｆｆ_{ｎｏｒｍａｌ}を計算する。そして、ｄｉｆｆ_{ｎｏｒｍａｌ}＞Ｔ_ＯＣである場合、特徴量ｉ，ｉ’の組を、対応特徴量のセットから排除すべきもの、すなわち誤ってマッチングされたものと決定する。ここで、Ｔ_ＯＣは任意のしきい値である。

図１５の例では、適切に設定されたしきい値Ｔ_ＯＣに基づき、ｄとｄ’が排除されよう。その結果、より信頼性の高い対応特徴量のセットである、Ｗ_ＯＣ＝（ａ，ｂ，ｃ，ｅ）、Ｗ’_ＯＣ＝（ａ’，ｂ’，ｃ’，ｅ’）が得られる。

このように、順序制約によれば、誤ってマッチングされた対応特徴量を排除でき、より高精度な対応特徴量のセットを構築できる。

（面積制約）
上述の実施の形態では、位置不変特徴量抽出部２４が、位置不変特徴量を抽出する処理について説明したが、発明者は、より高精度な位置不変特徴量の計算を行う為の手法として、面積制約を開発した。

はじめに、面積制約の概念について説明する。回転（ｒｏｔａｔｉｏｎ）、剪断変形（ｓｈｅａｒｉｎｇ）、平行移動（ｔｒａｎｓｌａｔｉｏｎ）、拡大縮小（ｓｃａｌｉｎｇ）を含む図形の変形を、アフィン変換という。図１７にアフィン変換の例を示す。この例では、２つの画像の間で、回転と縮小が行われている。ここで、Ｗ（ａ，ｂ，ｃ，ｄ）とＷ’（ａ’，ｂ’，ｃ’，ｄ’）とは、２つの画像にかかる対応特徴量のセットである。またｏ，ｏ’は、Ｗ及びＷ’に含まれている１以上の点の、重心を示す。

これらの２つの画像を比較するに、Ｗに含まれる特徴点ａ，ｂ，ｃ，ｄ、およびＷ’に含まれる特徴点ａ’，ｂ’，ｃ’，ｄ’の座標は、それぞれ大きく異なる。一方、これらの特徴点を頂点として形成される複数の図形の面積Ｓの比例関係は変化していない。すなわち、Ｓ_ａｏｂ／Ｓ_ａｂｃｄ＝Ｓ_{ａ’ｏ’ｂ’}／Ｓ_{ａ’ｂ’ｃ’ｄ’}であり、Ｓ_ａｏｂ／Ｓ_ａｂｃ＝Ｓ_{ａ’ｏ’ｂ’}／Ｓ_{ａ’ｂ’ｃ’}であり、またＳ_ａｏｂ／Ｓ_ａｏｃ＝Ｓ_{ａ’ｏ’ｂ’}／Ｓ_{ａ’ｏ’ｃ’}である。この面積比のように、アフィン変換に対して不変である量をアフィン不変量といい、このような性質をアフィン不変という。

２つの画像から抽出された対応特徴量のセットから、このようなアフィン不変な面積の比例関係を有する図形が発見された場合、それらの２つの図形はアフィン変換されたもの、すなわち視点を変えて同一の対象物をとらえたものということができる。したがって、それらの図形を構成する特徴点は、位置不変特徴量とみなしうる。

上述の実施の形態に示した手法では、例えば対象物を異なる角度からとらえた２つの画像から、位置不変特徴量を精度よく抽出することができない場合があった。一方、面積制約によれば、このような２枚の画像からも、より良い精度で位置不変特徴量を抽出することができる。

なお、現実の世界は必ずしも平坦ではないため、現実の世界を写した画像も厳密にはアフィン不変ではない。しかし、画像中の主要な要素の大部分は、ほぼ平坦と考えることができるから、面積制約は有効であるといえよう。

かかる知見に基づき、位置不変特徴量抽出部２４が位置不変特徴量を抽出するための具体的な手順を以下に示す。なお、以下の処理は、上述の順序制約に従って抽出された、対応特徴量のセットに対して行われるものとする。

まず、位置不変特徴量抽出部２４は、Ｗに含まれる特徴点により形成される総面積Ｓ_Σを、式（１４）により計算する。

また、位置不変特徴量抽出部２４は、Ｗに含まれる特徴点の重心ｏを、式（１５）により計算する。

つづいて、位置不変特徴量抽出部２４は、ある特徴点ｉを使用して形成される図形の面積比の偏差を、式（１６）により計算する。なお、ｏは重心、ｊはｉ以外の任意の特徴点を示す。

ここで、

（以下、Ｄｅｖと表記する）について、Ｄｅｖ＝０であれば、特徴点ｉを使用して形成される図形は完全にアフィン変換されている。また、Ｄｅｖ＜Ｔ_ＡＣであれば、特徴点ｉを使用して形成される図形はアフィン変換されているものとみなすことができる。なお、Ｔ_ＡＣは任意の閾値であり、Ｔ_ＡＣによりアフィン不変の頑強さを調整することができる。

ところで、面積制約により精度良い位置不変特徴量を得るためには、信頼できる重心ｏ，ｏ’を得ることが重要である。

図１８に示すアルゴリズム２は、対応特徴量のセットから、アフィン変換されていない特徴点を除外する処理である。これにより、位置不変特徴量抽出部２４は、位置不変特徴量を抽出することができる。そして、重心ｏ，ｏ’の信頼性は、計算の過程で徐々に向上してゆく。このアルゴリズム２にかかる処理は以下のとおりである。

Ｉｎｐｕｔ：
まず、対応特徴量のセットＷ，Ｗ’を入力する。ここで、Ｗ，Ｗ’は、いずれも上述の順序制約により抽出されたものであることが好ましい。

Ｓｔｅｐ１：
まず、特徴量のセットＷ_ｔｍｐ、Ｗ’_ｔｍｐの初期値を、Ｗ，Ｗ’とする。このＷ_ｔｍｐ、Ｗ’_ｔｍｐのそれぞれについて、重心ｏ，ｏ’、総面積Ｓ_Σ、Ｓ’_Σを式（１４）、（１５）により計算する。また、Ｗ_ｔｍｐのサイズ、すなわちＷ_ｔｍｐに含まれる特徴量の数を、ＳｉｚｅＰｒｅｖｉｏｕｓとして保存する。

Ｓｔｅｐ２：
Ｗ_ｔｍｐ、Ｗ’_ｔｍｐに含まれる対応特徴量ｉ，ｉ’の組に着目し、

（以下、ＡｖｅＤｅｖと表記する）を式（１７）により計算する。ここでＡｖｅＤｅｖ＞Ｔ_ＡＣであれば、対応特徴量ｉ，ｉ’の組はアフィン変換されていないものと認定される。よって、Ｗ_ｔｍｐ、Ｗ’_ｔｍｐからｉ，ｉ’をそれぞれ除去する。

かかるＡｖｅＤｅｖの判定処理を、Ｗ_ｔｍｐ、Ｗ’_ｔｍｐに含まれる対応特徴量すべてについて実施する。

終了判定：
かかる処理ののち、Ｗ_ｔｍｐのサイズと、Ｓｔｅｐ１で保存したＳｉｚｅＰｒｅｖｉｏｕｓとを比較する。ここで、両者のサイズが同じであれば、除去すべき対応特徴量はすべて除去されたものとして、処理を終了する。一方、両者のサイズが異なる場合は、対応特徴量の除去はまだ進行中であるから、Ｓｔｅｐ１に戻り処理を続行する。

図１９に示すアルゴリズム３は、アルゴリズム２の計算結果を補正する為の処理である。位置不変特徴量抽出部２４は、アルゴリズム３により、アルゴリズム２の処理終了時点の重心ｏ，ｏ’を用いて、アルゴリズム２によって除外された特徴量を再検査する。これにより、アルゴリズム２の計算の初期段階、すなわち重心ｏ，ｏ’の信頼性が未だ低かった時点において、アルゴリズム２によって誤って除外された特徴量であって、本来は位置不変特徴量とすべき特徴量を、漏れなく救済することができる。アルゴリズム３にかかる処理は以下のとおりである。

Ｉｎｐｕｔ：
まず、対応特徴量のセットＷ，Ｗ’およびＷ_ｔｍｐ、Ｗ’_ｔｍｐを入力する。ここで、Ｗ，Ｗ’は、アルゴリズム２に入力されたものと同じ対応特徴量のセットである。またＷ_ｔｍｐ、Ｗ’_ｔｍｐは、アルゴリズム２の出力である。

Ｓｔｅｐ１：
まず、Ｗ_ｔｍｐ、Ｗ’_ｔｍｐのそれぞれについて、重心ｏ，ｏ’、総面積Ｓ_Σ、Ｓ’_Σを式（１４）、（１５）により計算する。また、Ｗ_ｔｍｐのサイズ、すなわちＷ_ｔｍｐに含まれる特徴量の数を、ＳｉｚｅＰｒｅｖｉｏｕｓとして保存する。

Ｓｔｅｐ２：
Ｗ、Ｗ’に含まれる対応特徴量ｉ，ｉ’の組に着目し、ｉ，ｉ’がＷ_ｔｍｐ、Ｗ’_ｔｍｐに含まれていない場合は、ＡｖｅＤｅｖを式（１７）により計算する。ここでＡｖｅＤｅｖ＜Ｔ_ＡＣであれば、対応特徴量ｉ，ｉ’の組は、信頼できる重心ｏ，ｏ’により、アフィン変換されたものと判定されたことになる。よって、ｉ，ｉ’をＷ_ｔｍｐ、Ｗ’_ｔｍｐにそれぞれ繰り入れる。かかる判定処理を、Ｗ、Ｗ’に含まれる対応特徴量すべてについて実施する。

終了判定：
かかる処理ののち、Ｗ_ｔｍｐのサイズと、Ｓｔｅｐ１で保存したＳｉｚｅＰｒｅｖｉｏｕｓとを比較する。ここで、両者のサイズが同じであれば、救済すべき位置不変特徴量はすべて救済されたものとして、処理を終了する。このとき、Ｗ_ｔｍｐ、Ｗ’_ｔｍｐの内容をＷ_ＡＣ、Ｗ’_ＡＣとして出力する。一方、両者のサイズが異なる場合は、位置不変特徴量の救済はまだ進行中であるから、Ｓｔｅｐ１に戻り処理を続行する。

（場所推定）
上述の一連の処理により、精度の高い位置不変特徴量のセットＷ_ＡＣが得られる。これを用いることによって、より精度の高い場所推定が可能となる。

現在の場所ｚ_ｃと、比較対象の場所ｚ_ｔとの類似度ｓ_ｃｇ（ｚ_ｔ，ｚ_ｃ）は、式（１８）により算出できる。

ここで、Ｓ_{Ａｆｆｉｎｅ}は式（１９）により算出できる。

ここで、Ｎ_ｐａｉｒは、対応特徴量選択部２３が２つの場所の画像から取得した対応特徴量のセットのサイズである。ここでいう対応特徴量のセットは、上述の距離制約による補正を実施する前のセットであるものとする。すなわちＳ_{Ａｆｆｉｎｅ}は、距離制約、面積制約による一連の処理の前後における特徴量の一致度を示している。なお、０≦Ｓ_{Ａｆｆｉｎｅ}≦１である。

Ｓ_{Ｄｉｓｐｅｒｓｉｏｎ}は式（２０）により算出できる。

ここで、Ｄ^（’）は式（２１）により算出できる。

Ｓ_{Ｄｉｓｐｅｒｓｉｏｎ}は、アフィン不変な特徴量を含む２つの画像について、類似度をさらに精密に評価する為の指標である。Ｓ_{Ｄｉｓｐｅｒｓｉｏｎ}は、対応特徴量のセットに含まれるすべての特徴点と重心ｏとの距離の平均が、２つの画像間で大きく異なるほど、類似度を小さくする効果を有する。これにより、たとえば、２つの画像中に、同一の対象物ではあるものの、大きさの異なる像が含まれる場合（すなわち対象物を異なる位置から撮影したような場合）に、その２つの画像の撮影場所は同一ではないと判定し得るようになる。なお、０＜Ｓ_{Ｄｉｓｐｅｒｓｉｏｎ}＜１である。

ところで、従来より提案されている類似度の評価手法として、以下の式（２２）がある。ここで、Ｎ_ｚｔ及びＮ_ｚｃは、場所ｚ_ｔ及び場所ｚ_ｃにおいて取得される局所特徴量の総数を示す。

これに対し、発明者が提案する類似度の計算手法を、式（２３）に示す。

この手法によれば、距離制約、面積制約といった幾何学的な制約によって抽出された、よりノイズの少ない位置不変特徴量セットを利用して類似度を計算するので、より精度の高い類似度計算を行うことが可能である。

（実験結果）
最後に、実施の形態５として示した特徴量抽出手法、及び場所認識手法を、実際の環境に適用した実験例を開示する。

実施の形態３において実施したＭｉｎａｍｉｄａｉ屋外実験と同様の実験を、実施の形態５にかかる手法（距離制約、面積制約による位置不変特徴量算出手法。以下、ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）という）を用いて実施した。

ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）を用いた場所認識の結果は、Ｒａｃａｌｌ＝９７．５％、Ｐｒｅｃｉｓｉｏｎ＝９８．５％、Ｔｏｔａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｉｍｅ＝１９４．３ｓｅｃ．であった。すなわち、ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）は、上述の実施の形態のＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）やＩＣＧＭ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）よりも、精度及び処理時間の双方において優れている。

＜本発明のその他の実施の形態＞
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、特徴点は２次元であるという前提のもと本発明を説明した。しかしながら、特徴点は、環境から取得可能であれば、３次元以上の任意の次元であってよい。例えば、Ｋｉｎｅｃｔ（登録商標）を使用すれば、２次元の画像情報に加え奥行情報を取得できるため、３次元の特徴点を抽出可能である。なお、特徴点の次元数に係わらず、図Ｘ及び図Ｙに示すアルゴリズムにより、位置不変特徴量の抽出が可能である。すなわち、特徴点にトポロジが定義できるのであれば、このアルゴリズムは適用できる。例えば、遺伝子配列の類似度判定等に応用が可能である。

また、カメラ画像からカメラの運動の軌跡を検出するビジュアル・オドメトリ手法と、本発明とを組み合わせれば、カメラ画像のみを用いたナビゲーションが可能である。本発明によれば、既知の現在位置（場所）検出手法であるＧＰＳ等によらず、カメラ画像から現在位置（場所）を推定することができるからである。例えば、室内やＧＰＳ受信困難な場所を移動するロボットや、カメラ付きスマートフォンにおけるナビゲーションに応用が可能である。

また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

この出願は、２０１２年１１月６日に出願された日本出願特願２０１２−２４４５４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 場所推定装置
１１ 特徴量抽出部
１２ 共通辞書
１３ マッチング部
１４ 類似度算出部
１５ 場所認定部
２１ 局所特徴量抽出部
２２ 特徴量マッチング部
２３ 対応特徴量選択部
２４ 位置不変特徴量抽出部

Claims (14)

1. 入力画像から位置不変特徴量を抽出する特徴量抽出手段と、
   各登録場所と位置不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング手段と、
   マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出手段と、
   前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定手段とを有し、
   前記特徴量抽出手段は、
   連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
   前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
   前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
   前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
   前記位置不変特徴量抽出手段は、前記対応特徴量のうち、前記入力画像内に存在する他の前記対応特徴量に対する相対位置の変化が所定のしきい値以下である前記対応特徴量を、前記位置不変特徴量として抽出する
   場所推定装置。
2. 前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
   連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
   前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
   すべての前記対応特徴量について繰り返し実行する
   請求項１記載の場所推定装置。
3. 前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
   連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
   前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
   請求項１記載の場所推定装置。
4. 前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である
   請求項１記載の場所推定装置。
5. 前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻ｔにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
   請求項１記載の場所推定装置。
6. 前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
   請求項１記載の場所推定装置。
7. 前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
   請求項１記載の場所推定装置。
8. 連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
   前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
   前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
   前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
   前記位置不変特徴量抽出手段は、前記対応特徴量のうち、前記入力画像内に存在する他の前記対応特徴量に対する相対位置の変化が所定のしきい値以下である前記対応特徴量を、前記位置不変特徴量として抽出する
   特徴量抽出装置。
9. 前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
   連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
   前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
   すべての前記対応特徴量について繰り返し実行する
   請求項８記載の特徴量抽出装置。
10. 前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
    連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
    前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
    請求項８記載の特徴量抽出装置。
11. 前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔｎｅｓｓ Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である、
    請求項８記載の特徴量抽出装置。
12. 前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻ｔにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
    請求項８記載の特徴量抽出装置。
13. 前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
    請求項８記載の特徴量抽出装置。
14. 前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
    請求項８記載の特徴量抽出装置。

Images