JPWO2017145711A1

JPWO2017145711A1 - 特徴量抽出方法及び特徴量抽出装置

Info

Publication number: JPWO2017145711A1
Application number: JP2018501110A
Authority: JP
Inventors: 徹萱沼; 長谷川　修; 修長谷川; 貴大寺島
Original assignee: SOINN HOLDINGS LLC
Current assignee: SOINN HOLDINGS LLC
Priority date: 2016-02-24
Filing date: 2017-02-03
Publication date: 2018-04-05
Anticipated expiration: 2037-02-03
Also published as: US10366305B2; JP6515259B2; WO2017145711A1; US20180173991A1

Abstract

多数の人によって混雑しているような動的な環境において撮影された連続画像から、静的な特徴量を高精度に抽出する。特徴量抽出装置（１）は、連続して撮影した連続画像を取得する連続画像取得部（１１）と、連続画像から各特徴点における局所特徴量を抽出する局所特徴量抽出部（１２）と、局所特徴量抽出部（１２）により抽出した局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング部（１３）と、特徴量マッチング部（１３）により所定数連続する画像間でマッチングが取れた局所特徴量うち、前記連続画像間における位置の変化が所定のしきい値以下である対応特徴量の平均を、不変特徴量として求める不変特徴量算出部（１４）と、を有する。

Description

本発明は、複数の連続する連続画像から動的な特徴量を削除し、安定した静的な特徴量を抽出する特徴量抽出方法及び特徴量抽出装置に関する。

近年、未知の環境での人やロボットのナビゲーションへのニーズが高まっている。その達成のためには、自律的に環境地図を構築したり、自己位置を推定したりする必要がある。こういった自律的地図構築および自己位置推定を行う問題は、一般的にＳＬＡＭ(Simultaneous Localization And Mapping) と呼ばれ、広く研究されてきた。さらに、近年ではＳＬＡＭの技術を無人飛行体や車へ応用することを目的とした研究も行われている。

しかし、一般的なＳＬＡＭは静的な環境を想定している。それに対し、我々が生活する実際の環境は多くの人や物が行き交う動的な環境である。そのため、実際の環境に従来のＳＬＡＭ手法を応用しようとすると、動く人や物をランドマークとして誤って認識してしまい、精度が低下してしまう問題がある。

このような自律的地図構築および自己位置推定には、周辺環境の特徴量をいかに正確に抽出するかが大きなポイントとなる。従来、環境から局所特徴量を抽出する手法としては、アフィン不変の特徴量（ＭＳＥＲ，Ｈａｒｒｉｓ−Ａｆｆｉｎｅ，Ｈｅｓｓｉａｎ−Ａｆｆｉｎｅ，ＳａｌｉｅｎｔＲｅｇｉｏｎなど）や、大きさ変化に不変な特徴量（ＳＩＦＴ：ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍａｔｉｏｎ，ＳＵＲＦ：ＳｐｅｅｄＵｐＲｏｂｕｓｔｎｅｓｓＦｅａｔｕｒｅｓなど）がある。

また、連続画像において、上述の手法で各画像から抽出した局所特徴量の中から、撮影位置の変化にロバストなものだけをさらに抽出した特徴量としてＰＩＲＦ（Position-Invariant Robust Features）がある（特許文献１乃至３）。なお、ＰＩＲＦを応用した自律的地図構築が既に提案されている（特許文献４）。ＰＩＲＦでは、静的で安定な特徴量であれば連続画像間で何フレームかに渡って存在するはずであるとの仮定のもと、特徴量を選び出している。ここで、ＰＩＲＦは、連続画像間に共通して存在するＳＩＦＴやＳＵＲＦといった局所特徴量のことを指す。ＰＩＲＦを用いることで、連続画像間に共通していない、すなわち動的な特徴量を除外できるので、単にＳＩＦＴやＳＵＲＦといった局所特徴量を用いる場合と比べて、動的環境下でも高い精度を実現できる。

ここで、動的な特徴量の定義について詳細に説明する。周りの環境に静的なものしか存在しない場合、例えば、撮影された連続画像を何フレームかに渡って比較しても、写っているものやその位置に大きな変化は見られないと考えられる。一方、動く人や物がカメラに写り込んだ場合、その人や物を連続画像で何フレームかに渡って比較すると、画像から消えたり、写っている位置に変化が見られたりする。このように、動く人や物は連続画像を何フレームかに渡って比較することで特定することができる。以下では、連続画像から得られた局所特徴量を数フレーム間で比較し、位置に大きな変化が見られたものを動的な特徴量と定義する。

環境から局所特徴量を抽出する手法として、他にもＩＣＧＭ(Incremental Center of Gravity Matching)が提案されている（特許文献５）。ＩＣＧＭでは、複数の局所特徴量の重心位置から各局所特徴量へのベクトルを定義し、これらのベクトルを連続画像間で比較することで、動的物体からの動的な局所特徴量と、静的物体からの静的で安定な局所特徴量と、を区別できる。

特開２０１１−５３８２３号公報特開２０１１−２１５７１６号公報国際公開第２０１１／１４５２３９号国際公開第２０１２／０３５７０７号国際公開第２０１４／０７３２０４号

ところが、特許文献４に記載のＰＩＲＦでは、連続画像間に共通しているものの、連続画像のフレームの範囲内で動いているような動的な特徴量までは除外することはできない。そのため、ＰＩＲＦにはこのような動的な特徴量が含まれてしまい、ＳＬＡＭの精度低下を招いてしまう。

特許文献５に記載のＩＣＧＭでは、アルゴリズム上の前提として、静的な特徴量のみを選択した状態で重心位置を求める。また、ＩＣＧＭでは、重心位置を求めるための局所特徴量はランダムに選択される。しかし、選択対象となる特徴量には、静的な特徴量と動的な特徴量とが混在する。そのため、動的な特徴量が選択されるおそれがあり、この場合、動的な特徴量から求められた重心位置は前後の画像で位置が大きく変化してしまう。このように重心位置が大きく変化してしまうと、その重心位置からの静的な特徴量へのベクトルも大きく変化してしまう。これにより、静的な特徴量を誤って動的な特徴量だと判断して削除してしまうおそれがある。その結果、ＳＬＡＭにＩＣＧＭを応用すると、精度の低下を招いてしまう。

本発明は、上記に鑑みて成されたものであり、多数の人によって混雑しているような動的な環境において撮影された連続画像から、静的な特徴量を高精度に抽出することを目的とする。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本発明の第１の態様である特徴量抽出方法は、連続して撮影した連続画像を取得する連続画像取得工程と、前記連続画像取得工程にて取得された連続画像から各特徴点における局所特徴量を抽出する局所特徴量抽出工程と、前記局所特徴量抽出工程にて抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、前記特徴量マッチング工程にて所定数連続する画像間でマッチングが取れた局所特徴量うち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める不変特徴量算出工程と、を有するものである。

本発明の第２の態様である特徴量抽出方法は、上述の特徴量抽出方法であって、前記不変特徴量算出工程において、前記マッチングが取れた局所特徴量のそれぞれについてマッチング距離を算出し、前記マッチングが取れた局所特徴量を、算出したマッチング距離に基づいて並べ替え、前記マッチング距離が小さい順に、前記マッチングが取れた局所特徴量から所定の個数の局所特徴量を選択し、選択した局所特徴量のうち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める、ものである。

本発明の第３の態様である特徴量抽出方法は、上述の特徴量抽出方法であって、前記連続画像の第１のフレームにおいて、前記マッチングが取れた局所特徴量から選択したものの重心位置を計算し、かつ、前記マッチングが取れた局所特徴量から選択したもののそれぞれと、前記重心位置と、を結ぶベクトルを求め、前記第１のフレームに対して時間的に前又は後の前記連続画像の第２のフレームにおいて、前記マッチングが取れた局所特徴量から選択したものの重心位置を計算し、かつ、前記マッチングが取れた局所特徴量から選択したもののそれぞれと、前記重心位置と、を結ぶベクトルを求め、前記マッチングが取れた局所特徴量のそれぞれについて、前記第１のフレームにおいて求めた前記ベクトルと、前記第２のフレームにおいて求めた前記ベクトルと、の間の誤差が所定の閾値以下である場合に、対応する局所特徴量を前記不変特徴量として求める、ことが望ましい。

本発明の第４の態様である特徴量抽出方法は、上述の特徴量抽出方法であって、前記マッチングが取れた局所特徴量のそれぞれについて前記第１のフレームにおいて求めた前記ベクトルをＣＧＶ_Ｔ、前記マッチングが取れた局所特徴量のそれぞれについて前記第２のフレームにおいて求めた前記ベクトルをＣＧＶ_Ｔ−１としたときに、前記誤差であるＲｏＤは、以下の式で求められる、ことが望ましい。

本発明の第５の態様である特徴量抽出装置は、連続して撮影した連続画像を取得する連続画像取得手段と、前記連続画像取得手段により取得した連続画像から各特徴点における局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出した前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量うち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める不変特徴量算出手段と、を有するものである。

本発明によれば、多数の人によって混雑しているような動的な環境において撮影された連続画像から、静的な特徴量を高精度に抽出することができる。

実施の形態１にかかる特徴量抽出装置を示す図である。実施の形態１にかかる特徴量抽出方法を示すフローチャートである。実施の形態１にかかる特徴量ＰＩＲＦを抽出する方法を説明する図である。実施の形態１にかかるＩＣＧＭ２．０のアルゴリズムを示す図である。ＩＣＧＭでの重心とベクトルとの関係を示す図である。動的な特徴量を削除した結果を示す図である。屋内での実験環境を示す図である。屋内での実験結果（ビジュアルオドメトリ）を示す図である。屋内での実験結果（Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無の比較）を示す図である。屋内での実験結果（Ｒｅｃａｌｌ及びＰｒｅｃｉｓｉｏｎ）を示す図である。屋外での実験環境を示す図である。屋外での実験結果（ビジュアルオドメトリ）を示す図である。屋外での実験結果（Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無の比較）を示す図である。屋外での実験結果（Ｒｅｃａｌｌ及びＰｒｅｃｉｓｉｏｎ）を示す図である。実施の形態２にかかる静的な特徴量の抽出方法を示す図である。実施の形態２にかかる静的な特徴量を抽出するＩＣＧＭ２．５のアルゴリズムを示す図である。ＰＩＲＦのアルゴリズムを示す図である。動的な環境下で撮影された画像に対し、従来手法（ＯＲＢ（つまり、ＰＩＲＦ、ＩＣＧＭ、ＩＣＧＭ２．０、ＩＣＧＭ２．５のいずれも適用しない場合）、ＩＣＧＭ、ＩＣＧＭ２．０及びＩＣＧＭ２．５を適用にて動的な特徴量を削除する処理を行った結果を示す図である。屋内での実験環境の画像と、その画像にＩＣＧＭ２．５を適用して特徴量の抽出を行った結果を示す図である。屋内での実験経路を示す図である。屋内での評価実験で作成されたビジュアルオドメトリを示す図である。Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す図である。屋外での実験環境の画像と、その画像にＩＣＧＭ２．５を適用して特徴量の抽出を行った結果を示す図である。屋外での実験経路を示す図である。屋外での評価実験で作成されたビジュアルオドメトリを示す図である。Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。

混雑な環境下でも特徴点を抽出した画像を用いたＳＬＡＭにおいて多く用いられている特徴点として、ＳＩＦＴやコーナー点がある。一般にＳＩＦＴやコーナー点などの局所特徴点は対応付けが取りやすく、画像を用いたＳＬＡＭに適している。しかし、多くの人が入り乱れる混雑な環境下で撮影者が取得した画像からＳＩＦＴを抽出すると、撮影者（ロボット等）が少し移動しただけで消えてしまうような弱い特徴点や、動いている人物からの特徴点が多く抽出されてしまうという問題があった。そのような不安定な特徴点が多いと、無駄に処理時間が延びるだけでなく、ＳＬＡＭに悪影響を及ぼすという問題が起こる。

これに対し、上述の特許文献１に示すように、ＰＩＲＦ（Position Invariant Robust Feature）を適用することで、撮影者の移動に対して見た目の変化の小さい部分を特徴として抽出することができ、それにともなって、動いている人物などから抽出される見た目の変化の大きい部分の特徴点を除外できる。

しかし、ＰＩＲＦには、上述したように、実質的に静止している対象物から抽出される特徴点の他に、動いている対象物（人など）から抽出される特徴点が含まれてしまう。こうした動いている対象物（人など）から抽出される特徴点は、ＳＬＡＭにとっては誤差要因となってしまう。そこで、本発明では、ＰＩＲＦによる前処理を行った後にＩＣＧＭを適用することで、残存する動的な特徴量を更に除去している。これにより、動的な特徴量を精度よく除外することができるので、単にＰＩＲＦ又はＩＣＧＭを用いる場合と比べて、より静的な特徴点のみを抽出することができる。このように、ＰＩＲＦ及びＩＣＧＭの両者を適用する手法を、ＩＣＧＭ２．０と称する。

本願発明者等は鋭意実験研究し、上記ＩＣＧＭ２．０を利用して複数の画像データから特徴点を取り出すことで、たくさんの人が存在する混雑な環境下でも安定した静的な特徴点を抽出する方法及び装置を見出した。

実施の形態１
本実施の形態では、人混みなどの動的環境下で取得した連続画像に含まれる局所特徴量を、動的物体からの動的な局所特徴量と静的物体からの安定した静的な局所特徴量とに分け、静的な局所特徴量のみを抽出する。これにより、正確なＳＬＡＭを行うことが可能となる。換言すれば、本実施の形態では、連続画像に含まれる局所特徴量から動的な局所特徴量のみを削除し、静的な局所特徴量を不変特徴量として抽出する。

本実施の形態にかかる特徴量抽出装置について説明する。図１は、本実施の形態にかかる特徴量抽出装置を示す図である。図１に示すように、本実施の形態にかかる特徴量抽出装置１は、連続画像取得部１１、局所特徴量抽出部１２、特徴量マッチング部１３及び不変特徴量算出部１４を有する。

連続画像取得部１１は、ロボット等の移動体が移動する間に連続して撮影した連続画像を取得する。局所特徴量抽出部１２は、連続画像取得部１１により取得した連続画像から各特徴点における局所特徴量を抽出する。特徴量マッチング部１３は、局所特徴量抽出部１２により抽出した局所特徴量について、連続する入力画像間でマッチングをとる。不変特徴量算出部１４は、特徴量マッチング部１３により所定数連続する画像間でマッチングが取れた局所特徴量のうち、位置の変化が所定のしきい値以下である局所特徴量の平均を不変特徴量として求める。

以下、本実施の形態にかかる特徴量抽出装置１の不変特徴量の抽出について、詳細に説明する。図２は、本実施の形態にかかる特徴量抽出装置１の不変特徴量の抽出方法を示すフローチャートである。

ステップＳ１：連続画像取得
まず、連続画像取得部１１は、ロボット等の移動体が移動する間に、連続して撮影した連続画像を取得する。本実施の形態では、連続画像からＰＩＲＦが取得される。ＰＩＲＦは、複数枚の連続画像から抽出される特徴量であるため、入力としては、連続する画像、すなわちビデオ画像が必要となる。ＰＩＲＦで要求される連続画像とは、ある画像セットであって、一定のフレームで、例えば１秒毎に２フレームなど、毎秒毎に連続的に撮影されたビデオ画像をいう。すなわち、ビデオからキャプチャされた画像は一般的に連続的であり、ＰＩＲＦにおける連続画像は、ビデオ画像を使用したものでなければならない。画像の取得率は、カメラの速度に応じて設定される。たとえば、カメラが車に搭載されていた場合、カメラの速度は１分間に約１０００ｍ／分であり、ビデオからキャプチャされる連続画像はおよそ５０乃至１００フレーム／秒となる。

以下、ＰＩＲＦの抽出について具体的に説明しつつ、不変特徴量の抽出について説明する。図３は、本実施の形態にかかる特徴量ＰＩＲＦを抽出する方法を説明する図である。また、図４に、ＩＣＧＭ２．０のアルゴリズムを示す。

ステップＳ２：局所特徴量抽出
局所特徴量抽出部１２は、連続画像取得部１１により取得した連続画像から、各特徴点における局所特徴量を抽出する。局所特徴量抽出部１２は、既存の局所特徴量抽出方法を使用して局所特徴量を抽出する。

局所特徴量抽出部１２は、例えば、ＳＩＦＴ（Scale Invariant Feature Transformation）、又はＳＵＲＦ（Speed Up Robustness Features）の特徴量を使用することができる。または、これらＳＩＦＴやＳＵＲＦに限らず、他の局所特徴量を使用することができることは勿論である。特に、スケール、回転の変動、又はノイズ等に対してロバストな他の局所特徴量を用いることが好ましい。これらの局所特徴量を用いることで、既存の特徴量が有する性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる。ここで、ｉ番目のエリアにおける画像の数をｎ_ｉとし、その中でｊ番目の画像から抽出された局所特徴量の集合をＵ_ｊ ^ｉとする。ここでは、局所特徴量はｕ→で表す。

ステップＳ３：局所特徴量のマッチング
特徴量マッチング部１３は、連続画像間で局所特徴のマッチングを行い、予め定めた枚数間で、連続してマッチングのとれている特徴を選択し、その中でマッチングを行った画像のうち最新の画像から抽出された特徴量とその座標を特徴量ＰＩＲＦとして抽出・記述する。

具体的には、特徴量マッチング部１３は、連続する２枚の画像間全てについて局所特徴量ｕ→を構成する各特徴量のマッチングを行う。すなわち、ｊ＝ｑ番目の画像の全局所特徴量について、ｊ＝ｑ＋１番目の画像の全局所特徴量に対してマッチングを行う。ここでは、それぞれマッチングのとれた特徴へのインデックスをマッチング結果ベクトルｍ_ｑ ^ｉ→として求める。

ここで、マッチング方法の一例について、ＳＩＦＴを例にとって説明する。画像Ｉ_ａから抽出される特徴をｖとする。この特徴ｖが次の画像Ｉ_ａ＋１の特徴ｖ'とマッチングするか否かを判定する。先ず、特徴ｖと画像Ｉ_ａ＋１から抽出した全ての特徴との間のドット積（dot product）を求める。そして、最も類似する特徴ｖ_{ｆｉｒｓｔ}と、２番目に類似する特徴ｖ_{ｓｅｃｏｎｄ}を求めるために、この結果をソートする。もし、

（ｖ_{ｆｉｒｓｔ}・ｖ）／（ｖ_{ｓｅｃｏｎｄ}・ｖ）＞θ

が成立する場合、マッチングのとれた特徴ｖ'＝ｖ_{ｆｉｒｓｔ}と判定する。ここで、閾値θはたとえば０．６とすることができる。上記が成立しない場合は、画像Ｉ_ａにおける特徴ｖにマッチングする特徴は、画像Ｉ_ａ＋１には存在しないと判定する。

図３に示すように、各入力画像から６つの局所特徴量が抽出された場合について説明する。これら６つの局所特徴量間でマッチングを取り、マッチングが取れた場合にのみ、マッチングが取れた特徴量へのインデックスを付す。例えば、ｍ_１ ^ｉ→の１番目の局所特徴量は、ｍ_２ ^ｉ→の３番目の局所特徴量とマッチングがとれていることを示し、ｍ_２ ^ｉ→の３番目の特徴量は、ｍ_３ ^ｉ→の６番目の特徴量とマッチングが取れていることを示す。

次に、特徴量マッチング部１３は、連続特徴量を選択する。先ず、いくつのｍ_ｑ ^ｉ→を使用して連続特徴量を求めるかを決定する。このｍ_ｑ ^ｉ→の数を、本明細書においては、ウィンドウサイズｗともいう。また、このウィンドウサイズｗに含まれるｍ_ｑ ^ｉ→の集合を、サブプレイスという。ここで、ウィンドウサイズｗが大きいほどより頑健な、識別力の高い連続特徴量のみを抽出できるが、大きすぎると特徴数が極端に少なくなってしまう。また、小さすぎると、頑健ではない、識別力のないような特徴量も抽出してしまうので、目的等に応じて最適な大きさとする必要がある。

本実施の形態においては、ウィンドウサイズｗを３とする。したがって、連続する４枚の入力画像を使用して連続特徴量を求める。すなわち、図３に示すように、１番目のサブプレイスには、ｍ_１ ^ｉ→、ｍ_２ ^ｉ→、ｍ_３ ^ｉ→が含まれ、入力画像Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４が対応する。なお、インデックスの数が０の場合は、次にマッチングする特徴量がないことを示す。よって、図３の場合、１番目のサブプレイスには、３つの連続特徴量が含まれることになる。

特徴量マッチング部１３は、ウィンドウサイズｗを設定したらこのウィンドウｗをひとつずつずらしながら、そのウィンドウサイズに含まれる画像４枚内で共通して出現する特徴を連続特徴量として抽出する。ウィンドウサイズｗを設定したら、連続特徴量を抽出するために用いる関数を以下のように定義する。ただし、ｂは注目するインデックスベクトルの番号とする。

特徴量マッチング部１３は、全てのマッチング結果ベクトルｍ_ｑ ^ｉ→について、ｆ（ｍ_ｘ,ｙ ^ｉ）を計算し、ｆ（ｍ_ｘ,ｙ ^ｉ）＞０となるときの局所特徴量ｕ_ｘ,ｙ ^ｉ→のみを抽出する。入力画像の数がｎ_ｉ、ウィンドウサイズがｗのとき、サブプレイスの数は、ｎ_ｉ−ｗ＋１となる。なお、このウィンドウサイズは、可変であってもよく、周りの状況等に合わせて、適宜変更してもよい。

ステップＳ４：不変特徴量の算出
不変特徴量算出部１４は、同一ウィンドウグループであるサブプレイス内においてマッチングがとれた局所特徴量の平均を求める。これらのベクトルのうち、サブプレイス内の最新の画像から抽出された特徴量とその座標によりＰＩＲＦ辞書が構成される。全サブプレイス（ｎ_ｉ−ｗ＋１）個から抽出された（ｎ_ｉ−ｗ＋１）個のサブプレイスＰＩＲＦ辞書（Ｄ_ｊ ^ｉ，ｊ≦ｎ_ｉ−ｗ＋１）をＰＩＲＦ辞書（Ｄ^ｉ）に登録する。このＰＩＲＦ辞書を構成する、マッチングがとれた局所特徴量の平均各がＰＩＲＦである。

次いで、不変特徴量算出部１４は、ＰＩＲＦに残存する動的な局所特徴量を削除するため、ＰＩＲＦに対してＩＣＧＭを適用する（ＩＣＧＭ２．０）。

ＩＣＧＭでは、まず、時間的に異なるフレームのそれぞれについて、複数の静的な局所特徴量の重心を計算し、この重心から各局所特徴量へのベクトルを求める。そして、求めたベクトルを、異なるフレーム間で比較し、各局所特徴量へのベクトルが異なっていた場合、その局所特徴量を動的な局所特徴量と識別する。

ＩＣＧＭでは、例えば図５に示すように、画像Ｉ_ｔに特徴量Ａ、Ｂ、Ｃ、Ｄ及びＥが存在し、Ｉ_ｔ−１に対応する特徴量ａ，ｂ，ｃ，ｄ及びｅが存在するものとする。また、特徴量Ａ、Ｂ及びＣは静的な特徴量，特徴量Ｄ及びＥは動的か静的かが不明な特徴量とし、対応する特徴量も同様とする。この場合、ＩＣＧＭでは、まず静的な特徴量Ａ、Ｂ及びＣの重心Ｏを求め、同様にａ、ｂ及びｃの重心ｏを求める。次に、重心Ｏから静的か動的か不明な特徴量Ｄ及びＥへのベクトルと、重心ｏから静的か動的か不明な特徴量ｄ及びｅへのベクトルを計算する。

図５の例では、

と

とはフレーム間で異なっており、

と

とはフレーム間で等しい。よって，特徴量Ｄは動的な特徴量、特徴量Ｅは静的な特徴量と識別される。

まず、不変特徴量算出部１４は、ＰＩＲＦによって抽出された局所特徴量の重心位置を算出する。ここで、ＰＩＲＦによって抽出された局所特徴量の数をｎ（ｎは、任意の正の整数）とする。ＰＩＲＦによって抽出された局所特徴量の座標をｐ_ｉ（ｉは、０≦ｉ≦ｎを満たす整数）とすると、重心位置ＣＧは、以下の式（１）で表される。

また、重心位置ＣＧからの任意の局所特徴量の座標Ｐ_ｘへのベクトルの要素を、以下の式（２）で示すように定義する。

式（２）より、時間的に連続するフレームＩ_ｔ−１（第２のフレームとも称する）及びＩ_ｔ（第１のフレームとも称する）において、重心位置ＣＧとこれらフレーム間でマッチングされた局所特徴量p との関係を表すベクトルＣＧＶ_Ｔ−１及びＣＧＶ_Ｔが得られる。これらのベクトルを以下の式（３）に適用することで、誤差率ＲｏＤを算出する。

このＲｏＤを閾値Ｔｈｒと比較し、ＲｏＤ≦Ｔｈｒならば、その局所特徴量を静的な局所特徴量として判断する。また、ＲｏＤ＞Ｔｈｒならば、その局所特徴量を動的な局所特徴量と判断・削除し、残った局所特徴量により、ＩＣＧＭ２．０辞書が構成される。

このように抽出されたＩＣＧＭ２．０辞書に含まれる局所特徴量は、各画像から抽出されたＳＩＦＴ特徴点のうち、すべての隣り合った画像間でマッチングがとれた特徴点であり、かつ、動的な特徴点が排除されたものとして抽出される。よって、主として静的ないしは実質的に静的な特徴点のみを抽出することができる。

実験によるＩＣＧＭ２．０の優位性の検証
実施例１：動的な特徴量の削除
ここでは、ＩＣＧＭ２．０の優位性の検証のために、動的な特徴量の削除の結果について評価する。実験環境は多くの人が行き交う環境を選んで行った。また、実験においては、ＰＩＲＦの局所特徴量のマッチングに対する閾値Ｔｈｒ_ＰＩＲＦを６５、ＩＣＧＭの誤差率に関する閾値Ｔｈｒ_ＩＣＧＭを０．７とした。ＩＣＧＭ２．０についても、Ｔｈｒ_ＰＩＲＦ＝６５、Ｔｈｒ_ＩＣＧＭ＝０．７とした。

本実施例では、局所特徴量としてＯＲＢ（E.Rublee, V.Rabaud, K.Konolige and G.Bradski, ”ORB: an efficient alternative to SIFT or SURF”, Proc. International Conference on Computer Vision, 2011）を使用した。ＯＲＢはＳＩＦＴやＳＵＲＦと同様に回転・スケール変化、照明変化等に頑健な局所特徴量である点と計算速度が速い点、そしてマッチングの精度が高い点が特徴である。ＯＲＢによれば、ＳＩＦＴの１００倍、ＳＵＲＦの１０倍の計算速度が実現される。さらに、マッチング精度についても、ＳＩＦＴやＳＵＲＦと同等以上である。

図６に、動的な環境下で撮影された画像に対し、従来手法（ＯＲＢ（つまり、ＰＩＲＦ、ＩＣＧＭ、ＩＣＧＭ２．０のいずれも適用しない場合）、ＰＩＲＦ、ＩＣＧＭ）とＩＣＧＭ２．０とによる動的な特徴量を削除する処理を行った結果を示す。従来手法では動的な局所特徴量は削除されているものの、完全に除去することはできていない。一方で、ＩＣＧＭ２．０では、動的な局所特徴量がほとんど削除されている。

また、図６に示すように、ＯＲＢに比べて、ＩＣＧＭ、ＰＩＲＦ及びＩＣＧＭ２．０では、静的な特徴量も減少してしまっているように見える。この点に関しては、局所特徴量の中でも不安定な局所特徴量が削除されたものと考えられる。静的なものからの局所特徴量であっても、その中には前後の画像には存在していないものや、前後の画像上の全く別の特徴量とマッチングしてしまうようなものといった、不安定な局所特徴量も少なからず存在する。こうした不安定な局所特徴量は、ＳＬＡＭを行う上で精度の低下の要因となり得る。しかし、ＩＣＧＭ、ＰＩＲＦ及びＩＣＧＭ２．０では、こういった局所特徴量も動的な特徴量と同様のアルゴリズムで削除することができる。そのため、ＯＲＢに比べて、ＩＣＧＭ、ＰＩＲＦ及びＩＣＧＭ２．０では、静的な特徴量も減少してしまっていると考えられる。

これにより、ＩＣＧＭ２．０は、従来手法に比べて、動的な局所特徴量を精度よく削除し、かつ、安定的かつ静的な局所特徴量を抽出できることが理解できる。

また、ＩＣＧＭ２．０の優位性の検証を更に行うために、ＩＣＧＭ２．０及び従来手法により抽出した局所特徴量を用いた地図構築（ビジュアルオドメトリ）の精度とＬｏｏｐ−Ｃｌｏｓｉｎｇ検出の際の自己位置推定の精度について評価する。

以下の実施例では、ｌｉｂｖｉｓｏ２（A. Geiger, J. Ziegler, and C. Stiller, ”StereoScan: Dense 3D reconstruction in real-time”, IEEE Int. Veh. Symp., 2011）によってビジュアルオドメトリを生成している。

ビジュアルオドメトリの精度の評価方法としては、始点終点間の差であるビジュアルオドメトリの長さで割った誤差率を定義し評価する。この始点終点間の差は、ビジュアルオドメトリを作成する過程で蓄積された誤差だと考えられる。そのため、この誤差率は単位距離あたりに発生する平均的な誤差を表す。ビジュアルオドメトリの評価方法としてはＧｒｏｕｎｄＴｒｕｔｈを用いたものも一般的だが、本研究の実験環境は地下も含み、ＧｒｏｕｎｄＴｒｕｔｈが取得しにくい環境であるため、統一的にこの誤差率で評価を行う。

自己位置推定の精度の評価方法としては、表１に従って得られたＴＰ、ＦＰ、ＴＮ及びＦＮを用いて、式（５）及び（６）から求められたＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌとを基に評価する。

Ｐｒｅｃｉｓｉｏｎ＝ＴＰ／（ＴＰ＋ＦＰ）・・・（５）
Ｒｅｃａｌｌ＝ＴＰ／（ＴＰ＋ＦＮ）・・・（６）

実験環境は多くの人が行き交う環境を選び、屋内、屋外に分けて行った。また、実験においては、実施例１と同様に、ＰＩＲＦの特徴量のマッチングに対する閾値Ｔｈｒ_ＰＩＲＦを６５、ＩＣＧＭの誤差率に関する閾値Ｔｈｒ_ＩＣＧＭを０．７とした。

実施例２：屋内における実験
実験環境は鉄道の駅の地下改札前の屋内環境であり、非常な混雑が生じ、かつ、多くの人が行き交う動的環境である。図７に、実験経路を示す。実験では、この実験経路に従って実験者がカメラで連続画像を撮影し、その連続画像をもとにビジュアルオドメトリの作成と自己位置推定とを行った。図７の例では、約１００ｍ×約５０ｍの領域において、一周が約２００ｍの経路を用いた。また、点線が地図構築を行った１周目の経路を示し、実線が自己位置推定を行った２周目の経路を示している。

屋内でのビジュアルオドメトリ
ビジュアルオドメトリに関するＩＣＧＭ２．０の優位性の評価を行うにあたり、比較対象を従来手法であるＩＣＧＭ、ＰＩＲＦ、及び、ｌｉｂｖｉｓｏ２のみの場合（ＩＣＧＭ、ＰＩＲＦ、ＩＣＧＭ２．０のいずれも適用しない場合）とする。上述の通り、ｌｉｂｖｉｓｏ２は本発明でも用いているが、ｌｉｂｖｉｓｏ２によるビジュアルオドメトリの作成前にＩＣＧＭ２．０による動的な特徴量の削除が行われているので、ＩＣＧＭ２．０の有無によるビジュアルオドメトリの結果の変化を比較することで、その効果を把握することができる。

図８に、屋内での評価実験で作成されたビジュアルオドメトリを示す。また、表２に各手法の誤差率と１画像あたりの計算時間を示す。

図８と表２とに示すように、ＩＣＧＭ２．０が最も始点と終点の誤差が小さく、誤差率も小さくなっている。

一方、ｌｉｂｖｉｓｏ２はビジュアルオドメトリの形状が本来の実験経路と異なってしまっている。この原因として、歩行者からの動的な特徴量や不安定な特徴量による誤マッチングが起こってしまっていることが考え得る。逆に、ＩＣＧＭ２．０、ＩＣＧＭ、ＰＩＲＦでは、こうした現象は生じていないが、これは動的な特徴量や不安的な特徴量の削除が行われているためだと考えられる。以上より、ビジュアルオドメトリを正確に作成する点において、ＩＣＧＭ２．０の優位性が示された。

図９に、Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す。Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行う前は、同じ地点であるはずの始点と終点の間に差が存在しており、地図として矛盾が生じている。一方で、Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行った後はその矛盾が解消され、ループが閉じている。ループが閉じている地点も、本来同じ地点であるはずの始点と終点であるため、正しい位置でＬｏｏｐ−Ｃｌｏｓｉｎｇ検出が行われていると言える。これにより、ビジュアルオドメトリを作成する際に蓄積された誤差は軽減されていると考えられる。

屋内での自己位置推定
本実験においては、ＩＣＧＭ２．０の比較対象を、従来手法のＩＣＧＭ、ＰＩＲＦ、ＦＡＢＭＡＰ２．０（M . Cummins, P. Newman, "Highly scalable appearance-only SLAM - FAB-MAP 2.0", The International Journal of Robotics, Systems and Science, 2009）とした。ＩＣＧＭとＰＩＲＦとは、共に動的な特徴量を削除することを目的としている点で比較対象とする。また、ＦＡＢＭＡＰ２．０は、現在のＡｐｐｅａｒａｎｃｅ−ｏｎｌｙＳＬＡＭに関する研究の中でも高い精度の自己位置推定を実現している手法であるため、比較対象とした。図１０に、表１と式（５）及び（６）から求められたＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌとを示す。また、表３に、Ｐｒｅｃｉｓｉｏｎを１００％とするときのＲｅｃａｌｌと１画像あたりの計算時間とを示す。

図１０と表３とから、ＩＣＧＭ２．０において最も精度よく自己位置推定が行われていることがわかる。その理由として、他の従来手法に対してＩＣＧＭ２．０は、行き交う人や物などからの動的な特徴量（動的な局所特徴量）や不安定な特徴量（従来手法では静的な局所特徴量とされるものの、ＩＣＧＭ２．０においては上述のように不安定な局所特徴量とされたもの）を削除し、安定的かつ静的な特徴量を効率的に残すことが出来ているためであるという点が考えられる。このことは、図７からも言える。よって自己位置推定に対するＩＣＧＭ２．０の優位性が示された。

実施例３：屋外での実験
実験環境は鉄道の駅前の屋外環境である。実験環境は非常に混雑し、多くの人が行き交う動的環境である。図１１に実験経路を示す。実験ではこの実験経路に従って実験者がカメラで連続画像を撮影し、その連続画像をもとにビジュアルオドメトリの作成と自己位置推定を行った。図１１の例では、約８０ｍ×約１００ｍの領域において、一周が約２３０ｍの経路を用いた。また、赤色鎖線が地図構築を行った１周目の経路を示し、青色点線が自己位置推定を行った２周目の経路を示している。

屋外でのビジュアルオドメトリ
ビジュアルオドメトリに関するＩＣＧＭ２．０の優位性の評価を行う。比較対象は屋内での評価実験と同様に、従来手法のＩＣＧＭ、ＰＩＲＦ、ｌｉｂｖｉｓｏ２とする。図１２に実験で作成されたビジュアルオドメトリを示す。また、表４に、各手法の誤差率と１画像あたりの計算時間を示す。

図１２と表４とから、屋内での評価実験と同様、ＩＣＧＭ２．０が最も始点と終点の誤差が小さく、誤差率も小さくなっている。このことから、屋外屋内問わずＩＣＧＭ２．０は従来手法に対してビジュアルオドメトリに関して優位性があると言える。

また、図１３にＬｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す。こちらの結果もＬｏｏｐ−Ｃｌｏｓｉｎｇ検出は正しい位置で行われた結果、始点と終点との間に生じていた誤差は解消され、ループが閉じている。このことから屋外の環境でも正しい位置でＬｏｏｐ−Ｃｌｏｓｉｎｇ検出が行われていることが確認できた。

これにより、ビジュアルオドメトリを作成する際に蓄積された誤差は軽減されていると考えられる。

屋外での自己位置推定
自己位置推定に関するＩＣＧＭ２．０の優位性の評価を行う。比較対象は、屋内での評価実験と同様に従来手法のＩＣＧＭ、ＰＩＲＦ、ＦＡＢＭＡＰ２．０とする。図１４に、表１と式（５）及び（６）から求められたＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌとを示す。また、表５にＰｒｅｃｉｓｉｏｎを１００％とするときのＲｅｃａｌｌと画像あたりの計算時間を示す。

図１４と表５とからＩＣＧＭ２．０が最も精度よく自己位置推定が行われていると言える。このことからＩＣＧＭ２．０は、行き交う人や物などからの動的な特徴量や不安定な特徴量を削除し、静的で安定な特徴量を効率的に残すことが出来ていると考えられる。よって屋外の環境でも自己位置推定に対するＩＣＧＭ２．０の優位性が示された。

以上で説明したように、本研究では、多くの人や物が行き交う動的な環境でも精度よくＳＬＡＭを行うことを目的とした。そこでＩＣＧＭ２．０を用いた動的な特徴量を削除するＳＬＡＭ手法を構築し、動的な環境下でその評価を行った。そして、動的な特徴量の削除、ビジュアルオドメトリを作成した際の精度、自己位置推定の精度の点で、屋内屋外問わず従来手法に対しＩＣＧＭ２．０の優位性を確認した。

上記のＳＬＡＭについて、本研究では外界センサに単眼カメラのみを用いて実現した．単眼カメラという小型で軽量な外界センサのみを用いたＳＬＡＭは、スマートフォンやウェアラブル端末が普及する現在、応用先が数多く存在する。その中で精度の高い本研究は、我々が生活する実環境にＳＬＡＭの技術が人やロボットのナビゲーションへ応用される中で、大きな貢献ができると考えられる。

実施の形態２
本実施の形態にかかる特徴量抽出方法及び特徴量抽出装置は、実施の形態１にかかる特徴量抽出方法及び特徴量抽出装置の変形例であり、静的な特徴量の抽出精度を更に向上させるものである。実施の形態２にかかる特徴量抽出方法については、ここでは、ＩＣＧＭ２．５とも称する。

静的な特徴量を抽出する（図２のステップＳ４に対応）にあたり、実施の形態１（ＩＣＧＭ２．０）では、抽出した特徴量にＰＩＲＦを適用することで、動的な特徴量を削除している。そして、ＰＩＲＦ処理後の特徴量から、ランダムに重心計算に用いる特徴量を選択し、選択した特徴量を静的な特徴量とみなしている。しかし、選択した特徴量が真に静的な特徴量であることは保証されていないので、ＰＩＲＦをすり抜けた動的な特徴量を選択してしまうと、ＩＣＧＭでの重心位置の計算精度が悪化する。その結果、ＩＣＧＭでの動的な特徴量削除の精度が悪化し、更には静的な特徴量を不必要に削除してしまう事態も生じ得る。

これに対し、本実施の形態にかかるＩＣＧＭ２．５では、ＰＩＲＦの後に、動的な特徴量をマッチング距離に基づいて更に削除するという処理を更に行い、静的な特徴量の抽出精度を更に向上させることができる。以下、具体的に説明する。

図１５は、実施の形態２にかかる静的な特徴量の抽出方法を示す図である。図１５で示す一連の処理は、図２のステップＳ４で行われる処理に対応するものである。

ステップＳ２１
まず、図２のステップＳ３でマッチングされた特徴量から、上述したＰＩＲＦにより、動的な特徴量を削除する。

ステップＳ２２
ＰＩＲＦによって動的な特徴量を削除した後、残存している特徴量のそれぞれについて、連続画像の異なるフレーム間でのマッチング距離を算出する。そして、各特徴量のマッチング距離を計算し、マッチング距離の昇順に特徴量を並べ替える。

ここでいうマッチング距離とは、マッチングした２つの特徴量の類似度を示す指標であり、各特徴量の記述子から得ることができる。本実施の形態で局所特徴量として用いているＯＲＢは、特徴記述手法としてＢＲＩＥＦ（Binary Robust Independent Elementary Features）に回転不変性を加えたものを用いている。ＯＲＢ及びＢＲＩＥＦについては、例えば、E.Rublee, V.Rabaud, K.Konolige, G.Bradski,“ORB: an efficient alternative to SIFT or SURF”,International Conference on Computer Vision(ICCV), Nov, 2011.、及び、M. Calonder, V. Lepetit, C. Strecha, and P. Fua.,“Brief: Binary robust independent elementary features”,European Conference on Computer Vision,2010. 1, 2, 3, 5に記載されている。本実施の形態でいうマッチング距離とは、バイナリコードで表されるＯＲＢ特徴記述子のハミング距離である。

ステップＳ２３
並べ替えた後の特徴量のうち、マッチング距離が小さい順に特徴量を所定の個数だけ選択する。

ステップＳ２４
選択した特徴量を静的な特徴量であると仮定し、これを用いてＩＣＧＭの重心計算を行う。また、実施の形態１で説明したＩＣＧＭでの処理と同様に、動的な特徴量を削除する。

なお、図１６に、実施の形態２にかかる静的な特徴量を抽出するＩＣＧＭ２．５のアルゴリズムを示す。また、参考として、図１７にＰＩＲＦのアルゴリズムを示す。

以上、実施の形態２にかかる本構成及び手法によれば、ＰＩＲＦを行った後に、マッチング距離が小さな特徴量を選択して、選択した特徴量を重心計算に用いるＩＣＧＭを適用する。これにより、ＰＩＲＦをすり抜けた動的な特徴量が存在する場合でも、マッチング距離を用いて更に動的な特徴量が選別、排除されるので、ＩＣＧＭでの重心計算の際に動的な特徴量が紛れ込むおそれを低減することができる。その結果、実施の形態１（ＩＣＧＭ２．０）と比較して、より高い精度で静的な特徴量を抽出することができる。

次いで、以下では、ＩＣＧＭ２．５の優位性について、実験により検証する。

実験によるＩＣＧＭ２．５の優位性の検証
実施例４：動的な特徴量の削除
ここでは、ＩＣＧＭ２．５の優位性の検証のために、動的な特徴量の削除の結果について評価する。実施の形態１と同様に、実験環境は多くの人が行き交う環境を選んで行った。本実験で撮影に用いる機器は手持ちの単眼カメラであり、その解像度は１２８０×９６０ピクセル、連続画像のフレームレートは１２ｆｐｓである。また、ＩＣＧＭの誤差率に関する閾値Ｔｈｒ_ＩＣＧＭを０．７、計算した重心の妥当さを測る閾値Ｔｈｒ_ＣＧを０．７とした。ＰＩＲＦにより参照するフレーム数は、ｗ＝３である。単眼カメラの高さは地面から１．６ｍ、ピッチ角は５．３°に設定される。また、マッチング距離を算出する際の特徴量のピクセルパッチサイズは３１である。なお、計算環境を表６に示す。

図１８に、動的な環境下で撮影された画像に対し、従来手法（ＯＲＢ（つまり、ＰＩＲＦ、ＩＣＧＭ、ＩＣＧＭ２．０、ＩＣＧＭ２．５のいずれも適用しない場合）、ＩＣＧＭ、ＩＣＧＭ２．０及びＩＣＧＭ２．５を適用にて動的な特徴量を削除する処理を行った結果を示す。図１８に示すように、本実施の形態にかかるＩＣＧＭ２．５によれば、ＩＣＧＭ及びＩＣＧＭ２．０と比較して、より動的な特徴量が削除されていることが理解できる。これにより、ＩＣＧＭ２．５は、従来手法、ＩＣＧＭ及びＩＣＧＭ２．０と比べて、動的な局所特徴量を精度よく削除し、かつ、より安定的かつ静的な局所特徴量を抽出できることが理解できる。

また、ＩＣＧＭ２．５の優位性の検証を更に行うために、実施の形態１と同様に、ＩＣＧＭ２．５及び他の手法により抽出した局所特徴量を用いた地図構築（ビジュアルオドメトリ）の精度について評価する。

実施例５：屋内における実験
実験環境は鉄道の駅の地下改札前の屋内環境であり、実施の形態１と同様である。また、計算条件についは、実施例４と同様である。図１９に、屋内での実験環境の画像と、その画像にＩＣＧＭ２．５を適用して特徴量の抽出を行った結果を示す。図１９に示すとおり、通行人などの動く物体上にはほとんど特徴点は設定されておらず、高い精度で動的な特徴量が削除されていることがわかる。

次いで、屋内の所定の経路を１周してビジュアルオドメトリを作成する実験について説明する。図２０に、屋内での実験経路を示す。実験経路は、実施の形態１で説明した実施例２と同様であり、点の位置を始点及び終点として経路を反時計周りに周回する経路（図２１の破線）でのビジュアルオドメトリを作成する。

屋内でのビジュアルオドメトリ
ビジュアルオドメトリに関するＩＣＧＭ２．５の優位性の評価を行うにあたり、比較対象を、ＩＣＧＭ、ＩＣＧＭ２．０、ＰＩＲＦ、及び、ｌｉｂｖｉｓｏ２のみの場合（ＩＣＧＭ、ＰＩＲＦ、ＩＣＧＭ２．０及びＩＣＧＭ２．５のいずれも適用しない場合）とする。

図２１に、屋内での評価実験で作成されたビジュアルオドメトリを示す。また、表７に各手法の誤差率と１画像あたりの計算時間を示す。

なお、図２１では、簡略化のため、実施の形態１にかかるＩＣＧＭ２．０を適用したビジュアルオドメトリ及び実施の形態２にかかるＩＣＧＭ２．５を適用したビジュアルオドメトリのみを表示している。

図２１に示すように、ＩＣＧＭ２．５は、ＩＣＧＭ２．０と比べて始点と終点の誤差が小さく、更に精度が向上していることがわかる。また、表７に示すように、ＩＣＧＭ２．５は、他の手法と比べて誤差率が大幅に小さくなっており、ＩＣＧＭ２．５の高い優位性が現れている。

図２２に、Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す。本実施の形態にかかるＩＣＧＭ２．５では、Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行う前（図２１）でも、始点と終点は近傍に位置しており、かつ、Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行ってもその大部分が重なっており、正確なビジュアルオドメトリを作成できていることが確認できる。これにより、ビジュアルオドメトリを作成する際に蓄積された誤差は、より一層軽減されていると考えられる。

実施例６：屋外での実験
実験環境は鉄道の駅前の屋外環境である。計算条件については、実施例４及び５と同様である。図２３に、屋外での実験環境の画像と、その画像にＩＣＧＭ２．５を適用して特徴量の抽出を行った結果を示す。図２３に示すとおり、通行人などの動く物体上にはほとんど特徴点は設定されておらず、高い精度で動的な特徴量が削除されていることがわかる。

図２４に、屋外での実験経路を示す。実験経路は、実施の形態１で説明した実施例６と同様であり、点の位置を始点及び終点として経路を時計周りに周回する経路（図２４の破線）でのビジュアルオドメトリを作成する。

屋外でのビジュアルオドメトリ
ビジュアルオドメトリに関するＩＣＧＭ２．５の優位性の評価を行う。比較対象は屋内での評価実験と同様に、ＩＣＧＭ、ＩＣＧＭ２．０、ＰＩＲＦ及びｌｉｂｖｉｓｏ２とする。図２５に、屋外での評価実験で作成されたビジュアルオドメトリを示す。また、表８に、各手法の誤差率と１画像あたりの計算時間を示す。

なお、図２５では、簡略化のため、実施の形態１にかかるＩＣＧＭ２．０を適用したビジュアルオドメトリ及び実施の形態２にかかるＩＣＧＭ２．５を適用したビジュアルオドメトリのみを表示している。

図２５に示すように、ＩＣＧＭ２．５は、ＩＣＧＭ２．０と比べて始点と終点の誤差が小さく、更に精度が向上していることがわかる。また、表８に示すように、ＩＣＧＭ２．５は、他の手法と比べて誤差率が大幅に小さくなっており、ＩＣＧＭ２．５の高い優位性が現れている。

また、図２６に、Ｌｏｏｐ−Ｃｌｏｓｉｎｇの有無によるビジュアルオドメトリの変化を示す。実験環境が屋外であるため、動的な物体が多いこと、光量の変化などの要因が屋内よりも多いため、Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行う前の始点と終点とは離れている。しかし、Ｌｏｏｐ−Ｃｌｏｓｉｎｇを行うことで、始点と終点とを一致させることができている。よって、ＩＣＧＭ２．５ではＬｏｏｐ−Ｃｌｏｓｉｎｇにより解消できる程度の誤差しか生じていないことが確認できる。

その他の実施の形態
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

この出願は、２０１６年２月２４日に出願された日本出願特願２０１６−３３２０８及び２０１６年４月２０日に出願された日本出願特願２０１６−８４５３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１特徴量抽出装置
１１連続画像取得部
１２局所特徴量抽出部
１３特徴量マッチング部
１４不変特徴量算出部

Claims

連続して撮影した連続画像を取得する連続画像取得工程と、
前記連続画像取得工程にて取得された連続画像から各特徴点における局所特徴量を抽出する局所特徴量抽出工程と、
前記局所特徴量抽出工程にて抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
前記特徴量マッチング工程にて所定数連続する画像間でマッチングが取れた局所特徴量のうち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める不変特徴量算出工程と、を有する、
特徴量抽出方法。
前記不変特徴量算出工程において、
前記マッチングが取れた局所特徴量のそれぞれについてマッチング距離を算出し、
前記マッチングが取れた局所特徴量を、算出したマッチング距離に基づいて並べ替え、
前記マッチング距離が小さい順に、前記マッチングが取れた局所特徴量から所定の個数の局所特徴量を選択し、
選択した局所特徴量のうち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める、
請求項１に記載の特徴量抽出方法。
前記連続画像の第１のフレームにおいて、前記マッチングが取れた局所特徴量から選択したものの重心位置を計算し、かつ、前記マッチングが取れた局所特徴量から選択したもののそれぞれと、前記重心位置と、を結ぶベクトルを求め、
前記第１のフレームに対して時間的に前又は後の前記連続画像の第２のフレームにおいて、前記マッチングが取れた局所特徴量から選択したものの重心位置を計算し、かつ、前記マッチングが取れた局所特徴量から選択したもののそれぞれと、前記重心位置と、を結ぶベクトルを求め、
前記マッチングが取れた局所特徴量のそれぞれについて、前記第１のフレームにおいて求めた前記ベクトルと、前記第２のフレームにおいて求めた前記ベクトルと、の間の誤差が所定の閾値以下である場合に、対応する局所特徴量の平均を前記不変特徴量として求める、
請求項１又は２に記載の特徴量抽出方法。
前記マッチングが取れた局所特徴量のそれぞれについて前記第１のフレームにおいて求めた前記ベクトルをＣＧＶ_Ｔ、前記マッチングが取れた局所特徴量のそれぞれについて前記第２のフレームにおいて求めた前記ベクトルをＣＧＶ_Ｔ−１としたときに、
前記誤差であるＲｏＤは、以下の式で求められる、
請求項３に記載の特徴量抽出方法。
連続して撮影した連続画像を取得する連続画像取得手段と、
前記連続画像取得手段により取得した連続画像から各特徴点における局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出した前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量のうち、前記連続画像間における位置の変化が所定のしきい値以下である局所特徴量の平均を、不変特徴量として求める不変特徴量算出手段と、を有する、
特徴量抽出装置。