JP6897668B2 - 情報処理方法および情報処理装置 - Google Patents

Description

本開示は、情報処理方法および情報処理装置に関する。

近年、地図情報を利用した種々のサービスが提案されている。また、実世界において観測した情報に基づいて三次元地図を生成する手法も提案されている。上記のような三次元地図を利用した装置には、例えば、特許文献１に記載のナビゲーション装置がある。

国際公開第２００５／０３８４０２号

しかし、特許文献１に記載の三次元地図は、実世界における環境を充分に考慮していないため、状況によっては、特許文献１に記載の三次元地図を用いて自己位置推定を行うことが困難な場合がある。

そこで、本開示では、実世界の環境に応じたより精度の高い位置情報を提供することが可能な情報処理方法および情報処理装置を提案する。

本開示によれば、プロセッサが、単位エリア周辺において収集された観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成すること、を含む、情報処理方法が提供される。

また、本開示によれば、取得された画像情報から特徴点及び前記特徴点に係る局所特徴量を抽出する演算部と、収集された観測情報に基づいて特徴点リストを取得する通信部と、を備え、前記演算部は、前記局所特徴量と前記特徴点リストに基づいて自己位置推定を行い、前記特徴点リストは、前記観測情報の観測地点を含む単位エリアに関連付いた前記特徴点の三次元座標位置、及び前記特徴点に係る局所特徴量を含む、情報処理装置が提供される。

また、本開示によれば、単位エリア周辺において収集された観測情報を受信する通信部と、前記観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成するリスト生成部、を備える、情報処理装置が提供される。

以上説明したように本開示によれば、実世界の環境に応じたより精度の高い位置情報を提供することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る自動運転車の周辺環境を模式的に示した図である。 本開示に係る自動運転車が認識する周囲環境のイメージ図である。 本開示に係る特徴点の信頼度について説明するための概念図である。 本開示に係る環境状況に影響される特徴点の信頼度について説明するための図である。 本開示に係る環境状況に影響される特徴点の信頼度について説明するための図である。 本開示に係る環境状況に影響される特徴点の信頼度について説明するための図である。 本開示に係る室内空間における特徴点の観測を説明するための図である。 本開示の実施形態に係るシステム構成例である。 同実施形態に係る情報処理サーバの機能ブロック図である。 同実施形態に係る情報処理装置の機能ブロック図である。 同実施形態の推奨特徴点リストの生成に係る入出力の概念図である。 同実施形態の推奨特徴点リストのデータ構成例である。 同実施形態のデータ選択部に係る入出力の概念図である。 同実施形態の使用データ判定に係る流れを示すフローチャートである。 同実施形態の特徴点抽出部に係る入出力の概念図である。 同実施形態のリスト生成部に係る入出力の概念図である。 同実施形態の奨特徴点リスト生成に係る流れを示すフローチャートである。 同実施形態に係る近傍単位エリアから観測され得る特徴点について説明するための図である。 同実施形態に係る報処理装置による自己位置推定の流れを示すフローチャートである。 同実施形態の演算部に係る入出力の概念図である。 本開示に係るハードウェア構成例である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の概要
１．１．特徴点を用いた自己位置推定
１．２．特徴点追跡による自動運転
１．３．特徴点の信頼度
２．実施形態
２．１．本実施形態に係るシステム構成例
２．２．情報処理サーバ１０
２．３．情報処理装置２０
２．４．推奨特徴点リスト生成の概要
２．５．使用データ選択の詳細
２．６．三次元地図生成の詳細
２．７．推奨特徴点リスト生成の詳細
２．８．本実施形態に係る作用効果
２．９．情報処理装置２０の自己位置推定
３．ハードウェア構成例
４．まとめ

＜１．本開示の概要＞
＜＜１．１．特徴点を用いた自己位置推定＞＞
近年、地図情報を利用する種々の装置が開発されている。上記のような装置の代表的な例としては、ナゲーション装置が挙げられる。一般的に、ナゲーション装置は、ＧＰＳにより取得した座標情報と保有する地図情報とに基づいて、経路ナビゲーションなどの機能を実行することができる。

しかし、上記のようなナビゲーション装置は、ＧＰＳ測位が行えない場所では現在位置を正確に把握することが困難である。また、室内などにおいては、特に信号が受信しづらいため、本来の機能を発揮することが難しい。

一方、自己位置推定を行う手法として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの技術が知られている。ＳＬＡＭとは、自己位置推定と環境地図生成を同時に行う手法である。ＳＬＡＭでは、カメラなどのセンサから取得した観測情報から特徴点を抽出し当該特徴点を追跡することで、上記の自己位置推定と環境地図生成を行うことが可能である。

しかし、ＳＬＡＭでは、追跡する特徴点の選択が自己位置推定の精度に大きく影響することが知られている。例えば、自律移動する動物体に係る特徴点や、他と混同しやすい特徴点を選択した場合、誤差の蓄積を招き自己位置を正しく推定することが困難となる。このため、自己位置推定においては、信頼度の高い特徴点をいかに選択するか、が重要な鍵となる。すなわち、自己位置推定や、自己位置推定に基づく制御を行う装置にとっては、信頼度の高い特徴点情報が求められている。

＜＜１．２．特徴点追跡による自動運転＞＞
ここで、特徴点を用いた自己位置推定を行う装置について、具体例を挙げて説明する。上記のような装置には、例えば、自動運転車がある。自動運転車は、各種のセンサにより取得した情報から周囲の環境を認識し、認識した環境に応じて自律走行を実現することができる。この際、適切な運転制御を実現するためには、精度の高い自己位置推定を行うことが求められる。

図１Ａ及び図１Ｂは、自動運転車による周囲環境の認識について説明するための図である。図１Ａは、実世界における自動運転車ＡＶ１の周囲環境を模式的に示した図である。図１Ａを参照すると、自動運転車ＡＶ１の周囲には、動物体ＤＯ１〜ＤＯ４と静物体ＳＯ１〜４が存在している。ここで、動物体ＤＯ１〜ＤＯ４は、動的に移動する物体であってよく、図１Ａに示す一例においては、それぞれ車両、自転車、または歩行者として示されている。また、静物体ＳＯ１〜４は、自律的に移動しない物体であってよく、同図の一例では、それぞれ信号機、看板、街路樹、または建物として示されている。

次に、図１Ｂを参照して、自動運転車ＡＶ１が認識する周囲環境の例について説明する。図１Ｂは、自動運転車ＡＶ１が認識する周囲環境を模式的に示した図である。図１Ｂに示すように、自動運転車ＡＶ１は、例えば、画像情報を含む観測情報に基づいて検出した特徴点により周囲環境を認識することができる。このため、図１Ｂでは、動物体ＤＯ１〜ＤＯ４及び静物体ＳＯ１〜４は、それぞれ自動運転車ＡＶ１が検出した特徴点の集合により表されている。このように、自動運転車ＡＶ１は、搭載されるカメラ等からの情報を基に検出した物体の特徴点を追跡することで、周囲の環境を認識することができる。

しかし、この際、自動運転車ＡＶ１が信頼度の低い特徴点に基づいて自己位置推定を行うと、推定位置と現実位置とに乖離が生じる可能性がある。この場合、自動運転車ＡＶ１は、適切な運転制御を行うことができず、事故を引き起こす可能性も考えられる。このため、安全確保の観点からも、より精度の高い自己位置推定を行うことが求められる。

＜＜１．３．特徴点の信頼度＞＞
以上、特徴点を用いた自己位置推定と、自己位置推定を行う装置の具体例について説明した。本開示に係る情報処理方法および情報処理装置は、上記で説明したような特徴点の信頼度に着目して発想されたものであり、特徴点の信頼度に基づいた推奨特徴点リストを生成することが可能である。また、本開示に係る推奨特徴点リストは、特徴点の局所特徴量を併せて有することを特徴の一つとする。

ここで、本開示に係る特徴点の信頼度について説明する。本開示において、信頼度の高い特徴点とは、単位エリアにおいてより多くの観測点から観測され得る特徴点であってもよい。すなわち、本開示における信頼度の高い特徴点とは、観測実績の高い特徴点ともいえる。また、本開示における信頼度の高い特徴点は、後述する投影誤差最小化や特徴点の追跡において、他の特徴点と混同しにくい特徴点であってもよい。

図２は、本開示に係る特徴点の信頼度について説明するため概念図である。図２には、単位エリアＡ１において観測される特徴点Ｆ１及びＦ２と、観測地点Ｌ１〜Ｌ４とが示されている。ここで、観測地点Ｌ１〜Ｌ４から特徴点Ｆ１またはＦ２に伸びる矢印は、それぞれの観測地点Ｌ１〜Ｌ４から特徴点Ｆ１またはＦ２が観測できることを表している。

すなわち、図２に示す一例では、観測地点Ｌ１及びＬ２からは特徴点Ｆ１及びＦ２の両方が観測でき、観測地点Ｌ３及びＬ４からは特徴点Ｆ１のみが観測できることを示している。この際、本開示においては、特徴点Ｆ１は特徴点Ｆ２と比較して信頼度が高いといえる。

このように、本開示に係る情報処理方法では、より多くの観測地点から観測され得る特徴点を信頼度の高い特徴点として定義することもできる。

一方、同一の単位エリアにおける同一の特徴点であっても、環境状況によって信頼度が左右されることがある。図３Ａ〜図３Ｃは、環境状況に影響される特徴点の信頼度について説明するための図である。ここで、図３Ａ〜図３Ｃは、例えば、自動運転車の車載カメラにより取得された画像を示す例であってよい。また、図３Ａ〜図３Ｃは、同一の観測地点から同一の視点で撮影された画像を示す例であってよい。

図３Ａは、快晴の状態で撮影された画像の例を示している。図３Ａを参照すると、画像中には、ビルに係る特徴点Ｆ３と高層タワーに係る特徴点Ｆ４とが示されている。すなわち、図３Ａに示す画像を取得した観察地点においては、快晴の場合、特徴点Ｆ３及びＦ４の両方が観察され得ることがわかる。

一方、図３Ｂは、雨天の状態で撮影された画像の例を示している。図３Ｂを参照すると、画像中には、ビルに係る特徴点Ｆ３のみが示されている。図３Ｂに示す一例では、雲により高層タワーの頂上部が遮られており、特徴点Ｆ４は観測されていない。すなわち、図３Ｂに示す画像を取得した観察地点においては、雨天の場合、特徴点Ｆ３のみが観察され得ることがわかる。

また、図３Ｃは、夜間において撮影された画像の例を示している。図３Ｃを参照すると、画像中には、高層タワーに係る特徴点Ｆ４のみが示されている。図３Ｃに示す一例では、光の量が少ないためビルの頂上部が明瞭に撮影できておらず、特徴点Ｆ３は観測されていてない。すなわち、図３Ｃに示す画像を取得した観測地点においては、夜間の場合、特徴点Ｆ４のみが観察され得ることがわかる。

以上説明したように、同一の単位エリアにおいても、環境状況によって観測され得る特徴点は異なる。このため、本開示に係る情報処理方法では、環境状態に応じた推奨特徴点リストを生成してよい。例えば、本開示に係る情報処理方法では、快晴、雨天、または夜間などの環境状態ごとに推奨特徴点リストを生成することが可能である。これにより、環境状態に応じた信頼度の高い特徴点情報を提供することが可能となる。

また、本開示に係る情報処理方法では、室外のみならず室内における推奨特徴点リストを生成することができる。図４は、室内空間における特徴点の観測を説明するための図である。図４は、例えば、空港において撮影された画像の例であってもよい。

図４を参照すると、画像中には、植木に係る特徴点Ｆ５が示されている。室内空間においては、建造物の構造上、類似した風景が連続することが多い。また、異なる階であっても、同一構造を取る建造物が多い。このため、室内空間においては、建造物の構造とは独立した静物体に係る特徴点を信頼度が高い特徴点として想定することも可能である。この際、本開示に係る情報処理方法では、観測された情報から物体認識などを行うことで、特徴点に係る物体の特性を識別してもよい。

以上、本開示に係る特徴点の信頼度について説明した。上述したように、本開示に係る情報処理方法では、特徴点の信頼度に基づいた推奨特徴点リストを生成し、各種の装置に提供することが可能である。ここで、上記の装置は、例えば、自動運転車を制御する自動運転ＡＩや、ナビゲーション装置、自己位置推定に基づいて仮想現実や拡張現実に係る機能を提供するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが含まれてよい。

上述した各種の装置は、本開示に係る情報処理方法により生成される推奨特徴点リストを用いることで、より精度の高い自己位置推定を行うことが可能となる。また、本開示に係る推奨特徴点リストには、特徴点に係る局所特徴量が含まれているため、特徴量抽出に係る処理負担を低減することができる。さらには、現在位置からの推奨特徴点の逆引きが容易になるという効果を奏する。

＜２．実施形態＞
＜＜２．１．本実施形態に係るシステム構成例＞＞
まず、本実施形態に係るシステム構成例について説明する。図５を参照すると、本実施系形態に係るシステムは、情報処理サーバ１０と、複数の情報処理装置２０ａ及び２０ｂと、移動体３０と、を備える。また、情報処理サーバ１０と、情報処理装置２０ａ及び２０ｂと、は通信が行えるようにネットワーク４０を介して接続される。

ここで、本実施形態に係る情報処理サーバ１０は、単位エリア周辺において収集された観測情報に基づいて特徴点リストを生成する情報処理装置であってよい。本実施形態に係る情報処理サーバ１０は、上述したとおり、環境状況に応じた特徴点リストを生成することができる。なお、上記の単位エリアは、屋内空間におけるエリアであってもよい。

また、本実施形態に係る情報処理装置２０は、情報処理サーバ１０から取得した特徴点リストに基づいて自己位置推定を行う種々の装置であってよい。図４に示す一例では、情報処理装置２０ａは、後述する移動体３０に搭載される自動運転ＡＩであってよい。また、情報処理装置２０ｂは、眼鏡型のウェアラブル装置であってよい。

一方、本実施形態に係る情報処理装置２０は、図５に示す例に限定されない。本実施形態に係る情報処理装置２０は、例えば、ナビゲーション装置、ＨＭＤ、または各種のロボットなどであってもよい。本実施形態に係る情報処理装置２０は、自己位置推定を行う種々の装置として定義できる。

また、移動体３０は、情報処理装置２０を搭載する車両などの移動体であってよい。移動体３０は、例えば、自動運転ＡＩとしての機能を有する情報処理装置２０が制御する自動運転車であってもよい。この際、移動体３０は、室外を走行する自動運転車であってもよいし、例えば空港などにおいて室内を走行する特殊車両であってもよい。また、本実施形態に係る移動体３０は車両に限定されず、例えばドローンを含む無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などであってもよい。

また、本実施形態に係る移動体３０は、実世界において観測した観測情報を情報処理装置２０に引き渡す機能を有する。ここで、上記の観測情報には、例えば、ＲＧＢ−Ｄカメラ、レーザーレンジファインダー、ＧＰＳ、Ｗｉ―Ｆｉ（登録商標）、地磁気センサ、気圧センサ、加速度センサ、ジャイロセンサ、または振動センサなどにより取得される情報が含まれてよい。

また、ネットワーク４０は、情報処理サーバ１０と情報処理装置２０を接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係るシステム構成例について説明した。以降の説明では、本実施形態に係る情報処理サーバ１０と情報処理装置２０の機能構成上の特徴について述べる。

＜＜２．２．情報処理サーバ１０＞＞
次に本実施形態に係る情報処理サーバ１０について詳細に説明する。本実施形態に係る情報処理サーバ１０は、単位エリア周辺において収集された観測情報を受信する機能を有してよい。また、情報処理サーバ１０は、上記の観測情報から検出した特徴点の三次元座標と、上記特徴点の局所特徴量と、を関連付けた特徴点リストを生成することができる。また、ここで、上記の特徴点リストは、環境情報に関連付いた特徴点リストであってよい。

図６は、本実施形態に係る情報処理サーバ１０の機能ブロック図である。図６を参照すると、本実施形態に係る情報処理サーバ１０は、データ選択部１１０、特徴点抽出部１２０、リスト生成部１３０、及び装置通信部１４０を備える。

（データ選択部１１０）
データ選択部１１０は、本実施形態に係る特徴点リストの生成に際し、元となる観測情報の選択を行う機能を有する。具体的には、データ選択部１１０は、単位エリアと環境情報とに基づいて、特徴点リストの生成に用いる観測情報を選択してよい。

また、データ選択部１１０は、道路地図を含む、地図情報、単位エリアにおける通行履歴や歩行履歴に基づいて、特徴点リストを生成する対象となる単位エリアを選択してもよい。なお、データ選択部１１０によるデータ選択の詳細については後述する。

（特徴点抽出１２０）
特徴点抽出部１２０は、データ選択部１１０が選択した観測情報に基づいて、単位エリアに係る特徴点地図を生成する機能を有する。具体的には、特徴点抽出部１２０は、上記の特徴点地図を生成するために、複数の観測情報から特徴点を検出し、当該特徴点のマッチングを行う機能を有する。

また、特徴点抽出部１２０は、特徴点のマッチング結果に基づいて、カメラパラメータの算出を行ってよい。さらに、特徴点抽出部１２０は、算出したカメラパラメータに基づいて、投影誤差の最小化処理を行うことができる。特徴点抽出部１２０による特徴点地図生成の詳細については、後述する。

（リスト生成部１３０）
リスト生成部１３０は、特徴点抽出部１２０が生成した特徴点地図に基づいて、特徴点リストを生成する機能を有する。より具体的には、リスト生成部１３０は、単位エリアごとに特徴点を順位付けした推奨特徴点リストを生成することができる。

この際、リスト生成部１３０は、特徴点の投影誤差、または観測情報の観測地点に係る位置誤差などに基づいて、上記の順位付けを行ってもよい。すなわち、リスト生成部１３０は、より誤差の小さい特徴点を信頼度が高い特徴点として抽出することができる。

また、リスト生成部１３０は、特徴点に係る観測情報の数に基づいて上記の順位付けを行ってもよい。すなわち、リスト生成部１３０は、より多くの観測情報から抽出される特徴点を信頼度が高い特徴点として抽出することができる。

さらに、リスト生成部１３０は、特徴点リストを生成する単位エリアの近傍に位置する別の単位エリアにおいて観測された、特徴点に係る観測情報の数に基づいて、上記の順位付けを行ってもよい。すなわち、リスト生成部１３０は、近傍の単位エリアからも観察され得る特徴点を信頼度が高い特徴点として抽出することができる。なお、リスト生成部１３０による推奨特徴点リスト生成の詳細については後述する。

（装置通信部１４０）
装置通信部１４０は、情報処理装置２０との通信を実現する機能を有する。具体的には、本実施形態に係る装置通信部１４０は、単位エリア周辺において収集された観測情報を、情報処理装置２０から受信する機能を有する。また、装置通信部１４０は、情報処理装置２０からの要求に基づいて、推奨特徴点リストを情報処理装置２０に送信する機能を有する。

以上、本実施形態に係る情報処理サーバ１０の機能構成について説明した。上述したとおり、本実施形態に係る情報処理サーバ１０は、取得した観測情報に基づいて、単位エリアと環境情報とに応じた推奨特徴点リストを生成することができる。また、上記の推奨特徴点リストは、特徴点に係る局所特徴量を有する。本実施形態に係る情報処理サーバ１０が有する上記の機能によれば、信頼度の高い特徴点情報を提供することが可能となり、情報処理装置２０による自己位置推定の精度を効果的に高めることができる。

＜＜２．３．情報処理装置２０＞＞
次に、本実施形態に係る情報処理装置２０について詳細に説明する。本実施形態に係る情報処理装置２０は、自己位置推定を行う各種の装置であってよい。このため、本実施形態に係る情報処理装置２０は、取得された画像情報から特徴点及び当該特徴点に係る局所特徴量を抽出する機能を有する。また、情報処理装置２０は、収集された観測情報に基づいて特徴点リストを取得する機能を有する。

また、本実施形態に係る情報処理装置２０は、抽出した局所特徴量と上記の特徴点リストに基づいて自己位置推定を行う機能を有する。ここで、上記の特徴点リストとは、情報処理サーバ１０により生成される推奨特徴点リストであってよい。すなわち、上記の特徴点リストは、観測情報の観測地点を含む単位エリアに関連付いた特徴点の三次元座標位置と、当該特徴点に係る局所特徴量と、を含んだリストであってよい。

図７は、本実施形態に係る情報処理装置２０の機能ブロック図である。図７を参照すると、本実施形態に係る情報処理装置２０は、演算部２１０、機能制御部２２０、及びサーバ通信部２３０を備える。

（演算部２１０）
演算部２１０は、取得された画像情報から、特徴点と当該特徴点に係る局所特徴量と、を抽出する機能を有する。また、演算部２１０は、上記の画像情報を取得した撮像部（図示しない）のカメラパラメータを算出する機能を有する。ここで、上記のカメラパラメータは、三次元座標位置、姿勢情報、速度、角速度、３軸回転姿勢、３軸回転速度、及び３軸回転加速度などを含んでよい。

本実施形態に係る演算部２１０は、上記のカメラパラメータ算出において、情報処理サーバ１０から取得された推奨特徴点リストを参照することで、処理に係る効率を大幅に改善することが可能である。

（機能制御部２２０）
機能制御部２２０は、演算部２１０が算出したカメラパラメータに基づいて情報処理装置２０の動作を制御する機能を有する。すなわち、機能制御部２２０は、上記のカメラパラメータに基づいて情報処理装置２０の特性に応じた種々の動作を制御してよい。

例えば、情報処理装置２０が自動運転ＡＩである場合、機能制御部２２０は、移動体３０の動作を制御する動作制御部としての機能を有してよい。すなわち、この場合、機能制御部２２０は、自己位置推定の結果に基づいて、移動体３０の運転制御を行うことができる。

また、例えば、情報処理装置２０が仮想現実や拡張現実に係る機能を有するＨＭＤなどである場合、機能制御部２２０は、上記のカメラパラメータに基づいて、仮想現実または拡張現実に係る表示制御を行う表示制御部としての機能を有してよい。すなわち、この場合、機能制御部２２０は、自己位置推定の結果に基づいて、仮想オブジェクトなどの表示制御を行うことができる。

また、例えば、情報処理装置２０がナビゲーション機能を有する装置である場合、機能制御部２２０は、上記のカメラパラメータに基づいて、移動体３０に係る経路ナビゲーションを行うナビゲーション部としての機能を有してよい。すなわち、この場合、機能制御部２２０は、自己位置推定の結果に基づいて、精度の高いナビゲーションを実現することができる。

（サーバ通信部２３０）
サーバ通信部２３０は、収集された観測情報に基づいて情報処理サーバ１０から推奨特徴点リストを取得する機能を有する。ここで、情報処理装置２０が自動運転ＡＩやナビゲーション装置である場合、上記の観測情報は、移動体３０に備えられたセンサから取得された観測情報であってよい。また、情報処理装置２０がＨＭＤやウェアラブル装置である場合、上記の観測情報は、情報処理装置２０が備える各種のセンサにより取得される観測情報であってよい。

また、サーバ通信部２３０は、収集された環境情報にさらに基づいて、上記の推奨特徴点リストを取得できてよい。この際、取得される推奨特徴点リストは、環境情報に関連付いた特徴点リストであってよい。

また、上記の環境情報は、情報処理装置２０や移動体３０が備える各種のセンサから取得される情報であってもよいし、サーバ通信部２３０がネットワークを介して取得した情報であってもよい。サーバ通信部２３０は、例えば、インターネット上から取得した気象情報に基づいて、情報処理サーバ１０に推奨特徴点リストを要求することができる。

以上、本実施形態に係る情報処理装置２０について詳細に説明した。上述したとおり、本実施形態に係る情報処理装置２０は、取得した観測情報と環境情報とに基づいて、情報処理サーバ１０から推奨特徴点リストを受信することができる。また、情報処理装置２０は、上記の推奨特徴点リストを用いて、精度の高い自己位置推定を実現することができる。本実施形態に係る情報処理装置２０によれば、自己位置推定に基づく制御を大幅に改善することが可能となる。

＜＜２．４．推奨特徴点リスト生成の概要＞＞
次に、本実施形態に係る推奨特徴点リストの生成について概要を説明する。上述したとおり、本実施形態に係る情報処理サーバ１０は、収集した観測情報に基づいて単位エリアに係る推奨特徴点リストを生成することができる。この際、本実施形態に係る情報処理サーバ１０は、環境情報に関連付いた推奨特徴点リストを生成してよい。

ここで、上記の環境情報は、天候、照明環境、大気状態、時刻、または日付などに係る情報を含んでよい。上記の天候には、例えば、雨、雪、霧、雲の状態などが含まれてよい。本実施形態に係る情報処理サーバ１０は、例えば、同一の単位エリアに対して、雨天の環境に関連付いた推奨特徴点リストや、夜間の環境に関連付いた推奨特徴点リストなどの複数のリストを生成することができる。

情報処理装置２０は、現在の環境状態に応じた上記の推奨特徴点リストを取得することで、雨天時に観測可能な特徴点や、夜間に観測可能な特徴点のリストを参照することが可能となり、自己位置推定に係る精度を向上させることができる。

図８は、本実施形態の情報処理サーバ１０による推奨特徴点リストの生成に係る入出力データを示す概念図である。図８を参照すると、本実施形態に係る情報処理サーバ１０は、入力される各種の情報に基づいて、単位エリア及び環境情報に関連付いた推奨特徴点リストを出力することができる。

ここで、情報処理サーバ１０に入力される情報には、観測情報、制御情報、地図情報、及び環境情報などが含まれてよい。

上記の観測情報には、例えば、ＲＧＤＢ画像や、レーザーレンジファインダー情報が含まれてよい。また、観測情報には、ＧＰＳ、Ｗｉ−Ｆｉ、地磁気センサ、気圧センサ、温度センサ、加速度センサ、ジャイロセンサ及び振動センサなどから得た情報が含まれてよい。上記の観測情報は、移動体３０や情報処理装置２０に備えられるセンサから取得されてよい。

また、上記の制御情報は、例えば、移動体３０の制御に係る情報を含んでよい。具体的には、制御情報には、速度情報や操舵情報が含まれてよい。情報処理サーバ１０は、制御情報を、観測情報の観測地点に係る位置推定に用いることができる。

また、上記の地図情報には、例えば、三次元地図や道路地図などの情報が含まれてよい。ここで、三次元地図とは、三次元特徴点地図であってもよいし、ポリゴン化された三次元モデル地図であってもよい。本実施形態に係る三次元地図は、静物体に係る特徴点群により示される地図に限定されず、各特徴点の色情報や、物体認識結果に基づく属性情報及び物性情報などが付加された種々の地図であってよい。

また、上記の環境情報は、上述したとおり、天気予報を含む気象情報や時間情報を含んでよい。また、室内空間に係る推奨特徴点リストを生成する場合、環境情報には、照明環境などの情報が含まれてよい。

以上、情報処理サーバ１０に入力される各種の情報について説明した。本実施形態に係る情報処理サーバ１０は、上記の各種の情報に基づいて、単位エリア及び環境情報に関連付いた推奨特徴点リストを出力することができる。

この際、情報処理サーバ１０は、図８に示すように、データ選択部１１０による使用データの選択、特徴点抽出部１２０による特徴点地図生成、リスト生成部１３０による推奨特徴点の抽出、を順に処理することで、上記の推奨特徴点リストを出力してよい。

図９は、上記の処理を経て情報処理サーバ１０により出力される推奨特徴点リストのデータ構成例である。図９を参照すると、本実施形態に係る推奨特徴点リストは、単位エリア座標、ＩＤ、特徴点座標、及び特徴量ベクトルなどの情報を含んでよい。図９を参照すると、単位エリア座標及び特徴点座標は、Ｘ軸、Ｙ軸、及びＺ軸による三次元座標により表されている。この際、単位エリアに係る空間の大きさは、図９に示されるような一点の座標点から所定の距離を含むように設計されてもよい。また、単位エリアに係る空間の大きさは、複数の座標地点により定義されてもよい。この場合、推奨特徴点リストにおける単位エリア座標は、複数の座標点により定義されてもよい。

また、図９に示すように、本実施形態に係る推奨特徴点リストは、特徴点に係る局所特徴量ベクトルを含んでいる。ここで、局所特徴量ベクトルは、局所特徴量を抽出する際に用いられる局所記述子などに応じたデータ型であってよい。例えば、局所特徴量の抽出にＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）が用いられる場合、局所特徴量ベクトルは、１２８次元の特徴量ベクトルで表されてよい。また、後述するニューラルネットワークを用いて局所特徴量を抽出する場合においては、当該ニューラルネットワークに出力使用に応じたベクトルで表されてよい。

以上、本実施形態に係る推奨特徴点リストのデータ構成例について説明した。本実施形態に係る情報処理サーバ１０は、上記で説明したような推奨特徴点リストを生成することで、情報処理装置２０により自己位置推定の精度を向上させることが可能である。

＜＜２．５．使用データ選択の詳細＞＞
次に、本実施形態に係るデータ選択部１１０による使用データの選択について詳細に説明する。上述したとおり、本実施形態に係るデータ選択部１１０は、推奨特徴点リストを生成する対象の単位エリア、及び環境状態に基づいて、使用するデータの選択を行うことができる。図１０は、本実施形態に係るデータ選択部１１０に係る入出力を説明する概念図である。

図１０を参照すると、本実施形態に係るデータ選択部１１０は、入力される情報に基づいて、推奨特徴点リストの生成に用いる使用データを選択することができる。すなわち、本実施形態に係るデータ選択部１１０は、入力情報に基づいて、対象の単位エリア及び環境状態に適合する観測情報を選別する機能を有する。なお、データ選択部１１０に入力される各種の情報については、図８を用いて説明した入力情報と共通であるため、説明を省略する。また、図１０においては、データ選択部１１０が有する使用データ選択機能が機能Ｂ１として示されている。

以下、図１１を参照して、本実施形態に係る使用データ判定の流れについて詳細に説明する。図１１は、本実施形態の使用データ判定に係る流れを示すフローチャートである。

図１１を参照すると、データ選択部１１０は、まず、対象単位エリア及び対象環境の設定を行う（Ｓ１１０１）。この際、データ選択部１１０は、道路情報を含む地図情報、通行情報、または歩行履歴などに基づいて対象となる単位エリアの設定を行ってもよい。すなわち、本実施形態に係る情報処理サーバ１０は、交通量や歩行者の多いエリアを対象単位エリアとして重点的に設定することで、より価値の高い推奨特徴点リストを生成することができる。なお、この場合、上記の情報は、入力される道路地図や三次元地図に含まれる情報であってよい。

また、本実施形態に係るデータ選択部１１０は、ユーザによる入力に基づいて、対象単位エリア及び対象環境を設定してもよい。この場合、ユーザは単位エリアに係る座標位置や、天候及び時刻などの情報を任意に入力することが対象の設定を行うことができる。

次に、データ選択部１１０は、取得された観測情報の環境適合判定を行う（Ｓ１１０２）。この際、データ選択部１１０は、例えば、観測情報に紐付いた観測時間などに基づいて上記の環境適合判定を行ってもよい。また、データ選択部１１０は、入力された天気予報を含む気象情報に基づいて、環境適合判定を行うことができる。

また、気象情報の入力がない場合においては、データ選択部１１０は、観測情報に含まれる各種のセンサ情報から天候などを認識し環境適合判定を行ってもよい。データ選択部１１０は、例えば、取得した画像情報から天候を判断してもよい。

ここで、観測情報が対象環境に適合しない場合（Ｓ１１０２：非適合）、データ選択部１１０は、当該観測情報を非選択とし（Ｓ１１０６）、次の観測情報に係る使用判定に移行してよい。

一方、観測情報が対象環境に適合する場合（Ｓ１１０２：適合）、データ選択部１１０は、続いて、観測位置の推定を行う（Ｓ１１０３）。すなわち、データ選択部１１０は、観測情報が取得された位置の推定を行ってよい。

この際、入力情報に観測時に係るＧＰＳ情報が含まれている場合、データ選択部１１０は、当該ＧＰＳ情報用いて、おおまかな観測位置と向きを推定することができる。一方、観測時に係るＧＰＳ情報が入力されていない場合、データ選択部１１０は、直前のＧＰＳ情報や、地図情報、制御情報に基づいて、おおまかな観測位置と向きを推定することができる。ここで、上記の制御情報は、上述したとおり、例えば、移動体３０から取得される速度情報や操舵情報であってよい。

例えば、データ選択部１１０は、トンネル内を移動体３０が３００メートル走行したことを検出し、直前のＧＰＳ情報に基づいて上記の観測位置を推定することができる。また、データ選択部１１０は、Ｗｉ−Ｆｉ情報に基づいて、おおまかな観測位置を推定することも可能である。データ選択部１１０が有する上記の機能によれば、トンネル内、屋内、地下、マルチパス環境などにおいて取得された観測情報に係るおおまかな観測位置を推定することが可能となる。

観測位置の推定が完了すると、続いて、データ選択部１１０は、推定した観測位置と対象となる単位エリアとの距離を算出し、観測位置に係る適合判定を行う（Ｓ１１０４）。この際、データ選択部１１０は、観測位置と対象となる単位エリアとの距離が所定の閾値ε以上である場合（Ｓ１１０４：Ｎｏ）、対象となる単位エリアに係る観測情報ではないと判定し、データの非選択を決定してよい（Ｓ１１０６）。

一方、観測位置と対象となる単位エリアとの距離が所定の閾値εより小さい場合（Ｓ１１０４：Ｙｅｓ）、データ選択部１１０は、対象となる単位エリアに係る観測情報であると判定し、当該観測情報を選択してよい（Ｓ１１０５）。

以上、本実施形態に係るデータ選択部１１０による使用データ選択の詳細について説明した。上述したとおり、本実施形態に係るデータ選択部１１０は、取得した観測情報を含む入力情報に基づいて、推奨特徴点リストの生成に用いる観測情報を選択することができる。

＜＜２．６．三次元地図生成の詳細＞＞
次に、本実施形態に係る三次元地図生成の詳細について説明する。本実施形態に係る特徴点抽出部１２０は、データ選択部１１０が選択した観測情報に基づいて、特徴点地図を生成することができる。図１２は、特徴点抽出部１２０に係る入出力の概念図である。なお、図１２においては、特徴点抽出部１２０が有する各機能が機能Ｂ２〜Ｂ５として示されている。

（特徴点検出）
図１２を参照すると、特徴点抽出部１２０は、データ選択部１１０が選択した複数の観測情報から特徴点を検出し記述する機能を有する（機能Ｂ２）。この際、特徴点抽出部１２０は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの局所記述子を用いて特徴点の検出を行ってよい。また、例えば、特徴点抽出部１２０は、Ｈａｒｒｉｓのコーナー検出法などを用いることもできる。

（特徴点マッチング）
また、特徴点抽出部１２０は、機能Ｂ２から出力される複数の観測情報に係る特徴点の記述に基づいて、各特徴点のマッチングを行う機能を有する（機能Ｂ３）。この際、特徴点抽出部１２０は、複数の観測情報間で対応関係にある特徴点をマッチングする。この際、特徴点抽出部１２０は、特徴点検出に用いた手法に対応したマッチングを行ってよい。例えば、特徴点検出にＳＩＦＴやＳＵＲＦを用いた場合、特徴点抽出部１２０はそれぞれの局所記述子で広く用いられる手法を利用して、上記のマッチングを行ってもよい。

また、特徴点抽出部１２０は、特徴点マッピングの際、観測情報に含まれるＧＰＳ、地磁気センサ、Ｗｉ−Ｆｉ、気圧センサ、加速度センサ、ジャイロセンサ、及び振動センサにより取得されたセンサ情報を用いてよい。特徴点抽出部１２０は、上記のセンサ情報から算出したおおまかな位置情報を用いることで、特徴点マッピングを効率化することができる。

（カメラパラメータの算出）
また、特徴点抽出部１２０は、機能Ｂ３から出力されるマッチング情報に基づいて、特徴点の三次元座標を算出し、当該特徴点の三次元座標から各観測情報に対応したカメラパラメータを算出する機能を有する（機能Ｂ４）。ここで、上記のカメラパラメータは、カメラの有する自由度のベクトルや各種の内部パラメータを含んでよい。例えば、本実施形態に係るカメラパラメータは、カメラの位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ、Φｙ、Φｚ）と、であってよい。また、本実施形態に係るカメラパラメータは、例えば、焦点距離、Ｆ値、せん断係数などの内部パラメータを含んでよい。

この際、特徴点抽出部１２０は、連続するフレーム（ＲＧＢＤ画像）間における特徴点の位置、カメラ間の位置ベクトル、カメラの３軸回転ベクトル、及び各カメラ間位置と特徴点とを結ぶベクトルなどの相対値を連続的に算出してよい。特徴点抽出部１２０は、エピポーラ幾何に基づくエピポーラ方程式を解くことで上記の算出を行うことができる。

また、特徴点抽出部１２０は、カメラパラメータの算出の際、上述したセンサ情報から算出したおおまかな位置情報を用いることで、カメラパラメータの算出を効率化することができる。

（投影誤差最小化）
また、特徴点抽出部１２０は、機能Ｂ４から出力されるカメラパラメータに基づいて、投影誤差の最小化を行う機能を有する（機能Ｂ５）。具体的には、特徴点抽出部１２０は、各カメラパラメータと各特徴点の位置分布を最小化する統計処理を行う。

この際、特徴点抽出部１２０は、誤差の大きい特徴点を検出し当該特徴点を削除することで、投影誤差の最小化を行うことができる。特徴点抽出部１２０は、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法により最小自乗法の最適解を推定してもよい。これにより、特徴点抽出部１２０は、誤差を収束したカメラ位置、カメラ回転行列、特徴点の三次元座標を求めることができる。

以上、本実施形態に係る特徴点地図生成の詳細について説明した。上述したとおり、本実施形態に係る特徴点抽出部１２０は、データ選択部１１０が選択した観測情報に基づいて、特徴点地図を生成することができる。すなわち、本実施形態に係る特徴点抽出部１２０は、対象の単位エリア及び対象の環境に係る特徴点地図を生成することが可能である。なお、ここで、上記の特徴点地図には、特徴点に係る三次元座標位置とその誤差、及びカメラ位置とその誤差が含まれてよい。

＜＜２．７．推奨特徴点リスト生成の詳細＞＞
次に、本実施形態に係る推奨特徴点リスト生成の詳細について説明する。図１３は、本実施形態のリスト生成部１３０に係る入出力の概念図である。図１３を参照すると、本実施形態に係るリスト生成部１３０は、入力された特徴点地図に基づいて、単位エリア及び環境情報に関連付いた推奨特徴点リストを出力している。ここで、上記の特徴点地図は、特徴点抽出部１２０により生成された特徴点地図であってよい。なお、図１３においては、リスト生成部１３０が有する推奨特徴点リスト生成機能が機能Ｂ６として示されている。

以下、図１４を参照して、本実施形態に係る推奨特徴点リスト生成の流れについて詳細に説明する。図１４は、本実施形態の推奨特徴点リスト生成に係る流れを示すフローチャートである。

図１４を参照すると、リスト生成部１３０は、まず特徴点地図に記述される特徴点の順位付けを行う（Ｓ１２０１）。この際、リスト生成部１３０は、特徴点地図が有する特徴点の投影誤差及びカメラ位置誤差に基づいて、上記の順位付けを行ってもよい。すなわち、本実施形態に係るリスト生成部１３０は、投影誤差やカメラ位置誤差がより少ない特徴点を信頼度が高い特徴点として判定することができる。

また、リスト生成部１３０は、単位エリアの性質に応じた特徴点の順位付けを行ってもよい。例えば、リスト生成部１３０は、特徴点地図に基づく物体認識の結果に基づいて、より信頼度の高い特徴点を選択することもできる。例えば、リスト生成部１３０は、室内に係る単位空間においては、建造物とは独立した静物体に係る特徴点を信頼度が高い特徴点として判定することもできる。

また、リスト生成部１３０は、特徴点が観測された観測情報の数に基づいて上記の順位付けを行うことができる。すなわち、本実施形態に係るリスト生成部１３０は、単位エリア内においてより多くの観測地点から観測され得る特徴点を信頼度が高い特徴点として判定することができる。

また、リスト生成部１３０は、対象単位エリア近傍に位置する別の単位エリアにおいて観測された観測情報の数に基づいて、上記の順位付けを行うこともできる。図１５は、近傍の単位エリアから観測され得る特徴点について説明するための図である。

図１５には、複数の単位エリアＡ２〜Ａ５が示されており、単位エリアＡ２には特徴点Ｆ６が存在している。また、単位エリアＡ３〜Ａ５には、それぞれ観測地点Ｌ５〜Ｌ７が示されている。ここで、単位エリア２は、推奨特徴点リストを生成する対象の単位エリアであってよい。

図１５を参照すると、近傍の単位エリアに該当する単位エリアＡ３〜Ａ５における観測地点Ｌ５〜７からは、対象単位エリアである単位エリアＡ２に存在する特徴点Ｆ６が観測できることがわかる。

本実施形態に係るリスト生成部１３０は、図１５に示すように、対象単位エリアの近傍に位置する単位エリアからの観測情報に基づいて、特徴点の順位付けを行ってよい。すなわち、リスト生成部１３０は、より多くの範囲において観測され得る特徴点を信頼度が高い特徴点として判定することができる。リスト生成部１３０が近傍単位エリアにおいて取得された観測情報に基づいて上記の順位付けを行うことで、例えば、対象単位エリアに進入してくる移動体３０が観測し得る特徴点を推奨特徴点リストに含めることができる。これにより、移動体３０に搭載される情報処理装置２０は、移動体３０の移動方向に存在する特徴点情報に基づいた制御を行うことが可能となる。

再び図１４を用いて説明を続ける。特徴点の順位付けを行った後、リスト生成部１３０は、上記の順位付けに基づいてＮ個の特徴点を推奨特徴点リストに登録する（Ｓ１２０２）。ここで、登録される特徴点の数は、予め定められた所定の数であってよい。なお、上記の所定の数は、対象単位エリアの大きさや性質などに応じて動的に設定されてもよい。また、上記の所定の数は、対象環境の性質に応じて動的に設定されてもよい。

次に、リスト生成部１３０は、位置誤差に係る判定を行う（Ｓ１２０３）。この際、リスト生成部１３０は、図１１に示すステップＳ１１０３において推定した位置情報と特徴点抽出時に算出した位置情報とを比較してよい。

ここで、上記の位置誤差が所定の閾値εよりも大きい場合（Ｓ１２０３：Ｙｅｓ）、リスト生成部１３０は、さらにｍ個の特徴点を推奨特徴点リストに登録してよい（Ｓ１２０４）。位置誤差が大きい単位エリアはＧＰＳ情報が取得しづらいなど位置推定が困難なことが想定されるため、リスト生成部１３０は、上記のような単位エリアに対し重点的に特徴点を登録することがでる。

また、リスト生成部１３０は、ＳＬＡＭなどの技術を用いて、例えばＧＰＳによる高精度な位置情報を取得可能な地点Ｘから別の地点Ｙに係る自己位置同定を連続的に行い、取得される誤差から各特徴点の信頼度を逆算することもできる。また、この際、リスト生成部１３０は、同一の経路において採用する特徴点の組み合わせを変更し、複数回上記の処理を行ってもよい。この場合、リスト生成部１３０は、採用する特徴点の組み合わせにより誤差の結果が変化することを利用して、特徴点の信頼度を逆算することができる。

一方、上記の位置誤差が所定の閾値ε以下である場合（Ｓ１２０３：Ｎｏ）、リスト生成部１３０は、局所特徴量の記述を行う（Ｓ１２０５）。なお、ここで、本実施形態に係る局所特徴量とは、画像上における特徴点の見え方を記述するベクトルであってよい。すなわち、本実施形態に係る局所特徴量とは、画像中における局所領域の特徴をベクトルにより表したものである。

また、この際、リスト生成部１３０は、ニューラルネットワークを用いた特徴量抽出器などにより上記の局所特徴量を記述してもよい。ここで、上記の特徴量抽出器は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：深層学習）や強化学習などにより局所特徴量に係る記述能力を獲得した学習器であってよい。

上記の特徴量抽出器は、例えば、世界中から取得された特徴点データから異なる特徴量を見分ける学習を行うことで、局所特徴量に係る記述能力を獲得することが可能である。また、特徴量抽出器は、上記の学習により、照明などを含む環境変化による見え方の違いを吸収することが可能であり、精度の高特徴量記述を実現することができる。

なお、上記ではニューラルネットワークによる学習について説明したが、本実施形態に係る特徴量抽出器は係る例に限定されない。本実施形態に係る特徴量抽出器は、入力と出力の関係から法則性を獲得する学習器であってよい。

また、本実施形態に係るリスト生成部１３０は、上記の特徴量抽出器に依らず、局所記述子を用いて、局所特徴量を記述することもできる。この場合、リスト生成部１３０は、上述したＳＩＦＴやＳＵＲＦなどの局所記述子を用いて、局所特徴量を記述してもよい。

以上、本実施形態に係る推奨特徴点リスト生成の詳細について説明した。上述したとおり、本実施形態に係るリスト生成部１３０は、特徴点地図に記述される特徴点の順位付けを行い、より信頼度の高い特徴点を推奨特徴点リストに登録することができる。

＜＜２．８．本実施形態に係る作用効果＞＞
以上、本実施形態に係る情報処理サーバ１０が有する機能について詳細に説明した。上述したとおり、本実施形態に係る情報処理サーバ１０は、対象単位エリア及び対象環境に基づいて、使用する観測情報の選択を行うことができる。また、情報処理サーバ１０は、対象単位エリアかつ対象環境に該当する観測情報を用いて特徴点地図を生成することができる。また、情報処理サーバ１０は、特徴点地図に記述される特徴点を順位付けし、信頼度の高い特徴点を推奨特徴点リストに含めることができる。

本実施形態に係る情報処理サーバ１０が有する上記の機能によれば、情報処理装置２０の自己位置推定に係る手順削減を実現し、また、高精度の自己位置推定を実現することが可能となる。また、本実施形態に係る推奨特徴点リストによれば、特徴量情報に基づく安定的な自己位置推定を実現することが可能となる。また、本実施形態に係る推奨特徴点リストによれば、現在位置からの推奨特徴点の逆引きが容易となり、情報処理装置２０が行う制御の精度を向上させることが可能である。

＜＜２．９．情報処理装置２０の自己位置推定＞＞
次に、本実施形態に係る情報処理装置２０の自己位置推定について説明する。上述したとおり、本実施形態に係る情報処理装置２０は、情報処理サーバ１０から受信した推奨特徴点リストを利用して自己位置推定を行うことができる。

以下、図１６を参照して、本実施形態に係る情報処理装置２０による自己位置推定の流れについて説明する。図１６は、本実施形態に係る情報処理装置２０による自己位置推定の流れを示すフローチャートである。

図１６を参照すると、まず、情報処理装置２０のサーバ通信部２３０は、取得された観測情報、制御情報、環境情報を情報処理サーバ１０に送信する（Ｓ１３０１）。ここで、上記の観測情報は、情報処理装置２０や移動体３０に備えられる各種のセンサから取得された情報であってよい、また、上記の制御情報には、移動体３０の速度情報や操舵情報が含まれてもよい。

続いて、サーバ通信部２３０は、情報処理サーバから推奨特徴点リストを受信する（Ｓ１３０２）。この際、上記の推奨特徴点リストは、ステップＳ１３０１で送信した観測情報などに基づいて送信されてよい。すなわち、情報処理装置２０は、単位エリアや環境状態に応じた推奨特徴点リストを取得することができる。

次に、演算部２１０は、ステップＳ１３０３で受信した推奨特徴点リストを用いて自己位置推定を行う（Ｓ１３０３）。この際、演算部２１０は、三次元位置、姿勢情報、速度、加速度、３軸回転姿勢、３軸回転速度、３軸回転加速度などを含むカメラパラメータを算出することができる。

続いて、機能制御部２２０は、ステップＳ１３０３で算出されたカメラパラメータに基づいて各種の制御を実行する。情報処理装置２０は、上記のカメラパラメータに基づいて、移動体３０の動作制御を行うことができる（Ｓ１３０４）。

また、情報処理装置２０は、上記のカメラパラメータに基づいて、仮想現実や拡張現実に係る表示制御を行うことができる（Ｓ１３０５）。

また、情報処理装置２０は、上記のカメラパラメータに基づいて、ナビゲーションに係る制御を行うことができる（Ｓ１３０６）。

なお、上記で示したステップＳ１３０４〜Ｓ１３０６に示される処理は同時に実行されてもよい。また、情報処理装置２０は、ステップＳ１３０４〜Ｓ１３０６に係る処理のいずれかを実行してもよい。

以上、本実施形態に係る情報処理装置２０の自己位置推定の流れについて説明した。次に、図１７を用いて情報処理装置２０の演算部２１０に係る入出力について説明する。

図１７を参照すると、本実施形態に係る演算部２１０は、入力される各種の情報に基づいて、カメラパラメータを出力することがわかる。この際、演算部２１０は、情報処理サーバ１０から取得した推奨特徴点リストを用いて特徴点のマッピングを行うことができる。なお、上記のパラメータには、図１６を用いて説明した各種の情報が含まれてよい。

また、図１７においては、演算部２１０が有する各機能が機能Ｂ７〜Ｂ１０として示されている。すなわち、演算部２１０は、特徴点記述機能（Ｂ７）、特徴点マッチング機能（Ｂ８）、カメラパラメータ算出機能（Ｂ９）、及び投影誤差最小化機能（Ｂ１０）を有してよい。上記の機能Ｂ７〜Ｂ１０については、図１２で示した機能Ｂ２〜Ｂ５と同様の機能であってよいため、ここでは説明を省略する。

以上、本実施形態に係る情報処理装置２０の自己位置推定について述べた。上述したとおり、本実施形態に係る情報処理装置２０は、単位エリア及び環境状態に応じた推奨特徴点リストを取得することができる。また、情報処理装置２０は、取得した推奨特徴点リストを用いてカメラパラメータの算出を行うことができる。本実施形態に係る情報処理装置２０が有する上記の機能によれば、自己位置推定に係る処理負担を軽減し、かつ精度の高い自己位置推定を実現することが可能となる。

＜３．ハードウェア構成例＞
次に、本開示に係る情報処理サーバ１０及び情報処理装置２０に共通するハードウェア構成例について説明する。図１８は、本開示に係る情報処理サーバ１０及び情報処理装置２０のハードウェア構成例を示すブロック図である。図１８を参照すると、情報処理サーバ１０及び情報処理装置２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

（出力装置８７９）
出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

＜４．まとめ＞
以上説明したように、本開示に係る情報処理サーバ１０は、対象単位エリア及び対象環境に基づいて、使用する観測情報の選択を行うことができる。また、情報処理サーバ１０は、対象単位エリアかつ対象環境に該当する観測情報を用いて特徴点地図を生成することができる。また、情報処理サーバ１０は、特徴点地図に記述される特徴点を順位付けし、信頼度の高い特徴点を推奨特徴点リストに含めることができる。また、本開示に係る情報処理装置２０は、単位エリア及び環境状態に応じた推奨特徴点リストを取得することができる。また、情報処理装置２０は、取得した推奨特徴点リストを用いてカメラパラメータの算出を行うことができる。係る構成によれば、実世界の状態に応じたより精度の高い位置情報を提供することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
プロセッサが、単位エリア周辺において収集された観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成すること、
を含む、
情報処理方法。
（２）
前記特徴点リストを生成することは、環境情報に関連付いた前記特徴点リストを生成すること、
をさらに含む、
前記（１）に記載の情報処理方法。
（３）
前記環境情報は、天候、照明環境、大気状態、時刻、または日付のうち少なくともいずれかに係る情報を含む、
前記（２）に記載の情報処理方法。
（４）
前記特徴点リストを生成することは、前記単位エリアごとに前記特徴点を順位付けした特徴点リストを生成すること、
をさらに含む、
前記（１）〜（３）のいずれかに記載の情報処理方法。
（５）
前記特徴点リストを生成することは、前記特徴点の投影誤差、または前記観測情報の観測地点に係る位置誤差のうち少なくとも一方に基づいて、前記順位付けを行うこと、
をさらに含む、
前記（４）に記載の情報処理方法。
（６）
前記特徴点リストを生成することは、前記特徴点に係る観測情報の数に基づいて、前記順位付けを行うこと、
をさらに含む、
前記（４）または（５）に記載の情報処理方法。
（７）
前記特徴点リストを生成することは、前記特徴点リストを生成する単位エリアの近傍に位置する別の単位エリアにおいて観測された、前記特徴点に係る観測情報の数に基づいて、前記順位付けを行うこと、
をさらに含む、
前記（４）〜（６）のいずれかに記載の情報処理方法。
（８）
前記単位エリアは、屋内空間におけるエリアである、
前記（１）〜（７）のいずれかに記載の情報処理方法。
（９）
前記特徴点リストを生成することは、地図情報、通行履歴、または歩行履歴のうち少なくともいずれかに基づいて選択した単位エリアに係る前記特徴点リストを生成すること、
をさらに含む、
前記（１）〜（７）のいずれかに記載の情報処理方法。
（１０）
情報処理装置からの要求に基づいて、前記特徴点リストを前記情報処理装置に送信すること、
をさらに含む、
前記（１）〜（９）のいずれかに記載の情報処理方法。
（１１）
取得された画像情報から特徴点及び前記特徴点に係る局所特徴量を抽出する演算部と、
収集された観測情報に基づいて特徴点リストを取得する通信部と、
を備え、
前記演算部は、前記局所特徴量と前記特徴点リストに基づいて自己位置推定を行い、
前記特徴点リストは、前記観測情報の観測地点を含む単位エリアに関連付いた前記特徴点の三次元座標位置、及び前記特徴点に係る局所特徴量を含む、
情報処理装置。
（１２）
前記通信部は、収集された環境情報にさらに基づいて前記特徴点リストを取得し、
前記特徴点リストは、前記環境情報に関連付いた特徴点リストである、
前記（１１）に記載の情報処理装置。
（１３）
前記演算部は、前記画像情報を取得した撮像部のカメラパラメータを算出し、
前記カメラパラメータは、三次元座標位置、姿勢情報、速度、加速度、３軸回転姿勢、３軸回転速度、または３軸回転加速度のうち少なくともいずれかを含む、
前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記カメラパラメータに基づいて移動体の動作を制御する動作制御部、
をさらに備える、
前記（１３）に記載の情報処理装置。
（１５）
前記カメラパラメータに基づいて仮想現実または拡張現実のうち少なくともいずれかに係る表示制御を行う表示制御部、
をさらに備える、
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記カメラパラメータに基づいて移動体に係る経路ナビゲーションを行うナビゲーション部、
をさらに備える、
前記（１３）〜（１５）のいずれかに記載の情報処理装置。
（１７）
単位エリア周辺において収集された観測情報を受信する通信部と、
前記観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成するリスト生成部、
を備える、
情報処理装置。

１０ 情報処理サーバ
１１０ データ選択部
１２０ 特徴点抽出部
１３０ リスト生成部
１４０ 装置通信部
２０ 情報処理装置
２１０ 演算部
２２０ 機能制御部
２３０ サーバ通信部
３０ 移動体
４０ ネットワーク

Claims (9)

1. プロセッサが、単位エリア周辺において収集された観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成すること、
   を含み、
   前記特徴点リストを生成することは、前記単位エリアごとに前記特徴点を順位付けした特徴点リストを生成すること、をさらに含み、
   前記特徴点リストを生成することは、前記特徴点リストを生成する単位エリアの近傍に位置する別の単位エリアにおいて観測された、前記特徴点に係る観測情報の数に基づいて、前記順位付けを行うこと、をさらに含む、
   情報処理方法。
2. 前記特徴点リストを生成することは、環境情報に関連付いた前記特徴点リストを生成すること、
   をさらに含む、
   請求項１に記載の情報処理方法。
3. 前記環境情報は、天候、照明環境、大気状態、時刻、または日付のうち少なくともいずれかに係る情報を含む、
   請求項２に記載の情報処理方法。
4. 前記特徴点リストを生成することは、前記特徴点の投影誤差、または前記観測情報の観測地点に係る位置誤差のうち少なくとも一方に基づいて、前記順位付けを行うこと、
   をさらに含む、
   請求項１〜３のいずれか１項に記載の情報処理方法。
5. 前記特徴点リストを生成することは、前記特徴点に係る観測情報の数に基づいて、前記順位付けを行うこと、
   をさらに含む、
   請求項１〜４のいずれか１項に記載の情報処理方法。
6. 前記単位エリアは、屋内空間におけるエリアである、
   請求項１〜５のいずれか１項に記載の情報処理方法。
7. 前記特徴点リストを生成することは、地図情報、通行履歴、または歩行履歴のうち少なくともいずれかに基づいて選択した単位エリアに係る前記特徴点リストを生成すること、
   をさらに含む、
   請求項１〜５のいずれか１項に記載の情報処理方法。
8. 情報処理装置からの要求に基づいて、前記特徴点リストを前記情報処理装置に送信すること、
   をさらに含む、
   請求項１〜７のいずれか１項に記載の情報処理方法。
9. 単位エリア周辺において収集された観測情報を受信する通信部と、
   前記観測情報から検出した特徴点の三次元座標と、前記特徴点の局所特徴量と、を関連付けた特徴点リストを生成するリスト生成部、
   を備え、
   前記リスト生成部は、前記単位エリアごとに前記特徴点を順位付けした特徴点リストを生成し、
   前記リスト生成部は、前記特徴点リストを生成する単位エリアの近傍に位置する別の単位エリアにおいて観測された、前記特徴点に係る観測情報の数に基づいて、前記順位付けを行う、
   情報処理装置。

Images