JP2024007754A - 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法 - Google Patents

情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法 Download PDF

Info

Publication number
JP2024007754A
JP2024007754A JP2022109047A JP2022109047A JP2024007754A JP 2024007754 A JP2024007754 A JP 2024007754A JP 2022109047 A JP2022109047 A JP 2022109047A JP 2022109047 A JP2022109047 A JP 2022109047A JP 2024007754 A JP2024007754 A JP 2024007754A
Authority
JP
Japan
Prior art keywords
information
orientation
information processing
terminal device
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022109047A
Other languages
English (en)
Inventor
裕 岡野
Yu Okano
直仁 中村
Naohito Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022109047A priority Critical patent/JP2024007754A/ja
Priority to PCT/JP2023/015064 priority patent/WO2024009581A1/ja
Publication of JP2024007754A publication Critical patent/JP2024007754A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

Figure 2024007754000001
【課題】処理能力および記憶容量が制限される端末装置で、好適な位置姿勢の推定が可能となる。
【解決手段】情報処理装置と端末装置とを有し、端末装置の位置姿勢を推定するための情報処理システムであって、情報処理装置は、第１撮像手段と第１撮像手段による撮像画像を用いて情報処理装置の位置姿勢の情報を取得する第１取得手段と、情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、マップ情報の一部を抽出する抽出手段と、抽出手段によって抽出された抽出マップ情報を端末装置に送信する通信手段とを有し、端末装置は、第２撮像手段と、第２撮像手段による撮像画像および情報処理装置から送信された抽出マップ情報を用いて、端末装置の位置姿勢の情報を取得する第２取得手段とを有することを特徴とする情報処理システムである。
【選択図】図２

Description

本発明は、情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法に関する。
近年、端末装置に撮像装置を搭載し、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）による自己位置推定および環境地図作成の技術が、様々な用途に用いられている。例えば、特許文献１は、ＳＬＡＭによるマップ更新機能を備え、自律走行が可能な無人搬送車であって、走行路に投影されたランドマーク画像の座標情報を用いて自律走行の精度を高める無人搬送車を開示する。
特開２０２２－０９３８８７号公報
Rainer Kummerle, et al.，"g2o: A General Framework for Graph Optimization"，[online]，２０１１年５月９日，2011 IEEE International Conference on Robotics and Automation，Shanghai International Conference Center，[令和４年６月２７日検索],インターネット＜URL：http://ais.informatik.uni-freiburg.de/publications/papers/kuemmerle11icra.pdf＞ R. Mur-Artal, et al.，"ORB-SLAM: A Versatile and Accurate Monocular SLAM System"，[online]，２０１５年１０月５日，IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163，[令和４年７月５日検索],インターネット＜URL：https://ieeexplore.ieee.org/document/7219438＞
ＨＭＤ（ヘッドマウントディスプレイ）またはゲーム機等のコントローラ（端末装置）は、ＳＬＡＭによって作成したマップを参照することで位置と姿勢を高精度に推定することができる。しかし、コントローラは、重量およびサイズを抑えるために処理能力および記憶容量が制限され、ＳＬＡＭによる位置姿勢の推定には限界がである。コントローラは、オドメトリ（自律航法）により位置と姿勢（位置姿勢）を推定することができるが、誤差が蓄積される。このため、コントローラは処理負荷を軽減するとともに高精度な位置と姿勢の推定をすることは困難である。
本発明は、処理能力および記憶容量が制限される端末装置で、好適な位置姿勢の推定を可能とする技術を提供することを目的とする。
上記目的を達成するために、本発明の情報処理システムは、情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、前記情報処理装置は、第１撮像手段と前記第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得手段と、前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、前記マップ情報の一部を抽出する抽出手段と、前記抽出手段によって抽
出された抽出マップ情報を前記端末装置に送信する通信手段とを有し、前記端末装置は、第２撮像手段と、前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得手段とを有することを特徴とする。
本発明によれば、処理能力および記憶容量が制限される端末装置で、好適な位置姿勢の推定が可能となる。
ＨＭＤとコントローラの構成を例示するブロック図である。 実施形態１に係る情報処理システムを説明する図である。 キーフレーム情報を説明する図である。 抽出マップの第１の抽出方法を説明する図である。 抽出マップの第２の抽出方法を説明する図である。 抽出マップの第３の抽出方法の第１の例を示すフローチャートである。 抽出マップの第３の抽出方法の第１の例を説明する図である。 抽出マップの第３の抽出方法の第２の例を示すフローチャートである。 実施形態２に係る情報処理システムを説明する図である。 実施形態３に係る情報処理システムを説明する図である。
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施の形態は、本発明の実現方法としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。
＜実施形態１＞
図１は、本発明の実施形態に係る情報処理システムの構成を例示するブロック図である。情報処理システムは、情報処理装置としての頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００および端末装置としてのコントローラ２００を含む。
ＨＭＤ１００は、ビデオシースルー方式のＨＭＤであり、外界（現実空間）の画像を、必要に応じてグラフィック（例えば仮想物体）を合成して表示する。コントローラ２００は、例えば、ＨＭＤ１００に表示される仮想物体等を操作することができる。
図１（Ａ）は、ＨＭＤ１００の構成を例示するブロック図である。ＣＰＵ１０１は、ＨＭＤ１００が備える各ブロックに対する制御プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行する。これにより、ＣＰＵ１０１は、ＨＭＤ１００が備える各ブロックの動作を制御する。ＣＰＵ１０１によって実行される処理の一部は、ハードウェア回路により実行されてもよい。
ＲＯＭ１０２は、電気的に消去および記録可能な不揮発性メモリである。ＲＯＭ１０２は、ＨＭＤ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に使用されるパラメータ等を記憶する。
ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、例えば、ＣＰＵ１０１等が実行するプログラムを展開したり、ＨＭＤ１００が備える各ブロックの動作で生成されたデータを一時的に記憶したりするために用いられる。
撮像部１０４は、光学系（レンズ）、ＣＣＤまたはＣＭＯＳセンサといった撮像素子、Ａ／Ｄ変換器等を有するカメラである。撮像部１０４は、光学系により撮像面上に結像された光学像を光電変換し、アナログ画像信号を出力する。アナログ画像信号は、Ａ／Ｄ変換器によりデジタル画像データに変換され、ＲＡＭ１０３に一時的に記憶される。
表示部１０５は、撮像部１０４による撮像画像およびその他の視覚的オブジェクトの表示制御を行う。入力部１０６は、ユーザからの操作を受け付ける。記憶部１０７は、撮像部１０４によって撮像された撮像画像、アプリケーションプログラム、アプリケーションプログラムにより生成された各種データ等を記憶する。
通信部１０８は、外部機器と有線または無線により通信するためのインタフェースである。通信部１０８は、例えば、Ｗｉ－Ｆｉおよび／またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）等の通信規格により、コントローラ２００等の他の機器との無線通信が可能である。
ＣＰＵ１０１は、機能ブロックとして位置姿勢取得部１０９、マップ生成部１１０、およびマップ抽出部１１１を有する。位置姿勢取得部１０９は、ＨＭＤ１００の位置姿勢の情報を取得する。位置姿勢取得部１０９は、ＳＬＡＭ技術を用いて、撮像部１０４による撮像画像から位置姿勢の情報を取得することができる。
マップ生成部１１０は、位置姿勢取得部１０９がＨＭＤ１００の位置姿勢の情報を取得するために使用するＳＬＡＭのマップ情報を生成する。マップ生成部１１０は、例えば、定期的に撮像されたキーフレーム画像を、画像上の特徴点の情報および撮像時のＨＭＤ１００の位置姿勢の情報等と対応づけ、マップ情報（地図情報）として記憶部１０７に記録する。位置姿勢取得部１０９は、非特許文献２に開示されるように、撮像画像から検出した特徴点を追跡しつつ、適宜キーフレームを作成・最適化しながら、キーフレーム情報の集合であるマップ情報の特徴点を使ってＨＭＤ１００の位置姿勢の最適化を行うことを通じて、ＨＭＤ１００の位置姿勢の情報を推定することができる。
マップ抽出部１１１は、マップ生成部１１０が生成したＨＭＤ１００のマップ情報から、コントローラ２００の位置指定の推定に用いるマップ情報を抽出する。抽出されたマップ情報は、抽出マップ情報とも称される。抽出マップ情報は、コントローラ２００に送信される。抽出マップ情報は、ＨＭＤ１００のマップ情報の一部を抽出して生成されるため、コントローラ２００に送信するデータ量が抑制され、コントローラ２００の処理負荷は軽減される。
図１（Ｂ）は、コントローラ２００の構成を例示するブロック図である。ＣＰＵ２０１は、コントローラ２００が備える各ブロックに対する制御プログラムをＲＯＭ２０２から読み出し、ＲＡＭ２０３に展開して実行する。これにより、ＣＰＵ２０１は、コントローラ２００が備える各ブロックの動作を制御する。ＣＰＵ２０１によって実行される処理の一部は、ハードウェア回路により実行されてもよい。
ＲＯＭ２０２は、電気的に消去および記録可能な不揮発性メモリである。ＲＯＭ２０２は、コントローラ２００が備える各ブロックの動作プログラムに加え、各ブロックの動作に使用されるパラメータ等を記憶する。
ＲＡＭ２０３は、書き換え可能な揮発性メモリである。ＲＡＭ２０３は、例えば、ＣＰＵ２０１等が実行するプログラムを展開したり、コントローラ２００が備える各ブロックの動作で生成されたデータを一時的に記憶したりするために用いられる。
撮像部２０４は、ＨＭＤ１００の撮像部１０４と同様に、光学系、ＣＣＤまたはＣＭＯＳセンサといった撮像素子、Ａ／Ｄ変換器等を有するカメラである。撮像部２０４は、複数のカメラを備えてもよい。撮像部２０４は、例えば、モノクロの単眼カメラである。
入力部２０６は、ユーザからの操作を受け付ける。記憶部２０７は、撮像部２０４によって撮像された撮像画像、アプリケーションプログラム、アプリケーションプログラムにより生成された各種データ等を記憶する。通信部２０８は、外部機器と有線または無線により通信するためのインタフェースであり、Ｗｉ－Ｆｉおよび／またはＢＬＥ等の通信規格により、ＨＭＤ１００等の他の機器との無線通信が可能である。
ＣＰＵ２０１は、機能ブロックとして位置姿勢取得部２０９を有する。位置姿勢取得部２０９は、コントローラ２００の位置姿勢の情報を取得する。位置姿勢取得部２０９は、撮像部２０４による撮像画像からコントローラ２００の位置姿勢の情報を取得する。また、コントローラ２００は不図示のＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、慣性計測装置）を有し、位置姿勢取得部２０９は、ＩＭＵで計測された加速度および角速度に基づいて、コントローラ２００の位置姿勢を推定してもよい。
位置姿勢取得部２０９は、撮像部２０４による撮像画像またはＩＭＵを用いたオドメトリ（自律航法）によりコントローラ２００の位置姿勢の情報を取得し、所定のタイミングで、抽出マップ情報を用いて位置姿勢の情報を取得してもよい。すなわち、位置姿勢取得部２０９は、所定のタイミングで、撮像部２０４による撮像画像およびマップ抽出部１１１が抽出した抽出マップ情報を用いてコントローラ２００の位置姿勢の情報を取得する。
所定のタイミングは、例えば、定期的または定時的なタイミングである。抽出マップ情報を用いてコントローラ２００の位置姿勢の情報を取得する頻度は、コントローラ２００の処理能力に応じて決定されてもよく、処理能力が低いほど頻度は少なくしてもよい。また、所定のタイミングは、コントローラ２００の移動速度の上昇または不規則な動き等により、オドメトリによる位置姿勢情報の精度が低下したタイミングであってもよい。
オドメトリによる位置姿勢情報の取得では誤差が蓄積されるが、位置姿勢取得部２０９は、撮像部２０４による撮像画像と抽出マップ情報とを用いることで、蓄積された誤差を解消し、精度良くコントローラ２００の位置姿勢の情報を取得することができる。
図２は、実施形態１に係る情報処理システムを説明する図である。情報処理システム１は、ＨＭＤ１００およびコントローラ２００を有する。ＨＭＤ１００の位置姿勢取得部１０９は、撮像部１０４による撮像画像を用いて、ＨＭＤ１００の位置姿勢の情報を取得する。ＨＭＤ１００は、ＨＭＤ１００の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいて、マップ１２０（マップ情報）を生成する。また、マップ１２０は、キーフレーム画像から検出された特徴点の情報を含む。ＨＭＤ１００は、マップ１２０の一部を抽出して抽出マップ１２１（抽出マップ情報）を生成する。生成された抽出マップ１２１は、コントローラ２００に送信される。
コントローラ２００の位置姿勢取得部２０９は、撮像部２０４による撮像画像を用いて、コントローラ２００の位置姿勢の情報を取得する。また、位置姿勢補正部２１０は、所定のタイミングで、撮像部２０４による撮像画像およびＨＭＤ１００から受信した抽出マップ１２１を用いて、コントローラ２００の位置姿勢の情報を取得する。
図３は、キーフレーム情報を説明する図である。図３の例は、ＨＭＤ１００の軌跡上のキーフレームＫＦ１からキーフレームＫＦ６までの分布を示す。各キーフレームは、ＨＭ
Ｄ１００の位置姿勢の情報と、当該位置姿勢で撮像されたキーフレーム画像とを対応づけたキーフレーム情報を有する。マップ１２０は、キーフレーム情報を複数含んでおり、図３では簡略化するために一部のキーフレームのみが示されている。また、キーフレームの位置は２次元上に図示されるが、実際には３次元空間での位置に対応する。
キーフレーム情報は、例えば、所定の時間ごと、または所定の移動距離ごとに作成される。所定の時間および所定の移動距離は、例えば、ＨＭＤ１００の移動速度および処理能力等に応じて決定することができる。作成されたキーフレーム情報は、マップ１２０として記憶部１０７に記憶される。
キーフレーム情報は、キーフレーム画像、位置姿勢の情報、キーフレーム木構造情報、複数の特徴点情報等を含む。キーフレーム画像は、キーフレーム情報の作成時に、撮像部１０４によって撮像された画像である。キーフレーム画像は、メタ情報としてキーフレーム画像の作成日時の情報を含んでもよい。なお、キーフレーム画像の作成日時は、キーフレーム情報として保持されてもよい。
位置姿勢の情報は、キーフレーム画像を撮像したときのＨＭＤ１００の位置姿勢の情報であり、例えば、ＸＹＺの座標系で表される。キーフレーム木構造情報は、撮影順および位置関係等のキーフレーム間の関係を示す情報である。特徴点情報は、キーフレーム画像に撮像された特徴点の位置の情報である。
図４～図６を参照して、ＨＭＤ１００のマップ抽出部１１１が、マップ１２０からキーフレーム情報を抽出し、抽出マップ１２１を生成する方法について説明する。
（第１の抽出方法）
図４は、抽出マップ１２１の第１の抽出方法を説明する図である。マップ抽出部１１１は、コントローラ２００の周辺領域で作成されたキーフレーム情報をマップ１２０から抽出する。図４の例では、コントローラ２００の周辺領域が矩形４０１の場合、キーフレームＫＦ１およびキーフレームＫＦ２のキーフレーム情報が抽出マップ１２１として抽出され、コントローラ２００に送信される。
コントローラ２００が矢印４１０の向きに移動すると、マップ抽出部１１１は、矩形４０２に含まれるキーフレームＫＦ２～ＫＦ４のキーフレーム情報を抽出して抽出マップ１２１を生成する。コントローラ２００の移動に応じて、周辺領域は、さらに矩形４０３、矩形４０４に変更され、それぞれの矩形領域に含まれるキーフレーム情報が抽出マップ１２１として抽出される。マップ抽出部１１１は、例えば、コントローラ２００が所定時間または所定距離の移動をした場合に、抽出マップ１２１を生成する。生成された抽出マップ１２１は、通信部１０８により、コントローラ２００に送信される。
コントローラ２００の周辺領域は、例えば、コントローラ２００の位置を中心とした直方体や球体等の領域とすることができる。コントローラ２００の位置は、例えば、周辺領域を決定する際にコントローラ２００から取得する。周辺領域の大きさは、例えば、ＣＰＵ２０１の処理能力、記憶部２０７の記憶容量、周辺領域内のキーフレーム情報の数に基づいて決定することができる。
ＨＭＤ１００のマップ抽出部１１１は、例えば、撮像部１０４による撮像画像からコントローラ２００を検出することにより、コントローラ２００の位置を取得し、周辺領域を決定することができる。また、マップ抽出部１１１は、コントローラ２００から受信した位置情報を用いて周辺領域を決定してもよい。
なお、マップ抽出部１１１がマップ１２０から抽出してコントローラ２００に送信する送信割合は、コントローラ２００の処理能力および記憶容量に基づいて変更されてもよい。すなわち、マップ抽出部１１１は、コントローラ２００の処理能力および記憶容量の少なくともいずれかに基づいて、マップ１２０から抽出するキーフレーム情報の抽出量または抽出割合を変更する。
また、マップ抽出部１１１は、コントローラ２００の移動速度に基づいて、マップ１２０から抽出するキーフレーム情報の抽出量または抽出割合を変更してもよい。例えば、コントローラ２００で実行されるアプリケーションの種類、過去の使用時の移動速度の履歴等の情報に基づいて、移動速度が速くなることが想定される場合、ＨＭＤ１００は、抽出マップ１２１の抽出量または抽出割合を多くすることが好ましい。この場合、抽出マップ１２１の抽出量または抽出割合は、アプリケーションの種類などに応じて、あらかじめ設定しておいてもよい。
また、コントローラ２００が静止したタイミングで、ＨＭＤ１００は、コントローラ２００の次の移動に備えて抽出マップ１２１の抽出量を増やしてもよい。
また、マップ抽出部１１１は、コントローラ２００の位置姿勢の情報の取得状況に基づいて、マップ１２０から抽出するキーフレーム情報の抽出量または抽出割合を変更してもよい。例えば、コントローラ２００が、撮像部２０４による撮像画像のブラー等により位置姿勢の情報が取得されなくなるロスト状態となった場合に、マップ抽出部１１１は、抽出量または抽出割合を増やしてもよい。
（第２の抽出方法）
図５は、抽出マップ１２１の第２の抽出方法を説明する図である。マップ抽出部１１１は、キーフレーム（キーフレーム画像を撮像した位置）が分布する領域全体（体験領域）を複数に分割した分割領域ごとに、代表となるキーフレーム情報を抽出することにより、抽出マップ１２１を生成する。
図５の例では、マップ抽出部１１１は、分割領域５０１～分割領域５０４から、それぞれキーフレームＫＦ１、キーフレームＫＦ２、キーフレームＫＦ４、キーフレームＫＦ６を選択してキーフレーム情報を抽出する。マップ抽出部１１１は、分割領域ごとに代表となるキーフレーム情報を抽出することで抽出量を減らすことができる。
マップ抽出部１１１は、キーフレーム情報の品質に基づいて、各分割領域から代表となるキーフレーム情報を選択することができる。キーフレーム情報の品質は、例えば、キーフレームの最適化処理（非特許文献１を参照）を行った時に発生したキーフレーム位置の修正量、キーフレーム画像に映る特徴点数（特徴点を後から削る処理がある場合には残存特徴点数）、キーフレーム画像におけるブラーの割合、キーフレーム画像における移動物体の数、またはキーフレーム情報の生成時期などである。マップ抽出部１１１は、分割領域内のキーフレーム情報のうち、キーフレーム位置の修正量がより少ないキーフレーム情報、キーフレーム画像に紐づく特徴点数が多いキーフレーム情報、ブラーがより少ないキーフレーム情報、移動物体がより少ないキーフレーム情報、作成日時がより新しいキーフレーム情報を代表として選択することができる。
分割領域の数および分割領域の大きさは、キーフレームが分布する領域全体（体験領域）の大きさに基づいて変更されてもよい。体験領域が大きくなって分割領域の数が増えると抽出量が増加するため、マップ抽出部１１１は、分割領域の大きさを大きくすることで分割数を少なくしてもよい。分割領域の数および分割領域の大きさが変更されると、マップ抽出部１１１は抽出マップ１２１を生成し、通信部１０８を介して、生成した抽出マッ
プ１２１をコントローラ２００に送信するようにしてもよい。
（第３の抽出方法）
図６～図８を参照して、抽出マップ１２１の第３の抽出方法を説明する。マップ抽出部１１１は、キーフレーム画像に撮像された特徴点の位置の分散、または特徴点の再投影誤差に基づいて、キーフレーム情報を抽出する。
図６および図７は、キーフレーム画像に撮像された特徴点の位置の分散に基づいてキーフレーム情報を抽出する第３の抽出方法の第１の例を説明する図である。キーフレーム画像には複数の特徴点が映っており、第１の例では、マップ抽出部１１１は、キーフレーム画像に撮像された複数の特徴点について、それぞれ位置の分散を計算する。マップ抽出部１１１は、例えば、各特徴点の分散の平均値を、キーフレーム情報を抽出するための指標値として用いることができる。マップ抽出部１１１は、キーフレーム画像に含まれる各特徴点の位置の分散の平均がより小さいキーフレーム画像を優先して抽出する。図６は、キーフレーム情報を抽出するために個々のキーフレームの品質を測る指標値の算出方法の第１の例を説明するフローチャートである。
マップ抽出部１１１は、マップ１２０に含まれるすべてのキーフレーム画像ｉ（図６の例ではｉ＝１，…，Ｎ、Ｎは自然数）に対し、キーフレーム画像ｉにおける特徴点の位置の分散の平均を計算する処理Ｌ１を実行する。
処理Ｌ１のステップＳ１０１において、マップ抽出部１１１は、キーフレーム画像ｉに撮像された特徴点の情報を取得する。この時の特徴点の情報は非特許文献１に示すような最適化処理を施す前の情報であり、キーフレームから観測した時の奥行値と画像中の座標の情報を含む。同一の特徴点であっても、観測するキーフレームによって三次元位置は微小に異なる。
マップ抽出部１１１は、キーフレーム画像ｉに撮像されたすべての特徴点ｊ（図６の例ではｊ＝１，…，Ｍｉ、Ｍｉはキーフレーム画像ｉごとに異なる自然数）に対し、特徴点ｊの位置の分散を計算する処理Ｌ２を実行する。
処理Ｌ２のステップＳ１０２において、マップ抽出部１１１は、特徴点ｊの位置の分散を計算する。マップ抽出部１１１は、キーフレーム画像ｉに撮像されたすべての特徴点ｊ（ｊ＝１，…，Ｍｉ）の位置の分散を計算すると、ステップＳ１０３に進む。
処理Ｌ１のステップＳ１０３において、マップ抽出部１１１は、キーフレーム画像ｉについて、ステップＳ１０２で得られた各特徴点ｊの位置の分散の平均を指標値として計算する。なお、各特徴点ｊの位置の分散から一つの指標値が得られればよく、指標値の計算方法は必ずしも平均を計算する方法に限られない。指標値の計算方法は、単純加算平均の他、中央値、重みづけをした平均など、多様な方法を用いることができる。
マップ抽出部１１１は、マップ１２０に含まれるすべてのキーフレーム画像ｉ（ｉ＝１，…，Ｎ）について特徴点の位置の分散の平均を計算すると、ステップＳ１０４に進む。ステップＳ１０４において、マップ抽出部１１１は、ステップＳ１０３で計算した特徴点の位置の分散の平均が閾値以下のキーフレーム情報を抽出する。抽出されたキーフレーム情報は、通信部１０８によりコントローラ２００に送信される。
図７の例では、マップ抽出部１１１は、指標値として算出された特徴点の位置の分散の平均が０．４０未満であるキーフレームＫＦ１およびキーフレームＫＦ４のキーフレーム情報を抽出する。このように、マップ抽出部１１１は、閾値を設定して分散が閾値未満の
キーフレーム情報を抽出してもよく、分散が低い方から所定の割合の数のキーフレーム情報を抽出してもよい。
図８は、キーフレーム画像に撮像された特徴点の再投影誤差に基づいてキーフレーム情報を抽出する第３の抽出方法の第２の例を説明する図である。マップ抽出部１１１は、特徴点の再投影誤差がより小さいキーフレーム画像を優先して抽出する。図８は、キーフレーム情報を抽出するために個々のキーフレームの品質を測る指標値の算出方法の第２の例を説明するフローチャートである。
マップ抽出部１１１は、マップ１２０に含まれるすべてのキーフレーム画像ｉ（図８の例ではｉ＝１，…，Ｎ、Ｎは自然数）に対し、キーフレーム画像ｉにおける特徴点の再投影誤差の平均を計算する処理Ｌ３を実行する。処理Ｌ３のステップＳ２０１の処理は、図６のステップＳ１０１と同様である。
マップ抽出部１１１は、キーフレーム画像ｉに撮像されたすべての特徴点ｊ（図８の例ではｊ＝１，…，Ｍｉ、Ｍｉはキーフレーム画像ｉごとに異なる自然数）に対し、特徴点ｊの再投影誤差を計算する処理Ｌ４を実行する。
処理Ｌ４のステップＳ２０２において、マップ抽出部１１１は、特徴点ｊの再投影誤差を計算する。位置姿勢取得部１０９が取得したＨＭＤ１００の位置姿勢を元に、仮に１ｍ先などに投影面を設定してマップに含まれる各特徴点を再投影した際に、現在位置姿勢で見える特徴点の画像座標と、投影面に再投影した特徴点の２次元座標との差分が再投影誤差である。マップ抽出部１１１は、キーフレーム画像ｉに撮像されたすべての特徴点ｊ（ｊ＝１，…，Ｍｉ）の再投影誤差を計算すると、ステップＳ２０３に進む。
処理Ｌ３のステップＳ２０３において、マップ抽出部１１１は、キーフレーム画像ｉについて、ステップＳ２０２で得られた各特徴点ｊの再投影誤差の平均を指標値として計算する。なお、一つの指標値が得られればよく、指標値の計算方法は必ずしも平均を計算する方法に限られない。指標値の計算方法は、単純加算平均の他、中央値、重みづけをした平均など、多様な方法を用いることができる。
マップ抽出部１１１は、マップ１２０に含まれるすべてのキーフレーム画像ｉ（ｉ＝１，…，Ｎ）について特徴点の再投影誤差の平均を計算すると、ステップＳ２０４に進む。ステップＳ２０４において、マップ抽出部１１１は、ステップＳ２０３で計算した特徴点の再投影誤差の平均が閾値以下のキーフレーム情報を抽出する。抽出されたキーフレーム情報は、通信部１０８によりコントローラ２００に送信される。
なお、マップ抽出部１１１は、キーフレーム画像に撮像された特徴点の位置の分散および特徴点の再投影誤差に限られず、キーフレームの品質を示す各種指標値に基づいてキーフレーム情報を抽出することができる。
（その他の抽出方法）
上記の第１～３の抽出方法の他、第２の抽出方法で、分割領域から代表となるキーフレーム情報を選択した場合と同様に、キーフレーム情報の品質に基づいて、マップ１２０から抽出マップ１２１を生成してもよい。キーフレーム情報の品質は、例えば、キーフレームの最適化処理（非特許文献１を参照）を行った時に発生したキーフレーム位置の修正量、キーフレーム画像に映る特徴点数（特徴点を後から削る処理がある場合には残存特徴点数）、キーフレーム画像におけるブラーの割合、キーフレーム画像における移動物体の数、またはキーフレーム情報の生成時期などである。
マップ抽出部１１１は、マップ１２０のキーフレーム情報のうち、キーフレームの最適化処理の結果キーフレーム位置の修正量が小さい方から所定数（所定割合）のキーフレーム情報、またはキーフレーム位置の修正量が閾値以上のキーフレーム情報を抽出してもよい。また、マップ抽出部１１１は、キーフレーム画像に映る特徴点数が多い方から所定数（所定割合）のキーフレーム情報、またはキーフレーム画像に紐づく特徴点数が閾値以上のキーフレーム情報を抽出してもよい。また、マップ抽出部１１１は、キーフレーム画像においてブラーの領域の割合が閾値以下であるキーフレーム情報を抽出してもよい。また、マップ抽出部１１１は、キーフレーム画像で検出された移動物体の数が所定数以下、またはキーフレーム画像において移動物体が占める領域の割合が閾値以下であるキーフレーム情報を抽出してもよい。また、マップ抽出部１１１は、キーフレーム情報の作成日時が新しい方から所定数（所定割合）のキーフレーム情報を抽出してもよい。
また、マップ抽出部１１１は、特定の位置を示すマーカを含むキーフレーム情報を抽出してもよい。さらに、マップ抽出部１１１は、コントローラ２００の撮像部２０４による撮像方向に基づいて、マップ１２０からキーフレーム情報を抽出してもよい。撮像部２０４がよく向けられる方向のキーフレーム情報が優先して抽出されるようにするため、例えば３軸の正負の方向に対し、あらかじめ重み付けをする。撮像部２０４がよく向けられる方向には、より大きい重みが設定される。マップ抽出部１１１は、各方向の重みに比例する数のキーフレーム情報をそれぞれの方向から抽出して抽出マップ１２１を生成することができる。マップ抽出部１１１は、以上の条件から選択された複数の条件を組み合わせてキーフレーム情報を抽出してもよい。
抽出マップ１２１は、抽出方法に応じて複数回コントローラ２００に送信されるが、コントローラ２００は、過去に受信した抽出マップ１２１のうち、コントローラ２００の記憶容量に応じて、古い抽出マップ１２１から順次削除してもよい。
上記の実施形態１によれば、コントローラ２００は、ＨＭＤ１００で生成された抽出マップ１２１を用いてコントローラ２００の位置姿勢の情報を取得することで、精度よくコントローラ２００の位置姿勢を推定することができる。また、マップ１２０の一部を抽出した抽出マップ１２１をＨＭＤ１００から受信するため、ＨＭＤ１００よりも処理能力および記憶容量が小さいコントローラ２００であっても、好適に位置姿勢を推定することができる。
なお、上記の第１～第３の抽出方法およびその他の抽出方法は、適宜組み合わせて適用することが可能である。また、ＨＭＤ１００は、１つのコントローラ２００に限られず、複数のコントローラ２００のそれぞれに対して抽出マップ１２１を生成し、複数のコントローラ２００に対し、それぞれに対応する抽出マップ１２１を送信してもよい。
＜実施形態２＞
実施形態１では、コントローラ２００は、ＨＭＤ１００から抽出マップ１２１を受信し、撮像部２０４による撮像画像と受信した抽出マップ１２１とに基づいて、コントローラ２００の位置姿勢の情報を取得する。これに対し、実施形態２では、コントローラ２００は、撮像部２０４による撮像画像をＨＭＤ１００に送信し、ＨＭＤ１００にコントローラ２００の位置姿勢の情報を取得させる。
実施形態２に係るＨＭＤ１００の構成は図１（Ａ）と同様であるが、通信部１０８の処理は実施形態１と異なる。実施形態２に係るコントローラ２００の構成は図１（Ｂ）と同様であるが、通信部２０８および位置姿勢取得部２０９の処理は実施形態１と異なる。以下、実施形態１と異なる処理について説明する。
図９は、実施形態２に係る情報処理システムを説明する図である。コントローラ２００の通信部２０８は、撮像部２０４による撮像画像をＨＭＤ１００に送信する。ＨＭＤ１００は、コントローラ２００から受信した撮像部２０４による撮像画像と、マップ生成部１１０が生成したマップ１２０とに基づいて、コントローラ２００の位置姿勢の情報を取得する。マップ１２０は、実施形態１と同様に、ＨＭＤ１００の位置姿勢の情報と当該位置姿勢で撮像されたキーフレーム画像とに基づいて生成されたマップ情報である。ＨＭＤ１００の通信部１０８は、取得したコントローラ２００の位置姿勢の情報を、コントローラ２００に送信する。
コントローラ２００は、所定の時間間隔でＨＭＤ１００に撮像画像を送信し、ＨＭＤ１００で取得されたコントローラ２００の位置姿勢の情報を受信する。ＨＭＤ１００からコントローラ２００の位置姿勢の情報を受信し、次にＨＭＤ１００に撮像画像を送信するまでの間、コントローラ２００は、オドメトリによりコントローラ２００の位置姿勢の情報を取得してもよい。
上記の実施形態２によれば、コントローラ２００は、マップ１２０を用いてＨＭＤ１００において取得されたコントローラ２００の位置姿勢の情報を受信するため、精度よくコントローラ２００の位置姿勢を推定することができる。また、コントローラ２００は、マップ１２０の生成、コントローラ２００の位置姿勢の情報取得の処理を実行しないため、処理負荷が軽減される。また、マップ情報を保持しないため、記憶容量は、実施形態１のコントローラ２００より少なくてもよい。
＜実施形態３＞
実施形態２では、コントローラ２００は、撮像部２０４による撮像画像をＨＭＤ１００に送信し、ＨＭＤ１００にコントローラ２００の位置姿勢の情報を取得させる。これに対し、実施形態３では、コントローラ２００は、撮像部２０４による撮像画像をＨＭＤ１００に送信し、ＨＭＤ１００にコントローラ２００用のマップを生成させる。
実施形態３に係るＨＭＤ１００の構成は、図１（Ａ）の構成のうちマップ抽出部１１１を除く構成と同様であるが、通信部１０８、位置姿勢取得部１０９、マップ生成部１１０の処理は実施形態１と異なる。実施形態２に係るコントローラ２００の構成は図１（Ｂ）と同様であるが、通信部２０８および位置姿勢取得部２０９の処理は実施形態１と異なる。以下、実施形態１と異なる処理について説明する。
図１０は、実施形態３に係る情報処理システムを説明する図である。コントローラ２００の通信部２０８は、撮像部２０４による撮像画像をＨＭＤ１００に送信する。ＨＭＤ１００の位置姿勢取得部１０９は、コントローラ２００から受信した撮像画像を用いてコントローラ２００の位置姿勢の情報を取得する。マップ生成部１１０は、コントローラ２００の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてコントローラ用マップ１３０を生成する。通信部１０８は、生成されたコントローラ用マップ１３０をコントローラ２００に送信する。
コントローラ２００は、撮像部２０４による撮像画像およびＨＭＤ１００から受信したコントローラ用マップ１３０を用いて、コントローラ２００の位置姿勢の情報を取得する。コントローラ２００は、コントローラ２００よりも処理能力が高いＨＭＤ１００で生成されたコントローラ用マップ１３０を用いることで、精度よくコントローラ２００の位置姿勢の情報を取得することができる。なお、ＨＭＤ１００は、コントローラ２００から受信した撮像部２０４による撮像画像を用いて非リアルタイムでコントローラ用マップ１３０を生成し、コントローラ２００に送信してもよい。
また、ＨＭＤ１００は、実施形態１で生成したＨＭＤ１００用のマップ１２０、およびコントローラ用マップ１３０を組み合わせることにより、新たなコントローラ用マップ１３０を生成してもよい。ＨＭＤ１００は、例えば、マップ１２０およびコントローラ用マップ１３０から品質を示す各種指標が所定の条件を満たすキーフレーム情報を抽出して組み合わせることにより、新たなコントローラ用マップ１３０を生成することができる。また、ＨＭＤ１００は、公知のＳＬＡＭによるマップの統合処理によって、マップ１２０とコントローラ用マップ１３０とを統合してもよい。
また、ＨＭＤ１００の位置姿勢取得部１０９はコントローラ２００から受信した撮像画像からＨＭＤ１００を検出することにより、コントローラ２００の位置姿勢の情報を取得してもよい。具体的には、ＨＭＤ１００は、マップ１２０を用いてＨＭＤ１００の位置姿勢の情報を取得し、コントローラ２００から受信した撮像画像でのＨＭＤ１００の検出結果からコントローラ２００の相対的な位置姿勢を取得する。ＨＭＤ１００は、ＨＭＤ１００の位置姿勢とコントローラ２００の相対的な位置姿勢とに基づいて、コントローラ２００の位置姿勢の情報を取得することができる。
上記の実施形態３によれば、コントローラ２００は、ＨＭＤ１００で生成されたコントローラ用マップ１３０を用いて、コントローラ２００の位置姿勢の情報を取得するため、精度よくコントローラ２００の位置姿勢を推定することができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
前記情報処理装置は、
第１撮像手段と
前記第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得手段と、
前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
前記マップ情報の一部を抽出する抽出手段と、
前記抽出手段によって抽出された抽出マップ情報を前記端末装置に送信する通信手段と
を有し、
前記端末装置は、
第２撮像手段と、
前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得手段と
を有することを特徴とする情報処理システム。
（構成２）
前記第２取得手段は、第２撮像手段による撮像画像を用いて前記端末装置の位置姿勢の情報を取得し、所定のタイミングで、前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて前記端末装置の位置姿勢の情報を取得する
ことを特徴とする構成１に記載の情報処理システム。
（構成３）
前記所定のタイミングは、定期的または定時的なタイミングである
ことを特徴とする構成２に記載の情報処理システム。
（構成４）
前記マップ情報は、前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された前記キーフレーム画像とを対応づけたキーフレーム情報を複数含む
ことを特徴とする構成１～３のいずれか１項に記載の情報処理システム。
（構成５）
前記抽出手段は、前記端末装置の周辺領域で作成された前記キーフレーム情報を、前記マップ情報から抽出する
ことを特徴とする構成４に記載の情報処理システム。
（構成６）
前記周辺領域の大きさは、前記端末装置の処理能力、前記端末装置の記憶部の記憶容量、前記周辺領域内の前記キーフレーム情報の数の少なくともいずれかに基づいて決定される
ことを特徴とする構成５に記載の情報処理システム。
（構成７）
前記抽出手段は、前記キーフレーム画像を撮像した位置が分布する領域を複数に分割した分割領域ごとに、代表となる前記キーフレーム情報を抽出する
ことを特徴とする構成４に記載の情報処理システム。
（構成８）
前記抽出手段は、前記キーフレーム画像を撮像した位置が分布する領域の大きさに基づいて、前記分割領域の数または前記分割領域の大きさを変更する
ことを特徴とする構成７に記載の情報処理システム。
（構成９）
前記通信手段は、前記分割領域の数または前記分割領域の大きさが変更された場合に、前記端末装置に前記抽出マップ情報を送信する
ことを特徴とする構成７または８に記載の情報処理システム。
（構成１０）
前記抽出手段は、前記キーフレーム画像に撮像された特徴点の位置の分散、または前記特徴点の再投影誤差に基づいて、前記キーフレーム情報を抽出する
ことを特徴とする構成４に記載の情報処理システム。
（構成１１）
前記抽出手段は、前記キーフレーム画像におけるブラーの割合、前記キーフレーム画像における移動物体の数、または前記キーフレーム情報の生成時期に基づいて、前記マップ情報から前記キーフレーム情報を抽出する
ことを特徴とする構成４～１０のいずれか１項に記載の情報処理システム。
（構成１２）
前記抽出手段は、前記端末装置の撮像方向に基づいて、前記マップ情報から前記キーフレーム情報を抽出する
ことを特徴とする構成４～１１のいずれか１項に記載の情報処理システム。
（構成１３）
前記端末装置は、慣性計測手段をさらに有し、
前記第２取得手段は、前記慣性計測手段によって前記端末装置の位置姿勢の情報を取得し、所定のタイミングで、前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて前記端末装置の位置姿勢の情報を取得する
ことを特徴とする構成１に記載の情報処理システム。
（構成１４）
前記抽出手段は、前記端末装置の処理能力および記憶容量の少なくともいずれかに基づ
いて、前記マップ情報から抽出する抽出量または抽出割合を変更する
ことを特徴とする構成１～１３のいずれか１項に記載の情報処理システム。
（構成１５）
前記抽出手段は、前記端末装置の移動速度または前記端末装置の位置姿勢の情報の取得状況に基づいて、前記マップ情報から抽出する抽出量または抽出割合を変更する
ことを特徴とする構成１～１４のいずれか１項に記載の情報処理システム。
（構成１６）
前記抽出手段は、複数の前記端末装置のそれぞれに対して前記抽出マップ情報を生成し、
前記通信手段は、前記複数の前記端末装置に対し、それぞれに対応する前記抽出マップ情報を送信する
構成１～１５のいずれか１項に記載の情報処理システム。
（構成１７）
情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
前記端末装置は、
第２撮像手段と、
前記第２撮像手段による撮像画像を前記情報処理装置に送信する送信手段と
を有し
前記情報処理装置は、
第１撮像手段と
前記第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得手段と、
前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
前記第２撮像手段による撮像画像と前記マップ情報とに基づいて、前記端末装置の位置姿勢の情報を取得する取得手段と、
前記端末装置の位置姿勢の情報を前記端末装置に送信する通信手段と
を有することを特徴とする情報処理システム。
（構成１８）
情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
前記情報処理装置は、
前記端末装置から受信した撮像画像を用いて前記端末装置の位置姿勢の情報を取得する第１取得手段と、
前記端末装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
前記マップ情報を前記端末装置に送信する通信手段と
を有し、
前記端末装置は、
第２撮像手段と、
前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得手段と
を有することを特徴とする情報処理システム。
（構成１９）
前記第１取得手段は、前記情報処理装置による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得し、
前記生成手段は、前記端末装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づく第１マップ情報、および、前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づく第
２マップ情報を組み合わせて前記マップ情報を生成する
ことを特徴とする構成１８に記載の情報処理システム。
（構成２０）
前記第１取得手段は、前記端末装置による撮像画像から、前記情報処理装置を検出することにより、前記端末装置の位置姿勢の情報を取得する
ことを特徴とする構成１８または１９に記載の情報処理システム。
（構成２１）
端末装置が位置姿勢を推定するためのマップ情報を生成する情報処理装置であって、
撮像手段と
前記撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する取得手段と、
前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいて前記マップ情報を生成する生成手段と、
前記マップ情報の一部を抽出し、前記端末装置の姿勢情報を取得するために用いられる抽出マップ情報を生成する抽出手段と、
前記抽出マップ情報を前記端末装置に送信する通信手段と
を有することを特徴とする情報処理装置。
（構成２２）
情報処理装置から受信したマップ情報を用いて位置姿勢を推定する端末装置であって、
撮像手段と、
前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいて生成されたマップ情報の一部を抽出した抽出マップ情報を、前記情報処理装置から受信する通信手段と、
前記撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する取得手段と
を有することを特徴とする端末装置。
（方法）
情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムの制御方法であって、
前記情報処理装置の第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得ステップと、
前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成ステップと、
前記マップ情報の一部を抽出する抽出ステップと、
前記抽出ステップで抽出された抽出マップ情報を前記端末装置に送信する通信ステップと、
前記端末装置の第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得ステップと
を有することを特徴とする制御方法。
（プログラム）
構成２３に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
１００：ＨＭＤ（情報処理装置）、１０１：ＣＰＵ、１０４：撮像部、１０８：通信部、１０９：位置姿勢取得部、１１０：マップ生成部、１１１：マップ抽出部、１２０：マップ、１２１：抽出マップ
２００：コントローラ（端末装置）、２０４：撮像部、２０９：位置姿勢取得部

Claims (24)

  1. 情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
    前記情報処理装置は、
    第１撮像手段と
    前記第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得手段と、
    前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
    前記マップ情報の一部を抽出する抽出手段と、
    前記抽出手段によって抽出された抽出マップ情報を前記端末装置に送信する通信手段と
    を有し、
    前記端末装置は、
    第２撮像手段と、
    前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得手段と
    を有することを特徴とする情報処理システム。
  2. 前記第２取得手段は、第２撮像手段による撮像画像を用いて前記端末装置の位置姿勢の情報を取得し、所定のタイミングで、前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて前記端末装置の位置姿勢の情報を取得する
    ことを特徴とする請求項１に記載の情報処理システム。
  3. 前記所定のタイミングは、定期的または定時的なタイミングである
    ことを特徴とする請求項２に記載の情報処理システム。
  4. 前記マップ情報は、前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された前記キーフレーム画像とを対応づけたキーフレーム情報を複数含む
    ことを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
  5. 前記抽出手段は、前記端末装置の周辺領域で作成された前記キーフレーム情報を、前記マップ情報から抽出する
    ことを特徴とする請求項４に記載の情報処理システム。
  6. 前記周辺領域の大きさは、前記端末装置の処理能力、前記端末装置の記憶部の記憶容量、前記周辺領域内の前記キーフレーム情報の数の少なくともいずれかに基づいて決定される
    ことを特徴とする請求項５に記載の情報処理システム。
  7. 前記抽出手段は、前記キーフレーム画像を撮像した位置が分布する領域を複数に分割した分割領域ごとに、代表となる前記キーフレーム情報を抽出する
    ことを特徴とする請求項４に記載の情報処理システム。
  8. 前記抽出手段は、前記キーフレーム画像を撮像した位置が分布する領域の大きさに基づいて、前記分割領域の数または前記分割領域の大きさを変更する
    ことを特徴とする請求項７に記載の情報処理システム。
  9. 前記通信手段は、前記分割領域の数または前記分割領域の大きさが変更された場合に、前記端末装置に前記抽出マップ情報を送信する
    ことを特徴とする請求項７に記載の情報処理システム。
  10. 前記抽出手段は、前記キーフレーム画像に撮像された特徴点の位置の分散、または前記特徴点の再投影誤差に基づいて、前記キーフレーム情報を抽出する
    ことを特徴とする請求項４に記載の情報処理システム。
  11. 前記抽出手段は、前記キーフレーム画像におけるブラーの割合、前記キーフレーム画像における移動物体の数、または前記キーフレーム情報の生成時期に基づいて、前記マップ情報から前記キーフレーム情報を抽出する
    ことを特徴とする請求項４に記載の情報処理システム。
  12. 前記抽出手段は、前記端末装置の撮像方向に基づいて、前記マップ情報から前記キーフレーム情報を抽出する
    ことを特徴とする請求項４に記載の情報処理システム。
  13. 前記端末装置は、慣性計測手段をさらに有し、
    前記第２取得手段は、前記慣性計測手段によって前記端末装置の位置姿勢の情報を取得し、所定のタイミングで、前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて前記端末装置の位置姿勢の情報を取得する
    ことを特徴とする請求項１に記載の情報処理システム。
  14. 前記抽出手段は、前記端末装置の処理能力および記憶容量の少なくともいずれかに基づいて、前記マップ情報から抽出する抽出量または抽出割合を変更する
    ことを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
  15. 前記抽出手段は、前記端末装置の移動速度または前記端末装置の位置姿勢の情報の取得状況に基づいて、前記マップ情報から抽出する抽出量または抽出割合を変更する
    ことを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
  16. 前記抽出手段は、複数の前記端末装置のそれぞれに対して前記抽出マップ情報を生成し、
    前記通信手段は、前記複数の前記端末装置に対し、それぞれに対応する前記抽出マップ情報を送信する
    請求項１～３のいずれか１項に記載の情報処理システム。
  17. 情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
    前記端末装置は、
    第２撮像手段と、
    前記第２撮像手段による撮像画像を前記情報処理装置に送信する送信手段と
    を有し
    前記情報処理装置は、
    第１撮像手段と
    前記第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得手段と、
    前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
    前記第２撮像手段による撮像画像と前記マップ情報とに基づいて、前記端末装置の位
    置姿勢の情報を取得する取得手段と、
    前記端末装置の位置姿勢の情報を前記端末装置に送信する通信手段と
    を有することを特徴とする情報処理システム。
  18. 情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムであって、
    前記情報処理装置は、
    前記端末装置から受信した撮像画像を用いて前記端末装置の位置姿勢の情報を取得する第１取得手段と、
    前記端末装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成手段と、
    前記マップ情報を前記端末装置に送信する通信手段と
    を有し、
    前記端末装置は、
    第２撮像手段と、
    前記第２撮像手段による撮像画像および前記情報処理装置から送信された前記マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得手段と
    を有することを特徴とする情報処理システム。
  19. 前記第１取得手段は、前記情報処理装置による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得し、
    前記生成手段は、前記端末装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づく第１マップ情報、および、前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づく第２マップ情報を組み合わせて前記マップ情報を生成する
    ことを特徴とする請求項１８に記載の情報処理システム。
  20. 前記第１取得手段は、前記端末装置による撮像画像から、前記情報処理装置を検出することにより、前記端末装置の位置姿勢の情報を取得する
    ことを特徴とする請求項１８または１９に記載の情報処理システム。
  21. 端末装置が位置姿勢を推定するためのマップ情報を生成する情報処理装置であって、
    撮像手段と
    前記撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する取得手段と、
    前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいて前記マップ情報を生成する生成手段と、
    前記マップ情報の一部を抽出し、前記端末装置の姿勢情報を取得するために用いられる抽出マップ情報を生成する抽出手段と、
    前記抽出マップ情報を前記端末装置に送信する通信手段と
    を有することを特徴とする情報処理装置。
  22. 情報処理装置から受信したマップ情報を用いて位置姿勢を推定する端末装置であって、
    撮像手段と、
    前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいて生成されたマップ情報の一部を抽出した抽出マップ情報を、前記情報処理装置から受信する通信手段と、
    前記撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する取得手段と
    を有することを特徴とする端末装置。
  23. 情報処理装置と端末装置とを有し、前記端末装置の位置姿勢を推定するための情報処理システムの制御方法であって、
    前記情報処理装置の第１撮像手段による撮像画像を用いて前記情報処理装置の位置姿勢の情報を取得する第１取得ステップと、
    前記情報処理装置の位置姿勢の情報と、当該位置姿勢で撮像された撮像画像であるキーフレーム画像とに基づいてマップ情報を生成する生成ステップと、
    前記マップ情報の一部を抽出する抽出ステップと、
    前記抽出ステップで抽出された抽出マップ情報を前記端末装置に送信する通信ステップと、
    前記端末装置の第２撮像手段による撮像画像および前記情報処理装置から送信された前記抽出マップ情報を用いて、前記端末装置の位置姿勢の情報を取得する第２取得ステップと
    を有することを特徴とする制御方法。
  24. 請求項２３に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2022109047A 2022-07-06 2022-07-06 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法 Pending JP2024007754A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022109047A JP2024007754A (ja) 2022-07-06 2022-07-06 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法
PCT/JP2023/015064 WO2024009581A1 (ja) 2022-07-06 2023-04-13 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022109047A JP2024007754A (ja) 2022-07-06 2022-07-06 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法

Publications (1)

Publication Number Publication Date
JP2024007754A true JP2024007754A (ja) 2024-01-19

Family

ID=89453063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022109047A Pending JP2024007754A (ja) 2022-07-06 2022-07-06 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法

Country Status (2)

Country Link
JP (1) JP2024007754A (ja)
WO (1) WO2024009581A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
JP6922348B2 (ja) * 2017-03-31 2021-08-18 富士通株式会社 情報処理装置、方法、及びプログラム
JP7341652B2 (ja) * 2018-01-12 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
JP6860620B2 (ja) * 2018-07-06 2021-04-14 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020054498A1 (ja) * 2018-09-13 2020-03-19 ソニー株式会社 情報処理装置、端末装置、情報処理システム、情報処理方法及びプログラム
JP7182976B2 (ja) * 2018-09-27 2022-12-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
WO2024009581A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US8798387B2 (en) Image processing device, image processing method, and program for image processing
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9001222B2 (en) Image processing device, image processing method, and program for image processing for correcting displacement between pictures obtained by temporally-continuous capturing
CN108335337B (zh) 一种正射影像图的生成方法及装置
US10150485B2 (en) Method and device for processing image data, and driver-assistance system for a vehicle
WO2022193508A1 (zh) 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
JP2019124538A (ja) 情報処理装置、システム、情報処理方法
JP6499047B2 (ja) 計測装置、方法及びプログラム
EP3529978B1 (en) An image synthesis system
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN111507132B (zh) 一种定位方法、装置及设备
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN113240813A (zh) 三维点云信息确定方法及装置
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
WO2024009581A1 (ja) 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法
US20230104937A1 (en) Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
WO2020223868A1 (zh) 地面信息处理方法、装置和无人驾驶车辆
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット
JP2021103410A (ja) 移動体及び撮像システム
JP2021043486A (ja) 位置推定装置