WO2021256310A1 - 情報処理装置、端末装置、情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

デバイスが自己の位置を推定することを可能にする。情報処理装置（２００）と端末装置（１００）とを備える情報処理システムであって、前記情報処理装置は、前記端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部（５０２）と、前記制御部で制御された前記表示位置に前記画像を表示する表示部（５０６）と、を備え、前記端末装置は、前記情報処理装置により前記表示された前記画像を撮像する撮像部（４０６）と、前記画像の表示位置に関する位置情報を取得する取得部（４０８）と、前記撮像部で撮像された前記画像及び前記取得部で取得された前記位置情報に基づいて自己位置の推定を更新する自己位置推定更新部（４０２）と、を備える情報処理システムを提供する。

Description

情報処理装置、端末装置、情報処理システム、情報処理方法およびプログラム

　本開示は、情報処理装置、端末装置、情報処理システム、情報処理方法およびプログラムに関する。

　近年、ヘッドマウントディスプレイに代表される、ユーザの視界を覆う表示装置を備えた端末装置を頭部に装着することで、当該ユーザにコンテンツを視聴させることができる技術が開発されている。このような技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

国際公開第２０１５／０７９６１０号

　しかしながら、従来技術では、ユーザが装着する端末装置が自己の位置を推定する際、適切な推定をすることができていなかった。

　本発明は、上記に鑑みてなされたものであって、デバイスが自己の位置を推定することを可能とする情報処理装置、端末装置、情報処理システム、情報処理方法を提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本開示において、端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部と、制御部で制御された前記表示位置に前記画像を表示する表示部と、を備える情報処理装置、を提供する。

実施形態に係る端末装置の一例を説明するための図である。 実施形態に係る端末装置の一例を説明するための図である。 実施形態に係る情報処理装置の一例を説明するための図である。 実施形態に係る表示装置の一例を説明するための図である。 実施形態に係る表示装置の一例を説明するための図である。 実施形態に係る端末装置の構成の一例を説明するための図である。 実施形態に係る情報処理装置の構成一例を説明するための図である。 実施形態に係る表示装置の構成一例を説明するための図である。 実施形態に係る初回キャリブレーションの一例を説明するための図である。 実施形態に係る初回キャリブレーションの一例を説明するための図である。 実施形態に係る端末装置及び情報処理装置が実行する処理手順の一例を示すフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、以下に示す項目順序に従って本開示を説明する。
　　１．一実施形態
　　　１．１．ハードウェア構成
　　　　１．１－１．端末装置
　　　　１．１－２．情報処理装置
　　　　１．１－３．表示装置
　　　１．２．機能構成
　　　　１．２－１．端末装置
　　　　１．２－２．情報処理装置
　　　　１．２－３．表示装置
　　　１．３．使用方法の概要
　　　１．４．動作の説明（フローチャート）
　　２．その他の実施形態

　［１．一実施形態］
　はじめに、一実施形態として、端末装置、情報処理装置及び表示装置を用いて端末装置が推定した自己位置を補正する例について述べる。

　［１．１．ハードウェア構成］
　先ず、本開示におけるハードウェアの構成について説明する。以下では、本実施形態に係る端末装置、情報処理装置及び表示装置夫々のハードウェアの構成例を挙げる。

　［１．１－１．端末装置］
　図１Ａ及び図１Ｂは、それぞれ、本実施形態における端末装置の外観及びハードウェア構成図の一例を示す図である。本実施形態における端末装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０４、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０６、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）１０８、ストレージ１１０、ディスプレイ１１２、カメラ１１４、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）１１６、タッチセンサ１１８、送受信器１２２等で構成されており、主にバス１２０を介して接続されている。

　本実施形態においてＣＰＵ１０２は、様々な演算を行う演算装置である。ＣＰＵ１０２は、例えば、ストレージ１１０に記憶されたプログラムをＲＡＭ１０６にコピーしたうえで実行する。ＣＰＵ１０２は、制御基板上に備わるＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）を構成する集積回路の一部であってもよい。

　ＣＰＵ１０２はまた、ディスプレイ１１２に表示する画像を制御する。例えば、ＶＲＡＭ１０８に記録された画像をディスプレイ１１２に表示するための命令をＧＰＵ１０４に発行し、ディスプレイ１１２に表示させる。

　ＣＰＵ１０２はまた、ＧＰＵ１０４、ＲＡＭ１０６、ＶＲＡＭ１０８、ストレージ１１０、ディスプレイ１１２、カメラ１１４、ＩＭＵ１１６、送受信器１２２等の各種デバイスを制御し、各種デバイスからの入力を処理する。

　本実施形態において、ＧＰＵ１０４は、画像処理のための演算を実行することを主目的とした演算装置であり、上述のようにＣＰＵ１０２からの命令を受けて演算を実行する。ＧＰＵ１０４もまた、ＣＰＵ１０２と同様、制御基板上に備わるＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）を構成する集積回路の一部であってもよい。

　本実施形態において、ＲＡＭ１０６は、ＣＰＵ１０２がプログラムを実行する際の作業領域として使用される主記憶装置である。ＲＡＭ１０６もまた、ＣＰＵ１０２やＧＰＵ１０４と同様、制御基板上に備わるＳｏＣを構成する集積回路の一部であってもよい。

　本実施形態において、ＶＲＡＭ１０８は、主として上述のＧＰＵ１０４が画像処理のための演算をする際の作業領域として使用される記憶装置である。ＶＲＡＭ１０８は上述のＲＡＭ１０６と共用の構成であるＵＭＡ（Ｕｎｉｆｉｅｄ　Ｍｅｍｏｒｙ　Ａｒｃｈｉｔｅｃｔｕｒｅ）であってもよい。

　本実施形態において、ストレージ１１０は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）やフラッシュメモリ等の補助記憶装置によって構成される。

　本実施形態におけるディスプレイ１１２は、ＧＰＵ１０４等で生成した画像をユーザに視認可能に提示するものであり、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。これらのディスプレイ１１２は、眼鏡型デバイスの場合、プリズム等の光学系を用いてユーザが視認可能にする。

　本実施形態におけるカメラ１１４は、レンズ、イメージセンサ（ＣＭＯＳ、ＣＣＤ等）及びカラーフィルタを少なくとも含むものである。カメラ１１４は端末装置１００の前面に配置されており、端末装置１００の向いている方向を撮影してもよいし、例えば３６０度カメラ等を備えて全方位を撮影してもよい。

　本実施形態におけるＩＭＵ１１６は、３軸ジャイロ及び３方向の加速度計が備わっており、これらによりそれぞれ３次元空間内の角速度及び加速度を求めることができる。これら求められた角速度及び加速度の積分により、自己姿勢を含む自己位置の推定をすることができる。

　本実施形態におけるタッチセンサ１１８は、ユーザによる接触を検知する機能を有する。タッチセンサ１１８は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ１１８は、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。

　ただし、本説明において例示した端末装置１００は、単なる一例であり、スマートフォン、タブレット端末、携帯ゲーム機など、ディスプレイとカメラとＩＭＵとを備える種々の端末装置を用いることが可能である。

　［１．１－２．情報処理装置］
　図２は、本実施形態における情報処理装置２００のハードウェア構成図の一例を示している。本実施形態における情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０２、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０４、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０６、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）２０８、ストレージ２１０、送受信器２１２等で構成されており、主にバス２１４を介して接続されている。

　本実施形態においてＣＰＵ２０２は、様々な演算を行う演算装置である。ＣＰＵ２０２は、例えば、ストレージ２１０に記憶されたプログラムをＲＡＭ２０６にコピーしたうえで実行する。

　ＣＰＵ２０２はまた、表示装置３００に表示する画像を制御する。例えば、ＶＲＡＭ２０８に記録された画像を表示装置３００に表示するための命令をＧＰＵ２０４に発行し、表示装置３００に表示させる。

　ＣＰＵ２０２はまた、ＧＰＵ２０４、ＲＡＭ２０６、ＶＲＡＭ２０８、ストレージ２１０、送受信器２１２等の各種デバイスを制御し、各種デバイスからの入力を処理する。

　本実施形態において、ＧＰＵ２０４は、画像処理のための演算を実行することを主目的とした演算装置であり、上述のようにＣＰＵ２０２からの命令を受けて演算を実行する。

　本実施形態において、ＲＡＭ２０６は、ＣＰＵ２０２がプログラムを実行する際の作業領域として使用される主記憶装置である。

　本実施形態において、ＶＲＡＭ２０８は、主として上述のＧＰＵ２０４が画像処理のための演算をする際の作業領域として使用される記憶装置である。

　本実施形態において、ストレージ２１０は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）やフラッシュメモリ等の補助記憶装置によって構成される。ストレージ２１０にはプログラム等が記憶されている。

　［１．１－３．表示装置］
　図３Ａ及び図３Ｂは、本実施形態における表示装置３００の外観の一例を示している。本実施形態における表示装置３００は、投影部３０２、スクリーン３０４、可動部３０６を少なくとも含む、所謂ムービングプロジェクターである。

　本実施形態において、投影部３０２は、表示装置３００に入力された映像をスクリーン３０４に投影する。

　本実施形態において、スクリーン３０４には、投影部３０２からの映像が投影される。映像の投影を目的とするものをスクリーン３０４として使用してもよいし、室内の壁等をスクリーン３０４として代用してもよい。

　本実施形態において、可動部３０６は、投影部３０２を可動させる機構である。可動部３０６により、映像を投影する方向を変更することができるため、可動部３０６が無い場合には映像の投影が不可能であった領域にも映像の投影が可能となる。

　［１．２．機能構成］
　続いて、本開示における機能の構成について説明する。以下では、本実施形態に係る端末装置１００、情報処理装置２００及び表示装置３００夫々の機能構成例を挙げる。

　［１．２－１．端末装置］
　本実施形態に係る端末装置１００の機能構成例を挙げる。

　図４は本実施形態における端末装置１００の機能構成の一例を示している。本実施形態における端末装置１００の機能は制御部４０２、記憶部４０４、撮像部４０６、取得部４０８、表示部４１０、通信部４１２等で構成される。

　本実施形態において制御部４０２は、上述のＣＰＵ１０２によって記憶部４０４に記憶されたシステムプログラム（以下、単にプログラムとも４０４２が実行されることにより実現される。記憶部４０４に記憶されたプログラム４０４２は、作業領域である上述のＲＡＭ１０６等の主記憶装置にコピーされた上でＣＰＵ１０２に実行される。

　制御部４０２はまた、表示部４１０に表示する画像を制御したりする。例えば、ＶＲＡＭ１０８に記録された画像を表示部４１０に表示するための命令をＧＰＵ１０４に発行し、表示部４１０に表示させる。

　制御部４０２はまた、端末装置１００のＩＭＵ１１６に備わる３軸ジャイロ及び３方向の加速度計の出力する３次元空間内の角速度及び加速度を時間積分することで、自己姿勢及び自己位置の時間経過に伴う変化を推定する。

　制御部４０２はまた、撮像部４０６に撮像の命令をする。例えば、制御部４０２は、プログラム４０４２実行中の所与のタイミングで、表示装置３００のスクリーン３０４に表示される目印画像を含む画像を撮像するよう撮像部４０６に命令をし、撮像結果をＲＡＭ１０６等の主記憶装置に保存する。

　制御部４０２は更に、上述の撮像された画像を解析して当該画像に含まれる目印画像の当該画像上の位置、大きさ、傾き等を検出する。

　本実施形態において記憶部４０４は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）やフラッシュメモリ等の補助記憶装置であるストレージ１１０によって構成される。記憶部４０４は、端末装置１００の制御を行うプログラム４０４２等を記憶している。

　記憶部４０４に記憶されたプログラム４０４２は、ユーザからのプログラム実行開始指示があった場合に、ＲＡＭ１０６等の作業領域にコピーされたうえでＣＰＵ１０２等に実行される。

　本実施形態における表示部４１０は、制御部４０２で生成した画像等をユーザに視認可能に提示するものであり、端末装置１００のディスプレイ１１２によって実現される。すなわち、端末装置１００のＣＰＵ１０２が画像の生成命令をＧＰＵ１０４に発行し、この発行された命令に従ってＧＰＵ１０４が画像を生成し、生成された画像がディスプレイ１１２に表示される。

　表示部４１０は、記憶部に記憶された動画像情報等を、制御部４０２による制御によって表示してもよい。すなわち、制御部４０２は、記憶部に記憶された動画像ファイルを、ファイルストリームとして読みだしてＶＲＡＭ１０８に逐次転送し、ＶＲＡＭ１０８上に転送された動画像であって、元の動画像ファイルの時間軸方向の一部の動画像を表示部４１０に表示するための命令を発行し、表示部４１０に表示してもよい。

　また、表示部４１０は、情報処理装置２００とも表示装置３００とも異なる外部のサーバ（図示しない）によって生成された動画像情報を、情報処理装置２００に備わる通信部４１２を用いて受信し、制御部４０２による制御によって表示してもよい。

　本実施形態における撮像部４０６は、端末装置１００に備わるカメラ１１４を使用して表示装置３００のスクリーン３０４に表示される目印画像を撮像する。上述のように、端末装置１００の制御部４０２は、撮像画像中の目印画像の位置、大きさ、傾き等を検出し、この検出結果と目印画像の既知の世界座標の情報とを比較し、自己の推定した世界座標の補正を行う。

　本実施形態における取得部４０８は、前述の目印画像の世界座標に関する情報を取得する。目印画像の世界座標に関する情報は、端末装置１００の通信部４１２を介して情報処理装置から受信してもよいし、情報処理装置以外の装置から受信してもよい。また、端末装置１００の制御部４０２であらかじめ決定していた既知の目印画像の世界座標を記憶部４０４に記憶させ、この記憶部４０４に記憶させた目印画像の世界座標に関する情報を取得してもよい。

　［１．２－２．情報処理装置］
　次に、本実施形態に係る情報処理装置の機能構成例を挙げる。

　図５は本実施形態における情報処理装置２００の機能構成の一例を示している。本実施形態における情報処理装置２００の機能は制御部５０２、記憶部５０４、表示部５０６、通信部５０８、等で構成される。

　本実施形態において制御部５０２は、端末装置１００が推定した自己位置に関する情報に基づいて、画像の表示位置を制御する。すなわち、端末装置１００のＩＭＵ等によって端末装置１００の自己位置が推定される場合に、端末装置１００の位置や姿勢等から、端末装置１００の撮像部で撮像可能な領域に目印画像を表示するため表示位置の制御を行う。具体的には、表示装置に目印画像を所定のスクリーン座標に表示するように指示を出すための表示位置の計算を行う。また、必要に応じて、表示装置の可動部の可動量の計算を行う。

　本実施形態において表示部５０６は、表示装置３００に表示内容を伝達する機能を有する。表示内容に関するデータは、情報処理装置のＧＰＵ２０４等を使用して計算され、情報処理装置２００のＶＲＡＭ２０８に書き込まれ、表示装置３００の表示部に転送される。

　本実施形態において、通信部５０８は、端末装置１００と通信する。具体的には、端末装置１００の推定した自己位置の情報を、端末装置１００の通信部を介して受信する。なお、端末装置１００が撮像するためのスクリーン上の目印画像の座標は、上述のように情報処理装置２００が計算してもよいし、端末装置１００が計算し、通信部を介して当該座標情報を情報処理装置２００が受信してもよい。

　［１．２－３．表示装置］
　次に、本実施形態に係る表示装置３００の機能構成例を挙げる。

　図６は本実施形態における表示装置３００の機能構成の一例を示している。本実施形態における表示装置３００の機能は入力部６０２、投影部６０４、可動部６０６等で構成される。

　本実施形態において、入力部６０２は他の装置からの映像の入力を受け付ける。上述のように、情報処理装置が生成した表示内容に関するデータは、入力部から入力される。

　本実施形態において、投影部６０４は入力部６０２で受け付けた映像をスクリーン等に投影する。上述のように、投影は専用のスクリーンに対して行ってもよいし、屋内又は屋外の壁面等に行ってもよい。さらに、必ずしも平面に対して投影しなければならないわけではない。

　本実施形態において、可動部６０６は、投影部６０４が投影する方向を変更する。すなわち、通常のプロジェクタのような表示装置においては、いったん表示装置を設置した後においては、表示する対象はスクリーンに固定されており、スクリーンの外側に存在する物体や、他のスクリーンに対しては投影することができなかった。本実施形態においては、可動部によって投影部の投影方向を変更することが可能なため、スクリーンの外側に存在する物体や、他のスクリーンに対しても投影が可能である。

　さらに、例えば室内の壁面がスクリーンとして映像を投影可能な場合に、可動部は、投影部を可動させることにより、特定の壁面に限らず、壁面全体を投影対象として投影可能にする。

　本実施形態においては、可動部６０６への可動の命令は、情報処理装置の制御部の演算に基づいて決定され、当該命令は有線又は無線で接続された情報処理装置の通信部から受信する。

　［使用方法の概要］
　本実施形態において、端末装置１００、情報処理装置２００及び表示装置３００を組み合わせて端末装置１００の自己位置の推定を制御する方法の概要を以下に示す。

　ユーザは初めに、表示装置３００を設置する。設置後、図７で示すように初回キャリブレーションを行う。

　図７は表示装置３００のスクリーン３０４に対して投影する表示であって、投影部の投影位置を認識するための表示である。図７に示す構成で、キャリブレーション用のステレオカメラを介して、世界座標とスクリーン座標のキャリブレーションをおこなう。図７はステレオカメラの観測点から三角測量で求めた座標値を元に、世界座標原点とプロジェクタ座標原点の相対位置を計算する例である。世界座標の原点はＷ（０，０，０）であり、スクリーン座標の原点はＰ（０，０）である。ステレオカメラで世界座標の原点及びスクリーン座標の原点を撮影した画像上の観測点から三角測量で求めた座標値を元に、スクリーン座標の世界座標を計算することができる。スクリーン上の任意の点と世界座標の原点とで同様の計算を行えば、スクリーン座標の原点だけでなく、スクリーン上の任意の点の世界座標が計算で求まる。

　例えば、図８では、世界座標の原点に基づいてスクリーン座標の原点の世界座標を求めた結果である。上述のステレオカメラで世界座標の原点とスクリーン座標の原点との位置関係を計算で求めた結果、例えばスクリーン座標の原点は世界座標で表すとＷ（－１００、４０、－１５）となる。同様に、スクリーン座標の任意の点と世界座標とを対応付けることが可能である。

　ユーザは次に、ユーザの持つ端末装置１００の電源を投入し、端末装置１００のシステムプログラム４０４２を起動させる。このシステムプログラム４０４２は、端末装置１００の各種機能を利用するためのプログラムである。当該システムプログラム４０４２を起動後、ユーザはアプリケーションプログラム４０４４を起動させ、当該アプリケーションプログラム４０４４からシステムプログラム４０４２経由で間接的に端末装置１００の機能を利用する。

　次にユーザは、システムプログラム４０４２が動作している状態の端末装置１００を頭部に装着する。なお、頭部への装着はシステムプログラム４０４２の起動前に行ってもよい。

　起動した端末装置１００は、制御部の制御により、自己の位置を推定する。すなわち、端末装置１００に備わるＩＭＵから出力されるデータを制御部が時間積分することにより、時間とともに変化する端末装置１００の位置及び姿勢を推定することができる。

　自己の位置を時間積分により推定する場合、推定開始時からの相対的な位置及び姿勢の変化を推定することとなり、端末装置１００の実際の世界座標及び姿勢（以下、絶対座標）と、推定した世界座標及び姿勢（以下、推定座標）とは誤差が生じうる。さらに、ＩＭＵから出力されるデータを時間積分することで推定座標を推定するため、時間とともに誤差が蓄積してゆくこととなる。

　ユーザは、端末装置１００が推定座標の推定を開始する前に、端末装置１００の世界座標を端末装置１００に記憶させる。すなわち、端末装置１００に備わるカメラで現実世界に存在する世界座標が既知の目印オブジェクトを撮影し、当該撮影画像を制御部で解析することで、端末装置１００の絶対座標を端末装置１００に記憶させる。目印オブジェクトは、例えば前述の原点マーカーＷが挙げられる。

　なお、目印オブジェクトは、表示装置のスクリーンに表示される世界座標が既知の目印画像で代替することができる。ここで、世界座標が既知の目印オブジェクトと、表示装置のスクリーン上に表示される目印画像との間の位置関係は、前述のように初回キャリブレーションであらかじめステレオカメラ等で測定することで、スクリーン上の任意の点の世界座標は既知の状態である。

　ユーザは頭部に端末装置１００を装着したまま、姿勢を変えたり、移動したりをする。これによって端末装置１００は位置や姿勢が変化する。この変化を上述のようにＩＭＵで推定する。この推定は上述のように誤差が蓄積されていくため、端末装置１００が推定する推定座標は、端末装置１００の真の絶対座標から時間とともにずれてゆく。

　端末装置１００が推定する推定座標と、端末装置１００の真の絶対座標とのずれを補正するため、表示装置のスクリーン上に表示される世界座標が既知の目印画像を、表示装置のカメラが撮影し、端末装置１００自体の世界座標を記憶する。

　このようにすれば、時間の経過に伴ってずれが生じていた端末装置１００が推定する世界座標を、真の世界座標に補正することができる。

　なお、端末装置１００はユーザの頭部に装着され、位置や姿勢が変化している。そのため、端末装置１００のカメラがどの方向を向いており、撮影可能領域はどこなのか、という情報に基づいて表示装置のスクリーンに目印画像を表示する。

　これを実現するため、例えば、端末装置１００は情報処理装置と通信接続し、現在の推定された自己の位置及び姿勢に関する情報を送信する。情報処理装置は、受信した情報に基づいて、端末装置１００に備わるカメラで撮像可能なスクリーン上の位置に目印画像を表示する。

　ところで、端末装置１００が目印画像を撮像し、当該撮像画像から自己の世界座標を導出して記憶する場合、目印画像の世界座標が端末装置１００にとって既知である必要があるため、例えば情報処理装置が表示装置のスクリーン上の所定の座標に目印画像を表示することを決定した場合、情報処理装置は当該決定した座標から世界座標を求め、当該求めた目印画像の世界座標を端末装置１００に送信する。

　また、端末装置１００が、自己の撮像可能な範囲である座標であって、表示装置のスクリーン上の座標を決定し、当該座標に関する情報を情報処理装置に送信し、当該情報に基づいたスクリーン上の座標に情報処理装置が表示装置に目印画像を表示制御してもよい。

　以上、時間とともにずれてゆく端末装置１００の推定する世界座標を、カメラによる撮像結果に基づいて補正する方法を説明した。

　なお、情報処理装置が表示装置のスクリーンに目印画像を表示する指示をするタイミングや目印画像の内容については、様々なバリエーションが考えられる。

　例えば、所定の時間間隔で端末装置１００のカメラの撮像方向のスクリーンに目印画像を表示し、当該目印画像をカメラの撮像部で撮像し、端末装置１００の推定する世界座標を補正する方法である。この方法によれば、所定の時間間隔で世界座標の補正をするため、補正が高頻度であるために端末装置１００の計算資源を過剰に消費してしまうといった場合に頻度を落として計算資源を過剰に消費することを防ぐことができる。また、補正が低頻度であるために時間経過に伴って端末装置１００の推定する世界座標の誤差が大きくなってしまう場合に頻度を高めることで誤差を低く抑えることができる。

　また、上述の所定の時間間隔を条件に基づいて変動させてもよい。例えば、端末装置１００の世界座標の補正をした際に、補正前に推定していた座標と、補正後の真の座標との差が大きければ大きいほど、誤差が生じやすい状態にあるとして、次回の補正までの時間間隔を短くし、逆に、補正前に推定していた座標と、補正後の真の座標との差が小さければ小さいほど、誤差が生じにくい状態にあるとして、次回の補正までの時間間隔を長くしてもよい。

　他の条件として、端末装置１００の表示部に表示するコンテンツに基づいて、情報処理装置は表示装置のスクリーンに表示させる目印画像を制御してもよい。例えば、端末装置１００の表示部が表示可能なユーザの視界領域の外側を撮像部が撮像可能な場合、視界領域の外側であって撮像部が撮像可能な領域に存在するスクリーンの部分に目印画像を表示してもよい。

　また、端末装置１００の表示部の表示形式がビデオ透過又は光学透過だった場合に、当該表示部に表示されるコンテンツと重畳するようにスクリーンに目印画像を表示してもよい。

　また、表示装置のスクリーンに目印画像を表示するのは非常に短い時間であってもよい。この場合、目印画像が表示される時間が非常に短いため、ユーザは目印画像が表示されていることに気づきにくいという利点がある。

　［動作の説明（フローチャート）］
　次に、本実施形態に係る端末装置１００及び情報処理装置２００の構成するシステム全体の処理手順の一例について説明する。図９は、実施形態に係る端末装置１００及び情報処理装置２００が実行する処理手順の一例を示すフローチャートである。なお、図９に示す処理手順は、端末装置１００がシステムプログラム４０４２またはアプリケーションプログラム４０４４を実行することによって、情報処理装置２００がプログラム５０４２を実行することによって夫々実現される。

　図９に示すように、情報処理装置２００の制御部５０２は、端末装置１００の自己位置推定の補正処理をするまでのタイマーを開始する（ステップＳ１０）。例えば、情報処理装置２００の制御部５０２は、タイマーの初期値として１秒を設定し、タイマー処理を開始する。情報処理装置２００の制御部５０２は、ステップＳ１０の処理が終了すると、ステップＳ１２に処理を進める。

　情報処理装置２００の制御部５０２は、ステップＳ１０で設定したタイマーが０になったか否かを判定する（ステップＳ１２）。タイマーが０になっていない場合、否として（ステップＳ１２でＮｏ）タイマーを減じたうえで再度ステップＳ１２を実行し、タイマーが０になっている場合、是として（ステップＳ１２でＹｅｓ）ステップＳ１４に処理を進める。なお、ステップＳ１０及びステップＳ１２のタイマーの処理は、端末装置１００の制御部４０２で実行してもよい。

　情報処理装置２００の制御部５０２は、端末装置１００の位置と端末装置１００のカメラが向いている方向を取得する（ステップＳ１４）。例えば、情報処理装置２００の制御部５０２は、端末装置１００の推定している自己位置の情報及び端末装置１００の推定している自己の姿勢の推定に関する情報を、通信部を介して受信する。さらに、端末装置１００の推定している自己の姿勢に関する情報に基づいて、端末装置１００のカメラが向いている方向を計算する。情報処理装置２００の制御部５０２は、ステップＳ１４の処理が終了すると、ステップＳ１６に処理を進める。

　情報処理装置２００の制御部５０２は、端末装置１００のカメラが向いている方向に表示装置で目印画像を投影する（ステップＳ１６）。以降の処理は端末装置１００で行うため、情報処理装置２００の制御部５０２は、ステップＳ１６の処理が終了すると、ステップＳ２２に処理を進める。

　端末装置１００の制御部４０２は、端末装置１００で目印画像の位置を認識する（ステップＳ１８）。端末装置１００の制御部４０２は、ステップＳ１８の処理が終了すると、ステップＳ２０に処理を進める。

　端末装置１００の制御部４０２は、端末装置１００の自己位置推定を補正する（ステップＳ２０）。端末装置１００の制御部４０２は、ステップＳ２０の処理が終了すると、ステップＳ２２に処理を進める。

　情報処理装置２００の制御部５０２及び端末装置１００の制御部４０２は、プログラムが終了したか否かを判定する（ステップＳ２２）。情報処理装置２００の制御部５０２及び端末装置１００の制御部４０２は、プログラムの終了を検知した場合、是として、プログラムを終了する（ステップＳ２２のＹｅｓ）。情報処理装置２００の制御部５０２及び端末装置１００の制御部４０２は、プログラムの終了を検知していない場合、否として、ステップＳ１０に処理を戻す（ステップＳ２２のＮｏ）。

　以上、本実施形態として、端末装置１００を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、タブレット型の装置や、ゲーム機、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などのコンピュータなど、様々な機器に適用することができる。

　［２．その他の実施形態］
　以上、一実施形態を説明したが、次のような他の実施形態も考えられる。

　ところで、端末装置１００が自己の位置を推定する方法として、ＩＭＵからの出力を時間積分する手法を紹介したが、自己の位置を推定する方法はこれに限られない。例えば、カメラ等（カメラ、レーザーレンジスキャナー、マイクロフォンアレイ、エンコーダー等）を搭載した機器が自己の位置を推定する方法として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）法がよく知られている。

　ＳＬＡＭ法は、カメラ等の機器から出力される情報に基づき、自己位置推定とマッピングを同時に行う方法であるが、この手法においても、環状の地形のマッピングの際にずれを起こすなどの問題が発生することが指摘されている。本開示では、ＳＬＡＭ法を用いた場合においても、世界座標による補正を行うことが可能なため、上述のような問題を回避することが可能である。

　また、上述の実施形態では、コンテンツの表示について、メガネ型デバイスで光学シースルーの例示をした。本開示のコンテンツの表示はこれに限らず、ユーザの目を完全に覆うタイプのヘッドマウントディスプレイにおいても、ビデオシースルーを利用して同様のコンテンツ表示を行うことが可能である。

　また、上述の実施形態においては、いわゆるムービングプロジェクターを用いてスクリーンに目印画像を表示する方法を開示したが、目印画像の表示はこれに限られない。例えば、液晶パネルがその代替たりうる。また、ムービングプロジェクターを用いることがコスト上の問題や遮蔽物が多く設置が構造上困難な問題がある場合においても、複数のプロジェクタを用いることで、上記開示と同様の効果を奏することが可能である。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部と、
　前記制御部で制御された前記表示位置に前記画像を表示する表示部と、
　を備える情報処理装置。
（２）
　前記情報処理装置は、前記端末装置の推定した自己位置に関する情報を前記端末装置から受信する通信部を備える、（１）に記載の情報処理装置。
（３）
　前記端末装置の制御部は、所定の時間間隔で前記自己位置の推定を更新する、（１）に記載の情報処理装置。
（４）
　前記所定の時間間隔は、前記更新前の自己位置の推定と、前記更新後の自己位置の推定との関係に基づいて決定される、（３）に記載の情報処理装置。
（５）
　前記端末装置は表示部を備え、
　前記制御部は、前記端末装置の表示部に表示されるコンテンツに基づいて前記画像の表示位置を制御する、（１）に記載の情報処理装置。
（６）
　前記制御部は、前記端末装置の前記表示部に表示される前記コンテンツの表示領域と、前記端末装置の撮像部の撮像領域に基づいて、前記画像の表示位置を制御する、（５）に記載の情報処理装置。
（７）
　前記制御部は、前記端末装置の表示部に前記コンテンツが表示された場合に、ユーザが前記コンテンツを視認する視線方向に基づいて前記画像の表示位置を制御する、（５）に記載の情報処理装置。
（８）
　前記制御部は、前記端末装置の撮像部の撮像を制御する第一のタイマーと、前記制御部の画像表示を制御する第二のタイマーを、前記端末装置の通信部と前記情報処理装置の通信部とを介して一致させる、（１）に記載の情報処理装置。
（９）
　情報処理装置により表示された画像を撮像する撮像部と、
　前記画像の表示位置に関する情報を取得する取得部　と、
　前記撮像部で撮像された前記画像及び前記取得部で取得された前記表示位置に関する情報に基づいて自己位置の推定を制御する制御部と、
　を備える端末装置。
（１０）
　前記ユーザ端末の制御部は、前記自己位置の推定の履歴に基づいて前記更新を行う、（９）に記載の端末装置。
（１１）
　情報処理装置と端末装置とを備える情報処理システムであって、
　前記情報処理装置は、
　　前記端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部と、
　　前記制御部で制御された前記表示位置に前記画像を表示する表示部と、
　を備え、
　前記端末装置は、
　　前記情報処理装置により前記表示された前記画像を撮像する撮像部と、
　　前記画像の表示位置に関する位置情報を取得する取得部と、
　　前記撮像部で撮像された前記画像及び前記取得部で取得された前記位置情報に基づいて自己位置の推定を更新する自己位置推定更新部と、
　を備える
　情報処理システム。
（１２）
　情報処理装置において実行される情報処理方法であって、
　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御し、
　前記制御された前記表示位置に前記画像を表示する
ことを含む情報処理方法。
（１３）
　情報処理装置を、
　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御手段、
　前記制御手段で制御された前記表示位置に前記画像を表示する表示手段、
として機能させるためのプログラム。

　１００　　端末装置
　１０２　　ＣＰＵ
　１０４　　ＧＰＵ
　１０６　　ＲＡＭ
　１０８　　ＶＲＡＭ
　１１０　　ストレージ
　１１２　　ディスプレイ
　１１４　　カメラ
　１１６　　ＩＭＵ
　１１８　　タッチセンサ
　１２０　　バス
　１２２　　送受信器
　２００　　情報処理装置
　２０２　　ＣＰＵ
　２０４　　ＧＰＵ
　２０６　　ＲＡＭ
　２０８　　ＶＲＡＭ
　２１０　　ストレージ
　２１２　　送受信器
　２１４　　バス
　３００　　表示装置
　３０２　　投影部
　３０４　　スクリーン
　３０６　　可動部
　４０２　　制御部
　４０４　　記憶部
　４０４２　　システムプログラム
　４０４４　　アプリケーションプログラム
　４０６　　撮像部
　４０８　　取得部
　４１０　　表示部
　４１２　　通信部
　５０２　　制御部
　５０４　　記憶部
　５０４２　　プログラム
　５０６　　表示部
　５０８　　通信部
　６０２　　入力部
　６０４　　投影部
　６０６　　可動部

Claims (13)

1. 　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部と、
   　前記制御部で制御された前記表示位置に前記画像を表示する表示部と、
   　を備える情報処理装置。
2. 　前記情報処理装置は、前記端末装置の推定した自己位置に関する情報を前記端末装置から受信する通信部を備える、請求項１に記載の情報処理装置。
3. 　前記端末装置の制御部は、所定の時間間隔で前記自己位置の推定を更新する、請求項１に記載の情報処理装置。
4. 　前記所定の時間間隔は、前記更新前の自己位置の推定と、前記更新後の自己位置の推定との関係に基づいて決定される、請求項３に記載の情報処理装置。
5. 　前記端末装置は表示部を備え、
   　前記制御部は、前記端末装置の表示部に表示されるコンテンツに基づいて前記画像の表示位置を制御する、
   　請求項１に記載の情報処理装置。
6. 　前記制御部は、前記端末装置の前記表示部に表示される前記コンテンツの表示領域と、前記端末装置の撮像部の撮像領域に基づいて、前記画像の表示位置を制御する、
   　請求項５に記載の情報処理装置。
7. 　前記制御部は、前記端末装置の表示部に前記コンテンツが表示された場合に、ユーザが前記コンテンツを視認する視線方向に基づいて前記画像の表示位置を制御する、請求項５に記載の情報処理装置。
8. 　前記制御部は、前記端末装置の撮像部の撮像を制御する第一のタイマーと、前記制御部の画像表示を制御する第二のタイマーを、前記端末装置の通信部と前記情報処理装置の通信部とを介して一致させる、請求項１に記載の情報処理装置。
9. 　情報処理装置により表示された画像を撮像する撮像部と、
   　前記画像の表示位置に関する情報を取得する取得部と、
   　前記撮像部で撮像された前記画像及び前記取得部で取得された前記表示位置に関する情報に基づいて自己位置の推定を制御する制御部と、
   　を備える端末装置。
10. 　前記端末装置の制御部は、前記自己位置の推定の履歴に基づいて前記制御を行う、請求項９に記載の端末装置。
11. 　情報処理装置と端末装置とを備える情報処理システムであって、
    　前記情報処理装置は、
    　　前記端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御部と、
    　　前記制御部で制御された前記表示位置に前記画像を表示する表示部と、
    　を備え、
    　前記端末装置は、
    　　前記情報処理装置により前記表示された前記画像を撮像する撮像部と、
    　　前記画像の表示位置に関する位置情報を取得する取得部と、
    　　前記撮像部で撮像された前記画像及び前記取得部で取得された前記位置情報に基づいて自己位置の推定を更新する自己位置推定更新部と、
    　を備える
    　情報処理システム。
12. 　情報処理装置において実行される情報処理方法であって、
    　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御し、
    　前記制御された前記表示位置に前記画像を表示する
    　ことを含む情報処理方法。
13. 　情報処理装置を、
    　端末装置の推定した自己位置に関する情報に基づいて画像の表示位置を制御する制御手段、
    　前記制御手段で制御された前記表示位置に前記画像を表示する表示手段、
    　として機能させるためのプログラム。

Images