JP6335413B2

JP6335413B2 - 情報処理装置、情報処理方法及び情報処理プログラム

Info

Publication number: JP6335413B2
Application number: JP2018511185A
Authority: JP
Inventors: 隆博加島
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-05-17
Filing date: 2016-05-17
Publication date: 2018-05-30
Anticipated expiration: 2036-05-17
Also published as: WO2017199325A1; TW201741815A; JPWO2017199325A1

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、撮影装置の撮影画像を元に、絶対座標系での撮影装置の位置及び姿勢を求めて、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）表示を行うＡＲ表示装置が存在する。
例えば、特許文献１には、ＡＲシステムが開示されている。特許文献１のＡＲシステムは、三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−ＡｉｄｅｄＤｅｓｉｇｎ）データと撮影装置の撮影画像とを比較する。また、特許文献１のＡＲシステムは、絶対座標系での撮影装置の位置及び姿勢を求め、求めた撮影装置の位置及び姿勢を元に付加画像を生成する。そして、特許文献１のＡＲシステムは、撮影画像に付加画像を重畳して表示する。

特開２０１３−１４９０４２号公報

特許文献１のＡＲシステムは、ＣＡＤデータ等の撮影装置の位置及び姿勢を推定するためのデータと、撮影装置の撮影画像とを比較して、撮影装置の位置及び姿勢を推定する。しかしながら、特許文献１のＡＲシステムでは、撮影画像内の被写体がＣＡＤデータに含まれていないと絶対座標系での撮影装置の位置及び姿勢を推定できないという課題がある。

本発明は、絶対座標系での撮影装置の位置及び姿勢を推定できない状況でも、絶対座標系での撮影装置の位置及び姿勢を補完する位置及び姿勢を得ることができるようにすることを主な目的とする。

本発明に係る情報処理装置は、
絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定部と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合部と、
前記絶対位置判定部により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置記憶領域に記憶されている絶対位置姿勢を選択し、前記絶対位置判定部により絶対位置姿勢の推定の失敗が判定された場合に、前記位置融合部による足し合わせにより得られた融合位置姿勢を選択する位置選択部とを有する。

本発明によれば、絶対位置姿勢の推定に失敗した場合でも、絶対位置姿勢と相対位置姿勢との足し合わせにより得られる融合位置姿勢により絶対位置姿勢を補完することができる。

実施の形態１〜４に係るＡＲ表示装置のハードウェア構成例を示す図。実施の形態１に係るＡＲ表示装置の機能構成例を示す図。実施の形態１に係るＡＲ表示装置の絶対位置推定スレッドでの動作例を示すフローチャート図。実施の形態１に係るＡＲ表示装置の相対位置推定スレッドでの動作例を示すフローチャート図。実施の形態１に係るＡＲ表示装置の表示スレッドでの動作例を示すフローチャート図。実施の形態２に係るＡＲ表示装置の機能構成例を示す図。実施の形態２に係るＡＲ表示装置の絶対位置推定スレッドでの動作例を示すフローチャート図。実施の形態２に係るＡＲ表示装置の相対位置推定スレッドでの動作例を示すフローチャート図。実施の形態２に係るＡＲ表示装置の位置比較スレッドでの動作例を示すフローチャート図。実施の形態３に係るＡＲ表示装置の機能構成例を示す図。実施の形態３に係るＡＲ表示装置の絶対位置推定スレッドでの動作例を示すフローチャート図。実施の形態３に係るＡＲ表示装置の相対位置推定スレッドでの動作例を示すフローチャート図。実施の形態３に係る撮影装置の撮影方向と高度との関係を示す図。実施の形態３に係る仰俯角と高度との関係を示す図。実施の形態４に係るＡＲ表示装置の機能構成例を示す図。実施の形態４に係るＡＲ表示装置の絶対位置推定スレッドでの動作例を示すフローチャート図。実施の形態４に係るＡＲ表示装置の相対位置推定スレッドでの動作例を示すフローチャート図。実施の形態４に係る歩行による加速度の波形を示す図。実施の形態４に係る加速度を周波数解析した結果を示す図。実施の形態４に係る加速度から位相を求める方法を示す図。

以下、本発明の実施の形態について、図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分または相当する部分を示す。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係るＡＲ表示装置１００のハードウェア構成例を示す。
ＡＲ表示装置１００は、コンピュータである。また、ＡＲ表示装置１００は情報処理装置の例である。更に、ＡＲ表示装置１００により行われる動作は情報処理方法の例である。
図１に示すように、ＡＲ表示装置１００は、演算装置１１、記憶装置１２、センサ装置１３、撮影装置１４及びディスプレイ１５から構成される。演算装置１１、記憶装置１２、センサ装置１３、撮影装置１４及びディスプレイ１５はバスにより接続されている。

演算装置１１は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサである。
演算装置１１は、図２に示す「〜部」（「〜記憶部」を除く、以下も同様）の機能を実現するプログラムを実行する。
記憶装置１２は、例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等である。
記憶装置１２は、演算装置１１が実行する「〜部」の機能を実現するプログラムを記憶している。
センサ装置１３は、加速度センサ、角速度センサ及び地磁気センサである。
撮影装置１４は、例えばカメラである。ＡＲ表示装置１００は、撮影装置１４の位置及び姿勢をセンサ装置１３の値を用いて求めるため、センサ装置１３と撮影装置１４の位置関係は固定されている。
ディスプレイ１５は、例えば液晶ディスプレイである

図２は、ＡＲ表示装置１００の機能構成例を示す。

以下では、「位置」とは三次元空間における位置を示し、「姿勢」とは三次元空間における姿勢（傾き、回転とも言う）を示す。但し、図２の構成要素名においては、位置と姿勢を省略して単に位置と記す。実施の形態２以降もＡＲ表示装置１００の機能構成の構成要素名では、位置と姿勢を省略して単に位置と記す。従って、例えば絶対位置推定部１０２は、位置及び姿勢を推定する機能を表す。また、位置と姿勢を合わせて位置姿勢とも記す。

絶対位置推定データ１０１は、後述の絶対位置推定部１０２が絶対位置姿勢を推定するために必要なデータである。絶対位置姿勢の詳細は後述する。
なお、絶対位置推定データ１０１のデータの形式は絶対位置推定部１０２の推定方式に依存する。

絶対位置推定部１０２は、撮影装置１４からの撮影画像と、絶対位置推定データ１０１とを比較し、撮影装置１４の絶対位置姿勢を推定する。絶対位置推定部１０２は、絶対位置姿勢を繰り返し推定する。
絶対位置姿勢とは、絶対位置推定データ１０１の座標系（以下、絶対座標系と言う）に基づく位置姿勢である。絶対座標系は三次元の座標系である。
絶対座標系は、例えばある点を原点として、Ｘ、Ｙ、Ｚ軸をメートル等の単位で表すことや、ＸとＹ軸を経緯度で、Ｚ軸をメートル単位で表すことなどが考えられる。絶対座標系は、三次元の座標系であればよく、上記の座標系に限定するものではない。また、Ｘ、Ｙ、Ｚ軸の定義として、地球を元にしてＸを東西、Ｙを南北、Ｚを天地としてもよいし、建物の屋内を元にして決めてもよい。
撮影装置１４の絶対位置は、Ｘ、Ｙ、Ｚ軸の直交座標で表現する。また、撮影装置１４の絶対姿勢は、回転行列や回転ベクトルで表現する。
位置姿勢の推定方法は、例えば特許文献１で例示されるように、ＣＡＤデータと撮影画像とを比較して求める方法が考えられる。もしくは、例えば屋外であれば、交通標識、看板、街灯、信号機、道路上の白線、マンホールの蓋、建物等の被写体を撮影画像に対する画像処理により検出し、当該被写体を絶対位置推定データ１０１から探索して、撮影装置１４の位置姿勢を求める方法が考えられる。但し、位置姿勢の推定方法は、撮影画像から撮影装置１４の絶対位置姿勢を推定できればよく、前述した方法に限定するものではない。

相対位置推定部１１２は、センサ装置１３からの加速度、角速度及び地磁気の値を使用し、撮影装置１４の相対位置姿勢を推定する。相対位置推定部１１２は、例えば、ＰＤＲ（ＰｅｄｅｓｔｒｉａｎＤｅａｄＲｅｃｋｏｎｉｎｇ）と呼ばれる技術を用いて相対位置姿勢を推定する。
相対位置推定部１１２は、後述の相対位置記憶部１０７から前回の相対位置姿勢である前回相対位置姿勢を取得する。前回相対位置姿勢は、相対位置推定部１１２の前回の相対位置姿勢の推定で得られた相対位置姿勢である。相対位置推定部１１２は、取得した前回相対位置姿勢に前回からの差分（変位）を足し合わせた位置姿勢を新たな相対位置姿勢として推定する。そして、相対位置推定部１１２は、推定した新たな相対位置姿勢を相対位置記憶部１０７に格納する。
この相対位置推定部１１２が用いる座標系を、相対座標系と呼ぶ。相対座標系は絶対座標系と同様の単位系（例えばメートル）を使用する。また、相対座標系のＸ、Ｙ、Ｚ軸の向きは、絶対座標系の向きと同じである。
相対位置推定部１１２は、相対座標系での撮影装置１４の位置及び姿勢である相対位置姿勢を繰り返し推定する。

相対位置記憶部１０７は、相対位置推定部１１２によって推定された相対位置姿勢を記憶する記憶領域（相対位置記憶領域）である。

絶対位置判定部１０４は、絶対位置推定部１０２による絶対位置姿勢の推定の度に、絶対位置姿勢の推定の成否を判定する。つまり、絶対位置判定部１０４は、絶対位置推定部１０２が撮影装置１４の絶対位置姿勢を推定できたかどうかを判定する。
絶対位置判定部１０４の判定結果は、判定結果記憶部１０５で記憶される。
また、絶対位置判定部１０４は、今回の判定結果と前回の判定結果とが同じであるか否かを判定する。前回の判定結果は、判定結果記憶部１０５に記憶されている判定結果である。そして、今回の判定結果と前回の判定結果とが異なる場合（すなわち、今回が成功で前回が失敗、もしくは、今回が失敗で前回が成功）に、絶対位置判定部１０４は、相対位置記憶部１０７に記憶されている前回相対位置姿勢を初期値に変更する。より具体的には、絶対位置判定部１０４は、相対位置初期化部１０３に初期化を指示して前回相対位置姿勢を初期値に変更させる。
また、絶対位置判定部１０４は、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対値記憶部１０８（絶対位置記憶領域）に、推定の成功を判定した絶対位置姿勢を格納する。より具体的には、絶対位置判定部１０４は、絶対位置姿勢の推定の成功を判定した場合に、絶対値記憶部１０８に記憶されている絶対位置姿勢を、推定の成功を判定した絶対位置姿勢で更新する。

判定結果記憶部１０５は、絶対位置判定部１０４による判定結果を記憶する。

相対位置初期化部１０３は、絶対位置判定部１０４から初期化を指示された際に、相対位置記憶部１０７が記憶する相対位置姿勢を原点（すなわち、Ｘ、Ｙ、Ｚ軸を全て０）に初期化する。

絶対位置記憶部１０８は、絶対位置判定部１０４によって絶対位置姿勢を推定できている（絶対位置姿勢の推定に成功している）と判定された場合、絶対位置推定部１０２の推定結果である絶対位置姿勢を記憶する。すなわち、前記絶対位置推定部１０２が推定に成功した最新の絶対位置姿勢を記憶する。

位置融合部１１３は、相対位置推定部１１２による相対位置姿勢の推定の度に、絶対位置記憶部１０８が記憶している絶対位置姿勢と、相対位置記憶部１０７が記憶している相対位置姿勢とを融合する。具体的には、位置融合部１１３は、絶対位置姿勢に相対位置姿勢を足し合わせることにより、絶対位置姿勢と相対位置姿勢とを融合する。
なお、位置融合部１１３による足し合わせにより得られた位置姿勢を融合位置姿勢という。

融合位置記憶部１１４は、融合位置姿勢を記憶する。

位置選択部１０９は、絶対位置判定部１０４により絶対位置姿勢の推定の成功が判定された場合に、絶対位置判定部１０４により推定の成功が判定された絶対位置姿勢（絶対位置記憶部１０８に記憶されている絶対位置姿勢）を選択する。
一方、絶対位置判定部１０４により絶対位置姿勢の推定の失敗が判定された場合に、位置選択部１０９は、融合位置姿勢（融合位置記憶部１１４に記憶されている位置姿勢）を選択する。
位置選択部１０９は、選択した位置姿勢（絶対位置姿勢又は融合位置姿勢）を後述のグラフィックス生成部１１０に出力する。

表示データ１０６は、グラフィックス生成部１１０が、ＡＲとして重畳表示する三次元グラフィックスを生成するためのデータである。表示データ１０６は絶対座標系で定義されたデータである。表示データ１０６は、表示位置が絶対座標系で定義された、例えば、文字、アイコン、アノテーション、三次元モデルである。

グラフィックス生成部１１０は、位置選択部１０９が出力した位置姿勢と、表示データ１０６に基づき、三次元グラフィックスを生成する。グラフィックス生成部１１０は、例えばＯｐｅｎＧＬのような三次元グラフィックスを生成するための技術を使用して三次元グラフィックスを生成する。

重畳部１１１は、撮影装置１４の撮影画像にグラフィックス生成部１１０によって生成された三次元グラフィックスを重畳し、ディスプレイ１５に重畳画像を表示する。

図２に示す絶対位置推定部１０２、相対位置初期化部１０３、絶対位置判定部１０４、位置選択部１０９、グラフィックス生成部１１０、重畳部１１１、相対位置推定部１１２、位置融合部１１３は、例えばプログラムにより実現される。そして、このプログラムは図１のプロセッサ１１により実行される。また、特に、絶対位置判定部１０４、位置選択部１０９、位置融合部１１３を実現するプログラムは情報処理プログラムの例である。また、絶対位置判定部１０４の動作は絶対位置判定処理に相当する。位置選択部１０９の動作は位置選択処理に相当する。位置融合部１１３の動作は位置融合処理に相当する。
また、判定結果記憶部１０５、相対位置記憶部１０７、絶対位置記憶部１０８、融合位置記憶部１１４は、図１の記憶装置１２により実現される。
なお、図２に示す構成はあくまで一例であって、例えば絶対位置推定データ１０１又は表示データ１０６はＡＲ表示装置１００の外部で記憶され、ネットワーク等を通じてＡＲ表示装置１００に転送されるようにしてもよい。

＊＊＊動作の説明＊＊＊
次に、図３、図４及び図５のフローチャートを使用し、ＡＲ表示装置１００の動作例を説明する。
図３は、絶対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図４は、相対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図５は、表示スレッドにおけるＡＲ表示装置１００の動作例を示す。
ＡＲ表示装置１００は、絶対位置推定スレッド、相対位置推定スレッド及び表示スレッドを並行して行う。

最初に、図３を参照して、絶対位置推定スレッドの流れを以下に説明する。

絶対位置推定部１０２が撮影装置１４から撮影画像を取得する（ステップＳ３−１−１）。
次に、絶対位置推定部１０２が撮影画像を使用して絶対位置姿勢を推定する（ステップＳ３−１−２）。
次に、絶対位置判定部１０４が絶対位置姿勢の推定に成功したかどうかを判定する（ステップＳ３−１−３）。
次に、絶対位置判定部１０４が判定結果記憶部１０５に記憶された前回の判定結果と今回の判定結果を比較する（ステップＳ３−１−４）。
今回の判定結果が前回の判定結果と異なるのであれば、相対位置初期化部１０３が相対位置記憶部１０７の相対位置を初期化する（ステップＳ３−１−５）。
絶対位置判定部１０４が今回の判定結果を判定結果記憶部１０５に格納する（ステップＳ３−１−６）。
今回の判定結果が成功であれば、絶対位置判定部１０４が絶対位置姿勢を絶対位置記憶部１０８に記憶する（ステップＳ３−１−７）。
そして、処理がステップＳ３−１−１に戻り、同様の手順が繰り返される。

次に、図４を参照して、相対位置推定スレッドの流れを以下に説明する。

相対位置推定部１１２がセンサ装置１３からセンサ値を取得する（ステップＳ３−２−１）。
次に、相対位置推定部１１２が相対位置記憶部１０７から前回相対位置姿勢を取得する（ステップＳ３−２−２）。
次に、相対位置推定部１１２が前回相対位置姿勢からの変位を推定し、推定した変位を前回相対位置姿勢に足し合わせる（ステップＳ３−２−３）。足し合わせた結果が現在の相対位置姿勢である。
次に、相対位置推定部１１２が相対位置記憶部１０７に現在の相対位置姿勢を格納する（ステップＳ３−２−４）。
次に、位置融合部１１３が絶対位置記憶部１０８から現在の絶対位置姿勢を取得する（ステップＳ３−２−５）。
次に、位置融合部１１３が現在の絶対位置姿勢に対して、現在の相対位置姿勢を足し合わせることにより、位置姿勢を融合する（ステップＳ３−２−６）。
次に、位置融合部１１３が融合位置記憶部１１４に融合位置姿勢を格納する（ステップＳ３−２−７）。
そして、処理がステップＳ３−２−１に戻り、同様の手順が繰り返される。

次に、図５を参照して、表示スレッドの流れを以下に説明する。

位置選択部１０９が判定結果記憶部１０５から判定結果を取得し、判定結果が成功であれば絶対位置記憶部１０８から絶対位置姿勢を取得し、判定結果が失敗であれば融合位置記憶部１１４から融合位置姿勢を取得する（ステップＳ３−３−１）。また、位置選択部１０９は取得した位置姿勢をグラフィックス生成部１１０に出力する。
次に、グラフィックス生成部１１０が、位置姿勢と表示データ１０６とを元に、三次元グラフィックスを生成する（ステップＳ３−３−２）。
次に、重畳部１１１が、三次元グラフィックスと撮影画像とを重畳する（ステップＳ３−３−３）。
次に、ディスプレイ１５が重畳画像を表示する（ステップＳ３−３−４）。
そして、処理がステップＳ３−３−１に戻り、同様の手順が繰り返される。

＊＊＊実施の形態の効果の説明＊＊＊
実施の形態１によれば、ＡＲ表示装置１００が絶対位置姿勢を推定できない場面に陥ったとしても、最後に推定に成功した絶対位置姿勢からの変位を、相対位置姿勢の推定により補完することで、位置姿勢をリアルタイムに求め、従ってＡＲの表示を継続することができる。

実施の形態２．
＊＊＊構成の説明＊＊＊
次に、実施の形態２に係るＡＲ表示装置１００を説明する。
本実施の形態でも、ＡＲ表示装置１００のハードウェア構成例は図１と同様であるため、説明を割愛する。

図６は、実施の形態２に係るＡＲ表示装置１００の機能構成例を示す。
図２から追加された構成要素を以下にて説明する。

推定結果比較部１１５は、絶対位置判定部１０４によって絶対位置姿勢が推定できていると判定されている間、絶対位置記憶部１０８と相対位置記憶部１０７とに記憶された絶対位置姿勢と相対位置姿勢とを比較する。そして、推定結果比較部１１５は、相対位置姿勢の結果を補正する係数を算出する。
例えば、推定結果比較部１１５は、絶対位置姿勢が推定できる状態になってから、推定できない状態になるまでの間の、絶対位置姿勢の変位と、相対位置姿勢の変位とを比較する。例えば、絶対位置姿勢の変位が１０メートルであり、相対位置姿勢の変位が５メートルであれば、推定結果比較部１１５は、１０÷５の結果である２を係数として算出する。また、推定結果比較部１１５は、算出した係数を、後述の係数記憶部１１６に記憶する。

このような推定結果比較部１１５の機能を実現するために、本実施の形態では、絶対位置判定部１０４は、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の成功と判定している場合に、今回の判定結果で推定の成功と判定している絶対位置姿勢を第１の指定絶対位置姿勢として指定する。また、絶対位置判定部１０４は、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の失敗と判定している場合に、絶対位置記憶部１０８に記憶されている絶対位置姿勢を第２の指定絶対位置姿勢として指定する。
そして、推定結果比較部１１５は、絶対位置判定部１０４により指定された第１の指定絶対位置姿勢と第２の指定絶対位置姿勢との変位を算出し、第１の指定絶対位置姿勢と第２の指定絶対位置姿勢との変位と相対位置記憶部１０７に記憶されている相対位置姿勢とを比較する。そして、推定結果比較部１１５は、第１の指定絶対位置姿勢と第２の指定絶対位置姿勢との変位と相対位置記憶部１０７に記憶されている相対位置姿勢との誤差を補正する係数を算出する。

係数記憶部１１６は、推定結果比較部１１５によって算出された、相対位置姿勢を補正する係数を記憶する。

相対位置補正部１１７は、係数記憶部１１６に記憶されている係数を元に、相対位置記憶部１０７に記憶されている相対位置姿勢を調整する。
例えば、係数が２であり、相対位置姿勢の位置のＸ、Ｙ、Ｚ軸の値が（３，２，０）であれば、相対位置補正部１１７は、係数を（３，２，０）に乗算して（６，４，０）を求める。そして、相対位置補正部１１７は、補正後の（６，４，０）を位置融合部１１３に出力する。

図２において推定結果比較部１１５、相対位置補正部１１７は、例えばプログラムで実現される。推定結果比較部１１５、相対位置補正部１１７を実現するプログラムは演算装置１１により実行される。また、係数記憶部１１６は、記憶装置１２により実現される。

＊＊＊動作の説明＊＊＊
次に、図７、図８及び図９のフローチャートを使用し、実施の形態２に係るＡＲ表示装置１００の動作例を説明する。
図７は、本実施の形態に係る絶対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図８は、本実施の形態に係る相対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図９は、本実施の形態に係る位置比較スレッドにおけるＡＲ表示装置１００の動作例を示す。
本実施の形態でも表示スレッドでのＡＲ表示装置１００の動作例は図５に示したものと同じである。

最初に、図７を参照して、本実施の形態に係る絶対位置推定スレッドの流れを以下に説明する。

ステップＳ３−１−１からステップＳ３−１−４は実施の形態１と同様である。
絶対位置判定部１０４による今回の絶対位置姿勢の判定結果が、前回の判定結果と異なり、かつ、判定結果が成功であった場合、絶対位置判定部１０４は位置比較スレッドの動作を開始させる（ステップＳ５−１−１）。その後、相対位置初期化部１０３が相対位置記憶部１０７の相対位置を初期化する（ステップＳ３−１−５）。
一方、判定結果が失敗であった場合、絶対位置判定部１０４は位置比較スレッドに対し、動作を終了するように命令する（ステップＳ５−１−２）。その後、相対位置初期化部１０３が相対位置記憶部１０７の相対位置を初期化する（ステップＳ３−１−５）。なお、相対位置初期化部１０３は、後述の図９のステップＳ５−４−４での相対位置取得が完了した後に、相対位置記憶部１０７の相対位置を初期化する
ステップＳ３−１−６からステップＳ３−１−７は実施の形態１と同様である。

次に、図８を参照して、相対位置推定スレッドの流れを以下に説明する。

ステップＳ３−２−１からステップＳ３−２−４は実施の形態１と同様である。
相対位置補正部１１７が係数記憶部１１６から係数を取得する（ステップＳ５−２−１）。
次に、相対位置補正部１１７が、相対位置記憶部１０７が記憶している相対位置姿勢の位置に対し、係数を乗算することで相対位置姿勢を補正する（ステップＳ５−２−２）。
ステップＳ３−２−５からステップＳ３−２−７は実施の形態１と同様である。

表示スレッドは実施の形態１と同様である。

次に、図９を参照して、位置比較スレッドの流れを以下に説明する。

位置比較スレッドが開始されると、まず、推定結果比較部１１５が、絶対位置記憶部１０８から現在の絶対位置姿勢を取得する（ステップＳ５−４−１）。この絶対位置姿勢は第１の指定絶対位置姿勢に相当する。
推定結果比較部１１５が、位置比較スレッドが終了するように命令されるまで待機する（ステップＳ５−４−２）。
位置比較スレッドが終了するように命令されると、位置比較スレッドが再開し、推定結果比較部１１５が絶対位置記憶部１０８から現在の絶対位置姿勢を取得する（ステップＳ５−４−３）。この絶対位置姿勢は第２の指定絶対位置姿勢に相当する。
推定結果比較部１１５が相対位置記憶部１０７から現在の相対位置姿勢を取得する（ステップＳ５−４−４）。
推定結果比較部１１５が、位置比較スレッドが開始した時点（ステップＳ５−４−１）の絶対位置姿勢（第１の指定絶対位置姿勢）と、位置比較スレッドが再開した時点（ステップＳ５−４−３）の絶対位置姿勢（第２の指定絶対位置姿勢）とから、絶対位置姿勢の変位を算出する。また、推定結果比較部１１５は、絶対位置姿勢の変位と相対位置姿勢の変位とを比較し、係数を算出する（ステップＳ５−４−５）。
なお、位置比較スレッドが開始された時点で、絶対位置推定スレッドによって相対位置記憶部１０７が記憶している相対位置姿勢が原点に初期化されているため、相対位置姿勢の変位は相対位置記憶部１０７からの１回の取得で算出できる。
最後に、推定結果比較部１１５が係数を係数記憶部１１６に記憶させる（ステップＳ５−４−６）。

＊＊＊実施の形態の効果＊＊＊
本実施の形態によれば、相対位置推定部１１２による推定誤差の校正を、運用中に行うことが可能になる。一般的に歩行者自律航法に代表されるセンサを使用する航法は、センサ装置１３の精度や、利用者の身長、歩幅等の因子によって誤差が発生する。誤差は歩行距離が長いほど累積する。理想的には、あらかじめこれらの因子を元に、誤差を抑えるための校正（キャリブレーション）を行う必要があるが、センサ装置１３や利用者ごとにあらかじめ校正を行うことは、時間を要し不便である。
しかし、実施の形態２では、絶対位置推定が可能である間、絶対位置姿勢の推定結果と相対位置姿勢の推定結果を比較することで、相対位置姿勢の誤差を表す係数を求めることで、相対位置姿勢の推定結果の誤差を抑えることを可能にしている。
絶対位置姿勢推定は撮影画像を利用して絶対位置姿勢を推定するため、相対位置姿勢推定に比べて誤差は少ない。そのため、絶対位置姿勢推定の結果を真値として扱うことで、相対位置姿勢推定の校正が可能である。
なお、上記では、推定結果比較部１１５は、例として、絶対位置姿勢が推定できるようになってから、絶対位置姿勢が推定できないようになるまでの期間の、絶対位置姿勢の変位と相対位置姿勢の変位とを比較する方法を挙げたが、比較する期間はこれに限るものではない。
例えば、１０秒間連続して絶対位置姿勢が推定できているという状態を検知し、その１０秒間の絶対位置姿勢の変位と相対位置姿勢の変位を比較するという方法でもよい。また、相対位置姿勢を調整する係数は、歩行量が多いほどより正確になるため、例えば、絶対位置姿勢推定によって１０ｍ以上歩行していないと係数を反映させないようにするという方法も考えられる。

実施の形態３．
＊＊＊構成の説明＊＊＊
次に、実施の形態３に係るＡＲ表示装置１００を説明する。
本実施の形態でも、ＡＲ表示装置１００のハードウェア構成例は図１と同様であるため、説明を割愛する。

図１０は、実施の形態３に係るＡＲ表示装置１００の機能構成例を示す。
図２から追加された構成要素を以下に説明する。

仰俯角高度計測部１１８は、絶対位置判定部１０４によって絶対位置姿勢が推定できていると判定されている間、絶対位置記憶部１０８から絶対位置姿勢を取得し、絶対位置姿勢から仰俯角と高度を求める。

仰俯角高度記憶部１１９は、撮影装置１４の仰俯角と撮影装置１４の高度との関係を示す仰俯角高度関係情報を記憶する。仰俯角と高度には、図１４に示すように相関関係が存在している。仰俯角高度記憶部１１９は、このような相関関係を示す仰俯角高度関係情報を記憶する。

高度調整部１２０は、仰俯角高度計測部１１８により算出された撮影装置１４の仰俯角及び高度と、仰俯角高度記憶部１１９に記憶されている仰俯角高度関係情報とを用いて、融合位置姿勢の高度を調整する。

仰俯角高度計測部１１８、高度調整部１２０は、例えばプログラムで実現される。仰俯角高度計測部１１８、高度調整部１２０を実現するプログラムは演算装置１１により実行される。また、仰俯角高度記憶部１１９は、記憶装置１２により実現される。

＊＊＊動作の説明＊＊＊
次に、図１１及び図１２のフローチャートを使用し、実施の形態３に係るＡＲ表示装置１００の動作例を説明する。
図１１は、本実施の形態に係る絶対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図１２は、本実施の形態に係る相対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
本実施の形態でも表示スレッドでのＡＲ表示装置１００の動作例は図５に示したものと同じである。

最初に、図１１を参照して、本実施の形態に係る絶対位置推定スレッドの流れを以下に説明する。

ステップＳ３−１−１からステップＳ３−１−７は実施の形態１と同様である。
絶対位置判定部１０４によって絶対位置姿勢が推定できていると判定された場合、仰俯角高度計測部１１８が絶対位置姿勢から仰俯角と高度を算出し、仰俯角高度記憶部１１９に仰俯角と高度を記憶させる（Ｓ７−１−１）。

次に、図１２を参照して、相対位置推定スレッドの流れを以下に説明する。

ステップＳ３−２−１からステップＳ３−２−６は実施の形態１と同様である。
高度調整部１２０が、位置融合部１１３の融合結果である融合位置姿勢と、仰俯角高度記憶部１１９が記憶する仰俯角と高度の関係性とを元に、仰俯角に対応する高度を取得する（Ｓ７−２−１）。
高度調整部１２０が、取得した高度を元に、融合位置姿勢の高度を調整し、高度が調整された後の融合位置姿勢を出力する（Ｓ７−２−２）。
ステップＳ３−２−７は実施の形態１と同様である。

表示スレッドは実施の形態１と同様である。
なお、図５のＳ３−３−１では、位置選択部１０９は、判定結果が失敗の場合に融合位置記憶部１１４から融合位置姿勢を取得するが、本実施の形態では、位置選択部１０９は、高度調整部１２０により高度が調整された後の融合位置姿勢を取得する。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、相対位置姿勢推定時のＡＲ表示装置１００の高度をより正確に推定でき、従って、より正確にＡＲを表示できる。
人間がＡＲ表示装置１００を手に持って使用する場合を考えると、図１３に示すように、ＡＲ表示装置１００で撮影する方向、すなわちＡＲ表示装置１００の仰俯角に応じて、ＡＲ表示装置１００の高度が変化する。撮影画像による絶対位置姿勢推定であれば、高度も含めて正確な位置姿勢を推定できるが、歩行者自律航法による相対位置姿勢推定では困難である。
一般的に歩行者自律航法技術は、前後左右の２次元平面に対してのみ測位可能である。近年、気圧センサ等を使用することで、高度も測位可能にする技術が研究なされているが、建物のフロア間の移動等を検知することに留まり、数ｃｍ程度のわずかな変化を検知することは難しい。この、仰俯角が変わることによる高度の変化を無視してしまうと、ＡＲの表示に誤差が生じる。
そこで、実施の形態３では、絶対位置姿勢推定可能な場合に、ＡＲ表示装置１００の仰俯角と高度の関係性を記憶しておくことで、相対位置姿勢推定中に仰俯角と高度の関係性を元に、高度を調整する。
前述したように、仰俯角と高度には、図１４に示すように相関関係が存在する。本実施の形態では、相対位置姿勢推定中であっても、仰俯角高度関係情報を参照することで、仰俯角を変えることによる高度の変化をＡＲ表示に反映させることができる。

実施の形態４．
＊＊＊構成の説明＊＊＊
次に、実施の形態４に係るＡＲ表示装置１００を説明する。
本実施の形態でも、ＡＲ表示装置１００のハードウェア構成例は図１と同様であるため、説明を割愛する。

図１５は、実施の形態４に係るＡＲ表示装置１００の機能構成例を示す。
図２から追加された構成要素を以下に説明する。

センサ値記憶部１２２は、センサ装置１３から取得した加速度の値を記憶する。センサ値記憶部１２２は、例えば記憶期間を３秒間とした場合、直近３秒間の間にセンサ装置１３から取得した加速度を時系列的に記憶する。

歩行状態判定部１２３は、センサ値記憶部１２２によって記憶された直近の加速度の時系列値を元に、現在利用者が歩行しているか、または歩行していないかを判定する。

変動量算出部１２１は、絶対位置判定部１０４によって絶対位置姿勢を推定できていると判定されている間、絶対位置姿勢の高度の変動量を算出する。

変動量記憶部１２４は、変動量算出部１２１によって算出された高度の変動量を記憶する。

位相算出部１２６は、センサ値記憶部１２２によって記憶された直近の加速度の時系列値を元に、現在の歩行周期における位相の算出を行う。
換言すると、位相算出部１２６は、歩行状態判定部１２３により利用者が歩行中であると判定された場合に、歩行状態判定部１２３により利用者が歩行中であると判定された時点での、利用者の歩行に伴う撮影装置１４の高度の変動周期における位相を算出する。

変動付加部１２５は、位相算出部１２６によって算出された位相と、変動量記憶部１２４によって記憶されている高度の変動量とを元に、位置融合部１１３によって融合された融合位置姿勢に対し、高度の変動を付加する。
つまり、変動付加部１２５は、位相算出部１２６により算出された位相と、利用者の歩行に伴う撮影装置１４の高度の変動幅とに基づき、融合位置姿勢の高度を調整する。

変動量算出部１２１、歩行状態判定部１２３、変動付加部１２５、位相算出部１２６は、例えばプログラムで実現される。変動量算出部１２１、歩行状態判定部１２３、変動付加部１２５、位相算出部１２６を実現するプログラムは演算装置１１により実行される。また、センサ値記憶部１２２、変動量記憶部１２４は、記憶装置１２により実現される。

＊＊＊動作の説明＊＊＊
次に、図１６及び図１７のフローチャートを使用し、実施の形態４に係るＡＲ表示装置１００の動作例を説明する。
図１６は、本実施の形態に係る絶対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
図１７は、本実施の形態に係る相対位置推定スレッドにおけるＡＲ表示装置１００の動作例を示す。
本実施の形態でも表示スレッドでのＡＲ表示装置１００の動作例は図５に示したものと同じである。

最初に、図１６を参照して、本実施の形態に係る絶対位置推定スレッドの流れを以下に説明する。

ステップＳ３−１−１からステップＳ３−１−７は実施の形態１と同様である。
歩行状態判定部１２３が、現在利用者が歩行しているか否かを判定する（ステップＳ１１−１−１）。
歩行状態判定部１２３により利用者が歩行していると判定された場合に、変動量算出部１２１が歩行中の高度の変動量を算出し（ステップＳ１１−１−２）、変動量記憶部１２４に高度の変動量を記憶させる（ステップＳ１１−１−３）。

次に、図１７を参照して、相対位置推定スレッドの流れを以下に説明する。

ステップＳ３−２−１からステップＳ３−２−６は実施の形態１と同様である。
歩行状態判定部１２３が、現在利用者が歩行しているか否かを判定する（ステップＳ１１−２−１）。
歩行状態判定部１２３により利用者が歩行していると判定された場合に、位相算出部１２６が、現在の加速度の時系列値を元に、現在の歩行状態の位相を算出する（ステップＳ１１−２−３）。
変動付加部１２５が変動量記憶部１２４から高度の変動量を取得する（ステップＳ１１−２−２）。
そして、変動付加部１２５が、取得した高度の変動量と、位相算出部１２６によって算出された位相を元に、融合位置姿勢の高度を調整して出力する（ステップＳ１１−２−４）。
ステップＳ３−２−７は実施の形態１と同様である。

表示スレッドは実施の形態１と同様である。
なお、図５のＳ３−３−１では、位置選択部１０９は、判定結果が失敗の場合に融合位置記憶部１１４から融合位置姿勢を取得するが、本実施の形態では、位置選択部１０９は、変動付加部１２５により高度が調整された後の融合位置姿勢を取得する。

本実施の形態では、歩行状態判定部１２３は、センサ値記憶部１２２が記憶している直近数秒間の加速度を解析し、現在利用者が歩行しているのか否か、及び、歩行している場合は歩行の周期のどの状態にあたるかを判定する。
歩行している場合、図１８に示すように、加速度に周期性のある値が出力されることが知られている。この加速度の値に対して、例えばフーリエ変換により周波数領域解析を行うと、図１９に示すように歩行の間隔を示すピーク値を得ることができる。従って、ピークの振幅が一定値以上であれば、歩行状態判定部１２３は、利用者が歩行していると判定できる。
変動量算出部１２１は、絶対位置推定部１０２によって推定された絶対位置姿勢を元に、高度の変動を算出する。
高度の変動は、例えば一定期間の高度の最小値と最大値を探索することで求める。
または一定期間の高度の時系列値をヒストグラムにプロットし、例えばヒストグラム中の下位及び上位１０％の平均値を、それぞれ高度の最小値と最大値とみなし、高度の変動を求めてもよい。
位相算出部１２６は、センサ値記憶部１２２で記憶された一定期間の加速度の時系列値を解析し、歩行状態の加速度値における現在の位相を算出する。
図２０に算出方法の一例を示す。
過去一定期間の加速度値の最小を−１、最大を＋１と正規化することで、位相算出部１２６は、現在の加速度値の位相を求める（図中では０．７が位相となる）。
変動付加部１２５は、変動量記憶部１２４によって記憶された高度の変動量と、位相算出部１２６によって算出された位相とを元に、位置融合部１１３が出力した位置姿勢の高度に変動を加える。
例えば、高度の変動量が０．５メートルであり、位相が０．７である場合、変動付加部１２５は、０．５÷２×０．７＝０．１７５メートルを元の高度に加算する。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、相対位置姿勢推定時においても、人間の歩行に伴う高度の変動を再現でき、従ってより違和感のないＡＲを表示できる。
人間がＡＲ表示装置１００を手に持って使用する場合を考えると、当然のことながら歩行に伴う高さ方向の周期的な変動が発生する。一方で、実施の形態３で述べたように、一般的な歩行者自律航法技術は高さ方向の変位を測位できない。従って、実施の形態４による手法を実施しなければ、相対位置姿勢推定時には高さが固定となり、歩行による高さの変動が発生しない違和感のあるＡＲの表示になってしまう。
そこで、実施の形態４では、絶対位置姿勢推定可能な場合に、ＡＲ表示装置１００の高度の変動量を算出し、高度の変動量と加速度の位相を元に、高度に変動を加えることで、違和感の少ないＡＲを実現する。

＊＊＊その他＊＊＊
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。

＊＊＊ハードウェア構成の説明＊＊＊
最後に、ＡＲ表示装置１００のハードウェア構成の補足説明を行う。
図１に示す演算装置１１は、プロセッシングを行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。
演算装置１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等である。
図１に示す記憶装置１２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等である。

また、記憶装置１２には、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部が演算装置１１により実行される。
演算装置１１はＯＳの少なくとも一部を実行しながら、図２、図６、図１０の「〜部」の機能を実現するプログラムを実行する。
演算装置１１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、ＡＲ表示装置１００は、演算装置１１を代替する複数の演算装置を備えていてもよい。これら複数の演算装置１１は、「〜部」の機能を実現するプログラムの実行を分担する。それぞれの演算装置は、演算装置１１と同じように、プロセッシングを行うＩＣである。
また、「〜部」の処理の結果を示す情報やデータや信号値や変数値が、記憶装置１２、演算装置１１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、「〜部」の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。

また、「〜部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、ＡＲ表示装置１００は、ロジックＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＧＡ（ＧａｔｅＡｒｒａｙ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、「〜部」は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。

１１演算装置、１２記憶装置、１３センサ装置、１４撮影装置、１５ディスプレイ、１００ＡＲ表示装置、１０１絶対位置推定データ、１０２絶対位置推定部、１０３相対位置初期化部、１０４絶対位置判定部、１０５判定結果記憶部、１０６表示データ、１０７相対位置記憶部、１０８絶対位置記憶部、１０９位置選択部、１１０グラフィックス生成部、１１１重畳部、１１２相対位置推定部、１１３位置融合部、１１４融合位置記憶部、１１５推定結果比較部、１１６係数記憶部、１１７相対位置補正部、１１８仰俯角高度計測部、１１９仰俯角高度記憶部、１２０高度調整部、１２１変動量算出部、１２２センサ値記憶部、１２３歩行状態判定部、１２４変動量記憶部、１２５変動付加部、１２６位相算出部。

Claims

絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、今回の判定結果と前回の判定結果とが同じであるか否かを判定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の成功と判定している場合に、今回の判定結果で推定の成功と判定している絶対位置姿勢を第１の指定絶対位置姿勢として指定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の失敗と判定している場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に記憶されている絶対位置姿勢を第２の指定絶対位置姿勢として指定する絶対位置判定部と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢を推定し、推定した相対位置姿勢を、相対位置姿勢を記憶する記憶領域である相対位置記憶領域に格納する相対位置推定部と、
前記絶対位置判定部により指定された前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位を算出し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢とを比較し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢との誤差を補正する係数を算出する推定結果比較部とを有する情報処理装置。
前記情報処理装置は、更に、
前記推定結果比較部により算出された係数を用いて、相対位置姿勢を補正する相対位置補正部を有する請求項１に記載の情報処理装置。
前記情報処理装置は、更に、
前記絶対位置記憶領域に記憶されている絶対位置姿勢と、前記相対位置補正部による補正後の相対位置姿勢とを足し合わせる位置融合部を有する請求項２に記載の情報処理装置。
前記相対位置推定部は、
前記相対位置記憶領域から、前回の相対位置姿勢の推定で得られた相対位置姿勢である前回相対位置姿勢を取得し、取得した前記前回相対位置姿勢を用いて、新たな相対位置姿勢を推定し、推定した新たな相対位置姿勢を前記相対位置記憶領域に格納し、
前記絶対位置判定部は、
今回の判定結果と前回の判定結果とが異なる場合に、前記相対位置記憶領域に記憶されている前記前回相対位置姿勢を初期値に変更する請求項１に記載の情報処理装置。
絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定部と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合部と、
前記絶対位置記憶領域に記憶されている絶対位置姿勢を用いて、前記撮影装置の仰俯角及び高度を算出する仰俯角高度計測部と、
前記仰俯角高度計測部により算出された前記撮影装置の仰俯角及び高度と、前記撮影装置の仰俯角と前記撮影装置の高度との関係を示す仰俯角高度関係情報とを用いて、前記位置融合部による足し合わせにより得られた融合位置姿勢の高度を調整する高度調整部と、
前記絶対位置判定部により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定部により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定部により絶対位置姿勢の推定の失敗が判定された場合に、前記高度調整部による高度の調整後の融合位置姿勢を選択する位置選択部とを有する情報処理装置。
利用者に保持される撮影装置の絶対座標系での位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定部と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合部と、
前記利用者が歩行中であるか否かを判定する歩行状態判定部と、
前記歩行状態判定部により前記利用者が歩行中であると判定された場合に、前記歩行状態判定部により前記利用者が歩行中であると判定された時点での、前記利用者の歩行に伴う前記撮影装置の高度の変動周期における位相を算出する位相算出部と、
前記位相算出部により算出された前記位相と、前記利用者の歩行に伴う前記撮影装置の高度の変動幅とに基づき、前記位置融合部による足し合わせにより得られた融合位置姿勢の高度を調整する変動付加部と、
前記絶対位置判定部により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定部により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定部により絶対位置姿勢の推定の失敗が判定された場合に、前記変動付加部による高度の調整後の融合位置姿勢を選択する位置選択部とを有する情報処理装置。
前記絶対位置判定部は、
絶対位置姿勢の推定の成功を判定した場合に、前記絶対位置記憶領域に記憶されている絶対位置姿勢を、推定の成功を判定した絶対位置姿勢で更新する請求項５又は６に記載の情報処理装置。
前記情報処理装置は、更に、
前記位置選択部により選択された絶対位置姿勢及び融合位置姿勢のいずれかに基づき、三次元グラフィックスを生成するグラフィックス生成部を有する請求項５又は６に記載の情報処理装置。
コンピュータが、絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、今回の判定結果と前回の判定結果とが同じであるか否かを判定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の成功と判定している場合に、今回の判定結果で推定の成功と判定している絶対位置姿勢を第１の指定絶対位置姿勢として指定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の失敗と判定している場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に記憶されている絶対位置姿勢を第２の指定絶対位置姿勢として指定する絶対位置判定処理と、
前記コンピュータが、相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢を推定し、推定した相対位置姿勢を、相対位置姿勢を記憶する記憶領域である相対位置記憶領域に格納する相対位置推定処理と、
前記コンピュータが、前記絶対位置判定処理により指定された前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位を算出し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢とを比較し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢との誤差を補正する係数を算出する推定結果比較処理とを有する情報処理方法。
コンピュータが、絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定処理と、
前記コンピュータが、相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合処理と、
前記コンピュータが、前記絶対位置記憶領域に記憶されている絶対位置姿勢を用いて、前記撮影装置の仰俯角及び高度を算出する仰俯角高度計測処理と、
前記コンピュータが、前記仰俯角高度計測処理により算出された前記撮影装置の仰俯角及び高度と、前記撮影装置の仰俯角と前記撮影装置の高度との関係を示す仰俯角高度関係情報とを用いて、前記位置融合処理による足し合わせにより得られた融合位置姿勢の高度を調整する高度調整処理と、
前記コンピュータが、前記絶対位置判定処理により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定処理により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定処理により絶対位置姿勢の推定の失敗が判定された場合に、前記高度調整処理による高度の調整後の融合位置姿勢を選択する位置選択処理とを有する情報処理方法。
コンピュータが、利用者に保持される撮影装置の絶対座標系での位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定処理と、
前記コンピュータが、相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合処理と、
前記コンピュータが、前記利用者が歩行中であるか否かを判定する歩行状態判定処理と、
前記歩行状態判定処理により前記利用者が歩行中であると判定された場合に、前記コンピュータが、前記歩行状態判定処理により前記利用者が歩行中であると判定された時点での、前記利用者の歩行に伴う前記撮影装置の高度の変動周期における位相を算出する位相算出処理と、
前記コンピュータが、前記位相算出処理により算出された前記位相と、前記利用者の歩行に伴う前記撮影装置の高度の変動幅とに基づき、前記位置融合処理による足し合わせにより得られた融合位置姿勢の高度を調整する変動付加処理と、
前記コンピュータが、前記絶対位置判定処理により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定処理により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定処理により絶対位置姿勢の推定の失敗が判定された場合に、前記変動付加処理による高度の調整後の融合位置姿勢を選択する位置選択処理とを有する情報処理方法。
絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、今回の判定結果と前回の判定結果とが同じであるか否かを判定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の成功と判定している場合に、今回の判定結果で推定の成功と判定している絶対位置姿勢を第１の指定絶対位置姿勢として指定し、今回の判定結果と前回の判定結果とが異なり、今回の判定結果で推定の失敗と判定している場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に記憶されている絶対位置姿勢を第２の指定絶対位置姿勢として指定する絶対位置判定処理と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢を推定し、推定した相対位置姿勢を、相対位置姿勢を記憶する記憶領域である相対位置記憶領域に格納する相対位置推定処理と、
前記絶対位置判定処理により指定された前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位を算出し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢とを比較し、前記第１の指定絶対位置姿勢と前記第２の指定絶対位置姿勢との変位と前記相対位置記憶領域に記憶されている相対位置姿勢との誤差を補正する係数を算出する推定結果比較処理とをコンピュータに実行させる情報処理プログラム。
絶対座標系での撮影装置の位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定処理と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合処理と、
前記絶対位置記憶領域に記憶されている絶対位置姿勢を用いて、前記撮影装置の仰俯角及び高度を算出する仰俯角高度計測処理と、
前記仰俯角高度計測処理により算出された前記撮影装置の仰俯角及び高度と、前記撮影装置の仰俯角と前記撮影装置の高度との関係を示す仰俯角高度関係情報とを用いて、前記位置融合処理による足し合わせにより得られた融合位置姿勢の高度を調整する高度調整処理と、
前記絶対位置判定処理により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定処理により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定処理により絶対位置姿勢の推定の失敗が判定された場合に、前記高度調整処理による高度の調整後の融合位置姿勢を選択する位置選択処理とをコンピュータに実行させる情報処理プログラム。
利用者に保持される撮影装置の絶対座標系での位置及び姿勢である絶対位置姿勢が推定される度に、絶対位置姿勢の推定の成否を判定し、推定の成功を判定した場合に、絶対位置姿勢を記憶する記憶領域である絶対位置記憶領域に、推定の成功を判定した絶対位置姿勢を格納する絶対位置判定処理と、
相対座標系での前記撮影装置の位置及び姿勢である相対位置姿勢が推定される度に、前記絶対位置記憶領域に記憶されている絶対位置姿勢と、推定された相対位置姿勢とを足し合わせる位置融合処理と、
前記利用者が歩行中であるか否かを判定する歩行状態判定処理と、
前記歩行状態判定処理により前記利用者が歩行中であると判定された場合に、前記歩行状態判定処理により前記利用者が歩行中であると判定された時点での、前記利用者の歩行に伴う前記撮影装置の高度の変動周期における位相を算出する位相算出処理と、
前記位相算出処理により算出された前記位相と、前記利用者の歩行に伴う前記撮影装置の高度の変動幅とに基づき、前記位置融合処理による足し合わせにより得られた融合位置姿勢の高度を調整する変動付加処理と、
前記絶対位置判定処理により絶対位置姿勢の推定の成功が判定された場合に、前記絶対位置判定処理により推定の成功が判定された絶対位置姿勢を選択し、前記絶対位置判定処理により絶対位置姿勢の推定の失敗が判定された場合に、前記変動付加処理による高度の調整後の融合位置姿勢を選択する位置選択処理とをコンピュータに実行させる情報処理プログラム。