JP7254943B2 - 情報端末装置および位置認識共有方法 - Google Patents

Description

本発明は、情報端末装置および位置認識共有方法等の技術に関する。

ユーザが装着または携帯する、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）、スマートフォン、タブレット端末等の、ユーザと共に移動可能なタイプの各種の情報端末装置が提供されている。この情報端末装置は、ユーザの視界に対応させた表示面に、仮想現実（ＶＲ）や拡張現実（ＡＲ）等に係わる仮想物体等の画像を表示する機能を持つものがある。この端末は、画像の表示のための基準となる座標系を持つ。

また、複数の各々のユーザが情報端末装置を持つ場合に、それらの端末間で、実空間内での位置認識を共有し、同じ位置に同じ仮想物体等の画像を表示しようとする技術も提案されている。この技術は、作業支援や娯楽等を含む各種の用途に有益として期待される。

上記に係わる先行技術例として、特表２０１４－５１４６５３号公報（特許文献１）が挙げられる。特許文献１には、複数の端末において、カメラのキャプチャに基づいて、実空間内の同一の物体、例えば机面を、アンカー表面として認識し、各端末からそのアンカー表面に仮想物体を表示することで、殆ど同じ位置に仮想物体を表示する旨の技術が記載されている。

特表２０１４－５１４６５３号公報

従来技術例の情報端末装置を含むシステムは、複数の端末間で実空間内の位置認識を共有するためには、課題がある。基本的に、各々の端末は異なる座標系を持つ。この前提では、端末間での位置認識の共有はできない。よって、各端末が持つ異なる座標系に基づいて、例えば端末間で基準となる座標系を共有する方式等、位置認識共有ができるようにするための何らかの工夫が必要である。

特許文献１のような従来技術例のシステムは、位置認識共有のためには、実空間内で端末の周囲の適当な場所に、固定されているアンカーまたはマーク等となる適当な実物（例えば机面）が必要である。そのような実物が無い環境や状況の場合には、位置認識共有はできない。従来技術例は、その場合の対処については考えられておらず、位置認識共有に関する制限が大きい。

本発明の目的は、情報端末装置等の技術に関して、実空間内にアンカー等となる適当な実物が無い場合でも、端末間での位置認識共有が実現できる技術を提供することである。上記以外の課題等については、発明を実施するための形態で説明される。

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の情報端末装置は、ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行う。

本発明のうち代表的な実施の形態によれば、情報端末装置等の技術に関して、実空間内にアンカー等となる適当な実物が無い場合でも、端末間での位置認識共有が実現できる。

本発明の実施の形態１の情報端末装置を含む、位置認識共有システムの構成例を示す図である。 実施の形態１の情報端末装置であるＨＭＤの外観構成例を示す図である。 実施の形態１の情報端末装置であるＨＭＤの機能ブロック構成例を示す図である。 実施の形態１の情報端末装置で、コントローラの構成例を示す図である。 実施の形態１で、端末間での座標系や諸量について示す図である。 実施の形態１で、端末間での位置の伝達の際の変換の各例、および変換パラメータ等について示す図である。 実施の形態１で、情報端末装置がスマートフォンである場合のＡＲ画像表示例を示す図である。 実施の形態１で、端末間での制御フローを示す図である。 実施の形態１で、端末間での座標系ペアリング時の出力例を示す図である。 実施の形態１で、座標系の変換および回転に関する説明図である。 実施の形態１で、実空間内での位置指定の例を示す図である。 実施の形態１で、位置指定の応用例を示す図である。 実施の形態１の変形例における、座標系ペアリング時の測定について示す図である。 本発明の実施の形態２の情報端末装置を含む、位置認識共有システムの構成例を示す図である。 本発明の実施の形態３の情報端末装置を含む、位置認識共有システムの構成例を示す図である。 実施の形態３の変形例における、複数端末との同時座標系ペアリングの例を示す図である。 本発明の実施の形態４の情報端末装置を含む、位置認識共有システムの構成例を示す図である。 実施の形態４で、変換パラメータの構成例を示す図である。 実施の形態４の変形例で、変換パラメータの構成例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、繰り返しの説明は省略する。

（実施の形態１）
図１～図１３を用いて、本発明の実施の形態１の情報端末装置を含む、位置認識共有システムおよび方法について説明する。なお、情報端末装置を端末と記載する場合がある。実施の形態１の情報端末装置は、端末間での位置認識共有のための機能を有する。実施の形態１の位置認識共有方法は、実施の形態１の情報端末装置によって実行されるステップを有する方法である。

実施の形態１の情報端末装置を含む、位置認識共有システムおよび方法は、例えば自端末と相手端末との２つの端末間で、各端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係の情報を用いて、各端末の各座標系を関係付ける。言い換えると、それらの情報を用いて、座標系間の変換を行う。これにより、このシステムおよび方法は、位置認識の共有を行う。ここで、各端末の各座標系間の相対的な向きの関係に関する情報とは、例えば各端末に関する実空間内の向きの異なる２つの特定方向に関する情報（特定方向情報）である。また、各座標系原点間の相対的位置関係の情報とは、例えば各端末の位置に関する情報（端末位置情報）である。向きの異なる２つの特定方向情報から、各端末の各座標系間の向きの変換を行う回転が求まり、端末位置情報から各座標系の原点間の関係が求まる。これらの情報から、座標系の変換パラメータが求まり、位置認識を共有することができる。位置認識を共有する状態となった端末間では、互いに実空間内の同じ位置を共有できる。例えば、一方の端末から他方の端末に、画像の表示対象位置を指定し、各端末は、その指定された同じ位置に同じ画像を表示できる。

実施の形態１では、特定方向情報の１つとして、後述（図５）の鉛直下方向の特定方向ベクトル（Ｎ_Ａ，Ｎ_Ｂ）を用いる。端末位置情報は、自端末の第１座標系を基準とした相手端末の位置を表す位置情報（自端末の座標値ｄ_Ａと端末間ベクトルＰ_ＢＡ）と、相手端末の第２座標系を基準とした自端末の位置を表す位置情報（相手端末の座標値ｄ_Ｂと端末間ベクトルＰ_ＡＢ）と、を合わせた情報である。実施の形態１では、端末間ベクトルは、もう１つの特定方向情報と、自端末の座標系を基準とした相手端末の位置情報との２つに係わる情報である。

［位置認識共有システム］
図１は、実施の形態１の情報端末装置を含む、位置認識共有システムの構成を示す。この位置認識共有システムは、実空間内において、実施の形態１の情報端末装置である複数の情報端末装置１を有し、本例では２台の端末として情報端末装置１Ａ，１Ｂを有する。この位置認識共有システムは、複数の情報端末装置１間で実空間内での位置認識を共有するシステムであり、共有した同じ位置に同じ仮想物体等の画像を表示できる表示システムである。端末１（１Ａ，１Ｂ）は、スマートグラス等のＨＭＤでもよいし、スマートフォンやタブレット端末でもよい。本例では、ユーザＡ（例えば自分）は、端末１ＡとしてＨＭＤを装着しており、ユーザＢ（例えば他者）は、端末１ＢとしてＨＭＤを装着しており、ユーザＡ，Ｂの端末１Ａ，１Ｂ間で位置認識共有を行う。端末１は、位置認識共有のための必要な機能を備える装置であれば、種類を限定せず、異種の端末１の組合せでの位置認識共有も可能である。

端末１（１Ａ，１Ｂ）間では、位置認識共有前の状態から位置認識共有を行う際には、端末間での通信を伴う動作として、座標系ペアリングを行う。座標系ペアリングは、後述の諸量の交換や、座標系間の変換のための変換パラメータの設定等を含む動作である。座標系ペアリングによって、各端末１の座標系が関係付けられ、端末１間で位置認識が共有された状態になる。この状態では、実空間内で、各端末１（１Ａ，１Ｂ）から見て同じ位置２１を表示対象位置ＬＧとして同じ仮想物体等の画像２２を表示できる。

各端末１は、無線通信機能や画像表示機能を有する。各端末１は、通信網上のアクセスポイント２３等に無線接続され、端末１間での無線通信や、通信網上のサーバ等の装置との通信が可能である。各端末１は、仮想物体等の画像データを生成してもよいし、通信網上の装置から画像データ等を取得してもよい。

［情報端末装置（ＨＭＤ）］
図２は、情報端末装置１の例としてのＨＭＤの外観構成例を示す。このＨＭＤは、眼鏡状の筐体１０に、表示面５を含む表示デバイスを備える。この表示デバイスは、例えば透過型表示デバイスであり、表示面５には外界の実像が透過され、その実像上に仮想物体等の画像が重畳表示される。筐体１０には、センサ部４、カメラ６、測距センサ７等を備える。センサ部４は、ＨＭＤの位置および姿勢の状態を検出するためのセンサ群を含む位置姿勢センサである。カメラ６は、例えば筐体１０の左右両側に配置されたカメラ６Ｒ，６Ｌを有し、ＨＭＤの前方を含む範囲を撮影して画像を取得する。測距センサ７は、ＨＭＤと外界の物体との距離を測定するセンサである。測距センサ７は、ＴＯＦ（Time Of Flight）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。また、筐体１０の左右には、マイク８１やスピーカ８２を備える。

端末１には、リモコン等の操作器３が付属していてもよい。端末１は、操作器３との間で例えば近距離無線通信を行う。ユーザは、手で操作器３を操作することで、ＨＭＤの機能に関する指示入力やカーソル移動等ができる。端末１であるＨＭＤは、外部のスマートフォン等と通信して連携を行ってもよい。例えば、ＨＭＤは、スマートフォンに備えるアプリケーションから画像データを受信してもよい。

端末１は、画像表示機能の要素として、作業支援や娯楽のために仮想物体等の画像を表示面５に表示させるアプリケーションプログラム等を備える。例えば、端末１は、作業支援のためのアプリケーションの処理によって、作業支援のための画像を生成し、表示面５において、実空間内の作業対象物の付近の所定の位置にその画像を配置し表示させる。

端末１は、画像の表示のための基準となる座標系（世界座標系と記載する場合がある）を有する。本例では、このＨＭＤは、世界座標系ＷＡを有する。世界座標系ＷＡは、原点Ｏ_Ａにおいて、直交する３軸として、軸Ｘ_Ａ、軸Ｙ_Ａ、軸Ｚ_Ａを有する。原点Ｏ_Ａは実空間内の所定の位置に固定されている。

図３は、図２のＨＭＤである場合の情報端末装置１の機能ブロック構成例を示す。端末１は、プロセッサ１０１、メモリ１０２、カメラ６、測距センサ７、センサ部４、表示デバイス５０、通信デバイス８０、マイク８１を含む音声入力装置、スピーカ８２やイヤホンを含む音声出力装置、操作入力部８３、およびバッテリ８４等を備える。これらの要素はバス等を通じて相互に接続されている。

プロセッサ１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＨＭＤのコントローラを構成する。プロセッサ１０１は、メモリ１０２の制御プログラム３１やアプリケーションプログラム３２に従った処理を実行することにより、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１等が扱う各種のデータや情報を記憶する。メモリ１０２には、制御プログラム３１、アプリケーションプログラム３２、設定情報３３、座標系情報３４、表示情報３５等が格納されている。設定情報３３は、システム設定情報やユーザ設定情報を含む。座標系情報３４は、自端末の座標系を管理するための情報と、他端末との位置認識共有の際の管理情報として後述の諸量や変換パラメータ等の情報とを含む。表示情報３５は、仮想物体等の画像の表示のためのデータを含む。また、メモリ１０２には、一時的な処理情報として、カメラ６、測距センサ７、センサ部４等によって取得した画像やセンサ情報等も格納される。

センサ部４は、ＨＭＤ１の状態を検出するための各種のセンサとして、例えば、加速度センサ４１、ジャイロセンサ（角速度センサ）４２、地磁気センサ４３、ＧＰＳ受信器４４等を含む。センサ部４は、これらのセンサの検出情報を用いて、ＨＭＤの位置、方向、姿勢（傾き）、動き等を検出する。ＨＭＤは、これに限らず、他のセンサとして、照度センサ、近接センサ、気圧センサ等を備えてもよい。

通信デバイス８０は、モバイル網やＷｉ－Ｆｉ（登録商標）やＢｌｕｅＴｏｏｔｈ（登録商標）や赤外線等の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。通信デバイス８０は、他の端末１やアクセスポイント２３との間での無線通信処理等を行う。

表示デバイス５０は、表示駆動回路や表示面５を含み、画像データに基づいて、表示面５に画像を表示する。なお、表示デバイス５０は、透過型表示デバイスに限らず、非透過型表示デバイス等としてもよい。その場合、表示面５には、ＶＲに対応して生成された画像が表示される。

カメラ６は、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。測距センサ７は、例えばＴＯＦセンサを用いる場合、外界に出射した光が物体に当たって戻ってくるまでの時間から、その物体までの距離を計算する。

音声入力装置は、マイク８１からの入力音声を音声データに変換する。音声出力装置は、音声データに基づいてスピーカ８２等から音声を出力する。音声入力装置は、音声認識機能を備えてもよい。音声出力装置は、音声合成機能を備えてもよい。

操作入力部８３は、ＨＭＤに対する操作入力、例えば電源オン／オフや音量調整等を受け付ける部分であり、ハードウェアボタンやタッチセンサ等で構成される。バッテリ８４は、各部に電力を供給する。

［コントローラ］
図４は、端末１のプロセッサ１０１によるコントローラ等の機能ブロック構成例を示す。コントローラは、プロセッサ１０１の処理によって実現される機能ブロックとして、通信制御部１０１Ａ、表示制御部１０１Ｂ、データ処理部１０１Ｃ、およびデータ取得部１０１Ｄを有する。

通信制御部１０１Ａは、通信デバイス８０を用いた通信を制御する。表示制御部１０１Ｂは、表示情報３５を用いて、表示デバイス５０の表示面５への画像の表示を制御する。表示情報３５には、表示対象の画像の画像データや表示位置座標等の情報を含む。

データ処理部１０１Ｃは、座標系情報３４を用いて、自端末の世界座標系の管理のための処理や、位置認識共有の際の座標系ペアリングの処理や、共有後の座標系間の変換の処理等を行う。データ処理部１０１Ｃは、座標系ペアリングの際には、端末１間で諸量を測定し交換する処理や、座標系間の変換のための変換パラメータを生成して設定する処理等を行う。また、データ処理部１０１Ｃは、端末１間で位置を伝達する際には、変換パラメータを用いて共有位置を得る変換処理を行う。

データ取得部１０１Ｄは、センサ部４、カメラ６、および測距センサ７から、各検出データを取得する。データ取得部１０１Ｄは、座標系ペアリングの際には、諸量の測定を行う。座標系情報３４には、自端末が基準となって変換を行う場合には、自端末の世界座標系情報と、相手端末の世界座標系情報と、自端末の諸量データと、相手端末の諸量データと、変換パラメータとを有する。

［座標系の共有］
図５は、図１の２台の情報端末装置１（１Ａ，１Ｂ）間で、実空間内での位置認識共有を行う場合の座標系や諸量に関する説明図を示す。以下、図５を用いて、２台の端末１（１Ａ，１Ｂ）間で実空間に固定されたそれぞれの世界座標系（ＷＡ，ＷＢ）の共有を行う場合について記述する。実施の形態では、各端末１（１Ａ，１Ｂ）で、実空間内の位置を指定するための基準となる座標系を、世界座標系と呼ぶ。端末１Ａの座標系を世界座標系ＷＡとし、端末１Ｂの座標系を世界座標系ＷＢとする。世界座標系の原点および方向は、実空間内に固定されている。これらの世界座標系は、端末１毎に設定されているため、基本的には異なる座標系であり、最初の状態では一致していない。世界座標系ＷＡは、原点Ｏ_Ａと、軸Ｘ_Ａ、軸Ｙ_Ａ、および軸Ｚ_Ａとを有する。世界座標系ＷＢは、原点Ｏ_Ｂと、軸Ｘ_Ｂ、軸Ｙ_Ｂ、および軸Ｚ_Ｂとを有する。各端末１の位置ＬＡ，ＬＢは、予め規定される中心位置である。非透過型ディスプレイを搭載している端末の場合であっても、その端末の世界座標系が実空間に固定されている間は、表示しているオブジェクトの表示位置を他端末と共有できる。

図５の例では、世界座標系ＷＡの原点Ｏ_Ａの位置と端末１Ａの位置ＬＡとは異なり、世界座標系ＷＢの原点Ｏ_Ｂの位置と端末１Ｂの位置ＬＢとは異なるが、これに限定するものではない。以下では、図５のように世界座標系の原点と端末１の位置とが一致していない一般的な場合について、座標系間の関係を説明する。

端末１Ａの位置ＬＡについての世界座標系ＷＡにおける座標値を、ｄ_Ａ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）とする。端末１Ｂの位置ＬＢについての世界座標系ＷＢにおける座標値を、ｄ_Ｂ＝（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）とする。これらの座標値は、世界座標系の設定に応じて定まるパラメータである。端末位置ベクトルＶ_Ａは、原点Ｏ_Ａから位置ＬＡまでのベクトルである。端末位置ベクトルＶ_Ｂは、原点Ｏ_Ｂから位置ＬＢまでのベクトルである。

［座標系ペアリングおよび諸量の測定］
実施の形態１で、各端末１は、他の端末１との間での位置認識共有を行う場合、例えば、端末１Ａと端末１Ｂとの間で同じ位置２１を同じ画像２２の表示対象位置ＬＧとして共有を行う場合、両者の世界座標系情報の共有を行う。この世界座標系情報の共有を行う動作を、座標系ペアリングと記載している。図５の２台の端末１（１Ａ，１Ｂ）間で座標系ペアリングを行う場合、２台の端末１（１Ａ，１Ｂ）を１つのペアとして、１回、座標系ペアリングの動作を行えばよい。３台以上の端末１がある場合でも、同様に、ペア毎に座標系ペアリングを行えばよい。

実施の形態１で、座標系ペアリングの際には、各端末１（１Ａ，１Ｂ）は、所定の諸量を測定し、端末１（１Ａ，１Ｂ）間で諸量データを交換する。すなわち、端末１Ａは、自分の世界座標系ＷＡにおいて測定した諸量データを相手の端末１Ｂに送信し、端末１Ｂは、自分の世界座標系ＷＢにおいて測定した諸量データを端末１Ａに送信する。各端末１は、諸量データに基づいて、ペアの各世界座標系の関係、具体的には座標系間での変換のための変換パラメータを、計算することができる。これにより、端末１（１Ａ，１Ｂ）間では、世界座標系情報の共有ができ、位置認識の共有ができる。

実施の形態１では、座標系ペアリングの際の諸量としては、以下の３つの要素の情報を有する。諸量は、第１情報として特定方向ベクトルと、第２情報として端末間ベクトルと、第３情報として世界座標値とを有する。

（１）特定方向ベクトル： 各端末１は、各端末１の各世界座標系における実空間内の特定方向に関する情報として、特定方向ベクトルを用いる。実施の形態１では、特に、特定方向は、鉛直下方向とする。図５の例では、特定方向として鉛直下方向の特定方向ベクトルＮ_Ａ，Ｎ_Ｂを用いる。特定方向ベクトルＮ_Ａは、端末１Ａの鉛直下方向の方向ベクトルであり、単位方向ベクトルをｎ_Ａとする。特定方向ベクトルＮ_Ｂは、端末１Ｂの鉛直下方向の方向ベクトルであり、単位方向ベクトルをｎ_Ｂとする。

鉛直下方向は、例えば端末１に備える加速度センサ４１である３軸加速度センサを用いて、重力加速度の方向として測定できる。あるいは、世界座標系ＷＡ，ＷＢの設定において、鉛直下方向を、Ｚ軸（Ｚ_Ａ，Ｚ_Ｂ）の負方向として設定してもよい。いずれにせよ、この特定方向である鉛直下方向は、世界座標系において変化しないので、座標系ペアリング毎に毎回測定しなくてもよい。

（２）端末間ベクトル： 各端末１は、一方の端末１（例えば端末１Ａ）から他方の端末１（例えば端末１Ｂ）への位置関係を表す情報として、端末位置間のベクトル（すなわち方向と距離）の情報を用いる。この情報を「端末間ベクトル」と記載する。図５の例では、端末間ベクトルＰ_ＢＡ，Ｐ_ＡＢを用いる。端末間ベクトルＰ_ＢＡは、端末１Ａを基準として端末１Ａの位置ＬＡから端末１Ｂの位置ＬＢをみた方向での位置関係を表すベクトルである。端末間ベクトルＰ_ＡＢは、端末１Ｂを基準として端末１Ｂの位置ＬＢから端末１Ａの位置ＬＡをみた方向での位置関係を表すベクトルである。この端末間ベクトルは、座標系の向きの関係を求めるための、もう1つの実空間内の特定方向に関する情報を含むものである。

座標系ペアリングの際、各端末１は、相手の端末１までの端末間ベクトルを、例えば図２の測距センサ７を用いて測定する。端末１Ａから端末１Ｂまでの、世界座標系ＷＡでのベクトル表現がＰ_ＢＡであり、端末１Ｂから端末１Ａまでの、世界座標系ＷＢでのベクトル表現がＰ_ＡＢである。なお、端末１間の位置関係の測距は、詳しくは以下のようにしてもよい。例えば、端末１Ａの測距センサ７は、前方に見える端末１Ｂとの距離を測定する。この際、端末１Ａは、カメラ画像から端末１Ｂの筐体の形状を測定してもよいし、端末１Ｂの筐体に形成されているマーカ等を特徴点として測定してもよい。

（３）世界座標値： 各端末１は、各端末１の各世界座標系における位置を表す座標値の情報を用いる。図５の例では、世界座標値として、世界座標系ＷＡでの座標値ｄ_Ａ、および世界座標系ＷＢでの座標値ｄ_Ｂを用いる。

図５で、ベクトルＦ_Ａは、端末位置情報に相当する自端末（端末１Ａ）の世界座標系ＷＡでの相手端末１Ｂの位置を表すベクトルであり、自端末の座標値ｄ_Ａ（ベクトルＶ_Ａ）と端末間ベクトルＰ_ＢＡとを合成したベクトルに相当する。ベクトルＦ_Ｂは、自端末（端末１Ｂ）の世界座標系ＷＢでの相手端末１Ａの位置を表すベクトルであり、相手端末の座標値ｄ_Ｂ（ベクトルＶ_Ｂ）と端末間ベクトルＰ_ＡＢとを合成したベクトルに相当する。

座標系ペアリングの際、端末１Ａは、自端末側の諸量データ５０１として、特定方向ベクトルＮ_Ａと、端末間ベクトルＰ_ＢＡと、座標値ｄ_Ａとを測定し、これらの諸量データ５０１を端末１Ｂに送信する。端末１Ｂは、自端末側の諸量データ５０２として、特定方向ベクトルＮ_Ｂと、端末間ベクトルＰ_ＡＢと、座標値ｄ_Ｂとを測定し、これらの諸量データ５０２を端末１Ａに送信する。

なお、端末１Ａのみが座標系の関係を把握して座標系間の変換を行う場合には、端末１Ａが自端末の諸量データ５０１と端末１Ｂからの諸量データ５０２とを取得すればよく、端末１Ａから端末１Ｂへ諸量データ５０１を送信する必要は無い。逆に、端末１Ｂのみが変換を行う場合には、端末１Ｂから端末１Ａへ諸量データ５０２を送信する必要は無い。

［変換パラメータ］
上記座標系ペアリングにより、端末１（１Ａ，１Ｂ）間での世界座標系ＷＡ，ＷＢの関係が分かり、世界座標系ＷＡ，ＷＢ間での変換が可能となる。すなわち、世界座標系ＷＢを世界座標系ＷＡに合わせるようにするための変換、あるいはその逆の変換が可能となる。世界座標系間の変換は、所定の変換パラメータで表される。変換パラメータは、座標系の方向の変換（言い換えると回転）と、座標系の原点の差との計算用のパラメータである。

図６は、端末１間での位置の伝達の際の変換の各例、および変換パラメータの例を示す。例えば、端末１Ａは、自端末で座標系間の変換を行う場合、自端末と相手の端末１Ｂとの両方の諸量データ５０１，５０２を取得し、それらの諸量データ５０１，５０２から、世界座標系ＷＡ，ＷＢ間の関係を計算する。具体的には、図６のように、端末１Ａは、変換のための変換パラメータＴＡを生成し保持する。世界座標系ＷＡ上の位置から、その変換パラメータＴＡを用いた変換によって、世界座標系ＷＢ上の位置が得られる。同様に、端末１Ｂは、自端末で座標系間の変換を行う場合、両方の諸量データ５０１，５０２から、世界座標系ＷＡ，ＷＢ間での変換のための変換パラメータＴＢを生成し保持する。

座標系ペアリングによる位置認識共有後の端末１（１Ａ，１Ｂ）間では、実空間内の同じ位置２１を指定できる。一方の端末１は、他方の端末１に、指定する位置２１の情報を伝達する。一方の端末１または他方の端末１は、位置２１に関して座標系間の変換を行う。

図５で、位置ベクトルＧ_Ａは、世界座標系ＷＡにおける画像２２の位置２１のベクトルであり、位置座標値ｒ_Ａは、その位置２１の座標値である。位置ベクトルＧ_Ｂは、世界座標系ＷＢにおける位置２１のベクトルであり、位置座標値ｒ_Ｂは、その位置２１の座標値である。原点間ベクトルｏ_ＢＡは、原点Ｏ_Ａから原点Ｏ_Ｂへのベクトル（世界座標系ＷＡでの原点Ｏ_Ｂの表現）であり、原点間ベクトルｏ_ＡＢは、原点Ｏ_Ｂから原点Ｏ_Ａへのベクトル（世界座標系ＷＢでの原点Ｏ_Ａの表現）である。

位置の変換は、端末１Ａで変換パラメータＴＡを用いて行ってもよいし、端末１Ｂで変換パラメータＴＢを用いて行ってもよい。端末１Ａと端末１Ｂの一方が変換パラメータを保持してもよいし、両方が変換パラメータを保持してもよい。

図６の（Ａ）は伝達に関する第１例である。例えば、端末１Ａは、端末１Ｂに、画像２２の表示対象位置ＬＧ等の位置情報を伝達する。その際、端末１Ａは、世界座標系ＷＡ上の位置座標値ｒ_Ａから、変換パラメータＴＡによる変換によって、世界座標系ＷＢ上の位置座標値ｒ_Ｂを得て、端末１Ｂに送信する。（Ｂ）は第２例である。端末１Ａは、世界座標系ＷＡ上の位置座標値ｒ_Ａを、端末１Ｂに送信する。端末１Ｂは、その位置座標値ｒ_Ａから、変換パラメータＴＢによる変換によって、世界座標系ＷＢ上の位置座標値ｒ_Ｂを得る。（Ｃ）は第３例である。端末１Ｂは、世界座標系ＷＢ上の位置座標値ｒ_Ｂから、変換パラメータＴＢによる変換によって、世界座標系ＷＡ上の位置座標値ｒ_Ａを得て、端末１Ａに送信する。（Ｄ）は第４例である。端末１Ｂは、世界座標系ＷＢ上の位置座標値ｒ_Ｂを、端末１Ａに送信する。端末１Ａは、その位置座標値ｒ_Ｂから、変換パラメータＴＡによる変換によって、世界座標系ＷＡ上の位置座標値ｒ_Ａを得る。

図６で、変換パラメータのテーブルは、例えば、相手端末（相手ユーザ）のＩＤ等の情報と、座標系間の回転の表現の情報と、座標系間の原点の表現の情報とを有する。例えば、端末１Ａが持つ変換パラメータＴＡのテーブルは、相手端末１Ｂ（相手ユーザＢ）のＩＤと、相手の世界座標系ＷＢに合わせるための回転の表現（ｑ_ＡＢ）と、世界座標系ＷＡからみた世界座標系ＷＢの原点の表現（ｏ_ＢＡ）とを有する。

図５で、各端末１の各ユーザは、実空間内の同じ位置２１に表示される画像２２を共通に視認できる。ベクトルＥ_Ａは、ユーザＡの視点に対応する端末１Ａの位置ＬＡから位置２１の画像２２を見る場合のベクトルである。ベクトルＥ_Ｂは、ユーザＢの視点に対応する端末１Ｂの位置ＬＢから位置２１の画像２２を見る場合のベクトルである。

［画像表示例］
図７は、情報端末装置１がスマートフォンである場合において、座標系ペアリング後、端末１（１Ａ，１Ｂ）間で位置認識共有がされた同じ位置２１である表示対象位置ＬＧに、ＡＲの同じ仮想物体の画像２２を表示する例を示す。また、本例は、各端末１の位置が各世界座標系の原点と同じである場合を示す。座標系ペアリング後、実空間内のある位置２１が、仮想物体の表示対象位置ＬＧとして指定されている。

ユーザＡの端末１Ａの表示面５Ａには、ＡＲの画像２２が、実物２５に対し重畳表示される。同じく、ユーザＢの端末１Ｂの表示面５Ｂには、ＡＲの画像２２が、実物２５に対し重畳表示される。本例では、画像２２に配置の向きが設定されている場合を示し、例えばＡＲ表示例１では、位置２１に画像２２の正面が南を向く状態で配置されている。各端末１からの画像２２の見え方は、画像２２との位置関係に応じて異なる。端末１Ａの表示面５Ａでは、位置２１の画像２２は右に向いた状態で写っている。端末１Ｂの表示面５Ｂでは、位置２１の画像２２は左に向いた状態で写っている。

図７中に別の例（ＡＲ表示例２）も示している。この例は、各端末１から見て同じ画像２２が見えるように制御する場合を示す。端末１Ａの表示面５Ａおよび端末１Ｂの表示面５Ｂのいずれも、位置２１の画像２２はユーザの端末１を向いた状態で写っている。

なお、上記位置認識共有後の位置の伝達および画像２２の表示の際に、各画像２２の表示毎に、一方の端末１から他方の端末１へ位置および画像データ等を送信する方式としてもよいし、他の方式としてもよい。例えば、端末１Ａは、端末１Ｂに位置座標および画像データを送信し、端末１Ｂは、それに従って、即時に、表示面５における指定の位置２１に画像２２を表示する。あるいは、端末１Ｂは、自端末のアプリケーション等の処理を優先し、共有位置への画像表示を後回しにするか拒否してもよい。変形例としては、共有位置への画像表示制御の権限を設け、一方の端末１に他方の端末１の画像表示制御に関する権限を渡す形態でもよい。例えば、座標系ペアリングによる位置認識共有中、端末１Ｂは、端末１Ａに、権限を渡す。権限を持つ端末１Ａは、自端末だけでなく、相手の端末１Ｂの画像表示を制御する。端末１Ａは、端末１Ｂでの画像表示制御のためのデータを作成し、端末１Ｂに送信する。端末１Ｂは、受信したデータに従って表示面５に画像を表示する。

［制御フロー］
図８は、実施の形態１の情報端末装置１における制御フローを示す。図８のフローは、端末１Ａと端末１Ｂとの間で位置認識共有を行う場合の制御フローであり、端末１Ａ側のステップＳ１Ａ～Ｓ９Ａと、対応する端末１Ｂ側のステップＳ１Ｂ～Ｓ９Ｂとを有する。この制御フローでは、座標系ペアリングの際に、ペアとなる各端末１が、ある程度タイミングを合わせて諸量の測定をほぼ同時に行う。

まず、ステップＳ１Ａ，Ｓ１Ｂで、端末１Ａ，１Ｂは、所定の無線通信方式を用いて端末１間の通信を確立する。なお、通信は、アクセスポイント２３経由でもよいし、端末１間での直接通信でもよい。ステップＳ２Ａで、例えば、端末１Ａから端末１Ｂに、座標系ペアリング要求を送信する。本例では端末１Ａを要求側とするが、端末１Ｂを要求側とする場合も同様である。ステップＳ２Ｂで、端末１Ｂは、端末１Ａからの座標系ペアリング要求を受信し、座標系ペアリングに同意するか等を確認し、端末１Ａに応答を行う。同意する場合、端末１Ｂは端末１Ａに同意の旨の応答を送信する。なお、座標系ペアリングに際して、セキュリティを高めたい場合、端末１Ｂから端末１Ａに、予め設定したパスコード等の入力を要求してもよい。また、座標系ペアリング要求は、ユーザからの指示操作を契機として行ってもよいし、端末１が自動で判断した契機で行ってもよい。

上記同意に基づいて、ステップＳ３Ａ，Ｓ３Ｂ以降で、端末１（１Ａ，１Ｂ）間では、座標系ペアリングの動作を開始する。まず、ステップＳ３Ａ，Ｓ３Ｂで、各端末１は、図５のような諸量データを測定する。すなわち、例えば、端末１Ａは、特定方向ベクトルＮ_Ａと、端末間ベクトルＰ_ＢＡと、座標値ｄ_Ａとを得る。

なお、座標系ペアリング動作中には、両端末１が、なるべく同じタイミングで、またなるべく静止した状態で、諸量を測定した方が好ましい。よって、例えば、座標系ペアリング動作の際には、後述のように、各端末１は、座標系ペアリングのための所定のガイド等をユーザへ出力しながら、測定のタイミング等を合わせるように制御を行う。

特定方向ベクトル（Ｎ_Ａ，Ｎ_Ｂ）は、座標系ペアリング毎に測定してもよいし、座標系ペアリング前に世界座標系の設定後に既に測定されて保持している設定値がある場合にはその設定値で代用してもよい。世界座標系のＺ軸が鉛直方向になるように設定されている場合には、その鉛直方向は、測定値ではなく、設定値になるが、その設定値を特定方向ベクトルとして用いてもよい。実空間内の特定方向は、予め規約で決められてもよいし、座標系ペアリング毎に決められてもよい。

次に、ステップＳ４Ａ，Ｓ４Ｂで、各端末１は、上記測定した諸量データ｛（１）特定方向ベクトル、（２）端末間ベクトル、（３）座標値｝を相手の端末１に送信することで、諸量データを交換する。すなわち、端末１Ａは、図５の諸量データ５０１を端末１Ｂに送信し、端末１Ｂは、諸量データ５０２を端末１Ａに送信する。なお、一方の端末１、例えば端末１Ａのみが、座標系の関係を把握し変換を行う場合には、端末１Ｂから端末１Ａへの諸量データの送信のみでよい。

次に、ステップＳ５Ａ，Ｓ５Ｂで、各端末１は、相手の端末１からの諸量データを受信後、自端末での世界座標系間の変換のための変換パラメータを設定する。端末１Ａは図６の変換パラメータＴＡを設定し、端末１Ｂは変換パラメータＴＢを設定する。上記座標系ペアリングによって、各端末１の世界座標系間で相互に位置座標の変換が可能となる。例えば、端末１Ａから見た位置座標値ｒ_Ａを、端末１Ｂから見た位置座標値ｒ_Ｂに変換することができる。

ステップＳ６Ａ，Ｓ６Ｂで、一方または他方の端末１、例えば端末１Ａは、共有する位置の情報、およびその位置に表示するための画像データ等のデータを、相手の端末１、例えば端末１Ｂに送信する。その際、一方または他方の端末１は、図６のように、適宜に、変換パラメータを用いて位置の変換を行う。

ステップＳ７Ａ，Ｓ７Ｂで、端末１は、相手の端末１から受信した位置および画像データ等に基づいて、指定された共有位置に対応する表示面５内の位置に、その画像を表示する。これにより、両端末１は、実空間の同一の位置２１に仮想物体等の画像２２を表示でき、その画像２２を介したコミュニケーション等が実現できる。

ステップＳ８Ａ，Ｓ８Ｂで、各端末１は、座標系ペアリングによる位置認識共有を終了するかどうかを確認する。終了は、例えばユーザの指示入力を契機としてもよいし、端末１の自動的な判断を契機としてもよい。例えば、座標系ペアリングの開始から一定時間以上経過した場合に、ユーザに対する終了確認を行うようにしてもよい。終了しない場合にはＳ６Ａ，Ｓ６Ｂに戻り同様の繰り返しである。終了する場合、ステップＳ９Ａ，Ｓ９Ｂでは、端末１間で、座標系ペアリングの解除のための通信を行う。座標系ペアリングの開始から一定期間経過後に自動的に解除する方式としてもよい。

［座標系ペアリング時の出力例］
図９は、座標系ペアリング時の表示面５に対する出力例を示す。図９は、例えば、ユーザＡの端末１Ａが、ユーザＢの端末１Ｂとの間で座標系ペアリングを行う際に、端末１Ａの表示面５にガイド等の画像を表示する例を示す。表示面５内には、ユーザＢおよび端末１Ｂが見えている。まず、端末１Ａは、座標系ペアリングの開始の際に、表示面５内に、自端末から見た相手の端末１Ｂの位置に合わせるように、カーソル９０１を表示する。カーソル９０１は、ポインティングオブジェクト画像である。端末１は、例えばカメラ６の画像の解析から、相手の端末１を検出できる。また、端末１Ａは、表示面５内に、複数のユーザの複数の端末１が見えている場合には、それぞれの端末１の位置に、座標系ペアリングの候補であることを表すカーソルを表示してもよい。

端末１Ａは、カーソル９０１を合わせた端末１Ｂについて、ガイド画像９０２を表示する。ガイド画像９０２は、ユーザＢの端末１Ｂとの座標系ペアリングを行うかどうかをユーザＡに確認する情報を持つ画像である。ユーザＡは、ガイド画像９０２に従って、ユーザＢの端末１Ｂとの座標系ペアリングを行う場合にはその旨の指示入力を行う。その指示入力に従い、端末１Ａは、端末１Ｂとの座標系ペアリングの動作（測定等）を開始する。

また、端末１Ａは、座標系ペアリング動作中、特に、端末間ベクトルの測定の際に、表示面５内に、自端末から見た相手の端末１Ｂの位置に合わせるように、カーソル９０１を表示するとともに、ガイド画像９０３を表示する。ガイド画像９０３は、ユーザＡに対し測定中であること、およびなるべく静止させることを伝える画像である。測定中にユーザおよび端末１が移動する場合、測定誤差になり得る。そのため、測定中にはユーザおよび端末１をなるべく静止させるように、各端末１はガイド画像９０３を出力する。

端末１Ａは、測定が終了した時には、測定の終了の旨のガイド画像を表示してもよい。また、端末１Ａは、座標系ペアリング確立後には、共有中の状態を表す画像を表示してもよい。相手の端末１Ｂ側でも同様に、対応するガイド画像が表示される。他の方式として、端末１Ａは、例えば一定時間以上、表示面５内に相手の端末１Ｂが見えている等の条件で、自動的に座標系ペアリングを実行してもよい。その場合にも、端末１Ａは、表示面５内にその旨のガイド画像を表示する。また、端末１は、画像表示に限らず、音声等によるガイドを出力してもよい。

なお、座標系の関係を計算するに当たって、図５の特定方向（例えばＮ_Ａ）と、端末間ベクトル（例えばＰ_ＢＡ）の方向とは異なる必要がある。そのため、もしそれらの方向が同じに重なっていた場合には、端末１からユーザに、位置を変更してから座標系ペアリングを実行し直すようにガイドを出力してもよい。端末１同士が鉛直上下方向に重なるケースは稀であるため、上記のような方向の重なりを避けるためには、特定方向として鉛直下方向を選ぶのが良い。

［座標変換（１）］
以下では、座標変換の詳細について補足説明する。まず、座標系の関係を説明するための記法をまとめる。実施の形態では、座標系は右手系に統一する。実施の形態では、座標系の回転を表すため、正規化四元数を用いる。正規化四元数とは、ノルムが１の四元数であり、軸の回りの回転を表すことができる。単位ベクトル（ｎ_Ｘ，ｎ_Ｙ，ｎ_Ｚ）を回転軸とした角度ηの回転を表す正規化四元数ｑは、下記の式１となる。ｉ，ｊ，ｋは四元数の単位である。単位ベクトル（ｎ_Ｘ，ｎ_Ｙ，ｎ_Ｚ）の方向に向いた場合の右回りの回転が、ηが正の回転方向である。任意の座標系の回転はこのような正規化四元数で表現できる。
式１： ｑ＝ｃｏｓ（η／２）＋ｎ_Ｘｓｉｎ（η／２）ｉ＋ｎ_Ｙｓｉｎ（η／２）ｊ＋ｎ_Ｚｓｉｎ（η／２）ｋ

四元数ｑの実数部分をＳｃ（ｑ）で表す。四元数ｑの共役四元数をｑ*とする。四元数ｑのノルムを１に正規化する演算子を［・］で定義する。四元数ｑを任意の四元数とすると、式２が［・］の定義である。式２の右辺の分母が四元数ｑのノルムである。
式２： ［ｑ］＝ｑ／（ｑｑ*）^１／２

次に、座標点あるいはベクトル（ｐ_Ｘ，ｐ_Ｙ，ｐ_Ｚ）を表現する四元数ｐを、式３で定義する。
式３： ｐ＝ｐ_Ｘｉ＋ｐ_Ｙｊ＋ｐ_Ｚｋ

本明細書においては、特に断りが無い限り、成分表示でない座標点やベクトルを表す記号は四元数表示であるとする。また、回転を表す記号は正規化四元数であるとする。

単位ベクトルｎの方向と垂直な平面へのベクトルの射影演算子を、Ｐ_Ｔ（ｎ）とする。ベクトルｐの射影は、式４で表される。
式４： Ｐ_Ｔ（ｎ）ｐ＝ｐ＋ｎＳｃ（ｎｐ）

座標点あるいは方向ベクトルｐ_１が四元数ｑで表される原点中心の回転操作により座標点あるいは方向ベクトルｐ_２に変換されたとすると、方向ベクトルｐ_２は式５で計算できる。
式５： ｐ_２＝ｑｐ_１ｑ*

単位ベクトルｎ_１を単位ベクトルｎ_２に重ねるように、単位ベクトルｎ_１と単位ベクトルｎ_２とを含む平面に垂直な軸回りに回転させる正規化四元数Ｒ（ｎ_１，ｎ_２）は、下記の式６となる。
式６： Ｒ（ｎ_１，ｎ_２）＝［１－ｎ_２ｎ_１］

［座標変換（２）］
図１０は、座標系の変換についての説明図を示す。図１０の（Ａ）は、図５と同様に、世界座標系ＷＡと世界座標系ＷＢとの間で、実空間内の同じ位置２１（表示対象位置ＬＧ）に関する表現と、座標原点（Ｏ_Ａ，Ｏ_Ｂ）の差の表現とを示す。位置２１の表現として、位置ベクトルＧ_Ａ、位置座標値ｒ_Ａ、位置ベクトルＧ_Ｂおよび位置座標値ｒ_Ｂを有する。座標原点の差の表現として、原点間ベクトルｏ_ＢＡ，ｏ_ＡＢを有する。原点間ベクトルｏ_ＢＡは、世界座標系ＷＡでの原点Ｏ_Ｂの表現である。原点間ベクトルｏ_ＡＢは、世界座標系ＷＢでの原点Ｏ_Ａの表現である。

前述の諸量（図５）に基づいて、実空間内での異なる２つの特定方向（特定方向ベクトルと端末間ベクトル）についての各世界座標系ＷＡ，ＷＢでの表現（Ｎ_Ａ，Ｎ_Ｂ，Ｐ_ＢＡ，Ｐ_ＡＢ）が得られる。そうすれば、それらの表現を一致させるような座標系間の回転操作を、前述の正規化四元数を用いた演算によって求めることができる。よって、それらの情報と、各座標原点の情報とを合わせることで、座標系間での位置座標の変換が可能となる。

世界座標系ＷＡ，ＷＢの関係は、以下のように計算できる。以下では、端末１Ｂの世界座標系ＷＢでの座標値およびベクトル値の表現を、端末１Ａの世界座標系ＷＡでの表現に変換する場合における、回転と座標原点の差を求める計算について説明する。

図１０の（Ｂ）は、世界座標系ＷＡと世界座標系ＷＢとの間で方向を合わせる回転の操作について示し、例えば世界座標系ＷＢの各軸（Ｘ_Ｂ，Ｙ_Ｂ，Ｚ_Ｂ）の方向を世界座標系ＷＡの各軸（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）の方向に合わせる回転１００１（回転ｑ_ＡＢ）のイメージを簡易的に示す。

まず、世界座標系ＷＡの方向と世界座標系ＷＢの方向とを合わせるための回転を求める。前述の端末間ベクトルＰ_ＢＡ，Ｐ_ＡＢに基づいて、端末間の単位方向ベクトルｍ_Ａ，ｍ_Ｂを、下記のように定義する。単位方向ベクトルｍ_Ａ，ｍ_Ｂは、実空間で端末１Ａから端末１Ｂに向かう方向の単位ベクトルについての世界座標系ＷＡでの表現および世界座標系ＷＢでの表現である。
ｍ_Ａ＝［Ｐ_ＢＡ］
ｍ_Ｂ＝［-Ｐ_ＡＢ］

最初に、世界座標系ＷＡの表現における回転において、特定方向の単位ベクトルｎ_Ａを単位ベクトルｎ_Ｂに重ねる回転ｑ_Ｔ１を考える。回転ｑ_Ｔ１は、具体的には下記となる。
ｑ_Ｔ１＝Ｒ（ｎ_Ａ，ｎ_Ｂ）

次に、この回転ｑ_Ｔ１によって特定方向の単位ベクトルｎ_Ａ，ｍ_Ａが回転された方向を、ｎ_Ａ１，ｍ_Ａ１とする。
ｎ_Ａ１＝ｑ_Ｔ１ｎ_Ａｑ_Ｔ１*＝ｎ_Ｂ
ｍ_Ａ１＝ｑ_Ｔ１ｍ_Ａｑ_Ｔ１*

実空間において同じ方向間の角度であるから、方向ｎ_Ａ１と方向ｍ_Ａ１との成す角度は、単位ベクトルｎ_Ｂと単位方向ベクトルｍ_Ｂとの成す角度に等しい。また、前提として２つの特定方向は異なる方向としているので、単位ベクトルｎ_Ｂと単位方向ベクトルｍ_Ｂとの成す角度は０ではない。従って、方向ｎ_Ａ１すなわち単位ベクトルｎ_Ｂを軸とし、方向ｍ_Ａ１を単位方向ベクトルｍ_Ｂに重ねる回転ｑ_Ｔ２を構成できる。具体的に、回転ｑ_Ｔ２は下記で与えられる。
ｑ_Ｔ２＝Ｒ（［Ｐ_Ｔ（ｎ_Ｂ）ｍ_Ａ１］，［Ｐ_Ｔ（ｎ_Ｂ）ｍ_Ｂ］）

方向ｎ_Ａ１は回転ｑ_Ｔ２の回転軸方向ｎ_Ｂと同一方向であるので、この回転ｑ_Ｔ２により不変である。また、方向ｍ_Ａ１は、この回転ｑ_Ｔ２により単位方向ベクトルｍ_Ｂに回転される。
ｎ_Ｂ＝ｑ_Ｔ２ｎ_Ａ１ｑ_Ｔ２*
ｍ_Ｂ＝ｑ_Ｔ２ｍ_Ａ１ｑ_Ｔ２*

あらためて、回転ｑ_ＢＡを下記で定義する。
ｑ_ＢＡ＝ｑ_Ｔ２ｑ_Ｔ１

この回転ｑ_ＢＡにより、単位ベクトルｎ_Ａと単位方向ベクトルｍ_Ａは、単位ベクトルｎ_Ｂと単位方向ベクトルｍ_Ｂに回転される。
ｎ_Ｂ＝ｑ_ＢＡｎ_Ａｑ_ＢＡ*
ｍ_Ｂ＝ｑ_ＢＡｍ_Ａｑ_ＢＡ

単位ベクトルｎ_Ａと単位方向ベクトルｍ_Ａは異なる２つの方向として選ばれているので、この回転ｑ_ＢＡが、世界座標系ＷＡでの方向表現を世界座標系ＷＢでの方向表現に変換する回転である。逆に、世界座標系ＷＢでの方向表現を世界座標系ＷＡでの方向表現に変換する回転を回転ｑ_ＡＢとすると、回転ｑ_ＡＢは同様に以下となる。
ｑ_ＡＢ=ｑ_ＢＡ*

次に、座標値ｄ_Ａ，ｄ_Ｂ（図５）の変換式を求める。ここでの座標値ｄ_Ａ，ｄ_Ｂは、式３により定義される座標値の四元数表現である。まず、一方の座標系から見て他方の座標系の原点の座標値を求める。図１０の（Ａ）のように、世界座標系ＷＡにおける世界座標系ＷＢの原点Ｏ_Ｂの座標値の表現がｏ_ＢＡ、世界座標系ＷＢにおける世界座標系ＷＡの原点Ｏ_Ａの座標値の表現がｏ_ＡＢである。各座標系における端末１の位置の座標値ｄ_Ａ，ｄ_Ｂは分かっているので、原点座標値表現（ｏ_ＢＡ，ｏ_ＡＢ）は、下記の式Ａのように求まる。
式Ａ：
ｏ_ＢＡ＝ｄ_Ａ＋Ｐ_ＢＡ－ｑ_ＡＢｄ_Ｂｑ_ＡＢ*
ｏ_ＡＢ＝ｄ_Ｂ＋Ｐ_ＡＢ－ｑ_ＢＡｄ_Ａｑ_ＢＡ*

また、容易に分かるように、下記の関係がある。
ｏ_ＡＢ＝－ｑ_ＢＡｏ_ＢＡｑ_ＢＡ*

最後に、実空間内の任意の点（位置２１）の世界座標系ＷＡでの座標値ｒ_Ａと、世界座標系ＷＢでの座標値ｒ_Ｂとの変換式は、以下のように与えられる。
ｒ_Ｂ＝ｑ_ＢＡ（ｒ_Ａ－ｏ_ＢＡ）ｑ_ＢＡ*＝ｑ_ＢＡｒ_Ａｑ_ＢＡ*＋ｏ_ＡＢ
ｒ_Ａ＝ｑ_ＡＢ（ｒ_Ｂ－ｏ_ＡＢ）ｑ_ＡＢ*＝ｑ_ＡＢｒ_Ｂｑ_ＡＢ*＋ｏ_ＢＡ

上記のように、例えば端末１Ａの世界座標系ＷＡで見た特定の位置２１（座標値ｒ_Ａ）を、端末１Ｂから見た場合の位置２１（座標値ｒ_Ｂ）に変換したい場合、回転ｑ_ＢＡ、座標値ｒ_Ａ、および原点表現ｏ_ＡＢを用いて計算できる。逆の変換も同様に計算できる。前述の図６の変換パラメータＴＡ，ＴＢは、上記座標系の変換の説明で登場したパラメータ（回転および原点表現）で構成することができる。なお、容易に変換できるので、ｑ_ＡＢの代わりにｑ_ＢＡを保持してもよく、ｏ_ＢＡの代わりにｏ_ＡＢを保持してもよく、その逆でもよい。

［応用例（１）］
位置認識共有による位置指定および画像表示の応用例として、以下も可能である。図１１は、位置認識共有状態の端末１間で、実空間内の位置または対応する実物を指し示すためのポインティングオブジェクトのような仮想物体の画像を表示する応用例を示す。（Ａ）は第１例、（Ｂ）は第２例を示す。（Ａ）で、例えばユーザＡの端末１Ａは、他のユーザＢの端末１Ｂとの間で、座標系ペアリング後の位置認識共有状態である。例えば、ユーザＡは、視界内の任意の指し示したい位置、例えば作業対象物１１００のうちの位置ＬＧ１を指定する。指定は、端末１Ａに対する所定の入力操作（例えば操作器３の操作）によって可能である。ユーザＡの指定の操作に応じて、端末１Ａは、表示面５における位置ＬＧ１に、ポインティングオブジェクト画像１１０１を表示する。また、端末１Ａは、端末１Ｂに、指定の位置ＬＧ１等の情報を送信する。端末１Ｂは、端末１Ａからの情報に基づいて、端末１Ｂから見た同じ位置ＬＧ１に、同様のポインティングオブジェクト画像１１０１を表示する。本例のポインティングオブジェクト画像１１０１は、数字付きの点の画像であるが、これに限らず各種の画像を適用できる。同様に、ユーザＡまたはユーザＢは、他の任意の指定した位置ＬＧ２に、ポインティングオブジェクト画像１１０２を表示させることができる。このように、ユーザＡとユーザＢは、作業対象物１１００が複雑な形状を持つ場合や手で触れない物体である場合等にも、ポインティングオブジェクトを介して同じ位置を共有して認識し、効率的な作業等が可能である。

（Ｂ）で、例えばユーザＡの端末１Ａは、建物内の天井の近くの壁面の位置ＬＧ３を指定している。端末１Ａは、その位置ＬＧ３にポインティングオブジェクト画像１１０３を表示する。また、ユーザＢの端末１Ｂは、同じ位置ＬＧ３にポインティングオブジェクト画像１１０３を表示する。本例のポインティングオブジェクト画像１１０３は×印の画像である。このように、ユーザから手が届かない位置の場合でも、ユーザ間でポインティングオブジェクトを介して同じ位置を共有して認識できる。

［応用例（２）］
この位置認識共有システムは、指定の位置に画像を表示することは必須ではなく、単に端末１間で位置を伝達するのみの利用も可能である。相手の端末１から位置を伝えられた側の端末１は、その位置の情報を用いて任意の応用が可能である。

図１２は、位置の伝達の応用例を示す。（Ａ）は第１例、（Ｂ）は第２例を示す。（Ａ）で、例えばユーザＡの端末１Ａは、他のユーザＢとの座標系ペアリング後、実空間内で、自分の付近の任意の領域１２０１を指定する操作を行う。この領域１２０１は、位置の集まりによる２次元または３次元の領域、本例では端末１Ａの位置１２０２を中心とした３次元の立方体の領域である。端末１Ａは、この領域１２０１の情報を、ユーザＢの端末１Ｂに伝達する。この領域１２０１は、例えばユーザＡが自分の身体およびＨＭＤの動く範囲を一時的に確保するための領域である。端末１Ｂは、この領域１２０１の情報に応じて、その領域１２０１内にユーザＢおよび端末１Ｂが入らないように、ユーザＢに対する注意等を表示や音声で出力する。端末１Ａや端末１Ｂの表示面５には、領域１２０１を表す線の画像が表示されてもよい。ユーザＢは、その領域１２０１に入らないように気をつける。これにより、ユーザ同士の身体接触等が防止でき、ユーザＡは、その領域１２０１内での作業等がしやすくなる。領域１２０１は、例えば中心の位置１２０２と幅等で規定してもよいし、領域１２０１を構成する頂点の位置で規定してもよいし、予め設定されたサイズや形状から選択できるようにしてもよい。

（Ｂ）で、例えばユーザＡの端末１Ａは、自分の前方に、領域１２０３を指定する操作を行い、端末１Ａはその領域１２０３の情報をユーザＢの端末１Ｂに伝達する。この領域１２０３は、端末１Ａの位置を含まず、例えばユーザＡの端末１Ａが仮想物体の画像を表示させたい範囲を一時的に確保するための領域である。例えばユーザＡの端末１Ａがこの領域１２０３内に共有画像を優先的に表示できる権限が設定される。端末１Ａは、その領域１２０３内の指定の位置１２０４に、共有の画像１２０５を表示する。端末１Ｂは、同様に、その位置１２０４に画像１２０５を表示する。端末１Ｂ側は、その領域１２０３内に、端末１Ａ側が表示する画像１２０５以外の共有画像を表示しないように制限される。また、必要に応じて、ユーザ間で上記権限を移動させてもよい。これにより、領域１２０３内には、権限を持つ側のユーザが指定した共有画像が優先的に表示され、各ユーザによる複数の共有画像が混在しないようにでき、共有画像を見やすくすることができる。

［効果等］
上記のように、実施の形態１の情報端末装置によれば、実空間内にアンカーやマーク等となる適当な実物が無い場合でも、端末間での座標系の関係の計算、言い換えると座標系の共有のための変換等に基づいて、端末間での位置認識共有が実現できる。各ユーザは、少ない手間で位置認識共有ができ、ユーザ間での効率的な作業等が可能である。

実施の形態１の変形例として、諸量における特定方向を、図５の鉛直下方向（または重力加速度方向）に限らず、地磁気方向（例えば北方向）としてもよい。地磁気方向は、図３の地磁気センサ４３によって測定可能である。

［変形例］
前述の各端末１による図５の端末間ベクトル（Ｐ_ＢＡ，Ｐ_ＡＢ）の測定の際（図８のステップＳ３Ａ，Ｓ３Ｂ）に、精度の確保のためには、両端末１の測定タイミングをほぼ同時とし、各端末１の位置を一定、静止状態とする必要がある。実施の形態１では、端末１の位置変化が無視できるほど小さい時間差での測定を前提としていた。実施の形態１の変形例では、ペアとなる各端末１の測定タイミングのずれを許容し、そのずれを補正して高精度を実現する方法を示す。

図１３は、実施の形態１の変形例における、座標系ペアリング時の諸量の測定について示す。上側の（Ａ）は、端末１Ａの諸量の測定タイミング、下側の（Ｂ）は、端末１Ｂの諸量の測定タイミングを示す。横軸が時間であり、期間１３０１は端末１Ａの測定期間、期間１３０２は端末１Ｂの測定期間、期間１３０３は端末１Ａの測定期間と端末１Ｂの測定期間とが重なる期間を示す。時点ｔ１１，ｔ２１等は測定回を示す。

変形例では、座標系ペアリング中、各端末１は、諸量（例えば端末間ベクトル）について、期間中に複数回の測定を行う。そして、各端末１は、端末１間で測定値を補完することにより、同一タイミングでの諸量の推定値を求めて使用する。

まず、両端末１での内部時計の時刻差がある場合には、前述の通信確立時（ステップＳ１Ａ，Ｓ１Ｂ）に補正する。ペアとなる各端末１（１Ａ，１Ｂ）は、ある程度タイミングを合わせながら、期間中に諸量の測定を複数回行う。各端末１での測定の期間および時刻は、重なる期間１３０３を持てば、一致しなくてもよい。本例では、端末１Ａは期間１３０１で時点ｔ１１からｔ１ＮまでＮ回測定を行っている。端末１Ｂは、より遅れた期間１３０２で時点ｔ２１からｔ２ＮまでＮ回測定を行っている。

ここで、端末１Ａにおける測定時刻ｔ_Ａｎでの測定対象の量をＤ_Ａ（ｔ_Ａｎ）とし、端末１Ｂにおける測定時刻ｔ_Ｂｎでの測定対象の量をＤ_Ｂ（ｔ_Ｂｎ）とする。重なる期間１３０３でのある時刻をｔ０とした場合に、その前後の測定時刻の測定値から、時刻ｔ０での値を内挿によって推定する。前後の測定時刻をｔ_Ａｎ，ｔ_{Ａ（ｎ＋１）}，ｔ_Ｂｎ´，ｔ_{Ｂ（ｎ´＋１）}とし、ｔ_Ａｎ≦ｔ０＜ｔ_{Ａ（ｎ＋１）}，ｔ_Ｂｎ´≦ｔ０＜ｔ_{Ｂ（ｎ´＋１）}とする。この場合に、例えば下記の式によって推定値を求める。
Ｄ_Ａ（ｔ_０）＝｛（ｔ_{Ａ（ｎ＋１）}－ｔ０）Ｄ_Ａ（ｔ_Ａｎ）＋（ｔ０－ｔ_Ａｎ）Ｄ_Ａ（ｔ_{Ａ（ｎ＋１）}）｝／（ｔ_{Ａ（ｎ＋１）}－ｔ_Ａｎ）
Ｄ_Ｂ（ｔ_０）＝｛（ｔＢ_{（ｎ´＋１）}－ｔ０）Ｄ_Ｂ（ｔ_Ｂｎ）＋（ｔ０－ｔ_Ｂｎ´）Ｄ_Ａ（ｔ_{Ｂ（ｎ´＋１）}）｝／（ｔ_{Ｂ（ｎ´＋１）}－ｔ_Ｂｎ´）

なお、推定方法は、上記例に限定されず、他の方法、例えば多くの測定値を使用した高次式を用いても構わない。

（実施の形態２）
図１４を用いて、本発明の実施の形態２の情報端末装置について説明する。以下、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態１では、各端末１に既に設定されている世界座標系を用いて、端末１間で座標系の共有を行う場合、および世界座標系の原点と端末１の位置とが異なる一般的な場合について示した。また、実施の形態１では、諸量の１つとして、各世界座標系での端末１の位置の座標値を用いる場合を示した。実施の形態２では、端末１間での座標系ペアリングの際に、それぞれの世界座標系をリセットし、各端末１の位置を中心（原点）とする座標系を、位置認識共有のための座標系として設定する。この新たに設定する座標系を、説明上、ポータル座標系と呼ぶことにする。実施の形態２では、このポータル座標系を用いて位置認識共有を行う。

図１４は、実施の形態２での位置認識共有の例を示す。（Ａ）はＨＭＤの場合、（Ｂ）は同様にスマートフォンの場合である。端末１Ａと端末１Ｂとの座標系ペアリングの際に、各端末１（１Ａ，１Ｂ）は、自分の位置（ＬＡ，ＬＢ）を座標原点とするポータル座標系を設定する。実施の形態２では、図８の制御フローで、例えばステップＳ２Ａ，Ｓ２Ｂの座標系ペアリングの要求および応答の処理後に、世界座標系のリセットによってポータル座標系を設定するステップを有する。

例えば、端末１Ａはポータル座標系ＣＡを設定し、端末１Ｂはポータル座標系ＣＢを設定する。ポータル座標系ＣＡは、端末１Ａの世界座標系ＷＡの原点Ｏ_Ａを、その時の位置ＬＡ（座標値ｄ_Ａ）に合わせるようにして設定されている。すなわち、ポータル座標系ＣＡは、原点Ｏ_Ａと各軸（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）を持つ。端末１Ａの位置ＬＡは、ポータル座標系ＣＡの原点Ｏ_Ａと同じであり、座標値ｄ_Ａは（０，０，０）となる。ポータル座標系ＣＡの各軸（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）の方向は、例えば軸Ｚ_Ａが鉛直上方向とされ、軸Ｘ_Ａは端末１の正面方向に合わせた方向として設定される。端末１Ｂのポータル座標系ＣＢも同様に設定される。

実施の形態２では、世界座標系のリセットによって端末１の位置が原点になるため、座標系ペアリングの際の諸量としては、（１）特定方向ベクトル、（２）端末間ベクトルの２つの要素でよい。あるいは、座標値ｄ_Ａ，ｄ_Ｂを０として授受しても同じである。

実施の形態１では、前述の原点座標値表現を求める式Ａにおいて、項ｑ_ＢＡｄ_Ａｑ_ＢＡ*があるため、座標値ｄ_Ａが大きい場合には、回転ｑ_ＢＡの誤差が大きな影響を与える。これに対し、実施の形態２では、リセットによって座標値ｄ_Ａが０となるので、そのような回転ｑ_ＢＡの誤差の影響を防ぐことができる。

さらに、ポータル座標系の設定に際しては、上記のように端末１の中心位置に原点を一致させる構成に限らず可能であり、座標値ｄ_Ａ，ｄ_Ｂの値が十分に小さい構成であればよい。例えば、端末１の中心位置の近傍、例えばユーザの頭部の中心位置、あるいは頭部の前方の位置等に、ポータル座標系の原点を配置する構成としてもよい。座標値ｄ_Ａ，ｄ_Ｂが十分に小さい場合、回転ｑ_ＢＡの誤差の影響を低減できる。

新たにポータル座標系を設定するタイミングについて、より詳しくは、自分の端末１から相手の端末１への端末間ベクトルを測定するタイミングに合わせるとよい。端末１は、その測定時点の自分の端末１の中心位置を原点としてポータル座標系を設定する。

また、座標系ペアリングを終了して位置認識共有を終了する場合、各端末１は、ポータル座標系の設定を解除し、元の座標系ペアリング前の世界座標系の設定に戻すようにしてもよい。

また、実施の形態２によれば、効果の１つとして、過去に設定されている世界座標系にセンサのドリフトに基づいた誤差を有する場合でも、リセットによってその誤差を解消できる。

（実施の形態３）
図１５を用いて、本発明の実施の形態３の情報端末装置について説明する。実施の形態１では、特定方向として１つの方向（鉛直下方向）を使用したが、実施の形態２では、２つの特定方向を用いる。この異なる２つの特定方向の方向ベクトルを使用して、座標系ペアリングの端末間で各座標系の方向を合わせることができる。実施の形態３では、例えば、第１特定方向を鉛直下方向とし、第２特定方向として地磁気の北方向を用いる。地磁気の北方向は図３の地磁気センサ４３で測定できる。地磁気の方向が鉛直方向になることは極めて特殊な状況であるため、実際的には地磁気の北方向は鉛直方向とは異なると考えてよい。ただし、地磁気の方向は、構造物等の影響を受ける場合があるので、座標系ペアリングの都度測定することが望ましい。構造物等の影響が十分小さいと分かっている場合には、予め測定済みで保持している地磁気の方向の設定値を用いてもよい。

図１５は、実施の形態３における座標系の共有を示す。端末１（１Ａ，１Ｂ）における地磁気の北方向の単位方向ベクトルをＭ_Ａ，Ｍ_Ｂで示す。実施の形態３では、端末１（１Ａ，１Ｂ）の地磁気の北方向の単位方向ベクトルＭ_Ａ，Ｍ_Ｂを、前述の端末間ベクトルＰ_ＢＡ，Ｐ_ＡＢ方向の単位ベクトルの各座標系での表現であるｍ_Ａ，ｍ_Ｂの代わりに用いる。これにより、実施の形態１と同じ方式で、各世界座標系ＷＡ，ＷＢの向きを合わせる回転ｑ_Ｔを計算できる。

座標原点の差を求めるためには、各端末１の各座標系における座標値ｄ_Ａ，ｄ_Ｂと、少なくとも一方の端末１から他方の端末１への端末間ベクトルと、が必要である。ここでは、端末１Ａからみた端末１Ｂへの端末間ベクトルＰ_ＢＡを使用する。端末間ベクトルＰ_ＢＡが分かれば、端末間ベクトルＰ_ＡＢは下記で計算できる。
Ｐ_ＡＢ＝－ｑ_ＢＡＰ_ＢＡｑ_ＢＡ*

これにより、実施の形態１と同様に、他方の端末１の世界座標系の原点についての自分の端末１の世界座標系での座標値の表現（ｏ_ＢＡ，ｏ_ＡＢ）も求めることができ、前述の座標変換式が得られる。

実施の形態３の場合、端末間ベクトルの測定を一方の端末１、例えば座標系ペアリング要求を出す方の端末１だけで行えばよい利点がある。

［変形例］
図１６は、実施の形態１～３に関する変形例における座標系ペアリングの構成例を示す。この変形例は、３台以上の端末１がある場合に、それらが同時に座標系ペアリングの動作を行う。本例では、対象として３台の端末１Ａ，１Ｂ，１Ｃがあり、それらの３台が同時に座標系ペアリングを行う。この構成例は、ユーザＣの端末１Ｃが追加されている。端末１Ｃは、世界座標系ＷＣを有し、位置ＬＣ（座標値ｄ_Ｃ）を有する。座標系の図示は省略する。本例では、３台のうち１台の端末１、例えば端末１Ａを主端末とし、端末１Ｂ，１Ｃを従端末とし、図８の制御フローに基づいて、３台の端末１がタイミングを合わせながら、同時に座標系ペアリング処理を行う。

この処理の際、端末１Ｂは、自分の位置ＬＢと端末１Ａの位置ＬＡとの位置関係１６０１を測定し、端末間ベクトルＰ_ＡＢ等を得る。端末１Ｃは、自分の位置ＬＣと端末１Ａの位置ＬＡとの位置関係１６０２を測定し、端末間ベクトルＰ_ＡＣ等を得る。これにより、端末１Ａと端末１Ｂとの間の座標変換の式（第１変換パラメータＴＡＢとする）と、端末１Ａと端末１Ｃとの間の座標変換の式（第２変換パラメータＴＡＣとする）とを、ほぼ同時に求めることができる。そして、端末１Ｂと端末１Ｃとの間の位置関係１６０３に関する座標変換の式（第３変換パラメータＴＢＣとする）は、第１変換パラメータＴＡＢと第２変換パラメータＴＡＣとから求めることができる。

（実施の形態４）
図１７を用いて、本発明の実施の形態４の情報端末装置について説明する。実施の形態４では、位置認識共有の対象となる端末１が３台以上ある場合の取り扱い等について示す。実施の形態１等で示した２台の端末１間の座標系ペアリングを基本として、３台以上の端末１によるグループの場合でも位置認識共有を実現する。

図１７は、実空間内での複数のユーザの複数の端末１の例として、ユーザＡ，Ｂ，Ｃ，Ｄに対応付けられる端末１Ａ，１Ｂ，１Ｃ，１Ｄがある場合を示す。各端末１の座標系を、世界座標系ＷＡ，ＷＢ，ＷＣ，ＷＤとし、各原点を原点Ｏ_Ａ，Ｏ_Ｂ，Ｏ_Ｃ，Ｏ_Ｄとする。これらのユーザの端末１を１つのグループとして位置認識共有を行う場合を説明する。例えば端末１Ｃが自端末（第１端末）であるとする。まず、前述と同様に、例えば端末１Ａ（第２端末）と端末１Ｂ（第３端末）との座標系ペアリング１７０１が確立される。この状態から、次に、端末１Ｂ（第３端末）と端末１Ｃ（第１端末）との座標系ペアリング１７０２が行われる。これにより、間接的に、端末１Ａ（第２端末）と端末１Ｃ（第１端末）との座標系ペアリング１７０３ができる。このことを以下に説明する。

まず、座標系ペアリング１７０１により、端末１Ｂは、変換パラメータ１７２１として、回転ｑ_ＢＡと原点表現ｏ_ＡＢとを得て保持する。回転ｑ_ＢＡは、世界座標系ＷＡを基準とした方向表現を、世界座標系ＷＢを基準とした方向表現にする回転である。原点表現ｏ_ＡＢは、世界座標系ＷＡの原点Ｏ_Ａについての世界座標系ＷＢでの座標値である。逆に、端末１Ａは、変換パラメータ１７１１として、回転ｑ_ＡＢと原点表現ｏ_ＢＡとを得て保持する。

次に、端末１Ｂと端末１Ｃとの座標系ペアリング１７０２が行われる。これにより、端末１Ｃは、変換パラメータ１７３１として、回転ｑ_ＣＢと原点表現ｏ_ＢＣとを得て保持する。回転ｑ_ＣＢは、世界座標系ＷＢを基準とした方向表現を、世界座標系ＷＣを基準とした方向表現にする回転である。原点表現ｏ_ＢＣは、世界座標系ＷＢの原点Ｏ_Ｂについての世界座標系ＷＣでの座標値である。逆に、端末１Ｂは、変換パラメータ１７２２として、回転ｑ_ＢＣと原点表現ｏ_ＣＢとを得て保持する。

ここで、端末１Ｃは、端末１Ｂから、変換パラメータ１７２１の回転ｑ_ＢＡと原点表現ｏ_ＡＢの情報をもらう。端末１Ｃは、その情報を変換パラメータ１７３２として保持する。これにより、端末１Ｃは、変換パラメータ１７３１（ｑ_ＣＢ，ｏ_ＢＣ）および変換パラメータ１７３２（ｑ_ＢＡ，ｏ_ＡＢ）を用いて、端末１Ａとの間の間接的な座標系ペアリング１７０３に関して、回転ｑ_ＣＡと原点表現ｏ_ＡＣを、下記のように計算できる。回転ｑ_ＣＡは、世界座標系ＷＡを基準とした方向表現を、世界座標系ＷＣを基準とした方向表現にする回転である。原点表現ｏ_ＡＣは、世界座標系ＷＡの原点Ｏ_Ａについての世界座標系ＷＣでの座標値である。
ｑ_ＣＡ＝ｑ_ＣＢｑ_ＢＡ
ｏ_ＡＣ＝ｏ_ＢＣ＋ｑ_ＣＢｏ_ＡＢｑ_ＣＢ*

端末１Ｃは、得られた情報（ｑ_ＣＡ，ｏ_ＡＣ）を変換パラメータ１７３３として保持する。端末１Ｃは、この変換パラメータ１７３３を用いて、下記のように、端末１Ａの世界座標系ＷＡでの位置２１の表現ｒ_Ａを、端末１Ｃの世界座標系ＷＣでの表現ｒ_Ｃに変換することができる。
ｒ_Ｃ＝ｑ_ＣＡ（ｒ_Ａ－ｏ_ＣＡ）ｑ_ＣＡ*＝ｑ_ＣＡｒ_Ａｑ_ＣＡ*＋ｏ_ＡＣ

また、端末１Ｃは、上記変換パラメータ１７３３（ｑ_ＣＡ，ｏ_ＡＣ）の情報を、端末１Ａに送信する。端末１Ａは、その情報を、変換パラメータ１７１２（ｑ_ＣＡ，ｏ_ＡＣ）として保持する。そうすれば、一般に下記の関係があることから、端末１Ａにおいても、世界座標系ＷＡと世界座標系ＷＣとの座標変換ができるようになる。すなわち、端末１Ａは、逆の変換に関する変換パラメータ１７１３（ｑ_ＡＣ，ｏ_ＣＡ）を保持する。また、下記関係があるので、各端末において、ｑ_ＩＪかｑ_ＪＩのどちらか一方を保持し、ｏ_ＪＩとｏ_ＩＪのどちらか一方を保持することでもよい。
ｑ_ＩＪ＝ｑ_ＪＩ*
ｏ_ＪＩ＝－ｑ_ＩＪｏ_ＩＪｑ_ＩＪ*

図１８は、上記グループにおける座標系共有状態における、端末１Ａが保持する変換パラメータテーブル１８０１、端末１Ｂが保持する変換パラメータテーブル１８０２、端末１Ｃが保持する変換パラメータテーブル１８０３を示す。端末１Ａは、グループの各端末１（１Ｂ，１Ｃ，１Ｄ）を相手端末として情報を交換しながら、それぞれのペア間の変換パラメータを保持する。具体的には、端末１Ａの変換パラメータテーブル１８０１は、端末１Ｂとの変換パラメータとして回転ｑ_ＡＢおよび原点表現ｏ_ＢＡを有し、端末１Ｃとの変換パラメータとして回転ｑ_ＡＣおよび原点表現ｏ_ＣＡを有し、端末１Ｄとの変換パラメータとして回転ｑ_ＡＤおよび原点表現ｏ_ＤＡを有する。同様に、端末１Ｂの変換パラメータテーブル１８０２は、端末１Ａとの変換パラメータとして回転ｑ_ＢＡおよび原点表現ｏ_ＡＢを有し、端末１Ｃとの変換パラメータとして回転ｑ_ＢＣおよび原点表現ｏ_ＣＢを有し、端末１Ｄとの変換パラメータとして回転ｑ_ＢＤおよび原点表現ｏ_ＤＢを有する。端末１Ｃの変換パラメータテーブル１８０３は、端末１Ａとの変換パラメータとして回転ｑ_ＣＡおよび原点表現ｏ_ＡＣを有し、端末１Ｂとの変換パラメータとして回転ｑ_ＣＢおよび原点表現ｏ_ＢＣを有し、端末１Ｄとの変換パラメータとして回転ｑ_ＣＤおよび原点表現ｏ_ＤＣを有する。端末１Ｄについても同様である。

上記のように、端末１Ａと端末１Ｃとの間では、直接的な座標系ペアリングの処理が無くても、間接的な座標系ペアリング１７０３として座標系の共有ができる。同様に、ユーザＤの端末１Ｄについても、グループのうちの１つの端末１（例えば端末１Ｃ）に対する同様の手続き（例えば座標系ペアリング１７０４等）を行うことで、グループでの座標系の共有が可能である。上記のように、実施の形態４では、複数の端末１がある場合に、任意の２台の端末１ずつ順次に座標系ペアリングを行うことで、グループでの位置認識共有が可能である。グループ内の各端末１は、いずれの相手の端末１との間でも位置の伝達が可能である。

上記のように、実施の形態４では、ある端末１（例えば端末１Ｃ）は、位置認識共有のグループのうちの１つの端末１（例えば端末１Ｂ）と座標系ペアリングを行い、グループの各端末１との間での変換パラメータを共有する。この新たに参加する端末１は、グループの全端末１の各端末１との直接的な座標系ペアリングを行う必要は無く、効率的に共有のグループに参加でき、ユーザの手間も少ない。

［変形例（１）］
実施の形態４の変形例として、グループの各端末１の座標系としては、実施の形態２と同様に、世界座標系のリセットによるポータル座標系の適用が可能である。例えば、あるグループに新たに参加する端末１（例えば端末１Ｃ）が、グループのある端末１との間で座標系ペアリングを行う際に、ポータル座標系を設定してもよい。これにより、その端末１に関して、前述の回転の誤差の影響を低減できる効果が期待できる。

位置認識共有を行う場面では、用途にも依るが、ユーザは座標系ペアリングを行った地点から大きくは移動しない。よって、グループへの参加時に世界座標系のリセットを行う場合、それ以後に端末１の位置座標の変化はあまり大きくはならない。その状態で、新たな端末１との座標系ペアリングが行われたとしても、上記回転の誤差の影響は大きくはならないと期待できる。

［変形例（２）］
実施の形態４では、図１８のように、グループ内の端末１（例えば端末１Ａ）は、グループ内の各端末１との変換パラメータを保持した。変換パラメータの保持に関する方式は、これに限らず可能である。実施の形態４の変形例では、グループにおいて代表的な端末１（代表端末と記載する）を設け、他の各端末１は、代表端末との間での座標変換のための変換パラメータを保持する。

図１９は、変形例における変換パラメータの構成例を示す。図１７，図１８と同様のグループ（端末１Ａ～１Ｄ）があるとする。例えば、端末１Ａを代表端末とする。図１９は、端末１Ａが保持する変換パラメータテーブル１９０１、端末１Ｂが保持する変換パラメータテーブル１９０２、および端末１Ｃが保持する変換パラメータテーブル１９０３を示す。このグループでは、代表端末である端末１Ａの世界座標系ＷＡが、画像表示基準となる。また、共有された指定の位置に表示するための画像データは、代表端末の世界座標系ＷＡを基準としてグループ内で共有される。

代表端末の変換パラメータテーブル１９０１は、図１８の変換パラメータテーブル１８０１と同様に、各端末１との変換パラメータ情報を有する。端末１Ｂの変換パラメータテーブル１９０２は、代表端末との変換パラメータとして回転ｑ_ＢＡおよび原点表現ｏ_ＡＢを有する。端末１Ｃの変換パラメータテーブル１９０３は、代表端末との変換パラメータとして回転ｑ_ＣＡおよび原点表現ｏ_ＡＣを有する。既存のグループに対し、新たな端末１（例えば端末１Ｄ）が参加する場合、その端末１Ｄは、例えば代表端末と座標系ペアリングを行う。その端末１Ｄは、同様に、代表端末との変換パラメータ情報を保持すればよい。また、端末１Ｄが既存のグループ内の代表端末以外の端末と座標系ペアリングを行った場合でも、上述の方法と同様に、代表端末との間の変換パラメータを間接的に得ることができる。

グループ内での画像表示例としては、端末１Ｂが、ある位置２１に画像を表示したい場合、その位置２１の表現（位置座標値ｒ_Ｂ）を、変換パラメータテーブル１９０２を用いて、代表端末の世界座標系ＷＡでの位置の表現（位置座標値ｒ_Ａ）に変換し、代表端末に位置や画像の情報を伝達する。あるいは、代表端末が、その位置座標値ｒ_Ｂを、変換パラメータテーブル１９０１を用いて、世界座標系ＷＡでの位置座標値ｒ_Ａに変換してもよい。代表端末は、得た位置や画像の情報を、グループ内の他の端末１Ｃ，１Ｄに送信する。端末１Ｃ，１Ｄは、それぞれ、得た位置や画像の情報に従って、自分の座標系での位置の表現に変換し、その位置に画像を表示する。あるいは、代表端末が、その位置座標値ｒ_Ａを、変換パラメータテーブル１９０１を用いて、各世界座標系ＷＣ，ＷＤでの位置の表現（ｒ_Ｃ，ｒ_Ｄ）に変換し、端末１Ｃ，１Ｄに送信してもよい。

この変形例では、代表端末以外の端末１は、代表端末との間の変換パラメータ情報を保持すればよく、システム全体で変換パラメータ情報の準備や管理が簡単となる。他の変形例としては、代表端末のみが各変換パラメータ情報を保持して各変換を行う形態も可能である。

［変形例（３）］
上記変形例（２）において、グループ内の位置情報の各端末間での授受を、世界座標系ＷＡでの位置座標値ｒ_Ａに基づいて行うようにしてもよい。この場合、代表端末以外の端末は、自端末において、世界座標系ＷＡでの位置表現を自端末の世界座標系の表現に変換する。この変形例においては、代表端末は、各端末間の変換パラメータを保持しなくてもよく、上記変形例（２）と同様に、システム全体でのパラメータの情報の準備や管理が簡単になる。また、位置データの授受を、代表端末を経由させることなく行うこともでき、データの授受が簡単となる。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。

１，１Ａ，１Ｂ…情報端末装置、２１…位置、２２…画像、５０１，５０２…諸量データ，ＷＡ，ＷＢ…世界座標系、ＬＡ，ＬＢ…位置，ＴＡ，ＴＢ…変換パラメータ。

Claims (18)

1. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、
   前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行い、
   前記各座標系間の相対的な向きの関係に関する情報は、各端末に関する実空間内の向きの異なる２つの特定方向に関する情報である特定方向情報を含む、
   情報端末装置。
2. 請求項１記載の情報端末装置において、
   前記特定方向は、鉛直下方向もしくは重力加速度方向、または地磁気方向を含む、
   情報端末装置。
3. 請求項１記載の情報端末装置において、
   前記特定方向情報は、鉛直下方向もしくは重力加速度方向の情報と、地磁気方向の情報とを含む、
   情報端末装置。
4. 請求項１記載の情報端末装置において、
   前記各座標系原点間の相対的位置関係に関する情報は、各端末の位置に関する情報である端末位置情報を含む、
   情報端末装置。
5. 請求項４記載の情報端末装置において、
   前記端末位置情報は、前記第１座標系を基準とした前記第２端末の位置を表す情報と、前記第２座標系を基準とした前記第１端末の位置を表す情報と、を含む、
   情報端末装置。
6. 請求項１記載の情報端末装置において、
   前記データは、前記第１端末の位置から前記第２端末の位置への方向および距離の情報、または、前記第２端末の位置から前記第１端末の位置への方向および距離の情報を含む、
   情報端末装置。
7. 請求項６記載の情報端末装置において、
   測距センサを備え、
   前記測距センサを用いて、前記第１端末の位置から前記第２端末の位置への方向および距離を測定する、
   情報端末装置。
8. 請求項１記載の情報端末装置において、
   前記位置認識の共有に基づいて、前記第１端末から前記第２端末へ前記実空間内の位置を指定する情報を送信する、または、前記第２端末から前記第１端末へ前記実空間内の位置を指定する情報を送信する、
   情報端末装置。
9. 請求項８記載の情報端末装置において、
   前記第１端末および前記第２端末は、前記指定の位置に、指定の画像を表示する、
   情報端末装置。
10. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行い、
    前記第１端末と前記第２端末との間でタイミングを合わせて前記データを測定し、
    前記第１端末の第１データと前記第２端末の第２データとを取得し、前記第１データと前記第２データとを用いて、前記第１座標系と前記第２座標系との間での変換パラメータを生成し、
    前記実空間内の位置に関して、前記変換パラメータを用いて、前記第１座標系での位置座標と、前記第２座標系での位置座標との間での変換を行う、
    情報端末装置。
11. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行い、
    前記位置認識を共有する際に、前記第１端末の座標系をリセットして前記第１端末の位置に新たに前記第１座標系を設定し、前記第２端末の座標系をリセットして前記第２端末の位置に新たに前記第２座標系を設定する、
    情報端末装置。
12. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行い、
    前記位置認識の共有を行うグループを構成する複数の情報端末装置として、前記第１端末と、前記他の情報端末装置である前記第２端末および第３端末と、を有する場合に、
    前記第２端末と前記第３端末との間で前記位置認識の共有を行って、前記第３端末が前記第２端末との間の第１変換に関する第１変換パラメータ情報を取得し、
    前記第１端末と前記第３端末との間で前記位置認識の共有を行って、前記第１端末が前記第３端末との間の第２変換に関する第２変換パラメータ情報を取得し、
    前記第１端末が、前記第３端末から取得した前記第１変換パラメータ情報と、前記第２変換パラメータ情報とを用いて、前記第２端末との間の第３変換のための第３変換パラメータ情報を取得する、
    情報端末装置。
13. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行い、
    前記位置認識の共有を行うグループを構成する複数の情報端末装置として、前記第１端末と、前記他の情報端末装置である前記第２端末および第３端末と、を有する場合に、
    前記第１端末を代表端末とし、前記第１座標系を前記グループでの前記位置認識の共有のための基準とし、
    前記代表端末または前記第２端末は、前記代表端末と前記第２端末との間での第１変換のための第１変換パラメータ情報を取得し、
    前記代表端末または前記第３端末は、前記代表端末と前記第３端末との間での第２変換のための第２変換パラメータ情報を取得する、
    情報端末装置。
14. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置における位置認識共有方法であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行うステップを有し、
    前記各座標系間の相対的な向きの関係に関する情報は、各端末に関する実空間内の向きの異なる２つの特定方向に関する情報である特定方向情報を含む、
    位置認識共有方法。
15. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置における位置認識共有方法であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行うステップ、
    前記第１端末と前記第２端末との間でタイミングを合わせて前記データを測定するステップ、
    前記第１端末の第１データと前記第２端末の第２データとを取得し、前記第１データと前記第２データとを用いて、前記第１座標系と前記第２座標系との間での変換パラメータを生成するステップ、
    前記実空間内の位置に関して、前記変換パラメータを用いて、前記第１座標系での位置座標と、前記第２座標系での位置座標との間での変換を行うステップ、
    を有する、位置認識共有方法。
16. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置における位置認識共有方法であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行うステップ、
    前記位置認識を共有する際に、前記第１端末の座標系をリセットして前記第１端末の位置に新たに前記第１座標系を設定し、前記第２端末の座標系をリセットして前記第２端末の位置に新たに前記第２座標系を設定するステップ、
    を有する、位置認識共有方法。
17. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置における位置認識共有方法であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行うステップ、
    前記位置認識の共有を行うグループを構成する複数の情報端末装置として、前記第１端末と、前記他の情報端末装置である前記第２端末および第３端末と、を有する場合に、
    前記第２端末と前記第３端末との間で前記位置認識の共有を行って、前記第３端末が前記第２端末との間の第１変換に関する第１変換パラメータ情報を取得するステップ、
    前記第１端末と前記第３端末との間で前記位置認識の共有を行って、前記第１端末が前記第３端末との間の第２変換に関する第２変換パラメータ情報を取得するステップ、
    前記第１端末が、前記第３端末から取得した前記第１変換パラメータ情報と、前記第２変換パラメータ情報とを用いて、前記第２端末との間の第３変換のための第３変換パラメータ情報を取得するステップ、
    を有する、位置認識共有方法。
18. ユーザが携帯または装着し、表示面に画像を表示する機能を有する情報端末装置における位置認識共有方法であって、
    前記情報端末装置を第１端末とし、少なくとも１つの他の情報端末装置を第２端末とし、前記第１端末と前記第２端末との間で、実空間内での位置認識の共有を行う場合に、前記第１端末と前記第２端末の各座標系間の相対的な向きの関係に関する情報と、各座標系原点間の相対的位置関係に関する情報とを含むデータを用いて、前記第１端末の第１座標系と前記第２端末の第２座標系との間での変換によって、前記位置認識の共有を行うステップ、
    前記位置認識の共有を行うグループを構成する複数の情報端末装置として、前記第１端末と、前記他の情報端末装置である前記第２端末および第３端末と、を有する場合に、
    前記第１端末を代表端末とし、前記第１座標系を前記グループでの前記位置認識の共有のための基準とし、
    前記代表端末または前記第２端末が、前記代表端末と前記第２端末との間での第１変換のための第１変換パラメータ情報を取得するステップ、
    前記代表端末または前記第３端末が、前記代表端末と前記第３端末との間での第２変換のための第２変換パラメータ情報を取得するステップ、
    を有する、位置認識共有方法。

Images