JP7324843B2 - ヘッドマウント情報処理装置およびその制御方法 - Google Patents

Description

本発明は、ヘッドマウント情報処理装置およびその制御方法に関し、コントローラによってヘッドマウント情報処理装置を制御する技術に関する。

特許文献１には、両手首の回りに着用される各ウェアラブルデバイスにそれぞれカメラを設置し、左手および右手のカメラでそれぞれ右手および左手の画像データを取得することで、両手のジェスチャを認識する方式が示される。また、取得した画像データが手の位置を示さないと判断される際に、各ウェアラブルデバイスに設置された慣性センサを用いてウェアラブルデバイスの位置を決定する方式が示される。

特表２０１７－５１６１８５号公報

ヘッドマウント情報処理装置は、ＨＭＤ（Head Mounted Display）とも呼ばれ、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。このようなヘッドマウント情報処理装置（以降、ＨＭＤと略す場合有り）では、ユーザは、ＨＭＤ附属のコントローラを手に所持した状態で、コントローラを介してＨＭＤの制御を行う場合がある。しかし、この場合、ユーザの手がコントローラによって塞がってしまい、手を自由に使うことが困難になり得る。その結果、ユーザの利便性が低下する恐れがある。

本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置およびその制御方法を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

代表的なヘッドマウント情報処理装置は、ユーザの頭部に装着された状態で使用される本体デバイスと、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。コントローラは、本体デバイスと通信を行う近接通信インタフェースと、コントローラの位置・姿勢を検出する位置・姿勢センサと、を有する。本体デバイスは、コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有する。コントローラまたは本体デバイスは、方向検出部と、回転検出部と、操作命令変換部と、を有する。方向検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部は、方向検出部の検出結果および回転検出部の検出結果を、本体デバイスに対する命令に変換する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドマウント情報処理装置において、ユーザの利便性を向上させることが可能になる。

本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。 （ａ）および（ｂ）は、図１におけるコントローラのそれぞれ異なる外形例を示す概略図である。 図１において、本体デバイスのディスプレイに表示される画像の一例を示す図である。 図１において、ユーザによるコントローラの操作方法の一例を説明する図である。 図１のヘッドマウント情報処理装置の概略構成例を示す回路ブロック図である。 図５のコントローラにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。 図５の本体デバイスにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。 図５のヘッドマウント情報処理装置における概略的な制御方法の一例を示すフロー図である。 図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。 図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。 図７において、コントローラ方向の検出とビーム位置の更新に伴う処理内容の一例を説明する図である。 図６Ｂの本体デバイスに紐付けされるユーザ座標系の一例を示す図である。 図６Ｂの表示制御部によってディスプレイに表示されるポインティングビームの表示態様の一例を示す図である。 図６Ｂの操作命令変換部において、トリガ命令の判別方法の一例を示す図である。 図６Ｂの操作命令変換部において、トリガ命令の判別方法の他の一例を示す図である。 図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。 図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う他の処理内容の一例を説明する図である。 図６Ｂの操作命令変換部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。 図１において、本体デバイスのディスプレイに表示される図３とは異なる画像の一例を示す図である。 本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの操作命令変換部によるトリガ命令の判別方法の一例を示す図である。 図１６Ａに応じた、図６Ｂの表示制御部の処理内容の一例を説明する図である。 本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの本体デバイスの変形例を示すブロック図である。 図１７に応じた、ユーザによるコントローラの操作方法の一例を説明する図である。 図１７の操作命令変換部において、トリガ命令の判別方法の一例を示す図である。 本発明の実施の形態３によるヘッドマウント情報処理装置において、図６Ａおよび図６Ｂの構成例を利用したその他の制御方法の一例を説明する図である。 本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。 図２１のヘッドマウント情報処理装置において、ディスプレイに表示される画像の一例を示す図である。 本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。 本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
《ＨＭＤの概略》
図１は、本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。図２（ａ）および図２（ｂ）は、図１におけるコントローラのそれぞれ異なる外形例を示す概略図である。図１のヘッドマウント情報処理装置（ＨＭＤ）１は、本体デバイス２と、コントローラ３とを備える。本体デバイス２は、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。この際の表示方式として、ＶＲ型（非透過型）またはＭＲ型（透過型）等が知られている。コントローラ３は、ユーザの手首または手に装着された状態（例えば巻いた状態）で使用され、ユーザの操作に応じて本体デバイス２を制御する。

コントローラ３は、例えば、図２（ａ）に示されるように、ＨＭＤ１附属の専用部品であるリストバンド型のコントローラ３ａであっても、図２（ｂ）のコントローラ３ｂに示されるように、汎用的なウォッチ型の携帯情報端末（所謂、スマートウォッチ）等であってもよい。いずれの場合でも、コントローラ３は、少なくとも、コントローラ３の位置・姿勢を検出する位置・姿勢センサ５と、本体デバイス２と通信を行う通信部（図示せず）とを備える。また、図２（ｂ）の場合には、コントローラ３ｂに、本体デバイス２を制御するためのソフトウェアが組み込まれる。

図３は、図１において、本体デバイスのディスプレイに表示される画像の一例を示す図である。図３の画像１０内には、オブジェクトの一つである実行ボタン１１と、ポインティングビーム１２とが含まれる。ユーザは、実行ボタン（オブジェクト）１１を選択したい場合、コントローラ３を用いてポインティングビーム１２の指し位置を実行ボタン１１に合わせ、その状態で所定の操作を行う。

《コントローラ（比較例）の概略》
図２４は、本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。図２４に示すコントローラ１１０は、ユーザが手に所持した状態で使用される。コントローラ１１０は、例えば、２個のボタンスイッチ（ＡおよびＢ）を備える。ユーザは、コントローラ１１０の方向を操作することで、図３に示したポインティングビーム１２の指し位置を操作し、指し位置を実行ボタン１１に合わせた状態でボタンスイッチ（例えばＡ）を押下することで実行ボタン１１を選択する。

しかし、この場合、ユーザの手がコントローラ１１０によって塞がってしまい、手を自由に使うことが困難になり得る。また、コントローラ１１０の必要時／不必要時に応じてコントローラ１１０を持ち替える手間や、あるいは、必要時にコントローラ１１０を探す手間等が生じる場合もある。さらに、本体デバイス２に何らかのコマンド（トリガ命令）を発行したい場合、発行するコマンドの数がボタンスイッチの数（この例では２個）によって制限される。図３のようなアプリケーションの例では、１個のボタンスイッチで足りるが、アプリケーションによって更に多くのボタンスイッチが必要とされる場合がある。以上のようなことから、ユーザの利便性が低下する恐れがある。

《コントローラ（実施の形態１）の概略》
図４は、図１において、ユーザによるコントローラの操作方法の一例を説明する図である。図４に示すように、ユーザは、コントローラ３を手首に装着した状態（例えば巻いた状態）で使用する。ユーザは、図３においてポインティングビーム１２の指し位置を操作する場合、図４の方向操作１６ａに示されるように、腕の方向を変えることでコントローラの方向１５を変える。また、ユーザは、図３において指し位置が指すオブジェクト（実行ボタン）１１を選択する場合、図４の回転操作１６ｂに示されるように、手首の回転によってコントローラ３を回転させる。ここで、コントローラの方向１５は、コントローラ３を回転する際の回転軸の方向と一致する。言い換えれば、コントローラ３の方向１５は、コントローラ３が有するリストバンド形状の軸線方向となる。

コントローラ３は、方向操作１６ａに伴うコントローラ３の方向１５と、回転操作１６ｂに伴うコントローラ３の回転とを位置・姿勢センサ５で検出する。位置・姿勢センサ５は、３軸角速度センサ（ジャイロセンサ）を含む。詳細は後述するが、ＨＭＤ１は、この位置・姿勢センサ５の検出結果を、ポインティングビーム１２の指し位置の移動命令や、またはトリガ命令（コマンド）に適宜変換する。

ポインティングビーム１２の指し位置の制御に際し、コントローラ３の方向１５の角度変化量と、ポインティングビーム１２の方向の角度変化量とは、必ずしも、１対１対応でなくてもよい。例えば、ユーザによる腕の動きを抑えたいような場合、ＨＭＤ１は、初期設定等に基づいて、コントローラ３の方向１５の角度変化量に対してポインティングビーム１２の角度変化量が大きくなるように制御すればよい。一方、ユーザにポインティングビーム１２の指し位置をきめ細かく制御させたいような場合、ＨＭＤ１は、初期設定等に基づいて、コントローラ３の方向１５の角度変化量に対してポインティングビーム１２の角度変化量が小さくなるように制御すればよい。

トリガ命令（コマンド）の制御に際し、ＨＭＤ１は、例えば、ユーザが手首を平常時の位置から一時的に左回転させた場合、その回転操作１６ｂを位置・姿勢センサ５を用いて検出し、左回転用コマンドの１回発生と判別する。これは、図２４のコントローラ１１０において、例えば、ボタンスイッチＡの押下と等価である。同様に、ＨＭＤ１は、手首の一時的な右回転に応じて、右回転用コマンドの１回発生と判別する。これは、図２４のコントローラ１１０において、例えば、ボタンスイッチＢの押下と等価である。

このようなコントローラ３を用いると、図２４の場合と異なり、ユーザの手がコントローラ３によって塞がれなくなるため、手を自由に使うことが可能になる。また、ユーザは、コントローラ３を、必要時／不必要時に関わらず手首に装着したままの状態であっても特に違和感を感じないため、コントローラ３を持ち替える手間や探す手間等も生じない。さらに、ユーザの動きをコマンド（トリガ命令）に変換するため、図２４のようなボタンスイッチを設けずに、コマンドの数を適宜増やすことも可能である。

なお、実施の形態では、図２（ａ）、図２（ｂ）に示したように、手首（または手（図２１で後述））に巻いた状態で使用されるコントローラ３への適用を想定するが、場合によっては、図２４のようなコントローラ１１０に適用することも可能である。この場合、手は塞がれるものの、ボタンスイッチに加えて、回転操作等によってもコマンドを発行できるため、使用可能なコマンド数を増やすことが可能になる。

《ＨＭＤの構成》
図５は、図１のヘッドマウント情報処理装置の概略構成例を示す回路ブロック図である。図５において、コントローラ３は、例えば、位置・姿勢センサ５と、カメラ２０と、測距センサ２１と、ＣＰＵ（Central Processing Unit）２２と、メモリ２３と、近接通信インタフェース２４と、これらを相互に接続するバス２６と、近接通信インタフェース２４に接続されるアンテナ２５とを備える。位置・姿勢センサ５は、加速度センサ（３軸加速度センサ）３０と、ジャイロセンサ（３軸角速度センサ）３１と、地磁気センサ３２とを備え、コントローラ３の位置・姿勢を検出する。

加速度センサ３０は、コントローラ３の加速度を検出することで、コントローラ３の３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の動きを検出する。ジャイロセンサ３１は、コントローラ３の角速度を検出することで、コントローラ３の３軸（Ｘ軸、Ｙ軸、Ｚ軸）回りの回転方向の動きを検出する。地磁気センサ３２は、地球の磁力を検出することで、コントローラ３の方位を検出する。地磁気センサ３２の検出結果は、例えば、コントローラ３の方向検出の補正等に使用可能である。加速度センサ３０およびジャイロセンサ３１は、６軸センサや慣性センサ等と呼ばれる場合もある。

カメラ２０は、ユーザの手を含めて、コントローラ３外部の画像を撮像する。この画像によって、コントローラ３の方向検出を補正することも可能である。測距センサ２１は、例えば、赤外線やレーザなどの反射を利用して対象物との距離を測定する。近接通信インタフェース２４は、アンテナ２５を介して、本体デバイス２と近距離無線通信を行う。近距離無線通信の方式として、例えば、電子タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）等が挙げられる。

メモリ２３は、例えば、フラッシュメモリおよびワーク用のＲＡＭ等であり、プログラム３５および各種情報データ３６を記憶する。プログラム３５には、ＯＳ（Operating System）と、当該ＯＳ上で動作し、コントローラ３内の各部を制御する各種制御プログラム等が含まれる。情報データ３６には、プログラム３５で使用する各種パラメータ等が含まれる。ＣＰＵ２２は、メモリに記憶されるプログラム３５を実行することで、コントローラ３内の各部を制御する。その一つとして、ＣＰＵ２２は、位置・姿勢センサ５の検出結果を処理し、その処理結果を近接通信インタフェース２４を介して本体デバイス２へ送信する。なお、ＣＰＵ２２は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等の各種演算処理専用プロセッサを含んでもよい。

本体デバイス２は、カメラ４０と、測距センサ４１と、ディスプレイ４２と、音声出力部４３と、マイク４４と、位置・姿勢センサ４５と、ＣＰＵ４６と、メモリ４７と、通信インタフェース４８と、近接通信インタフェース５０と、これらを相互に接続するバス５２とを備える。また、本体デバイス２は、通信インタフェース４８に接続されるアンテナ４９と、近接通信インタフェース５０に接続されるアンテナ５１とを備える。

位置・姿勢センサ４５は、コントローラ３の場合と同様に、加速度センサ（３軸加速度センサ）６０と、ジャイロセンサ（３軸角速度センサ）６１と、地磁気センサ６２とを備え、加えて、ＧＰＳ（Global Positioning System）受信器６３を備えることで本体デバイス２の位置・姿勢を検出する。カメラ４０は、本体デバイス２外部の画像（例えばユーザ前方の風景等）を撮像する。コントローラ３の場合と同様に、この画像によって、本体デバイス２における位置・姿勢センサ４５の方向検出を補正することも可能である。

測距センサ４１は、例えば、赤外線やレーザなどの反射を利用して対象物との距離を測定する。近接通信インタフェース５０は、コントローラ３の場合と同様に、アンテナ５１を介して、コントローラ３と近距離無線通信を行う。また、通信インタフェース４８は、アンテナ４９を介して、コントローラ３を除く外部（例えば、外部のサーバ装置等）と無線通信を行う。無線通信の方式として、代表的には、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）などが挙げられる。

ディスプレイ４２は、例えば、液晶パネル等であり、ＡＲまたはＶＲの画像等を代表に、所定の画像を表示する。この際に、ディスプレイ４２は、カメラ４０で撮像した画像をＡＲの画像として表示することも可能である。音声出力部４３は、例えば、装置内部の音声信号を音声に変換して装置外部へ放音するスピーカ５５や、または、ユーザの耳に装着された状態で放音するイヤホン５６等を備える。マイク４４は、例えば、装置外部で生じた周囲音を集音して音声信号に変換したり、または、ユーザからの発声音声を集音して音声信号に変換する。

メモリ４７は、コントローラ３の場合と同様に、プログラム６５および各種情報データ６６を記憶する。プログラム６５には、ＯＳと、当該ＯＳ上で動作し、本体デバイス２内の各部を制御する各種制御プログラム等が含まれる。情報データ６６には、プログラム６５で使用する各種パラメータ等が含まれる。ＣＰＵ４６は、メモリ４７に記憶されるプログラム６５を実行することで、本体デバイス２内の各部を制御する。その一つとして、ＣＰＵ４６は、コントローラ３による位置・姿勢センサ５の処理結果を近接通信インタフェース５０で受信し、その受信内容に応じてディスプレイ４２の画像制御等を行う。なお、ＣＰＵ４６は、ＤＳＰ、ＧＰＵ等の各種演算処理専用プロセッサを含んでもよい。

《ＣＰＵ周りの主要部の詳細》
図６Ａは、図５のコントローラにおけるＣＰＵ周りの主要部の構成例を示すブロック図であり、図６Ｂは、図５の本体デバイスにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。図６Ａにおいて、制御部７０は、センサデータ処理部７５と、通信制御部７６とを備える。これらの各部は、例えば、図５のＣＰＵ２２がメモリ２３に記憶されるプログラム３５を実行することでＣＰＵ２２上に実装される。

センサデータ処理部７５は、位置・姿勢センサ５の検出結果である角速度ベクトルω_Ｃおよび加速度ベクトルａ_Ｃを定期的に取得する。角速度ベクトルω_Ｃは、ジャイロセンサ３１によって得られ、加速度ベクトルａ_Ｃは、加速度センサ３０によって得られる。通信制御部７６は、センサデータ処理部７５で取得した角速度ベクトルω_Ｃおよび加速度ベクトルａ_Ｃを近接通信インタフェース（Ｉ／Ｆと略す）２４を介して、本体デバイス２へ定期的に送信する。

図６Ｂにおいて、制御部８０は、通信制御部８５と、センサデータ処理部８６と、操作命令変換部８７と、表示調整部８９と、表示制御部８８とを備える。これらの各部は、例えば、図５のＣＰＵ４６がメモリ４７に記憶されるプログラム６５を実行することでＣＰＵ４６上に実装される。通信制御部８５は、コントローラ３からの角速度ベクトルω_Ｃおよび加速度ベクトルａ_Ｃを近接通信Ｉ／Ｆ５０を介して取得する。

センサデータ処理部８６は、方向検出部９１と、回転検出部９２と、原点座標検出部９３とを備える。方向検出部９１は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ３の方向（言い換えれば図４の方向操作１６ａ）を演算によって検出する。回転検出部９２は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ５の方向（図４の符号１５）を回転軸とするコントローラ５の回転（言い換えれば図４の回転操作１６ｂ）を演算によって検出する。具体的には、方向検出部９１および回転検出部９２は、それぞれ、通信制御部８５からの角速度ベクトルω_Ｃに基づき、コントローラ３の方向および回転を検出する。

原点座標検出部９３は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ５の座標系における原点座標を検出する。具体的には、原点座標検出部９３は、通信制御部８５からの加速度ベクトルａ_Ｃに基づき、原点座標を検出し、ひいては、コントローラ５の平行移動を検出する。場合によっては、コントローラ５の平行移動に応じて、図３のポインティングビーム１２の指し位置を平行移動させることも可能である。なお、センサデータ処理部８６は、このような各種演算に際して、メモリ４７内に、情報データ６６である座標系情報６６ａを適宜記憶する。

操作命令変換部８７は、方向検出部９１の検出結果および回転検出部９２の検出結果を、本体デバイス２に対する命令に変換する。ここで、前述したように、ユーザは、ポインティングビーム１２の指し位置を動かす場合に腕の方向を変えることでコントローラ３の方向を変え、指し位置が指すオブジェクトを選択する場合（すなわちトリガ命令を発行する場合）に手首の回転によってコントローラ３を回転させる。詳細は後述するが、方向検出部９１は、コントローラ３の方向の検出結果として正規化四元数である回転ｑ_ＣＳを出力し、回転検出部９２は、コントローラ３の軸回りの回転の検出結果として回転角Ｒ_ＲＣを出力する。

操作命令変換部８７は、方向検出部９１によって検出されたコントローラ３の方向（回転ｑ_ＣＳ）をポインティングビーム１２の移動命令ＭＶに変換し、回転検出部９２によって検出されたコントローラの回転（回転角Ｒ_ＲＣ）をトリガ命令ＴＧに変換する。この際に、メモリ６６ｂには、例えば、右回転用コマンド、左回転コマンドといった各種トリガ命令と回転角Ｒ_ＲＣとの対応関係が、情報データ６６である操作命令情報６６ｂとして予め記憶される。操作命令変換部８７は、当該操作命令情報６６ｂに基づいて、コントローラの回転（回転角Ｒ_ＲＣ）をトリガ命令ＴＧに変換する。

表示調整部８９は、本体デバイス２における位置・姿勢センサ４５の検出結果を反映して、移動命令ＭＶが表すポインティングビームの指し位置を調整する。具体例として、ユーザが頭と腕を共に正面に向けた状態で、ポインティングビーム１２の指し位置が画面の中心に定まっている場合を想定する。この状態で、ユーザが頭だけを右に角度θだけ回すと、腕は動かしていないため、そのままでは、頭に対して腕が左に角度θだけズレた体勢で、依然として、指し位置は画面の中心に存在することになる。

しかし、このような場合、ユーザは、体感的に、指し位置が画面の中心から左に角度θだけズレた位置になることを好む場合が多い。この場合、ユーザが腕を右に角度θだけ回すことで再び頭と腕の方向が一致した時点で、指し位置は画面の中心に戻ることになる。表示調整部８９は、このようなユーザの体感を反映し、移動命令ＭＶの内容を変更することで指し位置を変更する処理を行う。具体的には、表示調整部８９は、例えば、位置・姿勢センサ４５を用いてユーザの頭が右に角度θだけ回転したことを検出した場合には、指し位置が左に角度θだけ回転するように移動命令ＭＶを変更する。

表示制御部８８は、図３に示したように、ポインティングビーム１２の指し位置をディスプレイ４２に表示し、当該指し位置を表示調整部８９からの移動命令ＭＶに応じて制御し、当該指し位置が指すオブジェクト１１をトリガ命令に応じて選択する。なお、ここでは、方向検出部９１、回転検出部９２および原点座標検出部９３は、本体デバイス２の制御部８０に設けられたが、場合によっては、コントローラ３の制御部７０に設けられてもよい。加えて、操作命令変換部８７も、場合によっては、コントローラ３の制御部７０に設けられてもよい。また、制御部７０，８０は、ＣＰＵ２２，４６によるプログラム処理に限らず、場合によっては、ＦＰＧＡ（Field Programmable Gate Array）等のハードウエアや、または、ハードウエアとソフトウエアの組み合わせで実装されてもよい。

《ＨＭＤの全体制御フロー》
図７は、図５のヘッドマウント情報処理装置における概略的な制御方法の一例を示すフロー図である。図７において、コントローラ３は、電源オンの後（ステップＳ１０１）、初期化処理を行う（ステップＳ１０２）。初期化処理は、センサデータの処理に伴う座標軸を初期化するためのものであり、例えば、ユーザに、予め定めた操作方法で初期化コマンドを入力させることで行われる。

その後、コントローラ３は、図６Ａのセンサデータ処理部７５を用いてセンサデータ（角速度ベクトルω_Ｃおよび加速度ベクトルａ_Ｃ）を取得する処理（ステップＳ１０３）と、通信制御部７６を用いて当該センサデータを送信する処理（ステップＳ１０４）とを所定の検出周期毎に行う。そして、コントローラ３は、当該ステップＳ１０３，Ｓ１０４の処理を電源オフとなるまで繰り返す（ステップＳ１０５）。

一方、本体デバイス２も、電源オンの後（ステップＳ２０１）、初期化処理を行う（ステップＳ２０２）。この初期化処理（ステップＳ２０２）は、コントローラ３の初期化処理（ステップＳ１０２）に連動して行われる。そして、本体デバイス２は、初期化処理（ステップＳ２０２）において、例えば、初期化コマンドが入力された時点のコントローラ３の座標軸に対して、ポインティングビーム１２の指し位置を一義的に対応付ける。

その後、本体デバイス２は、コントローラ３におけるステップＳ１０４の処理に応じて、図６Ｂの通信制御部８５を介してコントローラ３からのセンサデータを逐次受信する（ステップＳ２０３）。すなわち、本体デバイス２は、コントローラ３の位置・姿勢が初期化時点からどのように変化したかを表すセンサデータを逐次受信する。

そして、本体デバイス２は、受信したセンサデータに基づき、図６Ｂの方向検出部９１等を用いてコントローラ３の方向（方向の変化）を検出し、当該検出結果に基づき、表示制御部８８を用いてポインティングビーム１２の指し位置を更新する（ステップＳ２０４）。また、本体デバイス２は、受信したセンサデータに基づき、図６Ｂの回転検出部９２および操作命令変換部８７を用いて、ユーザからのトリガ命令の検出とその種類の判別を行い、トリガ命令の種類に応じた処理を行う（ステップＳ２０５）。そして、本体デバイス２は、当該ステップＳ２０３～Ｓ２０５の処理を電源オフとなるまで繰り返す（ステップＳ２０６）。

《制御部の詳細》
《記号の用法》
以下、図６Ａおよび図６Ｂに示した制御部７０，８０の詳細な処理内容について説明する。コントローラ３における位置・姿勢センサ５の検出結果を処理する方式として、代表的には、オイラー角を用いる方式や、正規化四元数を用いる方式等が挙げられる。実施の形態１では、一例として、正規化四元数を用いる場合を想定する。正規化四元数を用いるにあたって、まずは、明細書で使用する記号の用法について説明する。

座標系の回転は、正規化四元数を用いて表すことができる。正規化四元数とは、ノルムが１の四元数であり、ある軸の回りの回転を表す。単位ベクトル（ｎ_Ｘ，ｎ_Ｙ，ｎ_Ｚ）を回転軸とした角度ηの回転ｑを表す正規化四元数は、式（１）で与えられる。式（１）において、ｉ，ｊ，ｋは四元数の単位である。また、角度ηが正である場合の回転ｑは、単位ベクトル（ｎ_Ｘ，ｎ_Ｙ，ｎ_Ｚ）の方向に向いた状態での右回りの回転に対応する。任意の座標系の回転は、この正規化四元数で表される。
ｑ＝ｃｏｓ（η／２）＋ｎ_Ｘｓｉｎ（η／２）ｉ＋ｎ_Ｙｓｉｎ（η／２）ｊ＋ｎ_Ｚｓｉｎ（η／２）ｋ …（１）

式（１）における回転ｑの実数部分をＳｃ（ｑ）と定義し、回転ｑのベクトル部分をＶｃ（ｑ）と定義する。ｑ^＊は、回転ｑの四元数に対する共役四元数を表す。四元数のノルムを１に正規化する演算子を［・］と定義する。回転ｑを任意の四元数とすると、式（２）は、［・］の定義であり、式（２）の右辺の分母は、回転ｑの四元数のノルムである。また、座標点あるいはベクトル（ｐ_Ｘ，ｐ_Ｙ，ｐ_Ｚ）を表現する四元数ｐは、式（３）で表される。
［ｑ］＝ｑ／（ｑｑ^＊）^１／２ …（２）
ｐ＝ｐ_Ｘｉ＋ｐ_Ｙｊ＋ｐ_Ｚｋ …（３）

明細書においては、特に断りがない限り、成分表示でない座標点やベクトルを表す記号は四元数表示であるものとし、回転を表す記号は正規化四元数であるものとする。ここで、単位ベクトルｎ方向へのベクトルの射影演算子をＰ_Ｓ（ｎ）と定義する。ベクトルｐの射影は式（４）で表される。また、座標点あるいは方向ベクトルｐ_１が回転ｑで表される原点中心の回転操作により座標点あるいは方向ベクトルｐ_２に変換されたとすると、方向ベクトルｐ_２は、式（５）で算出される。
Ｐ_Ｓ（ｎ）ｐ＝－ｎＳｃ（ｎｐ） …（４）
ｐ_２＝ｑｐ_１ｑ^＊ …（５）

ここで、カイラリティが等しい任意の２つの座標系間で方向を合わせるための回転ｑは次のようにして得られる。まず、単位ベクトルｎ_１を単位ベクトルｎ_２に重ねるように、ｎ_１とｎ_２を含む平面に垂直な軸回りに回転させる正規化四元数Ｒ（ｎ_１，ｎ_２）は、式（６）で与えられる。
Ｒ（ｎ_１，ｎ_２）＝［１－ｎ_２ｎ_１］ …（６）

座標系“１”を回転させて、各軸の方向を座標系“２”の各軸に合わせることを考える。記号として、座標系“１”のＹ軸、Ｚ軸方向の単位ベクトルの座標系“２”での表現を、ｎ_Ｙ１２、ｎ_Ｚ１２と定義し、座標系“２”のＹ軸、Ｚ軸方向の単位ベクトルの座標系“２”自身での表現を、ｎ_Ｙ、ｎ_Ｚと定義する。回転は座標系“２”の中の表現として求められる。

最初に、座標系“１”のＺ軸を回転させて座標系“２”のＺ軸の方向に合わせることを考える。その回転ｑ_Ｔ１は、式（６）を用いて、式（７）で与えられる。この回転ｑ_Ｔ１により、座標系“２”において、座標系“１”のＹ軸を表す単位ベクトルｎ_Ｙ１２は、式（８）の単位ベクトルｎ_Ｙ１２ｍとなる。単位ベクトルｎ_Ｙ１２ｍは、座標系“２”のＺ軸に直交している。そこで、次に、この単位ベクトルｎ_Ｙ１２ｍを座標系“２”のＺ軸回りに回転させて座標系“２”のＹ軸方向に合わせることを考える。その回転ｑ_Ｔ２は、式（９）で与えられる。
ｑ_Ｔ１＝Ｒ（ｎ_Ｚ１２，ｎ_Ｚ） …（７）
ｎ_Ｙ１２ｍ＝ｑ_Ｔ１ｎ_Ｙ１２ｑ_Ｔ１ ^＊ …（８）
ｑ_Ｔ２＝Ｒ（ｎ_Ｙ１２ｍ，ｎ_Ｙ） …（９）

以上により、座標系“１”を回転させて、各軸の方向を座標系“２”の各軸の方向に合わせる回転ｑ_Ｔの座標系“２”での表現は、式（７）～式（９）に基づき、式（１０）で得られる。その結果、座標系“１”においてｎ_１と表される単位ベクトル、あるいは回転を表す正規化四元数は、座標系“２”では、式（１１）の単位ベクトルｎ_２で表現される。すなわち、座標系“１”を回転ｑ_Ｔによって回転させた場合、回転後の座標系“２”の視点で、回転前の座標系“１”の単位ベクトルｎ_１は、回転ｑ_Ｔの逆回りに回転しているように見える。
ｑ_Ｔ＝ｑ_Ｔ２ｑ_Ｔ１ …（１０）
ｎ_２＝ｑ_Ｔ ^＊ｎ_１ｑ_Ｔ …（１１）

《方向検出部および原点座標検出部の詳細》
まず、コントローラ３に紐付けされるコントローラ座標系の表現について説明する。コントローラ座標系の座標軸は、ジャイロセンサ３１の座標軸である。図８Ａおよび図８Ｂは、図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。図８Ａおよび図８Ｂには、一例として、ユーザが、右手にコントローラ３を装着し、位置・姿勢センサ５（ジャイロセンサ３１）を手首の内側に配置した例が示される。

ここで、コントローラ３が有するリストバンド形状の軸線方向をＸ軸とする。また、Ｘ軸と垂直であり、バンド面に対して垂直方向をＹ軸とし、バンド面に対して平行方向をＺ軸とする。掌の面を垂直方向にして腕を水平方向にしたときにＺ軸が垂直方向になる。明細書では、このような座標系を右手系の座標系と呼ぶ。明細書では、特に断りのない限り、右手系の座標系を用いることとする。

ユーザは、図７のステップＳ１０２において、腕を基準の位置に置いた状態で、コントローラ３等の初期化を行う。例えば、手首を３回連続して内側に倒す、という動きを初期化コマンドとする。この場合、図６Ｂの制御部８０は、例えば、角速度ベクトルω_ＣにおけるＺ軸周りの回転成分に基づいて初期化コマンドを検出することができる。ここで、明細書では、当該初期化時点のコントローラ座標系を初期座標系と呼ぶ。初期座標系は固定された座標系であり、コントローラ座標系はコントローラ３の動きに応じて変化する座標系である。コントローラ座標系の向きは、初期座標系の向きを回転させることで得られる。この回転を表す正規化四元数をｑ_ＣＳで表現する。初期化時における回転ｑ_ＣＳは、例えば、回転無しを意味する１である。

コントローラ座標系の回転は、ジャイロセンサ３１で検出される。補助的に、地磁気センサ３２、カメラ２０、測距センサ２１を用いてもよいが、必須の構成要素ではない。ジャイロセンサ３１が検出する角速度ベクトルω_Ｃを（ω_Ｘ，ω_Ｙ，ω_Ｚ）とすると、この角速度ベクトルω_Ｃは、式（１２）の四元数で表現される。式（１２）の角速度ベクトルω_Ｃは、コントローラ座標系での表現である。したがって、初期座標系での角速度ベクトルω_Ｓは、式（１３）で与えられる。すなわち、初期座標系を回転ｑ_ＣＳで回転させることでコントローラ座標系が得られる場合、初期座標系の視点で、コントローラ座標系の角速度ベクトルω_Ｃは回転ｑ_ＣＳで回転しているように見える。
ω_Ｃ＝ω_Ｘｉ＋ω_Ｙｊ＋ω_Ｚｋ …（１２）
ω_Ｓ＝ｑ_ＣＳω_Ｃｑ_ＣＳ ^＊ …（１３）

ここで、回転ｑ_ＣＳが初期座標系における表現であることに注意すると、回転ｑ_ＣＳの時間発展を決定する差分方程式は、式（１３）の関係を反映して、式（１４）となる。式（１４）において、Δｔをジャイロセンサ３１の検出周期に定めると、回転ｑ_ＣＳは、Δｔ毎に得られる角速度ベクトルω_Ｃを受けて逐次更新される。これにより、コントローラ３が初期化時点からどのように回転したかを逐次得ることができる。図６Ｂの方向検出部９１は、式（１４）に基づき演算を行うことで、Δｔ毎に回転ｑ_ＣＳを出力する。
Δｑ_ＣＳ／Δｔ＝（１／２）ω_Ｓｑ_ＣＳ＝（１／２）ｑ_ＣＳω_Ｃ …（１４）

なお、式（１４）で回転ｑ_ＣＳを演算する際、近似精度を上げる手法を併用してもよいし、回転ｑ_ＣＳのノルムを１に保つ補正を加えてもよい。さらに、誤差の蓄積を補正するために、地磁気センサ３２による地磁気方向の測定結果を利用してもよいし、カメラ２０や測距センサ２１によって検出した外界の特徴点の位置情報を利用してもよい。

次に、原点座標検出部９３の処理内容について説明する。例えば、コントローラ３の平行移動、すなわちコントローラ座標系原点の移動も制御に使用する場合に、原点座標検出部９３による処理が行われる。コントローラ座標系の初期座標系における原点座標の更新は、加速度センサ３０によって検出される加速度ベクトルａ_Ｃに基づいて行われる。加速度ベクトルａ_Ｃを（ａ_Ｘ，ａ_Ｙ，ａ_Ｚ）とすると、加速度ベクトルａ_Ｃは、式（１５）の四元数で表現される。この加速度ベクトルａ_Ｃは、コントローラ座標系での表現であるため、初期座標系での加速度ベクトルａ_Ｓは、式（１６）で与えられる。
ａ_Ｃ＝ａ_Ｘｉ＋ａ_Ｙｊ＋ａ_Ｚｋ …（１５）
ａ_Ｓ＝ｑ_ＣＳａ_Ｃｑ_ＣＳ ^＊ …（１６）

ここで、初期座標系におけるコントローラ座標系の原点座標をＯ_ＣＳ、コントローラ座標系の原点の速度ベクトルをｖ_Ｓ、重力加速度ベクトルをｇ_Ｓとする。重力加速度ベクトルｇ_Ｓは、図７のステップＳ１０２におけるコントローラ３の初期化時に測定される。当該重力加速度ベクトルｇ_Ｓを用いると、速度ベクトルｖ_Ｓの時間発展を決定する差分方程式は式（１７）となる。また、原点座標Ｏ_ＣＳの時間発展を決定する差分方程式は式（１８）となる。
Δｖ_Ｓ／Δｔ＝ａ_Ｓ－ｇ_Ｓ …（１７）
ΔＯ_ＣＳ／Δｔ＝ｖ_Ｓ …（１８）

式（１７）および式（１８）において、Δｔを加速度センサ３０の検出周期に定めると、速度ベクトルｖ_Ｓは、Δｔ毎に得られる加速度ベクトルａ_Ｓ（加速度ベクトルａ_Ｃ）を受けて逐次更新され、この速度ベクトルｖｓに基づいて、原点座標Ｏ_ＣＳも逐次更新される。図６Ｂの原点座標検出部９３は、式（１６）、式（１７）および式（１８）に基づき演算を行うことで、Δｔ毎に、加速度ベクトルａ_Ｓ、速度ベクトルｖ_Ｓおよび原点座標Ｏ_ＣＳを更新する。

なお、式（１７）および式（１８）で速度ベクトルｖｓおよび原点座標Ｏ_ＣＳを演算する際、近似精度を上げる手法を併用してもよい。また、カメラ２０や測距センサ２１によって検出した外界の特徴点の位置情報を利用してもよい。さらに、処理を簡素化するために、加速度センサ３０の検出周期は、ジャイロセンサ３１の検出周期と同じであってもよい。

《初期化処理の詳細》
図７の初期化処理（ステップＳ１０２，Ｓ２０２）に際し、ユーザは、まず、腕を基準の位置に置き、そこでコントローラ３の初期化コマンドを入力する。初期化コマンドは、例えば、前述したように手首を３回内側に倒す（右手の場合は左に回転させる）といった動作の他に、もう一方の手でコントローラ３を３回叩く、といった動作で入力されてもよい。あるいは、初期化コマンドは、このような動作に限らず、例えば、本体デバイス２に設置されたハードスイッチの押下等によって入力されてもよい。

例えば、本体デバイス２のセンサデータ処理部８６は、初期化コマンドが入力された時点、あるいは、動作による入力であれば、初期化コマンドである、と確定した時点のコントローラ座標系を新たな初期座標系として認識する。そして、センサデータ処理部８６は、その時点のコントローラ座標系の回転ｑ_ＣＳを、回転無しを表す１にリセットする。さらに、センサデータ処理部８６は、手首の回転角Ｒ_ＲＣ（後述）を０にリセットする。

また、センサデータ処理部８６は、初期化時に腕を静止させている状態で、コントローラ３から受信した加速度ベクトルａ_Ｃに基づいて重力加速度ベクトルｇ_Ｃ（コントローラ座標系）を測定する。式（１９）に示されるように、初期座標系における重力加速度ベクトルｇ_Ｓは、当該コントローラ座標系における重力加速度ベクトルｇ_Ｃと同じである。重力加速度ベクトルｇ_Ｓは、例えば、前述した式（１７）で用いられる。
ｇ_Ｓ＝ｇ_Ｃ …（１９）

《コントローラ方向の検出とビーム位置の更新の詳細》
図７におけるステップＳ２０４の処理の詳細について説明する。図８Ｂに示されるように、ユーザの腕の方向は、コントローラ座標系において単位ベクトルｎ_ＡＣで定められる。そして、初期化時点からの回転ｑ_ＣＳによって、各時点（各検出周期）における腕の方向が算出される。初期座標系における腕の方向の単位ベクトルをｎ_ＡＳとすると、単位ベクトルｎ_ＡＳは式（２０）で求まる。
ｎ_ＡＳ=ｑ_ＣＳｎ_ＡＣｑ_ＣＳ ^＊ …（２０）

図９は、図７において、コントローラ方向の検出とビーム位置の更新に伴う処理内容の一例を説明する図である。図６Ｂの操作命令変換部８７は、式（２０）に基づき、回転ｑ_ＣＳによって単位ベクトルｎ_ＡＣから単位ベクトルｎ_ＡＳに角度変化量αだけ向きが変更された場合、例えば、図９に示されるように、ポインティングビーム１２の指し位置も角度変化量αだけ向き変更するように移動命令ＭＶを生成する。

この際に、ポインティングビーム１２の角度変化量αは、ポインティングビーム１２を表示する空間である本体デバイス２の座標系で制御される。この本体デバイス２の座標系を、明細書ではユーザ座標系と呼ぶ。初期座標系での回転ｑ_ＣＳは、ユーザ座標系では回転ｑ_ＣＳＵで表現される。操作命令変換部８７は、例えば、移動命令ＭＶとして、回転ｑ_ＣＳＵを出力する。

図１０は、図６Ｂの本体デバイスに紐付けされるユーザ座標系の一例を示す図である。ユーザ座標系は、図１０に示されるように、本体デバイス２に固定された座標系であり、例えば、Ｘ軸が水平面内で本体デバイス２の正面方向であり、Ｙ軸が水平面内でユーザの左手方向であり、Ｚ軸が垂直上向き方向である。ポインティングビーム１２の表示に関し、図６Ｂの表示制御部８８は、コントローラ３を装着した腕の肘が位置する近傍に、ポインティングビーム１２の起点を設定し、ポインティングビーム１２がこの起点から伸びているかのようにディスプレイ４２に表示を行う。そして、表示制御部８８は、ポインティングビーム１２の伸びる方向を操作命令変換部８７からの移動命令ＭＶ（具体的には回転ｑ_ＣＳＵ）で制御する。なお、表示制御部８８は、当該起点の位置をユーザの好みで調整してもよい。

また、初期座標系とユーザ座標系との位置関係は、例えば、予め設計上で定められる。代表的には、本体デバイス２を装着したユーザが正面方向を向いた状態で、ポインティングビーム１２が起点から水平正面方向に延びるような位置関係に設計される。図７の初期化処理（ステップＳ１０２，Ｓ２０２）において、ユーザは、この設計上で定めた位置関係を維持した状態で、初期化コマンドを発行する。

ここで、ユーザ座標系の視点で、コントローラ３の初期座標系の方向をユーザ座標系の方向に合わせる回転をｑ_Ｔとする。回転ｑ_Ｔは、予め設計上で定めることができ、代表的には、回転無し（すなわち、初期座標系とユーザ座標系の方向が一致した状態）を表す１である。ただし、ユーザの操作上の都合（例えば、腕の方向とポインティングビーム１２の方向とが所定角だけズレていた方が操作が容易等）がある場合、回転ｑ_Ｔは、１でない別の値であってもよい。この回転ｑ_Ｔを用いるとユーザ座標系における回転ｑ_ＣＳＵは式（２１）で与えられる。図６Ｂの操作命令変換部８７は、式（２１）を演算し、回転ｑ_ＣＳＵを出力する。
ｑ_ＣＳＵ＝ｑ_Ｔ ^＊ｑ_ＣＳｑ_Ｔ …（２１）

また、ポインティングビーム１２の初期状態での単位ベクトルをｎ_ＡＵ０、向き変更後のポインティングビーム１２の単位ベクトルをｎ_ＡＵとすると、単位ベクトルｎ_ＡＵは式（２２）で求まる。図６Ｂの表示制御部８８は、式（２２）に基づき、ポインティングビーム１２の指し位置を制御する。
ｎ_ＡＵ＝ｑ_ＣＳＵｎ_ＡＵ０ｑ_ＣＳＵ ^＊ …（２２）

なお、前述したように、ユーザは、腕を基準の位置に定めた状態で初期化コマンドを発行するが、この際に、腕の位置が理想的な基準の位置からズレる場合がある。この位置ズレによって、腕の方向とポインティングビーム１２の方向との間に、角度差のオフセットが生じ得るが、ユーザの体感上、位置ズレがある程度の範囲内に収まっている限り、特に問題は生じない。一方、方向検出部９１が回転ｑ_ＣＳを演算する際にも、誤差が生じ得る。この誤差は、蓄積されることによって時系列的に拡大し得るため、その際には、ユーザは、初期化をやり直せばよい。

図１１は、図６Ｂの表示制御部によってディスプレイに表示されるポインティングビームの表示態様の一例を示す図である。ディスプレイ４２には、ユーザ座標系の空間上で、オブジェクト（図１１では実行ボタン）１１と共にポインティングビーム１２が表示される。ポインティングビーム１２は、表示空間内を、表示可能な範囲で延びた形で表示される。まず、ポインティングビーム１２の指し位置がオブジェクト１１に当たっていない場合、オブジェクト１１は、非選択状態である（ステップＳ３０１）。

次に、ユーザが腕の方向を操作することで、ポインティングビーム１２の指し位置がオブジェクト１１に当たると、オブジェクト１１は、仮選択状態となり、仮選択状態を表す表示に変わる（ステップＳ３０２）。この仮選択状態で、ユーザがポインティングビーム１２の指し位置を変えずに、例えば、手首を回転させると（回転操作１６ｂを行うと）、オブジェクト１１は、選択状態となり、選択状態を表す表示に変わる（ステップＳ３０３）。表示制御部８８は、このような表示変更を行うと共に、ステップＳ３０３のようにオブジェクト１１が選択された（言い換えれば、実行ボタンが押下された）場合には、その旨を所定の処理部に通知することで所定の処理部に対応する処理を行わせる。

《トリガ解析（回転検出部および操作命令変換部）の詳細》
次に、図７におけるステップＳ２０５の処理の詳細について説明する。手首の回転は、腕の方向を回転軸とした回転である。このため、ジャイロセンサ３１の出力から当該回転軸方向の成分を抽出することで、手首の回転を検出することができる。図８Ｂに示したように、コントローラ座標系における腕の方向（図８ＢではＸ軸方向）の単位ベクトルをｎ_ＡＣとする。

ここで、一般化して記述すると、手首の回転の角速度ベクトルω_ＲＣのコントローラ座標系における表現は、式（４）の射影演算子と、コントローラ座標系の角速度ベクトルω_Ｃとを用いて、式（２３）となる。手首を回転させると、単位ベクトルｎ_ＡＣ方向の成分が生じる。図６Ｂの回転検出部９２は、式（２３）に基づいて、角速度ベクトルω_Ｃの中から当該単位ベクトルｎ_ＡＣ方向の成分を抽出することで、手首の回転を検出する。
ω_ＲＣ＝Ｐ_Ｓ（ｎ_ＡＣ）ω_Ｃ …（２３）

また、角速度ベクトルω_ＲＣを基に、手首の回転位置を回転角Ｒ_ＲＣで表すと、回転角Ｒ_ＲＣは、式（２４）の発展方程式で算出される。回転検出部９２は、式（２４）に基づき、回転角Ｒ_ＲＣを算出する。
ΔＲ_ＲＣ／Δｔ＝ω_ＲＣ …（２４）

ここで、コントローラ３の初期化時点での回転角Ｒ_ＲＣを０°とする。図６Ｂの操作命令変換部８７は、当該回転検出部９２からの回転角Ｒ_ＲＣに基づいてトリガ命令ＴＧを判別する。図１２Ａおよび図１２Ｂは、図６Ｂの操作命令変換部において、トリガ命令の判別方法の一例を示す図である。図１２Ａおよび図１２Ｂに示されるように、操作命令変換部８７（詳細には図６Ｂの操作命令情報６６ｂ）は、予め、ベースラインＲ_ＲＣ０を基準とした回転閾値Ｒ_ＲＣＴ１，Ｒ_ＲＣＴ２を備える。

操作命令変換部８７は、回転検出部９２によって検出されたコントローラ３の回転の回転量（回転角Ｒ_ＲＣ）が予め定めた回転閾値Ｒ_ＲＣＴ１，Ｒ_ＲＣＴ２を超えた場合にトリガ命令を発行する。図１２Ａの例では、ユーザは、手首を、回転閾値Ｒ_ＲＣＴ１を超える回転角で右回転したのち元に戻している。これに応じて、操作命令変換部８７は、右回転に対応する第１トリガ命令を１回発行する（言い換えれば、第１ボタンが１回押下されたと判別する）。

図１２Ｂの例では、ユーザは、手首を、回転閾値Ｒ_ＲＣＴ２を超える回転角で左回転したのち元に戻すという動作を連続して２回行っている。これに応じて、操作命令変換部８７は、左回転に対応する第２トリガ命令を２回発行する（言い換えれば、第２ボタンが２回押下されたと判別する）。ここで、操作命令変換部８７は、予め定めた一定時間内に生じた複数回のトリガ命令の発生状況に応じて、最終的な１回のトリガ命令を定めることも可能である。図１２Ｂの例では、操作命令変換部８７は、一定時間内に生じた２回の第２トリガ命令の発行を、所謂、ダブルクリックとして取り扱うことができる。

なお、ベースラインＲ_ＲＣ０は、角度検出の誤差や手首の保持角度のズレ等に伴い、０°とは限らない。そこで、操作命令変換部８７は、式（２５）のように、回転角Ｒ_ＲＣの低周波成分を取り出し、それをベースラインＲ_ＲＣ０として設定してもよい。式（２５）の右辺は、回転角Ｒ_ＲＣの平均化処理を意味する。平均化処理の方法としては、例えば、式（２６）に示される指数移動平均処理等が挙げられる。式（２６）において、ξは、平均化係数であり、０から１の間の値をとる。
Ｒ_ＲＣ０＝＜Ｒ_ＲＣ＞ …（２５）
＜Ｒ_ＲＣ（ｔ＋Δｔ）＞＝ξＲ_ＲＣ（ｔ）＋（１－ξ）＜Ｒ_ＲＣ（ｔ）＞ …（２６）

ここで、このような手首の回転によるトリガ命令を用いると、図６Ｂの方向検出部９が手首の回転の影響を受け、ポインティングビーム１２の指し位置がユーザの意図からズレる恐れがある。具体的には、例えば、図１１のステップＳ３０３において、ユーザは、オブジェクト（実行ボタン）１１を選択状態にする際に、ポインティングビーム１２の指し位置が回転操作１６ｂによってオブジェクト１１からズレてしまい、オブジェクト１１を選択状態にできない恐れがある。

そこで、図１３Ａ、図１３Ｂ、図１４に示されるような方式を用いることが有益となる。図１３Ａおよび図１３Ｂは、図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う処理内容の一例を説明する図であり、図１４は、図６Ｂの操作命令変換部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。

図１４に示されるように、操作命令変換部８７は、例えば、図１２Ａで述べたような回転閾値Ｒ_ＲＣＴ１に加えて、回転閾値Ｒ_ＲＣＴ１よりも小さい値である回転開始閾値Ｒ_ＲＣＳＴを備える。そして、操作命令変換部８７は、回転検出部９２によって検出されたコントローラ３の回転の回転量（回転角Ｒ_ＲＣ）が回転閾値Ｒ_ＲＣＴ１を超えた場合にトリガ命令を発行し、回転開始閾値Ｒ_ＲＣＳＴを超えた場合に回転開始通知を発行する。

一方、図１３Ａまたは図１３Ｂに示されるように、表示制御部８８は、回転開始通知を受けた時点で、ポインティングビーム１２の指し位置が指すオブジェクト（実行ボタン）１１を仮選択状態にする（ステップＳ４０１，Ｓ５０１）。その後、表示制御部８８は、トリガ命令を受けた場合に、トリガ命令を受けた時点での指し位置が仮選択状態のオブジェクト１１を指しているか否かに関わらず、仮選択状態のオブジェクト１１を選択状態に変更する（ステップＳ４０２，Ｓ５０２）。

具体的な処理内容として、図１３Ａの例では、表示制御部８８は、オブジェクト１１を仮選択状態にした場合に（ステップＳ４０１）、このオブジェクト１１の仮選択状態を、その後の実際の指し位置の移動有無に関わらず一定時間維持する。また、図１３Ｂの例では、表示制御部８８は、オブジェクト１１を仮選択状態にした場合に（ステップＳ５０１）、その後の実際の指し位置の移動有無に関わらず、指し位置は一定時間変わらないものとみなして処理する。

《初期化処理における座標系の補正》
図７のステップＳ１０２で述べたように、ユーザは、腕を基準の位置に置いた状態で初期化コマンドを入力する。基準の位置は、例えば、腕を水平方向に保つ位置である。ただし、ユーザが腕を水平方向に保ったつもりでも、実際には、腕が水平方向から若干ズレてしまっている場合がある。すなわち、ユーザが体感する水平方向と、重力加速度に基づく実際の水平方向との間に誤差が生じ得る。この誤差は、ユーザが腕の方向によってポインティングビーム１２を操作する際に、ユーザに違和感を生じさせる。そこで、水平方向をユーザの体感に整合させるため、重力加速度ベクトルを利用した補正を行ってもよい。

具体的には、初期化処理で得られる重力加速度ベクトルｇ_Ｓ（式（１９））に対して、理想的な状態での（設計上での）初期座標系における重力加速度ベクトルをｇ_Ｓ０とする。また、初期座標系からコントローラ座標系への回転ｑ_ＣＳの初期値をｑ_ＣＳ０とする。この場合、図６Ｂの方向検出部９１は、回転ｑ_ＣＳの初期値ｑ_ＣＳ０を、回転無しを表す１ではなく、重力加速度ベクトルのズレの分だけ回転した値に設定する。すなわち、方向検出部９１は、式（６）の正規化四元数Ｒ（ｎ_１，ｎ_２）を用いて、初期値ｑ_ＣＳ０を式（２７）の値に設定する。これにより、ユーザの違和感を軽減することが可能になる。
ｑ_ＣＳ０＝Ｒ（ｇ_S，ｇ_S０） …（２７）

《ディスプレイの表示形態の変形例》
図１５は、図１において、本体デバイスのディスプレイに表示される図３とは異なる画像の一例を示す図である。図１５では、図３に示したポインティングビーム１２の代わりにカーソル１３が表示される。この場合、ユーザの視線から見て、カーソル１３に重なったオブジェクト（実行ボタン）１１が選択対象となる。図３の場合と同様に、ユーザは、カーソルの位置（指し位置）を、腕の方向で制御する。

図６Ｂの表示制御部８８は、例えば、処理上でユーザを中心とした球面を想定し、表示しないポインティングビーム１２とその球面との交点にカーソル１３を表示する。また、表示制御部８８は、カーソル１３がユーザの視認できる領域内に存在しない場合は、コントローラ３によるトリガ命令の入力を無効にしてもよい。これは、ポインティングビーム１２の場合でも同様である。

《実施の形態１の主要な効果》
以上、実施の形態１のヘッドマウント情報処理装置を用いることで、代表的には、ユーザの利便性を向上させることが可能になる。具体的には、ユーザは、図２４に示したようなコントローラ１１０を用いる場合と異なり、手を自由に使えるようになる。また、ユーザの動き方に応じてトリガ命令（コマンド）の数を増やすことが可能になる。なお、前述したように、このユーザの動き方に応じたトリガ命令（コマンド）は、図２４に示したようなコントローラ１１０に適用することも可能である。

（実施の形態２）
《トリガ命令の変形例》
図１６Ａは、本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの操作命令変換部によるトリガ命令の判別方法の一例を示す図である。図１６Ｂは、図１６Ａに応じた、図６Ｂの表示制御部の処理内容の一例を説明する図である。図６Ｂの操作命令変換部８７は、コントローラ３を回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、当該回転させた状態が元に戻された場合に、ドラッグ＆ドロップの終了命令を発行する。

図１６Ａの例では、操作命令変換部８７は、回転検出部９２からの回転角Ｒ_ＲＣが回転閾値Ｒ_ＲＣＴ１を超え、図１２Ａの場合と異なり、当該回転閾値Ｒ_ＲＣＴ１を超えた状態が一定時間Ｔ１を超えた場合にドラッグ＆ドロップの開始命令を発行する。その後、操作命令変換部８７は、回転角Ｒ_ＲＣが、ベースラインＲ_ＲＣ０と回転閾値Ｒ_ＲＣＴ１との間のベースラインＲ_ＲＣ０寄りに設けた回転終了閾値Ｒ_ＲＣＥＤを下回った場合に、ドラッグ＆ドロップの終了命令を発行する。

一方、ユーザは、図１６Ｂに示されるように、ポインティングビーム１２の指し位置を所定のオブジェクト１７に合わせた状態で手首を右回転し、その状態を維持する（ステップＳ６０１）。その後、ユーザは、手首の右回転を維持した状態で腕の方向を変えたのち（ステップＳ６０２）、手首の右回転を元に戻す（ステップＳ６０３）。操作命令変換部８７は、ステップＳ６０１に応じてドラッグ＆ドロップの開始命令を発行し、ステップＳ６０３に応じてドラッグ＆ドロップの終了命令を発行する。図６Ｂの表示制御部８８は、ドラッグ＆ドロップの開始命令からドラッグ＆ドロップの終了命令までの期間で、操作命令変換部８７によって発行された移動命令ＭＶ（すなわち腕の方向の変化）に応じて、ポインティングビーム１２の指し位置が指すオブジェクト１７の位置を移動する。

図１７は、本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの本体デバイスの変形例を示すブロック図である。図１７の本体デバイス２は、図６Ｂの構成例に加えて、センサデータ処理部８６ａ内に突出検出部９４を備える。突出検出部９４は、コントローラ３の位置・姿勢センサ５の検出結果に基づき、腕の方向（すなわち回転軸の方向）に向けたコントローラ３の移動を演算によって検出する。また、これに応じて、図１７の操作命令変換部８７ａは、突出検出部９４によって検出されたコントローラ３の移動を、別のトリガ命令ＴＧに変換する。

図１８は、図１７に応じた、ユーザによるコントローラの操作方法の一例を説明する図である。図１８に示されるように、ユーザは、腕の方向１５（回転軸の方向）に向けて腕の突き出し操作１６ｃを行うことで、トリガ命令を発行する。例えば、ユーザは、ポインティングビームの指し位置を対象のオブジェクトに合わせた状態で突き出し操作１６ｃを行うことで、当該対象のオブジェクトに対してトリガ命令を発行する。

このような突き出し操作１６ｃは、コントローラ３内の加速度センサ３０を用いて検出できる。具体的に説明すると、まず、図１７に示す原点座標検出部９３は、図６Ｂおよび式（１６）～式（１８）で述べたように、加速度センサ３０からの加速度ベクトルａ_Ｃに基づいて、初期座標系における加速度ベクトルａ_Ｓ、速度ベクトルｖ_Ｓおよび原点座標Ｏ_ＣＳを検出する。ただし、この原点座標Ｏ_ＣＳは、検出誤差によってドリフトすることがある。

そこで、図１７の突出検出部９４は、例えば、加速度ベクトルａ_Ｓにおける腕の方向への絶対値成分が予め定めた閾値を超えた時点で、腕の突き出し動作の開始を認識する。そして、突出検出部９４は、突き出し動作の開始時点の原点座標Ｏ_ＣＳを起点Ｏ_ＣＳ０とし、起点Ｏ_ＣＳ０を基準に、その後の原点座標Ｏ_ＣＳの腕の方向への偏差ベクトルＯ_ＣＳｄを演算する。具体的には、突出検出部９４は、式（４）の射影演算子Ｐ_Ｓ（ｎ）と、初期座標系における腕の方向の単位ベクトルｎ_ＡＳとを用いて、式（２８）を演算する。さらに、突出検出部９４は、式（２９）に基づき、偏差ベクトルＯ_ＣＳｄのノルムＤを演算する。
Ｏ_ＣＳｄ＝Ｐ_Ｓ（ｎ_ＡＳ）（Ｏ_ＣＳ－Ｏ_ＣＳ０） …（２８）
Ｄ＝（Ｏ_ＣＳｄＯ_ＣＳｄ ^＊）^1/2 …（２９）

図１９は、図１７の操作命令変換部において、トリガ命令の判別方法の一例を示す図である。図１９に示されるように、操作命令変換部８７ａは、予め突出閾値Ｄ_Ｔを備える。操作命令変換部８７ａは、突出検出部９４からのノルムＤが突出閾値Ｄ_Ｔを超えた場合、トリガ命令（第３トリガ命令）ＴＧを発行する。当該トリガ命令ＴＧは、例えば、実施の形態１で述べたように、手首の右回転および左回転が第１および第２ボタンの押下に対応する場合、第３ボタンの押下に対応する。

《実施の形態２の主要な効果》
以上、実施の形態２のヘッドマウント情報処理装置を用いることで、実施の形態１で述べた各種効果に加えて、トリガ命令（コマンド）の数を更に増やすことが可能になる。また、図１８における突き出し操作１６ｃと、図１６Ｂにおけるドラッグ動作とを組み合わせて用いることも可能である。この場合、ユーザは、例えば、３Ｄ表示内でオブジェクトを移動する際に、突き出し操作１６ｃによって３Ｄ表示内の奥行き方向へオブジェクトを移動することが可能になる。

さらに、このドラッグ動作を利用して、ＨＭＤ１は、例えば、ユーザがポインティングビームの方向を定めた状態で、手首を右または左に回転させた状態を維持すると、ビームの方向に、仮想空間内でのユーザの位置を前進（例えば左回転時）または後退（例えば右回転時）するような制御を行ってもよい。

（実施の形態３）
《コントローラによる制御方法のその他の例》
図２０は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図６Ａおよび図６Ｂの構成例を利用したその他の制御方法の一例を説明する図である。例えば、図６Ｂの操作命令変換部８７は、回転検出部９２によって検出されるコントローラ３の回転の回転量（回転角Ｒ_ＲＣ）を、本体デバイス２における連続的な制御で使用される状態制御命令に変換してもよい。状態制御として、例えば、仮想空間内での回転の位置・速度制御等が挙げられる。

図２０の例では、ディスプレイ４２の画像１０内に、ダイヤルのオブジェクト１８が表示される。ユーザは、回転操作１６ｂに伴う手首の回転量によって、このダイヤルの回転量を操作する。この場合、操作命令変換部８７は、回転量（回転角Ｒ_ＲＣ）をそのまま表示制御部８８へ出力し、表示制御部８８は、この回転量に応じてダイヤルの回転量の表示を逐次更新する。

なお、ユーザは、例えば、ダイヤルのオブジェクト１８にポインティングビームを合わせた状態で、突き出し操作１６ｃを行ったのちに回転操作１６ｂを行ってもよい。この場合、表示制御部８８は、図１７の操作命令変換部８７ａからの突き出し操作１６ｃに応じたトリガ命令を受けてオブジェクト１８を選択し、その状態で、操作命令変換部８７からの回転量（回転角Ｒ_ＲＣ）に応じてダイヤルの回転量の表示を逐次更新する。これにより、例えば、ポインティングビームがたまたま横切っただけでダイヤルの値が変更されてしまうような事態を防止できる。

《実施の形態３の主要な効果》
以上、実施の形態３のヘッドマウント情報処理装置を用いることで、実施の形態１等で述べた各種効果に加えて、ユーザは、手首の回転操作によって本体デバイス２に対して連続的な制御（状態制御）を行うことが可能になる。

（実施の形態４）
《コントローラの装着箇所（変形例）》
図２１は、本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。ユーザは、図２１に示されるように、コントローラ３を手首ではなく、手（甲または掌位置）に巻いた状態で使用してもよい。この場合、手首に巻く場合と比較して手の自由度が低下するものの、ユーザは、掌部分の向きでポインティングビームの方向を制御できるため、腕の方向を大きく変更しなくて済む。

ただし、この場合、手首の回転軸（腕の方向）とポインティングビームの方向を決めるコントローラ３の軸線方向が一致しない状態になり得る。このため、手首の回転を検出するために、手首部分に、別途、角速度センサ１０１を搭載したベルト１００等を装着する方式にしてもよい。手首の角速度センサ１０１により手首の回転を検出した場合は、図１３Ａまたは図１３Ｂの場合と同様に、ポインティングビームの指し位置を変化させないような制御を行ってもよい。

図２２は、図２１のヘッドマウント情報処理装置において、ディスプレイに表示される画像の一例を示す図である。コントローラ３を図２１のような箇所に装着した場合、手の位置がポインティングビームの起点になるため、手の移動により、起点の移動を行ってもよい。この場合、図２２に示されるように、起点の位置１０５を表示することが望ましい。手の位置は、コントローラ３内の加速度センサ３０を使用して検出することができる。なお、ここでは、ユーザは、コントローラ３を手に巻いた状態で使用したが、場合によっては、指に巻いた状態で使用してもよい。

《ユーザ座標系（変形例）》
図２３は、本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。ユーザ座標系は、図１０に示したような本体デバイス２に固定される座標系の他に、図２３に示されるように、ユーザの胴体に固定される座標系であってもよい。図２３の例では、胴体の正面水平方向がＸ軸とされ、水平面内でユーザの左手方向がＹ軸とされ、垂直方向がＺ軸とされる。

本体デバイス２と胴体との位置関係は、例えば、本体デバイス２のカメラ４０等で胴体を撮像し、画像解析を行うこと検出することができる。あるいは、胴体に、別途、姿勢センサを設置することで検出することも可能である。ポインティングビームの指し位置は、腕の方向で制御されるため、このように、胴体に固定された座標系を基準にポインティングビームを表示することで、よりユーザの体感に合った制御ができる場合がある。

（実施の形態５）
《ＨＭＤにおけるその他の変形例》
《複合センサ》
例えば、図５において、コントローラ３に搭載されるジャイロセンサ３１の検出結果とカメラ２０の撮像画像との組み合わせによって、ポインティングビームの指し位置を制御することも可能である。具体的には、例えば、コントローラ３は、カメラ２０の撮像画像に基づいて、手の甲（または掌でもよい）の特徴点の方向を検出し、当該特徴点の基準点からの方向変化分を画像処理によって検出する。

そして、図６Ｂの方向検出部９１は、位置・姿勢センサ５の検出結果に基づいて検出されるコントローラ３の方向に、当該カメラ２０の撮像画像に基づいて検出される手の方向を加えた方向を、操作命令変換部８７へ出力する。これにより、表示制御部８８は、腕の方向の変化分に、手の特徴点の方向変化分を加えた分だけコントローラ座標系が回転したものとみなして、ポインティングビームの指し位置を制御する。

詳細な処理内容として、例えば、図６Ｂの方向検出部９１は、変更されたコントローラ座標系の回転をｑ_ＣＳＭとして、式（１４）で算出される回転ｑ_ＣＳの代わりに用いる。コントローラ座標系において、手の甲の特徴点の基準位置での単位方向ベクトルをｎ_Ｈ０、カメラ２０の撮像画像に基づいて逐次検出される特徴点の単位方向ベクトルをｎ_Ｈとすると、基準位置からの回転ｑ_Ｈは、式（６）の正規化四元数Ｒ（ｎ_１，ｎ_２）を用いて、式（３０）で求められる。この回転ｑ_Ｈは、例えば、コントローラ３のＣＰＵ２２を用いて算出され、本体デバイス２へ送信される。
ｑ_Ｈ＝Ｒ（ｎ_Ｈ０，ｎ_Ｈ） …（３０）

回転ｑ_Ｈは、コントローラ座標系における表現であり、初期座標系では式（３１）の回転ｑ_ＨＳで表現される。これにより、変更されたコントローラ座標系の回転ｑ_ＣＳＭは、回転ｑ_ＣＳに回転ｑ_ＨＳを加えて式（３２）で求まる。方向検出部９１は、例えば、手首の回転に応じて自身で算出した回転ｑ_ＣＳと、コントローラ３から受信した回転ｑ_Ｈとを用いて式（３１）および式（３２）を演算することで、回転ｑ_ＣＳＭを求める。
ｑ_ＨＳ＝ｑ_ＣＳｑ_Ｈｑ_ＣＳ ^＊ …（３１）
ｑ_ＣＳＭ＝ｑ_ＨＳｑ_ＣＳ＝ｑ_ＣＳＲ（ｎ_Ｈ０，ｎ_Ｈ） …（３２）

このような複合センサを用いることにより、ユーザは、手首にコントローラ３を装着した状態で、あたかも、手の甲にコントローラ３を設置しているかのようにポインティングビームの指し位置を操作することができる。これにより、ユーザは、手の甲にコントローラ３を設置する煩わしさから解放されると共に、腕をさほど大きく動かすことなく、腕の方向と手の方向とを組み合わせてポインティングビームの指し位置を操作することが可能になる。その結果、ユーザの利便性の向上が図れる。

《ポインティングビームの回転角制御》
前述した図９の例では、コントローラ３の角度変化量αと、ポインティングビームの角度変化量αとが同じである場合を示したが、ポインティングビームの角度変化量は、コントローラ３の角度変化量よりも大きい、または小さくてもよい。これにより、ユーザは、例えば、腕の動きを抑えた状態でポインティングビームの指し位置を操作することや、または、指し位置をきめ細かく制御すること等が可能になる。その結果、ユーザの利便性の向上が図れる。

詳細な処理内容として、例えば、図６Ｂの表示制御部８８は、コントローラ３の角度変化量に係数を掛けて、ポインティングビームの指し位置の角度変化量を制御する。具体的には、表示制御部８８は、正の係数をｗとして、回転ｑ_ＣＳの代わりに式（３４）のように角度変化量をｗ倍に変更した回転ｑ_ＣＳｍを使用して、ポインティングビームの指し位置を制御する。式（３４）では、回転ｑ_ＣＳが表す角度変化量がλとされ、角度変化量λは、回転ｑ_ＣＳの実数部分を用いて式（３３）で求まる。なお、式（３３）におけるｃｏｓ^－１は、０からπの値を取る。
｜λ｜＝２ｃｏｓ^－１（Ｓｃ（ｑ_ＣＳ）） …（３３）
ｑ_ＣＳｍ＝ｃｏｓ（ｗ｜λ｜／２）＋ｓｉｎ（ｗ｜λ｜／２）Ｖｃ（ｑ_ＣＳ）／ｓｉｎ（｜λ｜／２） …（３４）

《タイムアウト機能》
コントローラ３を使用するか否か（すなわちオン・オフ）を切り替える場合、明示的なスイッチ等を設けてもよいが、自動的にオン・オフを切り替える機能を設けることも可能である。具体的には、本体デバイス２は、例えば、操作命令変換部８７からのトリガ命令が一定期間発行されなかった場合、タイムアウトとしてコントローラ３からの入力を無効にする。その後、コントローラからの入力を再開する場合には、例えば、ユーザに初期化コマンドを発行させる。

例えば、作業支援等のアプリケーションを実行している場合、ユーザは、トリガ命令（コマンド）を発行する意図ではなく、手首の回転等を行うことがある。この際に、手首の回転等がトリガ命令と解釈されたら不都合が生じ得る。そこで、本体デバイス２は、トリガ命令が一定期間発行されなかった場合、コントローラ３からの入力を無効にする。これにより、ユーザの利便性の向上が図れる。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１：ヘッドマウント情報処理装置（ＨＭＤ）、２：本体デバイス、３，３ａ，３ｂ：コントローラ、５：位置・姿勢センサ、１０：画像、１１：オブジェクト、１２：ポインティングビーム、１５：コントローラの方向、１６ａ：方向操作、１６ｂ：回転操作、１６ｃ：突き出し操作、１７，１８：オブジェクト、２０：カメラ、２１：測距センサ、２２：ＣＰＵ、２３：メモリ、２４：近接通信インタフェース、２５：アンテナ、２６：バス、３０：加速度センサ、３１：ジャイロセンサ、３２：地磁気センサ、３５：プログラム、３６：情報データ、４０：カメラ、４１：測距センサ、４２：ディスプレイ、４３：音声出力部、４４：マイク、４５：位置・姿勢センサ、４６：ＣＰＵ、４７：メモリ、４８：通信インタフェース、４９：アンテナ、５０：近接通信インタフェース、５１：アンテナ、５２：バス、５５：スピーカ、５６：イヤホン、６０：加速度センサ、６１：ジャイロセンサ、６２：地磁気センサ、６３：ＧＰＳ受信器、６５：プログラム、６６：情報データ、６６ａ：座標系情報、６６ｂ：操作命令情報、７０：制御部、７５：センサデータ処理部、７６：通信制御部、８０：制御部、８５：通信制御部、８６：センサデータ処理部、８７：操作命令変換部、８８：表示制御部、８９：表示調整部、９１：方向検出部、９２：回転検出部、９３：原点座標検出部、９４：突出検出部、１００：ベルト、１０１：角速度センサ、１０５：起点の位置、１１０：コントローラ。

Claims (9)

1. ユーザの頭部に装着された状態で使用される本体デバイスと、前記ユーザの手首または手に装着された状態で使用され、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置であって、
   前記コントローラは、
   前記本体デバイスと通信を行う近接通信インタフェースと、
   前記コントローラの位置・姿勢を検出する位置・姿勢センサと、
   を有し、
   前記本体デバイスは、
   前記コントローラと通信を行う近接通信インタフェースと、
   所定の画像を表示するディスプレイと、
   を有し、
   前記コントローラまたは前記本体デバイスは、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を演算によって検出する方向検出部と、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を演算によって検出する回転検出部と、
   前記方向検出部の検出結果および前記回転検出部の検出結果を、前記本体デバイスに対する命令に変換する操作命令変換部と、
   を有し、
   前記本体デバイスは、ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を移動命令に応じて制御し、前記２次元空間上での指し位置が指すオブジェクトをトリガ命令に応じて選択する表示制御部を有し、
   前記ユーザは、腕の方向によって前記コントローラの方向を変えることで、前記ディスプレイに表示される前記２次元空間上での指し位置を動かし、手首の回転によって前記コントローラを回転させることで、前記２次元空間上での指し位置が指す前記オブジェクトを選択し、
   前記操作命令変換部は、前記方向検出部によって検出された前記コントローラの方向を前記移動命令に変換し、前記回転検出部によって検出された前記コントローラの回転を前記トリガ命令に変換する、
   ヘッドマウント情報処理装置。
2. 請求項１記載のヘッドマウント情報処理装置において、
   前記操作命令変換部は、前記回転検出部によって検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
   前記表示制御部は、前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
   ヘッドマウント情報処理装置。
3. 請求項１記載のヘッドマウント情報処理装置において、
   前記操作命令変換部は、前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
   前記表示制御部は、前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
   ヘッドマウント情報処理装置。
4. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラまたは前記本体デバイスは、さらに、前記位置・姿勢センサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出する突出検出部を有し、
   前記操作命令変換部は、さらに、前記突出検出部によって検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
   ヘッドマウント情報処理装置。
5. 請求項１記載のヘッドマウント情報処理装置において、
   前記本体デバイスは、前記操作命令変換部からの前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
   ヘッドマウント情報処理装置。
6. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラは、
   前記位置・姿勢センサの一つである３軸角速度センサと、
   前記ユーザの手を撮像するカメラと、
   を備え、
   前記方向検出部は、前記位置・姿勢センサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を、前記操作命令変換部へ出力する、
   ヘッドマウント情報処理装置。
7. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラは、ウォッチ型の携帯情報端末である
   ヘッドマウント情報処理装置。
8. ユーザの頭部に装着された状態で使用される本体デバイスと、前記ユーザが手に所持した状態で使用され、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置であって、
   前記コントローラは、
   前記本体デバイスと通信を行う近接通信インタフェースと、
   前記コントローラの位置・姿勢を検出する位置・姿勢センサと、
   を有し、
   前記本体デバイスは、
   前記コントローラと通信を行う近接通信インタフェースと、
   所定の画像を表示するディスプレイと、
   を有し、
   前記コントローラまたは前記本体デバイスは、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を演算によって検出する方向検出部と、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を演算によって検出する回転検出部と、
   前記方向検出部の検出結果および前記回転検出部の検出結果を、前記本体デバイスへの命令に変換する操作命令変換部と、
   を有し、
   前記本体デバイスは、ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を移動命令に応じて制御し、前記２次元空間上での指し位置が指すオブジェクトをトリガ命令に応じて選択する表示制御部を有し、
   前記ユーザは、手の方向によって前記コントローラの方向を変えることで、前記ディスプレイに表示される前記２次元空間上での指し位置を動かし、前記コントローラを所持した状態での手首の回転によって、前記２次元空間上での指し位置が指す前記オブジェクトを選択し、
   前記操作命令変換部は、前記方向検出部によって検出された前記コントローラの方向を前記移動命令に変換し、前記回転検出部によって検出された前記コントローラの回転を前記トリガ命令に変換する、
   ヘッドマウント情報処理装置。
9. ユーザの頭部に装着された状態で使用される本体デバイスと、前記ユーザの手首または手に巻いた状態で使用され、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置の制御方法であって、
   前記コントローラは、前記本体デバイスと通信を行う近接通信インタフェースと、前記コントローラの位置・姿勢を検出する位置・姿勢センサと、を有し、
   前記本体デバイスは、前記コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有し、
   前記本体デバイスは、ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を移動命令に応じて制御し、前記２次元空間上での指し位置が指すオブジェクトをトリガ命令に応じて選択し、
   前記ユーザは、腕の方向によって前記コントローラの方向を変えることで、前記ディスプレイに表示される２次元空間上での指し位置を動かし、手首の回転によって前記コントローラを回転させることで、前記２次元空間上での指し位置が指す前記オブジェクトを選択し、
   前記制御方法は、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を演算によって検出する第１の工程と、
   前記位置・姿勢センサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を演算によって検出する第２の工程と、
   前記第１の工程での検出結果での検出結果を前記移動命令に変換し、前記第２の工程での検出結果を前記トリガ命令に変換する第３の工程と、
   を有する、
   ヘッドマウント情報処理装置の制御方法。

Images