JP2024035544A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】コントローラを用いて、表示装置に表示されたオブジェクトをより適切に制御することが可能な技術を提供する。【解決手段】情報処理装置は、コントローラに対する２次元操作の操作情報を取得する取得手段と、前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、を有する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

表示装置に仮想オブジェクトを描画可能であり、かつ、コントローラによって仮想オブジェクトを制御可能なｘＲシステムがある。このようなｘＲシステムは、ゲームまたはシミュレーションなどの用途において、仮想オブジェクトを移動させることがある。このとき、ｘＲシステムは、コントローラに備わった装置を用いてユーザの操作を検出して、ユーザの操作に応じて仮想オブジェクトを制御する。

ユーザの操作をユーザの意図通りに仮想オブジェクトの制御に反映させるために、コントローラの向きを特定の向きに合わせてから、コントローラに操作を行う必要があることがある。しかし、コントローラの形状などによっては、ユーザがコントローラの向きを認識しにくい場合が考えられる。また、表示装置が頭部に装着されて、ユーザの視界が遮られた状態では、ユーザがコントローラの向きを認識することがより困難となる。

そこで、特許文献１には、外部に設置したマーカーをコントローラのカメラで検出することでコントローラの位置を特定し、その位置の情報とユーザの操作に基づき、仮想オブジェクトを移動させる技術が記載されている。

特開２００７－８０００２号公報

しかし、特許文献１では、コントローラの位置を特定するために、コントローラのカメラによってマーカーを検出していなければならず、マーカーが存在する方向にコントローラを向けている必要がある。そのため、コントローラとマーカーが障害物で遮られた場合などでは、コントローラの位置を特定することができず、表示装置における仮想オブジェクトを適切に制御できないことがあった。

本発明は、コントローラを用いて、表示装置に表示されたオブジェクトをより適切に制御することが可能な技術を提供することを目的とする。

本発明の１つの態様は、
コントローラに対する２次元操作の操作情報を取得する取得手段と、
前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、
を有することを特徴とする情報処理装置である。

本発明の１つの態様は、
コントローラに対する２次元操作の操作情報を取得する取得手段と、
前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表
示されたオブジェクトを制御する制御手段と、
を有することを特徴とする情報処理装置である。

本発明の１つの態様は、
コントローラに対する２次元操作の操作情報を取得する取得ステップと、
前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
を有することを特徴とする情報処理方法である。

本発明の１つの態様は、
コントローラに対する２次元操作の操作情報を取得する取得ステップと、
前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
を有することを特徴とする情報処理方法である。

本発明によれば、コントローラを用いて、表示装置に表示されたオブジェクトをより適切に制御することが可能になる。

表示装置の構成図である。 コントローラの構成図である。 コントローラの外観図である。 操作座標系と表示座標系を説明する図である。 操作座標系と表示座標系を説明する図である。 コントローラの処理を示すフローチャートである。 表示装置の処理を示すフローチャートである。 操作情報を補正した場合の操作座標系と表示座標系を説明する図である。 補正角を説明する図である。 操作座標変化角を説明する図である。 表示座標変化角を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。 基本座標系例を説明する図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、表示装置１００の構成例を示す。表示装置１００は、例えば、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）である。表示装置１００は、ＣＰＵ１０１、ＧＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、表示部１０５、通信部１０６、慣性計測装置１０７、地磁気センサ１０８、システムバス１０９を有する。

ＣＰＵ１０１は、システムバス１０９に接続された各構成を制御する制御部である。ＣＰＵ１０１は、ＲＡＭ１０４をワークメモリとして用いて、ＲＯＭ１０３に格納されたプログラムを実行する。このことによって、ＣＰＵ１０１は、各構成を制御する。

ＧＰＵ１０２は、仮想空間上に仮想オブジェクトを描画するグラフィックス処理装置である。ＲＯＭ１０３に格納されたプログラムには、後述するコントローラ２００の操作情報の補正処理を実現するプログラムが含まれる。

表示部１０５は、描画されたグラフィックスを表示する出力機器（液晶パネルまたは有機ＥＬパネルなど）である。

通信部１０６は、有線または無線によって通信を行うことが可能である。通信部１０６は、コントローラ２００の通信部２０５と通信して、データの送受信を行う。

慣性計測装置１０７は、表示装置１００の姿勢および動きを検出するセンサである。地磁気センサ１０８は、表示装置１００の方角（向き）を検出するセンサである。

なお、表示装置１００は、表示部１０５を制御する情報処理装置（表示制御装置）と表示部１０５とから構成されていてもよい。この場合には、情報処理装置は、表示装置１００の表示部１０５以外の構成（ＣＰＵ１０１、慣性計測装置１０７および地磁気センサ１０８など）を有する。

図２は、コントローラ２００の構成例を示す。コントローラ２００は、例えば、図３に示すような、リング型の形状であり、かつ、ユーザの指に装着可能なコントローラである。コントローラ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入力装置２０４、通信部２０５、慣性計測装置２０６、地磁気センサ２０７、システムバス２０８を有する。

ＣＰＵ２０１は、システムバス２０８に接続された各構成を制御する制御部である。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして用いて、ＲＯＭ２０２に格納されたプログラムを実行する。このことによって、ＣＰＵ２０１は、各構成を制御する。

ＲＯＭ２０２に格納されたプログラムは、後述するコントローラ２００の操作情報や状態情報（姿勢、動きまたは方角の情報）を表示装置１００に送信する処理を実現するプログラムを含む。

入力装置２０４は、ユーザの操作を検出する装置である。入力装置２０４は、例えば、図３に示すようなリング形状のコントローラ２００の側面に備えられている。入力装置２０４は、実施形態１では、平面的な移動量（ユーザの２次元操作）を感知できるタッチパッドセンサ（オプティカルトラックパッド）である。しかし、入力装置２０４は、例えば、平面的な移動操作を受付可能な操作部材であれば、任意の操作部材（スティックまたはタッチパネルなど）であってよい。

通信部２０５は、有線または無線によって通信を行うことが可能である。通信部２０５は、表示装置１００の通信部１０６と通信して、データの送受信を行う。

慣性計測装置２０６は、コントローラ２００の姿勢および動きを検出するセンサである。地磁気センサ２０７は、コントローラ２００の方角（向き）を検出するセンサである。

（操作座標系および表示座標系について）
図４および図５を参照して、コントローラ２００の操作座標系Ｃと表示装置１００の表示座標系Ｄについて説明する。コントローラ２００の操作座標系Ｃとは、コントローラ２００のタッチパッドセンサの２次元座標系であり、かつ、２次元操作の操作方向を定めるための座標系である。表示装置１００の表示座標系Ｄとは、表示装置１００（表示部１０５）における表示位置を定めるための２次元座標系である。

なお、以下では、コントローラ２００の向きとは、図３に示すように、入力装置２０４のタッチパッドセンサの面と平行な方向の１つである向き２１０であるとする。表示装置１００の向きとは、図４に示すように、表示装置１００（表示部１０５）の前面方向（正面方向）の向き２１１であるとする。また、本実施形態では、向き２１０は、操作座標系ＣのＹ軸方向Ｃｙに対応し、向き２１１は、表示座標系ＤのＹ軸方向Ｄｙに対応するものとする。

図４および図５は、表示装置１００に表示される画像が表す仮想空間と現実空間とを融合した複合空間を表現した図である。図４および図５を用いて、ユーザが表示装置１００を頭部に装着し、かつ、コントローラ２００を指に装着した状態で、表示装置１００に表示（描画）されている仮想オブジェクトを移動させる例を説明する。

図４は、表示装置１００およびコントローラ２００が共にユーザの前面方向を向いている場合における複合空間を示している。複合空間（仮想空間）では、仮想オブジェクト３００がユーザの目から適度な距離だけ離れた位置（空中）に存在する。

図４では、向き２１０と向き２１１とが一致しており、操作座標系Ｃの２軸方向（Ｘ軸方向およびＹ軸方向）と、表示座標系Ｄの２軸方向とが一致している。つまり、操作座標系ＣのＸ軸方向Ｃｘと表示座標系ＤのＸ軸方向Ｄｘとが一致しており、かつ、操作座標系ＣのＹ軸方向Ｃｙと表示座標系ＤのＹ軸方向Ｄｙとが一致している。

コントローラ２００の入力装置２０４は、表示装置１００に表示されている仮想オブジェクト３００を移動させるためのユーザ操作４００（操作座標系における２次元操作）を検出する。そして、コントローラ２００は、ユーザが前方方向に指をスライドしたことに対応するユーザ操作４００の情報（操作情報）を表示装置１００に送信する。

表示装置１００は、受信したユーザ操作４００の操作情報に応じて、仮想オブジェクト３００の移動ベクトル（移動量および移動方向）を示す移動情報４０１を算出する。例えば、表示装置１００は、ユーザ操作４００のＸ軸方向成分とＹ軸方向成分に定数を乗算する。そして、表示装置１００は、定数が乗算されたＸ軸方向成分とＹ軸方向成分とを、表示座標系におけるＸ軸方向成分とＹ軸方向成分として扱うようなベクトルを示す移動情報４０１を算出する。その後、表示装置１００は、移動情報４０１に従って、仮想オブジェクト３００を移動目標位置３０１に移動させる。この場合には、上述のように、操作座標系Ｃと表示座標系Ｄでは２軸方向が一致しているため、実際にユーザがスライドする操作を行った方向に仮想オブジェクト３００が移動する。

図５は、ユーザが無意識の内に手を強く握るなどによって、コントローラ２００が表示装置１００と異なる向きを向いている場合における複合空間を示している。

図５に示す複合空間（仮想空間）では、仮想オブジェクト３０２が、ユーザの目の前から適度な距離だけ離れた位置（空中）に存在する。このとき、向き２１０と向き２１１とが一致しておらず、コントローラ２００の操作座標系Ｃの２軸方向（Ｘ軸方向とＹ軸方向）と表示装置１００の表示座標系Ｄの２軸方向とが一致していない。

コントローラ２００の入力装置２０４は、表示装置１００に表示されている仮想オブジェクト３００を移動させるための２次元操作であるユーザ操作４００を検出する。すると、コントローラ２００は、ユーザが前方方向に指をスライドしたことに対応するユーザ操作４０２の操作情報を表示装置１００に送信する。表示装置１００は、ユーザ操作４０２の操作情報に応じて、仮想オブジェクトの移動情報４０３を算出する。ここで、操作座標系Ｃの２軸方向と表示座標系Ｄの２軸方向とが一致していないため、ユーザの意図（仮想オブジェクト３００を前方方向に移動させる意図）とは異なる移動を実行するような移動情報４０３が算出されてしまう。このため、ユーザが意図する移動目標位置３０４とは異なる移動目標位置３０３に仮想オブジェクト３０２が移動してしまう。

そこで、実施形態１では、表示装置１００は、操作座標系Ｃと表示座標系Ｄとの対応関係に応じてユーザ操作４０２の操作情報を補正して、補正された操作情報に基づき移動情報４０４を算出する。そして、表示装置１００は、移動情報４０４に従って、仮想オブジェクト３００を適切な移動目標位置３０４に移動させる。

そこで、以下では、操作座標系Ｃと表示座標系Ｄとの対応関係に応じてユーザ操作の情報を補正する処理について説明する。また、操作座標系Ｃと表示座標系Ｄとの対応関係とは、操作座標系Ｃの向き（操作座標系Ｃの基準方向（Ｙ軸方向など）の向き）と表示座標系Ｄの向き（表示座標系Ｄの基準方向（Ｙ軸方向など）の向き）との差分によって示される関係である。

（コントローラの処理）
図６は、ユーザの意図に合致するような位置に仮想オブジェクトを移動させるためのコントローラ２００の処理を示すフローチャートである。

ステップＳ６００では、ＣＰＵ２０１は、入力装置２０４によってユーザの２次元操作（例えば、スライド操作）をユーザ操作として検出したか否かを判定する。ユーザ操作が検出されたと判定された場合には、ステップＳ６０１に進む。ユーザ操作が検出されていないと判定された場合には、ステップＳ６００の処理が繰り返される。

ステップＳ６０１では、ＣＰＵ２０１は、操作座標系Ｃにおけるユーザ操作の操作情報（操作ベクトル；操作量および操作方向）を取得する。

ステップＳ６０２では、ＣＰＵ２０１は、基準座標系Ｇにおけるコントローラ２００の向きの情報（以下、「コントローラ方角情報」と呼ぶ）を取得する。基準座標系Ｇについては後述にて詳細に説明するが、例えば、基準座標系Ｇは、地磁気センサ１０８および地磁気センサ２０７の測定値に応じた座標系である。具体的には、基準座標系Ｇは、例えば、東西方向をＸ軸方向として、南北方向をＹ軸方向とするような座標系である。

ステップＳ６０３では、ＣＰＵ２０１は、通信部２０５を制御して、コントローラ方角情報と操作情報とを表示装置１００に送信する。

（表示装置の処理）
図７のフローチャートおよび、図８～図１１を用いて、ユーザの意図に合致するような位置に仮想オブジェクトを移動させるための表示装置１００の処理について説明する。

ステップＳ７００では、ＣＰＵ１０１は、ユーザの操作対象である仮想オブジェクトを表示部１０５に表示する。

ステップＳ７０１では、ＣＰＵ１０１は、通信部１０６を介して、コントローラ２００
からデータを受信したか否かを判定する。コントローラ２００からデータが受信されたと判定された場合には、ステップＳ７０２に進む。コントローラ２００からデータが受信されていないと判定された場合には、ステップＳ７０１の処理が繰り返される。

ステップＳ７０２では、ＣＰＵ１０１は、ステップＳ７０１において受信したデータの中から、操作情報とコントローラ方角情報をコントローラ２００から取得する。

ステップＳ７０３では、ＣＰＵ１０１は、基準座標系Ｇにおける表示装置１００の向きの情報（以下、「表示方角情報」と呼ぶ）を取得する。

ステップＳ７０４では、ＣＰＵ１０１は、コントローラ方角情報と表示方角情報との差分を示す補正角θを算出（決定）する。補正角θは、操作座標系Ｃの向きと表示座標系Ｄの向きとの差分（つまり、操作座標系Ｃと表示座標系Ｄとの対応関係）を示す角度である。そして、ＣＰＵ１０１は、補正角θに基づき操作情報を補正する。具体的には、ＣＰＵ１０１は、操作情報が示すベクトルの方向を補正角θの分だけ調整することによって、操作情報を補正する。その後、ＣＰＵ１０１は、補正された操作情報に基づき移動情報を決定する。

ステップＳ７０５では、ＣＰＵ１０１は、移動情報に従って、表示部１０５に表示されている仮想オブジェクトを移動させる。なお、ＣＰＵ１０１は、仮想オブジェクトを移動させる以外にも、移動情報に応じて、表示装置１００の表示の他の制御（例えば、仮想オブジェクトの大きさを制御すること、または仮想空間上に新たな仮想オブジェクトを描くことなど）を行ってもよい。

図８は、図７のフローチャートに従って仮想オブジェクト３０５を移動した場合を説明する図である。仮想オブジェクト３０５がユーザの目の前から適切な距離だけ離れた位置（空中）に存在する。このとき、表示装置１００およびコントローラ２００は互いに異なる方向を向いている。つまり、操作座標系Ｃの２軸方向（向き）と表示座標系Ｄの２軸方向（向き）とが一致していない。

入力装置２０４は、表示装置１００に表示されている仮想オブジェクト３０５を移動させるためのユーザ操作４０５を検出する。コントローラ２００は、通信部２０５を介して、表示装置１００にユーザ操作４０５の操作情報を送信する。表示装置１００は、操作座標系Ｃと表示座標系Ｄとの対応関係を示す補正角θに基づき操作情報を補正して、補正した操作情報に基づき仮想オブジェクトの移動情報４０６を算出する。これにより、表示装置１００は、移動情報４０６に基づき、仮想オブジェクト３０５を適切な移動目標位置３０６に移動させることができる。

（補正角の他の算出方法）
上記では、コントローラ方角情報と表示方角情報との差分を示す補正角θを算出する方法を説明したが、他の方法を用いることが可能であるため、以下ではその方法を説明する。

図９は、操作座標系Ｃの向きと表示座標系Ｄの向きとの差分（Ｘ軸方向同士の差分、または、Ｙ軸方向同士の差分）を示す補正角θを表している。図１０は、操作座標系Ｃの向きと基準座標系Ｇの向きの差分を示す操作座標変化角θ’を表したものである。図１１は、表示座標系Ｄの向きと基準座標系Ｇの向きとの差分である表示座標変化角θ’’を表したものである。

このため、補正角θは、下記の式１のように、操作座標変化角θ’から表示座標変化角
θ’’を引いた角度である。なお、図９の例では、操作座標系Ｃの向きおよび表示座標系Ｄの向きが、基準座標系Ｇの向きから見て同一の方向に傾いているため、式１によって補正角θが算出可能である。一方で、操作座標系Ｃの向きおよび表示座標系Ｄの向きが、基準座標系Ｇの向きから見て異なる方向に傾いていれば、操作座標変化角θ’と表示座標変化角θ’’とを加算することにより補正角θが算出可能である。
θ=θ’－θ’’ ・・・（１）

そこで、図７のフローチャートのＳ７０４では、ＣＰＵ１０１は、操作座標変化角θ’（基準座標系Ｇの向きと操作座標系Ｃの向きとの差分）と表示座標変化角θ’’（基準座標系Ｇの向きと表示座標系Ｄの向きとの差分）を求めてもよい。そして、ＣＰＵ１０１は、操作座標変化角θ’と表示座標変化角θ’’とから、操作座標系Ｃの向きと表示座標系Ｄの向きとの差分を示す補正角θを求めてもよい。ＣＰＵ１０１は、補正角θに応じてユーザ操作の操作情報を補正して、仮想オブジェクトの移動情報を決定する。

なお、ＣＰＵ１０１は、表示装置１００のカメラでコントローラ２００を撮影した撮像画像に基づき、表示装置１００の向きとコントローラ２００の向きとの差分を示す補正角θを求めてもよい。

（基本座標系例１）
図１２および図１３を参照して、地磁気センサ２０７および地磁気センサ１０８による測定値に応じた基準座標系Ｇの例について説明する。例えば、ＣＰＵ２０１は、図１２に示すように、地磁気センサ２０７から得られる方角の値（測定値）に基づき、東方向（東西方向）を基準座標系ＧのＸ軸方向Ｇｘとして、北方向（南北方向）を基準座標系ＧのＹ軸方向Ｇｙとする。これによって、ＣＰＵ２０１は、基準座標系Ｇにおけるコントローラ２００の向きを示すコントローラ方角情報を算出できる。

同様に、ＣＰＵ１０１は、図１３に示すように、地磁気センサ１０８から得られる方角の値に基づき、東方向を基準座標系ＧのＸ軸方向Ｇｘとして、北方向を基準座標系ＧのＹ軸方向Ｇｙとする。これによって、ＣＰＵ１０１は、基準座標系Ｇにおける表示装置１００の向きを示す表示方角情報を算出できる。

（基本座標系例２）
図１４および図１５を参照して、慣性計測装置２０６および慣性計測装置１０７による測定値に応じた基準座標系Ｇの例について説明する。例えば、ＣＰＵ１０１は、図１４に示すように、表示部１０５の表示面５００に、表示装置１００とコントローラ２００とを特定の位置関係にするためのＵＩ（ＵＩ５０１とＵＩ５０２）を表示する。これによって、ＣＰＵ１０１は、ＵＩ５０１が示す位置へのコントローラ２００の移動をユーザに促す。ユーザは、コントローラ２００を移動操作４０７によって、コントローラ２００の位置を動かす。ＵＩ５０１が示す位置は、例えば、ユーザがコントローラ２００に対する操作をしやすいと想定されるような位置である。

ＣＰＵ１０１は、コントローラ２００がＵＩ５０１の位置に達すると、表示装置１００とコントローラ２００とが特定の位置関係であると判定して、図１５に示すような通知５０３をユーザに行う。通知５０３は、ユーザに対して、表示装置１００とコントローラ２００とが特定の位置関係に達したことを示す。ＣＰＵ１０１は、表示装置１００とコントローラ２００とが特定の位置関係にある状態における、表示装置１００の表示座標系Ｄを基準座標系Ｇ’として、コントローラ２００の操作座標系Ｃを基準座標系Ｇ’’として設定する。設定された基準座標系Ｇ’の情報および、基準座標系Ｇ’’の情報は、ＲＡＭ１０４に格納される。

その後、ＣＰＵ１０１は、この状態（基準状態）からの表示装置１００の累積の移動情報（慣性計測装置１０７を用いて測定可能な移動角度）を表示座標変化角θ’’として算出する。そして、ＣＰＵ２０１は、この状態（基準状態）からのコントローラ２００の累積の移動情報（慣性計測装置２０６を用いて測定可能な移動角度）を操作座標変化角θ’として算出する。その後、ＣＰＵ１０１は、操作座標変化角θ’と表示座標変化角θ’’との差分から、操作座標系Ｃと表示座標系Ｄの対応関係を示す補正角θを算出する。

（基本座標系例３）
図１６～図１９を参照して、慣性計測装置２０６および慣性計測装置１０７による測定値に応じた基準座標系Ｇの例について説明する。図１６は、コントローラ２００への２次元操作に応じて、ユーザの意図する方向に仮想オブジェクトの移動させる例を示す。入力装置２０４は、表示装置１００に表示されている仮想オブジェクト３０７を移動させるためのユーザ操作４０８を検出する。ＣＰＵ１０１は、ユーザ操作４０８の操作情報に基づき、仮想オブジェクト３０７の移動情報４０９を算出し、仮想オブジェクト３０７を仮想オブジェクトの移動目標位置３０８へ移動させる。

図１７は、図１６に示す状態での補正角θを表す。図１８は、操作座標系Ｃの向きと基準座標系Ｇの向きとの差分を示す操作座標変化角θ’を表す。このとき、例えば、タッチパッドセンサの面に平行であり、かつ、水平方向が操作座標系ＣのＸ軸方向Ｃｘである。また、鉛直方向が操作座標系ＣのＹ軸方向Ｃｙである。そして、ＣＰＵ２０１は、慣性計測装置２０６の値を用いることで、水平方向（水平方向かつユーザの前面方向など）を基準座標系ＧのＹ軸方向Ｇｙとして、鉛直方向を基準座標系ＧのＺ軸方向Ｇｚできる。

図１９は、表示座標系Ｄの向きと基準座標系Ｇの向きとの差分を示す表示座標変化角θ’’を表す。このとき、ＣＰＵ１０１は、慣性計測装置１０７の値を用いることで、水平方向を基準座標系ＧのＹ軸方向Ｇｙとして、鉛直方向を基準座標系ＧのＺ軸方向Ｇｚとすることができる。このような場合でも、ＣＰＵ１０１は、操作座標変化角θ’と表示座標変化角θ’’との差分から、操作座標系Ｃと表示座標系Ｄの対応関係を示す補正角θを算出して、補正角θに基づき操作情報を補正する。例えば、ＣＰＵ１０１は、操作情報が示すベクトルを補正角θの分だけＸ軸（Ｘ軸方向Ｃｘ）を中心に回転させる。

本実施形態によれば、操作座標系Ｃと表示座標系Ｄとの対応関係に応じて、仮想オブジェクトの移動が制御される。このため、ユーザが意図した方向に（例えば、ユーザが実際に操作した方向と同じ方向）に仮想オブジェクトを移動させることができる。つまり、コントローラを用いて表示装置の表示をより適切に制御することができる。

なお、表示装置１００は、補正角θに基づき操作情報を補正して、補正した操作情報に従って移動情報を算出していた。一方で、表示装置１００は、補正が行われていない操作情報に従って移動情報を算出した後に、補正角θに基づき移動情報を補正してもよい。

また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」という表現は、「ＡまたはＡよりも大きい（高い；長い；多い）」と置き換えてもよいし、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、置き換えてもよい。一方で、「Ａ以下」という表現は、「ＡまたはＡよりも小さい（低い；短い；少ない）」と置き換えてもよいし、「Ａよりも小さい（低い；短い；少ない）」と
置き換えても読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
［構成１］
コントローラに対する２次元操作の操作情報を取得する取得手段と、
前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、
を有することを特徴とする情報処理装置。
［構成２］
前記制御手段は、前記操作座標系と前記表示座標系との対応関係に基づき前記操作情報を補正して、補正された前記操作情報に基づき前記オブジェクトを制御する、
ことを特徴とする構成１に記載の情報処理装置。
［構成３］
前記操作座標系と前記表示座標系との対応関係は、前記操作座標系の向きと前記表示座標系の向きとの差分により示される関係である、
ことを特徴とする構成１または２に記載の情報処理装置。
［構成４］
前記制御手段は、基準座標系における前記コントローラの向きと前記基準座標系における前記表示装置の向きとの差分から、前記操作座標系の向きと前記表示座標系の向きとの差分を決定する、
ことを特徴とする構成３に記載の情報処理装置。
［構成５］
前記制御手段は、基準座標系の向きと前記操作座標系の向きとの差分と、前記基準座標系の向きと前記表示座標系の向きとの差分とから、前記操作座標系の向きと前記表示座標系の向きとの差分を決定する、
ことを特徴とする構成３に記載の情報処理装置。
［構成６］
前記基準座標系は、地磁気センサの測定値に応じた座標系である、
ことを特徴とする構成４または５に記載の情報処理装置。
［構成７］
前記基準座標系は、慣性計測装置の測定値に応じた座標系である、
ことを特徴とする構成４または５に記載の情報処理装置。
［構成８］
コントローラに対する２次元操作の操作情報を取得する取得手段と、
前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、
を有することを特徴とする情報処理装置。
［構成９］
前記制御手段は、前記オブジェクトを移動させることによって、前記オブジェクトを制御する、
ことを特徴とする構成１から８のいずれか１項に記載の情報処理装置。
［方法１］
コントローラに対する２次元操作の操作情報を取得する取得ステップと、
前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
を有することを特徴とする情報処理方法。
［方法２］
コントローラに対する２次元操作の操作情報を取得する取得ステップと、
前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
を有することを特徴とする情報処理方法。
［プログラム］
コンピュータを、構成１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

１００：表示装置、２００：コントローラ、
１０１：ＣＰＵ、１０５：表示部

Claims (12)

1. コントローラに対する２次元操作の操作情報を取得する取得手段と、
   前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記操作座標系と前記表示座標系との対応関係に基づき前記操作情報を補正して、補正された前記操作情報に基づき前記オブジェクトを制御する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記操作座標系と前記表示座標系との対応関係は、前記操作座標系の向きと前記表示座標系の向きとの差分により示される関係である、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記制御手段は、基準座標系における前記コントローラの向きと前記基準座標系における前記表示装置の向きとの差分から、前記操作座標系の向きと前記表示座標系の向きとの差分を決定する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、基準座標系の向きと前記操作座標系の向きとの差分と、前記基準座標系の向きと前記表示座標系の向きとの差分とから、前記操作座標系の向きと前記表示座標系の向きとの差分を決定する、
   ことを特徴とする請求項３に記載の情報処理装置。
6. 前記基準座標系は、地磁気センサの測定値に応じた座標系である、
   ことを特徴とする請求項４または５に記載の情報処理装置。
7. 前記基準座標系は、慣性計測装置の測定値に応じた座標系である、
   ことを特徴とする請求項４または５に記載の情報処理装置。
8. コントローラに対する２次元操作の操作情報を取得する取得手段と、
   前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御手段と、
   を有することを特徴とする情報処理装置。
9. 前記制御手段は、前記オブジェクトを移動させることによって、前記オブジェクトを制御する、
   ことを特徴とする請求項１または８に記載の情報処理装置。
10. コントローラに対する２次元操作の操作情報を取得する取得ステップと、
    前記コントローラに対する前記２次元操作の操作方向を定める操作座標系と表示装置の表示位置を定める表示座標系との対応関係と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
    を有することを特徴とする情報処理方法。
11. コントローラに対する２次元操作の操作情報を取得する取得ステップと、
    前記コントローラの基準状態からの前記コントローラの移動情報と表示装置の基準状態
    からの前記表示装置の移動情報との差分と、前記操作情報とに基づき、前記表示装置に表示されたオブジェクトを制御する制御ステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１または８に記載の情報処理装置の各手段として機能させるためのプログラム。

Images