JP6548956B2 - システム、方法、およびプログラム - Google Patents

Description

本発明はタッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたディスプレイに表示される３次元仮想空間の座標平面を決定するための装置、方法、およびプログラムに関する。

近年、キーボードなどを有さず、入力がタッチ操作のみのタッチパネル式表示装置を備えた情報処理装置が広まっている。このようなタッチパネル式表示装置は、操作画面と表示画面が一体となっており、ユーザは画面を確認しながら指を画面に接触させて該画面上に示されるポインタを所望の位置に指定することができる。

また、最近ではコンピュータの性能が飛躍的に向上し、３次元仮想空間内に存在するオブジェクトを操作するアプリケーションが存在する。例えば、特許文献１では、タッチパネル式装置を用いて３次元仮想空間の位置にオブジェクトを表示する技術を開示している。

特許第４３５８１８１号公報

しかしながら、特許文献１の技術では、タッチ位置に対応する仮想空間の平面上の位置をタッチ座標とし、該タッチ座標を仮想カメラから延伸する視線方向に沿って仮想空間内に投影した直線がフィールドと交差する交点が、ユーザによって指示された仮想空間における位置として決定される。このためユーザによって指示された位置から３次元仮想空間内の位置を求める計算は複雑であり、装置の処理負荷が増大することがある。

本発明は、上記に鑑みてなされたものであり、タッチパネル式装置を用いた簡易な操作に基づいて、タッチパネル式装置と通信可能に接続されたディスプレイに表示される３次元仮想空間内の座標平面を決定するためのシステム、方法、およびプログラムを提供する。

即ち、本発明は、
（１）タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムにおいて実行される方法であって、
前記タッチパネル式装置の傾きを検出するステップと、
前記タッチパネル式装置の傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を決定するステップと
を備えることを特徴とする、方法に関係する。
（２）本発明の他の実施形態によれば、前記（１）記載の方法であって、
前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出するステップと、
前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換するステップと
をさらに備える、方法を特徴とする。
（３）本発明の他の実施形態によれば、前記（１）記載の方法であって、
前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御するステップをさらに備える方法を特徴とする。
（４）本発明の他の実施形態によれば、前記（１）記載の方法において、
前記座標平面を決定するステップは、前記タッチパネル式装置の傾きと、前記ディスプレイの表示領域に表示される３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を決定することを特徴とする。
（５）本発明の他の実施形態によれば、タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムにおいて実行される方法であって、
前記タッチパネル式装置の傾きを検出するステップと、
前記タッチパネル式装置の傾きと、３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を決定するステップと
前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出するステップと、
前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換するステップと、
前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御するステップと、
を含むことを特徴とする、方法に関係する。
（６）本発明の他の実施形態によれば、前記（５）記載の方法であって、
前記表示制御するステップは、前記タッチ入力の接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動して、前記ディスプレイの表示領域上で前記背景画像とともに表示制御するステップを含むことを特徴とする。
（７）本発明の他の実施形態によれば、前記（１）から（６）のいずれか１項目に記載の方法を、前記システムに搭載されたプロセッサに実行させるためのプログラムに関係する。
（８）本発明の他の実施形態によれば、タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムであって、
前記タッチパネル式装置の傾きを検出する傾き検出部と、
前記タッチパネル式装置の傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を決定する座標平面決定部と
を備えることを特徴とする、システムに関係する。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明によれば、ユーザはタッチパネル式装置を用いた簡易で直感的な操作で、タッチパネル式装置と通信可能に接続されたディスプレイに表示される３次元仮想空間内の座標平面を決定することができる。

本発明の一実施形態に従った、システムの概略図を示す。 本発明の一実施形態に従った、システムの表示処理を実現するための機能的構成を示す。 図３Ａは本発明の一実施例に従った、実空間におけるタッチパネル式装置の姿勢を示す。図３Ｂは該タッチパネル式装置の姿勢に対応するディスプレイの表示領域に示される操作可能な３次元仮想空間内の座標平面を示す。 図４Ａは本発明の一実施例に従った、実空間におけるタッチパネル式装置の姿勢を示す。図４Ｂは該タッチパネル式装置の姿勢に対応するディスプレイの表示領域に示される操作可能な３次元仮想空間内の座標平面を示す。 図５Ａは本発明の一実施例に従った、タッチパネル式装置の接触領域に対する操作軌跡を示す。図５Ｂは本発明の一実施例に従った、該操作軌跡に対応するディスプレイの表示領域に示される操作可能な３次元仮想空間の座標平面内の軌跡を示す。 図６Ａは本発明の一実施例に従った、タッチパネル式装置の接触領域に対する操作軌跡を示す。図６Ｂは本発明の一実施例に従った、該操作軌跡に対応するディスプレイの表示領域に示される操作可能な３次元仮想空間の座標平面内の軌跡を示す。 本発明の一実施例に従った、システムの処理の流れを示すフローチャート図を示す。 図８Ａは本発明の一実施例に従った、３次元実空間上に存在するタッチパネル式装置を示す。図８Ｂは図８Ａに示すタッチパネル式装置の３次元空間上の直交座標系における第１の閾値θｔｈ１と、第２の閾値θｔｈ２を示す。 図９Ａは、本発明の一実施例に従った、３次元実空間内のタッチパネル式装置１３０の姿勢を示す。図９Ｂはタッチパネル式装置が図９Ａの状態である場合に、該状態に対応してＨＭＤの表示領域に示される座標平面と、該座標平面に示されるポインタ（矢印）と、オブジェクト（家）を示す。 図１０Ａは、本発明の一実施例に従った、３次元実空間内のタッチパネル式装置１３０の姿勢を示す。図１０Ｂはタッチパネル式装置が図１０Ａの状態である場合に、該状態に対応してＨＭＤの表示領域に示される座標平面と、該座標平面に示されるポインタ（矢印）と、オブジェクト（家）を示す。 図１１Ａは、本発明の一実施例に従った、３次元実空間内のタッチパネル式装置１３０の姿勢を示す。図１１Ｂはタッチパネル式装置が図１１Ａの状態である場合に、該状態に対応してＨＭＤの表示領域に示される座標平面と、該座標平面に示されるポインタ（矢印）と、オブジェクト（家）を示す。 図１２Ａは、本発明の一実施例に従った、３次元空間上に存在するＨＭＤを示す。図１２Ｂは、図１２Ａに示すＨＭＤの３次元空間上の直交座標系における第１の閾値θｔｈ１と、第２の閾値θｔｈ２を示す。

以下、本発明の一実施形態について説明する。図１は、本発明の一実施例に係るシステムの構成図である。このシステムでは、タッチパネル式装置１３０と本体装置１２０が無線又は有線で通信可能に接続され、本体装置１２０とディスプレイ１１０が無線又は有線で通信可能に接続されている。ディスプレイ１１０は、表示領域１１２を備えている。なお、図１においては、ディスプレイ１１０は頭部装着型の非透過ディスプレイであるが、頭部装着型ではないディスプレイ、例えば据え置き型のディスプレイであっても良い。ディスプレイ１１０がヘッドマウントディスプレイ（ＨＭＤ）である場合、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに画像を提示することが可能である。ＨＭＤを装着したユーザは表示領域１１２に表示される画像のみを観察することができる。
＜本体装置のハードウェア構成＞
本体装置１２０は、プロセッサ、メモリ、通信部（図示せず）を備えることができる。

本体装置１２０のプロセッサは、メモリに記憶されたアプリケーションプログラムを実行することによって、アプリケーション処理（画像処理、ゲーム処理）を実行するものである。

本体装置１２０のメモリはプロセッサによって実行される各種アプリケーションプログラムや、各種アプリケーションプログラムの実行に伴い生じる各種データ（画像処理により生じるデータ、ゲームの結果データ又はゲーム途中のデータ等）を格納することができる。

本体装置の通信部は、タッチパネル式装置１３０から出力された各種データを受信したり、ＨＭＤ１１０の表示領域１１２に対し生成した表示画像を送信したりすることができる。

本体装置１２０は、公知のパーソナルコンピュータ、据え置き型ゲーム機等により実現されうる。本体装置１２０は、図２に示される機能を実現するための装置である。図１において、本体装置１２０はタッチパネル式装置１３０、ＨＭＤ１１０とは別個に構成されているが、本体装置１２０により実現される図２に示される機能の一部又は全部を、機能を実現するために必要とされるハードウェアを備えたタッチパネル式装置１３０又はＨＭＤ１１０に搭載することができる。この場合、本体装置１２０をタッチパネル式装置１３０及び／又はＨＭＤ１１０と一体化することもできる。
＜タッチパネル式装置のハードウェア構成＞
タッチパネル式装置１３０は、タッチパネルに配設されたタッチセンサ１３２と、傾き検出センサ１３４、送信部、メモリ、プロセッサ（図示せず）を備えることができる。タッチパネル式装置１３０は、公知のスマートフォン、タブレット端末、ＰＤＡにより実現され得る。

タッチパネル式装置のタッチセンサ１３２はタッチパネルのタッチ面に対するユーザによるタッチ入力が行われた位置（接触位置）を検出する。ユーザがタッチパネル式装置のタッチパネルに対して指やスタイラスペンを用いてタッチ操作を行うと、タッチセンサ１３２は該操作に関する各種データ（接触位置等）を検出することができる。タッチセンサ１３２は、表示機能を有していなくても良い。本発明においては、ユーザはタッチパネル式装置の表示面を観察せずに、ディスプレイ１１０を観察しながらポインタ等の位置を指定することができるからである。特に、ディスプレイ１１０が非透過型のＨＭＤである場合、ユーザは保持しているタッチパネル式装置１３０の表示面を観察することはできないため、表示機能は不要である。

タッチパネル式装置の傾き検出センサ１３４は、タッチパネル式装置１３０の３次元実空間の直交座標系におけるＸＹＺ軸回りの角速度を検出するためのものであり、例えばジャイロセンサにより実現され得る。３次元実空間の直交座標系と、タッチパネル式装置との関係は図８Ａ、８Ｂに示される。図８Ａ、８Ｂにおいて、ユーザが直立する方向である垂直方向をＹ軸とし、Ｙ軸と直交しタッチパネル式装置の奥行き方向の軸をＺ軸、Ｙ、Ｚ軸と直交し、タッチパネル式装置の横幅方向の軸をＸ軸とする。

タッチパネル式装置の送信部は、タッチパネル式装置のメモリに格納された、タッチパネル式装置に対して行われたユーザ操作に関する操作入力情報、即ち、タッチセンサ１３２が検出したタッチ面に対する接触位置、傾き検出センサ１３４が検出したタッチパネル式装置１３０の３次元実空間での筐体のＸＹＺ軸回りの角速度等を、本体装置１２０からのリクエストに応じて出力データとして送信することができる。

タッチパネル式装置のメモリは、各センサより出力されたタッチパネル式装置に対して行われた操作入力情報を格納する。
タッチパネル式装置のプロセッサは、各センサを機能させたり、タッチパネル式装置の送信部に対しメモリに格納された操作入力情報を本体装置１２０へ出力させたり等、タッチパネル式装置を機能させるための各種処理を行う。

図２は、本発明の一実施例に係るシステムの機能的構成図である。本体装置１２０は、ＣＰＵなどの演算部に組み込まれたプログラムで制御された、接触位置検出部２０２と、傾き算出部２０４と、座標平面決定部２０６と、座標変換部２０８と、表示制御部２１０とを備えている。なお、図２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。

接触位置検出部２０２は、タッチセンサ１３２より出力された接触位置に基づいて、タッチパネル式装置１３０のタッチセンサ１３２のタッチ面に対するタッチ入力の接触領域に対する接触位置を検出することができる。具体的には、タッチセンサ１３２がタッチパネル式装置１３０のタッチ面に対する接触を検知すると、接触位置検出部２０２は、該接触の接触位置を受信し、該情報に基づいてタッチパネル式表示装置のタッチ面上の直交するｘ、ｙ軸に基づいて、接触点の座標を接触位置Ｔ（ｘｔ、ｙｔ）として検出する。なお、接触位置検出部２０２は、タッチ面に対するタッチ入力の接触位置の検出だけではなく、タッチ面に指が接触したまま指がタッチ面を移動するスワイプ操作、タッチ面を叩くと言った短時間の接触によるタップ操作の検出を行うことができる。さらに、接触位置検出部２０２はスワイプ操作によるスワイプ速度、スワイプ方向を検出することもできる。なお、以下では、タッチ入力が指でなされる場合を例示して説明するが、指でなされることに限定されない。接触位置検出部２０２は、所定期間に亘って、タッチパネルに対し連続した入力が行われる間、これらデータの検出を繰り返し実行する。

傾き算出部２０４は、傾き検出センサ１３４により出力された各軸周りの角速度に基づいて、タッチパネル装置１３０の３次元実空間での傾き（図８Ａ，Ｂに示すＸ軸を軸とした回転を示すピッチ角θ、Ｙ軸を軸とした回転を示すヨー角、Ｚ軸を軸とした回転を示すロール角）を算出することができる。傾き算出部２０４は、所定期間に亘って傾きの算出を繰り返し実行する。

座標平面決定部２０６は、傾き算出部２０４が算出したタッチパネル式装置の３次元実空間での傾きに応じて、タッチパネル式装置のタッチ面に対応させる、ディスプレイに表示される３次元仮想空間で操作可能な座標平面を決定する。例えば、座標平面決定部２０６は、タッチパネル式装置の傾き（ピッチ角θ）が所定の閾値以内にあるかを判定し、所定の閾値以内である場合に、該所定の閾値に対応する３次元仮想空間内の座標平面が選択されたとして、ディスプレイに表示される３次元仮想空間での操作可能な座標平面を決定する。

より詳細には、タッチパネル式装置の傾き（ピッチ角θ）が図８Ａに示す第１の閾値θｔｈ１内にある場合には、座標平面決定部２０６は、タッチパネル式装置のタッチ面を、該第１の閾値に対応する３次元仮想空間内のｘｖ−ｙｖで構成される座標平面を操作可能な座標平面として決定することができる。タッチパネル式装置の傾き（ピッチ角θ）が第２の閾値θｔｈ２内にある場合には、座標平面決定部２０６は、タッチパネル式装置のタッチ面を、該第２の閾値に対応する３次元仮想空間内のｘｖ−ｚｖで構成される座標平面を操作可能な座標平面として決定することができる。θｔｈ１、θｔｈ２の値は事前に設定することができ、例えば第１の閾値θｔｈ１は、９０°を中心として±２０°（７０°〜１１０°）、第２の閾値θｔｈ２は、０°を中心として±２０°（−２０°〜２０°）とすることができる。ユーザがアプリケーション操作中に無意識にタッチパネル式装置を傾けることによって通常推移するＨＭＤのピッチ角が例えば±１０°程度であるとき、アプリケーション操作中の無意識に行われるユーザ操作と、座標変換するために意識的にタッチパネル式装置を傾ける操作とを明確に区別するために、アプリケーション操作中の通常の動作範囲よりも一定角度（例えば１０°）以上大きい角度を閾値として設定することで、誤作動をなくすことができる。さらに、座標平面決定部２０６は、タッチパネル式装置の傾きに加えて、ディスプレイの表示領域に表示される３次元仮想空間の操作位置を表すポインタの操作開始位置に応じて、タッチパネル式装置のタッチ面に対応させる、操作可能な３次元仮想空間の座標平面を決定することができる。なお、座標平面決定部２０６は、タッチパネル式装置の傾き（ヨー角、ロール角）が所定の閾値以内にあるかを判定し、所定の閾値以内である場合に、該所定の閾値に対応する３次元仮想空間内の座標平面が選択されたとして、３次元仮想空間での操作可能な座標平面を決定することもできる。

座標変換部２０８は、接触位置検出部２０２が検出したタッチパネル式装置の２次元のタッチパネル座標系で示されるタッチ面に対する接触位置を、タッチパネル式装置の傾きに応じて決定された３次元仮想空間の座標系の座標平面上の位置へ変換する。本発明によると、タッチパネル式装置のタッチパネル座標系は２次元であるが、ユーザはタッチパネル式装置の傾きに応じて決定された、操作可能な３次元仮想空間の座標平面に示されるポインタを、タッチパネル式装置の２次元のタッチパネル座標系で構成されるタッチ面上でスワイプ操作することによって移動させることができる。このため本発明においては、タッチパネル式装置の傾き操作、タッチパネル式装置のタッチ面のスワイプ操作により、複雑な計算を要することなく簡易で直感的な操作で、３次元仮想空間の各軸方向への位置を指定することができる。

表示制御部２１０は、タッチパネル式装置の傾きに応じて決定された、３次元の仮想空間の座標平面に基づいて、ディスプレイの表示領域１１２に表示される背景画像を生成することができる。さらに、表示制御部２１０は接触位置検出部２０２にて検出したタッチ面上の接触位置と、座標平面決定部２０６にて決定された操作可能な座標平面に基づいて、ユーザにより操作可能なポインタ、オブジェクトを、ディスプレイの表示領域１１２に対し表示制御することができる。

より詳細には、表示制御部２１０は、接触位置検出部２０２にて検出したタッチ入力の接触開始位置からのスワイプ操作に基づく接触開始位置に対する接触位置の移動方向と距離に基づいて、ディスプレイの表示領域上に表示する、決定された座標平面内のポインタを背景画像において操作開始位置Ｐ０から表示制御する。さらに、表示制御部２１０は、接触位置検出部２０２にて検出したタッチ入力の接触開始位置からのスワイプ操作に基づく接触開始位置に対する接触位置のスワイプ速度に対応させて、ポインタを背景画像において操作開始位置Ｐ０から表示制御することもできる。さらに、表示制御部２１０は、ユーザにより操作可能なポインタを用いて、ユーザによる３次元の仮想空間に存在するオブジェクトの選択操作を表示領域に表示させたり、ユーザによる操作に従って背景画像内への選択されたオブジェクトの配置操作を表示領域に表示させたりすることができる。

図３、図４は本発明の一実施例に従った、実空間におけるタッチパネル式装置の傾き（図３Ａ、図４Ａ）と、該タッチパネル式装置の傾きにそれぞれ対応する３次元仮想空間内における操作可能な座標平面（図３Ｂ、図４Ｂ）を示す。

図３ＡはＸＹＺ軸で規定される３次元実空間内で、ユーザがタッチパネル式装置を地面に対しほぼ垂直方向に保持している場合を示す。タッチパネル式装置１３０のピッチ角θは、地面に対し概ね垂直方向であれば良く、図８Ｂに示す第１の閾値θｔｈ１以内にあれば、座標平面決定部２０６は図３Ｂに示すように３次元仮想空間内のｘｖ−ｙｖ平面が選択されたものとして、座標平面を決定することができる。

図４ＡはＸＹＺ軸で規定される３次元の実空間内で、ユーザがタッチパネル式装置を地面に対しほぼ水平方向に保持している場合を示す。タッチパネル式装置１３０のピッチ角θは、地面に対し概ね水平方向であれば良く、図８Ｂに示す第２の閾値θｔｈ２以内にあれば、座標平面決定部２０６は図４Ｂに示すように３次元仮想空間内のｘｖ−ｚｖ平面が選択されたものとして、座標平面を決定することができる。

図５、図６は本発明の一実施例に従った、３次元の実空間におけるタッチパネル式装置のタッチ面に対するユーザ操作（図５Ａ、図６Ａ）と、該ユーザ操作にそれぞれ対応する３次元仮想空間内の決定された座標平面に反映されるユーザ操作（図５Ｂ、図６Ｂ）を示す。

図５Ａは、ＸＹＺ軸で規定される３次元の実空間内で、ユーザがタッチパネル式装置を地面に対しほぼ垂直方向に保持している場合に、タッチパネル式装置のタッチ面に対して行われるユーザ操作の軌跡を示す。ユーザによるタッチ入力は図５Ａに示されるタッチ面のｘｔ−ｙｔ軸で規定される２次元平面に対してなされる。図５Ａにおいて、ユーザによるタッチパネル式装置１３０のタッチ面に対するタッチ入力は、接触開始位置Ｔ０（ｘｔ０、ｙｔ０）を始点として、接触終了位置Ｔ１（ｘｔ１、ｙｔ１）までスワイプ移動している。

図５Ｂは、図５Ａにおいてなされたタッチパネル式装置に対する操作に対応する３次元仮想空間内における操作可能な座標平面に反映されるユーザ操作を示す。座標平面決定部２０６は図５Ａに示されるタッチパネル式装置１３０の傾きに基づいて、ｚｖ座標が一定の値で、ｘｖ−ｙｖで構成される３次元仮想空間内の座標平面を決定する。このときｘｖ−ｙｖで構成される座標平面のｚｖ座標の値は、例えば、操作を行いたいポインタが存在する３次元仮想空間内の座標平面のｚｖ座標値に設定することができる。その後、座標変換部２０８は図５Ａに示すタッチ面上の接触開始位置Ｔ０（ｘｔ０，ｙｔ０）を、図５Ｂに示す３次元仮想空間に表示されるポインタの操作開始位置Ｐ０（ｘｖ０，ｙｖ０）（ｚｖ＝一定）に対応させる。表示制御部２１０は、図５Ａに示されるタッチ入力の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）から接触終了位置Ｔ１（ｘｔ１、ｙｔ１）までの接触位置の移動方向、距離、移動速度のうち一部又は全てに基づいて、図５Ｂに示すように、ディスプレイの表示領域１１２上でポインタを操作開始位置Ｐ０（ｘｖ０、ｙｖ０）から操作終了位置（Ｐ１（ｘｖ１、ｙｖ１）へと移動表示する。ポインタの形状は、矢印に限定されず、いかなる図形、例えばゲームキャラクタ、手形状のアイコンでもよい。

また、３次元仮想空間内のポインタの操作開始位置Ｐ０（ｘｖ０、ｙｖ０）は、本体装置１２０により実行されているアプリケーションの内容に基づいて決められる任意の位置、例えば操作中のゲームキャラクタの現在位置でも良いし、表示領域１１２上のあらかじめ定められた所定の位置、例えば表示領域１１２の中心位置でもよい。例えば、図５Ｂに示すように、タッチ面上の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）はタッチ面の左下領域に存在するが、図５Ａにおいて表示領域１１２上のポインタ操作開始位置Ｐ０は、表示領域１１２の右上領域に存在する。このように、ポインタの操作開始位置Ｐ０（ｘｖ０、ｙｖ０）が表示領域１１２上のあらかじめ定められた所定の位置である場合には、表示制御部２１０は３次元仮想空間内におけるポインタ位置を取得せずに、タッチ入力の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）を、あらかじめ定められたポインタの所定の操作開始位置Ｐ０（ｘｖ０、ｙｖ０）に対応付けすることができる。例えばディスプレイが非透過型のＨＭＤである場合、ＨＭＤを装着しているユーザは、完全に外界の視界を失っているため、自身の保有するタッチ面上のどの場所をタッチしているかを観察することができない。ユーザがタッチ面を最初にタッチした場所を、ＨＭＤの表示領域１１２上に現在表示されているポインタの操作開始位置に対応付けることで、ユーザはタッチ面を観察することなしに、ＨＭＤの表示領域１１２上に表示されている操作したいポインタを現在の表示位置から移動させることができる。

図６Ａは、ＸＹＺ軸で規定される３次元の実空間内で、ユーザがタッチパネル式装置を地面に対しほぼ水平方向に保持している場合に、タッチパネル式装置のタッチ面に対して行われるユーザ操作の軌跡を示す。ユーザによるタッチ入力は図５Ａに示されるタッチ面のｘｔ−ｙｔ軸で規定される２次元平面に対してなされる。ユーザによるタッチパネル式装置１３０のタッチ面に対するタッチ入力は、接触開始位置Ｔ０（ｘｔ０、ｙｔ０）を始点として、接触終了位置Ｔ１（ｘｔ１、ｙｔ１）までスワイプ移動している。

図６Ｂは、図６Ａにおいてなされたタッチパネル式装置に対する操作に対応する３次元仮想空間内における操作可能な座標平面に反映されるユーザ操作を示す。図６Ａに示されるタッチ入力の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）から接触終了位置Ｔ１（ｘｔ１、ｙｔ１）までの移動方向と距離に基づいて、表示制御部２１０は、図６Ｂに示すように、ＨＭＤの表示領域１１２上でポインタを操作開始位置Ｐ０（ｘｖ０、ｚｖ０）から操作終了位置Ｐ１（ｘｖ１、ｚｖ１）へと移動表示する。このとき、ポインタのｙｖ座標の値は変化せず一定である。

次に、図７を参照して、図３〜図６に対応するシステムの処理の流れを説明する。図７に示すフローチャートにおいては、アプリケーション処理のうち、ポインタの移動に関する処理について説明している。

まず、本体装置１２０のプロセッサは、メモリに記憶されたアプリケーションプログラムを実行し、アプリケーションの初期設定を行う。アプリケーションの初期設定に際して、タッチパネル式装置に対する操作に基づき操作されるポインタ、オブジェクトが表示制御される３次元仮想空間を設定してメモリに記憶する。また、傾き検出センサ１３４により検出される角度が相対的である場合に、傾き検出センサ１３４の初期設定を行う。例えば、タッチパネル式装置１３０が地面に対して水平方向に傾いているときに、傾き検出センサ１３４より取得されるピッチ角を初期値０°として初期設定する（ステップ７０２）。

次に、ユーザによりタッチパネル式装置のタッチ面に対する接触がなされると、タッチセンサ１３２はその接触を感知し、接触に関する情報を接触位置検出部２０２へ送信する。接触位置検出部２０２は、受信した接触に関する情報に基づいてタッチパネル式装置のタッチ面に対するタッチ入力の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）を検出する（ステップ７０４）。

また、ユーザによるタッチパネル式装置の傾き操作があると、傾き検出センサ１３４はその傾きを感知し、該傾きに関する情報を傾き算出部２０４へ送信する。傾き算出部２０４は、受信した傾き操作に関する情報に基づいてタッチパネル装置１３０の筐体の３次元実空間での傾きを算出する（ステップ７０４）。

次に、算出されたタッチパネル式装置１３０の３次元実空間での傾きに基づいて、座標平面決定部２０６は３次元仮想空間の操作可能な座標平面を決定する（ステップ７０６）。

次に、座標変換部２０８は、接触位置検出部２０２にて検出した接触開始位置Ｔ０を、座標平面決定部２０６により決定された座標平面上の位置Ｐ０へ対応付けする。例えば、図５Ａの接触開始位置Ｔ０（ｘｔ０、ｙｔ０）を、図５Ｂのディスプレイの表示領域１１２におけるポインタの操作開始位置Ｐ０（ｘｖ０、ｙｖ０）に対応付けする（ステップ７０８）。

次に、ユーザがタッチ面に指を接触したままの状態で指をスワイプ移動させている場合、すなわちタッチセンサ１３２が連続的に接触を感知する場合、タッチセンサ１３２はユーザによるタッチ面に対する連続する接触に関する情報を接触位置検出部２０２へ出力する。接触位置検出部２０２は、該接触に関する情報に基づいてタッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出する（ステップ７１０）。

次に、表示制御部２１０は、タッチパネル式装置１３０のタッチ面上のタッチ入力の接触開始位置Ｔ０（ｘｔ０、ｙｔ０）に対する接触位置の移動方向と距離に対応付けて、ディスプレイの表示領域１１２に表示されるポインタを、ディスプレイの表示領域１１２において、ポインタの操作開始位置Ｐ０（ｘｖ０、ｙｖ０）から移動表示させる（ステップ７１２）。

そして、ステップ７１４において、接触位置検出部２０２が接触に関する情報をセンサ１３２より受信しない場合、すなわち、タッチ面からタッチ入力が離れてしまった場合、ユーザによるスワイプ操作が終了したとして操作を終了する。一方、接触位置検出部２０２が、接触に関する情報をタッチセンサ１３２より引き続き受信する場合、すなわち、タッチ面にタッチ入力が接触されたままである場合、ユーザによるスワイプ操作は継続しているとして、ステップ７１０に戻る。

ステップ７１０〜７１４の一連の処理を繰り返すことにより、図５Ａに示すように、表示制御部２１０は、接触開始位置Ｔ０（ｘｔ０、ｙｔ０）から接触終了位置Ｔ１（ｘｔ１、ｙｔ１）までの接触位置の移動に伴う方向、距離、移動速度のうち一部又は全てに対応付けて、図５Ｂに示すように、ポインタをポインタの操作開始位置Ｐ０（ｘｖ０、ｙｖ０）から操作終了位置Ｐ１（ｘｖ１，ｙｖ１）までディスプレイの表示領域１１２上に移動表示させることができる。なお、タッチパネル式装置のタッチ面に対する接触位置の移動方向、距離、移動速度に基づいて、３次元仮想空間内のポインタの移動方向、距離、移動即を求めることができるが、これらの値の対応する比率をそれぞれ変化させることができる。接触位置Ｔと、該接触位置Ｔに対応づけられるポインタの操作位置Ｐは逐次メモリに格納することができる。従って、ユーザ操作により座標平面が切り換えられた場合においても、メモリに格納されている３次元仮想空間内の位置に基づいて、ポインタを移動表示することができる。

本発明の他の実施態様では、３次元仮想空間の仮想空間地形に立体オブジェクトを配置して、３次元仮想空間内にジオラマを形成することができる。以下、図９〜１１に基づいて本実施態様の説明を行う。

図９Ａは、タッチパネル式装置１３０のピッチ角θが第１の閾値θｔｈ１内にある様子を示す。ジオラマ形成アプリケーションが起動され、傾き検出部２０４が、タッチパネル式装置１３０のピッチ角θが第１の閾値θｔｈ１内にあることを検出すると、表示制御部２１０は、図９Ｂに示すように該傾きに対応して決定された操作可能な３次元仮想空間内の座標平面ｘｖ−ｙｖ平面にオブジェクト選択画面を生成する。図９Ｂにおいてオブジェクト選択画面は、背景画像と、該背景画像内に配置されたにポインタ（矢印）と、４つの立体オブジェクト（家）で構成されている。各立体オブジェクトは他の立体オブジェクトと重ならない位置に配置されており、例えば初期画面においては等間隔で配置されている。オブジェクト選択画面のｚｖ座標は、ジオラマ形成アプリケーションによってあらかじめ定められた、オブジェクト選択画面が仮想的に存在している座標平面のｚｖ座標である。

ユーザが接触開始位置から、所定の方向、所定の速度で指をスワイプ移動させると、該スワイプ移動に対応して、表示制御部２１０は３次元仮想空間のｘｖ−ｙｖ平面に表示されるポインタ（矢印）を移動表示する。ユーザは、指をスワイプ移動させることにより、４つの立体オブジェクトのうち、選択したい立体オブジェクト（例えば、左から２番目の立体オブジェクト）上にポインタを移動させることができる。ユーザは、選択したい立体オブジェクト上にポインタが移動するとタッチパネルをタップする。接触位置検出部２０２がタップを検出すると、表示制御部２１０は該立体オブジェクトが選択されたと判定して、該立体オブジェクトが選択されたことを示すよう、例えば該立体オブジェクトの周りを選択線（図９Ａにおいて、家を囲む点線）で囲んだ画像を表示領域に表示させる。

図１０Ａは、タッチパネル式装置１３０のピッチ角θが、第２の閾値θｔｈ２内にある様子を示す。ユーザは選択した立体オブジェクトを、3次元仮想空間内の仮想空間地形上の任意の位置に配置するために、タッチパネル式装置１３０を傾けて、ジオラマ形成アプリケーションをオブジェクト配置モードへ移行させる。

タッチパネル式装置１３０のピッチ角θが、第２の閾値θｔｈ２内にあることを検出すると、オブジェクト配置モードが選択されたとして、表示制御部２１０は、図１０Ｂに示すように該傾きに対応して決定された操作可能な３次元仮想空間内の座標平面ｘｖ−ｚｖ平面上に仮想地形を反映させたオブジェクト配置画面を生成する。仮想地形は３次元地形とすることができる。図１０Ｂにおいてオブジェクト配置画面は、３次元の仮想地形と、該仮想地形内に配置されたに３つの立体オブジェクト（家）と、ポインタ（矢印）で構成することができる。また、図１０Ｂに示されるオブジェクト配置画面は、３次元の仮想地形を２次元のｘｖ−ｚｖ平面に投影した２次元の仮想地形とすることもできる。

ユーザが接触開始位置から、所定の方向、所定の速度で指をスワイプ移動させると、該スワイプ移動に対応して、表示制御部２１０は３次元仮想空間のｘｖ−ｚｖ平面に表示されるポインタと、該ポインタにより選択されているオブジェクトを表示領域において移動表示させる。接触開始位置は、図９Ｂにおいて選択された立体オブジェクトの３次元仮想空間内の初期位置に対応させることができる。ユーザは、指をスワイプ移動させることによりｘｖ−ｚｖ平面内の配置したい位置にポインタと、該ポインタにより選択されているオブジェクトを移動させることができる。ユーザは、配置したい位置上にポインタと、該ポインタにより選択されているオブジェクトが移動するとタッチパネルをタップする。接触位置検出部２０２がタップを検出すると、表示制御部２１０は該位置が選択されたと判定し、タップされたｘｖ−ｚｖ平面内の位置に対応する３次元の仮想地形の高度（ｙｖ座標）を求める。そして表示制御部２１０は、立体オブジェクトを該位置に仮想地形の高度に整合するように配置する。その後、表示制御部２１０は、該オブジェクトが配置されたことを示すよう、例えば該オブジェクトの周りを配置線（図１０Ａにおいて、家を囲む実線）で囲んだ画像を表示領域に表示させる。

３次元仮想地形に一旦配置したオブジェクトを再度移動させたい場合、ユーザは図１１Ａに示すようにタッチパネル式装置１３０の傾きを操作して、タッチパネル式装置１３０のピッチ角θが第１の閾値θｔｈ１内になるようにする。傾き検出部２０４が、タッチパネル式装置１３０のピッチ角θが第１の閾値θｔｈ１内にあることを検出すると、表示制御部２１０は、図１１Ｂに示すように該傾きに対応して決定された操作可能な３次元仮想空間内の座標平面ｘｖ−ｙｖ平面に、図１０Ｂに示される立体オブジェクトの配置位置を対応させた、オブジェクト選択画面を生成する。図１１Ｂにおいてオブジェクト選択画面は、背景画像と、該背景画像内に配置されたにポインタ（矢印）と、図１０Ｂにおいてユーザにより既に配置された３つの立体オブジェクト（家）で構成されている。背景画像は、例えば図１０Ｂに示すオブジェクト配置画面を上から見た画像である。このとき、背景画像内に立体オブジェクトを上からみた画像をオブジェクト配置画面に表示することもできるが、上から見た画像では、個々の立体オブジェクトの違いを識別することが難しい場合がある。従って、背景画像内に表示する立体オブジェクトは、図１１Ｂに示すように該立体オブジェクトを斜め方向からみた画像とすることができる。

本発明において、ユーザは、２次元の座標平面を有するタッチパネルを用いて、タッチパネル式装置の傾きの変更と、タッチ面に対するタッチ操作の２つの直感的な操作で、３次元仮想空間内でポインタやオブジェクトの位置を簡単に移動させることができる。

さらに、ディスプレイがユーザの目を完全に覆う非透過型のＨＭＤである場合、ＨＭＤを装着しているユーザは仮想空間に完全に没入している。本発明においては、ユーザは自身が保持しているタッチパネル式装置のタッチ面を観察しなくとも、タッチ面に対する操作位置が反映されたＨＭＤの表示領域を観察することができるため、ユーザは現在操作を行おうとしている３次元仮想空間内の操作位置を認識することができる。

また、本発明の他の実施態様では、ディスプレイは、加速度センサを設けたＨＭＤとすることができる。この場合、座標平面決定部２０６は、ＨＭＤ１１０に設けられている角速度センサから取得された角速度に基づき、ＨＭＤの表示領域に表示される３次元仮想空間の操作可能な座標平面を決定することができる。ＨＭＤ１１０が角速度センサを備えているため、タッチパネル式装置１３０は角速度センサを備える必要はない。角速度センサはディスプレイ１１２近辺に固定されており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸回りの角速度を経時的に検出することができる。傾き算出部２０４はＨＭＤに設けられている角速度センサにより経時的に検出されたＸ、Ｙ、Ｚ軸回りの角速度に基づいて、各軸回りの角度（傾き）の時間変化を求めることができる。なお、この場合、図１２Ａに示すようにユーザが直立する方向である垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２とユーザを結ぶ方向の軸をＺ軸、Ｙ、Ｚ軸と直交する方向の軸をＸ軸とする。

例えば、図１２Ｂに示すように、ＨＭＤ１１０の傾き（ピッチ角θ）が第１の閾値θｔｈ１内にある場合には、座標平面決定部２０６は、３次元仮想空間内の該閾値に対応するｘｖ−ｙｖで構成される座標平面を操作可能な座標平面として決定する。タッチパネル式装置の傾き（ピッチ角θ）が第２の閾値θｔｈ２内にある場合には、座標平面決定部２０６は、３次元仮想空間内の該閾値に対応するｘｖ−ｚｖで構成される座標平面を操作可能な座標平面として決定する。θｔｈ１、θｔｈ２の値は事前に設定することができ、例えば第１の閾値θｔｈ１は、３０°〜６０°、第２の閾値θｔｈ２は例えば−３０°〜−６０°とすることができる。本実施態様においては、タッチパネル式装置の傾きを操作することなく、ＨＭＤを装着した頭部の首振り操作のみで操作可能な座標平面を切り換えることができる。

以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。

Claims (21)

1. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムにおいて実行される方法であって、
   前記タッチパネル式装置の傾きを検出するステップと、
   前記タッチパネル式装置の傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定するステップと
   を備えることを特徴とする、方法。
2. 請求項１記載の方法であって、
   前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出するステップと、
   前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換するステップと
   をさらに備える、方法。
3. 請求項１記載の方法であって、
   前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御するステップをさらに備える方法。
4. 請求項１記載の方法であって、
   前記座標平面を決定するステップは、前記タッチパネル式装置の傾きと、前記ディスプレイの表示領域に表示される３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定することを特徴とする方法。
5. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムにおいて実行される方法であって、
   前記タッチパネル式装置の傾きを検出するステップと、
   前記タッチパネル式装置の傾きと、３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定するステップと、
   前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出するステップと、
   前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換するステップと、
   前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御するステップと、
   を含むことを特徴とする、方法。
6. 請求項５記載の方法であって、
   前記表示制御するステップは、前記タッチ入力の接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動して、前記ディスプレイの表示領域上で前記背景画像とともに表示制御するステップを含むことを特徴とする、方法。
7. 請求項１又は５記載の方法であって、
   前記座標平面を決定するステップは、
   前記タッチパネル式装置の傾きが第１の閾値内である場合に、前記タッチパネル式装置のタッチ面を、前記３次元の仮想空間の前記垂直平面に対応させるステップと、
   前記タッチパネル式装置の傾きが第２の閾値内である場合に、前記タッチパネル式装置のタッチ面を、前記３次元の仮想空間の前記水平平面に対応させるステップと、
   をさらに備えることを特徴とする、方法。
8. 請求項１又は５記載の方法であって、
   前記３次元仮想空間の座標平面を前記垂直平面に決定した場合に、前記３次元仮想空間内のオブジェクトを選択するモードを実施するステップと、
   前記３次元仮想空間の座標平面を前記垂直平面に決定した後に前記水平平面に決定した場合に、前記選択されたオブジェクトを前記３次元仮想空間の所定位置に配置するモードを実施するステップと、
   をさらに備える、方法。
9. 前記ディスプレイは、非透過型のヘッドマウントディスプレイであることを特徴とする、請求項１から８に記載の方法。
10. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続された非透過型のヘッドマウントディスプレイとを備えたシステムにおいて実行される方法であって、
    前記ヘッドマウントディスプレイの傾きを検出するステップと、
    前記ヘッドマウントディスプレイの傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ヘッドマウントディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定するステップと
    を備えることを特徴とする、方法。
11. 請求項１から１０のいずれか１項に記載の方法を、前記システムに搭載されたプロセッサに実行させるためのプログラム。
12. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムであって、
    前記タッチパネル式装置の傾きを検出する傾き検出部と、
    前記タッチパネル式装置の傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定する座標平面決定部と
    を備えることを特徴とする、システム。
13. 請求項１２記載のシステムであって、
    前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出する接触位置検出部と、
    前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換する座標変換部と
    をさらに備える、システム。
14. 請求項１２記載のシステムであって、
    前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御する表示制御部をさらに備えるシステム。
15. 請求項１２記載のシステムであって、
    前記座標平面決定部は、前記タッチパネル式装置の傾きと、前記ディスプレイの表示領域に表示される３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定することを特徴とするシステム。
16. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続されたディスプレイとを備えたシステムにおいて実行されるシステムであって、
    前記タッチパネル式装置の傾きを検出する傾き検出部と、
    前記タッチパネル式装置の傾きと、３次元仮想空間内の操作位置を表すポインタの操作開始位置とに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定する座標平面決定部と
    前記タッチパネル式装置のタッチ面に対するタッチ入力の接触位置を検出する接触位置検出部と、
    前記タッチ入力の接触位置を前記決定された前記３次元仮想空間の座標平面上の位置へ座標変換する座標変換部と、
    前記決定された前記３次元仮想空間の座標平面に基づいて、前記ディスプレイの表示領域に表示される背景画像を前記ディスプレイの表示領域上で表示制御する表示制御部と、
    を含むことを特徴とする、システム。
17. 請求項１６記載のシステムであって、
    前記表示制御部は、さらに、前記タッチ入力の接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動して、前記ディスプレイの表示領域上で前記背景画像とともに表示制御することを特徴とする、システム。
18. 請求項１２又は１６記載のシステムであって、
    前記座標平面決定部は、さらに
    前記タッチパネル式装置の傾きが第１の閾値内である場合に、前記タッチパネル式装置のタッチ面を、前記３次元の仮想空間の前記垂直平面に対応させ、
    前記タッチパネル式装置の傾きが第２の閾値内である場合に、前記タッチパネル式装置のタッチ面を、前記３次元の仮想空間の前記水平平面に対応させる、
    ことを特徴とする、システム。
19. 請求項１２又は１６記載のシステムであって、
    前記３次元仮想空間の座標平面を前記垂直平面に決定した場合に、前記３次元仮想空間内のオブジェクトを選択するモードの処理を実施し、
    前記３次元仮想空間の座標平面を前記垂直平面に決定した後に前記水平平面に決定した場合に、前記選択されたオブジェクトを前記３次元仮想空間の所定位置に配置するモードの処理を実施する、
    ことを特徴とするシステム。
20. 前記ディスプレイは、非透過型のヘッドマウントディスプレイであることを特徴とする、請求項１２から１９に記載のシステム。
21. タッチパネル式装置と、該タッチパネル式装置と通信可能に接続された非透過型のヘッドマウントディスプレイとを備えたシステムであって、
    前記ヘッドマウントディスプレイの傾きを検出する傾き検出部と、
    前記ヘッドマウントディスプレイの傾きに応じて、前記タッチパネル式装置のタッチ面に対応させる、前記ヘッドマウントディスプレイの表示領域に表示される操作可能な３次元仮想空間の座標平面を垂直平面と水平平面のいずれかに決定する座標平面決定部と
    を備えることを特徴とする、システム。