JP6174646B2 - 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム - Google Patents

Description

本発明は、コンピュータ・プログラムに関する。より詳細には、ユーザの直観的な入力操作により、仮想空間内に配置されたオブジェクトを３軸操作させるためのコンピュータ・プログラムに関するものである。

昨今、スマートフォンを用いたゲーム（以下、「スマートフォン・ゲーム」と称する。）や、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を用いたゲームとして、３次元グラフィックを使用した３Ｄゲームが普及している。３Ｄゲームの中には、３次元仮想空間（ゲーム空間）内にオブジェクトが配置され、ユーザがオブジェクトを３次元的に操作可能とするものがある。例えば、オブジェクトへの３次元回転操作を伴う３Ｄゲーム等である。

通常、ユーザはコントローラを操作して、３次元空間内オブジェクトに操作命令を出す。コントローラには、専用のゲームコンソールやスマートフォンが含まれる。３Ｄゲームにおけるコントローラ操作は、平面的な２次元操作に制約されるのが通常である。平面的な２次元操作には、例えば、ゲームコンソールの場合は十時キーやジョイスティック等の操作、また、スマートフォンの場合はタッチパネルへのタッチ操作が含まれる。

特許文献１（特に、段落〔００９３〕〜〔００９５〕および図８ｂ）に開示される従来技術では、機能「Ｒｏｔａｔｉｏｎ」が割り当てられた仮想プッシュ・スイッチを画面上に設けてユーザに操作させる。具体的には、仮想プッシュ・スイッチは、上下左右にそれぞれ三角マークが表示され、ユーザが上または下向きの三角マーク位置を押下したときは、水平軸を中心にオブジェクトを回転させる。また、ユーザが左または右向きの三角マーク位置を押下したときは、垂直軸を中心に回転させる。即ち、特許文献１に開示される従来技術では、２次元のユーザ操作を３次元空間内の２軸操作に関連付けている。

特開２０１３−１７１５４４号公報

従来技術における〔特許文献１〕の３次元仮想空間でのオブジェクト回転操作では、２軸のみでしかオブジェクトを操作できず、ユーザは意図した角度調整をスムーズに実施することは困難である。スムーズな角度調整を可能とするには、２軸ではなく、３軸操作を可能とすべきである。他方、従来の描画ソフトで３Ｄオブジェクトを描画するような場合は、通常、３軸回転に際して各軸に対応した回転角度をユーザに直接指定させる（例えば「３０度」のようにユーザに数値を指定させる）。

そこで、本発明は、３次元仮想空間内のオブジェクトの３軸操作に際し、ユーザによる直観的な入力操作のためのインタフェースを提供することを目的とする。そして、当該インタフェース通じてオブジェクトの３軸操作命令を効率的に生成可能とするコンピュータ・プログラムを提供することを目的とする。

上記の課題を解決するために、本発明によれば、仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムであって、操作領域内に第１領域および第２領域を割り当てる領域割当部と、命令生成部であって、第１領域内の第１入力操作に応答して、仮想空間内の第１軸および第２軸に関するオブジェクトへの第１操作命令を生成し、第２領域内の第２入力操作に応答して、仮想空間内の第３軸に関するオブジェクトへの第２操作命令を生成する、命令生成部と、としてコンピュータに機能させる、コンピュータ・プログラムが得られる。

本発明の特徴点および利点は、後述する発明の詳細な説明、並びに添付の図面および特許請求の範囲の記載から明らかなものとなる。

図１は、本発明の実施の形態によるコンピュータ・プログラムを実行するためのユーザ端末の例として、携帯端末を示した模式図である。 図２は、図１の携帯端末の構成を模式的に示したブロック図である。 図３は、図２の携帯端末における入出力の概要を示したブロック図である。 図４は、３次元仮想空間内のオブジェクトの配置例を示した模式図である。 図５は、３次元仮想空間に配置され、仮想カメラからの視界に収容されるオブジェクトについて模式図である。 図６は、本発明の実施形態により、オブジェクトを３軸操作するためのユーザ操作の概要について示した模式図である。 図７は、本発明の実施の形態により、ユーザ端末を用いたユーザ操作に応答して、３次元仮想空間に配置されたオブジェクトを操作する一例の様子を示した模式図である。 図８は、タッチ操作およびオブジェクト操作命令の対応付けについて示したテーブルを示す。 図９は、本発明の実施の形態によるコンピュータ・プログラムを用いて実装されるユーザ操作命令を生成するための主要機能ブロック図である。 図１０は、本発明の実施の形態によるコンピュータ・プログラムを用いて実装されるユーザ操作命令を生成するための処理フロー図である。 図１１は、図１０のステップＳ１０５に関する詳細な情報処理を示したフローチャートである。 図１２は、本発明の実施の形態によるコンピュータ・プログラムを実行して、オブジェクト操作をユーザ端末に表示する第１実施例の概略イメージ図である。 図１３は、第１実施例に関する機能ブロック図である。 図１４は、第１実施例に関する処理フロー図である。 図１５は、本発明の実施の形態によるコンピュータ・プログラムを実行して、オブジェクト操作をＨＭＤに表示する第２実施例に関するシステム構成の概要図である。 図１６は、第２実施例に関する概略イメージ図である 図１７は、第２実施例に関する機能ブロック図である。 図１８は、第２実施例に関する処理フロー図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態による仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムは、以下のような構成を備える。

（項目１）
仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムであって、
操作領域内に第１領域および第２領域を割り当てる領域割当部と、
命令生成部であって、
前記第１領域内の第１入力操作に応答して、前記仮想空間内の第１軸および第２軸に関する前記オブジェクトへの第１操作命令を生成し、
前記第２領域内の第２入力操作に応答して、前記仮想空間内の第３軸に関する前記オブジェクトへの第２操作命令を生成する、命令生成部と
としてコンピュータに機能させる、コンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、仮想空間内オブジェクトの３軸操作命令を効率的に生成可能とし、仮想空間内のオブジェクトの３軸操作に際し、ユーザによる直観的な入力操作を実現可能とする。特に、自由度の高いスムーズなオブジェクト操作を実現可能とする。また、効率的なゲーム進行が要求される３Ｄゲームにおいて、特に、数値の入力・指定操作の必要性を排除することができる。

（項目２）
項目１記載のコンピュータ・プログラムにおいて、
前記操作領域がタッチパネル上のタッチ領域であり、
前記第１入力操作および前記第２入力操作が前記タッチパネルへの第１タッチ操作および第２タッチ操作であり、
前記タッチパネルが前記コンピュータに具備される、コンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、ユーザの一本指によるタッチ入力操作を通じて仮想空間内のオブジェクトの３軸操作を実施可能とする。

（項目３）
項目２記載のコンピュータ・プログラムにおいて、
前記第１タッチ操作および前記第２タッチ操作がそれぞれスライド操作であり、
前記命令生成部において、前記第１操作命令および前記第２操作命令がそれぞれ、スライド距離に応じた回転量を有する、前記オブジェクトへの回転操作命令を含む、コンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、ユーザの一本指でのスライド操作を通じて、直観的で自由度の高い入力操作を実現可能とする。

（項目４）
項目３記載のコンピュータ・プログラムにおいて、
前記命令生成部において、前記第２操作命令が、前記仮想空間内でロール角に関する前記オブジェクトへの回転操作命令を含む、コンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、ロール角を中心としたオブジェクト回転操作を実現することにより、より自由度の高いスムーズな入力操作を可能とする。

（項目５）
前記命令生成部において、
前記第１操作命令が第１軸操作命令および第２軸操作命令を含み、
前記第１入力操作についての操作ベクトルを第１成分および第２成分に分解し、
前記第１軸操作命令が前記第１成分に基づいて生成されると共に、前記第２軸操作命令が前記第２成分に基づいて生成される、項目１から４のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、操作ベクトルの分解を通じてより自由度の高いスムーズな入力操作を可能とする。

（項目６）
前記コンピュータが携帯端末であり、該携帯端末の長軸方向が上向きとなる状態が維持されたときに、
前記領域割当部において、前記第２領域が、前記操作領域の底部に、所与の面積比率を有するように割り当てられる、項目１から５のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、第２操作領域の配置を工夫することにより、よりユーザフレンドリなユーザ入力を実現可能とする。

（項目７）
前記コンピュータが携帯端末であり、該携帯端末の長軸方向が横向きとなる状態が維持されたときに、
前記領域割当部において、前記第２領域が、前記操作領域の側部の一方に所与の面積比率を有するように割り当てられる、項目１から６のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、第２操作領域の配置を工夫することにより、よりユーザフレンドリなユーザ入力を実現可能とする。

（項目８）
項目１から７のいずれか一項記載のコンピュータ・プログラムであって、更に、
前記第１操作命令および／または前記第２操作命令に応答して、前記第１操作命令および／または前記第２操作命令を実行し、前記仮想空間内に配置された前記オブジェクトを操作するオブジェクト操作部と、
前記コンピュータが備える表示部に表示するために、前記オブジェクトを配置した仮想空間画像を生成する画像生成部
として前記コンピュータに機能させる、コンピュータ・プログラム。

（項目９）
項目１から７のいずれか一項記載のコンピュータ・プログラムにおいて、
前記コンピュータがヘッドマウント・ディスプレイ（ＨＭＤ）システムに通信により接続され、該ＨＭＤシステムが、
前記オブジェクトを収容した仮想空間画像を表示するＨＭＤと、
前記ＨＭＤに接続されるＨＭＤ用コンピュータであって、
前記オブジェクトへの前記第１操作命令および／または前記第２操作命令を前記コンピュータから受信したのに応答して、前記第１操作命令および／または前記第２操作命令を実行し、前記仮想空間内に配置された前記オブジェクトを操作するオブジェクト操作部と、
前記ＨＭＤ上に表示するために、前記オブジェクトを配置した前記仮想空間画像を生成する画像生成部と
を備える、ＨＭＤ用コンピュータと
を備える、コンピュータ・プログラム。

［本発明の実施形態の詳細］
これより図面を参照して、本発明の実施形態による、仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。本発明の実施形態によるＵＩ画像表示のためのコンピュータ・プログラムは、主に、３Ｄゲームとしてのゲーム・プログラムの一部として適用可能である。また、これに限定されないが、ユーザ端末として、スマートフォンのような、タッチパネルを有する携帯端末を適用するのが好適であり、３Ｄゲームのコントローラとして使用可能である。

ユーザ端末概要
図１に示すスマートフォン１は、携帯端末の一例であり、タッチパネル２を備える。スマートフォンのユーザは当該タッチパネル２上でのユーザ操作（例えばタッチ操作）を介してオブジェクトの操作を制御することができる。

図２に示すように、スマートフォン１のようなユーザ端末は、互いにバス接続されたＣＰＵ３、主記憶４、補助記憶５、送受信部６、表示部７および入力部８を備える。このうち主記憶４は例えばＤＲＡＭなどで構成され、補助記憶５は例えばＨＤＤなどで構成されている。補助記憶５は、本実施の形態によるコンピュータ・プログラムやゲーム・プログラムを記録可能な記録媒体である。補助記憶５に格納された各種プログラムは、主記憶４上に展開されてＣＰＵ３によって実行される。なお、主記憶４上には、ＣＰＵ３が本発明の実施形態によるコンピュータ・プログラムに従って動作している間に生成したデータ、およびＣＰＵ３によって利用されるデータも一時的に格納される。送受信部６はＣＰＵ３の制御によりスマートフォン１とネットワークとの間の接続（無線接続および／または有線接続）を確立して各種情報の送受信を行う。表示部７は、ＣＰＵでの制御の下でユーザに提示することになる各種情報を表示する。入力部８は、ユーザのタッチパル２に対するタッチ入力操作を検知する。当該タッチ入力操作は物理的接触操作であり、例えば、タップ操作、フリック操作、スライド（スワイプ）操作、およびホールド操作等が含まれる。

表示部７及び入力部８は、上述したタッチパネル２に相当する。図３に示すように、タッチパネル２は、入力部８に相当するタッチセンシング部１１と表示部７に相当する液晶表示部１２とを有する。タッチパネル２は、ＣＰＵ３による制御の下で、画像を表示して、スマートフォンのユーザによるインタラクティブなタッチ操作（タッチパネル２における物理的接触操作等）を受け付ける。タッチパネル２は、更に、制御部１３での制御に基づいてそれに対応するグラフィックを液晶表示部１２に表示する。

より詳細には、上記タッチセンシング部１１は、ユーザによるタッチ操作に応じた操作信号を制御部１３に出力する。タッチ操作は、何れの物体によるものとすることができ、例えば、ユーザの指によりなされてもよいし、スタイラス等を用いてもよい。また、タッチセンシング部１１として、例えば、静電容量タイプのものを採用することができるが、これに限定されない。制御部１３は、タッチセンシング部１１からの操作信号を検出すると、例えば、操作信号を解釈して、３次元仮想空間内のオブジェクトへの操作命令を生成する。そして、当該オブジェクトへの操作命令を実施して、当該操作命令に応じたグラフィック（図示せず）を液晶表示部へ表示信号として送信する処理を行う。液晶表示部１２は、表示信号に応じたグラフィックを表示する。勿論、制御部１３は、上記処理の内の一部のみを実行するのでもよい。

本発明の実施形態によるコンピュータ・プログラムを実行するためのユーザ端末として、タッチパネルを有するスマートフォンを一例に説明した。しかしながら、ユーザ端末はこのようなスマートフォンに限定されない。これ以外にも、例えば、タッチパネルを備えるか否かに拘わらず、ゲームコンソール、ＰＤＡ、タブレット型コンピュータなどのような携帯端末としてもよい。また、携帯端末以外にも通常のデスクトップＰＣ（パーソナル・コンピュータ）のような任意の汎用コンピューティング・デバイスとしてもよい。

仮想空間内で３軸操作するオブジェクト操作命令の生成
図１に示したスマートフォン１の例を用いて、図４に示すように、３次元仮想空間内で円柱状のオブジェクトを３軸回転させるオブジェクト操作例について以下に説明する。図示するように、ユーザによって円柱状オブジェクト１０が操作された結果、当該オブジェクト１０は、３次元仮想空間の３軸に対して傾きを有して所定の位置に配置される。即ち、当該オブジェクトは３次元仮想空間において傾きに関連した角度情報および位置情報を有する。

３次元仮想空間は一般に、各々直交するＸＹＺ座標系で定義することができる。図４の例では、オブジェクト１０の位置を原点にしてＸＹＺ座標が規定される。角度情報は、各軸回りの角度によって規定される。Ｚ軸のマイナス方向に視点を配置して原点方向に視線を定めた場合は、通常、Ｘ軸を中心とした回転角はピッチ角、Ｙ軸を中心とした回転角はヨー角、およびＺ軸を中心とした回転角はロール角の回転方向と称される。

３次元仮想空間内に配置される円柱オブジェクトをユーザに出力する場合は、仮想カメラによって視界画像が生成され、表示部７（液晶表示部１２）を通じて出力される。図５に例示するように、円柱オブジェクト１０に対し、所定の距離および高さを有する位置に配置された視界カメラ５０が３次元仮想空間に配置される。仮想カメラは、この例では、円柱オブジェクト１０が視界の中心に配置されるように指向されて、視線および視界を決定すると共に、３次元空間画像を生成する。仮想カメラの位置、視線、および視界に相対的に基づいて、図４に示したＸＹＺ座標系を３次元空間内に定義するのがよい。

図６に、本発明の実施形態により、仮想空間内のオブジェクトを３軸操作するための操作命令をユーザ端末（スマートフォン）で生成するための操作例について示す。図６の（１−ａ）および（２−ａ）のように、スマートフォンの操作領域、即ち、タッチパネル上のタッチ領域内に、２つの矩形領域、即ち領域（１）および領域（２）が割り当てられている。図６の（１−ａ）はスマートフォンを縦持ちした場合、（２−ａ）は横持ちした場合を示す。

図示のように、一実施形態では、領域（１）の方が領域（２）よりも占める面積が大きくなるように構成される。また、領域（１）が仮想空間に対する２軸（第１軸および第２軸）操作用の領域として構成される。そして、領域（２）が３軸目（第３軸）操作用の領域として構成される。これにより、タッチ領域でのユーザ操作を、仮想空間に対するオブジェクトの３軸操作に対応付けることが可能となる。なお、第１軸、第２軸、第３軸のセットは、例えば、図４で説明した、ピッチ角、ヨー角、ロール角を規定する回転軸のセットに如何なる組み合わせにも対応付けることができる。（軸の対応付けについては図７に後記する。）
図６ではタッチ操作をスライド操作として想定している。図６の（１−ｂ）のように、領域（１）における上下方向のスライド操作（ｉ）および左右方向のスライド操作（ｉｉ）は、第１軸および第２軸のオブジェクト操作に関連付けられる。また、領域（２）における左右方向のスライド操作（ｉｉｉ）は第３軸のオブジェクト操作に関連付けられる。なお、図６の（１−ｃ）のように、領域（１）での斜め方向のスライド操作は、操作ベクトルとして複数の成分に分解される。そして、上下方向成分の操作ベクトルは第１軸のオブジェクト操作に、左右方向成分の操作ベクトルは第２軸のオブジェクト操作に関連付けられるように構成するのがよい。

図６の（２−ｂ）の場合も同様であり、領域（１）における左右方向のスライド操作（ｉ）および上下方向のスライド操作（ｉｉ）は、第１軸および第２軸のオブジェクト操作に関連付けられる。また、領域（２）における上下方向のスライド操作（ｉｉｉ）は第３軸のオブジェクト操作に関連付けられる。

特に領域（１）でのスライド操作の結果、スライド終了点が領域（１）を超えて領域（２）まで進入した場合でも、例外処理を行わずに上記オブジェクト操作処理を実施するのがよい。即ち、各領域はスライド操作の開始点（最初のタッチ点）に基づいて判定されるのがよい。

本発明の一実施形態によれば、図６に示したように、ユーザによる一本指のみでのスライド操作により、３次元仮想空間に配置したオブジェクトに対する３軸操作をスムーズに実施可能とする。また、効率的なゲーム進行が要求される３Ｄゲームにおいて、特に、数値の入力・指定操作の必要性を排除することができる。ユーザは、感覚的に領域（１）および領域（２）を認識すれさえすればよく、オブジェクトに対する直観的なユーザ指示を可能とする。ここでは、２つの領域（１），（２）は、自由に設定することができる。即ち、プログラム開発者によって決定されてもいいし、ユーザ自身がプログラム起動時に設定可能としてもよい。また、スマートフォンを縦持ちする（１−ａ）、横持ちする（２−ａ）と言ったそのときのユーザ状況に合わせて動的に変化させてもよい。なお、図６の（１−ａ）の縦持ちの状態とは、携帯端末の長軸方向が上向きとなる状態であり、図６の（２−ａ）の横持ちの状態とは、携帯端末の長軸方向が横向きとなる状態のことである。縦持ち状態のときは、領域（２）は、タッチ領域の底部に、所与の面積比率を有するように割り当てるとよい。また、横持ち状態のときは、領域（２）は、タッチ領域の左右側部の一方（図６の（２−ａ）では左側）に所与の面積比率を有するように割り当てるとよい。領域（２）に対する操作は、特にスマートフォンを保持した手の親指による操作として特に有効である。また、当該所与の面積比率は、大凡２０％程度とするのが最適である。２つの領域（１），（２）の配置関係は上記に限定されず、任意の位置や形状での配置としてもよいし、また、領域の数も２つに限定されず３以上としてもよい。

また、図６ではスマートフォンを例に説明したが、本発明の実施形態はこれに限定されない。即ち、ユーザ端末として、タッチパネルを有する時計のようなウェアラブル端末、およびタッチパネルを有さない端末やＰＣ（パーソナル・コンピュータ）のような汎用コンピュータを採用してもよい。例えばユーザ端末として、屋内に設置する通常のデスクトップＰＣを想定すると、この場合は、ディスプレイの表示領域が操作領域となる。即ち、ディスプレイの表示領域に対し、少なくとも２つの領域（領域（１）および領域（２））が割り当られる。そして、ユーザは、マウスを用いてドラッグ操作を実施して、オブジェクトを操作する。つまり、ユーザのマウスによるドラッグ操作に応答して、領域（１）においては仮想空間の第１軸および第２軸のオブジェクト操作を実施し、領域（２）においては第３軸のオブジェクト操作を実施するように構成することができる。

図７に、図６のスマートフォンの例での領域（１）および領域（２）への各スライド操作と、オブジェクト操作のための３次元仮想空間の３つの軸との対応付けについて説明する。一例として、領域（１）での縦方向のスライド操作（ｉ）がｘ軸に、また、横方向のスライド操作（ｉｉ）がｙ軸に対応付けられる。更に、領域（２）での横方向のスライド操作（ｉｉｉ）がｚ軸に対応付けられる。図４を参照して先に説明したとおり、オブジェクト操作が回転操作の場合は、ｘ，ｙ，ｚ軸は、視点をｚ軸マイナス方向とした場合、ピッチ角、ヨー角、ロール角方向の回転方向に対応する。各スライド操作と各軸との対応付けは、一例に過ぎず、如何なる軸の組み合わせとしてもよい。本発明者の実験によれば、領域（１）での縦方向のスライド操作（ｉ）は、ｘ軸を中心としたピッチ角方向のオブジェクト操作に対応付けるのが、ユーザ感覚に沿うものとなることが判明している。同様に、領域（１）での縦方向のスライド操作（ｉｉ）は、ｙ軸を中心としたヨー角方向のオブジェクト操作に対応付けるのがよい。そして、領域（２）での横方向のスライド操作（ｉｉｉ）は、ｚ軸を中心としたロール角方向のオブジェクト操作に対応付けるのがよい。なお、領域（１）での縦方向のスライド操作（ｉｉ）とｙ軸、および領域（２）での横方向のスライド操作（ｉｉｉ）とｚ軸の対応付けは、ユーザの好みに応じて設定変更可能とするのがよい。

図８を参照して、オブジェクト操作種別とユーザ端末操作の対応付けについて説明する。ユーザ端末操作について、ここでは、ユーザ端末がタッチパネルを有する場合のタッチ操作を想定する。タッチパネルでは、タッチ開始位置、タッチ終了位置、操作方向、および操作加速度等を検出する。これらのパラメータに応じて、タッチ操作として、タップ操作、フリック操作、スライド（スワイプ）操作、ホールド操作等を含めることができる。また、各タッチ操作の種別の特性に応じて、３次元空間内でのオブジェクト操作を関連付けることができる。例えば、図示するように、タップ操作に対しては、視界方向へのオブジェクト移動（即ち拡大／縮小処理）を関連付けるとよく、フリック操作に対しては、フリック方向（特にｘ，ｙ方向）および速度に応じたオブジェクトの直線移動を関連付けるとよく、スライド操作に対しては、スライド距離に応じた３軸方向の回転処理（図７も参照）、そしてホールド操作に対しては、直前のオブジェクト操作を維持するといった具合である。これらの対応付けは、対応テーブルとしてメモリに格納するのがよい。なお、上記の、オブジェクト操作種別とユーザ端末操作の対応付けは例示に過ぎず、これに限定されない。

次に図９から図１１を参照して、本発明の実施形態によるコンピュータ・プログラムにおいて、３次元仮想空間内のオブジェクトを３軸操作させるための操作命令を生成する情報処理について説明する。以下において、ユーザ端末としてタッチパネルを有するスマートフォンを想定するが、これに限定されない。

図９は、当該情報処理について、スマートフォンに機能させるための主要な機能セットに関するブロック図である。タッチパネルを通じたユーザ入力操作に対し、オブジェクト操作命令を生成するユーザ操作部１００としてスマートフォンに機能させる。ユーザ操作部１００は、図６の領域（１）および領域（２）のような領域を割り当てるための領域規割当部１１０、タッチパネルへのタッチ操作やデタッチ操作を判定する接触・非接触判定部１３０、タッチ操作位置に基づいて領域を判定するタッチ領域判定部１５０、スライド操作等のタッチ操作の種別を判定するタッチ操作決定部１７０、およびオブジェクト操作命令を生成する命令生成部１９０を含む。

命令生成部１９０は、タッチ操作決定部１７０によってタッチ操作がスライド操作と判定される場合に、スライド操作ベクトル（即ちスライド操作方向およびスライド操作距離）を決定する操作ベクトル決定部１９２、スライド操作ベクトルに対応する３次元空間の軸の対応付けを行う３次元空間軸決定部１９４、および３次元空間におけるオブジェクト操作量を決定するオブジェクト操作量決定部１９６を含む。

上記の機能ブロックのセットを用いて、図１０および図１１のフロー図に示す情報処理が実施される。図１０において、ステップＳ１０１では、最初の準備段階として、領域割当部１１０において、操作領域（タッチパネル上のタッチ領域）内に領域（１）および領域（２）が割り当てられる（図６の（ａ−１）および（ｂ−１）も参照）。当該動作は、プログラム実行時に設定されていればよく、例えばプログラム開発時に開発者によって設定されてもよいし、ユーザが初期設定時に設定しても何れでもよい。ステップＳ１０２では、接触・非接触判定部１３０によって、タッチ・スクリーンへの１または複数のタッチ操作・デタッチ操作の判定、並びにタッチ状態およびタッチ位置の判定処理が実施される。そして、当該ステップＳ１０２でタッチ操作が判定されると、次のステップＳ１０３以降へと進む。

ステップＳ１０３では、タッチ領域判定部１５０によって、上記ステップＳ１０２で判定されたタッチ操作が、領域（１）内でのものであるか、または領域（２）内でのものであるかを判定する。なお、タッチ操作がスライド操作の場合は、スライド開始点と終了点が異なる領域となることも想定されるが、ここではスライド開始点の位置のみで判定するのがよい。即ち、本実施形態では、領域を跨ぐスライド操作も許容可能である。

引き続きステップＳ１０４では、タッチ操作決定部１７０によってタッチ操作種別および対応するオブジェクト操作種別を決定する。図８に示したとおり、タッチ操作種別には、これに限定されないが、タップ操作、フリック操作、スライド（スワイプ）操作およびホールド操作等が含まれる。例えば、上記ステップＳ１０２において、接触・非接触判定部１３０がタッチ点およびデタッチ点を判定した場合は、当該タッチ操作はスライド操作であるとしてタッチ操作種別を決定する。また、タッチ操作種別が決定されると、タッチ操作決定部１７０は、メモリに格納された図８の対応テーブルにしたがって、オブジェクト操作種別も決定することができる。オブジェクト操作種別には、これに限定されないが、直線移動、回転移動、移動状態の維持等が含まれる。

ステップＳ１０３でタッチ操作領域が判定され、並びにステップＳ１０４でタッチ操作種別およびオブジェクト操作種別が決定されると、ステップＳ１０５に進む。ステップＳ１０５では、命令生成部１９０によって、タッチ操作に応じたオブジェクト操作命令が生成される。次の図１１で詳述するように、例えば、図６の領域（１）でのタッチ操作に対しては、３次元仮想空間内の第１軸および第２軸に関するオブジェクト操作命令を生成する。同様に、図６の領域（２）でのタッチ操作に対しては、３次元仮想空間内の第３軸に関するオブジェクト操作命令を生成する。このように生成したオブジェクト操作命令に基づいて、図１２以降の実施例で説明する３次元仮想空間でのオブジェクト操作処理が実施される。

図１１は、図１０のステップＳ１０５のオブジェクト操作命令生成処理について詳述したフロー図である。ここでは、タッチ操作としてスライド操作を、対応するオブジェクト操作として回転操作を想定する。先に図６を参照して概要を説明したように、オブジェクト操作命令は、スライド処理が領域（１）で行われたか（Ｓ２０１）または領域（２）で行われたか（Ｓ２１１）によって処理が分岐される。

スライド操作が領域（１）で行われた場合について説明する（図６の（１−ｃ）も参照）。ステップＳ２０２では、操作ベクトル決定部１９２によって、スライド操作の操作ベクトルを決定する。即ち、スライド操作の方向および距離が決定される。更に、スライド操作ベクトルを、タッチパネルに対する縦方向および横方向に成分毎に分解する。そして、各成分毎に３次元空間の２つの軸が関連付けられて、当該軸に関連付けられる２つのオブジェクト操作命令が各々生成される。

具体的には、ステップＳ２０３では、３次元空間軸決定部１９４により、上記縦成分および横成分が３次元仮想空間のＸ軸およびＹ軸（図４も参照）に関連付けられる。そして、ステップＳ２０４では、オブジェクト操作量決定部１９６により、縦成分および横成分の各大きさ（即ち、成分毎のスライド距離）に基づいて、３次元仮想空間のＸ軸およびＹ軸を中心としたピッチ角およびヨー角の回転量を決定する。最終的に、ステップＳ２０５では、命令生成部１９０により、ピッチ角方向およびヨー角方向の回転量に基づいて、ＸＹ両軸に関する回転操作命令が生成される。具体的には、縦成分に基づいてＸ軸に関連する回転操作命令を、また、横成分に基づいてＹ軸に関連する回転操作命令が生成される。

ステップＳ２１１に戻り、スライド操作が領域（２）で行われた場合は、ステップＳ２１２に進み、３次元空間軸決定部１９４によって、スライド操作ベクトルが３次元仮想空間のＺ軸（図４も参照）に関連付けられる。そして、ステップＳ２１３では、オブジェクト操作量決定部１９６により、スライド操作ベクトルの大きさ（即ち、スライド距離）に基づき、３次元仮想空間のＺ軸を中心としたロール角の回転量を決定する。最終的に、ステップＳ２１４では、命令生成部１９０により、ロール角方向の回転量に基づいて、Ｚ軸に関する回転操作命令が生成される。なお、スライド操作が領域（２）で行われた場合も、領域（１）と同様、スライド操作ベクトルを縦成分と横成分に分解して、横成分のみを使用してロール角の回転量を決定してもよい。

３次元仮想空間で回転させるオブジェクトの回転量は、上記のようにスライド距離に応じて決定するのがよいが、これに限定されない。他にも、スライド操作の速度や加速度を測定して回転量に反映してもよい。また、これらパラメータは、回転量以外にも、回転速度等を計算するのに利用可能である。

オブジェクト操作命令の実行および３次元仮想空間画像出力
上記図１１までを通じて生成されたオブジェクト操作命令は、これより図１２以降の２つの実施例を参照して説明するように、様々なコンピュータで実行することができる。当該コンピュータは、ユーザ操作を受け付けてオブジェクト操作命令を生成したコンピュータと同一のものとしてもよいし、異なるものとしてもよい。図１２から図１４は、ユーザ操作を受け付けてオブジェクト操作命令を生成したコンピュータが、引き続きオブジェクト操作命令を実行して表示する第１実施例を示す。他方、図１５から図１８は、ユーザ操作を受け付けてオブジェクト操作命令を生成したコンピュータとは異なるコンピュータが、オブジェクト操作命令を受けて実行および表示する第２実施例を示す。

図１２は、タッチパネルを備えるスマートフォンにおいて、オブジェクト操作命令作成に引き続き、オブジェクト操作命令を実行および表示する第１実施例のイメージ図である。第１実施例では、ユーザによるスライド操作とオブジェクト回転操作が同じタッチパネルを通じてインタラクティブに実行される。即ち、ユーザは、タッチパネルを見ながら、必要に応じてスライド操作を直観的に行いつつ回転量を調整すればよいため、自由度の高いスムーズなオブジェクト操作が可能となる。他方、ユーザ端末として、スマートフォンではなく通常のＰＣを採用した場合は、ユーザはマウス操作をしながらディスプレイを見ることになる。この場合でも、ユーザはディスプレイに表示されるマウスカーソルを意識してドラッグ操作を直観的に行いながら、同じディスプレイに表示されたオブジェクトの回転量を調整することになる。この点、やはり自由度の高いスムーズなオブジェクト操作が可能となる。

第１実施例では、次の図１３に示すように、ユーザ端末は、図９を参照して説明したユーザ操作部１００に加えて、オブジェクト操作命令を実行するオブジェクト操作命令実行部１２０、３次元仮想空間画像を生成する画像生成部１４０、および３次元仮想空間画像を表示する画像表示部１６０を主要な機能ブロックとして有するように機能する。第１実施例では、ユーザ端末は、図１３に示した機能ブロックを用いて、図１４に示すフロー図に基づく情報処理を実行する。そして、オブジェクト操作を実施するには、ステップＳ３０１のように、最初に操作対象オブジェクトが特定されることが必要である。詳細な説明は省略するが、オブジェクト特定態様の一例としては、ユーザがタッチ操作を通じて、３次元仮想空間内の複数のオブジェクトから特定オブジェクトを選択する等が想定される。なお、本発明では、オブジェクトの特定の態様は何れのものでもよい。

ステップＳ３０１で操作対象オブジェクトが特定されると、ステップＳ３０２では、ユーザ入力操作を受けて、図１１までを参照して先に説明してきたオブジェクト操作命令が生成される。これに応じて、ステップＳ３０３では、オブジェクト操作命令実行部１２０によって、オブジェクト操作命令が実行される。即ち、領域（１）の操作命令および／または領域（２）の操作命令を受け付けて、これら操作命令を実行し、３次元仮想空間内に配置されたオブジェクトを操作する。次いで、ステップＳ３０４で、画像生成部１４０によって、オブジェクト操作結果に基づく３次元仮想空間画像を生成すると共に、画像表示部１６０によって出力処理が実施されタッチパネルに表示される。

次に、別の第２実施例として、オブジェクト操作命令を生成したコンピュータとは異なるコンピュータを備えるＨＭＤシステムによって、オブジェクト操作命令が実行され、３次元仮想空間画像をＨＭＤに表示する例を説明する。まず、図１５を参照して本実施例で用いるＨＭＤシステム５００の全体概略について説明する。図示のように、ＨＭＤシステム５００は、オブジェクトを収容した仮想空間画像を表示するためのＨＭＤ本体５１０、および該ＨＭＤ本体５１０に接続され、オブジェクト操作命令を実行するためのＨＭＤ用コンピュータ５２０を含む。ＨＭＤ用コンピュータ５２０は汎用コンピュータを用いて構成することができる。また、ＨＭＤシステム５００は、ユーザ操作を受け、オブジェクト操作命令を生成するスマートフォン等のユーザ端末１に通信により接続される。

ＨＭＤ５１０は、ディスプレイ５１２およびセンサ５１４を具備する。ディスプレイ１１２は、一例として、ユーザの視界を完全に覆うよう構成された非透過型の表示装置とすることができ、ユーザはディスプレイ５１２に表示される画面のみを観察することができる。そして、非透過型のＨＭＤ５１０を装着したユーザは、外界の視界を全て失うため、ＨＭＤ用コンピュータ５２０において実行されるアプリケーションにより表示される仮想空間に完全に没入する表示態様となる。ＨＭＤ５１０が具備するセンサ５１４は、ディスプレイ５１２近辺に固定される。センサ５１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ５１０（ディスプレイ１１２）の各種動きを検知することができる。

図１６は、ＨＭＤシステム５００が携帯端末１と通信して、オブジェクト操作命令を受け、オブジェクト操作命令を実行および表示するイメージ図である。ＨＭＤコンピュータ５２０は、視界画像として２次元画像を左目用と右目用の２つをずらした形態で生成する。ユーザはＨＭＤ５１０を通じてこれら２つの画像を重畳して見ることになるため、ユーザには３次元画像のようにＨＭＤ５１０に表示される。図１６の画面イメージでは、画面中央に「積み木オブジェクト」が配置されるよう仮想カメラがセットされる。ユーザは、携帯端末をタッチ操作しながら当該「積み木オブジェクト」を所与の角度に傾けることができる（図５も参照）。

第２実施例では、ＨＭＤを装着して３次元仮想空間に没入状態にあるユーザは、自ら操作しているタッチパネルを見ることなく、直観的にタッチ操作を行いながら、ＨＭＤに表示されたオブジェクトを操作することになる。しかしながら、本発明の実施形態による仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムでは、ユーザは、領域（１）と領域（２）を感覚的に把握さえすれば、簡易かつ適切なタッチ操作によって回転量の調整ができる。このため、ユーザにとって、直観的で自由度の高いスムーズなオブジェクト操作が可能となる。

第２実施例では、図１７に示すように、ユーザ端末１が、図９を参照して説明したユーザ操作部１００として機能する。他方、ＨＭＤシステム５００が、オブジェクト操作命令を実行するオブジェクト操作命令実行部５３１、３次元仮想空間画像を生成する画像生成部５３３、および３次元仮想空間画像を表示する画像表示部５３５を主要な機能ブロックとして有するように機能する。ＨＭＤシステム５００はまた、ＨＭＤを装着したユーザの動きを検出するための動き検出部５４１、仮想カメラからの視界を決定する視界決定部５４３、および３次元空間全体の画像を生成するための視界画像生成部５４５としても機能する。第２実施例では、携帯端末１は、図１７に示した機能ブロックを用いて、図１８に示すフロー図に基づく情報処理を実行する。当該情報処理は、ユーザ端末１およびＨＭＤシステム５００の通信により相互作用しながら実施される。

ステップＳ５２０−１では、ＨＭＤ５１０に搭載されたセンサを用いた動き検出部５４１により、ＨＭＤの動き（例えば傾き）を検出する。これを受けて、ステップＳ５３０−１では、ＨＭＤ用コンピュータ５３０の視界決定部５４３によって、仮想空間の視界情報を決定する。また、ステップＳ５３０−２では、視界画像生成部５４５によって、視界情報に基づいて視界画像を生成する（図５も参照）。生成された視界画像に基づいて、ステップＳ５２０−２では、ＨＭＤ５１０を通じて視界画像が出力される。ＨＭＤを装着したユーザが首を傾ける等の動作を行うことにより、ＨＭＤ５３０では、ステップＳ５３０−３で操作対象のオブジェクトを特定する。なお、本発明では、オブジェクトの特定の態様は上記のＨＭＤ動作に限らず、何れのものでもよい。

ステップＳ５３０−３で操作対象オブジェクトが特定されると、ステップＳ５１０−１では、ユーザによる入力操作を受けて、図１１までを参照して先に説明してきたオブジェクト操作命令が生成される。これに応じて、ステップＳ５３０−４では、ＨＭＤ用コンピュータ５３０のオブジェクト操作命令実行部５３１によって、３次元仮想空間内でのオブジェクト操作命令が実行される。即ち、領域（１）の操作命令および／または領域（２）の操作命令を受け付けて、これら操作命令を実行し、３次元仮想空間内に配置されたオブジェクトを操作する。次いで、ステップＳ５３０−５では、画像生成部５３３によって、オブジェクト操作結果に基づく３次元仮想空間画像を生成する。この際、視界画像生成部５４５からの３次元仮想空間画像と操作オブジェクト画像を重畳させて、３次元仮想空間全体画像とする。そして、ステップＳ５３０−３では、画像表示部５３５によって３次元仮想空間全体画像の出力処理が実施され、ＨＭＤ５１０に表示される。

本発明の実施形態による、仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムによれば、仮想空間内オブジェクトの３軸操作命令を効率的に生成可能とする。仮想空間内のオブジェクトの３軸操作に際し、ユーザによる直観的な入力操作を実現可能とする。特に、自由度の高いスムーズなオブジェクト操作を実現可能とする。また、効率的なゲーム進行が要求される３Ｄゲームにおいて、特に、数値の入力・指定操作の必要性を排除することができる。

以上、本発明の実施形態による、仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムについて幾らかの例示と共に説明した。上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

Claims (6)

1. 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラムであって、
   タッチパネル上の操作領域内に第１領域および第２領域を割り当てる領域割当部と、
   命令生成部であって、
   前記第１領域に関する第１スライド操作に応答して、前記仮想空間内の第１軸および第２軸に関する前記オブジェクトへの第１操作命令を生成し、
   前記第２領域に関する第２スライド操作に応答して、前記仮想空間内の第３軸に関する前記オブジェクトへの第２操作命令を生成する、
   命令生成部と
   として前記タッチパネルを備えるコンピュータに機能させ、
   前記第１スライド操作の第１スライド開始点が前記第１領域内にある場合に、前記第１スライド操作が前記第１領域に関連付けられ、
   前記第１操作命令が、前記第１スライド開始点からの第１スライド距離に少なくとも基づき、
   前記第２操作命令が、前記第２スライド操作の第２スライド開始点からの、前記第１領域および前記第２領域における特定成分の第２スライド距離に応じた回転量を有する、前記オブジェクトへの第２回転操作命令を含み、
   前記コンピュータがヘッドマウント・ディスプレイ（ＨＭＤ）システムに通信により接続され、該ＨＭＤシステムが、
   前記オブジェクトを収容した仮想空間画像を表示する非透過型のＨＭＤと、
   前記ＨＭＤに接続されるＨＭＤ用コンピュータであって、
   前記オブジェクトへの前記第１操作命令および／または前記第２操作命令を前記コンピュータから受信したのに応答して、前記第１操作命令および／または前記第２操作命令を実行し、前記仮想空間内に配置された前記オブジェクトを操作するオブジェクト操作部と、
   前記ＨＭＤ上に表示するために、前記オブジェクトを配置した前記仮想空間画像を生成する画像生成部と、
   を備える、ＨＭＤ用コンピュータと、を備える、コンピュータ・プログラム。
2. 請求項１記載のコンピュータ・プログラムにおいて、
   前記第１操作命令が、前記第１スライド距離に応じた回転量を有する、前記オブジェクトへの第１回転操作命令を含む、
   コンピュータ・プログラム。
3. 請求項２記載のコンピュータ・プログラムにおいて、
   前記第２回転操作命令が、前記仮想空間内でロール角に関する前記オブジェクトへの回転命令を含む、コンピュータ・プログラム。
4. 請求項１から３のいずれか一項記載のコンピュータ・プログラムにおいて、
   前記第１操作命令が第１軸操作命令および第２軸操作命令を含み、
   前記第１スライド操作についての操作ベクトルを第１成分および第２成分に分解し、
   前記第１軸操作命令が前記第１成分に基づいて生成されると共に、前記第２軸操作命令が前記第２成分に基づいて生成される、コンピュータ・プログラム。
5. 請求項１から４のいずれか一項記載のコンピュータ・プログラムにおいて、
   前記コンピュータが携帯端末であり、該携帯端末の長軸方向が上向きとなる状態が維持されたときに、
   前記領域割当部において、前記第２領域が、前記操作領域の底部に、所与の面積比率を有するように割り当てられる、コンピュータ・プログラム。
6. 請求項１から５のいずれか一項記載のコンピュータ・プログラムにおいて、
   前記コンピュータが携帯端末であり、該携帯端末の長軸方向が横向きとなる状態が維持されたときに、
   前記領域割当部において、前記第２領域が、前記操作領域の側部の一方に所与の面積比率を有するように割り当てられる、コンピュータ・プログラム。