JP7441325B2 - 情報処理システム、情報処理プログラムおよび情報処理方法 - Google Patents

Description

本発明は、せん断とモーメントを検出するための操作子を備える情報処理システムに関する。

従来、情報処理装置用の操作子として様々なものが知られている。例えば特許文献１には、コントロールパッドとポインティングスティックが記載されている。コントロールパッドは、円盤状の突起部を有し、その突起部が基準位置から移動した方向を検知する入力デバイスである。一方、ポインティングスティックは、棒状の突起部を有し、その突起部が傾倒した方向を検知する入力デバイスである。

特開２０１７－１６７０６号公報

従来の入力デバイスには、１つの操作子を介した入力を多様化する余地があった。加えて、多様化された入力を用いてアプリケーション処理を改善する余地があった。

本発明は、このような事情に鑑みてなされたものであり、１つの操作子を介した入力を多様化すること、または、多様化された入力を用いたアプリケーション処理を改善することを目的とする。

上記の課題を解決するため、本発明の一実施形態に係る情報処理システムは、コントローラと一または複数のプロセッサを含む情報処理システムであって、前記コントローラは、ユーザの指によって操作される操作子と、前記操作子に対するユーザ操作を検出する単一または複数のセンサとを備え、前記プロセッサは、前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定し、前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて、前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢の制御である第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて、前記操作オブジェクトの移動または姿勢の制御のいずれとも異なる制御である第２制御を実行する。

前記第２制御は、前記操作オブジェクトに所定のアクションを実行させる制御であってもよい。

前記第２制御は、前記操作オブジェクトの一人称視点または三人称視点に対応する仮想カメラの移動または姿勢の制御であってもよい。

前記第１制御または前記第２制御の一方は前記第１入力または前記第２入力の一方の入力量に応じた段階的な制御であり、他方の制御は他方の入力の入力量に応じた段階的な制御であり、前記第１制御または前記第２制御の一方は他方よりも段階が細かくてもよい。

前記第１制御または前記第２制御の一方が実行されるのに要する前記第１入力または前記第２入力の一方の入力量は、他方の制御が実行されるのに要する他方の入力量に比べて大きくてもよい。

前記第１制御または前記第２制御の一方が前記第１入力または前記第２入力の一方に基づいて実行されているときには、両方の制御が実行されていないときに比べて、他方の制御が実行されるのに要する他方の入力量が大きくてもよい。

前記第１制御または前記第２制御の一方が実行されているときには、他方の制御は実行されないようにしてもよい。

前記第１入力または前記第２入力の一方の入力があるときには、他方の入力に基づく制御が実行されるのに要する入力量が、当該一方の入力がないときに当該他方の入力に基づく制御が実行されるのに要する入力量と比べて大きくてもよい。

前記第１入力があるときの前記第２入力に基づいて前記第２制御を実行する場合において、前記第１入力に基づいて異なる種類の第２制御が実行されてもよい。

前記第２制御は、前記操作オブジェクトに所定のアクションを実行させる制御であり、前記第１入力と前記第２入力の方向とに基づいて異なる種類のアクションが実行されてもよい。

前記第２制御は、前記操作オブジェクトに所定のアクションを実行させる制御であり、前記第１入力と前記第２入力の方向とに基づいて異なる方向へのアクションが実行されてもよい。

前記プロセッサは、前記第１制御と前記第２制御の両方を実行する第１操作モードと、前記第１制御または前記第２制御の一方を実行する第２操作モードの間で、操作モードを切り替えてもよい。

前記第２操作モードにおいて、前記第１入力の入力量と前記第２入力の入力量とに基づいて前記第１制御または前記第２制御が実行されてもよい。

前記コントローラは、前記ユーザの、前記指とは異なる指によって操作される他の操作子と、前記他の操作子に対するユーザ操作を検出する他のセンサとをさらに備え、前記プロセッサは、前記他のセンサからの出力に基づいて、前記他の操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含む他のせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含む他のモーメントパラメータとを決定し、前記第２操作モードにおいて、前記せん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御する場合には、前記他のモーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行し、前記モーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行する場合には、前記他のせん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御してもよい。

前記ユーザの、前記指とは異なる指によって操作される他の操作子と、前記他の操作子に対するユーザ操作を検出する他のセンサとを備える他のコントローラをさらに備え、前記プロセッサは、前記他のセンサからの出力に基づいて、前記他の操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含む他のせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含む他のモーメントパラメータとを決定し、前記第２操作モードにおいて、前記せん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御する場合には、前記他のモーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行し、前記モーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行する場合には、前記他のせん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御してもよい。

前記せん断パラメータおよび前記モーメントパラメータは、前記操作子の変位または前記操作子に対して前記ユーザにより付与された力に対応するパラメータであってもよい。

本発明の一実施形態に係る情報処理システムは、コントローラと一または複数のプロセッサを含む情報処理システムであって、前記コントローラは、ユーザの指によって操作される操作子と、前記操作子に対するユーザ操作を検出する単一または複数のセンサとを備え、前記プロセッサは、前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定し、前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて第２制御を実行し、前記第１入力または前記第１入力に基づいて実行される前記第１制御に応じて、前記第２制御の種類または前記第２制御の実行が決定される。

前記第１制御は、前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢の制御であり、前記第２制御は、前記操作オブジェクトの移動または姿勢の制御のいずれとも異なる制御であってもよい。

本発明の一実施形態に係る情報処理プログラムは、コントローラと通信可能に接続される情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、前記コントローラは、ユーザの指によって操作される操作子と、前記操作子に対するユーザ操作を検出する単一または複数のセンサとを備え、前記コンピュータに、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを取得するステップと、前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて、前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢の制御である第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて、前記操作オブジェクトの移動または姿勢の制御のいずれとも異なる制御である第２制御を実行するステップとを実行させる。

本発明の一実施形態に係る情報処理方法は、コントローラを含む情報処理システムにより実行される情報処理方法であって、前記コントローラは、ユーザの指によって操作される操作子と、前記操作子に対するユーザ操作を検出する単一または複数のセンサとを備え、前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定するステップと、前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて、前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢の制御である第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて、前記操作オブジェクトの移動または姿勢の制御のいずれとも異なる制御である第２制御を実行するステップとを含む。

本発明の一実施形態に係る情報処理システムは、コントローラと一または複数のプロセッサを含む情報処理システムであって、前記コントローラは、ユーザの指によって操作される操作子と、前記操作子に対するユーザ操作を検出する単一または複数のセンサとを備え、前記プロセッサは、前記センサからの出力に基づいて、前記操作子に対するユーザ操作の、少なくとも２つの方向成分を含むスライド成分と、少なくとも２つの方向成分を含む傾倒成分とを決定し、前記スライド成分または前記傾倒成分の一方である第１入力に基づいて、前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢の制御である第１制御を実行し、前記スライド成分または前記傾倒成分の他方である第２入力に基づいて、前記操作オブジェクトの移動または姿勢の制御のいずれとも異なる制御である第２制御を実行する。

本発明の一実施形態に係る情報処理システムは、コントローラと一または複数のプロセッサを含む情報処理システムであって、前記コントローラは、ユーザの指によって操作される第１操作子、および、当該ユーザの他の指によって操作される第２操作子と、前記第１および第２操作子に対するユーザ操作をそれぞれ検出する単一または複数のセンサとを備え、前記プロセッサは、前記センサからの出力に基づいて、前記第１操作子に対するユーザ操作の第１のスライド成分と第１の傾倒成分、および、前記第２操作子に対するユーザ操作の第２のスライド成分と第２の傾倒成分を決定し、前記第１のスライド成分に基づいて仮想空間内の第１操作オブジェクトの移動を制御し、かつ、前記第１の傾倒成分に基づいて当該第１操作オブジェクトの姿勢を制御し、および、前記第２のスライド成分に基づいて仮想空間内の第２操作オブジェクトの移動を制御し、かつ、前記第２の傾倒成分に基づいて当該第２操作オブジェクトの姿勢を制御する。

前記第１操作オブジェクトは、仮想空間内の所定の仮想キャラクタの所定部位のオブジェクトであり、前記第２操作オブジェクトは、当該仮想キャラクタの別の部位のオブジェクトであってもよい。

本発明によれば、１つの操作子を介した入力を多様化すること、または、多様化された入力を用いたアプリケーション処理を改善することが可能になる。

情報処理システムの一例を示すブロック図 センサ装置１２、操作用プレート１３および操作子１４の外観の一例を示す図 センサ装置１２の斜視図 センサ装置１２の側面図 コントローラ１の内部構成の一例を示すブロック図 コントローラ１に入力可能な操作の一例を示す図 コントローラ１の操作例を示す図 コントローラ１の操作例を示す図 情報処理装置２の内部構成の一例を示すブロック図 情報処理装置２の機能構成の一例を示すブロック図 アプリケーション処理の一例を示すフロー図 操作オブジェクトデータ更新処理の一例を示すフロー図 アクション決定処理の一例を示すフロー図 アクションの一覧を示す図 本体装置７の内部構成の一例を示すブロック図 本体装置７の機能構成の一例を示すブロック図 受力部材５２、センサ装置１２およびセンサ固定部材５３を示す側面断面図

１．第１実施形態
１－１．構成
本発明の第１実施形態に係る情報処理システムについて図面を参照して説明する。
図１は、この情報処理システムの一例を示すブロック図である。同図に示す情報処理システムは、コントローラ１、情報処理装置２およびディスプレイ３を備える。コントローラ１は、ユーザの操作に応じて操作データを生成し、生成した操作データを情報処理装置２に送信する。情報処理装置２は、コントローラ１から送信される操作データを基にアプリケーション処理を実行し、その実行結果を反映させたアプリケーション画像を生成する。そして、生成したアプリケーション画像を、専用線４を介してディスプレイ３に出力する。ディスプレイ３は、情報処理装置２から出力されるアプリケーション画像を表示する。
以下、この情報処理システムの構成要素のうち、コントローラ１と情報処理装置２について詳細に説明する。

コントローラ１は、片手で把持される片手コントローラである。このコントローラ１は、筐体１１、センサ装置１２、操作用プレート１３および操作子１４を備える。図２は、コントローラ１が備えるこれらの構成要素のうち、特にセンサ装置１２、操作用プレート１３および操作子１４の外観の一例を示す図である。以下、各構成要素について説明する。

筐体１１は、図示を省略するが、大略、半楕円体状の形状を有する。より具体的には、半球状の筐体本体と、筐体本体の平面部の外周に沿って形成された円筒壁とからなる。筐体本体の平面部と円筒壁の内周面により、円柱状の凹部が形成される。この筐体１１は、ユーザの手のひらと親指以外の指により挟まれて把持される。

センサ装置１２は、ユーザの操作を検出するための６軸力覚センサである。このセンサ装置１２は、大略、円柱形状を有する。このセンサ装置１２は、その底面が、筐体本体の平面部中央に固定され、上記の凹部内に配置される。このセンサ装置１２については後で詳述する。

操作用プレート１３は、円板状の部材である。この操作用プレート１３の直径は、上記の円筒壁の内径よりも小さい。この操作用プレート１３は、その底面中央が、センサ装置１２の上面に固定され、上記の凹部内に配置される。この操作用プレート１３は、操作子１４の可動範囲を制限するために設けられている。

操作子１４は、円板状の部材である。この操作子１４の直径は、操作用プレート１３の直径よりも小さい。この操作子１４は、その底面が、操作用プレート１３の上面中央に固定され、上記の円筒壁よりも上方に突出している。この操作子１４は、筐体１１を把持するユーザの親指により操作される。

次に、センサ装置１２について詳細に説明する。
図３および図４は、センサ装置１２の外観の一例を示す図である。このうち、図３は、センサ装置１２の斜視図であり、図４は、センサ装置１２の側面図である。これらの図に示すセンサ装置１２は、起歪体１２１、センサチップ１２２および受力板１２３を備える。以下、各構成要素について説明する。

起歪体１２１は、その上部に印加される外力に応じて弾性変形する部材である。

センサチップ１２２は、起歪体１２１に収容され、一例として、複数のピエゾ抵抗素子と、ＤＳＰ（digital signal processor）を備える（いずれも図示略）。複数のピエゾ抵抗素子は、起歪体１２１の機械的変形に応じて電気抵抗が変化するように配置されている。ＤＳＰは、複数のピエゾ抵抗素子から検出される抵抗の変化率から、起歪体１２１に対して印加された外力のせん断力およびモーメントを算出する。ここで算出されるせん断力とは、図３に示すように、Ｘ軸方向のせん断力Ｆｘ、Ｙ軸方向のせん断力ＦｙおよびＺ軸方向のせん断力Ｆｚである。これらのせん断力Ｆｘ、ＦｙおよびＦｚは、３方向のせん断方向成分を含むせん断パラメータである。一方、ここで算出されるモーメントとは、同図に示すように、Ｘ軸周りのモーメントＭｘ、Ｙ軸周りのモーメントＭｙおよびＺ軸周りのモーメントＭｚである。これらのモーメントＭｘ、ＭｙおよびＭｚは、３軸に対するモーメント方向成分を含むモーメントパラメータである。なお、モーメントは、軸周りのせん断力と言うこともできる。ＤＳＰは、上記の算出処理を所定の周期で実行して、算出したせん断力およびモーメントを６軸データとして出力する。

次に、受力板１２３は、起歪体１２１の上に固定され、その上面に印加された外力を起歪体１２１に伝達する。

以上まとめると、センサ装置１２は、受力板１２３に印加された外力のせん断力およびモーメントを周期的に算出し、６軸データとして出力する。
なお、この種のセンサ装置１２としては公知のものを適宜利用可能である。例えば、特開２０１８－１８５２９６号公報を参照してもよい。

コントローラ１の説明に戻る。
図５は、コントローラ１の内部構成の一例を示すブロック図である。同図に示すコントローラ１は、センサ装置１２、通信制御部１５および電力供給部１６を備える。センサ装置１２は、上記の通り、周期的に６軸データを出力する。通信制御部１５は、マイクロプロセッサとメモリを備え、センサ装置１２から出力される６軸データを近距離無線通信で情報処理装置２に送信する。電力供給部１６は、バッテリと電力制御回路を備え、センサ装置１２と通信制御部１５に電力を供給する。

次に、このコントローラ１に入力可能な操作について説明する。図６は、このコントローラ１に入力可能な操作の一例を示す図である。

コントローラ１の操作子１４は、図２に示す通り、操作用プレート１３を介してセンサ装置１２の上面に固定されている。この操作子１４が固定されるセンサ装置１２の上面は、より具体的には、受力板１２３の上面である。この受力板１２３は、操作子１４が筐体１１に対して平行にスライドされると、操作子１４と同方向にスライドさせようとするせん断力を受ける。このせん断力は、受力板１２３から起歪体１２１に伝達され、起歪体１２１は、このせん断力に応じて弾性変形する。その結果、センサチップ１２２から出力されるせん断パラメータが変化する。このせん断パラメータは、３方向のスライド成分を含むパラメータである。このせん断パラメータの変化は、操作子１４の変位（言い換えると、操作子１４に付与された力）に対応する。このせん断パラメータの変化を検出することで、図６の矢印Ａ１～Ａ５が示すようなせん断方向の操作を検出することができる。ここで、図６の矢印Ａ１～Ａ４は、操作子１４を上下左右にスライドさせる操作を示しており、矢印Ａ５は、操作子１４を押し込む操作を示している。なお、図が煩雑になることを避けるために図示を省略しているが、コントローラ１は、操作子１４を斜め方向にスライドさせる操作も検出することができる。ここで言う操作子１４を斜め方向にスライドさせる操作とは、言い換えると、複数軸間（具体的には、図３に示すＦｘおよびＦｙ間）のスライド操作である。

加えて、受力板１２３は、操作子１４が筐体１１に対して傾倒されると、操作子１４と同方向に傾倒させようとするモーメントを受ける。このモーメントは、受力板１２３から起歪体１２１に伝達され、起歪体１２１は、このモーメントに応じて弾性変形する。その結果、センサチップ１２２から出力されるモーメントパラメータが変化する。このモーメントパラメータは、３方向の傾倒成分を含むパラメータである。このモーメントパラメータの変化は、操作子１４の変位（言い換えると、操作子１４に付与された力）に対応する。このモーメントパラメータの変化を検出することで、図６の矢印Ａ６～Ａ８が示すようなモーメント方向の操作を検出することができる。ここで、図６の矢印Ａ６は、操作子１４を上下方向に傾倒させる操作を示しており、矢印Ａ７は、操作子１４を左右方向に傾倒させる操作を示しており、矢印Ａ８は、操作子１４を回転させる操作を示している。なお、図が煩雑になることを避けるために図示を省略しているが、コントローラ１は、操作子１４を斜め方向に傾倒させる操作も検出することができる。ここで言う操作子１４を斜め方向に傾倒させる操作とは、言い換えると、複数軸間（具体的には、図３に示すＭｘおよびＭｙ間）の傾倒操作である。

せん断方向の操作とモーメント方向の操作はそれぞれ別々に検出される。そのため、操作子１４をスライドさせる方向と傾倒させる方向は必ずしも同じでなくてもよい。例えば、図７（ａ）に例示するように、操作子１４を図面右方向にスライドさせた状態で、図７（ｂ）に例示するように、図面右方向に傾倒させた場合には、右方向のスライド操作と右方向の傾倒操作がそれぞれ検出されることになる。これに対して、図８（ａ）に例示するように、操作子１４を図面右方向にスライドさせた状態で、図８（ｂ）に例示するように、図面左方向に傾倒させた場合には、右方向のスライド操作と左方向の傾倒操作がそれぞれ検出されることになる。この例に示すように、操作子１４をスライドさせる方向と傾倒させる方向は必ずしも同じでなくてもよい。
以上が、コントローラ１についての説明である。

以上説明したコントローラ１によれば、操作子１４を介してせん断方向の操作とモーメント方向の操作の２つの操作を入力することができる。

次に、情報処理装置２について説明する。
図９は、情報処理装置２の内部構成の一例を示すブロック図である。同図に示す情報処理装置２は、ＣＰＵ等の１以上のプロセッサ２１と、フラッシュメモリ等の不揮発性メモリ２２と、ＤＲＡＭ等の揮発性メモリ２３と、メモリカード等の外部記憶媒体が装着可能なスロット２４と、コントローラ１と近距離無線通信を行うための近距離無線通信部２５と、無線ＬＡＮ方式で外部装置と無線通信を行うためのネットワーク通信部２６を備える。

この情報処理装置２が備える揮発性メモリ２３には、不揮発性メモリ２２または外部記憶媒体からアプリケーションプログラムが読み込まれる。この読み込まれたアプリケーションプログラムがプロセッサ２１により実行されると、所定のアプリケーションが実行可能になる。

このアプリケーションでは、３次元の仮想空間が定義される。そして、この仮想空間上に、ユーザによって操作される操作オブジェクトや背景オブジェクトが配置される。加えて、この仮想空間上には、仮想カメラが配置される。この仮想カメラは操作オブジェクトに追従して移動し、この仮想カメラにより撮影された画像がディスプレイ３に表示される。

このアプリケーションを操作可能にするために、情報処理装置２では所定のアプリケーション処理がフレーム単位で実行される。図１０は、このアプリケーション処理を実行するための機能構成の一例を示すブロック図である。同図に示す各機能は、アプリケーションプログラムがプロセッサ２１により実行されることにより提供される。以下、各機能について説明する。

６軸データ記憶部２３１は、コントローラ１から順次出力される６軸データを時系列で記憶する。

移動方向決定部２１１は、６軸データ記憶部２３１に格納される最新のせん断パラメータに基づいて操作オブジェクトの移動方向を決定する。

移動速度決定部２１２は、６軸データ記憶部２３１に格納される最新のせん断パラメータに基づいて操作オブジェクトの移動速度を決定する。

操作オブジェクトデータ記憶部２３２は、操作オブジェクトの仮想空間における位置を示すデータと、同オブジェクトのアクションを示すデータを記憶する。

操作オブジェクト位置更新部２１３は、移動方向決定部２１１により決定された移動方向と、移動速度決定部２１２により決定された移動速度に基づいて、操作オブジェクトの現在位置を決定する。そして、決定した現在位置を示すデータで、操作オブジェクトデータ記憶部２３２に記憶されている位置データを更新する。この更新処理により、操作オブジェクトの移動が制御される。

アクション決定部２１４は、６軸データ記憶部２３１に格納される最新のモーメントパラメータと、移動方向決定部２１１により決定された移動方向と、移動速度決定部２１２により決定された移動速度とに基づいて、操作オブジェクトのアクションを決定する。そして、決定したアクションを示すデータで、操作オブジェクトデータ記憶部２３２に記憶されているアクションデータを更新する。この更新処理により、ユーザ操作オブジェクトのアクションが制御される。
なお、このアクション決定部２１４により決定されるアクションは、操作オブジェクトによる何らかの行動であるが、単なる移動は含まれない。このアクションには、移動を伴う行動が含まれる。

背景データ記憶部２３３は、背景オブジェクトの仮想空間における位置を示すデータと、同オブジェクトの状態を示すデータを記憶する。

背景データ更新部２１５は、操作オブジェクトデータ記憶部２３２に記憶されている各データに基づいて、背景データ記憶部２３３に記憶されている各データを更新する。

仮想カメラデータ記憶部２３４は、仮想カメラの仮想空間における位置を示すデータと、同カメラの姿勢を示すデータを記憶する。

仮想カメラデータ更新部２１６は、操作オブジェクトデータ記憶部２３２に記憶されている各データに基づいて、仮想カメラデータ記憶部２３４に記憶されている各データを更新する。

画面生成部２１７は、操作オブジェクトデータ記憶部２３２、背景データ記憶部２３３および仮想カメラデータ記憶部２３４に記憶されている各データに基づいて、画面データを生成する。生成された画面データは、専用線４を介してディスプレイ３に出力されて表示される。
以上が、情報処理装置２についての説明である。

１－２．動作
情報処理装置２で実行されるアプリケーション処理についてより詳細に説明する。図１１は、このアプリケーション処理の一例を示すフロー図である。

同図に示すアプリケーション処理のステップＳａ１では、操作オブジェクトデータ更新処理が実行される。図１２は、この操作オブジェクトデータ更新処理の一例を示すフロー図である。

同図に示す操作オブジェクトデータ更新処理のステップＳａ１１では、移動方向決定部２１１は、６軸データ記憶部２３１に格納される最新のせん断パラメータに基づいて操作オブジェクトの移動方向を決定する。その際、移動方向決定部２１１は、そのせん断パラメータのＸ軸方向成分とＹ軸方向成分から合成ベクトルを算出し、算出した合成ベクトルの方向を、移動方向として特定する。

移動方向の特定後、次に、移動速度決定部２１２は、６軸データ記憶部２３１に格納される最新のせん断パラメータに基づいて操作オブジェクトの移動速度を決定する（ステップＳａ１２）。その際、移動速度決定部２１２は、まず、そのせん断パラメータのＸ軸方向成分とＹ軸方向成分から合成ベクトルを算出する。そして、算出した合成ベクトルの大きさが、所定の閾値以上であるか否かを判定する。この判定の結果、合成ベクトルの大きさが所定の閾値以上である場合には、移動速度「高速」を特定する。一方、この判定の結果、合成ベクトルの大きさが所定の閾値未満である場合には、移動速度「低速」を特定する。

移動速度の特定後、操作オブジェクト位置更新部２１３は、ステップＳａ１１で決定された移動方向と、ステップＳａ１２で決定された移動速度に基づいて、操作オブジェクトの現在位置を決定する。そして、決定した現在位置を示すデータで、操作オブジェクトデータ記憶部２３２に記憶されている位置データを更新する（ステップＳａ１３）。

位置データを更新後、次に、アクション決定部２１４は、６軸データ記憶部２３１に格納される最新のモーメントパラメータと、ステップＳａ１１で決定された移動方向と、ステップＳａ１２で決定された移動速度に基づいて、操作オブジェクトのアクションを決定する（ステップＳａ１４）。図１３は、このアクション決定処理の一例を示すフロー図である。

同図に示すアクション決定処理のステップＳａ１４０１では、アクション決定部２１４は、モーメントパラメータのＸ軸周り成分またはＹ軸周り成分が、所定の閾値以上であるか否かを判定する。この判定の結果、いずれの軸周り成分も所定の閾値未満である場合には（ステップＳａ１４０１のＮＯ）、本アクション決定処理は終了する。

一方、ステップＳａ１４０１の判定の結果、いずれかの軸周り成分が所定の閾値以上である場合には（ステップＳａ１４０１のＹＥＳ）、次に、ステップＳａ１２で決定された移動速度が「低速」であるか否かを判定する（ステップＳａ１４０２）。この判定の結果、移動速度が「低速」である場合には（ステップＳａ１４０２のＹＥＳ）、次に、ステップＳａ１１で決定された移動方向とモーメント方向（言い換えると、操作子１４の傾倒方向）の関係を判定する（ステップＳａ１４０３）。この判定の結果、移動方向とモーメント方向が同じ方向である場合には、アクション「前転」を特定し（ステップＳａ１４０４）、移動方向とモーメント方向が逆方向である場合には、アクション「後転」を特定し（ステップＳａ１４０５）、移動方向とモーメント方向が垂直の関係にある場合には、アクション「側転」を特定する（ステップＳａ１４０６）。なお、本処理において、移動方向とモーメント方向が同じ方向である場合には、２つの方向が厳密に一致する場合だけでなく、２つの方向がなす角度が所定の閾値以下である場合も含まれる。例えば、移動方向を中心として左右４５度の範囲にモーメント方向が含まれる場合、これを「同じ方向」であるとみなしてもよい。これは、２つの方向が逆方向である場合と２つの方向が垂直関係にある場合についても同様である。

アクションを特定すると、次に、特定したアクションを示すデータで、操作オブジェクトデータ記憶部２３２に記憶されているアクションデータを更新する（ステップＳａ１４０７）。このアクションデータの更新を以って、アクション決定処理は終了する。

一方、上記のステップＳａ１４０２の判定の結果、移動速度が「低速」でない場合には（すなわち、移動速度が「高速」である場合には）（ステップＳａ１４０２のＮＯ）、次に、ステップＳａ１１で決定された移動方向とモーメント方向の関係を判定する（ステップＳａ１４０８）。この判定の結果、移動方向とモーメント方向が同じ方向である場合には、アクション「前転とび」を特定し（ステップＳａ１４０９）、移動方向とモーメント方向が逆方向である場合には、アクション「後転とび」を特定し（ステップＳａ１４１０）、移動方向とモーメント方向が垂直の関係にある場合には、アクション「側転とび」を特定する（ステップＳａ１４１１）。そして、上述したステップＳａ１４０７を実行する。
以上が、アクション決定処理についての説明である。

図１４は、このアクション決定処理で決定されるアクションの一覧を示す図である。同図に示すように、決定されるアクションは、移動速度と、移動方向とモーメント方向の関係とに応じて変化する。例えば、ユーザがコントローラ１の操作子１４を右方向に小さくスライドさせた状態で右方向に傾倒させると（すなわち、移動速度「低速」であり、移動方向とモーメント方向が同じ方向である場合には）、アクション「前転」が特定される。これに対して、ユーザが操作子１４を右方向に大きくスライドさせた状態で左方向に傾倒させると（すなわち、移動速度「高速」であり、移動方向とモーメント方向が逆方向である場合には）、アクション「後転とび」が特定される。

なお、上記のアクション決定処理は、操作オブジェクトがいずれかの方向に移動することを前提にしている。操作オブジェクトが移動しない場合で（言い換えると、せん断方向の操作が入力されない場合で）、モーメント方向の操作のみが入力された場合には、そのモーメント方向（言い換えると、操作子１４の傾倒方向）に応じてアクションが決定される。具体的には、操作子１４が上方向に傾倒されるとアクション「前転」が特定され、操作子１４が左右方向に傾倒されるとアクション「側転」が特定され、操作子１４が下方向に傾倒されるとアクション「後転」が特定される。あるいは、モーメント方向の操作が入力されたときの操作オブジェクトの向きに応じてアクションが決定されてもよい。例えば、操作オブジェクトが右方向を向いて停止している状態において、操作子１４が右方向に傾倒されるとアクション「前転」が特定され、操作子１４が上下方向に傾倒されるとアクション「側転」が特定され、操作子１４が左方向に傾倒されるとアクション「後転」が特定されるようにしてもよい。

このアクション決定処理の終了を以って、図１２に示すように、操作オブジェクトデータ更新処理は終了する。

操作オブジェクトデータ更新処理が終了すると、次に、背景データ更新部２１５は、操作オブジェクトデータ記憶部２３２に記憶されている各データに基づいて、背景データ記憶部２３３に記憶されている各データを更新する（ステップＳａ２）。

背景データの更新後、次に、仮想カメラデータ更新部２１６は、操作オブジェクトデータ記憶部２３２に記憶されている各データに基づいて、仮想カメラデータ記憶部２３４に記憶されている各データを更新する（ステップＳａ３）。

仮想カメラデータの更新後、次に、画面生成部２１７は、操作オブジェクトデータ記憶部２３２、背景データ記憶部２３３および仮想カメラデータ記憶部２３４に記憶されている各データに基づいて、画面データを生成する（ステップＳａ４）。生成された画面データは、専用線４を介してディスプレイ３に出力され、このディスプレイ３に表示される。

以上説明したステップＳａ１からＳａ４は、アプリケーションの所定の終了条件が満たされるまで繰り返し実行され、所定の終了条件が満たされると（ステップＳａ５のＹＥＳ）、本アプリケーション処理は終了する。
以上が、アプリケーション処理についての説明である。

２．第２実施形態
本発明の第２実施形態に係る情報処理システムについて図面を参照して説明する。
本実施形態に係る情報処理システムは、第１実施形態に係る、２つのコントローラ１と、本体装置７を備える。２つのコントローラ１のうち、本体装置７の正面に向かって左側に装着されるコントローラ１を「左コントローラ６Ｌ」と呼び、本体装置７の正面に向かって右側に装着されるコントローラ１を「右コントローラ６Ｒ」と呼ぶ。これらのコントローラを特に区別する必要がない場合には、単に「コントローラ６」と呼ぶ。

このコントローラ６は、ユーザの操作に応じて操作データを生成し、生成した操作データを本体装置７に出力する。本体装置７は、コントローラ６から送信される操作データを基にアプリケーション処理を実行し、その実行結果を反映させたアプリケーション画像を表示する。

左コントローラ６Ｌおよび右コントローラ６Ｒは、本体装置７に対して着脱自在である。これらのコントローラ６の使用方法には、以下の４つがある。第１の使用方法は、本体装置７に装着された２つのコントローラ６を１人のユーザが使用する方法である。第２の使用方法は、本体装置７から取り外された２つのコントローラ６を１人のユーザが使用する方法である。第３の使用方法は、本体装置７から取り外された１つのコントローラ６を１人のユーザが使用する方法である。第４の使用方法は、本体装置７から取り外された一方のコントローラ６を第１のユーザが使用し、もう一方の取り外されたコントローラ６を第２のユーザがする方法である。
以下、この情報処理システムを構成する本体装置７について詳細に説明する。

図１５は、本体装置７の内部構成の一例を示すブロック図である。同図に示す本体装置７は、ＣＰＵ等の１以上のプロセッサ７１と、フラッシュメモリ等の不揮発性メモリ７２と、ＤＲＡＭ等の揮発性メモリ７３と、メモリカード等の外部記憶媒体が装着可能なスロット７４と、コントローラ６と近距離無線通信を行うための近距離無線通信部７５と、無線ＬＡＮ方式で外部装置と無線通信を行うためのネットワーク通信部７６と、ＬＣＤ等のディスプレイ７７と、左コントローラ６Ｌと有線通信するための左側端子７８と、右コントローラ６Ｒと有線通信するための右側端子７９を備える。

この本体装置７が備える揮発性メモリ７３には、不揮発性メモリ７２または外部記憶媒体からアプリケーションプログラムが読み込まれる。この読み込まれたアプリケーションプログラムがプロセッサ７１により実行されると、所定のアプリケーションが実行可能になる。ここでは実行可能になるアプリケーションとして、第１実施形態の欄で説明したアプリケーションを想定する。

第１実施形態の欄で説明したアプリケーションは、２人のユーザが同時に操作することも可能である。このアプリケーションが２人のユーザによって同時操作される場合には、仮想空間内に２つの操作オブジェクトが配置される。一方の操作オブジェクトは、左コントローラ６Ｌを使用する第１のユーザによって操作され、他方の操作オブジェクトは、右コントローラ６Ｒを使用する第２のユーザによって操作される。各操作オブジェクトは、それぞれ異なる仮想カメラによって追従される。

このアプリケーションが、上記の第３または第４のコントローラ６の使用方法で実行される場合には、第１操作モードのアプリケーション処理が実行される。この第１操作モードのアプリケーション処理では、左コントローラ６Ｌと右コントローラ６Ｒのそれぞれにおいて、１つの操作子１４を介してせん断方向の操作とモーメント方向の操作の２つの操作が入力される。これに対して、このアプリケーションが、上記の第１または第２のコントローラ６の使用方法で操作される場合には、第２操作モードのアプリケーション処理が実行される。この第２操作モードのアプリケーション処理では、左コントローラ６Ｌと右コントローラ６Ｒの２つの操作子１４を介してせん断方向の操作とモーメント方向の操作の２つの操作が入力される。いずれの操作モードのアプリケーション処理が実行されるかは、コントローラ６の使用方法に応じて決定される。

これら２つのアプリケーション処理のうち、第１操作モードのアプリケーション処理を実行するための機能構成は、基本的には第１実施形態の機能構成（図１０参照）と同様である。加えて、第１操作モードのアプリケーション処理は、基本的には第１実施形態のアプリケーション処理（図１１～図１３参照）と同様である。ただし、本実施形態では、６軸データ記憶部２３１は、コントローラ１に代えてコントローラ６から順次出力される６軸データを時系列で記憶する。加えて、画面生成部２１７は、生成した画面データを、ディスプレイ３に代えて、ディスプレイ７７または外部ディスプレイに表示させる（図１１のステップＳａ４参照）。
このアプリケーション処理では、コントローラ６の１つの操作子１４を介してせん断方向の操作とモーメント方向の操作の２つの操作が入力される。

次に、第２操作モードのアプリケーション処理を実行するための機能構成について説明する。図１６は、この機能構成の一例を示すブロック図である。同図に示す機能構成は、基本的には第１実施形態の機能構成（図１０参照）と同様である。加えて、第２操作モードのアプリケーション処理も、基本的には第１実施形態のアプリケーション処理と同様である。ただし、本実施形態では、６軸データ記憶部２３５が追加されている点において、第１実施形態の機能構成と異なる。この新たに追加されている６軸データ記憶部２３５は、右コントローラ６Ｒから順次出力される６軸データを時系列で記憶する。

加えて、本実施形態では、６軸データ記憶部２３１は、コントローラ１に代えて左コントローラ６Ｌから順次出力される６軸データを時系列で記憶する。加えて、アクション決定部２１４は、６軸データ記憶部２３１に代えて６軸データ記憶部２３５に格納されている最新のモーメントパラメータに基づいて操作オブジェクトのアクションを決定する（図１２のステップＳａ１４参照）。言い換えると、アクション決定部２１４は、右コントローラ６Ｒから順次出力されるモーメントパラメータに基づいてアクションを決定する。加えて、画面生成部２１７は、生成した画面データを、ディスプレイ３に代えて、ディスプレイ７７または外部ディスプレイに表示させる（図１１のステップＳａ４参照）。
このアプリケーション処理では、左コントローラ６Ｌと右コントローラ６Ｒの２つの操作子１４を介してせん断方向の操作とモーメント方向の操作の２つの操作が入力される。

３．変形例
上記の実施形態は、以下に説明するように変形してもよい。なお、以下に説明する変形例は互いに組み合わせてもよい。

３－１．変形例１
上記の実施形態では、せん断パラメータに基づいて操作オブジェクトの移動が制御されている。しかし、せん断パラメータに基づいて制御される対象は、操作オブジェクトの移動に限られない。例えば、移動に代えてアクションが制御されてもよい。これらのアクションは、例えば、操作子１４が押し込まれたときに行われてもよい。同様に、上記の実施形態では、モーメントパラメータに基づいて操作オブジェクトのアクションが制御されている。しかし、アクションに代えて移動や姿勢が制御されてもよい。なお、上記の実施形態ではせん断パラメータに基づいて移動速度を決定していたが、移動速度は一律としてもよい。

３－２．変形例２
上記の実施形態では、モーメントパラメータに基づいて操作オブジェクトのアクションが制御されている。この操作オブジェクトのアクションは、上記の実施形態の例に限られない。例えば、操作子１４が上方向に傾けられたときにジャンプが行われ、下方向に傾けられたときにしゃがむアクションが行われてもよい。

さらに別のアクションとして、操作オブジェクトが仮想空間中で把持するドアノブといったオブジェクトを回転させるアクションが採用されてもよい。これらのアクションは、例えば、操作子１４を回転させたときに行われてもよい。

さらに別のアクションとして、操作オブジェクトが細い橋を渡る場面において、操作オブジェクトの重心移動を制御してもよい。

別の例として、操作オブジェクトのアクションに代えて、仮想カメラの移動および／または姿勢がモーメントパラメータに基づいて制御されてもよい。例えば、操作子１４が上下方向に傾けられたときに仮想カメラをピッチ方向に回転移動させ、左右方向に傾けられたときにヨー方向に回転移動させ、回転させられたときにロール方向に回転させてもよい。なお、仮想カメラは、一人称視点の画像を撮影可能なように仮想空間に配置されてもよいし、これに代えて、三人称視点の画像を撮影可能なように仮想空間に配置されてもよい。

３－３．変形例３
操作オブジェクトは、生物に限らず、例えば機体であってもよい操作オブジェクトが飛行する機体である場合、せん断パラメータとモーメントパラメータに基づいて機体の姿勢とアクションを制御してもよい。具体的には、操作子１４が上方向にスライドされたときに、飛行中の機体を一時的に加速させるアクションを実行し、下方向にスライドされたときに飛行中の機体を一時的に減速させるアクションを実行してもよい。加えて、操作子１４が上下方向に傾けられたときに機体をピッチ方向に回転させ、左右方向に傾けられたときにロール方向に回転させ、回転されたときにヨー方向に回転させてもよい。なお、別の制御として、操作子１４が左右方向にスライドされたときに機体をヨー方向に回転させてもよい。

さらに別の例として、操作オブジェクトはパズルのピースであってもよい。例えば、せん断パラメータに基づいて操作オブジェクトである落下するピースの左右方向や下方向への移動を制御し、モーメントパラメータに基づいて同オブジェクトの姿勢を制御してもよい。

３－４．変形例４
上記の実施形態では、１つの操作子を介してせん断方向の操作とモーメント方向の操作が入力される。そのため、一方の操作を入力しているときに意図せず他方の操作も入力してしまう可能性がある。例えば、操作子１４を右方向にスライドしているときに意図せず右方向に傾倒してしまう場合が考えられる。別の例としては、操作子１４を手前に傾けているときに意図せず下方向にスライドしてしまう場合が考えられる。このような操作に基づく意図せぬ制御を抑制するために、移動の制御に要する入力量とアクションの制御に要する入力量を異ならせることが考えられる。具体的には、移動を判定するための閾値と、アクションの要否を決定するための閾値を異ならせることが考えられる。ここで、閾値を異ならせるとは、例えば、前者の閾値を、最大スライド幅の５％以上、操作子１４をスライドさせたときに超えられる閾値とする一方で、後者の閾値を、最大傾倒角度の２０％以上、操作子１４を傾倒させたときに超えられる閾値に設定することである。このように閾値を異ならせることで、上記のような意図せぬ制御を抑制することができる。また、いずれの入力に対しても上記のように一定の閾値を設けた場合、特に操作子１４の操作開始時において意図せずせん断方向およびまたはモーメント方向の操作が入力されてしまったときにも、その入力に応じた意図しない制御が実行されてしまうことを抑制することができる。

必要入力量を異ならせる方法として、別の方法も考えられる。上記２つの閾値を異ならせずに、上記の２つの閾値のうちの一方と比較する値に補正をかけるようにしてもよい。ここで、上記の２つの閾値を異ならせないとは、例えば、上記前者の閾値を、最大スライド幅の５％以上、操作子１４をスライドさせたときに超えられる閾値とする一方で、後者の閾値も、最大傾倒角度の５％以上、操作子１４を傾倒させたときに超えられる閾値に設定することである。このように上記２つの閾値を異ならせずに、一方の閾値の比較対象に補正をかけることでも、上記のような意図せぬ制御を抑制することができる。

また別の例として、一方の制御の実行に要する入力量を、他方の制御の実行状態によって異ならせてもよい。例えば、操作子１４のスライド操作による移動の制御が行われていない状態では、アクションの制御に必要なモーメント方向の操作の入力量をα値に設定し、移動の制御が行われている状態では、アクションの制御に必要な入力量をβ値（β＞α）に設定するようにしてもよい。すなわち、移動の制御が行われている間だけ、モーメント方向の操作の必要入力量を増加させるようにしてもよい。その際、β値を、ユーザが入力可能な量を超える値に設定するようにしてもよい。その場合、移動の制御が行われている間は、アクションの制御は行われなくなる。

また別の例として、２つの制御が同時に行われる兆候がある場合に、上記のように２つの制御に要する入力量を異ならせるようにしてもよい。例えば、移動の制御は行われていなくても、移動の制御に必要なせん断方向の操作は行われており、所定の操作ボタンが押下されれば移動の制御が開始されるという状態のときに、アクションの制御に必要な入力量をα値からβ値に増加させるようにしてもよい。また別の例として、移動の制御は行われていなくても、移動の制御に必要な入力量よりも小さい所定の入力がなされたときに、アクションの制御に必要な入力量をα値からβ値に増加させるようにしてもよい。

３－５．変形例５
上記の実施形態では、操作子１４のスライド幅が所定量を超えると、操作オブジェクトの移動速度が「低速」から「高速」に変化する。これに代えて、操作オブジェクトの移動速度を、スライド幅に対して線形に増加させてもよい。加えて、上記の実施形態では、モーメントパラメータに基づいて操作オブジェクトのアクションが制御されている。これに代えて、モーメントパラメータに基づいて仮想カメラの移動を制御してもよい。その際、仮想カメラの移動量を、操作子１４の傾き角に対して線形に増加させることが考えられる。しかし、操作オブジェクトの移動速度に加えて仮想カメラの移動量も線形に増加させてしまうと、上述した意図せぬ操作に基づく意図せぬ制御が発生しやすくなると考えられる。そこで、そのような意図せぬ制御を抑制するために、仮想カメラの移動量を傾き角に対して段階的に（言い換えると、階段的に）増加させるようにしてもよい。具体的には、例えば、傾き角が第１の閾値を超えたときに仮想カメラを４５度回転移動させ、第２の閾値を超えたときにさらに４５度回転移動させるようにしてもよい。このように仮想カメラの移動量を段階的に変化させることで、上記のような意図せぬ制御を抑制することができる。

なお、上記の移動速度の線形の増加とは、言い換えると、移動速度の段階的な増加であって、仮想カメラの移動量の増加よりも段階が細かい増加である。仮想カメラの移動量の増加は、傾き角のデジタル的な変化が複数回生じることで実行されるのに対し、移動速度の増加は、スライド幅のデジタル的な変化が、上記複数回よりも少ない回数生じることで実行される。

なお、仮想カメラの移動量に代えて、操作オブジェクトの移動速度の方を段階的に変化させるようにしてもよい。

上記のような意図せぬ制御を抑制する別の方法として、操作オブジェクトの移動制御と仮想カメラの移動制御やアクションの制御とのうち、一方が実行されている場合には他方の制御を禁止するようにしてもよい。このような方法でも上記のような意図せぬ制御を抑制することができる。

３－６．変形例６
上記の第１実施形態では、操作オブジェクトの移動方向とモーメント方向の関係に応じてアクションの種類が決定されている（図１４参照）。これに代えて、操作オブジェクトの移動方向に関係なく、モーメント方向のみに応じてアクションの種類を決定してもよい。

また別のアクションの決定方法として、モーメント方向の操作が入力されれば、その方向にかかわらず、操作オブジェクトの移動方向のみに応じてアクションの種類を決定してもよい。例えば、操作オブジェクトの移動方向が画面奥方向であるときにアクション「前転」を特定し、左右方向であるときにアクション「側転」を特定し、手前方向であるときにアクション「後転」を特定するようにしてもよい。

また別のアクションの決定方法として、操作オブジェクトの移動速度に応じてアクションの種類を決定してもよい。例えば、操作オブジェクトの移動速度が「低速」であるときにアクション「前転」を特定し、「高速」であるときにアクション「前転とび」を特定するようにしてもよい。

３－７．変形例７
上記の第２実施形態では、左コントローラ６Ｌと右コントローラ６Ｒがそれぞれ操作子１４を備え、操作モードを第１操作モードと第２操作モードの間で切り替え可能になっている。これに代えて、１つのコントローラに２つの操作子１４を備えさせ、このコントローラについて操作モードを第１操作モードと第２操作モードの間で切り替え可能にしてもよい。言い換えると、このコントローラを使ったせん断方向の操作とモーメント方向の操作を、１つの操作子１４で入力可能とするか２つの操作子１４で入力可能とするかを切り替え可能にしてもよい。

３－８．変形例８
上記の第１実施形態において、操作子１４を介してせん断方向の操作とモーメント方向の操作の両方を入力可能な操作モードと、いずれか一方の操作のみを入力可能な操作モードの間で操作モードを切り替え可能にしてもよい。その場合、後者の操作モードが選択されているときに、他方の操作は他のボタンやスティックを介して入力可能としてもよい。また別の例として、他方の操作の結果出力されたパラメータを、一方の操作に基づく制御に反映させるようにしてもよい。例えば、一方の操作がせん断方向の操作であり他方の操作がモーメント方向の操作である場合に、モーメントパラメータに所定の比率を乗じてせん断パラメータに変換し、そのせん断パラメータを、せん断方向の操作の結果出力されたせん断パラメータに加算するようにしてもよい。また別の例として、変換して得られたせん断パラメータを、せん断方向の操作の結果出力されたせん断パラメータと比較し、大きい方のせん断パラメータに基づいて操作オブジェクトの移動制御を行うようにしてもよい。

３－９．変形例９
センサ装置１２は、ユーザの操作を検出するための多軸センサの一例である。使用するセンサ装置は、検出対象とする操作の種類や、搭載されるコントローラの構造に応じて適宜選択されてよい。また、センサ装置１２は、３方向のせん断力を検出するためのセンサ装置と、３軸周りのモーメントを検出するためのセンサ装置の組み合わせにより代替されてもよい。

３－１０．変形例１０
上記の実施形態では、操作オブジェクトの移動およびアクションを制御対象としている。これに代えて、操作オブジェクトとしての手の移動および姿勢を制御対象としてもよい。より具体的には、せん断パラメータとモーメントパラメータのうちの一方で手の移動を制御し、他方で手の姿勢を制御することを可能にしてもよい。

従来、手の移動や姿勢を制御する場合、６軸の加速度センサを使用したり、モーションキャプチャを利用したりしていた。しかし、いずれの場合も、ユーザは手や腕全体を動かす必要があった。これに対して、上記の実施形態において手を制御対象とすれば、指による操作によって、指よりも大きな手の移動および姿勢を制御することができる。

また別の例として、例えば第２実施形態のように操作子を２つ備える場合は、一方の操作子で左手オブジェクトを、他方の操作子で右手オブジェクトを制御することができる。その際、一方の操作子を介して入力されるせん断パラメータとモーメントパラメータのうちの一方は、左手オブジェクトの移動を制御するために使用され、他方は、左手オブジェクトの姿勢を制御するために使用される。加えて、他方の操作子を介して入力されるせん断パラメータとモーメントパラメータのうちの一方は、右手オブジェクトの移動を制御するために使用され、他方は、右手オブジェクトの姿勢を制御するために使用される。その結果、例えば２本の指による操作で、水等のオブジェクトを両手オブジェクトで掬い上げる動作が可能になる。

なお、手はあくまで一例であり、仮想キャラクタの他の部位を制御対象としてもよい。

３－１１．変形例１１
情報処理装置２は、上記のアプリケーションプログラムを実行可能な情報処理装置の一例である。情報処理装置２に代えて、スマートフォン等の他の情報処理装置が上記のアプリケーションプログラムを実行してもよい。

３－１２．変形例１２
上記の第１実施形態において、コントローラ１の一部の機能は情報処理装置２により実現されてもよい。例えば、コントローラ１で実行される、複数のピエゾ抵抗素子の抵抗変化率から６軸データの生成する処理は、情報処理装置２のプロセッサ２１により実行されてもよい。また逆に、情報処理装置２の一部又は全部の機能は、コントローラ１により実現されてもよい。

上記の第２実施形態において、コントローラ６の一部の機能は本体装置７により実現されてもよい。また逆に、本体装置７の一部又は全部の機能は、コントローラ６により実現されてもよい。

３－１３．変形例１３
上記の第２実施形態の第２操作モードでは、左コントローラ６Ｌを使ってせん断方向の操作が入力され、右コントローラ６Ｒを使ってモーメント方向の操作が入力されている。これに代えて、左コントローラ６Ｌを使ってモーメント方向の操作を入力させ、右コントローラ６Ｒを使ってせん断方向の操作を入力させるようにしてもよい。

３－１４．変形例１４
上記の第１実施形態では、操作オブジェクトの移動方向とモーメント方向の操作との関係に応じてアクションの種類が決定されている（図１４参照）。その際に、モーメント方向に応じてアクションの方向を決定してもよい。例えば、操作オブジェクトの移動方向が画面奥方向であり、かつ、操作子１４が右上方向に傾倒されたときに、アクション「前転」または「前転とび」を特定するとともに、そのアクションの方向として、画面右奥方向を特定するようにしてもよい。また別の例では、操作オブジェクトの移動方向やスライド方向の操作にかかわらず、モーメント方向の操作に応じてアクションの種類および方向を特定してもよい。あるいは、モーメント方向の操作に応じて、所定のアクションの方向を特定してもよい。例えば、モーメント方向の操作に応じて操作オブジェクトはアクション「前転」を実行するが、その前転の方向を、モーメント方向によって特定してもよい。

３－１５．変形例１５
第１実施形態に係るコントローラ１は、１つの操作子を介してせん断方向の操作とモーメント方向の操作の２つの操作を入力可能なコントローラの一例である。このコントローラ１に代えて、以下に説明するコントローラ５を採用してもよい。

コントローラ５は、筐体５１、受力部材５２、センサ装置１２およびセンサ固定部材５３を備える。図１７は、コントローラ５が備えるこれらの構成要素のうち、特に受力部材５２、センサ装置１２およびセンサ固定部材５３を示す側面断面図である。

筐体５１は、図示を省略するが、大略、逆Ｕ字形状を有する。より具体的には、略直方体状の筐体本体と、それぞれ略棒状の左把持部および右把持部からなる。左把持部は、筐体本体の左側底面に対して、受力部材５２、センサ装置１２およびセンサ固定部材５３を介して連結される。右把持部は、筐体本体の右側底面に対して直接連結される。左把持部はユーザの左手で把持され、右把持部はユーザの右手で把持される。すなわち、このコントローラ５は、ユーザの両手で把持されるタイプのコントローラである。

次に、受力部材５２は、略円板状の部材である。この受力部材５２は、その底面中央に略円形の凹部５２１を有する。この受力部材５２は、その上面が筐体本体の左側底面に固定される。

センサ装置１２は、第１実施形態の欄で説明した通り、ユーザの操作を検出するための６軸力覚センサである。このセンサ装置１２は、本実施形態では、その上面が、受力部材５２の凹部５２１の底面に固定される。

センサ固定部材５３は、略円板状の部材である。このセンサ固定部材５３は、その上面中央に略円形の凹部５３１を有する。この凹部５３１の底面には、センサ装置１２の底面が固定される。加えて、このセンサ固定部材５３の底面には、左把持部が固定される。

このセンサ固定部材５３の凹部５３１と上記の受力部材５２の凹部５２１は、センサ固定部材５３が受力部材５２との間でセンサ装置１２を挟み込んだときに、センサ固定部材５３と受力部材５２とが接しない深さに設定される。これは、左把持部を筐体本体に対して可動自在とするためである。このように可動自在とされた左把持部は、ユーザの左手のひらと親指以外の指によって挟まれて操作される操作子である。この左把持部を介しても、第１実施形態に係る操作子１４と同様に、せん断方向の操作とモーメント方向の操作の２つの操作を入力することができる。

３－１６．変形例１６
上記の第１実施形態において、コントローラ１と情報処理装置２は有線で通信を行ってもよい。同様に、上記の第２実施形態において、コントローラ６と本体装置７は有線で通信を行ってもよい。

１…コントローラ、２…情報処理装置、３…ディスプレイ、４…専用線、５…コントローラ、６Ｌ…左コントローラ、６Ｒ…右コントローラ、７…本体装置、１１…筐体、１２…センサ装置、１３…操作用プレート、１４…操作子、１５…通信制御部、１６…電力供給部、２１…プロセッサ、２２…不揮発性メモリ、２３…揮発性メモリ、２４…スロット、２５…近距離無線通信部、２６…ネットワーク通信部、５１…筐体、５２…受力部材、５３…センサ固定部材、７１…プロセッサ、７２…不揮発性メモリ、７３…揮発性メモリ、７４…スロット、７５…近距離無線通信部、７６…ネットワーク通信部、７７…ディスプレイ、７８…左側端子、７９…右側端子、１２１…起歪体、１２２…センサチップ、１２３…受力板、２１１…移動方向決定部、２１２…移動速度決定部、２１３…操作オブジェクト位置更新部、２１４…アクション決定部、２１５…背景データ更新部、２１６…仮想カメラデータ更新部、２１７…画面生成部、２３１、２３５…６軸データ記憶部、２３２…操作オブジェクトデータ記憶部、２３３…背景データ記憶部、２３４…仮想カメラデータ記憶部、５２１…凹部、５３１…凹部

Claims (17)

1. コントローラと一または複数のプロセッサを含む情報処理システムであって、
   前記コントローラは、
   ユーザの指によって操作される操作子と、
   前記操作子に対するユーザ操作を検出する単一または複数のセンサと
   を備え、
   前記プロセッサは、
   前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定し、
   前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行し、
   前記第１制御または前記第２制御の一方が前記第１入力または前記第２入力の一方に基づいて実行されているときには、両方の制御が実行されていないときに比べて、他方の制御が実行されるのに要する他方の入力量が大きい、
   情報処理システム。
2. 前記第１制御または前記第２制御の一方は前記第１入力または前記第２入力の一方の入力量に応じた段階的な制御であり、他方の制御は他方の入力の入力量に応じた段階的な制御であり、前記第１制御または前記第２制御の一方は他方よりも段階が細かい、請求項１に記載の情報処理システム。
3. 前記第１制御または前記第２制御の一方が実行されるのに要する前記第１入力または前記第２入力の一方の入力量は、他方の制御が実行されるのに要する他方の入力量に比べて大きい、請求項１又は２に記載の情報処理システム。
4. コントローラと一または複数のプロセッサを含む情報処理システムであって、
   前記コントローラは、
   ユーザの指によって操作される操作子と、
   前記操作子に対するユーザ操作を検出する単一または複数のセンサと
   を備え、
   前記プロセッサは、
   前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定し、
   前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行し、
   前記第１入力または前記第２入力の一方の入力があるときには、他方の入力に基づく制御が実行されるのに要する入力量が、当該一方の入力がないときに当該他方の入力に基づく制御が実行されるのに要する入力量と比べて大きい、
   情報処理システム。
5. 前記第１入力があるときの前記第２入力に基づいて前記第２制御を実行する場合において、前記第１入力に基づいて異なる種類の第２制御が実行される、請求項１から４のいずれか１項に記載の情報処理システム。
6. 前記第２制御は、前記ユーザが操作する仮想空間内の操作オブジェクトに所定のアクションを実行させる制御であり、
   前記第１入力と前記第２入力の方向とに基づいて異なる種類のアクションが実行される、請求項５に記載の情報処理システム。
7. 前記第２制御は、前記ユーザが操作する仮想空間内の操作オブジェクトに所定のアクションを実行させる制御であり、
   前記第１入力と前記第２入力の方向とに基づいて異なる方向へのアクションが実行される、請求項５または６に記載の情報処理システム。
8. 前記プロセッサは、前記第１制御と前記第２制御の両方を実行する第１操作モードと、前記第１制御または前記第２制御の一方を実行する第２操作モードの間で、操作モードを切り替える、請求項１から７のいずれか１項に記載の情報処理システム。
9. 前記第２操作モードにおいて、前記第１入力の入力量と前記第２入力の入力量とに基づいて前記第１制御または前記第２制御が実行される、請求項８に記載の情報処理システム。
10. 前記コントローラは、
    前記ユーザの、前記指とは異なる指によって操作される他の操作子と、
    前記他の操作子に対するユーザ操作を検出する他のセンサと
    をさらに備え、
    前記プロセッサは、
    前記他のセンサからの出力に基づいて、前記他の操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含む他のせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含む他のモーメントパラメータとを決定し、
    前記第２操作モードにおいて、前記せん断パラメータに基づいて前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢を制御する場合には、前記他のモーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行し、前記モーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行する場合には、前記他のせん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御する、請求項８または９に記載の情報処理システム。
11. 前記ユーザの、前記指とは異なる指によって操作される他の操作子と、
    前記他の操作子に対するユーザ操作を検出する他のセンサと
    を備える他のコントローラをさらに備え、
    前記プロセッサは、
    前記他のセンサからの出力に基づいて、前記他の操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含む他のせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含む他のモーメントパラメータとを決定し、
    前記第２操作モードにおいて、前記せん断パラメータに基づいて前記ユーザが操作する仮想空間内の操作オブジェクトの移動または姿勢を制御する場合には、前記他のモーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行し、前記モーメントパラメータに基づいて前記操作オブジェクトの移動または姿勢の制御とは異なる制御を実行する場合には、前記他のせん断パラメータに基づいて前記操作オブジェクトの移動または姿勢を制御する、請求項８または９に記載の情報処理システム。
12. コントローラと通信可能に接続される情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記コンピュータに、
    前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを取得するステップと、
    前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行するステップと
    を実行させ、
    前記第１制御または前記第２制御の一方が前記第１入力または前記第２入力の一方に基づいて実行されているときには、両方の制御が実行されていないときに比べて、他方の制御が実行されるのに要する他方の入力量が大きい、
    情報処理プログラム。
13. コントローラを含む情報処理システムにより実行される情報処理方法であって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定するステップと、
    前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行するステップと
    を含み、
    前記第１制御または前記第２制御の一方が前記第１入力または前記第２入力の一方に基づいて実行されているときには、両方の制御が実行されていないときに比べて、他方の制御が実行されるのに要する他方の入力量が大きい、
    情報処理方法。
14. コントローラと一または複数のプロセッサを含む情報処理システムであって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記プロセッサは、
    前記センサからの出力に基づいて、前記操作子に対するユーザ操作の、少なくとも２つの方向成分を含むスライド成分と、少なくとも２つの方向成分を含む傾倒成分とを決定し、
    前記スライド成分または前記傾倒成分の一方である第１入力に基づいて第１制御を実行し、前記スライド成分または前記傾倒成分の他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行し、
    前記第１制御または前記第２制御の一方が前記第１入力または前記第２入力の一方に基づいて実行されているときには、両方の制御が実行されていないときに比べて、他方の制御が実行されるのに要する他方の入力量が大きい、
    情報処理システム。
15. コントローラと通信可能に接続される情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記コンピュータに、
    前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを取得するステップと、
    前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行するステップと
    を実行させ、
    前記第１入力または前記第２入力の一方の入力があるときには、他方の入力に基づく制御が実行されるのに要する入力量が、当該一方の入力がないときに当該他方の入力に基づく制御が実行されるのに要する入力量と比べて大きい、
    情報処理プログラム。
16. コントローラを含む情報処理システムにより実行される情報処理方法であって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記センサからの出力に基づいて、前記操作子に対するユーザ操作に対応する、少なくとも２方向のせん断方向成分を含むせん断パラメータと、少なくとも２軸に対するモーメント方向成分を含むモーメントパラメータとを決定するステップと、
    前記せん断パラメータまたは前記モーメントパラメータの一方である第１入力に基づいて第１制御を実行し、前記せん断パラメータまたは前記モーメントパラメータの他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行するステップと
    を含み、
    前記第１入力または前記第２入力の一方の入力があるときには、他方の入力に基づく制御が実行されるのに要する入力量が、当該一方の入力がないときに当該他方の入力に基づく制御が実行されるのに要する入力量と比べて大きい、
    情報処理方法。
17. コントローラと一または複数のプロセッサを含む情報処理システムであって、
    前記コントローラは、
    ユーザの指によって操作される操作子と、
    前記操作子に対するユーザ操作を検出する単一または複数のセンサと
    を備え、
    前記プロセッサは、
    前記センサからの出力に基づいて、前記操作子に対するユーザ操作の、少なくとも２つの方向成分を含むスライド成分と、少なくとも２つの方向成分を含む傾倒成分とを決定し、
    前記スライド成分または前記傾倒成分の一方である第１入力に基づいて第１制御を実行し、前記スライド成分または前記傾倒成分の他方である第２入力に基づいて前記第１制御とは異なる制御である第２制御を実行し、
    前記第１入力または前記第２入力の一方の入力があるときには、他方の入力に基づく制御が実行されるのに要する入力量が、当該一方の入力がないときに当該他方の入力に基づく制御が実行されるのに要する入力量と比べて大きい、
    情報処理システム。

Images