WO2023170843A1

WO2023170843A1 - コントローラ装置、コントローラ装置の制御方法、及びプログラム

Info

Publication number: WO2023170843A1
Application number: PCT/JP2022/010425
Authority: WO
Inventors: 祐未植田; 宗孝安藤; 仁中村
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2022-03-09
Filing date: 2022-03-09
Publication date: 2023-09-14

Abstract

コントローラ本体と、制御部とを備えるコントローラ装置であって、制御部は、コントローラ本体に対するユーザの操作を受け入れ、コントローラ本体の姿勢を推定し、当該推定結果を用いて、受け入れた操作の内容を表す情報を生成して出力する。

Description

コントローラ装置、コントローラ装置の制御方法、及びプログラム

　本発明は、コントローラ装置、コントローラ装置の制御方法、及びプログラムに関する。

　ＨＭＤ（Head Mounted Display）を装着するＶＲ（仮想現実）ゲーム等では、没入感を向上させるために、ユーザに対して現実の空間の映像を見せないようにしておくことがある。このような場合に、ユーザは、手元を見ることができないため、手にしたゲームコントローラの方向を確認できない。

　このため現状では、ユーザは、コントローラ装置の形状（一般に非対称となっている）を手探りし、想定された持ち方となるようにコントローラ装置の方向を調整するなどしており、利便性が低い。

　本発明は上記実状に鑑みて為されたもので、利便性を向上できるコントローラ装置、コントローラ装置の制御方法、及びプログラムを提供することを、その目的の一つとする。

　上記従来例の問題点を解決する本発明の一態様は、コントローラ本体と、制御部とを備えるコントローラ装置であって、前記制御部は、前記コントローラ本体に対するユーザの操作を受け入れる操作受入手段と、前記コントローラ本体の姿勢を推定する推定手段と、前記推定手段の推定結果を用いて、前記受け入れた操作の内容を表す情報を生成して出力する操作情報生成手段と、とを含むこととしたものである。

　本発明によると、姿勢を推定し、当該推定結果を用いて、受け入れた操作の内容を表す情報を生成するので、ユーザの持ちかたによらずに操作の内容を表す情報を生成でき、利便性を向上できる。

本発明の実施の形態に係るコントローラ装置及びそれに接続される情報処理装置の構成例を表す概略ブロック図である。本発明の実施の形態に係るコントローラ装置の一例に係る構成ブロック図である。本発明の実施の形態に係るコントローラ装置の一例に係る機能ブロック図である。本発明の実施の形態に係るコントローラ装置によるユーザの手や指の検出例を表す説明図である。本発明の実施の形態に係るコントローラ装置の動作例を表すフローチャート図である。

　本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明及び図面において、各部のサイズや縦横高さの比率などは例示であり、現実にはこれと異なるサイズや比率となっていても構わない。

　本発明の実施の形態に係るコントローラ装置１０は、図１に例示するように、コントローラ本体１１と、コントローラ本体１１内に内蔵される回路部１２とを含んで構成され、情報処理装置３０との間で、有線または無線にて通信可能に接続される。

　この情報処理装置３０は、例えば家庭用ゲーム機等であり、制御部３１と、記憶部３２と、通信部３３と、表示部３４とを含んで構成される。この制御部３１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部３２に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部３１は、通信部３３を介してコントローラ装置１０から受信されるユーザの操作の内容を表す情報を用い、ゲームアプリケーション等の処理を実行する。またこの制御部３１は、コントローラ装置１０から受信した指示に応答して、ユーザに対して案内を表示する等の処理を実行する。

　記憶部３２は、ディスクデバイスやメモリデバイス等を含み、制御部３１によって実行されるプログラムを保持する。またこの記憶部３２は、制御部３１のワークメモリとしても動作してもよい。

　通信部３３は、コントローラ装置１０との間で無線または有線にて通信可能に接続され、コントローラ装置１０からユーザの操作の内容を表す情報を受信して、制御部３１に出力する。

　表示部３４は、例えばディスプレイコントローラ等であり、制御部３１から入力される指示に従って、ディスプレイ（図示せず）に対して画像を出力して表示させる。

　コントローラ本体１１は、好適には少なくとも１つの軸周りに回転対称な形状を有し、一例としては実質的に球体をなす筐体１１０を含む。もっとも、球体は一例であり、筐体１１０は円筒形などであってもよいし、回転対称でなくとも正六面体など、他の形状であってもよい。また筐体１１０の表面には、ブラスト処理等による凹凸が施されてもよい。

　本実施の形態の一例において、この筐体１１０は、弾性変形可能なものであってもよく、その場合、例えばシリコーン系高分子ゲル素材、ウレタン系ゲル素材等の高分子ゲル素材、ポリスチレン系エラストマー、オレフィン系エラストマー、ポリ塩化ビニル系エラストマー、ポリウレタン系エラストマー、ポリエステル系エラストマー、ポリアミド系エラストマー等の種々のエラストマー素材など、弾性変形可能な材料を用いて構成される。

　回路部１２は、図２に例示するように、制御部１２１と、記憶部１２２と、センサ部１２３と、通信部１２４とを含む。これらの回路部１２の各部は、図示しないバッテリによって動作する。このバッテリは、例えば無線給電や有線の給電方法によって充電可能な二次バッテリであってもよい。

　またこの回路部１２は、コントローラ本体１１が回転対称な形状である場合、その回転軸上に配されることが好適である。例えばコントローラ本体１１が球形である場合、この回路部１２は、球形をなすコントローラ本体１１の筐体１１０の中心にあたる位置にその重心が位置するように配されることが好ましい。これは回転軸周りの回転を円滑にするためである。

　回路部１２の制御部１２１は、ＣＰＵ等のプログラム制御デバイスを含み、記憶部１２２に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部１２１は、コントローラ本体１１に対するユーザの操作を受け入れる。またこの制御部１２１は、コントローラ本体１１の姿勢を推定し、この推定結果を用いて、受け入れた操作の内容を表す情報を生成して、情報処理装置３０に対して出力する処理を実行する。この制御部１２１の詳しい動作については後に述べる。

　記憶部１２２は、例えばメモリデバイスであり、制御部１２１によって実行されるプログラムを保持する。この記憶部１２２は、また、制御部１２１のワークメモリとしても動作する。

　センサ部１２３は、静電センサ、圧力センサ、歪みセンサ、温度センサ、及びこれらの組み合わせによるセンサなど、ユーザがコントローラ本体１１の表面に接触あるいは近接し、またはユーザがコントローラ本体１１の表面に対して加えた力を検出可能な表面センサ１２３ａを複数備える。

　またこのセンサ部１２３は、コントローラ装置１０の姿勢や移動を検出する、ＧＰＳなどの位置情報センサ、加速度センサ、地磁気センサ、ジャイロセンサの少なくとも一つを含む姿勢センサ１２３ｂを具備するものとする。この姿勢センサ１２３ｂは例えば、加速度センサ、地磁気センサ、及びジャイロセンサのすべてを備えた、いわゆる９軸ＩＭＵセンサでよい。以下の例では、姿勢センサ１２３ｂは、９軸ＩＭＵセンサであるものとする。

　この姿勢センサ１２３ｂは、姿勢センサ１２３ｂの位置を原点とし、互いに直交する３つの軸方向（以下、ξ，η，ζ軸とする）への加速度、当該３つの軸で規定される座標系（ξηζ直交座標系、以下センサ座標系と呼ぶ）における地磁気の方向（北極または南極の向き）、ξ，η，ζ軸の各軸周りの回転角速度を検出して、当該検出の結果を表す信号を、制御部１２１に出力する。

　本実施の形態の一例では、コントローラ装置１０では、アナログマルチプレクサ（ＭＰＸ）を用いて、姿勢センサ１２３ｂのうち、加速度センサ、地磁気センサ、及びジャイロセンサのいずれかの出力を順次選択して出力し、Ａ／Ｄ変換し、ＤＳＰ（Digital Signal Processer）等により、フィルタ処理など所定の信号処理を施したうえで、制御部１２１に出力することとしてもよい。

　表面センサ１２３ａは、コントローラ本体１１に対するユーザの接触や、ユーザによるコントローラ本体１１の変形操作を検出、当該検出した接触ないし変形操作に基づく電気的信号を制御部１２１に出力する。この表面センサ１２３ａの出力もまた、Ａ／Ｄ変換され、ＤＳＰ等により、フィルタ処理など所定の信号処理を行ったうえで、制御部１２１に出力することとしてもよい。なお、静電容量センサに対して供給されるべき信号を発振する発振回路などを備えることは広く知られているので、ここでの細かい説明を省略する。

　本実施の形態の一例では、この表面センサ１２３ａは、コントローラ本体１１の表面や、表面近傍（表面から所定の距離にある範囲）に複数、好ましくは表面全体に均等に配される。例えばこの表面センサ１２３ａは、球体をなすコントローラ本体１１に内接する正八面体や正十二面体等の頂点の位置に配される。

　以下において、複数の表面センサ１２３ａのそれぞれのセンサ座標系での位置は既知であるものとする。

　この表面センサ１２３ａを用いることにより、制御部１２１は、ユーザによる
（１）コントローラ本体１１に触れる操作
（２）コントローラ本体１１の一部を指で押圧する操作
（３）コントローラ本体１１に手を近づける操作
などを検出可能となる。またセンサ座標系における、ユーザが触れた位置や、押圧した位置、手を近づけた位置を、それらを検出した表面センサ１２３ａの位置から検出できる。

　さらにコントローラ本体１１が弾性変形可能な材料で構成される場合、ユーザがコントローラ本体１１に加えた力の向きや大きさを検出する表面センサ１２３ａを用いることにより、制御部１２１は、上記（１）から（３）の操作に加え、
（４）手の平や指でコントローラ本体１１の表面をこする操作
（５）コントローラ本体１１を捩じる操作
（６）コントローラ本体１１の一部をつまむ操作（つまんで引っ張る操作）
（７）コントローラ本体１１全体を押しつぶす、握りつぶす操作
などが検出可能となる。

　例えば、（１）触れる操作や（３）手を近づける操作など、上記（１）から（３）の操作については、表面センサ１２３ａとして静電容量センサを用いることで検出できる。

　また（４）表面をこする操作や、（５）捩じる操作、（６）一部をつまむ操作（つまんで引っ張る操作）、具体的には片手でコントローラ本体１１を把持した状態で、その一部をつまんで引っ張るような操作、さらに（７）押しつぶす、握りつぶす操作などは、圧力センサや歪みセンサ、加速度センサ等を表面センサ１２３ａとして用いることで検出できる。これらのこすられた位置や、捩じられた方向、つままれた位置、押しつぶされた方向などのセンサ座標系での位置や方向は、これらを検出した表面センサ１２３ａの位置等によって検出される。

　通信部１２４は、ＵＳＢ等の有線、またはブルートゥース（登録商標）等の無線通信方式のインタフェースであり、有線または無線にて情報処理装置３０との間で通信可能に接続される。この通信部１２４は、制御部１２１から入力される指示に従い、情報処理装置３０に対して情報を送出する。またこの通信部１２４は、情報処理装置３０から受信した情報を、制御部１２１に出力する。

　次に、回路部１２の制御部１２１の動作について説明する。この制御部１２１は、記憶部１２２に格納されたプログラムを実行することで、図３に例示するように、操作受入部２１と、姿勢推定部２２と、操作情報生成部２３と、送出部２４とを機能的に含む構成を実現する。

　操作受入部２１は、コントローラ本体１１に対するユーザの操作を受け入れる。具体的に、この操作受入部２１は、各表面センサ１２３ａが出力する検出結果に基づいて、例えば上記（１）から（７）に例示したユーザの操作を検出し、例えばコントローラ本体１１が押圧された方向の情報を、センサ座標系での方向の情報として出力する。

　姿勢推定部２２は、所定のタイミングで、コントローラ本体１１の姿勢を推定する。このタイミングは、例えば操作受入部２１が予め定めた初期化操作を検出したタイミングとしてもよいし、操作受入部２１が操作を検出するごととしてもよい。本実施の形態のある例では、この初期化操作は例えばコントローラ本体１１の一部を予め定めたしきい値以上の力で、所定の時間以上押圧し続ける操作や、コントローラを把持して所定の回数（例えば2回）、予め定めた角度の範囲よりも大きい角度の範囲で振る（当該角度の範囲を往復する）などの操作としてよい。

　一例としてこの姿勢推定部２２は、初期化操作を検出したときに、センサ部１２３が出力する姿勢センサ１２３ｂの出力を用いて、センサ座標系における重力の方向を検出する。ここで姿勢センサ１２３ｂである９軸ＩＭＵセンサにより重力方向を検出する方法は、広く知られているので、その詳しい説明は省略する。

　また姿勢推定部２２は、重力方向の検出後、センサ部１２３の出力を用いて、コントローラ本体１１の姿勢を推定する。具体的に、姿勢推定部２２は、初期化操作が行われ、重力方向を検出した後、ユーザに対し所定の操作を案内する案内画面を出力するよう、情報処理装置３０に対して指示する。ここで案内する所定の操作は、例えばコントローラ装置１０に、所定方向の加速度を加える操作であり、一例として姿勢推定部２２は、「コントローラ装置１０を、右手で持ち、左右に振ってください」というような表示をするよう情報処理装置３０に対して指示する。このときユーザは、この指示に従って、コントローラ装置１０を右手で把持して、自分から見て左右に振る動作を行うものとする。

　姿勢推定部２２は、ここで案内され、ユーザによって行われた操作に応じてセンサ部１２３が出力する検出結果を用いて、コントローラ本体１１の姿勢を推定する。一例としてこの姿勢推定部２２は、表面センサ１２３ａの出力を用いてユーザの左右方向を推定する。

　この推定は例えば次のようにして行われる。すなわち、ユーザがコントローラ本体１１を手にしたとき、図４（ａ）に例示するように、指が配される位置と、手の平に近接あるいは接触する位置にある表面センサ１２３ａがユーザの指や手を検出することとなる。図４では、ユーザから見て左右方向をＸ軸（ユーザから見て右を正の方向とする）とし、ユーザの身体の冠状面の法線方向をＹ軸（ユーザから遠ざかる方向を正の方向とする）とし、重力の方向をＺ軸（上方を正の方向とする）としている。以下、このＸＹＺ直交座標系をユーザ座標系と呼ぶ。

　図４（ａ）では、説明のため、表面センサ１２３ａが、球体であるコントローラ本体１１に内接する正八面体の頂点上にあるものとする。もっとも実際にはこれより多数の表面センサ１２３ａが配されてよい。

　ここでユーザが球体をなすコントローラ本体１１を把持する態様は種々あるが、手首を不自然に曲げずに右手で把持するには、
（ａ）コントローラ本体１１を上側から把持する（手の平がコントローラ本体１１の上方にある）
（ｂ）コントローラ本体１１を下側から把持する（手の平がコントローラ本体１１の下方にある）
（ｃ）コントローラ本体１１を右側から把持する（手の平がコントローラ本体１１の右側にある）
のいずれかとなる。

　例えばユーザがコントローラ本体１１を上側から把持したときには、図４（ａ），（ｂ）に例示するように、少なくともコントローラ本体１１の中心から重力の方向（Ｚ軸負の向き）にある表面センサ１２３ａ－Ｂとユーザの身体側にある表面センサ１２３ａ－Ｐとは、ユーザの指や手Ｈの接触を検出しない。

　一方、このとき、ユーザの左側の表面センサ１２３ａ－Ｌや、身体とは反対側の表面センサ１２３ａ－Ｆはユーザの指の接触を検出し、またコントローラ本体１１の上方にある表面センサ１２３ａ－Ｔは手の平の接触を検出する。

　ここでユーザが左右方向にこのコントローラ本体１１を動かすと、姿勢推定部２２は、その方向にある表面センサ１２３ａ－Ｌ，Ｒがユーザの左右方向にあるものとして（つまりその方向がＸ軸に平行な向きであるとして）、これら表面センサ１２３ａ－Ｌ，Ｒとは異なり、かつ重力の方向に垂直な方向（すなわち水平面内）にある表面センサ１２３ａである、ユーザの身体側にある表面センサ１２３ａ－Ｐと身体とは反対側の表面センサ１２３ａ－Ｆとの検出結果を参照する。

　そして、接触を検出していない側（ここでの例では表面センサ１２３ａ－Ｐ）に、ユーザの身体があるものとしてＹ軸の方向を決定する。またここで決定したＹ軸の方向と、重力の方向により決定されるＺ軸の方向とを用いてＸ軸の方向（ここでの例ではユーザの右側を正の方向とする）を決定する。

　またユーザが（ｂ）コントローラ本体１１を下側から把持したとき（図４（ｃ））や、（ｃ）コントローラ本体１１を右側から把持したとき（図４（ｄ））の場合も同様の処理により、姿勢推定部２２がＸ，Ｙ，Ｚ軸のそれぞれの方向を決定する。

　なお、ここでの例は一例であり、ユーザの身体の向きを検出できれば、つまり、Ｘ，Ｙ，Ｚ軸の方向を決定できれば、これとは異なる方法が採用されても構わない。

　姿勢推定部２２は、以上の方法で、姿勢センサ１２３ｂが検出する加速度の方向の各軸からなるセンサ座標系と、ユーザ座標系（ＸＹＺ座標系）とを相互に変換する変換式（以下、ユーザ座標系変換式と呼ぶ。この変換式はクォータニオンとして表される）を得る。このユーザ座標系変換式は、コントローラ装置１０の姿勢（ユーザから見たコントローラ本体の各方向）を表す姿勢情報に相当する。

　また、姿勢推定部２２は、姿勢センサ１２３ｂが検出する方位（北極または南極の方向）と、ユーザ座標系とを相互に変換する変換式を得る（方位変換式と呼ぶ。この変換式もクォータニオンで表される）。

　操作情報生成部２３は、姿勢推定部２２が得たユーザ座標系変換式を少なくとも取得し、ユーザが操作を行うごとに、操作受入部２１が検出したユーザの手や指が接触した位置、あるいはユーザがコントローラ本体１１に対して加えた力の方向などのユーザの操作を表す情報（いずれもセンサ座標系で表される）を、上記変換式を用いてユーザ座標系でのユーザの操作を表す情報に変換する。

　これにより、ユーザから見て、右側から押圧されているか、左側から押圧されているか、といった、ユーザの操作を表す情報が得られることになる。

　送出部２４は、操作情報生成部２３が生成したユーザ座標系でのユーザの操作を表す情報を、情報処理装置３０に対して送出する。

　情報処理装置３０では、コントローラ装置１０から、ユーザ座標系でのユーザの操作を表す情報を受け入れて、例えばゲームアプリケーションの制御の処理等に供する。

［動作例］
　本実施の形態のコントローラ装置１０は以上の構成を基本的に備えており、次のように動作する。このコントローラ装置１０を使用するユーザは、当初、コントローラ装置１０を把持して、予め定められた初期化操作を行う。

　するとコントローラ装置１０は、図５に例示するように初期化の処理を実行し（Ｓ１１）、まず、姿勢センサ１２３ｂの出力を用いて、センサ座標系における重力の方向を検出しておく。

　この初期化操作は、ユーザの左右方向にコントローラ装置１０を往復するように動かした後、前後方向にコントローラ装置１０を往復するように動かす（左右、前後の２方向にそれぞれ順番に振る）操作や、コントローラ装置１０の所定の面をユーザの腹側にして静止した状態を維持する（例えば当該所定の面をユーザの腹側に押し当てる）などして、コントローラ装置１０を所定の姿勢で把持する操作などとする。具体的にこのコントローラ装置１０は、情報処理装置３０との間で通信し、情報処理装置３０に対して、「コントローラ装置１０を、右手で持ち、左右に振ってください」というような表示をするよう指示する。情報処理装置３０は、この指示に応じて、「コントローラ装置１０を、右手で持ち、左右に振ってください」といった表示を行う。

　ユーザがこの指示に従って、コントローラ装置１０を右手で把持して、自分から見て左右に振る動作を行うと、コントローラ装置１０が、表面センサ１２３ａにおけるユーザの手や指の接触の検出結果、及び姿勢センサ１２３ｂによる移動方向の検出結果に基づきＸ軸の向きを検出する。ここでは最初にコントローラ装置１０が移動した方向をＸ軸負の向きとする。

　その後、コントローラ装置１０は、また情報処理装置３０との間で通信し、情報処理装置３０に対して、「コントローラ装置１０を、右手で持ったまま、まずお腹に押し当てて、それから前後に振ってください」というような表示をするよう指示する。情報処理装置３０は、この指示に応じて、「コントローラ装置１０を、右手で持ったまま、まずお腹に押し当てて、前後に振ってください」といった表示を行う。

　ユーザがこの指示に従って、コントローラ装置１０を右手で把持した状態を維持したまま、自分の腹部にコントローラ装置１０を押し当てた後、自分から見て前後に振る動作を行うと、コントローラ装置１０が、表面センサ１２３ａにおけるユーザの手や指の接触の検出結果、及び姿勢センサ１２３ｂによる移動方向の検出結果に基づき、ユーザの身体の方向（Ｙ軸負の向き）を検出する。この例では最初に移動する方向がユーザの身体から離れる方向（Ｙ軸正の向き）となる。

　具体的には、既に述べたように、コントローラ装置１０は姿勢センサ１２３ｂによる移動方向からＸ軸，Ｙ軸の正の向きを検出する。

　そしてコントローラ装置１０は、検出したＸ軸，Ｙ軸の双方に直交する方向をＺ軸方向とし、例えば左手系と仮定してＺ軸正の向きを決定する。これによりコントローラ装置１０は、ユーザ座標系のＸＹＺ軸のそれぞれの正の向きを表すセンサ座標系でのベクトルを得る。そしてコントローラ装置１０は、センサ座標系と、ユーザ座標系（ＸＹＺ座標系）とを相互に変換するユーザ座標系変換式を得て初期化処理を終了する。この例では、重力の方向は、ユーザが立った状態でコントローラ装置１０を操作する場合、ユーザ座標系のＺ軸の負の方向となる。またユーザが寝ころんだ状態でコントローラ装置１０を操作する場合、重力の方向はユーザ座標系のＹ軸負の方向となる。

　コントローラ装置１０は、以下、ユーザによる操作が終了するまで（例えばユーザの手や指が検出されない状態が、予め定めた時間だけ継続したときまで）、次のステップＳ１２からＳ１５の処理を繰り返して実行する。

　コントローラ装置１０は、ここで、初期化処理後のコントローラ装置１０の姿勢変化に応じて、ユーザ座標系変換式を更新する（Ｓ１２：姿勢情報の更新）。この更新方法は、例えばジャイロセンサの出力を用いる方法や、ジャイロセンサの出力に加え、方位変換式を用いる方法など、広く知られた方法（例えば、https://qiita.com/Tanba28/items/5092c3e5e2c631b804f3などに開示された方法）を用いればよい。

　コントローラ装置１０は、表面センサ１２３ａにより検出されたユーザの手や指が接触している位置や、ユーザがコントローラ本体１１に対して加えた力の方向などのユーザの操作を表す情報（いずれもセンサ座標系で表される）を取得し（Ｓ１３）、当該取得した情報を、ステップＳ１２で更新したユーザ座標系変換式を用いてユーザ座標系でのユーザの操作を表す情報に変換する（Ｓ１４）。

　そしてコントローラ装置１０は、ステップＳ１４で得た、ユーザ座標系でのユーザの操作を表す情報を、情報処理装置３０に出力する（Ｓ１５）。

　情報処理装置３０は、コントローラ装置１０から、ユーザ座標系でのユーザの操作を表す情報を受け入れて、ゲームアプリケーションの制御の処理等に供する。

［初期操作によるリセット］
　本実施の形態のコントローラ装置１０は、また、所定の初期化操作が行われたときにはいつでも、上記初期化処理（ステップＳ１１）に移行して、処理を続けてもよい。これにより、ユーザはいつでもコントローラ装置１０の動作をリセット可能となる。

［コントローラ装置の操作方法の他の例］
　ここまでの説明ではコントローラ装置１０を片手で把持し、いずれかの指で押圧したり、握って変形させたり、あるいは一部をつまむ、といった操作を行う例について述べたが、このコントローラ装置１０に対する操作方法は、これらの例に限られない。

　本実施の形態のコントローラ装置１０は、上述のように、５指を用いて把持するだけでなく、親指、人さし指、中指の３指で把持することとしてもよい。いずれの場合であっても、手首を捻らずに自然に把持した場合、図４に例示したように、右手であれば手の平が上方にある（図４（ｂ））か、手の平が下方にある（図４（ｃ））か、手の平が右側にある（図４（ｄ））となると想定されるため、コントローラ装置１０が、どの方向の表面センサ１２３ａがユーザの手や指の接触を検出しているかにより、手の平の方向を検出可能となり、また、親指の位置や、人さし指、中指などの各指の位置が推定可能となる。

　そこでコントローラ装置１０は、推定した各指のいずれかの位置において、コントローラ本体１１が押圧されたときには、どの指で押圧されたかを示す情報を、情報処理装置３０に送出してもよい。

　この例では、情報処理装置３０は、ゲームアプリケーション等の設定により、例えば親指の位置が押圧されたときと、人さし指の位置が押圧されたときとで異なる操作を受け入れたものとして処理を行うことが可能となる。つまり、この例では、ユーザがコントローラ装置１０をどのような向きで把持しようとも、コントローラ本体１１のユーザの指の位置が従来のコントローラにおけるボタンと同様に機能することとなる。さらに、押圧情報と組み合わせることによって、例えば、マッサージ方法をトレーニングするソフトウェアにおいて指定された指で最適な押圧にて押せているかを判定する、料理を行うゲームにおいて最適な押圧にてパンをこねることができているか、おにぎりを正しい手の形状で握ることができるか等の判定に使用することができる。

　また本実施の形態のコントローラ装置１０のコントローラ本体１１は、好適には、少なくとも１つの軸周りに対称な形状を有しているため、この軸周りに回転させる操作が行われてもよい。

　ユーザがコントローラ装置１０を、例えば手の平の上で転がして回転させた場合、コントローラ装置１０は、ユーザの手の接触する位置を逐次的に検出することにより、あるいは、ジャイロセンサの出力などの既に述べたユーザ座標系変換式の更新の処理により、回転方向や回転量、回転速度の情報を得る。コントローラ装置１０は、これらの情報を情報処理装置３０に送信し、情報処理装置３０では、コントローラ装置１０の回転方向や回転量、回転速度の情報を、ゲームアプリケーションの制御の処理等に用いる。例えば、所定のコースに沿ってボールを転がしながら移動する、物体の表面を磨くような動作をするゲーム等に応用可能である。

　またユーザがＨＭＤを装着していないか、あるいは透過型のＨＭＤを装着している場合など、コントローラ装置１０が手から離れてもよい場合には、ユーザは、コントローラ装置１０を机上、あるいは床の上で転がしてもよい。この場合、コントローラ装置１０は、例えばジャイロセンサの出力などの、既に述べたユーザ座標系変換式の更新の処理により、回転方向や回転量、回転速度の情報を得る。

　さらにこのコントローラ装置１０は、投げて利用されてもよい。この例では、コントローラ装置１０は、ユーザの手や指が接触している状態から、ユーザの手や指の接触が検出されなくなった時点から、その後、コントローラ装置１０に所定の加速度以上の衝撃が加わる（着地、あるいは何かに衝突したとき）まで（あるいはコントローラ装置１０が静止するまで、つまりユーザ座標系変換式の更新の処理によりユーザ座標系変換式が所定の時間以上更新されなくなるまで）、コントローラ装置１０が空中にあるものと判断する。そしてコントローラ装置１０は、空中にあると判断している間、コントローラ装置１０自身の移動軌跡や回転を、ジャイロセンサの出力、あるいはユーザ座標系変換式の更新の処理などにより検出する。そしてコントローラ装置１０は、この検出した移動軌跡や回転の情報を、情報処理装置３０に送信し、情報処理装置３０では、コントローラ装置１０が空中にある間の移動軌跡や回転の情報を、ゲームアプリケーションの制御の処理等に用いる。この例は、例えば、野球のゲームや玉入れゲームなどボールを投げる動作を伴うゲーム等に応用可能であり、また例えば情報処理装置３０は、空中にあると判断される直前の、コントローラ本体１１の表面に接触しているユーザの指の位置の情報を用いて、あるいは当該指の位置の情報と、起動軌跡や回転の情報とを用いて、カーブやフォークなどの球種での投球が行われたものとしてゲーム等の処理を実行してもよい。

　またここまでの説明では、ユーザが手に把持して利用する例について説明したが、本実施の形態のコントローラ装置１０は、机上等に置かれて利用されてもよい。例えば机上に置いたコントローラ装置１０をたたきつぶすように操作する例、人さし指で剪断方向に力をかけることで対象を操作する例や、コンピューター機器のポインティング機器（所謂、マウス機器）の代替として使用してグラフィカルユーザインタフェースのカーソルの移動やラジオボタンなどの選択決定を操作する例などが考えられる。

［複数のコントローラ装置が存在する場合］
　さらに、情報処理装置３０に接続されるコントローラ装置１０は、ユーザごとに２つずつあってもよい。この場合、各コントローラ装置１０は、情報処理装置３０との間で通信を行う際、自己が情報処理装置３０に対して送出する情報に、自己に固有に割り当てられた識別情報を含める。

　またこの場合、情報処理装置３０は、ユーザに対して、「まず右手に持つコントローラ装置を取り上げてください」など、左右のそれぞれの手で持つコントローラ装置１０を順番に案内し、取り上げられた順序によってユーザが右手に持っているコントローラ装置１０の識別情報と、左手に持っているコントローラ装置１０の識別情報とを識別することとしてもよい。

　また別の例では、情報処理装置３０は、ユーザに対して、「右手に持っているコントローラ装置を、机にぶつけてください」などといったように、左右のそれぞれの手で持つコントローラ装置１０について何らかの操作を行うよう案内し、対応する操作が行われたことを検出することで、ユーザが右手に持っているコントローラ装置１０の識別情報と、左手に持っているコントローラ装置１０の識別情報とを識別することとしてもよい。

　これらのように、ユーザが複数のコントローラ装置１０を利用する例では、ユーザは、各コントローラ装置１０に対して任意のタイミング（例えば左右のそれぞれの手に持つコントローラ装置１０を入れ替えたタイミングなど）で初期化操作を行う。このためコントローラ装置１０は、所定の操作が行われたときに、初期化操作を受け入れる、初期化の処理を実行するようにしてもよい。

　また、情報処理装置３０に接続されるコントローラ装置１０は、ユーザごとに２つでなくてもよく、３以上の数であってもよい。この例では、ユーザは、予め各コントローラ装置１０に対して初期化操作を行ったうえで、各コントローラ装置１０を、自己の手の届く範囲に配しておき、適宜のコントローラ装置１０を取り上げて操作を行う。例えば玉入れなどのゲームにおいては、複数のコントローラ装置１０を順次投げる操作を行うことが考えられる。

　１０　コントローラ装置、１１　コントローラ本体、１２　回路部、２１　操作受入部、２２　姿勢推定部、２３　操作情報生成部、２４　送出部、３０　情報処理装置、３１　制御部、３２　記憶部、３３　通信部、３４　表示部、１１０　筐体、１２１　制御部、１２２　記憶部、１２３　センサ部、１２４　通信部。

Claims

　コントローラ本体と、
　制御部とを備え、
　前記制御部は、前記コントローラ本体に対するユーザの操作を受け入れる操作受入手段と、
　前記コントローラ本体の姿勢を推定する推定手段と、
　前記推定手段の推定結果を用いて、前記受け入れた操作の内容を表す情報を生成して出力する操作情報生成手段と、
　とを含むコントローラ装置。
　請求項１に記載のコントローラ装置であって、
　加速度センサ、
　地磁気センサ、
　及び
　ジャイロセンサ、
のうち少なくとも一つのセンサを具備し、当該具備するセンサの検出結果を出力するセンサ部を備え、
　前記推定手段は、前記ユーザの操作を受け入れた時点での前記センサ部の出力を用いて、前記コントローラ本体の姿勢を推定するコントローラ装置。
　請求項１または２に記載のコントローラ装置であって、
　少なくとも加速度センサを具備し、当該具備するセンサの検出結果を出力するセンサ部と、
　ユーザに対し、当該コントローラ装置に、所定方向の加速度を加える操作を案内する案内手段と、を備え、
　前記推定手段は、前記案内手段により案内された操作に応じて前記センサ部が出力する検出結果を用いて、前記コントローラ本体の姿勢を推定するコントローラ装置。
　請求項１から３のいずれか一項に記載のコントローラ装置であって、
　前記コントローラ本体は、弾性変形可能な材料で形成されているコントローラ装置。
　請求項１から４のいずれか一項に記載のコントローラ装置であって、
　前記コントローラ本体は、少なくとも一つの軸周りに回転対称な形状を有するコントローラ装置。
　請求項５に記載のコントローラ装置であって、
　前記コントローラ本体は、球形であるコントローラ装置。
　コントローラ本体と、
　制御部とを備えるコントローラ装置の制御方法であって、
　前記制御部が、前記コントローラ本体に対するユーザの操作を受け入れ、
　前記コントローラ本体の姿勢を推定し、
　当該姿勢の推定結果を用いて、前記受け入れた操作の内容を表す情報を生成して出力するコントローラ装置の制御方法。
　コントローラ本体と、
　制御部とを備えるコントローラ装置の前記制御部を、
　前記コントローラ本体に対するユーザの操作を受け入れる操作受入手段と、
　前記コントローラ本体の姿勢を推定する推定手段と、
　前記推定手段の推定結果を用いて、前記受け入れた操作の内容を表す情報を生成して出力する操作情報生成手段と、
　として機能させるプログラム。