JP7028976B2 - コントローラ装置、及びその制御方法 - Google Patents

Description

本発明は、ユーザの手に把持されるコントローラ装置、及びその制御方法に関する。

家庭用ゲーム機等に接続されるコントローラ装置は、近年ますます高機能化しており、触覚提示デバイスやスピーカー等、多様なデバイスが搭載されるようになってきている。

こうした高機能化を背景として、コントローラ装置に搭載された種々のデバイスを個別に制御する処理に限らず、複数のデバイスを組み合わせて用いる制御も考えられている。

しかしながら、複数のデバイスを組み合わせて制御する場合に、各デバイスの特性を考慮せずに制御を行うと、意図しない動作が行われてしまう場合がある。

本発明は上記実情に鑑みて為されたもので、意図しない動作を避けて複数のデバイスを組み合わせた制御を行うことのできるコントローラ装置、及びその制御方法を提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は、ユーザの手に把持されるコントローラ装置であって、マイクと、ユーザの手に触覚を提示する触覚提示デバイスと、スピーカーとを含み、前記マイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制し、前記触覚提示デバイスによる触覚提示制御を行うこととしたものである。

本発明によると、意図しない動作を避けて複数のデバイスを組み合わせた制御を行うことが可能となっている。

本発明の実施の形態に係るコントローラ装置の概要を表す平面図である。 本発明の実施の形態に係るコントローラ装置の構成例を表すブロック図である。 本発明の実施の形態に係るコントローラ装置の例を表す機能ブロック図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係るコントローラ装置１は、図１に例示するように、ユーザが両手で把持可能なものである。このコントローラ装置１は、把持部１１Ｌ，１１Ｒ（以下、双方をまとめて説明するときには把持部１１と記す）と、本体部１２とを含む。ここで把持部１１Ｌ，１１Ｒは、コントローラ装置１の筐体の左右にそれぞれ設けられ、ユーザが通常の状態でコントローラ装置１を操作するときに、左手と右手のそれぞれで把持される。またユーザが把持部１１をそれぞれの手で把持した状態で、ユーザの左右の手の親指がそれぞれ到達する本体部１２上の位置には、傾倒操作可能なジョイスティック１３Ｌ，１３Ｒ、並びに複数のボタン１４が配されている。

また、本体部１２の奥側の側面にはユーザが把持部１１をそれぞれの手で把持した状態で、ユーザの左右の手の人差し指または中指が到達する位置に、スイッチ１５Ｌ，１５Ｒが配されている。もっとも、これらのジョイスティックやボタン、スイッチの構成及び配置は一例であり、このコントローラ装置１には、さらに他のスイッチやボタン等が配されていてもよい。

また本実施の形態の以下の説明において、コントローラ装置１自身、またはその各部の大きさやその比、配置等は一例であり、本実施の形態のコントローラ装置１及びそのボタン等の各部は、図示等した大きさや比率、配置のものに限られるものではない。

このコントローラ装置１は、また、図２に例示するように、その内部に制御部２１と、マイク入力部２２と、スピーカー２３と、触覚提示デバイス２４と、インタフェース部２５と、通信部２６とを含む。さらに本実施の形態では、このコントローラ装置１は、家庭用ゲーム機等の情報処理装置２に対して通信可能に接続されている。

制御部２１は、マイクロコンピュータ等であり、内蔵するメモリに格納されたプログラムに従って動作する。このプログラムは、通信部２６を介してコントローラ装置１から入力される指示により書き換えられてもよい。また、この制御部２１が内蔵するメモリは、制御部２１の実行中に記憶する必要のあるデータを保持するワークメモリとしても動作する。この制御部２１の詳しい動作は後に説明する。

マイク入力部２２は、マイク２２Ｍ及び、Ａ／Ｄコンバータ２２Ｃを含んで構成される。このマイク入力部２２は、マイク２２Ｍを介して入力された音声の信号（振動波形）を電気的信号に変換し、さらにディジタル値に変換して制御部２１に出力する。なお、本実施の形態のある例では、マイク２２Ｍは本体部１２の手前側（ユーザがコントローラ装置１を把持したときに手前側となる位置）に配される。

スピーカー２３は、制御部２１から入力される指示に従って音声を鳴動する。触覚提示デバイス２４は、例えばＶＣＭ（ボイスコイルモータ）等を含んで構成され、制御部２１から入力される指示に従い、指示された振動波形に従って振動を生じさせ、コントローラ装置１を把持するユーザに触覚を提示する。本実施の形態の一例では、この触覚提示デバイス２４Ｌ，２４Ｒは、把持部１１Ｌ，１１Ｒ内にそれぞれ一つずつ配される。以下の説明において、これら触覚提示デバイス２４Ｌ，２４Ｒを区別する必要がない場合（双方を同様の波形情報で制御する場合など）には、Ｌ，Ｒの表記を省いて、触覚提示デバイス２４と表記する。

インタフェース部２５は、ジョイスティック１３やボタン１４、スイッチ１５等に接続され、これらに対して行われた操作の内容を表す信号を制御部２１に出力する。

通信部２６は、ネットワークインタフェースあるいはブルートゥース（登録商標）、ＵＳＢ（Universal Serial Bus）等の無線または有線通信を行うインタフェースであり、情報処理装置２との間で通信を行い、情報処理装置２から受信したデータ等を制御部２１に出力する。また、制御部２１が出力する指示に従って、指示されたデータ等を、情報処理装置２に対して出力する。

次に、本実施の形態の制御部２１の動作について説明する。本実施の形態の制御部２１は、機能的には、図３に例示するように、操作受入部３１と、通信制御部３２と、指示取得部３３と、データ制御部３４と、音声入力部３５と、音声出力制御部３６と、触覚提示制御部３７とを含んで構成される。

操作受入部３１は、インタフェース部２５を介してジョイスティック１３等に対して行われたユーザの操作の内容を表す信号を受け入れて、通信制御部３２に出力する。

通信制御部３２は、操作受入部３１から入力されたユーザの操作の内容を表す信号を、情報処理装置２に対して送信する。またこの通信制御部３２は、情報処理装置２から受信したデータ等を指示取得部３３に出力する。さらに通信制御部３２は、後に説明するデータ制御部３４から入力されるデータを、情報処理装置２に対して送信する。

指示取得部３３は、情報処理装置２から受信したデータに含まれる指示を取得する。ここで取得される指示は、音声鳴動指示や、触覚提示の指示等を含む。また音声鳴動指示には、出力するべき音声の波形を表す波形情報が含まれる。同様に、触覚提示の指示には、提示するべき触覚を表す波形情報が含まれる。

データ制御部３４は、指示取得部３３が取得した波形情報等を、音声出力制御部３６と、触覚提示制御部３７とのどちらに出力するか（あるいは双方に出力するか）を制御する。また、このデータ制御部３４は、音声入力部３５からデータの入力を受け入れて、当該データを、通信制御部３２に出力するか、ワークメモリに保持するか、または、音声出力制御部３６と触覚提示制御部３７とのどちらに出力するか（あるいは双方に出力するか）等の制御を行う。

さらに本実施の形態では、このデータ制御部３４は、予め定められた条件に応じて、波形情報の出力先を制御し、あるいは波形情報に対してフィルタ（ローパスフィルタ等）を適用する処理を行う。このデータ制御部３４の動作については後に例を挙げて説明する。

音声入力部３５は、マイク入力部２２が出力する音声信号を受け入れてデータ制御部３４に出力する。音声出力制御部３６は、データ制御部３４から波形情報の入力を受け入れると、当該波形情報をアナログ信号に変換し、当該アナログ信号によりスピーカー２３を鳴動制御する。

触覚提示制御部３７は、データ制御部３４から波形情報の入力を受け入れると、当該波形情報に従ってボイスコイルモータ等の触覚提示デバイス２４を制御し、ユーザに触覚を提示する。

［制御例］
次に本実施の形態のコントローラ装置１における制御の例について説明する。以下では、
（１）音声をマイクから入力する際の処理例
（２）入力された音声を利用した処理
（３）スピーカーと触覚提示制御とを同時的に行う制御
（４）操作入力としての音声入力
（５）音声入力による設定
の各処理について順次、説明する。

［（１）音声をマイクから入力する際の処理例］
本実施の形態のこの例では、ユーザが、音声をマイク２２Ｍから入力する場合について説明する。コントローラ装置１の制御部２１は、例えばユーザが音声入力を行う旨を表す予め定められた操作を行うと、当該操作が行われている間、マイク入力部２２から入力される信号を受け入れて、当該信号をメモリに記録する。

このようにユーザが音声入力を行う旨を表す操作を行っている間、つまりマイク２２Ｍからユーザが音声を入力している間は、制御部２１は、データ制御部３４の動作として、スピーカー２３の鳴動を抑制するよう制御する。つまり、情報処理装置２から受信した、音声鳴動指示に係る波形情報を音声出力制御部３６に出力せず、スピーカー２３を鳴動しないよう制御する。

一方制御部２１は、触覚提示デバイス２４による触覚提示制御は実行する。すなわち、制御部２１はデータ制御部３４の動作として、情報処理装置２から受信した、触覚提示指示に係る波形情報を、触覚提示制御部３７へ出力する。

またこのとき制御部２１は、データ制御部３４の動作として、情報処理装置２から受信した、音声鳴動指示に係る波形情報を触覚提示制御部３７へ出力し、鳴動するべき音声を表す波形情報を触覚として提示することとしてもよい。なお、情報処理装置２から触覚提示指示を音声鳴動指示とともに受信している場合は、制御部２１は、音声鳴動指示に係る波形情報と触覚提示指示に係る波形情報とを加算した波形情報を生成し、当該加算後の波形情報を、触覚提示制御部３７へ出力し、音声鳴動指示と触覚提示指示との双方に係る振動を触覚として合わせて提示してもよい。

さらに制御部２１は、データ制御部３４の動作として、マイク２２Ｍからユーザが音声を入力している間は、触覚提示デバイス２４が提示する触覚を表す振動波形に対し、ローパスフィルタを適用してもよい。この例では制御部２１は、触覚提示制御部３７へ出力する波形情報に対してローパスフィルタに相当するデータ処理を実行する。このようなディジタルデータにおけるローパスフィルタの処理は、ＦＩＲディジタルフィルタとしての処理により実現でき、広く知られているので、ここでの詳しい説明を省略する。

この例では、ローパスフィルタを適用した後の振動波形に基づいて触覚提示デバイス２４が制御されることとなる。なお、上述の例のように、音声鳴動指示に係る波形情報を触覚提示制御部３７へ出力する場合は、この音声鳴動指示に係る波形情報にのみ、ローパスフィルタに相当するデータ処理を実行することとしてもよい。

本実施の形態のこの例によると、ユーザが音声入力をしている間、スピーカー２３の鳴動が抑制される。これにより、スピーカー２３の鳴動音がマイク２２Ｍから入力しているユーザの音声に混ざってしまうことがなくなる。

なお、マイク２２Ｍと触覚提示デバイス２４との配置にも依存するが、触覚提示デバイス２４の振動は、コントローラ装置１の把持部１１を振動させてユーザに触覚を提示するものであり、一方マイク２２Ｍは本体部１２に備えられることとすれば、この触覚提示デバイス２４の振動は、マイク２２Ｍに拾われにくい。そこでこのような場合は、制御部２１は、触覚提示デバイス２４の振動についてはそのまま提示する。さらに触覚提示デバイス２４が提示する振動を、ローパスフィルタを適用して処理することとしてもよい。このようにすると、触覚提示デバイス２４が提示する振動は、マイク２２Ｍにさらに拾われにくい特性を備えることとなる。

また触覚提示デバイス２４の振動がマイク２２Ｍに拾われる場合は、スピーカー２３の場合と事情が異なる。すなわち、触覚提示デバイス２４はコントローラ装置１の周囲の空気をあまり振動させないので、その振動は空気の振動を介してマイク２２Ｍに到来するのではなく、主に、コントローラ装置１の筐体の振動を介してそのままマイク２２Ｍに到来することとなる。

そこで制御部２１は、マイク入力部２２から入力される音声信号から、触覚提示制御部３７に対して出力した波形情報を、予め定めた大きさだけ減衰させたうえで（振幅を小さくするよう制御したうえで）減算することとしてもよい。これにより、マイク２２Ｍを介して入力される音声信号から、触覚提示デバイス２４の振動による成分を除去できる。なお、上記減衰量は、例えば実験的に定めることとする。

さらに、ここでの例では、マイク２２Ｍからの音声入力の際には、ユーザが所定の操作を行うこととしていたが、本実施の形態はこれに限られず、例えばマイク２２Ｍに、予め定めた大きさを超える音声信号が入力されている間、マイク２２Ｍからユーザが音声入力をしているとして、上記の処理を行うこととしてもよい。

［（２）入力された音声を利用した処理］
また本実施の形態の制御部２１は、マイク入力部２２から入力される音声信号を利用して次のような処理を行ってもよい。

制御部２１は、例えばメモリに保持した、音声信号を表す波形情報を、ユーザの指示操作に応じて触覚提示デバイス２４に出力して、触覚として提示させることとしてもよい。ユーザは、自分の発した声など、録音した音声を触覚として感じたり、提示させたりといったことができるようになる。

また制御部２１は、当該メモリに保持した音声信号を表す波形情報を、触覚を表す波形情報として情報処理装置２に送信してもよい。この場合、情報処理装置２は、他の情報処理装置２や、他のコントローラ装置１に当該波形情報を送出する。この波形情報は、当該他の情報処理装置２に接続されたコントローラ装置１等、他のコントローラ装置１において触覚制御デバイス２４の制御に用いられてもよい。

さらに制御部２１は、ユーザのボタン等の操作に応じて、メモリに保持した音声信号を、ピッチを変更し、当該ピッチを変更した音声信号の表す波形情報を、スピーカー２３を介して鳴動する、あるいは、触覚提示デバイス２４に出力することとしてもよい。

この例によると、例えばボタンごとに異なる音程となるよう、各ボタンが押下されたときのピッチの変更量を異ならせることで、メモリに保持した音声信号により例えばメロディーを奏でるといった動作が可能となる。

またこのとき、制御部２１は、マイク２２Ｍに入力される音声信号の大きさを検出して、ピッチを変更した音声信号の表す波形情報を、当該検出した音声信号の大きさにより制御して、検出した音声信号が大きいほど波形情報の振幅が大きくなるよう補正して、スピーカー２３を介して鳴動する、あるいは、触覚提示デバイス２４に出力することとしてもよい。

この例によると、マイク２２Ｍに対する息の吹きかけ量に応じて音声が大きくなったり、振動が大きくなったりといった制御が行われることとなり、あたかも笛やオカリナのような楽器を演奏しているかのような演出が可能となる。

なお、制御部２１は、例えばユーザが想定している楽器の種類を選択させ、当該選択された種類の楽器に応じて、上記ピッチの変更量や、息の吹きかけ量に応じた波形情報の振幅制御量を異ならせてもよい。

この場合制御部２１は、情報処理装置２に対して、楽器の種類を選択させるためのユーザインタフェースを表示出力するよう指示を出力してもよい。ユーザがこのインタフェースに対して操作を行うと、当該操作の内容に応じて楽器種類の選択を受け入れる等の制御を、制御部２１が実行する。つまり、ここでは情報処理装置２からの制御を受けることなく、制御部２１が主体的に動作して（情報処理装置２をユーザインタフェースの表示処理装置として使用して）、種々の情報の受け入れや、各種の制御を行ってもよい。

［（３）スピーカーと触覚提示制御とを同時的に行う制御］
また本実施の形態のコントローラ装置１は、情報処理装置２から入力される指示に従って音声を鳴動する等の処理を行っているが、このとき、音声鳴動指示を受けた制御部２１は、データ制御部３４の動作として、当該受信した音声鳴動指示に係る音声信号を表す波形情報を、音声出力制御部３６に出力するとともに、触覚提示制御部３７へも出力してもよい。

この例では、ユーザは例えばゲーム等処理においてサウンドエフェクトを音声として聞き取ることとなるとともに、コントローラ装置１の筐体を通じて触覚としても受け取ることとなって、ゲーム等の場面の臨場感を向上できる。

例えば、雨が降っている風景において雨音の波形情報とともに音声鳴動指示が入力されている場合、コントローラ装置１は、当該雨音の波形情報を音声として鳴動するとともに、当該雨音に合わせて筐体を振動させることとなり、ユーザは、あたかも雨粒が傘などに当たっているかのような触覚を得る。

本実施の形態のこの例では、このように音声や映像とともに、当該音声に合わせた触覚を提示することで、全体的にユーザに対して現実感を与えることとしている。

また本実施の形態のこの例では、音声鳴動指示に係る音声信号を表す波形情報を、触覚提示制御部３７へ出力するにあたり、ローパスフィルタに相当するデータ処理を実行してから触覚提示制御部３７へ出力するようにしてもよい。この際のローパスフィルタのカットオフ周波数は、例えば、音声信号の下限近傍としておく。また、ローパスフィルタを通過した波形情報については、その振幅が予め定めた大きさとなるまで増幅しておいてもよい。このようにすると、音声成分がカットされて、触覚的振動がより強調できる。

［（４）操作入力としての音声入力］
また本実施の形態のコントローラ装置１の制御部２１は、マイク入力部２２から入力される音声信号をメモリに保持するほか、次のように利用することとしてもよい。

すなわち本実施の形態では、制御部２１は、マイク入力部２２から入力された音声信号の周波数及び音量の情報を生成して、当該生成した情報を情報処理装置２に送出してもよい。

例えば、制御部２１は、マイク入力部２２から入力された音声信号を離散フーリエ変換して周波数ごとの音量を分析し、最も音量の大きい周波数帯を表す情報を、当該入力された音声信号の周波数情報として出力する。

また制御部２１は、マイク入力部２２から入力された音声信号の最大振幅を音量の情報として出力する。

情報処理装置２は、コントローラ装置１から、周波数情報及び音量の情報を、コントローラ装置１に対するユーザの操作の内容を表す情報とともに受け入れて、ゲーム等の処理に利用する。

例えば情報処理装置２は、コントローラ装置１から、ユーザがマイク２２Ｍに対して入力した音声の周波数情報を受け入れて、当該周波数情報に応じて、ゲーム内で相手方を攻撃する旨の処理等において、攻撃範囲を表すパラメータを制御する。一例として情報処理装置２は、周波数情報が表す周波数が低いほど、ゲーム空間内における、ユーザの制御するキャラクタによる攻撃範囲を広くする（あるいは比較的広い攻撃範囲を有する攻撃を行う指示として処理する）こととしてもよい。また情報処理装置２は、周波数情報が表す周波数が高いほど、ゲーム空間内における、ユーザの制御するキャラクタによる攻撃範囲を小さくする（あるいは比較的狭い攻撃範囲を有する攻撃を行う指示として処理する）こととしてもよい。

またこの場合情報処理装置２は、コントローラ装置１から、ユーザがマイク２２Ｍに対して入力した音声の音量情報を受け入れ、上記周波数情報と音量情報とに基づいてゲーム内における攻撃力のパラメータを制御してもよい。

例えば情報処理装置２は、周波数情報ｆと、音量情報Ａとを用いて、攻撃力のパラメータＰを、
Ｐ＝αＡ・βｆ、
攻撃範囲のパラメータＴを、
Ｔ＝γ／ｆ
などとして求める。ここでα，β，γは予め実験的に定めた定数である。この例によると、ユーザが入力した音声の周波数が低いほど、攻撃力は小さくなり、攻撃範囲は広くなる。またユーザが入力した音声の周波数が高くなると、攻撃力は大きくなり、攻撃範囲は狭くなるという制御が行われる。

［（５）音声入力による設定動作］
さらにコントローラ装置１の制御部２１は、マイク入力部２２から入力され、メモリに保持した音声信号の波形情報を、そのまま情報処理装置２に送信してもよい。

この場合、情報処理装置２は、当該波形情報を、ゲーム等の処理に利用してもよい。例えば、当該波形情報に基づいて、ゲームキャラクタが移動するコースを生成してもよい。一例として情報処理装置２は、波形情報の包絡線（振幅の変化を表す曲線）を生成し、当該曲線を、ゲームキャラクタが移動するコースとしてもよい。

あるいは、情報処理装置２は、当該入力された波形情報を用いて、ユーザに提示する触覚を表す波形情報を生成してもよい。この波形情報の生成も、例えばローパスフィルタを適用する処理等によって行ってよい。

［その他の例］
また本実施の形態では、触覚提示デバイス２４は例えばボイスコイルモータとしたが、本実施の形態はこの例に限られず、ユーザに振動を提示できるものであれば、バイブレータによる振動提示を行うデバイス等であってもよい。

１ コントローラ装置、２ 情報処理装置、１１ 把持部、１２ 本体部、１３ ジョイスティック、１４ ボタン、１５ スイッチ、２１ 制御部、２２Ｃ Ａ／Ｄコンバータ、２２ マイク入力部、２３ スピーカー、２４ 触覚提示デバイス、２５ インタフェース部、２６ 通信部、３１ 操作受入部、３２ 通信制御部、３３ 指示取得部、３４ データ制御部、３５ 音声入力部、３６ 音声出力制御部、３７ 触覚提示制御部。

Claims (4)

1. ユーザの手に把持されるコントローラ装置であって、
   マイクと、
   ユーザの手に触覚を提示する触覚提示デバイスと、
   スピーカーと、
   音声鳴動指示に係る波形情報と、触覚提示指示に係る波形情報とを受け入れて、当該音声鳴動指示に係る波形情報と、触覚提示指示に係る波形情報とを加算した波形情報を生成し、当該加算後の波形情報を、前記触覚提示デバイスに出力する制御部と、を含み、
   前記マイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制し、前記触覚提示デバイスによる触覚提示制御を行うコントローラ装置。
2. 請求項１に記載のコントローラ装置であって、
   前記マイクからユーザが音声を入力している間は、前記触覚提示デバイスが提示する触覚を表す振動波形に対し、ローパスフィルタを適用して、当該ローパスフィルタを適用した後の振動波形に基づいて前記触覚提示デバイスを制御するコントローラ装置。
3. 請求項１または２に記載のコントローラ装置であって、
   前記触覚提示デバイスは、ボイスコイルモータを含むコントローラ装置。
4. ユーザの手に把持されるコントローラ装置の制御方法であって、
   前記コントローラ装置が、
   マイクと、ユーザの手に触覚を提示する触覚提示デバイスと、スピーカーと、音声鳴動指示に係る波形情報と、触覚提示指示に係る波形情報とを受け入れて、当該音声鳴動指示に係る波形情報と、触覚提示指示に係る波形情報とを加算した波形情報を生成し、当該加算後の波形情報を、前記触覚提示デバイスに出力する制御部と、を含み、
   前記コントローラ装置がマイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制させ、前記触覚提示デバイスによる触覚提示制御を行うよう前記コントローラ装置を制御する、コントローラ装置の制御方法。
   

Images