JP6720309B2 - 情報処理システム、操作デバイス、及び操作デバイスの制御方法 - Google Patents

情報処理システム、操作デバイス、及び操作デバイスの制御方法 Download PDF

Info

Publication number
JP6720309B2
JP6720309B2 JP2018529371A JP2018529371A JP6720309B2 JP 6720309 B2 JP6720309 B2 JP 6720309B2 JP 2018529371 A JP2018529371 A JP 2018529371A JP 2018529371 A JP2018529371 A JP 2018529371A JP 6720309 B2 JP6720309 B2 JP 6720309B2
Authority
JP
Japan
Prior art keywords
control
information
actuator
user
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529371A
Other languages
English (en)
Other versions
JPWO2018020778A1 (ja
Inventor
山野 郁男
郁男 山野
佑輔 中川
佑輔 中川
平田 真一
真一 平田
祐一 町田
祐一 町田
洋一 西牧
洋一 西牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2018020778A1 publication Critical patent/JPWO2018020778A1/ja
Priority to JP2020104664A priority Critical patent/JP6986598B2/ja
Application granted granted Critical
Publication of JP6720309B2 publication Critical patent/JP6720309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/015Force feedback applied to a joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理システム、操作デバイス、及び操作デバイスの制御方法に関する。
家庭用ゲーム機等における操作デバイスは、ユーザが行ったボタン押下や操作デバイスを振る等の動作を検出して、ゲーム機等の本体に当該検出したユーザの動作を表す情報を送出している。また、こうした操作デバイスのうちには、アクチュエータ等を用いて、ユーザに対して触力覚を提示するものもある。
しかしながら、上記従来の、触力覚提示機能を有する操作デバイスでは、ゲーム機等の本体からの指示に応じて触力覚を提示するため、ユーザの操作に対する触力覚を提示しようとする場合、ユーザの操作内容を本体へ送出し、本体側で触力覚の制御に必要なパラメータを演算して求め、本体から操作デバイスへパラメータを送出して、操作デバイスにて当該パラメータに基づいて触力覚の提示動作を行うこととなっており、操作が行われてから触力覚を提示するまでに時間を要するので、提示可能な触力覚が限られていた。
本発明は上記実情に鑑みて為されたもので、種々の態様の触力覚を提示可能な操作デバイス、及び操作デバイスの制御方法を提供することを、その目的の一つとする。
上記従来例の問題点を解決する本発明の一態様は、第1の位置と第2の位置との間で移動可能な可動部を有し、ユーザに把持されて前記可動部がユーザにより操作される操作デバイスであって、触力覚の制御に係る指示として、制御モードを特定する情報と、制御モードごとに定められた制御情報とを受け入れる受入手段と、前記受け入れた情報で特定される制御モードにて、前記受け入れた制御情報を用いて、前記可動部に対して提示する触力覚を制御する制御手段と、を有することとしたものである。
本発明によると、種々の態様の触力覚が提示可能となる。
本発明の実施の形態に係る操作デバイスの正面側から見た斜視図である。 本発明の実施の形態に係る操作デバイスの背面側から見た斜視図である。 本発明の実施の形態に係る操作デバイスの構成例を表すブロック図である。 本発明の実施の形態に係る操作デバイスの可動部の例を表す概要図である。 本発明の実施の形態に係るアームと、ボタンカバーとの関係を概念的に示した説明図である。 本発明の実施の形態に係る操作デバイスの例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理システムで送受されるパケットの内容例を表す説明図である。 本発明の実施の形態に係る操作デバイスが用いる設定情報の例を表す説明図である。 本発明の実施の形態に係る情報処理システムの動作例を表すフロー図である。
本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明において各部の大きさやその比、配置等は一例であり、本実施の形態の例は、図示等した大きさや比率、配置に限られるものではない。本発明の実施の形態に係る情報処理システムは、図1に例示するように、操作デバイス10と、操作デバイス10に対して無線または有線にて接続される家庭用ゲーム機等の主装置20とを含む。この操作デバイス10は、ユーザから受け入れた指示操作の内容を主装置20に出力する。また操作デバイス10は、主装置20から入力される指示を受け入れて、各部の制御を行う。この操作デバイス10の詳しい動作は後に述べる。
本実施の形態の例では、操作デバイス10は、ユーザの左手または右手のどちらかに装着されるものとして設定される。この操作デバイス10の一例は、図1,図2に例示するようなものである。図1は操作デバイス10を正面側から見た斜視図であり、図2は操作デバイス10を背面側から見た斜視図である。
操作デバイス10は、ユーザにより把持される把持部21と、操作部22とを含む。把持部21は、実質的に多角形柱状をなし、操作部22が、この把持部21から連続して形成されている。図1,2の例では、操作部22は、正面側にセンサ部221と、ボタン操作部222とを含み、背面側に、指センサ223と、本発明の可動部に対応するロッキングボタン224とを備える。またこの操作デバイス10は、本体内部に、図3に例示するように、回路部100を含む。この回路部100は、制御部11と、記憶部12と、インタフェース部13と、通信部14とを含んで構成される。
この制御部11は、マイクロコンピュータ等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態では、この制御部11は、可動部としてのロッキングボタン224を介して触力覚を提示するための制御に係る指示として、制御モードを特定する情報と、制御モードごとに定められた制御情報とを、主装置20から受け入れる。そして制御部11は、この受け入れた情報で特定される制御モードにて、受け入れた制御情報を用いて、ロッキングボタン224のユーザによる移動動作に対し、ユーザに提示するべき触力覚を制御する。この制御部11の動作については後述する。記憶部12は、メモリデバイスであり、制御部11によって実行されるプログラムを保持する。またこの記憶部12は制御部11のワークメモリとしても動作する。
インタフェース部13は、操作部22の各部に接続され、センサ部221や、ボタン操作部222等から入力されるユーザの指示を表す信号等、各種の信号を受け入れて制御部11に出力する。またこのインタフェース部13は、制御部11から入力される指示を、操作部22の各部に出力する。
通信部14は、例えばブルートゥース(登録商標)等の無線通信インタフェース、またはUSBや有線LAN等の有線通信インタフェース等を含む。この通信部14は、主装置20に接続され、主装置20との間で種々の信号を授受する。
本実施の形態では、この操作デバイス10の左側面または右側面のいずれか一方側に固定具が固定される。この固定具は例えば可撓性あるベルトを環状としたものである。この例の操作デバイス10を操作するユーザは、固定具にユーザ自身の人差指から小指までを通し、操作デバイス10の本体をユーザの親指の付根に当接させた位置に固定して用いる。図1,2の例では、操作デバイス10の右側面側がユーザの手の平に押付けられて操作デバイス10が固定された状態が示されている。またこの操作デバイス10の大きさは、固定具に指を通して操作デバイス10を装着したユーザが、自然に操作デバイス10を把持したときに、ユーザの親指末節が操作デバイス10の正面側のボタン操作部222に到達する程度の大きさとする。つまり本実施の形態では、ロッキングボタン224を含む、操作部22の少なくとも一部のボタン等が、把持部21を把持したときに、ユーザの指が到達する範囲に配される。
すなわち、操作デバイス10を装着したユーザが、自然に操作デバイス10を把持したときには、当該ユーザの人差指は操作デバイス10のロッキングボタン224に触れる位置となり、ユーザは把持部21を手の平と、中指、薬指、小指とで握りこむようになる。もっとも、この状態からユーザが手を開いても、固定具により操作デバイス10がユーザの手に固定されるので、操作デバイス10が落下することはない。
センサ部221は、例えば、ユーザが自然にデバイス本体210を把持したとき、ユーザの親指の末節側が到達する位置よりやや下方、ユーザの親指の基節側が近接する位置に配される。この指センサ部221は、操作デバイス10の正面側であって操作デバイス10の表面の法線方向を中心とし、操作デバイス10正面の左側面側から右側面側までの比較的広角の角度範囲を検出可能範囲として、この検出可能範囲においてユーザの親指を検出する。そして当該親指を検出した位置(上記角度範囲内の角度)と、指センサ部221からユーザの親指までの距離とを検出し、これらの情報を含む、検出結果情報を制御部11に出力する。この指センサ部221は例えば、カメラや、光学センサ、焦電センサ、静電容量センサ等、どのようなものでも構わない。
ボタン操作部222は、少なくとも一つのボタンを含み、当該ボタンに対しユーザの押下操作があったときに、押下操作がされたボタンを特定する情報を制御部11に出力する。指センサ223は、操作デバイス10の把持部21にユーザの中指ないし小指が近接しているか(あるいは触れているか)否かを検出する。そして当該検出の結果を表す情報を、制御部11に出力する。
ロッキングボタン224は、本発明の可動部に相当し、操作デバイス10の本体に対して、操作デバイス10の背面側に突出した第1の位置と、操作デバイス10の本体側へ押し込まれた第2の位置との間で回転移動可能なボタンである。このロッキングボタン224は、ユーザの人差指等で第2の位置に向って押し込み操作され、またユーザが指を放せば、第1の位置に復帰するよう、弾性体等によって付勢されている。
本実施の形態の操作デバイス10は、このロッキングボタン224により、ユーザの指に触力覚を提示することで、ユーザが仮想的に手にした仮想対象物の質感を表現する。具体的にはロッキングボタン224の可動範囲を変化させ、またユーザの操作に対して反力(ユーザがロッキングボタン224を押込む力に抵抗する力)を提示して、ユーザに対して触力覚を提示する。なお、本実施の形態はこの例に限るものではなく、可動部を例えば、ロッキングボタン224ではなく、ユーザの手のひら近傍に配した部材として、ユーザの手のひらに触力覚を堤示するなど、ユーザの手の一部に触力覚を堤示できれば、可動部の配置及び態様は、ここで例示したものに限られるものではない。
具体的に、この例の本実施の形態では、このロッキングボタン224は、図4に例示するように、可動部材であるボタンカバー224bと、ボタンカバー支持部30と、ロッキングボタン224の位置を検出する位置センサ31と、ボタンカバー224bの可動範囲を、指示された範囲に規制する規制部32とを備える。
ここで位置センサ31は、アーム323の回転中心であるヒンジに取付けられたポテンショメータ等であり、アーム323の回転角度の情報を出力する。またはこの位置センサ31は、アーム323ではなく、ロッキングボタン224の回転中心であるヒンジに取付けられたポテンショメータ等であってもよい。この場合、位置センサ31は、ロッキングボタン224の回転角度の情報を出力することとなる。また、規制部32は、例えばアクチュエータとしてのモータ321と、その制御回路322と、当該アクチュエータにより駆動される規制部材であるアーム323とを含んで構成される。
ボタンカバー224bは、ユーザの指によって押圧される面を有している。ボタンカバー支持部30は、操作デバイス10の本体側に固定されたヒンジを有し、このヒンジ周りの所定の角度範囲(上記第1の位置と第2の位置との間)で回転可能な状態にボタンカバー224bを支持する。またこのボタンカバー支持部30は、ボタンカバー224bを第1の位置に向って、バネ等の弾性体により付勢している。これよりユーザが押圧しない状態では、ボタンカバー224bは第1の位置に移動する。
このボタンカバー224bは、操作デバイス10の背面側に突出した第1の位置と、操作デバイス10の本体側へ押し込まれた第2の位置との間であって、後に述べるアーム323に当接する位置(当接位置と呼ぶ)まで押込み可能となる。そこでユーザが操作デバイス10本体を握る動作を行うとともに、ボタンカバー224bを人差指で押圧すると、当接位置まではボタンカバー224bは特段の抵抗力を感じることなく(ボタンカバー支持部30の付勢力のみに抵抗するだけで)移動し、当接位置でアーム323に当接することで硬いものに触れたという触力覚が提示される。
さらにユーザが力を入れて握る動作を行い、それによりボタンカバー224bの押圧力を強めたときに、アーム323を操作デバイス10の本体側に後退させるようモータ321を回転させると、ユーザに対して、あたかも握る力によって対象物が変形したかのような触力覚を提示できる。この際、モータ321の回転速度をユーザによるボタンカバー224bの押圧力に応じて変化させることで硬さの相違も併せて提示できる。
規制部32のモータ321は、サーボモータまたはステッピングモータ等、回転角度を制御可能なモータである。このモータ321はギアヘッドが一体化されたいわゆるギアードモータであってもよい。このモータ321は、制御回路322から入力される電流により回転動作する。
モータ321の制御回路322は、制御部11からトルク制御値τと回転方向の情報Dとの入力を受け入れる。この制御回路322は、そしてこのトルク制御値τに応じた大きさで、回転方向の情報Dに対応する方向の電流を、モータ321に供給する。モータ321はこの電流に応じたトルクで、指定された回転方向へ回転する。具体的に回転方向が「アップ」の場合、アーム323の先端(当接する部分)をボタンカバー224b側へ移動させる方向へ回転する。また回転方向が「ダウン」の場合、アーム323の先端(当接する部分)を操作デバイス10の本体側へ移動させる方向へ回転する。
回転方向が「アップ」の場合には、アーム323の先端(当接する部分)をボタンカバー224b側へ移動させる方向へ回転し、モータ321によるトルクとユーザのボタンカバー224bの押圧力(アーム323によりモータ321の回転方向とは逆方向の回転力として伝達される)とが相殺し、押圧力がトルクに勝っている分の速度でボタンカバー224bが第2の位置に向って移動することとなる。また押圧力とトルクとがつり合えば、その時点の位置でボタンカバー224bが動かない状態となる。
またこの制御回路322は、制御部11からトルク制御値τに代えて回転角度θの入力を受けてもよい。この場合制御回路322は、当該入力された回転角度θまでモータ321を回転制御して、アーム323の先端(当接する部分)をボタンカバー224b側へ移動させる方向へ回転する。なお、モータを定められた回転角度まで回転して停止させる制御については広く知られているので、ここでの詳しい説明は省略する。
さらに別の例では、この制御回路322は、制御部11からトルク制御値τに代えて電流値または電圧値の入力を受けてもよい。この場合制御回路322は、モータ321に対して入力された値に対応する大きさの電流を供給し、または入力された値に対応する大きさの電圧を印加する。
アーム323は、モータ321の回転軸に取付けられ、モータ321の回転角度θに応じて、ボタンカバー224bの移動可能範囲を規制する。具体的に本実施の形態の例では、アーム323は、図4に例示するように、ボタンカバー224bの裏側、つまり操作デバイス10の本体側(ボタンカバー224bの移動軌跡上)に配され、アーム部材323aと、円板状のアーム部本体323cとを有している。図4の例では、円板状のアーム部本体323cの中心がモータ321の回転軸に固定される。そしてアーム部材323aはこのアーム部本体323cと一体的に構成されて、このアーム部本体323cからその円周接線方向に突出する凸部となっている。
この図4の例のアーム323によれば、モータ321の回転角度に応じてアーム部材323aの先端(当接部)の位置が、ボタンカバー224bの移動可能範囲内で移動する。これによりボタンカバー224bはアーム部材323aの当接部に当接する当接位置まで移動可能となる。
図5は、図4の例のアーム323と、ボタンカバー224bとの関係を概念的に示した図である。図5に概念的に示すように、アーム部材323aの長手方向(突出方向)とボタンカバー224bの移動方向とのなす角度(図5(B)のφ)が所定値(例えば90度)以上であれば、ボタンカバー224bの移動範囲を規制することがなく、第1の位置(図5(A)のX)と、第2の位置(図5(A)のY)との間で自由に(ボタンカバー支持部30の付勢力のみに抵抗するだけで)移動可能となっている。図5(A)の例では、アーム323の回転角度が「0」であるものとし、φが90度となっているものとしている。
一方、アーム323がモータ321により回転角度θだけ回動し、アーム部材323aの長手方向(突出方向)とボタンカバー224bの移動方向とのなす角度φが所定値(例えば90度)未満となったときには、アーム部材323aの先端がボタンカバー224bの移動軌跡内に位置することとなる。なお、ここではアーム323の回転角度θは、アーム323の初期位置から図面で反時計周りに角度γだけ回転した角度の位置を最大位置θmax(予め設定しておく)として、この最大位置を基準とし、この基準となった角度から初期位置の方向へ戻る角度θで定義する。つまりこの例では初期位置の回転角度θ=γであり、最大の回転角度となったときのθ=0となる。そしてアーム323の回転角度θが小さくなり、当該なす角φが「0」に近くなるほど、アーム部材323aとボタンカバー224bとの当接位置(図5(B)のY′の位置)が、ボタンカバー224bの第1の位置(図5(B)のX)に近接する。これより、ボタンカバー224bの押込み可能量(可動範囲)が規制される。
なお、この規制部32は図4に例示したようなモータ321及びアーム323の例に限られず、ボタンカバー224bの移動範囲を指定された範囲に規制できるものであれば、例えばリニアアクチュエータと、当該リニアアクチュエータによって移動される規制部材としてのソレノイドのように、ボタンカバー224bの移動方向に直線的に移動し、その一端側がボタンカバー224bと当接してボタンカバー224bの移動範囲を規制するものであってもよい。
主装置20は、例えばカメラを備えてユーザを撮像し、所定のタイミングごとに、ユーザの手の現実空間内での位置を検出し、検出した現実空間内の位置に対応するゲーム空間内でのユーザの手の仮想的位置を演算により求める。そしてこの求めた仮想的位置の情報に基づいて、ゲームの処理としてユーザの手に対して提示するべき触力覚を決定する。一例として主装置20は、ユーザがゲーム内で銃を手にしてトリガーを引こうとしていると検出すると、操作デバイス10に対して銃のトリガーを引くときの触力覚を提示するよう制御する指示を出力する。
次に本発明の実施の形態に係る操作デバイス10の制御部11の動作について説明する。本実施の形態では、この制御部11は、図6に例示するように、触力覚の制御に係る指示を受け入れる受入部51と、当該受け入れた指示に基づき、ユーザのロッキングボタン224の操作に応じ、ユーザに対して提示する触力覚を制御するための指示を生成する触力覚制御部52と、生成した指示を出力する出力部53とを含んで構成される。
受入部51は、主装置20から触力覚の制御に係る指示を受け入れる。本実施の形態においてこの指示は、主装置20から所定のタイミングごとに繰返し送信される指示データパケットに含めて送信される。ここで指示データパケットの送信タイミングは10Hz〜100Hzのタイミング(1秒あたり10回ないし100回のタイミング)程度でよい。また、この指示データパケットは、図7に例示するように、パケット識別子(N)を含むヘッダ部Hと、触力覚指示部Fと、その他のデータ部Dとを含んでなる。また触力覚指示部Fは、制御モードを特定する情報(M)と、この制御モードごとに定められた制御情報(P)とを含む。
受入部51は、このパケットを受信することで制御モードを特定する情報(M)と、制御モードごとに定められた制御情報(P)とを受け入れる。これらの情報の具体的な例については、後に述べる。
触力覚制御部52は、受入部51にて受け入れた情報で特定される制御モードにて、当該制御モードを特定する情報とともに受け入れた制御情報を用いて、可動部であるロッキングボタン224の移動動作に対して提示する触力覚を制御する。本実施の形態の例では、この触力覚制御部52は、アクチュエータであるモータ321に対する制御を行い、ユーザに対して提示する触力覚を制御する。この触力覚制御部52の動作は後に詳しく述べる。
出力部53は、触力覚制御部52から入力される制御の指示(トルク制御値や電流値、電圧値等)を、モータ321の制御回路322に出力する。
ここで触力覚制御部52の動作を具体的な例を用いて説明する。本実施の形態の一例では、主装置20からの指示によって指定される制御モードは、
(1)アクチュエータの目標位置及び、制御ゲインの情報を指定することで、アクチュエータを制御する第1の制御モード、
(2)アクチュエータに供給する電圧の電圧値またはアクチュエータに供給する電流の電流値を指定することでアクチュエータを制御する第2の制御モード、
(3)アクチュエータまたは可動部の位置範囲に対する制御情報を設定した複数の設定情報のうち、どの設定情報を用いるかを指定することで、操作デバイス10側にアクチュエータの制御を指示する第3の制御モード、
を含む。
[目標位置とゲインとを指定する例]
まず、(1)アクチュエータの目標位置及び、制御ゲインの情報を指定する場合(第1の制御モード)、主装置20から受け入れる制御ゲインの情報には、位置誤差に対するゲイン(pゲインp)と、速度に対するゲイン(dゲインd)とが含まれる。この場合、触力覚制御部52は、位置センサ31からアクチュエータの位置情報として、ロッキングボタン224の押し込みにより回転されるアーム323の回転角度θの情報を受け入れる。ここでの例では制御情報に含まれるアクチュエータの目標位置は、アーム323の回転角度θtとして指定される。
そして触力覚制御部52は、アクチュエータであるモータ321の制御回路322に出力するトルク制御値τを、ゲイン定数をGとして、
τ=(p×|θ−θt|+d×Δθ)/Gk
として定める。ここでΔθは、前回位置センサ31から入力された値θpと、今回位置センサ31から入力された値θとの差、
Δθ=θ−θp
であり、|x|は、xの絶対値を演算することを意味する。触力覚制御部52は、ここで演算したトルク制御値τを出力部53に出力する。
さらにこの例の場合、触力覚制御部52は、モータ321の回転方向を、アーム323の実際の角度と、目標位置との差θ−θtに基づいてθ−θt>0であれば「アップ」、そうでなければ「ダウン」として、出力部53に出力する。なお、「アップ」、「ダウン」の判断は、θ−θtを用いることなく、トルク制御値τの符号によって、τ>0であれば「アップ」、そうでなければ「ダウン」として、出力部53に出力するようにしてもよい。制御の方法によっては、θ−θt>0であってもモータ321の回転方向が「ダウン」となり得る場合があることを考慮したものである。
なお、この例において触力覚制御部52は、|θ−θt|が所定値未満であれば、トルク制御値τを「0」として、出力部53に出力することとしてもよい。
また、アクチュエータの目標位置は、可動部であるロッキングボタン224の位置の情報(回転角度)として指定されてもよい。この場合、位置センサ31は、アーム323ではなくロッキングボタン224の回転角度の情報を出力する。
[電圧値・電流値を指定する例]
また、(2)アクチュエータに供給する電圧の電圧値またはアクチュエータに供給する電流の電流値を指定する場合(第2の制御モード)、触力覚制御部52は、受け入れた電流値または電圧値をそのまま出力部53に出力する。この例では、出力部53を介してこの電流値または電圧値の入力を受けた制御回路322は、当該電流値または電圧値をモータ321に供給する。この例において受入部51は、電流値または電圧値とともに、回転方向を表す情報(「アップ」または「ダウン」を表す情報)を主装置20から受け入れる。そして触力覚制御部52は、当該回転方向を表す情報をそのまま出力部53に出力する。
[継続時間を指定する例]
この電圧値や電流値を指定する例においては、受入部51は、主装置20から第2の制御モードを特定する情報や、電流値または電圧値とともに制御の継続時間に係る情報を受け入れてもよい。
この場合、触力覚制御部52は、制御回路322に対して電流値や電圧値を出力した時点からの経過時間を、図示しない計時手段(例えばクロック信号の発生部とカウンタとにより実現できる公知のものでよい)を用いて計時し、上記受け入れた情報で特定される継続時間が経過したときに、制御回路322に対してモータ321の動作を停止するよう指示する(例えば電流値として「0」を出力する)。これによると、主装置20からアクチュエータの制御に係る情報を新たに受信しない場合でも、指定された時間が経過した時点で処理を終了でき、主装置20との通信が途切れたときにも主装置20側で実行されている処理で意図されている触力覚が提示可能となる。
[制御パターンを指定する例]
次に、(3)アクチュエータまたは可動部の位置範囲に対する制御情報を設定した複数の設定情報のうち、どの設定情報を用いるかを指定することで、操作デバイス10側にアクチュエータの制御を指示する例(第3の制御モード)について説明する。
なお、本実施の形態においてアクチュエータの位置範囲は、実際にはアーム323の回転角度の範囲を表すが、この角度の範囲はアクチュエータの回転軸の回転角度の範囲そのものである場合と、そうでない場合(減速ギアを介してアーム323が接続されている場合など)とがあり得る。この後者の場合は、減速ギアの出力側の位置がアクチュエータの位置に相当する。
この例では、操作デバイス10の記憶部12には予め、アクチュエータまたは可動部の位置範囲と制御情報との組を少なくとも一組含む設定情報を記憶しておく。この情報は例えば、ゲーム中で銃を撃つ際の例である図8に例示するように、アクチュエータの位置範囲を表す情報として当該位置範囲の下限を表す情報θ1minと、制御情報としての目標位置θt1=40及び制御ゲインp1,d1との組、または、アクチュエータの位置範囲を表す情報として当該位置範囲の下限を表す情報θ2minと、制御情報としての電圧値の情報CV(または電流値の情報CI)との組を含む。なお、図8及び以下の説明ではアクチュエータの位置範囲を用いる例を示しているが、可動部の位置範囲を用いる場合は、図8及び以下の説明において、アクチュエータの位置範囲の代わりに、可動部の位置範囲を表す情報とすればよい。
この例では触力覚制御部52は、アーム323または可動部であるロッキングボタン224の回転角度θの情報を受け入れ、指定された設定情報において当該受け入れた回転角度θを含む位置範囲の情報に関連付けられた制御情報を参照して、それが目標位置及び制御ゲインの組であれば第1の制御モードと同様の処理によりアクチュエータを制御し、また参照した制御情報が電圧値または電流値であれば第2の制御モードと同様の処理によりアクチュエータを制御する。
すなわち図8の例では、位置範囲がθ2min(例えば40とする)を下回ったとき「アップモード」となって、θ1min=20から次の位置範囲の下限であるθ2min=40の間、目標位置θt1及び制御ゲインp1,d1(回転方向は図示していないがアップとする)にて制御を行う。またこの「アップモード」である間、θ2min=40から次の位置範囲の下限であるθ3min=80の間、電圧値CV=200とする制御を行い、θ3min=80から次の位置範囲の下限であるθ4min=125までの間、電圧値CV=−30とする制御を行う(図8(A),ここで電圧値CVが正のときはアップ、負のときはダウンの回転方向に制御することを示す)。
また位置範囲がθ4min以上(θ=130が最大角度であるとするとき、θ4minは例えば125とする)となったときには「ダウンモード」となって、制御情報としての目標位置θt2=20及び制御ゲインp2,d2にて制御を行う(図8(B),回転方向はここではダウンとなる)。このように設定情報には、第1の制御モードに係る制御情報と、第2の制御モードに係る制御情報とが混在していても構わない。
この例によると、図8(A)に例示するように、ユーザがロッキングボタン224を初期位置(このとき、アーム323の回転角度θ=0)から押込むと、アーム323の位置がθ=20となるまでは何らの抵抗を受けずに(ロッキングボタン224を初期位置へ戻そうとする付勢力に抗するのみで)押込むこととなり、アーム323の位置がθ=20からθ=40までは徐々に抵抗が強くなる触力覚の提示を受け、アーム323の位置がθ=40からθ=80までは比較的強い反力(押戻そうとする力)の触力覚が提示され、アーム323の位置がθ=80となる位置までロッキングボタン224を押し込むと急激に反力がなくなったかのような触力覚を受けることとなる。
これはちょうど、拳銃などのトリガーを引くときに、最初に遊びがあり、撃鉄が引かれるまでは若干の反力があり、その後、撃鉄を戻すために強い力が必要となり、その後撃鉄が戻って弾丸が発射され、トリガーが自由になるのに対応する、いわば銃のノックバック感に相当する触力覚が提示されている状態に相当する。
また触力覚制御部52は、アーム323の位置情報の変化速度に基づいてユーザの指の動きに基づいて速さまたは力を推定してゲインを変えてもよい。具体的に、ユーザの指の動き(アーム323の位置情報の変化速度)が予め定めた閾値より下回る場合と、閾値を上回る場合とで制御ゲインを異ならせる。例えば、ユーザの指の動き(アーム323の位置情報の変化速度)が予め定めた閾値より下回るときよりも、閾値を上回る場合において制御ゲインを強めに(より強い反力を提示するように)設定することとしてもよい。
[振動提示]
本実施の形態では、また、ロッキングボタン224を振動させて、ユーザに対して振動を提示してもよい。具体的には、主装置20は、ロッキングボタン224を、上側の第1の位置と、下側の第2の位置との間で振動させる指示を行う。
そして操作デバイス10の制御部11は、この振動を提示する指示を受けたときには、所定のタイミングごとに、アクチュエータの目標位置を第1の位置とする第1の制御モードと、電流値または電圧値とともに、回転方向を「ダウン」とする情報とを出力する第2の制御モードとを切り替える。
このように第1の制御モードと第2の制御モードとを交互に切り替える方法によって振動を提示することで、上側の振動限界の位置(第1の位置)が制御可能となる。また、この方法によれば、第2の位置についても、アーム323が移動する距離(ユーザがロッキングボタン224を押し込んでいるときにはロッキングボタン224が移動する距離と同じになる)が第2の制御モードでの制御が行われている時間の長さに依存することとなり、一定の時間ごとに第2の制御モードから第1の制御モードへの切り替えを行っている場合は、ユーザがロッキングボタン224を押し込む力の大小に関わらず実質的に一定となるため、第1の制御モードと第2の制御モードとを切り替えるタイミングを変更することによって制御可能となる。
なお、制御部11は、上述の場合に、第1の制御モードと第2の制御モードとを交互に切り替える方法に代えて、第1の制御モードにおいて目標位置を所定の時間ごとに、上側の第1の位置と、下側の第2の位置とで切り替えることとしてもよい。また、第2の制御モードを用い、回転方向の「アップ」、「ダウン」を所定の時間ごとに交互に切り替えてもよい。
また、第1の制御モードと第2の制御モードとを切り替えるタイミングは、例えば「アップ」方向への駆動中に、制御部11がロッキングボタン224とアーム323の相対的な位置を検出し、アーム323とロッキングボタン224が接触するまでは第1の制御モードで駆動し、接触した後は第2の制御モードで駆動するようにしてもよい。
[実際の振動範囲に基づく制御]
またこの振動提示の制御においては、位置センサ31が検出する位置の範囲の情報に基づいて、次のような制御を行ってもよい。具体的には、例えば、制御部11は、指示された第1,第2(上限側,下限側)の位置の情報が20度と60度とであるのに、ロッキングアームに対するユーザの押し込み力の影響で、位置センサ31により検出した位置の情報が40度から60度の間の20度である場合に、振動の幅が、意図した振動の幅となるように上限側または下限側(例えば下限側である第2の位置)を制御して、例えば、40度と80度に制御する。なお、このとき上限側も制御してもよい。
[別の例:連射銃]
また、図8の例において、位置範囲がθ4min以上(θ=130が最大角度であるとする)のときに、制御情報としての目標位置θt2=125及び制御ゲインp2,d2にて制御を行う(回転方向はここではアップとする)ようにしてもよい。この例によると、トリガーを引ききったときにトリガーを若干戻して引き切らせることを繰り返すこととなる。この別の例では銃を連射しているかのような触力覚が提示できる。
また銃の連射感を堤示する方法は、この例に限らず、例えば次のようにしてもよい。例えば操作デバイス10は、アーム323またはロッキングボタン224の位置範囲が所定の値(開始条件値)を上回る(例えばθ=100が最大角度であれば、開始条件値は、その1/2のθ=50とする)ときに、「連射モード」に移行して、所定のタイミングごとにアクチュエータのアップ、ダウンを切り替えて振動を堤示する。
具体的には、アクチュエータをアップさせるときには、制御情報としての目標位置θt=5とし、アクチュエータをダウンさせるときには、制御情報としての目標位置θt=95とする(制御がオーバーシュート気味に働く場合を考慮して、最小値や最大値に対して所定の余裕を持たせた値とする)。
またこの例では操作デバイス10は、アーム323またはロッキングボタン224の位置範囲が所定の値(停止条件値)を下回ったときに「連射モード」を終了して、アクチュエータの制御を停止する。ここで停止条件値は、開始条件値と同じでもよいし、異なっていてもよい。例えば停止条件値は、開始条件値よりも第1の位置に近接する側、例えばθ=30としてもよい。
さらに、ここではアクチュエータの制御時に目標位置を設定することとしたが、これに限られず、アクチュエータをアップさせるときには、アクチュエータに供給する電圧の電圧値CVを予め定めた負の値CV1とし、アクチュエータをダウンさせるときには、アクチュエータに供給する電圧の電圧値CVを予め定めた正の値CV2(ここでは電圧値CVが負のときはアップ、正のときはダウンの回転方向に制御することを示すものとした)として、所定のタイミングごとに電圧値CVをCV1,CV2に交互に設定し、振動を堤示することとしてもよい。この振動提示は、電圧値を交互に設定することに代えて、先に述べたように、第1の制御と第2の制御とを交互に行う方法を採用してもよい。
なお、上記開始条件値及び終了条件値にはヒステリシスをもたせてもよい。具体的には、「連射モード」の設定がされる前(開始条件値の判定処理開始前)のアームまたはロッキングボタン224の位置範囲が、開始条件値を上回っていたときには、開始条件値を一度下回り、その後、再度開始条件値を上回るまで「連射モード」に移行しないよう制御してもよい。
また、「連射モード」中は、制御がオーバーシュート気味に働く場合を考慮して、アーム323またはロッキングボタン224の位置範囲が停止条件値を下回ってもすぐに「連射モード」を終了せず、アーム323またはロッキングボタン224の位置範囲が停止条件値を下回っている時間が予め定めたしきい値を超えたときに「連射モード」を終了するよう制御してもよい。このようにフィルタリングしたような制御を行うことで、自然な連射感を堤示できる。なお、このフィルタリングは、移動平均を用いるような、ローパスフィルタによって行われてもよい。
[ゲームプログラムによる制御]
さらに、主装置20はゲームの処理として、制御ゲインを設定する指示を出力してもよい。例えば銃の連射を行うゲームの場合、残弾数に応じて制御ゲインを変更制御してもよい。
また主装置20は、所定の条件に応じてゲインを弱める制御を行ってもよい。具体的にこの条件には、総プレイ時間(毎回のプレイ時間の合計)、ゲームのプレイ回数、毎回のプレイ開始からの時間(プレイ時間)、所定の操作開始からの経過時間に基づいて制御ゲインを制御(例えば制御ゲインを弱める制御)してもよい。例えば、マシンガンを撃ち続ける操作が行われる場合に、マシンガンを撃つ操作開始からの経過時間に応じて制御ゲインを小さくなるよう制御する。このようにすると、マシンガンを連射している感覚は与えつつ、強い振動が継続的に提示されることが防止される。このことで操作性が向上する。
[力覚提示の他の例]
さらにユーザによるロッキングボタン224を押圧する力がアクチュエータの力よりも大きい場合には、ロッキングボタン224をユーザの力に抗して持ち上げることができなくなり、あたかも物体にぶつかってはねのけられたかのような力覚を提示することができなくなる。
そこで本実施の形態のある例では、位置センサ31から入力される情報で示されるアーム323の位置情報がθであるときに、主装置20からアーム323の回転角度の目標としてθt(θt>θとする)が与えられると、触力覚制御部52が、アクチュエータを駆動してアーム323を回転角度θtまで回転するよう制御する。このとき、触力覚制御部52は、所定のタイミングごとに繰り返し、位置センサ31から入力される情報で示されるアーム323の位置情報θを調べ、予め定めた時間に亘ってθt>θのままであるか否か(所定の時間に亘ってロッキングボタン224が移動不能であるか否か)を調べる。ここで所定の時間に亘ってロッキングボタン224が移動不能であると判断すると、触力覚制御部52は、アーム323の回転角度の目標θtを、θt=θ−Δθ(ここでΔθ>0)に設定し直して、アクチュエータを制御することとしてもよい。
この例では、ロッキングボタン224が持ち上げられる代わりに引き込まれることとなるが、ユーザは一時的にロッキングボタン224が引き込まれることで、一時的にユーザによりロッキングボタン224に与えられる力が弱められ、それに対して押し返す力を再度与えることで、押し返される力をより強く感じられることとなるうえ、引き込まれた位置から押し返すことによる慣性力のため、押し返す力がより強く与えられる。こうして何らの変化をも与えない場合に比べ、はねのけられた場合と類似する感覚を与える。
なお、この制御を行う場合は、アーム323の回転角度の目標値θtが与えられたときに、触力覚制御部52が目標値をθt−Δθに補正して制御しておくこととしてもよい。これにより予めアーム323がΔθだけ余計に回転していることとなり、ロッキングボタン224の規制範囲が対応する量だけ持ち上げられた位置に設定されることとなる。このことで、その後いつでもΔθだけ引き込む制御を行うことが可能となる。
また、ユーザがロッキングボタン224を押圧する力が比較的大きいときには、触力覚制御部52が例えばモータ321を「アップ」の方向に回転させる制御をしている間に、単位時間あたりに取得する、位置センサ31から入力される情報で示されるアーム323の位置情報θの変化量δθが、所定の閾値δθthを下回る場合がある。
触力覚制御部52は、このような状態となったときには、アーム323の回転制御を停止する期間を設けることとしてもよい。具体的には、触力覚制御部52は、アーム323の回転角度の目標をθtとして制御しようとする場合に、アーム323の回転角度の目標を最終目標であるθtとして制御を行う代わりに、N(N>1なる整数)段階にわけて制御してもよい。つまり、Δθt=(θt−θ)/N(ただしθは、この制御を開始する時点でのアーム323の回転角度を表す)とし、予め定めた時間間隔ΔTごとに、その時点でのアーム323の回転角度θからΔθtずつ移動させる制御を行う。
同様にモータ321に供給する電圧値により制御を行う場合も、指定するべき電圧値CVにより制御を行う代わりに、予め定めた時間間隔ΔTごとに、このΔTとは異なり得る微小な時間τだけ、所定の電圧値CV′をモータ321に供給する(回転方向は本来の制御を行う方向とする)。
ここで所定の電圧値CV′は、モータ321に供給可能な最大電圧CVmaxとしてもよいし、指定するべき電圧値CVよりも大きい電圧値を所定の方法で演算してもよい。例えば1より大きい、予め定めた値を乗じるか、0より大きい予め定めた値を加算することとすればよい。いずれの場合も演算の結果、モータ321に供給可能な最大電圧CVmaxを超える場合は、CV′=CVmaxとする。
このように、アーム323の回転角度を、目標となる回転角度まで直線的に制御することに代えて、段階的に、いわば離散的に制御することで、ロッキングボタン224が持ち上がろうとしている感覚を、ユーザに対して効果的に与えることが可能となる。
さらに触力覚制御部52は、主装置20からアーム323の回転角度の目標としてθtが与えられると、位置センサ31から入力される情報で示されるアーム323の位置情報θと、このθtとを比較し、σ(θt−θ)を得る。ここでσ(X)は、Xの正負の符号を表し、X<0のときσ(X)=−1、X>0のときσ(X)=1、X=0のときσ(X)=0となるものとする。
そして触力覚制御部52は、アーム323の回転角度の目標を、θt′=θ−σ(θt−θ)×Δθ(Δθは予め定めた微小角度とする)に設定し、時間τ(このτも予め定めた微小時間とする)だけアーム323を回転角度θt′となるようアクチュエータを制御する。その後、時間τの経過後に、触力覚制御部52は、アーム323の回転角度の目標を、主装置20から指示された目標角度θtに設定し、アーム323が回転角度θtとなるようなアクチュエータの制御を開始する。
この例によると、指示された移動方向とは逆方向に一時的にアーム323が移動し(予備動作)、その後、指示された方向にアーム323が移動するように制御される(本動作)。このように本動作に先立って予備動作が行われることで、本動作の動きが強調され、ユーザがより強く、本動作時の移動を感じるようになる。
なお、この動作がより効果的となるよう、ロッキングボタン224の当初移動可能範囲(アーム323により規制されない移動可能範囲全体)外まで、アーム323が回転可能となっていることとしてもよい。つまり、図5(A)の例において、ロッキングボタン224のボタンカバー224bが位置Yまで押し込み可能となっているとき、アーム323は回転角度θが負となる回転角まで回転可能となっていてもよい。このとき、ボタンカバー224bは位置Yよりも下方に移動できないよう別の部材によって規制されてアーム323に当接しない状態となっていても構わないが、アーム323は本来の回転方向と反対方向に引き込むことが可能となる。
なお、この制御は、アクチュエータに供給する電圧の電圧値またはアクチュエータに供給する電流の電流値を指定する場合(第2の制御モード)でも適用できる。すなわち、電流値または電圧値とともに、回転方向を表す情報(「アップ」または「ダウン」を表す情報)を主装置20から受け入れたときに、触力覚制御部52は、回転方向を、主装置20から受け入れた方向とは逆方向とし、アクチュエータに供給する電流または電圧を、所定の電流値または電圧値(予め定めた電流値または電圧値でもよいし、入力された値そのものであってもよい)とするよう出力部53に指示する。そして、その後時間τ(このτは上述と同じく予め定めた微小時間とする)だけ経過すると、触力覚制御部52は、主装置20から受け入れた回転方向を表す情報と、電流値または電圧値を表す情報とをそのまま出力部53に出力する。
これにより、アーム323が一時的に、指示された移動方向とは逆方向に移動し(予備動作)、その後、指示された方向にアーム323が移動するように制御される(本動作)。
また、これらの種々の力覚提示の動作はそれぞれ組み合わせて用いられてもよい。例えば予備動作の後に本動作を行うときに、回転制御を停止する期間を設けつつ、いわば離散的にアーム323の回転制御を行ってもよい。
[チャタリング防止]
なお、本実施の形態の一例では、主装置20が、ユーザが操作デバイス10を動かす速度を検出し、当該検出した速度に応じて操作デバイス10に対して送出するアクチュエータの制御のパラメータを異ならせてもよい。ここでユーザが操作デバイス10を動かしている速度は、主装置20に接続されたカメラ等でユーザを撮像して得た画像に基づいて検出してもよいし、操作デバイス10が加速度センサ(不図示)を備えて、当該加速度センサで検出した加速度の値を送出している場合は、当該加速度センサで検出された加速度の積分値(累算値)によって速度を検出してもよい。
具体的に、このパラメータはローパスフィルタのカットオフ周波数であり、操作デバイス10の制御部11の出力部53は、このカットオフ周波数に応じた直近のM回分(Mの値がカットオフ周波数に応じて変化する)の触力覚制御部52から入力値(トルク制御値や電流値等)の平均を演算し(つまり直近M回分の移動平均を演算し)、当該演算の結果を制御回路322へ出力する。主装置20は、ユーザが操作デバイス10を早く動かしているほど、カットオフ周波数を低く設定する。
このようにすると、例えば主装置20がゲームの仮想空間でのユーザの手の位置が、当該仮想空間内に配された物体に触れたときに触力覚を提示させようとする場合に、ユーザが手を早く動かしている(当該手に装着された操作デバイス10が早く動いている)ほど、アクチュエータの動きが緩慢となり、一方でユーザが手をゆっくり動かせば動かすほど(例えば仮想空間内の物体表面に沿ってゆっくりと手を動かしている場合など)、仮想空間内の物体の形状に沿ってアクチュエータが駆動され、対応する触力覚が提示されることとなる。
これにより、ユーザが手を早く動かしているときに、仮想空間内の物体の位置に応じてアクチュエータが細かく振動しているように(チャタリングが生じたように)制御されてしまうことが防止される。
さらにこの制御は、把持部21内にバイブレータ等の振動デバイスが固定されている場合、この振動デバイスに対して、主装置20が、ユーザの操作デバイス10を動かす速度を検出し、当該検出した速度に応じて操作デバイス10に対して送出する振動デバイスの制御のパラメータを異ならせてもよい。つまり主装置20は、この振動デバイスに対するローパスフィルタのカットオフ周波数を、ユーザが操作デバイス10を早く動かしているほど、低く設定する。
[動作]
本発明の実施の形態の情報処理システムは以上の構成を備えており、次の例のように動作する。主装置20が、所定のタイミングごと(例えばフレームごとのタイミング)に、ユーザの手の位置を検出し、ゲームの処理等に応じて、当該検出した手の位置に基づいて、ユーザの手に提示するべき触力覚の内容を決定する。本実施の形態では、ユーザの手に提示するべき触力覚を、ユーザの指に触力覚を提示することで代替する。ユーザは指にのみ触力覚の提示を受けることとなるが、手全体に触力覚が提示されたかのように感得する。
本実施の形態では、図9に例示するように、主装置20が上記所定のタイミングごとに、ユーザの手に提示するべき触力覚の内容として、制御モードと制御情報または設定情報を指定する情報とを含むパケット(指示パケットと呼ぶ)を生成し(S1)、操作デバイス10へ送出する(S2)。具体的にここでは、制御モードとして、第3の制御モードを指定する情報と、図7に例示した設定情報を指定する情報とを含むパケットが送出されたものとする。
操作デバイス10では、位置センサ31によりアクチュエータの位置情報として、アーム323(またはロッキングボタン224)の回転角度θの情報を得る(S3)。そして指定された設定情報を参照し、処理S3で得られた回転角度に対応する制御値を取得する(S4)。具体的に得られた回転角度がθ=30であれば、制御値として、θ1min=20から次の位置範囲の下限であるθ2min=40の間の制御値である、目標位置θt1及び制御ゲインp1,d1を得る。そして、アクチュエータであるモータ321の制御回路322に出力するトルク制御値τを、ゲイン定数をGとして、
τ=(p×|θ−θt|+d×Δθ)/Gk
として定め、当該演算したトルク制御値τを制御回路322に出力し、モータ321を回転制御する(S5)。
操作デバイス10は、主装置20から新たに指示パケットが受信されるまで処理S3からS5の処理を繰り返す。この繰り返しのタイミングは、例えば1kHz程度の周期となる。この間、アーム323(またはロッキングボタン224)の回転角度に応じて、設定情報に設定されている制御値によりモータ321の回転制御を行う。
このように本実施の形態では、主装置20から次の指示パケットが受信されるまでの間、前回受信した指示パケットの内容に基づいて操作デバイス10が自律的に触力覚提示の動作を行う。これにより、操作のタイミングに合わせた触力覚提示も可能となり、種々の態様の触力覚が提示可能となる。
[弓ひき感の提示例]
また主装置20では、左手と右手とのうち触力覚を提示する手(片手に操作デバイス10を装着する場合、操作デバイス10が装着されている手)の位置に基づいて提示するべき触力覚を定めるだけでなく、左右の手の位置に基づいて提示するべき触力覚を定めてもよい。例えば、主装置20は、提示する触力覚の制御モードを第2の制御モードとし、左右の手の間の距離が大きいほど電流値を大きくする(回転方向はアップとする)ようにしてもよい。この例によると、例えば弓を引く動作をしているときに、左右の手の間の距離が大きくなるほど(より強く弓を引く動作をするほど)、操作デバイス10を装着したユーザの手の指に、外側へ押出されるような(引く力に反するような)力を感じさせるよう、触力覚を提示させることができる。
このような第3の制御モードを設けることで、主装置20側のゲームプログラム等の開発者が細かい制御を指示することなく、操作デバイス10側にて予め記憶している設定情報のいずれかを指定するだけで、所望の力覚堤示を行わせることが可能となる。
[変形例]
もっとも、この第3の制御モードでは、主装置20は、操作デバイス10が予め記憶している設定情報のいずれかを選択する指示を送信するのではなく、主装置20側のゲームプログラム等の開発者が細かい制御を指示するようにしても構わない。具体的に主装置20は、第3の制御モードの指示とともに、設定情報の内容を表す情報(アクチュエータの位置範囲と制御情報との組を少なくとも一組含む情報)を送出し、操作デバイス10が当該情報を設定情報として、第3の制御モードとしての動作を行っても構わない。
この例では、操作デバイス10はさらに、主装置20から受信した設定情報の内容を表す情報を、記憶部12に蓄積して記憶し、後に指定を受けることを可能としてもよい。この場合、主装置20は、当該設定情報を特定する情報(識別情報)を併せて操作デバイス10に送出し、操作デバイス10は当該識別情報に関連付けて設定情報の内容を表す情報を記憶する。これにより、後に主装置20から当該識別情報を用いて、当該設定情報の指定を受けることが可能となる。
なお、本実施の形態の操作デバイス10は、ロッキングボタン224等、可動部の移動動作に対して触力覚を堤示するだけでなく、可動部を移動していないときにも触力覚を堤示するようにしてもよい。
また、ここまでの例では、ボタンカバー224bとアーム323とは連動しないものとして説明していたが、これらボタンカバー224bとアーム323とは互いに連結されて連動するように構成されていてもよい。
この例でも、アーム323はモータ321の回転軸に取付けられ、モータ321の回転角度θrに応じて、ボタンカバー224bの移動可能範囲を規制する。そしてモータ321は、制御部11から入力されるトルク制御値τに応じた大きさの電流をモータ321に供給する制御回路322から電流供給を受けて回転動作する。
本実施の形態のこの例では、モータ321の回転角度θ(減速ギアが取り付けられているときには、減速ギアの出力側の角度、以下同じ)がθ0のとき、アーム323に連結されたボタンカバー224bが第1の位置に移動し、モータ321の回転角度θがθ1(θ0≠θ1)のとき、ボタンカバー224bが第2の位置に移動するものとする。
そしてこの例では、制御回路322は、制御部11からトルク制御値τが入力されている間は、当該トルク制御値τに応じた大きさの電流をモータ321に供給する。また、制御部11からトルク制御値τが入力されていない間は、モータ321の回転角度θrが、θ0に等しいか否かを判断し、等しくなければ回転角度θ0に向けてモータ321を回転制御するべく、モータ321に対して予め定めた大きさの電流を供給する。ここで供給する電流量は、ボタンカバー224bとアーム323とが互いに連結されていない例において、ボタンカバー224bが押圧されていないときに、ボタンカバー224bを第1の位置に移動させる付勢力に相当する力でボタンカバー224bを移動させる程度の力が提示される程度の電流量として実験的に定めればよい。
[左右のデバイスの制御]
また本実施の形態において、ユーザの左手と右手の双方に操作デバイス10を装着する場合、主装置20は、それぞれの操作デバイス10に対してロッキングボタン224を介して触力覚を提示するための制御に係る指示を送出する。
主装置20は、所定の方法によって左手に装着した操作デバイス10により提示する触力覚と右手に装着した操作デバイス10により提示する触力覚とのどちらが主たる触力覚であるかを判断する。この判断は例えばゲーム等のアプリケーションプログラムに従った指示に基づいて行われてもよいし、左右の操作デバイス10のうち、最後に触力覚の提示が指示された側が提示する触力覚が主たる触力覚であると判断してもよい。さらに、提示する触力覚の大きさ(例えば振幅の大きさ等)が大きい側が提示する触力覚が主たる触力覚であると判断してもよい。
主装置20は、左右の操作デバイス10のうち、主たる触力覚を提示する側でない側については、制御を弱める。例えば、右側の操作デバイス10が主たる触力覚を提示していると判断すると、主装置20は、左側の操作デバイス10に対して出力している触力覚の制御値(例えばトルク制御値)を小さくして電力消費を低減させる。
10 操作デバイス、11 制御部、12 記憶部、13 インタフェース部、14 通信部、15 電源部、20 主装置、21 把持部、22 操作部、30 ボタンカバー支持部、31 位置センサ、32 規制部、51 受入部、52 触力覚制御部、53 出力部、100 回路部、210 デバイス本体、221 センサ部、222 ボタン操作部、223 指センサ、224 ロッキングボタン、224b ボタンカバー、321 モータ、322 制御回路、323 アーム、323a アーム部材、323c アーム部本体。

Claims (7)

  1. 第1の位置と第2の位置との間で移動可能な可動部を有し、ユーザに把持されて前記可動部がユーザにより操作される操作デバイスであって、
    前記可動部は、アクチュエータを含み、
    触力覚の制御に係る指示として、
    (1)前記アクチュエータのターゲット位置及び制御ゲインの情報を指定して前記アクチュエータを制御する第1の制御モードと、
    (2)前記アクチュエータの制御電圧値または前記アクチュエータの制御電流値を指定することで前記アクチュエータを制御する第2の制御モードと、
    を含む複数の制御モードのうちいずれかを特定する情報と、制御モードごとに定められた制御情報とを受け入れる受入手段と、
    前記受け入れた情報で特定される制御モードにて、前記受け入れた制御情報を用いて、前記可動部の前記アクチュエータに対する制御を行い、ユーザに対して提示する触力覚を制御する制御手段と、
    を有することを特徴とする操作デバイス。
  2. 請求項記載の操作デバイスであって、
    前記受入手段が前記触力覚の制御に係る指示として、前記第1の制御モードを特定する情報と、当該第1の制御モードについて予め定められた制御情報であるターゲット位置と、前記アクチュエータの制御ゲインとの情報を受け入れたときには、
    前記制御手段は、前記アクチュエータの位置とターゲット位置との差、及び、前記制御ゲインの情報とに基づいて前記アクチュエータに対する制御を行い、前記可動部に対して提示する触力覚を制御する操作デバイス。
  3. 請求項1または2に記載の操作デバイスであって、
    前記受入手段が前記触力覚の制御に係る指示として、前記第2の制御モードを特定する情報と、当該第2の制御モードについて予め定められた制御情報である前記アクチュエータの制御電圧値または制御電流値の情報を受け入れたときには、
    前記制御手段は、前記アクチュエータに供給する電圧または電流を、前記受け入れた制御電圧値または制御電流値に基づいて制御して前記アクチュエータに対する制御を行い、前記可動部に対して提示する触力覚を制御する操作デバイス。
  4. 請求項に記載の操作デバイスであって、
    前記受入手段はさらに、前記第2の制御モードを特定する情報とともに制御の継続時間に係る情報を受け入れ、
    前記制御手段は、当該受け入れた継続時間だけ、前記アクチュエータに対する制御を行う操作デバイス。
  5. 第1の位置と第2の位置との間で移動可能な可動部を有し、ユーザに把持されて前記可動部がユーザにより操作される操作デバイスであって、
    前記可動部は、アクチュエータを含み、
    触力覚の制御に係る指示として、
    制御モードを特定する情報と、制御モードごとに定められた制御情報とを受け入れる受入手段と、
    前記受け入れた情報で特定される制御モードにて、前記受け入れた制御情報を用いて、前記可動部に対して提示する触力覚を制御する制御手段と、
    アクチュエータまたは可動部の位置範囲を特定する情報と制御情報との組を少なくとも一組含む設定情報を記憶する記憶手段と、を有し、
    前記受入手段が前記触力覚の制御に係る指示として、第3の制御モードを特定する情報と、前記記憶手段に記憶されている設定情報のうち、いずれかの設定情報を特定する情報を受け入れたときには、
    前記制御手段は、前記特定された設定情報に含まれるアクチュエータまたは可動部の位置範囲を特定する情報と制御情報との組を前記記憶手段から読み出して、アクチュエータまたは可動部の位置を含むアクチュエータまたは可動部の位置範囲に対応する制御情報に基づいて前記アクチュエータに対する制御を行い、前記可動部に対して提示する触力覚を制御する操作デバイス。
  6. アクチュエータを含み、第1の位置と第2の位置との間で移動可能な可動部を有し、ユーザに把持されて前記可動部がユーザにより操作される操作デバイスの制御方法であって、
    前記操作デバイスの制御部が、触力覚の制御に係る指示として、
    (1)前記アクチュエータのターゲット位置及び制御ゲインの情報を指定して前記アクチュエータを制御する第1の制御モードと、
    (2)前記アクチュエータの制御電圧値または前記アクチュエータの制御電流値を指定することで前記アクチュエータを制御する第2の制御モードと、
    を含む複数の制御モードのうちいずれかを特定する情報と、制御モードごとに定められた制御情報とを受け入れ、前記受け入れた情報で特定される制御モードにて、前記受け入れた制御情報を用いて、前記可動部の前記アクチュエータに対する制御を行い、ユーザに対して提示する触力覚を制御する
    操作デバイスの制御方法。
  7. アクチュエータを含み、第1の位置と第2の位置との間で移動可能な可動部を有し、ユーザに把持されて前記可動部がユーザにより操作される操作デバイスと、当該操作デバイスと通信し、ユーザに提供する触力覚の制御に係る指示を出力する主装置とを含む情報処理システムであって、
    前記操作デバイスは、
    触力覚の制御に係る指示として、(1)前記アクチュエータのターゲット位置及び制御ゲインの情報を指定して前記アクチュエータを制御する第1の制御モードと、
    (2)前記アクチュエータの制御電圧値または前記アクチュエータの制御電流値を指定することで前記アクチュエータを制御する第2の制御モードと、
    を含む複数の制御モードのうちいずれかを特定する情報と、制御モードごとに定められた制御情報とを、前記主装置から受け入れる手段と、
    前記受け入れた情報で特定される制御モードにて、前記受け入れた制御情報を用いて、前記可動部の前記アクチュエータに対する制御を行い、ユーザに対して提示する触力覚を制御する制御手段と、
    を有することを特徴とする情報処理システム。
JP2018529371A 2016-07-26 2017-05-11 情報処理システム、操作デバイス、及び操作デバイスの制御方法 Active JP6720309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020104664A JP6986598B2 (ja) 2016-07-26 2020-06-17 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016146604 2016-07-26
JP2016146604 2016-07-26
PCT/JP2017/017909 WO2018020778A1 (ja) 2016-07-26 2017-05-11 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020104664A Division JP6986598B2 (ja) 2016-07-26 2020-06-17 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Publications (2)

Publication Number Publication Date
JPWO2018020778A1 JPWO2018020778A1 (ja) 2018-12-13
JP6720309B2 true JP6720309B2 (ja) 2020-07-08

Family

ID=61017560

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018529371A Active JP6720309B2 (ja) 2016-07-26 2017-05-11 情報処理システム、操作デバイス、及び操作デバイスの制御方法
JP2020104664A Active JP6986598B2 (ja) 2016-07-26 2020-06-17 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020104664A Active JP6986598B2 (ja) 2016-07-26 2020-06-17 情報処理システム、操作デバイス、及び操作デバイスの制御方法

Country Status (6)

Country Link
US (2) US11344797B2 (ja)
EP (1) EP3493029B1 (ja)
JP (2) JP6720309B2 (ja)
KR (1) KR102171538B1 (ja)
CN (1) CN109478098B (ja)
WO (1) WO2018020778A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10850192B2 (en) 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
US10881953B2 (en) 2016-07-21 2021-01-05 Sony Interactive Entertainment Inc. Operating device and control system
CN109478098B (zh) 2016-07-26 2022-01-11 索尼互动娱乐股份有限公司 信息处理系统、操作装置和操作装置控制方法
EP3851175A1 (en) 2016-07-26 2021-07-21 Sony Interactive Entertainment Inc. Operating device and method for controlling the same
WO2019064518A1 (ja) 2017-09-29 2019-04-04 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及びその制御装置
US11511185B2 (en) 2017-10-27 2022-11-29 Sony Interactive Entertainment Inc. Operation device
WO2020111155A1 (ja) * 2018-11-30 2020-06-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、その制御方法、及びプログラム
JP7072550B2 (ja) * 2019-11-19 2022-05-20 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス
JP7179711B2 (ja) * 2019-11-19 2022-11-29 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、その制御方法、及びプログラム
US20210360162A1 (en) * 2020-05-13 2021-11-18 Canon Kabushiki Kaisha Control apparatus, image pickup apparatus, control method, and memory medium
CN113842634B (zh) * 2021-09-27 2024-02-27 歌尔科技有限公司 一种扳机按键的力反馈控制方法、装置、电子产品及介质
CN114100110A (zh) * 2021-10-29 2022-03-01 歌尔股份有限公司 操作装置及游戏手柄
WO2023179421A1 (zh) * 2022-03-24 2023-09-28 北京字跳网络技术有限公司 头戴式设备的手柄以及头戴式设备

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3686686B2 (ja) 1993-05-11 2005-08-24 松下電器産業株式会社 力覚呈示デバイス、データ入力装置、及びデータ入力デバイス装置
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
JPH07194846A (ja) 1993-12-30 1995-08-01 Tokai Tsushin Kogyo Kk ゲーム操作スイッチ
JPH07220563A (ja) 1994-02-03 1995-08-18 Otax Kk 電動工具用トリガースイッチ
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
JP4001411B2 (ja) 1996-12-19 2007-10-31 富士通コンポーネント株式会社 手動入力装置
US6104382A (en) 1997-10-31 2000-08-15 Immersion Corporation Force feedback transmission mechanisms
US7358956B2 (en) 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
JP2000195370A (ja) 1998-12-28 2000-07-14 Sony Computer Entertainment Inc 反力発生装置
JP3791221B2 (ja) 1999-01-21 2006-06-28 株式会社ソニー・コンピュータエンタテインメント 抵抗力発生装置及びそれを備えた操作装置
US20080316171A1 (en) * 2000-01-14 2008-12-25 Immersion Corporation Low-Cost Haptic Mouse Implementations
TW585797B (en) 2000-01-14 2004-05-01 Sony Computer Entertainment Inc Computer with pressure-sensitive means, method of computer having a pressure-sensitive means and vibration means, method of using the same and recording medium for the method
JP2003534620A (ja) 2000-05-24 2003-11-18 イマージョン コーポレイション 電気活性ポリマーを利用する触覚装置及び触覚方法
US20020075233A1 (en) 2000-12-20 2002-06-20 White Christopher Daniel Ergonomic pointing device
JP2003330585A (ja) 2002-05-09 2003-11-21 Nissan Motor Co Ltd 操作装置
EP1524578A1 (en) 2003-10-16 2005-04-20 Sony International (Europe) GmbH Haptic input device for generating control information
JP4111278B2 (ja) 2003-11-20 2008-07-02 独立行政法人産業技術総合研究所 触力覚情報提示システム
KR100586533B1 (ko) * 2003-11-20 2006-06-07 전자부품연구원 보이스 코일 모터를 이용한 햅틱 시스템
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7283120B2 (en) 2004-01-16 2007-10-16 Immersion Corporation Method and apparatus for providing haptic feedback having a position-based component and a predetermined time-based component
WO2005116802A1 (ja) 2004-05-25 2005-12-08 Sony Computer Entertainment Inc. 入力装置及び方法、文字入力方法
JP2006048302A (ja) 2004-08-03 2006-02-16 Sony Corp 圧電複合装置、その製造方法、その取扱方法、その制御方法、入出力装置及び電子機器
JP2006157642A (ja) 2004-11-30 2006-06-15 Matsushita Electric Ind Co Ltd 携帯端末装置
US7407439B1 (en) 2004-12-29 2008-08-05 Ochoa Justin J Apparatus and system for reconfigurable two-hand game controllers
JP2007330369A (ja) * 2006-06-13 2007-12-27 Olympia:Kk 遊技機
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
WO2008074081A1 (en) 2006-12-19 2008-06-26 Deakin University Method and apparatus for haptic control
JP5091488B2 (ja) 2007-01-16 2012-12-05 株式会社ソニー・コンピュータエンタテインメント コントローラ及び情報処理システム
JP2008257295A (ja) 2007-03-30 2008-10-23 Tokyo Institute Of Technology 触覚刺激提示方法
US9268401B2 (en) 2007-07-30 2016-02-23 University Of Utah Research Foundation Multidirectional controller with shear feedback
JP5100324B2 (ja) 2007-11-16 2012-12-19 株式会社ソニー・コンピュータエンタテインメント ゲームシステムおよびゲームコントローラ
JP5344388B2 (ja) 2008-07-10 2013-11-20 学校法人立命館 操作システム
JP4975722B2 (ja) 2008-12-22 2012-07-11 京セラ株式会社 入力装置および入力装置の制御方法
US8482517B1 (en) 2009-01-12 2013-07-09 Logitech Europe S.A. Programmable analog keys for a control device
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
JP2012118761A (ja) 2010-12-01 2012-06-21 Panasonic Corp 操作入力装置
JP2012128499A (ja) 2010-12-13 2012-07-05 Tdk Corp 触覚デバイス
KR101748415B1 (ko) 2010-12-17 2017-06-27 한국전자통신연구원 시촉각 정보 제공 장치 및 방법, 그리고 그를 구비한 버튼
US8480491B2 (en) 2011-06-17 2013-07-09 Ironburg Inventions Ltd. Game controller
JP5782917B2 (ja) 2011-08-23 2015-09-24 ミツミ電機株式会社 操作入力装置
JP2013117900A (ja) 2011-12-05 2013-06-13 Toyota Motor Corp 車両用操作装置
US8894491B2 (en) 2011-12-09 2014-11-25 Microsoft Corporation Multi-stage variable resistance trigger
JP5610095B2 (ja) 2011-12-27 2014-10-22 株式会社村田製作所 触覚提示装置
JP5842013B2 (ja) 2012-01-13 2016-01-13 京セラ株式会社 電子機器及び電子機器の制御方法
US9317123B2 (en) 2012-06-13 2016-04-19 University Of Utah Research Foundation Skin stretch feedback devices, systems, and methods
US8834272B2 (en) 2012-09-28 2014-09-16 Wms Gaming, Inc. Dynamically reconfigurable joystick
US20140139451A1 (en) 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
JP6095420B2 (ja) 2013-03-07 2017-03-15 東京パーツ工業株式会社 情報入力装置
EP3211511A1 (en) 2013-03-15 2017-08-30 Immersion Corporation Programmable haptic peripheral
CN104107539B (zh) 2013-04-22 2019-12-03 伊默森公司 具有触感使能触发器的游戏设备
JP2015011470A (ja) 2013-06-27 2015-01-19 富士通株式会社 電子機器及び制御プログラム
US9921649B2 (en) 2013-10-07 2018-03-20 Immersion Corporation Electrostatic haptic based user input elements
JP2015075912A (ja) 2013-10-09 2015-04-20 ソニー株式会社 操作機構および撮像装置
JP2015111542A (ja) 2013-11-05 2015-06-18 株式会社東海理化電機製作所 入力装置
US9393493B2 (en) 2013-11-12 2016-07-19 Immersion Corporation Gaming device with haptic effect isolated to user input elements
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US20160313795A1 (en) 2013-12-18 2016-10-27 Panasonic Intellectual Property Management Co., Ltd. Electronic device
FR3015383B1 (fr) 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
TWI550274B (zh) 2014-08-20 2016-09-21 紹興普施康生物科技有限公司 微流體檢驗裝置及其運作方法
CN106575164B (zh) 2014-09-10 2020-10-09 索尼公司 检测装置、检测方法、控制装置和控制方法
JP6531109B2 (ja) 2014-09-30 2019-06-12 アルプスアルパイン株式会社 操作装置
JP6434769B2 (ja) 2014-09-30 2018-12-05 アルプス電気株式会社 ゲーム用コントローラ
CN105653026A (zh) 2014-11-12 2016-06-08 意美森公司 触觉控制器
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10254838B2 (en) 2014-12-23 2019-04-09 Immersion Corporation Architecture and communication protocol for haptic output devices
JPWO2016114269A1 (ja) 2015-01-15 2017-09-21 シャープ株式会社 情報処理装置およびその制御方法
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10427035B2 (en) 2015-06-09 2019-10-01 Microsoft Technology Licensing, Llc Game controller with removable trigger accessory
JP6616122B2 (ja) 2015-08-07 2019-12-04 株式会社ブリヂストン エンジン装置支持構造、及び、エンジン装置設置方法
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US9804693B2 (en) 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
US10850192B2 (en) 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
JP6538961B2 (ja) 2016-03-04 2019-07-03 株式会社ソニー・インタラクティブエンタテインメント 制御装置
US10509472B2 (en) 2016-07-15 2019-12-17 Immersion Corporation Methods and apparatuses for endstop diminishment solutions in haptically-enabled controller devices
CN109478098B (zh) 2016-07-26 2022-01-11 索尼互动娱乐股份有限公司 信息处理系统、操作装置和操作装置控制方法
US10226693B2 (en) 2017-03-02 2019-03-12 Performance Designed Products Llc Smart trigger-stops for videogame controllers
US10768702B2 (en) 2017-03-28 2020-09-08 Kyocera Corporation Display device

Also Published As

Publication number Publication date
EP3493029A4 (en) 2019-06-26
US20220241684A1 (en) 2022-08-04
JPWO2018020778A1 (ja) 2018-12-13
EP3493029B1 (en) 2020-07-22
CN109478098A (zh) 2019-03-15
JP2020166886A (ja) 2020-10-08
US20190224565A1 (en) 2019-07-25
CN109478098B (zh) 2022-01-11
KR20190021435A (ko) 2019-03-05
WO2018020778A1 (ja) 2018-02-01
EP3493029A1 (en) 2019-06-05
US11980810B2 (en) 2024-05-14
KR102171538B1 (ko) 2020-10-29
US11344797B2 (en) 2022-05-31
JP6986598B2 (ja) 2021-12-22

Similar Documents

Publication Publication Date Title
JP6720309B2 (ja) 情報処理システム、操作デバイス、及び操作デバイスの制御方法
JP6854871B2 (ja) 制御装置及び制御プログラム
JP7199476B2 (ja) 制御システム、制御装置、制御方法、及びプログラム
EP3418862A1 (en) Device having a plurality of segments for outputting a rotational haptic effect
EP2796965A2 (en) Gaming device having a haptic enabled trigger
JP2011502698A (ja) 動力源を有するゲームコントローラ
KR101498316B1 (ko) 게임 환경의 게임 캐릭터 뷰의 프로그램 가능한 방향 이동
JP6963128B2 (ja) 操作デバイス、及び操作デバイスの制御方法
JP6959991B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6949982B2 (ja) 操作デバイス
JP7176040B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7179084B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP2021082011A (ja) コントローラ装置、その制御方法、及びプログラム
WO2023189422A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
JP2002224983A (ja) ロボットおよびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200617

R150 Certificate of patent or registration of utility model

Ref document number: 6720309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150