JPWO2020039507A1 - コントローラ装置 - Google Patents

コントローラ装置 Download PDF

Info

Publication number
JPWO2020039507A1
JPWO2020039507A1 JP2020537927A JP2020537927A JPWO2020039507A1 JP WO2020039507 A1 JPWO2020039507 A1 JP WO2020039507A1 JP 2020537927 A JP2020537927 A JP 2020537927A JP 2020537927 A JP2020537927 A JP 2020537927A JP WO2020039507 A1 JPWO2020039507 A1 JP WO2020039507A1
Authority
JP
Japan
Prior art keywords
user
thumb
controller device
hand
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020537927A
Other languages
English (en)
Other versions
JP6932267B2 (ja
Inventor
拓也 久慈
拓也 久慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020039507A1 publication Critical patent/JPWO2020039507A1/ja
Application granted granted Critical
Publication of JP6932267B2 publication Critical patent/JP6932267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/0219Special purpose keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザーの手に装着されるコントローラ装置(30)であって、ユーザーが当該コントローラ装置(30)を手に装着した状態におけるユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、ユーザーの親指の位置を検出する複数のセンサー(33)を含むコントローラ装置(30)である。

Description

本発明は、ユーザーが手に装着して使用するコントローラ装置、及び情報処理装置、情報処理方法、及びプログラムに関する。
例えばバーチャルリアリティなどの技術においては、指の動きなどのジェスチャーによってユーザーからの操作入力を受け付けることがある。ユーザーの指の動きを認識するための技術の一つとして、ユーザーの手にコントローラ装置を装着させ、その表面に設けられたセンサーによってユーザーの指の状態を検出する方法が検討されている。
人の手の指のうち、親指は他の4本の指と比較して可動範囲が広く、その正確な位置を検出するためには広範囲を検出対象とするセンサーが必要となる。特に比較的検出範囲の小さなセンサーで精度よく親指の位置を検出しようとする場合には、多数のセンサーが必要となる。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、限られた数のセンサーで効率的にユーザーの手の親指の状態を特定することのできるコントローラ装置、情報処理装置、情報処理方法、及びプログラムを提供することにある。
本発明の一態様に係るコントローラ装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むことを特徴とする。
本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、を含むことを特徴とする。
本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、所定の検出範囲内において前記ユーザーの指の位置を検出するセンサーと、前記指により操作される操作ボタンと、を含むコントローラ装置を制御する情報処理装置であって、前記センサーの検出結果を取得する取得部と、前記センサーの検出結果に基づいて前記指の状態を特定する状態特定部と、を含み、前記状態特定部は、前記操作ボタンが押下されたときには、前記センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記指の状態を特定することを特徴とする。
本発明の一態様に係る情報処理方法は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、を含むことを特徴とする。
本発明の一態様に係るプログラムは、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る制御装置を含む情報処理システムの構成ブロック図である。 コントローラ装置の外観の一例を示す斜視図である。 コントローラ装置の外観の一例を示す右側面図である。 コントローラ装置の外観の一例を示す背面図である。 情報処理装置の機能ブロック図である。 手の指の関節を模式的に示す図である。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係るコントローラ装置を含む情報処理システム1の全体概要を示す構成ブロック図である。同図に示されるように、情報処理システム1は、情報処理装置10と、コントローラ装置30と、頭部装着型の表示装置40と、を含んで構成されている。本実施形態では、情報処理装置10がコントローラ装置30を制御する制御装置として機能する。
情報処理装置10は、コントローラ装置30による検出結果を処理する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図1に示されるように、情報処理装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。
制御部11は、CPU等のプロセッサを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、コントローラ装置30、及び表示装置40との間のデータ通信のためのインタフェースである。情報処理装置10は、インタフェース部13を介して有線又は無線のいずれかでコントローラ装置30、及び表示装置40のそれぞれと接続される。具体的にインタフェース部13は、情報処理装置10が供給する映像データを表示装置40に送信するために、HDMI(登録商標)(High-Definition Multimedia Interface)等のマルチメディアインタフェースを含むこととする。また、コントローラ装置30による検出結果を示す信号を受信するために、USB(Universal Serial Bus)等のデータ通信インタフェースを含んでいる。
コントローラ装置30は、ユーザーの手に装着され、その指の動きを検出するためのデバイスである。図2、図3、及び図4は、コントローラ装置30の外観の一例を示している。図2は、コントローラ装置30を正面(ユーザーがコントローラ装置30を装着した際の親指側)やや上方から見た斜視図であって、図3は右側面図であって、図4は背面図である。これらの図に示されるように、コントローラ装置30は本体部31と固定具32とを備えており、ユーザーは自身の手のひらをこの固定具32に通すことによってコントローラ装置30を自身の手に装着する。ここではユーザーは、自身の左手にコントローラ装置30を装着することとしており、そのため本体部31の正面向かって左側に固定具32が取り付けられている。なお、固定具32はユーザーの手の大きさに合わせて長さを調整可能なベルト等によって構成されてよい。なお、ここではユーザーは左手にコントローラ装置30を装着することとしているが、ユーザーは左右両方の手にそれぞれコントローラ装置30を装着してもよい。
本体部31の筐体表面には、ユーザーの指の動きを検出するために、複数の近接センサー33が配置されている。近接センサー33は、例えば赤外線センサーや静電センサーなど、検出範囲内に存在する物体までの距離を計測可能なセンサーである。この近接センサー33の検出結果を用いて、情報処理装置10は検出対象となるユーザーの指の位置を特定する。本実施形態において近接センサー33の検出対象とされる指は、ユーザーがコントローラ装置30を装着した手の親指であることとする。
本実施形態において本体部31の筐体表面には、ユーザーの親指と相対する曲面状のセンサー領域34が配置されている。図2や図3に示されるように、センサー領域34は本体部31の正面斜め上方に向けて配置されており、複数の近接センサー33は、このセンサー領域34内に配置されている。センサー領域34は、ユーザーの親指側に向かって凸な仮想曲面上に配置されている。この仮想曲面は、側方から見て、ユーザーがコントローラ装置30を装着した状態においてユーザーの親指の付け根に接する球面に近い形状を有する。
さらにセンサー領域34は、この仮想曲面上において、細長い曲線状の形状を有する領域である。より具体的に、センサー領域34は、ユーザーがコントローラ装置30を手に装着した状態におけるユーザーの親指の付け根側と逆側(図2における向かって右上側)に凸な仮想曲線に沿った略円弧状の領域となっている。そして、近接センサー33はこの仮想曲線に沿って略等間隔に並んで配列されている。このことによって、近接センサー33は、ユーザーがコントローラ装置30を装着して親指を伸ばした状態において、親指の付け根の関節(後述するCMC関節)を中心として回転させた際の親指先端の移動軌跡に沿って配列されることになる。このような曲線に沿って近接センサー33を配置することによって、ユーザーが親指を広い範囲で移動させても、その位置を比較的少数の近接センサー33で検出できるようになる。本実施形態では具体例として、4個の近接センサー33−1〜33−4がセンサー領域34内に配置されることとしている。しかしながら親指検出用の近接センサー33の数は4個に限らず、3個であってもよいし、5個以上であってもよい。
さらに、コントローラ装置30の背面側(近接センサー33が配置されている側と反対側)には、トリガーボタン35が配置されている。トリガーボタン35は、ユーザーの人差し指による押圧操作を受け付けるボタンであって、その押し込み量を検出可能に構成されている。トリガーボタン35の表面には、近接センサー36が配置されている。この近接センサー36も、近接センサー33と同様、赤外線センサーや静電センサーなどであってよく、トリガーボタン35近傍に存在するユーザーの人差し指までの距離を測定する。すなわち、コントローラ装置30は、近接センサー33によってユーザーの親指の動きを、近接センサー36及びトリガーボタン35によってユーザーの人差し指の動きを、それぞれ検出する。なお、コントローラ装置30には、親指及び人差し指以外の指の状態を検出するためのセンサーがさらに配置されてもよい。
さらにコントローラ装置30は、制御回路37を内蔵している。制御回路37は、複数の近接センサー33、及び近接センサー36のそれぞれによる検出結果の内容を示す信号を、情報処理装置10に送信する。また、トリガーボタン35の押し込み量を示す信号を、情報処理装置10に送信する。
表示装置40は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置10から送信される映像信号に応じた映像を表示して、ユーザーに閲覧させる。
次に、情報処理装置10が実現する機能について図5を用いて説明する。図5に示すように、情報処理装置10は、機能的に、センサー値取得部51と、指状態特定部52と、映像表示制御部53と、を含んでいる。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
センサー値取得部51は、コントローラ装置30から定期的に送信されるその時点の各センサーの検出値を取得する。具体的にセンサー値取得部51は、近接センサー33−1〜33−4の検出値と、近接センサー36の検出値を、所定時間おきにコントローラ装置30から取得する。併せてセンサー値取得部51は、ユーザーがトリガーボタン35を操作している場合に、その押し込み量の数値も取得する。
指状態特定部52は、センサー値取得部51により取得された近接センサー33−1〜33−4の検出値を用いて、その検出が行われた時点におけるユーザーの親指の状態を特定する。具体的に指状態特定部52は、近接センサー33の検出値に基づいて、ユーザーの親指の動きを規定する各関節の回転角を算出する。
親指は、その先端から数えて1番目、2番目、及び3番目の関節の動きによってその姿勢を変化させる。以下ではこれらの関節を、順にIP関節、MCP関節、及びCMC関節という。この呼び方は、論文「MRI-based skeletal hand movement model」(Georg Stillfried, Ulrich Hillenbrand, Marcus Settles and Patrick van der Smagt)などで使用されている解剖学上の関節の呼称に準拠したものである。これらの関節のうち、指の途中の関節であるIP関節、及びMCP関節は、指の曲げ伸ばしに伴って、いずれも手のひらに近づいたり遠ざかったりする1方向に回転する。以下では、IP関節の回転角をピッチ角θpi、MCP関節の回転角をピッチ角θpmと表記する。
また、CMC関節は、親指全体の向きを変化させるために様々な方向に動かせるようになっている。以下では、IP関節やMCP関節と同じ向きのCMC関節の回転角をピッチ角θpcと表記し、これと直交する2方向の回転角をそれぞれヨー角θyc、及びロール角θrcと表記する。これら3個の関節の5個の回転角によって、親指全体の姿勢が特定される。そのため指状態特定部52は、4個の近接センサー33の検出値に基づいて、これら5個の回転角の値を算出する。図6は、手の指の関節を模式的に示しており、指状態特定部52が算出する回転角の回転方向を示している。
以下では、近接センサー33−1〜33−4それぞれの検出値をS1〜S4とする。これらの検出値は、各近接センサー33の位置から親指先端までの距離を示している。ただし、ここでは検出された距離が近ければ近いほど、検出値が大きくなるものとする。また、以下の式で算出される各検出値の合計値をTsと表記する。
Ts=S1+S2+S3+S4
このとき各検出値の合計値に対する比率を示す割合値が、以下のように計算できる。
S1r=S1/Ts
S2r=S2/Ts
S3r=S3/Ts
S4r=S4/Ts
指状態特定部52は、CMC関節の回転角θycとθrcを、割合値S1r〜S4rを用いて、以下の計算式により算出する。
θyc=YC1・S1r+YC2・S2r+YC3・S3r+YC4・S4r
θrc=RC1・S1r+RC2・S2r+RC3・S3r+RC4・S4r
ここでYC1〜YC4、及びRC1〜RC4のそれぞれは、親指の可動域を考慮して予め設定された各割合値に対する重み付け係数である。これらの計算式によって算出されるヨー角及びロール角の値は、4個の割合値の重み付け平均に比例する値となる。
また、各関節のピッチ角θpi,θpm,及びθpcは、親指からセンサー領域34までの距離に連動して変化する値であって、各センサーの検出値S1〜S4を用いて、以下の計算式により算出される。
θpi=PI1・S1+PI2・S2+PI3・S3+PI4・S4
θpm=PM1・S1+PM2・S2+PM3・S3+PM4・S4
θpc=PC1・S1+PC2・S2+PC3・S3+PC4・S4
これらの式におけるPI1〜PI4、PM1〜PM4、及びPC1〜PC4は、それぞれ、親指の可動域を考慮して予め設定された各検出値に対する重み付け係数である。これらの計算式によって算出されるピッチ角の値は、4個のセンサー検出値の重み付け平均に比例する値となる。
指状態特定部52は、以上の計算式によって、5個の回転角の値を算出する。これらの値によって、近接センサー33による検出が行われた時点において親指が全体としてどのような姿勢にあるかを特定できる。このように、指状態特定部52は、各センサーの検出値、またはその合計値に対する割合値を用いて、一次元の数式による簡易な計算で各関節の回転角を算出することができる。
また、指状態特定部52は、近接センサー36の検出値を用いて、ユーザーの人差し指の状態を特定する。具体的に、近接センサー36の検出値に基づいて、ユーザーの人差し指がどの程度手のひらに向かって曲げられているかを推定し、その推定結果を出力する。具体的に、ユーザーの人差し指が近接センサー36に近づけば近づくほど、ユーザーは人差し指を自身の手のひらに向かって折り曲げていると推定される。そこで指状態特定部52は、予め用意された変換テーブルや変換式に従って、近接センサー36の検出値からユーザーの人差し指の曲げ量を算出する。
さらに本実施形態において、指状態特定部52は、トリガーボタン35に対する操作入力が検出された場合、近接センサー36の検出値を無視(棄却)して、トリガーボタン35に対する押し込み量を用いてユーザーの人差し指の状態を特定する。トリガーボタン35に対する操作入力はボタンの機械的な動きを伴うため、その操作量の情報は、近接センサー36による検出結果の情報よりも信頼性が高いと想定される。そのため指状態特定部52は、利用可能な場合にはトリガーボタン35に対する操作量の情報を近接センサー36の検出結果よりも優先して利用することにより、ユーザーの人差し指の状態を精度よく特定することができる。また、トリガーボタン35をユーザーの指の曲げ量の検出に利用することで、ユーザーが仮想空間内の物に触る場合などの感触をユーザーに提示できる。
なお、トリガーボタン35の操作量(押し込み量)を利用する場合にも、指状態特定部52は、近接センサー36の検出値を利用する場合と同様に、所与の変換テーブルや変換式を用いてユーザーの人差し指の曲げ量を算出することができる。この場合の変換テーブル又は変換式は、トリガーボタン35の操作量が0の場合にトリガーボタン35の操作量に基づいて算出される指の曲げ量と、近接センサー36が検出する距離が0の場合に近接センサー36の検出結果に基づいて算出される指の曲げ量とが、一致するように定められることとする。これにより、ユーザーがトリガーボタン35から人差し指を離した状態からトリガーボタン35を押し込む状態まで、連続的に人差し指の状態を特定することができる。
映像表示制御部53は、ユーザーに提示すべき映像を描画し、表示装置40に対して出力する。本実施形態において映像表示制御部53は、各種オブジェクトが配置された仮想空間内の様子を示す映像を描画することとする。特に映像表示制御部53は、指状態特定部52によって特定されるユーザーの指の曲げ伸ばし状態に連動して変化する手オブジェクトを仮想空間内に配置し、その様子を描画することとする。これにより、ユーザーがコントローラ装置30を装着した自身の手の指を曲げたり伸ばしたり開いたりする動作を行うと、その指の動きと同じように仮想空間内の手オブジェクトを動作させることができる。そのためユーザーは、あたかも自分の手で直接仮想空間内の他のオブジェクトを触ったり掴んだりしているかのような体験をすることができる。
以上説明したように、本発明の実施の形態に係るコントローラ装置30は、ユーザーの親指の移動軌跡に対応する曲面に沿って近接センサー33を配置しているので、比較的少ない数の近接センサー33で親指の状態を精度よく特定することができる。
また、近接センサー36とトリガーボタン35とを組み合わせることにより、ユーザーの人差し指の状態を精度よく特定することができる。
なお、本発明の実施の形態は、以上説明したものに限られない。具体的に、以上の説明で示したコントローラ装置30の形状や近接センサー33の配置位置は例示に過ぎず、同様の効果を奏する異なる形状や配置であってもよい。
また、以上の説明では親指を構成する各関節の回転角を全て近接センサー33の検出値に基づいて算出することとしたが、一部のパラメータのみを算出し、算出した値に基づいて親指の姿勢を決定してもよい。また、回転角を算出する計算式も、以上説明したものと異なるものであってもよい。
また、以上の説明では押し込み量を検出可能なボタンと近接センサーとを組み合わせて人差し指の状態を特定することとしたが、これ以外の指についても同様の手法でその状態を特定してもよい。
また、以上の説明において情報処理装置10が実行することとした処理の少なくとも一部は、コントローラ装置30内の制御回路37によって実行されてもよい。例えば制御回路37は、近接センサー33の検出結果に基づいて各関節の回転角の値を算出し、算出された値をユーザーの親指の状態を示す数値として情報処理装置10に送信してもよい。
1 情報処理システム、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、30 コントローラ装置、31 本体部、32 固定具、33 近接センサー、34 センサー領域、35 トリガーボタン、36 近接センサー、37 制御回路、40 表示装置、51 センサー値取得部、52 指状態特定部、53 映像表示制御部。

Claims (6)

  1. ユーザーの手に装着されるコントローラ装置であって、
    前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含む
    ことを特徴とするコントローラ装置。
  2. 請求項1に記載のコントローラ装置であって、
    前記複数のセンサーは、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の付け根側と逆側に凸な仮想曲線に沿って、並んで配置されている
    ことを特徴とするコントローラ装置。
  3. ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、
    前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、
    を含むことを特徴とする情報処理装置。
  4. ユーザーの手に装着されるコントローラ装置であって、所定の検出範囲内において前記ユーザーの指の位置を検出するセンサーと、前記指により操作される操作ボタンと、を含むコントローラ装置を制御する情報処理装置であって、
    前記センサーの検出結果を取得する取得部と、
    前記センサーの検出結果に基づいて前記指の状態を特定する状態特定部と、
    を含み、
    前記状態特定部は、前記操作ボタンが押下されたときには、前記センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記指の状態を特定する
    ことを特徴とする情報処理装置。
  5. ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
    前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
    を含むことを特徴とする情報処理方法。
  6. ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
    前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
    をコンピュータに実行させるためのプログラム。
JP2020537927A 2018-08-21 2018-08-21 コントローラ装置 Active JP6932267B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030858 WO2020039507A1 (ja) 2018-08-21 2018-08-21 コントローラ装置

Publications (2)

Publication Number Publication Date
JPWO2020039507A1 true JPWO2020039507A1 (ja) 2021-03-11
JP6932267B2 JP6932267B2 (ja) 2021-09-08

Family

ID=69593196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537927A Active JP6932267B2 (ja) 2018-08-21 2018-08-21 コントローラ装置

Country Status (3)

Country Link
US (1) US11353959B2 (ja)
JP (1) JP6932267B2 (ja)
WO (1) WO2020039507A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726552B1 (en) * 2021-04-30 2023-08-15 Meta Platforms Technologies, Llc Systems and methods for rendering a trigger finger
JP7481783B1 (ja) 2023-01-05 2024-05-13 Diver-X株式会社 位置検出装置及び情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111138A1 (ja) * 2007-03-09 2008-09-18 Sony Computer Entertainment Inc. 情報処理システム、操作デバイス及び情報処理方法
US20160361638A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Hand-Held Controllers with Capacitive Touch Sensors for Virtual-Reality Systems
JP2017075465A (ja) * 2015-10-14 2017-04-20 オムロンオートモーティブエレクトロニクス株式会社 携帯型電子機器
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2017535002A (ja) * 2014-09-01 2017-11-24 インボ・リィYinbo LI 多表面コントローラ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482056A (en) * 1994-04-04 1996-01-09 Kramer; James F. Determination of thumb position using measurements of abduction and rotation
US5764164A (en) * 1997-02-07 1998-06-09 Reality Quest Corp. Ergonomic hand-attachable controller
US6456275B1 (en) * 1998-09-14 2002-09-24 Microsoft Corporation Proximity sensor in a computer input device
US20020163495A1 (en) * 2001-05-02 2002-11-07 Plamen Doynov Multi-functional ergonomic interface
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7006074B2 (en) * 2002-09-05 2006-02-28 Thomas Peter Chesters Multimodal pointer method
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP2005292883A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 情報入力装置
US20060164383A1 (en) * 2004-12-16 2006-07-27 Media Lab Europe (In Voluntary Liquidation) Remote controller ring for user interaction
US7649522B2 (en) * 2005-10-11 2010-01-19 Fish & Richardson P.C. Human interface input acceleration system
US8142287B2 (en) * 2005-10-11 2012-03-27 Zeemote Technology Inc. Universal controller for toys and games
US20090115729A1 (en) * 2007-11-01 2009-05-07 Garmin International, Inc. Cursor control device for avionics displays
JP5552772B2 (ja) * 2009-08-26 2014-07-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system
WO2017113379A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 一种用户界面的菜单显示方法及手持终端
US10969867B2 (en) * 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111138A1 (ja) * 2007-03-09 2008-09-18 Sony Computer Entertainment Inc. 情報処理システム、操作デバイス及び情報処理方法
JP2017535002A (ja) * 2014-09-01 2017-11-24 インボ・リィYinbo LI 多表面コントローラ
US20160361638A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Hand-Held Controllers with Capacitive Touch Sensors for Virtual-Reality Systems
JP2017075465A (ja) * 2015-10-14 2017-04-20 オムロンオートモーティブエレクトロニクス株式会社 携帯型電子機器
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置

Also Published As

Publication number Publication date
WO2020039507A1 (ja) 2020-02-27
JP6932267B2 (ja) 2021-09-08
US20210181842A1 (en) 2021-06-17
US11353959B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
US10996765B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
TWI645314B (zh) 手勢偵測系統及方法
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
KR101791366B1 (ko) 증강된 가상 터치패드 및 터치스크린
CN110476168A (zh) 用于手部跟踪的方法和系统
RU179301U1 (ru) Перчатка виртуальной реальности
JP7057389B2 (ja) 情報処理装置、制御方法、プログラム、及び記憶媒体
RU187548U1 (ru) Перчатка виртуальной реальности
JP6716028B2 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
JP6932267B2 (ja) コントローラ装置
TWI788607B (zh) 人機交互系統和人機交互方法
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
KR20100074461A (ko) 동작 감지를 이용하여 제어하는 3차원 마우스 장치 및 방법
US11307671B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
JP6861854B2 (ja) 情報処理システム
CN204288119U (zh) 一种应用图形软件技术实现的操控系统
WO2019083405A1 (ru) Перчатка виртуальной реальности
KR20210152241A (ko) 글러브형 모션 인식 시스템
TW202122970A (zh) 基於行為的配置方法和基於行為的配置系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210817

R150 Certificate of patent or registration of utility model

Ref document number: 6932267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150