WO2020039507A1 - コントローラ装置 - Google Patents

コントローラ装置 Download PDF

Info

Publication number
WO2020039507A1
WO2020039507A1 PCT/JP2018/030858 JP2018030858W WO2020039507A1 WO 2020039507 A1 WO2020039507 A1 WO 2020039507A1 JP 2018030858 W JP2018030858 W JP 2018030858W WO 2020039507 A1 WO2020039507 A1 WO 2020039507A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
thumb
controller device
state
hand
Prior art date
Application number
PCT/JP2018/030858
Other languages
English (en)
French (fr)
Inventor
拓也 久慈
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2020537927A priority Critical patent/JP6932267B2/ja
Priority to PCT/JP2018/030858 priority patent/WO2020039507A1/ja
Priority to US17/267,929 priority patent/US11353959B2/en
Publication of WO2020039507A1 publication Critical patent/WO2020039507A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device

Definitions

  • the present invention relates to a controller device, a data processing device, a data processing method, and a program which are used by being worn on a hand by a user.
  • an operation input from a user may be accepted by a gesture such as movement of a finger.
  • a gesture such as movement of a finger.
  • a method of attaching a controller device to the user's hand and detecting the state of the user's finger by a sensor provided on the surface thereof has been studied.
  • the thumb has a wider movable range than the other four fingers, and a sensor for detecting a wide range is required to detect the accurate position.
  • a sensor for detecting a wide range is required to detect the accurate position.
  • a large number of sensors are required.
  • the present invention has been made in view of the above circumstances, and one of its objects is to provide a controller device capable of efficiently specifying the state of the thumb of a user's hand with a limited number of sensors, information It is to provide a processing device, an information processing method, and a program.
  • a controller device is a controller device to be mounted on a user's hand, and a virtual curved surface convex toward a position of the user's thumb in a state where the user has the controller device mounted on the hand. And a plurality of sensors disposed along the sensor for detecting the position of the user's thumb.
  • An information processing device is a controller device that is mounted on a user's hand, and has a virtual curved surface that is convex toward the user's thumb in a state where the user has the controller device mounted on the hand. From a controller device including a plurality of sensors for detecting the position of the user's thumb arranged along, an acquisition unit that acquires detection values of each of the plurality of sensors, and the user based on the acquired detection values. And a state identification unit that identifies the state of the thumb by calculating the rotation angle of at least a part of the thumb joint.
  • An information processing device is a controller device that is worn on a user's hand, the sensor detecting a position of the user's finger within a predetermined detection range, and an operation operated by the finger.
  • An information processing device that controls a controller device including a button, an acquisition unit that acquires a detection result of the sensor, and a state identification unit that identifies the state of the finger based on the detection result of the sensor.
  • the state specifying unit when the operation button is pressed, rejects a detection result by the sensor and specifies the state of the finger based on an operation amount detected by the operation button.
  • An information processing method is a controller device mounted on a user's hand, wherein the controller has a virtual curved surface convex toward the user's thumb in a state where the user has the controller device mounted on the hand. From the controller device including a plurality of sensors for detecting the position of the user's thumb, arranged along the step, obtaining the detected values of the plurality of sensors, based on the obtained detected values, Calculating the rotation angle of at least a part of the joint of the thumb to identify the state of the thumb.
  • a program is a controller device that is mounted on a user's hand, and along a virtual curved surface that is convex toward the user's thumb in a state where the user has the controller device mounted on the hand. From a controller device including a plurality of sensors that detect the position of the user's thumb, which is arranged, acquiring a detection value of each of the plurality of sensors, and based on the acquired detection value, Calculating a rotation angle of at least a part of the joint to specify the state of the thumb, and causing the computer to execute the step.
  • This program may be stored in a computer-readable non-transitory information storage medium and provided.
  • FIG. 1 is a configuration block diagram of an information processing system including a control device according to an embodiment of the present invention. It is a perspective view showing an example of the appearance of a controller device. It is a right view which shows an example of the external appearance of a controller device. It is a rear view showing an example of the appearance of a controller device. It is a functional block diagram of an information processing device. It is a figure which shows typically the joint of the finger of the hand.
  • FIG. 1 is a configuration block diagram illustrating an overall outline of an information processing system 1 including a controller device according to an embodiment of the present invention.
  • the information processing system 1 includes an information processing device 10, a controller device 30, and a head-mounted display device 40.
  • the information processing device 10 functions as a control device that controls the controller device 30.
  • the information processing device 10 is a device that processes a detection result by the controller device 30, and may be, for example, a home game machine, a portable game machine, a personal computer, a smartphone, a tablet, or the like. As shown in FIG. 1, the information processing device 10 includes a control unit 11, a storage unit 12, and an interface unit 13.
  • the control unit 11 includes at least one processor such as a CPU, and executes various programs by executing programs stored in the storage unit 12. Note that a specific example of the processing executed by the control unit 11 in the present embodiment will be described later.
  • the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
  • the interface unit 13 is an interface for data communication between the controller device 30 and the display device 40.
  • the information processing device 10 is connected to each of the controller device 30 and the display device 40 via the interface unit 13 either by wire or wirelessly.
  • the interface unit 13 includes a multimedia interface such as HDMI (registered trademark) (High-Definition Multimedia Interface) in order to transmit the video data supplied by the information processing device 10 to the display device 40.
  • a data communication interface such as a USB (Universal Serial Bus) is included for receiving a signal indicating a detection result by the controller device 30.
  • the controller device 30 is a device that is mounted on the user's hand and detects the movement of the finger. 2, 3, and 4 show an example of the appearance of the controller device 30.
  • 2 is a perspective view of the controller device 30 as viewed from the front (thumb side when the user wears the controller device 30) or slightly above.
  • FIG. 3 is a right side view, and
  • FIG. 4 is a rear view. is there.
  • the controller device 30 includes a main body 31 and a fixture 32, and the user attaches the controller device 30 to his / her hand by passing his / her palm through the fixture 32. .
  • the user attaches the controller device 30 to his / her left hand, and therefore, the fixture 32 is attached to the left side of the main unit 31 as viewed from the front.
  • the fixing device 32 may be configured by a belt or the like whose length can be adjusted according to the size of the user's hand.
  • the user wears the controller device 30 on the left hand, but the user may wear the controller device 30 on both the left and right hands.
  • a plurality of proximity sensors 33 are arranged on the surface of the housing of the main body 31 in order to detect the movement of the user's finger.
  • the proximity sensor 33 is a sensor that can measure a distance to an object existing within a detection range, such as an infrared sensor or an electrostatic sensor. Using the detection result of the proximity sensor 33, the information processing apparatus 10 specifies the position of the finger of the user to be detected.
  • the finger to be detected by the proximity sensor 33 is the thumb of the hand on which the user has mounted the controller device 30.
  • a curved sensor region 34 facing the user's thumb is disposed on the housing surface of the main body 31.
  • the sensor area 34 is arranged obliquely upward and in front of the main body 31, and the plurality of proximity sensors 33 are arranged in the sensor area 34.
  • the sensor region 34 is disposed on a virtual curved surface that is convex toward the user's thumb. This virtual curved surface has a shape close to a spherical surface that comes into contact with the base of the thumb of the user when the user wears the controller device 30 when viewed from the side.
  • the sensor area 34 is an area having an elongated curved shape on this virtual curved surface. More specifically, the sensor area 34 is a substantially circular shape along a virtual curve that is convex on the side opposite to the base of the user's thumb (the upper right side in FIG. 2) when the user wears the controller device 30 on the hand. It is an arc-shaped area.
  • the proximity sensors 33 are arranged at substantially equal intervals along the virtual curve. As a result, the proximity sensor 33 indicates the movement trajectory of the tip of the thumb when the user wears the controller device 30 and extends the thumb, and rotates around the joint at the base of the thumb (CMC joint described later). Will be arranged along.
  • the position can be detected by a relatively small number of the proximity sensors 33.
  • four proximity sensors 33-1 to 33-4 are arranged in the sensor area.
  • the number of the proximity sensors 33 for detecting the thumb is not limited to four, but may be three, or may be five or more.
  • a trigger button 35 is disposed on the back side of the controller device 30 (the side opposite to the side on which the proximity sensor 33 is disposed).
  • the trigger button 35 is a button that receives a pressing operation by the index finger of the user, and is configured to be able to detect the amount of pressing.
  • a proximity sensor 36 is arranged on the surface of the trigger button 35.
  • the proximity sensor 36 may be an infrared sensor, an electrostatic sensor, or the like, and measures the distance to the user's index finger near the trigger button 35. That is, the controller device 30 detects the movement of the user's thumb by the proximity sensor 33 and the movement of the user's index finger by the proximity sensor 36 and the trigger button 35, respectively.
  • the controller device 30 may further include a sensor for detecting the state of a finger other than the thumb and the index finger.
  • the controller device 30 further includes a control circuit 37 therein.
  • the control circuit 37 transmits to the information processing apparatus 10 a signal indicating the content of the detection result by each of the plurality of proximity sensors 33 and the proximity sensor 36. Further, a signal indicating the amount of depression of the trigger button 35 is transmitted to the information processing device 10.
  • the display device 40 is a video display device worn by the user on the head and used, and displays a video corresponding to a video signal transmitted from the information processing device 10 to allow the user to browse.
  • the information processing apparatus 10 functionally includes a sensor value acquisition unit 51, a finger state identification unit 52, and a video display control unit 53. These functions are realized by the control unit 11 executing a program stored in the storage unit 12. This program may be provided to the information processing apparatus 10 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the sensor value acquisition unit 51 acquires the detection value of each sensor at that time, which is periodically transmitted from the controller device 30. Specifically, the sensor value acquisition unit 51 acquires the detection values of the proximity sensors 33-1 to 33-4 and the detection value of the proximity sensor 36 from the controller device 30 at predetermined time intervals. At the same time, when the user is operating the trigger button 35, the sensor value acquisition unit 51 also acquires a numerical value of the pushed amount.
  • the finger state specifying unit 52 uses the detection values of the proximity sensors 33-1 to 33-4 obtained by the sensor value obtaining unit 51 to specify the state of the thumb of the user at the time of the detection. Specifically, the finger state specifying unit 52 calculates the rotation angle of each joint that defines the movement of the user's thumb based on the detection value of the proximity sensor 33.
  • the thumb changes its posture by the movement of the first, second and third joints counted from the tip.
  • these joints are referred to as an IP joint, an MCP joint, and a CMC joint, respectively.
  • This designation conforms to the designation of the anatomical joints used in the thesis "MRI-based skeletal hand-movement model” (Georg Stillfried, Ulrich Hillenbrand, Marcus Settles and Patrick van der Smagt).
  • the IP joint and the MCP joint which are joints in the middle of the finger, all rotate in one direction to approach or move away from the palm as the finger is bent and extended.
  • the rotation angle of the IP joint is referred to as a pitch angle ⁇ pi
  • the rotation angle of the MCP joint is referred to as a pitch angle ⁇ pm.
  • the CMC joint can be moved in various directions to change the orientation of the entire thumb.
  • the rotation angle of the CMC joint in the same direction as the IP joint or the MCP joint is referred to as a pitch angle ⁇ pc
  • the rotation angles in two directions orthogonal to the rotation angle are referred to as a yaw angle ⁇ yc and a roll angle ⁇ rc, respectively.
  • the posture of the entire thumb is specified by the five rotation angles of these three joints. Therefore, the finger state identification unit 52 calculates these five rotation angle values based on the detection values of the four proximity sensors 33.
  • FIG. 6 schematically illustrates the finger joints of the hand, and indicates the rotation direction of the rotation angle calculated by the finger state identification unit 52.
  • the finger state specifying unit 52 calculates the rotation angles ⁇ yc and ⁇ rc of the CMC joint using the ratio values S1r to S4r according to the following formula.
  • each of YC1 to YC4 and RC1 to RC4 is a weighting coefficient for each ratio value set in advance in consideration of the movable range of the thumb.
  • the values of the yaw angle and the roll angle calculated by these formulas are values proportional to the weighted average of the four ratio values.
  • the finger state identification unit 52 calculates the values of the five rotation angles according to the above formula. From these values, it is possible to specify the posture of the thumb as a whole at the time when the detection by the proximity sensor 33 is performed. As described above, the finger state identification unit 52 can calculate the rotation angle of each joint by a simple calculation using a one-dimensional mathematical formula, using the detection value of each sensor or the ratio value to the total value.
  • the finger state specifying unit 52 specifies the state of the index finger of the user using the detection value of the proximity sensor 36. Specifically, based on the detection value of the proximity sensor 36, the degree of the index finger of the user being bent toward the palm is estimated, and the estimation result is output. Specifically, it is estimated that the closer the user's index finger approaches the proximity sensor 36, the more the user bends the index finger toward his / her palm. Therefore, the finger state specifying unit 52 calculates the bending amount of the index finger of the user from the detection value of the proximity sensor 36 according to a conversion table or a conversion formula prepared in advance.
  • the finger state specifying unit 52 ignores (rejects) the detection value of the proximity sensor 36 and uses the amount of depression of the trigger button 35 to input the user's value. Determine the status of the index finger. Since an operation input to the trigger button 35 involves mechanical movement of the button, information on the operation amount is assumed to be more reliable than information on a detection result by the proximity sensor 36. Therefore, the finger state specifying unit 52 accurately specifies the state of the index finger of the user by using the information on the operation amount of the trigger button 35 with higher priority than the detection result of the proximity sensor 36 when available. Can be. In addition, by using the trigger button 35 to detect the amount of bending of the user's finger, the user can be presented with a feeling when the user touches an object in the virtual space.
  • the finger state specifying unit 52 uses a given conversion table or a conversion formula similarly to the case of using the detection value of the proximity sensor 36.
  • the conversion table or the conversion formula in this case is such that when the operation amount of the trigger button 35 is 0, the finger bending amount calculated based on the operation amount of the trigger button 35 and the distance detected by the proximity sensor 36 are 0 And the amount of bending of the finger calculated based on the detection result of the proximity sensor 36 is determined to match.
  • the state of the index finger can be continuously specified from the state where the user releases the index finger from the trigger button 35 to the state where the trigger button 35 is pressed.
  • the image display control unit 53 draws an image to be presented to the user, and outputs the image to the display device 40.
  • the video display control unit 53 draws a video showing a state in a virtual space where various objects are arranged.
  • the video display control unit 53 arranges in the virtual space a hand object that changes in accordance with the bending / extending state of the user's finger specified by the finger state specifying unit 52, and draws the state.
  • the hand object in the virtual space can be operated in the same manner as the movement of the finger. Therefore, the user can experience as if he / she is directly touching or grasping another object in the virtual space with his / her hand.
  • the controller device 30 arranges the proximity sensors 33 along the curved surface corresponding to the movement trajectory of the user's thumb.
  • the state of the thumb can be specified with high accuracy.
  • the state of the index finger of the user can be specified with high accuracy.
  • the embodiments of the present invention are not limited to those described above.
  • the shape of the controller device 30 and the arrangement position of the proximity sensor 33 shown in the above description are merely examples, and may be different shapes and arrangements having the same effect.
  • the rotation angles of the respective joints constituting the thumb are all calculated based on the detection values of the proximity sensor 33. However, only some of the parameters are calculated, and the thumb angle of the thumb is calculated based on the calculated values. The posture may be determined. Further, the calculation formula for calculating the rotation angle may be different from that described above.
  • the state of the index finger is specified by combining a button capable of detecting the amount of depression and the proximity sensor.
  • the state of other fingers may be specified in the same manner.
  • control circuit 37 may calculate the value of the rotation angle of each joint based on the detection result of the proximity sensor 33, and transmit the calculated value to the information processing device 10 as a numerical value indicating the state of the thumb of the user. .

Abstract

ユーザーの手に装着されるコントローラ装置（３０）であって、ユーザーが当該コントローラ装置（３０）を手に装着した状態におけるユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、ユーザーの親指の位置を検出する複数のセンサー（３３）を含むコントローラ装置（３０）である。

Description

コントローラ装置
　本発明は、ユーザーが手に装着して使用するコントローラ装置、及び情報処理装置、情報処理方法、及びプログラムに関する。
　例えばバーチャルリアリティなどの技術においては、指の動きなどのジェスチャーによってユーザーからの操作入力を受け付けることがある。ユーザーの指の動きを認識するための技術の一つとして、ユーザーの手にコントローラ装置を装着させ、その表面に設けられたセンサーによってユーザーの指の状態を検出する方法が検討されている。
　人の手の指のうち、親指は他の４本の指と比較して可動範囲が広く、その正確な位置を検出するためには広範囲を検出対象とするセンサーが必要となる。特に比較的検出範囲の小さなセンサーで精度よく親指の位置を検出しようとする場合には、多数のセンサーが必要となる。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、限られた数のセンサーで効率的にユーザーの手の親指の状態を特定することのできるコントローラ装置、情報処理装置、情報処理方法、及びプログラムを提供することにある。
　本発明の一態様に係るコントローラ装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むことを特徴とする。
　本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、を含むことを特徴とする。
　本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、所定の検出範囲内において前記ユーザーの指の位置を検出するセンサーと、前記指により操作される操作ボタンと、を含むコントローラ装置を制御する情報処理装置であって、前記センサーの検出結果を取得する取得部と、前記センサーの検出結果に基づいて前記指の状態を特定する状態特定部と、を含み、前記状態特定部は、前記操作ボタンが押下されたときには、前記センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記指の状態を特定することを特徴とする。
　本発明の一態様に係る情報処理方法は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、を含むことを特徴とする。
　本発明の一態様に係るプログラムは、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る制御装置を含む情報処理システムの構成ブロック図である。 コントローラ装置の外観の一例を示す斜視図である。 コントローラ装置の外観の一例を示す右側面図である。 コントローラ装置の外観の一例を示す背面図である。 情報処理装置の機能ブロック図である。 手の指の関節を模式的に示す図である。
　以下、本発明の実施の形態について、図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係るコントローラ装置を含む情報処理システム１の全体概要を示す構成ブロック図である。同図に示されるように、情報処理システム１は、情報処理装置１０と、コントローラ装置３０と、頭部装着型の表示装置４０と、を含んで構成されている。本実施形態では、情報処理装置１０がコントローラ装置３０を制御する制御装置として機能する。
　情報処理装置１０は、コントローラ装置３０による検出結果を処理する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。
　制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
　インタフェース部１３は、コントローラ装置３０、及び表示装置４０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかでコントローラ装置３０、及び表示装置４０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像データを表示装置４０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のマルチメディアインタフェースを含むこととする。また、コントローラ装置３０による検出結果を示す信号を受信するために、ＵＳＢ（Universal Serial Bus）等のデータ通信インタフェースを含んでいる。
　コントローラ装置３０は、ユーザーの手に装着され、その指の動きを検出するためのデバイスである。図２、図３、及び図４は、コントローラ装置３０の外観の一例を示している。図２は、コントローラ装置３０を正面（ユーザーがコントローラ装置３０を装着した際の親指側）やや上方から見た斜視図であって、図３は右側面図であって、図４は背面図である。これらの図に示されるように、コントローラ装置３０は本体部３１と固定具３２とを備えており、ユーザーは自身の手のひらをこの固定具３２に通すことによってコントローラ装置３０を自身の手に装着する。ここではユーザーは、自身の左手にコントローラ装置３０を装着することとしており、そのため本体部３１の正面向かって左側に固定具３２が取り付けられている。なお、固定具３２はユーザーの手の大きさに合わせて長さを調整可能なベルト等によって構成されてよい。なお、ここではユーザーは左手にコントローラ装置３０を装着することとしているが、ユーザーは左右両方の手にそれぞれコントローラ装置３０を装着してもよい。
　本体部３１の筐体表面には、ユーザーの指の動きを検出するために、複数の近接センサー３３が配置されている。近接センサー３３は、例えば赤外線センサーや静電センサーなど、検出範囲内に存在する物体までの距離を計測可能なセンサーである。この近接センサー３３の検出結果を用いて、情報処理装置１０は検出対象となるユーザーの指の位置を特定する。本実施形態において近接センサー３３の検出対象とされる指は、ユーザーがコントローラ装置３０を装着した手の親指であることとする。
　本実施形態において本体部３１の筐体表面には、ユーザーの親指と相対する曲面状のセンサー領域３４が配置されている。図２や図３に示されるように、センサー領域３４は本体部３１の正面斜め上方に向けて配置されており、複数の近接センサー３３は、このセンサー領域３４内に配置されている。センサー領域３４は、ユーザーの親指側に向かって凸な仮想曲面上に配置されている。この仮想曲面は、側方から見て、ユーザーがコントローラ装置３０を装着した状態においてユーザーの親指の付け根に接する球面に近い形状を有する。
　さらにセンサー領域３４は、この仮想曲面上において、細長い曲線状の形状を有する領域である。より具体的に、センサー領域３４は、ユーザーがコントローラ装置３０を手に装着した状態におけるユーザーの親指の付け根側と逆側（図２における向かって右上側）に凸な仮想曲線に沿った略円弧状の領域となっている。そして、近接センサー３３はこの仮想曲線に沿って略等間隔に並んで配列されている。このことによって、近接センサー３３は、ユーザーがコントローラ装置３０を装着して親指を伸ばした状態において、親指の付け根の関節（後述するＣＭＣ関節）を中心として回転させた際の親指先端の移動軌跡に沿って配列されることになる。このような曲線に沿って近接センサー３３を配置することによって、ユーザーが親指を広い範囲で移動させても、その位置を比較的少数の近接センサー３３で検出できるようになる。本実施形態では具体例として、４個の近接センサー３３－１～３３－４がセンサー領域３４内に配置されることとしている。しかしながら親指検出用の近接センサー３３の数は４個に限らず、３個であってもよいし、５個以上であってもよい。
　さらに、コントローラ装置３０の背面側（近接センサー３３が配置されている側と反対側）には、トリガーボタン３５が配置されている。トリガーボタン３５は、ユーザーの人差し指による押圧操作を受け付けるボタンであって、その押し込み量を検出可能に構成されている。トリガーボタン３５の表面には、近接センサー３６が配置されている。この近接センサー３６も、近接センサー３３と同様、赤外線センサーや静電センサーなどであってよく、トリガーボタン３５近傍に存在するユーザーの人差し指までの距離を測定する。すなわち、コントローラ装置３０は、近接センサー３３によってユーザーの親指の動きを、近接センサー３６及びトリガーボタン３５によってユーザーの人差し指の動きを、それぞれ検出する。なお、コントローラ装置３０には、親指及び人差し指以外の指の状態を検出するためのセンサーがさらに配置されてもよい。
　さらにコントローラ装置３０は、制御回路３７を内蔵している。制御回路３７は、複数の近接センサー３３、及び近接センサー３６のそれぞれによる検出結果の内容を示す信号を、情報処理装置１０に送信する。また、トリガーボタン３５の押し込み量を示す信号を、情報処理装置１０に送信する。
　表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置１０から送信される映像信号に応じた映像を表示して、ユーザーに閲覧させる。
　次に、情報処理装置１０が実現する機能について図５を用いて説明する。図５に示すように、情報処理装置１０は、機能的に、センサー値取得部５１と、指状態特定部５２と、映像表示制御部５３と、を含んでいる。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　センサー値取得部５１は、コントローラ装置３０から定期的に送信されるその時点の各センサーの検出値を取得する。具体的にセンサー値取得部５１は、近接センサー３３－１～３３－４の検出値と、近接センサー３６の検出値を、所定時間おきにコントローラ装置３０から取得する。併せてセンサー値取得部５１は、ユーザーがトリガーボタン３５を操作している場合に、その押し込み量の数値も取得する。
　指状態特定部５２は、センサー値取得部５１により取得された近接センサー３３－１～３３－４の検出値を用いて、その検出が行われた時点におけるユーザーの親指の状態を特定する。具体的に指状態特定部５２は、近接センサー３３の検出値に基づいて、ユーザーの親指の動きを規定する各関節の回転角を算出する。
　親指は、その先端から数えて１番目、２番目、及び３番目の関節の動きによってその姿勢を変化させる。以下ではこれらの関節を、順にＩＰ関節、ＭＣＰ関節、及びＣＭＣ関節という。この呼び方は、論文「MRI-based skeletal hand movement model」（Georg Stillfried, Ulrich Hillenbrand, Marcus Settles and Patrick van der Smagt）などで使用されている解剖学上の関節の呼称に準拠したものである。これらの関節のうち、指の途中の関節であるＩＰ関節、及びＭＣＰ関節は、指の曲げ伸ばしに伴って、いずれも手のひらに近づいたり遠ざかったりする１方向に回転する。以下では、ＩＰ関節の回転角をピッチ角θｐｉ、ＭＣＰ関節の回転角をピッチ角θｐｍと表記する。
　また、ＣＭＣ関節は、親指全体の向きを変化させるために様々な方向に動かせるようになっている。以下では、ＩＰ関節やＭＣＰ関節と同じ向きのＣＭＣ関節の回転角をピッチ角θｐｃと表記し、これと直交する２方向の回転角をそれぞれヨー角θｙｃ、及びロール角θｒｃと表記する。これら３個の関節の５個の回転角によって、親指全体の姿勢が特定される。そのため指状態特定部５２は、４個の近接センサー３３の検出値に基づいて、これら５個の回転角の値を算出する。図６は、手の指の関節を模式的に示しており、指状態特定部５２が算出する回転角の回転方向を示している。
　以下では、近接センサー３３－１～３３－４それぞれの検出値をＳ１～Ｓ４とする。これらの検出値は、各近接センサー３３の位置から親指先端までの距離を示している。ただし、ここでは検出された距離が近ければ近いほど、検出値が大きくなるものとする。また、以下の式で算出される各検出値の合計値をＴｓと表記する。
Ｔｓ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４
このとき各検出値の合計値に対する比率を示す割合値が、以下のように計算できる。
Ｓ１ｒ＝Ｓ１／Ｔｓ
Ｓ２ｒ＝Ｓ２／Ｔｓ
Ｓ３ｒ＝Ｓ３／Ｔｓ
Ｓ４ｒ＝Ｓ４／Ｔｓ
　指状態特定部５２は、ＣＭＣ関節の回転角θｙｃとθｒｃを、割合値Ｓ１ｒ～Ｓ４ｒを用いて、以下の計算式により算出する。
θｙｃ＝ＹＣ１・Ｓ１ｒ＋ＹＣ２・Ｓ２ｒ＋ＹＣ３・Ｓ３ｒ＋ＹＣ４・Ｓ４ｒ
θｒｃ＝ＲＣ１・Ｓ１ｒ＋ＲＣ２・Ｓ２ｒ＋ＲＣ３・Ｓ３ｒ＋ＲＣ４・Ｓ４ｒ
ここでＹＣ１～ＹＣ４、及びＲＣ１～ＲＣ４のそれぞれは、親指の可動域を考慮して予め設定された各割合値に対する重み付け係数である。これらの計算式によって算出されるヨー角及びロール角の値は、４個の割合値の重み付け平均に比例する値となる。
　また、各関節のピッチ角θｐｉ，θｐｍ，及びθｐｃは、親指からセンサー領域３４までの距離に連動して変化する値であって、各センサーの検出値Ｓ１～Ｓ４を用いて、以下の計算式により算出される。
θｐｉ＝ＰＩ１・Ｓ１＋ＰＩ２・Ｓ２＋ＰＩ３・Ｓ３＋ＰＩ４・Ｓ４
θｐｍ＝ＰＭ１・Ｓ１＋ＰＭ２・Ｓ２＋ＰＭ３・Ｓ３＋ＰＭ４・Ｓ４
θｐｃ＝ＰＣ１・Ｓ１＋ＰＣ２・Ｓ２＋ＰＣ３・Ｓ３＋ＰＣ４・Ｓ４
これらの式におけるＰＩ１～ＰＩ４、ＰＭ１～ＰＭ４、及びＰＣ１～ＰＣ４は、それぞれ、親指の可動域を考慮して予め設定された各検出値に対する重み付け係数である。これらの計算式によって算出されるピッチ角の値は、４個のセンサー検出値の重み付け平均に比例する値となる。
　指状態特定部５２は、以上の計算式によって、５個の回転角の値を算出する。これらの値によって、近接センサー３３による検出が行われた時点において親指が全体としてどのような姿勢にあるかを特定できる。このように、指状態特定部５２は、各センサーの検出値、またはその合計値に対する割合値を用いて、一次元の数式による簡易な計算で各関節の回転角を算出することができる。
　また、指状態特定部５２は、近接センサー３６の検出値を用いて、ユーザーの人差し指の状態を特定する。具体的に、近接センサー３６の検出値に基づいて、ユーザーの人差し指がどの程度手のひらに向かって曲げられているかを推定し、その推定結果を出力する。具体的に、ユーザーの人差し指が近接センサー３６に近づけば近づくほど、ユーザーは人差し指を自身の手のひらに向かって折り曲げていると推定される。そこで指状態特定部５２は、予め用意された変換テーブルや変換式に従って、近接センサー３６の検出値からユーザーの人差し指の曲げ量を算出する。
　さらに本実施形態において、指状態特定部５２は、トリガーボタン３５に対する操作入力が検出された場合、近接センサー３６の検出値を無視（棄却）して、トリガーボタン３５に対する押し込み量を用いてユーザーの人差し指の状態を特定する。トリガーボタン３５に対する操作入力はボタンの機械的な動きを伴うため、その操作量の情報は、近接センサー３６による検出結果の情報よりも信頼性が高いと想定される。そのため指状態特定部５２は、利用可能な場合にはトリガーボタン３５に対する操作量の情報を近接センサー３６の検出結果よりも優先して利用することにより、ユーザーの人差し指の状態を精度よく特定することができる。また、トリガーボタン３５をユーザーの指の曲げ量の検出に利用することで、ユーザーが仮想空間内の物に触る場合などの感触をユーザーに提示できる。
　なお、トリガーボタン３５の操作量（押し込み量）を利用する場合にも、指状態特定部５２は、近接センサー３６の検出値を利用する場合と同様に、所与の変換テーブルや変換式を用いてユーザーの人差し指の曲げ量を算出することができる。この場合の変換テーブル又は変換式は、トリガーボタン３５の操作量が０の場合にトリガーボタン３５の操作量に基づいて算出される指の曲げ量と、近接センサー３６が検出する距離が０の場合に近接センサー３６の検出結果に基づいて算出される指の曲げ量とが、一致するように定められることとする。これにより、ユーザーがトリガーボタン３５から人差し指を離した状態からトリガーボタン３５を押し込む状態まで、連続的に人差し指の状態を特定することができる。
　映像表示制御部５３は、ユーザーに提示すべき映像を描画し、表示装置４０に対して出力する。本実施形態において映像表示制御部５３は、各種オブジェクトが配置された仮想空間内の様子を示す映像を描画することとする。特に映像表示制御部５３は、指状態特定部５２によって特定されるユーザーの指の曲げ伸ばし状態に連動して変化する手オブジェクトを仮想空間内に配置し、その様子を描画することとする。これにより、ユーザーがコントローラ装置３０を装着した自身の手の指を曲げたり伸ばしたり開いたりする動作を行うと、その指の動きと同じように仮想空間内の手オブジェクトを動作させることができる。そのためユーザーは、あたかも自分の手で直接仮想空間内の他のオブジェクトを触ったり掴んだりしているかのような体験をすることができる。
　以上説明したように、本発明の実施の形態に係るコントローラ装置３０は、ユーザーの親指の移動軌跡に対応する曲面に沿って近接センサー３３を配置しているので、比較的少ない数の近接センサー３３で親指の状態を精度よく特定することができる。
　また、近接センサー３６とトリガーボタン３５とを組み合わせることにより、ユーザーの人差し指の状態を精度よく特定することができる。
　なお、本発明の実施の形態は、以上説明したものに限られない。具体的に、以上の説明で示したコントローラ装置３０の形状や近接センサー３３の配置位置は例示に過ぎず、同様の効果を奏する異なる形状や配置であってもよい。
　また、以上の説明では親指を構成する各関節の回転角を全て近接センサー３３の検出値に基づいて算出することとしたが、一部のパラメータのみを算出し、算出した値に基づいて親指の姿勢を決定してもよい。また、回転角を算出する計算式も、以上説明したものと異なるものであってもよい。
　また、以上の説明では押し込み量を検出可能なボタンと近接センサーとを組み合わせて人差し指の状態を特定することとしたが、これ以外の指についても同様の手法でその状態を特定してもよい。
　また、以上の説明において情報処理装置１０が実行することとした処理の少なくとも一部は、コントローラ装置３０内の制御回路３７によって実行されてもよい。例えば制御回路３７は、近接センサー３３の検出結果に基づいて各関節の回転角の値を算出し、算出された値をユーザーの親指の状態を示す数値として情報処理装置１０に送信してもよい。
　１　情報処理システム、１０　情報処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、３０　コントローラ装置、３１　本体部、３２　固定具、３３　近接センサー、３４　センサー領域、３５　トリガーボタン、３６　近接センサー、３７　制御回路、４０　表示装置、５１　センサー値取得部、５２　指状態特定部、５３　映像表示制御部。

Claims (6)

  1. 　ユーザーの手に装着されるコントローラ装置であって、
    　前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含む
    　ことを特徴とするコントローラ装置。
  2. 　請求項１に記載のコントローラ装置であって、
    　前記複数のセンサーは、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の付け根側と逆側に凸な仮想曲線に沿って、並んで配置されている
    　ことを特徴とするコントローラ装置。
  3. 　ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、
    　前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、
    　を含むことを特徴とする情報処理装置。
  4. 　ユーザーの手に装着されるコントローラ装置であって、所定の検出範囲内において前記ユーザーの指の位置を検出するセンサーと、前記指により操作される操作ボタンと、を含むコントローラ装置を制御する情報処理装置であって、
    　前記センサーの検出結果を取得する取得部と、
    　前記センサーの検出結果に基づいて前記指の状態を特定する状態特定部と、
    　を含み、
    　前記状態特定部は、前記操作ボタンが押下されたときには、前記センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記指の状態を特定する
    　ことを特徴とする情報処理装置。
  5. 　ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
    　前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
    　を含むことを特徴とする情報処理方法。
  6. 　ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
    　前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2018/030858 2018-08-21 2018-08-21 コントローラ装置 WO2020039507A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020537927A JP6932267B2 (ja) 2018-08-21 2018-08-21 コントローラ装置
PCT/JP2018/030858 WO2020039507A1 (ja) 2018-08-21 2018-08-21 コントローラ装置
US17/267,929 US11353959B2 (en) 2018-08-21 2018-08-21 Controller device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030858 WO2020039507A1 (ja) 2018-08-21 2018-08-21 コントローラ装置

Publications (1)

Publication Number Publication Date
WO2020039507A1 true WO2020039507A1 (ja) 2020-02-27

Family

ID=69593196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030858 WO2020039507A1 (ja) 2018-08-21 2018-08-21 コントローラ装置

Country Status (3)

Country Link
US (1) US11353959B2 (ja)
JP (1) JP6932267B2 (ja)
WO (1) WO2020039507A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726552B1 (en) * 2021-04-30 2023-08-15 Meta Platforms Technologies, Llc Systems and methods for rendering a trigger finger

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111138A1 (ja) * 2007-03-09 2008-09-18 Sony Computer Entertainment Inc. 情報処理システム、操作デバイス及び情報処理方法
US20160361638A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Hand-Held Controllers with Capacitive Touch Sensors for Virtual-Reality Systems
JP2017075465A (ja) * 2015-10-14 2017-04-20 オムロンオートモーティブエレクトロニクス株式会社 携帯型電子機器
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2017535002A (ja) * 2014-09-01 2017-11-24 インボ・リィＹｉｎｂｏ ＬＩ 多表面コントローラ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482056A (en) * 1994-04-04 1996-01-09 Kramer; James F. Determination of thumb position using measurements of abduction and rotation
US5764164A (en) * 1997-02-07 1998-06-09 Reality Quest Corp. Ergonomic hand-attachable controller
US6456275B1 (en) * 1998-09-14 2002-09-24 Microsoft Corporation Proximity sensor in a computer input device
US20020163495A1 (en) * 2001-05-02 2002-11-07 Plamen Doynov Multi-functional ergonomic interface
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7006074B2 (en) * 2002-09-05 2006-02-28 Thomas Peter Chesters Multimodal pointer method
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP2005292883A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 情報入力装置
US20060164383A1 (en) * 2004-12-16 2006-07-27 Media Lab Europe (In Voluntary Liquidation) Remote controller ring for user interaction
US8142287B2 (en) * 2005-10-11 2012-03-27 Zeemote Technology Inc. Universal controller for toys and games
US7649522B2 (en) * 2005-10-11 2010-01-19 Fish & Richardson P.C. Human interface input acceleration system
US20090115729A1 (en) * 2007-11-01 2009-05-07 Garmin International, Inc. Cursor control device for avionics displays
JP5552772B2 (ja) * 2009-08-26 2014-07-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
WO2014144015A2 (en) * 2013-03-15 2014-09-18 Keller Eric Jeffrey Computing interface system
CN108475156A (zh) * 2015-12-31 2018-08-31 华为技术有限公司 一种用户界面的菜单显示方法及手持终端
US10969867B2 (en) * 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111138A1 (ja) * 2007-03-09 2008-09-18 Sony Computer Entertainment Inc. 情報処理システム、操作デバイス及び情報処理方法
JP2017535002A (ja) * 2014-09-01 2017-11-24 インボ・リィＹｉｎｂｏ ＬＩ 多表面コントローラ
US20160361638A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Hand-Held Controllers with Capacitive Touch Sensors for Virtual-Reality Systems
JP2017075465A (ja) * 2015-10-14 2017-04-20 オムロンオートモーティブエレクトロニクス株式会社 携帯型電子機器
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置

Also Published As

Publication number Publication date
US20210181842A1 (en) 2021-06-17
US11353959B2 (en) 2022-06-07
JP6932267B2 (ja) 2021-09-08
JPWO2020039507A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US10996765B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
US9360944B2 (en) System and method for enhanced gesture-based interaction
TWI645314B (zh) 手勢偵測系統及方法
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
KR101525226B1 (ko) 증강현실용 모션인식 장갑
US11130050B2 (en) Information processing system, controller device, and information processing apparatus
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
JP7057389B2 (ja) 情報処理装置、制御方法、プログラム、及び記憶媒体
JP7000593B2 (ja) 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
RU179301U1 (ru) Перчатка виртуальной реальности
RU187548U1 (ru) Перчатка виртуальной реальности
TWI788607B (zh) 人機交互系統和人機交互方法
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
Kao et al. Novel digital glove design for virtual reality applications
WO2020039507A1 (ja) コントローラ装置
JP6661783B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
US11307671B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
JP6861854B2 (ja) 情報処理システム
WO2019083405A1 (ru) Перчатка виртуальной реальности

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930595

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537927

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18930595

Country of ref document: EP

Kind code of ref document: A1