WO2020079854A1 - コントローラ装置、その制御方法、及びプログラム - Google Patents

コントローラ装置、その制御方法、及びプログラム Download PDF

Info

Publication number
WO2020079854A1
WO2020079854A1 PCT/JP2018/039096 JP2018039096W WO2020079854A1 WO 2020079854 A1 WO2020079854 A1 WO 2020079854A1 JP 2018039096 W JP2018039096 W JP 2018039096W WO 2020079854 A1 WO2020079854 A1 WO 2020079854A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
finger
user
sensors
controller
Prior art date
Application number
PCT/JP2018/039096
Other languages
English (en)
French (fr)
Inventor
清隆 石川
木村 真
和義 榎本
政明 殿谷
拓郎 沢田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2020551714A priority Critical patent/JPWO2020079854A1/ja
Priority to PCT/JP2018/039096 priority patent/WO2020079854A1/ja
Priority to US17/284,065 priority patent/US11429187B2/en
Publication of WO2020079854A1 publication Critical patent/WO2020079854A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/0216Arrangements for ergonomically adjusting the disposition of keys of a keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Definitions

  • the present invention relates to a controller device, a control method thereof, and a program.
  • controller devices used in home-use game machines are expected to be used while being worn by the user.
  • Such a controller device is attached to a user's hand by fastening it with a belt or the like, and when the user extends or bends each finger, the bending or stretching of the finger is detected, and the bending state of the finger is set. It outputs the signal of the operation based on.
  • the size of the user's hand varies depending on the user, and it is necessary to consider the size of the user's hand in order to detect the bending state of each finger of the user. There is a demand for a method for easily detecting the.
  • the present invention has been made in view of the above circumstances, and provides a controller device that can easily detect the size of a user's hand and perform processing according to the detected size of the hand.
  • a controller device that can easily detect the size of a user's hand and perform processing according to the detected size of the hand.
  • One aspect of the present invention that solves the above-mentioned problems of the conventional example is a controller device that a user wears in his / her hand, and when the user grips the controller body, the user's fingers touch the controller body.
  • a first sensor arranged at a position on the controller main body which is in contact with the user, wherein the plurality of fingers of the user, the first sensor for detecting displacement of a spatial position of the user himself, and the controller main body
  • a second sensor which is arranged in a range on the controller main body where a plurality of fingers of the user come into contact with each other when gripped, and which is different from a range in which the first sensor is arranged,
  • Each of the plurality of fingers and a plurality of second sensors that detect the displacement of the spatial position of itself, and the detection sensitivity of the first sensor is greater than the detection sensitivity of the second sensor.
  • the present invention it is possible to easily detect the size of the user's hand by the first sensor and perform processing according to the detected size of the hand.
  • FIG. 5 is an explanatory diagram illustrating a setting example of a sensor that detects a finger in the controller device according to the embodiment of the present invention.
  • FIG. 9 is an explanatory diagram illustrating another example of setting of a sensor that detects a finger in the controller device according to the embodiment of the present invention. It is explanatory drawing showing another example of arrangement
  • a controller device 1 includes a controller body 10 and a fixture 20 for maintaining a positional relationship between the controller body 10 and a user's hand. And is communicably connected to the information processing device 2 in a wired or wireless manner.
  • the sizes, ratios, and arrangements of the respective parts are examples, and the examples of the present embodiment are not limited to the illustrated sizes, ratios, and arrangements.
  • FIG. 1A is a left side view of a controller device 1 according to an embodiment of the present invention
  • FIG. 1B is a right side view of the controller device 1
  • FIG. 1C is a front view of the controller device 1. The schematic perspective view seen from the slightly left side is shown.
  • the fixture 20 of the controller device 1 is, for example, an annular belt member whose both ends are fixed to the controller body 10, and the user inserts four fingers from the index finger to the little finger between the fixture 20 and the controller body 10.
  • the belt member of the fixture 20 is tightened in the passed state (the gap between the fixture 20 and the controller body 10 is narrowed), and the controller body 10 is in contact with the palm of the user's hand while the controller body 10 is in contact with the palm. Put on.
  • the controller body 10 By mounting the controller device 1 on the hand with the fixture 20, even if the user holds the controller body 10 (a state in which the finger is wrapped around the controller body 10 and held) and the finger is extended, The controller body 10 will not fall from the user's hand.
  • the controller body 10 includes a grip portion 11 that can be gripped by at least a part of the fingers (here, the middle finger to the little finger) that the user has passed through the fixture 20, and an operation portion 12.
  • the grip portion 11 has a substantially polygonal columnar shape, and the operation portion 12 is formed continuously from the grip portion 11.
  • the operation section 12 includes a sensor section 15 and a button operation section 16 on the front side, and a swing button 17 on the back side.
  • the operating device 10 is also configured to include a control circuit 19 inside.
  • the user places the index finger at a position where the swing button 17 of the operation unit 12 can be operated, and places the thumb at a position where the button included in the button operation unit 16 on the front side can be reached.
  • the middle finger, the ring finger, and the little finger of the user are in a state in which the grip portion 11 can be gripped (a state in which the grip portion 11 can be wrapped around the grip portion 11).
  • the first sensor 21 includes, for example, an electrostatic sensor 21S and a sensor circuit 21C that converts a detection result of the electrostatic sensor 21S into an electric signal and outputs the electric signal (in the figure, these are collectively referred to as a first circuit). 1 sensor 21).
  • the plurality of first sensors 21 are provided substantially along the longitudinal direction of the grip 11 over a length exceeding the average length of the width of a typical adult hand. Arrange in a line. In the example of FIG. 2, the six first sensors 21 are arranged in a line, but the number is not limited to this.
  • the second sensors 22 of are arranged discretely (without overlapping detection ranges with each other).
  • the second sensor 22 is also configured to include, for example, an electrostatic sensor 22S and a sensor circuit 22C that converts the detection result of the electrostatic sensor 22S into an electric signal and outputs the electric signal (these are collectively shown in the figure. Shown as the second sensor 22). Then, the second sensor 22 also outputs a value according to the displacement of the spatial position of each finger of the user.
  • the plurality of second sensors 22 are arranged in a matrix (two-dimensionally). In the example of FIG. 2, two rows are arranged along the longitudinal direction of the grip portion 11, and six rows of the second sensors 22 are arranged in each row.
  • the present embodiment is not limited to the example of arranging in 6 rows ⁇ 2 columns in this way, and when the user grips the grip portion 11 of the controller body 10 by the plurality of second sensors 22, each finger of the user.
  • the arrangement from the belly to the tip is arranged in the range on the controller main body 10 with which it comes into contact, and any arrangement may be used as long as bending and stretching of each finger can be detected.
  • the respective electrostatic sensors 21S of the first sensor 21 are arranged in the row direction of the electrostatic sensor 22S of the second sensor 22, and the first and second sensors 21 and 22 are provided. As a whole, the electrostatic sensors are arranged in a 3 ⁇ 6 grid pattern (oblique grid pattern).
  • first and second sensors 21 and 22 are both electrostatic sensors in this example, the present embodiment is not limited to this, and a camera, an optical sensor, a pyroelectric sensor, or an ultrasonic sensor is used. However, it is only necessary to obtain information according to the relative positional relationship with the surface of the finger or the hand (displacement of spatial position such as distance or displacement).
  • the detection surface of the second sensor 22 (a surface for measuring capacitance, or if the second sensor 22 is an infrared sensor, infrared light is emitted).
  • the width w width in the longitudinal direction of the grip portion 11) of the receiving opening surface
  • the width w is set smaller than the width of the finger of a general user (assumed user, for example, an average adult). This secures the second sensor 22 with which each finger individually contacts.
  • the gap in the longitudinal direction of the grip portion 11 between the second sensors 22 adjacent to each other is made smaller than the width w.
  • the width w of the second sensor 22 arranged in the row on the index finger side may be set larger than the width w of the other second sensor 22. This is because it is assumed that the second finger 22 arranged in this row is always contacted by the middle finger, and therefore the middle finger is surely detected.
  • the widths or lengths of the detection surfaces of the second sensors 22A, 22B ... May not be common, and any of the widths may be set large or small. Alternatively, the length may be appropriately changed according to the purpose.
  • the second sensors 22A and 22G which are supposed to come into contact with the middle finger are arranged over a larger width than the other second sensors 22B and 22C. It will be.
  • the detection surface of each of the first sensors 21A, B, ... If the first sensor 21 is also an electrostatic sensor, a surface for measuring capacitance, or an infrared sensor is used. If so, the widths and lengths of the opening surfaces that receive infrared light, etc. do not have to be the same, and either width may be set large or small. Alternatively, the length may be appropriately changed according to the purpose.
  • the sensor unit 15 of the operation unit 12 is, for example, on the front side of the controller main body 10, with the normal direction of the surface as the center, and looking at the front direction from the controller main body 10, the left side surface of the controller main body 10 to the right side.
  • a relatively wide angle range up to the surface side is set as a detectable range, and the user's thumb is detected in this detectable range. Then, the position where the thumb is detected (angle within the angle range), the distance from the sensor unit 15 to the user's thumb, and the like are detected, and detection result information including these pieces of information is output to the control circuit 19.
  • the sensor unit 15 may be, for example, a camera, an optical sensor, a pyroelectric sensor, an ultrasonic sensor, a capacitance sensor, or the like.
  • the button operation unit 16 includes a plurality of buttons arranged on the front side of the controller body 10. These buttons are pressed by the user's thumb or the like, for example. Further, at least some of the buttons included in the button operation unit 16 may be capable of tilting operation as well as pressing operation. In this case, when the user performs a tilting operation on the button with a thumb or the like, the button operating unit 16 causes the tilting direction, the tilting amount (the amount depending on the tilting angle), and the like, together with the information specifying the button on which the operation is performed. Information indicating the content of the operation is output to the control circuit 19.
  • the swing button 17 is arranged at a position (a rear side of the controller body 10) that the user's index finger can reach while the user holds the controller body 10.
  • the rocking button 17 is pressed by the index finger of the user, and outputs information indicating the pressing amount (moving amount of the button) to the control circuit 19.
  • the swing button 17 can be configured to include a potentiometer and the like, but is not limited to this configuration as long as the pushing amount can be detected.
  • the control circuit 19 includes a program control device such as a microcomputer, and operates according to a program stored in a storage unit such as a memory.
  • the control circuit 19 is connected to the first and second sensors 21 and 22, the sensor unit 15 of the operation unit 12, the button operation unit 16, and the swing button 17, and these first and second sensors 21 and Various signals such as a signal based on the output of 22 and a signal indicating the content of the operation input from the sensor unit 15, the button operation unit 16 and the like are received and transmitted to the information processing device 2.
  • the control circuit 19 includes, for example, a wireless communication interface such as Bluetooth (registered trademark) or a wired communication interface such as USB or a wired LAN, and communicates with the information processing device 2 via the wireless communication interface or the wired interface. Send and receive various signals.
  • FIG. 3A is an explanatory diagram illustrating the positional relationship between the first and second sensors 21 and 22 and each finger of the user when a user with a relatively small hand grips the grip portion 11 of the controller body 10. is there.
  • the user's hand is shown transparently, and actually, the first and second sensors 21 and 22 are arranged on the curved surface which is the surface of the controller device 1. However, it is schematically illustrated in a state where it is projected on a plane.
  • FIG. 3B illustrates a positional relationship between the first and second sensors 21 and 22 and each finger of the user when a user with a relatively large hand grips the grip portion 11 of the controller body 10. It is a figure.
  • the second sensors 22 are arranged in two rows, and six rows of the second sensors 22A, 22B, ..., 22F are arranged in order from the index finger side in the row closer to the first sensor 21.
  • six second sensors 22G, 22H, ..., 22L are arranged in order from the index finger side.
  • the first button on the side closer to the swing button 17 is positioned.
  • these first sensors 21 are arranged at the portions where the user's middle finger, ring finger, and little finger's bases of the fingers come into contact, so that it is said that the user bends when the user's finger is extended. Regardless, as long as the user wears the controller device 1 in a state where the user can grip the grip portion 11, these first sensors 21A, B, C, and D are steady, and the fingers grip the grip portion 11 of the controller device 1. It detects that it is in contact with the surface of.
  • the second sensors 22A, 22C, and 22D respectively correspond to the phalange of the middle finger, ring finger, and little finger (including the phalange, A signal indicating that the user's finger is in contact with the surface of the grip 11 by contacting the skin of the interphalangeal joint (MP) and the proximal interphalangeal joint (PIP)). Is being output.
  • MP interphalangeal joint
  • PIP proximal interphalangeal joint
  • the second sensors 22A and 22G are used to detect the state of the middle finger, and the second sensors 22C and 22I are used to detect the state of the ring finger (only). Also, the second sensors 22D and 22J are used to detect the state of the little finger (only). A method for selecting the second sensor 22 that detects the state of each finger of the user will be described later.
  • the second sensor 22A, 22C and 22D output a signal indicating that the fingers are in contact with each other, and the second sensors 22G, 22I, and 22J indicate the spatial positions of these sensors 22G, 22I, and 22J and the fingertip.
  • a signal corresponding to the displacement is being output. For example, the farther the fingertips are from these sensors 22G, 22I, 22J, the smaller the detected value is output.
  • the detection state of the finger by the first sensor 21 does not change, but when the part of the finger pad is away from the grip portion 11, the second sensors 22A, 22C, 22D are , A signal according to the displacement of the spatial position between each of the sensors 22A, 22C, 22D and the finger or a signal indicating that the finger is not detected is output.
  • These sensors 22A, 22C, 22D also output detection values that become smaller as the fingertip moves away from the sensors 22A, 22C, 22D, for example. Then, when the detected value is below a predetermined threshold value, it may be determined that the finger is not detected.
  • the second sensor 22G, 22I, 22J is in a state of outputting a signal according to the displacement of the spatial position between the fingertip and the sensor 22G, 22I, 22J, or the finger is not detected.
  • the detection state of the finger by the first sensor 21 does not change, but the second sensors 22A, 22G with which the middle finger is in contact when gripped are the sensors 22A, 22G.
  • a signal corresponding to the displacement of the spatial position between the finger and the finger is output, or a signal indicating that the finger is not detected is output.
  • the second sensors 22B and 22H are in contact with both the middle finger and the ring finger, as long as either finger is in contact, the finger is in contact with these sensor sensors 22B and 22H. It continues to output a signal indicating that it is in. That is, in this state (a state where only the middle finger is extended), the second sensors 22B and 22H output a signal indicating that the fingers are in contact with these sensors 22B and 22H.
  • the second sensor 22C, 22D, 22I, 22J Since the second sensor 22C, 22D, 22I, 22J is in contact with the ring finger and little finger, respectively, the user's finger is in contact with these sensors 22C, 22D, 22I, 22J. Output the signal that represents.
  • the first sensors 21A, 21B. , 21F detect that the user's finger is in contact. Since the first sensor 21 is arranged in a portion where the user's middle finger, ring finger, and little finger's base of the finger come into contact, the first sensor 21 can be used by the user regardless of whether the user extends or bends the finger. As long as the controller device 1 is mounted in a state in which the grip portion 11 can be gripped, these first sensors 21A, B, C, D are constantly being operated by the user's finger and these sensors 21A, B, C, D. The contact state (that is, the grip portion 11) is detected.
  • the second sensor 22A is the middle finger
  • the second sensor 22B is the middle finger or the ring finger
  • the second sensors 22C and D are the ring fingers
  • the second sensor 22E is the ring finger or the little finger
  • the second sensor 22F is a part corresponding to the respective phalanx of the little finger (the metacarpal interphalangeal joint (MP) and the proximal interphalangeal joint (PIP) that contain the phalanx) (Between the parts) to contact the skin, the state is outputting a signal indicating that the finger is in contact.
  • MP metacarpal interphalangeal joint
  • PIP proximal interphalangeal joint
  • the second sensor 22G has a middle finger
  • the second sensor 22H has a middle finger or ring finger
  • the second sensors 22I and J have ring fingers
  • the second sensor 22K has a ring finger or little finger
  • the second sensor 22L Since the parts corresponding to the distal side of the middle phalanx of the little finger come into contact with each other, these sensors 22G, 22H, 22I, 22J, 22K, and 22L are in contact with the user's finger. It will output the signal.
  • the second sensors 22A and 22G are used to detect the state of the middle finger, and the second sensors 22D and 22J are used to detect the state of the ring finger (only). Further, the second sensors 22F and 22L are used to detect the state of the little finger (only) (a method of selecting the second sensor 22 that detects the state of each finger of the user and another method). See below for an example).
  • the detection state of the finger by the first sensor 21 does not change (the change in the detected value is below a predetermined change threshold value).
  • the second sensor 22A, 22D, 22F outputs a signal indicating that the finger is in contact with these sensors 22A, 22D, 22F in a state in which is separated from the grip portion 11,
  • the sensors 22G, 22J, 22L are in a state of outputting signals representing the displacements of the spatial positions of the sensors 22G, 22J, 22L and the fingertip, respectively.
  • the second sensors 22A, 22D, 22F Each outputs a signal indicating the displacement of the spatial position between the finger and the sensors 22A, 22D, 22F (including a signal indicating that the finger is not detected).
  • each of the second sensors 22G, 22J, 22L outputs a signal indicating the displacement of the spatial position between the fingertip and the sensor 22G, 22J, 22L (including a signal indicating that the finger is not detected).
  • the detection state of the finger by the first sensor 21 does not change (the change in the detected value is below a predetermined change threshold), but the middle finger is in contact when gripped.
  • the second sensors 22A and 22G each output a signal (including a signal indicating that the finger is not detected) indicating the displacement of the spatial position with respect to the sensors 22A and 22G.
  • the first sensor 21 In order to prevent the detection state of the finger by the first sensor 21 from changing even if the base of the finger is slightly separated from the first sensor 21 when the user fully extends the finger, the first sensor 21 The detection sensitivity of 21 is preferably set higher than the detection sensitivity of the second sensor 22.
  • the sensor circuit 22C of the second sensor 22 corresponds to the electrostatic capacitance (C) of the electrostatic sensor 22S and is between the user's finger as the detection target. While the value corresponding to the spatial displacement (D) is output in multiple stages (for example, as an 8-bit signal) (indicated by a broken line in FIG. 4), the sensor circuit 21C of the first sensor 21 is static. When the electrostatic capacity (C) of the electric sensor 21S exceeds a predetermined threshold value Cth, the digital value "255" which is the maximum value of 8 bits is output, otherwise the digital value "0" which is the minimum value is output. (As indicated by the solid line in FIG. 4).
  • the second sensor 22 outputs a stepwise signal depending on how close the user's finger is, whereas the first sensor 21 outputs a stepwise signal when the user's finger is close to some extent. Will output the same signal as when it is in contact.
  • the sensor circuit 21C of the first sensor 21 may have hysteresis set in its output. That is, the sensor circuit 21C corresponding to each sensor 21S repeatedly obtains a signal (digital value) based on the electrostatic capacitance of the corresponding sensor 21S at each predetermined timing, but each sensor circuit 21C has a past predetermined value. A signal (detection value) obtained over a number of times (N times) is held, and a predetermined statistical calculation result (for example, maximum value, median value, average value, etc.) for the held signal is output. To do.
  • the sensor circuit 21C corresponding to the sensor 21S is Since the signal having the maximum value of the signals obtained over the times is output, the signal is continuously output as if the base of the user's finger is in contact, unless the state where the user's finger is not in contact continues for a long time.
  • control circuit 19 operates as follows. By executing the stored program, the control circuit 19 according to the example of the present embodiment functionally functionally detects the width detection unit 51, the allocation setting unit 52, and the finger setting unit as illustrated in FIG. The detection unit 53 and the output unit 54 are included.
  • control circuit 19 processes signals obtained from the other sensor unit 15, the button operation unit 16, the swing button 17, etc., but these processes are well known processes. Since it can be adopted, detailed description is omitted here.
  • the hand width detection unit 51 obtains a signal output from the first sensor 21 and estimates the width of the user's hand. Specifically, the hand width detection unit 51 resets the counter to “0”, and then the first sensor 21A arranged on the index finger side (the swing button 17 side) in order from the first sensor 21A. The output signal (the signal representing the capacitance of the corresponding sensor 21S, that is, the detected value) is examined.
  • the width detection unit 51 determines that the detected first sensor 21 has detected the contact of the finger (the detected value output from the checked first sensor 21 has a predetermined threshold value for contact determination). If it exceeds), the counter is incremented by "1". Further, the first sensor 21 that does not detect the finger first (the first sensor 21 whose output detection value is below a predetermined threshold value for contact determination) is found, or the first sensor 21 that is the last sensor is detected. When the inspection up to the sensor 21 is completed, the hand width detection unit 51 outputs the value of the counter at that time as information indicating the hand width.
  • FIG. 3A which represents a case where a user with a relatively small hand grips
  • four of the first sensors 21A, B, C, D detect the contact of the finger, and the first sensor 21E.
  • F does not detect a finger contact.
  • the width detection unit 51 sequentially checks the output from the first sensor 21A and finds the sensor that has not detected the contact of the finger with the first sensor 21E for the first time. Therefore, the width detection unit 51 increments the counter by "1" assuming that the first sensor 21A, 21B, 21C, 21D detects the contact of the finger, and when the first sensor 21E is checked, The counter value "4" is output.
  • the width detection unit 51 increments the counter while checking the output from the first sensor 21A in order, and also increments the counter assuming that the last first sensor 21F has also detected the finger contact. . Therefore, the hand width detection unit 51 increments the counter by "1" assuming that all of the first sensors 21A to 21F detect the contact of the finger, and when the last first sensor 21F is checked, The counter value "6" is output.
  • the assignment setting unit 52 refers to the value output by the width detection unit 51, and detects the second sensor 22 that detects bending and stretching of each of the middle finger, the ring finger, and the little finger of the user as the second sensor 22 of the plurality of second sensors 22. Information from which the second sensor 22 is selected is output.
  • the allocation setting unit 52 specifies in advance the second sensor 22 that detects the bending and stretching of each of the user's middle finger, ring finger, and little finger corresponding to the value output by the hand width detecting unit 51. Are stored in association with each other (FIG. 6).
  • a signal (detection corresponding to the displacement of the spatial position of each of the middle finger, the ring finger, and the little finger corresponding to the phalanx).
  • a signal (detection corresponding to the displacement of the spatial position of each of the middle finger, the ring finger, and the little finger corresponding to the phalanx).
  • the second sensor 22 that outputs (value) and the portions of the middle finger, ring finger, and little finger that correspond to the distal side of the middle phalanx.
  • the information MF, RF, and PF that specifies the second sensor 22 that outputs the signal to be held is held in association with each other.
  • FIG. 6 shows a setting corresponding to the example shown in FIG. 3, but this setting can be determined by various methods such as an empirical method. It should be determined in advance by the manufacturer side and stored in the memory in the control circuit 19. Note that this setting may be rewritten by an instruction input from the information processing device 2 or the like.
  • information for identifying the second sensor 22 that outputs a signal corresponding to the displacement of the spatial position of each of the middle finger, the ring finger, and the little finger to the portion corresponding to the distal side from the middle phalanx is included. Although it is set, if only signals corresponding to the displacements of the spatial positions of the middle finger, ring finger, and little finger corresponding to the basal phalange are output, it corresponds to the distal side of the middle phalanx. It is not always necessary to set the information that specifies the second sensor 22 that detects the displacement of the spatial position with respect to the part.
  • the value output by the hand width detection unit 51 is not an example in which the region corresponding to the proximal phalanx and the region corresponding to the distal side from the middle phalanx are separately detected.
  • the information for specifying the second sensor 22 for detecting the part corresponding to the proximal phalanx is stored, and the space between the middle finger, the ring finger, and the little finger corresponding to the corresponding basal phalange is stored.
  • An example will be given in which only a signal related to the displacement of a specific position is output.
  • the finger detection unit 53 obtains the information output by the assignment setting unit 52, and selectively selects the information indicating the bending and stretching state of each finger of the user based on the output of the second sensor 22 specified by the information. Output to.
  • the assignment setting unit 52 sets the information that specifies the second sensor 22 that detects the displacement of the spatial position of the middle finger, the ring finger, and the little finger corresponding to the phalange, as MM, RM, and PM. , And outputs information that specifies the second sensors 22A, 22C, and 22D, respectively.
  • the finger detection unit 53 further uses the information output by the second sensor 22A as information indicating bending and stretching of the middle finger, the information output by the second sensor 22C as information indicating bending and stretching of the ring finger, and further the second.
  • the information output by the sensor 22D is selected and output as information indicating bending and extension of the little finger.
  • the output unit 54 outputs information (middle finger, ring finger) corresponding to the displacement of the spatial position with each finger, which is output by the finger detection unit 53 and detected by each of the second sensors 22 selected by the allocation setting unit 52. , Which is treated as information indicating the state of bending and stretching of the little finger) to the information processing device 2.
  • the detected value that is the signal output from the second sensor 22 selected as corresponding to each finger is When the finger and the sensor 22 are close to each other, the value is large, and when the value is the maximum when the sensor 22 is in contact, the magnitude of the detected value can be used as information indicating the degree of bending and stretching of the finger. .
  • the control circuit 19 estimates the width of the hand by the number of the first sensors 21 that detect that the hand of the user is in contact, and the estimation result of the width of the hand.
  • the second sensor 22 that outputs information related to each finger is selected, and the detection value output by the selected second sensor 22 is used as it is to obtain the bending and stretching state of each finger.
  • the present embodiment is not limited to this.
  • control circuit 19 executes the stored program to functionally functionally detect the width detection unit 61 and the allocation setting unit 62, as in the case illustrated in FIG. And a finger detection unit 63 and an output unit 54.
  • the same components as those already described are designated by the same reference numerals and detailed description thereof will be omitted.
  • the width detection unit 61 and the like realized by the control circuit 19 includes the first sensor 21 and the second sensor 22 arranged as illustrated in FIG. 7A or 7B.
  • the represented two-dimensional area is represented by an XY Cartesian coordinate system, and the respective positions and ranges of the first sensor 21 and the second sensor 22 are represented by coordinates (x, y) in this XY Cartesian coordinate system. I shall.
  • the position in the X-axis direction of the rectangular first sensor 21A arranged at the position corresponding to the base of the middle finger when the user naturally holds the controller device 1 is set to "1.0".
  • the position of the first sensor 21B in the X-axis direction is "2.0”
  • the position of the first sensor 21F in the X-axis direction is "6.0”.
  • the position in the Y-axis direction which corresponds to the end of the first sensor 21 opposite to the side where the second sensor 22 is arranged, is “0”, and the direction in which the first sensors 21 are arranged is X.
  • the Y axis is the axis, and the direction orthogonal to the axis and extending toward the side where the second sensor 22 is arranged is the Y axis.
  • the width detection unit 61 checks the output signal of the first sensor 21 (the signal representing the capacitance of the corresponding sensor 21S, that is, the detection value) in order from the first sensor 21A.
  • the hand width detection unit 61 has a corresponding first sensor 21A at a position in the coordinate system corresponding to the center of each of the first sensors 21A, B ... In the width direction. , B ... are obtained, the estimated detection values between the first sensors 21 adjacent to each other (positions between the center coordinates of the pair of first sensors 21 adjacent to each other) are It is determined by interpolating the detection values of the sensors 21A, B ...
  • the position between the pair of first sensors 21 is linearly interpolated for each pair of the first sensors 21 adjacent to each other. Find the estimated detection value at.
  • Width detection unit 61 searches for coordinates at which the detection value obtained here or the estimated detection value obtained by interpolation is below a predetermined threshold value for contact determination. That is, in the hand width detection unit 61, as illustrated in FIG. 7, the polygonal line or the curve formed by connecting the estimated detection values (or the detection values) intersects with the line segment representing the value of the threshold value for contact determination. Search for a point to do.
  • FIG. 7A shows a case where the base of the middle finger is at the position of the first sensor 21A and the base of the little finger is between the first sensors 21D and 21E and is on the side close to the first sensor 21D. It should be noted that (when the user naturally holds the controller device 1, the middle finger of the user is located on an extension of the center line of the first sensor 21A in the width direction (arrangement direction of the first sensors 21)). As described above, the position of the swing button 17 and the position of the first sensor 21A are experimentally adjusted).
  • the respective detection values of the first sensor 21 are in the state where the user's hand (or finger) is in contact with the first sensors 21A to 21D, as shown in FIG. 7A. It is a detected value indicating that. Further, the first sensor 21D is in contact with the user's hand (or finger), but is close to the ends of the user's hand or finger, and therefore is relatively lower than the detection values of the first sensors 21A to 21C. The detected value is generated. Further, since the user's hand or finger is not in close proximity to the first sensor 21E, the detected value is substantially “0" (actually, "0" due to noise). However, the value is small enough to be regarded as "0").
  • the hand width detection unit 61 is a linear interpolation P between a pair of first sensors 21 adjacent to each other, that is, first sensors 21A and 21B, first sensors 21B and 21C, first sensors 21C and 21D, .... (A value obtained by interpolating the detection values of the pair of first sensors 21 adjacent to each other with a line segment) is obtained.
  • the hand width detection unit 61 searches for a point Q at which the value of the result of the linear interpolation becomes a threshold value for contact determination.
  • a point Q at which the value of the result of the linear interpolation becomes a threshold value for contact determination.
  • the linearly interpolated result includes the threshold value Vth for contact determination.
  • the hand width detection unit 61 numerically solves this equation to acquire information on the coordinates of the position of the point Q.
  • the X coordinate of the point Q is the value of the X-axis position of the first sensor 21 having the largest X-axis value of the position of the first sensor 21 (here, it is "6.0" of the first sensor 21F).
  • the width detection unit 61 detects the range from the end R of the first sensor 21A (the end on the side remote from the first sensor 21B) R to this point Q as the range of the user's width.
  • the user's hand width is determined to be within the range up to the first sensor 21C by a method that does not use interpolation such as linear interpolation, but according to the example of performing interpolation, the user's hand width is Information can be obtained more precisely.
  • the assignment setting unit 62 refers to the value output by the hand width detecting unit 61 as follows, and detects the bending and stretching of each of the middle finger, ring finger, and little finger of the user. 22 is selected from the plurality of second sensors 22 and information specifying the selected second sensor 22 is output.
  • the position of each finger in the X-axis direction with respect to the width of the hand is predetermined as a ratio to the value of the width of the hand.
  • the hand width the length from the position between the middle finger and the forefinger to the outer end of the little finger
  • Wh the center position of the middle finger (between the middle finger and the forefinger) It is represented by the distance from the position of .alpha.m, ⁇ r, ⁇ s ( ⁇ m ⁇ r ⁇ s, where ⁇ ⁇ ⁇ m is the same as the following), Wh ⁇ ⁇ r is the center position of the ring finger, and Wh ⁇ ⁇ s is the center position of the little finger. ) Is determined in advance.
  • the fixed second sensor 22 for example, the second sensors 22A and 22G may be always set. In this case, it is not necessary to set ⁇ m.
  • the middle finger is located at the center of the second sensor 22G
  • the ring finger is located between the second sensors 22H and 22I
  • the little finger is located between the second sensors 22I and 22J. Presumed to be located.
  • the middle finger is located at the center of the second sensor 22G, the ring finger is located between the second sensors 22H and 22I, and the little finger is located between the second sensors 22J and 22K. Presumed to be located.
  • the assignment setting unit 62 acquires the information regarding the bending and stretching states of the middle finger, the ring finger, and the little finger of the user for each group of the second sensors 22 whose positions in the Y-axis direction are different from each other. To decide.
  • the columns of the second sensors 22A to 22F and the columns of the second sensors 22G to 22L are arranged in a matrix of 6 rows ⁇ 2 columns. Therefore, the groups of the second sensors 22 whose positions in the Y-axis direction are different from each other are the groups of the second sensors 22A to 22F and the groups of the second sensors 22G to 22L.
  • the positions of the second sensors 22A and 22G in the X-axis direction and the positions of the first sensor 21A in the X-axis direction match, and the positions of the second sensors 22B and 22H in the X-axis direction and The position of the second sensor 22A, G in the X-axis direction is "1.0", and the second sensor 22A, G is in the X-axis direction. It is assumed that each sensor is arranged such that the position of is also “2.0”.
  • the allocation setting unit 62 for the second sensor 22 included in each group, the coordinates represented by the acquired information for each of the user's middle finger, ring finger, and little finger are (1) any of which is included in the group.
  • the center coordinate X of the second sensor 22 (referred to as the second sensor 22x) of the second sensor 22 matches the second sensor 22 that detects bending and stretching of the finger, The second sensor 22x is set.
  • the setting unit 62 searches for the second sensor 22x that is closest to the acquired coordinates and the second sensor 22y that is next closest to the acquired coordinates.
  • the assignment setting unit 62 sets the two second sensors 22x, y found by the search as the second sensor 22 that detects bending and stretching of the finger.
  • the second sensor 22 that detects bending and stretching of the user's middle finger, ring finger, and little finger is set for each group of the second sensors 22 (group in the Y-axis direction).
  • the center of the second sensor 22A is the middle finger
  • the second finger is between the second sensors 22B and 22C
  • the little finger is the second finger. Is estimated to be located between the second sensors 22C and 22D, the second sensors 22A and G for the middle finger, the second sensors 22B and C and 22H and I for the ring finger, and the little finger.
  • the second sensors 22C and 22D and 22I and J are set as the second sensor 22 that detects bending and stretching of each finger.
  • the finger detection unit 63 determines the bending / stretching state of each finger of the user based on the output of the second sensor 22 set to detect the bending / stretching of each finger according to the setting by the assignment setting unit 62. Generate and output the information that represents.
  • the finger detecting unit 63 is the second sensor 22.
  • the information output by is output as information indicating bending and stretching of the corresponding finger.
  • the finger detecting unit 63 bends the corresponding finger as follows. Get information about stretching.
  • the finger detection unit 63 weights and averages the detection values of the second sensors 22 according to the distance from (the center of) each of the second sensors 22 to the (center of) the finger, The detection value at the center of the finger is estimated, and the estimated detection value is output as information indicating bending and stretching of the corresponding finger.
  • the output unit 54 is information that is output by the finger detection unit 63 and that corresponds to the displacement of the spatial position between each finger and the surface of the controller device 1 (treated as information that indicates the state of bending and stretching of the middle finger, ring finger, and little finger). Is transmitted to the information processing device 2.
  • the assignment setting unit 62 obtains the X coordinate of the position of the finger based on the output of the first sensor 21, but the present embodiment is not limited to this.
  • the allocation setting unit 62 performs the following process to determine the second sensor 22A.
  • the position of each finger of the user (the position of the fingertip) at the positions (Y coordinates) of the columns from 0 to 22F may be estimated.
  • the assignment setting unit 62 determines the peak position (position in the X-axis direction) of the detection value of the width corresponding to the finger width based on the outputs from the second sensors 22G to 22L. The number of fingers between 22 (three in this case) is detected. This detection can be performed by a method of fitting (curve fitting) the outputs from the second sensors 22G to 22L to curve functions having peaks at three different X-axis positions.
  • the position of the peak on the X axis serves as a fitting parameter, and the value of the X coordinate of the position of the peak corresponding to each finger (the position where the center of the fingertip of each finger is considered to be located) is obtained. Becomes
  • the allocation setting unit 62 preliminarily calculates the position of the base of each finger in the X-axis direction with respect to the hand width from the information on the hand width output by the hand width detection unit 61 in the same method as described above in the ratio to the width value. Establish.
  • the assignment setting unit 62 sets the position Xmr at the base position of the middle finger and the position Xmt of the fingertip, the position Xrr at the base position of the ring finger and the position Xrt of the fingertip, the position Xsr at the base position of the little finger and the position Xst of the fingertip. Ask for each.
  • the assignment setting unit 62 at the Y coordinate position (Yr) where the first sensor 11 is arranged, corresponds to the X coordinate of the root position of each finger obtained here, and the second position.
  • a line segment connecting a point corresponding to the X coordinate of the position of the corresponding finger in the Y coordinate value (Yt) of the position where the sensors 22G to 22L are arranged is virtually set.
  • the assignment setting unit 62 estimates the position of the finger in the X-axis direction at the position where the second sensors 22A to 22F are arranged.
  • the finger detection unit 63 obtains the detection value of the second sensor 22 included in the group of the second sensors 22A to 22F and obtains the estimated detection value for each finger as follows.
  • X ⁇ is the position of the second sensor 22 ⁇ ( ⁇ is any of A to E) that is closest to Xf and does not exceed Xf, and V ⁇ is the detection value of the second sensor 22 ⁇ .
  • X ⁇ is the position of the second sensor 22 ⁇ ( ⁇ is any of B to F) that is closest to Xf and exceeds Xf
  • V ⁇ is the detection value of the second sensor 22 ⁇ .
  • the finger detection unit 63 weights and averages the detection values of the second sensors 22 according to the distance from (the center of) each of the second sensors 22 to the center of the finger, The detection value (estimated detection value) at the center of the finger is estimated, and the obtained estimated detection value is output as information indicating bending and stretching of the corresponding finger.
  • the individual detection results of the sensors 22S of the second sensor 22 may vary. That is, the capacitances C0 are generally different from each other when the fingers are not close to each other.
  • the controller device 1 when the controller device 1 is manufactured, the output of each sensor 22S of the second sensor 22 in advance in a state in which the detection target is not close (hereinafter referred to as a reference C0 is measured in advance, and the reference capacitance of the sensor 22S specified by the information is recorded in the memory of the control circuit 19 in association with the information specifying the sensor 22S.
  • a reference C0 the output of each sensor 22S of the second sensor 22 in advance in a state in which the detection target is not close
  • the reference capacitance of the sensor 22S specified by the information is recorded in the memory of the control circuit 19 in association with the information specifying the sensor 22S.
  • the control circuit 19 outputs a signal (information indicating the capacitance of the corresponding sensor 22S) Ci output from the sensor circuit 22Ci of each second sensor 22i and the sensor in the processing of the finger detection unit 53, for example.
  • Ciout floor [(Ci-Ci0) / (Cmax-Ci0) ⁇ Coutmax]
  • Cmax indicates the maximum capacitance value measured
  • Coutmax indicates the maximum value of the signal to be output (for example, "255" for 8 bits).
  • floor [X] represents obtaining the maximum integer that does not exceed the calculated value of X.
  • the ratio of the change from the reference capacitance to the dynamic range (measurable range) of the sensor 22S is output as a detection result, and calibration for each sensor is performed. It can be carried out.
  • the reference capacitance C0 is similarly measured for each sensor 21S, and this value is stored in the corresponding sensor circuit 21C. Then, the sensor circuit 21C compares the electrostatic capacitance (C) of the corresponding electrostatic sensor 21S with a correction threshold value Cth ′ obtained by adding a reference electrostatic capacitance C0 to a predetermined threshold value Cth. The sensor circuit 21C outputs Coutmax (the maximum value of the output signal, for example, "255" for 8 bits) when the electrostatic capacitance C of the electrostatic sensor 21S exceeds the correction threshold value Cth '. If not, Coutmin (minimum value of signal to be output, for example, "0" for 8 bits) is output.
  • Coutmax the maximum value of the output signal, for example, "255" for 8 bits
  • the detection threshold value of the contact state of the finger may be corrected to be low. That is, the control circuit 19 uses the signal (information indicating the capacitance of the corresponding sensor 22S) Ci output from the sensor circuit 22Ci of each second sensor 22i in the processing of the finger detection unit 53, and the second circuit
  • f [X] is a maximum integer that does not exceed X while X does not exceed Coutmax, and is a function that becomes Coutmax when X exceeds Coutmax.
  • C'max is set to a value (C'max ⁇ Cmax) smaller than the maximum value Cmax of Ci.
  • the value of Coutmax is output when Ci becomes equal to or greater than C'max, and the finger does not contact the entire sensor 22S selected to detect the finger, but slightly shifts and partially touches. Even if the output value of Ci becomes lower than the original maximum value of Ci, Cmaxout is output, and it is possible to identify the contact state.
  • the sensor 22S may be calibrated.
  • the control circuit 19 outputs the signal (information indicating the capacitance of the corresponding sensor 22S) Ci output from the sensor circuit 22Ci of each second sensor 22i and the sensor 22S in the process of the finger detection unit 53, for example.
  • Ciout f [(Ci-Ci0) / (C'max-Ci0) ⁇ Coutmax]
  • f [X] and C'max are the same as above.
  • the value of C'max (referred to as a threshold correction value) here may be set by an instruction from the information processing device 2.
  • the value of C'max is set to a value as close as possible to Cmax when it is desired to widen the dynamic range of detection of bending and stretching of the finger, and Cmax-C 'is obtained when the contact of the finger is surely acquired. It is possible to perform processing such as setting C'max so that max becomes relatively large.
  • FIG. 8 shows an example in which the second sensors 22B, 22E, 22H, and 22K, which are not used for detecting any finger in any of the examples in FIGS. 3A and 3B, are removed.
  • the position where the first sensor 21 is arranged is closer to the base of the thumb (the position corresponding to the MP joint of the thumb) than the base of the finger from the index finger to the little finger (the position corresponding to the MP joints of these four fingers). May be there.
  • the first sensor 21 has a position on the palm side corresponding to a range where the fixture 20 on the back of the hand abuts when the fixture 20 is fastened, or to the base of four fingers of the index finger or little finger beyond that. It may be arranged in the range between.
  • the controller device 1 has been described as having the swing button 17, and the index finger is arranged at a position where the swing button 17 is operated, but the present embodiment is not limited to this. Absent.
  • the swing button 17 may not be provided, and the index finger may grip the grip portion 11 similarly to the middle finger or the little finger.
  • the arrangement range of the first sensor 21 is further extended above the controller device 1, and when a user with a relatively large hand grips the grip portion 11, from the position of the base of the index finger to the base of the little finger.
  • a plurality of first sensors 21 are arranged in the range in which the abutting contacts.
  • the arrangement range of the second sensor 22 is also extended above the controller device 1, and when a user with a relatively large hand grips the grip portion 11, a portion of the index finger or little finger distal to the MP joint is located.
  • a plurality of second sensors including at least one second sensor are arranged in the contact area.
  • the width of the hand is detected by the control circuit 19 by checking how many first sensors 21 detect the contact of the finger (or the palm) from the index finger side as in the above example.
  • the second width corresponding to at least the number (four) of fingers for detecting the width and detecting the bending and stretching of the index finger or the little finger, which are predetermined (for example, experimentally) and correspond to the detected width of the hand,
  • the sensor 22 is selected, the degree of bending and stretching of each finger is determined by the selected second sensor 22, and information indicating the determination result is output.
  • the outputs of the first and second sensors 21 and 22 are 16 bits
  • the output of the finger detection unit 53 (adjusted by the value of Cmaxout when using the above formula) is 10 bits
  • the output unit 54 communicates.
  • an 8-bit output may be used.
  • the information processing device 2 connected to the controller device 1 of the present embodiment has information indicating the detection result from the controller device 1 in the sensor unit 15, the content of the operation of the button operation unit 16, and the pressing amount of the swing button 17. At the same time, the information indicating the detection result of the width of the hand and the information indicating the bending and stretching amount of each finger from the middle finger to the little finger are repeatedly received at predetermined timings (for example, every 1/60 seconds).
  • the information processing device 2 together with the detection result from the controller device 1 in the sensor unit 15, the content of the operation of the button operation unit 16, and the information indicating the pushing amount of the swing button 17, the first sensor and the second sensor.
  • the output (RAW) output of the sensor may be received.
  • the information indicating the amount of bending and stretching of each finger from the middle finger to the little finger is “0” when the finger is stretched, the maximum when the finger is bent and is in contact with the grip portion 11. It is information that becomes a value (for example, “255” in the case of 8-bit information).
  • the information indicating the width of the hand is the number of the first sensors 21 that detect the contact of the finger or the palm when the user wears the controller device 1 on the hand (continuous from the first sensor 21 on the index finger side). Corresponding to the number of the first sensors 21 that detect the contact of a finger or the like.
  • the information processing device 2 uses the information indicating the amount of bending and stretching of each finger from the middle finger to the little finger to perform the processing of the game application. For example, whether or not the controller device 1 is strongly gripped as described below. It is also possible to perform a process of determining (the determination of gripping) or a process of identifying the user.
  • the detection threshold of the contact state of the finger is corrected to be low.
  • the control circuit 19 sets the maximum value C'max of the signal used for the finger detection process to a lower value than the maximum value Cmax of the signal Ci output from the second sensor 22 (C'max ⁇ Cmax).
  • control circuit 19 may use the output signal of the second sensor 22 to make the following determination.
  • the control circuit 19 outputs the outputs CM, CR, CP of the second sensor 22 corresponding to a predetermined finger, for example, the second sensor 22 corresponding to each of the middle finger, the ring finger, and the little finger, and the corrected output based on the outputs CM, CR, CP.
  • control circuit 19 bends the finger (holds the grip portion 11) when all the corrected output values Ciout have the maximum value Coutmax (when Ci> C′max). ), And outputs a signal to that effect to the information processing device 2.
  • control circuit 19 indicates that the user grips the grip portion 11 when the outputs CM, CR, CP of the second sensor 22 all exceed C'max and CM + CR + CP> Csum_th. It is determined and a signal to that effect is output to the information processing device 2.
  • Csum_th is a threshold value of 3 ⁇ Cmax> Csum_th> 3 ⁇ C′max.
  • control circuit 19 of this example when the output (RAW output) of the second sensor 22 exceeds the maximum value C′max at the time of correction and the total sum exceeds the predetermined threshold value, Judge that you are holding.
  • control circuit 19 transmits the output (RAW output) of the second sensor 22 to the information processing device 2 together with the output of another signal, and the information processing device 2 replaces the control circuit 19 with the above processing. Then, it is determined whether or not the user is gripping the grip portion 11.
  • the determination as to whether or not the user is gripping the grip portion 11 may be performed by another method.
  • the information processing device 2 stores information indicating the amount of bending and stretching of each finger from the middle finger to the little finger, which is received at least N times in the past (N is an integer of 2 or more), and the amount of change is stored.
  • the information processing device 2 receives the bending / stretching amount information CMi-1, CRi-1, CPi-1 of each of the previously received middle finger, ring finger, and little finger, and the middle finger, ring finger, and little finger received this time.
  • CMi, CRi, CPi (i 1, 2, 7)
  • the amount of change ⁇ CMi CMi ⁇ CMi-1
  • CRi CRi-CRi-1
  • CPi CPi-CPi-1 Ask for.
  • CMi, CRi, CPi are the predetermined contact amount threshold value Cth (for example, Cth is the maximum value, Or more), that is, when “ ⁇ CMi> DCth, ⁇ CRi> DCth, and ⁇ CPi> DCth, and CMi ⁇ Cth, CRi ⁇ Cth, and CPi ⁇ Cth”, It is determined that the user has strongly gripped the controller device 1.
  • This determination means that the user bends his / her finger at a relatively high speed and grips the grip portion 11 of the controller device 1.
  • the information processing device 2 may perform a predetermined process according to the temporal change of the output based on the detection result of the second sensor 22.
  • the information processing device 2 of the present embodiment may perform the user identification process using the information indicating the width of the hand.
  • the user who uses the information processing device 2 inputs information indicating the width of his / her hand to the information processing device 2 in advance. Specifically, in the user registration process, the information processing device 2 guides the user to wear the controller device 1 together with the information identifying the user. Then, when the user wears the controller device 1 and the information indicating the width of the hand is received from the controller device 1, the information processing device 2 receives the information specifying the input user and the information indicating the width of the hand. Are stored in association with each other.
  • the information processing device 2 prompts the user to wear the controller device 1 when identifying the user.
  • the information processing device 2 displays the information identifying the user associated with the received information indicating the width of the hand. get. Then, assuming that the user identified by the acquired information intends to use the information processing device 2, the subsequent processing is executed.
  • the subsequent processing is, for example, an example in which processing is performed based on a predetermined key assignment (which button is pressed to set what kind of processing is to be performed) for each identified user. .
  • the information processing device 2 stores the information indicating the width of the hand last received from the controller device 1, and the next time the information indicating the width of the hand is received from the controller device 1, Compare with stored information. Then, when these pieces of information are different from each other, a predetermined process is performed assuming that the user has changed (a process predetermined as a process when the user has changed).
  • control circuit 19 of the controller device 1 may directly output the outputs of the first and second sensors 21 and 22 to the information processing device 2.
  • the information processing device 2 receives the outputs of the first and second sensors 21 and 22, and the width detection unit 51, the allocation setting unit 52, and the finger detection unit 53 illustrated in FIG.
  • the output unit 54 may be processed to obtain information on the amount of bending and stretching of each finger.
  • the information processing device 2 since information about bending and stretching of each finger can be acquired, for example, the information processing device 2 extends the index finger and the middle finger (when the index finger is extended, for example, the swing button 17 is pressed. It is possible to recognize that the ring finger and the little finger are in a bent state (that is, the finger poses the number 2).
  • the information processing device 2 holds the hand pose in advance in association with the content of the process to be executed when the hand pose is taken, and creates a pose that matches the held hand pose.
  • the content of the processing retained in association with the processing may be executed.
  • the process of the information processing device 2 can be controlled by a gesture with a hand.
  • the first and second sensors 21 and 22 detect the user's finger, but in the present embodiment, these sensors may be used to detect other objects. .
  • the first attachment is made at a position of the attachment that comes into contact with the first and second sensors 21 and 22 on the outer periphery of the controller device 1. If an object (for example, a metal plate) detected by the second sensors 21 and 22 is arranged, the finger cannot be detected, but the attachment of the attachment can be detected.
  • an object for example, a metal plate
  • the attachment when the attachment is attached to the controller device 1, by disposing a metal plate on the outer periphery of the attachment side that abuts the second sensors 22A and 22F of the controller device 1, the fingers of the second sensors 22A and 22F are touched. It is in contact, and information as if the finger is not in contact with another place is output.
  • the information processing device 2 determines that the attachment is attached, and executes a predetermined process as a process when the attachment is attached.
  • a predetermined process there is, for example, a steering wheel type attachment of an automobile.
  • the first and second sensors 21 and 22 detects the target object for each type of attachment (which sensor The object to be detected such as a metal plate may be arranged at a position corresponding to (1).
  • a metal plate is arranged on the outer periphery of the attachment side that abuts the second sensors 22A and 22F of the controller device 1 when attached to the controller device 1.
  • the controller device 1 is attached.
  • a metal plate is arranged on the outer periphery of the attachment side that abuts the second sensors 22B and 22F of the controller device 1 when attached to the.
  • the information processing device 2 outputs the information indicating which sensor the finger is in contact with and the information indicating which sensor the finger is not in contact with. Can identify the type of.
  • the information processing device 2 can determine that the attachment is detected, not the user's finger.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザが手に装着するコントローラ装置であって、コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の位置に配され、ユーザの複数の指が当接するコントローラ本体上の位置に配される第1のセンサであって、ユーザの前記複数の各指と、自己自身の空間的な位置の変位を検出する第1のセンサと、前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の範囲であって、前記第1のセンサが配される範囲とは異なる範囲に配される第2のセンサであって、ユーザの前記複数の各指と自己自身の空間的な位置の変位を検出する複数の第2のセンサとを有し、第1のセンサの検出感度が、第2のセンサの検出感度より高く設定されているコントローラ装置。

Description

コントローラ装置、その制御方法、及びプログラム
 本発明は、コントローラ装置、その制御方法、及びプログラムに関する。
 家庭用ゲーム機等で利用されるコントローラ装置のうちには、ユーザが手に装着した状態で利用することが想定されているものがある。このようなコントローラ装置は、ユーザの手にベルト等で締結して装着され、ユーザが各指を伸ばしたり屈曲させたりしたときに、当該指の屈伸を検出して、当該指の屈伸の状態に基づく操作の信号を出力する。
 しかしながら、ユーザの手の大きさは、ユーザごとにまちまちであり、ユーザの各指の屈伸の状態を検出するには、ユーザの手の大きさを考慮する必要があり、ユーザの手の大きさを簡便に検出する方法が要望されている。
 本発明は上記実情に鑑みて為されたもので、ユーザの手の大きさを簡便に検出し、当該検出した手の大きさに応じた処理を行うことのできるコントローラ装置を提供することを、その目的の一つとする。
 上記従来例の問題点を解決する本発明の一態様は、ユーザが手に装着するコントローラ装置であって、コントローラ本体と、前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の位置に配される第1のセンサであって、ユーザの前記複数の各指と、自己自身の空間的な位置の変位を検出する第1のセンサと、前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の範囲であって、前記第1のセンサが配される範囲とは異なる範囲に配される第2のセンサであって、ユーザの前記複数の各指と自己自身の空間的な位置の変位を検出する複数の第2のセンサと、を有し、前記第1のセンサの検出感度が、前記第2のセンサの検出感度より高く設定したものである。
 本発明によると、第1のセンサによりユーザの手の大きさを簡便に検出し、当該検出した手の大きさに応じた処理を行うことが可能となっている。
本発明の実施の形態に係るコントローラ装置の概略を表す構成図である。 本発明の実施の形態に係るコントローラ装置における第1、第2のセンサの配置例を表す説明図である。 本発明の実施の形態に係るコントローラ装置における第1、第2のセンサによる指の検出状態の例を表す説明図である。 本発明の実施の形態に係るコントローラ装置における第1、第2のセンサの出力信号の例を表す説明図である。 本発明の実施の形態に係るコントローラ装置の例を表す機能ブロック図である。 本発明の実施の形態に係るコントローラ装置における、指を検出するセンサの設定例を表す説明図である。 本発明の実施の形態に係るコントローラ装置における、指を検出するセンサの設定の別の例を表す説明図である。 本発明の実施の形態に係るコントローラ装置における第1、第2のセンサの別の配置例を表す説明図である。
 本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係るコントローラ装置1は、図1に例示するように、コントローラ本体10と、コントローラ本体10とユーザの手との位置関係が保たれるようにする固定具20とを含んで構成され、有線または無線にて情報処理装置2との間で通信可能に接続される。本実施の形態の以下の説明において、各部の大きさやその比、配置等は一例であり、本実施の形態の例は、図示等した大きさや比率、配置に限られるものではない。
 図1(a)は、本発明の実施の形態のコントローラ装置1の左側面図、図1(b)は、当該コントローラ装置1の右側面図、図1(c)は当該コントローラ装置1を正面やや左側から見た概略斜視図を示す。
 コントローラ装置1の固定具20は、例えばコントローラ本体10に両端が固定された環状のベルト部材であり、ユーザはこの固定具20とコントローラ本体10との間に人差し指から小指までの4本の指を通した状態で固定具20のベルト部材を締めて(固定具20とコントローラ本体10との間の間隙を狭くして)、コントローラ本体10が手の平に接した状態で、ユーザの手にコントローラ本体10を装着する。このように固定具20によりコントローラ装置1を手に装着することで、ユーザがコントローラ本体10を把持した状態(指をコントローラ本体10に巻き付けて保持した状態)から、指を伸ばした状態としても、コントローラ本体10がユーザの手から離れて落ちてしまうことがなくなる。
 コントローラ本体10は、ユーザが固定具20に通した指の少なくとも一部(ここでは中指から小指)で把持可能な把持部11と、操作部12とを含む。把持部11は、実質的に多角形柱状をなし、操作部12が、この把持部11から連続して形成される。また、操作部12には、正面側にセンサ部15と、ボタン操作部16とを含み、背面側に、揺動ボタン17を備えて構成される。またこの操作デバイス10は、内部に制御回路19を含んで構成されている。
 図1の例では、ユーザは、人差し指を操作部12の揺動ボタン17を操作可能な位置に配し、親指を正面側のボタン操作部16に含まれるボタンに到達可能な位置に配する。このとき、ユーザの中指、薬指、小指は把持部11を把持可能な状態(把持部11に巻き付けることができる状態)となる。
 またコントローラ本体10をユーザが握ったときに、ユーザの中指、薬指、小指の指の付け根部分が当接する把持部11上の位置には、ユーザの上記各指の空間的な位置の変位に応じた値を出力し、ユーザの各指が把持部11の表面に対して近接しているかどうかを検出する少なくとも一つの第1のセンサ21が配される。この第1のセンサ21は例えば静電センサ21Sと、当該静電センサ21Sの検出結果を電気的信号に変換して出力するセンサ回路21Cとを含んで構成される(図ではこれらをまとめて第1のセンサ21として図示している)。
 本実施の形態の一例に係る第1,第2のセンサ21,22の配置例について図2を参照しつつ説明する。
 本実施の形態の例では、一般的な成人の手の幅の平均の長さを超える長さに亘って、複数の第1のセンサ21を、実質的に把持部11の長手方向に沿って一列に配する。図2の例では、6つの第1のセンサ21を一列に配した例としているが、この数に限られるものではない。
 さらにコントローラ本体10をユーザが握ったときに、ユーザの中指、薬指、小指の腹から先端までの範囲が当接するコントローラ本体10上の位置には、ユーザの上記各指までの距離を検出する複数の第2のセンサ22が離散的に(互いに検出範囲が重複することなく)配される。この第2のセンサ22もまた、例えば静電センサ22Sと、当該静電センサ22Sの検出結果を電気的信号に変換して出力するセンサ回路22Cとを含んで構成される(図ではこれらをまとめて第2のセンサ22として図示している)。そして第2のセンサ22も、ユーザの上記各指の空間的な位置の変位に応じた値を出力する。
 本実施の形態の一例では、複数の第2のセンサ22はマトリクス状に(二次元的に)配される。図2の例では、把持部11の長手方向に沿って2列、各列6個ずつの第2のセンサ22を配している。もっとも本実施の形態は、このように6行×2列に配列する例に限られず、複数の第2のセンサ22がコントローラ本体10の把持部11をユーザが握ったときに、ユーザの各指の腹から先端までの範囲が当接するコントローラ本体10上の範囲に配され、各指の曲げ伸ばしが検出できれば、配置の態様はどのようなものでも構わない。
 この図2の例では、第1のセンサ21の各静電センサ21Sが、第2のセンサ22の静電センサ22Sの行方向にそれぞれ配されて、第1、第2のセンサ21,22で全体として3×6の格子状(斜交格子状)に静電センサが配された状態となっている。
 なお、ここでは第1,第2のセンサ21,22はいずれも静電センサである例としているが、本実施の形態はこれに限られず、カメラや、光学センサ、焦電センサ、超音波センサ等であっても、指や手の表面との相対的な位置関係(距離や変位等、空間的な位置の変位)に応じた情報が得られればよい。
 また本実施の形態の一例では、少なくとも一部の第2のセンサ22の検出面(静電容量を測定するための面、あるいは第2のセンサ22が赤外センサであれば、赤外光を受け入れる開口面など)の幅w(把持部11の長手方向の幅)は、一般的なユーザ(想定されるユーザ、例えば平均的な成人)の指の幅よりも短くしておく。これにより、各指が単独で接触する第2のセンサ22を確保する。また、互いに隣接する第2のセンサ22間の、把持部11の長手方向の間隙は、上記幅wよりもさらに小さくする。
 このとき、人差し指側(揺動ボタン17の側)の行に配列された第2のセンサ22の幅wについては、他の第2のセンサ22の幅wよりも大きめとしておいてもよい。この行に配列される第2のセンサ22には、必ず中指が接触することが想定されるため、中指の検出を確実に行うためである。このように、第2のセンサ22A,B…のそれぞれの検出面の幅や長さなどは、それぞれ共通でなくてもよく、いずれかの幅が大きくまたは小さく設定されてもよい。または長さについてもそれぞれの目的に応じて適宜異ならされていてもよい。
 ここでの例では、第2のセンサ22のうち、中指が接触すると想定される第2のセンサ22A,Gが、他の第2のセンサ22B,C…に比べ、大きい幅に亘って配されていることとなる。
 また、第1のセンサ21についても、それぞれの第1のセンサ21A,B,…の検出面(第1のセンサ21も静電センサであれば静電容量を測定する面、あるいは赤外センサであれば、赤外光を受け入れる開口面など)の幅や長さなどは、それぞれ共通でなくてもよく、いずれかの幅が大きくまたは小さく設定されてもよい。または長さについてもそれぞれの目的に応じて適宜異ならされていてもよい。
 操作部12のセンサ部15は、例えば、コントローラ本体10の正面側であって、その表面の法線方向を中心とし、コントローラ本体10から正面方向を見て、コントローラ本体10の左側面側から右側面側までの比較的広角の角度範囲を検出可能範囲として、この検出可能範囲においてユーザの親指を検出する。そして当該親指を検出した位置(上記角度範囲内の角度)や、センサ部15からユーザの親指までの距離等を検出し、これらの情報を含む、検出結果情報を制御回路19に出力する。このセンサ部15は例えば、カメラや、光学センサ、焦電センサ、超音波センサ、静電容量センサ等、どのようなものでも構わない。
 ボタン操作部16は、コントローラ本体10の正面側に配された複数のボタンを含む。これらのボタンは例えばユーザの親指等によって押下操作される。また、ボタン操作部16に含まれる少なくとも一部のボタンは、押下操作のみならず傾倒操作が可能となっていてもよい。この場合、ユーザが親指等によって当該ボタンの傾倒操作を行うと、ボタン操作部16は、当該操作がされたボタンを特定する情報とともに、傾倒方向や傾倒量(傾倒角度に応じた量)等、操作の内容を表す情報を制御回路19に出力する。
 揺動ボタン17は、ユーザがコントローラ本体10を把持した状態で、ユーザの人差し指が到達可能な位置(コントローラ本体10の背面側)に配される。揺動ボタン17は、ユーザの人差し指で押し込み操作され、その押し込み量(ボタンの移動量)を表す情報を制御回路19に出力する。具体的にこの揺動ボタン17は、ポテンショメータ等を含んで構成できるが、押し込み量が検出できれば、この構成に限られるものではない。
 また制御回路19は、マイクロコンピュータ等のプログラム制御デバイスを含み、メモリ等の記憶手段に格納されたプログラムに従って動作する。またこの制御回路19は、第1,第2のセンサ21,22や、操作部12のセンサ部15,ボタン操作部16,揺動ボタン17に接続され、これら第1,第2のセンサ21,22の出力に基づく信号や、センサ部15、ボタン操作部16等から入力される操作の内容を表す信号等、各種の信号を受け入れて情報処理装置2に対して送出する。この制御回路19は、例えばブルートゥース(登録商標)等の無線通信インタフェース、またはUSBや有線LAN等の有線通信インタフェース等を含み、この無線通信インタフェースや有線インタフェースを介して、情報処理装置2との間で種々の信号を授受する。
[センサによる検出の状態]
 ここで、種々の大きさの手に対する第1,第2のセンサ21,22による検出の例について説明する。図3(a)は比較的手の小さいユーザがコントローラ本体10の把持部11を把持したときの第1,第2のセンサ21,22と、ユーザの各指の位置関係を例示する説明図である。図3では、説明の便宜のため、ユーザの手を透過して示しており、また、実際には第1,第2のセンサ21,22はコントローラ装置1の表面である曲面状に配置されているが、模式的に平面に投影した状態で図示している。
 また図3(b)は、比較的手の大きいユーザがコントローラ本体10の把持部11を把持したときの第1,第2のセンサ21,22と、ユーザの各指の位置関係を例示する説明図である。なお図3の例では、第1のセンサ21は、人差し指側(揺動ボタン17に近い側)から順に、第1のセンサ21A,21B,…21Fと6つ配列されているものとする。また第2のセンサ22は、2列に配列され、第1のセンサ21に近い側の列には、人差し指側から順に、第2のセンサ22A,22B,…22Fが6つ配列され、第1のセンサ21から遠い側の列には、人差し指側から順に、第2のセンサ22G,22H,…22Lが6つ配列されている例を示している。
 図3(a)に例示するように、比較的手の小さいユーザが把持部11を把持し、揺動ボタン17を押下可能な位置に人差し指を配すると、揺動ボタン17に近い側の第1のセンサ21の一部、例えば第1のセンサ21A,B,C,Dの4つが指の接触を検出する。
 既に説明したように、これら第1のセンサ21は、ユーザの中指、薬指、小指の指の付け根部分が当接する部分に配されているので、ユーザが指を伸ばしていると曲げているとに関わらず、ユーザが把持部11を把持可能な状態でコントローラ装置1を装着している限り、これら第1のセンサ21A,B,C,Dは定常的に、指がコントローラ装置1の把持部11の表面に接触している状態にあることを検出する。
 またこの状態でユーザが把持部11を把持している間は、第2のセンサ22A,22C,22Dがそれぞれ中指,薬指,小指の基節骨に相当する部位(基節骨を内包する、中手指節間関節(MP)と近位指節間関節(PIP)との間の部分)の皮膚に接触し、ユーザの指が把持部11の表面に接触している状態にあることを表す信号を出力している状態となる。
 またさらに、第2のセンサ22G,22I,22Jがそれぞれ中指,薬指,小指の中節骨より遠位側に相当する部位の接触を検出し、指が把持部11の表面に接触している状態にあることを表す信号を出力している状態となる。
 そこで以下では、中指の状態を検出するために第2のセンサ22A,22Gを用いることとし、薬指(のみ)の状態を検出するために第2のセンサ22C,22Iを用いることとする。また小指(のみ)の状態を検出するために、第2のセンサ22D,22Jを用いることとする。このように、ユーザの各指の状態を検出する第2のセンサ22を選択する方法については後に述べる。
 ここでユーザが指をやや伸ばす(指先だけ伸ばす状態とする)と、第1のセンサ21による指の検出状態は変化しないが、指先が把持部11から離れた状態では、第2のセンサ22A,22C,22Dは、指が接触している状態にあることを表す信号を出力し、第2のセンサ22G,22I,22Jは、これらのセンサ22G,22I,22Jと指先との空間的な位置の変位に応じた信号を出力している状態となる。例えば指先がこれらのセンサ22G,22I,22Jから離れるほど、値が小さくなる検出値を出力する。
 さらにユーザが指を伸ばしていくと、第1のセンサ21による指の検出状態は変化しないが、指の腹の部分が把持部11から離れた状態では、第2のセンサ22A,22C,22Dは、それぞれのセンサ22A,22C,22Dと指との空間的な位置の変位に応じた信号を出力するか、指が検出されないことを表す信号を出力するようになる。これらのセンサ22A,22C,22Dもまた、例えば指先がこれらのセンサ22A,22C,22Dから離れるほど、値が小さくなる検出値を出力するものとする。そしてこの検出値が所定の閾値を下回る場合に指が検出されていないと判断すればよい。またこのとき、第2のセンサ22G,22I,22Jは、指先とこれらのセンサ22G,22I,22Jとの空間的な位置の変位に応じた信号を出力している状態か、または指が検出されないことを表す信号(所定の閾値を下回る検出値)を出力するようになる。
 さらにユーザが中指だけを伸ばした場合、第1のセンサ21による指の検出状態は変化しないが、把持したときに中指が接触していた第2のセンサ22A,22Gは、これらのセンサ22A,22Gと指との空間的な位置の変位に応じた信号を出力するか、指が検出されないことを表す信号を出力するようになる。このとき、第2のセンサ22B,22Hは中指と薬指との双方に接触しているため、いずれかの指が接触している限り、指がこれらのセンサセンサ22B,22Hに接触している状態にあることを表す信号を出力し続ける。つまりこの状態(中指だけを伸ばした状態)では、第2のセンサ22B,22Hは指がこれらのセンサ22B,22Hに対して接触している状態にあることを表す信号を出力する。
 また第2のセンサ22C,22D,22I,22Jは、それぞれ薬指、小指が接触した状態にあるため、ユーザの指がこれらのセンサ22C,22D,22I,22Jに接触している状態にあることを表す信号を出力する。
 また比較的手の大きいユーザが把持部11を把持し、揺動ボタン17を押下可能な位置に人差し指を配すると、図3(b)に例示するように、すべての第1のセンサ21A,21B,…21Fが、ユーザの指が接触している状態にあることを検出する。なお、第1のセンサ21は、ユーザの中指、薬指、小指の指の付け根部分が当接する部分に配されているので、ユーザが指を伸ばしていると曲げているとに関わらず、ユーザが把持部11を把持可能な状態でコントローラ装置1を装着している限り、これら第1のセンサ21A,B,C,Dは定常的に、ユーザの指がこれらのセンサ21A,B,C,Dに(つまりは把持部11に)接触した状態にあることを検出することとなる。
 またこの状態でユーザが把持部11を把持している間は、第2のセンサ22Aが中指、第2のセンサ22Bは中指または薬指、第2のセンサ22C,Dは薬指、第2のセンサ22Eは薬指または小指、第2のセンサ22Fは小指のそれぞれの基節骨に相当する部位(基節骨を内包する、中手指節間関節(MP)と近位指節間関節(PIP)との間の部分)の皮膚に接触し、指が接触している状態にあることを表す信号を出力している状態となる。
 またさらに、第2のセンサ22Gには中指、第2のセンサ22Hには中指または薬指、第2のセンサ22I,Jには薬指、第2のセンサ22Kには薬指または小指、第2のセンサ22Lには小指の中節骨より遠位側に相当する部位がそれぞれ接触するので、これらのセンサ22G,22H,22I,22J,22K,22Lが、ユーザの指が接触している状態にあることを表す信号を出力することとなる。
 そこで以下では、中指の状態を検出するために第2のセンサ22A,22Gを用いることとし、薬指(のみ)の状態を検出するために第2のセンサ22D,22Jを用いることとする。また小指(のみ)の状態を検出するために、第2のセンサ22F,22Lを用いることとする(ユーザの各指の状態を検出する第2のセンサ22を選択する方法及び、別の方法の例については後に述べる)。
 ここでユーザが指をやや伸ばす(指先だけ伸ばす状態とする)と、第1のセンサ21による指の検出状態は変化しない(検出値の変化が予め定めた変化しきい値を下回る)が、指先が把持部11から離れた状態では、第2のセンサ22A,22D,22Fは、指がこれらのセンサ22A,22D,22Fに接触している状態にあることを表す信号を出力し、第2のセンサ22G,22J,22Lは、それぞれ、各センサ22G,22J,22Lと指先との空間的な位置の変位を表す信号を出力している状態となる。
 さらにユーザが指を伸ばしていくと、第1のセンサ21による指の検出状態は変化しないが、指の腹の部分が把持部11から離れた状態では、第2のセンサ22A,22D,22Fはそれぞれ、指とセンサ22A,22D,22Fとの空間的な位置の変位を表す信号(指が検出されないことを表す信号である場合を含む)を出力するようになる。また、第2のセンサ22G,22J,22Lはそれぞれ、指先とセンサ22G,22J,22Lとの空間的な位置の変位を表す信号(指が検出されないことを表す信号である場合を含む)を出力するようになる。
 さらにユーザが中指だけを伸ばした場合、第1のセンサ21による指の検出状態は変化しない(検出値の変化が予め定めた変化しきい値を下回る)が、把持したときに中指が接触していた第2のセンサ22A,22Gはそれぞれ、センサ22A,22Gとの空間的な位置の変位を表す信号(指が検出されないことを表す信号である場合を含む)を出力するようになる。
 また第2のセンサ22D,22F,22J,22Lは、それぞれ薬指、小指が接触した状態にあるため、ユーザの指がこれらのセンサ22D,22F,22J,22Lに接触している状態にあることを表す信号を出力する。
[センサの感度設定]
 なお、ユーザが指を伸ばしきったときに第1のセンサ21から指の付け根がわずかに離れても、第1のセンサ21による指の検出状態を変化させないようにするために、第1のセンサ21の検出感度は、第2のセンサ22の検出感度より高く設定されることが好ましい。
 具体的には図4に例示するように、第2のセンサ22のセンサ回路22Cが、静電センサ22Sの静電容量(C)に対応して、検出対象であるユーザの指との間の空間的な変位(D)に応じた値を多段階的に(例えば8ビットの信号として)出力する(図4において破線で示す)のに対し、第1のセンサ21のセンサ回路21Cは、静電センサ21Sの静電容量(C)が所定のしきい値Cthを超えたときに8ビットの最大値であるディジタル値「255」、そうでない場合は最小値であるディジタル値「0」を出力するようにしておく(図4において実線で示す)。
 これにより、第2のセンサ22がユーザの指がどれだけ近接しているかにより、段階的な信号を出力するのに対して、第1のセンサ21はユーザの指がある程度近接している場合には接触している状態にある場合と同じ信号を出力することとなる。
[ヒステリシス]
 さらに第1のセンサ21のセンサ回路21Cは、その出力にヒステリシスが設定されてもよい。すなわち各センサ21Sに対応するセンサ回路21Cは、所定のタイミングごとに繰り返して、対応するセンサ21Sの静電容量に基づく信号(ディジタル値)を得ているが、センサ回路21Cはそれぞれが過去の所定回数(N回とする)に亘って得た信号(検出値)を保持し、当該保持している信号に対する所定の統計演算結果(例えば最大値、中央値、平均値等)を出力することとする。
 例えば統計演算として最大値を出力するものとすると、ユーザの指の付け根が接触していたセンサ21Sから一時的に離れた場合であっても、当該センサ21Sに対応するセンサ回路21Cは、過去N回に亘って得た信号の最大値の信号を出力するため、長期に亘って接触していない状態が継続しない限り、ユーザの指の付け根が接触しているものとして信号を出力し続ける。
[センサの選択]
 また、本実施の形態の一例では制御回路19が次のように動作する。本実施の形態の一例に係る制御回路19は、保持しているプログラムを実行することにより、機能的に、図5に例示するように、手幅検出部51と、割り当て設定部52と、指検出部53と、出力部54とを含んで構成される。
 なお、この制御回路19は既に述べたように、他のセンサ部15や、ボタン操作部16、揺動ボタン17等から得られる信号を処理するが、これらの処理は、広く知られた処理を採用できるので、ここでの詳しい説明を省略する。
 手幅検出部51は、第1のセンサ21が出力する信号を得て、ユーザの手の幅を推定する。具体的にこの手幅検出部51は、カウンタを「0」にリセットしてから、人差し指側(揺動ボタン17側)に配されている第1のセンサ21Aから順に、第1のセンサ21の出力信号(対応するセンサ21Sの静電容量を表す信号、つまり検出値)を調べる。
 そして手幅検出部51は、調べた第1のセンサ21が指の接触を検出していれば(調べた第1のセンサ21の出力する検出値が予め定めた接触判定用のしきい値を超えていれば)カウンタを「1」だけインクリメントする。また、最初に指を検出していない第1のセンサ21(出力する検出値が予め定めた接触判定用のしきい値を下回る第1のセンサ21)が見いだされるか、または最後の第1のセンサ21まで調べ終えると、手幅検出部51は、その時点のカウンタの値を、手幅を表す情報として出力する。
 一例として、比較的手の小さいユーザが把持した場合を表す図3(a)の例では、第1のセンサ21A,B,C,Dの4つが指の接触を検出し、第1のセンサ21E,Fは指の接触を検出していない。
 この場合、手幅検出部51は、第1のセンサ21Aから順に出力を調べ、第1のセンサ21Eで初めて指の接触を検出していないセンサを見いだす。従って、手幅検出部51は、第1のセンサ21A,21B,21C,21Dで指の接触を検出しているものとしてカウンタを「1」ずつインクリメントし、第1のセンサ21Eを調べた時点でのカウンタの値「4」を出力する。
 また、比較的手の大きいユーザが把持した場合を表す図3(b)の例では、全ての第1のセンサ21Aないし21Fが指の接触を検出している。この場合、手幅検出部51は、第1のセンサ21Aから順に出力を調べつつカウンタをインクリメントしてゆき、最後の第1のセンサ21Fにおいても指の接触を検出しているとしてカウンタをインクリメントする。従って、手幅検出部51は、第1のセンサ21Aないし21Fのすべてで指の接触を検出しているものとしてカウンタを「1」ずつインクリメントし、最後の第1のセンサ21Fを調べた時点でのカウンタの値「6」を出力する。
 割り当て設定部52は、手幅検出部51が出力する値を参照して、ユーザの中指、薬指、小指のそれぞれの曲げ伸ばしを検出する第2のセンサ22を、複数の第2のセンサ22のうちから選択して、当該選択した第2のセンサ22を特定する情報を出力する。
 具体的にこの割り当て設定部52は、予め、手幅検出部51が出力する値に対応して、ユーザの中指、薬指、小指のそれぞれの曲げ伸ばしを検出する第2のセンサ22を特定する情報を関連付けて記憶しておく(図6)。
 図6の例では、手幅検出部51が出力する値(W)に対し、中指、薬指、小指のそれぞれの基節骨に相当する部位との空間的な位置の変位に対応する信号(検出値)を出力する第2のセンサ22を特定する情報MM,RM,PMと、中指、薬指、小指のそれぞれの中節骨より遠位側に相当する部位との空間的な位置の変位に対応する信号を出力する第2のセンサ22を特定する情報MF,RF,PFとを関連付けて保持している。
 図6には、具体的な例として、図3に示した例に対応した設定が示されているが、この設定は、経験的な方法など、種々の方法で決定可能であり、コントローラ装置1の製造者側で予め定めて、制御回路19内のメモリに記憶させておくものとする。なお、この設定は情報処理装置2等から入力される指示によって書き換えられてもよい。
 またここでは中指、薬指、小指のそれぞれの中節骨より遠位側に相当する部位まとの空間的な位置の変位に対応する信号を出力する第2のセンサ22を特定する情報を含めて設定しているが、中指、薬指、小指のそれぞれの基節骨に相当する部位との空間的な位置の変位に対応する信号だけを出力する場合は、中節骨より遠位側に相当する部位との空間的な位置の変位を検出する第2のセンサ22を特定する情報の設定は必ずしも必要でない。逆に中節骨より遠位側に相当する部位との空間的な位置の変位に関わる検出結果だけ出力する場合は、中指、薬指、小指のそれぞれの中節骨より遠位側に相当する部位との空間的な位置の変化に対応する信号を出力するための第2のセンサ22の設定は必要でない。
 以下の例では、説明を簡易にするため、基節骨に相当する部位と中節骨より遠位側に相当する部位とを分けて検出する例ではなく、手幅検出部51が出力する値(W)に対応して、基節骨に相当する部位を検出する第2のセンサ22を特定する情報のみを記憶させ、中指、薬指、小指のそれぞれの基節骨に相当する部位との空間的な位置の変位に関わる信号だけ出力する場合を例とする。
 指検出部53は、割り当て設定部52が出力する情報を得て、当該情報で特定される第2のセンサ22の出力に基づいて、ユーザの各指の曲げ伸ばしの状態を表す情報を選択的に出力する。
 例えば、割り当て設定部52が、中指、薬指、小指のそれぞれの基節骨に相当する部位との空間的な位置の変位を検出する第2のセンサ22を特定する情報をMM,RM,PMとして、第2のセンサ22A、22C、22Dを特定する情報をそれぞれ出力しているとする。この場合、指検出部53は、第2のセンサ22Aが出力する情報を中指の曲げ伸ばしを表す情報として、第2のセンサ22Cが出力する情報を薬指の曲げ伸ばしを表す情報として、さらに第2のセンサ22Dが出力する情報を小指の曲げ伸ばしを表す情報として選択して出力する。
 このとき、第2のセンサ22B,22E,22Fの出力する信号は、指検出部53のこの処理により破棄される(出力されない)。出力部54は、指検出部53が出力する、割り当て設定部52が選択した第2のセンサ22の各々により検出された、各指との空間的な位置の変位に対応する情報(中指、薬指、小指の曲げ伸ばしの状態を表す情報として扱われる)を、情報処理装置2に対して送出する。
 すなわち、指が曲げられていれば、コントローラ装置1の把持部11に指が近接または接触するため、各指に対応するものとして選択された第2のセンサ22の出力する信号である検出値が、指と当該センサ22とが近接しているほど大きい値であり、接触しているときに最大値となる場合、この検出値の大きさが指の曲げ伸ばしの程度を表す情報としても利用できる。
[指の位置推定の別の例]
 また、ここまでの説明では、制御回路19が、ユーザの手に接触していることを検出している第1のセンサ21の数によって手の幅を推定するとともに、当該手の幅の推定結果に基づいて、各指に係る情報を出力する第2のセンサ22をそれぞれ選択し、選択した第2のセンサ22が出力する検出値をそのまま用いて各指の曲げ伸ばしの状態を得ていたが、本実施の形態はこれに限られない。
 本実施の形態のある例では、制御回路19は、保持しているプログラムを実行することにより、機能的に、図5に例示したものと同様に、手幅検出部61と、割り当て設定部62と、指検出部63と、出力部54とを含む。なお、既に説明したものと同様の構成となるものについては、同じ符号を付して詳細な説明を省略する。
 また以下の説明では制御回路19によって実現される手幅検出部61等は、図7(a)または図7(b)に例示するように、第1のセンサ21及び第2のセンサ22が配列されている二次元的な領域を、XY直交座標系で表し、第1のセンサ21や第2のセンサ22のそれぞれの位置及び範囲をこのXY直交座標系内の座標(x,y)によって表すものとする。
 以下の説明では具体的に、ユーザがコントローラ装置1を自然に把持したときに中指の付け根にあたる位置に配されている矩形状の第1のセンサ21AのX軸方向の位置を「1.0」、第1のセンサ21BのX軸方向の位置を「2.0」、…第1のセンサ21FのX軸方向の位置を「6.0」とする。
 また、第1のセンサ21の第2のセンサ22が配されている側とは反対側の端に当たるY軸方向の位置を「0」として、第1のセンサ21が配列されている方向をX軸、これに直交して第2のセンサ22が配されている範囲の側へ向かう方向をY軸とする。
 手幅検出部61は、第1のセンサ21Aから順に、第1のセンサ21の出力信号(対応するセンサ21Sの静電容量を表す信号、つまり検出値)を調べる。
 手幅検出部61は、図7に例示するように、第1のセンサ21A,B…のそれぞれの幅方向の中心に相当する上記座標系内での位置にて、対応する第1のセンサ21A,B…が出力する検出値が得られたものとして、互いに隣接する第1のセンサ21間(互いに隣接する一対の第1のセンサ21の中心座標間の位置)での推定検出値を、第1のセンサ21A,B…の検出値を内挿することで決定する。
 具体的にここでの例では互いに隣接する一対の第1のセンサ21ごとに、当該一対の第1のセンサ21の検出値を線形補間することで、当該一対の第1のセンサ21間の位置における推定検出値を求める。
 手幅検出部61は、ここで得られた検出値または内挿して得られた推定検出値が、予め定めた接触判定用のしきい値を下回る座標を探索する。つまり手幅検出部61は、図7に例示しているように、推定検出値(または検出値)を結んでできる折れ線または曲線が、接触判定用のしきい値の値を表す線分と交差する点を探索する。
 図7(a)は、中指の付け根が第1のセンサ21Aの位置にあり、小指の付け根が第1のセンサ21D,21Eの間であって、第1のセンサ21Dに近い側にある場合を示している(なお、ユーザがコントローラ装置1を自然に保持したときに、第1のセンサ21Aの幅方向(第1のセンサ21の配列方向)の中心線の延長線上にユーザの中指が位置するように、揺動ボタン17の位置と第1のセンサ21Aの位置とを実験的に調整しておく)。
 このとき、第1のセンサ21のそれぞれの検出値は、図7(a)に示されるように、第1のセンサ21Aから21Dまではユーザの手(または指)が接触している状態にあることを表す検出値となっている。また第1のセンサ21Dは、ユーザの手(または指)が接触しているが、ユーザの手や指の端に近いため、第1のセンサ21Aから21Cの検出値に比べると、比較的低い検出値が生じている状態となっている。また、第1のセンサ21Eにはユーザの手や指が近接していない状態となっているので、その検出値は実質的に「0」となっている(実際にはノイズの影響で「0」ではないが「0」と見なせる程度に小さい値となっている)。
 手幅検出部61は、互いに隣接する一対の第1のセンサ21、つまり第1のセンサ21Aと21B、第1のセンサ21Bと21C、第1のセンサ21Cと21D、…の間の線形補間P(互いに隣接する一対の第1のセンサ21の検出値を線分で結んで補間した値)を得る。
 手幅検出部61は、線形補間の結果の値が、接触判定用のしきい値となる点Qを探索する。ここでは、隣接する第1のセンサ21の検出値がいずれも接触判定用のしきい値を超えている第1のセンサ21Aと21Bとの間、第1のセンサ21Bと21Cとの間、第1のセンサ21Cと21Dとの間では線形補間の結果が接触判定用のしきい値を下回る点はない。しかしながら第1のセンサ21Dと、第1のセンサ21Eとの間では、第1のセンサ21D(中心が座標xdにあるものとする)の検出値Vdが接触判定用のしきい値を超え、第1のセンサ21E(中心が座標xeにあるものとする)の検出値Veは接触判定用のしきい値を下回るので、これらの線形補間結果のうちには、接触判定用のしきい値Vthとなる点Qが存在し、当該点の座標が、(Vd-Ve)・xq/(xd-xe)+Vd=Vthの方程式の解として得られる。手幅検出部61は、この方程式を数値的に解いて、点Qの位置の座標の情報を取得する。なお、点Qが見いだせない場合は、点QのX座標を、第1のセンサ21のうち、その位置のX軸の値が最も大きい第1のセンサ21のX軸の位置の値(ここでは第1のセンサ21Fの「6.0」)とする。
 そして手幅検出部61は、第1のセンサ21Aの端(第1のセンサ21Bとは離れた側の端)Rからこの点Qまでの範囲を、ユーザの手幅の範囲として検出する。
 この例において、線形補間など内挿を用いない方法ではユーザの手幅は第1のセンサ21Cまでの範囲と判断されるが、内挿を行うここでの例によれば、ユーザの手幅の情報がより精密に取得できる。
 またこの例では、割り当て設定部62は、次のようにして、手幅検出部61が出力する値を参照して、ユーザの中指、薬指、小指のそれぞれの曲げ伸ばしを検出する第2のセンサ22を、複数の第2のセンサ22のうちから選択して、当該選択した第2のセンサ22を特定する情報を出力する。
 本実施の形態のこの例では、手幅に対する各指のX軸方向の位置を、手幅の値に対する割合で予め定めておく。具体的に手幅検出部61により検出される手幅(中指と人差し指との間の位置から小指の外側端までの長さ)がWhであるとき、中指の中心位置(中指と人差し指との間の位置からの距離で表す。以下同じ)をWh・αm、薬指の中心位置をWh・αr、小指の中心位置をWh・αsとすることとして、このαm,αr,αs(αm<αr<αs)を予め定めておく。なお、中指については常に決まった第2のセンサ22、例えば第2のセンサ22A及び22Gを設定することとしてもよい。この場合、αmを定める必要はない。
 割り当て設定部62は、この設定に基づいて、ユーザの中指、薬指、小指のそれぞれの中心位置の座標の情報を取得する。具体的に割り当て設定部62は、例えばαr=0.45,αs=0.74として定めておくものとすると、図7(a)の例で、手幅がWh=5.2であれば、中指のX軸方向の座標αr×Wh=2.34、薬指のX軸方向の座標αs×Wh=3.7なので、第2のセンサ22Aと同じ群では、中指については第2のセンサ22Aの中心、薬指については第2のセンサ22Bと22Cとの間、小指については第2のセンサ22Cと22Dとの間に位置するものと推定する。また第2のセンサ22Gと同じ群では、中指については第2のセンサ22Gの中心、薬指については第2のセンサ22Hと22Iとの間、小指については第2のセンサ22Iと22Jとの間に位置するものと推定する。
 また図7(b)の例で、手幅Wh=6と推定したときには、中指のX軸方向の座標がαr×Wh=2.7、薬指のX軸方向の座標がαs×Wh=4.44なので、第2のセンサ22Aと同じ群では、中指については第2のセンサ22Aの中心、薬指については第2のセンサ22Bと22Cとの間、小指については第2のセンサ22Dと22Eとの間に位置するものと推定する。また第2のセンサ22Gと同じ群では、中指については第2のセンサ22Gの中心、薬指については第2のセンサ22Hと22Iとの間、小指については第2のセンサ22Jと22Kとの間に位置するものと推定する。
 すなわち割り当て設定部62は、Y軸方向の位置が互いに異なる第2のセンサ22の群ごとに、ユーザの中指、薬指、小指のそれぞれの曲げ伸ばしの状態に係る情報を取得する第2のセンサ22を決定する。
 図6(a),(b)の例では、第2のセンサ22Aから22Fまでの列と、第2のセンサ22Gから22Lまでの列との6行×2列のマトリクス状に配されているので、Y軸方向の位置が互いに異なる第2のセンサ22の群は、第2のセンサ22Aから22Fまでの群と、第2のセンサ22Gから22Lまでの群となる。またここでは第2のセンサ22A,22GのX軸方向の位置と、第1のセンサ21AのX軸方向の位置とが一致し、第2のセンサ22B,22HのX軸方向の位置と、第1のセンサ21BのX軸方向の位置とが一致し…といったように、第2のセンサ22A,GのX軸方向の位置も「1.0」、第2のセンサB,HのX軸方向の位置も「2.0」…となるように、各センサが配されているものとする。
 割り当て設定部62は、各群に含まれる第2のセンサ22について、ユーザの中指、薬指、小指のそれぞれについて、当該取得した情報で表される座標が、(1)当該群に含まれるいずれかの第2のセンサ22(第2のセンサ22xとする)の中心座標Xに一致している場合には、割り当て設定部62は、当該指の曲げ伸ばしを検出する第2のセンサ22を、当該第2のセンサ22xに設定する。
 一方、ユーザの中指、薬指、小指のそれぞれについて、当該取得した情報で表される座標が、(2)当該群に含まれるいずれの第2のセンサ22の中心座標にも一致しない場合は、割り当て設定部62は、当該取得した座標に最も近接している第2のセンサ22xと、その次に近接している第2のセンサ22yとを検索する。
 そして割り当て設定部62は、検索により見いだされた2つの第2のセンサ22x,yを、当該指の曲げ伸ばしを検出する第2のセンサ22として設定する。
 この処理により、第2のセンサ22の群(Y軸方向の群)ごとに、ユーザの中指と薬指と小指とのそれぞれについての曲げ伸ばしを検出する第2のセンサ22が設定される。
 例えば図7(a)の例であれば、例えば第2のセンサ22Aと同じ群では、中指については第2のセンサ22Aの中心、薬指については第2のセンサ22Bと22Cとの間、小指については第2のセンサ22Cと22Dとの間に位置するものと推定されているので、中指については第2のセンサ22A,G、薬指については第2のセンサ22B及びCと、22H及びI、小指については第2のセンサ22C及びDと、22I及びJが、それぞれの指の曲げ伸ばしを検出する第2のセンサ22として設定される。
 指検出部63は、割り当て設定部62による設定に応じて、各指の曲げ伸ばしを検出するものとして設定されている第2のセンサ22の出力に基づいて、ユーザの各指の曲げ伸ばしの状態を表す情報を生成して出力する。
 具体的にこの指検出部63は、第2のセンサ22のある群において各指の曲げ伸ばしを検出するものとして設定された第2のセンサ22が1つであれば、当該第2のセンサ22が出力する情報を、対応する指の曲げ伸ばしを表す情報として出力する。
 また指検出部63は、第2のセンサ22のある群において各指の曲げ伸ばしを検出するものとして設定された第2のセンサ22が2つあるときには、次のようにして対応する指の曲げ伸ばしを表す情報を得る。
 すなわち、2つの第2のセンサ22のX軸方向の位置をそれぞれXα、Xβ,検出値をVα,Vβとし、割り当て設定部62が得た、対応する指の位置のX座標をXfとすると、求める指の曲げ伸ばしを表す情報Vを、
V=(Vα・|Xα-Xf|+Vβ・|Xβ-Xf|)/|Xβ-Xα|
(ただし、|x|はxの絶対値を意味する)
とする。このように指検出部63は、各第2のセンサ22(の中心)から指(の中心)までの距離に応じて各第2のセンサ22の検出値を重みづけして平均することで、指の中心での検出値を推定し、当該推定した検出値を、対応する指の曲げ伸ばしを表す情報として出力する。
 出力部54は、指検出部63が出力する各指とコントローラ装置1の表面との空間的な位置の変位に対応する情報(中指、薬指、小指の曲げ伸ばしの状態を表す情報として扱われる)を、情報処理装置2に対して送出する。
 またここでは、割り当て設定部62が指の位置のX座標を第1のセンサ21の出力に基づいて得ていたが、本実施の形態はこれに限られない。
 例えば第1のセンサ21と、第2のセンサ22Gから22Lまでの列に含まれる第2のセンサ22との検出結果を用いて、割り当て設定部62は次のようにして、第2のセンサ22Aから22Fまでの列の位置(Y座標)におけるユーザの各指の位置(指先の位置)を推定してもよい。
 この例では割り当て設定部62は、第2のセンサ22Gから22Lまでの出力に基づいて指幅に相当する幅の検出値のピークの位置(X軸方向の位置)を、これらの第2のセンサ22の間にある指の数(ここでは3つ)分だけ検出する。この検出は、第2のセンサ22Gから22Lまでの出力を、互いに異なる3つのX軸上の位置にピークを有する曲線関数に当てはめる(カーブフィッティングする)方法で行うことができる。この例では、ピークのX軸上の位置がフィッティングパラメータとなって、各指に対応するピークの位置(それぞれの指の指先の中心が位置すると考えられる位置)のX座標の値が求められることとなる。
 割り当て設定部62は、手幅検出部61が出力する手幅の情報から、当該手幅に対する各指の根元のX軸方向の位置を、手幅の値に対する割合で既に述べたと同じ方法で予め定めておく。
 これにより割り当て設定部62は、中指の根元の位置の位置Xmrと指先の位置Xmt、薬指の根元の位置の位置Xrrと指先の位置Xrt、小指の根元の位置の位置Xsrと指先の位置Xstをそれぞれ求める。
 そして割り当て設定部62は、第1のセンサ11の配列されているY座標の位置(Yrとする)において、ここで求めた各指の根元の位置のX座標に相当する点と、第2のセンサ22Gから22Lが配列されている位置のY座標の値(Ytとする)における、対応する指の位置のX座標に相当する点とを結んだ線分を仮想的に設定する。
 例えば中指については(Xmr,Yr)と、(Xmt,Yt)とを結んだ線分が設定される。そして割り当て設定部62は、各指について設定した線分と、第2のセンサ22Aから22Fが配列されている位置のY座標の値(Ypとする)でこの線分が交差する位置(X,Yp)を求める。具体的には中指については
X=Yp×(Xmt-Xmr)/(Yt-Yr)
としてこの位置を求めることができる。この位置は第2のセンサ22Aから22Fが配列されている位置において中指が通過する点のX軸方向の位置と推定できる。
 割り当て設定部62は、薬指や小指についても同様に、第2のセンサ22Aから22Fが配列されている位置での指のX軸方向の位置を推定する。
 この場合、指検出部63は、第2のセンサ22Aから22Fの群に含まれる第2のセンサ22の検出値を得て、各指についての推定検出値を次のように求める。
 すなわち、指検出部63は、上記の例であれば中指から小指までの各指について、第2のセンサ22Aから22FのそれぞれのX軸方向の位置をそれぞれXα、Xβ…,検出値をVα,Vβ…とし、割り当て設定部62が得た、対応する指の位置のX座標をXfとするとき、求める指の曲げ伸ばしを表す情報(推定検出値)Vを、
V=(Vξ・|Xξ-Xf|+Vη・|Xη-Xf|)/|Xη-Xξ|
(ただし、|x|はxの絶対値を意味する)
とする。ここでXξは、Xfに最も近く、かつXfを超えない第2のセンサ22ξ(ξはAからEのいずれか)の位置であり、Vξは当該第2のセンサ22ξの検出値である。またXηは、Xfに最も近く、かつXfを超える第2のセンサ22η(ηはBからFのいずれか)の位置であり、Vηは当該第2のセンサ22ηの検出値である。なお、第2のセンサ22Aから22Fのうちいずれかの位置のX座標と、対応する指の位置のX座標Xfとが一致するときは、上記の方法に代えて、求める指の曲げ伸ばしを表す情報Vを、当該対応する指の位置のX座標に存在する第2のセンサ22ζの検出値Vζをそのまま、当該指の推定検出値としてもよい。
 この例でも指検出部63は、各第2のセンサ22(の中心)から指(の中心)までの距離に応じて各第2のセンサ22の検出値を重みづけして平均することで、指の中心での検出値(推定検出値)を推定し、当該得られた推定検出値を、対応する指の曲げ伸ばしを表す情報として出力する。
[キャリブレーション]
 また、第2のセンサ22の各センサ22Sは、個別の検出結果にばらつきがあることがある。すなわち、指が近接していない場合の静電容量C0が互いに異なるのが一般的である。
 そこで本実施の形態のある例では、コントローラ装置1の製造の際に、予め第2のセンサ22の各センサ22Sについて、検出の対象が近接していない状態での出力(以下、便宜的に基準静電容量と呼ぶ)C0を測定しておき、センサ22Sを特定する情報に関連付けて、当該情報で特定されるセンサ22Sの基準静電容量を、制御回路19のメモリに記録しておく。
 この例では、制御回路19は、例えば指検出部53の処理において、各第2のセンサ22iのセンサ回路22Ciの出力する信号(対応するセンサ22Sの静電容量を表す情報)Ciと、当該センサ22Sに関連付けて記憶された基準静電容量Ci0とを用い、当該第2のセンサ22iにより検出された信号として出力する値Cioutを次のように求めてもよい(i=A,B,…)。
Ciout=floor[(Ci-Ci0)/(Cmax-Ci0)×Coutmax]
ここで、Cmaxは測定される最大の静電容量の値、Coutmaxは出力する信号の最大値(例えば8ビットであれば「255」)を示す。またfloor[X]は、演算されたXの値を超えない最大の整数を求めることを表す。
 これにより、基準静電容量からの変化が、当該センサ22Sのダイナミックレンジ(測定可能範囲)に対してどれだけの割合となっているかを、検出結果として出力することとなり、センサごとのキャリブレーションを行うことができる。
 なお、第1のセンサ21のセンサ21Sについても同様のキャリブレーションを行ってもよい。
 この場合、各センサ21Sについて同様に基準静電容量C0を測定し、対応するセンサ回路21Cにこの値を記憶させる。そしてセンサ回路21Cは、対応する静電センサ21Sの静電容量(C)と、予め定められたしきい値Cthに基準静電容量C0を加えた補正しきい値Cth′とを比較する。センサ回路21Cは、静電センサ21Sの静電容量Cがこの補正しきい値Cth′を超えているときに、Coutmax(出力する信号の最大値、例えば8ビットであれば「255」)を出力し、そうでないときには、Coutmin(出力する信号の最小値、例えば8ビットであれば「0」)を出力する。
[指の接触状態の検出閾値]
 本実施の形態ではさらに、指の接触状態の検出閾値を低めに補正してもよい。つまり、制御回路19は、指検出部53の処理において、各第2のセンサ22iのセンサ回路22Ciの出力する信号(対応するセンサ22Sの静電容量を表す情報)Ciを用い、当該第2のセンサ22iにより検出された信号として出力する値Cioutを次のように求めてもよい(i=A,B,…)。
Ciout=f[Ci/C′max×Coutmax]
ここでf[X]は、XがCoutmaxを超えない間は、Xを超えない最大の整数を表し、XがCoutmaxを超えたときには、Coutmaxとなるような関数である。このとき、C′maxは、Ciの最大値Cmaxよりも小さい値(C′max<Cmax)としておく。これによりCiがC′max以上となるときにCoutmaxの値が出力されるようになり、指が、当該指を検出するものとして選択されたセンサ22Sの全体ではなく、ややずれて部分的に接触する状態となってしまい、Ciの本来の最大値よりもCiの出力値が低下したとしても、Cmaxoutが出力されることとなって、接触した状態であるとの識別が可能となる。
 さらにこの例においても、センサ22Sのキャリブレーションを行ってもよい。この場合、制御回路19は、例えば指検出部53の処理において、各第2のセンサ22iのセンサ回路22Ciの出力する信号(対応するセンサ22Sの静電容量を表す情報)Ciと、当該センサ22Sに関連付けて記憶された基準静電容量Ci0とを用い、当該第2のセンサ22iにより検出された信号として出力する値Cioutを次のように求める(i=A,B,…)。
Ciout=f[(Ci-Ci0)/(C′max-Ci0)×Coutmax]
ここでf[X],C′maxについては上述と同様である。
 なお、ここでのC′maxの値(閾値補正値と呼ぶ)は、情報処理装置2からの指示によって設定されてもよい。この例によると、情報処理装置2では、指の曲げ伸ばしの検出のダイナミックレンジを広くしたいときにはC′maxの値をできるだけCmaxに近い値とし、指の接触を確実に取得したいときにはCmax-C′maxが比較的大きくなるようにC′maxを設定する、といった処理が可能となる。
[センサ22Sの配置の別の例]
 ここまでの説明では、第1のセンサ21と、第2のセンサ22との各センサ21S,22Sが、図2の例のように、斜交格子状に配列されているものとしたが、本実施の形態におけるセンサの配置は、これに限られない。
 例えば、図2の斜交格子の一部の格子点上のセンサ22Sを設けない構成も考えられる(図8)。図8では、図3(a),(b)のいずれの例でもいずれかの指の検出で使用することのなかった、第2のセンサ22B,22E,22H,22Kを除いた例を示す。
[第1のセンサ21の配置位置]
 さらに第1のセンサ21を配置する位置は、人差し指から小指までの指の付け根(これら四指のMP関節に相当する位置)よりも親指の付け根(親指のMP関節に相当する位置)に近い側にあってもよい。具体的に第1のセンサ21は、固定具20を締結したときに、手の甲の固定具20が当接する範囲に対応する手の平側の位置、ないしそれよりも人差し指ないし小指の四指の付け根までの間の範囲に配されてもよい。
[人差し指の検出]
 またここまでの説明では、コントローラ装置1は、揺動ボタン17を有し、人差し指はこの揺動ボタン17を操作する位置に配されるものとして説明したが、本実施の形態はこれに限られない。例えば揺動ボタン17を設けずに、人差し指も、中指ないし小指の各指と同様に把持部11を把持するようにしてもよい。
 この場合は、第1のセンサ21の配置範囲をさらにコントローラ装置1の上方まで延長して、比較的手の大きいユーザが把持部11を把持したとき、その人差し指の付け根の位置から小指の付け根までが当接する範囲に、複数の第1のセンサ21を配する。
 また第2のセンサ22の配置範囲も、コントローラ装置1の上方まで延長し、比較的手の大きいユーザが把持部11を把持したとき、その人差し指ないし小指のそれぞれのMP関節より遠位の部位が当接する範囲に、それぞれ少なくとも一つの第2のセンサを含む、複数の第2のセンサを配する。
 なお、この場合も手の幅の検出は上述の例と同様、制御回路19が人差し指側からいくつの第1のセンサ21が指(または手の平)の接触を検出しているかを調べることで手の幅を検出し、当該検出した手の幅に対応して、予め(例えば実験的に)定めた、人差し指ないし小指の曲げ伸ばしをそれぞれ検出する少なくとも指の数(4つ)に対応する第2のセンサ22を選択し、当該選択した第2のセンサ22により、各指の曲げ伸ばしの度合いを判断し、当該判断結果を表す情報を出力する。
[解像度]
 さらに、ここまでの説明では第1,第2のセンサ21,22の出力と、指検出部53の出力と、出力部54の出力とがいずれも同じ8ビットの解像度の信号であるものとして説明したが、本実施の形態はこれに限られない。
 例えば、第1,第2のセンサ21,22の出力を16ビット、指検出部53の出力(上述の式を用いる場合、Cmaxoutの値で調整される)を10ビット、出力部54は、通信を考慮して8ビットの出力としてもよい。
[情報処理装置側での処理]
 次に、本実施の形態のコントローラ装置1が送出した情報に基づく情報処理装置2における処理の例について説明する。
 本実施の形態のコントローラ装置1に接続された情報処理装置2は、コントローラ装置1からセンサ部15における検出結果と、ボタン操作部16の操作の内容と、揺動ボタン17の押し込み量を表す情報とともに、手幅の検出結果を表す情報や、中指から小指までの各指の曲げ伸ばし量を表す情報を、所定のタイミングごと(例えば1/60秒に一度のタイミングごと)に繰り返し受け入れる。
 また、情報処理装置2は、コントローラ装置1からセンサ部15における検出結果と、ボタン操作部16の操作の内容と、揺動ボタン17の押し込み量を表す情報とともに、第1のセンサおよび第2のセンサの出力(RAW)出力を受信してもよい。
 ここで中指から小指までの各指の曲げ伸ばし量を表す情報は既に述べたように、指を伸ばしたときに「0」、指が曲げられて、把持部11に接触している状態では最大値(例えば8ビットの情報とする場合「255」)となる情報である。また手幅を表す情報は、ユーザが手にコントローラ装置1を装着したときに、指または手の平の接触を検出している第1のセンサ21の数(人差し指側の第1のセンサ21から連続して指等の接触を検出している第1のセンサ21の数)に相当する。
 情報処理装置2は、この中指から小指までの各指の曲げ伸ばし量を表す情報等を用いて、ゲームアプリケーションの処理を行うほか、例えば、次に述べるようにコントローラ装置1を強く握ったか否かを判断する処理(握り込み判定)やユーザの識別等の処理を行ってもよい。
[握り込み判定]
 本実施の形態の一例では、既に説明したように、指の接触状態の検出閾値を低めに補正している。このとき制御回路19は、第2のセンサ22の出力する信号Ciの最大値Cmaxに比べ、指の検出処理に用いる信号の最大値C′maxを低い値としている(C′max<Cmax)。
 そこで本実施の形態のある例では、制御回路19が第2のセンサ22の出力信号を用いて、次のような判断を行ってもよい。
 すなわち、制御回路19は、所定の指に対応する第2のセンサ22、例えば中指,薬指,小指のそれぞれに対応する第2のセンサ22の出力CM,CR,CPと、それに基づく補正後の出力値(例えば、上述のCiout=f[Ci/C′max×Coutmax]によって演算される出力値、ここでi=M,R,P)とを用いて、指を曲げている(把持部11を把持している)状態であるか否か、及び、強く握っているか否か(握り込んでいるか否か)を判断する。
 具体的に制御回路19は、補正後の出力値Cioutが、いずれも最大値Coutmaxであるとき(Ci>C′maxであるとき)に、指を曲げている(把持部11を把持している)状態であると判断して、その旨の信号を情報処理装置2に出力する。
 また制御回路19は、第2のセンサ22の出力CM,CR,CPがいずれもC′maxを超えており、かつ、CM+CR+CP>Csum_thであるときに、ユーザが把持部11を握り込んでいると判断して、その旨の信号を情報処理装置2に出力する。なお、ここでCsum_thは、3×Cmax>Csum_th>3×C′maxなるしきい値である。
 つまり、この例の制御回路19は、第2のセンサ22の出力(RAW出力)がいずれも補正時の最大値C′maxを超え、かつ、その総和が所定のしきい値を超える場合に、握り込んでいると判断する。
 なお、この判断は、制御回路19ではなく、情報処理装置2において行われてもよい。この場合、制御回路19は、第2のセンサ22の出力(RAW出力)を、他の信号の出力とともに情報処理装置2に送信し、情報処理装置2が上記の処理を、制御回路19に代わって行い、ユーザが把持部11を握り込んでいるか否かを判断する。
[握り込み判定の他の例]
 また、ユーザが把持部11を握り込んでいるか否かの判断は別の方法で行われてもよい。この例では、情報処理装置2は、過去に受け入れた少なくともN回(Nは2以上の整数)分の、中指から小指までの各指の曲げ伸ばし量を表す情報を記憶し、その変化量を演算する。
 具体的に情報処理装置2は、前回受け入れた中指、薬指、小指のそれぞれの指についての曲げ伸ばし量の情報CMi-1,CRi-1,CPi-1と、今回受け入れた中指、薬指、小指のそれぞれの指についての曲げ伸ばし量の情報CMi,CRi,CPi(i=1,2,…)と、を用いて、その変化量
ΔCMi=CMi-CMi-1
ΔCRi=CRi-CRi-1
ΔCPi=CPi-CPi-1
を求める。
 そして、求めた変化量のすべてが予め定めた変化量しきい値DCthを超え、かつ、CMi,CRi,CPiのすべてが予め定めた接触量しきい値Cth(例えばCthは最大値であってもよい)以上であるとき、つまり「ΔCMi>DCth、かつ、ΔCRi>DCth、かつ、ΔCPi>DCthであり、かつ、CMi≧Cth、かつ、CRi≧Cth、かつ、CPi≧Cthである」ときに、ユーザがコントローラ装置1を強く握ったと判断する。
 この判断はすなわち、ユーザが比較的速い速度で指を曲げてコントローラ装置1の把持部11を把持したことを意味する。
 このように本実施の形態の情報処理装置2は、第2のセンサ22の検出結果に基づく出力の時間的変化に応じて、所定の処理を行ってもよい。
[ユーザ識別]
 また本実施の形態の情報処理装置2は、手の幅を表す情報を用いてユーザの識別処理を行ってもよい。
 この例では、情報処理装置2を利用するユーザは予め自己の手の幅を表す情報を、情報処理装置2に入力する。具体的に、情報処理装置2は、ユーザ登録の処理において、ユーザを特定する情報とともに、ユーザに対してコントローラ装置1を装着するよう案内する。そしてユーザがコントローラ装置1を装着し、手の幅を表す情報がコントローラ装置1から受信されると、情報処理装置2は、当該入力されたユーザを特定する情報と、手の幅を表す情報とを関連付けて記憶する。
 以降、情報処理装置2は、ユーザを識別する際に、ユーザにコントローラ装置1を装着するよう促す。ユーザがコントローラ装置1を装着し、手の幅を表す情報がコントローラ装置1から受信されると、情報処理装置2は、当該受信した手の幅を表す情報に関連付けられたユーザを特定する情報を取得する。そして当該取得した情報で特定されたユーザが情報処理装置2を利用しようとしているものとして、その後の処理を実行する。
 ここでその後の処理は例えば、識別されたユーザごとに予め定められたキーアサイン(どのボタンが押下されたときにどのような処理を行うかを設定したもの)に基づく処理を行う例等がある。
 また別の例では、情報処理装置2は、コントローラ装置1から最後に受信した手の幅を表す情報を記憶しておき、次にコントローラ装置1から手の幅を表す情報を受信したときに、記憶している情報と比較する。そして、これらの情報が互いに異なっている場合に、ユーザが交代したものとして所定の処理(ユーザが交代した場合の処理として予め定められた処理)を行う。
[指検出の処理]
 ここまでの説明においては、第1,第2のセンサ21,22の出力に基づく、各指の曲げ伸ばし量の情報は、コントローラ装置1において求められていたが、本実施の形態はこの例に限られない。
 例えばコントローラ装置1の制御回路19は、第1,第2のセンサ21,22の出力をそのまま情報処理装置2に対して出力してもよい。この場合、情報処理装置2は、第1,第2のセンサ21,22の出力を受信して、図5に例示した、手幅検出部51と、割り当て設定部52と、指検出部53と、出力部54との処理を行い、各指の曲げ伸ばし量の情報を得てもよい。
[ハンドジェスチャ]
 さらに本実施の形態では、各指の曲げ伸ばしの情報が取得できるため、例えば情報処理装置2は、人差し指と中指とを伸ばし(人差し指が伸びていることは、例えば揺動ボタン17が押下されていないこと等から推測する)、薬指と小指とを曲げた状態となった(いわば指で数字の2を表すポーズをとった)と認識することができる。
 そこで情報処理装置2は、予め手のポーズと、当該手のポーズがとられたときに実行するべき処理の内容とを関連付けて保持し、当該保持している手のポーズに一致するポーズがとられたと認識したときに、関連付けて保持されている処理の内容を実行することとしてもよい。この例によると、手によるジェスチャにて情報処理装置2の処理を制御できるようになる。
[アタッチメント装着の検出]
 またここまでの説明では、第1,第2のセンサ21,22はユーザの指を検出することとしていたが、本実施の形態では、他の物体の検出にこれらのセンサが用いられてもよい。
 例えば、コントローラ装置1の外周に、さらに別のアタッチメントを装着することが可能である場合、アタッチメントの、コントローラ装置1の外周の第1,第2のセンサ21,22に当接する位置に、第1,第2のセンサ21,22によって検出される対象(例えば金属板)を配しておくと、指の検出はできなくなるが、アタッチメントが装着されたことを検出可能となる。
 例えばアタッチメントをコントローラ装置1に取り付けたときに、コントローラ装置1の第2のセンサ22A及び22Fに当接するアタッチメント側の外周に金属板を配しておくと、第2のセンサ22A及び22Fにおいて指が接触しており、他の場所には指が接触していないかのような情報が出力される。
 情報処理装置2は、このような情報が入力されたときに、アタッチメントが取り付けられたと判断して、アタッチメントが取り付けられた場合の処理として予め定められた処理を実行する。このようなアタッチメントとしては、例えば自動車のハンドル型のアタッチメント等がある。
 またハンドル型のアタッチメントや、銃型のアタッチメントなど、複数種類のアタッチメントがある場合、アタッチメントの種類ごとに、第1,第2のセンサ21,22のどのセンサに対象物を検出させるか(どのセンサに対応する位置に金属板等の検出対象物を配しておくか)を異ならせてもよい。
 例えばハンドル型のアタッチメントでは、コントローラ装置1に取り付けたときに、コントローラ装置1の第2のセンサ22A及び22Fに当接するアタッチメント側の外周に金属板を配し、銃型のアタッチメントでは、コントローラ装置1に取り付けたときに、コントローラ装置1の第2のセンサ22B及び22Fに当接するアタッチメント側の外周に金属板を配しておく。
 このようにすると、情報処理装置2では、どのセンサにおいて指が接触しているかのような情報が出力され、どのセンサにおいて指が接触していないかのような情報が出力されるかにより、アタッチメントの種類を識別できる。
 なお、この場合に、例えばどのアタッチメントにおいても、第1のセンサ21のうち、通常の手の大きさ(手が極端に小さくない)ユーザが装着すれば指または手の平が接触したと判断すると想定される第1のセンサ21に当接する位置には、検出対象物を配しないこととしておく。このようにすると、第1のセンサ21において検出される手の大きさが、著しく小さい、あるいは第1のセンサ21において指の接触が検出されていないのに、第2のセンサ22のいずれかにおいて指の接触が検出されている、ということから、ユーザの指ではなく、アタッチメントの検出が行われていることを情報処理装置2が判別可能となる。
 1 コントローラ装置、2 情報処理装置、10 コントローラ本体、11 把持部、12 操作部、15 センサ部、16 ボタン操作部、17 揺動ボタン、19 制御回路、20 固定具、21 第1のセンサ、22 第2のセンサ、51,61 手幅検出部、52,62 割り当て設定部、53,63 指検出部、54 出力部。
 

Claims (9)

  1.  ユーザが手に装着するコントローラ装置であって、
     コントローラ本体と、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の位置に配される第1のセンサであって、ユーザの前記複数の各指と、自己自身の空間的な位置の変位を検出する第1のセンサと、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の範囲であって、前記第1のセンサが配される範囲とは異なる範囲に配される第2のセンサであって、ユーザの前記複数の各指と自己自身の空間的な位置の変位を検出する複数の第2のセンサと、
     を有し、
     前記第1のセンサの検出感度が、前記第2のセンサの検出感度より高く設定されているコントローラ装置。
  2.  請求項1に記載のコントローラ装置であって、
     前記第1のセンサは、前記コントローラ本体をユーザが握ったときに、ユーザの複数の指の付け根部分に対応する位置に配されるコントローラ装置。
  3.  請求項1または2に記載のコントローラ装置であって、
     前記第2のセンサは、前記コントローラ本体をユーザが握ったときに、ユーザの複数の指の腹から先端までの範囲の所定の位置に配されるコントローラ装置。
  4.  請求項1から3のいずれか一項に記載のコントローラ装置であって、
     前記第1のセンサのうち、指が接触していることを検出した第1のセンサの数により、コントローラ装置を装着しているユーザの手の大きさを推定する手段と、
     前記推定した手の大きさに基づいて、ユーザの少なくとも一部の各指ごとに、空間的な位置の変位を検出する第2のセンサを、前記複数の第2のセンサのうちからそれぞれ選択する手段と、
     前記各指について選択された第2のセンサの検出結果に基づいて、各指の当該第2のセンサに対する空間的な位置の変位に基づく情報を生成して出力する指検出手段と、
     を含むコントローラ装置。
  5.  請求項4に記載のコントローラ装置であって、
     前記指検出手段は、第2のセンサの各々について予め、検出対象物が近接していない状態で測定された基準情報を測定して記録し、
     前記選択された第2のセンサの検出結果を、基準情報からの変化量に基づく情報として補正して、当該補正した情報に基づいて各指と当該第2のセンサとの空間的な位置の変位に基づく情報を生成して出力するコントローラ装置。
  6.  請求項1から5のいずれか一項に記載のコントローラ装置であって、
     ユーザが手に装着した状態で把持可能な把持部を有し、
     前記第1のセンサは前記把持部の長手方向に沿って配置されているコントローラ装置。
  7.  請求項1から6のいずれか一項に記載のコントローラ装置であって、
     前記第2のセンサの少なくとも一つは、他の第2のセンサに比べ、大きい幅に亘って配されているコントローラ装置。
  8.  ユーザが手に装着するコントローラ装置の制御方法であって、
     当該コントローラ装置が、コントローラ本体と、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の位置に配される第1のセンサであって、ユーザの前記複数の各指と、自己自身の空間的な位置の変位を検出する第1のセンサと、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の範囲であって、前記第1のセンサが配される範囲とは異なる範囲に配される第2のセンサであって、ユーザの前記複数の各指と自己自身の空間的な位置の変位を検出する複数の第2のセンサと、
     を有し、
     前記第1のセンサの検出感度が、前記第2のセンサの検出感度より高く設定されており、
     ユーザの手の大きさを推定する手段が、前記第1のセンサのうち、指が接触していることを検出した第1のセンサの数により、コントローラ装置を装着しているユーザの手の大きさを推定し、
     選択手段が、前記推定した手の大きさに基づいて、ユーザの少なくとも一部の各指ごとに、空間的な位置の変位を検出する第2のセンサを、前記複数の第2のセンサのうちからそれぞれ選択し、
     指検出手段が、前記各指について選択された第2のセンサの検出結果に基づいて、各指の当該第2のセンサに対する空間的な位置の変位に基づく情報を生成して出力する、コントローラ装置の制御方法。
  9.  ユーザが手に装着するコントローラ装置であって
     コントローラ本体と、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の位置に配される第1のセンサであって、ユーザの前記複数の各指と、自己自身の空間的な位置の変位を検出する第1のセンサと、
     前記コントローラ本体をユーザが握ったときに、ユーザの複数の指が当接するコントローラ本体上の範囲であって、前記第1のセンサが配される範囲とは異なる範囲に配される第2のセンサであって、ユーザの前記複数の各指と自己自身の空間的な位置の変位を検出する複数の第2のセンサと、
     を有し、
     前記第1のセンサの検出感度が、前記第2のセンサの検出感度より高く設定されているコントローラ装置に接続されたコンピュータを、
     前記第1のセンサのうち、指が接触していることを検出した第1のセンサの数により、コントローラ装置を装着しているユーザの手の大きさを推定する手段と、
     前記推定した手の大きさに基づいて、ユーザの少なくとも一部の各指ごとに、空間的な位置の変位を検出する第2のセンサを、前記複数の第2のセンサのうちからそれぞれ選択する手段と、
     前記各指について選択された第2のセンサの検出結果に基づいて、各指の当該第2のセンサに対する空間的な位置の変位に基づく情報を生成して出力する指検出手段と、として機能させるプログラム。

     
PCT/JP2018/039096 2018-10-19 2018-10-19 コントローラ装置、その制御方法、及びプログラム WO2020079854A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020551714A JPWO2020079854A1 (ja) 2018-10-19 2018-10-19 コントローラ装置、その制御方法、及びプログラム
PCT/JP2018/039096 WO2020079854A1 (ja) 2018-10-19 2018-10-19 コントローラ装置、その制御方法、及びプログラム
US17/284,065 US11429187B2 (en) 2018-10-19 2018-10-19 Controller apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039096 WO2020079854A1 (ja) 2018-10-19 2018-10-19 コントローラ装置、その制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020079854A1 true WO2020079854A1 (ja) 2020-04-23

Family

ID=70283798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039096 WO2020079854A1 (ja) 2018-10-19 2018-10-19 コントローラ装置、その制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11429187B2 (ja)
JP (1) JPWO2020079854A1 (ja)
WO (1) WO2020079854A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609655B2 (en) * 2017-05-24 2023-03-21 Murata Manufacturing Co., Ltd. Stimulus transmission device
US11504610B2 (en) * 2020-02-14 2022-11-22 Valve Corporation Dynamically enabling or disabling controls of a controller

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3179614U (ja) * 2012-08-29 2012-11-08 フロンティア株式会社 携帯端末機用カバー
JP2013513840A (ja) * 2009-12-11 2013-04-22 アイデント・テクノロジー・アーゲー 把持および近接の検出のためのセンサデバイスおよび方法
US8428664B1 (en) * 2010-02-27 2013-04-23 Philip W. Wyers Case assembly for handheld electronic devices and method of use therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP4171046B2 (ja) * 2004-05-25 2008-10-22 株式会社ソニー・コンピュータエンタテインメント 入力装置及び方法、文字入力方法
US9317123B2 (en) * 2012-06-13 2016-04-19 University Of Utah Research Foundation Skin stretch feedback devices, systems, and methods
WO2016038953A1 (ja) 2014-09-10 2016-03-17 ソニー株式会社 検出装置、検出方法、制御装置、および制御方法
WO2017043400A1 (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
US10850192B2 (en) 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP6626576B2 (ja) * 2016-07-21 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び制御システム
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
JP6626992B2 (ja) * 2016-12-15 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US11813518B2 (en) * 2018-10-19 2023-11-14 Sony Interactive Entertainment Inc. Information processing system, controller apparatus, information processing apparatus, and program
JP6947776B2 (ja) * 2019-04-26 2021-10-13 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、その制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013513840A (ja) * 2009-12-11 2013-04-22 アイデント・テクノロジー・アーゲー 把持および近接の検出のためのセンサデバイスおよび方法
US8428664B1 (en) * 2010-02-27 2013-04-23 Philip W. Wyers Case assembly for handheld electronic devices and method of use therefor
JP3179614U (ja) * 2012-08-29 2012-11-08 フロンティア株式会社 携帯端末機用カバー

Also Published As

Publication number Publication date
US11429187B2 (en) 2022-08-30
US20210405748A1 (en) 2021-12-30
JPWO2020079854A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US10969867B2 (en) Information processing system, controller device, controller device control method and program
JP7000593B2 (ja) 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
JP6831475B2 (ja) 情報処理システム、コントローラデバイス、及び情報処理装置
US10850192B2 (en) Control apparatus and control program
US20180067545A1 (en) Embedded grasp sensing devices, systems, and methods
WO2020079854A1 (ja) コントローラ装置、その制御方法、及びプログラム
JP7057389B2 (ja) 情報処理装置、制御方法、プログラム、及び記憶媒体
JP2013542531A5 (ja) 複雑な表面形状用のソリッドステートタッチセンサを備えた制御システムおよび制御方法
US11714488B2 (en) Controller apparatus, method of controlling controller apparatus, and program
Borik et al. Smart glove to measure a grip force of the workers
JP2005007486A (ja) ロボットハンドの把持制御装置
JP6932267B2 (ja) コントローラ装置
JP6661783B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2019159332A1 (ja) 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム
CN107139192A (zh) 一种用于五指灵巧手自适应抓取的触滑觉传感网
JPWO2018079383A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
KR20160149403A (ko) 웨어러블 데이터 입력장치 및 이를 이용한 데이터 입력방법
WO2023037548A1 (ja) 情報処理システム、コントローラ装置、その制御方法、及びプログラム
KR20190041279A (ko) 구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법
JPWO2021001911A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190041277A (ko) 신축성 소재를 이용한 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법
JPWO2023223403A5 (ja)
JP2023129842A (ja) データグローブ
JP2006137001A (ja) 把持物体の位置、姿勢修正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936956

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551714

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936956

Country of ref document: EP

Kind code of ref document: A1