WO2016038953A1 - 検出装置、検出方法、制御装置、および制御方法 - Google Patents

検出装置、検出方法、制御装置、および制御方法 Download PDF

Info

Publication number
WO2016038953A1
WO2016038953A1 PCT/JP2015/066387 JP2015066387W WO2016038953A1 WO 2016038953 A1 WO2016038953 A1 WO 2016038953A1 JP 2015066387 W JP2015066387 W JP 2015066387W WO 2016038953 A1 WO2016038953 A1 WO 2016038953A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
finger
unit
controller
command
Prior art date
Application number
PCT/JP2015/066387
Other languages
English (en)
French (fr)
Inventor
中村　仁
典之 鈴木
謙典 北村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016547727A priority Critical patent/JP6669069B2/ja
Priority to US15/502,226 priority patent/US10635171B2/en
Priority to CN201580044968.7A priority patent/CN106575164B/zh
Priority to EP15840038.2A priority patent/EP3193238A4/en
Publication of WO2016038953A1 publication Critical patent/WO2016038953A1/ja
Priority to US16/816,725 priority patent/US11157080B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present disclosure relates to a detection device, a detection method, a control device, and a control method.
  • Patent Document 1 describes a technique for estimating a hand shape from image data captured by a camera.
  • Patent Document 2 infrared light is emitted from a light source arranged at the wrist, and the infrared light reflected by a finger is received by an infrared camera (imager) to perform image recognition.
  • imager infrared camera
  • Japanese Patent Application Laid-Open No. 2004-26883 describes a technique for starting the recognition process by presenting to the device side that the user intends to input a voice by holding the hand over the camera and recognizing a specific voice.
  • Patent Document 4 describes a technique for detecting the amount of bending of a finger by wearing a glove with a built-in sensor in the hand.
  • the recognizable range has a blind spot, and the recognizable location and range are limited.
  • an image of a hand is taken with a camera away from the hand, it is easily affected by ambient ambient light, and the load of image processing for estimating the shape of a finger from the image is large.
  • the image shows not only the hand but also the user's face and body, the user may feel a psychological burden.
  • the technique described in Patent Document 2 if the wrist is bent or twisted, the fingers may enter a blind spot with respect to the light source or the camera, and it may be difficult to estimate the hand shape.
  • the image recognition process is a process with a relatively high processing load.
  • a new and improved detection capable of preventing the occurrence of occlusion and more reliably detecting an operation using the shape of the user's finger while simplifying the mounted parts and the operation procedure.
  • a device, a detection method, a control device, and a control method are proposed.
  • a detection device including a non-contact sensor unit that detects the shape of a finger, and a mounting unit that mounts the non-contact sensor unit on the hand on the distal side of the wrist.
  • the mounting unit mounts the non-contact sensor unit on the hand on the distal side of the wrist, and the non-contact sensor unit detects the shape of the finger.
  • an acquisition unit that acquires a signal indicating the shape of a finger, which is detected by a non-contact sensor unit attached to the hand on the distal side of the wrist, and the shape of the finger
  • a control device including a command issuing unit that issues a command is provided.
  • a signal indicating a finger shape detected by a non-contact sensor attached to the hand on the distal side of the wrist portion is acquired, and the processor responds to the finger shape. Issuance of a command.
  • FIG. 3 is a diagram illustrating a first example of a controller according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a first example of a controller according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a second example of a controller according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a second example of a controller according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a third example of a controller according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a third example of a controller according to the first embodiment of the present disclosure. It is a figure showing an example of a system concerning a 1st embodiment of this indication.
  • FIG. 3 is a diagram illustrating a first example of a controller according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a first example of a controller according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing an example of hand sign recognition in the first embodiment of the present disclosure. It is a figure for demonstrating the detection method of the shape of the finger in 1st Embodiment of this indication.
  • 3 is a diagram for describing an internal structure of a controller according to the first embodiment of the present disclosure.
  • FIG. 4 is a diagram for describing an example of authentication using a controller according to the first embodiment of the present disclosure.
  • FIG. It is a figure which shows the example of the wearable terminal which concerns on 2nd Embodiment of this indication. It is a block diagram showing an example of functional composition in some embodiments of this indication.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIGS. 1A and 1B are diagrams illustrating a first example of a controller according to the first embodiment of the present disclosure.
  • 1A is a view of the controller as viewed from the palm side
  • FIG. 1B is a view of the controller as viewed from the back side.
  • the controller 100A is held by the left hand of the user.
  • the controller 100A includes a grip member 101A, a sensor array 103A, a lamp 105, a stick 107, a wheel 109, a push button 111, a select lever 113, and a grip button 115 on the palm side.
  • the controller 100A has a backpack 117 on the back side of the hand.
  • the backpack 117 is provided with a speaker 119.
  • the gripping member 101 ⁇ / b> A and the backpack 117 are connected by a belt 121.
  • the controller 100A is an example of a detection device in the present disclosure. Hereinafter, each component will be further described.
  • the gripping member 101A is gripped by the user's left hand.
  • the gripping member 101A forms a housing to which the sensor array 103A and the like are fixed. Accordingly, the gripping member 101A wears the sensor array 103A on the hand by being gripped by the user's left hand. More specifically, the gripping member 101A attaches the sensor array 103A to the palm side.
  • the gripping member 101A (the same applies to the gripping member 101B described below) is an example of a mounting unit included in the controller 100A that is an example of the detection device according to the present embodiment.
  • the sensor array 103A is an example of a non-contact sensor unit included in the controller 100A that is an example of the detection apparatus according to the present embodiment.
  • the sensor array 103A is fixed to a housing formed by the gripping member 101A, and is disposed on the palm side when the gripping member 101A is gripped by the user's left hand.
  • the sensor array 103A includes optical sensors respectively corresponding to one or a plurality of fingers.
  • An optical sensor is an example of a non-contact sensor. More specifically, the optical sensor has a light emitting unit and a light receiving unit, and measures the shape of the finger by measuring the ratio of the light emitted from the light emitting unit reflected to the finger and entering the light receiving unit. For example, it can be detected as a bending amount of a finger.
  • the sensor array 103A (the same applies to sensor arrays 103B and 103C described later) is attached to the hand on the distal side of the wrist (wrist) by the grip member 101A. Therefore, even if the wrist is warped or twisted, it is difficult for the fingers to enter the blind spot of the detection range by the sensor array 103A. Therefore, in the present embodiment, it is possible to easily detect the shape of a finger using light reflection. Signal processing in such a detection method has a lower processing load than, for example, image recognition processing. Therefore, power consumption and device cost can be kept low. Further, since the device does not hang on the wrist and fits in the palm portion, the user's hand has a high degree of freedom of movement and the feeling of burden due to wearing is small.
  • the shape of the finger can be detected more reliably without occurrence of occlusion.
  • the principle of finger shape detection by an optical sensor included in the sensor array 103A will be described later.
  • the sensor array 103A does not necessarily include optical sensors corresponding to all fingers, and may include optical sensors corresponding to only some fingers.
  • the sensor array 103A includes two optical sensors respectively corresponding to the ring finger and the little finger.
  • the lamp 105 is an output device that provides visual feedback to the user by emitting light. As will be described later, the lamp 105 may emit light as a result of processing based on the shape of a finger detected by the sensor array 103A.
  • the stick 107, the wheel 109, the push button 111, the select lever 113, and the grip button 115 are examples of operators that detect an operation by a user's hand or fingers.
  • the controller 100A may transmit operation signals detected by these operators to an external device to be described later in addition to signals based on the finger shape detected by the sensor array 103A.
  • the backpack 117 incorporates components necessary for driving and communication of the controller 100A such as a battery and a communication device. These constituent elements are arranged in a suitably dispersed manner in a housing formed by the gripping member 101A and the backpack 117.
  • the backpack 117 can be deleted depending on circumstances. In that case, components necessary for driving and communication of the controller 100A scheduled to be incorporated, a speaker 119, and the like can be incorporated in the gripping member 101A (the same applies to controllers 100B and 100C described below).
  • the speaker 119 is an output device that provides auditory feedback to the user by outputting sound. As will be described later, the speaker 119 may output sound as a result of processing based on the shape of a finger detected by the sensor array 103A.
  • the controller 100A includes an IMU (Inertial Measurement Unit) and a vibrator as built-in components in addition to the illustrated components.
  • IMU Inertial Measurement Unit
  • FIGS. 2A and 2B are diagrams illustrating a second example of the controller according to the first embodiment of the present disclosure.
  • 2A is a view of the controller as viewed from the palm side
  • FIG. 2B is a view of the controller as viewed from the back side.
  • the controller 100B is held by the right hand of the user.
  • the controller 100B includes a gripping member 101B, a sensor array 103B, a lamp 105, a microphone 123, a flick lever 125, and a grip button 115 on the palm side.
  • the controller 100B has a backpack 117 on the back side of the hand.
  • the backpack 117 is provided with a speaker 119.
  • the holding member 101 ⁇ / b> B and the backpack 117 are connected by a belt 121.
  • the controller 100B is also an example of a detection device in the present disclosure.
  • each component will be further described.
  • description is abbreviate
  • the gripping member 101B is gripped by the user's right hand. Similar to the gripping member 101A (for the left hand), the gripping member 101B forms a housing to which the sensor array 103B and the like are fixed.
  • the sensor array 103B includes optical sensors corresponding to each of a plurality of fingers, similar to the sensor array 103A. Unlike the sensor array 103A, the sensor array 103B includes four optical sensors respectively corresponding to four fingers from the index finger to the little finger. The number of optical sensors is not limited to four. The sensor array 103B may include less than four optical sensors or may include more than four optical sensors. In such a case, one optical sensor may be assigned to a plurality of fingers, or a plurality of optical sensors may be assigned to one finger.
  • the microphone 123 functions as a sound sensor that detects sound generated near the hand to which the controller 100B is attached.
  • the flick lever 125 is an example of an operator that detects an operation with a user's finger.
  • the controller 100B is built in the controller 105, in addition to the signal based on the finger shape detected by the sensor array 103B, the signal based on the sound detected by the microphone 123, the operation signal detected by the flick lever 125, and the like.
  • the IMU output signal may be transmitted to an external device described later.
  • the controller 100B also includes an IMU and a vibrator as built-in components in addition to the illustrated components.
  • 3A and 3B are diagrams illustrating a third example of the controller according to the first embodiment of the present disclosure.
  • 3A is a view of the controller as viewed from the palm side
  • FIG. 3B is a view of the controller as viewed from the back side.
  • the controller 100C according to the third example is held by the right hand of the user.
  • the controller 100C includes a gripping member 101B, a sensor array 103C, a lamp 105, a microphone 123, a flick lever 125, a push button 111, and a grip button 115 on the palm side.
  • the controller 100C has a backpack 117 on the back side of the hand.
  • the backpack 117 is provided with a speaker 119.
  • the holding member 101 ⁇ / b> B and the backpack 117 are connected by a belt 121.
  • the controller 100C is also an example of a detection device in the present disclosure.
  • each component will be further described. Note that the same components as those of the controller 100A according to the first example and the controller 100B according to the second example are denoted by the same reference numerals, and description thereof is omitted.
  • the sensor array 103C includes optical sensors corresponding to each of a plurality of fingers, similarly to the sensor arrays 103A and 103B.
  • the sensor array 103C includes optical sensors respectively corresponding to four fingers from the index finger to the little finger.
  • the controller 100C also includes an IMU and a vibrator as built-in components in addition to the illustrated components.
  • the controller 100A can be used in combination as a left-hand controller, and the controller 100B or the controller 100C can be used as a right-hand controller.
  • the user holds the controller 100A with the left hand and the controller 100B with the right hand.
  • the user may hold the controller 100A with the left hand and hold the controller 100C with the right hand.
  • the controllers 100A, 100B, and 100C are for the left hand or the right hand. That is, the configuration of each controller may be realized by inverting the left and right. Accordingly, for example, the user may hold the controller 100B and the horizontally reversed controller 100B with the left and right hands, respectively. Similarly, the user may hold the controller 100A that is horizontally reversed from the controller 100A or the controller 100C that is horizontally reversed from the controller 100C with the left and right hands.
  • the combinations of the controllers 100 are free.
  • an output device such as the lamp 105 or the speaker 119 may be provided in only one of the controllers 100.
  • these may be provided in both controllers 100 to realize, for example, a stereo effect by the speaker 119.
  • the controller 100 does not necessarily have to be gripped by both the left hand and the right hand of the user, and may be gripped by only one of the left hand or the right hand.
  • FIG. 4 is a diagram illustrating an example of a system according to the first embodiment of the present disclosure.
  • the system 10 according to the present embodiment includes a controller 100, a console device 200, and an application device 300.
  • the controller 100 includes a left-hand controller 100L and a right-hand controller 100R.
  • Each of the left-hand controller 100L and the right-hand controller 100R can be, for example, one of the controllers 100A, 100B, and 100C described above.
  • components included in the controller 100 in common in the present embodiment will be described.
  • a sensor array 103, an IMU (Inertial Measurement Unit) 131, a vibrator 133, another input / output device 135, and a calculation unit 137 are shown as such components.
  • the sensor array 103 can be, for example, the sensor arrays 103A, 103B, and 103C included in the controllers 100A, 100B, and 100C described above.
  • the sensor array 103 includes optical sensors corresponding to the plurality of fingers.
  • the optical sensor has a light emitting unit and a light receiving unit, and measures a ratio of light emitted from the light emitting unit reflected on an object and incident on the light receiving unit. Thereby, the shape of each finger can be detected, for example, as a bending amount of the finger.
  • the sensor array 103 outputs the detection result of the finger shape to the calculation unit 137.
  • the IMU 131 includes, for example, a 3-axis acceleration sensor and a 3-axis gyro sensor. Further, the IMU 131 may include a triaxial geomagnetic sensor. For example, the IMU 131 functions as a posture sensor that detects the posture of the hand holding the controller 100 based on the detected acceleration value. The IMU 131 may function as a motion sensor that detects the movement of the hand holding the controller 100 based on the detected values of acceleration and angular velocity. The IMU 131 outputs the detection result of acceleration, angular velocity, and / or geomagnetism to the computing unit 137.
  • the vibrator 133 transmits vibration to the hand holding the controller 100. Vibrator 133 operates in accordance with a control signal input from calculation unit 137. As will be described later, the vibrator 133 may include a low-frequency vibrator and a high-frequency vibrator. In this embodiment, the vibrator 133 is an example of an output unit that outputs a processing result based on the shape of a finger detected by the sensor array 103.
  • Other input / output devices 135 include lamps (for example, LED: light-emitting diode), switches (including SW: push buttons, etc.), and / or sticks.
  • the configuration of the other input / output device 135 may be different between the left-hand controller 100L and the right-hand controller 100R.
  • the other input / output device 135 includes a stick 107, a wheel 109, a push button 111, a select lever 113, a grip button 115, and a flick lever 125. These components are examples of an operator that detects an operation with a hand or a finger.
  • the other input / output device 135 includes a microphone 123. The microphone is an example of a sound sensor that detects sound generated near the hand. These input devices output detection results such as operations or sounds by hand or fingers to the calculation unit 137.
  • the other input / output device 135 includes a lamp 105 and a speaker 119.
  • the lamp 105 and the speaker 119 are examples of an output unit that outputs a processing result based on a finger shape or the like. These output devices operate according to a control signal input from the calculation unit 137.
  • the calculation unit 137 is implemented by a processor such as a CPU built in the controller 100. As described above, the calculation unit 137 receives the output of the finger shape detection result by the sensor array 103. In addition, the calculation unit 137 receives the output of the acceleration, angular velocity, and / or geomagnetism detection result by the IMU 131. Further, the calculation unit 137 receives an output of a detection result such as an operation or sound by a switch, a stick, a microphone, or the like included in another input / output device 135. The calculation unit 137 pre-processes these detection results as necessary, and transmits them to the console device 200 via the communication interface 150.
  • a detection result such as an operation or sound by a switch, a stick, a microphone, or the like included in another input / output device 135.
  • the calculation unit 137 pre-processes these detection results as necessary, and transmits them to the console device 200 via the communication interface 150.
  • the arithmetic unit 137 outputs a control signal to a lamp or a speaker included in the vibrator 133 and the other input / output device 135.
  • the calculation unit 137 generates a control signal based on information received from the console device 200 via the communication interface 150.
  • the communication interface 150 can be a wireless communication interface such as Bluetooth (registered trademark) or Wi-Fi. In other examples, the communication interface 150 may include infrared communication. The communication interface 150 may include a wired communication interface.
  • the console device 200 is a terminal device used with the controller 100.
  • the console device 200 can be, for example, a game terminal device, a mobile terminal device, a stationary home appliance information terminal device, a medical device device, a broadcast device device, or the like.
  • the console device 200 may be a dedicated terminal device having functions related to the controller 100 or may have other functions.
  • the console device 200 includes an LED driver 201, a vibrator driver 203, a finger shape recognition engine 205, a posture recognition engine 207, a bus 209, a communication driver 211, a communication interface 213, a command transmission / reception unit 215, an audio driver 217, And an ultrasonic tag processing unit 219.
  • the LED driver 201 is an LED lamp driver included in another input / output device 135 of the controller 100.
  • the LED driver 201 generates an LED lamp control signal according to the command received from the command transmission / reception unit 215 via the bus 209.
  • the control signal is transmitted to the controller 100 via the bus 209, the communication driver 211, and the communication interface 213.
  • the vibrator driver 203 is a driver for the vibrator 133 included in the controller 100.
  • the vibrator driver 203 generates a vibrator control signal in accordance with a command received from the command transmission / reception unit 215 via the bus 209.
  • the control signal is transmitted to the controller 100 via the bus 209, the communication driver 211, and the communication interface 213.
  • the finger shape recognition engine 205 recognizes the finger shape based on the finger shape detection result provided by the sensor array 103 included in the controller 100, more specifically, the amount of finger bending.
  • the detection result is provided from the controller 100 via the communication interface 213 and the communication driver 211.
  • the finger shape recognition engine 205 recognizes the shape of the finger by comparing the provided detection result with a predefined pattern. Further, the finger shape recognition engine 205 issues a command corresponding to the recognized finger shape.
  • the issued command is transmitted to the application apparatus 300 via the bus 209 and the command transmission / reception unit 215.
  • the posture recognition engine 207 recognizes the posture of the hand based on the acceleration, angular velocity, and / or detection result of the geomagnetic sensor provided by the IMU 131 included in the controller 100.
  • the detection result is provided from the controller 100 via the communication interface 213 and the communication driver 211.
  • the posture recognition engine 207 recognizes the posture of the hand based on the direction of the gravity component included in the provided detection result. Further, the posture recognition engine 207 issues a command according to the recognized hand posture.
  • the issued command is transmitted to the application apparatus 300 via the bus 209 and the command transmission / reception unit 215.
  • the console device 200 is similar to the hand shape recognition engine 205 that issues a command according to the shape of a finger or the posture recognition engine 207 that issues a command according to the hand posture. You may have the command issuing part which issues the command according to operation and / or the sound etc. which generate
  • the bus 209 is an inter-process communication implementation for exchanging information between drivers and engines in the console device 200.
  • the bus 209 is also called, for example, a D-Bus or a message bus.
  • the communication driver 211 controls communication with the controller 100 via the communication interface 213. Therefore, the communication driver 211 is an example of an acquisition unit that acquires a signal indicating the shape of the finger detected by the non-contact sensor unit attached to the hand in the present embodiment. The communication driver 211 may further acquire a signal indicating vibration based on the posture of the hand, the movement of the hand, the operation with the hand or fingers, and / or the sound generated near the hand. As described above, the communication between the console device 200 and the controller 100 is executed by, for example, wireless communication such as Bluetooth (registered trademark) or Wi-Fi, infrared communication, or a wired communication interface. The communication driver 211 and the communication interface 213 are designed in conformity with these communication methods.
  • the command transmission / reception unit 215 transmits, for example, a command issued by the finger shape recognition engine 205 or the posture recognition engine 207 to the application apparatus 300 via the input interface 251. Further, the command transmission / reception unit 215 acquires an operation command provided by an operator such as a switch or a stick included in the other input / output device 135 of the controller 100 via the communication interface 213, the communication driver 211, and the bus 209. Then, it may be transmitted to the application apparatus 300.
  • the application device 300 is a device different from a detection device (for example, the controller 100) including a non-contact sensor unit.
  • the command transmission / reception unit 215 receives, for example, commands for the LED driver 201 and the vibrator driver 203 from the application apparatus 300 via the input interface 251.
  • the input interface 251 can include, for example, a virtualized HID (Human Interface Device).
  • the audio driver 217 exchanges audio data with the application apparatus 300 via the audio stream 253. More specifically, the audio driver 217 acquires audio data acquired by a microphone or the like included in another input / output device 135 of the controller 100 via the communication interface 213 and transmits the audio data to the application device 300. Also, based on the audio data received from the application device 300, audio data to be output from a speaker included in another input / output device 135 of the controller 100 is transmitted via the communication interface 213.
  • the ultrasonic tag processing unit 219 executes processing related to the ultrasonic tag included in the controller 100 in some embodiments, as will be described later.
  • the application device 300 is a device that provides an application using the controller 100.
  • the application device 300 may be a terminal device similar to the console device 200, for example. In this case, the application device 300 may be the same device as the console device 200.
  • the application device 300 may be a wearable device. Alternatively, the application device 300 may be a server device that communicates with the console device 200 via a network.
  • the application apparatus 300 includes a motion recognition engine 301, an input device driver 303, and a sound driver 305.
  • the device when the console device 200 and the application device 300 are the same device, the device is generated in the shape of a finger, hand posture, hand movement, hand or finger operation, and / or near the hand.
  • a command issuing unit for example, a component in which the above-described finger shape recognition engine 205, posture recognition engine 207, motion recognition engine 301, and input device driver 303 are integrated
  • a transmission unit for example, a component in which the communication driver 211 and the command transmission / reception unit 215 are integrated
  • a detection device for example, the controller 100
  • a non-contact sensor unit may be included.
  • the motion recognition engine 301 is based on the acceleration, angular velocity, and / or geomagnetism detection results provided by the IMU 131 included in the controller 100, and the output results of the finger shape recognition engine 205 and the posture recognition engine 207. Recognize The detection result is provided from the controller 100 via the console device 200.
  • the motion recognition engine 301 issues a command corresponding to the recognized hand motion to the input device driver 303 and / or the sound driver 305.
  • the motion recognition engine 301 is implemented in the application device 300, but in another example, the motion recognition engine may be implemented in the console device 200.
  • the input device driver 303 executes control of a device recognized as an input device in the application provided by the application apparatus 300.
  • the input device driver 303 is provided by a command issued by the finger shape recognition engine 205 or the posture recognition engine 207 of the console device 200, or an operator such as a switch or a stick included in the other input / output device 135 of the controller 100.
  • An operation command is received, and processing related to the application is executed based on these commands.
  • the input device driver 303 issues commands for the LED driver 201 and the vibrator driver 203 of the console device 200. These commands are transmitted to the console device 200 via the input interface 251.
  • the sound driver 305 executes control related to sound in the application provided in the application apparatus 300. For example, the sound driver 305 transmits audio data to the console device via the audio stream 253 according to a command issued by the motion recognition engine 301 or the input device driver 303.
  • the system 10 as described above can recognize an operation of an application executed by a user using a hand or fingers based on the shape of the finger and the posture or movement of the hand.
  • combinations of finger shape and hand posture can be recognized as various hand signs.
  • the combination of the shape of a finger and the movement of the hand can be recognized as various actions using the hand and fingers, such as opening, grasping, turning, and throwing. Therefore, in the present embodiment, the recognition accuracy is greatly improved as compared with the case where the operation is recognized only by the movement of the hand, for example.
  • FIG. 5 is a diagram for describing an example of hand sign recognition in the first embodiment of the present disclosure.
  • a hand sign that indicates opening a menu is recognized.
  • A a command to open a menu is issued by recognizing the hand sign alone.
  • B since the push button 111 is provided on the controller 100, in addition to recognizing the hand sign, a message such as “Please press the button to open the menu” is voiced or the like When the button is pressed, a command to open the menu can be issued.
  • the accuracy of finger shape recognition is improved by providing the sensor array 103 in the controller 100, for example, even when a hand sign is recognized alone as in the example A, the recognition is performed with a certain degree of accuracy. Is possible.
  • the recognition of the hand sign and the subsequent operation of the operator such as the push button 111 are recognized in combination, the shape of the finger and the posture of the hand happen to be similar to the hand sign. Even if it does, it can prevent issuing the command of opening a menu against a user's intention. In addition, it can be improved that it takes time to input a gesture or the same command cannot be input continuously.
  • FIG. 6 is a diagram for describing a finger shape detection method according to the first embodiment of the present disclosure.
  • the sensor array 103 provided in the controller 100 detects the shape of a finger using an optical sensor.
  • the sensor array 103 includes four optical sensors 1031.
  • the optical sensors 1031 correspond to the four fingers from the index finger to the little finger, respectively.
  • the optical sensor 1031 includes a light emitting unit that emits light of a predetermined wavelength and a light receiving unit that receives light reflected by the finger.
  • the optical axes of the light emitting unit and the light receiving unit are set so as to pass through the positions when the respective fingers are bent.
  • the light emitted from the light emitting unit goes straight without being reflected by the finger, and the light receiving unit does not receive the reflected light.
  • the light receiving unit receives stronger reflected light. Therefore, the amount of bending of the finger can be detected based on the intensity of the reflected light received by the light receiving unit.
  • each optical sensor 1031 is arranged so that the distance between the sensor and the first joint of the finger becomes a predetermined value in a state where the user has pulled the hand force and the finger is bent naturally.
  • the arrangement of the optical sensors 1031 is, for example, the mounting position and angle of the sensor array 103 in the controller 100, the distance d between the optical sensors 1031 in the sensor array 103, and the light receiving unit and the light emitting unit of each optical sensor 1031. It can be adjusted according to the mounting angle.
  • the optical sensor 1031 constituting the sensor array 103 as described above for example, a VCSEL (Vertical Cavity Surface Emitting LASER) sensor can be used.
  • the sensor array 103 may be configured by an optical sensor other than the VCSEL sensor, and may be configured by various non-contact sensors without being limited to the optical sensor.
  • the sensor array 103 can be configured by an electrostatic sensor, a thermal sensor, a sound wave (ultrasound) sensor, a visible light sensor (camera), a radio wave sensor, or the like.
  • a non-contact sensor including the sensor array 103 as described above on the palm side, there is no occlusion at the time of detection of the sensor for detecting the finger shape, and the finger is more reliably detected.
  • the shape can be detected.
  • Occlusion is mainly an optical term, but the same applies to non-contact sensors other than optical sensors. That is, as long as it is a non-contact sensor, the detection accuracy is improved when there is no obstacle between the object (finger) and the sensor.
  • the console device 200 and the user may be separated from each other.
  • this embodiment is advantageous compared to a case where gesture recognition is performed using, for example, a camera fixed to the console device.
  • FIG. 7 is a diagram for describing the internal structure of the controller according to the first embodiment of the present disclosure.
  • FIG. 7 shows the internal structure of the gripping member 101 of the controller 100.
  • the illustrated controller 100 corresponds to the controller 100B according to the second example described above with reference to FIGS. 2A and 2B in that the sensor array 103B includes four optical sensors, but other examples.
  • the internal structure of the controller 100 is also the same.
  • the casing formed by the gripping member 101 includes the IMU 131 and the vibrators 133a and 133b.
  • a sensor array 103, a lamp 105 and a grip button 115 disposed on the surface of the gripping member 101, and an optical sensor 1031 included in the sensor array 103 are also illustrated.
  • the vibrators 133a and 133b will be further described.
  • the vibrator 133a includes, for example, an eccentric motor, and generates low-frequency vibration. Vibrator 133a is fixed to a position closer to the index finger of gripping member 101 (a position where the y-axis coordinate in the figure is larger), and transmits low-frequency vibrations to the hand.
  • the vibrator 133b is configured to include, for example, a linear motor, and generates high-frequency vibration. Vibrator 133b is fixed at a position closer to the little finger of gripping member 101 (a position where the y-axis coordinate in the figure is smaller), and transmits high-frequency vibrations to the hand.
  • the vibrators 133a and 133b By arranging the vibrators 133a and 133b as described above, low frequency vibration can be transmitted to a position close to the index finger of the hand, and high frequency vibration can be transmitted to a position close to the little finger. By separating vibrations and transmitting them to hands at different positions in this way, it is possible to express fine vibration nuances as compared with, for example, a single vibrator.
  • the arrangement of the low-frequency vibrator (vibrator 133a) near the index finger and the high-frequency vibrator (vibrator 133b) near the little finger reflects the structure and sensory characteristics of the hand.
  • vibrators 133 that generate vibrations having different frequencies may be provided in a different arrangement depending on the characteristics of vibrations to be transmitted. In other embodiments, a single vibrator 133 may be provided.
  • low frequency vibration and high frequency vibration in the description of the vibrators 133a and 133b indicate that the vibration frequencies generated by the vibrator 133a and the vibrator 133b are different from each other. It is not intended to be limited to a specific frequency.
  • FIG. 8 is a diagram for describing an example of authentication using the controller according to the first embodiment of the present disclosure.
  • the user attaches the controllers 100L and 100R to the left and right hands and approaches the console device 200.
  • one of the controllers 100L and 100R receives the weak radio beacon signal that the console device 200 periodically transmits from the antenna 221.
  • the controllers 100L and 100R are activated from the standby state, and transmit a signal notifying that the controllers 100L and 100R are approaching to the console device 200.
  • the controllers 100L and 100R each have a beacon signal reception function, and as a result, the probability that a beacon signal can be received is increased.
  • the controllers 100L and 100R When pairing of communication is completed between the controllers 100L and 100R and the console device 200, the controllers 100L and 100R turn on the lamp 105 in a predetermined color (for example, blue) as an indication of completion of pairing, and also the speaker. A sound such as “HELLO” is output from 119.
  • a predetermined color for example, blue
  • the console apparatus 200 includes a stereo depth camera 223 and a beam forming microphone 225, and detects lighting of the lamp 105 and sound output from the speaker 119 in the controllers 100L and 100R. Thereby, the console device 200 specifies the direction in which the user is present and the approximate position of the user. Further, the console device 200 captures the specified position and direction using a camera, and collates the face image of the user included in the acquired image with a face image registered in advance. When the collation of the face image is completed, the console device 200 permits the login to the console device 200, assuming that the user has been authenticated. Alternatively, when the user speaks a specific phrase such as “login” toward the console device 200, the console device 200 performs speaker recognition of the spoken voice, and the speaker matches the registered user. In some cases, login to the console device 200 may be permitted.
  • FIG. 9 is a diagram illustrating an example of a wearable terminal according to the second embodiment of the present disclosure.
  • the wearable terminal 400 according to the present embodiment includes a frame 401, a sensor array 403, a housing 405, and a display 407.
  • the wearable terminal 400 is an example of a detection device according to the present disclosure.
  • each component will be further described.
  • the frame 401 has a shape that wraps around the palm and / or wrist to fix the housing 405 to the back side of the hand.
  • the frame 401 is connected to the housing 405 on the back side of the hand, wraps around the palm side, and is connected to the sensor array 403 on the palm side. With such a structure, the positional relationship between the sensor array 403 and the hand is fixed. Therefore, the frame 401 is an example of a mounting portion in the present disclosure.
  • the sensor array 403 includes, for example, a plurality of optical sensors as in the sensor array 103 of the controller 100 in the first embodiment, and detects the shape of the finger. Similar to the sensor array 103, the sensor array 403 may be replaced by another non-contact sensor.
  • the housing 405 is disposed on the back side of the hand and is fixed to the hand by a frame 401.
  • a display 407 is arranged on the surface of the housing 405 and presents various information as images to the user.
  • the housing 405 can include an IMU, a vibrator, other input / output devices, and a calculation unit, as with the controller 100 in the first embodiment.
  • Wearable terminal 400 provides various types of information according to user operations.
  • the information may be presented as an image on the display 407, or may be output as sound through a speaker (not shown).
  • the shape of the finger detected by the sensor array 103 can be used for the operation of the wearable terminal 400 including the display 407.
  • the display 407 is an example of an output unit that outputs a processing result based on the shape of the finger in the present embodiment.
  • the wearable terminal 400 receives a signal indicating the shape of the finger detected by the non-contact sensor unit for detecting the shape of the finger, the mounting unit for mounting the non-contact sensor unit on the hand, and the non-contact sensor unit.
  • the detection device and the control device include an acquisition unit to acquire, a command issue unit that issues a command corresponding to the shape of a finger, and an output unit such as a display 407.
  • the acquisition unit internally acquires a signal indicating the shape of the finger, and the command issuing unit issues a control command for the output unit.
  • an operation input can be given to the wearable terminal 400 by changing the shape of the finger, the posture of the hand, or moving the hand with the hand on which the wearable terminal 400 is worn.
  • Such an operation input can be simpler than an operation input using a touch panel provided on the display 407 and other operators, for example. This is because the operation input using the operation element needs to be executed using the hand on the side opposite to the side on which the wearable terminal 400 is mounted.
  • the operation input using the shape of the finger, the posture or the movement of the hand can be executed even when the other hand is blocked (for example, by holding on a train or holding a luggage).
  • an operation input using an operator such as a touch panel may be possible because the other hand is free.
  • FIG. 10 is a block diagram illustrating an example of a functional configuration according to some embodiments of the present disclosure.
  • the functional configuration of the system according to the embodiment is described with reference to the block diagram of FIG.
  • each function structure is attached
  • the reference numerals of the constituent elements that realize the functions refer to those of the first embodiment, but the functions can be realized by the same constituent elements in the second embodiment.
  • each functional configuration will be further described.
  • the light emitting unit 1031 a and the light receiving unit 1031 b constitute an optical sensor 1031 included in the sensor array 103 by the controller 100.
  • Light having a predetermined wavelength emitted from the light emitting unit 1031a is reflected by the finger and enters the light receiving unit 1031b.
  • the light emitting unit 1031a emits light in accordance with a control signal output from the signal processing unit 1371.
  • the light receiving unit 1031b converts the incident light into a signal and inputs the signal to the signal processing unit 1371.
  • the signal processing unit 1371 calculates the ratio of light reflected by the finger by comparing the light intensity indicated by the control signal to the light emitting unit 1031a and the light intensity indicated by the signal from the light receiving unit 1031b. can do. From this ratio, the bending amount of the finger can be detected by the principle described above with reference to FIG.
  • the signal processing unit 1371 is realized by the calculation unit 137 in the controller 100, for example.
  • the finger shape recognition unit 2051 recognizes the shape of the finger by comparing the detected pattern of the bending amount of the finger with a predefined pattern.
  • the pattern may be defined in advance corresponding to a frequently used hand sign, for example.
  • the finger shape recognition unit 2051 is realized by the finger shape recognition engine 205 in the console device 200, for example.
  • the gyro sensor 1311, the acceleration sensor 1313, and the magnetic sensor 1315 are included in the IMU 131 of the controller 100, for example. Signals indicating angular velocity, acceleration, and geomagnetism detected by these sensors are input to the signal processing unit 1373.
  • the signal processing unit 1373 pre-processes the signal as necessary and transmits the signal to the posture recognition unit 2071.
  • the posture recognition unit 2071 recognizes the posture of the hand based on the detection result of acceleration, for example.
  • the detection results of angular velocity and geomagnetism are transferred to the subsequent gesture recognition unit 3031.
  • the signal processing unit 1373 is realized by the arithmetic unit 137 in the controller 100, for example.
  • the posture recognition unit 2071 is realized by the posture recognition engine 207 in the console device 200, for example.
  • the switches 1351 are, for example, other input / output devices 135 of the controller 100 in the first embodiment, more specifically, the stick 107, the wheel 109, the push button 111, the select lever 113, the grip button 115, and / or the flick. Corresponds to the lever 125.
  • An operation signal output when the switches 1351 are operated is preprocessed as necessary in the signal processing unit 1375 and then transmitted to the operation input processing unit 2151.
  • the signal processing unit 1375 is realized by the calculation unit 137 in the controller 100, for example.
  • the operation input processing unit 2151 is realized by the command transmission / reception unit 215 in the console device 200, for example.
  • the command recognizing unit 3031 uses the finger shape recognized by the finger shape recognizing unit 2051, the hand posture recognized by the posture recognizing unit 2071, and the switches 1351 (operators) acquired by the operation input processing unit 2151.
  • the command in the application is recognized based on the operation input.
  • the command recognized by the command recognition unit 3031 may be similar to a command recognized based on gesture recognition using an image taken by a camera, for example.
  • the command is recognized based on the operation input using the operation element in addition to the shape of the finger and the posture of the hand.
  • the recognition accuracy of the finger shape and the hand posture is significantly improved as compared with, for example, the case of using an image.
  • the command recognition unit 3031 is realized by the input device driver 303 in the application apparatus 300, for example.
  • the command recognized by the command recognition unit 3031 becomes an input command for the application 3001.
  • the command generation unit 3033 generates an output command according to the operation of the application 3001.
  • the command generation unit 3033 is realized by the input device driver 303 in the application apparatus 300, for example.
  • the generated output command is transmitted to the control units 2011 and 2031.
  • the control unit 2011 controls the lamp 1353.
  • the lamp 1353 corresponds to, for example, another input / output device 135 of the controller 100, more specifically, the lamp 105.
  • the control unit 2031 controls the vibrator 133.
  • the control unit 2011 and the control unit 2031 are realized by the LED driver 201 and the vibrator driver 203, respectively, in the console device 200, for example.
  • voice input / output related to the application 3001 is executed by the voice input / output unit 3051.
  • the voice input / output unit 3051 is realized by the sound driver 305 in the application apparatus 300, for example.
  • the voice input / output unit 3051 generates output voice according to the operation of the application 3001.
  • the output sound is transmitted to the sound processing unit 2171 and further output from the speaker 1355.
  • the audio processing unit 2171 is realized by the audio driver 217 of the console device, for example.
  • the speaker 1355 corresponds to, for example, the other input / output device 135 of the controller 100, more specifically, the speaker 119.
  • the input voice for the application 3001 is acquired by the microphone 1357 and transmitted to the voice input / output unit 3051 through the voice processing unit 2171.
  • the microphone 1357 corresponds to, for example, the other input / output device 135 of the controller 100, more specifically, the microphone 123.
  • the ultrasonic microphone 1359 is included in another input / output device 135 of the controller 100, for example.
  • the ultrasonic microphone 1359 detects the ultrasonic wave, converts it into a signal, and transmits the signal to the identifier output unit 3003 via the ultrasonic communication reception unit 2191.
  • the identifier output unit 3003 extracts, for example, an identifier of another controller 100 from the signal received by the ultrasonic wave and inputs it to the application 3001.
  • each functional configuration described above may be realized by being distributed to the controller 100, the console device 200, and the application device 300 as described in connection with the first embodiment, for example. Further, for example, as in the second embodiment, the process from input / output to application operation may be completed with a single device (wearable terminal 400). In this case, the entire functional configuration is realized by a single device. As described above, in the embodiment of the present disclosure, it is possible to arbitrarily determine which device the functional configuration is realized by.
  • a gesture can be recognized at hand, for example, unlike a gesture recognition system using camera sensing information from a distance, an occlusion problem in camera sensing does not occur. . Therefore, for example, even when the user performs a finger gesture under a state where the user turns his back to the console device or under a desk hidden behind the console device, the gesture can be detected with high accuracy. As a result, it is possible to reduce restrictions on the location and posture when the user executes the gesture.
  • an optical sensor for example, a photodiode
  • a photodiode is arranged on the palm side to detect the bending amount of the finger. Therefore, for example, even when a gesture is executed outdoors, external light noise such as sunlight is blocked by the back of the hand and the like, and gesture recognition with high accuracy is possible.
  • the finger gesture recognition function recognizes a gesture based on finger shape information, hand posture information, and movement information ahead of the wrist including the back of the hand. Can do. Therefore, for example, it is possible to distinguish between a gesture that is stationary with an open hand and a gesture that is shaken with an open hand. This makes it possible to recognize more types of gestures.
  • the recognized gesture can be presented to the user via a display or the like, and final input can be executed by an operator such as a button. It is. As a result, command input by a more reliable gesture is realized.
  • the recognized gesture is provided in the tactile force feedback or gesture detection device by an output device such as a vibrator incorporated in the gesture detection device. It can be presented to the user by visual feedback using an LED lamp or the like and / or audio feedback by a speaker or the like provided in a gesture detection device, and final input can be executed by an operator such as a button. It is. As a result, command input by a more reliable gesture is realized.
  • a controller can be used as a game controller, for example, to perform an action operation in a three-dimensional virtual space game, such as holding a weapon, shooting an enemy, opening a door, a box, or the like. You can easily perform operations such as doing, picking up, throwing, grasping, and turning. For example, when such an operation is to be executed by a combination of operations of operators such as buttons, the user needs to learn the type, position, and combination of the operators.
  • controllers according to some embodiments of the present disclosure are respectively held by a user's left hand and right hand, and each has a built-in vibrator. For example, by generating vibration with a time difference between the left and right controllers, it is possible to present a sense of direction such as from left to right and from right to left. Furthermore, by synchronizing the feedback using light or sound output from the controller with the feedback of vibration (cross-modal feedback), it is possible to present a sense of direction more strongly than in the case of vibration alone.
  • each vibrator may include a low-frequency vibrator realized by an eccentric motor that generates low-frequency vibrations, and a high-frequency vibrator realized by a linear motor that generates high-frequency vibrations.
  • vibrations in the frequency band ranging from several tens of Hz to several hundreds of Hz can be generated, and vibrations can be applied to the fingertips and palms, which are one of anatomically sensitive haptic stimuli. Can communicate. Accordingly, an expressive tactile sensation is realized.
  • the controller has a haptic output function by a vibrator. Therefore, for example, in a surgical simulation system in the medical field, when a doctor performs a simulation of removing an affected part with a scalpel, a hand-fitted surgical simulation with a vibration feedback function that can output vibration at the time of excision as feedback Can be used as a controller.
  • the integrated operation function of the horizontal wheel type switch and the stick allows the stick and the horizontal wheel to be operated with the finger of one hand to simultaneously execute the operation input for movement and viewpoint movement. is there.
  • the user can easily input a viewpoint movement operation while moving in the three-dimensional virtual space game.
  • various switches are assigned to each finger, such as a stick on the thumb, a horizontal wheel on the index finger, a select lever on the middle finger, and a grip on the ring finger and little finger. In this case, no fingering is required for the switch operation, and the user can easily execute a desired operation without looking at the hand.
  • the controller according to some embodiments of the present disclosure can be operated by a finger gesture or does not need to look at the hand during the switch operation as described above. It is possible to execute an operation input while watching the above. Therefore, for example, the controller can be effectively used as a wearable controller of an external device, for example, a mobile terminal device such as a smartphone.
  • the controller also includes a three-axis acceleration sensing and a three-axis gyro capable of detecting the movement of the entire hand in addition to a finger shape detection function using an optical sensor at hand. Has a sensing function. If these functions are used, for example, character input by virtual keyboard type operation can be realized by machine learning processing on the console device side. In this case, for example, the keyboard row is specified according to the bending amount of the finger, and the keyboard column is specified according to the direction of the hand, and the key is pressed by an operation such as recognition of a tap operation by the finger or pressing of a predetermined button. Is done.
  • an operation input can be executed by moving a fingertip into a character or symbol shape in the air by a finger gesture recognition process accompanied by a machine learning process on the console device side.
  • the characters and symbols may be input with a single stroke, or may be input in a plurality of parts by some operation.
  • Such handwritten input can also be achieved, for example, by detecting hand acceleration, but in some embodiments of the present disclosure, handwritten input can be detected only by finger movements, Need not be moved unnecessarily large, for example, parts other than the fingers may remain stationary.
  • the input of characters and symbols as described above may be combined with user authentication.
  • the console device may permit the user to log in if a character or symbol input by moving the fingertip in the air matches a character or symbol registered in advance in the console device.
  • the console device in this case is not limited to a stationary device, and may be, for example, a wearable device (eyewear, wristware, etc.), a mobile device, or the like.
  • the controller can perform a two-dimensional movement or scroll operation by detecting an average value of the bending amount of the fingers (hereinafter also referred to as a bending center of gravity). For example, when the bending amount of four fingers from the index finger to the little finger can be detected, if only the index finger and / or middle finger is bent, the bending center of gravity is biased toward the index finger. Conversely, if only the little finger and / or ring finger is bent, the center of bending is biased toward the little finger. Using this bias, a movement or scrolling operation in a direction perpendicular to the finger can be performed.
  • a bending center of gravity an average value of the bending amount of the fingers
  • the bending center of gravity is biased toward the base of the finger, and when the entire finger is opened, the bending center of gravity is biased toward the fingertip side.
  • the movement or scrolling operation executed in this way can be used for moving a display area or a pointer icon in eyewear or listware, for example.
  • the controller since the controller according to some embodiments of the present disclosure is a shape worn on the hand and separated into the left and right hands, the controller can be used in a free style. Therefore, for example, when applied to a game controller device, it is possible to play a game using the controller casually without selecting a place or posture despite having a finger gesture recognition function.
  • the controller according to some embodiments of the present disclosure is a type that is attached to the hand, although it does not cover the entire hand. Accordingly, it is possible to input a finger gesture or quickly switch between gesture input and button input without dropping the controller from the hand.
  • left and right controllers of different types can be freely associated with a common user ID. It can be used in combination.
  • a left controller with a stick for example, the controller 100A
  • a controller for example, the controller 100B
  • the controller can be used properly according to the application.
  • ultrasonic sensors capable of transmitting and receiving on both the left and right sides are incorporated.
  • the hand wearing the controller has approached the object.
  • the controller similarly approaches an apparatus including an ultrasonic sensor, the distance and direction from the apparatus can be recognized.
  • inputs other than finger gestures and switches are realized. It is also possible to perform data communication using ultrasonic waves by holding the left or right controller over another ultrasonic sensor-compatible device.
  • an optical sensor (which may be a sensor different from the optical sensor 1031 in the above-described first embodiment or the like) that can transmit and receive to the left and right respectively is incorporated. ing. In this case, for example, it is possible to perform data communication using light by holding the left or right controller over another optical sensor-compatible device.
  • a controller includes a microphone and a speaker that can be transmitted and received on the left and right.
  • data communication using an audible sound can be performed by holding either the left or right controller over another microphone and a speaker-compatible device.
  • a so-called telephone such as listening to the sound output from the controller attached to the other hand while emitting the sound toward the controller attached to one hand and executing the voice input Function can be realized.
  • a voice communication application is started by executing a shape that stretches only the thumb and little finger and holds the other finger (hand gesture that means a phone call) Is possible.
  • a pressure sensor is built in the grip member, and the grip force can be measured.
  • an operation by grasping such as “gripping weakly” or “gripping strongly” can be realized.
  • the controller since the controller according to some embodiments of the present disclosure can optically detect a finger shape, it is not necessary to attach sensors to the fingertip, and the fingertip is free. Therefore, even when the controller is attached to the hand, other device operations such as a keyboard, a mouse, and a touch panel can be executed.
  • controller can execute a plurality of operations by gestures without looking at the hand in an operation such as a slide at the time of presentation.
  • an operation such as a slide at the time of presentation.
  • a controller is attached when performing a sport such as golf or swimming, and thereby, a motion sensor (for example, a first motion sensor) that detects a hand movement, a grip pressure, a fingertip movement, and the like.
  • a motion sensor for example, a first motion sensor
  • a controller is attached when cooking, so that the motion of the hand, the grip pressure, the movement of the fingertip, and the like are incorporated into a built-in motion sensor (for example, the IMU 131 in the first embodiment). ) Can be detected. Further, it may be possible to exchange data with other devices by, for example, proximity communication using light, audible sound, ultrasonic waves, or the like. In this case, by analyzing the recorded data, functions such as providing advice for improving cooking can be realized.
  • a controller is mounted when performing a musical instrument performance, so that a motion sensor (for example, the first embodiment) It can be detected by the IMU 131). Further, it may be possible to exchange data with other devices by, for example, proximity communication using light, audible sound, ultrasonic waves, or the like. In this case, by analyzing the recorded data, functions such as providing advice for improving musical instrument performance can be realized.
  • the controller may include a built-in optical sensor (the same sensor as the optical sensor 1031 in the first embodiment described above, or another sensor). Can be used to measure the blood flow of the fingers.
  • the heart rate which is one of the vital signs of the user, can be measured, and the user's health management and changes in the user's physical condition and emotion can be estimated in an applied manner. This makes it possible to use the controller as a health care device or to apply vital signs to the operation of the controller.
  • a controller according to some embodiments of the present disclosure when a controller according to some embodiments of the present disclosure is applied to a game controller device, an operation input using a finger as a parameter, which is not found in other types of controllers such as a game pad, is possible. More specifically, for example, in a baseball game, the trajectory of the thrown ball may be changed depending on how the ball is gripped or how the hand is shaken. Also, for example, in a fantasy game, magic may be applied by finger movement. Also, for example, in a fighting game, the punching speed may be changed depending on how the fingers are gripped, or techniques with various hand shapes such as a back fist and a hand sword may be introduced.
  • the controller according to some embodiments of the present disclosure may be used in combination with other wearable devices such as a head-mounted device (for example, a head-mounted display).
  • a head-mounted device for example, a head-mounted display
  • the controller can recognize the finger shape as described above and assign the operator to each finger. Since it is possible to execute the operation without seeing, the operation can be performed without any trouble.
  • a controller when a controller is combined with a head mounted device, it is possible to detect a variety of user states by using posture information of the head mounted device or an image acquired by a camera provided in the head mounted device. .
  • the user's head direction (front) can be specified based on the posture information of the head mounted device. That is, the front can be identified without any prior calibration.
  • the head mounted device it is possible to detect more various movements by recognizing the movement of the head mounted device as the movement of the bodily sensation part. For example, if synchronized vertical movement is detected by both the head mounted device and the controller attached to the hand, it is estimated that the user is jumping. On the other hand, when a vertical movement is detected in the head mounted device, and a forward / backward movement is detected in the controller attached to the hand, it is estimated that the user is running. Further, when a downward movement is detected by both the head mounted device and the controller attached to the hand, and when a light impact is detected by the controller, it is presumed that the user squats with his hand on the floor. Further, when it is detected that the user faces down and holds the head with both hands, the user is estimated to hold the head.
  • a controller is used to identify which device the user's hand is touching by synchronizing acceleration with other devices. For example, when the user presses the touch panel of the tablet with the hand wearing the controller, the accelerations detected by the controller and the tablet are synchronized. In this case, the user wearing the controller may be specified as the tablet user, and the tablet may permit the user to log in. Further, for example, when the users shake hands with their respective hands wearing the controllers, the accelerations detected by the respective controllers are synchronized. In this case, for example, processing such as team division or opponent pairing may be executed in association with the user wearing each controller.
  • the accelerations detected by the respective controllers are synchronized.
  • processing such as item exchange may be executed in which the users wearing the respective controllers are associated.
  • the accelerations detected by the controller and the whiteboard are synchronized.
  • the user wearing the controller is specified as the user writing on the whiteboard, and for example, the color in which the writing on the whiteboard is displayed may change.
  • a controller has a function of recognizing an object by non-contact communication when the user grips the object in which the communication tag is embedded with a hand wearing the controller. May be.
  • a function is realized by, for example, ultrasonic communication, infrared communication, communication using an IC (Integrated Chip) tag, or the like.
  • the pen may be recognized as an input tool such as a tablet.
  • the virtual space in the game or the like may be brightened by using the light.
  • the character may appear in the virtual space.
  • a controller may have a function of extending a touch panel such as a smartphone or a tablet.
  • a touch panel such as a smartphone or a tablet.
  • the controller can detect whether or not the user has performed an operation of touching the touch panel from the shape of the fingers.
  • this operation can be detected as a touch operation on the touch panel. It is. Thereby, for example, the operation of the touch panel can be executed without actually touching the touch panel.
  • the touch panel can be operated in the depth direction.
  • the spatial coordinates of the external device to be operated are stored in a database in advance, and the positional relationship between the controller and the external device is specified by information such as the finger direction, body direction, and line-of-sight direction.
  • an operation on the external device may be executed (a queue operation on the external device).
  • a controller may have a function of detecting pressure when a finger presses an object, for example, by a pressure sensor attached to the base of the finger. In this case, by detecting that the finger has pressed the object and the pressing force at that time, it is possible to detect operations such as touch, flick, and swipe on the surface of the object that is not the touch panel, and the amount of push in the touch operation. Can do.
  • the non-contact sensor unit that detects the shape of the finger may be attached to the base of the finger.
  • the non-contact sensor unit may be mounted by a ring-shaped mounting member around the base portion of the thumb.
  • the non-contact sensor unit may include a single sensor disposed on the inner side with respect to the bending direction of the thumb.
  • the non-contact sensor unit may include a sensor array including a plurality of sensors arranged at a predetermined interval in the circumferential direction of the thumb. These one or more sensors may detect the distance between the thumb and an adjacent finger (eg, index finger) in addition to detecting the degree of bending and stretching of the thumb.
  • a similar non-contact sensor unit may be mounted around the base of the index finger.
  • the one or more sensors may detect the distance between the index finger and the adjacent fingers (for example, the thumb and the middle finger) in addition to detecting the degree of bending and stretching of the index finger.
  • the distance between the fingers can be detected by, for example, directing the direction of emission and incidence of the optical sensor outward as viewed from the index finger (or thumb).
  • a user's A command may be issued based on a detection value of a facing sensor that detects biological information (for example, a pulse, an electroencephalogram, a sweat amount, etc.) and / or a detection value of a gaze detection sensor, and / or a voice recognition result.
  • the display of the object on the display unit may be controlled by the issued command.
  • the object represents a hand such as a character.
  • FIG. 11 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the controller, console apparatus, application apparatus, wearable apparatus, and / or server apparatus in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an information processing device (a controller, a console device, an application device, a wearable device, and / or a server device), a system, an information processing device, or an information processing executed by the system as described above It may include a method, a program for causing the information processing apparatus to function, and a non-transitory tangible medium on which the program is recorded.
  • an information processing device a controller, a console device, an application device, a wearable device, and / or a server device
  • a system an information processing device, or an information processing executed by the system as described above
  • It may include a method, a program for causing the information processing apparatus to function, and a non-transitory tangible medium on which the program is recorded.
  • a detection device comprising: a non-contact sensor unit that detects a shape of a finger; and a mounting unit that mounts the non-contact sensor unit on a hand on a more distal side than the wrist.
  • the mounting unit mounts the non-contact sensor unit on a palm side.
  • the mounting unit includes a gripping member gripped by the hand.
  • the non-contact sensor unit includes an optical sensor.
  • the non-contact sensor unit includes a sensor array disposed on the palm side, The detection device according to (4), wherein the sensor array includes non-contact sensors respectively corresponding to one or a plurality of fingers.
  • the detection apparatus according to any one of (1) to (9), further including an output unit that outputs a result of the processing based on the shape of the finger.
  • the output unit includes a vibrator that transmits vibrations to a fingertip and the palm.
  • the vibrator includes a low-frequency vibrator that transmits low-frequency vibration to the fingertip and the palm, and a high-frequency vibrator that transmits high-frequency vibration to the fingertip and the palm,
  • the mounting unit mounts the low-frequency vibrator closer to the index finger and the high-frequency vibrator closer to the little finger.
  • the mounting unit mounts the non-contact sensor unit on the hand more distally than the wrist;
  • the non-contact sensor part detects the shape of a finger.
  • An acquisition unit that acquires a signal indicating the shape of a finger, which is detected by a non-contact sensor unit attached to the hand on the distal side of the wrist, And a command issuing unit that issues a command corresponding to the shape of the finger.
  • the acquisition unit further acquires a signal indicating the posture of the hand, the movement of the hand, an operation with the hand or fingers, or a sound generated in the vicinity of the hand,
  • the control device further including a transmission unit that transmits the command to a device different from a detection device including the non-contact sensor unit.
  • the acquisition unit internally acquires a signal indicating the shape of a finger
  • the control device according to (14) or (15), wherein the command issuing unit issues a control command of the output unit.

Abstract

　装着部品や操作手順を簡略化しながらも、オクルージョンの発生を防止し、ユーザの手指の形状を利用した操作をより確実に検出する。　手指の形状を検出する非接触センサ部、および上記非接触センサ部を手根部よりも遠位側で手に装着する装着部を備える検出装置が提供される。

Description

検出装置、検出方法、制御装置、および制御方法
　本開示は、検出装置、検出方法、制御装置、および制御方法に関する。
　ユーザの手指の形状や動きを装置の制御に利用する技術は、既に多く提案されている。例えば、特許文献１には、カメラによって撮影された画像データから手形状を推定する技術が記載されている。また、特許文献２には、手首部分に配置された光源から赤外光を照射し、該赤外光が手指で反射したものを赤外カメラ（イメージャ）で受光し、画像認識を実施することによって手形状を推定する技術が記載されている。また、特許文献３には、手をカメラにかざし、特定の音声を認識させるなどの方法でこれから入力する意思があることを機器側に提示し、認識処理を開始させる技術が記載されている。これによって、不意に手を動かした場合に、ジェスチャーが誤認識されて意図せずコマンドが実行されることが防止される。特許文献４には、手にセンサが内蔵されたグローブを装着することによって、手指の曲げ量を検出する技術が記載されている。
特開２００５－９１０８５号公報 米国特許出願公開第２０１４／００９８０１８号明細書 特開２０１４－８９６８８号公報 特開２００６－２７６６５１号公報
　しかしながら、例えば特許文献１に記載の技術のように、カメラによる画像認識を実施する場合、認識可能範囲には死角があり、認識可能な場所や範囲は限定される。また、手から離れたカメラで手の画像を撮影するため、周辺の環境光の影響を受けやすく、画像から手指の形状を推定するための画像処理の負荷が大きい。さらに、画像には手だけではなくユーザの顔や身体も映るため、ユーザが心理的な負担感を感じる場合もあった。また、特許文献２に記載の技術の場合も、手首を反らせたり捻ったりすると、手指が光源やカメラに対する死角に入り、手形状の推定が困難になる可能性がある。さらに、画像認識の処理は、比較的処理負荷が高い処理である。
　また、特許文献３に記載の技術の場合、入力の意思を示すための動作が前もって必要とされるため、ジェスチャーによってコマンドを入力するまでに時間がかかり、同じジェスチャーを連続してコマンドとして認識させることが困難であった。特許文献４に記載の技術の場合、ユーザの手全体がグローブで覆われてしまうため、他の動作、例えばボタンやタッチパネルなどを用いた装置の操作を組み合わせることが困難であった。
　そこで、本開示では、装着部品や操作手順を簡略化しながらも、オクルージョンの発生を防止し、ユーザの手指の形状を利用した操作をより確実に検出することが可能な、新規かつ改良された検出装置、検出方法、制御装置、および制御方法を提案する。
　本開示によれば、手指の形状を検出する非接触センサ部、および上記非接触センサ部を手根部よりも遠位側で手に装着する装着部を備える検出装置が提供される。
　非接触センサを手根部よりも遠位側で手に装着することによって、手根部（手首）が反ったり捻られたりした場合でも手指がセンサによる検出範囲の死角に入ることを防止できる。
　また、本開示によれば、装着部が非接触センサ部を手根部よりも遠位側で手に装着することと、上記非接触センサ部が手指の形状を検出することとを含む検出方法が提供される。
　また、本開示によれば、手根部よりも遠位側で手に装着された非接触センサ部によって検出される、手指の形状を示す信号を取得する取得部と、上記手指の形状に応じたコマンドを発行するコマンド発行部とを備える制御装置が提供される。
　また、本開示によれば、手根部よりも遠位側で手に装着された非接触センサによって検出される、手指の形状を示す信号を取得することと、プロセッサが、上記手指の形状に応じたコマンドを発行することとを含む制御方法が提供される。
　以上説明したように本開示によれば、装着部品や操作手順を簡略化しながらも、オクルージョンの発生を防止し、ユーザの手指の形状を利用した操作をより確実に検出することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係るコントローラの第１の例を示す図である。 本開示の第１の実施形態に係るコントローラの第１の例を示す図である。 本開示の第１の実施形態に係るコントローラの第２の例を示す図である。 本開示の第１の実施形態に係るコントローラの第２の例を示す図である。 本開示の第１の実施形態に係るコントローラの第３の例を示す図である。 本開示の第１の実施形態に係るコントローラの第３の例を示す図である。 本開示の第１の実施形態に係るシステムの例を示す図である。 本開示の第１の実施形態におけるハンドサインの認識の例について説明するための図である。 本開示の第１の実施形態における手指の形状の検出方法について説明するための図である。 本開示の第１の実施形態に係るコントローラの内部構造について説明するための図である。 本開示の第１の実施形態におけるコントローラを利用した認証の例について説明するための図である。 本開示の第２の実施形態に係るウェアラブル端末の例を示す図である。 本開示のいくつかの実施形態における機能構成の例を示すブロック図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態（コントローラの例）
　２．第２の実施形態（ウェアラブル端末の例）
　３．機能構成の例
　４．他の実施形態
　５．ハードウェア構成
　６．補足
　（１．第１の実施形態）
　図１Ａおよび図１Ｂは、本開示の第１の実施形態に係るコントローラの第１の例を示す図である。図１Ａはコントローラを手のひら側から見た図、図１Ｂはコントローラを手の甲側から見た図である。
　図１Ａを参照すると、第１の例に係るコントローラ１００Ａは、ユーザの左手に把持される。コントローラ１００Ａは、手のひら側に、把持部材１０１Ａと、センサアレイ１０３Ａと、ランプ１０５と、スティック１０７と、ホイール１０９と、プッシュボタン１１１と、セレクトレバー１１３と、グリップボタン１１５とを有する。図１Ｂを参照すると、コントローラ１００Ａは、手の甲側に、バックパック１１７を有する。バックパック１１７には、スピーカ１１９が設けられる。把持部材１０１Ａとバックパック１１７とは、ベルト１２１で連結される。コントローラ１００Ａは、本開示における検出装置の一例である。以下、それぞれの構成要素についてさらに説明する。
　把持部材１０１Ａは、ユーザの左手によって把持される。把持部材１０１Ａは、センサアレイ１０３Ａなどが固定される筐体を形成している。従って、把持部材１０１Ａは、ユーザの左手で把持されることによって、センサアレイ１０３Ａを手に装着する。より具体的には、把持部材１０１Ａは、センサアレイ１０３Ａを手のひら側に装着する。把持部材１０１Ａ（以下で説明する把持部材１０１Ｂも同様）は、本実施形態に係る検出装置の一例であるコントローラ１００Ａが備える装着部の一例である。また、センサアレイ１０３Ａは、本実施形態に係る検出装置の一例であるコントローラ１００Ａが備える非接触センサ部の一例である。
　センサアレイ１０３Ａは、把持部材１０１Ａによって形成される筺体に固定されており、把持部材１０１Ａがユーザの左手によって把持された場合には手のひら側に配置される。また、センサアレイ１０３Ａは、１または複数の手指にそれぞれ対応する光学的センサを含む。光学的センサは、非接触センサの一例である。より具体的には、光学的センサは、発光部と受光部とを有し、発光部から出射した光が手指に反射して受光部に入射する割合を測定することによって、手指の形状を、例えば手指の曲げ量として検出することができる。
　本実施形態では、センサアレイ１０３Ａ（後述するセンサアレイ１０３Ｂ，１０３Ｃについても同様）が、把持部材１０１Ａによって、手根部（手首）よりも遠位側で手に装着される。従って、手首が反らされたり捻られたりしても、手指がセンサアレイ１０３Ａによる検出範囲の死角に入りづらい。それゆえ、本実施形態では、光の反射を利用した簡便な手指の形状の検出が可能である。このような検出手法における信号の処理は、例えば画像認識の処理に比べて処理負荷が低い。従って、消費電力や装置コストを低く抑えることができる。また、装置が手首にかからず、手のひら部分に収まるため、ユーザの手の動きの自由度が高く、装着による負担感が小さい。
　図示された例のように、センサアレイ１０３Ａを手のひら側、つまり手指の曲がる側に配置することによって、オクルージョンが発生することなく、より確実に手指の形状を検出することができる。なお、センサアレイ１０３Ａに含まれる光学的センサによる手指の形状検出の原理については後述する。
　また、センサアレイ１０３Ａは、必ずしも全部の手指に対応する光学的センサを含まなくてもよく、一部の手指だけに対応する光学的センサを含んでいてもよい。図示された例に係るコントローラ１００Ａでは、センサアレイ１０３Ａが、薬指および小指の２本にそれぞれ対応する２つの光学的センサを含んでいる。
　ランプ１０５は、発光することによってユーザに視覚的なフィードバックを提供する出力装置である。ランプ１０５は、後述するように、センサアレイ１０３Ａによって検出される手指の形状に基づく処理の結果として発光してもよい。
　スティック１０７、ホイール１０９、プッシュボタン１１１、セレクトレバー１１３、およびグリップボタン１１５は、ユーザの手または手指による操作を検出する操作子の例である。コントローラ１００Ａは、センサアレイ１０３Ａによって検出される手指の形状に基づく信号に加えて、これらの操作子によって検出される操作信号を、後述する外部装置に送信してもよい。
　バックパック１１７は、例えばバッテリーや通信装置など、コントローラ１００Ａの駆動や通信に必要な構成要素を内蔵する。これらの構成要素は、把持部材１０１Ａによって形成される筐体と、バックパック１１７とに適宜分散して配置される。なお、バックパック１１７は、場合によっては削除することもできる。その場合は、内蔵されている予定のコントローラ１００Ａの駆動や通信に必要な構成要素やスピーカ１１９などは把持部材１０１Ａに内蔵されうる（以下で説明するコントローラ１００Ｂ，１００Ｃも同様）。
　スピーカ１１９は、音声を出力することによってユーザに聴覚的なフィードバックを提供する出力装置である。スピーカ１１９は、後述するように、センサアレイ１０３Ａによって検出される手指の形状に基づく処理の結果として音声を出力してもよい。
　なお、本実施形態において、コントローラ１００Ａは、図示された構成要素の他に、内蔵される構成要素として、ＩＭＵ（Inertial　Measurement　Unit）およびバイブレータを含む。
　図２Ａおよび図２Ｂは、本開示の第１の実施形態に係るコントローラの第２の例を示す図である。図２Ａはコントローラを手のひら側から見た図、図２Ｂはコントローラを手の甲側から見た図である。
　図２Ａを参照すると、第２の例に係るコントローラ１００Ｂは、ユーザの右手に把持される。コントローラ１００Ｂは、手のひら側に、把持部材１０１Ｂと、センサアレイ１０３Ｂと、ランプ１０５と、マイクロフォン１２３と、フリックレバー１２５と、グリップボタン１１５とを有する。図２Ｂを参照すると、コントローラ１００Ｂは、手の甲側に、バックパック１１７を有する。バックパック１１７には、スピーカ１１９が設けられる。把持部材１０１Ｂとバックパック１１７とは、ベルト１２１で連結される。コントローラ１００Ｂも、本開示における検出装置の一例である。以下、それぞれの構成要素についてさらに説明する。なお、第１の例に係るコントローラ１００Ａと同一の構成要素については、共通する符号を付することによって説明を省略する。
　把持部材１０１Ｂは、ユーザの右手によって把持される。上記の把持部材１０１Ａ（左手用）と同様に、把持部材１０１Ｂは、センサアレイ１０３Ｂなどが固定される筐体を形成している。
　センサアレイ１０３Ｂは、上記のセンサアレイ１０３Ａと同様に、複数の手指のそれぞれに対応する光学的センサを含む。センサアレイ１０３Ｂは、センサアレイ１０３Ａとは異なり、人差し指から小指までの４本の指にそれぞれ対応する４つの光学的センサを含んでいる。なお、光学的センサの数は、４つには限られない。センサアレイ１０３Ｂは、４未満の光学的センサを含んでもよいし、４より多くの光学的センサを含んでもよい。このような場合、複数の指に１つの光学的センサが割り当てられてもよいし、１つの指に複数の光学的センサが割り当てられてもよい。
　マイクロフォン１２３は、コントローラ１００Ｂが装着される手の近傍で発生した音を検出する音センサとして機能する。フリックレバー１２５は、ユーザの手指による操作を検出する操作子の例である。コントローラ１００Ｂは、センサアレイ１０３Ｂによって検出される手指の形状に基づく信号に加えて、マイクロフォン１２３によって検出される音に基づく信号や、フリックレバー１２５によって検出される操作信号、コントローラ１０５に内蔵されているＩＭＵ出力信号を、後述する外部装置に送信してもよい。
　なお、本実施形態において、コントローラ１００Ｂも、図示された構成要素の他に、内蔵される構成要素として、ＩＭＵおよびバイブレータを含む。
　図３Ａおよび図３Ｂは、本開示の第１の実施形態に係るコントローラの第３の例を示す図である。図３Ａはコントローラを手のひら側から見た図、図３Ｂはコントローラを手の甲側から見た図である。
　図３Ａを参照すると、第３の例に係るコントローラ１００Ｃは、ユーザの右手に把持される。コントローラ１００Ｃは、手のひら側に、把持部材１０１Ｂと、センサアレイ１０３Ｃと、ランプ１０５と、マイクロフォン１２３と、フリックレバー１２５と、プッシュボタン１１１と、グリップボタン１１５とを有する。図２Ｂを参照すると、コントローラ１００Ｃは、手の甲側に、バックパック１１７を有する。バックパック１１７には、スピーカ１１９が設けられる。把持部材１０１Ｂとバックパック１１７とは、ベルト１２１で連結される。コントローラ１００Ｃも、本開示における検出装置の一例である。以下、それぞれの構成要素についてさらに説明する。なお、第１の例に係るコントローラ１００Ａ、および第２の例に係るコントローラ１００Ｂと同一の構成要素については、共通する符号を付することによって説明を省略する。
　センサアレイ１０３Ｃは、上記のセンサアレイ１０３Ａ，１０３Ｂと同様に、複数の手指のそれぞれに対応する光学的センサを含む。センサアレイ１０３Ｃは、人差し指から小指までの４本の指にそれぞれ対応する光学的センサを含んでいる。
　なお、本実施形態において、コントローラ１００Ｃも、図示された構成要素の他に、内蔵される構成要素として、ＩＭＵおよびバイブレータを含む。
　以上で説明した第１～第３の例では、コントローラ１００Ａを左手用のコントローラとして、コントローラ１００Ｂまたはコントローラ１００Ｃを右手用のコントローラとして、組み合わせて使用することができる。例えば、ユーザは、左手でコントローラ１００Ａを把持し、右手でコントローラ１００Ｂを把持する。あるいは、ユーザは、左手でコントローラ１００Ａを把持し、右手でコントローラ１００Ｃを把持してもよい。
　また、上記のそれぞれの例において、コントローラ１００Ａ，１００Ｂ，１００Ｃが左手用であるか右手用であるかは本質的ではない。つまり、それぞれのコントローラの構成は、左右を反転させて実現されてもよい。これによって、例えば、ユーザは、上記のコントローラ１００Ｂと、左右反転されたコントローラ１００Ｂとを、それぞれ左右の手で把持してもよい。同様に、ユーザは、コントローラ１００Ａと左右反転されたコントローラ１００Ａ、またはコントローラ１００Ｃと左右反転されたコントローラ１００Ｃを、それぞれ左右の手で把持してもよい。
　ここで説明した例以外にも、各コントローラ１００（コントローラ１００Ａ，１００Ｂ，１００Ｃ、およびこれらを左右反転したものを含む）の組み合わせは自由である。ユーザが左手と右手の両方にコントローラ１００を把持する場合、例えば、ランプ１０５やスピーカ１１９のような出力装置は、いずれか一方のコントローラ１００だけに備えられてもよい。あるいは、これらを両方のコントローラ１００に備えて、例えばスピーカ１１９によるステレオ効果などを実現してもよい。また、コントローラ１００は、必ずしもユーザの左手と右手の両方に把持されなくてもよく、左手または右手の一方だけに把持されてもよい。
　図４は、本開示の第１の実施形態に係るシステムの例を示す図である。図４を参照すると、本実施形態に係るシステム１０は、コントローラ１００と、コンソール装置２００と、アプリケーション装置３００とを含む。
　コントローラ１００は、左手用コントローラ１００Ｌと、右手用コントローラ１００Ｒとを含む。左手用コントローラ１００Ｌおよび右手用コントローラ１００Ｒはそれぞれ、例えば上述したコントローラ１００Ａ，１００Ｂ，１００Ｃのいずれかでありうる。以下では、本実施形態においてこれらのコントローラ１００に共通して含まれる構成要素について説明する。図４では、そのような構成要素として、センサアレイ１０３、ＩＭＵ（Inertial　Measurement　Unit）１３１、バイブレータ１３３、および他の入出力装置１３５、および演算部１３７が示されている。
　センサアレイ１０３は、例えば、上述したコントローラ１００Ａ，１００Ｂ，１００Ｃに含まれるセンサアレイ１０３Ａ，１０３Ｂ，１０３Ｃでありうる。センサアレイ１０３は、複数の手指のそれぞれに対応する光学的センサを含む。光学的センサは、発光部と受光部とを有し、発光部から出射した光が対象物に反射して受光部に入射する割合を測定する。これによって、個々の手指の形状を、例えば手指の曲げ量として検出することができる。センサアレイ１０３は、手指の形状の検出結果を、演算部１３７に出力する。
　ＩＭＵ１３１は、例えば、３軸の加速度センサおよび３軸のジャイロセンサを含む。さらに、ＩＭＵ１３１は、３軸の地磁気センサを含んでもよい。例えば、ＩＭＵ１３１は、加速度の検出値に基づいて、コントローラ１００を把持している手の姿勢を検出する姿勢センサとして機能する。また、ＩＭＵ１３１は、加速度および角速度の検出値に基づいて、コントローラ１００を把持している手の動きを検出する動きセンサとして機能してもよい。ＩＭＵ１３１は、加速度、角速度、および／または地磁気の検出結果を、演算部１３７に出力する。
　バイブレータ１３３は、コントローラ１００を把持している手に振動を伝達する。バイブレータ１３３は、演算部１３７から入力される制御信号に従って動作する。後述するように、バイブレータ１３３は、低周波バイブレータと高周波バイブレータとを含んでもよい。バイブレータ１３３は、本実施形態において、センサアレイ１０３によって検出された手指の形状に基づく処理の結果を出力する出力部の一例である。
　他の入出力装置１３５は、ランプ（例えばＬＥＤ：light‐emitting　diode）、スイッチ（ＳＷ：プッシュボタンなどを含む）、および／またはスティックなどを含む。他の入出力装置１３５の構成は、左手用コントローラ１００Ｌと右手用コントローラ１００Ｒとで異なっていてもよい。
　上記のコントローラ１００Ａ，１００Ｂ，１００Ｃの例でいうと、他の入出力装置１３５は、スティック１０７、ホイール１０９、プッシュボタン１１１、セレクトレバー１１３、グリップボタン１１５、およびフリックレバー１２５を含む。これらの構成要素は、手または手指による操作を検出する操作子の例である。また、他の入出力装置１３５は、マイクロフォン１２３を含む。マイクロフォンは、手の近傍で発生した音を検出する音センサの例である。これらの入力装置は、手または手指による操作や音などの検出結果を演算部１３７に出力する。さらに、他の入出力装置１３５は、ランプ１０５およびスピーカ１１９を含む。ランプ１０５およびスピーカ１１９は、手指の形状などに基づく処理の結果を出力する出力部の例である。これらの出力装置は、演算部１３７から入力される制御信号に従って動作する。
　演算部１３７は、コントローラ１００に内蔵されるＣＰＵなどのプロセッサによって実装される。上記の通り、演算部１３７は、センサアレイ１０３による手指の形状の検出結果の出力を受け付ける。また、演算部１３７は、ＩＭＵ１３１による加速度、角速度、および／または地磁気の検出結果の出力を受け付ける。さらに、演算部１３７は、他の入出力装置１３５に含まれるスイッチやスティック、マイクロフォンなどによる、操作や音などの検出結果の出力を受け付ける。演算部１３７は、これらの検出結果を必要に応じて前処理した上で、通信インターフェース１５０を介してコンソール装置２００に送信する。
　また、演算部１３７は、バイブレータ１３３、および他の入出力装置１３５に含まれるランプやスピーカなどに制御信号を出力する。本実施形態において、演算部１３７は、通信インターフェース１５０を介してコンソール装置２００から受信される情報に基づいて制御信号を生成する。
　通信インターフェース１５０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉなどの無線通信インターフェースでありうる。他の例において、通信インターフェース１５０は、赤外線通信を含んでもよい。また、通信インターフェース１５０は、有線通信インターフェースを含んでもよい。
　コンソール装置２００は、コントローラ１００とともに使用される端末装置である。コンソール装置２００は、例えば、ゲーム端末装置、モバイル端末装置、据え置き家電情報端末装置、医療機器装置、放送機器装置などでありうる。コンソール装置２００は、コントローラ１００に関連する機能の専用端末装置であってもよいし、他の機能を併せて有していてもよい。図示された例において、コンソール装置２００は、ＬＥＤドライバ２０１、バイブレータドライバ２０３、手指形状認識エンジン２０５、姿勢認識エンジン２０７、バス２０９、通信ドライバ２１１、通信インターフェース２１３、コマンド送受信部２１５、オーディオドライバ２１７、および超音波タグ処理部２１９を含む。
　ＬＥＤドライバ２０１は、コントローラ１００の他の入出力装置１３５に含まれるＬＥＤランプのドライバである。ＬＥＤドライバ２０１は、コマンド送受信部２１５からバス２０９を介して受信されたコマンドに従って、ＬＥＤランプの制御信号を生成する。制御信号は、バス２０９、通信ドライバ２１１、および通信インターフェース２１３を介して、コントローラ１００に送信される。
　バイブレータドライバ２０３は、コントローラ１００に含まれるバイブレータ１３３のドライバである。バイブレータドライバ２０３は、コマンド送受信部２１５からバス２０９を介して受信されたコマンドに従って、バイブレータの制御信号を生成する。制御信号は、バス２０９、通信ドライバ２１１、および通信インターフェース２１３を介して、コントローラ１００に送信される。
　手指形状認識エンジン２０５は、コントローラ１００に含まれるセンサアレイ１０３によって提供される手指の形状の検出結果、より具体的には手指の曲げ量に基づいて、手指の形状を認識する。検出結果は、コントローラ１００から、通信インターフェース２１３、および通信ドライバ２１１を介して提供される。例えば、手指形状認識エンジン２０５は、提供された検出結果と、予め定義されたパターンとを比較することによって、手指の形状を認識する。さらに、手指形状認識エンジン２０５は、認識された手指の形状に応じたコマンドを発行する。発行されたコマンドは、バス２０９およびコマンド送受信部２１５を介して、アプリケーション装置３００に送信される。
　姿勢認識エンジン２０７は、コントローラ１００に含まれるＩＭＵ１３１によって提供される加速度、角速度、および／または地磁気センサの検出結果に基づいて、手の姿勢を認識する。検出結果は、コントローラ１００から、通信インターフェース２１３、および通信ドライバ２１１を介して提供される。例えば、姿勢認識エンジン２０７は、提供された検出結果に含まれる重力成分の向きに基づいて、手の姿勢を認識する。さらに、姿勢認識エンジン２０７は、認識された手の姿勢に応じたコマンドを発行する。発行されたコマンドは、バス２０９およびコマンド送受信部２１５を介して、アプリケーション装置３００に送信される。
　なお、コンソール装置２００は、手指の形状に応じたコマンドを発行する手指形状認識エンジン２０５や、手の姿勢に応じたコマンドを発行する姿勢認識エンジン２０７と同様に、手の動き、手もしくは手指による操作、および／または手の近傍で発生した音などに応じたコマンドを発行するコマンド発行部を有してもよい。
　バス２０９は、コンソール装置２００内のドライバやエンジンの間で情報をやりとりするためのプロセス間通信実装である。バス２０９は、例えば、Ｄ－Ｂｕｓ、またはメッセージバスとも呼ばれる。
　通信ドライバ２１１は、通信インターフェース２１３を介したコントローラ１００との間の通信を制御する。従って、通信ドライバ２１１は、本実施形態において、手に装着された非接触センサ部によって検出される手指の形状を示す信号を取得する取得部の例である。通信ドライバ２１１は、さらに、手の姿勢、手の動き、手もしくは手指による操作、および／または手の近傍で発生した音などに基づく振動を示す信号を取得してもよい。上記のように、コンソール装置２００とコントローラ１００との間の通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉなどの無線通信、赤外線通信、または有線通信インターフェースなどによって実行される。通信ドライバ２１１および通信インターフェース２１３は、これらの通信方式に適応して設計される。
　コマンド送受信部２１５は、例えば上記の手指形状認識エンジン２０５や姿勢認識エンジン２０７によって発行されたコマンドを、入力インターフェース２５１を介してアプリケーション装置３００に送信する。さらに、コマンド送受信部２１５は、コントローラ１００の他の入出力装置１３５に含まれるスイッチやスティックなどの操作子によって提供される操作コマンドを、通信インターフェース２１３、通信ドライバ２１１、およびバス２０９を介して取得して、アプリケーション装置３００に送信してもよい。アプリケーション装置３００は、非接触センサ部を備える検出装置（例えばコントローラ１００）とは異なる装置である。また、コマンド送受信部２１５は、例えば上記のＬＥＤドライバ２０１やバイブレータドライバ２０３のためのコマンドを、入力インターフェース２５１を介してアプリケーション装置３００から受信する。入力インターフェース２５１は、例えば、仮想化されたＨＩＤ（Human　Interface　Device）を含みうる。
　オーディオドライバ２１７は、アプリケーション装置３００との間でオーディオストリーム２５３を介して音声データをやり取りする。より具体的には、オーディオドライバ２１７は、コントローラ１００の他の入出力装置１３５に含まれるマイクロフォンなどによって取得された音声データを、通信インターフェース２１３を介して取得し、アプリケーション装置３００に送信する。また、アプリケーション装置３００から受信した音声データに基づいて、コントローラ１００の他の入出力装置１３５に含まれるスピーカから出力するための音声データを、通信インターフェース２１３を介して送信する。
　超音波タグ処理部２１９は、後述するように、いくつかの実施形態においてコントローラ１００に含まれる超音波タグに関する処理を実行する。
　アプリケーション装置３００は、コントローラ１００を利用したアプリケーションを提供する装置である。アプリケーション装置３００は、例えば、コンソール装置２００と同様の端末装置であってもよい。この場合、アプリケーション装置３００は、コンソール装置２００と同一の装置であってもよい。また、アプリケーション装置３００は、ウェアラブル装置であってもよい。あるいは、アプリケーション装置３００は、コンソール装置２００とネットワークを介して通信するサーバ装置であってもよい。アプリケーション装置３００は、動き認識エンジン３０１と、入力デバイスドライバ３０３と、サウンドドライバ３０５とを有する。
　例えば、コンソール装置２００とアプリケーション装置３００とが同一の装置であるような場合、当該装置は、手指の形状、手の姿勢、手の動き、手もしくは手指による操作、および／または手の近傍で発生した音に応じたコマンドを発行するコマンド発行部（例えば、上記の手指形状認識エンジン２０５、姿勢認識エンジン２０７、動き認識エンジン３０１、および入力デバイスドライバ３０３が統合された構成要素）と、こうしたコマンドを、非接触センサ部を備える検出装置（例えばコントローラ１００）に送信する送信部（例えば、通信ドライバ２１１およびコマンド送受信部２１５が統合された構成要素）とを備えてもよい。
　動き認識エンジン３０１は、コントローラ１００に含まれるＩＭＵ１３１によって提供される加速度、角速度、および／または地磁気の検出結果、さらに、手指形状認識エンジン２０５や姿勢認識エンジン２０７の出力結果に基づいて、手の動きを認識する。検出結果は、コントローラ１００から、コンソール装置２００を介して提供される。動き認識エンジン３０１は、認識された手の動きに対応するコマンドを、入力デバイスドライバ３０３および／またはサウンドドライバ３０５に向けて発行する。なお、図示された例では動き認識エンジン３０１がアプリケーション装置３００において実装されているが、他の例ではコンソール装置２００において動き認識エンジンが実装されてもよい。
　入力デバイスドライバ３０３は、アプリケーション装置３００において提供されるアプリケーションにおいて、入力デバイスとして認識されているデバイスの制御を実行する。例えば、入力デバイスドライバ３０３は、コンソール装置２００の手指形状認識エンジン２０５や姿勢認識エンジン２０７が発行したコマンドや、コントローラ１００の他の入出力装置１３５に含まれるスイッチやスティックなどの操作子によって提供される操作コマンドを受信し、これらのコマンドに基づいて、アプリケーションに関する処理を実行する。処理を実行した結果として、入力デバイスドライバ３０３は、コンソール装置２００のＬＥＤドライバ２０１やバイブレータドライバ２０３のためのコマンドを発行する。これらのコマンドは、入力インターフェース２５１を介してコンソール装置２００に送信される。
　サウンドドライバ３０５は、アプリケーション装置３００において提供されるアプリケーションにおけるサウンドに関する制御を実行する。例えば、サウンドドライバ３０５は、動き認識エンジン３０１や、入力デバイスドライバ３０３が発行したコマンドに従って、オーディオストリーム２５３を介して、コンソール装置に音声データを送信する。
　以上で説明したようなシステム１０では、ユーザが手や手指を用いて実行するアプリケーションの操作について、手指の形状と、手の姿勢または動きに基づいて操作を認識することができる。例えば、手指の形状と手の姿勢との組み合わせは、様々なハンドサインとして認識できる。また、例えば、手指の形状と手の動きとの組み合わせは、開ける、掴む、回す、投げるといったような、手と指を使った様々なアクションとして認識できる。従って、本実施形態では、例えば手の動きのみによって操作を認識する場合に比べて、認識精度が大幅に向上する。
　図５は、本開示の第１の実施形態におけるハンドサインの認識の例について説明するための図である。図示された例では、メニューを開くことを指示するハンドサインが認識される。Ａとして示された例では、ハンドサインを単独で認識することによって、メニューを開くというコマンドが発行されている。一方、Ｂとして示された例では、コントローラ１００にプッシュボタン１１１が設けられているため、ハンドサインを認識するのに加えて、「メニューを開くためにはボタンを押してください」というメッセージを音声などによって出力し、ボタンが押下された場合にメニューを開くというコマンドを発行することができる。
　本実施形態では、コントローラ１００にセンサアレイ１０３を設けることによって手指形状の認識精度が向上しているため、例えばＡの例のようにハンドサインを単独で認識する場合でも、ある程度高い精度での認識が可能である。さらに、Ｂの例のように、ハンドサインの認識と、それに続くプッシュボタン１１１などの操作子の操作とを組み合わせて認識するようにすれば、たまたま手指の形状や手の姿勢がハンドサインと類似したとしても、ユーザの意図に反してメニューを開くというコマンドを発行してしまうことを防ぐことができる。また、ジェスチャーの入力に時間がかかったり、同じコマンドを連続して入力できなかったりする点についても、改善することができる。
　図６は、本開示の第１の実施形態における手指の形状の検出方法について説明するための図である。上記のように、本実施形態では、コントローラ１００に設けられるセンサアレイ１０３が、光学的センサを用いて手指の形状を検出する。図６では、説明のためにセンサアレイ１０３と手だけを抽出して図示している。図示された例において、センサアレイ１０３は、４つの光学的センサ１０３１を含む。光学的センサ１０３１は、人差し指から小指の４本の指にそれぞれ対応している。光学的センサ１０３１は、所定の波長の光を出射する発光部と、指で反射した光を受光する受光部とを含む。
　ここで、図示された例において、発光部および受光部の光軸は、それぞれの指が曲げられたときの位置を通過するように設定される。この場合、ユーザが意図的に手を開いて指を伸ばすと、発光部から出射された光は指で反射されることなく直進し、受光部は反射光を受光しない。一方、ユーザが手指を曲げた場合、曲げ量が大きくなるにしたがって、発光部から出射された光はより近い位置で指によって反射されるため、受光部はより強い反射光を受光する。従って、受光部によって受光される反射光の強さに基づいて、手指の曲げ量を検出することができる。
　センサアレイ１０３および光学的センサ１０３１の配置は、上記のような検出を可能にするために最適化される。例えば、それぞれの光学的センサ１０３１は、ユーザが手の力を抜いて自然に指が曲がった状態で、センサと指の第一関節との距離が所定の値になるように配置される。光学的センサ１０３１の配置は、例えば、コントローラ１００におけるセンサアレイ１０３の取り付け位置および角度、センサアレイ１０３内での光学的センサ１０３１同士の間隔ｄ、および個々の光学的センサ１０３１の受光部および発光部の取り付け角度などによって調節することができる。
　上記のようなセンサアレイ１０３を構成する光学的センサ１０３１としては、例えば、ＶＣＳＥＬ（Vertical　Cavity　Surface　Emitting　LASER）センサを用いることができる。なお、センサアレイ１０３は、ＶＣＳＥＬセンサ以外の光学的センサによって構成されてもよいし、光学的センサに限らず、各種の非接触センサによって構成されてもよい。例えば、センサアレイ１０３は、静電センサ、熱センサ、音波（超音波）センサ、可視光センサ（カメラ）、電波センサなどによって構成することが可能である。
　本実施形態では、上記のようなセンサアレイ１０３を含む非接触センサを手のひら側に配置することによって、手指形状を検出するためのセンサの検出時のオクルージョンが発生することなく、より確実に手指の形状を検出することができる。なお、オクルージョンは主に光学的な用語であるが、光学的センサ以外の非接触センサの場合も同様である。つまり、非接触センサである以上、対象物（手指）とセンサとの間に障害物がない方が検出の精度が向上することは同じである。非接触センサの場合、手指の形状を検出するために指先に装置を装着する必要がなく、手指の形状を検出するのと並行して、ユーザが他の動作、例えばボタンやタッチパネルなどを用いた装置の操作を実行することができる。
　また、コントローラ１００にセンサアレイ１０３を配置することによって、例えばコンソール装置２００とユーザとは離れていてもよい。この点において、本実施形態は、例えばコンソール装置に固定されたカメラなどを用いてジェスチャー認識をするような場合に比べて有利である。
　図７は、本開示の第１の実施形態に係るコントローラの内部構造について説明するための図である。図７には、コントローラ１００の把持部材１０１の内部構造が示されている。図示されたコントローラ１００は、センサアレイ１０３Ｂが４つの光学的センサを含む点で、上記で図２Ａおよび図２Ｂを参照して説明した第２の例に係るコントローラ１００Ｂに対応するが、他の例に係るコントローラ１００でも内部構造は同様である。
　図示されているように、本実施形態に係るコントローラ１００では、把持部材１０１によって形成される筐体が、ＩＭＵ１３１と、バイブレータ１３３ａ，１３３ｂとを内蔵する。なお、参考のために、把持部材１０１の表面に配置されるセンサアレイ１０３、ランプ１０５およびグリップボタン１１５、ならびにセンサアレイ１０３に含まれる光学的センサ１０３１も図示されている。以下では、このうちバイブレータ１３３ａ，１３３ｂについて、さらに説明する。
　バイブレータ１３３ａは、例えば偏心モータを含んで構成され、低周波振動を発生させる。バイブレータ１３３ａは、把持部材１０１のより人差し指に近い位置（図中のｙ軸座標がより大きい位置）に固定され、手に低周波振動を伝達する。
　バイブレータ１３３ｂは、例えばリニアモータを含んで構成され、高周波振動を発生させる。バイブレータ１３３ｂは、把持部材１０１のより小指に近い位置（図中のｙ軸座標がより小さい位置）に固定され、手に高周波振動を伝達する。
　上記のようなバイブレータ１３３ａ，１３３ｂの配置によって、手の人差し指に近い位置に低周波振動を、小指に近い位置に高周波振動を、それぞれ伝達することができる。このように振動を分離して異なる位置で手に伝達することによって、例えば単一のバイブレータを用いる場合に比べて微細な振動のニュアンスを表現することができる。人差し指に近い位置に低周波バイブレータ（バイブレータ１３３ａ）、小指に近い位置に高周波バイブレータ（バイブレータ１３３ｂ）という配置は、手の構造や感覚特性を反映したものである。他の例では、互いに異なる周波数の振動を発生させるバイブレータ１３３が、伝達させる振動の特性などに応じて上記とは異なる配置で設けられてもよい。また、他の実施形態では、単一のバイブレータ１３３が設けられてもよい。
　なお、上記のバイブレータ１３３ａ，１３３ｂの説明における低周波振動および高周波振動という用語は、バイブレータ１３３ａおよびバイブレータ１３３ｂがそれぞれ発生させる振動の周波数が異なっていることを示すものであり、それぞれの振動の周波数を特定の周波数に限定することを意図したものではない。
　図８は、本開示の第１の実施形態におけるコントローラを利用した認証の例について説明するための図である。図８を参照すると、ユーザは、コントローラ１００Ｌ，１００Ｒを左右それぞれの手に装着して、コンソール装置２００に接近する。このとき、コントローラ１００Ｌ，１００Ｒのいずれかが、コンソール装置２００がアンテナ２２１から定期的に送信している微弱無線ビーコン信号を受信する。ビーコン信号を受信すると、コントローラ１００Ｌ，１００Ｒはスタンバイ状態から起動し、コンソール装置２００に対して、コントローラ１００Ｌ，１００Ｒが接近していることを通知する信号を送信する。図示された例では、コントローラ１００Ｌ，１００Ｒがそれぞれビーコン信号の受信機能を有するため、結果としてビーコン信号を受信できる確率が高くなる。
　コントローラ１００Ｌ，１００Ｒとコンソール装置２００との間で通信のペアリングが完了すると、コントローラ１００Ｌ，１００Ｒは、ペアリング完了のインジケーションとして、ランプ１０５を所定の色（例えば青色）で点灯させるとともに、スピーカ１１９から「ＨＥＬＬＯ」といったような音声を出力させる。
　一方、図示された例において、コンソール装置２００は、ステレオデプスカメラ２２３とビームフォーミングマイクロフォン２２５とを備え、コントローラ１００Ｌ，１００Ｒにおけるランプ１０５の点灯や、スピーカ１１９からの音声出力を検出する。これによって、コンソール装置２００は、ユーザがいる方向と、ユーザのおおよその位置とを特定する。さらに、コンソール装置２００は、カメラを用いて、特定された位置および方向を撮影し、取得された画像に含まれるユーザの顔画像と、予め登録されている顔画像とを照合する。顔画像の照合が完了すると、コンソール装置２００は、ユーザが認証されたものとして、コンソール装置２００へのログインを許可する。あるいは、ユーザがコンソール装置２００に向かって「ログイン」といったような特定のフレーズを発話することで、コンソール装置２００が発話音声の話者認識を実行し、話者が登録されているユーザと一致した場合に、コンソール装置２００へのログインを許可してもよい。
　（２．第２の実施形態）
　図９は、本開示の第２の実施形態に係るウェアラブル端末の例を示す図である。図９を参照すると、本実施形態に係るウェアラブル端末４００は、フレーム４０１と、センサアレイ４０３と、筐体４０５と、ディスプレイ４０７とを有する。ウェアラブル端末４００は、本開示における検出装置の一例である。以下、それぞれの構成要素についてさらに説明する。
　フレーム４０１は、筐体４０５を手の甲側に固定するために、手のひら、および／または手首部分に回り込む形状を有する。図示された例において、フレーム４０１は、手の甲側で筐体４０５に連結されるとともに、手のひら側に回り込み、手のひら側でセンサアレイ４０３に連結されている。このような構造によって、センサアレイ４０３と手との位置関係が固定されている。従って、フレーム４０１は、本開示における装着部の一例である。
　センサアレイ４０３は、上記の第１の実施形態におけるコントローラ１００のセンサアレイ１０３と同様に、例えば複数の光学的センサを含み、手指の形状を検出する。なお、センサアレイ１０３と同様に、センサアレイ４０３も、他の非接触センサによって代替されてもよい。
　筐体４０５は、手の甲側に配置され、フレーム４０１によって手に固定されている。筐体４０５の表面にはディスプレイ４０７が配置され、ユーザに向けて様々な情報を画像として提示する。また、図示していないが、筐体４０５には、上記の第１の実施形態におけるコントローラ１００と同様に、ＩＭＵ、バイブレータ、他の入出力装置、および演算部が内蔵されうる。
　ウェアラブル端末４００は、ユーザの操作に応じて、様々な情報を提供する。情報は、ディスプレイ４０７によって画像として提示されてもよいし、図示しないスピーカによって音声として出力されてもよい。ここで、ディスプレイ４０７を含むウェアラブル端末４００の操作には、センサアレイ１０３によって検出される手指の形状を利用することができる。従って、ディスプレイ４０７は、本実施形態において、手指の形状に基づく処理の結果を出力する出力部の一例である。加えて、ウェアラブル端末４００の操作には、ＩＭＵによって検出される手の姿勢、および／または手の動きを利用することが可能であってもよい。
　上記の例において、ウェアラブル端末４００は、手指の形状を検出する非接触センサ部と、非接触センサ部を手に装着する装着部と、非接触センサ部によって検出される手指の形状を示す信号を取得する取得部と、手指の形状に応じたコマンドを発行するコマンド発行部と、ディスプレイ４０７のような出力部とを備える検出装置および制御装置であるといえる。ここで、取得部は、手指の形状を示す信号を内部的に取得し、コマンド発行部は、出力部の制御コマンドを発行する。
　上記の例では、ウェアラブル端末４００が装着された側の手によって、指の形状や手の姿勢を変化させたり、手を動かしたりすることによって、ウェアラブル端末４００に操作入力を与えることができる。このような操作入力は、例えば、ディスプレイ４０７上に設けられるタッチパネルや、その他の操作子を用いた操作入力に比べて簡便でありうる。操作子を用いた操作入力は、多くの場合、ウェアラブル端末４００が装着された側の反対側の手を用いて実行する必要があるためである。手指の形状や手の姿勢または動きを用いた操作入力は、反対側の手が（例えば電車で吊り革につかまったり、荷物を持っていたりして）ふさがっている場合でも実行可能である。もちろん、ウェアラブル端末４００でも、反対側の手が空いている場合のために、タッチパネルなどの操作子を用いた操作入力が可能であってもよい。
　（３．機能構成の例）
　図１０は、本開示のいくつかの実施形態における機能構成の例を示すブロック図である。例えば、上記で説明した第１および第２の実施形態において、実施形態に係るシステムの機能構成は、図１０のブロック図によって説明される。なお、各機能構成には、第１の実施形態において説明されたシステムの構成要素の符号と関連した符号が付されているが、これはそれぞれの機能構成が第１の実施形態ではそれらの構成要素に対応しうることを示すものにすぎず、必ずしも機能構成を実現する構成要素を限定するものではない。また、機能を実現する構成要素の符号については第１の実施形態のものを参照するが、第２の実施形態でも同様の構成要素によって機能が実現されうる。以下、それぞれの機能構成についてさらに説明する。
　発光部１０３１ａおよび受光部１０３１ｂは、コントローラ１００でセンサアレイ１０３に含まれる光学的センサ１０３１を構成する。発光部１０３１ａか出射した所定の波長の光が、指で反射して受光部１０３１ｂに入射する。発光部１０３１ａは、信号処理部１３７１が出力する制御信号に従って光を出射する。また、受光部１０３１ｂは、入射した光を信号に変換して信号処理部１３７１に入力する。信号処理部１３７１は、発光部１０３１ａへの制御信号によって指示される光の強さと、受光部１０３１ｂからの信号によって示される光の強さとを比較することによって、指で反射した光の割合を算出することができる。この割合から、上記で図６を参照して説明したような原理によって、手指の曲げ量を検出することができる。信号処理部１３７１は、例えばコントローラ１００において演算部１３７によって実現される。
　信号処理部１３７１において検出された手指の曲げ量を示す情報は、手指形状認識部２０５１に送信される。手指形状認識部２０５１は、検出された手指の曲げ量のパターンを、予め定義されたパターンと比較することによって、手指の形状を認識する。パターンは、例えばよく使われるハンドサインに対応して予め定義されてもよい。手指形状認識部２０５１は、例えば、コンソール装置２００において手指形状認識エンジン２０５によって実現される。
　ジャイロセンサ１３１１、加速度センサ１３１３、および磁気センサ１３１５は、例えばコントローラ１００のＩＭＵ１３１に含まれる。これらのセンサによって検出された角速度、加速度、および地磁気を示す信号は、信号処理部１３７３に入力される。信号処理部１３７３は、信号を必要に応じて前処理した上で、姿勢認識部２０７１に送信する。姿勢認識部２０７１は、例えば加速度の検出結果に基づいて、手の姿勢を認識する。角速度および地磁気の検出結果は、後段のジェスチャー認識部３０３１に転送される。信号処理部１３７３は、例えばコントローラ１００において演算部１３７によって実現される。また、姿勢認識部２０７１は、例えば、コンソール装置２００において姿勢認識エンジン２０７によって実現される。
　スイッチ類１３５１は、例えば、第１の実施形態におけるコントローラ１００の他の入出力装置１３５、より具体的にはスティック１０７、ホイール１０９、プッシュボタン１１１、セレクトレバー１１３、グリップボタン１１５、および／またはフリックレバー１２５に対応する。スイッチ類１３５１が操作されることによって出力される操作信号は、信号処理部１３７５において必要に応じて前処理された上で、操作入力処理部２１５１に送信される。信号処理部１３７５は、例えばコントローラ１００において演算部１３７によって実現される。また、操作入力処理部２１５１は、例えば、コンソール装置２００においてコマンド送受信部２１５によって実現される。
　コマンド認識部３０３１は、手指形状認識部２０５１によって認識される手指の形状、姿勢認識部２０７１によって認識される手の姿勢、および操作入力処理部２１５１によって取得されるスイッチ類１３５１（操作子）を用いた操作入力に基づいて、アプリケーションにおけるコマンドを認識する。コマンド認識部３０３１によって認識されるコマンドは、例えばカメラが撮影した画像を用いたジェスチャー認識に基づいて認識されるコマンドと類似していてもよい。ただし、図示された例では、手指の形状および手の姿勢に加えて、操作子を用いた操作入力にも基づいてコマンドが認識される。また、図示された例では、手指の形状や手の姿勢の認識精度が、例えば画像を用いる場合に比べて大幅に向上している。コマンド認識部３０３１は、例えば、アプリケーション装置３００において入力デバイスドライバ３０３によって実現される。コマンド認識部３０３１によって認識されたコマンドは、アプリケーション３００１に対する入力コマンドになる。
　コマンド生成部３０３３は、アプリケーション３００１の動作に従って、出力コマンドを生成する。コマンド生成部３０３３は、例えば、アプリケーション装置３００において入力デバイスドライバ３０３によって実現される。生成された出力コマンドは、制御部２０１１，２０３１に送信される。制御部２０１１は、ランプ１３５３を制御する。ランプ１３５３は、例えばコントローラ１００の他の入出力装置１３５、より具体的にはランプ１０５に対応する。制御部２０３１は、バイブレータ１３３を制御する。制御部２０１１および制御部２０３１は、例えば、コンソール装置２００においてＬＥＤドライバ２０１およびバイブレータドライバ２０３によってそれぞれ実現される。
　一方、アプリケーション３００１に関連する音声の入出力は、音声入出力部３０５１によって実行される。音声入出力部３０５１は、例えば、アプリケーション装置３００においてサウンドドライバ３０５によって実現される。音声入出力部３０５１は、アプリケーション３００１の動作に従って、出力音声を生成する。出力音声は、音声処理部２１７１に送信され、さらにスピーカ１３５５から出力される。音声処理部２１７１は、例えばコンソール装置のオーディオドライバ２１７によって実現される。スピーカ１３５５は、例えばコントローラ１００の他の入出力装置１３５、より具体的にはスピーカ１１９に対応する。一方、アプリケーション３００１に対する入力音声は、マイクロフォン１３５７によって取得され、音声処理部２１７１を経て音声入出力部３０５１に送信される。マイクロフォン１３５７は、例えばコントローラ１００の他の入出力装置１３５、より具体的にはマイクロフォン１２３に対応する。
　さらに、図示された例では、アプリケーション３００１に関する、超音波タグを利用した処理が可能である。超音波マイクロフォン１３５９は、例えばコントローラ１００の他の入出力装置１３５に含まれる。超音波マイクロフォン１３５９は、超音波を検出して信号に変換し、超音波通信受信部２１９１を介して識別子出力部３００３に送信する。識別子出力部３００３は、超音波によって受信された信号から、例えば他のコントローラ１００の識別子を抽出し、アプリケーション３００１に入力する。
　なお、上述したそれぞれの機能構成は、例えば第１の実施形態に即して説明されたように、コントローラ１００、コンソール装置２００、およびアプリケーション装置３００に分散して実現されてもよい。また、例えば第２の実施形態のように、入出力からアプリケーションの動作までが単一の装置（ウェアラブル端末４００）で完結してもよい。この場合、上記の機能構成の全体が、単一の装置によって実現されることになる。このように、本開示の実施形態において、機能構成がどのような装置によって実現されるかは任意に決定されうる。
　（４．他の実施形態）
　以下、本開示の他のいくつかの実施形態およびその効果について、さらに説明する。なお、以下の説明には、上記で説明した第１および第２の実施形態の構成および／または効果も含まれる。
　本開示のいくつかの実施形態に係る手指ジェスチャー認識機能では、手元でジェスチャーが認識できるため、例えば遠方からのカメラセンシング情報を用いたジェスチャー認識システムとは異なり、カメラセンシングにおけるオクルージョンの問題が発生しない。従って、例えばユーザがコンソール装置に背を向けた状態や、コンソール装置からは隠れて見えない机の下などで手指のジェスチャーを実行した場合にも、高い精度でジェスチャーを検出することができる。これによって、ユーザがジェスチャーを実行する際の場所や姿勢に関する制約を少なくすることができる。
　また、本開示のいくつかの実施形態に係る手指ジェスチャー認識機能では、手のひら側に光学的センサ（例えばフォトダイオード）を配置して手指の曲げ量を検出する。従って、例えば屋外でジェスチャーを実行したような場合においても、日光などの外光ノイズが手の甲などによって遮断され、精度の高いジェスチャー認識が可能になる。
　また、本開示のいくつかの実施形態に係る手指ジェスチャー認識機能では、手指の形状の情報、手の姿勢の情報、および手の甲を含む手首よりも先の動きの情報に基づいてジェスチャーを認識することができる。従って、例えば、手を開いて静止しているジェスチャーと、手を開いて振っているジェスチャーとを区別することも可能である。これによって、より多くの種類のジェスチャーを認識することが可能になる。
　また、本開示のいくつかの実施形態に係る手指ジェスチャー認識機能では、認識されたジェスチャーを、ディスプレイなどを介してユーザに提示し、最終的な入力をボタンなどの操作子によって実行させることが可能である。これによって、より確実なジェスチャーによるコマンド入力が実現される。
　また、本開示のいくつかの実施形態に係る手指ジェスチャー認識機能では、認識されたジェスチャーを、ジェスチャーの検出装置に内蔵されたバイブレータなどの出力装置による触力覚フィードバック、ジェスチャーの検出装置に設けられたＬＥＤランプなどによる視覚的なフィードバック、および／またはジェスチャーの検出装置に設けられたスピーカなどによる聴覚的なフィードバックによってユーザに提示し、最終的な入力をボタンなどの操作子によって実行させることが可能である。これによって、より確実なジェスチャーによるコマンド入力が実現される。
　また、本開示のいくつかの実施形態に係るコントローラは、例えばゲームコントローラとして使用することによって、３次元仮想空間ゲーム内でのアクション操作、例えば武器を構える、敵を撃つ、ドアや箱などを開閉する、物を拾う、投げる、掴む、回すなどの操作を容易に実行することができる。例えば、このような操作を、ボタンなどの操作子の操作の組み合わせによって実行しようとした場合、ユーザは操作子の種類や位置やその組み合わせなどを覚える必要がある。
　また、本開示のいくつかの実施形態に係るコントローラは、ユーザの左手および右手によってそれぞれ把持され、それぞれにバイブレータが内蔵される。例えば、左右のコントローラについて時間差をもたせて振動を発生させることによって、左から右、右から左といったような方向感を提示することができる。さらに、コントローラから出力される光や音などを用いたフィードバックを振動のフィードバックと同期させる（クロスモーダルフィードバック）ことによって、振動だけの場合よりもより強く方向感を提示することも可能である。
　また、それぞれのバイブレータは、低周波振動を発生させる偏心モータなどによって実現される低周波バイブレータと、高周波振動を発生させるリニアモータなどによって実現される高周波バイブレータとを含みうる。これによって、例えば周波数帯域が数十Ｈｚ～数百Ｈｚの帯域に及ぶ振動を発生させることができるとともに、解剖学的に触力覚刺激に敏感な部位の一つである指先および手のひらに振動を伝達できる。従って、表現力のある触力覚刺激が実現される。
　また、本開示のいくつかの実施形態に係るコントローラは、手指の形状認識に加えて、バイブレータによる触力覚の出力機能を有する。それゆえ、例えば、医療分野における手術シミュレーションシステムで、医師がメスを持って患部を切除するようなシミュレーションを行う場合、切除時の振動をフィードバックとして出力できる振動フィードバック機能付きの手元装着型の手術シミュレーションコントローラとして使用することができる。
　上記のような、左右の手に対する触力覚刺激のフィードバックや、振動と音、または振動と光などの同期刺激によるフィードバックなどをゲームコントローラ装置において応用することによって、例えば、ゲーム内のキャラクタの状態などを、より臨場感を持ってユーザに伝達することができる。
　また、ゲームコントローラ装置の応用例では、水平ホイール型スイッチとスティックの統合操作機能によって、片手の指でスティックと水平ホイールを操作して、移動および視点移動の操作入力を同時に実行することが可能である。これによって、ユーザは、３次元仮想空間ゲーム内で移動しながらの視点移動操作を簡単に入力することができる。
　また、本開示のいくつかの実施形態に係るコントローラでは、親指にスティック、人差し指に水平ホイール、中指にセレクトレバー、薬指と小指にグリップといったように、各種スイッチが指ごとに割り当てられる。この場合、スイッチ操作の際に運指が不要であり、ユーザは手元を見ることなく簡単に所望の操作を実行することができる。
　また、本開示のいくつかの実施形態に係るコントローラでは、手指ジェスチャーによって操作が可能であったり、上記のようにスイッチ操作の際に手元を見る必要がなかったりするため、例えば他の装置のディスプレイなどを見ながら操作入力を実行することが可能である。それゆえ、例えば、コントローラは、外部装置、例えばスマートフォンなどのモバイル端末機器のウェアラブルコントローラとして効果的に使用することができる。
　また、本開示のいくつかの実施形態に係るコントローラは、手元での光学的センサを用いた手指形状検出機能に加えて、手全体の動きを検出できる、３軸の加速度センシングと３軸のジャイロセンシングの機能を有する。これらの機能を利用すれば、例えば、コンソール装置側での機械学習処理によって、仮想的なキーボードのタイプ動作による文字入力を実現することができる。この場合、例えば、指の曲げ量に応じてキーボードの行が、手の向きによってキーボードの列がそれぞれ特定され、指によるタップ動作の認識、または所定のボタンの押下などの操作によって、打鍵が実行される。
　また、例えば、コンソール装置側での機械学習処理を伴った手指ジェスチャー認識処理によって、空中で指先を文字や記号の形に動かすことによって操作入力を実行することができる。文字や記号は、一筆書きで入力されてもよいし、何らかの操作によって複数の部分に分けて入力されてもよい。このような手書きによる入力は、例えば手の加速度を検出することによっても可能であるが、本開示のいくつかの実施形態では、指の動きだけによって手書きによる入力を検出することができるため、手を不必要に大きく動かさなくてもよく、例えば指以外の部分は静止させたままでもよい。
　なお、上記のような文字や記号の入力は、ユーザの認証と組み合わされてもよい。例えば、ユーザが、所定の手指形状（例えば、指を３本だけ立てる、など）で文字や記号の入力を実行した場合、文字や記号は、ログインのための入力として認識されてもよい。例えば、ユーザが空中で指先を動かすことによって入力された文字や記号が、予めコンソール装置に登録された文字や記号と一致すれば、コンソール装置はユーザのログインを許可してもよい。なお、この場合のコンソール装置は、据え置き型の装置には限られず、例えばウェアラブルデバイス（アイウェア、リストウェアなど）や、モバイルデバイスなどであってもよい。
　また、本開示のいくつかの実施形態に係るコントローラでは、手指の曲げ量の平均値（以下、曲げ重心ともいう）を検出することによって、二次元の移動またはスクロールの操作が可能である。例えば、人差し指から小指までの４本の指の曲げ量が検出可能である場合に、人差し指および／または中指だけを曲げると、曲げ重心は人差し指側に偏る。逆に、小指および／または薬指だけを曲げると、曲げ重心は小指側に偏る。この偏りを利用して、指に対して直角な方向の移動またはスクロールの操作が可能である。また、指全体を握ると曲げ重心は指の付け根側に偏り、指全体を開くと曲げ重心は指先側に偏る。この偏りを利用して、指に対して平行な方向の移動またはスクロール操作が可能である。このようにして実行される移動またはスクロール操作は、例えばアイウェアやリストウェアにおける表示領域やポインタアイコンなどの移動に利用することができる。
　また、本開示のいくつかの実施形態に係るコントローラは、手元に装着する形式で、左右の手にセパレートされた形状であるため、自由なスタイルでコントローラを使用することができる。従って、例えば、ゲームコントローラ装置に応用した場合、手指ジェスチャー認識機能を有するにも関わらず、場所や姿勢を選ばずに、気軽にコントローラを使用してゲームをプレイすることができる。
　また、本開示のいくつかの実施形態に係るコントローラは、手全体を覆ってはいないものの、手元に装着する形式である。従って、手元からコントローラが落下することなく、手指のジェスチャーを入力したり、ジェスチャー入力とボタン入力を速やかに切り替えたりすることができる。
　また、本開示のいくつかの実施形態に係るコントローラでは、異なる形式の左右のコントローラ（例えば上記の第１の実施形態で説明したコントローラ１００Ａ～１００Ｃ）を、共通するユーザＩＤに関連付けて、自由に組み合わせて使用することが可能である。この場合、例えば、ゲーム用途向けにはスティック付きの左コントローラ（例えばコントローラ１００Ａ）を使用し、家電情報端末向けには左右共に手指のジェスチャー認識に特化したコントローラ（例えばコントローラ１００Ｂ）を使用するなど、用途に応じてコントローラを使い分けることができる。
　また、本開示のいくつかの実施形態に係るコントローラでは、左右それぞれに送受信可能な超音波センサが内蔵されている。この場合、例えば、コントローラを装着した手が物体に接近したことを検出できる。また、例えば、コントローラが同様に超音波センサを内蔵された装置と接近した場合には、当該装置との距離や方向を認識することができる。このようにして、例えば手指ジェスチャーやスイッチ以外の入力が実現される。また、別の超音波センサ対応デバイスに左右どちらかのコントローラをかざして、超音波を用いたデータ通信を行うことも可能である。
　また、本開示のいくつかの実施形態に係るコントローラでは、左右それぞれに送受信可能な光学的センサ（上記の第１の実施形態などにおける光学的センサ１０３１とは別のセンサでありうる）が内蔵されている。この場合、例えば、別の光学的センサ対応デバイスに左右どちらかのコントローラをかざして、光を用いたデータ通信を行うことが可能である。
　また、本開示のいくつかの実施形態に係るコントローラでは、左右それぞれに送受信可能なマイクロフォンとスピーカが内蔵されている。この場合、例えば、別のマイクロフォンおよびスピーカ対応デバイスに左右どちらかのコントローラをかざして、可聴音を用いたデータ通信を行うことが可能である。また、例えば、一方の手に装着されたコントローラに向かって音声を発して音声入力を実行しながら、他方の手に装着されたコントローラから出力される音声を聴くといったような、いわゆる電話のような機能を実現することができる。また、例えば、手指ジェスチャー認識と組み合わせることで、親指と小指だけを伸ばして他の指を握った形状（電話を意味する手指ジェスチャー）を実行することでボイスコミュニケーションのアプリケーションを起動するといったようなことの可能である。
　また、本開示のいくつかの実施形態に係るコントローラは、把持部材に圧力センサが内蔵され、握力を測定することが可能である。この場合、例えば、「弱く握る」や「強く握る」といった、握り込みによる操作を実現することができる。
　また、本開示のいくつかの実施形態に係るコントローラは、光学的に手指形状を検出できるため、指先にセンサ類を装着する必要がなく、指先が自由である。従って、手にコントローラを装着した状態でも、例えばキーボードやマウス、タッチパネルなど、他のデバイス操作を実行することができる。
　また、本開示のいくつかの実施形態に係るコントローラは、プレゼンテーション時におけるスライド等の操作において、手元を見ずにジェスチャーによる複数の操作を実行することが可能である。また、コンソール装置との間の通信が可能である範囲において、検出範囲には制限がないので、画面に背を向けたり、移動したり、立つ姿勢の向きを変えたりしても操作を継続することが可能である。
　また、本開示のいくつかの実施形態に係るコントローラは、ゴルフや水泳などのスポーツを行う際に装着することで、手の動きや握り圧、指先の動きなどを内蔵のモーションセンサ（例えば第１の実施形態におけるＩＭＵ１３１）で検出することができる。また、他のデバイスとの間で、例えば、光、可聴音、超音波などを使った近接通信によって、データを交換することが可能であってもよい。この場合、記録したデータを分析することによって、スポーツの上達のためのアドバイス提示などの機能が実現されうる。
　また、本開示のいくつかの実施形態に係るコントローラは、料理を行う際に装着することで、手の動きや握り圧、指先の動きなどを内蔵のモーションセンサ（例えば第１の実施形態におけるＩＭＵ１３１）で検出することができる。また、他のデバイスとの間で、例えば、光、可聴音、超音波などを使った近接通信によって、データを交換することが可能であってもよい。この場合、記録したデータを分析することによって、料理の上達のためのアドバイス提示などの機能が実現されうる。
　また、本開示のいくつかの実施形態に係るコントローラは、楽器演奏を行う際に装着することで、手の動きや握り圧、指先の動きなどを内蔵のモーションセンサ（例えば第１の実施形態におけるＩＭＵ１３１）で検出することができる。また、他のデバイスとの間で、例えば、光、可聴音、超音波などを使った近接通信によって、データを交換することが可能であってもよい。この場合、記録したデータを分析することによって、楽器演奏の上達のためのアドバイス提示などの機能が実現されうる。
　また、本開示のいくつかの実施形態に係るコントローラは、内蔵されている光学的センサ（上記の第１の実施形態などにおける光学的センサ１０３１と同じセンサであってもよいし、別のセンサであってもよい）を用いて、手指の血流を計測することができる。この場合、例えば、ユーザのバイタルサインの一つである心拍数を測定することができ、応用的にユーザの健康管理や、ユーザの身体状態や感情の変化を推定することができる。これによって、コントローラをヘルスケア機器として利用したり、バイタルサインをコントローラの操作に応用したりすることができる。
　また、例えば、本開示のいくつかの実施形態に係るコントローラをゲームコントローラ装置に応用した場合、ゲームパッドのような他の種類のコントローラにはない、指をパラメータとする操作入力が可能である。より具体的には、例えば、野球ゲームで、ボールの握り方や手の振り方によって、投げられたボールの軌道を変化させてもよい。また、例えば、ファンタジーゲームで、指の動きによって魔法をかけてもよい。また、例えば、格闘ゲームで、手指の握り具合によってパンチのスピードを変化させたり、裏拳や手刀など、様々な手の形状による技を登場させたりしてもよい。
　また、例えば、本開示のいくつかの実施形態に係るコントローラは、ヘッドマウンド式のデバイス（例えばヘッドマウントディスプレイ）など、他のウェアラブルデバイスと組み合わせて用いられてもよい。例えば、ユーザがヘッドマウントディスプレイを装着し、左右の手に装着されたコントローラを視認できない場合であっても、上記の通りコントローラでは、手指形状の認識や操作子を指ごとに割り当てることなどによって手元を見ずに操作を実行することが可能であるため、支障なく操作を実施することができる。
　例えば、コントローラをヘッドマウントデバイスと組み合わせる場合、ヘッドマウントデバイスの姿勢情報や、ヘッドマウントデバイスに備えられたカメラによって取得される画像を利用することによって、より多様なユーザの状態を検出することができる。例えば、ヘッドマウントデバイスの姿勢情報に基づいて、ユーザの頭の向き（前方）を特定することができる。つまり、事前のキャリブレーションがなくても、前方が特定できる。さらに、ヘッドマウントデバイスのカメラによって取得される画像に映っているユーザの腕の位置および方向から、腕がどの方向に伸ばされているかを特定することができる。これらの情報に、コントローラによって検出される手の姿勢を組み合わせると、ユーザの上半身全体のポーズを推定することができる。これによって、例えば、ヘッドマウントデバイスによって提供される仮想的な空間の画像において、実際に手がある位置に対応した位置に手を模したグラフィックなどを表示させることができる。このグラフィックに、手袋や装飾品などを加えることで、仮想的に手の着せ替えができる。また、腕を伸ばした方向が認識されることによって、仮想的な空間に配置された物体を取るなどの選択操作が可能になる。また、手の姿勢だけではなく、腕全体の形状を組み合わせたジェスチャーを認識することが可能になる。
　さらに、上記の例では、ヘッドマウントデバイスの動きを体感部分の動きとして認識することによって、より多様な動きを検出することができる。例えば、ヘッドマウントデバイスと、手に装着されたコントローラとの両方で、同期した上下動が検出された場合、ユーザはジャンプしていると推定される。また、ヘッドマウントデバイスでは上下動が検出される一方で、手に装着されたコントローラでは前後動が検出された場合、ユーザは走っていると推定される。また、ヘッドマウントデバイスと、手に装着されたコントローラとの両方で下方への動きが検出され、さらにコントローラで軽い衝撃が検出された場合、ユーザは床に手をついてしゃがんだと推定される。また、ユーザが下を向いて両手で頭を押さえたことが検出された場合、ユーザは頭を抱えていると推定される。
　また、例えば、本開示のいくつかの実施形態に係るコントローラは、他のデバイスとの加速度の同期によって、ユーザの手がどのデバイスに触れているかを特定するために利用される。例えば、ユーザがコントローラを装着した手でタブレットのタッチパネルを押下した場合、コントローラとタブレットとでそれぞれ検出される加速度は同期する。この場合、タブレットのユーザとしてコントローラを装着しているユーザが特定され、タブレットがユーザのログインを許可してもよい。また、例えば、ユーザ同士が、それぞれコントローラを装着した手で握手をした場合、それぞれのコントローラで検出される加速度は同期する。この場合、それぞれのコントローラを装着しているユーザを関連付ける、例えばチーム分けや対戦相手のペアリングなどの処理が実行されてもよい。また、例えば、ユーザ同士が、それぞれコントローラを装着した手でハイタッチなどをした場合も、それぞれのコントローラで検出される加速度は同期する。この場合、それぞれのコントローラを装着しているユーザを関連付ける、例えばアイテム交換などの処理が実行されてもよい。また、ユーザがコントローラを装着した手でホワイトボード（インタラクティブホワイトボード）に書き込んだ場合、コントローラとホワイトボードとでそれぞれ検出される加速度は同期する。この場合、ホワイトボードに書き込んでいるユーザとしてコントローラを装着しているユーザが特定され、例えばホワイトボードの書き込みが表示される色が変化してもよい。
　また、例えば、本開示のいくつかの実施形態に係るコントローラは、ユーザがコントローラを装着した手で通信タグが埋め込まれたオブジェクトを把持した場合に、当該オブジェクトを非接触通信によって認識する機能を有してもよい。このような機能は、例えば、超音波通信や、赤外線通信、ＩＣ（Integrated　Chip）タグを用いた通信などによって実現される。より具体的には、例えば、ユーザがタグが内蔵されたペンを持った場合には、ペンがタブレットなどの入力ツールとして認識されてもよい。また、例えば、ユーザが懐中電灯などのライトを持った場合には、ゲーム内などの仮想空間がライトの使用によって明るくなってもよい。また、例えば、ゲームのキャラクタなどに関連するフィギュアやメダルなどをユーザが握った場合、当該キャラクタが仮想空間に登場してもよい。
　また、例えば、本開示のいくつかの実施形態に係るコントローラは、スマートフォンやタブレットなどのタッチパネルを拡張する機能を有してもよい。例えば、スマートフォンやタブレットがタッチパネル側の面に備えるカメラを利用すれば、コントローラを装着した手の画像が取得できる。この画像から、タッチパネルに対する手の相対的な位置を特定することができる。一方、コントローラでは、手指の形状から、ユーザがタッチパネルをタッチするような動作をしたか否かを検出することができる。これらの情報を組み合わせれば、ユーザが、タッチパネルから離れた空間でタッチパネルに表示されたオブジェクトに対する仮想的なタッチの動作を実行した場合にも、この動作をタッチパネルにおけるタッチ操作として検出することが可能である。これによって、例えば、タッチパネルの操作が、実際にタッチパネルに触れられなくても実行可能になる。また、タッチパネルに対する奥行き方向での操作が可能になる。
　また、手指形状の検出によって認識されるハンドサインと音声入力とを組み合わせた操作のより具体的な例として、人差し指を立てて口元に当てた状態で、「シーッ」と発声すると、発声の持続時間の長さに応じて、出力音声のボリュームが下げられてもよい。また、例えば、操作対象になる外部装置の空間座標が予めデータベース化され、指の方向や体の向き、視線の向きなどの情報によってコントローラと外部機器との位置関係が特定される場合、ある外部機器に向けて人差し指だけが伸ばされると、当該外部機器に対する操作が実行されてもよい（外部機器に対するキュー操作）。
　また、例えば、本開示のいくつかの実施形態に係るコントローラは、例えば指の付け根に取り付けられる圧力センサなどによって、指が物体を押した時の圧力を検出する機能を有してもよい。この場合、指が物体を押したこと、およびそのときの押圧力を検出することによって、タッチパネルではない物体の面に対するタッチやフリック、スワイプなどの操作や、タッチ操作における押し込み量などを検出することができる。
　また、他の実施形態において、手指の形状を検出する検出する非接触センサ部は、指の付け根に装着されてもよい。例えば、非接触センサ部は、親指の付け根部分の周囲に、リング状の装着部材によって装着されてもよい。この場合、例えば、非接触センサ部は、親指の曲げ方向に対して内側に配置される単一のセンサを含んでもよい。あるいは、非接触センサ部は、親指の周方向に所定の間隔で配置される複数のセンサによって構成されるセンサアレイを含んでもよい。これらの１または複数のセンサは、親指の曲げ伸ばし度合いを検出するのに加えて、親指と隣の指（例えば人差し指）との間隔を検出してもよい。また、同様の非接触センサ部が、人差し指の付け根部分の周囲に装着されてもよい。この場合、１または複数のセンサは、人差し指の曲げ伸ばし具合を検出するのに加えて、人差し指と隣の指（例えば親指および中指）との間隔を検出してもよい。指同士の間隔は、例えば、光学的センサの出射および入射の方向を、人差し指（または親指）からみて外側に向けることによって検出されうる。
　また、他の実施形態では、手指の形状を検出する非接触センサの検出値に加えて、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、音センサ（マイクロフォン）、ユーザの生体情報（例えば脈拍、脳波、発汗量など）を検出する正対センサ、および／もしくは視線検出センサの検出値、ならびに／または音声認識結果に基づいて、コマンドが発行されてもよい。さらに、発行されるコマンドによって、表示部におけるオブジェクトの表示が制御されてもよい。この場合、オブジェクトは、例えばキャラクタなどの手を表す。仮想的に表示されるオブジェクトの手が、手指の形状などを含む検出情報に基づくコマンドによって制御されることによって、例えばオブジェクトの表示により臨場感を感じることができる。
　（５．ハードウェア構成）
　次に、図１１を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１１は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるコントローラ、コンソール装置、アプリケーション装置、ウェアラブル装置、および／またはサーバ装置などを実現しうる。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（６．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置（コントローラ、コンソール装置、アプリケーション装置、ウェアラブル装置、および／またはサーバ装置）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）手指の形状を検出する非接触センサ部、および
　前記非接触センサ部を手根部よりも遠位側で手に装着する装着部
　を備える検出装置。
（２）前記装着部は、前記非接触センサ部を手のひら側に装着する、前記（１）に記載の検出装置。
（３）前記装着部は、前記手によって把持される把持部材を含む、前記（２）に記載の検出装置。
（４）前記非接触センサ部は、光学的センサを含む、前記（２）または（３）に記載の検出装置。
（５）前記非接触センサ部は、前記手のひら側に配置されるセンサアレイを含み、
　前記センサアレイは、１または複数の前記手指にそれぞれ対応する非接触センサを含む、前記（４）に記載の検出装置。
（６）前記手の姿勢を検出する姿勢センサをさらに備える、前記（１）～（５）のいずれか１項に記載の検出装置。
（７）前記手の動きを検出する動きセンサをさらに備える、前記（１）～（６）のいずれか１項に記載の検出装置。
（８）前記手または前記手指による操作を検出する操作子をさらに備える、前記（１）～（７）のいずれか１項に記載の検出装置。
（９）前記手の近傍で発生した音を検出する音センサをさらに備える、前記（１）～（８）のいずれか１項に記載の検出装置。
（１０）前記手指の形状に基づく処理の結果を出力する出力部をさらに備える、前記（１）～（９）のいずれか１項に記載の検出装置。
（１１）前記出力部は、指先および前記手のひらに振動を伝達するバイブレータを含む、前記（１０）に記載の検出装置。
（１２）前記バイブレータは、前記指先および前記手のひらに低周波振動を伝達する低周波バイブレータと、前記指先および前記手のひらに高周波振動を伝達する高周波バイブレータとを含み、
　前記装着部は、前記低周波バイブレータをより人差し指に近い位置に、前記高周波バイブレータをより小指に近い位置にそれぞれ装着する、前記（１１）に記載の検出装置。
（１３）装着部が非接触センサ部を手根部よりも遠位側で手に装着することと、
　前記非接触センサ部が手指の形状を検出することと
　を含む検出方法。
（１４）手根部よりも遠位側で手に装着された非接触センサ部によって検出される、手指の形状を示す信号を取得する取得部と、
　前記手指の形状に応じたコマンドを発行するコマンド発行部と
　を備える制御装置。
（１５）前記取得部は、さらに、前記手の姿勢、前記手の動き、前記手もしくは手指による操作、または前記手の近傍で発生した音を示す信号を取得し、
　前記コマンド発行部は、前記手の姿勢、前記手の動き、前記手もしくは手指による操作、または前記手の近傍で発生した音に応じた前記コマンドを発行する、前記（１４）に記載の制御装置。
（１６）前記非接触センサ部を備える検出装置に前記コマンドを送信する送信部をさらに備える、前記（１４）または（１５）に記載の制御装置。
（１７）前記コマンド発行部は、前記検出装置が備える出力部に含まれるバイブレータの制御コマンドを発行する、前記（１６）に記載の制御装置。
（１８）前記非接触センサ部を備える検出装置とは異なる装置に前記コマンドを送信する送信部をさらに備える、前記（１４）または（１５）に記載の制御装置。
（１９）前記非接触センサ部、および出力部をさらに備え、
　前記取得部は、手指の形状を示す信号を内部的に取得し、
　コマンド発行部は、前記出力部の制御コマンドを発行する、前記（１４）または（１５）に記載の制御装置。
（２０）手根部よりも遠位側で手に装着された非接触センサによって検出される、手指の形状を示す信号を取得することと、
　プロセッサが、前記手指の形状に応じたコマンドを発行することと
　を含む制御方法。
　１０　　　システム
　１００　　コントローラ
　１０１　　把持部材
　１０３　　センサアレイ
　１０３１　光学的センサ
　１０５　　ランプ
　１０７　　スティック
　１０９　　ホイール
　１１１　　プッシュボタン
　１１３　　セレクトレバー
　１１５　　グリップボタン
　１１７　　バックパック
　１１９　　スピーカ
　１２１　　ベルト
　１２３　　マイクロフォン
　１２５　　フリックレバー
　１３１　　ＩＭＵ
　１３３　　バイブレータ
　２００　　コンソール装置
　２０５　　手指形状認識エンジン
　２０７　　姿勢認識エンジン
　２１１　　通信ドライバ
　２１５　　コマンド送受信部
　３００　　アプリケーション装置
　３０１　　動き認識エンジン
　３０３　　入力デバイスドライバ
　３０５　　サウンドドライバ
　４００　　ウェアラブル端末
　４０１　　フレーム
　４０３　　センサアレイ
　４０５　　筐体
　４０７　　ディスプレイ
 

Claims (20)

  1. 　手指の形状を検出する非接触センサ部、および
    　前記非接触センサ部を手根部よりも遠位側で手に装着する装着部
    　を備える検出装置。
  2. 　前記装着部は、前記非接触センサ部を手のひら側に装着する、請求項１に記載の検出装置。
  3. 　前記装着部は、前記手によって把持される把持部材を含む、請求項２に記載の検出装置。
  4. 　前記非接触センサ部は、光学的センサを含む、請求項２に記載の検出装置。
  5. 　前記非接触センサ部は、前記手のひら側に配置されるセンサアレイを含み、
    　前記センサアレイは、１または複数の前記手指にそれぞれ対応する非接触センサを含む、請求項４に記載の検出装置。
  6. 　前記手の姿勢を検出する姿勢センサをさらに備える、請求項１に記載の検出装置。
  7. 　前記手の動きを検出する動きセンサをさらに備える、請求項１に記載の検出装置。
  8. 　前記手または前記手指による操作を検出する操作子をさらに備える、請求項１に記載の検出装置。
  9. 　前記手の近傍で発生した音を検出する音センサをさらに備える、請求項１に記載の検出装置。
  10. 　前記手指の形状に基づく処理の結果を出力する出力部をさらに備える、請求項１に記載の検出装置。
  11. 　前記出力部は、指先および前記手のひらに振動を伝達するバイブレータを含む、請求項１０に記載の検出装置。
  12. 　前記バイブレータは、前記指先および前記手のひらに低周波振動を伝達する低周波バイブレータと、前記指先および前記手のひらに高周波振動を伝達する高周波バイブレータとを含み、
    　前記装着部は、前記低周波バイブレータをより人差し指に近い位置に、前記高周波バイブレータをより小指に近い位置にそれぞれ装着する、請求項１１に記載の検出装置。
  13. 　装着部が非接触センサ部を手根部よりも遠位側で手に装着することと、
    　前記非接触センサ部が手指の形状を検出することと
    　を含む検出方法。
  14. 　手根部よりも遠位側で手に装着された非接触センサ部によって検出される、手指の形状を示す信号を取得する取得部と、
    　前記手指の形状に応じたコマンドを発行するコマンド発行部と
    　を備える制御装置。
  15. 　前記取得部は、さらに、前記手の姿勢、前記手の動き、前記手もしくは手指による操作、または前記手の近傍で発生した音を示す信号を取得し、
    　前記コマンド発行部は、前記手の姿勢、前記手の動き、前記手もしくは手指による操作、または前記手の近傍で発生した音に応じた前記コマンドを発行する、請求項１４に記載の制御装置。
  16. 　前記非接触センサ部を備える検出装置に前記コマンドを送信する送信部をさらに備える、請求項１４に記載の制御装置。
  17. 　前記コマンド発行部は、前記検出装置が備える出力部に含まれるバイブレータの制御コマンドを発行する、請求項１６に記載の制御装置。
  18. 　前記非接触センサ部を備える検出装置とは異なる装置に前記コマンドを送信する送信部をさらに備える、請求項１４に記載の制御装置。
  19. 　前記非接触センサ部、および出力部をさらに備え、
    　前記取得部は、手指の形状を示す信号を内部的に取得し、
    　コマンド発行部は、前記出力部の制御コマンドを発行する、請求項１４に記載の制御装置。
  20. 　手根部よりも遠位側で手に装着された非接触センサによって検出される、手指の形状を示す信号を取得することと、
    　プロセッサが、前記手指の形状に応じたコマンドを発行することと
    　を含む制御方法。
     
PCT/JP2015/066387 2014-09-10 2015-06-05 検出装置、検出方法、制御装置、および制御方法 WO2016038953A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016547727A JP6669069B2 (ja) 2014-09-10 2015-06-05 検出装置、検出方法、制御装置、および制御方法
US15/502,226 US10635171B2 (en) 2014-09-10 2015-06-05 Detection device, detection method, control device, and control method
CN201580044968.7A CN106575164B (zh) 2014-09-10 2015-06-05 检测装置、检测方法、控制装置和控制方法
EP15840038.2A EP3193238A4 (en) 2014-09-10 2015-06-05 Detection device, detection method, control device, and control method
US16/816,725 US11157080B2 (en) 2014-09-10 2020-03-12 Detection device, detection method, control device, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014184108 2014-09-10
JP2014-184108 2014-09-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/502,226 A-371-Of-International US10635171B2 (en) 2014-09-10 2015-06-05 Detection device, detection method, control device, and control method
US16/816,725 Continuation US11157080B2 (en) 2014-09-10 2020-03-12 Detection device, detection method, control device, and control method

Publications (1)

Publication Number Publication Date
WO2016038953A1 true WO2016038953A1 (ja) 2016-03-17

Family

ID=55458716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066387 WO2016038953A1 (ja) 2014-09-10 2015-06-05 検出装置、検出方法、制御装置、および制御方法

Country Status (5)

Country Link
US (2) US10635171B2 (ja)
EP (1) EP3193238A4 (ja)
JP (2) JP6669069B2 (ja)
CN (1) CN106575164B (ja)
WO (1) WO2016038953A1 (ja)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955489A (zh) * 2016-05-26 2016-09-21 苏州活力旺机器人科技有限公司 一种机器人手势识别示教装置及方法
WO2018079383A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記録媒体
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2018110433A1 (ja) * 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
WO2018110432A1 (ja) * 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
JP2019008751A (ja) * 2017-06-28 2019-01-17 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置
WO2019077652A1 (ja) * 2017-10-16 2019-04-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
WO2019159332A1 (ja) * 2018-02-16 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム
WO2019244716A1 (ja) * 2018-06-19 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020079853A1 (ja) * 2018-10-19 2020-04-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
JP2020514896A (ja) * 2017-03-20 2020-05-21 タクチュアル ラブズ シーオー． ハンドセンシングコントローラ
WO2020121836A1 (ja) 2018-12-11 2020-06-18 ソニー株式会社 超音波ユーザーインターフェース装置
JP2020524335A (ja) * 2017-06-16 2020-08-13 バルブ コーポレーション 指動作のセンシングを備えた電子コントローラ
JP2020140727A (ja) * 2016-10-28 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記憶媒体
EP3617845A4 (en) * 2017-04-27 2020-11-25 Sony Interactive Entertainment Inc. CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM
JP2021505997A (ja) * 2017-12-07 2021-02-18 バルブ コーポレーション 手保持具、外側シェル、及び指検知を有する電子コントローラ
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
JP2021089763A (ja) * 2021-02-15 2021-06-10 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
JP2021182449A (ja) * 2017-05-24 2021-11-25 株式会社村田製作所 刺激伝達装置
US11195293B2 (en) 2017-07-20 2021-12-07 Sony Interactive Entertainment Inc. Information processing device and positional information obtaining method
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
US11429187B2 (en) 2018-10-19 2022-08-30 Sony Interactive Entertainment Inc. Controller apparatus, control method thereof, and program
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11786809B2 (en) 2016-10-11 2023-10-17 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
JP7383925B2 (ja) 2019-08-01 2023-11-21 株式会社ソシオネクスト 動作検出システムおよび動作検出装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10850192B2 (en) * 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
JP6401418B2 (ja) * 2016-03-04 2018-10-10 株式会社ソニー・インタラクティブエンタテインメント 操作装置
US10248201B2 (en) * 2016-05-06 2019-04-02 The Board Of Trustees Of The Leland Stanford Junior University Wolverine: a wearable haptic interface for grasping in virtual reality
WO2018016107A1 (ja) 2016-07-21 2018-01-25 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び制御システム
WO2018020794A1 (ja) 2016-07-26 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び操作デバイスの制御方法
CN107485826B (zh) * 2017-07-28 2020-07-31 长春理工大学 基于虚拟现实技术的手部康复训练系统
WO2019082386A1 (ja) 2017-10-27 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス
CN108281108A (zh) * 2018-03-19 2018-07-13 南京信息工程大学 一种基于fpga的全彩led阵列驱动装置
CN109085922B (zh) * 2018-07-27 2021-02-12 北京航空航天大学 一种多元触觉融合反馈手柄
KR102535839B1 (ko) * 2018-09-14 2023-05-24 삼성전자주식회사 안테나 어레이를 이용하여 외부 객체를 감지하는 전자 장치 및 그의 동작 방법
CN110968181B (zh) * 2018-09-29 2023-07-18 深圳市掌网科技股份有限公司 一种手指弯曲程度检测装置及方法
US10929516B2 (en) * 2018-10-08 2021-02-23 Advanced New Technologies Co., Ltd. Dynamic grip signature for personal authentication
US11872499B2 (en) * 2019-02-08 2024-01-16 Sony Interactive Entertainment Inc. Wearing member
WO2020251566A1 (en) * 2019-06-12 2020-12-17 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
WO2021133073A1 (ko) * 2019-12-23 2021-07-01 주식회사 후본 멀티모달 인터페이스 기반의 햅틱 장치
WO2022064881A1 (ja) * 2020-09-28 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN112338939B (zh) * 2020-10-28 2021-09-14 武汉大学 一种用于机械臂控制的六维操作手柄
US11656723B2 (en) 2021-02-12 2023-05-23 Vizio, Inc. Systems and methods for providing on-screen virtual keyboards
US11504615B1 (en) * 2021-05-18 2022-11-22 Valve Corporation Electronic controller with linear hand strap adjuster
US11757951B2 (en) 2021-05-28 2023-09-12 Vizio, Inc. System and method for configuring video watch parties with gesture-specific telemojis
TWI802441B (zh) * 2022-06-14 2023-05-11 宏達國際電子股份有限公司 手持控制器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2004078966A (ja) * 2002-08-19 2004-03-11 Samsung Electro Mech Co Ltd 着用可能な情報入力装置、情報処理装置及び情報入力方法
JP2004537802A (ja) * 2001-07-31 2004-12-16 ザ ティンバーランド カンパニー 手に装着する入力装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
JP4312366B2 (ja) * 2000-10-12 2009-08-12 日本放送協会 指装着型点字情報提示装置
AU2003205391A1 (en) * 2002-03-12 2003-09-29 Senseboard, Inc. Data input device
JP4085691B2 (ja) * 2002-05-17 2008-05-14 セイコーエプソン株式会社 画像処理装置
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
JP2005091085A (ja) 2003-09-16 2005-04-07 Gifu Univ 非接触型関節角度計測システム
JP4111278B2 (ja) * 2003-11-20 2008-07-02 独立行政法人産業技術総合研究所 触力覚情報提示システム
US7362305B2 (en) * 2004-02-10 2008-04-22 Senseboard Technologies Ab Data input device
JP4789087B2 (ja) 2005-03-30 2011-10-05 長崎県 動作検出装置および手話動作検出システム
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
WO2008010024A1 (en) * 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
EP2634670A1 (en) 2012-03-01 2013-09-04 Asplund Data AB A data input device
JP5264007B1 (ja) 2012-10-01 2013-08-14 善郎 水野 コントローラ
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
GB2507963A (en) 2012-11-14 2014-05-21 Renergy Sarl Controlling a Graphical User Interface
US9600083B2 (en) * 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2004537802A (ja) * 2001-07-31 2004-12-16 ザ ティンバーランド カンパニー 手に装着する入力装置
JP2004078966A (ja) * 2002-08-19 2004-03-11 Samsung Electro Mech Co Ltd 着用可能な情報入力装置、情報処理装置及び情報入力方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3193238A4 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955489A (zh) * 2016-05-26 2016-09-21 苏州活力旺机器人科技有限公司 一种机器人手势识别示教装置及方法
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US11786809B2 (en) 2016-10-11 2023-10-17 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
JP7057389B2 (ja) 2016-10-28 2022-04-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記憶媒体
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2020140727A (ja) * 2016-10-28 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記憶媒体
JPWO2018079384A1 (ja) * 2016-10-28 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
JPWO2018079383A1 (ja) * 2016-10-28 2019-03-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記録媒体
US10792561B2 (en) 2016-10-28 2020-10-06 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, control method, and program
US11281292B2 (en) 2016-10-28 2022-03-22 Sony Interactive Entertainment Inc. Information processing apparatus, control method, program, and storage media
WO2018079383A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記録媒体
WO2018110433A1 (ja) * 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
WO2018110432A1 (ja) * 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JPWO2018110433A1 (ja) * 2016-12-15 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
JPWO2018110432A1 (ja) * 2016-12-15 2019-04-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
JP2020514896A (ja) * 2017-03-20 2020-05-21 タクチュアル ラブズ シーオー． ハンドセンシングコントローラ
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
EP3617845A4 (en) * 2017-04-27 2020-11-25 Sony Interactive Entertainment Inc. CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM
US11501552B2 (en) 2017-04-27 2022-11-15 Sony Interactive Entertainment Inc. Control apparatus, information processing system, control method, and program
US11880528B2 (en) 2017-05-24 2024-01-23 Murata Manufacturing Co., Ltd. Stimulus transmission device
JP7245440B2 (ja) 2017-05-24 2023-03-24 株式会社村田製作所 刺激伝達装置
US11609655B2 (en) 2017-05-24 2023-03-21 Murata Manufacturing Co., Ltd. Stimulus transmission device
JP2021182449A (ja) * 2017-05-24 2021-11-25 株式会社村田製作所 刺激伝達装置
JP7143336B2 (ja) 2017-06-16 2022-09-28 バルブ コーポレーション 指動作のセンシングを備えた電子コントローラ
JP2020524335A (ja) * 2017-06-16 2020-08-13 バルブ コーポレーション 指動作のセンシングを備えた電子コントローラ
JP2019008751A (ja) * 2017-06-28 2019-01-17 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置
US11195293B2 (en) 2017-07-20 2021-12-07 Sony Interactive Entertainment Inc. Information processing device and positional information obtaining method
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
US11130050B2 (en) 2017-10-16 2021-09-28 Sony Interactive Entertainment Inc. Information processing system, controller device, and information processing apparatus
WO2019077652A1 (ja) * 2017-10-16 2019-04-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
JPWO2019077652A1 (ja) * 2017-10-16 2020-07-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
JP2021505997A (ja) * 2017-12-07 2021-02-18 バルブ コーポレーション 手保持具、外側シェル、及び指検知を有する電子コントローラ
JP7297750B2 (ja) 2017-12-07 2023-06-26 バルブ コーポレーション 手保持具、外側シェル、及び指検知を有する電子コントローラ
US11400363B2 (en) 2018-02-16 2022-08-02 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, controller device, information processing method, and program
JPWO2019159332A1 (ja) * 2018-02-16 2020-09-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム
WO2019159332A1 (ja) * 2018-02-16 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム
JPWO2019244716A1 (ja) * 2018-06-19 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11709550B2 (en) 2018-06-19 2023-07-25 Sony Corporation Information processing apparatus, method for processing information, and program
WO2019244716A1 (ja) * 2018-06-19 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11429187B2 (en) 2018-10-19 2022-08-30 Sony Interactive Entertainment Inc. Controller apparatus, control method thereof, and program
JP7000593B2 (ja) 2018-10-19 2022-01-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
JPWO2020079853A1 (ja) * 2018-10-19 2021-09-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
WO2020079853A1 (ja) * 2018-10-19 2020-04-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
US11813518B2 (en) 2018-10-19 2023-11-14 Sony Interactive Entertainment Inc. Information processing system, controller apparatus, information processing apparatus, and program
WO2020121836A1 (ja) 2018-12-11 2020-06-18 ソニー株式会社 超音波ユーザーインターフェース装置
JP7383925B2 (ja) 2019-08-01 2023-11-21 株式会社ソシオネクスト 動作検出システムおよび動作検出装置
JP7118189B2 (ja) 2021-02-15 2022-08-15 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021089763A (ja) * 2021-02-15 2021-06-10 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN106575164A (zh) 2017-04-19
US20170235364A1 (en) 2017-08-17
JP6669069B2 (ja) 2020-03-18
JP2020091904A (ja) 2020-06-11
EP3193238A4 (en) 2018-07-18
EP3193238A1 (en) 2017-07-19
US11157080B2 (en) 2021-10-26
US10635171B2 (en) 2020-04-28
JPWO2016038953A1 (ja) 2017-06-22
CN106575164B (zh) 2020-10-09
US20200209966A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US11157080B2 (en) Detection device, detection method, control device, and control method
US11360558B2 (en) Computer systems with finger devices
JP7277545B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN107368183B (zh) 用于提供输入的手套
US10613627B2 (en) Systems and methods for providing haptic feedback for remote interactions
JP6155448B2 (ja) ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
JP6340301B2 (ja) ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
CN105264460A (zh) 全息图对象反馈
EP2650756A2 (en) Skin input via tactile tags
US11907423B2 (en) Systems and methods for contextualized interactions with an environment
JP6747446B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20170087455A1 (en) Filtering controller input mode
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
JP2018067297A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
TW201816545A (zh) 虛擬實境頭戴式裝置
JP2018160249A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法
US20230022442A1 (en) Human interface system
JP2018032130A (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP6189513B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15840038

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016547727

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015840038

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015840038

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE