WO2023176420A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2023176420A1
WO2023176420A1 PCT/JP2023/007211 JP2023007211W WO2023176420A1 WO 2023176420 A1 WO2023176420 A1 WO 2023176420A1 JP 2023007211 W JP2023007211 W JP 2023007211W WO 2023176420 A1 WO2023176420 A1 WO 2023176420A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
virtual object
hand
information processing
user
Prior art date
Application number
PCT/JP2023/007211
Other languages
English (en)
French (fr)
Inventor
洋史 湯浅
毅 石川
京二郎 永野
真 城間
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023176420A1 publication Critical patent/WO2023176420A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present technology relates to an information processing device and an information processing method, and particularly relates to an information processing device and an information processing method suitable for use in detecting a gesture of pinching a virtual object.
  • a user may perform a gesture of picking a virtual object.
  • the virtual object is visual information that is displayed superimposed on the real world within the user's field of vision.
  • a time lag longer than a predetermined time occurs from when the user tries to pick the virtual object until it is determined that the virtual object has been picked.
  • the present technology was developed in view of this situation, and is intended to enable quick and accurate detection of a gesture of picking a virtual object.
  • An information processing device separately detects a movement of a hand base that does not include fingers of a user and a movement of a first finger of the hand, and detects the movement of the hand base and the first finger of the hand.
  • the present invention further includes a gesture detection unit that detects a gesture in which the user picks up a virtual object based on a movement of one finger.
  • An information processing method separately detects movements of a base of a user's hand, which is a part not including fingers, and movements of a predetermined finger of the hand, and detects the movement of the base of the hand and the movement of a predetermined finger of the hand. Based on the movement, a gesture of the user picking the virtual object is detected.
  • a movement of a base of the user's hand that does not include fingers and a movement of a first finger of the hand are individually detected, and the movement of the base of the hand and the first finger are detected separately. Based on the movement of the virtual object, a gesture of the user picking the virtual object is detected.
  • FIG. 3 is a diagram for explaining a picking gesture on a virtual object.
  • FIG. 3 is a diagram for explaining a problem when detecting a gesture of picking a virtual object.
  • FIG. 3 is a diagram for explaining a problem when detecting a gesture of picking a virtual object.
  • FIG. 3 is a diagram for explaining a problem when detecting a gesture of releasing a virtual object.
  • 1 is a diagram illustrating an embodiment of an information processing system to which the present technology is applied. It is a figure showing an example of composition of a fingertip sensor. It is a block diagram showing an example of composition of a head mounted display. It is a flowchart for explaining the picking gesture detection process by an information processing system.
  • FIG. 1 is a diagram illustrating an embodiment of an information processing system to which the present technology is applied. It is a figure showing an example of composition of a fingertip sensor. It is a block diagram showing an example of composition of a head mounted display. It is a flowchart for explaining the picking gesture detection
  • FIG. 3 is a diagram for explaining a method for detecting a gesture of picking a virtual object.
  • FIG. 3 is a diagram for explaining a method for detecting a gesture of gently releasing a virtual object.
  • FIG. 6 is a diagram for explaining a method for detecting a gesture of vigorously releasing a virtual object.
  • 1 is a block diagram showing an example of the configuration of a computer.
  • a gesture of picking the virtual object 2 may be performed as shown in FIG. Specifically, for example, as shown in FIG. 1A, the user pinches the virtual object 2 by bringing the fingertip (belly) of the thumb of the hand 1 into contact with the fingertip (belly) of the index finger. Next, as shown in FIG. 1B, the user moves the virtual object 2 to the destination by moving the hand 1 while keeping the fingertip of the thumb and index finger in contact. Then, as shown in FIG. 1C, the user releases the virtual object 2 by separating the tip of the thumb and the tip of the index finger at the destination.
  • bringing the fingertip of the thumb into contact with the fingertip of the index finger will simply be referred to as bringing the thumb and index finger into contact.
  • separating the fingertip of the thumb and the index finger is simply referred to as separating the thumb and index finger.
  • the user when the user selects and picks virtual object 2 from virtual objects 2 and 3 that are close to each other, the user separates the thumb and index finger of hand 1. In this state, the fingertips of the thumb and index finger are brought close to the virtual object 2. Then, as shown in FIG. 2B, the user brings the thumb and index finger of the hand 1 into contact so that they overlap with the virtual object 2 as seen from the user. Thereby, the user can select and pick the virtual object 2 from the virtual objects 2 and 3.
  • the position of the fingertips of hand 1 moves both when moving hand 1 to select the virtual object and when bringing the thumb and index finger into contact to pick the virtual object. It is difficult to determine whether this fingertip movement indicates that the user is attempting to select a virtual object or is attempting to pick a virtual object.
  • the thumb and index finger of hand 1 are actually separated, but depending on the angle, the thumb and index finger appear to be in contact. Therefore, there is a possibility that it will be erroneously detected that the virtual object 3 has been picked.
  • the thumb and index finger may unintentionally separate in the middle. be done.
  • the virtual object 2 may be unintentionally released while the hand 1 is picking up the virtual object 2 and moving it to a desired position.
  • the present technology makes it possible to accurately and quickly detect gestures of picking and releasing a virtual object.
  • picking gesture a series of gestures from when the user picks up the virtual object to when it is released.
  • FIG. 5 shows an embodiment of an information processing system 101 to which the present technology is applied.
  • the information processing system 101 includes a fingertip sensor 111, an IMU 112, an IMU 113, and a head mounted display (HMD) 114.
  • a fingertip sensor 111 an IMU 112
  • an IMU 113 an IMU 113
  • a head mounted display (HMD) 114 an IMU 114.
  • the fingertip sensor 111, IMU 112, and IMU 113 are attached to the hand 102 that the user uses when picking a virtual object.
  • the fingertip sensor 111 is attached to the fingertip of the index finger 102A, as shown in FIG. 6A.
  • the fingertip sensor 111 includes a pressure sensor 131, a finger cot 132, and a capacitance sensor 133.
  • the pressure sensor 131 is placed so as to be in contact with the pad of the index finger 102A.
  • the pressure sensor 131 detects the pressure applied to the fingertip (belly) of the index finger 102A.
  • the finger cot 132 is used to attach the fingertip sensor 111 to the fingertip of the index finger 102A.
  • the capacitance sensor 133 is provided outside the finger cot 132.
  • the capacitance sensor 133 is arranged at substantially the same position as the pressure sensor 131 with the finger cot 132 in between.
  • the capacitance sensor 133 detects the state of contact of an object with the fingertip of the index finger 102A by detecting the capacitance of the fingertip (belly) of the index finger 102A.
  • the fingertip sensor 111 transmits sensor data indicating the detection results of the pressure and capacitance of the fingertip of the index finger 102A to the HMD 114.
  • the IMU 112 is attached, for example, to a proximal phalanx corresponding to the proximal phalanx between the second and third joints of the index finger 102A, and detects the acceleration and angular velocity of the index finger 102A.
  • the IMU 112 transmits sensor data indicating the detection results of the acceleration and angular velocity of the index finger 102A to the HMD 114.
  • the IMU 113 is attached to the back of the hand 102C.
  • the IMU 113 detects the acceleration and angular velocity of a portion of the hand 102 excluding the fingers (hereinafter referred to as the base of the hand).
  • the base of the hand includes the back of the hand 102C and the palm.
  • the IMU 113 transmits sensor data indicating the detection results of the acceleration and angular velocity of the base of the hand 102 to the HMD 114.
  • the IMU 113 may be mounted at a position other than the back of the hand 102C (for example, the palm of the hand 102, etc.) as long as it is at a position where the acceleration and angular velocity of the base of the hand 102 can be detected.
  • the HMD 114 is attached to the user's head 103 and realizes AR or MR. For example, the HMD 114 displays a virtual object superimposed on the real world within the user's field of view.
  • virtual objects include objects that imitate objects in the real world, objects that visually convey various information, objects for operating the HMD 114, and the like.
  • the HMD 114 detects a pinch gesture by the user based on sensor data from the fingertip sensor 111, IMU 112, and IMU 113.
  • FIG. 7 shows an example of the configuration of the HMD 114.
  • the HMD 114 includes an input section 151, a sensing section 152, a communication section 153, a control section 154, and an output section 155.
  • the input unit 151 includes various input devices and operation devices, and supplies input data input using each device to the control unit 154.
  • the input data includes, for example, operation data from an operation device, audio data from a microphone, and the like.
  • the sensing unit 152 includes an imaging unit 161 and an IMU 162.
  • the photographing unit 161 includes, for example, a camera that photographs the front of the user's face (the direction in which the face is facing) (hereinafter referred to as a front camera), and a camera that photographs a range including the user's eyes (hereinafter referred to as a user camera). ).
  • the front camera supplies an image obtained by photographing (hereinafter referred to as a front image) to the control unit 154.
  • the user camera supplies an image obtained by photographing (hereinafter referred to as a user image) to the control unit 154.
  • depth depth
  • ToF Time Of Flight
  • the IMU 162 detects the acceleration and angular velocity of the head of the user wearing the HMD 114.
  • the IMU 162 supplies sensor data indicating the detection results of the acceleration and angular velocity of the user's head to the control unit 154.
  • the communication unit 153 communicates with the fingertip sensor 111, IMU 112, and IMU 113, and receives sensor data from each.
  • the communication unit 153 supplies the received sensor data to the control unit 154.
  • the communication method of the communication unit 153 is not particularly limited, and may be either wired communication or wireless communication.
  • the control unit 154 controls each unit of the HMD 114 and executes various processes.
  • the control unit 154 includes a gesture detection unit 171, a line of sight detection unit 172, an information processing unit 173, and an output control unit 174.
  • the gesture detection unit 171 detects various gestures by the user based on sensor data from the fingertip sensor 111, IMU 112, and IMU 113, and a front image from the front camera. Gestures to be detected include the above-mentioned picking gesture.
  • the line of sight detection unit 172 detects the direction of the user's line of sight based on the user image from the user camera and sensor data from the IMU 162.
  • the information processing unit 173 receives sensor data from the fingertip sensor 111 , IMU 112 , and IMU 113 , input data from the input unit 151 , a front image and a user image from the imaging unit 161 , sensor data from the IMU 162 , and the gesture detection unit 171 .
  • Various information processing is performed based on the detected user's gesture, the user's line of sight detected by the line of sight detection unit 172, and the like.
  • Various information processing includes, for example, generation processing of image data for displaying virtual objects.
  • the output control unit 174 controls the output of various information by the output unit 155 based on the processing results of the information processing unit 173 and the like. For example, the output control unit 174 controls the output of visual information by the display unit 181. This visual information includes virtual objects. The output control section 174 controls the output of auditory information by the audio output section 182. The output control unit 174 controls the output of tactile information by the haptics device 183.
  • the output unit 155 includes a display unit 181, an audio output unit 182, and a haptics device 183.
  • the display unit 181 includes one or more displays and displays visual information under the control of the output control unit 174.
  • the display unit 181 displays a virtual object, which is a type of visual information, superimposed on the real world within the user's visual field.
  • the audio output unit 182 includes one or more audio output devices, and outputs auditory information under the control of the output control unit 174.
  • the audio output device for example, a speaker, headphones, earphones, etc. are assumed.
  • the haptic device 183 outputs tactile information under the control of the output control section 174.
  • the haptics device 183 vibrates the housing of the HMD 114.
  • the haptics device 183 is attached to a predetermined part of the user's body (for example, a hand), and transmits tactile information such as vibration to the attached part.
  • This process starts, for example, when the HMD 114 is powered on, and ends when it is powered off.
  • step S1 the information processing system 101 starts sensing. Specifically, the fingertip sensor 111 starts a process of detecting the capacitance and pressure of the user's index finger and transmitting sensor data indicating the detection result to the HMD 114 .
  • the IMU 112 detects the acceleration and angular velocity of the user's index finger, and starts processing to transmit sensor data indicating the detection results to the HMD 114.
  • the IMU 113 starts a process of detecting the acceleration and angular velocity of the user's hand base and transmitting sensor data indicating the detection results to the HMD 114.
  • the communication unit 153 of the HMD 114 starts processing to receive sensor data from the fingertip sensor 111, IMU 112, and IMU 113, and supply it to the control unit 154.
  • the photographing unit 161 starts a process of photographing the front of the user's face and supplying the obtained front image to the control unit 154. Further, the photographing unit 161 starts a process of photographing a range including the user's eyes and supplying the obtained user image to the control unit 154.
  • the IMU 162 starts a process of detecting the acceleration and angular velocity of the user's head and supplying sensor data indicating the detection results to the control unit 154.
  • step S2 the gesture detection unit 171 determines whether the change in the position and posture of the hand base is within a predetermined range.
  • the gesture detection unit 171 detects changes in the position and posture of the hand base based on the acceleration and angular velocity of the hand base. For example, the gesture detection unit 171 detects that the change in the position of the hand base is less than a predetermined threshold (hereinafter referred to as a position threshold) and the change in the posture of the hand base on each axis (x axis, y axis, z axis) is If it is less than a predetermined threshold (hereinafter referred to as posture threshold), it is determined that the change in the position and posture of the hand base is within a predetermined range.
  • a predetermined threshold hereinafter referred to as a position threshold
  • posture threshold a predetermined threshold
  • the gesture detection unit 171 detects a change in at least one of the position and posture of the hand base. is larger than a predetermined range.
  • the position threshold is set to 10 mm/sec.
  • the posture threshold is set to 1 degree/sec for each axis.
  • step S2 The determination process in step S2 is repeatedly executed until it is determined that the change in the position and posture of the hand base is within a predetermined range. On the other hand, if it is determined that the changes in the position and posture of the hand base are within the predetermined range, the process proceeds to step S3.
  • step S3 the gesture detection unit 171 determines whether the index finger has contacted the thumb. For example, if the capacitance of the fingertip of the index finger is less than a predetermined threshold value or the pressure is less than a predetermined threshold value, the gesture detection unit 171 determines that the fingertip of the index finger is not in contact with the thumb, and the process proceeds to step Return to S2.
  • step S3 the processes of step S2 and step S3 are repeatedly executed until it is determined that the index finger has contacted the thumb.
  • step S3 if the capacitance of the fingertip of the index finger is greater than or equal to the predetermined threshold, and the pressure is greater than or equal to the predetermined threshold, the gesture detection unit 171 determines that the index finger has contacted the thumb, and the process proceeds to step S3. Proceed to S4.
  • step S3 it is also possible to detect the contact between the thumb and the index finger based only on the pressure at the tip of the index finger.
  • detection accuracy will be improved if the capacitance of the index finger tip is also used. For example, detection accuracy is improved when the index finger is moved slowly and comes into contact with the thumb.
  • a method of detecting contact between the thumb and index finger based only on the capacitance of the tip of the index finger is not very desirable because it may cause false detection if the thumb and index finger accidentally come into contact.
  • step S4 the gesture detection unit 171 determines whether the position of the tip of the index finger is within the range of the virtual object. For example, the gesture detection unit 171 detects the position of the fingertip of the index finger in a predetermined coordinate system (eg, world coordinate system) based on the front image. Then, the gesture detection unit 171 compares an area assumed to exist in the coordinate system when the virtual object exists in the real world (hereinafter referred to as a virtual object area) and the position of the fingertip of the index finger.
  • a predetermined coordinate system eg, world coordinate system
  • the gesture detection unit 171 determines that the position of the index finger is within the range of the virtual object. On the other hand, if the fingertip of the index finger is not included in the virtual object area, the gesture detection unit 171 determines that the position of the index finger is not within the range of the virtual object.
  • the virtual object area does not necessarily need to exactly match the area where the virtual object is assumed to exist in the real world.
  • an area with a margin around an area where the virtual object is assumed to exist in the real world may be set as the virtual object area.
  • an area near the center of an area where the virtual object is assumed to exist in the real world may be set as the virtual object area.
  • step S2 if it is determined that the position of the fingertip of the index finger is not within the range of the virtual object, the process returns to step S2.
  • step S4 Thereafter, the processes from step S2 to step S4 are repeatedly executed until it is determined in step S4 that the position of the fingertip of the index finger is within the range of the virtual object.
  • step S4 determines whether the position of the index finger is within the range of the virtual object. If it is determined in step S4 that the position of the index finger is within the range of the virtual object, the process proceeds to step S5.
  • step S5 the gesture detection unit 171 determines that the virtual object has been picked. In other words, the gesture detection unit 171 determines that a pinch gesture has been started.
  • the tip of the index finger is within the range of the virtual object when it comes into contact with the thumb (i.e., the fingertip of the index finger is within the range of the virtual object and the thumb is within the range that includes the virtual object) If the index finger touches the virtual object), it is determined that the virtual object has been pinched.
  • step S6 similarly to the process in step S2, it is determined whether the changes in the position and posture of the hand base are within a predetermined range. If it is determined that the change in the position and posture of the hand base is within the predetermined range, the process proceeds to step S7.
  • position threshold and posture threshold used in the process of step S6 may be set to the same values as those in the process of step S2, or may be set to different values.
  • step S7 the gesture detection unit 171 determines whether the index finger has separated from the thumb. For example, if the capacitance of the fingertip of the index finger is equal to or greater than a predetermined threshold, the gesture detection unit 171 determines that the index finger is not separated from the thumb, and the process returns to step S6.
  • step S7 the pressure at the tip of the index finger is not used, but only the capacitance at the tip of the index finger.
  • step S6 determines whether the change in at least one of the position and posture of the hand base is larger than the predetermined range. If it is determined in step S6 that the change in at least one of the position and posture of the hand base is larger than the predetermined range, the process proceeds to step S8.
  • step S8 the gesture detection unit 171 determines whether the change in at least one of the position and posture of the index finger is larger than a predetermined range and the index finger continues to be separated from the thumb.
  • the gesture detection unit 171 detects changes in the position and posture of the index finger based on the acceleration and angular velocity of the index finger. For example, when the change in the position of the index finger is less than a predetermined threshold and the change in the posture of at least each axis of the index finger is less than the predetermined threshold, the gesture detection unit 171 detects that the change in the position and posture of the index finger is within a predetermined range. It is determined that it is within the range.
  • the gesture detection unit 171 detects that the change in at least one of the position and posture of the index finger is greater than or equal to a predetermined threshold. It is determined that the value is larger than a predetermined range.
  • the gesture detection unit 171 detects that the index finger continues to be separated from the thumb. It is determined that On the other hand, if the state in which the capacitance of the fingertip of the index finger is less than a predetermined threshold continues for a predetermined period of time (for example, 0.2 seconds), the gesture detection unit 171 detects that the index finger is separated from the thumb. It is determined that it is not continuing.
  • a predetermined threshold for example, 0.2 seconds
  • the gesture detection unit 171 detects that the index finger continues to be separated from the thumb. It is determined that it is not continuing.
  • step S6 If it is determined that the change in the position and posture of the index finger is within a predetermined range or that the index finger does not continue to be separated from the thumb, the process returns to step S6.
  • step S7 it is determined that the index finger has separated from the thumb, or in step S8, the change in at least one of the position and posture of the index finger is greater than a predetermined range, and the state in which the index finger has separated from the thumb continues.
  • the processes from step S6 to step S8 are repeatedly executed until it is determined that the process has been performed.
  • step S7 for example, if the capacitance of the fingertip of the index finger is less than a predetermined threshold, the gesture detection unit 171 determines that the index finger has separated from the thumb, and the process proceeds to step S9.
  • step S8 If it is determined in step S8 that the change in at least one of the position and posture of the index finger is greater than a predetermined range and that the index finger continues to be separated from the thumb, the process proceeds to step S9.
  • step S9 the gesture detection unit 171 determines that the virtual object has been released.
  • FIG. 10 shows an example where the user gently releases the virtual object.
  • the user is arranging dominoes in order to play dominoes in the virtual space, and releases the domino 202, which is a virtual object, from the hand 102.
  • the user moves only the index finger 102A and thumb 102B while keeping the base of the hand, including the back of the hand 102C, substantially stationary.
  • the determination process in steps S7 and S8 detects that the change in the position and posture of the hand base is within a predetermined range and that the index finger moves away from the thumb, so that the gesture of gently releasing the virtual object is detected. is detected.
  • FIG. 11 shows an example where the user violently releases the virtual object.
  • the user releases the virtual object 203 from the hand 102 at a desired position while moving the hand 102 holding the virtual object 203.
  • step S7 and step S9 determines that the change in at least one of the position and posture of the hand base is larger than the predetermined range, and the change in at least one of the position and posture of the index finger is within the predetermined range.
  • thumb and index finger may unintentionally separate.
  • thumb and index finger may unintentionally separate.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • a gesture in which the user selects a virtual object and a gesture in which the user picks up a virtual object can be accurately distinguished. Further, for example, it is possible to accurately distinguish between a gesture in which the user continues to pick up a virtual object and a gesture in which the user releases the virtual object.
  • the information processing system 101 may take measures when the detection result of the pick object is contrary to the user's intention.
  • the user can perform a predetermined gesture to pick up the previously detected virtual object.
  • the gesture of picking an object may be canceled.
  • the gesture detection unit 171 detects a gesture in which the thumb and index finger are brought into continuous contact with the same virtual object, the above-mentioned position threshold and posture threshold may be lowered. Thereby, when the user tries to pick the same virtual object again, the gesture of picking the virtual object becomes more likely to be detected.
  • gesture detection unit 171 may detect a gesture of picking a virtual object even if the fingertip of the thumb and the index finger do not touch.
  • the gesture detection unit 171 may detect the gesture of picking the virtual object by detecting the proximity of the fingertip of the thumb and the index finger based on the front image.
  • the gesture detection unit 171 detects the position and posture of the thumb and index finger based on the acceleration and angular velocity of the thumb and index finger, and detects the proximity of the fingertip of the thumb and the index finger, thereby detecting the gesture of picking a virtual object. may be detected.
  • the gesture detection unit 171 detects a gesture of picking a virtual object by detecting the proximity of the fingertip of the thumb and the index finger based on sensor data of a proximity sensor provided at the fingertip (belly) of the index finger. You can do it like this.
  • a gesture of picking a virtual object may be detected by combining two or more of the above-mentioned methods and detecting the proximity of the fingertip of the thumb and the index finger.
  • the present technology can also be applied to other gestures such as grasping a virtual object, hooking a fingertip to hook a virtual object, and brushing a virtual object away with the finger. is possible.
  • the gesture detection unit 171 may detect the position and posture of the base of the hand using acceleration and angular velocity of parts other than the back of the hand (for example, wrist, palm, fist, arm, etc.).
  • the gesture detection unit 171 may detect the gesture of picking the virtual object by further using the movement of the hand or arm on the opposite side of the hand that is picking the virtual object.
  • the gesture detection unit 171 may add to the detection conditions for the gesture of picking a virtual object the distance between the thumb and the index finger increasing or the fingers of the hand once spread. You can also do this.
  • the gesture detection unit 171 may detect a virtual object to be picked based on the user's line of sight detected by the line of sight detection unit 172.
  • the gesture detection unit 171 determines the position threshold and posture threshold for the hand base used in steps S2 and S6 of FIG. 8 described above based on the state and attributes of the user, the state and attributes of the virtual object, the surrounding environment, etc. It may also be changed by
  • the gesture detection unit 171 acquires information about the user's dominant arm and sets a position threshold. At least one of the posture threshold and the posture threshold may be increased.
  • the gesture detection unit 171 may reduce at least one of the position threshold and the posture threshold. Good too.
  • the gesture detection unit 171 determines at least one of a position threshold and a posture threshold based on the distance between the virtual object and the hand, the distance between multiple virtual objects, the size of the virtual object, the moving speed of the virtual object, etc. may be changed.
  • the gesture detection unit 171 detects the user's posture (for example, whether the user is standing or sitting), the user's walking state, the user's usage history of the information processing system 101, the user's favorite area of operation, and the user's attachments. At least one of the position threshold and the posture threshold may be changed based on the above.
  • the wearable item for example, something that makes it difficult to move the hand, such as a glove, is assumed.
  • various thresholds including position thresholds and posture thresholds may be set and changed using machine learning.
  • the threshold value may be set before the information processing system 101 is delivered to the user, or the threshold value may be changed after the information processing system 101 is delivered to the user. good.
  • the output unit 155 may notify the user that a picking gesture has been detected.
  • the display unit 181 may change the display mode (for example, color, shape, transparency, brightness, etc.) of the picked virtual object under the control of the output control unit 174.
  • the user may be notified by audio information or tactile information that a picking gesture has been detected.
  • the user can recognize that the picking gesture has been detected and the virtual object that was the target of the picking gesture, and can operate the virtual object with peace of mind.
  • the gesture detection unit 171 may predict the virtual object to be picked by the user based on the movements of the user's hand base, index finger, etc. by learning using past sensor data and the like. Then, the gesture detection unit 171 may select the virtual object and set it as a gesture detection target ahead of schedule. Further, the display unit 181 may change the display mode of the virtual object under the control of the output control unit 174. This allows the user to more quickly pick up a desired virtual object.
  • the presence or absence of a change in the display mode of the virtual object described above may be changed based on the user and the surrounding environment. For example, for a user who has not used the information processing system 101 for a short time, the display mode of the virtual object is changed as described above, and for a user who has used the information processing system 101 for a long time, the display mode of the virtual object is not changed. You can. For example, when a lot of information is displayed within the user's field of vision, the display mode of the virtual object may not change so that the amount of information presented to the user does not become excessive.
  • the display unit 181 may display information indicating the movement of the virtual object after it is released within the user's field of vision. For example, information such as the trajectory, rotational state, landing position, and posture of the virtual object when the virtual object is released in the current state may be displayed within the user's field of vision.
  • the haptics device 183 may transmit to the user the sensation of picking and releasing a virtual object using tactile information.
  • the virtual object does not necessarily have to be displayed.
  • tactile AR that does not use a display device or when picking a virtual object that exists outside the user's field of vision, the user can experience the sensation of picking and releasing a virtual object using tactile information.
  • the user may be able to pick up multiple virtual objects at once.
  • the gesture detection unit 171 may change the number of virtual objects that are targets of the picking gesture based on the amount of change in the position and posture of the hand base.
  • This technology can be applied, for example, when a robot arm at a remote location moves in conjunction with the user's hand movements, and when the robot arm picks up a real object (real object) or a virtual object.
  • the gesture detection unit 171 may change various thresholds such as a position threshold and a posture threshold depending on the performance of the robot arm.
  • the present technology can be applied to AR and MR realized using methods other than HMDs, such as display terminals such as projectors and smartphones.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004.
  • An input section 1006, an output section 1007, a storage section 1008, a communication section 1009, and a drive 1010 are connected to the input/output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 100 for example, loads the program recorded in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program. A series of processing is performed.
  • a program executed by the computer 1000 can be provided by being recorded on a removable medium 1011 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by installing a removable medium 1011 into the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. Other programs can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • embodiments of the present technology are not limited to the embodiments described above, and various changes can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • the present technology can also have the following configuration.
  • the movement of the base of the user's hand, which is a part that does not include fingers, and the movement of the first finger of the hand are individually detected, and based on the movement of the base of the hand and the movement of the first finger, the user
  • An information processing device comprising a gesture detection unit that detects a gesture of picking a virtual object.
  • the gesture detection unit may be arranged such that when a change in the position and posture of the hand base is within a first range, the fingertip of the first finger is in a second range of the hand within a second range including the virtual object.
  • the gesture detection unit is configured to detect the change in the position and posture of the hand base as described above.
  • the information processing device according to (2) above which determines that the information is within the first range.
  • the gesture detection unit changes at least one of the first threshold and the second threshold based on at least one of the user's state and attribute. .
  • the gesture detection unit changes at least one of the first threshold and the second threshold based on at least one of a state and an attribute of the virtual object.
  • the gesture detection unit detects changes in the position and posture of the hand base based on the acceleration and angular velocity of the back of the hand, and detects changes in the position and posture of the hand base based on the pressure of the fingertip of the first finger.
  • the gesture detection unit further detects a contact state between the fingertip of the first finger and the fingertip of the second finger based on the capacitance of the fingertip of the first finger.
  • the first finger is an index finger
  • the gesture detection unit further detects a gesture of releasing the virtual object based on the movement of the hand base and the movement of the first finger.
  • the gesture detection unit detects when the fingertip of the first finger is separated from the fingertip of the second finger when the change in the position and posture of the hand base is within a third range; When the change in at least one of the position and posture of the first finger is larger than the third range, the change in at least one of the position and posture of the first finger is larger than the fourth range, and the first finger.
  • the information processing device wherein it is determined that the virtual object has been released when the fingertip of the second finger continues to be separated from the fingertip of the second finger for a predetermined period of time or more.
  • the gesture detection unit detects changes in the position and posture of the hand base based on the acceleration and angular velocity of the back of the hand, and detects the position and posture of the first finger based on the acceleration and angular velocity of the first finger. According to (11) above, a change in posture is detected, and a contact state between the fingertip of the first finger and the fingertip of the second finger is detected based on the capacitance of the fingertip of the first finger. information processing equipment. (13) The information processing device according to any one of (1) to (3), further comprising an output control unit that executes control to display the virtual object superimposed on the real world within the field of view of the user.
  • the information processing device (14) The information processing device according to (13), wherein the output control unit changes the display mode of the virtual object when it is determined that the virtual object has been picked.
  • the gesture detection unit predicts the virtual object to be picked by the user based on the movement of the base of the hand and the movement of the first finger, The information processing device according to (13) or (14), wherein the output control unit changes a display mode of the virtual object predicted to be picked by the user.
  • the information processing device (13) or (14), wherein the output control unit displays information indicating the movement of the virtual object after it is released.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、仮想オブジェクトを摘むジェスチャを迅速かつ正確に検出することができるようにする情報処理装置及び情報処理方法に関する。 情報処理装置は、ユーザの手の指を含まない部分である手基部の動き及び前記手の第１の指の動きを個別に検出し、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出するジェスチャ検出部を備える。本技術は、例えば、ヘッドマウントディスプレイに適用できる。

Description

情報処理装置及び情報処理方法
　本技術は、情報処理装置及び情報処理方法に関し、特に、仮想オブジェクトを摘む（つまむ）ジェスチャを検出する場合に用いて好適な情報処理装置及び情報処理方法に関する。
　ＡＲ（Augmented Reality、拡張現実）やＭＲ（Mixed Reality、複合現実）等の現実世界と仮想世界を融合する技術において、例えば、ユーザが仮想オブジェクトを摘むジェスチャを行う場合がある。
　ここで、仮想オブジェクトとは、ユーザの視界内において、現実世界に重畳して表示される視覚情報である。
　これに対して、従来、２本の指の間に仮想オブジェクトが位置する状態が所定の時間以上維持された場合、仮想オブジェクトが摘まれたと判定する技術が提案されている（例えば、特許文献１参照）。
特開２０１６－１８９１９４号公報
　しかしながら、特許文献１に記載の発明では、ユーザが仮想オブジェクトを摘もうとしてから仮想オブジェクトが摘まれたと判定されるまでの間に、所定の時間以上のタイムラグが生じる。
　本技術は、このような状況に鑑みてなされたものであり、仮想オブジェクトを摘むジェスチャを迅速かつ正確に検出できるようにするものである。
　本技術の一側面の情報処理装置は、ユーザの手の指を含まない部分である手基部の動き及び前記手の第１の指の動きを個別に検出し、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出するジェスチャ検出部を備える。
　本技術の一側面の情報処理方法は、ユーザの手の指を含まない部分である手基部の動き及び前記手の所定の指の動きを個別に検出し、前記手基部の動き及び前記指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出する。
　本技術の一側面においては、ユーザの手の指を含まない部分である手基部の動き及び前記手の第１の指の動きを個別に検出し、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャが検出される。
仮想オブジェクトに対する摘みジェスチャを説明するための図である。 仮想オブジェクトを摘むジェスチャを検出する場合の課題を説明するための図である。 仮想オブジェクトを摘むジェスチャを検出する場合の課題を説明するための図である。 仮想オブジェクトを放すジェスチャを検出する場合の課題を説明するための図である。 本技術を適用した情報処理システムの一実施の形態を示す図である。 指先センサの構成例を示す図である。 ヘッドマウントディスプレイの構成例を示すブロック図である。 情報処理システムによる摘みジェスチャ検出処理を説明するためのフローチャートである。 仮想オブジェクトを摘むジェスチャの検出方法を説明するための図である。 仮想オブジェクトをそっと放すジェスチャの検出方法を説明するための図である。 仮想オブジェクトを勢いよく放すジェスチャの検出方法を説明するための図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の背景
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．本技術の背景＞＞
　まず、図１乃至図４を参照して、本技術の背景について説明する。
　ＡＲ又はＭＲでは、図１に示されるように仮想オブジェクト２を摘むジェスチャが行われる場合がある。具体的には、例えば、図１のＡに示されるように、ユーザは、手１の親指の指先（腹）と人差し指の指先（腹）を接触させることにより仮想オブジェクト２を摘む。次に、図１のＢに示されるように、ユーザは、親指の指先と人差し指の指先を接触させたまま手１を移動させることにより、仮想オブジェクト２を目的地まで移動させる。そして、図１のＣに示されるように、ユーザは、目的地で親指の指先と人差し指の指先を離すことにより、仮想オブジェクト２を放す。
　なお、以下、親指の指先と人差し指の指先を接触させることを、単に、親指と人差し指を接触させると記載する。また、親指の指先と人差し指の指先を離すことを、単に、親指と人差し指を離すと記載する。
　ここで、例えば、図２のＡに示されるように、ユーザは、近接している仮想オブジェクト２と仮想オブジェクト３の中から仮想オブジェクト２を選択して摘む場合、手１の親指と人差し指を離した状態で、親指と人差し指の指先を仮想オブジェクト２に接近させる。そして、図２のＢに示されるように、ユーザは、ユーザから見て仮想オブジェクト２と重なるように、手１の親指と人差し指を接触させる。これにより、ユーザは、仮想オブジェクト２及び仮想オブジェクト３の中から仮想オブジェクト２を選択して摘むことができる。
　ここで、仮想オブジェクトを選択するために手１を移動させている場合と、仮想オブジェクトを摘むために親指と人差し指とを接触させる場合の両方で、手１の指先の位置が動く。この指先の動きが、ユーザが仮想オブジェクトを選択しようとしているのか、仮想オブジェクトを摘もうとしているのかを判別することが難しい。
　また、例えば、カメラ等の光学的なセンサを用いた場合、手１の位置や姿勢によっては、親指と人差し指の接触の検出が困難なときがある。
　例えば、図３のＡでは、実際には手１の親指と人差し指が離れているが、このように角度によっては、親指と人差し指が接触しているように見える。そのため、仮想オブジェクト３が摘まれたと誤検出されるおそれがある。
　これに対して、例えば、図３のＢに示されるように、親指の指先と人差し指の指先が視認しやすくなるように手１の位置及び姿勢を調整してから、親指と人差し指を接触させるようにすることが考えられる。しかし、この場合、手１の位置及び姿勢を調整するのに時間を要する上に、手１の動きが不自然になり、操作性が低下する。
　さらに、例えば、上述した特許文献１に記載の発明のように、親指と人差し指を接触させた状態が所定の時間継続した場合に仮想オブジェクトが摘まれたと判定する場合、仮想オブジェクトが摘まれたと判定されるまでの間に、所定の時間以上のタイムラグが生じる。
　また、仮想オブジェクトを摘んだまま手を動かし、所望の位置で仮想オブジェクトを放す場合にユーザの手の指先の位置が動く。この指先の動きが、ユーザが仮想オブジェクトを移動させているのか、仮想オブジェクトを放そうとしているのかを判別することが難しい。
　さらに、例えば、ユーザが仮想オブジェクトを摘んだまま素早く移動させたり、振り回したりする等、手を大きく動かしたり、素早く動かしたりする場合、途中で親指と人差し指が意図せずに離れてしまうことが想定される。この場合、例えば、図４に示されるように、手１で仮想オブジェクト２を摘んで所望の位置まで移動させる途中で、仮想オブジェクト２が意図せずに放されてしまうおそれがある。
　これに対して、本技術は、仮想オブジェクトを摘むジェスチャ及び放すジェスチャを正確かつ迅速に検出できるようにするものである。
　なお、以下、ユーザが仮想オブジェクトと摘んでから放すまでの一連のジェスチャを摘みジェスチャと称する。
　＜＜２．実施の形態＞＞
　次に、図５乃至図１１を参照して、本技術の実施の形態について説明する。
　　＜情報処理システム１０１の構成例＞
　図５は、本技術を適用した情報処理システム１０１の一実施の形態を示している。
　情報処理システム１０１は、指先センサ１１１、ＩＭＵ１１２、ＩＭＵ１１３、及び、ヘッドマウントディスプレイ（ＨＭＤ）１１４を備える。
　指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３は、ユーザが仮想オブジェクトを摘む場合に用いる側の手１０２に装着される。
　具体的には、指先センサ１１１は、図６のＡに示されるように、人差し指１０２Ａの指先に装着される。
　図６のＢに示されるように、指先センサ１１１は、圧力センサ１３１、指サック１３２、及び、静電容量センサ１３３を備える。
　圧力センサ１３１は、人差し指１０２Ａの腹に接するように配置される。圧力センサ１３１は、人差し指１０２Ａの指先（腹）に加わる圧力を検出する。
　指サック１３２は、指先センサ１１１を人差し指１０２Ａの指先に装着するために用いられる。
　静電容量センサ１３３は、指サック１３２の外側に設けられている。静電容量センサ１３３は、指サック１３２を挟んで、圧力センサ１３１と略同じ位置に配置されている。静電容量センサ１３３は、人差し指１０２Ａの指先（腹）の静電容量を検出することにより、人差し指１０２Ａの指先への物体の接触状態を検出する。
　指先センサ１１１は、人差し指１０２Ａの指先の圧力及び静電容量の検出結果を示すセンサデータをＨＭＤ１１４に送信する。
　ＩＭＵ１１２は、例えば、人差し指１０２Ａの第２関節と第３関節との間の基節骨に対応する基節部に装着され、人差し指１０２Ａの加速度及び角速度を検出する。ＩＭＵ１１２は、人差し指１０２Ａの加速度及び角速度の検出結果を示すセンサデータをＨＭＤ１１４に送信する。
　ＩＭＵ１１３は、手の甲１０２Ｃに装着される。ＩＭＵ１１３は、手１０２の指を除く部分（以下、手基部と称する）の加速度及び角速度を検出する。手基部は、手の甲１０２Ｃ及び掌を含む。ＩＭＵ１１３は、手１０２の手基部の加速度及び角速度の検出結果を示すセンサデータをＨＭＤ１１４に送信する。
　なお、ＩＭＵ１１３は、手１０２の手基部の加速度及び角速度を検出することが可能な位置であれば、手の甲１０２Ｃ以外の位置（例えば、手１０２の掌等）に装着されてもよい。
　なお、親指１０２Ｂには、特にセンサは装着されない。
　ＨＭＤ１１４は、ユーザの頭部１０３に装着され、ＡＲ又はＭＲを実現する。例えば、ＨＭＤ１１４は、ユーザの視界内において、仮想オブジェクトを現実世界に重畳して表示する。
　なお、仮想オブジェクトの種類は、特に限定されない。例えば、仮想オブジェクトは、現実世界の物体を模したオブジェクト、各種の情報を視覚的に伝達するオブジェクト、ＨＭＤ１１４の操作用のオブジェクト等を含む。
　また、ＨＭＤ１１４は、指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３からのセンサデータに基づいて、ユーザによる摘みジェスチャを検出する。
　　＜ＨＭＤ１１４の構成例＞
　図７は、ＨＭＤ１１４の構成例を示している。
　ＨＭＤ１１４は、入力部１５１、センシング部１５２、通信部１５３、制御部１５４、及び、出力部１５５を備える。
　入力部１５１は、各種の入力デバイス及び操作デバイスを備え、各デバイスを用いて入力される入力データを制御部１５４に供給する。入力データは、例えば、操作デバイスによる操作データ、マイクロフォンによる音声データ等を含む。
　センシング部１５２は、撮影部１６１及びＩＭＵ１６２を備える。
　撮影部１６１は、例えば、ユーザの顔の前方（顔が向いている方向）を撮影するカメラ（以下、前方カメラと称する）、及び、ユーザの目を含む範囲を撮影するカメラ（以、ユーザカメラと称する）を備える。前方カメラは、撮影することにより得られた画像（以下、前方画像と称する）を制御部１５４に供給する。ユーザカメラは、撮影することにより得られた画像（以下、ユーザ画像と称する）を制御部１５４に供給する。
　なお、前方カメラには、例えば、ユーザの手指のボーン情報を検出できるように、ＴｏＦ（Time Of Flight）カメラ等のデプス（距離）を検出可能なカメラが用いられることが望ましい。
　ＩＭＵ１６２は、ＨＭＤ１１４が装着されているユーザの頭部の加速度及び角速度を検出する。ＩＭＵ１６２は、ユーザの頭部の加速度及び角速度の検出結果を示すセンサデータを制御部１５４に供給する。
　通信部１５３は、指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３と通信を行い、それぞれからセンサデータを受信する。通信部１５３は、受信したセンサデータを制御部１５４に供給する。
　なお、通信部１５３の通信方式は、特に制限されず、有線通信及び無線通信のいずれでもよい。
　制御部１５４は、ＨＭＤ１１４の各部の制御、及び、各種の処理を実行する。制御部１５４は、ジェスチャ検出部１７１、視線検出部１７２、情報処理部１７３、及び、出力制御部１７４を備える。
　ジェスチャ検出部１７１は、指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３からのセンサデータ、並びに、前方カメラからの前方画像に基づいて、ユーザによる各種のジェスチャを検出する。検出対象となるジェスチャには、上述した摘みジェスチャが含まれる。
　視線検出部１７２は、ユーザカメラからのユーザ画像、及び、ＩＭＵ１６２からのセンサデータに基づいて、ユーザの視線方向を検出する。
　情報処理部１７３は、指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３からのセンサデータ、入力部１５１からの入力データ、撮影部１６１からの前方画像及びユーザ画像、ＩＭＵ１６２からのセンサデータ、ジェスチャ検出部１７１により検出されたユーザのジェスチャ、並びに、視線検出部１７２により検出されたユーザの視線等に基づいて、各種の情報処理を行う。各種の情報処理には、例えば、仮想オブジェクトを表示するための画像データの生成処理が含まれる。
　出力制御部１７４は、情報処理部１７３の処理の結果等に基づいて、出力部１５５による各種の情報の出力を制御する。例えば、出力制御部１７４は、表示部１８１による視覚情報の出力を制御する。この視覚情報には、仮想オブジェクトが含まれる。出力制御部１７４は、音声出力部１８２による聴覚情報の出力を制御する。出力制御部１７４は、ハプティクスデバイス１８３による触覚情報の出力を制御する。
　出力部１５５は、表示部１８１、音声出力部１８２、及び、ハプティクスデバイス１８３を備える。
　表示部１８１は、１以上のディスプレイを備え、出力制御部１７４の制御の下に、視覚情報を表示する。例えば、表示部１８１は、ユーザの視界内において、視覚情報の一種である仮想オブジェクトを現実世界に重畳させて表示する。
　音声出力部１８２は、１以上の音声出力デバイスを備え、出力制御部１７４の制御の下に、聴覚情報を出力する。音声出力デバイスとしては、例えば、スピーカ、ヘッドホン、イヤホン等が想定される。
　ハプティクスデバイス１８３は、出力制御部１７４の制御の下に、触覚情報を出力する。例えば、ハプティクスデバイス１８３は、ＨＭＤ１１４の筐体を振動させる。例えば、ハプティクスデバイス１８３は、ユーザの体の所定の部位（例えば、手）に装着され、装着された部位に振動等の触覚情報を伝達する。
　　＜摘みジェスチャ検出処理＞
　次に、図８のフローチャートを参照して、情報処理システム１０１により実行される摘みジェスチャ検出処理について説明する。
　この処理は、例えば、ＨＭＤ１１４の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１において、情報処理システム１０１は、センシングを開始する。具体的には、指先センサ１１１は、ユーザの人差し指の指先の静電容量及び圧力を検出し、検出結果を示すセンサデータをＨＭＤ１１４に送信する処理を開始する。ＩＭＵ１１２は、ユーザの人差し指の加速度及び角速度を検出し、検出結果を示すセンサデータをＨＭＤ１１４に送信する処理を開始する。ＩＭＵ１１３は、ユーザの手基部の加速度及び角速度を検出し、検出結果を示すセンサデータをＨＭＤ１１４に送信する処理を開始する。
　これに対して、ＨＭＤ１１４の通信部１５３は、指先センサ１１１、ＩＭＵ１１２、及び、ＩＭＵ１１３からセンサデータを受信し、制御部１５４に供給する処理を開始する。
　撮影部１６１は、ユーザの顔の前方を撮影し、得られた前方画像を制御部１５４に供給する処理を開始する。また、撮影部１６１は、ユーザの目を含む範囲を撮影し、得られたユーザ画像を制御部１５４に供給する処理を開始する。
　ＩＭＵ１６２は、ユーザの頭部の加速度及び角速度を検出し、検出結果を示すセンサデータを制御部１５４に供給する処理を開始する。
　ステップＳ２において、ジェスチャ検出部１７１は、手基部の位置及び姿勢の変化が所定の範囲内であるか否かを判定する。
　具体的には、ジェスチャ検出部１７１は、手基部の加速度及び角速度に基づいて、手基部の位置及び姿勢の変化を検出する。例えば、ジェスチャ検出部１７１は、手基部の位置の変化が所定の閾値（以下、位置閾値と称する）未満、かつ、手基部の各軸（ｘ軸、ｙ軸、ｚ軸）の姿勢の変化が所定の閾値（以下、姿勢閾値と称する）未満である場合、手基部の位置及び姿勢の変化が所定の範囲内であると判定する。一方、ジェスチャ検出部１７１は、手基部の位置の変化が位置閾値以上、又は、手基部の少なくとも一軸の姿勢の変化が姿勢閾値以上である場合、手基部の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きいと判定する。
　なお、例えば、位置閾値は、１０ｍｍ／ｓｅｃに設定される。例えば、姿勢閾値は、各軸とも１度／ｓｅｃに設定される。
　ステップＳ２の判定処理は、手基部の位置及び姿勢の変化が所定の範囲内であると判定されるまで、繰り返し実行される。一方、手基部の位置及び姿勢の変化が所定の範囲内であると判定された場合、処理はステップＳ３に進む。
　ステップＳ３において、ジェスチャ検出部１７１は、人差し指が親指に接触したか否かを判定する。例えば、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値未満、又は、圧力が所定の閾値未満である場合、人差し指の指先が親指に接触していないと判定し、処理はステップＳ２に戻る。
　その後、ステップＳ３において、人差し指が親指に接触したと判定されるまで、ステップＳ２及びステップＳ３の処理が繰り返し実行される。
　一方、ステップＳ３において、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値以上、かつ、圧力が所定の閾値以上である場合、人差し指が親指に接触したと判定し、処理はステップＳ４に進む。
　なお、例えば、ステップＳ３において、人差し指の指先の圧力のみに基づいて、親指と人差し指の接触を検出するようにすることも可能である。
　ただし、人差し指の指先の静電容量も用いた方が、検出精度が向上する。例えば、人差し指をゆっくり動かして親指と接触させた場合の検出精度が向上する。
　一方、人差し指の指先の静電容量のみに基づいて、親指と人差し指の接触を検出する方法は、偶然親指と人差し指とが接触した場合等に誤検出が生じるおそれがあるため、あまり望ましくない。
　ステップＳ４において、ジェスチャ検出部１７１は、人差し指の指先の位置が仮想オブジェクトの範囲内であるか否かを判定する。例えば、ジェスチャ検出部１７１は、前方画像に基づいて、所定の座標系（例えば、ワールド座標系）における人差し指の指先の位置を検出する。そして、ジェスチャ検出部１７１は、仮想オブジェクトが現実世界に存在する場合に上記座標系において存在すると仮定される領域（以下、仮想オブジェクト領域と称する）と、人差し指の指先の位置とを比較する。
　そして、ジェスチャ検出部１７１は、仮想オブジェクト領域内に人差し指の指先が含まれる場合、人差し指の指先の位置が仮想オブジェクトの範囲内であると判定する。一方、ジェスチャ検出部１７１は、仮想オブジェクト領域内に人差し指の指先が含まれない場合、人差し指の指先の位置が仮想オブジェクトの範囲内でないと判定する。
　なお、仮想オブジェクト領域は、必ずしも仮想オブジェクトが現実世界に存在すると仮定される領域と正確に一致する必要はない。例えば、仮想オブジェクトが現実世界に存在すると仮定される領域の周りにマージンを設けた領域が、仮想オブジェクト領域に設定されてもよい。また、例えば、仮想オブジェクトが現実世界に存在すると仮定される領域の中央付近の領域が、仮想オブジェクト領域に設定されてもよい。
　そして、人差し指の指先の位置が仮想オブジェクトの範囲内でないと判定された場合、処理はステップＳ２に戻る。
　その後、ステップＳ４において、人差し指の指先の位置が仮想オブジェクトの範囲内であると判定されるまで、ステップＳ２乃至ステップＳ４の処理が繰り返し実行される。
　一方、ステップＳ４において、人差し指の指先の位置が仮想オブジェクトの範囲内であると判定された場合、処理はステップＳ５進む。
　ステップＳ５において、ジェスチャ検出部１７１は、仮想オブジェクトが摘まれたと判定する。換言すれば、ジェスチャ検出部１７１は、摘みジェスチャが開始されたと判定する。
　例えば、図９に示されるように、ユーザが手１０２で仮想オブジェクト２０１を摘む場合、まず摘む対象となる仮想オブジェクト２０１を選択するために、手１０２全体が仮想オブジェクト２０１の近くまで動くことが想定される。そして、ユーザが手１０２で摘む段階において、手の甲１０２Ｃを含む手基部がほぼ静止した状態で、指（特に、人差し指１０２Ａ）のみが動くと想定される。
　従って、手基部の位置及び姿勢の変化が所定の範囲内であり、かつ、人差し指の指先が親指と接触したときに仮想オブジェクトの範囲内である場合（すなわち、仮想オブジェクトを含む範囲内で親指と人差し指が接触した場合）、仮想オブジェクトが摘まれたと判定される。
　ステップＳ６において、ステップＳ２の処理と同様に、手基部の位置及び姿勢の変化が所定の範囲内であるか否かが判定される。手基部の位置及び姿勢の変化が所定の範囲内であると判定された場合、処理はステップＳ７に進む。
　なお、ステップＳ６の処理で用いられる位置閾値及び姿勢閾値は、ステップＳ２の処理と同じ値に設定されてもよいし、異なる値に設定されてもよい。
　ステップＳ７において、ジェスチャ検出部１７１は、人差し指が親指から離れたか否かを判定する。例えば、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値以上である場合、人差し指が親指から離れていないと判定し、処理はステップＳ６に戻る。
　なお、ステップＳ７の判定処理においては、人差し指の指先の圧力は用いられずに、人差し指の指先の静電容量のみが用いられる。
　一方、ステップＳ６において、手基部の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きいと判定された場合、処理はステップＳ８に進む。
　ステップＳ８において、ジェスチャ検出部１７１は、人差し指の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きく、かつ、人差し指が親指から離れた状態が継続したか否かを判定する。
　例えば、ジェスチャ検出部１７１は、人差し指の加速度及び角速度に基づいて、人差し指の位置及び姿勢の変化を検出する。例えば、ジェスチャ検出部１７１は、人差し指の位置の変化が所定の閾値未満、かつ、人差し指の少なくとも各軸の姿勢の変化が所定の閾値未満である場合、人差し指の位置及び姿勢の変化が所定の範囲内であると判定する。一方、ジェスチャ検出部１７１は、人差し指の位置の変化が所定の閾値以上、又は、人差し指の少なくとも一軸の姿勢の変化が所定の閾値以上である場合、人差し指の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きいと判定する。
　例えば、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値未満である状態が所定の時間（例えば、０．２秒）以上継続した場合、人差し指が親指から離れた状態が継続したと判定する。一方、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値未満である状態が所定の時間（例えば、０．２秒）以上継続していない場合、人差し指が親指から離れた状態が継続していないと判定する。
　そして、人差し指の位置及び姿勢の変化が所定の範囲内、又は、人差し指が親指から離れた状態が継続していないと判定された場合、処理はステップＳ６に戻る。
　その後、ステップＳ７において、人差し指が親指から離れたと判定されるか、ステップＳ８において、人差し指の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きく、かつ、人差し指が親指から離れた状態が継続したと判定されるまで、ステップＳ６乃至ステップＳ８の処理が繰り返し実行される。
　一方、ステップＳ７において、例えば、ジェスチャ検出部１７１は、人差し指の指先の静電容量が所定の閾値未満である場合、人差し指が親指から離れたと判定し、処理はステップＳ９に進む。
　また、ステップＳ８において、人差し指の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きく、かつ、人差し指が親指から離れた状態が継続したと判定された場合、処理はステップＳ９に進む。
　ステップＳ９において、ジェスチャ検出部１７１は、仮想オブジェクトが放されと判定する。
　例えば、ユーザが仮想オブジェクトを放す場合、そっと放す場合と、勢いよく放す場合が想定される。
　例えば、図１０は、ユーザが仮想オブジェクトをそっと放す場合の例を示している。この例では、ユーザが、仮想空間においてドミノ倒しをするためにドミノを並べており、仮想オブジェクトであるドミノ２０２を手１０２から放す例が示されている。この場合、ユーザは、手の甲１０２Ｃを含む手基部をほぼ静止させたまま、人差し指１０２Ａ及び親指１０２Ｂのみを動かすと想定される。
　これに対して、ステップＳ７及びステップＳ８の判定処理により、手基部の位置及び姿勢の変化が所定の範囲内、かつ、人差し指が親指から離れる動きが検出されることにより、仮想オブジェクトをそっと放すジェスチャが検出される。
　例えば、図１１は、ユーザが仮想オブジェクトを勢いよく放す場合の例を示している。この場合、ユーザは、仮想オブジェクト２０３を摘んだ手１０２を動かしながら、所望の位置で仮想オブジェクト２０３を手１０２から放すことが想定される。
　これに対して、ステップＳ７及びステップＳ９の判定処理により、手基部の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きく、かつ、人差し指の位置及び姿勢のうち少なくとも一方の変化が所定の範囲より大きく、かつ、人差し指が親指から離れた状態が継続する動きが検出されることにより、仮想オブジェクトを勢いよく放すジェスチャが検出される。
　なお、例えば、ユーザが手で仮想オブジェクトを摘んで動かしている場合に、意図せずに親指と人差し指が離れることが想定される。特に、仮想オブジェクトを勢いよく動かしたり、振り回したりしている場合に、意図せずに親指と人差し指が離れることが想定される。
　これに対して、上述したように、人差し指が親指から離れた状態が所定の時間以上継続しないと、仮想オブジェクトが放されたと判定されない。これにより、ユーザが意図せずに親指と人差し指が離れた場合に、仮想オブジェクトが放されたと誤検出されることが防止される。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のようにして、ユーザが仮想オブジェクトを摘んだり、放したりするジェスチャを迅速かつ正確に検出することが可能になる。
　例えば、ユーザの手の手基部の動きと指の動きを個別にセンシングすることにより、ユーザの摘むという動作をより自然に検出することが可能になる。これにより、例えば、ユーザが仮想オブジェクトを選択するジェスチャと摘むジェスチャを正確に区別することができる。また、例えば、ユーザが仮想オブジェクトを摘み続けるジェスチャと放すジェスチャを正確に区別することができる。
　＜＜３．変形例＞＞
　次に、上述した実施の形態の変形例について説明する。
　　＜誤検出時の対応＞
　例えば、情報処理システム１０１は、摘みオブジェクトの検出結果がユーザの意図と反する場合の対応を行うようにしてもよい。
　例えば、ユーザが意図していないのに仮想オブジェクトが摘まれたり、ユーザが意図する仮想オブジェクトと異なる仮想オブジェクトが摘まれたりした場合、ユーザが所定のジェスチャを行うことにより、直前に検出された仮想オブジェクトを摘むジェスチャが取り消されるようにしてもよい。
　例えば、ユーザが仮想オブジェクトを摘んだつもりでも、手基部の位置又は姿勢の変化が所定の範囲より大きいため、仮想オブジェクトが摘まれたと判定されない場合が想定される。この場合、ユーザは再度同じ仮想オブジェクトを摘もうとすることが想定される。
　これに対して、例えば、ジェスチャ検出部１７１は、同じ仮想オブジェクトに対して連続して親指と人差し指を接触させるジェスチャを検出した場合、上述した位置閾値及び姿勢閾値を下げるようにしてもよい。これにより、ユーザが再度同じ仮想オブジェクトを摘もうとした場合に、当該仮想オブジェクトを摘むジェスチャが検出されやすくなる。
　　＜ジェスチャに関する変形例＞
　例えば、仮想オブジェクトが大きい場合、ユーザは親指の指先と人差し指の指先を接触させずに近接させることにより、仮想オブジェクトを摘もうとすることが想定される。これに対して、例えば、ジェスチャ検出部１７１は、親指の指先と人差し指の指先が接触しなくても、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　この場合、例えば、ジェスチャ検出部１７１は、前方画像に基づいて、親指の指先と人差し指の指先の近接を検出することにより、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　例えば、ジェスチャ検出部１７１は、親指と人差し指の加速度及び角速度に基づいて、親指と人差し指の位置及び姿勢を検出し、親指の指先と人差し指の指先の近接を検出することにより、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　例えば、ジェスチャ検出部１７１は、人差し指の指先（腹）に設けられた近接センサのセンサデータに基づいて、親指の指先と人差し指の指先の近接を検出することにより、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　なお、上述した方法のうち２つ以上を組み合わせて、親指の指先と人差し指の指先の近接を検出することにより、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　本技術は、摘みジェスチャ以外にも、例えば、仮想オブジェクトを握るジェスチャ、指先をフック状にして仮想オブジェクトを引っ掛けるジェスチャ、指で仮想オブジェクトを払い飛ばすジェスチャ等の他のジェスチャに対しても適用することが可能である。
　　＜摘みジェスチャの検出方法に関する変形例＞
　例えば、ジェスチャ検出部１７１は、手の甲以外の部分（例えば、手首、掌、拳、腕等）の加速度及び角速度を用いて、手基部の位置及び姿勢を検出するようにしてもよい。
　例えば、ユーザは、仮想オブジェクトの大きさや形状によっては、仮想オブジェクトを摘む手と反対側の手を仮想オブジェクトの下に添えて、仮想オブジェクトを摘むことが想定される。これに対して、例えば、ジェスチャ検出部１７１は、仮想オブジェクトを摘む手と反対側の手や腕の動きをさらに用いて、仮想オブジェクトを摘むジェスチャを検出するようにしてもよい。
　例えば、ユーザは、ある程度以上の大きさの仮想オブジェクトを摘む場合、摘む前に指を一度広げてから摘むことが想定される。これに対して、例えば、ジェスチャ検出部１７１は、親指と人差し指の間の距離が広がったり、手の指が一度広がった状態になったりすることを、仮想オブジェクトを摘むジェスチャの検出条件に加えるようにしてもよい。
　例えば、ジェスチャ検出部１７１は、視線検出部１７２により検出されるユーザの視線に基づいて、摘む対象となる仮想オブジェクトを検出するようにしてもよい。
　　＜閾値に関する変形例＞
　例えば、ジェスチャ検出部１７１は、上述した図８のステップＳ２及びステップＳ６において用いられる手基部に対する位置閾値及び姿勢閾値を、ユーザの状態及び属性、仮想オブジェクトの状態及び属性、周囲の環境等に基づいて変化させるようにしてもよい。
　例えば、ユーザの利き腕に近い位置では手の動きが速くなると想定されるため、仮想オブジェクトがユーザの利き腕に近い位置にある場合、ジェスチャ検出部１７１は、ユーザの利き腕の情報を取得し、位置閾値及び姿勢閾値のうち少なくとも一方を大きくするようにしてもよい。
　例えば、ジェスチャ検出部１７１は、情報処理システム１０１が狭い空間で使用されている場合、ユーザの手の動きが小さくなると想定されるため、位置閾値及び姿勢閾値のうち少なくとも一方を小さくするようにしてもよい。
　例えば、ジェスチャ検出部１７１は、仮想オブジェクトと手の間の距離、複数の仮想オブジェクト間の距離、仮想オブジェクトの大きさ、仮想オブジェクトの移動速度等に基づいて、位置閾値及び姿勢閾値のうち少なくとも一方を変化させるようにしてもよい。
　例えば、ジェスチャ検出部１７１は、ユーザの姿勢（例えば、立っているか座っているか等）、ユーザの歩行状態、ユーザの情報処理システム１０１の使用履歴、ユーザの操作が得意な領域、ユーザの装着物等に基づいて、位置閾値及び姿勢閾値のうち少なくとも一方を変化させるようにしてもよい。装着物としては、例えば、グローブ等の手を動きにくくするものが想定される。
　例えば、機械学習により、位置閾値及び姿勢閾値を含む各種の閾値が設定及び変更されるようにしてもよい。この場合、例えば、情報処理システム１０１がユーザの手元に届くまでに閾値が設定されるようにしてもよいし、情報処理システム１０１がユーザの手元に届いた後に閾値が変更されるようにしてもよい。
　　＜ユーザインタフェースに関する変形例＞
　例えば、上述した図８のステップＳ５において、ジェスチャ検出部１７１が、ユーザにより仮想オブジェクトが摘まれたと判定した場合、出力部１５５が、摘みジェスチャを検出したことをユーザに通知するようにしてもよい。例えば、表示部１８１は、出力制御部１７４の制御の下に、摘まれた仮想オブジェクトの表示態様（例えば、色、形状、透明度、明度等）を変化させるようにしてもよい。
　なお、仮想オブジェクトの表示態様を変化させるだけでなく、音声情報や触覚情報により、摘みジェスチャを検出したことをユーザに通知するようにしてもよい。
　これにより、ユーザは、摘みジェスチャが検出されたこと、及び、摘みジェスチャの対象となった仮想オブジェクトを認識することができ、安心して操作することができるようになる。
　例えば、ジェスチャ検出部１７１が、過去のセンサデータ等を用いて学習することにより、ユーザの手基部及び人差し指等の動きに基づいて、ユーザにより摘まれる仮想オブジェクトを予測するようしてもよい。そして、ジェスチャ検出部１７１は、当該仮想オブジェクトを摘みジェスチャの検出対象に前倒しして設定するようにしてもよい。また、表示部１８１は、出力制御部１７４の制御の下に、当該仮想オブジェクトの表示態様を変化させるようにしてもよい。これにより、ユーザは、所望の仮想オブジェクトをより迅速に摘むことが可能になる。
　なお、以上の仮想オブジェクトの表示態様の変化の有無等が、ユーザや周囲の環境に基づいて変更されるようにしてもよい。例えば、情報処理システム１０１の使用歴が浅いユーザに対しては、上述したように仮想オブジェクトの表示態様を変化させ、使用歴が長いユーザに対しては、仮想オブジェクトの表示態様を変化させないようにしてもよい。例えば、ユーザの視界内に多くの情報が表示されている場合、ユーザに提示される情報量が過剰にならないように、仮想オブジェクトの表示態様が変化しないようにしてもよい。
　例えば、表示部１８１は、出力制御部１７４の制御の下に、仮想オブジェクトを放した後の動きを示す情報を、ユーザの視界内において表示するようにしてもよい。例えば、現在の状態において仮想オブジェクトが放された場合の仮想オブジェクトの軌跡、回転の状態、着地する位置及び姿勢等の情報が、ユーザの視界内において表示されるようにしてもよい。
　例えば、ハプティクスデバイス１８３が、仮想オブジェクトを摘んだり放したりする感覚を触覚情報によりユーザに伝達するようにしてもよい。この場合、必ずしも仮想オブジェクトが表示されなくてもよい。例えば、表示装置を用いない触覚によるＡＲや、ユーザの視界の外に存在する仮想オブジェクトを摘む場合において、ユーザが触覚情報により仮想オブジェクトを摘んだり放したりする感覚を実感することが可能になる。
　　＜その他の変形例＞
　例えば、ユーザが複数の仮想オブジェクトを一度に摘めるようにしてもよい。この場合、例えば、ジェスチャ検出部１７１は、手基部の位置及び姿勢の変化量に基づいて、摘みジェスチャの対象となる仮想オブジェクトの数を変化させるようにしてもよい。
　本技術は、例えば、ユーザの手の動きに連動して遠隔地のロボットアームが動く場合に、ロボットアームが現実のオブジェクト（実物体）又は仮想オブジェクトを摘む場合にも適用することが可能である。この場合、ジェスチャ検出部１７１は、ロボットアームの性能に応じて、位置閾値及び姿勢閾値等の各種の閾値を変化させるようにしてもよい。
　例えば、本技術は、ＨＭＤ以外の方法、例えば、プロジェクタやスマートフォン等の表示端末を用いて実現されるＡＲやＭＲにも適用することが可能である。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　ユーザの手の指を含まない部分である手基部の動き及び前記手の第１の指の動きを個別に検出し、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出するジェスチャ検出部を
　備える情報処理装置。
（２）
　前記ジェスチャ検出部は、前記手基部の位置及び姿勢の変化が第１の範囲内である場合に、前記仮想オブジェクトを含む第２の範囲内で前記第１の指の指先が前記手の第２の指の指先と接触したとき、前記仮想オブジェクトが摘まれたと判定する
　前記（１）に記載の情報処理装置。
（３）
　前記ジェスチャ検出部は、前記手基部の位置の変化が第１の閾値未満、かつ、前記手基部の姿勢の変化が第２の閾値未満である場合、前記手基部の位置及び姿勢の変化が前記第１の範囲内であると判定する
　前記（２）に記載の情報処理装置。
（４）
　前記ジェスチャ検出部は、前記ユーザの状態及び属性のうち少なくとも１つに基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
　前記（３）に記載の情報処理装置。
（５）
　前記ジェスチャ検出部は、周囲の環境に基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記ジェスチャ検出部は、前記仮想オブジェクトの状態及び属性のうち少なくとも１つに基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
　前記（３）又は（４）に記載の情報処理装置。
（７）
　前記ジェスチャ検出部は、前記手の甲の加速度及び角速度に基づいて、前記手基部の位置及び姿勢の変化を検出し、前記第１の指の指先の圧力に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
　前記（２）又は（３）に記載の情報処理装置。
（８）
　前記ジェスチャ検出部は、さらに前記第１の指の指先の静電容量に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
　前記（７）に記載の情報処理装置。
（９）
　前記第１の指は、人差し指であり、
　前記第２の指は、親指である
　前記（２）又は（３）に記載の情報処理装置。
（１０）
　前記ジェスチャ検出部は、前記手基部の動き及び前記第１の指の動きに基づいて、さらに前記仮想オブジェクトを放すジェスチャを検出する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（１１）
　前記ジェスチャ検出部は、前記手基部の位置及び姿勢の変化が第３の範囲内である場合に、前記第１の指の指先が第２の指の指先から離れたとき、又は、前記手基部の位置及び姿勢のうち少なくとも一方の変化が前記第３の範囲より大きい場合、前記第１の指の位置及び姿勢のうち少なくとも一方の変化が第４の範囲より大きく、かつ、前記第１の指の指先が前記第２の指の指先から離れた状態が所定の時間以上継続したとき、前記仮想オブジェクトが放されたと判定する
　前記（１０）に記載の情報処理装置。
（１２）
　前記ジェスチャ検出部は、前記手の甲の加速度及び角速度に基づいて、前記手基部の位置及び姿勢の変化を検出し、前記第１の指の加速度及び角速度に基づいて、前記第１の指の位置及び姿勢の変化を検出し、前記第１の指の指先の静電容量に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
　前記（１１）に記載の情報処理装置。
（１３）
　前記仮想オブジェクトを前記ユーザの視界内において現実世界に重畳させて表示する制御を実行する出力制御部を
　さらに備える前記（１）乃至（３）のいずれかに記載の情報処理装置。
（１４）
　前記出力制御部は、前記仮想オブジェクトが摘まれたと判定された場合、前記仮想オブジェクトの表示態様を変化させる
　前記（１３）に記載の情報処理装置。
（１５）
　前記ジェスチャ検出部は、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザにより摘まれる前記仮想オブジェクトを予測し、
　前記出力制御部は、前記ユーザにより摘まれると予測された前記仮想オブジェクトの表示態様を変化させる
　前記（１３）又は（１４）に記載の情報処理装置。
（１６）
　前記出力制御部は、前記仮想オブジェクトを放した後の動きを示す情報を表示させる
　前記（１３）又は（１４）に記載の情報処理装置。
（１７）
　ユーザの手の指を含まない部分である手基部の動き及び前記手の所定の指の動きを個別に検出し、前記手基部の動き及び前記指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出する
　情報処理方法。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　情報処理システム，　１１１　指先センサ，　１１２，１１３　ＩＭＵ，　１１４　ヘッドマウントディスプレイ，　１５２　センシング部，　１５４　制御部，　１５５　出力部，　１６１　撮影部，　１６２　ＩＭＵ，　１７１　ジェスチャ検出部，　１７２　視線検出部，　１７３　情報処理部，　１７４　出力制御部，　１８１　表示部，　１８２　音声出力部，　１８３　ハプティクスデバイス

Claims (17)

  1. 　ユーザの手の指を含まない部分である手基部の動き及び前記手の第１の指の動きを個別に検出し、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出するジェスチャ検出部を
    　備える情報処理装置。
  2. 　前記ジェスチャ検出部は、前記手基部の位置及び姿勢の変化が第１の範囲内である場合に、前記仮想オブジェクトを含む第２の範囲内で前記第１の指の指先が前記手の第２の指の指先と接触したとき、前記仮想オブジェクトが摘まれたと判定する
    　請求項１に記載の情報処理装置。
  3. 　前記ジェスチャ検出部は、前記手基部の位置の変化が第１の閾値未満、かつ、前記手基部の姿勢の変化が第２の閾値未満である場合、前記手基部の位置及び姿勢の変化が前記第１の範囲内であると判定する
    　請求項２に記載の情報処理装置。
  4. 　前記ジェスチャ検出部は、前記ユーザの状態及び属性のうち少なくとも１つに基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
    　請求項３に記載の情報処理装置。
  5. 　前記ジェスチャ検出部は、周囲の環境に基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
    　請求項３に記載の情報処理装置。
  6. 　前記ジェスチャ検出部は、前記仮想オブジェクトの状態及び属性のうち少なくとも１つに基づいて、前記第１の閾値及び前記第２の閾値のうち少なくとも１つを変化させる
    　請求項３に記載の情報処理装置。
  7. 　前記ジェスチャ検出部は、前記手の甲の加速度及び角速度に基づいて、前記手基部の位置及び姿勢の変化を検出し、前記第１の指の指先の圧力に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
    　請求項２に記載の情報処理装置。
  8. 　前記ジェスチャ検出部は、さらに前記第１の指の指先の静電容量に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
    　請求項７に記載の情報処理装置。
  9. 　前記第１の指は、人差し指であり、
    　前記第２の指は、親指である
    　請求項２に記載の情報処理装置。
  10. 　前記ジェスチャ検出部は、前記手基部の動き及び前記第１の指の動きに基づいて、さらに前記仮想オブジェクトを放すジェスチャを検出する
    　請求項１に記載の情報処理装置。
  11. 　前記ジェスチャ検出部は、前記手基部の位置及び姿勢の変化が第３の範囲内である場合に、前記第１の指の指先が第２の指の指先から離れたとき、又は、前記手基部の位置及び姿勢のうち少なくとも一方の変化が前記第３の範囲より大きい場合、前記第１の指の位置及び姿勢のうち少なくとも一方の変化が第４の範囲より大きく、かつ、前記第１の指の指先が前記第２の指の指先から離れた状態が所定の時間以上継続したとき、前記仮想オブジェクトが放されたと判定する
    　請求項１０に記載の情報処理装置。
  12. 　前記ジェスチャ検出部は、前記手の甲の加速度及び角速度に基づいて、前記手基部の位置及び姿勢の変化を検出し、前記第１の指の加速度及び角速度に基づいて、前記第１の指の位置及び姿勢の変化を検出し、前記第１の指の指先の静電容量に基づいて、前記第１の指の指先と前記第２の指の指先との接触状態を検出する
    　請求項１１に記載の情報処理装置。
  13. 　前記仮想オブジェクトを前記ユーザの視界内において現実世界に重畳させて表示する制御を実行する出力制御部を
    　さらに備える請求項１に記載の情報処理装置。
  14. 　前記出力制御部は、前記仮想オブジェクトが摘まれたと判定された場合、前記仮想オブジェクトの表示態様を変化させる
    　請求項１３に記載の情報処理装置。
  15. 　前記ジェスチャ検出部は、前記手基部の動き及び前記第１の指の動きに基づいて、前記ユーザにより摘まれる前記仮想オブジェクトを予測し、
    　前記出力制御部は、前記ユーザにより摘まれると予測された前記仮想オブジェクトの表示態様を変化させる
    　請求項１３に記載の情報処理装置。
  16. 　前記出力制御部は、前記仮想オブジェクトを放した後の動きを示す情報を表示させる
    　請求項１３に記載の情報処理装置。
  17. 　ユーザの手の指を含まない部分である手基部の動き及び前記手の所定の指の動きを個別に検出し、前記手基部の動き及び前記指の動きに基づいて、前記ユーザが仮想オブジェクトを摘むジェスチャを検出する
    　情報処理方法。
PCT/JP2023/007211 2022-03-18 2023-02-28 情報処理装置及び情報処理方法 WO2023176420A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-043596 2022-03-18
JP2022043596 2022-03-18

Publications (1)

Publication Number Publication Date
WO2023176420A1 true WO2023176420A1 (ja) 2023-09-21

Family

ID=88023601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007211 WO2023176420A1 (ja) 2022-03-18 2023-02-28 情報処理装置及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2023176420A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020535560A (ja) * 2017-09-29 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 検出された手入力に基づく仮想手ポーズのレンダリング
WO2021176861A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
WO2021192589A1 (ja) * 2020-03-24 2021-09-30 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020535560A (ja) * 2017-09-29 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 検出された手入力に基づく仮想手ポーズのレンダリング
WO2021176861A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
WO2021192589A1 (ja) * 2020-03-24 2021-09-30 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Similar Documents

Publication Publication Date Title
US11481031B1 (en) Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
EP3425481B1 (en) Control device
US11656689B2 (en) Single-handed microgesture inputs
US10120444B2 (en) Wearable device
US10942576B2 (en) Techniques for real object and hand representation in virtual reality content
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
US11029753B2 (en) Human computer interaction system and human computer interaction method
US20230031913A1 (en) Information processing device, information processing method, computer program, and augmented reality system
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
CN115777091A (zh) 检测装置及检测方法
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
WO2023176420A1 (ja) 情報処理装置及び情報処理方法
CN115298646A (zh) 信息处理设备、信息处理方法、计算机程序和增强现实感测系统
US11768546B1 (en) Method and device for positional/rotational information of a finger-wearable device
US20180164895A1 (en) Remote control apparatus, remote control method, remote control system, and program
WO2024090303A1 (ja) 情報処理装置及び情報処理方法
WO2024090300A1 (ja) 情報処理装置及び情報処理方法
US11797100B1 (en) Systems and methods for classifying touch events based on relative orientation
US11693491B1 (en) Tracking a paired peripheral input device based on a contact criterion
US11430170B1 (en) Controlling joints using learned torques
WO2024090304A1 (ja) 入力デバイス、制御装置、制御方法、情報処理装置、及び、情報処理方法
WO2024090298A1 (ja) 情報処理装置、情報処理方法、及び、入力デバイス
EP4345584A1 (en) Control device, control method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770378

Country of ref document: EP

Kind code of ref document: A1