WO2018131245A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018131245A1
WO2018131245A1 PCT/JP2017/037818 JP2017037818W WO2018131245A1 WO 2018131245 A1 WO2018131245 A1 WO 2018131245A1 JP 2017037818 W JP2017037818 W JP 2017037818W WO 2018131245 A1 WO2018131245 A1 WO 2018131245A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing apparatus
finger
user
pointing
Prior art date
Application number
PCT/JP2017/037818
Other languages
English (en)
French (fr)
Inventor
宏之 水沼
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018131245A1 publication Critical patent/WO2018131245A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a wearable terminal (hereinafter referred to as a “bracelet terminal”) that is worn on an arm like a wristwatch is becoming widespread.
  • Such an input operation on the bracelet-type terminal is generally performed mainly on a touch panel mounted on the bracelet-type terminal.
  • the bracelet type terminal is equipped with a voice input function for accepting voice input operations.
  • the bracelet-type terminal has a gesture recognition function that accepts an input operation using a gesture that is a body motion that moves a hand or a form that is expressed by the shape or orientation of the hand. It is also possible to install.
  • the touch panel mounted on the bracelet type terminal is small, the user can accurately perform a desired input operation on the bracelet type terminal by a pointing operation of touching the touch panel with a finger. difficult.
  • the voice input function mounted on the bracelet-type terminal currently has low voice recognition accuracy. Therefore, even if the user performs an input operation by voice to the bracelet type terminal, the voice input function cannot accurately recognize the voice, and the bracelet type terminal cannot be controlled as desired by the user. Sometimes. Further, even when an input operation is performed using a gesture recognition function mounted on the bracelet-type terminal as disclosed in Patent Document 1, a small icon displayed on the touch panel is displayed with a hand gesture. It is difficult to make detailed selections. Therefore, even if the user tries to finely control the bracelet type terminal using an input operation by gesture, the bracelet type terminal may not be finely controlled as desired by the user, that is, There is a limit to control by input operation using gestures.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that enable an accurate and fine input operation by a user pointing operation.
  • a gesture recognition unit that recognizes a finger gesture by a finger of an arm wearing a device, a pointing recognition unit that recognizes a user's pointing operation, a recognition result by the gesture recognition unit, and a pointing recognition unit
  • an information processing apparatus including a control unit that performs control according to a recognition result.
  • the finger gesture by the finger of the arm wearing the device the recognition of the user's pointing operation, the recognition result of the finger gesture, and the recognition result of the pointing operation
  • An information processing method including performing corresponding control.
  • the computer recognizes the finger gesture by the finger of the arm wearing the device, the pointing recognition unit that recognizes the user's pointing operation, and the recognition result by the gesture recognition unit, There is provided a program that functions as a control unit that performs control in accordance with a recognition result by the pointing recognition unit.
  • FIG. 1 is a diagram illustrating an appearance of an information processing apparatus 10 according to an embodiment of the present disclosure. It is a figure explaining the mounting state of information processor 10 concerning the embodiment. It is a block diagram which shows the structure of the information processing apparatus 10 which concerns on the embodiment. It is explanatory drawing which shows an example of a user's pointing operation in the embodiment. It is explanatory drawing which shows another example of the user's pointing operation in the embodiment. It is explanatory drawing which shows an example of the finger gesture in the embodiment. It is explanatory drawing which shows another example of the finger gesture in the embodiment. It is explanatory drawing which shows another example of the finger gesture in the same embodiment. It is a flowchart explaining an example of the information processing method which concerns on the embodiment.
  • FIG. 13 is an explanatory diagram illustrating a modification example of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus 900 according to an embodiment of the present disclosure. It is explanatory drawing explaining input operation of the information processing apparatus 40 which concerns on a comparative example.
  • FIG. 1 is a diagram illustrating an appearance of an information processing apparatus 10 according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating a mounting state of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 is a wearable terminal worn on a user's arm 80 or wrist, and is also called a bracelet type / watch type terminal.
  • the information processing apparatus 10 is provided with a touch panel display 12 having functions as a display unit and an operation unit, a speaker 14 having a sound output function, and a microphone 16 having a sound collection function on the outer peripheral surface thereof. Yes.
  • the touch panel display 12 is provided, for example, in a part of the outer peripheral surface of the information processing apparatus 10 so that the user can easily perform a touch operation. However, in this embodiment, it is not limited to this, The touch panel display 12 may be provided in the whole outer peripheral surface of the information processing apparatus 10.
  • FIG. The function as a display unit of the touch panel display 12 is realized by a display screen device such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays characters, images, and other information on the display screen. Furthermore, display of characters, images, and other information by the display screen device is controlled by a device control unit 264 of the main control unit 26 described later.
  • the function of the touch panel display 12 as an operation unit is realized, for example, by an operation surface that is superimposed on the above-described display screen device and detects a touch position of a touch operation by a user's finger.
  • the operation surface can be a curved surface along the outer peripheral direction of the user's arm 80.
  • the touch panel display 12 is a curved surface having a narrow width so as to follow the arm 80 of the user.
  • the user views the information on the operation surface superimposed on the display screen while viewing the display screen on the touch panel display 12 of the information processing apparatus 10 worn on his / her arm 80.
  • a touch operation is performed with an arm finger 82 to which the processing apparatus 10 is not worn.
  • the finger of the arm 80 to which the information processing apparatus 10 is attached is referred to as a finger 84, and is shown as a left hand finger in the figure.
  • the finger of the arm on which the information processing apparatus 10 is not worn is referred to as a finger 82, and is shown as a finger of the right hand in the figure.
  • the information processing apparatus 10 is not limited to the one mounted on the left arm, and may be mounted on the right arm.
  • the speaker 14 has a sound output function, and is realized by a speaker provided in the vicinity of the touch panel display 12 on the outer peripheral surface of the information processing apparatus 10, as shown in FIGS. Can be output.
  • the microphone 16 has a sound collecting function for collecting, for example, environmental sounds around the information processing apparatus 10, and a touch panel display is provided on the outer peripheral surface of the information processing apparatus 10 as illustrated in FIGS. 1 and 2.
  • 12 is realized by a microphone provided in the vicinity of 12.
  • the number and positions of the speakers 14 and the microphones 16 shown in FIG. 1 are merely examples, and the present embodiment is not limited to this.
  • the speakers 14 and the microphones 16 are connected to the information processing apparatus 10.
  • a plurality of outer peripheral surfaces may be provided.
  • the information processing apparatus 10 that is a bracelet type terminal as described above is worn by a user, recognizes a touch operation on the touch panel display 12 by the user, and performs information processing performed in the information processing apparatus 10 based on the recognition result. Issue commands for However, as described above, the operation surface of the touch panel display 12 mounted on the information processing apparatus 10 is small in order to ensure the wearability of the bracelet type terminal. Therefore, it is difficult for the user to accurately perform a desired input operation on the information processing apparatus 10 by touching the touch panel display 12. Further, from the viewpoint of visibility, there is a limit to the number of input operation icons that can be displayed on the touch panel display 12 at a time. Therefore, there is a limit to the user performing a fine input operation on the information processing apparatus 10 by touching the touch panel display 12 in a short time.
  • FIG. 22 is an explanatory diagram illustrating an input operation of the information processing apparatus 40 according to the comparative example.
  • each key 90 is smaller than the fingertip of the finger 82. For this reason, it is difficult to accurately perform the input operation desired by the user. More specifically, when the user performs a touch operation on a key 90 that is smaller than the fingertip of the finger 82 as shown in FIG. May come into contact.
  • the touch panel display 12a recognizes that the input operation has been performed on the plurality of keys 90, and accepts an input operation not intended by the user.
  • the user since the entire key 90 is hidden by the fingertip, the user cannot perform a touch operation while confirming the location where the fingertip contacts by visual recognition, and thus the user is likely to make an erroneous operation.
  • the pointer 92 having the same size as the key 90 is displayed on the touch panel display 12a with a slight shift (offset) from the touch position (fingertip) of the touch operation.
  • the pointer 92 indicates a position that the touch panel display 12a recognizes as a touch position for a user's touch operation. Accordingly, the user performs an input operation for designating the key 90 while moving the pointer 92 having the same size as the key 90 by a touch operation, and the pointer 92 cannot designate a plurality of keys 90 at a time. Therefore, user's erroneous operation can be avoided.
  • the pointer 92 in an offset manner, the user can specify the key 90 while visually recognizing the position of the pointer 92, so that the user can accurately perform an input operation on the key 90. it can.
  • the release operation is set as the confirmation operation in the information processing apparatus 40, which causes an erroneous operation by the user.
  • a release operation is a “confirmation operation”
  • the designated key 90 is input between the start of the touch operation and the release operation, and the input is confirmed. It is difficult to cancel the previously designated key 90 before the “confirmation operation”. That is, setting the release operation as the confirmation operation in the information processing apparatus 40 is not preferable from the viewpoint of operability.
  • the present disclosure proposes an embodiment in which the above limit is eliminated by combining an operation with a finger gesture by a user's finger with a touch operation that has a limit in performing an accurate and fine input operation. That is, according to the embodiment of the present disclosure, it is possible to enable accurate and fine input by the user's pointing operation in the information processing apparatus in which accurate input operation is difficult as described above.
  • the pointing operation means that a pointer, cursor, icon, key, or the like displayed on the screen or the like is operated by a user's hand or the like, and further, the cursor is used using voice. , Including manipulating icons.
  • the finger gesture means an aspect expressed by the shape or orientation of the user's finger 82 on which the information processing apparatus 10 is mounted, or an operation of moving the finger 82.
  • FIG. 3 is a block diagram illustrating a basic configuration of the information processing apparatus 10 according to the present embodiment.
  • 4 and 5 are explanatory diagrams illustrating an example of a user pointing operation in the present embodiment.
  • FIGS. 6 to 8 are explanatory diagrams illustrating an example of a finger gesture in the present embodiment.
  • the information processing apparatus 10 is a wearable terminal that is worn on the user's arm 80 or wrist.
  • the information processing apparatus 10 mainly includes a touch panel display 12, a speaker 14, a microphone 16, a motion sensor 18, a storage unit 20, and a main control unit 22. Below, each block of the information processing apparatus 10 which concerns on this embodiment is demonstrated.
  • the touch panel display 12 is provided on the outer peripheral surface of the information processing apparatus 10 and has functions of a display unit and an operation unit.
  • the touch panel display 12 as an operation unit detects a touch position of a touch operation on the touch panel display 12. More specifically, when the user performs a touch operation on the touch panel display 12, the touch panel display 12 detects the touch operation, generates an electrical signal corresponding to the touch position of the touch operation, and applies the electrical signal to the touch position. Convert to information.
  • the touch panel display 12 as the operation unit can correspond to an arbitrary touch detection method such as a capacitance method, a resistance film method, and an optical method.
  • the touch panel display 12 is not limited to detecting the position of the touch operation with the user's finger 82, but detects the position of the touch operation with a pointing device such as a stylus pen that the user has. May be. Further, in the present embodiment, the touch panel display 12 is not limited to the touch panel display 12 that detects a touch operation by the contact of the user's finger 82 as shown on the left side of FIG. For example, as shown on the right side of FIG. 4, the touch panel display 12 may detect a user's finger 82 that is close to the touch panel display 12 with a predetermined interval as one type of touch operation.
  • the touch panel display 12 can detect the proximity of the user's finger 82 using the detection result of the sensor.
  • the touch panel display 12 may detect the pressure applied from the user's finger 82 by a pressure sensor provided so as to overlap the touch panel display 12.
  • the information processing apparatus 10 is not limited to detecting the user's pointing operation on the touch panel display 12 as described above, but other than the operations described above as described below.
  • a pointing operation may be detected.
  • the arm 80 of the user wearing the information processing apparatus 10 may be used as a part of the operation surface of the touch panel display 12.
  • the user can perform an input operation by bringing the user's finger 82 into contact with the surface of the user's arm 80 wearing the information processing apparatus 10.
  • the ring-type device 50 may be attached to the finger 82 that is brought into contact with the surface of the user's arm 80.
  • the information processing apparatus 10 transmits a predetermined signal from the ring type device 50, and the information processing apparatus 10 receives the signal via the user's arm 80.
  • the relative positional relationship with the processing apparatus 10 can be detected.
  • a projector (not shown) is provided in the information processing apparatus 10, and the information processing apparatus 10 performs a user pointing operation (for example, a screen projected on a wall) (for example, a screen projected on a wall) by the projector (for example, It may be detected by pointing with the user's hand.
  • the user's pointing operation is performed by imaging the user using an image sensor and various members such as a lens for controlling the formation of a subject image on the image sensor, or the information processing apparatus 10 It may be detected by an imaging device (not shown) provided around the user.
  • the pointing operation may be detected by the information processing apparatus 10 or an infrared sensor, an ultrasonic sensor, or the like (not shown) provided around the user. Further, for example, the information processing apparatus 10 may detect a pointing operation by the user's line of sight. In this case, for example, the movement of the user's line of sight (eye movement) with respect to the display on the touch panel display 12 of the information processing apparatus 10 or the virtual object projected into the real space by the projector described above by the imaging apparatus as described above. ) Is detected.
  • the speaker 14 is provided on the outer peripheral surface of the information processing apparatus 10 and has a function of outputting sound (audio signal). For example, the speaker 14 notifies the user by an alarm or the like, or outputs a received voice during a call.
  • the microphone 16 is provided on the outer peripheral surface of the information processing apparatus 10 and has a function of inputting sound (audio signal).
  • the microphone 16 accepts voice input by the user or picks up the user's speech during a call.
  • the microphone 16 may collect a sound having a specific frequency generated by a finger gesture by the user's finger 82.
  • the motion sensor 18 is a sensor that is provided in the information processing apparatus 10 and detects an operation (finger gesture) of the finger 82 of the user wearing the information processing apparatus 10.
  • the motion sensor 18 is realized by one or a plurality of sensor devices that detect a spatial movement and an angle, such as an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
  • One or a plurality of sensing results obtained by the motion sensor 18 are output to a main control unit 22 described later.
  • the type of finger gesture by the user's finger 82 and the finger used for the finger gesture are used. It is used when recognizing the type of
  • the storage unit 20 is provided in the information processing apparatus 10 and stores a program and the like for the main control unit 22 described later to execute various processes.
  • the storage unit 20 stores a program for the device control unit 224 described later to issue a command.
  • the storage unit 20 is realized by, for example, a magnetic recording medium such as a hard disk (HD), a non-volatile memory such as a flash memory, or the like.
  • the main control unit 22 is provided in the information processing apparatus 10 and can control each block of the information processing apparatus 10.
  • the main control unit 22 is realized by hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the main control unit 22 can also function as a pointing recognition unit 220, a gesture recognition unit 222, and a device control unit 264. Details of these functions of the main control unit 22 according to the present embodiment will be described below.
  • the pointing recognition unit 220 recognizes the user's pointing operation. Specifically, as described above, the pointing recognizing unit 220 determines the touch position on the touch panel display 12 and its locus by the user's finger 82 or the pointing device possessed by the user based on the electrical signal generated by the touch panel display 12. recognize. Further, in the present embodiment, the pointing recognition unit 220 recognizes the contact and proximity of the user's finger 82 to the touch panel display 12 using a sensing result by a sensor (not shown) provided around the touch panel display 12. May be. Further, the pointing recognition unit 220 may recognize the pressure applied from the user's finger 82 to the touch panel display 12 using a sensing result of a pressure sensor (not shown) superimposed on the touch panel display 12.
  • the pointing recognition unit 220 recognizes the user's pointing operation on the surface of the user's arm 80, the user's pointing operation on the virtual object projected in the real space, and the pointing operation by the user's line of sight as described above. May be.
  • the pointing recognition unit 220 may recognize an input operation by a user's voice via the microphone 16 described above.
  • the gesture recognition unit 222 recognizes a finger gesture by the finger 84 of the arm 80 wearing the information processing apparatus 10 according to the present embodiment. Specifically, the gesture recognition unit 222 can recognize a finger gesture performed by the user by applying a predetermined algorithm to one or more sensing results obtained by the motion sensor 18. As an example, the gesture recognition unit 222 recognizes the type of finger gesture by matching the pattern of the sensing result obtained by the motion sensor 18 with teacher data (a pattern obtained by a known finger gesture). it can.
  • the gesture recognizing unit 222 can detect the type of finger gesture by the finger 84 such as a tap operation for tapping the fingertips, a finger flick operation for flicking the fingertips, or a finger snap operation for moving the fingers.
  • the tap operation refers to an operation in which the fingertips of the two fingers 84 of the arm 80 wearing the information processing apparatus 10 are brought into contact with each other and then released as shown in FIG. FIG. 6 shows a tap operation using a thumb and an index finger.
  • the present embodiment is not limited to this, and the tap operation uses another finger and the thumb. Also good.
  • the finger flick operation is an operation of pressing the middle finger 84 of the arm 80 on which the information processing apparatus 10 is worn with the thumb 84 and then releasing the middle finger 84 from the hold of the thumb 84. That means. That is, the finger flick operation is a finger operation performed when flipping a marble or a flick.
  • FIG. 7 shows a finger flick operation using the thumb and middle finger.
  • the present embodiment is not limited to this, and the finger flick operation using another finger and the thumb is not limited to this. It may be.
  • the finger snapping operation is an operation of rubbing the thumb 84 and the middle finger 84 of the arm 80 to which the information processing apparatus 10 is attached, and then hitting the middle finger 84 against the base of the thumb 84.
  • the finger snap action is a finger action performed when a finger is sounded.
  • FIG. 8 shows a finger snap operation using the thumb and the middle finger, but the present embodiment is not limited to this, and the finger snap operation using another finger and the thumb. It may be.
  • the types of finger gestures recognized by the gesture recognition unit 222 are not limited to the above-described three operations, and are particularly limited as long as they are finger gestures performed using the fingers 84. is not.
  • the gesture recognition unit 222 is not limited to only recognizing the type of finger gesture, but the number of times the finger gesture is performed and the finger 84 that has performed the finger gesture are any fingers (thumb, forefinger, middle finger, ring finger, little finger). It is also possible to recognize the type of finger such as
  • the gesture recognition unit 222 analyzes the environmental sound collected by the microphone 16, extracts a sound having a specific frequency generated by the finger gesture by the user's finger 82, and performs the finger gesture or the finger gesture. You may recognize the number of times.
  • the device control unit 224 issues commands for various devices provided in the information processing apparatus 10 to perform predetermined processing according to the recognition result of the pointing recognition unit and the recognition result of the gesture recognition unit described above. Control various devices. Specifically, the device control unit 224 changes the command assigned to various pointing operations according to the recognition result of the gesture recognition unit, and is assigned as described above according to the recognition result of the pointing recognition unit. Issue a command. In addition, the device control unit 224 changes the command assigned to various finger gesture operations according to the recognition result of the pointing recognition unit, and changes the command assigned as described above according to the recognition result of the gesture recognition unit. May be issued. In addition, for example, the device control unit 224 issues commands for performing volume adjustment of various devices such as the speaker 14 and scrolling, selection, determination, cancellation, enlargement, reduction, and the like for the display on the touch panel display 12.
  • FIG. 9 is a flowchart for explaining an example of the information processing method according to the present embodiment.
  • the information processing method according to the present embodiment includes a plurality of steps from step S101 to step S119. Details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S101 The information processing apparatus 10 detects a pointing operation. For example, the information processing apparatus 10 detects a touch operation on the touch panel display 12 by the user's finger 82.
  • Step S103 The information processing apparatus 10 determines whether a pointing operation has been detected. For example, the information processing apparatus 10 determines whether a touch operation on the touch panel display 12 by the user's finger 82 is detected. When the pointing operation is detected, the information processing apparatus 10 proceeds to step S105 described later, and when the pointing operation is not detected, the information processing apparatus 10 proceeds to step S113 described later.
  • Step S105 The information processing apparatus 10 recognizes the contents of the pointing operation detected in the above steps. For example, the information processing apparatus 10 recognizes a touch operation on the icon displayed on the touch panel display 12 by the user's finger 82.
  • Step S107 The information processing apparatus 10 determines whether or not a predetermined pointing operation has been recognized in step S105 described above. When the information processing apparatus 10 recognizes the predetermined pointing operation, the process proceeds to step S109 described later. When the information processing apparatus 10 does not recognize the predetermined pointing operation, the information processing apparatus 10 returns to step S101.
  • Step S109 In response to the recognized pointing operation, the information processing apparatus 10 issues a command corresponding to the pointing operation.
  • the information processing apparatus 10 issues an information processing command (for example, a command for starting an imaging apparatus mounted on the information processing apparatus 10) corresponding to the icon touched by the user's finger 82.
  • Step S111 When the information processing apparatus 10 receives an instruction from the user to end the detection of the pointing operation (for example, an instruction to stop starting the information processing apparatus 10), the information processing apparatus 10 ends the information processing according to the present embodiment. On the other hand, if the information processing apparatus 10 has not received an instruction from the user to end detection of the pointing operation, the information processing apparatus 10 returns to step S101. That is, unless there is an instruction from the user, the information processing according to the present embodiment is repeatedly performed. For example, the information processing according to the present embodiment is repeatedly performed as one of background processes of the information processing apparatus 10.
  • Step S113 The information processing apparatus 10 detects a finger gesture with the user's finger 84.
  • the information processing apparatus 10 activates the motion sensor 18 and detects a finger gesture with the user's finger 84.
  • Step S115 The information processing apparatus 10 recognizes the content of the finger gesture detected in the above steps. For example, the information processing apparatus 10 recognizes the tap operation by the user's finger 84 based on the sensing result of the motion sensor 18.
  • Step S117 The information processing apparatus 10 determines whether or not a predetermined finger gesture is recognized in step S115 described above. The information processing apparatus 10 proceeds to step S117 described later when a predetermined finger gesture is recognized, and returns to step S101 when the predetermined finger gesture is not recognized.
  • Step S119 The information processing apparatus 10 changes the command assigned to the pointing operation according to the recognized finger gesture. For example, the information processing apparatus 10 changes the command assigned to the swipe operation (pointing operation) from screen scrolling to screen enlargement. Furthermore, after changing the command, the information processing apparatus 10 returns to step S101 described above.
  • the pointing operation and the finger gesture are interchanged, a command is issued based on the recognized finger gesture, and the command assigned to the finger gesture by the recognized pointing operation. May be changed.
  • the information processing according to the present embodiment is not limited to the command change, and the information processing control method is changed or set according to the recognition result of the pointing operation and the finger gesture. There is no particular limitation as long as it does.
  • the command may be issued simultaneously with the command setting or the command assignment change.
  • the information processing flow according to the present embodiment illustrated in FIG. 9 is a process assuming that the user sequentially performs a pointing operation and a finger gesture. That is, the detection of the pointing operation and the detection of the finger gesture are performed.
  • the information processing when not performed simultaneously is shown.
  • the present embodiment is not limited to application when the user sequentially performs a pointing operation and a finger gesture, and may also be applied when the user performs a pointing operation and a finger gesture at the same time.
  • the information processing according to the present embodiment simultaneously detects the pointing operation and the finger gesture. Accordingly, another example of the information processing method applied in such a case will be described below with reference to FIG. FIG.
  • FIG. 10 is a flowchart illustrating another example of the information processing method according to the present embodiment. As shown in FIG. 10, the other information processing includes a plurality of steps from step S201 to step S217. Details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S201 The information processing apparatus 10 detects a pointing operation by the user and a finger gesture by the user's finger 84. That is, in step S201 of information processing according to the present embodiment, step S101 and step S113 shown in FIG. 9 are performed simultaneously.
  • Step S203 to Step S207 Steps S203 to S207 are the same as steps S103 to S107 shown in FIG. Therefore, detailed description of these steps is omitted here.
  • Step S209 The information processing apparatus 10 determines whether a finger gesture has been detected. The information processing apparatus 10 proceeds to step S211 to be described later when the finger gesture is detected, and returns to step S201 when the finger gesture is not detected.
  • Step S211 to Step S213 Steps S211 to S213 are the same as steps S115 to S117 shown in FIG. Therefore, detailed description of these steps is omitted here.
  • Step S215) The information processing apparatus 10 issues a command according to the pointing operation recognized in step S205 and the finger gesture recognized in step S211. Specifically, in step S215, a command is issued according to the combination of the recognition result of the pointing operation and the recognition result of the finger gesture.
  • Step S21-7 When the information processing apparatus 10 receives an instruction from the user to end the pointing operation and the detection of the finger gesture, the information processing apparatus 10 ends the information processing according to the present embodiment. On the other hand, when the information processing apparatus 10 has not received an instruction from the user to end the pointing operation and the detection of the finger gesture, the information processing apparatus 10 returns to step S201.
  • a combination of a pointing operation and a finger gesture is used as an input operation to the information processing apparatus 10, thereby enabling a user to perform an accurate and fine input operation. be able to.
  • the user can easily perform a desired input operation and can easily control the information processing apparatus 10, so that the convenience of the information processing apparatus 10 is improved.
  • the combination of the pointing operation and the finger gesture can be used to increase the types of commands that can be easily input by the user. The property can be further improved.
  • FIG. 11 is an explanatory diagram for explaining Example 1 according to the present embodiment. Specifically, a state in which a command assigned to a swipe operation by a tap operation is alternately changed like toggle switching is illustrated. Show.
  • the swipe operation refers to an operation in which the user moves the finger 82 while touching the touch panel display 12.
  • the information processing apparatus 10 when the information processing apparatus 10 detects a tap operation with the user's finger 84, the command assigned to the touch operation on the touch panel display 12 with the user's finger 82 is displayed. change. For example, if a screen scroll command is assigned to the swipe operation, the information processing apparatus 10 changes the command assigned to the touch operation to a command for enlarging or reducing the screen in response to detecting the tap operation. To do. When the information processing apparatus 10 detects a swipe operation in such a state, the information processing apparatus 10 issues a command for enlarging or reducing the screen.
  • the information processing apparatus 10 changes the command assigned to the swipe operation from a screen enlargement / reduction command to a screen scroll command.
  • the information processing apparatus 10 detects a swipe operation in such a state, the information processing apparatus 10 issues a command called screen scroll.
  • the user can change a command corresponding to one swipe operation only by performing a tap operation, so that the intended input can be performed without repeating detailed input operations. Operation can be performed easily and accurately. Further, in this embodiment, by combining with a finger tap operation, two commands can be assigned to one swipe operation, so the types of commands that the user can easily perform an input operation are selected. The convenience of the information processing apparatus 10 is further improved.
  • FIG. 12 is an explanatory diagram for explaining Example 2 according to the present embodiment, and in detail, shows the scroll speed of the screen according to the type of finger used for the finger tap operation.
  • the swipe operation is performed when it is detected that the tap operation has not been detected immediately before, and the swipe operation (pointing operation) for scrolling the screen is performed on the touch panel display 12.
  • the scrolling speed of the screen is set as the standard scrolling speed.
  • the information processing apparatus 10 detects the type of finger used for the tap operation when the tap operation is detected immediately before the detection of the swipe operation.
  • the screen scrolling speed by the swipe operation is changed to twice the standard scrolling speed. (Command change).
  • the screen scrolling speed by the swipe operation is set to three times the standard scrolling speed. change.
  • the user can change the scrolling speed simply by changing the type of the finger performing the tap operation, and thus the user intended without performing repeated detailed input operations.
  • the input operation can be performed easily and accurately.
  • the convenience of the information processing apparatus 10 can be improved.
  • the present invention is not limited to changing the scroll speed of the screen.
  • the enlargement ratio, reduction ratio, etc. of the screen may be changed.
  • the pointing operation and the finger gesture in FIG. 9 are exchanged, a command is issued based on the recognized finger gesture, and the command assigned to the finger gesture is changed by the recognized pointing operation. Also good. Therefore, an embodiment corresponding to such a case will be described below.
  • FIG. 13 is an explanatory diagram for explaining Example 3 according to the present embodiment, and specifically shows the touch panel display 12 of the information processing apparatus 10.
  • FIG. 14 is an explanatory diagram for explaining Example 3 according to the present embodiment, and specifically shows commands according to the type of finger used for the tap operation.
  • the screen of the touch panel display 12 of the information processing apparatus 10 such as a bracelet type terminal is small, and on such a screen, the pointer 92 is moved to a desired position by the finger touch operation of the finger 82. It is difficult to move finely.
  • a rough position on the touch panel display 12 of the pointer 92 is set by a touch operation with the finger 82, and then the pointer 92 can be finely moved to a desired position by a tap operation. Will be explained.
  • the information processing apparatus 10 detects a touch operation on the touch panel display 12 with the finger 82 and issues a command for displaying the pointer 92 at the contact position by the touch operation. Further, the information processing apparatus 10 issues a display command for displaying the above-described pointer 92 and sets each command for various tap operations. Specifically, as shown in FIG. 14, the information processing apparatus 10 assigns a command for moving the pointer 92 to the left of the screen by a predetermined minute amount with respect to the tap operation of the index finger and the thumb. To do. Furthermore, the information processing apparatus 10 assigns a command for moving the pointer 92 to the right of the screen by a predetermined minute amount for the tap operation of the middle finger and the thumb.
  • the information processing apparatus 10 When the information processing apparatus 10 detects a tap operation, the information processing apparatus 10 issues a command for moving the pointer 92 by a predetermined minute amount in a predetermined direction according to the type of finger used for the tap operation.
  • the user can move the pointer 92 to a desired position. That is, in this embodiment, the user simply and sequentially performs the touch operation and the tap operation, and easily and accurately moves the pointer 92 to the intended position without performing complicated input operations. Can be made.
  • the information processing apparatus 10 may assign a command for selecting the Space key 90a to the tap operation with the ring finger and the thumb. Further, the information processing apparatus 10 may assign a command for selecting the Enter key 90b to the tap operation of the little finger and the thumb. In this way, the user can not only move the pointer 92 to a desired position, but also can perform an input operation for easily selecting the Space key 90a and the like. Therefore, the user can easily and quickly perform an operation of specifying the character key 90 and confirming the input of the specified character in the input operation of inputting a character to the information processing apparatus 10.
  • a command for selecting a key in the lower area of the touch panel display 12 that is necessarily hidden by a finger is assigned to the tap operation, and a command for selecting a key in the upper area of the touch panel display 12 is touched. It may be considered as assigned to the operation.
  • the key associated with the tap action may indicate a display indicating the tap action available to the user, such as a finger icon corresponding to the tap action.
  • the present invention is not limited to the movement of the pointer 92 displayed on the touch panel display 12, but can be applied to the case of selecting an icon displayed on the touch panel display 12.
  • a different command is generated depending on the type of the finger 84 used for the finger gesture, for example, the relative position of each finger and the relative position of the icon or key associated with the command of each finger. Preferably they are the same. In this way, the user can perform an input operation intuitively.
  • the touch panel display 12 touches a finger 82 that is in a floating state without touching the operation surface, that is, a finger 82 that is close to the operation surface with a predetermined interval (proximity touch operation). Even in the case of detection as one type, this embodiment can be applied.
  • the fingertip touches the operation surface, and the position of the fingertip is not fixed by the contact, so that the fingertip easily moves to a position different from the user's intention. For example, consider a case where the user brings a finger 82 close to a desired position on the touch panel display 12 and selects an intended icon on the touch panel display 12 by the proximity.
  • the finger 82 is displaced from the desired position, and the selection of the intended icon is canceled. May have to be close to the desired position. Therefore, in order to avoid such a re-operation, when the user can recognize that the intended icon has been selected by bringing the finger 82 close to the desired position on the touch panel display 12, the user performs the tap operation. Do it quickly and fix the intended icon selection. Specifically, when a touch operation is performed on the touch panel display 12 with the finger 82, the information processing apparatus 10 recognizes the touch operation, and a pointer displayed on the touch panel display 12 based on the recognition. 92 is moved.
  • the information processing apparatus 10 recognizes that the tap operation has been performed, and fixes the position of the pointer 92 when the tap operation is recognized. That is, in the present embodiment, by using the tap operation in combination with the proximity touch operation as an input operation, the deviation from the touch position that occurs in the touch panel display 12 for the proximity touch operation can be eliminated, and the re-operation is performed. Can be avoided.
  • FIG. 15 is an explanatory diagram for explaining Example 4 according to the present embodiment, and specifically shows the touch panel display 12 of the information processing apparatus 10.
  • FIG. 16 is an explanatory diagram for explaining Example 4 according to the present embodiment, and in detail, shows control commands of the imaging apparatus according to the touch operation and the type of finger used in the finger gesture. ing.
  • parameters for controlling the imaging apparatus there are various parameters such as a zoom ratio, white balance, and F value.
  • these parameters are set accurately and easily by performing an input operation by combining a touch operation (pointing operation) and a tap operation (finger gesture).
  • pointing operation pointing operation
  • tap operation finger gesture
  • the above-described white balance is a parameter relating to color correction performed to obtain an image having a desired hue.
  • the F value described above is a numerical value obtained by dividing the predetermined distance of the lens by the effective aperture, and is an index indicating the brightness of the lens. For example, the smaller the F value, the brighter the lens.
  • a command corresponding to the icon 94 selected by the touch operation is tapped. Assign to an action. More specifically, when the icon 94 related to the zoom factor is selected by the touch operation, the information processing apparatus 10 assigns a command related to the adjustment of the zoom factor to a tap operation to be detected in the future. Further, when the white balance icon 94 is selected by the touch operation, the information processing apparatus 10 assigns a command related to white balance adjustment to the tap operation. Similarly, when the icon 94 related to the F value is selected by the touch operation, the information processing apparatus 10 assigns the tap operation to the command related to the adjustment of the F value.
  • the information processing apparatus 10 When the information processing apparatus 10 detects a tap action, it issues a command according to the type of finger used for the tap action. Specifically, as illustrated in FIG. 16, when the zoom factor icon 94 is selected by a touch operation, the information processing apparatus 10 increases the zoom factor with respect to the tap operation of the index finger and the thumb. Assign the command to be executed. In addition, the information processing apparatus 10 assigns a command for lowering the zoom rate to the tap operation with the middle finger and the thumb.
  • the information processing apparatus 10 assigns a command for increasing the color temperature to the tap operation with the index finger and the thumb. Further, the information processing apparatus 10 assigns a command for lowering the color temperature to the tap operation with the middle finger and the thumb.
  • the information processing apparatus 10 assigns a command for decreasing the F value and making it brighter for the tap operation of the index finger and the thumb.
  • the information processing apparatus 10 assigns a darkening command with a large F value to the tap operation with the middle finger and the thumb.
  • the user simply performs the touch operation and the tap operation in sequence, and the parameters for controlling the imaging device are set to desired numerical values without performing complicated input operations. It can be set easily and accurately.
  • the user since the user can quickly adjust the control parameters related to the imaging apparatus, it is possible to perform shooting instantaneously.
  • the touch operation on the touch panel display 12 is detected as the pointing operation.
  • the pointing operation is not limited to the touch operation.
  • the pointing operation may be voice input.
  • the zoom ratio icon 94 is selected by a touch operation when the user utters a voice “zoom rate” and inputs a voice to the information processing apparatus 10. Will be performed.
  • Example 5 which applied this embodiment to the map application which displays a map is demonstrated.
  • FIG. 17 is an explanatory diagram for explaining Example 5 according to the present embodiment. Specifically, a map screen 94 projected on the wall by a projector (not shown) provided in the information processing apparatus 10 is shown. Yes.
  • the user designates a desired location on the map screen 94 projected on the wall by touching with the finger 82 (pointing operation).
  • the information processing apparatus 10 recognizes the said touch operation with respect to the map screen 94 by the sensing result of the mounted infrared sensor (illustration omitted), and recognizes the location designated by the user.
  • the user performs a tap operation with the finger 84 simultaneously with the touch operation.
  • the information processing apparatus 10 recognizes the tap operation and issues a command for enlarging and displaying the displayed map with the location specified by the touch operation as the center.
  • the projector (not shown) mounted on the information processing apparatus 10 is controlled to enlarge and display the designated location as shown in the right diagram of FIG.
  • the user can easily perform the enlarged display of the map only by performing the touch operation and the tap operation at the same time. Therefore, the convenience of the map application installed in the information processing apparatus 10 is improved. Can be improved.
  • the user can designate a screen displayed on the touch panel display 12 of the information processing apparatus 10 by a touch operation, and can delete the screen selected by the tap operation. In this case, the user can then paste the deleted screen at the position specified by the touch operation by performing the touch operation and the tap operation.
  • the user selects one window by a touch operation and scrolls in the selected window by a tap operation. Is also possible.
  • the information processing apparatus 10 may issue a desired command by sequentially detecting a plurality of operations. For example, the user performs a touch operation with the finger 82 on the icon displayed on the touch panel display 12 of the information processing apparatus 10 and simultaneously performs a tap operation. Next, the user performs a flick operation (an operation for quickly sliding the finger 82) with the finger 82 on the icon. In such a case, the information processing apparatus 10 recognizes a series of touch operations, tap operations, and flick operations, and issues a command for deleting the target icon, for example.
  • FIG. 18 is an explanatory diagram for explaining Example 6 according to the present embodiment, and more specifically, shows commands corresponding to the types of finger gestures.
  • a plurality of icons (herein, icon A and icon B) are displayed on the touch panel display 12.
  • the screen of the touch panel display 12 is small, and it is difficult to select a small icon by a touch operation on the screen.
  • the icon displayed on the touch panel display 12 may not have a sufficient size compared to the size of the fingertip.
  • a touch operation is performed on the touch panel display 12 and an attempt is made to select an icon, a desired icon may not be selected due to, for example, simultaneously touching a plurality of icons with a fingertip. . Therefore, a description will be given below of a sixth embodiment in which the user can easily input and select an icon desired by the user by performing a finger gesture simultaneously with the touch operation.
  • the information processing apparatus 10 when the user performs a touch operation (pointing operation) with the finger 82, the information processing apparatus 10 recognizes the touch operation and issues a command for recognizing the type of finger gesture. . Further, the user performs a finger gesture with the finger 84 simultaneously with the touch operation. The information processing apparatus 10 recognizes the type of finger gesture and issues a command according to the recognized type. Specifically, as illustrated in FIG. 18, when the recognized finger gesture is a finger flick operation, the information processing apparatus 10 has been touched with respect to the icon A among the displayed icons. Then, the command related to the icon A is activated. When the recognized finger gesture is a finger snapping operation, the information processing apparatus 10 activates a command related to the icon B, assuming that the icon B is touched among the displayed icons. .
  • the command is not limited to issuing a command according to the type of finger gesture.
  • the command may be issued according to the number of recognized tap operations.
  • the information processing apparatus 10 recognizes the number of tap operations performed continuously, and when the number of tap operations is two, the information processing apparatus 10 displays an icon among the displayed icons. Assuming that a touch operation is performed on A, a command related to icon A is activated. When the recognized number of tap operations is three, the information processing apparatus 10 activates the command related to the icon B, assuming that the icon B is touched among the displayed icons. To do.
  • the touch operation is not limited to being performed on the touch panel display 12 of the information processing apparatus 10.
  • the touch operation is performed on the surface of the arm 80 of the user wearing the information processing apparatus 10. It may be done.
  • the touch panel display 12 may detect the difference in the number of fingers that touch the operation surface based on the contact area of the touch operation on the operation surface. For example, as shown in FIG. 19 which is an explanatory diagram illustrating an example of the touch operation according to the present embodiment, the touch panel display 12 may detect a touch operation with the fingertips of the two fingers 82 of the user. As described above, the touch panel display 12 detects the difference in the number of fingers in contact with the operation surface, thereby increasing variations of touch operations that can be detected by the touch panel display 12 and increasing types of commands that can be easily input. be able to.
  • the touch panel display 12 detects a touch operation by the user's two fingers 82, a command that is not normally used is executed, such as issuing a command for controlling the volume of the speaker 14 of the information processing apparatus 10. You may be able to do it.
  • the touch panel display 12 may detect a pressure applied from the user's finger 82 or may detect a difference in contact and proximity of the user's finger 82. This also increases the number of touch operations that can be detected by the touch panel display 12 and increases the types of commands that can be easily input.
  • the pointing operation is not limited to the touch operation, and may be an input operation by the user's line of sight, for example.
  • the user's line of sight stays on the icon displayed on the touch panel display 12 or the like at a predetermined time, an operation similar to that performed when the icon is touched is performed. .
  • the pointing operation is not limited to the touch operation, and may be a voice input, for example.
  • the information processing apparatus 10 starts a detailed analysis of the environmental sound collected by the microphone 16.
  • the microphone 16 collects the sound generated by the tap operation, and the gesture recognition unit 222 described above extracts and recognizes the sound generated by the tap operation having a predetermined frequency.
  • the device control unit 224 issues a command for starting the noise canceller function in order to increase the accuracy of the voice recognition.
  • the user can easily activate the desired function by combining the voice input and the tap operation.
  • an accurate and fine input operation by a user can be performed by using a combination of a pointing operation and a finger gesture as an input operation to the information processing apparatus 10.
  • a combination of a pointing operation and a finger gesture can be used to increase the types of commands that can be easily input by the user. The property can be further improved.
  • the information processing apparatus 10 is not limited to the bracelet-type terminal described above, and is mounted on a mobile terminal (including a motion controller terminal) carried by the user or a user's body.
  • a mobile terminal including a motion controller terminal
  • HMD Head Mounted Display
  • an ear device an anklet, a bracelet, a collar, a pad, shoes, clothes, a batch, etc.
  • the pointing operation described above may be an input operation based on the user's line of sight
  • the finger gesture described above is the user's swinging motion. May be.
  • the information processing apparatus 10 is an ear device
  • the above pointing operation may be an input operation by a user's voice
  • the above finger gesture is a tap operation of tapping the ear device with a finger. There may be.
  • the information processing apparatus 10 according to the present embodiment may not be a device that performs information processing in a stand-alone manner as described above.
  • the information processing apparatus 10 according to the present embodiment is applied to a system including a plurality of apparatuses based on connection to the network 70 (or communication between apparatuses) such as cloud computing. Also good. That is, the information processing apparatus 10 according to the present embodiment described above can also be realized as an information processing system that performs processing according to the information processing method according to the present embodiment using a plurality of apparatuses, for example. More specifically, as illustrated in FIG.
  • the information processing apparatus 10 includes a server 60 and a network.
  • a device connected via 70 may be used.
  • some functions of the main control unit 26 of the information processing apparatus 10 may be implemented by the server 60.
  • FIG. 21 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 900 according to the present embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the information processing apparatus 10 described above.
  • the information processing apparatus 900 includes, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input / output interface 958, and an operation input device 960.
  • the information processing apparatus 900 includes a display device 962, an audio output device 964, an audio input device 966, a communication interface 968, and a sensor 980.
  • the information processing apparatus 900 connects each component with a bus 970 as a data transmission path, for example.
  • the CPU 950 includes, for example, one or more processors configured by an arithmetic circuit such as a CPU, various processing circuits, and the like, and a control unit that controls the entire information processing apparatus 900 (for example, the main control unit 26 described above) ). Further, the CPU 950 functions in the information processing apparatus 900, for example, the above-described pointing recognition unit 220, gesture recognition unit 222, device control unit 224, and the like.
  • the ROM 952 stores programs used by the CPU 950, control data such as calculation parameters, and the like.
  • the RAM 954 temporarily stores a program executed by the CPU 950, for example.
  • the recording medium 956 functions as the storage unit 20 described above, and stores various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 956 include a magnetic recording medium such as a hard disk and a nonvolatile memory such as a flash memory. Further, the recording medium 956 may be detachable from the information processing apparatus 900.
  • the input / output interface 958 connects, for example, an operation input device 960, a display device 962, and the like.
  • Examples of the input / output interface 958 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
  • the operation input device 960 functions as, for example, the operation unit of the touch panel display 12 described above, is provided in the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the display device 962 functions as, for example, the display unit of the touch panel display 12 described above, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • Examples of the display device 962 include a liquid crystal display and an organic EL display (Organic Electro-Luminescence Display).
  • the audio output device 964 functions as the speaker 14 described above, for example, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the audio input device 966 functions as, for example, the microphone 16 described above, and is provided on the information processing apparatus 900, for example, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the input / output interface 958 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 900 or an external display device.
  • an operation input device for example, a keyboard or a mouse
  • the communication interface 968 functions as a communication unit for performing wireless or wired communication with an external device such as the server 60 via, for example, the network 70 described above (or directly).
  • examples of the communication interface 968 include a communication antenna and an RF (RADIO frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the sensor 980 functions as the motion sensor 18 described above. Further, the sensor 980 may include various sensors such as a pressure sensor.
  • the hardware configuration of the information processing apparatus 900 is not limited to the configuration shown in FIG.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the information processing apparatus 900 does not include the communication interface 968 when communicating with an external apparatus or the like via a connected external communication device, or when configured to perform stand-alone processing. Also good. Further, the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
  • the embodiment of the present disclosure described above may include, for example, a program for causing a computer to function as the information processing apparatus 10 according to the present embodiment, and a non-temporary tangible medium in which the program is recorded.
  • the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the information processing according to the above-described embodiment does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series.
  • the processing method of each step does not necessarily have to be processed according to the described method. For example, it may be processed by another function unit by another method.
  • a gesture recognition unit that recognizes a finger gesture by a finger of an arm wearing the device, a pointing recognition unit that recognizes a user's pointing operation, a recognition result by the gesture recognition unit, and a recognition result by the pointing recognition unit And a control unit that performs control in accordance with the information processing apparatus.
  • the information processing apparatus according to (1) further including a touch panel, wherein the pointing recognition unit recognizes an input operation with the user's finger on the touch panel.
  • the pointing recognition unit recognizes proximity of the user's finger to the touch panel.
  • the information processing apparatus according to any one of (1) to (7), wherein the gesture recognition unit recognizes the finger gesture based on a sensing result by a motion sensor.
  • the motion sensor includes at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor attached to the user.
  • the gesture recognition unit recognizes a type of a finger that has performed the finger gesture.
  • the gesture recognition unit recognizes a type of the finger gesture.
  • the information processing apparatus according to any one of (1) to (10), wherein the gesture recognition unit recognizes the number of times the finger gesture has been performed.
  • the control unit issues a command for information processing according to a recognition result by the gesture recognition unit and a recognition result by the pointing recognition unit, any of the above (1) to (13) The information processing apparatus according to one.
  • the recognition result by the gesture recognition unit and the recognition result by the pointing recognition unit are a first combination
  • the control unit issues a first command, and the recognition result by the gesture recognition unit;
  • the information processing apparatus according to (14) wherein when the recognition result by the pointing recognition unit is the second combination, a second command different from the first command is issued.
  • the information processing apparatus is any one of a mobile terminal carried by the user, a wearable terminal attached to the user's body, or an implant terminal inserted into the user's body (1)
  • the information processing apparatus according to any one of (15) to (15).
  • a gesture recognition unit that recognizes a finger gesture by a finger of an arm wearing the device, a pointing recognition unit that recognizes a user's pointing operation, a recognition result by the gesture recognition unit, and a pointing recognition unit A program that functions as a control unit that performs control according to a recognition result.
  • Information processing device 12 12a Touch panel display 14 Speaker 16 Microphone 18 Motion sensor 20 Storage unit 22 Main control unit 50 Ring type device 60 Server 70 Network 80 Arm 82, 84 Finger 90, 90a, 90b Key 92 Pointer 94 Icon 220 Pointing recognition unit 222 Gesture recognition unit 224 Device control unit 950 CPU 952 ROM 954 RAM 956 Recording medium 958 Input / output interface 960 Operation input device 962 Display device 964 Audio output device 966 Audio input device 968 Communication interface 970 Bus 980 Sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザのポインティング操作による、正確、且つ、細かな入力操作を可能にする情報処理装置を提供する。 【解決手段】デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、ユーザのポインティング操作を認識するポインティング認識部と、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、を備える、情報処理装置を提供する。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、腕時計のように腕に装着する形態のウェアラブル端末（以下、「腕輪型端末」と称する）が普及しつつある。このような腕輪型端末に対する入力操作は、主に腕輪型端末上に搭載されたタッチパネルに対して行われることが一般的である。また、最近では、上記腕輪型端末に音声による入力操作を受け付ける音声入力機能が搭載されている場合がある。さらに、例えば下記特許文献１に示されているように、上記腕輪型端末には、手の形状や向きで表現される態様や、手を動かす身体運動であるジェスチャによる入力操作を受け付けるジェスチャ認識機能を搭載することも可能である。
米国特許第９３４２１５３号明細書
　しかしながら、上記腕輪型端末に搭載されているタッチパネルは小型であることから、ユーザが、当該タッチパネルを指でタッチするポインティング操作によって、上記腕輪型端末に対して所望する入力操作を正確に行うことは難しい。また、上記腕輪型端末に搭載されている上記音声入力機能は、現状では、音声認識の精度が低い。従って、ユーザが、上記腕輪型端末に対して音声による入力操作を行っても、音声入力機能が当該音声を正確に認識することができず、上記腕輪型端末をユーザの所望するように制御できないこともある。さらに、上記特許文献１に開示されているような、上記腕輪型端末に搭載されているジェスチャ認識機能を用いて入力操作を行う場合でも、手によるジェスチャでは、上記タッチパネルに表示された小さなアイコンを細かく選択する等を行うことは難しい。従って、ユーザが、ジェスチャによる入力操作を用いて、上記腕輪型端末に対して細かく制御を行おうとしても、上記腕輪型端末をユーザが所望するように細かく制御することができないことがあり、すなわちジェスチャを用いた入力操作による制御にも限界がある。
　そこで、本開示では、ユーザのポインティング操作による、正確、且つ、細かな入力操作を可能にする情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、ユーザのポインティング操作を認識するポインティング認識部と、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、デバイスを装着した腕の指による指ジェスチャを認識することと、ユーザのポインティング操作を認識することと、前記指ジェスチャの認識結果と、前記ポインティング操作の認識結果とに応じた制御を行うことと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータを、デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、ユーザのポインティング操作を認識するポインティング認識部と、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、として機能させる、プログラムが提供される。
　以上説明したように本開示によれば、ユーザのポインティング操作による、正確、且つ、細かな入力操作を可能にする情報処理装置、情報処理方法、及びプログラムを提供することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置１０の外観を示す図である。 同実施形態に係る情報処理装置１０の装着状態を説明する図である。 同実施形態に係る情報処理装置１０の構成を示すブロック図である。 同実施形態におけるユーザのポインティング操作一例を示す説明図である。 同実施形態におけるユーザのポインティング操作の他の一例を示す説明図である。 同実施形態における指ジェスチャの一例を示す説明図である。 同実施形態における指ジェスチャの他の一例を示す説明図である。 同実施形態における指ジェスチャの更なる他の一例を示す説明図である。 同実施形態に係る情報処理方法の一例を説明するフロー図である。 同実施形態に係る情報処理方法の他の一例を説明するフロー図である。 同実施形態に係る実施例１を説明する説明図である。 同実施形態に係る実施例２を説明する説明図である。 同実施形態に係る実施例３を説明する説明図（その１）である。 同実施形態に係る実施例３を説明する説明図（その２）である。 同実施形態に係る実施例４を説明する説明図（その１）である。 同実施形態に係る実施例４を説明する説明図（その２）である。 同実施形態に係る実施例５を説明する説明図である。 同実施形態に係る実施例６を説明する説明図である。 同実施形態に係るタッチ操作の一例を示す説明図である。 本開示の一実施形態に係る情報処理装置１０の変形例を説明する説明図である。 本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示したブロック図である。 比較例に係る情報処理装置４０の入力操作を説明する説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態に係る情報処理装置１０の概要
　２．背景
　３．本開示の一実施形態に係る情報処理装置１０の構成
　４．本開示の一実施形態に係る情報処理方法
　５．実施例
　６．まとめ
　７．ハードウェア構成
　８．補足
　　＜＜１．本開示の一実施形態による情報処理装置１０の概要＞＞
　まず、本開示の一実施形態による情報処理装置１０の概要について図１及び図２を参照して説明する。図１は、本開示の一実施形態に係る情報処理装置１０の外観を示す図であり、図２は、本実施形態に係る情報処理装置１０の装着状態を説明する図である。
　図１及び図２に示すように、本実施形態に係る情報処理装置１０は、ユーザの腕８０や手首に装着されるウェアラブル端末であって、腕輪型／腕時計型端末とも称される。当該情報処理装置１０には、その外周面に、表示部及び操作部としての機能を有するタッチパネルディスプレイ１２と、音声出力機能を持するスピーカ１４と、収音機能を有するマイクロフォン１６とが設けられている。
　＜タッチパネルディスプレイ１２＞
　タッチパネルディスプレイ１２は、ユーザがタッチ操作しやすいように、例えば情報処理装置１０の外周面のうちの一部の領域に設けられている。ただし、本実施形態においては、これに限定されるものではなく、タッチパネルディスプレイ１２は、情報処理装置１０の外周面の全体に設けられていても良い。タッチパネルディスプレイ１２の表示部としての機能は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示画面装置により実現され、表示画面に文字、画像その他の情報を表示する。さらに、上記表示画面装置による文字、画像、その他の情報の表示は、後述する主制御部２６のデバイス制御部２６４によって制御される。
　また、タッチパネルディスプレイ１２の操作部としての機能は、例えば上述の表示画面装置に重畳され、ユーザの指によるタッチ操作の接触位置を検出する操作面により実現される。当該操作面は、ユーザの腕８０の外周方向に沿った曲面となることができる。
　なお、腕輪型端末である情報処理装置１０において様々な機能を実現するためには、タッチパネルディスプレイ１２の面積を大きくすることが望ましい。しかしながら、タッチパネルディスプレイ１２が、ユーザの腕８０の対して大きな面積を持つ場合には、腕輪型端末の装着性や操作性が低下することとなる。そのため、タッチパネルディスプレイ１２は、図２に示すように、ユーザの腕８０に沿うような形で幅の狭い曲面となっている。例えば、ユーザは、図２に示すように、自身の腕８０に装着した情報処理装置１０のタッチパネルディスプレイ１２による表示画面を見ながら、表示画面に重畳して設けられた操作面に対して当該情報処理装置１０が装着されていない腕の指８２でタッチ操作を行う。なお、以下の説明においては、当該情報処理装置１０が装着された腕８０の指を指８４と称し、図においては、左手の指として示されている。また、以下の説明においては、当該情報処理装置１０が装着されていない腕の指を指８２と称し、図においては、右手の指として示されている。なお、以下に説明する実施形態においては、当該情報処理装置１０は、左腕に装着されるものに限定されるものではなく、右腕に装着されていてもよい。
　＜スピーカ１４及びマイクロフォン１６＞
　スピーカ１４は、音声出力機能を有し、図１及び図２に示すように、情報処理装置１０の外周面において、タッチパネルディスプレイ１２の近傍に設けられるスピーカにより実現され、ユーザに対して音声等を出力することができる。また、マイクロフォン１６は、例えば、情報処理装置１０の周囲の環境音等を収音する収音機能を有し、図１及び図２に示すように、情報処理装置１０の外周面において、タッチパネルディスプレイ１２の近傍に設けられるマイクロフォンにより実現される。なお、図１に示すスピーカ１４と、マイクロフォン１６との設置個数及び位置はあくまでも一例であって、本実施形態はこれに限定されるものではなく、例えばスピーカ１４、マイクロフォン１６を情報処理装置１０の外周面に複数個設けてもよい。
　　＜＜２．背景＞＞
　ところで、上述のような腕輪型端末である情報処理装置１０は、ユーザに装着され、ユーザによるタッチパネルディスプレイ１２に対するタッチ操作を認識し、認識結果に基づいて当該情報処理装置１０で行われる情報処理のためのコマンドを発行する。しかしながら、上述したように、上記情報処理装置１０に搭載されているタッチパネルディスプレイ１２の操作面は、腕輪型端末の装着性を確保するために、小型になっている。従って、ユーザが、当該タッチパネルディスプレイ１２に対してタッチ操作して、情報処理装置１０に対して所望する入力操作を正確に行うことは難しい。また、視認性の観点から、当該タッチパネルディスプレイ１２に一度に表示することができる、入力操作用のアイコンの数にも制限がある。従って、ユーザが、短い時間の間に、当該タッチパネルディスプレイ１２に対してタッチ操作して、情報処理装置１０に対して細かな入力操作を行うことにも限界がある。
　ここで、例えば、図２２を参照して、ユーザが、情報処理装置４０のタッチパネルディスプレイ１２ａに表示された文字入力キー９０に対して入力操作する場合を検討する。図２２は、比較例に係る情報処理装置４０の入力操作を説明する説明図である。図２２に示すように、ユーザが、上記情報処理装置４０のタッチパネルディスプレイ１２ａに示された複数のキー９０に対して入力操作を行おうとした場合、各キー９０が指８２の指先に比べて小さいことから、ユーザが所望する入力操作を正確に行うことは難しい。より具体的には、ユーザが図２２に示されるような、指８２の指先に比べて小さなキー９０に対してタッチ操作を行った場合、意図せず、所望しないキー９０にもユーザの指先が接触してしまうことがある。このような場合、タッチパネルディスプレイ１２ａは、複数のキー９０に対して入力操作されたものとして認識し、ユーザが意図しない入力操作を受け付けることとなる。また、指先によりキー９０全体が隠れてしまうことから、ユーザは視認により指先が接触する箇所を確認しながらタッチ操作を行うことができないため、ユーザの誤操作を招きやすくなる。
　上述のような場合、上記タッチパネルディスプレイ１２ａに、タッチ操作の接触位置（指先）から少しずらして（オフセット）して、キー９０と同等の大きさを持つポインタ９２を表示させることが考えられる。当該ポインタ９２は、タッチパネルディスプレイ１２ａがユーザのタッチ操作の接触位置として認識する位置を示す。従って、ユーザはタッチ操作によりキー９０と同等の大きさを持つポインタ９２を移動させながらキー９０を指定する入力操作を行うことになり、ポインタ９２によって一度に複数のキー９０を指定することができないため、ユーザの誤操作を避けることができる。さらに、ポインタ９２をオフセット表示することにより、ユーザが視認によりポインタ９２の位置を把握しながら、キー９０の指定を行うことができることから、ユーザは正確にキー９０に対して入力操作を行うことができる。
　しかしながら、上述のようなポインタ９２を用いた場合であっても、ユーザが、上述のタッチ操作により指定したキー９０の入力を確定させる「確定操作」を素早く行うことは難しい。このような状況に対して、ユーザが、接触していた指先をタッチパネルディスプレイ１２ａから離すリリース操作を行うことにより、指定したキー９０の入力を確定させることが考えられる。すなわち、上記情報処理装置４０において、上記リリース操作を確定操作として認識するようにするのである。しかし、リリース操作に確定操作を対応付けることは、思考上なじみにくい。詳細には、タッチパネルディスプレイ１２ａから指先を離す動作は、指先とタッチパネルディスプレイ１２ａとの間の相対的位置関係の変化により、消去等のコマンドの方が直感的に想起しやすく、消去等のコマンドの対極に位置する確定のコマンドを想起し難い。その結果、ユーザが、上記情報処理装置４０において確定操作としてリリース操作が設定されていることを直感的に把握することは難しく、ユーザによる誤った操作を誘発する原因となる。また、このようなリリース操作を「確定操作」とした場合には、タッチ操作を開始してリリース操作するまでに間に指定されたキー９０が入力されて、当該入力が確定するという流れとなり、先に指定したキー９０を「確定操作」前にキャンセルすることが難しい。すなわち、上記情報処理装置４０において確定操作としてリリース操作を設定することは、操作性の観点から好ましいものではない。
　そこで、本発明者は、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示では、正確、且つ、細かな入力操作を行うことに限界のあるタッチ操作に対して、ユーザの指による指ジェスチャによる操作を組み合わせることで、上記限界を解消する実施形態を提案する。すなわち、本開示の実施形態によれば、上述のような正確な入力操作が難しい情報処理装置において、ユーザのポインティング操作による、正確、且つ細かな入力を可能にすることができる。
　なお、以下の説明においては、ポインティング操作とは、画面等に表示されるポインタやカーソル、アイコン、キー等をユーザの手等で操作することを意味し、さらには、音声を用いて、上記カーソル、アイコンを操作することも含む。また、以下の説明においては、指ジェスチャは、上記情報処理装置１０が装着されたユーザの指８２による形状や向きで表現される態様や、当該指８２を動かす動作のことを意味する。
　　＜＜３．本開示の一実施形態に係る情報処理装置１０の構成＞＞
　以下に、本開示の一実施形態に係る情報処理装置１０の基本構成を、図３から図８を参照して説明する。図３は、本実施形態に係る情報処理装置１０の基本構成を示すブロック図である。図４及び図５は、本実施形態におけるユーザのポインティング操作の一例を示す説明図である。さらに、図６から図８は、本実施形態における指ジェスチャの一例を示す説明図である。
　本実施形態に係る情報処理装置１０は、先に説明したように、ユーザの腕８０や手首に装着されるウェアラブル端末である。図３に示すように、情報処理装置１０は、タッチパネルディスプレイ１２、スピーカ１４、マイクロフォン１６、モーションセンサ１８、記憶部２０、及び、主制御部２２を主に有する。以下に、本実施形態に係る情報処理装置１０の各ブロックについて説明する。
　＜タッチパネルディスプレイ１２＞
　タッチパネルディスプレイ１２は、先に説明したように、情報処理装置１０の外周面に設けられ、表示部および操作部の機能を有する。操作部としてのタッチパネルディスプレイ１２は、タッチパネルディスプレイ１２上のタッチ操作の接触位置を検出する。より具体的には、ユーザがタッチパネルディスプレイ１２にタッチ操作すると、タッチパネルディスプレイ１２は、当該タッチ操作を感知し、当該タッチ操作の接触位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。操作部としてのタッチパネルディスプレイ１２は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に対応することができる。
　また、本実施形態においては、タッチパネルディスプレイ１２は、ユーザの指８２によるタッチ操作の位置を検出するものに限定されるものではなく、ユーザの有するスタイラスペン等のポインティングデバイスによるタッチ操作の位置を検出してもよい。さらに、本実施形態においては、タッチパネルディスプレイ１２は、図４の左側に示すように、ユーザの指８２の接触によるタッチ操作を検出するものに限定されるものではない。例えば、タッチパネルディスプレイ１２は、図４の右側に示すように、タッチパネルディスプレイ１２に対して所定の間隔を持って近接しているユーザの指８２をタッチ操作の１種として検出してもよい。この場合、例えば、タッチパネルディスプレイ１２の周囲に図示しないセンサを設けることにより、タッチパネルディスプレイ１２は、当該センサの検出結果を利用して、ユーザの指８２の近接を検出することができる。また、タッチパネルディスプレイ１２は、タッチパネルディスプレイ１２に重畳して設けられた圧力センサによって、ユーザの指８２から印加される圧力を検出してもよい。
　また、本実施形態においては、情報処理装置１０は、上述のようなタッチパネルディスプレイ１２に対するユーザのポインティング操作を検出することに限定されるものではなく、以下に説明するような、上述した操作以外のポインティング操作を検出してもよい。例えば、図５に示すように、情報処理装置１０を装着したユーザの腕８０をタッチパネルディスプレイ１２の操作面の一部として用いてもよい。ユーザは、情報処理装置１０を装着したユーザの腕８０の表面に対してユーザの指８２を接触させることにより、入力操作を行うことができる。この場合、例えば、ユーザの腕８０の表面に対して接触させる指８２に指輪型デバイス５０を装着してもよい。具体的には、当該指輪型デバイス５０から所定の信号を送信し、情報処理装置１０は、ユーザの腕８０を介して当該信号が受信することにより、ユーザの指８２が接触した接触位置と情報処理装置１０との相対的位置関係を検出することができる。
　また、例えば、情報処理装置１０に図示しないプロジェクタを設け、情報処理装置１０は、当該プロジェクタによって実空間に投影された仮想オブジェクト（例えば、壁に投影された画面）に対するユーザのポインティング操作（例えば、ユーザの手で指し示す等）を検出してもよい。この場合、例えば、ユーザのポインティング操作は、撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いてユーザを撮像する、情報処理装置１０、又は、ユーザの周囲に設けられた撮像装置（図示省略）によって検出されてもよい。もしくは、上記ポインティング操作は、情報処理装置１０、又は、ユーザの周囲に設けられた赤外線センサ、超音波センサ等（図示省略）によって検出されてもよい。さらに、例えば、情報処理装置１０は、ユーザの視線によるポインティング操作を検出してもよい。この場合、例えば、上述したような撮像装置により、情報処理装置１０のタッチパネルディスプレイ１２上の表示に対する、もしくは、上述のプロジェクタによって実空間に投影された仮想オブジェクトに対する、ユーザの視線の動き（眼球運動）を検出する。
　＜スピーカ１４＞
　スピーカ１４は、先に説明したように、情報処理装置１０の外周面に設けられ、音声（オーディオ信号）を出力する機能を有する。例えば、スピーカ１４は、アラーム等によりユーザへの通知を行ったり、通話中は受話音声を出力したりする。
　＜マイクロフォン１６＞
　マイクロフォン１６は、先に説明したように、情報処理装置１０の外周面に設けられ、音声（オーディオ信号）を入力する機能を有する。例えば、マイクロフォン１６は、ユーザによる音声入力を受け付けたり、通話中はユーザの発話音声を収音したりする。さらには、マイクロフォン１６は、ユーザの指８２による指ジェスチャで生じる特定の周波数の音を収音してもよい。
　＜モーションセンサ１８＞
　モーションセンサ１８は、情報処理装置１０に設けられ、情報処理装置１０が装着されたユーザの指８２の動作（指ジェスチャ）を検出するセンサである。モーションセンサ１８は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ等の空間的な動きや角度を検出する、１つ又は複数のセンサデバイスにより実現される。モーションセンサ１８によって得られた１つ又は複数のセンシング結果は、後述する主制御部２２に出力され、当該主制御部２２において、ユーザの指８２による指ジェスチャの種類や、指ジェスチャに用いた指の種類等を認識する際に用いられる。
　＜記憶部２０＞
　記憶部２０は、情報処理装置１０に設けられ、後述する主制御部２２が各種処理を実行するためのプログラム等を記憶する。例えば、記憶部２０は、後述するデバイス制御部２２４が、コマンドを発行するためのプログラムを格納する。なお、記憶部２０は、例えば、ハードディスク（Ｈａｒｄ　Ｄｉｓｋ：ＨＤ）などの磁気記録媒体や、フラッシュメモリ（ｆｌａｓｈ　ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ　ｍｅｍｏｒｙ）等により実現される。
　＜主制御部２２＞
　主制御部２２は、情報処理装置１０に設けられ、情報処理装置１０の各ブロックを制御することができる。当該主制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のハードウェアにより実現される。また、当該主制御部２２は、ポインティング認識部２２０、ジェスチャ認識部２２２、及びデバイス制御部２６４として機能することもできる。以下に、本実施形態に係る主制御部２２のこれら機能の詳細について説明する。
　（ポインティング認識部２２０）
　ポインティング認識部２２０は、ユーザのポインティング操作を認識する。詳細には、ポインティング認識部２２０は、先に説明したように、タッチパネルディスプレイ１２が生成した電気信号に基づき、ユーザの指８２やユーザの有するポインティングデバイスによるタッチパネルディスプレイ１２上の接触位置やその軌跡を認識する。さらに、本実施形態においては、ポインティング認識部２２０は、タッチパネルディスプレイ１２に周囲に設けられたセンサ（図示省略）によるセンシング結果を用いて、ユーザの指８２のタッチパネルディスプレイ１２に対する接触及び近接を認識してもよい。また、ポインティング認識部２２０は、タッチパネルディスプレイ１２に重畳された圧力センサ（図示省略）のセンシング結果を用いて、ユーザの指８２からタッチパネルディスプレイ１２へ印加される圧力を認識してもよい。
　さらに、ポインティング認識部２２０は、先に説明したような、ユーザの腕８０の表面に対するユーザのポインティング操作、実空間に投影された仮想オブジェクトに対するユーザのポインティング操作、ユーザの視線によるポインティング操作を認識してもよい。また、ポインティング認識部２２０は、上述のマイクロフォン１６を介してユーザの音声による入力操作を認識してもよい。
　（ジェスチャ認識部２２２）
　ジェスチャ認識部２２２は、本実施形態に係る情報処理装置１０を装着した腕８０の指８４による指ジェスチャを認識する。詳細には、ジェスチャ認識部２２２は、モーションセンサ１８によって得られた１つ又は複数のセンシング結果に対して、所定のアルゴリズムを適用することにより、ユーザが行った指ジェスチャを認識することができる。一例としては、ジェスチャ認識部２２２は、モーションセンサ１８によって得られたセンシング結果のパターンを、教師データ（既知の指ジェスチャで得られるパターン）とマッチングすることにより、指ジェスチャの種類を認識することができる。
　例えば、ジェスチャ認識部２２２は、指先同士をタッピングするタップ動作、指先をはじくフィンガーフリック動作、指を鳴らすように動かすフィンガースナップ動作等の指８４による指ジェスチャの種類を検出することができる。例えば、以下の説明においては、タップ動作は、図６に示すように、情報処理装置１０を装着した腕８０の２本の指８４の指先を接触させて、次いで離す動作にことをいう。なお、図６においては、親指と人差し指とを用いたタップ動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指を用いたタップ動作であってもよい。また、フィンガーフリック動作は、図７に示すように、情報処理装置１０を装着した腕８０の中指８４を親指８４で押さえつけた後、当該中指８４を当該親指８４の押さえから開放してはじく動作のことをいう。すなわち、当該フィンガーフリック動作は、ビー玉やおはじき等をはじく際に行われる指の動作である。なお、図７においては、親指と中指とを用いたフィンガーフリック動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指とを用いたフィンガーフリック動作であってもよい。さらに、フィンガースナップ動作は、図８に示すように、情報処理装置１０を装着した腕８０の親指８４と中指８４とをこすり付け、次いで中指８４を親指８４の付け根に打ち当てる動作である。すなわち、フィンガースナップ動作は、指を鳴らす際に行われる指の動作である。なお、図８においては、親指と中指とを用いたフィンガースナップ動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指とを用いたフィンガースナップ動作であってもよい。さらに、本実施形態においては、ジェスチャ認識部２２２が認識する指ジェスチャの種類は上述の３つの動作に限定されるものではなく、指８４を用いて行われる指ジェスチャであれば特に限定されるものではない。
　また、ジェスチャ認識部２２２は、指ジェスチャの種類を認識するだけに限られず、指ジェスチャの行われた回数、指ジェスチャを行った指８４がいずれの指（親指、人差し指、中指、薬指、小指）であったか等の指の種類を認識することもできる。
　さらに、ジェスチャ認識部２２２は、マイクロフォン１６に収音された環境音を解析し、ユーザの指８２による指ジェスチャで生じる特定の周波数の音を抽出し、指ジェスチャの実行や、指ジェスチャの行われた回数を認識してもよい。
　（デバイス制御部２２４）
　デバイス制御部２２４は、上述したポインティング認識部の認識結果と、ジェスチャ認識部の認識結果とに応じて、情報処理装置１０に設けられた各種デバイスが所定の処理を行うためのコマンドを発行し、上記各種のデバイスを制御する。具体的には、デバイス制御部２２４は、ジェスチャ認識部の認識結果に応じて、各種ポインティング操作にアサインされたコマンドを変更し、ポインティング認識部の認識結果に応じて、上述のようにアサインされたコマンドを発行する。また、デバイス制御部２２４は、ポインティング認識部の認識結果に応じて、各種指ジェスチャ操作にアサインされたコマンドを変更し、ジェスチャ認識部の認識結果に応じて、上述のようにアサインされたコマンドを発行してもよい。また、例えば、デバイス制御部２２４は、スピーカ１４といった各種デバイスの音量調節や、タッチパネルディスプレイ１２上の表示に対するスクロール、選択、決定、キャンセル、拡大、縮小等の制御を行うためのコマンドを発行する。
　　＜＜４．本開示の一実施形態に係る情報処理方法＞＞
　以上、本実施形態による情報処理装置１０の構成について詳細に説明した。次に、本開示の一実施形態に係る情報処理方法について説明する。当該情報処理方法の大まかな流れとしては、当該情報処理装置１０は、ユーザによるポインティング操作を認識し、指８４による指ジェスチャを認識し、指ジェスチャの認識結果とポインティング操作の認識結果とに応じて、情報処理のためのコマンドを発行する。以下に、本実施形態における情報処理方法について、図９を参照して説明する。図９は、本実施形態に係る情報処理方法の一例を説明するフロー図である。図９に示すように、本実施形態に係る情報処理方法には、ステップＳ１０１からステップＳ１１９までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　（ステップＳ１０１）
　情報処理装置１０は、ポインティング操作の検出を行う。例えば、情報処理装置１０は、ユーザの指８２によるタッチパネルディスプレイ１２に対するタッチ操作の検出を行う。
　（ステップＳ１０３）
　情報処理装置１０は、ポインティング操作を検出したか否か判断する。例えば、情報処理装置１０は、ユーザの指８２によるタッチパネルディスプレイ１２に対するタッチ操作を検出したか否かを判断する。情報処理装置１０は、ポインティング操作を検出した場合には後述するステップＳ１０５へ進み、ポインティング操作を検出していない場合には後述するステップＳ１１３へ進む。
　（ステップＳ１０５）
　情報処理装置１０は、上述のステップで検出されたポインティング操作の内容の認識を行う。例えば、情報処理装置１０は、タッチパネルディスプレイ１２上に表示されたアイコンに対するユーザの指８２によるタッチ操作を認識する。
　（ステップＳ１０７）
　情報処理装置１０は、上述のステップＳ１０５において、所定のポインティング操作を認識したか否か判断する。情報処理装置１０は、所定のポインティング操作を認識した場合には後述するステップＳ１０９へ進み、所定のポインティング操作を認識していない場合には、上記ステップＳ１０１へ戻る。
　（ステップＳ１０９）
　情報処理装置１０は、認識されたポインティング操作に応じて、当該ポインティング操作に対応するコマンドを発行する。例えば、情報処理装置１０は、ユーザの指８２によってタッチ操作されたアイコンに対応する情報処理のコマンド（例えば、情報処理装置１０に搭載された撮像装置を起動するコマンド）を発行する。
　（ステップＳ１１１）
　情報処理装置１０は、ユーザからポインティング操作の検出を終了する旨の指示（例えば、情報処理装置１０の起動停止の指示）を受け付けた場合には、本実施形態に係る情報処理を終了する。一方、情報処理装置１０は、ユーザからポインティング操作の検出を終了する旨の指示を受け付けていない場合には、上記ステップＳ１０１へ戻る。すなわち、ユーザからの指示がない限り、本実施形態に係る情報処理は繰り返し実施されることとなる。例えば、本実施形態に係る情報処理は、情報処理装置１０のバックグラウンド処理の１つとして、繰り返し実施されることとなる。
　（ステップＳ１１３）
　情報処理装置１０は、ユーザの指８４による指ジェスチャの検出を行う。例えば、情報処理装置１０は、モーションセンサ１８を起動させ、ユーザの指８４による指ジェスチャの検出を行う。
　（ステップＳ１１５）
　情報処理装置１０は、上述のステップで検出された指ジェスチャの内容の認識を行う。例えば、情報処理装置１０は、モーションセンサ１８のセンシング結果に基づいて、ユーザの指８４によるタップ動作を認識する。
　（ステップＳ１１７）
　情報処理装置１０は、上述のステップＳ１１５で所定の指ジェスチャを認識したか否か判断する。情報処理装置１０は、所定の指ジェスチャを認識した場合には後述するステップＳ１１７へ進み、所定の指ジェスチャを認識していない場合には、上記ステップＳ１０１へ戻る。
　（ステップＳ１１９）
　情報処理装置１０は、認識された指ジェスチャに応じて、ポインティング操作にアサインされたコマンドを変更する。例えば、情報処理装置１０は、スワイプ操作（ポインティング操作）にアサインされたコマンドを、画面のスクロールから画面の拡大に変更する。さらに、情報処理装置１０は、コマンドを変更した後に、上述のステップＳ１０１へ戻る。
　なお、本実施形態に係る情報処理では、図９において、ポインティング操作と指ジェスチャとを入れ替えて、認識した指ジェスチャに基づいてコマンドを発行し、認識したポインティング操作により、指ジェスチャにアサインされたコマンドを変更してもよい。また、本実施形態に係る情報処理においては、コマンドの変更に限定されるものではなく、ポインティング操作と指ジェスチャとの認識結果に応じて、情報処理の制御のやり方を変更したり、設定したりするものであれば、特に限定されるものではない。例えば、本実施形態に係る情報処理においては、コマンドの設定や、コマンドのアサインの変更と同時にコマンドを発行してもよい。
　なお、図９に示す本実施形態に係る情報処理のフローは、ユーザが、ポインティング操作と指ジェスチャとを順次行う場合を想定した処理であり、すなわち、ポインティング操作の検出と指ジェスチャの検出とを同時に行わない場合の情報処理を示している。しかしながら、本実施形態は、ユーザが、ポインティング操作と指ジェスチャとを順次行う場合の適用に限定されるものではなく、ユーザがポインティング操作と指ジェスチャとを同時に行う場合にも適用されてもよい。この場合、本実施形態に係る情報処理は、ポインティング操作の検出と指ジェスチャの検出とを同時に行うこととなる。そこで、図１０を参照して、このような場合に適用される情報処理方法の他の一例を以下に説明する。図１０は、本実施形態に係る情報処理方法の他の一例を説明するフロー図である。図１０に示すように、他の情報処理には、ステップＳ２０１からステップＳ２１７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　（ステップＳ２０１）
　情報処理装置１０は、ユーザによるポインティング操作とユーザの指８４による指ジェスチャとの検出を行う。すなわち、本実施形態に係る情報処理のステップＳ２０１においては、図９に示されるステップＳ１０１及びステップＳ１１３を同時に行うこととなる。
　（ステップＳ２０３～ステップＳ２０７）
　ステップＳ２０３からステップＳ２０７は、図９に示されるステップＳ１０３からステップＳ１０７と同じである。従って、ここでは、これらステップの詳細な説明を省略する。
　（ステップＳ２０９）
　情報処理装置１０は、指ジェスチャを検出したか否か判断する。情報処理装置１０は、指ジェスチャを検出した場合には後述するステップＳ２１１へ進み、指ジェスチャを検出していない場合には、上記ステップＳ２０１へ戻る。
　（ステップＳ２１１～ステップＳ２１３）
　ステップＳ２１１からステップＳ２１３は、図９に示されるステップＳ１１５からステップＳ１１７と同じである。従って、ここでは、これらステップの詳細な説明を省略する。
　（ステップＳ２１５）
　情報処理装置１０は、ステップＳ２０５で認識されたポインティング操作とステップＳ２１１で認識された指ジェスチャとに応じて、コマンドを発行する。詳細には、当該ステップＳ２１５においては、ポインティング操作の認識結果と指ジェスチャの認識結果との組み合わせに応じて、コマンドを発行する。
　（ステップＳ２１７）
　情報処理装置１０は、ユーザからポインティング操作及び指ジェスチャの検出を終了する旨の指示を受け付けた場合には、本実施形態に係る情報処理を終了する。一方、情報処理装置１０は、ユーザからポインティング操作及び指ジェスチャの検出を終了する旨の指示を受け付けていない場合には、上記ステップＳ２０１へ戻る。
　以上のように、本実施形態によれば、情報処理装置１０への入力操作として、ポインティング操作と指ジェスチャとを組み合わせて用いることにより、ユーザによる、正確、且つ、細かな入力操作を可能にすることができる。その結果、ユーザは、所望の入力操作を容易に行うことができ、さらには情報処理装置１０を容易に制御することができることから、情報処理装置１０の利便性が向上する。また、本実施形態によれば、ポインティング操作と指ジェスチャとを組み合わせて用いることにより、ユーザが容易に入力操作を行うことが可能なコマンドの種類を増やすことができることから、情報処理装置１０の利便性をさらに向上させることができる。
　　＜＜５．実施例＞＞
　以上、本実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本実施形態に係る情報処理の一例についてより具体的に説明する。なお、以下に示す実施例は、本実施形態に係る情報処理のあくまでも一例であって、本実施形態に係る情報処理が下記の例に限定されるものではない。
　まずは、図９に示すような、ユーザが、ポインティング操作と指ジェスチャとを順次行う場合を想定した場合の情報処理の実施例を説明する。
　＜実施例１＞
　まず、図１１を参照して、タップ動作（指ジェスチャ）によりスワイプ操作（ポインティング操作）にアサインされたコマンドを変更する実施例１を説明する。図１１は、本実施形態に係る実施例１を説明する説明図であって、詳細には、タップ動作によりスワイプ操作にアサインされたコマンドが、トグル切替のように、交互に変更される状態を示している。ここで、スワイプ操作とは、ユーザが、指８２をタッチパネルディスプレイ１２に触れた状態で移動させる操作のことをいう。
　詳細には、図１１に示すように、情報処理装置１０により、ユーザの指８４によるタップ動作が検出された場合には、ユーザの指８２による、タッチパネルディスプレイ１２に対するタッチ操作にアサインされたコマンドを変更する。例えば、情報処理装置１０は、スワイプ操作に画面スクロールというコマンドがアサインされていた場合には、タップ動作を検出したことに応じて、タッチ操作にアサインするコマンドを画面の拡大、縮小というコマンドに変更する。情報処理装置１０は、このような状態でスワイプ操作を検出した場合には、画面の拡大、縮小というコマンドを発行することとなる。次に、情報処理装置１０は、タップ動作を検出した場合には、スワイプ操作にアサインするコマンドを、画面の拡大、縮小から画面スクロールというコマンドに変更する。情報処理装置１０は、このような状態でスワイプ操作を検出した場合には、画面スクロールというコマンドを発行することとなる。
　このように、本実施例においては、ユーザは、タップ動作を行うだけで、１つのスワイプ操作に対応するコマンドを変更することができることから、細かい入力操作を重ねて行うことなしに、意図した入力操作を容易に、且つ、正確に行うことができる。また、本実施例においては、指タップ動作と組み合わせることにより、１つのスワイプ操作に対して２つのコマンドをアサインすることができるため、ユーザが容易に入力操作を行うことが可能なコマンドの種類を増やし、情報処理装置１０の利便性をさらに向上させる。
　＜実施例２＞
　次に、図１２を参照して、タップ動作（指ジェスチャ）に用いた指の種類に応じて画面のスクロール速度を変更する実施例２を説明する。図１２は、本実施形態に係る実施例２を説明する説明図であって、詳細には、指タップ動作に用いた指の種類に応じた画面のスクロール速度を示している。
　本実施例においては、直前にタップ動作を検出していない場合であって、タッチパネルディスプレイ１２に対して画面をスクロールするスワイプ操作（ポインティング操作）が行われたことが検出された際の、スワイプ操作による画面のスクロール速度を標準のスクロール速度としている。そして、本実施例においては、情報処理装置１０は、上記スワイプ操作の検出の直前にタップ動作が検出された場合には、タップ動作に用いられた指の種類を検出する。情報処理装置１０は、人差し指と親指とによるタップ動作であることを検出した場合には、図１２に示すように、スワイプ操作による画面のスクロール速度を標準のスクロール速度の２倍の速度に変更する（コマンドの変更）。また、情報処理装置１０は、中指と親指とによるタップ動作であることを検出した場合には、図１２に示すように、スワイプ操作による画面のスクロール速度を標準のスクロール速度の３倍の速度に変更する。
　このように、本実施例においては、ユーザは、タップ動作を行う指の種類を変えるだけで、スクロール速度を容易に変更することができることから、細かい入力操作を重ねて行うことなしに、意図した入力操作を容易に、且つ、正確に行うことができる。その結果、本実施例によれば、情報処理装置１０の利便性を向上させることができる。
　なお、本実施例においては、画面のスクロール速度を変更するだけに限定されるものではなく、例えば、画面の拡大率、縮小率等を変更してもよい。
　ところで、本実施形態においては、図９においてポインティング操作と指ジェスチャとを入れ替えて、認識した指ジェスチャに基づいてコマンドを発行し、認識したポインティング操作により、指ジェスチャにアサインされたコマンドを変更してもよい。そこで、以下に、このような場合に対応する実施例を説明する。
　＜実施例３＞
　図１３及び図１４を参照して、タッチ操作（ポインティング操作）とタップ動作（指ジェスチャ）とを組み合わせてポインタ９２を所望の位置に移動させる実施例３を説明する。図１３は、本実施形態に係る実施例３を説明する説明図であって、詳細には、情報処理装置１０のタッチパネルディスプレイ１２を示している。また、図１４は、本実施形態に係る実施例３を説明する説明図であって、詳細には、タップ動作に用いた指の種類に応じたコマンドを示している。
　図１３に示すように、腕輪型端末等である情報処理装置１０のタッチパネルディスプレイ１２の画面は小型であり、このような画面上においては、指８２の指タッチ操作によってポインタ９２を所望の位置に細かく動かすことは難しい。そこで、以下に、指８２によるタッチ操作によって、ポインタ９２のタッチパネルディスプレイ１２上の大まかな位置を設定し、次いでタップ動作によって、ポインタ９２を所望の位置にまで細かく移動させることができる、実施例３を説明する。
　詳細には、情報処理装置１０は、指８２によるタッチパネルディスプレイ１２に対するタッチ操作を検出し、当該タッチ操作による接触位置にポインタ９２を表示するコマンドを発行する。さらに、情報処理装置１０は、上述のポインタ９２を表示する表示コマンドを発行するとともに、各種タップ動作に各コマンドを設定する。具体的には、情報処理装置１０は、図１４に示すように、人差し指と親指とのタップ動作に対しては、ポインタ９２を所定の微小量分だけ、画面の左方向へ移動させるコマンドをアサインする。さらに、情報処理装置１０は、中指と親指とのタップ動作に対しては、ポインタ９２を所定の微小量分だけ、画面の右方向へ移動させるコマンドをアサインする。そして、情報処理装置１０は、タップ動作を検出した場合には、タップ動作に用いた指の種類に応じて、ポインタ９２を所定の微小量分だけ所定の方向に移動させるコマンドを発行する。このようにして、本実施例においては、ユーザは、ポインタ９２を所望の位置にまで移動させることができる。すなわち、本実施例においては、ユーザは、タッチ操作とタップ動作とを順次行うだけで、複雑な入力操作を重ねて行うことなしに、意図した位置にポインタ９２を容易に、且つ、正確に移動させることができる。
　さらに、本実施例においては、情報処理装置１０は、図１４に示すように、薬指と親指とのタップ動作に対しては、Ｓｐａｃｅキー９０ａを選択するコマンドをアサインしてもよい。また、情報処理装置１０は、小指と親指とのタップ動作に対しては、Ｅｎｔｅｒキー９０ｂを選択するコマンドにアサインしてもよい。このようにすることで、ユーザは、ポインタ９２を所望の位置に移動させるだけでなく、Ｓｐａｃｅキー９０ａ等を容易に選択する入力操作が可能になる。従って、ユーザは、情報処理装置１０に対する文字を入力する入力操作において、文字キー９０を指定し、指定した文字の入力を確定する操作を容易に、素早く行うことができる。すなわち、本実施例では、指によって必然的に隠れてしまうタッチパネルディスプレイ１２の下方領域のキーを選択するコマンドがタップ動作に対してアサインされ、タッチパネルディスプレイ１２の上方領域のキーを選択するコマンドがタッチ操作に対してアサインされるものと見做されても良い。なお、タップ動作に関連付けられたキーには、タップ動作に応じた指のアイコン等、ユーザが利用可能なタップ動作を示す表示を示しても良い。
　なお、本実施例においては、タッチパネルディスプレイ１２に表示されたポインタ９２の移動に限定されるものではなく、タッチパネルディスプレイ１２に表示されたアイコンを選択する場合にも適用することができる。また、指ジェスチャに用いられた指８４の種類に応じて異なるコマンドを発生させる場合には、例えば、各指の相対位置と、各指のコマンドに紐づけられたアイコンやキーの相対位置とが同じであることが好ましい。このようにすることで、ユーザは直感的に入力操作することが可能となる。
　また、タッチパネルディスプレイ１２が、操作面に接触することなく、浮いた状態にある指８２、すなわち操作面に対して所定の間隔を持って近接している指８２（近接タッチ操作）をタッチ操作の１種として検出する場合であっても、本実施例を適用することができる。詳細には、上述のようなタッチパネルディスプレイ１２においては、指先が操作面に触れて、指先の位置が当該接触により固定されることがないため、指先がユーザの意図と異なる位置に移動しやすい。例えば、ユーザは、指８２をタッチパネルディスプレイ１２上の所望の位置に近接させて、当該近接により、タッチパネルディスプレイ１２上の意図したアイコンを選択した場合を考える。この場合、ユーザが所望のアイコンを選択したと認識しても、次の瞬間では、指８２は所望の位置からずれて、意図したアイコンの選択が解消してしまい、ユーザは、再度、指８２を所望の位置に近接させなくてはならないことがある。そこで、このような再操作を避けるために、ユーザが指８２をタッチパネルディスプレイ１２上の所望の位置に近接させて、意図したアイコンを選択できたと認識できた場合には、ユーザは、タップ動作を素早く行い、意図したアイコンの選択を固定する。詳細には、指８２によってタッチパネルディスプレイ１２に対してタッチ操作を行われた場合には、情報処理装置１０は、上記タッチ操作を認識し、当該認識に基づいて、タッチパネルディスプレイ１２に表示されたポインタ９２を移動させる。次いで、ユーザが、指８４によってタップ動作を行った場合には、情報処理装置１０は、タップ動作が行われたことを認識し、当該タップ動作を認識した時点のポインタ９２の位置を固定する。すなわち、本実施例においては、近接タッチ操作に、タップ動作を組み合わせて入力操作として用いることにより、近接タッチ操作用のタッチパネルディスプレイ１２において生じる、タッチ位置からのずれを解消することができ、再操作を避けることができる。
　＜実施例４＞
　次に、図１５及び図１６を参照して、情報処理装置１０に搭載された撮像装置（図示省略）を制御する実施例４を説明する。図１５は、本実施形態に係る実施例４を説明する説明図であって、詳細には、情報処理装置１０のタッチパネルディスプレイ１２を示している。図１６は、本実施形態に係る実施例４を説明する説明図であって、詳細には、タッチ操作と指ジェスチャで用いられた指の種類とに応じた、上記撮像装置の制御コマンドを示している。
　上記撮像装置を制御するパラメータとしては、例えば、ズーム率、ホワイトバランス、Ｆ値等、様々なパラメータが存在する。このような複数のパラメータを設定するために、情報処理装置１０のタッチパネルディスプレイ１２に対して入力操作を行うことは煩雑であり、正確に入力することも難しい。そこで、本実施例においては、タッチ操作（ポインティング操作）とタップ動作（指ジェスチャ）とを組み合わせて入力操作を行うことにより、正確に、且つ、容易にこれらパラメータを設定する。なお、上述のホワイトバランスとは、所望する色合いの画像を得るために行う色補正に係るパラメータである。また、上述のＦ値とは、レンズの所定距離を有効口径で割った数値であり、レンズの明るさを示す指標である。例えば、Ｆ値が小さいほどレンズは明るくなる。
　本実施例においては、情報処理装置１０により、図１５に示すようなタッチパネルディスプレイ１２上のアイコン９４に対するタッチ操作が検出された場合には、タッチ操作により選択されたアイコン９４に対応するコマンドをタップ動作にアサインする。より具体的には、情報処理装置１０は、タッチ操作によりズーム率に係るアイコン９４が選択されていた場合には、今後検出するタップ動作に対してズーム率の調整に係るコマンドをアサインする。また、情報処理装置１０は、タッチ操作によりホワイトバランスに係るアイコン９４が選択されていた場合には、タップ動作に対してホワイトバランスの調整に係るコマンドにアサインする。同様に、情報処理装置１０は、タッチ操作によりＦ値に係るアイコン９４が選択されていた場合には、タップ動作をＦ値の調整に係るコマンドにアサインする。
　そして、情報処理装置１０がタップ動作を検出した場合には、タップ動作に用いた指の種類に応じて、コマンドを発行する。具体的には、図１６に示すように、タッチ操作によりズーム率のアイコン９４が選択されていた場合には、情報処理装置１０は、人差し指と親指とのタップ動作に対してはズーム率を高くするコマンドをアサインする。また、情報処理装置１０は、中指と親指とのタップ動作に対してはズーム率を低くするコマンドをアサインする。
　また、タッチ操作によりホワイトバランスのアイコン９４が選択されていた場合には、情報処理装置１０は、人差し指と親指とのタップ動作に対しては色温度を高くするコマンドをアサインする。さらに、情報処理装置１０は、中指と親指とのタップ動作に対しては色温度を低くするコマンドをアサインする。同様に、タッチ操作によりＦ値のアイコン９４が選択されていた場合には、情報処理装置１０は、人差し指と親指とのタップ動作に対してはＦ値を小さくして明るくするコマンドをアサインする。さらに、情報処理装置１０は、中指と親指とのタップ動作に対してはＦ値を大きくした暗くするコマンドをアサインする。
　このように、本実施例においては、ユーザは、タッチ操作とタップ動作とを順次行うだけで、複雑な入力操作を重ねて行うことなしに、撮像装置を制御するパラメータを、所望の数値に、容易に、且つ、正確に設定することができる。例えば、本実施例によれば、ユーザは素早く撮像装置に係る制御パラメータを調整することができることから、瞬時に撮影を行うことが可能となる。
　なお、上述の説明においては、タッチパネルディスプレイ１２に対するタッチ操作をポインティング操作として検出していたが、本実施例においては、ポインティング操作はタッチ操作であることに限定されるものではない。例えば、本実施例においては、ポインティング操作は、音声入力であってもよい。この場合、本実施例においては、ユーザが「ズーム率」との音声を発して情報処理装置１０に対して音声入力を行うことにより、タッチ操作によりズーム率のアイコン９４が選択された場合と同様の動作を行うこととなる。
　次に、図１０に示すような、ユーザが、ポインティング操作と指ジェスチャとを同時に行う場合を想定した場合の情報処理の実施例を説明する。
　＜実施例５＞
　まず、図１７を参照して、本実施形態を、地図を表示する地図アプリに適用した実施例５を説明する。図１７は、本実施形態に係る実施例５を説明する説明図であって、詳細には、情報処理装置１０に設けられたプロジェクタ（図示省略）によって壁に投影された地図画面９４を示している。
　本実施例においては、図１７の左図に示されるように、ユーザは、壁に投影された地図画面９４上の所望の箇所を、指８２によりタッチ操作（ポインティング操作）して指定する。そして、情報処理装置１０は、搭載された赤外線センサ（図示省略）のセンシング結果により、地図画面９４に対する上記タッチ操作を認識し、ユーザにより指定された箇所を認識する。さらに、ユーザは、タッチ操作と同時に、指８４によってタップ動作を行う。情報処理装置１０は、上記タップ動作を認識し、上記タッチ操作によって指定された箇所を中心として、表示された地図を拡大表示するコマンドを発行する。その結果、情報処理装置１０に搭載されたプロジェクタ（図示省略）は、図１７の右図で示されるように、指定した箇所を拡大表示するように制御される。
　このように、本実施例においては、ユーザは、タッチ動作とタップ動作とを同時に行うだけで、地図の拡大表示を容易に行うことができることから、情報処理装置１０に搭載された地図アプリの利便性を向上させることができる。
　なお、本実施例においては、上述したような地図表示の拡大表示等に限定されるものではない。本実施例においては、例えば、ユーザは、タッチ操作により、情報処理装置１０のタッチパネルディスプレイ１２に表示された画面を指定し、タップ動作により選択した画面の削除を行うことも可能である。この場合、次いで、ユーザがタッチ操作とタップ動作とを行うことにより、タッチ操作により指定された位置に、削除した画面の貼り付けを行うことも可能である。また、本実施例においては、複数のウィンドウがタッチパネルディスプレイ１２に表示されている場合には、ユーザは、タッチ操作により１つのウィンドウを選択し、タップ動作によって、選択したウィンドウでのスクロールを行うことも可能である。
　さらに、本実施例においては、情報処理装置１０は、複数の動作を順次検出することにより、所望のコマンドを発行するようにしてもよい。例えば、ユーザが、情報処理装置１０のタッチパネルディスプレイ１２に表示されたアイコンに対して指８２でタッチ操作を行い、同時にタップ動作を行う。次いで、ユーザがアイコンに対して指８２でフリック操作（指８２を素早くスライドさせる操作）を行う。このような場合、情報処理装置１０は、一連のタッチ操作、タップ動作、及びフリック操作を認識し、例えば、対象のアイコンを消去させるコマンドを発行する。
　＜実施例６＞
　次に、図１８を参照して、指ジェスチャの種類に応じてコマンドを発行する実施例６を説明する。図１８は、本実施形態に係る実施例６を説明する説明図であって、詳細には、指ジェスチャの種類の応じたコマンドを示している。
　本実施例においては、タッチパネルディスプレイ１２上に複数のアイコン（ここでは、アイコンＡ、アイコンＢとする）が表示されているとする。先に説明したように、タッチパネルディスプレイ１２の画面は小型であり、当該画面上でタッチ操作によって小さなアイコンを選択することは難しい。具体的には、タッチパネルディスプレイ１２上に表示されたアイコンは、指先の大きさに比べて十分な大きさを持っていないことがある。このような場合、タッチパネルディスプレイ１２に対してタッチ操作を行い、アイコンを選択しようとしても、指先で複数のアイコンに同時にタッチ操作してしまう等により、所望するアイコンを選択することができないことがある。そこで、以下に、ユーザがタッチ操作と同時に指ジェスチャを行うことにより、ユーザの所望するアイコンの選択入力を容易に行うことができる実施例６を説明する。
　本実施例においては、ユーザが、指８２によりタッチ操作（ポインティング操作）が行われた場合には、情報処理装置１０は、上記タッチ操作を認識し、指ジェスチャの種類を認識するコマンドを発行する。さらに、ユーザは、上記タッチ操作と同時に、指８４によって指ジェスチャを行う。そして、情報処理装置１０は、指ジェスチャの種類を認識し、認識した種類に応じてコマンドを発行する。具体的には、図１８に示すように、認識された指ジェスチャがフィンガーフリック動作であった場合には、情報処理装置１０は、表示されたアイコンのうちアイコンＡに対してタッチ操作されたものとして、アイコンＡに係るコマンドを起動する。また、認識された指ジェスチャがフィンガースナップ動作であった場合には、情報処理装置１０は、表示されたアイコンのうちアイコンＢに対してタッチ操作されたものとして、アイコンＢに係るコマンドを起動する。
　このように、本実施例においては、タッチパネルディスプレイ１２に表示されたアイコンをタッチ操作で選択する際に、指ジェスチャを組み合わせて認識させることにより、ユーザは、所望したアイコンの選択を正確に情報処理装置１０に入力することができる。
　なお、本実施例においては、指ジェスチャの種類に応じたコマンドを発行に限定されるものではなく、例えば、認識したタップ動作の回数に応じてコマンドを発行してもよい。例えば、情報処理装置１０は、連続して行われた上記タップ動作の回数を認識し、タップ動作の回数が２回であった場合には、情報処理装置１０は、表示されたアイコンのうちアイコンＡに対してタッチ操作されたものとして、アイコンＡに係るコマンドを起動する。また、認識されたタップ動作の回数が３回であった場合には、情報処理装置１０は、表示されたアイコンのうちアイコンＢに対してタッチ操作されたものとして、アイコンＢに係るコマンドを起動する。
　なお、上述した実施例においては、タッチ操作は、情報処理装置１０のタッチパネルディスプレイ１２に行われることに限定されるものではなく、例えば、情報処理装置１０を装着したユーザの腕８０の表面に対して行われてもよい。
　また、タッチパネルディスプレイ１２は、その操作面におけるタッチ操作の接触面積に基づいて、当該操作面に接触する指の本数の違いを検出してもよい。例えば、本実施形態に係るタッチ操作の一例を示す説明図である図１９に示すように、タッチパネルディスプレイ１２は、ユーザの２本の指８２の指先によるタッチ操作を検出してもよい。このように、タッチパネルディスプレイ１２が操作面に接触する指の本数の違いを検出するようにすることで、タッチパネルディスプレイ１２によって検出できるタッチ操作のバリエーションが増え、容易に入力操作できるコマンドの種類を増やすことができる。例えば、タッチパネルディスプレイ１２がユーザの２本の指８２によるタッチ操作を検出した場合には、情報処理装置１０のスピーカ１４の音量のボリュームを制御するコマンドを発行する等、通常あまり使用しないコマンドを実施できるようにしてもよい。また、タッチパネルディスプレイ１２は、ユーザの指８２から印加される圧力を検出してもよく、ユーザの指８２の接触及び近接の違いを検出してもよい。このようにすることでも、タッチパネルディスプレイ１２によって検出できるタッチ操作のバリエーションが増え、容易に入力操作できるコマンドの種類を増やすことができる。
　また、上述した実施例においては、ポインティング操作は、タッチ操作に限定されるものではなく、例えば、ユーザの視線による入力操作であってもよい。この場合、これら実施例においては、ユーザの視線が所定の時間に、タッチパネルディスプレイ１２等に表示されたアイコンに留まることにより、当該アイコンに対してタッチ操作した場合と同様の動作を行うこととなる。
　＜実施例７＞
　さらに、上述した実施例においては、ポインティング操作は、タッチ操作に限定されるものではなく、例えば、音声入力であってもよい。例えば、環境音の音声認識を起動するようにユーザから音声入力が行われた場合には、情報処理装置１０は、マイクロフォン１６で収音された環境音の詳細解析を開始する。次いで、ユーザがタップ動作を行った場合には、マイクロフォン１６は当該タップ動作により発生した音を収音し、上述のジェスチャ認識部２２２は、所定の周波数を持つタップ動作による音を抽出、認識する。そして、タップ動作による音を認識したことに応じて、デバイス制御部２２４は、音声認識の精度を高めるためにノイズキャンセラ機能を起動するコマンドを発行する。
　このように、本実施例においては、ユーザは、音声入力とタップ動作とを組み合わせることにより、ユーザは、所望した機能の起動を容易に行うことができる。
　　＜＜６．まとめ＞＞
　以上説明したように、本開示の実施形態によれば、情報処理装置１０への入力操作として、ポインティング操作と指ジェスチャとを組み合わせて用いることにより、ユーザによる、正確、且つ、細かな入力操作を可能にすることができる。その結果、ユーザは、所望の入力操作を容易に行うことができ、さらには情報処理装置１０を容易に制御することができることから、情報処理装置１０の利便性が向上する。また、本実施形態によれば、ポインティング操作と指ジェスチャとを組み合わせて用いることにより、ユーザが容易に入力操作を行うことが可能なコマンドの種類を増やすことができることから、情報処理装置１０の利便性をさらに向上させることができる。
　なお、本実施形態に係る情報処理装置１０は、先に説明した腕輪型端末であることに限定されるものではなく、ユーザが携帯するモバイル端末（モーションコントローラ端末も含む）、ユーザの身体に装着されたウェアラブル端末、又は、ユーザの身体に挿入されたインプラント端末であることができる。また、ウェアラブル端末としては、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）、イヤーデバイス、アンクレット、腕輪、首輪、パッド、靴、服、バッチ等を挙げることができる。より具体的には、情報処理装置１０は、ＨＭＤである場合には、上述のポインティング操作は、ユーザの視線による入力操作であってもよく、上述の指ジェスチャは、ユーザの首振り動作であってもよい。また、情報処理装置１０がイヤーデバイスである場合には、上述のポインティング操作は、ユーザの音声による入力操作であってもよく、上述の指ジェスチャは、当該イヤーデバイスを指でタップするタップ動作であってもよい。
　また、本実施形態に係る情報処理装置１０は、上述の説明のようなスタンドアローンで情報処理を行う装置でなくてもよい。例えば、本実施形態に係る情報処理装置１０は、例えばクラウドコンピューティング等のように、ネットワーク７０への接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置１０は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。より具体的には、本開示の一実施形態に係る情報処理装置１０の変形例を説明する説明図である図２０に示すように、本実施形態に係る情報処理装置１０は、サーバ６０とネットワーク７０を介して接続された装置であってもよい。この場合、情報処理装置１０の主制御部２６の一部機能はサーバ６０で実施されてもよい。
　　＜＜７．ハードウェア構成＞＞
　図２１は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図２１では、情報処理装置９００は、上述の情報処理装置１０のハードウェア構成の一例を示している。情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８と、操作入力デバイス９６０とを有する。さらに、情報処理装置９００は、表示デバイス９６２と、音声出力デバイス９６４と、音声入力デバイス９６６と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。
　（ＣＰＵ９５０）
　ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１または２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する制御部（例えば、上述の主制御部２６）として機能する。また、ＣＰＵ９５０は、情報処理装置９００において、例えば、上述のポインティング認識部２２０、ジェスチャ認識部２２２、及びデバイス制御部２２４等の機能を果たす。
　（ＲＯＭ９５２及びＲＡＭ９５４）
　ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。
　（記録媒体９５６）
　記録媒体９５６は、上述の記憶部２０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。
　（入出力インタフェース９５８、操作入力デバイス９６０、表示デバイス９６２、音声出力デバイス９６４、及び音声入力デバイス９６６）
　入出力インタフェース９５８は、例えば、操作入力デバイス９６０や、表示デバイス９６２等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。
　操作入力デバイス９６０は、例えば上述のタッチパネルディスプレイ１２の操作部として機能し、情報処理装置９００に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。
　表示デバイス９６２は、例えば上述のタッチパネルディスプレイ１２の表示部として機能し、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等が挙げられる。
　音声出力デバイス９６４は、例えば上述のスピーカ１４として機能し、例えば、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。音声入力デバイス９６６は、例えば上述のマイクロフォン１６として機能し、例えば、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。
　なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
　（通信インタフェース９６８）
　通信インタフェース９６８は、例えば上述のネットワーク７０を介して（あるいは、直接的に）、サーバ６０等の外部装置と、無線または有線で通信を行うための通信部として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナ及びＲＦ（ＲＡＤＩＯ　ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）等が挙げられる。
　（センサ９８０）
　センサ９８０は、上述のモーションセンサ１８として機能する。さらに、センサ９８０は、圧力センサ等の各種のセンサを含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図２１に示す構成に限られない。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１または２以上の外部装置と通信を行うことが可能な構成を有していてもよい。
　　＜＜８．補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置１０として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した実施形態に係る情報処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、ユーザのポインティング操作を認識するポインティング認識部と、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、を備える、情報処理装置。
（２）タッチパネルをさらに備え、前記ポインティング認識部は、前記タッチパネルに対する前記ユーザの指による入力操作を認識する、上記（１）に記載の情報処理装置。
（３）前記ポインティング認識部は、前記ユーザの指の前記タッチパネルに対する近接を認識する、上記（２）に記載の情報処理装置。
（４）前記ポインティング認識部は、前記ユーザの腕の表面に対する前記ユーザの指による入力操作を認識する、上記（１）に記載の情報処理装置。
（５）前記ポインティング認識部は、前記ユーザの有するポインティングデバイスによる入力操作を認識する、上記（１）に記載の情報処理装置。
（６）前記ポインティング認識部は、前記ユーザの視線による入力操作を認識する、上記（１）に記載の情報処理装置。
（７）前記ポインティング認識部は、前記ユーザの音声による入力操作を認識する、上記（１）に記載の情報処理装置。
（８）前記ジェスチャ認識部は、収音デバイスによって収音された前記指ジェスチャによって生じた音に基づき、前記指ジェスチャを認識する、上記（１）～（７）のいずれか１つに記載の情報処理装置。
（９）前記ジェスチャ認識部は、モーションセンサによるセンシング結果に基づき、前記指ジェスチャを認識する、上記（１）～（７）のいずれか１つに記載の情報処理装置。
（１０）前記モーションセンサは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、及び、地磁気センサのうちの少なくとも１つを含む、上記（９）に記載の情報処理装置。
（１１）前記ジェスチャ認識部は、前記指ジェスチャを行った指の種類を認識する、上記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）前記ジェスチャ認識部は、前記指ジェスチャの種類を認識する、上記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１３）前記ジェスチャ認識部は、前記指ジェスチャを行った回数を認識する、上記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１４）前記制御部は、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じて、情報処理のためのコマンドを発行する、上記（１）～（１３）のいずれか１つに記載の情報処理装置。
（１５）前記制御部は、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果が第１の組み合わせである場合、第１のコマンドを発行し、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果が第２の組み合わせである場合、前記第１のコマンドとは異なる第２のコマンドを発行する、上記（１４）に記載の情報処理装置。
（１６）前記情報処理装置は、前記ユーザが携帯するモバイル端末、前記ユーザの身体に装着されたウェアラブル端末、又は、前記ユーザの身体に挿入されたインプラント端末のいずれかである、上記（１）～（１５）のいずれか１つに記載の情報処理装置。
（１７）デバイスを装着した腕の指による指ジェスチャを認識することと、ユーザのポインティング操作を認識することと、前記指ジェスチャの認識結果と、前記ポインティング操作の認識結果とに応じた制御を行うことと、を含む、情報処理方法。
（１８）コンピュータを、デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、ユーザのポインティング操作を認識するポインティング認識部と、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、として機能させる、プログラム。
　　１０、４０、９００　　情報処理装置
　　１２、１２ａ　　タッチパネルディスプレイ
　　１４　　スピーカ
　　１６　　マイクロフォン
　　１８　　モーションセンサ
　　２０　　記憶部
　　２２　　主制御部
　　５０　　指輪型デバイス
　　６０　　サーバ
　　７０　　ネットワーク
　　８０　　腕
　　８２、８４　　指
　　９０、９０ａ、９０ｂ　　キー
　　９２　　ポインタ
　　９４　　アイコン
　　２２０　　ポインティング認識部
　　２２２　　ジェスチャ認識部
　　２２４　　デバイス制御部
　　９５０　　ＣＰＵ
　　９５２　　ＲＯＭ
　　９５４　　ＲＡＭ
　　９５６　　記録媒体
　　９５８　　入出力インタフェース
　　９６０　　操作入力デバイス
　　９６２　　表示デバイス
　　９６４　　音声出力デバイス
　　９６６　　音声入力デバイス
　　９６８　　通信インタフェース
　　９７０　　バス
　　９８０　　センサ

Claims (18)

  1. 　デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、
    　ユーザのポインティング操作を認識するポインティング認識部と、
    　前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、
    を備える、情報処理装置。
  2. 　タッチパネルをさらに備え、
    　前記ポインティング認識部は、前記タッチパネルに対する前記ユーザの指による入力操作を認識する、請求項１に記載の情報処理装置。
  3. 　前記ポインティング認識部は、前記ユーザの指の前記タッチパネルに対する近接を認識する、請求項２に記載の情報処理装置。
  4. 　前記ポインティング認識部は、前記ユーザの腕の表面に対する前記ユーザの指による入力操作を認識する、請求項１に記載の情報処理装置。
  5. 　前記ポインティング認識部は、前記ユーザの有するポインティングデバイスによる入力操作を認識する、請求項１に記載の情報処理装置。
  6. 　前記ポインティング認識部は、前記ユーザの視線による入力操作を認識する、請求項１に記載の情報処理装置。
  7. 　前記ポインティング認識部は、前記ユーザの音声による入力操作を認識する、請求項１に記載の情報処理装置。
  8. 　前記ジェスチャ認識部は、収音デバイスによって収音された前記指ジェスチャによって生じた音に基づき、前記指ジェスチャを認識する、請求項１に記載の情報処理装置。
  9. 　前記ジェスチャ認識部は、モーションセンサによるセンシング結果に基づき、前記指ジェスチャを認識する、請求項１に記載の情報処理装置。
  10. 　前記モーションセンサは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、及び、地磁気センサのうちの少なくとも１つを含む、請求項９に記載の情報処理装置。
  11. 　前記ジェスチャ認識部は、前記指ジェスチャを行った指の種類を認識する、請求項１に記載の情報処理装置。
  12. 　前記ジェスチャ認識部は、前記指ジェスチャの種類を認識する、請求項１に記載の情報処理装置。
  13. 　前記ジェスチャ認識部は、前記指ジェスチャを行った回数を認識する、請求項１に記載の情報処理装置。
  14. 　前記制御部は、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じて、情報処理のためのコマンドを発行する、請求項１に記載の情報処理装置。
  15. 　前記制御部は、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果が第１の組み合わせである場合、第１のコマンドを発行し、前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果が第２の組み合わせである場合、前記第１のコマンドとは異なる第２のコマンドを発行する、請求項１４に記載の情報処理装置。
  16. 　前記情報処理装置は、前記ユーザが携帯するモバイル端末、前記ユーザの身体に装着されたウェアラブル端末、又は、前記ユーザの身体に挿入されたインプラント端末のいずれかである、請求項１に記載の情報処理装置。
  17. 　デバイスを装着した腕の指による指ジェスチャを認識することと、
    　ユーザのポインティング操作を認識することと、
    　前記指ジェスチャの認識結果と、前記ポインティング操作の認識結果とに応じた制御を行うことと、
    を含む、情報処理方法。
  18. 　コンピュータを、
    　デバイスを装着した腕の指による指ジェスチャを認識するジェスチャ認識部と、
    　ユーザのポインティング操作を認識するポインティング認識部と、
    　前記ジェスチャ認識部による認識結果と、前記ポインティング認識部による認識結果とに応じた制御を行う制御部と、
    　として機能させる、プログラム。
PCT/JP2017/037818 2017-01-12 2017-10-19 情報処理装置、情報処理方法、及びプログラム WO2018131245A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-003422 2017-01-12
JP2017003422 2017-01-12

Publications (1)

Publication Number Publication Date
WO2018131245A1 true WO2018131245A1 (ja) 2018-07-19

Family

ID=62840118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/037818 WO2018131245A1 (ja) 2017-01-12 2017-10-19 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2018131245A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200952A (ja) * 2014-04-04 2015-11-12 株式会社日本総合研究所 秘密情報入力システム及びプログラム
WO2016076376A1 (ja) * 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
JP2016115310A (ja) * 2014-12-18 2016-06-23 セイコーエプソン株式会社 電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200952A (ja) * 2014-04-04 2015-11-12 株式会社日本総合研究所 秘密情報入力システム及びプログラム
WO2016076376A1 (ja) * 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
JP2016115310A (ja) * 2014-12-18 2016-06-23 セイコーエプソン株式会社 電子機器

Similar Documents

Publication Publication Date Title
US12056339B2 (en) Device, method, and graphical user interface for providing and interacting with a virtual drawing aid
US10545584B2 (en) Virtual/augmented reality input device
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US10444908B2 (en) Virtual touchpads for wearable and portable devices
US9733752B2 (en) Mobile terminal and control method thereof
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
EP3090331B1 (en) Systems with techniques for user interface control
WO2016107257A1 (zh) 可穿戴设备的屏幕的显示方法及可穿戴设备
JP5721662B2 (ja) 入力受付方法、入力受付プログラム、及び入力装置
US20220261066A1 (en) Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2010137400A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2010277198A (ja) 情報処理装置、情報処理方法およびプログラム
EP2575007A1 (en) Scaling of gesture based input
US10754446B2 (en) Information processing apparatus and information processing method
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
JP2010102395A (ja) 画像処理装置、画像処理方法およびプログラム
KR20160078160A (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
WO2018131245A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018074055A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018055708A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP