WO2018131251A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018131251A1
WO2018131251A1 PCT/JP2017/038271 JP2017038271W WO2018131251A1 WO 2018131251 A1 WO2018131251 A1 WO 2018131251A1 JP 2017038271 W JP2017038271 W JP 2017038271W WO 2018131251 A1 WO2018131251 A1 WO 2018131251A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
gesture
processing apparatus
recognition
Prior art date
Application number
PCT/JP2017/038271
Other languages
English (en)
French (fr)
Inventor
宏之 水沼
山野 郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/468,466 priority Critical patent/US11209908B2/en
Publication of WO2018131251A1 publication Critical patent/WO2018131251A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • bracelet-type terminals mobile terminals (hereinafter referred to as “bangle-type terminals”) that are worn on the wrist like a wristwatch are becoming widespread.
  • operation input to such a bracelet type terminal is mainly performed on a touch panel provided on the terminal.
  • some bracelet-type terminals recognize gestures such as “hold” and “release” when the bracelet-type terminal is worn on the wrist, as shown in Patent Document 1 below, for example.
  • bracelet-type terminals that can accept recognition results as input commands.
  • Gesture recognition as described above is performed by detecting the movement of a bracelet-type terminal using a motion sensor such as an acceleration sensor or a gyro sensor, and using a gesture recognition algorithm to determine which gesture the user is performing. Recognize whether this is a gesture. Recently, it is possible to develop an advanced recognition algorithm using machine learning or the like, and by using such a recognition algorithm, the recognition accuracy is increased so as to accurately recognize a gesture.
  • a motion sensor such as an acceleration sensor or a gyro sensor
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of further improving the gesture recognition accuracy.
  • the recognition setting of the gesture recognition unit is changed based on the recognition result of the context recognition unit that recognizes the context related to the user, the gesture recognition unit that recognizes the user's gesture, and the context recognition unit.
  • an information processing apparatus including a setting change unit.
  • the recognition setting in the gesture recognition is changed based on the recognition result of the context related to the user, the recognition of the user's gesture, and the recognition result of the context related to the user. And an information processing method is provided.
  • the gesture recognition unit based on the recognition result of the context recognition unit for recognizing the context relating to the user, the gesture recognition unit for recognizing the user gesture, and the context recognition unit.
  • a program that functions as a setting change unit that changes the recognition setting.
  • FIG. 1 is a diagram illustrating an appearance of an information processing apparatus 10 according to an embodiment of the present disclosure. It is a figure explaining the mounting state of information processor 10 concerning the embodiment. It is a block diagram showing the basic composition of information processor 10 concerning the embodiment. It is explanatory drawing which shows an example of the connection of the information processing apparatus 10 which concerns on the embodiment, and an external device. It is explanatory drawing explaining an example of the arm gesture which the information processing apparatus 10 which concerns on the embodiment recognizes. It is explanatory drawing which shows an example of the finger gesture in the embodiment. It is explanatory drawing which shows another example of the finger gesture in the embodiment. It is explanatory drawing which shows another example of the finger gesture in the same embodiment. It is a flowchart explaining the information processing method which concerns on the embodiment.
  • FIG. 13 is an explanatory diagram illustrating a modification example of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus 10 according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an appearance of an information processing apparatus 10 according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating a mounting state of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 is a wearable terminal worn on a user's arm 80 or wrist, and is also called a bracelet type / watch type terminal.
  • the information processing apparatus 10 is provided with a touch panel display 12 having a function as a display unit and an operation unit, a speaker 14, and a microphone 16 on an outer peripheral surface thereof.
  • the touch panel display 12 is provided, for example, in a part of the outer peripheral surface of the information processing apparatus 10 so that the user can easily perform a touch operation. However, in this embodiment, it is not limited to this, The touch panel display 12 may be provided in the whole outer peripheral surface of the information processing apparatus 10.
  • FIG. The function as a display unit of the touch panel display 12 is realized by a display screen device such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays characters, images, and other information on the display screen. Furthermore, display of characters, images, and other information by the display screen device is controlled by a device control unit 264 of the main control unit 26 described later.
  • the function as an operation unit of the touch panel display 12 is realized by an operation surface that is superimposed on the above-described display screen device and detects a contact position by the user, for example.
  • the operation surface can be a curved surface along the outer peripheral direction of the user's arm 80.
  • the touch panel display 12 is a curved surface having a narrow width so as to follow the arm 80 of the user.
  • the user views the information processing apparatus with respect to the operation surface superimposed on the display screen while viewing the display screen by the touch panel display 12 of the information processing apparatus 10 worn on his / her arm 80. The touch operation is performed with the finger 82 of the arm to which the 10 is not worn.
  • the finger of the arm 80 to which the information processing apparatus 10 is attached is referred to as a finger 84, and is shown as a left hand finger in FIG.
  • the finger of the arm on which the information processing apparatus 10 is not worn is referred to as a finger 82, and is shown as the finger of the right hand in FIG.
  • the information processing apparatus 10 is not limited to the one attached to the left arm, and may be attached to the right arm.
  • the speaker 14 has an audio output function, and is realized by a speaker provided in the vicinity of the touch panel display 12 on the outer peripheral surface of the information processing apparatus 10 as shown in FIGS. 1 and 2.
  • the microphone 16 has a sound collection function, and is realized by a microphone provided in the vicinity of the touch panel display 12 on the outer peripheral surface of the information processing apparatus 10 as shown in FIGS. 1 and 2.
  • the number and positions of the speakers 14 and the microphones 16 shown in FIG. 1 are merely examples, and the present embodiment is not limited to this.
  • the speakers 14 and the microphones 16 are connected to the information processing apparatus 10.
  • a plurality of outer peripheral surfaces may be provided.
  • the information processing apparatus 10 which is a bracelet type terminal as described above is worn by a user, recognizes the user's gesture, and based on the recognition result, a command for information processing performed by the information processing apparatus 10. Can be issued.
  • it is difficult to accurately recognize user gestures such as unstable and uncertain “movement”, and there is a limit to improving the gesture recognition accuracy.
  • the information processing apparatus 10 is provided with a motion sensor 18 in order to recognize a user's gesture.
  • the motion sensor 18 includes an acceleration sensor, a gyro sensor, and the like (details of the motion sensor 18 will be described later).
  • Such a motion sensor 18 also changes its state (such as the sensor is less likely to vibrate) depending on the user's wearing state (for example, it is firmly fixed to the user's arm 80 or loosely fixed). Therefore, the sensing tendency of the motion sensor 18 changes. As a result, even if the user performs the same gesture, the obtained sensing results may be different.
  • the sensing tendency changes depending on the state of the user wearing the motion sensor 18, and changes depending on the influence of the acceleration of the user's motion when the user is stationary and when the user is running. To do.
  • the state of the user wearing the information processing apparatus 10 and the wearing state of the information processing apparatus 10 are uniform regardless of the situation. Gestures were recognized using a recognition engine that worked on the. That is, until now, the information processing apparatus 10 has used a recognition engine that operates uniformly even if the sensing tendency of the motion sensor 18 changes. However, as described above, since the sensing tendency of the motion sensor 18 changes according to the user's state and the like, when using a recognition engine that operates uniformly, the user's gesture is the gesture intended by the user. May not be recognized as.
  • the recognition setting in the gesture recognition such as the gesture recognition engine or the like is set according to the above-described user state, situation, and the like (in the following description, these are referred to as user-related contexts).
  • the information processing apparatus 10 to be changed is proposed. According to the present disclosure, since the recognition setting is changed in accordance with the sensing tendency of the motion sensor 18 that changes according to the user's state as described above, further improvement in gesture recognition accuracy can be expected. .
  • context means information related to the user such as the user's state, the user's situation, the user's attributes, etc., and the judgment for changing the recognition setting for recognizing the gesture. It becomes information that becomes material.
  • a gesture means an action performed by a person to transmit something.
  • a gesture is an aspect expressed by a shape or orientation of a part of a body such as an arm or a hand or a body such as a hand or a fingertip in order to transmit an instruction to the information processing apparatus 10 or the like. It means the body movement that moves a part of the eye or the eye movement.
  • the recognition engine means a generic name for a mechanism (apparatus) and a program (including various settings) for executing information processing for recognizing a user's gesture.
  • FIG. 3 is a block diagram illustrating a basic configuration of the information processing apparatus 10 according to the present embodiment.
  • FIG. 4 is an explanatory diagram illustrating an example of a connection between the information processing apparatus 10 according to the present embodiment and an external device.
  • FIG. 5 is an explanatory diagram illustrating an example of an arm gesture recognized by the information processing apparatus 10 according to the present embodiment.
  • 6 to 8 are explanatory diagrams illustrating an example of the finger gesture in the present embodiment.
  • the information processing apparatus 10 is a wearable terminal that is worn on the user's arm 80 or wrist.
  • the information processing apparatus 10 mainly includes a touch panel display 12, a speaker 14, a microphone 16, a motion sensor 18, a biosensor 20, a communication unit 22, a storage unit 24, and a main control unit 26.
  • a touch panel display 12 As illustrated in FIG. 3, the information processing apparatus 10 mainly includes a touch panel display 12, a speaker 14, a microphone 16, a motion sensor 18, a biosensor 20, a communication unit 22, a storage unit 24, and a main control unit 26.
  • the touch panel display 12 is provided on the outer peripheral surface of the information processing apparatus 10 and has functions of a display unit and an operation unit.
  • the speaker 14 is provided on the outer peripheral surface of the information processing apparatus 10 and has a function of outputting sound (audio signal). For example, the speaker 14 notifies the user by an alarm or the like, or outputs a received voice during a call.
  • the microphone 16 is provided on the outer peripheral surface of the information processing apparatus 10 and has a function of inputting sound (audio signal). For example, the microphone 16 accepts voice input by the user or picks up the user's speech during a call.
  • the motion sensor 18 is a sensor that is provided in the information processing apparatus 10 and detects a user's action (such as a user walking) and an operation (gesture) of a user's arm 80 on which the information processing apparatus 10 is mounted. As will be described later, the motion sensor 18 can also detect the movement of the user's fingertip (finger gesture).
  • the motion sensor 18 is realized by one or a plurality of sensor devices that detect a spatial movement and an angle, such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, a potentiometer, and an encoder. One or a plurality of sensing results obtained by the motion sensor 18 are output to a main control unit 26 described later. When the main control unit 26 recognizes a user's action or recognizes a user's gesture. Will be used.
  • the motion sensor 18 may include an image pickup device and an image pickup device that picks up an image of the user using various members such as a lens for controlling the formation of a subject image on the image pickup device.
  • the user's motion, the user's eye movement (eye movement), and the like are captured in the image captured by the imaging device.
  • the image which is a sensing result by the imaging device, is output to the main control unit 26 described later, and is used when the main control unit 26 recognizes a user's action or a movement of a line of sight (gesture).
  • the motion sensor 18 may include an infrared sensor, an ultrasonic sensor, or the like that can recognize a user's gesture. Note that such an imaging device, an infrared sensor, and the like may be provided in the information processing device 10 or may be installed as a separate device from the information processing device 10 around the user.
  • the motion sensor 18 may include a positioning sensor.
  • the positioning sensor is a sensor that detects the position of the user to which the information processing apparatus 10 is attached, and specifically, may be a GNSS (Global Navigation Satellite System) receiver or the like.
  • GNSS Global Navigation Satellite System
  • a positioning sensor produces
  • a sensing result by the positioning sensor is output to a main control unit 26 described later, and is used when the main control unit 26 detects a user's movement and movement speed from a change in the sensing result.
  • RFID Radio Frequency Identification
  • Wi-Fi access points wireless base station information, etc.
  • such a communication device can be used as the above positioning sensor. It can also be used.
  • the motion sensor 18 can detect the user's gesture and can also detect the user's action.
  • the detected user behavior is one of the contexts related to the user, and is one piece of information used as a judgment material for changing the recognition setting for recognizing the gesture.
  • the motion sensor 18 according to the present embodiment can acquire a sensing result for recognizing a user's context and a sensing result for recognizing a user's gesture.
  • the motion sensor 18 has been described as being able to acquire both a sensing result for recognizing a context and a sensing result for recognizing a gesture. This is not a limitation.
  • the motion sensor 18 may include a sensor that obtains a sensing result for a context and a sensor that obtains a sensing result for a gesture.
  • the biosensor 20 is a sensor that is provided in the information processing apparatus 10 and detects user biometric information.
  • the biosensor 20 is mounted directly or indirectly on a part of the user's body, for example, and measures the user's heart rate, blood pressure, brain waves, breathing, sweating, myoelectric potential, skin temperature, skin electrical resistance, and the like. Includes one or more sensors.
  • One or more pieces of biological information obtained by the biological sensor 20 are output to a main control unit 26 described later, and are used when the main control unit 26 recognizes a user context.
  • the information processing apparatus 10 includes, in addition to the motion sensor 18 and the biological sensor 20 described above, a pressure sensor (not shown) that detects a mounting state of the information processing apparatus 10 on the user's arm 80, Various sensors such as a temperature sensor (not shown) for measuring the ambient temperature around the user may be included.
  • the information processing apparatus 10 can be connected to an external device such as a smartphone 40 or a headset 50 possessed by a user by wireless communication or wired communication.
  • the communication unit 22 is a communication interface that is provided in the information processing apparatus 10 and is connected to the above-described external device and has a function of transmitting and receiving data.
  • the communication unit 22 may be connected to the smartphone 40 or the headset 50 to transmit / receive data, or may be connected to the predetermined server 60 via the network 70 to transmit / receive data. (See FIG. 21).
  • the communication unit 22 transmits and receives data to and from the smartphone 40 and the like possessed by the user, so that the type of external device connected to the information processing device 10 and the state of the external device (active application) It also functions as a sensor for detecting the type of
  • the communication unit 22 is realized by a communication device such as a communication antenna, a transmission / reception circuit, or a port.
  • the external device described above is not limited to the smartphone 40 or the headset 50 as shown in FIG. 4, but is a tablet, a laptop PC (Personal Computer), a notebook PC, or an HMD. (HEAD Mounted Display) or the like may be used.
  • the storage unit 24 is provided in the information processing apparatus 10 and stores a program and the like for the main control unit 26 described later to execute various processes.
  • the storage unit 24 stores a program for the device control unit 264 described later to issue a command according to the recognized gesture.
  • the storage unit 24 is realized by, for example, a magnetic recording medium such as a hard disk (HD), a non-volatile memory such as a flash memory, or the like.
  • the main control unit 26 is provided in the information processing apparatus 10 and can control each block of the information processing apparatus 10.
  • the main control unit 26 is realized by hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the main control unit 26 can also function as a context recognition unit 260, a gesture recognition unit 262, a device control unit (command issue unit) 264, and a setting change unit 266. Details of these functions of the main control unit 26 according to the present embodiment will be described below.
  • the context recognition unit 260 recognizes a context related to the user. Then, the recognition result of the context recognition unit 260 is output to the setting change unit 266 described later. Moreover, the recognition result of the context recognition unit 260 may be displayed on the touch panel display 12 described above, or may be output to the user via the speaker 14 described above.
  • the context recognition unit 260 recognizes the context related to the user based on one or more sensing results from the motion sensor 18 described above. Specifically, the context recognition unit 260 uses the user's behavior such as the user sitting, the user running, or the user riding a train as one of the contexts related to the user. Can be recognized based on the sensing results. For example, the context recognizing unit 260 recognizes that the user is in a stationary state such as sleeping when no change in acceleration or no change in the position of the user is detected by the motion sensor 18 for a certain period of time. At this time, the context recognizing unit 260 can also recognize whether the user is lying on his back or lying sideways, based on the orientation of the information processing apparatus 10 detected by the motion sensor 18.
  • the context recognition unit 260 can also recognize a user's action such as the user running based on, for example, detecting a sudden acceleration change or direction change by the motion sensor 18. Furthermore, the context recognition unit 260 can also recognize that the user is in a car based on, for example, detecting the user's movement or direction change at high speed by the motion sensor 18. Note that the context recognition unit 260 may recognize the user's behavior based on various values detected by the motion sensor 18. Alternatively, the context recognition unit 260 recognizes the user's behavior by matching the pattern of the sensing result obtained by the motion sensor 18 (the behavior of the sensing result) with the teacher data (the pattern obtained by the known behavior). May be.
  • the context recognition unit 260 may recognize the wearing state of the information processing apparatus 10 on the user's arm 80 based on the detection result by the pressure sensor (not shown). More specifically, the context recognition unit 260 determines whether the information processing apparatus 10 that is a bracelet-type terminal is fixed to the tight user's arm 80 based on the detection result of the pressure sensor, or loosely the user's arm 80. Can be recognized. Furthermore, the context recognizing unit 260 may recognize whether the arm 80 on which the information processing apparatus 10 is worn is the right arm or the left arm of the user based on the direction of the acceleration detected by the motion sensor 18.
  • the context recognition unit 260 determines the state of the user based on various types of biological information (heart rate, blood pressure, brain wave, breathing, sweating, myoelectric potential, skin temperature, skin electrical resistance, etc.) detected by the above-described biological sensor 20. May be recognized.
  • the context recognition unit 260 may recognize that the user is exercising or excited from the heart rate of the user by the biometric sensor 20.
  • the context recognition unit 260 may recognize the type and state of the user terminal (external device) used by the user through communication by the communication unit 22 described above. Specifically, the context recognizing unit 260 transmits the type of external device such as the smartphone 40 connected to the information processing device 10 or the type of application activated on the external device or the external device via the communication unit 22. The type of connected device can be recognized. In addition, as a device connected to the said external device, when the external device is the smart phone 40, the headset 50 connected to the said smart phone 40 can be mentioned, for example.
  • the state of the external device recognized by the context recognizing unit 260 is information relating to the user's terminal use, and thus can be said to be information indicating the user's state. For example, when the user terminal is the smartphone 40 and a music player application is activated on the smartphone 40, it can be estimated that the user is listening to music.
  • the context recognition unit 260 may acquire user attribute information and an action schedule. Specifically, the context recognizing unit 260 may acquire attribute information such as the user's sex and age, and information related to the action schedule including the user's scheduled action and its scheduled date and time. These attribute information and action schedule may be input to the information processing apparatus 10 in advance, or may be acquired from the external server 60 (see FIG. 21) via the communication unit 22 described above.
  • the gesture recognition unit 262 recognizes the user's gesture based on one or more sensing results from the motion sensor 18 that detects the user's operation. And the recognition result of the gesture recognition part 262 is output to the device control part 264 mentioned later. In addition, the recognition result of the gesture recognition unit 262 may be displayed on the touch panel display 12 described above, or may be output to the user via the speaker 14.
  • the gesture recognition unit 262 operates such that the user swings up the arm 80 on which the information processing apparatus 10 is worn, swings the arm 80 left and right, or rotates the arm 80.
  • the operation of the user swinging up the arm 80 is the same as the operation performed when the user watches the wristwatch from the state where the user has lowered the arm 80 as shown on the left side of FIG. It refers to the action of bending 80 and raising it.
  • the operation of rotating the arm 80 by the user means an operation of rotating the center of the arm 80 about the rotation axis as shown on the right side of FIG. That is, the gesture of “rotating the arm” may be regarded as a gesture of “turning the wrist”.
  • the gesture recognition unit 262 may recognize the movement of the finger 84 of the arm 80 on which the information processing apparatus 10 is worn as a predetermined gesture. For example, the gesture recognizing unit 262 pinches with the index finger 84 and the thumb 84, swipes to move the index finger 84 in a specific direction, taps to tap the fingertips, finger flicks to repel the fingertips, and sounds a finger. It is possible to detect the type of finger gesture by the finger 84 such as a finger snapping motion.
  • the tap operation refers to an operation in which the fingertips of the two fingers 84 of the arm 80 wearing the information processing apparatus 10 are brought into contact with each other and then released as shown in FIG. FIG. 6 shows a tap operation using a thumb and an index finger.
  • the tap operation uses another finger and the thumb. Also good.
  • the finger flick operation is an operation of pressing the middle finger 84 of the arm 80 on which the information processing apparatus 10 is worn with the thumb 84 and then releasing the middle finger 84 from the hold of the thumb 84. That means. That is, the finger flick operation is a finger operation performed when flipping a marble or a flick.
  • FIG. 7 shows a finger flick operation using the thumb and middle finger.
  • the present embodiment is not limited to this, and the finger flick operation using another finger and the thumb is not limited to this. It may be. Further, as shown in FIG.
  • the finger snapping operation is an operation of rubbing the thumb 84 and the middle finger 84 of the arm 80 to which the information processing apparatus 10 is attached, and then hitting the middle finger 84 against the base of the thumb 84. That is, the finger snap action is a finger action performed when a finger is sounded.
  • FIG. 8 shows a finger snap operation using the thumb and the middle finger, but the present embodiment is not limited to this, and the finger snap operation using another finger and the thumb. It may be.
  • the type of finger gesture recognized by the gesture recognition unit 262 is not limited to the above-described operation, and is not particularly limited as long as it is a finger gesture performed using the finger 84. .
  • the gesture recognition unit 262 is not limited to only recognizing the type of finger gesture, but the number of times the finger gesture is performed and the finger 84 that has performed the finger gesture are any fingers (thumb, index finger, middle finger, ring finger, little finger). It is also possible to recognize the type of finger such as
  • the gesture recognition unit 262 analyzes the environmental sound collected by the microphone 16, extracts a sound having a specific frequency generated by the finger gesture by the user's finger 82, and performs the finger gesture or the finger gesture. You may recognize the number of times.
  • the movement of the arm 80 or the finger 84 on which the information processing apparatus 10 is worn is recognized.
  • the present embodiment is not limited to this.
  • the gesture recognition unit 262 may recognize the movement of the arm 80 or the finger 82 to which the information processing apparatus 10 is not worn.
  • the gesture recognition unit 262 may recognize the movement of the user's line of sight as a predetermined gesture. For example, the gesture recognition unit 262 may recognize the user's quick gaze movement as a gesture similar to a flick action performed with a finger, and the user's slow gaze movement similar to a drag action performed with a finger. It may be recognized as a gesture.
  • the gesture recognition unit 262 may recognize the gesture based on various values detected by the motion sensor 18. Alternatively, the gesture recognition unit 262 may recognize the gesture by matching the pattern of the sensing result obtained by the motion sensor 18 (the behavior of the sensing result) with the teacher data (pattern obtained by a known gesture). Good.
  • the gesture recognition unit 262 may increase the accuracy of the gesture recognition in consideration of the user's gesture tendency by machine learning.
  • the information processing apparatus 10 stores the recognition result when the gesture is recognized and the sensing result used for the recognition in association with each other.
  • the information processing apparatus 10 determines whether or not the recognized gesture is a gesture intended by the user from the user's operation on the information processing apparatus 10 after the command issued based on the recognized gesture is executed. Guess what. Specifically, if the user does not stop the command after the command execution is started, the command is desired by the user, and the gesture corresponding to the command is intended by the user. Guess that it is correctly recognized as a gesture.
  • the information processing apparatus 10 sets the sensing result related to the gesture as a teacher signal related to the gesture when performing a new gesture recognition. By doing in this way, it becomes possible to perform gesture recognition reflecting the tendency of the gesture of a specific user to which the information processing apparatus 10 is attached, so that the accuracy of gesture recognition can be further improved.
  • the device control unit 264 issues a command for various devices provided in the information processing apparatus 10 to perform predetermined processing, and controls the various devices. .
  • the command to be issued is associated with each gesture, and the device control unit 264 issues a command corresponding to the gesture recognized by the gesture recognition unit 262 and controls various devices.
  • the device control unit 264 performs control such as ON / OFF of various devices such as the touch panel display 12, the speaker 14, and the microphone 16, scrolling, selection, determination, cancellation, and the like for the display on the touch panel display 12.
  • the device control unit 264 may control an external device such as the smartphone 40 connected to the information processing apparatus 10.
  • the device control unit 264 may change the command associated with the gesture according to the context related to the user.
  • the setting change unit 266 changes the recognition setting related to the gesture recognition of the gesture recognition unit 262 based on the recognition result of the context recognition unit 260 described above.
  • the setting change unit 266 may change the setting of the recognition algorithm used by the gesture recognition unit 262 for gesture recognition. More specifically, a threshold value in the recognition algorithm is determined in advance for each context related to the user such as the user's behavior, and the setting change unit 266 sets the threshold value based on the recognition result of the context recognition unit 260 described above. change.
  • the threshold value refers to a condition that becomes a boundary when determining whether the sensing result is caused by the gesture A or the gesture B with respect to the sensing result, for example. Therefore, even when the same sensing result is obtained, the threshold value changes according to the context related to the user, and thus the recognition result of the gesture recognition unit 262 may be different.
  • the setting changing unit 266 may change the detection setting of the motion sensor 18 described above as a change of the recognition setting.
  • the setting change unit 266 may change threshold values of various sensors included in the motion sensor 18 as an example of detection setting.
  • the threshold value is, for example, the lowest value at which various sensors can recognize a gesture.
  • the setting change unit 266 may change the sensing time of various sensors, the sensing interval (sampling frequency), and the like. Further, the setting changing unit 266 may change a range (for example, a frequency band) to be output to the above-described gesture recognition unit 262 as a sensing result among values obtained by various sensors.
  • the setting change unit 266 may change the type of sensing result acquired by the gesture recognition unit 262 described above, that is, the type of sensor used for user gesture recognition.
  • the motion sensor 18 described above includes, for example, an acceleration sensor and a gyro sensor.
  • the setting changing unit 266 sets the gesture recognition using the sensing result of the acceleration sensor and the gyro sensor according to the context related to the user, or the gesture recognition using only the sensing result of the acceleration sensor. Or set it to Furthermore, the setting change unit 266 may weight the various sensing results used in gesture recognition according to the context related to the user. Specifically, the setting change unit 266 may weight the sensing result of the gyro sensor higher than the sensing result of the gyro sensor so that the sensing result of the acceleration sensor is reflected by gesture recognition. .
  • the setting change unit 266 may change the type of gesture to be recognized by the gesture recognition unit 262 described later.
  • the gesture recognizing unit 262 can recognize, for example, as gestures, three operations: an operation of swinging up the arm 80, an operation of swinging the arm 80 left and right, and an operation of rotating the arm 80.
  • the setting changing unit 266 performs setting so as to recognize all three operations as gestures or recognizes two of the three operations as gestures according to the context related to the user. Or set it to
  • the setting changing unit 266 may be implemented by combining any of the plurality of setting changes described above.
  • the setting change unit 266 may change the recognition engine.
  • the recognition engine means a mechanism and a program (including various settings) for executing information processing for recognizing a user's gesture.
  • the setting change unit 266 sets the recognition engine prepared for each user context, thereby optimizing specifically for each context, the sensor type, the sensor detection setting, and the recognition target. Set the type of gesture to be.
  • the content of the recognition setting that is changed by the setting change unit 266 is not limited, and the setting change unit 266 performs various operations for recognizing the user's gesture according to the context related to the user. You can change various recognition settings.
  • Step S100 The information processing apparatus 10 acquires one or more sensing results from the motion sensor 18 described above. Note that in step S100, the information processing apparatus 10 is not limited to acquiring the sensing result. For example, other information such as biological information acquired from the user, the mounting state of the information processing apparatus 10, or the like is used. Information may be acquired together.
  • Step S200 The information processing apparatus 10 recognizes the context related to the user based on the acquired one or more sensing results. For example, the information processing apparatus 10 recognizes the user's action (for example, the user is running).
  • Step S300 The information processing apparatus 10 determines whether a predetermined context has been acquired. For example, the information processing apparatus 10 determines whether it is recognized that the user is running. When the predetermined context is recognized, the information processing apparatus 10 proceeds to step S400 described below, and when the predetermined context is not recognized, the information processing apparatus 10 returns to step S100 described above.
  • Step S400 The information processing apparatus 10 changes the recognition setting in the gesture recognition based on the context recognition result related to the user. For example, the information processing apparatus 10 changes the detection setting of the motion sensor 18.
  • Step S500 The information processing apparatus 10 determines whether or not the user's predetermined gesture has been recognized. For example, the information processing apparatus 10 recognizes a gesture in which the user raises the arm 80 based on the sensing result of the motion sensor 18. When the predetermined gesture is recognized, the information processing apparatus 10 proceeds to step S600 described later, and when the predetermined gesture is not recognized, the information processing apparatus 10 returns to step S100 described above.
  • Step S600 The information processing apparatus 10 issues a command corresponding to the recognized gesture based on the gesture recognized in step S500. For example, the information processing apparatus 10 issues a music playback command corresponding to a gesture of raising an arm.
  • Step S700 When the information processing apparatus 10 receives an instruction to end gesture recognition from the user (for example, an instruction to stop activation of the information processing apparatus 10), the information processing apparatus 10 ends the information processing according to the present embodiment. On the other hand, if the information processing apparatus 10 has not received an instruction from the user to end gesture recognition, the information processing apparatus 10 returns to step S100 described above. That is, the above steps S100 to S700 are repeated unless there is an instruction from the user. For example, the information processing according to the present embodiment illustrated in FIG. 9 is repeatedly performed as one of background processes of the information processing apparatus 10.
  • context recognition and recognition setting change are repeated, that is, the recognition setting of the gesture recognition unit 262 is set to the context. It will be changed dynamically accordingly. Therefore, the recognition setting is optimized according to the context, and the accuracy of gesture recognition is improved. Furthermore, when the information processing according to the present embodiment is repeatedly performed, context recognition is performed in a state of recognition settings changed in advance. Specifically, when the context recognition unit 260 newly recognizes a context, the motion sensor 18 is maintained in the detection setting changed in advance, that is, the sensing result of the motion sensor 18 whose setting has been changed. Based on this, new recognition is performed.
  • FIG. 10 is an explanatory diagram showing an example of sensing by the motion sensor 18 according to the present embodiment, and more specifically, shows a change in the sensing value acquired by the motion sensor 18 over time.
  • sensing values by one of the various sensors of the motion sensor 18 for example, sensing values by an acceleration sensor that senses acceleration in the X-axis direction
  • a sensing value acquired at the beginning of information processing according to the present embodiment is used for recognizing a user's action that is one of contexts related to the user.
  • the time width (detection time) for acquiring the sensing value is preferably long, for example, from several minutes to several tens Get the sensing value over the minute.
  • the recognition setting is changed based on the sensing value or the like, and the process proceeds to a stage of recognizing the user's gesture. .
  • the time width for acquiring the sensing value is short.
  • the sensing value is acquired over several seconds to several minutes. Accordingly, the sensing result used for gesture recognition and the sensing result used for context recognition have different time widths when acquiring the sensing result.
  • the difference between the sensing result used for gesture recognition and the sensing result used for context recognition is not limited to the above difference.
  • a user's action such as a user running causes a slow numerical change
  • a user's gesture that the user shakes the arm 80 causes a sudden numerical change. Due to such a difference, the number of samplings of sensing results used for gesture recognition per predetermined time may be larger than the number of samplings of sensing results used for context recognition. More specifically, since a rapid numerical change occurs in a gesture, it is required to increase the sampling frequency and perform fine sampling in order to accurately grasp the behavior of the numerical value related to the gesture.
  • the sampling frequency of the sensing result used for gesture recognition is about several tens of Hz, whereas the sampling frequency of the sensing result used for context recognition may be about several Hz or less.
  • Example 1 which changes the threshold value of a sensor according to a user's action is demonstrated.
  • FIG. 11 is an explanatory diagram for explaining Example 1 according to the present embodiment, and specifically shows an example of a threshold value of a sensor corresponding to the user's action.
  • the setting change unit 266 changes the threshold value of the sensor included in the motion sensor 18 according to the user's action that is the user's context.
  • the threshold value of the sensor refers to the lowest value at which the sensor can recognize a gesture, as described above.
  • the setting changing unit 266 sets the threshold value high (in FIG. 11, the threshold value is set to 9), so that the motion sensor 18 hardly recognizes the user's gesture while the user is sleeping.
  • the threshold value high for example, the motion sensor 18 recognizes a gesture that greatly changes acceleration or the like, but it is difficult to recognize a gesture that changes acceleration or the like.
  • the gesture recognition unit 262 can avoid erroneously recognizing the user's operation during the sleep as a specific gesture that the user does not intend.
  • the device control unit 264 can avoid issuing a command that is not intended by the user based on the erroneous recognition of the gesture, and thus the malfunction of the information processing apparatus 10 can be avoided.
  • the setting change unit 266 sets the sensor threshold value to a low value (the threshold value is set to 1 in FIG. 11), and the motion sensor.
  • No. 18 can be recognized even if it is a gesture that changes acceleration or the like small.
  • the motion sensor 18 is not affected by acceleration or the like caused by the user's travel (user's behavior) or the like. It is not necessary to consider that changes.
  • the acceleration detected by the motion sensor 18 is only the acceleration due to the user's gesture when the user is stationary.
  • the acceleration detected by the motion sensor 18 may be the sum of the acceleration due to the user's travel and the acceleration due to the user's gesture while the user is traveling.
  • the sensing tendency of the motion sensor 18 changes according to the user's behavior or the like, but when the user is stationary, the influence of the user's behavior or the like may not be considered. Therefore, in the first embodiment, when the user is stationary, the threshold value of the sensor is set low so that the gesture can be easily recognized. In addition, when the user is stationary, it is considered that the probability that the user performs an operation on the information processing apparatus 10 is high. In such a situation, the accuracy of recognition of the user's gesture is increased. The convenience of 10 is also improved.
  • the setting changing unit 266 sets the threshold value of the sensor high (in FIG. 11, the threshold value is set to 3 or 5). Setting).
  • the motion sensor 18 recognizes a gesture that greatly changes acceleration or the like, but it is difficult to recognize a gesture that changes acceleration or the like.
  • the sensing tendency of the motion sensor 18 changes due to the influence of the user's behavior. Therefore, in the first embodiment, when the user is moving by himself, the threshold value of the sensor is changed in consideration of the influence of the user's action on the motion sensor 18. As a result, the information processing apparatus 10 can accurately recognize a gesture even when there is an influence of a user's action.
  • the setting changing unit 266 sets the threshold value of the sensor high (the threshold value is set to 8 in FIG. 11).
  • the motion sensor 18 recognizes a gesture that greatly changes acceleration or the like, but it is difficult to recognize a gesture that changes acceleration or the like.
  • the motion sensor is affected by the movement of the vehicle (for example, constant velocity motion or acceleration motion of the vehicle) as in the case where the user is moving by himself / herself.
  • the 18 sensing trends change. Therefore, in the first embodiment, when the user is moving with a vehicle, the sensor threshold is changed in consideration of the influence of the movement of the vehicle in the motion sensor 18. As a result, the information processing apparatus 10 can accurately recognize the gesture even when there is an influence due to the movement of the vehicle.
  • FIG. 12 is an explanatory diagram for explaining Example 2 according to the present embodiment, and specifically shows an example of the type of sensor used in gesture recognition according to the user's action.
  • the setting changing unit 266 changes the type of sensor used for gesture recognition according to the user's behavior that is the user's context.
  • the setting change unit 266 changes the type of sensing result acquired by the gesture recognition unit 262 (for example, a sensing result by an acceleration sensor, a sensing result by a gyro sensor, or the like).
  • the setting change unit 266 sets the acceleration sensor as a sensor used for gesture recognition among the various sensors included in the motion sensor 18.
  • the motion sensor 18 detects a uniform motion and an acceleration motion and does not detect a change of direction based on the user's behavior and gesture.
  • the acceleration sensor is activated as a sensor used for gesture recognition, and the gyro sensor is stopped.
  • the sensor which is not required for gesture recognition is stopped according to a user's state, the power consumption in the information processing apparatus 10 can be suppressed.
  • the setting changing unit 266 sets the acceleration sensor and the gyro sensor among the various sensors of the motion sensor 18 as sensors used for gesture recognition.
  • the motion sensor 18 performs a uniform motion (for example, a uniform motion due to the user's behavior) or an acceleration motion (for example, the user's behavior). It is presumed that a sudden acceleration motion due to (1), a change of direction (for example, a sudden change of direction due to a user's action), vibration, and the like are detected. Therefore, when the user is walking / running, in order to detect these, an acceleration sensor and a gyro sensor are activated as sensors used for gesture recognition.
  • the setting change unit 266 sets an acceleration sensor and a gyro sensor as sensors used for gesture recognition among various sensors of the motion sensor 18.
  • the motion sensor 18 is caused to move at a constant speed (for example, a constant speed movement due to the movement of the car) or an acceleration movement (for example, the movement of the car) due to the movement of the car or the user's actions and gestures. It is presumed that a gentle acceleration motion due to the above), a change in direction (for example, a change in direction due to a change in the direction of an automobile), and the like are detected. Therefore, when the user is in a car, in order to detect them, an acceleration sensor and a gyro sensor are activated as sensors used for gesture recognition.
  • the setting change unit 266 sets the acceleration sensor as a sensor used for gesture recognition among various sensors of the motion sensor 18.
  • the airplane moves, but it can be assumed that the user is seated. Accordingly, due to the movement of the airplane, the user's actions and gestures, the motion sensor 18 has a uniform motion (for example, a high-speed uniform motion due to the movement of the airplane) and an acceleration motion (for example, a gentle acceleration motion due to the movement of the airplane). Is detected, and it is presumed that no turning is detected. Therefore, when the user is on an airplane, the acceleration sensor is activated as a sensor used for gesture recognition, and the gyro sensor is stopped. By doing in this way, the power consumption in the information processing apparatus 10 can be suppressed similarly to the above.
  • FIG. 13 is an explanatory diagram for explaining Example 3 according to the present embodiment, and specifically shows an example of the type of gesture to be recognized according to the user's action.
  • the gesture recognition unit 262 recognizes, as an initial setting, three actions: an action of raising the arm 80, an action of shaking the arm 80 left and right, and an action of rotating the arm 80 as predetermined gestures. Shall be able to.
  • the setting change unit 266 performs setting so as to recognize all or any one of the three gestures according to the user's action.
  • the setting change unit 266 performs setting so as to recognize all of the three gestures.
  • the setting change unit 266 performs setting so as to recognize all of the three gestures.
  • the user may be exposed to danger depending on the gesture. For example, when the user is walking on the home, performing a large hand gesture while walking is performing two actions at the same time, so the user's attention is dispersed and the user's arm 80 moves to the train. Or the user may fall from the home. Therefore, in consideration of performing a gesture while ensuring the safety of a walking user, the number of gestures that the user can perform is limited.
  • the setting changing unit 266 sets so as to recognize only the gesture of raising the arm 80 among the three. Further, when the user is on the train, the user is assumed to be standing or seated on the train, so that the user makes various gestures as in the case of standing still. Is possible. Therefore, in the third embodiment, when the user is on a train, the setting change unit 266 performs setting so as to recognize all the gestures among the above three, as described above.
  • the smaller the number of types of gestures to be recognized the better the accuracy of recognition of each gesture. Therefore, as in the above-described third embodiment, by changing the type of gesture to be recognized according to the user's behavior, only the gesture according to the user's behavior needs to be recognized, and the number of types of gesture is limited. Is done. As a result, according to the third embodiment, it is possible to improve the gesture recognition accuracy.
  • FIG. 14 is an explanatory diagram illustrating Example 4 according to the present embodiment, and specifically shows an example of a recognition engine according to the user's behavior.
  • the recognition engine means a mechanism and a program (including various settings) for performing information processing for recognizing a user's gesture.
  • Example 4 as shown in FIG. 14, the recognition engine used for gesture recognition is changed according to the user's action.
  • the setting change unit 266 controls the gesture recognition unit 262 and the like so as to use the user stationary mode recognition engine.
  • the user stationary mode recognition engine for example, only an acceleration sensor is set as a sensor used for gesture recognition, and the threshold value is set low.
  • three types of gestures to be recognized are set: a gesture for swinging up the arm 80, a gesture for swinging the arm 80 to the left and right, and a gesture for rotating the arm 80.
  • an “automobile mode recognition engine” used when a user is in a car can be used. That is, in the fourth embodiment, by using a dedicated recognition engine in accordance with the user's behavior, parameters related to various recognition settings can be changed at the same time, and the accuracy of gesture recognition can be improved.
  • the sensing tendency of the motion sensor 18 changes depending on the vehicle on which the user is riding for movement. For example, even if the vehicle is in a car, the sensing tendency of the motion sensor 18 varies depending on the movement of the car between when driving on a general road and when driving on a highway. . Further, the sensing tendency of the motion sensor 18 also changes depending on the speed and the like of airplanes and high-speed trains. Therefore, in the present embodiment, in order to further improve the recognition accuracy of gestures, recognition settings specialized for them according to the type and speed of the vehicle (for example, a dedicated recognition engine is prepared). It is preferable to carry out.
  • Example of user context> In Examples 1 to 4 described so far, it has been described that the context related to the user is the user's action, but in the present embodiment, the context related to the user is not limited to the user's action. Therefore, another example of the context related to the user will be described below.
  • Example 5 First, with reference to FIG. 15 and FIG. 16, a fifth embodiment in which the state of the user's arm 80 worn by the information processing apparatus 10 is used as the context relating to the user will be described. 15 and 16 are explanatory diagrams for explaining Example 5 according to the present embodiment. Specifically, FIG. 15 shows an example of the state of the user's arm 80, and FIG. 16 shows the user's arm. An example of the threshold value of the recognition algorithm corresponding to 80 states is shown.
  • the sensing tendency of the motion sensor 18 changes according to the mounting state and position of the motion sensor 18 to the user. As a result, even when the user performs the same gesture operation, the obtained sensing result may be different.
  • a case where the arm 80 illustrated on the left side of FIG. 15 is lowered and a case where the arm 80 illustrated on the right side of FIG. 15 is raised will be described as examples.
  • the sensing of the motion sensor 18 can be performed even if the user performs the same movement of the arm 80 left and right. Trends may change and sensing results may differ. Therefore, in the fifth embodiment, for example, as illustrated in FIG.
  • the threshold setting of the recognition algorithm is changed between when the arm 80 is lowered and when the arm 80 is raised. More specifically, as shown in FIG. 16, the threshold is 3 when the arm 80 is lowered, and the threshold is 6 when the arm 80 is raised. Note that the threshold is a condition that becomes a boundary when determining whether the sensing result is caused by the gesture A or the gesture B with respect to a certain sensing result, as described above. Say. Thus, even if different sensing results are obtained by changing the threshold value, the determination boundary changes, so that the gesture recognition unit 262 can recognize that it is the same gesture. .
  • the right arm movement tendency and the left arm movement tendency are different. Therefore, even when the user performs the same gesture, the sensing result by the motion sensor 18 may differ depending on whether the user uses the right arm or the left arm. Therefore, in the present embodiment, it may be recognized whether the arm 80 to which the motion sensor 18 is attached is the right arm or the left arm, and the recognition setting may be changed according to the arm 80. In this way, the gesture recognition unit 262 can recognize that the gesture by the right arm and the gesture by the left arm are the same gesture as long as they are the same type of gesture.
  • the context related to the user is not limited to one type, and two types of contexts may be combined. Examples 6 to 8 in which recognition setting is performed according to a combination of two types of context will be described below.
  • FIG. 17 is an explanatory diagram for explaining Example 6 according to the present embodiment, and in detail, shows an example of a threshold value of the sensor according to a combination of the user's action and the user's pulse rate.
  • the recognition setting is changed so that the gesture can be recognized according to the change.
  • the user's excitement state is correlated with the user's pulse rate.
  • the tendency of the user's gesture also has a correlation with the user's excitement state. For example, even if the gesture is the same, the user may perform a small gesture motion (for example, the amplitude of the hand In a state where the degree of excitement is high, the user performs a large hand gesture (for example, an operation with a large hand amplitude).
  • the user's gesture tendency changes depending on the user's behavior, and even if the gesture is the same, the user performs a small gesture when the user is stationary, and a large gesture when the user is running Shall be performed.
  • the threshold value of the sensor is set low (in FIG. 17, the threshold value is set to 1 or 2), and the gesture is recognized even when the user performs a small gesture motion. To do.
  • the pulse rate is 81 or more, it is assumed that the degree of excitement of the user is high. In such a situation, when the user is walking or riding a train, the user It is assumed that the following operations are performed. Therefore, in the sixth embodiment, the threshold value of the sensor is set high (in FIG.
  • the threshold value is set to 3), and the gesture is recognized when the user performs a large gesture motion. Note that it is assumed that the user performs a large hand gesture when the user is running regardless of the pulse rate. Therefore, in Example 6, when the user is running, the threshold value of the sensor is not changed even if the pulse rate changes (in FIG. 17, the threshold value is set to 4).
  • Example 7 which performs recognition setting according to the combination of a user's action and a user's age is demonstrated.
  • FIG. 18 is an explanatory diagram for explaining Example 7 according to the present embodiment, and specifically shows an example of a threshold value of the sensor according to the combination of the user's action and the user's age.
  • the tendency of the user's gesture changes depending on the user's attributes, such as age, gender and the like. For example, it is assumed that even if the gesture is the same, if the user is a young person, a large hand gesture is likely to be performed, and if the user is an elderly person, a small hand gesture is likely to be performed. Therefore, in the seventh embodiment, the sensor threshold is changed in consideration of the user's age to further improve the gesture recognition accuracy.
  • the threshold value of the sensor is set high. Furthermore, the setting is changed according to the user's behavior, and it is assumed that when the user is running, a large hand gesture is performed compared to when the user is walking or when the user is on the train. Therefore, the sensor threshold is set relatively high. In addition, in the case of a user who is 31 years old or older and 60 years old or younger, it is assumed that the gesture gesture is smaller than that of a user who is 30 years old or younger. And set it low.
  • the threshold value of the sensor is set lower than that of a user 31 years old or older and 60 years old or younger.
  • the threshold value of the sensor is set to the maximum (in FIG. 18, the threshold value is set to 10), and the motion sensor 18 detects the gesture. I do not do it.
  • the context related to the user is determined using the age that is the attribute information of the user, but the present invention is not limited to this.
  • the user's action or situation (such as during sports or commuting) may be recognized using the user's action schedule, and the recognition setting may be changed accordingly.
  • FIG. 19 is an explanatory diagram illustrating Example 8 according to the present embodiment. Specifically, the number of types of gestures to be recognized according to the combination of the user's behavior and the type of application used by the external device. An example is shown.
  • the user By recognizing the state of the external device used by the user, it is possible to guess a command that the user desires to perform an input operation using a gesture. Specifically, when the user is playing a game on the smartphone 40, it can be estimated that the user desires various input operations related to the game operation. Further, when the user is making a call with the smartphone 40, it can be estimated that the user desires only an input operation for ending the call. Thus, according to the state of the user's smartphone 40, the number of commands desired by the user changes, and the type of gesture that the information processing apparatus 10 should recognize also changes.
  • the number of commands desired by the user varies depending on the user's behavior. Since the user can perform various operations when the user is stationary, the number of desired commands increases. On the other hand, since the operations that can be performed when the user is running are limited compared to when the user is walking, the number of desired commands is reduced. Further, since the user's attention is dispersed during an operation such as running, it is not preferable for the safety of the user to execute many commands. Therefore, in the eighth embodiment, since the number of commands desired by the user changes according to the user's behavior, the type of gesture that the information processing apparatus 10 should recognize is changed.
  • the number of gestures to be recognized is set as follows.
  • the user is walking, since walking is estimated while being guided by the navigation application, the user is set to recognize two gestures related to scrolling of the navigation screen and an enlargement command.
  • the navigation application is activated, but the user is not actually looking at the application, so one gesture related to the stop command of the navigation application is recognized.
  • the navigation application will perform various searches, and thus recognizes four gestures related to commands for scrolling, enlargement, reduction, and new search of the navigation screen. Set as follows.
  • the number of gestures to be recognized is set as follows.
  • the user is walking or running, it is estimated that the user walks / runs while talking, so that one gesture related to the call stop command is recognized.
  • the user is on the train, it is assumed that the user temporarily cancels the call according to the situation around the person who has taken the call. Set to recognize gestures.
  • the number of gestures to be recognized is set as follows.
  • the user is walking, since the user is expected to start the game from now on, the user is set to recognize one gesture related to the game start command.
  • the user is running, it is dangerous for the user to play the game while running, so the command is not generated, that is, the gesture is not recognized (set to 0 in FIG. 19).
  • the user is set to recognize four gestures related to commands such as game start and operation.
  • the gesture to be recognized may be changed so that only the finger gesture is recognized. That is, it may be determined whether or not it is a public space, and it may be set (automatically) so as to restrict or prohibit a gesture having a relatively large motion amount in the public space. Further, in consideration of the possibility of the user hitting his / her hand around, a gesture with a relatively large amount of movement may be set to be restricted or prohibited in a relatively narrow space as in an automobile described later.
  • Restriction or prohibition of gesture recognition based on the possibility that these users may hit their hands may be arbitrarily canceled by the user.
  • the restriction or prohibition based on the “running state” of the automobile driven by the user which will be described later, may be prohibited by the user based on the laws and rules of each country.
  • the eighth embodiment it is possible to improve the accuracy of gesture recognition.
  • the commands that can be executed by the information processing apparatus 10 are limited. Therefore, the user's attention due to the use of the information processing apparatus 10 or an external device is reduced. It is also possible to avoid the danger due to dispersion.
  • the external device may be an automobile, and the types of gestures to be recognized may be restricted in accordance with the running state of the automobile, and the commands that can be executed by the information processing apparatus 10 may be restricted.
  • the commands that can be executed are limited according to the driving state of the car that the user drives, the danger caused by the user operating the information processing apparatus 10 or the like while driving the car is prevented. Can do.
  • the recognition setting is set according to a combination of two types of contexts (user pulse rate and user behavior, user age and user behavior, application used and user behavior). It was changed.
  • the present embodiment is not limited to the combination of two types of contexts, and the recognition setting may be changed according to a combination of three or more types of contexts.
  • Example 9 In the present embodiment, the command corresponding to the gesture may be changed according to the context related to the user.
  • FIG. 20 is an explanatory diagram for explaining Example 9 according to the present embodiment, and shows commands according to the types of external devices connected to the information processing apparatus 10.
  • the device control unit 264 associates a command “song advance (fast forward)” with the gesture A and a command “song back” with the gesture B.
  • the device control unit 264 associates the command “scroll (screen)” with the gesture A and the command “cancel (screen display)” with the gesture B.
  • the command to be issued is changed according to the user's situation even for the same gesture.
  • the convenience of the information processing apparatus 10 can be improved.
  • the command corresponding to the gesture is changed according to the context related to the user, a plurality of commands are linked to the same gesture, and an increase in the number of gestures to be recognized can be suppressed. Therefore, since the number of gestures to be recognized is limited, it is possible to expect further improvement in gesture recognition accuracy.
  • the command corresponding to the gesture is changed according to the activation state of the external device.
  • the smartphone 40 is in the sleep state and the headset 50 is operating, it is determined that the user's gesture is intended for an operation on the headset 50 and issues a command.
  • the recognition setting in the user's gesture recognition is changed according to the user's context, so that the gesture recognition accuracy can be further improved.
  • the accuracy of gesture recognition is improved, a command desired by the user can be issued based on the recognized gesture, so that malfunction in the information processing apparatus 10 can be prevented. it can.
  • the information processing apparatus 10 automatically recognizes the context related to the user, it is possible to save the user from inputting the context.
  • the information processing apparatus 10 is not limited to the bracelet-type terminal described above, and is mounted on a mobile terminal (including a motion controller terminal) carried by the user or a user's body.
  • a mobile terminal including a motion controller terminal
  • HMD head device
  • an anklet anklet
  • a bracelet a collar
  • a pad shoes
  • clothes a batch, etc.
  • the information processing apparatus 10 according to the present embodiment may not be a device that performs information processing in a stand-alone manner as described above.
  • the information processing apparatus 10 according to the present embodiment is applied to a system including a plurality of apparatuses based on connection to the network 70 (or communication between apparatuses) such as cloud computing. Also good. That is, the information processing apparatus 10 according to the present embodiment described above can also be realized as an information processing system that performs processing according to the information processing method according to the present embodiment using a plurality of apparatuses, for example. More specifically, as illustrated in FIG.
  • the information processing apparatus 10 includes a server 60 and a network.
  • a device connected via 70 may be used.
  • some functions of the main control unit 26 of the information processing apparatus 10 are implemented by the server 60, for example, context recognition such as user behavior is performed by the server 60, and user gesture recognition is performed by the information processing apparatus 10. It may be broken.
  • FIG. 22 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 900 according to the present embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the information processing apparatus 10 described above.
  • the information processing apparatus 900 includes, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input / output interface 958, and an operation input device 960. Further, the information processing apparatus 900 includes a display device 962, an audio output device 964, an audio input device 966, a communication interface 968, and a sensor 980. In addition, the information processing apparatus 900 connects each component with a bus 970 as a data transmission path, for example.
  • the CPU 950 includes, for example, one or more processors configured by an arithmetic circuit such as a CPU, various processing circuits, and the like, and a control unit that controls the entire information processing apparatus 900 (for example, the main control unit 26 described above) ).
  • the CPU 950 functions as, for example, the above-described context recognition unit 260, gesture recognition unit 262, device control unit 264, and setting change unit 266.
  • the ROM 952 stores programs used by the CPU 950, control data such as calculation parameters, and the like.
  • the RAM 954 temporarily stores a program executed by the CPU 950, for example.
  • the recording medium 956 functions as the storage unit 24 described above, and stores various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 956 include a magnetic recording medium such as a hard disk and a nonvolatile memory such as a flash memory. Further, the recording medium 956 may be detachable from the information processing apparatus 900.
  • the input / output interface 958 connects, for example, an operation input device 960, a display device 962, and the like.
  • Examples of the input / output interface 958 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
  • the operation input device 960 functions as, for example, the operation unit of the touch panel display 12 described above, is provided in the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • Examples of the operation input device 960 include buttons, direction keys, a rotary selector such as a jog dial, a touch panel, or a combination thereof.
  • the display device 962 functions as, for example, the display unit of the touch panel display 12 described above, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • Examples of the display device 962 include a liquid crystal display and an organic EL display (Organic Electro-Luminescence Display).
  • the audio output device 964 functions as the speaker 14 described above, for example, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the audio input device 966 functions as, for example, the microphone 16 described above, and is provided on the information processing apparatus 900, for example, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the input / output interface 958 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 900 or an external display device.
  • an operation input device for example, a keyboard or a mouse
  • the communication interface 968 functions as, for example, the communication unit 22 described above, and functions as a communication unit for performing wireless or wired communication with an external device such as the server 60 via a network (or directly).
  • examples of the communication interface 968 include a communication antenna and an RF (RADIO frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the sensor 980 functions as the motion sensor 18 or the biological sensor 20 described above. Further, the sensor 980 may include various sensors such as a positioning sensor and a temperature sensor.
  • the hardware configuration of the information processing apparatus 900 is not limited to the configuration shown in FIG.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the information processing apparatus 900 does not include the communication interface 968 when communicating with an external apparatus or the like via a connected external communication device, or when configured to perform stand-alone processing. Also good. Further, the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
  • the embodiment of the present disclosure described above may include, for example, a program for causing a computer to function as the information processing apparatus 10 according to the present embodiment, and a non-temporary tangible medium in which the program is recorded.
  • the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the information processing according to the above-described embodiment does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series.
  • the processing method of each step does not necessarily have to be processed according to the described method. For example, it may be processed by another function unit by another method.
  • a context recognition unit for recognizing a context related to a user a gesture recognition unit for recognizing a gesture of the user, a setting change unit for changing a recognition setting of the gesture recognition unit based on a recognition result of the context recognition unit,
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the gesture recognition unit recognizes the user's gesture based on one or more sensing results of a motion sensor that detects the user's movement. (3) The information processing according to (2), wherein the motion sensor includes at least one of an acceleration sensor attached to the user, a gyro sensor attached to the user, and an imaging device that images the user. apparatus.
  • the information processing apparatus changes a type of the sensing result acquired by the gesture recognition unit.
  • the setting change unit changes a weight for each of the plurality of sensing results acquired by the gesture recognition unit.
  • the setting change unit changes a recognition algorithm used by the gesture recognition unit.
  • the setting change unit changes a recognition engine used by the gesture recognition unit.
  • the setting change unit changes a type of a gesture to be recognized by the gesture recognition unit.
  • the information processing apparatus (13) The information processing apparatus according to any one of (1) to (12), wherein the context recognition unit recognizes the context related to the user based on a state of a user terminal used by the user. (14) The context recognition unit recognizes the context related to the user based on a type of the user terminal, a type of an application activated on the user terminal, or a type of a device connected to the user terminal. The information processing apparatus according to 13). (15) The information processing apparatus according to any one of (1) to (12), wherein the context recognition unit recognizes the context related to the user based on biological information acquired from the user. (16) The information processing apparatus according to any one of (1) to (12), wherein the setting change unit changes the recognition setting based on the attribute information of the user and an action schedule.
  • the information processing apparatus is any one of a mobile terminal carried by the user, a wearable terminal attached to the user's body, or an implant terminal inserted into the user's body. ). (19) Recognizing a context relating to the user, recognizing the user's gesture, and changing a recognition setting in the recognition of the gesture based on a recognition result of the context relating to the user. Method.

Abstract

【課題】ジェスチャの認識精度の更なる向上が可能な情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】ユーザに係るコンテキストを認識するコンテキスト認識部と、前記ユーザのジェスチャを認識するジェスチャ認識部と、前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を動的に変更する設定変更部と、を備える、情報処理装置を提供する。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 近年、腕時計のように腕に装着する形態のモバイル端末(以下、「腕輪型端末」と称する)が普及しつつある。このような腕輪型端末に対する操作入力は、主に端末上に設けられたタッチパネルに対して行われることが一般的である。しかし、腕輪型端末の中には、例えば下記特許文献1に示されているように、腕輪型端末が手首に装着されている際に「握る」や「放す」等のジェスチャを認識して、認識結果を入力コマンドとして受け付けることができる腕輪型端末も存在する。
 上述のようなジェスチャの認識は、加速度センサやジャイロセンサ等のモーションセンサを用いて腕輪型端末の動きを検出し、検出値から、ジェスチャの認識アルゴリズムを用いて、ユーザの行っているジェスチャがどのようなジェスチャであるのかを認識する。最近では、機械学習等を用いて高度な認識アルゴリズムを開発することが可能であり、このような認識アルゴリズムを用いることにより、ジェスチャを正確に認識するよう、認識精度を高めている。
特開2002-358149号公報
 しかしながら、上述のような高度な認識アルゴリズムを用いても、不安定、且つ、不確定な「動き」であるユーザのジェスチャを正確に認識することは難しく、認識精度の向上には限界があった。
 そこで、本開示では、ジェスチャの認識精度の更なる向上が可能な情報処理装置、情報処理方法、及びプログラムを提案する。
 本開示によれば、ユーザに係るコンテキストを認識するコンテキスト認識部と、前記ユーザのジェスチャを認識するジェスチャ認識部と、前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、を備える、情報処理装置が提供される。
 また、本開示によれば、ユーザに係るコンテキストを認識することと、前記ユーザのジェスチャを認識することと、前記ユーザに係るコンテキストの認識結果に基づいて、前記ジェスチャの認識における認識設定を変更することと、を含む、情報処理方法が提供される。
 さらに、本開示によれば、コンピュータを、ユーザに係るコンテキストを認識するコンテキスト認識部と、前記ユーザのジェスチャを認識するジェスチャ認識部と、前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、として機能させる、プログラムが提供される。
 以上説明したように本開示によれば、ジェスチャの認識精度の更なる向上が可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置10の外観を示す図である。 同実施形態に係る情報処理装置10の装着状態を説明する図である。 同実施形態に係る情報処理装置10の基本構成を示すブロック図である。 同実施形態に係る情報処理装置10と外部装置との接続の一例を示す説明図である。 同実施形態に係る情報処理装置10の認識する腕ジェスチャの一例を説明する説明図である。 同実施形態における指ジェスチャの一例を示す説明図である。 同実施形態における指ジェスチャの他の一例を示す説明図である。 同実施形態における指ジェスチャの更なる他の一例を示す説明図である。 同実施形態に係る情報処理方法を説明するフロー図である。 同実施形態に係るモーションセンサ18のセンシングの一例を示す説明図である。 同実施形態に係る実施例1を説明する説明図である。 同実施形態に係る実施例2を説明する説明図である。 同実施形態に係る実施例3を説明する説明図である。 同実施形態に係る実施例4を説明する説明図である。 同実施形態に係る実施例5を説明する説明図(その1)である。 同実施形態に係る実施例5を説明する説明図(その2)である。 同実施形態に係る実施例6を説明する説明図である。 同実施形態に係る実施例7を説明する説明図である。 同実施形態に係る実施例8を説明する説明図である。 同実施形態に係る実施例9を説明する説明図である。 本開示の一実施形態に係る情報処理装置10の変形例を説明する説明図である。 本開示の一実施形態に係る情報処理装置10のハードウェア構成の一例を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態に係る情報処理装置10の概要
 2.背景
 3.本開示の一実施形態に係る情報処理装置10の基本構成
 4.本開示の一実施形態に係る情報処理方法
 5.実施例
   5.1認識設定の変更例
   5.2 ユーザに係るコンテキストの例
   5.3 コマンドの変更例
 6.まとめ
 7.ハードウェア構成
 8.補足
  <<1.本開示の一実施形態による情報処理装置10の概要>>
 まず、本開示の一実施形態による情報処理装置10の概要について図1及び図2を参照して説明する。図1は、本開示の一実施形態に係る情報処理装置10の外観を示す図であり、図2は、本実施形態に係る情報処理装置10の装着状態を説明する図である。
 図1及び図2に示すように、本実施形態に係る情報処理装置10は、ユーザの腕80や手首に装着されるウェアラブル端末であって、腕輪型/腕時計型端末とも称される。当該情報処理装置10には、その外周面に、表示部及び操作部としての機能を有するタッチパネルディスプレイ12と、スピーカ14と、マイクロフォン16とが設けられている。
 タッチパネルディスプレイ12は、ユーザがタッチ操作しやすいように、例えば情報処理装置10の外周面のうちの一部の領域に設けられている。ただし、本実施形態においては、これに限定されるものではなく、タッチパネルディスプレイ12は、情報処理装置10の外周面の全体に設けられていても良い。タッチパネルディスプレイ12の表示部としての機能は、例えば液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイ等の表示画面装置により実現され、表示画面に文字、画像その他の情報を表示する。さらに、上記表示画面装置による文字、画像、その他の情報の表示は、後述する主制御部26のデバイス制御部264によって制御される。
 また、タッチパネルディスプレイ12の操作部としての機能は、例えば上述の表示画面装置に重畳され、ユーザによる接触位置を検出する操作面により実現される。当該操作面は、ユーザの腕80の外周方向に沿った曲面となることができる。
 なお、腕輪型端末である情報処理装置10において様々な機能を実現するためには、タッチパネルディスプレイ12の面積を大きくすることが望ましい。しかしながら、タッチパネルディスプレイ12が、ユーザの腕80の対して大きな面積を持つ場合には、腕輪型端末の装着性や操作性が低下することとなる。そのため、タッチパネルディスプレイ12は、図2に示すように、ユーザの腕80に沿うような形で幅の狭い曲面となっている。ユーザは、図2に示すように、自身の腕80に装着した情報処理装置10のタッチパネルディスプレイ12による表示画面を見ながら、表示画面に重畳して設けられた操作面に対して当該情報処理装置10が装着されていない腕の指82でタッチ操作を行う。なお、以下の説明においては、当該情報処理装置10が装着された腕80の指を指84と称し、図2においては、左手の指として示されている。また、以下の説明においては、当該情報処理装置10が装着されていない腕の指を指82と称し、図2においては、右手の指として示されている。また、以下に説明する実施形態においては、当該情報処理装置10は、左腕に装着されるものに限定されるものではなく、右腕に装着されていてもよい。
 スピーカ14は、音声出力機能を有し、図1及び図2に示すように、情報処理装置10の外周面において、タッチパネルディスプレイ12の近傍に設けられるスピーカにより実現される。また、マイクロフォン16は、収音機能を有し、図1及び図2に示すように、情報処理装置10の外周面において、タッチパネルディスプレイ12の近傍に設けられるマイクロフォンにより実現される。なお、図1に示すスピーカ14と、マイクロフォン16との設置個数及び位置はあくまでも一例であって、本実施形態はこれに限定されるものではなく、例えばスピーカ14、マイクロフォン16を情報処理装置10の外周面に複数個設けてもよい。
  <<2.背景>>
 ところで、上述のような腕輪型端末である情報処理装置10は、ユーザに装着され、当該ユーザのジェスチャを認識し、認識結果に基づいて、当該情報処理装置10で行われる情報処理のためのコマンドを発行することができる。しかしながら、先に説明したように、不安定、且つ、不確定な「動き」等であるユーザのジェスチャを正確に認識することは難しく、ジェスチャ認識精度の向上には限界があった。
 詳細には、ユーザのジェスチャを認識するために、情報処理装置10にはモーションセンサ18が設けられている。当該モーションセンサ18は、加速度センサやジャイロセンサ等を含んでいる(なお、モーションセンサ18の詳細については、後述する)。このようなモーションセンサ18は、ユーザへの装着状態(例えば、ユーザの腕80にきつく固定されている、もしくはゆるく固定されている等)に応じてその状態(センサが振動しにくい等)も変化することから、モーションセンサ18のセンシングの傾向は変化する。その結果、ユーザが同じジェスチャを行った場合であっても、得られるセンシング結果は異なるものとなることがある。また、センシングの傾向は、上記モーションセンサ18を装着したユーザの状態によっても変化し、ユーザが静止しているときと、ユーザが走っているときとでは、ユーザの運動による加速度等の影響により変化する。
 これまでは、上述のような情報処理装置10においては、当該情報処理装置10が装着されたユーザの状態、及び当該情報処理装置10の装着状態等がどのような状況であっても、一様に動作する認識エンジンを用いて、ジェスチャの認識を行っていた。すなわち、これまでは、情報処理装置10においては、モーションセンサ18のセンシング傾向が変化しても一様に動作する認識エンジンを用いていた。しかしながら、先に説明したように、ユーザの状態等に応じてモーションセンサ18のセンシング傾向が変化することから、一様に動作する認識エンジンを用いた場合では、ユーザのジェスチャをユーザの意図したジェスチャとして認識できないことがある。
 そこで、本開示では、上述のようなユーザの状態、状況等(以下の説明においては、これらをユーザに係るコンテキストと呼ぶ)に応じて、ジェスチャの認識エンジン等のようなジェスチャ認識における認識設定を変える情報処理装置10を提案する。本開示によれば、上述のようなユーザの状態等に応じて変化するモーションセンサ18のセンシング傾向に合わせて、上記認識設定を変えることから、ジェスチャ認識精度の更なる向上を期待することができる。
 なお、以下の説明においては、コンテキストとは、ユーザの状態やユーザの置かれた状況、ユーザの属性等のユーザに関わる情報を意味し、ジェスチャを認識するための認識設定を変更するための判断材料となる情報となる。また、以下の説明においては、ジェスチャとは、何かを伝達するために人が行う動作のことを意味する。詳細には、ジェスチャとは、上記情報処理装置10等に対して指示を伝達するために、腕や手等の身体の一部の形状や向きで表現される態様や、手や指先等の身体の一部を動かす身体運動や、眼球運動のことを意味する。さらに、以下の説明においては、認識エンジンとは、ユーザのジェスチャを認識するための情報処理を実行する機構(装置)及びプログラム(各種設定を含む)の総称を意味する。
  <<3.本開示の一実施形態に係る情報処理装置10の基本構成>>
 以下に、本開示の一実施形態に係る情報処理装置10の基本構成を図3から図8を参照して説明する。図3は、本実施形態に係る情報処理装置10の基本構成を示すブロック図である。図4は、本実施形態に係る情報処理装置10と外部装置との接続の一例を示す説明図である。さらに、図5は、本実施形態に係る情報処理装置10の認識する腕ジェスチャの一例を説明する説明図である。また、図6から図8は、本実施形態における指ジェスチャの一例を示す説明図である。
 本実施形態に係る情報処理装置10は、先に説明したように、ユーザの腕80や手首に装着されるウェアラブル端末である。図3に示すように、情報処理装置10は、タッチパネルディスプレイ12、スピーカ14、マイクロフォン16、モーションセンサ18、生体センサ20、通信部22、記憶部24、及び、主制御部26を主に有する。以下に、本実施形態に係る情報処理装置10の各ブロックについて説明する。
 (タッチパネルディスプレイ12)
 タッチパネルディスプレイ12は、先に説明したように、情報処理装置10の外周面に設けられ、表示部および操作部の機能を有する。
 (スピーカ14)
 スピーカ14は、先に説明したように、情報処理装置10の外周面に設けられ、音声(オーディオ信号)を出力する機能を有する。例えば、スピーカ14は、アラーム等によりユーザへの通知を行ったり、通話中は受話音声を出力したりする。
 (マイクロフォン16)
 マイクロフォン16は、先に説明したように、情報処理装置10の外周面に設けられ、音声(オーディオ信号)を入力する機能を有する。例えば、マイクロフォン16は、ユーザによる音声入力を受付けたり、通話中はユーザの発話音声を収音したりする。
 (モーションセンサ18)
 モーションセンサ18は、情報処理装置10に設けられ、ユーザの行動(ユーザが歩いている等)や、情報処理装置10が装着されたユーザの腕80の動作(ジェスチャ)を検出するセンサである。モーションセンサ18は、後述するように、ユーザの指先の動作(指ジェスチャ)も検出することができる。モーションセンサ18は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、ポテンショメータ、エンコーダ等の空間的な動きや角度を検出する、1つ又は複数のセンサデバイスにより実現される。モーションセンサ18によって得られた1つ又は複数のセンシング結果は、後述する主制御部26に出力され、当該主制御部26において、ユーザの行動を認識したり、ユーザのジェスチャを認識したりする際に用いられることとなる。
 また、当該モーションセンサ18は、撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いてユーザを撮像する撮像装置を含んでもいてもよい。この場合、撮像装置によって撮像される画像には、ユーザの動作やユーザの目の動き(眼球運動)等がキャプチャされる。当該撮像装置によるセンシング結果である上記画像は、後述する主制御部26に出力され、当該主制御部26において、ユーザの動作や視線の動き(ジェスチャ)を認識したりする際に用いられることとなる。さらに、当該モーションセンサ18は、ユーザのジェスチャを認識することができる赤外線センサ、超音波センサ等を含んでいてもよい。なお、このような撮像装置及び赤外線センサ等は、情報処理装置10に設けられていてもよく、もしくは、ユーザの周囲に、情報処理装置10とは別体の装置として設置されていてもよい。
 さらに、当該モーションセンサ18は、測位センサを含んでいてもよい。測位センサは、情報処理装置10が装着されたユーザの位置を検出するセンサであり、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、測位センサは、GNSS衛星からの信号に基づいて、ユーザの現在地の緯度・経度を示すセンシング結果を生成する。当該測位センサによるセンシング結果は、後述する主制御部26に出力されて、当該主制御部26において、センシング結果の変化からユーザの移動や移動速度を検出する際に用いられることとなる。また、例えばRFID(RADIO frequency Identification)、Wi-Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位センサとして利用することも可能である。
 本実施形態に係るモーションセンサ18は、ユーザのジェスチャを検出することもでき、ユーザの行動も検出することもできる。検出されたユーザの行動は、ユーザに係るコンテキストの1つであり、ジェスチャを認識するための認識設定を変更するための判断材料となる情報の1つとなる。言い換えると、本実施形態に係るモーションセンサ18は、ユーザの係るコンテキストを認識するためのセンシング結果を取得し、ユーザのジェスチャを認識するためのセンシング結果を取得することができる。なお、上述の説明においては、モーションセンサ18は、コンテキストを認識するためのセンシング結果とジェスチャを認識するためのセンシング結果との両方を取得することができるものとして説明したが、本実施形態においてはこれに限るものではない。例えば、モーションセンサ18は、コンテキストのためのセンシング結果を得るセンサと、ジェスチャのためのセンシング結果を得るセンサとを別個に有していてもよい。
 (生体センサ20)
 生体センサ20は、情報処理装置10に設けられ、ユーザの生体情報を検出するセンサである。当該生体センサ20は、例えば、ユーザの身体の一部に直接的又は間接的に装着され、ユーザの心拍数、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する1つ又は複数のセンサを含む。生体センサ20によって得られた1つ又は複数の生体情報は、後述する主制御部26に出力されて、当該主制御部26において、ユーザのコンテキストを認識する際に用いられることとなる。
 さらに、本実施形態に係る情報処理装置10は、上述のモーションセンサ18及び生体センサ20の他に、情報処理装置10のユーザの腕80への装着状態を検出する圧力センサ(図示省略)や、ユーザの周囲の環境温度を測定する温度センサ(図示省略)等、様々なセンサを含んでもよい。
 (通信部22)
 本実施形態に係る情報処理装置10は、図4に示すように、ユーザが所持するスマートフォン40やヘッドセット50等の外部装置と無線通信又は有線通信等により接続することができる。すなわち、当該通信部22は、情報処理装置10に設けられ、上述の外部装置と接続し、データの送受信を行う機能を有する通信インタフェースである。例えば、当該通信部22は、スマートフォン40やヘッドセット50等と接続してデータの送受信を行ってもよいし、ネットワーク70を介して所定のサーバ60と接続してデータの送受信を行ってもよい(図21参照)。また、当該通信部22は、ユーザが所持するスマートフォン40等との間でデータの送受信を行うことにより、情報処理装置10と接続された外部装置の種類や、外部装置の状態(起動中のアプリケーションの種類等)を検出するセンサとしても機能する。なお、通信部22は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。また、本実施形態においては、上述の外部装置は、図4に示すようにスマートフォン40やヘッドセット50に限定されるものではなく、タブレット、ラップトップ型PC(Personal Computer)、ノート型PC、HMD(HEAD Mounted Display)等であってもよい。
 (記憶部24)
 記憶部24は、情報処理装置10に設けられ、後述する主制御部26が各種処理を実行するためのプログラム等を記憶する。例えば、記憶部24は、後述するデバイス制御部264が、認識されたジェスチャに応じてコマンドを発行するためのプログラムを格納する。なお、記憶部24は、例えば、ハードディスク(Hard Disk:HD)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)等により実現される。
 (主制御部26)
 主制御部26は、情報処理装置10に設けられ、情報処理装置10の各ブロックを制御することができる。当該主制御部26は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。また、当該主制御部26は、コンテキスト認識部260、ジェスチャ認識部262、デバイス制御部(コマンド発行部)264、及び設定変更部266として機能することもできる。以下に、本実施形態に係る主制御部26のこれら機能の詳細について説明する。
 -コンテキスト認識部260-
 コンテキスト認識部260は、ユーザに係るコンテキストを認識する。そして、コンテキスト認識部260の認識結果は、後述する設定変更部266に出力される。また、コンテキスト認識部260の認識結果は、上述のタッチパネルディスプレイ12に表示されてもよく、もしくは、上述のスピーカ14を介してユーザに出力されてもよい。
 コンテキスト認識部260は、上述のモーションセンサ18による1つ又は複数のセンシング結果に基づいて、ユーザに係るコンテキストを認識する。詳細には、コンテキスト認識部260は、ユーザが座っている、ユーザが走っている、ユーザが電車に乗っている等のユーザの行動を、ユーザに係るコンテキストの1つとして、上述のモーションセンサ18のセンシング結果に基づいて、認識することができる。例えば、コンテキスト認識部260は、一定時間において、モーションセンサ18により加速度の変化や、ユーザの位置の変化が検出されない場合には、ユーザが寝ている等の静止状態にあることを認識する。この際、コンテキスト認識部260は、モーションセンサ18により検出された情報処理装置10の向き等により、ユーザが仰向けで寝ているか、横向きに寝ているか等を認識することもできる。また、コンテキスト認識部260は、例えば、モーションセンサ18により急な加速度の変化や方向転換等を検出したことに基づき、ユーザが走っているといったユーザの行動を認識することもできる。さらに、コンテキスト認識部260は、例えば、モーションセンサ18により、高速でのユーザの移動や方向転換を検出したことに基づき、ユーザが自動車に乗っていることを認識することもできる。なお、コンテキスト認識部260は、モーションセンサ18によって検出された各種の値により、ユーザの行動を認識してもよい。もしくは、コンテキスト認識部260は、モーションセンサ18によって得られたセンシング結果のパターン(センシング結果の挙動)を、教師データ(既知の行動で得られるパターン)とマッチングすることにより、ユーザの行動を認識してもよい。
 また、コンテキスト認識部260は、上述の圧力センサ(図示省略)による検出結果に基づいて、情報処理装置10のユーザの腕80への装着状態を認識してもよい。より具体的には、コンテキスト認識部260は、圧力センサの検出結果に基づいて、腕輪型端末である情報処理装置10がきつくユーザの腕80に固定されているのか、もしくは、緩くユーザの腕80に固定されているのかを、認識することができる。さらに、コンテキスト認識部260は、モーションセンサ18によって検出された加速度の向きにより、情報処理装置10の装着された腕80がユーザの右腕であるか、左腕であるかを認識してもよい。
 また、コンテキスト認識部260は、上述の生体センサ20によって検出された各種生体情報(心拍数、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等)に基づいて、ユーザの状態を認識してもよい。例えば、コンテキスト認識部260は、生体センサ20によるユーザの心拍数から、ユーザが運動している、又は興奮している等を認識してもよい。
 また、コンテキスト認識部260は、上述の通信部22による通信により、ユーザが使用するユーザ端末(外部装置)の種類や状態を認識してもよい。詳細には、コンテキスト認識部260は、通信部22を介して、情報処理装置10と接続されたスマートフォン40等の外部装置の種類や、外部装置で起動するアプリケーションの種類、又は、当該外部装置に接続されたデバイスの種類等を認識することができる。なお、当該外部装置に接続されたデバイスとしては、例えば外部装置がスマートフォン40である場合には、当該スマートフォン40に接続されたヘッドセット50を挙げることができる。ところで、コンテキスト認識部260で認識された外部装置の状態は、ユーザの端末使用に関する情報であることから、ユーザの状態を示す情報であると言える。例えば、ユーザ端末がスマートフォン40であり、当該スマートフォン40において音楽プレーヤアプリが起動している場合には、ユーザは音楽を聴いている状態にあることが推測できる。
 さらに、コンテキスト認識部260は、ユーザの属性情報、及び行動予定を取得してもよい。詳細には、コンテキスト認識部260は、ユーザの性別や年齢等の属性情報や、ユーザの予定された行動とその予定日時等を含む行動予定に関する情報を取得してもよい。なお、これら属性情報及び行動予定は、あらかじめ情報処理装置10に入力されていてもよく、もしくは、上述の通信部22を介して、外部のサーバ60(図21参照)から取得してもよい。
 -ジェスチャ認識部262-
 ジェスチャ認識部262は、ユーザの動作を検出するモーションセンサ18による1つ又は複数のセンシング結果に基づいて、ユーザのジェスチャを認識する。そして、ジェスチャ認識部262の認識結果は、後述するデバイス制御部264に出力される。また、ジェスチャ認識部262の認識結果は、上述のタッチパネルディスプレイ12に表示されてもよく、もしくは、スピーカ14を介してユーザに出力されてもよい。
 例えば、ジェスチャ認識部262は、図5に示すように、ユーザが、情報処理装置10が装着された腕80を振り上げる動作や、腕80を左右に振る動作や、腕80を回転させる動作等を、所定のジェスチャ(腕ジェスチャ)として認識することができる。なお、以下の説明においては、ユーザが腕80を振り上げる動作とは、図5の左側に示すように、ユーザが腕80を下げた状態から、腕時計を見る際に行う動作のように、腕80を曲げて上げる動作のことをいう。また、ユーザが腕80を回転させる動作とは、図5の右側に示すように、腕80の中心を回転軸として回転させる動作のことをいう。すなわち、「腕を回転させる」ジェスチャは、「手首をまわす」ジェスチャとして見做されてよい。
 また、ジェスチャ認識部262は、情報処理装置10が装着された腕80の指84の動きを所定のジェスチャとして認識してもよい。例えば、ジェスチャ認識部262は、人差し指84と親指84とでつまむピンチ動作や、人差し指84を特定の方向へ移動させるスワイプ動作、指先同士をタッピングするタップ動作、指先をはじくフィンガーフリック動作、指を鳴らすように動かすフィンガースナップ動作等の指84による指ジェスチャの種類を検出することができる。例えば、以下の説明においては、タップ動作は、図6に示すように、情報処理装置10を装着した腕80の2本の指84の指先を接触させて、次いで離す動作にことをいう。なお、図6においては、親指と人差し指とを用いたタップ動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指を用いたタップ動作であってもよい。また、フィンガーフリック動作は、図7に示すように、情報処理装置10を装着した腕80の中指84を親指84で押さえつけた後、当該中指84を当該親指84の押さえから開放してはじく動作のことをいう。すなわち、当該フィンガーフリック動作は、ビー玉やおはじき等をはじく際に行われる指の動作である。なお、図7においては、親指と中指とを用いたフィンガーフリック動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指とを用いたフィンガーフリック動作であってもよい。さらに、フィンガースナップ動作は、図8に示すように、情報処理装置10を装着した腕80の親指84と中指84とをこすり付け、次いで中指84を親指84の付け根に打ち当てる動作である。すなわち、フィンガースナップ動作は、指を鳴らす際に行われる指の動作である。なお、図8においては、親指と中指とを用いたフィンガースナップ動作を示しているが、本実施形態においては、これに限定されるものではなく、他の指と親指とを用いたフィンガースナップ動作であってもよい。さらに、本実施形態においては、ジェスチャ認識部262が認識する指ジェスチャの種類は上述の動作に限定されるものではなく、指84を用いて行われる指ジェスチャであれば特に限定されるものではない。
 また、ジェスチャ認識部262は、指ジェスチャの種類を認識するだけに限られず、指ジェスチャの行われた回数、指ジェスチャを行った指84がいずれの指(親指、人差し指、中指、薬指、小指)であったか等の指の種類を認識することもできる。
 さらに、ジェスチャ認識部262は、マイクロフォン16に収音された環境音を解析し、ユーザの指82による指ジェスチャで生じる特定の周波数の音を抽出し、指ジェスチャの実行や、指ジェスチャの行われた回数を認識してもよい。
 なお、上述の説明においては、情報処理装置10が装着された腕80もしくはその指84の動きを認識するとして説明したが、本実施形態においてはこれに限定されるものではない。例えば、ジェスチャ認識部262は、情報処理装置10が装着されていない腕80もしくはその指82の動きを認識してもよい。
 さらに、ジェスチャ認識部262は、ユーザの視線の動きを所定のジェスチャとして認識してもよい。例えば、ジェスチャ認識部262は、ユーザのすばやい視線の動きを、指で行うフリック動作と同様のジェスチャとして認識してもよく、ユーザのゆっくりとした視線の動きを、指で行うドラッグ動作と同様のジェスチャとして認識してもよい。
 なお、ジェスチャ認識部262は、モーションセンサ18によって検出された各種の値により、ジェスチャを認識してもよい。もしくは、ジェスチャ認識部262は、モーションセンサ18によって得られたセンシング結果のパターン(センシング結果の挙動)を、教師データ(既知のジェスチャで得られるパターン)とマッチングすることにより、ジェスチャを認識してもよい。
 また、ジェスチャ認識部262は、機械学習によってユーザのジェスチャの傾向を勘案してそのジェスチャ認識の精度を高めてもよい。例えば、情報処理装置10は、その起動の間に、ジェスチャを認識した際の、認識結果と、その認識に用いたセンシング結果とを互いに紐づけて格納する。さらに、情報処理装置10は、認識されたジェスチャに基づいて発行されたコマンドが実施された後のユーザの情報処理装置10に対する操作から、認識した上記ジェスチャが、ユーザが意図したジェスチャであるか否かを推測する。具体的には、コマンド実施が開始された後にユーザによって当該コマンドの停止操作が行われなかった場合には、コマンドはユーザが所望したものであり、当該コマンドに対応するジェスチャが、ユーザが意図したジェスチャとして正しく認識されていると推測する。そして、ユーザが意図したジェスチャであると推測された場合には、情報処理装置10は、当該ジェスチャに係るセンシング結果を、新たにジェスチャ認識を行う際の当該ジェスチャに係る教師信号として設定する。このようにすることにより、情報処理装置10が装着された特定のユーザのジェスチャの傾向を反映したジェスチャ認識を行うことが可能になることから、ジェスチャ認識の精度をより高めることができる。
 -デバイス制御部264-
 デバイス制御部264は、上述のジェスチャ認識部262によって認識されたジェスチャに基づき、情報処理装置10に設けられた各種デバイスが所定の処理を行うためのコマンドを発行し、上記各種のデバイスを制御する。詳細には、各ジェスチャには、発行するコマンドが対応付けられており、デバイス制御部264は、ジェスチャ認識部262によって認識されたジェスチャに対応するコマンドを発行し、各種デバイスを制御する。例えば、デバイス制御部264は、タッチパネルディスプレイ12、スピーカ14、及びマイクロフォン16といった各種デバイスのON/OFFや、タッチパネルディスプレイ12上の表示に対するスクロール、選択、決定、キャンセル等の制御を行う。また、デバイス制御部264は、情報処理装置10に接続されたスマートフォン40等の外部装置を制御してもよい。さらに、デバイス制御部264は、ユーザに係るコンテキストに応じて、ジェスチャに対応付けられたコマンドを変更してもよい。
 -設定変更部266-
 設定変更部266は、上述のコンテキスト認識部260の認識結果に基づいて、ジェスチャ認識部262のジェスチャ認識に係る認識設定を変更する。
 例えば、設定変更部266は、ジェスチャ認識部262がジェスチャ認識の際に用いる認識アルゴリズムの設定を変更してもよい。より具体的には、ユーザの行動のようなユーザに係るコンテキストごとに認識アルゴリズムにおける閾値を予め定めておき、設定変更部266は、上述のコンテキスト認識部260の認識結果に基づいて、当該閾値を変更する。この場合、当該閾値は、例えば、センシング結果に対して、当該センシング結果がジェスチャAに起因するのか、ジェスチャBに起因するものかを判別する際にその境界となる条件のことをいう。従って、同じセンシング結果が得られた場合でも、ユーザに係るコンテキストに応じて当該閾値が変化することから、ジェスチャ認識部262の認識結果が異なることがある。
 また、例えば、設定変更部266は、認識設定の変更として、上述のモーションセンサ18の検出設定を変更してもよい。詳細には、設定変更部266は、検出設定の一例として、モーションセンサ18に含まれる各種センサの閾値を変更してもよい。この場合、当該閾値は、例えば、各種センサがジェスチャを認識することができる最も低い値のことをいう。また、設定変更部266は、各種センサのセンシング時間や、センシング間隔(サンプリング周波数)等を変更してもよい。さらに、設定変更部266は、各種センサにより得られた値をうち、センシング結果として上述のジェスチャ認識部262に出力する範囲(例えば、周波数帯域)を変更してもよい。
 また、例えば、設定変更部266は、上述のジェスチャ認識部262が取得するセンシング結果の種類、すなわち、ユーザのジェスチャ認識で用いるセンサの種類を変更してもよい。詳細には、上述のモーションセンサ18には、例えば、加速度センサやジャイロセンサが含まれると仮定する。このような場合、設定変更部266は、ユーザに係るコンテキストに応じて、加速度センサ及びジャイロセンサのセンシング結果を用いてジェスチャ認識するように設定したり、加速度センサのセンシング結果のみを用いてジェスチャ認識するように設定したりする。さらに、設定変更部266は、ユーザに係るコンテキストに応じて、ジェスチャ認識で用いる各種センシング結果に対して重みづけを行ってもよい。詳細には、設定変更部266は、ジャイロセンサのセンシング結果と比べて、加速度センサのセンシング結果がジェスチャ認識により反映されるように、ジャイロセンサのセンシング結果に対して高く重みづけを行ってもよい。
 また、例えば、設定変更部266は、後述するジェスチャ認識部262が認識する対象となるジェスチャの種類を変更してもよい。詳細には、ジェスチャ認識部262は、例えば、腕80を振り上げる動作、腕80を左右に振る動作、腕80を回転させる動作の3つの動作を、ジェスチャとして認識可能であるとする。このような場合、設定変更部266は、ユーザに係るコンテキストに応じて、上記3つの動作の全てをジェスチャとして認識するように設定したり、上記3つの動作のうちの2つの動作をジェスチャとして認識するように設定したりする。
 さらに、設定変更部266は、上述した複数の設定変更のうちのいずれか複数を組み合わせて実施してもよい。また、設定変更部266は、認識エンジンを変更してもよい。ここで、認識エンジンとは、先に説明したように、ユーザのジェスチャを認識するための情報処理を実行する機構及びプログラム(各種設定を含む)を意味する。具体的には、設定変更部266は、ユーザのコンテキストごとに準備された認識エンジンに設定することにより、各コンテキストに特化して最適化された、センサの種類、センサの検出設定、認識する対象となるジェスチャの種類等を設定する。
 すなわち、本実施形態においては、設定変更部266が変更する認識設定の内容は限定されるものではなく、設定変更部266は、ユーザに係るコンテキストに応じて、ユーザのジェスチャを認識するための様々な認識設定を変更することができる。
  <<4.本開示の一実施形態に係る情報処理方法>>
 以上、本実施形態による情報処理装置10の構成について詳細に説明した。次に、本開示の一実施形態に係る情報処理方法について説明する。本実施形態における情報処理方法の大まかな流れを説明すると、まず、当該情報処理装置10がユーザに係るコンテキストを認識する。次に、当該情報処理装置10は、ユーザに係るコンテキストの認識結果に基づいて、ジェスチャの認識における認識設定を変更する。さらに、当該情報処理装置10は、認識設定が変更された状態でユーザのジェスチャを認識し、認識されたジェスチャに基づき、情報処理のためのコマンドを発行する。以下に、本実施形態における情報処理方法について、図9を参照して説明する。図9は、本実施形態に係る情報処理方法を説明するフロー図である。
 (ステップS100)
 情報処理装置10は、上述のモーションセンサ18による1つ又は複数のセンシング結果を取得する。なお、当該ステップS100においては、情報処理装置10は、上記センシング結果を取得することに限定されるものではなく、例えば、ユーザから取得された生体情報、情報処理装置10の装着状態等の他の情報を併せて取得してもよい。
 (ステップS200)
 情報処理装置10は、取得された1つ又は複数のセンシング結果に基づき、ユーザに係るコンテキストを認識する。例えば、情報処理装置10はユーザの行動(例えば、ユーザが走っている等)を認識する。
 (ステップS300)
 情報処理装置10は、所定のコンテキストが取得されたか否か判断する。例えば、情報処理装置10は、ユーザが走っていることが認識されたか否かを判断する。情報処理装置10は、所定のコンテキストが認識された場合には、後述するステップS400へ進み、所定のコンテキストが認識されない場合には、上述のステップS100へ戻る。
 (ステップS400)
 情報処理装置10は、ユーザに係るコンテキストの認識結果に基づいて、ジェスチャの認識における認識設定を変更する。例えば、情報処理装置10は、モーションセンサ18の検出設定を変更する。
 (ステップS500)
 情報処理装置10は、ユーザの所定のジェスチャを認識したか否かを判断する。例えば、情報処理装置10は、モーションセンサ18のセンシング結果に基づいて、ユーザが腕80を振り上げるジェスチャを認識する。情報処理装置10は、所定のジェスチャが認識された場合には、後述するステップS600へ進み、所定のジェスチャが認識されない場合には、上述のステップS100へ戻る。
 (ステップS600)
 情報処理装置10は、ステップS500で認識されたジェスチャに基づき、認識されたジェスチャに対応するコマンドを発行する。例えば、情報処理装置10は、腕を振り上げるジェスチャに対応する、音楽再生コマンドを発行する。
 (ステップS700)
 情報処理装置10は、ユーザからジェスチャ認識を終了する旨の指示(例えば、情報処理装置10の起動停止の指示)を受け付けた場合には、本実施形態に係る情報処理を終了する。一方、情報処理装置10は、ユーザからジェスチャ認識を終了する旨の指示を受け付けていない場合には、上述のステップS100へ戻る。すなわち、上記ステップS100からステップS700は、ユーザからの指示がない限り、繰り返し実施されることとなる。例えば、図9に示される本実施形態に係る情報処理は、情報処理装置10のバックグラウンド処理の1つとして、繰り返し実施されることとなる。
 なお、図9に示すように、本実施形態に係る情報処理が繰り返し実施される場合には、コンテキスト認識と、認識設定の変更とが繰り返され、すなわち、ジェスチャ認識部262の認識設定はコンテキストに応じて動的に変更されることとなる。従って、コンテキストに応じて認識設定が最適化され、ジェスチャ認識の精度が向上することとなる。さらに、本実施形態に係る情報処理が繰り返し実施される場合には、コンテキストの認識は、事前に変更された認識設定の状態で行われる。詳細には、コンテキスト認識部260が新たにコンテキストの認識を行う場合には、モーションセンサ18は事前に変更された検出設定に維持されており、すなわち、設定変更されたモーションセンサ18のセンシング結果に基づいて、新たな認識を行うこととなる。
 また、上述したように、ユーザに係るコンテキストの認識も、ユーザのジェスチャの認識も、モーションセンサ18によるセンシング結果に基づいて行うことができる。しかしながら、ジェスチャ認識で用いるセンシング結果と、コンテキストの認識で用いるセンシング結果とは、同じモーションセンサ18から得られるものであっても、センシング結果を取得する際の時間の幅等において違いがある場合がある。以下に、これらセンシング結果の違いの一例を、図10を用いて説明する。図10は、本実施形態に係るモーションセンサ18のセンシングの一例を示す説明図であって、詳細には、時間経過に沿った、モーションセンサ18によって取得されたセンシング値の変化を示している。なお、図10においては、モーションセンサ18の各種センサのうちの1つのセンサによるセンシング値(例えば、X軸方向の加速度をセンシングする加速度センサによるセンシング値)を示している。
 図10に示すように、例えば、本実施形態に係る情報処理の当初において取得されたセンシング値は、ユーザに係るコンテキストの1つであるユーザの行動を認識するために用いられる。なお、ユーザが走っている、歩いている等のようなユーザの行動を正確に認識するためには、センシング値を取得する時間幅(検出時間)は長いことが好ましく、例えば、数分から数10分に亘ってセンシング値を取得する。次に、本実施形態に係る情報処理においては、ユーザの行動を認識するためのセンシング値を取得した後に、当該センシング値等に基づいて認識設定が変更され、ユーザのジェスチャを認識する段階に移る。ユーザが腕80を振るといったジェスチャは、上述のユーザの行動に比べて短い時間で行われるため、センシング値を取得する時間幅は短く、例えば、数秒から数分に亘ってセンシング値を取得する。従って、ジェスチャ認識で用いるセンシング結果と、コンテキストの認識で用いるセンシング結果とは、センシング結果を取得する際の時間の幅が異なっている。
 なお、本実施形態においては、ジェスチャ認識で用いるセンシング結果と、コンテキストの認識で用いるセンシング結果との違いは、上述のような違いに限定されるものではない。例えば、ユーザが走っている等のユーザの行動は、ゆっくりとした数値変化を生じさせ、ユーザが腕80を振るといったユーザのジェスチャは、急激な数値変化を生じさせる。このような違いに起因して、所定時間あたりの、ジェスチャ認識で用いるセンシング結果のサンプリング回数は、コンテキストの認識で用いるセンシング結果のサンプリング回数に比べて多くなる場合がある。詳細には、ジェスチャにおいては、急激な数値変化が生じるため、ジェスチャに係る数値の挙動を正確にとらえるためには、サンプリング周波数を高くし、時間的に細かくサンプリングすることが求められる。一方、ユーザの行動においては、ゆっくりとした数値変化が生じるため、行動に係る数値の挙動をとらえるためにサンプリング周波数を高める必要はなく、センサの消費電力等を考慮して、サンプリング周波数を低くすることが好ましい。例えば、ジェスチャ認識で用いるセンシング結果のサンプリング周波数は、数10Hz程度であるのに対し、コンテキストの認識で用いるセンシング結果のサンプリング周波数は、数Hz程度、もしくはそれ以下であってもよい。
  <<5.実施例>>
 以上、本実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本実施形態に係る情報処理の一例についてより具体的に説明する。なお、以下に示す実施例は、本実施形態に係る情報処理のあくまでも一例であって、本実施形態に係る情報処理が下記の例に限定されるものではない。
  <5.1 認識設定の変更例>
 まずは、ジェスチャ認識部262における認識設定の変更について説明する実施例1から実施例4を説明する。
 (実施例1)
 まず、図11を参照して、ユーザの行動に応じてセンサの閾値を変更する実施例1を説明する。図11は、本実施形態に係る実施例1を説明する説明図であって、詳細には、ユーザの行動に応じたセンサの閾値の一例を示している。
 図11に示すように、実施例1では、設定変更部266は、ユーザのコンテキストであるユーザの行動に応じて、モーションセンサ18に含まれるセンサの閾値を変更する。なお、センサの閾値は、先に説明したように、センサがジェスチャを認識することができる最も低い値のことをいう。例えば、ユーザが寝ているときには、設定変更部266が閾値を高く設定することにより(図11では閾値を9に設定)、ユーザの睡眠中には、モーションセンサ18はユーザのジェスチャを認識し難くなる。すなわち、閾値を高く設定することにより、モーションセンサ18は、例えば、加速度等を大きく変化させるジェスチャを認識するものの、加速度等を小さく変化させるジェスチャを認識することが難しくなる。ユーザが、睡眠中である場合には、情報処理装置10に対して操作を行おうとする蓋然性は低いと考えられ、特定のジェスチャと似た動作をユーザが行った場合であっても、当該動作は、ユーザが情報処理装置10に対する操作を意図しないものある可能性が高い。そこで、ユーザの睡眠中にセンサの閾値を高く設定することにより、ジェスチャ認識部262が、睡眠中のユーザの動作を、ユーザが意図しない特定のジェスチャとして誤って認識することを避けることができる。その結果、実施例1においては、ジェスチャの誤認識に基づいて、デバイス制御部264が、ユーザが意図しないコマンドを発行することを避けることができ、ひいては情報処理装置10の誤動作を避けることができる。
 また、座っている、立っている等のようなユーザが静止している場合には、設定変更部266がセンサの閾値を低く設定することにより(図11では閾値を1に設定)、モーションセンサ18は、加速度等を小さく変化させるジェスチャであっても認識することができる。ユーザが静止している場合には、ユーザの走行(ユーザの行動)等に起因して発生する加速度等の影響をモーションセンサ18が受けないことから、このような影響によってモーションセンサ18のセンシング傾向が変化することを考慮しなくてもよい。例えば、モーションセンサ18によって検出される加速度は、ユーザが静止している場合には、ユーザのジェスチャによる加速度のみである。一方、モーションセンサ18によって検出される加速度は、ユーザの走行中においては、ユーザの走行による加速度と、ユーザのジェスチャによる加速度との総和になる場合がある。すなわち、ユーザの行動等に応じて、モーションセンサ18のセンシング傾向が変化するが、ユーザが静止している場合には、ユーザの行動等による影響を考慮しなくてもよい。そこで、実施例1においては、ユーザが静止している場合には、センサの閾値を低くして、ジェスチャの認識をしやすく設定する。また、ユーザが静止している場合には、ユーザが情報処理装置10へ操作を行う蓋然性が高いと考えられ、このような状況においてユーザのジェスチャの認識の精度が高くすることは、情報処理装置10の利便性を高めることにもなる。
 さらに、ユーザが歩いている、走っている等のようなユーザが自身で移動をしている場合には、設定変更部266はセンサの閾値を高く設定する(図11では閾値を3又は5に設定)。このようにすることで、モーションセンサ18は、例えば、加速度等を大きく変化させるジェスチャを認識するものの、加速度等を小さく変化させるジェスチャを認識することが難しくなる。ユーザが自身で移動している場合には、先に説明したように、ユーザの行動による影響があることから、モーションセンサ18のセンシング傾向は変化する。従って、実施例1においては、ユーザが自身で移動をしている場合には、モーションセンサ18に対するユーザの行動による影響を勘案し、センサの閾値を変更する。その結果、情報処理装置10は、ユーザの行動による影響があっても、精度よくジェスチャを認識することができる。
 そして、ユーザが電車に乗っている等のようなユーザが乗り物で移動をしている場合には、設定変更部266はセンサの閾値を高く設定する(図11では閾値を8に設定)。このようにすることで、モーションセンサ18は、例えば、加速度等を大きく変化させるジェスチャを認識するものの、加速度等を小さく変化させるジェスチャを認識することが難しくなる。ユーザが乗り物で移動している場合には、ユーザが自身で移動している場合と同様に、乗り物の移動(例えば、乗り物の等速度運動や加速度運動等)による影響があることから、モーションセンサ18のセンシング傾向は変化する。従って、実施例1においては、ユーザが乗り物で移動をしている場合には、モーションセンサ18における乗り物の移動による影響を勘案し、センサの閾値を変更する。その結果、情報処理装置10は、乗り物の移動による影響があっても、精度よくジェスチャを認識することができる。
 (実施例2)
 次に、図12を参照して、ユーザの行動に応じて、ジェスチャ認識で用いるセンサの種類を変更する実施例2を説明する。図12は、本実施形態に係る実施例2を説明する説明図であって、詳細には、ユーザの行動に応じた、ジェスチャ認識で用いるセンサの種類の一例を示している。
 図12に示すように、実施例2では、設定変更部266は、ユーザのコンテキストであるユーザの行動に応じて、ジェスチャ認識で用いるセンサの種類を変更する。言い換えると、設定変更部266は、ジェスチャ認識部262が取得するセンシング結果の種類(例えば、加速度センサによるセンシング結果、ジャイロセンサによるセンシング結果等)を変更する。例えば、ユーザが静止している場合においては、設定変更部266は、モーションセンサ18の有する各種センサのうち、加速度センサをジェスチャ認識で用いるセンサとして設定する。詳細には、ユーザが静止している状態では、ユーザの行動及びジェスチャにより、モーションセンサ18においては、等速度運動、加速度運動が検出され、方向転換が検出されないことが推測される。そこで、ユーザが静止している場合においては、ジェスチャ認識に用いるセンサとして加速度センサを起動させ、ジャイロセンサを停止させる。このようにすることで、実施例2においては、ユーザの状態に応じて、ジェスチャ認識に必要のないセンサを停止させることから、情報処理装置10での消費電力を抑えることができる。
 また、ユーザが歩いている/走っている場合においては、設定変更部266は、モーションセンサ18の有する各種センサのうち、加速度センサ及びジャイロセンサをジェスチャ認識で用いるセンサとして設定する。ユーザが走っている等の状態にある場合には、ユーザの行動及びジェスチャにより、モーションセンサ18においては、等速度運動(例えば、ユーザの行動による等速度運動)、加速度運動(例えば、ユーザの行動による急な加速度運動)、方向転換(例えば、ユーザの行動による急な方向転換)、振動等が検出されることが推測される。そこで、ユーザが歩いている/走っている場合においては、これらを検出するために、ジェスチャ認識で用いるセンサとして加速度センサ及びジャイロセンサを起動させる。
 さらに、ユーザが自動車に乗っている場合においては、設定変更部266は、モーションセンサ18の有する各種センサのうち、加速度センサ及びジャイロセンサをジェスチャ認識で用いるセンサとして設定する。ユーザが自動車に乗っている状態では、自動車の移動やユーザの行動及びジェスチャにより、モーションセンサ18においては、等速度運動(例えば、自動車の移動による等速度運動)、加速度運動(例えば、自動車の移動による緩やかな加速度運動)、方向転換(例えば、自動車の方向転換による方向転換)等が検出されることが推測される。そこで、ユーザが自動車に乗っている場合においては、これらを検出するために、ジェスチャ認識で用いるセンサとして加速度センサ及びジャイロセンサを起動させる。
 また、ユーザが飛行機に乗っている場合においては、設定変更部266は、モーションセンサ18の有する各種センサのうち、加速度センサをジェスチャ認識で用いるセンサとして設定する。ユーザが飛行機に乗っている状態では、飛行機が移動するものの、ユーザは着席状態にあると推測することができる。従って、飛行機の移動やユーザの行動及びジェスチャにより、モーションセンサ18においては、等速度運動(例えば、飛行機の移動による高速の等速度運動)、加速度運動(例えば、飛行機の移動による緩やかな加速度運動)が検出され、方向転換が検出されないことが推測される。そこで、ユーザが飛行機に乗っている場合においては、ジェスチャ認識で用いるセンサとして加速度センサを起動させ、ジャイロセンサを停止させる。このようにすることで、上述と同様に、情報処理装置10での消費電力を抑えることができる。
 (実施例3)
 次に、図13を参照して、ユーザの行動に応じて、認識する対象となるジェスチャの種類を変更する実施例3を説明する。図13は、本実施形態に係る実施例3を説明する説明図であって、詳細には、ユーザの行動に応じた、認識するジェスチャの種類の一例を示している。
 ここで、例えば、ジェスチャ認識部262は、初期設定として、ユーザが、腕80を振り上げる動作、腕80を左右に振る動作、及び、腕80を回転させる動作の3つを所定のジェスチャとして認識することができるものとする。実施例3においては、図13に示すように、設定変更部266は、ユーザの行動に応じて、上記3つのうちの全て又はいずれかのジェスチャを認識するように設定する。
 具体的には、電車を待っているといったユーザが静止している場合では、ユーザは様々なジェスチャを行うことが可能である。そこで、実施例3においては、ユーザが静止している場合には、設定変更部266は、上記3つのうちの全てのジェスチャを認識するように設定する。また、ユーザが歩いている場合には、当該ユーザが様々なジェスチャを行うと、ジェスチャによってはユーザが危険に晒されることがある。例えば、ユーザがホーム上を歩いているといった場合には、歩きながら大きな手振りのジェスチャを行うと、同時に2つの動作を行っていることから、ユーザの注意力が分散され、ユーザの腕80が電車に接触したり、ユーザがホームから転落したりすることがある。従って、歩行するユーザの安全を確保しながらジェスチャを行うことを考慮すると、ユーザが行えるジェスチャには限りがある。そこで、実施例3においては、ユーザが歩いている場合には、設定変更部266は、上記3つのうちの腕80を振り上げるジェスチャのみを認識するように設定する。さらに、ユーザが電車に乗っている場合には、ユーザは電車の中で立っている、又は着席していると推測されることから、静止している場合と同様に、ユーザは様々なジェスチャを行うことが可能である。そこで、実施例3においては、ユーザが電車の乗っている場合には、上述と同様に、設定変更部266は、上記3つのうちの全てのジェスチャを認識するように設定する。
 ところで、一般的には、認識するジェスチャの種類の数が少ないほど、各ジェスチャの認識の精度が向上する。従って、上述の実施例3のように、ユーザの行動に応じて、認識するジェスチャの種類を変更することにより、ユーザの行動に合わせたジェスチャのみを認識すればよく、ジェスチャの種類の数が制限される。その結果、実施例3によれば、ジェスチャの認識精度の向上を図ることができる。
 (実施例4)
 次に、図14を参照して、ユーザの行動に応じて、認識エンジンを変更する実施例4を説明する。図14は、本実施形態に係る実施例4を説明する説明図であって、詳細には、ユーザの行動に応じた、認識エンジンの一例を示している。認識エンジンとは、先に説明したように、ユーザのジェスチャを認識するための情報処理を実行する機構及びプログラム(各種設定を含む)を意味する。
 実施例4においては、図14に示すように、ユーザの行動に応じて、ジェスチャ認識で用いる認識エンジンを変更する。例えば、ユーザが静止している場合には、設定変更部266は、ユーザ静止モード用認識エンジンを用いるように、ジェスチャ認識部262等を制御する。当該ユーザ静止モード用認識エンジンにおいては、例えば、ジェスチャ認識で用いるセンサとしては加速度センサのみが設定され、その閾値は低く設定される。さらに、当該ユーザ静止モード用認識エンジンにおいては、認識するジェスチャの種類として、腕80を振り上げるジェスチャ、腕80を左右に振るジェスチャ、及び腕80を回転させるジェスチャの3つが設定される。
 また、例えば、他の認識エンジンとしては、図12に示すように、ユーザが電車に乗っている場合に用いる「電車モード用認識エンジン」、ユーザが歩いている場合に用いる「ユーザ歩行モード用認識エンジン」を挙げることができる。更なる他の認識エンジンとしては、図12に示すように、ユーザが自動車に乗っている場合に用いる「自動車モード認識エンジン」等を挙げることができる。すなわち、実施例4においては、ユーザの行動に応じて専用の認識エンジンを用いることで、様々な認識設定に関わるパラメータを同時に変更することができ、ジェスチャ認識の精度の向上を図ることができる。
 また、ユーザが移動のために乗っている乗り物によっても、モーションセンサ18のセンシングの傾向は変化する。例えば、自動車に乗っている場合であっても、一般道を走行している場合と、高速道路を走行している場合とでは、自動車の運動の違いによってモーションセンサ18のセンシングの傾向は変化する。また、飛行機や高速列車等についても、その速度等によりモーションセンサ18のセンシング傾向は変化する。従って、本実施形態においては、ジェスチャの認識精度の更なる向上を図るためには、乗り物の種類や速度等に応じて、それらに特化した認識設定(例えば、専用の認識エンジンを準備する)を行うことが好ましい。
  <5.2 ユーザに係るコンテキストの例>
 これまで説明した実施例1から4においては、ユーザに係るコンテキストが、ユーザの行動であるとして説明したが、本実施形態においては、ユーザに係るコンテキストはユーザの行動に限定されるものではない。そこで、以下に、ユーザの係るコンテキストの他の例について説明する。
 (実施例5)
 まずは、図15及び図16を参照して、ユーザに係るコンテキストとして、情報処理装置10の装着したユーザの腕80の状態を用いた実施例5を説明する。図15及び図16は、本実施形態に係る実施例5を説明する説明図であって、詳細には、図15は、ユーザの腕80の状態の一例を示し、図16は、ユーザの腕80の状態に応じた、認識アルゴリズムの閾値の一例を示している。
 先に説明したように、モーションセンサ18のセンシングの傾向は、モーションセンサ18のユーザへの装着状態や位置に応じて変化する。その結果、ユーザが同じジェスチャ動作を行った場合であっても、得られるセンシング結果は異なるものとなることがある。以下に、図15の左側に図示される腕80を下げている場合と、図15の右側に図示される腕80を上げている場合とを例に説明する。このような場合、モーションセンサ18を含む情報処理装置10の位置が腕80の状態に応じて異なることから、ユーザが同じように腕80を左右に振る動作を行っても、モーションセンサ18のセンシング傾向が変化し、センシング結果が異なることがある。そこで、実施例5においては、例えば、図16に示すように、腕80を下げている場合と腕80を上げている場合とで、認識アルゴリズムの閾値の設定を変更する。より具体的には、図16に示すように、腕80を下げている場合では閾値を3とし、腕80を上げている場合では閾値を6としている。なお、当該閾値は、先に説明したように、あるセンシング結果に対して、当該センシング結果がジェスチャAに起因するのか、ジェスチャBに起因するものかを判別する際にその境界となる条件のことをいう。このように、当該閾値を変えることにより、異なるセンシング結果が得られた場合であっても、判別の境界が変わることから、ジェスチャ認識部262は、同じジェスチャであると認識することが可能となる。
 また、一般的に、右腕の動きの傾向と左腕の動きの傾向とが異なる。従って、ユーザが同じジェスチャを行った場合であっても、右腕によるものか左腕によるものかによって、モーションセンサ18によるセンシング結果が異なることがある。そこで、本実施形態においては、モーションセンサ18が装着された腕80が右腕か左腕かを認識し、腕80に応じて認識設定を変更してもよい。このようにすることで、ジェスチャ認識部262は、右腕によるジェスチャも、左腕によるジェスチャも、同じ種類のジェスチャであれば同じジェスチャであると認識することが可能となる。
 また、本実施形態においては、ユーザに係るコンテキストは1種類に限るものではなく、2種類のコンテキストを組み合わせてもよい。以下に、2種類のコンテキストの組み合わせに応じて認識設定を行う実施例6から実施例8を説明する。
 (実施例6)
 まずは、図17を参照して、ユーザの行動とユーザの脈拍数との組み合わせに応じて認識設定を行う実施例6を説明する。図17は、本実施形態に係る実施例6を説明する説明図であって、詳細には、ユーザの行動とユーザの脈拍数との組み合わせに応じた、センサの閾値の一例を示している。以下に説明する実施例6においては、ユーザのジェスチャの傾向は、ユーザの精神状態等に応じて変化することから、この変化に応じたジェスチャ認識ができるよう、認識設定を変更する。
 ここでは、ユーザの興奮状態は、ユーザの脈拍数と相関関係があると考えることができるとする。さらに、ユーザのジェスチャの傾向も、ユーザの興奮状態と相関関係があるとし、例えば、同じジェスチャであっても、興奮の程度が低い状態では、ユーザは小さな手振りの動作(例えば、手の振幅が小さい動作)を行い、興奮の程度が高い状態では、ユーザは大きな手振りの動作(例えば、手の振幅が大きい動作)を行うものとする。また、ユーザの行動によっても、ユーザのジェスチャの傾向は変化し、同じジェスチャであっても、静止しているときではユーザは小さな手振りの動作を行い、ユーザが走っているときでは大きな手振りの動作を行うものとする。
 図17に示すように、脈拍数が80以下である場合には、ユーザの興奮の程度は低いと想定し、このような状況において、ユーザが、歩いている、電車に乗っている場合には、ユーザは小さな手振りの動作を行うことが想定される。そこで、実施例6においては、センサの閾値を低く設定し(図17では、当該閾値は1又は2に設定される)、ユーザが小さな手振りの動作を行った場合であっても、ジェスチャを認識するようにする。また、脈拍数が81以上である場合には、ユーザの興奮の程度は高いと想定し、このような状況において、ユーザが、歩いている、電車に乗っている場合には、ユーザは大きな手振りの動作を行うことが想定される。そこで、実施例6においては、センサの閾値を高く設定し(図17では、当該閾値は3に設定される)、ユーザが大きな手振りの動作を行った場合にジェスチャを認識するようにする。なお、脈拍数がどのような状態であっても、ユーザが走っている場合には、ユーザは大きな手振りの動作を行うことが想定される。そこで、実施例6においては、ユーザが走っている場合には、脈拍数が変化しても、センサの閾値を変更しない(図17では、当該閾値は4に設定される)。
 (実施例7)
 次に、図18を参照して、ユーザの行動とユーザの年齢との組み合わせに応じて認識設定を行う実施例7を説明する。図18は、本実施形態に係る実施例7を説明する説明図であって、詳細には、ユーザの行動とユーザの年齢との組み合わせに応じた、センサの閾値の一例を示している。
 ユーザのジェスチャの傾向は、ユーザの属性、例えば、年齢、性別等に応じて変化する。例えば、同じジェスチャであっても、ユーザが若者であれば大きな手振りの動作を行い、老人であれば小さな手振りの動作を行う傾向があるとする。そこで、実施例7においては、ユーザの年齢も考慮して、センサの閾値を変更し、ジェスチャの認識精度の更なる向上を図っている。
 具体的には、図18に示すように、30歳以下のユーザの場合には、大きな手振りの動作を行うことが想定されることから、センサの閾値を高く設定する。さらに、ユーザの行動に応じても設定を変え、ユーザが走っているときは、ユーザが歩いているときやユーザが電車に乗っている場合に比べて、大きな手振りの動作を行うことが想定されることから、センサの閾値を相対的に高く設定する。また、31歳以上60歳以下のユーザの場合には、30歳以下のユーザに比べて、ジェスチャの手振りが小さくなることが想定されることから、センサの閾値を、30歳以下のユーザに比べて低く設定する。さらに、61歳以上のユーザの場合には、さらにジェスチャの手振りが小さくなることが想定されることから、センサの閾値を、31歳以上60歳以下のユーザに比べてより低く設定する。なお、61歳以上のユーザの場合には、自身が走っている際にジェスチャにより情報処理装置10へ操作を行うことは危険が伴うことがある。そこで、実施例7では、60歳以上のユーザが走っている場合には、センサの閾値を最大限に大きく設定し(図18では、当該閾値を10に設定)、モーションセンサ18がジェスチャ検出を行わないようにしている。
 なお、本実施形態においては、ユーザの属性情報である年齢を用いてユーザに係るコンテキストを判断しているが、これに限定されるものではない。本実施形態においては、例えば、ユーザの行動予定を用いて、ユーザの行動又は状況(スポーツ中、通勤中である等)を認識し、これに応じて認識設定を変更してもよい。
 (実施例8)
 次に、図19を参照して、ユーザの行動と情報処理装置10に接続された外部装置の使用アプリの種類との組み合わせに応じて認識設定を行う実施例8を説明する。図19は、本実施形態に係る実施例8を説明する説明図であって、詳細には、ユーザの行動と外部装置の使用アプリの種類との組み合わせに応じた、認識するジェスチャの種類の数の一例を示している。
 ユーザが使用する外部装置の状態を認識することにより、ユーザがジェスチャによって入力操作を行おうと所望するコマンドを推測することができる。具体的には、ユーザがスマートフォン40でゲームをしている場合には、当該ユーザは、ゲーム操作に関わる様々な入力操作を所望すると推測できる。また、ユーザがスマートフォン40で通話をしている場合には、当該ユーザは、通話を終了するための入力操作のみを所望することが推測できる。このように、ユーザのスマートフォン40の状態に応じて、ユーザの所望するコマンドの数は変化し、情報処理装置10が認識すべきジェスチャの種類も変化する。
 さらに、ユーザの行動に応じても、ユーザの所望するコマンドの数は変化する。ユーザが静止しているときには、ユーザは様々な動作を行うことが可能であるため、所望するコマンドの数は増加する。一方、ユーザが走っているときには、歩いているときに比べて、行うことができる動作は限定されることから、所望するコマンドの数は少なくなる。さらに、走っている等の動作中においてはユーザの注意力が分散されることから、多くのコマンドを実行することはユーザの安全上好ましいものではない。そこで、実施例8においては、ユーザの行動に応じてユーザの所望するコマンドの数は変化することから、情報処理装置10が認識すべきジェスチャの種類を変更する。
 より具体的には、図19に示すように、ユーザがスマートフォン40でナビゲーションアプリを起動させている場合には、以下のように、認識すべきジェスチャの数を設定する。ユーザが歩いているときには、ナビゲーションアプリによってガイドされながらの歩行が推測されるため、ナビゲーションの画面のスクロールや、拡大のコマンドに係る2つのジェスチャを認識するように設定する。また、ユーザが走っているときには、ナビゲーションアプリが起動されているものの、ユーザは実際に当該アプリを見ていないことが推測されるため、ナビゲーションアプリの停止のコマンドに係る1つのジェスチャを認識するように設定する。さらに、ユーザが電車に乗っている場合には、ナビゲーションアプリで様々な検索を行うことが予想されるため、ナビゲーションの画面のスクロール、拡大、縮小、新規検索のコマンドに係る4つのジェスチャを認識するように設定する。
 また、ユーザがスマートフォン40で通話アプリを起動させている場合には、以下のように、認識すべきジェスチャの数を設定する。ユーザが歩いているときや走っているときには、通話しながらの歩行/走行が推測されるため、通話の停止のコマンドに係る1つのジェスチャを認識するように設定する。また、ユーザが電車に乗っている場合には、通話に出たものの周囲の状況に応じてユーザが通話を一時的に取りやめることが推測されるため、通話の停止や保留のコマンドに係る2つのジェスチャを認識するように設定する。
 さらに、ユーザがスマートフォン40でゲームアプリを起動させている場合には、以下のように、認識すべきジェスチャの数を設定する。ユーザが歩いているときには、ユーザがゲームをこれから開始することが予想されるため、ゲームの開始のコマンドに係る1つのジェスチャを認識するように設定する。また、ユーザが走っているときには、走行しながらゲームを行うことはユーザにとって危険なため、コマンドを生成しない、すなわち、ジェスチャを認識しないように設定する(図19では、0に設定されている)。さらに、ユーザが電車に乗っている場合には、ユーザがゲームを行うことが予想されるため、ゲームの開始、操作等のコマンドに係る4つのジェスチャを認識するように設定する。
 なお、電車内のような所定以上の人口密度であると見做せる公的空間においては、腕を振り上げる、腕を振るといった大きな動作を認識しないように設定し、腕を回す動作及び各種の指ジェスチャのみ認識するように認識すべきジェスチャを変更しても良い。すなわち、公的空間か否かを判定し、公的空間では動作量が相対的に大きいジェスチャを制限あるいは禁止するように(自動的に)設定しても良い。また、ユーザが周囲に手をぶつける可能性を考慮し、後述の自動車内のように比較的狭い空間においては動作量が相対的に大きいジェスチャを制限あるいは禁止するように設定しても良い。これらのユーザが周囲に手をぶつける可能性に基づくジェスチャ認識の制限あるいは禁止は、ユーザによって任意に解除されても良い。一方で、後述のユーザの運転する自動車の“走行状態”に基づく制限あるいは禁止は、各国の法規やルールを踏まえてユーザによる解除を禁止するようにしても良い。
 このように、外部装置の状態とユーザの行動との組み合わせに応じて、認識するジェスチャの種類を変更することにより、ユーザの行動に応じたジェスチャのみを認識すればよく、ジェスチャの種類の数が制限される。その結果、実施例8によれば、ジェスチャの認識の精度の向上を図ることができる。また、このように認識するジェスチャの種類の数を制限することにより、情報処理装置10で実行できるコマンドを制限することになることから、情報処理装置10や外部装置の使用によるユーザの注意力の分散に起因する危険を避けることも可能である。
 なお、外部装置は自動車であってもよく、自動車の走行状態に応じて、認識するジェスチャの種類を制限し、情報処理装置10で実行できるコマンドを制限してもよい。このような場合、ユーザの運転する自動車の走行状態に応じて、実施可能なコマンドが制限されることから、ユーザが自動車の運転中に情報処理装置10等を操作すること起因した危険を防ぐことができる。
 なお、上述の実施例6から8においては、2種類のコンテキストの組み合わせ(ユーザの脈拍数とユーザの行動、ユーザの年齢とユーザの行動、使用アプリとユーザの行動)に応じて、認識設定を変更していた。しかしながら、本実施形態においては、2種類のコンテキストの組み合わせに限定されるものではなく、3種類以上のコンテキストの組み合わせに応じて認識設定を変更してもよい。
  <5.3 コマンドの変更例>
 (実施例9)
 本実施形態においては、ユーザに係るコンテキストに応じて、ジェスチャに対応するコマンドを変更してもよい。以下に、図20を参照して、コンテキストに応じて、ジェスチャに対応するコマンドを変更する実施例9を説明する。図20は、本実施形態に係る実施例9を説明する説明図であって、情報処理装置10に接続された外部装置の種類に応じたコマンドを示している。
 例えば、実施例9においては、図20に示すように、情報処理装置10に接続されている外部装置がヘッドセット50である場合には、ユーザは音楽再生に係るコマンドを所望する蓋然性が高い。従って、このような場合には、デバイス制御部264は、ジェスチャAには「曲送り(早送り)」というコマンドを対応させ、ジェスチャBには「曲戻し」というコマンドを対応させる。一方、情報処理装置10に接続されている外部装置がスマートフォン40である場合には、ユーザはスマートフォン画面に対する操作を所望する蓋然性が高い。そこで、このような場合には、デバイス制御部264は、ジェスチャAには「(画面の)スクロール」というコマンドを対応させ、ジェスチャBには「(画面表示の)キャンセル」というコマンドを対応させる。すなわち、実施例9においては、同じジェスチャであっても、ユーザの状況に応じて発行するコマンドを変更する。このようにすることで、ユーザの意図したコマンドを容易に発行することができることから、情報処理装置10の利便性を高めることができる。また、ユーザに係るコンテキストに応じてジェスチャに対応するコマンドを変更することから、同じジェスチャに複数のコマンドが紐づけられ、認識すべきジェスチャの数の増加を抑えることができる。従って、認識すべきジェスチャの数が限定されることから、ジェスチャの認識精度の更なる向上を期待することができる。
 また、実施例9においては、例えば、情報処理装置10に接続されている外部装置がスマートフォン40及びヘッドセット50である場合には、外部装置の起動状態に応じて、ジェスチャに対応するコマンドを変更する。例えば、スマートフォン40がスリープ状態にあり、ヘッドセット50が動作している場合には、ユーザのジェスチャはヘッドセット50に対する操作を意図しているものと判断し、コマンドを発行する。
 なお、上述の実施例1から9は、適宜組み合わせることも可能であり、組み合わせることにより、さらなるジェスチャの認識精度の向上を図ることができる。
  <<6.まとめ>>
 以上説明したように、本開示の実施形態によれば、ユーザに係るコンテキストに応じて、ユーザのジェスチャの認識における認識設定を変えることから、ジェスチャの認識精度の更なる向上が可能である。その結果、本実施形態によれば、ジェスチャ認識の精度が向上することから、認識したジェスチャに基づいて、ユーザが所望するコマンドを発行することができることから、情報処理装置10における誤動作を防ぐことができる。また、本実施形態においては、情報処理装置10が自動的にユーザに係るコンテキストを認識することから、ユーザがコンテキストを入力する手間を省くことができる。
 なお、本実施形態に係る情報処理装置10は、先に説明した腕輪型端末であることに限定されるものではなく、ユーザが携帯するモバイル端末(モーションコントローラ端末も含む)、ユーザの身体に装着されたウェアラブル端末、又は、ユーザの身体に挿入されたインプラント端末であることができる。また、ウェアラブル端末としては、HMD、イヤーデバイス、アンクレット、腕輪、首輪、パッド、靴、服、バッチ等を挙げることができる。
 また、本実施形態に係る情報処理装置10は、上述の説明のようなスタンドアローンで情報処理を行う装置でなくてもよい。例えば、本実施形態に係る情報処理装置10は、例えばクラウドコンピューティング等のように、ネットワーク70への接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置10は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。より具体的には、本開示の一実施形態に係る情報処理装置10の変形例を説明する説明図である図21に示すように、本実施形態に係る情報処理装置10は、サーバ60とネットワーク70を介して接続された装置であってもよい。この場合、情報処理装置10の主制御部26の一部機能はサーバ60で実施され、例えば、ユーザの行動等のコンテキスト認識はサーバ60で行われ、ユーザのジェスチャ認識は情報処理装置10で行われてもよい。
 <<7.ハードウェア構成>>
 図22は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図22では、情報処理装置900は、上述の情報処理装置10のハードウェア構成の一例を示している。
 情報処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インタフェース958と、操作入力デバイス960とを有する。さらに、情報処理装置900は、表示デバイス962と、音声出力デバイス964と、音声入力デバイス966と、通信インタフェース968と、センサ980とを有する。また、情報処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
 (CPU950)
 CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する制御部(例えば、上述の主制御部26)として機能する。また、CPU950は、情報処理装置900において、例えば、上述のコンテキスト認識部260、ジェスチャ認識部262、デバイス制御部264、及び設定変更部266等の機能を果たす。
 (ROM952及びRAM954)
 ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
 (記録媒体956)
 記録媒体956は、上述の記憶部24として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
 (入出力インタフェース958、操作入力デバイス960、表示デバイス962、音声出力デバイス964、及び音声入力デバイス966)
 入出力インタフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
 操作入力デバイス960は、例えば上述のタッチパネルディスプレイ12の操作部として機能し、情報処理装置900に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。操作入力デバイス960としては、例えば、ボタンや、方向キー、ジョグダイヤル等の回転型セレクター、タッチパネル、あるいは、これらの組み合わせ等が挙げられる。
 表示デバイス962は、例えば上述のタッチパネルディスプレイ12の表示部として機能し、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
 音声出力デバイス964は、例えば上述のスピーカ14として機能し、例えば、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。音声入力デバイス966は、例えば上述のマイクロフォン16として機能し、例えば、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。
 なお、入出力インタフェース958が、情報処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
 (通信インタフェース968)
 通信インタフェース968は、例えば上述の通信部22として機能し、ネットワークを介して(あるいは、直接的に)、サーバ60等の外部装置と、無線または有線で通信を行うための通信部として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナ及びRF(RADIO frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)等が挙げられる。
 (センサ980)
 センサ980は、上述のモーションセンサ18や生体センサ20として機能する。さらに、センサ980は、測位センサ、温度センサ等の各種のセンサを含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。なお、情報処理装置900のハードウェア構成は、図22に示す構成に限られない。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 例えば、情報処理装置900は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース968を備えていなくてもよい。また、通信インタフェース968は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成を有していてもよい。
 <<8.補足>>
 なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置10として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
 また、上述した実施形態に係る情報処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザに係るコンテキストを認識するコンテキスト認識部と、前記ユーザのジェスチャを認識するジェスチャ認識部と、前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、を備える、情報処理装置。
(2)
 前記ジェスチャ認識部は、前記ユーザの動きを検出するモーションセンサによる1つ又は複数のセンシング結果に基づいて、前記ユーザのジェスチャを認識する、上記(1)に記載の情報処理装置。
(3)
 前記モーションセンサは、前記ユーザに装着された加速度センサ、前記ユーザに装着されたジャイロセンサ、及び、前記ユーザを撮像する撮像装置のうちの少なくとも1つを含む、上記(2)に記載の情報処理装置。
(4)
 前記設定変更部は、前記認識設定の変更として、前記モーションセンサの検出設定を変更する、上記(2)又は(3)に記載の情報処理装置。
(5)
 前記コンテキスト認識部は、前記モーションセンサによる1つ又は複数の前記センシング結果に基づいて、前記ユーザに係る前記コンテキストを認識する、上記(4)に記載の情報処理装置。
(6)
 前記コンテキスト認識部は、前記設定変更部により前記検出設定が変更された前記モーションセンサによる1つ又は複数の前記センシング結果に基づいて、前記ユーザに係る前記コンテキストを認識する、上記(5)に記載の情報処理装置。
(7)
 前記設定変更部は、前記モーションセンサの装着状態及び位置のうちの少なくとも1つに基づいて、前記認識設定を変更する、上記(2)から(6)のいずれか1つに記載の情報処理装置。
(8)
 前記設定変更部は、前記ジェスチャ認識部が取得する前記センシング結果の種類を変更する、上記(2)から(6)のいずれか1つに記載の情報処理装置。
(9)
 前記設定変更部は、前記ジェスチャ認識部が取得する複数の前記センシング結果のそれぞれに対する重み付けを変更する、上記(2)から(6)のいずれか1つに記載の情報処理装置。
(10)
 前記設定変更部は、前記ジェスチャ認識部の用いる認識アルゴリズムを変更する、上記(1)から(6)のいずれか1つに記載の情報処理装置。
(11)
 前記設定変更部は、前記ジェスチャ認識部の用いる認識エンジンを変更する、上記(1)から(6)のいずれか1つに記載の情報処理装置。
(12)
 前記設定変更部は、前記ジェスチャ認識部が認識する対象となるジェスチャの種類を変更する、上記(1)から(6)のいずれか1つに記載の情報処理装置。
(13)
 前記コンテキスト認識部は、前記ユーザが使用するユーザ端末の状態に基づいて、前記ユーザに係る前記コンテキストを認識する、上記(1)から(12)のいずれか1つに記載の情報処理装置。
(14)
 前記コンテキスト認識部は、前記ユーザ端末の種類、前記ユーザ端末で起動するアプリケーションの種類、又は、前記ユーザ端末に接続されたデバイスの種類に基づいて、前記ユーザに係る前記コンテキストを認識する、上記(13)に記載の情報処理装置。
(15)
 前記コンテキスト認識部は、前記ユーザから取得される生体情報に基づいて、前記ユーザに係る前記コンテキストを認識する、上記(1)から(12)のいずれか1つに記載の情報処理装置。
(16)
 前記設定変更部は、前記ユーザの属性情報、及び行動予定に基づいて、前記認識設定を変更する、上記(1)から(12)のいずれか1つに記載の情報処理装置。
(17)
 前記ジェスチャ認識部によって認識された前記ジェスチャに基づいて、情報処理のためのコマンドを発行するコマンド発行部をさらに備える、上記(1)から(16)のいずれか1つに記載の情報処理装置。
(18)
 前記情報処理装置は、前記ユーザが携帯するモバイル端末、前記ユーザの身体に装着されたウェアラブル端末、又は、前記ユーザの身体に挿入されたインプラント端末のいずれかである、上記(1)から(17)のいずれか1つに記載の情報処理装置。
(19)
 ユーザに係るコンテキストを認識することと、前記ユーザのジェスチャを認識することと、前記ユーザに係るコンテキストの認識結果に基づいて、前記ジェスチャの認識における認識設定を変更することと、を含む、情報処理方法。
(20)
 コンピュータを、ユーザに係るコンテキストを認識するコンテキスト認識部と、前記ユーザのジェスチャを認識するジェスチャ認識部と、前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、として機能させる、プログラム。
  10、900  情報処理装置
  12  タッチパネルディスプレイ
  14  スピーカ
  16  マイクロフォン
  18  モーションセンサ
  20  生体センサ
  22  通信部
  24  記憶部
  26  主制御部
  40  スマートフォン
  50  ヘッドセット
  60  サーバ
  70  ネットワーク
  80  腕
  82、84  指
  260  コンテキスト認識部
  262  ジェスチャ認識部
  264  デバイス制御部
  266  設定変更部
  950  CPU
  952  ROM
  954  RAM
  956  記録媒体
  958  入出力インタフェース
  960  操作入力デバイス
  962  表示デバイス
  964  音声出力デバイス
  966  音声入力デバイス
  968  通信インタフェース
  970  バス
  980  センサ

Claims (20)

  1.  ユーザに係るコンテキストを認識するコンテキスト認識部と、
     前記ユーザのジェスチャを認識するジェスチャ認識部と、
     前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、
    を備える、情報処理装置。
  2.  前記ジェスチャ認識部は、前記ユーザの動きを検出するモーションセンサによる1つ又は複数のセンシング結果に基づいて、前記ユーザのジェスチャを認識する、請求項1に記載の情報処理装置。
  3.  前記モーションセンサは、前記ユーザに装着された加速度センサ、前記ユーザに装着されたジャイロセンサ、及び、前記ユーザを撮像する撮像装置のうちの少なくとも1つを含む、請求項2に記載の情報処理装置。
  4.  前記設定変更部は、前記認識設定の変更として、前記モーションセンサの検出設定を変更する、請求項2に記載の情報処理装置。
  5.  前記コンテキスト認識部は、前記モーションセンサによる1つ又は複数の前記センシング結果に基づいて、前記ユーザに係る前記コンテキストを認識する、請求項4に記載の情報処理装置。
  6.  前記コンテキスト認識部は、前記設定変更部により前記検出設定が変更された前記モーションセンサによる1つ又は複数の前記センシング結果に基づいて、前記ユーザに係る前記コンテキストを認識する、請求項5に記載の情報処理装置。
  7.  前記設定変更部は、前記モーションセンサの装着状態及び位置のうちの少なくとも1つに基づいて、前記認識設定を変更する、請求項2に記載の情報処理装置。
  8.  前記設定変更部は、前記ジェスチャ認識部が取得する前記センシング結果の種類を変更する、請求項2に記載の情報処理装置。
  9.  前記設定変更部は、前記ジェスチャ認識部が取得する複数の前記センシング結果のそれぞれに対する重み付けを変更する、請求項2に記載の情報処理装置。
  10.  前記設定変更部は、前記ジェスチャ認識部の用いる認識アルゴリズムを変更する、請求項1に記載の情報処理装置。
  11.  前記設定変更部は、前記ジェスチャ認識部の用いる認識エンジンを変更する、請求項1に記載の情報処理装置。
  12.  前記設定変更部は、前記ジェスチャ認識部が認識する対象となるジェスチャの種類を変更する、請求項1に記載の情報処理装置。
  13.  前記コンテキスト認識部は、前記ユーザが使用するユーザ端末の状態に基づいて、前記ユーザに係る前記コンテキストを認識する、請求項1に記載の情報処理装置。
  14.  前記コンテキスト認識部は、前記ユーザ端末の種類、前記ユーザ端末で起動するアプリケーションの種類、又は、前記ユーザ端末に接続されたデバイスの種類に基づいて、前記ユーザに係る前記コンテキストを認識する、請求項13に記載の情報処理装置。
  15.  前記コンテキスト認識部は、前記ユーザから取得される生体情報に基づいて、前記ユーザに係る前記コンテキストを認識する、請求項1に記載の情報処理装置。
  16.  前記設定変更部は、前記ユーザの属性情報、及び行動予定に基づいて、前記認識設定を変更する、請求項1に記載の情報処理装置。
  17.  前記ジェスチャ認識部によって認識された前記ジェスチャに基づいて、情報処理のためのコマンドを発行するコマンド発行部をさらに備える、請求項1に記載の情報処理装置。
  18.  前記情報処理装置は、前記ユーザが携帯するモバイル端末、前記ユーザの身体に装着されたウェアラブル端末、又は、前記ユーザの身体に挿入されたインプラント端末のいずれかである、請求項1に記載の情報処理装置。
  19.  ユーザに係るコンテキストを認識することと、
     前記ユーザのジェスチャを認識することと、
     前記ユーザに係るコンテキストの認識結果に基づいて、前記ジェスチャの認識における認識設定を変更することと、
     を含む、情報処理方法。
  20.  コンピュータを、
     ユーザに係るコンテキストを認識するコンテキスト認識部と、
     前記ユーザのジェスチャを認識するジェスチャ認識部と、
     前記コンテキスト認識部の認識結果に基づいて、前記ジェスチャ認識部の認識設定を変更する設定変更部と、
     として機能させる、プログラム。
PCT/JP2017/038271 2017-01-12 2017-10-24 情報処理装置、情報処理方法、及びプログラム WO2018131251A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/468,466 US11209908B2 (en) 2017-01-12 2017-10-24 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-003421 2017-01-12
JP2017003421 2017-01-12

Publications (1)

Publication Number Publication Date
WO2018131251A1 true WO2018131251A1 (ja) 2018-07-19

Family

ID=62840571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038271 WO2018131251A1 (ja) 2017-01-12 2017-10-24 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11209908B2 (ja)
WO (1) WO2018131251A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指
WO2020241189A1 (ja) * 2019-05-30 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20230176243A1 (en) * 2021-12-07 2023-06-08 Microsoft Technology Licensing, Llc Rf antenna scanning for human movement classification

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220066538A1 (en) * 2020-09-01 2022-03-03 Dell Products L.P. Systems and methods for real-time adaptive user attention sensing
CN113255523B (zh) * 2021-05-26 2022-07-12 上海弘遥电子研究开发有限公司 提高手势识别精度、识别方法、系统、装置以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526192A (ja) * 2008-06-27 2011-10-06 マイクロソフト コーポレーション チルト機能の感度の動的選択
JP2013500521A (ja) * 2009-07-23 2013-01-07 クゥアルコム・インコーポレイテッド モバイルデバイスおよび家庭用電子デバイスを制御するために着用可能デバイスによって制御情報を通信するための方法および装置
US20130268900A1 (en) * 2010-12-22 2013-10-10 Bran Ferren Touch sensor gesture recognition for operation of mobile devices
JP2013229009A (ja) * 2012-03-05 2013-11-07 Ego Elektro Geraete Blanc & Fischer 操作ジェスチャー認識のためのカメラモジュール及び家電製品
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
JP2015004567A (ja) * 2013-06-20 2015-01-08 カシオ計算機株式会社 携帯表示装置及び操作検出方法
US20160091965A1 (en) * 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
JP2016511859A (ja) * 2012-12-24 2016-04-21 マイクロソフト テクノロジー ライセンシング,エルエルシー コンテキスト関連情報の目立たない表示
JP2016088513A (ja) * 2014-11-07 2016-05-23 ビステオン グローバル テクノロジーズ インコーポレイテッド 自動車における情報伝送のためのシステム
JP2016530660A (ja) * 2013-09-13 2016-09-29 クアルコム,インコーポレイテッド コンテキスト感知ジェスチャ分類

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
KR101607476B1 (ko) * 2009-06-12 2016-03-31 삼성전자주식회사 휴대용 단말기에서 모션 인식 장치 및 방법
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
EP3007042A4 (en) 2013-06-07 2017-06-28 Seiko Epson Corporation Electronic device and tap operation detection method
JP6171615B2 (ja) * 2013-06-21 2017-08-02 カシオ計算機株式会社 情報処理装置及びプログラム
US9477314B2 (en) * 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
KR102163915B1 (ko) * 2013-09-02 2020-10-12 엘지전자 주식회사 스마트 와치 및 제어 방법
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
US10101793B2 (en) * 2014-07-18 2018-10-16 Apple Inc. Raise gesture detection in a device
CN106797561A (zh) * 2014-11-29 2017-05-31 华为技术有限公司 一种身份认证方法及可穿戴设备
CA3034779C (en) * 2016-08-29 2023-09-26 Georgia Tech Research Corporation Extending interactions of a portable electronic device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526192A (ja) * 2008-06-27 2011-10-06 マイクロソフト コーポレーション チルト機能の感度の動的選択
JP2013500521A (ja) * 2009-07-23 2013-01-07 クゥアルコム・インコーポレイテッド モバイルデバイスおよび家庭用電子デバイスを制御するために着用可能デバイスによって制御情報を通信するための方法および装置
US20130268900A1 (en) * 2010-12-22 2013-10-10 Bran Ferren Touch sensor gesture recognition for operation of mobile devices
JP2013229009A (ja) * 2012-03-05 2013-11-07 Ego Elektro Geraete Blanc & Fischer 操作ジェスチャー認識のためのカメラモジュール及び家電製品
JP2016511859A (ja) * 2012-12-24 2016-04-21 マイクロソフト テクノロジー ライセンシング,エルエルシー コンテキスト関連情報の目立たない表示
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
JP2015004567A (ja) * 2013-06-20 2015-01-08 カシオ計算機株式会社 携帯表示装置及び操作検出方法
JP2016530660A (ja) * 2013-09-13 2016-09-29 クアルコム,インコーポレイテッド コンテキスト感知ジェスチャ分類
US20160091965A1 (en) * 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
JP2016088513A (ja) * 2014-11-07 2016-05-23 ビステオン グローバル テクノロジーズ インコーポレイテッド 自動車における情報伝送のためのシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指
WO2020241189A1 (ja) * 2019-05-30 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3979234A4 (en) * 2019-05-30 2022-08-03 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11835727B2 (en) 2019-05-30 2023-12-05 Sony Group Corporation Information processing apparatus and information processing method for controlling gesture operations based on postures of user
US20230176243A1 (en) * 2021-12-07 2023-06-08 Microsoft Technology Licensing, Llc Rf antenna scanning for human movement classification
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification

Also Published As

Publication number Publication date
US11209908B2 (en) 2021-12-28
US20200073481A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
WO2018131251A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10921764B2 (en) Neuromuscular control of physical objects in an environment
US20200209966A1 (en) Detection device, detection method, control device, and control method
US10528135B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
JP2021108132A (ja) アラートを管理するための小型インターフェース
CN112739254A (zh) 增强现实系统的神经肌肉控制
WO2016014601A2 (en) Remote user interface
US11262851B2 (en) Target selection based on human gestures
KR20170019081A (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
US11409371B2 (en) Systems and methods for gesture-based control
JP2023529125A (ja) 身体活動イベントを追跡するためのユーザインタフェース
US10860104B2 (en) Augmented reality controllers and related methods
WO2016143404A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20230076068A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
WO2019198299A1 (ja) 情報処理装置及び情報処理方法
WO2023034631A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof
CN116802589A (zh) 基于手指操纵数据和非系留输入的对象参与

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP