WO2018079301A1 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2018079301A1
WO2018079301A1 PCT/JP2017/037127 JP2017037127W WO2018079301A1 WO 2018079301 A1 WO2018079301 A1 WO 2018079301A1 JP 2017037127 W JP2017037127 W JP 2017037127W WO 2018079301 A1 WO2018079301 A1 WO 2018079301A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing apparatus
sensor
trigger operation
information
Prior art date
Application number
PCT/JP2017/037127
Other languages
English (en)
French (fr)
Inventor
高橋　慧
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017005377.3T priority Critical patent/DE112017005377T5/de
Priority to CN201780064524.9A priority patent/CN109891364B/zh
Priority to KR1020197010728A priority patent/KR20190068543A/ko
Priority to US16/333,037 priority patent/US10712831B2/en
Priority to JP2018547559A priority patent/JP7135859B2/ja
Publication of WO2018079301A1 publication Critical patent/WO2018079301A1/ja
Priority to US16/924,597 priority patent/US20200341557A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type

Definitions

  • This technology is related to improving the operability of the human interface.
  • buttons and touch panels are the mainstream.
  • Patent Document 1 describes control of an electronic device that does not use a button, and discloses that sensing by a touch device using an electrostatic switch starts only after the proximity sensor reacts.
  • buttons and touch devices may be difficult to use, especially in small devices, and a simpler human interface is desired.
  • an object of the present technology is to provide an information processing apparatus capable of diversifying operation inputs without imposing a burden on the user.
  • an information processing apparatus including a control unit.
  • the said control part detects the trigger operation according to the kind of 1st sensor information.
  • a gesture operation performed by the user as an operation input is recognized based on the second sensor information.
  • the operation input is determined based on a combination of the detected trigger operation and the recognized gesture operation.
  • the operation input is not limited to one per gesture operation, and a plurality of operations can be performed. Therefore, it is possible to diversify the operation inputs without imposing a burden on the user. Become.
  • the control unit may recognize the gesture operation based on the second sensor information input within a predetermined time after detecting the trigger operation.
  • the control unit When the first sensor information is input, the control unit performs a single trigger operation when the length of time during which the first sensor information is continuously input is shorter than a predetermined threshold, and continues when the first sensor information is long.
  • the operation input may be determined based on a combination of the detected single trigger operation or the continuous trigger operation and the recognized gesture operation.
  • two types of trigger operation and continuous trigger operation can be set for one trigger operation, and variations of operation input are widened.
  • the information input by the operation input may include a value corresponding to the detected time length of the continuous trigger operation.
  • control unit may set the end point of the time length of the continuous trigger operation as the time point when the input of the first sensor information is finished.
  • the said control part is good also considering the starting point of the length of time of the said continuous trigger operation as the time of the input of the said 1st sensor information having started. Or the said control part is good also considering the starting point of the length of time of the said continuous trigger operation as the time of the said continuous trigger operation being detected.
  • the control unit may use a starting point of the time length of the continuous trigger operation as a time point when the gesture operation is recognized.
  • the senor that outputs the first sensor information may be installed in a housing configured to be attachable to a user's body.
  • the sensor may be installed at a position where an operation by the user's hand can be detected.
  • the position where the sensor is installed may be configured to be outside the user's field of view when the housing is mounted.
  • the information processing apparatus it is possible to provide an operation input interface for a wearable device such as a head-mounted display or a wearable computer.
  • the information processing apparatus has a first power mode and a second power mode as power consumption modes of the information processing apparatus, and the first power mode consumes more power than the second power mode. There may be few modes.
  • the control unit is configured to switch the power consumption mode of the information processing device to the second power mode when detecting the trigger operation when the information processing device is in the first power mode. May be.
  • the trigger operation can be configured to be used as a trigger for switching to an operation mode with higher power consumption, and the power consumption of the apparatus can be suppressed.
  • Another aspect of the present technology is an information processing method including the following steps. Detecting a trigger operation corresponding to the type of the first sensor information; Recognizing a gesture operation performed by a user as an operation input based on the second sensor information. Determining the operation input based on a combination of the detected trigger operation and the recognized gesture operation;
  • Another aspect of the present technology is a program that causes a computer to execute the following steps. Detecting a trigger operation corresponding to the type of the first sensor information; Recognizing a gesture operation performed by a user as an operation input based on the second sensor information. Determining the operation input based on a combination of the detected trigger operation and the recognized gesture operation;
  • timing chart (the 1) for demonstrating the process of the information processing apparatus which concerns on the said embodiment. It is a timing chart (the 2) for demonstrating the process of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the external appearance structural example of the modification of the said embodiment.
  • the information processing apparatus 1 includes a wearable device.
  • the wearable device of the present embodiment is not particularly limited as long as it can secure a space in which a sensor group to be described later can be mounted, and examples thereof include a headphone and a head mounted display.
  • the present invention can also be applied to a wristband type wearable device, a clothing type wearable device such as a jacket, and the like.
  • headphones are employed as the wearable device of this embodiment. In addition to headphones, an earphone type may be used.
  • the information processing apparatus 1 includes a user interface that receives a user operation input.
  • a user operation input There is no limitation on what purpose the user's operation input is used. It may be a news reading application. In the following description, an example used for operating a music player that reproduces music content is shown.
  • FIG. 1 is a diagram for explaining the outline of the present embodiment.
  • the information processing apparatus 1 according to the present embodiment has a gesture recognition function for recognizing a user's movement. However, gesture recognition is performed when the user performs a trigger operation and the information processing apparatus 1 detects it. Although there are a plurality of trigger operations in the present embodiment, one method for realizing detection of a plurality of trigger operations is to prepare one sensor corresponding to each trigger operation. The information processing apparatus 1 interprets the gesture recognition according to the trigger operation corresponding to the type and the type of gesture recognition.
  • “interpret” means to determine to replace an operation input by a series of trigger operations and gesture operations with a processing command to the information processing apparatus 1.
  • FIG. 1 shows three types of gesture operation examples of “nodding”, “turning right and returning neck”, and “turning left and returning neck”.
  • the interpretation of each gesture operation is changed according to a trigger operation performed before these three types of gesture operations are performed.
  • FIG. 1A illustrates a case where the first trigger operation is performed
  • FIG. 1B illustrates a case where the second trigger operation is performed.
  • the information processing apparatus 1 interprets the gesture operation as “play / stop” of the music player (FIG. 1A). ). On the other hand, if the second trigger operation is first, the information processing apparatus 1 interprets the same gesture operation as “music album selection”. Similar information processing is performed for a gesture operation facing the right and a gesture operation facing the left.
  • the proximity sensors are installed on the left and right of the headphones, respectively.
  • the first trigger operation (FIG. 1A)
  • the second trigger operation (FIG. 1B).
  • the third trigger operation is detected. Also for the third trigger operation, a set of operation inputs corresponding to each gesture operation is set (FIG. 1C).
  • the gesture of nodding and turning to the right is a simple gesture that anyone can learn.
  • it since it is a daily movement, if it is interpreted as an operation input to the information processing apparatus 1, it becomes an input unintended by the user.
  • gesture recognition is performed only after a trigger operation prior to gesture recognition is detected, input unintended by the user can be prevented.
  • variations of operation inputs that can be input to the information processing apparatus 1 with the same gesture are diversified according to the type of trigger operation. Therefore, according to the present embodiment, operation inputs can be diversified without imposing a burden on the user.
  • FIG. 2 is a diagram illustrating an external configuration example of the information processing apparatus 1 according to the present embodiment
  • FIG. 3 is a block diagram illustrating an internal configuration example.
  • the information processing apparatus 1 may include a headphone 2 and a mobile terminal 3 in terms of hardware configuration, for example.
  • the headphone 2 has a sensor group 10.
  • any form such as an earphone type, a wristband type, and a jacket type may be used as long as the device has a housing 20 that can be attached to a user where the sensor group 10 is installed But you can.
  • Such a device is called a wearable device.
  • the “casing” may imply a box shape, but here it simply means that an exterior is provided, and the shape is not limited.
  • the headphones 2 and the portable terminal 3 have a wireless communication unit 19 and a wireless communication unit 39, respectively, and can communicate with each other, but there is no restriction on the specific communication mode. Wired communication may be used.
  • each wireless communication unit includes an antenna and a wireless communication circuit, performs communication according to a wireless communication standard such as Bluetooth (registered trademark), and the detection information of the sensor group 10 is passed to the mobile terminal 3. It is.
  • a smartphone can be used as the mobile terminal 3.
  • the sensor group 10 shown in FIG. 2 includes a right proximity sensor 11R, a left proximity sensor 11L, a motion sensor 12, and a noise canceller microphone 13.
  • a switch (not shown) connected so as to short-circuit the microphone may be used as one of the sensors constituting the sensor group 10.
  • the right proximity sensor 11R and the left proximity sensor 11L may be an infrared method or other methods.
  • the right proximity sensor 11R and the left proximity sensor 11L continue to output detection signals while sensing.
  • the proximity sensor 11R and the left proximity sensor 11L are used to detect a user's trigger operation.
  • the motion sensor 12 is a motion sensor that detects triaxial acceleration and triaxial angular velocity.
  • the motion sensor 12 is used to recognize a user's gesture operation. You may use for recognition of trigger operation.
  • the noise-canceling microphone 13 is a microphone that collects ambient sounds in a noise canceling technique that collects sounds around the headphones 2 and outputs noise in an opposite phase to reduce noise.
  • the operation may be detected as a trigger operation.
  • sensor information necessary for detecting a trigger operation is referred to as first sensor information
  • sensor information necessary for recognizing a gesture operation is referred to as second sensor information.
  • the sensor information is a bundle of sensor signals transmitted by at least one or more of the sensor group 10 accompanying sensing.
  • the first sensor information and the second sensor information may overlap.
  • sensor information from at least one of the right proximity sensor 11R and the left proximity sensor 11L is referred to as first sensor information.
  • sensor information from the motion sensor 12 is set as second sensor information.
  • the information processing apparatus 1 has a configuration in which the mobile terminal 3 includes an information processing unit 31 in addition to the configuration shown in FIG. 2.
  • the information processing unit 31 may be at least one of the arithmetic processing devices of the mobile terminal 3.
  • the information processing unit 31 may be a central processing unit (CPU), a DSP (Digital Signal Processor), or a SoC (System on Chip). It may be configured. You may design so that the information processing part 31 may be comprised combining one or more arithmetic processing devices.
  • the information processing unit 31 is configured to execute a software program read into a memory such as the RAM 21 (22), and to include a trigger detection unit 32, a gesture recognition unit 33, and an operation input signal generation unit 34. The function of each part is described below.
  • the trigger detection unit 32 detects a trigger operation corresponding to the type of the input first sensor information. For example, when the first sensor information is a signal representing sensing of the right proximity sensor 11R, a trigger operation of “the user raises his right hand and holds it over the right side of the headphones 2” is detected. Alternatively, when the first sensor information is a signal representing sensing of the left proximity sensor 11L, a trigger operation of “the user raises his left hand and holds it over the left side of the headphones 2” is detected.
  • the trigger detection unit 32 detects a trigger operation corresponding to each digital data.
  • the gesture recognition unit 33 recognizes a gesture operation performed by the user as an operation input based on the second sensor information.
  • the gesture operation is defined in advance according to the nature of the wearable device and the type of available sensor.
  • headphones are used as a wearable device and the motion sensor 12 is used for gesture recognition.
  • the predetermined gesture operations include “nodding”, “right swing” and “left swing” of the neck. To do.
  • the gesture recognition unit 33 performs gesture recognition based on the second sensor information input within a predetermined time after detection of the trigger operation by the trigger detection unit 32.
  • the second sensor information may be transmitted to the information processing section 31 only after the trigger detection section 32 detects the trigger operation.
  • the motion sensor 12 may not be operated until the trigger operation is detected by the trigger detection unit 32, or may be configured to operate in the power saving mode.
  • the gesture recognition unit 33 continues to recognize the gesture operation until the timeout time elapses.
  • the operation input signal generation unit 34 interprets an operation input that the user intends to input through the gesture operation by a combination of the trigger operation detected by the trigger detection unit 32 and the gesture operation recognized by the gesture recognition unit 33. As described with reference to FIG. 1, this interprets the intention of the user's operation input by a combination of the trigger operation and the gesture operation.
  • the operation input signal generator 34 interprets the operation input with reference to a lookup table (not shown).
  • the operation input signal generation unit 34 generates a command obtained as a result of interpretation as a signal.
  • the generated signal is output to the subsequent stage as an operation input signal.
  • the configuration example of this embodiment has been described above. Note that the internal configuration of the information processing apparatus 1 is not limited to the example illustrated in FIG. 3, and in the configuration of FIG. 3, some or all of the components included in the mobile terminal 3 may be included on the wearable device side. Good. 4 and 5 show the internal configuration in such a case.
  • FIG. 4 is a modification of the present embodiment, which is a modification of the type in which trigger operation and gesture recognition are executed on the wearable device side.
  • the portable terminal 3 has a CPU 38 and a RAM 22, and the CPU 38 executes the software program read into the RAM 22, and the operation input signal generation unit 34 is generated. Since it is not necessary to wirelessly communicate the output value (sensor information) of the sensor output from the sensor group 10 to the portable terminal 3, battery saving may be achieved.
  • FIG. 5 is also a modification of the present embodiment, and is a modification of the type in which everything up to the operation input signal generation is executed on the wearable device side.
  • the portable terminal 3 is not necessary as a component.
  • Operation> 6 and 7 are flowcharts showing the flow of processing of the information processing apparatus 1 according to this embodiment.
  • 8 and 9 are timing charts referred to for explaining the flow of processing of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 waits until the first sensor information is detected by the trigger detection unit 32 (ST100). In this state, the functions of the gesture recognition unit 33 and the motion sensor 12 may be limited in a first power consumption mode that consumes less power, such as a power saving mode.
  • the trigger detection unit 32 detects a trigger operation (ST100, Yes).
  • the trigger detection unit 32 determines the type of trigger operation according to the type of the input first sensor information, and stores the type in a register provided in the information processing unit 31 (ST101).
  • the type of trigger operation is referred to in ST105.
  • the first sensor information includes a plurality of types such as sensing information of the right proximity sensor 11R, sensing information of the left proximity sensor 11L, and information transmitted by the microphone 13 when the microphone 13 is tapped.
  • the type of trigger operation corresponding to each type is detected here. For example, a trigger operation of holding the right hand over the sensing information of the right proximity sensor 11R, a trigger operation of holding up the left hand over the sensing information of the left proximity sensor 11L, a trigger operation of holding both hands over the sensing information of both proximity sensors, A trigger operation for tapping is detected in information transmitted from the microphone 13 at the time of tapping.
  • the operation input signal generator 34 determines whether or not the first sensor information continues to be detected (ST102). This determination is performed by the operation input signal generator 34. For example, when the right proximity sensor 11R transmits sensing information in ST100, it is determined whether or not the sensing information is continuously input. The operation input signal generation unit 34 determines whether or not sensing information continues to be input beyond a predetermined threshold, and determines whether or not there is continuity of the trigger operation.
  • the information processing section 31 activates a sensor used for detecting a gesture operation (ST103).
  • the motion sensor 12 is activated.
  • the operation mode of the information processing apparatus 1 after activation of the sensor used for detecting the gesture operation may be referred to as a normal operation mode (second power consumption mode), and may be switched from the power saving mode to the normal operation mode.
  • the information processing unit 31 may perform this switching.
  • the gesture recognizing unit 33 waits for second sensor information that may be input until a predetermined time that is timed out (ST104). If the user's gesture operation cannot be recognized from the sensing information (an example of the second sensor information) of the motion sensor 12 within a predetermined time (ST104, No), the process ends.
  • the operation input signal generation unit 34 When the user's gesture operation can be recognized from the sensing information (an example of the second sensor information) of the motion sensor 12 within a predetermined time (ST104, Yes), the operation input signal generation unit 34 has stored the trigger since ST101. Based on the combination of the type of operation and the gesture operation recognized in ST104, it is interpreted what operation input the user is trying to perform in the gesture operation recognized in ST104 (ST105).
  • the same gesture operation becomes a “zoom-in” command (an example of operation input) or a “decrease volume” command (an example of operation input).
  • a “return to previous page” command an example of operation input).
  • the information processing section 31 or the portable terminal 3 executes the operation input interpreted in ST105 (ST106). Depending on the contents of the operation input, the headphones 2 or the information processing apparatus 1 as a whole may execute.
  • the gesture recognition unit 33 sets a predetermined time until timeout.
  • the starting point of the predetermined time is set to the end point of detection of the first sensor information, but may be set to the start point of detection.
  • the gesture recognition unit 33 determines that there is no gesture operation or user operation input. Therefore, even when the trigger operation is not intended by the user, erroneous input by the information processing apparatus 1 can be suppressed.
  • whether or not the second sensor information is input is determined only within a predetermined time from the detection of the trigger operation. Therefore, when performing the operation input, the user needs to perform the gesture operation after explicitly performing the trigger operation. Also with this configuration, erroneous input by the information processing apparatus 1 can be suppressed.
  • the gesture recognition unit 33 recognizes whether or not this is a gesture operation.
  • the execution of the operation input in ST106 is continued until the trigger operation is completed (ST107, Yes).
  • the trigger operation is an operation of holding the right hand with the reaction of the right proximity sensor 11R
  • the operation input interpreted by the combination of the type of the trigger operation and the gesture operation is continued while the right hand is held over. .
  • the continuity of the trigger operation will be described with reference to FIG.
  • the upper part of each sensor information indicates that sensor information is input, and the lower part indicates that sensor information is not input.
  • the horizontal axis is time.
  • the determination of the continuity of the trigger operation in ST102 of FIG. 6 is determined using a predetermined threshold value shown in FIG. Whether the operation input signal generation unit 34 exceeds the predetermined threshold for determining the continuity of the trigger operation, starting from the time when the input of the first sensor information rises.
  • the continuity of the trigger operation is determined based on whether or not. When it does not exceed as shown in FIG. 9A, it is determined that the trigger operation is a single trigger operation. When exceeding as shown in FIGS. 9B and 9C, it is determined that the trigger operation is a continuous trigger operation or a continuous trigger operation.
  • the type of the first sensor information is treated differently depending on whether or not the trigger operation is continued. For example, even sensor information output by the same right proximity sensor 11R is handled as different types of sensor information in a single trigger operation and a continuous trigger operation.
  • the method for performing different types of operation input for each device that detects the trigger operation or for each combination of devices for the same gesture input has been described.
  • the trigger operation has also been described with respect to the method of making the operation input different between the single trigger operation and the continuous trigger operation.
  • a method for including a continuous value in an operation input using a continuous trigger operation will be described below.
  • a button can be used to specify a continuous value by pressing the button for a long time, but this is a problem when there is a restriction on the human interface that can be used for input, such as a wearable device.
  • a wearable device that does not have a button, it may be possible to input by gesture operation, but it is difficult to specify a continuous value by gesture operation. This is due to the fact that the natural sensation varies from user to user.
  • a value corresponding to the detected time length of the continuous trigger operation is used as the continuous value.
  • the length of time for continuous triggering is extracted as described below.
  • the end and end of the time length of the continuous trigger operation may be the time when the continuous trigger operation ends. That is, it is set at the time when the input of the first sensor information is interrupted. For example, when a gesture operation such as nodding is performed after holding the hand to react the proximity sensor, the point at which the continuous trigger operation is ended is the point at which the user continues to hold the hand.
  • the starting point of the time length of the continuous trigger operation is not limited. For example, when the input of the first sensor information is started, it is determined that the trigger operation has continuity, the gesture When the operation is recognized, there are the above three patterns. Any pattern may be selected.
  • the operation input signal generation unit 34 generates a command based on the interpreted operation input and passes it to a subsequent processing block.
  • a continuous value is extracted from a continuous trigger operation by the method described above, the continuous value Alternatively, a command with a value corresponding to this as an argument is generated.
  • the value corresponding to the continuous value include a value having a proportional relationship, a value quantized according to some criterion, and a value calculated by a predetermined function (for example, a sigmoid function).
  • a desired method can be selected as a method for deriving a value corresponding to a continuous value in accordance with an operation input target.
  • proximity sensor sensing as an alternative to button press detection, but in this case, there is a possibility that the input unintended by the user may increase.
  • An area having a certain area is required for a touch device using an electrostatic switch, and there is a risk that downsizing that is important as a human interface of a wearable device may not be possible.
  • Patent Document 1 uses so-called “touch gestures” for operation input, but there is a limit to the types of “touch gestures” that can be stored by the user, and there is a problem that variations in operation input are difficult to increase. .
  • the operation input is not limited to one per gesture operation, and a plurality of operations can be performed. That is, according to the present embodiment, operation inputs can be diversified without imposing a burden on the user.
  • the trigger is fired unintentionally. Even in such a case, input unintended by the user can be prevented, and erroneous operation input is not performed.
  • the single trigger operation when the first sensor information is input, if the length of time during which the first sensor information is continuously input is shorter than a predetermined threshold, the single trigger operation is long. Detect continuous triggering in case. Then, the operation input is interpreted by a combination of the detected single trigger operation or the continuous trigger operation and the recognized gesture operation. Therefore, two types of single trigger operation and continuous trigger operation can be set for one trigger operation, and the variation of operation input is widened.
  • a value corresponding to the detected time length of the continuous trigger operation is included in the information input by the operation input. This makes it easy to absorb gestures that differ from person to person and recognizes them robustly, while holding the hand to react the proximity sensor and releasing the hand to stop the reaction. It becomes possible to perform operation input using continuous values.
  • the headphones 2 are shown as the wearable device in the above embodiment, the present invention is not limited to this.
  • other examples of wearable devices include headsets and neckband type terminals that can be placed on shoulders.
  • the above-described embodiment can be implemented by being modified to such a device.
  • FIG. 10 is a diagram illustrating an external configuration example of the information processing apparatus 1 according to a modified embodiment when the present technology is applied to a head-mounted display.
  • a glasses-type head mounted display 2a is employed as the housing 20 configured to be mounted on the user's body.
  • the eyeglass-type head mounted display 2 a includes an electrostatic touch device 14.
  • the installation position of the touch device 14 is not limited, but may be a position where an operation by the user's hand can be detected when the glasses-type head mounted display 2a is attached to the user.
  • the touch device 14 around the temple of the user wearing the glasses-type head mounted display 2a is arranged.
  • the touch device 14 provides a function similar to the function provided by the proximity sensor 11R and the left proximity sensor 11L in the configuration example illustrated in FIG. That is, the touch device 14 generates first sensor information necessary for detecting the trigger operation by sensing and inputs the first sensor information to the information processing apparatus 1.
  • the touch device 14 may be of a type that can detect a user's finger contact not only at a single point but also at multiple points.
  • the multipoint type is a touch device 14 that can sense one or more touch points. In this case, for example, different trigger operations can be performed when touched with one finger and when touched with two fingers.
  • the trigger detection unit 32 may be configured to detect different types of trigger operations according to the number of contact points sensed by the touch device 14.
  • the location where the touch device 14 is disposed is not limited to the vicinity of the temple and may be within a range where the user's hand can physically reach so that an operation by the user's hand can be detected. Furthermore, the touch device 14 may be disposed outside the field of view of the user wearing the housing 20. Even if the touch device 14 is disposed in a place where the user who is wearing the housing 20 is not directly visible, according to the present modification to which the present technology is applied, the user's trigger operation and gesture operation can be performed without relying on vision. Thus, an operation input to the information processing apparatus 1 becomes possible.
  • the glasses-type head mounted display 2a may have a transmissive display or a non-transmissive display.
  • a trigger operation corresponding to the type of the first sensor information is detected, a gesture operation performed by the user as an operation input is recognized based on the second sensor information, and the detected trigger operation and the recognized gesture operation
  • An information processing apparatus comprising: a control unit that determines the operation input based on a combination.
  • the information processing apparatus according to (1) above, The information processing apparatus, wherein the control unit recognizes the gesture operation based on the second sensor information input within a predetermined time after detecting the trigger operation.
  • the controller is When the first sensor information is input, a single trigger operation is detected when the length of time during which the first sensor information is continuously input is shorter than a predetermined threshold, and a continuous trigger operation is detected when the time is long. And The information processing apparatus determines the operation input based on a combination of the detected single trigger operation or the continuous trigger operation and the recognized gesture operation. (4) The information processing apparatus according to (3) above, When the control unit detects the continuous trigger operation, the control unit includes a value corresponding to the detected time length of the continuous trigger operation in the information input by the operation input.
  • the information processing apparatus according to (4) or (5) above, The information processing apparatus, wherein the control unit sets a starting point of a time length of the continuous trigger operation as a time point when the gesture operation is recognized.
  • the sensor that outputs the first sensor information is installed in a housing that can be worn on the user's body, The sensor is installed at a position where an operation by the user's hand can be detected.
  • the position where the sensor is installed is a position that is out of the field of view of the user when the housing is mounted.
  • the information processing apparatus according to any one of (9) and (10) above,
  • the first sensor information is sensing information of a touch sensor capable of sensing one or more contact points
  • the control unit detects the trigger operation according to the number of contact points sensed by the touch sensor.
  • the information processing apparatus has a first power mode and a second power mode as power consumption modes of the information processing apparatus, When the control unit detects the trigger operation when the information processing apparatus is in the first power mode, the control unit switches the power consumption mode of the information processing apparatus to the second power mode, The information processing apparatus that consumes less power in the first power mode than in the second power mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報処理装置の情報処理部は、第１のセンサ情報が入力されると前記第１のセンサ情報の種類に応じたトリガ操作を検出する。また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。この情報処理装置によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能になる。

Description

情報処理装置、方法及びプログラム
　本技術は、ヒューマンインターフェイスの操作性向上に関する。
　従来の操作入力に用いるヒューマンインターフェイスとしては、ボタンやタッチパネルが主流である。
　特許文献１には、ボタンを使わない電子機器の制御について記載があり、近接センサが反応して初めて、静電スイッチを使ったタッチデバイスによるセンシングが開始することが開示されている。
特開２０１６－０１８４３２号公報
　しかしながら、ボタンやタッチデバイスによる複雑な操作は、特に小型機器では使いづらい場合があり、より簡単なヒューマンインターフェイスが望まれている。
　以上のような事情に鑑み、本技術の目的は、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することにある。
　上記目的を達成する本技術の一側面は、制御部を具備する情報処理装置である。
　上記制御部は、第１のセンサ情報の種類に応じたトリガ操作を検出する。
　また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。
　また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。
　上記情報処理装置によれば、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになるため、ユーザに負担をかけることなく操作入力を多様化させることが可能になる。
　上記制御部は、上記トリガ操作の検出後、所定の時間内に入力される上記第２のセンサ情報に基づいて、上記ジェスチャ操作の認識をしてもよい。
　上記情報処理装置によれば、意図せずトリガが発火してしまったような場合でも、誤った操作入力が行われないという効果がもたらされる。
　上記制御部は、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定してもよい。
　上記情報処理装置によれば、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。
　上記制御部は、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含めてもよい。
　その場合、上記制御部は、上記連続的トリガ操作の時間長さの終点を、上記第１のセンサ情報の入力が終わった時点としてもよい。
　その場合、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記第１のセンサ情報の入力が始まった時点としてもよい。
　あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記連続的トリガ操作が検出された時点としてもよい。
　あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記ジェスチャ操作が認識された時点としてもよい。
　上記情報処理装置は、上記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されてもよい。
　その場合、上記センサは、前記ユーザの手による操作を検出可能な位置に設置されてもよい。
　その場合、上記センサの設置される位置は、上記筐体を装着した状態におけるユーザの視野外となる位置であるよう構成してもよい。
　上記情報処理装置によれば、ヘッドマウントディスプレイなどウェアラブルデバイス、ウェアラブルコンピュータの操作入力インターフェイスを提供することができる。
　上記情報処理装置は、上記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、上記第１の電力モードは、上記第２の電力モードよりも電力消費量が少ないモードとしてもよい。
　その場合、上記制御部は、上記情報処理装置が上記第１の電力モードにあるときに上記トリガ操作を検出すると、上記情報処理装置の電力消費モードを上記第２の電力モードに切り替えるよう構成してもよい。
　上記情報処理装置によれば、トリガ操作をより電力消費の大きい動作モードへの切り替えのトリガとしても用いるよう構成することができ、装置の電力消費を抑えることが可能になる。
　また、本技術の別の一側面は、次のステップを有する情報処理方法である。
　第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。
　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。
　検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ
　また、本技術の別の一側面は、コンピュータに、以下のステップを実行させるプログラムである。
　第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。
　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。
　検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ。
　以上のように、本技術によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することが可能になる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
本発明の一実施形態の概要を説明するための図である。 上記実施形態に係る情報処理装置の外観構成例を示す図である。 上記実施形態に係る情報処理装置の内部構成例を示すブロック図である。 上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。 上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。 上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その１）である。 上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その２）である。 上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その１）である。 上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その２）である。 上記実施形態の変形例の外観構成例を示す図である。
　以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本技術の一実施形態による情報処理装置の概要
　２．構成
　　２－１．外観構成
　　２－２．内部構成
　３．動作
　４．まとめ
　５．変形例
　６．付記
＜１．本技術の一実施形態による情報処理装置の概要＞
　本実施形態に係る情報処理装置１はウェアラブルデバイスを含む。本実施形態のウェアラブルデバイスとしては、後述するセンサ群が搭載可能なスペースを確保できるものである限り、特に限定するものではないが、ヘッドフォンやヘッドマウントディスプレイが一例として挙げられる。そのほか、リストバンド型のウェアラブルデバイスやジャケット等着衣型のウェアラブルデバイス等にも適用可能である。以下の説明においては、本実施形態のウェアラブルデバイスとしてヘッドフォンを採用する。また、ヘッドフォン以外にもイヤホン型でもよい。
　本実施形態に係る情報処理装置１はユーザの操作入力を受け付けるユーザインターフェイスを含む。ユーザの操作入力をどのような用途に用いるかについて一切限定はない。ニュースの読み上げアプリケーションでもよい。以下の説明においては、音楽コンテンツを再生する音楽プレーヤーを操作するために用いる例を示す。
　図１に本実施形態の概要を説明するための図を示す。本実施形態に係る情報処理装置１はユーザの動きを認識するジェスチャ認識機能を有する。ただし、ユーザがトリガ操作を行い、それを情報処理装置１が検出した場合にジェスチャ認識が行われる。本実施形態においてトリガ操作には複数あるが、複数のトリガ操作検出を実現する１つの方法は、各トリガ操作に対応するセンサを１つずつ用意することである。情報処理装置１はその種類に応じたトリガ操作と、ジェスチャ認識の種類とに応じて、ジェスチャ認識の解釈を行う。
　なお、本実施形態において「解釈する」とは、一連のトリガ操作とジェスチャ操作による操作入力を情報処理装置１への処理コマンドに置き換えるよう決定することを言う。
　図１には、３種類の「うなずく」「右を向いて首を戻す」「左を向いて首を戻す」というジェスチャ操作例が示されている。本実施形態では、これら３種類のジェスチャ操作が行われる前に行われたトリガ操作に応じて、それぞれのジェスチャ操作の解釈を変える。例えば、図１（ａ）は第１のトリガ操作を行った場合、（ｂ）は第２のトリガ操作を行った場合とする。
　同じ「うなずく」というジェスチャ操作を行った場合でも、第１のトリガ操作が先にあれば情報処理装置１は、そのジェスチャ操作を音楽プレーヤーの「再生／停止」と解釈する（図１（ａ））。一方で、第２のトリガ操作が先にあれば情報処理装置１は、その同じジェスチャ操作を「音楽アルバム選択」と解釈する。右を向くジェスチャ操作、左を向くジェスチャ操作に対しても同様の情報処理を行う。
　トリガ操作の具体例に限定はないが、例えば、近接センサによりトリガ操作を検出する場合は、ヘッドフォンの左右にそれぞれ近接センサを設置する。ユーザが左のヘッドフォン近傍に手をかざした場合は、第１のトリガ操作（図１（ａ））、右のヘッドフォン近傍に手をかざした場合は、第２のトリガ操作（図１（ｂ））を検知する。
　ユーザが左右両方の近接センサを反応させた場合は第３のトリガ操作を検知することとする。第３のトリガ操作に対しても、それぞれのジェスチャ操作に対応する操作入力のセットを設定する（図１（ｃ））。
　うなずいたり右を向いたりというジェスチャは、誰もが覚えられる簡単なジェスチャである。その反面、日常的な動きであるからすべてが情報処理装置１への操作入力と解釈されるとユーザの意図しない入力になる。ところが、本実施形態ではジェスチャ認識に先立つトリガ操作を検知して初めて、ジェスチャ認識を行うので、ユーザの意図しない入力を防止できる。さらに、図１に示したように、トリガ操作の種類に応じて同じジェスチャで情報処理装置１に入力可能な操作入力のバリエーションは多様化する。したがって本実施形態によれば、ユーザに負担を掛けることなく操作入力を多様化させることができる。
　以上、本実施形態の概要を述べた。以下、外部構成と内部構成を示し、情報処理装置１内で実行される情報処理の流れの詳細について開示する。
＜２－１．外観構成＞
　図２は本実施形態に係る情報処理装置１の外観構成例を示す図であり、図３は内部構成例を示すブロック図である。
　図２に示すように本実施形態に係る情報処理装置１は、ハードウェア構成の面では例えば、ヘッドフォン２と携帯端末３を含む構成とすることができる。ヘッドフォン２はセンサ群１０を有する。図２に示すハードウェア構成例のほかにも、センサ群１０が設置されるユーザに装着可能な筐体２０を有するデバイスであれば、イヤホン型、リストバンド形、ジャケット型など、どのような形態でもよい。また、このようなデバイスをウェアラブルデバイスと呼ぶ。なお、「筐体」は箱型をしていることを含意する場合があるが、ここでは単に外装を具備することを意味し、形状については限定しない。
　ヘッドフォン２と携帯端末３は、それぞれ無線通信部１９、無線通信部３９を有し、相互に通信可能であるが、その具体的通信態様について制限はない。有線通信でもよい。本実施形態では、各無線通信部はアンテナ及び無線通信回路を含んで構成され、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格に沿った通信を行い、センサ群１０の検知情報が携帯端末３へ渡される。携帯端末３は、例えばスマートフォンが利用できる。
　図２に示すセンサ群１０には、右近接センサ１１Ｒ、左近接センサ１１Ｌ、動きセンサ１２、ノイズキャンセラ用のマイクロフォン１３が含まれる。その他に、マイクを短絡するように接続されたスイッチ（不図示）をセンサ群１０を構成するセンサの一つとして用いてもよい。
　右近接センサ１１Ｒと左近接センサ１１Ｌは、赤外線方式でもその他の方式でもよい。右近接センサ１１Ｒと左近接センサ１１Ｌは、センシングしている間中、検知信号を出力し続ける。近接センサ１１Ｒと左近接センサ１１Ｌは、ユーザのトリガ操作の検出に用いる。
　動きセンサ１２は、３軸加速度と３軸角速度を検出するモーションセンサである。動きセンサ１２は、ユーザのジェスチャ操作の認識に用いる。トリガ操作の認識に用いてもよい。
　ノイズキャンセラ用のマイクロフォン１３は、ヘッドフォン２の周囲の音を集音し、逆位相の音を出力してノイズを軽減するノイズキャンセル技術において、周囲の音を集音するマイクである。ユーザがノイズキャンセラ用のマイクロフォン１３を指などで軽くタップした場合に、当該操作をトリガ操作として検出してもよい。
　本実施形態では、トリガ操作を検出するために必要なセンサ情報を第１のセンサ情報、ジェスチャ操作を認識するために必要なセンサ情報を第２のセンサ情報と呼ぶ。センサ情報とは、これらセンサ群１０を構成する少なくともいずれか１つ以上がセンシングに伴い発信するセンサ信号の束である。第１のセンサ情報と第２のセンサ情報は重複するものがあってもよい。
　以下の説明では、右近接センサ１１Ｒと左近接センサ１１Ｌの少なくともどちらかによるセンサ情報を第１のセンサ情報とする。また、動きセンサ１２によるセンサ情報を第２のセンサ情報とする。ただしこれは説明のための一例であって、例えば、動きセンサ１２によるセンサ情報が第１のセンサ情報の一部又は全部を兼ねてもよい。
＜２－２．内部構成＞
　図３に示すように本実施形態に係る情報処理装置１は、図２に示した構成に加えて、携帯端末３が情報処理部３１を内蔵する構成である。情報処理部３１は、携帯端末３の演算処理装置の少なくとも一つであればよく、例えば、中央演算処理装置（ＣＰＵ：Central Processing Unit）やＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on Chip）で構成されてもよい。１以上の演算処理デバイスが組み合わさって情報処理部３１を構成するように設計してもよい。
　情報処理部３１は、ＲＡＭ２１（２２）などのメモリに読み込まれたソフトウェアプログラムを実行し、トリガ検出部３２、ジェスチャ認識部３３、操作入力信号生成部３４を有するように構成される。以下、各部の働きを述べる。
　トリガ検出部３２は、第１のセンサ情報が入力されると、その入力された第１のセンサ情報の種類に応じたトリガ操作を検出する。例えば、第１のセンサ情報が、右近接センサ１１Ｒのセンシングを表す信号である場合、「ユーザが右手を挙げてヘッドフォン２の右側にかざす」トリガ操作を検出する。あるいは、第１のセンサ情報が、左近接センサ１１Ｌのセンシングを表す信号である場合、「ユーザが左手を挙げてヘッドフォン２の左側にかざす」トリガ操作を検出する。
　限定するものではないが、一例を挙げると、第１のセンサ情報を２進数５桁のデジタルデータとして表すこととした場合、右近接センサ１１Ｒのセンシングは（００００１）、左近接センサ１１Ｌのセンシングは（０００１０）、両近接センサが反応したら（０００１１）などと表すことができる。トリガ検出部３２は、それぞれのデジタルデータに応じたトリガ操作を検出する。
　ジェスチャ認識部３３は、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。ジェスチャ操作は、ウェアラブルデバイスの性格や利用可能なセンサの種類に応じてあらかじめ規定される。本実施形態においては、ウェアラブルデバイスとしてヘッドフォンを採用し、動きセンサ１２をジェスチャ認識に利用するので、あらかじめ規定するジェスチャ操作としては例えば、「うなずき」、首の「右振り」「左振り」などとする。
　ジェスチャ認識部３３は、トリガ検出部３２によるトリガ操作の検出の後所定の時間内に入力された第２のセンサ情報に基づいて、ジェスチャ認識を行う。トリガ検出部３２によるトリガ操作の検出があって始めて、情報処理部３１に第２のセンサ情報が送信されるよう構成してもよい。あるいは、トリガ検出部３２によるトリガ操作の検出があるまで、動きセンサ１２が作動しない、ないし、省電力モードでの作動するように構成してもよい。ジェスチャ認識部３３は、タイムアウトの時間が経過するまで、ジェスチャ操作の認識を続ける。
　操作入力信号生成部３４は、トリガ検出部３２が検出したトリガ操作と、ジェスチャ認識部３３が認識したジェスチャ操作との組み合わせにより、ユーザがそのジェスチャ操作により入力しようとしている操作入力を解釈する。これは、図１を参照しながら説明したとおり、トリガ操作とジェスチャ操作との組み合わせにより、ユーザの操作入力の意図を解釈する。操作入力信号生成部３４は不図示のルックアップテーブルを参照して、操作入力を解釈する。
　操作入力信号生成部３４は、解釈の結果、得られたコマンドを信号として生成する。生成した信号は操作入力信号として後段に出力する。
　以上、本実施形態の構成例について述べた。なお、情報処理装置１の内部構成については、図３示した例だけに限定されず、図３の構成では携帯端末３に含まれる構成要素の一部又は全部がウェアラブルデバイス側に含まれてもよい。図４と図５にそのような場合の内部構成を示す。
　図４は本実施形態の変形例であり、トリガ操作とジェスチャ認識をウェアラブルデバイス側で実行するタイプの変形例である。本変形例では携帯端末３がＣＰＵ３８とＲＡＭ２２を有し、ＲＡＭ２２に読み込まれたソフトウェアプログラムをＣＰＵ３８が実行し、操作入力信号生成部３４が生成される。センサ群１０が出力するセンサの出力値（センサ情報）を携帯端末３に無線通信する必要がないため、バッテリ節約になる場合がある。
　図５も本実施形態の変形例であり、操作入力信号生成まですべてをウェアラブルデバイス側で実行するタイプの変形例である。この情報処理装置１においては、携帯端末３は構成要素としては不要である。本技術に関わる情報処理がすべてウェアラブルデバイスで完結するよう構成することも図５に示すように、可能である。
＜３．動作＞
　図６と図７は本実施形態に係る情報処理装置１の処理の流れを示すフローチャートである。図８と図９は本実施形態に係る情報処理装置１の処理の流れを説明するために参照するタイミングチャートである。以下、これらの図面を参照しながら説明する。
　情報処理装置１は、トリガ検出部３２により第１のセンサ情報が検出されるまで待機する（ＳＴ１００）。この状態のとき、ジェスチャ認識部３３や動きセンサ１２は、省電力モードなど電力消費量の少ない第１の電力消費モードで機能が制限されていてもよい。
　第１のセンサ情報が入力されると、トリガ検出部３２はトリガ操作を検出する（ＳＴ１００，Ｙｅｓ）。トリガ検出部３２は、入力された第１のセンサ情報の種類に応じて、トリガ操作の種類を判別し、その種類を情報処理部３１に備わるレジスタなどに記憶する（ＳＴ１０１）。トリガ操作の種類はＳＴ１０５で参照される。
　第１のセンサ情報としては、右近接センサ１１Ｒのセンシング情報、左近接センサ１１Ｌのセンシング情報、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報など、複数の種類がある。それぞれの種類に応じたトリガ操作の種類がここでは検出される。例えば、右近接センサ１１Ｒのセンシング情報には右手をかざすトリガ操作、左近接センサ１１Ｌのセンシング情報には左手をかざすトリガ操作、両方の近接センサのセンシング情報には両手をかざすトリガ操作、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報にはタップするトリガ操作が検出される。
　次に、第１のセンサ情報が検出され続けているか否かが判定される（ＳＴ１０２）。この判定は、操作入力信号生成部３４が行う。例えば、ＳＴ１００で右近接センサ１１Ｒがセンシング情報を送信した場合、そのセンシング情報が入力され続けているか否かを判定する。操作入力信号生成部３４は、所定の閾値を越えてセンシング情報が入力され続けているか否かを判定して、トリガ操作の継続性があるか否かを判定する。
　所定の時間内に第１のセンサ情報の入力が立ち上がり、かつ、立ち下がった場合、トリガ操作の継続性はないと判断される（ＳＴ１０２，Ｎｏ）。次に、情報処理部３１はジェスチャ操作検出に用いるセンサを起動する（ＳＴ１０３）。本実施形態においては、動きセンサ１２を起動する。ジェスチャ操作検出に用いるセンサの起動後の情報処理装置１の動作モードを通常動作モード（第２の電力消費モード）と呼び、省電力モードから通常動作モードへの切り替えとしてもよい。情報処理部３１がこの切り替えを実行することとしてもよい。
　次に、ジェスチャ認識部３３は、タイムアウトとなる所定の時間までの間、入力される可能性のある第２のセンサ情報を待ち受ける（ＳＴ１０４）。所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できなかった場合（ＳＴ１０４，Ｎｏ）、処理は終了する。
　所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できた場合（ＳＴ１０４，Ｙｅｓ）、操作入力信号生成部３４はＳＴ１０１以来記憶中のトリガ操作の種類と、ＳＴ１０４で認識したジェスチャ操作との組み合わせにより、ＳＴ１０４で認識したジェスチャ操作でユーザがしようとしている操作入力が何であるかを解釈する（ＳＴ１０５）。
　ＳＴ１０５の処理により、図１を参照しながら説明したように、同じジェスチャ操作が「ズームイン」のコマンド（操作入力の一例）になったり、「音量を下げる」コマンド（操作入力の一例）になったり、「前のページに戻る」コマンド（操作入力の一例）になったりする。
　次に、情報処理部３１もしくは携帯端末３が、ＳＴ１０５で解釈した操作入力を実行する（ＳＴ１０６）。操作入力の内容によっては、ヘッドフォン２又は情報処理装置１全体が実行してもよい。
　ＳＴ１０４のタイムアウトについて図８を参照して説明する。図８のタイミングチャートにおいて、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
　図８（ａ）に示すように、第１のセンサ情報の入力が存在して、トリガ操作が検出されると、ジェスチャ認識部３３はタイムアウトまでの所定の時間を設定する。図８中では、所定の時間の起点が、第１のセンサ情報の検出終わりの時点に合わせているが、検出始まりの時点にあわせてもよい。
　図８（ｂ）に示すように、所定の時間内に第２のセンサ情報の入力がなかった場合、ジェスチャ認識部３３は、ジェスチャ操作やユーザの操作入力がないと判断する。したがって、トリガ操作がユーザの意図しないものであった場合であっても、情報処理装置１による誤入力を抑制することができる。
　また、図８中、破線で示されているように、第２のセンサ情報の入力の有無はトリガ操作の検出から所定の時間内だけ、判断される。したがって、ユーザは操作入力を行う際、明示的にトリガ操作を行ってからジェスチャ操作を行う必要がある。この構成によっても情報処理装置１による誤入力を抑制することができる。
　さらに、第２のセンサ情報の入力が存在した場合（図８（ａ））でも、これがジェスチャ操作であるか否かの認識がジェスチャ認識部３３によりなされる。
　ＳＴ１０２でトリガ操作の継続性があると判断された場合の処理の詳細について、図７を参照して説明する。この場合の処理で図６と同等の処理については、同じ符号を振って、説明を省略する。
　図７に示すように、ＳＴ１０６での操作入力の実行は、トリガ操作が終了するまで（ＳＴ１０７，Ｙｅｓ）、継続される。例えば、トリガ操作が右近接センサ１１Ｒの反応を伴う右手をかざす操作であったとしたら、右手がかざされている間中、トリガ操作の種類とジェスチャ操作との組み合わせにより解釈された操作入力を継続する。
　トリガ操作の継続性について図９を参照して説明する。図９のタイミングチャートは図８のタイミングチャートと同じく、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
　図６のＳＴ１０２におけるトリガ操作の継続性の判断は、図９中に示す所定の閾値を用いて判断される。操作入力信号生成部３４は、第１のセンサ情報の入力が立ち上がった時点を起点にして、トリガ操作の継続性を判断する所定の閾値を超えて、第１のセンサ情報の入力が継続するか否かを基準にしてトリガ操作の継続性を判断する。図９（ａ）のように超えない場合は、トリガ操作が単発のトリガ操作であると判断する。図９（ｂ）や（ｃ）のように超える場合は、トリガ操作が継続性のあるトリガ操作、連続的トリガ操作であると判断する。
　第１のセンサ情報を出力するセンサデバイスが同一であっても、トリガ操作の継続性の有無によって、第１のセンサ情報の種類は異なるものと扱う。例えば、同じ右近接センサ１１Ｒが出力するセンサ情報であっても、単発的トリガ操作と、連続的トリガ操作とでは異なる種類のセンサ情報として扱う。
　そのため、図６又は図７のＳＴ１０５における操作入力の解釈（処理コマンドの決定）においては、同一のジェスチャ操作に対して、単発的トリガ操作と、連続的トリガ操作とでは異なる操作入力の解釈を割り当てることができる。
　以上で、同一のジェスチャ入力に対して、トリガ操作を検出するデバイスごと、又は、それらデバイスの組み合わせごとに異なる種類の操作入力を行う方法を説明した。また、トリガ操作についても単発的トリガ操作と連続的トリガ操作とで操作入力を異ならせる方法も説明した。次に、連続的トリガ操作を使って、操作入力に連続値を含める方法について、以下、説明する。
　音楽プレーヤーをアプリケーションにする場合、以上に述べた操作入力のみでは音楽プレーヤーに求められるユーザインターフェイスすべてをカバーすることはできない。例えば、ボリュームの調整、アルバム送り、連続する曲のスキップ、シャッフル再生の切り替えなど、さまざまな操作が必要となる。また、ボリュームの調整は連続値を指定できることが望ましい。
　ボタン操作のみでは、例えばボタン長押しにより連続値の指定が可能にはなるが、ウェアラブルデバイスのように入力に利用できるヒューマンインターフェイスに制約がある場合、問題となる。ボタンを持たないウェアラブルデバイス場合、ジェスチャ操作で入力することが考えられるが、ジェスチャ操作で連続値を指定するのは難しい。これは、ユーザによって自然な感覚が異なっていることに起因する。
　そこで本実施形態では、連続値を必要とする操作入力において、連続的トリガ操作を検出した場合、検出したその連続的トリガ操作の時間の長さに応じた値を、その連続値として用いる。連続的トリガ操作の時間の長さは、以下に述べるように抽出する。
　図９（ｂ）と（ｃ）を参照する。連続的トリガ操作の時間の長さの終期、終点は、連続的トリガ操作が終了した時点とするとよい。つまり、第１のセンサ情報の入力が途絶えた時点などに設定する。例えば、手をかざして近接センサを反応させた上でうなずくなどのジェスチャ操作をする場合、手をかざし続けるのを止めた時点が連続的トリガ操作の終了時点となる。
　連続的トリガ操作の時間の長さの起点については、限定するものではないが、例えば、第１のセンサ情報の入力が開始されたとき、トリガ操作に継続性があると判断された時点、ジェスチャ操作が認識された時点、以上の３つのパターンがある。いずれのパターンを選択してもよい。
　操作入力信号生成部３４は、解釈した操作入力に基づいてコマンドを生成して、後段の処理ブロックに渡すが、上述のような方法で連続的トリガ操作から連続値を抽出した場合、当該連続値又はこれに応じた値を引数としたコマンドを生成する。連続値に応じた値とは、例えば、比例関係にある値、何らかの基準により量子化した値、所定の関数（例えば、シグモイド関数など）により算出される値などがある。操作入力する対象に合わせて、連続値に応じた値を導き出す方法は所望のものを選ぶことができる。
＜４．まとめ＞
　上述の実施形態はユーザに負担をかけることなく複雑な操作入力を可能にすることに主眼がある。ウェアラブルデバイスは軽さや小型化が追求されるため搭載可能なヒューマンインターフェイスもボタン程度のものとなる場合がある。しかしながら、ボタンのみでは複雑な操作ができない。
　そこで例えば、近接センサのセンシングをボタンの押下検知の代替に使用することが考えられるが、この場合はユーザの意図しない入力が増える可能性がある。静電スイッチを使ったタッチデバイスにはある程度の面積を持った領域が必要で、ウェアラブルデバイスのヒューマンインターフェイスとして重要な小型化が不可能になるおそれがある。
　従来の特許文献１では、いわゆる「タッチジェスチャ」を操作入力に用いているが、ユーザが記憶できる「タッチジェスチャ」の種類には限界があり、操作入力のバリエーションも増やしにくいという問題点があった。このような従来技術の課題があったところ、以上に述べた本実施形態によると、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになる。つまり、本実施形態によるとユーザに負担を掛けることなく操作入力を多様化させることができる。
　また、図８を参照して説明したように、タイムアウトまでの時間までにジェスチャ認識がない場合は、操作入力に係る処理コマンドを決定しない本実施形態の構成によれば、意図せずトリガが発火してしまったような場合でも、ユーザの意図しない入力を防止することができ、誤った操作入力が行われない。
　また、本実施形態においては、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出する。そして、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせにより、上記操作入力を解釈する。そのため、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。
　また、本実施形態においては、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含める。これにより、各個人によってそれぞれ異なるジェスチャ操作の、個人差を吸収してロバストに認識しつつ、手をかざして近接センサを反応させている状態から、手を離して反応を止めるという簡単な操作で、連続値を利用する操作入力を行うことが可能になる。
＜５．変形例＞
　さらに、本実施形態は、以下に述べるように変形して実施が可能である。
　例えば、ウェアラブルデバイスとして上記実施形態ではヘッドフォン２を示したが、これに限定されない。例えば、ウェアラブルデバイスの他の例としては、ヘッドセットや肩に乗せるネックバンドタイプの端末がある。上述の実施形態はこのような機器に変形して実施可能である。
　さらに上記実施形態では、ヘッドマウントディスプレイに適用することも可能である。図１０は、本技術をヘッドマウントディスプレイに対して実施した場合の変形実施形態における情報処理装置１の外観構成例を示す図である。
　図１０に示すように、本変形例においてはユーザの身体に装着可能に構成された筐体２０として、メガネ型ヘッドマウントディスプレイ２ａが採用される。メガネ型ヘッドマウントディスプレイ２ａは、静電方式のタッチデバイス１４を具備する。
　タッチデバイス１４の設置位置に限定はないが、メガネ型ヘッドマウントディスプレイ２ａがユーザに装着されたとき、ユーザの手による操作を検出可能な位置でもよい。例えば、図１０に示すようにメガネ型ヘッドマウントディスプレイ２ａを装着したユーザのこめかみの辺りタッチデバイス１４が配置されるように構成する。
　タッチデバイス１４は、図２で示した構成例において近接センサ１１Ｒと左近接センサ１１Ｌが提供する機能と類似する機能を本変形例において提供する。すなわち、タッチデバイス１４は、トリガ操作検出に必要な第１のセンサ情報をセンシングにより生成し、情報処理装置１に入力する。
　タッチデバイス１４は、ユーザの指の接触の検出が、シングルポイントのみならずマルチポイントで可能なタイプであってもよい。マルチポイントタイプは、１以上の接触点を感知可能なタッチデバイス１４である。この場合、例えば、１本の指でタッチした場合と、２本の指でタッチした場合とで、異なるトリガ操作とすることができる。その他にも、タッチデバイス１４が感知した接触点の数に応じて、トリガ検出部３２が異なる種類のトリガ操作を検出するよう構成してもよい。
　タッチデバイス１４の配設箇所は、こめかみの辺りに限定されず、ユーザの手による操作が検出可能となるように、ユーザの手が物理的に届く範囲内であればよい。さらに、タッチデバイス１４は、筐体２０を装着している状態のユーザの視野の外に配設されてもよい。筐体２０を装着している状態のユーザが直接視認できない場所にタッチデバイス１４が配設されても、本技術が適用された本変形例によると、視覚に頼らずユーザのトリガ操作、ジェスチャ操作で情報処理装置１への操作入力が可能になる。
　ヘッドマウントディスプレイにおいては、ヴァーチャルリアリティコンテンツの視聴中であっても、ユーザがシステムに何らかの入力を行いたいというニーズがある。リモコンを使わずに入力を行う場合、本変形例のように、メガネ型ヘッドマウントディスプレイ２ａの一部（タッチデバイス１４）をタップして、その後ジェスチャ操作を行うことで、ユーザがシステムに入力を行うことが可能になる。なお、メガネ型ヘッドマウントディスプレイ２ａは透過型のディスプレイを有していてもよいし、非透過型のディスプレイを有していてもよい。
＜６．付記＞
　本明細書に開示される技術的思想の一部は、下記（１）～（１１）のように記載されうる。
（１）
　第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部
　を具備する情報処理装置。
（２）
　上記（１）に記載の情報処理装置であって、
　前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする
　情報処理装置。
（３）
　上記（１）又は（２）に記載の情報処理装置であって、
　前記制御部は、
　前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、
　検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する
　情報処理装置。
（４）
　上記（３）に記載の情報処理装置であって、
　前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める
　情報処理装置。
（５）
　上記（４）に記載の情報処理装置であって、
　前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする
　情報処理装置。
（６）
　上記（４）又は（５）に記載の情報処理装置であって、
　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする
　情報処理装置。
（７）
　上記（４）又は（５）に記載の情報処理装置であって、
　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする
　情報処理装置。
（８）
　上記（４）又は（５）に記載の情報処理装置であって、
　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする
　情報処理装置。
（９）
　上記（１）から（８）のいずれかに記載の情報処理装置であって、
　前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、
　前記センサは、前記ユーザの手による操作を検出可能な位置に設置される
　情報処理装置。
（１０）
　上記（９）に記載の情報処理装置であって、
　前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である
　情報処理装置。
（１１）
　上記（９）又は（１０）のいずれかに記載の情報処理装置であって、
　前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、
　前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する
　情報処理装置。
（１２）
　上記（１）から（１１）のいずれかに記載の情報処理装置であって、
　前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、
　前記制御部は、前記情報処理装置が前記第１の電力モードにあるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、
　前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない
　情報処理装置。
（１３）
　第１のセンサ情報の種類に応じたトリガ操作を検出し、
　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、
　検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する
　情報処理方法。
（１４）
　コンピュータに、
　第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、
　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、
　検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと
　を実行させる
　プログラム。
　１…情報処理装置
　２…ヘッドフォン
　２ａ…メガネ型ヘッドマウントディスプレイ
　３…携帯端末
　１１Ｒ…右近接センサ
　１１Ｌ…左近接センサ
　１２…動きセンサ
　１３…マイクロフォン
　１４…タッチデバイス
　１９…無線通信部
　２０…筐体
　２１，２２…ＲＡＭ
　３１…情報処理部（ＳｏＣ／ＣＰＵ）
　３２…トリガ検出部
　３３…ジェスチャ認識部
　３４…操作入力信号生成部
　３８…ＣＰＵ
　３９…無線通信部

Claims (14)

  1. 　第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする
    　情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、
    　前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、
    　検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする
    　情報処理装置。
  6. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする
    　情報処理装置。
  7. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする
    　情報処理装置。
  8. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、
    　前記センサは、前記ユーザの手による操作を検出可能な位置に設置される
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である
    　情報処理装置。
  11. 　請求項９に記載の情報処理装置であって、
    　前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、
    　前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する
    　情報処理装置。
  12. 　請求項１に記載の情報処理装置であって、
    　前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、
    　前記制御部は、前記情報処理装置が前記第１の電力モードにあるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、
    　前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない
    　情報処理装置。
  13. 　第１のセンサ情報の種類に応じたトリガ操作を検出し、
    　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、
    　検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する
    　情報処理方法。
  14. 　コンピュータに、
    　第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、
    　操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、
    　検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと
    　を実行させる
    　プログラム。
PCT/JP2017/037127 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム WO2018079301A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE112017005377.3T DE112017005377T5 (de) 2016-10-25 2017-10-13 Vorrichtung, verfahren und programm zur informationsverarbeitung
CN201780064524.9A CN109891364B (zh) 2016-10-25 2017-10-13 信息处理装置、方法和程序
KR1020197010728A KR20190068543A (ko) 2016-10-25 2017-10-13 정보 처리 장치, 방법 및 프로그램
US16/333,037 US10712831B2 (en) 2016-10-25 2017-10-13 Information processing apparatus, method, and program
JP2018547559A JP7135859B2 (ja) 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム
US16/924,597 US20200341557A1 (en) 2016-10-25 2020-07-09 Information processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-208919 2016-10-25
JP2016208919 2016-10-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/333,037 A-371-Of-International US10712831B2 (en) 2016-10-25 2017-10-13 Information processing apparatus, method, and program
US16/924,597 Continuation US20200341557A1 (en) 2016-10-25 2020-07-09 Information processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2018079301A1 true WO2018079301A1 (ja) 2018-05-03

Family

ID=62024813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/037127 WO2018079301A1 (ja) 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム

Country Status (6)

Country Link
US (2) US10712831B2 (ja)
JP (1) JP7135859B2 (ja)
KR (1) KR20190068543A (ja)
CN (1) CN109891364B (ja)
DE (1) DE112017005377T5 (ja)
WO (1) WO2018079301A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141699A (ko) 2019-06-11 2020-12-21 주식회사 신영 보강 부재
CN115484524A (zh) * 2021-06-16 2022-12-16 开酷科技股份有限公司 具有手势辨识功能的耳机装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227638A (ja) * 2010-04-19 2011-11-10 Panasonic Corp 手書き入力装置、手書き入力方法及び手書き入力プログラム
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
JP2016149587A (ja) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 ヘッドマウントディスプレイ、およびその制御方法と制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8418993B2 (en) * 2010-02-02 2013-04-16 Chung-Chia Chen System and method of touch free automatic faucet
JP5379036B2 (ja) * 2010-02-09 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、その制御方法、プログラム、及び情報記憶媒体
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
DE102011090162B4 (de) * 2011-12-30 2022-05-05 Robert Bosch Gmbh Alarmvorrichtung für ein Pilotenheadset
EP2821888B1 (en) * 2013-07-01 2019-06-12 BlackBerry Limited Gesture detection using ambient light sensors
JP2016018432A (ja) 2014-07-09 2016-02-01 ローム株式会社 ユーザインタフェイス装置
JP2016139174A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227638A (ja) * 2010-04-19 2011-11-10 Panasonic Corp 手書き入力装置、手書き入力方法及び手書き入力プログラム
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
JP2016149587A (ja) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 ヘッドマウントディスプレイ、およびその制御方法と制御プログラム

Also Published As

Publication number Publication date
DE112017005377T5 (de) 2019-08-01
US10712831B2 (en) 2020-07-14
US20200341557A1 (en) 2020-10-29
KR20190068543A (ko) 2019-06-18
CN109891364A (zh) 2019-06-14
JPWO2018079301A1 (ja) 2019-09-12
CN109891364B (zh) 2022-05-03
US20190204933A1 (en) 2019-07-04
JP7135859B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
EP3089018B1 (en) Method, apparatus, and device for information processing
JP6566081B2 (ja) 端末装置、端末装置の制御方法およびプログラム
CN110164440B (zh) 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
US20160299570A1 (en) Wristband device input using wrist movement
JP2015181028A (ja) 携帯型情報処理端末
CN108710615A (zh) 翻译方法及相关设备
EP3113014B1 (en) Mobile terminal and method for controlling the same
TW201638728A (zh) 用以處理與移動相關的資料之計算裝置及方法
CN109067965A (zh) 翻译方法、翻译装置、可穿戴装置及存储介质
WO2018079301A1 (ja) 情報処理装置、方法及びプログラム
CN107015743A (zh) 一种悬浮按键控制方法及终端
WO2016049842A1 (zh) 一种便携或可穿戴智能设备的混合交互方法
US20230325002A1 (en) Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques
WO2012159323A1 (zh) 用电容屏手写笔模拟左右键输入的方法、电容屏手写笔及终端
KR20160039961A (ko) 사용자의 움직임을 인식하는 모션 인터페이스 디바이스
CN111176422B (zh) 智能穿戴设备及其操作方法、计算机可读存储介质
US20180267618A1 (en) Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
WO2023275957A1 (ja) 情報処理システム、情報処理端末、および想起操作認識方法
CN107329574A (zh) 用于电子设备的输入方法和系统
JP2010250708A (ja) 手袋型携帯端末
EP4080329A1 (en) Wearable control system and method to control an ear-worn device
TWM622556U (zh) 基於觸控戒指之智慧手錶操作系統
KR101805111B1 (ko) 그립형 입력인터페이스 장치 및 그 방법
AU2016100962B4 (en) Wristband device input using wrist movement
CN118012325A (zh) 一种手势识别装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17866108

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547559

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197010728

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17866108

Country of ref document: EP

Kind code of ref document: A1