WO2018020792A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018020792A1
WO2018020792A1 PCT/JP2017/018811 JP2017018811W WO2018020792A1 WO 2018020792 A1 WO2018020792 A1 WO 2018020792A1 JP 2017018811 W JP2017018811 W JP 2017018811W WO 2018020792 A1 WO2018020792 A1 WO 2018020792A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information processing
determination
detection target
processing apparatus
Prior art date
Application number
PCT/JP2017/018811
Other languages
English (en)
French (fr)
Inventor
高橋　慧
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018529376A priority Critical patent/JP6891891B2/ja
Priority to US16/305,701 priority patent/US11216072B2/en
Priority to EP17833803.4A priority patent/EP3489802B1/en
Publication of WO2018020792A1 publication Critical patent/WO2018020792A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0267—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components
    • H04W52/027—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components by controlling a display operation or backlight unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0274—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program applicable to a wearable device.
  • Patent Literature 1 discloses a wristband type display control device including a control unit, an input unit, a sensor unit, a storage unit, a communication unit, a display unit, and the like.
  • Patent Document 2 discloses an electronic device capable of reducing the power consumption of the device and extending the life of the battery.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program capable of executing a change in the state of a user with a minimum amount of power.
  • An information processing apparatus includes a signal generation unit, a first determination unit, and a second determination unit.
  • the signal generation unit processes the output of the sensor unit attached to the detection target, and generates a trigger signal when detecting a change in the state of the detection target.
  • the first discriminating unit is activated from a resting state upon receiving the trigger signal, discriminates the state change of the detection target from the output of the sensor unit by the first discriminating criterion, and discriminates when the discrimination is impossible. An impossible signal is output.
  • the second discriminating unit is activated from a resting state upon receiving the indistinguishable signal, and discriminates the state change of the detection target from the output of the sensor unit using a second discriminating criterion different from the first discriminating criterion. To do.
  • the first determination unit is activated when a change in the state of the detection target is detected, and the second determination unit is activated when determination by the first determination unit is impossible. Configured. Thereby, it is possible to determine the state of the detection target while suppressing power consumption.
  • the signal generation unit detects the movement of the user wearing the detection target from the state change of the detection target, and the first determination unit and the second determination unit are based on the mode of movement of the user, It may be configured to determine whether or not there is a corresponding gesture candidate from a plurality of preset gesture candidates.
  • the first determination unit performs a first determination process for specifying a gesture candidate corresponding to the user's movement mode from the plurality of gesture candidates, and when the gesture candidate cannot be specified. It may be configured to output the indistinguishable signal.
  • the second determination unit may be configured to execute a second determination process for identifying a gesture candidate having the highest correlation with the user's movement mode from the plurality of gesture candidates.
  • the information processing apparatus may further include a setting unit that sets the plurality of gesture candidates.
  • the signal generation unit may be configured to change a reference for generating the trigger signal according to the set types of the plurality of gesture candidates.
  • the signal generation unit detects the movement of the user's arm on which the detection target is mounted, and the first determination unit and the second determination unit are the user's arm swing-up operation, swing-down operation, You may be comprised so that any one of a twist operation
  • the first determination unit and the second determination unit may be configured to pause again after the state change of the detection target is determined.
  • the information processing apparatus may further include a buffer memory capable of storing the output of the sensor unit in time series.
  • the state change related to the state change of the detection target is detected based on the output of the sensor unit attached to the detection target.
  • the state change of the detection target is first determined.
  • a second discrimination unit that discriminates a state change of the detection target by a second discrimination criterion different from the first discrimination criterion is activated from a resting state. .
  • a program When a program according to an embodiment of the present technology detects a state change related to a state change of the detection target based on an output of a sensor unit attached to the detection target, the program detects the state change of the detection target using a first determination criterion.
  • Starting the first discriminating unit for discriminating from the hibernation state;
  • a user's state change can be executed with a minimum amount of power.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a schematic perspective view illustrating an information processing apparatus according to a first embodiment of the present technology. It is a block diagram explaining the structure of the said information processing apparatus. It is a block diagram which shows the structure of the control part in the said information processing apparatus. It is a block diagram which shows the example of 1 structure of the signal generation part in the said control part. It is a sequence diagram which shows the typical operation example of the said information processing apparatus. It is a schematic diagram which shows the example of gesture. It is a block diagram showing the composition of the information processor concerning a 2nd embodiment of this art. It is a figure explaining the effect
  • FIG. 1 is a schematic perspective view illustrating an information processing apparatus according to the first embodiment of the present technology.
  • the information processing apparatus 1 according to the present embodiment is configured by a wristwatch type or wristband type wearable device.
  • the information processing apparatus 1 has a gesture recognition function that detects a movement of a user's arm and switches display and control in addition to basic functions such as time display.
  • the information processing apparatus 1 may be used as a terminal device capable of performing transmission / reception of e-mails, browsing of web information, measurement / management of user biometric information, and the like according to specifications.
  • the information processing apparatus 1 includes a main body 10 and a band unit 20 that supports the main body 10 and is attached to a user's arm.
  • FIG. 2 is a block diagram illustrating the configuration of the main body 10.
  • the main body 10 includes a control unit 11, an input unit 12, a sensor unit 13, a storage unit 14, a communication unit 15, a display unit 16, a battery 17, and a housing 18 that accommodates them.
  • the control unit 11 is configured by a computer, and controls the overall operation of the information processing apparatus 1 by executing a program stored in the storage unit 14 or other storage medium.
  • the control unit 11 typically includes one or more processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), and a SoC (System On Chip).
  • processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), and a SoC (System On Chip).
  • control unit 11 determines, based on the output of the sensor unit 13, the presence or type of the user's significant gesture input from the movement or posture change of the user's arm wearing the information processing apparatus 1,
  • the communication unit 15 and the display unit 16 are controlled according to the determination result.
  • control unit 11 turns off the display unit 16 or does not perform gesture discrimination until a significant user action is detected, thereby reducing the power consumption of the battery 17. It is configured as shown.
  • the input unit 12 receives an input operation by the user and outputs it to the control unit 11.
  • the input unit 12 may be configured by various devices such as keys and switches, or may be configured by a touch sensor. When the input unit 12 is configured by a touch sensor, the input unit 12 may be configured integrally with the display unit 16.
  • the sensor unit 13 detects acceleration acting on the housing 18 and outputs it to the control unit 11.
  • the sensor unit 13 mainly has a function of detecting the movement and posture of the user's arm wearing the information processing apparatus 1.
  • the sensor unit 13 is typically composed of a sensor unit including an acceleration sensor capable of detecting acceleration in three orthogonal directions (X, Y, and Z axis directions in FIG. 1, and so on).
  • the sampling frequency of the sensor unit 13 can be set as appropriate, for example, 8 Hz.
  • the acceleration sensor may be composed of a plurality of sensors that detect acceleration of each axis, or may be composed of a single sensor. Furthermore, the sensor unit 13 may include not only an acceleration sensor but also other motion sensors such as an angular velocity sensor, a biosensor capable of detecting a user's body temperature, pulse, sweating, and the like.
  • the storage unit 14 is typically constituted by a semiconductor memory, and stores a program for operating the control unit 11, parameters and functions necessary for user motion detection and gesture discrimination, and the like.
  • the storage unit 14 is configured to be able to store various data used by the program. Furthermore, the storage unit 14 stores various application software executed by the control unit 11.
  • the communication unit 15 is configured to be able to communicate with a portable information terminal, a server, another information processing apparatus 1 and the like wirelessly or by wire.
  • the communication unit 15 is typically configured to be communicable with a portable information terminal (smart phone, mobile phone, notebook personal computer, etc.) of a user wearing the information processing apparatus 1.
  • the communication unit 15 includes a communication circuit, an antenna, and the like, and transmits the output of the control unit 11 to the portable information terminal, or receives input information from the portable information terminal and outputs it to the control unit 11.
  • the display unit 16 is for displaying various information in response to a display control signal from the control unit 11 and constitutes a screen of the information processing apparatus 1.
  • the display unit 16 typically includes a display element such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the display unit 16 displays various images such as time, input keys, reception information, and measurement information based on commands from the control unit 11.
  • the battery 17 is for supplying electric power necessary for the operation of the main body 10 and is typically composed of a power storage element such as a primary battery or a secondary battery. Moreover, the battery 17 may be comprised with the electric power generating element which can generate electric power by sunlight, a vibration, etc.
  • the housing 18 is a casing made of metal or synthetic resin, and has a thin rectangular parallelepiped shape in the present embodiment.
  • the housing 18 is not limited to this, and may be formed in a disk shape or other geometric shapes.
  • the housing 18 is configured to be attachable to the user via the band unit 20.
  • the sensor unit 13 is configured to detect the case 18, and the control unit 11 is configured to determine the movement (gesture) of the user's arm through a change in the posture of the case 18.
  • the sensor unit 13 may be directly attached to the user's arm.
  • FIG. 3 is a block diagram illustrating a configuration of the control unit 11.
  • the control unit 11 is configured to detect the movement of the user's arm and execute a predetermined process corresponding to the movement.
  • the control unit 11 includes a determination circuit unit 11A and an execution circuit unit 11B.
  • the discrimination circuit unit 11A is a circuit that discriminates whether or not the user movement detected by the sensor unit 13 is significant information for gesture discrimination.
  • the execution circuit unit 11B is a main processor that executes various applications in accordance with the determined gesture operation.
  • the discrimination circuit unit 11A includes a signal generation unit 110, a discrimination unit 113, and a ring buffer 114.
  • the determination unit 113 includes a first determiner 111 and a second determiner 112.
  • the signal generation unit 110 is configured to process the output of the sensor unit 13 and generate a trigger signal when a state change related to the user's posture is detected.
  • the signal generation unit 110 processes the output of the sensor unit 13 and detects the presence or absence of a state change related to the user's posture.
  • the state change relating to the user's posture means the movement of the user's arm.
  • the signal generation unit 110 generates a trigger signal to the determination unit 113 when detecting the movement of the user.
  • the signal generation unit 110 is configured to always operate from the start of the information processing apparatus 1 and monitor the output of the sensor unit 13.
  • FIG. 4 is a block diagram illustrating a configuration example of the signal generation unit 110.
  • the signal generation unit 110 includes a low-pass filter (LPF) 101, a difference circuit 102, a norm calculation circuit 103, and a threshold determination circuit 104.
  • LPF low-pass filter
  • LPF 101 is a filter function for detecting a gesture to be truly evaluated by removing unnecessary noise from the output of the sensor unit 13 (acceleration signal in three axis directions).
  • the cut-off frequency of the LPF 101 is set to an appropriate value (for example, 4 Hz) that can remove a high-frequency component of an acceleration signal that may be generated while the user is walking or running or riding a vehicle.
  • the output of the LPF 101 is output to the difference circuit 102 and the ring buffer 114.
  • the signal generation unit 110 has a discriminant function for performing time differentiation on the triaxial acceleration signals output from the LPF 101 by the difference circuit 102 and calculating the norm by the calculation circuit 103.
  • the threshold discriminating circuit 104 discriminates whether or not the value of the discriminant function exceeds a preset threshold value.
  • the threshold discrimination circuit 104 has a unique threshold for each of the three axis directions, and generates a trigger signal when at least one of the norm values of each axis exceeds the threshold, and outputs this to the first discriminator 111. Configured to do.
  • the first discriminator 111 receives a trigger signal and starts from a resting state (sleeping state), discriminates the movement of the user's arm from the output of the sensor unit 13 based on the first discriminating criterion, and the discrimination is impossible. Is configured to output an indistinguishable signal.
  • the first discriminator 111 a simple CPU having a relatively low processing speed can be used.
  • the first discriminator 111 reduces the power consumption of the battery 17 by maintaining a pause state until the signal generator 110 generates a trigger signal.
  • the first discriminator 111 discriminates the presence / absence of a corresponding gesture candidate from a plurality of preset gesture candidates based on the first discrimination criterion based on the mode of movement of the user.
  • the user movement mode refers to the output data of the LPF 101 stored in the ring buffer 114
  • the gesture candidate determination refers to a plurality of gesture candidates stored in the storage unit 14.
  • the plurality of gesture candidates are not particularly limited, and examples include a user's arm swing-up operation, swing-down operation, shake operation, and twist operation (see FIG. 6).
  • the first discriminator 111 executes a first discriminating process for specifying a gesture candidate corresponding to the mode of movement of the user from the plurality of gesture candidates.
  • the first determination process for example, from among a plurality of gesture candidates stored in the storage unit 14, a gesture candidate having data corresponding to acceleration data that is based on the mode of movement of the user is identified. A simple algorithm is executed.
  • the first determiner 111 outputs information related to the specified gesture candidate to the execution circuit unit 11B.
  • the first discriminator 111 when it is impossible to specify a gesture candidate in the first discrimination process, the first discriminator 111 outputs a discrimination impossible signal.
  • the case where it is impossible to specify a gesture candidate includes a case where it cannot be recognized which gesture candidate is applicable.
  • the second discriminator 112 receives the indistinguishable signal and starts from a resting state, and discriminates the attitude of the housing 18 from the output of the sensor unit 13 with a second discriminating criterion different from the first discriminating criterion. Composed.
  • the second discriminator 112 has higher performance than the first discriminator 111, such as higher power consumption than the first discriminator 111, high computing capacity, high processing speed, or a combination thereof. It is composed of a CPU. The second discriminator 112 reduces the power consumption of the battery 17 by maintaining a pause state until the first discriminator 111 generates an indistinguishable signal.
  • the second discriminator 112 discriminates the presence / absence of a corresponding gesture candidate from a plurality of preset gesture candidates based on the mode of movement of the user.
  • the user movement mode refers to the output data of the LPF 101 stored in the ring buffer 114
  • the gesture candidate determination refers to a plurality of gesture candidates stored in the storage unit 14.
  • the second discriminator 112 executes a second discrimination process for identifying a gesture candidate having the highest correlation with the user's movement mode from among a plurality of gesture candidates.
  • an algorithm more sophisticated than the first determination process is executed. For example, an algorithm with a relatively large amount of computation such as computation using a machine learning discriminator can be used. By adopting such an advanced discrimination criterion, it is possible to accurately identify a gesture candidate having a high probability of being a gesture candidate that matches the user's intention.
  • Information regarding the gesture candidate specified in the second determination process is output to the execution circuit unit 11B.
  • Information regarding this gesture candidate may be output from the first discriminator 111 or may be output from the second discriminator 112.
  • the first discriminator 111 and the second discriminator 112 pause again when information related to the specified gesture candidate is output to the execution circuit unit 11B or when it is determined that there is no gesture candidate corresponding to the user's movement. Transition to a state, and the power consumption of the battery 17 is suppressed.
  • the second discriminator 112 since the second discriminator 112 requires larger power consumption than the first discriminating unit 111, there is a high merit that the second discriminator 112 is suspended from the viewpoint of power consumption reduction.
  • the ring buffer 114 is configured by a buffer memory capable of storing the output of the sensor unit 13 (acceleration signals in the three axial directions) in time series.
  • the capacity of the ring buffer 114 is sufficient if the first and second discriminators 111 and 112 have an amount of information used to identify gesture candidates corresponding to the user's movement. For example, sensor information for the past one second is stored. Any size that can be stored is acceptable.
  • FIG. 5 is a sequence diagram illustrating a typical operation example of the information processing apparatus 1. Here, the flow of gesture recognition will be described.
  • the sensor unit 13 reads the value of the acceleration sensor of each axis at a predetermined time interval, and then applies a filter function (LPF 101) to the value to calculate a trigger discriminant function (difference circuit 102, norm calculation circuit 103). When a condition such as the value exceeds a certain value is satisfied, a trigger generation (activation) event is performed (trigger signal generation) (steps 101 to 104).
  • a filter function LPF 101
  • a trigger discriminant function difference circuit 102, norm calculation circuit 103.
  • a trigger generation (activation) event is performed (trigger signal generation) (steps 101 to 104).
  • the determination unit 113 is activated and a gesture detection process is performed.
  • a gesture is detected, the output of the sensor unit 13 from before the trigger is generated is held in the ring buffer 114, and this is also used for calculation.
  • the gesture detection algorithm is divided into a plurality of parts.
  • a lightweight but inaccurate algorithm is calculated by the first discriminator 111 (steps 105 and 106).
  • a gesture event is generated (step 108).
  • the second discriminator 112 is activated to make a judgment by more accurate processing (step 107).
  • a classifier based on machine learning may be used for this.
  • a gesture event is generated in the first discriminator 111. Instead, a gesture event is generated in the second discriminator 112. May be.
  • the execution circuit unit 11B receives the gesture event, the execution circuit unit 11B executes the application software based on the information about the recognized or identified gesture candidate (step 109).
  • a periodic interruption, a user operation, and the like can be given.
  • the trigger condition is set severely, such as when the movement is intense, the movement may decrease and the trigger may not be appropriate after that, so calculate the appropriateness of the trigger periodically from the exercise intensity etc. It is something to reset.
  • FIGS. 6A to 6D are schematic diagrams illustrating examples of gesture types.
  • A is an arm swinging motion
  • B is an arm swinging motion
  • C is an arm swinging (shaking) motion
  • D is an arm turning (twisting) motion.
  • the 6A is recognized mainly by the output of the acceleration sensor in the Z-axis direction.
  • the swing-up operation it is estimated that the user confirms the display with the display surface 16 of the information processing apparatus 1 facing upward.
  • the display unit 16 that has been maintained in the off state is turned on, and predetermined information such as the current time is displayed.
  • the display unit 16 is changed from a lighting state to a non-lighting state.
  • the shake operation in FIG. 6C is recognized mainly by the output of the acceleration sensor in the Z-axis direction.
  • 6D is recognized mainly by the output of the acceleration sensor in the X-axis direction and the Y-axis direction.
  • application software corresponding to them is executed. Or selection of the music reproduced from a portable information terminal etc., adjustment of volume, etc. may be performed.
  • the information processing apparatus 1 since the information processing apparatus 1 according to the present embodiment has a gesture recognition function for recognizing a user's movement, an input operation can be performed without operating a button or a touch panel, thereby improving user convenience.
  • the determination unit 113 for gesture recognition includes a simple CPU (first determiner 111) with a relatively low processing speed and a high-performance CPU (second determiner with a relatively high processing speed). 112) and wait in the sleep mode until a trigger is generated.
  • first discriminator 111 is first activated
  • second discriminator 112 is configured to be activated when the discrimination by the first discriminator 111 is impossible.
  • the average current consumption of the control unit 11 can be significantly reduced, so that gestures corresponding to user movements can be recognized while minimizing power consumption.
  • the output of the sensor unit 13 is accumulated in the ring buffer 114 in a time series even while the determination unit 113 is at rest, it is the same as when the determination unit 113 is always activated. Accurate gesture recognition processing can be realized.
  • the gesture is a simple calculation.
  • the movement from the state where the arm is lowered to the state where the arm is raised can be recognized as a swing-up gesture by a simple calculation in the first discriminator 111, but the movement in the state where the arm is raised is In the second discriminator 112, it is necessary to discriminate whether the user really wanted to see the screen by using a complicated discrimination algorithm.
  • a technique applied to a machine learning device such as Deep Learning may be used.
  • a simple calculation in the first discriminator 111 may use a method that does not use rule-based machine learning, or a simple machine learning discriminator that is significantly simpler than the subsequent machine learner. It may be used.
  • the first and second discriminators 111 and 112 are selectively used depending on the type of gesture to be recognized when recognizing a plurality of gestures.
  • a wristband terminal that detects raising and lowering of an arm and an operation of tapping a finger.
  • the terminal discriminates both the operation of lowering the arm and the operation of tapping the finger using the acceleration sensor.
  • the operation of lowering the arm is a large movement and easy to discriminate, so that the first discriminator 111 can process it.
  • finger tap discrimination requires high-speed computation using a machine learning discriminator, and therefore needs to be processed by the second discriminator 112.
  • the first discriminator 111 recognizes the movement of lowering the arm, and if it is recognized, it is not necessary to discriminate the finger tap. Not in.
  • the second discriminator 112 performs finger tap discrimination processing.
  • FIG. 7 is a block diagram illustrating a configuration of the control unit 211 in the information processing apparatus according to the second embodiment of the present technology.
  • the configuration different from the first embodiment will be mainly described, and the same configuration as the first embodiment will be denoted by the same reference numeral, and the description thereof will be omitted or simplified.
  • control unit 211 has a setting unit 115.
  • the setting unit 115 is configured to set a plurality of gesture candidates to be recognized in response to a request from the execution circuit unit 11B.
  • the discrimination circuit unit 11A that performs gesture recognition performs gesture recognition in response to a request from the execution circuit unit 11B that uses the gesture specified by the discrimination circuit unit 11A, and when the gesture is recognized, the execution circuit unit A gesture event is issued to 11B.
  • the discrimination circuit unit 11A of the present embodiment receives a request for the type of gesture necessary for execution of the app from the execution circuit unit 11B when the app is activated, and sets the type of the gesture to be discriminated by the discrimination unit 113.
  • the discrimination circuit unit 11A recognizes only the gesture of the type requested first and transmits it as an event to the execution circuit unit 11B.
  • the setting unit 115 calculates the types of gestures that cover the gestures required by those applications without excess and deficiency, and performs a recognition process corresponding to the gesture types.
  • the execution circuit unit 11B requires swing-up (a) and swing-down (b) as the first application B1, and swing-up (a) and shake gesture (c) as the second application B2.
  • the determination circuit unit 11 ⁇ / b> A recognizes three types of gestures of swinging up (a), swinging down (b), and shaking (c), and notifies the requesting application of the event.
  • the present embodiment since the number of gesture candidates to be discriminated is limited, it is possible to reduce the calculation load in the discrimination unit 13 and reduce the processing time and the power required for the arithmetic processing.
  • the discrimination circuit unit 11A accepts gesture recognition requests from a plurality of applications and recognizes necessary gestures.
  • the trigger function, the discriminator used for gesture discrimination, and the required acceleration sensor mode may differ, but this depends on the request from the app and the state of the arm and terminal at that time. That is, the gesture recognized by the determination circuit unit 11A varies depending not only on the request from the app but also on the state of the user's arm.
  • the determination circuit unit 11A is configured to be able to change the trigger signal generation reference in the signal generation unit 110 in accordance with the type of gesture to be recognized.
  • the trigger signal generation reference include a trigger discrimination function such as a sampling frequency of the acceleration sensor (sensor unit 13), a cutoff frequency of the low-pass filter 101, and a threshold value of the threshold discrimination circuit 104.
  • the setting unit 115 executes the change of the trigger signal generation reference.
  • the sampling frequency of the acceleration sensor when recognizing only swinging up and down, the sampling frequency of the acceleration sensor is lowered, and when using a gesture with movement, the sampling frequency of the acceleration sensor is increased.
  • arm_up / down gestures arm_up, arm_down
  • arm turning gestures tiltist
  • arm shaking gestures hand_up and arm_down start and end gestures. Since the position of the arm sometimes changes, it is sufficient to make the frequency of the acceleration sensor low and to see the change in the direction of gravity acceleration as a trigger function.
  • the arm position is the same at the start and end, so it is necessary to observe the movement itself, increasing the frequency of the acceleration sensor, and the arm movement itself as a trigger function You will need something to see.
  • the former mode and the latter mode do not exist at the same time, and either one is selected as the state of the terminal. Here, switching between the former and the latter is determined by whether or not twist / shake recognition is required according to an application request.
  • the arm position changes in swing-up and swing-down, you can use a trigger that occurs as a difference, but in shake and twist, the arm position returns to the original position, so the norm of acceleration is not a difference but a constant value Set a trigger such as exceeding. That is, the function of the difference circuit 102 is invalidated in FIG. Thereby, while being able to select the trigger with the lowest false activation rate, the power consumption of the sensor part 13 and the signal generation part 110 can be reduced according to a condition.
  • FIG. 9 is a block diagram illustrating a configuration of the sensor device 310 as the information processing apparatus of the present embodiment.
  • the configuration different from the first embodiment will be mainly described, and the same configuration as the first embodiment will be denoted by the same reference numeral, and the description thereof will be omitted or simplified.
  • the sensor device 310 includes a sensor unit 31 with a trigger function, a CPU 32, and a ring buffer 33.
  • the sensor unit 31 corresponds to a mixed circuit of the sensor unit 13 and the signal generation unit 110 in the first embodiment.
  • the discriminator 32 corresponds to the discriminating unit 113 in the first embodiment, and is activated by receiving a trigger signal from the sensor unit 31.
  • the ring buffer 33 corresponds to the ring buffer 114 in the first embodiment.
  • the discriminator 32 may include the first and second discriminators 111 and 112 as in the first embodiment, or only one of them.
  • the discriminator 32 is configured by a single CPU will be described as an example.
  • the sensor unit 31 itself has a trigger function, and the discriminator 32 that is normally paused is activated by the trigger.
  • Functions that can be used as triggers may be limited. For example, it may have only a simple function that a specific axis exceeds a threshold value or an absolute value of all axes exceeds a threshold value.
  • the former corresponds to the screen (display unit 16) facing up, and the latter corresponds to the movement.
  • the trigger (a) it is unlikely that the trigger will be accidentally generated while walking or running, but in situations where the screen is already facing up, such as when sitting at a desk and working. A trigger cannot be generated.
  • the trigger (b) when used, the trigger can be generated in various situations such as when sitting at a desk, but false triggering increases when walking or running.
  • the trigger (a) and the trigger (b) are selectively used according to the position of the arm. Immediately before the discriminator 32 shifts from the start state to the sleep state, the determination function of the trigger detection circuit is set according to the arm position at that time.
  • the output of the sensor unit 31 includes a signal related to the movement along the multi-axis direction including the gravity direction (Z-axis direction).
  • the sensor device 310 has a plurality of detection criteria related to the state changes that are different from each other according to the posture immediately before detecting the state change of the arm posture.
  • the sensor device 310 includes a first detection mode for detecting the state change based on the state of the arm movement along the direction of gravity according to the state of the arm recognized last time, and the multi-axis direction.
  • the second detection mode in which the state change is detected is switched and executed based on the movement mode of the detection target in FIG.
  • a trigger (hereinafter also referred to as a Z-axis trigger) when the output of the Z-axis direction acceleration sensor exceeds a threshold is set.
  • a trigger (hereinafter also referred to as a motion trigger) due to the norm exceeding a threshold value is set.
  • the error rate can be reduced without an accompanying circuit such as a low-pass filter even in an environment where movement is intense and prone to error, such as during walking or running.
  • the screen can be turned on by simply twisting the wrist while working at the desk. By switching the trigger without turning on the screen, the user can always turn on the screen with natural actions without being aware of the current mode.
  • the motion trigger there is an algorithm that is activated when the absolute value of each axis of the wristband acceleration sensor is significantly larger than 1G (for example, 1.2G). In addition, it may be generated when the difference in acceleration with respect to any of the axes is significantly larger than 0 (for example, 0.2 G).
  • the Z-axis trigger it may be activated when the acceleration in the Z-axis direction exceeds a threshold value (for example, 0.6 G).
  • the motion trigger is suitable when the arm is raised, for example, while working at a desk.
  • the Z-axis trigger is suitable when the arm is lowered, for example, when walking or sitting on the sofa and lowering the arm.
  • FIG. 10 is a diagram for explaining the transition relationship between the Z-axis trigger and the motion trigger.
  • 11 and 12 are flowcharts for explaining an operation example of the sensor device 310.
  • the Z-axis trigger detects that the arm has moved, and the movement trigger detects that the posture of the dial in the direction of the dial face in the case of the upper surface of the arm or the timepiece is changed.
  • the Z-axis trigger is generated when the Z-axis acceleration acc_z exceeds the first threshold value THRES_0, and the discriminator 32 returns from the sleep state (sleep state) (step 201).
  • the magnitude of the Z-axis acceleration acc_z is determined (steps 202 and 203). If the Z-axis acceleration acc_z continues to exceed THRES_0, the detection mode is switched to the motion trigger (step 204), otherwise the Z-axis trigger is maintained (step 205). When in motion trigger mode, it is generated by looking at the absolute value of each axis. Thereafter, the discriminator 32 pauses (step 206).
  • the motion trigger is generated when the Z-axis acceleration acc_z exceeds the second threshold value THRES_1, and the discriminator 32 returns from the sleep state (sleep state) (step 301).
  • the Z-axis acceleration acc_z is compared with the second threshold value THRES_1 (step 303).
  • Switch step 304
  • otherwise maintain motion trigger step 305. It is preferable to make THRES_1 smaller than THRES_0, so that when Z-axis acceleration acc_z vibrates in a range close to THRES_0, it is possible to eliminate the possibility of frequent triggers.
  • the wristband type wearable device has been described as an example of the information processing apparatus 1, but the present technology is not limited thereto, and the present technology can be applied to a glasses type wearable device. In this case, it becomes possible to recognize a predetermined gesture (whipping, swinging, etc.) by the movement of the user's head.
  • the information processing apparatus 1 including the sensor unit 13 has been described as an example.
  • the sensor unit 13 and the control unit 11 may be configured as separate devices.
  • You may comprise as a portable information terminal and server apparatus which can communicate with the sensor part 13 via a wireless network.
  • the sensor trigger generation algorithm described in the third embodiment may be applied to the signal generation unit 110 in the first and second embodiments.
  • the information processing apparatus used for user gesture recognition has been described as an example.
  • the present technology is also used for attitude determination or attitude control of a vehicle or an unmanned autonomous flying object. Is applicable.
  • the change in the posture of the user has been described as an example of the change in the state of the detection target.
  • the present invention is not limited to this.
  • a processing device may be configured.
  • this technique can also take the following structures.
  • a signal generation unit that processes an output of a sensor unit attached to a detection target and generates a trigger signal when a state change of the detection target is detected;
  • the first signal is activated from the rest state upon receiving the trigger signal, and the change in the state of the detection target is determined from the output of the sensor unit according to a first determination criterion. If the determination is impossible, a first determination signal is output.
  • a discriminator A second discriminating unit that starts from a resting state upon receiving the indistinguishable signal, and discriminates a state change of the detection target from a second discriminating criterion different from the first discriminating criterion from the output of the sensor unit;
  • Information processing apparatus provided.
  • the signal generation unit detects a movement of a user wearing the detection target from a state change of the detection target
  • the first determination unit and the second determination unit are configured to determine presence / absence of a corresponding gesture candidate from a plurality of preset gesture candidates based on a mode of movement of the user.
  • the first determination unit executes a first determination process for specifying a gesture candidate corresponding to the movement mode of the user from the plurality of gesture candidates, and when the gesture candidate cannot be specified.
  • An information processing apparatus that outputs the indistinguishable signal.
  • the second determination unit executes a second determination process for identifying a gesture candidate having the highest correlation with the user's movement mode from the plurality of gesture candidates.
  • a setting unit configured to set the plurality of gesture candidates;
  • the signal generation unit changes a reference for generating the trigger signal according to the set types of the plurality of gesture candidates.
  • the information processing apparatus according to any one of (2) to (5) above,
  • the signal generation unit detects a movement of the user's arm on which the detection target is worn,
  • the information processing apparatus wherein the first determination unit and the second determination unit specify any one of a swing-up operation, a swing-down operation, a twist operation, and a shake operation of the user's arm.
  • the information processing apparatus according to any one of (1) to (6) above,
  • the first determination unit and the second determination unit pause again after the change in state of the detection target is determined.
  • An information processing apparatus further comprising a buffer memory capable of storing the output of the sensor unit in time series.
  • the information processing apparatus according to any one of (1) to (8) above, The information generation apparatus, wherein the signal generation unit generates the trigger signal when a state change related to the posture of the detection target is detected.
  • the information processing apparatus according to any one of (1) to (9) above, The power consumption of the second determination unit is larger than the power consumption of the first determination unit.
  • the first determination unit that determines the state change of the detection target based on a first determination criterion is in a dormant state Start from Information that activates a second determination unit that determines a change in state of the detection target based on a second determination criterion different from the first determination criterion from a resting state when determination by the first determination unit is impossible Processing method.
  • a first discriminating unit that discriminates a change in the state of the detection target using a first discrimination criterion when a state change related to the change in the state of the detection target is detected based on an output of a sensor unit attached to the detection target.
  • a setting unit for setting a plurality of gesture candidates to be determined;
  • a signal generator that processes an output of a sensor unit attached to a user and generates a trigger signal when a state change related to the user's movement is detected based on a predetermined detection criterion determined according to the plurality of gesture candidates;
  • a determination unit that receives the trigger signal, starts from a resting state, and determines the presence / absence of a gesture candidate corresponding to the mode of movement of the user from the plurality of gesture candidates based on an output of the sensor unit; Processing equipment.
  • the signal generation unit includes a plurality of detection criteria relating to the state changes that are different from each other according to the state change of the detection target immediately before detecting the state change.
  • a signal generation unit that processes an output of a sensor unit attached to a user and generates a trigger signal when a state change related to the user's movement is detected based on a predetermined detection criterion; In response to the trigger signal, the apparatus is activated from a resting state, and based on the output of the sensor unit, performs a determination process for determining the presence / absence of a gesture candidate corresponding to the mode of movement of the user from the plurality of gesture candidates, A determination unit that pauses again after execution of the determination process, The information generation apparatus, wherein the signal generation unit switches the predetermined detection criterion in accordance with a change in the state of the user when the determination unit pauses.
  • the information processing apparatus includes a signal related to movement along a multi-axis direction including a gravitational direction,
  • the signal generation unit is configured to detect the state change based on a mode of movement of the user in the gravity direction, and based on a time change of the mode of movement of the user in the multi-axis direction.
  • An information processing apparatus that selectively switches between a second detection mode for detecting a state change.

Abstract

本技術の一形態に係る情報処理装置は、信号生成部と、第１の判別部と、第２の判別部とを具備する。上記信号生成部は、検出対象に取り付けられたセンサユニットの出力を処理し、上記検出対象の状態変化を検出したときにトリガ信号を生成する。上記第１の判別部は、上記トリガ信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する。上記第２の判別部は、上記判別不能信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する。

Description

情報処理装置、情報処理方法及びプログラム
　本技術は、ウェアラブルデバイスに適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
　近年、眼鏡型や腕時計型等の種々のウェアラブルデバイスの開発が進められている。例えば特許文献１には、制御部、入力部、センサ部、記憶部、通信部、表示部等を備えたリストバンド型の表示制御装置が開示されている。また特許文献２には、機器の消費電力を抑えて電池の長寿命化を図ることが可能な電子機器が開示されている。
特開２０１５－１２５６１６号公報 ＷＯ２００９／００８４１１号
　近年、ウェアラブルデバイス等の電子機器においては小型化、高機能化のほか、低消費電力化の要求が高まっている。このためには、例えばユーザの有意なジェスチャ入力を必要最小限の電力で検出することが求められる。
　以上のような事情に鑑み、本技術の目的は、ユーザの状態変化を必要最小限の電力で実行することができる情報処理装置、情報処理方法及びプログラムを提供することにある。
　本技術の一形態に係る情報処理装置は、信号生成部と、第１の判別部と、第２の判別部とを具備する。
　上記信号生成部は、検出対象に取り付けられたセンサユニットの出力を処理し、上記検出対象の状態変化を検出したときにトリガ信号を生成する。
　上記第１の判別部は、上記トリガ信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する。
　上記第２の判別部は、上記判別不能信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する。
　上記情報処理装置において、第１の判別部は、検出対象の状態変化が検出されたときに起動し、第２の判別部は、第１の判別部における判別が不可能な場合に起動するように構成される。これにより電力消費を抑えつつ、検出対象の状態判別を行うことができる。
　上記信号生成部は、上記検出対象の状態変化から上記検出対象を装着したユーザの動きを検出し、上記第１の判別部及び上記第２の判別部は、上記ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別するように構成されてもよい。
　上記第１の判別部は、上記複数のジェスチャ候補の中から上記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、上記ジェスチャ候補の特定が不可能な場合は上記判別不能信号を出力するように構成されてもよい。
　上記第２の判別部は、上記複数のジェスチャ候補の中から上記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行するように構成されてもよい。
　上記情報処理装置は、上記複数のジェスチャ候補を設定する設定部をさらに具備してもよい。この場合、上記信号生成部は、設定された上記複数のジェスチャ候補の種類に応じて、上記トリガ信号を生成する基準を変更するように構成されてもよい。
　上記信号生成部は、上記検出対象が装着された上記ユーザの腕の動きを検出し、上記第１の判別部及び上記第２の判別部は、上記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作のいずれか１つを特定するように構成されてもよい。
　上記第１の判別部及び上記第２の判別部は、上記検出対象の状態変化が判別された後、再び休止するように構成されてもよい。
　上記情報処理装置は、上記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備してもよい。
　本技術の一形態に係る情報処理方法は、検出対象に取り付けられたセンサユニットの出力に基づいて上記検出対象の状態変化に関する状態変化を検出したとき、上記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させることを含む。
　上記第１の判別部で判別が不可能なとき、上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部が休止状態から起動させられる。
　本技術の一形態に係るプログラムは、検出対象に取り付けられたセンサユニットの出力に基づいて上記検出対象の状態変化に関する状態変化を検出したとき、上記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させるステップと、
　上記第１の判別部で判別が不可能なとき、上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させるステップと
　をコンピュータに実行させる。
　以上のように、本技術によれば、ユーザの状態変化を必要最小限の電力で実行することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る情報処理装置を示す概略斜視図である。 上記情報処理装置の構成を説明するブロック図である。 上記情報処理装置における制御部の構成を示すブロック図である。 上記制御部における信号生成部の一構成例を示すブロック図である。 上記情報処理装置の典型的な動作例を示すシーケンス図である。 ジェスチャの例を示す模式図である。 本技術の第２の実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置の作用を説明する図である。 本技術の第３の実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置の一作用を説明する図である。 上記情報処理装置の動作例を説明するフローチャートである。 上記情報処理装置の動作例を説明するフローチャートである。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
　図１は、本技術の第１の実施形態に係る情報処理装置を示す概略斜視図である。本実施形態の情報処理装置１は、腕時計型あるいはリストバンド型のウェアラブルデバイスで構成される。
　本実施形態の情報処理装置１は、時刻表示等の基本機能のほか、ユーザの腕の動きを検出して表示や制御を切り替えるジェスチャ認識機能を有する。なお情報処理装置１は、仕様に応じて、電子メール等の送受信、ウェブ情報の閲覧、ユーザの生体情報の計測・管理等を行うことが可能な端末装置として用いられてもよい。
［全体構成］
　情報処理装置１は、本体１０と、本体１０を支持しユーザの腕に取り付けられるバンド部２０とを有する。
　図２は、本体１０の構成を説明するブロック図である。
　本体１０は、制御部１１と、入力部１２と、センサ部１３と、記憶部１４と、通信部１５と、表示部１６と、バッテリ１７と、これらを収容する筐体１８とを有する。
　制御部１１は、コンピュータで構成され、記憶部１４又はその他の記憶媒体に記憶されたプログラムを実行することで、情報処理装置１の全体の動作を制御する。制御部１１は、典型的には、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on Chip）などの単数又は複数のプロセッサを含む。
　制御部１１は、後述するように、センサ部１３の出力に基づいて、情報処理装置１を装着するユーザの腕の動きや姿勢変化から、ユーザの有意なジェスチャ入力の有無や種類を判別し、その判別結果に応じて通信部１５や表示部１６等を制御する。
　また制御部１１は、後述するように、ユーザの有意な動作を検出するまでは、表示部１６を消灯したり、ジェスチャの判別を行わないようにしたりして、バッテリ１７の消費電力の低減を図るように構成されている。
　入力部１２は、ユーザによる入力操作を受け付けて制御部１１へ出力する。入力部１２は、キー、スイッチ等の各種のデバイスで構成されてもよいし、タッチセンサで構成されてもよい。入力部１２がタッチセンサで構成される場合、表示部１６と一体的に構成されてもよい。
　センサ部１３は、筐体１８に作用する加速度を検出し、それを制御部１１へ出力する。センサ部１３は、主として、情報処理装置１を装着したユーザの腕の動きや姿勢を検出する機能を有する。
　センサ部１３は、典型的には、直交する３軸方向（図１におけるＸ，Ｙ及びＺ軸方向。以下同様）の加速度を検出することが可能な加速度センサを含むセンサユニットで構成される。センサ部１３のサンプリング周波数は適宜設定可能であり、例えば８Ｈｚである。
　上記加速度センサは、各軸の加速度を検出する複数のセンサで構成されてもいし、単独のセンサで構成されてもよい。さらにセンサ部１３は、加速度センサだけでなく、角速度センサ等の他のモーションセンサ、ユーザの体温や脈拍、発汗等を検出可能な生体センサ等を含んでもよい。
　記憶部１４は、典型的には、半導体メモリで構成され、制御部１１を動作させるためのプログラム、ユーザの動き検出やジェスチャの判別に必要なパラメータや関数等を記憶する。また記憶部１４は、プログラムによって使用される各種のデータを記憶することが可能に構成される。さらに記憶部１４は、制御部１１において実行される各種アプリケーションソフトウェアが格納される。
　通信部１５は、携帯情報端末やサーバ、他の情報処理装置１等と無線又は有線により通信可能に構成される。通信部１５は、典型的には、情報処理装置１を装着するユーザの携帯情報端末（スマートホン、携帯電話、ノート型パーソナルコンピュータ等）と通信可能に構成される。通信部１５は、通信回路やアンテナ等を含み、制御部１１の出力を当該携帯情報端末へ送信し、あるいは、当該携帯情報端末からの入力情報を受信して制御部１１へ出力する。
　表示部１６は、制御部１１からの表示制御信号を受けて各種情報の表示を行うためのもので、情報処理装置１の画面を構成する。表示部１６は、典型的には、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示素子を含む。表示部１６は、制御部１１の指令に基づき、時刻や入力キー、受信情報、計測情報等の各種画像の表示を行う。
　バッテリ１７は、本体１０の動作に必要な電力を供給するためのもので、典型的には、一次電池、二次電池等の蓄電素子で構成される。またバッテリ１７は、太陽光や振動等で発電可能な発電素子で構成されてもよい。
　筐体１８は、金属製又は合成樹脂製のケーシングであり、本実施形態では薄型の直方体形状を有する。これに限られず、筐体１８は、円盤形状その他の幾何学的形状に形成されてもよい。筐体１８は、バンド部２０を介してユーザに装着可能に構成される。
　本実施形態において、センサ部１３は筐体１８を検出対象とし、制御部１１は筐体１８の姿勢変化を通じてユーザの腕の動き（ジェスチャ）を判別するように構成される。これに限られず、センサ部１３はユーザの腕に直接的に取り付けられてもよい。
［制御部の構成］
　続いて制御部１１の詳細について説明する。図３は、制御部１１の構成を示すブロック図である。制御部１１は、ユーザの腕の動きを検出し、その動きに応じた所定の処理を実行するように構成される。
　制御部１１は、判別回路部１１Ａと、実行回路部１１Ｂとを有する。
　判別回路部１１Ａは、センサ部１３で検出されたユーザの動きがジェスチャ判別に有意な情報か否かを判別する回路である。実行回路部１１Ｂは、判別されたジェスチャ動作に応じて各種アプリケーションを実行するメインプロセッサである。
　判別回路部１１Ａは、信号生成部１１０と、判別部１１３と、リングバッファ１１４とを有する。判別部１１３は、第１の判別器１１１と、第２の判別器１１２とを有する。
（信号生成部）
　信号生成部１１０は、センサ部１３の出力を処理し、ユーザの姿勢に関する状態変化を検出したときにトリガ信号を生成するように構成される。
　本実施形態において信号生成部１１０は、センサ部１３の出力を処理し、ユーザの姿勢に関する状態変化の有無を検出する。ユーザの姿勢に関する状態変化とは、具体的には、ユーザの腕の動きを意味する。信号生成部１１０は、ユーザの動きを検出したとき、判別部１１３へトリガ信号を生成する。信号生成部１１０は、情報処理装置１の起動から常時稼働してセンサ部１３の出力を監視するように構成される。
　図４は、信号生成部１１０の一構成例を示すブロック図である。
　信号生成部１１０は、ローパスフィルタ（ＬＰＦ）１０１と、差分回路１０２と、ノルム算出回路１０３と、閾値判別回路１０４とを有する。
　ＬＰＦ１０１は、センサ部１３の出力（３軸方向の加速度信号）から不要ノイズを除去して真に評価すべきジェスチャを検出するためのフィルタ関数である。ＬＰＦ１０１のカットオフ周波数は、ユーザの歩行や走行、あるいは乗り物の搭乗中に生じ得る加速度信号の高周波成分を除去することが可能な適宜の値（例えば４Ｈｚ）に設定される。ＬＰＦ１０１の出力は、差分回路１０２と、リングバッファ１１４とに出力される。
　信号生成部１１０は、ＬＰＦ１０１から出力された３軸方向の加速度信号をそれぞれ差分回路１０２によって時間微分し、ノルムを算出回路１０３によって算出する判別関数を有する。閾値判別回路１０４は、その判別関数の値が予め設定された閾値を超えるか否かを判別する。閾値判別回路１０４は、３軸方向各々について固有の閾値を有し、各軸のノルム値のうち少なくとも１つが閾値を超えるときはトリガ信号を生成して、これを第１の判別器１１１へ出力するように構成される。
（第１の判別器）
　第１の判別器１１１は、トリガ信号を受けて休止状態（スリープ状態）から起動し、センサ部１３の出力からユーザの腕の動きを第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力するように構成される。
　第１の判別器１１１には、処理速度が比較的低い簡素なＣＰＵを用いることができる。第１の判別器１１１は、信号生成部１１０がトリガ信号を生成するまで休止状態を維持することで、バッテリ１７の電力消耗を低減する。
　第１の判別器１１１は、ユーザの動きの態様に基づき、第１の判別基準によって、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する。ユーザの動きの態様にはリングバッファ１１４に格納されたＬＰＦ１０１の出力データが参照され、ジェスチャ候補の判別には記憶部１４に格納された複数のジェスチャ候補が参照される。複数のジェスチャ候補は特に限定されず、例えば、ユーザの腕の振り上げ動作、振り下げ動作、シェイク動作、ツイスト動作等が挙げられる（図６参照）。
　この際、第１の判別器１１１は、上記複数のジェスチャ候補の中からユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行する。
　第１の判別処理としては、例えば、記憶部１４に格納された複数のジェスチャ候補の中から、ユーザの動きの態様を基礎づける加速度データに対応するデータを有するジェスチャ候補を特定する等の比較的簡素なアルゴリズムが実行される。この第１の判別処理でジェスチャ候補が特定されたとき、第１の判別器１１１は、特定したジェスチャ候補に関する情報を実行回路部１１Ｂへ出力する。
　一方、この第１の判別処理でジェスチャ候補の特定が不可能なとき、第１の判別器１１１は判別不能信号を出力する。ジェスチャ候補の特定が不可能なときとは、いずれのジェスチャ候補に該当するか認識できないときを含む。
（第２の判別器）
　第２の判別器１１２は、判別不能信号を受けて休止状態から起動し、センサ部１３の出力から筐体１８の姿勢を第１の判別基準とは異なる第２の判別基準で判別するように構成される。
　第２の判別器１１２は、第１の判別器１１１よりも消費電力が大きい、演算能力が高い、あるいは処理速度が速い、又はこれらの組み合わせである等、第１の判別器１１１よりも高性能なＣＰＵで構成される。第２の判別器１１２は、第１の判別器１１１が判別不能信号を生成するまで休止状態を維持することで、バッテリ１７の電力消耗を低減する。
　第２の判別器１１２は、ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する。ユーザの動きの態様にはリングバッファ１１４に格納されたＬＰＦ１０１の出力データが参照され、ジェスチャ候補の判別には記憶部１４に格納された複数のジェスチャ候補が参照される。
　このとき第２の判別器１１２は、複数のジェスチャ候補の中からユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する。
　第２の判別処理としては、上記第１の判別処理よりも高度なアルゴリズムが実行される。例えば機械学習の判別器を利用した演算等のような比較的演算量の多いアルゴリズムを用いることができる。このような高度な判別基準を採用することで、ユーザの意図に合致したジェスチャ候補である蓋然性の高いジェスチャ候補を精度よく特定することが可能となる。
　第２の判別処理で特定されたジェスチャ候補に関する情報は、実行回路部１１Ｂへ出力される。このジェスチャ候補に関する情報は、第１の判別器１１１から出力されてもよいし、第２の判別器１１２から出力されてもよい。
　第１の判別器１１１及び第２の判別器１１２は、特定したジェスチャ候補に関する情報を実行回路部１１Ｂへ出力したとき、あるいは、ユーザの動きに対応するジェスチャ候補が無いと判別したとき、再び休止状態に移行し、バッテリ１７の電力消耗を抑える。特に第２の判別器１１２は、第１の判別部１１１よりも大きな消費電力を必要とするため、消費電力低減の観点から第２の判別器１１２を休止させておくメリットは高い。
（リングバッファ）
　リングバッファ１１４は、センサ部１３の出力（３軸方向各々の加速度信号）を時系列的に記憶することが可能なバッファメモリで構成される。リングバッファ１１４の容量は、第１及び第２の判別器１１１，１１２においてユーザの動きに対応するジェスチャ候補の特定に用いられる情報量があれば十分であり、例えば過去１秒分のセンサ情報を蓄積できる大きさであればよい。
［情報処理装置の動作］
　続いて、本実施形態に係る情報処理方法について情報処理装置１の動作とともに説明する。図５は、情報処理装置１の典型的な動作例を示すシーケンス図である。ここでは、ジェスチャ認識のフローを説明する。
　センサ部１３は、各軸の加速度センサの値を所定時間間隔で読みだした後、その値にフィルタ関数（ＬＰＦ１０１）を適用し、トリガ判別関数（差分回路１０２、ノルム算出回路１０３）を計算して、その値が一定値を超えるなど条件を満たすとトリガ発生（発動）イベントを行う（トリガ信号の生成）（ステップ１０１～１０４）。
　トリガが発生すると判別部１１３が起動し、ジェスチャの検出処理が行われる。ジェスチャ検出時には、トリガ発生前からのセンサ部１３の出力がリングバッファ１１４に保持されているので、これも利用して計算が行われる。
　ジェスチャ検出のアルゴリズムは複数に分割されており、まず軽量だが正確性に劣るアルゴリズムが第１の判別器１１１で計算される（ステップ１０５，１０６）。この結果、明確にジェスチャと認識できた場合は、ジェスチャイベントが発生される（ステップ１０８）。一方、このアルゴリズムで検出されなかったが、ジェスチャである可能性が残っている場合は、第２の判別器１１２を起動してより正確な処理で判断を行う（ステップ１０７）。これには機械学習による判別器を使ってもよい。ジェスチャが検出されるか不検出が決定され、その他の処理も終わると、第１及び第２の判別器１１１，１１２は再び休止状態に戻る。
　図示の例では、第２の判別器１１２でジェスチャが認識されたとき、第１の判別器１１１においてジェスチャイベントが発生されるが、これに代えて、第２の判別器１１２においてジェスチャイベントが発生されてもよい。実行回路部１１Ｂはジェスチャイベントを受信したとき、認識あるいは特定されたジェスチャ候補に関する情報に基づいてアプリケーションソフトウェアを実行する（ステップ１０９）。
　なお、判別部１１３が起動する条件としては、センサ部１３からのトリガの他に、定時的な割り込み、ユーザの操作等が挙げられる。定時割り込みは、動きが激しい時などにトリガの条件が厳しく設定されたとき、その後動きが少なくなってトリガが適切でない場合があるため、定期的に運動強度等からトリガの適切さを計算して再設定するものである。
　図６Ａ～Ｄは、ジェスチャの種類の一例を示す模式図である。Ａは腕の振り上げ動作、Ｂは腕の振り下げ動作、Ｃは腕振り（シェイク）動作、Ｄは腕回し（ツイスト）動作をそれぞれ示している。
　図６Ａの振り上げ動作は、主としてＺ軸方向の加速度センサの出力で認識される。振り上げ動作が認識されると、ユーザが情報処理装置１の表示面１６を上側に向けて表示を確認する操作と推定される。この場合、例えば、消灯状態に維持されていた表示部１６が点灯し、現在時刻等の所定の情報を表示する。
　図６Ｂの振り下げ動作は、主としてＺ軸方向の加速度センサの出力で認識される。振り下げ動作が認識されると、ユーザによる表示部１６の確認が終了した推定されるため、この場合は例えば、表示部１６を点灯状態から消灯状態に遷移させる。
　図６Ｃのシェイク動作は、主としてＺ軸方向の加速度センサの出力で認識される。また、図６Ｄのツイスト動作は、主としてＸ軸方向及びＹ軸方向の加速度センサの出力で認識される。シェイク動作又はツイスト動作が認識されると、例えば、これらに対応するアプリケーションソフトウェアが実行される。あるいは、携帯情報端末等から再生される楽曲の選択や音量の調整等が実行されてもよい。
　以上のように本実施形態の情報処理装置１は、ユーザの動きを認識するジェスチャ認識機能を有するため、ボタンやタッチパネルを操作せずとも入力操作が可能となり、ユーザの利便性が向上する。
　また本実施形態においてジェスチャ認識のための判別部１１３は、処理速度が比較的低い簡素なＣＰＵ（第１の判別器１１１）と、処理速度が比較的高い高性能なＣＰＵ（第２の判別器１１２）とに分割され、トリガが発生されるまで休止モードで待機する。そして、トリガが発生したときはまず第１の判別器１１１が起動し、第２の判別器１１２は、第１の判別器１１１における判別が不可能な場合に起動するように構成される。これにより制御部１１の平均消費電流を大幅に低減できるため、電力消費を最小限に抑えつつ、ユーザの動きに対応するジェスチャを認識することができる。
　さらに本実施形態によれば、判別部１１３が休止している間もリングバッファ１１４にセンサ部１３の出力が時系列的に蓄積されるため、判別部１１３が常時起動している場合と同様の精度のジェスチャ認識処理を実現することができる。
　次に、第１の判別器１１１と第２の判別器１１２でのジェスチャ認識処理の分担方法について説明する。
　一般にジェスチャとジェスチャでない動きを判別する際、明らかにジェスチャでない動きは比較的簡単な演算で判別できる場合がある。例えば、センサ値（センサ部１３の出力）が一定値で全く変化が無かった場合、これがジェスチャである可能性は0である。もう少し複雑に動いていても、例えば振り上げジェスチャにおいて表示部１６が下側を向いている場合、これが時計を見る振り上げジェスチャだった可能性は低い。
　これに対し、センサ値にある程度複雑な動きがあり、簡単な演算だけではジェスチャかどうか判断できない場合がある。例えば振り上げジェスチャの例では、腕が下がった状態から上がった状態への動きは第１の判別器１１１での簡単な演算で振り上げジェスチャと認識できるが、腕が上がった状態の中での動きは第２の判別器１１２において複雑な判別アルゴリズムを用いて、ユーザが本当に画面を見たかったのか判別する必要が生じる。この複雑な判別アルゴリズムには、Deep Learning 等の機械学習器にかける手法を用いてもよい。なお、第１の判別器１１１での簡単な演算はルールベースの機械学習を用いない手法を使ってもよいし、後段の機械学習器よりも大幅に簡単な簡易的な機械学習の判別器を用いてもよい。
　複数のジェスチャを認識する際に、認識するジェスチャの種類により第１及び第２の判別器１１１，１１２を使い分ける他の例を説明する。ここでは腕の上げ下げ、および指をタップする操作を検知するリストバンド端末を考える。
　腕を上げた状態においては、端末は腕を下げる操作と指をタップする操作の両方を、加速度センサを用いて判別する。ここで、腕を下げる操作は大きな動きでかつ判別しやすいので、第１の判別器１１１において処理可能である。一方、指タップの判別は機械学習の判別器を用いた高速な演算が必要なので、第２の判別器１１２で処理する必要がある。ここで、ジェスチャは同時に一種類のみしか認識しないものとする。この場合、もし何らかの動きがあったとき、第１の判別器１１１で腕を下げる動きを認識し、もし認識されれば指タップの判別はする必要がないので、第２の判別器１１２は用いない。一方、腕を下げる動きが認識できず、かつ簡単なルールベースによるフィルタで指タップの可能性が検出された場合は、第２の判別器１１２で指タップの判別処理を行う。
＜第２の実施形態＞
　図７は、本技術の第２の実施形態に係る情報処理装置における制御部２１１の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、第１の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
　本実施形態では制御部２１１が設定部１１５を有する点で第１の実施形態と相違する。設定部１１５は、実行回路部１１Ｂからの要求を受けて、認識すべき複数のジェスチャ候補を設定するように構成される。
　典型的には、ジェスチャ認識を実行する判別回路部１１Ａは、判別回路部１１Ａによって特定されたジェスチャを利用する実行回路部１１Ｂからの要求を受けてジェスチャ認識を行い、ジェスチャを認識したら実行回路部１１Ｂに対しジェスチャイベントを発行する。
　本実施形態の判別回路部１１Ａは、アプリ起動時に実行回路部１１Ｂから当該アプリの実行に必要な種類のジェスチャの要求を受けて、判別部１１３で判別すべき当該ジェスチャの種類を設定する。判別回路部１１Ａは、最初に要求された種類のジェスチャのみを認識してイベントとして実行回路部１１Ｂに送信する。
　アプリが複数存在する場合、設定部１１５は、それらのアプリが必要とするジェスチャを過不足なくカバーするようなジェスチャの種類を計算し、それに応じた認識処理を行う。例えば図８に示すように、実行回路部１１Ｂが、第１のアプリB1として振り上げ（a）と振り下げ（b）、第２のアプリB2として振り上げ（a）とシェイクジェスチャ（c）を必要とする場合、判別回路部１１Ａは、振り上げ（a）、振り下げ（b）、シェイク（c）の3種類のジェスチャを認識して、要求している各アプリにイベントを通知する。
　本実施形態によれば、判別すべきジェスチャ候補の数が制限されるため、判別部１３における演算負荷が低減されるとともに、処理時間や演算処理に要する電力を低減することが可能となる。
　一方、先に説明した通り、判別回路部１１Ａは複数のアプリケーションからのジェスチャ認識要求を受け付け、必要とされるジェスチャを認識する。ジェスチャの種類によって、トリガ関数やジェスチャ判別に用いる判別器、必要な加速度センサのモードが異なる場合があるが、それはアプリからの要求やその時の腕や端末の状態によって変わる。すなわち、判別回路部１１Ａが認識するジェスチャは、アプリからの要求だけではなく、ユーザの腕の状態によっても変化する。
　そこで本実施形態では、判別回路部１１Ａは、認識すべきジェスチャの種類に応じて、信号生成部１１０におけるトリガ信号の生成基準を変更することが可能に構成される。トリガ信号の生成基準としては、例えば、加速度センサ（センサ部１３）のサンプリング周波数、ローパスフィルタ１０１のカットオフ周波数、閾値判別回路１０４の閾値等のトリガ判別関数が挙げられる。トリガ信号の生成基準の変更は、例えば、設定部１１５において実行される。
　例えば、振り上げ・振り下げのみを認識する場合には加速度センサのサンプリング周波数は低くし、動きを伴うジェスチャを利用する場合は加速度センサのサンプリング周波数を高くする。
　すなわち腕ジェスチャ認識において、腕を上げ下げするジェスチャ(arm_up, arm_down)と、腕を回すジェスチャ(twist)、腕を振るジェスチャ(shake)の4種類を認識する際、arm_upとarm_downはジェスチャ開始時と終了時に腕の位置が変わっているので、加速度センサの周波数を低くして、かつトリガ関数としても重力加速度の方向変化を見るようなもので十分である。一方、後者のtwistとshakeを取る場合は、腕の位置が開始時と終了時で同じため、動き自体を観測する必要が生じ、加速度センサの周波数を高くし、かつトリガ関数として腕の動き自体を見るものが必要になる。前者のモードと後者のモードは同時に存在するものではなく、端末の状態としてどちらかを選択するものとする。ここで前者と後者の切り替えは、アプリの要求によりtwist/shakeの認識を必要とするかどうかで判断される。
　また、振り上げと振り下げは腕の位置に変化が生じるため差分で発生するようなトリガを使えるが、シェイクやツイストでは腕の位置は元の位置に戻るため、差分ではなく加速度のノルムが一定値を超えるなどのトリガを設定する。つまり、図４において差分回路１０２の機能を無効化する。これにより、最も誤発動率が低いトリガを選択することができるとともに、状況に応じて、センサ部１３や信号生成部１１０の消費電力を低減することができる。
＜第３の実施形態＞
　続いて、本技術の第３の実施形態について説明する。
　図９は、本実施形態の情報処理装置としてのセンサ装置３１０の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、第１の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
　センサ装置３１０は、トリガ機能付きのセンサユニット３１と、ＣＰＵ３２と、リングバッファ３３とを有する。センサユニット３１は、第１の実施形態におけるセンサ部１３と信号生成部１１０との混合回路に相当する。判別器３２は、第１の実施形態における判別部１１３に相当し、センサユニット３１からのトリガ信号を受信して起動する。リングバッファ３３は、第１の実施形態におけるリングバッファ１１４に相当する。
　なお、判別器３２は、第１の実施形態と同様に第１及び第２の判別器１１１，１１２を備えていてもよいし、これらのうち一方のみであってもよい。以下、判別器３２が単一のＣＰＵで構成されている場合を例に挙げて説明する。
　本実施形態では、センサユニット３１自体がトリガ機能を持ち、トリガにより通常休止している判別器３２を起動させる。トリガとして使用できる関数は限定されていてもよい。例えば、特定の軸がしきい値を超える、または全軸の絶対値がしきい値を超える、といった単純な機能しか持たないものとすることができる。
　リストバンド型ウェアラブルデバイスで有用なトリガとして、
（a）Ｚ軸方向の加速度センサの出力がしきい値を超えると発生する、
（b）Ｘ，Ｙ，Ｚ各軸方向の加速度センサの出力の前フレームとの差分がしきい値を超えると発生する、
の２つがある。前者は画面（表示部１６）を上に向けたことに対応し、後者は動きがあったことに対応している。
　ここで、（a）のトリガを用いると、歩行中や走行中に誤ってトリガが発生することは少ないものの、机に座って作業をしているなど、画面が既に上に向いている状況ではトリガを発生させることができない。一方、（b）のトリガを用いると、机に座っている時など様々な状況でトリガを発生させられるが、歩いている時や走っている時の誤発動が多くなってしまう。
　そこで本実施形態では、腕の位置に応じて（a）のトリガと（b）のトリガとを使い分ける。判別器３２が起動状態から休止状態に移行する直前に、その時の腕の位置によってトリガ検知回路の判定関数を設定する。
　すなわち、センサユニット３１の出力は、重力方向（Ｚ軸方向）を含む多軸方向に沿った動きに関する信号を含む。センサ装置３１０は、腕の姿勢の状態変化を検出する直前の姿勢に応じて相互に異なる上記状態変化に関する複数の検出基準を有する。具体的に、センサ装置３１０は、前回ジェスチャ認識した腕の状態に応じて、重力方向に沿った腕の動きの態様に基づいて上記状態変化を検出する第１の検出モードと、上記多軸方向における上記検出対象の動きの態様に基づいて上記状態変化を検出する第２の検出モードとを切り替えて実行するように構成される。
　例えば腕が下りている時にはＺ軸方向加速度センサの出力が閾値を超えたことによるトリガ（以下、Ｚ軸トリガともいう）をセットし、腕が上がっているときには３軸方向の加速度センサの出力のノルムが閾値を超えたことによるトリガ（以下、動きトリガともいう）をセットする。トリガが発生した際、必ずしも画面を点ける必要がなかった場合もあるが、そのような場合でも次回設定すべきトリガは毎回計算して求める。
　腕が下がっているときにＺ軸トリガをセットすることで、歩行・走行中のように動きが激しく誤発しやすい環境であってもローパスフィルタなどの付帯回路なしに誤発率を下げる事ができる。さらに腕が上がっているときは全軸を用いた動きトリガに切り替えることで、机で作業しているときに手首を軽くひねるだけで画面をつける事ができる。画面をつけずにトリガを切り替えることで、ユーザは現在のモードを意識することなく常に自然な所作で画面を点灯させることができる。
　動きトリガの具体的なアルゴリズムとしては、リストバンドの加速度センサの各軸の絶対値が1Gより有意に大きい値(例えば1.2G)になったことで発動させるものが挙げられる。他にも、各軸のうちいずれかの軸において、前フレームとの加速度の差が0より有意に大きい (例えば0.2G)とき、発生するようにしてもよい。Ｚ軸トリガの具体的なアルゴリズムとしては、Ｚ軸方向の加速度がしきい値(例えば0.6G)を超えたことによって発動させるとよい。動きトリガは腕を上げているとき、例えば机での作業中に適する。Ｚ軸トリガは腕を下げている時、例えば歩いている時やソファに座って腕を降ろしているときに適する。
　図１０は、Ｚ軸トリガと動きトリガとの間の遷移関係を説明する図である。図１１及び図１２は、センサ装置３１０の動作例を説明するフローチャートである。
　ここでは、トリガの切り替えをＺ軸加速度acc_zによって行う例を説明する。Ｚ軸トリガは、腕が動いたことを検知するものであり、動きトリガは、腕の上面、時計でいうと文字盤の方向の姿勢が変化したことを検知するものである。
　Ｚ軸トリガは、Ｚ軸加速度acc_zが第１のしきい値 THRES_0を超えると発生し、判別器３２が休止状態（スリープ状態）から復帰する（ステップ２０１）。トリガに紐付いた処理（判別器３２によるジェスチャ認識処理）が終了した後、Ｚ軸加速度acc_zの大きさが判定される（ステップ２０２，２０３）。Ｚ軸加速度acc_zが引き続き THRES_0 を超えている場合は、検出モードを動きトリガに切り替え（ステップ２０４）、そうでない場合は、Ｚ軸トリガを維持する（ステップ２０５）。動きトリガモードにある場合は、各軸の絶対値を見て発生する。判別器３２はその後、休止する（ステップ２０６）。
　動きトリガは、Ｚ軸加速度acc_zが第２のしきい値 THRES_1を超えると発生し、判別器３２が休止状態（スリープ状態）から復帰する（ステップ３０１）。トリガに紐付いた処理（判別器３２によるジェスチャ認識処理）が終了した後、Ｚ軸加速度acc_z と第２のしきい値 THRES_1 とを比較して（ステップ３０３）、THRES_1 より小さい場合はＺ軸トリガに切り替え（ステップ３０４）、そうでない場合は、動きトリガを維持する（ステップ３０５）。THRES_1 は THRES_0 より小さくすることが好ましく、これによりＺ軸加速度acc_z が THRES_0 に近い範囲で振動する場合、トリガが多発してしまうおそれをなくすことができる。
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、種々変更を加え得ることは勿論である。
　例えば以上の実施形態では、情報処理装置１としてリストバンド型のウェアラブルデバイスを例に挙げて説明したが、これに限られず、眼鏡型のウェアラブルデバイスにも本技術は適用可能である。この場合、ユーザの頭の動きで所定のジェスチャ（頷き、首振り等）を認識することが可能となる。
　また以上の実施形態では、センサ部１３を備えた情報処理装置１を例に挙げて説明したが、センサ部１３と制御部１１とは別機器で構成されてもよく、例えば制御部１１は、センサ部１３と無線ネットワーク等を介して通信可能な携帯情報端末やサーバ装置として構成されてもよい。
　また、第３の実施形態で説明したセンサトリガの発生アルゴリズムが第１、第２の実施形態における信号生成部１１０に適用されてもよい。
　さらに以上の実施形態では、ユーザのジェスチャ認識に用いられる情報処理装置を例に挙げて説明したが、これ以外にも、例えば、車両や無人自律飛行体の姿勢判別あるいは姿勢制御等にも本技術は適用可能である。
　さらに以上の実施形態では、検出対象の状態変化としてユーザの姿勢変化を例に挙げて説明したが、これに限られず、ユーザの音声や心拍変化などの状態変化を検出し、認識するように情報処理装置が構成されてもよい。
　なお、本技術は以下のような構成もとることができる。
（１）　検出対象に取り付けられたセンサユニットの出力を処理し、前記検出対象の状態変化を検出したときにトリガ信号を生成する信号生成部と、
　前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する第１の判別部と、
　前記判別不能信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部と
　を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
　前記信号生成部は、前記検出対象の状態変化から前記検出対象を装着したユーザの動きを検出し、
　前記第１の判別部及び前記第２の判別部は、前記ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する
　情報処理装置。
（３）上記（２）に記載の情報処理装置であって、
　前記第１の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、前記ジェスチャ候補の特定が不可能な場合は前記判別不能信号を出力する
　情報処理装置。
（４）上記（２）又は（３）に記載の情報処理装置であって、
　前記第２の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する
　情報処理装置。
（５）上記（２）～（４）のいずれか１つに記載の情報処理装置であって、
　前記複数のジェスチャ候補を設定する設定部をさらに具備し、
　前記信号生成部は、設定された前記複数のジェスチャ候補の種類に応じて、前記トリガ信号を生成する基準を変更する
　情報処理装置。
（６）上記（２）～（５）のいずれか１つに記載の情報処理装置であって、
　前記信号生成部は、前記検出対象が装着された前記ユーザの腕の動きを検出し、
　前記第１の判別部及び前記第２の判別部は、前記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作の何れか１つを特定する
　情報処理装置。
（７）上記（１）～（６）のいずれか１つに記載の情報処理装置であって、
　前記第１の判別部及び前記第２の判別部は、前記検出対象の状態変化が判別された後、再び休止する
　情報処理装置。
（８）上記（１）～（７）のいずれか１つに記載の情報処理装置であって、
　前記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備する
　情報処理装置。
（９）上記（１）～（８）のいずれか１つに記載の情報処理装置であって、
　前記信号生成部は、前記検出対象の姿勢に関する状態変化を検出したときに前記トリガ信号を生成する
　情報処理装置。
（１０）上記（１）～（９）のいずれか１つに記載の情報処理装置であって、
　前記第２の判別部の消費電力は、前記第１の判別部の消費電力よりも大きい
　情報処理装置。
（１１）上記（１）～（１０）のいずれか１つに記載の情報処理装置であって、
　前記信号生成部、前記第１の判別部および前記第２の判別部を格納するための筐体をさらに具備し、
　前記筐体は、前記検出対象に装着可能に構成される
　情報処理装置。
（１２）　検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させ、
　前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させる
　情報処理方法。
（１３）　検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化に関する状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させるステップと、
　前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させるステップと
　をコンピュータに実行させるプログラム。
（１４）判定すべき複数のジェスチャ候補を設定する設定部と、
　ユーザに取り付けられたセンサユニットの出力を処理し、前記複数のジェスチャ候補に応じて定まる所定の検出基準に基づいて前記ユーザの動きに関する状態変化を検出したときにトリガ信号を生成する信号生成部と、
　前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力に基づいて、前記複数のジェスチャ候補から前記ユーザの動きの態様に対応するジェスチャ候補の有無を判定する判定部と
　を具備する情報処理装置。
（１５）上記（１４）に記載の情報処理装置であって、
　前記信号生成部は、前記状態変化を検出する直前の検出対象の状態変化に応じて相互に異なる前記状態変化に関する複数の検出基準を有する
　情報処理装置。
（１６）ユーザに取り付けられたセンサユニットの出力を処理し、所定の検出基準に基づいて前記ユーザの動きに関する状態変化を検出したときにトリガ信号を生成する信号生成部と、
　前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力に基づいて、前記複数のジェスチャ候補から前記ユーザの動きの態様に対応するジェスチャ候補の有無を判定する判定処理を実行し、前記判定処理の実行後に再び休止する判定部と、を具備し、
　前記信号生成部は、前記判定部が休止したときの前記ユーザの状態変化に応じて前記所定の検出基準を切り替える
　情報処理装置。
（１７）上記（１６）に記載の情報処理装置であって、
　前記センサユニットの出力は、重力方向を含む多軸方向に沿った動きに関する信号を含み、
　前記信号生成部は、前記重力方向における前記ユーザの動きの態様に基づいて前記状態変化を検出する第１の検出モードと、前記多軸方向における前記ユーザの動きの態様の時間変化に基づいて前記状態変化を検出する第２の検出モードとを選択的に切り替える
　情報処理装置。
　１…情報処理装置
　１１…制御部
　１１Ａ…判別回路部
　１１Ｂ…実行回路部
　１３…センサ部
　１６…表示部
　１１０…信号生成部
　１１１…第１の判別器
　１１２…第２の判別器
　１１４…リングバッファ
　１１５…設定部
　３１０…センサ装置

Claims (13)

  1. 　検出対象に取り付けられたセンサユニットの出力を処理し、前記検出対象の状態変化を検出したときにトリガ信号を生成する信号生成部と、
    　前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する第１の判別部と、
    　前記判別不能信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記信号生成部は、前記検出対象の状態変化から前記検出対象を装着したユーザの動きを検出し、
    　前記第１の判別部及び前記第２の判別部は、前記ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記第１の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、前記ジェスチャ候補の特定が不可能な場合は前記判別不能信号を出力する
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記第２の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する
    　情報処理装置。
  5. 　請求項２に記載の情報処理装置であって、
    　前記複数のジェスチャ候補を設定する設定部をさらに具備し、
    　前記信号生成部は、設定された前記複数のジェスチャ候補の種類に応じて、前記トリガ信号を生成する基準を変更する
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記信号生成部は、前記検出対象が装着された前記ユーザの腕の動きを検出し、
    　前記第１の判別部及び前記第２の判別部は、前記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作の何れか１つを特定する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記第１の判別部及び前記第２の判別部は、前記検出対象の状態変化が判別された後、再び休止する
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備する
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記信号生成部は、前記検出対象の姿勢に関する状態変化を検出したときに前記トリガ信号を生成する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記第２の判別部の消費電力は、前記第１の判別部の消費電力よりも大きい
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記信号生成部、前記第１の判別部および前記第２の判別部を格納するための筐体をさらに具備し、
    　前記筐体は、前記検出対象に装着可能に構成される
    　情報処理装置。
  12. 　検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させ、
    　前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させる
    　情報処理方法。
  13. 　検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させるステップと、
    　前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させるステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2017/018811 2016-07-25 2017-05-19 情報処理装置、情報処理方法及びプログラム WO2018020792A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018529376A JP6891891B2 (ja) 2016-07-25 2017-05-19 情報処理装置
US16/305,701 US11216072B2 (en) 2016-07-25 2017-05-19 Information processing apparatus, information processing method, and program
EP17833803.4A EP3489802B1 (en) 2016-07-25 2017-05-19 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016145621 2016-07-25
JP2016-145621 2016-07-25

Publications (1)

Publication Number Publication Date
WO2018020792A1 true WO2018020792A1 (ja) 2018-02-01

Family

ID=61017053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018811 WO2018020792A1 (ja) 2016-07-25 2017-05-19 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11216072B2 (ja)
EP (1) EP3489802B1 (ja)
JP (1) JP6891891B2 (ja)
WO (1) WO2018020792A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900019037A1 (it) * 2019-10-16 2021-04-16 St Microelectronics Srl Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo
DE102020209939A1 (de) * 2020-08-06 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Erkennen von Kopfgesten

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292261A (ja) * 1991-12-23 1993-11-05 Symbol Technol Inc レーザー走査装置
JP2005018810A (ja) * 2004-10-04 2005-01-20 Toshiba Corp 文字認識装置及びその方法
JP2011511931A (ja) * 2007-12-14 2011-04-14 クゥアルコム・インコーポレイテッド 追跡のための動作検出
JP2013020311A (ja) * 2011-07-07 2013-01-31 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2015125766A (ja) * 2013-12-27 2015-07-06 株式会社Ｎｔｔドコモ 画像認識装置、及び画像認識方法
JP2015179493A (ja) * 2014-02-27 2015-10-08 株式会社ログバー ジェスチャ入力システム
JP2015186183A (ja) * 2014-03-26 2015-10-22 株式会社Ｎｔｔドコモ 通信端末及び通信方法
JP2016502721A (ja) * 2012-11-29 2016-01-28 アマゾン・テクノロジーズ、インコーポレイテッド 電子デバイスのためのジェスチャー検出管理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578571A (zh) 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US9063731B2 (en) * 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
JP2015064680A (ja) * 2013-09-24 2015-04-09 京セラ株式会社 電子機器、電子機器の制御方法、および電子機器の制御プログラム
JP2015125616A (ja) 2013-12-26 2015-07-06 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices
US10101793B2 (en) * 2014-07-18 2018-10-16 Apple Inc. Raise gesture detection in a device
US9788277B2 (en) * 2015-01-15 2017-10-10 Mediatek Inc. Power saving mechanism for in-pocket detection
US9804679B2 (en) * 2015-07-03 2017-10-31 Google Inc. Touchless user interface navigation using gestures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292261A (ja) * 1991-12-23 1993-11-05 Symbol Technol Inc レーザー走査装置
JP2005018810A (ja) * 2004-10-04 2005-01-20 Toshiba Corp 文字認識装置及びその方法
JP2011511931A (ja) * 2007-12-14 2011-04-14 クゥアルコム・インコーポレイテッド 追跡のための動作検出
JP2013020311A (ja) * 2011-07-07 2013-01-31 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2016502721A (ja) * 2012-11-29 2016-01-28 アマゾン・テクノロジーズ、インコーポレイテッド 電子デバイスのためのジェスチャー検出管理
JP2015125766A (ja) * 2013-12-27 2015-07-06 株式会社Ｎｔｔドコモ 画像認識装置、及び画像認識方法
JP2015179493A (ja) * 2014-02-27 2015-10-08 株式会社ログバー ジェスチャ入力システム
JP2015186183A (ja) * 2014-03-26 2015-10-22 株式会社Ｎｔｔドコモ 通信端末及び通信方法

Also Published As

Publication number Publication date
JP6891891B2 (ja) 2021-06-18
EP3489802B1 (en) 2021-04-28
US20200379573A1 (en) 2020-12-03
US11216072B2 (en) 2022-01-04
EP3489802A1 (en) 2019-05-29
JPWO2018020792A1 (ja) 2019-05-09
EP3489802A4 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
US10990187B2 (en) Methods, systems, and apparatuses to update screen content responsive to user gestures
US9804679B2 (en) Touchless user interface navigation using gestures
US9720514B2 (en) Method and system for tilt-based actuation
KR102087989B1 (ko) 착용식 전자 디바이스에 의한 원격 전자 디바이스의 제어
CN105389012B (zh) 一种基于手势的电源管理方法及其系统
US20160198322A1 (en) Systems And Methods For Determining A User Context By Correlating Acceleration Data From Multiple Devices
KR102354330B1 (ko) 스마트 디바이스 및 그 동작 방법
CN106933425B (zh) 一种防止误触的方法和装置
US9563258B2 (en) Switching method and electronic device
CN111897263A (zh) 智能眼镜控制方法、装置、存储介质及电子设备
JP6891891B2 (ja) 情報処理装置
US20120203503A1 (en) Electronic device, pedometer, and program
CN113127272A (zh) 屏幕检测方法和屏幕检测的电子设备
KR20190024297A (ko) 웨어러블 장치 및 이의 입력 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833803

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018529376

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017833803

Country of ref document: EP

Effective date: 20190225