WO2014196156A1 - 電子機器及びタップ操作検出方法 - Google Patents

電子機器及びタップ操作検出方法 Download PDF

Info

Publication number
WO2014196156A1
WO2014196156A1 PCT/JP2014/002773 JP2014002773W WO2014196156A1 WO 2014196156 A1 WO2014196156 A1 WO 2014196156A1 JP 2014002773 W JP2014002773 W JP 2014002773W WO 2014196156 A1 WO2014196156 A1 WO 2014196156A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sampling frequency
mode
setting
tap operation
Prior art date
Application number
PCT/JP2014/002773
Other languages
English (en)
French (fr)
Inventor
中川 亮
佑一 ▲高▼野
順一 大塚
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013120587A external-priority patent/JP2014238695A/ja
Priority claimed from JP2013120588A external-priority patent/JP2014238696A/ja
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to EP14807057.6A priority Critical patent/EP3007042A4/en
Priority to CN201480029848.5A priority patent/CN105264467B/zh
Priority to US14/895,887 priority patent/US10241564B2/en
Publication of WO2014196156A1 publication Critical patent/WO2014196156A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1636Sensing arrangement for detection of a tap gesture on the housing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to an electronic device, a tap operation detection method, and the like.
  • tap operation is an operation in which the user strikes the electronic device using his / her hand or the like, and in a broad sense, is an operation that gives an impact to the electronic device.
  • the tap operation represents an operation input by the tap operation.
  • Tap operation is a useful user interface in electronic devices where input devices such as buttons are restricted.
  • a wristwatch-type electronic device is required to be small and light, or a simple configuration is required to realize an interface that is easy for the user to understand.
  • Patent Document 1 discloses a method of calculating an activity amount and changing the detection cycle of the acceleration sensor based on the calculated activity amount.
  • the effect of reducing the power consumption of an active mass meter by the said method is described.
  • Patent Document 1 is intended to reduce the power consumption of the activity meter, and does not consider the detection of a tap operation using an acceleration sensor.
  • the sampling frequency in the tap operation is set not only from the viewpoint of power consumption, but also from the viewpoint of detection accuracy, such as whether the detection status of the tap operation requires high accuracy or low accuracy is sufficient.
  • Patent Document 1 does not disclose this point. In particular, Patent Document 1 does not disclose such a technique, although an effect can be expected by setting an acceleration threshold value used for detecting a tap operation in conjunction with a sampling frequency.
  • an electronic device, a tap operation detection method, and the like that perform an appropriate detection process for a tap operation.
  • an electronic device and a tap that appropriately set the detection accuracy of the tap operation and the power consumption by the detection process of the tap operation according to the operation information, the reception status of the communication unit, and the like An operation detection method and the like can be provided.
  • an electronic device a tap operation detection method, and the like that perform an appropriate detection process of a tap operation by setting the sampling frequency and the threshold in conjunction with each other.
  • a setting unit that sets a sampling frequency for acceleration detection of an acceleration sensor, a processing unit that determines a tap operation based on sensor information from the acceleration sensor, and operation information from the operation unit are provided.
  • An operation information acquisition unit to acquire and a communication unit to perform information communication processing, and the setting unit detects the reception of the information by the communication unit, or the operation information acquisition unit by the operation information acquisition unit
  • the present invention relates to an electronic device that sets the sampling frequency to F2, which is a higher frequency than the sampling frequency F1 before detection.
  • the sampling frequency of the acceleration sensor used for detecting the tap operation is set high.
  • the sampling frequency can be set high in a situation where there is a high possibility that the tap operation will be performed thereafter, so that it is possible to detect the tap operation with high accuracy in an appropriate scene.
  • the sampling frequency is lowered, so that it is possible to efficiently reduce power consumption.
  • a biological information detection sensor that detects biological information is included, and the processing unit receives from the biological information detection sensor based on body motion information that is the sensor information from the acceleration sensor. While performing the correction process on the biological information, the tap operation may be determined based on the sensor information from the acceleration sensor.
  • the processing unit performs a mode switching process of an operation mode of the electronic device
  • the setting unit performs the operation of the electronic device based on the operation information in the processing unit.
  • the first mode is an information display mode for displaying information
  • the second mode is an information input mode for receiving input of information from the outside
  • the setting The processing unit sets the sampling frequency to F1 when the mode switching process for switching the operation mode of the electronic device from the information display mode to the information input mode is performed in the processing unit based on the operation information. You may perform the setting to change from to F2.
  • a display control unit that performs display control of information on the display unit is included, and when the operation mode is the information input mode, the processing unit is configured to perform the acceleration with the sampling frequency of F2.
  • the tap operation is determined based on the sensor information from the sensor, and the display control unit transitions a display image displayed on the display unit when the processing unit detects the tap operation.
  • the display control may be performed.
  • the operation mode is the information input mode
  • the acquisition of the operation information is not detected for a given period
  • the tap operation is not detected in the processing unit.
  • the processing unit may perform the mode switching process for switching the operation mode from the information input mode to the information display mode
  • the setting unit may perform setting for changing the sampling frequency from F2 to F1. Good.
  • a setting unit that sets a sampling frequency for acceleration detection of an acceleration sensor, a processing unit that performs a tap operation determination based on sensor information from the acceleration sensor, and a mounting state of an electronic device are provided.
  • a mounting determination unit for determining, and when the mounting determination unit determines that the electronic device is in a non-wearing state, the setting unit compares the sampling frequency with the sampling frequency F2 before the determination. This is related to an electronic device set to F1, which is a low frequency.
  • the sampling frequency of the acceleration sensor used for detecting the tap operation is set low when the electronic device is not attached.
  • the sampling frequency can be set low in a situation where it is unlikely that the tap operation will be performed thereafter, so that it is possible to efficiently reduce power consumption.
  • Another aspect of the present invention includes a setting unit that sets a sampling frequency for acceleration detection of an acceleration sensor and a threshold value for determination of a tap operation, and a processing unit that determines the tap operation based on sensor information from the acceleration sensor.
  • the setting unit sets the sampling frequency to F1 in the first setting mode of the acceleration sensor and sets the threshold value to Th1, and in the second setting mode of the acceleration sensor,
  • the present invention relates to an electronic device that sets the sampling frequency to F2, which is a frequency higher than F1, and sets the threshold value to Th2, which is a value larger than Th1.
  • the threshold value when the acceleration sensor used for detecting the tap operation is set, if the sampling frequency is increased, the threshold value is also set to a large value.
  • an appropriate threshold value can be set corresponding to the difference in waveform of the acceleration detection value accompanying the difference in sampling frequency, so that it is possible to set the acceleration sensor in consideration of the detection accuracy of the tap operation.
  • a biological information detection sensor that detects biological information is included, and the processing unit receives from the biological information detection sensor based on body motion information that is the sensor information from the acceleration sensor. While performing the correction process on the biological information, the tap operation may be determined based on the sensor information from the acceleration sensor.
  • the setting unit may set the setting mode of the acceleration sensor to the second setting mode when it is determined that the user wearing the electronic device is in an exercise state. Also good.
  • the setting unit sets the first setting mode in an information display mode for displaying information, and the second setting in an information input mode for accepting external information input.
  • the mode may be set.
  • the display unit includes a display control unit that performs display control of information on the display unit, and the setting unit sets the acceleration sensor to the second setting mode corresponding to the information input mode.
  • the processing unit determines the tap operation based on the sensor information from the acceleration sensor in which the sampling frequency is set to F2 and the threshold is set to Th2, and the display control unit When the tap operation is detected by the processing unit, the display control for changing the display image displayed on the display unit may be performed.
  • the processing unit compares the signal value in the positive direction in the predetermined axis direction of the acceleration sensor with the threshold value Th + in the positive direction, and the acceleration sensor.
  • the determination of the tap operation may be performed based on at least one of comparison processing of the signal value in the negative direction in the predetermined axis direction and the threshold value Th ⁇ in the negative direction. .
  • the electronic device includes a mounting determination unit that determines a mounting state of the electronic device, and the setting unit determines that the electronic device is in a non-wearing state by the mounting determination unit.
  • the acceleration sensor may be set to a third setting mode in which the value of the sampling frequency is F0 that is a frequency lower than F1.
  • Another aspect of the present invention is a tap determination for performing a setting process for setting a sampling frequency for acceleration detection of an acceleration sensor and determining a tap operation based on sensor information from the acceleration sensor based on the set sampling frequency.
  • the sampling frequency is set higher than the sampling frequency F1 before detection.
  • the present invention relates to a tap operation detection method for performing processing for setting a certain F2.
  • Another aspect of the present invention is a tap determination for performing a setting process for setting a sampling frequency for acceleration detection of an acceleration sensor and determining a tap operation based on sensor information from the acceleration sensor based on the set sampling frequency.
  • a setting process when the electronic device is mounted and determined, and when it is determined that the electronic device is not mounted, the sampling frequency is compared with the sampling frequency F2 before determination.
  • the present invention relates to a tap operation detection method for performing processing for setting F1 which is a low frequency.
  • Another aspect of the present invention performs setting processing for setting a sampling frequency for acceleration detection of the acceleration sensor and a threshold value for determination of tap operation, and is based on sensor information from the acceleration sensor based on the set sampling frequency and the threshold value.
  • the sampling frequency is set to F1
  • the threshold is set to Th1, as the setting process.
  • the sampling frequency is set to F2, which is a frequency higher than F1
  • the threshold value is set to Th2, which is a value larger than Th1.
  • Explanatory drawing of tap operation. 1 is a system configuration example of an electronic apparatus according to an embodiment.
  • Example of setting the axis of the acceleration sensor. The structural example of a biometric information detection sensor.
  • FIGS. 6A to 6C show examples of a pulse wave detection signal, a body motion detection signal, and a waveform and a frequency spectrum of a signal after body motion noise reduction processing based on the pulse wave detection signal and the body motion detection signal.
  • FIG. 7A shows an example of a waveform of an acceleration detection value
  • FIG. 7B shows an example of a waveform representing a detection result of a tap operation based on the acceleration detection value.
  • FIGS. 8A and 8B are examples of operations in which the waveform of the acceleration detection value is similar to a tap operation.
  • FIGS. 9A to 9C show examples of waveforms of acceleration detection values by tap operations at different sampling frequencies.
  • FIGS. 10A to 10C show examples of waveforms of acceleration detection values due to wrist rotation operations at different sampling frequencies.
  • FIGS. 11A to 11C show examples of waveforms of acceleration detection values obtained by shaking the wrist at different sampling frequencies.
  • 12A to 12C show examples of waveforms of acceleration detection values obtained by a tap operation, wrist rotation operation, and wrist swing operation in a relatively short period. The figure explaining the difference in the acceleration detection value by sampling timing.
  • 14A and 14B show examples of waveforms at a low sampling frequency.
  • FIGS. 15A and 15B show examples of waveforms at a medium sampling frequency.
  • 16A and 16B show examples of waveforms at a high sampling frequency. Specific examples of mode switching processing and screen transition.
  • buttons and keys that are physically provided are generally used.
  • a touch panel is often used as a user interface and is often used in electronic devices such as smartphones.
  • buttons or touch panel it may be difficult to provide the above-described buttons or touch panel.
  • wristwatch-type electronic devices are often required to be smaller and lighter.
  • a sufficient number of physical buttons cannot be provided, and the touch panel is also limited in area and does not become a useful interface.
  • each button provided on the main unit or the remote controller is indicated by characters or a picture, such as whether the button is for power operation, playback operation, or volume adjustment. This allows the user to properly operate many buttons.
  • a wristwatch-type electronic device or the like it is necessary to make the buttons themselves small, and when a plurality of buttons are provided, it is difficult to clearly indicate to the user what functions each has. As a solution to this, it is considered to realize an interface that is easy to understand for the user by reducing the number of buttons, but the types of operations that the user can perform are reduced.
  • the tap operation is an operation of tapping an electronic device.
  • the electronic device is tapped with a hand opposite to the hand wearing the electronic device as shown in FIG. It becomes operation.
  • toe is shown in FIG. 1
  • operation which taps an electronic device by other methods, such as using a palm is also contained in tap operation.
  • the tap operation detects that the device has been hit based on the sensor information of the acceleration sensor, it is not necessary to separately provide a structure for detecting the tap operation in the electronic device, and it can also be used in the above-described wristwatch-type electronic device and the like. Is possible.
  • Patent Document 1 discloses a method of calculating an activity amount and changing a detection cycle of an acceleration sensor based on the calculated activity amount.
  • the method of Patent Document 1 is intended to reduce the power consumption of the activity meter, and does not consider the detection of the tap operation using the acceleration sensor.
  • the sampling frequency in the tap operation is set not only from the viewpoint of power consumption, but also from the viewpoint of detection accuracy, such as whether the detection status of the tap operation requires high accuracy or low accuracy is sufficient.
  • Patent Document 1 does not disclose this point.
  • the present applicant proposes a method for appropriately controlling the detection accuracy of the tap operation and the power consumption required for the detection of the tap operation by setting the sampling frequency in consideration of the possibility of the tap operation.
  • the sampling frequency is set according to the operation information, the reception status of the communication unit, and the like. This makes it possible to set an acceleration sensor that is more suitable for a tap operation.
  • the present applicant proposes a method of setting a threshold used for detecting a tap operation in conjunction with the sampling frequency.
  • tap operation detection processing suitable for each sampling frequency can be performed. Specifically, when the sampling frequency is high, the possibility that the acceleration detection value caused by other than the tap operation is erroneously detected as a tap operation is suppressed by increasing the threshold value. In addition, when the sampling frequency is low, the possibility of erroneous detection that the tap operation is performed but not the tap operation is suppressed by lowering the threshold value.
  • FIG. 2 shows a system configuration example of an electronic apparatus according to the present embodiment.
  • the electronic device includes an acceleration sensor 10, a biological information detection sensor 20, a setting unit 110, a processing unit 120, an operation information acquisition unit 130, an operation unit 140, a communication unit 150, A mounting determination unit 160, a display control unit 170, and a display unit 180 are included.
  • the electronic apparatus is not limited to the configuration shown in FIG. 2, and various modifications such as omitting some of these components or adding other components are possible.
  • the acceleration sensor 10 is a sensor that acquires information related to acceleration.
  • the acceleration sensor 10 may be, for example, a three-axis acceleration sensor. More specifically, the acceleration sensor 10 is provided in a wristwatch-type electronic device, and the acceleration value on each of the X, Y, and Z axes shown in FIG. It may be a sensor that detects. A specific example of the acceleration detection value on a given axis is as will be described later with reference to FIG. However, the acceleration sensor 10 of the present embodiment is not limited to the one that directly outputs the value of FIG. 7A or the like, and is based on the value of FIG. 7A and the parameters set by the setting unit 110 described later. You may perform the detection process of a tap operation and output the result of the said detection process. Note that the result of the tap operation detection process may be a pulse waveform in which a signal rises at a timing corresponding to the detection timing, as shown in FIG. 7B, for example.
  • the biological information detection sensor 20 may be, for example, a pulse wave sensor that detects a pulse wave signal, and more specifically, a photoelectric sensor or the like can be considered.
  • the electronic device of the present embodiment may have not only a simple clock display function but also a function of detecting biological information such as a wearer's pulse wave information, and the biological information detection sensor 20 is used in such a case. It is done. In that case, the electronic device of the present embodiment corresponds to, for example, a pulse meter. When targeting an electronic device not intended for detection of biological information, the biological information detection sensor 20 can be omitted.
  • FIG. 4 is an enlarged schematic view of a part including a biological information detection sensor in an electronic device.
  • the biological information detection sensor 20 includes an LED 21 that emits light, a photodiode (PD) 22 that receives reflected light when the irradiated light is reflected by the living body, and a living body. And a convex portion 23 serving as a contact portion.
  • the living body information detection sensor 20 of the present embodiment has a convex portion 23 shown in FIG. 4 and efficiently applies pressure (pressing) to the living body.
  • the convex part 23 of FIG. 4 is a structure which considered press adjustment, since the method regarding the said press adjustment differs from the main point of the method of this embodiment, detailed description is abbreviate
  • the setting unit 110 sets parameters in a tap operation detection process using the acceleration sensor 10 based on information from an operation information acquisition unit 130, a communication unit 150, a mounting determination unit 160, and the like, which will be described later. Specifically, the sampling frequency and threshold value of the acceleration signal are set. Details of the setting process in the setting unit 110 will be described later.
  • the processing unit 120 performs various processes based on the sensor information from the acceleration sensor 10. Specifically, the processing unit 120 performs a tap operation detection process, a noise reduction process for biological information from the biological information detection sensor 20, and a mode switching process for switching the operation mode of the electronic device. It should be noted that the detection process of the tap operation does not prevent the comparison process between an acceleration signal value and a threshold value which will be described later. However, when the pulse signal as shown in FIG. 7B is output from the acceleration sensor 10 as described above, the comparison process with the threshold value is performed by the acceleration sensor 10, and thus the processing by the processing unit 120 is performed. Is a process for determining whether or not there is a pulse in the sensor information from the acceleration sensor 10.
  • the processing unit 120 may perform a process of reducing body movement noise from the biological information detection signal using the sensor information from the acceleration sensor 10 as the body movement detection signal.
  • the sensor information from the acceleration sensor 10 is not FIG. 7B but a signal value shown in FIG. 7A.
  • the sensor information (pulse wave detection signal in a narrow sense) acquired from the biological information detection sensor 20 includes a component caused by body movement in addition to a component caused by heartbeat.
  • components useful for the calculation of the pulse rate and the like are components caused by the heartbeat, and the components caused by body movement hinder the calculation. Therefore, the acceleration sensor 10 is used as a body motion sensor to acquire a signal (body motion detection signal) due to body motion, and a signal component (estimated body motion noise component and correlation) with the body motion detection signal from the pulse wave detection signal. Body motion noise included in the pulse wave detection signal is reduced.
  • the estimated body motion noise component is calculated by performing filter processing in which the filter coefficient is adaptively determined for the body motion detection signal, and the difference between the pulse wave detection signal and the estimated body motion noise component is calculated. To do.
  • FIG. 6 (A) to FIG. 6 (C) illustrate the above processing in terms of a frequency spectrum.
  • FIG. 6A shows the time-varying waveform of the signal at the top and the frequency spectrum at the bottom.
  • FIG. 6A shows a pulse wave detection signal before body motion noise reduction.
  • A1 and A2 two frequencies having large values appear in the spectrum. One of these is caused by heartbeat, and the other is caused by body movement. Note that although there are some frequencies that are higher than A1, they are not considered here because they are high frequency components corresponding to integer multiples of A1 and A2.
  • high-frequency components are also seen in FIGS. 6B and 6C, but are not considered here as well.
  • FIG. 6B shows a body motion detection signal. If there is only one type of body motion that causes the body motion detection signal, a frequency having a large value as shown in B1. One appears.
  • the frequency of B1 corresponds to A2 in FIG.
  • the signal shown in FIG. 6C is obtained by taking the difference between the pulse wave detection signal and the estimated body motion noise component by the method shown in FIG.
  • pulse wave detection is performed by subtracting an estimated body motion noise component having a peak B1 due to body motion from a pulse wave detection signal having two peaks A1 and A2 due to heartbeat and body motion.
  • the body motion component (corresponding to A2) in the signal is removed, and as a result, the peak C1 (frequency corresponds to A1) due to the heartbeat remains.
  • the operation information acquisition unit 130 acquires operation information from the operation unit 140.
  • the operation unit 140 represents a user interface such as a button, a key, or a touch panel, and the tap operation targeted in the present embodiment is not included in the operation by the operation unit 140.
  • the operation information here is information indicating a user's operation on the operation unit 140.
  • the operation information may be information indicating which button is pressed, or an electronic information created based on a specific key operation. It may be a control signal that causes the device to execute specific control.
  • the communication unit 150 performs information communication processing with other electronic devices and the like via a network.
  • the network here may be wired or wireless.
  • the electronic device of the present embodiment is a wristwatch type device
  • the wristwatch type device and a smartphone or the like may be connected via a network such as short-range wireless and operate in conjunction with each other while communicating information. Conceivable.
  • the communication unit 150 serves as an interface at that time, and acquires, for example, information related to operation of the smartphone by the user, reception of information by the smartphone, and the like from the smartphone.
  • the mounting determination unit 160 determines the mounting state of the electronic device and outputs a determination result to the setting unit 110. For example, as shown in FIG. 4, when the biological information detection sensor 20 having the photodiode 22 is included in the electronic device, the attachment determination may be performed based on the light amount detected by the photodiode 22. Normally, when detecting a pulse signal, the external light is blocked, or even if a small amount of external light is detected, the value is made small enough to cancel the reflected light and the transmitted light from the LED 21. To detect. However, this assumes the case where the biological information detection sensor 20 is used in close contact with the subject as shown in FIG.
  • the electronic device when the electronic device is in a non-wearing state, such as when the wristwatch type device is removed from the arm, external light is detected by the photodiode 22. And it is known that this external light is very strong light compared with the reflected light and transmitted light of light from LED21. In other words, the amount of light detected by the photodiode 22 is much larger in the non-wearing state than in the wearing state, and it is possible to make a wearing determination by paying attention to this point.
  • other methods may be used for mounting determination, and various modifications can be made.
  • an acceleration detection value from the acceleration sensor 10 may be used. For example, a large value due to walking or arm swinging is detected when worn, while values other than gravitational acceleration are hardly detected when left on a desk or the like when not worn.
  • the attachment determination may be performed based on the difference.
  • the display control unit 170 controls the display unit 180.
  • the display unit 180 is for displaying various display screens, and can be realized by, for example, a liquid crystal display or an organic EL display. Note that the display unit 180 is not limited to the one included in the electronic device, and may be provided in another device connected to the electronic device such as a smartphone.
  • the tap operation is detected based on the comparison process between the signal value in the downward direction and the threshold value, the comparison process between the signal value in the upward direction and the threshold value, or both comparison processes.
  • a downward signal value is used, but the same processing can be performed for an upward signal value.
  • the tap operation may be detected when a threshold value is exceeded in both of them, or the tap operation may be detected when at least one of the threshold values is exceeded.
  • the waveform shown in FIG. 7A shows the change in signal value of the acceleration sensor 10 in the predetermined axis direction.
  • the impact caused by the tap operation is detected most strongly on the axis in the direction in which the impact is applied.
  • the axis in the impact direction may be used as the axis for detecting the tap operation.
  • the acceleration sensor 10 detects at least triaxial acceleration, and the three axes are set in a direction as shown in FIG.
  • the impact since the impact is applied in the negative direction of the Z-axis, a change in the signal value of the Z-axis may be used.
  • the signal waveform on the Z-axis is shown in FIG. It is thought that it will become.
  • the impact is not necessarily applied only in the negative direction of the Z-axis, and an acceleration detection value representing the impact may be acquired for the X-axis and the Y-axis. Therefore, the tap operation may be detected using not only the Z axis but also other axes.
  • determination processing using the X axis, determination processing using the Y axis, and determination processing using the Z axis may be performed independently, and final detection determination may be performed based on the results.
  • the determination processing may be performed by combining the values of the Y-axis and the Z-axis (for example, by generating a combined vector representing acceleration and using the magnitude of the combined vector).
  • the relationship between the direction of each axis of the acceleration sensor 10 and the electronic device is not necessarily the one shown in FIG. 3, but depends on the direction in which the acceleration sensor 10 is attached in the electronic device.
  • none of the axes of the acceleration sensor 10 coincides with an axis that is assumed to be the direction of impact (in a narrow sense, an axis that penetrates the dial portion from top to bottom).
  • There are various types of processing in this case For example, using the values of the X-axis, Y-axis, and Z-axis, the acceleration value in the axis that is assumed to be the direction of the impact is calculated, and the determination processing is performed using the result of the calculation Can be done.
  • the three acceleration vectors represented by the respective values of the X axis, the Y axis, and the Z axis are combined to obtain one combined vector, and the magnitude of the projection vector obtained by projecting the combined vector in the direction of the impact.
  • the determination process may be performed using the size of the combined vector as it is regardless of the direction of impact.
  • the determination process may be performed independently for each axis, and the final determination process may be performed based on the result.
  • the “predetermined axis direction of the acceleration sensor” may be an axis direction specified by any of the various methods described above. For convenience, in the following description, it is assumed that the direction of the Z axis shown in FIG. 3 is the “predetermined axis direction of the acceleration sensor”, but is not limited thereto.
  • FIGS. 9 (A) to Fig. 9 (C) show changes in acceleration detection values of tap operations at different sampling frequencies. Specific sampling frequencies are 200 Hz in FIG. 9A, 400 Hz in FIG. 9B, and 1620 Hz in FIG. 9C.
  • the acceleration detection value changes in the same way up and down. Therefore, in order to accurately detect the tap operation, the wrist rotation operation, the wrist It is necessary to appropriately distinguish the shaking operation from the tap operation.
  • FIGS. 12A to 12C show acceleration changes in a relatively short period of each of the tap operation, wrist rotation operation, and wrist swing operation.
  • the sampling frequency in FIGS. 12A to 12C is 400 Hz.
  • FIG. 12A shows the waveform of the acceleration detection value by the tap operation, and it can be seen that the vertical movement of the acceleration is about ⁇ 6 G to +5.7 G in the tap operation.
  • the acceleration value in the state where there is no tap operation is described as 0G.
  • the change in acceleration in one direction is about 10 to 13 ms, and one cycle of vertical movement is about 20 to 26 ms. It becomes.
  • the width of the vertical movement is relatively small in the wrist rotation operation, which is about -2.4 G to +1.9 G.
  • the threshold value and the acceleration detection value are set. Based on the comparison processing, it can be said that the tap operation and the wrist rotation operation can be distinguished.
  • the half period is about 10 to 13 ms in the tap operation
  • a value corresponding to the amplitude of the waveform can be obtained by using the signal value within 10 to 13 ms.
  • the change in the signal value during that period is very small, and the value corresponding to the amplitude is It cannot be acquired.
  • the tap operation and the operation of shaking the wrist are performed. It can be said that it can be properly distinguished.
  • the waveform in a given period set based on the period of the waveform of the tap operation is processed. set to target.
  • the sampling frequency is set too low, there is a possibility that no signal value can be acquired within the period, and comparison processing with a threshold value cannot be performed in the first place.
  • a sampling frequency of 100 Hz or less which is a frequency corresponding to 10 ms
  • a target period of 10 ms is targeted, there is a possibility that no signal value may be acquired within the target period, which is inappropriate.
  • the range of the acceleration detection value in the tap operation of about ⁇ 6G to + 5.7G described above with reference to FIG. 12A corresponds to the minimum value and the maximum value (or values close thereto) of the vertical movement of the waveform. Is. Therefore, when the sampling frequency is low and acceleration at the timing corresponding to the minimum value or the maximum value is not acquired as the acceleration detection value, the acceleration detection detected by the acceleration sensor 10 is compared with the acceleration inherent in the impact caused by the tap operation. The value will be small. For example, when the acceleration waveform inherent in the tap operation is as shown in FIG. 13, only one value can be acquired within 10 ms at the above-described sampling frequency of about 100 Hz.
  • a desired process can be performed if the timing indicated by t1 is the sampling timing, but if the timing such as t2 or t3 is the sampling timing, the acceleration detection value becomes small.
  • the tap operation cannot be detected.
  • FIGS. 14A to 16B show a waveform of an acceleration detection value by a tap operation when the sampling frequency is 200 Hz
  • FIG. 14B is an enlarged view of a part of FIG.
  • FIGS. 15A and 15B are signal waveforms obtained by a tap operation at a sampling frequency of 400 Hz
  • FIGS. 16A and 16B are 1620 Hz.
  • 20 ms corresponding to one cycle is targeted, but the concept is the same even when 1 ⁇ 2 cycle is targeted.
  • the sampling frequency As shown in FIG. 14B, by using 200 Hz, which is expected to be sampled at about two points per mountain, as the sampling frequency, it is possible to detect a certain level of vertical movement of the signal value during the target period. It becomes. Specifically, the tap operation can be detected with an accuracy of about 70% by setting the sampling frequency to 200 Hz.
  • the tap operation can be detected with an accuracy of about 80% by setting the sampling frequency to 400 Hz.
  • FIG. 16B by setting the sampling frequency to 1620 Hz, a more detailed signal waveform can be acquired compared to the case of 400 Hz.
  • FIG. 16 (B) at the sampling frequency of 1620 Hz, it is possible to almost certainly obtain the peak value of the peak, and the value is shown in FIG. 12 (A) and FIG. 15 (B).
  • Its absolute value is larger than the minimum and maximum values at 400 Hz. That is, the tap operation can be detected more reliably than in the case of 400 Hz, and specifically, the tap operation can be detected with an accuracy of about 100%.
  • a tap operation can be detected by setting an appropriate processing target period (tap determination period in FIG. 7A) and a threshold, and the detection accuracy is determined by the sampling frequency. The higher it is, the higher it is. However, increasing the sampling frequency increases the power consumption of the acceleration sensor 10. For example, the current amount when the sampling frequency is 200 Hz is about 18 ⁇ A, but is 36 ⁇ A at 400 Hz and 100 ⁇ A at 1620 Hz.
  • the setting unit 110 sets the sampling frequency, and operates the acceleration sensor 10 using the set sampling frequency. Specifically, the sampling frequency is increased in a scene where there is a high possibility that a tap operation will be performed, or where a detection of a tap operation with high accuracy is required. This is based on the idea that the tap operation is one of user interfaces, and the possibility of the tap operation and the required accuracy can be estimated from the use case of the electronic device. Hereinafter, more specific examples will be described.
  • the operation information acquisition unit 130 may acquire operation information or the communication unit 150 may receive information. .
  • the case where the operation information is acquired is specifically a case where the operation unit 140 is operated by the user.
  • the operation of the operation unit 140 includes pressing a button or key, touching the touch panel, or the like. These operations are generally less likely to be erroneous operations than tap operations. This is because the buttons and keys are assumed to be physically pressed and are provided in some areas of the electronic device. Since the default operation is performed, it is difficult to think about an erroneous operation. Regarding the touch panel, the possibility of touching a position different from the intended position cannot be denied, but at least an operation based on the user's visual recognition is expected. On the other hand, in the tap operation, which part of the electronic device is hit is not particularly limited.
  • the operation is performed in a situation where the electronic device of the wristwatch type is not visible, such as under the sleeve of clothes, or the operation is performed without looking at the electronic device. Can happen.
  • unlike buttons and the like there is a possibility that there are individual differences in operation methods (tap position, direction, strength, etc.), and even the same user may have a difference in operation.
  • a wristwatch-type electronic device is likely to have a plurality of operation modes including an information display mode for displaying information such as a clock and an information input mode for inputting some information.
  • information input in the information input mode is stored or used for some processing in the electronic device itself or another system. Therefore, it is not preferable that the operation mode transitions to the information input mode and inappropriate information is input even though the user does not intend to input information.
  • switching of the operation mode from the information display mode to the information input mode is performed by operating the operation unit 140 with a low possibility of an erroneous operation, and a tap operation is used for information input after shifting to the information input mode.
  • the tap operation is highly likely to be performed after the operation of the operation unit 140, and therefore, the sampling frequency may be set high.
  • the display screen shown by D1 in FIG. 17 corresponds to the information display mode, and here, information such as date, time, remaining battery level, and network environment is displayed.
  • the processing unit 120 switches the operation mode to the information input mode, and accordingly the display control unit 170 is switched.
  • the information input screen here is, for example, the screen shown in D2a. In this example, information regarding the amount of meal is input as information regarding calorie intake.
  • the tap operation is accepted in this phase in the example of FIG. 17 every time one tap operation is accepted.
  • the meal amount in the selected state is transitioned, and the display screen is transitioned accordingly. For example, if the amount of meal is two, “small” and “large”, the screens of D2a and D2b may be displayed alternately each time a tap operation is performed, and if there are three or more meals For example, they may be displayed sequentially.
  • the determination operation is not preferable for the determination operation (decision operation) of the meal amount, and the determination operation is performed by key input. That is, when acquisition of operation information is detected in the information input mode, a mode switching process to the information display mode is performed as indicated by D3 (same as D1).
  • the electronic device may be operated in conjunction with other devices such as a smartphone.
  • interlocking such as operating an electronic device using an operation unit of a smartphone or transferring some simple information among detailed information held by the smartphone to the electronic device and displaying it on the display unit 180 of the electronic device.
  • the smartphone receives information such as an e-mail
  • the user can operate the electronic device to convert the e-mail simple information (information such as sender name, title, received date, etc.) or e-mail text to the electronic device. May be displayed.
  • the smartphone detects an incoming call the ringing tone may be stopped by operating the electronic device.
  • some information from the smartphone such as information indicating reception of an e-mail or an incoming call is received by the communication unit 150 of the electronic device.
  • the reception of information at the communication unit 150 indicates that there is a high possibility that a tap operation will be performed thereafter, as in the case of the operation information acquisition at the operation information acquisition unit 130.
  • the sampling frequency may be set high.
  • a quicker operation is required, so there is a high possibility of a tap operation that can be easily performed compared to a key operation or the like, and there is an advantage of increasing the sampling frequency. It can be said that it is big.
  • the sampling frequency may be increased by acquiring operation information or receiving information by the communication unit 150 within a predetermined period. In this way, it is possible to suppress an increase in power consumption due to a high sampling frequency for a long time. Further, when the acquisition of operation information or the reception of information is newly detected during the predetermined period, the predetermined period may be set again with the detection timing as a starting point. In this way, it is possible to prevent the sampling frequency from returning to a low state despite the high possibility that a tap operation will be performed.
  • the sampling frequency may be set based on the wearing state of the electronic device by the user.
  • the mounting determination unit 160 can determine whether the electronic device is in a mounted state or a non-mounted state by using the detection value of the photodiode 22 or the acceleration detection value of the acceleration sensor 10.
  • the operation with respect to the electronic device is likely to be performed in a mounted state, and if it is not mounted, the possibility of operation is low.
  • the tap operation is preferably performed in a situation where the impact is sufficiently transmitted as if the electronic device is fixed to the arm or the like, because the impact due to the tap is detected using the acceleration sensor 10, and is held by the hand. It is difficult to assume a tap operation on the electronic devices or electronic devices placed on the desk.
  • the sampling frequency may be set lower than that when the electronic device is attached.
  • the sampling frequency in the non-wearing state does not prevent the tap operation from being detected with a certain degree of accuracy, such as 200 Hz.
  • the frequency may be set to 200 Hz, which is 400 Hz or 1620 Hz in the mounted state.
  • the sampling frequency in the non-wearing state may be a frequency at which sufficient detection accuracy cannot be obtained, for example, lower than 200 Hz, and this makes it possible to further reduce power consumption. Become.
  • the setting timing of the sampling frequency is not limited to that described above.
  • the sampling frequency may be increased for a predetermined period (in the narrow sense, it is set to a maximum frequency such as 1620 Hz).
  • the double-tap operation is performed twice in a short period of time, similar to the double-click on the mouse.
  • the double-tap operation is interpreted as one user input and is different from the single-tap operation. It is something to handle. If a double tap operation is allowed, there is a possibility that the tap operation will be performed again immediately after a single tap operation. Therefore, a higher sampling frequency may be set to detect the second tap operation. .
  • the acceleration detection value in the second tap operation of the double tap operation is smaller than the acceleration detection value of the first tap operation or the single tap operation. Therefore, since the possibility of erroneous determination is increased in the tap operation detection process that is a comparison process with the threshold value, it is desirable to increase the sampling frequency in order to ensure sufficient detection accuracy.
  • the user's behavior analysis may be performed, and the sampling frequency may be set based on the result of the behavior analysis. Specifically, when it is determined that the user is in an exercise state, the sampling frequency is set higher than in the case where it is determined that the user is in a non-exercise state.
  • the acceleration due to the motion is included in the acceleration detection value of the acceleration sensor 10, the ratio of the signal value of the impact due to the tap operation in the acceleration detection value is reduced, and the detection accuracy of the tap operation is also reduced. . Therefore, it is desirable to increase the detection accuracy by setting the sampling frequency high in the exercise state.
  • the acceleration detection value of the acceleration sensor 10 may be used, and the exercise state may be determined when the acceleration detection value is larger than normal.
  • the acceleration detection value since the movement has periodicity in walking, running, etc., the acceleration detection value also has a given periodicity. That is, it may be determined whether or not the exercise state is based on the presence or absence of periodicity of the acceleration detection value.
  • Various methods are known for analyzing the user's behavior, and any method can be applied in the present embodiment, and thus further detailed description is omitted.
  • the setting unit 110 sets the sampling frequency.
  • the setting unit 110 may change the sampling frequency and perform setting to change the tap operation detection threshold in conjunction with the sampling frequency.
  • the setting unit 110 performs setting so that the threshold value increases as the sampling frequency increases. For example, when the sampling frequency is changed from F1 to F2 (> F1), the threshold is also set from Th1 to Th2 (> Th1).
  • the acceleration detection value by the tap operation is larger than the upper limit of the acceleration detection value assumed as the wrist rotation operation or noise based on the idea that the acceleration detection value by the wrist rotation operation or noise is larger.
  • the value is set as a threshold.
  • the negative acceleration detection value a value smaller than the lower limit of the acceleration detection value assumed as wrist rotation or noise is set as a threshold value. It is possible to think in the same way.
  • the threshold is set with a certain margin with respect to a value assumed as an acceleration detection value by an operation other than the tap operation.
  • a threshold value of 2.5G is set, an acceleration detection value having a larger absolute value may appear depending on the rotation operation. In that case, the rotation operation is performed. Will be erroneously detected as a tap operation. That is, it can be said that the larger the absolute value of the threshold is, the better, from the viewpoint of suppressing the possibility of erroneously detecting an operation other than the tap operation as a tap operation. For example, if the threshold value is about 4.0 G, the possibility of erroneous detection that the rotation operation is a tap operation can be sufficiently reduced.
  • the lower the sampling frequency the higher the possibility that the peak value in the waveform cannot be detected, resulting in a smaller acceleration detection value.
  • the possibility of becoming will increase. For this reason, if the absolute value of the threshold value is too large, the acceleration detection value cannot exceed the set threshold value in spite of the tap operation, that is, the tap operation is erroneous but not the tap operation. There is a risk of detection.
  • the threshold value is dynamically changed according to the sampling frequency instead of setting the same threshold value at all sampling frequencies. It can be said that it is preferable to do.
  • the acceleration detection value by the tap operation is considered to be sufficiently large, and the threshold value is also set to a high value. In this way, it is possible to suppress the possibility of erroneously detecting an operation other than a tap operation such as a rotation operation or noise as a tap operation.
  • the values shown in Th3 + and Th3- in FIG. 16B may be set as threshold values.
  • the threshold value is small compared to the case where the sampling frequency is high in order to suppress the possibility of false detection that the tap operation is not a tap operation.
  • the threshold value is small compared to the case where the sampling frequency is high in order to suppress the possibility of false detection that the tap operation is not a tap operation.
  • the threshold value is small compared to the case where the sampling frequency is high in order to suppress the possibility of false detection that the tap operation is not a tap operation.
  • the threshold value satisfies Th1 + ⁇ Th2 + ⁇ Th3 + as shown in FIG. 15B.
  • may be used.
  • the electronic device is based on the setting unit 110 that sets the sampling frequency for acceleration detection of the acceleration sensor 10 and the sensor information from the acceleration sensor, as shown in FIG. , A processing unit 120 that determines a tap operation, an operation information acquisition unit 130 that acquires operation information from the operation unit 140, and a communication unit 150 that performs information communication processing. And when the setting part 110 detects reception of the information by the communication part 150, or when acquisition of the operation information by the operation information acquisition part 130 is detected, a sampling frequency is high compared with the sampling frequency F1 before a detection. Set to F2, which is the frequency.
  • the sampling frequency can be set low, so that power consumption can be reduced. That is, according to the method of the present embodiment, it can be said that the sampling frequency can be set in consideration of the balance between the detection accuracy and the power consumption according to the possibility of the tap operation.
  • the electronic device may include a biological information detection sensor 20 that detects biological information as shown in FIG. Then, the processing unit 120 performs a correction process on the biological information from the biological information detection sensor 20 based on the body motion information that is sensor information from the acceleration sensor 10, and based on the sensor information from the acceleration sensor 10, Determine the tap operation.
  • the acceleration sensor 10 makes it possible to use the acceleration sensor 10 in common for both body motion noise reduction processing and tap operation detection processing.
  • sensor information of the biological information detection sensor 20 pulse wave sensor in a narrow sense
  • sensor information of a body motion sensor includes body movement noise caused by a user's exercise or the like. Therefore, in an electronic device that detects biological information such as a pulse meter, it is common to perform noise reduction processing based on sensor information of a body motion sensor as described above with reference to FIGS.
  • the tap operation is a useful interface in an electronic device such as a wristwatch type device. That is, even in an arm-mounted pulse meter or the like, the tap operation is useful, but the tap operation can be detected using the acceleration sensor 10 as shown in the signal waveform of FIG. From the above, by applying the method of the present embodiment to an electronic device such as a pulse meter, it is possible to realize appropriate detection of a tap operation and removal of body motion noise from biological information by the common acceleration sensor 10. , Space saving and cost reduction can be realized.
  • the processing unit 120 may perform a mode switching process of the operation mode of the electronic device. Then, the setting unit 110 changes the sampling frequency from F1 when the processing unit 120 performs mode switching processing for switching the operation mode of the electronic device from the first mode to the second mode based on the operation information. Set to change to F2.
  • the first mode is an information display mode for displaying information
  • the second mode is an information input mode for receiving input of information from the outside.
  • the setting unit 110 changes the sampling frequency from F1 to F2 when the processing unit 120 performs mode switching processing for switching the operation mode of the electronic device from the information display mode to the information input mode based on the operation information. Make settings to change.
  • the operation of the operation unit 140 when the operation of the operation unit 140 such as a key operation is compared with the tap operation, the operation of the operation unit 140 has an advantage that the possibility of an erroneous operation is lower than that of the tap operation. Compared to the operation of the unit 140, there is an advantage that it can be easily operated.
  • “easy to operate” means that the time from when the user intends to operate to the completion of the operation is short, or even when the user does not visually recognize the electronic device to be operated. In other words, since each operation has different characteristics, it can be said that the situation in which each operation is used in the use case can be limited to some extent. In the example of FIG.
  • the operation of the operation unit 140 with a low possibility of erroneous operation is suitable as a trigger for the mode switching process from the information display mode to the information input mode, and the input in the information input mode.
  • a tap operation that can be easily operated is suitable as an interface. That is, since the possibility that the tap operation is performed in association with the operation mode can be determined, it can be useful to associate the operation mode with the sampling frequency.
  • the electronic apparatus may include a display control unit 170 that performs display control of information on the display unit 180.
  • the processing unit 120 determines the tap operation based on the sensor information from the acceleration sensor 10 whose sampling frequency is F2, and the display control unit 170 displays the processing unit 120.
  • display control is performed to change the display image displayed on the display unit 180.
  • the screen transition is such that a display image arranged in order is selected and displayed one by one from the top, and a plurality of operations are required until a desired screen is displayed. It is likely to be required. That is, in the information input mode, it is preferable to realize an interface that assumes a plurality of operations by the user, and from this point of view, it can be said that the possibility of a tap operation that can be easily operated is sufficiently high.
  • the processing unit 120 sets the operation mode to A mode switching process for switching from the information input mode to the information display mode is performed, and the setting unit 110 performs setting to change the sampling frequency from F2 to F1.
  • the number of buttons of the electronic device assumed in the present embodiment is limited. If the mode switching process is mistakenly performed, unnecessary information input may be performed, or information input that has been performed halfway may be canceled and input data may be lost. Preferably, it is performed based on the operation. However, the limit on the number of buttons is very strong, and there may be a case where only one operation input by the operation unit 140 is possible (for example, there is only one button or key).
  • the mode switching from the information display mode to the information input mode, or the mode switching to return to the information display mode after confirming and storing the input information can be performed by operating the operation unit 140. it can.
  • the mode switching process for returning to the information display mode without confirming the information input cannot be realized. In such a case, it is inappropriate to force the user to input unnecessary information once and then delete the information later.
  • the operation is not detected for a certain period of time. It is good also as a thing leaving the information input mode by using as a trigger. In this way, it is possible to realize an interface that is easy for the user to use.
  • the trigger for mode switching processing from the information input mode to the information display mode can be variously modified.
  • a mode switching process to the information display mode may be performed.
  • the electronic device performs the tap operation based on the setting unit 110 that sets the sampling frequency for acceleration detection of the acceleration sensor 10 and the sensor information from the acceleration sensor 10.
  • a processing unit 120 that performs the determination and a mounting determination unit 160 that determines the mounting state of the electronic device are included. Then, when the mounting determination unit 160 determines that the electronic device is not mounted, the setting unit 110 sets the sampling frequency to F1, which is a lower frequency than the sampling frequency F2 before determination.
  • the non-wearing state corresponds to a state in which the belt is removed, for example, in the case of a wristwatch type electronic device. Therefore, the state in which the belt is removed with the user's hand held is also a non-wearing state, and the state in which the belt is completely separated from the user's hand and left on the desk is also a non-wearing state. . In any case, since it is difficult to detect the impact caused by the user's tap operation by the acceleration sensor 10 in the non-wearing state, it may be determined that the possibility of the tap operation is low. The point that the sampling frequency may be lowered when the possibility of the tap operation is low is the same as the method using the operation information and the reception status at the communication unit 150 described above.
  • the electronic device has a setting unit 110 that sets a sampling frequency for acceleration detection of the acceleration sensor 10 and a threshold value for determination of a tap operation, and a sensor from the acceleration sensor 10.
  • a processing unit 120 that performs a tap operation determination based on the information is included.
  • the setting unit 110 sets the sampling frequency to F1 and sets the threshold to Th1 in the first setting mode of the acceleration sensor 10, and sets the sampling frequency to F1 in the second setting mode of the acceleration sensor 10. Is set to F2, which is a higher frequency, and the threshold is set to Th2, which is a value larger than Th1.
  • the threshold value for determining the tap operation is a value used for the comparison process with the peak value of the acceleration detection value, as shown in FIG. 7A, Th1 + in FIG. 14B, and the like.
  • the tap operation detection process may use a downward change in the waveform, an upward change, or both.
  • the reference value of the waveform (the center of the vertical axis in FIG. 7 etc.) is 0G
  • the acceleration detection value in the upward direction is a positive value
  • the acceleration detection value in the downward direction is a negative value.
  • the magnitude of the threshold value here can be considered as the magnitude of the fluctuation range with respect to the reference value. That is, the threshold value having a larger difference from the reference value may be considered to be larger, and as described above, if the waveform reference value is 0 G, the threshold value of this embodiment can be considered using the absolute value of the acceleration detection value. That's fine.
  • the threshold can be set large. The possibility of erroneously detecting an operation other than the tap operation as a tap operation can be suppressed. Conversely, as shown in FIG. 14B, when the waveform of the acceleration detection value is rough with respect to the acceleration waveform due to the impact of the tap operation, the tap operation is performed because the threshold can be set low. This suppresses the possibility of false detections that are not tapping operations.
  • the setting unit 110 may set the setting mode of the acceleration sensor 10 to the second setting mode when it is determined that the user wearing the electronic device is in an exercise state.
  • the sampling frequency and threshold high when it is determined that the user is in an exercise state.
  • the sensor information from the acceleration sensor 10 includes noise due to the exercise.
  • the threshold can be set high as shown in FIG. 16B, the noise is caused by the noise and the tap operation. It is possible to accurately determine the acceleration detection value.
  • the setting unit 110 may set the first setting mode in the information display mode for displaying information, and may set the second setting mode in the information input mode for accepting input of information from the outside.
  • the sampling frequency and threshold value suitable for each mode.
  • the information input mode is more likely to be tapped than the information display mode. Therefore, in the information input mode, the tap operation can be detected with high accuracy by using the second setting mode.
  • the power consumption can be reduced by setting the first setting mode with a low sampling frequency.
  • the electronic apparatus may include a display control unit 170 that performs display control of information on the display unit 180. Then, when the acceleration sensor 10 is set to the second setting mode corresponding to the information input mode by the setting unit 110, the processing unit 120 determines that the sampling frequency is set to F2 and the threshold is set to Th2. Based on the sensor information from the sensor 10, the tap operation is determined, and the display control unit 170 transitions the display image displayed on the display unit 180 when the processing unit 120 detects the tap operation. I do.
  • the screen transition is such that a display image arranged in order is selected and displayed one by one from the top, and a plurality of operations are required until a desired screen is displayed. It is likely to be required. That is, in the information input mode, it is preferable to realize an interface that assumes a plurality of operations by the user, and from this point of view, it can be said that the possibility of a tap operation that can be easily operated is sufficiently high.
  • the processing unit 120 has a signal value in the positive direction in the predetermined axis direction of the acceleration sensor 10 (upward in a narrow sense if the Z axis shown in FIG. 3 is considered) and a threshold value Th + that is a threshold value in the positive direction. And the signal value in the negative direction in the predetermined axis direction of the acceleration sensor (in the narrow sense if considering the Z axis shown in FIG. 3) and the threshold value Th ⁇
  • the tap operation may be determined based on at least one of the comparison processes.
  • the tap operation based on the comparison process between the vertical movement of the acceleration detection value and the threshold value.
  • the description is divided into Th + and Th ⁇ , it is not always necessary to set two types of threshold values.
  • the threshold value may be information corresponding to an absolute value as described above, one threshold value Th that is a positive value is set, and the signal value in the positive direction is compared with Th.
  • a comparison process with -Th (or a comparison process between the absolute value of the negative signal value and Th) may be performed.
  • -Th or a comparison process between the absolute value of the negative signal value and Th
  • the negative direction value corresponding to the impact direction of the tap operation is greater in the impact direction.
  • the value is slightly larger than the value in the positive direction corresponding to the opposite direction. Considering this difference, different threshold values may be set in the positive direction and the negative direction.
  • the electronic device may include a mounting determination unit 160 that determines the mounting state of the electronic device. Then, when the mounting determination unit 160 determines that the electronic device is not mounted, the setting unit 110 sets the acceleration sensor 10 to a third sampling frequency F0 that is a frequency lower than F1. Set to setting mode.
  • the non-wearing state corresponds to a state in which the belt is removed, for example, in the case of a wristwatch type electronic device. Therefore, the state in which the belt is removed with the user's hand held is also a non-wearing state, and the state in which the belt is completely separated from the user's hand and left on the desk is also a non-wearing state. . In any case, since it is difficult to detect the impact caused by the user's tap operation by the acceleration sensor 10 in the non-wearing state, it may be determined that the possibility of the tap operation is low, and the sampling frequency is also set low.
  • the reason why the acceleration sensor 10 is set to the third setting mode in the non-wearing state is assumed to be the first setting mode in the information display mode and the second setting mode in the information input mode, for example. Is.
  • the information display mode although the possibility of a tap operation is lower than that in the information input mode, it cannot be completely said that there is no tap operation, and it is desirable that the tap operation can be detected even with relatively low accuracy.
  • the first setting mode it is preferable to secure a detection accuracy of about 70% with a sampling frequency of about 200 Hz.
  • the non-wearing state as described above, even if the tap operation cannot be detected at all, the problem is not so great that the sampling frequency as high as the information display mode is not required.
  • the third setting mode different from the first setting mode is set in the non-wearing state.
  • the threshold for detecting the tap operation need not be set.

Abstract

 タップ操作の適切な検出処理を行う電子機器及びタップ操作検出方法等を提供すること。 電子機器は、加速度センサー10の加速度検出のサンプリング周波数を設定する設定部110と、加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行う処理部120と、操作部140からの操作情報を取得する操作情報取得部130と、情報の通信処理を行う通信部150を含み、設定部110は、通信部150による情報の受信を検出した場合、又は操作情報取得部130による操作情報の取得が検出された場合に、サンプリング周波数を、検出前のサンプリング周波数F1に比べて高い周波数であるF2に設定する。

Description

電子機器及びタップ操作検出方法
 本発明は、電子機器及びタップ操作検出方法等に関する。
 ユーザーが電子機器に対して入力を行うためのインターフェースは種々の形態が考えられ、例えばキーやボタン等を有する操作部であってもよいし、表示部を兼ねたタッチパネルであってもよい。その他の入力インターフェースとして、タップ動作(タップ操作)を用いる手法も広く知られている。ここでタップ動作とは、ユーザーが自身の手等を用いて電子機器を叩く等の動作であり、広義には電子機器に対して衝撃を与える動作である。またタップ操作とは当該タップ動作による操作入力を表す。
 タップ動作はボタン等入力デバイスが制限されるような電子機器においては有用なユーザーインターフェースである。例えば、腕時計型の電子機器では小型化、軽量化が求められたり、ユーザーにとってわかりやすいインターフェースを実現するためにシンプルな構成が求められたりするため、ボタン等の制限が大きいためである。
 しかし、タップ動作を検出するには非常に短い加速度の変化を捉える必要があり、例えば200Hz程度の分解能で加速度信号のサンプリングを行わないと、誤検出の可能性が高まる。ただし分解能を細かくするとそれだけ消費電力が増える。すなわち、精度と消費電力は反比例の関係にあり、ユーザビリティと機器電池寿命の良いバランスを見つけることは非常に難しい。
 例えば特許文献1には、活動量を演算し、演算した活動量に基づいて加速度センサーの検出周期を変更する手法が開示されている。特許文献1では、当該手法により活動量計の消費電力を低減するとの効果が記載されている。
特開2006-288970号公報
 特許文献1の手法は、活動量計の消費電力低減を目的としたものであり、加速度センサーを用いたタップ操作の検出については考慮してない。上述したように、タップ操作ではサンプリング周波数を下げると検出精度が低下する。つまりタップ操作におけるサンプリング周波数は、消費電力という観点だけでなく、当該タップ操作の検出状況が高精度を求められているのか、低精度でも十分であるのかといった検出精度の観点も用いて設定されるべきところ、特許文献1ではその点に関する開示はない。特に、タップ操作の検出に用いられる加速度の閾値をサンプリング周波数に連動させて設定することによる効果が期待できるところ、そのような手法は特許文献1には示されていない。
 本発明の幾つかの態様によれば、タップ操作の適切な検出処理を行う電子機器及びタップ操作検出方法等を提供することができる。 また、本発明の幾つかの態様によれば、操作情報や通信部の受信状況等に応じて、タップ操作の検出精度及び当該タップ操作の検出処理による消費電力を適切に設定する電子機器及びタップ操作検出方法等を提供することができる。
 また、本発明の幾つかの態様によれば、サンプリング周波数と閾値を連動させて設定することで、タップ操作の適切な検出処理を行う電子機器及びタップ操作検出方法等を提供することができる。
 本発明の一態様は、加速度センサーの加速度検出のサンプリング周波数を設定する設定部と、前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行う処理部と、操作部からの操作情報を取得する操作情報取得部と、情報の通信処理を行う通信部と、を含み、前記設定部は、前記通信部による前記情報の受信を検出した場合、又は前記操作情報取得部による前記操作情報の取得を検出した場合に、前記サンプリング周波数を、検出前の前記サンプリング周波数F1に比べて高い周波数であるF2に設定する電子機器に関係する。
 本発明の一態様では、通信部による情報の受信又は操作情報の取得を検出した場合に、タップ操作の検出に用いる加速度センサーのサンプリング周波数を高く設定する。これにより、タップ操作がその後に行われる可能性が高い状況において、サンプリング周波数を高く設定できるため、適切な場面で高精度でのタップ操作の検出等が可能になる。また、タップ操作の可能性が低い場合にサンプリング周波数を下げることにもつながるため、効率的な消費電力の低減等も可能になる。
 また、本発明の一態様では、生体情報を検出する生体情報検出センサーを含み、前記処理部は、前記加速度センサーからの前記センサー情報である体動情報に基づいて、前記生体情報検出センサーからの生体情報に対する補正処理を行うとともに、前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行ってもよい。
 これにより、共通の加速度センサーを用いて、タップ操作の検出処理及び生体情報のノイズ低減処理を行うこと等が可能になる。
 また、本発明の一態様では、前記処理部は、前記電子機器の動作モードのモード切替処理を行い、前記設定部は、前記処理部において、前記操作情報に基づいて、前記電子機器の前記動作モードを第1のモードから第2のモードに切り替える前記モード切替処理が行われた場合に、前記サンプリング周波数をF1からF2に変更する設定を行ってもよい。
 これにより、電子機器の動作モードに基づいて、サンプリング周波数の設定を行うこと等が可能になる。
 また、本発明の一態様では、前記第1のモードは、情報の表示を行う情報表示モードであり、前記第2のモードは、外部からの情報の入力を受け付ける情報入力モードであり、前記設定部は、前記処理部において、前記操作情報に基づいて、前記電子機器の前記動作モードが前記情報表示モードから前記情報入力モードに切り替える前記モード切替処理が行われた場合に、前記サンプリング周波数をF1からF2に変更する設定を行ってもよい。
 これにより、情報入力モードにおいては、情報表示モードに比べてサンプリング周波数を高く設定すること等が可能になる。
 また、本発明の一態様では、表示部における情報の表示制御を行う表示制御部を含み、前記動作モードが前記情報入力モードの場合に、前記処理部は、前記サンプリング周波数がF2である前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行い、前記表示制御部は、前記処理部で前記タップ操作が検出された場合に、前記表示部に表示される表示画像を遷移させる前記表示制御を行ってもよい。
 これにより、情報入力モードでタップ操作が検出された場合には、当該タップ操作に基づいて表示画像の遷移を行うこと等が可能になる。
 また、本発明の一態様では、前記動作モードが前記情報入力モードであって、所与の期間、前記操作情報の取得が検出されず、且つ前記処理部において前記タップ操作が非検出である場合に、前記処理部は、前記動作モードを、前記情報入力モードから前記情報表示モードに切り替える前記モード切替処理を行い、前記設定部は、前記サンプリング周波数をF2からF1に変更する設定を行ってもよい。
 これにより、所与の条件の下、一定期間経過後に自動的に情報入力モードから情報表示モードへのモード切替処理を行うとともに、モード切替処理に応じたサンプリング周波数の設定を行うこと等が可能になる。
 本発明の他の態様は、加速度センサーの加速度検出のサンプリング周波数を設定する設定部と、前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行う処理部と、電子機器の装着状態を判定する装着判定部と、を含み、前記設定部は、前記装着判定部により前記電子機器が非装着状態であると判定された場合に、前記サンプリング周波数を、判定前の前記サンプリング周波数F2に比べて低い周波数であるF1に設定する電子機器に関係する。
 本発明の他の態様では、電子機器が非装着状態である場合に、タップ操作の検出に用いる加速度センサーのサンプリング周波数を低く設定する。これにより、タップ操作がその後に行われる可能性が低い状況において、サンプリング周波数を低く設定できるため、効率的な消費電力の低減等が可能になる。
 本発明の他の態様は、加速度センサーの加速度検出のサンプリング周波数及びタップ操作の判定の閾値を設定する設定部と、前記加速度センサーからのセンサー情報に基づいて、前記タップ操作の判定を行う処理部と、を含み、前記設定部は、前記加速度センサーの第1の設定モードでは、前記サンプリング周波数をF1に設定するとともに、前記閾値をTh1に設定し、前記加速度センサーの第2の設定モードでは、前記サンプリング周波数をF1よりも高い周波数であるF2に設定するとともに、前記閾値をTh1よりも大きな値であるTh2に設定する電子機器に関係する。
 本発明の一態様では、タップ操作の検出に用いる加速度センサーの設定を行う際に、サンプリング周波数を高くした場合には、閾値も大きな値とする。これにより、サンプリング周波数の差異に伴う加速度検出値の波形の差異に対応して、適切な閾値を設定できるため、タップ操作の検出精度を考慮した加速度センサーの設定を行うこと等が可能になる。
 また、本発明の一態様では、生体情報を検出する生体情報検出センサーを含み、前記処理部は、前記加速度センサーからの前記センサー情報である体動情報に基づいて、前記生体情報検出センサーからの生体情報に対する補正処理を行うとともに、前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行ってもよい。
 これにより、共通の加速度センサーを用いて、タップ操作の検出処理及び生体情報のノイズ低減処理を行うこと等が可能になる。
 また、本発明の一態様では、前記設定部は、前記電子機器を装着するユーザーが運動状態にあると判定された場合に、前記加速度センサーの設定モードを前記第2の設定モードに設定してもよい。
 これにより、ユーザーが運動状態である場合に、サンプリング周波数が比較的高く、且つ閾値も比較的大きい第2のモードに設定すること等が可能になる。
 また、本発明の一態様では、前記設定部は、情報の表示を行う情報表示モードでは前記第1の設定モードに設定し、外部からの情報の入力を受け付ける情報入力モードでは前記第2の設定モードに設定してもよい。
 これにより、情報表示モードと情報入力モードのそれぞれについて適切な設定モードを用いること等が可能になる。
 また、本発明の一態様では、表示部における情報の表示制御を行う表示制御部を含み、前記設定部により前記加速度センサーが前記情報入力モードに対応する前記第2の設定モードに設定されている場合に、前記処理部は、前記サンプリング周波数がF2に設定され、前記閾値がTh2に設定された前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行い、前記表示制御部は、前記処理部で前記タップ操作が検出された場合に、前記表示部に表示される表示画像を遷移させる前記表示制御を行ってもよい。
 これにより、情報入力モードでタップ操作が検出された場合には、当該タップ操作に基づいて表示画像の遷移を行うこと等が可能になる。
 また、本発明の一態様では、前記処理部は、前記加速度センサーの所定軸方向での正方向の信号値と、前記正方向での前記閾値であるTh+との比較処理、及び、前記加速度センサーの前記所定軸方向での負方向の前記信号値と、前記負方向での前記閾値であるTh-との比較処理の少なくとも一方の比較処理に基づいて、前記タップ操作の判定を行ってもよい。
 これにより、タップ操作による加速度検出値の波形の上下動と、設定した閾値との比較処理に基づいて、タップ操作を検出すること等が可能になる。
 また、本発明の一態様では、前記電子機器の装着状態を判定する装着判定部を含み、前記設定部は、前記装着判定部により前記電子機器が非装着状態であると判定された場合に、前記加速度センサーを、前記サンプリング周波数の値がF1よりも低い周波数であるF0となる第3の設定モードに設定してもよい。
 これにより、電子機器が非装着状態である場合には、サンプリング周波数が第1の設定モードよりさらに低い周波数である第3の設定モードに設定すること等が可能になる。
 本発明の他の態様は、加速度センサーの加速度検出のサンプリング周波数を設定する設定処理を行い、設定された前記サンプリング周波数による前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行うタップ判定処理を行い、前記設定処理として、通信部による前記情報の受信を検出した場合、又は操作情報の取得を検出した場合に、前記サンプリング周波数を、検出前の前記サンプリング周波数F1に比べて高い周波数であるF2に設定する処理を行うタップ操作検出方法に関係する。
 本発明の他の態様は、加速度センサーの加速度検出のサンプリング周波数を設定する設定処理を行い、設定された前記サンプリング周波数による前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行うタップ判定処理を行い、前記設定処理として、電子機器の装着状態の判定を行い、前記電子機器が非装着状態であると判定された場合に、前記サンプリング周波数を、判定前の前記サンプリング周波数F2に比べて低い周波数であるF1に設定する処理を行うタップ操作検出方法に関係する。
 本発明の他の態様は、加速度センサーの加速度検出のサンプリング周波数及びタップ操作の判定の閾値を設定する設定処理を行い、設定された前記サンプリング周波数及び前記閾値による前記加速度センサーからのセンサー情報に基づいて、前記タップ操作の判定を行うタップ判定処理を行い、前記設定処理として、前記加速度センサーの第1の設定モードでは、前記サンプリング周波数をF1に設定するとともに、前記閾値をTh1に設定し、前記加速度センサーの第2の設定モードでは、前記サンプリング周波数をF1よりも高い周波数であるF2に設定するとともに、前記閾値をTh1よりも大きな値であるTh2に設定する処理を行うタップ操作検出方法に関係する。
タップ操作の説明図。 本実施形態に係る電子機器のシステム構成例。 加速度センサーの軸の設定例。 生体情報検出センサーの構成例。 適応フィルターを用いた体動ノイズ低減処理の例。 図6(A)~図6(C)は脈波検出信号、体動検出信号及びそれらに基づく体動ノイズ低減処理後の信号の波形、周波数スペクトルの例。 図7(A)は加速度検出値の波形例、図7(B)は加速度検出値に基づくタップ操作の検出結果を表す波形例。 図8(A)、図8(B)は加速度検出値の波形がタップ操作に類似する動作の例。 図9(A)~図9(C)は異なるサンプリング周波数におけるタップ操作による加速度検出値の波形例。 図10(A)~図10(C)は異なるサンプリング周波数における手首の回転動作による加速度検出値の波形例。 図11(A)~図11(C)は異なるサンプリング周波数における手首を振る動作による加速度検出値の波形例。 図12(A)~図12(C)は比較的短い期間におけるタップ操作、手首の回転動作、手首を振る動作による加速度検出値の波形例。 サンプリングタイミングによる加速度検出値の差異を説明する図。 図14(A)、図14(B)は低いサンプリング周波数での波形例。 図15(A)、図15(B)は中程度のサンプリング周波数での波形例。 図16(A)、図16(B)は高いサンプリング周波数での波形例。 モード切替処理と画面遷移の具体例。
 以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
 1.本実施形態の手法
 まず本実施形態の手法について説明する。ユーザーが電子機器に対して入力を行うためのインターフェースは種々の形態が考えられる。家電製品等の電子機器においては、物理的に設けられたボタンやキー等が用いられることが一般的である。また近年ではタッチパネルをユーザーインターフェースとして用いることも多く、スマートフォン等の電子機器で多く利用されている。
 しかし、サイズ等が制限されるような電子機器においては、上述したボタンやタッチパネル等を設けることが難しい場合も考えられる。例えば、腕時計型の電子機器では小型化、軽量化が求められることが多く、その場合には充分な数の物理ボタンを設けることができないし、タッチパネルも面積が制限され有用なインターフェースとならない。
 さらに、そのような電子機器では物理ボタンを設けたとしても各ボタンの有する機能をわかりやすくユーザーに提示することが困難である。例えばテレビ等の電子機器であれば、本体やリモコンに設けられる各ボタンには、当該ボタンが電源操作用なのか、再生操作用なのか、音量調整用なのか等が文字や絵柄で示されており、それによりユーザーは多くのボタンを適切に操作可能となる。それに対して、腕時計型電子機器等では、ボタン自体も小さくする必要があり、複数のボタンを設けた場合にそれぞれがどのような機能を有するかを明確にユーザーに示すことが困難である。それに対する解決策として、ボタンの数を少なくすることでユーザーにとってわかりやすいインターフェースを実現することが考えるが、ユーザーが行うことができる操作の種類が少なくなってしまう。
 そこで有用となるのがタップ操作である。タップ操作とは電子機器を叩く操作のことであり、例えば腕時計型の電子機器であれば、図1に示したように当該電子機器を装着している手とは逆の手で電子機器を叩く操作となる。なお、図1では指で叩く動作を示しているが、手のひらを使う等、他の手法により電子機器を叩く操作もタップ操作に含まれる。
 タップ操作では、機器が叩かれたことを加速度センサーのセンサー情報に基づいて検出するため、電子機器にタップ操作検出用の構造を別途設ける必要がなく、上述した腕時計型電子機器等においても用いることが可能である。
 しかしタップ操作を検出するには、非常に短い期間での加速度の変化を検出する必要がある。詳細は後述するが、例えば図14(B)に示したように20msの間での加速度信号波形の上下動を検出する必要がある。本出願人の行った検討では、具体的な数値として最低200Hz程度のサンプリング周波数が必要とされることがわかっている。また、サンプリング周波数を高くするほどタップ操作の検出精度は向上し、本出願人の行った検討では1620Hz程度のサンプリング周波数であれば、タップ操作の誤検出を充分小さくすることができることがわかっている。
 つまり、ある程度の数値範囲において、サンプリング周波数を高くするほどタップ操作の検出精度は向上することになるというメリットがあるが、一方で消費電力も大きくなってしまうというデメリットも生じる。特に、タップ操作が有用となる電子機器は、上述したように小型で、携帯される電子機器が想定されるため、バッテリー容量等の制限を考えれば、消費電力が大きいことは無視できない問題となる。つまり、検出精度と消費電力は反比例の関係にあり、ユーザビリティと機器電池寿命のよいバランスを見つける必要がある。
 特許文献1には、活動量を演算し、演算した活動量に基づいて加速度センサーの検出周期を変更する手法が開示されている。しかし特許文献1の手法は、活動量計の消費電力低減を目的としたものであり、加速度センサーを用いたタップ操作の検出については考慮してない。上述したように、タップ操作ではサンプリング周波数を下げると検出精度が低下する。つまりタップ操作におけるサンプリング周波数は、消費電力という観点だけでなく、当該タップ操作の検出状況が高精度を求められているのか、低精度でも十分であるのかといった検出精度の観点も用いて設定されるべきところ、特許文献1ではその点に関する開示はない。
 そこで本出願人は、タップ操作が行われる可能性を考慮してサンプリング周波数を設定することで、タップ操作の検出精度及び当該タップ操作の検出に要する消費電力を適切に制御する手法を提案する。具体的には、操作情報や通信部の受信状況等に応じてサンプリング周波数を設定する。このようにすれば、タップ操作により適した加速度センサーの設定を行うことが可能になる。
 さらに本出願人は、サンプリング周波数と連動させて、タップ操作の検出に用いる閾値の設定も行う手法を提案する。閾値をサンプリング周波数に対応させて設定することで、各サンプリング周波数に適したタップ操作検出処理が可能となる。具体的には、サンプリング周波数が高い場合には、閾値も高くすることでタップ操作以外に起因する加速度検出値をタップ操作であると誤検出する可能性を抑止する。また、サンプリング周波数が低い場合には、閾値も低くすることでタップ操作が行われているのにタップ操作ではないと誤検出する可能性を抑止する。
 以下、本実施形態に係る電子機器のシステム構成例を説明した後、加速度センサーを用いたタップ操作の検出手法について説明する。その後、サンプリング周波数の設定手法を説明するとともに、当該サンプリング周波数の設定に合わせてタップ操作検出の閾値を設定する手法を説明し、最後に本実施形態の具体例をまとめる。
 2.システム構成例
 図2に本実施形態に係る電子機器のシステム構成例を示す。図2に示したように、電子機器は加速度センサー10と、生体情報検出センサー20と、設定部110と、処理部120と、操作情報取得部130と、操作部140と、通信部150と、装着判定部160と、表示制御部170と、表示部180を含む。ただし電子機器は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
 加速度センサー10は、加速度に関する情報を取得するセンサーである。加速度センサー10は例えば3軸加速度センサーであってもよく、さらに具体的には、腕時計型の電子機器に設けられ、図3に示したX軸、Y軸、Z軸の各軸での加速度値を検出するセンサーであってもよい。所与の軸での加速度検出値の具体例は、図7(A)で後述するようなものである。ただし、本実施形態の加速度センサー10は、図7(A)等の値をそのまま出力するものに限定されず、図7(A)の値及び後述する設定部110で設定されたパラメーターに基づいてタップ操作の検出処理を行い、当該検出処理の結果を出力するものであってもよい。なお、タップ操作の検出処理の結果とは、例えば図7(B)に示しように、検出タイミングに対応するタイミングで信号が立ち上がるようなパルス波形であることが考えられる。
 生体情報検出センサー20は、例えば脈波信号を検出する脈波センサーであってもよく、さらに具体的には光電センサー等が考えられる。本実施形態の電子機器は、単純な時計表示機能だけでなく、装着者の脈波情報等の生体情報を検出する機能を有してもよく、生体情報検出センサー20はそのような場合に用いられる。その場合、本実施形態の電子機器は例えば脈拍計等に対応する。生体情報の検出を目的としない電子機器を対象とする場合には、生体情報検出センサー20は省略可能である。
 図4は電子機器のうち生体情報検出センサーを含む部分を拡大した模式図である。図4に示したように、生体情報検出センサー20は、光を照射するLED21と、照射された光が生体により反射されることによる反射光を受光するフォトダイオード(PD)22と、生体との接触部分となる凸部23とを含む。本実施形態の生体情報検出センサー20は、図4に示した凸部23を有することで、生体に対して効率的に圧力(押圧)を付加するものである。ここで、脈波情報の検出の際には、脈波センサー近傍における生体に対する圧力を表す押圧を調整することで、検出精度を向上させることが可能であることが知られている。図4の凸部23は押圧調整を考慮した構造であるが、当該押圧調整に関する手法は本実施形態の手法の主眼とは異なるため、詳細な説明は省略する。
 設定部110は、後述する操作情報取得部130、通信部150、装着判定部160等からの情報に基づいて、加速度センサー10を用いたタップ操作の検出処理におけるパラメーターの設定を行う。具体的には、加速度信号のサンプリング周波数及び閾値を設定する。設定部110での設定処理の詳細については後述する。
 処理部120は、加速度センサー10からのセンサー情報に基づいて種々の処理を行う。具体的には、処理部120はタップ操作の検出処理と、生体情報検出センサー20からの生体情報に対するノイズ低減処理と、電子機器の動作モードを切り替えるモード切替処理を行う。なお、タップ操作の検出処理については、後述する加速度信号値と閾値との比較処理を行うものであることを妨げない。ただし、上述したように加速度センサー10から図7(B)に示したようなパルス信号が出力される場合には、閾値との比較処理は加速度センサー10で行われるため、処理部120での処理は加速度センサー10からのセンサー情報にパルスがあるか否かの判定処理となる。
 また、電子機器が生体情報の検出処理を行う場合、生体情報検出センサー20からのセンサー情報(生体情報検出信号)には、ユーザーの運動等に起因する体動ノイズが含まれることが知られている。よって処理部120は、加速度センサー10からのセンサー情報を体動検出信号として用いて、生体情報検出信号から体動ノイズを低減する処理を行ってもよい。この場合の加速度センサー10からのセンサー情報は、図7(B)ではなく、信号値を表す図7(A)であることが想定される。
 適応フィルターを用いたノイズ低減処理の具体例を図5に示す。生体情報検出センサー20から取得されたセンサー情報(狭義には脈波検出信号)には、心拍に起因する成分の他に、体動に起因する成分も含まれている。このうち、脈拍数等の演算に有用であるのは心拍に起因する成分であって、体動に起因する成分は演算の妨げとなる。よって、加速度センサー10を体動センサーとして用いて体動に起因する信号(体動検出信号)を取得し、脈波検出信号から体動検出信号と相関のある信号成分(推定体動ノイズ成分と呼ぶ)を除去することで、脈波検出信号に含まれる体動ノイズを低減する。ただし、脈波検出信号中の体動ノイズと、体動センサーからの体動検出信号は、ともに同一の体動に起因する信号であったとしてもその信号レベルまで同一であるとは限らない。よって、体動検出信号に対して適応的にフィルター係数が決定されるフィルター処理を行うことで、推定体動ノイズ成分を算出し、脈波検出信号と推定体動ノイズ成分の差分をとるものとする。
 以上の処理を周波数スペクトルで説明したものが図6(A)~図6(C)である。図6(A)等は、上部に信号の時間変化波形を示し、下部にその周波数スペクトルを示したものである。図6(A)は体動ノイズ低減前の脈波検出信号を表したものであり、A1及びA2に示したように、スペクトルにおいて値の大きい周波数が2つ現れている。このうち一方が心拍に起因するものであり、他方が体動に起因するものである。なお、A1よりも高い周波数にも値が大きいものがあるが、A1,A2の整数倍に相当する高周波成分であるため、ここでは考慮しない。以下、図6(B)、図6(C)においても高周波成分が見られるが、同様にここでは考慮しないものとする。
 それに対して、図6(B)は体動検出信号を表したものであり、体動検出信号の要因となった体動が1種類であれば、B1に示したように値が大きい周波数が1つ現れる。ここで、B1の周波数は図6(A)のA2に対応している。このような場合に、図5に示したような手法で脈波検出信号と推定体動ノイズ成分との差分をとることで、図6(C)の信号が得られる。図から明らかなように、心拍及び体動に起因する2つのピークA1,A2を持つ脈波検出信号から、体動に起因するピークB1を持つ推定体動ノイズ成分を引くことで、脈波検出信号中の体動成分(A2に対応)が除かれ、結果として心拍に起因するピークC1(周波数はA1に対応)が残ることになる。
 操作情報取得部130は、操作部140からの操作情報を取得する。操作部140は、ボタンやキー、或いはタッチパネル等のユーザーインターフェースを表すものであり、本実施形態で対象としているタップ操作は、操作部140による操作には含まれない。なお、ここでの操作情報は、操作部140に対するユーザーの操作を表す情報であり、例えばどのボタンが押下されたという情報であってもよいし、特定のキー操作に基づいて作成された、電子機器に特定の制御を実行させる制御信号であってもよい。
 通信部150は、ネットワークを介して他の電子機器等と情報の通信処理を行う。ここでのネットワークは有線無線を問わない。例えば、本実施形態の電子機器が腕時計型デバイスである場合に、当該腕時計型デバイスとスマートフォン等が短距離無線等のネットワークを介して接続され、情報の通信を行いながら連動して動作することが考えられる。通信部150はその際のインターフェースとなるものであり、例えばユーザーによるスマートフォンの操作や、スマートフォンによる情報の受信等に関する情報を、当該スマートフォンから取得する。
 装着判定部160は、電子機器の装着状態を判定して、判定結果を設定部110に対して出力する。例えば図4に示したようにフォトダイオード22を有する生体情報検出センサー20が電子機器に含まれる場合には、装着判定はフォトダイオード22で検出される光量に基づいて行えばよい。通常、脈派信号の検出の際には外光を遮断したり、外光がわずかに検出されたとしてもその値をキャンセルできる程度に小さくして、LED21からの光の反射光や透過光を検出する。しかしこれは、図4に示したように生体情報検出センサー20が被検体に密着した状態で用いられる場合を想定している。そのため、例えば腕時計型デバイスが腕から外された状態のように、電子機器が非装着状態である場合には、外光がフォトダイオード22で検出されることになる。そしてこの外光は、LED21からの光の反射光や透過光に比べて非常に強い光であることが知られている。つまり、フォトダイオード22で検出される光量は、非装着状態では装着状態に比べて非常に大きいことになり、この点に着目すれば装着判定を行うことが可能である。ただし、装着判定は他の手法を用いてもよく種々の変形実施が可能である。一例としては加速度センサー10での加速度検出値を用いてもよい。例えば、装着時は歩行や腕振りによる大きな値を検出するのに対して、非装着状態で机の上等に放置された場合には重力加速度以外の値はほとんど検出されないことになるため、この差異に基づいて装着判定を行ってもよい。
 表示制御部170は、表示部180の制御を行う。表示部180は、各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ELディスプレイなどにより実現できる。なお、表示部180は電子機器に含まれるものに限定されず、スマートフォン等、電子機器と接続される他の機器に設けられてもよい。
 3.タップ検出の基本的な手法
 次に、加速度センサー10で検出される加速度検出値に基づいてタップ操作を検出する基本的な手法について説明する。タップ操作では図1に示したような叩く動作が行われるため、加速度センサー10には当該動作による衝撃が検出される。
 タップ動作による衝撃は、加速度センサー10の加速度検出値では図7(A)に示したように信号波形の上下動として検出されることがわかった。そこで本実施形態では、下方向への信号値と閾値との比較処理、或いは上方向への信号値と閾値との比較処理、或いはその両方の比較処理に基づいてタップ操作の検出を行う。なお、以下の説明では下方向への信号値を用いるが、上方向への信号値についても同様の処理を行うことができる。また、上下の両方を用いる場合には、その両方で閾値を超えた場合にタップ操作を検出したとしてもよいし、少なくとも一方で閾値を超えた場合にタップ操作を検出したとしてもよい。
 3.1 加速度センサーの所定軸方向の設定
 図7(A)に示した波形は、加速度センサー10の所定軸方向での信号値の変化を示したものである。ここで、タップ操作による衝撃は当該衝撃を与えた方向の軸において最も強く検出されると考えられる。例えば、図1に示したように時計型デバイスの文字盤部分を上方から叩いた場合には、当該文字盤部分を上方から下方へ貫く方向の軸に対して、強い衝撃が加えられる。よって、タップ操作を検出する場合の軸としては、衝撃方向の軸を用いればよい。
 例えば、加速度センサー10が少なくとも3軸の加速度を検出するものであり、当該3軸が時計型デバイスに対して図3に示すような方向に設定されていたとする。その場合には、衝撃はZ軸の負方向に加えられることになるため、Z軸の信号値の変化を用いればよく、具体的にはZ軸での信号波形が図7(A)に示したようになると考えられる。ただし、衝撃は必ずしもZ軸負方向のみに与えられるものではなく、X軸やY軸についても衝撃を表す加速度検出値が取得される可能性がある。よって、Z軸だけではなく他の軸も用いてタップ操作の検出を行ってもよい。この場合、X軸を用いた判定処理、Y軸を用いた判定処理、Z軸を用いた判定処理をそれぞれ独立で行い、その結果に基づいて最終的な検出判定を行ってもよいし、X軸Y軸Z軸の値を合成して(例えば加速度を表す合成ベクトルを作成し、当該合成ベクトルの大きさを用いて)判定処理を行ってもよい。
 また、加速度センサー10の各軸の方向と、電子機器との関係は必ずしも図3に示したものにはならず、電子機器において加速度センサー10がどのような方向で取り付けられるかによる。その場合、加速度センサー10のいずれの軸も、衝撃の方向であることが想定される軸(狭義には文字盤部分を上方から下方へ貫く方向の軸)と一致しないことになる。この場合の処理も種々考えられるが、例えばX軸Y軸Z軸の値を用いて、衝撃の方向であることが想定される軸における加速度値を演算し、当該演算の結果を用いて判定処理を行えばよい。この場合には、X軸Y軸Z軸のそれぞれの値により表される3つの加速度ベクトルを合成して1つの合成ベクトルを取得し、当該合成ベクトルを上記衝撃の方向へ射影した射影ベクトルの大きさを用いた処理を行うことに対応する。或いは、衝撃の方向とは無関係に、上記合成ベクトルの大きさをそのまま用いて判定処理を行ってもよい。或いは上述したように、各軸毎に独立して判定処理を行ってその結果に基づいて最終的な判定処理を行ってもよい。
 本明細書中での「加速度センサーの所定軸方向」とは、上述した種々の手法のいずれにより特定される軸の方向であってもよい。便宜上、以下の説明では図3に示したZ軸の方向が「加速度センサーの所定軸方向」であるものとするが、それには限定されない。
 3.2 タップ操作と類似動作との判定処理
 図7(A)に示したように、タップ操作では上下に大きな加速度の変化が現れるため、当該変化を検出すればよい。しかし、タップ操作以外にも、上下に加速度の変化が現れる動作がある。具体的には、図8(A)に示したような手首を回転させる動作や、図8(B)に示したような手首を振る動作である。
 図9(A)~図9(C)に異なるサンプリング周波数でのタップ操作の加速度検出値の変化を示す。具体的なサンプリング周波数は、図9(A)が200Hz、図9(B)が400Hz、図9(C)が1620Hzであり、図10(A)~図10(C)、図11(A)~図11(C)についても同様である。また、図10(A)~図10(C)が手首の回転動作の加速度検出値の変化であり、図11(A)~図11(C)が手首を振る動作の加速度検出値の変化である。図9(A)~図11(C)からわかるように、加速度検出値が上下に変化する点はいずれも同様であるため、タップ操作を精度よく検出するには、手首の回転動作、手首を振る動作とタップ操作とを適切に区別する必要がある。
 タップ操作、手首の回転動作、手首を振る動作のそれぞれの、比較的短い期間での加速度変化を図12(A)~図12(C)に示す。図12(A)~図12(C)でのサンプリング周波数は400Hzとしている。
 図12(A)がタップ操作による加速度検出値の波形であり、タップ操作では加速度の上下動の幅が約-6G~+5.7G程度であることがわかる。なお、ここではタップ操作がない状態での加速度値を0Gとして説明している。また、図12(A)の点線で囲んだ領域からわかるように、一方向での加速度の変化は約10~13ms程度の長さであり、上下動の一周期は約20~26ms程度の長さとなる。
 この点を踏まえて図12(B)の手首の回転動作の波形変化と比較した場合、手首の回転動作では上下動の幅が比較的小さく、約-2.4G~+1.9G程度である。つまり、負方向で判定する場合には-6G~-2.4Gの間、正方向で判定する場合には+1.9G~+5.7Gの間に閾値を設けることで、当該閾値と加速度検出値との比較処理に基づいて、タップ操作と手首の回転動作を区別可能と言える。
 一方、タップ操作を図12(C)の手首を振る動作の波形変化と比較した場合、加速度検出値の上下動の幅は、タップ操作の方がやや大きいが、タップ操作と手首の回転動作との比較に比べて値の差異が小さく、閾値による判定では高精度の区別が難しいと考えられる。しかし、横軸(時間)のスケールを同程度とした図12(A)と図12(C)の比較からわかるように、手首を振る動作は波形の周期がタップ操作に比べて非常に長い。上述したように、タップ操作では1/2周期が約10~13ms程度であるため、10~13ms内での信号値を用いることで波形の振幅に相当する値を求めることができる。それに対して手首を振る動作では、図12(C)に示したように10~13ms内の信号値を用いたとしても、その間での信号値の変化は非常に小さく、振幅に相当する値を取得することはできない。つまり、タップ操作の検出に用いられる波形を10~13ms分(広義にはタップ操作の波形の周期に基づいて設定される所与の期間)とすることで、タップ操作と手首を振る動作とを適切に区別可能と言える。
 以上のことから、タップ操作の検出に用いる期間及び閾値を適切に設定することで、類似動作と混同することなくタップ操作を検出することが可能となる。
 3.3 サンプリング周波数の範囲
 上述したように、タップ操作の検出では手首を振る動作との区別を行うために、タップ操作の波形の周期に基づいて設定される所与の期間での波形を処理対象とする。その場合、サンプリング周波数があまりにも低く設定されていると、当該期間内で1つも信号値が取得できない可能性があり、閾値との比較処理がそもそもできない。例えば、10msに対応する周波数である100Hz以下のサンプリング周波数を用いた場合、ある10msの期間を対象とした場合、当該対象期間内で信号値が1つも取得されない可能性があり不適切である。
 また、図12(A)を用いて上述した-6G~+5.7G程度というタップ操作での加速度検出値の範囲は、波形の上下動の最小値と最大値(或いはそれに近い値)に対応するものである。そのため、サンプリング周波数が低く最小値或いは最大値に対応するタイミングでの加速度が加速度検出値として取得されない場合には、タップ操作による衝撃が本来有する加速度に比べて、加速度センサー10で検出される加速度検出値は小さいものとなってしまう。例えば、タップ操作本来の加速度波形が図13に示したものである場合、上述した100Hz程度のサンプリング周波数では、10ms内で1つの値しか取得できない。そのため、t1に示すタイミングがサンプリングタイミングとなれば所望の処理を行うことができるが、t2やt3等のタイミングがサンプリングタイミングとなった場合には、加速度検出値が小さくなってしまう。結果として、タップ操作による加速度検出値が、手首の回転動作の加速度検出値の変化幅である約-2.4G~+1.9G程度よりも小さくなってしまう可能性も否定できず、その場合上述した閾値を用いた判定処理では、タップ操作を検出できないことになる。
 つまり、タップ操作の検出精度は、信号波形の頂点或いはそれに近い値をサンプリングすることができる可能性に依存することになり、これは言い換えればサンプリング周波数を高くするほどタップ操作の検出精度が向上するということに他ならない。具体例を図14(A)~図16(B)に示す。図14(A)がサンプリング周波数を200Hzにした場合のタップ操作による加速度検出値の波形であり、図14(B)が図14(A)の一部を拡大したものである。同様に図15(A)、図15(B)が400Hz、図16(A)、図16(B)が1620Hzのサンプリング周波数でのタップ操作による信号波形である。なお、図14(B)等では1周期に相当する20msを対象としているが、1/2周期を対象とした場合でも考え方は同様である。
 図14(B)に示したように、1つの山当たり2点程度のサンプリングが期待される200Hzをサンプリング周波数とすることで、対象とする期間の中での信号値の上下動をある程度検出可能となる。具体的には、サンプリング周波数を200Hzとすることで、70%程度の精度でタップ操作を検出することが可能である。
 また、図15(B)に示したように、サンプリング周波数を400Hzとすることで、200Hzの場合に比べて、対象期間内での信号波形の変化をより詳細に取得することが可能である。このため、加速度検出値の最大値、最小値の絶対値についても、200Hzの場合よりも大きい値を取得する可能性を高くができ、閾値との比較処理を用いた判定での誤検出の可能性を抑止できる。具体的には、サンプリング周波数を400Hzとすることで、80%程度の精度でタップ操作を検出することが可能である。
 同様に、図16(B)に示したように、サンプリング周波数を1620Hzとすることで、400Hzの場合に比べてさらに詳細な信号波形を取得可能となる。図16(B)に示したように、1620Hzのサンプリング周波数では、ほぼ確実に山の頂点となる値を取得することができ、その値は図12(A)や図15(B)に示した400Hzでの最小値、最大値に比べてその絶対値が大きい。つまり、400Hzの場合と比較して、より確実にタップ操作を検出できることになり、具体的には、ほぼ100%程度の精度でタップ操作を検出することが可能である。
 4.サンプリング周波数の設定手法
 上述したように、適切な処理対象期間(図7(A)でいえばタップ判定期間)、閾値を設定することでタップ操作を検出可能であり、その検出精度はサンプリング周波数を高くするほど高くなる。しかし、サンプリング周波数を高くすることで加速度センサー10の消費電力も大きくなる。例えば、サンプリング周波数が200Hzの場合の電流量は約18μAであるが、400Hzでは36μA、1620Hzでは100μAになる。
 よって本実施形態では、設定部110においてサンプリング周波数の設定を行い、設定されたサンプリング周波数を用いて加速度センサー10を動作させる。具体的には、タップ操作が行われる可能性が高い場面、或いは高精度でのタップ操作の検出が要求される場面ではサンプリング周波数を高くする。これはタップ操作はユーザーインターフェースの1つであり、電子機器のユースケース上、タップ操作が行われる可能性や要求される精度を推定可能であるという考えに基づくものである。以下、さらに具体的な例について説明する。
 4.1 操作情報の取得又は通信部による受信の検出
 サンプリング周波数の設定タイミングとして、操作情報取得部130において操作情報が取得された場合、或いは通信部150において情報の受信を行った場合が考えられる。
 操作情報が取得された場合とは、具体的にはユーザーにより操作部140の操作が行われた場合である。操作部140の操作とは、ボタンやキーの押下、タッチパネルに対するタッチ等である。これらの操作は一般的にはタップ操作に比べて誤操作の可能性が低いものである。なぜなら、ボタンやキーは物理的に押下されることを想定した構造となっており、且つ電子機器のうちの一部の領域に設けられるものであるため、ユーザーは当該ボタン等を視認した上で既定の操作を行うため誤操作は考えにくい。タッチパネルについても、意図した位置とは異なる位置をタッチしてしまう可能性は否定できないが、少なくともユーザーの視認に基づく操作が期待される。それに対して、タップ操作は電子機器のうちどの部分を叩くかということは特に限定されない。そのため、腕時計型の電子機器が服の袖の下にある等、視認できない状況で操作が行われたり、電子機器の方を見ないで操作が行われることで、十分な衝撃を与えられない等の誤操作が起こりうる。また、ボタン等と異なり操作の仕方(タップの位置、方向、強度等)に個人差があったり、同一ユーザーでも操作の度に差異が生じる可能性がある。
 このことから、情報入力等の一連の操作を行う場合に、最初からタップ操作を行うのではなく、まずキー操作等による入力を行い、その後にタップ操作を行うというユースケースは充分考えられる。
 例えば、腕時計型の電子機器であれば、時計等の情報表示を行う情報表示モードと、何らかの情報の入力を行う情報入力モードという複数の動作モードを有する可能性が高い。その場合、情報入力モードで入力された情報は、電子機器自体や他のシステムにおいて、記憶されたり何らかの処理に用いられることになる。よって、ユーザーが情報入力を意図していないのにもかかわらず情報入力モードへ動作モードが遷移して、不適切な情報が入力されることは好ましくない。その場合には、情報表示モードから情報入力モードへの動作モードの切替は、誤操作の可能性が低い操作部140の操作により行い、情報入力モードへの移行後の情報入力においてタップ操作を用いるとよい。このようなユースケースでは、操作部140の操作の後はタップ操作が行われる可能性が高いと言えるため、サンプリング周波数を高く設定するとよい。
 モード切替の具体例を図17に示す。図17のD1に示した表示画面が情報表示モードに対応し、ここでは日付、時刻、バッテリー残量、ネットワーク環境等の情報を表示している。D1を表示する情報表示モードである場合に、操作部140でのキー操作を受け付けた旨の操作情報を取得すると、処理部120は動作モードを情報入力モードに切り替え、それに合わせて表示制御部170は情報入力画面を表示部180に表示する。ここでの情報入力画面は例えばD2aに示した画面であり、この例では摂取カロリーに関する情報として食事量に関する情報入力を行っている。食事量には、「少なめ」、「普通」、「多め」といったように複数の入力候補が考えられるため、図17の例ではこのフェーズでタップ操作を受け付け、1回のタップ操作を受け付ける度に、選択状態にある食事量を遷移させるとともに表示画面もそれに合わせて遷移するものとしている。例えば、食事量が「少なめ」と「多め」の2つであれば、タップ操作が行われる度に、D2aとD2bの画面を交互に表示すればよいし、3つ以上の食事量があるならば、それらを順次表示すればよい。なお、図17の例では、食事量の確定操作(決定操作)についても誤操作が好ましくないものと考え、当該確定操作はキー入力により行っている。つまり、情報入力モードにおいて操作情報の取得が検出された場合には、D3(D1と同一のもの)に示すように情報表示モードへのモード切替処理が行われる。
 また、電子機器はスマートフォン等の他の機器と連動して動作する場合も考えられる。例えば、スマートフォンの操作部を用いて電子機器を操作したり、スマートフォンが保持している詳細情報のうち、一部の簡易情報を電子機器に転送し電子機器の表示部180に表示する等の連動が考えられる。さらに具体的には、スマートフォンが電子メール等の情報を受信した場合に、電子機器を操作することで当該電子メールの簡易情報(差出人名やタイトル、受信日時等の情報)或いはメール本文を電子機器で表示してもよい。或いはスマートフォンが電話の着信を検出した場合に、着信音の停止等を電子機器の操作により実現してもよい。
 このような場合には、電子メールの受信や電話の着信を表す情報等、スマートフォンからの何らかの情報が電子機器の通信部150において受信されることになる。つまり、通信部150での情報の受信は、操作情報取得部130での操作情報の取得と同様に、その後タップ操作が行われる可能性が高いことを示すものであるため、通信部150での情報の受信を検出した場合にはサンプリング周波数を高く設定するとよい。特に上述した着信音の停止等を考慮すると、より迅速な操作が要求されるためキー操作等に比べて容易に実行できるタップ操作が行われる可能性が高く、サンプリング周波数を高くすることの利点が大きいと言える。
 なお、操作情報の取得、或いは通信部150での情報の受信によりサンプリング周波数を高くするのは所定期間内に限定するとよい。このようにすれば、サンプリング周波数が長時間高くなることで消費電力が増大することを抑止できる。また、当該所定期間中に新たに操作情報の取得や情報の受信が検出された場合には、当該検出タイミングを始点として所定期間を再度設定すればよい。このようにすれば、タップ操作が行われる可能性が高い状態であるにもかかわらず、サンプリング周波数が低い状態に戻ってしまうことを抑止できる。
 4.2 装着状態の判別
 またユーザーによる電子機器の装着状態に基づいてサンプリング周波数を設定してもよい。上述したように、装着判定部160では、フォトダイオード22での検出値や、加速度センサー10の加速度検出値を用いることで電子機器が装着状態か非装着状態かを判定できる。
 腕時計型の電子機器であれば、当該電子機器に対する操作は装着状態で行われる可能性が高く、非装着状態であれば操作の可能性は低い。特にタップ操作については、タップによる衝撃を加速度センサー10を用いて検出する関係上、電子機器が腕等に固定されているような衝撃が充分伝わる状況で行われることが望ましく、手で把持した状態の電子機器や、机の上に置かれた電子機器等に対するタップ操作は想定しづらい。
 そのため、電子機器が非装着状態である場合には、装着状態である場合に比べてサンプリング周波数を低く設定するとよい。なお、非装着状態でのサンプリング周波数は200Hz等、ある程度の精度でタップ操作を検出可能な周波数とすることを妨げない。例えば、装着状態で400Hzや1620Hzであった周波数を200Hzとする設定であってもよい。しかし、上述したように非装着状態ではタップ操作の検出が困難であるため、タップ操作の検出処理自体を行わないものとしてもよい。つまり、非装着状態でのサンプリング周波数は、例えば200Hzを下回るような、充分な検出精度を出せない程度の周波数であってもよく、このようにすることでより一層の低消費電力化が可能となる。
 4.3 変形例
 またサンプリング周波数の設定タイミングは上述のものに限定されない。例えば、サンプリング周波数が低い状態においてタップ操作が検出された場合に、所定期間サンプリング周波数を高くする(狭義には1620Hz等、設定上の最大周波数とする)ものとしてもよい。
 これは例えばダブルタップ操作を検出する場合に有用である。ダブルタップ操作は、マウスにおけるダブルクリックと同様に、短期間に2回タップ操作が行われるものであり、当該2回のタップ操作を1つのユーザー入力として解釈し、シングルタップ操作とは異なる入力として取り扱うものである。ダブルタップ操作が許容される場合には、1回のタップ操作の直後にタップ操作が再度行われる可能性が出てくるため、当該再度のタップ操作を検出するためにサンプリング周波数を高く設定するとよい。特に、本出願人のデータ分析により、ダブルタップ操作の2回目のタップ操作における加速度検出値は、1回目のタップ操作やシングルタップ操作の加速度検出値に比べて小さい値となることがわかった。よって閾値との比較処理であるタップ操作の検出処理において誤判定が起こる可能性が高まるため、充分な検出精度を確保するためにもサンプリング周波数は高くすることが望ましい。
 またユーザーの行動分析を行い、当該行動分析の結果に基づいてサンプリング周波数を設定してもよい。具体的には、ユーザーが運動状態にあると判定された場合には、非運動状態にあると判定された場合に比べてサンプリング周波数を高く設定する。
 運動状態では、当該運動による加速度が加速度センサー10の加速度検出値に含まれることになり、加速度検出値に占めるタップ操作による衝撃の信号値の割合が低下して、タップ操作の検出精度も低下する。よって運動状態においてはサンプリング周波数を高く設定することで、検出精度を高めることが望ましい。
 運動状態の判別手法の一例としては加速度センサー10の加速度検出値を用いればよく、加速度検出値が平常時に比べて大きい場合に運動状態と判定してもよい。或いは、歩行や走行等では運動に周期性があるため加速度検出値にも所与の周期性が見られる。つまり加速度検出値の周期性の有無から運動状態か否かを判定してもよい。なおユーザーの行動分析については種々の手法が知られており、本実施形態では任意の手法を適用可能であるため、これ以上の詳細な説明は省略する。
 5.サンプリング周波数に連動した閾値の設定手法
 以上の説明では、設定部110ではサンプリング周波数を設定するものとしたが、それだけには限定されない。設定部110は、サンプリング周波数を変更するとともに、当該サンプリング周波数に連動させてタップ操作検出の閾値を変更する設定を行ってもよい。
 具体的には、設定部110はサンプリング周波数を高くするほど、閾値も高くなるような設定を行う。例えば、サンプリング周波数をF1からF2(>F1)に変更する場合には、閾値もTh1からTh2(>Th1)とする。
 上述したように、タップ操作を適切に検出するためには、手首の回転動作との判別処理が必要となる。また、運動等に起因する加速度も加速度検出値にノイズとして含まれる場合がある。本実施形態では、タップ操作による加速度検出値は、手首の回転動作やノイズによる加速度検出値よりも大きいという考えに基づいて、手首の回転動作やノイズとして想定される加速度検出値の上限よりも大きい値を閾値として設定する。なお、負方向の加速度検出値については、手首の回転動作やノイズとして想定される加速度検出値の下限よりも小さい値を閾値として設定することになるが、絶対値を用いることで正方向の場合と同様に考えることが可能である。
 図12(B)の例であれば、回転動作で想定される負方向での加速度検出値の絶対値は約2.4Gとなるため、それよりも大きい値を閾値として設定し、検出された加速度検出値の絶対値が当該閾値よりも大きい場合に、タップ操作を検出したと判定する。しかし、手首の回転動作は毎回必ず同じ動作が行われるということは考えにくく、動作の度に加速度検出値は異なるものになる。そのため回転動作の加速度検出値に関して、その絶対値の上限を明確に決定することは困難である。よって、閾値はタップ操作以外の動作による加速度検出値として想定される値に対して、ある程度のマージンを持って設定されることが望ましい。図12(B)の例であれば、2.5Gといった閾値を設定してしまうと、回転動作によってはそれよりも絶対値の大きい加速度検出値が現れる可能性があり、その場合には回転動作をタップ操作であると誤検出することになる。つまり、タップ操作以外の動作をタップ操作であると誤検出する可能性を抑止するという観点でいえば、閾値の絶対値は大きいほど好ましいと言える。例えば4.0G程度を閾値とすれば、回転動作をタップ操作であると誤検出する可能性は充分低くすることが可能である。
 しかし、図14(A)~図16(B)を用いて上述したように、サンプリング周波数が低いほど、波形における山の頂点の値を検出できない可能性が高くなり、結果として加速度検出値が小さくなってしまう可能性が高まる。そのため、閾値の絶対値を大きくしすぎてしまうと、タップ操作であるにもかかわらず加速度検出値が設定された閾値を超えることができなくなる、すなわちタップ操作であるのにタップ操作ではないと誤検出するおそれがある。
 以上の点を鑑みるに、サンプリング周波数に応じて加速度検出値が変化する傾向が見られる以上、全てのサンプリング周波数で同一の閾値を設定するのではなく、サンプリング周波数に応じて閾値を動的に変更することが好ましいと言える。
 例えば、サンプリング周波数が1620Hz等のように充分高い周波数である場合には、タップ操作による加速度検出値が充分大きいと考えて、閾値も高い値を設定する。このようにすれば、回転動作やノイズ等のタップ操作以外の動作を、タップ操作であると誤検出する可能性を抑止できる。例えば、図16(B)のTh3+やTh3-に示した値を閾値として設定すればよい。
 一方、サンプリング周波数が200Hz等のように低い周波数である場合には、タップ操作であるのにタップ操作でないと誤検出する可能性を抑止するために、閾値はサンプリング周波数が高い場合に比べて小さい値に設定する。この場合、1620Hz等の場合に比べて、タップ操作以外の動作をタップ操作であると誤検出する可能性が高くなるが、その点は許容する。なぜなら、ユーザーが明確な意図を持ってタップ操作を行っているにもかかわらず、当該タップ操作が電子機器により認識されないという状況は、ユーザーに対して多大なストレスを与えることになり好ましくないためである。例えば、図14(B)に示したように、Th3+やTh3-よりも絶対値の小さいTh1+やTh1-を閾値として設定すればよい。
 なお、400Hz等の中間的なサンプリング周波数では、加速度検出値も中間的な値となることが想定されるため、閾値についても図15(B)に示したように、Th1+<Th2+<Th3+を満たすTh2+、或いは|Th1-|<|Th2-|<|Th3-|を満たすTh2-等を用いればよい。
 6.本実施形態の具体例
 以上の本実施形態では、電子機器は図2に示したように、加速度センサー10の加速度検出のサンプリング周波数を設定する設定部110と、加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行う処理部120と、操作部140からの操作情報を取得する操作情報取得部130と、情報の通信処理を行う通信部150を含む。そして、設定部110は、通信部150による情報の受信を検出した場合、又は操作情報取得部130による操作情報の取得を検出した場合に、サンプリング周波数を、検出前のサンプリング周波数F1に比べて高い周波数であるF2に設定する。
 これにより、通信部150による情報の受信、又は操作情報の取得をトリガーとして、サンプリング周波数を高くすることが可能になる。図17等を用いて上述したように、通信部150による情報の受信や、操作情報の取得が行われた場合には、その後タップ操作が行われる可能性が高いと考えられる。そのため、タップ操作が行われると考えられる場合に、適切にサンプリング周波数を高くして、高精度でタップ操作を検出することが可能になる。逆に考えれば、タップ操作の可能性が低い状況では、サンプリング周波数を低く設定することもできるため、消費電力を低減することが可能になる。つまり本実施形態の手法によれば、タップ操作が行われる可能性に応じて、検出精度と消費電力のバランスを考慮したサンプリング周波数の設定を行うことが可能になると言える。
 また、電子機器は図2に示したように生体情報を検出する生体情報検出センサー20を含んでもよい。そして、処理部120は、加速度センサー10からのセンサー情報である体動情報に基づいて、生体情報検出センサー20からの生体情報に対する補正処理を行うとともに、加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行う。
 これにより、加速度センサー10を体動ノイズの低減処理と、タップ操作の検出処理の両方に共通して用いることが可能になる。生体情報検出センサー20(狭義には脈波センサー)のセンサー情報には、ユーザーの運動等に起因する体動ノイズが含まれることが知られている。よって脈拍計等の生体情報の検出を行う電子機器では、図5や図6を用いて上述したように体動センサーのセンサー情報に基づくノイズ低減処理を行うことが一般的である。また、腕時計型デバイスのような電子機器ではタップ操作が有用なインターフェースとなることは上述したとおりである。つまり、腕装着型の脈拍計等においても、タップ操作が有用であるところ、当該タップ操作は図7(A)等に信号波形を示したように、加速度センサー10を用いて検出可能である。以上のことから、本実施形態の手法を脈拍計等の電子機器に適用することで、タップ操作の適切な検出及び生体情報からの体動ノイズの除去を、共通の加速度センサー10により実現可能となり、省スペース化、低コスト化等が実現できる。
 また、処理部120は、電子機器の動作モードのモード切替処理を行ってもよい。そして、設定部110は、処理部120において、操作情報に基づいて、電子機器の動作モードを第1のモードから第2のモードに切り替えるモード切替処理が行われた場合に、サンプリング周波数をF1からF2に変更する設定を行う。
 具体的には図17に示したように、第1のモードは、情報の表示を行う情報表示モードであり、第2のモードは、外部からの情報の入力を受け付ける情報入力モードであってもよい。そして、設定部110は、処理部120において、操作情報に基づいて、電子機器の動作モードが情報表示モードから情報入力モードに切り替えるモード切替処理が行われた場合に、サンプリング周波数をF1からF2に変更する設定を行う。
 これにより、電子機器の動作モードの切替処理に対応させて、サンプリング周波数の設定を行うことが可能になる。上述したように、キー操作等の操作部140の操作と、タップ操作を比較した場合、操作部140の操作は誤操作の可能性がタップ操作に比べて低いという利点があり、タップ操作には操作部140の操作に比べて容易に操作可能という利点がある。なお、ここでの容易に操作可能とは、ユーザーが操作を意図してから操作完了までの時間が短い、或いはユーザーにより操作対象の電子機器が視認されなくても操作できるといった意味である。つまり各操作に異なる特性があるため、ユースケースの中でそれぞれの操作が用いられる状況をある程度限定することも可能と言える。図17の例でいえば、情報表示モードから情報入力モードへのモード切替処理のトリガーとしては、誤操作の可能性が低い操作部140の操作が適していると言えるし、情報入力モードでの入力インターフェースとしては容易に操作可能であるタップ操作が適している。つまり、動作モードに対応づけてタップ操作が行われる可能性を決定することができるため、動作モードとサンプリング周波数を対応づけることも有用と言える。
 また、電子機器は図2に示したように、表示部180における情報の表示制御を行う表示制御部170を含んでもよい。そして、動作モードが情報入力モードの場合に、処理部120は、サンプリング周波数がF2である加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行い、表示制御部170は、処理部120でタップ操作が検出された場合に、表示部180に表示される表示画像を遷移させる表示制御を行う。
 これにより、タップ操作を画面遷移に用いること、及びその際には高精度でのタップ操作の検出のためにサンプリング周波数を高く設定することが可能になる。腕時計型デバイス等では表示部180の面積が制限されることが多いため、1つの表示画像に多くの情報を含めることは現実的でない。結果として、図17の食事量の入力画面に示したように、複数の表示画像を用意しておき、それらの間で画面を遷移させることで、情報の提示を行うことが自然と考えられる。本実施形態で想定している電子機器は、ボタンやキーの数に制限があるため、入力できる操作の種類が限定されてしまい、所与の表示画面から他の任意の表示画面への遷移を行うような複雑な操作は困難である。そのため、画面遷移は図17に示したように、順番に並べられた表示画像を先頭から1つ1つ選択して表示していく形態等になり、所望の画面表示までに複数回の操作が要求される可能性の高いものとなる。つまり情報入力モードにおいては、ユーザーによる複数回の操作を想定したインターフェースを実現することが好ましく、その点から考えれば容易に操作可能であるタップ操作が行われる可能性は充分高いものと言える。
 また、動作モードが情報入力モードであって、所与の期間、操作情報の取得が検出されず、且つ処理部120においてタップ操作が非検出である場合に、処理部120は、動作モードを、情報入力モードから情報表示モードに切り替えるモード切替処理を行い、設定部110は、サンプリング周波数をF2からF1に変更する設定を行う。
 これにより、一定期間操作や情報の受信が検出されない場合には、情報入力モードから情報表示モードへのモード切替処理を行うことが可能になる。上述したように、本実施形態で想定している電子機器はボタン数に制限がある。モード切替処理は、誤って行われた場合には、不要な情報入力が行われたり、途中まで行われていた情報入力がキャンセルされ入力データが失われたりするおそれがあるため、操作部140の操作に基づいて行われることが好ましい。しかしボタン数の制限が非常に強く、操作部140による操作入力が1通りしかできない場合(例えばボタンやキーが1つしかない)場合も考えられる。その場合、情報表示モードから情報入力モードへのモード切替や、情報入力が完了して入力された情報を確定、記憶して情報表示モードへ戻るモード切替については操作部140の操作により行うことができる。しかし、ユーザーが誤って情報表示モードから情報入力モードへのモード切替処理を行ってしまった場合に、情報入力を確定させずに情報表示モードへと戻るモード切替処理は実現できなくなってしまう。そのような場合に、不要な情報を一旦入力し、後で当該情報を削除するという操作をユーザーに強いるのは不適切であるため、本実施形態では操作が一定期間非検出である、ということをトリガーに情報入力モードを抜けるものとしてもよい。このようにすれば、ユーザーにとって使いやすいインターフェースを実現することが可能になる。なお、情報入力モードから情報表示モードへのモード切替処理のトリガーは種々の変形実施が可能である。例えば、上記条件に加えて、通信部150による情報の受信が検出されない場合に、情報表示モードへのモード切替処理を行うものであってもよい。
 また以上の本実施形態では、電子機器は図2に示したように、加速度センサー10の加速度検出のサンプリング周波数を設定する設定部110と、加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行う処理部120と、電子機器の装着状態を判定する装着判定部160を含む。そして、設定部110は、装着判定部160により電子機器が非装着状態であると判定された場合に、サンプリング周波数を判定前のサンプリング周波数F2に比べて低い周波数であるF1に設定する。
 これにより、電子機器の装着状態の判定結果に基づいて、サンプリング周波数の設定を行うことが可能になる。非装着状態とは、例えば腕時計型の電子機器であれば、ベルトが外された状態に対応する。そのため、ベルトが外された状態でユーザーの手で把持されている状態も非装着状態であるし、完全にユーザーの手から離れて机等の上に放置されている状態も非装着状態である。いずれにせよ、非装着状態ではユーザーのタップ操作による衝撃を加速度センサー10により検出することが難しくなるため、タップ操作の可能性が低いと判定してよい。そして、タップ操作の可能性が低い場合にはサンプリング周波数を低くしてもよいという点は、上述した操作情報や通信部150での受信状況を用いる手法と同様である。
 また、以上の本実施形態では、電子機器は図2に示したように、加速度センサー10の加速度検出のサンプリング周波数及びタップ操作の判定の閾値を設定する設定部110と、加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行う処理部120を含む。そして、設定部110は、加速度センサー10の第1の設定モードでは、サンプリング周波数をF1に設定するとともに、閾値をTh1に設定し、加速度センサー10の第2の設定モードでは、サンプリング周波数をF1よりも高い周波数であるF2に設定するとともに、閾値をTh1よりも大きな値であるTh2に設定する。
 ここでタップ操作の判定の閾値とは、図7(A)や、図14(B)のTh1+等に示したように、加速度検出値のピーク値との比較処理に用いられる値である。なお、タップ操作の検出処理は、上述したように波形の下方向での変化を用いてもよいし、上方向の変化を用いてもよいし、その両方を用いてもよい。この場合、波形の基準値(図7等でいえば縦軸の中心)を0Gとすれば、上方向での加速度検出値は正の値となり、下方向での加速度検出値は負の値となるが、ここでの閾値の大小とは上記基準値に対する変動幅の大小と考えることができる。つまり、基準値との差異が大きい閾値ほど値が大きいと考えればよく、上述したように波形の基準値が0Gであれば、本実施形態の閾値とは加速度検出値の絶対値を用いて考えればよい。
 これにより、サンプリング周波数に応じて適切に閾値を設定することが可能になる。具体的には、図16(B)に示したようにサンプリング周波数が高く、加速度検出値の波形が、タップ操作の衝撃による加速度波形を正確に反映するものであれば、閾値を大きく設定できるため、タップ操作以外の動作をタップ操作であると誤検出する可能性を抑止できる。逆に、図14(B)に示したように、加速度検出値の波形が、タップ操作の衝撃による加速度波形に対して荒い場合には、閾値を低く設定できるためタップ操作が行われているのにタップ操作ではないと誤検出する可能性を抑止する。
 また、設定部110は、電子機器を装着するユーザーが運動状態にあると判定された場合に、加速度センサー10の設定モードを第2の設定モードに設定してもよい。
 これにより、ユーザーが運動状態にあると判定された場合には、サンプリング周波数及び閾値を高く設定することが可能になる。運動状態では加速度センサー10からのセンサー情報に当該運動に起因するノイズが含まれることになるが、図16(B)に示したように閾値を高く設定できるため、当該ノイズとタップ操作に起因する加速度検出値とを精度よく判別することができる。
 また、設定部110は、情報の表示を行う情報表示モードでは第1の設定モードに設定し、外部からの情報の入力を受け付ける情報入力モードでは第2の設定モードに設定してもよい。
 これにより、情報表示モードと情報入力モードにおいて、それぞれのモードに適したサンプリング周波数及び閾値を設定することが可能になる。図17に示したユースケースのように、情報表示モードに比べて情報入力モードの方がタップ操作が行われる可能性が高い場合は充分考えられる。よって、情報入力モードでは第2の設定モードとすることで高精度でのタップ操作検出を可能とする。一方、タップ操作の可能性が比較的低い情報表示モードでは、サンプリング周波数が低い第1の設定モードとすることで、消費電力の低減等が可能になる。
 また、電子機器は図2に示したように、表示部180における情報の表示制御を行う表示制御部170を含んでもよい。そして、設定部110により加速度センサー10が情報入力モードに対応する第2の設定モードに設定されている場合に、処理部120は、サンプリング周波数がF2に設定され、閾値がTh2に設定された加速度センサー10からのセンサー情報に基づいて、タップ操作の判定を行い、表示制御部170は、処理部120でタップ操作が検出された場合に、表示部180に表示される表示画像を遷移させる表示制御を行う。
 これにより、タップ操作を画面遷移に用いること、及びその際には高精度でのタップ操作の検出のためにサンプリング周波数の高い第2の設定モードに設定することが可能になる。腕時計型デバイス等では表示部180の面積が制限されることが多いため、1つの表示画像に多くの情報を含めることは現実的でない。結果として、図17の食事量の入力画面に示したように、複数の表示画像を用意しておき、それらの間で画面を遷移させることで、情報の提示を行うことが自然と考えられる。本実施形態で想定している電子機器は、ボタンやキーの数に制限があるため、入力できる操作の種類が限定されてしまい、所与の表示画面から他の任意の表示画面への遷移を行うような複雑な操作は困難である。そのため、画面遷移は図17に示したように、順番に並べられた表示画像を先頭から1つ1つ選択して表示していく形態等になり、所望の画面表示までに複数回の操作が要求される可能性の高いものとなる。つまり情報入力モードにおいては、ユーザーによる複数回の操作を想定したインターフェースを実現することが好ましく、その点から考えれば容易に操作可能であるタップ操作が行われる可能性は充分高いものと言える。
 また、処理部120は、加速度センサー10の所定軸方向での正方向(図3に示したZ軸を考えるのであれば狭義には上方向)の信号値と、正方向での閾値であるTh+との比較処理、及び、加速度センサーの所定軸方向での負方向(図3に示したZ軸を考えるのであれば狭義には下方向)の信号値と、負方向での閾値であるTh-との比較処理の少なくとも一方の比較処理に基づいて、タップ操作の判定を行ってもよい。
 これにより、図7(A)等を用いて上述したように、加速度検出値の上下動と閾値との比較処理に基づいて、タップ操作の判定を行うことが可能になる。なお、ここではTh+とTh-とに分けて記載したが、必ずしも2種類の閾値を設定する必要はない。例えば、閾値は上述したように絶対値に相当する情報であってもよいため、正の値である1つの閾値Thを設定しておき、正方向での信号値についてはThとの比較処理を行い、負方向での信号値については-Thと比較処理(或いは負の信号値の絶対値とThとの比較処理)を行ってもよい。ただし、図12(A)を用いた説明で上述したように、正方向と負方向での加速度検出値を比較した場合、タップ操作の衝撃方向に対応する負方向の値の方が、衝撃方向の反対方向に対応する正方向の値に比べてわずかであるが大きい場合も多い。この差異を考慮して、正方向と負方向で異なる閾値を設定してもよい。
 また、電子機器は図2に示したように、電子機器の装着状態を判定する装着判定部160を含んでもよい。そして、設定部110は、装着判定部160により電子機器が非装着状態であると判定された場合に、加速度センサー10を、サンプリング周波数の値がF1よりも低い周波数であるF0となる第3の設定モードに設定する。
 これにより、電子機器の装着状態の判定結果に基づいて、サンプリング周波数の設定を行うことが可能になる。非装着状態とは、例えば腕時計型の電子機器であれば、ベルトが外された状態に対応する。そのため、ベルトが外された状態でユーザーの手で把持されている状態も非装着状態であるし、完全にユーザーの手から離れて机等の上に放置されている状態も非装着状態である。いずれにせよ、非装着状態ではユーザーのタップ操作による衝撃を加速度センサー10により検出することが難しくなるため、タップ操作の可能性が低いと判定してよく、サンプリング周波数も低く設定する。
 なお、非装着状態で加速度センサー10を第3の設定モードとしたのは、例えば情報表示モードで第1の設定モードとし、情報入力モードで第2の設定モードとするような実施形態を想定したものである。情報表示モードでは、タップ操作の可能性は情報入力モードに比べれば低いものの、タップ操作がないと言い切れるものではなく、比較的低精度ではあってもタップ操作は検出可能とすることが望ましい。例えば第1の設定モードではサンプリング周波数を200Hz程度として、70%程度の検出精度を確保するとよい。それに対して、非装着状態では上述したようにタップ操作が全く検出できなくても問題は大きくないため、情報表示モードほどのサンプリング周波数は要求されない。つまり、200Hzより小さいサンプリング周波数でも差し支えないため、非装着状態では第1の設定モードとは異なる第3の設定モードとしている。この場合、そもそもタップ操作の検出が不要となるため、タップ操作検出のための閾値は特に設定しなくてもよい。
 なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また電子機器の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
10 加速度センサー、20 生体情報検出センサー、21 LED、
22 フォトダイオード、23 凸部、110 設定部、120 処理部、
130 操作情報取得部、140 操作部、150 通信部、160 装着判定部、
170 表示制御部、180 表示部

Claims (16)

  1.  加速度センサーの加速度検出のサンプリング周波数を設定する設定部と、
     前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行う処理部と、
     操作部からの操作情報を取得する操作情報取得部と、
     情報の通信処理を行う通信部と、
     を含み、
     前記設定部は、
     前記通信部による前記情報の受信を検出した場合、又は前記操作情報取得部による前記操作情報の取得を検出した場合に、前記サンプリング周波数を、検出前の前記サンプリング周波数F1に比べて高い周波数であるF2に設定することを特徴とする電子機器。
  2.  請求項1において、
     生体情報を検出する生体情報検出センサーを含み、
     前記処理部は、
     前記加速度センサーからの前記センサー情報である体動情報に基づいて、前記生体情報検出センサーからの生体情報に対する補正処理を行うとともに、
     前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行うことを特徴とする電子機器。
  3.  請求項1において、
     前記処理部は、
     前記電子機器の動作モードのモード切替処理を行い、
     前記設定部は、
     前記処理部において、前記操作情報に基づいて、前記電子機器の前記動作モードを第1のモードから第2のモードに切り替える前記モード切替処理が行われた場合に、前記サンプリング周波数をF1からF2に変更する設定を行うことを特徴とする電子機器。
  4.  請求項3において、
     前記第1のモードは、情報の表示を行う情報表示モードであり、
     前記第2のモードは、外部からの情報の入力を受け付ける情報入力モードであり、
     前記設定部は、
     前記処理部において、前記操作情報に基づいて、前記電子機器の前記動作モードが前記情報表示モードから前記情報入力モードに切り替える前記モード切替処理が行われた場合に、前記サンプリング周波数をF1からF2に変更する設定を行うことを特徴とする電子機器。
  5.  請求項4において、
     表示部における情報の表示制御を行う表示制御部を含み、
     前記動作モードが前記情報入力モードの場合に、
     前記処理部は、
     前記サンプリング周波数がF2である前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行い、
     前記表示制御部は、
     前記処理部で前記タップ操作が検出された場合に、前記表示部に表示される表示画像を遷移させる前記表示制御を行うことを特徴とする電子機器。
  6.  請求項4又は5において、
     前記動作モードが前記情報入力モードであって、
     所与の期間、前記操作情報の取得が検出されず、且つ前記処理部において前記タップ操作が非検出である場合に、
     前記処理部は、
     前記動作モードを、前記情報入力モードから前記情報表示モードに切り替える前記モード切替処理を行い、
     前記設定部は、
     前記サンプリング周波数をF2からF1に変更する設定を行うことを特徴とする電子機器。
  7.  加速度センサーの加速度検出のサンプリング周波数を設定する設定部と、
     前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行う処理部と、
     電子機器の装着状態を判定する装着判定部と、
     を含み、
     前記設定部は、
     前記装着判定部により前記電子機器が非装着状態であると判定された場合に、前記サンプリング周波数を、判定前の前記サンプリング周波数F2に比べて低い周波数であるF1に設定することを特徴とする電子機器。
  8.  加速度センサーの加速度検出のサンプリング周波数及びタップ操作の判定の閾値を設定する設定部と、
     前記加速度センサーからのセンサー情報に基づいて、前記タップ操作の判定を行う処理部と、
     を含み、
     前記設定部は、
     前記加速度センサーの第1の設定モードでは、前記サンプリング周波数をF1に設定するとともに、前記閾値をTh1に設定し、
     前記加速度センサーの第2の設定モードでは、前記サンプリング周波数をF1よりも高い周波数であるF2に設定するとともに、前記閾値をTh1よりも大きな値であるTh2に設定することを特徴とする電子機器。
  9.  請求項8において、
     生体情報を検出する生体情報検出センサーを含み、
     前記処理部は、
     前記加速度センサーからの前記センサー情報である体動情報に基づいて、前記生体情報検出センサーからの生体情報に対する補正処理を行うとともに、
     前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行うことを特徴とする電子機器。
  10.  請求項8において、
     前記設定部は、
     前記電子機器を装着するユーザーが運動状態にあると判定された場合に、前記加速度センサーの設定モードを前記第2の設定モードに設定することを特徴とする電子機器。
  11.  請求項8乃至10のいずれかにおいて、
     前記設定部は、
     情報の表示を行う情報表示モードでは前記第1の設定モードに設定し、外部からの情報の入力を受け付ける情報入力モードでは前記第2の設定モードに設定することを特徴とする電子機器。
  12.  請求項11において、
     表示部における情報の表示制御を行う表示制御部を含み、
     前記設定部により前記加速度センサーが前記情報入力モードに対応する前記第2の設定モードに設定されている場合に、
     前記処理部は、
     前記サンプリング周波数がF2に設定され、前記閾値がTh2に設定された前記加速度センサーからの前記センサー情報に基づいて、前記タップ操作の判定を行い、
     前記表示制御部は、
     前記処理部で前記タップ操作が検出された場合に、前記表示部に表示される表示画像を遷移させる前記表示制御を行うことを特徴とする電子機器。
  13.  請求項8乃至10のいずれかにおいて、
     前記処理部は、
     前記加速度センサーの所定軸方向での正方向の信号値と、前記正方向での前記閾値であるTh+との比較処理、及び、前記加速度センサーの前記所定軸方向での負方向の前記信号値と、前記負方向での前記閾値であるTh-との比較処理の少なくとも一方の比較処理に基づいて、前記タップ操作の判定を行うことを特徴とする電子機器。
  14.  請求項8乃至10のいずれかにおいて、
     前記電子機器の装着状態を判定する装着判定部を含み、
     前記設定部は、
     前記装着判定部により前記電子機器が非装着状態であると判定された場合に、前記加速度センサーを、前記サンプリング周波数の値がF1よりも低い周波数であるF0となる第3の設定モードに設定することを特徴とする電子機器。
  15.  加速度センサーの加速度検出のサンプリング周波数を設定する設定処理を行い、
     設定された前記サンプリング周波数による前記加速度センサーからのセンサー情報に基づいて、タップ操作の判定を行うタップ判定処理を行い、
     前記設定処理として、
     通信部による前記情報の受信を検出した場合、又は操作情報の取得を検出した場合に、前記サンプリング周波数を、検出前の前記サンプリング周波数F1に比べて高い周波数であるF2に設定する処理を行うことを特徴とするタップ操作検出方法。
  16.  加速度センサーの加速度検出のサンプリング周波数及びタップ操作の判定の閾値を設定する設定処理を行い、
     設定された前記サンプリング周波数及び前記閾値による前記加速度センサーからのセンサー情報に基づいて、前記タップ操作の判定を行うタップ判定処理を行い、
     前記設定処理として、
     前記加速度センサーの第1の設定モードでは、前記サンプリング周波数をF1に設定するとともに、前記閾値をTh1に設定し、
     前記加速度センサーの第2の設定モードでは、前記サンプリング周波数をF1よりも高い周波数であるF2に設定するとともに、前記閾値をTh1よりも大きな値であるTh2に設定する処理を行うことを特徴とするタップ操作検出方法。
PCT/JP2014/002773 2013-06-07 2014-05-27 電子機器及びタップ操作検出方法 WO2014196156A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14807057.6A EP3007042A4 (en) 2013-06-07 2014-05-27 Electronic device and tap operation detection method
CN201480029848.5A CN105264467B (zh) 2013-06-07 2014-05-27 电子设备及点击操作检测方法
US14/895,887 US10241564B2 (en) 2013-06-07 2014-05-27 Electronic apparatus and method of detecting tap operation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-120587 2013-06-07
JP2013120587A JP2014238695A (ja) 2013-06-07 2013-06-07 電子機器及びタップ操作検出方法
JP2013-120588 2013-06-07
JP2013120588A JP2014238696A (ja) 2013-06-07 2013-06-07 電子機器及びタップ操作検出方法

Publications (1)

Publication Number Publication Date
WO2014196156A1 true WO2014196156A1 (ja) 2014-12-11

Family

ID=52007817

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002773 WO2014196156A1 (ja) 2013-06-07 2014-05-27 電子機器及びタップ操作検出方法

Country Status (4)

Country Link
US (1) US10241564B2 (ja)
EP (1) EP3007042A4 (ja)
CN (1) CN105264467B (ja)
WO (1) WO2014196156A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004567A (ja) * 2013-06-20 2015-01-08 カシオ計算機株式会社 携帯表示装置及び操作検出方法
CN106484088A (zh) * 2015-09-02 2017-03-08 腾讯科技(深圳)有限公司 智能移动终端的控制方法、装置和智能移动终端
EP3267287A4 (en) * 2015-03-05 2018-02-21 Fujitsu Limited Input detection method, input detection program, and device
US11209908B2 (en) 2017-01-12 2021-12-28 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI611321B (zh) * 2016-04-29 2018-01-11 和碩聯合科技股份有限公司 可攜式電子裝置及其控制方法
KR20170138667A (ko) * 2016-06-08 2017-12-18 삼성전자주식회사 어플리케이션을 활성화하는 방법 및 이를 제공하는 전자 장치
CN106175667A (zh) * 2016-06-23 2016-12-07 北京理工大学 一种穿戴式冲击检测设备及控制方法
JP2018077606A (ja) 2016-11-08 2018-05-17 セイコーエプソン株式会社 携帯型電子装置、表示方法、表示システム、プログラム、および記憶媒体
US10664579B2 (en) * 2017-05-10 2020-05-26 Haptic One, Inc. Programmable rhythm detection locking system and method thereof
JP7205150B2 (ja) * 2018-10-09 2023-01-17 カシオ計算機株式会社 電子機器、情報処理方法及び情報処理プログラム
CN111854738A (zh) * 2020-06-22 2020-10-30 厦门亿联网络技术股份有限公司 一种基于三轴加速度计的人体运动状态检测方法及装置
CN111750981A (zh) * 2020-07-22 2020-10-09 西安交通大学 变压器振动加速度检测系统、控制方法及装置
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置
CN116737290A (zh) * 2022-09-30 2023-09-12 荣耀终端有限公司 指关节敲击事件的识别方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999040843A1 (fr) * 1998-02-16 1999-08-19 Seiko Epson Corporation Dispositif de mesure d'informations relatives a l'organisme
JP2002094657A (ja) * 2000-09-20 2002-03-29 Sony Corp 携帯通信端末
JP2006288970A (ja) 2005-04-14 2006-10-26 Matsushita Electric Works Ltd 活動量計
JP2008246176A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Works Ltd 体動計測機器
WO2011115060A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
JP2013003911A (ja) * 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145572B2 (en) 1999-02-01 2006-12-05 Microsoft Corporation Methods and apparatus for improving the quality of displayed images through the use of display device and display condition information
JP2001086233A (ja) 1999-07-13 2001-03-30 Denso Corp 照明機能付携帯機器
US20050172311A1 (en) * 2004-01-31 2005-08-04 Nokia Corporation Terminal and associated method and computer program product for monitoring at least one activity of a user
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7180502B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US7365735B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7176887B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Environmental modeling for motion controlled handheld devices
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7903084B2 (en) 2004-03-23 2011-03-08 Fujitsu Limited Selective engagement of motion input modes
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7365736B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7180501B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Gesture based navigation of a handheld user interface
WO2005103863A2 (en) 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US7301528B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7176886B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
KR100937572B1 (ko) 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3d 포인팅 장치 및 방법
JP2006292690A (ja) 2005-04-14 2006-10-26 Asahi Kasei Electronics Co Ltd 落下判定装置及び落下判定方法
JP2011090421A (ja) 2009-10-21 2011-05-06 Rohm Co Ltd モバイル機器
WO2011046208A1 (ja) 2009-10-16 2011-04-21 ローム株式会社 モバイル機器
JP2012095827A (ja) 2010-11-02 2012-05-24 Rohm Co Ltd 見守りシステム
US8795184B2 (en) 2010-07-12 2014-08-05 Rohm Co., Ltd. Wireless plethysmogram sensor unit, a processing unit for plethysmogram and a plethysmogram system
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
JP5743559B2 (ja) * 2011-01-13 2015-07-01 キヤノン株式会社 情報処理装置、その制御方法及びプログラム並びに記録媒体
JP5605269B2 (ja) 2011-02-28 2014-10-15 セイコーエプソン株式会社 拍動検出装置
JP5507494B2 (ja) 2011-05-13 2014-05-28 レノボ・シンガポール・プライベート・リミテッド タッチ・スクリーンを備える携帯式電子機器および制御方法
EP2755551B1 (en) 2011-09-16 2016-08-17 Koninklijke Philips N.V. Device and method for estimating the heart rate during motion
KR20130126760A (ko) * 2012-03-05 2013-11-21 한국전자통신연구원 인체 착용밴드에서의 직물형 인터페이스 장치 및 그 방법
KR20140046813A (ko) * 2012-10-11 2014-04-21 삼성전자주식회사 터치 감지 장치 및 그것의 구동 방법
US20140168057A1 (en) * 2012-12-13 2014-06-19 Qualcomm Incorporated Gyro aided tap gesture detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999040843A1 (fr) * 1998-02-16 1999-08-19 Seiko Epson Corporation Dispositif de mesure d'informations relatives a l'organisme
JP2002094657A (ja) * 2000-09-20 2002-03-29 Sony Corp 携帯通信端末
JP2006288970A (ja) 2005-04-14 2006-10-26 Matsushita Electric Works Ltd 活動量計
JP2008246176A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Works Ltd 体動計測機器
WO2011115060A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
JP2013003911A (ja) * 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3007042A4
SHIN NORIEDA ET AL.: "ArmKeypad : A New Input Interface by Tapping on User's Arm", JOURNAL OF HUMAN INTERFACE SOCIETY, vol. 13, no. 4, 25 November 2011 (2011-11-25), pages 315 - 322, XP008181608 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004567A (ja) * 2013-06-20 2015-01-08 カシオ計算機株式会社 携帯表示装置及び操作検出方法
US9501148B2 (en) 2013-06-20 2016-11-22 Casio Computer Co., Ltd. Portable display device and operation detecting method
EP3267287A4 (en) * 2015-03-05 2018-02-21 Fujitsu Limited Input detection method, input detection program, and device
CN106484088A (zh) * 2015-09-02 2017-03-08 腾讯科技(深圳)有限公司 智能移动终端的控制方法、装置和智能移动终端
US11209908B2 (en) 2017-01-12 2021-12-28 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
EP3007042A4 (en) 2017-06-28
EP3007042A1 (en) 2016-04-13
US20160132102A1 (en) 2016-05-12
CN105264467A (zh) 2016-01-20
US10241564B2 (en) 2019-03-26
CN105264467B (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
WO2014196156A1 (ja) 電子機器及びタップ操作検出方法
US10095186B2 (en) User interface activation
CN106462685B (zh) 可穿戴电子设备及保护其的方法
CN106933425B (zh) 一种防止误触的方法和装置
KR20150045257A (ko) 웨어러블 디바이스 및 그 제어 방법
US20160193502A1 (en) Method and apparatus for physical exercise assistance
JP2014238696A (ja) 電子機器及びタップ操作検出方法
CN107145219B (zh) 一种显示调整的方法以及显示调整装置
US10185395B2 (en) Input device, information processing device, and input method
US9600177B2 (en) Electronic device with gesture display control and corresponding methods
US10048768B2 (en) Systems and methods for determining input movement
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3009912B1 (en) Terminal device and method for controlling operations
JP2014238695A (ja) 電子機器及びタップ操作検出方法
CN113031840A (zh) 腕戴设备的防误触发方法、装置、电子设备及存储介质
CN108292167B (zh) 信息处理设备、信息处理方法和程序
EP3489802B1 (en) Information processing apparatus, information processing method, and program
CN109040416A (zh) 一种终端显示控制方法、终端及计算机可读存储介质
WO2016194445A1 (ja) 情報処理装置、および情報処理方法
WO2014196155A1 (ja) 電子機器
KR102552885B1 (ko) 웨어러블 기기의 동작 제어 장치 및 방법
WO2023157121A1 (ja) 情報処理装置および情報処理システム
CN215932575U (zh) 智能眼镜控制设备及智能眼镜
JP2016192136A (ja) 表示制御装置
CN114610159A (zh) 智能眼镜控制设备、智能眼镜及智能眼镜交互方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480029848.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14807057

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14895887

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014807057

Country of ref document: EP