WO2019003549A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019003549A1
WO2019003549A1 PCT/JP2018/014438 JP2018014438W WO2019003549A1 WO 2019003549 A1 WO2019003549 A1 WO 2019003549A1 JP 2018014438 W JP2018014438 W JP 2018014438W WO 2019003549 A1 WO2019003549 A1 WO 2019003549A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
user
information processing
calculated
processing apparatus
Prior art date
Application number
PCT/JP2018/014438
Other languages
English (en)
French (fr)
Inventor
徹 伊神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880041816.5A priority Critical patent/CN110785120A/zh
Priority to US16/622,454 priority patent/US11786136B2/en
Priority to JP2019526158A priority patent/JP7031669B2/ja
Priority to EP18824508.8A priority patent/EP3646781A4/en
Publication of WO2019003549A1 publication Critical patent/WO2019003549A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • HRV Heart Rate Variability
  • the HRV index is, for example, an electrocardiogram (ECG) obtained by attaching an electrode or the like to a part of the user's body and measuring it to calculate a heartbeat interval (R-R interval (RRI)). Can be obtained from the calculated RRI.
  • the HRV index can also be acquired from a pulse rate interval (PPI) calculated from a pulse fluctuation that has high correlation with heart rate fluctuation.
  • ECG electrocardiogram
  • PPI pulse rate interval
  • a sensor or the like for detecting heart rate fluctuation or pulse fluctuation has been miniaturized, and it has become possible for the user to wear the sensor and constantly measure the heart rate fluctuation or pulse fluctuation.
  • the measurement is performed also in the state where the user is moving freely (under free movement) such as daily movement, and the state of the user at the time of measurement of the heart rate fluctuation and the pulse fluctuation is rest and in the same posture. It may not be maintained. That is, measurement of heart rate variability and pulse rate variability is not always in a suitable state.
  • the heart rate fluctuation and pulse rate fluctuation measured in such a state may include, for example, noise caused by the user's movement, the measured heart rate fluctuation and pulse rate fluctuation based on these may be included.
  • the reliability of the calculated HRV index may be low. However, even if it is an HRV indicator etc. about the user who can act freely, it is calculated
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of making measurement suitable in measurement of heartbeat fluctuation or pulse fluctuation in a user under free behavior. .
  • An information processing apparatus includes a reliability calculation unit that calculates a reliability, and a control unit that controls various processes based on the calculated reliability.
  • An information processing method including calculating the reliability of an index and controlling various processes based on the calculated reliability.
  • a program for causing a computer to realize a function of calculating the reliability of an index and a function of controlling various processes based on the calculated reliability is provided.
  • an information processing device capable of bringing measurement into a preferable state in measurement of heartbeat fluctuation or pulse fluctuation in a user under free movement. be able to.
  • composition of an information processing system 1 concerning an embodiment of this indication.
  • wear of wearable device 10 concerning the embodiment.
  • composition of server 30 concerning the embodiment.
  • a plurality of components having substantially the same or similar functional configurations may be distinguished by attaching different numerals after the same reference numerals. However, when it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configuration, only the same reference numeral is given. Also, similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, when it is not necessary to distinguish each of similar components in particular, only the same reference numeral is attached.
  • FIG. 1 is an explanatory diagram for explaining a configuration example of the information processing system 1 according to the present embodiment.
  • the information processing system 1 includes a wearable device 10, a server 30, and a user terminal 50, which are communicably connected to each other via a network 70.
  • the wearable device 10, the server 30, and the user terminal (output unit) 50 are connected to the network 70 via a base station (not shown) or the like (for example, a base station of a mobile phone, an access point of a wireless LAN, etc.) Ru.
  • a base station not shown
  • Ru for example, a base station of a mobile phone, an access point of a wireless LAN, etc.
  • any communication method can be applied to the network 70 regardless of wired or wireless (for example, WiFi (registered trademark), Bluetooth (registered trademark), etc.), stable operation is maintained. It is desirable to use a communication scheme that can
  • the wearable device 10 can be a device that can be attached to a part of the user's body (earlobe, neck, arms, wrist, ankle, etc.) or an implant device (implant terminal) inserted into the user's body. More specifically, the wearable device 10 is of various types such as an HMD (Head Mounted Display) type, ear device type, anklet type, bracelet type, collar type, eyewear type, pad type, batch type, and clothes type. Wearable devices can be employed.
  • HMD Head Mounted Display
  • the wearable device 10 has, for example, a PPG (Photo Plethysmo Graphy) sensor unit (pulse wave sensor) 122 that detects a pulse wave signal (beat fluctuation data) due to the pulse of the user and a motion that detects an exercise state due to the user's exercise. Sensors such as the sensor unit 124 are built in (see FIG. 2). The details of the wearable device 10 will be described later.
  • PPG Photo Plethysmo Graphy
  • the wearable device 10 is provided with the PPG sensor unit 122 (see FIG. 2).
  • an ECG (Electrocardiogram) sensor (not shown) for detecting the user's electrocardiogram via an electrode (not shown) attached to the user's body is provided. It is also good. That is, in the embodiments described below, a pulse rate interval (PPI) that can be obtained from a pulse wave signal, or an RR interval that is a heart beat interval that can be obtained from an electrocardiogram (RRI) can be used to calculate a heart rate variability (HRV) index that is a physical index indicating the physical condition of the user.
  • PPI pulse rate interval
  • RRI that is a heart beat interval that can be obtained from an electrocardiogram
  • HRV heart rate variability
  • the server 30 is configured by, for example, a computer.
  • the server 30 processes, for example, the information acquired by the wearable device 10, and transmits the information acquired by the process to another device (for example, the user terminal 50).
  • the details of the server 30 will be described later.
  • the user terminal 50 is a terminal for presenting information provided by the present embodiment (for example, PPI time-series data, HRV index, reliability to be described later, and the like) to a user.
  • the user terminal 50 can be a device such as a tablet PC (Personal Computer), a smartphone, a mobile phone, a laptop PC, a notebook PC, an HMD, or the like.
  • the information processing system 1 which concerns on this embodiment is shown as what contains one wearable device 10 and the user terminal 50, in this embodiment, it is not limited to this.
  • the information processing system 1 according to the present embodiment may include a plurality of wearable devices 10 and a user terminal 50.
  • the information processing system 1 according to the present embodiment may include, for example, another communication device or the like such as a relay device when transmitting information from the wearable device 10 to the server 30.
  • the wearable device 10 may be used as a stand-alone device. In this case, at least a part of the functions of the server 30 and the user terminal 50 are performed in the wearable device 10.
  • FIG. 2 is a block diagram showing the configuration of the wearable device 10 according to the present embodiment.
  • FIG. 3 is an explanatory view for explaining the PPG sensor unit 122 according to the present embodiment.
  • FIG. 4 is an explanatory view showing an example of a pulse wave signal obtained by the PPG sensor unit 122 according to the present embodiment.
  • FIG. 5 is an explanatory view showing an example of PPI time-series data obtained by the PPG sensor unit 122 according to the present embodiment.
  • FIG. 6 is an explanatory view showing a mounting example of the wearable device 10 according to the present embodiment.
  • the wearable device 10 mainly includes an input unit 100, an output unit 110, a sensor unit 120, a control unit 130, a communication unit 140, and a storage unit 150, as shown in FIG. The details of each functional unit of the wearable device 10 will be described below.
  • the input unit 100 receives input of data and commands to the wearable device 10. More specifically, the input unit 100 is realized by a touch panel, a button, a microphone, a drive, and the like.
  • the output unit 110 is a device for presenting information to the user.
  • the output unit 110 outputs various information to the user by image, voice, light, vibration, or the like.
  • the output unit 110 includes a display, a speaker, an earphone, and a light emitting element (for example, light). It is realized by an emitting diode (LED), a vibration module or the like.
  • the function of the output unit 110 may be provided by a user terminal 50 described later.
  • the sensor unit 120 is provided in the wearable device 10 worn on the user's body, and includes a PPG sensor unit 122 that detects a pulse wave signal of the user.
  • the sensor unit 120 may include a motion sensor unit 124 for detecting a motion state of the user.
  • the PPG sensor unit 122 and the motion sensor unit 124 included in the sensor unit 120 will be described below.
  • the PPG sensor unit 122 is attached to a part of the body such as the skin of the user (for example, earlobe, neck, both arms, wrist, ankle, etc.) to detect a pulse wave signal of the user.
  • a pulse wave signal means that blood is sent to the whole body through an artery by contraction of a heart muscle at a constant rhythm (beat, the number of beats in a unit time heart is referred to as a heart rate).
  • a change in pressure occurs on the inner wall of the artery, which is a waveform due to the pulsation of the artery appearing on the body surface or the like.
  • the PPG sensor unit 122 applies light to the blood vessel 202 in the measurement site 200 of the user such as the hand, arm, neck, leg, etc. in order to acquire a pulse wave signal as shown in FIG. It detects light scattered from moving substances and stationary living tissue. Since the irradiated light is absorbed by the red blood cells in the blood vessel 202, the amount of light absorbed is proportional to the amount of blood flowing to the blood vessel 202 in the measurement site 200. Therefore, it is possible to know the change in blood volume flowing by detecting the intensity of the scattered light. Furthermore, it is possible to detect, from changes in blood flow, the waveform of an arterial pulse that changes blood flow, that is, a pulse wave signal. Such a method is called a photoplethysmography (PPG) method.
  • PPG photoplethysmography
  • the PPG sensor unit 122 incorporates a small laser (not shown) or the like capable of irradiating coherent light, and irradiates light having a predetermined wavelength such as, for example, around 850 nm. In the present embodiment, the wavelength of the light emitted by the PPG sensor unit 122 can be appropriately selected. Furthermore, the PPG sensor unit 122 incorporates, for example, a photodiode (Photo Detector: PD), and acquires a pulse wave signal by converting the intensity of the detected light into an electrical signal.
  • the PPG sensor unit 122 may incorporate a charge coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor, or the like instead of the PD. In addition, one or more PDs as described above may be provided in the PPG sensor unit 122.
  • CMOS complementary metal oxide semiconductor
  • the pulse wave signal may be acquired by the laser Doppler method.
  • the laser Doppler method when a laser beam is irradiated to the measurement site 200 of the user, light is scattered by a scattering material (mainly red blood cells) moving in the blood vessel 202 of the user, and the scattered light is Doppler of the blood flow. It is a method using generation of frequency shift by an effect.
  • a pulse wave signal may be detected using a dynamic light scattering (DLS) method.
  • DLS dynamic light scattering
  • the PPG sensor unit 122 can detect a pulse wave signal as time series data having a plurality of peaks as shown in FIG.
  • the peak interval of the plurality of peaks appearing in the pulse wave signal is called a pulse rate interval (PPI).
  • PPI can be acquired by processing the pulse wave signal detected by the PPG sensor unit 122.
  • An example of PPI time-series data acquired in this manner is shown in FIG. It is known that the value of each PPI fluctuates with time as shown in FIG. 5, but is approximately normally distributed when the user's state is stable.
  • HRV Heart Rate Variability
  • the motion sensor unit 124 detects a change in acceleration generated as the user operates, and detects the state of the user. Based on the detected state of the user, the reliability as an index indicating whether the pulse wave signal at that time is appropriately measured is calculated. The details of the reliability will be described later.
  • the motion sensor unit 124 includes an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like.
  • the motion sensor unit 124 may be an imaging device (not illustrated) that images a user using various elements such as an imaging element and a lens for controlling the formation of an object image on the imaging element. Good. In this case, the user's operation or the like is captured in the image captured by the imaging device.
  • the motion sensor unit 124 may include an infrared sensor, an ultrasonic sensor, or the like (not shown) capable of recognizing the user's operation.
  • such an imaging device, an infrared sensor, etc. may be installed as a separate device from the wearable device 10 around a user.
  • the motion sensor unit 124 may include a positioning sensor (not shown).
  • the positioning sensor is a sensor that detects the position of the user to which the wearable device 10 is attached, and specifically, may be a GNSS (Global Navigation Satellite System) receiver or the like.
  • the positioning sensor can generate sensing data indicating the latitude and longitude of the current position of the user based on the signal from the GNSS satellite, and can detect the movement (motion) of the user from the change in the sensing data.
  • RFID Radio Frequency Identification
  • Wi-Fi access point Wi-Fi access point
  • wireless base station etc.
  • such a communication device is used as the above-mentioned positioning sensor It is also possible.
  • the sensor unit 120 may include various biometric sensors (not shown).
  • the biological sensor is a sensor that detects biological information indicating the state of the user.
  • the biological sensor is, for example, one or more sensors attached directly or indirectly to a part of the user's body and measuring the user's brain waves, respiration, sweating, myoelectric potential, skin temperature, skin electrical resistance, etc. including.
  • the sensor unit 120 may also include other various sensors such as the pressure sensor unit 14 (see FIG. 23).
  • the sensor unit 120 may incorporate a clock mechanism (not shown) for grasping the accurate time, and may associate the time at which the pulse wave signal or the like is acquired with the acquired pulse wave signal or the like.
  • the PPG sensor unit 122 and the motion sensor unit 124 which are the two sensors of the sensor unit 120, may be provided in separate wearable devices 10. Since the configuration of each wearable device 10 can be made compact by doing so, each wearable device 10 can be attached to various parts of the user's body.
  • the control unit 130 may be provided in the wearable device 10 to control each block of the wearable device 10 or to obtain PPI time-series data from the pulse wave signal output from the PPG sensor unit 122 described above. it can.
  • the control unit 130 is realized by, for example, hardware such as a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM).
  • the function of the control unit 130 may be provided by the server 30 or the user terminal 50 described later.
  • the communication unit 140 is provided in the wearable device 10, and can transmit and receive information to and from an external device such as the server 30 and the user terminal 50.
  • the communication unit 140 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 140 is realized by a communication device such as a communication antenna, a transmission / reception circuit, or a port.
  • the storage unit 150 is provided in the wearable device 10, and stores programs, information, and the like for the control unit 130 described above to execute various processes, and information obtained by the processes.
  • the storage unit 150 is realized by, for example, a non-volatile memory such as a flash memory.
  • the wearable device 10 various types of wearable devices such as an eyewear type, an ear device type, a bracelet type, and an HMD type can be adopted.
  • An example of the appearance of the wearable device 10 is shown in FIG.
  • the wearable device 10 shown in FIG. 6 is a watch-type wearable device worn on the wrist of the user.
  • FIG. 7 is a block diagram showing the configuration of the server 30 according to the present embodiment.
  • the server 30 includes, for example, a computer.
  • the server 30 mainly includes an input unit 300, an output unit 310, a control unit 330, a communication unit 340, and a storage unit 350. The details of each functional unit of the server 30 will be described below.
  • the input unit 300 receives input of data and commands to the server 30. More specifically, the input unit 300 is realized by a touch panel, a keyboard or the like.
  • the output unit 310 includes, for example, a display, a speaker, a video output terminal, an audio output terminal, and the like, and outputs various types of information as an image or audio.
  • the control unit 330 is provided in the server 30, and can control each block of the server 30. Specifically, the control unit 330 performs, in the server 30, a detection process for detecting an abnormal value from a pulse wave signal (pulsation fluctuation data), a correction process for correcting the pulse wave signal, and a pulse wave. It controls various processes such as calculation processing for calculating an HRV index (physical index) from a signal.
  • the control unit 330 is realized by, for example, hardware such as a CPU, a ROM, and a RAM. The control unit 330 may execute part of the functions of the control unit 130 of the wearable device 10. The details of the control unit 330 will be described later.
  • the communication unit 340 is provided in the server 30, and can transmit and receive information with external devices such as the wearable device 10 and the user terminal 50.
  • the communication unit 340 is realized by a communication device such as a communication antenna, a transmission / reception circuit, or a port.
  • the storage unit 350 is provided in the server 30, and stores programs and the like for the control unit 330 described above to execute various processes, and information obtained by the processes. More specifically, the storage unit 350 can store a database (DB) 352 (see FIG. 8) and the like including time series data of PPI acquired from the wearable device 10 worn by a plurality of users. .
  • the storage unit 350 is realized by, for example, a magnetic recording medium such as a hard disk (Hard Disk: HD) or a non-volatile memory.
  • the HRV index used when evaluating the degree of mental stress and the autonomic nervous function is, for example, calculating RRI by heart rate fluctuation (electrocardiogram) and acquiring it from the calculated RRI it can. Furthermore, the HRV index can also be obtained from PPI calculated from pulse fluctuation that is highly correlated with heart rate fluctuation. Since such heart rate fluctuations and pulse rate fluctuations are affected not only by changes in the user's autonomic nervous system, but also by changes in the user's physical condition, the user's state at the time of measurement is maintained at rest and in the same posture. It is desirable that it is done.
  • a sensor or the like for detecting heart rate fluctuation or pulse fluctuation has been miniaturized, and it has become possible for the user to wear the sensor and constantly measure the heart rate fluctuation or pulse fluctuation.
  • the measurement is performed also in the state where the user is moving freely (under free movement) such as daily movement, and the state of the user at the time of measurement of the heart rate fluctuation and the pulse fluctuation is rest and in the same posture. It can not be said that it is maintained.
  • the heart rate fluctuation and pulse rate fluctuation measured in such a state may include, for example, noise caused by the user's movement, the measured heart rate fluctuation and pulse rate fluctuation based on these may be included. In some cases, the reliability of the calculated HRV index may be low.
  • the present inventor calculates the reliability of the measurement of the heart rate fluctuation and the pulse fluctuation, presents the calculated reliability with the HRV index to the user, and measures the state of the user. I thought about leading to an ideal state. For example, when a low reliability is presented from the information processing system 1 according to the embodiment of the present disclosure, the user is guided to an operation of maintaining the same posture in an effort to improve the reliability. It will be done. As a result, since the user's state approaches an ideal state for measurement, the measurement of the user's heart rate fluctuation or pulse fluctuation can transition to a suitable state. Furthermore, the inventor of the present invention feeds back the calculated reliability to the control of the information processing system 1 to calculate the HRV index with high accuracy, reduce the battery consumption, and the like. We have also conceived of controlling the
  • an information processing apparatus an information processing method, and a program capable of bringing measurement into a preferable state are proposed in the measurement of heartbeat fluctuation or pulse fluctuation in a user under free behavior.
  • heart rate fluctuation and pulse fluctuation data may be abnormal due to, for example, "user's body movement", “body characteristics”, “measurement equipment noise”, “measurement algorithm error”, etc. May contain values (noise).
  • HRV index When the HRV index is calculated using the heartbeat fluctuation and pulse fluctuation data including such an abnormal value, the HRV index may deviate from the correct HRV index to be originally calculated. Therefore, when calculating the HRV index, it is required to cope with the above-mentioned abnormal value in order to avoid deviation from the correct HRV index to be originally calculated.
  • the present inventor detects an abnormal value (noise) with high accuracy from data of heartbeat fluctuation and pulse fluctuation, and corrects heartbeat fluctuation and pulse fluctuation data based on the detected abnormal value. I thought about that. By doing this, it is possible to avoid that the calculated HRV index deviates from the original correct HRV index to be calculated. That is, in the present disclosure described below, an information processing apparatus, an information processing method, and a program capable of improving the accuracy of an HRV index calculated based on measurement data of heartbeat fluctuation or pulse fluctuation are proposed. Hereinafter, such embodiments of the present disclosure will be sequentially described in detail.
  • FIG. 8 is a block diagram showing the configuration of the control unit 330 according to the present embodiment.
  • the control unit 330 mainly includes a detection unit 332, a detection correction control unit 334, a correction unit 336, a reliability calculation unit 338, and an HRV index calculation unit 342.
  • the details of each functional unit of the control unit 330 will be described below.
  • the detection unit 332 detects an abnormal value from time-series data of PPI.
  • the abnormal value refers to a value that is largely deviated statistically in the time-series data of PPI, that is, the data group of PPI values due to noise such as external shock.
  • the detection unit 332 generates a data string in which a flag indicating an abnormal value is added to the PPI value estimated to be an abnormal value in the PPI time-series data, and the correction unit 336 described later Output. For example, the detection unit 332 assigns “1” to a PPI value estimated to be an abnormal value, and “0” to a PPI value estimated to be a normal value. The details of the detection of the abnormal value by the detection unit 332 will be described later.
  • the detection correction control unit 334 corrects various parameters used to detect an abnormal value in the detection unit 332 described above. For example, the detection correction control unit 334 calculates the average value and the standard deviation from the data group of PPI values acquired from the pulse wave signal of the user measured in the past, and the various parameters described above based on the calculated average value etc. Update In this way, since the abnormal value can be detected using parameters suitable for each user, the accuracy of detecting the abnormal value can be improved. Note that the update of the parameter by the detection correction control unit 334 may be performed periodically, or may be performed when the user selects to perform the update.
  • the detection correction control unit 334 does not update the parameter. Further, details of updating of various parameters by the detection correction control unit 334 will be described later.
  • the correction unit 336 performs correction processing such as interpolation or removal of an abnormal value on the PPI time-series data to which the abnormal flag obtained from the detection unit 332 is added.
  • the contents of the correction process performed by the correction unit 336 can be selected according to the type of HRV index calculated by the HRV index calculation unit 342 described later.
  • the correction unit 336 may select the content of the correction process according to the expression pattern of the abnormal value.
  • the time-series data of PPI corrected by the correction unit 336 is output to the HRV index calculation unit 342 described later. The details of the correction processing by the correction unit 336 will be described later.
  • the reliability calculation unit 338 determines PPI time-series data obtained from the pulse wave signal or time-series data of the PPI from the viewpoint of whether or not the user's state is appropriate for measurement when measuring the pulse wave signal. Calculate the reliability of the HRV indicator obtained from Generally, when HRV index is calculated for mental stress level evaluation or autonomic nervous function evaluation, the user's condition at the time of measurement of pulse wave signal as these basic data is rest and same posture It is desirable to be maintained. This is because the pulse wave signal to be measured is affected not only by the change of the user's autonomic nervous system but also by the change of the user's physical condition.
  • the reliability calculation unit 338 detects the state of the user at the time of measurement of the pulse wave signal, for example, by using the acceleration data of the motion sensor unit 124 of the wearable device 10, and calculates the reliability based on the detection result. .
  • the reliability calculated by the reliability calculation unit 338 is, for example, presented to the user by being output to the user terminal 50 or the like, or is output to the wearable device 10 and used to control the wearable device 10.
  • the reliability is output to another functional unit (for example, an HRV index calculator 342 described later) of the server 30, and is used for control of processing in the other functional unit.
  • another functional unit for example, an HRV index calculator 342 described later
  • the said reliability is also influenced by the mounting state of the PPG sensor part 122 at the time of the measurement of a pulse wave signal, it can also be calculated based on the said mounting state. Details of the calculation of the reliability in the reliability calculation unit 338 will be described later.
  • the HRV index calculation unit 342 calculates various HRV indexes using the PPI time-series data corrected by the correction unit 336.
  • the HRV index calculation unit 342 calculates, for example, Root Mean Square Successive Difference (RMSSD), Standard Deviation of Normal to Normal Interval (SDNN), LF / HF, or the like as the HRV index.
  • RMSSD Root Mean Square Successive Difference
  • SDNN Standard Deviation of Normal to Normal Interval
  • LF / HF or the like as the HRV index.
  • these calculated HRV indexes can be further processed and used for evaluation of the sleep state, evaluation of the degree of mental stress, evaluation of the degree of relaxation, evaluation of the degree of concentration, and the like by the user.
  • the HRV index and the like calculated by the HRV index calculation unit 342 in this manner are output to the user terminal 50 and the like, and are presented to the user, for example.
  • RMSSD is the square root of the mean value of the squares of the differences of PPI values adjacent to each other in time series.
  • the RMSSD is considered to be an indicator of the state of tension of the vagus nerve which is one of the cranial nerves.
  • SDNN is the standard deviation of a data set of PPI values within a predetermined period of time (e.g., 120 seconds).
  • the SDNN is considered to be an indicator of the activity of the autonomic nervous system including both sympathetic and parasympathetic nerves.
  • LF / HF is the ratio of the power spectrum of low frequency components (eg 0.004 to 0.15 Hz) to the power spectrum of high frequency components (eg 0.15 to 0.4 Hz) of PPI time series data is there.
  • LF / HF is considered to be an index indicating the balance between the sympathetic nervous system and the parasympathetic nervous system. When LF / HF is high, the sympathetic nerve is dominant, and when the LF / HF is low, the parasympathetic nerve is dominant. It is considered to indicate a certain state.
  • FIG. 9 is an explanatory view showing a data flow according to the present embodiment.
  • the pulse wave signal detected by the PPG sensor unit 122 provided in the wearable device 10 is detected by the control unit 130 of the wearable device 10 (or may be the control unit 330 of the server 30). Process and obtain PPI time series data. Furthermore, the PPI time-series data is processed by the detection unit 332 of the server 30, and an abnormal value included in the PPI time-series data is detected (detection of an abnormal value). Then, based on the detected abnormal value, the correction unit 336 corrects the PPI time-series data, and outputs the PPI time-series data with the abnormal value corrected to the HRV index calculation unit 342 (correction of abnormal value).
  • the reliability calculation part 338 of the server 30 calculates reliability (calculation of reliability) using the acceleration data etc. of the motion sensor part 124 which the wearable device 10 has. Furthermore, the HRV index calculation unit 342 calculates the HRV index based on the PPI time series data with the abnormal value corrected, and outputs the calculated HRV index together with the reliability to the user terminal 50 (output of reliability (output of reliability) ). The details of the processing at each stage of the information processing method according to the present embodiment will be described below.
  • an abnormal PTI value of continuous predetermined period is extracted from acquired time series data of PPI, and an abnormality is obtained by typifying the extracted time series data of PPI.
  • Outliers are detected by comparison with the expression pattern of the values. That is, according to the present embodiment, detection of an abnormal value is performed because a plurality of PPI values are determined at one time instead of determining whether the value is an abnormal value or not for each PPI value included in time series data of PPI. Processing and processing time relating to
  • FIGS. 10 and 11 are explanatory diagrams showing an example of appearance patterns of the classified abnormal values according to the present embodiment. Experiments and observations are made in advance, and a period of a predetermined length of PPI time series data determined to contain an abnormal value based on the observation result is extracted, and the behavior of the extracted period is categorized, The expression patterns of eight outliers are shown in FIG. 10 and FIG. Specifically, in the expression pattern of each outlier having a predetermined length period, five continuous PPI values (indicated by black dots in the figure) are included, and it is further determined that the outlier is PPI values are indicated by circles in the figure. In the embodiment described below, an abnormal value is determined by determining whether or not newly acquired PPI time-series data apply to the expression pattern of such an abnormal value, based on the magnitude relationship of numerical values. To detect
  • PPI time-series data of a predetermined length period including five PPI values is extracted from the beginning of the obtained PPI time-series data.
  • five PPI values included in the extracted PPI time-series data are respectively set as p n , p n + 1 , p n + 2 , p n + 3 , and p n + 4 in time-series order.
  • each parameter roc, th roc1 , th roc2 , th eto1 , th for detecting an abnormal value is used using the following formulas (1) to (5).
  • Calculate eto2 e.
  • th roc1 , th roc2 , th eto1 , and th eto2 are obtained by performing statistical processing on time series data of a plurality of PPIs obtained by performing measurement of pulse wave signals a plurality of times for various users in advance.
  • th roc1 , th roc2 , th eto1 and th eto2 are assumed to be predetermined fixed values.
  • (alpha) contained in Numerical formula (2)-(5) is a value previously determined based on experiment, observation, etc., for example, can be set with 1.0.
  • a flag indicating that the value is an abnormal value is added to the abnormal value detected as described above. Further, PPI time-series data of a predetermined length period including the following five PPI values is extracted from the obtained PPI time-series data, and the above-described abnormal value detection is performed. Then, the above-described abnormal value detection is repeatedly performed until the processing on the PPI value of the end point of the acquired PPI time-series data is completed.
  • the present embodiment is not limited to such a method.
  • detection of an abnormal value is performed by determining whether the time series data of PPI of the extracted predetermined length period corresponds to the expression pattern of four abnormal values instead of eight. May be
  • each of the parameters th roc1 , th roc2 , th eto1 , and th eto2 used for detecting the abnormal value is described as being a predetermined fixed value.
  • the respective parameters th roc1 , th roc2 , th eto1 , and th eto2 are not limited to fixed values, but may be dynamically changing values.
  • the tendency of the pulse wave signal of the user differs depending on the physical characteristics of the user, and further changes according to the measured time, the age of the user, and the physical condition. Therefore, in order to detect an abnormal value with high accuracy, it is preferable to use the parameters th roc1 , th roc2 , th eto1 and th eto2 reflecting the influence of the user's body characteristics and the like.
  • a pulse wave signal of a user when a pulse wave signal of a user is newly measured, for example, time-series data of PPI obtained from the pulse wave signal of the user for the day before the measurement (for example, The average value ⁇ and ⁇ ′ and the standard deviations ⁇ and ⁇ ′ are calculated using PPI time-series data stored in eight DBs 352a. Then, in the present embodiment, based on the calculated average values ⁇ and ⁇ ′ and the standard deviations ⁇ and ⁇ ′, the parameters th roc1 and th roc2 th eto1 and th eto2 are calculated using the above equations (2) to (5).
  • the parameters th roc1 , th roc2 , th eto1 and th eto2 are used in detecting an abnormal value. This is because PPI time-series data obtained from the pulse wave signal of the user for one day can be regarded as data reflecting the physical characteristics and physical condition of the user. Note that the parameters th roc1 , th roc2 , th eto1 and th eto2 should be updated each time a pulse wave signal is newly measured or periodically to reflect the current physical condition of the user. preferable.
  • PPI time series data in a section with high reliability described later may be used.
  • contribution to the average values ⁇ and ⁇ ′ and the standard deviations ⁇ and ⁇ ′ of the time series data of the latest PPI is increased Alternatively, weighting may be performed on PPI time-series data used for calculation.
  • the abnormal value is detected from the acquired time-series data of PPI, and the time-series data of the PPI is corrected based on the detection result. According to this embodiment, since the abnormal value is corrected, it is possible to further improve the accuracy of various HRV indicators acquired from the time-series data of the corrected PPI.
  • the correction of the abnormal value mainly two examples will be described, a method of performing correction according to the type of the HRV index, and a method of performing correction according to the expression pattern of the above-mentioned abnormal value.
  • FIG. 12 is an explanatory diagram for explaining correction of an abnormal value according to the first method of the present embodiment.
  • the upper part of FIG. 12 shows a correction example of Case A in which the section in which an abnormal value is detected is linearly complemented
  • the middle part of FIG. 12 shows a correction example of Case B in which an abnormal value is removed.
  • the lower part of FIG. 12 shows a correction example of case C in which the correction is not performed.
  • the HRV index can be calculated using time series data of PPI corrected by the suitable correction method, and the calculated HRV index Accuracy can be further improved.
  • case A shown in the upper part of FIG. 12 is selected, and the interval in which an abnormal value is detected is linearly complemented.
  • SDNN is calculated as the HRV index
  • Case B shown in the middle of FIG. 12 is selected to remove an abnormal value.
  • case C shown in the lower part of FIG. 12 is selected and correction is not performed.
  • the LF / HF is calculated using the PPI time-series data of the longest section in which there is no abnormal value continuously.
  • FIGS. 13 to 20 are explanatory diagrams for explaining correction of an abnormal value according to the second method of the present embodiment.
  • the correction method is selected in consideration of the occurrence reason of the expression pattern (cases 1 to 8) of the abnormal value shown in FIG. 10 and FIG.
  • the second method since the correction is performed according to the expression pattern of the abnormal value, the correction of the abnormal value can be performed more preferably while considering the reason for the occurrence of the abnormal value. It can be performed.
  • Case 1 is shown in the middle of FIG. 13 by not detecting the correct peak T to be originally detected in the acquired pulse wave signal as shown in the upper row of FIG. 13 but detecting an incorrect peak E. It is a case where such PPI time series data is acquired.
  • PPI time-series data shown in the middle part of FIG. 13 since the erroneous peak E is detected, pn + 1 has a large value and pn + 2 has a small value. That is, p n + 1 and p n + 2 correspond to abnormal values.
  • the detection of the false peak E is caused by the occurrence of the false peak E in the vicinity of the position where the correct peak T to be originally detected should appear due to the DC shift of the pulse wave signal.
  • the original p n + 1 the value becomes smaller than p n + 1 in the middle of FIG. 13
  • the original p n + 2 is p n + 2 shown in the middle of FIG. 13 It is assumed that the value is larger than that. Therefore, in case 1, as shown in the lower part of FIG. 13, ⁇ is calculated according to the following equation (24), and the abnormal value pn + 1 is reduced by ⁇ , and the abnormal value pn + 2 is greatly increased by ⁇ . Make corrections. In this way, an abnormal value caused by the DC shift can be corrected.
  • is a value determined based on experiments, observations, etc. in advance, and can be set to, for example, 1.0. Further, ⁇ included in Expression (22) may be ⁇ used when th roc1 , th roc2 and the like are calculated.
  • pn + 1 is divided into two. Therefore, in case 2, as shown in the lower part of FIG. 14, p ′ n + 1 and p ′ ′ n + 1 are inserted after the abnormal value p n + 1 to perform correction to divide p n + 1 into two.
  • p'n + 1, p'' n + 1 can be calculated according to the following equation (25) and (26). In this way, it is possible to correct an abnormal value caused by an arrhythmia or the like of the user.
  • Equation (25) and Equation (26) is a value determined based on experiments, observations, and the like in advance, and can be set to, for example, 0.5.
  • outliers pn + 1 and pn + 2 having large values are detected.
  • the outliers p n + 1 and p n + 2 are divided into three. Therefore, in the case 3, as shown in the lower part of FIG. 15, the abnormal value p n + 1 as small as 1 minute [Delta] [beta], an abnormal value p n + 2 as small as 2 minutes [Delta] [beta], in the middle of the abnormal value p n + 1, p n + 2 , P ' n + 1 is inserted.
  • p ′ n + 1 can be calculated according to the following equation (27). Note that ⁇ 1 and ⁇ 2 can be determined in advance by values or formulas determined based on experiments, observations, and the like. In this way, an abnormal value caused by impact noise or the like can be corrected.
  • the detection of the false peak E is caused by the occurrence of the false peak E in the vicinity of the position where the correct peak T to be originally detected should appear due to the DC shift of the pulse wave signal.
  • the original pn + 1 has a larger value than the pn + 1 shown in the middle of FIG. 17, and the original pn + 2 is shown in the middle of FIG. It is inferred that the value is smaller than p n + 2 . Therefore, in the case 5, as shown in the lower part of FIG. 17, ⁇ is calculated according to the following equation (29), and the abnormal value pn + 1 is increased by ⁇ , and the abnormal value pn + 2 is decreased by ⁇ . Make corrections. In this way, an abnormal value caused by the DC shift can be corrected.
  • is a value determined based on experiments, observations, and the like in advance, and can be set to, for example, 1.0.
  • the correction of the abnormal value is not limited to the method described above, and is not particularly limited.
  • the correction of the abnormal value may be performed according to the reliability described later.
  • the reliability described later In this case, specifically, for an abnormal value detected in a section of highly reliable PPI time series data, it is estimated that it is caused by some change in the user's autonomic nervous system, and the abnormality is positively abnormal. Choose not to do value correction.
  • an outlier detected in a section of PPI time series data with low reliability it is presumed that it was caused by an external influence such as shock, etc., and the outlier is positively corrected. select.
  • the tendency of time-series data of PPI in the past of the user is learned by machine learning, and the tendency of individual users is The abnormal value may be detected and corrected.
  • the time of the PPI obtained from the pulse wave signal from the viewpoint of whether or not the state of the user is appropriate for the measurement when measuring the pulse wave signal.
  • the HRV index is calculated for mental stress level evaluation or autonomic nervous function evaluation, the user's state at the time of measurement of the pulse wave signal as the basic data of these is rest, and It is desirable to maintain the same posture.
  • the reliability can also be calculated from the viewpoint of whether the mounting state of the PPG sensor unit 122 that detects the pulse wave signal at the time of measurement of the pulse wave signal is in an appropriate state.
  • the reliability of the HRV indicator presented together can be recognized by the user by calculating the reliability from the above viewpoint and presenting the calculated reliability to the user. Further, in the present embodiment, the sensor unit 120 of the wearable device 10 can be controlled or the calculation process of the HRV index can be controlled based on the calculated reliability.
  • various examples of calculation of the reliability according to the present embodiment will be described.
  • acceleration data by the user's operation is acquired from the motion sensor unit 124 worn by the user. Furthermore, in this method, the acceleration norm is calculated from the acquired acceleration data at each sampling timing of the pulse wave signal. Then, in the present method, a plurality of calculated acceleration norms are averaged, for example, every one second, and a plurality of vectors Ai having elements as averaged values obtained by averaging are obtained.
  • the “rest score” Sr indicating the user's level of rest and the small change in the user's posture, ie, the exercise state are indicated.
  • the “posture score” Sp is calculated according to the following equation (33) and equation (34). Sr is assumed to be a small value when the user is in the resting state, and Sp is assumed to be a small value when there is no change in the user's posture.
  • ⁇ ⁇ and ⁇ ⁇ in Equations (33) and (34) above are, in advance, an average value ⁇ i group and a standard deviation calculated from a plurality of vectors Ai obtained from acceleration data in the daily life of various users It is each standard deviation of the ⁇ i group.
  • is a value determined based on experiments, observations, etc. in advance, and can be set to a numerical value of 0 or more and 1 or less.
  • the reliability ri obtained in this manner is presented to the user, for example. At this time, the reliability ri may be presented to the user together with the calculated rest score Sr and posture score Sp.
  • the user can calculate the rest score Sr indicating the user's rest level and the posture score Sp indicating the small change in the user's posture, and the average value ⁇ i and the standard as described above. You may calculate using statistics other than deviation (sigma) i .
  • a rest score Sr and a posture score Sp May be calculated.
  • the reliability ri in each axial direction may be determined using the acceleration data in each axial direction as described above, and the linear sum of the determined reliabilities ri may be used as the final reliability.
  • the posture and the state of the user are estimated from the sensing data acquired by the motion sensor unit 124 using an existing algorithm, and the rest score Sr and the posture score Sp are calculated based on the estimation result. May be More specifically, based on the sensing data acquired by the motion sensor unit 124, it is estimated which state the user is in, such as “sitting”, “standing”, “walking”, or "running".
  • the state of the user and the values of the resting score Sr and the posture score Sp are linked in advance (for example, if the user is “sitting”, Sr is 1.0, the user is “walking” If it is in the state, Sr is 0.5, and if the user is in the "running” state, Sr is previously determined to be 0.0), the value of the rest score Sr based on the above estimation result and The value of the posture score Sp is selected, and the reliability value ri is calculated using the selected value.
  • the state of the user is estimated from the sensing data acquired by the motion sensor unit 124 using an existing algorithm, and within the measurement period of the pulse wave signal. The ratio of the longest posture time may be taken as the resting score Sr.
  • FIG. 21 is an explanatory diagram for explaining the calculation of the reliability according to the second method of the present embodiment. According to this method, it is possible to obtain a rest score Sr indicating the user's rest level without providing the motion sensor unit 124.
  • the resting score Sr indicating the user's resting level can be calculated by quantifying the variation of the DC component (DC component) included in the pulse wave signal in a predetermined period. Therefore, in the present method, a change in the DC component of the pulse wave signal is detected, the above-mentioned rest score Sr is calculated based on the detection result, and the reliability is calculated similarly to the first method using the calculated rest score Sr.
  • the pulse wave signal is a beat component (AC component) corresponding to a change in blood flow due to the user's heart beat, reflected light from blood layers other than the beat and tissues other than blood, And a direct current component (DC component) corresponding to the scattered light.
  • the variance ( ⁇ 2 ) is calculated by statistically processing the variation of the DC component of the pulse wave signal in the measurement period of the pulse wave signal, and the reciprocal of the calculated variance is set as the above-mentioned rest score Sr. It can be used.
  • FIG. 22 is an explanatory diagram for explaining the calculation of the reliability according to the third method of the present embodiment. According to this method, without providing the motion sensor unit 124, it is possible to acquire a posture score Sp indicating a small amount of change in the posture of the user.
  • the pulse wave signal acquired by the PPG sensor unit 122 is data reflecting a change due to the user's pulse, it is possible to obtain the user's pulse rate at a predetermined time by analyzing the pulse wave signal (for example, The pulse rate per minute, which is also called beat per minute (bpm)).
  • the pulse rate per minute which is also called beat per minute (bpm)
  • bpm beat per minute
  • the pulse rate when the user's condition changes, a change occurs accordingly. For example, as shown in FIG. 22, when the state of the user changes from a lying position to a standing position standing up, a change occurs in the pulse rate. More specifically, in the decubitus position, the pulse rate is stabilized at about 60 to 70 bpm, and in the standing position, the pulse rate is changed to about 80 to 100 bpm.
  • the change of the pulse rate can be considered as an index reflecting the smallness of the change of the posture of the user. Therefore, in the present method, for example, the variance ( ⁇ 2 ) can be calculated by statistically processing the variation of the pulse rate in the measurement period of the pulse wave signal, and the reciprocal of the calculated variance can be used as the posture score Sp. .
  • the posture score Sp may be calculated using a heart rate instead of the pulse rate.
  • the reliability r i can also be calculated from the viewpoint of whether the mounting state of the PPG sensor unit 122 that detects the pulse wave signal at the time of measurement of the pulse wave signal is in an appropriate state. Therefore, as an example of a method of calculating the reliability r i, a fourth method of calculating the reliability r i based on the mounting state of the PPG sensor unit 122 will be described with reference to FIG. 23.
  • FIG. 23 is an explanatory diagram for explaining the calculation of the reliability according to the fourth method of the present embodiment, and specifically shows the form of the wearable device 10a according to the present method. According to this method, in view of the mounting state of the PPG sensor unit 122 can calculate the reliability r i.
  • the PPG sensor unit 122 In order to obtain pulse wave signals properly, the PPG sensor unit 122 is required to be worn on a part of the user's body with an appropriate degree of tightening. Therefore, in this method, as shown in FIG. 23, the pressure sensor unit 14 for detecting the mounting state of the PPG sensor unit 122 is provided together with the PPG sensor unit 122 inside the band unit 12 of the watch-type wearable device 10a. . The pressure on the PPG sensor unit 122 at the time of pulse wave signal measurement can be detected by the pressure sensor unit 14, and the mounting state of the PPG sensor unit 122 can be acquired using the detection result.
  • the difference between the pressure when being ideally mounted and the pressure detected by the pressure sensor unit 14 within the pulse wave signal measurement period is used as an index indicating the mounting state of the PPG sensor unit 122.
  • Processing is performed mathematically (for example, the variance ( ⁇ 2 ) is calculated), and the reliability r i is calculated based on the processing result.
  • the mounting state of the PPG sensor unit 122 is not limited to detection by the pressure sensor unit 14 described above, and may be detected by another sensor.
  • the PPG sensor unit 122 in order to properly acquire a pulse wave signal, the PPG sensor unit 122 is required to be in close contact with a part of the user's body. Therefore, a temperature sensor (not shown) may be provided inside the band 12 of the wristwatch-type wearable device 10a and in close contact with the user's skin. The temperature sensor unit may detect the skin temperature of the user, and the detection result may be used to detect the wearing state of the PPG sensor unit 122.
  • the reliability r i can be used to detect the above-mentioned abnormal value can be calculated. Therefore, as an example of a method of calculating the reliability r i, illustrating a fifth method of calculating the reliability r i by using the detection of outliers. If an abnormal value is detected, it is estimated that the user is not in the appropriate state for measuring the pulse wave signal or that the wearing state of the PPG sensor unit 122 is not in the appropriate state at the time of pulse wave signal measurement. Ru. If no abnormal value is detected, it is estimated that the user is in an appropriate state for measuring the pulse wave signal, and that the PPG sensor unit 122 is in an appropriate state when measuring the pulse wave signal. Be done.
  • the reliability r i at a certain measurement period for example, the total number data contained in the time-series data of the PPI in the measurement period is M, the total number data of the PPI value outliers were detected in the measurement period N Then, it can be expressed by the following equation (37).
  • the reliability r i based on the expression pattern of abnormal values in the time-series data of the acquired PPI, it may be calculated reliability r i.
  • the reliability r i at a certain measurement period the total number data contained in the time-series data of the PPI in the measurement period is M, in the measurement period, corresponds to the case of the occurrence pattern of the eight outliers described above
  • the number of outliers in each case determined to be outliers is Ni (i is a natural number of 1 to 8)
  • ⁇ i (i is a natural number of 1 to 8) is a weighting factor determined for each case of the appearance pattern of the abnormal value.
  • the weighting coefficient ⁇ i is based on, for example, time-series data of PPI measured in advance, and environmental information at the time of the measurement (presence or absence of external impact, user's operation pattern, wearing state of wearable device 10, etc.) It can be determined experimentally.
  • the weighting factor ⁇ i may be determined by weighting based on the appearance reason of the abnormal value for each expression pattern of the abnormal value.
  • the method of calculating the reliability r i described above is an example, a method of calculating the reliability r i according to the present embodiment is not limited to the above-described method. Further, the method of calculating the reliability r i described above can also be combined with one another. In this embodiment, for example, the reliability r i obtained by the fifth method described above, the reliability r i calculated from the acceleration data obtained by the motion sensor unit 124 by the first method described above It may be integrated to calculate the final reliability. By combining a method of calculating the thus above reliability r i, it is possible to further improve the accuracy of the reliability r i.
  • Reliability r i calculated as described above for example, by presenting to the user, can recognize both the reliability of the HRV index presented to the user. Further, for example, calculated reliability r i may be used to control the sensor unit 120 of the wearable device 10, even when and controls the calculation of the HRV index. Therefore, describing the various examples of the output method of the reliability r i according to the present embodiment below.
  • FIGS. 24 and 25 are explanatory views for explaining the output of the reliability r i according to the first method of the present embodiment.
  • this method for example, by presenting a low reliability r i to a user, when the user tries to improve the reliability r i, rest, and is guided to the operation that maintains the same orientation It will be.
  • the calculated reliability r i when the calculated reliability r i is lower than a predetermined value, it is assumed that the reliability of the HRV index or the like presented to the user is lowered, the reason for the user , or it may present an alert to seek the improvement of the reliability r i.
  • the presentation of reliability r i to a user may be displayed by changing in accordance with the luminance or the like of the reliability r i, specifically reliability by numbers r i May be displayed, and the method is not particularly limited. In this method, by presenting this way the reliability r i to a user, when the user tries to improve the reliability r i, rest, and, to be induced in operation so as to maintain the same posture It becomes. Further, the user of the reliability of the reliability r i HRV index both presented can easily recognize.
  • a method of improving the reliability r i may be presented to the user.
  • estimates the cause of the reliability r i is decreased, based on the estimation result, the reliability r
  • the user is presented with the reason why i decreased and a method for improving reliability r i . More specifically, when it is estimated that the user has performed a sharp exercise as the cause of the decrease in the reliability r i , the user is asked that "the sudden motion has lowered the reliability" Present the reason that is presumed.
  • the present method in such a case, with respect to the user, such as such as "Please in the rest” and “should be to stabilize the posture", it presents a method to improve the reliability r i. Further, as a cause of reliability r i is lowered, if it is estimated not good mounting state of the PPG sensor 122 to the user, such as such as "Please the reseat wear Bull Devices” , A method for improving the mounting state of the PPG sensor unit 122 is presented. By performing such presentation, the user, since it is possible reliability r i recognizes the lower reason, as compared with the case of presenting only the reliability r i the user can user get a sense of satisfaction it can. Furthermore, the user may a method of improving the reliability r i readily recognize, from being induced to execute the method, improve the accuracy of the pulse wave signal measurement, improve the accuracy of the turn HRV index .
  • the method presented way to improve the reliability r i is not limited to displaying the letter wording such as described above.
  • the reason may be presented to the user by the wearable device 10 vibrating or an LED provided on the wearable device 10 emitting light based on a pattern previously linked to each reason.
  • the operation of the PPG sensor 122 (e.g., light reception operation) Temporary And stop acquiring pulse wave signals. Even reliability r i is based on the pulse wave signal at a low state to calculate the HRV index is due to the inability to obtain a properly reflect the index state of the user. Furthermore, by stopping the operation of the PPG sensor unit 122, the battery consumption in the wearable device 10 can be suppressed. That is, according to the present method, by feeding back the reliability r i to the wearable device 10, can be the measurement operation of the wearable device 10 in a suitable state.
  • the present embodiment is not limited to stopping the operation of the PPG sensor unit 122, and other operations such as communication between the wearable device 10 and the server 30 may be stopped.
  • the detection unit 332 of the reliability r i server 30 may be fed back to the process of the correction unit 336 and the HRV index calculation unit 342. Specifically, when a period in which the reliability r i is lower than a predetermined value continues for a predetermined time (for example, several seconds) or more, appropriate detection of an abnormal value, appropriate correction of an abnormal value, and the like It is determined that it is difficult to calculate an appropriate HRV indicator. Therefore, in this method, in such a case, the detection of the abnormal value by the detection unit 332, the correction of the abnormal value by the correction unit 336, and the calculation of the HRV indicator by the HRV indicator calculation unit 342 are temporarily stopped.
  • the HRV index calculation unit 342 of the server 30 may control the process of calculating the HRV index. Specifically, in this method, excluding the time-series data of the PPI reliability r i is acquired at a lower period than the predetermined value, from the data in calculating the HRV index. By doing this, it is possible to obtain a more reliable HRV indicator. For example, there are cases where it is desirable to use the average value of HRV indicators calculated for a certain user during the most recent month for the user's physical condition management.
  • the reliability by r i is to calculate the average value of the HRV index time series data by excluding the PPI of low period, the average value of the HRV index user state is more accurately reflect Can be acquired and used effectively for managing the physical condition of the user.
  • the An integrated value may be calculated. More specifically, the stress level of the user of one day may be defined as a weighted average of a plurality of SDNNs (a kind of HRV index) calculated during one day.
  • a weighting process in such a case, we have a large weight in the value of SDNN in reliable r i section, a weighting process, as will SDNN in unreliable r i interval gives less weight Do.
  • the influence of SDNN of low reliability r i which could not be adequately measured pulse wave signal section can be suppressed to obtain a reliable degree of stress be able to. That is, according to the present method, by feeding back the reliability r i the calculation processing of the server 30, it is possible to further improve the HRV index and accuracy of stress level etc. calculated by the server 30.
  • the reliability of the measurement of the pulse wave signal is calculated, and the reliability is presented to the user together with the HRV index etc. Can be guided to Further, the calculated reliability is fed back to the control of the wearable device 10 and the server 30 to calculate the HRV index with high accuracy, reduce the battery consumption, and the wearable device 10 and the server 30 are suitable. Can be controlled. That is, according to this embodiment, in the measurement of the pulse wave signal in the user under free action, the said measurement can be made into a suitable state.
  • an abnormal value is accurately detected from PPI time-series data, and an HRV index or the like calculated by correcting PPI time-series data based on the detected abnormal value It is possible to avoid diverging from the correct HRV index etc. to be originally calculated. That is, according to the present embodiment, it is possible to improve the accuracy of the HRV index and the like calculated based on the time-series data of PPI.
  • FIG. 26 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 900 according to this embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the server 30 described above.
  • the information processing apparatus 900 includes, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input / output interface 958, and an operation input device 960.
  • the information processing apparatus 900 further includes a display device 962, a communication interface 968, and a sensor 980. Further, the information processing apparatus 900 connects the respective constituent elements by, for example, a bus 970 as a data transmission path.
  • CPU 950 A control unit (for example, the control unit 130 described above) which controls the entire information processing apparatus 900.
  • the CPU 950 includes, for example, one or more processors including various arithmetic circuits such as a CPU, and various processing circuits. Act as. Specifically, in the information processing apparatus 900, the CPU 950 functions as, for example, the above-described detection unit 332, detection correction control unit 334, correction unit 336, reliability calculation unit 338, HRV index calculation unit 342, and the like.
  • the ROM 952 stores programs used by the CPU 950, control data such as calculation parameters, and the like.
  • the RAM 954 temporarily stores, for example, a program or the like executed by the CPU 950.
  • the recording medium 956 functions as the storage unit 350 described above, and stores, for example, data related to the information processing method according to the present embodiment, various data such as various applications, and the like.
  • the recording medium 956 may be removable from the information processing apparatus 900.
  • the input / output interface 958 connects, for example, the operation input device 960, the display device 962, and the like.
  • Examples of the input / output interface 958 include a universal serial bus (USB) terminal, a digital visual interface (DVI) terminal, a high-definition multimedia interface (HDMI) (registered trademark) terminal, various processing circuits, and the like.
  • the operation input device 960 functions as, for example, the above-described input unit 300, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the display device 962 functions as, for example, the output unit 310 described above, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • Examples of the display device 962 include a liquid crystal display and an organic electro-luminescence display.
  • the input / output interface 958 can also be connected to an external operation input device (for example, a keyboard or a mouse) outside the information processing apparatus 900 or an external display device. Further, the input / output interface 958 may be connected to a drive (not shown).
  • the drive is a reader / writer for a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive reads out the information recorded in the mounted removable recording medium and outputs it to the RAM 954.
  • the drive can also write a record on the attached removable recording medium.
  • the communication interface 968 functions as a communication unit 340 for communicating wirelessly or by wire with an external device such as the server 30 via, for example, the above-described network 70 (or directly).
  • the communication interface 968 for example, a communication antenna and an RF (Radio frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmitting / receiving circuit (wireless communication), an IEEE 802.11 port and a transmitting / receiving circuit (wireless communication) Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wire communication).
  • RF Radio frequency
  • the sensor 980 functions as the sensor unit 120 of the wearable device 10. Furthermore, sensor 980 may include various sensors such as a pressure sensor.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized to the function of each component. Such configuration may be changed as appropriate depending on the level of technology to be implemented.
  • the information processing apparatus 900 does not include the communication interface 968 when performing communication with an external apparatus or the like via the connected external communication device, or when performing a process in a standalone manner. It is also good.
  • the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
  • the information processing apparatus 900 can be configured not to include, for example, the recording medium 956, the operation input device 960, the display device 962, and the like.
  • the information processing apparatus 900 according to the present embodiment is applied to a system including a plurality of apparatuses on the premise of connection to a network (or communication between respective apparatuses), such as cloud computing, for example. Good. That is, the information processing apparatus 900 according to the present embodiment described above can be realized, for example, as an information processing system that performs processing according to the information processing method according to the present embodiment by a plurality of apparatuses.
  • the embodiment of the present disclosure described above may include, for example, a program for causing a computer to function as the information processing apparatus according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Also, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the process of each embodiment described above may not necessarily be processed in the order described.
  • each step may be processed in an appropriate order.
  • each step may be processed partially in parallel or individually instead of being processed chronologically.
  • the processing method of each step may not necessarily be processed along the described method, for example, may be processed in another manner by another functional unit.
  • the following configurations are also within the technical scope of the present disclosure.
  • (1) The pulsation fluctuation data acquired from sensing data acquired by the pulse wave sensor worn by the user, or the reliability of the physical index indicating the physical condition of the user calculated from the pulsation fluctuation data
  • An information processing apparatus comprising: a reliability calculation unit to calculate; and a control unit that controls various processes based on the calculated reliability.
  • (2) The reliability described in the above (1), which is calculated based on at least one of the state of the user, the mounting state of the pulse wave sensor, or the acquired pulsation fluctuation data.
  • Information processing device (3)
  • (3) The information processing apparatus according to (2), wherein the reliability is calculated based on a state of the user acquired by a motion sensor attached to the user.
  • the information processing apparatus (4) The information processing apparatus according to (2), wherein the reliability is calculated based on a mounting state of the pulse wave sensor acquired by a sensor mounted on the user together with the pulse wave sensor. (5) The information processing apparatus according to (1), further including: a detection unit that detects an abnormal value from the pulsation fluctuation data. (6) The information processing apparatus according to (5), wherein the reliability is calculated based on the detected abnormal value. (7) The information processing apparatus according to (5) or (6), wherein the control unit controls the detection unit based on the calculated degree of reliability.
  • the detection unit extracts the pulsation fluctuation data in a section of a predetermined length from the pulsation fluctuation data, and compares the extracted pulsation fluctuation data in the extracted section of the predetermined length with a predetermined pattern.
  • the information processing apparatus according to any one of (5) to (7), which detects the abnormal value by (9)
  • the information processing apparatus according to any one of (5) to (8), wherein the detection unit changes a parameter used when detecting the abnormal value in accordance with a physical property of the user.
  • the information processing apparatus controls the correction unit based on the calculated degree of reliability.
  • the information processing apparatus changes the correction processing according to the type of the physical index to be calculated.
  • the correction unit extracts the pulsation fluctuation data in a section of a predetermined length from the pulsation fluctuation data, and recognizes and recognizes a pattern of the pulsation fluctuation data in the section of the predetermined length extracted.
  • the information processing apparatus according to (10) or (11), wherein the correction processing is changed according to the type of the pattern.
  • the information processing apparatus further including: an index calculation unit that calculates the physical index based on the corrected pulsation fluctuation data.
  • the information processing apparatus controls the index calculation unit based on the calculated degree of reliability.
  • the index calculation unit weights the pulsation fluctuation data or the physical index of each section based on the reliability.
  • the control unit controls the pulse wave sensor based on the reliability.
  • the control unit performs detection processing for detecting an abnormal value from the pulsation fluctuation data, performed in the information processing apparatus, correction processing for correcting the pulsation fluctuation data, and the pulsation fluctuation
  • the information processing apparatus which controls at least one process of calculation processes for calculating the body index from data.
  • the pulsation fluctuation data acquired from sensing data acquired by the pulse wave sensor worn by the user, or the reliability of the physical index indicating the physical condition of the user calculated from the pulsation fluctuation data An information processing method including controlling various processes based on the reliability calculated and calculated.
  • Pulsation fluctuation data acquired from sensing data acquired by the pulse wave sensor worn by the user, or reliability of a physical index indicating the physical condition of the user calculated from the pulsation fluctuation data A program for causing a computer to realize a function to be calculated and a function to control various processes based on the calculated degree of reliability.

Abstract

【課題】自由行動下のユーザにおける心拍変動又は脈拍変動の測定において、測定を好適な状態にすることが可能な、情報処理装置、情報処理方法及びプログラムを提供する。 【解決手段】ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する信頼度算出部と、算出した前記信頼度に基づいて、各種処理を制御する制御部と、を備える情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 精神的ストレス度の評価や自律神経機能の評価を行う際に、心拍変動に基づくHRV(Heart Rate Variability)指標を用いることが知られている。当該HRV指標は、例えば、ユーザの身体の一部に電極等を貼り付けて測定することによって得られた心電図(Electrocardiogram:ECG)により、心拍間隔(R-R間隔(RRI)とも呼ばれる)を算出し、算出したRRIから取得することができる。また、上記HRV指標は、心拍変動と高い相関性を持つ脈拍変動から算出された脈拍間隔(Pulse Rate Interval:PPI)からも取得することができる。このようなRRI等の取得装置としては、下記の特許文献1~3に開示されている。
特開平7-284482号公報 特開2010-162282号公報 特開2009-261419号公報
 近年、心拍変動や脈拍変動を検出するセンサ等が小型化し、ユーザが当該センサを装着し、心拍変動や脈拍変動を常時測定することが可能になった。その結果、ユーザが日常動作等、自由に動いている状態(自由行動下)においても測定が行われることとなり、心拍変動や脈拍変動の測定時のユーザの状態は、安静、且つ、同一姿勢に維持されていない場合がある。すなわち、心拍変動や脈拍変動の測定は、常に好適な状態にあるとはいえない。そして、このような状態において測定された心拍変動や脈拍変動には、例えばユーザの動きに起因したノイズ等が含まれることがあることから、測定された当該心拍変動や脈拍変動、これらに基づいて算出されるHRV指標等の信頼性が低くなる場合がある。しかしながら、自由に行動することが可能なユーザに関するHRV指標等であっても、高い信頼性を有する指標であることが求められる。
 そこで、本開示では、自由行動下のユーザにおける心拍変動又は脈拍変動の測定において、測定を好適な状態にすることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
 本開示によれば、ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する信頼度算出部と、算出した前記信頼度に基づいて、各種処理を制御する制御部と、を備える情報処理装置が提供される。
 また、本開示によれば、ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出し、算出した前記信頼度に基づいて、各種処理を制御することを含む、情報処理方法が提供される。
 さらに、本開示によれば、ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する機能と、算出した前記信頼度に基づいて、各種処理を制御する機能と、をコンピュータに実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、自由行動下のユーザにおける心拍変動又は脈拍変動の測定において、測定を好適な状態にすることが可能な、情報処理装置、情報処理方法及びプログラムを提供することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システム1の構成例を説明する説明図である。 同実施形態に係るウェアラブルデバイス10の構成を示すブロック図である。 同実施形態に係るPPGセンサ部122を説明する説明図である。 同実施形態に係るPPGセンサ部122により得られる脈波信号の一例を示す説明図である。 同実施形態に係るPPGセンサ部122により得られるPPIの時系列データの一例を示す説明図である。 同実施形態に係るウェアラブルデバイス10の装着例を示す説明図である。 同実施形態に係るサーバ30の構成を示すブロック図である。 同実施形態に係る制御部330の構成を示すブロック図である。 同実施形態に係るデータフローを示した説明図である。 同実施形態に係る類型化された異常値の出現パターンの一例を示した説明図(その1)である。 同実施形態に係る類型化された異常値の出現パターンの一例を示した説明図(その2)である。 同実施形態の第1の方法に係る異常値の補正を説明する説明図である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その1)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その2)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その3)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その4)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その5)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その6)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その7)である。 同実施形態の第2の方法に係る異常値の補正を説明する説明図(その8)である。 同実施形態の第2の方法に係る信頼度の算出を説明する説明図である。 同実施形態の第3の方法に係る信頼度の算出を説明する説明図である。 同実施形態の第4の方法に係る信頼度の算出を説明する説明図である。 同実施形態の第1の方法に係る信頼度の出力を説明する説明図(その1)である。 同実施形態の第1の方法に係る信頼度の出力を説明する説明図(その2)である。 同実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
  1. 本実施形態に係る情報処理システム1の概要
    1.1 情報処理システム1の概要
    1.2 ウェアラブルデバイス10の構成
    1.3 本実施形態に係るサーバ30の構成
  2. 本開示に係る実施形態を創作するに至るまでの経緯
  3. 本実施形態に係る制御部330の詳細構成
  4. 本実施形態に係る情報処理方法
    4.1 異常値の検出
    4.2 パラメータについて
    4.3 異常値の補正
    4.4 信頼度の算出
    4.5 信頼度の出力
  5.まとめ
  6.ハードウェア構成について
  7.補足
  <<1. 本実施形態に係る情報処理システム1の概要>>
  <1.1 情報処理システム1の概要>
 次に、本開示の実施形態に係る構成を説明する。まずは、本開示の実施形態に係る構成について、図1を参照して説明する。図1は、本実施形態に係る情報処理システム1の構成例を説明する説明図である。
 図1に示すように、本実施形態に係る情報処理システム1は、ウェアラブルデバイス10、サーバ30、及びユーザ端末50を含み、これらは互いにネットワーク70を介して通信可能に接続される。詳細には、ウェアラブルデバイス10、サーバ30、及びユーザ端末(出力部)50は、図示しない基地局等(例えば、携帯電話機の基地局、無線LANのアクセスポイント等)を介してネットワーク70に接続される。なお、ネットワーク70で用いられる通信方式は、有線又は無線(例えば、WiFi(登録商標)、Bluetooth(登録商標)等)を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。
 (ウェアラブルデバイス10)
 ウェアラブルデバイス10は、ユーザの身体の一部(耳たぶ、首、腕、手首、足首等)に装着可能なデバイス、もしくは、ユーザの身体に挿入されたインプラントデバイス(インプラント端末)であることができる。より具体的には、ウェアラブルデバイス10は、HMD(Head Mounted Display)型、イヤーデバイス型、アンクレット型、腕輪型、首輪型、アイウェア型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。さらに、ウェアラブルデバイス10は、例えば、ユーザの脈拍による脈波信号(拍動変動データ)を検出するPPG(Photo Plethysmo Graphy)センサ部(脈波センサ)122及びユーザの運動による運動状態を検出するモーションセンサ部124等のセンサ類を内蔵する(図2 参照)。なお、ウェアラブルデバイス10の詳細については後述する。
 なお、以下においては、ウェアラブルデバイス10には、PPGセンサ部122(図2 参照)が設けられるものとして説明する。しかしながら、本実施形態においては、PPGセンサ部122の代わりに、ユーザの身体に貼り付けられた電極(図示省略)を介してユーザの心電図を検出するECG(Electrocardiogram)センサ(図示省略)を設けてもよい。すなわち、以下に説明する実施形態においては、脈波信号から取得することができる脈拍間隔(Pulse Rate Interval:PPI)、又は、心電図から取得することができる心臓の拍動間隔であるR-R間隔(RRI)を用いて、ユーザの身体の状態を示す身体指標であるHRV(Heart Rate Variability)指標を算出することができる。
 (サーバ30)
 サーバ30は、例えば、コンピュータ等により構成される。サーバ30は、例えば、ウェアラブルデバイス10で取得した情報を処理したり、当該処理により得られた情報を他のデバイス(例えば、ユーザ端末50)に送信したりする。なお、サーバ30の詳細については後述する。
 (ユーザ端末50)
 ユーザ端末50は、本実施形態により提供される情報(例えば、PPIの時系列データ、HRV指標、後述する信頼度等)をユーザに向けて提示するための端末である。例えば、ユーザ端末50は、タブレット型PC(Personal Computer)、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC、HMD等のデバイスであることができる。
 なお、図1においては、本実施形態に係る情報処理システム1は、1つのウェアラブルデバイス10及びユーザ端末50を含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム1は、複数のウェアラブルデバイス10及びユーザ端末50を含んでもよい。さらに、本実施形態に係る情報処理システム1は、例えば、ウェアラブルデバイス10からサーバ30へ情報を送信する際の中継装置のような他の通信装置等を含んでもよい。また、本実施形態においては、ウェアラブルデバイス10をスタンドアローン型の装置として使用してもよい。この場合、サーバ30及びユーザ端末50の機能の少なくとも一部が、ウェアラブルデバイス10において行われることとなる。
  <1.2 ウェアラブルデバイス10の構成>
 次に、本開示の実施形態に係るウェアラブルデバイス10の構成について、図2から図6を参照して説明する。図2は、本実施形態に係るウェアラブルデバイス10の構成を示すブロック図である。図3は、本実施形態に係るPPGセンサ部122を説明する説明図である。図4は、本実施形態に係るPPGセンサ部122により得られる脈波信号の一例を示す説明図である。図5は、本実施形態に係るPPGセンサ部122により得られるPPIの時系列データの一例を示す説明図である。図6は、本実施形態に係るウェアラブルデバイス10の装着例を示す説明図である。
 ウェアラブルデバイス10は、図2に示すように、入力部100と、出力部110と、センサ部120と、制御部130と、通信部140と、記憶部150とを主に有する。以下に、ウェアラブルデバイス10の各機能部の詳細について説明する。
 (入力部100)
 入力部100は、ウェアラブルデバイス10へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部100は、タッチパネル、ボタン、マイクロフォン、ドライブ等により実現される。
 (出力部110)
 出力部110は、ユーザに対して情報を提示するためのデバイスであり、例えば、ユーザに向けて、画像、音声、光、又は、振動等により各種の情報を出力する。当該出力部110は、ディスプレイ、スピーカ、イヤフォン、発光素子(例えば、light
Emitting Diode(LED))、振動モジュール等により実現される。なお、出力部110の機能は、後述するユーザ端末50により提供されてもよい。
 (センサ部120)
 センサ部120は、ユーザの身体に装着されたウェアラブルデバイス10内に設けられ、ユーザの脈波信号を検出するPPGセンサ部122を有する。また、センサ部120は、ユーザの運動状態を検出するためのモーションセンサ部124を含んでもよい。以下に、センサ部120が含むPPGセンサ部122及びモーションセンサ部124について説明する。
 -PPGセンサ部122-
 PPGセンサ部122は、ユーザの脈波信号を検出するためにユーザの皮膚等の身体の一部(例えば、耳たぶ、首、両腕、手首、足首等)に装着される。ここで、脈波信号とは、心臓の筋肉が一定のリズムで収縮すること(拍動、なお、単位時間の心臓における拍動回数を心拍数と呼ぶ)により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動による波形のことである。PPGセンサ部122は、図3に示すような脈波信号を取得するために、手や腕、首、脚等のユーザの測定部位200内の血管202に光を照射し、ユーザの血管中を移動する物質や静止している生体組織で散乱された光を検出する。照射した光は血管202中の赤血球により吸収されることから、光の吸収量は、測定部位200内の血管202に流れる血液量に比例する。従って、散乱された光の強度を検出することにより流れる血液量の変化を知ることができる。さらに、血流量の変化から、血流量を変化させる動脈の拍動の波形、すなわち、脈波信号を検出することができる。なお、このような方法は、光電容積脈波(Photoplethysmography;PPG)法と呼ばれる。
 詳細には、PPGセンサ部122は、コヒーレント光を照射することができる小型レーザ(図示省略)等を内蔵し、例えば850nm前後のような所定の波長を持つ光を照射する。なお、本実施形態においては、PPGセンサ部122が照射する光の波長は、適宜選択することが可能である。さらに、PPGセンサ部122は、例えばフォトダイオード(Photo Detector:PD)を内蔵し、検出した光の強度を電気信号に変換することにより、脈波信号を取得する。なお、PPGセンサ部122は、PDの代わりに、CCD(Charge Coupled Devices)型センサ、CMOS(Complementary Metal Oxide Semiconductor)型センサ等を内蔵してもよい。また、上述のようなPD等は、PPGセンサ部122内に、1個又は複数個設けられてもよい。
 なお、本実施形態においては、上述のPPG法を利用して脈波信号を取得することに限定されるものではなく、他の方法によっても脈波信号を取得してもよい。例えば、本実施形態においては、レーザドップラ法により脈波信号を取得してもよい。レーザドップラ法は、レーザ光をユーザの測定部位200に照射した際に、ユーザの血管202内を移動する散乱物質(主に赤血球)で光が散乱され、散乱された光が、血流のドップラー効果により周波数シフトを生じさせることを利用した方法である。また、本実施形態においては、動的光散乱(Dynamic light scattering;DLS)法を用いて脈波信号を検出してもよい。当該DLS法は、上述と同様に、レーザ光を照射した際に血管202内を移動する散乱物質で光が散乱され、散乱された光が、ドップラー効果により干渉光を生じさせることを利用した方法である。
 そして、PPGセンサ部122により、図4に示されるような複数のピークを有する時系列データとして脈波信号を検出することができる。ここで、図4を参照して説明すると、脈波信号に現れる複数のピークのピーク間隔のことを脈拍間隔(Pulse Rate Interval:PPI)と呼ぶ。PPIは、PPGセンサ部122により検出された脈波信号を処理することにより、取得することができる。このようにして取得されたPPIの時系列データの一例を図5に示す。各PPIの値は、図5に示されるように時間とともに変動するものの、ユーザの状態が安定している場合には、ほぼ正規分布することが知られている。図5に示されるようなPPIの時系列データ、すなわち、PPI値のデータ群を処理することにより、ユーザの身体状態の指標となる各種HRV(Heart Rate Variability)指標を算出することができる。なお、各種HRV指標の詳細については後述する。
 -モーションセンサ部124-
 モーションセンサ部124は、ユーザの動作に伴って発生する加速度の変化を検出して、ユーザの状態を検出する。検出されたユーザの状態に基づいて、その際の脈波信号が適切に測定されているかを示す指標としての信頼度が算出される。なお、当該信頼度の詳細については後述する。例えば、モーションセンサ部124は、加速度センサ、ジャイロセンサ、地磁気センサ等を含む。
 また、当該モーションセンサ部124は、撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いてユーザを撮像する撮像装置(図示省略)であってもよい。この場合、上記撮像装置によって撮像される画像には、ユーザの動作等がキャプチャされる。さらに、当該モーションセンサ部124は、ユーザの動作を認識することができる赤外線センサ、超音波センサ等(図示省略)を含んでいてもよい。なお、このような撮像装置及び赤外線センサ等は、ユーザの周囲に、ウェアラブルデバイス10とは別体の装置として設置されていてもよい。
 さらに、当該モーションセンサ部124は、測位センサ(図示省略)を含んでいてもよい。測位センサは、ウェアラブルデバイス10が装着されたユーザの位置を検出するセンサであり、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、測位センサは、GNSS衛星からの信号に基づいて、ユーザの現在地の緯度・経度を示すセンシングデータを生成し、センシングデータの変化からユーザの移動(動き)を検出することができる。例えば、RFID(Radio Frequency Identification)、Wi-Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位センサとして利用することも可能である。
 さらに、センサ部120は、各種生体センサ(図示省略)を含んでいてもよい。当該生体センサは、ユーザの状態を示す生体情報を検出するセンサである。当該生体センサは、例えば、ユーザの身体の一部に直接的又は間接的に装着され、ユーザの脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する1つ又は複数のセンサを含む。また、センサ部120は、圧力センサ部14(図23 参照)等の他の各種センサを含んでもよい。さらに、センサ部120は、正確な時刻を把握する時計機構(図示省略)を内蔵し、取得した脈波信号等に、脈波信号等を取得した時刻を紐づけてもよい。なお、本実施形態においては、センサ部120の2つのセンサであるPPGセンサ部122とモーションセンサ部124とを別個のウェアラブルデバイス10に設けてもよい。このようにすることみより、各ウェアラブルデバイス10の構成をコンパクトにすることができることから、各ウェアラブルデバイス10をユーザの身体の様々な部位に装着することができる。
 (制御部130)
 制御部130は、ウェアラブルデバイス10内に設けられ、ウェアラブルデバイス10の各ブロックを制御したり、上述したPPGセンサ部122から出力された脈波信号からPPIの時系列データを取得したりすることができる。当該制御部130は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。なお、制御部130の機能は、後述するサーバ30又はユーザ端末50により提供されてもよい。
 (通信部140)
 通信部140は、ウェアラブルデバイス10内に設けられ、サーバ30、ユーザ端末50等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部140は、データの送受信を行う機能を有する通信インターフェースと言える。なお、通信部140は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
 (記憶部150)
 記憶部150は、ウェアラブルデバイス10内に設けられ、上述した制御部130が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部150は、例えば、フラッシュメモリ(flash memory)等の不揮発性メモリ(nonvolatile memory)等により実現される。
 先に説明したように、ウェアラブルデバイス10としては、アイウェア型、イヤーデバイス型、腕輪型、HMD型等の各種の方式のウェアラブルデバイスを採用することができる。図6に、ウェアラブルデバイス10の外観の一例を示す。図6に示すウェアラブルデバイス10は、ユーザの手首に装着される腕時計型のウェアラブルデバイスである。
  <1.3 本実施形態に係るサーバ30の構成>
 次に、本開示の実施形態に係るサーバ30の構成について、図7を参照して説明する。図7は、本実施形態に係るサーバ30の構成を示すブロック図である。先に説明したように、サーバ30は、例えばコンピュータ等により構成される。図7に示すように、サーバ30は、入力部300と、出力部310と、制御部330と、通信部340と、記憶部350とを主に有する。以下に、サーバ30の各機能部の詳細について説明する。
 (入力部300)
 入力部300は、サーバ30へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部300は、タッチパネル、キーボード等により実現される。
 (出力部310)
 出力部310は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。
 (制御部330)
 制御部330は、サーバ30内に設けられ、サーバ30の各ブロックを制御することができる。具体的には、制御部330は、サーバ30内で行われる、脈波信号(拍動変動データ)からの異常値の検出を行う検出処理、脈波信号を補正する補正処理、及び、脈波信号からHRV指標(身体指標)を算出する算出処理といった各種処理を制御する。当該制御部330は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。なお、制御部330は、ウェアラブルデバイス10の制御部130の機能の一部を実行してもよい。また、制御部330の詳細については後述する。
 (通信部340)
 通信部340は、サーバ30内に設けられ、ウェアラブルデバイス10やユーザ端末50等の外部装置との間で情報の送受信を行うことができる。なお、通信部340は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
 (記憶部350)
 記憶部350は、サーバ30内に設けられ、上述した制御部330が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。より具体的には、記憶部350は、複数のユーザに装着されたウェアラブルデバイス10から取得されたPPIの時系列データ等を含むデータベース(DB)352(図8 参照)等を格納することができる。なお、記憶部350は、例えば、ハードディスク(Hard Disk:HD)等の磁気記録媒体や、不揮発性メモリ等により実現される。
  <<2. 本開示に係る実施形態の技術的背景>>
 以上、本開示の実施形態に係る情報処理システム1、当該情報処理システム1に含まれるウェアラブルデバイス10及びサーバ30の概要について説明した。次に、本開示に係る実施形態の詳細を説明する前に、本開示に係る実施形態の技術的背景について説明する。
 先に説明したように、精神的ストレス度の評価や自律神経機能の評価を行う際に用いられるHRV指標は、例えば、心拍変動(心電図)によりRRIを算出し、算出したRRIから取得することができる。さらに、上記HRV指標は、心拍変動と高い相関性を持つ脈拍変動から算出されたPPIからも取得することができる。このような心拍変動や脈拍変動は、ユーザの自律神経系の変化以外にも、ユーザの身体状態の変化によって影響を受けることから、測定時のユーザの状態は、安静、且つ、同一姿勢に維持されていることが望ましい。
 ところで、近年、心拍変動や脈拍変動を検出するセンサ等が小型化し、ユーザが当該センサを装着し、心拍変動や脈拍変動を常時測定することが可能になった。その結果、ユーザが日常動作等、自由に動いている状態(自由行動下)においても測定が行われることとなり、心拍変動や脈拍変動の測定時のユーザの状態は、安静、且つ、同一姿勢に維持されているとはいえない。そして、このような状態において測定された心拍変動や脈拍変動には、例えばユーザの動きに起因したノイズ等が含まれることがあることから、測定された当該心拍変動や脈拍変動、これらに基づいて算出されるHRV指標等の信頼性が低くなる場合がある。
 そこで、本発明者は、上記状況を鑑みて、心拍変動や脈拍変動の測定についての信頼度を算出し、ユーザに対してHRV指標とともに算出した信頼度を提示して、ユーザの状態を測定に理想的な状態に誘導することを想到した。例えば、ユーザは、本開示の実施形態に係る情報処理システム1から低い信頼度が提示された場合には、当該信頼度を改善しようと、安静、且つ、同一姿勢に維持するような動作に誘導されることとなる。その結果、ユーザの状態は、測定にとって理想的な状態に近づくことから、ユーザの心拍変動や脈拍変動の測定は好適な状態に遷移することができる。さらに、本発明者は、算出した信頼度を、上記情報処理システム1の制御にフィードバックすることにより、精度の高いHRV指標の算出を行ったり、バッテリー消費量を抑えたりと、当該情報処理システム1を好適に制御することにも想到した。
 すなわち、以下に説明する本開示においては、自由行動下のユーザにおける心拍変動又は脈拍変動の測定において、測定を好適な状態にすることができる情報処理装置、情報処理方法及びプログラムを提案する。
 また、心拍変動や脈拍変動のデータ(脈波信号)には、例えば、「ユーザの体動」、「身体特性」、「計測機器ノイズ」、「計測アルゴリズムのミス」等に起因して、異常値(ノイズ)が含まれることがある。このような異常値が含まれた心拍変動や脈拍変動のデータを用いて、HRV指標を算出すると、本来の算出すべき正しいHRV指標と乖離してしまうことがある。そこで、HRV指標を算出する際には、本来の算出すべき正しいHRV指標と乖離することを避けるために、上記異常値へ対処することが求められる。
 そこで、本発明者は、上記状況を鑑みて、心拍変動や脈拍変動のデータから精度よく異常値(ノイズ)を検出し、検出した異常値に基づいて、心拍変動や脈拍変動のデータを補正することを想到した。このようにすることで、算出されるHRV指標が本来の算出すべき正しいHRV指標と乖離してしまうことを避けることができる。すなわち、以下に説明する本開示においては、心拍変動又は脈拍変動の測定データに基づいて算出されるHRV指標の精度を向上させることができる情報処理装置、情報処理方法及びプログラムを提案する。以下、このような本開示の実施形態を順次詳細に説明する。
  <<3.本実施形態に係る制御部330の詳細構成>>
 以下に、本実施形態に係る制御部330の構成について、図8を参照して説明する。図8は、本実施形態に係る制御部330の構成を示すブロック図である。図8に示すように、制御部330は、検出部332、検出補正制御部334、補正部336、信頼度算出部338、及びHRV指標算出部342を主に有する。以下に、制御部330の各機能部の詳細について説明する。
 (検出部332)
 検出部332は、PPIの時系列データから異常値を検出する。ここで異常値とは、外部からの衝撃等のノイズにより、PPIの時系列データ、すなわち、PPI値のデータ群のうち、統計的に見て大きく外れた値のことをいう。さらに、検出部332は、PPIの時系列データの中で異常値と推定されるPPI値に対して、異常値である旨を示すフラグを付与したデータ列を生成し、後述する補正部336に出力する。例えば、検出部332は、異常値と推定されるPPI値に対しては「1」を、正常値と推定されるPPI値に対しては「0」を付与する。なお、検出部332による異常値の検出の詳細については、後述する。
 (検出補正制御部334)
 検出補正制御部334は、上述の検出部332での異常値の検出で用いる各種パラメータを補正する。例えば、検出補正制御部334は、過去に測定されたユーザの脈波信号から取得されたPPI値のデータ群から平均値や標準偏差を算出し、算出した平均値等に基づいて上述の各種パラメータを更新する。このようにすることで、各ユーザに好適なパラメータを用いて異常値の検出を行うことができることから、異常値の検出の精度を向上させることができる。なお、検出補正制御部334による上記パラメータの更新は、定期的に行われてもよく、ユーザが更新の実施を選択した際に行われてもよい。また、上記パラメータとしては、事前に実験、観察を行って決定した固定値を用いてもよく、この場合には、検出補正制御部334はパラメータの更新を実施しないこととなる。また、検出補正制御部334による各種パラメータの更新の詳細は後述する。
 (補正部336)
 補正部336は、検出部332から得られた異常フラグが付与されたPPIの時系列データに対して、異常値の補間又は除去といった補正処理を行う。補正部336が行う補正処理の内容については、後述するHRV指標算出部342で算出されるHRV指標の種別に応じて選択することができる。また、補正部336は、上記異常値の発現パターンに応じて、補正処理の内容を選択してもよい。補正部336により補正されたPPIの時系列データは、後述するHRV指標算出部342に出力される。なお、補正部336による補正処理の詳細については後述する。
 (信頼度算出部338)
 信頼度算出部338は、脈波信号の測定時にユーザの状態が測定に適切な状態にあるかどうかの観点で、当該脈波信号から得られたPPIの時系列データや当該PPIの時系列データから得られたHRV指標の信頼度を算出する。一般的に、精神的ストレス度評価や自律神経機能評価のためにHRV指標を算出する場合には、これらの基礎データとなる脈波信号の測定時のユーザの状態は、安静、且つ、同一姿勢に維持されていることが望ましいとされている。測定される脈波信号は、ユーザの自律神経系の変化以外にも、ユーザの身体状態の変化によって影響を受けるためである。従って、脈波信号の測定時のユーザ状態が安静、且つ、同一姿勢であれば、PPIの時系列データ及びHRV指標の信頼度は高くなり、測定時のユーザの状態が上記の理想的な状態から離れるほど上記信頼度は低くなる。そこで、信頼度算出部338は、脈波信号の測定時のユーザの状態を、例えばウェアラブルデバイス10の有するモーションセンサ部124の加速度データによって検出し、検出した結果に基づいて、信頼度を算出する。このようにして信頼度算出部338で算出された信頼度は、例えば、ユーザ端末50等に出力されることによりユーザに提示されたり、ウェアラブルデバイス10に出力されてウェアラブルデバイス10の制御に用いられたりする。さらに、当該信頼度は、サーバ30の他の機能部(例えば、後述するHRV指標算出部342)に出力されて、他の機能部における処理の制御に用いられる。なお、上記信頼度は、脈波信号の測定時のPPGセンサ部122の装着状態からも影響を受けることから、上記装着状態に基づいて算出することもできる。信頼度算出部338での信頼度の算出の詳細については、後述する。
 (HRV指標算出部342)
 HRV指標算出部342は、補正部336によって補正されたPPIの時系列データを用いて各種HRV指標を算出する。HRV指標算出部342は、例えば、HRV指標として、RMSSD(Root Mean Square Successive Difference)、SDNN(Standard Deviation of the Normal to Normal Interval)、LF/HF等を算出する。さらに、これら算出されたHRV指標は、さらに処理されることにより、ユーザの、睡眠状態の評価、精神的ストレス度の評価、リラックス度の評価、集中度の評価等に用いることができる。このようにしてHRV指標算出部342で算出されたHRV指標等は、ユーザ端末50等に出力され、例えば、ユーザに提示される。
 例えば、RMSSDは、時系列上で互いに隣接するPPI値の差分の二乗の平均値の平方根である。当該RMSSDは、脳神経の1つである迷走神経の緊張状態を示す指標になると考えられている。
 例えば、SDNNは、所定の期間内(例えば、120秒)でのPPI値のデータ群の標準偏差である。当該SDNNは、交感神経及び副交感神経の両方を含む自律神経系の活動状況を示す指標になると考えられている。
 例えば、LF/HFは、PPIの時系列データの高周波成分(例えば、0.15~0.4Hz)のパワースペクトルに対する低周波成分(例えば、0.004~0.15Hz)のパワースペクトルの割合である。LF/HFは、交感神経と副交感神経とのバランスを示す指標となると考えられており、LF/HFが高いと交感神経が優位である状態を示し、LF/HFが低いと副交感神経が優位である状態を示していると考えられる。
  <<4. 本実施形態に係る情報処理方法>>
 以上、本実施形態に係る制御部330の詳細構成について説明した。次に、本実施形態に係る情報処理方法の概略について、図9を参照して説明する。図9は、本実施形態に係るデータフローを示した説明図である。
 図9に示すように、ウェアラブルデバイス10に設けられたPPGセンサ部122によって検出された脈波信号を、ウェアラブルデバイス10の制御部130(もしくは、サーバ30の制御部330であってもよい)により処理し、PPIの時系列データを取得する。さらに、PPIの時系列データは、サーバ30の検出部332により処理されて、当該PPIの時系列データに含まれる異常値が検出される(異常値の検出)。そして、検出した異常値に基づき、補正部336がPPIの時系列データを補正し、異常値が補正されたPPIの時系列データをHRV指標算出部342に出力する(異常値の補正)。この際、サーバ30の信頼度算出部338は、ウェアラブルデバイス10の有するモーションセンサ部124の加速度データ等を利用して、信頼度を算出する(信頼度の算出)。さらに、HRV指標算出部342は、異常値が補正されたPPIの時系列データに基づいて、HRV指標を算出し、算出したHRV指標を信頼度とともにユーザ端末50等へ出力する(信頼度の出力)。以下に、本実施形態に係る情報処理方法の各段階での処理の詳細について説明する。
  <4.1 異常値の検出>
 以下に説明する本実施形態に係る異常値の検出においては、取得したPPIの時系列データから、所定長の期間の連続するPPI値を抽出し、抽出したPPIの時系列データを類型化した異常値の発現パターンと比較することにより、異常値を検出する。すなわち、本実施形態によれば、PPIの時系列データに含まれるPPI値ごとに、異常値か否かを判定するのではなく、一度に複数のPPI値について判定することから、異常値の検出に係る処理及び処理時間を軽減することができる。
 以下に、図10及び図11を参照して、本実施形態に係る異常値の検出の一例を説明する。図10及び図11は、本実施形態に係る類型化された異常値の出現パターンの一例を示した説明図である。事前に、実験、観察を行い、当該観察結果に基づいて異常値が含まれていると判定されたPPIの時系列データの所定長の期間を抽出し、抽出した期間の挙動を類型化して、8つの異常値の発現パターンとしたものが、図10及び図11に示されている。詳細には、所定長の期間を持つ各異常値の発現パターンにおいては、連続した5つのPPI値(図中 黒ドットで示されている)が含まれており、さらに、異常値と判定されるPPI値は、図中丸で囲むことで示されている。以下に説明する実施形態においては、新たに取得されたPPIの時系列データが、このような異常値の発現パターンに当てはまるか否かを、数値の大小関係に基づいて判定することにより、異常値を検出する。
 まず、取得されたPPIの時系列データの先頭から5つのPPI値が含まれる所定長の期間のPPIの時系列データを抽出する。以下の説明においては、抽出したPPIの時系列データに含まれる5つのPPI値を時系列順にそれぞれ、p、pn+1、pn+2、pn+3、pn+4とする。
 次に、本実施形態に係る異常値の検出においては、以下の数式(1)~(5)を用いて、異常値の検出のための各パラメータroc、throc1、throc2、theto1、theto2を算出する。なお、throc1、throc2、theto1、theto2は、事前に、様々なユーザに対して複数回の脈波信号の測定を行い取得された複数のPPIの時系列データを統計処理して得られた平均値μ及び標準偏差σ、及び、互いに隣接するPPI値の差分値の時系列データを統計処理して得られた平均値μ´及び標準偏差σ´に基づき、算出される。また、以下の説明においては、throc1、throc2、theto1、theto2は、事前に定められた固定値であるものとする。
Figure JPOXMLDOC01-appb-M000001
 なお、数式(2)から(5)に含まれるαは、事前に実験、観察等に基づいて決定される値であり、例えば、1.0と設定することができる。
 (ケース1)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(6)及び数式(7)が成立する場合には、抽出されたPPIの時系列データは、図10のケース1に該当すると判定される。この場合、pn+1、pn+2が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000002
 (ケース2)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(8)及び数式(9)が成立する場合には、抽出されたPPIの時系列データは、図10のケース2に該当すると判定される。この場合、pn+1が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000003
 (ケース3)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(10)及び数式(11)が成立する場合には、抽出されたPPIの時系列データは、図10のケース3に該当すると判定される。この場合、pn+1、pn+2が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000004
 (ケース5)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(12)及び数式(13)が成立する場合には、抽出されたPPIの時系列データは、図11のケース5に該当すると判定される。この場合、pn+1、pn+2が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000005
 (ケース6)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(14)及び数式(15)が成立する場合には、抽出されたPPIの時系列データは、図11のケース6に該当すると判定される。この場合、pn+1が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000006
 (ケース7)
 抽出されたPPIの時系列データに含まれるp、pn+1において、以下の数式(16)及び数式(17)が成立する場合には、抽出されたPPIの時系列データは、図11のケース7に該当すると判定される。この場合、pn+1、pn+2が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000007
 (ケース4)
 次に、上述のケース1~3、ケース5~7に該当しない場合であって、抽出されたPPIの時系列データに含まれるp、pn+1、pn+2、pn+3、n+4において、以下の数式(18)~(20)が成立する場合には、抽出されたPPIの時系列データは、図10のケース4に該当すると判定される。この場合、p、pn+1、pn+2、pn+3が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000008
 (ケース8)
 抽出されたPPIの時系列データに含まれるp、pn+1、pn+2、pn+3、n+4において、以下の数式(21)~(23)が成立する場合には、抽出されたPPIの時系列データは、図11のケース8に該当すると判定される。この場合、p、pn+1、pn+2、pn+3が異常値であるとして検出される。
Figure JPOXMLDOC01-appb-M000009
 以上のように検出した異常値に対しては、異常値である旨を示すフラグを付与する。さらに、取得されたPPIの時系列データから次の5つのPPI値が含まれる所定長の期間のPPIの時系列データを抽出し、上述のような異常値の検出を行う。そして、取得されたPPIの時系列データの終点のPPI値に対する処理が完了するまで、上述の異常値の検出を繰り返し行う。
 なお、上述した異常値の検出においては、抽出した所定長の期間のPPIの時系列データが図10及び図11に示される8つの異常値の発現パターンのいずれかに該当するかの判定を行ったが、本実施形態においては、このような方法に限定されるものではない。例えば、本実施形態においては、抽出した所定長の期間のPPIの時系列データが、8つではなく4つの異常値の発現パターンに該当するか否かを判定して、異常値の検出を行ってもよい。
  <4.2 パラメータについて>
 上述した異常値の検出においては、異常値の検出のために用いる各パラメータthroc1、throc2、theto1、theto2は、事前に定められた固定値であるものとして説明した。しかしながら、本実施形態においては、各パラメータthroc1、throc2、theto1、theto2が固定値であると限定されるものではなく、動的に変化する値であってもよい。
 具体的には、ユーザの脈波信号の傾向は、ユーザの身体特性に応じて異なり、さらに、測定された時期や、ユーザの年齢、身体状態に応じて変化する。従って、異常値の精度よく検出するためには、ユーザの身体特性等の影響が反映されたパラメータthroc1、throc2、theto1、theto2を用いることが好ましい。そこで、本実施形態においては、新たにユーザの脈波信号を測定する際には、例えば、測定する前日の一日分の当該ユーザの脈波信号から得たPPIの時系列データ(例えば、図8のDB352aに格納されているPPIの時系列データ)を用いて平均値μ、μ´及び標準偏差σ、σ´を算出する。そして、本実施形態においては、算出された平均値μ、μ´及び標準偏差σ、σ´に基づき、上記数式(2)から(5)を用いてパラメータthroc1、throc2theto1、theto2を算出し、当該パラメータthroc1、throc2、theto1、theto2を異常値の検出の際に用いる。一日分の当該ユーザの脈波信号から得たPPIの時系列データは、ユーザの身体特性や身体状態を反映したデータであるとみなすことができるためである。なお、ユーザの現在の身体状態を反映させるために、当該パラメータthroc1、throc2、theto1、theto2は、新たに脈波信号が測定されるたび、もしくは、定期的に更新されることが好ましい。
 さらに、平均値μ、μ´及び標準偏差σ、σ´を算出する際には、後述する信頼度が高い区間におけるPPI時系列データを使用するようにしてもよい。また、平均値μ、μ´及び標準偏差σ、σ´を算出する際には、直近のPPIの時系列データの平均値μ、μ´及び標準偏差σ、σ´への寄与が高くなるように、算出に用いるPPIの時系列データに重み付けを行ってもよい。加えて、パラメータthroc1、throc2、theto1、theto2の算出の際には、ウェアラブルデバイス10のセンサ部120に設けられた各種生体センサ(図示省略)から取得されたセンシングデータに基づいて、数式(2)から(5)に含まれるαを変化させてもよい。すなわち、本実施形態においては、精度よく異常値の検出を行うことができるパラメータthroc1、throc2、theto1、theto2を取得することができるものであれば、パラメータthroc1、throc2、theto1、theto2の算出方法は特に限定されるものではない。
  <4.3 異常値の補正>
 以下に説明する本実施形態に係る異常値の補正においては、取得したPPIの時系列データから異常値を検出し、検出結果に基づき、当該PPIの時系列データを補正する。本実施形態によれば、異常値を補正することから、補正したPPIの時系列データから取得される各種HRV指標の精度をより高めることができる。以下においては、異常値の補正として、HRV指標の種別に応じて補正を行う方法と、上記異常値の発現パターンに応じて補正を行う方法との主に2つの例を挙げて説明する。
 (第1の方法)
 まず、異常値の補正の一例として、HRV指標の種別に応じて補正を行う第1の方法を、図12を参照して説明する。図12は、本実施形態の第1の方法に係る異常値の補正を説明する説明図である。詳細には、図12の上段には、異常値が検出された区間を線形補完するケースAの補正例が示され、図12の中段には、異常値を除去するケースBの補正例が示され、図12の下段には、補正を実施しないケースCの補正例が示されている。第1の方法によれば、HRV指標の種別に応じて補正を行うことから、好適な補正方法で補正されたPPIの時系列データを用いてHRV指標を算出することができ、算出したHRV指標の精度をより高めることができる。
 詳細には、本方法においては、HRV指標としてRMSSDを算出する場合には、図12の上段に示すケースAを選択し、異常値が検出された区間を線形補完する。また、本方法においては、HRV指標としてSDNNを算出する場合には、図12の中段に示すケースBを選択し、異常値を除去する。さらに、本方法においては、HRV指標としてLF/HFを算出する場合には、図12の下段に示すケースCを選択し、補正を実施しない。この場合、LF/HFを算出する際には、連続して異常値が存在しない最長の区間のPPIの時系列データを用いてLF/HFを算出する。
 (第2の方法)
 次に、異常値の補正の一例として、異常値の発現パターンに応じて補正を行う第2の方法を、図13~20を参照して説明する。図13~20は、本実施形態の第2の方法に係る異常値の補正を説明する説明図である。本方法においては、図10及び図11に示される異常値の発現パターン(ケース1~8)の発生理由を考慮して、補正方法を選択する。第2の方法によれば、異常値の発現パターンに応じて補正を行うことから、異常値の発生理由を考慮した上で異常値の補正を行うことができることから、より好適に異常値の補正を行うことができる。
 -ケース1-
 まず、図13を参照して、異常値の出現パターンのケース1の場合の補正について説明する。ケース1は、図13の上段に示すように、取得された脈波信号において、本来検出されるべき正しいピークTを検出せず、誤ったピークEを検出したことにより、図13の中段に示すようなPPIの時系列データが取得された場合である。詳細には、図13の中段に示されたPPIの時系列データにおいては、誤ったピークEを検出したことにより、pn+1は大きな値となり、pn+2は小さな値となっている。すなわち、pn+1、pn+2が異常値にあたる。誤ったピークEの検出は、脈波信号のDCシフトにより、本来検出すべき正しいピークTが出現すべき位置の近傍に誤ったピークEが発生することにより生じる。この場合、正しいピークTが検出されていれば、本来のpn+1は、図13の中段のpn+1よりも値が小さくなり、本来のpn+2は、図13の中段に示されているpn+2よりも値が大きくなっているものと推察される。そこで、ケース1においては、図13の下段に示すように、以下の数式(24)に従ってΔβを算出し、異常値であるpn+1をΔβだけ小さくし、異常値であるpn+2をΔβだけ大きくする補正を行う。このようにして、DCシフトに起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000010
 なお、数式(24)に含まれるαは、事前に実験、観察等に基づいて決定される値であり、例えば、1.0と設定することができる。また、数式(22)に含まれるαは、throc1、throc2等を算出した際に用いたαであってもよい。
 -ケース2-
 図14を参照して異常値出現パターンのケース2の場合の補正について説明する。ケース2は、図14の上段に示すように、取得された脈波信号において、本来検出されるべき1つのピークTを検出しなかったことにより、図14の中段に示すようなPPIの時系列データが取得された場合である。詳細には、図14の中段に示されたPPIの時系列データにおいては、本来検出されるべき1つのピークTを検出しなかったことにより、本来は2つのピークがあるべきところを、2つのピークが足し合わされた誤った異常値pn+1が発現する。当該異常値pn+1の発現は、ユーザの不整脈の影響により生じたものと推察される。従って、正しいピークTが検出されていれば、PPIの時系列データにおいては、pn+1は2つに分割されると推察される。そこで、ケース2においては、図14の下段に示すように、異常値であるpn+1の後にp´n+1、p´´n+1を挿入して、pn+1を2つに分割する補正を行う。p´n+1、p´´n+1は、下記数式(25)及び(26)に基づき算出することができる。このようにして、ユーザの不整脈等に起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000011
 なお、数式(25)及び数式(26)に含まれるαは、事前に実験、観察等に基づいて決定される値であり、例えば、0.5と設定することができる。
 -ケース3-
 図15を参照して、異常値の出現パターンのケース3の場合の補正について説明する。ケース3は、図15の上段に示すように、取得された脈波信号において、本来3つのピークが検出されるべきところ、1つの大きなピークEに起因して2つのピークTが検出できなかったことにより、図15の中段に示すようなPPIの時系列データが取得された場合である。詳細には、本ケースでは、図15の上段に示すように、衝撃ノイズ等に起因した誤ったピークEが検出され、誤ったピークEの近傍に位置する本来検出すべき2つの正しいピークTの検出ができなくなり、図15の中段に示すように、大きな値を持った異常値pn+1、pn+2が検出される。この場合、正しいピークTが検出されていれば、異常値pn+1、pn+2は、3つに分割されると推察される。そこで、ケース3においては、図15の下段に示すように、異常値pn+1をΔβ分だけ小さくし、異常値pn+2をΔβ分だけ小さくし、異常値pn+1、pn+2の真ん中にp´n+1を挿入する。p´n+1は、以下の数式(27)に従って算出することができる。なお、Δβ及びΔβは、事前に実験、観察等に基づいて定められた値又は数式により決定することができる。このようにして、衝撃ノイズ等に起因した異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000012
 -ケース4-
 図16を参照して、異常値の出現パターンのケース4の場合の補正について説明する。ケース4は、図16の上段に示すように、PPIの時系列データ中のPPI値が徐々に低くなっていき(p、pn+1、pn+2、pn+3)、ある時点で本来の検出すべき値に復帰している(pn+4)。このような異常値p、pn+1、pn+2、pn+3は、心拍による高周波ノイズが脈波信号に付加されることに起因して生成された誤ったピークを検出することにより、本来の脈波の間隔よりも短い間隔でピークを検出してしまうことにより生じる。例えば、PPGセンサ部122では、1Hz前後の周期を持って振幅する脈波に対して、3Hz程度の高周波ノイズが付加される。このような場合、正しいピークが検出されていれば、検出されるべきピークの数は、異常値として検出したピークの個数4個よりも少なくなるはずである。そこで、ケース4においては、図16の下段に示すように、異常値p、pn+1、pn+2をmに補正し、pn+3を削除する。mは、以下の数式(28)に従って算出することができる。このようにして、高周波ノイズ等に起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000013
 -ケース5-
 図17を参照して、異常値の出現パターンのケース5の場合の補正について説明する。ケース5は、ケース1と同様に、図17の上段に示すように、取得された脈波信号において、本来検出されるべき正しいピークTを検出せず、誤ったピークEを検出したことにより、図17の中段に示すようなPPI時系列データが取得された場合である。詳細には、図17の下段に示されたPPIの時系列データにおいては、誤ったピークEを検出したことにより、pn+1は小さな値となり、pn+2は大きな値となっている。すなわち、pn+1、pn+2が異常値にあたる。誤ったピークEの検出は、脈波信号のDCシフトにより、本来検出すべき正しいピークTが出現すべき位置の近傍に誤ったピークEが発生することにより生じる。この場合、正しいピークTが検出されていれば、本来のpn+1は、図17の中段に示されているpn+1よりも値が大きくなり、本来のpn+2は、図17の中段に示されているpn+2よりも値が小さくなっているものと推察される。そこで、ケース5においては、図17の下段に示すように、以下の数式(29)に従ってΔβを算出し、異常値であるpn+1をΔβだけ大きくし、異常値であるpn+2をΔβだけ小さくする補正を行う。このようにして、DCシフトに起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000014
 なお、数式(29)に含まれるαは、事前に実験、観察等に基づいて決定される値であり、例えば、1.0と設定することができる。
 -ケース6-
 図18を参照して、異常値の出現パターンのケース6の場合の補正について説明する。ケース6は、図18の上段に示すように、取得された脈波信号において、本来1つのピークが検出されるべきところ、外部からの衝撃による衝撃ノイズ等による誤ったピークEも検出したことにより、図18の中段に示すようなPPIの時系列データが取得された場合である。この場合、正しいピークが検出されていれば、1つのピークが検出されると推定される。そこで、ケース6においては、図18の下段に示すように、以下の数式(30)に従ってpn+2にpn+1を足し合わせて新たなp´n+2を算出する。そして、ケース6においては、pn+2を算出されたp´n+2に補正し、pn+1を削除する。このようにして、衝撃ノイズ等に起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000015
 -ケース7-
 図19を参照して、異常値の出現パターンのケース7の場合の補正について説明する。ケース7は、図19の上段に示すように、取得された脈波信号において、本来1つのピークが検出されるべきところ、外部からの衝撃による衝撃ノイズ等による誤ったピークEを検出したことにより、図19の中段に示すようなPPIの系列データが取得された場合である。この場合、正しいピークTが検出されていれば、1つのピークが検出されると推定される。そこで、ケース7においては、図19の下段に示すように、以下の数式(31)に従ってpn+2にpn+1を足し合わせて新たなp´n+1を算出する。そして、ケース7においては、pn+1を算出されたp´n+1に補正し、pn+2を削除する。このようにして、衝撃ノイズ等に起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000016
 -ケース8-
 図20を参照して、異常値の出現パターンのケース8の場合の補正について説明する。ケース8は、図20の上段に示すように、PPIの時系列データ中のPPI値が徐々に高くなっていき(p、pn+1、pn+2、pn+3)、ある時点で本来の検出すべき値に復帰している(pn+4)。このような異常値p、pn+1、pn+2、pn+3は、心拍による高周波ノイズが脈波信号に付加されることに起因して、本来検出すべきピークを検出できなかったことにより発生する。この場合、正しいピークTが検出されていれば、検出されるべきピークの数は、異常値として検出したピークの個数4個よりも多くなるはずである。そこで、ケース8においては、図20の下段に示すように、異常値p、pn+1、pn+2、pn+3をmに置き替え、且つ、同様にmの値を持つp´n+3をpn+3の後に追加する補正を行う。mは、以下の数式(32)に従って算出することができる。このようにして、高周波ノイズ等に起因する異常値を補正することができる。
Figure JPOXMLDOC01-appb-M000017
 なお、本実施形態においては、異常値の補正は、上述の方法に限定されるものではなく、特に限定されるものではない。本実施形態においては、例えば、後述する信頼度に応じて、異常値の補正を行ってもよい。この場合、具体的には、信頼度が高いPPIの時系列データの区間において検出された異常値に対しては、ユーザの自律神経系の何らかの変化により生じたものと推定し、積極的に異常値の補正を行わないことを選択する。一方、信頼度が低いPPIの時系列データの区間において検出された異常値に対しては、衝撃等の外的な影響により生じたものと推定し、積極的に異常値の補正を行うことを選択する。さらに、本実施形態においては、異常値の検出及び異常値の補正については、機械学習によりユーザの過去のPPIの時系列データの傾向を学習し、その学習結果に基づき個々のユーザの傾向に応じて異常値の検出及び補正を行ってもよい。
  <4.4 信頼度の算出>
 以下に説明する本実施形態に係る信頼度の算出においては、脈波信号の測定時にユーザの状態が測定に適切な状態にあるかどうかの観点で、当該脈波信号から得られたPPIの時系列データや当該PPIの時系列データから得られたHRV指標の信頼度を算出する。先に説明したように、精神的ストレス度評価や自律神経機能評価のためにHRV指標を算出する場合には、これらの基礎データとなる脈波信号の測定時のユーザの状態は、安静、且つ、同一姿勢に維持されていることが望ましい。また、信頼度の算出においては、脈波信号の測定時に脈波信号を検出するPPGセンサ部122の装着状態が適切な状態にあるかどうかの観点でも算出されることができる。そこで、本実施形態においては、上述の観点で信頼度を算出し、算出した信頼度をユーザに提示することにより、ともに提示されるHRV指標の信頼性をユーザに認識させることができる。また、本実施形態においては、算出した信頼度に基づき、ウェアラブルデバイス10のセンサ部120を制御したり、HRV指標の算出処理を制御したりすることもできる。以下に、本実施形態に係る信頼度の算出の様々な例を説明する。
 (第1の方法)
 まず、信頼度rの算出方法の一例として、ウェアラブルデバイス10に設けられたモーションセンサ部124で取得されたセンシングデータを利用して、信頼度rを算出する第1の方法を説明する。モーションセンサ部124で取得されたセンシングデータは、ユーザの動作が反映されたデータであることから、このようなデータを解析することにより、ユーザが脈波信号の測定時としては適切な状態にあるかどうかを判定することができる。
 詳細には、本方法においては、ユーザの脈波信号の測定時に、ユーザに装着されたモーションセンサ部124からユーザの動作による加速度データを取得する。さらに、本方法においては、脈波信号のサンプリングのタイミング毎に、取得した加速度データから加速度ノルムを算出する。そして、本方法においては、算出した複数の加速度ノルムを例えば1秒おきに平均化し、平均化されて得られた平均値を要素とする複数のベクトルAiを得る。
 次に、本方法においては、複数のベクトルAiの値を用いて、平均値μと標準偏差σを算出する。さらに、本方法においては、算出した平均値μと標準偏差σを用いて、ユーザの安静度を示す「安静スコア」Srと、ユーザの姿勢の変化の少なさ、すなわち、運動状態を示す「姿勢スコア」Spとを以下の数式(33)及び数式(34)に従って算出する。なお、Srは、ユーザが安静状態にあれば小さな値となり、Spは、ユーザの姿勢に変化がなければ小さな値になると推定される。
Figure JPOXMLDOC01-appb-M000018
 なお、上記数式(33)及び(34)におけるσμ及びσσは、事前に、様々なユーザの日常生活における加速度データから得られた複数のベクトルAiから算出された平均値μi群及び標準偏差σi群の各標準偏差である。
 なお、安静スコアSrと、姿勢スコアSpとに対しては、これらの値が0以上1以下の範囲に収まるようクリッピング処理が行われることが好ましい。そして、本方法においては、算出された安静スコアSrと姿勢スコアSpと用いて、以下の数式(35)に従って信頼度rを算出する。
Figure JPOXMLDOC01-appb-M000019
 なお、数式(33)に含まれるαは、事前に実験、観察等に基づいて決定される値であり、0以上1以下の数値を設定することができる。
 このようにして得られた信頼度riは、例えばユーザに提示される。この際、信頼度riは、算出された安静スコアSrと姿勢スコアSpとともに、ユーザに提示されてもよい。
 また、本方法においては、ユーザの安静度を示す安静スコアSrと、ユーザの姿勢の変化の少なさを示す姿勢スコアSpとを算出することができればよく、上述のような平均値μ及び標準偏差σ以外の統計値を用いて算出してもよい。さらに、本方法においては、例えば、モーションセンサ部124に内蔵された3軸加速度センサ(図示省略)から取得されたXYZ軸の各軸方向の加速度データを用いて、安静スコアSrと姿勢スコアSpとを算出してもよい。この場合、それぞれの軸方向の加速度データを用いて上述のように各軸方向における信頼度riを求めて、求めた各信頼度riの線形和を最終的な信頼度として用いてもよい。
 また、本方法においては、既存のアルゴリズムを用いてモーションセンサ部124で取得されたセンシングデータからユーザの姿勢や状態を推定し、推定結果に基づいて、安静スコアSrと姿勢スコアSpとを算出してもよい。より具体的には、モーションセンサ部124で取得されたセンシングデータに基づいて、ユーザが「座位」、「立位」、「歩行」、「走行」等のどの状態にあるかを推定する。さらに、ユーザの状態と安静スコアSrの値及び姿勢スコアSpの値とが予め紐づけられており(例えば、ユーザが「座位」であった場合にはSrは1.0、ユーザが「歩行」状態にあった場合にはSrは0.5、ユーザが「走行」状態であった場合にはSrは0.0と予め決定されている)、上記推定結果に基づいて安静スコアSrの値及び姿勢スコアSpの値を選択し、選択した値を用いて信頼度riを算出する。また、本方法においては、ユーザの脈波信号の想定時に、既存のアルゴリズムを用いて、モーションセンサ部124で取得されたセンシングデータからユーザの状態を推定し、当該脈波信号の測定期間内で最も長い姿勢の時間の割合を安静スコアSrとしてもよい。
 (第2の方法)
 次に、信頼度rの算出方法の一例として、ウェアラブルデバイス10に設けられたPPGセンサ部122で取得された脈波信号を利用して信頼度rを算出する第2の方法を、図21を参照して説明する。図21は、本実施形態の第2の方法に係る信頼度の算出を説明する説明図である。本方法によれば、モーションセンサ部124を設けることなく、ユーザの安静度を示す安静スコアSrを取得することができる。
 詳細には、ユーザの安静度を示す安静スコアSrは、所定の期間における、脈波信号に含まれる直流成分(DC成分)の変動を定量化することにより算出することができる。そこで、本方法においては、脈波信号の直流成分の変化を検出し、検出結果に基づいて上述の安静スコアSrを算出し、算出した安静スコアSrを用いて第1の方法と同様に信頼度rを算出する。より具体的には、脈波信号は、ユーザの心臓の拍動による血流量の変化に対応した拍動成分(AC成分)と、拍動以外の血液層や血液以外の組織からの反射光や散乱光に対応した直流成分(DC成分)とを含む。ユーザが運動している等といった非安静状態の場合には、ユーザの動作に起因した血流量の変化や、PPGセンサ部122の装着ずれ等に起因してPPGセンサ部122以外からの外光が検出されることにより、脈波信号のDC成分に変動が生じる。例えば、図21には、ユーザの腕にウェアラブルデバイス10を装着し、すなわち、ユーザの腕にPPGセンサ部122を装着し、ユーザの腕を、ユーザの胸の高さに維持した場合、胸よりも上げた場合、胸よりも下げた場合の脈波信号の変動が示されている。図21からわかるように、PPGセンサ部122を装着した腕を上げ下げすることにより、図中の脈波信号の高さの変動として、脈波信号のDC成分の変動が現れる。すなわち、ユーザの姿勢が一定の状態で維持されていれば、脈波信号のDC成分は一定の値に維持されることとなる。このように、脈波信号のDC成分は、ユーザの安静度を反映している指標として考えることができる。そこで、本方法においては、例えば、脈波信号の測定期間における脈波信号のDC成分の変動を統計処理して分散(σ)を算出し、算出した分散の逆数を上述の安静スコアSrとして用いることができる。
 (第3の方法)
 次に、信頼度rの算出方法の一例として、ウェアラブルデバイス10に設けられたPPGセンサ部122で取得された脈波信号に基づく脈拍の変化を利用して信頼度rを算出する第3の方法を、図22を参照して説明する。図22は、本実施形態の第3の方法に係る信頼度の算出を説明する説明図である。本方法によれば、モーションセンサ部124を設けることなく、ユーザの姿勢の変化の少なさを示す姿勢スコアSpを取得することができる。
 PPGセンサ部122で取得された脈波信号は、ユーザの脈拍による変化を反映したデータであることから、脈波信号を解析することにより、所定時間におけるユーザの脈拍数を得ることができる(例えば、一分間あたりの脈拍数。なお、当該脈拍数は、beat per minuite(bpm)とも呼ばれる)。当該脈拍数においては、ユーザの状態が変化すると、それに応じて変化が生じる。例えば、図22に示すように、ユーザの状態が、横たわった臥位の状態から立ちあがった立位の状態に変化した場合には、脈拍数において変化が生じる。より具体的には、臥位においては、脈拍数は60~70bpm程度に安定し、立位の場合には脈拍数は80~100bpm程度にまで変化している。このようなことから、脈拍数の変化は、ユーザの姿勢の変化の少なさを反映している指標として考えることができる。そこで、本方法においては、例えば、脈波信号の測定期間における脈拍数の変動を統計処理して分散(σ)を算出し、算出した分散の逆数を上述の姿勢スコアSpとして用いることができる。なお、本方法においては、脈拍数の代わりに、心拍数を用いて姿勢スコアSpを算出してもよい。
 (第4の方法)
 先に説明したように、信頼度rは、脈波信号の測定時に脈波信号を検出するPPGセンサ部122の装着状態が適切な状態にあるかどうかの観点でも算出されることができる。そこで、信頼度rの算出方法の一例として、PPGセンサ部122の装着状態に基づいて信頼度rを算出する第4の方法を、図23を参照して説明する。図23は、本実施形態の第4の方法に係る信頼度の算出を説明する説明図であって、詳細には、本方法に係るウェアラブルデバイス10aの形態を示す。本方法によれば、PPGセンサ部122の装着状態を考慮して、信頼度rを算出することができる。
 適切に脈波信号を取得するためには、PPGセンサ部122はユーザの身体の一部に適切な締め具合で装着することが求められる。そこで、本方法においては、図23に示すように、腕時計型のウェアラブルデバイス10aのバンド部12の内側に、PPGセンサ部122とともに、PPGセンサ部122の装着状態を検出する圧力センサ部14を設ける。当該圧力センサ部14により、脈波信号測定時におけるPPGセンサ部122への圧力を検出し、検出結果を用いて、PPGセンサ部122の装着状態を取得することができる。そして、本方法においては、脈波信号測定期間内における、理想的に装着された際の圧力と圧力センサ部14により検出された圧力との差分を、PPGセンサ部122の装着状態を示す指標として数学的に処理し(例えば、分散(σ)を算出し)、処理結果に基づいて信頼度rを算出する。
 また、本方法においては、PPGセンサ部122の装着状態は、上述の圧力センサ部14により検出することに限定されるものではなく、他のセンサによって検出してもよい。例えば、適切に脈波信号を取得するためには、PPGセンサ部122はユーザの身体の一部に密着していることが求められる。そこで、腕時計型のウェアラブルデバイス10aのバンド部12の内側であって、ユーザの皮膚と密着する箇所に、温度センサ部(図示省略)を設けてもよい。当該温度センサ部により、ユーザの皮膚温度を検出し、検出結果を用いて、PPGセンサ部122の装着状態を検出してもよい。
 (第5の方法)
 また、信頼度rは、上述した異常値の検出を利用しても、算出することができる。そこで、信頼度rの算出方法の一例として、異常値の検出を利用して信頼度rを算出する第5の方法を説明する。異常値が検出された場合には、ユーザが脈波信号の測定時としては適切な状態にない、もしくは、脈波信号測定時にPPGセンサ部122の装着状態が適切な状態にないことが推定される。また、異常値が検出されない場合には、ユーザが脈波信号の測定時としては適切な状態にあり、且つ、脈波信号測定時にPPGセンサ部122の装着状態が適切な状態にあることが推定される。そこで、本方法においては、ユーザの脈波信号の測定期間内における異常値が検出されなかった期間の割合に基づいて、信頼度rを算出する。従って、本方法によれば、ユーザの状態及びPPGセンサ部122の装着状態を考慮して、信頼度rを算出することができる。
 ある測定期間における信頼度rは、例えば、当該測定期間におけるPPIの時系列データの測定時間をTとし、当該測定期間において異常値が検出されなかったPPI値が得られた総和時間をTとすると、以下の数式(36)で表すことができる。
Figure JPOXMLDOC01-appb-M000020
 また、ある測定期間における信頼度rは、例えば、当該測定期間におけるPPIの時系列データに含まれるデータ総数をMとし、当該測定期間において異常値が検出されなかったPPI値のデータ総数をNとすると、以下の数式(37)で表すことができる。
Figure JPOXMLDOC01-appb-M000021
 また、本方法においては、取得されたPPIの時系列データにおける異常値の発現パターンに基づいて、信頼度rを算出してもよい。例えば、ある測定期間における信頼度rは、当該測定期間におけるPPIの時系列データに含まれるデータ総数をMとし、当該測定期間において、上述した8つの異常値の出現パターンの各ケースに該当し異常値であると判断された、ケース毎の異常値の数をN(iは1~8の自然数)とすると、以下の数式(38)で表すことができる。
Figure JPOXMLDOC01-appb-M000022
 なお、上記式(38)においては、αi(iは1~8の自然数)は、異常値の出現パターンのケースごとに決定された重み係数である。なお、重み係数αiは、例えば、事前に測定したPPIの時系列データと、その測定時の環境情報(外部からの衝撃の有無、ユーザの動作パターン、ウェアラブルデバイス10の装着状態等)とに基づき、実験的に決定することができる。また、重み係数αiは、異常値の発現パターンごとの異常値の発現理由に基づき重みづけすることで決定してもよい。
 なお、上述した信頼度rの算出方法は一例であり、本実施形態に係る信頼度rの算出方法は上述した方法に限定されるものではない。また、上述した信頼度rの算出方法は、互いに組み合わせることもできる。本実施形態においては、例えば、上述の第5の方法によって得られた信頼度rを、上述の第1の方法によってモーションセンサ部124で取得された加速度データから算出された信頼度rと統合して、最終的な信頼度を算出してもよい。このように上述した信頼度rの算出方法を組み合わせることにより、信頼度rの精度をより向上させることができる。
  <4.5 信頼度の出力>
 上述のように算出した信頼度rは、例えば、ユーザに提示することにより、ともに提示されるHRV指標の信頼性をユーザに認識させることができる。また、例えば、算出した信頼度rは、ウェアラブルデバイス10のセンサ部120を制御したり、HRV指標の算出処理を制御したりする際にも用いることができる。そこで、以下に本実施形態に係る信頼度rの出力方法の様々な例を説明する。
 (第1の方法)
 まず、信頼度rの出力方法の一例として、ユーザに対して信頼度rを提示する第1の方法を、図24及び図25を参照して説明する。図24及び図25は、本実施形態の第1の方法に係る信頼度rの出力を説明する説明図である。本方法によれば、例えば、ユーザに低い信頼度rを提示することにより、ユーザは、当該信頼度rを改善しようと、安静、且つ、同一姿勢に維持するような動作に誘導されることとなる。また、本方法においては、算出された信頼度rが所定の値に比べて低下した場合、ユーザに提示されたHRVし指標等の信頼性が低下しているとして、ユーザに対してその理由、もしくは、信頼度rの改善を求めるアラートを提示してもよい。
 より具体的には、本方法においては、図24に示すように、HRV指標に基づき算出したストレス度をユーザに対して表示する際、当該ストレス度の表示形態を信頼度rに応じて変化させる。例えば、図24の左側に示すように、信頼度rが高い場合には、コントラストを高めてストレス度を表示する。一方、図24の右側に示すように、信頼度rが低い場合には、コントラストを低くしてストレス度を表示する。このようにコントラストを変化させて表示することにより、ユーザは、表示されたストレス度の信頼性を容易に認識することができる。また、例えば、図25に示すように、HRV指標の時系列データをユーザに向けてグラフ表示する際には、信頼度rが低い期間のHRV指標の時系列データを目立たないようにグレーアウト表示500を行う。このようにすることで、ユーザは着目すべきHRV指標に注目することになり、ユーザのHRV指標の確認が容易となる。
 ユーザへの信頼度rの提示方法としては、信頼度rの表示の色、輝度等を信頼度rに応じて変化させて表示してもよく、具体的に数字で信頼度rを表示してもよく、本方法においては特に限定されるものではない。本方法においては、このように信頼度rをユーザに提示することにより、ユーザは、当該信頼度rを改善しようと、安静、且つ、同一姿勢に維持するような動作に誘導されることとなる。さらに、ユーザは、当該信頼度rともに提示されたHRV指標の信頼性を容易に認識することができる。
 また、本方法においては、信頼度rの提示の際、脈波信号の測定の信頼性が低下している理由や、信頼度rを改善する方法をユーザに提示してもよい。この場合、信頼度rを算出する際に用いた安静スコアSrや姿勢スコアSpの値等を参照して、信頼度rが低下した原因を推定し、推定結果に基づいて、信頼度rが低下した理由や、信頼度rを改善する方法をユーザに提示する。より具体的には、信頼度rが低下した原因として、ユーザが急激な運動を行ったことが推定された場合には、ユーザに対して、「急激な運動により信頼度が低下しました」と推定される理由を提示する。また、本方法においては、このような場合には、当該ユーザに対して、「安静にしてください」や「姿勢を安定させて下さい」等といった、信頼度rを改善する方法を提示する。また、信頼度rが低下した原因として、PPGセンサ部122の装着状態が良くないことが推定される場合には、ユーザに対して、「ウェアブルデバイスの再装着をしてください」等といった、PPGセンサ部122の装着状態を改善する方法を提示する。このような提示を行うことにより、ユーザは、信頼度rが低い理由を認識することができることから、信頼度rのみをユーザに提示する場合に比べて、ユーザは納得感を得ることができる。さらには、ユーザは、信頼度rを改善する方法を容易に認識し、当該方法の実行に誘導されることから、脈波信号測定の精度を高め、ひいてはHRV指標の精度を高めることができる。
 なお、本方法においては、信頼度rが低下した理由や、信頼度rを改善する方法の提示方法は、上述のような文言等の文字によって表示することに限定されるものではない。例えば、各理由に予め紐づけられているパターンに基づいて、ウェアラブルデバイス10が振動したり、ウェアラブルデバイス10に設けられたLEDが発光したりして、ユーザに理由を提示してもよい。
 (第2の方法)
 次に、信頼度rの出力方法の一例として、信頼度rをウェアラブルデバイス10にフィードバックして、ウェアラブルデバイス10を制御する第2の方法を説明する。本方法においては、信頼度rが所定の値よりも低い期間が所定の時間(例えば、数秒)以上継続した場合には、脈波信号を取得するPPGセンサ部122の動作を一時的に停止させる。例えば、ユーザが走って移動したことに起因して非安静状態が連続すると、上述の安静スコアSrや当該安静スコアSrに基づいて算出される信頼度rが低下する。このような信頼度rの低下が所定の時間以上継続した場合には、この後も低い信頼度rが維持されると推定し、PPGセンサ部122の動作(例えば、受光動作)を一時的に停止させ、脈波信号の取得を停止する。信頼度rが低い状態での脈波信号に基づいてHRV指標を算出しても、ユーザの状態を適切に反映した指標を得ることができないためである。さらに、PPGセンサ部122の動作を停止させることにより、ウェアラブルデバイス10におけるバッテリー消費量を抑えることができる。すなわち、本方法によれば、信頼度rをウェアラブルデバイス10にフィードバックすることにより、ウェアラブルデバイス10の測定動作を好適な状態にすることができる。なお、PPGセンサ部122の動作を停止させる際には、ユーザにその旨を提示することが好ましい。また、本実施形態においては、PPGセンサ部122の動作を停止させることに限定されるものではなく、ウェアラブルデバイス10とサーバ30との間の通信等、他の動作を停止させてもよい。
 また、本方法においては、信頼度rをサーバ30の検出部332、補正部336及びHRV指標算出部342の処理にフィードバックしてもよい。詳細には、信頼度rが所定の値よりも低い期間が所定の時間(例えば、数秒)以上継続した場合には、異常値の適切な検出や、異常値の適切な補正、さらには、適切なHRV指標の算出が難しいと判定される。そこで、本方法においては、このような場合には、検出部332による異常値の検出、補正部336による異常値の補正、さらには、HRV指標算出部342によるHRV指標の算出を一時的に停止させる。その結果、検出部332、補正部336及びHRV指標算出部342での動作を停止させることにより、サーバ30における処理リソース(処理量、保持メモリ量、保存データ量等)の増加を抑えることができる。すなわち、本方法によれば、信頼度rをサーバ30にフィードバックすることにより、サーバ30の処理動作を好適な状態にすることができる。
 また、本方法においては、信頼度rをサーバ30のHRV指標算出部342にフィードバックして、HRV指標の算出処理を制御してもよい。具体的には、本方法においては、信頼度rが所定の値よりも低い期間に取得されたPPIの時系列データを、HRV指標を算出する際のデータからは除外する。このようにすることで、より信頼性の高いHRV指標を取得することができる。例えば、あるユーザについて直近1か月の間に算出されたHRV指標の平均値を、ユーザの体調管理に使用したい場合がある。このような場合には、信頼度rが低い期間のPPIの時系列データは除外してHRV指標の平均値を算出することにより、ユーザの状態がより的確に反映されたHRV指標の平均値を取得することができ、ユーザの体調管理に有効に用いることができる。
 また、本方法においては、複数期間のHRV指標を統合して所定の指標を算出する場合には、各期間の信頼度rに基づいて各HRV指標に対して重み付け処理を行った後に、上記統合値を算出してもよい。より具体的には、一日のユーザのストレス度を、1日の間に算出された複数個のSDNN(HRV指標の一種)の重み付き平均で定義することがある。本方法においては、このような場合、信頼度rの高い区間でのSDNNの値には大きな重みを与え、信頼度rの低い区間でのSDNNには小さな重みを与えるように重み付け処理を行う。このような重み付けを行うことにより、上記ストレス度に対する、脈波信号を適切に測定できなかった信頼度rの低い区間のSDNNの影響を抑えることができ、信頼性の高いストレス度を取得することができる。すなわち、本方法によれば、信頼度rをサーバ30の算出処理にフィードバックすることにより、サーバ30で算出されるHRV指標やストレス度等の精度をより向上させることができる。
  <<5. まとめ>>
 以上説明したように、本実施形態によれば、脈波信号の測定についての信頼度を算出し、ユーザに対してHRV指標等とともに上記信頼度を提示することにより、ユーザの状態を測定に理想的な状態に誘導することができる。さらに、算出した信頼度を、ウェアラブルデバイス10やサーバ30の制御にフィードバックすることにより、精度の高いHRV指標の算出を行ったり、バッテリー消費量を抑えたりと、ウェアラブルデバイス10やサーバ30を好適に制御することができる。すなわち、本実施形態によれば、自由行動下のユーザにおける脈波信号の測定において、当該測定を好適な状態にすることができる。
 さらには、本実施形態によれば、PPIの時系列データから精度よく異常値を検出し、検出した異常値に基づいて、PPIの時系列データを補正することにより、算出されるHRV指標等が、本来の算出すべき正しいHRV指標等と乖離してしまうことを避けることができる。すなわち、本実施形態によれば、PPIの時系列データに基づいて算出されるHRV指標等の精度を向上させることができる。
  <<6. ハードウェア構成について>>
 図26は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図26では、情報処理装置900は、上述のサーバ30のハードウェア構成の一例を示している。
 情報処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インターフェース958と、操作入力デバイス960とを有する。さらに、情報処理装置900は、表示デバイス962と、通信インターフェース968と、センサ980とを有する。また、情報処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
 (CPU950)
 CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する制御部(例えば、上述の制御部130)として機能する。具体的には、CPU950は、情報処理装置900において、例えば、上述の検出部332、検出補正制御部334、補正部336、信頼度算出部338、及びHRV指標算出部342等の機能を果たす。
 (ROM952及びRAM954)
 ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
 (記録媒体956)
 記録媒体956は、上述の記憶部350として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
 (入出力インターフェース958、操作入力デバイス960、及び表示デバイス962)
 入出力インターフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インターフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
 操作入力デバイス960は、例えば上述の入力部300として機能し、情報処理装置900の内部で入出力インターフェース958と接続される。
 表示デバイス962は、例えば上述の出力部310として機能し、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インターフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
 なお、入出力インターフェース958は、情報処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能である。また、入出力インターフェース958は、ドライブ(図示省略)と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、RAM954に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
 (通信インターフェース968)
 通信インターフェース968は、例えば上述のネットワーク70を介して(あるいは、直接的に)、サーバ30等の外部装置と、無線または有線で通信を行うための通信部340として機能する。ここで、通信インターフェース968としては、例えば、通信アンテナ及びRF(Radio frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
 (センサ980)
 センサ980は、ウェアラブルデバイス10のセンサ部120として機能する。さらに、センサ980は、圧力センサ等の各種のセンサを含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。なお、情報処理装置900のハードウェア構成は、図26に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 例えば、情報処理装置900は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インターフェース968を備えていなくてもよい。また、通信インターフェース968は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、情報処理装置900は、例えば、記録媒体956や、操作入力デバイス960、表示デバイス962等を備えない構成をとることも可能である。
 また、本実施形態に係る情報処理装置900は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置900は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
  <<7. 補足>>
 なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
 また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する信頼度算出部と、算出した前記信頼度に基づいて、各種処理を制御する制御部と、を備える情報処理装置。
(2)前記信頼度は、前記ユーザの状態、前記脈波センサの装着状態、又は、取得された前記拍動変動データの少なくともいずれかに基づいて、算出される、上記(1)に記載の情報処理装置。
(3)前記信頼度は、前記ユーザに装着されたモーションセンサによって取得された前記ユーザの状態に基づいて算出される、上記(2)に記載の情報処理装置。
(4)前記信頼度は、前記脈波センサとともに前記ユーザに装着されたセンサによって取得された前記脈波センサの装着状態に基づいて算出される、上記(2)に記載の情報処理装置。
(5)前記拍動変動データから異常値を検出する検出部をさらに備える、上記(1)に記載の情報処理装置。
(6)前記信頼度は、検出された前記異常値に基づいて算出される、上記(5)に記載の情報処理装置。
(7)前記制御部は、算出された前記信頼度に基づいて前記検出部を制御する、上記(5)又は(6)に記載の情報処理装置。
(8)前記検出部は、前記拍動変動データから、所定長の区間における前記拍動変動データを抽出し、抽出した前記所定長の区間における前記拍動変動データを所定のパターンと比較することにより、前記異常値を検出する、上記(5)~(7)のいずれか1つに記載の情報処理装置。
(9)前記検出部は、前記ユーザの身体特性に応じて前記異常値の検出の際に用いるパラメータを変化させる、上記(5)~(8)のいずれか1つに記載の情報処理装置。
(10)検出された前記異常値に基づいて、前記拍動変動データを補正する補正部をさらに備える、上記(5)に記載の情報処理装置。
(11)前記制御部は、算出された前記信頼度に基づいて前記補正部を制御する、上記(10)に記載の情報処理装置。
(12)前記補正部は、算出する前記身体指標の種別に応じて補正処理を変化させる、上記(10)又は(11)に記載の情報処理装置。
(13)前記補正部は、前記拍動変動データから、所定長の区間における前記拍動変動データを抽出し、抽出した前記所定長の区間における前記拍動変動データのパターンを認識し、認識した前記パターンの種別に応じて補正処理を変化させる、上記(10)又は(11)に記載の情報処理装置。
(14)補正された前記拍動変動データに基づいて、前記身体指標を算出する指標算出部をさらに備える、上記(10)に記載の情報処理装置。
(15)前記制御部は、算出された前記信頼度に基づいて前記指標算出部を制御する、上記(14)に記載の情報処理装置。
(16)前記指標算出部は、前記信頼度に基づいて、各区間の前記拍動変動データ又は前記身体指標に重み付けを行う、上記(14)に記載の情報処理装置。
(17)前記制御部は、前記信頼度に基づいて前記脈波センサを制御する、上記(1)に記載の情報処理装置。
(18)前記制御部は、前記情報処理装置内で行われる、前記拍動変動データからの異常値の検出を行う検出処理、前記拍動変動データを補正する補正処理、及び、前記拍動変動データから前記身体指標を算出する算出処理のうちの少なくとも1つの処理を制御する、上記(1)に記載の情報処理装置。
(19)ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出し、算出した前記信頼度に基づいて、各種処理を制御することを含む、情報処理方法。
(20)ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する機能と、算出した前記信頼度に基づいて、各種処理を制御する機能と、をコンピュータに実現させるためのプログラム。
  1  情報処理システム
  10、10a  ウェアラブルデバイス
  12  バンド部
  14  圧力センサ部
  30  サーバ
  50  ユーザ端末
  70  ネットワーク
  100、300  入力部
  110、310  出力部
  120  センサ部
  122  PPGセンサ部
  124  モーションセンサ部
  130、330  制御部
  140、340  通信部
  150、350  記憶部
  200  測定部位
  202  血管
  332  検出部
  334  検出補正制御部
  336  補正部
  338  信頼度算出部
  342  HRV指標算出部
  350  記憶部
  352  DB
  500  グレーアウト表示
  900  情報処理装置
  950  CPU
  952  ROM
  954  RAM
  956  記録媒体
  958  入出力インターフェース
  960  操作入力デバイス
  962  表示デバイス
  968  通信インターフェース
  970  バス
  980  センサ

Claims (20)

  1.  ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する信頼度算出部と、
     算出した前記信頼度に基づいて、各種処理を制御する制御部と、
     を備える情報処理装置。
  2.  前記信頼度は、前記ユーザの状態、前記脈波センサの装着状態、又は、取得された前記拍動変動データの少なくともいずれかに基づいて、算出される、請求項1に記載の情報処理装置。
  3.  前記信頼度は、前記ユーザに装着されたモーションセンサによって取得された前記ユーザの状態に基づいて算出される、
     請求項2に記載の情報処理装置。
  4.  前記信頼度は、前記脈波センサとともに前記ユーザに装着されたセンサによって取得された前記脈波センサの装着状態に基づいて算出される、
     請求項2に記載の情報処理装置。
  5.  前記拍動変動データから異常値を検出する検出部をさらに備える、請求項1に記載の情報処理装置。
  6.  前記信頼度は、検出された前記異常値に基づいて算出される、請求項5に記載の情報処理装置。
  7.  前記制御部は、算出された前記信頼度に基づいて前記検出部を制御する、請求項5に記載の情報処理装置。
  8.  前記検出部は、前記拍動変動データから、所定長の区間における前記拍動変動データを抽出し、抽出した前記所定長の区間における前記拍動変動データを所定のパターンと比較することにより、前記異常値を検出する、請求項5に記載の情報処理装置。
  9.  前記検出部は、前記ユーザの身体特性に応じて前記異常値の検出の際に用いるパラメータを変化させる、請求項5に記載の情報処理装置。
  10.  検出された前記異常値に基づいて、前記拍動変動データを補正する補正部をさらに備える、請求項5に記載の情報処理装置。
  11.  前記制御部は、算出された前記信頼度に基づいて前記補正部を制御する、請求項10に記載の情報処理装置。
  12.  前記補正部は、算出する前記身体指標の種別に応じて補正処理を変化させる、請求項10に記載の情報処理装置。
  13.  前記補正部は、前記拍動変動データから、所定長の区間における前記拍動変動データを抽出し、抽出した前記所定長の区間における前記拍動変動データのパターンを認識し、認識した前記パターンの種別に応じて補正処理を変化させる、請求項10に記載の情報処理装置。
  14.  補正された前記拍動変動データに基づいて、前記身体指標を算出する指標算出部をさらに備える、請求項10に記載の情報処理装置。
  15.  前記制御部は、算出された前記信頼度に基づいて前記指標算出部を制御する、請求項14に記載の情報処理装置。
  16.  前記指標算出部は、前記信頼度に基づいて、各区間の前記拍動変動データ又は前記身体指標に重み付けを行う、請求項14に記載の情報処理装置。
  17.  前記制御部は、前記信頼度に基づいて前記脈波センサを制御する、請求項1に記載の情報処理装置。
  18.  前記制御部は、前記情報処理装置内で行われる、前記拍動変動データからの異常値の検出を行う検出処理、前記拍動変動データを補正する補正処理、及び、前記拍動変動データから前記身体指標を算出する算出処理のうちの少なくとも1つの処理を制御する、請求項1に記載の情報処理装置。
  19.  ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出し、
     算出した前記信頼度に基づいて、各種処理を制御することを含む、情報処理方法。
  20.  ユーザに装着された脈波センサによって取得されたセンシングデータから取得された拍動変動データ、又は、当該拍動変動データから算出される前記ユーザの身体状態を示す身体指標の信頼度を算出する機能と、
     算出した前記信頼度に基づいて、各種処理を制御する機能と、
     をコンピュータに実現させるためのプログラム。
PCT/JP2018/014438 2017-06-28 2018-04-04 情報処理装置、情報処理方法及びプログラム WO2019003549A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880041816.5A CN110785120A (zh) 2017-06-28 2018-04-04 信息处理装置、信息处理方法和程序
US16/622,454 US11786136B2 (en) 2017-06-28 2018-04-04 Information processing apparatus, and information processing method
JP2019526158A JP7031669B2 (ja) 2017-06-28 2018-04-04 情報処理装置、情報処理方法及びプログラム
EP18824508.8A EP3646781A4 (en) 2017-06-28 2018-04-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-125779 2017-06-28
JP2017125779 2017-06-28

Publications (1)

Publication Number Publication Date
WO2019003549A1 true WO2019003549A1 (ja) 2019-01-03

Family

ID=64741540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014438 WO2019003549A1 (ja) 2017-06-28 2018-04-04 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11786136B2 (ja)
EP (1) EP3646781A4 (ja)
JP (1) JP7031669B2 (ja)
CN (1) CN110785120A (ja)
WO (1) WO2019003549A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020121022A (ja) * 2019-01-31 2020-08-13 パナソニックIpマネジメント株式会社 生体情報モニタリング方法および生体情報モニタリングシステム
WO2020166366A1 (ja) * 2019-02-14 2020-08-20 日本電信電話株式会社 時間特徴量算出装置、算出方法及びそのプログラム
JP2021041088A (ja) * 2019-09-13 2021-03-18 株式会社東芝 電子装置及び方法
JP2021048964A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 生体情報取得装置、生体情報取得方法及びプログラム
WO2021101073A1 (ko) * 2019-11-18 2021-05-27 삼성전자 주식회사 생체 데이터를 획득하는 장치 및 그 방법
JP2021094307A (ja) * 2019-12-19 2021-06-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2021122581A (ja) * 2020-02-06 2021-08-30 国立大学法人大阪大学 生体情報処理方法、および、生体情報処理システム
CN114126498A (zh) * 2019-07-22 2022-03-01 麦克赛尔株式会社 检测装置和检测方法
KR20220059711A (ko) * 2020-11-03 2022-05-10 주식회사 포스코아이씨티 심전도 추정을 사용한 수면분석 장치
WO2022201639A1 (ja) * 2021-03-25 2022-09-29 株式会社日立物流 生体データ評価サーバ、生体データ評価システム及び生体データ評価方法
JP2022180639A (ja) * 2019-01-31 2022-12-06 パナソニックIpマネジメント株式会社 生体情報モニタリング方法、生体情報モニタリングシステムおよび生体情報モニタリングプログラム
JP2023041157A (ja) * 2021-09-13 2023-03-24 カシオ計算機株式会社 電子機器、情報出力方法及びプログラム
WO2023189483A1 (ja) * 2022-03-31 2023-10-05 株式会社村田製作所 末梢血圧推定方法および生体情報測定システム
JP7367267B1 (ja) * 2023-01-30 2023-10-23 三菱電機株式会社 眠気度推定装置、眠気度推定装置を備えた機器および空調装置
CN114126498B (zh) * 2019-07-22 2024-05-17 麦克赛尔株式会社 检测装置和检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973508B2 (ja) * 2017-12-28 2021-12-01 日本電気株式会社 信号処理装置、解析システム、信号処理方法および信号処理プログラム
JP7046760B2 (ja) * 2018-08-23 2022-04-04 アンリツ株式会社 信号解析装置及び信号解析方法並びに信号解析プログラム
KR20200095891A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 심박 지표 판단 장치 및 방법
TWI749631B (zh) * 2020-07-10 2021-12-11 緯創資通股份有限公司 訊號處理方法、裝置以及非暫態電腦可讀取記錄媒體
GB2603104A (en) * 2020-12-04 2022-08-03 Huma Therapeutics Ltd Predicting a heart rate variability parameter
GB2606140A (en) * 2021-04-21 2022-11-02 Prevayl Innovations Ltd Method and system for correcting heartrate values derived from a heart rate signal
CN113961548B (zh) * 2021-09-22 2022-03-25 航天宏康智能科技(北京)有限公司 用水量时序数据的异常值处理方法和异常值处理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284482A (ja) 1994-04-19 1995-10-31 Isuzu Motors Ltd 心拍変動波形解析方法及び装置
JPH07313477A (ja) * 1994-05-24 1995-12-05 Isuzu Motors Ltd 居眠り警告装置
JP2009261419A (ja) 2008-04-21 2009-11-12 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2010162282A (ja) 2009-01-19 2010-07-29 Denso Corp 生体状態評価装置、生体状態評価システム、プログラム、及び記録媒体
JP2011212441A (ja) * 2010-03-31 2011-10-27 General Electric Co <Ge> 運動検出を伴う心電図検査を実行するシステム及び方法
JP2015080624A (ja) * 2013-10-23 2015-04-27 富士通株式会社 波形補間装置、方法及びプログラム
WO2015141216A1 (ja) * 2014-03-18 2015-09-24 京セラ株式会社 生体情報測定装置及び生体情報測定方法
JP2016146994A (ja) * 2015-02-13 2016-08-18 パナソニックIpマネジメント株式会社 生体情報計測装置
JP2016202348A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、端末装置及び生体情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05184547A (ja) 1992-01-10 1993-07-27 Omron Corp 電子血圧計
JP3610148B2 (ja) 1995-02-20 2005-01-12 セイコーエプソン株式会社 周期・周波数計測装置
US5865756A (en) 1997-06-06 1999-02-02 Southwest Research Institute System and method for identifying and correcting abnormal oscillometric pulse waves
US20050240112A1 (en) 2003-08-28 2005-10-27 Fang Dan O System and method for detecting and locating heart disease
CN102740773B (zh) * 2010-02-05 2014-11-26 日本电气株式会社 有机体信息测量工具、便携终端装置
EP2524647A1 (en) 2011-05-18 2012-11-21 Alain Gilles Muzet System and method for determining sleep stages of a person
US9734304B2 (en) 2011-12-02 2017-08-15 Lumiradx Uk Ltd Versatile sensors with data fusion functionality
CN103892816B (zh) 2012-12-27 2018-07-06 深圳迈瑞生物医疗电子股份有限公司 一种血压测量仪
US20160302680A1 (en) 2015-04-17 2016-10-20 Seiko Epson Corporation Biological information processing system, biological information processing device, terminal device, method for generating analysis result information, and biological information processing method
JP2016221092A (ja) 2015-06-02 2016-12-28 ソニー株式会社 ノイズ低減処理回路および方法、ならびに、生体情報処理装置および方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284482A (ja) 1994-04-19 1995-10-31 Isuzu Motors Ltd 心拍変動波形解析方法及び装置
JPH07313477A (ja) * 1994-05-24 1995-12-05 Isuzu Motors Ltd 居眠り警告装置
JP2009261419A (ja) 2008-04-21 2009-11-12 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2010162282A (ja) 2009-01-19 2010-07-29 Denso Corp 生体状態評価装置、生体状態評価システム、プログラム、及び記録媒体
JP2011212441A (ja) * 2010-03-31 2011-10-27 General Electric Co <Ge> 運動検出を伴う心電図検査を実行するシステム及び方法
JP2015080624A (ja) * 2013-10-23 2015-04-27 富士通株式会社 波形補間装置、方法及びプログラム
WO2015141216A1 (ja) * 2014-03-18 2015-09-24 京セラ株式会社 生体情報測定装置及び生体情報測定方法
JP2016146994A (ja) * 2015-02-13 2016-08-18 パナソニックIpマネジメント株式会社 生体情報計測装置
JP2016202348A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、端末装置及び生体情報処理方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022180639A (ja) * 2019-01-31 2022-12-06 パナソニックIpマネジメント株式会社 生体情報モニタリング方法、生体情報モニタリングシステムおよび生体情報モニタリングプログラム
JP7162254B2 (ja) 2019-01-31 2022-10-28 パナソニックIpマネジメント株式会社 生体情報モニタリング方法および生体情報モニタリングシステム
JP7320766B2 (ja) 2019-01-31 2023-08-04 パナソニックIpマネジメント株式会社 生体情報モニタリング方法、生体情報モニタリングシステムおよび生体情報モニタリングプログラム
JP2020121022A (ja) * 2019-01-31 2020-08-13 パナソニックIpマネジメント株式会社 生体情報モニタリング方法および生体情報モニタリングシステム
WO2020166366A1 (ja) * 2019-02-14 2020-08-20 日本電信電話株式会社 時間特徴量算出装置、算出方法及びそのプログラム
JP2020130335A (ja) * 2019-02-14 2020-08-31 日本電信電話株式会社 時間特徴量算出装置、算出方法及びそのプログラム
CN114126498A (zh) * 2019-07-22 2022-03-01 麦克赛尔株式会社 检测装置和检测方法
CN114126498B (zh) * 2019-07-22 2024-05-17 麦克赛尔株式会社 检测装置和检测方法
JP2021041088A (ja) * 2019-09-13 2021-03-18 株式会社東芝 電子装置及び方法
JP7024769B2 (ja) 2019-09-24 2022-02-24 カシオ計算機株式会社 生体情報取得装置、生体情報取得方法及びプログラム
JP2021048964A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 生体情報取得装置、生体情報取得方法及びプログラム
WO2021101073A1 (ko) * 2019-11-18 2021-05-27 삼성전자 주식회사 생체 데이터를 획득하는 장치 및 그 방법
JP2021094307A (ja) * 2019-12-19 2021-06-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2021122581A (ja) * 2020-02-06 2021-08-30 国立大学法人大阪大学 生体情報処理方法、および、生体情報処理システム
KR20220059711A (ko) * 2020-11-03 2022-05-10 주식회사 포스코아이씨티 심전도 추정을 사용한 수면분석 장치
KR102443679B1 (ko) 2020-11-03 2022-09-15 주식회사 포스코아이씨티 심전도 추정을 사용한 수면분석 장치
WO2022201639A1 (ja) * 2021-03-25 2022-09-29 株式会社日立物流 生体データ評価サーバ、生体データ評価システム及び生体データ評価方法
JP2023041157A (ja) * 2021-09-13 2023-03-24 カシオ計算機株式会社 電子機器、情報出力方法及びプログラム
JP7380659B2 (ja) 2021-09-13 2023-11-15 カシオ計算機株式会社 電子機器、電子時計、情報出力方法及びプログラム
WO2023189483A1 (ja) * 2022-03-31 2023-10-05 株式会社村田製作所 末梢血圧推定方法および生体情報測定システム
JP7367267B1 (ja) * 2023-01-30 2023-10-23 三菱電機株式会社 眠気度推定装置、眠気度推定装置を備えた機器および空調装置

Also Published As

Publication number Publication date
CN110785120A (zh) 2020-02-11
EP3646781A1 (en) 2020-05-06
JPWO2019003549A1 (ja) 2020-05-21
EP3646781A4 (en) 2020-07-29
US20200155018A1 (en) 2020-05-21
JP7031669B2 (ja) 2022-03-08
US11786136B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP7031669B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11571139B2 (en) Wearable system and method for measuring oxygen saturation
CN106999065B (zh) 使用加速度测量术的可穿戴疼痛监测器
US20080319281A1 (en) Device for Detecting and Warning of Medical Condition
EP3849407B1 (en) System and method for monitoring respiratory rate and oxygen saturation
US10595776B1 (en) Determining energy expenditure using a wearable device
EP3801227B1 (en) Method and apparatus for estimating a trend in a blood pressure surrogate
US10765374B2 (en) Methods and apparatus for adaptable presentation of sensor data
KR20170109554A (ko) 대상자의 정신 상태를 도출하기 위한 방법 및 장치
US11617545B2 (en) Methods and systems for adaptable presentation of sensor data
US20230245741A1 (en) Information processing device, information processing system, and information processing method
EP3949842A1 (en) Information processing device, information processing method, and program
US20230157572A1 (en) Continuous Self-Recalibrating System and Method for Monitoring Oxygen Saturation
JP6372804B2 (ja) 生体情報計測装置およびそのプログラム
JP2016067480A (ja) 生体情報検出装置
JP2016067481A (ja) 生体情報検出装置
JP2015173684A (ja) 生体情報処理システム、電子機器及び生体情報処理方法
US20160089040A1 (en) Biological information detecting device
US20220345799A1 (en) Sensor device, sensing method, and program storage medium
US20180303431A1 (en) User migraine analysis component
KR20230046586A (ko) 전자 장치 및 전자 장치를 제어하기 위한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18824508

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526158

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018824508

Country of ref document: EP

Effective date: 20200128