WO2016143074A1 - 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 - Google Patents

食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 Download PDF

Info

Publication number
WO2016143074A1
WO2016143074A1 PCT/JP2015/057041 JP2015057041W WO2016143074A1 WO 2016143074 A1 WO2016143074 A1 WO 2016143074A1 JP 2015057041 W JP2015057041 W JP 2015057041W WO 2016143074 A1 WO2016143074 A1 WO 2016143074A1
Authority
WO
WIPO (PCT)
Prior art keywords
meal
time
heart rate
feature
feature amount
Prior art date
Application number
PCT/JP2015/057041
Other languages
English (en)
French (fr)
Inventor
森 達也
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2015/057041 priority Critical patent/WO2016143074A1/ja
Priority to JP2017504488A priority patent/JP6390783B2/ja
Priority to EP15884566.9A priority patent/EP3269300A4/en
Publication of WO2016143074A1 publication Critical patent/WO2016143074A1/ja
Priority to US15/693,967 priority patent/US10595789B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0092Nutrition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7239Details of waveform analysis using differentiation including higher order derivatives

Definitions

  • the present invention relates to a meal time estimation method, a meal time estimation program, and a meal time estimation apparatus.
  • Health care such as prevention of lifestyle-related diseases such as metabolic syndrome and diabetes, diet, medical services, etc. is attracting attention.
  • a process for recognizing and improving problems of one's own lifestyle by recording daily lifestyle such as exercise and meal is required.
  • diet control methods such as “when”, “what”, and “how much” are listed as follows. Specifically, three regular meals (when), breakfast (when), balanced nutrition (what), too much calories (how much), and saltiness (what) Items are listed.
  • a eating behavior detection system for example, a eating behavior detection system, a speech / eating / drinking state detection system, a eating behavior detection device, and the like have been proposed.
  • a meal determination is performed by detecting an action of raising and lowering an arm during food intake using an acceleration sensor.
  • the speech / drinking state detection system the frequency pattern peculiar to mastication of body sounds is detected by using mastication when eating an object.
  • threshold processing is performed to determine whether or not the human body is moving frequently after detecting the human body in the vicinity of the dining table in a situation where an infrared sensor is installed on the dining table or the like.
  • the way of eating is restricted, or the place where the eating behavior is estimated is restricted, so that there is a lack of versatility.
  • the acceleration tendency assumed in the eating behavior detection system only corresponds to one side of the arm movement performed when eating food, and when the other arm movement is performed, the acceleration tendency is Since they are different, a detection failure occurs.
  • the utterance / eating / drinking state detection system since the microphone is worn on the neck at the time of eating, the body is burdened and the appearance is also deteriorated.
  • the eating behavior detection device only a meal in a fixed environment such as a place where an infrared sensor is installed can be recognized.
  • a life management terminal device has been proposed as an example of a technique that uses a pulse wave for meal determination.
  • this life management terminal device in addition to the appearance of chewing characteristics that occur during meals, it is determined that a meal is being eaten when the pulse rate increases and the skin conductivity does not increase rapidly.
  • an object of the present invention is to provide a meal time estimation method, a meal time estimation program, and a meal time estimation apparatus that can suppress a decrease in the estimation accuracy of meal time.
  • the computer has indexed the degree of similarity between the process of acquiring heart rate time-series data and the heart rate change feature that appears at the end of a meal from the time-series data of the heart rate
  • a process for calculating the amount and a process for estimating the meal time from the feature amount are executed.
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of heart rate data.
  • FIG. 3 is a diagram illustrating an example of heart rate data.
  • FIG. 4 is a diagram for explaining an example of the feature amount (1).
  • FIG. 5 is a diagram illustrating an example of the feature amount (2).
  • FIG. 6 is a diagram illustrating an example of the feature amount (3).
  • FIG. 7 is a diagram illustrating an example of the feature amount (4).
  • FIG. 8 is a diagram for explaining an example of the feature amount (5).
  • FIG. 9 is a diagram illustrating an example of the feature amount (6).
  • FIG. 10 is a diagram for explaining an example of the feature amount (7).
  • FIG. 11 is a diagram illustrating an example of the feature amount (7).
  • FIG. 12 is a flowchart illustrating a procedure of mealtime estimation processing according to the first embodiment.
  • FIG. 13 is a diagram illustrating a hardware configuration example of a computer that executes a mealtime estimation program according to the first and second embodiments.
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • a healthcare support system 1 shown in FIG. 1 provides various healthcare support services.
  • a health care support service a service for recording a living behavior of a user of the sensor terminal 10 using the sensing data collected by the sensor terminal 10, for example, a meal time, and a derivative service using the record Etc.
  • the health care support system 1 detects a heart rate change that appears at the end of a meal when estimating a meal time such as a meal start time, a meal end time, or a meal required time from time-series data of heart rate.
  • a meal time such as a meal start time, a meal end time, or a meal required time from time-series data of heart rate.
  • the feature quantity in which the degree of similarity with the feature is indexed is used. This prevents, for example, the estimation of mealtime in situations where the heart rate rises due to causes other than meals, such as mental tension, changes in environmental temperature, or exercise, thereby reducing the estimation accuracy of mealtime. To suppress.
  • the health care support system 1 accommodates a sensor terminal 10 and an information processing apparatus 100.
  • FIG. 1 illustrates a case where there is one sensor terminal, the health care support system 1 may accommodate a plurality of sensor terminals.
  • the sensor terminal 10 and the information processing apparatus 100 are connected so that they can communicate with each other.
  • the sensor terminal 10 and the information processing apparatus 100 are connected by short-range wireless communication such as BLE (Bluetooth (registered trademark) Low Energy). They can be connected to each other via a network.
  • the sensor terminal 10 and the information processing apparatus 100 are connected via an arbitrary type of communication network such as the Internet, including a local communication network such as a LAN (Local Area Network) and a VPN (Virtual Private Network). be able to.
  • the sensor terminal 10 is a terminal device on which a sensor is mounted.
  • the sensor terminal 10 can employ a terminal device dedicated to healthcare, wearable gadgets such as smart glasses and smart watches, and the like.
  • At least a heart rate sensor is mounted on the sensor terminal 10.
  • the sensor terminal 10 detects, for example, the heart rate per unit time of the user who uses the sensor terminal 10.
  • the time-series data of the heart rate sensed by using the heart rate sensor is used for calculating the feature amount and estimating the meal time.
  • the time-series data of the heart rate sensed using the heart rate sensor may be referred to as “heart rate data”.
  • an acceleration sensor can be mounted on the sensor terminal 10.
  • this acceleration sensor for example, a triaxial acceleration sensor can be adopted.
  • the time-series data of the three-axis acceleration sensed using the acceleration sensor as described above that is, the acceleration change in the up / down / left / right and front / back directions of the sensor terminal 10 is determined by the user using the sensor terminal 10 in an exercise state such as walking, raising / lowering and running. Used to detect Thus, the acceleration time-series data contributes to the removal of the motion period in which the motion state and the motion state continue from the heart rate time-series data.
  • acceleration data the time series data of acceleration sensed using an acceleration sensor may be referred to as “acceleration data”.
  • the heart rate sensor and the acceleration sensor were illustrated here as an example, it does not prevent that other sensors, such as a gyro sensor and a GPS (Global Positioning System) receiver, are mounted.
  • sensors such as a gyro sensor and a GPS (Global Positioning System) receiver
  • a gyro sensor can be used instead of the acceleration sensor.
  • the sensor for removing the exercise period is not limited to the acceleration sensor, and the exercise period can also be removed from the heart rate data using the inertial data sensed by the inertial sensor.
  • a wearable heart rate sensor that is worn on a user's body part, for example, a chest, an arm, or a wrist
  • a pulse by a photoelectric pulse wave sensor can be adopted.
  • a heart rate sensor can be mounted exclusively for healthcare, or when the wearable gadget is equipped with a heart rate sensor, the heart rate sensor can be diverted.
  • a heart rate sensor that detects a heart rate does not necessarily have to be mounted on the sensor terminal 10
  • an electrocardiographic sensor that detects an electrocardiographic signal may be mounted on the sensor terminal 10.
  • the heart rate sensor may not necessarily be a wearable type.
  • a heart rate is detected from a time series change of luminance related to an image in which a part of a user's living body is imaged at a predetermined sampling frequency, or a Doppler frequency associated with a pulsation is detected using an RF (Radio Frequency) motion sensor.
  • RF Radio Frequency
  • Heart rate is an index that represents the number of beats of the heart that pumps blood, and the calculation method is a method that measures blood flow and measures pulsation even if it is a method that measures the electrical activity of the heart. It does not matter.
  • the heart rate data and acceleration data sensed by the sensor terminal 10 in this way are transmitted to the information processing apparatus 100 in a state associated with the user identification information, for example, the machine name and serial number of the sensor terminal 10.
  • the heart rate data and the acceleration data may be transmitted in real time every time the heart rate or acceleration is sensed, or accumulated for a predetermined period, for example, 12 hours, 1 day, 1 week, 1 month, etc. Then, it may be transmitted after that.
  • the sensor terminal 10 is caused to calculate a feature amount used for estimation of meal time from the heart rate data. It doesn't matter. As described above, when the sensor terminal 10 calculates the feature amount, it is possible to reduce the amount of data transmitted by the two devices, and to suppress a situation in which heart rate data that is personal information is disclosed to a third party at the time of transmission.
  • the information processing apparatus 100 is a computer that provides the above health care support service. As the information processing apparatus 100, it is possible to employ a general computer including a portable terminal device and a stationary or notebook personal computer.
  • the mobile terminal device includes not only mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone System), but also tablet terminals and slate terminals.
  • the information processing apparatus 100 can be implemented by installing a meal time estimation program for realizing the above-described healthcare support service on a desired computer as package software or online software. For example, the information processing apparatus 100 estimates the meal time of the user of the sensor terminal 10 using the heart rate data received from the sensor terminal 10. In addition, the information processing apparatus 100 can record meal times, and also generates and outputs a list of meal time zones from a meal time recorded so far over a predetermined period, for example, one week. It is also possible to output various kinds of advice after analyzing meal habits or diets from meal times recorded so far. For example, the above-described various types of information can be output through an output device such as a display device, an audio output device, and a printing device that the information processing apparatus 100 has.
  • an output device such as a display device, an audio output device, and a printing device that the information processing apparatus 100 has.
  • the output destination of information is not necessarily limited to the information processing apparatus 100, and may be another terminal device used by the user, or a related person, for example, a user's relative, a medical or care worker, or the like It can also be set as the terminal device to be used. As a result, the above health care support service is realized.
  • the sensor terminal 10 includes a heart rate data acquisition unit 11, an acceleration data acquisition unit 12, and a communication I / F (InterFace) unit 13.
  • the sensor terminal 10 may include a functional unit included in a known computer other than the functional unit illustrated in FIG. 1.
  • a terminal device, a wearable gadget, or a portable terminal device dedicated to healthcare is executed as the sensor terminal 10
  • hardware and software that are standard equipment of these devices can be implemented.
  • the heart rate data acquisition unit 11 is a processing unit that acquires the above heart rate data.
  • the heart rate data acquisition unit 11 controls a heart rate sensor (not shown) to cause the heart rate sensor to sense a heart rate at a predetermined sampling period.
  • the heart rate data acquisition unit 11 acquires time-series data of the heart rate sensed by the heart rate sensor for each sampling point as heart rate data.
  • data associated with items such as time and heart rate can be employed.
  • the “time” mentioned here may be a system time locally managed on the sensor terminal 10, for example, an elapsed time from an arbitrary start point, or expressed by a calendar calendar such as year / month / day / hour / hour / minute / second. It does not matter if it is time to be played.
  • the “heart rate” is expressed as a heart rate per unit time. For example, when the unit time is 1 minute, the heart rate is expressed in bpm (beats per minute) or the like. When the unit time is 1 second, the heart rate is expressed in Hz. Furthermore, as long as the index is correlated with “heart rate”, the heart rate does not have to be the same. For example, the peak RR interval of the electrocardiogram waveform in the electrocardiogram waveform is expressed in milliseconds and can be used instead of the heart rate.
  • the present invention captures the response of the circulatory organ accompanying meals and uses it to estimate meal times.
  • heart rate is obtained from information obtained from an electrocardiogram waveform and pulse wave waveform and information related to blood flow. Can be used when an index correlating with the index is obtained.
  • the “acceleration” can include three-axis accelerations in the vertical direction, the horizontal direction, and the front-back direction.
  • the acceleration in one direction among the three axes is limited to be used in the subsequent function unit, the acceleration in the direction not used in the subsequent function unit can be removed from the acceleration data.
  • the acceleration sensor can adopt the same sampling cycle as that of the heart rate sensor, or can adopt a different sampling cycle.
  • the acceleration data acquired in this way may be transmitted to the information processing apparatus 100 via the communication I / F unit 13 every time acceleration is sensed, or for a predetermined period, for example, 12 hours or 1 It may be stored in a memory (not shown) for a day or the like and then transmitted to the information processing apparatus 100 via the communication I / F unit 13.
  • the communication I / F unit 13 is an interface that performs communication control with another device, such as the information processing device 100.
  • a network interface card such as a LAN card can be adopted as the communication I / F unit 13.
  • the communication I / F unit 13 transmits the above heart rate data, the above acceleration data, and the like to the information processing apparatus 100.
  • the communication I / F unit 13 includes instructions for uploading the heart rate data and the acceleration data from the information processing apparatus 100 to the information processing apparatus 100, instructions regarding an interval for uploading to the information processing apparatus 100, and the like.
  • a time estimation result or a diagnosis result using the time estimation result can be received.
  • the functional units such as the heart rate data acquisition unit 11 and the acceleration data acquisition unit 12 described above can be implemented as follows. For example, it is realized by causing a central processing unit, a so-called CPU (Central Processing Unit) or the like, to develop and execute a process that performs the same function as the heart rate data acquisition unit 11 and acceleration data acquisition unit 12 on a memory. it can.
  • These functional units are not necessarily executed by the central processing unit, and may be executed by an MPU (Micro Processing Unit).
  • MPU Micro Processing Unit
  • Each of the above functional units can be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • RAM Random Access Memory
  • flash memory can be adopted as the main storage device used by each of the functional units described above.
  • the storage device referred to by each of the functional units is not necessarily a main storage device, and may be an auxiliary storage device.
  • HDD Hard Disk Drive
  • optical disk optical disk
  • SSD Solid State Drive
  • the communication I / F unit 110 is an interface that performs communication control with other devices such as the sensor terminal 10.
  • a network interface card such as a LAN card can be adopted as the communication I / F unit 110.
  • the communication I / F unit 110 receives the above heart rate data and the above acceleration data from the sensor terminal 10.
  • the communication I / F unit 110 includes an instruction for uploading the heart rate data and the acceleration data to the sensor terminal 10 and an instruction regarding an interval for uploading the information to the information processing apparatus 100 as well as an estimation result of meal time and the like. The result of diagnosis using can be transmitted to the sensor terminal 10.
  • the exercise period determination unit 120 is a processing unit that determines the exercise period.
  • the “exercise period” here refers to a period during which exercise such as walking, running, and climbing stairs is assumed. For example, acceleration data transmitted from the sensor terminal 10 is used to determine the exercise period. .
  • the exercise period determination unit 120 uses at least the acceleration in the vertical direction, that is, the acceleration in the gravitational direction among the accelerations included in the acceleration data for the determination of the exercise period.
  • the reason why acceleration in the direction of gravity is used in this way is that when a motion such as walking, running, and climbing stairs is performed, the acceleration changes in a specific pattern and the pattern appears periodically. That is, during an exercise such as walking, running, and climbing up and down stairs, a reaction force is received from the ground or the like when the leg is kicked out or landing, so that changes in the acceleration in the direction of gravity appear in a short period of time. Furthermore, changes in ascent and descent regarding acceleration in the direction of gravity appear periodically each time the load is removed from the ground and the foot contacts the ground.
  • the exercise period determination unit 120 detects the above ascending and descending patterns from the acceleration in the gravitational direction as an example. Then, the exercise period determination unit 120 determines whether or not the interval at which the pattern appears is within a predetermined period. At this time, when the interval at which the pattern appears is within a predetermined period, the section in which the pattern appears repeatedly within the predetermined period is determined as the exercise period.
  • the determination of the exercise period as an example, the user performs an exercise activity while the sensor terminal 10 is worn, and the above pattern is obtained by experimentally collecting the acceleration change accompanying the exercise activity.
  • a threshold for discriminating ascent and descent from the degree of ascent and descent formed can be set.
  • the predetermined period can also be determined from the values that appear experimentally for the intervals at which the patterns appear.
  • movement period can also be expressed by the start time of the exercise
  • the motion period in which motions such as arms and legs, upper body, lower body, and posture changes that affect the heart rate change can also be set as the exercise period.
  • the noise heart rate removing unit 130 is a processing unit that removes a section in which the heart rate is estimated to change due to noise other than meals from the above heart rate data.
  • the noise heart rate removing unit 130 may reduce the heart rate data acquired by the heart rate data acquiring unit 11 in order to prevent a change in heart rate due to exercise from adversely affecting the estimation of meal time.
  • the section corresponding to the exercise period determined by the exercise period determination unit 120 is removed.
  • the noise heart rate removing unit 130 adds not only the section corresponding to the exercise period but also, as an example, by adding a certain period from the exercise end time to the recovery of the heart rate increased by the exercise to the exercise end time. It is also possible to obtain a removal period including a recovery change in the heart rate after exercise, and to remove a section corresponding to the removal period from the heart rate data. As an example, during a certain period added to the exercise end time, it is possible to set an individual user time by performing an experiment to measure a recovery change after exercise, or set a time common to all users as a default value.
  • the feature amount calculation unit 140 is a processing unit that calculates a feature amount in which the similarity with the feature of the heart rate change that appears at the end of the meal is indexed from the above heart rate data.
  • the feature amount calculation unit 140 shifts a meal end time candidate assumed to be a meal end time on the heart rate data, and for each candidate, a portion around the candidate in the heart rate data.
  • the feature amount is calculated using the data.
  • FIGS. 2 and 3 are diagrams showing an example of heart rate data.
  • FIG. 2 and FIG. 3 show heart rate data including the meal period from the start of meal to the end of meal, and the timing of meal start and meal end in the figure is shown as a reference by user input. It is time that was done.
  • FIG. 2 shows heart rate data from 1 hour before the start of meal to 1 hour after the end of meal
  • FIG. 3 shows heart rate data for 5 hours before and after the start of meal.
  • FIG. 2 shows microscopic heart rate data compared to FIG. 3
  • FIG. 3 shows macroscopic heart rate data compared to FIG. 2 and 3 indicate the heart rate per unit time, and the horizontal axis indicates time.
  • FIG. 2 and 3 indicate that the features (A) and (B) shown in FIG. 2 and the features (C) shown in FIG. 3 appear at the end of the meal. That is, as shown in the feature amount (A) in FIG. 2, the state in which the heart rate is higher than that before a meal tends to continue because the meal is before the meal end time. Furthermore, as shown in the feature (b) of FIG. 2, the heart rate tends to decrease after the meal ends. In addition, as shown in FIG. 3 (c), after some time after eating, the heart rate increased, probably due to activities such as digestion and absorption in the body, for example over a long period of 3-5 hours There is a tendency to maintain a higher heart rate than before the start of the meal.
  • the feature amount calculation unit 140 can calculate seven feature amounts from feature amount (1) to feature amount (7) described below.
  • the feature quantity (1) is an index in which the decrease rate of the heart rate after the meal is quantified.
  • FIG. 4 is a diagram for explaining an example of the feature amount (1).
  • FIG. 4 illustrates a case where the above-mentioned meal end time candidates are set when the user inputs the end of meal on the heart rate data including the actual meal period.
  • the vertical axis shown in FIG. 4 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 is characterized by a difference between a heart rate measured at a meal end time t2 as a candidate and a heart rate a predetermined time ⁇ 1 after the meal end time t2. It can be calculated as a quantity (1).
  • the predetermined time ⁇ 1 it is possible to employ a time when the tendency of the above characteristic (b) appears when the candidate is set to a true meal end time, for example, a time of about 3 minutes or 5 minutes.
  • the relationship between the feature value (1) that can be calculated at the time when the activity such as exercise is not performed, at the end of the actual meal, and at the end of the exercise is: At rest ⁇ At end of meal ⁇ At end of exercise.
  • the upper limit value of the feature value (1) at rest and the lower limit value of the feature value (1) at the end of exercise are set as boundary values by experiments, prior measurements, etc., and the upper limit value at rest ⁇ Whether or not the candidate is likely to be the meal end time can be evaluated based on whether or not the feature amount (1) ⁇ the lower limit value at the end of the exercise.
  • the feature amount calculation unit 140 calculates, as a feature amount (1), a heart rate that takes the minimum value among heart rates measured within a predetermined time, for example, about 15 minutes from the meal end time t2. You can also.
  • the feature amount (2) is an index in which the inclination of the heart rate immediately before the end of the meal, that is, the inclination formed by the waveform of the heart rate data from the middle of the meal to immediately before the end of the meal is digitized.
  • FIG. 5 is a diagram illustrating an example of the feature amount (2).
  • FIG. 5 also illustrates the case where the meal end time candidate is set at the time when the user inputs the end of the meal on the heart rate data including the actual meal period for convenience of explanation.
  • the vertical axis shown in FIG. 5 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 performs a linear function on a time series of heart rates included in heart rate data in a section that extends from a meal end time t2 as a candidate to a predetermined time ⁇ 2 before.
  • the slope of the approximate straight line L1 obtained by performing function approximation or the like can be calculated as the feature amount (2).
  • the predetermined time ⁇ 2 a time that can be assumed that the feeding operation and the peristaltic movement continue when a certain amount of food is ingested, for example, about 3 minutes can be employed.
  • the value of the feature value (2) calculated in this way approaches zero, it can be considered that the heart rate during the meal changes at a substantially constant value. It can be evaluated that the data is similar to the feature (A).
  • the feature amount (3) is an index in which the inclination of the heart rate immediately after the end of the meal, that is, the inclination formed by the waveform of the heart rate data with the passage of time after the end of the meal is digitized.
  • FIG. 6 is a diagram illustrating an example of the feature amount (3).
  • FIG. 6 also illustrates a case where the above-mentioned meal end time candidate is set when the user inputs the end of meal on the heart rate data including the actual meal period.
  • the vertical axis shown in FIG. 6 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 uses a linear function for a time series of heart rates included in heart rate data in a section from a meal end time t2 as a candidate to a predetermined time ⁇ 3.
  • the slope of the approximate straight line L2 obtained by performing function approximation or the like can be calculated as the feature amount (3).
  • the predetermined time ⁇ 3 as in the case of ⁇ 1 of the feature amount (1), when the candidate is set to the true meal end time, the time when the tendency of the feature (b) appears, for example, 3 minutes or 5 A time of about a minute can be adopted.
  • the relationship between the feature amount (3) that can be calculated at the time when the activity such as exercise is not performed, at the end of the actual meal, and at the end of the exercise is: At the end of exercise ⁇ at the end of meal ⁇ at rest.
  • the upper limit value of the feature value (3) at the end of exercise and the lower limit value of the feature value (3) at rest are set as boundary values, and the upper limit value at the end of exercise ⁇ feature value (3) ⁇ Whether or not the candidate is likely as the meal end time can be evaluated based on whether or not the lower limit value is at rest.
  • the function approximation is performed in the section from the meal end time t2 as the candidate to the time after the predetermined time ⁇ 3 is illustrated.
  • the method is not limited to this.
  • the feature amount calculation unit 140 when performing function approximation using heart rate data after the meal end time t2 as a candidate, sets the end point of the section in which function approximation is performed as the first time of the meal end time t2. The function approximation is performed every time the shift is performed after the second time after the first time.
  • the feature amount calculation unit 140 sets, as a feature amount (3), the inclination of the approximate straight line that is the smallest among the plurality of approximate lines obtained by function approximation as a result of the shift from the first time to the second time. It can also be derived.
  • the feature amount calculation unit 140 is an approximate straight line that has the smallest average error with partial data of heart rate data among a plurality of approximate straight lines obtained by function approximation as a result of the shift from the first time to the second time. Can be derived as the feature quantity (3).
  • 1 minute can be employed as an example of the first time
  • 10 minutes can be employed as an example of the second time. In this way, one minute can be adopted as an example of the first time because it is a time during which sufficient data can be obtained to grasp the tendency after the meal ends.
  • 10 minutes can be adopted as an example of the second time because it is a time that sufficiently includes the characteristics after the meal is finished and is unlikely to be affected by other actions (for example, nap). There is a reason.
  • the feature amount (4) is an index in which the angle immediately before and after the end of the meal, that is, the angle formed by the waveform of the heart rate data immediately before and after the end of the meal is digitized.
  • FIG. 7 is a diagram illustrating an example of the feature amount (4).
  • FIG. 7 also illustrates a case where the above-mentioned meal end time candidate is set when the user inputs the end of meal on the heart rate data including the actual meal period.
  • the vertical axis shown in FIG. 7 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 may calculate, as a feature amount (4), an angle at which each approximate line intersects from the slope of the approximate line L1 and the slope of the approximate line L2. it can.
  • the feature amount (4) calculated in this way the relationship between the feature amount (1) that can be calculated at the time of rest when no activity such as exercise is performed, at the end of actual meal, and at the end of exercise is: It becomes as follows. That is, the feature value (4) that can be calculated at the end of the exercise approaches approximately 90 degrees, and the feature value (4) that can be calculated at the end of the meal is greater than 90 degrees, for example, 100 degrees or 110 degrees.
  • the feature quantity (4) that tends to be distributed in values and can be calculated at rest tends to approach 180 degrees. Therefore, at the end of exercise ⁇ at the end of meal ⁇ at rest. For this reason, as an example, the upper limit value of the feature value (4) at the end of exercise and the lower limit value of the feature value (4) at the time of rest are set as boundary values, and the upper limit value at the end of exercise ⁇ feature value (4) ⁇ Whether or not the candidate is likely as the meal end time can be evaluated based on whether or not the lower limit value is at rest.
  • the feature amount (5) is an index in which the difference between the heart rate during a meal (immediately before the end of the meal) and the heart rate before the start of the meal is digitized.
  • FIG. 8 is a diagram for explaining an example of the feature amount (5).
  • FIG. 8 also illustrates a case where the above-mentioned meal end time candidate is set when the user inputs the end of meal on the heart rate data including the actual meal period.
  • the vertical axis shown in FIG. 8 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 sets the median value of the first section that goes back to a predetermined time ⁇ 5 before the meal end time t2 as a candidate, that is, the dark-filled section in the figure.
  • the feature amount (5) is the difference from the median value of the time zone that can be assumed to be before the start, for example, the second interval from 1 hour before to 30 minutes before the meal end time t2 that is a candidate, that is, the lightly filled interval in the figure.
  • the case of obtaining the difference between the medians is illustrated, but any statistical value such as an arithmetic average, a weighted average, or a moving average may be obtained, and the difference between the two may be obtained.
  • the predetermined time ⁇ 5 As an example of the predetermined time ⁇ 5, as in the case of ⁇ 2 in the characteristic amount (2), a time that can be assumed that the feeding operation and the peristaltic exercise are continued when a certain amount of food is ingested, for example, about 3 minutes. Can be adopted.
  • the feature amount (5) calculated in this way the relationship between the feature amount (5) that can be calculated at the time when the activity such as exercise is not performed, at the end of the actual meal, and at the end of the exercise is: At rest ⁇ At end of meal ⁇ At end of exercise.
  • the feature quantity (6) is an index in which the occurrence probability of the heart rate during the meal (just before the end of the meal) with respect to the set of heart rates before the start of the meal is digitized.
  • the feature amount calculation unit 140 creates a probability distribution of the heart rate included in the heart rate data of the second section described with reference to FIG.
  • the feature amount calculation unit 140 has a heart rate at a time close to the meal end time t2 as a candidate among the heart rates included in the second section at a time far from the meal end time t2. It is also possible to create a probability distribution by assigning a weight greater than the heart rate.
  • the feature amount calculation unit 140 includes, in the heart rate data corresponding to the first interval, that is, the interval during the meal, from the probability distribution previously created from the second interval, that is, the set of heart rates before starting the meal.
  • the occurrence probability of the heart rate is calculated for each heart rate.
  • the feature amount calculation unit 140 derives the maximum value among the occurrence probabilities calculated for each heart rate included in the first section as the feature amount (6).
  • a predetermined number higher than the occurrence probability, for example, the first place is used instead of the maximum value in order to obtain a feature quantity that is robust against noise and heartbeat fluctuations. Can be derived as the feature quantity (6).
  • FIG. 9 is a diagram for explaining an example of the feature amount (6).
  • FIG. 9 shows a probability distribution obtained from a set of heart rates included in the heart rate data of the second section shown in FIG.
  • the vertical axis shown in FIG. 9 indicates probability or probability density, and the horizontal axis indicates heart rate.
  • the heart rate distribution in the first section that is, the dark fill is the heart rate distribution in the second section, That is, it appears on the right side of the thin fill, that is, with a high heart rate.
  • the occurrence probability of the first interval is smaller than the maximum value of the probability density of the heart rate included in the second interval even if it is the maximum value.
  • the feature value (6) is calculated.
  • the method is not limited to this.
  • the feature amount calculation unit 140 instead of the second section, the heart rate of the section from the meal start time t2 that is a candidate to the meal start time t1 instead of the candidate meal end time t2.
  • the feature quantity (6) may be calculated by creating a probability distribution from a set of heart rates included in the data.
  • the feature amount (7) is an index in which the degree of similarity between the heart rate distribution after the end of the meal and the heart rate distribution before the start of the meal is digitized.
  • 10 and 11 are diagrams for explaining an example of the feature amount (7).
  • FIG. 10 illustrates heart rate data extending from 4 hours before to 4 hours after the meal end time t2 as a candidate, and for convenience of explanation, the user ends the meal on the heart rate data including the actual meal period.
  • the vertical axis shown in FIG. 10 indicates the heart rate per unit time, and the horizontal axis indicates time.
  • “t1” shown in the figure indicates a meal start time
  • t2” shown in the figure indicates a meal end time.
  • the feature amount calculation unit 140 is included in the heart rate data of the third section from the meal end time t2 as a candidate to the time after the predetermined time ⁇ 6, that is, the darkly filled section in the figure. Create a heart rate probability distribution.
  • a time that the tendency of the above feature (c) appears for example, a time of about 1 hour can be employed.
  • the feature amount calculation unit 140 creates a probability distribution of the heart rate included in the heart rate data in the second interval described with reference to FIG. 8, that is, the lightly filled interval in the drawing. As a result, as shown in FIG.
  • the probability distribution of the third section and the probability distribution of the second section are created.
  • the feature amount calculation unit 140 uses the probability distribution created from the third interval to obtain the maximum heart rate and the probability distribution created from the second interval.
  • the difference from the heart rate at which is maximized is calculated as the feature quantity (7), or the similarity between two probability distributions, for example, the inner product or the correlation coefficient, is calculated as the feature quantity (7).
  • the feature amount that can be calculated at the time of rest when no activity such as exercise is performed, at the end of the actual meal, and at the end of the exercise Regarding the relationship (7) the feature value (7) calculated at the end of the meal is smaller than the case calculated from either the rest or the end of the exercise. That is, when the meal ends ⁇ rest, and when the meal ends ⁇ exercise ends. In this case, whether or not the candidate is likely to be the meal end time can be evaluated based on whether or not the feature amount (7) is smaller than the lower limit value at rest and at the end of exercise.
  • the difference in heart rate that is the maximum value is calculated as the feature amount (7)
  • the feature amount that can be calculated at the time of rest when no activity such as exercise is performed, at the end of the actual meal, and at the end of the exercise is greater for the feature value (7) calculated at the end of the meal than when calculated from either at rest or at the end of exercise. That is, at the end of the meal> at rest, and at the end of the meal> at the end of the exercise. In this case, whether or not the candidate is likely to be the meal end time can be evaluated based on whether or not the feature amount (7) is larger than the upper limit values at rest and at the end of exercise. It should be noted that one of the difference between the similarity and the heart rate that is the maximum value can be calculated as the feature amount (7), or both can be calculated as the feature amount (7).
  • the probability distribution is created from the set of heart rates included in the heart rate data of the second section is illustrated, but the calculation of the feature value (7) is illustrated.
  • the method is not limited to this.
  • the feature amount calculation unit 140 instead of the second section, the heart rate of the section from the meal start time t2 that is a candidate to the meal start time t1 instead of the candidate meal end time t2.
  • the feature quantity (7) may be calculated by creating a probability distribution from a set of heart rates included in the data.
  • the meal time estimation unit 150 is a processing unit that estimates the meal time from the feature amount calculated by the feature amount calculation unit 140.
  • the feature amount (1), the feature amount (4), the feature amount (5), and the feature amount (6) are used for the estimation of the meal time.
  • the feature amount (1), the feature amount (4), the feature amount (5), and the feature amount (6) may not necessarily be used for threshold determination.
  • the meal end time is estimated is illustrated as an example of the meal time, the meal start time, the meal required time, or a combination thereof may be estimated.
  • the determination unit 151 is a processing unit that performs a determination of comparing the feature amount calculated by the feature amount calculation unit 140 with a predetermined threshold value.
  • the determination unit 151 performs the following process each time the feature amount (1), feature amount (4), feature amount (5), and feature amount (6) are calculated by the feature amount calculation unit 140. Execute. That is, the determination unit 151 determines whether or not the feature amount (1) is equal to or greater than a predetermined threshold value. Subsequently, when the feature value (1) is equal to or greater than the threshold value, the determination unit 151 further determines whether or not the feature value (5) is equal to or less than a predetermined threshold value. If the feature amount (5) is equal to or smaller than the threshold value, the determination unit 151 further determines whether or not the feature amount (6) is less than the predetermined threshold value.
  • the determination unit 151 records the candidate as a meal end time in an internal memory (not shown) or the like.
  • the following effects can be obtained by performing such machine learning.
  • the feature value (1) the relationship of the feature value (1) that can be calculated at rest when no activity such as exercise is performed, at the end of the actual meal, and at the time of exercise is at rest ⁇ at the end of meal ⁇
  • the person who is at the time of exercise is considered to be the majority, there is a person whose feature quantity (1) does not necessarily have a tendency to be at rest ⁇ at the end of meal ⁇ at the time of exercise.
  • a classification tree can be generated in accordance with the tendency of the person.
  • the grouping unit 152 is a processing unit that groups meal end times.
  • the grouping unit 152 groups meal end times whose time difference is within a predetermined period among meal end times stored in the internal memory. For example, the grouping unit 152 assigns the same group identification information to each meal end time whose time difference is within a predetermined period, and sets different group identification information at a meal end time whose mutual time difference is not within the predetermined period. Give. In addition, the grouping unit 152 can realize the above grouping by associating each meal end time with the group identification information given to the end time and recording it in the internal memory.
  • the determination unit 153 is a processing unit that determines one meal end time using the meal end times grouped in the same group.
  • the determination unit 153 selects a meal end time with the smallest feature amount (4) calculated by the feature amount calculation unit 140 from among the meal end times grouped into the same group by the grouping unit 152. .
  • the meal end time evaluated as likely by the feature amount (1), the feature amount (5), and the feature amount (6) is also obtained. Can be extracted.
  • a predetermined statistical value such as an average value or a median value is set between each meal end time. The statistical value may be determined as the meal end time.
  • FIG. 12 is a flowchart illustrating a procedure of mealtime estimation processing according to the first embodiment. As an example, this process is started when heart rate data and acceleration data are acquired over a predetermined time length, for example, 12 hours or one day.
  • the feature amount calculation unit 140 initializes a candidate time i that is assumed to be a meal end time on the heart rate data acquired in step S101 (step S104). For example, when calculating the feature value (1), the feature value (4), the feature value (5), and the feature value (6), data from the candidate time i to one hour before is used for the estimation of the meal time. The time one hour after the start time of the heart rate data acquired in step S101 is initially set as the candidate time i.
  • the feature amount calculation unit 140 calculates the feature amount (1), the feature amount (4), the feature amount (5), and the feature amount (6) using the heart rate data acquired in step S101 (step S1). S105).
  • the determination unit 151 determines whether or not the feature amount (1) calculated in step S105 is equal to or greater than a predetermined threshold (step S106). At this time, when the feature value (1) is equal to or greater than the threshold value (Yes in step S106), the determination unit 151 further determines whether or not the feature value (5) is equal to or less than the predetermined threshold value (step S107). If the feature amount (5) is equal to or smaller than the threshold (Yes at Step S107), the determination unit 151 further determines whether or not the feature amount (6) is less than the predetermined threshold (Step S108).
  • the determination unit 153 selects a meal end time at which the feature amount (4) calculated in step S105 is minimum among the meal end times grouped in the same group in step S111 (step S112), and performs processing. finish.
  • the health care support system 1 appears at the end of a meal when a meal time such as a meal start time, a meal end time, or a meal required time is estimated from time-series data of heart rate.
  • a feature amount in which the degree of similarity with the feature of the heart rate change is indexed is used.
  • the meal time is estimated in a scene where the heart rate rises due to causes other than meals, such as mental tension, changes in environmental temperature, or exercise. Therefore, according to the health care support system 1 according to the present embodiment, it is possible to suppress a decrease in the estimation accuracy of the meal time.
  • the meal start time can also be estimated using a known algorithm.
  • the information processing apparatus 100 refers to the above heart rate data, estimates the time when the heart rate rise value is equal to or greater than the threshold after a predetermined period, for example, 3 minutes, as the meal start time, It is also possible to estimate the time when the sign of the slope of the approximate line obtained by function approximation from the time series of numbers is “positive” and the absolute value is equal to or greater than a predetermined threshold as the meal start time.
  • the information processing apparatus 100 can also extract a likely meal start time from among the meal start times estimated as described above, using the meal end time estimated by the meal time estimation unit 150.
  • the information processing apparatus 100 is a time before the meal end time estimated by the meal time estimation unit 150 among the meal start times estimated as described above, and a predetermined period from the meal end time.
  • a meal start time that is within one hour is estimated as a meal start time paired with the meal end time estimated by the meal time estimation unit 150.
  • a likely meal start time can be extracted from the comparison with the meal end time estimated by the meal time estimation unit 150.
  • the meal required time can also be estimated using a known algorithm.
  • the information processing apparatus 100 calculates the difference between the meal end time estimated by the meal time estimation unit 150 and the meal start time estimated as described above, thereby calculating the meal required time. It can also be calculated.
  • the information processing apparatus 100 concentrates on the meal start time that is a time before the meal end time estimated by the meal time estimation unit 150 among the meal start times estimated as described above. It is possible to extract the time required for a meal whose time length is within a predetermined threshold, for example, one hour or one and a half hours.
  • each component of each illustrated apparatus does not necessarily have to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the case where the information processing apparatus 100 executes the meal time estimation process illustrated in FIG. 12 is illustrated, but the execution subject of the process is not limited thereto.
  • the information processing apparatus 100 is caused to function as a relay apparatus that relays heart rate data and acceleration data from the sensor terminal 10, and the above-described healthcare support service is provided by a Web server that provides the above-described healthcare support service or outsourcing.
  • the cloud may be caused to execute the above meal time estimation process.
  • FIG. 13 is a diagram illustrating a hardware configuration example of a computer that executes a mealtime estimation program according to the first and second embodiments.
  • the computer 1000 includes an operation unit 1100 a, a speaker 1100 b, a camera 1100 c, a display 1200, and a communication unit 1300. Further, the computer 1000 includes a CPU 1500, a ROM 1600, an HDD 1700, and a RAM 1800. These units 1100 to 1800 are connected via a bus 1400.
  • the HDD 1700 exhibits the same functions as the exercise period determination unit 120, the noise heart rate removal unit 130, the feature amount calculation unit 140, and the meal time estimation unit 150 described in the first embodiment.
  • Meal time estimation program 1700a is stored. This meal time estimation program 1700a may be integrated or separated in the same manner as each component of the exercise period determination unit 120, the noise heart rate removal unit 130, the feature amount calculation unit 140, and the meal time estimation unit 150 shown in FIG. It doesn't matter.
  • the HDD 1700 does not necessarily store all the data shown in the first embodiment, and the HDD 1700 may store data used for processing.
  • the CPU 1500 reads out the meal time estimation program 1700a from the HDD 1700 and develops it in the RAM 1800.
  • the meal time estimation program 1700a functions as a meal time estimation process 1800a as shown in FIG.
  • the meal time estimation process 1800a expands various data read from the HDD 1700 in an area allocated to the meal time estimation process 1800a in the storage area of the RAM 1800, and executes various processes using the expanded various data.
  • the process shown in FIG. 12 is included as an example of the process executed by the meal time estimation process 1800a.
  • the CPU 1500 does not necessarily operate all the processing units described in the first embodiment, and it is only necessary to virtually realize a processing unit corresponding to a process to be executed.

Abstract

 情報処理装置(100)は、心拍数の時系列データを取得する処理と、心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、特徴量から食事時間を推定する処理とを実行する。

Description

食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
 本発明は、食事時間推定方法、食事時間推定プログラム及び食事時間推定装置に関する。
 メタボリック症候群や糖尿病を始めとする生活習慣病の予防や、ダイエット、医療サービスなどのヘルスケアが注目されている。かかるヘルスケアを行う場合には、日頃の運動や食事などの生活習慣を記録することにより、自己の生活習慣の問題点に気付き、改善していくプロセスが求められる。
 例えば、「食事」に関する予防策として、下記の通り、「いつ」、「何を」、「どれだけ」などの食事のコントロール方法が挙げられている。具体的には、規則正しく三食を摂る(いつ)、朝食をとる(いつ)、バランス良く栄養をとる(何を)、カロリーを摂取し過ぎない(どれだけ)、塩分は控える(何を)といった項目が挙げられている。
 ここで、例えば、「いつ」食べたのかという記録があれば、不規則な食習慣を検知し、予防のアドバイスを提供するなどのサービスを実施することもできる。
 例えば、食事判定を行う技術の一例として、食行動検知システム、発話・飲食状態検出システムや食行動検出装置などが提案されている。例えば、食行動検知システムでは、食物摂取の際の、腕を上げて降ろす動作を加速度センサを用いて検出することにより、食事判定を行う。また、発話・飲食状態検出システムでは、物を食べる際に咀嚼する事を利用し、体内音の咀嚼特有の周波数パターンを検出する。また、食行動検出装置の場合、食卓上などに赤外線センサを設置した状況の下、食卓付近で人体を検出した後に人体が頻繁に動いているかどうかを閾値処理する。
 ところが、これらの技術のいずれにおいても、食事行動を推定するために、食事の仕方が制限されたり、あるいは食事行動を推定する場所に制約があったりするので、汎用性に欠ける面がある。例えば、食行動検知システムで想定される加速度の傾向は、あくまでも食物摂取時になされる腕の動作の一面にしか対応しておらず、それ以外の腕の動作がなされる場合には加速度の傾向が異なるので、検出漏れが発生する。また、発話・飲食状態検出システムの場合、食事時にマイクを首に装着させることになるので、身体に負担がかかり、かつ見栄えも悪くなってしまう。また、食行動検出装置の場合、赤外線センサが設置された場所などのように、固定された環境での食事しか認識することはできない。
 また、食事判定に脈波を用いる技術の一例として、生活管理端末装置も提案されている。この生活管理端末装置では、食事時に起る咀嚼特徴が現れることに加え、脈拍数が上昇し、かつ皮膚導電率に急激な上昇がない場合に食事中であると判断する。
特開2011-4968号公報 特開2003-173375号公報 特開2011-115508号公報 特開2004-81471号公報 特開2008-61790号公報 特表平10-504739号公報 特開2006-129887号公報
 しかしながら、上記の技術では、次に説明するように、食事時間に誤判定が起こる場合がある。
 すなわち、上記の生活管理端末装置では、食事判定に皮膚導電率が用いられる。かかる皮膚導電率は、発汗時等にその計測精度が低下するので、食事判定にも誤判定が発生する可能性が高まる。また、上記の生活管理端末において皮膚導電率を用いずに脈拍数だけを用いたとしても、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などにより脈拍数が上昇するので、この場合にも誤判定が起こる。
 1つの側面では、本発明は、食事時間の推定精度が低下するのを抑制できる食事時間推定方法、食事時間推定プログラム及び食事時間推定装置を提供することを目的とする。
 一態様の食事時間推定方法は、コンピュータが、心拍数の時系列データを取得する処理と、前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、前記特徴量から食事時間を推定する処理とを実行する。
 食事時間の推定精度が低下するのを抑制できる。
図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。 図2は、心拍数データの一例を示す図である。 図3は、心拍数データの一例を示す図である。 図4は、特徴量(1)の一例を説明する図である。 図5は、特徴量(2)の一例を説明する図である。 図6は、特徴量(3)の一例を説明する図である。 図7は、特徴量(4)の一例を説明する図である。 図8は、特徴量(5)の一例を説明する図である。 図9は、特徴量(6)の一例を説明する図である。 図10は、特徴量(7)の一例を説明する図である。 図11は、特徴量(7)の一例を説明する図である。 図12は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。 図13は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。
 以下に添付図面を参照して本願に係る食事時間推定方法、食事時間推定プログラム及び食事時間推定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
 図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。図1に示すヘルスケア支援システム1は、各種のヘルスケア支援サービスを提供するものである。例えば、ヘルスケア支援サービスの一例として、センサ端末10により採取されたセンシングデータを用いてセンサ端末10のユーザの生活行動、例えば食事時間を記録するサービス、さらには、その記録を活用する派生のサービスなどが挙げられる。
 かかるヘルスケア支援サービスの一環として、ヘルスケア支援システム1は、心拍数の時系列データから食事開始時刻、食事終了時刻または食事所要時間などの食事時間を推定する場合に、食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を用いる。これによって、例えば、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などによって心拍数が上昇する場面で食事時間が推定されるのを抑制し、もって食事時間の推定精度が低下するのを抑制する。
 図1に示すように、ヘルスケア支援システム1には、センサ端末10と、情報処理装置100とが収容される。なお、図1には、センサ端末が1つである場合を図示したが、ヘルスケア支援システム1には、複数のセンサ端末が収容されることとしてもかまわない。
 これらセンサ端末10及び情報処理装置100の間は、相互に通信可能に接続される。ここでは、一例として、センサ端末10及び情報処理装置100がBLE(Bluetooth(登録商標) Low Energy)などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、LAN(Local Area Network)やVPN(Virtual Private Network)などの構内通信網を始め、インターネット(Internet)などの任意の種類の通信網を介して、センサ端末10及び情報処理装置100を接続することができる。
 センサ端末10は、センサを実装する端末装置である。
 一実施形態として、センサ端末10には、ヘルスケア専用の端末装置、スマートグラスやスマートウォッチ等のウェアラブルガジェットなどを採用できる。
 センサ端末10には、少なくとも心拍センサが実装される。この心拍センサを用いて、センサ端末10は、例えば、センサ端末10を利用するユーザの単位時間当たりの心拍数を検出する。このように心拍センサを用いてセンシングされる心拍数の時系列データは、特徴量の算出や食事時間の推定に用いられる。以下では、心拍センサを用いてセンシングされる心拍数の時系列データのことを「心拍数データ」と記載する場合がある。かかる心拍センサ以外にも、センサ端末10には、加速度センサを実装することもできる。この加速度センサには、一例として、3軸の加速度センサを採用することができる。このように加速度センサを用いてセンシングされる3軸の加速度の時系列データ、すなわちセンサ端末10の上下左右前後の加速度変化は、センサ端末10を使用するユーザが歩行、昇降や走行などの運動状態を検出するのに用いられる。これによって、加速度の時系列データは、心拍数の時系列データから動作状態や運動状態が継続する運動期間を除去するのに寄与する。以下では、加速度センサを用いてセンシングされる加速度の時系列データのことを「加速度データ」と記載する場合がある。なお、ここでは、一例として、心拍センサ及び加速度センサを例示したが、ジャイロセンサやGPS(Global Positioning System)受信機などの他のセンサが実装されることを妨げない。例えば、加速度センサの代わりにジャイロセンサを用いることができる。このように運動期間を除去するためのセンサは加速度センサに限定されず、慣性センサによりセンシングされた慣性データを用いて、心拍数データから運動期間を除去することもできる。
 センサ端末10に心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用することができる。例えば光電脈波センサによる脈拍を採用することも出来る。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。さらに、必ずしも心拍数を検出する心拍センサがセンサ端末10に実装されずともよく、心電信号を検出する心電センサがセンサ端末10に実装されることとしてもかまわない。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、RF(Radio Frequency)モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。
 心拍数は、血液を送り出す心臓の拍動回数を表す指標であり、その算出方法は、心臓の電気的活動を計測する方法であっても、血液の流れを計測して脈動を計測する方法であってもかまわない。
 このようにセンサ端末10によりセンシングされた心拍数データ及び加速度データは、ユーザの識別情報、例えばセンサ端末10のマシン名やシリアル番号などと対応付けられた状態で情報処理装置100へ伝送される。このとき、心拍数データ及び加速度データは、心拍数や加速度がセンシングされる度にリアルタイムで伝送されることとしてもよいし、所定期間、例えば12時間、1日間、1週間や1ヶ月などにわたって蓄積してから伝送することとしてもかまわない。なお、ここでは、センサ端末10から情報処理装置100へ心拍数データや加速度データが伝送される場合を例示したが、センサ端末10に心拍数データから食事時間の推定に用いる特徴量を算出させることとしてもかまわない。このように特徴量をセンサ端末10に算出させる場合、2つの装置で伝送されるデータ量を低減すると共に、伝送時に個人情報である心拍数データが第三者に公開される事態を抑制できる。
 情報処理装置100は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置100には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。
 一実施形態として、情報処理装置100は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する食事時間推定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置100は、センサ端末10から受け付けた心拍数データを用いて、センサ端末10のユーザの食事時間を推定する。その上で、情報処理装置100は、食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置100が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置100に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。
[センサ端末10の構成]
 次に、本実施例に係るセンサ端末10の機能的構成について説明する。図1に示すように、センサ端末10は、心拍数データ取得部11と、加速度データ取得部12と、通信I/F(InterFace)部13とを有する。なお、センサ端末10は、図1に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ヘルスケア専用の端末装置、ウェアラブルガジェットまたは携帯端末装置がセンサ端末10として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できる。
 心拍数データ取得部11は、上記の心拍数データを取得する処理部である。
 一実施形態として、心拍数データ取得部11は、図示しない心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、心拍数データ取得部11は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末10上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を1分間とする場合、心拍数はbpm(beats per minute)等で表現される。また、単位時間を1秒間とする場合、心拍数はHzで表現される。さらに「心拍数」と相関のある指標であれば、心拍数そのものでなくてもかまわない。例えば、心電波形における心電波形のピークRR間隔はミリ秒で表現され、心拍数の代わりに用いることができる。
 本発明は、食事に伴う循環器の応答を捉えて食事時刻の推定にもちいるものであり、心拍数以外にも心電波形や脈波波形から得られる情報や血流量に関わる情報から心拍数と相関のある指標が得られる場合には、その指標を用いることができる。
 このようにして取得される心拍数データは、心拍数がセンシングされる度に通信I/F部13を介して情報処理装置100へ伝送されることとしてもよいし、所定の期間、例えば12時間や1日間などにわたって図示しないメモリへ蓄積してから通信I/F部13を介して情報処理装置100へ伝送されることとしてもかまわない。
 加速度データ取得部12は、上記の加速度データを取得する処理部である。
 一実施形態として、加速度データ取得部12は、図示しない加速度センサを制御して、所定のサンプリング周期で加速度センサに3軸、すなわち上下左右前後の加速度をセンシングさせる。これによって、加速度データ取得部12は、サンプリング点ごとに加速度センサによりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍数データと同様、センサ端末10上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の3軸の加速度を含めることができる。例えば、3軸の加速度のうち一部の方向の加速度に絞って後段の機能部に使用させる場合、後段の機能部で使用されない方向の加速度は加速度データから除去することもできる。なお、加速度センサには、心拍センサと同一のサンプリング周期を採用させることもできるし、異なるサンプリング周期を採用させることもできる。
 このようにして取得される加速度データは、加速度がセンシングされる度に通信I/F部13を介して情報処理装置100へ伝送されることとしてもよいし、所定の期間、例えば12時間や1日間などにわたって図示しないメモリへ蓄積してから通信I/F部13を介して情報処理装置100へ伝送されることとしてもかまわない。
 通信I/F部13は、他の装置、例えば情報処理装置100などとの間で通信制御を行うインタフェースである。
 一実施形態として、通信I/F部13には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部13は、上記の心拍数データや上記の加速度データなどを情報処理装置100へ送信する。また、通信I/F部13は、情報処理装置100から上記の心拍数データや上記の加速度データを情報処理装置100へアップロードする指示や情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などを受信することができる。
 なお、上記の心拍数データ取得部11及び加速度データ取得部12などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるCPU(Central Processing Unit)などに、上記の心拍数データ取得部11及び加速度データ取得部12と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、MPU(Micro Processing Unit)に実行させることとしてもよい。また、上記の各機能部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
 また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAM(Random Access Memory)やフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD(Hard Disk Drive)、光ディスクやSSD(Solid State Drive)などを採用できる。
[情報処理装置100の構成]
 次に、本実施例に係る情報処理装置100の機能的構成について説明する。図1に示すように、情報処理装置100は、通信I/F部110と、運動期間判定部120と、ノイズ心拍数除去部130と、特徴量算出部140と、食事時間推定部150と、サービス提供部160とを有する。なお、情報処理装置100は、図1に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。
 通信I/F部110は、他の装置、例えばセンサ端末10などとの間で通信制御を行うインタフェースである。
 一実施形態として、通信I/F部110には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部110は、上記の心拍数データや上記の加速度データなどをセンサ端末10から受信する。また、通信I/F部110は、上記の心拍数データや上記の加速度データをセンサ端末10にアップロードさせる指示や情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などをセンサ端末10へ送信することができる。
 運動期間判定部120は、運動期間を判定する処理部である。ここで言う「運動期間」とは、歩行、走行や階段の昇降などの運動が行われたと想定される期間を指し、例えば、運動期間の判定にセンサ端末10から送信される加速度データが用いられる。
 一実施形態として、運動期間判定部120は、上記の運動期間の判定に、上記の加速度データに含まれる加速度のうち少なくとも上下方向、すなわち重力方向の加速度を用いる。このように重力方向の加速度を用いるのは、歩行、走行や階段の昇降などの運動が行われる場合、加速度が特定のパターンで変化すると共に当該パターンが周期的に現れるからである。すなわち、歩行、走行や階段の昇降などの運動時には、脚部の蹴り出し時および着地時に地面等から反力を受けるので、重力方向の加速度に上昇及び下降の変化が短期間で現れる。さらに、重力方向の加速度に関する上昇及び下降の変化は、地面から荷重が除かれて足が地面に接地する度に周期的に現れる。
 このことから、運動期間判定部120は、一例として、重力方向の加速度から上記の上昇および下降のパターンを検出する。その上で、運動期間判定部120は、パターンが現れる間隔が所定期間内であるか否かを判定する。このとき、パターンが現れる間隔が所定期間以内である場合、当該パターンが所定期間内に繰り返して現れる区間を運動期間と判定する。ここで、上記の運動期間の判定には、一例として、センサ端末10が装着された状態でユーザが運動活動を行い、運動活動に伴う加速度変化を実験的に採取することにより、上記のパターンを形成する上昇および下降の程度から上昇及び下降を弁別する閾値を設定することができる。さらに、パターンが現れる間隔についても実験的に現れる値から上記の所定期間を定めることもできる。なお、上記の運動期間は、運動期間の開始時刻とその継続時間により表現することもできるし、運動開始時刻及び運動終了時刻として表現することもできる。なお、心拍数変化に影響する腕や脚、上半身、下半身、姿勢変化などの動作が現れる動作期間も上記の運動期間とすることができる。
 ノイズ心拍数除去部130は、上記の心拍数データから食事以外のノイズが原因で心拍数が変化すると推定される区間を除去する処理部である。
 一実施形態として、ノイズ心拍数除去部130は、運動に伴う心拍数の変化が食事時間の推定に悪影響を与えるのを抑制するために、心拍数データ取得部11により取得される心拍数データのうち運動期間判定部120により判定された運動期間に対応する区間を除去する。
 このとき、ノイズ心拍数除去部130は、運動期間に対応する区間だけでなく、一例として、運動終了時刻から運動により上昇する心拍数が回復するまでの一定期間を運動終了時刻に加えることにより、運動後の心拍数の回復変化が含まれた除去期間を求め、当該除去期間に対応する区間を心拍数データから除去することもできる。かかる運動終了時刻に加える一定期間には、一例として、運動後の回復変化を測定する実験を実施することによりユーザ個別の時間を設定することもできるし、全ユーザ共通の時間をデフォルト値として設定することもできる。なお、運動期間または除去期間に対応する区間のデータが心拍数データから除去された場合、線形補間、多項式補間、スプライン補間などを実行することで、除去により欠落する部分のデータを内挿補間することができる。
 特徴量算出部140は、上記の心拍数データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理部である。
 一実施形態として、特徴量算出部140は、上記の心拍数データ上で食事終了時刻と仮定する食事終了時刻の候補をシフトさせながら、候補ごとに上記の心拍数データのうち当該候補周辺の部分データを用いて上記の特徴量を算出する。
 ここで、図2及び図3を用いて、食事終了時に現れる心拍変化の特徴について説明する。図2及び図3は、心拍数データの一例を示す図である。これら図2及び図3には、いずれも食事開始から食事終了までの食事期間を含む心拍数データが示されており、図中の食事開始及び食事終了のタイミングは、ユーザの入力によりレファレンスとして示された時刻である。このうち、図2には、食事開始の1時間前から食事終了の1時間後までの心拍数データが示される一方で、図3には、食事開始から前後の5時間の心拍数データが示されている。言い換えれば、図2には、図3に比べて微視的な心拍数データが示される一方で、図3には、図2に比べて巨視的な心拍数データが示されている。なお、図2及び図3に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。
 図2及び図3に示す心拍数データによれば、図2に示す特徴(イ)及び特徴(ロ)と、図3に示す特徴(ハ)とが食事終了時に現れることがわかる。すなわち、図2の特徴量(イ)に示すように、食事終了時刻の前は食事中であることが原因となって食事前に比べて心拍数が高い状態が継続する傾向がある。さらに、図2の特徴(ロ)に示すように、食事が終了するのを境に心拍数が減少し始める傾向がある。加えて、図3の特徴(ハ)に示すように、食後しばらくすると、おそらく体内での消化吸収などの活動が原因となって、心拍数が増加し、例えば、3-5時間の長期間にわたって食事開始前よりも高い心拍数を維持する傾向がある。
 これらのことから、上記の食事終了時刻の候補周辺の部分データが特徴(イ)、特徴(ロ)及び特徴(ハ)と類似する度合いを特徴量として指標化することにより、当該候補が食事終了時刻として尤もらしいかどうかを評価することが可能となる。
 例えば、特徴量算出部140は、以下に説明する特徴量(1)~特徴量(7)の7つの特徴量を算出することができる。
[特徴量(1)]
 まず、特徴量(1)について説明する。かかる特徴量(1)は、食事終了後の心拍数の減少幅が数値化された指標である。図4は、特徴量(1)の一例を説明する図である。図4には、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図4に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図4に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2で計測される心拍数と、その食事終了時刻t2から所定時間α1後の心拍数との差を特徴量(1)として算出することができる。かかる所定時間α1の一例として、候補が真の食事終了時刻に設定された場合に上記の特徴(ロ)の傾向が現れる程度の時間、例えば3分間や5分間程度の時間を採用できる。このようにして算出される特徴量(1)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(1)の関係は、安静時<食事終了時<運動終了時となる。このため、一例として、実験や事前計測等により、安静時における特徴量(1)の上限値および運動終了時における特徴量(1)の下限値を境界値として設定し、安静時の上限値<特徴量(1)<運動終了時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
 なお、ここでは、一例として、候補とする食事終了時刻t2で計測される心拍数と、その食事終了時刻t2から所定時間α1後の心拍数との差を特徴量(1)として求める場合を例示したが、特徴量(1)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事終了時刻t2から所定時間、例えば15分程度の間で計測される心拍数のうち最小値をとる心拍数を特徴量(1)として算出することもできる。
[特徴量(2)]
 続いて、特徴量(2)について説明する。かかる特徴量(2)は、食事終了直前の心拍数の傾き、すなわち食事中から食事終了直前へ向かって心拍数データの波形が形成する傾きが数値化された指標である。図5は、特徴量(2)の一例を説明する図である。図5にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図5に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図5に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α2前まで遡った区間の心拍数データに含まれる心拍数の時系列に対し、一次関数による関数近似等を行うことにより求まる近似直線L1の傾きを特徴量(2)として算出することができる。かかる所定時間α2の一例として、一定量の食物が摂取される場合に摂食動作および蠕動運動が継続すると想定できる程度の時間、例えば3分間程度を採用できる。このようにして算出される特徴量(2)の値がゼロに近づくほど食事中の心拍数がおよそ一定値で推移しているとみなすことができるので、上記の食事終了時刻の候補周辺の部分データが特徴(イ)と類似していると評価することができる。
[特徴量(3)]
 次に、特徴量(3)について説明する。かかる特徴量(3)は、食事終了直後の心拍数の傾き、すなわち食事終了後に時間経過に伴って心拍数データの波形が形成する傾きが数値化された指標である。図6は、特徴量(3)の一例を説明する図である。図6にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図6に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図6に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α3後までの区間の心拍数データに含まれる心拍数の時系列に対し、一次関数による関数近似等を行うことにより求まる近似直線L2の傾きを特徴量(3)として算出することができる。かかる所定時間α3の一例として、特徴量(1)のα1と同様、候補が真の食事終了時刻に設定された場合に上記の特徴(ロ)の傾向が現れる程度の時間、例えば3分間や5分間程度の時間を採用できる。このようにして算出される特徴量(3)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(3)の関係は、運動終了時<食事終了時<安静時となる。このため、一例として、運動終了時における特徴量(3)の上限値および安静時における特徴量(3)の下限値を境界値として設定し、運動終了時の上限値<特徴量(3)<安静時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
 なお、ここでは、特徴量(3)の算出方法の一例として、候補とする食事終了時刻t2から所定時間α3後までの区間で関数近似を行う場合を例示したが、特徴量(3)の算出方法はこれに限定されない。
 他の一例として、特徴量算出部140は、候補とする食事終了時刻t2以後の心拍数データを用いて関数近似を行う場合に、関数近似を行う区間の終点を食事終了時刻t2の第1時間後から第1時間よりも後である第2時間後までの間でシフトさせる度に関数近似を行う。その上で、特徴量算出部140は、第1時間から第2時間までのシフトの結果、関数近似で得られた複数の近似直線のうち最小である近似直線の傾きを特徴量(3)として導出することもできる。また、特徴量算出部140は、第1時間から第2時間までのシフトの結果、関数近似で得られた複数の近似直線のうち心拍数データの部分データとの平均誤差が最小である近似直線の傾きを特徴量(3)として導出することもできる。なお、上記の第1時間の一例として、1分間を採用することができ、また、上記の第2時間の一例として、10分間を採用することができる。このように、第1時間の一例として1分間を採用することができるのは、食事終了後の傾向をつかむのに十分なデータが得られるできる時間であることが一因にある。また、第2時間の一例として10分間を採用することができるのは、食事終了後の特徴が十分含まれ、且つ、他の行動(例えば、昼寝)などが影響しにくい時間であることが一因にある。
[特徴量(4)]
 次に、特徴量(4)について説明する。かかる特徴量(4)は、食事終了直前および食事終了直後間の角度、すなわち心拍数データの波形が食事終了直前および食事終了直後で形成する角度が数値化された指標である。図7は、特徴量(4)の一例を説明する図である。図7にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図7に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図7に示すように、特徴量算出部140は、一例として、上記の近似直線L1の傾き及び上記の近似直線L2の傾きから各近似直線が交わる角度を特徴量(4)として算出することができる。このようにして算出される特徴量(4)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(1)の関係は、次の通りとなる。すなわち、運動終了時に算出され得る特徴量(4)は、およそ90度に近づき、食事終了時に算出され得る特徴量(4)は、90度よりも大きく、一例として、100度や110度などの値に分布する傾向にあり、安静時に算出され得る特徴量(4)は、180度に近づく傾向にある。したがって、運動終了時<食事終了時<安静時となる。このため、一例として、運動終了時における特徴量(4)の上限値および安静時における特徴量(4)の下限値を境界値として設定し、運動終了時の上限値<特徴量(4)<安静時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
[特徴量(5)]
 次に、特徴量(5)について説明する。かかる特徴量(5)は、食事中(食事終了直前)の心拍数と食事開始前の心拍数との差が数値化された指標である。図8は、特徴量(5)の一例を説明する図である。図8にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図8に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図8に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α5前まで遡った第1区間、すなわち図中の濃い塗りつぶしの区間の中央値と、食事開始前と想定できる時間帯、例えば候補とする食事終了時刻t2の1時間前から30分前までの第2区間、すなわち図中の薄い塗りつぶしの区間の中央値との差を特徴量(5)として算出することができる。ここでは、一例として、各中央値の差を求める場合を例示したが、相加平均、加重平均や移動平均などの任意の統計値を求め、両者の差を求めることとしてもかまわない。また、所定時間α5の一例として、上記の特徴量(2)のα2と同様、一定量の食物が摂取される場合に摂食動作および蠕動運動が継続すると想定できる程度の時間、例えば3分間程度を採用できる。このようにして算出される特徴量(5)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(5)の関係は、安静時<食事終了時<運動終了時となる。このため、一例として、安静時における特徴量(5)の上限値および運動終了時における特徴量(5)の下限値を境界値として設定し、安静時の上限値<特徴量(5)<運動終了時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。なお、食事開始時刻が既知の場合には、その時刻から所定時間分(例えば30分前)分前を第2区間としても良い。
 なお、ここでは、特徴量(5)の算出方法の一例として、第1区間の中央値と第2区間の中央値との差を特徴量(5)として算出する場合を例示したが、特徴量(5)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、第1区間の中央値の代わりに、候補とする食事終了時刻t2で計測される心拍数と第2区間の中央値との差を求めることにより、特徴量(5)として算出することとしてもかまわない。
[特徴量(6)]
 次に、特徴量(6)について説明する。かかる特徴量(6)は、食事開始前の心拍数の集合に対する食事中(食事終了直前)の心拍数の生起確率が数値化された指標である。例えば、特徴量算出部140は、図8を用いて説明した第2区間の心拍数データに含まれる心拍数の確率分布を作成する。このように確率分布を作成する場合、特徴量算出部140は、第2区間に含まれる心拍数のうち候補とする食事終了時刻t2に近い時刻の心拍数に当該食事終了時刻t2から遠い時刻の心拍数よりも大きい重みを付与して確率分布を作成することもできる。その上で、特徴量算出部140は、先に第2区間、すなわち食事開始前の心拍数の集合から作成した確率分布から、第1区間、すなわち食事中の区間に対応する心拍数データに含まれる心拍数ごとに当該心拍数の生起確率を算出する。その結果、特徴量算出部140は、第1区間に含まれる心拍数ごとに算出された生起確率のうち最大値を特徴量(6)として導出する。なお、ここでは、生起確率の最大値を用いる場合を例示したが、ノイズや心拍変動の発生にロバストな特徴量を求めるために、最大値の代わりに生起確率の上位の所定数、例えば1位から10位までの生起確率や上位1/5の生起確率を特徴量(6)として導出することもできる。
 図9は、特徴量(6)の一例を説明する図である。図9には、図8で示した第2区間の心拍数データに含まれる心拍数の集合から求められた確率分布が示されている。図9に示す縦軸は、確率または確率密度を指し、横軸は、心拍数を指す。図9に示すように、候補が真の食事終了時刻に設定された場合、上記の特徴(イ)から、第1区間の心拍数の分布、すなわち濃い塗りつぶしが第2区間の心拍数の分布、すなわち薄い塗りつぶしよりも右側、すなわち高い心拍数で現れる。そして、第1区間の生起確率は、最大値であっても第2区間に含まれる心拍数の確率密度の最大値に比べて小さくなる。このような特徴量(6)によれば、その値が小さいほど食事中の心拍数が食事開始前に比べて高い状態、すなわち安静時に比べて高い状態が継続しているとみなすことができるので、上記の食事終了時刻の候補周辺の部分データが特徴(イ)と類似していると評価することができる。
 なお、ここでは、特徴量(6)の算出方法の一例として、第2区間の心拍数データに含まれる心拍数の集合から確率分布を作成する場合を例示したが、特徴量(6)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事開始時刻が既知である場合、第2区間の代わりに、候補とする食事終了時刻t2の1時間前から食事開始時刻t1までの区間の心拍数データに含まれる心拍数の集合から確率分布を作成することにより、特徴量(6)を算出することとしてもかまわない。
[特徴量(7)]
 次に、特徴量(7)について説明する。かかる特徴量(7)は、食事終了後の心拍数分布と食事開始前の心拍数分布との類似度が数値化された指標である。図10及び図11は、特徴量(7)の一例を説明する図である。図10には、候補とする食事終了時刻t2の4時間前から4時間後へわたる心拍数データが例示されると共に、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図10に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
 図10に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α6後までの第3区間、すなわち図中の濃い塗りつぶしの区間の心拍数データに含まれる心拍数の確率分布を作成する。かかる所定時間α6の一例として、候補が真の食事終了時刻に設定された場合に上記の特徴(ハ)の傾向が現れる程度の時間、例えば1時間程度の時間を採用できる。これと共に、特徴量算出部140は、図8を用いて説明した第2区間、すなわち図中の薄い塗りつぶしの区間の心拍数データに含まれる心拍数の確率分布を作成する。この結果、図11に示すように、第3区間の確率分布及び第2区間の確率分布が作成される。その上で、特徴量算出部140は、図11に示すように、第3区間から作成された確率分布で確率密度が最大となる心拍数と、第2区間から作成された確率分布で確率密度が最大となる心拍数との差を特徴量(7)として算出したり、または、2つの確率分布の類似度、例えば内積や相関係数などを特徴量(7)として算出したりする。例えば、内積や相関係数などの類似度を特徴量(7)として算出する場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(7)の関係は、安静時及び運動終了時のいずれより算出される場合よりも食事終了時に算出される特徴量(7)の方が小さくなる。すなわち、食事終了時<安静時、かつ、食事終了時<運動終了時となる。この場合、安静時及び運動終了時の下限値よりも特徴量(7)が小さいか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。また、最大値となる心拍数の差を特徴量(7)として算出する場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(7)の関係は、安静時及び運動終了時のいずれより算出される場合よりも食事終了時に算出される特徴量(7)の方が大きくなる。すなわち、食事終了時>安静時、かつ、食事終了時>運動終了時となる。この場合、安静時及び運動終了時の上限値よりも特徴量(7)が大きいか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。なお、上記の類似度および上記の最大値となる心拍数の差は、いずれか一方を特徴量(7)として算出することもできるし、両方を特徴量(7)として算出することもできる。
 なお、ここでは、特徴量(7)の算出方法の一例として、第2区間の心拍数データに含まれる心拍数の集合から確率分布を作成する場合を例示したが、特徴量(7)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事開始時刻が既知である場合、第2区間の代わりに、候補とする食事終了時刻t2の1時間前から食事開始時刻t1までの区間の心拍数データに含まれる心拍数の集合から確率分布を作成することにより、特徴量(7)を算出することとしてもかまわない。
 このように、特徴量算出部140は、上記の特徴量(1)~特徴量(7)の7つの特徴量のうち少なくともいずれか1つの特徴量、あるいは任意の個数の特徴量の組合せを上記の候補ごとに算出することができる。
 図1の説明に戻り、食事時間推定部150は、特徴量算出部140により算出された特徴量から食事時間を推定する処理部である。以下では、あくまで一例として、食事時間の推定に、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)が用いられる場合を例示するが、他の特徴量を用いることとしてもかまわず、必ずしも特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を閾値判定に用いずともかまわない。また、食事時間の一例として、食事終了時刻を推定する場合を例示するが、食事開始時刻、食事所要時間もしくはこれらの組合せを推定することとしてもかまわない。
 図1に示す食事時間推定部150は、判定部151と、グルーピング部152と、決定部153とを有する。
 このうち、判定部151は、特徴量算出部140により算出された特徴量と所定の閾値とを比較する判定を実行する処理部である。
 一実施形態として、判定部151は、特徴量算出部140により特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)が算出される度に次のような処理を実行する。すなわち、判定部151は、特徴量(1)が所定の閾値以上であるか否かを判定する。続いて、特徴量(1)が閾値以上である場合、判定部151は、特徴量(5)が所定の閾値以下であるか否かをさらに判定する。そして、特徴量(5)が閾値以下である場合、判定部151は、特徴量(6)が所定の閾値未満であるか否かをさらに判定する。この結果、特徴量(1)が閾値以上であり、特徴量(5)が閾値以下であり、かつ特徴量(6)が閾値未満である場合には、これら特徴量(1)、特徴量(5)及び特徴量(6)を持つ食事終了時刻の候補が食事終了時刻として尤もらしいと推定できる。この場合、判定部151は、図示しない内部メモリ等に当該候補を食事終了時刻として記録する。
 ここで、上記の例では、特徴量(1)、特徴量(5)、特徴量(6)の順に閾値判定を行う分類木を判定モデルとして用いる場合を例示したが、食事時間の推定に用いる判定モデルはこれに限定されない。例えば、正解付きの教師データを機械学習させることにより、任意の判定モデルを生成できる。すなわち、7つの特徴量のうちいずれの特徴量を閾値判定に用いるかを決定すると共に閾値判定を行う特徴量の順番を決定することで分類木を定めたり、さらには、分類木で特徴量と比較する閾値の大きさを設定したりすることにより、判定モデルを生成できる。例えば、上記の特徴量(1)、特徴量(5)及び特徴量(6)以外の特徴量、すなわち特徴量(2)、特徴量(3)、特徴量(4)または特徴量(7)に関する閾値判定を行う分類木を生成することができる。
 このような機械学習を行うことにより、次のような効果を得ることができる。例えば、特徴量(1)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動時に算出され得る特徴量(1)の関係が安静時<食事終了時<運動時となる人物が多数派と考えられるが、必ずしも特徴量(1)が安静時<食事終了時<運動時という傾向を持たない人物も存在する。一例として、特徴量(1)が安静時<運動時<食事終了時という傾向を持つ人物も存在する。この場合にも、当該人物のポジティブデータとネガティブデータ用いて機械学習を行うことにより、当該人物の傾向に合わせて分類木を生成できる。
 グルーピング部152は、食事終了時刻をグルーピングする処理部である。
 一実施形態として、グルーピング部152は、内部メモリに記憶された食事終了時刻のうち互いの時間差が所定期間内である食事終了時刻をグルーピングする。例えば、グルーピング部152は、互いの時間差が所定期間内である食事終了時刻の各々に同一のグループの識別情報を付与し、互いの時間差が所定期間内でない食事終了時刻に異なるグループの識別情報を付与する。その上で、グルーピング部152は、各食事終了時刻に当該終了時刻に付与されたグループの識別情報を対応付けて内部メモリに記録させることにより、上記のグルーピングを実現できる。
 決定部153は、同一のグループにグルーピングされた食事終了時刻を用いて、1つの食事終了時刻を決定する処理部である。
 一実施形態として、決定部153は、グルーピング部152により同一のグループにグルーピングされた食事終了時刻のうち特徴量算出部140により算出された特徴量(4)が最小である食事終了時刻を選択する。これによって、特徴量(1)、特徴量(5)及び特徴量(6)により尤もらしいと評価された食事終了時刻の中でも、さらに特徴量(4)により尤もらしいと評価された食事終了時刻を抽出できる。なお、ここでは、同一のグループにグルーピングされた食事終了時刻の中から1つの食事終了時刻を選択する場合を例示したが、各食事終了時刻の間で所定の統計値、例えば平均値や中央値を求め、その統計値を食事終了時刻として決定することとしてもかまわない。
 サービス提供部160は、上記のヘルスケア支援サービスを提供する処理部である。
 一実施形態として、サービス提供部160は、食事時間推定部150により推定された食事時間、例えば食事開始時刻、食事終了時刻、もしくは、食事所要時間のうち少なくともいずれか1つを記録したり、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。なお、サービス提供部160で実装される機能は、外部のサーバ装置等などにより実現されることとしてもよい。
 なお、上記の運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140、食事時間推定部150及びサービス提供部160などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるCPUなどに、上記の各機能部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、MPUに実行させることとしてもよい。また、上記の各機能部は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
 また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAMやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD、光ディスクやSSDなどを採用できる。
[処理の流れ]
 図12は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。この処理は、一例として、所定の時間長、例えば12時間や1日間などにわたる心拍数データ及び加速度データが取得された場合に起動される。
 図12に示すように、センサ端末10から心拍数データ及び加速度データが取得されると(ステップS101)、運動期間判定部120は、次のような処理を実行する。すなわち、運動期間判定部120は、ステップS101で取得された加速度データのうち重力方向の加速度を用いて、運動に対応する上昇および下降のパターン同士の間隔が所定期間内に繰り返して現れる区間を運動期間として判定する(ステップS102)。
 続いて、ノイズ心拍数除去部130は、ステップS101で取得された心拍数データから、ステップS102で判定された運動期間に一定期間を加えた除去期間に対応する区間を除去する(ステップS103)。
 そして、特徴量算出部140は、ステップS101で取得された心拍数データ上で食事終了時刻と仮定する候補の時刻iを初期化する(ステップS104)。例えば、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を算出する場合、候補の時刻iから1時間前までのデータが食事時間の推定に用いられるので、ステップS101で取得された心拍数データの開始時刻から1時間後の時刻が候補の時刻iとして初期設定される。
 その後、特徴量算出部140は、ステップS101で取得された心拍数データを用いて、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を算出する(ステップS105)。
 続いて、判定部151は、ステップS105で算出された特徴量(1)が所定の閾値以上であるか否かを判定する(ステップS106)。このとき、特徴量(1)が閾値以上である場合(ステップS106Yes)、判定部151は、特徴量(5)が所定の閾値以下であるか否かをさらに判定する(ステップS107)。そして、特徴量(5)が閾値以下である場合(ステップS107Yes)、判定部151は、特徴量(6)が所定の閾値未満であるか否かをさらに判定する(ステップS108)。
 ここで、特徴量(6)が閾値未満である場合(ステップS108Yes)には、これら特徴量(1)、特徴量(5)及び特徴量(6)を持つ食事終了時刻の候補が食事終了時刻として尤もらしいと推定できる。この場合、判定部151は、図示しない内部メモリ等に当該候補を食事終了時刻として記録する(ステップS109)。
 一方、特徴量(1)が閾値以上でない場合、特徴量(5)が閾値以下でない場合、あるいは特徴量(6)が閾値未満でない場合(ステップS106No、ステップS107NoまたはステップS108No)、特徴量(1)、特徴量(5)または特徴量(6)の少なくともいずれか1つの特徴量から食事終了時刻の候補が食事終了時刻として尤もらしくないと推定できる。この場合、当該候補は、食事終了時刻として記録されない。
 そして、候補の時刻iがインクリメントできる最後の時刻、例えば特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を求める場合はステップS101で取得された心拍数データの終了時刻よりも所定時間α1(=α3)前の時刻になるまで(ステップS110No)食事終了時刻の候補とする時刻iをインクリメントし、上記のステップS106~ステップS109までの処理を繰り返し実行する。このように候補の時刻iをインクリメントする量は、ミリ秒、秒、分などの任意の単位であってもかまわない。
 そして、候補の時刻iがインクリメントできる最後の時刻、例えば特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を求める場合はステップS101で取得された心拍数データの終了時刻のα1(=α3)前の時刻になると(ステップS110Yes)、グルーピング部152は、ステップS109で記録された食事終了時刻のうち互いの時間差が所定期間内である食事終了時刻をグルーピングする(ステップS111)。
 その後、決定部153は、ステップS111で同一のグループにグルーピングされた食事終了時刻のうちステップS105で算出された特徴量(4)が最小である食事終了時刻を選択し(ステップS112)、処理を終了する。
[効果の一側面]
 上述してきたように、本実施例に係るヘルスケア支援システム1は、心拍数の時系列データから食事開始時刻、食事終了時刻または食事所要時間などの食事時間を推定する場合に、食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を用いる。これによって、例えば、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などによって心拍数が上昇する場面で食事時刻が推定されるのを抑制する。したがって、本実施例に係るヘルスケア支援システム1によれば、食事時間の推定精度が低下するのを抑制できる。
 さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[食事開始時刻1]
 上記の実施例1では、食事終了時刻を推定する場合を例示したが、既知のアルゴリズムを用いて、食事開始時刻を推定することもできる。例えば、情報処理装置100は、上記の心拍数データを参照し、所定期間、例えば3分間後に心拍数の上昇値が閾値以上となる時刻を食事開始時刻として推定したり、所定期間後までの心拍数の時系列から関数近似により求めた近似直線の傾きの符号が「正」であり、かつ絶対値が所定の閾値以上となる時刻を食事開始時刻として推定することもできる。
[食事開始時刻2]
 さらに、情報処理装置100は、食事時間推定部150により推定される食事終了時間を用いて、先のようにして推定される食事開始時刻のうち尤もらしい食事開始時刻を抽出することもできる。例えば、情報処理装置100は、先のようにして推定された食事開始時刻のうち食事時間推定部150により推定された食事終了時刻よりも前の時刻であり、かつ当該食事終了時刻から所定の期間、例えば1時間以内である食事開始時刻を、食事時間推定部150が推定する食事終了時刻と対になる食事開始時刻として推定する。これによって、食事時間推定部150により推定された食事終了時刻との比較から尤もらしい食事開始時刻を抽出できる。
[食事所要時間]
 上記の実施例1では、食事終了時刻を推定する場合を例示したが、既知のアルゴリズムを用いて、食事所要時間を推定することもできる。例えば、情報処理装置100は、食事時間推定部150により推定される食事終了時間と、先のようにして推定される食事開始時刻との間で両者の差を計算することにより、食事所要時間を算出することもできる。この場合、情報処理装置100は、先のようにして推定された食事開始時刻のうち食事時間推定部150により推定された食事終了時刻よりも前の時刻である食事開始時間に絞って食事所要時間の算出対象としたり、時間長が所定の閾値、例えば1時間や1時間半以内である食事所要時間を抽出したりすることができる。
[他の実装例1]
 上記の実施例1では、センサ端末10及び情報処理装置100を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、心拍数データの取得から食事時間の推定までの一連の処理をセンサ端末10、情報処理装置100、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。
[他の実装例2]
 また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例1では、図12に示した食事時間推定処理を情報処理装置100が実行する場合を例示したが、処理の実行主体はこれに限定されない。例えば、センサ端末10からの心拍数データや加速度データを中継する中継装置として情報処理装置100を機能させ、上記のヘルスケア支援サービスを提供するWebサーバやアウトソーシングによって上記のヘルスケア支援サービスを提供するクラウドに、上記の食事時間推定処理を実行させることとしてもかまわない。
[食事時間推定プログラム]
 また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図13を用いて、上記の実施例と同様の機能を有する食事時間推定プログラムを実行するコンピュータの一例について説明する。
 図13は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。図13に示すように、コンピュータ1000は、操作部1100aと、スピーカ1100bと、カメラ1100cと、ディスプレイ1200と、通信部1300とを有する。さらに、このコンピュータ1000は、CPU1500と、ROM1600と、HDD1700と、RAM1800とを有する。これら1100~1800の各部はバス1400を介して接続される。
 HDD1700には、図13に示すように、上記の実施例1で示した運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140及び食事時間推定部150と同様の機能を発揮する食事時間推定プログラム1700aが記憶される。この食事時間推定プログラム1700aは、図1に示した運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140及び食事時間推定部150の各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD1700には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD1700に格納されればよい。
 このような環境の下、CPU1500は、HDD1700から食事時間推定プログラム1700aを読み出した上でRAM1800へ展開する。この結果、食事時間推定プログラム1700aは、図13に示すように、食事時間推定プロセス1800aとして機能する。この食事時間推定プロセス1800aは、RAM1800が有する記憶領域のうち食事時間推定プロセス1800aに割り当てられた領域にHDD1700から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事時間推定プロセス1800aが実行する処理の一例として、図12に示す処理などが含まれる。なお、CPU1500では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
 なお、上記の食事時間推定プログラム1700aは、必ずしも最初からHDD1700やROM1600に記憶されておらずともかまわない。例えば、コンピュータ1000に挿入されるフレキシブルディスク、いわゆるFD、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ1000がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ1000に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ1000がこれらから各プログラムを取得して実行するようにしてもよい。
   1  ヘルスケア支援システム
  10  センサ端末
  11  心拍数データ取得部
  12  加速度データ取得部
  13  通信I/F部
 100  情報処理装置
 110  通信I/F部
 120  運動期間判定部
 130  ノイズ心拍数除去部
 140  特徴量算出部
 150  食事時間推定部
 151  判定部
 152  グルーピング部
 153  決定部
 160  サービス提供部

Claims (13)

  1.  コンピュータが、
     心拍数の時系列データを取得する処理と、
     前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、
     前記特徴量から食事時間を推定する処理と
     を実行することを特徴とする食事時間推定方法。
  2.  前記算出する処理は、食事終了後の心拍数の減少幅が数値化された特徴量、食事終了直前の心拍数の傾きが数値化された特徴量、食事終了直後の心拍数の傾きが数値化された特徴量、食事終了直前および食事終了直後で心拍数データの波形が形成する角度が数値化された特徴量、食事中または食事終了直前の心拍数と食事開始前の心拍数との差が数値化された特徴量、食事開始前の心拍数の集合に対する食事中または食事終了直前の心拍数の生起確率が数値化された特徴量、及び、食事終了後の心拍数分布と食事開始前の心拍数分布との類似度が数値化された特徴量のうち少なくともいずれか1つを算出することを特徴とする請求項1に記載の食事時間推定方法。
  3.  前記推定する処理は、前記食事時間として、食事開始時刻、食事終了時刻及び食事所要時間のうち少なくともいずれか1つを推定することを特徴とする請求項1に記載の食事時間推定方法。
  4.  前記推定する処理は、前記食事終了時刻を推定する場合に前記特徴量から前記食事終了時刻を推定し、前記食事開始時刻を推定する場合に前記心拍数の時系列データから抽出される食事開始時刻の候補のうち前記食事終了時刻に対応する候補を前記食事開始時刻として推定し、前記食事所要時間を推定する場合に互いが対応する一組の食事開始時刻及び食事終了時刻から定まる食事所要時間の候補のうち期間が所定の範囲内である候補を前記食事所要時間として推定することを特徴とする請求項3に記載の食事時間推定方法。
  5.  前記コンピュータが、
     所定期間内に複数の食事終了時刻が推定された場合、前記複数の食事終了時刻のうち前記食事終了時に現れる特徴との類似度が高い特徴量を持つ食事終了時刻を前記食事時間として推定することを特徴とする請求項3に記載の食事時間推定方法。
  6.  前記コンピュータが、
     慣性の時系列データを取得し、
     前記慣性の時系列データから運動に対応する振幅変化を判定し、
     前記心拍数の時系列データから前記運動に対応する振幅変化の区間を除去または除去後に内挿補完する処理をさらに実行することを特徴とする請求項1に記載の食事時間推定方法。
  7.  コンピュータに、
     心拍数の時系列データを取得する処理と、
     前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、
     前記特徴量から食事時間を推定する処理と
     を実行させることを特徴とする食事時間推定プログラム。
  8.  前記算出する処理は、食事終了後の心拍数の減少幅が数値化された特徴量、食事終了直前の心拍数の傾きが数値化された特徴量、食事終了直後の心拍数の傾きが数値化された特徴量、食事終了直前および食事終了直後で心拍数データの波形が形成する角度が数値化された特徴量、食事中または食事終了直前の心拍数と食事開始前の心拍数との差が数値化された特徴量、食事開始前の心拍数の集合に対する食事中または食事終了直前の心拍数の生起確率が数値化された特徴量、及び、食事終了後の心拍数分布と食事開始前の心拍数分布との類似度が数値化された特徴量のうち少なくともいずれか1つを算出することを特徴とする請求項7に記載の食事時間推定プログラム。
  9.  前記推定する処理は、前記食事時間として、食事開始時刻、食事終了時刻及び食事所要時間のうち少なくともいずれか1つを推定することを特徴とする請求項7に記載の食事時間推定プログラム。
  10.  前記推定する処理は、前記食事終了時刻を推定する場合に前記特徴量から前記食事終了時刻を推定し、前記食事開始時刻を推定する場合に前記心拍数の時系列データから抽出される食事開始時刻の候補のうち前記食事終了時刻に対応する候補を前記食事開始時刻として推定し、前記食事所要時間を推定する場合に互いが対応する一組の食事開始時刻及び食事終了時刻から定まる食事所要時間の候補のうち期間が所定の範囲内である候補を前記食事所要時間として推定することを特徴とする請求項9に記載の食事時間推定プログラム。
  11.  前記コンピュータに、
     所定期間内に複数の食事終了時刻が推定された場合、前記複数の食事終了時刻のうち前記食事終了時に現れる特徴との類似度が高い特徴量を持つ食事終了時刻を前記食事時間として推定することを特徴とする請求項9に記載の食事時間推定プログラム。
  12.  前記コンピュータに、
     慣性の時系列データを取得し、
     前記慣性の時系列データから運動に対応する振幅変化を判定し、
     前記心拍数の時系列データから前記運動に対応する振幅変化の区間を除去または除去後に内挿補完する処理をさらに実行させることを特徴とする請求項7に記載の食事時間推定プログラム。
  13.  心拍数の時系列データを取得する取得部と、
     前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する算出部と、
     前記特徴量から食事時間を推定する推定部と
     を実行することを特徴とする食事時間推定装置。
PCT/JP2015/057041 2015-03-10 2015-03-10 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 WO2016143074A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2015/057041 WO2016143074A1 (ja) 2015-03-10 2015-03-10 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
JP2017504488A JP6390783B2 (ja) 2015-03-10 2015-03-10 食事時間推定方法及び食事時間推定装置
EP15884566.9A EP3269300A4 (en) 2015-03-10 2015-03-10 Meal time estimation method, meal time estimation program, and meal time estimation device
US15/693,967 US10595789B2 (en) 2015-03-10 2017-09-01 Meal time estimation method, meal time estimation device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057041 WO2016143074A1 (ja) 2015-03-10 2015-03-10 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/693,967 Continuation US10595789B2 (en) 2015-03-10 2017-09-01 Meal time estimation method, meal time estimation device, and recording medium

Publications (1)

Publication Number Publication Date
WO2016143074A1 true WO2016143074A1 (ja) 2016-09-15

Family

ID=56878667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/057041 WO2016143074A1 (ja) 2015-03-10 2015-03-10 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置

Country Status (4)

Country Link
US (1) US10595789B2 (ja)
EP (1) EP3269300A4 (ja)
JP (1) JP6390783B2 (ja)
WO (1) WO2016143074A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417773A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
EP3417767A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
JP2023042454A (ja) * 2021-09-14 2023-03-27 カシオ計算機株式会社 電子機器、アルゴリズム選択方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174851A1 (en) * 2017-03-20 2018-09-27 Re-Time Pty Ltd Method and apparatus for sleep monitoring and control

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド, エラン・メイア 食物摂取を監視するための機器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173375A (ja) 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2004081471A (ja) 2002-08-27 2004-03-18 Matsushita Electric Works Ltd 食事行動検出装置
JP4487730B2 (ja) 2004-11-02 2010-06-23 株式会社日立製作所 生活状態通知システム
JP4701039B2 (ja) 2005-08-12 2011-06-15 順明 山井 体に良い食事摂取をナビゲートする装置
EP2032020A2 (en) * 2006-06-28 2009-03-11 Endo-Rhythm Ltd. Lifestyle and eating advisor based on physiological and biological rhythm monitoring
JP5028051B2 (ja) 2006-09-07 2012-09-19 オリンパス株式会社 発話・飲食状態検出システム
JP5353479B2 (ja) 2009-06-25 2013-11-27 学校法人兵庫医科大学 嚥下活動モニタリング装置、嚥下活動モニタリングシステムおよび嚥下活動モニタリングプログラム
JP2011115508A (ja) 2009-12-07 2011-06-16 Sharp Corp 食行動検知システム
US8696616B2 (en) * 2010-12-29 2014-04-15 Ethicon Endo-Surgery, Inc. Obesity therapy and heart rate variability
US9005129B2 (en) * 2012-06-22 2015-04-14 Fitbit, Inc. Wearable heart rate monitor
US9168000B2 (en) * 2013-03-13 2015-10-27 Ethicon Endo-Surgery, Inc. Meal detection devices and methods
US9014790B2 (en) * 2013-06-03 2015-04-21 Fitbit, Inc. Heart rate data collection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド, エラン・メイア 食物摂取を監視するための機器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIYOSHI ITAO ET AL.: "HealthCare Monitoring System Design and Applications in Cloud Computing Era", 3 September 2012 (2012-09-03), pages 297 - 298, XP009500878 *
MAKOTO SATO ET AL.: "Seitai Data to Kasokudo Data o Mochiita Kodo Ninshiki", DAI 65 KAI (HEISEI 15 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU, 25 March 2003 (2003-03-25), pages 5-239 - 5-242, XP009500874 *
See also references of EP3269300A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417773A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
EP3417767A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
US10952670B2 (en) 2017-06-23 2021-03-23 Fujitsu Limited Meal detection method, meal detection system, and storage medium
US11039794B2 (en) 2017-06-23 2021-06-22 Fujitsu Limited Meal detection method, meal detection system, and storage medium
JP2023042454A (ja) * 2021-09-14 2023-03-27 カシオ計算機株式会社 電子機器、アルゴリズム選択方法及びプログラム
JP7318690B2 (ja) 2021-09-14 2023-08-01 カシオ計算機株式会社 電子機器、アルゴリズム選択方法及びプログラム

Also Published As

Publication number Publication date
EP3269300A1 (en) 2018-01-17
EP3269300A4 (en) 2018-03-28
JPWO2016143074A1 (ja) 2017-12-21
US20170360380A1 (en) 2017-12-21
US10595789B2 (en) 2020-03-24
JP6390783B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6489130B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
JP5920364B2 (ja) 情報処理装置、代表波形生成方法および代表波形生成プログラム
JP6356616B2 (ja) 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム
US20140031704A1 (en) Stress-measuring device and method
JP6134872B1 (ja) 対象の周期的な運動のサイクル数を計数するデバイス、方法及びシステム
JP6390783B2 (ja) 食事時間推定方法及び食事時間推定装置
KR101974831B1 (ko) 낙상위험 평가방법 및 이를 위한 사용자 단말기
US20180240543A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
US20180254106A1 (en) Behavior sensing device, behavior sensing method, and recording medium
JP6828619B2 (ja) 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
EP3417773B1 (en) Meal detection method, meal detection system, and meal detection program
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
JP2017012249A (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
Weng et al. Fall detection based on tilt angle and acceleration variations
JP6676877B2 (ja) 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
Quadros Development and evaluation of an elderly fall detection system based on a wearable device located at wrist
Vallabh et al. Personalized fall detection monitoring system based on learning from the user movements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15884566

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017504488

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015884566

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE