WO2016092707A1 - 食事推定プログラム、食事推定方法及び食事推定装置 - Google Patents

食事推定プログラム、食事推定方法及び食事推定装置 Download PDF

Info

Publication number
WO2016092707A1
WO2016092707A1 PCT/JP2014/083059 JP2014083059W WO2016092707A1 WO 2016092707 A1 WO2016092707 A1 WO 2016092707A1 JP 2014083059 W JP2014083059 W JP 2014083059W WO 2016092707 A1 WO2016092707 A1 WO 2016092707A1
Authority
WO
WIPO (PCT)
Prior art keywords
meal
heart rate
peak
time
data
Prior art date
Application number
PCT/JP2014/083059
Other languages
English (en)
French (fr)
Inventor
真路 堀田
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP14907921.2A priority Critical patent/EP3231362A4/en
Priority to JP2016563385A priority patent/JP6489130B2/ja
Priority to PCT/JP2014/083059 priority patent/WO2016092707A1/ja
Publication of WO2016092707A1 publication Critical patent/WO2016092707A1/ja
Priority to US15/614,976 priority patent/US20170273634A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • the present invention relates to a meal estimation program, a meal estimation method, and a meal estimation apparatus.
  • Health care such as prevention of lifestyle-related diseases such as metabolic syndrome and diabetes, diet, medical services, etc. is attracting attention.
  • a process for recognizing and improving problems of one's own lifestyle by recording daily lifestyle such as exercise and meal is required.
  • diet control methods such as “when”, “what”, and “how much” are listed as follows. Specifically, three regular meals (when), breakfast (when), balanced nutrition (what), too much calories (how much), and saltiness (what) Items are listed.
  • a eating behavior detection system for example, a eating behavior detection system, a speech / eating / drinking state detection system, a eating behavior detection device, and the like have been proposed.
  • a meal determination is performed by detecting an action of raising and lowering an arm during food intake using an acceleration sensor.
  • the speech / drinking state detection system the frequency pattern peculiar to mastication of body sounds is detected by using mastication when eating an object.
  • threshold processing is performed to determine whether or not the human body is moving frequently after detecting the human body in the vicinity of the dining table in a situation where an infrared sensor is installed on the dining table or the like.
  • the way of eating is restricted, or the place where the eating behavior is estimated is restricted, so that there is a lack of versatility.
  • the acceleration tendency assumed in the eating behavior detection system only corresponds to one side of the arm movement performed when eating food, and when the other arm movement is performed, the acceleration tendency is Since they are different, a detection failure occurs.
  • the utterance / eating / drinking state detection system since the microphone is worn on the neck at the time of eating, the body is burdened and the appearance is also deteriorated.
  • the eating behavior detection device only a meal in a fixed environment such as a place where an infrared sensor is installed can be recognized.
  • a life management terminal device has been proposed as an example of a technique that uses a pulse wave for meal determination.
  • this life management terminal device in addition to the appearance of chewing characteristics that occur during meals, it is determined that a meal is being eaten when the pulse rate increases and the skin conductivity does not increase rapidly.
  • an object of the present invention is to provide a meal estimation program, a meal estimation method, and a meal estimation apparatus that can suppress a decrease in accuracy of meal determination.
  • the meal estimation program obtains time-series data of heart rate in a computer, and a peak of the heart rate appears first after the start of meal for each partial data included in the time-series data of heart rate.
  • the feature amount relating to the second peak appearing after the peak is calculated, the feature amount relating to the second peak calculated for each partial data is used to determine the presence or absence of a meal in the partial data, and the presence of the meal.
  • the process which estimates meal time from the partial data determined to be performed is performed.
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of heart rate data.
  • FIG. 3 is a diagram illustrating an example of heart rate data.
  • FIG. 4 is a diagram illustrating an example of heart rate data.
  • FIG. 5 is a diagram illustrating an example of a method for calculating the feature amount (1).
  • FIG. 6 is a diagram illustrating an example of a method for calculating the feature amount (2).
  • FIG. 7 is a diagram illustrating an example of a method for calculating the feature amount (2).
  • FIG. 8 is a diagram illustrating an example of a method for calculating the feature amount (2).
  • FIG. 9 is a diagram illustrating an example of a method for calculating the feature amount (2).
  • FIG. 9 is a diagram illustrating an example of a method for calculating the feature amount (2).
  • FIG. 10 is a diagram illustrating an example of a method for calculating the feature amount (3).
  • FIG. 11 is a diagram illustrating an example of a method for calculating the feature amount (4).
  • FIG. 12 is a diagram illustrating an example of a method for calculating the feature amount (4).
  • FIG. 13 is a diagram illustrating an example of a method for calculating the feature amount (5).
  • FIG. 14 is a diagram illustrating an example of acceleration data.
  • FIG. 15 is a diagram illustrating an example of a method for removing a noise heart rate.
  • FIG. 16 is a diagram illustrating an example of a method for calculating a removal period based on a change point.
  • FIG. 17 is a diagram illustrating an example of a method for creating window data.
  • FIG. 11 is a diagram illustrating an example of a method for calculating the feature amount (4).
  • FIG. 12 is a diagram illustrating an example of a method for calculating the feature amount (4).
  • FIG. 18 is a diagram illustrating an example of acceleration data.
  • FIG. 19 is a diagram illustrating an example of the identification boundary.
  • FIG. 20 is a diagram illustrating an example of a healthcare support service.
  • FIG. 21 is a diagram illustrating an example of a healthcare support service.
  • FIG. 22 is a diagram illustrating an example of heart rate data.
  • FIG. 23 is a diagram illustrating an example of acceleration data.
  • FIG. 24 is a diagram illustrating an example of a correspondence table between the heart rate, the number of eating operations, and the exercise period.
  • FIG. 25 is a diagram illustrating an example of removing a noise heart rate.
  • FIG. 26 is a diagram illustrating an example of a window data extraction result.
  • FIG. 27 is a diagram illustrating an example of window data.
  • FIG. 28 is a diagram illustrating an example of a method for determining a pre-meal heart rate.
  • FIG. 29 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 30 is a diagram illustrating an example of window data.
  • FIG. 31 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 32 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 33 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 34 is a diagram illustrating an example of the approximation error.
  • FIG. 35 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 36 is a diagram illustrating an example of the observation feature quantity list.
  • FIG. 37 is a diagram illustrating an example of a feeding operation frequency list.
  • FIG. 38 is a diagram illustrating an example of teacher data.
  • FIG. 39 is a diagram illustrating an example of a meal estimation model.
  • FIG. 40 is a diagram illustrating an example of an estimation result of the presence / absence of a meal.
  • FIG. 41 is a diagram illustrating an example of meal determination using the number of times of eating operation.
  • FIG. 42 is a flowchart illustrating an overall flow procedure according to the first embodiment.
  • FIG. 43 is a flowchart illustrating a procedure of the feature amount (1) calculation process.
  • FIG. 44 is a flowchart illustrating the procedure of the feature amount (2) calculation process.
  • FIG. 45 is a flowchart illustrating the procedure of the feature amount (3) calculation process.
  • FIG. 46 is a flowchart illustrating the procedure of the feature amount (4) calculation process.
  • FIG. 47 is a flowchart illustrating the procedure of the feature amount (5) calculation process.
  • FIG. 48 is a diagram illustrating a hardware configuration example of a computer that executes the meal
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • a healthcare support system 1 shown in FIG. 1 provides various healthcare support services.
  • a health care support service a service for recording a living behavior of a user of the sensor terminal 10 by using sensing data collected by the sensor terminal 10, for example, a meal time, and a derivative service using the record Etc.
  • the health care support system 1 uses feature quantities related to two heart rate change peaks appearing after the start of a meal when estimating a user's meal time from heart rate time-series data. This prevents, for example, the estimation of the meal time in a scene where the heart rate rises due to causes other than meals, such as mental tension, changes in environmental temperature, or exercise, thereby preventing erroneous determination of the meal time. To do.
  • first peak the peak that appears before the start of the meal among the above two heart rate change peaks
  • first peak the peak that appears after the first peak
  • second peaks May be described as “2 peaks”.
  • the health care support system 1 accommodates a sensor terminal 10 and a server device 100. Although FIG. 1 illustrates a case where there is one sensor terminal, the health care support system 1 may accommodate a plurality of sensor terminals.
  • the sensor terminal 10 and the server device 100 are connected via the network 5 so that they can communicate with each other.
  • the network 5 may be any type of communication network such as the Internet (Internet) as well as a local communication network such as a LAN (Local Area Network) and a VPN (Virtual Private Network) regardless of wired or wireless.
  • the sensor terminal 10 is a terminal device on which a sensor is mounted.
  • the sensor terminal 10 can employ a terminal device dedicated to healthcare, wearable gadgets such as smart glasses and smart watches, and a portable terminal device.
  • the mobile terminal device includes not only mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone System) but also tablet terminals and slate terminals.
  • At least a heart rate sensor is mounted on the sensor terminal 10.
  • the sensor terminal 10 detects, for example, the heart rate per unit time of the user who uses the sensor terminal 10.
  • the time-series data of the heart rate sensed by using the heart rate sensor is used for calculating the feature amount and estimating the meal start time.
  • the time-series data of the heart rate sensed using the heart rate sensor may be referred to as “heart rate data”.
  • an acceleration sensor can be mounted on the sensor terminal 10.
  • this acceleration sensor for example, a triaxial acceleration sensor can be adopted.
  • the time-series data of the three-axis acceleration sensed using the acceleration sensor as described above is determined by the user using the sensor terminal 10 in an exercise state such as walking, raising / lowering and running. Used to detect Thus, the acceleration time series data contributes to the removal of the exercise period in which the exercise state continues from the heart rate time series data.
  • acceleration data the time series data of acceleration sensed using an acceleration sensor may be referred to as “acceleration data”.
  • the heart rate sensor and the acceleration sensor were illustrated here as an example, it does not prevent that other sensors, such as a gyro sensor and a GPS (Global Positioning System) receiver, are mounted.
  • a wearable heart rate sensor that is worn on a user's body part, for example, a chest, an arm, or a wrist can be employed.
  • a pulse by a photoelectric pulse wave sensor can be adopted.
  • a heart rate sensor can be mounted exclusively for healthcare, or when the wearable gadget is equipped with a heart rate sensor, the heart rate sensor can be diverted.
  • a heart rate sensor that detects a heart rate does not necessarily have to be mounted on the sensor terminal 10
  • an electrocardiographic sensor that detects an electrocardiographic signal may be mounted on the sensor terminal 10.
  • the heart rate sensor may not necessarily be a wearable type.
  • a heart rate is detected from a time series change of luminance related to an image in which a part of a user's living body is imaged at a predetermined sampling frequency, or a Doppler frequency associated with a pulsation is detected using an RF (Radio Frequency) motion sensor.
  • RF Radio Frequency
  • the feature quantity obtained from the heart rate data and the acceleration data correspond to the user identification information, for example, the machine name or serial number of the sensor terminal 10. It is transmitted in the attached state.
  • the reason why the sensor terminal 10 calculates the feature amount in this way is to reduce the amount of data transmitted to the network and to suppress the situation where heart rate data, which is personal information, is disclosed to a third party during transmission. is there.
  • the case where the feature amount is transmitted from the sensor terminal 10 to the server device 100 is illustrated, but it is also possible to cause the server device 100 to calculate the feature amount by causing the sensor terminal 10 to send heart rate data. Absent.
  • the server device 100 is a computer that provides the above-described healthcare support service.
  • the server apparatus 100 can be implemented by installing a meal time estimation program for realizing the above-described healthcare support service on a desired computer as package software or online software.
  • the server apparatus 100 may be implemented as a Web server that provides the above healthcare support service, or may be implemented as a cloud that provides the above healthcare support service by outsourcing.
  • the server apparatus 100 estimates the meal time of the user of the sensor terminal 10 using the feature amount received from the sensor terminal 10.
  • the server device 100 records the meal time, generates a list of meal time zones extending from the meal time recorded so far for a predetermined period, for example, one week, and outputs it.
  • various advice is output.
  • the sensor terminal 10 includes an output device such as a display device, an audio output device, and a printing device, the various types of information described above can be output via the output device of the sensor terminal 10.
  • the output destination of the information does not necessarily have to be the sensor terminal 10, and may be another terminal device used by the user, or the related person, for example, a relative of the user, a medical or care worker, etc. It can also be a terminal device. As a result, the above health care support service is realized.
  • FIG. 2 is a diagram illustrating an example of heart rate data.
  • the change in heart rate before and after the start of a meal is graphed.
  • the vertical axis shown in FIG. 2 indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time) from immediately before the start of the meal.
  • first peak that is the peak of heart rate change that appears before the start of meal and the peak of heart rate change that appears after the first peak.
  • second peak appears.
  • first peak region A1 the predetermined region including the waveform of the first peak portion
  • second peak the predetermined region including the waveform of the second peak portion
  • the “first peak” is an increase in heart rate due to eating behavior, and is estimated to be an increase in heart rate due to, for example, peristaltic movement of the esophagus.
  • the “second peak” is estimated to be, for example, an increase in heart rate caused by digestive activity in a digestive organ (such as the gastrointestinal tract) with respect to ingested foods, that is, food or the like.
  • the second peak appears after the first peak appears, and the second peak tends to be longer than the first peak.
  • feature quantities relating to the first peak or the second peak are defined.
  • FIG. 3 and 4 are diagrams showing an example of heart rate data.
  • the change in heart rate before and after the start of the meal is graphed.
  • the vertical axis shown in FIG. 3 and FIG. 4 indicates the heart rate per unit time, and the horizontal axis indicates the start of the meal.
  • FIG. 3 illustrates feature amounts (1), (3), and (5), while FIG. 4 illustrates feature amounts (2) and (4).
  • “BL” shown in FIG. 3 indicates a baseline of heart rate. Such a baseline BL is a reference value for obtaining an increase in the heart rate caused by meals.
  • the heart rate at the meal start time Ts can be used as the baseline heart rate value, the average value of the heart rate for a predetermined period of 30 minutes, 1 hour, etc. before the meal start of the user, the meal start time It is possible to employ a heart rate of Ts that is the minimum between the first peak and the second peak.
  • a feature amount representing the likelihood that the heart rate change is caused by a meal can be defined.
  • five feature amounts are illustrated, but it is not always necessary to use all feature amounts for estimation of meal time, and the meal time can be set by using at least one of the five feature amounts. Can be estimated.
  • the area of the first peak region A1 and the area of the second peak region A2 are defined as the feature quantity (1).
  • the rate of increase in heart rate until reaching the first peak, the rate of increase in heart rate until reaching the second peak, the recovery rate of heart rate from the first peak, and the second The recovery rate of the heart rate from the peak is defined as the feature amount (2).
  • the maximum heart rate P1 in which the heart rate takes the maximum value in the waveform forming the first peak, and the heart rate in the waveform forming the second peak takes the maximum value.
  • the maximum heart rate P2 is defined as the feature quantity (3). As shown in FIG.
  • the pre-meal heart rate that takes the lowest value among the heart rates measured before the meal start time Ts, and the pre-meal heart rate to the baseline BL in the section before the meal start time Ts. Is defined as the feature amount (5).
  • the above ascending speed and the above recovery speed may be collectively referred to as “response speed”.
  • FIG. 5 is a diagram illustrating an example of a method for calculating the feature amount (1).
  • FIG. 5 is a graph showing changes in heart rate before and after the start of a meal.
  • the vertical axis shown in FIG. 5 indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time) immediately before the start of the meal. ).
  • the area S1 of the first peak region A1 can be obtained by summing up the increase in the heart rate from the baseline BL during the meal period Ta1, as shown in FIG. .
  • the area is calculated by summing up the increase width of the heart rate is illustrated, but the area may be obtained by calculating the average value of the increase width of the heart rate.
  • the end point of the meal period Ta1 can also be the time when the minimum heart rate in the section between the first peak and the second peak is taken.
  • the end point of the meal period Ta1 can also be a time that has passed for a certain period, for example, 10 minutes or 20 minutes from the meal start time Ts. Note that, for example, the certain period can be determined based on the statistical value of the time required for peristaltic movement.
  • the area S2 of the second peak region A2 can be obtained, for example, by summing up the increase in heart rate from the baseline BL in the post-meal period Ta2.
  • the end point of the meal period Ta1 in the first peak area A1 or the time after the end point is set as the start point, and the time when the heart rate has recovered to the baseline BL through the second peak is set as the end point.
  • a section is set.
  • the fluctuation of the heart rate at the second peak is influenced by the digestive activity in the digestive tract.
  • the end point of the post-meal period Ta2 can also be a time that has passed for a certain period, for example, 240 minutes from the start point of the post-meal period Ta2.
  • the certain period can be determined based on a statistical value of the time required for digestion activity.
  • the present invention is not limited to this. It may also be calculated from the rise from the heart rate.
  • FIGS. 6 to 9 are diagrams illustrating an example of the calculation method of the feature amount (2). 6 to 9, the vertical axis indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time) immediately before the start of the meal.
  • FIGS. 6 and 7 show a waveform near the first peak in the heart rate waveform measured after the start of the meal, while FIG. 8 and FIG. The waveform near the peak is shown in close-up. 6 and 7, the interval corresponding to the meal period Ta1 in the heart rate waveform is surrounded by a broken line, whereas in FIG. 8 and FIG. 9, the interval corresponding to the post-meal period Ta2 in the heart rate waveform. Is surrounded by a broken line.
  • the rate of increase of the heart rate until reaching the first peak is, for example, the meal start time Ts as the start point, and the time when the maximum heart rate P1 is measured in the meal period Ta1 as the end point. It can be calculated from the change in heart rate observed during the period. Specifically, as shown in FIG. 6, the period from the meal start time Ts to the time when the maximum heart rate P1 is measured is set as “approximation target period Ts_P1”, and the approximation indicated by the one-dot chain line in FIG. A function approximation using a linear function or the like is performed on the heart rate data string included in the target period Ts_P1.
  • the recovery rate of the heart rate from the first peak can also be calculated.
  • the recovery change of the heart rate from the time when the maximum heart rate P1 is measured in the meal period Ta1 to the elapse of a certain period after the end of the meal can be calculated as the speed.
  • a period of minutes such as 5 minutes can be adopted as the fixed period after the end of the meal.
  • the period from the time when the maximum heart rate P1 is measured until the elapse of a certain period after the end of the meal is set as the “approximation target period Ta1_P1”.
  • the rate of increase in heart rate until reaching the second peak is, for example, the start time of the post-meal period Ta2, that is, the end time of the meal period Ta1, and the maximum heart rate P2 is measured within the post-meal period Ta2. It can be calculated from the increase in heart rate observed during the period with the time as the end point. Specifically, as shown in FIG. 8, the period from the start time of the post-meal period Ta2 to the time when the maximum heart rate P2 is measured is set as the “approximate target period Ta2_P2”, and is shown by a one-dot chain line in FIG. Function approximation using a linear function or the like is performed on the data string of heart rate included in the approximation target period Ta2_P2.
  • the inclination of the approximate expression approximated to the transition of the heart rate in the approximate target period Ta2_P2 is obtained. Since this inclination is equivalent to the rate of increase of the heart rate within the approximate target period Ta2_P2, it can be used as the rate of increase of the second peak.
  • the recovery rate of the heart rate from the second peak is, for example, the recovery rate of the heart rate from the time when the maximum heart rate P2 is measured in the postprandial period Ta2 to the time when the digestive activity by the digestive organs ends.
  • the end time of the postprandial period Ta2 can be adopted as an example of the time when the digestive activity ends. Specifically, as shown in FIG.
  • the period from the time when the maximum heart rate P2 is measured in the postprandial period Ta2 to the end time of the postprandial period Ta2 is set as the “approximate target period TP2_a2.”
  • function approximation using a linear function or the like is performed on the heart rate data string included in the approximation target period TP2_a2 indicated by the one-dot chain line in FIG.
  • the inclination of the approximate expression approximated to the transition of the heart rate in the approximate target period TP2_a2 is obtained. Since this slope is equivalent to the recovery rate of the heart rate within the approximate target period TP2_a2, it can be used as the recovery rate of the second peak.
  • response speeds including two sets of ascending speeds and two sets of recovery speeds are illustrated here, it is not always necessary to use all the response speeds for estimating meal times. For example, either two sets of ascending speeds or two sets of recovery speeds of four response speeds can be used for estimation of meal time.
  • FIG. 10 is a diagram illustrating an example of a method for calculating the feature amount (3).
  • FIG. 10 is a graph showing changes in heart rate before and after the start of a meal. The vertical axis shown in FIG. 10 indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time) immediately before the start of the meal. ).
  • the amplitude of the first peak is the maximum heart rate P1 having the maximum heart rate among the heart rates measured during the meal period Ta1, from the heart rate data. It can be derived by extracting. Similarly, the amplitude of the second peak can be derived by extracting the heart rate data of the maximum heart rate P2 having the maximum heart rate among the heart rates measured in the post-meal period Ta2.
  • the amplitude of the first peak and the amplitude of the second peak do not necessarily have to be absolute values from zero.
  • the first peak or The maximum value of the heart rate increase width may be calculated for each second peak. Since the second peak is influenced by digestive activity, for example, the time zone for detecting the maximum heart rate P2 in the post-meal period Ta2 may be limited to the time zone in which the digestive activity is assumed to be most active. . For example, as an example of a time zone in which digestive activity is assumed to be most active, a period from 30 minutes to 80 minutes after the meal start time Ts can be given.
  • FIGS. 11 and 12 are diagrams illustrating an example of the calculation method of the feature amount (4).
  • 11 and 12 are graphs showing changes in heart rate before and after the start of a meal.
  • the vertical axis shown in FIGS. 11 and 12 indicates the heart rate per unit time, and the horizontal axis is immediately before the start of the meal. Indicates the elapsed time (time) from
  • FIG. 11 shows a close-up of the waveform near the first peak in the heart rate waveform measured after the start of the meal. Further, in FIG. 11, the interval corresponding to the meal period Ta1 in the heart rate waveform is surrounded by a rectangular broken line, and the maximum heart rate P1 which is the amplitude of the first peak in the heart rate waveform is taken. The portion of the graph is surrounded by a circular broken line.
  • the heart rate rise time up to the first peak is calculated from the start time of the meal period Ta1, that is, the meal start time Ts, as shown in FIG. It can be calculated as the time until the time when the maximum heart rate P1 is measured in the period Ta1. Furthermore, the recovery time of the heart rate from the first peak can be calculated as, for example, the time from when the maximum heart rate P1 is measured during the meal period Ta1 until the heart rate recovers to the heart rate of the baseline BL.
  • the heart rate measured around the first peak is affected by the peristaltic movement of the esophagus as described above, it does not recover to the baseline BL until the heart rate reaches the second peak. Is assumed.
  • the recovery time of the heart rate from the first peak can also be obtained by using the approximate expression described with reference to FIG.
  • the recovery speed of the first peak shown in FIG. 7 is calculated as the slope of the approximate function approximated from the recovery of the heart rate that occurs after the first peak is reached. Therefore, as shown in FIG. 11, the elapsed time until the heart rate that changes with the slope of the approximate function reaches the heart rate of the baseline BL may be obtained.
  • the time of the intersection of the approximate function representing the recovery speed after the measurement of the maximum heart rate P1 and the baseline BL that is, the time of the point surrounded by the alternate long and short dash line in FIG.
  • the time at the intersection is obtained by substituting the heart rate of the baseline BL into the heart rate variable of the two variables of time and heart rate included in the approximate function, and the time at which the maximum heart rate P1 is measured therefrom By subtracting, the recovery time of the heart rate from the first peak can be obtained.
  • the recovery time of the heart rate from the first peak can also be calculated by calculating the difference between the maximum heart rate P1 and the heart rate of the baseline BL and dividing the difference between them by the slope of the approximate function.
  • the interval corresponding to the meal period Ta1 and the post-meal period Ta2 in the heart rate waveform is surrounded by a rectangular broken line, and the maximum heart rate P2 that is the amplitude of the second peak in the heart rate waveform.
  • the portion of the graph that takes the value of is surrounded by a circular broken line.
  • the heart rate rise time to the second peak is as shown in FIG. 12, from the start time of the meal period Ta1, that is, the meal start time Ts, after the meal. It can be calculated as the time until the time when the maximum heart rate P2 is measured in the period Ta2. Furthermore, the recovery time of the heart rate from the second peak can be calculated as, for example, the time from when the maximum heart rate P2 is measured in the post-meal period Ta2 until the heart rate recovers to the heart rate of the baseline BL.
  • the recovery time of the heart rate from the second peak can also be obtained by using the approximate expression described with reference to FIG.
  • the recovery speed of the second peak shown in FIG. 9 is calculated as the slope of an approximation function approximated from the recovery change of the heart rate that occurs after the second peak is reached. Therefore, as shown in FIG. 12, the elapsed time until the heart rate that changes with the slope of the approximation function reaches the heart rate of the baseline BL may be obtained.
  • the time of the intersection of the approximate function representing the recovery speed after the measurement of the maximum heart rate P2 and the baseline BL that is, the time of the point surrounded by the alternate long and short dash line in FIG.
  • the recovery time of the heart rate from the second peak can be obtained.
  • the recovery time of the heart rate from the second peak can also be calculated by calculating the difference between the maximum heart rate P2 and the heart rate of the baseline BL and dividing the difference between them by the slope of the approximate function.
  • FIG. 13 is a diagram illustrating an example of a method of calculating the feature amount (5).
  • FIG. 13 is a graph of changes in heart rate before and after the start of a meal. The vertical axis shown in FIG. 13 indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time) immediately before the start of the meal. ).
  • the pre-meal heart rate is a heart rate that takes the lowest value among the heart rates measured before the meal start time Ts, and is extracted from the heart rate data. Can be derived from the above. At this time, a period such as 60 minutes can be adopted as an example of a section that goes back before the meal start time Ts. Further, the pre-meal area can be obtained by summing up the increase in the heart rate from the pre-meal heart rate in the section before the meal start time Ts. Here, the case where the area is calculated by summing up the increase width of the heart rate is illustrated, but the area may be obtained by calculating the average value of the increase width of the heart rate.
  • the increase in heart rate due to meal and other factors can be discriminated, and as a result, a decrease in the estimation accuracy of meal time can be suppressed. Furthermore, since it is not always necessary to use information other than the heart rate data for calculating the feature amount, it can be calculated without using sensors other than the heart rate sensor. That is, if it is added on the assumption that the heart rate sensor does not necessarily have to be used alone, maintenance of the estimation accuracy of the meal time can be realized by the heart rate sensor alone.
  • the first reason is that a change in heart rate due to digestive activity, that is, a feature amount that can be evaluated whether the meal is included or not including the second peak region A2, is used for estimating the meal time. Is mentioned. Furthermore, the second reason is that the feature amount representing the recovery change of the heart rate, that is, the recovery speed and the recovery time are used for the estimation of the meal time. The estimation of meal time using other feature amounts including these two points is not even assumed in the above-described conventional meal determination.
  • the meal time estimation method it is possible to exert an advantageous effect that cannot be achieved by the above-described conventional meal determination, that is, an effect that it is possible to suppress a decrease in the estimation accuracy of the meal time by the heart rate sensor alone. .
  • the sensor terminal 10 includes a heart rate data acquisition unit 11, an acceleration data acquisition unit 12, an exercise period determination unit 13, a noise heart rate removal unit 14, a window data creation unit 15, and features. It has the quantity calculation part 16, the eating operation
  • the sensor terminal 10 may include a functional unit included in a known computer other than the functional unit illustrated in FIG. 1. For example, when a terminal device, a wearable gadget, or a portable terminal device dedicated to healthcare is executed as the sensor terminal 10, it goes without saying that the hardware and software that are standard equipment of these devices can be implemented.
  • the heart rate data acquisition unit 11 is a processing unit that acquires the above heart rate data.
  • the heart rate data acquisition unit 11 controls the heart rate sensor to cause the heart rate sensor to sense the heart rate at a predetermined sampling period.
  • the heart rate data acquisition unit 11 acquires time-series data of the heart rate sensed by the heart rate sensor for each sampling point as heart rate data.
  • data associated with items such as time and heart rate can be employed.
  • the “time” mentioned here may be a system time locally managed on the sensor terminal 10, for example, an elapsed time from an arbitrary start point, or expressed by a calendar calendar such as year / month / day / hour / hour / minute / second. It does not matter if it is time to be played.
  • the “heart rate” is expressed as a heart rate per unit time. For example, when the unit time is 1 minute, the heart rate is expressed in bpm (beats per minute) or the like. When the unit time is 1 second, the heart rate is expressed in Hz.
  • the heart rate data acquired in this way may be output to the functional unit at the subsequent stage every time the heart rate is sensed, or accumulated for a predetermined period, for example, 12 hours or 1 day, and then the subsequent stage. It may be output to the function part of.
  • the acceleration data acquisition unit 12 is a processing unit that acquires the acceleration data.
  • the acceleration data acquisition unit 12 controls the acceleration sensor to cause the acceleration sensor to sense acceleration in three axes, that is, up, down, left, and right, front and rear, at a predetermined sampling period. Thereby, the acceleration data acquisition unit 12 acquires time-series data of acceleration in the vertical and horizontal directions sensed by the acceleration sensor for each sampling point as acceleration data.
  • acceleration data for example, data in which items such as time and acceleration are associated can be employed.
  • the “time” mentioned here may be a system time locally managed on the sensor terminal 10, for example, an elapsed time from an arbitrary start point, as well as the above heart rate data. It may be a time expressed in a calendar on the calendar.
  • the “acceleration” can include three-axis accelerations in the vertical direction, the horizontal direction, and the front-back direction.
  • the acceleration in one direction among the three axes is limited to be used in the subsequent function unit, the acceleration in the direction not used in the subsequent function unit can be removed from the acceleration data.
  • the acceleration sensor can adopt the same sampling cycle as that of the heart rate sensor, or can adopt a different sampling cycle.
  • the acceleration data acquired in this way may be output to the subsequent function unit every time acceleration is sensed, or after being accumulated for a predetermined period, for example, 12 hours or one day, the latter function. It may be output to the department.
  • the exercise period determination unit 13 is a processing unit that determines the exercise period.
  • the “exercise period” here refers to a period in which exercise such as walking, running, and climbing stairs is assumed.
  • the acceleration data acquired by the acceleration data acquisition unit 12 for determining the exercise period is Used.
  • the exercise period determination unit 13 uses at least the vertical direction acceleration, that is, the acceleration in the gravity direction, among the accelerations included in the acceleration data acquired by the acceleration data acquisition unit 12 for the determination of the exercise period.
  • the reason why acceleration in the direction of gravity is used in this way is that when a motion such as walking, running, and climbing stairs is performed, the acceleration changes in a specific pattern and the pattern appears periodically.
  • FIG. 14 is a diagram showing an example of acceleration data.
  • FIG. 14 shows a change in acceleration in the vertical direction extracted from the acceleration sensed by the acceleration sensor during exercise.
  • the vertical axis shown in FIG. 14 indicates acceleration in the gravitational direction, and the horizontal axis indicates time.
  • an example of a pattern of acceleration change measured during exercise is surrounded by a broken line in a rectangular shape. Note that the acceleration in the gravity direction shown in FIG. 14 is measured in a state where the sensor terminal 10 equipped with the acceleration sensor is mounted on the chest of the user.
  • the exercise period determination unit 13 detects the ascending and descending patterns shown in FIG. 14 from the acceleration in the gravitational direction acquired by the acceleration data acquiring unit 12. Then, the exercise period determination unit 13 determines whether or not the interval at which the pattern appears is within a predetermined period. At this time, when the interval at which the pattern appears is within a predetermined period, the section in which the pattern appears repeatedly within the predetermined period is determined as the exercise period.
  • the determination of the exercise period as an example, the user performs an exercise activity while the sensor terminal 10 is worn, and the above pattern is obtained by experimentally collecting the acceleration change accompanying the exercise activity. A threshold for discriminating ascent and descent from the degree of ascent and descent formed can be set.
  • the predetermined period can also be determined from the values that appear experimentally for the intervals at which the patterns appear.
  • movement period can also be expressed by the start time of the exercise
  • the noise heart rate removing unit 14 is a processing unit that removes a section in which the heart rate is estimated to change due to noise other than meals from the above heart rate data.
  • the noise heart rate removing unit 14 affects the time-series change of the heart rate acquired by the heart rate data acquiring unit 11 and changes in heart rate due to exercise activity, during a meal period or after a meal period.
  • the heart rate noise change that occurs unspecified is specified.
  • the noise heart rate removing unit 14 uses the time series of the heart rate acquired by the heart rate data acquiring unit 11 to increase the heart rate due to the specified athletic activity, and to determine the heart rate that occurs unspecified during the meal period or the post-meal period. Remove heart rate data detected by noise change.
  • FIG. 15 is a diagram illustrating an example of a method for removing a noise heart rate.
  • FIG. 15 is a graph showing heart rate data including changes in heart rate associated with meals and changes in heart rate associated with exercise.
  • the vertical axis indicates heart rate per unit time, and the horizontal axis indicates meals.
  • the elapsed time (time) from just before the start.
  • (1) in FIG. 15 shows a section corresponding to the exercise period in the heart rate data by a right-downward filling.
  • FIG. 15 shows a change in heart rate without an increase and recovery change in heart rate due to exercise, that is, a change in heart rate in a meal alone with a broken line with an arrow.
  • the change in the heart rate due to exercise is superimposed on the change in the heart rate associated with the meal, so that the characteristic amount related to the second peak, such as the amplitude, the rising speed and the recovery speed, and the characteristics such as the rising time and the recovery time are also included.
  • the quantity is indexed with a larger value than when no movement is involved. As a result, it is assumed that heart rate changes accompanying exercise have an adverse effect on the estimation of meal times.
  • the heart rate of Px is calculated as the amplitude of the second peak, that is, the maximum heart rate. Further, as shown by a solid line with an arrow in FIG. 15, a feature amount related to the second peak, such as an ascending speed and a recovery speed, from It is assumed that rise time and recovery time are calculated.
  • the noise heart rate removing unit 14 includes the heart rate data acquired by the heart rate data acquiring unit 11 in order to suppress the change in the heart rate associated with exercise from adversely affecting the estimation of the meal time.
  • the section corresponding to the exercise period determined by the exercise period determination unit 13 is removed.
  • the noise heart rate removing unit 14 adds not only the section corresponding to the exercise period but also, as an example, by adding a certain period from the exercise end time to the recovery of the heart rate increased by the exercise to the exercise end time. It is also possible to obtain a removal period including a recovery change in the heart rate after exercise, and to remove a section corresponding to the removal period from the heart rate data. As an example, during a certain period added to the exercise end time, it is possible to set an individual user time by performing an experiment to measure a recovery change after exercise, or set a time common to all users as a default value.
  • FIG. 15 (3) shows heart rate data obtained by removing the section corresponding to the removal period from the heart rate data shown in FIG. 15 (1), and the removal period is rectangular with a broken line. It is shown surrounded by As shown in (3) of FIG. 15, by removing the section corresponding to the removal period from the heart rate data, for example, the heart rate associated with the meal without being affected by the increase in the heart rate due to exercise and the change in recovery. It is possible to calculate the feature quantity of the number change.
  • the change of the heart rate in a meal alone tends to change along the relative lower limit of the heart rate. For this reason, for example, a comparison is made of the heart rate before and after in time series, and the change point where the difference value of the heart rate between before and after is equal to or greater than a predetermined threshold or less than the predetermined threshold is identified and identified by the change point It is permissible to set the removal period as the removal period.
  • FIG. 16 is a diagram illustrating an example of a method for calculating a removal period based on a change point.
  • FIG. 16 shows a graph relating to changes in heart rate, where the vertical axis indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time).
  • the changing point at which the heart rate rapidly rises and falls is indicated by a solid line surrounded by a circle.
  • the noise heart rate removing unit 14 compares the heart rates before and after the time series. As a result, as shown in (1) of FIG. 16, a change point at which the difference value of the heart rate between before and after becomes a predetermined threshold value or more or a predetermined threshold value or less is specified. Subsequently, the noise heart rate removing unit 14 assigns an identification number for identifying the change point to the specified change point, for example. Then, for example, when the heart rate between before and after in the time series is equal to or greater than a predetermined value, the noise heart rate removing unit 14 changes the preceding heart rate in the time series and the time information at which the heart rate is measured. It is stored in an internal memory (not shown) in association with the identification number assigned to the point.
  • the noise heart rate removing unit 14 for example, when the heart rate between before and after in the time series is equal to or less than a predetermined value, the subsequent heart rate and the time information at which the heart rate is measured in the time series Are stored in the internal memory in association with the identification number assigned to the change point.
  • the noise heart rate removing unit 14 determines, for example, the time information associated with the change point at which the difference value of the heart rate between before and after becomes a predetermined threshold or more and the difference value of the heart rate between before and after.
  • the removal period is specified from the time information associated with the changing point that is equal to or less than the predetermined threshold.
  • a case is assumed in which change points at which the difference value of the heart rate values is equal to or greater than a predetermined threshold value are continuously detected in time series. In the case where the change points where the difference value of the heart rate is equal to or greater than the predetermined threshold value continue on the time series, for example, the change point that precedes the time series or is associated with the change point is low.
  • the “start time” of the removal period may be used.
  • a change point at which the difference value of the heart rate is equal to or less than a predetermined threshold value is continuously detected on the time series, for example, it is followed on the time series or A change point with a low associated heart rate may be set as the “end time” of the removal period.
  • FIG. 16 (2) shows a graph in which the heart rate corresponding to the removal period is removed from the heart rate data shown in FIG. 16 (1).
  • the removal period is shown in a state surrounded by a rectangle by a broken line.
  • a feature amount of heart rate change can be calculated. For example, it is possible to remove heart rate data such as noise such as a rise change and a recovery change of a heart rate that occurs unspecified during a meal period or a post-meal period.
  • the window data creation unit 15 is a processing unit that creates window data.
  • window data refers to partial data obtained by cutting out a part of the heart rate data.
  • the window data creation unit 15 sets a window having a predetermined length of time, for example, 210 minutes, in the heart rate data after the removal by the noise heart rate removal unit 14 is performed. Subsequently, the window data creation unit 15 cuts out partial data corresponding to the section in which the window is set. Thereafter, the window data creation unit 15 shifts the previously set window over a predetermined shift width, for example, 5 minutes. Then, the window data creation unit 15 cuts out partial data corresponding to the shifted window. As described above, each time the partial data is cut out by the window width, the window data is created and output to the subsequent function unit.
  • a predetermined length of time for example, 210 minutes
  • FIG. 17 is a diagram showing an example of a window data creation method.
  • FIG. 17 shows a graph relating to changes in heart rate, where the vertical axis indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time). For example, when window data creation is started by matching the start time of the window with the start time of the heart rate data, sliding of the window is repeatedly executed until the end time of the window matches the end time of the heart rate data. It will be.
  • FIG. 17 shows, as an example, window data i created from the i-th set window and window data i + 1 created from the i + 1-th window.
  • the i + 1th window is set by shifting the ith set window over a predetermined shift width, for example, 5 minutes. Then, window data i + 1 is created by cutting out a section corresponding to the i + 1-th window from the heart rate data. Such sliding processing is repeatedly executed until the end time of the window matches the end time of the heart rate data.
  • a predetermined shift width for example, 5 minutes.
  • the feature amount calculation unit 16 is a processing unit that calculates a feature amount of a heartbeat associated with a meal.
  • the feature amount calculation unit 16 can calculate the above-described five types and 14 feature amounts for each window data created by the window data creation unit 15. At this time, for example, the feature amount calculation unit 16 sets a period from the start time of the window data illustrated in FIG. 17 to a predetermined period, for example, a period of 60 minutes before the meal, and a predetermined time after the start time of the window data. The feature amount is calculated as the “meal start time”. For example, the feature amount calculation unit 16 can calculate the area S1 of the first peak region A1 and the area S2 of the second peak region A2 as the feature amount (1).
  • the feature amount calculation unit 16 uses, as the feature amount (2), the rate of increase in the heart rate until reaching the first peak, the recovery rate of the heart rate from the first peak, and the heart rate until reaching the second peak. The rate of increase of the number and the recovery rate of the heart rate from the second peak can be calculated. Further, the feature quantity calculation unit 16 can calculate the amplitude of the first peak and the amplitude of the second peak as the feature quantity (3). Further, the feature amount calculation unit 16 uses the above-described feature amount (4) as the heart rate rise time to the first peak, the heart rate recovery time from the first peak, and the heart rate rise time to the second peak. And the recovery time of the heart rate from the second peak can be calculated. Further, the feature quantity calculation unit 16 can calculate the pre-meal heart rate and the pre-meal area as the feature quantity (5).
  • the eating operation determination unit 17 is a processing unit that determines the eating operation.
  • the “feeding operation” referred to here refers to an operation performed for the purpose of eating, and includes, for example, an operation of bringing food into the mouth.
  • the eating operation determination unit 17 uses at least one direction of acceleration included in the acceleration data acquired by the acceleration data acquisition unit 12 for the determination of the above eating operation. For example, when the sensor terminal 10 is worn on the chest, acceleration in the front-rear direction can be used. The reason why the longitudinal acceleration is used when the sensor terminal 10 is mounted on the chest in this manner is that the movement of food to the mouth appears as a reciprocating motion in the longitudinal direction.
  • FIG. 18 is a diagram showing an example of acceleration data.
  • FIG. 18 shows an excerpt of the change in the longitudinal acceleration among the accelerations sensed by the acceleration sensor.
  • the vertical axis shown in FIG. 18 indicates acceleration in the front-rear direction, and the horizontal axis indicates time.
  • an example of an acceleration change pattern corresponding to the reciprocating motion in the front-rear direction accompanying the feeding operation is surrounded by a broken line in a rectangular shape. It is assumed that the longitudinal acceleration shown in FIG. 18 is measured in a state where the sensor terminal 10 equipped with the acceleration sensor is mounted on the chest of the user.
  • the feeding operation determination unit 17 detects the downward and upward patterns shown in FIG. 18 from the longitudinal acceleration acquired by the acceleration data acquisition unit 12.
  • the feeding operation determining unit 17 as an example, for each of the back-and-forth reciprocating patterns corresponding to the feeding operation with respect to an internal memory (not shown)
  • the duration of the reciprocating motion is stored from the descent start time and the rise end time forming the pattern, or the descent start time.
  • the communication I / F unit 18 is an interface that performs communication control with other devices such as the server device 100.
  • a network interface card such as a LAN card can be adopted as the communication I / F unit 18.
  • the communication I / F unit 18 includes the feature amount calculated for each window data by the feature amount calculation unit 16 and the feeding operation information determined by the feeding operation determination unit 17, for example, a descent that forms a pattern Are transmitted to the server apparatus 100. Further, the communication I / F unit 18 receives the estimation result of the meal time, the diagnosis result using the meal time, and the like in addition to specifying the type and number of feature quantities to be calculated.
  • the functional part can be implemented as follows.
  • the above-mentioned heart rate data acquisition unit 11, acceleration data acquisition unit 12, exercise period determination unit 13, noise heart rate removal unit 14, window data creation unit 15, This can be realized by deploying and executing a process that exhibits the same function as the feature amount calculation unit 16 and the feeding operation determination unit 17 on the memory.
  • These functional units are not necessarily executed by the central processing unit, and may be executed by an MPU (Micro Processing Unit).
  • Each of the above functional units can be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • RAM Random Access Memory
  • flash memory can be adopted as the main storage device used by each of the functional units described above.
  • the storage device referred to by each of the functional units is not necessarily a main storage device, and may be an auxiliary storage device.
  • HDD Hard Disk Drive
  • optical disk optical disk
  • SSD Solid State Drive
  • the server device 100 includes a communication I / F unit 110, a feature amount storage unit 120, a model creation unit 130, a first determination unit 140, a second determination unit 150, and a service providing unit. 160.
  • the server apparatus 100 may include a functional unit included in a known computer, for example, various input / output devices, in addition to the functional unit illustrated in FIG.
  • the communication I / F unit 110 is an interface that performs communication control with other devices such as the sensor terminal 10.
  • a network interface card such as a LAN card can be adopted as the communication I / F unit 110.
  • the communication I / F unit 110 receives a feature amount for each window data, and feeding operation information from the sensor terminal 10.
  • the communication I / F unit 110 transmits an estimation result of a meal time, a diagnosis result using the meal time, and the like.
  • the feature amount storage unit 120 is a storage unit that stores a heart rate feature amount related to a meal.
  • the feature amount storage unit 120 corresponds to the window data for each set of feature amounts calculated from common window data as teacher data.
  • a correct class indicating whether or not the user has eaten a section is stored in association with the section.
  • the feature quantity storage unit 120 can store a set of an arbitrary type and an arbitrary number of feature quantities among the above-described five types and 14 feature quantities for one window data.
  • the “class” either a meal class or a non-meal class is stored in the feature amount storage unit 120.
  • the model creation unit 130 is a processing unit that creates a meal estimation model.
  • the model creation unit 130 illustrates a case where a support vector machine is used as an example of a machine learning algorithm.
  • the output value of the meal estimation model is a kernel using the support vector as an argument as shown in the following equation (1). Expressed as a weighted sum of functions.
  • “Y” in the above equation (1) indicates an output value of the meal estimation model.
  • “X” indicates a feature vector observed by the sensor terminal 10.
  • “X (support) ” indicates a feature vector located in the vicinity of the classification boundary of the class classification among the feature vectors stored in advance as teacher data in the feature storage unit 120, that is, a so-called support vector.
  • “C i ” indicates a weight given to the support vector.
  • “ ⁇ ” indicates a function parameter.
  • “I + ” in Equation (1) represents an index set of support vectors of the class “meal”
  • “I ⁇ ” represents an index set of support vectors of the class “non-meal”.
  • a support vector machine is illustrated as an example of machine learning, but any other algorithm such as boosting or neural network can be applied.
  • the model creation unit 130 creates a meal estimation model by specifying the support vector x (support) and its weight c by applying an optimization algorithm in the support vector machine.
  • FIG. 19 is a diagram illustrating an example of the identification boundary.
  • FIG. 19 illustrates a two-dimensional vector space in which two feature quantities of feature quantities are extracted as explanatory variables. However, the number of dimensions corresponding to the number of feature quantities used in the meal estimation model is illustrated. The meaning of the vector space is the same.
  • the feature value vector whose class is “meal” is indicated by ⁇
  • the feature value vector whose class is “non-meal” is indicated by x
  • the feature vector located at is surrounded by a solid line in a circle.
  • the margin width of the identification boundary for classifying the class “meal” and the class “non-meal” using the feature vector near the identification boundary is the maximum.
  • the weight c given to each support vector in the above equation (1) is learned.
  • the 1st determination part 140 is a process part which determines whether the area corresponding to each window data is a meal or a non-meal using said meal estimation model.
  • the first determination unit 140 applies the feature amount of the window data to the meal estimation model created by the model creation unit 130 for each feature amount of the window data received from the sensor terminal 10. The presence / absence of a meal in the window data is determined. For example, the first determination unit 140 substitutes the feature amount vector observed by the sensor terminal 10 for the above equation (1). As a result, an output value of the meal estimation model that takes values from ⁇ 1 to +1 is obtained. At this time, if the output value of the meal estimation model is a predetermined threshold, for example, zero or more, the first determination unit 140 classifies the window data into the class “meal”.
  • a predetermined threshold for example, zero or more
  • the first determination unit 140 classifies the window data into the class “non-meal”. In this way, the presence or absence of a meal is determined for each window data.
  • the second determination unit 150 is a processing unit that further determines whether or not a meal has been performed using the window data determined to be a meal by the first determination unit 140 using the eating operation information detected from the acceleration data. .
  • the second determination unit 150 has the above-mentioned pattern of eating operation within a predetermined section of the window data determined by the first determination unit 140 as a meal, that is, a section from the meal start time to 20 minutes. It is determined whether or not a predetermined number of times is included. That is, when a meal is performed, it is rare that the action of bringing food into the mouth is a small number such as once or twice, and it is more likely to be repeated a certain number of times. From this, the second determination unit 150 does not immediately determine a meal because the first determination unit 140 determines that it is a meal, but if the window data is 10 times or more, for example, Determined to fall under a meal. On the other hand, when the predetermined number of feeding operations are not included in the predetermined section of the window data, the second determination unit 150 determines that the window data corresponds to non-meal.
  • the second determination unit 150 specifies a meal time, for example, a meal start time, from the window data determined to correspond to a meal.
  • a meal time for example, a meal start time
  • the second determination unit 150 can also specify the time when the pre-meal section is removed from the window data as the meal start time, and the pattern corresponding to the feeding operation within the predetermined section of the window data is the first. It is also possible to specify the time detected at 1 as the meal start time.
  • the 2nd determination part 150 does not necessarily need to specify only a meal start time, and can also specify a meal end time.
  • the second determination unit 150 can specify a certain time from the meal start time, for example, 15 minutes, 30 minutes, or 1 hour later as the meal end time, and also the feeding operation within a predetermined section of the window data It is also possible to specify the time when the pattern corresponding to is last detected as the meal end time. At least one of the meal start time, the meal end time, or a combination thereof specified in this way is output to the service providing unit 160.
  • the service providing unit 160 is a processing unit that provides the above health care support service.
  • the service providing unit 160 records or records at least one of a meal time, for example, a meal start time, a meal end time, or a meal start time and a meal end time. Generate a list of meal times from a meal time for a specified period, for example, a week, and output it, or analyze various dietary habits or diets from the meal times recorded so far and give various advice. Or output.
  • a meal time for example, a meal start time, a meal end time, or a meal start time and a meal end time.
  • FIGS. 20 and 21 are diagrams illustrating an example of a healthcare support service.
  • FIG. 20 shows an output example when lifestyle monitoring is performed
  • FIG. 21 shows an output example when lifestyle analysis for dieting is performed.
  • the display layouts shown in FIGS. 20 and 21 are merely examples, and it is needless to say that the display layouts are not limited to the examples shown in FIGS.
  • the time table regarding the lifestyle of the day can be displayed for each day included in one week.
  • attributes related to lifestyle habits for example, time periods when the lifestyle habits are performed for each meal, exercise, and sleep can be displayed.
  • advice on lifestyle habits including meals can be displayed. For example, if you get an analysis result about your lifestyle habits such as without breakfast, eating before sleep, lack of exercise, etc., as shown in Fig. 20, "Let's get a habit of having breakfast", “Eat dinner early” It is possible to display advice such as “Let's exercise” or “Let's exercise”.
  • information such as body weight can be further combined to enable analysis to promote dieting. That is, as shown in FIG. 21, a time table regarding the lifestyle of the day can be displayed for each day included in one week. Furthermore, as shown in FIG. 21, advice for promoting dieting can also be displayed. For example, when an excessive number of meals or a meal before sleep is obtained as an analysis result corresponding to the cause of obesity, the following display can be realized. For example, as shown in FIG. 21, messages such as “the number of meals is large” and “the number of meals before sleep” can be displayed as the cause of weight gain. Furthermore, as countermeasures, messages such as “breakfast and regular eating habits” and “mealing before sleep can be difficult to digest and cause obesity. Let's have dinner early.” it can.
  • the functional units such as the model creation unit 130, the first determination unit 140, the second determination unit 150, and the service providing unit 160 described above can be implemented as follows. For example, by causing a central processing unit or the like to develop and execute a process that exhibits the same functions as the model creation unit 130, the first determination unit 140, the second determination unit 150, and the service providing unit 160 on a memory. realizable. These functional units are not necessarily executed by the central processing unit, but may be executed by the MPU. Each of the above functional units can also be realized by hard wired logic.
  • each functional unit including the feature amount storage unit 120 as an example.
  • the storage device referred to by each of the functional units is not necessarily a main storage device, and may be an auxiliary storage device. In this case, an HDD, an optical disk, an SSD, or the like can be employed.
  • FIG. 22 is a diagram illustrating an example of heart rate data.
  • FIG. 23 is a diagram illustrating an example of acceleration data.
  • FIG. 22 shows heart rate data sensed at a 30-second cycle
  • FIG. 23 shows acceleration data sensed at a 0.1-second cycle.
  • the determination of the exercise period and the determination of the feeding operation are executed.
  • the ascending and descending patterns shown in FIG. 14 are detected from the acceleration in the gravity direction among the accelerations included in the acceleration data shown in FIG.
  • the section in which the pattern appears repeatedly within the predetermined period is determined as the exercise period.
  • the back-and-forth reciprocation pattern corresponding to the feeding operation from the acceleration in the front-rear direction among the accelerations included in the acceleration data shown in FIG. 23, that is, the descending and rising patterns shown in FIG. is detected. Then, every time a back and forth pattern corresponding to the feeding operation is detected, it is determined that the feeding operation has been performed once.
  • FIG. 24 is a diagram illustrating an example of a correspondence table between the heart rate, the number of eating operations, and the exercise period.
  • the acceleration data is sensed at a period of 0.1 second, and in accordance with 30 seconds, which is the sampling period of the heart rate data, FIG. 24 shows the number of feeding operations and the exercise period every 30 seconds.
  • the record of the number of times of eating shown in FIG. 24 stores the cumulative value of the number of times the back and forth reciprocating pattern corresponding to the eating behavior has been detected in 30 seconds.
  • “1” is set when the exercise period is included in 30 seconds, while “0” is set when the exercise period is not included.
  • 24 shows the section from 11:00:00 to 11:00:30 on September 2, the section from 12:41:30 to 12:42:00 on the same day, The section from 12:42:00 to 12:42:30, the section from 12:42:30 to 12:43:00 on the same day, and 15:42:00 to 15:00 on the same day
  • the section up to 42 minutes and 30 seconds is shown as an excerpt, but it goes without saying that the values of the heart rate, the number of eating operations and the exercise period are also stored in the other sections. In the following, a description will be given by identifying the column of the section by the start time of the section among the start time and end time of the section.
  • FIG. 25 is a diagram illustrating an example of removing a noise heart rate.
  • the upper part of FIG. 25 shows a correspondence management table before noise heart rate removal, while the lower part of FIG. 25 shows a correspondence management table after noise heart rate removal.
  • the correspondence management tables shown in the upper and lower stages of FIG. 25 are the same as those shown in FIG. 24, but the sections in which the heart rate, the number of feeding operations and the exercise period are extracted are partially different.
  • the column of 12:26:00 corresponds to the exercise start time
  • the column of 12:33:00 corresponds to the exercise end time. That is, it means that the period from 12:26:00 to 12:33:00 is the exercise period.
  • the removal period is determined from the column of 12:26:00 to the column of 12:38, in which a predetermined time, for example, 5 minutes is added to the exercise end time.
  • the heart rate of the portion corresponding to the removal period is removed as a noise heart rate to be in a blank state.
  • window data creation is started by setting the window start time to 11:00:00, which is the start time of the heart rate data. For example, assuming that the window width is 210 minutes, a heart rate data string from 11:00:00 to 14:30:00 is extracted as window data.
  • the next second window is set by shifting the window set to the window data “1” over a predetermined shift width, for example, 5 minutes. . That is, the window data “2” is created by matching the window start time to the heart rate data of 11:05:00. Thereafter, the sliding process is repeatedly executed until the end time of the window coincides with 23:55:00, which is the end time of the heart rate data.
  • FIG. 26 is a diagram illustrating an example of a window data extraction result.
  • FIG. 26 shows M pieces of window data from window data “1” to window data “M”.
  • “T1” to “TN” shown in FIG. 26 indicate a data string of heart rate included in each window data.
  • the start time of the window data is 11:10:00 on September 2, and the end time is 14:40:00 on September 2. It means that.
  • the meal start time is 11:40:00 on September 2.
  • the heart rate is measured as 62.5, 59.2,..., 63.2 every 30 seconds from 11:10:00.
  • FIG. 27 is a diagram illustrating an example of window data.
  • the first peak area, the second peak area, the second peak recovery speed, the second peak rising speed, and the first peak amplitude are obtained as the above-described feature amounts from the heart rate series included in the i-th window data.
  • the case of obtaining the second peak amplitude, the pre-meal heart rate, and the pre-meal area is illustrated.
  • the i-th window data has a start time and an end time of 12:12:00 and 15:42:00, and the meal start time is 30 minutes after the start time of the window data. It is 12:42:00.
  • the heart rate baseline and the pre-meal heart rate are determined from the heart rate series included in the window data of the number “i”. For example, the heart rate measured at the meal start time of the window data among the heart rate series included in the window data of the number “i” is determined as the “baseline”. Furthermore, the heart rate having the lowest value in the range from the start time of the window data to the meal start time among the heart rate series included in the window data of the number “i” is determined as “pre-meal heart rate”.
  • FIG. 28 is a diagram illustrating an example of a method for determining a pre-meal heart rate. As shown in the upper part of FIG.
  • the pre-meal heart rate is determined from the heart rate included in the range from the start time of the window data to the meal start time in the heart rate series included in the window data of number “i”. . That is, as shown in the lower part of FIG. 28, the heart rate having the lowest value “59.0” is determined as the pre-meal heart rate.
  • FIG. 29 is a diagram illustrating an example of a feature amount calculation process.
  • FIG. 30 is a diagram illustrating an example of window data. The upper part of FIG. 29 shows the heart rate series and the increase width included in the window data of number “i”, and the lower part of FIG. 29 shows the pre-meal heart rate among the feature quantities related to the window data of number “i”. The calculation results of the number, the first peak area, the second peak area, and the pre-meal area are shown.
  • the heart rate series included in the window data of number “i” is graphed, the vertical axis indicates the heart rate per unit time, and the horizontal axis indicates the elapsed time (time). Point to.
  • the window data of the number “i” from the window data start time “12:12:00” to immediately before the meal start time, that is, “12:41:30”
  • the period is assumed to be the pre-meal period.
  • a period from a meal start time “12:42:00” to a predetermined time, for example, 15 minutes later, that is, “12:56:30” is assumed to be a meal period.
  • a period from the end time “12:57:00” of the meal time to the end time “15:42:00” of the window data is assumed to be a post-meal period.
  • the difference between the heart rate included in the first half of the meal and the pre-meal heart rate is calculated for each time.
  • the increase rate of the heart rate from the pre-meal heart rate is calculated for each time included in the first half of the meal. For example, in the case of the time “12:12:00”, the increase width “2.8” is obtained by subtracting the pre-meal heart rate “59.0” from the heart rate “61.8” measured at that time. Is calculated.
  • the pre-meal area shown in FIG. 3.1 " As a result, as shown in the lower part of FIG. 29, “3.1” is stored as the value of the pre-meal area.
  • a difference is calculated for each time between the heart rate included in the meal period Ta1 and the pre-meal heart rate.
  • the increase rate of the heart rate from the pre-meal heart rate is calculated for each time included in the meal period Ta1.
  • the increase rate “12.3” is obtained by subtracting the pre-meal heart rate “59.0” from the heart rate “71.3” measured at that time. Is calculated.
  • the first peak area shown in FIG. 30 is obtained by calculating the average of the heart rate increase at each time. “17.3” is obtained.
  • “17.3” is stored as the value of the first peak area.
  • a difference is calculated for each time between the heart rate included in the post-meal period Ta2 and the pre-meal heart rate.
  • the increase in heart rate from the pre-meal heart rate is calculated for each time included in the post-meal period Ta2.
  • the increase width “16.3” is obtained by subtracting the pre-meal heart rate “59.0” from the heart rate “75.3” measured at that time. Is calculated.
  • the second peak area shown in FIG. 30 is obtained by calculating the average of the heart rate increase at each time. “16.2” is obtained.
  • “16.2” is stored as the value of the second peak area.
  • FIG. 31 is a diagram illustrating an example of a feature amount calculation process.
  • a heart rate data string included in the meal period Ta1 is extracted from the window data of the number “i”, and the lower part of FIG. 31 relates to the window data of the number “i”.
  • the calculation result of the amplitude of the first peak is further shown.
  • FIG. 32 is a diagram illustrating an example of a feature amount calculation process.
  • the heart rate data string included in the post-meal period Ta2 is extracted from the window data of the number “i”, and the lower part of FIG. 32 relates to the window data of the number “i”.
  • the calculation result of the second peak amplitude is further shown.
  • FIG. 33 is a diagram illustrating an example of a feature amount calculation process.
  • the heart rate data string included in the post-meal period Ta2 is extracted from the window data of the number “i”, and the window of the number “i” is shown in the bottom stage of FIG.
  • the calculation result of the rising speed of the second peak is further calculated It is shown.
  • the start time of the post-meal period Ta2 in other words, the end time “12:57:00” of the meal period Ta1 is used as the start point, and the maximum heart rate P2 of the second peak is measured.
  • a period whose end point is the time “13:19:00” is set as the approximation target period Ta2_P2.
  • the rate of rise of the second peak is calculated by performing function approximation using the heart rate data string included in the approximation target period Ta2_P2.
  • a data string to be approximated is obtained by obtaining a combination of the slope parameter ⁇ and the intercept parameter ⁇ that minimizes the approximation error at each time included in the data string to be approximated. Function approximation suitable for.
  • FIG. 34 is a diagram illustrating an example of the approximation error.
  • a heart rate data string included in the approximate target period Ta2_P2 in the window data of the number “i” is plotted on the graph with ⁇ marks, and the vertical axis of the graph indicates the heart rate per unit time.
  • the horizontal axis indicates the elapsed time (time).
  • the time “t1” shown in FIG. 34 indicates, for example, the start time of the post-meal period Ta2, and the time “tN” indicates the time when the maximum heart rate P2 is measured.
  • an approximation error of the heart rate at each time that is, a slope that minimizes the sum of squares of ⁇ yi ⁇ ( ⁇ ti + ⁇ ) ⁇ .
  • a combination of the parameter ⁇ and the intercept parameter ⁇ may be obtained.
  • “ ⁇ ” indicates the slope parameter of the approximate function
  • “ ⁇ ” indicates the intercept parameter of the approximate function.
  • Yi indicates the i-th heart rate
  • ti indicates the i-th time
  • “N” indicates the number of data to be approximated.
  • the slope parameter ⁇ is obtained as “17.1 (bpm / hour)”, and the intercept parameter ⁇ is obtained as “66.9 ( bpm / hour) ”.
  • the slope parameter ⁇ “17.1” obtained in this way is stored as the rising speed of the second peak.
  • FIG. 35 is a diagram illustrating an example of a feature amount calculation process. 35, the heart rate data string included in the post-meal period Ta2 is extracted from the window data of the number “i”, and the window of the number “i” is shown in the bottom stage of FIG. Among the features related to data, in addition to the pre-meal heart rate, the first peak area, the second peak area, the pre-meal area, the first peak amplitude, the second peak amplitude, and the second peak rise rate, The calculation result of the recovery speed is further shown.
  • the second peak is recovered by performing function approximation using the heart rate data string included in the approximation target period TP2_a2.
  • the speed is calculated. That is, when an approximate function suitable for the heart rate data string included in the approximation target period TP2_a2 is obtained, the slope parameter that minimizes the approximation error of the heart rate at each time, that is, the sum of squares of ⁇ yi ⁇ ( ⁇ ti + ⁇ ) ⁇ . What is necessary is just to obtain
  • the slope parameter ⁇ is obtained as “ ⁇ 6.4 (bpm / hour)”, and the intercept parameter ⁇ is “83. 9 (bpm / hour) ". Then, as shown in the lowermost stage of FIG. 35, the slope parameter ⁇ “ ⁇ 6.4” is stored as the recovery speed of the second peak.
  • the first peak area, the second peak area, the second peak recovery speed, the second peak rising speed, and the first peak amplitude are obtained as the above-described feature amounts.
  • the second peak amplitude, the pre-meal heart rate, and the pre-meal area are obtained.
  • FIG. 36 is a diagram illustrating an example of an observation feature quantity list
  • FIG. 37 is a diagram illustrating an example of a feeding operation frequency list. As shown in FIG. 36, the first peak area, the second peak area, the second peak recovery rate, the second peak rise rate, the first peak calculated for each window data from the number “1” to the number “M”.
  • An observation feature quantity list in which the amplitude, the second peak amplitude, the pre-meal heart rate, and the pre-meal area are listed is transmitted from the sensor terminal 10 to the server device 100. Furthermore, as shown in FIG. 37, a feeding operation frequency list in which the number of eating operations at each time from the start time of the heart rate data to the end time of the heart rate data is listed is transmitted from the sensor terminal 10 to the server device 100. Is done.
  • the server apparatus 100 applies the optimization algorithm in the support vector machine using the feature quantity vector stored in advance as teacher data in the feature quantity storage unit 120, thereby supporting vector x (support). And the meal estimation model is created by specifying the weight c.
  • FIG. 38 is a diagram showing an example of teacher data.
  • FIG. 39 is a diagram illustrating an example of a meal estimation model.
  • the teacher data includes the first peak area, the second peak area, the second peak recovery speed, the second peak rising speed, the first peak amplitude, the second peak amplitude, and the pre-meal for each window data.
  • This is data with a correct answer in which the meal class of the window data is associated with each feature amount such as the heart rate and the area before meal.
  • the meal class shown in FIG. 38 is “ ⁇ ”
  • the window Indicates that the data feature is classified as “non-meal”.
  • a meal estimation model shown in FIG. 39 is obtained. In the case of the meal estimation model shown in FIG. 39, this means that there are L support vectors “1” to “L” located near the classification boundary of the class classification. For example, the support vector “1” is assigned a weight “0.42”, and the support vector “L” is assigned a weight “0.11”.
  • FIG. 40 is a diagram illustrating an example of an estimation result of the presence / absence of a meal.
  • the output value of the meal estimation model and the estimation result of the presence / absence of a meal are added to the observed feature quantity list shown in FIG.
  • the window data of number “1” to number “M” among the window data extracted in FIG. 40, only the output value “0.87” of the window data of number “m” is greater than or equal to zero. It turns out that it is classified into "meal”.
  • FIG. 41 is a diagram illustrating an example of meal determination using the number of times of eating operation. The meal determination result is shown on the left side of FIG. 41, the feeding operation frequency list is shown in the center of FIG. 41, and the determination result is shown on the right side of FIG. As shown in FIG. 41, in the meal determination by the meal estimation model, the window data of the number “m” is classified into the class “meal”.
  • a predetermined number of times for example, 10 times or more of the number of eating operations is detected in a predetermined period, for example, 20 minutes from the meal start time of the window data of the number “m”.
  • a predetermined period for example, 20 minutes from the meal start time of the window data of the number “m”.
  • the window data of the number “m” is determined to be a meal.
  • FIG. 42 is a flowchart illustrating an overall flow procedure according to the first embodiment. As an example, this process is started when heart rate data and acceleration data are acquired over a predetermined time length, for example, 12 hours or one day.
  • the exercise period determination unit 13 is as follows. Perform appropriate processing. That is, the exercise period determination unit 13 uses the acceleration in the gravitational direction in the acceleration data acquired in step S101 to exercise an interval in which intervals between ascending and descending patterns corresponding to the exercise repeatedly appear within a predetermined period. The period is determined (step S102).
  • the eating operation determination unit 17 determines a back-and-forth reciprocating pattern corresponding to the eating operation using the longitudinal acceleration of the acceleration data acquired in step S101 (step S103).
  • the noise heart rate removing unit 14 removes a section corresponding to the removal period obtained by adding a certain period to the exercise period determined in Step S102 from the heart rate data acquired in Step S101 (Step S104).
  • the window data creation unit 15 adds a window having a predetermined time length to the heart rate data removed in step S104 with a predetermined shift width, and the window end time coincides with the heart rate data end time. By cutting out the partial data in the window while shifting until it is done, window data in which the heart rate data is segmented is created (step S105).
  • the feature quantity calculation unit 16 selects one window data from the window data created in step S105 (step S106). Subsequently, the feature amount calculation unit 16 uses the window data selected in step S106 to calculate at least one of the feature amount (1) to the feature amount (5) or a combination thereof. Calculation processing is executed (step S107).
  • step S105 After that, until all the window data created in step S105 are selected (No in step S108), the feature amount calculation unit 16 repeatedly executes the processes in steps S106 and S107 described above.
  • step S108 If all the window data created in step S105 is selected (step S108 Yes), the communication I / F unit 18 of the sensor terminal 10 determines the feature amount calculated for each window data in step S107, and step The feeding operation information determined in S103, for example, the descent start time and the rise end time forming a back-and-forth back-and-forth pattern corresponding to the feeding operation are transmitted to the server device 100 (step S109).
  • the model creation unit 130 of the server device 100 uses the feature amount with correct answer stored as the teacher data in the feature amount storage unit 120 to identify the support vector x (support) and its weight c, thereby providing a meal.
  • An estimation model is created (step S110).
  • the first determination unit 140 outputs output by substituting the feature amount of the window data into the meal estimation model created in step S110.
  • the presence / absence of a meal in the window data is determined based on whether the value is equal to or greater than a predetermined threshold (step S111). Note that if the window data received from the sensor terminal 10 does not include the window data classified into meals in step S111 (No in step S112), the process ends.
  • the second determination unit 150 executes the following process. That is, the second determination unit 150 determines a predetermined back-and-forth pattern corresponding to the above feeding operation in a predetermined section of the window data determined to be a meal in step S111, that is, a section from the meal start time to 20 minutes. It is determined whether or not it is included more than the number of times (step S113). In addition, also when the pattern of the back-and-forth back and forth corresponding to feeding operation is not contained more than the predetermined number (step S113 No), a process is complete
  • the second determination unit 150 specifies at least one of the meal time, that is, the meal start time, the meal end time, or a combination thereof from the window data (step S114).
  • the service providing unit 160 records the meal time specified in step S114, generates a list of meal time zones over a predetermined period from the meal time recorded so far, and outputs it.
  • a health care support service is provided by performing an analysis on eating habits or diet from the recorded meal time and outputting various advices (step S115), and the process ends.
  • FIG. 43 is a flowchart showing the procedure of feature quantity (1) calculation processing. This process is a process corresponding to step S107, and can be executed in parallel with the calculation process of the feature amount (2) to the feature amount (5), regardless of the destination of each other. It can also be executed in any order.
  • the feature quantity calculation unit 16 derives the heart rate measured at the meal start time Ts included in the window data as a baseline (step S201). Subsequently, the feature amount calculation unit 16 starts at the meal start time Ts, and the baseline derived in step S201 in the meal period Ta1 with the heart rate recovering to the baseline BL through the first peak is the end point.
  • the area S1 of the first peak region A1 is obtained by summing up or averaging the increments of the heart rate from BL (step S202).
  • the feature amount calculation unit 16 sets the end point of the meal period Ta1 of the first peak area A1 or the time after the end point as the start point, and the time when the heart rate has recovered to the baseline BL through the second peak as the end point.
  • the area S2 of the second peak region A2 is calculated by summing up or averaging the increments of the heart rate from the baseline BL derived in step S201 (step S203), and the process is terminated.
  • a value of the heart rate at each time a value obtained by moving and averaging heart rates in time zones before and after that time may be used.
  • the area of the first peak area A1 and the area of the second peak area A2 are calculated as the feature quantity (1).
  • FIG. 44 is a flowchart showing the procedure of feature quantity (2) computation processing. This process is a process corresponding to step S107, and can be executed in parallel with the calculation process of the feature quantity (1) and the feature quantity (3) to the feature quantity (5). It can also be executed in any order regardless of the destination.
  • the feature amount calculation unit 16 specifies the time at which the first peak maximum heart rate P1 having the maximum heart rate among the heart rates measured during the meal period Ta1 was measured (step S301). ).
  • the feature amount calculation unit 16 sets the period from the meal start time Ts to the measurement time of the maximum heart rate P1 specified in step S301 as the approximate target period Ts_P1, and the heart rate data string included in the approximate target period Ts_P1.
  • the rising speed of the first peak is calculated (step S302).
  • the feature amount calculation unit 16 sets the period from the measurement time of the first peak maximum heart rate P1 to the elapse of a certain period after the end of the meal as the approximate target period Ta1_P1, and the heart rate included in the approximate target period Ta1_P1.
  • the recovery speed of the first peak is calculated (step S303).
  • the feature amount calculation unit 16 specifies the time when the second peak maximum heart rate P2 having the maximum heart rate among the heart rates measured in the post-meal period Ta2 is measured (step S304).
  • the feature amount calculation unit 16 sets the period from the start time of the post-meal period Ta2 to the measurement time of the maximum heart rate P2 of the second peak specified in step S304 as the approximate target period Ta2_P2, and is included in the approximate target period Ta2_P2
  • the rate of increase of the second peak is calculated by performing function approximation on the data string of the heart rate to be obtained (step S305).
  • the feature amount calculating unit 16 sets the period from the measurement time of the second peak maximum heart rate P2 to the end time of the postprandial period Ta2 as the approximate target period TP2_a2, and adds it to the heart rate data string included in the approximate target period TP2_a2.
  • the recovery speed of the second peak is calculated (step S306), and the process ends.
  • the rate of increase in heart rate until reaching the first peak the rate of recovery of heart rate from the first peak, the rate of increase in heart rate until reaching the second peak, and A recovery rate of the heart rate from the second peak is calculated.
  • FIG. 45 is a flowchart showing the procedure of feature quantity (3) computation processing. This process is a process corresponding to step S107, and is executed in parallel with the calculation process of feature quantity (1) to feature quantity (2) and feature quantity (4) to feature quantity (5). They can also be executed in any order, regardless of whether they are after each other.
  • the feature amount calculation unit 16 derives the first peak maximum heart rate P1 having the maximum heart rate out of the heart rates measured during the meal period Ta1 (step S401). Further, the feature amount calculation unit 16 derives the second peak maximum heart rate P2 having the maximum heart rate among the heart rates measured in the post-meal period Ta2 (step S402), and ends the process.
  • the amplitude of the first peak and the amplitude of the second peak are calculated as the feature quantity (3).
  • FIG. 46 is a flowchart showing the procedure of feature quantity (4) computation processing. This process is a process corresponding to step S107, and can be executed in parallel between the calculation processes of the feature quantity (1) to the feature quantity (3) and the feature quantity (5). It can also be executed in any order regardless of the destination.
  • the feature amount calculation unit 16 specifies the time at which the first peak maximum heart rate P1 having the maximum heart rate among the heart rates measured during the meal period Ta1 was measured (step S501). ).
  • the feature amount calculation unit 16 sets the time from the start time of the meal period Ta1, that is, the meal start time Ts to the measurement time of the maximum heart rate P1 of the first peak derived in step S501 as the rise time of the first peak. Calculate (step S502).
  • the feature amount calculation unit 16 sets the period from the measurement time of the first peak maximum heart rate P1 to the elapse of a certain period after the end of the meal as the approximate target period Ta1_P1, and the heart rate included in the approximate target period Ta1_P1
  • the recovery rate of the first peak is calculated by performing function approximation on the data string (step S503).
  • the feature amount calculation unit 16 calculates the elapsed time until the recovery rate of the first peak calculated in step S503, that is, the heart rate that changes at the slope of the approximation function reaches the heart rate of the baseline BL.
  • the recovery time of one peak is calculated (step S504).
  • the feature amount calculation unit 16 specifies the time when the second peak maximum heart rate P2 having the maximum heart rate among the heart rates measured in the post-meal period Ta2 is measured (step S505).
  • the feature amount calculating unit 16 sets the time from the start time of the meal period Ta1, that is, the meal start time Ts to the measurement time of the maximum heart rate P2 of the second peak specified in step S505 as the rise time of the second peak. Calculate (step S506).
  • the feature amount calculation unit 16 sets the period from the measurement time of the second peak maximum heart rate P2 to the end time of the postprandial period Ta2 as the approximate target period TP2_a2, and the heart rate data string included in the approximate target period TP2_a2 By performing function approximation on the second peak, the second peak recovery rate is calculated (step S507).
  • the feature amount calculation unit 16 calculates the elapsed time until the recovery speed of the second peak calculated in step S507, that is, the heart rate changing at the slope of the approximate function reaches the heart rate of the baseline BL, as the second peak.
  • the recovery time is calculated (step S508), and the process ends.
  • the heart rate rise time to the first peak the heart rate recovery time from the first peak
  • the heart rate rise time to the second peak the heart rate rise time to the second peak
  • the second The recovery time of the heart rate from the peak is calculated.
  • FIG. 47 is a flowchart showing the procedure of feature quantity (5) calculation processing. This process is a process corresponding to step S107, and can be executed in parallel with the calculation process of the feature quantity (1) to the feature quantity (4), regardless of the destination of each other. It can also be executed in any order.
  • the feature amount calculation unit 16 derives a heart rate that takes the lowest value among the heart rates measured in the pre-meal period from the start time of the window data to the start time of the meal as the pre-meal heart rate. (Step S601).
  • the feature amount calculation unit 16 calculates the pre-meal area by totaling or averaging the increments of the heart rate from the pre-meal heart rate in the pre-meal period from the start time of the window data to the start time of the meal. Calculation is performed (step S602), and the process ends.
  • the pre-meal heart rate and the pre-meal area are calculated as the feature amount (5).
  • the health care support system 1 when estimating the meal time from the time-series data of the heart rate, the second that appears after the first peak that appears before the start of the meal. A feature amount related to the peak is calculated and used to estimate the meal time. Therefore, according to the healthcare support system 1 according to the present embodiment, it is possible to suppress a decrease in the accuracy of meal determination.
  • the healthcare support system 1 calculates a feature value related to a recovery change in the heart rate as a feature value of the first peak and the second peak that appear after the start of the meal, and uses the feature value to estimate the meal time. Therefore, according to the healthcare support system 1 according to the present embodiment, it is possible to suppress a decrease in the accuracy of meal determination.
  • the meal time is estimated using the heart rate increase width of the first peak, while in the present embodiment, the meal time is estimated using the above-described five types and 14 feature quantities.
  • the correct answer rate of the class classification of “meal” and “non-meal” between the existing technology and the present embodiment that is, the number of window data correct by the class classification / the number of all window data Compare.
  • the average correct answer rate was “49.2%” in the existing technique, it was found as an experimental result that the average correct answer rate was “98.4%” in this example.
  • the average accuracy rate is about twice as high as that of the existing technology, it can be said that there are advantageous effects compared to the existing technology.
  • the server device 100 is included in the healthcare support system 1, but the server device 100 is not necessarily included.
  • various processes other than the acquisition of heart rate data such as determination of exercise periods, It is also possible to execute eating action determination, feature quantity calculation, and meal time estimation.
  • the server device 100 can output the end time of the post-meal period Ta2 and the recovery time of the second peak as the recommended time for the next meal. Thereby, when digestion activity is complete
  • the biological information can be used together with the heart rate for estimating the meal time.
  • examples include increased body temperature, skin temperature, increased respiration rate, increased blood pressure, increased sweating, increased blood sugar level, increased body weight, increased chest or abdominal circumference, increased saliva volume, (after meals) sleepiness
  • at least one of a change in the amount of pigment in the mouth or tongue, or a combination thereof can be used for estimation of meal time.
  • the motion information can be used together with the heart rate to estimate the meal time.
  • the motion information can be used together with the heart rate to estimate the meal time. For example, at least one or a combination of movement of the entire face, movement of the mouth, movement of the head or upper body, movement of the arm when lifting food, movement of the stomach, intestine or esophagus, leaning posture, etc. Can be used together to estimate meal times.
  • voice information can be used together with the heart rate for estimation of meal time.
  • a mastication sound a swallowing sound, a roaring sound, a sound of a food utensil, or a combination thereof can be used in combination for estimation of a meal time.
  • Text information for example, a mail related to a meal act, a bulletin board, or a keyword of posted information can be used in combination with estimation of meal time together with heart rate.
  • the surrounding environment information can be used together with the heart rate to estimate the meal time.
  • a position detection that is in a meal-specific place stored level, room level, table level
  • an image detection that the food is in an image for example, an image taken in wearable
  • an event that smells of food An event that smells of exhalation, an event that smells in the mouth
  • an event that the tableware silica etc.
  • the ambient illuminance threshold It is possible to use at least one of a brighter event or a combination thereof for estimating the meal time.
  • the pre-meal behavior pattern can be used together with the heart rate in estimating the meal time.
  • cooking habits use of gas, water, use of cooking utensils
  • hand washing, shopping increase in the number of ingredients and / or weight of the refrigerator
  • chewing sounds, swallowing sounds, and squeaking after a previous meal time At least one of a sound, a sound of a food utensil, or a combination thereof can be used in combination for estimation of meal time.
  • the action pattern during a meal can be used together with the heart rate in estimating the meal time.
  • the habit of often wearing a TV the habit of taking off your jacket well, the habit of being with other people, the habit of talking, the habit of eating at a specified time, the habit of taking photos during meals, meetings
  • the post-meal behavior pattern can be used together with the heart rate in estimating the meal time.
  • eat at least one of a habit of often going to the toilet after a predetermined time after eating, a habit of sleeping well after eating, a habit of reducing electronic money after eating, a habit of loosening the belt well after eating, etc. Can be used together with time estimation.
  • FIG. 48 is a diagram illustrating a hardware configuration example of a computer that executes the meal estimation program according to the first embodiment and the second embodiment.
  • the computer 1000 includes an operation unit 1100a, a speaker 1100b, a camera 1100c, a display 1200, and a communication unit 1300. Further, the computer 1000 includes a CPU 1500, a ROM 1600, an HDD 1700, and a RAM 1800. These units 1100 to 1800 are connected via a bus 1400.
  • the HDD 1700 has a heart rate data acquisition unit 11, an acceleration data acquisition unit 12, an exercise period determination unit 13, a noise heart rate removal unit 14, and a window data generation unit 15 shown in the first embodiment.
  • Meal estimation program 16, eating operation determination unit 17, model creation unit 130, first determination unit 140, second determination unit 150, and meal estimation program 1700 a that performs the same functions as service provision unit 160 are stored.
  • This meal estimation program 1700a may be integrated or separated as with each component of each functional unit shown in FIG. In other words, the HDD 1700 does not necessarily store all the data shown in the first embodiment, and the HDD 1700 may store data used for processing.
  • the CPU 1500 reads out the meal estimation program 1700a from the HDD 1700 and develops it in the RAM 1800.
  • the meal estimation program 1700a functions as a meal estimation process 1800a as shown in FIG.
  • the meal estimation process 1800a expands various data read from the HDD 1700 in an area allocated to the meal estimation process 1800a in the storage area of the RAM 1800, and executes various processes using the expanded various data.
  • the processes shown in FIGS. 42 to 47 are included as an example of the processes executed by the meal estimation process 1800a.
  • the CPU 1500 does not necessarily operate all the processing units described in the first embodiment, and it is only necessary to virtually realize a processing unit corresponding to a process to be executed.
  • the meal estimation program 1700a does not necessarily have to be stored in the HDD 1700 or the ROM 1600 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 1000, so-called FD, CD-ROM, DVD disk, magneto-optical disk, IC card or the like.
  • the computer 1000 may acquire and execute each program from these portable physical media.
  • Each program is stored in another computer or server device connected to the computer 1000 via a public line, the Internet, a LAN, a WAN, etc., and the computer 1000 acquires and executes each program from these. It may be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Nutrition Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

　ヘルスケア支援システム（１）は、心拍数の時系列データを取得し、心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出し、部分データごとに算出された第２ピークに関する特徴量を用いて、部分データにおける食事の有無を判定し、食事が有りと判定された部分データから食事時刻を推定する。

Description

食事推定プログラム、食事推定方法及び食事推定装置
　本発明は、食事推定プログラム、食事推定方法及び食事推定装置に関する。
　メタボリック症候群や糖尿病を始めとする生活習慣病の予防や、ダイエット、医療サービスなどのヘルスケアが注目されている。かかるヘルスケアを行う場合には、日頃の運動や食事などの生活習慣を記録することにより、自己の生活習慣の問題点に気付き、改善していくプロセスが求められる。
　例えば、「食事」に関する予防策として、下記の通り、「いつ」、「何を」、「どれだけ」などの食事のコントロール方法が挙げられている。具体的には、規則正しく三食を摂る（いつ）、朝食をとる（いつ）、バランス良く栄養をとる（何を）、カロリーを摂取し過ぎない（どれだけ）、塩分は控える（何を）といった項目が挙げられている。
　ここで、例えば、「いつ」食べたのかという記録があれば、不規則な食習慣を検知し、予防のアドバイスを提供するなどのサービスを実施することもできる。
　例えば、食事判定を行う技術の一例として、食行動検知システム、発話・飲食状態検出システムや食行動検出装置などが提案されている。例えば、食行動検知システムでは、食物摂取の際の、腕を上げて降ろす動作を加速度センサを用いて検出することにより、食事判定を行う。また、発話・飲食状態検出システムでは、物を食べる際に咀嚼する事を利用し、体内音の咀嚼特有の周波数パターンを検出する。また、食行動検出装置の場合、食卓上などに赤外線センサを設置した状況の下、食卓付近で人体を検出した後に人体が頻繁に動いているかどうかを閾値処理する。
　ところが、これらの技術のいずれにおいても、食事行動を推定するために、食事の仕方が制限されたり、あるいは食事行動を推定する場所に制約があったりするので、汎用性に欠ける面がある。例えば、食行動検知システムで想定される加速度の傾向は、あくまでも食物摂取時になされる腕の動作の一面にしか対応しておらず、それ以外の腕の動作がなされる場合には加速度の傾向が異なるので、検出漏れが発生する。また、発話・飲食状態検出システムの場合、食事時にマイクを首に装着させることになるので、身体に負担がかかり、かつ見栄えも悪くなってしまう。また、食行動検出装置の場合、赤外線センサが設置された場所などように、固定された環境での食事しか認識することはできない。
　また、食事判定に脈波を用いる技術の一例として、生活管理端末装置も提案されている。この生活管理端末装置では、食事時に起る咀嚼特徴が現れることに加え、脈拍数が上昇し、かつ皮膚導電率に急激な上昇がない場合に食事中であると判断する。
特開２０１１－１１５５０８号公報 特開２０１２－６１７９０号公報 特開２００４－８１４７１号公報 特開２０１０－１５８２６７号公報 特開２００７－４８１８０号公報 特表平１０－５０４７３９号公報 特開２００３－１７３３７５号公報
甫足　創，松田　裕司，柳井　啓司　「候補領域推定による複数品目に対応した食事画像認識」画像の認識・理解シンポジウム（MIRU11）　２０１１年７月　http://img.cs.uec.ac.jp/pub/conf11/110720hoashi_0.pdf
　しかしながら、上記の技術では、次に説明するように、食事判定に誤判定が起こる場合がある。
　すなわち、上記の生活管理端末装置では、食事判定に皮膚導電率が用いられる。かかる皮膚導電率は、発汗時等にその計測精度が低下するので、食事判定にも誤判定が発生する可能性が高まる。また、上記の生活管理端末において皮膚導電率を用いずに脈拍数だけを用いたとしても、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などにより脈拍数が上昇するので、この場合にも誤判定が起こる。
　１つの側面では、本発明は、食事判定の精度低下を抑制できる食事推定プログラム、食事推定方法及び食事推定装置を提供することを目的とする。
　一態様の食事推定プログラムは、コンピュータに、心拍数の時系列データを取得し、前記心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出し、前記部分データごとに算出された第２ピークに関する特徴量を用いて、前記部分データにおける食事の有無を判定し、前記食事が有りと判定された部分データから食事時刻を推定する処理を実行させる。
　食事判定の精度低下を抑制できる。
図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。 図２は、心拍数データの一例を示す図である。 図３は、心拍数データの一例を示す図である。 図４は、心拍数データの一例を示す図である。 図５は、特徴量（１）の算出方法の一例を示す図である。 図６は、特徴量（２）の算出方法の一例を示す図である。 図７は、特徴量（２）の算出方法の一例を示す図である。 図８は、特徴量（２）の算出方法の一例を示す図である。 図９は、特徴量（２）の算出方法の一例を示す図である。 図１０は、特徴量（３）の算出方法の一例を示す図である。 図１１は、特徴量（４）の算出方法の一例を示す図である。 図１２は、特徴量（４）の算出方法の一例を示す図である。 図１３は、特徴量（５）の算出方法の一例を示す図である。 図１４は、加速度データの一例を示す図である。 図１５は、ノイズ心拍数の除去方法の一例を示す図である。 図１６は、変化点による除去期間の算出方法の一例を示す図である。 図１７は、窓データの作成方法の一例を示す図である。 図１８は、加速度データの一例を示す図である。 図１９は、識別境界の一例を示す図である。 図２０は、ヘルスケア支援サービスの一例を示す図である。 図２１は、ヘルスケア支援サービスの一例を示す図である。 図２２は、心拍数データの一例を示す図である。 図２３は、加速度データの一例を示す図である。 図２４は、心拍数と摂食動作回数及び運動期間との対応関係表の一例を示す図である。 図２５は、ノイズ心拍数の除去例を示す図である。 図２６は、窓データの抽出結果の一例を示す図である。 図２７は、窓データの一例を示す図である。 図２８は、食事前心拍数の決定方法の一例を示す図である。 図２９は、特徴量の算出過程の一例を示す図である。 図３０は、窓データの一例を示す図である。 図３１は、特徴量の算出過程の一例を示す図である。 図３２は、特徴量の算出過程の一例を示す図である。 図３３は、特徴量の算出過程の一例を示す図である。 図３４は、近似誤差の一例を示す図である。 図３５は、特徴量の算出過程の一例を示す図である。 図３６は、観測特徴量リストの一例を示す図である。 図３７は、摂食動作回数リストの一例を示す図である。 図３８は、教師データの一例を示す図である。 図３９は、食事推定モデルの一例を示す図である。 図４０は、食事有無の推定結果の一例を示す図である。 図４１は、摂食動作回数リストを用いる食事判定の一例を示す図である。 図４２は、実施例１に係る全体フローの手順を示すフローチャートである。 図４３は、特徴量（１）の算出処理の手順を示すフローチャートである。 図４４は、特徴量（２）の算出処理の手順を示すフローチャートである。 図４５は、特徴量（３）の算出処理の手順を示すフローチャートである。 図４６は、特徴量（４）の算出処理の手順を示すフローチャートである。 図４７は、特徴量（５）の算出処理の手順を示すフローチャートである。 図４８は、実施例１及び実施例２に係る食事推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。
　以下に添付図面を参照して本願に係る食事推定プログラム、食事推定方法及び食事推定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成］
　図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。図１に示すヘルスケア支援システム１は、各種のヘルスケア支援サービスを提供するものである。例えば、ヘルスケア支援サービスの一例として、センサ端末１０により採取されたセンシングデータを用いてセンサ端末１０のユーザの生活行動、例えば食事時刻を記録するサービス、さらには、その記録を活用する派生のサービスなどが挙げられる。
　かかるヘルスケア支援サービスの一環として、ヘルスケア支援システム１は、心拍数の時系列データからユーザの食事時刻を推定する場合に、食事開始後に現れる２つの心拍数変化のピークに関する特徴量を用いる。これによって、例えば、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などによって心拍数が上昇する場面で食事時刻が推定されるのを抑制し、もって食事時刻の誤判定を抑制する。
　以下では、上記２つの心拍数変化のピークのうち食事開始後に先行して出現するピークのことを「第１ピーク」と記載すると共に、第１ピークに後続して出現するピークのことを「第２ピーク」と記載する場合がある。
　図１に示すように、ヘルスケア支援システム１には、センサ端末１０と、サーバ装置１００とが収容される。なお、図１には、センサ端末が１つである場合を図示したが、ヘルスケア支援システム１には、複数のセンサ端末が収容されることとしてもかまわない。
　これらセンサ端末１０及びサーバ装置１００の間は、ネットワーク５を介して相互に通信可能に接続される。かかるネットワーク５には、有線または無線を問わず、ＬＡＮ（Local　Area　Network）やＶＰＮ（Virtual　Private　Network）などの構内通信網を始め、インターネット（Internet）などの任意の種類の通信網を採用できる。
　センサ端末１０は、センサを実装する端末装置である。
　一実施形態として、センサ端末１０には、ヘルスケア専用の端末装置、スマートグラスやスマートウォッチ等のウェアラブルガジェット、さらには、携帯端末装置などを採用できる。なお、携帯端末装置には、スマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。
　かかるセンサ端末１０には、少なくとも心拍センサが実装される。この心拍センサを用いて、センサ端末１０は、例えば、センサ端末１０を利用するユーザの単位時間当たりの心拍数を検出する。このように心拍センサを用いてセンシングされる心拍数の時系列データは、特徴量の算出や食事開始時刻の推定に用いられる。以下では、心拍センサを用いてセンシングされる心拍数の時系列データのことを「心拍数データ」と記載する場合がある。かかる心拍センサ以外にも、センサ端末１０には、加速度センサを実装することもできる。この加速度センサには、一例として、３軸の加速度センサを採用することができる。このように加速度センサを用いてセンシングされる３軸の加速度の時系列データ、すなわちセンサ端末１０の上下左右前後の加速度変化は、センサ端末１０を使用するユーザが歩行、昇降や走行などの運動状態を検出するのに用いられる。これによって、加速度の時系列データは、心拍数の時系列データから運動状態が継続する運動期間を除去するのに寄与する。以下では、加速度センサを用いてセンシングされる加速度の時系列データのことを「加速度データ」と記載する場合がある。なお、ここでは、一例として、心拍センサ及び加速度センサを例示したが、ジャイロセンサやＧＰＳ（Global　Positioning　System）受信機などの他のセンサが実装されることを妨げない。
　このように心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用することができる。例えば光電脈波センサによる脈拍を採用することも出来る。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。さらに、必ずしも心拍数を検出する心拍センサがセンサ端末１０に実装されずともよく、心電信号を検出する心電センサがセンサ端末１０に実装されることとしてもかまわない。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、ＲＦ（Radio　Frequency）モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。
　ここで、センサ端末１０からサーバ装置１００へは、上記の心拍数データから求められた特徴量と、上記の加速度データとがユーザの識別情報、例えばセンサ端末１０のマシン名やシリアル番号などが対応付けられた状態で伝送される。このように特徴量をセンサ端末１０に算出させるのは、ネットワークへ送出されるデータ量を低減すると共に、伝送時に個人情報である心拍数データが第三者に公開される事態を抑制するためである。なお、ここでは、センサ端末１０からサーバ装置１００へ特徴量が伝送される場合を例示したが、センサ端末１０に心拍数データを送出させることによりサーバ装置１００に特徴量を算出させることとしてもかまわない。
　サーバ装置１００は、上記のヘルスケア支援サービスを提供するコンピュータである。
　一実施形態として、サーバ装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する食事時刻の推定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１００は、上記のヘルスケア支援サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のヘルスケア支援サービスを提供するクラウドとして実装することとしてもかまわない。
　例えば、サーバ装置１００は、センサ端末１０から受け付けた特徴量を用いて、センサ端末１０のユーザの食事時刻を推定する。その上で、サーバ装置１００は、食事時刻を記録したり、それまでに記録された食事時刻から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。例えば、センサ端末１０が表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを有する場合、上記の各種の情報をセンサ端末１０の出力デバイスを介して出力させることができる。また、情報の出力先は、必ずしもセンサ端末１０でなくともよく、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。
　以下では、本実施例に係るヘルスケア支援システム１で食事時刻の推定に用いる特徴量について説明してから、本実施例に係るヘルスケア支援システム１に含まれる各装置の機能的構成について説明することとする。
［特徴量］
　図２は、心拍数データの一例を示す図である。図２には、一例として、食事開始前後の心拍数の変化がグラフ化されている。図２に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　図２に示すように、食事に伴って食事開始後に発生する心拍数の変化には、時間経過に伴って心拍数が上昇（増加）して下降（減少）に転ずる２つのピークが存在する。すなわち、食事開始時刻Ｔｓから時間経過に伴って、食事開始後に先行して出現する心拍数変化のピークである「第１ピーク」と、第１ピークに後続して出現する心拍数変化のピークである「第２ピーク」とが出現する。なお、以下では、第１ピークの部分の波形を含む所定の領域のことを「第１ピーク領域Ａ１」と記載し、第２ピークの部分の波形を含む所定の領域のことを「第２ピーク領域Ａ２」と記載する場合がある。
　このうち、「第１ピーク」は、食事行為に伴う心拍上昇であり、例えば、食道の蠕動運動に起因する心拍数上昇と推定される。また、「第２ピーク」は、例えば、食事行為により摂取された摂取物、すなわち食物等に対する消化器官（胃腸等）内の消化活動に起因する心拍数上昇と推定される。
　このように、食事後には、第１ピークが現れた後に第２ピークが現れ、かつ第１ピークよりも第２ピークの方が長期間にわたる傾向にある。このような傾向を食事とそれ以外の要因による心拍上昇を弁別するために、下記の（１）～（５）に示す通り、第１ピークまたは第２ピークに関する特徴量を定義する。
　図３及び図４は、心拍数データの一例を示す図である。これら図３及び図４には、食事開始前後の心拍数の変化がグラフ化されており、図３及び図４に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。このうち、図３には、特徴量（１）、（３）及び（５）が図示される一方で、図４には、特徴量（２）及び（４）が図示されている。なお、図３に示す「ＢＬ」は、心拍数のベースラインを指す。かかるベースラインＢＬは、食事を原因とする心拍数の上昇幅を求めるための基準値である。これは、ユーザが食事を行う場面の各々で心拍数が同一の値をとるとは限らないので、心拍数の絶対値の代わりに、心拍数の上昇幅を用いて特徴量を求めることにより、食事が摂取される各場面で心拍数がばらつくことによって食事時刻の推定精度が低下するのを抑制するために用いられる。例えば、ベースラインの心拍数の値として、食事開始時刻Ｔｓの心拍数を用いることができる他、ユーザの食事開始前の３０分間、１時間等の所定期間の心拍数の平均値、食事開始時刻Ｔｓの心拍数、第１ピークと第２ピークとの間で最小となる心拍数を採用できる。
　例えば、（１）面積、（２）速度、（３）振幅、（４）時間および（５）食事前などの５つの観点から、心拍数の変化の原因が食事である尤もらしさを表す特徴量を定義できる。なお、ここでは、５つの特徴量を例示したが、必ずしも全ての特徴量を食事時刻の推定に用いずともよく、５つの特徴量のうち少なくともいずれか１つの特徴量を用いることにより食事時刻を推定できる。
　すなわち、図３に示すように、第１ピーク領域Ａ１の面積、及び、第２ピーク領域Ａ２の面積が特徴量（１）として定義される。また、図４に示すように、第１ピークへ至るまでの心拍数の上昇速度、第２ピークへ至るまでの心拍数の上昇速度、第１ピークからの心拍数の回復速度、及び、第２ピークからの心拍数の回復速度が特徴量（２）として定義される。また、図３に示すように、第１ピークを形成する波形のうち心拍数が最大の値をとる最大心拍数Ｐ１、及び、第２ピークを形成する波形のうち心拍数が最大の値をとる最大心拍数Ｐ２が特徴量（３）として定義される。また、図４に示すように、食事開始時刻Ｔｓを始点としたとき、最大心拍数Ｐ１が計測される時刻を終点とする経過時間ｔ１、最大心拍数Ｐ１を経た心拍数が所定値まで回復する時刻を終点とする経過時間ｔ２、最大心拍数Ｐ２が計測される時刻を終点とする経過時間ｔ３、及び、最大心拍数Ｐ２を経た心拍数が所定値まで回復する時刻を終点とする経過時間ｔ４が特徴量（４）として定義される。また、図３に示すように、食事開始時刻Ｔｓ以前に計測される心拍数のうち最低の値をとる食事前心拍数と、食事開始時刻Ｔｓ以前の区間で食事前心拍数からベースラインＢＬまでの心拍数の上昇幅により形成される領域の面積とが特徴量（５）として定義される。なお、以下では、上記の上昇速度および上記の回復速度を総称して「応答速度」と記載する場合がある。
　以下では、上記５つの特徴量、すなわち（１）面積、（２）速度、（３）振幅、（４）時間および（５）食事前についてその算出方法を説明する。
（１）面積
　図５は、特徴量（１）の算出方法の一例を示す図である。図５には、食事開始前後の心拍数の変化がグラフ化されており、図５に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　上記の特徴量（１）のうち、第１ピーク領域Ａ１の面積Ｓ１は、図５に示すように、食事期間Ｔａ１においてベースラインＢＬからの心拍数の上昇幅を合計することにより求めることができる。なお、ここでは、心拍数の上昇幅を合計することにより面積を算出する場合を例示したが、心拍数の上昇幅の平均値を算出することにより面積を求めることとしてもかまわない。
　例えば、食事期間Ｔａ１には、図５に破線で示すように、食事開始時刻Ｔｓを始点とし、心拍数が第１ピークを経てベースラインＢＬまで回復した時刻を終点とする区間が設定される。ここで、第１ピーク付近における心拍数の変動は、ユーザの蠕動運動に影響を受ける。例えば、蠕動運動が長引く場合、心拍数が第１ピークを過ぎた後にベースラインＢＬまで回復しないケースも想定され得る。このことから、食事期間Ｔａ１の終点は、第１ピークと第２ピークとの区間における最小の心拍数をとる時刻とすることもできる。また、食事期間Ｔａ１の終点は、食事開始時刻Ｔｓから一定期間、例えば１０分間や２０分間などにわたって経過した時刻とすることもできる。なお、上記の一定期間は、一例として、蠕動運動の所要時間の統計値を基準に決定することができる。
　一方、第２ピーク領域Ａ２の面積Ｓ２は、一例として、食後期間Ｔａ２においてベースラインＢＬからの心拍数の上昇幅を合計することにより求めることができる。
　例えば、食後期間Ｔａ２には、第１ピーク領域Ａ１の食事期間Ｔａ１の終点もしくはその終点よりも後の時刻を始点とし、心拍数が第２ピークを経てベースラインＢＬまで回復した時刻を終点とする区間が設定される。ここで、第２ピークにおける心拍数の変動は、消化器官内の消化活動に影響を受ける。例えば、消化活動が長引く場合、心拍数が第２ピークを過ぎた後にベースラインＢＬまで回復しないケースも想定され得る。このことから、食後期間Ｔａ２の終点は、食後期間Ｔａ２の始点から一定期間、例えば２４０分間にわたって経過した時刻とすることもできる。なお、上記の一定期間は、一例として、消化活動の所要時間の統計値を基準に決定することができる。
　なお、ここでは、第１ピーク領域Ａ１の面積Ｓ１及び第２ピーク領域Ａ２の面積Ｓ２がベースラインＢＬからの心拍数の上昇幅から算出される場合を例示したが、これに限らず、食事前心拍数からの上昇幅から算出することとしてもかまわない。
（２）速度
　図６～図９は、特徴量（２）の算出方法の一例を示す図である。これら図６～図９の縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。このうち、図６及び図７には、食事開始後に計測される心拍数の波形のうち第１ピーク付近の波形がクローズアップされて図示される一方で、図８及び図９には、第２ピーク付近の波形がクローズアップされて図示されている。なお、図６及び図７では、心拍数の波形のうち食事期間Ｔａ１に対応する区間が破線で囲われる一方で、図８及び図９では、心拍数の波形のうち食後期間Ｔａ２に対応する区間が破線で囲われている。
　上記の特徴量（２）のうち、第１ピークへ至るまでの心拍数の上昇速度は、例えば、食事開始時刻Ｔｓを始点とし、食事期間Ｔａ１で最大心拍数Ｐ１が計測された時刻を終点とする期間で観測される心拍数の上昇変化から算出できる。具体的には、図６に示すように、食事開始時刻Ｔｓから最大心拍数Ｐ１が計測された時刻までの期間を「近似対象期間Ｔｓ＿Ｐ１」に設定し、図６に一点鎖線で示された近似対象期間Ｔｓ＿Ｐ１に含まれる心拍数のデータ列に対し、一次関数等による関数近似を行う。これによって、近似対象期間Ｔｓ＿Ｐ１の心拍数の推移に近似された近似式の傾きを求める。かかる傾きは、近似対象期間Ｔｓ＿Ｐ１内の心拍数の上昇速度と等価であるので、これを第１ピークの上昇速度として用いることができる。
　これと同様に、第１ピークからの心拍数の回復速度についても算出することができる。例えば、食事期間Ｔａ１で最大心拍数Ｐ１が計測された時刻から、食事終了後の一定期間を経過するまでの心拍数の回復変化を速度として算出できる。かかる食事終了後の一定期間には、一例として、５分間といった分単位の期間を採用することできる。具体的には、図７に示すように、最大心拍数Ｐ１が計測された時刻から、食事終了後の一定期間を経過するまでの期間が「近似対象期間Ｔａ１＿Ｐ１」に設定される。このような設定の下、図７に一点鎖線で示された近似対象期間Ｔａ１＿Ｐ１に含まれる心拍数のデータ列に対し、一次関数等による関数近似を行う。これによって、近似対象期間Ｔｓ＿Ｐ１の心拍数の推移に近似された近似式の傾きを求める。かかる傾きは、近似対象期間Ｔｓ＿Ｐ１内の心拍数の回復速度と等価であるので、これを第１ピークの回復速度として用いることができる。
　また、第２ピークへ至るまでの心拍数の上昇速度は、一例として、食後期間Ｔａ２の開始時刻、すなわち食事期間Ｔａ１の終了時刻を始点とし、食後期間Ｔａ２内で最大心拍数Ｐ２が計測された時刻を終点とする期間で観測される心拍数の上昇変化から算出できる。具体的には、図８に示すように、食後期間Ｔａ２の開始時刻から最大心拍数Ｐ２が計測された時刻までの期間を「近似対象期間Ｔａ２＿Ｐ２」に設定し、図８に一点鎖線で示した近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列に対し、一次関数等による関数近似を行う。これによって、近似対象期間Ｔａ２＿Ｐ２の心拍数の推移に近似された近似式の傾きを求める。かかる傾きは、近似対象期間Ｔａ２＿Ｐ２内の心拍数の上昇速度と等価であるので、これを第２ピークの上昇速度として用いることができる。
　また、第２ピークからの心拍数の回復速度は、一例として、食後期間Ｔａ２で最大心拍数Ｐ２が計測された時刻から、消化器官による消化活動が終了する時刻までの心拍数の回復変化を速度として算出できる。例えば、消化活動が終了する時刻の一例として、食後期間Ｔａ２の終了時刻を採用することができる。具体的には、図９に示すように、食後期間Ｔａ２で最大心拍数Ｐ２が計測された時刻から、食後期間Ｔａ２の終了時刻までの期間が「近似対象期間ＴＰ２＿ａ２」に設定される。このような設定の下、図９に一点鎖線で示された近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列に対し、一次関数等による関数近似を行う。このように近似対象期間ＴＰ２＿ａ２の心拍数の推移に近似された近似式の傾きを求める。かかる傾きは、近似対象期間ＴＰ２＿ａ２内の心拍数の回復速度と等価であるので、これを第２ピークの回復速度として用いることができる。
　なお、ここでは、２組の上昇速度および２組の回復速度を含む４つの応答速度を例示したが、必ずしも食事時刻の推定に全ての応答速度を用いずともかまわない。例えば、４つの応答速度のうち２組の上昇速度または２組の回復速度のいずれかを食事時刻の推定に用いることができる。
（３）振幅
　図１０は、特徴量（３）の算出方法の一例を示す図である。図１０には、食事開始前後の心拍数の変化がグラフ化されており、図１０に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　上記の特徴量（３）のうち、第１ピークの振幅は、図１０に示すように、食事期間Ｔａ１で計測される心拍数のうち心拍数が最大である最大心拍数Ｐ１を心拍数データから抽出することにより導出することができる。これと同様に、第２ピークの振幅は、食後期間Ｔａ２で計測される心拍数のうち心拍数が最大である最大心拍数Ｐ２を心拍数データを抽出することにより導出することができる。
　これら第１ピークの振幅および第２ピークの振幅は、必ずしもゼロからの絶対値でなくともよく、最大心拍数Ｐ１または最大心拍数Ｐ２からベースラインＢＬの心拍数を差し引くことにより、第１ピークまたは第２ピークの各々で心拍数の上昇幅の最大値を算出することとしてもかまわない。なお、第２ピークは、消化活動により影響を受けるので、例えば、食後期間Ｔａ２における最大心拍数Ｐ２を検出する時間帯を、消化活動が最も活発となると想定される時間帯に限定するとしてもよい。例えば、消化活動が最も活発になると想定される時間帯の一例として、食事開始時刻Ｔｓから３０分後から８０分後までの期間が挙げられる。
（４）時間
　図１１及び図１２は、特徴量（４）の算出方法の一例を示す図である。図１１及び図１２には、食事開始前後の心拍数の変化がグラフ化されており、図１１及び図１２に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　このうち、図１１には、食事開始後に計測される心拍数の波形のうち第１ピーク付近の波形がクローズアップされて図示されている。さらに、図１１では、心拍数の波形のうち食事期間Ｔａ１に対応する区間が矩形状の破線で囲われると共に、心拍数の波形のうち第１ピークの振幅である最大心拍数Ｐ１の値をとるグラフの部分が円形状の破線で囲われている。
　上記の特徴量（４）として定義される応答時間のうち、第１ピークまでの心拍数の上昇時間は、図１１に示すように、食事期間Ｔａ１の開始時刻、すなわち食事開始時刻Ｔｓから、食事期間Ｔａ１で最大心拍数Ｐ１が計測される時刻までの時間として算出できる。さらに、第１ピークからの心拍数の回復時間は、例えば、食事期間Ｔａ１で最大心拍数Ｐ１が計測された時刻から、心拍数がベースラインＢＬの心拍数に回復するまでの時間として算出できる。
　ここで、第１ピーク周辺で計測される心拍数は、上述のように、食道の蠕動運動による影響を受けるので、心拍数が第２ピークに到達するまでの間にベースラインＢＬまで回復しないケースが想定される。
　このため、第１ピークからの心拍数の回復時間は、上記の特徴量（２）で図７に示して説明を行った近似式を使用することにより求めることもできる。図７に示した第１ピークの回復速度は、第１ピークの到達後に発生する心拍数の回復変化から近似された近似関数の傾きとして算出される。それ故、図１１に示すように、近似関数の傾きで推移する心拍数がベースラインＢＬの心拍数に到達するまでの経過時間を求めればよい。例えば、最大心拍数Ｐ１の計測後の回復速度を表す近似関数とベースラインＢＬとの交点の時間、すなわち図１１で円形状に一点鎖線で囲われた点の時刻を求める。つまり、近似関数が含む時間及び心拍数の２つの変数のうち心拍数の変数にベースラインＢＬの心拍数を代入することにより交点が持つ時刻を求め、そこから最大心拍数Ｐ１が計測される時刻を差し引くことにより第１ピークからの心拍数の回復時間を求めることができる。また、最大心拍数Ｐ１とベースラインＢＬの心拍数との差分を求め、両者の差分を近似関数の傾きで除算することでも、第１ピークからの心拍数の回復時間を算出することもできる。
　一方、図１２では、心拍数の波形のうち食事期間Ｔａ１及び食後期間Ｔａ２に対応する区間が矩形状の破線で囲われると共に、心拍数の波形のうち第２ピークの振幅である最大心拍数Ｐ２の値をとるグラフの部分が円形状の破線で囲われている。
　上記の特徴量（４）として定義される応答時間のうち、第２ピークまでの心拍数の上昇時間は、図１２に示すように、食事期間Ｔａ１の開始時刻、すなわち食事開始時刻Ｔｓから、食後期間Ｔａ２で最大心拍数Ｐ２が計測される時刻までの時間として算出できる。さらに、第２ピークからの心拍数の回復時間は、例えば、食後期間Ｔａ２で最大心拍数Ｐ２が計測された時刻から、心拍数がベースラインＢＬの心拍数に回復するまでの時間として算出できる。
　ここで、第２ピーク周辺で計測される心拍数は、上述のように、消化活動による影響を受けるので、心拍数が第２ピークの到達後にベースラインＢＬまで回復しないケースが想定される。
　このため、第２ピークからの心拍数の回復時間は、上記の特徴量（２）で図９に示して説明を行った近似式を使用することにより求めることもできる。図９に示した第２ピークの回復速度は、第２ピークの到達後に発生する心拍数の回復変化から近似された近似関数の傾きとして算出される。それ故、図１２に示すように、近似関数の傾きで推移する心拍数がベースラインＢＬの心拍数に到達するまでの経過時間を求めればよい。例えば、最大心拍数Ｐ２の計測後の回復速度を表す近似関数とベースラインＢＬとの交点の時間、すなわち図１２で円形状に一点鎖線で囲われた点の時刻を求める。つまり、近似関数が含む時間及び心拍数の２つの変数のうち心拍数の変数にベースラインＢＬの心拍数を代入することにより交点が持つ時刻を求め、そこから最大心拍数Ｐ２が計測される時刻を差し引くことにより第２ピークからの心拍数の回復時間を求めることができる。また、最大心拍数Ｐ２とベースラインＢＬの心拍数との差分を求め、両者の差分を近似関数の傾きで除算することでも、第２ピークからの心拍数の回復時間を算出することもできる。
（５）食事前
　図１３は、特徴量（５）の算出方法の一例を示す図である。図１３には、食事開始前後の心拍数の変化がグラフ化されており、図１３に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　図１３に示すように、上記の特徴量（５）のうち、食事前心拍数は、食事開始時刻Ｔｓ以前に計測される心拍数のうち最低の値をとる心拍数を心拍数データから抽出することにより導出することができる。このとき、食事開始時刻Ｔｓ以前に遡る区間の一例として、６０分間などの期間を採用することができる。さらに、食事前面積は、食事開始時刻Ｔｓ以前の区間で食事前心拍数からの心拍数の上昇幅を合計することにより求めることができる。なお、ここでは、心拍数の上昇幅を合計することにより面積を算出する場合を例示したが、心拍数の上昇幅の平均値を算出することにより面積を求めることとしてもかまわない。
　以上説明した５種類１４個の特徴量を食事時刻の推定に用いることにより、食事とそれ以外の要因による心拍数上昇を弁別できる結果、食事時刻の推定精度の低下を抑制できる。さらに、上記の特徴量の算出には、必ずしも心拍数データ以外の情報を用いずともよいので、心拍センサ以外の他のセンサ類を用いずとも算出できる。つまり、必ずしも心拍センサを単独で用いずともよいことを前提に付言すれば、食事時刻の推定精度の維持を心拍センサ単独で実現することができる。
　さらに、心拍センサ単独で食事時刻の推定精度の低下を抑制できる一因として、少なくとも下記２点の理由が挙げられる。１つ目の理由として、消化活動に起因する心拍数の変化、すなわち第２ピーク領域Ａ２を含めて食事かそれ以外かを評価することができる特徴量を食事時刻の推定に用いることとした点が挙げられる。さらに、２つ目の理由として、心拍数の回復変化を表す特徴量、すなわち回復速度や回復時間を食事時刻の推定に用いることとした点が挙げられる。これら２点を含め、他の特徴量を用いる食事時刻の推定についても、上記の従来の食事判定では想定さえされていない。したがって、本実施例に係る食事時刻の推定方法によれば、上記の従来の食事判定ではなし得ない有利な効果、すなわち心拍センサ単独で食事時刻の推定精度の低下を抑制できるという効果を発揮できる。
［センサ端末１０の構成］
　次に、本実施例に係るセンサ端末１０の機能的構成について説明する。図１に示すように、センサ端末１０は、心拍数データ取得部１１と、加速度データ取得部１２と、運動期間判定部１３と、ノイズ心拍数除去部１４と、窓データ作成部１５と、特徴量算出部１６と、摂食動作判定部１７と、通信Ｉ／Ｆ（InterFace）部１８とを有する。なお、センサ端末１０は、図１に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ヘルスケア専用の端末装置、ウェアラブルガジェットまたは携帯端末装置がセンサ端末１０として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できるのは言うまでもない。
　心拍数データ取得部１１は、上記の心拍数データを取得する処理部である。
　一実施形態として、心拍数データ取得部１１は、心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、心拍数データ取得部１１は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を１分間とする場合、心拍数はｂｐｍ（beats　per　minute）等で表現される。また、単位時間を１秒間とする場合、心拍数はＨｚで表現される。
　このようにして取得される心拍数データは、心拍数がセンシングされる度に後段の機能部へ出力することとしてもよいし、所定の期間、例えば１２時間や１日間などにわたって蓄積してから後段の機能部へ出力することとしてもかまわない。
　加速度データ取得部１２は、上記の加速度データを取得する処理部である。
　一実施形態として、加速度データ取得部１２は、加速度センサを制御して、所定のサンプリング周期で加速度センサに３軸、すなわち上下左右前後の加速度をセンシングさせる。これによって、加速度データ取得部１２は、サンプリング点ごとに加速度センサによりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍数データと同様、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の３軸の加速度を含めることができる。例えば、３軸の加速度のうち一部の方向の加速度に絞って後段の機能部に使用させる場合、後段の機能部で使用されない方向の加速度は加速度データから除去することもできる。なお、加速度センサには、心拍センサと同一のサンプリング周期を採用させることもできるし、異なるサンプリング周期を採用させることもできる。
　このようにして取得される加速度データは、加速度がセンシングされる度に後段の機能部へ出力することとしてもよいし、所定の期間、例えば１２時間や１日間などにわたって蓄積してから後段の機能部へ出力することとしてもかまわない。
　運動期間判定部１３は、運動期間を判定する処理部である。ここで言う「運動期間」とは、歩行、走行や階段の昇降などの運動が行われたと想定される期間を指し、例えば、運動期間の判定に加速度データ取得部１２により取得される加速度データが用いられる。
　一実施形態として、運動期間判定部１３は、上記の運動期間の判定に、加速度データ取得部１２により取得される加速度データに含まれる加速度のうち少なくとも上下方向、すなわち重力方向の加速度を用いる。このように重力方向の加速度を用いるのは、歩行、走行や階段の昇降などの運動が行われる場合、加速度が特定のパターンで変化すると共に当該パターンが周期的に現れるからである。
　図１４は、加速度データの一例を示す図である。図１４には、運動時に加速度センサによりセンシングされた加速度のうち上下方向の加速度の変化が抜粋して示されている。図１４に示す縦軸は、重力方向の加速度を指し、また、横軸は、時間を指す。また、図１４には、運動時に計測される加速度変化のパターンの一例が破線で矩形状に囲われている。なお、図１４に示す重力方向の加速度は、加速度センサを搭載するセンサ端末１０がユーザの胸部に装着された状態で計測されたものとする。
　図１４に破線で囲って示すように、歩行、走行や階段の昇降などの運動時には、脚部の蹴り出し時および着地時に地面等から反力を受けるので、重力方向の加速度に上昇及び下降の変化が短期間で現れる。さらに、図１４に示すように、重力方向の加速度に関する上昇及び下降の変化は、地面から荷重が除かれて足が地面に接地する度に周期的に現れる。
　このことから、運動期間判定部１３は、一例として、加速度データ取得部１２により取得される重力方向の加速度から図１４に示した上昇および下降のパターンを検出する。その上で、運動期間判定部１３は、パターンが現れる間隔が所定期間内であるか否かを判定する。このとき、パターンが現れる間隔が所定期間以内である場合、当該パターンが所定期間内に繰り返して現れる区間を運動期間と判定する。ここで、上記の運動期間の判定には、一例として、センサ端末１０が装着された状態でユーザが運動活動を行い、運動活動に伴う加速度変化を実験的に採取することにより、上記のパターンを形成する上昇および下降の程度から上昇及び下降を弁別する閾値を設定することができる。さらに、パターンが現れる間隔についても実験的に現れる値から上記の所定期間を定めることもできる。なお、上記の運動期間は、運動期間の開始時刻とその継続時間により表現することもできるし、運動開始時刻及び運動終了時刻として表現することもできる。
　ノイズ心拍数除去部１４は、上記の心拍数データから食事以外のノイズが原因で心拍数が変化すると推定される区間を除去する処理部である。
　一実施形態として、ノイズ心拍数除去部１４は、心拍数データ取得部１１により取得される心拍数の時系列の変化に影響を与える、運動活動による心拍数の上昇変化、食事期間や食後期間中に不特定に発生する心拍数のノイズ変化等を特定する。ノイズ心拍数除去部１４は、心拍数データ取得部１１で取得した心拍数の時系列から、特定した運動活動による心拍数の上昇変化、食事期間や食後期間中に不特定に発生する心拍数のノイズ変化等で検出された心拍数データを取り除く。
　図１５は、ノイズ心拍数の除去方法の一例を示す図である。図１５には、食事に伴う心拍数の変化及び運動に伴う心拍数の変化を含む心拍数データがグラフ化されており、縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。
　図１５の（１）には、心拍数データのうち運動期間に対応する区間が右下がりの塗りつぶしにより示されている。このように、運動に伴う心拍数の変化が心拍数データに含まれる場合、運動期間で心拍数の上昇変化、及び、上昇した心拍数の時間経過による回復変化が現れる。一方、食後期間等の消化活動は、摂食および食道の蠕動運動に比べて長期間にわたって心拍数に影響を与えるので、食事後に運動が行われた場合、消化活動に伴う心拍数の変化に運動に伴う心拍数の変化が重畳する場合がある。この場合、運動に伴う心拍数変化が食事時刻の推定に悪影響を及ぼすことが想定される。
　図１５の（２）には、運動による心拍数の上昇変化および回復変化を伴わない場合の心拍数の変化、すなわち食事単独での心拍数の変化が矢印付き破線で示されている。このように、運動による心拍数の変化が食事に伴う心拍数の変化に重畳することにより、第２ピークに関する特徴量、例えば振幅、上昇速度や回復速度、さらには、上昇時間、回復時間といった特徴量が運動が伴わなかった場合に比べて大きな値で指標化される場合がある。この結果、運動に伴う心拍数変化が食事時刻の推定に悪影響を及ぼすことが想定される。
　例えば、図１５の（２）に示す例では、Ｐｘの心拍数を第２ピークの振幅、すなわち最大心拍数として算出される。さらに、図１５に矢印付き実線で示されるように、運動による心拍数の上昇変化および回復変化が重畳された心拍数の変化から、第２ピークに関する特徴量、例えば上昇速度や回復速度、さらには、上昇時間や回復時間が算出されることが想定される。
　このように、運動に伴う心拍数の変化が食事時刻の推定に悪影響を与えるのを抑制するために、ノイズ心拍数除去部１４は、心拍数データ取得部１１により取得された心拍数データのうち運動期間判定部１３により判定された運動期間に対応する区間を除去する。
　このとき、ノイズ心拍数除去部１４は、運動期間に対応する区間だけでなく、一例として、運動終了時刻から運動により上昇する心拍数が回復するまでの一定期間を運動終了時刻に加えることにより、運動後の心拍数の回復変化が含まれた除去期間を求め、当該除去期間に対応する区間を心拍数データから除去することもできる。かかる運動終了時刻に加える一定期間には、一例として、運動後の回復変化を測定する実験を実施することによりユーザ個別の時間を設定することもできるし、全ユーザ共通の時間をデフォルト値として設定することもできる。なお、運動期間または除去期間に対応する区間のデータが心拍数データから除去された場合、線形補間、多項式補間、スプライン補間などを実行することで、除去により欠落する部分のデータを内挿補間することができる。
　図１５の（３）には、図１５の（１）に示した心拍数のデータから除去期間に該当する区間が除去された心拍数データが示されていると共に、除去期間が破線により矩形状に囲んで示されている。図１５の（３）に示すように、除去期間に対応する区間が心拍数データから除去されることにより、例えば、運動による心拍数の上昇変化および回復変化の影響を受けずに食事に伴う心拍数変化の特徴量を算出することが可能となる。
　なお、図１５の（２）に矢印付き破線で示すように、食事単独での心拍数の変化は、心拍数の相対的な下限に沿って推移する傾向にある。このため、例えば、時系列上に前後する心拍数の比較を行い、前後間の心拍数の差分値が所定の閾値以上、または、所定の閾値以下となる変化点を捉え、該変化点により特定される区間を除去期間とするとしてもかまわない。
　図１６は、変化点による除去期間の算出方法の一例を示す図である。図１６には、心拍数の変化に関するグラフが示されており、縦軸は、単位時間当たりの心拍数を指し、横軸は、経過時刻（時間）を指す。図６の（１）には、心拍数が急速に上昇および下降する変化点が実線により円形状に囲んで示されている。
　例えば、ノイズ心拍数除去部１４は、時系列上に前後する心拍数の比較を行う。これによって、図１６の（１）に示すように、前後間の心拍数の差分値が所定の閾値以上、または、所定の閾値以下となる変化点を特定する。続いて、ノイズ心拍数除去部１４は、例えば、特定した変化点に対して、変化点を識別する識別番号を付与する。そして、ノイズ心拍数除去部１４は、例えば、時系列上の前後間の心拍数が所定値以上となる場合、時系列上で先行する心拍数と心拍数が計測された時刻情報とを、変化点に付与された識別番号に対応付けて図示しない内部メモリに保存する。また、ノイズ心拍数除去部１４は、例えば、時系列上の前後間の心拍数が所定値以下となる場合にも、時系列上で後行する心拍数と心拍数が計測された時刻情報とを、変化点に付与された識別番号に対応付けて内部メモリに保存する。
　その上で、ノイズ心拍数除去部１４は、例えば、前後間の心拍数の差分値が所定の閾値以上となった変化点に対応付けられた時刻情報と、前後間の心拍数の差分値が所定の閾値以下となった変化点に対応付けられた時刻情報から除去期間を特定する。このとき、心拍数値の差分値が所定の閾値以上となる変化点が、時系列上に連続して検出されるケースが想定される。時系列上で、心拍数の差分値が所定の閾値以上となる変化点が連続するケースでは、例えば、時系列上で先行する、或いは、変化点に対応付けられた心拍数が低い変化点を除去期間の「開始時刻」とすればよい。また、同様にして、心拍数の差分値が所定の閾値以下となる変化点が、時系列上に連続して検出されるケースでは、例えば、時系列上で後行する、或いは、変化点に対応付けられた心拍数が低い変化点を除去期間の「終了時刻」とすればよい。
　図１６の（２）には、図１６の（１）に示した心拍数のデータから、除去期間に該当する心拍数が除去されたグラフが示されている。図１６の（２）には、除去期間が破線により矩形状に囲まれた状態で示されている。図１６の（２）に示すように、除去期間に該当する区間が心拍数データから除去されることにより、例えば、除去期間の心拍数の上昇変化および回復変化の影響を受けずに食事に伴う心拍数変化の特徴量を算出することができる。例えば、食事期間や食後期間中に不特定に発生する心拍数の上昇変化および回復変化といったノイズのような心拍数データを取り除くことが可能となる。
　窓データ作成部１５は、窓データを作成する処理部である。ここで言う「窓データ」とは、心拍数データのうち一部が切り出された部分データを指す。
　一実施形態として、窓データ作成部１５は、ノイズ心拍数除去部１４による除去が行われた後の心拍数データに所定の時間長、例えば２１０分間を持つ窓を設定する。続いて、窓データ作成部１５は、窓が設定された区間に対応する部分データを切り出す。その後、窓データ作成部１５は、前回に設定された窓を所定のずらし幅、例えば５分間にわたってシフトさせる。その上で、窓データ作成部１５は、シフト後の窓に対応する部分データを切り出す。このように部分データが窓幅で切り出される度に窓データが作成されて後段の機能部へ出力される。
　図１７は、窓データの作成方法の一例を示す図である。図１７には、心拍数の変化に関するグラフが示されており、縦軸は、単位時間当たりの心拍数を指し、横軸は、経過時刻（時間）を指す。例えば、心拍数データの開始時刻に窓の開始時刻を合わせることにより窓データの作成を開始する場合、窓の終了時刻が心拍数データの終了時刻と一致するまで窓のスライディングが繰り返して実行されることになる。図１７には、一例として、ｉ番目に設定された窓から作成された窓データｉと、ｉ＋１番目に設定された窓から作成された窓データｉ＋１とが示されている。例えば、窓データｉ＋１を作成する場合、ｉ番目に設定された窓を所定のずらし幅、例えば５分間にわたってシフトさせることによりｉ＋１番目の窓を設定する。その上で、心拍数データのうちｉ＋１番目の窓に対応する区間を切り出すことにより、窓データｉ＋１を作成する。このようなスライディング処理は、窓の終了時刻が心拍数データの終了時刻と一致するまで繰り返し実行される。なお、ここでは、窓を時間の進行方向へシフトさせる場合を例示したが、時間の過去方向へ窓をシフトさせることができるのは言うまでもない。
　特徴量算出部１６は、食事に伴う心拍の特徴量を算出する処理部である。
　一実施形態として、特徴量算出部１６は、窓データ作成部１５により作成された窓データごとに、上記の５種類１４個の特徴量を算出することができる。このとき、特徴量算出部１６は、一例として、図１７に示した窓データの開始時刻から所定の期間、例えば６０分間までの期間を食事前とし、窓データの開始時刻から所定の時間後を「食事開始時刻」として、特徴量の算出を実行する。例えば、特徴量算出部１６は、上記の特徴量（１）として、第１ピーク領域Ａ１の面積Ｓ１、及び、第２ピーク領域Ａ２の面積Ｓ２を算出することができる。また、特徴量算出部１６は、上記の特徴量（２）として、第１ピークへ至るまでの心拍数の上昇速度、第１ピークからの心拍数の回復速度、第２ピークへ至るまでの心拍数の上昇速度、及び、第２ピークからの心拍数の回復速度を算出することができる。また、特徴量算出部１６は、上記の特徴量（３）として、第１ピークの振幅、及び、第２ピークの振幅を算出することができる。さらに、特徴量算出部１６は、上記の特徴量（４）として、第１ピークまでの心拍数の上昇時間、第１ピークからの心拍数の回復時間、第２ピークまでの心拍数の上昇時間、及び、第２ピークからの心拍数の回復時間を算出することができる。また、特徴量算出部１６は、上記の特徴量（５）として、食事前心拍数、及び、食事前面積を算出することができる。
　摂食動作判定部１７は、摂食動作を判定する処理部である。ここで言う「摂食動作」とは、食事を摂ることを目的になされる動作を指し、例えば、食物を口に運ぶ動作を含む。
　一実施形態として、摂食動作判定部１７は、上記の摂食動作の判定に、加速度データ取得部１２により取得される加速度データに含まれる加速度のうち少なくとも１方向の加速度を用いる。例えば、センサ端末１０が胸部に装着される場合、前後方向の加速度を用いることができる。このようにセンサ端末１０が胸部に装着される場合に前後方向の加速度を用いるのは、食物を口に運ぶ動作が前後方向への往復運動として現れるからである。
　図１８は、加速度データの一例を示す図である。図１８には、加速度センサによりセンシングされた加速度のうち前後方向の加速度の変化が抜粋して示されている。図１８に示す縦軸は、前後方向の加速度を指し、また、横軸は、時間を指す。また、図１８には、摂食動作に伴う前後方向への往復運動に対応する加速度変化のパターンの一例が破線で矩形状に囲われている。なお、図１８に示す前後方向の加速度は、加速度センサを搭載するセンサ端末１０がユーザの胸部に装着された状態で計測されたものとする。
　図１８に破線で囲って示すように、食事が行われる場合、食物を口唇部に運ぶための動作を繰り返すことになるので、前後方向の加速度の変化に次のようなパターンが現れる。すなわち、摂食動作に伴う往復運動に連動して加速が下降後に上昇するパターンが繰り返して現れる。つまり、静止、下降、上昇、静止、下降、上昇、静止といったサイクルで加速度が変化する。
　このことから、摂食動作判定部１７は、一例として、加速度データ取得部１２により取得される前後方向の加速度から図１８に示した下降および上昇のパターンを検出する。このようにして摂食動作に対応する前後往復のパターンが検出された場合、摂食動作判定部１７は、一例として、図示しない内部メモリに対し、当該摂食動作に対応する前後往復のパターンごとに当該パターンを形成する下降の開始時刻および上昇の終了時刻、あるいは下降の開始時刻から往復運動の継続期間を保存する。
　通信Ｉ／Ｆ部１８は、他の装置、例えばサーバ装置１００などとの間で通信制御を行うインタフェースである。
　一実施形態として、通信Ｉ／Ｆ部１８には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１８は、特徴量算出部１６により窓データごとに算出された特徴量、さらには、摂食動作判定部１７により判定された摂食動作情報、例えばパターンを形成する下降の開始時刻及び上昇の終了時刻などをサーバ装置１００へ送信する。また、通信Ｉ／Ｆ部１８は、算出対象とする特徴量の種類や数の指定の他、食事時刻の推定結果やそれを用いた診断結果などを受信したりする。
　なお、上記の心拍数データ取得部１１、加速度データ取得部１２、運動期間判定部１３、ノイズ心拍数除去部１４、窓データ作成部１５、特徴量算出部１６及び摂食動作判定部１７などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central　Processing　Unit）などに、上記の心拍数データ取得部１１、加速度データ取得部１２、運動期間判定部１３、ノイズ心拍数除去部１４、窓データ作成部１５、特徴量算出部１６及び摂食動作判定部１７と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro　Processing　Unit）に実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random　Access　Memory)やフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard　Disk　Drive）、光ディスクやＳＳＤ（Solid　State　Drive）などを採用できる。
［サーバ装置１００の構成］
　次に、本実施例に係るサーバ装置１００の機能的構成について説明する。図１に示すように、サーバ装置１００は、通信Ｉ／Ｆ部１１０と、特徴量記憶部１２０と、モデル作成部１３０と、第１判定部１４０と、第２判定部１５０と、サービス提供部１６０とを有する。なお、サーバ装置１００は、図１に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。
　通信Ｉ／Ｆ部１１０は、他の装置、例えばセンサ端末１０などとの間で通信制御を行うインタフェースである。
　一実施形態として、通信Ｉ／Ｆ部１１０には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１０は、窓データごとの特徴量、さらには、摂食動作情報などをセンサ端末１０から受信する。また、通信Ｉ／Ｆ部１１０は、算出対象とする特徴量の種類や数の指定の他、食事時刻の推定結果やそれを用いた診断結果などを送信したりする。
　特徴量記憶部１２０は、食事に関する心拍の特徴量を記憶する記憶部である。
　一実施形態として、特徴量記憶部１２０には、機械学習により食事推定モデルを作成するために、教師データとして、共通の窓データから算出された特徴量の組ごとに、当該窓データに対応する区間にユーザが食事を行ったか否かを示す正解のクラスが対応付けて記憶される。ここで、特徴量記憶部１２０は、１つの窓データにつき、上記の５種類１４個の特徴量のうち任意の種類および任意の個数の特徴量の組を記憶させることができる。また、上記の「クラス」の一例として、食事または非食事のいずれかのクラスが特徴量記憶部１２０に記憶される。
　モデル作成部１３０は、食事推定モデルを作成する処理部である。
　一実施形態として、モデル作成部１３０は、機械学習アルゴリズムの一例として、サポートベクトルマシンを用いる場合を例示する。かかるサポートベクトルマシンを用いてセンサ端末１０で観測される特徴量ベクトルのクラス分類を行う場合、食事推定モデルの出力値は、下記の式（１）に示すように、サポートベクトルを引数としたカーネル関数の重み付け和で表される。
Figure JPOXMLDOC01-appb-M000001
　上記の式（１）における「ｙ」は、食事推定モデルの出力値を指す。また、「ｘ」は、センサ端末１０で観測される特徴量ベクトルを指す。また、「ｘ(support)」は、上記の特徴量記憶部１２０に教師データとして予め記憶される特徴量ベクトルのうちクラス分類の識別境界付近に位置する特徴量ベクトル、いわゆるサポートベクトルを指す。また、「ｃｉ」は、サポートベクトルに付与される重みを指す。また、「γ」は、関数パラメータを指す。また、式（１）における「Ｉ＋」は、クラス「食事」のサポートベクトルのインデクス集合を表し、また、「Ｉ－」は、クラス「非食事」のサポートベクトルのインデクス集合を表す。なお、ここでは、機械学習の一例として、サポートベクタマシンを例示したが、これ以外にも、ブースティングやニューラルネットワークなどの任意のアルゴリズムを適用することができる。
　このような仮定の下、モデル作成部１３０は、サポートベクトルマシンにおける最適化アルゴリズムを適用することにより、サポートベクトルｘ(support)とその重みｃを特定することにより、食事推定モデルを作成する。
　図１９は、識別境界の一例を示す図である。図１９には、説明の便宜上、特徴量のうち２つの特徴量が説明変数として抜粋された２次元のベクトル空間が例示されているが、食事推定モデルで用いる特徴量の個数に対応する次元数のベクトル空間でもその意味合いは同様である。図１９には、教師データの特徴量ベクトルのうちクラスが「食事」である特徴量ベクトルを●印で示し、クラスが「非食事」である特徴量ベクトルを×印で示し、識別境界の付近に位置する特徴量ベクトルを実線により円形状で囲んで示している。
　図１９に示すように、サポートベクトルマシンでは、識別境界の近くの特徴量ベクトル、すなわちサポートベクトルを用いて、クラス「食事」及びクラス「非食事」を分類する識別境界のマージンの幅が最大となるような識別境界を学習する。これによって、上記の式（１）において各サポートベクトルに付与される重みｃが学習される。かかる学習により得られた食事推定モデルに対し、センサ端末１０で観測される特徴量ベクトルを代入させることにより、－１から＋１までの値をとる出力値が得られる。
　第１判定部１４０は、上記の食事推定モデルを用いて、各窓データに対応する区間が食事または非食事であるか判定する処理部である。
　一実施形態として、第１判定部１４０は、センサ端末１０から受け付けた窓データの特徴量ごとに、モデル作成部１３０により作成された食事推定モデルに当該窓データの特徴量を適用することにより、当該窓データでの食事の有無を判定する。例えば、第１判定部１４０は、上記の式（１）に対し、センサ端末１０で観測される特徴量ベクトルをそれぞれ代入する。これによって、－１から＋１までの値をとる食事推定モデルの出力値が得られる。このとき、第１判定部１４０は、食事推定モデルの出力値が所定の閾値、例えばゼロ以上である場合、当該窓データをクラス「食事」に分類する。一方、第１判定部１４０は、食事推定モデルの出力値が所定の閾値、例えばゼロ未満である場合、当該窓データをクラス「非食事」に分類する。このようにして窓データごとに食事の有無が判定されることになる。
　第２判定部１５０は、加速度データから検出された摂食動作情報を用いて、第１判定部１４０により食事と判定された窓データで食事が行われたか否かをさらに判定する処理部である。
　一実施形態として、第２判定部１５０は、第１判定部１４０により食事と判定された窓データの所定区間、すなわち食事開始時刻から２０分間までの区間内に、上記の摂食動作のパターンが所定回数以上含まれているか否かを判定する。すなわち、食事を行う場合、食物を口に運ぶ動作は、１度や２度などの少数であることは稀であり、一定の回数にわたって反復される可能性の方が高い。このことから、第２判定部１５０は、第１判定部１４０により食事と判定されたからといって直ちに食事と判定せずに、一定の回数、例えば１０回以上である場合に、当該窓データが食事に該当すると判定する。一方、第２判定部１５０は、窓データの所定区間内に所定回数の摂食動作が含まれない場合、当該窓データが非食事に該当すると判定する。
　その後、第２判定部１５０は、食事に該当すると判定された窓データから食事時刻、例えば食事開始時刻を特定する。このとき、第２判定部１５０は、窓データから食事前の区間が除かれた時点を食事開始時刻として特定することもできるし、窓データの所定区間内で摂食動作に対応するパターンが最初に検出された時刻を食事開始時刻として特定することもできる。さらに、第２判定部１５０は、必ずしも食事開始時刻だけを特定せずともよく、食事終了時刻も特定することもできる。例えば、第２判定部１５０は、食事開始時刻から一定時間、例えば１５分、３０分や１時間後を食事終了時刻として特定することもできるし、また、窓データの所定区間内で摂食動作に対応するパターンが最後に検出された時刻を食事終了時刻として特定することもできる。このようして特定される食事開始時刻、食事終了時刻、もしくは、これらの組合せのうち少なくともいずれか１つがサービス提供部１６０へ出力されることになる。
　サービス提供部１６０は、上記のヘルスケア支援サービスを提供する処理部である。
　一実施形態として、サービス提供部１６０は、食事時刻、例えば食事開始時刻、食事終了時刻、もしくは、食事開始時刻及び食事終了時刻のうち少なくともいずれか１つを記録したり、それまでに記録された食事時刻から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。
　図２０及び図２１は、ヘルスケア支援サービスの一例を示す図である。このうち、図２０には、生活習慣モニタリングが実施される場合の出力例が示される一方で、図２１には、ダイエットのための生活習慣分析が実施される場合の出力例が示されている。なお、図２０や図２１に示す表示レイアウトは、あくまで一例であり、図２０や図２１に示される例に限定されないことは言うまでもない。
　例えば、上記の食事時刻と共に、運動や睡眠などのスケジュールと連動させることにより、生活習慣の分析が可能になる。すなわち、図２０に示すように、１週間に含まれる日ごとに当該日の生活習慣に関するタイムテーブルを表示させることができる。かかるタイムテーブルには、生活習慣に関する属性、例えば食事、運動及び睡眠ごとに当該生活習慣が行われる時間帯などを表示させることができる。さらに、図２０に示すように、食事を含め、生活習慣に関するアドバイスも表示させることができる。例えば、生活習慣に関し、朝食抜き、睡眠前の食事、運動不足などの分析結果が得られた場合、図２０に示すように、「朝食をとる習慣をつけましょう」、「早めに夕食をとりましょう」や「運動しましょう」などのアドバイスを表示させることができる。
　また、上記の食事時刻と共に、運動や睡眠などに加え、体重などの情報をさらに併せることにより、ダイエットを促進するための分析も可能になる。すなわち、図２１に示すように、１週間に含まれる日ごとに当該日の生活習慣に関するタイムテーブルを表示させることができる。さらに、図２１に示すように、ダイエットを促進するためのアドバイスも表示させることができる。例えば、肥満の要因に該当する分析結果として、食事回数の過多、睡眠前の食事などが得られた場合、次のような表示が実現できる。例えば、図２１に示すように、体重増加の原因として、「食事回数が多い」や「睡眠前の食事が多い」などのメッセージを表示させることができる。さらに、その対策として、「朝食をとって規則正しい食習慣を」や「睡眠前に食事すると消化に悪く、肥満の原因になります。早めに夕食をとりましょう」などのメッセージを表示させることもできる。
　なお、上記のモデル作成部１３０、第１判定部１４０、第２判定部１５０及びサービス提供部１６０などの機能部は、次のようにして実装できる。例えば、中央処理装置などに、上記のモデル作成部１３０、第１判定部１４０、第２判定部１５０及びサービス提供部１６０と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各機能部は、ハードワイヤードロジックによっても実現できる。
　また、上記の特徴量記憶部１２０を始め、各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。
［具体例］
　ここでは、図２２～図４１を用いて、食事時刻の推定に関する具体例を説明する。図２２は、心拍数データの一例を示す図である。図２３は、加速度データの一例を示す図である。図２２には、一例として、心拍数が３０秒周期でセンシングされた心拍数データが示されると共に、図２３には、加速度が０．１秒周期でセンシングされた加速度データが示されている。なお、ここでは、実線により矩形状に囲われた部分、すなわち９月２日の１１時００分００秒から２３時５５分００秒までの部分が心拍数データ及び加速度データとして取得されたこととし、図２２及び図２３には、その中で一部の時刻に関するデータが抜粋して例示されていることとする。
　これら図２２に示す心拍数データ及び図２３に示す加速度データが取得されたとしたとき、上記の運動期間の判定および上記の摂食動作の判定が実行される。例えば、運動期間の判定の場合、図２３に示した加速度データに含まれる加速度のうち重力方向の加速度から図１４に示した上昇および下降のパターンが検出される。その上で、上記のパターンが現れる間隔が所定期間以内である場合、当該パターンが所定期間内に繰り返して現れる区間が運動期間と判定される。また、摂食動作の判定の場合、図２３に示した加速度データに含まれる加速度のうち前後方向の加速度から摂食動作に対応する前後往復のパターン、すなわち図１８に示した下降および上昇のパターンが検出される。その上で、摂食動作に対応する前後往復のパターンが検出される度に、摂食動作が１回行われたと判定される。
　このように運動期間および摂食動作が判定された場合、図２４に示した通りに、運動期間および摂食動作回数がセンサ端末１０の内部メモリ上で管理される。図２４は、心拍数と摂食動作回数及び運動期間との対応関係表の一例を示す図である。ここで、加速度データは、０．１秒周期でセンシングされるが、心拍数データのサンプリング周期である３０秒に合わせて、図２４には、３０秒ごとに摂食動作回数及び運動期間が記入されている。例えば、図２４に示す摂食動作回数のレコードには、３０秒間で摂食動作に対応する前後往復のパターンが検知された回数の累積値が保存される。また、運動期間のレコードには、３０秒間に運動期間が含まれる場合に「１」が設定される一方で運動期間が含まれない場合に「０」が設定されることとする。なお、図２４には、９月２日の１１時００分００秒から１１時００分３０秒までの区間、同日の１２時４１分３０秒から１２時４２分００秒までの区間、同日の１２時４２分００秒から１２時４２分３０秒までの区間、同日の１２時４２分３０秒から１２時４３分００秒までの区間、さらには、同日の１５時４２分００秒から１５時４２分３０秒までの区間が抜粋して示されているが、他の区間についても心拍数、摂食動作回数及び運動期間の値が保存されているのは言うまでもない。以下では、区間の開始時刻及び終了時刻のうち区間の開始時刻で区間の列を識別して説明を行うこととする。
　図２４に示す対応管理表に抜粋された区間の中には、運動期間と判定された区間が存在しないことを意味する。また、図２４に示す対応管理表に抜粋された区間のうち、１２時４１分３０秒の列、及び、１５時４２分００秒の列では、摂食動作回数が０回と計測されている一方で、他の列では、１回以上の摂食動作回数が計測されていることを意味する。
　このように運動期間が判定された状況の下、図２２に示した心拍数データから運動が原因となって心拍数の上昇変化および回復変化が発生している可能性が高い区間がノイズとして除去される。図２５は、ノイズ心拍数の除去例を示す図である。図２５の上段には、ノイズ心拍数の除去前の対応管理表が示されている一方で、図２５の下段には、ノイズ心拍数の除去後の対応管理表が示されている。なお、図２５の上段及び下段に示す各対応管理表は、図２４に示したものと同様であるが、心拍数、摂食動作回数及び運動期間が抜粋されている区間は一部異なる。
　図２５の上段に示す対応管理表の例では、１２時２６分００秒の列が運動開始時刻に対応する一方で、１２時３３分００秒の列が運動終了時刻に対応する。つまり、１２時２６分００秒から１２時３３分００秒までの期間が運動期間であることを意味する。この場合、１２時２６分００秒の列を起点とし、運動終了時刻に所定時間、例えば５分間が加算された１２時３８分の列までが除去期間として決定される。この場合、図２５の下段に示す対応管理表のように、除去期間に対応する部分の心拍数がノイズ心拍数として除去されてブランクの状態にされる。
　このようにノイズ心拍数が除去された状態で、窓データの作成が実行される。図２５の下段に示した対応管理表の場合、心拍数データの開始時刻である１１時００分００秒に窓の開始時刻を合わせることにより窓データの作成が開始される。例えば、窓幅が２１０分であるとしたとき、１１時００分００秒から１４時３０分００秒までの心拍数のデータ列が窓データとして抽出される。この窓データを識別する番号を「１」としたとき、次の２番目の窓は、窓データ「１」に設定された窓を所定のずらし幅、例えば５分間にわたってシフトさせることにより設定される。つまり、心拍数データの１１時０５分００秒に窓の開始時刻を合わせることにより、窓データ「２」が作成される。その後、スライディング処理は、窓の終了時刻が心拍数データの終了時刻である２３時５５分００秒と一致するまで繰り返し実行される。
　この結果、図２６に示すＭ個の窓データが作成されることになる。図２６は、窓データの抽出結果の一例を示す図である。図２６には、窓データ「１」から窓データ「Ｍ」までのＭ個の窓データが示されている。図２６に示す「Ｔ１」～「ＴＮ」は、各窓データに含まれる心拍数のデータ列を指す。例えば、図２６に示す番号「３」の窓データの場合、窓データの開始時刻が９月２日の１１時１０分００秒であり、終了時刻が９月２日の１４時４０分００秒であることを意味する。さらに、食事開始時刻が９月２日の１１時４０分００秒であることを意味する。さらに、１１時１０分００秒から３０秒おきに、心拍数が６２．５、５９．２、・・・、６３．２と計測されていることを意味する。
　その後、各窓データごとに特徴量が算出される。ここでは、一例として、図２７に示す番号「ｉ」の窓データに関する特徴量が算出される場合を例示する。図２７は、窓データの一例を示す図である。図２７には、ｉ番目の窓データに含まれる心拍数系列から、上記の特徴量として、第１ピーク面積、第２ピーク面積、第２ピーク回復速度、第２ピーク上昇速度、第１ピーク振幅、第２ピーク振幅、食事前心拍数及び食事前面積を求める場合が図示されている。図２７に示すように、ｉ番目の窓データは、開始時刻及び終了時刻が１２時１２分００秒及び１５時４２分００秒であり、食事開始時刻が窓データの開始時刻から３０分後の１２時４２分００秒である。
　例えば、面積に関する特徴量を算出する場合、番号「ｉ」の窓データに含まれる心拍数系列から心拍数のベースライン及び食事前心拍数が決定される。例えば、番号「ｉ」の窓データに含まれる心拍数系列のうち当該窓データの食事開始時刻に計測される心拍数が「ベースライン」として決定される。さらに、番号「ｉ」の窓データに含まれる心拍数系列のうち窓データの開始時刻から食事開始時刻までの範囲で最低の値を持つ心拍数が「食事前心拍数」として決定される。図２８は、食事前心拍数の決定方法の一例を示す図である。図２８の上段に示すように、番号「ｉ」の窓データに含まれる心拍数系列のうち窓データの開始時刻から食事開始時刻までの範囲に含まれる心拍数から食事前心拍数が決定される。すなわち、図２８の下段に示すように、最低の値「５９．０」を持つ心拍数が食事前心拍数として決定される。
　その後、番号「ｉ」の窓データに含まれる心拍数系列は、食事前期間と、食事期間Ｔａ１と、食後期間Ｔａ２との３つの期間に分けられる。図２９は、特徴量の算出過程の一例を示す図である。図３０は、窓データの一例を示す図である。図２９の上段には、番号「ｉ」の窓データに含まれる心拍数系列及び上昇幅が示されると共に、図２９の下段には、番号「ｉ」の窓データに関する特徴量のうち食事前心拍数、第１ピーク面積、第２ピーク面積及び食事前面積の算出結果が示されている。また、図３０には、番号「ｉ」の窓データに含まれる心拍数系列がグラフ化されており、縦軸は、単位時間当たりの心拍数を指し、横軸は、経過時刻（時間）を指す。
　図２９の上段に示すように、番号「ｉ」の窓データの場合、窓データの開始時刻「１２時１２分００秒」から食事開始時刻の直前、すなわち「１２時４１分３０秒」までの期間が食事前期間と仮定される。さらに、食事開始時刻「１２時４２分００秒」から所定時間、例えば１５分後、すなわち「１２時５６分３０秒」までの期間が食事期間と仮定される。さらに、食事時間の終了時刻「１２時５７分００秒」から窓データの終了時刻「１５時４２分００秒」までの期間が食後期間と仮定される。これら３つの期間がグラフ化された場合、図３０に示す通りとなる。
　このうち、食事前期間に含まれる心拍数と食事前心拍数との間で差分が時刻ごとに計算される。これによって、食事前期間に含まれる時刻ごとに食事前心拍数からの心拍数の上昇幅が算出されることになる。例えば、時刻「１２時１２分００秒」の場合、その時刻で計測された心拍数「６１．８」から食事前心拍数「５９．０」を減算することにより、上昇幅「２．８」が算出される。このようにして食事前期間に含まれる時刻ごとに心拍数の上昇幅が算出された後、各時刻の心拍数の上昇幅を平均する計算を行うことにより、図３０に示す食事前面積が「３．１」と求まる。この結果、図２９の下段に示すように、食事前面積の値として「３．１」が保存されることになる。
　また、食事期間Ｔａ１に含まれる心拍数と食事前心拍数との間で差分が時刻ごとに計算される。これによって、食事期間Ｔａ１に含まれる時刻ごとに食事前心拍数からの心拍数の上昇幅が算出されることになる。例えば、時刻「１２時４２分００秒」の場合、その時刻で計測された心拍数「７１．３」から食事前心拍数「５９．０」を減算することにより、上昇幅「１２．３」が算出される。このようにして食事期間Ｔａ１に含まれる時刻ごとに心拍数の上昇幅が算出された後、各時刻の心拍数の上昇幅を平均する計算を行うことにより、図３０に示す第１ピーク面積が「１７．３」と求まる。この結果、図２９の下段に示すように、第１ピーク面積の値として「１７．３」が保存されることになる。
　さらに、食後期間Ｔａ２に含まれる心拍数と食事前心拍数との間で差分が時刻ごとに計算される。これによって、食後期間Ｔａ２に含まれる時刻ごとに食事前心拍数からの心拍数の上昇幅が算出されることになる。例えば、時刻「１２時５７分００秒」の場合、その時刻で計測された心拍数「７５．３」から食事前心拍数「５９．０」を減算することにより、上昇幅「１６．３」が算出される。このようにして食後期間Ｔａ２に含まれる時刻ごとに心拍数の上昇幅が算出された後、各時刻の心拍数の上昇幅を平均する計算を行うことにより、図３０に示す第２ピーク面積が「１６．２」と求まる。この結果、図２９の下段に示すように、第２ピーク面積の値として「１６．２」が保存されることになる。
　続いて、第１ピークの振幅が求められる。図３１は、特徴量の算出過程の一例を示す図である。図３１の上段には、番号「ｉ」の窓データのうち食事期間Ｔａ１に含まれる心拍数のデータ列が抜粋して示されると共に、図３１の下段には、番号「ｉ」の窓データに関する特徴量のうち食事前心拍数、第１ピーク面積、第２ピーク面積及び食事前面積に加え、第１ピークの振幅の算出結果がさらに示されている。
　図３１に示すように、食事期間Ｔａ１に含まれる心拍数のデータ列のうち時刻「１２時４９分００秒」に計測された心拍数「８５．２」が最大心拍数Ｐ１であるとしたとき、この最大心拍数Ｐ１「８５．２」が第１ピークの振幅として抽出される。この結果、図３１の下段に示すように、第１ピークの振幅の値として「８５．２」が保存されることになる。
　さらに、第２ピークの振幅が求められる。図３２は、特徴量の算出過程の一例を示す図である。図３２の上段には、番号「ｉ」の窓データのうち食後期間Ｔａ２に含まれる心拍数のデータ列が抜粋して示されると共に、図３２の下段には、番号「ｉ」の窓データに関する特徴量のうち食事前心拍数、第１ピーク面積、第２ピーク面積、食事前面積及び第１ピークの振幅に加え、第２ピークの振幅の算出結果がさらに示されている。
　図３２に示すように、食後期間Ｔａ２に含まれる心拍数のデータ列のうち時刻「１３時１９分００秒」に計測された心拍数「８３．７」が最大心拍数Ｐ２であるとしたとき、この最大心拍数Ｐ２「８３．７」が第２ピークの振幅として抽出される。この結果、図３２の下段に示すように、第２ピークの振幅の値として「８３．７」が保存されることになる。
　加えて、第２ピークの上昇速度が求められる。図３３は、特徴量の算出過程の一例を示す図である。図３３の最上段には、番号「ｉ」の窓データのうち食後期間Ｔａ２に含まれる心拍数のデータ列が抜粋して示されると共に、図３３の最下段には、番号「ｉ」の窓データに関する特徴量のうち食事前心拍数、第１ピーク面積、第２ピーク面積、食事前面積、第１ピークの振幅及び第２ピークの振幅に加え、第２ピークの上昇速度の算出結果がさらに示されている。
　このように第２ピークの上昇速度を求める場合、食後期間Ｔａ２の開始時刻、言い換えれば食事期間Ｔａ１の終了時刻「１２時５７分００秒」を始点とし、第２ピークの最大心拍数Ｐ２が計測された時刻「１３時１９分００秒」を終点とする期間が近似対象期間Ｔａ２＿Ｐ２として設定される。
　その上で、当該近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列を用いて、関数近似を行うことにより、第２ピークの上昇速度が算出される。例えば、“ｆ（ｔ）＝αｔ＋β”等の一次線形関数を用いた関数近似を適用することができる。一次線形関数を用いた関数近似では、近似対象となるデータ列に含まれる各時刻における近似誤差が最小となるような傾きパラメータα及び切片パラメータβの組合せを求めることにより、近似対象となるデータ列に適した関数近似を行うことができる。
　図３４は、近似誤差の一例を示す図である。図３４には、番号「ｉ」の窓データのうち近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列がグラフ上に●印でプロットされており、かかるグラフの縦軸は、単位時間当たりの心拍数を指し、横軸は、経過時刻（時間）を指す。図３４に示す時刻「ｔ１」は、例えば、食後期間Ｔａ２の開始時刻を指し、また、時刻「ｔＮ」は、最大心拍数Ｐ２が計測された時刻を指す。図３４には、近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列に近似する、一次線形関数「ｆ（ｔ）＝αｔ＋β」が太線により示されている。
　図３４に示すように、時刻ｔｉにおける心拍数ｙｉと、一次線形関数「ｆ（ｔ）＝αｔ＋β」との間の近似誤差は、下記の式（２）に示すように、｛ｙｉ－（αｔｉ＋β）｝の２乗として表すことができる。ここで、近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列に適する近似関数を求める場合、各時刻における心拍数の近似誤差、すなわち｛ｙｉ－（αｔｉ＋β）｝の２乗の和が最小となる傾きパラメータα及び切片パラメータβの組合せを求めればよい。なお、下記の式（２）における「α」は、近似関数の傾きパラメータを指し、「β」は、近似関数の切片パラメータを指す。また、「ｙｉ」は、ｉ番目の心拍数を指し、「ｔｉ」は、ｉ番目の時刻を指し、「Ｎ」は、近似対象となるデータ数を指す。
Figure JPOXMLDOC01-appb-M000002
　例えば、図３３の最上段に示す近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列の場合、傾きパラメータαが「１７．１（bpm/hour）」と求まり、切片パラメータβが「６６．９（bpm/hour）」と求まる。図３３の最下段に示すように、このようにして求められた傾きパラメータα「１７．１」が第２ピークの上昇速度として保存されることになる。
　さらに、第２ピークの回復速度が求められる。図３５は、特徴量の算出過程の一例を示す図である。図３５の最上段には、番号「ｉ」の窓データのうち食後期間Ｔａ２に含まれる心拍数のデータ列が抜粋して示されると共に、図３５の最下段には、番号「ｉ」の窓データに関する特徴量のうち食事前心拍数、第１ピーク面積、第２ピーク面積、食事前面積、第１ピークの振幅、第２ピークの振幅及び第２ピークの上昇速度に加え、第２ピークの回復速度の算出結果がさらに示されている。
　このように第２ピークの回復速度を求める場合、第２ピークの最大心拍数Ｐ２が計測された時刻「１３時１９分００秒」を始点とし、食後期間Ｔａ２の終了時刻「１５時４２分００秒」を終点とする期間が近似対象期間ＴＰ２＿ａ２として設定される。
　その上で、上記の第２ピークの上昇速度を算出する場合と同様にして、当該近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列を用いて、関数近似を行うことにより、第２ピークの回復速度が算出される。つまり、近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列に適する近似関数を求める場合、各時刻における心拍数の近似誤差、すなわち｛ｙｉ－（αｔｉ＋β）｝の２乗の和が最小となる傾きパラメータα及び切片パラメータβの組合せを求めればよい。
　この結果、図３５の最上段に示す近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列の場合、傾きパラメータαが「－６．４（bpm/hour）」と求まり、切片パラメータβが「８３．９（bpm/hour）」と求まる。すると、図３５の最下段に示すように、傾きパラメータα「－６．４」が第２ピークの回復速度として保存されることになる。
　このようにして、ｉ番目の窓データに含まれる心拍数系列から、上記の特徴量として、第１ピーク面積、第２ピーク面積、第２ピーク回復速度、第２ピーク上昇速度、第１ピーク振幅、第２ピーク振幅、食事前心拍数及び食事前面積が求まることになる。
　その後、全ての窓データに関する特徴量が算出されると、各窓データの特徴量がリスト化された観測特徴量リストと共に時刻ごとの摂食動作回数がリスト化された摂食動作回数リストがセンサ端末１０からサーバ装置１００へ送信されることになる。図３６は、観測特徴量リストの一例を示す図であり、図３７は、摂食動作回数リストの一例を示す図である。図３６に示すように、番号「１」から番号「Ｍ」までの窓データごとに算出された第１ピーク面積、第２ピーク面積、第２ピーク回復速度、第２ピーク上昇速度、第１ピーク振幅、第２ピーク振幅、食事前心拍数及び食事前面積が登載された観測特徴量リストがセンサ端末１０からサーバ装置１００へ送信される。さらに、図３７に示すように、心拍数データの開始時刻から心拍数データの終了時刻までの各時刻の摂食動作回数が登載された摂食動作回数リストがセンサ端末１０からサーバ装置１００へ送信される。
　これを受けたサーバ装置１００では、上記の特徴量記憶部１２０に教師データとして予め記憶された特徴量ベクトルを用いて、サポートベクトルマシンにおける最適化アルゴリズムを適用することにより、サポートベクトルｘ(support)とその重みｃを特定することにより、食事推定モデルが作成される。
　図３８は、教師データの一例を示す図である。図３９は、食事推定モデルの一例を示す図である。図３８に示すように、教師データは、各窓データごとに第１ピーク面積、第２ピーク面積、第２ピーク回復速度、第２ピーク上昇速度、第１ピーク振幅、第２ピーク振幅、食事前心拍数及び食事前面積などの各特徴量と共に当該窓データの食事クラスが対応付けられた正解付きのデータである。ここで、図３８に示す食事クラスが「●」である場合、当該窓データの特徴量が「食事」に分類されていることを示す一方で、食事クラスが「×」である場合、当該窓データの特徴量が「非食事」に分類されていることを示す。図３８に示す教師データの場合、食事開始時刻を８月２９日の１２時２０分００秒とする窓データの特徴量、及び、食事開始時刻を８月３０日の１２時３５分００秒とする窓データの特徴量が食事に分類されていることを意味する。さらに、食事開始時刻を８月３０日の２０時５０分００秒とする窓データの特徴量が非食事に分類されていることを意味する。かかる図３８に示す教師データを用いて学習が行われた場合、図３９に示す食事推定モデルが得られることになる。図３９に示す食事推定モデルの場合、クラス分類の識別境界付近に位置するサポートベクトルが「１」～「Ｌ」のＬ個存在することを意味する。例えば、サポートベクトル「１」には重み「０．４２」が付与され、サポートベクトル「Ｌ」には重み「０．１１」が付与されることを意味する。
　このような食事推定モデルに対し、図３６に示した観測特徴量リストに含まれる特徴量ベクトルを代入させることにより、図４０に示す出力結果が得られることになる。図４０は、食事有無の推定結果の一例を示す図である。図４０には、図３６に示した観測特徴量リストに食事推定モデルの出力値および食事有無の推定結果が付加されている。番号「１」～番号「Ｍ」の窓データのうち図４０に抜粋されている窓データの中では、番号「ｍ」の窓データの出力値「０．８７」だけがゼロ以上であり、クラス「食事」に分類されていることがわかる。
　かかる食事推定モデルによる食事有無の判定が行われた後、センサ端末１０から受け付けた摂食動作回数リストを用いて、食事にクラス分類された窓データで食事が行われたのか否かがさらに判定される。図４１は、摂食動作回数リストを用いる食事判定の一例を示す図である。図４１の左側には、食事判定結果が示されており、図４１の中央には、摂食動作回数リストが示されており、図４１の右側には、判定結果が示されている。図４１に示すように、食事推定モデルによる食事判定では、番号「ｍ」の窓データがクラス「食事」に分類されている。このため、番号「ｍ」の窓データの食事開始時刻から所定期間、例えば２０分間の区間で、所定回数、例えば１０回以上の摂食動作回数が検出されているかが判定される。本例では、番号「ｍ」の窓データの食事開始時刻である１２時４２分００秒からその２０分後の１３時０２分００秒までに１７回の摂食動作が検出されているので、図４１の右側に示すように、番号「ｍ」の窓データは、食事と判定されることになる。
［処理の流れ］
　続いて、本実施例に係るヘルスケア支援システムの処理の流れについて説明する。なお、ここでは、センサ端末１０及びサーバ装置１００によって実行される全体フローを説明してから、センサ端末１０によって実行される特徴量（１）～特徴量（５）の算出処理について説明することとする。
（１）全体フロー
　図４２は、実施例１に係る全体フローの手順を示すフローチャートである。この処理は、一例として、所定の時間長、例えば１２時間や１日間などにわたる心拍数データ及び加速度データが取得された場合に起動される。
　図４２に示すように、心拍数データ取得部１１により心拍数データが取得されると共に加速度データ取得部１２により加速度データが取得されると（ステップＳ１０１）、運動期間判定部１３は、次のような処理を実行する。すなわち、運動期間判定部１３は、ステップＳ１０１で取得された加速度データのうち重力方向の加速度を用いて、運動に対応する上昇および下降のパターン同士の間隔が所定期間内に繰り返して現れる区間を運動期間として判定する（ステップＳ１０２）。
　続いて、摂食動作判定部１７は、ステップＳ１０１で取得された加速度データのうち前後方向の加速度を用いて、摂食動作に対応する前後往復のパターンを判定する（ステップＳ１０３）。
　そして、ノイズ心拍数除去部１４は、ステップＳ１０１で取得された心拍数データから、ステップＳ１０２で判定された運動期間に一定期間を加えた除去期間に対応する区間を除去する（ステップＳ１０４）。
　その上で、窓データ作成部１５は、ステップＳ１０４による除去が行われた心拍数データに、所定の時間長を持つ窓を所定のずらし幅で窓の終了時刻が心拍数データの終了時刻と一致するまでシフトさせながら窓内の部分データを切り出すことにより、心拍数データがセグメント化された窓データを作成する（ステップＳ１０５）。
　そして、特徴量算出部１６は、ステップＳ１０５で作成された窓データのうち窓データを１つ選択する（ステップＳ１０６）。続いて、特徴量算出部１６は、ステップＳ１０６で選択された窓データを用いて、特徴量（１）～特徴量（５）のうち少なくともいずれか１つもしくはこれらの組合せを算出する特徴量の算出処理を実行する（ステップＳ１０７）。
　その後、ステップＳ１０５で作成された全ての窓データが選択されるまで（ステップＳ１０８Ｎｏ）、特徴量算出部１６は、上記のステップＳ１０６及びステップＳ１０７の処理を繰り返し実行する。
　そして、ステップＳ１０５で作成された全ての窓データが選択された場合（ステップＳ１０８Ｙｅｓ）、センサ端末１０の通信Ｉ／Ｆ部１８は、ステップＳ１０７で窓データごとに算出された特徴量、及び、ステップＳ１０３で判定された摂食動作情報、例えば摂食動作に対応する前後往復のパターンを形成する下降の開始時刻及び上昇の終了時刻などをサーバ装置１００へ送信する（ステップＳ１０９）。
　一方、サーバ装置１００のモデル作成部１３０は、特徴量記憶部１２０に教師データとして記憶された正解付きの特徴量を用いて、サポートベクトルｘ(support)とその重みｃを特定することにより、食事推定モデルを作成する（ステップＳ１１０）。
　続いて、第１判定部１４０は、センサ端末１０から受信された窓データの特徴量ごとに、ステップＳ１１０で作成された食事推定モデルに当該窓データの特徴量を代入することにより出力された出力値が所定の閾値以上であるか否かにより、当該窓データでの食事の有無を判定する（ステップＳ１１１）。なお、センサ端末１０から受信された窓データの中にステップＳ１１１で食事にクラス分類された窓データが存在しない場合（ステップＳ１１２Ｎｏ）、そのまま処理を終了する。
　そして、センサ端末１０から受信された窓データの中にステップＳ１１１で食事にクラス分類された窓データが存在する場合（ステップＳ１１２Ｙｅｓ）、第２判定部１５０は、次のような処理を実行する。すなわち、第２判定部１５０は、ステップＳ１１１で食事と判定された窓データの所定区間、すなわち食事開始時刻から２０分間までの区間内に、上記の摂食動作に対応する前後往復のパターンが所定回数以上含まれているか否かを判定する（ステップＳ１１３）。なお、摂食動作に対応する前後往復のパターンが所定回数以上含まれない場合（ステップＳ１１３Ｎｏ）にも、そのまま処理を終了する。
　ここで、摂食動作に対応する前後往復のパターンが所定回数以上含まれている場合（ステップＳ１１３Ｙｅｓ）には、当該窓データで仮定した食事開始時刻が妥当である可能性が高いと推定できる。この場合、第２判定部１５０は、当該窓データから食事時刻、すなわち食事開始時刻、食事終了時刻、もしくは、これらの組合せのうち少なくともいずれか１つを食事時刻として特定する（ステップＳ１１４）。
　その後、サービス提供部１６０は、ステップＳ１１４で特定された食事時刻を記録したり、それまでに記録された食事時刻から所定期間にわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることにより、ヘルスケア支援サービスを提供し（ステップＳ１１５）、処理を終了する。
（２．１）特徴量（１）の算出処理
　図４３は、特徴量（１）の算出処理の手順を示すフローチャートである。この処理は、ステップＳ１０７に対応する処理であり、特徴量（２）～特徴量（５）の算出処理との間で互いを並行して実行することもできるし、互いの後先を問わずに任意の順序で実行することもできる。
　図４３に示すように、特徴量算出部１６は、一例として、窓データに含まれる食事開始時刻Ｔｓで計測される心拍数をベースラインとして導出する（ステップＳ２０１）。続いて、特徴量算出部１６は、食事開始時刻Ｔｓを始点とし、心拍数が第１ピークを経てベースラインＢＬまで回復した時刻を終点とする食事期間Ｔａ１において、ステップＳ２０１で導出されたベースラインＢＬからの心拍数の上昇幅を合計または平均することにより、第１ピーク領域Ａ１の面積Ｓ１を求める（ステップＳ２０２）。
　そして、特徴量算出部１６は、第１ピーク領域Ａ１の食事期間Ｔａ１の終点もしくはその終点よりも後の時刻を始点とし、心拍数が第２ピークを経てベースラインＢＬまで回復した時刻を終点とする食後期間Ｔａ２において、ステップＳ２０１で導出されたベースラインＢＬからの心拍数の上昇幅を合計または平均することにより、第２ピーク領域Ａ２の面積Ｓ２を算出し（ステップＳ２０３）、処理を終了する。なお、各時刻の心拍数の値として、その時刻前後の時間帯における心拍数を移動平均した値を用いてもよい。
　このように、特徴量（１）として、第１ピーク領域Ａ１の面積、及び、第２ピーク領域Ａ２の面積が算出される。
（２．２）特徴量（２）の算出処理
　図４４は、特徴量（２）の算出処理の手順を示すフローチャートである。この処理は、ステップＳ１０７に対応する処理であり、特徴量（１）、特徴量（３）～特徴量（５）の算出処理との間で互いを並行して実行することもできるし、互いの後先を問わずに任意の順序で実行することもできる。
　図４４に示すように、特徴量算出部１６は、食事期間Ｔａ１で計測される心拍数のうち心拍数が最大である第１ピークの最大心拍数Ｐ１が計測された時刻を特定する（ステップＳ３０１）。
　続いて、特徴量算出部１６は、食事開始時刻ＴｓからステップＳ３０１で特定された最大心拍数Ｐ１の計測時刻までの期間を近似対象期間Ｔｓ＿Ｐ１とし、近似対象期間Ｔｓ＿Ｐ１に含まれる心拍数のデータ列に関数近似を行うことにより、第１ピークの上昇速度を算出する（ステップＳ３０２）。
　そして、特徴量算出部１６は、第１ピークの最大心拍数Ｐ１の計測時刻から食事終了後の一定期間を経過するまでの期間を近似対象期間Ｔａ１＿Ｐ１とし、近似対象期間Ｔａ１＿Ｐ１に含まれる心拍数のデータ列に関数近似を行うことにより、第１ピークの回復速度を算出する（ステップＳ３０３）。
　また、特徴量算出部１６は、食後期間Ｔａ２で計測される心拍数のうち心拍数が最大である第２ピークの最大心拍数Ｐ２が計測された時刻を特定する（ステップＳ３０４）。
　続いて、特徴量算出部１６は、食後期間Ｔａ２の開始時刻からステップＳ３０４で特定された第２ピークの最大心拍数Ｐ２の計測時刻までの期間を近似対象期間Ｔａ２＿Ｐ２とし、近似対象期間Ｔａ２＿Ｐ２に含まれる心拍数のデータ列に関数近似を行うことにより、第２ピークの上昇速度を算出する（ステップＳ３０５）。
　そして、特徴量算出部１６は、第２ピークの最大心拍数Ｐ２の計測時刻から食後期間Ｔａ２の終了時刻までの期間を近似対象期間ＴＰ２＿ａ２とし、近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列に関数近似を行うことにより、第２ピークの回復速度を算出し（ステップＳ３０６）、処理を終了する。
　このように、特徴量（２）として、第１ピークへ至るまでの心拍数の上昇速度、第１ピークからの心拍数の回復速度、第２ピークへ至るまでの心拍数の上昇速度、及び、第２ピークからの心拍数の回復速度が算出される。
（２．３）特徴量（３）の算出処理
　図４５は、特徴量（３）の算出処理の手順を示すフローチャートである。この処理は、ステップＳ１０７に対応する処理であり、特徴量（１）～特徴量（２）、特徴量（４）～特徴量（５）の算出処理との間で互いを並行して実行することもできるし、互いの後先を問わずに任意の順序で実行することもできる。
　図４５に示すように、特徴量算出部１６は、食事期間Ｔａ１で計測される心拍数のうち心拍数が最大である第１ピークの最大心拍数Ｐ１を導出する（ステップＳ４０１）。さらに、特徴量算出部１６は、食後期間Ｔａ２で計測される心拍数のうち心拍数が最大である第２ピークの最大心拍数Ｐ２を導出し（ステップＳ４０２）、処理を終了する。
　このように、上記の特徴量（３）として、第１ピークの振幅、及び、第２ピークの振幅が算出される。
（２．４）特徴量（４）の算出処理
　図４６は、特徴量（４）の算出処理の手順を示すフローチャートである。この処理は、ステップＳ１０７に対応する処理であり、特徴量（１）～特徴量（３）及び特徴量（５）の算出処理との間で互いを並行して実行することもできるし、互いの後先を問わずに任意の順序で実行することもできる。
　図４６に示すように、特徴量算出部１６は、食事期間Ｔａ１で計測される心拍数のうち心拍数が最大である第１ピークの最大心拍数Ｐ１が計測された時刻を特定する（ステップＳ５０１）。
　そして、特徴量算出部１６は、食事期間Ｔａ１の開始時刻、すなわち食事開始時刻ＴｓからステップＳ５０１で導出された第１ピークの最大心拍数Ｐ１の計測時刻までの時間を第１ピークの上昇時間として算出する（ステップＳ５０２）。
　続いて、特徴量算出部１６は、第１ピークの最大心拍数Ｐ１の計測時刻から食事終了後の一定期間を経過するまでの期間を近似対象期間Ｔａ１＿Ｐ１とし、近似対象期間Ｔａ１＿Ｐ１に含まれる心拍数のデータ列に関数近似を行うことにより、第１ピークの回復速度を算出する（ステップＳ５０３）。
　その上で、特徴量算出部１６は、ステップＳ５０３で算出された第１ピークの回復速度、すなわち近似関数の傾きで推移する心拍数がベースラインＢＬの心拍数に到達するまでの経過時間を第１ピークの回復時間として算出する（ステップＳ５０４）。
　また、特徴量算出部１６は、食後期間Ｔａ２で計測される心拍数のうち心拍数が最大である第２ピークの最大心拍数Ｐ２が計測された時刻を特定する（ステップＳ５０５）。
　そして、特徴量算出部１６は、食事期間Ｔａ１の開始時刻、すなわち食事開始時刻ＴｓからステップＳ５０５で特定された第２ピークの最大心拍数Ｐ２の計測時刻までの時間を第２ピークの上昇時間として算出する（ステップＳ５０６）。
　続いて、特徴量算出部１６は、第２ピークの最大心拍数Ｐ２の計測時刻から食後期間Ｔａ２の終了時刻までの期間を近似対象期間ＴＰ２＿ａ２とし、近似対象期間ＴＰ２＿ａ２に含まれる心拍数のデータ列に関数近似を行うことにより、第２ピークの回復速度を算出する（ステップＳ５０７）。
　その後、特徴量算出部１６は、ステップＳ５０７で算出された第２ピークの回復速度、すなわち近似関数の傾きで推移する心拍数がベースラインＢＬの心拍数に到達するまでの経過時間を第２ピークの回復時間として算出し（ステップＳ５０８）、処理を終了する。
　このように、上記の特徴量（４）として、第１ピークまでの心拍数の上昇時間、第１ピークからの心拍数の回復時間、第２ピークまでの心拍数の上昇時間、及び、第２ピークからの心拍数の回復時間が算出される。
（２．５）特徴量（５）の算出処理
　図４７は、特徴量（５）の算出処理の手順を示すフローチャートである。この処理は、ステップＳ１０７に対応する処理であり、特徴量（１）～特徴量（４）の算出処理との間で互いを並行して実行することもできるし、互いの後先を問わずに任意の順序で実行することもできる。
　図４７に示すように、特徴量算出部１６は、窓データの開始時刻から食事開始時刻までの食事前期間で計測される心拍数のうち最低の値をとる心拍数を食事前心拍数として導出する（ステップＳ６０１）。
　その上で、特徴量算出部１６は、窓データの開始時刻から食事開始時刻までの食事前期間において、食事前心拍数からの心拍数の上昇幅を合計または平均することにより、食事前面積を算出し（ステップＳ６０２）、処理を終了する。
　このように、上記の特徴量（５）として、食事前心拍数、及び、食事前面積が算出される。
［効果の一側面］
　上述してきたように、本実施例に係るヘルスケア支援システム１は、心拍数の時系列データから食事時刻を推定する場合に、食事開始後に先行して現れる第１ピークに後続して現れる第２ピークに関する特徴量を算出して食事時刻の推定に用いる。したがって、本実施例に係るヘルスケア支援システム１によれば、食事判定の精度低下を抑制できる。
　さらに、本実施例に係るヘルスケア支援システム１は、食事開始後に現れる第１ピーク及び第２ピークの特徴量として心拍数の回復変化に関する特徴量を算出して食事時刻の推定に用いる。それ故、本実施例に係るヘルスケア支援システム１によれば、食事判定の精度低下を抑制できる。
［実験例］
　ここで、既存の技術と本実施例との間で食事時刻の推定精度とを比較することにより、本実施例が既存の技術に比べて有利な効果を有する点について説明する。例えば、既存の技術では、第１ピークの心拍数上昇幅を使って食事時刻を推定する一方で、本実施例では、上記の５種１４個の特徴量を用いて食事時刻を推定する。
　このような前提の下、既存の技術と本実施例との間で「食事」及び「非食事」のクラス分類の正解率、すなわちクラス分類が正解した窓データの数／全窓データの数を比較する。ここで、既存の技術では、平均正解率が「４９．２％」であったのに対し、本実施例では、平均正解率が「９８．４％」であることが実験の結果として判明した。このように、本実施例では、既存の技術に比べて平均正解率が約２倍ほど高いので、既存の技術に比べて有利な効果を奏すると言える。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［スタンドアローン］
　上記の実施例１では、センサ端末１０及びサーバ装置１００を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、心拍数データの取得から食事時刻の推定までの一連の処理をセンサ端末１０、サーバ装置１００、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。
［システムの応用例］
　上記の実施例１では、ヘルスケア支援システム１にサーバ装置１００が含まれることとしたが、必ずしもサーバ装置１００が含まれずともかまわない。すなわち、センサ端末１０がウェアラブルガジェット等として実装される場合、ウェアラブルガジェットにより近距離無線通信等で接続されるスマートフォンやタブレット端末で心拍数データの取得以外の各種の処理、例えば運動期間の判定、摂食動作の判定、特徴量の算出や食事時刻の推定を実行させることとしてもかまわない。
［食事時刻以外の出力］
　上記の実施例１では、食事開始時刻、食事終了時刻、または、これらの組合せを出力させる場合を例示したが、これ以外の情報を出力させることもできる。例えば、サーバ装置１００は、次に食事を摂取するのを推奨する時刻として、食後期間Ｔａ２の終了時刻や第２ピークの回復時間を出力することができる。これにより、消化活動が終了した時点で次の食事を行わせることができる結果、食習慣の質を向上させることができる。
［心拍数データと併用する情報の応用例］
　上記の実施例１では、食事時刻の推定に心拍数と共に加速度データを用いる場合を例示したが、必ずしも加速度データを用いずともかまわず、また、加速度データ以外の他の情報を用いることもできる。
［生体情報］
　例えば、食事時刻の推定に心拍数と共に生体情報を併用することもできる。一例として、体温、皮膚温の上昇、呼吸数の上昇、血圧の上昇、発汗量の上昇、血糖値の上昇、体重の上昇、胸囲または腹囲の増加、唾液量の増加、（食事後の）眠気、口内または舌の色素量の変化などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［動作情報］
　また、食事時刻の推定に心拍数と共に動作情報を併用することもできる。一例として、顔全体の動き、口元の動き、頭部または上半身の動き、食物を持ち上げる時の腕の動き、胃、腸または食道の動き、前傾姿勢などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［音声情報］
　さらに、食事時刻の推定に心拍数と共に音声情報を併用することもできる。一例として、咀嚼音、嚥下音、啜る音、食器具の音（カチャカチャ）などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［テキスト情報］
　また、食事時刻の推定に心拍数と共にテキスト情報、例えば食事行為に関連するメール、掲示板または投稿情報のキーワードを併用することもできる。
［周囲環境情報］
　さらに、食事時刻の推定に心拍数と共に周囲環境情報を併用することもできる。一例として、食事特有の場所（店舗レベル、部屋レベル、食卓レベル）にいるという位置検知、食事物が画像、例えばウェアラブルで撮像された画像中にあるという画像検知、食事の匂いがするというイベント、呼気の匂いがするというイベント、口の中の匂いがするというイベント、卓上物（醤油など）が動くというイベント、食器の重さが変わるというイベント、食卓椅子が動くというイベント、周囲の照度が閾値よりも明るいというイベントなどのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［食事前の行動パターン］
　さらに、食事時刻の推定に心拍数と共に食事前の行動パターンを併用することもできる。一例として、調理の習慣（ガス使用、水道使用、調理器具使用）、手洗い、買い物、冷蔵庫の食材数及び／又は重さの増加、直前の食事時刻から所定時間が空く咀嚼音、嚥下音、啜る音、食器具の音（カチャカチャ）などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［食事中の行動パターン］
　さらに、食事時刻の推定に心拍数と共に食事中の行動パターンを併用することもできる。一例として、テレビをよくつけるという習慣、上着をよく脱ぐという習慣、他人とよくいるという習慣、会話するという習慣、所定の時間帯に食事するという習慣、食事中に写真をとるという習慣、会議や睡眠などのように食事と同時発生しない行動が起こっていないという条件などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［食事後の行動パターン］
　さらに、食事時刻の推定に心拍数と共に食事後の行動パターンを併用することもできる。一例として、食後の所定時間後によくトイレいくという習慣、食後によく寝るという習慣、食後に電子マネーが減るという習慣、食後にベルトをよく緩めるという習慣などのうち少なくとも１つまたはこれらの組合せを食事時刻の推定に併用できる。
［食事推定プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図４８を用いて、上記の実施例と同様の機能を有する食事推定プログラムを実行するコンピュータの一例について説明する。
　図４８は、実施例１及び実施例２に係る食事推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。図４８に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００～１８００の各部はバス１４００を介して接続される。
　ＨＤＤ１７００には、図４８に示すように、上記の実施例１で示した心拍数データ取得部１１、加速度データ取得部１２、運動期間判定部１３、ノイズ心拍数除去部１４、窓データ作成部１５、特徴量算出部１６、摂食動作判定部１７、モデル作成部１３０、第１判定部１４０、第２判定部１５０及びサービス提供部１６０と同様の機能を発揮する食事推定プログラム１７００ａが記憶される。この食事推定プログラム１７００ａは、図１に示した各機能部の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。
　このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から食事推定プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、食事推定プログラム１７００ａは、図４８に示すように、食事推定プロセス１８００ａとして機能する。この食事推定プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち食事推定プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事推定プロセス１８００ａが実行する処理の一例として、図４２～図４７に示す処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
　なお、上記の食事推定プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。
　　　１　　ヘルスケア支援システム
　　　５　　ネットワーク
　　１０　　センサ端末
　　１１　　心拍数データ取得部
　　１２　　加速度データ取得部
　　１３　　運動期間判定部
　　１４　　ノイズ心拍数除去部
　　１５　　窓データ作成部
　　１６　　特徴量算出部
　　１７　　摂食動作判定部
　　１８　　通信Ｉ／Ｆ部
　１００　　サーバ装置
　１１０　　通信Ｉ／Ｆ部
　１２０　　特徴量記憶部
　１３０　　モデル作成部
　１４０　　第１判定部
　１５０　　第２判定部
　１６０　　サービス提供部

Claims (13)

  1. 　コンピュータに、
    　心拍数の時系列データを取得し、
    　前記心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出し、
    　前記部分データごとに算出された第２ピークに関する特徴量を用いて、前記部分データにおける食事の有無を判定し、
    　前記食事が有りと判定された部分データから食事時刻を推定する
    　処理を実行させることを特徴とする食事推定プログラム。
  2. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピーク周辺の心拍数の部分波形により形成される面積を算出することを特徴とする請求項１に記載の食事推定プログラム。
  3. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピークへの心拍数の上昇速度および前記第２ピークからの心拍数の回復速度を算出することを特徴とする請求項１に記載の食事推定プログラム。
  4. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピークまでの心拍数の上昇時間および前記第２ピークからの心拍数の回復時間を算出することを特徴とする請求項１に記載の食事推定プログラム。
  5. 　前記算出する処理は、前記第１ピークに関する特徴量をさらに算出することを特徴とする請求項１に記載の食事推定プログラム。
  6. 　前記コンピュータに、
    　加速度の時系列データを取得し、
    　前記加速度の時系列データから前記食事の摂食動作に対応する加速度変化を判定する処理をさらに実行させ、
    　前記判定する処理は、前記食事の摂食動作に対応する加速度変化を用いて、前記部分データにおける食事の有無をさらに判定することを特徴とする請求項１に記載の食事推定プログラム。
  7. 　前記コンピュータに、
    　加速度の時系列データを取得し、
    　前記加速度の時系列データから運動に対応する加速度変化を判定し、
    　前記心拍数の時系列データから前記運動に対応する加速度変化の区間を除去または除去後に内挿補完する処理をさらに実行させることを特徴とする請求項１に記載の食事推定プログラム。
  8. 　コンピュータに、
    　心拍数の時系列データを取得し、
    　前記心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークからの回復変化に関する特徴量と、前記第１ピークに後続して現れる第２ピークからの回復変化に関する特徴量とを算出し、
    　前記部分データごとに算出された第１ピーク及び第２ピークの回復変化に関する特徴量を用いて、前記部分データにおける食事の有無を判定し、
    　前記食事が有りと判定された部分データから食事時刻を推定する
    　処理を実行させることを特徴とする食事推定プログラム。
  9. 　コンピュータが、
    　心拍数の時系列データを取得し、
    　前記心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出し、
    　前記部分データごとに算出された第２ピークに関する特徴量を用いて、前記部分データにおける食事の有無を判定し、
    　前記食事が有りと判定された部分データから食事時刻を推定する
    　処理を実行することを特徴とする食事推定方法。
  10. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピーク周辺の心拍数の部分波形により形成される面積を算出することを特徴とする請求項９に記載の食事推定方法。
  11. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピークへの心拍数の上昇速度および前記第２ピークからの心拍数の回復速度を算出することを特徴とする請求項９に記載の食事推定方法。
  12. 　前記算出する処理は、前記第２ピークに関する特徴量として、前記第２ピークまでの心拍数の上昇時間および前記第２ピークからの心拍数の回復時間を算出することを特徴とする請求項９に記載の食事推定方法。
  13. 　心拍数の時系列データを取得する取得部と、
    　前記心拍数の時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出する算出部と、
    　前記部分データごとに算出された第２ピークに関する特徴量を用いて、前記部分データにおける食事の有無を判定する判定部と、
    　前記食事が有りと判定された部分データから食事時刻を推定する推定部と
    　を有することを特徴とする食事推定装置。
PCT/JP2014/083059 2014-12-12 2014-12-12 食事推定プログラム、食事推定方法及び食事推定装置 WO2016092707A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14907921.2A EP3231362A4 (en) 2014-12-12 2014-12-12 Meal intake estimation program, meal intake estimation method, and meal intake estimation device
JP2016563385A JP6489130B2 (ja) 2014-12-12 2014-12-12 食事推定プログラム、食事推定方法及び食事推定装置
PCT/JP2014/083059 WO2016092707A1 (ja) 2014-12-12 2014-12-12 食事推定プログラム、食事推定方法及び食事推定装置
US15/614,976 US20170273634A1 (en) 2014-12-12 2017-06-06 Meal estimation method, meal estimation apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/083059 WO2016092707A1 (ja) 2014-12-12 2014-12-12 食事推定プログラム、食事推定方法及び食事推定装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/614,976 Continuation US20170273634A1 (en) 2014-12-12 2017-06-06 Meal estimation method, meal estimation apparatus, and recording medium

Publications (1)

Publication Number Publication Date
WO2016092707A1 true WO2016092707A1 (ja) 2016-06-16

Family

ID=56106951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083059 WO2016092707A1 (ja) 2014-12-12 2014-12-12 食事推定プログラム、食事推定方法及び食事推定装置

Country Status (4)

Country Link
US (1) US20170273634A1 (ja)
EP (1) EP3231362A4 (ja)
JP (1) JP6489130B2 (ja)
WO (1) WO2016092707A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017225744A (ja) * 2016-06-24 2017-12-28 日本光電工業株式会社 生体情報表示装置、生体情報表示方法、プログラム及び記憶媒体
JP2018000871A (ja) * 2016-07-08 2018-01-11 国立大学法人岩手大学 生体の動作識別システム及び生体の動作識別方法
JP2018084922A (ja) * 2016-11-22 2018-05-31 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2018083014A (ja) * 2016-11-25 2018-05-31 エヌ・ティ・ティ・コミュニケーションズ株式会社 バイタル信号取得装置、バイタル信号取得方法及びコンピュータプログラム
EP3417767A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
EP3417773A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
JP2019047859A (ja) * 2017-09-08 2019-03-28 株式会社吉田製作所 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体
EP3488773A4 (en) * 2016-07-22 2019-05-29 Fujitsu Limited INFORMATION PROCESSING DEVICE, DIGESTION RATE ESTIMATING METHOD, INFORMATION PROCESSING SYSTEM, AND DIGESTION RATE ESTIMATING PROGRAM
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置
WO2020170858A1 (ja) * 2019-02-18 2020-08-27 オムロンヘルスケア株式会社 血圧レベル変化検出装置、血圧レベル変化検出方法、およびプログラム
JP6970481B1 (ja) * 2021-09-04 2021-11-24 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
JP7042541B1 (ja) * 2021-11-23 2022-03-28 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
WO2022202942A1 (ja) 2021-03-24 2022-09-29 アステラス製薬株式会社 心電図解析支援装置、プログラム、心電図解析支援方法、心電図解析支援システム、ピーク推定モデル生成方法、及び区間推定モデル生成方法
WO2022202943A1 (ja) 2021-03-24 2022-09-29 アステラス製薬株式会社 心電図解析支援装置、プログラム、心電図解析支援方法、及び心電図解析支援システム
EP3424418B1 (en) * 2017-07-05 2023-11-08 Stichting IMEC Nederland A method and a system for detecting a vital sign of a subject
WO2023219059A1 (ja) * 2022-05-09 2023-11-16 京セラ株式会社 分析装置、および分析方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3372153B1 (en) 2015-11-05 2023-05-03 Fujitsu Limited Meal detection device, meal detection method, and meal detection program
FI3372155T3 (fi) * 2015-11-06 2023-04-25 Fujitsu Ltd Ruokailuajan arviointimenetelmä, ruokailuajan arviointiohjelma, ja ruokailuajan arviointilaite
TWI603280B (zh) * 2015-12-04 2017-10-21 財團法人工業技術研究院 飲食攝取異常分析系統和方法
US10463295B2 (en) * 2016-06-13 2019-11-05 Medtronic, Inc. Multi-parameter prediction of acute cardiac episodes and attacks
US20210369187A1 (en) * 2020-05-27 2021-12-02 The Board Of Trustees Of The University Of Alabama Non-contact chewing sensor and portion estimator

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド， エラン・メイア 食物摂取を監視するための機器
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2007048180A (ja) * 2005-08-12 2007-02-22 Yoriaki Yamai 体に良い食事摂取をナビゲートする装置
JP2010158267A (ja) * 2009-01-06 2010-07-22 Sony Corp ライフスタイルを評価するための方法、情報処理装置及びプログラム
JP2011115508A (ja) * 2009-12-07 2011-06-16 Sharp Corp 食行動検知システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316451A1 (en) * 2010-12-08 2012-12-13 Intrapace, Inc. Event Evaluation Using Heart Rate Variation for Ingestion Monitoring and Therapy
JP6557952B2 (ja) * 2014-09-03 2019-08-14 富士通株式会社 対象者特定装置、対象者特定プログラム及び対象者特定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド， エラン・メイア 食物摂取を監視するための機器
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2007048180A (ja) * 2005-08-12 2007-02-22 Yoriaki Yamai 体に良い食事摂取をナビゲートする装置
JP2010158267A (ja) * 2009-01-06 2010-07-22 Sony Corp ライフスタイルを評価するための方法、情報処理装置及びプログラム
JP2011115508A (ja) * 2009-12-07 2011-06-16 Sharp Corp 食行動検知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3231362A4 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017225744A (ja) * 2016-06-24 2017-12-28 日本光電工業株式会社 生体情報表示装置、生体情報表示方法、プログラム及び記憶媒体
JP2018000871A (ja) * 2016-07-08 2018-01-11 国立大学法人岩手大学 生体の動作識別システム及び生体の動作識別方法
EP3488773A4 (en) * 2016-07-22 2019-05-29 Fujitsu Limited INFORMATION PROCESSING DEVICE, DIGESTION RATE ESTIMATING METHOD, INFORMATION PROCESSING SYSTEM, AND DIGESTION RATE ESTIMATING PROGRAM
JP2018084922A (ja) * 2016-11-22 2018-05-31 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2018083014A (ja) * 2016-11-25 2018-05-31 エヌ・ティ・ティ・コミュニケーションズ株式会社 バイタル信号取得装置、バイタル信号取得方法及びコンピュータプログラム
US20180368764A1 (en) * 2017-06-23 2018-12-27 Fujitsu Limited Meal detection method, meal detection system, and storage medium
US10952670B2 (en) 2017-06-23 2021-03-23 Fujitsu Limited Meal detection method, meal detection system, and storage medium
JP2019005232A (ja) * 2017-06-23 2019-01-17 富士通株式会社 食事検知プログラム、食事検知方法及び食事検知システム
JP2019005220A (ja) * 2017-06-23 2019-01-17 富士通株式会社 食事検知プログラム、食事検知方法及び食事検知システム
EP3417773A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
EP3417767A1 (en) 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
US11039794B2 (en) 2017-06-23 2021-06-22 Fujitsu Limited Meal detection method, meal detection system, and storage medium
EP3424418B1 (en) * 2017-07-05 2023-11-08 Stichting IMEC Nederland A method and a system for detecting a vital sign of a subject
JP7113387B2 (ja) 2017-09-08 2022-08-05 株式会社吉田製作所 治療検査システムの作動方法、並びに治療検査システムの治療検査プログラム、及び、その記憶媒体
JP2019047859A (ja) * 2017-09-08 2019-03-28 株式会社吉田製作所 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置
JP2020130533A (ja) * 2019-02-18 2020-08-31 オムロンヘルスケア株式会社 血圧レベル変化検出装置、血圧レベル変化検出方法、およびプログラム
WO2020170858A1 (ja) * 2019-02-18 2020-08-27 オムロンヘルスケア株式会社 血圧レベル変化検出装置、血圧レベル変化検出方法、およびプログラム
JP7127571B2 (ja) 2019-02-18 2022-08-30 オムロンヘルスケア株式会社 血圧レベル変化検出装置、血圧レベル変化検出方法、およびプログラム
WO2022202942A1 (ja) 2021-03-24 2022-09-29 アステラス製薬株式会社 心電図解析支援装置、プログラム、心電図解析支援方法、心電図解析支援システム、ピーク推定モデル生成方法、及び区間推定モデル生成方法
WO2022202943A1 (ja) 2021-03-24 2022-09-29 アステラス製薬株式会社 心電図解析支援装置、プログラム、心電図解析支援方法、及び心電図解析支援システム
JP6970481B1 (ja) * 2021-09-04 2021-11-24 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
JP2023037657A (ja) * 2021-09-04 2023-03-16 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
JP7042541B1 (ja) * 2021-11-23 2022-03-28 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
WO2023219059A1 (ja) * 2022-05-09 2023-11-16 京セラ株式会社 分析装置、および分析方法

Also Published As

Publication number Publication date
JP6489130B2 (ja) 2019-03-27
EP3231362A1 (en) 2017-10-18
US20170273634A1 (en) 2017-09-28
JPWO2016092707A1 (ja) 2017-10-12
EP3231362A4 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6489130B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
Papapanagiotou et al. A novel chewing detection system based on ppg, audio, and accelerometry
Ramos-Garcia et al. Improving the recognition of eating gestures using intergesture sequential dependencies
Fontana et al. Detection and characterization of food intake by wearable sensors
JP6638734B2 (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
JP2015225460A (ja) 食事管理方法、食事管理システム及び食事管理端末
JP6425393B2 (ja) 予測システム、予測方法、および予測プログラム
US10595789B2 (en) Meal time estimation method, meal time estimation device, and recording medium
JP6828619B2 (ja) 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
EP3417773B1 (en) Meal detection method, meal detection system, and meal detection program
US20180254106A1 (en) Behavior sensing device, behavior sensing method, and recording medium
JP6676877B2 (ja) 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
JP2017012249A (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
US11832935B2 (en) Device, system and method for caloric intake detection
Garcia Using Hidden Markov Models to segment and classify wrist motions related to eating activities
Ramos Garcia Using hidden Markov models to segment and classify wrist motions related to eating activities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14907921

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016563385

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014907921

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE