WO2017077615A1 - 食事検知装置、食事検知方法および食事検知プログラム - Google Patents

食事検知装置、食事検知方法および食事検知プログラム Download PDF

Info

Publication number
WO2017077615A1
WO2017077615A1 PCT/JP2015/081122 JP2015081122W WO2017077615A1 WO 2017077615 A1 WO2017077615 A1 WO 2017077615A1 JP 2015081122 W JP2015081122 W JP 2015081122W WO 2017077615 A1 WO2017077615 A1 WO 2017077615A1
Authority
WO
WIPO (PCT)
Prior art keywords
meal
candidate
heart rate
meal candidate
unit
Prior art date
Application number
PCT/JP2015/081122
Other languages
English (en)
French (fr)
Inventor
森達也
前田一穂
猪又明大
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP15907801.3A priority Critical patent/EP3372153B1/en
Priority to PCT/JP2015/081122 priority patent/WO2017077615A1/ja
Priority to JP2017548572A priority patent/JP6544438B2/ja
Publication of WO2017077615A1 publication Critical patent/WO2017077615A1/ja
Priority to US15/969,021 priority patent/US10702210B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • This case relates to a meal detection device, a meal detection method, and a meal detection program.
  • a technology to detect meals is desired. For example, a technique is disclosed in which a change in heart rate over time is detected, and a peak of the heart rate that satisfies a predetermined condition is determined to be a meal (see, for example, Patent Document 1).
  • meal detection accuracy may be reduced.
  • the object of the present invention is to provide a meal detection device, a meal detection method, and a meal detection program that can improve the detection accuracy of meals.
  • the meal detection device includes a detection unit that detects an increase in heart rate, and a time until the heart rate decreases from the increase detected by the detection unit to a predetermined value in the temporal change of the heart rate.
  • a detection unit that detects an increase in heart rate, and a time until the heart rate decreases from the increase detected by the detection unit to a predetermined value in the temporal change of the heart rate.
  • Meal detection accuracy can be improved.
  • FIG. 1 It is a block diagram which illustrates the hardware constitutions of the meal detection apparatus which concerns on 1st Embodiment.
  • A) is a block diagram of each function implement
  • (b) is a functional block diagram showing each function of a meal detection part.
  • (A) is a figure which illustrates the time-dependent change of the heartbeat in the case of a meal
  • (b) is a figure which illustrates the time-dependent change when the space
  • A)-(c) is a figure which illustrates correction of a meal candidate.
  • (A) And (b) is a figure which illustrates calculation of a feature vector. It is a flowchart showing the specific example of a meal detection process.
  • (A) is a block diagram of each function implement
  • (b) is a functional block diagram showing each function of a meal detection part. It is a figure which illustrates a meal candidate.
  • (A) And (b) is a figure which illustrates removal of a meal candidate. It is a flowchart showing the specific example of the meal detection process which concerns on 2nd Embodiment.
  • (A) is the actual data of the temporal change of the heart rate when the interval between two meals is shortened, and (b) is a diagram illustrating separation of meal candidates.
  • (A) And (b) is a figure which illustrates the other apparatus structure of a meal detection apparatus.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the meal detection device 100 according to the first embodiment.
  • the meal detection device 100 includes a CPU 101, a RAM 102, a storage device 103, a display device 104, a heart rate measurement device 105, an acceleration sensor 106, and the like. Each of these devices is connected by a bus or the like.
  • a CPU (Central Processing Unit) 101 is a central processing unit.
  • the CPU 101 includes one or more cores.
  • a RAM (Random Access Memory) 102 is a volatile memory that temporarily stores programs executed by the CPU 101, data processed by the CPU 101, and the like.
  • the storage device 103 is a nonvolatile storage device.
  • a ROM Read Only Memory
  • SSD solid state drive
  • the meal detection program according to the present embodiment is stored in the storage device 103.
  • the display device 104 is a liquid crystal display, an electroluminescence panel, or the like, and displays a result of a meal detection process to be described later.
  • the heartbeat measuring device 105 is a device that measures a user's heartbeat (pulse).
  • the heartbeat measuring device 105 is not particularly limited as long as it can measure a heartbeat (pulse).
  • the heartbeat measuring device 105 may be an electrocardiograph or a pulsation sensor.
  • the acceleration sensor 106 is a sensor that detects the acceleration of the attachment site to the user.
  • the meal detection program stored in the storage device 103 is developed in the RAM 102 so as to be executable.
  • the CPU 101 executes a meal detection program developed in the RAM 102. Thereby, each process by the meal detection apparatus 100 is performed.
  • FIG. 2A is a block diagram of each function realized by executing the meal detection program.
  • the heart rate acquisition unit 10 the meal candidate detection unit 20, the heart rate peak extraction unit 30, the heart rate peak correction unit 40, the acceleration acquisition unit 50, the motion detection unit 60, the meal detection unit 70, and the meal index estimation unit. 80 or the like is realized.
  • FIG. 2B is a functional block diagram showing each function of the meal detection unit 70.
  • the meal detection unit 70 includes an area feature amount calculation unit 71, a speed feature amount calculation unit 72, an amplitude feature amount calculation unit 73, a time feature amount calculation unit 74, a model creation unit 75, It functions as a feature amount database 76, a meal time estimation unit 77, a determination unit 78, and the like.
  • FIG. 3A illustrates the change over time in the heart rate derived from the meal.
  • the horizontal axis represents elapsed time
  • the vertical axis represents heart rate.
  • the heart rate is the number of beats per unit time, specifically, the number of beats per minute.
  • the heart rate means the number of beats per minute.
  • the start time of the rising section in which the rising of the first peak is detected is the meal start time. For example, it is possible to detect a start time when the rate of increase in heart rate is equal to or greater than a threshold value and the rate of increase is equal to or greater than the threshold value as rising.
  • the time of the first peak is the end of meal.
  • the point in time when the heart rate of the second peak returns to a predetermined value is the end point of the heart rate increase interval.
  • the time when the heart rate of the second peak returns to the heart rate at the start of the meal may be set as the end time of the heart rate increase interval, and a predetermined value is added to or multiplied by the heart rate at the start of the meal
  • the time point when the value returns to the value may be set as the end point of the heart rate increase interval.
  • the waveform of the heart rate from the start point to the end point of the heart rate rise section derived from the meal is referred to as a heart rate peak.
  • the heart rate peak illustrated in FIG. 3A is detected sufficiently away. Thereby, a meal can be detected with high accuracy.
  • a plurality of heartbeat peaks overlap each other as illustrated in FIG.
  • the second peak in the subsequent meal appears after the first peak in the previous meal. In this case, the food detection accuracy is reduced. Therefore, in the present embodiment, an example will be described in which a plurality of heart rate peak candidates are detected and individual heart rate peaks are extracted, thereby improving meal detection accuracy.
  • the acceleration acquisition unit 50 acquires the detection result of the acceleration sensor 106. If the user's acceleration satisfies a predetermined condition, the user is exercising such as running or walking. Therefore, the motion detection unit 60 detects the user's exercise section based on the detection result acquired by the acceleration acquisition unit 50.
  • the heart rate acquisition unit 10 acquires a heart rate from the heart rate measuring device 105 to acquire a change in heart rate with time. Next, the heart rate acquisition unit 10 removes fluctuations in the heart rate in the exercise section. Thereby, it is possible to remove an exercise section estimated as not having a meal as noise.
  • the meal candidate detection unit 20 detects a meal candidate from the temporal change of the heart rate.
  • the meal candidate detection unit 20 determines the period after the rise when a rise is detected at which the degree of increase in heart rate per unit time (rate of increase in heart rate) is equal to or greater than a threshold. Detect as.
  • the detection condition may be set more loosely than the detection condition by the meal detection unit 70 so that an actual meal can be reliably detected. For example, if a section in which the rate of increase of the heart rate from the rise of the heart rate to the maximum point within 20 minutes is 10 / min or more is detected, the meal candidate detection unit 20 selects the period after the rise as a meal candidate. Detect as. In the example of FIG. 4, two candidates, a first meal candidate A and a second meal candidate B, are detected.
  • the heart rate peak extraction unit 30 extracts the heart rate peak of each meal candidate.
  • the heart rate peak extraction unit 30 detects the rise of the heart rate as the start time of the heart rate peak of the meal candidate, and the time point when the heart rate returns to the start time of the meal is set as the heart rate peak of the meal candidate. Detect as end time.
  • the heart rate peaks of the first meal candidate A and the second meal candidate B are obtained by adding the heart rate peak of the second meal candidate B to the heart rate peak of the first meal candidate A. Detected.
  • the heart rate peak extraction unit 30 extracts a plurality of heart rate peaks that overlap each other as a set of meal candidates. For example, if there are overlapping portions in the time ranges of a plurality of heartbeat peaks, the heartbeat peak extraction unit 30 determines that the plurality of heartbeat peaks overlap. Next, the heartbeat peak extraction unit 30 draws a predetermined line on the overlapping waveform of the plurality of heartbeat peaks, thereby separating each heartbeat peak along the predetermined line. For example, the period from the start time of the subsequent heartbeat peak to the return to the heart rate at the start time may be set as the subsequent heartbeat peak and separated from the preceding heartbeat peak. Further, at the start of the subsequent heart rate peak, the previous heart rate peak and the subsequent heart rate peak may be separated.
  • the heart rate peak correction unit 40 corrects a plurality of heart rate peaks that overlap each other.
  • the heartbeat peak correction unit 40 corrects the preceding and succeeding heartbeat peaks using the preceding heartbeat peak up to the start time of the succeeding heartbeat peak. For example, it is assumed that the speed at which the increase in heart rate that appears with a meal approaches the original level before the start of the meal is constant after the subsequent meal candidate start time.
  • the heart rate peak correcting unit 40 corrects the heart rate peaks of the preceding stage and the subsequent stage by drawing a straight line of the slope of the heart rate peak of the preceding stage meal candidate from the start time of the latter stage meal candidate.
  • the broken line in FIG. 6A illustrates a straight line for correcting the preceding and succeeding heart rate peaks.
  • FIG. 6B illustrates the heartbeat peak in the previous stage after correction.
  • FIG. 6C illustrates a post-correction latter heart rate peak.
  • the meal detection unit 70 calculates a feature vector from each heart rate peak corrected by the heart rate peak correction unit 40.
  • the area feature amount calculation unit 71 calculates the areas of the first peak and the second peak of the heartbeat peaks. For example, it is possible to calculate the area from the start of meal to the time of falling after passing the peak as the area of the first peak. Further, the area from the rise after the first peak to the end of the meal after the peak can be calculated as the area of the second peak.
  • the speed feature quantity calculation unit 72 calculates the response speed of the heart rate. For example, the speed feature amount calculation unit 72 has a rising speed from the meal start time to the first peak, a falling speed from the first peak to the next rising edge, a rising speed from the rising edge to the second peak, and 2 Calculate the descent speed from the second peak to the end of the meal.
  • the amplitude feature amount calculation unit 73 calculates the heart rate of the first peak and the heart rate of the second peak as amplitude values.
  • the time feature amount calculation unit 74 calculates the time from the start of the meal to the first peak, the time from the start of the meal to the second peak, and the time from the start of the meal to the end of the meal.
  • the above-described feature vector is a vector including at least one feature amount calculated by the area feature amount calculation unit 71, the speed feature amount calculation unit 72, the amplitude feature amount calculation unit 73, and the time feature amount calculation unit 74.
  • the feature vector may include a feature amount before a meal.
  • the feature vector may include pre-meal feature quantities such as the area from the start of a meal to a time point that goes back a predetermined time, and the heart rate at the start of the meal.
  • the area between the heart rate value and the heart rate at the start of the meal may be used as the area from the start of the meal to the time point that goes back a predetermined time.
  • the feature amount database 76 stores each feature amount calculated using a heart rate change of one or more users who actually eat in advance as a feature vector.
  • the model creation unit 75 creates an estimated model based on the feature vector stored in the feature amount database 76.
  • the meal time estimation unit 77 estimates the meal time by applying an estimation model to the calculated feature vector.
  • the determination unit 78 determines whether the target meal candidate is a meal according to the estimation result of the meal time estimation unit 77. Note that the determination unit 78 may reflect the collation result between the eating operation and the eating operation pattern detected by the operation detection unit 60 based on the detection result of the acceleration sensor 106. When the eating operation and the eating operation pattern detected by the operation detection unit 60 are far (not similar), it may be determined that the target meal candidate is not a meal.
  • the meal index estimation unit 80 estimates a meal-related index using the feature vector of the heartbeat peak determined to be a meal by the determination unit 78.
  • the index about a meal is a person's condition, eating behavior, intake calories, and the like. Since the index related to meals can be expressed as a function of the feature vector, the index related to meals can be expressed as f (x), where x is the feature vector. As an example, when the index related to meal is calorie intake, the area of the second peak calculated by the area feature amount calculation unit 71 can be used as x.
  • an index relating to a plurality of meals may be estimated after calculating a feature vector from a plurality of heartbeat peaks determined to be meals.
  • an index relating to meals can be expressed as g (y).
  • g (y) an index relating to meals.
  • the feature vector y is composed of two scalar values y1 and y2, and if the area of the second peak of the previous meal is y1, and the area after the start time of the subsequent meal is y2, g (y) is y2 / Y1.
  • FIG. 8 is a flowchart showing a specific example of the above-described meal detection process.
  • the heart rate acquisition unit 10 acquires a heart rate using the heart rate acquired from the heart rate measuring device 105 (step S1).
  • the heart rate acquisition unit 10 determines whether or not all the heart rates for one day have been acquired (step S2). If “No” is determined in step S2, the process is executed again from step S1.
  • the meal candidate detection unit 20 detects a meal candidate from the temporal change of the heart rate (step S3).
  • the heart rate acquisition unit 10 may remove, as noise, fluctuations in the heart rate of the user's exercise section detected by the motion detection unit 60 before executing step S3.
  • the heart rate peak extraction unit 30 extracts the heart rate peak of each meal candidate (step S4).
  • the heart rate peak extracting unit 30 determines whether or not heart rate peaks have been extracted for all meal candidates (step S5). If “No” is determined in step S5, the process is executed again from step S4.
  • step S5 the heart rate peak extracting unit 30 extracts a plurality of heart rate peaks overlapping each other as a set of meal candidates (step S6).
  • step S7 the heart rate peak correction unit 40 corrects the heart rate peak after the start of the next meal candidate (step S7).
  • step S7 the heart rate peak after the start of the second meal candidate is corrected.
  • step S8 the heart rate peak extraction unit 30 determines whether or not all meal candidates in the set of duplicate meal candidates have been completed (step S8). If it is determined “No” in step S8, step S7 is executed again.
  • step S8 the meal detection unit 70 calculates a feature vector from each heart rate peak corrected by the heart rate peak correction unit 40 (step S9). Next, the meal detection unit 70 determines whether each meal candidate is a meal (step S10). Next, the meal detection unit 70 determines whether all meal candidates in the set of duplicate meal candidates have been determined (step S11). If it is determined “No” in step S11, step S10 is executed again. When it is determined as “Yes” in step S11, the heart rate peak extracting unit 30 determines whether or not a set of all duplicate meal candidates has been extracted (step S12). If “No” is determined in step S12, the process is executed again from step S6. If it is determined as “Yes” in step S12, the execution of the flowchart ends.
  • a rise in which the rate of increase of the heart rate is equal to or higher than the threshold value is detected in the change with time of the heart rate.
  • a time range until the heart rate decreases from the detected rise to a predetermined value is extracted as a meal candidate.
  • the second meal candidate is extracted in the time range of the first meal candidate among the plurality of meal candidates, the first meal candidate and the second meal candidate are separated along a predetermined line. Whether or not each meal is a meal is detected for each of the first meal candidate and the second meal candidate based on the feature amount relating to the meal for the first meal candidate and the second meal candidate after separation. By doing in this way, the meal detection based on a feature-value is performed for every meal candidate. Thereby, the detection accuracy of a meal improves.
  • the accuracy of extraction of the first meal candidate and the second meal candidate is improved by obtaining the predetermined line using the first meal candidate up to the start time of the second meal candidate. This is because the tendency of the first meal candidate can be used.
  • the heart rate of the first meal candidate tends to decrease at the time of the rise of the second meal candidate
  • Fig.9 (a) is a functional block diagram of the meal detection apparatus 100a which concerns on 2nd Embodiment.
  • the device configuration is the same as that shown in FIG.
  • a meal candidate removal unit 90 is newly realized by executing the meal detection program according to the second embodiment.
  • the functional blocks of the meal detection unit 70 are the same as those in FIG.
  • the meal candidate removal unit 90 removes a meal candidate that is determined not to be a meal from the candidates. Thereby, it can suppress that the said meal candidate affects the heart rate peak of another meal candidate. As a result, meal detection accuracy and detection accuracy of meal-related indexes are improved.
  • the first meal candidate A and the second meal candidate B are meals and the third meal candidate C is not a meal in the time-dependent change in heart rate exemplified in FIG.
  • the corrected heart rate peak of the second meal candidate B is affected by the third meal candidate C, as illustrated in FIG. 2
  • Feature vector of meal candidate B is affected. Therefore, as illustrated in FIG. 11B, when the meal candidate removing unit 90 removes the third meal candidate C from the meal candidates, the influence of the third meal candidate C is eliminated, and the original second meal candidate B is changed. A heart rate peak can be obtained. As a result, the original feature vector of the second meal candidate B can be calculated.
  • FIG. 12 is a flowchart showing a specific example of the meal detection process according to the second embodiment.
  • steps S21 to S25 are the same processes as steps S1 to S5 in FIG.
  • the heart rate peak correction unit 40 corrects the heart rate peak after the start of the next meal candidate (step S26).
  • the heart rate peak extracting unit 30 determines whether or not the heart rate peaks that need to be corrected are corrected for all meal candidates (step S27). If it is determined “No” in step S27, step S26 is executed again.
  • step S27 the meal detection unit 70 calculates the feature vectors of the heartbeat peaks of all meal candidates (step S28). Next, the meal detection unit 70 determines whether each meal candidate is a meal (step S29). Next, the meal detection unit 70 determines whether or not all meal candidates are meals (step S30). If it is determined “No” in step S30, step S29 is executed again. When it is determined as “Yes” in Step S30, the meal candidate removing unit 90 removes the meal candidates determined as having a low possibility of eating (not meals) from the candidates (Step S31). Next, the meal candidate removing unit 90 determines whether there is no meal candidate determined not to be a meal (step S32).
  • step S32 the process is executed again from step S24. Thereby, after the meal candidate determined not to be a meal is removed from the candidates, the heart rate peak of each meal candidate is extracted again. If it is determined as “Yes” in step S32, the execution of the flowchart ends.
  • meal candidates determined not to be meals among meal candidates are excluded from the candidates. Thereby, the influence which the said meal candidate has on another meal candidate is suppressed. As a result, meal detection accuracy is improved.
  • FIG. 13A shows measurement data of changes over time in heart rate when the interval between two meals is shortened.
  • a period until the heart rate increases by 10 bpm or more and then decreases by half or more of the increase width is detected as a meal. Since the interval between meals is short, the heart rate increase due to the second meal starts before it decreases to half of the increase in heart rate. Therefore, two meals may be detected as one meal.
  • FIG. 13B shows the first meal candidate A and the second meal candidate B separated according to the above embodiment. Specifically, the correction is made on the assumption that the decrease in the heart rate of the first meal candidate A continues even after the start of the second meal candidate B. By correcting in this way, meal detection accuracy for two meal candidates is improved.
  • FIG. 14A and FIG. 14B are diagrams illustrating other device configurations of the meal detection device 100 and the meal detection device 100a.
  • the meal detection apparatus includes a server including a CPU 101, a RAM 102, a storage device 103, and a wireless device 107, a display device 104, a heart rate measuring device 105, an acceleration sensor 106, and a wireless device 108.
  • You may have the structure which exchanges data wirelessly with the wearable device with which it is equipped.
  • the meal detection device includes a CPU 101, a RAM 102, a storage device 103, a server including the wireless device 107, a terminal including the display device 104 and the wireless device 108, and a heart rate measuring device 105.
  • the wearable device including the acceleration sensor 106 and the wireless device 109 may be configured to exchange data wirelessly.
  • the meal candidate detection part 20 functions as an example of the detection part which detects the standup
  • the heart rate peak extraction unit 30 and the heart rate peak correction unit 40 extract and extract a time range from the rise detected by the detection unit to the predetermined value as a meal candidate in the temporal change of the heart rate as a meal candidate.
  • the second meal candidate is extracted in the time range of the first meal candidate, it functions as an example of a separation unit that separates the first meal candidate and the second meal candidate along a predetermined line.
  • the meal detection unit 70 detects whether each of the first meal candidate and the second meal candidate is a meal based on the feature amount relating to the meal for the first meal candidate and the second meal candidate separated by the separation unit. It functions as an example of a detection unit.
  • the meal candidate removal unit 90 functions as an example of a removal unit that removes a meal candidate detected by the detection unit as not a meal from among the meal candidates extracted by the extraction unit from the meal candidate.
  • the meal index estimation unit 80 functions as an example of an estimation unit that estimates a meal-related index for a meal candidate detected as a meal by the detection unit.

Abstract

食事検知装置は、心拍数の上昇を検出する検出部と、前記心拍数の経時変化において、前記検出部によって検出された上昇から所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出し、抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って前記第１食事候補と前記第２食事候補とを分離する分離部と、前記分離部によって分離された前記第１食事候補および前記第２食事候補についての食事に関する特徴量に基づいて、前記第１食事候補および前記第２食事候補のそれぞれについて食事か否かを検知する検知部と、を備える。

Description

食事検知装置、食事検知方法および食事検知プログラム
　本件は、食事検知装置、食事検知方法および食事検知プログラムに関する。
　食事を検知する技術が望まれている。例えば、心拍数の経時変化を検出し、所定の条件を満たす心拍数のピークを食事と判断する技術が開示されている（例えば、特許文献１参照）。
特開２０１０－１５８２６７号公報
　しかしながら、食事の間隔が短いなど、心拍数のピークが複数重なる場合には、食事の検知精度が低下するおそれがある。
　１つの側面では、本件は、食事の検知精度を向上させることができる食事検知装置、食事検知方法および食事検知プログラムを提供することを目的とする。
　１つの態様では、食事検知装置は、心拍数の上昇を検出する検出部と、前記心拍数の経時変化において、前記検出部によって検出された上昇から所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出し、抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って前記第１食事候補と前記第２食事候補とを分離する分離部と、前記分離部によって分離された前記第１食事候補および前記第２食事候補に関する特徴量に基づいて、前記第１食事候補および前記第２食事候補のそれぞれについて食事か否かを検知する検知部と、を備える。
　食事の検知精度を向上させることができる。
第１実施形態に係る食事検知装置のハードウェア構成を例示するブロック図である。 （ａ）は食事検知プログラムの実行によって実現される各機能のブロック図であり、（ｂ）は食事検知部の各機能を表す機能ブロック図である。 （ａ）は食事の際の心拍の経時変化を例示する図であり、（ｂ）は食事の間隔が短い場合の経時変化を例示する図である。 食事候補の検出を例示する図である。 食事候補の分離を例示する図である。 （ａ）～（ｃ）は食事候補の補正を例示する図である。 （ａ）および（ｂ）は特徴ベクトルの算出を例示する図である。 食事検知処理の具体例を表すフローチャートである。 （ａ）は食事検知プログラムの実行によって実現される各機能のブロック図であり、（ｂ）は食事検知部の各機能を表す機能ブロック図である。 食事候補を例示する図である。 （ａ）および（ｂ）は食事候補の除去を例示する図である。 第２実施形態に係る食事検知処理の具体例を表すフローチャートである。 （ａ）は２回の食事の間隔を短くした場合の心拍数の経時変化の実データであり、（ｂ）は食事候補の分離を例示する図である。 （ａ）および（ｂ）は食事検知装置の他の装置構成を例示する図である。
　以下、図面を参照しつつ、実施形態について説明する。
（第１実施形態）
　図１は、第１実施形態に係る食事検知装置１００のハードウェア構成を例示するブロック図である。図１で例示するように、食事検知装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、心拍測定装置１０５、加速度センサ１０６などを備える。これらの各機器は、バスなどによって接続されている。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。
　記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施形態に係る食事検知プログラムは、記憶装置１０３に記憶されている。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する食事検知処理の結果などを表示する。
　心拍測定装置１０５は、ユーザの心拍（脈拍）を測定する装置である。心拍測定装置１０５は、心拍（脈拍）を測定することができれば特に限定されるものではない。例えば、心拍測定装置１０５は、心電計や脈動センサなどであってもよい。加速度センサ１０６は、ユーザへの取付部位の加速度を検出するセンサである。
　記憶装置１０３に記憶されている食事検知プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された食事検知プログラムを実行する。それにより、食事検知装置１００による各処理が実行される。図２（ａ）は、食事検知プログラムの実行によって実現される各機能のブロック図である。食事検知プログラムの実行によって、心拍数取得部１０、食事候補検出部２０、心拍ピーク抽出部３０、心拍ピーク補正部４０、加速度取得部５０、動作検出部６０、食事検知部７０、食事指標推定部８０などが実現される。
　図２（ｂ）は、食事検知部７０の各機能を表す機能ブロック図である。図２（ｂ）で例示するように、食事検知部７０は、面積特徴量算出部７１、速度特徴量算出部７２、振幅特徴量算出部７３、時間特徴量算出部７４、モデル作成部７５、特徴量データベース７６、食事時刻推定部７７、判定部７８などとして機能する。
　ここで、食事に由来する心拍数の経時変化について説明する。図３（ａ）は、食事に由来する心拍数の経時変化を例示する。図３（ａ）において、横軸は経過時間を表し、縦軸は心拍数を表す。心拍数は、単位時間あたりの拍動数のことであり、具体的には１分あたりの拍動数である。以下、特に断りが無い限り、心拍数とは、１分あたりの拍動数のことを意味する。
　図３（ａ）で例示するように、食事に由来する心拍数の上昇区間には、２つのピークが現れる。１番目のピークの立ち上がりが検出された上昇区間の開始時点が、食事開始時点である。例えば、心拍数の上昇速度が閾値以上となりかつ上昇幅が閾値以上となる開始時点を立ち上がりとして検出することができる。１番目のピークの時点が、食事終了時点である。２番目のピークの心拍数が所定の値まで戻った場合の時点が、心拍数の上昇区間の終了時点である。例えば、２番目のピークの心拍数が食事開始時の心拍数まで戻った場合の時点を心拍数の上昇区間の終了時点としてもよく、食事開始時点の心拍数に所定の値を加算または乗算した値まで戻った時点を心拍数の上昇区間の終了時点としてもよい。食事に由来する心拍数の上昇区間の開始時点から終了時点までの心拍数の波形を心拍ピークと称する。
　所定の間隔で食事が行われると、図３（ａ）で例示した心拍ピークが十分に離れて検出される。それにより、精度よく食事を検知することができる。しかしながら、食事の間隔が短くなると、図３（ｂ）で例示するように、複数の心拍ピークが互いに重複するようになる。図３（ｂ）の例では、先の食事における１番目のピークに続いて、後の食事における２番目のピークが現れている。この場合、食事の検知精度が低下する。そこで、本実施形態では、複数の心拍ピークの候補を検出し、個々の心拍ピークを抽出することで、食事の検知精度を向上させる例について説明する。
（食事検知処理）
　まず、加速度取得部５０は、加速度センサ１０６の検出結果を取得する。ユーザの加速度が所定の条件を満たせば、当該ユーザはランニング、徒歩などの運動をしていることになる。そこで、動作検出部６０は、加速度取得部５０が取得した検出結果に基づいて、ユーザの運動区間を検出する。心拍数取得部１０は、心拍測定装置１０５から心拍を取得することで、心拍数の経時変化を取得する。次に、心拍数取得部１０は、運動区間の心拍数の変動を除去する。それにより、食事をしていないと推定される運動区間をノイズとして除去することができる。
　次に、食事候補検出部２０は、心拍数の経時変化から、食事候補を検出する。本実施形態においては、食事候補検出部２０は、単位時間当たりの心拍数の上昇度合い（心拍数の上昇速度）が閾値以上となる立ち上がりが検出された場合に、当該立ち上がり以降の期間を食事候補として検出する。実際の食事が確実に検出されるように、検出条件を食事検知部７０による検出条件よりも緩く設定してもよい。例えば、食事候補検出部２０は、心拍数の立ち上がりから極大点までの心拍数の２０分以内の上昇速度が１０／ｍｉｎ以上となる区間が検出された場合に、当該立ち上がり以降の期間を食事候補として検出する。図４の例では、第１食事候補Ａおよび第２食事候補Ｂの２つの候補が検出されている。
　次に、心拍ピーク抽出部３０は、各食事候補の心拍ピークを抽出する。本実施形態においては、一例として、心拍ピーク抽出部３０は、心拍数の立ち上がりを食事候補の心拍ピークの開始時点として検出し、心拍数が食事開始時点まで戻った時点を食事候補の心拍ピークの終了時点として検出する。図５で例示するように、第１食事候補Ａおよび第２食事候補Ｂの心拍ピークは、第１食事候補Ａの心拍ピークの上に、第２食事候補Ｂの心拍ピークが加算される形で検出される。
　次に、心拍ピーク抽出部３０は、互いに重複している複数の心拍ピークを、食事候補の集合として抽出する。心拍ピーク抽出部３０は、例えば、複数の心拍ピークの時間範囲に重複部分があれば、当該複数の心拍ピークが重複していると判断する。次に、心拍ピーク抽出部３０は、重複している複数の心拍ピークの波形に対して所定の線を引くことで、当該所定の線に沿って各心拍ピークに分離する。例えば、後段の心拍ピークの開始時点から当該開始時点の心拍数まで戻るまでを後段の心拍ピークとし、前段の心拍ピークから分離してもよい。また、後段の心拍ピークの開始時点で、前段の心拍ピークと後段の心拍ピークとを分離してもよい。
　次に、心拍ピーク補正部４０は、互いに重複している複数の心拍ピークを補正する。本実施形態においては、心拍ピーク補正部４０は、後段の心拍ピークの開始時点までの、前段の心拍ピークを用いて、前段および後段の心拍ピークを補正する。例えば、食事に伴って現れる心拍上昇が食事開始前の元のレベルに近付く際の速度が、後段の食事候補開始時刻以降も一定であると仮定する。具体的には、心拍ピーク補正部４０は、後段の食事候補の開始時点から、前段の食事候補の心拍ピークの傾きの直線を引くことで、前段および後段の心拍ピークを補正する。図６（ａ）の破線は、前段および後段の心拍ピークを補正するための直線を例示する。図６（ｂ）は、補正後の前段の心拍ピークを例示する。図６（ｃ）は、補正後の後段の心拍ピークを例示する。
　次に、食事検知部７０は、図７（ａ）および図７（ｂ）で例示するように、心拍ピーク補正部４０による補正後の各心拍ピークから特徴ベクトルを算出する。まず、面積特徴量算出部７１は、心拍ピークの１番目のピークおよび２番目のピークのそれぞれの面積を算出する。例えば、食事開始時点から、ピークを過ぎて、立ち下がった時点までの面積を１番目のピークの面積として算出することができる。また、１番目のピーク後の立ち上がりから、ピークを過ぎて、食事終了までの面積を２番目のピークの面積として算出することができる。
　次に、速度特徴量算出部７２は、心拍数の応答速度を算出する。例えば、速度特徴量算出部７２は、食事開始時点から１番目のピークまでの上昇速度、１番目のピークから次の立ち上がりまでの下降速度、当該立ち上がりから２番目のピークまでの上昇速度、および２番目のピークから食事終了までの下降速度を算出する。
　次に、振幅特徴量算出部７３は、１番目のピークの心拍数および２番目のピークの心拍数を振幅値として算出する。次に、時間特徴量算出部７４は、食事開始から１番目のピークまでの時間、食事開始から２番目のピークまでの時間、および食事開始から食事終了までの時間を算出する。
　上述した特徴ベクトルは、面積特徴量算出部７１、速度特徴量算出部７２、振幅特徴量算出部７３および時間特徴量算出部７４が算出した特徴量を少なくとも１つ含むベクトルである。なお、特徴ベクトルは、食事前の特徴量を含んでいてもよい。例えば、食事開始から所定時間さかのぼった時点までの面積、食事開始時点での心拍数などの食事前の特徴量が特徴ベクトルに含まれていてもよい。食事開始から所定時間さかのぼった時点までの面積として、心拍数の値と食事開始時点の心拍数との間の面積を用いてもよい。
　特徴量データベース７６は、事前に、実際に食事をした１人以上のユーザの心拍数変化を用いて算出された各特徴量を特徴ベクトルとして格納している。モデル作成部７５は、特徴量データベース７６に格納されている特徴ベクトルに基づいて、推定モデルを作成する。食事時刻推定部７７は、算出された特徴ベクトルに対して推定モデルを適用することで、食事時刻を推定する。判定部７８は、食事時刻推定部７７の推定結果に応じて、対象としている食事候補が食事であるか否かを判定する。なお、判定部７８は、動作検出部６０が加速度センサ１０６の検出結果に基づいて検出した摂食動作と摂食動作パターンとの照合結果を反映させてもよい。動作検出部６０が検出した摂食動作と摂食動作パターンとが遠い（似ていない）場合には、対象としている食事候補が食事ではないと判定してもよい。
　次に、食事指標推定部８０は、判定部７８によって食事であると判定された心拍ピークの特徴ベクトルを用いて、食事に関する指標を推定する。食事に関する指標は、人の状態、食行動、摂取カロリーなどである。食事に関する指標は、特徴ベクトルの関数として現すことができるため、特徴ベクトルをｘとした場合に、食事に関する指標はｆ（ｘ）と表すことができる。一例として、食事に関する指標を摂取カロリーとすると、面積特徴量算出部７１が算出した２番目のピークの面積をｘとして用いることができる。また、食事であると判定された複数の心拍ピークから特徴ベクトルを算出した上で複数の食事に関する指標を推定してもよい。例えば、食事であると判定された２つの心拍ピークから算出した特徴ベクトルをzとした場合に、食事に関する指標はｇ（ｙ）と表すことができる。一例として、前後の食事間隔の過度な短さを表す指標を算出する場合を示す。特徴ベクトルｙは２つのスカラー値ｙ１，ｙ２から構成され、先の食事の２番目のピークの面積をｙ１、そのうちで後の食事の開始時刻以降の面積をｙ２とすると、ｇ（ｙ）はｙ２／ｙ１で表すことができる。
　図８は、上述した食事検知処理の具体例を表すフローチャートである。以下、図８のフローチャートに沿って、上述した食事検知処理の具体例について説明する。図８で例示するように、心拍数取得部１０は、心拍測定装置１０５から取得した心拍を用いて心拍数を取得する（ステップＳ１）。次に、心拍数取得部１０は、一日分の心拍数を全て取得したか否かを判定する（ステップＳ２）。ステップＳ２で「Ｎｏ」と判定された場合、ステップＳ１から再度実行される。
　ステップＳ２で「Ｙｅｓ」と判定された場合、食事候補検出部２０は、心拍数の経時変化から、食事候補を検出する（ステップＳ３）。なお、心拍数取得部１０は、ステップＳ３の実行前に、動作検出部６０によって検出されたユーザの運動区間の心拍数の変動をノイズとして除去しておいてもよい。次に、心拍ピーク抽出部３０は、各食事候補の心拍ピークを抽出する（ステップＳ４）。次に、心拍ピーク抽出部３０は、全ての食事候補について心拍ピークを抽出したか否かを判定する（ステップＳ５）。ステップＳ５で「Ｎｏ」と判定された場合、ステップＳ４から再度実行される。
　ステップＳ５で「Ｙｅｓ」と判定された場合、心拍ピーク抽出部３０は、互いに重複している複数の心拍ピークを、食事候補の集合として抽出する（ステップＳ６）。次に、心拍ピーク補正部４０は、次の食事候補開始後の心拍ピークを補正する（ステップＳ７）。ステップＳ７の１回目の実行時には、２番目の食事候補開始後の心拍ピークが補正される。次に、心拍ピーク抽出部３０は、重複食事候補の集合内の全ての食事候補が終了したか否かを判定する（ステップＳ８）。ステップＳ８で「Ｎｏ」と判定された場合、ステップＳ７が再度実行される。
　ステップＳ８で「Ｙｅｓ」と判定された場合、食事検知部７０は、心拍ピーク補正部４０によって補正された各心拍ピークから特徴ベクトルを算出する（ステップＳ９）。次に、食事検知部７０は、各食事候補が食事であるか否かを判定する（ステップＳ１０）。次に、食事検知部７０は、重複食事候補の集合内の全ての食事候補について判定したか否かを判定する（ステップＳ１１）。ステップＳ１１で「Ｎｏ」と判定された場合、ステップＳ１０が再度実行される。ステップＳ１１で「Ｙｅｓ」と判定された場合、心拍ピーク抽出部３０は、全ての重複食事候補の集合を抽出したか否かを判定する（ステップＳ１２）。ステップＳ１２で「Ｎｏ」と判定された場合、ステップＳ６から再度実行される。ステップＳ１２で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。
　本実施形態によれば、心拍数の経時変化において、心拍数の上昇速度が閾値以上となる立ち上がりが検出される。当該心拍数の経時変化において、検出された立ち上がりから所定の値まで心拍数が低下するまでの時間範囲が食事候補として抽出される。複数の食事候補のうち、第１食事候補の時間範囲において第２食事候補が抽出された場合に、所定の線に沿って第１食事候補と第２食事候補とが分離される。分離後の第１食事候補および第２食事候補についての食事に関する特徴量に基づいて、第１食事候補および第２食事候補のそれぞれについて食事か否かが検知される。このようにすることで、食事候補ごとに特徴量に基づく食事検知が行われる。それにより、食事の検知精度が向上する。
　第２食事候補の開始時点までの、第１食事候補を用いて、上記所定の線を求めることで、第１食事候補および第２食事候補の抽出精度が向上する。第１食事候補の傾向を用いることができるためである。第２食事候補の立ち上がりの時点で第１食事候補の心拍数が下降傾向にある場合に、第２食事候補の立ち上がりの時点から、第２食事候補の立ち上がりの時点における第１食事候補の傾きを有する直線を、上記所定の線として求めることが好ましい。第１食事候補の心拍数が下降傾向にある場合に、一定の割合で下降する傾向にあるからである。
（第２実施形態）
　図９（ａ）は、第２実施形態に係る食事検知装置１００ａの機能ブロック図である。装置構成については、図１（ａ）と同様である。図９（ａ）で例示するように、第２実施形態に係る食事検知プログラムの実行によって、新たに食事候補除去部９０が実現される。図９（ｂ）で例示するように、食事検知部７０の機能ブロックは、図２（ｂ）と同様である。
　食事候補除去部９０は、食事ではないと判定された食事候補を候補から外す。それにより、当該食事候補が他の食事候補の心拍ピークに影響が及ぶことを抑制することができる。その結果、食事検知精度や食事に関連する指標の検知精度が向上する。
　図１０で例示される心拍数の経時変化において、第１食事候補Ａおよび第２食事候補Ｂが食事であり、第３食事候補Ｃが食事ではないものとする。この場合、第３食事候補Ｃを候補から外さなかったとすると、図１１（ａ）で例示するように、第２食事候補Ｂの補正された心拍ピークが第３食事候補Ｃの影響を受け、第２食事候補Ｂの特徴ベクトルが影響を受ける。そこで、図１１（ｂ）で例示するように、食事候補除去部９０が第３食事候補Ｃを食事候補から外すことによって、第３食事候補Ｃの影響が無くなり、本来の第２食事候補Ｂの心拍ピークを得ることができる。その結果、本来の第２食事候補Ｂの特徴ベクトルを算出することができる。
　図１２は、第２実施形態に係る食事検知処理の具体例を表すフローチャートである。図１２で例示するように、ステップＳ２１～ステップＳ２５は、図８のステップＳ１～ステップＳ５と同様の処理である。ステップＳ２５で「Ｙｅｓ」と判定された場合、心拍ピーク補正部４０は、次の食事候補開始後の心拍ピークを補正する（ステップＳ２６）。ステップＳ２６の１回目の実行時には、２番目の食事候補開始後の心拍ピークが補正される。次に、心拍ピーク抽出部３０は、全ての食事候補について補正の必要のある心拍ピークを補正したか否かを判定する（ステップＳ２７）。ステップＳ２７で「Ｎｏ」と判定された場合、ステップＳ２６が再度実行される。
　ステップＳ２７で「Ｙｅｓ」と判定された場合、食事検知部７０は、全ての食事候補の心拍ピークの特徴ベクトルを算出する（ステップＳ２８）。次に、食事検知部７０は、各食事候補が食事であるか否かを判定する（ステップＳ２９）。次に、食事検知部７０は、全ての食事候補について食事であるか判定されたか否かを判定する（ステップＳ３０）。ステップＳ３０で「Ｎｏ」と判定された場合、ステップＳ２９が再度実行される。ステップＳ３０で「Ｙｅｓ」と判定された場合、食事候補除去部９０は、食事の可能性が低い（食事ではない）と判定された食事候補を候補から除去する（ステップＳ３１）。次に、食事候補除去部９０は、食事ではないと判定された食事候補が無かったか否かを判定する（ステップＳ３２）。ステップＳ３２で「Ｎｏ」と判定された場合、ステップＳ２４から再度実行される。それにより、食事ではないと判定された食事候補を候補から除去したうえで、各食事候補の心拍ピークが再度抽出される。ステップＳ３２で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。
　本実施形態によれば、食事候補のうち食事ではないと判定された食事候補が候補から外される。それにより、当該食事候補が他の食事候補に及ぼす影響が抑制される。その結果、食事の検知精度が向上する。
（実データの効果例）
　図１３（ａ）は、２回の食事の間隔を短くした場合の心拍数の経時変化の測定データである。一例として、心拍数が１０ｂｐｍ以上上昇し、その後、上昇幅の半分以上減少するまでの期間を食事として検知するものとする。食事の間隔が短いため、心拍数の上昇幅の半分まで減少する前に、２回目の食事による心拍数上昇が始まってしまう。したがって、２回の食事が１回の食事として検知されてしまうおそれがある。
　図１３（ｂ）は、上記実施形態に従って第１食事候補Ａと第２食事候補Ｂとを分離したものである。具体的には、第２食事候補Ｂの開始後も、第１食事候補Ａの心拍数の減少が継続するものと仮定して補正したものである。このように補正することで、２回の食事候補に対する食事検知精度が向上する。
　図１４（ａ）および図１４（ｂ）は、食事検知装置１００および食事検知装置１００ａの他の装置構成を例示する図である。図１４（ａ）で例示するように、食事検知装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３および無線装置１０７を備えるサーバと、表示装置１０４、心拍測定装置１０５、加速度センサ１０６および無線装置１０８とを備えるウェアラブルデバイスとが無線でデータをやりとりする構成を有していてもよい。また、図１４（ｂ）で例示するように、食事検知装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３および無線装置１０７を備えるサーバと、表示装置１０４および無線装置１０８を備える端末と、心拍測定装置１０５、加速度センサ１０６および無線装置１０９を備えるウェアラブルデバイスとが無線でデータをやりとりする構成を有していてもよい。
　なお、上記実施形態において、食事候補検出部２０が、心拍数の上昇速度が閾値以上となる立ち上がりを検出する検出部の一例として機能する。心拍ピーク抽出部３０および心拍ピーク補正部４０が、心拍数の経時変化において、検出部によって検出された立ち上がりから所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出し、抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って第１食事候補と第２食事候補とを分離する分離部の一例として機能する。食事検知部７０が、分離部によって分離された第１食事候補および第２食事候補についての食事に関する特徴量に基づいて、第１食事候補および第２食事候補のそれぞれについて食事か否かを検知する検知部の一例として機能する。食事候補除去部９０が、抽出部によって抽出された食事候補のうち、検知部によって食事ではないと検知された食事候補について、食事候補から除去する除去部の一例として機能する。食事指標推定部８０が、検知部によって食事と検知された食事候補について、食事に関する指標を推定する推定部の一例として機能する。
　以上、本発明の実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (7)

  1. 　心拍数の上昇を検出する検出部と、
    　前記心拍数の経時変化において、前記検出部によって検出された上昇から所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出し、抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って前記第１食事候補と前記第２食事候補とを分離する分離部と、
    　前記分離部によって分離された前記第１食事候補および前記第２食事候補に関する特徴量に基づいて、前記第１食事候補および前記第２食事候補のそれぞれについて食事か否かを検知する検知部と、を備えることを特徴とする食事検知装置。
  2. 　前記分離部は、第２食事候補の開始時点までの、前記第１食事候補を用いて、前記所定の線を求めることを特徴とする請求項１記載の食事検知装置。
  3. 　前記分離部は、前記第２食事候補の上昇の時点で前記第１食事候補の心拍数が下降傾向にある場合に、前記第２食事候補の上昇の時点から、前記第２食事候補の上昇の時点における前記第１食事候補の心拍数の傾きを有する直線を、前記所定の線として求めることを特徴とする請求項１記載の食事検知装置。
  4. 　前記抽出部によって抽出された食事候補のうち、前記検知部によって食事ではないと検知された食事候補について、食事候補から除去する除去部を備えることを特徴とする請求項１～３のいずれか一項に記載の食事検知装置。
  5. 　前記検知部によって食事と検知された食事候補について、食事に関する指標を推定する推定部を備えることを特徴とする請求項１～４のいずれか一項に記載の食事検知装置。
  6. 　心拍数の上昇を検出部が検出し、
    　前記心拍数の経時変化において、前記検出部によって検出された上昇から所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出し、
    　抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って前記第１食事候補と前記第２食事候補とを分離部が分離し、
    　前記分離部によって分離された前記第１食事候補および前記第２食事候補に関する特徴量に基づいて、前記第１食事候補および前記第２食事候補のそれぞれについて食事か否かを検知部が検知する、ことを特徴とする食事検知方法。
  7. 　コンピュータに、
    　心拍数の上昇を検出する処理と、
    　前記心拍数の経時変化において、検出された上昇から所定の値まで心拍数が低下するまでの時間範囲を食事候補として抽出する処理と、
    　抽出された第１食事候補の時間範囲において第２食事候補を抽出した場合に、所定の線に沿って前記第１食事候補と前記第２食事候補とを分離する処理と、
    　分離された前記第１食事候補および前記第２食事候補に関する特徴量に基づいて、前記第１食事候補および前記第２食事候補のそれぞれについて食事か否かを検知する処理と、を実行させることを特徴とする食事検知プログラム。
PCT/JP2015/081122 2015-11-05 2015-11-05 食事検知装置、食事検知方法および食事検知プログラム WO2017077615A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15907801.3A EP3372153B1 (en) 2015-11-05 2015-11-05 Meal detection device, meal detection method, and meal detection program
PCT/JP2015/081122 WO2017077615A1 (ja) 2015-11-05 2015-11-05 食事検知装置、食事検知方法および食事検知プログラム
JP2017548572A JP6544438B2 (ja) 2015-11-05 2015-11-05 食事検知装置、食事検知方法および食事検知プログラム
US15/969,021 US10702210B2 (en) 2015-11-05 2018-05-02 Meal intake detection device, meal intake detection method and computer-readable non-transitory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081122 WO2017077615A1 (ja) 2015-11-05 2015-11-05 食事検知装置、食事検知方法および食事検知プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/969,021 Continuation US10702210B2 (en) 2015-11-05 2018-05-02 Meal intake detection device, meal intake detection method and computer-readable non-transitory medium

Publications (1)

Publication Number Publication Date
WO2017077615A1 true WO2017077615A1 (ja) 2017-05-11

Family

ID=58661783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081122 WO2017077615A1 (ja) 2015-11-05 2015-11-05 食事検知装置、食事検知方法および食事検知プログラム

Country Status (4)

Country Link
US (1) US10702210B2 (ja)
EP (1) EP3372153B1 (ja)
JP (1) JP6544438B2 (ja)
WO (1) WO2017077615A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417773A1 (en) * 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
JP2019005503A (ja) * 2017-06-28 2019-01-17 富士通株式会社 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置
US10952670B2 (en) 2017-06-23 2021-03-23 Fujitsu Limited Meal detection method, meal detection system, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド， エラン・メイア 食物摂取を監視するための機器
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP3923035B2 (ja) 2003-07-03 2007-05-30 株式会社東芝 生体状態分析装置及び生体状態分析方法
US20090105560A1 (en) * 2006-06-28 2009-04-23 David Solomon Lifestyle and eating advisor based on physiological and biological rhythm monitoring
JP5365199B2 (ja) 2009-01-06 2013-12-11 ソニー株式会社 ライフスタイルを評価するための方法、情報処理装置及びプログラム
JP2011115508A (ja) 2009-12-07 2011-06-16 Sharp Corp 食行動検知システム
JP2012061790A (ja) 2010-09-17 2012-03-29 Seiko Epson Corp 媒体処理装置、媒体処理装置の制御方法、及び、プログラム
WO2012078924A1 (en) * 2010-12-08 2012-06-14 Intrapace, Inc. Event evaluation using heart rate variation for ingestion monitoring and therapy
JP6489130B2 (ja) * 2014-12-12 2019-03-27 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504739A (ja) * 1994-07-21 1998-05-12 ラニアド， エラン・メイア 食物摂取を監視するための機器
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUNARI OUCHI ET AL.: "Healthcare Services Using a Wearable Device", IPSJ SIG NOTES, vol. 2007, no. 14, 23 February 2007 (2007-02-23), pages 29 - 36, XP055309405 *
See also references of EP3372153A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417773A1 (en) * 2017-06-23 2018-12-26 Fujitsu Limited Meal detection method, meal detection system, and meal detection program
US20180368782A1 (en) * 2017-06-23 2018-12-27 Fujitsu Limited Meal detection method, meal detection system, and storage medium
US10952670B2 (en) 2017-06-23 2021-03-23 Fujitsu Limited Meal detection method, meal detection system, and storage medium
US11039794B2 (en) 2017-06-23 2021-06-22 Fujitsu Limited Meal detection method, meal detection system, and storage medium
JP2019005503A (ja) * 2017-06-28 2019-01-17 富士通株式会社 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置

Also Published As

Publication number Publication date
EP3372153B1 (en) 2023-05-03
US20180242909A1 (en) 2018-08-30
EP3372153A1 (en) 2018-09-12
US10702210B2 (en) 2020-07-07
JP6544438B2 (ja) 2019-07-17
EP3372153A4 (en) 2018-10-31
JPWO2017077615A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US10702210B2 (en) Meal intake detection device, meal intake detection method and computer-readable non-transitory medium
JP6489130B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
JP5920364B2 (ja) 情報処理装置、代表波形生成方法および代表波形生成プログラム
JP2016533846A5 (ja)
JP6637693B2 (ja) 運動管理方法及び運動管理装置
US11160499B2 (en) Device, system and method for estimating the energy expenditure of a person
JP2016513999A5 (ja)
CN109199355B (zh) 心率信息检测方法、装置和检测设备
JP6527286B2 (ja) 心拍検出方法および心拍検出装置
JP2019534088A (ja) 対象者の身体的疲労を定量化するためのシステム、方法、及びコンピュータプログラム
KR102123743B1 (ko) 피트니스 자세교정을 위한 운동분석 방법
US20180240543A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
JPWO2013128972A1 (ja) 動作判定装置、動作判定システムおよび動作判定方法
CN105654041B (zh) 基于步态数据的特征参数获取方法和装置
FI3626169T3 (fi) Tiedonkäsittelylaite, tiedonkäsittelyjärjestelmä ja tiedonkäsittelymenetelmä
JPWO2017081787A1 (ja) 食事摂取指標推定装置、食事摂取指標推定方法および食事摂取指標推定プログラム
US11229399B2 (en) System and method for monitoring efficiency versus fatigue
JP5609985B2 (ja) 覚醒度判定装置、覚醒度判定方法及び覚醒度判定プログラム
JP2015217060A (ja) 心拍検出方法および心拍検出装置
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
EP3112811A1 (en) System and method for processing a foot acceleration signal
KR20200091209A (ko) 심전도 신호의 주기성을 이용한 r파 정점 검출 방법
EP3777668B1 (en) Maximum heart rate estimation method and device
JP6859489B2 (ja) 運動強度推定方法、運動強度推定装置およびプログラム
JP6787399B2 (ja) 情報処理装置、消化率推定方法、情報処理システムおよび消化率推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907801

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017548572

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015907801

Country of ref document: EP