WO2017081829A1 - 行動検知装置、行動検知方法及び行動検知プログラム - Google Patents

行動検知装置、行動検知方法及び行動検知プログラム Download PDF

Info

Publication number
WO2017081829A1
WO2017081829A1 PCT/JP2015/082050 JP2015082050W WO2017081829A1 WO 2017081829 A1 WO2017081829 A1 WO 2017081829A1 JP 2015082050 W JP2015082050 W JP 2015082050W WO 2017081829 A1 WO2017081829 A1 WO 2017081829A1
Authority
WO
WIPO (PCT)
Prior art keywords
action
occurrence probability
feature amount
probability
feature
Prior art date
Application number
PCT/JP2015/082050
Other languages
English (en)
French (fr)
Inventor
森　達也
一穂 前田
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2015/082050 priority Critical patent/WO2017081829A1/ja
Priority to EP15908345.0A priority patent/EP3376462A4/en
Priority to JP2017549963A priority patent/JP6589994B2/ja
Publication of WO2017081829A1 publication Critical patent/WO2017081829A1/ja
Priority to US15/971,366 priority patent/US20180254106A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a behavior detection device, a behavior detection method, and a behavior detection program.
  • Health care is attracting attention as society ages and medical expenses increase. Furthermore, the spread of wearable sensors and IoT (Internet of Things) devices is progressing, and an environment in which various information can be acquired from various devices is being prepared. Under such a background, a technique for detecting behavior related to health care by machine learning has been proposed in order to grasp lifestyle habits and health conditions by behavior detection using various devices.
  • IoT Internet of Things
  • behavior habits the influence of individual differences is reduced and the accuracy is improved by learning the relationship between the behavior A to be detected and the usual behavior and situation related to the behavior A, so-called behavior habits.
  • action detection is performed by machine learning
  • action A is performed in a situation where action A is not normally performed, or action A is not performed in a situation where action A is normally performed.
  • a detection failure or a false detection occurs.
  • behavioral habits are sometimes simply called habits.
  • an object is to provide a behavior detection device, a behavior detection method, and a behavior detection program that can suppress the occurrence of behavioral omissions or false detections.
  • the behavior detection apparatus calculates an acquisition unit that acquires sensor data from one or more sensors, and a first feature value in which a feature of a biological reaction with respect to a behavior to be detected is indexed from the sensor data.
  • a first feature amount calculation unit; a first probability calculation unit that calculates a probability of occurrence of the action from the first feature amount as a first action occurrence probability; and a habit related to an action to be detected from the sensor data A second feature amount calculation unit that calculates a second feature amount indexed by the feature of the second feature, and a second probability calculation that calculates a probability of occurrence of the action from the second feature amount as a second action occurrence probability
  • a determination unit that determines whether or not the action has been performed based on the first action occurrence probability and the second action occurrence probability.
  • the biological reaction mentioned here includes a signal indicating the state and activity of the body and body surface, a signal for capturing the movement of muscles and parts, etc., for example, blood pressure, body temperature, skin electrical resistance, electrocardiogram waveform, heart rate, There are pulse waveform, heart rate, pulse rate, skin temperature, myoelectricity, vocalization, organ activity sound, facial image, body part acceleration and angular velocity, and so on.
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a behavior detection result.
  • FIG. 3 is a diagram illustrating an example of a behavior detection result.
  • FIG. 4 is a diagram illustrating an example of a behavior detection result.
  • FIG. 5 is a diagram illustrating an example of a behavior detection result.
  • FIG. 6 is a diagram illustrating an example of a behavior detection result.
  • FIG. 7 is a flowchart of the learning process according to the first embodiment.
  • FIG. 8 is a flowchart illustrating the procedure of the action detection process according to the first embodiment.
  • FIG. 9 is a diagram illustrating a hardware configuration example of a computer that executes the behavior detection program according to the first embodiment and the second embodiment.
  • FIG. 1 is a diagram illustrating the configuration of the healthcare support system according to the first embodiment.
  • a health care support system 1 shown in FIG. 1 provides a health care support service that supports health management of the user of the sensor terminal 10 using the sensor data collected by the sensor terminal 10, such as lifestyle and health status, so-called health care. It is to provide.
  • a description will be given assuming that an action “meal” is a detection target as a user action.
  • the healthcare support system 1 includes a sensor terminal 10 and an information processing apparatus 100.
  • FIG. 1 illustrates a case where there is one sensor terminal, the health care support system 1 may accommodate a plurality of sensor terminals.
  • the sensor terminal 10 and the information processing apparatus 100 are connected so that they can communicate with each other.
  • the sensor terminal 10 and the information processing apparatus 100 are connected by short-range wireless communication such as BLE (Bluetooth (registered trademark) Low Energy). They can be connected to each other via a network.
  • the sensor terminal 10 and the information processing apparatus 100 are connected via an arbitrary type of communication network such as the Internet, including a local communication network such as a LAN (Local Area Network) and a VPN (Virtual Private Network). be able to.
  • the sensor terminal 10 is a terminal device on which a sensor is mounted.
  • the sensor terminal 10 can employ general IoT devices such as general-purpose wearable sensors such as smart glasses and smart watches, and terminal devices dedicated to healthcare.
  • general IoT devices such as general-purpose wearable sensors such as smart glasses and smart watches, and terminal devices dedicated to healthcare.
  • At least one sensor is mounted on the sensor terminal 10.
  • the sensor terminal 10 includes, for example, a heart rate sensor, a motion sensor such as an acceleration sensor and a gyro sensor, and a sensor such as a GPS (Global Positioning System) receiver. Can be installed.
  • a GPS Global Positioning System
  • a wearable heart rate sensor that is worn on a user's body part, for example, chest, arm, wrist, etc.
  • a photoelectric pulse wave sensor that measures the pulse can also be employed.
  • a heart rate sensor can be mounted exclusively for healthcare, or when the wearable gadget is equipped with a heart rate sensor, the heart rate sensor can be diverted.
  • the heart rate sensor may not necessarily be a wearable type.
  • a heart rate is detected from a time series change of luminance related to an image in which a part of a user's living body is imaged at a predetermined sampling frequency, or a Doppler frequency associated with a pulsation is detected using an RF (Radio Frequency) motion sensor.
  • RF Radio Frequency
  • heart rate here is an index that represents the number of heart beats that pump blood, and even if the sensing method is a method that measures the electrical activity of the heart, it measures blood flow and pulsates. It does not matter even if it is a method of measuring. That is, the heart rate sensor does not necessarily have to be mounted for detecting the heart rate, and an electrocardiographic sensor that detects an electrocardiographic signal may be mounted on the sensor terminal 10.
  • the sensor data measured by the sensors mounted on the sensor terminal 10 is transmitted to the information processing apparatus 100 in a state associated with the user identification information, for example, the machine name and serial number of the sensor terminal 10.
  • sensor data may be transmitted in real time every time a sensor value is collected, or transmitted after being accumulated over a predetermined period, for example, 12 hours, 1 day, 1 week, or 1 month. It doesn't matter.
  • a feature amount calculated from the sensor data that is, a first feature amount and a second feature amount, which will be described later, used for food detection.
  • the feature amount may be transmitted from the sensor terminal 10 to the information processing apparatus 100.
  • the information processing apparatus 100 is a computer that provides the above health care support service. As the information processing apparatus 100, it is possible to employ a general computer including a portable terminal device and a stationary or notebook personal computer.
  • the mobile terminal device includes not only mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone System), but also tablet terminals and slate terminals.
  • the information processing apparatus 100 can be implemented by installing a behavior detection program for realizing the above-described healthcare support service on a desired computer as package software or online software.
  • the information processing apparatus 100 detects the meal of the user of the sensor terminal 10 using the sensor data received from the sensor terminal 10.
  • the information processing apparatus 100 can record the meal time by using the meal detection result, and can also record a meal time period extending from the meal time recorded so far to a predetermined period, for example, one week.
  • a list can be generated and output, or various advices can be output after analyzing the eating habits or diet from the meal times recorded so far.
  • the above-described various types of information can be output through an output device such as a display device, an audio output device, and a printing device that the information processing apparatus 100 has.
  • the output destination of information is not necessarily limited to the information processing apparatus 100, and may be another terminal device used by the user, or a related person, for example, a user's relative, a medical or care worker, or the like It can also be set as the terminal device to be used. As a result, the above health care support service is realized.
  • the sensor terminal 10 includes a sensor data acquisition unit 11 and a communication I / F (InterFace) unit 13.
  • the sensor terminal 10 may include a functional unit included in a known computer other than the functional unit illustrated in FIG. 1.
  • a wearable gadget a terminal device dedicated to healthcare, or a portable terminal device is executed as the sensor terminal 10
  • hardware and software that are standard equipment of these devices can be implemented.
  • the sensor data acquisition unit 11 is a processing unit that acquires sensor data by controlling sensors (not shown).
  • the sensor data acquisition unit 11 acquires time-series data of heart rate as an example of sensor data.
  • the sensor data acquisition unit 11 controls a heart rate sensor (not shown) to cause the heart rate sensor to sense a heart rate at a predetermined sampling period.
  • the sensor data acquisition unit 11 acquires time-series data of the heart rate sensed by the heart rate sensor for each sampling point as heart rate data.
  • heart rate data data associated with items such as time and heart rate can be employed.
  • the “time” mentioned here may be a system time locally managed on the sensor terminal 10, for example, an elapsed time from an arbitrary start point, or expressed by a calendar calendar such as year / month / day / hour / hour / minute / second. It does not matter if it is time to be played.
  • the “heart rate” is expressed as a heart rate per unit time. For example, when the unit time is 1 minute, the heart rate is expressed in bpm (beats per minute) or the like. When the unit time is 1 second, the heart rate is expressed in Hz. Furthermore, as long as the index is correlated with “heart rate”, the heart rate does not have to be the same. For example, the RR interval of the electrocardiogram waveform in the electrocardiogram waveform is expressed in milliseconds and can be used instead of the heart rate.
  • the purpose of acquiring the heart rate by the sensor terminal 10 is to capture the response of the circulatory organ accompanying the meal and use it for estimation of the meal time, and can be obtained from the electrocardiogram waveform and the pulse wave waveform in addition to the heart rate.
  • the index can be used.
  • the sensor data acquisition unit 11 acquires time series data of acceleration as an example of sensor data.
  • the sensor data acquisition unit 11 controls an acceleration sensor (not shown) to cause the acceleration sensor to sense accelerations in three axes, that is, up, down, left, and right, back and forth, at a predetermined sampling period.
  • the sensor data acquisition unit 11 acquires time series data of acceleration in the vertical and horizontal directions sensed by the acceleration sensor for each sampling point as acceleration data.
  • acceleration data for example, data in which items such as time and acceleration are associated can be employed.
  • the “time” mentioned here may be a system time locally managed on the sensor terminal 10, for example, an elapsed time from an arbitrary start point, as well as the above heart rate data.
  • the “acceleration” can include three-axis accelerations in the vertical direction, the horizontal direction, and the front-back direction. For example, in a case where the acceleration in one direction among the three axes is limited to be used in the subsequent function unit, the acceleration in the direction not used in the subsequent function unit can be removed from the acceleration data.
  • sensor data other than heart rate data and acceleration data can be acquired.
  • position data associated with positions measured by the GPS receiver at the time for example, latitude and longitude for each time.
  • the communication I / F unit 13 is an interface that performs communication control with another device, such as the information processing device 100.
  • a BLE module or the like can be adopted as the communication I / F unit 13 when the sensor terminal 10 and the information processing apparatus 100 are connected by short-range wireless communication.
  • the communication I / F unit 13 can employ a network interface card such as a LAN card.
  • the communication I / F unit 13 transmits the above sensor data and the like to the information processing apparatus 100.
  • the communication I / F unit 13 uses the detection result of the action and the instruction other than the instruction to upload the sensor data and the like to the information processing apparatus 100 and the instruction regarding the interval to upload the sensor data to the information processing apparatus 100. It is also possible to receive support information such as diagnosis results from the information processing apparatus 100.
  • the sensor data detected by the sensor data acquisition unit 11 is processed by the communication I / F unit 13 according to an instruction from a control unit such as a CPU (Central Processing Unit) or MPU (Micro-Processing Unit) (not shown). 100.
  • a control unit such as a CPU (Central Processing Unit) or MPU (Micro-Processing Unit) (not shown).
  • the sensor value may be transmitted to the information processing apparatus 100, or a memory (not shown) for a predetermined period, for example, 12 hours, 1 day, 1 week, or 1 month.
  • the sensor data may be stored and then transmitted to the information processing apparatus 100.
  • each processing unit described above is not necessarily a main storage device, and may be an auxiliary storage device.
  • HDD Hard Disk Drive
  • optical disk optical disk
  • SSD Solid State Drive
  • the information processing apparatus 100 includes a communication I / F unit 110, an acquisition unit 120, a first feature amount calculation unit 130A, a second feature amount calculation unit 130B, and a first probability calculation unit 140A. And a second probability calculation unit 140B, a correction unit 150, and a determination unit 160.
  • the information processing apparatus 100 may include a functional unit included in a known computer, for example, various input / output devices, in addition to the functional unit illustrated in FIG.
  • the communication I / F unit 110 is an interface that performs communication control with other devices such as the sensor terminal 10.
  • a BLE module or the like can be adopted as the communication I / F unit 110 when the sensor terminal 10 and the information processing apparatus 100 are connected by short-range wireless communication.
  • the communication I / F unit 110 can employ a network interface card such as a LAN card.
  • the communication I / F unit 110 receives the sensor data and the like from the sensor terminal 10.
  • the communication I / F unit 110 includes an instruction for uploading the sensor data to the sensor terminal 10, an instruction regarding an interval at which the sensor terminal 10 uploads the sensor data to the information processing apparatus 100, an action detection result, and the like. Support information such as a diagnosis result using can be transmitted to the sensor terminal 10.
  • the acquisition unit 120 is a processing unit that acquires the sensor data.
  • the acquisition unit 120 can acquire sensor data from the sensor terminal 10 through short-range wireless communication. In addition to access through such communication, the acquisition unit 120 reads out sensor data stored in an auxiliary storage device such as a hard disk or an optical disk, or a removable medium such as a memory card or a USB (Universal Serial Bus) memory, thereby obtaining heart rate data. You can also get In addition, although the case where sensor data is acquired from the sensor terminal 10 by short-range wireless communication is illustrated here, when the information processing apparatus 100 incorporates or attaches the sensors described in the sensor terminal 10, the sensor data The output sensor data may be acquired as it is.
  • an auxiliary storage device such as a hard disk or an optical disk, or a removable medium such as a memory card or a USB (Universal Serial Bus) memory
  • the subsequent processing unit to which sensor data is input from the acquisition unit 120 shown in FIG. 1 branches into two processing systems in which processing is executed in parallel with each other. That is, the first processing system that performs processing related to the first feature value in which the feature of the biological reaction to the behavior is indexed, and the second processing that performs processing related to the second feature value in which the feature of the habit related to the behavior is indexed. It is roughly divided into the processing system.
  • the first processing system includes a first feature amount calculation unit 130A and a first probability calculation unit 140A.
  • the second processing system includes a second feature amount calculation unit 130B and a second probability calculation unit 140B.
  • each processing unit included in the first processing system will be described, and then each processing unit included in the second processing system will be described.
  • the first feature amount calculation unit 130A is a processing unit that calculates the first feature amount.
  • the case where the heart rate change is calculated as an example of the first feature amount is illustrated as an example.
  • the index represents a characteristic of a biological reaction to a meal
  • any other existing index is used as the first feature. Needless to say, it can be calculated as a quantity, and it does not prevent the plurality of first feature quantities from being calculated.
  • the first feature amount calculation unit 130A selects sensor data used for calculation of the first feature amount to be calculated from the sensor data acquired by the acquisition unit 120. For example, when the above “heart rate change” is calculated as the first feature value, setting the heart rate data among the sensor data acquired by the acquisition unit 120 as an input is set in a work area or the like of an internal memory (not shown) Is done. By referring to this setting, the first feature amount calculation unit 130A extracts heart rate data from the sensor data acquired by the acquisition unit 120 and calculates a heart rate change. For example, for each time included in the heart rate data, the first feature amount calculation unit 130A calculates a difference between the heart rate measured at the time and the heart rate measured immediately before the time as a heart rate change. To do.
  • the first feature amount is obtained for each time.
  • the difference in heart rate between the current time and the previous time is calculated as a heart rate change is illustrated here, but the heart rate at the current time and the current time were measured before a predetermined period.
  • the difference between the heart rate statistics for example, the average value, can be calculated as the heart rate change, or the difference between the heart rate at the current time and the heart rate statistics over the entire period can be calculated as the heart rate change. it can.
  • the first probability calculation unit 140A is a processing unit that calculates the occurrence probability of an action in which an action has occurred from the first feature amount as the first action occurrence probability.
  • the first probability calculation unit 140A includes a first determination model that classifies the first feature amount into a meal or non-meal class, and a first feature calculated for each time by the first feature amount calculation unit 130A.
  • the first action occurrence probability is calculated for each time from the amount.
  • the first action occurrence probability can be calculated according to an algorithm such as logistic regression analysis.
  • the “first determination model” is data generated by machine learning of first learning data in which a meal or non-meal label and a first feature amount are associated with each other at each time. After being stored in the work area or the like of the internal memory at the stage where the action is performed, it is referred to when the action is detected.
  • the machine learning does not necessarily have to be executed by the information processing apparatus 100, and the first determination model generated by another apparatus may be stored in a work area of an internal memory or the like.
  • the second feature amount calculation unit 130B is a processing unit that calculates the second feature amount.
  • the case where “existence of exercise”, “category of current location”, etc. are calculated as an example of the second feature amount is exemplified.
  • an existing index can be calculated as the second feature amount, and it does not prevent the plurality of second feature amounts from being calculated.
  • the second feature amount calculation unit 130B selects sensor data used for calculation of the second feature amount to be calculated from the sensor data acquired by the acquisition unit 120. For example, when the above-mentioned “presence / absence of exercise” or “category of current location” is calculated as the second feature amount, it is possible to input acceleration data among the sensor data acquired by the acquisition unit 120 as a work area in the internal memory. Etc. By referring to the setting, the second feature amount calculation unit 130B extracts acceleration data and position data from the sensor data acquired by the acquisition unit 120 and calculates the presence or absence of exercise.
  • the second feature amount calculating unit 130B calculates the presence / absence of exercise from the acceleration measured at the time as the presence / absence of exercise. Further, for each time included in the position data, the second feature amount calculation unit 130B calculates a classification result obtained by classifying the position measured at the time into a category such as home, workplace, railway, restaurant, or the like as the current location category. To do. Thereby, the second feature amount is obtained for each time.
  • the second probability calculation unit 140B is a processing unit that calculates an occurrence probability of an action in which an action has occurred from the second feature amount as a second action occurrence probability.
  • the second probability calculation unit 140B includes a second determination model that classifies the second feature amount into a meal or non-meal class, and a second feature calculated for each time by the second feature amount calculation unit 130B.
  • the second action occurrence probability is calculated for each time from the amount.
  • the second behavior occurrence probability can also be calculated according to an algorithm such as logistic regression analysis as an example.
  • the “second determination model” is data generated by machine learning of second learning data in which a meal or non-meal label and a second feature amount are associated with each other at each time. After being stored in the work area or the like of the internal memory at the stage where the action is performed, it is referred to when the action is detected.
  • the machine learning does not necessarily have to be executed by the information processing apparatus 100, and the first determination model generated by another apparatus may be stored in a work area of an internal memory or the like.
  • FIG. 2 is a diagram illustrating an example of a behavior detection result.
  • FIG. 2 shows a result of action detection performed according to a determination model in which machine learning is performed using both the first feature quantity and the second feature quantity as feature vectors. Further, FIG. 2 shows a case where a change in heart rate is calculated as the first feature quantity and a time is calculated as the second feature quantity. Feature vectors classified as meals are indicated by hatching. On the other hand, feature vectors classified as non-meal are shown in white fill.
  • symbol 20 shown in FIG. 2 points out the boundary line by which a feature vector is classify
  • the horizontal axis of the graph shown in FIG. 2 indicates heart rate change, and the vertical axis indicates time.
  • the boundary between the positive example (meal) and the negative example (non-meal), that is, the boundary where the feature vector is classified into meal and non-meal by the determination model The reference numeral 20 shown in FIG. Therefore, if a meal is ingested one day earlier, for example, if the feature vector of the asterisk plot in FIG. 2 is calculated, even if the heart rate change suggests the possibility of a meal, Since the feature amount is different from usual, it cannot be detected as a meal.
  • one reason why the boundary classified into meal and non-meal by the determination model is as shown by reference numeral 20 is as follows.
  • the occurrence of a signal change associated with a behavior desired to be detected is highly reliable, but the variation in the generated signal change tends to be large.
  • the behavior related habit is probabilistic whether the signal change accompanying the action to be detected occurs, but the variation of the generated signal tends to be small.
  • a habit tends to repeat the same action pattern every day for a person, it is easy to see the signal change with high certainty of occurrence on data. In machine learning or the like, such a phenomenon occurs because a feature quantity that has high certainty of occurrence on data and has a small variation in signal change is prioritized.
  • the occurrence of a signal change associated with the action to be detected itself is a highly reliable biological reaction, and whether or not a signal change associated with the action to be detected occurs is separated from the habit related to the probabilistic action. It is possible to determine whether or not an action has been performed even when a contrary action is performed.
  • the sensor data is divided into the characteristics of the biological reaction to the action and the characteristics of the habit related to the action to obtain the first feature quantity and the second feature quantity, and these individual action occurrence probabilities are used for action detection. For example, when the sum of the first action occurrence probability and the second action occurrence probability is equal to or greater than a threshold, for example, 1 or more, it can be determined that an action has been performed.
  • FIG. 3 and 4 are diagrams showing an example of the behavior detection result.
  • FIG. 3 and FIG. 4 show the results of action detection based on whether or not the sum of the first action occurrence probability and the second action occurrence probability is 1 or more.
  • FIG. 3 also shows the case where the heart rate change is calculated as the first feature quantity and the time is calculated as the second feature quantity, as in FIG.
  • the plot classified as meal among the set of the first feature quantity and the second feature quantity calculated at the same time is indicated by hatching, while the plot classified as non-meal Is shown in white fill.
  • FIG. 3 shows the results of action detection based on whether or not the sum of the first action occurrence probability and the second action occurrence probability is 1 or more.
  • FIG. 3 also shows the case where the heart rate change is calculated as the first feature quantity and the time is calculated as the second feature quantity, as in FIG.
  • the plot classified as meal among the set of the first feature quantity and the second feature quantity calculated at the same time is indicated by hatching, while the plot classified as non-
  • FIG. 3 shows two graphs showing changes in the first action occurrence probability and the second action occurrence probability on the upper and right sides of the graph including the first feature quantity and the second feature quantity on the horizontal axis and the vertical axis. Is shown corresponding to the horizontal or vertical axis of the previous graph.
  • the horizontal axis of the graph shown in FIG. 3 indicates heart rate change
  • the vertical axis indicates time.
  • the horizontal axis of the graph shown in FIG. 4 indicates the first action occurrence probability
  • the vertical axis indicates the second action occurrence probability.
  • the boundary at which a meal or non-meal determination is made based on the first action occurrence probability and the second action occurrence probability is as shown by reference numeral 30 shown in FIGS.
  • plots 1 to 5 indicated by black filling.
  • the shapes of plots 2, 3, and 5 where the actual behavior is a meal are shown as circles, and plots 1 and 4 where the actual behavior is a non-meal are shown as squares.
  • the weight is biased to the feature of the habit related to the action due to machine learning. It can suppress that action detection is performed.
  • Occurrence of leakage and false detection can be suppressed.
  • the plot 5 in which a meal is performed at a time when the meal is not normally performed can also be detected as a meal.
  • the correction unit 150 is a processing unit that corrects the superiority of the first action occurrence probability and the second action occurrence probability.
  • the correction unit 150 corrects the superiority according to the following three policies.
  • a first policy when the first action occurrence probability is high, the priority of the second action occurrence probability is lowered. This policy is based on the reason that it is better to judge a meal even if it is detected from the acceleration, position and time that you do not normally eat, when the biological response can be detected clearly from heart rate data etc. Adopted.
  • a second policy when the first action occurrence probability is medium or low, the second action occurrence probability is increased in priority. For example, this policy is determined by taking into account the habit of whether or not it is always a meal time when it is difficult to clearly detect a biological response from heart rate data or the like.
  • the correcting unit 150 calculates the weight of the second action occurrence probability calculated by the second probability calculating unit 140B by the first probability calculating unit 140A. 1 is changed small regardless of the value of the action occurrence probability.
  • the correction unit 150 reduces the weight of the second action occurrence probability calculated by the second probability calculation unit 140B according to the following equation (1).
  • “a” in the following equation (1) is the weight of the second action occurrence probability, satisfies the condition of 0 ⁇ a ⁇ 1, and is used, for example, when learning the first determination model and the second determination model.
  • the smallest value among the experimental values that can be separated most positively and negatively is adopted.
  • the correction unit 150 is, as an example only, according to the following equation (2), the first action occurrence calculated by the first probability calculation unit 140A. Correct the probability. “X” in the following equation (2) indicates the value of the first action occurrence probability calculated by the first probability calculation unit 140A. By substituting this into the following equation (2), the corrected first action occurrence probability can be calculated. That is, the probability can be adjusted with a function such that the slope becomes steeper than 1 when the first action occurrence probability takes values near 1 and 0.
  • the following formula (2) is an example, and other geometric formulas using arccos or the like can be used as long as the geometric formulas achieve the above policies (1) to (3). Needless to say.
  • the second action occurrence probability calculated by the second probability calculation unit 140B is corrected. It doesn't matter.
  • FIGS. 5 and 6 are diagrams showing examples of behavior detection results.
  • behavior detection is performed by a third determination model in which machine learning is performed from the first behavior occurrence probability corrected according to the above equation (2) and the second behavior occurrence probability. The results are shown.
  • FIG. 5 also shows the case where the heart rate change is calculated as the first feature quantity and the time is calculated as the second feature quantity, as in FIG.
  • the plot classified as meal among the set of the first feature quantity and the second feature quantity calculated at the same time is shown by hatching, while the plot classified as non-meal Is shown in white fill.
  • FIG. 5 are diagrams showing examples of behavior detection results.
  • FIGS. 5 and 6 behavior detection is performed by a third determination model in which machine learning is performed from the first behavior occurrence probability corrected according to the above equation (2) and the second behavior occurrence probability. The results are shown.
  • FIG. 5 also shows the case where the heart rate change is calculated as the first feature quantity and the time is calculated as the second feature quantity, as in FIG.
  • FIG. 5 shows two graphs showing changes in the first action occurrence probability and the second action occurrence probability on the upper and right sides of the graph including the first feature quantity and the second feature quantity on the horizontal axis and the vertical axis. Is shown corresponding to the horizontal or vertical axis of the previous graph.
  • the horizontal axis of the graph shown in FIG. 5 indicates heart rate change
  • the vertical axis indicates time.
  • the horizontal axis of the graph shown in FIG. 6 indicates the first action occurrence probability
  • the vertical axis indicates the second action occurrence probability.
  • the boundary where the determination of meal or non-meal is performed by the third determination model is as shown by reference numeral 50 shown in FIGS.
  • the plot 4 erroneously detected as a meal can be determined as “non-meal” according to the boundary 30 shown in FIGS. 3 and 4. If the boundary 30 is obeyed, it is possible to determine that the plot 2 that is a non-meal and a detection failure is “meal”.
  • the machine It is possible to suppress the action detection based on the determination that the weight is biased to the characteristic of the habit related to the action due to learning.
  • the plot 2 in which meals are usually performed at times when meals are difficult to be detected can also be detected as meals, and no meals are usually performed at meal times.
  • Plot 4 can also be detected as non-meal.
  • the determination unit 160 is a processing unit that determines whether or not an action has been performed based on the first action occurrence probability and the second action occurrence probability.
  • the determination unit 160 classifies the first action occurrence probability and the second action occurrence probability corrected according to the above equation (2) as a meal or non-meal class as an example.
  • the first action occurrence probability corrected for each time by the correction unit 150 and the second action occurrence probability calculated by the second probability calculation unit 140B are either meals or non-meals. It is calculated for each time.
  • the “third determination model” indicates that the third learning data in which the meal or non-meal label is associated with the corrected first action occurrence probability and second action occurrence probability for each time is a machine. This data is generated by learning and is stored in the work area of the internal memory when machine learning is performed, and then referred to when behavior is detected.
  • the machine learning does not necessarily have to be executed by the information processing apparatus 100, and the first determination model generated by another apparatus may be stored in a work area of an internal memory or the like.
  • At least one of the meal time estimated using the behavior estimation result estimated by the determination unit 160 records the meal time. Or generate a list of meal times from a meal time recorded so far over a specified period, for example, a week, and output it, or analyze meal habits or diets from meal times recorded so far Is output to the execution destination of the health care support service that outputs various advices.
  • the execution destination may be a processing unit that is executed on the processor of the information processing apparatus 100, or may be an external server apparatus or the like.
  • processing units such as the acquisition unit 120, the first feature amount calculation unit 130A, the second feature amount calculation unit 130B, the first probability calculation unit 140A, the second probability calculation unit 140B, the correction unit 150, and the determination unit 160 are as follows. It can be implemented as follows. For example, the acquisition unit 120, the first feature amount calculation unit 130A, the second feature amount calculation unit 130B, the first probability calculation unit 140A, the second probability calculation unit 140B, the correction unit 150, This can be realized by deploying and executing a process that exhibits the same function as the determination unit 160 on the memory. These processing units are not necessarily executed by the central processing unit, and may be executed by the MPU. Each of the above functional units can also be realized by hard wired logic.
  • each processing unit various semiconductor memory elements such as a RAM and a flash memory can be adopted as an example.
  • the storage device referred to by each of the functional units is not necessarily a main storage device, and may be an auxiliary storage device. In this case, an HDD, an optical disk, an SSD, or the like can be employed.
  • FIG. 7 is a flowchart illustrating the procedure of the learning process according to the first embodiment.
  • this learning process can be started at an arbitrary timing when the supply destination of teacher data is confirmed.
  • teacher data is acquired from a predetermined supply destination (step S101), and at least one sensor data is acquired by the acquisition unit 120 (step S102).
  • the teacher data may be data that can specify a period during which meals are actually performed, for example, data in which a meal start time and a meal end time are input by a user or the like.
  • the first feature amount calculation unit 130A calculates a first feature amount from the sensor value measured at the time for each time included in the sensor data acquired in step S102 (step S103A). .
  • the first feature amount calculation unit 130A determines whether or not the time is included in the meal start time and the meal end time of the teacher data acquired in step S101 for each time the first feature amount is calculated in step S103A.
  • the first learning data is generated by assigning a meal or non-meal label by (step S104A). Thereby, positive data to which the label “meal” is given and negative data to which the label “non-meal” is given can be prepared as the first learning data.
  • the first probability calculation unit 140A generates a first determination model by machine learning the first learning data generated in step S104A (step S105A).
  • the first probability calculating unit 140A calculates the first action occurrence probability for each time from the first determination model generated in step S105A and the first feature amount calculated for each time in step S103A.
  • the correcting unit 150 corrects the first action occurrence probability by substituting the first action occurrence probability calculated in step S106A into “x” shown in the above equation (2). (Step S107).
  • step S102 the second feature quantity calculation unit 130B calculates a second feature quantity from the sensor value measured at the time for each time included in the sensor data acquired in step S102 (step S103B). .
  • the second feature value calculation unit 130B determines whether or not the time is included in the meal start time and the meal end time of the teacher data acquired in step S101.
  • the second learning data is generated by assigning a meal or non-meal label by (step S104B). Accordingly, positive data to which the label “meal” is assigned and negative data to which the label “non-meal” is assigned can be prepared as the second learning data.
  • the second probability calculation unit 140B generates a second determination model by machine learning of the second learning data generated in step S104B (step S105B).
  • the second probability calculation unit 140B calculates a second action occurrence probability for each time from the second determination model generated in step S105B and the second feature amount calculated for each time in step S103B. (Step S106B).
  • the determination unit 160 determines the first action occurrence probability corrected in step S107 and the second action calculated in step S106B.
  • the occurrence probabilities are associated with the probabilities associated with the same time (step S108).
  • the determination unit 160 starts the meal of the teacher data obtained in step S101.
  • the third learning data is generated by giving a label of meal or non-meal depending on whether it is included in the time and the meal end time (step S109). Accordingly, positive data to which the label “meal” is assigned and negative data to which the label “non-meal” is assigned can be prepared as the third learning data.
  • the determination unit 160 generates a third determination model by machine learning the third learning data generated in step S109 (step S110), and ends the process.
  • FIG. 8 is a flowchart illustrating the procedure of behavior detection processing according to the first embodiment.
  • this behavior detection process can be started at an arbitrary timing after the first determination model, the second determination model, and the third determination model are generated.
  • the same step numbers are assigned to the processes having the same processing contents as the steps shown in FIG.
  • step S102 when one or more pieces of sensor data are acquired by the acquisition unit 120 (step S102), the process A after step S103A and the process B after step S103B are executed in parallel.
  • the first feature amount calculation unit 130A calculates a first feature amount from the sensor value measured at the time for each time included in the sensor data acquired in step S102 (step S103A). .
  • the first probability calculation unit 140A calculates the first action occurrence probability for each time from the first determination model generated in the learning process illustrated in FIG. 7 and the first feature amount calculated for each time in step S103A. (Step S106A). Subsequently, as an example, the correcting unit 150 corrects the first action occurrence probability by substituting the first action occurrence probability calculated in step S106A into “x” shown in the above equation (2). (Step S107).
  • the second feature quantity calculation unit 130B calculates a second feature quantity from the sensor value measured at the time for each time included in the sensor data acquired in step S102 (step S103B). .
  • the second probability calculation unit 140B calculates the second action occurrence probability for each time from the second determination model generated by the learning process illustrated in FIG. 7 and the second feature amount calculated for each time in step S103B. (Step S106B).
  • the determination unit 160 determines the first action occurrence probability corrected in step S107 and the second action calculated in step S106B.
  • the occurrence probabilities are associated with the probabilities associated with the same time (step S108).
  • the determination unit 160 uses the first feature amount calculated in step S103A and the second feature amount calculated in step S103B according to the third determination model generated in the learning process illustrated in FIG. By classifying into meals, it is detected whether or not meals have been performed at each time (step S201), and the process is terminated.
  • the information processing apparatus 100 uses the action occurrence probability obtained separately from the sensor data by dividing the feature quantity indicating the biological reaction to the action and the feature quantity indicating the behavior habit. Perform behavior detection. For this reason, it can suppress that action detection is performed by the determination which concentrated on the characteristic of the habit relevant to action by machine learning. Therefore, according to the information processing apparatus 100 according to the present embodiment, it is possible to suppress the occurrence of detection omission and erroneous detection when an action contrary to the habit is performed.
  • the information processing apparatus 100 can also calculate the presence or absence of throat movement, the presence or absence of arm movement, the expansion or contraction of the chest, and the like as the first feature amount from sensor values of an acceleration sensor or a gyro sensor.
  • the case where the presence / absence of exercise, the category of the current location, and the like are obtained as the second feature amount is exemplified.
  • other feature amounts can be calculated as the second feature amount.
  • the information processing apparatus 100 can calculate an ON or OFF operation state from the camera as the second feature amount.
  • the information processing apparatus 100 can be applied as long as the behavior can observe a change in a biological reaction associated with the behavior.
  • the information processing apparatus 100 can also be applied when detecting other behaviors such as urination, excretion, drinking, drinking, sitting, standing, walking, lifting, and sleeping.
  • Urination when urination detection is performed, the following feature amount can be calculated as the first feature amount.
  • a change in heart rate can be calculated as a first feature amount from heart rate data acquired from a heart rate sensor.
  • the weight reduction rate can be calculated as the first feature amount from the weight data acquired from the load sensor. The reason why the weight loss rate is defined as the first feature amount is that the weight decreases after urination.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence or absence of walking, the presence or absence of hand movement, the presence or absence of direction change, and the like can be calculated as the second feature amount from the motion data acquired from the motion sensor. These are defined as the second feature value in that the walking is performed to go to the toilet before and after urination, and the hands are often washed after urination. This is because the direction is often changed for the purpose of sitting.
  • the presence / absence of a sound corresponding to a water flow can be calculated as the second feature amount from audio data acquired from a microphone. The presence or absence of sound corresponding to the water flow is defined as the second feature value because there is a feature that the wash water often flows along with the toilet bowl before and after urination.
  • the following feature quantity can be calculated as the first feature quantity.
  • a change in heart rate can be calculated as a first feature amount from heart rate data acquired from a heart rate sensor.
  • the weight reduction rate can be calculated as the first feature amount from the weight data acquired from the load sensor. The reason why the weight loss rate is defined as the first feature amount is because the weight decreases after excretion.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence or absence of walking, the presence or absence of hand movement, and the standing or sitting posture can be calculated as the second feature amount from the motion data acquired from the motion sensor. These are defined as the second feature amount because they walk in order to go to the toilet before and after excretion, and they often wash their hands after excretion, and before and after excretion. This is because there is a feature that the direction is often changed for the purpose of sitting on the toilet seat.
  • the following feature quantity can be calculated as the first feature quantity.
  • the increase or decrease width of the heart rate can be calculated as the first feature amount from the heart rate data acquired from the heart rate sensor. These are defined as the first feature value because there is a feature that the heart rate decreases after drastically increasing during drinking.
  • body temperature change can be calculated as a first feature amount from body temperature data acquired from a thermometer. The reason why the body temperature change is defined as the first feature amount is that the body temperature rises and falls according to the temperature of the beverage after drinking.
  • the following feature quantity can be calculated as the second feature quantity.
  • the temperature rise and humidity information can be calculated as the second feature amount from the temperature data and temperature data acquired from the temperature / temperature sensor. These are defined as the second feature value because there is a feature that drinking is easier as the temperature and humidity rise.
  • the presence or absence of exercise can be calculated as the second feature amount from the motion data acquired from the motion sensor. The reason for defining the presence / absence of exercise as the second feature amount in this way is that drinking water is easily performed after exercise.
  • the following feature quantity can be calculated as the first feature quantity.
  • an increase in heart rate can be calculated as the first feature amount from heart rate data acquired from a heart rate sensor.
  • the reason why the increase in heart rate is defined as the first feature amount is because the heart rate increases when drinking.
  • the similarity between the face area color and red color can be calculated as the first feature amount from image data or spectral data acquired from an image sensor or the like. This is defined as the first feature amount because it has a feature that the face becomes red after drinking.
  • the following feature quantity can be calculated as the second feature quantity.
  • the time information can be calculated as the second feature amount from the time data acquired from the timer. This is defined as the second feature amount because the drinking time zone is determined to some extent.
  • the presence or absence of a restaurant can be calculated as the second feature amount from position data acquired from a position sensor such as a GPS receiver or a wireless LAN access point.
  • the presence or absence of a restaurant is defined as the second feature value because the place where drinking is performed is fixed to some extent.
  • the presence or absence of a meal can be calculated as the second feature amount. The reason for defining the presence / absence of a meal as the second feature amount is that there is a characteristic that drinking is often performed together with a meal.
  • the following feature amount can be calculated as the first feature amount.
  • a decrease in heart rate can be calculated as the first feature amount from heart rate data acquired from a heart rate sensor.
  • the reason why the decrease change is defined as the first feature amount is that the seating has a feature that the heart rate is likely to decrease.
  • a bending / stretching or bending posture change can be calculated as a first feature amount from motion data acquired from a motion sensor.
  • the reason why the posture change is defined as the first feature amount is that the knee is bent and stretched when sitting.
  • the presence / absence of a foot muscle operation can be calculated as a first feature amount from a myoelectric signal acquired from an myoelectric sensor.
  • the presence / absence of the operation of the foot muscles is defined as the first feature amount because there is a feature that force is applied to the foot muscles when sitting.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence or absence of walking can be calculated as the second feature amount from the motion data acquired from the motion sensor.
  • the presence or absence of walking is defined as the second feature amount in this way because there is a feature that walking is often performed after standing up.
  • the following feature quantity can be calculated as the first feature quantity.
  • an increase in heart rate can be calculated as the first feature amount from heart rate data acquired from a heart rate sensor.
  • the reason why the change in elevation is defined as the first feature amount is that the heart rate is more likely to rise after standing up than when sitting or lying down.
  • a bending / stretching or bending posture change can be calculated as a first feature amount from motion data acquired from a motion sensor. The posture change is defined as the first feature amount in this way because the knee is bent and stretched when standing.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence or absence of walking can be calculated as the second feature amount from the motion data acquired from the motion sensor.
  • the presence or absence of walking is defined as the second feature amount in this way because there is a feature that walking is often performed after standing up.
  • the following feature amount can be calculated as the first feature amount.
  • the presence or absence of a periodic motion of the leg can be calculated as the first feature amount from the motion data acquired from the motion sensor.
  • the reason why the presence / absence of the periodic motion of the leg is defined as the first feature amount is that the left and right feet are alternately moved during walking.
  • an increase in heart rate can be calculated as the first feature amount from heart rate data acquired from a heart rate sensor.
  • the reason why the change in elevation is defined as the first feature amount is that the heart rate is more likely to rise during walking than when sitting or lying down.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence / absence of a standing motion can be calculated as the second feature amount.
  • the presence / absence of the standing motion is defined as the second feature amount in this way because there is a feature that walking is often performed after standing up.
  • the presence / absence of operation of a switch of the remote controller can be calculated as the second feature amount. This is defined as the second feature value because there is a feature that walking is easily performed in order to operate the appliance.
  • Elevation when elevation detection such as stairs is performed, the following feature amount can be calculated as the first feature amount.
  • the presence or absence of a periodic motion of the leg can be calculated as the first feature amount from the motion data acquired by the motion sensor.
  • the reason why the presence / absence of the periodic motion of the leg is defined as the first feature amount is that the left and right feet are alternately moved during walking.
  • an increase in heart rate can be calculated as the first feature amount from heart rate data acquired from a heart rate sensor.
  • the reason why the change in elevation is defined as the first feature amount is that the heart rate is more likely to rise during walking than when sitting or lying down.
  • the shallowness of breathing and the presence or absence of sweating can be calculated as the first feature amount. These are defined as the first feature amount because there is a feature that breathing becomes rough or sweating easily occurs during elevation.
  • the following feature quantity can be calculated as the second feature quantity.
  • the atmospheric pressure change can be calculated as the second feature amount from the atmospheric pressure data acquired by the atmospheric pressure sensor. The reason why the atmospheric pressure change is defined as the second feature amount is that there is a feature that the ambient atmospheric pressure often changes during the ascent and descent.
  • the following feature quantity can be calculated as the first feature quantity.
  • heart rate change, heart rate variability (LF / HF), and the like can be calculated as the first feature amount from the heart rate data acquired from the heart rate sensor.
  • the reason why these are defined as the first feature amount is that, during sleep, there is a feature that the heart rate is reduced more than the heart rate during the day, and heart rate variability is repeated in REM sleep and non-REM sleep.
  • eye movement can be calculated as the first feature amount. The reason why the eye movement is defined as the first feature amount is because the eye movement is different between REM sleep and non-REM sleep and repeats becoming intense and calm.
  • the following feature quantity can be calculated as the second feature quantity.
  • the presence or absence of a specific location such as a home or an accommodation facility can be calculated as the second feature amount from the position data acquired by the position sensor.
  • the reason why the presence / absence at the specific place is defined as the second feature amount is that the sleeping place is fixed to some extent.
  • the illumination OFF state can be calculated as the second feature amount from the illuminance data acquired by the illuminance sensor.
  • the reason for defining the illumination OFF state as the second feature amount in this way is that there is a high possibility that the illumination is turned off during sleep.
  • the presence or absence of sound can be calculated as the second feature amount from the sound data acquired by the microphone. The reason for defining the presence / absence of sound as the second feature amount is that there is a high possibility of a quiet environment during sleep.
  • the server device 100 is included in the healthcare support system 1, but the server device 100 is not necessarily included. That is, when the sensor terminal 10 is implemented as a wearable gadget or the like, various processes other than the acquisition of sensor data, for example, behavior detection, are performed by a smartphone or tablet terminal connected by the wearable gadget via short-range wireless communication or the like. It doesn't matter.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the acquisition unit 120, the first feature amount calculation unit 130 ⁇ / b> A, the second feature amount calculation unit 130 ⁇ / b> B, the first probability calculation unit 140 ⁇ / b> A, the second probability calculation unit 140 ⁇ / b> B, the correction unit 150, or the determination unit 160 may be external to the information processing apparatus 100. You may make it connect via a network as an apparatus.
  • the acquisition unit 120, the first feature amount calculation unit 130A, the second feature amount calculation unit 130B, the first probability calculation unit 140A, the second probability calculation unit 140B, the correction unit 150, or the determination unit 160 are provided in different devices, respectively. Then, the functions of the information processing apparatus 100 may be realized by being connected to a network and cooperating.
  • FIG. 9 is a diagram illustrating a hardware configuration example of a computer that executes the behavior detection program according to the first and second embodiments.
  • the computer 1000 includes an operation unit 1100 a, a speaker 1100 b, a camera 1100 c, a display 1200, and a communication unit 1300. Further, the computer 1000 includes a CPU 1500, a ROM 1600, an HDD 1700, and a RAM 1800. These units 1100 to 1800 are connected via a bus 1400.
  • the HDD 1700 includes the acquisition unit 120, the first feature amount calculation unit 130A, the second feature amount calculation unit 130B, the first probability calculation unit 140A, and the second probability calculation shown in the first embodiment.
  • the behavior detection program 1700a that exhibits the same functions as the unit 140B, the correction unit 150, and the determination unit 160 is stored.
  • the behavior detection program 1700a includes the acquisition unit 120, the first feature amount calculation unit 130A, the second feature amount calculation unit 130B, the first probability calculation unit 140A, the second probability calculation unit 140B, the correction unit 150, and the correction unit 150 illustrated in FIG. As with each component of the determination unit 160, it may be integrated or separated.
  • the HDD 1700 does not necessarily store all the data shown in the first embodiment, and the HDD 1700 may store data used for processing.
  • the CPU 1500 reads out the behavior detection program 1700a from the HDD 1700 and develops it in the RAM 1800.
  • the behavior detection program 1700a functions as a behavior detection process 1800a as shown in FIG.
  • the behavior detection process 1800a expands various data read from the HDD 1700 in an area allocated to the behavior detection process 1800a in the storage area of the RAM 1800, and executes various processes using the expanded various data. For example, as an example of processing executed by the behavior detection process 1800a, processing shown in FIGS. 7 and 8 and the like are included.
  • the CPU 1500 does not necessarily operate all the processing units described in the first embodiment, and it is only necessary to virtually realize a processing unit corresponding to a process to be executed.
  • the behavior detection program 1700a is not necessarily stored in the HDD 1700 or the ROM 1600 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 1000, so-called FD, CD-ROM, DVD disk, magneto-optical disk, IC card or the like.
  • the computer 1000 may acquire and execute each program from these portable physical media.
  • Each program is stored in another computer or server device connected to the computer 1000 via a public line, the Internet, a LAN, a WAN, etc., and the computer 1000 acquires and executes each program from these. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)

Abstract

情報処理装置（１００）は、１つ以上のセンサからセンサデータを取得する処理と、センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する処理と、第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する処理と、センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する処理と、第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する処理と、第１の行動発生確率および第２の行動発生確率に基づいて前記行動が行われたか否かを判定する処理とを実行する。

Description

行動検知装置、行動検知方法及び行動検知プログラム
　本発明は、行動検知装置、行動検知方法及び行動検知プログラムに関する。
　社会の高齢化や医療費の増加などに伴ってヘルスケアに注目が集まっている。さらに、ウェアラブルセンサやＩｏＴ（Internet　of　Things）デバイスの普及が進み、各種のデバイスから様々な情報が取得できる環境が整いつつある。このような背景の下、各種のデバイスを用いた行動検知により生活習慣や健康状態などを把握するために、機械学習によりヘルスケアに関する行動を検知する技術が提案されている。
特開２０１３－１０９６２３号公報
　しかしながら、上記の技術では、次のような理由から、行動の検知漏れや誤検知が生じる場合がある。
　すなわち、上記の技術では、検知対象とする行動Ａと行動Ａに関連する普段の行動や状況、いわゆる行動習慣との関係を学習することにより個人差の影響を低減し、精度の向上が図られる。ところが、機械学習により行動検知を行う場合、普段では行動Ａが行われない状況下で行動Ａが行われた場合、あるいは普段では行動Ａが行われる状況下で行動Ａが行わなかった場合のように、行動習慣と反する行動が行われると、検知漏れや誤検知が発生する。以下では、行動習慣を単に習慣と呼ぶ場合がある。
　１つの側面では、行動の検知漏れ又は誤検知が生じるのを抑制できる行動検知装置、行動検知方法及び行動検知プログラムを提供することを目的とする。
　一態様では、行動検知装置は、１つ以上のセンサからセンサデータを取得する取得部と、前記センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する第１特徴量算出部と、前記第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する第１確率算出部と、前記センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する第２特徴量算出部と、前記第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する第２確率算出部と、前記第１の行動発生確率および前記第２の行動発生確率に基づいて前記行動が行われたか否かを判定する判定部とを有する。ここで言う、生体反応は、体内および体表面の状態や活動を表す信号や、筋肉や部位の動きを捉える信号などがある、例えば、血圧、体温、皮膚電気抵抗、心電波形、心拍数、脈波形、心拍数、脈拍数、皮膚温度、筋電、発声や、臓器の活動音、顔画像、体の部位の加速度や角速度、などがある。
　行動の検知漏れ又は誤検知が生じるのを抑制できる。
図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。 図２は、行動検知結果の一例を示す図である。 図３は、行動検知結果の一例を示す図である。 図４は、行動検知結果の一例を示す図である。 図５は、行動検知結果の一例を示す図である。 図６は、行動検知結果の一例を示す図である。 図７は、実施例１に係る学習処理の手順を示すフローチャートである。 図８は、実施例１に係る行動検知処理の手順を示すフローチャートである。 図９は、実施例１及び実施例２に係る行動検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。
　以下に添付図面を参照して本願に係る行動検知装置、行動検知方法及び行動検知プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成］
　図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。図１に示すヘルスケア支援システム１は、センサ端末１０により採取されたセンサデータを用いてセンサ端末１０のユーザの生活習慣や健康状態などの健康管理、いわゆるヘルスケアを支援するヘルスケア支援サービスを提供するものである。以下では、あくまで一例として、ヘルスケア支援サービスの一環として、「食事」という行動がユーザの行動として検知対象とされる場合を想定して説明を行うこととする。
　図１に示すように、ヘルスケア支援システム１には、センサ端末１０と、情報処理装置１００とが含まれる。なお、図１には、センサ端末が１つである場合を図示したが、ヘルスケア支援システム１には、複数のセンサ端末が収容されることとしてもかまわない。
　これらセンサ端末１０及び情報処理装置１００の間は、相互に通信可能に接続される。ここでは、一例として、センサ端末１０及び情報処理装置１００がＢＬＥ（Bluetooth（登録商標）　Low　Energy）などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、ＬＡＮ（Local　Area　Network）やＶＰＮ（Virtual　Private　Network）などの構内通信網を始め、インターネット（Internet）などの任意の種類の通信網を介して、センサ端末１０及び情報処理装置１００を接続することができる。
　センサ端末１０は、センサを実装する端末装置である。
　一実施形態として、センサ端末１０には、スマートグラスやスマートウォッチ等の汎用のウェアラブルセンサを始め、ヘルスケア専用の端末装置などのＩｏＴデバイス全般を採用できる。
　センサ端末１０には、少なくとも１つ以上のセンサが実装される。例えば、ユーザの食事が検知対象とされる場合、センサ端末１０には、あくまで一例として、心拍センサを始め、加速度センサやジャイロセンサなどのモーションセンサ、ＧＰＳ（Global　Positioning　System）受信機などのセンサ類を搭載することができる。
　これらセンサ類のうち心拍センサを例に挙げると、センサ端末１０に心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用できる他、脈拍を測定する光電脈波センサを採用することもできる。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、ＲＦ（Radio　Frequency）モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。
　ここで言う「心拍数」は、血液を送り出す心臓の拍動回数を表す指標であり、そのセンシング方法は、心臓の電気的活動を計測する方法であっても、血液の流れを計測して脈動を計測する方法であってもかまわない。すなわち、必ずしも心拍数の検出に心拍センサが実装されずともよく、心電信号を検出する心電センサがセンサ端末１０に実装されることとしてもかまわない。
　このようにセンサ端末１０に搭載されたセンサ類で測定されたセンサデータは、ユーザの識別情報、例えばセンサ端末１０のマシン名やシリアル番号などと対応付けられた状態で情報処理装置１００へ伝送される。このとき、センサデータは、センサ値が採取される度にリアルタイムで伝送されることとしてもよいし、所定期間、例えば１２時間、１日間、１週間や１ヶ月などにわたって蓄積してから伝送することとしてもかまわない。なお、ここでは、センサ端末１０から情報処理装置１００へセンサデータが伝送される場合を例示したが、センサデータから算出される特徴量、すなわち食事の検知に用いる後述の第１特徴量や第２特徴量をセンサ端末１０から情報処理装置１００へ伝送させることとしてもかまわない。
　情報処理装置１００は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置１００には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。
　一実施形態として、情報処理装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する行動検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置１００は、センサ端末１０から受け付けたセンサデータを用いて、センサ端末１０のユーザの食事を検知する。その上で、情報処理装置１００は、先に食事の検知結果を用いて食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置１００が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置１００に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。
［センサ端末１０の構成］
　次に、本実施例に係るセンサ端末１０の機能的構成について説明する。図１に示すように、センサ端末１０は、センサデータ取得部１１と、通信Ｉ／Ｆ（InterFace）部１３とを有する。なお、センサ端末１０は、図１に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ウェアラブルガジェット、ヘルスケア専用の端末装置あるいは携帯端末装置がセンサ端末１０として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できる。
　センサデータ取得部１１は、図示しないセンサ類を制御して、上記のセンサデータを取得する処理部である。
　一側面として、センサデータ取得部１１がセンサデータの一例として心拍数の時系列データを取得する場合を例示する。例えば、センサデータ取得部１１は、図示しない心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、センサデータ取得部１１は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を１分間とする場合、心拍数はｂｐｍ（beats　per　minute）等で表現される。また、単位時間を１秒間とする場合、心拍数はＨｚで表現される。さらに「心拍数」と相関のある指標であれば、心拍数そのものでなくてもかまわない。例えば、心電波形における心電波形のＲＲ間隔はミリ秒で表現され、心拍数の代わりに用いることができる。
　ここで、センサ端末１０により心拍数を取得させる趣旨は、食事に伴う循環器の応答を捉えて食事時刻の推定に用いるためであり、心拍数以外にも心電波形や脈波波形から得られる情報や血流量に関わる情報から心拍数と相関のある指標が得られる場合には、その指標を用いることができる。
　他の側面として、センサデータ取得部１１がセンサデータの一例として加速度の時系列データを取得する場合を例示する。例えば、センサデータ取得部１１は、図示しない加速度センサを制御して、所定のサンプリング周期で加速度センサに３軸、すなわち上下左右前後の加速度をセンシングさせる。これによって、センサデータ取得部１１は、サンプリング点ごとに加速度センサによりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍数データと同様、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の３軸の加速度を含めることができる。例えば、３軸の加速度のうち一部の方向の加速度に絞って後段の機能部に使用させる場合、後段の機能部で使用されない方向の加速度は加速度データから除去することもできる。
　このように心拍数データや加速度データ以外の他のセンサデータを取得することもできる。例えば、時刻ごとに当該時刻でＧＰＳ受信機により測定された位置、例えば緯度および経度などが対応付けられた位置データを取得することもできる。
　通信Ｉ／Ｆ部１３は、他の装置、例えば情報処理装置１００などとの間で通信制御を行うインタフェースである。
　一実施形態として、通信Ｉ／Ｆ部１３には、センサ端末１０及び情報処理装置１００の間が近距離無線通信により接続される場合、ＢＬＥモジュールなどを採用できる。この他、ＬＡＮやＶＬＡＮなどの無線通信網により接続される場合、通信Ｉ／Ｆ部１３には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１３は、上記のセンサデータなどを情報処理装置１００へ送信する。また、通信Ｉ／Ｆ部１３は、上記のセンサデータなどを情報処理装置１００へアップロードする指示やセンサデータを情報処理装置１００へアップロードする間隔に関する指示などの他、行動の検知結果やそれを用いた診断結果などの支援情報などを情報処理装置１００から受信することもできる。
　このようにセンサデータ取得部１１により検出されるセンサデータは、図示しないＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro-Processing　Unit）などの制御部の指示にしたがって通信Ｉ／Ｆ部１３により情報処理装置１００へ伝送される。このとき、センサ値がサンプリングされる度に当該センサ値が情報処理装置１００へ伝送されることとしてもよいし、所定の期間、例えば１２時間、１日間、１週間や１ヶ月などにわたって図示しないメモリへセンサデータを蓄積してから情報処理装置１００へ伝送されることとしてもかまわない。
　なお、上記のセンサデータ取得部１１などの処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random　Access　Memory)やフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard　Disk　Drive）、光ディスクやＳＳＤ（Solid　State　Drive）などを採用できる。
［情報処理装置１００の構成］
　次に、本実施例に係る情報処理装置１００の機能的構成について説明する。図１に示すように、情報処理装置１００は、通信Ｉ／Ｆ部１１０と、取得部１２０と、第１特徴量算出部１３０Ａと、第２特徴量算出部１３０Ｂと、第１確率算出部１４０Ａと、第２確率算出部１４０Ｂと、補正部１５０と、判定部１６０とを有する。なお、情報処理装置１００は、図１に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。
　通信Ｉ／Ｆ部１１０は、他の装置、例えばセンサ端末１０などとの間で通信制御を行うインタフェースである。
　一実施形態として、通信Ｉ／Ｆ部１１０には、センサ端末１０及び情報処理装置１００の間が近距離無線通信により接続される場合、ＢＬＥモジュールなどを採用できる。この他、ＬＡＮやＶＬＡＮなどの無線通信網により接続される場合、通信Ｉ／Ｆ部１１０には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１０は、上記のセンサデータなどをセンサ端末１０から受信する。また、通信Ｉ／Ｆ部１１０は、上記のセンサデータをセンサ端末１０にアップロードさせる指示やセンサ端末１０がセンサデータを情報処理装置１００へアップロードする間隔に関する指示などの他、行動の検知結果やそれを用いた診断結果などの支援情報などをセンサ端末１０へ送信することができる。
　取得部１２０は、上記のセンサデータを取得する処理部である。
　一実施形態として、取得部１２０は、センサ端末１０から近距離無線通信を通じてセンサデータを取得することができる。このような通信によるアクセスの他、取得部１２０は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal　Serial　Bus）メモリなどのリムーバブルメディアに保存されたセンサデータを読み出すことにより心拍数データを取得することもできる。なお、ここでは、センサ端末１０からセンサデータを近距離無線通信により取得する場合を例示したが、情報処理装置１００がセンサ端末１０で説明したセンサ類を内蔵または付設する場合には、センサ類により出力されるセンサデータをそのまま取得してもよい。
　ここで、図１に示す取得部１２０からセンサデータの入力が行われる後段の処理部は、互いに並列して処理が実行される２つの処理系に分岐する。すなわち、行動に対する生体反応の特徴が指標化された第１特徴量に関する処理を行う第１の処理系と、行動に関連する習慣の特徴が指標化された第２特徴量に関する処理を行う第２の処理系とに大別される。例えば、第１の処理系には、第１特徴量算出部１３０Ａと、第１確率算出部１４０Ａとが含まれる。また、第２の処理系には、第２特徴量算出部１３０Ｂと、第２確率算出部１４０Ｂとが含まれる。以下では、第１の処理系に含まれる各処理部を説明してから第２の処理系に含まれる各処理部についての説明を行うこととする。
　第１特徴量算出部１３０Ａは、上記の第１特徴量を算出する処理部である。ここでは、あくまで一例として、心拍数変化が第１特徴量の一例として算出される場合を例示するが、食事に対する生体反応の特徴を表す指標であればこれ以外にも既存の指標を第１特徴量として算出できるのは言うまでもなく、複数個の第１特徴量が算出されるのも妨げない。
　一実施形態として、第１特徴量算出部１３０Ａは、取得部１２０により取得されたセンサデータの中から算出対象とする第１特徴量の算出に用いるセンサデータを取捨選択する。例えば、上記の「心拍数変化」が第１特徴量として算出される場合、取得部１２０により取得されたセンサデータのうち心拍数データを入力とすることが図示しない内部メモリのワークエリア等に設定される。かかる設定を参照することによって、第１特徴量算出部１３０Ａは、取得部１２０により取得されたセンサデータのうち心拍数データを抽出して心拍数変化を算出する。例えば、第１特徴量算出部１３０Ａは、心拍数データに含まれる時刻ごとに、当該時刻で測定された心拍数と、当該時刻の直前に測定された心拍数との差を心拍数変化として算出する。これによって、時刻ごとに第１特徴量が得られる。なお、ここでは、現時刻と直前の時刻との心拍数の差を心拍数変化として算出する場合を例示したが、現時刻の心拍数と現時刻から遡って所定の期間前までに測定された心拍数の統計値、例えば平均値との差を心拍数変化として算出することもできるし、現時刻の心拍数と全期間の心拍数の統計値との差を心拍数変化として算出することもできる。
　第１確率算出部１４０Ａは、上記の第１特徴量から行動が発生している行動の発生確率を第１の行動発生確率として算出する処理部である。
　一実施形態として、第１確率算出部１４０Ａは、第１特徴量を食事または非食事のクラスに分類する第１判定モデルと、第１特徴量算出部１３０Ａにより時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する。かかる第１の行動発生確率は、一例として、ロジスティック回帰分析などのアルゴリズムにしたがって算出することができる。ここで、「第１判定モデル」は、時刻ごとに食事または非食事のラベルと第１特徴量が対応付けられた第１学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。
　第２特徴量算出部１３０Ｂは、上記の第２特徴量を算出する処理部である。ここでは、あくまで一例として、「運動の有無」や「現在地のカテゴリ」などが第２特徴量の一例として算出される場合を例示するが、行動に関連する習慣の特徴を表す指標であればこれ以外にも既存の指標を第２特徴量として算出できるのは言うまでもなく、複数個の第２特徴量が算出されるのも妨げない。
　一実施形態として、第２特徴量算出部１３０Ｂは、取得部１２０により取得されたセンサデータの中から算出対象とする第２特徴量の算出に用いるセンサデータを取捨選択する。例えば、上記の「運動の有無」や「現在地のカテゴリ」が第２特徴量として算出される場合、取得部１２０により取得されたセンサデータのうち加速度データを入力とすることが内部メモリのワークエリア等に設定される。かかる設定を参照することによって、第２特徴量算出部１３０Ｂは、取得部１２０により取得されたセンサデータのうち加速度データや位置データを抽出して運動の有無を算出する。例えば、第２特徴量算出部１３０Ｂは、加速度データに含まれる時刻ごとに、当該時刻で測定された加速度から歩行、昇降や走行などの有無を運動の有無として算出する。また、第２特徴量算出部１３０Ｂは、位置データに含まれる時刻ごとに、当該時刻で測定された位置を自宅、職場、鉄道や飲食店などのカテゴリへ分類した分類結果を現在地のカテゴリとして算出する。これによって、時刻ごとに第２特徴量が得られる。
　第２確率算出部１４０Ｂは、上記の第２特徴量から行動が発生している行動の発生確率を第２の行動発生確率として算出する処理部である。
　一実施形態として、第２確率算出部１４０Ｂは、第２特徴量を食事または非食事のクラスに分類する第２判定モデルと、第２特徴量算出部１３０Ｂにより時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する。かかる第２の行動発生確率も、一例として、ロジスティック回帰分析などのアルゴリズムにしたがって算出することができる。ここで、「第２判定モデル」は、時刻ごとに食事または非食事のラベルと第２特徴量が対応付けられた第２学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。
　図２は、行動検知結果の一例を示す図である。図２には、第１特徴量および第２特徴量の両方を特徴ベクトルとして機械学習が行われた判定モデルにしたがって行動検知が行われた結果が示されている。さらに、図２には、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されており、食事に分類された特徴ベクトルが斜線の塗り潰しで示される一方で、非食事に分類された特徴ベクトルが白色の塗り潰しで示されている。また、図２に示す符号２０は、判定モデルにより特徴ベクトルが食事または非食事へ分類される境界線を指す。なお、図２に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。
　例えば、食事をおおよそ毎日同じ時刻に摂取するユーザの場合、正例（食事）と負例（非食事）の境界、すなわち判定モデルにより特徴ベクトルが食事および非食事へ分類される境界は、図２に示す符号２０の通りとなる。このため、ある日早めに食事が摂取された場合、例えば図２中の星印のプロットの特徴ベクトルが算出された場合、心拍数変化が食事である可能性を示唆していても、習慣の特徴量が普段とは異なるので、食事と検知できなくなる。このように、判定モデルにより食事および非食事へ分類される境界が符号２０の通りとなる一因として、以下のことがあげられる。すなわち、生体反応は検知したい行動に伴う信号変化の発生自体は確実性が高いが、発生する信号変化のばらつきは大きい傾向がある。一方で、行動に関連する習慣は、検知したい行動に伴う信号変化が発生するかどうかは確率的だが、発生した信号の変化のばらつきは小さい傾向にある。また、習慣は、人には毎日同じような行動パターンを繰り返す傾向があるため、データ上は、発生の確実性が高い信号変化に見えやすい。機械学習などでは、データ上で発生の確実性が高い信号変化のばらつきが小さい特徴量が優先されるため、このような事象が起こる。
　そこで、検知したい行動に伴う信号変化の発生自体は確実性が高い生体反応と、検知したい行動に伴う信号変化が発生するかどうかは確率的行動に関連する習慣を分けて取り扱うことで、習慣と反する行動が行われる場合にも行動が行われたかどうかを判断できる。本実施例では、センサデータを行動に対する生体反応の特徴と行動に関連する習慣の特徴とに分けて第１特徴量および第２特徴量を求め、これら個別の行動発生確率を行動検知に用いる。例えば、第１の行動発生確率および第２の行動発生確率の合計が閾値以上、例えば１以上である場合、行動が行われたと判定することもできる。
　図３及び図４は、行動検知結果の一例を示す図である。図３及び図４には、第１の行動発生確率および第２の行動発生確率の合計が１以上であるか否かによって行動検知が行われた結果が示されている。さらに、図３にも、図２と同様に、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されている。さらに、図３には、同一の時刻で算出された第１特徴量及び第２特徴量の組のうち食事に分類されたプロットが斜線の塗りつぶしで示される一方で、非食事に分類されたプロットが白色の塗り潰しで示されている。さらに、図３には、第１特徴量および第２特徴量を横軸および縦軸に含むグラフの上側と右側へ第１の行動発生確率および第２の行動発生確率の変化を示す２つのグラフが先のグラフの横軸または縦軸に対応させて示されている。なお、図３に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。また、図４に示すグラフの横軸は、第１の行動発生確率を指し、縦軸は、第２の行動発生確率を指す。
　例えば、第１の行動発生確率および第２の行動発生確率により食事または非食事の判定が行われる境界は、図３及び図４に示す符号３０の通りとなる。ここで、黒の塗り潰しで示されたプロット１～５に注目する。これらプロット１～５のうち実際の行動が食事であるプロット２、３、５の形状は円形で示されており、実際の行動が非食事であるプロット１及び４は四角で示されている。図３及び図４に示す境界３０の通り、第１の行動発生確率および第２の行動発生確率により食事または非食事の判定が行われる場合、図２に示した判定モデルの境界２０に従えば非食事と検出漏れになるプロット５を「食事」と判定できることがわかる。
　このように、第１の行動発生確率および第２の行動発生確率を同等に用いて行動検知を行う結果、機械学習が一因となって行動に関連する習慣の特徴へ重みが偏った判定により行動検知が行われるのを抑制できる。すなわち、普段では食事が行われない状況下で食事が行われた場合、あるいは普段では食事が行われる状況下で食事が行わなかった場合のように、習慣と反する行動が行われた場合の検知漏れや誤検知の発生を抑制できる。例えば、図３及び図４の例で言えば、普段では食事が行われにくい時刻に食事が行われたプロット５も食事と検知できる。
　補正部１５０は、第１の行動発生確率および第２の行動発生確率の優位度を補正する処理部である。
　一実施形態として、補正部１５０は、次に挙げる３つの方針にしたがって優位度を補正する。１つ目の方針としては、第１の行動発生確率が高い場合に第２の行動発生確率の優位度を低くする。かかる方針は、一因として、心拍数データなどで生体反応がクリアに検出できる場合、普段では食事を摂らない加速度、位置や時刻から検出されていても食事と判断した方がよいという理由の下で採用される。２つ目の方針としては、第１の行動発生確率が中程度もしくは低い場合に第２の行動発生確率の優位度を高くする。かかる方針は、一因として、心拍数データなどで生体反応がクリアに検出しにくい場合、いつも食事をしている時刻かどうかという習慣を加味して判断する。３つ目の方針としては、第１の行動発生確率がかなり低い場合に第２の行動発生確率の優位度を低くする。かかる方針は、心拍数データなどで生体反応が殆ど検出できない場合は、たとえいつも食事をとる習慣と類似する加速度、位置や時刻が検出されているからといって食事と判定しない方がよいという理由の下で採用される。
　上記の方針（１）及び（３）を実現する場合、補正部１５０は、第２確率算出部１４０Ｂにより算出された第２の行動発生確率の重みを第１確率算出部１４０Ａにより算出される第１の行動発生確率の値によらず小さく変更する。一例として、補正部１５０は、下記の式（１）にしたがって第２確率算出部１４０Ｂにより算出された第２の行動発生確率の重みを下げる。なお、下記の式（１）における「ａ」は第２の行動発生確率の重みであり、０＜ａ＜１の条件を満たし、例えば、第１判定モデル及び第２判定モデルの学習時に用いられる第１学習データ及び第２学習データの中で最もクリアに正例と負例を分けることができた実験値のうち最小の値が採用される。
　第１の行動発生確率＋a＊第２の行動発生確率＞（1＋a）／２・・・（１）
　また、上記の方針（１）～（３）を実現する場合、補正部１５０は、あくまで一例として、下記の式（２）にしたがって、第１確率算出部１４０Ａにより算出された第１の行動発生確率を補正する。下記の式（２）における「ｘ」は、第１確率算出部１４０Ａにより算出された第１の行動発生確率の値を指す。これを下記の式（２）へ代入することにより、補正後の第１の行動発生確率を算出できる。すなわち、第１の行動発生確率が１付近及び０付近の値をとるとき、傾きが１よりも急になるような関数で確率を調整できる。なお、下記の式（２）は、一例であり、上記の方針（１）～（３）を実現する幾何学式であればａｒｃｃｏｓ等を用いた他の幾何学式を用いることができるのは言うまでもない。また、ここでは、第１確率算出部１４０Ａにより算出された第１の行動発生確率を補正する場合を例示したが、第２確率算出部１４０Ｂにより算出された第２の行動発生確率を補正することとしてもかまわない。
　ｔａｎ（（ｘ＊２-１）＊π／２-π／２）・・・（２）
　図５及び図６は、行動検知結果の一例を示す図である。図５及び図６には、上記の式（２）にしたがって補正された第１の行動発生確率と、第２の行動発生確率とから機械学習が行われた第３判定モデルにより行動検知が行われた結果が示されている。さらに、図５にも、図２と同様に、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されている。さらに、図５には、同一の時刻で算出された第１特徴量及び第２特徴量の組のうち食事に分類されたプロットが斜線の塗り潰しで示される一方で、非食事に分類されたプロットが白色の塗り潰しで示されている。さらに、図５には、第１特徴量および第２特徴量を横軸および縦軸に含むグラフの上側と右側へ第１の行動発生確率および第２の行動発生確率の変化を示す２つのグラフが先のグラフの横軸または縦軸に対応させて示されている。なお、図５に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。また、図６に示すグラフの横軸は、第１の行動発生確率を指し、縦軸は、第２の行動発生確率を指す。
　例えば、第３判定モデルにより食事または非食事の判定が行われる境界は、図５及び図６に示す符号５０の通りとなる。図５及び図６に示す境界５０の場合、図３及び図４に示した境界３０に従えば食事と誤検知されるプロット４を「非食事」と判定できると共に、図３及び図４に示した境界３０に従えば非食事と検出漏れとなるプロット２を「食事」と判定できる。
　このように、上記の式（２）にしたがって補正された第１の行動発生確率と、第２の行動発生確率とから機械学習が行われた第３判定モデルにより行動検知が行われる結果、機械学習が一因となって行動に関連する習慣の特徴へ重みが偏った判定により行動検知が行われるのを抑制できる。例えば、図５及び図６の例で言えば、普段では食事が行われにくい時刻に食事が行われたプロット２も食事と検知できると共に、普段では食事が行われる時刻に食事が行われなかったプロット４も非食事と検知できる。
　判定部１６０は、第１の行動発生確率および第２の行動発生確率から行動が行われたか否かを判定する処理部である。
　一実施形態として、判定部１６０は、一例として、上記の式（２）にしたがって補正された第１の行動発生確率と第２の行動発生確率とを食事または非食事のクラスに分類するから第３判定モデルを用いて、補正部１５０により時刻ごとに補正された第１の行動発生確率と、第２確率算出部１４０Ｂにより算出された第２の行動発生確率とから食事または非食事のいずれであるかを時刻ごとに算出する。ここで、「第３判定モデル」は、時刻ごとに食事または非食事のラベルと、補正後の第１の行動発生確率及び第２の行動発生確率とが対応付けられた第３学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。
　このように判定部１６０により推定された行動の推定結果を用いて推定された食事時間、例えば食事開始時刻、食事終了時刻、もしくは、食事所要時間のうち少なくともいずれか１つは、食事時間を記録したり、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりするヘルスケア支援サービスの実行先へ出力される。かかる実行先は、情報処理装置１００のプロセッサ上で実行される処理部であってもよいし、外部のサーバ装置等などであってもかまわない。
　なお、上記の取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０などの処理部は、次のようにして実装できる。例えば、ＣＰＵなどの中央処理装置に、上記の取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各機能部は、ハードワイヤードロジックによっても実現できる。
　また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。
［処理の流れ］
　次に、本実施例に係る情報処理装置１００の処理の流れについて説明する。なお、ここでは、情報処理装置１００により実行される（１）学習処理を説明した後に、（２）行動検知処理について説明することとする。
（１）学習処理
　図７は、実施例１に係る学習処理の手順を示すフローチャートである。この学習処理は、一例として、教師データの供給先が確認された任意のタイミングで開始できる。図７に示すように、所定の供給先から教師データが取得される（ステップＳ１０１）と共に、取得部１２０により１つ以上のセンサデータが取得される（ステップＳ１０２）。なお、教師データには、一例として、実際に食事が行われた期間を特定可能なデータ、例えば食事開始時刻と食事終了時刻がユーザ等により入力されたデータを採用できる。
　以降のステップＳ１０３Ａ～Ｓ１０６Ａ及びステップＳ１０７までの処理Ａと、ステップＳ１０３Ｂ～ステップＳ１０６Ｂまでの処理Ｂとは、並列して実行される。
　まず、ステップＳ１０３Ａ～Ｓ１０６Ａ及びステップＳ１０７までの処理Ａについて説明する。ステップＳ１０２の実行後、第１特徴量算出部１３０Ａは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第１特徴量を算出する（ステップＳ１０３Ａ）。
　そして、第１特徴量算出部１３０Ａは、ステップＳ１０３Ａで第１特徴量が算出された時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第１学習データを生成する（ステップＳ１０４Ａ）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第１学習データとして用意できる。
　その後、第１確率算出部１４０Ａは、ステップＳ１０４Ａで生成された第１学習データを機械学習することにより、第１判定モデルを生成する（ステップＳ１０５Ａ）。その上で、第１確率算出部１４０Ａは、ステップＳ１０５Ａで生成された第１判定モデルと、ステップＳ１０３Ａで時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ａ）。続いて、補正部１５０は、あくまで一例として、上記の式（２）に示す「ｘ」にステップＳ１０６Ａで算出された第１の行動発生確率を代入することにより、第１の行動発生確率を補正する（ステップＳ１０７）。
　次に、ステップＳ１０３Ｂ～Ｓ１０６Ｂまでの処理Ｂについて説明する。ステップＳ１０２の実行後、第２特徴量算出部１３０Ｂは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第２特徴量を算出する（ステップＳ１０３Ｂ）。
　そして、第２特徴量算出部１３０Ｂは、ステップＳ１０３Ｂで第２特徴量が算出された時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第２学習データを生成する（ステップＳ１０４Ｂ）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第２学習データとして用意できる。
　その後、第２確率算出部１４０Ｂは、ステップＳ１０４Ｂで生成された第２学習データを機械学習することにより、第２判定モデルを生成する（ステップＳ１０５Ｂ）。その上で、第２確率算出部１４０Ｂは、ステップＳ１０５Ｂで生成された第２判定モデルと、ステップＳ１０３Ｂで時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ｂ）。
　このように処理ＡがステップＳ１０７まで進行すると共に処理ＢがステップＳ１０６Ｂまで進行すると、判定部１６０は、ステップＳ１０７で補正された第１の行動発生確率と、ステップＳ１０６Ｂで算出された第２の行動発生確率とを同一の時刻が紐付けられた確率同士で対応付ける（ステップＳ１０８）。
　そして、判定部１６０は、ステップＳ１０８で補正後の第１の行動発生確率及び第２の行動発生確率のペアと対応付けられた時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第３学習データを生成する（ステップＳ１０９）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第３学習データとして用意できる。
　その上で、判定部１６０は、ステップＳ１０９で生成された第３学習データを機械学習することにより、第３判定モデルを生成し（ステップＳ１１０）、処理を終了する。
（２）行動検知処理
　図８は、実施例１に係る行動検知処理の手順を示すフローチャートである。この行動検知処理は、一例として、第１判定モデル、第２判定モデル及び第３判定モデルが生成された後の任意のタイミングで開始できる。なお、図８に示すステップのうち図７に示したステップと処理内容が共通する処理には同一のステップ番号を付与している。
　図８に示すように、取得部１２０により１つ以上のセンサデータが取得される（ステップＳ１０２）と、ステップＳ１０３Ａ以降の処理Ａと、ステップＳ１０３Ｂ以降の処理Ｂとが並列して実行される。
　まず、処理Ａについて説明する。ステップＳ１０２の実行後、第１特徴量算出部１３０Ａは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第１特徴量を算出する（ステップＳ１０３Ａ）。
　そして、第１確率算出部１４０Ａは、図７に示す学習処理で生成された第１判定モデルと、ステップＳ１０３Ａで時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ａ）。続いて、補正部１５０は、あくまで一例として、上記の式（２）に示す「ｘ」にステップＳ１０６Ａで算出された第１の行動発生確率を代入することにより、第１の行動発生確率を補正する（ステップＳ１０７）。
　次に、処理Ｂについて説明する。ステップＳ１０２の実行後、第２特徴量算出部１３０Ｂは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第２特徴量を算出する（ステップＳ１０３Ｂ）。
　そして、第２確率算出部１４０Ｂは、図７に示す学習処理で生成された第２判定モデルと、ステップＳ１０３Ｂで時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ｂ）。
　このように処理ＡがステップＳ１０７まで進行すると共に処理ＢがステップＳ１０６Ｂまで進行すると、判定部１６０は、ステップＳ１０７で補正された第１の行動発生確率と、ステップＳ１０６Ｂで算出された第２の行動発生確率とを同一の時刻が紐付けられた確率同士で対応付ける（ステップＳ１０８）。
　その上で、判定部１６０は、図７に示す学習処理で生成された第３判定モデルにしたがってステップＳ１０３Ａで算出された第１特徴量及びステップＳ１０３Ｂで算出された第２特徴量を食事または非食事へ分類することにより、各時刻で食事が行われたか否かを検知し（ステップＳ２０１）、処理を終了する。
［効果の一側面］
　上述してきたように、本実施例に係る情報処理装置１００は、センサデータから行動に対する生体反応を示す特徴量と行動の習慣を示す特徴量とに分けて個別に求めた行動発生確率を用いて行動検知を行う。このため、機械学習が一因となって行動に関連する習慣の特徴へ偏重した判定により行動検知が行われるのを抑制できる。したがって、本実施例に係る情報処理装置１００によれば、習慣と反する行動が行われた場合の検知漏れや誤検知の発生を抑制できる。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［食事検知］
　上記の実施例１では、第１特徴量として心拍数変化を求める場合を例示したが、この他の特徴量を第１特徴量として算出することもできる。例えば、情報処理装置１００は、加速度センサやジャイロセンサのセンサ値から喉の動きの有無、腕の動きの有無、胸部の膨張または収縮などを第１特徴量として算出することもできる。また、上記の実施例１では、第２特徴量として運動の有無、現在地のカテゴリなどを求める場合を例示したが、この他の特徴量を第２特徴量として算出することもできる。例えば、情報処理装置１００は、カメラからＯＮまたはＯＦＦの作動状態を第２特徴量として算出することもできる。
［他の行動検知］
　上記の実施例１では、行動検知の一例として食事検知を行う場合を例示したが、行動にともなう生体反応の変化が観察可能な行動であれば、情報処理装置１００を適用することができる。例えば、排尿、排泄、飲水、飲酒、着座、起立、歩行、昇降、睡眠などの他の行動を検知する場合にも、情報処理装置１００を適用することができる。
（１）排尿
　例えば、排尿検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の変化を第１特徴量として算出できる。他の一例として、荷重センサから取得された体重データから体重の減少率を第１特徴量として算出できる。このように体重の減少率を第１特徴量として定義するのは、排尿後には体重が低下するという特徴があるからである。
　また、排尿検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無、手の動きの有無、さらには、方向転換の有無などを第２特徴量として算出できる。これらを第２特徴量として定義するのは、排尿前後にはトイレに行くために歩行が行われるという特徴があり、また、排尿後には手を洗うことが多いという特徴があり、また、便座の着座を目的とし、方向転換が行われることが多いという特徴があるからである。他の一例として、マイクから取得された音声データから水流に対応する音の有無を第２特徴量として算出できる。このように水流に対応する音の有無を第２特徴量として定義するのは、排尿前後には便器の洗浄に伴って洗浄水が流れることが多いという特徴があるからである。
（２）排泄
　例えば、排泄検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の変化を第１特徴量として算出できる。他の一例として、荷重センサから取得された体重データから体重の減少率を第１特徴量として算出できる。このように体重の減少率を第１特徴量として定義するのは、排泄後には体重が低下するという特徴があるからである。
　また、排泄検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無、手の動きの有無、さらには、起立または着席の姿勢などを第２特徴量として算出できる。これらを第２特徴量として定義するのは、排泄前後にはトイレに行くために歩行が行われるという特徴があり、また、排泄後には手を洗うことが多いという特徴があり、また、排泄前後には、便座の着座を目的とし、方向転換が行われることが多いという特徴があるからである。
（３）飲水
　例えば、飲水検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇幅や下降幅を第１特徴量として算出できる。これらを第１特徴量として定義するのは、飲水時には心拍数が急激な上昇を示した後に下降するという特徴があるからである。他の一例として、体温計から取得された体温データから体温変化を第１特徴量として算出できる。このように体温変化を第１特徴量として定義するのは、飲水後には飲料の温度により体温が上下するという特徴があるからである。
　また、飲水検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、気温・温度センサから取得された気温データや温度データから気温の上昇や湿度の情報を第２特徴量として算出できる。これらを第２特徴量として定義するのは、気温や湿度が上がるほど飲水が行われやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから運動の有無を第２特徴量として算出できる。このように運動の有無を第２特徴量として定義するのは、運動後に飲水が行われやすいという特徴があるからである。
（４）飲酒
　例えば、飲酒検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように心拍数の上昇変化を第１特徴量として定義するのは、飲酒時には心拍数が上昇するという特徴があるからである。他の一例として、画像センサ等からから取得された画像データや分光データから顔領域の色と赤色の類似度を第１特徴量として算出できる。これを第１特徴量として定義するのは、飲酒後には顔が赤くなるという特徴があるからである。
　また、飲酒検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、タイマーから取得された時刻データから時刻情報を第２特徴量として算出できる。これを第２特徴量として定義するのは、飲酒の時間帯はある程度決まっているという特徴があるからである。他の一例として、ＧＰＳ受信機や無線ＬＡＮアクセスポイントなど位置センサから取得された位置データから飲食店の存否を第２特徴量として算出できる。このように飲食店の存否を第２特徴量として定義するのは、飲酒が行われる場所はある程度固定化されているという特徴があるからである。他の一例として、食事の有無を第２特徴量として算出できる。このように食事の有無を第２特徴量として定義するのは、飲酒が食事と共に行われる場合が多いという特徴があるからである。
（５）着座
　例えば、着座検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の減少変化を第１特徴量として算出できる。このように減少変化を第１特徴量として定義するのは、着座には心拍数が減少しやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから屈伸または屈曲の姿勢変化を第１特徴量として算出できる。このように姿勢変化を第１特徴量として定義するのは、着座時には膝の曲げ伸ばしが発生するという特徴があるからである。更なる一例として、筋電センサから取得された筋電信号から足の筋肉の操作の有無を第１特徴量として算出できる。このように足の筋肉の操作の有無を第１特徴量として定義するのは、着座時には足の筋肉に力が入るという特徴があるからである。
　また、着座検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無を第２特徴量として算出できる。このように歩行の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。
（６）起立
　例えば、起立検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、起立後には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから屈伸または屈曲の姿勢変化を第１特徴量として算出できる。このように姿勢変化を第１特徴量として定義するのは、起立時には膝の曲げ伸ばしが発生するという特徴があるからである。
　また、起立検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無を第２特徴量として算出できる。このように歩行の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。
（７）歩行
　例えば、歩行検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから脚部の周期動作の有無を第１特徴量として算出できる。このように脚部の周期動作の有無を第１特徴量として定義するのは、歩行時は左右の足が交互に動かされるという特徴があるからである。他の一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、歩行時には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。
　また、歩行検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、起立動作の有無を第２特徴量として算出できる。このように起立動作の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。他の一例として、リモコンのスイッチの操作有無を第２特徴量として算出できる。これを第２特徴量として定義するのは、電化製品を操作するために歩行が行われやすいという特徴があるからである。
（８）昇降
　例えば、階段等の昇降検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、モーションセンサにより取得されたモーションデータから脚部の周期動作の有無を第１特徴量として算出できる。このように脚部の周期動作の有無を第１特徴量として定義するのは、歩行時は左右の足が交互に動かされるという特徴があるからである。他の一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、歩行時には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。更なる一例として、呼吸の浅さや発汗の有無を第１特徴量として算出できる。これらを第１特徴量として定義するのは、昇降時には呼吸が荒くなったり、発汗が起こったりしやすいという特徴があるからである。
　また、昇降検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、気圧センサにより取得された気圧データから気圧変化を第２特徴量として算出できる。このように気圧変化を第２特徴量として定義するのは、昇降時に周辺気圧の変化を伴うことが多いという特徴があるからである。
（９）睡眠
　例えば、睡眠検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数変化、心拍変動（ＬＦ／ＨＦ）などを第１特徴量として算出できる。これらを第１特徴量として定義するのは、睡眠時には日中の心拍数よりも心拍数が減少したり、レム睡眠、ノンレム睡眠で心拍変動が繰り返されるという特徴があるからである。他の一例として、眼球運動を第１特徴量として算出できる。このように眼球運動を第１特徴量として定義するのは、レム睡眠、ノンレム睡眠で眼球運動が違い、激しくなったり落ち着いたりを繰り返すという特徴があるからである。
　また、睡眠検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、位置センサにより取得された位置データから自宅、宿泊施設などの特定場所への存否を第２特徴量として算出できる。このように特定場所への存否を第２特徴量として定義するのは、寝どころはある程度固定されているという特徴があるからである。他の一例として、照度センサにより取得された照度データから照明のＯＦＦ状態を第２特徴量として算出できる。このように照明のＯＦＦ状態を第２特徴量として定義するのは、睡眠時には消灯される可能性が高いという特徴があるからである。更なる一例として、マイクにより取得された音声データから音の有無を第２特徴量として算出できる。このように音の有無を第２特徴量として定義するのは、睡眠時には静かな環境である可能性が高いという特徴があるからである。
［スタンドアローン］
　上記の実施例１では、センサ端末１０及びサーバ装置１００を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、センサデータの取得から行動検知までの一連の処理をセンサ端末１０、サーバ装置１００、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。
［システムの応用例］
　上記の実施例１では、ヘルスケア支援システム１にサーバ装置１００が含まれることとしたが、必ずしもサーバ装置１００が含まれずともかまわない。すなわち、センサ端末１０がウェアラブルガジェット等として実装される場合、ウェアラブルガジェットにより近距離無線通信等で接続されるスマートフォンやタブレット端末でセンサデータの取得以外の各種の処理、例えば行動検知を実行させることとしてもかまわない。
［分散および統合］
　また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０又は判定部１６０を情報処理装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０又は判定部１６０を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の情報処理装置１００の機能を実現するようにしてもよい。
［行動検知プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例と同様の機能を有する行動検知プログラムを実行するコンピュータの一例について説明する。
　図９は、実施例１及び実施例２に係る行動検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。図９に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００～１８００の各部はバス１４００を介して接続される。
　ＨＤＤ１７００には、図９に示すように、上記の実施例１で示した取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０と同様の機能を発揮する行動検知プログラム１７００ａが記憶される。この行動検知プログラム１７００ａは、図１に示した取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。
　このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から行動検知プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、行動検知プログラム１７００ａは、図９に示すように、行動検知プロセス１８００ａとして機能する。この行動検知プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち行動検知プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、行動検知プロセス１８００ａが実行する処理の一例として、図７や図８に示す処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
　なお、上記の行動検知プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。
　　　１　　ヘルスケア支援システム
　　１０　　センサ端末
　　１１　　センサデータ取得部
　　１３　　通信Ｉ／Ｆ部
　１００　　情報処理装置
　１１０　　通信Ｉ／Ｆ部
　１２０　　取得部
　１３０Ａ　第１特徴量算出部
　１３０Ｂ　第２特徴量算出部
　１４０Ａ　第１確率算出部
　１４０Ｂ　第２確率算出部
　１５０　　補正部
　１６０　　判定部

Claims (15)

  1. 　１つ以上のセンサからセンサデータを取得する取得部と、
    　前記センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する第１特徴量算出部と、
    　前記第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する第１確率算出部と、
    　前記センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する第２特徴量算出部と、
    　前記第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する第２確率算出部と、
    　前記第１の行動発生確率および前記第２の行動発生確率に基づいて前記行動が行われたか否かを判定する判定部と
    　を有することを特徴とする行動検知装置。
  2. 　前記第１の行動発生確率または前記第２の行動発生確率のうち少なくともいずれか１つの重みを補正する補正部をさらに有し、
    　前記判定部は、補正後の前記第１の行動発生確率または前記第２の行動発生確率の重みに基づいて前記行動が行われたか否を判定することを特徴とする請求項１に記載の行動検知装置。
  3. 　前記補正部は、前記第２の行動発生確率の重みを前記第１の行動発生確率の重みよりも小さくする補正を行うことを特徴とする請求項２に記載の行動検知装置。
  4. 　前記補正部は、前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項２に記載の行動検知装置。
  5. 　前記補正部は、前記第１の行動発生確率の値が所定の値よりも小さい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項２に記載の行動検知装置。
  6. 　コンピュータが、
    　１つ以上のセンサからセンサデータを取得する処理と、
    　前記センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する処理と、
    　前記第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する処理と、
    　前記センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する処理と、
    　前記第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する処理と、
    　前記第１の行動発生確率および前記第２の行動発生確率に基づいて前記行動が行われたか否かを判定する処理と
    　を実行することを特徴とする行動検知方法。
  7. 　前記コンピュータが、
    　前記第１の行動発生確率または前記第２の行動発生確率のうち少なくともいずれか１つの重みを補正する処理をさらに実行し、
    　前記判定する処理は、補正後の前記第１の行動発生確率または前記第２の行動発生確率の重みに基づいて前記行動が行われたか否を判定することを特徴とする請求項６に記載の行動検知方法。
  8. 　前記補正する処理は、前記第２の行動発生確率の重みを前記第１の行動発生確率の重みよりも小さくする補正を行うことを特徴とする請求項７に記載の行動検知方法。
  9. 　前記補正する処理は、前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項７に記載の行動検知方法。
  10. 　前記補正する処理は、前記第１の行動発生確率の値が所定の値よりも小さい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項７に記載の行動検知方法。
  11. 　コンピュータに、
    　１つ以上のセンサからセンサデータを取得する処理と、
    　前記センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する処理と、
    　前記第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する処理と、
    　前記センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する処理と、
    　前記第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する処理と、
    　前記第１の行動発生確率および前記第２の行動発生確率に基づいて前記行動が行われたか否かを判定する処理と
    　を実行させることを特徴とする行動検知プログラム。
  12. 　前記コンピュータに、
    　前記第１の行動発生確率または前記第２の行動発生確率のうち少なくともいずれか１つの重みを補正する処理をさらに実行させ、
    　前記判定する処理は、補正後の前記第１の行動発生確率または前記第２の行動発生確率の重みに基づいて前記行動が行われたか否を判定することを特徴とする請求項１１に記載の行動検知プログラム。
  13. 　前記補正する処理は、前記第２の行動発生確率の重みを前記第１の行動発生確率の重みよりも小さくする補正を行うことを特徴とする請求項１２に記載の行動検知プログラム。
  14. 　前記補正する処理は、前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項１２に記載の行動検知プログラム。
  15. 　前記補正する処理は、前記第１の行動発生確率の値が所定の値よりも小さい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項１２に記載の行動検知プログラム。
PCT/JP2015/082050 2015-11-13 2015-11-13 行動検知装置、行動検知方法及び行動検知プログラム WO2017081829A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2015/082050 WO2017081829A1 (ja) 2015-11-13 2015-11-13 行動検知装置、行動検知方法及び行動検知プログラム
EP15908345.0A EP3376462A4 (en) 2015-11-13 2015-11-13 Behavior detection device, behavior detection method, and behavior detection program
JP2017549963A JP6589994B2 (ja) 2015-11-13 2015-11-13 行動検知装置、行動検知方法及び行動検知プログラム
US15/971,366 US20180254106A1 (en) 2015-11-13 2018-05-04 Behavior sensing device, behavior sensing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/082050 WO2017081829A1 (ja) 2015-11-13 2015-11-13 行動検知装置、行動検知方法及び行動検知プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/971,366 Continuation US20180254106A1 (en) 2015-11-13 2018-05-04 Behavior sensing device, behavior sensing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2017081829A1 true WO2017081829A1 (ja) 2017-05-18

Family

ID=58694819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082050 WO2017081829A1 (ja) 2015-11-13 2015-11-13 行動検知装置、行動検知方法及び行動検知プログラム

Country Status (4)

Country Link
US (1) US20180254106A1 (ja)
EP (1) EP3376462A4 (ja)
JP (1) JP6589994B2 (ja)
WO (1) WO2017081829A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109664A (ja) * 2017-12-18 2019-07-04 株式会社富士通アドバンストエンジニアリング 設計書評価プログラム、設計書評価方法および設計書評価装置
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
CN111914191A (zh) * 2020-06-29 2020-11-10 长沙市到家悠享网络科技有限公司 一种目标排序方法、装置和设备、模型训练方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120258B2 (ja) * 2019-10-16 2022-08-17 株式会社デンソー 行動認識装置、及び行動認識方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2015154889A (ja) * 2014-02-21 2015-08-27 セイコーエプソン株式会社 ウェアラブル機器及びウェアラブル機器の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
JP6047346B2 (ja) * 2012-09-05 2016-12-21 セイコーエプソン株式会社 生体情報処理システム、ウェアラブル装置、サーバーシステム及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2015154889A (ja) * 2014-02-21 2015-08-27 セイコーエプソン株式会社 ウェアラブル機器及びウェアラブル機器の制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109664A (ja) * 2017-12-18 2019-07-04 株式会社富士通アドバンストエンジニアリング 設計書評価プログラム、設計書評価方法および設計書評価装置
JP7056132B2 (ja) 2017-12-18 2022-04-19 富士通株式会社 設計書評価プログラム、設計書評価方法および設計書評価装置
JP2019136256A (ja) * 2018-02-08 2019-08-22 富士通株式会社 食事推定プログラム、食事推定方法及び食事推定装置
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
CN111914191A (zh) * 2020-06-29 2020-11-10 长沙市到家悠享网络科技有限公司 一种目标排序方法、装置和设备、模型训练方法
CN111914191B (zh) * 2020-06-29 2023-09-19 长沙市到家悠享网络科技有限公司 一种目标排序方法、装置和设备

Also Published As

Publication number Publication date
JPWO2017081829A1 (ja) 2018-09-20
EP3376462A1 (en) 2018-09-19
EP3376462A4 (en) 2018-10-10
JP6589994B2 (ja) 2019-10-16
US20180254106A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
JP6489130B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
JP6589994B2 (ja) 行動検知装置、行動検知方法及び行動検知プログラム
US9940822B2 (en) Systems and methods for analysis of subject activity
US20140324459A1 (en) Automatic health monitoring alerts
KR101974831B1 (ko) 낙상위험 평가방법 및 이를 위한 사용자 단말기
US11412957B2 (en) Non-contact identification of gait dynamics, patterns and abnormalities for elderly care
JP6708980B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20180240543A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
US10595789B2 (en) Meal time estimation method, meal time estimation device, and recording medium
KR20190006670A (ko) 동영상 기반 발작 추적감시 방법 및 장치
JP6828619B2 (ja) 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
US11039794B2 (en) Meal detection method, meal detection system, and storage medium
JP7081606B2 (ja) 対象の転倒応答を決定する方法、システム、及び、コンピュータプログラム
JP2014092946A (ja) 個人情報公開システム及び個人情報公開方法
JP2014092945A (ja) 身体状況判定システム及び身体状況判定方法
JP2023025703A (ja) 評価システム
Weng et al. Fall detection based on tilt angle and acceleration variations
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
JP2017012249A (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
JP7388440B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
Karnouskos et al. Cooperating Objects in Healthcare Applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15908345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017549963

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015908345

Country of ref document: EP