JP6390783B2 - 食事時間推定方法及び食事時間推定装置 - Google Patents

食事時間推定方法及び食事時間推定装置 Download PDF

Info

Publication number
JP6390783B2
JP6390783B2 JP2017504488A JP2017504488A JP6390783B2 JP 6390783 B2 JP6390783 B2 JP 6390783B2 JP 2017504488 A JP2017504488 A JP 2017504488A JP 2017504488 A JP2017504488 A JP 2017504488A JP 6390783 B2 JP6390783 B2 JP 6390783B2
Authority
JP
Japan
Prior art keywords
meal
time
heart rate
feature
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017504488A
Other languages
English (en)
Other versions
JPWO2016143074A1 (ja
Inventor
森 達也
達也 森
明大 猪又
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016143074A1 publication Critical patent/JPWO2016143074A1/ja
Application granted granted Critical
Publication of JP6390783B2 publication Critical patent/JP6390783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0092Nutrition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7239Details of waveform analysis using differentiation including higher order derivatives

Description

本発明は、食事時間推定方法、食事時間推定プログラム及び食事時間推定装置に関する。
メタボリック症候群や糖尿病を始めとする生活習慣病の予防や、ダイエット、医療サービスなどのヘルスケアが注目されている。かかるヘルスケアを行う場合には、日頃の運動や食事などの生活習慣を記録することにより、自己の生活習慣の問題点に気付き、改善していくプロセスが求められる。
例えば、「食事」に関する予防策として、下記の通り、「いつ」、「何を」、「どれだけ」などの食事のコントロール方法が挙げられている。具体的には、規則正しく三食を摂る(いつ)、朝食をとる(いつ)、バランス良く栄養をとる(何を)、カロリーを摂取し過ぎない(どれだけ)、塩分は控える(何を)といった項目が挙げられている。
ここで、例えば、「いつ」食べたのかという記録があれば、不規則な食習慣を検知し、予防のアドバイスを提供するなどのサービスを実施することもできる。
例えば、食事判定を行う技術の一例として、食行動検知システム、発話・飲食状態検出システムや食行動検出装置などが提案されている。例えば、食行動検知システムでは、食物摂取の際の、腕を上げて降ろす動作を加速度センサを用いて検出することにより、食事判定を行う。また、発話・飲食状態検出システムでは、物を食べる際に咀嚼する事を利用し、体内音の咀嚼特有の周波数パターンを検出する。また、食行動検出装置の場合、食卓上などに赤外線センサを設置した状況の下、食卓付近で人体を検出した後に人体が頻繁に動いているかどうかを閾値処理する。
ところが、これらの技術のいずれにおいても、食事行動を推定するために、食事の仕方が制限されたり、あるいは食事行動を推定する場所に制約があったりするので、汎用性に欠ける面がある。例えば、食行動検知システムで想定される加速度の傾向は、あくまでも食物摂取時になされる腕の動作の一面にしか対応しておらず、それ以外の腕の動作がなされる場合には加速度の傾向が異なるので、検出漏れが発生する。また、発話・飲食状態検出システムの場合、食事時にマイクを首に装着させることになるので、身体に負担がかかり、かつ見栄えも悪くなってしまう。また、食行動検出装置の場合、赤外線センサが設置された場所などのように、固定された環境での食事しか認識することはできない。
また、食事判定に脈波を用いる技術の一例として、生活管理端末装置も提案されている。この生活管理端末装置では、食事時に起る咀嚼特徴が現れることに加え、脈拍数が上昇し、かつ皮膚導電率に急激な上昇がない場合に食事中であると判断する。
特開2011−4968号公報 特開2003−173375号公報 特開2011−115508号公報 特開2004−81471号公報 特開2008−61790号公報 特表平10−504739号公報 特開2006−129887号公報
しかしながら、上記の技術では、次に説明するように、食事時間に誤判定が起こる場合がある。
すなわち、上記の生活管理端末装置では、食事判定に皮膚導電率が用いられる。かかる皮膚導電率は、発汗時等にその計測精度が低下するので、食事判定にも誤判定が発生する可能性が高まる。また、上記の生活管理端末において皮膚導電率を用いずに脈拍数だけを用いたとしても、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などにより脈拍数が上昇するので、この場合にも誤判定が起こる。
1つの側面では、本発明は、食事時間の推定精度が低下するのを抑制できる食事時間推定方法、食事時間推定プログラム及び食事時間推定装置を提供することを目的とする。
一態様の食事時間推定方法は、コンピュータが、心拍数の時系列データを取得する処理と、前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、前記特徴量から食事時間を推定する処理とを実行する。
食事時間の推定精度が低下するのを抑制できる。
図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。 図2は、心拍数データの一例を示す図である。 図3は、心拍数データの一例を示す図である。 図4は、特徴量(1)の一例を説明する図である。 図5は、特徴量(2)の一例を説明する図である。 図6は、特徴量(3)の一例を説明する図である。 図7は、特徴量(4)の一例を説明する図である。 図8は、特徴量(5)の一例を説明する図である。 図9は、特徴量(6)の一例を説明する図である。 図10は、特徴量(7)の一例を説明する図である。 図11は、特徴量(7)の一例を説明する図である。 図12は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。 図13は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。
以下に添付図面を参照して本願に係る食事時間推定方法、食事時間推定プログラム及び食事時間推定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。図1に示すヘルスケア支援システム1は、各種のヘルスケア支援サービスを提供するものである。例えば、ヘルスケア支援サービスの一例として、センサ端末10により採取されたセンシングデータを用いてセンサ端末10のユーザの生活行動、例えば食事時間を記録するサービス、さらには、その記録を活用する派生のサービスなどが挙げられる。
かかるヘルスケア支援サービスの一環として、ヘルスケア支援システム1は、心拍数の時系列データから食事開始時刻、食事終了時刻または食事所要時間などの食事時間を推定する場合に、食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を用いる。これによって、例えば、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などによって心拍数が上昇する場面で食事時間が推定されるのを抑制し、もって食事時間の推定精度が低下するのを抑制する。
図1に示すように、ヘルスケア支援システム1には、センサ端末10と、情報処理装置100とが収容される。なお、図1には、センサ端末が1つである場合を図示したが、ヘルスケア支援システム1には、複数のセンサ端末が収容されることとしてもかまわない。
これらセンサ端末10及び情報処理装置100の間は、相互に通信可能に接続される。ここでは、一例として、センサ端末10及び情報処理装置100がBLE(Bluetooth(登録商標) Low Energy)などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、LAN(Local Area Network)やVPN(Virtual Private Network)などの構内通信網を始め、インターネット(Internet)などの任意の種類の通信網を介して、センサ端末10及び情報処理装置100を接続することができる。
センサ端末10は、センサを実装する端末装置である。
一実施形態として、センサ端末10には、ヘルスケア専用の端末装置、スマートグラスやスマートウォッチ等のウェアラブルガジェットなどを採用できる。
センサ端末10には、少なくとも心拍センサが実装される。この心拍センサを用いて、センサ端末10は、例えば、センサ端末10を利用するユーザの単位時間当たりの心拍数を検出する。このように心拍センサを用いてセンシングされる心拍数の時系列データは、特徴量の算出や食事時間の推定に用いられる。以下では、心拍センサを用いてセンシングされる心拍数の時系列データのことを「心拍数データ」と記載する場合がある。かかる心拍センサ以外にも、センサ端末10には、加速度センサを実装することもできる。この加速度センサには、一例として、3軸の加速度センサを採用することができる。このように加速度センサを用いてセンシングされる3軸の加速度の時系列データ、すなわちセンサ端末10の上下左右前後の加速度変化は、センサ端末10を使用するユーザが歩行、昇降や走行などの運動状態を検出するのに用いられる。これによって、加速度の時系列データは、心拍数の時系列データから動作状態や運動状態が継続する運動期間を除去するのに寄与する。以下では、加速度センサを用いてセンシングされる加速度の時系列データのことを「加速度データ」と記載する場合がある。なお、ここでは、一例として、心拍センサ及び加速度センサを例示したが、ジャイロセンサやGPS(Global Positioning System)受信機などの他のセンサが実装されることを妨げない。例えば、加速度センサの代わりにジャイロセンサを用いることができる。このように運動期間を除去するためのセンサは加速度センサに限定されず、慣性センサによりセンシングされた慣性データを用いて、心拍数データから運動期間を除去することもできる。
センサ端末10に心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用することができる。例えば光電脈波センサによる脈拍を採用することも出来る。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。さらに、必ずしも心拍数を検出する心拍センサがセンサ端末10に実装されずともよく、心電信号を検出する心電センサがセンサ端末10に実装されることとしてもかまわない。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、RF(Radio Frequency)モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。
心拍数は、血液を送り出す心臓の拍動回数を表す指標であり、その算出方法は、心臓の電気的活動を計測する方法であっても、血液の流れを計測して脈動を計測する方法であってもかまわない。
このようにセンサ端末10によりセンシングされた心拍数データ及び加速度データは、ユーザの識別情報、例えばセンサ端末10のマシン名やシリアル番号などと対応付けられた状態で情報処理装置100へ伝送される。このとき、心拍数データ及び加速度データは、心拍数や加速度がセンシングされる度にリアルタイムで伝送されることとしてもよいし、所定期間、例えば12時間、1日間、1週間や1ヶ月などにわたって蓄積してから伝送することとしてもかまわない。なお、ここでは、センサ端末10から情報処理装置100へ心拍数データや加速度データが伝送される場合を例示したが、センサ端末10に心拍数データから食事時間の推定に用いる特徴量を算出させることとしてもかまわない。このように特徴量をセンサ端末10に算出させる場合、2つの装置で伝送されるデータ量を低減すると共に、伝送時に個人情報である心拍数データが第三者に公開される事態を抑制できる。
情報処理装置100は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置100には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。
一実施形態として、情報処理装置100は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する食事時間推定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置100は、センサ端末10から受け付けた心拍数データを用いて、センサ端末10のユーザの食事時間を推定する。その上で、情報処理装置100は、食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置100が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置100に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。
[センサ端末10の構成]
次に、本実施例に係るセンサ端末10の機能的構成について説明する。図1に示すように、センサ端末10は、心拍数データ取得部11と、加速度データ取得部12と、通信I/F(InterFace)部13とを有する。なお、センサ端末10は、図1に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ヘルスケア専用の端末装置、ウェアラブルガジェットまたは携帯端末装置がセンサ端末10として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できる。
心拍数データ取得部11は、上記の心拍数データを取得する処理部である。
一実施形態として、心拍数データ取得部11は、図示しない心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、心拍数データ取得部11は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末10上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を1分間とする場合、心拍数はbpm(beats per minute)等で表現される。また、単位時間を1秒間とする場合、心拍数はHzで表現される。さらに「心拍数」と相関のある指標であれば、心拍数そのものでなくてもかまわない。例えば、心電波形における心電波形のピークRR間隔はミリ秒で表現され、心拍数の代わりに用いることができる。
本発明は、食事に伴う循環器の応答を捉えて食事時刻の推定にもちいるものであり、心拍数以外にも心電波形や脈波波形から得られる情報や血流量に関わる情報から心拍数と相関のある指標が得られる場合には、その指標を用いることができる。
このようにして取得される心拍数データは、心拍数がセンシングされる度に通信I/F部13を介して情報処理装置100へ伝送されることとしてもよいし、所定の期間、例えば12時間や1日間などにわたって図示しないメモリへ蓄積してから通信I/F部13を介して情報処理装置100へ伝送されることとしてもかまわない。
加速度データ取得部12は、上記の加速度データを取得する処理部である。
一実施形態として、加速度データ取得部12は、図示しない加速度センサを制御して、所定のサンプリング周期で加速度センサに3軸、すなわち上下左右前後の加速度をセンシングさせる。これによって、加速度データ取得部12は、サンプリング点ごとに加速度センサによりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍数データと同様、センサ端末10上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の3軸の加速度を含めることができる。例えば、3軸の加速度のうち一部の方向の加速度に絞って後段の機能部に使用させる場合、後段の機能部で使用されない方向の加速度は加速度データから除去することもできる。なお、加速度センサには、心拍センサと同一のサンプリング周期を採用させることもできるし、異なるサンプリング周期を採用させることもできる。
このようにして取得される加速度データは、加速度がセンシングされる度に通信I/F部13を介して情報処理装置100へ伝送されることとしてもよいし、所定の期間、例えば12時間や1日間などにわたって図示しないメモリへ蓄積してから通信I/F部13を介して情報処理装置100へ伝送されることとしてもかまわない。
通信I/F部13は、他の装置、例えば情報処理装置100などとの間で通信制御を行うインタフェースである。
一実施形態として、通信I/F部13には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部13は、上記の心拍数データや上記の加速度データなどを情報処理装置100へ送信する。また、通信I/F部13は、情報処理装置100から上記の心拍数データや上記の加速度データを情報処理装置100へアップロードする指示や情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などを受信することができる。
なお、上記の心拍数データ取得部11及び加速度データ取得部12などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるCPU(Central Processing Unit)などに、上記の心拍数データ取得部11及び加速度データ取得部12と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、MPU(Micro Processing Unit)に実行させることとしてもよい。また、上記の各機能部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAM(Random Access Memory)やフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD(Hard Disk Drive)、光ディスクやSSD(Solid State Drive)などを採用できる。
[情報処理装置100の構成]
次に、本実施例に係る情報処理装置100の機能的構成について説明する。図1に示すように、情報処理装置100は、通信I/F部110と、運動期間判定部120と、ノイズ心拍数除去部130と、特徴量算出部140と、食事時間推定部150と、サービス提供部160とを有する。なお、情報処理装置100は、図1に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。
通信I/F部110は、他の装置、例えばセンサ端末10などとの間で通信制御を行うインタフェースである。
一実施形態として、通信I/F部110には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部110は、上記の心拍数データや上記の加速度データなどをセンサ端末10から受信する。また、通信I/F部110は、上記の心拍数データや上記の加速度データをセンサ端末10にアップロードさせる指示や情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などをセンサ端末10へ送信することができる。
運動期間判定部120は、運動期間を判定する処理部である。ここで言う「運動期間」とは、歩行、走行や階段の昇降などの運動が行われたと想定される期間を指し、例えば、運動期間の判定にセンサ端末10から送信される加速度データが用いられる。
一実施形態として、運動期間判定部120は、上記の運動期間の判定に、上記の加速度データに含まれる加速度のうち少なくとも上下方向、すなわち重力方向の加速度を用いる。このように重力方向の加速度を用いるのは、歩行、走行や階段の昇降などの運動が行われる場合、加速度が特定のパターンで変化すると共に当該パターンが周期的に現れるからである。すなわち、歩行、走行や階段の昇降などの運動時には、脚部の蹴り出し時および着地時に地面等から反力を受けるので、重力方向の加速度に上昇及び下降の変化が短期間で現れる。さらに、重力方向の加速度に関する上昇及び下降の変化は、地面から荷重が除かれて足が地面に接地する度に周期的に現れる。
このことから、運動期間判定部120は、一例として、重力方向の加速度から上記の上昇および下降のパターンを検出する。その上で、運動期間判定部120は、パターンが現れる間隔が所定期間内であるか否かを判定する。このとき、パターンが現れる間隔が所定期間以内である場合、当該パターンが所定期間内に繰り返して現れる区間を運動期間と判定する。ここで、上記の運動期間の判定には、一例として、センサ端末10が装着された状態でユーザが運動活動を行い、運動活動に伴う加速度変化を実験的に採取することにより、上記のパターンを形成する上昇および下降の程度から上昇及び下降を弁別する閾値を設定することができる。さらに、パターンが現れる間隔についても実験的に現れる値から上記の所定期間を定めることもできる。なお、上記の運動期間は、運動期間の開始時刻とその継続時間により表現することもできるし、運動開始時刻及び運動終了時刻として表現することもできる。なお、心拍数変化に影響する腕や脚、上半身、下半身、姿勢変化などの動作が現れる動作期間も上記の運動期間とすることができる。
ノイズ心拍数除去部130は、上記の心拍数データから食事以外のノイズが原因で心拍数が変化すると推定される区間を除去する処理部である。
一実施形態として、ノイズ心拍数除去部130は、運動に伴う心拍数の変化が食事時間の推定に悪影響を与えるのを抑制するために、心拍数データ取得部11により取得される心拍数データのうち運動期間判定部120により判定された運動期間に対応する区間を除去する。
このとき、ノイズ心拍数除去部130は、運動期間に対応する区間だけでなく、一例として、運動終了時刻から運動により上昇する心拍数が回復するまでの一定期間を運動終了時刻に加えることにより、運動後の心拍数の回復変化が含まれた除去期間を求め、当該除去期間に対応する区間を心拍数データから除去することもできる。かかる運動終了時刻に加える一定期間には、一例として、運動後の回復変化を測定する実験を実施することによりユーザ個別の時間を設定することもできるし、全ユーザ共通の時間をデフォルト値として設定することもできる。なお、運動期間または除去期間に対応する区間のデータが心拍数データから除去された場合、線形補間、多項式補間、スプライン補間などを実行することで、除去により欠落する部分のデータを内挿補間することができる。
特徴量算出部140は、上記の心拍数データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理部である。
一実施形態として、特徴量算出部140は、上記の心拍数データ上で食事終了時刻と仮定する食事終了時刻の候補をシフトさせながら、候補ごとに上記の心拍数データのうち当該候補周辺の部分データを用いて上記の特徴量を算出する。
ここで、図2及び図3を用いて、食事終了時に現れる心拍変化の特徴について説明する。図2及び図3は、心拍数データの一例を示す図である。これら図2及び図3には、いずれも食事開始から食事終了までの食事期間を含む心拍数データが示されており、図中の食事開始及び食事終了のタイミングは、ユーザの入力によりレファレンスとして示された時刻である。このうち、図2には、食事開始の1時間前から食事終了の1時間後までの心拍数データが示される一方で、図3には、食事開始から前後の5時間の心拍数データが示されている。言い換えれば、図2には、図3に比べて微視的な心拍数データが示される一方で、図3には、図2に比べて巨視的な心拍数データが示されている。なお、図2及び図3に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。
図2及び図3に示す心拍数データによれば、図2に示す特徴(イ)及び特徴(ロ)と、図3に示す特徴(ハ)とが食事終了時に現れることがわかる。すなわち、図2の特徴量(イ)に示すように、食事終了時刻の前は食事中であることが原因となって食事前に比べて心拍数が高い状態が継続する傾向がある。さらに、図2の特徴(ロ)に示すように、食事が終了するのを境に心拍数が減少し始める傾向がある。加えて、図3の特徴(ハ)に示すように、食後しばらくすると、おそらく体内での消化吸収などの活動が原因となって、心拍数が増加し、例えば、3−5時間の長期間にわたって食事開始前よりも高い心拍数を維持する傾向がある。
これらのことから、上記の食事終了時刻の候補周辺の部分データが特徴(イ)、特徴(ロ)及び特徴(ハ)と類似する度合いを特徴量として指標化することにより、当該候補が食事終了時刻として尤もらしいかどうかを評価することが可能となる。
例えば、特徴量算出部140は、以下に説明する特徴量(1)〜特徴量(7)の7つの特徴量を算出することができる。
[特徴量(1)]
まず、特徴量(1)について説明する。かかる特徴量(1)は、食事終了後の心拍数の減少幅が数値化された指標である。図4は、特徴量(1)の一例を説明する図である。図4には、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図4に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図4に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2で計測される心拍数と、その食事終了時刻t2から所定時間α1後の心拍数との差を特徴量(1)として算出することができる。かかる所定時間α1の一例として、候補が真の食事終了時刻に設定された場合に上記の特徴(ロ)の傾向が現れる程度の時間、例えば3分間や5分間程度の時間を採用できる。このようにして算出される特徴量(1)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(1)の関係は、安静時<食事終了時<運動終了時となる。このため、一例として、実験や事前計測等により、安静時における特徴量(1)の上限値および運動終了時における特徴量(1)の下限値を境界値として設定し、安静時の上限値<特徴量(1)<運動終了時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
なお、ここでは、一例として、候補とする食事終了時刻t2で計測される心拍数と、その食事終了時刻t2から所定時間α1後の心拍数との差を特徴量(1)として求める場合を例示したが、特徴量(1)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事終了時刻t2から所定時間、例えば15分程度の間で計測される心拍数のうち最小値をとる心拍数を特徴量(1)として算出することもできる。
[特徴量(2)]
続いて、特徴量(2)について説明する。かかる特徴量(2)は、食事終了直前の心拍数の傾き、すなわち食事中から食事終了直前へ向かって心拍数データの波形が形成する傾きが数値化された指標である。図5は、特徴量(2)の一例を説明する図である。図5にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図5に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図5に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α2前まで遡った区間の心拍数データに含まれる心拍数の時系列に対し、一次関数による関数近似等を行うことにより求まる近似直線L1の傾きを特徴量(2)として算出することができる。かかる所定時間α2の一例として、一定量の食物が摂取される場合に摂食動作および蠕動運動が継続すると想定できる程度の時間、例えば3分間程度を採用できる。このようにして算出される特徴量(2)の値がゼロに近づくほど食事中の心拍数がおよそ一定値で推移しているとみなすことができるので、上記の食事終了時刻の候補周辺の部分データが特徴(イ)と類似していると評価することができる。
[特徴量(3)]
次に、特徴量(3)について説明する。かかる特徴量(3)は、食事終了直後の心拍数の傾き、すなわち食事終了後に時間経過に伴って心拍数データの波形が形成する傾きが数値化された指標である。図6は、特徴量(3)の一例を説明する図である。図6にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図6に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図6に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α3後までの区間の心拍数データに含まれる心拍数の時系列に対し、一次関数による関数近似等を行うことにより求まる近似直線L2の傾きを特徴量(3)として算出することができる。かかる所定時間α3の一例として、特徴量(1)のα1と同様、候補が真の食事終了時刻に設定された場合に上記の特徴(ロ)の傾向が現れる程度の時間、例えば3分間や5分間程度の時間を採用できる。このようにして算出される特徴量(3)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(3)の関係は、運動終了時<食事終了時<安静時となる。このため、一例として、運動終了時における特徴量(3)の上限値および安静時における特徴量(3)の下限値を境界値として設定し、運動終了時の上限値<特徴量(3)<安静時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
なお、ここでは、特徴量(3)の算出方法の一例として、候補とする食事終了時刻t2から所定時間α3後までの区間で関数近似を行う場合を例示したが、特徴量(3)の算出方法はこれに限定されない。
他の一例として、特徴量算出部140は、候補とする食事終了時刻t2以後の心拍数データを用いて関数近似を行う場合に、関数近似を行う区間の終点を食事終了時刻t2の第1時間後から第1時間よりも後である第2時間後までの間でシフトさせる度に関数近似を行う。その上で、特徴量算出部140は、第1時間から第2時間までのシフトの結果、関数近似で得られた複数の近似直線のうち最小である近似直線の傾きを特徴量(3)として導出することもできる。また、特徴量算出部140は、第1時間から第2時間までのシフトの結果、関数近似で得られた複数の近似直線のうち心拍数データの部分データとの平均誤差が最小である近似直線の傾きを特徴量(3)として導出することもできる。なお、上記の第1時間の一例として、1分間を採用することができ、また、上記の第2時間の一例として、10分間を採用することができる。このように、第1時間の一例として1分間を採用することができるのは、食事終了後の傾向をつかむのに十分なデータが得られるできる時間であることが一因にある。また、第2時間の一例として10分間を採用することができるのは、食事終了後の特徴が十分含まれ、且つ、他の行動(例えば、昼寝)などが影響しにくい時間であることが一因にある。
[特徴量(4)]
次に、特徴量(4)について説明する。かかる特徴量(4)は、食事終了直前および食事終了直後間の角度、すなわち心拍数データの波形が食事終了直前および食事終了直後で形成する角度が数値化された指標である。図7は、特徴量(4)の一例を説明する図である。図7にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図7に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図7に示すように、特徴量算出部140は、一例として、上記の近似直線L1の傾き及び上記の近似直線L2の傾きから各近似直線が交わる角度を特徴量(4)として算出することができる。このようにして算出される特徴量(4)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(1)の関係は、次の通りとなる。すなわち、運動終了時に算出され得る特徴量(4)は、およそ90度に近づき、食事終了時に算出され得る特徴量(4)は、90度よりも大きく、一例として、100度や110度などの値に分布する傾向にあり、安静時に算出され得る特徴量(4)は、180度に近づく傾向にある。したがって、運動終了時<食事終了時<安静時となる。このため、一例として、運動終了時における特徴量(4)の上限値および安静時における特徴量(4)の下限値を境界値として設定し、運動終了時の上限値<特徴量(4)<安静時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。
[特徴量(5)]
次に、特徴量(5)について説明する。かかる特徴量(5)は、食事中(食事終了直前)の心拍数と食事開始前の心拍数との差が数値化された指標である。図8は、特徴量(5)の一例を説明する図である。図8にも、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図8に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図8に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α5前まで遡った第1区間、すなわち図中の濃い塗りつぶしの区間の中央値と、食事開始前と想定できる時間帯、例えば候補とする食事終了時刻t2の1時間前から30分前までの第2区間、すなわち図中の薄い塗りつぶしの区間の中央値との差を特徴量(5)として算出することができる。ここでは、一例として、各中央値の差を求める場合を例示したが、相加平均、加重平均や移動平均などの任意の統計値を求め、両者の差を求めることとしてもかまわない。また、所定時間α5の一例として、上記の特徴量(2)のα2と同様、一定量の食物が摂取される場合に摂食動作および蠕動運動が継続すると想定できる程度の時間、例えば3分間程度を採用できる。このようにして算出される特徴量(5)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(5)の関係は、安静時<食事終了時<運動終了時となる。このため、一例として、安静時における特徴量(5)の上限値および運動終了時における特徴量(5)の下限値を境界値として設定し、安静時の上限値<特徴量(5)<運動終了時の下限値であるか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。なお、食事開始時刻が既知の場合には、その時刻から所定時間分(例えば30分前)分前を第2区間としても良い。
なお、ここでは、特徴量(5)の算出方法の一例として、第1区間の中央値と第2区間の中央値との差を特徴量(5)として算出する場合を例示したが、特徴量(5)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、第1区間の中央値の代わりに、候補とする食事終了時刻t2で計測される心拍数と第2区間の中央値との差を求めることにより、特徴量(5)として算出することとしてもかまわない。
[特徴量(6)]
次に、特徴量(6)について説明する。かかる特徴量(6)は、食事開始前の心拍数の集合に対する食事中(食事終了直前)の心拍数の生起確率が数値化された指標である。例えば、特徴量算出部140は、図8を用いて説明した第2区間の心拍数データに含まれる心拍数の確率分布を作成する。このように確率分布を作成する場合、特徴量算出部140は、第2区間に含まれる心拍数のうち候補とする食事終了時刻t2に近い時刻の心拍数に当該食事終了時刻t2から遠い時刻の心拍数よりも大きい重みを付与して確率分布を作成することもできる。その上で、特徴量算出部140は、先に第2区間、すなわち食事開始前の心拍数の集合から作成した確率分布から、第1区間、すなわち食事中の区間に対応する心拍数データに含まれる心拍数ごとに当該心拍数の生起確率を算出する。その結果、特徴量算出部140は、第1区間に含まれる心拍数ごとに算出された生起確率のうち最大値を特徴量(6)として導出する。なお、ここでは、生起確率の最大値を用いる場合を例示したが、ノイズや心拍変動の発生にロバストな特徴量を求めるために、最大値の代わりに生起確率の上位の所定数、例えば1位から10位までの生起確率や上位1/5の生起確率を特徴量(6)として導出することもできる。
図9は、特徴量(6)の一例を説明する図である。図9には、図8で示した第2区間の心拍数データに含まれる心拍数の集合から求められた確率分布が示されている。図9に示す縦軸は、確率または確率密度を指し、横軸は、心拍数を指す。図9に示すように、候補が真の食事終了時刻に設定された場合、上記の特徴(イ)から、第1区間の心拍数の分布、すなわち濃い塗りつぶしが第2区間の心拍数の分布、すなわち薄い塗りつぶしよりも右側、すなわち高い心拍数で現れる。そして、第1区間の生起確率は、最大値であっても第2区間に含まれる心拍数の確率密度の最大値に比べて小さくなる。このような特徴量(6)によれば、その値が小さいほど食事中の心拍数が食事開始前に比べて高い状態、すなわち安静時に比べて高い状態が継続しているとみなすことができるので、上記の食事終了時刻の候補周辺の部分データが特徴(イ)と類似していると評価することができる。
なお、ここでは、特徴量(6)の算出方法の一例として、第2区間の心拍数データに含まれる心拍数の集合から確率分布を作成する場合を例示したが、特徴量(6)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事開始時刻が既知である場合、第2区間の代わりに、候補とする食事終了時刻t2の1時間前から食事開始時刻t1までの区間の心拍数データに含まれる心拍数の集合から確率分布を作成することにより、特徴量(6)を算出することとしてもかまわない。
[特徴量(7)]
次に、特徴量(7)について説明する。かかる特徴量(7)は、食事終了後の心拍数分布と食事開始前の心拍数分布との類似度が数値化された指標である。図10及び図11は、特徴量(7)の一例を説明する図である。図10には、候補とする食事終了時刻t2の4時間前から4時間後へわたる心拍数データが例示されると共に、説明の便宜上、実際の食事期間を含む心拍数データ上でユーザが食事終了として入力した時点に上記の食事終了時刻の候補が設定された場合が例示されている。図10に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、時間を指す。なお、図中に示す「t1」は、食事開始時刻を指し、図中に示す「t2」は、食事終了時刻を指すこととする。
図10に示すように、特徴量算出部140は、一例として、候補とする食事終了時刻t2から所定時間α6後までの第3区間、すなわち図中の濃い塗りつぶしの区間の心拍数データに含まれる心拍数の確率分布を作成する。かかる所定時間α6の一例として、候補が真の食事終了時刻に設定された場合に上記の特徴(ハ)の傾向が現れる程度の時間、例えば1時間程度の時間を採用できる。これと共に、特徴量算出部140は、図8を用いて説明した第2区間、すなわち図中の薄い塗りつぶしの区間の心拍数データに含まれる心拍数の確率分布を作成する。この結果、図11に示すように、第3区間の確率分布及び第2区間の確率分布が作成される。その上で、特徴量算出部140は、図11に示すように、第3区間から作成された確率分布で確率密度が最大となる心拍数と、第2区間から作成された確率分布で確率密度が最大となる心拍数との差を特徴量(7)として算出したり、または、2つの確率分布の類似度、例えば内積や相関係数などを特徴量(7)として算出したりする。例えば、内積や相関係数などの類似度を特徴量(7)として算出する場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(7)の関係は、安静時及び運動終了時のいずれより算出される場合よりも食事終了時に算出される特徴量(7)の方が小さくなる。すなわち、食事終了時<安静時、かつ、食事終了時<運動終了時となる。この場合、安静時及び運動終了時の下限値よりも特徴量(7)が小さいか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。また、最大値となる心拍数の差を特徴量(7)として算出する場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動終了時に算出され得る特徴量(7)の関係は、安静時及び運動終了時のいずれより算出される場合よりも食事終了時に算出される特徴量(7)の方が大きくなる。すなわち、食事終了時>安静時、かつ、食事終了時>運動終了時となる。この場合、安静時及び運動終了時の上限値よりも特徴量(7)が大きいか否かにより、候補が食事終了時刻として尤もらしいか否かを評価することができる。なお、上記の類似度および上記の最大値となる心拍数の差は、いずれか一方を特徴量(7)として算出することもできるし、両方を特徴量(7)として算出することもできる。
なお、ここでは、特徴量(7)の算出方法の一例として、第2区間の心拍数データに含まれる心拍数の集合から確率分布を作成する場合を例示したが、特徴量(7)の算出方法はこれに限定されない。他の一例として、特徴量算出部140は、食事開始時刻が既知である場合、第2区間の代わりに、候補とする食事終了時刻t2の1時間前から食事開始時刻t1までの区間の心拍数データに含まれる心拍数の集合から確率分布を作成することにより、特徴量(7)を算出することとしてもかまわない。
このように、特徴量算出部140は、上記の特徴量(1)〜特徴量(7)の7つの特徴量のうち少なくともいずれか1つの特徴量、あるいは任意の個数の特徴量の組合せを上記の候補ごとに算出することができる。
図1の説明に戻り、食事時間推定部150は、特徴量算出部140により算出された特徴量から食事時間を推定する処理部である。以下では、あくまで一例として、食事時間の推定に、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)が用いられる場合を例示するが、他の特徴量を用いることとしてもかまわず、必ずしも特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を閾値判定に用いずともかまわない。また、食事時間の一例として、食事終了時刻を推定する場合を例示するが、食事開始時刻、食事所要時間もしくはこれらの組合せを推定することとしてもかまわない。
図1に示す食事時間推定部150は、判定部151と、グルーピング部152と、決定部153とを有する。
このうち、判定部151は、特徴量算出部140により算出された特徴量と所定の閾値とを比較する判定を実行する処理部である。
一実施形態として、判定部151は、特徴量算出部140により特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)が算出される度に次のような処理を実行する。すなわち、判定部151は、特徴量(1)が所定の閾値以上であるか否かを判定する。続いて、特徴量(1)が閾値以上である場合、判定部151は、特徴量(5)が所定の閾値以下であるか否かをさらに判定する。そして、特徴量(5)が閾値以下である場合、判定部151は、特徴量(6)が所定の閾値未満であるか否かをさらに判定する。この結果、特徴量(1)が閾値以上であり、特徴量(5)が閾値以下であり、かつ特徴量(6)が閾値未満である場合には、これら特徴量(1)、特徴量(5)及び特徴量(6)を持つ食事終了時刻の候補が食事終了時刻として尤もらしいと推定できる。この場合、判定部151は、図示しない内部メモリ等に当該候補を食事終了時刻として記録する。
ここで、上記の例では、特徴量(1)、特徴量(5)、特徴量(6)の順に閾値判定を行う分類木を判定モデルとして用いる場合を例示したが、食事時間の推定に用いる判定モデルはこれに限定されない。例えば、正解付きの教師データを機械学習させることにより、任意の判定モデルを生成できる。すなわち、7つの特徴量のうちいずれの特徴量を閾値判定に用いるかを決定すると共に閾値判定を行う特徴量の順番を決定することで分類木を定めたり、さらには、分類木で特徴量と比較する閾値の大きさを設定したりすることにより、判定モデルを生成できる。例えば、上記の特徴量(1)、特徴量(5)及び特徴量(6)以外の特徴量、すなわち特徴量(2)、特徴量(3)、特徴量(4)または特徴量(7)に関する閾値判定を行う分類木を生成することができる。
このような機械学習を行うことにより、次のような効果を得ることができる。例えば、特徴量(1)の場合、運動等の活動が行われていない安静時、実際の食事終了時、及び、運動時に算出され得る特徴量(1)の関係が安静時<食事終了時<運動時となる人物が多数派と考えられるが、必ずしも特徴量(1)が安静時<食事終了時<運動時という傾向を持たない人物も存在する。一例として、特徴量(1)が安静時<運動時<食事終了時という傾向を持つ人物も存在する。この場合にも、当該人物のポジティブデータとネガティブデータ用いて機械学習を行うことにより、当該人物の傾向に合わせて分類木を生成できる。
グルーピング部152は、食事終了時刻をグルーピングする処理部である。
一実施形態として、グルーピング部152は、内部メモリに記憶された食事終了時刻のうち互いの時間差が所定期間内である食事終了時刻をグルーピングする。例えば、グルーピング部152は、互いの時間差が所定期間内である食事終了時刻の各々に同一のグループの識別情報を付与し、互いの時間差が所定期間内でない食事終了時刻に異なるグループの識別情報を付与する。その上で、グルーピング部152は、各食事終了時刻に当該終了時刻に付与されたグループの識別情報を対応付けて内部メモリに記録させることにより、上記のグルーピングを実現できる。
決定部153は、同一のグループにグルーピングされた食事終了時刻を用いて、1つの食事終了時刻を決定する処理部である。
一実施形態として、決定部153は、グルーピング部152により同一のグループにグルーピングされた食事終了時刻のうち特徴量算出部140により算出された特徴量(4)が最小である食事終了時刻を選択する。これによって、特徴量(1)、特徴量(5)及び特徴量(6)により尤もらしいと評価された食事終了時刻の中でも、さらに特徴量(4)により尤もらしいと評価された食事終了時刻を抽出できる。なお、ここでは、同一のグループにグルーピングされた食事終了時刻の中から1つの食事終了時刻を選択する場合を例示したが、各食事終了時刻の間で所定の統計値、例えば平均値や中央値を求め、その統計値を食事終了時刻として決定することとしてもかまわない。
サービス提供部160は、上記のヘルスケア支援サービスを提供する処理部である。
一実施形態として、サービス提供部160は、食事時間推定部150により推定された食事時間、例えば食事開始時刻、食事終了時刻、もしくは、食事所要時間のうち少なくともいずれか1つを記録したり、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。なお、サービス提供部160で実装される機能は、外部のサーバ装置等などにより実現されることとしてもよい。
なお、上記の運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140、食事時間推定部150及びサービス提供部160などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるCPUなどに、上記の各機能部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、MPUに実行させることとしてもよい。また、上記の各機能部は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAMやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD、光ディスクやSSDなどを採用できる。
[処理の流れ]
図12は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。この処理は、一例として、所定の時間長、例えば12時間や1日間などにわたる心拍数データ及び加速度データが取得された場合に起動される。
図12に示すように、センサ端末10から心拍数データ及び加速度データが取得されると(ステップS101)、運動期間判定部120は、次のような処理を実行する。すなわち、運動期間判定部120は、ステップS101で取得された加速度データのうち重力方向の加速度を用いて、運動に対応する上昇および下降のパターン同士の間隔が所定期間内に繰り返して現れる区間を運動期間として判定する(ステップS102)。
続いて、ノイズ心拍数除去部130は、ステップS101で取得された心拍数データから、ステップS102で判定された運動期間に一定期間を加えた除去期間に対応する区間を除去する(ステップS103)。
そして、特徴量算出部140は、ステップS101で取得された心拍数データ上で食事終了時刻と仮定する候補の時刻iを初期化する(ステップS104)。例えば、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を算出する場合、候補の時刻iから1時間前までのデータが食事時間の推定に用いられるので、ステップS101で取得された心拍数データの開始時刻から1時間後の時刻が候補の時刻iとして初期設定される。
その後、特徴量算出部140は、ステップS101で取得された心拍数データを用いて、特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を算出する(ステップS105)。
続いて、判定部151は、ステップS105で算出された特徴量(1)が所定の閾値以上であるか否かを判定する(ステップS106)。このとき、特徴量(1)が閾値以上である場合(ステップS106Yes)、判定部151は、特徴量(5)が所定の閾値以下であるか否かをさらに判定する(ステップS107)。そして、特徴量(5)が閾値以下である場合(ステップS107Yes)、判定部151は、特徴量(6)が所定の閾値未満であるか否かをさらに判定する(ステップS108)。
ここで、特徴量(6)が閾値未満である場合(ステップS108Yes)には、これら特徴量(1)、特徴量(5)及び特徴量(6)を持つ食事終了時刻の候補が食事終了時刻として尤もらしいと推定できる。この場合、判定部151は、図示しない内部メモリ等に当該候補を食事終了時刻として記録する(ステップS109)。
一方、特徴量(1)が閾値以上でない場合、特徴量(5)が閾値以下でない場合、あるいは特徴量(6)が閾値未満でない場合(ステップS106No、ステップS107NoまたはステップS108No)、特徴量(1)、特徴量(5)または特徴量(6)の少なくともいずれか1つの特徴量から食事終了時刻の候補が食事終了時刻として尤もらしくないと推定できる。この場合、当該候補は、食事終了時刻として記録されない。
そして、候補の時刻iがインクリメントできる最後の時刻、例えば特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を求める場合はステップS101で取得された心拍数データの終了時刻よりも所定時間α1(=α3)前の時刻になるまで(ステップS110No)食事終了時刻の候補とする時刻iをインクリメントし、上記のステップS106〜ステップS109までの処理を繰り返し実行する。このように候補の時刻iをインクリメントする量は、ミリ秒、秒、分などの任意の単位であってもかまわない。
そして、候補の時刻iがインクリメントできる最後の時刻、例えば特徴量(1)、特徴量(4)、特徴量(5)及び特徴量(6)を求める場合はステップS101で取得された心拍数データの終了時刻のα1(=α3)前の時刻になると(ステップS110Yes)、グルーピング部152は、ステップS109で記録された食事終了時刻のうち互いの時間差が所定期間内である食事終了時刻をグルーピングする(ステップS111)。
その後、決定部153は、ステップS111で同一のグループにグルーピングされた食事終了時刻のうちステップS105で算出された特徴量(4)が最小である食事終了時刻を選択し(ステップS112)、処理を終了する。
[効果の一側面]
上述してきたように、本実施例に係るヘルスケア支援システム1は、心拍数の時系列データから食事開始時刻、食事終了時刻または食事所要時間などの食事時間を推定する場合に、食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を用いる。これによって、例えば、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などによって心拍数が上昇する場面で食事時刻が推定されるのを抑制する。したがって、本実施例に係るヘルスケア支援システム1によれば、食事時間の推定精度が低下するのを抑制できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[食事開始時刻1]
上記の実施例1では、食事終了時刻を推定する場合を例示したが、既知のアルゴリズムを用いて、食事開始時刻を推定することもできる。例えば、情報処理装置100は、上記の心拍数データを参照し、所定期間、例えば3分間後に心拍数の上昇値が閾値以上となる時刻を食事開始時刻として推定したり、所定期間後までの心拍数の時系列から関数近似により求めた近似直線の傾きの符号が「正」であり、かつ絶対値が所定の閾値以上となる時刻を食事開始時刻として推定することもできる。
[食事開始時刻2]
さらに、情報処理装置100は、食事時間推定部150により推定される食事終了時間を用いて、先のようにして推定される食事開始時刻のうち尤もらしい食事開始時刻を抽出することもできる。例えば、情報処理装置100は、先のようにして推定された食事開始時刻のうち食事時間推定部150により推定された食事終了時刻よりも前の時刻であり、かつ当該食事終了時刻から所定の期間、例えば1時間以内である食事開始時刻を、食事時間推定部150が推定する食事終了時刻と対になる食事開始時刻として推定する。これによって、食事時間推定部150により推定された食事終了時刻との比較から尤もらしい食事開始時刻を抽出できる。
[食事所要時間]
上記の実施例1では、食事終了時刻を推定する場合を例示したが、既知のアルゴリズムを用いて、食事所要時間を推定することもできる。例えば、情報処理装置100は、食事時間推定部150により推定される食事終了時間と、先のようにして推定される食事開始時刻との間で両者の差を計算することにより、食事所要時間を算出することもできる。この場合、情報処理装置100は、先のようにして推定された食事開始時刻のうち食事時間推定部150により推定された食事終了時刻よりも前の時刻である食事開始時間に絞って食事所要時間の算出対象としたり、時間長が所定の閾値、例えば1時間や1時間半以内である食事所要時間を抽出したりすることができる。
[他の実装例1]
上記の実施例1では、センサ端末10及び情報処理装置100を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、心拍数データの取得から食事時間の推定までの一連の処理をセンサ端末10、情報処理装置100、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。
[他の実装例2]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例1では、図12に示した食事時間推定処理を情報処理装置100が実行する場合を例示したが、処理の実行主体はこれに限定されない。例えば、センサ端末10からの心拍数データや加速度データを中継する中継装置として情報処理装置100を機能させ、上記のヘルスケア支援サービスを提供するWebサーバやアウトソーシングによって上記のヘルスケア支援サービスを提供するクラウドに、上記の食事時間推定処理を実行させることとしてもかまわない。
[食事時間推定プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図13を用いて、上記の実施例と同様の機能を有する食事時間推定プログラムを実行するコンピュータの一例について説明する。
図13は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。図13に示すように、コンピュータ1000は、操作部1100aと、スピーカ1100bと、カメラ1100cと、ディスプレイ1200と、通信部1300とを有する。さらに、このコンピュータ1000は、CPU1500と、ROM1600と、HDD1700と、RAM1800とを有する。これら1100〜1800の各部はバス1400を介して接続される。
HDD1700には、図13に示すように、上記の実施例1で示した運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140及び食事時間推定部150と同様の機能を発揮する食事時間推定プログラム1700aが記憶される。この食事時間推定プログラム1700aは、図1に示した運動期間判定部120、ノイズ心拍数除去部130、特徴量算出部140及び食事時間推定部150の各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD1700には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD1700に格納されればよい。
このような環境の下、CPU1500は、HDD1700から食事時間推定プログラム1700aを読み出した上でRAM1800へ展開する。この結果、食事時間推定プログラム1700aは、図13に示すように、食事時間推定プロセス1800aとして機能する。この食事時間推定プロセス1800aは、RAM1800が有する記憶領域のうち食事時間推定プロセス1800aに割り当てられた領域にHDD1700から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事時間推定プロセス1800aが実行する処理の一例として、図12に示す処理などが含まれる。なお、CPU1500では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の食事時間推定プログラム1700aは、必ずしも最初からHDD1700やROM1600に記憶されておらずともかまわない。例えば、コンピュータ1000に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ1000がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ1000に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ1000がこれらから各プログラムを取得して実行するようにしてもよい。
1 ヘルスケア支援システム
10 センサ端末
11 心拍数データ取得部
12 加速度データ取得部
13 通信I/F部
100 情報処理装置
110 通信I/F部
120 運動期間判定部
130 ノイズ心拍数除去部
140 特徴量算出部
150 食事時間推定部
151 判定部
152 グルーピング部
153 決定部
160 サービス提供部

Claims (7)

  1. コンピュータが、
    心拍数の時系列データを取得する処理と、
    前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する処理と、
    前記特徴量から食事時間を推定する処理と
    を実行することを特徴とする食事時間推定方法。
  2. 前記算出する処理は、食事終了後の心拍数の減少幅が数値化された特徴量、食事終了直前の心拍数の傾きが数値化された特徴量、食事終了直後の心拍数の傾きが数値化された特徴量、食事終了直前および食事終了直後で心拍数データの波形が形成する角度が数値化された特徴量、食事中または食事終了直前の心拍数と食事開始前の心拍数との差が数値化された特徴量、食事開始前の心拍数の集合に対する食事中または食事終了直前の心拍数の生起確率が数値化された特徴量、及び、食事終了後の心拍数分布と食事開始前の心拍数分布との類似度が数値化された特徴量のうち少なくともいずれか1つを算出することを特徴とする請求項1に記載の食事時間推定方法。
  3. 前記推定する処理は、前記食事時間として、食事開始時刻、食事終了時刻及び食事所要時間のうち少なくともいずれか1つを推定することを特徴とする請求項1に記載の食事時間推定方法。
  4. 前記推定する処理は、前記食事終了時刻を推定する場合に前記特徴量から前記食事終了時刻を推定し、前記食事開始時刻を推定する場合に前記心拍数の時系列データから抽出される食事開始時刻の候補のうち前記食事終了時刻に対応する候補を前記食事開始時刻として推定し、前記食事所要時間を推定する場合に互いが対応する一組の食事開始時刻及び食事終了時刻から定まる食事所要時間の候補のうち期間が所定の範囲内である候補を前記食事所要時間として推定することを特徴とする請求項3に記載の食事時間推定方法。
  5. 前記コンピュータが、
    所定期間内に複数の食事終了時刻が推定された場合、前記複数の食事終了時刻のうち前記食事終了時に現れる特徴との類似度が高い特徴量を持つ食事終了時刻を前記食事時間として推定することを特徴とする請求項3に記載の食事時間推定方法。
  6. 前記コンピュータが、
    慣性の時系列データを取得し、
    前記慣性の時系列データから運動に対応する振幅変化を判定し、
    前記心拍数の時系列データから前記運動に対応する振幅変化の区間を除去または除去後に内挿補完する処理をさらに実行することを特徴とする請求項1に記載の食事時間推定方法。
  7. 心拍数の時系列データを取得する取得部と、
    前記心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出する算出部と、
    前記特徴量から食事時間を推定する推定部と
    を実行することを特徴とする食事時間推定装置。
JP2017504488A 2015-03-10 2015-03-10 食事時間推定方法及び食事時間推定装置 Active JP6390783B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057041 WO2016143074A1 (ja) 2015-03-10 2015-03-10 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置

Publications (2)

Publication Number Publication Date
JPWO2016143074A1 JPWO2016143074A1 (ja) 2017-12-21
JP6390783B2 true JP6390783B2 (ja) 2018-09-19

Family

ID=56878667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504488A Active JP6390783B2 (ja) 2015-03-10 2015-03-10 食事時間推定方法及び食事時間推定装置

Country Status (4)

Country Link
US (1) US10595789B2 (ja)
EP (1) EP3269300A4 (ja)
JP (1) JP6390783B2 (ja)
WO (1) WO2016143074A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3599993A4 (en) * 2017-03-20 2020-11-18 Re-Time Pty. Ltd. METHOD AND DEVICE FOR SLEEP MONITORING AND CONTROL
JP6881082B2 (ja) 2017-06-23 2021-06-02 富士通株式会社 食事検知プログラム、食事検知方法及び食事検知システム
JP6953831B2 (ja) 2017-06-23 2021-10-27 富士通株式会社 食事検知プログラム、食事検知方法及び食事検知システム
JP7318690B2 (ja) * 2021-09-14 2023-08-01 カシオ計算機株式会社 電子機器、アルゴリズム選択方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398688A (en) * 1994-07-21 1995-03-21 Aurora Dawn Ltd. Method, system and instrument for monitoring food intake
JP2003173375A (ja) 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2004081471A (ja) 2002-08-27 2004-03-18 Matsushita Electric Works Ltd 食事行動検出装置
JP4487730B2 (ja) 2004-11-02 2010-06-23 株式会社日立製作所 生活状態通知システム
JP4701039B2 (ja) 2005-08-12 2011-06-15 順明 山井 体に良い食事摂取をナビゲートする装置
WO2008001366A2 (en) * 2006-06-28 2008-01-03 Endo-Rhythm Ltd. Lifestyle and eating advisor based on physiological and biological rhythm monitoring
JP5028051B2 (ja) 2006-09-07 2012-09-19 オリンパス株式会社 発話・飲食状態検出システム
JP5353479B2 (ja) 2009-06-25 2013-11-27 学校法人兵庫医科大学 嚥下活動モニタリング装置、嚥下活動モニタリングシステムおよび嚥下活動モニタリングプログラム
JP2011115508A (ja) 2009-12-07 2011-06-16 Sharp Corp 食行動検知システム
US8696616B2 (en) * 2010-12-29 2014-04-15 Ethicon Endo-Surgery, Inc. Obesity therapy and heart rate variability
US9005129B2 (en) * 2012-06-22 2015-04-14 Fitbit, Inc. Wearable heart rate monitor
US9168000B2 (en) * 2013-03-13 2015-10-27 Ethicon Endo-Surgery, Inc. Meal detection devices and methods
US9014790B2 (en) * 2013-06-03 2015-04-21 Fitbit, Inc. Heart rate data collection

Also Published As

Publication number Publication date
US10595789B2 (en) 2020-03-24
US20170360380A1 (en) 2017-12-21
JPWO2016143074A1 (ja) 2017-12-21
EP3269300A1 (en) 2018-01-17
EP3269300A4 (en) 2018-03-28
WO2016143074A1 (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6489130B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
JP6356616B2 (ja) 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム
JP6134872B1 (ja) 対象の周期的な運動のサイクル数を計数するデバイス、方法及びシステム
JP2016512777A (ja) 転倒を検出する方法及び転倒検出器
JP6390783B2 (ja) 食事時間推定方法及び食事時間推定装置
JPWO2013114596A1 (ja) 情報処理装置、代表波形生成方法および代表波形生成プログラム
KR101974831B1 (ko) 낙상위험 평가방법 및 이를 위한 사용자 단말기
US20180240543A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
Saadeh et al. A high accuracy and low latency patient-specific wearable fall detection system
US20180254106A1 (en) Behavior sensing device, behavior sensing method, and recording medium
JP6828619B2 (ja) 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
US11039794B2 (en) Meal detection method, meal detection system, and storage medium
JP2017012249A (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
Weng et al. Fall detection based on tilt angle and acceleration variations
EP3991157B1 (en) Evaluating movement of a subject
JP6676877B2 (ja) 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
Pham et al. Classification different types of fall for reducing false alarm using single accelerometer
Vallabh et al. Personalized fall detection monitoring system based on learning from the user movements

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6390783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150