JP6425393B2 - Prediction system, prediction method, and prediction program - Google Patents
Prediction system, prediction method, and prediction program Download PDFInfo
- Publication number
- JP6425393B2 JP6425393B2 JP2014050193A JP2014050193A JP6425393B2 JP 6425393 B2 JP6425393 B2 JP 6425393B2 JP 2014050193 A JP2014050193 A JP 2014050193A JP 2014050193 A JP2014050193 A JP 2014050193A JP 6425393 B2 JP6425393 B2 JP 6425393B2
- Authority
- JP
- Japan
- Prior art keywords
- intake
- subject
- biological signal
- machine learning
- swallowing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000009747 swallowing Effects 0.000 claims description 62
- 238000010801 machine learning Methods 0.000 claims description 53
- 230000003595 spectral effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 26
- 230000009466 transformation Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 230000035622 drinking Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 235000012054 meals Nutrition 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 235000013305 food Nutrition 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明の一側面は、機械学習を用いて被観察者の生活行動を推定する予測システム、予測方法、および予測プログラムに関する。 One aspect of the present invention relates to a prediction system, a prediction method, and a prediction program that use machine learning to estimate the living behavior of the subject.
飲食は人の生活行動の中でも最も重要なものの一つであり、健康管理においても重要視される。例えば、看護または介護の場面では、患者または被介護者の食事の管理を欠かすことはできない。従来から、そのような食事の管理を支援する技術が知られている。例えば下記特許文献１には、ユーザから計測される情報に基づき該ユーザが食事をしていることを検知する生活管理端末装置と、食事の開始又は終了が検知された時に、検知後の所定の時間の後に該ユーザに食事内容を問い合わせる手段と、問い合わせに対する該ユーザからの回答を取得する手段とを備える生活管理システムが記載されている。 Eating and drinking is one of the most important things in people's daily life, and it is also important in health management. For example, in the nursing or care setting, managing the diet of the patient or the cared person is essential. Conventionally, techniques for supporting management of such meals are known. For example, according to Patent Document 1 below, there is a life management terminal for detecting that the user is eating based on information measured by the user, and a predetermined after detection when the start or end of the eating is detected. A lifestyle management system is described which comprises means for inquiring the user of the meal content after time and means for obtaining an answer from the user to the inquiry.
食事の管理においては、飲物または食物を摂取したかどうかだけでなく、その摂取量を把握することも必要であるが、その摂取量を観察するのは容易なことではない。一人の一回の食事での摂取量を把握するだけでも大変であり、まして、複数の（何人かのまたは多数の）患者または被介護者を世話する病院または介護施設で各人の食事の摂取量を把握することは非常に困難である。そこで、被観察者の摂取量を容易に把握することが望まれている。 In managing food, it is necessary not only to know whether a drink or food has been taken, but also to understand its intake, but it is not easy to observe its intake. Even knowing the intake of one person's single meal is difficult, let's say, the intake of each person's meal at the hospital or care facility that cares for multiple (several or many) patients or carers It is very difficult to grasp the quantity. Therefore, it is desirable to easily grasp the intake of the subject.
本発明の一側面に係る予測システムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部とを備える。 The prediction system according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. And a unit.
本発明の一側面に係る予測方法は、プロセッサを備える予測システムにより実行される予測方法であって、被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定ステップと、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定ステップと、推定された摂取量を出力する出力ステップとを含む。 The prediction method according to an aspect of the present invention is a prediction method executed by a prediction system including a processor, which includes an acquisition step of acquiring a biological signal generated by the swallowing motion of the subject, and a first conversion from the biological signal. A determination step of determining whether the subject has taken an intake by performing data generation and first machine learning using the first conversion data as an explanatory variable; If it is determined that the second transformation data has been determined, the second transformation data is generated from the biological signal, and the second machine learning is performed using the second transformation data as an explanatory variable, whereby the intake amount of the intake of the subject is obtained. The estimation step includes estimation, and an output step of outputting the estimated intake.
本発明の一側面に係る予測プログラムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部としてコンピュータを機能させる。 The prediction program according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. Make the computer function as a part.
このような側面においては、まず、被観察者の嚥下運動で発生した生体信号に基づく第１の機械学習をすることで摂取の有無が判定される。そして、被観察者が摂取したと判定された場合には、その生体信号に基づく第２の機械学習により摂取量が推定される。このように、嚥下運動で発生した生体信号に対して機械学習を実行することで、被観察者の摂取量を容易に把握することができる。 In such an aspect, first, the presence or absence of intake is determined by performing the first machine learning based on the biological signal generated by the swallowing motion of the subject. Then, if it is determined that the subject has taken it, the intake is estimated by the second machine learning based on the biological signal. As described above, by performing machine learning on the biological signal generated by the swallowing movement, it is possible to easily grasp the intake of the subject.
本発明の一側面によれば、被観察者の摂取量を容易に把握することができる。 According to one aspect of the present invention, the intake of the subject can be easily grasped.
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. In the description of the drawings, the same or equivalent elements will be denoted by the same reference symbols, without redundant description.
まず、図１〜７を用いて、実施形態に係る予測システム１０の機能および構成を説明する。予測システム１０は、機械学習を用いて被観察者の経口摂取に関する推定を実行するコンピュータシステムである。 First, the functions and configuration of the prediction system 10 according to the embodiment will be described using FIGS. The prediction system 10 is a computer system that uses machine learning to perform estimation regarding the oral intake of the subject.
機械学習とは、既知の値の集合であるトレーニングデータを学習することでパターン関数を生成し、そのパターン関数を用いて未知の値を予測する処理である。予測システム１０が用いる機械学習の種類は限定されない。機械学習の例として、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木学習、相関ルール学習、ベイジアンネットワークなどが挙げられるが、これ以外のアルゴリズムでもよい。 Machine learning is a process of generating a pattern function by learning training data which is a set of known values, and predicting an unknown value using the pattern function. The type of machine learning used by the prediction system 10 is not limited. Examples of machine learning include artificial neural networks (ANN), support vector machines (SVM), decision tree learning, correlation rule learning, Bayesian networks, etc., but other algorithms may be used.
本明細書における「被観察者」とは、摂取物の摂取を観察する対象となる人である。性別や年齢などに関係なく、被観察者は誰でもよい。本明細書における「摂取物」とは任意の飲物または食物であり、その種類は何ら限定されるものではない。本明細書における「摂取」とは、摂取物を口から取り込み、必要であればその摂取物を咀嚼し、そしてその摂取物を胃に流す行為である（すなわち、経口摂取）。 The "subject" in the present specification is a person who is a target to observe intake of an intake. Any person may be observed regardless of gender or age. The term "intake" as used herein refers to any drink or food, and the type is not limited in any way. As used herein, "intake" is the act of taking the ingestible through the mouth, decimating the ingestible if necessary, and flushing the ingestible into the stomach (ie, oral ingestion).
図１に、予測システム１０を用いた摂取の推定の概要を示す。まず、被観察者の嚥下運動で発生する生体信号のデータが収集される（ステップＳ１）。続いて、その生体信号に基づく第１の機械学習により摂取の有無が判定される（ステップＳ２）。続いて、その生体信号が分割され（ステップＳ３）、分割後の個々の信号に基づく一口摂取量が第２の機械学習を用いて推定される（ステップＳ４）。そして、個々の一口摂取量から所望の合計摂取量が算出される（ステップＳ５）。 An overview of intake estimation using the prediction system 10 is shown in FIG. First, data of biological signals generated by the swallowing movement of the subject is collected (step S1). Subsequently, the presence or absence of intake is determined by first machine learning based on the biological signal (step S2). Subsequently, the biological signal is divided (step S3), and a single bite intake based on each divided signal is estimated using the second machine learning (step S4). Then, a desired total intake amount is calculated from the individual bite intake amounts (step S5).
ここで、嚥下運動とは、摂取物が口に取り込まれてから胃に至るまでの過程で被観察者の身体で発生する運動である。例えば、咀嚼および飲み込みは嚥下運動の一種である。本明細書における「嚥下運動で発生する生体信号」とは、嚥下運動時に被観察者の身体で生じる信号である。信号の具体例としては音（嚥下音）、振動、筋活動時の電位変化（筋電）などが挙げられるが、信号の種類はこれらに限定されない。 Here, the swallowing exercise is an exercise that occurs in the body of the subject in the process from the intake of the intake into the mouth to the stomach. For example, chewing and swallowing are a type of swallowing exercise. The “biosignal generated in the swallowing movement” in the present specification is a signal generated in the body of the subject during the swallowing movement. Specific examples of the signal include sound (depression sound), vibration, potential change during muscle activity (myoelectricity), and the like, but the type of signal is not limited to these.
生体信号は被観察者に装着されたセンサにより検知され、生体信号データとしてデータベースに蓄積される（生体信号データの収集）。生体信号センサは生体信号を検知する装置である。上記の通り生体信号の種類は限定されないから、その信号を捕捉するセンサの種類も限定されない。センサは、被観察者に装着されてもよいし（いわゆる、ウェアラブルセンサ（ｗｅａｒａｂｌｅ ｓｅｎｓｏｒ））、室内の任意の場所に設けられてもよい。一例として、嚥下音を捉えるのであればスロートマイク（ｔｈｒｏａｔ ｍｉｃｒｏｐｈｏｎｅ）をセンサとして用いることが考えられるが、このマイクはウェアラブルセンサの一態様である。ウェアラブルセンサを用いた場合には、被観察者の行動を制限することなく（例えば、飲食の場所および時間を制限することなく）生体信号を収集することが可能である。 The biological signal is detected by a sensor attached to the subject, and stored in the database as biological signal data (collection of biological signal data). The biological signal sensor is a device that detects a biological signal. As described above, since the type of biological signal is not limited, the type of sensor that captures the signal is also not limited. The sensor may be attached to the subject (a so-called wearable sensor) or may be provided anywhere in the room. As an example, it is conceivable to use a throat microphone as a sensor if it captures swallowing sound, but this microphone is an aspect of a wearable sensor. When wearable sensors are used, it is possible to collect biosignals without restricting the behavior of the subject (for example, without restricting the place and time of eating and drinking).
「一口摂取量」とは、一回の飲み込みにより口から胃に取り込まれる摂取物の量であり、言い換えると、一回の嚥下により取り込まれる摂取物の量である。量の種類は限定されず、それは体積、質量、重量、熱量でもよいし、これ以外の量でもよい。合計摂取量は任意の期間における一口摂取量の集計値であり、例えば一回の食事における摂取量でもよいし、一日における摂取量でもよい。 "Bite intake" is the amount of intake taken into the stomach from the mouth in a single swallow, in other words, the amount of intake taken in one swallow. The type of amount is not limited, and it may be volume, mass, weight, heat, or any other amount. The total intake amount is a total value of a single intake amount in any period, and may be, for example, an intake amount in one meal or an intake amount in one day.
所望の合計摂取量は、様々な目的で用いられる情報となり得る。例えば、その合計摂取量から被観察者の摂取状況を把握できるし、その情報をその被観察者の健康管理や今後の食事の計画などに生かすこともできる。 The desired total intake can be information used for various purposes. For example, the intake status of the subject can be grasped from the total intake, and the information can be used for health management of the subject, planning of future meals, and the like.
予測システム１０は１台以上のコンピュータを備え、複数台のコンピュータを備える場合には、後述する予測システム１０の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ（ＰＣ）を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせて予測システム１０を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。 When the prediction system 10 includes one or more computers and a plurality of computers, each functional element of the prediction system 10 described later is realized by distributed processing. The type of individual computer is not limited. For example, a stationary or portable personal computer (PC) may be used, or a workstation may be used, or a mobile terminal such as a high-performance mobile phone (smart phone), a mobile phone, or a personal digital assistant (PDA). May be used. Alternatively, various types of computers may be combined to construct the prediction system 10. When using a plurality of computers, these computers are connected via a communication network such as the Internet or an intranet.
予測システム１０内の個々のコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびモニタを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。 The general hardware configuration of the individual computers 100 in the prediction system 10 is shown in FIG. The computer 100 includes a CPU (processor) 101 that executes an operating system, application programs, and the like, a main storage unit 102 configured by a ROM and a RAM, an auxiliary storage unit 103 configured by a hard disk and a flash memory, and the like. The communication control unit 104 includes a card or a wireless communication module, an input device 105 such as a keyboard or a mouse, and an output device 106 such as a display or a printer. Of course, the hardware modules mounted differ depending on the type of computer 100. For example, while stationary PCs and workstations often include a keyboard, a mouse, and a monitor as input devices and output devices, in a smartphone, a touch panel often functions as the input devices and output devices.
後述する予測システム１０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。 Each functional element of the prediction system 10 to be described later reads predetermined software on the CPU 101 or the main storage unit 102, and operates the communication control unit 104, the input device 105, the output device 106, etc. under the control of the CPU 101, This is realized by reading and writing data in the main storage unit 102 or the auxiliary storage unit 103. Data and databases necessary for processing are stored in the main storage unit 102 or the auxiliary storage unit 103.
予測システム１０は生体信号データを得るためにデータベース２０にアクセスする、このデータベース２０は、生体信号データを記憶する装置または機能要素である。データベース２０の実装方法は限定されない。例えば、データベース２０は予測システム１０内にあってもよいし、予測システム１０とは別のシステム内に存在してもよい。また、データベース２０は関係データベースでもよいしＣＳＶファイルでもよい。生体信号データをデータベース２０に蓄積する方法は限定されない。例えばセンサＳがデータベース２０と直接通信して生体信号データをデータベース２０に格納してもよいし、別のコンピュータがセンサＳから生体信号データを収集して、その生体信号データをデータベース２０に格納してもよい。 The prediction system 10 accesses a database 20 to obtain biosignal data, which is an apparatus or functional element that stores biosignal data. The implementation method of the database 20 is not limited. For example, database 20 may be in prediction system 10 or may be in a separate system from prediction system 10. Also, the database 20 may be a relational database or a CSV file. The method of accumulating the biosignal data in the database 20 is not limited. For example, the sensor S may communicate directly with the database 20 and store the biosignal data in the database 20, or another computer collects the biosignal data from the sensor S and stores the biosignal data in the database 20 May be
図３に示すように、予測システム１０は機能的構成要素として取得部１１、判定部１２、推定部１３、および出力部１４を備える。以下では、生体信号が嚥下音であり、予測システム１０がその嚥下音から被観察者の水分摂取量を推定する場合の処理を例として示す。ここで、水分摂取量とは、被観察者が飲物（例えば、水）を摂取した量である。 As shown in FIG. 3, the prediction system 10 includes an acquisition unit 11, a determination unit 12, an estimation unit 13, and an output unit 14 as functional components. Below, a biological signal is swallowing sound and the process in case the prediction system 10 estimates the water intake of a to-be-observed person from the swallowing sound is shown as an example. Here, the amount of water intake is the amount of intake of a drink (for example, water) by the subject.
取得部１１は、被観察者の嚥下運動で発生する生体信号を取得する機能要素である。一般に、生体信号は何らかの時間幅（例えば、１秒、１分、１時間など）において継続的に収集され、波として表すことができる（図１参照）。生体信号は、被観察者Ｕに装着されたセンサ（例えば、スロートマイク）Ｓにより検知され、生体信号データとしてデータベース２０に蓄積される。取得部１１はその生体信号データをデータベース２０から読み出して判定部１２に出力する。ある被観察者について取得部１１が取得する生体信号データの時間幅は何ら限定されない。例えば、その時間幅は３０秒、１分、１０分、３０分、１時間、または２時間でもよい。 The acquisition unit 11 is a functional element that acquires a biological signal generated by the swallowing motion of the subject. In general, biosignals are collected continuously over some time span (eg, 1 second, 1 minute, 1 hour, etc.) and can be represented as waves (see FIG. 1). The biological signal is detected by a sensor (for example, a throat microphone) S mounted on the subject U, and is stored in the database 20 as biological signal data. The acquisition unit 11 reads the biological signal data from the database 20 and outputs the data to the determination unit 12. The time width of the biological signal data acquired by the acquisition unit 11 for a certain subject is not limited at all. For example, the time width may be 30 seconds, 1 minute, 10 minutes, 30 minutes, 1 hour, or 2 hours.
判定部１２は、被観察者が摂取物（飲物）を摂取したか否かを推定する機能要素である。判定部１２は生体信号データに対して第１の変換を実行することで第１変換データを生成する。そして、判定部１２はその第１変換データに対して第１の機械学習を実行することで、被観察者が摂取物（飲物）を摂取したか否かを推定する。摂取の有無を判定するために用いるデータ変換方法および機械学習は何ら限定されるものではない。本実施形態では、判定部１２はデータ変換方法して高速フーリエ変換（ＦＦＴ）を用い、機械学習として、ＳＶＭを分類に対応させたサポートベクター分類（ＳＶＣ）を用いる。 The determination unit 12 is a functional element that estimates whether the subject has ingested an intake (drink). The determination unit 12 generates the first conversion data by performing the first conversion on the biological signal data. Then, the determination unit 12 executes the first machine learning on the first conversion data to estimate whether the subject has ingested the intake (drink). The data conversion method and machine learning used to determine the presence or absence of intake are not limited at all. In this embodiment, the determination unit 12 uses fast Fourier transform (FFT) as a data conversion method, and uses support vector classification (SVC) in which SVM corresponds to classification as machine learning.
判定部１２は生体信号データに対して高速フーリエ変換（ＦＦＴ）を実行することで、嚥下音のパワースペクトル密度（ＰＳＤ）を第１変換データとして得る。続いて、判定部１２はそのパワースペクトル密度を説明変数として用いるＳＶＣを実行することで、入力された生体信号データが「飲む」という行為を示すか否かを判定する。 The determination unit 12 performs fast Fourier transform (FFT) on the biological signal data to obtain the power spectral density (PSD) of the swallowing sound as first converted data. Subsequently, the determination unit 12 executes SVC using the power spectral density as an explanatory variable to determine whether the input biological signal data indicates an action of "drink".
嚥下音のデータから得られるパワースペクトル密度は、喉を使う様々な行動の特徴を示す。図４は、「飲む」「食べる」「咳」「呼吸」「話す」「唾（を飲む）」の６種類についてのパワースペクトル密度を示す。図４における各グラフの縦軸および横軸はそれぞれ強さおよび周波数である。これらのグラフからわかるように、各行為のパワースペクトル密度には、他の行為とは異なる特徴が現れていることがわかる。 The power spectral density obtained from swallowing sound data is characteristic of various behaviors using the throat. FIG. 4 shows power spectral densities for six types of “drink”, “eat”, “cough”, “breath”, “speak” and “spit”. The vertical and horizontal axes of each graph in FIG. 4 are intensity and frequency, respectively. As can be seen from these graphs, it can be seen that the power spectrum density of each action has features different from those of the other actions.
センサＳを用いて収集した生体信号データがすべて「飲む」行為によって発生したものとは限らず、人が生活するうえで必要な他の行為によって発生した生体信号データが存在する可能性がある。そこで、水分摂取量を推定する前段階の処理として、判定部１２はＳＶＣによりそのパワースペクトル密度を解析することで、入力された生体信号データが「飲む」という行為を示すか「飲む」以外の行為を示すかを判定する。そして、生体信号データが「飲む」という行為を示すと判定した場合（すなわち、被観察者が飲物を飲んだと判定した場合）には、推定部１３はその生体信号データを推定部１３に出力する。一方、生体信号データが「飲む」以外の行為を示すと判定した場合（すなわち、被観察者が飲物を飲んでいないと判定した場合）には、推定部１３はその生体信号データを推定部１３に出力することなく処理を終了し、この場合には、後述する推定部１３および出力部１４の処理は実行されない。 Not all the biosignal data collected using the sensor S is generated by the "drink" action, but there is a possibility that there is biosignal data generated by another action necessary for a person to live. Therefore, as processing prior to estimating the water intake, the determination unit 12 analyzes the power spectral density with SVC, and the input biological signal data indicates an act of "drinking" or "other than drinking" Determine whether to indicate an act. Then, when it is determined that the biosignal data indicates the act of "drinking" (that is, when it is determined that the subject drinks the drink), the estimation unit 13 outputs the biosignal data to the estimation unit 13. Do. On the other hand, when it is determined that the biosignal data indicates an action other than "drink" (that is, when it is determined that the subject is not drinking a drink), the estimation unit 13 estimates the biosignal data. In this case, the processing of the estimation unit 13 and the output unit 14 described later is not performed.
ＦＦＴにより得られたパワースペクトル密度の周波数特性として所定の個数（例えば２５５個）の説明変数が得られる。判定部１２はそのすべての説明変数を用いてもよいし、推定に必要な一部の説明変数のみを用いてもよい。すべての説明変数が判定の精度の向上に貢献するとは限らないので、必要な説明変数のみを選択した上でＳＶＣを実行することで、判定の精度を上げることができ、計算時間の短縮も期待できる。説明変数を選択する手法として増加法と減少法の２種類がある。 A predetermined number (for example, 255) of explanatory variables can be obtained as frequency characteristics of power spectral density obtained by FFT. The determination unit 12 may use all of the explanatory variables or may use only some of the explanatory variables necessary for estimation. Since all explanatory variables do not necessarily contribute to the improvement of the accuracy of judgment, it is possible to improve the accuracy of judgment by executing SVC after selecting only the necessary explanatory variables, and it is also expected to reduce the calculation time. it can. There are two types of methods for selecting the explanatory variable, an increase method and a decrease method.
増加法は、説明変数が０個のモデルから処理を始め、目的変数に対して相関値Ｘが最も高い説明変数を一つずつ追加していく手法である。この手法では、機械学習に使用する説明変数群Ａの初期値は空（ｎｕｌｌ）であり、機械学習に使用しない説明変数群Ｂの初期値は、Ｎ個（例えば、Ｎ＝２５５）の説明変数である。 The increase method is a method in which processing is started from a model with zero explanatory variables, and one explanatory variable with the highest correlation value X is added to the target variable one by one. In this method, the initial value of the explanatory variable group A used for machine learning is null, and the initial value of the explanatory variable group B not used for machine learning is N (for example, N = 255) of explanatory variables. It is.
まず、判定部１２は説明変数群Ｂ内の個々の説明変数について、目的変数に対する相関値Ｘを求め、相関値Ｘが最も高い説明変数を説明変数群Ｂから説明変数群Ａに移す。続いて、判定部１２はその説明変数群Ａで回帰分析を行うことで、各説明変数の推定係数を確認する。そして、すべての説明変数について推定係数の絶対値Ｙが１以上である場合には、判定部１２は、相関値Ｘが最も高い説明変数を説明変数群Ａに移す処理に戻って、以降の処理を繰り返す。一方、推定係数の絶対値Ｙが１を下回る説明変数が出現した場合には、判定部１２は最後に追加した説明変数を除いた後の説明変数群Ａを用いて機械学習を実行する。 First, the determination unit 12 obtains the correlation value X with respect to the objective variable for each explanatory variable in the explanatory variable group B, and transfers the explanatory variable with the highest correlation value X from the explanatory variable group B to the explanatory variable group A. Subsequently, the determination unit 12 performs regression analysis on the explanatory variable group A to confirm estimated coefficients of the respective explanatory variables. Then, when the absolute value Y of the estimation coefficient is 1 or more for all explanatory variables, the determination unit 12 returns to the process of transferring the explanatory variable having the highest correlation value X to the explanatory variable group A, and the subsequent process. repeat. On the other hand, when an explanatory variable whose absolute value Y of the estimation coefficient falls below 1 appears, the determination unit 12 executes machine learning using the explanatory variable group A after the explanatory variable added last is removed.
一方、減少法は、すべての説明変数を採用するモデルから処理を始め、目的変数に対して相関値Ｘが最も低い説明変数を一つずつ除いていく手法である。この手法では、判定部１２は機械学習に使用する説明変数群Ａの初期値はＮ個（例えば、Ｎ＝２５５）の説明変数であり、機械学習に使用しない説明変数群Ｂの初期値は空（ｎｕｌｌ）である。 On the other hand, the reduction method is a method in which processing is started from a model adopting all explanatory variables, and one explanatory variable with the lowest correlation value X with respect to the target variable is removed one by one. In this method, the determination unit 12 determines that N initial values of the explanatory variable group A used for machine learning are N (for example, N = 255) and the initial values of the explanatory variable group B not used for machine learning are empty. (Null)
本実施形態では、まず、説明変数群Ａ内の説明変数の個数をＮからＮａに減らす（例えば、２５５個から１５個に減らす）。このために、判定部１２は、説明変数群Ａの個々の説明変数について、目的変数に対する相関値Ｘを求め、相関値Ｘが最も低い説明変数を説明変数群Ａから説明変数群Ｂに移す。判定部１２はこの移動処理を、説明変数群Ａ内の説明変数の個数がＮａになるまで繰り返す。 In the present embodiment, first, the number of explanatory variables in the explanatory variable group A is reduced from N to Na (for example, reduced from 255 to 15). For this purpose, the determination unit 12 obtains the correlation value X with respect to the objective variable for each explanatory variable of the explanatory variable group A, and transfers the explanatory variable with the lowest correlation value X from the explanatory variable group A to the explanatory variable group B. The determination unit 12 repeats this movement process until the number of explanatory variables in the explanatory variable group A becomes Na.
続いて、判定部１２は説明変数群Ａで回帰分析を行うことで、各説明変数の推定係数を確認する。そして、すべての説明変数について推定係数の絶対値Ｙが１以上である場合には、判定部１２はその説明変数群Ａを用いて機械学習を実行する。一方、推定係数の絶対値Ｙが１を下回る説明変数が出現した場合には、判定部１２は相関値Ｘが最も低い説明変数を説明変数群Ｂに移して、回帰分析以降の処理を繰り返す。 Subsequently, the determination unit 12 performs regression analysis with the explanatory variable group A to confirm estimated coefficients of the respective explanatory variables. Then, when the absolute value Y of the estimation coefficient is 1 or more for all explanatory variables, the determination unit 12 executes machine learning using the explanatory variable group A. On the other hand, when an explanatory variable in which the absolute value Y of the estimation coefficient falls below 1 appears, the determination unit 12 transfers the explanatory variable with the lowest correlation value X to the explanatory variable group B, and repeats the processing after the regression analysis.
推定部１３は、被観察者の摂取物の摂取量を推定する機能要素である。推定部１３は生体信号データに対して第２の変換を実行することで第２変換データを生成する。そして、推定部１３はその第２変換データに対して第２の機械学習を実行することで摂取量を推定する。摂取量を推定するために用いるデータ変換方法および機械学習は何ら限定されるものではない。本実施形態では、推定部１３はデータ変換方法して振幅ヒストグラムを用い、機械学習としてＳＶＣを用いる。第２変換データは、時間の経過と共に変化する値についての特性（すなわち、時間特性）を示すデータであり、振幅ヒストグラムはその時間特性を示すデータの一種である。生体信号データにおいて隣り合う波の変化量についての特性を示すデータも時間特性を示すデータの一種であるので、振幅ヒストグラムに代えて、当該変化量の特性を示すデータを用いてもよい。推定部１３での機械学習の他の例としては、ＳＶＭを回帰に対応させたサポートベクター回帰（ＳＶＲ）などが挙げられる。 The estimation unit 13 is a functional element that estimates the intake of the intake of the subject. The estimation unit 13 generates second conversion data by performing the second conversion on the biological signal data. Then, the estimation unit 13 estimates the intake amount by executing the second machine learning on the second conversion data. The data conversion method and machine learning used to estimate the intake amount are not limited at all. In the present embodiment, the estimation unit 13 uses the amplitude histogram as a data conversion method, and uses SVC as machine learning. The second conversion data is data indicating characteristics (ie, time characteristics) of values that change with the passage of time, and the amplitude histogram is a type of data indicating the time characteristics. Since data indicating characteristics of the amount of change of adjacent waves in the biological signal data is also one type of data indicating time characteristics, data indicating the characteristics of the amount of change may be used instead of the amplitude histogram. Another example of the machine learning in the estimation unit 13 is support vector regression (SVR) in which SVM corresponds to regression.
まず、推定部１３は生体信号データで示される時間区間を嚥下区間とノイズ区間とに分割することで１以上の嚥下区間を特定する。ここで、嚥下区間とは、一回の嚥下を示すと推定される区間であり、ノイズ区間とは、嚥下が発生していないと推定される区間である。この処理のために、推定部１３は、ノイズ区間におけるセンサＳの音圧レベルの最大値Ｖと、ノイズ区間の継続時間の最小値Ｔとを予め閾値として保持している。なお、これらの閾値Ｖ，Ｔは予測システム１０の管理者により予め設定される。推定部１３は、生体信号データにおいて、閾値Ｖ未満の波形が閾値Ｔ以上連続して続く区間をノイズ区間であると判定し、そのノイズ区間を除外した後に残る１以上の区間を嚥下区間と判定する。例えば、推定部１３は図５に示すように、生体信号データを１以上の嚥下区間ｔｄと１以上のノイズ区間ｔｎとに分ける。 First, the estimation unit 13 specifies one or more swallowing intervals by dividing a time interval indicated by the biological signal data into a swallowing interval and a noise interval. Here, the swallowing section is a section estimated to indicate one swallowing, and the noise section is a section estimated that no swallowing has occurred. For this process, the estimation unit 13 holds in advance the maximum value V of the sound pressure level of the sensor S in the noise section and the minimum value T of the duration of the noise section as a threshold. These threshold values V and T are set in advance by the manager of the prediction system 10. The estimation unit 13 determines that a section in which a waveform less than the threshold V continuously continues for the threshold T or more in the biological signal data is a noise section, and determines one or more sections remaining after excluding the noise section as a swallowing section Do. For example, as illustrated in FIG. 5, the estimation unit 13 divides the biosignal data into one or more swallowing intervals td and one or more noise intervals tn.
続いて、推定部１３は個々の嚥下区間における一口摂取量を推定する。本実施形態のようにＳＶＣを用いる場合には、推定部１３は一口摂取量についてｎ個の分類Ｃ１〜Ｃｎを予め用意しておき、個々の嚥下区間における一口摂取量がＣ１〜Ｃｎのどれに相当するかを推定する。例えば、一口摂取量の分類として５ｍｌ，１０ｍｌ，１５ｍｌ，２０ｍｌという４種類を用意してもよい。または、推定部１３はＳＶＣとＳＶＲとを組み合わせて一口摂取量を推定してもよい。具体的には、推定部１３はまず推定する範囲をＳＶＣで絞り込んでから、ＳＶＲを用いて一口摂取量をより詳細に推定してもよい。例えば、ＳＶＣで推定された一口摂取量が１５ｍｌである場合は、推定部１３は１５ｍｌ±５ｍｌの範囲でＳＶＲにより一口摂取量を推定する。推定部１３は各嚥下区間について以下の処理を実行する。 Subsequently, the estimation unit 13 estimates bite intake in each swallowing interval. When SVC is used as in the present embodiment, the estimation unit 13 prepares n classes C 1 to C n in advance for a single intake amount, and the single intake amount in each swallowing interval is C 1 to C. It is estimated which n corresponds to. For example, four types of 5 ml, 10 ml, 15 ml and 20 ml may be prepared as classification of bite intake. Alternatively, the estimation unit 13 may estimate the bite intake by combining SVC and SVR. Specifically, the estimation unit 13 may first narrow down the estimation range with SVC and then estimate the bite intake in more detail using SVR. For example, when the bite intake estimated by SVC is 15 ml, the estimation unit 13 estimates the bite intake by SVR in the range of 15 ml ± 5 ml. The estimation unit 13 executes the following processing for each swallowing section.
推定部１３は、図６に示すように、嚥下区間における音圧レベルの範囲のうち、ノイズと推定される部分（例えば、音圧レベルが上記の閾値Ｖ未満の部分）ｖｎを無視し、それ以外の部分（例えば、音圧レベルが上記の閾値Ｖ以上の部分）ｖｄを複数に均等に区切る。なお、嚥下区間内でノイズ部分とそれ以外の部分とを区切るための閾値は、生体信号データを嚥下区間とノイズ区間とに分けるための閾値と異なってもよい。音圧レベルの区切り位置の個数は任意であり、例えば１００個でも２００個でもよい。図６の例では、正の音圧レベルに対応する部分ｖｄにおいて２００個の区切り位置（ｃ０〜ｃ１９９）を設定している。続いて、推定部１３は各区切り位置（図６ではｃ０〜ｃ１９９）を音圧レベルの波が何回通ったかを数えることで（すなわち、通過回数を数えることで）、振幅ヒストグラムを生成する。 As illustrated in FIG. 6, the estimation unit 13 ignores a portion estimated to be noise (for example, a portion whose sound pressure level is less than the above-mentioned threshold V) vn in the sound pressure level range in the swallowing interval The other part (for example, the part where the sound pressure level is the above-mentioned threshold V or more) vd is equally divided into a plurality. The threshold for dividing the noise part and the other part in the swallowing section may be different from the threshold for dividing the biological signal data into the swallowing section and the noise section. The number of sound pressure level break positions is arbitrary, and may be 100 or 200, for example. In the example of FIG. 6, 200 division positions (c0 to c199) are set in the portion vd corresponding to the positive sound pressure level. Subsequently, the estimation unit 13 generates an amplitude histogram by counting how many times the wave of the sound pressure level has passed through each segment position (c0 to c199 in FIG. 6) (that is, counting the number of passes).
嚥下音のデータから得られる振幅スペクトルは一口摂取量の特徴を示す。図７は、５ｍｌ，１０ｍｌ，１５ｍｌ，２０ｍｌの４種類についての振幅スペクトルを示す。図７のグラフの縦軸および横軸はそれぞれ通過回数および区切り位置である。一口摂取量が大きくなるほど、音圧レベルの特定の位置（例えば図７における位置Ｒを参照）における通過回数が多くなることがわかる。したがって、この振幅ヒストグラムから一口摂取量を推定することが可能である。推定部１３はその振幅ヒストグラムを説明変数としてＳＶＣを実行することで、処理対象の嚥下区間における一口摂取量を推定する。 The amplitude spectrum obtained from the swallowing sound data is characteristic of bite intake. FIG. 7 shows amplitude spectra for four types of 5 ml, 10 ml, 15 ml and 20 ml. The vertical axis and the horizontal axis of the graph of FIG. It can be seen that the greater the bite intake, the greater the number of passes at a particular location of the sound pressure level (see, for example, location R in FIG. 7). Therefore, it is possible to estimate bite intake from this amplitude histogram. The estimation unit 13 estimates the bite intake in the swallowing section to be processed by executing SVC with the amplitude histogram as an explanatory variable.
推定部１３は、一口摂取量を推定する際にすべての区切り位置（図６，７ではｃ０〜ｃ１９９）の通過回数を用いなくてもよく、推定処理に必要な一部の区切り位置のみを用いてもよい。図７の例では、一口摂取量の特性はおおよそ区切り位置ｃ０〜ｃ４０の範囲にわたって顕著に表れ、ｃ４０を超える範囲になると通過回数は一口摂取量にかかわらずほとんど０になって、一口摂取量による区別がつかなくなる。したがって、推定部１３は分類に貢献する一部の範囲（例えば、ｃ０〜ｃ４０）の通過回数のみを用いてＳＶＣによる推定を実行してもよい。このように推定に用いる振幅ヒストグラムの範囲を限定することで計算量が減るので、推定処理をより高速に実行することができる。 The estimation unit 13 does not have to use the number of times of passage of all the break positions (c0 to c199 in FIGS. 6 and 7) when estimating the bite intake amount, and uses only some break positions necessary for the estimation process. May be In the example of FIG. 7, the characteristics of single-mouthed intake appear prominently over the range of dividing positions c0 to c40, and the number of times of passing becomes almost 0 regardless of single-mouthed intake in the range exceeding c40. I can not distinguish. Therefore, the estimation unit 13 may perform the SVC estimation using only the number of passes of a partial range (for example, c0 to c40) contributing to the classification. Since the amount of calculation is reduced by limiting the range of the amplitude histogram used for estimation in this manner, estimation processing can be performed faster.
すべての嚥下区間について一口摂取量を推定すると、推定部１３はその推定結果を出力部１４に出力する。 When the bite intake amount is estimated for all the swallowing sections, the estimation unit 13 outputs the estimation result to the output unit 14.
出力部１４は、推定された摂取量を推定結果２１として出力する機能要素である。推定結果２１の出力先は何ら限定されない。例えば、出力部１４は推定結果２１をモニタ上に表示したりプリンタに印刷したりしてもよいし、推定結果２１をテキストファイルに書き出してもよいし、推定結果２１をメモリやデータベースなどの記憶装置に格納してもよい。あるいは、出力部１４は推定結果２１を通信ネットワーク経由で他のコンピュータシステム（例えば機械学習用のシステム）に出力してもよい。 The output unit 14 is a functional element that outputs the estimated intake as the estimation result 21. The output destination of the estimation result 21 is not limited at all. For example, the output unit 14 may display the estimation result 21 on a monitor or print it on a printer, may write the estimation result 21 in a text file, or store the estimation result 21 in a memory, a database, or the like. It may be stored in the device. Alternatively, the output unit 14 may output the estimation result 21 to another computer system (for example, a system for machine learning) via a communication network.
推定結果２１の内容および形式も限定されない。例えば、出力部１４は入力された各嚥下区間の一口摂取量を出力してもよいし、摂取量の集計値（例えば、一休憩当たり、一食当たり、または一日当たりの一口摂取量の集計値）を出力してもよい。例えば、５個の一口摂取量「５ｍｌ」「１５ｍｌ」「１０ｍｌ」「５ｍｌ」「１０ｍｌ」が入力された場合には、出力部１４は合計摂取量「４５ｍｌ」を推定結果２１として出力してもよい。あるいは、出力部１４は、各嚥下区間の一口摂取量と摂取量の集計値との双方を出力してもよい。 The content and format of the estimation result 21 are also not limited. For example, the output unit 14 may output the single intake amount of each swallowing section which has been input, or the total value of the intake amount (for example, the total value of the single oral intake per one meal per day or per day) ) May be output. For example, when five single bit intake amounts “5 ml”, “15 ml”, “10 ml”, “5 ml” and “10 ml” are input, the output unit 14 outputs the total intake amount “45 ml” as the estimation result 21 Good. Alternatively, the output unit 14 may output both a single-mouth intake of each swallowing section and the total value of the intake.
次に、図８を用いて、予測システム１０の動作を説明するとともに本実施形態に係る予測方法について説明する。 Next, the operation of the prediction system 10 will be described using FIG. 8 and the prediction method according to the present embodiment will be described.
まず、取得部１１が嚥下音を示す生体信号データをデータベース２０から読み出す（ステップＳ１１、取得ステップ）。続いて、判定部１２がその生体信号データに対して高速フーリエ変換（ＦＦＴ）を実行することで、嚥下音のパワースペクトル密度（ＰＳＤ）を生成する（ステップＳ１２）。続いて、判定部１２はそのパワースペクトル密度に対してＳＶＣを実行することで、被観察者による摂取（「飲む」行為）の有無を判定する（ステップＳ１３、判定ステップ）。 First, the acquisition unit 11 reads out biomedical signal data indicating swallowing noise from the database 20 (step S11, acquisition step). Subsequently, the determination unit 12 performs a fast Fourier transform (FFT) on the biological signal data to generate a power spectral density (PSD) of the swallowing sound (step S12). Subsequently, the determination unit 12 performs SVC on the power spectral density to determine the presence or absence of the intake ("drink" action) by the subject (step S13, determination step).
被観察者が「飲む」行為をしたと判定された場合には（ステップＳ１４；ＹＥＳ）、推定部１３が生体信号データを分割して１以上の嚥下区間を特定する（ステップＳ１５）。そして、推定部１３は各嚥下区間について、その嚥下区間のデータから振幅ヒストグラムを生成し（ステップＳ１６）、その振幅ヒストグラムに対してＳＶＣを実行することで一口摂取量を推定する（ステップＳ１７、推定ステップ）。推定部１３はすべての嚥下区間について振幅ヒストグラムの生成および一口摂取量の推定を実行する（ステップＳ１８参照）。最後に、出力部１４が摂取量の推定結果を出力する（ステップＳ１９、出力ステップ）。 If it is determined that the person to be observed has performed the action of “drinking” (step S14; YES), the estimation unit 13 divides the biological signal data to specify one or more swallowing sections (step S15). Then, for each swallowing section, the estimation unit 13 generates an amplitude histogram from the data of the swallowing section (step S16), and estimates the bite intake amount by executing SVC on the amplitude histogram (step S17, estimation) Step). The estimation unit 13 executes generation of an amplitude histogram and estimation of a single intake amount for all the swallowing intervals (see step S18). Finally, the output unit 14 outputs the estimation result of the intake (step S19, output step).
一方、被観察者が「飲む」行為をしなかったと判定された場合には（ステップＳ１４；ＮＯ）、予測システム１０は摂取量の推定を行うことなく、取得した生体信号データについての処理を終了する。 On the other hand, when it is determined that the subject did not perform the action of “drinking” (step S14; NO), the prediction system 10 ends the processing on the acquired biological signal data without performing the estimation of the intake amount. Do.
次に、図９を用いて、予測システム１０を実現するための予測プログラムＰ１を説明する。 Next, a prediction program P1 for realizing the prediction system 10 will be described with reference to FIG.
予測プログラムＰ１は、メインモジュールＰ１０、取得モジュールＰ１１、判定モジュールＰ１２、推定モジュールＰ１３、および出力モジュールＰ１４を備える。 The prediction program P1 includes a main module P10, an acquisition module P11, a determination module P12, an estimation module P13, and an output module P14.
メインモジュールＰ１０は、機械学習による予測機能を統括的に制御する部分である。取得モジュールＰ１１、判定モジュールＰ１２、推定モジュールＰ１３、および出力モジュールＰ１４を実行することにより実現される機能はそれぞれ、上記の取得部１１、判定部１２、推定部１３、および出力部１４の機能と同様である。 The main module P10 is a part that centrally controls the prediction function by machine learning. The functions realized by executing the acquisition module P11, the determination module P12, the estimation module P13, and the output module P14 are the same as the functions of the acquisition unit 11, the determination unit 12, the estimation unit 13, and the output unit 14 described above, respectively. It is.
予測プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、予測プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。 The prediction program P1 may be provided, for example, after being fixedly recorded on a tangible recording medium such as a CD-ROM, a DVD-ROM, or a semiconductor memory. In addition, the prediction program P1 may be provided via a communication network as a data signal superimposed on a carrier wave.
以上説明したように、本発明の一側面に係る予測システムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部とを備える。 As described above, the prediction system according to one aspect of the present invention generates the first conversion data from the biological signal and an acquisition unit that acquires the biological signal generated by the swallowing motion of the subject, and performs the first conversion. A determination unit that determines whether the subject has ingested an intake by performing first machine learning using data as an explanatory variable, and a living body when it is determined that the subject has ingested An estimation unit configured to generate second transformation data from the signal and execute second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject; And an output unit that outputs an intake amount.
本発明の一側面に係る予測方法は、プロセッサを備える予測システムにより実行される予測方法であって、被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定ステップと、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定ステップと、推定された摂取量を出力する出力ステップとを含む。 The prediction method according to an aspect of the present invention is a prediction method executed by a prediction system including a processor, which includes an acquisition step of acquiring a biological signal generated by the swallowing motion of the subject, and a first conversion from the biological signal. A determination step of determining whether the subject has taken an intake by performing data generation and first machine learning using the first conversion data as an explanatory variable; If it is determined that the second transformation data has been determined, the second transformation data is generated from the biological signal, and the second machine learning is performed using the second transformation data as an explanatory variable, whereby the intake amount of the intake of the subject is obtained. The estimation step includes estimation, and an output step of outputting the estimated intake.
本発明の一側面に係る予測プログラムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第１変換データを生成し、該第１変換データを説明変数とする第１の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第２変換データを生成し、該第２変換データを説明変数とする第２の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部としてコンピュータを機能させる。 The prediction program according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. Make the computer function as a part.
このような側面においては、まず、被観察者の嚥下運動で発生した生体信号に基づく第１の機械学習をすることで摂取の有無が判定される。そして、被観察者が摂取したと判定された場合には、その生体信号に基づく第２の機械学習により摂取量が推定される。このように、嚥下運動で発生した生体信号に対して機械学習を実行することで、被観察者の摂取量を容易に把握することができる。 In such an aspect, first, the presence or absence of intake is determined by performing the first machine learning based on the biological signal generated by the swallowing motion of the subject. Then, if it is determined that the subject has taken it, the intake is estimated by the second machine learning based on the biological signal. As described above, by performing machine learning on the biological signal generated by the swallowing movement, it is possible to easily grasp the intake of the subject.
例えば、予測システム１０は、複数の（何人かのまたは多数の）患者または被介護者を世話する病院または介護施設で各人の食事の摂取量を把握するために用いることができる。食事管理を含む健康管理は継続的に行う必要があるので、人手で行うと看護師および介護士に負担が掛かるだけでなく、記録の漏れまたはミスが生じる可能性がある。本実施形態によれば、嚥下運動で発生した生体信号から摂取の有無および摂取量が自動的に出力されるので、看護または介護の負担を減らしたり、摂取状態を確実に記録したりすることが可能になる。 For example, the prediction system 10 can be used to keep track of each person's food intake at a hospital or care facility that cares for multiple (some or many) patients or carers. As health management including diet management needs to be performed continuously, manual operation not only burdens nurses and carers, but it may lead to omissions or errors in records. According to the present embodiment, the presence or absence and the intake amount are automatically output from the biological signal generated by the swallowing exercise, so that the burden of nursing or nursing care can be reduced or the intake state can be reliably recorded. It will be possible.
他の側面に係る予測システムでは、推定部が生体信号を分割することで１以上の嚥下区間を推定し、各嚥下区間について摂取物の一口摂取量を推定し、出力部が、一口摂取量、および該一口摂取量の集計値の少なくとも一方を出力してもよい。このように生体信号を分割して一口毎の摂取量を推定することで、摂取量を正確に推定することができる。 In the prediction system according to the other aspect, the estimation unit estimates one or more swallowing segments by dividing the biological signal, estimates one intake amount of the ingested item for each swallowing interval, and the output unit includes a single intake amount, And at least one of the aggregate value of the bite intake may be output. By dividing the biosignal in this way and estimating the intake per bit, the intake can be estimated accurately.
他の側面に係る予測システムでは、第１変換データがパワースペクトル密度であり、第１の機械学習がサポートベクター分類であってもよい。 In a prediction system according to another aspect, the first transformation data may be power spectral density, and the first machine learning may be support vector classification.
他の側面に係る予測システムでは、第２変換データが振幅ヒストグラムであり、第２の機械学習がサポートベクター分類または、サポートベクター分類とサポートベクター回帰との組み合わせであってもよい。 In a prediction system according to another aspect, the second transformation data may be an amplitude histogram, and the second machine learning may be support vector classification or a combination of support vector classification and support vector regression.
他の側面に係る予測システムでは、生体信号が嚥下音であってもよい。嚥下音はスロートマイクなどのマイクにより簡単に検知できるので、被観察者に与える装着の不快感を抑えつつ嚥下運動を捉えることができる。 In the prediction system according to another aspect, the biological signal may be swallowing sound. Since the swallowing sound can be easily detected by a microphone such as a throat microphone, it is possible to capture the swallowing movement while suppressing the discomfort of wearing given to the subject.
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。 The present invention has been described above in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the scope of the invention.
上述した通り、第１および第２の機械学習の具体的な手法は限定されない。また、第１の機械学習と第２の機械学習とは同じでもよいし異なってもよい。 As described above, the specific techniques of the first and second machine learning are not limited. Also, the first machine learning and the second machine learning may be the same or different.
上記実施形態では推定部が生体信号を分割することで１以上の嚥下区間を推定し、各嚥下区間について一口摂取量を推定したが、生体信号を個々の嚥下区間に分割することは必須ではない。予測システムは、被観察者が摂取したと判定した場合に、このような分割処理を用いることなく所望の摂取量を推定してもよい。 In the above embodiment, the estimation unit estimates one or more swallowing segments by dividing the biological signal, and estimates a single bite intake amount for each swallowing segment, but dividing the biological signal into individual swallowing segments is not essential. . The prediction system may estimate a desired intake without using such division processing when it is determined that the subject has taken it.
１０…予測システム、１１…取得部、１２…判定部、１３…推定部、１４…出力部、２０…データベース、Ｐ１…予測プログラム、Ｐ１０…メインモジュール、Ｐ１１…取得モジュール、Ｐ１２…判定モジュール、Ｐ１３…推定モジュール、Ｐ１４…出力モジュール。 Reference Signs List 10 prediction system 11 acquisition unit 12 determination unit 13 estimation unit 14 output unit 20 database P1 prediction program P10 main module P11 acquisition module P12 determination module P13 ... estimation module, P14 ... output module.
Claims (8)
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第１の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定部と、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第２の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定部と、
推定された前記摂取量を出力する出力部と
を備える予測システム。 An acquisition unit for acquiring a biological signal generated by the swallowing motion of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination unit that determines whether the subject has ingested an intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification An estimation unit configured to estimate the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
And an output unit for outputting the estimated intake amount.
前記出力部が、前記一口摂取量、および該一口摂取量の集計値の少なくとも一方を出力する、
請求項１に記載の予測システム。 The estimation unit estimates one or more swallowing segments by dividing the biological signal, and estimates one intake amount of the ingested item for each swallowing segment,
The output unit outputs at least one of the bite intake amount and an aggregate value of the bite intake amount.
The prediction system according to claim 1.
請求項１または２に記載の予測システム。 It is before Symbol first machine learning support vector classification,
The prediction system according to claim 1 or 2.
請求項１〜３のいずれか一項に記載の予測システム。 Before Stories second machine learning support vector classification or a combination of a support vector classification and support vector regression,
The prediction system according to any one of claims 1 to 3.
請求項１〜４のいずれか一項に記載の予測システム。 The biomedical signal is swallowing sound,
The prediction system as described in any one of Claims 1-4.
請求項１〜５のいずれか一項に記載の予測システム。The prediction system according to any one of claims 1 to 5.
被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第１の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定ステップと、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第２の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定ステップと、
推定された前記摂取量を出力する出力ステップと
を含む予測方法。 A prediction method performed by a prediction system comprising a processor, comprising:
An acquisition step of acquiring a biological signal generated by the swallowing movement of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination step of determining whether the subject has ingested the intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification Estimating the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
And an output step of outputting the estimated intake amount.
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第１の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定部と、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第２の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定部と、
推定された前記摂取量を出力する出力部と
してコンピュータを機能させるための予測プログラム。 An acquisition unit for acquiring a biological signal generated by the swallowing motion of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination unit that determines whether the subject has ingested an intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification An estimation unit configured to estimate the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
A prediction program for causing a computer to function as an output unit that outputs the estimated intake amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014050193A JP6425393B2 (en) | 2014-03-13 | 2014-03-13 | Prediction system, prediction method, and prediction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014050193A JP6425393B2 (en) | 2014-03-13 | 2014-03-13 | Prediction system, prediction method, and prediction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015176213A JP2015176213A (en) | 2015-10-05 |
| JP6425393B2 true JP6425393B2 (en) | 2018-11-21 |
Family
ID=54255402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014050193A Expired - Fee Related JP6425393B2 (en) | 2014-03-13 | 2014-03-13 | Prediction system, prediction method, and prediction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6425393B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6243385B2 (en) | 2015-10-19 | 2017-12-06 | ファナック株式会社 | Machine learning apparatus and method for learning correction value in motor current control, correction value calculating apparatus and motor driving apparatus provided with the machine learning apparatus |
| WO2017081787A1 (en) * | 2015-11-12 | 2017-05-18 | 富士通株式会社 | Food ingestion index estimation device, food ingestion index estimation method, and food ingestion index estimation program |
| JP6130977B1 (en) * | 2016-05-24 | 2017-05-17 | 三井情報株式会社 | Information processing apparatus, information processing method, information processing system, and program |
| WO2018235440A1 (en) * | 2017-06-22 | 2018-12-27 | シャープ株式会社 | Biological state management device and biological state management method |
| JP6914525B2 (en) * | 2017-09-15 | 2021-08-04 | 国立大学法人 筑波大学 | Swallowing function analysis system and program |
| KR102023872B1 (en) * | 2019-05-21 | 2019-09-20 | 최상준 | Method for calculating food intake and apparatus thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011115344A (en) * | 2009-12-02 | 2011-06-16 | Sharp Corp | Eating disorder diagnostic system |
| JP5360093B2 (en) * | 2011-02-23 | 2013-12-04 | 沖電気工業株式会社 | Energy consumption measuring device, energy consumption measuring method, and motion analysis system |
| JP2013172899A (en) * | 2012-02-27 | 2013-09-05 | Toyota Infotechnology Center Co Ltd | Awaking degree estimation device |
-
2014
- 2014-03-13 JP JP2014050193A patent/JP6425393B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015176213A (en) | 2015-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425393B2 (en) | Prediction system, prediction method, and prediction program | |
| Alazzam et al. | [Retracted] A Novel Smart Healthcare Monitoring System Using Machine Learning and the Internet of Things | |
| Papapanagiotou et al. | A novel chewing detection system based on ppg, audio, and accelerometry | |
| Vu et al. | Wearable food intake monitoring technologies: A comprehensive review | |
| Alshurafa et al. | Recognition of nutrition intake using time-frequency decomposition in a wearable necklace using a piezoelectric sensor | |
| KR102220229B1 (en) | Improving biometric performance in the presence of noise | |
| Kalantarian et al. | A survey of diet monitoring technology | |
| Amft et al. | Recognition of dietary activity events using on-body sensors | |
| JP6489130B2 (en) | Meal estimation program, meal estimation method, and meal estimation device | |
| JP2021524958A (en) | Respiratory state management based on respiratory sounds | |
| Wang et al. | Eating detection and chews counting through sensing mastication muscle contraction | |
| JP2023175924A (en) | Computing device for predicting sleep state on basis of data measured in sleep environment of user | |
| JP6638734B2 (en) | Meal time estimation method, meal time estimation program, and meal time estimation device | |
| Dong et al. | Meal-time and duration monitoring using wearable sensors | |
| Baldassarre et al. | The role of electrocardiography in occupational medicine, from Einthoven’s invention to the digital era of wearable devices | |
| EP3417773B1 (en) | Meal detection method, meal detection system, and meal detection program | |
| Hussain et al. | Food intake detection and classification using a necklace-type piezoelectric wearable sensor system | |
| Geuther et al. | High-throughput visual assessment of sleep stages in mice using machine learning | |
| Klefot et al. | Development of a noninvasive system for monitoring dairy cattle sleep | |
| JP2019051129A (en) | Deglutition function analysis system and program | |
| Dong et al. | Analyzing breathing signals and swallow sequence locality for solid food intake monitoring | |
| Wang et al. | Inferring food types through sensing and characterizing mastication dynamics | |
| Hasan et al. | A new ensemble classifier for multivariate medical data | |
| Mertes et al. | Detection of chewing motion using a glasses mounted accelerometer towards monitoring of food intake events in the elderly | |
| WO2024040268A2 (en) | Attentional generative multimodal network for pain estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6425393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |