JP6425393B2 - Prediction system, prediction method, and prediction program - Google Patents

Prediction system, prediction method, and prediction program Download PDF

Info

Publication number
JP6425393B2
JP6425393B2 JP2014050193A JP2014050193A JP6425393B2 JP 6425393 B2 JP6425393 B2 JP 6425393B2 JP 2014050193 A JP2014050193 A JP 2014050193A JP 2014050193 A JP2014050193 A JP 2014050193A JP 6425393 B2 JP6425393 B2 JP 6425393B2
Authority
JP
Japan
Prior art keywords
intake
subject
biological signal
machine learning
swallowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014050193A
Other languages
Japanese (ja)
Other versions
JP2015176213A (en
Inventor
峰野 博史
博史 峰野
悠一 小林
悠一 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2014050193A priority Critical patent/JP6425393B2/en
Publication of JP2015176213A publication Critical patent/JP2015176213A/en
Application granted granted Critical
Publication of JP6425393B2 publication Critical patent/JP6425393B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の一側面は、機械学習を用いて被観察者の生活行動を推定する予測システム、予測方法、および予測プログラムに関する。   One aspect of the present invention relates to a prediction system, a prediction method, and a prediction program that use machine learning to estimate the living behavior of the subject.

飲食は人の生活行動の中でも最も重要なものの一つであり、健康管理においても重要視される。例えば、看護または介護の場面では、患者または被介護者の食事の管理を欠かすことはできない。従来から、そのような食事の管理を支援する技術が知られている。例えば下記特許文献1には、ユーザから計測される情報に基づき該ユーザが食事をしていることを検知する生活管理端末装置と、食事の開始又は終了が検知された時に、検知後の所定の時間の後に該ユーザに食事内容を問い合わせる手段と、問い合わせに対する該ユーザからの回答を取得する手段とを備える生活管理システムが記載されている。   Eating and drinking is one of the most important things in people's daily life, and it is also important in health management. For example, in the nursing or care setting, managing the diet of the patient or the cared person is essential. Conventionally, techniques for supporting management of such meals are known. For example, according to Patent Document 1 below, there is a life management terminal for detecting that the user is eating based on information measured by the user, and a predetermined after detection when the start or end of the eating is detected. A lifestyle management system is described which comprises means for inquiring the user of the meal content after time and means for obtaining an answer from the user to the inquiry.

特開2003−173375号公報Unexamined-Japanese-Patent No. 2003-173375

食事の管理においては、飲物または食物を摂取したかどうかだけでなく、その摂取量を把握することも必要であるが、その摂取量を観察するのは容易なことではない。一人の一回の食事での摂取量を把握するだけでも大変であり、まして、複数の(何人かのまたは多数の)患者または被介護者を世話する病院または介護施設で各人の食事の摂取量を把握することは非常に困難である。そこで、被観察者の摂取量を容易に把握することが望まれている。   In managing food, it is necessary not only to know whether a drink or food has been taken, but also to understand its intake, but it is not easy to observe its intake. Even knowing the intake of one person's single meal is difficult, let's say, the intake of each person's meal at the hospital or care facility that cares for multiple (several or many) patients or carers It is very difficult to grasp the quantity. Therefore, it is desirable to easily grasp the intake of the subject.

本発明の一側面に係る予測システムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部とを備える。   The prediction system according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. And a unit.

本発明の一側面に係る予測方法は、プロセッサを備える予測システムにより実行される予測方法であって、被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定ステップと、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定ステップと、推定された摂取量を出力する出力ステップとを含む。   The prediction method according to an aspect of the present invention is a prediction method executed by a prediction system including a processor, which includes an acquisition step of acquiring a biological signal generated by the swallowing motion of the subject, and a first conversion from the biological signal. A determination step of determining whether the subject has taken an intake by performing data generation and first machine learning using the first conversion data as an explanatory variable; If it is determined that the second transformation data has been determined, the second transformation data is generated from the biological signal, and the second machine learning is performed using the second transformation data as an explanatory variable, whereby the intake amount of the intake of the subject is obtained. The estimation step includes estimation, and an output step of outputting the estimated intake.

本発明の一側面に係る予測プログラムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部としてコンピュータを機能させる。   The prediction program according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. Make the computer function as a part.

このような側面においては、まず、被観察者の嚥下運動で発生した生体信号に基づく第1の機械学習をすることで摂取の有無が判定される。そして、被観察者が摂取したと判定された場合には、その生体信号に基づく第2の機械学習により摂取量が推定される。このように、嚥下運動で発生した生体信号に対して機械学習を実行することで、被観察者の摂取量を容易に把握することができる。   In such an aspect, first, the presence or absence of intake is determined by performing the first machine learning based on the biological signal generated by the swallowing motion of the subject. Then, if it is determined that the subject has taken it, the intake is estimated by the second machine learning based on the biological signal. As described above, by performing machine learning on the biological signal generated by the swallowing movement, it is possible to easily grasp the intake of the subject.

本発明の一側面によれば、被観察者の摂取量を容易に把握することができる。   According to one aspect of the present invention, the intake of the subject can be easily grasped.

実施形態に係る予測システムの動作の概念を示すフローチャートである。It is a flow chart which shows the concept of operation of a prediction system concerning an embodiment. 実施形態に係る予測システムを構成するコンピュータのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the computer which comprises the prediction system which concerns on embodiment. 実施形態に係る予測システムの機能構成を示すブロック図である。It is a block diagram showing functional composition of a prediction system concerning an embodiment. 生体信号データから得られるパワースペクトル密度の例を示す図である。It is a figure which shows the example of the power spectral density obtained from biosignal data. 生体信号データの分割を示す図である。It is a figure showing division of living body signal data. 一つの嚥下区間を示す生体信号データの例を示す図である。It is a figure which shows the example of the biosignal data which show one swallowing area. 生体信号データから得られる振幅ヒストグラムの例を示す図である。It is a figure which shows the example of the amplitude histogram obtained from biosignal data. 実施形態に係る予測システムの動作を示すフローチャートである。It is a flow chart which shows operation of a prediction system concerning an embodiment. 実施形態に係る予測プログラムの構成を示す図である。It is a figure showing composition of a prediction program concerning an embodiment.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. In the description of the drawings, the same or equivalent elements will be denoted by the same reference symbols, without redundant description.

まず、図1〜7を用いて、実施形態に係る予測システム10の機能および構成を説明する。予測システム10は、機械学習を用いて被観察者の経口摂取に関する推定を実行するコンピュータシステムである。   First, the functions and configuration of the prediction system 10 according to the embodiment will be described using FIGS. The prediction system 10 is a computer system that uses machine learning to perform estimation regarding the oral intake of the subject.

機械学習とは、既知の値の集合であるトレーニングデータを学習することでパターン関数を生成し、そのパターン関数を用いて未知の値を予測する処理である。予測システム10が用いる機械学習の種類は限定されない。機械学習の例として、人工ニューラルネットワーク(ANN)、サポートベクターマシン(SVM)、決定木学習、相関ルール学習、ベイジアンネットワークなどが挙げられるが、これ以外のアルゴリズムでもよい。   Machine learning is a process of generating a pattern function by learning training data which is a set of known values, and predicting an unknown value using the pattern function. The type of machine learning used by the prediction system 10 is not limited. Examples of machine learning include artificial neural networks (ANN), support vector machines (SVM), decision tree learning, correlation rule learning, Bayesian networks, etc., but other algorithms may be used.

本明細書における「被観察者」とは、摂取物の摂取を観察する対象となる人である。性別や年齢などに関係なく、被観察者は誰でもよい。本明細書における「摂取物」とは任意の飲物または食物であり、その種類は何ら限定されるものではない。本明細書における「摂取」とは、摂取物を口から取り込み、必要であればその摂取物を咀嚼し、そしてその摂取物を胃に流す行為である(すなわち、経口摂取)。   The "subject" in the present specification is a person who is a target to observe intake of an intake. Any person may be observed regardless of gender or age. The term "intake" as used herein refers to any drink or food, and the type is not limited in any way. As used herein, "intake" is the act of taking the ingestible through the mouth, decimating the ingestible if necessary, and flushing the ingestible into the stomach (ie, oral ingestion).

図1に、予測システム10を用いた摂取の推定の概要を示す。まず、被観察者の嚥下運動で発生する生体信号のデータが収集される(ステップS1)。続いて、その生体信号に基づく第1の機械学習により摂取の有無が判定される(ステップS2)。続いて、その生体信号が分割され(ステップS3)、分割後の個々の信号に基づく一口摂取量が第2の機械学習を用いて推定される(ステップS4)。そして、個々の一口摂取量から所望の合計摂取量が算出される(ステップS5)。   An overview of intake estimation using the prediction system 10 is shown in FIG. First, data of biological signals generated by the swallowing movement of the subject is collected (step S1). Subsequently, the presence or absence of intake is determined by first machine learning based on the biological signal (step S2). Subsequently, the biological signal is divided (step S3), and a single bite intake based on each divided signal is estimated using the second machine learning (step S4). Then, a desired total intake amount is calculated from the individual bite intake amounts (step S5).

ここで、嚥下運動とは、摂取物が口に取り込まれてから胃に至るまでの過程で被観察者の身体で発生する運動である。例えば、咀嚼および飲み込みは嚥下運動の一種である。本明細書における「嚥下運動で発生する生体信号」とは、嚥下運動時に被観察者の身体で生じる信号である。信号の具体例としては音(嚥下音)、振動、筋活動時の電位変化(筋電)などが挙げられるが、信号の種類はこれらに限定されない。   Here, the swallowing exercise is an exercise that occurs in the body of the subject in the process from the intake of the intake into the mouth to the stomach. For example, chewing and swallowing are a type of swallowing exercise. The “biosignal generated in the swallowing movement” in the present specification is a signal generated in the body of the subject during the swallowing movement. Specific examples of the signal include sound (depression sound), vibration, potential change during muscle activity (myoelectricity), and the like, but the type of signal is not limited to these.

生体信号は被観察者に装着されたセンサにより検知され、生体信号データとしてデータベースに蓄積される(生体信号データの収集)。生体信号センサは生体信号を検知する装置である。上記の通り生体信号の種類は限定されないから、その信号を捕捉するセンサの種類も限定されない。センサは、被観察者に装着されてもよいし(いわゆる、ウェアラブルセンサ(wearable sensor))、室内の任意の場所に設けられてもよい。一例として、嚥下音を捉えるのであればスロートマイク(throat microphone)をセンサとして用いることが考えられるが、このマイクはウェアラブルセンサの一態様である。ウェアラブルセンサを用いた場合には、被観察者の行動を制限することなく(例えば、飲食の場所および時間を制限することなく)生体信号を収集することが可能である。   The biological signal is detected by a sensor attached to the subject, and stored in the database as biological signal data (collection of biological signal data). The biological signal sensor is a device that detects a biological signal. As described above, since the type of biological signal is not limited, the type of sensor that captures the signal is also not limited. The sensor may be attached to the subject (a so-called wearable sensor) or may be provided anywhere in the room. As an example, it is conceivable to use a throat microphone as a sensor if it captures swallowing sound, but this microphone is an aspect of a wearable sensor. When wearable sensors are used, it is possible to collect biosignals without restricting the behavior of the subject (for example, without restricting the place and time of eating and drinking).

「一口摂取量」とは、一回の飲み込みにより口から胃に取り込まれる摂取物の量であり、言い換えると、一回の嚥下により取り込まれる摂取物の量である。量の種類は限定されず、それは体積、質量、重量、熱量でもよいし、これ以外の量でもよい。合計摂取量は任意の期間における一口摂取量の集計値であり、例えば一回の食事における摂取量でもよいし、一日における摂取量でもよい。   "Bite intake" is the amount of intake taken into the stomach from the mouth in a single swallow, in other words, the amount of intake taken in one swallow. The type of amount is not limited, and it may be volume, mass, weight, heat, or any other amount. The total intake amount is a total value of a single intake amount in any period, and may be, for example, an intake amount in one meal or an intake amount in one day.

所望の合計摂取量は、様々な目的で用いられる情報となり得る。例えば、その合計摂取量から被観察者の摂取状況を把握できるし、その情報をその被観察者の健康管理や今後の食事の計画などに生かすこともできる。   The desired total intake can be information used for various purposes. For example, the intake status of the subject can be grasped from the total intake, and the information can be used for health management of the subject, planning of future meals, and the like.

予測システム10は1台以上のコンピュータを備え、複数台のコンピュータを備える場合には、後述する予測システム10の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ(PC)を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機(スマートフォン)や携帯電話機、携帯情報端末(PDA)などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせて予測システム10を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。   When the prediction system 10 includes one or more computers and a plurality of computers, each functional element of the prediction system 10 described later is realized by distributed processing. The type of individual computer is not limited. For example, a stationary or portable personal computer (PC) may be used, or a workstation may be used, or a mobile terminal such as a high-performance mobile phone (smart phone), a mobile phone, or a personal digital assistant (PDA). May be used. Alternatively, various types of computers may be combined to construct the prediction system 10. When using a plurality of computers, these computers are connected via a communication network such as the Internet or an intranet.

予測システム10内の個々のコンピュータ100の一般的なハードウェア構成を図2に示す。コンピュータ100は、オペレーティングシステムやアプリケーション・プログラムなどを実行するCPU(プロセッサ)101と、ROM及びRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、ディスプレイやプリンタなどの出力装置106とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ100の種類により異なる。例えば、据置型のPCおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびモニタを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。   The general hardware configuration of the individual computers 100 in the prediction system 10 is shown in FIG. The computer 100 includes a CPU (processor) 101 that executes an operating system, application programs, and the like, a main storage unit 102 configured by a ROM and a RAM, an auxiliary storage unit 103 configured by a hard disk and a flash memory, and the like. The communication control unit 104 includes a card or a wireless communication module, an input device 105 such as a keyboard or a mouse, and an output device 106 such as a display or a printer. Of course, the hardware modules mounted differ depending on the type of computer 100. For example, while stationary PCs and workstations often include a keyboard, a mouse, and a monitor as input devices and output devices, in a smartphone, a touch panel often functions as the input devices and output devices.

後述する予測システム10の各機能要素は、CPU101または主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102または補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102または補助記憶部103内に格納される。   Each functional element of the prediction system 10 to be described later reads predetermined software on the CPU 101 or the main storage unit 102, and operates the communication control unit 104, the input device 105, the output device 106, etc. under the control of the CPU 101, This is realized by reading and writing data in the main storage unit 102 or the auxiliary storage unit 103. Data and databases necessary for processing are stored in the main storage unit 102 or the auxiliary storage unit 103.

予測システム10は生体信号データを得るためにデータベース20にアクセスする、このデータベース20は、生体信号データを記憶する装置または機能要素である。データベース20の実装方法は限定されない。例えば、データベース20は予測システム10内にあってもよいし、予測システム10とは別のシステム内に存在してもよい。また、データベース20は関係データベースでもよいしCSVファイルでもよい。生体信号データをデータベース20に蓄積する方法は限定されない。例えばセンサSがデータベース20と直接通信して生体信号データをデータベース20に格納してもよいし、別のコンピュータがセンサSから生体信号データを収集して、その生体信号データをデータベース20に格納してもよい。   The prediction system 10 accesses a database 20 to obtain biosignal data, which is an apparatus or functional element that stores biosignal data. The implementation method of the database 20 is not limited. For example, database 20 may be in prediction system 10 or may be in a separate system from prediction system 10. Also, the database 20 may be a relational database or a CSV file. The method of accumulating the biosignal data in the database 20 is not limited. For example, the sensor S may communicate directly with the database 20 and store the biosignal data in the database 20, or another computer collects the biosignal data from the sensor S and stores the biosignal data in the database 20 May be

図3に示すように、予測システム10は機能的構成要素として取得部11、判定部12、推定部13、および出力部14を備える。以下では、生体信号が嚥下音であり、予測システム10がその嚥下音から被観察者の水分摂取量を推定する場合の処理を例として示す。ここで、水分摂取量とは、被観察者が飲物(例えば、水)を摂取した量である。   As shown in FIG. 3, the prediction system 10 includes an acquisition unit 11, a determination unit 12, an estimation unit 13, and an output unit 14 as functional components. Below, a biological signal is swallowing sound and the process in case the prediction system 10 estimates the water intake of a to-be-observed person from the swallowing sound is shown as an example. Here, the amount of water intake is the amount of intake of a drink (for example, water) by the subject.

取得部11は、被観察者の嚥下運動で発生する生体信号を取得する機能要素である。一般に、生体信号は何らかの時間幅(例えば、1秒、1分、1時間など)において継続的に収集され、波として表すことができる(図1参照)。生体信号は、被観察者Uに装着されたセンサ(例えば、スロートマイク)Sにより検知され、生体信号データとしてデータベース20に蓄積される。取得部11はその生体信号データをデータベース20から読み出して判定部12に出力する。ある被観察者について取得部11が取得する生体信号データの時間幅は何ら限定されない。例えば、その時間幅は30秒、1分、10分、30分、1時間、または2時間でもよい。   The acquisition unit 11 is a functional element that acquires a biological signal generated by the swallowing motion of the subject. In general, biosignals are collected continuously over some time span (eg, 1 second, 1 minute, 1 hour, etc.) and can be represented as waves (see FIG. 1). The biological signal is detected by a sensor (for example, a throat microphone) S mounted on the subject U, and is stored in the database 20 as biological signal data. The acquisition unit 11 reads the biological signal data from the database 20 and outputs the data to the determination unit 12. The time width of the biological signal data acquired by the acquisition unit 11 for a certain subject is not limited at all. For example, the time width may be 30 seconds, 1 minute, 10 minutes, 30 minutes, 1 hour, or 2 hours.

判定部12は、被観察者が摂取物(飲物)を摂取したか否かを推定する機能要素である。判定部12は生体信号データに対して第1の変換を実行することで第1変換データを生成する。そして、判定部12はその第1変換データに対して第1の機械学習を実行することで、被観察者が摂取物(飲物)を摂取したか否かを推定する。摂取の有無を判定するために用いるデータ変換方法および機械学習は何ら限定されるものではない。本実施形態では、判定部12はデータ変換方法して高速フーリエ変換(FFT)を用い、機械学習として、SVMを分類に対応させたサポートベクター分類(SVC)を用いる。   The determination unit 12 is a functional element that estimates whether the subject has ingested an intake (drink). The determination unit 12 generates the first conversion data by performing the first conversion on the biological signal data. Then, the determination unit 12 executes the first machine learning on the first conversion data to estimate whether the subject has ingested the intake (drink). The data conversion method and machine learning used to determine the presence or absence of intake are not limited at all. In this embodiment, the determination unit 12 uses fast Fourier transform (FFT) as a data conversion method, and uses support vector classification (SVC) in which SVM corresponds to classification as machine learning.

判定部12は生体信号データに対して高速フーリエ変換(FFT)を実行することで、嚥下音のパワースペクトル密度(PSD)を第1変換データとして得る。続いて、判定部12はそのパワースペクトル密度を説明変数として用いるSVCを実行することで、入力された生体信号データが「飲む」という行為を示すか否かを判定する。   The determination unit 12 performs fast Fourier transform (FFT) on the biological signal data to obtain the power spectral density (PSD) of the swallowing sound as first converted data. Subsequently, the determination unit 12 executes SVC using the power spectral density as an explanatory variable to determine whether the input biological signal data indicates an action of "drink".

嚥下音のデータから得られるパワースペクトル密度は、喉を使う様々な行動の特徴を示す。図4は、「飲む」「食べる」「咳」「呼吸」「話す」「唾(を飲む)」の6種類についてのパワースペクトル密度を示す。図4における各グラフの縦軸および横軸はそれぞれ強さおよび周波数である。これらのグラフからわかるように、各行為のパワースペクトル密度には、他の行為とは異なる特徴が現れていることがわかる。   The power spectral density obtained from swallowing sound data is characteristic of various behaviors using the throat. FIG. 4 shows power spectral densities for six types of “drink”, “eat”, “cough”, “breath”, “speak” and “spit”. The vertical and horizontal axes of each graph in FIG. 4 are intensity and frequency, respectively. As can be seen from these graphs, it can be seen that the power spectrum density of each action has features different from those of the other actions.

センサSを用いて収集した生体信号データがすべて「飲む」行為によって発生したものとは限らず、人が生活するうえで必要な他の行為によって発生した生体信号データが存在する可能性がある。そこで、水分摂取量を推定する前段階の処理として、判定部12はSVCによりそのパワースペクトル密度を解析することで、入力された生体信号データが「飲む」という行為を示すか「飲む」以外の行為を示すかを判定する。そして、生体信号データが「飲む」という行為を示すと判定した場合(すなわち、被観察者が飲物を飲んだと判定した場合)には、推定部13はその生体信号データを推定部13に出力する。一方、生体信号データが「飲む」以外の行為を示すと判定した場合(すなわち、被観察者が飲物を飲んでいないと判定した場合)には、推定部13はその生体信号データを推定部13に出力することなく処理を終了し、この場合には、後述する推定部13および出力部14の処理は実行されない。   Not all the biosignal data collected using the sensor S is generated by the "drink" action, but there is a possibility that there is biosignal data generated by another action necessary for a person to live. Therefore, as processing prior to estimating the water intake, the determination unit 12 analyzes the power spectral density with SVC, and the input biological signal data indicates an act of "drinking" or "other than drinking" Determine whether to indicate an act. Then, when it is determined that the biosignal data indicates the act of "drinking" (that is, when it is determined that the subject drinks the drink), the estimation unit 13 outputs the biosignal data to the estimation unit 13. Do. On the other hand, when it is determined that the biosignal data indicates an action other than "drink" (that is, when it is determined that the subject is not drinking a drink), the estimation unit 13 estimates the biosignal data. In this case, the processing of the estimation unit 13 and the output unit 14 described later is not performed.

FFTにより得られたパワースペクトル密度の周波数特性として所定の個数(例えば255個)の説明変数が得られる。判定部12はそのすべての説明変数を用いてもよいし、推定に必要な一部の説明変数のみを用いてもよい。すべての説明変数が判定の精度の向上に貢献するとは限らないので、必要な説明変数のみを選択した上でSVCを実行することで、判定の精度を上げることができ、計算時間の短縮も期待できる。説明変数を選択する手法として増加法と減少法の2種類がある。   A predetermined number (for example, 255) of explanatory variables can be obtained as frequency characteristics of power spectral density obtained by FFT. The determination unit 12 may use all of the explanatory variables or may use only some of the explanatory variables necessary for estimation. Since all explanatory variables do not necessarily contribute to the improvement of the accuracy of judgment, it is possible to improve the accuracy of judgment by executing SVC after selecting only the necessary explanatory variables, and it is also expected to reduce the calculation time. it can. There are two types of methods for selecting the explanatory variable, an increase method and a decrease method.

増加法は、説明変数が0個のモデルから処理を始め、目的変数に対して相関値Xが最も高い説明変数を一つずつ追加していく手法である。この手法では、機械学習に使用する説明変数群Aの初期値は空(null)であり、機械学習に使用しない説明変数群Bの初期値は、N個(例えば、N=255)の説明変数である。   The increase method is a method in which processing is started from a model with zero explanatory variables, and one explanatory variable with the highest correlation value X is added to the target variable one by one. In this method, the initial value of the explanatory variable group A used for machine learning is null, and the initial value of the explanatory variable group B not used for machine learning is N (for example, N = 255) of explanatory variables. It is.

まず、判定部12は説明変数群B内の個々の説明変数について、目的変数に対する相関値Xを求め、相関値Xが最も高い説明変数を説明変数群Bから説明変数群Aに移す。続いて、判定部12はその説明変数群Aで回帰分析を行うことで、各説明変数の推定係数を確認する。そして、すべての説明変数について推定係数の絶対値Yが1以上である場合には、判定部12は、相関値Xが最も高い説明変数を説明変数群Aに移す処理に戻って、以降の処理を繰り返す。一方、推定係数の絶対値Yが1を下回る説明変数が出現した場合には、判定部12は最後に追加した説明変数を除いた後の説明変数群Aを用いて機械学習を実行する。   First, the determination unit 12 obtains the correlation value X with respect to the objective variable for each explanatory variable in the explanatory variable group B, and transfers the explanatory variable with the highest correlation value X from the explanatory variable group B to the explanatory variable group A. Subsequently, the determination unit 12 performs regression analysis on the explanatory variable group A to confirm estimated coefficients of the respective explanatory variables. Then, when the absolute value Y of the estimation coefficient is 1 or more for all explanatory variables, the determination unit 12 returns to the process of transferring the explanatory variable having the highest correlation value X to the explanatory variable group A, and the subsequent process. repeat. On the other hand, when an explanatory variable whose absolute value Y of the estimation coefficient falls below 1 appears, the determination unit 12 executes machine learning using the explanatory variable group A after the explanatory variable added last is removed.

一方、減少法は、すべての説明変数を採用するモデルから処理を始め、目的変数に対して相関値Xが最も低い説明変数を一つずつ除いていく手法である。この手法では、判定部12は機械学習に使用する説明変数群Aの初期値はN個(例えば、N=255)の説明変数であり、機械学習に使用しない説明変数群Bの初期値は空(null)である。   On the other hand, the reduction method is a method in which processing is started from a model adopting all explanatory variables, and one explanatory variable with the lowest correlation value X with respect to the target variable is removed one by one. In this method, the determination unit 12 determines that N initial values of the explanatory variable group A used for machine learning are N (for example, N = 255) and the initial values of the explanatory variable group B not used for machine learning are empty. (Null)

本実施形態では、まず、説明変数群A内の説明変数の個数をNからNaに減らす(例えば、255個から15個に減らす)。このために、判定部12は、説明変数群Aの個々の説明変数について、目的変数に対する相関値Xを求め、相関値Xが最も低い説明変数を説明変数群Aから説明変数群Bに移す。判定部12はこの移動処理を、説明変数群A内の説明変数の個数がNaになるまで繰り返す。   In the present embodiment, first, the number of explanatory variables in the explanatory variable group A is reduced from N to Na (for example, reduced from 255 to 15). For this purpose, the determination unit 12 obtains the correlation value X with respect to the objective variable for each explanatory variable of the explanatory variable group A, and transfers the explanatory variable with the lowest correlation value X from the explanatory variable group A to the explanatory variable group B. The determination unit 12 repeats this movement process until the number of explanatory variables in the explanatory variable group A becomes Na.

続いて、判定部12は説明変数群Aで回帰分析を行うことで、各説明変数の推定係数を確認する。そして、すべての説明変数について推定係数の絶対値Yが1以上である場合には、判定部12はその説明変数群Aを用いて機械学習を実行する。一方、推定係数の絶対値Yが1を下回る説明変数が出現した場合には、判定部12は相関値Xが最も低い説明変数を説明変数群Bに移して、回帰分析以降の処理を繰り返す。   Subsequently, the determination unit 12 performs regression analysis with the explanatory variable group A to confirm estimated coefficients of the respective explanatory variables. Then, when the absolute value Y of the estimation coefficient is 1 or more for all explanatory variables, the determination unit 12 executes machine learning using the explanatory variable group A. On the other hand, when an explanatory variable in which the absolute value Y of the estimation coefficient falls below 1 appears, the determination unit 12 transfers the explanatory variable with the lowest correlation value X to the explanatory variable group B, and repeats the processing after the regression analysis.

推定部13は、被観察者の摂取物の摂取量を推定する機能要素である。推定部13は生体信号データに対して第2の変換を実行することで第2変換データを生成する。そして、推定部13はその第2変換データに対して第2の機械学習を実行することで摂取量を推定する。摂取量を推定するために用いるデータ変換方法および機械学習は何ら限定されるものではない。本実施形態では、推定部13はデータ変換方法して振幅ヒストグラムを用い、機械学習としてSVCを用いる。第2変換データは、時間の経過と共に変化する値についての特性(すなわち、時間特性)を示すデータであり、振幅ヒストグラムはその時間特性を示すデータの一種である。生体信号データにおいて隣り合う波の変化量についての特性を示すデータも時間特性を示すデータの一種であるので、振幅ヒストグラムに代えて、当該変化量の特性を示すデータを用いてもよい。推定部13での機械学習の他の例としては、SVMを回帰に対応させたサポートベクター回帰(SVR)などが挙げられる。   The estimation unit 13 is a functional element that estimates the intake of the intake of the subject. The estimation unit 13 generates second conversion data by performing the second conversion on the biological signal data. Then, the estimation unit 13 estimates the intake amount by executing the second machine learning on the second conversion data. The data conversion method and machine learning used to estimate the intake amount are not limited at all. In the present embodiment, the estimation unit 13 uses the amplitude histogram as a data conversion method, and uses SVC as machine learning. The second conversion data is data indicating characteristics (ie, time characteristics) of values that change with the passage of time, and the amplitude histogram is a type of data indicating the time characteristics. Since data indicating characteristics of the amount of change of adjacent waves in the biological signal data is also one type of data indicating time characteristics, data indicating the characteristics of the amount of change may be used instead of the amplitude histogram. Another example of the machine learning in the estimation unit 13 is support vector regression (SVR) in which SVM corresponds to regression.

まず、推定部13は生体信号データで示される時間区間を嚥下区間とノイズ区間とに分割することで1以上の嚥下区間を特定する。ここで、嚥下区間とは、一回の嚥下を示すと推定される区間であり、ノイズ区間とは、嚥下が発生していないと推定される区間である。この処理のために、推定部13は、ノイズ区間におけるセンサSの音圧レベルの最大値Vと、ノイズ区間の継続時間の最小値Tとを予め閾値として保持している。なお、これらの閾値V,Tは予測システム10の管理者により予め設定される。推定部13は、生体信号データにおいて、閾値V未満の波形が閾値T以上連続して続く区間をノイズ区間であると判定し、そのノイズ区間を除外した後に残る1以上の区間を嚥下区間と判定する。例えば、推定部13は図5に示すように、生体信号データを1以上の嚥下区間tdと1以上のノイズ区間tnとに分ける。   First, the estimation unit 13 specifies one or more swallowing intervals by dividing a time interval indicated by the biological signal data into a swallowing interval and a noise interval. Here, the swallowing section is a section estimated to indicate one swallowing, and the noise section is a section estimated that no swallowing has occurred. For this process, the estimation unit 13 holds in advance the maximum value V of the sound pressure level of the sensor S in the noise section and the minimum value T of the duration of the noise section as a threshold. These threshold values V and T are set in advance by the manager of the prediction system 10. The estimation unit 13 determines that a section in which a waveform less than the threshold V continuously continues for the threshold T or more in the biological signal data is a noise section, and determines one or more sections remaining after excluding the noise section as a swallowing section Do. For example, as illustrated in FIG. 5, the estimation unit 13 divides the biosignal data into one or more swallowing intervals td and one or more noise intervals tn.

続いて、推定部13は個々の嚥下区間における一口摂取量を推定する。本実施形態のようにSVCを用いる場合には、推定部13は一口摂取量についてn個の分類C〜Cを予め用意しておき、個々の嚥下区間における一口摂取量がC〜Cのどれに相当するかを推定する。例えば、一口摂取量の分類として5ml,10ml,15ml,20mlという4種類を用意してもよい。または、推定部13はSVCとSVRとを組み合わせて一口摂取量を推定してもよい。具体的には、推定部13はまず推定する範囲をSVCで絞り込んでから、SVRを用いて一口摂取量をより詳細に推定してもよい。例えば、SVCで推定された一口摂取量が15mlである場合は、推定部13は15ml±5mlの範囲でSVRにより一口摂取量を推定する。推定部13は各嚥下区間について以下の処理を実行する。 Subsequently, the estimation unit 13 estimates bite intake in each swallowing interval. When SVC is used as in the present embodiment, the estimation unit 13 prepares n classes C 1 to C n in advance for a single intake amount, and the single intake amount in each swallowing interval is C 1 to C. It is estimated which n corresponds to. For example, four types of 5 ml, 10 ml, 15 ml and 20 ml may be prepared as classification of bite intake. Alternatively, the estimation unit 13 may estimate the bite intake by combining SVC and SVR. Specifically, the estimation unit 13 may first narrow down the estimation range with SVC and then estimate the bite intake in more detail using SVR. For example, when the bite intake estimated by SVC is 15 ml, the estimation unit 13 estimates the bite intake by SVR in the range of 15 ml ± 5 ml. The estimation unit 13 executes the following processing for each swallowing section.

推定部13は、図6に示すように、嚥下区間における音圧レベルの範囲のうち、ノイズと推定される部分(例えば、音圧レベルが上記の閾値V未満の部分)vnを無視し、それ以外の部分(例えば、音圧レベルが上記の閾値V以上の部分)vdを複数に均等に区切る。なお、嚥下区間内でノイズ部分とそれ以外の部分とを区切るための閾値は、生体信号データを嚥下区間とノイズ区間とに分けるための閾値と異なってもよい。音圧レベルの区切り位置の個数は任意であり、例えば100個でも200個でもよい。図6の例では、正の音圧レベルに対応する部分vdにおいて200個の区切り位置(c0〜c199)を設定している。続いて、推定部13は各区切り位置(図6ではc0〜c199)を音圧レベルの波が何回通ったかを数えることで(すなわち、通過回数を数えることで)、振幅ヒストグラムを生成する。   As illustrated in FIG. 6, the estimation unit 13 ignores a portion estimated to be noise (for example, a portion whose sound pressure level is less than the above-mentioned threshold V) vn in the sound pressure level range in the swallowing interval The other part (for example, the part where the sound pressure level is the above-mentioned threshold V or more) vd is equally divided into a plurality. The threshold for dividing the noise part and the other part in the swallowing section may be different from the threshold for dividing the biological signal data into the swallowing section and the noise section. The number of sound pressure level break positions is arbitrary, and may be 100 or 200, for example. In the example of FIG. 6, 200 division positions (c0 to c199) are set in the portion vd corresponding to the positive sound pressure level. Subsequently, the estimation unit 13 generates an amplitude histogram by counting how many times the wave of the sound pressure level has passed through each segment position (c0 to c199 in FIG. 6) (that is, counting the number of passes).

嚥下音のデータから得られる振幅スペクトルは一口摂取量の特徴を示す。図7は、5ml,10ml,15ml,20mlの4種類についての振幅スペクトルを示す。図7のグラフの縦軸および横軸はそれぞれ通過回数および区切り位置である。一口摂取量が大きくなるほど、音圧レベルの特定の位置(例えば図7における位置Rを参照)における通過回数が多くなることがわかる。したがって、この振幅ヒストグラムから一口摂取量を推定することが可能である。推定部13はその振幅ヒストグラムを説明変数としてSVCを実行することで、処理対象の嚥下区間における一口摂取量を推定する。   The amplitude spectrum obtained from the swallowing sound data is characteristic of bite intake. FIG. 7 shows amplitude spectra for four types of 5 ml, 10 ml, 15 ml and 20 ml. The vertical axis and the horizontal axis of the graph of FIG. It can be seen that the greater the bite intake, the greater the number of passes at a particular location of the sound pressure level (see, for example, location R in FIG. 7). Therefore, it is possible to estimate bite intake from this amplitude histogram. The estimation unit 13 estimates the bite intake in the swallowing section to be processed by executing SVC with the amplitude histogram as an explanatory variable.

推定部13は、一口摂取量を推定する際にすべての区切り位置(図6,7ではc0〜c199)の通過回数を用いなくてもよく、推定処理に必要な一部の区切り位置のみを用いてもよい。図7の例では、一口摂取量の特性はおおよそ区切り位置c0〜c40の範囲にわたって顕著に表れ、c40を超える範囲になると通過回数は一口摂取量にかかわらずほとんど0になって、一口摂取量による区別がつかなくなる。したがって、推定部13は分類に貢献する一部の範囲(例えば、c0〜c40)の通過回数のみを用いてSVCによる推定を実行してもよい。このように推定に用いる振幅ヒストグラムの範囲を限定することで計算量が減るので、推定処理をより高速に実行することができる。   The estimation unit 13 does not have to use the number of times of passage of all the break positions (c0 to c199 in FIGS. 6 and 7) when estimating the bite intake amount, and uses only some break positions necessary for the estimation process. May be In the example of FIG. 7, the characteristics of single-mouthed intake appear prominently over the range of dividing positions c0 to c40, and the number of times of passing becomes almost 0 regardless of single-mouthed intake in the range exceeding c40. I can not distinguish. Therefore, the estimation unit 13 may perform the SVC estimation using only the number of passes of a partial range (for example, c0 to c40) contributing to the classification. Since the amount of calculation is reduced by limiting the range of the amplitude histogram used for estimation in this manner, estimation processing can be performed faster.

すべての嚥下区間について一口摂取量を推定すると、推定部13はその推定結果を出力部14に出力する。   When the bite intake amount is estimated for all the swallowing sections, the estimation unit 13 outputs the estimation result to the output unit 14.

出力部14は、推定された摂取量を推定結果21として出力する機能要素である。推定結果21の出力先は何ら限定されない。例えば、出力部14は推定結果21をモニタ上に表示したりプリンタに印刷したりしてもよいし、推定結果21をテキストファイルに書き出してもよいし、推定結果21をメモリやデータベースなどの記憶装置に格納してもよい。あるいは、出力部14は推定結果21を通信ネットワーク経由で他のコンピュータシステム(例えば機械学習用のシステム)に出力してもよい。   The output unit 14 is a functional element that outputs the estimated intake as the estimation result 21. The output destination of the estimation result 21 is not limited at all. For example, the output unit 14 may display the estimation result 21 on a monitor or print it on a printer, may write the estimation result 21 in a text file, or store the estimation result 21 in a memory, a database, or the like. It may be stored in the device. Alternatively, the output unit 14 may output the estimation result 21 to another computer system (for example, a system for machine learning) via a communication network.

推定結果21の内容および形式も限定されない。例えば、出力部14は入力された各嚥下区間の一口摂取量を出力してもよいし、摂取量の集計値(例えば、一休憩当たり、一食当たり、または一日当たりの一口摂取量の集計値)を出力してもよい。例えば、5個の一口摂取量「5ml」「15ml」「10ml」「5ml」「10ml」が入力された場合には、出力部14は合計摂取量「45ml」を推定結果21として出力してもよい。あるいは、出力部14は、各嚥下区間の一口摂取量と摂取量の集計値との双方を出力してもよい。   The content and format of the estimation result 21 are also not limited. For example, the output unit 14 may output the single intake amount of each swallowing section which has been input, or the total value of the intake amount (for example, the total value of the single oral intake per one meal per day or per day) ) May be output. For example, when five single bit intake amounts “5 ml”, “15 ml”, “10 ml”, “5 ml” and “10 ml” are input, the output unit 14 outputs the total intake amount “45 ml” as the estimation result 21 Good. Alternatively, the output unit 14 may output both a single-mouth intake of each swallowing section and the total value of the intake.

次に、図8を用いて、予測システム10の動作を説明するとともに本実施形態に係る予測方法について説明する。   Next, the operation of the prediction system 10 will be described using FIG. 8 and the prediction method according to the present embodiment will be described.

まず、取得部11が嚥下音を示す生体信号データをデータベース20から読み出す(ステップS11、取得ステップ)。続いて、判定部12がその生体信号データに対して高速フーリエ変換(FFT)を実行することで、嚥下音のパワースペクトル密度(PSD)を生成する(ステップS12)。続いて、判定部12はそのパワースペクトル密度に対してSVCを実行することで、被観察者による摂取(「飲む」行為)の有無を判定する(ステップS13、判定ステップ)。   First, the acquisition unit 11 reads out biomedical signal data indicating swallowing noise from the database 20 (step S11, acquisition step). Subsequently, the determination unit 12 performs a fast Fourier transform (FFT) on the biological signal data to generate a power spectral density (PSD) of the swallowing sound (step S12). Subsequently, the determination unit 12 performs SVC on the power spectral density to determine the presence or absence of the intake ("drink" action) by the subject (step S13, determination step).

被観察者が「飲む」行為をしたと判定された場合には(ステップS14;YES)、推定部13が生体信号データを分割して1以上の嚥下区間を特定する(ステップS15)。そして、推定部13は各嚥下区間について、その嚥下区間のデータから振幅ヒストグラムを生成し(ステップS16)、その振幅ヒストグラムに対してSVCを実行することで一口摂取量を推定する(ステップS17、推定ステップ)。推定部13はすべての嚥下区間について振幅ヒストグラムの生成および一口摂取量の推定を実行する(ステップS18参照)。最後に、出力部14が摂取量の推定結果を出力する(ステップS19、出力ステップ)。   If it is determined that the person to be observed has performed the action of “drinking” (step S14; YES), the estimation unit 13 divides the biological signal data to specify one or more swallowing sections (step S15). Then, for each swallowing section, the estimation unit 13 generates an amplitude histogram from the data of the swallowing section (step S16), and estimates the bite intake amount by executing SVC on the amplitude histogram (step S17, estimation) Step). The estimation unit 13 executes generation of an amplitude histogram and estimation of a single intake amount for all the swallowing intervals (see step S18). Finally, the output unit 14 outputs the estimation result of the intake (step S19, output step).

一方、被観察者が「飲む」行為をしなかったと判定された場合には(ステップS14;NO)、予測システム10は摂取量の推定を行うことなく、取得した生体信号データについての処理を終了する。   On the other hand, when it is determined that the subject did not perform the action of “drinking” (step S14; NO), the prediction system 10 ends the processing on the acquired biological signal data without performing the estimation of the intake amount. Do.

次に、図9を用いて、予測システム10を実現するための予測プログラムP1を説明する。   Next, a prediction program P1 for realizing the prediction system 10 will be described with reference to FIG.

予測プログラムP1は、メインモジュールP10、取得モジュールP11、判定モジュールP12、推定モジュールP13、および出力モジュールP14を備える。   The prediction program P1 includes a main module P10, an acquisition module P11, a determination module P12, an estimation module P13, and an output module P14.

メインモジュールP10は、機械学習による予測機能を統括的に制御する部分である。取得モジュールP11、判定モジュールP12、推定モジュールP13、および出力モジュールP14を実行することにより実現される機能はそれぞれ、上記の取得部11、判定部12、推定部13、および出力部14の機能と同様である。   The main module P10 is a part that centrally controls the prediction function by machine learning. The functions realized by executing the acquisition module P11, the determination module P12, the estimation module P13, and the output module P14 are the same as the functions of the acquisition unit 11, the determination unit 12, the estimation unit 13, and the output unit 14 described above, respectively. It is.

予測プログラムP1は、例えば、CD−ROMやDVD−ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、予測プログラムP1は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。   The prediction program P1 may be provided, for example, after being fixedly recorded on a tangible recording medium such as a CD-ROM, a DVD-ROM, or a semiconductor memory. In addition, the prediction program P1 may be provided via a communication network as a data signal superimposed on a carrier wave.

以上説明したように、本発明の一側面に係る予測システムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部とを備える。   As described above, the prediction system according to one aspect of the present invention generates the first conversion data from the biological signal and an acquisition unit that acquires the biological signal generated by the swallowing motion of the subject, and performs the first conversion. A determination unit that determines whether the subject has ingested an intake by performing first machine learning using data as an explanatory variable, and a living body when it is determined that the subject has ingested An estimation unit configured to generate second transformation data from the signal and execute second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject; And an output unit that outputs an intake amount.

本発明の一側面に係る予測方法は、プロセッサを備える予測システムにより実行される予測方法であって、被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定ステップと、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定ステップと、推定された摂取量を出力する出力ステップとを含む。   The prediction method according to an aspect of the present invention is a prediction method executed by a prediction system including a processor, which includes an acquisition step of acquiring a biological signal generated by the swallowing motion of the subject, and a first conversion from the biological signal. A determination step of determining whether the subject has taken an intake by performing data generation and first machine learning using the first conversion data as an explanatory variable; If it is determined that the second transformation data has been determined, the second transformation data is generated from the biological signal, and the second machine learning is performed using the second transformation data as an explanatory variable, whereby the intake amount of the intake of the subject is obtained. The estimation step includes estimation, and an output step of outputting the estimated intake.

本発明の一側面に係る予測プログラムは、被観察者の嚥下運動で発生する生体信号を取得する取得部と、生体信号から第1変換データを生成し、該第1変換データを説明変数とする第1の機械学習を実行することで、被観察者が摂取物を摂取したか否かを判定する判定部と、被観察者が摂取したと判定された場合に、生体信号から第2変換データを生成し、該第2変換データを説明変数とする第2の機械学習を実行することで、被観察者の摂取物の摂取量を推定する推定部と、推定された摂取量を出力する出力部としてコンピュータを機能させる。   The prediction program according to one aspect of the present invention generates an first conversion data from the biological signal and an acquisition unit that acquires a biological signal generated by the swallowing motion of the subject, and uses the first conversion data as an explanatory variable. The second conversion data from the biological signal when it is determined that the subject has taken the ingested item by performing the first machine learning, and if it is determined that the subject has taken the subject By performing second machine learning using the second transformation data as an explanatory variable to estimate an intake amount of an intake of the subject, and an output for outputting the estimated intake amount. Make the computer function as a part.

このような側面においては、まず、被観察者の嚥下運動で発生した生体信号に基づく第1の機械学習をすることで摂取の有無が判定される。そして、被観察者が摂取したと判定された場合には、その生体信号に基づく第2の機械学習により摂取量が推定される。このように、嚥下運動で発生した生体信号に対して機械学習を実行することで、被観察者の摂取量を容易に把握することができる。   In such an aspect, first, the presence or absence of intake is determined by performing the first machine learning based on the biological signal generated by the swallowing motion of the subject. Then, if it is determined that the subject has taken it, the intake is estimated by the second machine learning based on the biological signal. As described above, by performing machine learning on the biological signal generated by the swallowing movement, it is possible to easily grasp the intake of the subject.

例えば、予測システム10は、複数の(何人かのまたは多数の)患者または被介護者を世話する病院または介護施設で各人の食事の摂取量を把握するために用いることができる。食事管理を含む健康管理は継続的に行う必要があるので、人手で行うと看護師および介護士に負担が掛かるだけでなく、記録の漏れまたはミスが生じる可能性がある。本実施形態によれば、嚥下運動で発生した生体信号から摂取の有無および摂取量が自動的に出力されるので、看護または介護の負担を減らしたり、摂取状態を確実に記録したりすることが可能になる。   For example, the prediction system 10 can be used to keep track of each person's food intake at a hospital or care facility that cares for multiple (some or many) patients or carers. As health management including diet management needs to be performed continuously, manual operation not only burdens nurses and carers, but it may lead to omissions or errors in records. According to the present embodiment, the presence or absence and the intake amount are automatically output from the biological signal generated by the swallowing exercise, so that the burden of nursing or nursing care can be reduced or the intake state can be reliably recorded. It will be possible.

他の側面に係る予測システムでは、推定部が生体信号を分割することで1以上の嚥下区間を推定し、各嚥下区間について摂取物の一口摂取量を推定し、出力部が、一口摂取量、および該一口摂取量の集計値の少なくとも一方を出力してもよい。このように生体信号を分割して一口毎の摂取量を推定することで、摂取量を正確に推定することができる。   In the prediction system according to the other aspect, the estimation unit estimates one or more swallowing segments by dividing the biological signal, estimates one intake amount of the ingested item for each swallowing interval, and the output unit includes a single intake amount, And at least one of the aggregate value of the bite intake may be output. By dividing the biosignal in this way and estimating the intake per bit, the intake can be estimated accurately.

他の側面に係る予測システムでは、第1変換データがパワースペクトル密度であり、第1の機械学習がサポートベクター分類であってもよい。   In a prediction system according to another aspect, the first transformation data may be power spectral density, and the first machine learning may be support vector classification.

他の側面に係る予測システムでは、第2変換データが振幅ヒストグラムであり、第2の機械学習がサポートベクター分類または、サポートベクター分類とサポートベクター回帰との組み合わせであってもよい。   In a prediction system according to another aspect, the second transformation data may be an amplitude histogram, and the second machine learning may be support vector classification or a combination of support vector classification and support vector regression.

他の側面に係る予測システムでは、生体信号が嚥下音であってもよい。嚥下音はスロートマイクなどのマイクにより簡単に検知できるので、被観察者に与える装着の不快感を抑えつつ嚥下運動を捉えることができる。   In the prediction system according to another aspect, the biological signal may be swallowing sound. Since the swallowing sound can be easily detected by a microphone such as a throat microphone, it is possible to capture the swallowing movement while suppressing the discomfort of wearing given to the subject.

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。   The present invention has been described above in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the scope of the invention.

上述した通り、第1および第2の機械学習の具体的な手法は限定されない。また、第1の機械学習と第2の機械学習とは同じでもよいし異なってもよい。   As described above, the specific techniques of the first and second machine learning are not limited. Also, the first machine learning and the second machine learning may be the same or different.

上記実施形態では推定部が生体信号を分割することで1以上の嚥下区間を推定し、各嚥下区間について一口摂取量を推定したが、生体信号を個々の嚥下区間に分割することは必須ではない。予測システムは、被観察者が摂取したと判定した場合に、このような分割処理を用いることなく所望の摂取量を推定してもよい。   In the above embodiment, the estimation unit estimates one or more swallowing segments by dividing the biological signal, and estimates a single bite intake amount for each swallowing segment, but dividing the biological signal into individual swallowing segments is not essential. . The prediction system may estimate a desired intake without using such division processing when it is determined that the subject has taken it.

10…予測システム、11…取得部、12…判定部、13…推定部、14…出力部、20…データベース、P1…予測プログラム、P10…メインモジュール、P11…取得モジュール、P12…判定モジュール、P13…推定モジュール、P14…出力モジュール。   Reference Signs List 10 prediction system 11 acquisition unit 12 determination unit 13 estimation unit 14 output unit 20 database P1 prediction program P10 main module P11 acquisition module P12 determination module P13 ... estimation module, P14 ... output module.

Claims (8)

被観察者の嚥下運動で発生する生体信号を取得する取得部と、
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第1の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定部と、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第2の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定部と、
推定された前記摂取量を出力する出力部と
を備える予測システム。
An acquisition unit for acquiring a biological signal generated by the swallowing motion of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination unit that determines whether the subject has ingested an intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification An estimation unit configured to estimate the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
And an output unit for outputting the estimated intake amount.
前記推定部が前記生体信号を分割することで1以上の嚥下区間を推定し、各嚥下区間について前記摂取物の一口摂取量を推定し、
前記出力部が、前記一口摂取量、および該一口摂取量の集計値の少なくとも一方を出力する、
請求項1に記載の予測システム。
The estimation unit estimates one or more swallowing segments by dividing the biological signal, and estimates one intake amount of the ingested item for each swallowing segment,
The output unit outputs at least one of the bite intake amount and an aggregate value of the bite intake amount.
The prediction system according to claim 1.
記第1の機械学習がサポートベクター分類である、
請求項1または2に記載の予測システム。
It is before Symbol first machine learning support vector classification,
The prediction system according to claim 1 or 2.
記第2の機械学習がサポートベクター分類または、サポートベクター分類とサポートベクター回帰との組み合わせである、
請求項1〜3のいずれか一項に記載の予測システム。
Before Stories second machine learning support vector classification or a combination of a support vector classification and support vector regression,
The prediction system according to any one of claims 1 to 3.
前記生体信号が嚥下音である、
請求項1〜4のいずれか一項に記載の予測システム。
The biomedical signal is swallowing sound,
The prediction system as described in any one of Claims 1-4.
前記時間特性データが振幅ヒストグラムである、The time characteristic data is an amplitude histogram,
請求項1〜5のいずれか一項に記載の予測システム。The prediction system according to any one of claims 1 to 5.
プロセッサを備える予測システムにより実行される予測方法であって、
被観察者の嚥下運動で発生する生体信号を取得する取得ステップと、
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第1の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定ステップと、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第2の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定ステップと、
推定された前記摂取量を出力する出力ステップと
を含む予測方法。
A prediction method performed by a prediction system comprising a processor, comprising:
An acquisition step of acquiring a biological signal generated by the swallowing movement of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination step of determining whether the subject has ingested the intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification Estimating the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
And an output step of outputting the estimated intake amount.
被観察者の嚥下運動で発生する生体信号を取得する取得部と、
前記生体信号からパワースペクトル密度を生成し、パワースペクトル密度を説明変数とし且つ喉を使う行動の分類に対応する第1の機械学習により、該生成されたパワースペクトル密度を解析することで、前記被観察者が摂取物を摂取したか否かを判定する判定部と、
前記被観察者が摂取したと判定された場合に、時間特性を示す時間特性データを前記生体信号から生成し、時間特性データを説明変数とし且つ摂取量の分類に対応する第2の機械学習を、該生成された時間特性データについて実行することで、前記被観察者の前記摂取物の摂取量を推定する推定部と、
推定された前記摂取量を出力する出力部と
してコンピュータを機能させるための予測プログラム。
An acquisition unit for acquiring a biological signal generated by the swallowing motion of the subject;
The power spectral density is generated from the biological signal, the power spectral density is used as an explanatory variable , and the generated power spectral density is analyzed by first machine learning corresponding to classification of behavior using the throat. A determination unit that determines whether the subject has ingested an intake;
Wherein when it is determined that the viewer has ingested, time time characteristics data indicating the characteristic form the biological signal or al production, second corresponding to the time characteristic data as explanatory variables and intake classification An estimation unit configured to estimate the intake of the intake of the subject by performing machine learning on the generated time characteristic data ;
A prediction program for causing a computer to function as an output unit that outputs the estimated intake amount.
JP2014050193A 2014-03-13 2014-03-13 Prediction system, prediction method, and prediction program Active JP6425393B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014050193A JP6425393B2 (en) 2014-03-13 2014-03-13 Prediction system, prediction method, and prediction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014050193A JP6425393B2 (en) 2014-03-13 2014-03-13 Prediction system, prediction method, and prediction program

Publications (2)

Publication Number Publication Date
JP2015176213A JP2015176213A (en) 2015-10-05
JP6425393B2 true JP6425393B2 (en) 2018-11-21

Family

ID=54255402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014050193A Active JP6425393B2 (en) 2014-03-13 2014-03-13 Prediction system, prediction method, and prediction program

Country Status (1)

Country Link
JP (1) JP6425393B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6243385B2 (en) * 2015-10-19 2017-12-06 ファナック株式会社 Machine learning apparatus and method for learning correction value in motor current control, correction value calculating apparatus and motor driving apparatus provided with the machine learning apparatus
WO2017081787A1 (en) * 2015-11-12 2017-05-18 富士通株式会社 Food ingestion index estimation device, food ingestion index estimation method, and food ingestion index estimation program
WO2017203601A1 (en) * 2016-05-24 2017-11-30 三井情報株式会社 Information processing device, information processing method, information processing system, and program
CN111065316A (en) * 2017-06-22 2020-04-24 夏普株式会社 Biological state management device and biological state management method
JP6914525B2 (en) * 2017-09-15 2021-08-04 国立大学法人 筑波大学 Swallowing function analysis system and program
KR102023872B1 (en) * 2019-05-21 2019-09-20 최상준 Method for calculating food intake and apparatus thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011115344A (en) * 2009-12-02 2011-06-16 Sharp Corp Eating disorder diagnostic system
JP5360093B2 (en) * 2011-02-23 2013-12-04 沖電気工業株式会社 Energy consumption measuring device, energy consumption measuring method, and motion analysis system
JP2013172899A (en) * 2012-02-27 2013-09-05 Toyota Infotechnology Center Co Ltd Awaking degree estimation device

Also Published As

Publication number Publication date
JP2015176213A (en) 2015-10-05

Similar Documents

Publication Publication Date Title
JP6425393B2 (en) Prediction system, prediction method, and prediction program
Papapanagiotou et al. A novel chewing detection system based on ppg, audio, and accelerometry
Alshurafa et al. Recognition of nutrition intake using time-frequency decomposition in a wearable necklace using a piezoelectric sensor
KR102220229B1 (en) Improving biometric performance in the presence of noise
Kalantarian et al. A survey of diet monitoring technology
Amft et al. Recognition of dietary activity events using on-body sensors
JP6489130B2 (en) Meal estimation program, meal estimation method, and meal estimation device
JP2021524958A (en) Respiratory state management based on respiratory sounds
Wang et al. Eating detection and chews counting through sensing mastication muscle contraction
JP2023175924A (en) Computing device for predicting sleep state on basis of data measured in sleep environment of user
JP6638734B2 (en) Meal time estimation method, meal time estimation program, and meal time estimation device
Hussain et al. Food intake detection and classification using a necklace-type piezoelectric wearable sensor system
Baldassarre et al. The role of electrocardiography in occupational medicine, from Einthoven’s invention to the digital era of wearable devices
Klefot et al. Development of a noninvasive system for monitoring dairy cattle sleep
Geuther et al. High-throughput visual assessment of sleep stages in mice using machine learning
JP2019051129A (en) Deglutition function analysis system and program
EP3417773B1 (en) Meal detection method, meal detection system, and meal detection program
CN103619240A (en) Method and system for determining HRV and RRV and use to identify potential condition onset
Dong et al. Analyzing breathing signals and swallow sequence locality for solid food intake monitoring
Mertes et al. Detection of chewing motion using a glasses mounted accelerometer towards monitoring of food intake events in the elderly
Wang et al. Inferring food types through sensing and characterizing mastication dynamics
JP2017012249A (en) Meal time estimation method, meal time estimation program and meal time estimation device
Selamat et al. A novel peak detection algorithm using particle swarm optimization for chew count estimation of a contactless chewing detection
Mertes et al. Detection of chewing motion in the elderly using a glasses mounted accelerometer in a real-life environment
JP5635637B2 (en) Animal abnormality detection device, animal abnormality detection method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181023

R150 Certificate of patent or registration of utility model

Ref document number: 6425393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250