JP6958486B2 - 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム - Google Patents
咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム Download PDFInfo
- Publication number
- JP6958486B2 JP6958486B2 JP2018103580A JP2018103580A JP6958486B2 JP 6958486 B2 JP6958486 B2 JP 6958486B2 JP 2018103580 A JP2018103580 A JP 2018103580A JP 2018103580 A JP2018103580 A JP 2018103580A JP 6958486 B2 JP6958486 B2 JP 6958486B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- learning model
- myoelectric
- mastication
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000003183 myoelectrical effect Effects 0.000 claims description 103
- 230000018984 mastication Effects 0.000 claims description 92
- 238000010077 mastication Methods 0.000 claims description 92
- 230000001055 chewing effect Effects 0.000 claims description 66
- 230000002159 abnormal effect Effects 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 48
- 210000003205 muscle Anatomy 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000002567 electromyography Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000013500 data storage Methods 0.000 description 12
- 210000003784 masticatory muscle Anatomy 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 210000000966 temporal muscle Anatomy 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 4
- 229940112822 chewing gum Drugs 0.000 description 3
- 235000015218 chewing gum Nutrition 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 210000001352 masseter muscle Anatomy 0.000 description 3
- 208000037826 rabdomyosarcoma Diseases 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 208000002925 dental caries Diseases 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001738 temporomandibular joint Anatomy 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 208000028911 Temporomandibular Joint disease Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/224—Measuring muscular strength
- A61B5/228—Measuring muscular strength of masticatory organs, e.g. detecting dental force
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Dentistry (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
この発明の一態様は、ユーザの咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、咀嚼側判定装置、その方法およびプログラムに関する。
食事などの咀嚼活動において、ヒトは、虫歯などによる痛みや利き顎の影響により、左右のどちらか一方に偏って食べ物を噛むことがある。咀嚼の際に主に使用されている側は咀嚼側と呼ばれ、咀嚼の偏りは偏咀嚼と呼ばれる。このような偏咀嚼は、顎の歪みを引き起こし、顔の歪みや顎関節症、さらには肩こりや頭痛をもまねくことがある。したがって、偏咀嚼の早期発見のため、ユーザの日常的な咀嚼運動の習慣を把握することが有用と考えられる。
簡易に咀嚼習慣を推定する手法として、咀嚼時の左右の筋活動を測定する方法が知られている(非特許文献1参照)。例えば、ディスポーザブル電極を左右の咀嚼筋(咬筋または側頭筋)に設置して筋電位を計測すると、右側で咀嚼した場合は右側の筋電位の振幅が大きくなり、左側で咀嚼した場合は左側の筋電位の振幅が大きくなる。
Yo Yamasaki et al., "Objective assessment of actual chewing side by measurement of bilateral masseter muscle electromyography", Archives of Oral Biology, Volume 60, Issue 12, December 2015, Pages 1756-1762
ところが、咀嚼習慣の推定のために筋活動を日常的に長期間モニタリングする場合、ノイズの混入が推定結果に大きく影響する可能性がある。例えば、身体が動いたり電極がずれたりして皮膚と電極の接触状況が変化すると筋電センサの測定値(電位)が変化することが知られているが、これを筋電位として解析してしまうと、推定結果の信頼性が低くなると考えられる。長期間モニタリング用にディスポーザブル電極ではなく布電極を用いる場合、この影響が特に顕著となる。
また、筋電位の振幅は、皮膚と電極の接触インピーダンス(皮膚インピーダンス)の影響により変化する。皮膚インピーダンスは外気の湿度やヒトの汗により容易に変化するため、筋電位の振幅を指標として咀嚼側を判定しようとする場合、これらの影響により誤判定する可能性も考えられる。
本発明は上記事情に着目してなされたもので、その目的とするところは、咀嚼筋の表面筋電位に基づいてユーザの咀嚼側を判定するための信頼性の高い技術を提供することにある。
上記課題を解決するためにこの発明の第1の態様は、学習モデル生成装置において、ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得し、上記第1および第2の筋電波形の各々から抽出される情報の相関係数を学習用の第1の特徴量として算出し、上記第1の筋電波形を周波数解析して得られるパワースペクトルから学習用の第2の特徴量を算出し、上記第2の筋電波形を周波数解析して得られるパワースペクトルから学習用の第3の特徴量を算出し、上記学習用の第1、第2および第3の特徴量と、上記ユーザの咀嚼側を区別するための複数のラベルとを対応付けて学習モデルを生成するようにしたものである。
この発明の第2の態様は、上記第1の態様の学習モデル生成装置によって生成された学習モデルを用いてユーザの咀嚼側を判定する咀嚼側判定装置において、上記ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得し、上記第1および第2の筋電波形の各々から抽出される情報の相関係数を判定用の第1の特徴量として算出し、上記第1の筋電波形を周波数解析して得られるパワースペクトルから判定用の第2の特徴量を算出し、上記第2の筋電波形を周波数解析して得られるパワースペクトルから判定用の第3の特徴量を算出し、上記学習モデルを参照して、上記判定用の第1、第2および第3の特徴量に基づいて、上記ユーザの咀嚼側を判定するようにしたものである。
この発明の第3の態様は、上記第2の態様において、上記判定用の第1、第2および第3の特徴量に基づいて、所定の単位時間幅ごとに上記判定用の第1、第2および第3の特徴量が正常値であるか異常値であるかの異常値判定をさらに行い、正常値であると判定された単位時間幅についてのみ咀嚼側の判定を行うようにしたものである。
この発明の第4の態様は、上記第3の態様において、教師なし学習モデルを用いて上記異常値判定を行うようにしたものである。
この発明の第1の態様によれば、学習用の特徴量として、ユーザの左右の咀嚼筋の各々に由来する筋電波形に関する相関係数と、左右の咀嚼筋に由来する筋電波形の各々を周波数解析して得られたパワースペクトルから算出される値とを採用し、それらの特徴量をユーザの咀嚼側を区別するためのラベルに対応付けることによって学習モデルが生成される。このように、学習モデルの生成において、皮膚インピーダンスの影響を受けやすい筋電位の振幅を用いずに、皮膚インピーダンスの変化に比較的ロバストな特徴量を用いたので、計測状況の影響を受けにくい信頼性の高い学習モデルを得ることができる。
この発明の第2の態様によれば、上記のように生成された学習モデルを参照し、ユーザの左右の咀嚼筋の各々に由来する筋電波形に関する相関係数と、左右の咀嚼筋に由来する筋電波形の各々を周波数解析して得られたパワースペクトルから算出される値とを判定用の特徴量として用いることにより、上記ラベルに基づいて咀嚼側が判定される。このように、学習モデルの生成および分類判定に用いる特徴量として、皮膚インピーダンスの変化に比較的ロバストな特徴量を用いたので、皮膚インピーダンスの変化に起因する誤判定の確率が低減された、信頼性の高い判定結果を得ることができる。
この発明の第3の態様によれば、上記のような3つの特徴量に基づいて、単位時間幅ごとに正常値か異常値かの判定が行われ、正常値と判定された単位時間幅のデータについてのみ咀嚼側の判定が行われる。このように、皮膚インピーダンスの変化に比較的ロバストな特徴量を用いるので、異常検知の信頼性を高めることができる。またこれにより、単位時間幅ごとに、異常値(すなわちノイズ)と判定されたデータを排除して、正常値(すなわち筋電由来)と判定されたデータのみを咀嚼側の判定に用いることができるので、ノイズに起因する誤判定の確率をさらに低減し、より信頼性の高い咀嚼側判定を実現することができる。また、咀嚼側の判定に用いる対象データを必要最小限に抑えることができるので、システムの処理負荷を軽減することもできる。
この発明の第4の態様によれば、上記異常値判定が教師なし学習モデルを用いて行われる。これにより、正常値か異常値かを人間が判定困難なデータについても、あらかじめラベル付けする必要なしに、機械学習により容易に異常値か否かの判定を行うことができる。これにより、複雑な処理を要することなく、対象データから異常値を判別して解析対象から除外することのできる、信頼性の高い咀嚼側判定を実現することができる。
すなわちこの発明の各態様によれば、咀嚼筋の表面筋電位に基づいてユーザの咀嚼側を判定するための信頼性の高い技術を提供することができる。
以下、図面を参照してこの発明に係わる実施形態について説明する。
[一実施形態]
(構成)
図1は、この発明の一実施形態に係る咀嚼側判定装置を備えたシステムの全体構成図である。このシステムは、咀嚼側判定装置1と、筋電センサ2と、電極3L1,3L2,3R1,3R2,3Gとを備えている。
[一実施形態]
(構成)
図1は、この発明の一実施形態に係る咀嚼側判定装置を備えたシステムの全体構成図である。このシステムは、咀嚼側判定装置1と、筋電センサ2と、電極3L1,3L2,3R1,3R2,3Gとを備えている。
図1に示すように、一実施形態では、ユーザの左側頭筋上および右側頭筋上の各皮膚面にそれぞれ電極3L1と3L2および電極3R1と3R2が貼付され、ユーザの額中央部の表面上にグランド用の電極3Gが貼付される。左側頭筋および右側頭筋は、例えば咀嚼運動を行うための筋肉の1つであり、こめかみ付近に位置している。
表面筋電図(sEMG:surface Electromyography)は、一般に、筋線維の走行方向に沿って設置された2つの電極間の電位差の時間的推移を表したものである。これら2つの電極間の距離は、計測対象の筋の大きさに応じて20mm〜40mm程度に設定される。グランド用の電極3Gの設置位置は厳密に決める必要はなく、一般に筋のない部位の皮膚上に設置される。
電極3L1と3L2(まとめて「電極3L」と言う。)および電極3R1と3R2(まとめて「電極3R」と言う。)は、例えば電極サイズが30mm×30mmの布電極からなり、それぞれ左側頭筋および右側頭筋の筋活動を表す電位信号をVL1,VL2,VR1,VR2(まとめて「筋電位信号V」と言う。)として出力する。グランド用の電極3Gは基準電位を表す信号VREFを出力する。これらの筋電位信号Vおよび基準電位信号VREFは、例えば信号ケーブルを介して筋電センサ2に送られる。
なお、電極3L,3R,3Gに、例えばBluetooth(登録商標)等の小電力無線データ通信規格を採用した無線ユニットを付設し、これにより筋電位信号Vおよび基準電位信号VREFを筋電センサ2に対し無線送信するように構成してもよい。また、電極3L,3Rの貼付位置は、左右の咀嚼筋上で任意に選択することができ、さらに電極3L,3R,3Gのサイズや形状、材質、貼付手段等についても、表面筋電図を計測可能なものであれば如何なるものであってもよい。また、電極3L,3R,3Gは前置増幅器と一体化されたものであってもよい。
筋電センサ2は、電極3L,3R,3Gを用いて計測された筋電位信号Vおよび基準電位信号VREFに対して所定の処理を行って咀嚼側判定装置1に出力する。例えば、筋電センサ2は、入力された左右の筋電位信号VL1,VL2,VR1,VR2と基準電位信号VREFとに基づいて、筋電位信号VL1とVL2の電位差およびVR1とVR2の電位差から、左右それぞれの表面筋電図を表す信号を取得し、その各々を増幅し(例えば増幅率1000倍)、バンドパスフィルタ処理を行い、AD変換した後、ディジタル信号SL,SRとして咀嚼側判定装置1に出力することができる。ただし、筋電センサ2は、独立した装置である必要はなく、電極3L,3R,3Gと一体化されてもよく、咀嚼側判定装置1と一体化されてもよい。
咀嚼側判定装置1は、例えばパーソナルコンピュータを用いたもので、以下のように構成される。図2はそのハードウェアおよびソフトウェアの機能構成を示すブロック図である。
咀嚼側判定装置1は、入出力インタフェースユニット10と、処理ユニット20と、記憶ユニット30とを備える。
入出力インタフェースユニット10は、筋電センサ2から出力されたディジタル信号SL,SRを受け取って筋電図データ(以下、「筋電波形」とも言う。)として処理ユニット20に出力するとともに、処理ユニット20から出力された判定結果を外部デバイスへ出力する機能も備える。外部デバイスとしては、例えば表示器を備えたユーザ端末や、計測データをもとにユーザの咀嚼運動等を判定するパーソナルコンピュータやサーバ等の情報処理装置が想定される。
記憶ユニット30は、例えば、記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込および読出しが可能な不揮発性メモリとRAM等の揮発性メモリを使用したもので、その記憶領域には、プログラム記憶部に加え、筋電図データ記憶部31と、特徴量記憶部32と、異常値判定用学習モデル記憶部33と、分類用学習モデル記憶部34とが設けられている。
筋電図データ記憶部31は、取得された筋電図データを時系列に従って記憶する。筋電図データ記憶部31は、また、例えば図示しない入力部を介してユーザによって入力された、筋電図データが取得されたときのユーザの咀嚼の状態(咀嚼側)を区別する情報も記憶することができる。
特徴量記憶部32は、筋電図データをもとに算出された特徴量を記憶する。特徴量記憶部32は、また、算出された特徴量を、咀嚼側を区別する情報に対応付けて記憶することができる。
異常値判定用学習モデル記憶部33は、上記特徴量に基づいて生成された、異常値判定処理の際に参照される異常値判定用学習モデルを記憶する。
分類用学習モデル記憶部34は、上記特徴量と咀嚼側を区別する情報とに基づいて生成された、咀嚼側を判定するための分類処理の際に参照される分類用学習モデルを記憶する。
処理ユニット20は、図示しないCPU(Central Processing Unit)等のハードウェアプロセッサとメモリとを有し、この実施形態を実施するために必要な処理機能として、データ取得部21と、データ処理部22と、特徴量算出部23と、学習モデル生成部24と、判定部25とを備えている。これらの処理機能は、いずれも上記記憶ユニット30に格納されたプログラムを上記プロセッサに実行させることにより実現される。
データ取得部21は、入出力インタフェースユニット10から、上記左右の各側頭筋の動きを表す筋電図データを取り込み、これらの筋電図データを時系列に従い筋電図データ記憶部31に格納する処理を行う。このとき、データ取得部21は、例えば図示しない入力部を介して咀嚼側判定装置1のユーザまたはオペレータ等によって入力された、筋電位計測時のユーザの咀嚼側を区別する情報も取得することができる。この情報は、筋電図データに対応付けて前記筋電図データ記憶部31に格納され、のちに、教師あり学習において正解ラベルとして使用されることができる。
データ処理部22は、筋電図データ記憶部31から筋電図データを読み出し、所定の処理を行う。例えば、データ処理部22は、体動等によるノイズ成分を除去するために周波数通過帯域が予め設定されたバンドパスフィルタ処理機能を有する。そして、上記筋電図データ記憶部31から読み出された筋電図データに対し上記バンドパスフィルタ処理を行うことで、上記データから体動等によるノイズ成分を除去する。
特徴量算出部23は、上記データ処理部22によりフィルタリング処理された筋電図データに対し所定の時間幅を有する窓を設定し、この窓ごとに筋電波形の特徴量を算出し、算出された特徴量を特徴量記憶部32に格納する処理を行う。この実施形態では、特徴量算出部23は、相関係数(特徴量F1)算出部231、右周波数パラメータ(特徴量F2)算出部232、左周波数パラメータ(特徴量F3)算出部233を備える。算出された3つの特徴量F1,F2,F3は、特徴量記憶部32に格納される。このとき、特徴量F1,F2,F3は、ユーザの咀嚼側を区別する情報と対応付けて格納されることもできる。
相関係数算出部231は、特徴量F1として、上記所定の時間幅を有する窓ごとに、左右の各側頭筋の筋電波形に対して二乗平均平方根(RMS:Root Mean Square)処理を施したのち、左右の筋電波形の各々から抽出される情報の相関を表す相関係数を算出する処理を行う。例えば、相関係数算出部231は、特徴量F1として、RMS処理した筋電波形から、あらかじめ設定された一定の窓幅について左右の筋電位の絶対値間の相互相関係数を算出する。
右周波数パラメータ算出部232は、右側頭筋上の電極3Rを介して取得された筋電波形を周波数解析し、その周波数解析により得られたパワースペクトルから特徴量F2を算出する処理を行う。例えば、右周波数パラメータ算出部232は、特徴量F2として、右側頭筋の筋電波形のパワースペクトルから周波数中央値(MF:Median Power Frequency)を算出する。
左周波数パラメータ算出部233は、左側頭筋上の電極3Lを介して取得された筋電波形を周波数解析し、その周波数解析により得られたパワースペクトルから特徴量F3を算出する処理を行う。例えば、左周波数パラメータ算出部233は、特徴量F3として、左側頭筋の筋電波形のパワースペクトルから周波数中央値を算出する処理を行う。
学習モデル生成部24は、特徴量算出部23によって算出され特徴量記憶部32に記憶された特徴量F1〜F3をもとに学習モデルを生成するもので、異常値判定用学習モデル生成部241と、分類用学習モデル生成部242とを備える。
異常値判定用学習モデル生成部241は、特徴量F1〜F3をもとに、異常値を判定するための学習モデルを生成し、異常値判定用学習モデル記憶部33に格納する処理を行う。
分類用学習モデル生成部242は、特徴量F1〜F3と、当該特徴量に対応付けられた咀嚼側を区別する情報とをもとに、咀嚼側を判定する際に参照するための分類用学習モデルを生成し、分類用学習モデル記憶部34に格納する処理を行う。
判定部25は、新たに取得されたデータをもとに、あらかじめ生成された学習モデルを参照して判定を行うもので、異常値判定部251と、分類判定部252とを備える。
異常値判定部251は、異常値判定用学習モデル記憶部33に記憶された異常値判定用学習モデルを参照して、新たに計測された筋電図データ(筋電波形)から算出された特徴量F1〜F3に基づき、所定の単位窓ごとに異常値判定の処理を行う。例えば、異常値判定部251は、1クラスサポートベクトルマシン(One−Class SVM)などの異常検知(外れ値検知)アルゴリズムを用いて、新たに取得されたデータが正常値であるか異常値であるかを判定することができる。
分類判定部252は、分類用学習モデル記憶部34に記憶された分類用学習モデルを参照して、新たに計測された筋電図データ(筋電波形)から算出された特徴量F1〜F3に基づき、所定の単位窓ごとに、分類判定、すなわち咀嚼側を判定する処理を行う。例えば、分類判定部252は、k近傍法などの分類判別アルゴリズムを用いて、新たに取得されたデータがいずれのクラス(例えば、両側咀嚼、右側咀嚼、または左側咀嚼)に属するかを判定することができる。
(動作)
次に、以上のように構成された咀嚼側判定装置1による学習モデル生成および咀嚼側判定の動作について説明する。
次に、以上のように構成された咀嚼側判定装置1による学習モデル生成および咀嚼側判定の動作について説明する。
(1)学習モデルの生成
はじめに、咀嚼側判定装置1は、筋電図データから算出される特徴量に基づいて、学習モデルを生成する処理を行う。ここでは、学習モデルとして、異常検知のための異常値判定用学習モデルと、分類判定のための分類用学習モデルとが生成される。
はじめに、咀嚼側判定装置1は、筋電図データから算出される特徴量に基づいて、学習モデルを生成する処理を行う。ここでは、学習モデルとして、異常検知のための異常値判定用学習モデルと、分類判定のための分類用学習モデルとが生成される。
(1−1)学習用データの取得
(1−1−1)表面筋電図の計測
図1に例示したように、ユーザの左右の側頭筋上の皮膚にそれぞれ2枚の布電極3L1,3L2,3R1,3R2を貼付し、ユーザの額中央部の皮膚にグランド用の電極3Gを貼付する。ラベル付けのため、例えば、ユーザの口内の左右両側にチューインガムをおいて両側咀嚼、右側だけにチューインガムをおいて片側咀嚼、左側だけにチューインガムをおいて片側咀嚼などの条件を設定して、ユーザに咀嚼動作をさせる。そして、これら各々の条件下で上記各電極により検出された表面筋電位VL1,VL2,VR1,VR2,VREFに対し、筋電センサ2により、増幅、フィルタ処理、およびアナログディジタル変換等の所定の処理を施した後、左右の筋電図データそれぞれを表すディジタル信号SL,SRとして咀嚼側判定装置1へと出力する。なお、上記咀嚼条件は、例えば図示しない入力部などによりユーザが咀嚼側判定装置1に入力し、時間情報とともにデータまたは特徴量に対応付けて記憶させることができる。
(1−1−1)表面筋電図の計測
図1に例示したように、ユーザの左右の側頭筋上の皮膚にそれぞれ2枚の布電極3L1,3L2,3R1,3R2を貼付し、ユーザの額中央部の皮膚にグランド用の電極3Gを貼付する。ラベル付けのため、例えば、ユーザの口内の左右両側にチューインガムをおいて両側咀嚼、右側だけにチューインガムをおいて片側咀嚼、左側だけにチューインガムをおいて片側咀嚼などの条件を設定して、ユーザに咀嚼動作をさせる。そして、これら各々の条件下で上記各電極により検出された表面筋電位VL1,VL2,VR1,VR2,VREFに対し、筋電センサ2により、増幅、フィルタ処理、およびアナログディジタル変換等の所定の処理を施した後、左右の筋電図データそれぞれを表すディジタル信号SL,SRとして咀嚼側判定装置1へと出力する。なお、上記咀嚼条件は、例えば図示しない入力部などによりユーザが咀嚼側判定装置1に入力し、時間情報とともにデータまたは特徴量に対応付けて記憶させることができる。
図3は、一実施形態に係る咀嚼側判定装置1による学習モデル生成の処理手順と処理内容を示すフローチャートである。
咀嚼側判定装置1の処理ユニット20は、ステップS301により筋電図データの受信の有無を監視している。この状態で、筋電センサ2から筋電図データが送られると、咀嚼側判定装置1は、データ取得部21の制御の下、ステップS302において、ディジタル信号SL,SRを、入出力インタフェースユニット10から所定の時間にわたって順次取込み、時系列に従って筋電図データ記憶部31に記憶させる。例えば、データ取得部21では、サンプリングレート1000Hzで信号SL,SRのサンプリングが行われる。
次に咀嚼側判定装置1の処理ユニット20は、データ処理部22の制御の下、ステップS303において、上記筋電図データ記憶部31から左右の各側頭筋に対応する筋電図データを読み出し、これらのデータに対して所定の処理、例えばバンドパスフィルタ処理を行う。このときバンドパスフィルタ処理の通過帯域は、例えば20−450Hzに設定される。この結果、データ処理部22により、20−450Hz以外の帯域に含まれる、咀嚼動作に関係のないノイズ成分が除去される。
(1−1−2)特徴量の算出
続いて、咀嚼側判定装置1は、特徴量算出部23の制御の下、特徴量の算出を行う。この実施形態では、以下の3つの特徴量が算出される。
F1:一定窓幅における左右の筋電位の絶対値の相関係数
F2:一定窓幅における右側の筋電位のパワースペクトルの周波数中央値
F3:一定窓幅における左側の筋電位のパワースペクトルの周波数中央値
続いて、咀嚼側判定装置1は、特徴量算出部23の制御の下、特徴量の算出を行う。この実施形態では、以下の3つの特徴量が算出される。
F1:一定窓幅における左右の筋電位の絶対値の相関係数
F2:一定窓幅における右側の筋電位のパワースペクトルの周波数中央値
F3:一定窓幅における左側の筋電位のパワースペクトルの周波数中央値
咀嚼側判定装置1は、相関係数算出部231の制御の下、ステップS304において、上記データ処理部22によりフィルタリング処理された左右の各側頭筋に対応する筋電図データに対し、100ミリ秒(ms)ごとの窓を設定し、これらの窓ごとに上記各データの二乗平均平方根(RMS)を算出する。
次いで、咀嚼側判定装置1は、相関係数算出部231の制御の下、ステップS305において、上記窓ごとに算出された左右のRMS間の相互相関係数を時間窓2秒(s)ごとに特徴量F1として算出する。
この特徴量F1は、顎関節が左右同時に動くという特徴に着目したものである。筋活動由来の筋電波形は左右で似た形となり相関係数が高くなるが、ノイズ由来の電位変化の波形は左右で異なる形となり相関係数が低くなると考えられる。
咀嚼側判定装置1の特徴量算出部23は、上記特徴量F1を算出するステップS304〜S305の後に、ステップS304〜S305と並行して、またはステップS304〜S305の前に、特徴量F2およびF3の算出を行うことができる。
咀嚼側判定装置1は、右周波数パラメータ算出部232および左周波数パラメータ算出部233の制御の下、ステップS306において、左右各々の筋電図データに対し高速フーリエ変換(FFT:Fast Fourier Transform)などの周波数解析を行って、それぞれのパワースペクトルを得る。
次いで、右周波数パラメータ算出部232および左周波数パラメータ算出部233は、ステップS307において、それぞれ特徴量F2およびF3として、上記パワースペクトルの代表値として周波数中央値(MF:Median Power Frequency)を算出する。周波数中央値は、パワースペクトルの面積を二分する周波数である。なお、パワースペクトルから算出される特徴量は、周波数中央値に限られず、例えば、平均周波数(MPF:Mean Power Frequency)を用いることも可能である。
右周波数パラメータ算出部232による特徴量F2の算出と、左周波数パラメータ算出部233による特徴量F3の算出は、同時並行で行われても、順次に行われてもよい。
以上の処理により算出された特徴量F1,F2,F3は、ステップS308において、時間情報とともに特徴量記憶部32に記憶される。このとき、特徴量F1,F2,F3は、上記のように、あらかじめ入力された咀嚼条件などの咀嚼側を区別する情報に対応付けて記憶させることもできる。
(1−2)学習モデル
次に、咀嚼側判定装置1は、特徴量F1,F2,F3をもとに、以下の学習モデルを生成する。
次に、咀嚼側判定装置1は、特徴量F1,F2,F3をもとに、以下の学習モデルを生成する。
(1−2−1)異常値判定用学習モデル
まず、咀嚼側判定装置1は、異常値判定用学習モデル生成部241の制御の下、ステップS309において、特徴量記憶部32から特徴量F1,F2,F3を読み出し、これらをもとに異常値判定のための学習モデルを生成する。この実施形態では、教師なし学習を採用することができ、機械学習アルゴリズムとして、例えば、One−Class SVMを用いることができる。One−Class SVMは、正常データのみを使用して学習を行い、正常データを含む領域を推定する方法である。新しいデータがこの領域内に入れば正常値とみなし、この領域外であれば異常値とみなす。したがって、上記のようにあらかじめ咀嚼筋活動由来の筋電位データを測定しておき、それらから算出された特徴量F1,F2,F3を学習データとして用いて学習モデルを生成することができる。
まず、咀嚼側判定装置1は、異常値判定用学習モデル生成部241の制御の下、ステップS309において、特徴量記憶部32から特徴量F1,F2,F3を読み出し、これらをもとに異常値判定のための学習モデルを生成する。この実施形態では、教師なし学習を採用することができ、機械学習アルゴリズムとして、例えば、One−Class SVMを用いることができる。One−Class SVMは、正常データのみを使用して学習を行い、正常データを含む領域を推定する方法である。新しいデータがこの領域内に入れば正常値とみなし、この領域外であれば異常値とみなす。したがって、上記のようにあらかじめ咀嚼筋活動由来の筋電位データを測定しておき、それらから算出された特徴量F1,F2,F3を学習データとして用いて学習モデルを生成することができる。
異常値判定用学習モデル生成部241は、ステップS310において、生成された学習モデルを異常値判定用学習モデル記憶部33に記憶する。
(1−2−2)分類用学習モデル
ステップS309〜S310と並行して、または順次に、咀嚼側判定装置1は、分類用学習モデル生成部242の制御の下、ステップS311において、特徴量記憶部32から特徴量F1,F2,F3を読み出し、これらをもとに分類判別のための学習モデルを生成する。この実施形態では、教師あり学習を採用することができ、機械学習アルゴリズムとして、例えば、k近傍法を用いることができる。k近傍法は、学習データ(鋳型)をベクトル空間上にプロットしておき、新たなデータから距離が近い順に任意のK個の鋳型を選択し、それらK個のうち最も多くの鋳型が所属するクラスに基づいて、新たなデータが属するクラスを推定する方法である。したがって、上記のようにあらかじめ咀嚼側を区別可能な条件下で咀嚼筋活動由来の筋電位データを計測しておき、それらから算出された特徴量F1,F2,F3を、咀嚼側を区別するラベルとともに学習データとして用いて、学習モデルを生成することができる。
ステップS309〜S310と並行して、または順次に、咀嚼側判定装置1は、分類用学習モデル生成部242の制御の下、ステップS311において、特徴量記憶部32から特徴量F1,F2,F3を読み出し、これらをもとに分類判別のための学習モデルを生成する。この実施形態では、教師あり学習を採用することができ、機械学習アルゴリズムとして、例えば、k近傍法を用いることができる。k近傍法は、学習データ(鋳型)をベクトル空間上にプロットしておき、新たなデータから距離が近い順に任意のK個の鋳型を選択し、それらK個のうち最も多くの鋳型が所属するクラスに基づいて、新たなデータが属するクラスを推定する方法である。したがって、上記のようにあらかじめ咀嚼側を区別可能な条件下で咀嚼筋活動由来の筋電位データを計測しておき、それらから算出された特徴量F1,F2,F3を、咀嚼側を区別するラベルとともに学習データとして用いて、学習モデルを生成することができる。
分類用学習モデル生成部242は、ステップS312において、生成された学習モデルを分類用学習モデル記憶部34に記憶する。
なお、以上の実施形態では、異常値判定用学習モデルの生成と、分類用学習モデルの生成に、同じ特徴量を用いるものとして説明したが、これに限定されるものではなく、互いに異なる特徴量を用いて各モデルを生成することも可能である。また、各学習モデルを生成するためのアルゴリズムは、上記の例に限定されるものではなく、任意の学習アルゴリズムを用いることが可能である。
(2)学習モデルを用いた判定
次に、咀嚼側判定装置1は、生成された学習モデルを参照して、新たに取得されたデータから算出される特徴量に基づいて、異常値および咀嚼側を判定する処理を行う。
次に、咀嚼側判定装置1は、生成された学習モデルを参照して、新たに取得されたデータから算出される特徴量に基づいて、異常値および咀嚼側を判定する処理を行う。
(2−1)判定用データの取得
(2−1−1)表面筋電図の計測
判定に用いる筋電図データの取得および特徴量の算出は、上記(1)で学習用データの取得として説明したのと同様に行うことができる。
(2−1−1)表面筋電図の計測
判定に用いる筋電図データの取得および特徴量の算出は、上記(1)で学習用データの取得として説明したのと同様に行うことができる。
すなわち、まず図1に例示したように、ユーザの左右の側頭筋上の皮膚にそれぞれ2枚の布電極3L1,3L2,3R1,3R2を貼付し、ユーザの額中央部の皮膚にグランド用の電極3Gを貼付する。各電極により検出された表面筋電位VL1,VL2,VR1,VR2,VREFは、筋電センサ2により、増幅、フィルタ処理、およびアナログディジタル変換等の所定の処理を施された後、左右の筋電図データそれぞれを表すディジタル信号SL,SRとして出力される。判定用のデータであるので、学習用データの取得の際に行ったような咀嚼条件の設定は行わない。
図4は、一実施形態に係る咀嚼側判定装置1による異常値判定および分類判定の処理手順と処理内容を示すフローチャートである。なお、ステップS401〜S408は、図3で説明したステップS301〜S308と同様であるので、詳細には説明しない。
はじめに、咀嚼側判定装置1の処理ユニット20は、ステップS401により筋電図データの受信の有無を監視している。この状態で、筋電センサ2から筋電図データが送られると、咀嚼側判定装置1は、データ取得部21の制御の下、ステップS402において、ディジタル信号SL,SRを、入出力インタフェースユニット10から所定の時間にわたって順次取込み、時系列に従って筋電図データ記憶部31に記憶させる。サンプリングレートは学習データの取得の際に用いたのと同様に設定することができる。
次に咀嚼側判定装置1の処理ユニット20は、データ処理部22の制御の下、ステップS403において、上記筋電図データ記憶部31から左右の各側頭筋に対応する筋電図データを読み出し、これらのデータに対してバンドパスフィルタ処理を行う。
(2−1−2)特徴量の算出
続いて、咀嚼側判定装置1は、特徴量算出部23の制御の下、特徴量の算出を行う。この実施形態では、学習に用いたのと同じ3種類の特徴量F1,F2,F3が算出される。
続いて、咀嚼側判定装置1は、特徴量算出部23の制御の下、特徴量の算出を行う。この実施形態では、学習に用いたのと同じ3種類の特徴量F1,F2,F3が算出される。
咀嚼側判定装置1は、相関係数算出部231の制御の下、ステップS404において、上記データ処理部22によりフィルタリング処理された左右の各側頭筋に対応する筋電図データの二乗平均平方根(RMS)を算出する。次いで、相関係数算出部231の制御の下、ステップS405において、左右のRMS間の相互相関係数を特徴量F1として算出する。
咀嚼側判定装置1の特徴量算出部23は、上記特徴量F1を算出するステップS404〜S405の後に、ステップS404〜S405と並行して、またはステップS404〜S405の前に、特徴量F2およびF3の算出を行うことができる。
咀嚼側判定装置1は、右周波数パラメータ算出部232および左周波数パラメータ算出部233の制御の下、ステップS406において、左右各々の筋電図データに対しFFTなどの周波数解析を行って、それぞれのパワースペクトルを得る。
次いで、右周波数パラメータ算出部232および左周波数パラメータ算出部233は、ステップS407において、それぞれ特徴量F2またはF3として、上記パワースペクトルの周波数中央値を算出する。なお、右周波数パラメータ算出部232および左周波数パラメータ算出部233は、ステップS406〜S407において順次にまたは同時並行して特徴量F2およびF3の算出を行うことができる。
以上の処理により算出された特徴量F1,F2,F3は、ステップS408において、時間情報とともに特徴量記憶部32に記憶される。
(2−2)異常値の判定
続いて、咀嚼側判定装置1は、異常値判定部251の制御の下、ステップS409において、異常値判定用学習モデル記憶部33に記憶された異常値判定用学習モデルを読み出し、その学習モデルを参照して、異常値の判定を行う。この実施形態では、One−Class SVMを用いて構築された学習モデルにより、各データが正常値であるか異常値であるかを判定する。すなわち、上記のように、あらかじめ咀嚼筋活動由来の筋電位データを測定しておき、そのデータから算出された特徴量をもとに異常値判定用学習モデルが生成される。そのあらかじめ生成された学習モデルを参照して、新たに測定されたデータが正常値であるか異常値であるか、すなわち、筋電位であるかノイズであるかが判定される。新たに測定されたデータの特徴量が学習モデルの境界内に入れば、新たに測定されたデータは筋電位と判定され、入らなければノイズと判定されることになる。
続いて、咀嚼側判定装置1は、異常値判定部251の制御の下、ステップS409において、異常値判定用学習モデル記憶部33に記憶された異常値判定用学習モデルを読み出し、その学習モデルを参照して、異常値の判定を行う。この実施形態では、One−Class SVMを用いて構築された学習モデルにより、各データが正常値であるか異常値であるかを判定する。すなわち、上記のように、あらかじめ咀嚼筋活動由来の筋電位データを測定しておき、そのデータから算出された特徴量をもとに異常値判定用学習モデルが生成される。そのあらかじめ生成された学習モデルを参照して、新たに測定されたデータが正常値であるか異常値であるか、すなわち、筋電位であるかノイズであるかが判定される。新たに測定されたデータの特徴量が学習モデルの境界内に入れば、新たに測定されたデータは筋電位と判定され、入らなければノイズと判定されることになる。
ステップS410において、異常値判定部251の制御の下、データが正常値(筋電位)であると判定された場合、咀嚼側判定装置1は、ステップS411に移行し、咀嚼側の判定処理を行う。一方、ステップS410において、データが異常値(ノイズ)であると判定された場合、咀嚼側判定装置1は、ステップS411をスキップすることができる。ただし、ステップS409〜S410は省略されることも可能である。すなわち、異常値判定を行わずに、すべてのデータについて分類判定(咀嚼側の判定)を行うこともできる。
(2−3)咀嚼側の判定
咀嚼側判定装置1は、ステップS411において、分類判定部252の制御の下、分類用学習モデル記憶部34に記憶された分類用学習モデルを読み出し、その学習モデルを参照して、咀嚼側の判定を行う。この実施形態では、k近傍法を用いて構築された学習モデルにより、各データがどのクラスに分類されるかを判定する。すなわち、上記のように、あらかじめ咀嚼側を区別可能な条件下で咀嚼筋活動由来の筋電位データを測定しておき、そのデータから算出された特徴量にラベル付けして分類用学習モデルが生成される。その学習モデルを参照して、新たに測定されたデータがどのクラス(ラベル)に分類されるか、例えば、「両側咀嚼」であるか「左側咀嚼」であるか「右側咀嚼」であるかが判定される。
咀嚼側判定装置1は、ステップS411において、分類判定部252の制御の下、分類用学習モデル記憶部34に記憶された分類用学習モデルを読み出し、その学習モデルを参照して、咀嚼側の判定を行う。この実施形態では、k近傍法を用いて構築された学習モデルにより、各データがどのクラスに分類されるかを判定する。すなわち、上記のように、あらかじめ咀嚼側を区別可能な条件下で咀嚼筋活動由来の筋電位データを測定しておき、そのデータから算出された特徴量にラベル付けして分類用学習モデルが生成される。その学習モデルを参照して、新たに測定されたデータがどのクラス(ラベル)に分類されるか、例えば、「両側咀嚼」であるか「左側咀嚼」であるか「右側咀嚼」であるかが判定される。
咀嚼側判定装置1は、次いで、ステップS412において、すべてのデータについて異常値判定(および分類判定)が行われたか否かの判定を行う。未判定のデータが残っている場合、それらのデータについてステップS409〜S411の処理を繰り返す。
(2−4)判定結果の出力
ステップS412において未判定のデータが残っていないと判定されたら、咀嚼側判定装置1は、ステップS413において、判定結果を集計し、出力することができる。例えば、咀嚼側判定装置1は、図示しない表示部を介して、所定のデータ取得期間について両側咀嚼、右側咀嚼、左側咀嚼の各々のラベルに分類されたデータの個数または割合(%)を出力することができる。この結果を見たユーザ(被験者自身または医療関係者等)は、被験者の偏咀嚼の程度を推定することができる。例えば、ある被験者について所定の時間にわたって計測されたデータが、左側咀嚼および両側咀嚼よりも右側咀嚼に分類された割合が有意に高いとの判定結果を示した場合、当該被験者は右側の偏咀嚼の傾向にあると推定することができ、偏咀嚼の原因を調べるための検査をする、咀嚼の癖を自覚させる、虫歯の治療を促すなど、適切な対応をとることができる。
ステップS412において未判定のデータが残っていないと判定されたら、咀嚼側判定装置1は、ステップS413において、判定結果を集計し、出力することができる。例えば、咀嚼側判定装置1は、図示しない表示部を介して、所定のデータ取得期間について両側咀嚼、右側咀嚼、左側咀嚼の各々のラベルに分類されたデータの個数または割合(%)を出力することができる。この結果を見たユーザ(被験者自身または医療関係者等)は、被験者の偏咀嚼の程度を推定することができる。例えば、ある被験者について所定の時間にわたって計測されたデータが、左側咀嚼および両側咀嚼よりも右側咀嚼に分類された割合が有意に高いとの判定結果を示した場合、当該被験者は右側の偏咀嚼の傾向にあると推定することができ、偏咀嚼の原因を調べるための検査をする、咀嚼の癖を自覚させる、虫歯の治療を促すなど、適切な対応をとることができる。
(検証)
上記のような一実施形態に係る咀嚼側判定装置1による判定について、その有効性の検証を行った。この検証では、被験者として年齢20代〜40代の10名を選択した。被験者の左右の側頭筋に2枚ずつ布電極を設置し、額の中央部にグランド用の電極を1枚設置した。各被験者は、椅子に座った状態で、下記の5種類のタスクを実施した。
タスク1:チューインガムを口内の左右両側において両側咀嚼を行う
タスク2:チューインガムを口内の右側のみにおいて片側咀嚼を行う
タスク3:チューインガムを口内の左側のみにおいて片側咀嚼を行う
タスク4:口を動かさずに、随意的まばたきを行う
タスク5:口を動かさずに、帽子のつばを左右に動かす
上記のような一実施形態に係る咀嚼側判定装置1による判定について、その有効性の検証を行った。この検証では、被験者として年齢20代〜40代の10名を選択した。被験者の左右の側頭筋に2枚ずつ布電極を設置し、額の中央部にグランド用の電極を1枚設置した。各被験者は、椅子に座った状態で、下記の5種類のタスクを実施した。
タスク1:チューインガムを口内の左右両側において両側咀嚼を行う
タスク2:チューインガムを口内の右側のみにおいて片側咀嚼を行う
タスク3:チューインガムを口内の左側のみにおいて片側咀嚼を行う
タスク4:口を動かさずに、随意的まばたきを行う
タスク5:口を動かさずに、帽子のつばを左右に動かす
それぞれのタスクは1分間継続して行い、その間の左右の側頭筋の筋電位を測定した。サンプリングレートは1000Hzとし、各タスクの動作は被験者がそれぞれ任意の間隔で実施した。
特徴量の算出方法は以下のとおりである。それぞれのタスク時の測定データに対して、通過帯域20〜450Hzのバンドパスフィルタ(体動ノイズ除去用)と50Hzのノッチフィルタ(商用電源の交流雑音除去用)を適用した。フィルタ適用後のデータに対して、左右それぞれの二乗平均平方根(RMS)を時間窓100msで算出し、左右のRMSの値の相関係数を時間窓2sで算出した。また、左右それぞれのフィルタ適用後の値に対して、パワースペクトルの周波数中央値を時間窓2sで算出した。特徴量算出には前後1秒ずつのサンプルデータを利用することから、各特徴量のサンプル数は被験者1名あたり1タスクにつき58000サンプル(開始1秒後から59秒後までの58秒分を使用)となった。
異常検知のアルゴリズムにはOne−Class SVM(ν値:0.9)を用い、タスク1を学習データとし、タスク2〜5をテストデータとして検証を行った。タスク1の測定データから算出された特徴量F1,F2,F3に対して標準化の前処理をした後、One−Class SVMにより異常値判定用の学習モデルを構築した。その後、その学習モデルをテストデータの各サンプルに適用して、サンプルごとに筋電位かノイズかを判定し、その割合を測定した。
図5は、上記検証による被験者10名における異常値判定結果を示す。両側咀嚼動作に対応するタスク1は上記のとおり学習データとして用いた。片側咀嚼動作に対応するタスク2とタスク3については、約90%の確率で筋電位であると正しく判定できており、咀嚼動作ではないタスク4とタスク5については、100%の確率でノイズと判定できていることがわかる。したがって、上記実施形態を用いることで、筋電位とノイズとを高精度で判別でき、ノイズと判定されたデータを除去し、筋電位と判定されたデータのみを解析対象とすることで、筋電位に基づいた信頼性の高い咀嚼側判定を行うことができる。
次に、咀嚼側の判定精度を確かめるために、タスク1、タスク2、およびタスク3のデータのみを用いて、10分割交差検証(10-fold cross validation)により判定精度を測定した。交差検証は、各クラスのデータをn個のグループに分割し、n−1個のグループを学習データとして用い、残りの1個のグループをテストデータとして用いて検証を行うものであり、一般にテストデータのグループを変更してn回繰り返した平均を検証結果とする。ここでは、タスク1〜3の全データを10分割して交差検証を行った。特徴量は、上記異常検知で用いた3種類の特徴量と同じものとした。分類のための機械学習アルゴリズムにはk近傍法(検出する最近傍数:5)を用い、各特徴量に対して標準化の前処理を実施した。ラベルは両側咀嚼、右側咀嚼、左側咀嚼の3種類とした。
図6は、上記検証による、各タスクにおいて判定されたラベルの割合の結果を示す。正解ラベルが「両側咀嚼」と付された上段のデータは、両側咀嚼98.5%、右側咀嚼0.7%、左側咀嚼0.8%と分類され、98.5%という高い確率で両側咀嚼であると正しく判定された。中段および下段のデータについても約99%という高い確率で正しく分類された。このように、筋電位に由来するデータのみを咀嚼側判定に用いることにより、咀嚼側を高精度で推定できることが確認された。
以上の検証結果から、ある測定データが筋電位かノイズかを最初に判定し、筋電位と判定されたデータに対してのみ咀嚼側判定を行うことで、体動ノイズにロバストな、高精度かつ信頼性の高い咀嚼側判定が可能となることがわかった。
咀嚼動作においては顎関節が左右同時に動くことから、特徴量F1としての相関係数には、両側咀嚼(タスク1)と片側咀嚼(タスク2および3)とで顕著な差は生じないと考えられる。しかし、タスク4および5の場合、側頭筋の活動は実質的にないにもかかわらず、計測される筋電位には他の部位の筋肉の動きに由来するノイズ成分が重畳する。このノイズ成分は、咀嚼動作に比べて左右非対称的であることが多い。したがって、左右の相関係数が低くなり、特徴量1については、タスク1〜3とタスク4〜5とで大きく相違すると考えられる。
また、特徴量F2およびF3としてのパワースペクトルの周波数中央値は、筋活動の特徴を表す指標の1つと考えられるが、個人差が大きく、咀嚼側との対応関係を一般化して定義することは容易でない。しかし、上記のように機械学習に利用することによって、高い精度の判定結果をもたらすことがわかった。
なお、上記実施形態では、異常検知として教師なし学習器のOne−Class SVMを用いて筋電位かノイズかの判定を行ったが、その他の手法で代替してもよい。例えば、統計モデルに基づいたホテリング理論やデータ間の距離に基づいたk近傍法による異常検知を用いてもよい。
(効果)
以上詳述したように、一実施形態に係る咀嚼側判定装置1は、左右の各側頭筋の表面筋電図(sEMG)を表すデータを取得し、これらのデータに対し所定のフィルタリング処理を行った後、上記のように3種類の特徴量を算出した。そして、これらの特徴量をもとに、異常値判定用学習モデルおよび分類用学習モデルを生成し、各学習モデルを参照して、異常値であるか正常値であるかの判定を行い、正常値と判定されたデータについてのみ、続けて分類判定を行うようにした。
以上詳述したように、一実施形態に係る咀嚼側判定装置1は、左右の各側頭筋の表面筋電図(sEMG)を表すデータを取得し、これらのデータに対し所定のフィルタリング処理を行った後、上記のように3種類の特徴量を算出した。そして、これらの特徴量をもとに、異常値判定用学習モデルおよび分類用学習モデルを生成し、各学習モデルを参照して、異常値であるか正常値であるかの判定を行い、正常値と判定されたデータについてのみ、続けて分類判定を行うようにした。
検証実験により、上記咀嚼側判定装置1は、高い精度で異常値の検出および分類判定を行えることがわかった。皮膚インピーダンスの影響を受けやすい筋電位の振幅情報を特徴量として選択していないため、皮膚インピーダンスの変化に対して比較的ロバストな学習および判定を行うことができたものと考えられる。また、異常値と判定されたデータを排除し、正常値と判定されたデータのみを用いて分類判定を行うため、体動等のノイズの混入の少ないデータに基づく信頼性の高い判定を行うことができたと考えられる。
このように、上記3つの特徴量を用いて学習モデルを生成し、それを参照して異常値判定を行うことにより、高い精度で筋電位であるかノイズであるかを判定することができる。またその判定結果を用い、筋電位のみを解析対象として、咀嚼側の判定を続けることにより、高い信頼度で咀嚼側の判定を行うことができる。さらに、ノイズをあらかじめ除去することにより、分類判定に係るシステムの処理負荷も軽減される。皮膚インピーダンスの変化に対して比較的ロバストな学習および判定を用いることで、筋電位の振幅のみを用いた場合に比べ、高い精度かつ高い信頼度でユーザの日常生活における咀嚼習慣を容易に明らかにすることができる。
咀嚼筋の活動は顎を閉じる動作に関連があるが、その動きは単純で筋電位の波形も互いに似た形となるため、上記のように少数の学習データのみで学習モデルを生成することが可能である。一方、ノイズの原因には様々なものが考えられ、それに伴う電位変化の波形も様々であるから、そのすべてを網羅して学習することは不可能と考えられる。上記実施形態で説明した手法を用いれば、被験者に過度の負担を強いることなく、システムに過度の負荷をかけることなく、簡易な処理により咀嚼側を高精度に判定することができる。
またさらに、上記実施形態に係る方法は、筋電センサ自体に新たな機能の追加を要するものではないので、既存の筋電センサをそのまま用いて、上記実施形態を実施することができる。
[他の実施形態]
前記一実施形態では、3つの特徴量F1,F2,F3として、一定窓幅における左右の筋電位の絶対値の相関係数、一定窓幅における右側の筋電位のパワースペクトルの周波数中央値、一定窓幅における左側の筋電位のパワースペクトルの周波数中央値を用いて、学習モデルの生成、異常値の判定および咀嚼側の判定を行うものとして説明した。しかし、これらに限定されるものではなく、波形形状の相関係数や、パワースペクトルの平均周波数、特定の周波数成分に係る信号強度など、任意の情報を特徴量として用いることも可能である。
前記一実施形態では、3つの特徴量F1,F2,F3として、一定窓幅における左右の筋電位の絶対値の相関係数、一定窓幅における右側の筋電位のパワースペクトルの周波数中央値、一定窓幅における左側の筋電位のパワースペクトルの周波数中央値を用いて、学習モデルの生成、異常値の判定および咀嚼側の判定を行うものとして説明した。しかし、これらに限定されるものではなく、波形形状の相関係数や、パワースペクトルの平均周波数、特定の周波数成分に係る信号強度など、任意の情報を特徴量として用いることも可能である。
さらに、前記一実施形態では、咀嚼運動を解析するために左右の各側頭筋の動きを計測する場合を例にとって説明した。しかし、それに限るものではなく、側頭筋の他にも奥歯付近に位置する咬筋も咀嚼運動時に左右で連動するため、同様の処理手順で表面筋電図(sEMG)を測定することができる。
また、咀嚼運動以外にも、屈伸運動等のように左右対称に筋肉が連動して動作する他の運動にも、この発明は適用可能である。その他、筋電センサの構成、表面筋電図の計測処理の手順と処理内容、しきい値等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
また、上記実施形態では、学習モデル生成処理と、判定処理とで、データの取得および特徴量の算出を同じ機能部において行うものとして説明したが、それぞれの処理のために別々の機能部を設けることも可能である。
またさらに、上記実施形態では、学習モデル生成部と判定部の両方を備えた咀嚼側判定装置1として説明したが、これに限るものではなく、いずれか一方だけを備えるようにすることも可能である。この場合、判定部だけを備える判定装置は、あらかじめ生成された学習モデルを内部または外部の記憶装置等から読み出して、判定の際に参照することができる。またさらに、咀嚼側判定装置1において、異常値判定を行わず、取得された全データについて分類判定を行うことも可能である。この場合、あらかじめ適切にフィルタリング処理を行うことにより、判定精度を高めることができる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
1…咀嚼側判定装置、2…筋電センサ、3G,3L,3R…電極、10…インタフェースユニット、20…処理ユニット、21…データ取得部、22…データ処理部、23…特徴量算出部、24…学習モデル生成部、25…判定部、30…記憶ユニット、31…筋電図データ記憶部、32…特徴量記憶部、33…異常値判定用学習モデル記憶部、34…分類用学習モデル記憶部、231…相関係数算出部、232…右周波数パラメータ算出部、233…左周波数パラメータ算出部、241…異常値判定用学習モデル生成部、242…分類用学習モデル生成部、251…異常値判定部、252…分類判定部。
Claims (8)
- ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得する、筋電波形取得部と、
前記第1および第2の筋電波形の各々から抽出される情報の相関係数を学習用の第1の特徴量として算出する、第1の特徴量算出部と、
前記第1の筋電波形を周波数解析して得られるパワースペクトルから学習用の第2の特徴量を算出する、第2の特徴量算出部と、
前記第2の筋電波形を周波数解析して得られるパワースペクトルから学習用の第3の特徴量を算出する、第3の特徴量算出部と、
前記学習用の第1、第2および第3の特徴量と、前記ユーザの咀嚼側を区別するための複数のラベルとを対応付けて学習モデルを生成する、学習モデル生成部と
を具備する学習モデル生成装置。 - 請求項1に記載の学習モデル生成装置によって生成された学習モデルを用いてユーザの咀嚼側を判定する咀嚼側判定装置であって、
前記ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得する、筋電波形取得部と、
前記第1および第2の筋電波形の各々から抽出される情報の相関係数を判定用の第1の特徴量として算出する、第1の特徴量算出部と、
前記第1の筋電波形を周波数解析して得られるパワースペクトルから判定用の第2の特徴量を算出する、第2の特徴量算出部と、
前記第2の筋電波形を周波数解析して得られるパワースペクトルから判定用の第3の特徴量を算出する、第3の特徴量算出部と、
前記学習モデルを参照して、前記判定用の第1、第2および第3の特徴量に基づいて、前記ユーザの咀嚼側を判定する、咀嚼側判定部と
を具備する咀嚼側判定装置。 - 前記判定用の第1、第2および第3の特徴量に基づいて、所定の単位時間幅ごとに前記判定用の第1、第2および第3の特徴量が正常値であるか異常値であるかの異常値判定を行う、異常値判定部をさらに備え、
前記咀嚼側判定部は、正常値であると判定された単位時間幅についてのみ咀嚼側の判定を行う、
請求項2に記載の咀嚼側判定装置。 - 前記異常値判定部は、教師なし学習モデルを用いて異常値判定を行う、請求項3に記載の咀嚼側判定装置。
- 学習モデル生成装置が実行する学習モデル生成方法であって、
前記学習モデル生成装置が、ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得する過程と、
前記学習モデル生成装置が、前記第1および第2の筋電波形の各々から抽出される情報の相関係数を学習用の第1の特徴量として算出する過程と、
前記学習モデル生成装置が、前記第1の筋電波形を周波数解析して得られるパワースペクトルから学習用の第2の特徴量を算出する過程と、
前記学習モデル生成装置が、前記第2の筋電波形を周波数解析して得られるパワースペクトルから学習用の第3の特徴量を算出する過程と、
前記学習モデル生成装置が、前記学習用の第1、第2および第3の特徴量と、前記ユーザの咀嚼側を区別するための複数のラベルとを対応付けて学習モデルを生成する過程と
を具備する学習モデル生成方法。 - 請求項5に記載の学習モデル生成方法によって生成された学習モデルを用いてユーザの咀嚼側を判定する咀嚼側判定装置が実行する咀嚼側判定方法であって、
前記咀嚼側判定装置が、前記ユーザの咀嚼動作に係る左右の筋肉にそれぞれ由来する第1および第2の筋電波形を取得する過程と、
前記咀嚼側判定装置が、前記第1および第2の筋電波形の各々から抽出される情報の相関係数を判定用の第1の特徴量として算出する過程と、
前記咀嚼側判定装置が、前記第1の筋電波形を周波数解析して得られるパワースペクトルから判定用の第2の特徴量を算出する過程と、
前記咀嚼側判定装置が、前記第2の筋電波形を周波数解析して得られるパワースペクトルから判定用の第3の特徴量を算出する過程と、
前記咀嚼側判定装置が、前記学習モデルを参照して、前記判定用の第1、第2および第3の特徴量に基づいて、前記ユーザの咀嚼側を判定する過程と
を具備する咀嚼側判定装置。 - 請求項1に記載の学習モデル生成装置の各部による処理をプロセッサに実行させるプログラム。
- 請求項2乃至請求項4の何れかに記載の咀嚼側判定装置の各部による処理をプロセッサに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103580A JP6958486B2 (ja) | 2018-05-30 | 2018-05-30 | 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム |
PCT/JP2019/020322 WO2019230528A1 (ja) | 2018-05-30 | 2019-05-22 | 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム |
US17/059,039 US11596336B2 (en) | 2018-05-30 | 2019-05-22 | Learning model-generating apparatus, method, and program for assessing favored chewing side as well as determination device, method, and program for determining favored chewing side |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103580A JP6958486B2 (ja) | 2018-05-30 | 2018-05-30 | 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019205780A JP2019205780A (ja) | 2019-12-05 |
JP6958486B2 true JP6958486B2 (ja) | 2021-11-02 |
Family
ID=68696968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018103580A Active JP6958486B2 (ja) | 2018-05-30 | 2018-05-30 | 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11596336B2 (ja) |
JP (1) | JP6958486B2 (ja) |
WO (1) | WO2019230528A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020070948A1 (ja) * | 2018-10-05 | 2020-04-09 | 日本電信電話株式会社 | 筋電位処理装置、筋電位処理方法および筋電位処理プログラム |
US11583218B2 (en) * | 2019-11-20 | 2023-02-21 | Advancer Technologies, Llc | EMG device |
WO2021132269A1 (ja) * | 2019-12-26 | 2021-07-01 | サンスター株式会社 | 咀嚼支援システム |
CN113616222A (zh) * | 2021-07-28 | 2021-11-09 | 复旦大学 | 基于高密度肌电采集阵列的咬合运动情况监测分析系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6279038A (ja) * | 1985-10-01 | 1987-04-11 | 工業技術院長 | 顎運動描記装置 |
JP5464072B2 (ja) * | 2010-06-16 | 2014-04-09 | ソニー株式会社 | 筋活動診断装置および方法、並びにプログラム |
JP2012005664A (ja) * | 2010-06-25 | 2012-01-12 | Npo La Vita Kenkyusho | 咀嚼計数装置 |
JP6782124B2 (ja) * | 2016-08-26 | 2020-11-11 | 学校法人 東洋大学 | 摂食検出装置 |
JP7075804B2 (ja) * | 2018-04-16 | 2022-05-26 | 長谷川香料株式会社 | 飲食品の風味の好ましさの解析方法および予測方法 |
-
2018
- 2018-05-30 JP JP2018103580A patent/JP6958486B2/ja active Active
-
2019
- 2019-05-22 US US17/059,039 patent/US11596336B2/en active Active
- 2019-05-22 WO PCT/JP2019/020322 patent/WO2019230528A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019205780A (ja) | 2019-12-05 |
WO2019230528A1 (ja) | 2019-12-05 |
US11596336B2 (en) | 2023-03-07 |
US20210212621A1 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6958486B2 (ja) | 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム | |
Fraser et al. | Automated biosignal quality analysis for electromyography using a one-class support vector machine | |
KR101736976B1 (ko) | 생체 신호를 측정하는 장치 및 방법 | |
CN103919548B (zh) | 一种吞咽肌障碍的检测装置及设备 | |
EP1216656B1 (en) | Method and apparatus for estimating degree of neuronal impairment in brain cortex | |
Heldberg et al. | Using wearable sensors for semiology-independent seizure detection-towards ambulatory monitoring of epilepsy | |
Zhou et al. | Characterizing the complexity of spontaneous motor unit patterns of amyotrophic lateral sclerosis using approximate entropy | |
JP2009507601A (ja) | 前頭葉で測定した脳波データの高速フーリエ変換を通じる累積データのパターン分析を利用した健康診断装置及びその方法 | |
US20190183404A1 (en) | Method of indicating the probability of psychogenic non-epileptic seizures | |
WO2017184609A1 (en) | Protocol and signatures for the multimodal physiological stimulation and assessment of traumatic brain injury | |
Sonmezocak et al. | Machine learning and regression analysis for diagnosis of bruxism by using EMG signals of jaw muscles | |
Ryu et al. | Study on the validity of surface electromyography as assessment tools for facial nerve palsy | |
Vinyard et al. | Using electromyography as a research tool in food science | |
Lee et al. | Two-stage binary classifier for neuromuscular disorders using surface electromyography feature extraction and selection | |
Sonmezocak et al. | Detection of EMG signals by neural networks using autoregression and wavelet entropy for bruxism diagnosis | |
Ahmad et al. | Multiparameter physiological analysis in obstructive sleep apnea simulated with Mueller maneuver | |
Swaroop et al. | Classification of myopathy and neuropathy EMG signals using neural network | |
Zhang et al. | A novel accelerometer-based method for the real-time assessment of Parkinson's tremor | |
CN117794446A (zh) | 对口腔内机械刺激的受试者反应的检测 | |
Chapman et al. | Finger tremor after carbon disulfide-based pesticide exposures | |
Poli et al. | ADLs Monitoring by accelerometer-based wearable sensors: effect of measurement device and data uncertainty on classification accuracy | |
KR102053329B1 (ko) | 생체 및 운동 신호 기반의 스트레스 분석 방법 | |
Abisha et al. | Embedded implementation of a wearable food intake recognition system | |
Sönmezocak et al. | Detection of lower jaw activities from micro vibration signals of masseter muscles using MEMS accelerometer | |
EP4183335A1 (en) | Oral care device with tooth mobility detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6958486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |