JP6742620B2 - 嚥下診断装置およびプログラム - Google Patents

嚥下診断装置およびプログラム Download PDF

Info

Publication number
JP6742620B2
JP6742620B2 JP2018545075A JP2018545075A JP6742620B2 JP 6742620 B2 JP6742620 B2 JP 6742620B2 JP 2018545075 A JP2018545075 A JP 2018545075A JP 2018545075 A JP2018545075 A JP 2018545075A JP 6742620 B2 JP6742620 B2 JP 6742620B2
Authority
JP
Japan
Prior art keywords
swallowing
information
determination
acquired
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018545075A
Other languages
English (en)
Other versions
JPWO2018070522A1 (ja
Inventor
理文 吉岡
理文 吉岡
井上 勝文
勝文 井上
仁敬 越久
仁敬 越久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CAREIDO CO., LTD.
EUSENSE MEDICAL CO., LTD.
JCRAFT CO., LTD.
Hyogo College of Medicine
University Public Corporation Osaka
Original Assignee
CAREIDO CO., LTD.
EUSENSE MEDICAL CO., LTD.
JCRAFT CO., LTD.
Hyogo College of Medicine
University Public Corporation Osaka
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CAREIDO CO., LTD., EUSENSE MEDICAL CO., LTD., JCRAFT CO., LTD., Hyogo College of Medicine, University Public Corporation Osaka filed Critical CAREIDO CO., LTD.
Publication of JPWO2018070522A1 publication Critical patent/JPWO2018070522A1/ja
Application granted granted Critical
Publication of JP6742620B2 publication Critical patent/JP6742620B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205Evaluating swallowing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826Detecting or evaluating apnoea events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107Measuring contraction of parts of the body, e.g. organ, muscle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/008Detecting noise of gastric tract, e.g. caused by voiding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、誤嚥のリスクを診断するための嚥下診断装置およびコンピュータに当該嚥下診断の機能を付与するプログラムに関する。
誤嚥によって引き起こされる誤嚥性肺炎が、特に、高齢者において深刻な問題となっている。「誤嚥」とは、適切に嚥下を発生させることができず、飲み込まれた物が食道ではなく気管に入る病態のことである。現在、誤嚥のリスクを適切に診断可能な嚥下診断装置の開発が望まれている。
特許文献1には、咽頭の加速度信号から特徴を抽出し、抽出した特徴を基礎として、放射基底関数ニューラルネットワークにより嚥下活動(嚥下、誤嚥、等)を分類するシステムが記載されている。ここでは、加速度信号から抽出される特徴として、定常性、正規性、ばらつき率が用いられる。また、分類された嚥下活動について、嚥下と誤嚥とが色分けして表示される。
特表2008−502386号公報
誤嚥は、個人の特性(癖など)が年齢や疾病により修飾された結果として生じ得る。また、その一方で、個人にそのような特性がなくても、疾患等による嚥下障害が原因となって、誤嚥が生じることもある。したがって、患者における誤嚥のリスクは、これら両側面から総合的に判断することが望ましい。
かかる課題に鑑み、本発明は、医師等の使用者が患者における誤嚥のリスクを多面的かつ総合的に判断することが可能な嚥下診断装置およびそのプログラムを提供することを目的とする。
本発明の第1の態様は、嚥下診断装置に関する。この態様に係る嚥下診断装置は、喉頭部の音を検出する音検出部と、呼吸を検出する呼吸検出部と、前記音検出部から出力される音情報において嚥下の推定条件を満たす特徴量を取得した生体音発生区間と、前記呼吸検出部から出力される呼吸情報において所定時間以上呼吸を検出しなかった無呼吸区間とが互いに符合することに基づいて、嚥下が生じたと推定する嚥下推定部と、前記嚥下推定部により嚥下が生じたと推定された期間の前後の呼吸相を前記呼吸情報から検出し、検出した呼吸相に基づいて当該嚥下に誤嚥のリスクがあるか否かを判定する第1嚥下判定部と、前記嚥下推定部により嚥下が生じたと推定された期間を含む所定の期間において前記音情報および前記呼吸情報の少なくとも一方を含む参照情報を抽出し、抽出した前記参照情報から特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する第2嚥下判定部と、前記嚥下推定部により嚥下が生じたと推定された同一の期間について、前記第1嚥下判定部により取得された判定結果と前記第2嚥下判定部により取得された判定結果とを対照可能に表示部に表示させる表示制御部と、を備える。
本態様に係る嚥下診断装置によれば、個人の特性(癖など)が年齢や疾病により修飾された結果として生じ得る誤嚥のリスクが第1嚥下判定部により判定され、また、第2嚥下判定部によって嚥下障害の可能性が判定される。そして、これら判定結果が、表示部に表示されて、医師等の使用者に提示される。これにより、医師等の使用者は、これら判定結果を参照することにより、患者における誤嚥のリスクを多面的かつ総合的に判断でき、より適切に、患者における誤嚥のリスクを診断することができる。
また、本態様に係る嚥下診断装置によれば、嚥下推定のために取得した情報(音情報、呼吸情報)を用いて、第1嚥下判定部における判定と第2嚥下判定部における判定が行われるため、これらの判定において患者から別途情報を取得せずともよい。よって、嚥下診断装置の構成を簡素にでき、また、これら判定における処理負荷を軽減することができる。
本態様に係る嚥下診断装置において、前記第2嚥下判定部は、前記参照情報として前記音情報を抽出し、抽出した前記音情報から前記特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定するよう構成され得る。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定精度を高めることができる。
この場合、前記第2嚥下判定部は、さらに、前記参照情報として前記呼吸情報を抽出し、抽出した前記呼吸情報から特徴量を取得し、前記呼吸情報から取得した前記特徴量と前記音情報から取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定するよう構成され得る。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定精度をさらに高めることができる。
また、本態様に係る嚥下診断装置は、喉頭部の変位を検出する変位検出部をさらに備え、前記第2嚥下判定部は、さらに、嚥下が生じたと推定された前記期間を含む前記所定の期間において前記変位検出部から出力される変位情報を前記参照情報として抽出し、抽出した前記変位情報から特徴量を取得し、前記変位情報から取得した前記特徴量と、前記音情報および前記呼吸情報からそれぞれ取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定するよう構成され得る。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定精度をより一層高めることができる。
この場合、前記嚥下推定部は、前記生体音発生区間と前記無呼吸区間とが符号し、且つ、前記生体音発生区間において前記変位情報の振幅が所定の閾値を超える場合に、嚥下が生じたと推定するよう構成され得る。こうすると、嚥下推定の精度を高めることができる。
本態様に係る嚥下診断装置において、前記第2嚥下判定部は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用してスペクトル包絡を求め、求めたスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得するよう構成され得る。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定において、高い判定精度を得ることができる。
この場合、前記第2嚥下判定部は、前記周波数スペクトルを所定の周波数帯ごとに分割し、前記周波数帯ごとに線形予測分析を適用してスペクトル包絡を求め、求めた各周波数帯のスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得するよう構成され得る。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定精度をより一層高めることができる。
あるいは、前記第2嚥下判定部は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用して線形予測分析における各次数の係数を取得し、取得した係数群を前記特徴量として取得するよう構成され得る。この場合も、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定において、高い判定精度を得ることができる。
本態様に係る嚥下診断装置において、前記第2嚥下判定部における前記機械学習処理は、サポートベクターマシンであることが好ましい。これにより、以下の実施形態において検証結果として示すように、嚥下障害の可能性を、高い精度で判定することができる。
本発明の第2の態様は、嚥下診断装置に関する。この態様に係る嚥下診断装置は、喉頭部の音を検出する音検出部と、呼吸を検出する呼吸検出部と、前記音検出部から出力される音情報において嚥下の推定条件を満たす特徴量を取得した生体音発生区間と、前記呼吸検出部から出力される呼吸情報において所定時間以上呼吸を検出しなかった無呼吸区間とが互いに符合することに基づいて、嚥下が生じたと推定する嚥下推定部と、前記嚥下推定部により嚥下が生じたと推定された期間を含む所定の期間において前記音情報および前記呼吸情報の少なくとも一方を含む参照情報を抽出し、抽出した前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用してスペクトル包絡を求め、求めたスペクトル包絡を所定周波数間隔でサンプリングして特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する嚥下判定部と、を備える。
本態様に係る嚥下診断装置によれば、以下の実施形態において検証結果として示すように、嚥下障害の可能性を、高い精度で判定することができる。
なお、第2の態様において、嚥下判定部は、前記周波数スペクトルを所定の周波数帯ごとに分割し、前記周波数帯ごとに線形予測分析を適用してスペクトル包絡を求め、求めた各周波数帯のスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得するよう構成されることが好ましい。こうすると、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定精度をより一層高めることができる。
あるいは、前記第2嚥下判定部は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用して線形予測分析における各次数の係数を取得し、取得した係数群を前記特徴量として取得するよう構成され得る。この場合も、以下の実施形態において検証結果として示すように、嚥下障害の可能性の判定において、高い判定精度を得ることができる。
本発明の第3の態様は、コンピュータに、上記第1の態様に係る前記嚥下推定部、前記第1嚥下判定部、前記第2嚥下判定部および前記表示制御部の機能を付与するプログラムである。
本態様に係るプログラムによれば、上記第1の態様と同様の効果が奏され得る。
以上のとおり、本発明によれば、医師等の使用者が患者における誤嚥のリスクを多面的かつ総合的に判断することが可能な嚥下診断装置およびそのプログラムを提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
図1は、実施形態に係る嚥下診断装置の構成を示す外観図である。 図2は、実施形態に係る嚥下診断装置の構成を示すブロック図である。 図3(a)〜(c)は、それぞれ、実施形態に係る呼吸圧データ、生体音データおよび喉頭変位データの一例を示す図である。 図4(a)は、実施形態に係るスペクトログラムを模式的に示す図である。図4(b)は、実施形態に係るメル周波数スペクトログラムを模式的に示す図である。図4(c)は、実施形態に係る連続ウェーブレット変換によるパルスを示す図である。図4(d)は、実施形態に係る連続ウェーブレット変換によるパルスを拡大して模式的に示す図である。 図5(a)は、実施形態に係る嚥下診断装置における各種データの取得処理を示すフローチャートである。図5(b)は、実施形態に係る嚥下診断装置における嚥下診断処理を示すフローチャートである。 図6は、実施形態に係る嚥下診断装置における第1嚥下判定処理を示すフローチャートである。 図7は、実施形態に係る嚥下診断装置における第2嚥下判定処理を示すフローチャートである。 図8は、実施形態に係る第2嚥下判定処理における各種データの抽出区間の設定方法を示す図である。 図9(a)、(b)は、実施形態に係る検証1において、LPCスペクトルによるパラメータ値の取得方法を示す図ある。 図10(a)〜(c)は、ぞれぞれ、実施形態に係る検証1において、特徴パラメータとしてLPCスペクトルを用いた場合の検証結果を示す図である。 図11(a)〜(c)は、ぞれぞれ、実施形態に係る検証1において、特徴パラメータとしてLPC次数の係数を用いた場合の検証結果を示す図である。 図12(a)〜(c)は、ぞれぞれ、実施形態に係る検証1において、特徴パラメータとしてMFCCを用いた場合の検証結果を示す図である。 図13(a)〜(c)は、ぞれぞれ、実施形態に係る検証1の検証結果をデータの種類(喉頭変位、呼吸圧、嚥下音)ごとに纏めた図である。 図14は、実施形態に係る検証2において、非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を数値で示す図である。 図15は、実施形態に係る検証2において、時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を数値で示す図である。 図16は、実施形態に係る検証2において、健常者データに対して非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。 図17は、実施形態に係る検証2において、患者データに対して非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。 図18は、実施形態に係る検証2において、健常者データに対して時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。 図19は、実施形態に係る検証2において、患者データに対して時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。 図20(a)は、実施形態に係る検証2の検証結果を表に纏めた図である。図20(b)は、実施形態に係る検証3の検証結果を表に纏めた図である。 図21は、実施形態に係る検証3において、健常者データに対して特徴量の抽出を時系列によるLPCスペクトルを用いて行った場合の検証結果を示すグラフである。 図22は、実施形態に係る検証3において、患者データに対して特徴量の抽出を時系列によるLPCスペクトルを用いて行った場合の検証結果を示すグラフである。 図23(a)は、実施形態に係る嚥下診断装置の診断結果を表示する画面の構成を示す図である。図23(b)〜(e)は、それぞれ、実施形態に係る第1判定結果の表示形態を示す図である。 図24は、実施形態に係る嚥下診断装置において第2嚥下判定部が用いる教師データを更新するためのシステム構成を模式的に示す図である。 図25は、変更例に係る嚥下診断装置の構成を示す外観図である。
ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
図1は、本実施形態に係る嚥下診断装置100の構成を示す外観図である。
嚥下診断装置100は、端末装置110と、鼻カニューレ120と、検出部130とを備える。
端末装置110は、表示部111と入力部112とを備えている。端末装置110は、患者が容易に持ち運びできるように、小さく且つ軽量に構成されている。表示部111は、カラーの液晶モニタからなっている。入力部112は、嚥下診断を開始および終了させるためのボタン112aを備える。さらに、入力部112は、カバー112bを開放することにより、動作設定のためのキー群を備えている。
鼻カニューレ120は、一対の筒状部材を有する装着部121と、装着部121の両端に接続されたチューブ122と、を備えている。装着部121の一対の筒状部材は患者の鼻腔に挿入され、チューブ122の他端は端末装置110に接続されている。これにより、患者が呼吸を行うとチューブ122内の空気が流動し、チューブ122内の空気の流動が、端末装置110内の圧力センサ114(図2参照)により圧力として検出される。なお、患者が口で呼吸している場合でも、鼻腔と口腔は繋がっているため、チューブ122内の空気が流動し圧力が変化する。
検出部130は、薄型で柔軟性のあるパッド131と、ケーブル132を備える。パッド131は、患者の喉頭部に貼り付けられている。パッド131は、喉頭部の音を検出するための音センサ131a(図2参照)と、喉頭部の変形に応じて舌骨の変位を圧力により検出するための変位センサ131b(図2参照)とを備えている。ケーブル132の他端は端末装置110に接続されている。
なお、鼻カニューレ120と圧力センサ114は、呼吸検出部を構成する。また、音センサ131aは、音検出部を構成し、変位センサ131bは、変位検出部を構成する。圧力センサ114から出力される圧力信号、音センサ131aから出力される音信号、および、変位センサ131bから出力される変位信号は、それぞれ、呼吸情報、音情報および変位情報の一例である。
図2は、嚥下診断装置100の構成を示すブロック図である。
端末装置110は、図1に示した表示部111と、入力部112とに加えて、音出力部113と、圧力センサ114と、A/D変換部115と、制御部116と、記憶部117とを備える。
音出力部113は、ブザーやスピーカーを備え、制御部116からの制御により所定の音声を外部に出力する。
圧力センサ114は、鼻カニューレ120のチューブ122から導かれた空気の流動を圧力として検出し、検出したアナログの圧力信号をA/D変換部115に出力する。検出部130は、音センサ131aと変位センサ131bとを備える。音センサ131aは、患者の喉頭部近傍の音を検出し、検出したアナログの音信号をA/D変換部115に出力する。変位センサ131bは、患者の喉頭部の変形を舌骨の変位として検出し、検出したアナログの変位信号をA/D変換部115に出力する。
A/D変換部115は、圧力センサ114、音センサ131aおよび変位センサ131bからそれぞれ出力された圧力信号、音信号および変位信号を所定周期でサンプリングし、それぞれのサンプリング信号に対応するデジタルデータを制御部116に出力する。
以下、圧力信号、音信号および変位信号がA/D変換されたデジタルデータを、それぞれ、呼吸圧データ、生体音データおよび喉頭変位データと称する。
制御部116は、CPU(Central Processing Unit)等の演算処理回路を備え、記憶部117に格納されたプログラムに従って端末装置110の各部を制御する。記憶部117は、ROM(Read Only Memory)やRAM(Random Access Memory)等の記憶媒体を備え、制御部116が実行するプログラムを記憶する。また、記憶部117は、制御部116における処理においてワーク領域として利用される。
制御部116は、記憶部117に記憶されたプログラムによって、嚥下推定部116aと、第1嚥下判定部116bと、第2嚥下判定部116cと、表示制御部116dの機能が付与される。このプログラムは、予め記憶部117にインストールされていてもよく、あるいは、着脱可能なメモリ媒体や通信ネットワークから記憶部117にダウンロードされてもよい。
嚥下推定部116aは、A/D変換部115から入力された呼吸圧データ、生体音データおよび喉頭変位データに基づいて、患者により嚥下がなされたことを推定する。嚥下推定部116aにおける嚥下の推定方法については、追って、図3(a)〜(c)および図4(a)〜(d)を参照して説明する。
第1嚥下判定部116bは、嚥下推定部116aにより推定された嚥下について、誤嚥のリスクがあるか否かを判定する。この判定は、A/D変換部115から入力された呼吸圧データに基づいて行われる。第1嚥下判定部116bにおける嚥下リスクの判定方法については、追って、図6を参照して説明する。
第2嚥下判定部116cは、嚥下推定部116aにより推定された嚥下について、誤嚥障害の可能性があるか否かを判定する。この判定は、A/D変換部115から入力された呼吸圧データ、生体音データおよび喉頭変位データの少なくとも1つに基づいて行われる。本実施形態では、第2嚥下判定部116cにおける判定が、呼吸圧データ、生体音データおよび喉頭変位データの全てを用いて行われる。第2嚥下判定部116cにおける嚥下障害の可能性の判定方法については、追って、図7および図8を参照して説明する。
表示制御部116dは、第1嚥下判定部116bおよび第2嚥下判定部116cにおける判定結果を含む画面を構成して表示部111に表示させる処理を実行する。表示制御部116dにより構成される画面については、追って、図23(a)、(b)を参照して説明する。
<嚥下推定方法>
次に、図3(a)〜(c)および図4(a)〜(d)を参照して、嚥下推定部116aにおける嚥下の推定方法について説明する。
図3(a)〜(c)は、それぞれ、呼吸圧データ、生体音データおよび喉頭変位データの一例を示す図である。図3(a)〜(c)には、同一期間に取得された生体音データと、呼吸圧データと、喉頭変位データが、A/D変換前のアナログ信号の波形として示されている。横軸は時間(秒)、縦軸は規格化後の強度である。
嚥下推定部116aは、生体音データを短時間フーリエ変換することによりスペクトログラムを作成し、作成したスペクトログラムに基づいて生体音発生区間を抽出する。具体的には、嚥下推定部116aは、全区間の生体音データに対して、窓関数(サンプリング範囲)を1.5秒に設定して生体音データを切り出し、短時間フーリエ変換を施して、図4(a)に示すようなスペクトログラムを作成する。すなわち、嚥下推定部116aは、単位時間幅(1.5秒幅)においてフーリエ変換を行い、これを0.2秒ずつずらしながら順次変換を行ってスペクトログラムを作成する。図4(a)に示す例は、20個の単位時間幅、すなわち、4秒間について作成したスペクトログラムである。
嚥下推定部116aは、作成したスペクトログラムの振幅の総和を求めることにより信号強度データに変換し、ノイズ平均+2SD(標準偏差)を超えた区間を生体音発生区間として抽出する。これにより、全区間の生体音データに対して、生体音発生区間が特定される。図3(b)、(c)には、こうして抽出された生体音発生区間が付記されている。
次に、嚥下推定部116aは、呼吸圧データにおいて、値がノイズを考慮した閾値以下となっている区間を無呼吸区間として抽出する。これにより、全区間の呼吸圧データに対して、無呼吸区間が設定される。図3(a)には、こうして抽出された無呼吸区間が付記されている。
次に、嚥下推定部116aは、生体音発生区間において、上述のスペクトログラムから、図4(b)に示すようなメル周波数スペクトログラムを作成する。図4(b)では、縦軸がメルスケールとなっている。したがって、図4(b)のメル周波数スペクトログラムは、図4(a)の周波数スペクトログラムに比べて、低周波帯域の座標軸が伸長され、高周波帯域の座標軸が圧縮されている。これにより、低周波帯域の分解能が高められている。
次に、嚥下推定部116aは、生体音発生区間において、上述の短時間フーリエ変換後のデータに対して、連続ウェーブレット変換によりパルス化を行い、図4(c)に示すようなパルスを生成する。なお、図4(c)の例では生体音発生区間に6つのパルスが含まれており、これらを拡大して模式的に示すと、図4(d)に示すように異なる幅を有するパルスが複数含まれる。
次に、嚥下推定部116aは、生体音発生区間のうち、以下の3つの条件が全て満たされるものを抽出する。
1つ目の条件は、所定の閾値以上となっている振幅が、生体音発生区間に含まれることである。たとえば、図3(c)の例では、生体音発生区間の喉頭変位データの振幅A1が大きい。このように、生体音発生区間において喉頭変位データの振幅が大きくなっている場合、1つ目の条件が満たされる。嚥下の際には、舌骨が上昇した後、前に変位し、その後、元の位置に戻る。1つ目の条件は、このような現象が生体音発生区間において生じたか否かを喉頭変位データに基づいて判定するものである。
2つ目の条件は、生体音発生区間のメル周波数スペクトログラムにおいて、750Hz以上のスペクトルの総和(パワー)の比率が所定比率(たとえば15%)以上であることである。通常、嚥下音は高周波成分を含んでいる。2つ目の条件は、嚥下音に対応する音の周波数が生体音発生区間において生じたか否かを生体音データに基づいて判定するものである。たとえば、図4(b)の例では、生体音発生区間のメル周波数スペクトログラムにおいて、750Hz以上のスペクトルの総和の比率が15%を超えれば、2つ目の条件が満たされる。なお、ここでは、閾値が750Hzに設定されたが、この閾値は、嚥下音の実測値を統計化することにより、適宜、他の周波数に変更され得る。
3つ目の条件は、生体音発生区間において図4(c)に示すパルスの数が所定数(たとえば50個)以下であり、且つ、生体音発生区間において生成されたパルスのうち最大パルス幅が所定値(たとえば15msec)以下であることである。これは、嚥下音と他の音とを、断続性と連続性の観点において区別できるためである。断続性が高いほど短い幅のパルスが多数現れ、連続性が高いほどパルスの数は少なく、パルス幅は長くなる。3つ目の条件は、嚥下音に対応する音の断続性と連続性が生体音発生区間において生じたか否かを生体音データに基づいて判定するものである。
たとえば、図4(c)、(d)に示す例では、生体音発生区間において、パルス数Nが50個以下であり、且つ、最大パルス幅Wが15msec以下であれば、3つ目の条件が満たされる。なお、ここでは、パルス数の閾値が50個とされ、最大パルス幅の閾値が15msecに設定されたが、パルス数の閾値と最大パルス幅の閾値は、嚥下音の実測値を統計化することにより、適宜、他の数および時間幅に変更され得る。
嚥下推定部116aは、上記3つの条件を満たす生体音発生区間が、無呼吸区間に含まれているか否かを判定する。一般に、嚥下の際には呼吸が止まる。嚥下推定部116aは、上記3つの条件を満たす生体音発生区間が、無呼吸区間に含まれている場合に、この生体音発生区間を嚥下が生じた区間と推定する。
なお、上記3つの条件のうち、1つ目の条件(喉頭変位の振幅)が除かれてもよい。ただし、1つ目の条件を含めた方が、嚥下推定の精度をより高めることができる。
<嚥下診断処理>
次に、図5(a)〜図7を参照して、嚥下診断時の処理について説明する。
図5(a)は、各種データの取得処理を示すフローチャートである。
図1に示すボタン112aが操作され、患者に対する嚥下診断が開始されると、制御部116は、圧力センサ114、音センサ131aおよび変位センサ131bを動作させて、呼吸圧データ、生体音データおよび喉頭変位データをそれぞれ連続的に取得し、取得した各データを随時、記憶部117に記憶させる(S101〜S103)。制御部116は、再びボタン112aが操作されて嚥下診断が終了されるまで(S104:YES)、ステップS101〜S103の処理を継続する。
図5(b)は、嚥下診断処理を示すフローチャートである。図5(b)のフローチャートに含まれるステップのうち、ステップS201〜S204は嚥下推定部116aが実行し、ステップS205は第1嚥下判定部116bが実行し、ステップS206は第2嚥下判定部116cが実行し、ステップS207は表示制御部116dが実行する。
嚥下診断が開始されると、嚥下推定部116aは、連続的に記憶部117に記憶さされる呼吸圧データ、生体音データおよび喉頭変位データをリアルタイムで順次参照し、ステップS201〜S203の処理を繰り返し実行する。まず、嚥下推定部116aは、呼吸圧データから無呼吸区間を抽出し(S201)、生体音データから生体音発生区間を抽出する(S202)。そして、嚥下推定部116aは、抽出した無呼吸区間と生体音発生区間について、図3(a)〜図4(d)を参照して説明した嚥下の条件が充足されるか否かを判定する(S203)。より詳細には、嚥下推定部116aは、生体音発生区間における各データが上記3つの条件を充足し、且つ、生体音発生区間が無呼吸区間に含まれるか否かを判定する。
ステップS203の判定がYESである場合、嚥下推定部116aは、当該生体音発生区間に嚥下がなされたと推定し、当該生体音発生区間を嚥下音発生区間に設定する(S204)。こうして、嚥下が生じたとの推定がなさると、第1嚥下判定部116bおよび第2嚥下判定部116cによる嚥下判定処理が実行される(S205)。
ステップS205において第1嚥下判定部116bおよび第2嚥下判定部116cによる嚥下判定処理を実行すると、表示制御部116dは、第1嚥下判定部116bおよび第2嚥下判定部116cの判定結果を、表示部111に表示させる(S206)。その後、嚥下診断処理が終了していなければ(S207:NO)、制御部116は、処理をS201に戻して、後続の各データについて、同様の処理を実行する。これにより、表示部111の表示が随時更新される。
<第1嚥下判定処理>
図6は、図5(b)のステップS205において第1嚥下判定部116bによって実行される第1嚥下判定処理を示すフローチャートである。
第1嚥下判定部116bは、ステップS204で設定された嚥下音発生区間(嚥下が生じた生体音発生区間)の直前と直後の呼吸相を、記憶部117に記憶された呼吸圧データに基づいて取得する(S301)。そして、第1嚥下判定部116bは、嚥下音発生区間の直前が吸息相であるか否かを判定し(S302)、さらに、この嚥下音発生区間の直後が吸息相であるか否かを判定する(S303)。
第1嚥下判定部116bは、S301、S302の何れか一方でYESと判定すると、すなわち、嚥下音発生区間の前後の呼吸相のうち少なくとも一方が吸息相であると判定すると、当該嚥下音発生区間において誤嚥のリスクがあると判定する(S304)。他方、第1嚥下判定部116bは、S302、S303の両方でNOと判定すると、すなわち、嚥下音発生区間の前後の呼吸相の両方が呼息相であると判定すると、当該嚥下音発生区間で誤嚥のリスクはないと判定する(S305)。
<第2嚥下判定処理>
図7は、図5(b)のステップS205において第2嚥下判定部116cによって実行される第2嚥下判定処理を示すフローチャートである。
第2嚥下判定部116cは、嚥下音発生区間を含む所定の区間(以下、「抽出区間」という)において、呼吸圧データ、生体音データおよび喉頭変位データを抽出し、抽出した各データについて、所定の特徴パラメータ値(ベクトル)を取得する(S401)。ここで取得される特徴パラメータ値は、後続のステップS402において、サポートベクターマシン(以下、「SVM」という)による機械学習処理で扱われるパラメータの値である。たとえば、特徴パラメータ値は、以下のように設定される。
まず、抽出区間において抽出された呼吸圧データ、生体音データおよび喉頭変位データをフーリエ変換して、周波数スペクトルを取得する。次に、取得した周波数スペクトルに線形予測分析(LPC)を適用してスペクトル包絡を求める。そして、求めたスペクトル包絡を所定周波数間隔でサンプリングし、これらサンプル値群からなるベクトルを、上記特徴パラメータ値(特徴量)として取得する。
図8は、第2嚥下判定処理における各種データの抽出区間の設定方法を示す図である。
図8に示すように、抽出区間は、生体音発生区間(嚥下音発生区間)を含むように設定される。ここでは、喉頭変位データに基づいて、抽出区間が設定される。すなわち、生体音発生区間において喉頭変位が最大ピークとなる位置を中心に、前後2秒の範囲の区間が抽出区間に設定される。
なお、ここでは、抽出区間が4秒に設定されたが、抽出区間の時間長はこれに限定されるものではない。一般に、嚥下に要する期間は2秒程度であると言われている。したがって、嚥下に基づく特徴量を呼吸圧データ、生体音データおよび喉頭変位データについて取得するためには、抽出区間を、生体音発生区間を含み、且つ、2秒以上の時間長となるように設定すればよい。たとえば、生体音発生区間において喉頭変位が最大ピークとなる位置を中心に、前後1.5秒の範囲の区間を抽出区間に設定してもよい。あるいは、生体音発生区間の開始タイミングから2秒程度の区間を抽出区間に設定してもよく、生体音発生区間の開始タイミングよりもやや前のタイミングから3秒程度の区間を抽出区間に設定してもよい。
図7に戻り、ステップS401において呼吸圧データ、生体音データおよび喉頭変位データから特徴パラメータ値を取得すると、第2嚥下判定部116cは、取得した特徴パラメータ値(ベクトル)に基づいてSVMによる機械学習処理を実行し、当該特徴パラメータ値が、嚥下障害の陽性および陰性の何れの領域に属するかを判定する(S402)。
図2の記憶部117には、SVMによる機械学習処理に用いる教師データ群(嚥下障害陽性のサンプルデータ群および嚥下障害陰性のサンプルデータ群)が記憶されている。第2嚥下判定部116cは、記憶部117に記憶された教師データ群に基づいて、SVMにおいて嚥下障害の陽性と陰性とを区分する境界を設定する。あるいは、教師データ群に代えて、SVMにおいて嚥下障害の陽性と陰性とを区分する境界を規定するデータが記憶部117に記憶されていてもよい。
当該特徴パラメータ値が陽性の領域に属する場合(S402:陽性)、第2嚥下判定部116cは、嚥下障害の可能性があると判定する(S403)。また、当該特徴パラメータ値が陰性の領域に属する場合(S402:陰性)、第2嚥下判定部116cは、嚥下障害の可能性がないと判定する(S404)。さらに、第2嚥下判定部116cは、当該特徴パラメータ値について、嚥下障害度(陽性、陰性の度合い)を取得する(S405)。
ここで、嚥下障害度は、SVMにおける陽性領域と陰性領域との境界に対して、当該特徴パラメータ値がどの程度離れているかによって求められる。すなわち、特徴パラメータ値が陰性の領域に含まれる場合、特徴パラメータ値の位置と境界との間の距離が大きいほど陰性の度合いが高くなる。また、特徴パラメータ値が陽性の領域に含まれる場合、特徴パラメータ値の位置と境界との間の距離が大きいほど陽性の度合いが高くなる。
本件出願の発明者らは、第2嚥下判定部116cにおいて取得する特徴パラメータ値について種々の検討を行い、嚥下障害の判定に用いて好ましい特徴パラメータ値が何であるかについて鋭意探求した。以下、この検討における検証結果について説明する。
<検証1>
検証1では、嚥下障害の判定精度と特徴パラメータとの関係について検討を行った。ここでは、特徴パラメータとして、LPCスペクトルと、LPC係数とを検討し、比較対象として、MFCC(メル周波数ケプストラム係数)を検討した。
まず、図9(a)、(b)を参照して、LPCスペクトルによる特徴パラメータ値の取得方法と、LPC係数による特徴パラメータ値の取得方法について説明する。
図9(a)、(b)には、便宜上、所定の音声に基づく波形データをフーリエ変換したときの周波数スペクトルと、この周波数スペクトルに線形予測分析(LPC)を適用したときのスペクトル包絡が示されている。図9(a)、(b)には、それぞれ、線形予測分析の演算式の最大次数を8次、16次としたときのスペクトル包絡が示されている。
LPCスペクトルによるパラメータ値の取得においては、まず、取得対象となる波形データにフーリエ変換を適用して、当該波形データに対する周波数スペクトルが取得される。次に、取得した周波数スペクトルに線形予測分析(LPC)を適用してスペクトル包絡が求められ、求めたスペクトル包絡を所定周波数間隔でサンプリングしてサンプル値が取得される。たとえば、図9(a)、(b)に示すスペクトル包絡が横軸10Hz周期でサンプリングされ、各サンプリングにおけるスペクトル包絡のパワー値が取得される。こうして得られた一連のパワー値の群が、LPCスペクトルによるパラメータ値(ベクトル)として取得される。
図9(a)、(b)では、線形予測分析における演算式の次数が異なるため、得られたスペクトル包絡の波形が互いに異なっている。このため、図9(a)、(b)では、LPCスペクトルにより得られるパラメータ値(ベクトル)は、互いに異なることとなる。演算式の次数が高いほど、より細かく周波数スペクトルに沿ったスペクトル包絡が得られるため、周波数スペクトルにより適合した特徴パラメータ値が得られやすい。その反面、演算式の次数が過度に高いと、スペクトル包絡にノイズの影響が現れやすくなるため、特徴パラメータ値にもノイズの影響が出やすくなる。したがって、LPCスペクトルによる特徴パラメータにおいては、演算式の次数をどの程度に設定するかが重要である。
また、上述の線形予測分析では、演算式の各次数の係数が調整されてスペクトル包絡が得られる。したがって、周波数スペクトルが異なれば、演算式の各次数の係数も異なり、また、演算式の次数が異なれば各次数の係数も異なる。上記LPC係数による特徴パラメータについては、周波数スペクトルに線形予測分析を適用したときの、演算式における各次数の係数群が、特徴パラメータ値(ベクトル)として取得される。
検証1では、抽出区間において抽出した呼吸圧データ、生体音データおよび喉頭変位データをフーリエ変換した周波数スペクトルについて、LPCスペクトル、LPC係数およびMFCCにより特徴パラメータ値(ベクトル)を取得した。なお、ここでは、抽出区間を、図8に示す抽出区間(4秒)ではなく、生体音発生区間の開始から2秒間とした。
LPCスペクトルとLPC係数では、何れも、演算式の最大次数を8、16、32としたときのパラメータ値を取得し、各次数のパラメータ値について、SVMによる機械学習処理により、嚥下障害の陽性/陰性を評価した。また、SVMのカーネルはRBF(Radial Basis Function)を用いた。
健常者から取得した114のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)と、患者から取得した64のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)の合計178のサンプルデータについて、交差検定(10-fold cross validation)による検証を行った。
図10(a)〜(c)は、ぞれぞれ、検証1において、特徴パラメータとしてLPCスペクトルを用いた場合の検証結果を示す図である。図11(a)〜(c)は、ぞれぞれ、検証1において、特徴パラメータとしてLPC次数の係数を用いた場合の検証結果を示す図である。図12(a)〜(c)は、ぞれぞれ、検証1において、特徴パラメータとしてMFCCを用いた場合の検証結果を示す図である。
図13(a)〜(c)は、ぞれぞれ、検証1の検証結果をデータの種類(喉頭変位、呼吸圧、嚥下音)ごとに纏めた図である。図13(a)〜(c)において、健常者判定精度は、健常者のサンプルを嚥下障害陰性として判定した判定精度であり、患者判定精度は、患者のサンプルを嚥下障害陽性として判定した判定精度である。
なお、図10(a)〜図11(c)および図13(a)〜(c)には、演算式の次数が8、16、32である場合にそれぞれLPCスペクトルおよびLPC係数を用いて得られた判定結果のうち、判定精度が最も高い判定結果が示されている。
図10(a)〜図13(c)を参照すると、特徴パラメータとしてLPCスペクトルおよびLPC係数を用いると、MFCCの場合に比べて、喉頭変位データ、呼吸圧データおよび生体音データの何れを用いた場合も、健常者の判定精度と患者の判定精度が高くなっている。特に、特徴パラメータとしてLPCスペクトルを用いた場合は、他の特徴パラメータに比べて、健常者の判定精度と患者の判定精度が高くなる傾向が見られる。よって、嚥下障害判定のための特徴パラメータとして、LPCスペクトルおよびLPC係数が有効であり、特に、LPCスペクトルが有効であると言える。
<検証2>
検証2では、特徴パラメータの値(ベクトル)を、非時系列で取得した場合と、時系列で取得した場合とで、嚥下障害の判定精度がどのように異なるかを検証した。なお、図9(a)、(b)を参照して説明した特徴パラメータの取得方法は、非時系列による取得方法である。
時系列による取得方法では、図9(a)、(b)に示す周波数スペクトルが複数の周波数帯に分割されて、周波数帯ごとに、線形予測分析が適用される。たとえば、図9(a)、(b)の場合、0〜23000Hz程度の周波数領域に広がる周波数スペクトルが、横軸100Hzごとに23個程度の周波数帯に分割され、各周波数帯に個別に線形予測分析が適用されてスペクトル包絡が取得される。こうして取得されたスペクトル包絡が、上記と同様、所定周波数間隔でサンプリングされて、LPCスペクトルによる特徴パラメータ値(ベクトル)が取得される。
時系列による取得方法では、分割後の周波数帯ごとに線形予測分析が適用されてスペクトル包絡が取得されるため、取得されたスペクトル包絡が、非時系列による取得方法の場合と異なる。したがって、時系列による取得方法で取得されたLPCスペクトルの特徴量(ベクトル)は、非時系列による取得方法で取得されたLPCスペクトルの特徴量(ベクトル)と異なることになる。
検証2では、抽出区間において抽出した呼吸圧データ、生体音データおよび喉頭変位データをフーリエ変換した周波数スペクトルについて、時系列および非時系列によるLPCスペクトルにより、特徴パラメータ値(ベクトル)を取得した。なお、ここでも、抽出区間を、図8に示す抽出区間(4秒)ではなく、生体音発生区間の開始から2秒間とした。
LPCスペクトルにおける演算式の最大次数を8、16、32としたときのパラメータ値を、非時系列法および時系列法によりそれぞれ取得し、各次数のパラメータ値について、SVMによる機械学習処理により、嚥下障害の陽性/陰性を評価した。SVMのカーネルはRBF(Radial Basis Function)を用いた。健常者から取得した556のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)と、患者から取得した212のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)の合計768のサンプルデータについて、交差検定(10-fold cross validation)による検証を行った。
図14は、非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を数値で示す図である。図15は、時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を数値で示す図である。図14、15において、LPC次数は、線形予測分析の演算式の最大次数を示している。また、図14、15において、健常者判定精度は、健常者のサンプルを嚥下障害陰性として判定した判定精度であり、患者判定精度は、患者のサンプルを嚥下障害陽性として判定した判定精度である。
図14および図15を参照すると、時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合は、非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合に比べて、患者判定精度が顕著に高まっている。また、時系列による場合は、非時系列による場合に比べて、LPC次数が32である場合の判定精度が、高まっている。このことから、嚥下障害判定のための特徴パラメータをLPCスペクトルとする場合は、時系列による取得方法により特徴パラメータ値を取得することが有効であると言える。
<検証2−2>
次に、上記検証2において最も嚥下障害の判定精度が高かったパラメータを用いて学習したSVMにより、健常者から取得した637のサンプルデータ(生体音データ)と、患者から取得した5のサンプルデータ(生体音データ)について、上記検証2と同様の方法により、嚥下障害の判定を行った。検証2−2では、サンプルごとにサンプル提供者の年齢が設定された。
図16は、検証2−2において、健常者データに対して非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。図17は、検証2−2において、患者データに対して非時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。
図18は、検証2−2において、健常者データに対して時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。図19は、検証2−2において、患者データに対して時系列によるLPCスペクトルにより特徴パラメータ値を取得した場合の検証結果を示すグラフである。
図16〜図18において、横軸はSVMの値であり、縦軸は年齢である。図16〜図18には、各サンプルについて求めたSVMの値が、サンプルごとにプロットされている。SVMの値が正である場合、そのサンプルは健常者判定(嚥下障害:陰性)となり、SVMの値が負である場合、そのサンプルは患者判定(嚥下障害:陽性)となる。
図16、17(非時系列)と図18、19(時系列)とを比較すると、健常者に対する判定精度は、時系列による特徴パラメータの取得方法の方が、非時系列の場合よりも、やや高まっていることが確認できる。患者に対する判定精度は、時系列の場合と非時系列の場合の両方において、100%である。
また、時系列による特徴パラメータの取得方法の方が、非時系列の場合よりも、横軸方向におけるSVM値の分散が抑制されていることが分かる。さらに、健常者データに対する判定においては、時系列による特徴パラメータの取得方法の方が、非時系列の場合よりも、SVM値のプロット群が、陰性と陽性の境界線(SVM値=0の線)から正方向(より陰性の方向)に離れている。このことから、時系列による特徴パラメータの取得方法の方が、非時系列の場合よりも、嚥下障害の判定精度が高まり、且つ、嚥下障害の度合いをより精度良く取得できると言える。
図20(a)は、検証2の検証結果を表に纏めた図である。図20(a)には、図14に示した非時系列による判定結果において、精度が最も高い判定結果(LPC次数=16、データ種別=生体音データ)と、図15に示した時系列による判定結果において、精度が最も高い判定結果(LPC次数=32、データ種別=生体音データ)とがそれぞれ示されている。
図20(a)の纏めとともに、図14〜図19の判定結果を参照すると、時系列による取得方法によりLPCスペクトルを取得した場合の方が、非時系列による取得方法によりLPCスペクトルを取得した場合に比べて、嚥下障害の判定精度が高まることが分かる。このため、特徴パラメータ値の取得には、時系列による取得方法を用いることが好ましいと言える。
また、図14および図15を参照すると、嚥下障害の判定精度に寄与するデータの種類は、嚥下音データが最も高く、次に、呼吸圧データが高い傾向にある。このため、特徴パラメータ値の取得には、嚥下音データを最優先することが好ましく、次に、呼吸圧データを優先することが好ましいと言える。
なお、検証2では、LPCスペクトルにより特徴パラメータを取得する場合に、非時系列による取得方法と時系列による取得方法の判定精度の相違について検証を行ったが、LPC係数により特徴パラメータを取得する場合も、上記と同様の傾向が得られるものと想定され得る。LPC係数により特徴パラメータを取得する場合も、非時系列による取得方法よりも時系列による取得方法の方が、嚥下障害の判定精度が高まるものと想定され得る。
<検証3>
検証3では、呼吸圧データと、生体音データと、喉頭変位データとに対してそれぞれ取得した特徴パラメータ値(ベクトル)を組み合わせて1つの特徴パラメータ値(ベクトル)を取得し、組み合わせ後の特徴パラメータ値にSVMによる機械学習処理を実行した場合に、嚥下障害の判定精度がどのように変化するかを検証した。
各データに対する特徴パラメータ値の取得は、時系列によるLPCスペクトルによって行った。ここでも、抽出区間を、図8に示す抽出区間(4秒)ではなく、生体音発生区間の開始から2秒間とした。
LPCスペクトルにおける演算式の最大次数を8、16、32としたときのパラメータ値を、呼吸圧データ、生体音データおよび喉頭変位データに対して時系列法により取得し、取得した各データのパラメータ値を次数ごとに組み合わせて1つの特徴パラメータ値として取得した。そして、各次数の特徴パラメータ値について、SVMによる機械学習処理により、嚥下障害の陽性/陰性を評価した。SVMのカーネルはRBF(Radial Basis Function)とした。サンプルデータは、健常者から取得した556のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)と、患者から取得した212のサンプルデータ(呼吸圧データ、生体音データ、喉頭変位データ)の合計768のサンプルデータを用いた。検証は、交差検定(10-fold cross validation)により行った。
図20(b)は、検証3の検証結果を示す図である。
図20(b)に示す検証結果と、図20(a)の検証結果とを比較すると、3つのデータから取得した特徴パラメータ値を組み合わせてSVMによる機械学習処理を行った方が、生体音データのみから取得した特徴パラメータ値でSVMによる機械学習処理を行った場合に比べて、嚥下障害の判定精度が高まっている。特に、LPC次数を32とした場合は、3つのデータの組み合わせの方が生体音データのみの場合に比べて、嚥下障害の判定精度が顕著に高まっている。このことから、嚥下障害の判定においては、呼吸圧データ、生体音データおよび喉頭変位データから取得した特徴パラメータ値を組み合わせてSVMによる機械学習処理を行うことが好ましいと言える。
<検証3−2>
上記検証3において最も嚥下障害の判定精度が高かったパラメータを用いて学習したSVMにより、健常者から取得した637のサンプルデータと、患者から取得した5のサンプルデータについて、上記検証3と同様の方法により、嚥下障害の判定を行った。検証3−2では、サンプルごとにサンプル提供者の年齢が設定された。
図21は、検証3−2において、健常者データに対して嚥下障害の判定を行った場合の判定結果を示すグラフである。図22は、検証3−2において、患者データに対して嚥下障害の判定を行った場合の検証結果を示すグラフである。図16〜図18と同様、図21、22において、横軸はSVMの値であり、縦軸は年齢である。
図21と図18とを比較すると、3種の特徴パラメータ値を組み合わせた方が、1種の特徴パラメータ値のみの場合よりも、横軸方向におけるSVM値の分散が抑制され、年齢層による評価のばらつきが抑制されていることが分かる。このことから、3種の特徴パラメータ値を組み合わせた方が、1種の特徴パラメータ値のみの場合よりも、年齢層による嚥下障害の判定のばらつきを抑制でき、且つ、嚥下障害の度合いをより精度良く取得できると言える。
以上の検証に基づき、図7のステップS401では、3種の特徴パラメータを組み合わせた特徴パラメータが取得され、ステップS402では、組み合わせ後の特徴パラメータを用いたSVM判定が行われる。すなわち、ステップS401において、第2嚥下判定部116cは、上記検証3に示した特徴パラメータ値、すなわち、呼吸圧データ、生体音データおよび喉頭変位データからそれぞれ取得した時系列のLPCスペクトルによるパラメータ値の組み合わせを、特徴パラメータ値として取得する。そして、ステップS402において、第2嚥下判定部116cは、取得した特徴パラメータ値に基づいて、SVMによる機械学習処理により、嚥下障害の有無を判定し、判定結果に応じて、ステップS403またはステップS404において、嚥下障害の可能性の有無を決定する。
また、ステップS405において、第2嚥下判定部116cは、SVMにおいて嚥下障害の陽性領域と陰性領域との境界に対する特徴パラメータ値の距離に基づいて、嚥下障害度を取得する。この距離は、たとえば、図21、22におけるプロットと、SVMの値がゼロである軸との間の距離に相当する。
<診断結果画面>
図23(a)は、図5(b)のステップS206において表示される診断結果の表示画面の構成を示す図である。図23(b)〜(e)は、それぞれ、第1判定結果の表示形態を示す図である。
図23(a)に示すように、診断結果の表示画面200は、嚥下推定マーク201と、咳検出マーク202と、第1判定結果領域203と、第2判定結果領域204とを含んでいる。
嚥下推定マーク201は、図5(b)のステップS204において嚥下ありと推定された場合に、周囲が所定の色(たとえば、青色)に点灯する。咳検出マーク202は、図5(b)のステップS204において嚥下ありと推定された場合に、誤嚥によるムセが生じると、中央部分が処理の色(たとえば、オレンジ色)に点灯する。ここで、ムセは、呼吸圧データに基づいて、制御部116が検出する。
第1判定結果領域203には、第1嚥下判定部116bによる判定結果が表示される。具体的には、図6のステップS301において取得された嚥下音発生区間の前後の呼吸相が、嚥下に対する遷移を示す矢印とともに表示される。また、図6のステップS304、S305における誤嚥リスクの判定結果に応じて、第1判定結果領域203の背景色が設定される。具体的には、誤嚥のリスクがない場合は、図23(b)に示すように、第1判定結果領域203の背景色が第1の色(たとえば、緑色)に設定される。また、誤嚥のリスクがある場合は、図23(c)〜(e)に示すように、第1判定結果領域203の背景色が第2の色(たとえば、赤色)に設定される。
医師等の使用者は、第1判定結果領域203の表記および背景色により、誤嚥のリスクの可能性と呼吸相の推移を的確に把握できる。
第2判定結果領域204には、第2嚥下判定部116cによる判定結果が表示される。第2判定結果領域204には、横方向に並ぶ10のカーソルと、嚥下障害度の軽重を示す表記および矢印が示されている。各カーソルは、左に進むほど濃淡が濃くなるように設定されている。図7のフローチャートにおいて、嚥下障害の可能性なしと判定された場合、第2判定結果領域204の右側5つのカーソルが、嚥下障害度に応じて点灯され、嚥下障害の可能性ありと判定された場合は、左側5つのカーソルが嚥下障害度に応じて点灯される。
たとえば、嚥下障害度の極性を、陽性が正、陰性が負であるように設定すると、嚥下障害度が−3の場合、第2判定結果領域204の中央から右側3つのカーソルが点灯され、嚥下障害度が+4である場合、第2判定結果領域204の中央から左側4つのカーソルが点灯される。ここで、嚥下障害度のレベルは、上記のように、SVMにおいて、嚥下障害の陽性と陰性とを区分する境界と特徴パラメータとの距離によって決定される。
医師等の使用者は、第2判定結果領域204の表記およびカーソルの状態により、嚥下障害の可能性を的確に把握できる。
<教師データ更新システム>
上記実施形態では、SVMによる機械学習処理によって嚥下障害の可能性が判定される。この場合、良質の教師データをより多く用いることにより、陽性と陰性の境界を微細に設定でき、嚥下障害の判定精度を高めることができる。
図24は、嚥下診断装置100において第2嚥下判定部116cが用いる教師データを更新するためのシステム構成を模式的に示す図である。
このシステムでは、病院等の医療施設に設置されたホストコンピュータ300に、患者に対する診断時に各嚥下診断装置100において取得された呼吸圧データ、生体音データおよび喉頭変位データ(嚥下音発生区間を含む抽出区間において抽出されたもの)が集約される。医師等の使用者は、当該患者に対する嚥下障害の診断結果を、これらデータに対応付けて、ホストコンピュータ300に入力する。ホストコンピュータ300は、集約したデータを診断結果とともに、外部ネットワーク500を介して、管理施設のサーバ400に送信する。
管理施設では、サーバ400が受信したデータを、作業者が、診断結果に基づいて、嚥下障害陽性の教師データと、嚥下障害陰性の教師データと、無効データとに振り分ける。そして、作業者は、振り分けた陽性および陰性のデータを、サーバ400内のデータベースに蓄積する。サーバ400は、定期的に、データベースに蓄積された教師データを、医療施設側のホストコンピュータ300に送信する。ホストコンピュータ300は、受信した教師データを各嚥下診断装置100に提供する。こうして、各嚥下診断装置100に記憶された教師データが更新される。これにより、第2嚥下判定部116cによる嚥下障害の判定精度が高められる。
<実施形態の効果>
本実施形態に係る嚥下診断装置100によれば、個人の特性(癖など)が年齢や疾病により修飾された結果として生じ得る誤嚥のリスクが第1嚥下判定部116bにより判定され、また、第2嚥下判定部116cによって嚥下障害の可能性が判定される。そして、これら判定結果が、表示部111に表示されて、医師等の使用者に提示される。これにより、医師等の使用者は、これら判定結果を参照することにより、患者における誤嚥のリスクを多面的かつ総合的に判断でき、より適切に、患者における誤嚥のリスクを診断することができる。
第1嚥下判定部116bによる判定は、上記のように、個人の特性(癖など)が年齢や疾病により修飾された結果で生じるものであるが、パーキンソン病では誤嚥リスク因子であり、また、最近の発明者らの研究では、COPD(慢性閉塞性肺疾患)増悪の優れた関連因子であることが明らかになっている。したがって、第2嚥下判定部116cにおいて嚥下障害の可能性があるとの判定がなされない場合であっても、第1嚥下判定部116bにおいて誤嚥リスクありと判定された場合は、当該患者の状態によって対策を講じる必要がある。
逆に、第1嚥下判定部116bにおける判定は個人の特性が根底にあるため、第1嚥下判定部116bにおいて誤嚥リスクなしと判定されたとしても、第2嚥下判定部116cにおいて嚥下障害の可能性ありとなるケースも当然出てくる。その場合も、当該患者の状態によって対策を講じる必要がある。
このように、第1嚥下判定部116bにおける判定結果と、第2嚥下判定部116cにおける判定結果は、双方とも独立して嚥下状態の判定に有意義であり、かつ、相補的に働くものである。このため、医師等の使用者は、これら判定結果を、図23(a)に示す表示画面200において、逐次同時に参照することにより、患者における誤嚥のリスクを多面的かつ総合的に判断でき、より適切に、患者に対策を講じることができる。
また、本実施形態に係る嚥下診断装置100によれば、嚥下推定のために取得した呼吸圧データ、生体音データおよび喉頭変位データを用いて、第1嚥下判定部116bにおける判定と第2嚥下判定部116cにおける判定が行われるため、これらの判定において患者から別途データを取得せずともよい。よって、嚥下診断装置100の構成を簡素にでき、また、これら判定における処理負荷を軽減できる。
また、本実施形態に係る嚥下診断装置100によれば、生体音データに基づくLPCスペクトルを特徴パラメータとして含んでいるため、上記検証2で示したとおり、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度を高め得る。
また、本実施形態に係る嚥下診断装置100によれば、生体音データとともに呼吸圧データに基づくLPCスペクトルを特徴パラメータとして含んでいるため、上記検証2で示したとおり、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度をさらに高め得る。
また、本実施形態に係る嚥下診断装置100によれば、生体音データ、呼吸圧データおよび喉頭変位データに基づくLPCスペクトルの組み合わせを特徴パラメータとして用いるため、上記検証3で示したとおり、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度をより一層高め得る。
また、本実施形態に係る嚥下診断装置100によれば、LPCスペクトルを特徴パラメータとして用いるため、上記検証1で示したとおり、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度を高め得る。
また、本実施形態に係る嚥下診断装置100によれば、時系列によるLPCスペクトルを特徴パラメータとして用いるため、上記検証2で示したとおり、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度をさらに高め得る。
なお、上記検証1で示したとおり、LPCスペクトルに代えてLPC係数を特徴パラメータとして用いる場合も、第2嚥下判定部116cにおける嚥下障害の可能性の判定精度を高め得る。
<変更例>
上記実施形態では、端末装置110において、第1嚥下判定部116bにおける判定と第2嚥下判定部116cにおける判定が実行されたが、たとえば、図25に示すように、端末装置110にタブレットコンピュータ等の外部コンピュータ140を接続し、外部コンピュータ140において、第1嚥下判定部116bにおける判定と第2嚥下判定部116cにおける判定がなされてもよい。
この場合、端末装置110は、患者から取得した呼吸圧データ、生体音データおよび喉頭変位データに基づいて嚥下推定処理を実行し、嚥下がなされたと推定した場合に、嚥下音発生区間を含む抽出区間において抽出した呼吸圧データ、生体音データおよび喉頭変位データを、外部コンピュータ140に送信する。外部コンピュータ140は、受信したデータに基づいて、第1嚥下判定部116bにおける判定と第2嚥下判定部116cにおける判定を実行し、その判定結果を、自身の表示部140aに表示する。
この変更例によっても、上記実施形態と同様の効果が奏され得る。この変更例では、端末装置110と、鼻カニューレ120と、検出部130と、外部コンピュータ140とによって、嚥下診断装置100が構成される。
なお、第1嚥下判定部116bおよび第2嚥下判定部116cの機能とともに、嚥下推定部116aの機能も、外部コンピュータ140に持たせてもよい。この場合、端末装置110は、患者から取得した呼吸圧データ、生体音データおよび喉頭変位データを、継続的に、外部コンピュータ140に送信し、外部コンピュータ140が、図5(b)〜図7の嚥下診断処理を実行する。
また、上記実施形態では、呼吸圧データ、生体音データおよび喉頭変位データに基づく特徴パラメータ値の組み合わせを用いて、第2嚥下判定部116cにおける判定がなされたが、第2嚥下判定部116cにおける判定に用いる特徴パラメータ値は、必ずしもこれに限られるものではない。たとえば、呼吸圧データ、生体音データおよび喉頭変位データに基づく特徴パラメータ値のうち、呼吸圧データおよび生体音データに基づく特徴パラメータ値の組み合わせを用いて、第2嚥下判定部116cにおける判定がなされてもよく、他の特徴パラメータ値の組み合わせを用いて第2嚥下判定部116cにおける判定がなされてもよい。あるいは、呼吸圧データ、生体音データおよび喉頭変位データに基づく特徴パラメータ値の何れか1つを用いて、第2嚥下判定部116cにおける判定がなされてもよい。
ただし、上記検証2で示したとおり、生体音データに基づく特徴パラメータ値を用いることにより第2嚥下判定部116cにおける判定精度が最も高まるため、第2嚥下判定部116cにおける判定においては、生体音データに基づく特徴パラメータ値を優先的に用いることが好ましい。また、呼吸圧データに基づく特徴パラメータ値を用いることにより第2嚥下判定部116cにおける判定精度が次に高まるため、第2嚥下判定部116cにおける判定において特徴パラメータ値の組み合わせを用いる場合は、生体音データに基づく特徴パラメータ値と呼吸圧データに基づく特徴パラメータ値の組み合わせを用いることが好ましい。
また、上記実施形態では、呼吸の検出に鼻カニューレ120を用いたが、鼻カニューレ120以外の呼吸検出手段を用いてもよい。たとえば、胸囲の拡張および収縮を検出可能な検出バンドを用いて、患者の呼吸を検出してもよい。
また、上記実施形態では、呼吸圧データ、生体音データおよび喉頭変位データをリアルタイムで処理して、嚥下推定部116aによる推定と、第1嚥下判定部116bおよび第2嚥下判定部116cによる判定を実行したが、嚥下診断時には、呼吸圧データ、生体音データおよび喉頭変位データを記憶部117に記憶し、診断後に、医師等からの指示入力により、嚥下推定部116a、第1嚥下判定部116bおよび第2嚥下判定部116cが、記憶部117から呼吸圧データ、生体音データおよび喉頭変位データを読み出して、嚥下の推定と、誤嚥のリスクおよび嚥下障害の可能性を判定してもよい。
この他、第1嚥下判定部116bおよび第2嚥下判定部116cによる判定結果の表示画面も、図23(a)の構成に限られるものではなく、適宜、他の画面構成が用いられてもよい。
本発明にかかる嚥下診断装置は、優れた嚥下診断機能を有しており、医療機器の分野において利用可能なものである。
100 嚥下診断装置
111 表示部
114 圧力センサ(呼吸検出部)
120 鼻カニューレ(呼吸検出部)
131a 音センサ(音検出部)
131b 変位センサ(変位検出部)
116a 嚥下推定部
116b 第1嚥下判定部
116c 第2嚥下判定部
116d 表示制御部

Claims (19)

  1. 喉頭部の音を検出する音検出部と、
    呼吸を検出する呼吸検出部と、
    前記音検出部から出力される音情報において嚥下の推定条件を満たす特徴量を取得した生体音発生区間と、前記呼吸検出部から出力される呼吸情報において所定時間以上呼吸を検出しなかった無呼吸区間とが互いに符合することに基づいて、嚥下が生じたと推定する嚥下推定部と、
    前記嚥下推定部により嚥下が生じたと推定された期間の前後の呼吸相を前記呼吸情報から検出し、検出した呼吸相に基づいて当該嚥下に誤嚥のリスクがあるか否かを判定する第1嚥下判定部と、
    前記嚥下推定部により嚥下が生じたと推定された期間を含む所定の期間において前記音情報および前記呼吸情報の少なくとも一方を含む参照情報を抽出し、抽出した前記参照情報から特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する第2嚥下判定部と、
    前記嚥下推定部により嚥下が生じたと推定された同一の期間について、前記第1嚥下判定部により取得された判定結果と前記第2嚥下判定部により取得された判定結果とを対照可能に表示部に表示させる表示制御部と、を備える、
    ことを特徴とする嚥下診断装置。
  2. 前記第2嚥下判定部は、前記参照情報として前記音情報を抽出し、抽出した前記音情報から前記特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、
    ことを特徴とする請求項1に記載の嚥下診断装置。
  3. 前記第2嚥下判定部は、さらに、前記参照情報として前記呼吸情報を抽出し、抽出した前記呼吸情報から特徴量を取得し、前記呼吸情報から取得した前記特徴量と前記音情報から取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、
    ことを特徴とする請求項2に記載の嚥下診断装置。
  4. 喉頭部の変位を検出する変位検出部をさらに備え、
    前記第2嚥下判定部は、さらに、嚥下が生じたと推定された前記期間を含む前記所定の期間において前記変位検出部から出力される変位情報を前記参照情報として抽出し、抽出した前記変位情報から特徴量を取得し、前記変位情報から取得した前記特徴量と、前記音情報および前記呼吸情報からそれぞれ取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、
    ことを特徴とする請求項3に記載の嚥下診断装置。
  5. 前記嚥下推定部は、前記生体音発生区間と前記無呼吸区間とが符号し、且つ、前記生体音発生区間において前記変位情報の振幅が所定の閾値を超える場合に、嚥下が生じたと推定する、
    ことを特徴とする請求項4に記載の嚥下診断装置。
  6. 前記第2嚥下判定部は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用してスペクトル包絡を求め、求めたスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得する、
    ことを特徴とする請求項1ないし5の何れか一項に記載の嚥下診断装置。
  7. 前記第2嚥下判定部は、前記周波数スペクトルを所定の周波数帯ごとに分割し、前記周波数帯ごとに線形予測分析を適用してスペクトル包絡を求め、求めた各周波数帯のスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得する、
    ことを特徴とする請求項6に記載の嚥下診断装置。
  8. 前記第2嚥下判定部は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用して線形予測分析における各次数の係数を取得し、取得した係数群を前記特徴量として取得する、
    ことを特徴とする請求項1ないし5の何れか一項に記載の嚥下診断装置。
  9. 前記機械学習処理は、サポートベクターマシンである、
    ことを特徴とする請求項1ないし8の何れか一項に記載の嚥下診断装置。
  10. 喉頭部の音を検出する音検出部と、
    呼吸を検出する呼吸検出部と、
    前記音検出部から出力される音情報において嚥下の推定条件を満たす特徴量を取得した生体音発生区間と、前記呼吸検出部から出力される呼吸情報において所定時間以上呼吸を検出しなかった無呼吸区間とが互いに符合することに基づいて、嚥下が生じたと推定する嚥下推定部と、
    前記嚥下推定部により嚥下が生じたと推定された期間を含む所定の期間において前記音情報および前記呼吸情報の少なくとも一方を含む参照情報を抽出し、抽出した前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用してスペクトル包絡を求め、求めたスペクトル包絡を所定周波数間隔でサンプリングして特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する嚥下判定部と、を備える、
    ことを特徴とする嚥下診断装置。
  11. 喉頭部の音を検出する音検出部と、呼吸を検出する呼吸検出部と、を備える嚥下診断装置のコンピュータに、
    前記音検出部から出力される音情報において嚥下の推定条件を満たす特徴量を取得した生体音発生区間と、前記呼吸検出部から出力される呼吸情報において所定時間以上呼吸を検出しなかった無呼吸区間とが互いに符合することに基づいて、嚥下が生じたと推定する嚥下推定機能と、
    前記嚥下推定機能により嚥下が生じたと推定された期間の前後の呼吸相を前記呼吸情報から検出し、検出した呼吸相に基づいて当該嚥下に誤嚥のリスクがあるか否かを判定する第1嚥下判定機能と、
    前記嚥下推定機能により嚥下が生じたと推定された期間を含む所定の期間において前記音情報および前記呼吸情報の少なくとも一方を含む参照情報を抽出し、抽出した前記参照情報から特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する第2嚥下判定機能と、
    前記嚥下推定機能により嚥下が生じたと推定された同一の期間について、前記第1嚥下判定機能により取得された判定結果と前記第2嚥下判定機能により取得された判定結果とを対照可能に表示部に表示させる表示制御機能と、を実行させる、プログラム。
  12. 前記第2嚥下判定機能は、前記参照情報として前記音情報を抽出し、抽出した前記音情報から前記特徴量を取得し、取得した前記特徴量に機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、請求項11に記載のプログラム。
  13. 前記第2嚥下判定機能は、さらに、前記参照情報として前記呼吸情報を抽出し、抽出した前記呼吸情報から特徴量を取得し、前記呼吸情報から取得した前記特徴量と前記音情報から取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、請求項12に記載のプログラム。
  14. 前記嚥下診断装置は、喉頭部の変位を検出する変位検出部をさらに備え、
    前記第2嚥下判定機能は、さらに、嚥下が生じたと推定された前記期間を含む前記所定の期間において前記変位検出部から出力される変位情報を前記参照情報として抽出し、抽出した前記変位情報から特徴量を取得し、前記変位情報から取得した前記特徴量と、前記音情報および前記呼吸情報からそれぞれ取得した特徴量とに機械学習処理を実行して当該嚥下に嚥下障害の可能性があるか否かを判定する、請求項13に記載のプログラム。
  15. 前記嚥下推定機能は、前記生体音発生区間と前記無呼吸区間とが符号し、且つ、前記生体音発生区間において前記変位情報の振幅が所定の閾値を超える場合に、嚥下が生じたと推定する、請求項14に記載のプログラム。
  16. 前記第2嚥下判定機能は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用してスペクトル包絡を求め、求めたスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得する、請求項11ないし15の何れか一項に記載のプログラム。
  17. 前記第2嚥下判定機能は、前記周波数スペクトルを所定の周波数帯ごとに分割し、前記周波数帯ごとに線形予測分析を適用してスペクトル包絡を求め、求めた各周波数帯のスペクトル包絡を所定周波数間隔でサンプリングして、前記特徴量を取得する、請求項16に記載のプログラム。
  18. 前記第2嚥下判定機能は、前記参照情報をフーリエ変換して周波数スペクトルを取得し、取得した周波数スペクトルに線形予測分析を適用して線形予測分析における各次数の係数を取得し、取得した係数群を前記特徴量として取得する、請求項11ないし15の何れか一項に記載のプログラム。
  19. 前記機械学習処理は、サポートベクターマシンである、
    ことを特徴とする請求項11ないし18の何れか一項に記載のプログラム。
JP2018545075A 2016-10-14 2017-10-13 嚥下診断装置およびプログラム Active JP6742620B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016203157 2016-10-14
JP2016203157 2016-10-14
PCT/JP2017/037191 WO2018070522A1 (ja) 2016-10-14 2017-10-13 嚥下診断装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018070522A1 JPWO2018070522A1 (ja) 2019-08-22
JP6742620B2 true JP6742620B2 (ja) 2020-08-26

Family

ID=61905628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018545075A Active JP6742620B2 (ja) 2016-10-14 2017-10-13 嚥下診断装置およびプログラム

Country Status (7)

Country Link
US (1) US11246526B2 (ja)
EP (1) EP3527132B1 (ja)
JP (1) JP6742620B2 (ja)
KR (1) KR102179511B1 (ja)
CN (1) CN109788922A (ja)
SG (1) SG11201902898WA (ja)
WO (1) WO2018070522A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112336308B (zh) * 2020-11-03 2023-08-22 中山大学孙逸仙纪念医院 一种测量评估吞咽功能的可穿戴装置及使用方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100347988C (zh) * 2003-10-24 2007-11-07 武汉大学 一种宽频带语音质量客观评价方法
US20050283096A1 (en) 2004-06-17 2005-12-22 Bloorview Macmillan Children's Centre, A Corp. Registered Under The Ontario Corporations Act Apparatus and method for detecting swallowing activity
US9138171B2 (en) 2004-06-17 2015-09-22 Holland Bloorview Kids Rehabilitation Hospital System and method for detecting swallowing activity
CN101145345B (zh) * 2006-09-13 2011-02-09 华为技术有限公司 音频分类方法
CN101996640B (zh) * 2009-08-31 2012-04-04 华为技术有限公司 频带扩展方法及装置
CN102032942B (zh) * 2009-09-25 2012-07-25 上海宝钢工业检测公司 基于高斯平滑的设备振动信号全频带特征提取和报警方法
CN102339607A (zh) * 2010-07-16 2012-02-01 华为技术有限公司 一种频带扩展的方法和装置
US20120150073A1 (en) * 2010-12-10 2012-06-14 Stephanie Dunn Method and apparatus for diagnosing a medical condition based upon audial data from a patient
BR112013018168A2 (pt) * 2011-01-18 2018-09-25 University Health Network método e dispositivo para detecção de distúrbio de deglutição
CN102243140B (zh) * 2011-04-18 2013-01-23 杨彦利 一种基于子带信号分析的机械设备状态监测方法
CN103687540B (zh) * 2011-05-17 2016-03-16 大学健康网络 使用记录的呼吸音振幅谱图和音高升降曲线诊断osa/csa
CN102429662B (zh) * 2011-11-10 2014-04-09 大连理工大学 家庭环境中睡眠呼吸暂停综合征的筛查系统
WO2013113023A1 (en) * 2012-01-26 2013-08-01 Neurostream Technologies G.P. Neural monitoring methods and systems for treating pharyngeal disorders
CN102780819A (zh) * 2012-07-27 2012-11-14 广东欧珀移动通信有限公司 一种移动终端的语音识别联系人的方法
WO2014107798A1 (en) * 2013-01-14 2014-07-17 University Health Network Mask and method for breathing disorder identification, characterization and/or diagnosis
WO2014159749A1 (en) * 2013-03-13 2014-10-02 The Regents Of The University Of California Non-invasive nutrition monitor
WO2014203433A1 (ja) * 2013-06-19 2014-12-24 京セラ株式会社 機器、及びシステム
EP3040022B1 (en) * 2013-08-26 2019-11-20 Hyogo College Of Medicine Swallowing estimation device, information terminal device, and program
CN103646649B (zh) * 2013-12-30 2016-04-13 中国科学院自动化研究所 一种高效的语音检测方法
CN103868690B (zh) * 2014-02-28 2017-02-01 中国人民解放军63680部队 基于多种特征提取和选择的滚动轴承状态自动预警方法
JP2016034325A (ja) * 2014-08-01 2016-03-17 国立大学法人京都大学 ファジィ推論を用いた嚥下検出方法、嚥下活動モニタリングシステム及び嚥下機能評価方法

Also Published As

Publication number Publication date
WO2018070522A1 (ja) 2018-04-19
KR102179511B1 (ko) 2020-11-16
EP3527132A4 (en) 2020-12-16
EP3527132A1 (en) 2019-08-21
SG11201902898WA (en) 2019-05-30
US11246526B2 (en) 2022-02-15
US20190209073A1 (en) 2019-07-11
CN109788922A (zh) 2019-05-21
KR20190041011A (ko) 2019-04-19
JPWO2018070522A1 (ja) 2019-08-22
EP3527132B1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
JP6199330B2 (ja) 酸素測定信号を用いるチェーンストークス呼吸パターンの識別
TWI533843B (zh) 吞嚥推定裝置
US10278639B2 (en) Method and system for sleep detection
EP2621336B1 (en) Apparatus and method for diagnosing obstructive sleep apnea
Dafna et al. Sleep-wake evaluation from whole-night non-contact audio recordings of breathing sounds
CA2464029A1 (en) Non-invasive ventilation monitor
JP2013123494A (ja) 情報解析装置、情報解析方法、制御プログラム、および、記録媒体
JP2013123495A (ja) 呼吸音解析装置、呼吸音解析方法、呼吸音解析プログラムおよび記録媒体
US9706945B2 (en) Respiration rate determination in impedance pneumography
JP6742620B2 (ja) 嚥下診断装置およびプログラム
JP2023529803A (ja) デジタル聴診器によって生成された音声データの分析を通じた健康に関する洞察の導出
JP2020529234A (ja) 嚥下障害分類モデルの信号品質を判定するための方法及びデバイス
JP2012205693A (ja) 呼吸音解析装置、呼吸音解析方法、および呼吸音解析プログラム
EP3375368B1 (en) Respiration frequency estimating method and device
JP2022545239A (ja) 適切な治療を適用するためにぜんそく患者の咳音を処理するための方法および装置
Zhang et al. Digital signal processing and analysis of cardiopulmonary audio using a multi-channel stethograph system
US20230346253A1 (en) Multi-modal system and method for tracking respiratory health
WO2021029526A1 (en) Methods and systems for pulmonary condition assessment
JP7165209B2 (ja) 生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
KR102624676B1 (ko) 스마트폰으로 수집한 기침음, 호흡음, 성음 측정 데이터를 이용한 호흡기 질환 예측 방법
A Smith et al. Cough recording technology

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under section 34 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20190327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190326

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20190920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6742620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350