JP6231681B2 - 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体 - Google Patents

呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP6231681B2
JP6231681B2 JP2016530725A JP2016530725A JP6231681B2 JP 6231681 B2 JP6231681 B2 JP 6231681B2 JP 2016530725 A JP2016530725 A JP 2016530725A JP 2016530725 A JP2016530725 A JP 2016530725A JP 6231681 B2 JP6231681 B2 JP 6231681B2
Authority
JP
Japan
Prior art keywords
sound
spectrum
decomposition
decomposed
decomposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016530725A
Other languages
English (en)
Other versions
JPWO2016002004A1 (ja
Inventor
隆真 亀谷
隆真 亀谷
石戸谷 耕一
耕一 石戸谷
英幸 大久保
英幸 大久保
友博 三浦
友博 三浦
長谷部 剛
剛 長谷部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2016002004A1 publication Critical patent/JPWO2016002004A1/ja
Application granted granted Critical
Publication of JP6231681B2 publication Critical patent/JP6231681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826Detecting or evaluating apnoea events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、複数の音種を含む呼吸音を解析する呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体の技術分野に関する。
この種の装置として、電子聴診器等によって検出される生体の呼吸音について、正常音種と異常音種とを判別するものが知られている。例えば特許文献1では、副雑音の変換信号の時間/周波数表現に基づいて副雑音を識別するという技術が提案されている。特許文献2では、データベースに記憶されている異常音の音情報の中から最も類似する音情報を検索するという技術が提案されている。
特表2004−531309号公報 国際公開2010/044442号
しかしながら、上述した特許文献1及び2に記載されているような技術では、正常音種と異常音種との分離を十分に行えないという技術的問題点がある。具体的には、例えば異常音種である笛声音、類鼾音、捻髪音、及び水泡音等を夫々分離することができない。
本発明が解決しようとする課題には、上記のようなものが一例として挙げられる。本発明は、呼吸音に含まれる複数の音種を好適に分解することが可能な呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体を提供することを課題とする。
上記課題を解決するための呼吸音解析装置は、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解手段と、前記第1分解手段によって分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解手段と、前記第1分解手段及び前記第2分解手段によって分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力手段とを備える。
上記課題を解決するための呼吸音解析方法は、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程とを備える。
上記課題を解決するためのコンピュータプログラムは、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程とをコンピュータに実行させる。
上記課題を解決するための記録媒体は、上述したコンピュータプログラムが記録されている。
本実施例に係る呼吸音解析装置の全体構成を示すブロック図である。 本実施例に係る呼吸音解析装置の動作を示すフローチャートである。 捻髪音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。 笛声音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。 捻髪音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフである。 捻髪音を含む呼吸音のスペクトルの近似方法を示す概念図である。 笛声音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフである。 笛声音を含む呼吸音のスペクトルの近似方法を示す概念図である。 周波数解析方法の一例を示すグラフである。 周波数解析結果の一例を示す図である。 スペクトルのピーク検出結果を示す概念図である。 正常肺胞呼吸音基底を示すグラフである。 捻髪音基底を示すグラフである。 連続性ラ音基底を示すグラフである。 ホワイトノイズ基底を示すグラフである。 周波数シフトされた連続性ラ音基底を示すグラフである。 スペクトルと、基底及び結合係数との関係を示す図である。 観測されたスペクトル及び近似に用いられる基底の一例を示す図である。 スペクトルを示す各基底及び結合係数を示す図である。 ピーク周波数の時間的連続性を利用した分解方法を示す概念図(その1)である。 ピーク周波数の時間的連続性を利用した分解方法を示す概念図(その2)である。 第1実施例に係る笛声音と類鼾音との分解に用いる閾値を示すグラフである。 第2実施例に係る笛声音と類鼾音との分解に用いる閾値の初期値を示すグラフである。 第2実施例に係る笛声音と類鼾音との分解に用いる閾値の調整後の値を示すグラフ(その1)である。 第2実施例に係る笛声音と類鼾音との分解に用いる閾値の調整後の値を示すグラフ(その2)である。 笛声音を含む呼吸音のスペクトログラム図である。 笛声音のピーク周波数及びピーク数を示すグラフである。 類鼾音を含む呼吸音のスペクトログラム図である。 類鼾音のピーク周波数及びピーク数を示すグラフである。 振幅値の時間的連続性を利用した分解方法を示す概念図(その1)である。 振幅値の時間的連続性を利用した分解方法を示す概念図(その2)である。 分解処理の各段階において得られるスペクトログラムを、順を追って示す概念図(その1)である。 分解処理の各段階において得られるスペクトログラムを、順を追って示す概念図(その2)である。 表示部における表示例を示す平面図(その1)である。 表示部における表示例を示す平面図(その2)である。
<1>
本実施形態に係る呼吸音解析装置は、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解手段と、前記第1分解手段によって分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解手段と、前記第1分解手段及び前記第2分解手段によって分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力手段とを備える。
本実施形態に係る呼吸音解析装置によれば、その動作時には、先ず第1分解手段によって呼吸音のスペクトルが分解される。第1分解手段では、呼吸音を分類する基準となる複数の基準スペクトルに基づいて、呼吸音のスペクトルが分解される。なお、ここでの「基準スペクトル」とは、呼吸音に含まれる複数の音種(例えば、正常呼吸音や、連続性ラ音、捻髪音等)を分類するために、各音種に応じて予め設定されたスペクトルである。基準スペクトルは、例えば各音種に特有の形状を有するスペクトルとして設定されている。
基準スペクトルを用いることで、各基準スペクトルに対応する音種が夫々どのような割合で呼吸音のスペクトルに含まれているかを知ることができる。即ち、呼吸音のスペクトルを基準スペクトルに対応する各音種に分解することができる。
第1分解手段による分解が行われた後には、第2分解手段によって、第1分解手段によって分解された少なくとも一部のスペクトルが分解される。即ち、第1分解手段によって分解されたスペクトルは、少なくとも部分的に更に分解されることになる。第2分解手段では、第1分解手段によって分解されたスペクトルが、所定の時系列特徴に基づいて分解される。ここで「所定の時系列特徴」とは、各スペクトルの時系列変化を判別するための特徴であり、例えば各音種に特有のピーク周波数や振幅値の時系列的な連続性を判別するためのものとして予め設定されている。なお、所定の時系列特徴は、複数種類設定されていてもよい。
所定の時系列特徴を用いれば、スペクトルが所定の時系列特徴を有する音種を含むものであるか否かを判別することができる。この結果、スペクトルを、所定の時系列特徴を有する音種のスペクトルと、所定の時系列特徴を有しない音種のスペクトルとに分解できる。
第2分解手段による分解が行われた後には、出力手段によって、第1分解手段及び第2分解手段によって分解されたスペクトルに基づいて、呼吸音に含まれる分解されたスペクトルの各々の割合に関する情報が出力される。即ち、第1分解手段及び第2分解手段による分解の結果として最終的に得られた各スペクトルについて、その各々が呼吸音に含まれる割合に関する情報が出力される。
ここで仮に、基準スペクトルを用いた分解(即ち、第1分解手段による分解)のみを利用するだけでも、呼吸音のスペクトルをある程度は分解することができる。しかしながら、基準スペクトルを用いた分解では、例えば基準スペクトルが互いに類似するような音種を分解したり、或いは基準スペクトルの設定が困難な音種を分解したりすることが難しい。よって、基準スペクトルを用いた分解だけでは、呼吸音のスペクトルを十分なまでに分解することができないおそれがある。
しかるに本発明では特に、上述したように、基準スペクトルを用いて分解された少なくとも一部のスペクトルは、所定の時系列特徴を用いた分解(即ち、第2分解手段による分解)によって更に分解される。これにより、基準スペクトルを用いた分解だけでは対応できない音種についても、好適に分解することが可能となる。具体的には、所定の時系列特徴を用いた分解では、例えば連続性ラ音とその他の音とを分解することができる。また、正常呼吸音と水泡音とを分解することもできる。
以上説明したように、本実施形態に係る呼吸音解析装置によれば、呼吸音に含まれるスペクトルを好適に分解して、呼吸音に含まれる各音種の割合に関する情報を出力することが可能である。
<2>
本実施形態に係る呼吸音解析装置の一態様では、前記第1分解手段は、前記呼吸音のスペクトルの第1所定特徴に対応する周波数に関する情報を取得する周波数情報取得手段と、前記複数の基準スペクトルを、前記周波数に関する情報に応じてシフトさせ、周波数シフト基準スペクトルを取得するシフト手段と、前記周波数シフト基準スペクトルに基づいて、前記呼吸音のスペクトルを分解する第1分解処理手段とを有する。
この態様によれば、第1分解手段による分解時には、先ず周波数情報取得手段によって、呼吸音のスペクトルの第1所定特徴に対応する周波数に関する情報が取得される。なお、ここでの「第1所定特徴」とは、呼吸音のスペクトルに含まれる音種に応じて特定の周波数に発生する特徴を意味しており、例えば周波数解析された信号に現れるピーク等である。また「周波数に関する情報」とは、周波数を直接的に示す情報に限定されず、その周波数を間接的に導き出すことができるような情報を含む趣旨である。周波数情報取得手段では、例えば呼吸音を示す信号に対して、高速フーリエ変換(FFT:Fast Fourier Transform)等による周波数解析が実行され、解析結果の極大値(即ち、ピーク)に対応する周波数に関する情報が取得される。
周波数に関する情報が取得されると、シフト手段により、呼吸音を分類する基準となる複数の基準スペクトルが周波数に関する情報に応じてシフトされ、周波数シフト基準スペクトルが取得される。基準スペクトルは、例えば呼吸音から取得された第1所定特徴であるピーク位置等に応じて周波数シフトされ、周波数シフト基準スペクトルとされる。
周波数シフト基準スペクトルが取得されると、第1分解処理手段により、周波数シフト基準スペクトルに基づくスペクトルの分解が実行される。即ち、呼吸音のスペクトルが、複数の周波数シフト基準スペクトルの各々に対応する音種に分解される。より具体的には、例えば呼吸音のスペクトルに対して、複数の周波数シフト基準スペクトルを基底とする演算が実行されることで、呼吸音のスペクトルに含まれる周波数シフト基準スペクトルの各々の割合が結合係数として算出される。なお、周波数シフト基準スペクトルの割合を算出する際には、非負の近似法(即ち、結合係数が負にならない近似法)が用いられてもよい。非負の近似法としては、例えば非負値行列因子分解(NMF:Non-negative Matrix Factorization)が挙げられる。
以上説明したように、本態様に係る第1分解手段によれば、分解対象である呼吸音に応じてシフトされた周波数シフト基準スペクトルが用いられるため、より好適に呼吸音のスペクトルを分解することができる。
<3>
本実施形態に係る呼吸音解析装置の他の態様では、前記第2分解手段は、前記第1分解手段によって分解された少なくとも一部のスペクトルの第2所定特徴に対応する周波数を取得する周波数取得手段と、前記第2所定特徴に対応する周波数が時系列的に連続するか否かに応じて、前記第1分解手段によって分解された少なくとも一部のスペクトルを分解する第2分解処理手段とを有する。
この態様によれば、第2分解手段による分解時には、先ず周波数取得手段によって、第1分解手段により分解された少なくとも一部のスペクトルから第2所定特徴に対応する周波数が取得される。なお、ここでの「第2所定特徴」とは、既出の第1所定特徴と同様に、呼吸音成分に含まれる音種に応じて特定の周波数に発生する特徴を意味しており、例えば周波数解析された信号に現れるピーク等である。第2所定特徴は、第1所定特徴と同一の特徴であってもよいし、異なる特徴であってもよい。ちなみに、第2所定特徴に対応する周波数の取得は、後述する時間的な連続性を判定するために、連続して複数回行われる。このようにして取得された複数の周波数は、例えばバッファ等の記憶手段に一時的に記憶される。
周波数の取得後には、第2分解処理手段により、第1分解手段によって分解された少なくとも一部のスペクトルの分解が実行される。第2分解処理手段では、第2所定特徴に対応する周波数が時系列的に連続するか否かに応じてスペクトルが分解される。なお、ここでの「時系列的に連続する」とは、取得された周波数の時系列上での変化に連続性が認められる状態を指し、例えば時間的に連続して取得された2つの周波数が、所定の周波数範囲に入っているか否かによって判定できる。
第2所定特徴に対応する周波数が時系列的に連続するか否かを判定できれば、第2所定特徴が時間的な連続性を有する音種(例えば、連続性ラ音等)と、時間的な連続性を有さない音種(例えば、正常呼吸音や水泡音等)との分解を実現できる。よって、第1分解手段における基準スペクトルを用いた分解では分解できない、或いは分解することが難しい音種についても、第2分解手段において好適に分解することが可能である。
<4>
上述した第2分解処理手段を備える態様では、前記第2分解手段は、前記第2分解処理手段によって、前記第2所定特徴に対応する周波数が時系列的に連続するとして分解されたスペクトルを、前記第2所定特徴に対応する周波数と所定の閾値との関係に応じて更に分解する第3分解処理手段を有するように構成されてもよい。
この場合、第2分解処理手段によって分解されたスペクトルのうち、第2所定特徴に対応する周波数が時系列的に連続するとして分解されたスペクトル(言い換えれば、第2所定特徴に対応する周波数が時系列的に連続しないとして分解されたスペクトル以外のスペクトル)について、第3分解処理手段による分解が更に実行される。
第3分解処理手段では、第2所定特徴に対応する周波数と所定の閾値との関係に応じて分解が実行される。なお、ここでの「所定の閾値」とは、時系列的に連続するとして分解されたスペクトルを分解するための閾値であり、時系列的に連続するとして分解されたスペクトルに含まれる異なる2以上の音種を互いに判別できる値として設定されている。所定の閾値を用いれば、例えば時系列的に連続するとして分解されたスペクトルを、周波数が所定の閾値以上となるスペクトルと、周波数が所定の閾値未満となるスペクトルとに分解することができる。より具体的には、連続性ラ音に対応するスペクトルを、笛声音に対応するスペクトルと、類鼾音に対応するスペクトルとに分解することができる。
なお、所定の閾値は、複数設定されていてもよい。また、所定の閾値は、取得された周波数に応じて可変な値とされてもよい。
<5>
本実施形態に係る呼吸音解析装置の他の態様では、前記第2分解手段は、前記第1分解手段によって分解された少なくとも一部のスペクトルの振幅値を取得する振幅値取得手段と、前記振幅値が時系列的に連続するか否かに応じて、前記第1分解手段によって分解された少なくとも一部のスペクトルを分解する第4分解処理手段とを有する。
この態様によれば、第2分解手段による分解時には、先ず振幅値取得手段によって、第1分解手段により分解された少なくとも一部のスペクトルの振幅値が取得される。振幅値の取得は、後述する時間的な連続性を判定するために、連続して複数回行われる。このようにして取得された複数の振幅値は、例えばバッファ等の記憶手段に一時的に記憶される。
振幅値の取得後には、第4分解処理手段により、第1分解手段によって分解された少なくとも一部のスペクトルの分解が実行される。第4分解処理手段では、取得された振幅値が時系列的に連続するか否かに応じてスペクトルが分解される。なお、ここでの「時系列的に連続する」とは、取得された振幅値の時系列上での変化に連続性が認められる状態を指し、例えば時間的に連続して取得された2つの振幅値が、所定の振幅値範囲に入っているか否かによって判定できる。
振幅値が時系列的に連続するか否かを判定できれば、振幅値が時間的な連続性を有する音種(例えば、正常呼吸音等)と、時間的な連続性を有さない音種(例えば、水泡音等)との分解を実現できる。よって、第1分解手段における基準スペクトルを用いた分解では分解できない、或いは分解することが難しい音種についても、第2分解手段において好適に分解することが可能である。
なお、第4分解処理手段に加えて、上述した第2分解処理手段(即ち、周波数が時系列的に連続しているか否かに応じて分解を実行する手段)が備えられている場合には、第2分解処理手段と第4分解処理手段は、典型的には第1分解手段によって分解されたスペクトルのうち相異なる一部を夫々分解するように設定される。ただし、第2分解処理手段で分解されたスペクトルを第4分解処理手段で更に分解するようにしてもよいし、逆に第4分解処理手段で分解されたスペクトルを第2分解処理手段で更に分解するようにしてもよい。
<6>
本実施形態に係る呼吸音解析方法は、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程とを備える。
本実施形態に係る呼吸音解析方法によれば、上述した本実施形態に係る呼吸音解析装置と同様に、呼吸音に含まれるスペクトルを好適に分解して、呼吸音に含まれる各音種の割合に関する情報を出力することが可能である。
なお、本実施形態に係る呼吸音解析方法においても、上述した本実施形態に係る呼吸音解析装置における各種態様と同様の各種態様を採ることが可能である。
<7>
本実施形態に係るコンピュータプログラムは、呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程とをコンピュータに実行させる。
本実施形態に係るコンピュータプログラムによれば、上述した本実施形態に係る呼吸音解析方法と同様の処理をコンピュータに実行させることができるため、呼吸音に含まれるスペクトルを好適に分解して、呼吸音に含まれる各音種の割合に関する情報を出力することが可能である。
なお、本実施形態に係るコンピュータプログラムにおいても、上述した本実施形態に係る呼吸音解析装置における各種態様と同様の各種態様を採ることが可能である。
<8>
本実施形態に係る記録媒体は、上述したコンピュータプログラムが記録されている。
本実施形態に係る記録媒体によれば、上述したコンピュータプログラムをコンピュータにより実行させることにより、呼吸音に含まれるスペクトルを好適に分解して、呼吸音に含まれる各音種の割合に関する情報を出力することが可能である。
本実施形態に係る呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体の作用及び他の利得については、以下に示す実施例において、より詳細に説明する。
以下では、図面を参照して呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体の実施例について詳細に説明する。
<全体構成>
先ず、本実施例に係る呼吸音解析装置の全体構成について、図1を参照して説明する。ここに図1は、本実施例に係る呼吸音解析装置の全体構成を示すブロック図である。
図1において、本実施例に係る呼吸音解析装置は、主な構成要素として、生体音取得部110と、第1分解部120と、第2分解部130と、成分量算出部140と、結果出力部150とを備えて構成されている。
生体音取得部110は、生体の呼吸音を取得可能なセンサ等として構成される。生体音取得部110は、例えばECM(Electret Condenser Microphone)やピエゾを利用したマイク、振動センサ等で構成されている。生体音取得部110で取得された呼吸音は、第1分解部120に出力される構成となっている。
第1分解部120は、「第1分解手段」の一具体例であり、複数の演算回路やメモリ等を含んで構成されている。具体的には、第1分解部120は、周波数解析部121、ピーク周波数検出部122、基底集合生成部123、混合モデル基準データベース記憶部124、及び基底混合比算出部125を備えている。第1分解部120は、生体音取得部110で取得された呼吸音を、基底集合を利用して複数の音種に対応する成分へと分解する。第1分解部120での分解結果は、第2分解部130へと出力される構成となっている。第1分解部120に備えられる各部の動作については、後に詳述する。
第2分解部130は、「第2分解手段」の一具体例であり、複数の演算回路やメモリ等を含んで構成されている。具体的には、第2分解部130は、ピーク周波数連続性判定部131、周波数記憶部132、結合部133、振幅値連続性判定部134、及び振幅値記憶部135を備えている。第2分解部130は、第1分解部120で分解された複数の音種に対応する成分を、時系列的特徴に基づいて更に分解する。第2分解部130での分解結果は、成分量算出部140へと出力される構成となっている。第2分解部130に備えられる各部の動作については、後に詳述する。
成分量算出部140は、第1分解部120及び第2分解部130での分解結果に基づいて、生体音取得部110で取得された呼吸音に含まれる各音種の成分量を算出するものとして構成されている。成分量算出部140で算出された成分量を示す情報は、結果出力部150に出力される構成となっている。
結果出力部150は、成分量算出部140で算出された各音種の成分量を、例えばディスプレイ等の画像や映像を表示可能な機器、或いはスピーカ等の音声を出力可能な機器に出力するものとして構成されている。
<動作説明>
次に、本実施例に係る呼吸音解析装置の動作について、図1に加えて図2を参照して説明する。ここに図2は、本実施例に係る呼吸音解析装置の動作を示すフローチャートである。ここでは、本実施例に係る呼吸音解析装置が実行する処理の全体的な流れを把握するための簡単な説明を行う。各処理の詳細については、後述する。
図1及び図2において、本実施例に係る呼吸音解析装置の動作時には、先ず生体音取得部110において呼吸音が取得される(ステップS101)。
呼吸音信号が取得されると、周波数解析部121において周波数解析(例えば、高速フーリエ変換)が実行される(ステップS102)。また、ピーク周波数検出部122において、周波数解析結果を用いたピーク(極大値)の検出が実行される。
続いて、基底集合生成部123において基底集合が生成される(ステップS103)。具体的には、基底集合生成部123は、混合モデル基準データベース記憶部124に記憶されている基底を用いて基底集合を生成する。この際、基底集合生成部123は、周波数解析結果から得られたピーク位置(即ち、対応する周波数)に基づいて、基底をシフトさせる。
基底集合が生成されると、基底混合比算出部125において、周波数解析結果及び基底集合に基づく結合係数(即ち、各基底に対応する音種の成分量に対応する値)の算出が実行され(ステップS104)、結合係数に応じた信号強度が算出される(ステップS105)。また、基底混合比算出部125では更に、算出結果に基づいて音種パターン判定が行われ、分解された各成分が音種毎に異なる部位へと出力される(ステップS106)。
具体的には、比較的なだらかな形状で表されるスペクトルを特徴とする成分は捻髪音成分と判定され、成分量算出部140に出力される(ステップS107)。即ち、捻髪音と判定された成分については、第2分解部130での分解は行われない。
また、鋭いピークを有するスペクトルを特徴とする成分は主に連続性ラ音を含む成分として判定され、ピーク周波数連続性判定部131に出力される。ピーク周波数連続性判定部131では、ピーク周波数が時系列的に連続しているか否かが判定される(ステップS108)。ピーク周波数は、所定の時間間隔で取得された上で周波数記憶部132に記憶されており、ピーク周波数連続性判定部131は、周波数記憶部132に記憶されている過去のピーク周波数を利用して時系列的な連続性を判定する。
ここで、ピーク周波数が時系列的に連続していると判定された成分は(ステップS108:YES)、連続性ラ音成分として更に周波数が所定閾値以上であるか否か判定される(ステップS109)。ピーク周波数が所定閾値以上である成分は(ステップS109:YES)、笛声音成分と判定され、成分量算出部140に出力される(ステップS110)。一方、ピーク周波数が所定閾値未満である成分は(ステップS109:NO)、類鼾音成分と判定され、成分量算出部140に出力される(ステップS111)。なお、ピーク周波数が時系列的に連続していないと判定された成分は(ステップS108:NO)、正常呼吸音及び水泡音を含む成分として、結合部133へと出力される。
捻髪音成分及び連続性ラ音を含む成分以外の成分として判定された成分は、正常呼吸音及び水泡音を含む成分として、結合部133に出力される。この正常呼吸音及び水泡音を含む成分は、結合部133において、ピーク周波数連続性判定部131においてピーク周波数が時系列的に連続していないと判定された成分と結合される。結合された正常呼吸音及び水泡音を含む成分は、振幅値連続性判定部134に出力される。
振幅値連続性判定部134では、スペクトルの振幅値が時系列的に連続しているか否かが判定される(ステップS112)。スペクトルの振幅値は、所定の時間間隔で取得された上で振幅値記憶部135に記憶されており、振幅値連続性判定部134は、振幅値記憶部135に記憶されている過去の振幅値を利用して時系列的な連続性を判定する。
ここで、振幅値が時系列的に連続していると判定された成分は(ステップS112:YES)、正常呼吸音成分と判定され、成分量算出部140に出力される(ステップS113)。一方、振幅値が時系列的に連続していないと判定された成分は(ステップS112:NO)、水泡音と判定され、成分量算出部140に出力される(ステップS114)。
続いて、成分量算出部140では、第1分解部120及び第2分解部130での分解結果に基づいて、信号強度が算出される(ステップS115)。信号強度が算出されると、結果出力部150において、信号強度(即ち、呼吸音に含まれる各音種の成分量)を示す画像データ等が生成され、外部のディスプレイ等において解析結果として表示される(ステップS116)。
その後、解析処理を継続するか否かの判定が実行される(ステップS117)。解析処理を継続すると判定された場合(ステップS117:YES)、ステップS101からの処理が再び実行される。解析処理を継続しないと判定された場合(ステップS117:NO)、一連の処理は終了する。
<呼吸音信号の具体例>
次に、本実施例に係る呼吸音解析装置で解析される呼吸音信号の具体例について、図3及び図4を参照して説明する。ここに図3は、捻髪音を含む呼吸音の周波数解析結果を示すスペクトログラム図であり、図4は、笛声音を含む呼吸音の周波数解析結果を示すスペクトログラム図である。
図3に示す例では、正常呼吸音に対応するスペクトログラムパターンに加えて、異常呼吸音の1つである捻髪音に対応するスペクトログラムパターンが観測されている。捻髪音に対応するスペクトログラムパターンは、図中の拡大部分に示すように、菱形に近い形状である。
図4に示す例では、正常呼吸音に対応するスペクトログラムパターンに加えて、異常呼吸音の1つである笛声音に対応するスペクトログラムパターンが観測されている。笛声音に対応するスペクトログラムパターンは、図中の拡大部分に示すように、白鳥の首のような形状である。
このように、異常呼吸音には複数の音種が存在し、その音種によって異なる形状のスペクトログラムパターンとして観測される。ただし、図を見ても分かるように、正常呼吸音及び異常呼吸音は互いに混じり合った状態で検出される。本実施例に係る呼吸音解析装置は、このように混じり合った複数の音種を分解するための処理を実行する。
<呼吸音信号の近似方法>
次に、本実施例に係る呼吸音解析装置の第1分解部120による分解処理(即ち、基底集合を利用した分解)の概略について、図5から図8を参照して簡単に説明する。ここに図5は、捻髪音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフであり、図6は、捻髪音を含む呼吸音のスペクトルの近似方法を示す概念図である。また図7は、笛声音を含む呼吸音の所定タイミングにおけるスペクトルを示すグラフであり、図8は、笛声音を含む呼吸音のスペクトルの近似方法を示す概念図である。
図5において、捻髪音を含む呼吸音信号(図3参照)について、捻髪音に対応するスペクトログラムパターンが強く現れているタイミングでスペクトルを抽出すると、図に示すような結果が得られる。このスペクトルは、正常呼吸音と捻髪音とを含んでいると考えられる。
図6において、正常呼吸音に対応するスペクトル及び捻髪音に対応するスペクトルは、予め実験等により推定できる。このため、予め推定したパターンを利用すれば、上述したスペクトルについて、正常呼吸音に対応する成分と捻髪音に対応する成分とがどのような割合で含まれているかを知ることができる。
図7において、笛声音を含む呼吸音信号(図4参照)について、笛声音に対応するスペクトログラムパターンが強く現れているタイミングでスペクトルを抽出すると、図に示すような結果が得られる。このスペクトルは、正常呼吸音と笛声音とを含んでいると考えられる。
図8において、上述した正常呼吸音及び捻髪音と同様に、笛声音に対応するスペクトルについても、予め実験等により推定できる。このため、予め推定したパターンを利用すれば、上述したスペクトルについて、正常呼吸音に対応する成分と笛声音に対応する成分とがどのような割合で含まれているかを知ることができる。
以下では、このような解析を実現するための各処理について、より具体的に説明する。
<周波数解析>
呼吸音信号の周波数解析及び解析結果におけるピークの検出について、図9から図11を参照して詳細に説明する。ここに図9は、周波数解析方法の一例を示すグラフであり、図10は、周波数解析結果の一例を示す図である。また図11は、スペクトルのピーク検出結果を示す概念図である。
図9において、取得された呼吸音信号に対しては、先ず周波数解析が実行される。周波数は、高速フーリエ変換等の既存の技術を利用して行うことができる。本実施例では、周波数毎の振幅値(即ち、振幅スペクトル)を周波数解析結果として用いている。なお、データ取得時のサンプリング周波数、窓サイズ、窓関数(例えば、ハニング窓等)については、適宜決定すればよい。
図10に示すように、周波数解析結果は、n個の値で構成されるものとして得られる。なお、「n」は、周波数解析における窓サイズ等によって決まる値である。
図11において、周波数解析によって得られたスペクトルについては、ピークの検出が実行される。図に示す例では、100Hz、130Hz、180Hz,及び320Hzの位置にピークp1〜p4が検出されている。なお、ピークの検出処理については、どの周波数にピークが存在するかだけわかればよいため、簡易的な処理でも構わない。ただし、小さなピークでも取りこぼしがないよう、ピーク検出のパラメータ設定されていることが好ましい。
本実施例では、極大値を取る点を求め、更にその点の2階微分値の小さいもの(即ち、絶対値が大きいもの)から順に最大N個(Nは所定の値)を検出している。極大値は、差分の符号が正から負に切り替わる点から求められる。2階微分値は差分の差分で近似する。この値が所定の閾値(負の値)より小さいものを、小さいものから順に最大N個選び、その位置を記憶する。
<基底集合の生成>
次に、基底集合の生成について、図12から図16を参照して詳細に説明する。ここに図12は、正常肺胞呼吸音基底を示すグラフである。また図13は、捻髪音基底を示すグラフであり、図14は、連続性ラ音基底を示すグラフであり、図15は、ホワイトノイズ基底を示すグラフである。図16は、周波数シフトされた連続性ラ音基底を示すグラフである。
図12から図15に示すように、各音種に対応する基底(「基準スペクトル」の一具体例)は、特有の形状を有している。なお、各基底は周波数解析結果と同じn個の数値(即ち、周波数ごとの振幅値)で構成されている。なお、各基底は、周波数毎の振幅値を示す線と周波数軸とで囲まれた面積が所定の値(例えば1)になるように正規化されている。
ちなみに、ここでは正常肺胞呼吸音基底、捻髪音基底、連続性ラ音基底、ホワイトノイズ基底の4つの基底を示しているが、1つの基底しかない場合でも分解処理を実行することができる。また、ここで挙げた基底以外の基底を用いることもできる。なお、ここで挙げた呼吸音に対応する基底に代えて、例えば心拍音や腸音に対応する基底を用いれば、心拍音や腸音の分解を実行することも可能である。
図16において、上述した基底のうち連続性ラ音に対応する基底は、周波数解析の結果から検出されたピーク位置に合わせて周波数シフトされる。ここでは、図11で示したピークp1〜p4の各々に合わせて、連続性ラ音基底を周波数シフトさせた例を示している。なお、連続性ラ音に対応する基底以外の基底を周波数シフトさせてもよい。
以上の結果、基底集合は、正常肺胞呼吸音基底、捻髪音基底、ピーク検出個数分の連続性ラ音基底、及びホワイトノイズ基底の集合として生成される。
<結合係数の算出>
次に、結合係数の算出について、図17から図19を参照して詳細に説明する。ここに図17は、スペクトルと、基底及び結合係数との関係を示す図であり、図18は、観測されたスペクトル及び近似に用いられる基底の一例を示す図である。また図19は、非負値行列因子分解による近似結果を示す図である。
解析対象であるスペクトルy、基底h(f)、及び結合係数uの関係は、以下の数式(1)で表すことができる。
Figure 0006231681
図17に示すように、スペクトルy及び各基底h(f)は、n個の値を有している。他方、結合係数は、m個の値を有している。なお、「m」は、基底集合に含まれる基底の数である。
本実施例に係る呼吸音解析装置では、非負値行列因子分解を利用して基底集合に含まれる各基底の結合係数を算出する。具体的には、以下の数式(2)で示される最適化基準関数Dを最小化するu(ただし、uの各成分値は非負)を求めればよい。
Figure 0006231681
なお、一般的な非負値行列因子分解は、基底スペクトルの集合を表す基底行列と、結合係数を表すアクティベーション行列を共に算出する手法であるが、本実施例においては、基底行列を固定して結合係数のみを算出している。
ちなみに、結合係数を算出するための手段として、非負値行列因子分解以外の近似法を用いてもよい。ただし、この場合においても非負であるという条件が望まれる。以下では、非負の近似法を用いる理由について、具体例を挙げて説明する
図18に示すように、観測されたスペクトルを、基底A〜Dの4つの基底で近似して結合係数を算出する場合を考える。なお、非負であることを条件とした場合の期待する結合係数uは、基底Aに対応するものが1、基底Bに対応するものが1、基底Cに対応するものが0、基底Dに対応するもの0である。即ち、非負であることを条件とした場合、観測されたスペクトルは、基底Aに1を乗じたものと、基底Bに1を乗じたものとを足し合わせたスペクトルとして近似される。
一方、非負であることを条件としない場合に算出され得る結合係数uは、基底Aに対応するものが0、基底Bに対応するものが0、基底Cに対応するものが1、基底Dに対応するものが−0.5である。即ち、非負であることを条件としない場合、観測されたスペクトルは、基底Cに1を乗じたものと、基底Dに−0.5を乗じたものとを足し合わせたスペクトルとして近似される。
上述した2つの例を比較した場合、非負であることを条件とする場合よりも、非負であることを条件としない場合の方が高い近似精度を得られることがある。しかしながら、ここでの結合係数uはスペクトルごとの成分量を表すものであるため、非負の値として得られなければならない。言い換えれば、結合係数uが負の値で得られた場合には、成分量としての解釈ができない。これに対し、非負の条件を課して近似を行えば、成分量に対応する結合係数uを算出することができる。
図19において、本実施例に係る生体解析装置では、上述したように、正常肺胞呼吸音基底、捻髪音基底、4つの連続性ラ音基底、及びホワイトノイズ基底からなる基底集合を用いて結合係数uを算出するため、結合係数uは、uからuの7個の値を有するものとして算出される。
ここで、正常肺胞呼吸音基底に対応する結合係数uは、呼吸音に対する正常肺胞呼吸音の割合を示す値であると言える。同様に、捻髪音基底に対応する結合係数u、ホワイトノイズ基底に対応する結合係数u、100Hzにシフトした連続性ラ音基底に対応する結合係数u、130Hzにシフトした連続性ラ音基底に対応する結合係数u、180Hzにシフトした連続性ラ音基底に対応する結合係数u、及び320Hzにシフトした連続性ラ音基底に対応する結合係数uの各々についても、呼吸音に対する各音種の割合を示す値であると言える。従って、結合係数uから各音種の信号強度を算出することができる。
以上のように、本実施例では、各音種に対応する複数の基底を利用して呼吸音に含まれる複数の音種を分解する。
<ピーク周波数の時間的連続性を利用した分解>
次に、ピーク周波数連続性判定部131において行われる分解処理について、図20及び図21を参照して具体的に説明する。ここに図20及び図21は夫々、ピーク周波数の時間的連続性を利用した分解方法を示す概念図である。
ピーク周波数連続性判定部131は、上述したように、第1分解部120において連続性ラ音を含む成分として分解された一つ以上の成分を、連続性ラ音とそれ以外の音(例えば、正常呼吸音及び水泡音等)に分解する。具体的には、呼吸音信号の周波数解析結果から検出されるピーク周波数が、所定の範囲内で変動している場合に連続性ラ音であると判定する。
図20に示すように、連続性ラ音である笛声音や類鼾音は、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まるように変動する。言い換えれば、ピーク周波数が時間的に連続性を有するように変化する。よって、連続するピーク位置が所定の範囲内にある場合には、その音が連続性ラ音であると判別できる。
他方、図21に示すように、連続性ラ音以外の音は、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まらないように変動する。言い換えれば、ピーク周波数が時間的な連続性を有さず離散的に変化する。よって、連続するピーク位置が所定の範囲内でない場合には、その音が連続性ラ音でないと判別できる。
なお、連続性ラ音の判定には、複数回の判定結果を用いることもできる。具体的には、時間軸上で連続して検出されるピークの位置が所定の範囲内に収まるように変動している回数が所定回数以上継続した場合に、その音が連続性ラ音であると判定するようにしてもよい。
<ピーク周波数に対する閾値を利用した分解>
次に、ピーク周波数の時間的連続性を利用した分解の後に実行される、ピーク周波数に対する閾値を利用した分解について説明する。なお、以下では、3つの異なる実施例について説明する。
<第1実施例>
先ず、第1実施例に係る閾値を利用した分解方法について、図22を参照して説明する。ここに図22は、第1実施例に係る笛声音と類鼾音との分解に用いる閾値を示すグラフである。
第1実施例に係る分解方法では、ピーク周波数の時間的連続性を利用した分解の結果として得られる一つ以上の連続性ラ音成分を、所定閾値との比較により笛声音と類鼾音とに分解する。ここで、笛声音は高音性連続性ラ音、類鼾音は低音性連続性ラ音と呼ばれるように、笛声音と類鼾音とは音の高さ(即ち、周波数)で判別することが可能である。しかしながら、笛声音及び類鼾音は、ピーク周波数が時間的に変化する。このため、ピーク周波数に対する単一の閾値(即ち、値が変動しない一つの閾値)を利用して笛声音及び類鼾音を判定しようとすると、時間の経過により、判定結果が変化してしまうことがある。例えば、ピーク周波数が判定閾値を跨ぐように変化してしまうと、それまでは正確に判定されていたものが、誤った音種として判定されることになってしまう。このため第1実施例では、ピーク周波数に応じて判定閾値を変動させる。
図22に示すように、第1実施例に係る分解処理では、笛声音と判定する割合及び類鼾音と判定する割合がピーク周波数に応じてなめらかに変化するように閾値が変動する。例えば、ピーク周波数が200Hzの場合には、笛声音が7%含まれ、類鼾音が93%含まれると判定する。ピーク周波数が250Hzの場合には、笛声音が50%含まれ、類鼾音が50%含まれると判定する。ピーク周波数が280Hzの場合には、笛声音が78%含まれ、類鼾音が22%含まれると判定する。なお、ここでの具体的な数値はあくまで一例であり、異なる値を設定してもよい。また、測定対象である生体の性別、年齢、身長、体重等によって異なる変動特性を有するようにしてもよい。
上述した変動する閾値を利用することで、ピーク周波数の変動に起因する誤判定を好適に防止することができる。即ち、第1実施例に係る分解処理では、笛声音及び類鼾音を判定するための閾値がピーク周波数に応じて適切な値にとなるよう変動するため、例えば変動しない単一の閾値を用いる場合と比較して、より正確な分解が行える。
<第2実施例>
次に、第2実施例に係る分解処理について、図23から図25を参照して説明する。ここに図23は、第2実施例に係る笛声音と類鼾音との分解に用いる閾値の初期値を示すグラフである。また図24及び図25は夫々、第2実施例に係る笛声音と類鼾音との分解に用いる閾値の調整後の値を示すグラフである。
図23に示すように、第2実施例に係る分解処理では、閾値である250Hzを境にして判定結果が変化するものとして設定されている。具体的には、ピーク周波数が250Hz以上である場合には、連続性ラ音は笛声音成分を100%含んでおり、類鼾音は含んでいないと判定される。一方、ピーク周波数が250Hz未満である場合には、連続性ラ音は類鼾音成分を100%含んでおり、笛声音は含んでいないと判定される。
図24に示すように、第2実施例に係る分解処理では、直前の判定において笛声音成分を100%含むものであると判定された場合、閾値が250Hzから220Hzへと低くされる。よって、笛声音成分を100%含むものとして判定され易くなる。具体的には、ピーク周波数が230Hzの場合を考えると、初期の閾値(図23参照)によれば類鼾音と判定されることになるが、調整後の閾値(図24参照)によれば笛声音と判定される。
図25に示すように、第2実施例に係る分解処理では、直前の判定において類鼾音成分を100%含むものであると判定された場合、閾値が250Hzから280Hzへと高くされる。よって、類鼾音成分を100%含むものとして判定され易くなる。具体的には、ピーク周波数が270Hzの場合を考えると、初期の閾値(図23参照)によれば笛声音と判定されることになるが、調整後の閾値(図25参照)によれば類鼾音と判定される。
上述したように閾値を調整すれば、ピーク周波数の変動に起因する誤判定を好適に防止することができる。即ち、第2実施例に係る分解処理では、笛声音及び類鼾音を判定するための閾値が過去の判定結果に基づいて適切なものへと調整されるため、例えば調整されない単一の閾値を用いる場合と比較して、より正確な判定が行える。
なお、閾値の調整は、直前の判定結果だけによらず、複数回の過去の判定結果に基づいて行われてもよい。また、複数回の過去の判定結果を利用する場合は、各判定結果に対して重み付けを行ってもよい。例えば、過去の判定結果であるほど影響が小さくなるように重み付けを行ってもよい。また、調整する閾値の初期値として、第1実施例のなめらかな閾値を用いてもよい(図22参照)。
<第3実施例>
次に、第3実施例に係る分解処理について、図26から図29を参照して説明する。ここに図26は、笛声音を含む呼吸音のスペクトログラム図であり、図27は、笛声音のピーク周波数及びピーク数を示すグラフである。また図28は、類鼾音を含む呼吸音のスペクトログラム図であり、図29は、類鼾音のピーク周波数及びピーク数を示すグラフである。
図26において、笛声音を含む呼吸音は、所定のピークを有するスペクトル波形として検出される。ここからピーク周波数F及びピーク数Nを検出するには、先ずスペクトル波形の単一時間(即ち、図中の白枠で囲った領域)に対応する周波数−振幅グラフを作成する。
図27に示すグラフから、笛声音のピーク周波数F1及びピーク数N1が検出できる。なお、笛声音のピーク周波数の分布は、180〜900Hz程度であることが分かっている。また、図を見ても分かるように、笛声音のピーク数N1は1個である。
図28において、類鼾音を含む呼吸音は、笛声音とは異なる所定のピークを有するスペクトル波形として検出される。ここからピーク周波数F及びピーク数Nを検出するには、同様にスペクトル波形の単一時間に対応する周波数−振幅グラフを作成する。
図29に示すグラフから、類鼾音のピーク周波数F2及びピーク数N2が検出できる。なお、類鼾音のピーク周波数の分布は、100〜260Hz程度であることが分かっている。即ち、類鼾音のピーク周波数F2は、笛声音のピーク周波数F1よりも低い領域に分布していることになる。また、図を見ても分かるように、類鼾音のピーク数N2は例えば、3個である。即ち、類鼾音のピーク数N2は、笛声音のピーク数N1のように1つでなく、複数である。
第3実施例に係る分解処理では、上述した笛声音及び類鼾音の特性の違いを利用して判定が行われる。具体的には、ピーク周波数F及びピーク数Nの各々に基づいて、笛声音と類鼾音とが分解される。このようにすれば、例えばピーク周波数Fだけを利用して笛声音と類鼾音とを分解する場合と比べて、より正確な分解が行える。
<振幅値の時間的連続性を利用した分解>
次に、振幅値連続性判定部134において行われる分解処理について、図30及び図31を参照して具体的に説明する。ここに図30及び図31は夫々、振幅値の時間的連続性を利用した分解方法を示す概念図である。
振幅値連続性判定部134は、上述したように、第1分解部120及びピーク周波数連続性判定部131において正常呼吸音及び水泡音を含む成分として分解された一つ以上の成分を、正常呼吸音と水泡音とに分解する。具体的には、呼吸音信号の周波数解析結果から検出されるスペクトルの振幅値が、所定の範囲内で変動している場合に正常呼吸音であると判定し、所定の範囲内で変動していない場合に水泡音であると判定する。
図30に示すように、正常呼吸音は、時間軸上で連続して検出される振幅値が所定の範囲内に収まるように変動する。言い換えれば、振幅値が時間的に連続性を有するように変化する。よって、連続する振幅値が所定の範囲内にある場合には、その音が正常呼吸音であると判別できる。
他方、図31に示すように、水泡音は、時間軸上で連続して検出される振幅値が所定の範囲内に収まらないように変動する。言い換えれば、振幅値が時間的な連続性を有さず離散的に変化する。よって、連続する振幅値が所定の範囲内でない場合には、その音が水泡音であると判別できる。
なお、正常呼吸音と水泡音との分解処理には、複数回の判定結果を用いることもできる。具体的には、時間軸上で連続して検出される振幅値が所定の範囲内に収まるように変動している回数が所定回数以上継続した場合に、その音が正常呼吸音であると判定し、それ以外の場合には水泡音であると判定するようにしてもよい。
<分解処理の具体例>
次に、本実施例に係る呼吸音解析装置における分解処理について、図32及び図33を参照して、より具体的に説明する。ここに図32及び図33は夫々、分解処理の各段階において得られるスペクトログラムを、順を追って示す概念図である。
図32に示す例では、捻髪音を多く含み、笛声音及び類鼾音は殆ど含まれない呼吸音を解析対象としている。
取得された呼吸音波形をSTFTにより解析することで、解析処理間隔毎のスペクトルが得られる。周波数解析後スペクトルは、基底集合を利用した分解によって、正常・水泡音代表成分(即ち、正常呼吸音及び水泡音の殆どを含む成分)、ピーク型スペクトル成分(即ち、主として連続性ラ音を含む成分)、捻髪音成分、ノイズ成分(図示省略)に分解される。
ピーク型スペクトラム成分は、ピーク周波数の連続性を利用した分解により、連続性ラ音成分と、正常・水泡音成分の一部とに分解される。連続性ラ音成分は、周波数閾値を利用した分解により、類鼾音成分と笛声音成分とに分解される。他方、正常・水泡音成分の一部は、基底集合を利用して分解された正常・水泡音代表成分と結合された後、振幅値の連続性を利用した分解によって、正常呼吸音成分と水泡音成分とに分解される。
ここで、分解後のスペクトログラムを見ても分かるように、捻髪音成分は多く抽出される一方で、笛声音成分及び類鼾音成分は殆ど抽出されていない。この結果から、呼吸音に含まれる各音種を正確に分解できていることが分かる。
一方、図33に示す例では、笛声音及び類鼾音を多く含み、捻髪音は殆ど含まれない呼吸音を解析対象としている。
この場合の分解後のスペクトログラムを見てみると、笛声音成分及び類鼾音成分は多く抽出される一方で、捻髪音成分は殆ど抽出されていない。この結果からも、図32の例と同様に、呼吸音に含まれる各音種を正確に分解できていることが分かる。
<解析結果の表示例>
次に、解析結果の具体的な表示例について、図34及び図35を参照して詳細に説明する。ここに図34及び図35は夫々、表示部における表示例を示す平面図である。なお、図34の表示例は、図32に示す解析結果(即ち、捻髪音を多く含む呼吸音の解析結果)に対応しており、図35の表示例は、図33に示す解析結果(即ち、笛声音及び類鼾音を多く含む呼吸音の解析結果)に対応している。
図34及び図35に示すように、本実施形態に係る呼吸音解析装置に接続される表示部の表示領域200には、解析結果が複数の画像として表示される。具体的には、領域200aには、取得された呼吸音の波形が表示されている。領域200bには、取得された呼吸音のスペクトルが表示されている。領域200cには、取得された呼吸音のスペクトログラムが表示されている。領域200dには、分解された各音種(ここでは、正常呼吸音、類鼾音、笛声音、捻髪音、水泡音の5音種)の成分量の時系列変化を表すグラフが表示されている。領域200eには、分解された各音種の割合がレーダーチャートとして表示されている。
このような表示を行うことにより、解析結果を視覚的に分かりやすく提供することが可能である。即ち、ユーザに対して、呼吸音に含まれている各成分の割合を直感的に知らせることができる。なお、このような解析結果の表示態様はあくまで一例であり、他の表示態様で解析結果が表示されてもよい。例えば、分解された各音種の割合は、棒グラフや円グラフとして表示されてもよいし、数値化して表示されてもよい。
以上説明したように、本実施例に係る呼吸音解析装置によれば、呼吸音に含まれるスペクトルを好適に分解して、呼吸音に含まれる各音種の割合に関する情報を出力することが可能である。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体もまた本発明の技術的範囲に含まれるものである。
110 生体音取得部
120 第1分解部
121 周波数解析部
122 ピーク周波数検出部
123 基底集合生成部
124 混合モデル基準データベース記憶部
125 基底混合比算出部
130 第2分解部
131 ピーク周波数連続性判定部
132 周波数記憶部
133 結合部
134 振幅値連続性判定部
135 振幅値記憶部
140 成分量算出部
150 結果出力部
200 表示領域
y スペクトル
h(f) 基底
u 結合係数

Claims (8)

  1. 呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解手段と、
    前記第1分解手段によって分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解手段と、
    前記第1分解手段及び前記第2分解手段によって分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力手段と
    を備えることを特徴とする呼吸音解析装置。
  2. 前記第1分解手段は、
    前記呼吸音のスペクトルの第1所定特徴に対応する周波数に関する情報を取得する周波数情報取得手段と、
    前記複数の基準スペクトルを、前記周波数に関する情報に応じてシフトさせ、周波数シフト基準スペクトルを取得するシフト手段と、
    前記周波数シフト基準スペクトルに基づいて、前記呼吸音のスペクトルを分解する第1分解処理手段と
    を有することを特徴とする請求項1に記載の呼吸音解析装置。
  3. 前記第2分解手段は、
    前記第1分解手段によって分解された少なくとも一部のスペクトルの第2所定特徴に対応する周波数を取得する周波数取得手段と、
    前記第2所定特徴に対応する周波数が時系列的に連続するか否かに応じて、前記第1分解手段によって分解された少なくとも一部のスペクトルを分解する第2分解処理手段と
    を有することを特徴とする請求項1又は2に記載の呼吸音解析装置。
  4. 前記第2分解手段は、前記第2分解処理手段によって、前記第2所定特徴に対応する周波数が時系列的に連続するとして分解されたスペクトルを、前記第2所定特徴に対応する周波数と所定の閾値との関係に応じて更に分解する第3分解処理手段を有することを特徴とする請求項3に記載の呼吸音解析装置。
  5. 前記第2分解手段は、前記第1分解手段によって分解された少なくとも一部のスペクトルの振幅値を取得する振幅値取得手段と、
    前記振幅値が時系列的に連続するか否かに応じて、前記第1分解手段によって分解された少なくとも一部のスペクトルを分解する第4分解処理手段と
    を有することを特徴とする請求項1から4のいずれか一項に記載の呼吸音解析装置。
  6. 呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、
    前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、
    前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程と
    を備えることを特徴とする呼吸音解析方法。
  7. 呼吸音のスペクトルを、前記呼吸音を分類する基準となる複数の基準スペクトルに基づいて分解する第1分解工程と、
    前記第1分解工程において分解された少なくとも一部のスペクトルを、所定の時系列特徴に基づいて分解する第2分解工程と、
    前記第1分解工程及び前記第2分解工程において分解されたスペクトルに基づいて、前記呼吸音に含まれる前記分解されたスペクトルの各々の割合に関する情報を出力する出力工程と
    をコンピュータに実行させることを特徴とするコンピュータプログラム。
  8. 請求項7に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体。
JP2016530725A 2014-07-01 2014-07-01 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体 Active JP6231681B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/067537 WO2016002004A1 (ja) 2014-07-01 2014-07-01 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016002004A1 JPWO2016002004A1 (ja) 2017-05-25
JP6231681B2 true JP6231681B2 (ja) 2017-11-15

Family

ID=55018604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530725A Active JP6231681B2 (ja) 2014-07-01 2014-07-01 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20170135649A1 (ja)
EP (1) EP3165164A4 (ja)
JP (1) JP6231681B2 (ja)
WO (1) WO2016002004A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10441243B2 (en) * 2014-03-28 2019-10-15 Pioneer Corporation Biological sound analyzing apparatus, biological sound analyzing method, computer program, and recording medium
WO2018107008A1 (en) * 2016-12-11 2018-06-14 Basil Leaf Technologies, Llc Non-invasive system and method for breath sound analysis
EP3560426A4 (en) 2016-12-20 2020-07-29 Pioneer Corporation DEVICE FOR ANALYZING BIOLOGICAL TONES, METHOD FOR ANALYZING BIOLOGICAL TONES, PROGRAM AND STORAGE MEDIUM
EP3424432B1 (en) 2017-07-04 2020-09-30 Tata Consultancy Services Limited Systems and methods for detecting pulmonary abnormalities using lung sounds
CN107545906B (zh) * 2017-08-23 2021-01-22 京东方科技集团股份有限公司 肺音信号处理方法、处理设备以及可读存储介质
TWI646942B (zh) 2018-02-06 2019-01-11 財團法人工業技術研究院 肺音監測裝置及肺音監測方法
JP7081409B2 (ja) * 2018-09-12 2022-06-07 オムロンヘルスケア株式会社 喘鳴検出装置、喘鳴検出方法、及び喘鳴検出プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6168568B1 (en) * 1996-10-04 2001-01-02 Karmel Medical Acoustic Technologies Ltd. Phonopneumograph system
US6790183B2 (en) * 1998-10-14 2004-09-14 Raymond L. H. Murphy Method and apparatus for displaying body sounds and performing diagnosis based on body sound analysis
FR2823660A1 (fr) * 2001-04-18 2002-10-25 Pneumopartners Dispositif d'aide a l'analyse de bruits adventices
JP2005066045A (ja) * 2003-08-25 2005-03-17 Konica Minolta Medical & Graphic Inc 音データ処理装置及びプログラム
JP5093537B2 (ja) * 2008-10-16 2012-12-12 国立大学法人 長崎大学 音情報判定支援方法、音情報判定方法、音情報判定支援装置、音情報判定装置、音情報判定支援システム及びプログラム
US20140276229A1 (en) * 2011-12-13 2014-09-18 Sharp Kabushiki Kaisha Information analyzing apparatus, digital stethoscope, information analyzing method, measurement system, control program, and recording medium
JP2013123495A (ja) * 2011-12-13 2013-06-24 Sharp Corp 呼吸音解析装置、呼吸音解析方法、呼吸音解析プログラムおよび記録媒体

Also Published As

Publication number Publication date
JPWO2016002004A1 (ja) 2017-05-25
EP3165164A1 (en) 2017-05-10
EP3165164A4 (en) 2018-02-21
WO2016002004A1 (ja) 2016-01-07
US20170135649A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6231681B2 (ja) 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体
US11116478B2 (en) Diagnosis of pathologies using infrasonic signatures
JP6136394B2 (ja) 呼吸音分析装置、呼吸音分析方法および呼吸音分析プログラム
EP3678553B1 (en) Diagnosis of pathologies using infrasonic signatures
JP2013123494A (ja) 情報解析装置、情報解析方法、制御プログラム、および、記録媒体
JP6403311B2 (ja) 心拍状態解析装置
JP6467044B2 (ja) シャント音解析装置、シャント音解析方法、コンピュータプログラム及び記録媒体
JP6298273B2 (ja) 信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体
JP6298527B2 (ja) 生体音解析装置及び生体音解析方法、並びにコンピュータプログラム及び記録媒体
WO2015145763A1 (ja) 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体
JP6531187B2 (ja) 生体音解析装置及び生体音解析方法、並びにコンピュータプログラム及び記録媒体
JP2020163131A (ja) 呼吸音解析装置
JP7001806B2 (ja) 呼吸音解析装置、呼吸音解析方法、コンピュータプログラム及び記録媒体
JP6630149B2 (ja) 生体音解析装置及び生体音解析方法、並びにコンピュータプログラム及び記録媒体
JP2018167062A (ja) 呼吸音解析装置
JP6501917B2 (ja) 生体音解析装置及び生体音解析方法、並びにコンピュータプログラム及び記録媒体
JP2019150641A (ja) 呼吸音解析装置
JP2019017406A (ja) 時系列データの動的想起出力信号の雑音除去装置、雑音除去方法、プログラム及びクラスター分析による呼吸、心拍、音声等の解析装置、解析方法、プログラム
EP4082433A1 (en) Control device, control system, and control method
JP2016030067A (ja) 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体
WO2018117170A1 (ja) 生体音解析装置、生体音解析方法、プログラム及び記憶媒体
JP2017006216A (ja) 可聴音出力装置及び可聴音出力方法
JP2015188637A (ja) 呼吸音解析装置及び呼吸音解析方法、並びにコンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171019

R150 Certificate of patent or registration of utility model

Ref document number: 6231681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250