JP6908243B2 - 生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents
生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 Download PDFInfo
- Publication number
- JP6908243B2 JP6908243B2 JP2017565502A JP2017565502A JP6908243B2 JP 6908243 B2 JP6908243 B2 JP 6908243B2 JP 2017565502 A JP2017565502 A JP 2017565502A JP 2017565502 A JP2017565502 A JP 2017565502A JP 6908243 B2 JP6908243 B2 JP 6908243B2
- Authority
- JP
- Japan
- Prior art keywords
- bioacoustic
- data
- unit
- auditory image
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 134
- 206010041235 Snoring Diseases 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 71
- 238000001228 spectrum Methods 0.000 claims description 62
- 230000003595 spectral effect Effects 0.000 claims description 59
- 201000002859 sleep apnea Diseases 0.000 claims description 57
- 208000001797 obstructive sleep apnea Diseases 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 43
- 238000012216 screening Methods 0.000 claims description 43
- 238000004458 analytical method Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012905 input function Methods 0.000 claims description 12
- 230000001755 vocal effect Effects 0.000 claims description 12
- 230000006641 stabilisation Effects 0.000 claims description 11
- 238000011105 stabilization Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000007477 logistic regression Methods 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000008035 nerve activity Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 27
- 230000035945 sensitivity Effects 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 13
- 230000000052 comparative effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 206010011224 Cough Diseases 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 208000008784 apnea Diseases 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 206010021079 Hypopnoea Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000968 intestinal effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 210000002469 basement membrane Anatomy 0.000 description 2
- 210000000721 basilar membrane Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003477 cochlea Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000000884 Airway Obstruction Diseases 0.000 description 1
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010008589 Choking Diseases 0.000 description 1
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010027783 Moaning Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000003984 auditory pathway Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 210000000067 inner hair cell Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000028774 intestinal disease Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pulmonology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Physiology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
ヒトの発する音である生体音響を解析して、疾患や疾病の症例判定や解析等を行う生体音響解析が行われている。このような生体音響解析を行うにあたっては、解析対象の音響データに、生体音響のデータのみが含まれていること、いいかえると生体音響以外の音響、例えばノイズ等を排除し、必要な音響データを抽出する作業が必要となる。ノイズが含まれていると、症例解析や判定、診断の精度に影響を与え、かといって本来の音響データがノイズと共に除去されてしまっても、同様に判定結果等の信頼性に影響を生じることから、これらの生体音響解析に当たっては、生体音響のデータのみを正確に選別することが求められる。従来、このような作業は人手による手作業で行われていたため、多大な負担となっており、音響データ中から必要な生体音響データのみを精度よく自動抽出可能なシステムが求められている。しかしながら、実用的な精度で自動抽出可能な手法は、未だ確立されていない。
生体音響の一例として、いびき音を取り上げる。近年、睡眠時無呼吸症候群（Sleep Apnea Syndrome：ＳＡＳ）が注目されており、これは睡眠時に一定の無呼吸又は低呼吸を伴い、日中の過度の眠気や睡眠中の窒息感や喘ぎ、反復する中途覚醒等の症状を引き起こす病である。特に閉塞性睡眠時無呼吸症候群（Obstructive Sleep Apnea Syndrome：ＯＳＡＳ）は、高血圧症、脳卒中、狭心症、心筋梗塞等循環器病を合併する危険が指摘されており、早期の発見が求められている（例えば特許文献１、非特許文献１〜４）。
現在、ＳＡＳの診断には終夜睡眠ポリグラフ（Polysomnography：ＰＳＧ）を用いた検査が行われている。これは、患者の検査入院を必要とする大掛かりな検査で、費用がかかる上、一晩中電極を体に貼り付ける必要があるため、患者の体に負担がかかってしまう。具体的には、患者の鼻口気流、気管音、酸素飽和度等を記録する必要があるため、測定機器や測定センサを多数、患者に装着する必要があった。またＳＡＳの簡易検査は睡眠時に実施されるため、これらの測定センサの取付状況等は測定結果に大きな影響を与える。例えば患者の寝返り等で測定センサが外れたり、装着位置がずれたり、衣服が擦れる音を拾う等の問題が発生する。また、睡眠時に測定センサ等が患者に装着された状況は、身体的、精神的な負担、苦痛ともなって望ましくない。このため、より簡便な検査方法の実現が期待されている。その１つのアプローチとして、いびき音の音響解析による方法に近年注目が集まっている。
しかしながら、これまでのいびき音の研究では、終夜録音した睡眠時の録音（Sleep Related Sound：ＳＲＳ、以下「睡眠関連音」と呼ぶ。）データから注目するいびきエピソードを抽出する作業を手作業で行っていることから、データ収集時の負担が大きく、この結果、比較的小規模ないびき音データしか分析できなかった。
診断技術としていびき音の分祈を行うためには、就寝中の長時間に渡って録音されたいびき音について着目する必要がある。そのためには、これまで手作業で行っていたいびきエピソードの抽出作業を自動化することが必須となる。
一方で、患者のいびき音を負担なく収集する方法として、接触式のマイロフォンでなく、非接触式マイクロフォンを採用することが考えられる。しかしながら、非接触としたことで患者とマイクロフォンとの距離が、接触式のマイクロフォンと比べて相対的に大きくなる分だけ、いびき音の音量（音響スペクトルの振幅値）が小さくなり、寝言、咳、呼吸等、いびき音以外の患者から発生する音や、さらに患者以外に起因する物音、例えばベッドのきしむ音、金属音等のノイズの成分が高くなって、相対的に信号対雑音比（ＳＮＲ）が悪化することが懸念される。よって、実際に生体音響解析を行うにあたっては、その前処理としてノイズ成分を除去する必要があるところ、ＳＮＲが悪化した音響データから、いびき音のみといった、必要な音響データを正確に抽出することは極めて困難であり、実用的な方法が求められていた。
Abeyratne, U. R., et al. "Obstructive sleep apnea screening by integrating snore feature classes." Physiological measurement 34.2 (2013): 99.
Ohishi, Yasunori, et al. "Discrimination between singing and speaking voices." INTERSPEECH. 2005.
Patterson, Roy D., Mike H. Allerhand, and Christian Giguere. "Time‐domain modeling of peripheral auditory processing: A modular architecture and a software platform." The Journal of the Acoustical Society of America 98.4 (1995): 1890-1894.
榎本他，雑音耐性に優れたいびきのホルマン卜周波数解析に基づく閉塞型睡眠時無呼吸症候群と単純いびき症との識別，生体医工学，vo1.48，no.1，pp.115-121，2010
Duckitt, W. D., S. K. Tuomi, and T. R. Niesler. "Automatic detection, segmentation and assessment of snoring from ambient acoustic data." Physiological Measurement 27.10 (2006): 1047.
Karunajeewa, A. S., U. R. Abeyratne, and C. Hukins. "Silence-breathing-snore classification from snore-related sounds." Physiological Measurement 29.2 (2008): 227.
Cavusoglu, M., et al. "An efficient method for snore/nonsnore classification of sleep sounds." Physiological Measurement 28.8 (2007): 841.
Karunajeewa, A. S., U. R. Abeyratne, and C. Hukins. "Silence-breathing-snore classification from snore-related sounds." Physiological Measurement 29.2 (2008): 227.
Azarbarzin, A., and Z. Moussavi. "Automatic and unsupervised snore sound extraction from respiratory sound signals." Biomedical Engineering, IEEE Transactions on 58.5 (2011): 1156-1162.
Dafna, E., A. Tarasiuk, and Y. Zigel. "Automatic detection of whole night snoring events using non-contact microphone." PloS One 8.12 (2013): e84139.
Tsuzaki, Minoru. "Feature extraction by auditory modeling for unit selection in concatenative speech synthesis." Interspeech PP. 2223-2226 2001).
Nonaka, Ryo, et al., "いびき音解析に用いる睡眠音分類法の開発," Proceedings of Life Engineering Symposium 2014 (LE 2014).
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、生体音響を含む音響データ中から精度よく必要な生体音響データを抽出可能な生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
上記目的を達成するため、本発明の第１の形態に係る生体音響抽出装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部とを備え、前記判別部による生体音響データの判別を、非言語処理とすることができる。上記構成により、元音響データを聴覚イメージモデルを用いて聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。また、このように従来の音声信号に対する処理、例えば発話者の識別や音声認識といった言語に関する処理でなく、いびき音や腸音のような生体音響データに対する症例や疾患の処理において、聴覚イメージモデルに基づいた処理を適用でき、言語によらず広く適用できる。
また、本発明の第２の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、聴覚イメージモデルを用いて安定化聴覚像を生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された安定化聴覚像に基づいて、音響特徴量を抽出することができる。
さらに、本発明の第３の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、さらに安定化聴覚像から、総括安定化聴覚像と、聴覚スペクトルを生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された総括安定化聴覚像と、聴覚スペクトルに基づいて、音響特徴量を抽出することができる。
さらにまた、本発明の第４の形態に係る生体音響抽出装置によれば、前記音響特徴量抽出部が、聴覚スペクトル及び／又は総括安定化聴覚像の尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトル フラットネス、スペクトルロールオフ、スペクトルエントロピー、オクターブベースのスペクトルコントラストの少なくともいずれかを音響特徴量として抽出することができる。
さらにまた、本発明の第５の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、聴覚イメージモデルを用いて神経活動パターンを生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された神経活動パターンに基づいて、音響特徴量を抽出することができる。上記構成により、安定化聴覚像を用いる場合に比べ、処理負荷を軽減して処理速度の向上を図ることが可能となる。また前記音響特徴量抽出部が、音響スペクトルから得られる音響特徴量として、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少の少なくともいずれかを抽出することもできる。
さらにまた、本発明の第６の形態に係る生体音響抽出装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部とを備え、前記判別部による生体音響データの判別を、非言語処理とすることができる。
さらにまた、本発明の第７の形態に係る生体音響抽出装置によれば、元音響データの内、周期を有する区間を抽出するよう構成できる。
さらにまた、本発明の第８の形態に係る生体音響抽出装置によれば、前記有音区間推定部が、元音響データを微分又は差分して前処理するための前処理器と、前記前処理器で前処理された前処理データを二乗するための二乗器と、前記二乗器で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器と、前記ダウンサンプリング器でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタとを備えることができる。
さらにまた、本発明の第９の形態に係る生体音響抽出装置によれば、前記入力部を、検査対象の患者と非接触に設置される非接触式マイクロフォンとできる。
さらにまた、本発明の第１０の形態に係る生体音響抽出装置によれば、元音響データが、患者の睡眠時に取得される生体音響であり、睡眠下に取得された生体音響データから、必要な生体音響データを抽出することができる。
さらにまた、本発明の第１１の形態に係る生体音響抽出装置によれば、元音響データが、患者の睡眠時に集音される睡眠関連音であり、生体音響データが、いびき音のデータであり、前記所定の種別が、いびき音と非いびき音の別とできる。
さらにまた、本発明の第１２の形態に係る生体音響解析装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部とを備え、前記判別部による生体音響データの判別を、非言語処理とすることができる。上記構成により、元音響データを聴覚イメージモデルを使用して聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
さらにまた、本発明の第１３の形態に係る生体音響解析装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部とを備え、前記判別部による生体音響データの判別を、非言語処理とすることができる。
さらにまた、本発明の第１４の形態に係る生体音響解析装置によれば、前記スクリーニング部が、元音響データから抽出される生体音響データに対して疾患スクリーニングを行うよう構成できる。
さらにまた、本発明の第１５の形態に係る生体音響解析装置によれば、前記スクリーニング部は、元音響データから抽出される生体音響データに対して閉塞型睡眠時無呼吸症候群のスクリーニングを行うよう構成できる。
さらにまた、本発明の第１６の形態に係る生体音響抽出方法によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する工程と、前記生成された聴覚像に対して、音響特徴量を抽出する工程と、前記抽出された音響特徴量を、所定の種別に分類する工程と、前記分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程とを含むことができる。これにより、元音響データを聴覚イメージモデルを使用して聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
さらにまた、本発明の第１７の形態に係る生体音響抽出方法によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、前記安定化聴覚像から、総括安定化聴覚像を生成する工程と、前記生成された総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程とを含むことができる。
さらにまた、本発明の第１８の形態に係る生体音響抽出方法によれば、前記安定化聴覚像から、聴覚スペクトルを生成すると共に、前記所定の音響特徴量を抽出する工程において、前記総括安定化聴覚像に加え、前記生成された聴覚スペクトルから得られる所定の音響特徴量を抽出することができる。
さらにまた、本発明の第１９の形態に係る生体音響抽出方法によれば、さらに、前記所定の音響特徴量を抽出する工程に先立ち、前記抽出された音響特徴量から、識別に寄与する音響特徴量を選択する工程を含むことができる。
さらにまた、本発明の第２０の形態に係る生体音響抽出方法によれば、前記生体音響データか否かを判別する工程を、多項分布ロジスティック回帰分析を用いたいびき音又は非いびき音の分類とできる。
さらにまた、本発明の第２１の形態に係る生体音響解析方法によれば、生体音響抽出装置を用いて、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、前記安定化聴覚像から、聴覚スペクトル及び総括安定化聴覚像を生成する工程と、前記生成された聴覚スペクトル及び総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程と、前記判別工程で生体音響データと判別された真値データに対して、生体音響抽出装置がスクリーニングを行う工程とを含むことができる。
さらにまた、本発明の第２２の形態に係る生体音響解析方法によれば、前記スクリーニングを行う工程を、多項分布ロジスティック回帰分析を用いた閉塞型睡眠時無呼吸症候群又は非閉塞型睡眠時無呼吸症候群のスクリーニングとできる。
さらにまた、本発明の第２３の形態に係る生体音響抽出プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成機能と、前記聴覚像生成機能で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能とをコンピュータに実現させることができる。上記構成により、元音響データを聴覚像を用いて聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
さらにまた、本発明の第２４の形態に係る生体音響抽出プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能とをコンピュータに実現させることができる。
さらにまた、本発明の第２５の形態に係る生体音響解析プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能と、前記判別機能で生体音響データと判別された真値データに対して、スクリーニングを行う機能とをコンピュータに実現させることができる。
さらにまた、本発明の第２６の形態に係るコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（生体音響抽出装置１００）
（生体音響抽出装置１００）
以下、生体音響抽出装置の一例として、元音響データとして睡眠関連音から、抽出対象の生態音響データとしていびき音を自動抽出する生体音響抽出装置について説明する。本発明の一実施の形態に係る生体音響抽出装置を図１のブロック図に示す。この図に示す生体音響抽出装置１００は、入力部１０と、有音区間推定部２０と、聴覚像生成部３０と、音響特徴量抽出部４０と、分類部５０と、判別部６０を備える。
入力部１０は、生体音響データを含む元音響データを取得するための部材である。入力部１０は、マイク部と、プレアンプ部を備えており、生体音響抽出装置１００を構成するコンピュータに収集した元音響データを入力している。マイク部には、好ましくは検査対象の患者と非接触に設置される非接触式マイクロフォンが利用できる。
有音区間推定部２０は、入力部１０から入力された元音響データから、有音区間を推定するための部材である。有音区間推定部２０は、図２のブロック図に示すように、元音響データを微分又は差分して前処理するための前処理器２１と、前処理器２１で前処理された前処理データを二乗するための二乗器２２と、二乗器２２で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器２３と、ダウンサンプリング器２３でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタ２４とを備える。
聴覚像生成部３０は、有音区間推定部２０で推定された有音区間に基づいて、確立された聴覚イメージモデル（ＡＩＭ）に従い聴覚像を生成するための部材である。
音響特徴量抽出部４０は、聴覚像生成部３０で生成された聴覚像に対して、特徴量を抽出するための部材である。音響特徴量抽出部４０は、安定化聴覚像（Stabilized auditory image：ＳＡＩ）を横軸方向に同期加算して生成される聴覚スペクトル（ＡＳ）と、ＳＡＩを縦軸方向に同期加算して生成される総括安定化聴覚像（ＳＳＡＩ）に基づいて、特徴量を抽出することができる。具体的には、音響特徴量抽出部４０は聴覚スペクトルの尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトル フラットネス、スペクトルロールオフ、スペクトルエントロピー、ＯＳＣの少なくともいずれかを特徴量として抽出する。また音響特徴量抽出部４０が、音響スペクトルから得られる特徴量として、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少の少なくともいずれかを抽出することもできる。
分類部５０は、音響特徴量抽出部４０で抽出された特徴量を、所定の種別に分類するための部材である。
判別部６０は、分類部５０で分類された特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別するための部材である。
このようにして、ヒトの聴覚経路から学習機構に至るまでをシミュレーションする生体音響抽出装置１００を構築することによって、高精度にいびき音を自動抽出することが可能となる。
（生体音響解析装置１１０）
（生体音響解析装置１１０）
さらに、生体音響抽出装置で抽出された生体音響データを解析するための生体音響解析装置を構成することもできる。生体音響解析装置１１０は、さらに判別部６０で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部７０を備えている。
以上の生体音響抽出装置や生体音響解析装置は、専用のハードウェアで構成する他、プログラムでソフトウェア的に実現することもできる。例えば、汎用あるいは専用のコンピュータに生体音響抽出プログラムあるいは生体音響解析プログラムをインストールし、ロードして、又はダウンロードして実行することで、仮想的な生体音響抽出装置や生体音響解析装置を実現することもできる。
（従来のいびき音の音響解析）
（従来のいびき音の音響解析）
近年、非接触マイクロフォンを用いた、いびき音の音響解析が行われている。それらの研究では、睡眠時に録音される音（睡眠関連音）からいびき音のみを抽出する必要があるため、様々な自動いびき音抽出法が提案されている。例えば、
（ｉ）メル周波数ケプストラム係数（Mel-frequency cepstral coefficients：ＭＦＣＣ）と隠れマルコフモデル（Hidden Markov model：ＨＭＭ）を相互接続したネットワークを利用した方法、
（ｉｉ）サブバンドスペクトルエネルギー、ロバスト線形回帰（Robust linear regression：ＲＬＲ）や主成分分析（Principal component analysis：ＰＣＡ）を利用した方法、
（ｉｉｉ）サブバンドエネルギー分布、ＰＣＡ、教師なしFuzzy C-Means（ＦＣＭ）クラスタリングを利用した方法、
（ｉｖ）複数の音響解析手法を組み合わせた３４個の特徴量とAda Boostを利用した方法
等が提案されている。
（ｉ）メル周波数ケプストラム係数（Mel-frequency cepstral coefficients：ＭＦＣＣ）と隠れマルコフモデル（Hidden Markov model：ＨＭＭ）を相互接続したネットワークを利用した方法、
（ｉｉ）サブバンドスペクトルエネルギー、ロバスト線形回帰（Robust linear regression：ＲＬＲ）や主成分分析（Principal component analysis：ＰＣＡ）を利用した方法、
（ｉｉｉ）サブバンドエネルギー分布、ＰＣＡ、教師なしFuzzy C-Means（ＦＣＭ）クラスタリングを利用した方法、
（ｉｖ）複数の音響解析手法を組み合わせた３４個の特徴量とAda Boostを利用した方法
等が提案されている。
これらの方法に関する報告例によれば、いびき音と非いびき音とを高精度に自動分類できると示されている。しかしながら、これらの方法では幾つかの信号処理技術を用いて特徴量を抽出する必要があった。一般的に、音の分類法の性能評価は、ゴールド・スタンダードな手法と考えられるマニュアル分類、すなわち人の耳による手作業の分類に基づく。このことから、本願発明者らは、ヒトの聴覚能力を模倣することにより、高性能の音の分類器を構成できるとの考え、本発明を成すに至った。具体的には、聴覚イメージモデル（Auditory Image Model：ＡＩＭ）を用いて、自動的にいびき音／非いびき音を分類可能な生体音響抽出装置を成すに至った。ＡＩＭは、ヒトが音を知覚するときに使う脳内表現と思われる「聴覚像」を模した聴覚イメージモデルである。具体的には、ＡＩＭは蝸牛基底膜を含むヒトの聴覚の末梢系から中枢系に到る機能を模擬した聴覚像のモデルである。このようなＡＩＭは、主に聴覚や音声言語知覚の研究において確立され、話者認識や音声認識等の分野で利用されているものの、いびき音や腸音のような生体音響の判別に用いられた報告例は本願発明者らの知る限り存在しない。
（実施例）
（実施例）
本発明の有効性を確認するため、４０名の被験者から得られた睡眠関連音の大規模データベースを用いて確認を行った。図３に、本実施の形態に係るＡＩＭを用いた生体音響抽出方法のフローチャートを示す。
（有音区間の推定）
（有音区間の推定）
まず、ステップＳ３０１において睡眠関連音を収集し、次にステップＳ３０２において有音区間の推定を行う。ここでは阿南共栄病院（徳島県阿南市羽ノ浦町中庄蔵ノホケ−３６）の協力を得て、終夜睡眠ポリグラフ（Polysomnography：ＰＳＧ）の検査中に、入力部１０を用いて、患者から６時間の間、睡眠関連音を録音した。この入力部１０は、マイク部の一形態である非接触式マイクロフォンと、プレアンプ部を備え、得られた音声データをコンピュータで収集している。ここで非接触式マイクロフォンは、患者の口から約５０ｃｍ離れた位置に設置した。録音に用いたマイクロフォンはオーストラリアＲＯＤＥ社製ModelＮＴ３で、プリアンプは米国Ｍ−ＡＵＤＩＯ社製Mobile-Pre USBで、録音時のサンプリング周波数は４４．１ｋＨｚ、デジタル分解能は１６ｂｉｔｓ／ｓａｍｐｌｅとした。
このようにして録音した睡眠関連音から、有音区間推定部２０を用いて、ステップＳ３０２において有音区間（Audio events：ＡＥ）を検出する。有音区間推定部２０は、短期エネルギー法（Short-Term Energy：ＳＴＥ）及びメディアンフィルタ２４を用いている。ＳＴＥ法は、ある一定の閾値（しきいち）以上の信号エネルギを有音区間として検出する方法である。ここで、睡眠関連音s（n）のｋ番目の短期エネルギーＥkは次式で表すことができる。
上式において、ｎはサンプル番号、Ｎはセグメント長である。実施例においては、睡眠関連音ｓ（ｎ）をＮ＝４０９６、シフト幅１０２４でセグメントに分割して、ｋ番目のセグメントにおける信号エネルギーを計算した。またＥkの平滑化を行うために、１０次のメディアンフィルタを用いた。
さらに実施例においては、セグメントにおけるＳＮＲが５ｄＢ以上の音を検出することで、ＡＥを抽出する。ここで、ＳＮＲの計算時において、背景雑音とは、１秒間の背景雑音のみの信号からＳＴＥ法を行った短期エネルギーの全フレーム平均値として用いている。
なお、非特許文献２によれば、歌声と音声の識別と音の継続時間の関係性を調査した聴取実験において、信号長が２００ｍｓ以上で識別率が７０％を超えると報告されている。これに従い、本実施例では信号長が２００ｍｓ以上の検出音をＡＥと定義する。
（聴覚イメージモデルの生成）
（聴覚イメージモデルの生成）
次に、ステップＳ３０３において聴覚イメージモデル（Auditory Image Model：ＡＩＭ）を用いて聴覚像を生成する。ここでは、聴覚像生成部３０が、ＡＩＭを用いて有音区間（ＡＥ）を解析する。非特許文献３に示す通り、パターソングループによりＡＩＭのシミュレータが提供されている。シミュレータはＣ言語の環境でも動作できるようになっているが、本実施例ではＭＡＴＬＡＢに上で使用することができるＡＩＭ２００６<http://www.pdn.cam.ac.uk/groups/cnbh/aim2006/>（モジュール；ｇｍ２００２、ｄｃｇｃ、ｈｌ、ｓｆ２００３、ｔｉ２００３）を用いた。利用できる主要な５つのステージとして、前蝸牛過程（Pre-cochlea processing：ＰＣＰ）、基底膜振動（Basilar membrane motion：ＢＭＭ）、神経活動パターン（Neural activity pattern：ＮＡＰ）、ストローブ同定（strobe identification：ＳＴＲＯＢＥＳ）、安定化聴覚像（ＳＡＩ）が挙げられる。これらのプロセスを経て、入力音を聴覚像として出力することが可能となる。
ＡＩＭの処理の一例を図４のブロック図に示す。まず前蝸牛過程（Pre-cochlea processing：ＰＣＰ）のステージでは、内耳の前庭窓までの応答特性を表現するために、バンドパスフィルタによるフィルタ処理が行われる。
基底膜振動（Basilar membrane motion：ＢＭＭ）のステージでは、蝸牛の基底膜 において行われるスペクトル解析を表現するために、等価矩形帯域幅（Equivalent Rectangular Bandwidth：ＥＲＢ）のように、フィルタが等間隔に並ぶ聴覚フィルタバンク（ガンマーチャープフィルタバンク、ガンマートーンフィルタバンク）が用いられる。ＢＭＭのステージでは、フィルタバンクの各フィルタからの出力を得ることができる。本実施例では、１００Ｈｚ〜６０００Ｈｚの間で、場所ごとに中心周波数と帯域幅が異なるフィルタが５０個並んでいるガンマーチャープフィルタバンクを使用する。なお、使用するフィルタの数は適宜調整可能としてもよい。
神経活動パターン（Neural activity pattern：ＮＡＰ）のステージでは、内有毛細胞により行われる神経信号変換処理を表現するために、ＢＭＭの各フィルタの出力がローパスフィルタリング、半波整流される。
ストローブ同定（strobe identification：ＳＴＲＯＢＥＳ）のステージでは、ＮＡＰの各フィルタの出力における極大点が適応しきい値処理により検出される。
（安定化聴覚像：ＳＡＩ）
（安定化聴覚像：ＳＡＩ）
さらに安定化聴覚像（Stabilized auditory image：ＳＡＩ）のステージでは、各周波数チャネルで極大点が検出された時点でその極大点を原点とした３５ｍｓフレームを作り、過去のＮＡＰ表現が記憶されているバッファからの情報と時間積分することで、時間軸を時間間隔軸に変換した聴覚像を生成する。この一連の処理をＳＴＩ（Strobed temporal integration）と呼び、聴覚像はＳＡＩとしてフレームごとに出力可能である。ＳＴＩは時間をかけてＮＡＰ表現を時間積分することによって、安定した聴覚像を生成することができる。そのため本実施例では、１エピソードのＡＥから得られる聴覚像の１０フレーム目以降の聴覚スペクトル（Auditory Spectrum：ＡＳ）とＳＳＡＩを解析対象とする。
（聴覚スペクトル：ＡＳ）
（聴覚スペクトル：ＡＳ）
聴覚像の例を図５に示す。この図に示す聴覚像は、縦軸が聴覚フィルタの中心周波数軸、横軸が時間間隔軸を表す。ここで、聴覚像を横軸方向に同期加算して生成されるスペクトルを聴覚スペクトル（Auditory spectrum：ＡＳ）と呼ぶ。ＡＳは聴神経の興奮パターン（Excitation pattern）に相当する表現であり、フォルマントの極大点を確認できる周波数領域のスペクトルである。また、ＡＳの次元数は聴覚フィルタのフィルタ数に対応している。
（総括ＳＡＩ：ＳＳＡＩ）
（総括ＳＡＩ：ＳＳＡＩ）
さらに、縦軸方向に同期加算して生成されるスペクトルを総括ＳＡＩ（Summary SAI：ＳＳＡＩ）と呼ぶ。ＳＳＡＩは、信号が定常的でかつ周期的な場合、各チャネルの出力は限定された時間間隔のみを含むため、特定の間隔でのみ頂点を持つ時間領域のスペクトルである。またＳＳＡＩの次元数は、フレームのサイズ、入力信号のサンプリングレートによって決まる。本実施例では、フレーム間で信号の振幅包絡の影響を最小限にするため、ＡＳ、ＳＳＡＩを最大振幅１で正規化している。
（ＡＩＭから得られた音響特徴量）
（ＡＩＭから得られた音響特徴量）
次にステップＳ３０４において、ＡＩＭから得られた音響特徴量を抽出する。ここではＡＥの各ＳＡＩフレームにおけるＡＳとＳＳＡＩを計算することができる。ここで、ＡＳとＳＳＡＩから特徴量を抽出する方法について説明する。ＡＳやＳＳＡＩは、スペクトルと類似している形状を有することから、以下の８種類の特徴量を用いて特徴を抽出している。
まず尖度（Kurtosis）は、平均値あたりのスペクトルの突起傾向を測定する特徴量である。尖度の式を次式に示す。
次に歪度（Skewness）は、平均値あたりのスペクトルの非対称性を測定する特徴量である。歪度の式を次式に示す。
さらにスペクトル重心（Spectral centroid）は、スペクトルの重心を計算する特徴量である。スペクトル重心の式を次式に示す。
スペクトルバンド幅（Spectral bandwidth）は、信号の周波数帯域幅を定量化する特徴量である。スペクトルバンド幅の式を次式に示す。
スペクトルフラットネス（Spectral flatness）は、音質を定量化する特徴量である。スペクトルフラットネスの式を次式に示す。
スペクトルロールオフ（Spectral roll-off）は、スペクトル分布の全帯域のｃ×１００％を占める周波数を評価する特徴量である。スペクトルロールオフの式を次式に示す。
ここで、Ｘ＞０、ｃ＝０．９５である。
スペクトルエントロピー（Spectral entropy）は、信号の白色性を示した特徴量である。スペクトルエントロピーの式を次式に示す。
ここで、ｉはスペクトルのサンプル点、Ｎはスペクトルのサンプル点の総数、ｋはフレーム番号、Ｘはスペクトルの振幅とする。ただし、Ｘ＞０、ｃ＝０．９５とする。
オクターブベースのスペクトルコントラスト（Octave-based spectral contrast：ＯＳＣ）は、スペクトルのコントラストを表現する特徴量である。この手法ではオクターブフィルタバンクによってスペクトルをサブバンドに分割する。本実施例ではスペクトルの次元数を考慮して、サブバンド数をＡＳでは３、ＳＳＡＩでは５とする。ｂ番目のサブバンドのスペクトルピーク（Spectral peak）Ｐｅａｋk（ｂ）、スペクトルバレー（Spectral valley）Ｖａｌｌｅｙk（ｂ）、スペクトルコントラスト（Spectral contrast）ＯＳＣk（ｂ）は、それぞれ次式で示される。
ここで、Ｘ’はサブバンド内で降順に並び替えた特徴ベクトル、ｊはサブバンド内のスペクトルのサンプル点、Ｎbはサブバンド内のサンプル点の総数、αは安定したピークとバレーの値を抽出するためのパラメータを表す。本実施例ではα＝０．２とする。ただし、スペクトルフラットネスに関しては、ＳＳＡＩを積分する際にＳＦkの値が限りなく０に近づいてしまい、定量化できなかったため、本実施例ではＡＳのみに適用した。
上述した特徴量はＡＥの全フレームから抽出されるため、それぞれの特徴量の平均値および標準偏差を、ＡＥから得られる特徴量として定義する。すなわち、ＡＥから（ｉ）２０次元のＡＳの特徴ベクトル、（ｉｉ）２２次元のＳＳＡＩの特徴ベクトル、（ｉｉｉ）４２次元の両者の特徴ベクトルを抽出することができる。これらに加えて、スペクトルから得られる特徴量、例えば、スペクトル非対称性（spectral asymmetry）、バンドエネルギー比（band energy ratio）等を用いることもできる。
本実施例では、それぞれの特徴ベクトルを（ｉ）ＡＳＦ：Auditory spectrum features、（ｉｉ）ＳＳＡＩＦ：Summary SAI features、（ｉｉｉ）ＡＩＭＦ：AIM featuresと呼ぶ。
（ＭＬＲを用いたいびき音／非いびき音の分類）
（ＭＬＲを用いたいびき音／非いびき音の分類）
さらにステップＳ３０６において特徴ベクトルを用いたＭＬＲモデルに基づいて学習を行い、ステップＳ３０５でＭＬＲを用いたいびき音／非いびき音の分類を行い、さらにステップＳ３０７において閾値に基づく判別を行う。ここでは、分類部５０で音響特徴量を所定の種別に分類し、判別部６０でいびき音又は非いびき音の判別を行うために、ＡＥから抽出された特徴ベクトルを用いた多項分布ロジスティック回帰（Multi-nomial logistic regression：ＭＬＲ）分析を用いた。ＭＬＲ分析は、ロジスティック曲線を利用して複数の測定値を、２つのカテゴリのいずれかに分類する２値識別の識別器として優れた統計的分析手法である。ここでＭＬＲの式を次式に示す。
ここで、ｐは分類対象となる音がいびき音のカテゴリに分類される確率を示す。またβd＝（ｄ＝０，１，．．．，Ｄ）は、最尤法（the maximum likelihood method）によって推定されたパラメータである。さらにｆd＝（ｄ＝０，１，．．．，Ｄ）は、独立変数（Independent variables）とされる特徴量スペクトルの値、Ｄは特徴ベクトルの次元を、それぞれ示す。
ＭＬＲ分析では、最尤法に基づく学習により推定されたβdと従属変数（Dependent variable）Ｙのモデルが構築される。ここでＹは、いびき音と相関があれば１（Ｙ＝１）に、非いびき音と相関があれば０（Ｙ＝０）に近付く。このモデルでテストを実行することで、テストセットｆdの独立変数が与えられると、Ｙ＝１を得る確率ｐを推定可能であることが確認された。ｐの閾値ｐthreに基づいて、各ＡＥを２つのカテゴリ（いびき音又は非いびき音）のいずれか一方に分類でき、いびき音と非いびき音の分類を分類器で実行できる。このシミュレーションは、ＭＡＴＬＡＢ（Ｒ２０１４ａ、The MathWorks, Inc., Natick, MA, USA）のStatistics Toolbox Version 9.0を用いて行った。なおＯＳＡＳスクリーニングの場合は、ＯＳＡＳと相関があれば１（Ｙ＝１）に、非ＯＳＡＳと相関があれば０（Ｙ＝０）に近付くとして同様に考えることができる。
（ＡＩＭを用いた分類器の性能評価）
（ＡＩＭを用いた分類器の性能評価）
次に、聴覚イメージモデル（ＡＩＭ）を用いた分類器の性能評価を行った。ここでは、分類性能の指標として、感度（Sensitivity）、特異度（Specificity）、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を用いた。
ここで感度（Sensitivity）は、判別結果がいびきを検出する能力である。また特異度（Specificity）は、非いびきのうち、判定結果が閾値以下になる割合である。また陽性適中度（Positive predictive value：ＰＰＶ）は、判定結果が閾値以上のとき、実際にいびきである確率を表す。さらに陰性適中度（Negative predictive value：ＮＰＶ）は、判定結果が閾値以下のとき、非いびきである確率を表す。これらに基づいて、ＴＰ、ＦＰ、ＦＮ、ＴＮの関係を、以下のように定義する。
ここで、感度（Sensitivity）、特異度（Specificity）、精度（Accuracy）、陽性適中度（ＰＰＶ）、陰性適中度（ＮＰＶ）を示す式を、上記ＴＰ、ＦＰ、ＦＮ、ＴＮを用いて、それぞれ次式のように規定する。
（ＲＯＣ曲線）
ＲＯＣ（Receiver Operating Characteristic）曲線とは、横軸に偽陽性率（１−特異度）、縦軸に真陽性率（感度）をとり、それぞれプロットしたものである。本実施例では、ＲＯＣ曲線は Ｐthreにより構築することができる。ＲＯＣ曲線の最適しきい値、すなわち、最適のＰthreは、Ｙｏｕｄｅｎ’ｓ ｉｎｄｅｘの手法を用いて求めることができる。ＲＯＣ曲線は、理想的な分類部の場合は左上に大きく弧を描く。この性質のため、ＲＯＣ曲線の下部領域の面積である曲線下面積（Area Under the Curve：ＡＵＣ）を、分類器や分類アルゴリズムの性能の良さを表す指標として利用できる。ＡＵＣ値は、０．５から１の範囲で値をとり、分類精度が良好な場合には１に近づく特性を持つ、分類精度の評価指標である。
（学習データセット及びテストデータセット）
（学習データセット及びテストデータセット）
次に、４０名の被験者から抽出されたＡＥを用いて、本実施例に係る生体音響抽出装置の性能評価を行った。この結果を表１に示す。
M：male；F：female；BMI：body mass index；AHI：apnea-hypopnea index
表１に示すように、４０名から抽出されたＡＥは、学習データセット１６１４１（いびき音１３４０６、非いびき音２７３５）、テストデータセット１０６５１（いびき音７３４６、非いびき音３３０５）に分割されている。
（ラベリング）
（ラベリング）
本実施例では、聴取結果に基づいてＡＥのラベリング作業を行っている。ヘッドフォン（ＳＨＵＲＥ ＳＲＨ８４０）から流れるＡＥを、３名の評価者が聴取してコンセンサスにより、ＡＥのラベリングを行った。このように、全員の同意なくいびき音が選定されないようにした。
このようなラベリング作業時において、非いびき音（non-snore）だと判定されたＡＥを表２に示す。
（ＡＩＭに基づくいびき音と非いびき音の分類）
以上のようにして得られた特徴ベクトルであるＡＳＦ、ＳＳＡＩＦ、ＡＩＭＦを用いて、本実施例の性能評価を行った。この結果を表３に示す。この表に示すように、どの特徴ベクトルでも、高精度にいびき音と非いびき音の分類が可能であることが分かる。その中でも、ＡＩＭＦが最も優れた性能を示した。これは、ヒトの聴覚が周波数情報と時間情報の両方を用いて音の分析を行っていることが理由だと思われる。
一般的に、特徴ベクトルの次元数が高い場合、計算量が大きくなる。そこで、使用した３つの特徴ベクトルから、それぞれ、高い分類精度を維持したまま、次元圧縮が行えるかどうかを検討した。ここでは分類精度の向上に寄与する特徴量を抽出するため、ＡＳＦ、ＳＳＡＩＦの次元数をそれぞれ増加させ、Ａｃｃｕｒａｃｙの変動割合を計算した。
次元数を１つ増加させたとき、Ａｃｃｕｒａｃｙを１％以上増加させた特徴量を分類精度の向上に寄与する特徴量として抽出を行っている。図６に、特徴ベクトルのインデックスとＡｃｃｕｒａｃｙとの関係を示す。この図から、いびき音／非いびき音の分類に有効な特徴量が分かる。
さらに表４に、ＡＳ、ＳＳＡＩから抽出された１％以上精度向上に貢献した特徴ベクトル（ＡＳＦopt'，ＳＳＡＩＦopt.）を示している。この結果から、ＡＳの次元数が４次元になり、ＳＳＡＩの次元数が５次元に、大幅に次元圧縮できることが確認された。
さらに、ＡＩＭＦの次元圧縮を考慮して、ＡＳＦopt.とＳＳＡＩＦopt.を合わせた９次元のＡＩＭＦopt.を特徴ベクトルとして使用することとした。上述した３つの特徴ベクトル：ＡＳＦopt.、ＳＳＡＩＦopt.、ＡＩＭＦopt.によるシステムの性能評価を行った結果を表５に示す。表の結果から、より少ない特徴量を用いて、次元圧縮前と比較して同程度の、高精度ないびき音の自動分類及び抽出が行えることが判る。特に、ＡＩＭＦopt.を用いた場合、最も高いシステムの精度（Accuracy）が９６．９％、（感度：９７．２％、特異度：９６．３％）であることが分かった。ここでＡＩＭＦopt.を用いた場合のＲＯＣ解析結果を、図７に示す。このように、本実施例に係る生体音響抽出装置の有効性や、いびき音抽出のための最適な特徴量が確認できた。
ＡＳ：auditory spectrum；ＳＳＡＩ：summary SAI；ＯＴ：optimum threshold；ＴＰ：true positive；ＦＰ：false positive；ＴＮ：true negative；ＦＮ：false negative；Ｓｅｎ．：sensitivity；Ｓｐｅ．：specificity；ＡＵＣ：area under the curve；Ａｃｃ．：accuracy；ＰＰＶ：positive predictive value；ＮＰＶ：negative predictive value
（従来手法との対比）
（従来手法との対比）
以上の通り、ＡＩＭベースのいびき音／非いびき音を分類する分類器の有効性が実証された。次に、いびき音／非いびき音分類手法として従来より提案されている報告例と本実施例を比較して、その優位性の可否を検証する。ここでは、過去の報告例として、DuckittらのＭＦＣＣｓ、CavusogluらのＳＥＤ、Karunajeewaらの正規化ＡＣ’ｓ、ＬＰＣｓ等、AzarbarzinらのＳＥＤ（５００Ｈｚ）、DafnaらのＭＦＣＣｓ、ＬＰＣｓ、ＳＥＤ等を用いたそれぞれの分類性能と、上述した本実施例の手法で４０名の被験者データを分類した精度Ａｃｃとを、以下の表７に纏めた。この表から明らかなとおり、分類対象とした被験者データや条件は異なるものの、本実施例の手法はいずれの報告例よりも優れた分類精度を達成している。
Ａｃｃ．：accuracy；ＰＰＶ：positive predictive value；ＭＦＣＣｓ：mel-frequency cepstrum coefficients；ＯＳＡＳ：obstructive sleep apnea syndrome；ＳＥＤ：subband energy distribution；ＡＣｓ：autocorrelation coefficients；ＬＰＣｓ：linear predictive coding coefficients；ＡＩＭＦ：AIM feature
（Duckittら）
（Duckittら）
Duckittらは、メル周波数ケプストラム係数（ＭＦＣＣ）を用いて、非いびき音を呼吸音、物音、無音区間、その他の雑音（車の音、犬の吠える音等）に大別して学習させているが、将来的には寝言等の音声も区別して学習できるように拡張する必要があると報告している（非特許文献５）。
（Cavusogluら）
（Cavusogluら）
Cavusogluらは、サブバンドエネルギー分布（Subband Energy Distribution：ＳＥＤ）を用いて単純ないびき音データセットのみを用いて学習した場合に、いびき音／非いびき音の分類で９８．７％の精度を達成したとしている。しかしながら、単純いびき音とＯＳＡＳ患者のいびき音を含むデータセットで学習した場合には、精度が９０．２％に低下したと報告されている（非特許文献７）。これに対して本発明の実施例に係る分類方法では、単純いびき音とＯＳＡＳいびき音を含むデータセットでも９７．３％の精度を達成している。
（Karunajeewa）
（Karunajeewa）
Karunajeewaらは、正規化ＡＣ’ｓ、ＬＰＣｓ等を用いて非いびき音を分類するにあたり、呼吸音と無音区間のみを用いており、言語音や物音は患者が眠る直前の１０分又は２０分間を除外することで回避できると報告している（非特許文献６）。そこで、呼吸音とその他の非いびき音の割合を調査するため、本実施例で使用しているデータベースにおける非いびき音を３名の実施例者による聴感評価試験を行い、呼吸音、咳、音声（寝言、うめき声、話し声）、物音（ベッドのきしむ音、金属音、サイレン等）の４クラスに分類して各エピソード数の調査を行った。その結果、録音が開始してから最初の１時間を除外しているにも関わらず、呼吸音以外の非いびき音が全体の非いびき音に占める割合は２４．４％となり、決してこれらの音を無視できないことが分かった。そして、このようなデータセットにおいて、本実施例の分類方法は９６．９％という高い分類精度を示すことができた。したがって、実施例に係る分類方法は睡眠中に発生すると想定される様々な音に対応できることが示唆される。
（Azarbarzinら）
（Azarbarzinら）
Azarbarzinらは、５００ＨｚのＳＥＤを用いて、単純いびき音とＯＳＡＳいびき音のデータセットを分類し、９３．１％の精度を得たと報告している（非特許文献９）。しかしながら、分類対象データはわずか１５分から抽出されたに過ぎず、これに対して本実施例は２時間もの長時間のデータに対して９７．３％を達成している。
（Dafnaら）
（Dafnaら）
Dafnaらは、ＭＦＣＣｓ、ＬＰＣｓ、ＳＥＤ等、複数の音響解析手法を組み合わせた３４次元の特徴ベクトルを用いている（非特許文献１０）。しかしながら、この手法はそれぞれの特徴量に関する理論を十分に理解して使用する必要があり、システムの複雑性が高い。これに対して、本実施例では比較的低次元の特徴ベクトルを用いて、既存のＡＩＭシミュレータを利用したシンプルなプログラムで構築できる利点を有する。
また津崎らは、これらの特徴ベクトルを使用する際に、ＡＳについてはピークの総数・位置・レベル、スペクトル重心、スペクトル傾斜、スペクトル起伏に対応する量を計算し、ＳＳＡＩについてはピークの時間間隔の逆数の対数によってピッチ相当値を計算し、ピークの高さによってピッチ明瞭性の指標として特徴抽出を行っている（非特許文献１１）。しかしながら、活用しているＳＳＡＩの情報が少なく、より有効に活用する手段を言及する必要があった。またピークの自動検出を実現するには、検出精度に対する頑健性が課題となっている。これに対して、本実施例ではピーク検出システムを用いないＡＩＭの特徴抽出法によるいびき音と非いびき音の分類法の効果検証を行った結果、ＡＳとＳＳＡＩの両方を用いた場合の結果が最も高い精度を示している。また、ＳＳＡＩのみを用いた場合でも９４％の精度を得ており、ＳＳＡＩの情報も有効活用している。
また本実施例に係るＡＳやＳＳＡＩを用いた有音分類方法によれば、音響スペクトルから得られる特徴量、例えばピークの総数、位置、振幅に対応する特徴量や、スペクトルの重心、傾斜、増加や減少に対応する特徴量をＡＳやＳＳＡＩから抽出することができる。
また、抽出されたいびき音の内で、ピッチ（周期）を有する区間のみを対象として、スクリーニングを行うこともできる。あるいは、予めいびき音を抽出する際に、ピッチを有する区間のみを抽出するように構成してもよい。なお以上の例では、セグメントにおけるＳＮＲが５ｄＢ以上の音をＡＥとして使用しているが、有音区間検出法の利用により、ＳＮＲ＜５ｄＢの音を使用することもできる。
またＡＩＭの処理に際して、図４のブロック図で示すすべてのステージの処理を行う必要はなく、例えばＮＡＰ（神経活動パターン）のステージまでで得られる特徴量を用いることで、処理の高速化を図ることができる。
（実施例）
（実施例）
以上説明した非接触マイク技術を使用したＡＩＭベースのいびき音と非いびき音の分類法を用いて、４０名の被験者を用いて生体音響抽出方法の精度評価を行った。これらの結果を実施例として以下説明する。
（システムの雑音耐性）
（システムの雑音耐性）
本実施例では、睡眠関連音を録音するために非接触マイクを使用した。このアプローチは睡眠関連音分類の研究において、たびたび接触マイクと比較して議論される。非接触マイクは被験者に負荷をかけずに録音ができるという利点を有する一方、録音時のＳＮＲの大小が問題点として挙げられる。非接触マイクを用いたこれまでの報告例では、信号のＳＮＲを改善するアプローチとしてスペクトルサブトラクション法等の雑音低減処理を前処理に用いている。しかしながら、スペクトルの減算処理はミュージカルノイズと呼ばれる合成音声を生成してしまい、低いＳＮＲでは基本周波数の推定が困難となる。これに対して、本実施例のＢＭＭで使用したガンマチャープフィルタバンクは、ミュージカルノイズを生じさせることなく、−２ｄＢのような低いＳＮＲでも効果的に雑音環境下から音声を取り出すことができる。これは、ＡＩＭがノイズよりも周期音の微細構造を保存する特性を有しているためと考えられる。また、ＡＩＭベースの特徴ベクトルは、ＭＦＣＣよりも高い雑音抑圧を有していると報告されている。以上の理由から、ＡＩＭには実環境の録音に対する優れた雑音耐性があると言える。
（有音区間の推定）
（有音区間の推定）
ここで、有音区間推定部２０が有音区間を推定する方法の一例を、図８のフローチャート及び図９Ａ〜図９Ｅのグラフに基づいて説明する。ここでは、元音響データの波形（信号強度の時間変化）の一例として、図９Ａに示すような睡眠関連音データから、有音区間としていびきエピソードを抽出することを考える。
まずステップＳ８０１において、睡眠関連音を収集する。ここでは、非接触式マイクロフォンを用いて、睡眠中の患者から元音響データ（図９Ａ）となる睡眠関連音を録音する。
次にステップＳ８０２において、元音響データを微分又は差分する。この処理は図２に示す前処理器２１で行う。ここでは、図９Ａの元音響データを、前処理器２１である微分器で微分しており、この結果得られる前処理データの信号波形を、図９Ｂに示す。なお差分は、デジタルフィルタの一である一次ＦＩＲ（Finite Impulse Response）フィルタで行うことができる。
さらにステップＳ８０３において、前処理データを二乗する。この処理は図２に示す二乗器２２で行う。図９Ｂの前処理データを二乗器２２で二乗した結果得られる二乗データの信号波形を、図９Ｃに示す。
さらにステップＳ８０４において、二乗データをダウンサンプリングする。この処理は図２に示すダウンサンプリング器２３で行う。図９Ｃの二乗データをダウンサンプリング器２３でダウンサンプリングした結果得られるダウンサンプリングデータの信号波形を、図９Ｄに示す。なお、ダウンサンプリングの代わりに、二乗データを、例えば、Ｎ＝４００、シフト幅２００でセグメントに分割して、ｋ番目のセグメントにおける信号エネルギーを求めて実現しても良い 。
ステップＳ８０５において、ダウンサンプリングデータから中央値を取得する。この処理は図２に示すメディアンフィルタ２４で行う。図９Ｄのダウンサンプリングデータから、メディアンフィルタ２４で中央値を取得した結果得られる信号波形を、図９Ｅに示す。このようにして、図９Ａのような背景ノイズに埋もれた元音響データから、図９Ｅのように必要な生体音響データのみを抽出することが可能となり、背景ノイズに埋もれた睡眠関連音であっても、有音区間（呼吸音、いびき音等）を正確に抽出可能となる。
なお、有音区間の検出に際しては、上述の通り差分、二乗等を用いる他、ニューラルネットワーク等の学習機械や、その他の時系列解析技術、信号解析・モデリング技術を用いて実現してもよい。
（比較例１、２）
（比較例１、２）
ここで比較のため、音声区間の検出方法として従来から知られている方法を比較例として適用した。ここでは、ゼロ交差率（Zero-Crossing Rate：ＺＣＲ）を用いる方法を比較例１、音声信号のエネルギーに基づくＳＴＥ法を比較例２として、図１０Ａの元音響データに対してそれぞれ有音区間の自動抽出を行った結果を、図１０Ｂ、図１０Ｃにそれぞれ示す。さらに比較のため、上述した実施例１に係る方法での自動抽出結果を図１０Ｄに示す。これらＺＣＲやＳＴＥ法は、外部から入力された音声信号より、音声区間のみを検出する音声区間検出方法として、代表的な手法である。
（ＺＣＲ）
（ＺＣＲ）
まずＺＣＲは、次式で定義される。
ここで、ｓｇｎ［χ（ｋ）］は次式で表される。
ＺＣＲは、発声される有音区間のＺＣＲが、無音区間のＺＣＲよりも相当小さい場面で主に利用されている。この方法は、音声の種別（強い調和構造）に依存する。
（ＳＴＥ法）
（ＳＴＥ法）
またＳＴＥ法は、音のＳＴＥ関数を上記数１のように定義する。
このＳＴＥ法は、有音区間における上記Ｅkの値が無音区間のＥkよりも相当大きく、ＳＮＲが高くて有音区間のＥkが背景音のノイズから明瞭に判読できる場面で主に利用されている。
このように、ＺＣＲやＳＴＥ等の手法は、いずれも比較的雑音の影響が少ない環境を前提として自動音声区間検出を行っているため、図１０Ａに示すようなＳＮＲが低下する環境下では、適切な有音区間の抽出がなされ難い。図１０Ｂに示す比較例１のＺＣＲでは十分な抽出が成されているとは言えず、また図１０Ｃに示す比較例２の信号エネルギーでも、一様にピークが表れており分離が困難である。これに対し、上述した実施例１に係る方法での自動抽出結果は、図１０Ｄに示すように、明確に信号が抽出されており、図１０Ａのような極めてSNRの小さな睡眠関連音データに対しても、実施例に係る有音区間推定部を用いることで、有音区間（呼吸音、いびき音）を抽出、分離でき、有用性が確認された。
なお、この例では元音響データとして、表６に示すように、１０人の被験者に対して睡眠関連音データを収集し、睡眠関連音の長さを１２０ｓとして人手によりいびき音（Snore）と呼気音（Breath）に予め分類している。
上述した感度（Sensitivity）、特異度（Specificity）、曲線下面積（ＡＵＣ）の定義に従い、被験者毎に曲線下面積、感度、特異度を、実施例１、比較例１、比較例２について、それぞれ算出した。得られた結果を、以下の表９〜表１１に、それぞれ示す。これらの結果、実施例１においては感度、特異度、曲線下面積のいずれも高い精度を達成できていることが確認された。
（実施例３）
さらに、いびき音と非いびき音との分類がなされたデータに対して、ＡＩＭに基づくスクリーニング、すなわち篩い分けを図１のスクリーニング部７０でもって行う。ここでは、スクリーニング部７０が、いびき音からＯＳＡＳ（閉塞性睡眠時無呼吸症候群）か非ＯＳＡＳかの判定を行う。ここで、スクリーニング部７０がＯＳＡＳと非ＯＳＡＳの分類を適切に行えるか、その有用性を確認するため、実施例３を行った。ここでは、まずいびき音と非いびき音との分類用のデータセットとして、３１名の被験者から抽出したＡＥのデータセットを用意した。この内、２０名を学習データセットに、１１名をテストデータセットとして用いた。ここでは、被験者の睡眠１時間のデータを２時間分抽出した。
ＡＥは、人手により予めいびき音又は非いびき音にラベル分けされている。いびき音と非いびき音の分類に用いたデータセットの詳細を以下の表に示す。
M：male；F：female；BMI：body mass index；AHI：apnea-hypopnea index
一方、ＯＳＡＳと非ＯＳＡＳの分類に用いたデータセットを、以下の表に示す。ここでは、５０名の被験者を用いて、この内３５名を学習データセットに、１５名をテストデータセットに、それぞれ利用した。
（ＡＩＭに基づくＯＳＡＳと非ＯＳＡＳの分類）
まず、図１の分類部５０及び判別部６０によるいびき音又は非いびき音の分類性能を ６次元特徴ベクトル（ＡＳから抽出された尖度、歪度、スペクトル重心、スペクトルバンド幅、ＳＳＡＩから抽出された尖度、歪度）を用いて評価した。この表に示すとおり、これらの特徴ベクトルを用いることで、感度９８．４％、特異度９４．０６％という極めて高い精度でいびき音又は非いびき音の分類がなされていることが確認された。
さらに本実施例において、図１の分類部５０及び判別部６０で判別されたいびき音の８次元特徴（ＡＳから抽出された歪度、スペクトル重心、スペクトルロールオフ、ＳＳＡＩから抽出された尖度、歪度、スペクトルバンド幅、スペクトルロールオフ、スペクトルエントロピー）ベクトルに基づき、スクリーニング部７０でＯＳＡＳと非ＯＳＡＳの分類を行った。また、いびき音又は非いびき音の分類、ＯＳＡＳと非ＯＳＡＳの分類では、上述した特徴量の組み合わせを用いることができる。これらの特徴量に加えて、スペクトル非対称性（spectral asymmetry）、バンドエネルギー比（band energy ratio）等を用いることもできる。このＯＳＡＳと非ＯＳＡＳの分類の評価は、１０ｆｏｌｄのクロスバリデーションテストで行った。ここでは、データセットからランダムに選択した９ｆｏｌｄを学習用として、残りの１ｆｏｌｄをテスト用として用いた。
この結果、無呼吸低呼吸指数（apnea-hypopnea index：ＡＨＩ）の判断基準となる閾値を１５イベント／ｈに設定してＯＳＡＳ患者をスクリーニング部７０で篩い分けしたところ、上記表１４に示すように感度は８５．００％±２６．８７、特異度は９５．００％±１５．８１という優れた結果が得られ、本実施例の有用性が確認された。なお、ＡＨＩはこの値に限らず、５イベント／ｈや１０イベント／ｈ等とすることもできる。また分類部５０、判別部６０、スクリーニング部７０における解析に際して、男女の性別毎の特徴を加味した分類や判別、篩い分けも可能となる。なお、分類部５０や判別部６０を用いた睡眠音の分類や識別には、ＭＬＲに代えて、パターン認識・識別技術、学習機械、例えばニューラルネットワーク、ディープニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等を利用することもできる。また、上記実施例では２クラス分類としたが、上記学習機械を用いて、多クラス分類問題を考えることもできる。例えば、特徴量をもとに、直接、ＯＳＡＳいびき（１）、非ＯＳＡＳいびき（２）、非いびき（３）のように分類することもできる。勿論、自動抽出においては、いびき（１）、呼吸音（２）、咳（３）のように多クラスに分類することができる。
（実施例４）
（実施例４）
次に実施例４として、被験者数を増やした状態で、すなわち被験者データベースを拡大した状態で、いびき／非いびきの識別、ＯＳＡＳ／非ＯＳＡＳの識別が可能か否かを検証した。ここでは、２時間の睡眠音の中から獲得されたAudio event（ＡＥ)を使用する。なお、睡眠音は、終夜睡眠ポリグラフ（Polysonmnography：ＰＳＧ）検査中に録音されている。性能評価を行うために、睡眠研究に従事する３名の視聴者により、注意深く、いびき音／非いびき音の２クラスのラベリングが行われている。ＰＳＧ検査時に得られた被験者情報とラベリングによって得られた、いびきの数の平均値を表１５の被験者データベースに示す。
ＡＥごとにStabilized auditory image（ＳＡＩ）を形成し、１０フレーム以降に得られたAuditory spectrum（ＡＳ)とSummary stabilized auditory image(ＳＳＡＩ)を解析対象とした。なお、各フレームは、ＡＳとＳＳＡＩは最大振幅が１になるように正規化を行った。なお標準偏差で正規化する場合は、１エピソードで正規化することも可能である。ＡＳからはKurtosis、Skewness、Spectral centroid、Spectral bandwidth、Spectral roll-off、Spectral entropy、Spectral contrast、Spectral flatnessの８つの特徴を利用した。ＳＳＡＩではSpectral flatness以外の７つの特徴量を用いた。これらの特徴量は、ＡＥの全フレームから抽出されるため、それぞれの特徴量の平均値をＡＥから得られる特徴量として使用した。これらの特徴量からの中から、更に識別に有効な特徴量を選択するために、男性、女性、男性女性データセット毎に、特徴選択アルゴリズムであるステップワイズ法を使用した。
上述のように選択した特徴ベクトルを用いて、ＭＬＲモデルに基づく学習を行う。ここでは、図３で示したＡＩＭを用いた生体音響抽出方法を示すフローチャートのステップＳ３０５で行うＭＬＲを用いたいびき音／非いびき音の分類（ＯＳＡＳスクリーニングの場合：ＯＳＡＳ／ｎｏｎ−ＯＳＡＳの分類）を行った。さらにステップＳ３０７において閾値に基づく判別を行った。ここでは、分類部５０で音響特徴量を所定の種別に分類し、判別部６０でいびき音又は非いびき音の判別を行うために、ＡＥから抽出された特徴ベクトルを用いた多項分布ロジスティック回帰（Multi-nomial logistic regression：ＭＬＲ）分析を用いた。
（いびき音自動分類の性能評価）
（いびき音自動分類の性能評価）
ＡＩＭを用いた、いびき音自動分類の性能評価を行うために、Leave-one-out交差検証を行った。ここでは、全テストデータセットにおける感度（Sensitivity）、特異度（Specificity）、AUC（area under the curve）、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を計算して、それらの平均値、標準偏差を求めることにより、システムの分類性能を評価した（自動分類、スクリーニング共に、厳しい基準で評価を行っている）。
（ＯＳＡＳスクリーニングの性能評価）
（ＯＳＡＳスクリーニングの性能評価）
ＡＩＭを用いた、ＯＳＡＳスクリーニングの性能評価には、被験者データベースから無作為に選んだ７０％を学習用データセット、残りの３０％をテスト用データセットして使用した。両データセット共に、ＯＳＡＳ被験者とＮｏｎ−ＯＳＡＳ被験者が均等になるように、独立に分割し、ランダムに５０パターン作成した学習・テスト用データセットを使用して、感度（Sensitivity）、特異度（Specificity）、ＡＵＣ（area under the curve、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を計算した後、平均値と標準偏差の計算を行い、ＯＳＡＳスクリーニングの性能を評価した。
（いびき音自動分類の性能評価結果）
（いびき音自動分類の性能評価結果）
ＡＩＭを用いた、いびき音自動分類の性能評価結果（Leave-one-out交差検証）を表１６に示す。
以上の結果から、ＡＩＭから得られる特徴だけを使用して、男女ともに、高い精度で、いびきを自動分類できることが判明した。
（ＡＩＭを用いた、ＯＳＡＳスクリーニングの性能評価結果）
（ＡＩＭを用いた、ＯＳＡＳスクリーニングの性能評価結果）
上述した方法によりＡＩＭを用いて自動抽出した、いびき音に基づくＯＳＡＳスクリーニングの性能評価結果を表１７に示す。また参考のため、自動抽出を行わず、ラベリングにより手動で抽出した、いびき音のみを利用したＯＳＡＳスクリーニングの性能評価結果を表１８に示す。
表１７より、ヒトの聴覚能力を模倣した、ＡＩＭだけを用いて自動抽出した、いびき音をもとに、どのデータセットにおいても高い精度でＯＳＡＳスクリーニングを行えることが示唆された。表１７と１８から、自動抽出された場合に比べて、ラベリングにより手動で抽出したいびき音に基づくＯＳＡＳスクリーニングの性能が全ての被験者セットにおいて高いことが判った。この結果より、ＡＩＭを用いた、いびき音の自動抽出の性能を更に向上させることによりＯＳＡＳスクリーニング性能の向上が示唆される。いびき自動抽出性能の向上のために、ＡＳとＳＳＡＩのフレームにおける正規化方法の変更、例えばフレームで正規化するのではなく、１エピソードで正規化することも可能である。また、特徴量の追加、例えば、非特許文献１で述べられるような、ピッチ情報、フォルマント周波数情報などの信号処理、音声認識、音声信号処理に使用される特徴ベクトルとの組み合わせ等も可能である。
さらに本実施例では、エネルギの高い有音区間を対象にＡＩＭ処理を行った。その他、低ＳＮＲの音を含む有音区間を対象としてＡＩＭ処理を行って、咳、いびき、呼吸、発声、ベッドノイズ等のカテゴリに分類することも可能である。
以上の実施例に係る方法を纏めると、まずＡＩＭ処理により、３５ｍｓのフレーム毎にＳＡＩを求める。次に、各ＳＡＩからＡＳとＳＳＡＩを求める。さらにＡＳ、ＳＳＡＩから、それぞれ特徴量（尖度、歪度、スペクトルバンド幅、スペクトル重心、スペクトルエントロピー、スペクトルロールオフ、スペクトルフラットネス等）を抽出する。フレームの数だけ特徴量が得られるので、有音区間の一の音から得られる各特徴量は、平均化することにより、平均値、標準偏差として利用できる。ここでは、いびき音自動抽出の場合は、ＡＳ、ＳＳＡＩから得られる特徴量の平均値、標準偏差を使用した。一方、ＯＳＡＳスクリーニングでは、ＡＳ、ＳＳＡＩから得られる特徴量の平均値のみを使用した。このように、ＯＳＡＳスクリーニングに比べ、いびき音自動抽出では、より多くの特徴量を使用、検討した。さらに多くの特徴量を用いることもできるし、また特徴量の基本統計量（標準偏差、尖度等）や、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少等の特徴量等を使用して、生体音響自動抽出、ＯＳＡＳスクリーニングの性能を評価できる。また、常にＳＡＩを用いる必要はなく、例えばＳＡＩ手前の処理であるＮＡＰまでで特徴量を抽出することにより、計算速度を向上させることもできる。
以上の例ではいびき音を例に挙げて説明したが、本発明の対象はいびき音に限らず、生体物の発する他の音響（生体音響）にも利用でき、さらに検出された生体音響から、種々の症例の発見や診断等に適用できる。例えば睡眠音の検出により、上述したＯＳＡＳスクリーニングや、睡眠障害の鑑別が可能となる。また肺音、呼吸音、咳等から、ぜんそく、肺炎等の診断が可能となる。あるいは、心音から各種の心疾患が可能となり、さらに腸音の解析により機能性消化管障害のような各種の腸疾患のスクリーニングが可能となる。その他、胎動音、筋音等の検出にも適用できる。このような生体音響を適切に抽出することで、これらの生体音響から診断可能な症例の解析に対して好適に利用できる。また、本発明はヒトに限らず、他の生物に対しても利用できる。例えば愛玩動物や動物園で飼育される動物の健康診断等においても、好適に利用できる。
本発明の生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、患者の睡眠ポリグラフ検査と共に、あるいはこれに代えていびき音を測定し、ＳＡＳの診断を行う用途として好適に利用できる。
１００…生体音響抽出装置
１１０…生体音響解析装置
１０…入力部
２０…有音区間推定部
２１…前処理器
２２…二乗器
２３…ダウンサンプリング器
２４…メディアンフィルタ
３０…聴覚像生成部
４０…音響特徴量抽出部
５０…分類部
６０…判別部
７０…スクリーニング部
１１０…生体音響解析装置
１０…入力部
２０…有音区間推定部
２１…前処理器
２２…二乗器
２３…ダウンサンプリング器
２４…メディアンフィルタ
３０…聴覚像生成部
４０…音響特徴量抽出部
５０…分類部
６０…判別部
７０…スクリーニング部
Claims (26)
- 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と
を備え、
前記判別部による生体音響データの判別が、非言語処理である生体音響抽出装置。 - 請求項１に記載の生体音響抽出装置であって、
前記聴覚像生成部が、聴覚イメージモデルを用いて安定化聴覚像を生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された安定化聴覚像に基づいて、音響特徴量を抽出してなる生体音響抽出装置。 - 請求項２に記載の生体音響抽出装置であって、
前記聴覚像生成部が、さらに安定化聴覚像から、総括安定化聴覚像と、聴覚スペクトルを生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された総括安定化聴覚像と、聴覚スペクトルに基づいて、音響特徴量を抽出してなる生体音響抽出装置。 - 請求項３に記載の生体音響抽出装置であって、
前記音響特徴量抽出部が、聴覚スペクトル及び／又は総括安定化聴覚像の尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトルフラットネス、スペクトルロールオフ、スペクトルエントロピー、オクターブベースのスペクトルコントラストの少なくともいずれかを、音響特徴量として抽出してなる生体音響抽出装置。 - 請求項１に記載の生体音響抽出装置であって、
前記聴覚像生成部が、聴覚イメージモデルを用いて神経活動パターンを生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された神経活動パターンに基づいて、音響特徴量を抽出してなる生体音響抽出装置。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、
聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像を生成する総括安定化聴覚像生成部と、
前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と
を備え、
前記判別部による生体音響データの判別が、非言語処理である生体音響抽出装置。 - 請求項１〜６のいずれか一項に記載の生体音響抽出装置であって、
元音響データの内、周期を有する区間を抽出するよう構成してなる生体音響抽出装置。 - 請求項１〜７のいずれか一項に記載の生体音響抽出装置であって、
前記有音区間推定部が、
元音響データを微分又は差分して前処理するための前処理器と、
前記前処理器で前処理された前処理データを二乗するための二乗器と、
前記二乗器で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器と、
前記ダウンサンプリング器でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタと、
を備える生体音響抽出装置。 - 請求項１〜８のいずれか一項に記載の生体音響抽出装置であって、
前記入力部が、検査対象の患者と非接触に設置される非接触式マイクロフォンである生体音響抽出装置。 - 請求項１〜９のいずれか一項に記載の生体音響抽出装置であって、
元音響データが、患者の睡眠時に取得される生体音響であり、
睡眠下に取得された生体音響データから、必要な生体音響データを抽出してなる生体音響抽出装置。 - 請求項１〜１０のいずれか一項に記載の生体音響抽出装置であって、
元音響データが、患者の睡眠時に集音される睡眠関連音であり、
生体音響データが、いびき音のデータであり、
前記所定の種別が、いびき音と非いびき音の別である生体音響抽出装置。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、
前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部と、
を備え、
前記判別部による生体音響データの判別が、非言語処理である生体音響解析装置。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、
聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、
前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、
前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部と、
を備え、
前記判別部による生体音響データの判別が、非言語処理である生体音響解析装置。 - 請求項１２又は１３に記載の生体音響解析装置であって、
前記スクリーニング部は、元音響データから抽出される生体音響データに対して疾患スクリーニングを行うよう構成してなる生体音響解析装置。 - 請求項１４に記載の生体音響解析装置であって、
前記スクリーニング部は、元音響データから抽出される生体音響データに対して閉塞型睡眠時無呼吸症候群のスクリーニングを行うよう構成してなる生体音響解析装置。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する工程と、
前記生成された聴覚像に対して、音響特徴量を抽出する工程と、
前記抽出された音響特徴量を、所定の種別に分類する工程と、
前記分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程と
を含む生体音響抽出方法。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、
前記安定化聴覚像から、総括安定化聴覚像を生成する工程と、
前記生成された総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、
前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程と
を含む生体音響抽出方法。 - 請求項１７に記載の生体音響抽出方法であって、
前記安定化聴覚像から、聴覚スペクトルを生成すると共に、
前記所定の音響特徴量を抽出する工程において、前記総括安定化聴覚像に加え、前記生成された聴覚スペクトルから得られる所定の音響特徴量を抽出する生体音響抽出方法。 - 請求項１７又は１８に記載の生体音響抽出方法であって、さらに、
前記所定の音響特徴量を抽出する工程に先立ち、前記抽出された音響特徴量から、識別に寄与する音響特徴量を選択する工程を含む生体音響抽出方法。 - 請求項１７〜１９のいずれか一項に記載の生体音響抽出方法であって、
前記生体音響データか否かを判別する工程が、多項分布ロジスティック回帰分析を用いたいびき音又は非いびき音の分類である生体音響抽出方法。 - 生体音響抽出装置を用いて、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、
前記安定化聴覚像から、聴覚スペクトル及び総括安定化聴覚像を生成する工程と、
前記生成された聴覚スペクトル及び総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、
前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する工程と、
前記判別工程で生体音響データと判別された真値データに対して、前記生体音響抽出装置がスクリーニングを行う工程と、
を含む生体音響解析方法。 - 請求項２１に記載の生体音響解析方法であって、
前記スクリーニングを行う工程が、多項分布ロジスティック回帰分析を用いた閉塞型睡眠時無呼吸症候群又は非閉塞型睡眠時無呼吸症候群のスクリーニングである生体音響解析方法。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成機能と、
前記聴覚像生成機能で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能と
をコンピュータに実現させる生体音響抽出プログラム。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、
前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、
前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能と
をコンピュータに実現させる生体音響抽出プログラム。 - 生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、
前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、
前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを非言語処理で判別する判別機能と、
前記判別機能で生体音響データと判別された真値データに対して、スクリーニングを行う機能と、
をコンピュータに実現させる生体音響解析プログラム。 - 請求項２４又は２５に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016017572 | 2016-02-01 | ||
| JP2016017572 | 2016-02-01 | ||
| PCT/JP2017/002592 WO2017135127A1 (ja) | 2016-02-01 | 2017-01-25 | 生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017135127A1 JPWO2017135127A1 (ja) | 2019-01-10 |
| JP6908243B2 true JP6908243B2 (ja) | 2021-07-21 |
Family
ID=59499570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017565502A Active JP6908243B2 (ja) | 2016-02-01 | 2017-01-25 | 生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6908243B2 (ja) |
| WO (1) | WO2017135127A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11333636B2 (en) * | 2017-10-11 | 2022-05-17 | Bp Exploration Operating Company Limited | Detecting events using acoustic frequency domain features |
| JP7197922B2 (ja) * | 2018-05-08 | 2022-12-28 | 国立大学法人徳島大学 | 機械学習装置、解析装置、機械学習方法および解析方法 |
| CN109243470B (zh) * | 2018-08-16 | 2020-05-05 | 南京农业大学 | 基于音频技术的肉鸡咳嗽监测方法 |
| TWI735879B (zh) * | 2019-05-16 | 2021-08-11 | 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 | 利用神經網路從鼾聲來預測睡眠呼吸中止之方法 |
| CN111105812A (zh) * | 2019-12-31 | 2020-05-05 | 普联国际有限公司 | 一种音频特征提取方法、装置、训练方法及电子设备 |
| KR102521981B1 (ko) * | 2023-01-18 | 2023-04-14 | 주식회사 베러마인드 | 사용자를 위한 수면 큐레이션 서비스 시스템의 동작 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7996212B2 (en) * | 2005-06-29 | 2011-08-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device, method and computer program for analyzing an audio signal |
| JP4935931B2 (ja) * | 2008-10-16 | 2012-05-23 | 富士通株式会社 | 無呼吸検出プログラムおよび無呼吸検出装置 |
| US8880207B2 (en) * | 2008-12-10 | 2014-11-04 | The University Of Queensland | Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-gaussianity index |
| JP5827108B2 (ja) * | 2011-11-18 | 2015-12-02 | 株式会社アニモ | 情報処理方法、装置及びプログラム |
| JP6056101B2 (ja) * | 2012-06-29 | 2017-01-11 | 国立大学法人山梨大学 | シャント狭窄診断支援システムおよび方法，アレイ状採音センサ装置，ならびに逐次細分化自己組織化マップ作成装置，方法およびプログラム |
| JP6136394B2 (ja) * | 2012-08-09 | 2017-05-31 | 株式会社Ｊｖｃケンウッド | 呼吸音分析装置、呼吸音分析方法および呼吸音分析プログラム |
| JP6412458B2 (ja) * | 2015-03-31 | 2018-10-24 | セコム株式会社 | 超音波センサ |
-
2017
- 2017-01-25 JP JP2017565502A patent/JP6908243B2/ja active Active
- 2017-01-25 WO PCT/JP2017/002592 patent/WO2017135127A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017135127A1 (ja) | 2017-08-10 |
| JPWO2017135127A1 (ja) | 2019-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6908243B2 (ja) | 生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
| Mekyska et al. | Robust and complex approach of pathological speech signal analysis | |
| Kim et al. | Detection of sleep disordered breathing severity using acoustic biomarker and machine learning techniques | |
| Amrulloh et al. | Automatic cough segmentation from non-contact sound recordings in pediatric wards | |
| Abeyratne et al. | Pitch jump probability measures for the analysis of snoring sounds in apnea | |
| US8880207B2 (en) | Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-gaussianity index | |
| Muhammad et al. | Multidirectional regression (MDR)-based features for automatic voice disorder detection | |
| US20200093423A1 (en) | Estimation of sleep quality parameters from whole night audio analysis | |
| Xie et al. | Audio-based snore detection using deep neural networks | |
| Lin et al. | Automatic wheezing detection using speech recognition technique | |
| US20220007964A1 (en) | Apparatus and method for detection of breathing abnormalities | |
| Karunajeewa et al. | Silence–breathing–snore classification from snore-related sounds | |
| Jiang et al. | Automatic snoring sounds detection from sleep sounds based on deep learning | |
| JP7197922B2 (ja) | 機械学習装置、解析装置、機械学習方法および解析方法 | |
| Abou-Abbas et al. | A fully automated approach for baby cry signal segmentation and boundary detection of expiratory and inspiratory episodes | |
| Nonaka et al. | Automatic snore sound extraction from sleep sound recordings via auditory image modeling | |
| El Emary et al. | Towards developing a voice pathologies detection system | |
| You et al. | Cough detection by ensembling multiple frequency subband features | |
| Porieva et al. | Investigation of lung sounds features for detection of bronchitis and COPD using machine learning methods | |
| Saudi et al. | Computer aided recognition of vocal folds disorders by means of RASTA-PLP | |
| González-Martínez et al. | Improving snore detection under limited dataset through harmonic/percussive source separation and convolutional neural networks | |
| Corcoran et al. | Glottal Flow Analysis in Parkinsonian Speech. | |
| Zhu et al. | Multimodal speech recognition with ultrasonic sensors | |
| Dafna et al. | Automatic detection of snoring events using Gaussian mixture models | |
| Liu et al. | Classifying respiratory sounds using electronic stethoscope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210622 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6908243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |