JP2023543795A - 音声記録からの呼吸関連音の取得 - Google Patents
音声記録からの呼吸関連音の取得 Download PDFInfo
- Publication number
- JP2023543795A JP2023543795A JP2023519036A JP2023519036A JP2023543795A JP 2023543795 A JP2023543795 A JP 2023543795A JP 2023519036 A JP2023519036 A JP 2023519036A JP 2023519036 A JP2023519036 A JP 2023519036A JP 2023543795 A JP2023543795 A JP 2023543795A
- Authority
- JP
- Japan
- Prior art keywords
- rrs
- patient
- subset
- rrss
- breathing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 40
- 208000005229 Autosomal recessive Robinow syndrome Diseases 0.000 claims abstract description 64
- 238000001945 resonance Rayleigh scattering spectroscopy Methods 0.000 claims abstract description 64
- 230000000241 respiratory effect Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013186 photoplethysmography Methods 0.000 claims description 6
- 238000002565 electrocardiography Methods 0.000 claims description 3
- 238000002567 electromyography Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010041235 Snoring Diseases 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 206010027783 Moaning Diseases 0.000 description 1
- 208000008784 apnea Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0826—Detecting or evaluating apnoea events
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Stereophonic System (AREA)
Abstract
対象患者から発生した呼吸関連音(160)(RRS)を取得するための方法(100)が開示され、この方法は、以下のステップ、すなわち、対象患者の睡眠環境の入力音声記録(110、111)を取得するステップと、対象患者の呼吸の呼吸トレース(150)を取得するステップと、入力音声記録においてRRS(130)を識別する(120)ステップと、呼吸トレースに基づいて、RRSから、対象患者から発生したRRS(160)を選択する(140)ステップと、を含む。選択するステップは、対象患者から発生したことの高い確率及び/又は低い確率を有するRRSの第1のサブセット及び/又は第2のサブセットを求めるステップと、対象患者から発生したRRSを選択するように、第1のサブセット及び/又は第2のサブセットに基づいて分類器を訓練するステップと、訓練された分類器によって、対象患者から発生したRRS(160)を選択するステップと、を更に含む。【選択図】図1
Description
本発明は、特に、対象患者から発生する呼吸関連音(respiratory related sounds、RRS)を取得する方法に関する。
睡眠分析の分野で研究すべき要素の1つは、呼吸関連音(RRS)である。RRSは、睡眠分析中に患者から発せられる音の、短い音声断片であり、例えば、いびき音、ため息音、重い呼吸音、うめき声などである。さらに、そのような音の更なる分析を使用して、睡眠時無呼吸などの睡眠障害を診断することができる。さらに、各RRSの持続時間、RRSの頻度、RRSの総数をカウントし、RRSの様々な側面を分析することが望ましいことがある。
RRS及び関連するメトリクスは、睡眠中の患者の音声記録から取得することができる。
このような音声記録を得るための1つの方法は、患者の顔面に録音用マイクロフォンを取り付け、患者の鼻又は口にできるだけ近づけることである。この方法の利点として、設計上、外部の音及びノイズが軽減される。しかしながら、このようなマイクロフォンの存在は、患者の睡眠に悪影響を及ぼすことがあり、その結果、検出されたRRSが、患者の自然な睡眠を正確に反映しないことがある。
あるいは、音声記録装置、例えば携帯電話などのデジタル音声記録装置、又は専用の音声記録装置を、対象患者の近傍に更に配置することもできる。このようにすることで、患者は顔の上又は近くにマイクロフォン又は何らかの他の装置などがあっても邪魔にならず、より自然な睡眠を得ることができる。しかしながら、この場合の欠点として、患者が部屋で一人で寝ていない場合、別の人のRRSが音声記録に記録されることがある。
米国特許出願公開第2020/261687号明細書には、1人以上の睡眠パートナーによって生成されたものと判定された可聴呼吸ノイズを動的にマスキングするための解決策が開示されている。一態様によれば、睡眠環境における可聴呼吸ノイズを検出し、可聴呼吸ノイズが被験者によって生成されていないと判定し、ベッドパートナー、ペットなどの別の被験者から発生しているものと判定される可聴呼吸ノイズの知覚を緩和することによって、被験者の睡眠が保護される。動的なマスキングにより、被験者が不必要な音にさらされることが減少し、マスキング音が被験者の睡眠を妨げる可能性が低減する。
したがって、本発明の目的は、上述した問題の1つ以上を解決する、又は少なくとも軽減することである。特に、本開示は、患者の自然な睡眠を妨げることなく、比較的快適な方法で対象患者のRRSを識別する方法を提供することを目的とする。
この目的のために、第1の態様によれば、対象患者から発生する呼吸関連音(RRS)を取得するためのコンピュータ実装方法が提供され、この方法は、以下のステップ、すなわち、対象患者の睡眠環境の入力音声記録を取得するステップと、音声記録の期間中の患者の呼吸を特徴付ける、対象患者の呼吸の呼吸トレースを取得するステップと、入力音声記録においてRRSを識別するステップと、呼吸トレースに基づいて、RRSから、対象患者から発生したRRSを選択するステップと、を含み、選択するステップは、対象患者から発生したことの高い確率及び/又は低い確率を有するRRSの第1のサブセット及び/又は第2のサブセットを求めるステップと、対象患者から発生したRRSを選択するように、第1のサブセット及び/又は第2のサブセットに基づいて分類器を訓練するステップと、訓練された分類器により、対象患者から発生したRRSを選択するステップと、を含む。
入力音声記録は、対象患者の睡眠環境をカバーするものであり、すなわち対象患者のRRSとは別に、他の人や動物のRRS、その他の環境音を更に含んでいることがある。したがって入力音声記録は、複数の対象患者のRRSを含む。その後、選択ステップにおいて、これらのすべて又は一部が選択される。対象患者から発生したRRSを他の音と区別するために、RRS音は、呼吸トレース(すなわち入力音声記録の持続時間をカバーする時間の関数としての対象患者の呼吸の表現)に基づいて選択される。対象患者から発生したRRSは対象患者の呼吸に関連しているため、これらのRRSと呼吸の間には関係がある。その結果、対象患者から発生したRRSを、入力音声記録内の他の音と区別することができる。
この結果、分析に悪影響を与え得る他の音が存在しない音のセットを得ることができ、正確な睡眠分析を行うことができる。さらに、他の音が除外されるため、患者の口や胸に非常に近い位置で音声記録を行う必要がない。すなわち、マイクロフォンが対象患者からのRRSを抑制したり、マイクロフォン自身が不要なRRSを発生させたりすることがない。
第1のサブセットについては、対象患者から発生した確率が特定の閾値を上回る(例えば90%より高い確率を有する)RRSのみを選択することができる。これにより、低い出力誤差が保証される。さらに、高い確率を有するRRSを選択することは、一般に判定が容易であり、すなわち、必要とされる計算能力及び/又はメモリ容量が小さい。
第2のサブセットについては、対象患者から発生した確率が特定の閾値を下回る(例えば10%より低い確率を有する)RRSのみを選択することができる。この第2のサブセットは、その後、更に結果から破棄することができる。
第1及び/又は第2のサブセットに従って得られた結果は、訓練された分類器によって、第1及び/又は第2のサブセットに割り当てられなかった他のRRSを追加することによって更に改良することができる。これを達成するために、RRSを対象患者に属するか否かのいずれかとして分類するように、サブセットの一方又は両方を使用して分類器を最初に訓練する。言い換えれば、第1及び/又は第2のサブセットは、ラベル付けされたデータとして使用される。次に、訓練された分類器を使用して他のRRSを更に分類し、対象患者から発生したRRSをより多く選択する。
呼吸トレースは、例えば、睡眠ポリグラフ、心電計、筋電計、又は光電脈波(photoplethysmogram、PPG)によって得られた信号からトレースを導出することによって、当技術分野で利用可能な技術によって更に得ることができる。
1つのステップは、RRSの識別である。一実施形態によれば、このステップは、呼吸関連音及び非呼吸関連音を判定するステップと、非呼吸関連音を破棄するステップと、を更に含む。
言い換えれば、呼吸に関連しない音が最初に音声記録から破棄され、その結果、RRSであるが必ずしも対象患者のみから発生していない音のサブセットが得られる。次いで、呼吸トレースに基づいて、このサブセットから、対象患者から発生したRRSが選択される。
一実施形態によれば、識別するステップは、音のセットを求めるステップを含み、セットの音は、同じ音声源から発生し、選択するステップは、呼吸トレースに基づいて、音のセットから、対象患者から発生したRRSを選択するステップ、を更に含む。
言い換えれば、音は最初に、その発生元に従ってセット又はクラスタに分けられる。この時点では、どのセットが対象患者から発生したものであるかはまだわからない。呼吸トレースを参照することにより、あるセットのRRSを対象患者に関連付けることができる。オプションとして、非RRSの識別及び廃棄は、セットを求める前又は後に実行することができる。
それぞれの音声源に従って音をセットにクラスタリングすることは、例えば、訓練された分類器によって行うことができる。
オプションとして、分類器の訓練は、判定されないRRSの数が多すぎる場合、すなわち、対象患者から発生したことの高い確率又は低い確率のいずれも有さない識別されたRRSが依然として多く存在する場合にのみ、実行することができる。このような場合、より計算負荷の高い分類操作を実行することが有用であり得る。
一実施形態によれば、第1のサブセットを求めるステップは、入力音声記録からの、RRSに関連付けられる音声タイムスタンプと、呼吸トレースからの、RRSに関連付けられる呼吸タイムスタンプとを求めるステップと、音声タイムスタンプ及び呼吸タイムスタンプに基づいて第1のサブセットを求めるステップと、を含む。
言い換えれば、音声タイムスタンプは、入力音声記録におけるそれぞれのRRSの発生を示し、呼吸タイムスタンプは、対象患者のそれぞれの呼吸サイクルの発生を示す。対象患者のRRSは患者の呼吸に関連するため、これらの求められたタイムスタンプに基づいて選択を実行することができる。この目的のために、タイムスタンプは、例えば開始、局所最大値、又は局所最小値などの任意の検出可能な時間的特徴によって特徴付けることができる。このようにして、選択操作は、最初に時間的特徴を識別し、次にこれらの時間的特徴に対して操作を実行することに軽減される。
1つの操作は、音声タイムスタンプとそれぞれの呼吸タイムスタンプとの間の時間差を求めることであり得る。対象患者のRRSは呼吸に関連しているため、患者に関連付けられる時間差は相当に一定であり、他の音声源に関連付けられる時間差はよりランダムに拡散する。
次いで時間差のヒストグラムを求めることにより、対象患者に属する高い確率を有するものはヒストグラムのピークに、低い確率を有するものはヒストグラムのテールに、相対的に多く存在する。
第2の態様によれば、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備えるコントローラが開示され、少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサを使用して、コントローラに第1の態様による方法を実行させるように構成されている。
第3の態様によれば、プログラムがコンピュータ上で実行されるときに第1の態様による方法を実行するためのコンピュータ実行可能命令を含むコンピュータプログラム製品が開示される。
第4の態様によれば、第3の態様によるコンピュータプログラム製品を含むコンピュータ可読記憶媒体が開示される。
図1は、入力音声記録110から、対象、すなわち監視対象の患者から発生した呼吸関連音160(RRS)を識別するためのコンピュータ実装方法100の複数の異なるステップを示している。RRSは、睡眠中の呼吸によって発生する可聴イベントに対応する。このようなRRSは、例えば、いびき音、ため息音、重い呼吸音、うめき声、又は無呼吸イベント中に発生する音に対応し得る。RRSは、呼吸サイクル内、例えば、吸気中、呼気中、又はその両方において発生する。したがって、いびきをかいている患者は、特定の時間間隔、例えば数秒、数分、あるいは数時間の間、一連のRRSを発生させる。監視対象の患者から発生したRRSのトレースを有することは、様々なタイプの健康状態を明らかにしたり説明したりすることができるため、睡眠分析を行ううえで価値がある。
本方法は、患者から発生したRRS 160が識別又は選択される音声トラック110又は音声記録110を得ることから始まる。音声トラックは、対象患者から可聴距離内、すなわち患者の睡眠環境内で録音される。録音は、例えば、患者のベッドの隣、又は患者の寝室のどこかに音声記録装置を配置することによって行うことができる。このような音声記録の例示的な例が、プロット111に更に示されており、プロット111では、記録された音声信号の振幅112が時間の関数として提示されている。
方法100のステップ120においては、この音声記録110から、異なるRRS 131~134を識別する。これらの識別されたRRSは、1つの特定のタイプのRRS、例えばいびきのみ、又はいくつかの、あるいはすべての可能なRRSに関連し得る。RRSの識別によって、他の音又はノイズ(例えば部屋の外からの音)が、更なるステップから除外される。RRSは、例えば、音声記録110内でRRSを一意に識別することを可能にするその開始時刻、その終了時刻、及び/又はその期間を示すことによって、識別することができる。
RRSの識別は、例えば、以下のステップのうちの1つ以上を実行することによって行うことができる。
a)例えば、信号112の分析信号を計算することによって、信号112の移動平均、例えば二乗平均平方根(root mean square、RMS)値を計算することによって、又は信号112のピークを計算することによって、信号112の音の包絡線を求める。
b)アクティブな音セグメントを特徴付ける閾値を求める。これは例えば、局所的な信号エネルギ値を計算し、局所的な信号エネルギの下位パーセンタイル値を確立してベースライン閾値を定義することによって、行うことができる。
c)音の包絡線がこの閾値を超えたときを計算する。
d)包絡線が閾値を超えるすべてのエピソードをアクティブセグメントとしてラベル付けする。
e)一連の決定規則に従ってアクティブセグメントを結合又は削除し、例えば、あり得ないほど大きい又は小さいアクティブセグメントを回避する。
f)メル周波数ケプストラム係数(Mel-frequency cepstral coefficients、MFCC)、特定の周波数範囲内の信号出力、信号の平均及び標準偏差などの時間的特徴、信号のエントロピを特徴付ける特徴、フォルマント及びピッチを特徴付ける特徴といった一連の特徴を計算することによって、このようにして得られたアクティブセグメントを特徴付ける。
g)例えば、すべてのアクティブセグメントをRRS又は非RRSとして分類するための事前に訓練された分類器によって、アクティブセグメントからRRSを識別し、それによって1つ又は複数の音声源から発生したRRSセグメントのセットを得る。
a)例えば、信号112の分析信号を計算することによって、信号112の移動平均、例えば二乗平均平方根(root mean square、RMS)値を計算することによって、又は信号112のピークを計算することによって、信号112の音の包絡線を求める。
b)アクティブな音セグメントを特徴付ける閾値を求める。これは例えば、局所的な信号エネルギ値を計算し、局所的な信号エネルギの下位パーセンタイル値を確立してベースライン閾値を定義することによって、行うことができる。
c)音の包絡線がこの閾値を超えたときを計算する。
d)包絡線が閾値を超えるすべてのエピソードをアクティブセグメントとしてラベル付けする。
e)一連の決定規則に従ってアクティブセグメントを結合又は削除し、例えば、あり得ないほど大きい又は小さいアクティブセグメントを回避する。
f)メル周波数ケプストラム係数(Mel-frequency cepstral coefficients、MFCC)、特定の周波数範囲内の信号出力、信号の平均及び標準偏差などの時間的特徴、信号のエントロピを特徴付ける特徴、フォルマント及びピッチを特徴付ける特徴といった一連の特徴を計算することによって、このようにして得られたアクティブセグメントを特徴付ける。
g)例えば、すべてのアクティブセグメントをRRS又は非RRSとして分類するための事前に訓練された分類器によって、アクティブセグメントからRRSを識別し、それによって1つ又は複数の音声源から発生したRRSセグメントのセットを得る。
識別されたRRS 130は、必ずしもすべてが対象患者から発生したものとは限らない。例えば、そのうちのいくつかは、患者の隣又は同じ部屋内で寝ている別の人から発生したものであり得る。また、一部のRRSは、同じ部屋で寝ている犬からなど、動物から発生したものであり得る。したがって、続く選択ステップ140においては、RRS 130のサブセット160を、監視対象の患者から発生したものとして選択する。この選択を行うため、患者からの呼吸トレース150を使用して、サブセット160を選択する。このような呼吸トレースは、音声記録110の期間中の患者の呼吸を特徴付ける。プロット151は、患者のそのようなトレースを時間の関数として示している。この場合、立ち上がりエッジは吸気、立ち下がりエッジは呼気に対応することができ、又はその逆である。呼吸トレースは、異なる呼吸サイクルを特徴付ける離散的なタイムスタンプにも対応し得る。トレース150と、患者から発生したRRSとの間には、観察可能な時間的関係が存在するが、他のRRSはそのような時間的関係を示さない。これに基づいて、患者から発生したRRS 160を、ステップ140の出力として選択する。
呼吸トレースは、直接的に得ることができ、又は患者に関する測定から間接的に導出してもよい。例えば、トレースは、睡眠ポリグラフ、心電計、筋電計、光電脈波(PPG)、又は加速度計によって得られる信号から導出することができる。
一実施形態によれば、RRS 160の選択140は、図2に示したステップ200によって実行することができる。最初に、ステップ201及びステップ202において、RRS 130のタイムスタンプ203及び呼吸トレース150のタイムスタンプ204を識別する。RRS 130に関して、RRSタイムスタンプ203は、RRSの開始、RRSの終了、又はRRSの発生内の任意の所定の時間基準を特徴付けることができる。呼吸トレース150において、呼吸タイムスタンプ204は、呼吸サイクル、例えば、吸気又は呼気のいずれかの呼吸サイクル中の開始、終了、又は任意の所定の時間基準を識別する。次に、ステップ205において、タイムスタンプ203、204の間の差206を求め、すなわち、各RRSタイムスタンプ203について、近傍の呼吸タイムスタンプ204との(例えば次又は前の呼吸タイムスタンプとの)時間差を求める。その結果、時間差206のシーケンスが得られ、各時間差はそれぞれのRRSに関連付けられる。次のステップ207においては、これらの時間差206から、ヒストグラム208を構築する。ヒストグラム208は、特定の時間差又は時間差間隔の発生を表現する。このようなヒストグラム208において、出現率の高い時間差は、関連するRRSと呼吸トレースとの間の強い時間的相関を示し、したがって、患者から発生したことの高い確率を有する。同様に、出現率の低い時間差は、関連するRRSと呼吸トレースとの間の時間的相関がほとんどなく、したがって、患者から発生した可能性が低いことを示す。したがって、特定の第1の閾値よりも高い出現率を有するRRS 212を、患者から発生したことの高い確率を有するものとして選択し、患者RRSの選択160に加える。特定の第2の閾値より低い出現率を有する更なるRRS 210は、患者から発生したことの低い確率を有するものとして選択することができる。残りのRRS 211は、未割り当てとして残される。未割り当てのRRS 211は、図3及び図4を参照しながら本実施形態において更に説明されるように、患者RRS 160のセットを更に拡張するために依然として使用され得る。
患者RRS 160を選択する別の方法は、1つ以上のRRS 130の、呼吸トレース150とのコヒーレンス、すなわち、同じ時間間隔中の1つ以上のRRSの音声信号と呼吸信号との間の同期の度合いを計算することによる。この場合、高いコヒーレンスを有する1つ以上のRRSは、患者から発生した確率が高いと考えられ、低いコヒーレンスを有する1つ以上のRRSは、患者から発生した確率が低いと考えられ、それによって、この場合にもRRSの同様のセット210、211、212が得られる。次いで、図2の方法と同様に、高い確率を有するRRS 212を、患者から発生したものとして選択する。
確率による患者からのRRSの選択、例えば図2のステップによる選択は、結果に応じて更に拡張することができる。例えば、かなりの量のRRS 211が依然として割り当てられていない、すなわち、患者から発生した確率が低くも高くもないことがある。そのような場合、図3に示したステップ300を実行することができる。最初のステップ301では、例えば図2を参照して説明したステップ200を実行することによって、高い確率及び/又は低い確率を有するRRSを選択することにより、初期選択302を行う。次に、ステップ303において、高い確率及び/又は低い確率を有するRRSのセット、例えばセット210及び212に基づいて、更なるRRSを患者から発生したものとして識別する。これらのセットに基づいて、未割り当てのRRSのいくつかが、患者から発生した、又は患者から発生していないのいずれかとして更に割り当てられる。このステップ303は、様々な方法で実行することができる。第1の例によれば、ステップ303は、RRSが患者から発生したかどうかに従ってRRSを分類するための分類器の訓練を含む。訓練においては、高い確率及び/又は低い確率を有するRRSを、ラベル付けされた訓練データとして使用する。次に、訓練された分類器を使用して、まだ割り当てられていないRRS(例えばRRS 211)を選択160に追加する。第2の例によれば、教師なしクラスタリング法を使用して、高確率セット又は低確率セットから、RRSとの類似する時間的コヒーレンスの類似する特徴内容を有する未割り当てRRSを選択する。次いで、高確率セットによってクラスタリングされた未割り当てのRRSを選択160に加える。
図5、図6、及び図7は、ステップ200を更に説明する。図5は、音声記録510と、例えば図1のステップ120によって得られた識別されたRRS 511とを含む第1のプロットを示している。図5は、さらに、呼吸トレース520を含む第2のプロットを示している。呼吸トレース520において、RRS 511の開始は、円521で示されており、RRSタイムスタンプ524を表す。呼吸トレース520において、トレースの周期的な極小値は、×印522で示されており、呼吸関連タイムスタンプ525を表す。この場合、時間差526は、RRSタイムスタンプを表す破線と、RRタイムスタンプを表す前又は次の点線との間の空間によって表される。図5に示したRRS 511は、すべて患者から発生したものである。したがって、RRタイムスタンプ525とRRSタイムスタンプ524との間には、ほぼ一定の時間差526によって観察することができる強い時間的関係が存在する。次に、図7Aは、図5に示した患者からのみ発生したRRSから導出される時間差のヒストグラム710を示している。
図5と同様に、図6は、音声記録610と、例えば図1のステップ120によって得られた識別されたRRS 611とを含む第1のプロットを示している。図6は、さらに、呼吸トレース620を含む第2のプロットを示している。呼吸トレース620において、RRS 611の開始は、円621で示されており、RRSタイムスタンプ624を表す。呼吸トレース620において、トレースの周期的な極小値は、×印622で示されており、呼吸関連タイムスタンプ625を表す。この場合、時間差626は、RRSタイムスタンプを表す破線と、RRタイムスタンプを表す最も近い点線との間の空間によって表される。図6に示したRRS 611は、患者から発生したものではない。したがって、RRタイムスタンプ625とRRSタイムスタンプ624との間には、大きく変化する時間差626によって観察することができる弱い時間的関係が存在する。次に、図7Bは、図6に示した患者からのみ発生したRRSから導出される時間差のヒストグラム720を示している。
次に図7Cは、図5及び図6の両方からの時間差に基づくヒストグラム730、すなわちヒストグラム710と720の組合せを示している。したがって、ヒストグラム730のデータは、方法200のヒストグラムデータ208に対応し得る。図2のステップ209を参照して説明したように、高い確率735を有するRRSを選択するために第1の閾値731を定義することができ、低い確率733、737を有するRRSを選択するために第2の閾値732を定義することができる。残りのRRSは、領域734、736によって示されるように、割り当てられないままにされる。
一実施形態によれば、図1に示した方法100において、更なるクラスタリングステップを実行することができる。これについて、図4の方法を参照して更に説明する。ステップ120に対応し得る第1のステップ420においては、入力音声記録410からRRS 430を識別する。次いで、追加のクラスタリングステップ470を実行する。このステップ470においては、RRSが同じ音声源に属する高い確率を有するとき、それらのRRSをクラスタにグループ化する。
クラスタリング470の方法は、最初に、RRSを特徴付ける一連の特徴、例えば、メル周波数ケプストラム係数(MFCC)、特定の周波数範囲内の信号出力、信号の平均及び標準偏差などの時間的特徴、RRSのエントロピを特徴付ける特徴、フォルマント及びピッチを特徴付ける特徴、を求める。これに加えて、又は補足的に、時間的に繰り返されるパターンで発生するRRSを識別し、それによってRRSの異なる連鎖を得ることができる。次に、時間的な連鎖との関連性に基づいて、及び/又は、導出された異なる特徴間の類似性に基づいて、RRSを複数の異なる妥当な音声源にクラスタリングする。特徴に基づくクラスタリングは、例えば、K-meansクラスタリングや混合ガウスモデル(Gaussian Mixture Model、GMM)クラスタリングなどのクラスタリングアルゴリズムによって実行することができる。得られた時間的連鎖に基づくクラスタリングは、例えば、発生の間の特定の時間間隔を有する反復的なRRSパターンを識別することによって実行することができる。クラスタリングによって、RRSは依然として未割り当てのまま、すなわち、高い確率で特定の音声源に属さない場合がある。このような場合、更なる教師ありクラスタリングステップを実行することができる。この場合、すでにクラスタリングされたRRSをラベル付き訓練データとして使用することにより、RRSをクラスタに分類するように分類器を訓練する。分類器には、サポートベクターマシン(support vector machine、SVM)又はニューラルネットワークを使用することができる。
次いで、このようにして得られたRRSのクラスタ471を、更なる選択ステップ440の入力として使用し、ステップ440では、患者から発生したことの高い確率及び/又は低い確率を有するクラスタを識別する。次いで、高い確率を有するクラスタを、出力160として選択する。ステップ440は、ステップ140又はステップ200と同じ方法で実行することができるが、個々のRRSの代わりにRRSのクラスタに基づいている。さらに、追加のステップ403を実行することができ、ステップ303と同じ方法で、ただし個々のRRSの代わりにRRSのクラスタに基づいて、まだ割り当てられていないRRSのクラスタを出力160に追加する。
上述した実施形態によるステップは、任意の適切なコンピューティング回路、例えば携帯電話、タブレット、デスクトップコンピュータ、ラップトップ、及びローカルサーバ又はリモートサーバによって、実行することができる。上述した実施形態によるステップは、音声記録装置と同じ装置において実行されてもよい。このため、音声記録は、例えば携帯電話、タブレット、デスクトップコンピュータ、又はラップトップによって実行されてもよい。また、上述した実施形態によるステップは、患者の環境から離れた適切な回路によって実行されてもよい。そのような場合、音声記録は、インターネット又はプライベートネットワークなどの通信ネットワークを介して回路に提供されてもよい。
図8は、説明した実施形態によるステップの実行を可能にする回路を備えた好適なコンピューティングシステム800を示している。コンピューティングシステム800は、一般に、好適な汎用コンピュータとして形成されてよく、バス810、プロセッサ802、ローカルメモリ804、1つ以上のオプションの入力インターフェース814、1つ以上のオプションの出力インターフェース816、通信インターフェース812、記憶要素インターフェース806、及び1つ以上の記憶要素808を備えている。バス810は、コンピューティングシステム800の構成要素間の通信を可能にする1つ以上の導体を備えていることができる。プロセッサ802は、プログラミング命令を解釈して実行する任意のタイプの従来のプロセッサ又はマイクロプロセッサを含むことができる。ローカルメモリ804は、プロセッサ802によって実行される情報及び命令を格納するランダムアクセスメモリ(RAM)又は別のタイプの動的記憶デバイス、及び/又はプロセッサ802によって使用される静的情報及び命令を格納する読み取り専用メモリ(ROM)又は別のタイプの静的記憶デバイスを含んでもよい。入力インターフェース814は、キーボード820、マウス830、ペン、音声認識及び/又は生体認証機構、カメラなど、オペレータ又はユーザが情報をコンピューティングデバイス800に入力することを可能にする1つ以上の従来の機構を備えていることができる。出力インターフェース816は、ディスプレイ840など、オペレータ又はユーザに情報を出力する1つ以上の従来の機構を備えていることができる。通信インターフェース812は、コンピューティングシステム800が他のデバイス及び/又はシステム、例えば他のコンピューティングデバイス881、882、883と通信することを可能にする、例えば1つ以上のイーサネットインターフェースなど、任意の送受信機のような機構を備えていることができる。コンピューティングシステム800の通信インターフェース812は、ローカル・エリア・ネットワーク(LAN)又は広域ネットワーク(WAN)を介して、例えばインターネットを介して、そのような別のコンピューティングシステムに接続されてもよい。記憶要素インターフェース806は、バス810を1つ以上の記憶要素808、例えばSATAディスクドライブなどの1つ以上のローカルディスクに接続するための、シリアル・アドバンスド・テクノロジー・アタッチメント(SATA)インターフェース又はスモール・コンピュータ・システム・インターフェース(SCSI)などの記憶インターフェースを含んでもよく、これらの記憶要素808への及び/又はこれらの記憶要素808からのデータの読み取り及び書き込みを制御してもよい。上記の記憶要素808はローカルディスクとして説明されているが、一般に、取り外し可能な磁気ディスク、CD又はDVDなどの光学記憶媒体、ROMディスク、ソリッドステートドライブ、フラッシュメモリカードなど、任意の他の適切なコンピュータ可読媒体を使用することができる。
本願で使用されるように、「回路」という用語は、以下の1つ以上又はすべてを指してもよい。
(a)アナログ及び/又はデジタル回路のみでの実装などのハードウェアのみの回路実装、
(b)ハードウェア回路とソフトウェアの組み合わせ、例えば、(適用可能な):
(i)アナログ及び/又はデジタルハードウェア回路とソフトウェア/ファームウェアの組合せ、及び
(ii)ソフトウェアを備えたハードウェアプロセッサの部分(携帯電話やサーバなどの装置に様々な機能を実行させるために協働するデジタルシグナルプロセッサ、ソフトウェア、及びメモリを含む)、及び
(c)動作するためにソフトウェア(例えばファームウェア)を必要とするが、ソフトウェアが動作するために必要でない場合に存在しない可能性がある、マイクロプロセッサ又はマイクロプロセッサの一部などのハードウェア回路及び/又はプロセッサ。
この回路に関する定義は、任意の請求項を含む本願におけるこの用語のすべての使用に適用される。さらなる例として、本願で使用されるように、回路という用語は、また、ハードウェア回路のみ、又はプロセッサ(又は複数のプロセッサ)のみ、若しくはハードウェア回路又はプロセッサの一部とその(又はそれらの)付随するソフトウェア及び/又はファームウェアの実装をカバーする。また、回路という用語は、例えば、特定の請求項要素に適用可能な場合、携帯端末用のベースバンド集積回路又はプロセッサ集積回路、あるいはサーバ、セルラーネットワークデバイス、又は他のコンピューティング又はネットワークデバイスにおける同様の集積回路をカバーする。
(a)アナログ及び/又はデジタル回路のみでの実装などのハードウェアのみの回路実装、
(b)ハードウェア回路とソフトウェアの組み合わせ、例えば、(適用可能な):
(i)アナログ及び/又はデジタルハードウェア回路とソフトウェア/ファームウェアの組合せ、及び
(ii)ソフトウェアを備えたハードウェアプロセッサの部分(携帯電話やサーバなどの装置に様々な機能を実行させるために協働するデジタルシグナルプロセッサ、ソフトウェア、及びメモリを含む)、及び
(c)動作するためにソフトウェア(例えばファームウェア)を必要とするが、ソフトウェアが動作するために必要でない場合に存在しない可能性がある、マイクロプロセッサ又はマイクロプロセッサの一部などのハードウェア回路及び/又はプロセッサ。
この回路に関する定義は、任意の請求項を含む本願におけるこの用語のすべての使用に適用される。さらなる例として、本願で使用されるように、回路という用語は、また、ハードウェア回路のみ、又はプロセッサ(又は複数のプロセッサ)のみ、若しくはハードウェア回路又はプロセッサの一部とその(又はそれらの)付随するソフトウェア及び/又はファームウェアの実装をカバーする。また、回路という用語は、例えば、特定の請求項要素に適用可能な場合、携帯端末用のベースバンド集積回路又はプロセッサ集積回路、あるいはサーバ、セルラーネットワークデバイス、又は他のコンピューティング又はネットワークデバイスにおける同様の集積回路をカバーする。
特定の実施形態を参照して本発明を説明してきたが、本発明は上述した例示的な実施形態の細部に限定されるものではなく、本発明がその範囲を逸脱することなく様々な変更や修正を加えて具現化することができることは、当業者には明らかであろう。したがって、本実施形態は、あらゆる点において例示的であり、制限的ではないと考えられ、本発明の範囲は、前述の説明によってではなく、添付の請求項によって示され、したがって、請求項の意味及び同等性の範囲内に入るすべての変更は、本発明に包含されることを意図する。言い換えれば、基本的な基礎原理の範囲内にあり、その本質的な属性がこの特許出願で主張されている、あらゆる変更、変形、又は同等物がカバーされるものと企図されている。さらに、本特許出願の読者は、「含む(comprising)」又は「含む(comprise)」という用語が他の要素又はステップを排除するものではなく、「1つ(a)」又は「1つ(an)」という用語が複数を排除するものではなく、コンピュータシステム、プロセッサ、又は別の集積ユニットなどの単一の要素が特許請求の範囲に列挙されたいくつかの手段の機能を実現し得ることを理解する。特許請求の範囲におけるいかなる参照符号は、関連するそれぞれの請求項を限定するものと解釈してはならない。「第1」、「第2」、「第3」、「a」、「b」、「c」などの用語は、明細書又は特許請求の範囲で使用される場合、同様の要素又はステップを区別するために導入されるものであり、必ずしも順序又は時系列を説明するものではない。同様に、「上部」、「下部」、「上」、「下」などの用語は、説明のために導入されるものであり、必ずしも相対的な位置を示すものではない。このように使用される用語が、適切な状況下で交換可能であり、本発明の実施形態は、他のシーケンスで、又は上記で説明又は図示されたものとは異なる向きで、本発明に従って動作可能であることは理解されるべきである。
Claims (12)
- 対象患者から発生した呼吸関連音(160、511)(RRS)を取得するためのコンピュータ実装方法(100、400)であって、前記方法は、以下のステップ、すなわち、
前記対象患者の睡眠環境の入力音声記録(110、111、410、510、610)を取得するステップと、
前記入力音声記録の期間中の前記対象患者の呼吸を特徴付ける、前記対象患者の呼吸の呼吸トレース(150、450、520、620)を取得するステップと、
前記入力音声記録においてRRS(130、430、511、611)を識別する(120、420、470)ステップと、
前記呼吸トレースに基づいて、前記RRSから、前記対象患者から発生した前記RRS(160)を選択する(140、200、300、440、403)ステップと、を含み、
前記選択するステップは、
前記対象患者から発生したことの高い確率及び/又は低い確率をそれぞれ有するRRSの第1のサブセット(212、735)及び/又は第2のサブセットを求める(209)ステップと、
前記対象患者から発生したRRSを選択するように、前記第1のサブセット及び/又は前記第2のサブセットに基づいて分類器を訓練する(303、403)ステップと、
前記訓練された分類器によって、前記対象患者から発生した前記RRS(160)を選択するステップと、
を含む、方法。 - 前記識別するステップは、呼吸関連音及び非呼吸関連音を求める(120、420)ステップと、前記非呼吸関連音を破棄するステップと、を含む、請求項1に記載の方法。
- 前記識別するステップは、音のセット(471)を求める(470)ステップを含み、セットの音は同じ音声源から発生し、前記選択するステップは、前記呼吸トレースに基づいて、音のセットから、前記対象患者から発生したRRS(160)を選択する(440、403)ステップを更に含む、請求項1又は2に記載の方法。
- 前記選択するステップは、前記RRSから前記第2のサブセットを破棄するステップを更に含む、請求項1から3のいずれか一項に記載の方法。
- 前記選択するステップは、前記第1のサブセット及び第2のサブセットに割り当てられていないRRS(211、734、736)の量に依存して前記訓練を実行するステップを含む、請求項1から4のいずれか一項に記載の方法。
- 前記第1のサブセットを求める前記ステップは、前記入力音声記録(130)からの、前記RRSに関連付けられる音声タイムスタンプ(203、521、621)と、前記呼吸トレース(150)からの、前記RRSに関連付けられる呼吸タイムスタンプ(204、522、622)とを求める(201、202)ステップと、前記音声タイムスタンプ及び前記呼吸タイムスタンプに基づいて前記第1のサブセットを求める(205、207、209)ステップと、を含む、請求項1から5のいずれか一項に記載の方法。
- 前記第1のサブセットを求める前記ステップは、前記音声タイムスタンプとそれぞれの呼吸タイムスタンプとの間の時間差(206、526、625)を求める(206)ステップを更に含む、請求項6に記載の方法。
- 前記第1のサブセットを求める前記ステップは、前記時間差のヒストグラム(730)を求める(207)ステップと、前記ヒストグラムから前記第1のサブセット(212)を識別する(209)ステップと、を更に含む、請求項7に記載の方法。
- 前記呼吸トレースは、睡眠ポリグラフ、心電計、筋電計、又は光電脈波(PPG)によって得られる信号から導出される、請求項1から8のいずれか一項に記載の方法。
- 少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備えたコントローラ(800)であって、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサを使用して、請求項1から9のいずれか一項に記載の方法を前記コントローラに実行させるように構成されている、コントローラ(800)。
- プログラムがコンピュータ上で実行されたときに、請求項1から9のいずれか一項に記載の前記方法を実行するためのコンピュータ実行可能命令を含む、コンピュータプログラム製品。
- プログラムがコンピュータ上で実行されたときに、請求項1から9のいずれか一項に記載の前記方法を実行するためのコンピュータ実行可能命令を含む、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20198192.5A EP3973851A1 (en) | 2020-09-24 | 2020-09-24 | Obtaining respiratory related sounds from an audio recording |
EP20198192.5 | 2020-09-24 | ||
PCT/EP2021/076160 WO2022063874A1 (en) | 2020-09-24 | 2021-09-23 | Obtaining respiratory related sounds from an audio recording |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023543795A true JP2023543795A (ja) | 2023-10-18 |
Family
ID=72659045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023519036A Pending JP2023543795A (ja) | 2020-09-24 | 2021-09-23 | 音声記録からの呼吸関連音の取得 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230371916A1 (ja) |
EP (1) | EP3973851A1 (ja) |
JP (1) | JP2023543795A (ja) |
CN (1) | CN116471988A (ja) |
AU (1) | AU2021350384A1 (ja) |
IL (1) | IL301373A (ja) |
WO (1) | WO2022063874A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190000350A1 (en) * | 2017-06-28 | 2019-01-03 | Incyphae Inc. | Diagnosis tailoring of health and disease |
US11540743B2 (en) * | 2018-07-05 | 2023-01-03 | Starkey Laboratories, Inc. | Ear-worn devices with deep breathing assistance |
US11071843B2 (en) * | 2019-02-18 | 2021-07-27 | Bose Corporation | Dynamic masking depending on source of snoring |
-
2020
- 2020-09-24 EP EP20198192.5A patent/EP3973851A1/en active Pending
-
2021
- 2021-09-23 AU AU2021350384A patent/AU2021350384A1/en active Pending
- 2021-09-23 IL IL301373A patent/IL301373A/en unknown
- 2021-09-23 WO PCT/EP2021/076160 patent/WO2022063874A1/en active Application Filing
- 2021-09-23 JP JP2023519036A patent/JP2023543795A/ja active Pending
- 2021-09-23 US US18/044,689 patent/US20230371916A1/en active Pending
- 2021-09-23 CN CN202180078851.6A patent/CN116471988A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022063874A1 (en) | 2022-03-31 |
EP3973851A1 (en) | 2022-03-30 |
IL301373A (en) | 2023-05-01 |
AU2021350384A1 (en) | 2023-04-06 |
US20230371916A1 (en) | 2023-11-23 |
CN116471988A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10765399B2 (en) | Programmable electronic stethoscope devices, algorithms, systems, and methods | |
US20240050027A1 (en) | Apparatus and method for diagnosing sleep quality | |
Bedri et al. | EarBit: using wearable sensors to detect eating episodes in unconstrained environments | |
US11712198B2 (en) | Estimation of sleep quality parameters from whole night audio analysis | |
US11000223B2 (en) | Methods for detecting a sleep disorder and sleep disorder detection devices | |
Dafna et al. | Automatic detection of whole night snoring events using non-contact microphone | |
US20180000408A1 (en) | Baby sleep monitor | |
US20140155773A1 (en) | Methods and apparatus for performing dynamic respiratory classification and tracking | |
Chang et al. | Isleep: A smartphone system for unobtrusive sleep quality monitoring | |
US20220007964A1 (en) | Apparatus and method for detection of breathing abnormalities | |
US11948690B2 (en) | Pulmonary function estimation | |
US10959661B2 (en) | Quantification of bulbar function | |
JP7504193B2 (ja) | ウェアラブルセンサを用いて被験者の転倒を検出するシステム及び方法 | |
Emoto et al. | Detection of sleep breathing sound based on artificial neural network analysis | |
US11382534B1 (en) | Sleep detection and analysis system | |
Swarnkar et al. | Automatic picking of snore events from overnight breath sound recordings | |
Romero et al. | Deep learning features for robust detection of acoustic events in sleep-disordered breathing | |
Xie et al. | Convolutional neural networks for audio-based continuous infant cry monitoring at home | |
Doheny et al. | Estimation of respiratory rate and exhale duration using audio signals recorded by smartphone microphones | |
Liu et al. | Deep Learning versus Professional Healthcare Equipment: A Fine‐Grained Breathing Rate Monitoring Model | |
JP2023543795A (ja) | 音声記録からの呼吸関連音の取得 | |
Tailor et al. | A first step towards on-device monitoring of body sounds in the wild | |
Raboshchuk et al. | A knowledge-based approach to automatic detection of equipment alarm sounds in a neonatal intensive care unit environment | |
Oliveira et al. | On modifying the temporal modeling of HSMMs for pediatric heart sound segmentation | |
CN113941061A (zh) | 一种人机不同步识别方法、系统、终端以及存储介质 |