JPWO2012042611A1

JPWO2012042611A1 - 呼吸検出装置および呼吸検出方法

Info

Publication number: JPWO2012042611A1
Application number: JP2012536058A
Authority: JP
Inventors: 鈴木　政直; 政直鈴木; 田中　正清; 正清田中; 大田　恭士; 恭士大田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-09-29
Filing date: 2010-09-29
Publication date: 2014-02-03
Anticipated expiration: 2030-09-29
Also published as: JP5494813B2; WO2012042611A1; US20130178756A1

Abstract

呼吸音は、自己相関が小さく、相互相関が大きいという特性を利用して現フレームに呼吸音が含まれるか否かを判定する。具体的に、調波構造推定部（１３０）が、現フレームの周波数スペクトルに基づいて、自己相関を求める。相互相関推定部（１４０）は、現フレームの周波数スペクトルと呼吸音を含む過去のフレームの周波数スペクトルとの相互相関を求める。呼吸検出部（１５０）は、自己相関の値を定数倍した値と相互相関の値とを比較し、相互相関の値が大きい場合に現フレームに呼吸音が含まれていると判定する。

Description

本発明は、呼吸検出装置および呼吸検出方法に関する。

近年、睡眠中に呼吸が止まる「睡眠時無呼吸」が注目されており、正確かつ容易に睡眠中の呼吸状態を検出することが望まれている。呼吸を検出する従来技術には、対象者の入力音声を周波数変換し、各周波数成分の大きさと閾値とを比較することで、寝息、いびき、爆音などを検出するものがある。

呼吸を検出するその他の従来技術としては、対象者が眠っている間に対象者周囲の音を集音し、有音となる区間を対象者が呼吸している区間として判定するものがある。この従来技術では、有音となる区間が現れる周期を呼吸のペースとして検出し、呼吸を行うべきタイミングで無音となった場合に、この無音となる区間を無呼吸区間として検出している。

特開２００７−２８９６６０号公報特開２００９−２１９７１３号公報

しかしながら、上述した従来の技術では、呼吸音を精度良く検出することができないという問題があった。

周波数成分の大きさと固定の閾値とを比較して呼吸を検出する技術では、対象者周辺の雑音の影響により、対象者が呼吸をしていると誤って判定してしまう場合があった。また、有音、無音に基づいて対象者の呼吸を判定する技術では、対象者から集音した音に雑音が含まれていないことが前提になっているため、雑音が発生する環境下では、正確に呼吸音を検出することができない。

本発明は、上記に鑑みてなされたものであって、正確に呼吸音を検出することができる呼吸検出装置および呼吸検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、開示の呼吸検出装置は、入力音信号を複数のフレームに分割し各フレームを周波数変換することで、周波数と該周波数毎の信号強度とを対応づけた周波数スペクトルを算出するスペクトル算出部を備える。また、開示の呼吸検出装置は、前記スペクトル算出部が算出した所定のフレームの周波数スペクトルを周波数方向にシフトし、シフト前の周波数スペクトルとシフト後の周波数スペクトルとがどの程度よく整合するのかを示す第１類似度を算出する調波構造算出部を備える。また、開示の呼吸検出装置は、前記所定のフレームの周波数スペクトルと、該所定のフレームより過去のフレームの周波数スペクトルとの相互相関を求めることで第２類似度を算出する相互相関算出部を備える。また、開示の呼吸検出装置は、前記第１類似度および前記第２類似度を基にして、所定のフレームの周波数スペクトルが呼吸を示すものであるか否かを判定する呼吸判定部を備える。

開示の呼吸検出装置は、正確に呼吸音を検出することができるという効果を奏する。

図１は、本実施例にかかる呼吸検出装置の構成を示す図である。図２は、自己相関の算出方法を説明するための図である。図３は、自己相関の例を示す図である。図４は、音声の周波数スペクトルを示す図である。図５は、呼吸音の周波数スペクトルを示す図である。図６は、音声の相互相関を説明する図である。図７は、呼吸音の相互相関を説明する図である。図８は、音声および呼吸音の自己相関および相互相関の関係を示す図である。図９は、時間と相互相関との関係の一例を示す図である。図１０は、音声の周波数スペクトルおよび呼吸の周波数スペクトルの一例を示す図である。図１１は、音声の自己相関および呼吸の自己相関の一例を示す図である。図１２は、音声の相互相関および呼吸の相互相関の一例を示す図である。図１３は、呼吸検出装置の処理手順を示すフローチャートである。

以下に、本発明にかかる呼吸検出装置および呼吸検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例にかかる呼吸検出装置の構成について説明する。図１は、本実施例にかかる呼吸検出装置の構成を示す図である。図１に示すように、この呼吸検出装置１００は、フレーム分割部１１０と、ＦＦＴ（Fast Fourier Transform）処理部１２０と、調波構造推定部１３０と、相互相関推定部１４０と、呼吸検出部１５０と、平均呼吸スペクトル推定部１６０とを有する。

フレーム分割部１１０は、入力信号を複数のフレームに分割する処理部である。フレーム分割部１１０は、分割したフレームを時系列順にＦＦＴ処理部１２０に出力する。例えば、入力信号は、対象者周辺の音をマイクで集音した音声信号とする。

フレーム分割部１１０は、入力信号を所定のサンプル数Ｎからなる複数のフレームに分割する。Ｎは自然数である。分割された第ｎフレーム目の入力信号をｘｎ（ｔ）とする。なお、ｔ＝０、１、・・・、Ｎ−１とする。

ＦＦＴ処理部１２０は、入力信号の中にどの周波数成分がどれだけ含まれているのかを抽出することで、周波数スペクトルを算出する処理部である。ＦＦＴ処理部１２０は、周波数スペクトルを調波構造推定部１３０、相互相関推定部１４０、平均呼吸スペクトル推定部１６０に出力する。

ここで、入力信号ｘｎ（ｔ）の周波数スペクトルをｓ（ｆ）とする。ｆ＝０、１、・・・、Ｋ−１とする。ＫはＦＦＴ点数である。入力信号のサンプリング周波数を１６ｋＨｚとした場合には、Ｋの値は例えば２５６となる。

ＦＦＴ処理部１２０が算出する周波数スペクトルｆ（ｓ）は、実数部をＲｅ（ｆ）、虚数部をＩｍ（ｆ）とすると、式（１）で表すことができる。
ｓ（ｆ）＝｜Ｒｅ（ｆ）^２＋Ｉｍ（ｆ）^２｜・・・（１）

調波構造推定部１３０は、周波数スペクトルの自己相関を求める処理部である。調波構造推定部１３０は、式（２）に基づいて自己相関Ａｃｏｒ（ｄ）を求める。

式（２）において、ｄは遅延を表す変数である。入力信号のサンプリング周波数を１６ｋＨｚ、ＦＦＴ点数を２５６とした場合には、とした場合には、遅延ｄの値は６〜２０となる。調波構造推定部１３０は、ｄの値を６〜２０まで変化させ、異なる遅延ｄ毎に自己相関Ａｃｏｒ（ｄ）を求める。調波構造推定部１３０は、各自己相関Ａｃｏｒ（ｄ）の値のうち、最大となる自己相関Ａｃｏｒ（ｄ１）を求める。ここで、ｄ１は自己相関が最大となる遅延を示す。調波構造推定部１３０は、自己相関Ａｃｏｒ（ｄ１）を呼吸検出部１５０に出力する。

自己相関の算出方法について説明する。図２は、自己相関の算出方法を説明するための図である。図２に示すように、自己相関は、周波数スペクトルｓ（ｆ＋ｄ）と、ｄだけ遅延させた周波数スペクトルｓ（ｆ）との積和を計算することを意味する。図２の範囲ａは、自己相関の計算範囲に対応する。

図３は、自己相関の例を示す図である。図３の縦軸は自己相関の値を示し、横軸は遅延ｄに対応する。遅延ｄ１の自己相関Ａｃｏｒ（ｄ１）と遅延ｄ２の自己相関Ａｃｏｒ（ｄ２）とを比較すると、遅延ｄ１の自己相関Ａｃｏｒ（ｄ１）の方が大きい。このため、自己相関Ａｃｏｒ（ｄ１）が最大値となる。入力信号に音声が含まれている場合と呼吸が含まれている場合とでは、下記に説明するように自己相関の値が異なる。

図４は、音声の周波数スペクトルを示す図である。図４の縦軸は、周波数成分の大きさに対応する電力であり、横軸は周波数を示す。音声は声帯振動を伴うため、調波構造となる。このため、周波数方向にシフトした周波数スペクトルとシフトする前の周波数スペクトルとがよく整合し、自己相関の値が大きくなる。

図５は、呼吸音の周波数スペクトルを示す図である。図５の縦軸は、周波数成分の大きさに対応する電力であり、横軸は周波数を示す。呼吸は声帯振動を伴わないので、調波構造がない。このため、周波数方向にシフトした周波数スペクトルとシフトする前の周波数スペクトルとがあまり整合せず、自己相関の値が小さくなる。

ところで、調波構造推定部１３０は、式（２）の代わりに、式（３）を基にして自己相関を求めても良い。式（３）を利用することにより、周波数スペクトルｓ（ｆ）のオフセットの影響を取り除くことができる。ただし、ｓ（−１）＝０とする。

図１の説明に戻る。相互相関推定部１４０は、呼吸音を含む過去のフレームの周波数スペクトルを平均したものと現在のフレームの周波数スペクトルとの相互相関を求める処理部である。相互相関推定部１４０は、式（４）に基づいて相互相関Ｃｃｏｒ（ｎ）を求める。相互相関推定部１４０は、相互相関Ｃｃｏｒ（ｎ）を呼吸検出部１５０に出力する。

式（４）において、Ｓ_ａｖｅ（ｆ）は、呼吸音を含む過去のフレームの周波数スペクトルを平均した周波数スペクトルである。平均した周波数スペクトルを平均呼吸スペクトルと表記する。相互相関推定部１４０は、平均呼吸スペクトルＳ_ａｖｅ（ｆ）を平均呼吸スペクトル推定部１６０から取得する。

相互相関の値は、呼吸のように周期的に同じ周波数スペクトルの特徴が現れる場合には大きな値となる。これに対して、音声のように周期的に同じ周波数スペクトルの特徴が現れない場合には、相互相関の値が小さくなる。

図６は、音声の相互相関を説明する図である。図６の縦軸は、相互相関の値を示し、横軸は、現在のフレームの比較対象となる過去フレームの遅延を示す。図６に示すように、音声の相互相関は小さい値となる。

図７は、呼吸音の相互相関を説明する図である。図７の縦軸は、相互相関の値を示し、横軸は、現在のフレームの比較対象となる過去フレームの遅延を示す。図７に示すように、呼吸音の相互相関は大きな値となる。

ところで、相互相関推定部１４０は、式（４）の代わりに、式（５）を基にして相互相関を求めても良い。式（５）を利用することにより、周波数スペクトルｓ（ｆ）のオフセットの影響を取り除くことができる。ただし、ｓ（−１）＝ｓ_ａｖｅ（−１）＝０とする。

呼吸検出部１５０は、自己相関Ａｃｏｒ（ｄ１）と相互相関Ｃｃｏｒ（ｎ）とを基にして、現フレームに呼吸音が含まれるか否かを判定する処理部である。図８は、音声および呼吸音の自己相関および相互相関の関係を示す図である。図８に示すように、音声の自己相関は大きくなり、音声の相互相関は小さくなる。これに対して、呼吸音の自己相関は小さくなり、呼吸音の相互相関は大きくなる。呼吸検出部１５０は、図８に示した関係を利用して、現フレームに呼吸音が含まれるか否かを判定する。すなわち、呼吸検出部１５０は、自己相関Ａｃｏｒ（ｄ１）と相互相関Ｃｃｏｒ（ｎ）との大小関係が、
相互相関Ｃｃｏｒ（ｎ）＞自己相関Ａｃｏｒ（ｄ１）
となる場合に、現フレームに呼吸音が含まれると判定する。以下に、呼吸検出部１５０の処理を詳細に説明する。

呼吸検出部１５０は、式（６）に基づいて判定閾値Ｔｈを求める。式（６）のβは定数であり、１〜１０の値に設定される。
Ｔｈ＝β×Ａｃｏｒ（ｄ１）・・・（６）

閾値Ｔｈを求めた後に、呼吸検出部１５０は、Ｃｃｏｒ（ｎ）の値と閾値Ｔｈとを比較し、Ｃｃｏｒ（ｎ）の値が閾値Ｔｈよりも大きい場合には、現フレームに呼吸音が含まれると判定する。これに対して、Ｃｃｏｒ（ｎ）の値が閾値Ｔｈ以下の場合には、現フレームに呼吸音が含まれないと判定する。

図９は、時間と相互相関との関係の一例を示す図である。図９の縦軸は、相互相関Ｃｃｏｒ（ｎ）を示し、図９の横軸は、時間を示す。呼吸検出部１５０は、閾値Ｔｈより大きい領域２ａでは、呼吸音と判定し、閾値Ｔｈ以下の領域２ｂでは、呼吸以外の音と判定する。

また、呼吸検出部１５０は、現フレームに呼吸音が含まれていると判定した場合には、現フレームを平均呼吸スペクトル推定部１６０に出力する。

平均呼吸スペクトル推定部１６０は、呼吸音を含むフレームを平均することで、平均呼吸スペクトルＳ_ａｖｅ（ｆ）を算出する処理部である。平均呼吸スペクトル推定部１６０は、式（７）に基づいて平均呼吸スペクトルＳ_ａｖｅ（ｆ）を更新し、更新した平均呼吸スペクトルを相互相関推定部１４０に出力する。式（７）のαは定数であり、０〜１の値に設定される。

次に、音声の周波数スペクトルおよび呼吸の周波数スペクトルを比較して説明する。図１０は、音声の周波数スペクトルおよび呼吸の周波数スペクトルの一例を示す図である。図１０の上段は音声の周波数スペクトル５ａを示し、下段は呼吸の周波数スペクトル６ａを示す。また、横軸は時間軸であり、縦軸は周波数の大きさを示す。

音声の周波数スペクトル５ａでは、非定期に各周波数の信号が発生している。これに対して、呼吸の周波数スペクトル６ａでは、定期的に各周波数の信号が発生している。図１０に示す例では、時間帯７ａ〜７ｅにおいて各周波数の信号が発生している。

次に、音声の自己相関および呼吸の自己相関を比較して説明する。図１１は、音声の自己相関および呼吸の自己相関の一例を示す図である。図１１の左側は音声の自己相関１０ａを示し、右側は呼吸の自己相関１０ｂを示す。また、横軸は遅延を示し、縦軸は自己相関の大きさを示す。

音声の自己相関１０ａでは、自己相関の最大値が０．４である。これに対して、呼吸の自己相関１０ｂでは、自己相関の最大値が０．２となる。このため、音声の自己相関１０ａの最大値のほうが、呼吸の自己相関１０ｂの最大値よりも大きくなる。

次に、音声の相互相関および呼吸の相互相関を比較して説明する。図１２は、音声の相互相関および呼吸の相互相関の一例を示す図である。図１２の上段は音声の相互相関１１ａを示し、下段は呼吸の相互相関１１ｂを示す。また、横軸はフレーム番号を示し、縦軸は相互相関の大きさを示す。

音声の相互相関１１ａの閾値１２ａは、音声の自己相関を基に算出される閾値である。例えば、音声の自己相関の最大値を０．３５、βの値を５．０とすると、閾値１２ａは、１．７５となる。図１２に示すように、音声の相互相関１１ａは、閾値１２ａを超えることはない。

呼吸の相互相関１１ｂの閾値１２ｂは、呼吸の自己相関を基に算出される閾値である。例えば、呼吸の自己相関の最大値を０．２０、βの値を５．０とすると、閾値１２ｂは、１．００となる。図１２に示すように、呼吸の相互相関１１ｂは、呼吸を行うタイミングで、閾値１２ｂを超える。

次に、呼吸検出装置１００の処理手順について説明する。図１３は、呼吸検出装置の処理手順を示すフローチャートである。図１３に示す処理は、例えば、入力信号が呼吸検出装置１００に入力されたことを契機に実行される。

図１３に示すように、呼吸検出装置１００は、入力信号を取得し（ステップＳ１０１）、入力信号を複数のフレームに分割する（ステップＳ１０２）。呼吸検出装置１００は、周波数スペクトルを算出し（ステップＳ１０３）、自己相関を算出する（ステップＳ１０４）。

呼吸検出装置１００は、相互相関を算出し（ステップＳ１０５）、自己相関の最大値に基づいて閾値を決定する（ステップＳ１０６）。呼吸検出装置１００は、相互相関と閾値とを比較して呼吸音が含まれているか否かを検出し（ステップＳ１０７）、検出結果を出力する（ステップＳ１０８）。

次に、本実施例に係る呼吸検出装置１００の効果について説明する。入力信号に呼吸音が含まれる場合には、自己相関が小さくなり相互相関が大きくなる。この特性は、入力信号に雑音が含まれる場合でも同様のものとなる。このため、呼吸検出装置１００は、入力信号の自己相関と相互相関とを基にして、フレームに呼吸音が含まれているか否かを判定することで、雑音の影響を受けることなく正確に呼吸音を含むフレームを検出することができる。

本実施例に係る呼吸検出装置１００は、呼吸音を含むフレームの周波数スペクトルを加重平均することで、平均呼吸スペクトルを求め、現フレームの周波数スペクトルと平均呼吸スペクトルとの相互相関を求める。このため、呼吸音を含む過去のフレームの周波数スペクトルの誤差をなくし、正確に相互相関を求めることができる。

本実施例に係る呼吸検出装置１００は、自己相関の値をβ倍した値と、相互相関の値とを比較して、現フレームに呼吸音が含まれているか否かを判定する。βの値を調整することで、様々な環境下において、正確に現フレームに呼吸音が含まれるか否かを判定することができる。

ところで、図１に示した呼吸検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、呼吸検出装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、調波構造推定部１３０、相互相関推定部１４０、呼吸検出部１５０、平均呼吸スペクトル推定部１６０を別々の装置に実装し、各装置が協働して、フレームに呼吸音が含まれているか否かを判定しても良い。

１００呼吸検出装置
１１０フレーム分割部
１２０ＦＦＴ処理部
１３０調波構造推定部
１４０相互相関推定部
１５０呼吸検出部
１６０平均呼吸スペクトル推定部

Claims

入力音信号を複数のフレームに分割し各フレームを周波数変換することで、周波数と該周波数毎の信号強度とを対応づけた周波数スペクトルを算出するスペクトル算出部と、
前記スペクトル算出部が算出した所定のフレームの周波数スペクトルを周波数方向にシフトし、シフト前の周波数スペクトルとシフト後の周波数スペクトルとがどの程度よく整合するのかを示す第１類似度を算出する調波構造算出部と、
前記所定のフレームの周波数スペクトルと、該所定のフレームより過去のフレームの周波数スペクトルとの相互相関を求めることで第２類似度を算出する相互相関算出部と、
前記第１類似度および前記第２類似度を基にして、所定のフレームの周波数スペクトルが呼吸を示すものであるか否かを判定する呼吸判定部と
を備えたことを特徴とする呼吸検出装置。
前記調波構造算出部は、所定のフレームの周波数スペクトルの自己相関を求めることで前記第１類似度を算出することを特徴とする請求項１に記載の呼吸検出装置。
前記相互相関算出部は、所定のフレームよりも過去のフレームのうち呼吸音を含むフレームの周波数スペクトルを加重平均した周波数スペクトルと、前記所定のフレームの周波数スペクトルとの相互相関を求めることで前記第２類似度を算出することを特徴とする請求項１または２に記載の呼吸検出装置。
前記呼吸判定部は、前記第１類似度を定数倍した値よりも前記第２類似度の値の方が大きい場合に、所定のフレームの周波数スペクトルが呼吸を示すものであると判定することを特徴とする請求項３に記載の呼吸検出装置。
呼吸検出装置が、
入力音信号を複数のフレームに分割し各フレームを周波数変換することで、周波数と該周波数毎の信号強度とを対応づけた周波数スペクトルを算出するスペクトル算出ステップと、
前記スペクトル算出ステップで算出した所定のフレームの周波数スペクトルにおいて、周波数帯域毎の信号強度を基にして、各周波数帯域の信号強度の類似度となる第１類似度を算出する調波構造算出ステップと、
前記所定のフレームの周波数スペクトルと、該所定のフレームより過去のフレームの周波数スペクトルとの相互相関を求めることで第２類似度を算出する相互相関算出ステップと、
前記第１類似度および前記第２類似度を基にして、所定のフレームの周波数スペクトルが呼吸を示すものであるか否かを判定する呼吸判定ステップと
を実行することを特徴とする呼吸検出方法。
前記調波構造算出ステップは、所定のフレームの周波数スペクトルの自己相関を求めることで前記第１類似度を算出することを特徴とする請求項５に記載の呼吸検出方法。
前記相互相関算出ステップは、所定のフレームよりも過去のフレームのうち呼吸音を含むフレームの周波数スペクトルを加重平均した周波数スペクトルと、前記所定のフレームの周波数スペクトルとの相互相関を求めることで前記第２類似度を算出することを特徴とする請求項５または６に記載の呼吸検出方法。
前記呼吸判定ステップは、前記第１類似度を定数倍した値よりも前記第２類似度の値の方が大きい場合に、所定のフレームの周波数スペクトルが呼吸を示すものであると判定することを特徴とする請求項７に記載の呼吸検出方法。