JP7385299B2 - スピーチ分析による肺気量の推定 - Google Patents

Description

本発明は、一般に、医療診断の分野、特に肺気量の推定に関する。

医学界は、肺気量のさまざまな測定値を認知している。たとえば、肺活量（ＶＣ）は、深い吸気後の肺内の空気量と、深い呼気後の肺内の空気量との差として定義される。一回換気量（ＴＶ）は、通常の吸気後の空気量と通常の呼気後の空気量の差である。（安静時、ＴＶはＶＣの１０％まで低下する可能性がある。）従来、肺気量は病院または診療所で肺活量計を使用して測定されていた。喘息、慢性閉塞性肺疾患（ＣＯＰＤ）、うっ血性心不全（ＣＨＦ）などの疾患に苦しむ患者は、肺気量の低下を経験する可能性がある。

米国特許出願公開第２０１５／０２１６４４８号（特許文献１）は、その開示が参照により本明細書に組み込まれ、慢性心不全、ＣＯＰＤまたは喘息を検出するための、ユーザの肺活量およびスタミナを測定するためのコンピュータ化された方法およびシステムを記載している。この方法は、ユーザのモバイル通信装置上にクライアントアプリケーションを提供することを含み、そのクライアントアプリケーションは、以下のための実行可能なコンピュータコードを含む：ユーザに対し、空気で肺を満たし、そして息を吐きながら一定の大きさの範囲（デシベル）のスピーチを発声させ；モバイル通信装置によりユーザのスピーチを受信および登録し；スピーチの登録を停止し；上記の大きさの範囲内のスピーチ受信時間の長さを測定し；受信時間の長さをモバイル通信装置の画面に表示する。

国際特許出願公開ＷＯ／２０１７／０６０８２８（特許文献２）、その開示は参照により本明細書に組み込まれる、は、ネットワークインターフェースおよびプロセッサを含む装置を記載している。プロセッサは、ネットワークインターフェースを介して、過剰な体液の蓄積に関連する肺の状態に苦しむ被験者のスピーチを受信し、スピーチを分析することによって、スピーチの１つまたは複数のスピーチ関連パラメータを識別し、スピーチ関連パラメータに応答して、肺の状態のステータスを評価し、それに応答して、肺の状態のステータスを示す出力を生成する、ように構成される。

国際特許出願公開ＷＯ／２０１８／０２１９２０（特許文献３）は、少なくとも第１のセンサおよび第２のセンサからユーザに関連する入力信号を受信し、入力信号の少なくとも一部から推定された気流の形状および／または速度を決定するように構成された特徴抽出モジュールを含むスピーチ気流測定システムを記載している。システムは、少なくともユーザの第１の気流内に配置された第１のセンサ；少なくともユーザの第２の気流内に配置された第２のセンサ；そして第１のセンサを第２の気流から遮蔽するように適合されたシールド部材；を含むヘッドセットを備え、遮蔽部材は、ヘッドセットがユーザによって使用されている間、遮蔽部材とユーザの顔との間にエアギャップを提供するように適合される。

米国特許出願公開第２０１６／００８１６１１号（特許文献４）は、および人の健康に関連する気流を分析するための情報処理システム、コンピュータ可読記憶媒体、および方法を記載している。方法は、人の言葉でのコミュニケーションのスピーチサンプルを取得するステップと、人の地理情報を取得するステップと、地理情報に基づいてリモートサーバに問い合わせるステップと、およびリモートサーバから地理情報に関連する追加情報を取得するステップと、ある期間にわたる少なくとも１つのスピーチサンプルから振幅変化の輪郭を抽出するステップと、を含み、振幅変化の輪郭は、人の気流プロファイルの変化に対応する。この方法はさらに、振幅変化の輪郭を気流関連の健康問題に典型的な周期的エピソードと相関させ、少なくともその追加情報に基づいて、振幅変化の輪郭が地理情報に関連する少なくとも１つの局所的環境要因に起因するかどうかを決定するステップを含む。

米国特許第６，２８９，３１３号（特許文献５）は、デジタルスピーチエンコーダから出力される声道パラメータの値を観察することによって、人間の生理学的および／または心理的状態のステータスを推定するための方法を記載している。ユーザは自分の装置に話しかけ、装置は入力スピーチをアナログ形式からデジタル形式に変換し、導出されたデジタル信号に対しスピーチエンコードを実行し、さらに分析のためにスピーチコーディングパラメーターの値をローカルに提供する。保存された数学的関係、例えばユーザ固有の声道変換行列は、メモリから取得され、対応する条件パラメータの計算に使用される。これらの計算されたパラメータに基づいて、ユーザの状態の現在のステータスの推定値を導き出すことができる。

米国特許出願公開第２０１５／０１２６８８８号（特許文献６）は、被験者の強制呼気動作の音のデジタル音響ファイルを処理することによって呼気流れベース呼吸機能データを生成するための装置、システム、および方法を記載している。呼気流れベース呼吸機能データを生成するように構成されたモバイル装置には、マイクロフォン、プロセッサ、およびデータ記憶装置が含まれる。マイクは、被験者の強制呼気動作の音をデジタルデータファイルに変換するように操作可能である。プロセッサは、マイクロフォンと動作可能に結合されている。データ記憶装置は、プロセッサと動作可能に結合され、プロセッサによって実行されると、プロセッサにデジタルデータファイルを処理させて、被験者の肺機能を評価するための呼気流れベース呼吸機能データを生成させる命令を格納する。被験者の強制呼気動作の音は、被験者の口とモバイル装置が接触することなくデジタルデータファイルに変換できる。

Ｍｕｒｔｏｎ、Ｏｌｉｖｉａ Ｍ．氏他著「非代償性心不全患者の音響スピーチ分析：パイロット研究」、Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ １４２．４（２０１７）：ＥＬ４０１－ＥＬ４０７（非特許文献１）は、心臓内充満圧の上昇と末梢性浮腫を特徴とする心不全（ＨＦ）の患者を監視するための、音響スピーチ分析を使用したパイロット研究について記載している。声帯と肺のＨＦ関連浮腫は、発声とスピーチ呼吸に影響を与えると仮定された。音声の摂動とスピーチの呼吸特性の音響測定値は、入院利尿薬治療を受けているＨＦの１０人の患者から毎日記録された持続的な母音と発話のパッセージから計算された。治療後、患者は自動的に識別されたきしみ声の割合が高くなり、基本周波数が増加し、ケプストラムのピークプロミネンスの変動が減少した。これは、スピーチバイオマーカーがＨＦの初期の指標になり得ることを示唆している。

米国特許出願公開第２０１５／０２１６４４８号 国際特許出願公開ＷＯ／２０１７／０６０８２８ 国際特許出願公開ＷＯ／２０１８／０２１９２０ 米国特許出願公開第２０１６／００８１６１１号 米国特許第６，２８９，３１３号 米国特許出願公開第２０１５／０１２６８８８号

Ｍｕｒｔｏｎ、Ｏｌｉｖｉａ Ｍ．氏他著「非代償性心不全患者の音響スピーチ分析：パイロット研究」、Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ １４２．４（２０１７）：ＥＬ４０１－ＥＬ４０７

本発明のいくつかの実施形態によれば、回路と；そして１つまたは複数のプロセッサと；を有するシステムが提供される。プロセッサは： 回路から、被験者によって発話された、１つまたは複数のスピーチセグメントを含む、スピーチを表すスピーチ信号を受信するステップと；フレームの１つまたは複数のシーケンスがそれぞれスピーチセグメントを表すように、スピーチ信号を複数のフレームに分割するステップと；を実行するようにこうせいされる。プロセスはさらにシーケンスごとに、シーケンスに属するフレーム中に被験者が吐き出す空気のそれぞれの推定流量を計算するステップと；推定流量に基づいて、推定総空気量のそれぞれを計算するステップと；によりスピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップを有する。プロセスはさらに推定総空気量に応じて、アラートを生成するステップを含む。

いくつかの実施形態では、回路がネットワークインターフェースを含む。
いくつかの実施形態では、回路が、スピーチを表すアナログ信号をスピーチ信号に変換するように構成されたアナログ－デジタル変換器を備える。
いくつかの実施形態では、１つまたは複数のプロセッサが単一のプロセッサからなる。
いくつかの実施形態では、各フレームの持続時間は、５～４０ミリ秒の間である。
いくつかの実施形態では、１つまたは複数のスピーチセグメントは、それぞれの休止によって互いに分離された複数のスピーチセグメントを有し、プロセスは、スピーチセグメントを表すフレームのシーケンスと休止を表すフレームのシーケンスとを区別することによって、フレームのシーケンスを識別するステップをさらに含む。

いくつかの実施形態では、それぞれの推定流量を計算するステップは、シーケンスに属するフレームの各フレームについて、フレームの１つまたは複数の特徴を計算するステップと；そして少なくとも１つの特徴に対し、少なくとも１つの特徴を推定流量にマッピングする関数を適用することによって、推定流量を計算するステップと；を有する。
いくつかの実施形態では、プロセスは、信号を受信する前に、被験者が発した他のスピーチを表す較正スピーチ信号を受信するステップと；他のスピーチを発話している間に被験者によって吐き出された空気の測定された流量を表す風量信号を受信するステップと；そして 較正スピーチ信号と風量信号を使用して、少なくとも１つの特徴を推定流量にマッピングする関数を学習するステップと；をさらに含む。
いくつかの実施形態では、少なくとも１つの特徴は、フレームのエネルギーを含む。
いくつかの実施形態では、関数が、少なくとも１つの特徴の多項式関数である。

いくつかの実施形態では、プロセスは、特徴に基づいて、フレームが属する音響スピーチユニット（ＡＰＵ）を識別するステップと；そしてＡＰＵに応答して関数を選択するステップと；をさらに含む。
いくつかの実施形態では、ＡＰＵのタイプは、音素、ダイフォン、トライフォン、および合成音響ユニットからなるＡＰＵタイプのグループから選択される。
いくつかの実施形態では、１つまたは複数のスピーチセグメントは、複数のスピーチセグメントを含み、プロセスは、推定総空気量の１つまたは複数の統計値を計算するステップをさらに含み、アラートを生成するステップは、ベースライン統計値から逸脱している少なくとも１つの統計値に応答してアラートを生成するステップを有する。

いくつかの実施形態では、スピーチは、被験者が横になっている間に被験者によって発話される。
いくつかの実施形態では、プロセスは、被験者が横になっていない間に被験者が発した他のスピーチを表す別のスピーチ信号を受信するステップと；そして別のスピーチ信号からベースライン統計を計算するステップと；をさらに含む。
いくつかの実施形態では、プロセスは、被験者の以前のスピーチを表す別のスピーチ信号からベースライン統計を計算するステップをさらに含む。
いくつかの実施形態では、少なくとも１つの統計値は、平均、標準偏差、およびパーセンタイルからなる統計値のグループから選択された統計値である。
いくつかの実施形態では、スピーチが音響センサによって獲得され、プロセスは、それぞれの推定総空気量を計算する前に、スピーチが発話中に取得された口の画像に基づいて、被験者の口に対する音響センサの位置を考慮するためにスピーチ信号を正規化するステップをさらに含む。

本発明のいくつかの実施形態によれば、ネットワークインターフェースおよびプロセッサを含む装置がさらに提供される。プロセッサは、ネットワークインターフェースを介して、被験者によって発話された、１つまたは複数のスピーチセグメントを含む、スピーチを表すスピーチ信号を受信するように構成される。プロセッサはさらに、フレームの１つまたは複数のシーケンスがそれぞれスピーチセグメントを表すように、スピーチ信号を複数のフレームに分割するように構成される。プロセッサはさらに、シーケンスのそれぞれについて、シーケンスに属するフレーム中に被験者によって吐き出される空気のそれぞれの推定流量を計算することによって、スピーチセグメントが発話されている間に被験者によって吐き出される空気のそれぞれの推定総量を計算し、そして推定された流量に基づいて、推定された総空気量のそれぞれを計算するように構成される。プロセッサはさらに、推定総空気量に応じてアラートを生成するように構成されている。

いくつかの実施形態では、各フレームの持続時間は、５～４０ミリ秒の間である。
いくつかの実施形態では、１つまたは複数のスピーチセグメントは、それぞれの休止によって互いに分離された複数のスピーチセグメントを有し、プロセッサは、スピーチセグメントを表すフレームのシーケンスと休止を表すフレームのシーケンスとを区別することによって、フレームのシーケンスを識別するようにさらに構成される。
いくつかの実施形態では、プロセッサは、シーケンスに属するフレームの各フレームについて、フレームの１つまたは複数の特徴を計算し；そして少なくとも１つの特徴に対し、少なくとも１つの特徴を推定流量にマッピングする関数を適用することによって、推定流量を計算するように構成される。

いくつかの実施形態では、プロセッサは、信号を受信する前に、前記被験者が発した他のスピーチを表す較正スピーチ信号を受信し；前記他のスピーチを発話している間に前記被験者によって吐き出された空気の測定された流量を表す風量信号を受信し；そして 前記較正スピーチ信号と前記風量信号を使用して、前記少なくとも１つの特徴を前記推定流量にマッピングする関数を学習するようにさらに構成される。
いくつかの実施形態では、少なくとも１つの特徴は、フレームのエネルギーを含む。
いくつかの実施形態では、関数が、前記少なくとも１つの特徴の多項式関数である。
いくつかの実施形態では、プロセッサは、特徴に基づいて、フレームが属する音響音声ユニット（ＡＰＵ）を識別し；そしてＡＰＵに応答して関数を選択するようにさらに構成される。

いくつかの実施形態では、ＰＵのタイプは、音素、ダイフォン、トライフォン、および合成音響ユニットからなるＡＰＵタイプのグループから選択される。
いくつかの実施形態では、１つまたは複数のスピーチセグメントは、複数のスピーチセグメントを含み、プロセッサは、推定総空気量の１つまたは複数の統計値を計算するようにさらに構成され、プロセッサは、ベースライン統計値から逸脱している少なくとも１つの統計値に応答してアラートを生成するように構成される。
いくつかの実施形態では、スピーチは、被験者が横になっている間に被験者によって発話される。
いくつかの実施形態では、プロセッサは、被験者が横になっていない間に被験者が発した他のスピーチを表す別のスピーチ信号を受信し；そして別のスピーチ信号からベースライン統計を計算するようにさらに構成される。

いくつかの実施形態では、少なくとも１つの統計値は、平均、標準偏差、およびパーセンタイルからなる統計値のグループから選択された統計値である。
いくつかの実施形態では、プロセッサは、被験者の以前のスピーチを表す別のスピーチ信号からベースライン統計を計算するようにさらに構成される。
いくつかの実施形態では、声が音響センサによって獲得され、プロセッサは、それぞれの推定総空気量を計算する前に、スピーチが発話中に取得された口の画像に基づいて、被験者の口に対する音響センサの位置を考慮するためにスピーチ信号を正規化するようにさらに構成される。

さらに、本発明のいくつかの実施形態によれば、被験者によって発話された、１つ以上のスピーチセグメントを含むスピーチを表すアナログ信号をデジタルスピーチ信号に変換するように構成されたアナログ－デジタル変換器を含むシステムが提供される。システムはさらに、１つまたは複数のプロセッサを含み、プロセッサは、アナログ－デジタル変換器からスピーチ信号を受信し、スピーチ信号を複数のフレームに分割し、それによりフレームの１つまたは複数のシーケンスがそれぞれスピーチセグメントを表し、シーケンスのそれぞれについて、シーケンスに属するフレーム中に被験者によって吐き出された空気のそれぞれの推定流量を計算し、そして推定流量に基づいて、推定総空気量のそれぞれを計算することによって、スピーチセグメントが発話されている間に被験者によって吐き出された空気のそれぞれの推定総量を計算し、そして、推定総空気量に応じて、アラートを生成する、ように構成される。

さらに、本発明のいくつかの実施形態によれば、被験者によって発話された、１つまたは複数のスピーチセグメントを含むスピーチを表すスピーチ信号を受信するステップを有する方法が提供される。方法はさらに、フレームの１つまたは複数のシーケンスがそれぞれスピーチセグメントを表すように、スピーチ信号を複数のフレームに分割するステップを含む。方法はさらに、シーケンスごとに：シーケンスに属するフレーム中に被験者が吐き出す空気のそれぞれの推定流量を計算するステップと；推定流量に基づいて、推定総空気量のそれぞれを計算するステップと；によりスピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップと；を含む。方法はさらに推定総空気量に応じて、アラートを生成するステップを含む。

本発明のいくつかの実施形態によれば、プログラム命令が格納される有形非一過性コンピュータ可読媒体を含むコンピュータソフトウェア製品が提供される。命令はプロセッサによって読み取られると、プロセッサに対し：回路から、被験者によって発話されたスピーチを表すスピーチ信号を受信するステップであって、スピーチは、１つまたは複数のスピーチセグメントを含むステップと；フレームの１つまたは複数のシーケンスがそれぞれスピーチセグメントを表すように、スピーチ信号を複数のフレームに分割するステップと；シーケンスごとに、シーケンスに属するフレーム中に被験者が吐き出す空気のそれぞれの推定流量を計算するステップと；推定流量に基づいて、推定総空気量のそれぞれを計算するステップと；によりスピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップと；そして推定総空気量に応じて、アラートを生成するステップと；を実行させる。

本発明は、その実施形態の以下の図面を参照する詳細な説明から、より完全に理解されるであろう：
本発明のいくつかの実施形態による、被験者の肺気量を測定するためのシステムの概略図である。 本発明のいくつかの実施形態による、図１のシステムを較正するための技術を概略的に示す図である。 本発明のいくつかの実施形態による、図１のシステムを較正するための技術を概略的に示す図である。 本発明のいくつかの実施形態による、スピーチ信号の処理の概略図である。

（前書き）
話している間、人は呼吸の短い休止中に吸気する傾向があるが、呼気は延長されて制御される。本明細書で使用される「スピーチ呼気量」（ＳＥＶ）という用語は、呼吸休止直後の肺内の空気量と、次の呼吸休止直前の肺内の空気量との間の差を指す。ＳＥＶは通常、休憩中の一回呼気量（ＴＶ）よりも大幅に大きく、肺活量（ＶＣ）の２５％にもなる場合がある。ＳＥＶは通常、スピーチの音量、スピーチのスピーチ上のコンテンツ、およびスピーチの韻律に基づいて、呼吸ごとに異なる。

以下の説明では、ベクトルを表す記号に下線が引かれている。たとえば、「ｘ」という表記はベクトルを示す。

（概要）
肺の状態に苦しむ多くの患者は、患者の状態が悪化した場合に早期の医学的介入を可能にするために、定期的に、時には毎日でも、肺気量を監視する必要がある。ただし、病院や診療所での定期的な肺活量計の検査は、不便で費用がかかる場合がある。

したがって、本発明の実施形態は、患者が診療所に行くことを必要とせずに、患者の肺気量、特に患者のＳＥＶを効果的かつ便利に測定するための手順を提供する。手順は、医療関係者の直接の関与なしに、患者の自宅で、電話（例えば、スマートフォンまたは他の携帯電話）、タブレットコンピュータ、または他の適切な装置を使用して、患者自身によって実行され得る。

より具体的には、本明細書に記載の実施形態では、患者のスピーチは装置によって獲得される。次に、スピーチが自動的に分析され、患者の平均ＳＥＶなど、患者のＳＥＶに関連する統計値が獲得されたスピーチから計算される。続いて、統計は、患者の状態が安定している間に実施された以前のセッションからの統計値などのベースライン統計値と比較される。比較の結果、肺気量の減少、つまり患者の状態の悪化が明らかになった場合、アラートが生成される。

上記の手順の前に、通常は病院または診療所で較正手順が実行される。較正中、患者の瞬間的な風量が、例えば、ニューモタクとも呼ばれるニューモタコグラフによって測定されている間、患者はマイクロフォンに向かって話す。患者からのスピーチ信号はサンプリングされてデジタル化され、次に同じサイズのフレーム｛ｘ _１ ，ｘ _２ ，…ｘ _Ｎ ｝に分割される。各フレームの長さは通常５～４０ミリ秒（たとえば、１０～３０ミリ秒）で、複数のサンプルが含まれる。次に、特徴ベクトルｖ _ｎ が各フレームｘ _ｎ から抽出される。続いて、特徴ベクトル｛ｖ _１ 、ｖ _２ 、…ｖ _Ｎ ｝およびニューモタク測定から導き出される対応する風量｛Φ_１、Φ_２、…Φ_Ｎ｝に基づいて、所与のスピーチフレーム中に吐き出される空気の流量をフレームの特徴から予測するスピーチ対風量関数Φ（ｖ）が学習される。

たとえば、特徴ベクトルには、フレームの総エネルギーである単一の量

のみが含まれる場合がある。そのような実施形態では、スピーチ風量関数Φ（ｖ）＝Φ（ｕ）は、風量をフレームエネルギーに回帰することによって学習することができる。したがって、たとえば、関数は
Φ_Ｕ（ｕ）＝ ｂ_０ ＋ ｂ_１ｕ ＋ ｂ_２ｕ^２ ＋…＋ ｂ_ｑｕ^ｑ
の形式の多項式である可能性がある。

あるいは、特徴ベクトルは、フレームの他の特徴を含み得る。これらの特徴に基づいて、スピーチ認識技術を使用して、各フレームまたはフレームのシーケンスを、音素、ダイフォン、トライフォン、または合成音響ユニットなどの音響音声ユニット（ＡＰＵ）にマッピングすることができる。言い換えると、フレームのシーケンス｛ｘ _１ ，ｘ _２ ，…ｘ _Ｎ ｝は、ＡＰＵのシーケンス｛ｙ_１，ｙ_２，…ｙ_Ｒ｝にマッピングでき、ここでＲ≦Ｎでありそれらは、一意のＡＰＵのセット｛ｈ_１，ｈ_２，…ｈ_Ｍ｝から抽出される。続いて、フレームが属するＡＰＵｈによって変化するスピーチ風量関数Φ（ｖ）＝Φ（ｕ｜ｈ）を学習することができる。たとえば、風量は、ＡＰＵごとに個別にフレームエネルギーに回帰され、ＡＰＵごとに異なる多項式係数｛ｂ_０、ｂ_１、…ｂ_ｑ｝のセットが取得される。したがって、有利には、スピーチ風量関数は、スピーチのエネルギーだけでなく、上記のように、ＳＥＶに影響を与えるスピーチのコンテンツも考慮に入れることができる。

較正手順に続いて、上記のように患者のスピーチが獲得される。次に、獲得されたスピーチは、較正手順について前述したように、フレームに分割される。続いて、特徴ベクトルｖ _ｎ が各フレームから抽出され、吸気の休止が識別される。次に、連続する吸気休止の間に位置するスピーチフレーム｛ｘ _１ ，ｘ _２ ，…ｘ _Ｌ ｝の各シーケンスは、異なるそれぞれの単一呼気スピーチセグメント（ＳＥＳＳ）として識別される。続いて、ＳＥＶが各ＳＥＳＳに対して計算される。詳細には、ＳＥＳＳの特徴ベクトル｛ｖ _１ 、ｖ _２ 、…ｖ _Ｌ ｝が与えられると、ＳＥＶは

として計算される。ここで、Ｔ_ＬはＳＥＳＳの存続期間である。したがって、Ｍ個の ＳＥＳＳが与えられると、Ｍ個のＳＥＶ値｛ＳＥＶ_１、ＳＥＶ_２、…ＳＥＶ_Ｍ｝が計算される。

続いて、ＳＥＶ値の統計値が計算される。これらの統計値には、たとえば、平均、中央値、標準偏差、最大値、または８０パーセンタイルなどの他のパーセンタイルが含まれうる。上記のように、これらの統計値は、例えば、統計値間の様々な差異または比率を計算することによって、以前の分析からの統計値と比較することができる。比較により患者の状態が悪化していることが示された場合、アラームが生成されうる。例えば、患者の平均ＳＥＶの有意な減少に応答してアラームが生成され得る。

幾つかの場合には、患者の病状の悪化を明らかにする可能性が高い姿勢でスピーチを発するように患者に指示することがある。例えば、うっ血性心不全（ＣＨＦ）は、起座呼吸、すなわち、横になっているときの息切れを伴うことが多く、その結果、ＣＨＦ患者の肺機能の小さな変化は、患者が横になっているときにのみ検出され得る。したがって、ＣＨＦ患者のより効果的な診断のために、患者は、例えば仰臥位で横になっている間に話すように指示され得る。次に、この位置に対して計算されたＳＥＶ統計値を、別の位置（たとえば、座位）に対して計算されたＳＥＶ統計値と比較し、横臥位でより低いＳＥＶが観察された場合にアラームを生成することができる。代替的または追加的に、横たわっている位置のＳＥＶ統計値、および／または横たわっている位置と他の位置との間の不一致を以前のセッションと比較することができ、それに応じてアラームを生成することができる。

本明細書に記載の実施形態は、うっ血性心不全（ＣＨＦ）、慢性閉塞性肺疾患（ＣＯＰＤ）、間質性肺疾患（ＩＬＤ）、喘息、急性呼吸窮迫症候群（ＡＲＤＳ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＤ）または嚢胞性線維症（ＣＦ）など、肺気量に影響を与える任意のタイプの疾患を有する患者に適用され得る。

（システムの説明）
本発明のいくつかの実施形態による、被験者２２の肺気量を測定するためのシステム２０の概略図である図１を最初に参照する。

システム２０は、被験者２２によって使用される、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、またはデスクトップコンピュータなどの音響受信機器３２を備える。音響受信機器３２は、音響センサ３８（例えば、マイクロフォン）、プロセッサ３６、および典型的には音響デジタル（Ａ／Ｄ）変換器４２およびネットワークインターフェースコントローラ（ＮＩＣ）３４などのネットワークインターフェースを含む他の回路を備える。典型的には、音響受信機器３２は、ソリッドステートフラッシュドライブのようなデジタル記憶装置、画面（タッチスクリーンなど）、および／またはキーボードなどの他のユーザインターフェス要素をさらに備える。いくつかの実施形態では、音響センサ３８（および、選択肢として、Ａ／Ｄ変換器４２）は、音響受信機器３２の外部にあるユニットに属する。例えば、音響センサ３８は、有線またはＢｌｕｅｔｏｏｔｈ接続などの無線接続により音響受信機器３２に接続されるヘッドセットに属することができる。

システム２０は、さらにサーバ４０を備え、サーバ４０は、プロセッサ２８、ハードドライブまたはフラッシュドライブなどのデジタル記憶装置３０（「メモリ」とも呼ばれる）、および典型的にはネットワークインターフェースコントローラ（ＮＩＣ）２６などのネットワークインターフェースを含む他の回路を含む。サーバ４０は、画面、キーボード、および／または他の任意の適切なユーザインターフェス要素をさらに備え得る。典型的には、サーバ４０は、音響受信機器３２から離れて、例えば、コントロールセンターに配置され、サーバ４０および音響受信機器３２は、セルラーネットワークおよび／またはインターネットを含み得るネットワーク２４を介して、それぞれのネットワークインターフェースを介して互いに通信する。

通常、音響受信機器３２のプロセッサ３６とサーバ４０のプロセッサ２８は、以下で詳細に説明する肺気量評価手法を協調して実行する。例えば、ユーザが音響受信機器３２に話しかけると、ユーザのスピーチの音波は、音響センサ３８によってアナログスピーチ信号に変換され得、次に、音響センサ３８は、Ａ／Ｄ変換器４２によってサンプリングおよびデジタル化され得る。（通常ユーザのスピーチは、８～４５ｋＨｚのレートなどの任意の適切なレートでサンプリングされ得る。）結果として生じるデジタルスピーチ信号は、プロセッサ３６によって受信され得る。次に、プロセッサ３６は、ＮＩＣ３４を介してスピーチ信号をサーバに通信し、それによりプロセッサ２８はＮＩＣ２６からスピーチ信号を受信することができる。

続いて、図４を参照して以下に説明するようにスピーチ信号を処理することにより、プロセッサ２８は、スピーチの様々なセグメントが被験者によって発話される間に、被験者２２によって吐き出された空気の総量を推定することができる。次に、プロセッサ２８は、推定総空気量の１つまたは複数の統計値を計算し、これらの統計値の少なくとも１つを、記憶装置３０に格納されたベースライン統計値と比較することができる。プロセッサ２８は音響または視覚的アラートなどのアラートを生成することができる。例えば、プロセッサ２８は、電話をかけるか、または被験者および／または被験者の医師にテキストメッセージを送信することができる。あるいは、プロセッサ２８は、プロセッサ３６に逸脱を通知することができ、次に、プロセッサ３６は、例えば、被験者に逸脱を通知するメッセージを音響受信機器３２の画面上に表示することによって、アラートを生成することができる。

他の実施形態では、プロセッサ３６は、デジタルスピーチ信号の処理の少なくとも一部を実行する。例えば、プロセッサ３６は、被験者２２によって吐き出された空気の総量を推定し、次いで、これらの推定された量の統計値を計算することができる。続いて、プロセッサ３６は、統計値をプロセッサ２８に伝達することができ、次に、プロセッサ２８は、ベースラインとの比較を実行し、適切な場合、アラートを生成することができる。あるいは、方法は、システム２０が必ずしもサーバ４０を含む必要がないように、プロセッサ３６によってその全体が実行され得る。

さらに他の実施形態では、音響受信機器３２は、Ａ／Ｄ変換器またはプロセッサを含まないアナログ電話器を含む。そのような実施形態では、音響受信機器３２は、電話網を介して音響センサ３８からサーバ４０にアナログ音響信号を送信する。通常、電話網では、スピーチ信号はデジタル化され、デジタルで通信され、次にサーバ４０に到達する前にアナログに戻り変換される。したがって、サーバ４０は、適切な電話インターフェースを介して受信した入力アナログスピーチ信号をデジタルスピーチ信号へ変換するＡ／Ｄ変換器を備え得る。プロセッサ２８は、Ａ／Ｄ変換器からデジタルスピーチ信号を受信し、次に、本明細書で説明されるように信号を処理する。あるいは、サーバ４０は、信号がアナログに変換される前に電話網から信号を受信することができ、その結果、サーバは、必ずしもＡ／Ｄ変換器を備える必要はない。

通常、サーバ４０は、複数の異なる被験者に属する複数の機器と通信し、これらの複数の被験者のスピーチ信号を処理するように構成される。典型的には、記憶装置３０は、ベースライン統計値および／または他の履歴情報が被験者について記憶されるデータベースを記憶する。記憶装置３０は、図１に示されるように、サーバ４０の内部にあり得、またはサーバ４０の外部にあり得る。プロセッサ２８は、単一のプロセッサとして、または協調的にネットワーク化またはクラスタ化されたプロセッサのセットとして具現化され得る。例えば、制御センターは、本明細書に記載の技術を協調的に実行する、それぞれのプロセッサを含む複数の相互接続されたサーバを含み得る。

いくつかの実施形態では、本明細書で説明するプロセッサ２８および／またはプロセッサ３６の機能は、例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して、ハードウェアのみで実装される。他の実施形態では、プロセッサ２８およびプロセッサ３６の機能は、少なくとも部分的にソフトウェアに実装されている。例えば、いくつかの実施形態では、プロセッサ２８および／またはプロセッサ３６は、少なくとも中央処理装置（ＣＰＵ）およびランダムアクセスメモリ（ＲＡＭ）を含むプログラムされたデジタルコンピューティング装置として具体化される。ソフトウェアプログラムを含むプログラムコードおよび／またはデータは、ＣＰＵによる実行および処理のためにＲＡＭにロードされる。プログラムコードおよび／またはデータは、例えば、ネットワークを介して、電子形式でプロセッサにダウンロードされ得る。代替的または追加的に、プログラムコードおよび／またはデータは、磁気、光学、または電子メモリなどの非一過性有形媒体に提供および／または格納され得る。そのようなプログラムコードおよび／またはデータは、プロセッサに提供されると、本明細書に記載のタスクを実行するように構成されたマシンまたは専用コンピュータを形成する。

（較正）
ここで、本発明のいくつかの実施形態による、システム２０を較正するための技術を概略的に示す図２～３を参照する。

被験者２２の肺気量を測定する前に、サーバ４０が被験者のスピーチの特徴ベクトル ｖを被験者の肺からの空気の流量Φにマッピングする関数Φ（ｖ）を学習する較正手順が、通常、病院またはその他の臨床現場で実施される。較正は、被験者のスピーチを獲得し、同時に被験者の肺からの風量を測定する機器を使用して実行され、これにより、スピーチが風量と相関するようになる。

例えば、較正は、ニューモタッハ４４を使用して実行され得る。被験者２２がニューモタッハ４４に話しかけると、例えば、マイクロフォンおよびＡ／Ｄ変換器を含む、ニューモタッハの内部に配置されたスピーチ捕捉ユニット５２が、被験者が発話したスピーチを捕捉し、そして発話されたスピーチを表す、デジタル較正スピーチ信号５６をサーバ４０に出力する。同時に、ニューモタッハは、スピーチを発話中に被験者が吐き出した風量を測定する。特に、ニューモタッハに属する圧力センサ４８は、ニューモタッハ画面４６の近位および遠位の両方で圧力を感知し、感知された圧力を示すそれぞれの信号を出力する。これらの信号に基づいて、回路５０は、画面４６を横切る圧力降下を計算し、さらに、圧力降下に比例する被験者の呼気の流量を計算する。回路５０は、例えば、リットル／分単位で風量を表すデジタル風量信号５４をサーバ４０に出力する。（回路５０がアナログ信号を出力する場合、この信号は、サーバ４０に属するＡ／Ｄ変換器によってデジタル風量信号５４に変換され得る。）

ニューモタッハ４４は、日本のＨＯＹＡ株式会社のペンタックスメディカルが提供する発声空力システム（登録商標）など、任意の適切な既製の製品を含むことができる。集音ユニット５２は、その製造中にニューモタッハと統合されてもよく、または較正の前に特別に設置されてもよい。

較正スピーチ信号５６および風量信号５４を受信した後、サーバ４０のプロセッサ２８は、２つの信号を使用して、Φ（ｖ）を学習する。第１に、プロセッサは、較正スピーチ信号を複数の較正信号フレーム５８に分割し、各フレームは、任意の適切な持続時間（例えば、５～４０ミリ秒）および任意の適切な数のサンプルを有する。通常、すべてのフレームの継続時間とサンプル数は同じである。（図３では、各フレームの開始と終了は、水平軸に沿った短い垂直の目盛りでマークされている。）

次に、プロセッサは、フレーム５８のそれぞれに関連する特徴を計算する。そのような特徴は、例えば、フレームのエネルギー、フレーム内のゼロ交差率、および／またはフレームの線形予測係数（ＬＰＣ）またはケプストラル係数など、フレームのスペクトルエンベロープを特徴付ける特徴を含み得る。これらの係数は、古井貞熙、「デジタルスピーチ処理：合成および認識」、ＣＲＣ Ｐｒｅｓｓ、２０００に記載されているように計算することができ、この文献は参照により本明細書に組み込まれる。これらの特徴に基づいて、プロセッサは、フレームの１つまたは複数のより高いレベルの特徴を計算することができる。例えば、エネルギーおよびゼロ交差率に基づいて、プロセッサは、例えば、Ｂａｃｈｕ，Ｒ氏他著、「エネルギーおよびゼロ交差率を使用する有声および無声スピーチ信号の分離」、ＡＳＥＥ地域会議、ウェストポイント、２００８年、に記載されているように、フレームが有声または無声のスピーチを含むか否かを示す特徴を計算することができる。この文献は参照により本明細書に組み込まれる。続いて、プロセッサは、フレームの特徴ベクトルｖに計算された１つまたは複数の特徴を包含する。

さらに、フレームのそれぞれについて、プロセッサは、例えば、フレームが及ぶ間隔にわたって、風量信号５４の平均値または中央値を取得することによって、またはフレームの中央で信号５４の値を取得することによって、風量Φを計算する。次に、プロセッサは、特徴と風量値の間の相関関係を学習する。

例えば、プロセッサは、較正スピーチ信号５６から、各フレームのそれぞれのフレームエネルギーｕを含む、フレームエネルギー信号６０を導出することができる。次に、プロセッサは、風量をフレームエネルギーに回帰しうる。したがって、プロセッサは、
Φ_Ｕ（ｕ）＝ ｂ_０ ＋ ｂ_１ｕ ＋ ｂ_２ｕ^２ ＋…＋ ｂ_ｑｕ^ｑ
の形式の多項式を計算できる。この式は、任意のフレームエネルギーｕが与えられると、推定風量Φ_Ｕ（ｕ）を返す。通常、この多項式の場合、ｂ_０ ＝ ０である。いくつかの実施形態では、ｑ ＝ ２（つまり、ΦＵ（ｕ）は２次多項式であり）、そしてｂ_１＞ ０である。一般に、ｂ_１、ｂ_２、および高次の係数は、音響センサ３８のゲイン、Ａ／Ｄ変換器４２のステップサイズ、および気流およびスピーチ信号が表現される単位などの様々なパラメータに依存する。

いくつかの実施形態では、プロセッサは、スピーチ認識技術（以下に説明する隠れマルコフモデル技術など）を使用して、フレームの特徴に基づいて、各フレームまたはフレームのシーケンスが属する音響音声ユニットＡＰＵ ｈを識別する。次に、プロセッサは、ＡＰＵごと、または同様のＡＰＵのグループごとに、個別のマッピング関数Φ（ｖ｜ｈ）を学習する。

たとえば、上記の回帰は、ＡＰＵ（音響音声ユニット）ごとに個別に実行できるため、ＡＰＵごとにそれぞれの多項式Φ_Ｕ（ｕ）が学習される。一般に、有声音素、特に母音の場合、話者は比較的少量の呼気気流を使用して比較的高いスピーチエネルギーレベルを生成するが、無声音素は同じ量のスピーチエネルギーを生成するためにより多くの気流を必要とする。したがって、ｂ_１は、無声音素と比較して、無声音素の方が大きくなる可能性がある（たとえば、４～１０倍大きい）。したがって、純粋に説明的な例として、Φ（ｕ｜／ａ／）（音素「／ａ／」に対して）が０．２ｕ － ０．００５ｕ^２の場合、Φ（ｕ｜／ｓ／）は１．４ｕ －０．０６ｕ^２になる。明確な遷移を持つ子音（破裂音など）の場合、持続する子音と比較して、エネルギーと気流の関係はより非線形になる可能性があり、Φには前者のより高次の項が含まれる可能性がある。したがって、上記の例を続けると、破裂音／ｐ／の場合、Φ（ｕ｜／ｐ／）はｕ － ０．２ｕ^２ － ０．０７ｕ^３になる可能性がある。

一般に、Φ（ｖ）には、フレームエネルギーに関して前述したような単変量多項式関数、または複数の特徴の多変量多項式関数が含まれうる。たとえば、ｖにＫ個の成分ｖ_１、ｖ_２、…ｖ_Ｋ（フレームエネルギーは通常これらの成分の１つ）が含まれる場合、Φ（ｖ）は：
ｂ_０ ＋ｂ_１ｖ_１ ＋…＋ｂ_Ｋｖ_Ｋ ＋ｂ_１１ｖ_１ ^２ ＋ｂ_１２ｖ_１ｖ_２ ＋…＋ｂ_１Ｋｖ_１ｖ_Ｋ ＋ｂ_２２ｖ_２ ^２ ＋ｂ_２３ｖ_２ｖ_３ ＋…＋ｂ_２Ｋｖ_２ｖ_Ｋ ＋…＋ｂ_ＫＫｖ_Ｋ ^２
の形式の多変量２次多項式になる。代替的または追加的に、Φ（ｖ）は、三角多項式（例えば、フレームエネルギーｕの単変量三角多項式）または指数関数などの他のタイプの関数を含み得る。

幾つかのケースでは、被験者の口とスピーチ捕捉ユニット５２との間の距離ｄ１は、被験者の口と音響センサ３８との間の予想距離ｄ２とは異なる（たとえば、より小さい）場合がある。あるいは、ニューモタッハは被験者のスピーチの録音と干渉する場合がある。代替的または追加的に、スピーチ捕捉ユニット５２の特性は、音響センサ３８の特性とは異なり得る。

これらの違いを補正するために、予備的な較正手順を実行することができる。この手順の間、適切なスピーチ信号がスピーカーからニューモタッハに再生され、その結果、スピーチ信号はスピーチ捕捉ユニット５２によって記録される。同じスピーチ信号がニューモタッハなしで再生され、スピーカーから距離ｄ２に配置された音響センサ３８（または別の同一の音響センサ）によって記録される。この予備較正に基づいて、スピーチ捕捉ユニット５２の記録を音響センサ３８の記録にマッピングする伝達関数が学習される。続いて、Φ（ｖ）を学習する前に、この伝達関数が信号５６に適用される。

いくつかの実施形態では、上記の較正手順を使用して、それぞれのΦ（ｖ）が各被験者について学習される。（Φ（ｖ）がＡＰＵ（音響音声ユニット）に依存する実施形態の場合、較正中に被験者から得られるスピーチサンプルは、通常、被験者の各ＡＰＵに対して十分な数のサンプルを含むように、十分に大きく多様である。）あるいは、被験者と独立したΦ（ｖ）は、複数の被験者から得られた対応するスピーチおよび風量信号の大規模なセットから導出できる。さらに別の代替案として、Φ（ｖ）は、複数の被験者からのデータを使用して初期化され（したがって、被験者のすべてのＡＰＵがカバーされることを保証する）、次に、上記の較正手順を使用して、被験者ごとに別々に修正され得る。

（気流量の推定）
次に、本発明のいくつかの実施形態による、スピーチ信号の処理の概略図である図４を参照する。

上記の較正手順に続いて、サーバ４０のプロセッサ２８は、Φ（ｖ）を使用して、被験者のスピーチに基づいて被験者２２の肺気量を推定する。詳細には、プロセッサ２８は、最初に、音響受信機器３２（図１）を介して、被験者によって発話されたスピーチを表すスピーチ信号６２を受信する。次に、プロセッサは、スピーチ信号６２を複数のフレームに分割し、図３を参照して信号５６について前述したように、各フレームに関連する特徴を計算する。続いて、プロセッサは、特徴に基づいて、それぞれ、スピーチのスピーチセグメント（概要では「ＳＥＳＳ」と呼ばれる）を表すフレームのシーケンス６６をそれぞれ識別する。

たとえば、被験者のスピーチは、複数のスピーチセグメントを含むことができ、その間、被験者は、スピーチが生成されない各休止によって互いに分離された有声または無声のスピーチを生成し、それにより、信号６２は、休止を表す他のフレーム６４によって互いに分離された複数のシーケンス６６を含む。この場合、プロセッサは、スピーチセグメントを表すフレームと他のフレーム６４とを区別することによって、シーケンス６６を識別する。これを行うために、プロセッサは、フレームをＡＰＵにマッピングするために使用されるのと同じスピーチ認識技術を使用することができる。（言い換えれば、プロセッサは、「非スピーチ」ＡＰＵにマッピングされていない任意のフレームを、シーケンス６６に属するスピーチフレームとして識別し得る。）あるいは、プロセッサは、Ｒａｍｉｒｅｚ， Ｊａｖｉｅｒ氏他著、「スピーチ活動検出－基礎およびスピーチ認識システムのロバスト性」、ＩｎＴｅｃｈ、２００７に記載されているアルゴリズムのいずれかのアルゴリズムのようなスピーチ活動検出（ＶＡＤ）アルゴリズムを使用し得る。その文献の開示は参照により本明細書に組み込まれる。次に、各シーケンス６６は単一の呼気に対応すると想定され、一方、シーケンス間の休止はそれぞれの吸気に対応すると想定される。

続いて、プロセッサは、スピーチセグメントが発話されている間に被験者によって吐き出された空気のそれぞれの推定総量を計算する。この計算を実行するために、プロセッサは、各シーケンス６６について、シーケンスに属するフレーム中に被験者によって吐き出された空気のそれぞれの推定流量を計算し、次に、推定流量に基づいて、上記でスピーチ呼気量（ＳＥＶ）と呼ばれるそのシーケンスの推定総呼気量を計算する。例えば、プロセッサは、推定された流量にフレームの持続時間を乗ずることによって各フレームの推定された体積を計算し、次に推定された体積を合計することができる。（シーケンス内のフレームの期間が等しい場合、これは、推定流量の平均にシーケンスの合計期間を乗じることと同じである。）

たとえば、図４は、１４フレーム｛ｘ _１、ｘ _２、…ｘ _１４｝を含むシーケンスの例を示している。このシーケンス中に被験者によって吐き出される空気の推定総量を計算するために、プロセッサは、最初に、フレーム｛ｘ _１、ｘ _２、…ｘ _１４｝のそれぞれについて、図３を参照して前述したように、フレームの１つまたは複数の特徴を計算する。 言い換えると、プロセッサは特徴ベクトル｛ｖ _１、ｖ _２、…ｖ _１４｝を計算する。または、単一の特徴（フレームエネルギーなど）のみが使用される場合は、特徴スカラー｛ｖ_１、ｖ_２、…ｖ_１４｝を計算する。次に、プロセッサは、フレームの少なくとも１つの特徴に、較正手順中に学習された適切なマッピング関数Φ（ｖ）を適用することによって、各フレームの推定流量を計算する。例えば、プロセッサは、フレームの特徴に基づいて、フレームが属するＡＰＵを識別し、ＡＰＵに応答して適切なマッピング関数を選択し、次いで、選択されたマッピング関数を適用することができる。したがって、プロセッサは推定流量｛Φ（ｖ _１）、Φ（ｖ _２）、…Φ（ｖ _１４）｝を取得する。最後に、プロセッサは推定流量を使用して、総呼気量を計算する。

１つまたは複数の計算されたスピーチ呼気量（ＳＥＶ）値に応答して、プロセッサは、図１を参照して前述したように、アラートを生成しうる。たとえば、単一のスピーチセグメント、したがって単一のＳＥＶ値の場合、プロセッサはＳＥＶをベースラインＳＥＶと比較しうる。現在のＳＥＶがベースラインＳＥＶよりも小さい（たとえば、事前定義されたしきい値パーセンテージを超えている）ことに応答して、アラートが生成されうる。あるいは、（図４に示されるように）複数のスピーチセグメントの場合、プロセッサは、ＳＥＶの１つまたは複数の統計値を計算し、次にこれらの統計値をそれぞれのベースライン統計値と比較することができる。ベースラインから逸脱している統計値の少なくとも１つに応答して（たとえば、事前定義されたしきい値パーセンテージを超えてベースラインよりも小さいか大きいために）、アラートが生成されうる。統計値の例には、ＳＥＶ値の平均、標準偏差、および５０パーセンタイル（中央値）や１００パーセンタイル（最大値）などの適切なパーセンタイルが含まれる。ＳＥＶは通常、呼吸ごとに異なるため、複数のＳＥＶの統計値を使用すると、より正確な診断が容易になる。

いくつかの実施形態では、プロセッサは、被験者の以前のスピーチを表す別のスピーチ信号から、ベースラインＳＥＶ、または複数のＳＥＶのベースライン統計値を計算する。前のスピーチは、たとえば、被験者の状態が安定している前の時間に発話されうる。

いくつかの実施形態では、信号６２が横になっている間の被験者のスピーチを表すように、被験者は横になっている間に話すように促される。そのような実施形態では、ベースラインＳＥＶまたはベースライン統計値は、横になっていない間に被験者によって発せられた他のスピーチから計算され得る。（この他のスピーチは、被験者の状態が安定している間、または現時点で、信号６２を獲得する前または後に発話されうる。）横たわっている位置と横たわっていない位置の間の差異がしきい値の差異を超える場合、アラートが生成されうる。たとえば、横たわっていない位置の関連する統計値（平均ＳＥＶなど）と横たわっている位置の関連する統計値の差異パーセンテージが事前定義されたしきい値パーセンテージより大きい場合、またはこれらの２つの統計値間の比率が、事前定義されたしきい値を超えた数値だけ１から逸脱している場合、アラートが生成されうる。代替的または追加的に、この差異が前回よりも大きい場合、アラートが生成されうる。たとえば、被験者の状態が安定しているときに、横臥位での被験者の平均ＳＥＶが非横臥位よりもわずか５％少なかったが、現在、被験者の平均ＳＥＶが横臥位で１０％少ない場合、アラート生成されうる。

いくつかの実施形態では、被験者２２は、各セッション中に同じ事前定義されたスピーチを発するように指示される。他の実施形態では、スピーチはセッション間で異なる。例えば、被験者は、各セッション中に音響受信機器３２の画面から異なるそれぞれのテキストを読むように指示され得る。あるいは、被験者は自由に話すように、および／または「今日はどのように感じますか？」などのさまざまな質問に答えるように指示される場合がある。さらに別の代替案として、被験者は全く話すように促されず、むしろ、被験者のスピーチは、被験者が通常の電話会話などの通常の会話に従事している間に獲得され得る。

いくつかの実施形態では、図３および図４の両方に示されているように、プロセッサ２８によって定義されたフレームは互いに重なり合わない。むしろ、各フレームの最初のサンプルは、前のフレームの最後のサンプルの直後に続く。他の実施形態では、信号５６および／または信号６２において、フレームは互いに重なり合うことができる。この重複は修正される可能性がある。たとえば、フレーム期間が２０ミリ秒であると仮定すると、各フレームの最初の１０ミリ秒は、前のフレームの最後の１０ミリ秒とオーバーラップする可能性がある。（言い換えると、フレーム内のサンプルの最初の５０％は、前のフレーム内のサンプルの最後の５０％でもある。）あるいは、オーバーラップのサイズは、信号の過程で変化しうる。

上記の説明で想定されているように、各フレームの継続時間は通常同じである。あるいは、フレーム持続時間は信号の過程で変化しうる。上記の技術は、様々なフレーム持続時間に容易に適合させることができることに留意されたい。たとえば、各フレームｘ _ｎのエネルギー

は、フレーム内のサンプル数を考慮して正規化されうる。

（スピーチ信号の正規化）
一般に、音響センサ３８によって獲得されたスピーチの振幅は、被験者の口に対する音響センサの位置と向きに依存する。異なるセッションからのＳＥＶ統計値を比較すると、意味のある結果が得られない可能性があるため、これには課題がある。

この課題を克服するために、音響センサの位置と向きを固定することができる。たとえば、被験者に音響受信機器３２を常に耳に当てるように指示するか、音響センサの位置と向きが常に固定されているヘッドセットを使用するように指示する。あるいは、各セッション中に、上記のように、被験者は、音響受信機器３２の画面からテキストを読み取るように指示され得、その結果、被験者は、被験者の口に対してほぼ同じ位置および向きで装置を常に保持する。

別の代替案として、推定風量を計算する前に、被験者の口に対する音響センサの位置および／または向きを考慮するなど、信号６２を正規化することができる。位置および向きを確認するために、音響受信機器３２に属するカメラは、被験者が話している間に被験者の口の画像を取得し、次いで、画像処理技術を使用して、画像から音響センサの位置および／または向きを計算し得る。代替的または追加的に、赤外線センサなどの装置に属する他のセンサをこの目的のために使用することができる。

より具体的には、各フレームｘ _ｎは、正規化方程式ｘ _ｎ ＝ Ｇ（ｐ_ｎ）^－１ ｚ _ｎに従って信号６２内の生のフレームｚ _ｎを正規化することによって計算され得る。ここでｐ _ｎは、ｚ _ｎが発話されている間の被験者の口に対する音響センサの位置および向きを表すベクトルであり、そしてＧ（ｐ _ｎ）は、ｐ _ｎが与えられた場合に、音響センサへの音の伝播の効果をモデル化する線形時間不変演算子である。（フレームが正規化される特定の位置と方向に対してＧ（ｐ _ｎ）＝ １）。Ｇ（ｐ _ｎ）は、有限インパルス応答（ＦＩＲ）システムまたは無限インパルス応答（ＩＩＲ）システムとしてモデル化できる。幾つかのケースでは、Ｇ（ｐ _ｎ）は、スカラー値関数ｇ（ｐ _ｎ）に対して、
ｘ _ｎ ＝ Ｇ（ｐ _ｎ）^－１ ｚ _ｎ が
ｘ _ｎ ＝ ｚ _ｎ ／ ｇ（ｐ _ｎ）
に減少するように、純粋な減衰システムとしてモデル化されうる。一般に、Ｇ（ｐ _ｎ）は、さまざまな方向での音響センサのゲインなど、音響センサの関連する特性とともに、音の伝播の物理的原理から導き出すことができる。

（フレームをＡＰＵにマッピングする）
一般に、フレームをＡＰＵ（音響音声ユニット）にマッピングするには、任意の適切な手法が使用されうる。しかしながら、典型的には、本発明の実施形態は、隠れマルコフモデル（ＨＭＭ）技術、動的タイムワーピング（ＤＴＷ）、およびニューラルネットワークなどの、スピーチ認識で一般的に使用される技術を利用する。（スピーチ認識では、フレームのＡＰＵへのマッピングは通常、最終的に破棄される中間出力を構成する。）以下では、スピーチ認識を容易にするためにスピーチの生成に簡略化された確率モデルを使用するＨＭＭ手法について簡単に説明する。

人間のスピーチ生成システムには、複数の調音器官が含まれている。スピーチ生成中、生成される音に応じて、スピーチ生成システムの状態が変化する（例えば、各器官の位置および張力に関して）。ＨＭＭ手法は、各フレームｘ _ｎの間、スピーチ生成システムが特定の状態ｓ_ｎにあることを前提としている。モデルは、あるフレームから次のフレームへの状態遷移がマルコフランダムプロセスに従うことを前提としている。つまり、次のフレームの状態の確率は、現在のフレームの状態にのみ依存する。

ＨＭＭ手法は、特徴ベクトルを、確率密度関数（ｐｄｆ）ｆ_ｓ（ｖ）が現在のフレームの状態「ｓ」によって決定されるランダムベクトルのインスタンスとして扱う。したがって、状態シーケンス｛ｓ１、ｓ２、…ｓＮ｝がわかっている場合、特徴ベクトル｛ｖ _１、ｖ _２、…ｖ _Ｎ｝のシーケンスの条件付きｐｄｆはｆ_ｓ１（ｖ _１）＊ ｆ_ｓ２（ｖ _２）＊…＊ｆ_ｓＮ（ｖ _Ｎ）として表すことができる。

各ＡＰＵは、特定の初期状態確率、および状態間の特定の遷移確率を持つ特定の状態シーケンスによって表される。（上記にかかわらず、「合成音響ユニット」として知られる１つのタイプのＡＰＵには、単一の状態のみが含まれることに注意されたい。）各単語は、その単語を構成する、ＡＰＵのそれぞれの状態シーケンスを連結した状態シーケンスで表される。単語が異なって発音できる場合、単語はいくつかの状態シーケンスで表され、各シーケンスには、発音においてその変化形が発生する可能性に対応する初期確率がある。

被験者の発話を構成する単語が事前にわかっている場合、その発話は、構成単語のそれぞれの状態シーケンスを連結した状態シーケンスで表すことができる。ただし、実際には、特定のテキストを読むように指示された場合でも、間違った単語を読んだり、単語をスキップしたり、単語を繰り返したりするなどして、単語が事前にわかっている可能性は少ない。したがって、ＨＭＭ状態は、ある単語から次の単語への遷移だけでなく、単語またはＡＰＵの挿入または削除も許可するように編成されている。テキストが事前にわからない場合、すべてのＡＰＵの状態は、任意のＡＰＵから他のＡＰＵへの移行を許可するように編成され、任意の２つのＡＰＵの移行確率は、被験者によって話された言語で２番目のＡＰＵが最初のＡＰＵに続く頻度を反映する。

（上記のように、ＡＰＵには、たとえば、音素、ダイフォン、トライフォン、または合成音響ユニットが含まれる場合がある。各合成音響ユニットは、単一のＨＭＭ状態で表される。）

ＨＭＭ手法はさらに、状態シーケンスがマルコフシーケンスであり、状態シーケンスの事前確率がπ［ｓ_１］＊ａ［ｓ_１，ｓ_２］＊ａ［ｓ_２，ｓ_３］＊…＊ａ［ｓ_Ｎ－１，ｓ_Ｎ］で与えられると想定する。 ここで、π［ｓ_１］は初期状態がｓ_１である確率であり、ａ ［ｓ_ｉ、ｓ_ｊ］はｓ_ｉに続くｓ_ｊの遷移確率である。したがって、特徴ベクトルのシーケンスと状態のシーケンスの同時確率は、π［ｓ_１］＊ａ［ｓ_１，ｓ_２］＊ａ［ｓ_２，ｓ_３］＊…＊ａ［ｓ_Ｎ－１，ｓ_Ｎ］＊ｆ_ｓ１（ｖ_１）＊ｆ_ｓ２（ｖ_２）＊…＊ ｆ_ｓＮ（ｖ_Ｎ）に等しい。ＨＭＭ手法は、任意の特徴ベクトルシーケンス｛ｖ_１、ｖ_２、…ｖ_Ｎ｝に対しこの同時確率を最大化する状態シーケンス｛ｓ_１、ｓ_２、…ｓ_Ｎ｝を見つける。（これは、例えば、Ｒａｂｉｎｅｒ氏およびＪｕａｎｇ氏、スピーチ認識の基礎、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９３に記載されているビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムを使用して行うことができ、その開示は参照により本明細書に組み込まれる。）各状態は特定のＡＰＵに対応するため、ＨＭＭ技術は、その発話に対するＡＰＵシーケンス｛ｙ_１、ｙ_２、…ｙ_Ｒ｝を与える。

確率密度関数ｆ_ｓ（ｖ）のパラメータ、および初期確率と遷移確率は、大規模なスピーチデータベースでトレーニングすることによって学習される。通常、このようなデータベースを構築するには、ＨＭＭモデルが被験者固有ではないように、複数の被験者からスピーチサンプルを収集する必要がある。それにもかかわらず、一般的なＨＭＭモデルは、較正手順中に記録された被験者のスピーチに基づいて、特定の被験者に適合させることができる。このような適応は、肺気量の推定に使用されるスピーチの内容が事前にわかっていて、このスピーチのサンプル発話が較正手順中に被験者から取得される場合に特に役立ちうる。

本発明は、本明細書でとくに示され、説明されたものに限定されないことが当業者には理解されよう。本発明の実施形態の範囲はむしろ、上記のさまざまな特徴の組合せおよびサブ組合せの両方、ならびに上記の記載を読んだときに当業者に想起される先行技術にはないその変形および修正を含む。本明細書に参照により組み込まれた文書は、本明細書の不可欠な部分と見做されるべきであり、本明細書において明示的または暗黙的になされた定義と組み込まれた文書の定義が異なる場合は、本明細書の定義が優先する。本明細書の定義を考慮すべきである。

Claims (32)

1. システムであって：
   回路と；そして１つまたは複数のプロセッサと；を有し、
   前記１つまたは複数のプロセッサは：
   前記回路から、１つまたは複数のスピーチセグメントを含む、被験者によって発話された、スピーチを表すスピーチ信号を受信するステップと；
   フレームの１つまたは複数のシーケンスがそれぞれ前記スピーチセグメントを表すように、前記スピーチ信号を複数の前記フレームに分割するステップと；
   前記シーケンスごとに、
   前記シーケンスに属する前記フレームの各フレームについて、前記フレームの１つまたは複数の特徴を計算するステップと；
   前記シーケンスに属する前記フレーム中に被験者が吐き出す空気の、それぞれの推定流量を、前記シーケンスに属する前記フレームの各フレームの前記特徴に対し、前記特徴を前記各フレームの前記推定流量にマッピングする関数を適用することによって、計算するステップと；
   前記推定流量に基づいて、それぞれの推定総空気量を計算するステップと；により
   前記スピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップと；そして
   前記空気の推定総量に応じて、アラートを生成するステップと；
   を含むプロセスを協調的に実行するように構成される、
   ことを特徴とするシステム。
2. 前記回路がネットワークインターフェースを含む、ことを特徴とする請求項１に記載のシステム。
3. 前記回路が、前記スピーチを表すアナログ信号を前記スピーチ信号に変換するように構成されたアナログ－デジタル変換器を備える、ことを特徴とする請求項１に記載のシステム。
4. 前記１つまたは複数のプロセッサが単一のプロセッサからなる、ことを特徴とする請求項１に記載のシステム。
5. 前記各フレームの持続時間は、５～４０ミリ秒の間である、ことを特徴とする請求項１に記載のシステム。
6. 前記１つまたは複数のスピーチセグメントは、それぞれの休止によって互いに分離された複数のスピーチセグメントを有し、前記プロセスは、スピーチセグメントを表すフレームのシーケンスと休止を表すフレームのシーケンスとを区別することによって、フレームのシーケンスを識別するステップをさらに含む、ことを特徴とする請求項１に記載のシステム。
7. 前記プロセスは、前記スピーチ信号を受信する前に、前記被験者が発した他のスピーチを表す較正スピーチ信号を受信するステップと；前記他のスピーチを発話している間に前記被験者によって吐き出された空気の測定された流量を表す風量信号を受信するステップと；そして 前記較正スピーチ信号と前記風量信号を使用して、前記少なくとも１つの特徴を前記推定流量にマッピングする関数を学習するステップと；をさらに含む、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
8. 前記少なくとも１つの特徴は、前記フレームのエネルギーを含む、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
9. 前記関数が、前記少なくとも１つの特徴の多項式関数である、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
10. 前記プロセスは、前記特徴に基づいて、前記フレームが属する音響音声ユニット（ＡＰＵ）を識別するステップと；そして前記ＡＰＵに応答して前記関数を選択するステップと；をさらに含む、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
11. 前記ＡＰＵのタイプは、音素、ダイフォン、トライフォン、および合成音響ユニットからなるＡＰＵタイプのグループから選択される、ことを特徴とする請求項１０に記載のシステム。
12. 前記１つまたは複数のスピーチセグメントは、複数のスピーチセグメントを含み、前記プロセスは、前記推定総空気量の１つまたは複数の統計値を計算するステップをさらに含み、前記アラートを生成するステップは、ベースライン統計値から逸脱している少なくとも１つの前記統計値に応答してアラートを生成するステップを有する、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
13. 前記スピーチは、前記被験者が横になっている間に前記被験者によって発話される、ことを特徴とする請求項１２に記載のシステム。
14. 前記プロセスは、前記被験者が横になっていない間に前記被験者が発した他のスピーチを表す別のスピーチ信号を受信するステップと；そして前記別のスピーチ信号からベースライン統計値を計算するステップと；をさらに含む、ことを特徴とする請求項１３に記載のシステム。
15. 前記プロセスは、前記被験者の以前のスピーチを表す別のスピーチ信号からベースライン統計値を計算するステップをさらに含む、ことを特徴とする請求項１２に記載のシステム。
16. 前記少なくとも１つの統計値は、平均、標準偏差、およびパーセンタイルからなる統計値のグループから選択された統計値である、ことを特徴とする請求項１２に記載のシステム。
17. 前記スピーチが音響センサによって獲得され、前記プロセスは、それぞれの前記推定総空気量を計算する前に、前記スピーチの発話中に取得された口の画像に基づいて、前記被験者の口に対する前記音響センサの位置を考慮するために前記スピーチ信号を正規化するステップをさらに含む、ことを特徴とする請求項１～６のいずれか一項に記載のシステム。
18. 被験者によって発話された、１つまたは複数のスピーチセグメントを含むスピーチを表すスピーチ信号を受信するステップと；
    フレームの１つまたは複数のシーケンスがそれぞれ前記スピーチセグメントを表すように、前記スピーチ信号を複数のフレームに分割するステップと；
    前記シーケンスごとに：
    前記シーケンスに属する前記フレームの各フレームについて、前記フレームの１つまたは複数の特徴を計算するステップと；
    前記シーケンスに属する前記フレーム中に被験者が吐き出す空気の、それぞれの推定流量を、前記シーケンスに属する前記フレームの各フレームの前記特徴に対し、前記特徴を前記各フレームの前記推定流量にマッピングする関数を適用することによって、計算するステップと；
    前記推定流量に基づいて、推定総空気量のそれぞれを計算するステップと；により
    前記スピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップと；そして
    前記推定総空気量に応じて、アラートを生成するステップと；
    を有することを特徴とするコンピュータ装置により実行される方法。
19. 前記各フレームの持続時間は、５～４０ミリ秒の間である、ことを特徴とする請求項１８に記載の方法。
20. 前記１つまたは複数のスピーチセグメントは、それぞれの休止によって互いに分離された複数のスピーチセグメントを有し、前記方法は、スピーチセグメントを表すフレームのシーケンスと休止を表すフレームのシーケンスとを区別することによって、フレームのシーケンスを識別するステップをさらに含む、ことを特徴とする請求項１８に記載の方法。
21. 前記スピーチ信号を受信する前に、前記被験者が発した他のスピーチを表す較正スピーチ信号を受信するステップと；前記他のスピーチを発話している間に前記被験者によって吐き出された空気の測定された流量を表す風量信号を受信するステップと；そして 前記較正スピーチ信号と前記風量信号を使用して、前記少なくとも１つの特徴を前記推定流量にマッピングする関数を学習するステップと；をさらに含む、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
22. 前記少なくとも１つの特徴は、前記フレームのエネルギーを含む、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
23. 前記関数が、前記少なくとも１つの特徴の多項式関数である、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
24. 前記特徴に基づいて、前記フレームが属する音響音声ユニット（ＡＰＵ）を識別するステップと；そして前記ＡＰＵに応答して前記関数を選択するステップと；をさらに含む、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
25. 前記ＡＰＵのタイプは、音素、ダイフォン、トライフォン、および合成音響ユニットからなるＡＰＵタイプのグループから選択される、ことを特徴とする請求項２４に記載の方法。
26. 前記１つまたは複数のスピーチセグメントは、複数のスピーチセグメントを含み、前記方法は、前記推定総空気量の１つまたは複数の統計値を計算するステップをさらに含み、前記アラートを生成するステップは、ベースライン統計値から逸脱している少なくとも１つの前記統計値に応答してアラートを生成するステップを有する、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
27. 前記スピーチは、前記被験者が横になっている間に前記被験者によって発話される、ことを特徴とする請求項２６に記載の方法。
28. 前記方法は、前記被験者が横になっていない間に前記被験者が発した他のスピーチを表す別のスピーチ信号を受信するステップと；そして前記別のスピーチ信号からベースライン統計値を計算するステップと；をさらに含む、ことを特徴とする請求項２７に記載の方法。
29. 前記被験者の以前のスピーチを表す別のスピーチ信号からベースライン統計値を計算するステップをさらに含む、ことを特徴とする請求項２６に記載の方法。
30. 前記少なくとも１つの統計値は、平均、標準偏差、およびパーセンタイルからなる統計値のグループから選択された統計値である、ことを特徴とする請求項２６に記載の方法。
31. 前記スピーチが音響センサによって獲得され、前記方法は、それぞれの前記推定総空気量を計算する前に、前記スピーチの発話中に取得された口の画像に基づいて、前記被験者の口に対する前記音響センサの位置を考慮するために前記スピーチ信号を正規化するステップをさらに含む、ことを特徴とする請求項１８～２０のいずれか一項に記載の方法。
32. プログラム命令が格納される有形非一過性コンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令はプロセッサによって読み取られると、前記プロセッサに対し：
    被験者によって発話された、１つまたは複数のスピーチセグメントを含む、スピーチを表すスピーチ信号を受信するステップと；
    フレームの１つまたは複数のシーケンスがそれぞれ前記スピーチセグメントを表すように、前記スピーチ信号を複数のフレームに分割するステップと；
    前記シーケンスごとに、
    前記シーケンスに属する前記フレームの各フレームについて、前記フレームの１つまたは複数の特徴を計算するステップと；
    前記シーケンスに属する前記フレーム中に被験者が吐き出す空気の、それぞれの推定流量を、前記シーケンスに属する前記フレームの各フレームの前記特徴に対し、前記特徴を前記各フレームの前記推定流量にマッピングする関数を適用することによって、計算するステップと；
    前記推定流量に基づいて、推定総空気量のそれぞれを計算するステップと；により
    前記スピーチセグメントが発話されている間に被験者が吐き出した空気のそれぞれの推定総量を計算するステップと；そして
    前記推定総空気量に応じて、アラートを生成するステップと；
    を実行させる、ことを特徴とするコンピュータソフトウェア製品。
    

Images