JP5781926B2 - 音声分類器とマイクロホンを用いる音響患者モニタリング - Google Patents

Description

本発明は患者モニタシステムに応用することができる。しかし、言うまでもなく、以下に説明する技術は、他のモニタリングシステム、他の患者治療シナリオ、他のデータ収集技術などにも応用することができる。

バイタルサインを検出し、関連情報を表示するため、多くの患者がモニタされている。病院の重症管理室では、かかるモニタリングにより、患者に付き添っていなくても患者の継続的監視ができるため、患者に対する看護が改善される。リモートモニタリングシステムにより、長いあいだ病院にいなければならない一部の患者は、アシステッドリビングや在宅介護環境に移ることができる。モニタディスプレイはコンピュータモニタに似ており、外見上は同様の技術を用いる。一般的に、モニタの検出エレメントを患者に物理的に接触させ、脈拍、ＳｐＣｈ、血圧などを測定する。また、心電図（ＥＣＧ）や脳波（ＥＥＧ）モニタなどの一部のモニタでは、患者と電気的な接触をする。

しかし、場合によっては、患者は即座の処置は必要としないが、後で処置が必要であることを知らせ、または重大なイベントを予知するサインをモニタリングする。かかるサインは、例えば、咳、いびき、さけび、衝撃音などの電気物理モニタにより得られる信号とは異なる。後の２つはてんかん発作の際によく見られるものである。衝撃音は、誰かが、（例えば、発作の際に）ベッドの周辺の家具やベッドそのものをたたいたり、（患者がベッドから落ちたり、トイレの帰りにころんだりして）床などにぶつかった時に生じる。

現在の患者モニタリング手段は電気物理信号のみを用い、そのため、患者が処置を必要とすることを示す、咳、いびき、さけび、衝撃音などのサインを見落としてしまう。信頼できる方法で電気物理信号を測定するシステムは、通常は目障りであり、長期間使用するには適しておらず、不快であり、または患者に対してフレンドリーではない。

本出願は、上記の問題などを解消する、患者をモニタリングし可聴な患者状態情報を収集する、新しくて、改良されたシステムと方法を提供する。

一態様では、患者モニタシステムは、患者が発した音響イベントを検出し、音響イベントを記述する情報を含む信号を生成する１つ以上のマイクロホンと、音響イベント信号にタイムスタンプを押すプロセッサと、各音響イベント信号を複数の音響イベントクラスの１つに分類する分類器とを有する。

他の一態様では、患者のモニタリング方法は、患者が発した音響イベントを検出する段階と、音響イベントに関する情報を含む音響イベント信号にタイムスタンプを押す段階と、特定したシグネチャーの関数として、音響イベントを複数の音響イベントクラスの１つに分類する段階と、分類した音響イベントを、タイムスタンプとともに格納する段階とを有する。

他の一態様では、患者のモニタリング装置は、患者が発した音響イベントを検出する手段と、音響イベントに関する情報を含む音響イベント信号にタイムスタンプを押す手段と、音響イベント信号をフィルタして、音響イベント信号に関連するシグネチャーを特定する手段とを有する。この装置は、さらに、音響イベント信号をデジタル化する手段と、特定したシグネチャーの関数として、音響イベントを、複数の音響イベントクラスの１つに分類する手段とを有する。また、この装置は、分類した音響イベントをタイムスタンプとともに格納する手段と、分類した音響イベントを、それぞれのタイムスタンプとともに、レビューと再生のために表示する手段とを有する。

１つの利点は、医学的に関連のある情報を追加的に収集することができることである。

他の利点は、後でレビューするために音響イベント情報を格納することである。

本イノベーションのさらなる利点は、以下の詳細な説明を読んで理解すれば当業者には明らかになるであろう。

本発明は、様々なコンポーネントとその構成、及び様々なステップとその構成の形を取る。図面は様々な態様を例示することのみを目的とし、本発明を限定するものと解してはならない。

ヘルスケアプロバイダ（例えば、看護師、医師など）によるリアルタイムの、またはその後のレビューのために、患者周辺における音響イベントを検出する患者モニタシステム（ＰＭＳ）を示す。 レビューのために音響イベント情報をユーザに示すユーザインタフェースを示す。 １つ以上の態様で、本システムを利用する病院環境を示す。

図１は、ヘルスケアプロバイダ（例えば、看護師、医師など）によるリアルタイムの、またはその後のレビューのための、患者１１の周辺における音響イベントを検出する、患者モニタシステム（ＰＭＳ）１０を示す。システムは、１つ以上のマイクロホン１４を有するアダプティブマイクロホンアレイ１２により、患者が発した音声を、控えめかつ患者フレンドリーに検出する。一実施形態では、マイクロホンアレイ１２は、各音響イベントの発生源を三角法で測る少なくとも２つのマイクロホンを有するストリップ（例えば、リニア）アレイである。例えば、ストリップアレイは、長さが２０ｃｍと４０ｃｍの間である。他の一実施形態では、マイクロホンアレイはN個のマイクロホンを有する。ここで、Nは２より大きい整数である。他の一実施形態では、１つのマイクロホンを用いてもよい。

マイクロホン１４、アダプティブ（または指向的）マイクロホンアレイ１２などは、患者のエリアに向かっている。患者の部屋の外のノイズ、他の患者のノイズ、往来などの外部からの音声は抑制する。一実施形態では、アレイには、好ましくないノイズ（例えば、患者モニタリングエリアのまたはその近くの周辺ノイズ、モニタリングエリアにあるテレビやラジオなどの、患者が発したものではない音響イベント）をキャンセルするアクティブノイズキャンセレーション（ＡＮＣ）法を利用する、ＡＮＣコンポーネント１５を含む。アダプティブマイクロホンアレイは、音声通信に用いられるような従来の方法を用いて構成されている。マイクロホンアレイは、患者の部屋中のどこに配置して患者が発した音響イベントを検出してもよい。例えば、アレイは、患者が横になったり寝たりする患者ベッド１６の上に取り付けまたは配置してもよい。あるいは、患者の環境に複数の部屋があり、複数のアレイを設けることができる他の一実施形態ではアレイは、天井に取り付けても、壁や天井に埋め込んでも、患者のベッドに取り付けても、患者が持ち歩いてもよい。

咳、いびき、さけび、衝撃音などの音響イベントをマイクロホンにより検出し、介護者が後でレビューしたり、リアルタイムでモニタしたりできる。モニタリングシステムは、病院で患者をモニタするのに使用できるし、家庭でも使用できる。一実施形態では、モニタリングシステムにより、患者の睡眠行動を知り、例えば、患者がいびきをかくか、どのくらい大きく、どのくらいの頻度で患者はいびきをかくかなど（例えば、睡眠時無呼吸症候群などの睡眠障害の診断）調べることができる。他のアプリケーションには、子供や年配者などのモニタリングがある。

マイクロホンアレイ１２が検出した音響イベントに関する信号は、メモリ１８が記憶し、プロセッサ２０が受け取り分析する。プロセッサは、１つ以上のフィルタ２２を有する。音響イベント信号はそのフィルタを通して送られ、イベントシグネチャーが検出される。フィルタした信号を、次にデジタイザ２４によりデジタル化する。デジタイザは、アナログ・デジタル（Ａ／Ｄ）変換器などである。次に、１つ以上の分類器２６が、フィルタし、デジタル化した信号を分類して、信号を構成する音響イベント（例えば、咳、うめき声、くしゃみ、いびきなど）を特定する。また、分類器は、分類した音響イベントをさらに分類する、音響イベントのサブクラスを含めることができる。例えば、咳として分類されたイベントは、例えば、ゼーゼーいう咳、喀痰を伴う咳、ガラガラいう咳、空咳などとしてさらに分類できる。

一実施形態では、フィルタ２２はバンドパスフィルタであり、プロセッサはゼロ交差、コーナー周波数などのイベントシグネチャーを分析し、異なる音響イベント（例えば、いびき、あくび、咳、大声、衝撃音など）からなる信号パターンを特定する。デジタル化した信号情報は次に分類器により処理される。分類器はメモリ１８中のルックアップテーブル２８にアクセスし、検出した音響イベントをそれぞれの音響シグネチャーからなるグループに入れる（bin）。分類は、一列のバンドパスフィルタ、平均ゼロ交差時間測定回路、音高モニタ、エネルギーまたは振幅モニタなどを用いて、音楽分類やその他の音声と同様に行う。分類器は、医学的に重要な音声を認識し、通常の背景ノイズを破棄するように予めトレーニングしてもよい。分類器は、追加的なティーチングセッションで微調整して、各患者に適合するようにしてもよい。例えば、分類器は、音響イベントの所望のクラスができるように音楽分類器を修正して、つくってもよい。すなわち、音楽分類器は、歌のレコーディングの特徴やシグネチャーの関数として、歌を異なるクラスやジャンルに分類するものであるが、この音楽分類器を、記述した音響イベントと一致する異なる特徴を分析して、検出した音響イベントをいろいろな音響イベントクラスに分類するように、修正する。

他の一実施形態では、分類器を各患者個人に対してトレーニングする。例えば、看護師その他のヘルスケア技術者は、患者をモニタして、音響イベントが発生したら、その音響イベントがある具体的なイベントクラス（咳、いびき、呼吸、うがい呼吸、叫び声や悲鳴、発話、うめき声、ゴツンという音、げっぷ、鼓腸などを含むが限定はされない）に属することを特定できる。分類器をトレーニングすると、技術者がいなくても患者をモニタすることができる。

他の一実施形態では、患者を所定期間（例えば、夜間）にわたってモニタし、後で技術者がレコーディングをレビューして、異なる音声がそれぞれの音響イベントのクラスに属すると特定する。

さらに他の一実施形態では、ユニバーサル分類器をある範囲の音響イベント音声でトレーニングして、患者ごとのトレーニングはせずに、複数の患者に対して使用する。一変形例では、ユニバーサル分類器を、特定の患者にカスタマイズするようにトレーニングすることもできる。

また、プロセッサ２０は、信号を検出すると、その信号にタイムスタンプし、ユーザインタフェース３０上に、検出した音響イベントの時間順または組織立てた表示を出力する。例えば、音声を表示するクラスごとにグループ分けして、または、各タイプのノイズのカウントあるいは単位時間あたりのカウントを表示することもできる、などである。特定した音声を中央モニタリング局に送信して、テキストとして保管し、病院データベースに保管し、などができる。次に、ヘルスケアプロバイダが、治療、診断、治療計画などのために、その出力をレビューする。一実施形態では、音声の識別子をテキストとして表示し、ヘルスケアプロバイダは音声を聞くオプションを与えられる。

患者にとって医療的に緊急であると見なせる音声により、介護者、医療関係者、親などへの警報がトリガーされ得る。例えば、悲鳴や叫び声（またはその連続）は、アラームをトリガーするアラームイベントとして指定することができる。追加的、または代替的に、衝撃音の後、所定時間の間に音響イベントが無ければ、アラームをトリガーして、看護師に、患者がベッドから落ちてけがをした可能性があると知らせる。他の実施例では、１つ以上の衝撃音の検出は、患者が発作を起こしていることを示し、アラームをトリガーしてもよい。

他の一実施形態では、分類器をもっとパワフルにするために、分類器への追加的入力を用いて、ベッドまたは患者に接続した加速度計、ベッドの周りの圧力マット、他の患者パラメータまたはバイタルサインモニタリング装置からの信号、カメラなどから取得した信号などを用いることができる。例えば、加速度計が発生する情報を用いて音響イベントを裏付けたり、音響イベントが実際に患者により発せられたことを確認したりできる。

言うまでもなく、ここに記載した様々な機能のどれか、またはすべてを実行する機械実行可能命令を、メモリ１８が格納し、プロセッサ２０が実行してもよい。

図２は、音響イベント情報をレビューのためにユーザに提示するユーザインタフェース３０を示す。ユーザインタフェース３０は、ディスプレイ４０を含む複数の音響イベント４２が、タイムスタンプと分類の後に、テキストとして記述され、ユーザに提示されている。一実施形態では、スライダバー４４が設けられ、これによりユーザは、垂直に、また任意的に水平にスクロールして、音響イベントのリストを見ることができる。ユーザは、各音響イベントの隣の選択可能アイコン４６をクリックするか、選択して、音響イベントをフィルタしてデジタル化したものを聞くことができる。

追加的、または代替的に、ナビゲーション矢印４８をユーザインタフェース上に設け、ユーザを時間順になった音響イベント中をナビゲートする。次にユーザは、セグメント再生ボタンまたはアイコン５０を選択、クリック、押下などして、音響イベントを聞く。

一実施例では、表示したセグメント、音響イベントの時間順リスト４２は、個々にタイムスタンプされたイベントを含む。例えば、「いびき」や「咳」と分類されたイベント、及び「叫び声」、「ゴツンという音」、「うがい呼吸」イベントなどを示した。一実施形態では、同様の連続的音響イベントをグループ化して、ユーザへのプレゼンテーションを改善する。例えば、システムが、２３：２７：４５から２３：３０：５２までの間に、いびきと分類される音響イベントを検出し、その時間中に他のタイプの音響イベントが分類されなければ、その複数の音響イベントは一セットとしてグループ化され、連続したイベントの期間にわたるいびきの期間として表示される。ユーザは、その音響イベントのグループのアイコン４６を選択して、その期間全体を聞き、または音響イベントのグループのテキストによる記述を選択して、グループ内の個別のイベントを見て、任意的に個々のイベントを聞くことができる。

他の一実施形態では、ユーザが、音響イベント分類の曖昧性を解決することができる。例えば、ある音響イベントが２３：５５：４７に発生し、いびきと咳の両方として分類されたとする。ユーザは、再生アイコン４６またはセグメント再生アイコン５０を選択して、そのイベントに関連する音声をレビューでき、（例えば、ディスプレイ４０で「いびき」または「咳」を選択することにより）ユーザが正しいと思う方の音響イベントを示すことができる。他の一実施形態では、あいまい性はプロセッサにより自動的に解決される。

追加的、または代替的に、分類した音響イベントをクラスによりグループ化し、レビューのためにディスプレイに出力する。例えば、すべての咳イベントをいっしょに提示でき、ユーザは個々のイベント、すなわちアイコン４６または５０をクリックして、咳の実際のレコーディングをレビューできる。個々のイベントにタイムスタンプして、レビューする人に時間的順序関係を決定させることができる。

図３は、１つ以上の態様で、１つ以上のＰＭＳ１０が使用される病院環境を示す。複数の患者モニタシステム１０がネットワークバス６０に結合している。ＰＭＳとバスとの間の接続は有線でも無線でもよい。例えば、１つ以上のＰＭＳが送信器（図示せず）を含み、それが音響イベント情報を、バスに結合したトランシーバ６２に伝送する。例えば、無線ＰＭＳは、ブルートゥース（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＷｉＦｉ（登録商標）、赤外線（ＩＲ）、その他の好適な無線通信プロトコルを用いて、トランシーバと通信できる。

各ＰＭＳからの音響イベント情報は、中央メモリ６４に格納される。中央プロセッサ６６は、ワークステーション６８のユーザによる要求に応じて、中央メモリにアクセスして、ある患者またはＰＭＳの音響イベント情報を読み出す。ワークステーションは、ユーザインタフェース３０を有する。これは、前出の図面のユーザインタフェースと同様または同一のものであってもよい。一実施形態では、各ＰＭＳ１０において、検出した音響イベントをフィルタし、デジタル化し、分類し、タイムスタンプを押し、グループ化してもよく、各患者の音響イベント記録は、各ＰＭＳにあるメモリに加え、中央メモリ６４に格納される。

他の一実施形態では、フィルタリング、デジタル化、分類、タイムスタンプ、グループ化などのステップのうち１つ以上が中央プロセッサ６６により実行される。例えば、中央プロセッサは、ＰＭＳ１０の機能を実行するのに必要などの、及びすべての回路（例えば、フィルタ、デジタイザ、分類器など）を含み得る。この実施形態では、（例えば、送信器を有する）マイクロホンアレイのみを患者の部屋に配置すればよく、検出した音響イベントを表す信号は処理のために中央メモリとプロセッサプロセッサに送信される。

他の一実施形態では、ＰＭＳ１０及び／または中央プロセッサ６６は、緊急事態を示す一連の音響イベントなどのアラート状態を検出する。例えば、叫び声とゴツンという音よりなる一連の検出した音響イベントは患者がベッドから落ちたことを示し、ワークステーションのアラーム７０をトリガーして、他のヘルスケアプロバイダの看護師に検出したＰＭＳがモニタしている患者をすぐに見る必要があることを警告する。アラームをトリガーする音響イベントは、後でレビューするために、（例えば、ＰＭＳでローカルに、及び／または中央メモリで集中的に）ログを取られる。

他の一実施形態では、患者を治療したり診断したりする時に参照するため、各患者の音響イベントファイルを、例えば病院のデータベースなど、中央メモリに格納する。

実施形態を参照して本発明を説明した。前述の詳細な説明を読んで理解すれば、修正と変更に想到することができる。本発明は、添付した請求項とその均等の範囲内に入るこのような修正及び変更はすべて含むものと解釈しなければならない。

Claims (9)

1. 患者が発した音響イベントを検出し、前記音響イベントを記述する情報を含む信号を発生する１つ以上のマイクロホンと、
   前記音響イベント信号にタイムスタンプするプロセッサと、
   前記音響イベント信号に関連する音響イベントシグネチャーを検出する、バンドパスフィルタを含む１つ以上のフィルタと、
   各音響イベント信号を複数の音響イベントクラスのうちの１つに分類する分類器と
   を有し、
   前記音響イベントシグネチャーは前記音響イベント信号の平均ゼロ交差時間、周波数、１つ以上のコーナー周波数、及び音高のうち少なくとも１つを含み、
   １つ以上の分類した音響イベントのタイムスタンプとテキストによる記述をユーザに提示するグラフィカルディスプレイを有するユーザインタフェースをさらに含み、
   前記ディスプレイは、さらに、
   前記１つ以上の表示した分類した音響イベント中をナビゲーションする手段と、
   前記音響イベントの録音されたオーディオファイルを選択及び再生する手段と
   を含む、
   患者モニタシステム。
2. 患者が発したものでない音響イベント音声を抑制するアクティブノイズキャンセレーションコンポーネントをさらに有する、請求項１に記載のシステム。
3. 前記音響イベントクラスは、咳、いびき、大声、うめき声、衝撃音、くしゃみ、げっぷ、言葉のうち少なくとも１つを含む、患者が発した音声のクラスを含む、請求項１または２に記載のシステム。
4. 前記音響イベント信号をデジタル化するデジタイザをさらに有する、請求項１ないし３いずれか一項に記載のシステム。
5. 記録した音響イベントオーディオファイル、タイムスタンプ、音響イベント信号、フィルタした音響イベント信号、デジタル化した音響イベント信号、または分類した音響イベント信号のうち１つ以上を記憶するメモリをさらに有する、請求項１ないし４いずれか一項に記載のシステム。
6. 前記メモリは、前記プロセッサにより実行される、コンピュータ実行可能命令を格納し、
   前記音響イベント信号を受信し、
   前記受信した音響イベント信号にタイムスタンプし、
   前記音響イベントのオーディオレコーディングを格納し、
   前記音響イベント信号をフィルタして、前記音響イベント信号に関連するシグネチャーを特定し、
   前記音響イベント信号をデジタル化し、
   前記特定したシグネチャーの関数として、前記音響イベント信号を複数の音響イベントクラスの１つに分類し、
   分類した音響イベントを、それぞれのタイムスタンプとともに格納し、
   前記分類した音響イベントを、それぞれのタイムスタンプとともに、レビューと再生のために表示する命令を含む、請求項１に記載のシステム。
7. 患者のモニタリング方法であって、
   前記患者が発した音響イベントを検出する段階と、
   前記音響イベントに関する情報を含む音響イベント信号にタイムスタンプする段階と、
   前記音響イベント信号をフィルタする一列のバンドパスフィルタを使って前記音響イベント信号をフィルタして、前記音響イベント信号と関連するシグネチャーを特定する段階と、
   前記特定したシグネチャーの関数として、前記音響イベントを、複数の音響イベントクラスの１つに分類する段階と、
   分類した音響イベントを、前記タイムスタンプとともに格納する段階とを含み、
   前記音響イベント信号と関連するシグネチャーを特定する段階は、前記音響イベント信号のコーナー周波数、音高、周波数、ゼロ交差時間のうち１つ以上を特定する段階を含み、
   前記分類した音響イベントを、それぞれのタイムスタンプとともに、レビューと再生のために表示する段階と、
   ユーザによる再生のために、読み出し可能な音響イベントのオーディオレコーディングを格納する段階と、
   選択されたとき、前記オーディオレコーディングの前記ユーザへの再生をトリガーする選択可能なアイコンを前記ユーザに表示する段階と
   をさらに含む、
   方法。
8. 前記音響イベント信号をデジタル化する段階をさらに含む、請求項７に記載の方法。
9. 前記音響イベントを検出するとき、アクティブノイズキャンセレーションを用いて、周辺の音声を抑制する段階をさらに含む、請求項７に記載の方法。

Images