JP6616331B2 - 対象の無呼吸を検出するための装置、システム及び方法 - Google Patents

Description

本発明は、人間又は動物等の対象の無呼吸を検出するための装置及びシステムに関する。本発明は、さらに、対象の無呼吸の検出を可能にする情報を検出する方法、及び、コンピュータ上で上記の方法を実行するコンピュータプログラムに関する。

例えば心拍数（ＨＲ）又は呼吸数（ＲＲ）等の呼吸情報（呼吸パラメータ）等、人間のバイタルサインは、重大な医療事象の有力な予測因子として役立ち得る。この理由のため、呼吸数及び／又は心拍数は、集中治療室においてオンラインで、又は、病院の一般病棟において日々のスポットチェックでモニターされることが多くある。心拍数の他に、呼吸数は、最も重要なバイタルサインのうちの１つである。ＨＲもＲＲも、依然として、直接体に接触することなく測定するのは困難である。現在の集中治療室において、胸郭インピーダンスプレチスモグラフィ又は呼吸誘導プレチスモグラフィが、依然として、一般的に好まれるＲＲを測定する方法であり、典型的には、人間の胸郭及び腹部の呼吸による動きを区別するために２つの呼吸バンドが使用される。ＨＲは、典型的には、対象の胸部にて固定された電極の使用によって測定され、電極は、ケーブルにより遠隔装置に接続されている。しかし、これらの目立ち過ぎる方法は、観察されている患者にとって不自由且つ不快である。

さらに、目立たない呼吸数測定は、静止したビデオカメラの使用によって光学的に成し遂げることができる。ビデオカメラは、画像の流れにおいて患者の胸部の呼吸運動をキャプチャする。呼吸運動は、特定の画像特徴の時間的変調をもたらし、変調の周波数は、モニターされる患者の呼吸数に対応する。そのような画像特徴の例は、患者の胸部の辺りに位置する関心のある空間領域における平均振幅、又は、後の画像における関心のある領域の空間的相互相関の最大値の位置である。

さらに、１つ又は複数のビデオカメラが、遠隔フォトプレチスモグラフィの画像処理を利用することによって対象のＨＲ、ＲＲ又は他のバイタルサインを目立つことなくモニターするために使用される。遠隔フォトプレチスモグラフィの画像処理は、例えば、非特許文献１に記載されており、皮膚内の血液量における時間変化が、皮膚による光吸収における変化をもたらすという原理に基づいている。そのような変化は、例えば顔等の皮膚領域の画像を撮るビデオカメラによって位置合わせすることができ、選択された領域（典型的には、このシステムにおいては頬の部分）にわたるピクセルの平均値が計算される。この平均信号の周期変化を見ることによって、心拍数及び呼吸数を抽出することができる。同時に、遠隔ＰＰＧの使用によって患者のバイタルサインを得るための装置及び方法の詳細を記載する多くのさらなる出版物及び特許出願がある。

このように、動脈血の脈動によって、光吸収における変化が引き起こされる。光検出器（又は光検出器のアレイ）を用いて観察されるそれらの変化は、ＰＰＧ（フォトプレチスモグラフィ）信号（数ある中でも、プレチウェーブ（ｐｌｅｔｈ ｗａｖｅ）とも呼ばれる）を形成する。血液の脈動は、拍動している心臓によって引き起こされ、すなわち、ＰＰＧ信号におけるピークが、心臓の個々の拍動に対応する。従って、ＰＰＧ信号は、それ自体における心拍数信号である。この信号の規準化された振幅は波長によって異なり、一部の波長に対しては、血中酸素濃度又は血液若しくは組織に存在する他の物質の関数でもある。

カメラベースのシステムに関して、心拍数信号によって重ねられる呼吸数信号又はその逆等、バイタルサイン信号の重ね合わせは、呼吸情報の決定に不利に影響を与える。そのようなバイタルサインの重ね合わせは、例えば、カメラシステムが対象の胸郭の動きを観察する場合に測定することができ、呼吸による胸郭の動きは、いわゆる心臓震動記録等、心拍数信号に関連した運動によって重ねられる。これらの重ねられた信号は、類似の大きさ及び類似の周波数さえも有し得る。これは、特に呼吸をしていない期間の間に、危険な状況をもたらす恐れがある。重ねられた心拍数信号に関連するエラーが発生する恐れがあり、それは、無呼吸期が存在する場合に呼吸数が検出される印象を与え得る。

無呼吸の発症は、早産児において、並びに、睡眠関連疾患を患う成人集団において現れることが多くある。無呼吸をモニターする一般的な様式は、患者に対して、かなり目立ち過ぎる方法で、接触センサを配置することにある。これらは、鼻用サーモカップル、呼吸努力ベルトトランスデューサ、圧電トランスデューサ、光学センサ及び心電図記録ＥＣＧに及ぶ。本当に目立ち過ぎることは別にして、これらのセンサは、一部の実行が動きから呼吸を区別することができないため、間違って測定する傾向もあり、さらに、大部分が較正を要求する。

非特許文献２は、心拍、呼吸、並びに、いびき、睡眠時無呼吸及びシステム上の対象の体の動きの事象の信号を非侵襲的にモニターする、バランスチューブ付きエアマットレス（ＡＭＢＴ）の方法を使用したベッドタイプのセンサシステムを開示している。提案されているシステムは、多数の円柱状のエアーセル、２つのセンサセル及び１８のサポートセルから成る。小さい生理信号が、センサセル間の圧力差における変化によって測定され、さらに、直流成分は、センサセルを接続するバランスチューブによって除去された。ＡＭＢＴ方法を使用して、心拍、呼吸、いびき及び体の動きの信号が明確に測定された。

特許文献１は、呼吸モニター及びＸ線トリガ装置を開示しており、アナログの呼吸信号が増幅され且つ呼吸及び心拍の成分に分けられている。トリガ信号は、選択された呼吸極値の発生のすぐ前にＸ線マシンに対して選択的に生成される。無呼吸の警報が、所定の数の減速する心拍と共に呼吸数における所定の減少が連続した期間において検出された場合に生成される。警報は、呼吸数及び心拍数が所定の数の期間に対して等しい場合、又は、呼吸数又は心拍数が予め設定された閾値をはずれる場合にも生成される。

ＥＰ０ ０７２ ６０１ Ａ１ ＵＳ２０１１／３１１１１９ Ａ１ ＥＰ１３１５７２４２

Ｗｉｍ Ｖｅｒｋｒｕｙｓｓｅ，Ｌａｒｓ Ｏ．Ｓｖａａｓａｎｄ，ａｎｄ Ｊ．Ｓｔｕａｒｔ Ｎｅｌｓｏｎ，"Ｒｅｍｏｔｅ ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｕｓｉｎｇ ａｍｂｉｅｎｔ ｌｉｇｈｔ"，Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，Ｖｏｌ．１６，Ｎｏ．２６，Ｄｅｃｅｍｂｅｒ ２００８ Ｊａｅ Ｈｙｕｋ Ｓｈｉｎ ｅｔ ａｌ．："Ｎｏｎｃｏｎｓｔｒａｉｎｅｄ Ｓｌｅｅｐ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ ａｎｄ Ａｌｇｏｒｉｔｈｍｓ ｕｓｉｎｇ Ａｉｒ−Ｍａｔｔｒｅｓｓ ｗｉｔｈ Ｂａｌａｎｃｉｎｇ Ｔｕｂｅ Ｍｅｔｈｏｄ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｉｎ ｂｉｏｍｅｄｉｃｉｎｅ，ＩＥＥＥ Ｓｅｒｖｉｃｅ Ｃｅｎｔｅｒ，Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ，ＵＳ，ｖｏｌ．１４，ｎｏ．１，１ Ｊａｎｕａｒｙ ２０１０（２０１０−０１−０１），ｐａｇｅｓ １４７−１５６ Ｋａｎｚａｗａ Ｙ．ｅｔ ａｌ．，Ｈｕｍａｎ Ｓｋｉｎ Ｄｅｔｅｃｔｉｏｎ ｂｙ Ｖｉｓｉｂｌｅ ａｎｄ Ｎｅａｒ−Ｉｎｆｒａｒｅｄ Ｉｍａｇｉｎｇ，ＭＶＡ２０１１ ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｊｕｎｅ １３−１５，２０１１，Ｎａｒａ，ＪＡＰＡＮ Ｐ．Ｖｉｏｌａ，Ｍ．Ｊｏｎｅｓ：Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，２００１

対象の快適さを改善しながら検出のさらなる精度及び信頼性を目立つことなく可能にする、対象の無呼吸を検出するための装置及びシステム、並びに、対象の無呼吸の検出を可能にする情報を検出する方法を提供することが、本発明の目的である。

本発明の一態様において、対象のバイタルサイン情報を得る装置が示され、当該装置は：
− 時間の経過に伴う一連の画像を含む対象の画像データを受ける入力ユニットと、
− 遠隔フォトプレチスモグラフィを使用して前記対象の皮膚領域由来の対象の心臓活動を表す心臓活動信号を上記の画像データから抽出する心臓活動抽出ユニットと、
− 対象の呼吸によって引き起こされる対象の身体部分の動きを表すモーション信号を上記の画像データから抽出するモーション信号抽出ユニットと、
− 上記の心臓活動信号と上記のモーション信号との類似性を決定する分析ユニットと、
− 決定された類似性に基づき対象の無呼吸を検出する決定ユニットと、
を含む。

本発明の別の態様において、対象の無呼吸を検出するシステムが示され、当該システムは：
− 時間の経過に伴う一連の画像を含む対象の画像データを取得するイメージングユニットと、
− 取得された画像データに基づき対象の無呼吸を検出する請求項１に記載の装置と、
を含む。

本発明の別の態様において、対象の無呼吸の検出を可能にする情報を検出する方法が示され、当該方法は：
− 時間の経過に伴う一連の画像を含む対象の画像データを受けるステップと、
− 遠隔フォトプレチスモグラフィを使用して対象の皮膚領域由来の対象の心臓活動を表す心臓活動信号を上記の画像データから抽出するステップと、
− 対象の呼吸によって引き起こされる対象の身体部分の動きを表すモーション信号を上記の画像データから抽出するステップと、
− 上記の心臓活動信号と上記のモーション信号との類似性を決定するステップであり、上記の類似性が、対象の無呼吸の検出を可能にする、ステップと、
を含む。

本発明の別のさらなる態様において、プログラムコード手段を含むコンピュータプログラムであって、プログラムコード手段は、当該コンピュータプログラムがコンピュータ上で実行された場合に、本明細書において開示される方法のステップをコンピュータに実行させる、コンピュータプログラム、並びに、コンピュータプログラムプロダクトをその中に格納する非一時的コンピュータ可読記録媒体であって、コンピュータプログラムプロダクトは、コンピュータによって実行される場合に、本明細書に開示される方法が行われるようにする、非一時的コンピュータ可読記録媒体が提供される。

本発明の好ましい実施形態は、従属請求項において記載される。本発明の方法、システム、コンピュータプログラム及び記録媒体は、本発明の装置及び従属請求項に記載される実施形態と、類似の及び／又は同じ好ましい実施形態を有するということが理解されたい。

本発明は、ビデオカメラ等の画像センサにより得られる画像データの使用、並びに、対象の呼吸によって引き起こされる対象の身体部分の動きを反映する（例えば胸部及び／又は腹部領域等）胴等の測定領域からキャプチャされる動きにより誘発されたバイタルサイン（特に、呼吸数及び心拍数）と、血液の脈動によって引き起こされ且つ遠隔ＰＰＧ技術を使用してキャプチャされる色の変化によって誘発されたバイタルサインを反映する、例えば頬又は額等の可視の皮膚を含有する別の測定領域からキャプチャされるバイタルサインとの類似性の分析によって無呼吸、特に中枢性無呼吸を検出するアイデアに基づいている。

提案されるアイデアの利点は、完全に目立たない無呼吸のモニタリングを可能にするということである。このモニタリングは、完全に非侵入型であるということによって、患者に十分な快適さを提供する。使用される先端アルゴリズムは、画像内容の分析に基づきバイタルサインから動きによるアーチファクトを除外することによって、低い誤検出が保証される病院環境における適用を可能にする精度を可能にする。

皮膚領域は、典型的には、優れた血液循環を有する体の領域である。そのような皮膚領域から、特に遠隔フォトプレチスモグラフィ（ＰＰＧ）の分野においては良く知られた方法を使用して、観察される対象の心拍数に関連した心拍数信号を抽出することができる。これらの既知の方法は、人間の皮膚領域のわずかな色の変化の分析を含むことができ、これらのわずかな色の変化が心拍数に関連する。そのような方法は、当技術分野において既知であり、さらに、例えば、ＰＰＧ信号から人間の心拍数情報を抽出するために一般的に使用される。

対象の呼吸数情報に関連したモーション信号の抽出を可能にする、モーション信号が得られる対象の身体部分は、典型的には、人間の胸部又は腹部領域であるが、呼吸の動きを検出することができる鼻又は対象の他の身体の領域であってさえよい。

本発明に関連して使用される場合「バイタルサイン」という用語は、対象（すなわち生物）の生理学的パラメータ及び派生パラメータを意味する。特に、「バイタルサイン」という用語は、血液量パルス信号、（脈拍数とも呼ばれることがある）心拍数（ＨＲ）、心拍変動（脈拍変動）、拍動性強度、灌流、灌流指標、灌流変動、Ｔｒａｕｂｅ Ｈｅｒｉｎｇ Ｍａｙｅｒ波、呼吸数（ＲＲ）、皮膚温、血圧、（動脈）血中酸素飽和度又はグルコースレベル等、血液及び／又は組織中の物質の濃度を含む。さらに、「バイタルサイン」は、一般的に、ＰＰＧ信号の形状から得られる健康指標を含む（例えば、形状は、部分的な動脈閉塞に関して何か伝えている（例えば、手のＰＰＧ信号から得られる形状は、腕に血圧カフを適用した場合により正弦曲線状である）、又は、皮膚の厚さに関して何か伝えている（例えば、顔からのＰＰＧ信号は手からのものとは異なる）、又は、温度等に関してさえも何か伝えている場合がある）。

本発明に関連して使用される場合「バイタルサイン情報」という用語は、上記の１つ又は複数の測定されたバイタルサインを含み、さらに、後の分析に役立ち得る生理学的パラメータを指すデータ、対応する波形トレース又は時間の生理学的パラメータを指すデータを含む。

好ましい実施形態において、分析ユニットは、上記の類似性を表す類似性の程度を決定するように構成され、さらに、決定ユニットは、所定の閾値及び／又は以前の決定された類似性の程度に対して上記の類似性の程度を比較することによって、無呼吸を検出するように構成される。この比較によって、迅速且つ簡単な方法で、睡眠時無呼吸又は睡眠時無呼吸のリスクがあるかどうかの情報を得ることができる。例えば、同じ対象に対して以前に得られた類似性の程度から、例えば装置が自己学習装置として構成される場合に、信頼できる決定を行うことができる。

種々の程度が、類似性の程度の使用のために得られてもよい。一実施形態において、分析ユニットは、時間窓にわたる上記の心臓活動信号と上記のモーション信号との相関性を決定することによって類似性を決定するように構成される。無呼吸の間、２つの信号間の相関性は、無呼吸がない間のものよりも有意に大きくなるため、この相関性は、信頼できる類似性の程度として使用可能である。この目的のために、例えば、２つの変数のピアソンの相関係数

が使用されてもよい。

別の実施形態において、分析ユニットは、上記の心臓活動信号及び上記のモーション信号において存在する基本周波数を比較することによって類似性を決定するように構成される。無呼吸の間、モーション信号は、主に、対象の心拍数にて基本周波数を示すことになり、無呼吸がないと、モーション信号は、心拍数及び呼吸数にて基本周波数を示すことになる。

これを活用するさらなる実施形態において、分析ユニットは、基本周波数間のユークリッド距離、基本周波数間の比、及び／又は、基本周波数、特に、心拍数の周波数のエネルギー比を決定することによって類似性を決定するように構成される。

好ましくは、提案される装置は、上記の画像データの使用によって、対象の少なくとも一部の移動を検出する移動検出ユニットをさらに含み、決定ユニットは、決定された類似性に基づく対象の無呼吸の検出において、検出された移動を考慮に入れるように構成される。その結果、検出された移動情報は、対象の身体部分又は完全な体を特徴づけることができる。そのような移動は、無呼吸の検出に負に影響を与え得るため、移動情報は、好ましくは、心臓活動信号及びモーション信号の測定値を無視する又は訂正するために使用される。移動情報は、例えば一般的に既知の動き検出アルゴリズムの使用によって等、画像データから得られるため、別のセンサは、この実施形態に従って要求されない。

代わりとなる実施形態において、入力ユニットは、対象の少なくとも一部の移動を表す移動情報を受けるように構成され、決定ユニットは、決定された類似性に基づく対象の無呼吸の検出において、受けた移動情報を考慮に入れるように構成される。そのような移動を検出するために、種々の実施形態が存在する。例えば、ボディセンサ（加速器等）又は体の外側のセンサ（マットレス内の圧力センサ若しくは容量センサ等）が、この目的のために、従来法で既知のように使用されてもよい。

好ましくは、一実施形態において、当該装置は、上記の画像データにおいて、上記の心臓活動信号の抽出のための皮膚領域、及び／又は、上記のモーション信号の抽出のための身体部分領域を検出する測定領域検出ユニットを含む。好ましくは、上記の検出は、画像セグメンテーション及び／又は対象検出によって行われる。或いは、ユーザが、画像において、例えばポインター又はコンピュータマウスの使用によって、それぞれの領域を示してもよい。

好ましくは、当該システムは、少なくとも可視及び／又は赤外のスペクトル範囲の電磁放射を検出する（例えばウェブカム又はビデオカメラ等）単一カメラ等のイメージングユニットを含む。対象を観察する場合、バイタルサイン信号、特に心拍数信号及び呼吸情報に関連した信号を、例えば赤外光等の放たれた放射及び／又は例えば可視光等の反射された放射におけるわずかな変化から得ることができる。毎日の適用には、主に可視光が検出及び分析されることがありがたくあり得る。環境光の条件がかなり乏しい人間の睡眠期間の間の適用に対しては、放たれたか又は人間から反射された赤外光を検出することも有利であり得る。この目的を達成するために、一般的な自然光又は人工光の光源の他に、さらなる放射源は要求されず、及び／又は、分析の間に考慮される必要はない。

好ましくは、イメージングユニット（例えばカメラ等）は、対象の皮膚領域も対象の身体部分もカバーする視野を含む。例として、カメラの視野は、対象の胸部及び対象の顔が、カメラの視野によってカバーされるように調整することができる。画像は、典型的には、画像センサによって取得され、二次元マトリックスで配置された複数のピクセルを含む。身体部分から皮膚部分を明確に区別するために、空間的に分離された検出ウィンドウを定めて、どちらの部分も互いから明確に区別することができる。

本発明の別の実施形態によると、当該装置は、皮膚領域並びに／又は身体部分を選択する及び／若しくは予め定めることを可能にする情報を入れるためのユーザインターフェースをさらに含む。ユーザは、一方で、人間の胸部及び顔が視野内に囲い込まれるように、イメージングユニット又は分析ユニットの視野を手動で予め定めることができるということが理解されたい。これは、例として、人間が動いた場合又は人間が布若しくは毛布で少なくとも部分的に覆われた場合に対象に関連したパラメータは時間の経過に伴い変わり得るため、概算である。もう一方で、イメージングユニットの視野は、観察することになる部分とバックグラウンドとの最適化されたアスペクト比を有するように自動で適応することができる。この目的のために、対象は、カメラによって検出可能な１つ又は複数のマーカー又は方向づけの指標を担持してもよく、最適化された様式で視野を適応させることを可能にしている。例として、病院において、マーカー又は方向づけの指標は、典型的には、観察されることになる患者の体、特に皮膚部分又は身体部分に付けられる。従って、当該装置は、これらのマーカーを見つけるように適応することができ、さらに、皮膚領域も身体部分も視野内で良い状況にあるように視野を適応させることができる。

本発明の上記及び他の態様が、以下に記載される実施形態から明らかになり、さらに、以下に記載される実施形態を参考にして解明されることになる。

本発明による対象の無呼吸を検出するための装置及びシステムの第１の例証的な実施形態の図である。 本発明による対象の無呼吸を検出するための装置及びシステムの第２の例証的な実施形態の概略図である。 本発明に従って使用される心臓信号の図である。 本発明に従って使用されるモーション信号の図である。 本発明の一実施形態において使用される相関信号の図である。 本発明の一実施形態において使用されるエネルギー信号の図である。 本発明の一実施形態において使用されるエネルギー信号の図である。

図１は、本発明による対象２（ここでは、例えば病院内の患者又はケア環境内の高齢者等の人間）の無呼吸を検出するための装置１０及びシステム１の第１の例証的な実施形態を示している。この実施形態において、対象２はベッド３内で横たわっている。装置１０の他に、システム１は、対象２の画像データ２１を取得するための例えばカメラ等のイメージングユニット２０を含み、上記の画像データは、時間の経過に伴う一連の画像を含み、上記画像データに基づき、装置１０は対象２の無呼吸を検出する。

装置１０は、イメージングユニット２０から直接又はオンザフライで対象２の画像データを受ける入力ユニット１１を含む。心臓活動抽出ユニット１２が、遠隔フォトプレチスモグラフィを使用して対象２の皮膚領域２２由来の対象の心臓活動を表す心臓活動信号１３を上記の画像データ２１から抽出するために提供される。モーション信号抽出ユニット１４は、対象２の呼吸によって引き起こされる、例えば身体領域２３内の胸部２３又は腹部等の対象の身体部分２４の動きを表すモーション信号１５を上記の画像データ２１から抽出するためにある。分析ユニット１６は、上記の心臓活動信号１３と上記のモーション信号１５との類似性１７を決定するためにある。最後に、決定ユニット１８は、決定された類似性１７に基づき対象２の無呼吸を検出し、さらに、例えば、特定の（例えば所定の）無呼吸の見込みがある場合に、看護師又はコントロールモニターに対して、例えば警報等、対応する信号１９を発する。

装置１０の一部又は全ての要素を、（例えばプロセッサ又はソフトウェアの機能等）別の要素によって実行することができるが、例えば共通の処理装置又はプロセッサ若しくはコンピュータによって行われる共通のソフトウェア等、共通の要素によって表す及び実行することもできる。

図２は、本発明による対象２の無呼吸を検出するための装置１０及びシステム１´の第２の例証的な実施形態の概略図を示している。図１において描かれているのと同じ要素には、同じ参照番号が与えられている。

イメージングユニット２０は、上記の画像データ２１等、患者に関する可視情報をキャプチャする取得モジュールと呼ばれてもよい。後の処理経路毎の測定領域検出ユニット３０、３１は、画像データ２１を受け（すなわち、入力ユニットとして作用し）、さらに、処理経路毎に（すなわち、関心のあるバイタルサイン毎に）少なくとも１つの測定領域を決定する。特に、皮膚領域２２が、そこから心臓活動信号１３を抽出するために、測定領域検出ユニット３０によって検出され、さらに、身体領域２３が、モーション信号１５を抽出するために、測定領域検出ユニット３１によって検出される。それぞれの信号１３、１５が、次に、心臓活動抽出ユニット１２及びモーション信号抽出ユニット１４の使用によって、画像データ内で検出されたそれぞれの領域から抽出される。分析ユニット１６は、抽出された心臓活動信号１３及び抽出されたモーション信号１５の類似性を比較して、例えば、類似性の値又はいかなる他の類似性の程度１７を生成するため、最後に、決定ユニット１８が、無呼吸事象の状態を特徴づけ、さらに、対応する情報信号１９を発することができる。

上記の画像データの使用によって、対象２の少なくとも一部の移動を検出する任意の移動検出ユニット３２が提供される。検出された移動情報３３は、次に、決定ユニット１８に提供され、無呼吸事象の特徴づけを改善して、例えば、測定値の質を評価する。

皮膚領域２２及び身体領域２３は、概して、同じ画像データ内で検出されるということに留意されたい。しかし、他の実施形態において、例えば異なるカメラによって取得された、別の画像データの流れがある。さらに、これらの領域２２及び２３の自動検出の代わりに、例えばポインター又はコンピュータマウス等の入力装置を介したユーザによる手動の検出も適用されてよい。

以下において、提案される装置のユニットにおいて適用されるステップの詳細が説明される。

イメージングユニット２０は、光スペクトルの可視又は近赤外の部分において特徴づけられる少なくとも１つの波長に感受性がある少なくとも１つの画像センサを含む。実施形態に応じて、イメージングユニット２０は、関心のある波長の照明源も含む。画像取得は、好ましくは、７Ｈｚの最低速度（心拍数抽出に対するナイキストに従って要求される最低サンプリング速度）にて行われる。

測定領域検出ユニット３０は、遠隔ＰＰＧ技術の使用によって心臓活動（すなわち、心拍関連情報）を抽出することができる測定領域を検出する。このために使用される測定領域は、好ましくは、心拍数抽出に対して最も強いＰＰＧ信号を提供する顔の領域に位置する対象の皮膚に主に集中する。

この測定領域を検出するために、種々の選択肢が存在する。例えば、一実施形態において、いくつかの波長が使用される場合に、自動皮膚検出が適用される。この実施形態は、ビデオストリームの固有のＲＧＢ波長（カラーチャネル）を使用することから、セグメンテーションを行って、所与の色の部分を選択することによって既知のＨＳＶカラードメインにおいて皮膚を検出することに及び得る。代わりに、例えば非特許文献３において提案されているように、多数のＲＧＢ及びＩＲ波長が使用されてもよい。さらに、（例えば顔を検出するための）いかなる身体部分検出器も使用して、皮膚の色を抽出する、及び、検出された皮膚の色に基づき画像を分割することができる。

別の実施形態において、Ｖｉｏｌａ−Ｊｏｎｅｓ（例えば非特許文献４を参照）によって提案されている、イメージングユニットによって使用される波長の数にかかわらず作動させることができる対象検出技術が使用される。

さらに別の実施形態において、参照により本願に援用される特許文献２において記載されているように、一種の活発なピクセルの（すなわち、血流における変化によって誘発される色の変化を示す関心のある領域におけるピクセル）の検出を利用することができる。この文献において、連続した時点にて撮られた一連のデジタル画像を得るステップを含む、少なくとも１つの生物の画像を処理する方法が記載されている。複数の画像ポイントを含む少なくとも１つの測定ゾーンが選択される。測定ゾーン毎に、ピクセル値と、少なくとも、周期的な生理学的現象の周波数に対応する信号のスペクトルにおける少なくとも１つのピークの存在及び周波数の値のうちの少なくとも１つを決定することに使用するための多くの画像ポイントとの組み合わせの時間で変動する値における変化を少なくとも表す信号が得られる。少なくとも１つの測定ゾーンを選択するステップは、複数の画像のうち少なくとも１つの画像における複数の画像部分のピクセルデータに基づき情報を分析するステップであって、各画像部分は、少なくとも１つの画像ポイントを含む、ステップと、類似の特徴を有していると決定された近接している部分から各測定ゾーンを選択するステップとを含む。

測定領域検出ユニット３１は、呼吸数関連情報の抽出のために使用される測定領域を検出する。検出は、好ましくは、対象の胸部／腹部に主に集中される。この領域を検出するために、種々の選択肢が存在する。例えば、一実施形態において、（例えば上記の）Ｖｉｏｌａ−Ｊｏｎｅｓによって提案される、イメージングユニットによって使用される波長の数にかかわらず作動させることができる対象検出技術が使用される。

別の実施形態において、いわゆる呼吸ピクセル（すなわち、特許文献３、及び、該特許文献からの優先権を主張する後の出願において記載された、呼吸によって誘発される動きのパターンを示す関心のある領域におけるピクセル）を検出することができる。この文献は、視野からの放射を検出するため、及び、視野の異なる領域からの対象のバイタルサイン情報を含む特徴パラメータを決定するための検出ユニットと、異なる領域から得られる特徴パラメータのスペクトルパラメータを決定するための周波数分析ユニットと、スペクトルパラメータに基づき、視野の領域のうち少なくとも１つの領域を選択するための選択ユニットと、少なくとも１つの選択された領域からの特徴パラメータに基づき、バイタルサイン情報を計算するための計算ユニットとを含む、対象からのバイタルサイン情報を決定するための装置及び方法を開示している。

さらなる実施形態において、皮膚領域は、対象の腕又は他の検出可能な皮膚領域であってもよく、さらに、身体部分は、対象の口及び／又は鼻も含み得るということが理解されたい。

心臓活動抽出ユニット１２は、好ましくは、検出された１つ又は複数の皮膚領域から、上記のように遠隔ＰＰＧの使用によって心臓活動信号１３の抽出を行う。典型的な心臓活動信号１３が、図３Ａにおいて示されている。

モーション信号抽出ユニット１４は、好ましくは、例えば胸部又は腹部領域の物理的な動きを検出することによって等、画像処理方法の使用によってモーション信号１５の抽出を行う。典型的なモーション信号１５が、図３Ｂにおいて示されている。

図３Ａ及び３Ｂにおいて示されている２つの信号から、秒数２２と秒数４７との間で、無呼吸の瞬間が発生しているということがわかる。これは、図３Ｂにおいて示されているモーション信号１５における平らな線によって特徴づけられている。

分析ユニット１６の主な目的は、好ましくは胴からキャプチャされた動きにより誘発されたバイタルサイン（すなわちモーション信号１５）と、遠隔ＰＰＧ技術を使用してキャプチャされた色の変化により誘発されたバイタルサイン（すなわち心臓活動信号１３）との類似性を分析することである。生物が、例えば中枢性無呼吸を示す等、呼吸を止めた場合、本物の「呼吸信号」は、胴の動きに焦点を合わせたカメラベースのモーション信号抽出ユニット１４によってキャプチャされない。代わりに、このユニットによってキャプチャされた信号は、心臓の器質的活動を反映しており；この現象は、例えば、心弾動図記録と呼ばれる測定技術において使用される。

この観察に基づき、決定ユニット１８は、画像データから抽出された２つのバイタルサイン１３、１５間の類似性の分析を（好ましくは連続的又は規則的な間隔で）行っている。

好ましくは、この分析は、所与の時間窓にわたるこれらの２つの信号１３、１５間の相関性を抽出することを含む。中枢性無呼吸の間には、どちらの信号も、心臓活動を表しているため、強い相関性を示すことになり、正常な状況下で、この相関性は、これらの信号が「相関関係がない」現象から生じるため、有意に減少することになる。

図４は、２つの信号１３、１５間の相関性が使用される実施形態を例示している。図４Ａは、２つの信号間の相関性のｒ値を示しており、さらに、図４Ｂは、２つの信号間の相関性のｐ値を示している。図４Ｃは、生成された結果として生じる信号を示しており、この信号は、無呼吸が検出された時を示している。これらの図において、無呼吸の瞬間が発生する場合、これら２つの信号間の相関性は有意に増加している（すなわち、良く知られたｒ値＞０．７及び良く知られたｐ値＜１０^−９）ということがわかる。これは、その瞬間に、モーション信号は、胸部の動きにより誘発された心拍数情報を含有するという事実による。

相関性の有意性は、以下のように定められてもよく、ここで、Ｒは相関性の実際の係数である：

ｐ値は、ｎ−２の自由度を有するｔ統計量をもたらすように相関性を変換することによってコンピュータで計算され、ここで、ｎはＸの行の数である。信頼限界は、

の漸近の正規分布に基づいており、近似分散は１／（ｎ−３）に等しい。これらの限界は、Ｘが多変量正規分布を有する場合に大きなサンプルに対して正確である。「二つ一組になった」選択肢によって、正定値ではないＲマトリックスが生じ得る。

さらに別の実施形態において、分析は、両方の信号の基本周波数の特徴づけに基づく。正常な（無呼吸のない）状況下で、色の分析及び動きの分析から生じる２つの信号は、それぞれ心拍数及び呼吸数にて基本周波数を示すことになる。しかし、呼吸が発生していない場合、胴領域から生じるモーション信号は、呼吸により誘発される動きからではなく、心臓により誘発される動きから生じるため、心臓活動を表す基本周波数を示すことになる。

これは図５において例示されており、図５Ａが、心拍数の周波数にてどちらの信号においても含有されるエネルギーの比を表しており、さらに、図５Ｂが、結果として生じる信号を示している。無呼吸の瞬間が発生した場合、どちらの信号のエネルギーも類似しており、さらに、心拍数の周波数にて集中しているということがわかる。

この実施形態において、類似性は、好ましくは、両方の基本周波数間のユークリッド距離、その周波数の比及び／又は心拍数の周波数でのそのエネルギーの比をコンピュータで計算することによって表現することができる。

任意で、図２においても示されているように、移動の分析が、イメージングユニット２０によって取得された画像データの少なくとも１つの関連性のある部分に対して、移動分析ユニット３２において行われる。この関連性のある領域は、対象全体又はその準部分を特徴づけることができる。この領域の検出は、特定のピクセル特性（例えば、皮膚検出に対しては色等）の検出、又は、上記のＶｉｏｌａ−Ｊｏｎｅｓによって提案される対象検出方法に基づき得る。定められると、３ＤＲＳ又はオプティカルフローのような時空に関する処理が使用されて、強度、方向、均一性等の動き特徴を決定してもよい。検出された移動情報３３は、決定ユニット１８に提供される。

別の実施形態において、移動情報は、装置１０、１０´自体によっては検出されないが、装置１０、１０´は、対象の少なくとも一部の移動を表す移動情報を受ける。上記の移動情報は、例えば、対象の体に取り付けられた例えば加速度計等の別のセンサ（図１における４）、又は、マットレス内に提供される圧力センサによって検出されてもよい
分析１６によって出力された、例えば類似性の程度等の類似性情報１７に基づき、決定ユニット１８は、無呼吸事象として、又は、無呼吸事象ではないとして、分析されたデータを特徴づける。一実施形態において、類似性の程度は、経験的に決定された値に対して比較される。別の実施形態において、類似性の程度は、経験的に決定された値及び後の類似性の値に対して比較され、時間的力学を考慮に入れる。さらに別の実施形態において、類似性の値は、移動分析ユニット３２によって得られる少なくとも１つの移動特性を使用することによって重み付けされる。それを行うことによって、多すぎる移動が発生し且つ測定を妨げる場合に、誤事象を完全に無視することができる。

提案されるシステム、装置及び方法は、特に、（例えば高齢者モニター、スマートベビーモニター、ＩＣＵ又はＮＩＣＵのモニタリング等）病院環境から自宅環境に及ぶ患者モニタリングの適用に関連性がある。

本発明は、図面及び上記の説明において詳細に例示及び記述されてきたけれども、そのような例示及び記述は、例示的又は例証的であり、拘束性はないと考慮されることになる。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変化は、請求された発明を実行する際に、図面、明細書、及び付随の特許請求の範囲の調査から当業者により理解する及びもたらすことができる。

特許請求の範囲において、「含む」という用語は、他の要素又はステップを除外せず、不定冠詞はその複数形を除外しない。１つの要素又は他のユニットが、特許請求の範囲において列挙されたいくつかの項目の機能を満たすことができる。特定の手段が互いに異なる従属項において記載されているという単なる事実は、これらの手段の組合せを役立つよう使用することができないと示しているわけではない。

コンピュータプログラムは、他のハードウェアと共に若しくはその一部として供給される、光記憶媒体又は固体記憶媒体等、適したメディア上に記憶／分散させてもよいが、インターネット又は他の有線若しくは無線の通信システムを介して等、他の形状で分散させてもよい。

特許請求の範囲におけるいかなる参照番号も、その範囲を限定するとして解釈されるべきではない。

Claims (14)

1. 対象の無呼吸を検出する装置であって、
   − 時間の経過に伴う一連の画像を含む対象の画像データを受ける入力ユニットと、
   − 遠隔フォトプレチスモグラフィを使用して前記対象の皮膚領域由来の前記対象の心臓活動を表す心臓活動信号を前記画像データから抽出する心臓活動抽出ユニットと、
   − 前記対象の呼吸によって引き起こされる対象の身体部分の動きを表すモーション信号を前記画像データから抽出するモーション信号抽出ユニットと、
   − 前記心臓活動信号と前記モーション信号との類似性を決定する分析ユニットと、
   − 決定された前記類似性に基づき前記対象の無呼吸を検出する決定ユニットと、
   を含む装置。
2. 前記分析ユニットは、前記類似性を表す類似性の程度を決定するように構成され、さらに、
   前記決定ユニットは、所定の閾値及び／又は以前の決定された類似性の程度に対して前記類似性の程度を比較することによって、無呼吸を検出するように構成される、請求項１に記載の装置。
3. 前記画像データの使用によって、前記対象の少なくとも一部の移動を検出する移動検出ユニットをさらに含み、
   前記決定ユニットは、前記決定された類似性に基づく前記対象の無呼吸の検出において、検出された移動を考慮に入れるように構成される、請求項１に記載の装置。
4. 前記入力ユニットは、前記対象の少なくとも一部の移動を表す移動情報を受けるように構成され、
   前記決定ユニットは、前記決定された類似性に基づく前記対象の無呼吸の検出において、受けた前記移動情報を考慮に入れるように構成される、請求項１に記載の装置。
5. 前記画像データにおいて、前記心臓活動信号の抽出のための皮膚領域、及び／又は、前記モーション信号の抽出のための身体部分領域を検出する測定領域検出ユニットをさらに含む、請求項１に記載の装置。
6. 前記測定領域検出ユニットは、画像セグメンテーション及び／又は対象検出によって皮膚領域及び／又は身体部分領域を検出するように構成される、請求項５に記載の装置。
7. 前記分析ユニットは、時間窓にわたる前記心臓活動信号と前記モーション信号との相関性を決定することによって、前記類似性を決定するように構成される、請求項１に記載の装置。
8. 前記分析ユニットは、前記心臓活動信号及び前記モーション信号に存在する基本周波数を比較することによって前記類似性を決定するように構成される、請求項１に記載の装置。
9. 前記分析ユニットは、前記基本周波数間のユークリッド距離、前記基本周波数間の比、及び／又は、前記基本周波数のエネルギー比を決定することによって、前記類似性を決定するように構成される、請求項８に記載の装置。
10. 対象の無呼吸の検出を可能にする情報を検出する方法であって、
    − 時間の経過に伴う一連の画像を含む対象の画像データを受けるステップと、
    − 遠隔フォトプレチスモグラフィを使用して前記対象の皮膚領域由来の前記対象の心臓活動を表す心臓活動信号を前記画像データから抽出するステップと、
    − 前記対象の呼吸によって引き起こされる対象の身体部分の動きを表すモーション信号を前記画像データから抽出するステップと、
    − 前記心臓活動信号と前記モーション信号との類似性を決定するステップであり、前記類似性が、前記対象の無呼吸の検出を可能にする、ステップと、
    を含む方法。
11. 対象の無呼吸を検出するシステムであって、
    − 時間の経過に伴う一連の画像を含む対象の画像データを取得するイメージングユニットと、
    − 取得された前記画像データに基づき対象の無呼吸を検出する請求項１に記載の装置と、
    を含むシステム。
12. − 前記対象の少なくとも一部の動きを表すモーション情報を取得するモーションセンサと、
    − 請求項４に記載の装置と、
    を含む、請求項１１に記載のシステム。
13. プログラムコード手段を含むコンピュータプログラムであって、前記プログラムコード手段は、当該コンピュータプログラムがコンピュータ上で実行された場合に、請求項１０に記載の方法のステップをコンピュータに実行させる、コンピュータプログラム。
14. 前記基本周波数のエネルギー比は、心拍数の周波数のエネルギー比である、請求項９に記載の装置。

Images