JP6219279B2

JP6219279B2 - バイタルサインのリモートモニタリング

Info

Publication number: JP6219279B2
Application number: JP2014526549A
Authority: JP
Inventors: デイビッドアンドリュークリフトン; マウリシオクリスティアンヴィラローエルモントーヤ; ライオネルタラセンコ
Original assignee: オックスフォードユニヴァーシティイノヴェーションリミテッド
Priority date: 2011-08-22
Filing date: 2012-08-16
Publication date: 2017-10-25
Anticipated expiration: 2032-08-16
Also published as: KR20140058573A; CA2880138A1; EP2747633B1; US9615749B2; GB201114406D0; JP2014527863A; RU2014107350A; CN103826532B; AU2012298362B2; BR112014004085A8; WO2013027027A2; AU2012298362A1; US20140303454A1; EP2747633A2; WO2013027027A3; CN103826532A; BR112014004085A2

Description

本発明は、心拍数、呼吸数、及び動脈血酸素飽和度等の人間（又は動物）バイタルサインのリモートモニタリングに関し、特に、周囲光干渉の影響を除去することによってフォトプレチスモグラム(photoplethysmogram)画像信号から改善された測定値を取得することに関する。

中等度から重度の長期の病状（慢性閉塞性肺疾患又はうっ血性心不全等）を有する患者に関する研究から、定期的に自己監視することが難しいと、それらの患者が認めることが明らかである。プローブは、取付けるのが困難であることが多く、バイタルサイン（心拍数、呼吸数、酸素飽和度、又は血圧のうちの１つ又は複数）を記録するプロセスは、たとえ数分かかるだけであっても、通常、毎日実施されなければならないため負担になる。理想的な技術は、患者に対する直接の接触を伴わないものであって（「非接触検知（non-contact sensing）」）、患者の生活様式にシームレスに統合されることになる。

心拍動ごとの身体セグメント内の血液容積の変動が、その身体セグメントを通る可視（又は赤外）光の反射又は透過を変えることが、１９３０年代以降よく知られるようになった。非特許文献１の導入を参照。血液は、身体セグメント内の周囲組織に比べて可視光及び赤外光をより多く吸収する。このため、心周期中の血液容積の変動が、心拍動とタイミングを合わせて光の透過又は反射に影響を及ぼす。光の透過又は反射における心臓に同期した変動は、フォトプレチスモグラフィック（photoplethysmographic）（以降でＰＰＧ）信号として知られている。心拍数（すなわちパルスレート−２つは等価である）は、ＰＰＧ波形の２つの連続するピーク（又は窪み）間の時間間隔を測定することによって、ＰＰＧ信号から容易に抽出され得る。レスピラトリレート（respiratory rate）（すなわち呼吸数）もまた、ＰＰＧ波形の比較的複雑な解析から、（例えば、レスピラトリサイクルにわたって起こる拍動内間隔の変化を測定することによって）、又は、ＰＰＧ信号の呼吸数に同期した振幅変調を測定することによって、間接的に推定され得る。

１９７０年代に、２つの波長のＰＰＧ信号を測定することによって末梢動脈血酸素飽和度（ＳｐＯ_２：peripheral arterial oxygen saturation）の無侵襲推定値を取得するパルスオキシメトリの技法が開発された。ヘモグロビン分子（血液中の酸素キャリア）の２つの一般的な形態、酸化されたヘモグロビン（ＨｂＯ_２）及び還元されたヘモグロビン（Ｈｂ）は、５００ｎｍ〜１０００ｎｍの波長範囲内の著しく異なる光学スペクトルを有する。したがって、２つの発光ダイオード（１つのダイオードは赤波長、他のダイオードは近赤外波長）を有する簡単なプローブを使用して、２つの異なる波長において指先（又は耳たぶ）を透過した光を測定することによって、パルスオキシメータは、指（又は耳）内の動脈血の酸素飽和度を無侵襲的に決定する。

（指、耳、又はつま先に取付けたプローブではなく）カメラを使用してＰＰＧ信号を遠隔で測定する可能性は、２００５年あたりの科学文献において初めて論じられた（非特許文献２及び非特許文献３を参照）。上述した非特許文献１では、光源として通常の周囲光を、また、１ｍより遠くに離れた検出器として簡単なデジタルコンシューマレベルカメラを用いて、ＰＰＧ信号が人間の顔から遠隔で採取され得ることを著者らが示している。関心領域（通常、額）は、人間の志願者の顔の画像から選択された。その論文は、これらの画像の周波数コンテンツから、（１０秒窓についての高速フーリエ変換を使用して）どのようにして心拍数が抽出され得るかを示し、どのようにして呼吸数を計算することができるかを示唆している。著者らは、この遠隔検知技術の主要な用途が、トリアージ及びスポーツにあることを提唱している。

昨年、ＭＩＴメディアラボの感情コンピューティンググループ（http://www.media.mit.edu/research/groups/affective-computing）からのチームによって出版された２つの論文が存在した。（非特許文献４及び非特許文献５を参照）。そのチームは、ウェブカムによって顔領域のビデオを記録した。その著者等は、動き及び周囲光条件の変化によって引起されるアーチファクトによる光の変動源に的を絞っている。著者等の実験は屋外で実施されたが、唯一の照明源は、窓を通して入る変動する量の周囲太陽光であった。

ＰＰＧ撮像を現実世界の設定でうまく働かせることに関する重大な問題は、昼間以外のまたしばしば同様に昼間の間のほとんどの屋内環境で見出される人工光、例えば蛍光による周囲光干渉である。５０Ｈｚ周波数の強度変動は、測定される心拍数又は呼吸数のバイタルサインよりずっと高いが（最も速い心拍数でも、４Ｈｚ＝２４０拍動／分（ｂｐｍ）より速いとは考えられない）、実際には、強度変動は、サンプリングプロセスに起因して、ずっと低い周波数に下がったようにエイリアス(alias)される。画像は、５０Ｈｚ光のエイリアシングを回避するために必要とされるサンプリング周波数（１００Ｈｚ）よりずっと低いビデオカメラのフレームレート、通常、約２４Ｈｚでサンプリングされ、エイリアシング成分（アーチファクト(artifact)）は、４Ｈｚ及び２Ｈｚ等の周波数で見出されることが多い。しかし、どの周波数がこのエイリアシングプロセスの結果として生じることになるかを正確に予測することは可能でないため、単に特定の周波数でフィルタリングすることは有効でない。その理由は、フィルターが、エイリアシングアーチファクトを追跡するために各設定において再同調される必要があるからである。

Verkruysse W、Svaasand LO及びNelson JS、論文「Remote plethysmographic imaging using ambient light」Optics Express, 2008, 16（26）, 21434-45 Wieringa FP、Mastik F及びVan Der Steen AFW「Contactless Multiple Wavelength Photoplethysmographic Imaging: A First Step Toward 「SpO2 Camera」Technology」Annals of Biomedical Engineering, 2005, 33（8）, 1034-1041 Humphreys K、Ward T、Markham C「Noncontact simultaneous dual wavelength photoplethysmography: A further step toward noncontact pulse oximetry」Rev. Sci. Instrum., 2007, 78, 044304 Poh MZ、McDuff DJ、Picard RW「Non-contact, automated cardiac pulse measurements using video imaging and blind source separation」Optics Express, 2010, 18, 10762-10744 Poh MZ、McDuff DJ、Picard RW「Advancements in noncontact, multi-parameter physiological measurements using a webcam」IEEE Trans Biomed Eng., 2011, 58, 7-11

したがって、本発明は、人工（周囲）光干渉の結果として生じるＰＰＧ画像信号内のスペクトル成分を識別し除去する方法を提供する。本発明はまた、心拍数に対応する実際のＰＰＧ信号周波数を取得する明解かつ簡単な方法を提供する。別の態様は、同様の方法を使用して、ＰＰＧ画像信号から呼吸数測定値を取得する。末梢動脈血酸素飽和度ＳｐＯ_２の測定値を取得することもまた本発明によって可能である。

本発明はまた、これらの測定値が、単一の容易に理解可能なウェルネスインデックス(wellness index)になるよう結合されることを可能にする。

したがって、より詳細には、本発明は、ＰＰＧ画像信号内の周囲光干渉を抑制する方法であって、
ビデオカメラを使用して被検体の身体上の関心領域を撮像するステップであって、それにより、前記関心領域から反射される周囲光内の周期的強度変動を含むＰＰＧ画像信号を取得する、ステップと、
同じ前記ビデオカメラを使用して前記被検体の身体上ではない基準関心領域を撮像するステップであって、それにより、基準信号を取得する、ステップと、
自己回帰（ＡＲ）全極モデルを使用して前記基準をスペクトル的に解析するとともに、スペクトル成分に対応する極を識別するステップと、
自己回帰（ＡＲ）全極モデルを使用して前記ＰＰＧ画像信号をスペクトル的に解析して該ＰＰＧ画像信号内のスペクトル成分に対応する極を識別するとともに、前記基準信号のスペクトル成分として識別される極に対応する極を削除するステップと、
を含む、ＰＰＧ画像信号内の周囲光干渉を抑制する方法を提供する。

被検体上の関心領域は、露出した皮膚のエリア、例えば顔に対応し、基準関心領域は皮膚上にない。基準関心領域は、画像バックグラウンド内又は被検体の衣服上にあり得る。本発明は、画像内で人間の皮膚のエリアを自動的に識別するためのアルゴリズムを使用することができ、こうしたアルゴリズムは、広く商業的に入手可能である。

好ましくは、基準信号及びＰＰＧ信号は、ビデオカメラの赤チャネル、緑チャネル、及び青チャネルの少なくとも１つのチャネルからの出力信号である。

被検体の身体上に複数の関心領域を、また任意選択で複数の基準関心領域を有することが可能である。ここでもまた、心拍数、呼吸数、及び酸素飽和度の推定値を生成するために、被検体の身体上に各関心領域についてそれぞれのＡＲモデルのセットを使用することによって取得される、複数の関心領域からの結果が平均され得る。各関心領域は、１ピクセルから複数ピクセルまで、所望されるサイズに作られることができ、形状は制限されない。本発明の一例では、領域はそれぞれ、１００×１００ピクセル（すなわち、全部で１０，０００ピクセル）である。

好ましくは、方法は、極削除後に残っているＰＰＧ信号の成分から、心拍数、呼吸数、又は酸素飽和度等のバイタルサインデータを取得するステップを含む。正しい極は、予想される周波数範囲内の、例えば、心拍数４０ｂｐｍ〜２４０ｂｐｍ（０．６７Ｈｚ〜４Ｈｚ）について、又は、呼吸数３．６呼吸／分〜４２呼吸／分（０．０６Ｈｚ〜０．７Ｈｚ）について極を探すことによって識別され得るが、特定の制限は変動し得る。

基準信号及びＰＰＧ画像信号をスペクトル的に解析するステップにおいて、好ましくは、異なる次数の幾つかのＡＲモデルが、信号及び平均された結果に当てはめられる。例えば、一例では次数８〜２０の１３のモデルが使用され、又は別の例では次数５〜１１の７つのモデルが使用されるが、ここでもまた、データに対する最良当てはめを達成するために異なる数及び異なる次数が使用され得る。

呼吸数の正確な測定値を取得するために、１つ又は複数のＡＲモデルを使用してＰＰＧ信号をスペクトル的に解析する前に、ＰＰＧ信号をローパスフィルタリングしダウンサンプリングすることが好ましい。これは、サンプリング周波数を効果的に減少させるため、呼吸数信号に対応する極と、ＤＣ（０Ｈｚ）との間の角度分離（水平軸の正の半分によって極プロットで示される）を増加させる。

酸素飽和度ＳｐＯ_２測定値は、２つの異なる波長の反射光の強度の比を計算することによって取得され得る。強度は、心拍数に対応する極の半径（すなわち、原点からの距離）から見出される。２つの異なる波長は、ビデオカメラからの赤チャネル及び緑チャネルであり得るか、又は代替的に、赤ビデオカメラチャネルは、第２のビデオカメラからの赤外測定値とともに使用され得る。

本発明は、好ましくは、パーソナルコンピューター、タブレット若しくはラップトップコンピューター、又はモバイル電話上で実行するためのコンピュータープログラムとして具現化することができるバイタルサインモニターに組込まれ、こうしたデバイスに組込まれたウェブカム(webcam)を利用する。

本発明は、添付図面を参照して例として更に述べられる。

本発明の実施形態によるバイタルサインモニタリングシステムを概略的に示す図である。患者のデバイスによって取得される画像及び規定された関心領域を概略的に示す図である。本発明の別の実施形態によるバイタルサインモニタリングシステムを概略的に示す図である。本発明の一実施形態における患者に対するスクリーンディスプレイを示す図である。本発明の一実施形態による心拍数及び酸素飽和度測定を説明するフロー図である。本発明の一実施形態による呼吸数測定を説明するフロー図である。基準関心領域についての３０秒の時系列データを示す図である。被検体関心領域についての３０秒の時系列データを示す図である。図５Ａのデータの３０秒窓に１２次ＡＲモデルを当てはめることによって取得された基準関心領域のスペクトルコンテンツを示す図である。図５Ｂのデータの３０秒窓に１２次ＡＲモデルを当てはめることによって取得された被検体関心領域のスペクトルコンテンツを示す図である。基準信号内で見出された極の削除後に残っているスペクトルコンテンツを示す図である。１２次モデルから導出される極の位置を示す図である。１２次モデルから導出される極の位置を示す図である。基準信号内で見出された極の削除後に残っている極を示す図である。５分の色強度測定値を示す図である。上記本発明の実施形態によって取得された３０秒ミーン（mean）心拍数の推定値と、標準的なパルスオキシメータからの平均心拍数測定値を有するデータとの比較を示す図である。図５のデータのダウンサンプリングされた時系列を示す図である。図５のデータのダウンサンプリングされた時系列を示す図である。基準関心領域についての極プロットを示す図である。被検体関心領域についての極プロットを示す図である。基準関心領域内で見出された極に対応する極の削除後の被検体関心領域についての極プロットを示す図である。英国及び米国の３つの病院において急性疾患治療時の患者から取得された、４つの主要なバイタルサイン、すなわち、心拍数、呼吸数、動脈血酸素飽和度、及び収縮期血圧についてのヒストグラムを示す図である。図１０の各バイタルサインについての累積密度関数を示す図である。早期警告スコアについての曲線のセットを示す図である。例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の４時間プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の１０分プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の４時間プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の１０分プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の４時間プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の１０分プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の４時間プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。別の例示的な患者についての３つの色強度並びに心拍数、呼吸数、及び酸素飽和度推定値の１０分プロットを、心拍数、呼吸数、及び酸素飽和度についての従来技術によって測定された値とともに示す図である。

図１Ａは、本発明の一実施形態によるバイタルサインモニタリングシステムを概略的に示す。バイタルサインモニター自体はデバイス３に組込まれ、デバイス３は、ウェブカム４及びスクリーン５をデバイス内に一体的に備える。デバイス３は、タブレット又はノートブックコンピューター、モバイル電話（スマートフォン）であり得るか、又は、別個のウェブカム４を備えたテレビジョンであり得る。患者１は、患者の通常の生活においてデバイス３を使用している間に、例えば、ＶＯＩＰコールを行うか又はテレビを見ている間に、ウェブカム４によって監視されることになる。以下で説明するように、デバイス３は、ソフトウェアアプリケーションをロードされ、ソフトウェアアプリケーションは、ウェブカム４から赤、緑、及び青のビデオ出力を取得し、そのビデオ出力を解析して、バイタルサイン測定値を取得する。これらの測定値は、記憶され、患者に対して（オンデマンドで）表示され、また同様に、インターネット接続を介してリモートサーバー６に送出される。リモートサーバー６は、臨床医ベースのデバイス７によってアクセスされて、臨床医が、結果を検討すること、また必要である場合、システム自体の中のメッセージングアプリケーションを介して、又は、独立に、例えば電話９によって患者に連絡をとることを可能にする。

図１Ｃは、病院内の患者を監視することを意図された本発明の一実施形態におけるバイタルサインモニタリングシステムを示す。図に示すように、バイタルサインモニターは、患者１ａの上、例えば、天井又はフレーム１７上に搭載されたビデオカメラ４ａを含み、ビデオカメラ４ａは、患者がベッド２又は椅子８にいる間、患者１ａを観察できる。ビデオカメラの出力は、以下で説明する、ビデオ信号を解析するリモート処理ユニット（図示せず）に供給される。有線又は無線コントローラー１３を、ビデオカメラ４ａを制御するために設けることができる。本発明のこの実施形態は、比較的運動不能である患者、例えば、急性疾患の入院患者又は新生児保育器の幼児にとって特に有用である。こうした患者は、通常、皮膚の大きな露出エリアを有し、そのエリアを覆って、解析のための１つ又は複数の領域が規定され得る。

図２は、ソフトウェアアプリケーションに関連する患者に対するスクリーンディスプレイを示す。この実施形態では、患者は、５つの異なる機能を選択するための５つのアイコンを提示される。第１のアイコン１０は、選択されると、ＶＯＩＰアプリケーションを起動（launch）するように、また同様に、バイタルサイン測定値を取得するために患者１のウェブカムモニタリングを邪魔にならないように始動するように動作可能である。アイコン１１は、選択されると、バイタルサイン測定値を取得するために患者１のウェブカムモニタリングを始動するように動作可能である。アイコン１２は、選択されると、患者が自分の状態に関する情報を入力できる患者日記帳を表示するように動作可能であり、ここでもまた、これは、バイタルサイン測定値を取得するために患者１のウェブカムモニタリングを邪魔にならないように始動し得る。アイコン１４は、選択されると、自己モニタリングプロセスを通して患者を誘導するように動作可能であり、自己モニタリングプロセスにおいて、患者は、従来のデバイスを使用して、例えば、心拍数、呼吸数、及び酸素飽和度測定のためのブルートゥース指プローブ並びに血圧測定のためのブルートゥースカフを使用して、自分のバイタルサインの測定値を取得し得る。こうした測定値は、ブルートゥース接続を使用してデバイス３に送出され、その後、インターネットを介してサーバー６に送出される。こうした測定値は、ウェブカムビデオ信号の解析によって取得された測定値を確認するために使用され得る（例えば、臨床医が被検体のバイタルサインの低下に気づく場合、臨床医は、被検体に連絡をとって、こうした確認測定を実施するよう被検体に依頼することができる）。最後に、メッセージングアイコン１６は、臨床医から受信したメッセージを患者がチェックすることを可能にするメッセージングアプリケーションを始動するように、選択されると働く。

図１Ｂは、ウェブカム４によって取得された画像を概略的に示す。一般に、画像は、患者１及びバックグラウンド２０の画像を含むことになる。本発明によれば、１つ又は複数の関心領域ＲＯＩｓ２２は、被検体上に、好ましくは皮膚のエリア上に、例えば被検体の顔上に規定され、１つ又は複数の基準関心領域ＲＯＩｒ２４は、バックグラウンドに規定される。従来の認識アルゴリズムが使用されて、被検体関心領域についてまたバックグラウンドについて画像内の適した領域を見出し得る。

図３は、心拍数及び酸素飽和度測定値を取得するために、ウェブカム４からの信号を解析するためのプロセスを述べる。ステップ３０及び３１において、ＲＯＩｒ２４及びＲＯＩｓ２２が規定される。ステップ３２において、各ビデオフレームについて、３つの赤、緑、及び青チャネルのそれぞれについて（又は、１つのビデオカメラの赤チャネルから、また、赤外領域内の信号を提供するためにＩＲフィルターを除去された第２のビデオカメラから）、任意の分布の空間的なミーン、平均又はモード等の、関心領域からの１つ又は複数の代表的強度が、ＲＯＩｒとＲＯＩｓの両方について導出される。この実施形態では、関心領域は、ともに１００ピクセル×１００ピクセル（すなわち、全部で１０，０００ピクセル）である。しかし、異なるサイズのＲＯＩを使用することができ、任意選択で、複数のＲＯＩを使用することができる。限度内で各ＲＯＩが、隣接するピクセル上に中心を持つことが可能である。

各フレームについて代表的な強度が取得されると、これらの強度の時系列が、例えば３０秒の時間窓内の一連のフレームについて組立てられる。時間窓の長さは、例えば、１０秒〜１分まで変動し得る。

ステップ３３において、複数の自己回帰（ＡＲ）モデルが、各時系列に（すなわち、ＲＯＩｒからの赤、緑、及び青時系列のそれぞれに、また、ＲＯＩｓからの赤、緑、及び青時系列のそれぞれに）当てはめられる。２４フレーム／秒のビデオカメラフレームレートを仮定すると、３０秒窓の場合、基準バックグラウンドについて、また、被検体について、３つのチャネルのそれぞれに７２０サンプルが存在することになる。図５Ａ及び図５Ｂは、基準関心領域及び被検体関心領域について３０秒の時系列データをそれぞれ示す。

自己回帰（ＡＲ）モデリングの一般的な原理の簡潔な説明を行うことがここでは有用である場合があるが、ＡＲモデリングは、例えば音声解析の分野でよく知られている。

ＡＲモデリングは、線形予測問題として定式化することができ、信号の現在の値ｘ（ｎ）は、以前のｐ個の値についての線形に重み付した和としてモデル化され得る。和がとられるサンプルの数であるパラメーターｐは、モデル次数であり、モデル次数は、通常、信号を形成する値のシーケンスの長さＮよりずっと小さい。したがって、

である。

したがって、出力ｘ（ｎ）の値は、誤差ｅ（ｎ）を有する、それ自体に関する線形回帰であり、誤差ｅ（ｎ）は、ゼロミーン及びσ^２の分散を持つよう通常分布すると仮定される。より有用であることには、このアプリケーションの場合、モデルを、入力ｅ（ｎ）及び出力ｘ（ｎ）を有するシステムにおいて可視化することができ、その場合、伝達関数Ｈは、以下に示すように定式化され得る。

式２に示すように、Ｈ（ｚ）の分母が、ｐ個の項に因数分解され得る。これらの項のそれぞれは、Ｈ（ｚ）の極に対応する、Ｈ（ｚ）の分母の根ｚ_ｉを規定する。Ｈ（ｚ）が有限のゼロを持たないため、ＡＲモデルは全極モデルである。極は、複素共役対において起こり、信号のパワースペクトル内のスペクトルピークを規定する。それらのスペクトルピークは、或るマグニチュード（原点からの距離）及び位相角度（正の実数軸に関する角度）を有するものとして複素平面上で可視化され得る。より高いマグニチュードの極は、より高いマグニチュードのスペクトルピークに対応し、各スペクトルピークの周波数は、対応する極の位相角度によって与えられる。所与の周波数ｆに対応する位相角度θは、式３によって規定され、式３は、位相角度θがサンプリング間隔Δｔ（サンプリング周波数の逆数）にも依存することを示す。

そのため、適した次数のＡＲモデルを信号に当てはめること及び極を取得することは、信号のスペクトル組成を明らかにする。

極を見出すため、モデルパラメーターａ_ｋが、例えばバーグ又はユール・ウォーカ（Burg or Yule-Walker）方程式を使用して、最初に取得されて、モデルを信号に当てはめ、ａ_ｋの値からｐ個の極ｚ_１〜ｚ_ｐの値が計算され得る（例えば、Pardey J, Roberts S, Tarassenko L, A review of parametric modeling techniques for EEG analysis, Medical Engineering ＆ Physics, 1996, 18（1）, 2-11を参照）。Ｈ（ｚ）の分母のｐ個の根ｚ_ｉ（ｉ＝１〜ｐ）に対応するＨ（ｚ）のｐ個の極は、標準的な数学的プロシージャ（例えば、ＭＡＴＬＡＢルーチンｒｏｏｔｓ）を使用して見出される。各極ｚ_ｋが複素数ｘ_ｋ＋ｊｙ_ｋとして書かれ得るため、その極によって示される周波数は、複素平面の上半分内でその極の位相角度から計算され得る。

ここで、ｆ_ｓはサンプリング周波数であり、マグニチュードｒは（ｘ^２＋ｙ^２）^１／２である。

そのため、ステップ３３のＡＲモデル当てはめは、基準関心領域からの信号と被検体関心領域からのＰＰＧ画像信号の両方における支配的なスペクトル成分を明らかにする。２つの関心領域がともに、同じカメラによって撮像されるため、いずれの周囲光干渉又はエイリアシングアーチファクトも、基準信号とＰＰＧ信号の両方に存在することになる。しかし、被検体関心領域からの信号は、ＰＰＧ信号を示すスペクトル成分に対応する極を更に有することになる。図６Ａ及び図６Ｂは、図５Ａ及び図５Ｂのデータの３０秒窓に１２次ＡＲモデルを当てはめることによって取得された基準関心領域のスペクトルコンテンツ及び被検体関心領域のスペクトルコンテンツをそれぞれ示す。図６Ｄ及び図６Ｅは、この１２次モデルから導出された極の位置を示す。上述したように、対応する極は、同じデータに当てはめられた、異なる（８〜２０の）次数モデルにおいて識別される。

ステップ３４において、図６Ｄの被検体データに当てはめられたＡＲモデル内の任意の極（基準信号に当てはめられたＡＲモデル内にも存在する）が削除される。極は、互いの小さな角度、通常、１度又は２度以内にある場合、被検体関心領域と基準心領域との両方に存在すると見なされる。ステップ３５において、心拍数についての許容範囲以外に同様に存在する、残っている任意の極が除去される。これらの極は、６０度より大きい角度を有する極である（サンプリング周波数が２４Ｈｚである場合、１８０度が１２Ｈｚに対応するため、６０度は、４Ｈｚに対応し、２４０拍動／分である）。同様に、１０度未満の（すなわち、０．６７Ｈｚ以下又は４０拍動／分未満に対応する）角度の任意の極が除去される。

次に、ステップ３６において、水平軸に最も近い、すなわち、許容範囲内で最小角度、したがって最低周波数を有する、残りの極が識別され、その極が示す周波数が計算される。代替的に、ステップ３６ａで示すように、方程式（１）のａ_ｋ個の係数によって特徴付けられるフィルターの周波数応答を取得し、その周波数応答において最大のマグニチュードを有する周波数を選択することが可能である。これは、被検体の心拍数に対応する周波数である。図５及び図６のデータにおいて、残りの心拍数極が図６Ｆに示される。図６Ｃは、極の削除後のスペクトルコンテンツの対応するプロットを示す。

これらのステップは、データの同じ３０秒窓に当てはめられた異なる次数のＡＲモデルの全てに関して行われ、ステップ３７において、その結果の心拍数推定値のロバストな推定値、例えばメジアン推定値が取得される。この値は、ステップ３８において、記憶され表示され、次に、ステップ３９において、３０秒窓が１秒だけ前方に移動され、ステップ３３〜３８が繰り返される。心拍数推定値は、ステップ４０において、リモートサーバー６に送出される。

図６Ｆでは、心拍数として識別される極は、１７．７度の角度にあり、１．１８Ｈｚの周波数、したがって、７１ｂｐｍの心拍数に対応する。

上記ＡＲ当てはめ法はまた、酸素飽和度が測定されることを可能にする。図６Ｆでは、極の半径、すなわち、原点からのその距離は、その（赤、緑、又は青）チャネル内の心拍数成分の振幅の指標である。そのため、ステップ４２において、緑（又は赤外）チャネル及び赤チャネル内の心拍数極の半径が取得され、半径の比がとられる。これは、赤波長における反射強度と緑（又は赤外）波長における反射強度の比に対応する。ＳｐＯ_２の値は、較正表を使用してこの比から計算され得る。較正表は、人間の志願者又は患者が２重監視される調査（study）から取得される。人間の志願者の場合、これは、医療研究倫理委員会（Medical Research Ethics Committee）の承認がそれについて取得された調査において、監視され制御された条件下で被検体を（通常、ＳｐＯ_２の８０％の値まで下がるよう）脱飽和（de-saturate）させることを意味する。血液サンプルは、一定のサンプルで引抜かれて、血液ガス分析器を使用して酸素飽和度が測定される（例えば、Moyle JTB, Pulse Oximetry （Principles and Practice）, BMJ Publications, 2002を参照）。代替法は、定期的に自然に脱飽和する患者、例えば透析セッション中の腎臓患者を、１つ又は複数のウェブカムと、較正済みで市販のパルスオキシメータ（そのパルスオキシメータから、ＳｐＯ_２の基準値が、透析セッション中に取得される）の両方によって監視することである。ＳｐＯ_２の値は、ステップ４４において、記憶され表示され、ステップ４０において、リモートサーバー６に送出され得る。

図７Ｂは、（図７Ａに示す色強度振幅から）上記本発明の実施形態によって取得された３０秒ミーン（mean）心拍数推定値（黒く太い線）と、標準的なパルスオキシメータデバイス及び指プローブからの４拍動及び８拍動の平均心拍数測定値（明るく細い線）との比較を示す。２つの異なる方法の間の一致が良好であることが見てわかる。

図４は、ウェブカム４からのＰＰＧ信号から呼吸数を取得する方法を示す。本方法は、更なるステップ４０が含まれることを除いて、心拍数を取得するために使用され、図３に示される方法に対応する。更なるステップ４０において、時系列の平均強度が、ローパスフィルタリングされ、この実施形態では、例えば（２４フレーム／秒のカメラフレームレートを仮定すると、５つおきにサンプルをとることによって）４Ｈｚの周波数までダウンサンプリングされる。ダウンサンプリングプロセスの前のローパスフィルターは、ｆ_ｄ／２（ｆ_ｄ＝ダウンサンプリング周波数、すなわちこの例では４Ｈｚ）を超える全ての周波数が、ダウンサンプリングプロセスの前になくなるように、そのカットオフ周波数が設定されている。図３の場合と同様に、ステップ３３’において、この場合、次数４〜２０の幾つかのモデルが、次に、データの各３０秒窓に当てはめられ、対応する極が、ステップ３４’において削除され、呼吸数についての許容範囲以外にある極が、ステップ３５’において削除される。ステップ３６’において、呼吸数極が、呼吸数についての許容範囲、例えば０．０６Ｈｚ〜０．７Ｈｚ（３．６呼吸／分〜４２呼吸／分）内の極を探すことによって識別される。その後、水平軸に最も近い、すなわち、許容範囲内で最低周波数の極がとられ、その極が示す呼吸数が、その角度から計算される。代替的に、ステップ３６ａ’で示すように、方程式（１）のａ_ｋ個の係数によって特徴付けられるフィルターの周波数応答を取得し、その周波数応答において最大のマグニチュードを有する周波数を選択することが可能である。ステップ３７’〜４０’において、異なる次数のモデルからの値が、（例えば、メジアンをとることによって）融合されて、心拍数の推定値の場合と同様に、ロバストな推定値が生成され、その結果が、記憶され表示され、サーバーに送出される。

図８Ａ及び図８Ｂは、図５の基準関心領域及び被検体関心領域からの強度値のダウンサンプリングされた時系列を、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を使用して計算されたそれらの主要周波数成分とともにそれぞれ示す。図９Ａ、図９Ｂ、及び図９Ｃは、基準関心領域についての極プロット（図９Ａ）、被検体関心領域についての極プロット（図９Ｂ）、及び、基準関心領域内で見出された極に対応する極の削除後の被検体関心領域についての極プロット（図９Ｃ）を示す。示すプロットでは、水平軸の上の残りの極は、１７度であり、０．１９Ｈｚの周波数及び１１呼吸／分の呼吸数に対応する。

図１３Ａ及び図１３Ｂ、図１４Ａ及び図１４Ｂ、図１５Ａ及び図１５Ｂ、並びに図１６Ａ及び図１６Ｂは、４人の異なる患者について、従来の手段によって取得された心拍数、呼吸数、及び酸素飽和度の測定値とともにプロットされた、本発明の実施形態を使用して推定された心拍数、呼吸数、及び酸素飽和度（ＳｐＯ_２）とともに、赤、緑、及び青色強度の測定値を示す。図１３Ａ、図１４Ａ、図１５Ａ、及び図１６Ａは全て、（実際には、透析を受けている患者についての）４時間期間を示し、一方、図１３Ｂ、図１４Ｂ、図１５Ｂ、及び図１６Ｂは、４時間期間のうちの１０分セクションをより詳細に示す。本発明の実施形態によって取得された推定値と従来の測定値との間の、心拍数、呼吸数、及び酸素飽和度のそれぞれについての一致が良好であることが見てわかる。さらに、本発明のこの実施形態による推定値と従来の測定値との間の一致が、異なる心拍数、呼吸数、及び酸素飽和度を有する４人の患者について良好である。

急性疾患患者に関する過去の調査は、その値が疾患の重症度とともに増加する早期警告スコアを計算するために、こうした患者の母集団内のバイタルサインの分布がどのように使用され得るかを示した。図１０は、英国及び米国の３つの病院において急性疾患治療（acute care）時の患者から取得された、４つの主要なバイタルサイン、すなわち、心拍数、呼吸数、動脈血酸素飽和度、及び収縮期血圧についてのヒストグラムを示す。中央垂直線は、データのミーンを示し、両側の２つの垂直線は、１つの標準偏差に対応する（片側分布を有するＳｐＯ_２を除く）。ヒストグラムは、ランダム変数ｘについての確率密度関数ｐ（ｘ）の推定値である。累積分布関数（ｃｄｆ：cumulative distribution function）、Ｐ（ｘ）はｐ（ｘ）の積分値である。各バイタルサインについてのｃｄｆは図１１に示される。

早期警告スコアは、バイタルサインが、（両側分布の場合）その変数について１パーセンタイルより小さいか又は９９パーセンタイルより大きいとき、３の早期警告スコア（ＥＷＳ：Early Warning Score）が生成されるべきであり、２のスコアが、１パーセンタイルと５パーセンタイルとの間か又は９５パーセンタイルと９９パーセンタイルとの間にバイタルサインがあることに対応すべきであり、１のスコアが、５パーセンタイルと１０パーセンタイルとの間か又は９０パーセンタイルと９５パーセンタイルとの間にバイタルサインがあることに対応すべきであるという仮説を使用して警報システムを構築することによって取得された。（ＳｐＯ_２の場合、１００％で始まる片側分布に関して、９８パーセンタイルより大きい値は３のスコアを、９０パーセンタイルと９８パーセンタイルとの間の値は２のスコアを、８０パーセンタイルと９０パーセンタイルとの間の値は１のスコアを与えることになる）。図１１のｃｄｆプロット上の垂直線は、カットオフ値が、各バイタルサインについて決定されることを可能にする。例として呼吸数を考えると、患者の１％は呼吸数≦７呼吸／分であり、５パーセントは呼吸数≦１０呼吸／分であり、１０パーセントは呼吸数≦１３呼吸／分であった。上端において、患者の９０％は呼吸数≦２６呼吸／分であり、９５パーセントは呼吸数≦２９呼吸／分であり、９９パーセントは呼吸数≦３４呼吸／分であった。

病院で現在使用されているＥＷＳシステムでは、それぞれの個々のバイタルサインについてのスコアは、整数精度で定量化される（すなわち、バイタルサインは、０、１、２、又は３の値を取り得るだけである）。しかし、ｃｄｆ曲線がスムーズであるため、このことが当てはまるべきである理由は全く存在せず、本発明のこの実施形態では、ずっと小さな量子化（各バイタルサインについて０．１のステップ）を有するウェルネスインデックスが使用される。１〜３の範囲内で０．１の量子化を有するＥＷＳシステムについての曲線のセットが図１２に示される。

病気で入院中の患者は、高いＥＷＳスコアを有することになる（例えば、３つのバイタルサインについての３のスコアは、９のＥＷＳを与えることになる）。この実施形態では、バイタルサインの異常とともに減少するウェルネススコアが、代わりに計算される。例えば、正常心拍数、正常呼吸数、及び正常ＳｐＯ_２を有する患者は、１０の心臓呼吸ウェルネスインデックスを有することになる。いずれのバイタルサインも、分布の中心から遠くに離れれば離れるほど、心臓呼吸ウェルネスインデックスの値が低くなることになる。例えば、ウェルネスインデックスが、上述したように推定された、心拍数（ＨＲ）、レスピラトリレート（respiratory rate）／呼吸数［ＲＲ／ＢＲ］、及びＳｐＯ_２から導出される場合、ウェルネスインデックスは、簡単な公式：

から取得され得る。ここで、スコアは、各パラメーターについて、図１２上のそのパラメーターについてのプロット上のｙ軸から読取られる。

血圧の測定値を有する場合にも、４つの分布が使用されて、心血管のウェルネスインデックスが、同様に０〜１０のスケール上で導出されることになる。

所定期間にわたって、患者固有のウェルネスインデックスのセットを設計することが可能である。これは、その個人についてのヒストグラム及びｃｄｆが構築され得るように、昼間の全範囲にわたって十分なバイタルサインが収集されることを必要とする。これが達成されると、患者固有であるパーセンタイルベースのウェルネスインデックスが生成され得る。

本発明の別の重要な態様は、バイタルサインが、顔認識ソフトウェアを通して、バイタルサインがその生理機能を示す個人に一意にリンクされ得ることである。バイタルサインリモートモニタリングのための通常の方法の場合、プローブ又は電極がその個人の近傍のだれにでも取付けられ得るため（その知識があっても、なくても）、バイタルサインが、バイタルサインを生成したと思われる個人のバイタルサインであるという保証が全く存在しない。本発明の場合、バイタルサインの値の評価中に被検体の顔がカメラによって取得されるため、バイタルサインの起源についてのどんな不確実性も除去される。

上記本発明の実施形態は、家庭での被検体による使用に的を絞ったが、病院設定における使用に対して同様に適用可能である。良好な信号が取得されるように、被検体は、カメラの前で比較的じっとしている必要があるが、病院では、このことは、救急救命診療又は新生児ユニットにおいて当てはまる可能性があり、したがって、本発明は、これらの場合にも有用である。本発明は、いずれのＰＰＧ撮像状況でも適用可能である。例えば、ＰＰＧ撮像は、心拍数及び呼吸数を上昇させることが多い感染を患う人々のスクリーニングに使用することができ、こうしたスクリーニングは、例えば、港、空港、及び建物入口等のエントリポイントにおいて有用である。ＰＰＧ撮像はまた、嘘発見で使用されるパラメーター検出の一部として有用であり得る。

Claims

ビデオカメラを使用して被検体の皮膚上の関心領域を撮像するステップであって、それにより、前記関心領域から反射される周囲光内の周期的強度変動を含むフォトプレチスモグラフィック画像信号を取得する、ステップと、
前記ビデオカメラを使用して前記被検体の皮膚上ではない基準関心領域を撮像するステップであって、それにより基準信号を取得する、ステップと、
自己回帰全極モデルを使用して前記基準をスペクトル的に解析するとともに、スペクトル成分に対応する極を識別するステップと、
自己回帰全極モデルを使用して前記フォトプレチスモグラフィック画像信号をスペクトル的に解析して該フォトプレチスモグラフィック画像信号内のスペクトル成分に対応する極を識別するとともに、前記基準信号のスペクトル成分として識別される極に対応する極を無視するステップと、
を含む、フォトプレチスモグラフィック画像信号内の周囲光干渉を抑制する方法。
前記基準信号及び前記フォトプレチスモグラフィック画像信号は、前記ビデオカメラの赤チャネル、緑チャネル、及び青チャネルの少なくとも１つのチャネルからの出力信号又は別のカメラからの赤外線チャネルからの出力信号である、請求項１に記載の方法。
前記被検体の皮膚上の複数の関心領域を撮像するとともに、複数の基準関心領域を撮像するステップを更に含む、請求項１又は２に記載の方法。
前記各関心領域は、単一のカメラピクセルに中心がある、請求項３に記載の方法。
前記フォトプレチスモグラフィック画像信号の残りの成分からバイタルサインを取得するステップを更に含む、請求項１〜４のいずれか１項に記載の方法。
前記基準信号及び前記フォトプレチスモグラフィック画像信号はそれぞれ、複数の異なる次数のモデルを使用して解析される、請求項１〜５のいずれか１項に記載の方法。
前記複数の異なる次数のモデルは、次数８〜２０のモデルを含む、請求項６に記載の方法。
前記識別された極に対応するスペクトル成分は、前記複数の異なる次数モデルにわたって平均される、請求項６又は７に記載の方法。
前記基準信号内に存在しない前記フォトプレチスモグラフィック画像信号内の極を識別することによって、前記被検体の心拍数の測定値を取得するステップを更に含む、請求項１〜８のいずれか１項に記載の方法。
前記心拍数の測定値は、ＨＲ_ｍｉｎ〜ＨＲ_ｍａｘの範囲の周波数（通常、０．６７Ｈｚ〜４Ｈｚ）を有するスペクトル成分に対応する極を識別することによって取得される、請求項９に記載の方法。
被検体からフォトプレチスモグラフィック信号を取得するステップと、複数の異なる次数の自己回帰全極モデルを使用して前記フォトプレチスモグラフィック信号をスペクトル的に解析して、前記各モデルから心拍数を示すスペクトル成分を識別するとともに前記スペクトル成分に対応する心拍数推定値を生成するステップと、前記複数の異なるモデルからの前記心拍数推定値のメジアンをとることによって前記複数の異なるモデルからの前記心拍数の前記推定値を融合させるステップであって、それにより、ロバストな心拍数推定値を生成する、ステップと、を含む、人間又は動物被検体の心拍数の推定値を取得する方法。
前記フォトプレチスモグラフィック信号はフォトプレチスモグラフィック画像信号である、請求項１１に記載の方法。
別の全極モデルのセットを使用して前記フォトプレチスモグラフィック信号をスペクトル的に解析する前に、該フォトプレチスモグラフィック信号をローパスフィルタリングし、ダウンサンプリングすることによって、前記被検者の呼吸数の測定値を取得するステップを更に含む、請求項１〜１２のいずれか１項に記載の方法。
人間又は動物の被検体の呼吸数の推定値を取得する方法であって、
前記被検体からフォトプレチスモグラフィック信号を取得するステップと、複数の異なる次数の自己回帰全極モデルを使用して前記フォトプレチスモグラフィック信号をスペクトル的に解析する前に、該フォトプレチスモグラフィック信号をローパスフィルタリングし、ダウンサンプリングするステップであって、それにより、前記各モデルから呼吸数を示すスペクトル成分を識別する、ステップと、前記スペクトル成分に対応する呼吸数推定値を生成するステップと、前記複数の異なるモデルからの呼吸数の前記推定値を融合させるステップであって、それにより、ロバストな呼吸数推定値を生成する、ステップと、前記被検体の皮膚上の前記関心領域から反射される２つの異なる波長の光の強度の比を取得することによって、前記被検体の血中酸素飽和度の測定値を取得するステップであって、前記強度は、心拍数を示すとして識別される極のマグニチュードから取得され、前記２つの異なる波長は、前記ビデオカメラによって検出される赤波長及び緑波長である、ステップと、を含む方法。
前記被検体の皮膚上の関心領域から反射される２つの異なる波長の光の強度の比を取得することによって、前記被検体の血中酸素飽和度の測定値を取得するステップを更に含み、前記強度は、心拍数を示すとして識別される極のマグニチュードから取得される、請求項１〜１３のいずれか１項に記載の方法。
前記２つの異なる波長は、ビデオカメラによって検出される赤波長及び緑波長である、請求項１５に記載の方法。
前記２つの異なる波長は、前記ビデオカメラによって検出される赤波長及び第２のビデオカメラによって検出される赤外線波長を含む、請求項１５に記載の方法。
請求項１乃至１０のいずれか一項に記載の請求項の方法による被検体のフォトプレチスモグラフィック撮像及び周囲光干渉の抑制を含む方法によって被検体のバイタルサインの１つ又は複数の測定値を生成するようになっているコンピュータープログラム。
被検体のバイタルサインの１つ又は複数を、ビデオカメラを使用して前記被検体のフォトプレチスモグラフィックを撮像し、前記ビデオカメラによって取得される前記被検体の画像に関して顔認識プロセスを実施することによって測定する方法であって、それにより、前記被検体のアイデンティティを前記バイタルサイン測定値にリンクさせ、前記フォトプレチスモグラフィック撮像は、請求項１〜１０のいずれか１項に記載の方法による干渉の抑制を含む、方法。