JP6821088B2 - バイタルサインのリモート測定のためのシステム及び方法 - Google Patents

Description

本発明は、包括的には、人のバイタルサインをリモートに監視することに関し、より詳細には、バイタルサインのリモートフォトプレチスモグラフィ（ＲＰＰＧ）測定に関する。

人のバイタルサイン、例えば、心拍数（ＨＲ）、心拍変動（ＨＲＶ）、呼吸数（ＲＲ）、又は血中酸素飽和度は、人の現在の状態のインジケーターとしての役割及び深刻な医療事象の潜在的な予測子としての役割を果たす。この理由から、バイタルサインは、入院患者及び外来患者の医療環境、自宅、並びに他の保健環境、レジャー環境、及びフィットネス環境において広範に監視される。バイタルサインを測定する１つの方法はプレチスモグラフィである。プレチスモグラフィは、一般に、器官又は身体部分の体積変化の測定を指し、特に、心拍動ごとに人の身体を通って伝わる心血管パルス波に起因した体積変化の検出を指す。

フォトプレチスモグラフィ（ＰＰＧ）は、組織の微小血管床における血液量変化を検出するのに用いることができる、対象となる面積部又は体積部の光の反射率又は透過率の時間変動変化の数値を求める光学的測定技法である。ＰＰＧは、血液が周囲の組織と異なって光を吸収及び反射し、そのため、心拍動ごとの血液量の変動がそれに対応して透過率又は反射率に影響を与えるという原理に基づいている。ＰＰＧは、皮膚表面における測定を行うために非侵襲的に用いられることが多い。ＰＰＧ波形は、心拍動ごとの血液量の心臓同期変化を要因とした脈動する生理学的波形を含み、呼吸、交感神経系活動、及び体温調節を要因とする様々なより低い周波数成分を有する、ゆっくりと変動するベースライン上に重畳される。ＰＰＧ信号の成分の発信源は、十分に理解されていないが、心血管系についての貴重な情報を提供することができることが一般に認められている。

人の心拍数及び（動脈）血中酸素飽和度を測定する従来のパルスオキシメーターは、人の皮膚、例えば、指先、耳たぶ又は前額部に取り付けられる。したがって、これらのパルスオキシメーターは、「接触型」ＰＰＧデバイスと呼ばれる。通常のパルスオキシメーターは、光源としての緑色ＬＥＤ、青色ＬＥＤ、赤色ＬＥＤ、及び赤外線ＬＥＤの組み合わせと、患者の組織を透過した光を検出する１つのフォトダイオードとを備えることができる。市販のパルスオキシメーターは、異なる波長における測定を高速に切り替え、それによって、同じ面積又は体積の組織の異なる波長における透過率を測定する。これは、時分割多重化と呼ばれる。各波長における経時的な透過率は、異なる波長のＰＰＧ波形を与える。接触型ＰＰＧは、基本的に非侵襲的な技法とみなされるが、パルスオキシメーターが人に直接取り付けられ、いずれかのケーブルが移動の自由を制限するので、接触型ＰＰＧ測定は、不快なものとして経験されることが多い。

最近になって、測定を目立たなくする非接触型リモートＰＰＧ（ＲＰＰＧ）デバイスが導入されている。ＲＰＰＧは、光源、又は、一般に、対象となる人からリモートに配置された放射源を利用する。同様に、検出器、例えば、カメラ又は光検出器も、対象となる人からリモートに配置することができる。したがって、リモートフォトプレチスモグラフィシステム及びデバイスは、目立たず、医療的利用及び非医療的な日常の利用によく適していると考えられる。

身体上のセンサーに対するカメラベースのバイタルサイン監視の利点の１つは、非常に使いやすいということである。すなわち、センサーを取り付ける必要がなく、カメラを人に向けるだけで十分である。身体上のセンサーを上回るカメラベースのバイタルサイン監視のもう１つの利点は、動きロバスト性を達成する潜在能力があることである。すなわち、カメラは、大部分が単一素子検出器を含む接触型センサーよりも高い空間分解能を有する。

ＲＰＰＧ技術の課題の１つは、動き／光歪を受けている状況下で正確な測定を提供できるようにすることである。ロバストなカメラベースのバイタルサイン測定を可能にする幾つかの方法が開発されてきた。そのような測定のために、通常は、複数の信号が、キャプチャーされた画像シーケンスの画像処理に基づいてキャプチャーされる。これらの複数の信号は、人の皮膚の異なる領域に対応するセンサーの異なるピクセル、及び／又は、同じ空間位置に対応する１つのピクセルの異なる色チャネルを発信源とする場合がある。次に、フォトプレチスモグラフィ波形が、これらの複数の信号から導出される。これらのフォトプレチスモグラフィ波形は、当該波形の更なる分析によって求めることができる人のバイタルサインを示す。

しかしながら、フォトプレチスモグラフィ波形の質は、検知された測定値の信号対雑音比（ＳＮＲ）の値によって決まる程度に劣化される。光の変動に起因した低いＳＮＲ及び動きに起因したフォトプレチスモグラフィ波形内の誤ったピークは、ＰＰＧ信号を混乱させる可能性を有する。これらの課題に対処するために、幾つかの方法は、複数のフォトプレチスモグラフィ波形の広範な分析を行う。例えば、特許文献１に記載された方法は、複数のフォトプレチスモグラフィ波形の加重結合を推定し、雑音によって引き起こされる異常値（outlier）を削減する。しかしながら、そのような手法は、信号から十分な雑音を除去しない場合があり、常に最適な結果をもたらすとは限らないことがある。

米国特許出願公開第２０１６／０２２０１２８号

したがって、人の皮膚の輝度（例えば、画像ピクセル輝度）の測定において、雑音に対するＲＰＰＧ推定の感度を下げる必要がある。

幾つかの実施の形態は、人の皮膚の輝度（例えば、カメラ画像におけるピクセル輝度）の測定値の雑音に対するリモートフォトプレチスモグラフィ（ＲＰＰＧ）の感度が、種々の空間位置において測定された人の皮膚の輝度からの、フォトプレチスモグラフィ波形の独立した導出によって少なくとも部分的に引き起こされるという認識に基づいている。幾つかの実施の形態は、異なる位置、例えば、人の皮膚の異なる領域では、測定輝度が、異なる雑音を受ける可能性があり、時には、無関係の雑音さえ受ける可能性があるという認識に基づいている。そのために、人の皮膚の種々の領域の輝度からの、フォトプレチスモグラフィ波形の独立した推定は、互いに援助し合ってそのような雑音を特定することができない場合がある。

幾つかの実施の形態は、皮膚の種々の領域において測定された人の皮膚の輝度の種々のフォトプレチスモグラフィ波形を一括して推定することによって、ＲＰＰＧ推定の品質に対する雑音の影響を低減することができるという認識に基づいている。実際に、ＲＰＰＧを用いて人のバイタルサイン、例えば、心拍数を推定するとき、心拍動は、皮膚の全ての領域に存在する輝度変動の共通の源である。そのために、種々の領域のフォトプレチスモグラフィ波形を一括して推定すること、すなわち、共通のメトリックを用いて推定することが有益であり得る。

幾つかの実施の形態は、２つのタイプの雑音、すなわち、外部雑音及び内部雑音が、皮膚の輝度に作用しているという認識に基づいている。外部雑音は、ライティングの変動、人の動き、及び輝度を測定するセンサーの分解能等の外部要因に起因して、皮膚の輝度に影響を及ぼす。内部雑音は、人の皮膚の種々の領域の外見に対する心血管血流の種々の影響等の内部要因に起因して、皮膚の輝度に影響を及ぼす。例えば、心拍動は、鼻の輝度よりも人の前額部及び頬の輝度に大きな影響を及ぼすことができる。

幾つかの実施の形態は、双方のタイプの雑音は、輝度測定値の周波数領域において対処することができるという理解に基づいている。具体的には、外部雑音は、多くの場合、非周期的であるか、又は、対象となる信号（例えば、脈動信号）の周波数と異なる周期的周波数を有し、したがって、周波数領域において検出することができる。加えて、内部雑音は、皮膚の種々の領域において輝度の大きさの変動又は輝度変動の時間シフトをもたらすが、周波数領域において共通の輝度変動源の周期性を維持する。そのために、幾つかの実施の形態は、フォトプレチスモグラフィ波形の推定に関する共通のメトリックを輝度測定値自体の領域ではなく輝度測定値の周波数領域において実施する必要があるという理解に基づいている。

幾つかの実施の形態は、フォトプレチスモグラフィ波形の周波数係数が輝度測定値から直接導出される場合、そのような直接推定に対する周波数領域における共通のメトリックの実施は問題を有する可能性があるという認識に基づいている。しかしながら、周波数係数が推定された後ではなく、周波数係数の推定中に共通のメトリックを実施することは有利であり得る。そのために、幾つかの実施の形態は、測定された輝度から周波数係数を直接計算するのではなく、測定された輝度と整合するようにフォトプレチスモグラフィ波形の周波数係数を再構成する最適化フレームワークを利用する。そのような周波数係数の推定を逆方向にすることによって、種々の領域の種々のフォトプレチスモグラフィ波形の周波数係数に対して共通のメトリックを実施することができる制約を条件とした再構成を行うことが可能になる。そのような再構成は、輝度測定値から周波数係数を直接推定する方向とは逆であるので、そのような再構成は、本明細書では、逆再構成と呼ばれる。

幾つかの実施の形態は、周波数領域において、種々のフォトプレチスモグラフィ波形に対して実施される共通のメトリックは、フォトプレチスモグラフィ波形の周波数係数の結合スパース性とすることができるという理解に基づいている。周波数係数の結合スパース性は、同じ周波数ビンにおいて種々のフォトプレチスモグラフィ波形を互いにスパースにし、及び／又は、同じ周波数ビンにおいて大きなエネルギーのみを保有させる。そのような結合スパース性は、共通の輝度変動源の概念を十分に反映しており、種々のフォトプレチスモグラフィ波形から、外部雑音及び内部雑音によって引き起こされる種々の異常値及び無関係である可能性がある異常値を除去することを共同で支援することができ、ＲＰＰＧを、雑音の影響を受けにくいものとすることができる。

そのために、幾つかの実施の形態は、求められた周波数係数に対して結合スパース性を実施するとともに、求められた周波数係数を用いて推定された対応する輝度信号と測定された輝度信号との間の差を最小にするように、人の皮膚の種々の領域の輝度信号のフォトプレチスモグラフィ波形の周波数係数を求める。例えば、幾つかの実施の形態は、求められた周波数係数の逆フーリエ変換を用いて輝度信号を推定する。そのような逆再構成によって、測定値雑音に対するＲＰＰＧ推定の感度を低減することが可能になる。

幾つかの実施の形態は、周波数係数を求めることを最適化問題、例えば、最小化問題として表すことができるとともに、結合スパース性の実施をこの最適化に対する制約として表すことができるという認識に基づいている。そのようにして、周波数係数を見つける計算要件を削減することができる。幾つかの実施の形態は、上記制約を、その違反を禁止するハード制約として実施することもできるし、その違反にペナルティーを科すソフト制約として実施することもできるという認識に基づいている。幾つかの実施の形態は、復元されたバイタルサインの周期性が所望されているときは、ハード制約を実施する。それ以外の場合には、実施の形態はソフト制約を実施する。例えば、１つの実施の形態は、結合スパース性を、心拍数を測定するソフト制約として実施する。

幾つかの実施の形態は、種々のフォトプレチスモグラフィ波形の周波数係数の重み付き２−１ノルムを最適化に含めることによって、結合スパース性をソフト制約として実施する。最適化の２−１ノルム成分は、周波数係数の結合スパース性を促進する一方、２−１ノルム成分の重みは、このソフト制約の違反のペナルティーを定める。したがって、２−１ノルム成分の重みを用いて、測定されているバイタルサインのタイプに応じて非ゼロ周波数係数の数を変更することができる。

幾つかの実施の形態は、輝度測定値を、有意な期間、例えば、数分、数時間、更には数日にわたる連続信号として取得する。計算要件を削減するために、幾つかの実施の形態は、それらの連続信号の時間セグメントのシーケンスに対してバイタルサインを順次求める。それらのセグメントは、部分的に重複している場合もあるし、互いに隣接している場合もある。しかしながら、幾つかの実施の形態は、周波数係数からのフォトプレチスモグラフィ波形の逆再構成が、連続信号の種々のセグメントにわたるバイタルサインの推定に不連続点を導入する可能性があるという認識に基づいている。

この不連続性問題に対処するために、１つの実施の形態は、部分的に重複するセグメントを用いて、バイタルサインを求める。各制御時間ステップにおいて、現在のセグメントは、以前に処理された輝度測定値（以前の制御時間ステップにおいて処理された以前のセグメントからのもの）に対応する第１の部分と、新たに測定された輝度に対応する第２の部分とを含む。セグメントの第１の部分について、この実施の形態は、以前の制御ステップ中に第１の部分について求められた周波数係数から再構成された輝度信号を用いる。次に、再構成された輝度は、重み付き平均を用いて第２の部分の測定された輝度と連結され、現在のセグメントの輝度測定値が形成される。そのような連結は、処理された信号と処理されていない信号との間の差を平滑化する効果を有し、これによって、推定されるバイタルサインの不連続性が低減される。

１つの実施の形態の目的は、車両を運転する人のバイタルサインの推定に適したＲＰＰＧシステムを提供することである。そのようなＲＰＰＧシステムは、運転手の注意力の変化を検出するのに有用であり、事故の防止に役立つことができる。残念なことに、運転手の監視へのＲＰＰＧの適用は、幾つかの特有の課題を提示する。具体的には、運転中、運転手の顔の照明は、劇的に変化する可能性がある。例えば、日中、太陽光は、運転手の顔に到達する前に、木、雲、及び建物によってフィルタリングされる。車両が移動するにつれて、この直接照明は、大きさ及び空間的広がりの双方において頻繁かつ劇的に変化する可能性がある。夜間、頭上の街灯及び接近する自動車のヘッドライトが、空間的に均一でない照明変化である大きな輝度を引き起こす。これらの照明変化は非常に劇的で遍在する可能性があるので、これらの照明変動を緩和する多くの手法は実用的ではない。

これらの課題に対処するために、１つの実施の形態は、太陽光及び街灯のスペクトルエネルギーがともに最小である狭いスペクトル帯域内のアクティブ車内照明を用いる。例えば、大気中の水分に起因して、地球の表面に到達する太陽光は、９４０ｎｍの周波数付近のエネルギーが、他の周波数におけるエネルギーよりもはるかに少ない。街灯及び車両ヘッドライトによって出力される光は、通常、可視スペクトルにあり、赤外線周波数における電力をほとんど有していない。そのために、１つの実施の形態は、９４０ｎｍにおけるアクティブ狭帯域照明源と、同じ周波数におけるカメラフィルターとを用いる。これによって、環境周囲照明に起因した照明変化の大部分をフィルタリング除去することが確保される。さらに、９４０ｎｍのこの狭い周波数帯域は可視範囲を越えているので、人間は、この光源を知覚せず、したがって、その存在によって注意が逸らされることはない。その上、アクティブ照明に用いられる光源の帯域幅が狭くなるほど、カメラにおける帯域通過フィルターをより狭くすることができ、これによって、周囲照明に起因した変化が更に除外される。例えば、幾つかの実施態様は、１０ｎｍの帯域幅を有するＬＥＤ光源及びカメラ帯域通過フィルターを用いる。

したがって、１つの実施の形態は、９４０ｎｍの近赤外線周波数を含む狭い周波数帯域において人の皮膚を照明する狭帯域幅近赤外線（ＮＩＲ）光源と、この狭い周波数帯域において皮膚の種々の領域の輝度を測定するＮＩＲカメラとを用いる。そのようにして、種々の領域のうちのそれぞれの領域の輝度の測定値は、単一チャネル測定値となる。

幾つかの実施の形態は、９４０ｎｍの近赤外線周波数を含む狭い周波数帯域では、ＮＩＲカメラによって観測される信号が、ＲＧＢカメラ等のカラー輝度カメラによって観測される信号よりもかなり弱いという認識に基づいている。しかしながら、実験は、弱い輝度信号を扱う際に幾つかの実施の形態によって用いられるスパース再構成ＲＰＰＧの有効性を実証している。

加えて、幾つかの実施の形態は、ＮＩＲカメラによって測定された輝度信号が弱いので、追加の方法が、測定された輝度のＳＮＲを増加させるのに有益であり得るという認識に基づいている。そのために、１つの実施の形態は、異常値ロバスト主成分分析（ＲＰＣＡ）を用いて種々の領域のうちのそれぞれの領域の輝度の測定値を雑音除去するフィルターを用いる。この実施の形態によって用いられるＲＰＣＡは、計算量が多く、ＲＧＢカメラを用いる場合のように、輝度信号が高いＳＮＲを有するときは必要でない場合がある。しかしながら、９４０ｎｍ周波数帯域における測定の場合、それらの追加の計算を正当化することができる。

リモートフォトプレチスモグラフィ（ＲＰＰＧ）を用いて人のバイタルサインを求めるために幾つかの実施の形態によって用いられる幾つかの原理を示す概略図である。 人の皮膚の種々の領域のフォトプレチスモグラフィ波形の結合推定に対して周波数領域における結合スパース性を実施するために幾つかの実施の形態によって用いられる幾つかの原理の概略図である。 幾つかの実施の形態によるリモートフォトプレチスモグラフィ（ＲＰＰＧ）システム１００ｃのブロック図である。 １つの実施の形態によるＲＰＰＧ方法のブロック図である。 幾つかの実施の形態の一例示的なＲＰＰＧ方法の概略図である。 種々の領域の有用性を評価するために幾つかの実施の形態によって用いられるＲＰＰＧ信号の信号対雑音比（ＳＮＲ）を求めるのに用いられる電力スペクトル曲線の概略図である。 １つの例によるＲＰＰＧシステムの概略図である。 別の例によるＲＰＰＧシステムの概略図である。 幾つかの実施の形態によって用いられる地球の表面における太陽光のスペクトルのプロットである。 ＩＲ及びＲＧＢにおけるＲＰＰＧ信号周波数スペクトルの比較のプロットである。 １つの実施の形態による、ＲＰＰＧ方法を実行して車両内の人のバイタルサインを生成するプロセッサを備える車両の概略図である。

図１Ａは、リモートフォトプレチスモグラフィ（ＲＰＰＧ）を用いて人のバイタルサインを求めるために幾つかの実施の形態によって用いられる幾つかの原理を示す概略図を示している。幾つかの実施の形態は、人１１０ａの皮膚の輝度（例えば、カメラ画像におけるピクセル輝度）の測定値の雑音に対するＲＰＰＧの感度が、種々の空間位置において測定された人の皮膚の輝度１２０ａ及び１３０ａからのフォトプレチスモグラフィ波形の独立した導出１４０ａによって少なくとも部分的に引き起こされるという認識に基づいている。幾つかの実施の形態は、異なる位置、例えば、人の皮膚の異なる領域では、測定輝度が、異なる雑音を受ける可能性があり、時には、無関係の雑音さえ受ける可能性があるという認識に基づいている。そのために、人の皮膚の種々の領域の輝度から独立して推定される（１４０ａ）フォトプレチスモグラフィ波形は、互いに援助し合ってそのような雑音を特定することができない場合がある。

幾つかの実施の形態は、人の皮膚の異なる領域において測定された輝度が、異なる雑音を受ける可能性があり、時には、無関係の雑音さえ受ける可能性があるという認識に基づいている。これとは対照的に、心拍動は、皮膚の種々の領域に存在する輝度変動の共通の源である。このため、ＲＰＰＧ推定の品質に対する雑音の影響は、独立した推定１４０ａが、皮膚の種々の領域において測定された人の皮膚の輝度の種々のフォトプレチスモグラフィ波形の結合推定１６０ａに置き換えられる（１５０ａ）と低減することができる。このように、これらの実施の形態は、多くの領域間で共有されない雑音信号を無視するとともに、多くの領域（多量の雑音も含み得る領域を含む）に共通のＰＰＧ波形を抽出することができる。

幾つかの実施の形態は、種々の領域のＰＰＧ波形を一括して推定すること、すなわち、共通のメトリック１８０ａを用いて推定することが有益であり得るという認識に基づいている。幾つかの実施の形態は、２つのタイプの雑音、すなわち、外部雑音及び内部雑音が、皮膚の輝度に作用しているという認識に基づいている。外部雑音は、ライティングの変動、人の動き、及び輝度を測定するセンサーの分解能等の外部要因に起因して、皮膚の輝度に影響を及ぼす。内部雑音は、人の皮膚の種々の領域の外見に対する心血管血流の種々の影響等の内部要因に起因して、皮膚の輝度に影響を及ぼす。例えば、心拍動は、鼻の輝度よりも人の前額部及び頬の輝度に大きな影響を及ぼすことができる。

幾つかの実施の形態は、双方のタイプの雑音は、輝度測定値の周波数領域において対処することができるという理解に基づいている。具体的には、外部雑音は、多くの場合、非周期的であるか、又は、対象となる信号（例えば、脈動信号）の周波数と異なる周期的周波数を有し、したがって、周波数領域において検出することができる。加えて、内部雑音は、皮膚の種々の領域において輝度の大きさの変動又は輝度変動の時間シフトをもたらすが、周波数領域における共通の輝度変動源の周期性を維持する。

そのために、幾つかの実施の形態は、種々の領域のフォトプレチスモグラフィ波形を推定するのに用いられる共通のメトリックが、輝度測定値自体の領域ではなく輝度測定値の周波数領域１８０ａにおいて実施されるべきであるという理解に基づいている。加えて、周波数係数の結合スパース性は、同じ周波数ビンにおいて種々のフォトプレチスモグラフィ波形を互いにスパースにし、及び／又は、同じ周波数ビンにおいて大きなエネルギーのみを保有させる。したがって、結合スパース性は、幾つかの実施の形態によって用いられる共通の輝度変動源の概念を十分に反映している。

図１Ｂは、人の皮膚の種々の領域のフォトプレチスモグラフィ波形の結合推定について周波数領域における結合スパース性を実施するために幾つかの実施の形態によって用いられる幾つかの原理の概略図を示している。幾つかの実施の形態は、心拍動信号等の幾つかのバイタルサインは、局所的に周期的であり、全ての領域内に存在するので、この共通のメトリックを周波数領域において実施すべきであるという理解に基づいている。しかしながら、輝度測定値は、同じく周期的である雑音による影響を受ける可能性がある。したがって、フォトプレチスモグラフィ波形の周波数係数が輝度測定値から直接導出される場合、そのような直接推定に対する周波数領域における共通のメトリックの実施は問題がある。

しかしながら、幾つかの実施の形態は、フォトプレチスモグラフィ波形の直接推定１１０ｂ、すなわち、測定値からの波形の導出を、測定された輝度から周波数係数を直接計算するのではなく、測定された輝度と整合するようにフォトプレチスモグラフィ波形の周波数係数を再構成する（１３０ｂ）最適化フレームワークと置き換える（１２０ｂ）ことができるという別の理解に基づいている。そのような周波数係数の推定を逆方向にすることによって、種々の領域の種々のフォトプレチスモグラフィ波形の周波数係数に対して、共通のメトリック、すなわち、結合スパース性を実施することができる制約を条件とした再構成を行うことが可能になる。

図１Ｃは、幾つかの実施の形態によるリモートフォトプレチスモグラフィ（ＲＰＰＧ）システム１００ｃのブロック図を示している。システム１００ｃは、記憶された命令を実行するように構成されたプロセッサ１２０ｃと、このプロセッサによって実行可能な命令を記憶するメモリ１４０ｃとを備える。プロセッサ１２０ｃは、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成物とすることができる。メモリ１４０ｃは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ１２０ｃは、１つ以上の入力デバイス及び出力デバイスにバス１０６ｃを通じて接続されている。

メモリ１４０ｃに記憶された命令は、人の皮膚の輝度の測定値から人のバイタルサインを推定するＲＰＰＧ方法を実施する。そのために、ＲＰＰＧシステム１００ｃは、輝度値１３４ｃを記憶するように適合された記憶デバイス１３０ｃと、プロセッサ１２０ｃによって実行されてバイタルサイン推定を行う構成要素１３１ｃ、１３２ｃ、及び１３３ｃ等の様々なモジュールとを備えることもできる。記憶デバイス１３０は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを用いて実施することができる。

例えば、ＲＰＰＧシステム１００ｃは、最適化問題を解いて、種々の領域において測定された輝度に対応するフォトプレチスモグラフィ波形の周波数係数を求めるソルバー１３１ｃを備える。異なる実施の形態によって用いられる幾つかの原理によれば、ソルバーは、周波数係数に対して結合スパース性を実施するとともに、周波数係数から再構成された皮膚の輝度と、対応する測定された皮膚の輝度との間の距離を削減する周波数係数を求める。周波数係数のそのような逆再構成によって、周波数領域において、共通のメトリック、すなわち、結合スパース性を実施することが可能になる。

ＲＰＰＧシステム１００ｃは、フォトプレチスモグラフィ波形の求められた周波数係数から人のバイタルサインを推定する推定器１３２ｃを備える。幾つかの実施態様では、ＲＰＰＧシステム１００ｃは、ロバスト主成分分析（ＲＰＣＡ）を用いて、種々の領域のうちのそれぞれの領域の輝度の測定値を雑音除去するフィルター１３３ｃを備える。

システム１００ｃは、人のバイタルサインを示す人の皮膚の種々の領域の輝度の測定値のシーケンスを受信する入力インターフェース１５０ｃを備える。例えば、この入力インターフェースは、ＲＰＰＧシステム１００ｃを、バス１０６ｃを通じてネットワーク１９０ｃに接続するように適合されたネットワークインターフェースコントローラーとすることができる。ネットワーク１９０ｃを通じて、輝度測定値１９５ｃをダウンロードし、記憶及び／又は更なる処理のために輝度値１３４ｃとしてコンピューターの記憶システム１３０ｃ内に記憶することができる。

加えて又は代替的に、幾つかの実施態様では、ＲＰＰＧシステム１００ｃは、輝度値１３４ｃを収集するカメラ等のリモートセンサー１１２ｃに接続されている。幾つかの実施態様では、システム１００ｃ内のヒューマンマシンインターフェース（ＨＭＩ）１１０ｃが、とりわけ、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチ画面等の入力デバイス１１１ｃにシステムを接続する。

ＲＰＰＧシステム１００ｃは、人のバイタルサインをレンダリングする出力インターフェースにバス１０６ｃを通じてリンクすることができる。例えば、ＲＰＰＧシステム１００ｃは、このシステム１００ｃをディスプレイデバイス１６５ｃに接続するように適合されたディスプレイインターフェース１６０ｃを備えることができる。ディスプレイデバイス１６５ｃは、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。

ＲＰＰＧシステム１００ｃは、このシステムを撮像デバイス１７５ｃに接続するように適合された撮像インターフェース１７０ｃを備えることもでき、及び／又は、撮像インターフェース１７０ｃに接続することもできる。撮像デバイス１７５ｃは、ビデオカメラ、コンピューター、モバイルデバイス、ウェブカム、又はそれらの任意の組み合わせを含むことができる。

幾つかの実施の形態では、ＲＰＰＧシステム１００ｃは、リモートフォトプレチスモグラフィの結果に基づいて動作することができるアプリケーションデバイス１８５ｃにＲＰＰＧシステム１００ｃを接続するように適合されたアプリケーションインターフェース１８０ｃにバス１０６ｃを通じて接続される。例えば、１つの実施の形態では、デバイス１８５ｃは、人のバイタルサインを用いて、自動車を制御、例えば操縦する方法を決定するカーナビゲーションシステムである。他の実施の形態では、このデバイスは、車両の構成要素を制御するのに用いることができる。例えば、１つの実施の形態では、デバイス１８５ｃは、運転手のバイタルサインを用いて、運転手が安全に運転することができる時、例えば、運転手が眠そうであるか否かを判断する運転手監視システムである。

図１Ｄは、１つの実施の形態によるＲＰＰＧ方法のブロック図を示している。人の一組の異なる皮膚領域１２０は、この皮膚から反射してきた光の輝度が或る期間にわたって変動するに従って、この輝度を測定するビデオカメラ等の入力インターフェース１１０を用いて測定され、未処理のＲＰＰＧ行列Ｐ １００が生成される。この図は、顔に位置する皮膚領域（顔面領域）を示しているが、様々な実施の形態は、顔を用いることに限定されないことが理解され、他の実施の形態は、人の首又は手首等の露出した皮膚の他の領域を用いる。未処理のＲＰＰＧ行列１００は、顔面領域の経時的な測定輝度を含み、ソルバー１５０を用いて処理される。ソルバー１５０は、ソルバー１３１ｃの一実施態様であり、反復プロセスを通じて人のバイタルサインに対応する周波数係数１３０を求める（１４０）。

幾つかの実施態様では、上記反復プロセスは、全ての顔面領域の推定される周波数係数１８５を０に設定し、これらの周波数係数１８５の逆フーリエ変換１７０を計算して、推定された領域輝度１７５を生成することによって開始する。これらの推定された領域輝度１７５は、ＲＰＰＧ信号のシステムの推定値を表し、次に、未処理のＲＰＰＧ行列１００から減算される（１９１）。未処理のＲＰＰＧ行列１００と推定された領域輝度１７５との間の差１９１は、フーリエ変換１６０を用いて変換され、一時的な周波数係数１６１が生成される。これらの一時的な周波数係数１６１は、推定された周波数係数１８５に加算され（１９２）、更新された周波数係数１６２が生成される。これらの更新された周波数係数１６２は、結合スパース性を実施する（１８０）ように変更され、その結果得られた周波数係数が、新たな推定された周波数係数１８５として用いられる。これらの新たな推定された周波数係数１８５は、前反復の推定された周波数係数１８５に取って代わり、ソルバープロセス１５０の次の反復に用いられる。

幾つかの実施の形態では、ソルバーは、結合スパース性を最適化問題のソフト制約として実施し、結合スパース性を実施する（１８０）ことが、少数の周波数ビンのみにおいて、推定された周波数係数１８５に非ゼロの値を持たせるようにし、非ゼロのビンが全ての顔面領域にわたって同じ周波数ビンであるようにする。反復的なソルバープロセス１５０は、収束条件が満たされる（１８６）まで、例えば、新たな推定された周波数係数１８５が前反復の推定された周波数係数１８５から本質的に変更されなくなるまで繰り返される。収束１８６後、推定された周波数係数１８５は、ソルバーによって出力され、バイタルサインを推定する（１４０）のに用いられる。例えば、１つの実施の形態では、推定されたバイタルサインは、上記或る期間にわたる人の心拍動の周波数１３０である。

図２は、ＮＩＲ照明及び未知の環境光の組み合わせとともに記録されたビデオに適用することができるＲＰＰＧ信号追跡及び雑音除去に適合された幾つかの実施の形態の一例示的なＲＰＰＧ方法の概略図を示している。幾つかの実施態様では、ＲＰＰＧ方法は、ＲＰＰＧ信号を抽出、追跡、及び雑音除去して、心拍数測定値を得る。この方法は、顔面領域を適応的に選択し、すなわち、所望のバイタルサインが未処理のＲＰＰＧ信号に大きく寄与する複数の顔面領域を選択し、脈動信号が周波数領域においてスパースであるとともに顔面領域にわたって低ランクであるべきということに依拠することによって、それらの推定されたＲＰＰＧ信号を雑音除去する。

ＲＰＰＧ方法は、各時間ステップ（例えば、各ビデオフレーム）においてＮ個の皮膚領域１２０のそれぞれにおける全てのピクセルにわたってピクセル輝度を平均することによって、人のビデオから未処理のＲＰＰＧ信号を得る（２１０）。幾つかの実施の形態では、これらの皮膚領域１２０は、前額部、頬、及び下顎エリアの周辺に焦点を当てた顔面領域である。幾つかの実施の形態では、ＲＰＰＧ方法は、顔の境界と、目、鼻、及び口とに沿ったエリアを除外する。なぜならば、これらのエリアが示すＲＰＰＧ信号は弱いからである。

全ての顔面領域ｊ∈｛１，．．．，Ｎ｝について、測定された輝度ｐ_ｊ（ｔ）は１次元時系列信号である。ここで、ｔ∈｛１，．．．，Ｔ｝は、長さＴの時間窓内の時間ビデオフレームインデックスである。幾つかの実施の形態では、測定された輝度ｐ_ｊ（ｔ）は、時刻ｔにおける領域ｊ内の全てのピクセルの輝度の平均である。他の実施の形態では、測定された輝度は、時刻ｔにおける領域ｊ内のピクセル全体にわたる中央輝度、又は、領域の輝度の他の或るロバストな平均尺度等の領域輝度の別の尺度とすることができる。

一般的な定式化では、ＲＰＰＧ方法は、Ｎ個の顔面領域からのＲＰＰＧ測定値を、全ての顔面領域ｊが雑音によって汚染された基本となる心拍動信号の異なるチャネル測定値を提供するマルチチャネル信号取得シナリオとしてモデル化する。特に、１つの実施の形態は、測定された信号ｐ_ｊ（ｔ）を以下のようにモデル化する。

ここで、＊は、線形畳み込み演算子であり、ｙ_ｊ（ｔ）は、チャネルｊにおいて観測された心拍動信号を示し、ｈ_ｊ（ｔ）及びｎ_ｊ（ｔ）は、それぞれチャネル応答関数及びチャネル雑音である。心拍動信号は、周波数領域においてスパースであることが分かっているので、（１）を、以下に示すようにベクトル形式に書き換えることにする。

ここで、Ｆは、サイズＴの１次元離散フーリエ変換であり、

は、心拍動信号

のスパース周波数スペクトルを示す。

（２）における信号モデルは、無線通信及びセンサー較正等の分野に見られるブラインドマルチチャネル推定問題（blind multichannel estimation problem）である。特に、

が、全ての領域ｊにわたって一定である場合、この問題は、複数スナップショットモデル（multiple snapshots model）からの自己較正として扱われる。これらのモデルが復元可能性である否かは、チャネル応答ｈ_ｊ及びスパース信号

の低次元特性を見つける能力に依拠する。これらの実施の形態は、以下の信号モデルを検討する。

ここで、スパーススペクトル信号ｘ_ｊは、互いに等しくないが、同じサポート（support：台）を共有する。すなわち、非ゼロのエネルギーを有する周波数は、全ての顔面領域にわたってほとんど同じである。

幾つかの実施の形態では、ＲＰＰＧ方法は、ロバスト主成分分析（ＲＰＣＡ）を用いて、種々の領域のうちのそれぞれの領域の輝度の測定値の雑音を除去する。例えば、１つの実施の形態は、長さＴのスライディング時間窓を考慮することによってＲＰＰＧデータを処理する。図２に示すように、各時間窓について、幾つかの実施の形態は、Ｎ個のＲＰＰＧ信号をＴ×ＮのＲＰＰＧ行列Ｐ １００にスタックする。１つの実施の形態では、行列Ｐの列は、各列のエントリーをその列における平均エネルギーによって除算することによって前処理される。この平均輝度によって除算するプロセスによって、行列Ｐにおける輝度の範囲が正規化され、処理が全ての領域を等しく取り扱うことが可能になる。

ＲＰＰＧ行列１００は、不正確な動きアライメント、突然の照明変化、及び領域にわたるＲＰＰＧ信号の強度の変動等の要因に起因した大量の雑音によって汚染される可能性がある未処理のＲＰＰＧ信号を含む。しかしながら、全ての領域は、心臓周期によって引き起こされる同じ周期的な生理学的信号（すなわち、脈動信号）を表す。その上、時間窓の継続時間にわたる基本となる心拍動信号の周期性は、雑音が除去されると、低ランク行列を誘導する。したがって、Ｅが正常値（inlier）雑音２３２を示し、Ｓが異常値雑音２２２を示すものとすると、幾つかの実施の形態は、以下の式のように、ＲＰＰＧ行列Ｐ １００を、心拍動信号を含む低ランク行列Ｙと雑音行列Ｎ＝Ｅ＋Ｓとの重ね合わせとしてモデル化する。

例えば、異常値雑音２２２は、突然の照明変化及び領域追跡エラーから発生する。これらは、一般に、時間処理窓に対して相対的に短い継続時間にわたって生じ、少数の領域に影響を及ぼす。正常値雑音２３２は、心拍動信号が支配的な駆動調波でない顔の領域を特徴付ける。この場合、幾つかの実施の形態は、そのような領域を心拍動信号推定から抑制する。ＰからＹの推定値を抽出するとともに異常値を抑制するために、これらの実施の形態は、ロバスト主成分分析（ＲＰＣＡ）２４０の手法に従い、以下の最適化問題を定式化する。

ただし、Ｐ＝Ｚ＋Ｓを条件とする
ここで、｜｜Ｚ｜｜_＊＝Σ_ｋσ_ｋ（Ｙ）は、行列Ｚの特異値σ_ｋの総和に等しい行列Ｚの核ノルムを示す。行列Ｓのｌ_１ノルムは、そのエントリーの絶対値の総和に等しい｜｜Ｓ｜｜_ｌ＝Σ_ｔ，ｊ｜Ｓ（ｔ，ｊ）｜として定義される。パラメーターγは、雑音成分Ｓに吸収される信号エネルギーの相対的な割合を制御する（例えば、１つの実施の形態では、γ＝０．０５に設定される）。γの値が小さいほど、信号のより多くの部分を雑音とみなすことが可能になる。

様々な実施の形態は、最適化問題（５）を解く種々の方法を用いる。例えば、１つの実施の形態は、低ランク行列Ｚを２つの因数Ｚ＝ＬＲ^Ｔに分割する。ここで、

、及びｒ＜Ｔであり、Ｎは、ランク推定値パラメーターである（例えば、１つの実施の形態では、ランクｒ＝１２に設定される）。ＲＰＣＡモデルは、ＲＰＰＧ測定値からスパース異常値雑音２２２を除去し、この手法を高速で正確なものにすることが可能であることに注目されたい。

ＲＰＰＧ信号の雑音除去を例示したものが、図２のセクション２２０に示すＲＰＣＡ２４０である。しかしながら、幾つかの場合には、顔面領域からの信号は、時間窓全体について雑音を有することが起こり得る。そのような雑音分布であっても、低ランクとしてモデル化することができ、したがって、ＲＰＣＡによって除去されない。幾つかの実施の形態は、スパーススペクトル推定２５０を用いてそのような雑音アーティファクトに対処する。

例えば、短い時間窓にわたって、心拍動信号は、ほぼ周期的であり、その高調波とともに支配的な周波数から構成される。その結果、心拍動信号の周波数スペクトルはスパースになる。その上、全ての顔面領域にわたるＲＰＰＧ信号において、同じ心拍動信号が周期的な挙動を駆動する。したがって、全ての領域ｊからの信号ｙ_ｊの雑音のない周波数スペクトルｘ_ｊは、同じサポートを有する。

ＲＰＣＡの雑音除去された出力をｚ_ｊ＝Ｆ^−１ｘ_ｊ＋ｅ_ｊとしてモデル化するように書き換えられるとともに、以下の行列形式で記述された（４）における信号モデルを考える。

ここで、Ｅ ２３２は、領域レベル雑音に対応する。したがって、或る領域が雑音を有する場合に、幾つかの実施の形態は、その領域の時間窓全体（全てのサンプル）を行列Ｅ内に取り入れる。これは、Ｅの列全体をゼロ又は非ゼロのいずれかにすることによって行うことができる。他方、Ｘ １３０における周波数成分は、全ての領域にわたってスパースであるとともに同じサポートを有するべきであるので、Ｘの列は、結合スパース（jointly sparse）である。すなわち、Ｘの行全体が、完全にゼロ又は非ゼロのいずれかである。

その結果、幾つかの実施の形態は、Ｚ ２２１からＸ １３０及びＥ ２３２を計算する以下の最適化問題を定義する。

ここで、行列Ａは、ブロック行列Ａ＝［Ｆ^−１ Ｉ］として定義されたものであり、行列Ｘのｌ_２，１ノルムは、以下のように定義される。

１つの実施の形態では、λ＝０．２、μ＝１に設定される。上記問題に対する解は、ＦＩＳＴＡ等の反復的な縮小／閾値処理方法を用いて得ることができる。ここで、縮小関数は、Ｘの行ノルム及びＥの列ノルムに適切に適用されて、回復信号Ｘ １３０及び雑音Ｅ ２３２の周波数スペクトル２３０を生成する。

そのようにして、最適化問題は、周波数係数の２−１ノルム、及び、測定された輝度と周波数係数から再構成された輝度との間の差を含む。この周波数係数の２−１ノルムは、重み付けされたもの又は重み付けされていないものである。ｌ_２，１ノルム正則化を用いてＸの結合スパース性を実施することによって、顔面領域は、最大でも、複数の顔面領域に共通の少数の周波数ビンにおいて非ゼロの周波数係数を有し、残りの全ての周波数係数はゼロに設定される。

時間窓の融合
心拍動信号は、時間とともにゆっくりと変動するので、ＲＰＰＧ観測結果は、ほぼ静止したプロセスからのマルチチャネル測定値とみなすことができる。したがって、ＲＰＰＧ信号は、以下のスライディング窓を用いて処理される。

ここで、Ｐ_ｎは、以前の窓に存在しなかった新たなＲＰＰＧデータを示し、Ｐ_ｏは、以前の（旧）窓のＲＰＰＧデータであって現在の窓にもある部分である。より良好な雑音抑制のために、以下の加重平均時間融合窓が構成される。

ここで、

は、以前の時間窓のフィルタリングされた出力であり、

は、現在の窓にも存在する

の部分である。この時間融合窓

は、次に、ＲＰＣＡ手順を用いて更なる雑音除去を受け、新たなスパーススペクトルが上述したように推定される。

そのようにして、バイタルサインは、測定値のシーケンスの種々のセグメントを規定する時間窓について反復的に求められる。現在の反復の測定値のセグメントは、第１の部分及び第２の部分を含み、第１の部分は、現在の反復のセグメントの第１の部分に対応する期間について以前の反復中に求められた周波数係数から再構成された輝度によって形成され、第２の部分は、セグメントの第２の部分の期間について測定された輝度によって形成される。そのようにして、バイタルサイン推定の不連続性を低減することができる。

例えば、１つの実施の形態は、継続時間１０秒の時間窓と、時間窓の間の部分的な重複とを用いる。ここで、１０フレーム（３０フレーム毎秒（ｆｐｓ）で記録されたビデオの場合、０．３３秒）のみが、新たな時間窓に由来し、時間融合窓の平均化のための重みは、α＝０．０３に設定される。

顔面領域を除外する前処理
幾つかの顔面領域は、より良好なＲＰＰＧ信号を含むことが生理学的に知られている。しかしながら、これらの顔面領域の「良好性」は、特定のビデオ条件、顔の毛、又は顔のオクルージョンにも依存する。したがって、処理前に、どの領域が最も多くの雑音を含む可能性が高いのかを特定してそれらの領域を除去し、それらの領域が信号推定値に影響を及ぼさないようにすることが有益である。

図３は、種々の領域の有用性を評価するために幾つかの実施の形態によって用いられるＲＰＰＧ信号の信号対雑音比（ＳＮＲ）を求めるのに用いられる電力スペクトル曲線の概略図を示している。例えば、幾つかの実施の形態は、或る領域のＳＮＲが閾値θ_ＳＮＲ（例えば、θ_ＳＮＲ＝０．２）未満である場合、又は、その領域の最大振幅が閾値θ_ａｍｐよりも大きい場合に、その領域を廃棄することによってこれを行う。例えば、１つの実施の形態は、θ_ａｍｐを平均ＲＰＰＧ信号振幅の４倍に設定し、及び／又は、ＳＮＲは、周波数スペクトルの最大ピークの周囲の領域３１０における電力スペクトル曲線の下側の面積を、心拍動信号の生理学的範囲３２０（例えば、３０脈拍毎秒（ｂｐｍ）〜３００ｂｐｍ）を含む周波数範囲内の周波数スペクトルの残りの部分におけるこの曲線の下側の面積によって除算した比として求められる（３００）。

幾つかの実施の形態は、各時間窓内において、種々の顔面領域を除外することができる。時間窓の融合を行うために、これらの実施の形態は、まず、近傍の領域からの内挿を行うことによって、欠落した領域における信号Ｘを再構成する。

例示的な実施態様（複数の場合もある）
未処理のＲＰＰＧ信号Ｐ １００を計算するために、幾つかの実施の形態は、まず、顔アライメント（すなわち、顔のランドマーク検出）方法を用いて、複数（例えば、６８個）の顔のランドマーク２１１を検出し、次に、検出されたランドマークを内挿及び外挿して、前額部領域を含むようにより多くの数（例えば、１４５個）の内挿されたランドマーク２１２にし、顔をより多くの領域に細分する。顔を複数（例えば、４８個）の顔面領域１２０に分割するのに、顔のランドマークが用いられる。

心拍動に起因したピクセル輝度変化は、各ピクセルの輝度の僅かな部分にすぎないので、安定した信号を得るために、顔の領域にわたってピクセルの輝度を平均することが必要である。しかしながら、この信号は、どのピクセルが領域に含まれているかに対して依然として高感度である。幾つかの実施の形態では、各ビデオフレームにおいて顔面領域が再検出される。しかしながら、顔アライメントアルゴリズムを各フレームに独立して適用することは、領域をフレームごとに少しずつ移動させる可能性があり、領域に含まれるピクセルのこの変化は、余分な雑音を追加する可能性があり、これは、対象となるバイタルサインの推定を困難にする。そのような雑音を最小にするために、幾つかの実施の形態は、顔のランドマーク又は対象となる顔面領域を追跡する。例えば、１つの実施の形態は、カナデ・ルーカス・トマシ（ＫＬＴ：Kanade-Lucas-Tomasi）トラッカー及びＲＡＮＳＡＣ法を用いて顔面領域を追跡する。各フレームにおいて、この実施の形態は、各顔面領域におけるピクセル輝度を空間的に平均して、未処理のＲＰＰＧ信号を得る。この実施の形態は、各領域の信号の経時的な平均輝度を減算し、帯域通過フィルターを用いて、対象となる心臓の信号の生理学的範囲を含む周波数範囲［３０ｂｐｍ，３００ｂｐｍ］に信号を制限する。

各顔面領域からの雑音除去された信号を組み合わせるために、Ｘの領域にわたる各周波数ビンにおける中央値が取られる。この中央値は、異常値に対してロバストな平均を得るために用いられるが、他の実施の形態は、この中央値の代わりに平均等の他の平均化方法を用いることができる。時間窓における心拍数の推定値は、周波数スペクトルの電力が最大である周波数成分である。

図４Ａは、１つの例によるＲＰＰＧシステムの概略図を示している。この例では、患者１０が、病院ベッドにおいて入院している。そのような入院シナリオでは、患者１０のバイタルサインを監視する必要がある。従来の監視システムは、そのために、通常、取り付け可能センサー、すなわち、身体装着型センサーに依拠している。患者の快適さを向上するために、必要とされるケーブル配線を削減することができるリモート監視システムを用いることができる。図４Ａには、本発明の一態様による患者１０のバイタルサインをリモートに監視する監視システム１２が示されている。図示したシステム１２は、そのために、リモートフォトプレチスモグラフィ測定原理を利用する。そのために、カメラ１４が、患者１０の画像、すなわちビデオシーケンスをキャプチャーするのに用いられる。

このカメラは、入射光及びその輝度変動を電子信号に変換するＣＣＤセンサー又はＣＭＯＳセンサーを備えることができる。カメラ１４は、患者１０の皮膚部分から反射された光を特に非侵襲的にキャプチャーする。そのため、皮膚部分は、患者の前額部又は胸部を特に指す場合がある。光源、例えば、赤外線光源又は可視光源を用いて、患者、又は、患者の皮膚部分を含む対象領域を照明することができる。或る特定の限られたスペクトルの光を用いて患者１０を照明することも可能であり得るし、２つの特定のスペクトル（すなわち、色）に起因した相違を分析するために、それらのスペクトルを別々にキャプチャーすることも可能であり得る。キャプチャーされた画像に基づいて、患者１０のバイタルサインに関する情報を求めることができる。特に、患者１０の心拍数、呼吸数又は血液酸素化等のバイタルサインを求めることができる。求められた情報は、通常、求められたバイタルサインを提示するオペレーターインターフェース１６上に表示される。そのようなオペレーターインターフェース１６は、患者ベッドサイドモニターとすることもできるし、病院内の専用ルーム又は更には遠隔医療アプリケーションにおけるリモートロケーションにあるリモート監視ステーションとすることもできる。バイタルサイン情報を表示することができるようにする前に、検出された画像を処理する必要がある。しかしながら、検出された画像は雑音成分を含む場合がある。主要な雑音源は、患者１０の動き及び（周囲の）光変動である。したがって、適切な信号処理が必要とされる。通常、バイタルサイン（心拍数、呼吸数、血中酸素飽和度）を多かれ少なかれ表す複数の時間信号が取得される。この取得は、そのために、特定のスペクトル範囲（可視、赤外線、選択されたスペクトル帯域の組み合わせ）に対して作動させることができ、場合によっては、グローバルレベル又はローカルレベル（皮膚測定エリア当たり１つの時間信号か、その皮膚測定エリアから発信される幾つかの信号か）において作動させることができ、主成分分析、独立成分分析、局所密度近似、色部分空間内への線形射影、又はウェーブレット分解、正弦波モデリング分解、及び経験的モード分解（ＥＭＤ）のような信号分解技法のような技法を伴うことができる。

図４Ｂは、別の例によるＲＰＰＧシステムの概略図を示している。この例では、システム１２は、動き／光歪の下で正確な測定値を提供するために、病室の制御環境から運転手監視システム（ＤＭＳ）４０の変化しやすい（volatile）環境に適合されている。

そのために、幾つかの実施の形態は、車両を運転する人のバイタルサインの推定に適したＲＰＰＧシステムを提供する。そのようなＲＰＰＧシステムは、運転手の注意力の変化を検出するのに有用であり、事故の防止に役立つことができる。残念なことに、運転手の監視へのＲＰＰＧの適用は、幾つかの特有の課題を提示する。具体的には、運転中、運転手の顔への照明は、劇的に変化する可能性がある。例えば、日中、太陽光は、運転手の顔に到達する前に、木、雲、及び建物によってフィルタリングされる。車両が移動するにつれて、この直接照明は、大きさ及び空間的広がりの双方において頻繁かつ劇的に変化する可能性がある。夜間、頭上の街灯及び接近する自動車のヘッドライトが、照明の空間的に均一でない変化である大きな輝度変化を引き起こす。これらの照明変化は非常に劇的で遍在する可能性があるので、これらの照明変動を緩和する多くの手法は実用的ではない。

これらの課題に対処するために、上記で開示した結合スパース性を有するスパース再構成に加えて又はこれに代えて、１つの実施の形態は、太陽光及び街灯のスペクトルエネルギーがともに最小である狭いスペクトル帯域内のアクティブ車内照明を用いる。

図５は、幾つかの実施の形態によって用いられる地球の表面における太陽光のスペクトルのプロットを示している。例えば、大気中の水分に起因して、地球の表面に到達する太陽光は、９４０ｎｍの周波数付近のエネルギーが、他の周波数におけるエネルギーよりもはるかに少ない。街灯及び車両ヘッドライトによって出力される光は、通常、可視スペクトルにあり、赤外線周波数における電力をほとんど有していない。そのために、１つの実施の形態は、９４０ｎｍにおけるアクティブ狭帯域照明源と、同じ周波数におけるカメラフィルターとを用いる。これによって、環境周囲照明に起因した照明変化の大部分をフィルタリング除去することが確保される。さらに、９４０ｎｍのこの狭い周波数帯域は可視範囲を越えているので、人間は、この光源を知覚せず、したがって、その存在によって注意が逸らされることはない。その上、アクティブ照明に用いられる光源の帯域幅が狭くなるほど、カメラにおける帯域通過フィルターをより狭くすることができ、これによって、周囲照明に起因した変化が更に除外される。例えば、幾つかの実施態様は、１０ｎｍの帯域幅を有するＬＥＤ光源及びカメラ帯域通過フィルターを用いる。

したがって、１つの実施の形態は、９４０ｎｍの近赤外線周波数を含む狭い周波数帯域において人の皮膚を照明する狭帯域幅近赤外線（ＮＩＲ）光源と、この狭い周波数帯域において皮膚の種々の領域の輝度を測定するＮＩＲカメラとを用いる。そのようにして、種々の領域のうちのそれぞれ領域の輝度の測定値は、単一チャネル測定値となる。

幾つかの実施の形態は、９４０ｎｍの近赤外線周波数を含む狭い周波数帯域では、ＮＩＲカメラによって観測される信号が、ＲＧＢカメラ等のカラー輝度カメラによって観測される信号よりもかなり弱いという認識に基づいている。しかしながら、実験は、弱い輝度信号を扱う際に幾つかの実施の形態によって用いられるスパース再構成ＲＰＰＧの有効性を実証している。

図６は、ＩＲ及びＲＧＢにおけるＲＰＰＧ信号周波数スペクトルの比較のためのプロットを示している。ＩＲにおけるＲＰＰＧ信号６１０は、ＲＧＢにおける信号６２０よりも約１０倍弱い。したがって、１つの実施の形態のＲＰＰＧシステムは、人の皮膚を照明する近赤外線（ＮＩＲ）光源であって、第１の周波数帯域における照明を提供するＮＩＲ光源と、第１の周波数帯域と部分的に重複する第２の周波数帯域において種々の領域のうちのそれぞれの領域の輝度を測定するカメラとを備え、皮膚の領域の測定された輝度は、この皮膚の領域の画像のピクセルの輝度から計算されるようになっている。

第１の周波数帯域及び第２の周波数帯域は、９４０ｎｍの近赤外線周波数を含む。システムは、ロバスト主成分分析（ＲＰＣＡ）を用いて種々の領域のうちのそれぞれの領域の輝度の測定値を雑音除去するフィルターを備える。１つの実施の形態ではカメラにおける帯域通過フィルターによって決まる第２の周波数帯域は、２０ｎｍよりも小さい幅の通過帯域を有し、例えば、この帯域通過フィルターは、その半値全幅（ＦＷＨＭ）が２０ｎｍよりも小さい、狭い通過帯域を有する。換言すれば、第１の周波数帯域と第２の周波数帯域との間の部分的重複は、２０ｎｍ幅よりも小さい。スパース再構成と組み合わさったそのようなシステムは、ＤＭＳ環境のＲＰＰＧを実行することができる。

幾つかの実施の形態は、帯域通過フィルター及びロングパスフィルター（すなわち、波長がカットオフ周波数よりも小さい光の透過を阻止するが、波長が第２のカットオフ周波数（多くの場合に、同じカットオフ周波数）よりも大きい光の透過を可能にするフィルター）等の光学フィルターが、フィルターを通過する光の入射角に非常に高感度であり得るという理解を取り入れている。例えば、光学フィルターは、光が光学フィルターの対称軸に平行（光学フィルターの表面にほぼ垂直）（０度の入射角と呼ばれる）に光学フィルターに入ると、指定された周波数範囲を透過及び阻止するように設計することができる。入射角が０度から変動すると、多くの光学フィルターは、フィルターの通過帯域及び／又はカットオフ周波数がより短い波長に事実上シフトする「青方偏移」を示す。この青方偏移現象に対処するために、幾つかの実施の形態は、９４０ｎｍよりも長い波長を有するために、第１の周波数帯域と第２の周波数帯域との間の部分的重複の中心周波数を用いる（例えば、幾つかの実施の形態は、帯域通過光学フィルターの中心周波数又はロングパス光学フィルターのカットオフ周波数を、９４０ｎｍよりも長い波長を有するようにシフトする）。

さらに、皮膚の異なる部分からの光は、異なる入射角で光学フィルターに入射するので、光学フィルターは、皮膚の異なる部分からの光の異なる透過を可能にする。これを補償するために、幾つかの実施の形態は、より広い通過帯域を有する帯域通過フィルターを用い、例えば、帯域通過光学フィルターは、２０ｎｍよりも広い通過帯域を有し、したがって、第１の周波数帯域と第２の周波数帯域との間の部分的重複は２０ｎｍ幅よりも大きい。

図７は、１つの実施の形態による、ＲＰＰＧ７０５を実行して車両内の人のバイタルサイン７２６を生成するプロセッサ７０２を備える車両７０１の概略図を示している。この実施の形態では、ＮＩＲ光源及び／又はＮＩＲカメラ７２０が、車両７０１に配置されている。例えば、ＮＩＲ光源は、車両を運転する人の皮膚を照明するために車両に配置され、ＮＩＲカメラ７２０は、車両を運転する人の皮膚の種々の領域の輝度を測定するために車両に配置されている。この実施の形態は、車両を運転する人の推定されたバイタルサインに基づいて制御動作を実行するコントローラー７５０も備える。例えば、このコントローラーは、車両の減速及び／又は車両の操縦変更を行うことができる。

本発明の上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。

また、本発明の実施の形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施の形態を構築することができ、これには、例示の実施の形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。

請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (16)

1. 人のバイタルサインを示す該人の皮膚の種々の領域の輝度の測定値のシーケンスを受信する入力インターフェースと、
   最適化問題を解いて、前記種々の領域における測定された前記輝度に対応するフォトプレチスモグラフィ波形の周波数係数を求めるソルバーであって、前記皮膚の種々の領域にわたる前記輝度の該周波数係数に対して結合スパース性を実施するとともに、該周波数係数から再構成された前記皮膚の輝度と、前記皮膚の対応する測定された前記輝度との間の差を削減する前記周波数係数を求める、ソルバーと、
   前記フォトプレチスモグラフィ波形の求められた周波数係数から前記人の前記バイタルサインを推定する推定器と、
   を備える、リモートフォトプレチスモグラフィ（ＲＰＰＧ）システム。
2. 前記ソルバーは、前記結合スパース性を前記最適化問題のソフト制約として実施する、請求項１に記載のＲＰＰＧシステム。
3. 前記最適化問題は、前記周波数係数のｌ _２、１ ノルム、及び、測定された前記輝度と前記周波数係数から再構成された前記輝度との間の差を含み、前記周波数係数の前記ｌ _２、１ ノルムは、重み付けされたもの又は重み付けされていないものである、請求項１に記載のＲＰＰＧシステム。
4. 前記バイタルサインは、前記測定値のシーケンスの種々のセグメントについて反復的に求められ、現在の測定値のセグメントは、第１の部分及び第２の部分を含み、前記第１の部分は、前記現在のセグメントの該第１の部分に対応する期間について以前に求められた前記周波数係数から再構成された輝度によって形成され、前記第２の部分は、前記セグメントの該第２の部分の期間について測定された輝度によって形成される、請求項１に記載のＲＰＰＧシステム。
5. 皮膚領域の前記輝度は、カメラを用いて測定され、測定された前記輝度は、前記皮膚の前記領域に対応するピクセルの画像輝度から計算される、請求項１に記載のＲＰＰＧシステム。
6. 前記人の前記皮膚を照明する近赤外線（ＮＩＲ）光源であって、第１の周波数帯域における照明を提供する、ＮＩＲ光源と、
   前記皮膚の領域の測定された前記輝度が、前記皮膚の該領域の画像のピクセルの輝度から計算されるように、前記第１の周波数帯域と部分的に重複する第２の周波数帯域において前記種々の領域のうちのそれぞれの領域の前記輝度を測定するカメラと、
   を更に備える、請求項１に記載のＲＰＰＧシステム。
7. 前記ＲＰＰＧシステムは、
   ロバスト主成分分析（ＲＰＣＡ）を用いて前記種々の領域のうちのそれぞれの領域の前記輝度の前記測定値を雑音除去するフィルター、
   を更に備える、請求項６に記載のＲＰＰＧシステム。
8. 車両の少なくとも１つの構成要素を制御する制御システムであって、
   請求項６に記載のＲＰＰＧシステムであって、前記ＮＩＲ光源は、前記車両内に配置されて、前記車両を運転する前記人の前記皮膚を照明し、前記カメラは、前記車両内に配置されて、前記車両を運転する前記人の前記皮膚の種々の領域の前記輝度を測定する、ＲＰＰＧシステムと、
   前記車両を運転する前記人の前記推定されたバイタルサインに基づいて制御動作を実行するコントローラーと、
   を備える、制御システム。
9. 前記皮膚の前記領域の測定された前記輝度は、前記皮膚の前記領域の画像のピクセルの前記輝度の平均又は中央値である、請求項５に記載のＲＰＰＧシステム。
10. 前記ピクセルの輝度は、前記画像の単一チャネルに属する、請求項９に記載のＲＰＰＧシステム。
11. 前記皮膚の前記領域は、自動顔ランドマーク検出を用いて前記カメラによって特定された前記人の顔における領域である、請求項５に記載のＲＰＰＧシステム。
12. 前記バイタルサインは前記人の脈拍数を含む、請求項１に記載のＲＰＰＧシステム。
13. 前記人の前記バイタルサインをレンダリングする出力インターフェース、
    を更に備える、請求項１に記載のＲＰＰＧシステム。
14. リモートフォトプレチスモグラフィ（ＲＰＰＧ）方法であって、該方法は、該方法を実施する記憶された命令と結合されたプロセッサを用い、該命令は、該プロセッサによって実行されると、該方法のステップを実行し、該ステップは、
    人のバイタルサインを示す該人の皮膚の種々の領域の輝度の測定値のシーケンスを受信するステップと、
    最適化問題を解いて、前記種々の領域における測定された前記輝度に対応するフォトプレチスモグラフィ波形の周波数係数を求めるステップであって、
    前記求めるステップは、
    前記周波数係数に対して結合スパース性を前記最適化問題のソフト制約として実施するとともに、前記周波数係数から再構成された前記皮膚の輝度と、前記皮膚の対応する測定された前記輝度との間の差を削減する前記周波数係数を求める、ステップと、
    前記フォトプレチスモグラフィ波形の求められた周波数係数から前記人の前記バイタルサインを推定するステップと、
    を含む、方法。
15. 前記最適化問題は、前記周波数係数のｌ _２、１ ノルム、及び、測定された前記輝度と前記周波数係数から再構成された前記輝度との間の差を含み、前記周波数係数の前記ｌ _２、１ ノルムは、重み付けされたもの又は重み付けされていないものであり、前記バイタルサインは、前記測定値のシーケンスの種々のセグメントについて反復的に求められ、現在の測定値のセグメントは、第１の部分及び第２の部分を含み、前記第１の部分は、前記セグメントの該第１の部分の期間について以前に求められた前記周波数係数から再構成された輝度によって形成され、前記第２の部分は、前記セグメントの該第２の部分の期間について測定された輝度によって形成される、請求項１４に記載のＲＰＰＧ方法。
16. 方法を実行するプロセッサによって実行可能なプログラムが具現化される非一時的コンピューター可読記憶媒体であって、前記方法は、
    人のバイタルサインを示す該人の皮膚の種々の領域の輝度の測定値のシーケンスを受信することと、
    最適化問題を解いて、前記種々の領域における測定された前記輝度に対応するフォトプレチスモグラフィ波形の周波数係数を求めることであって、
    前記求めることは、
    前記周波数係数に対して結合スパース性を実施するとともに、前記周波数係数から再構成された前記皮膚の輝度と、前記皮膚の対応する測定された前記輝度との間の差を削減する前記周波数係数を求めることと、
    前記フォトプレチスモグラフィ波形の求められた周波数係数から前記人の前記バイタルサインを推定することと、
    前記人の前記バイタルサインをレンダリングすることと、
    を含む、非一時的コンピューター可読記憶媒体。

Images