JP2024518677A - Ｒｇｂ画像から心拍数を抽出するための方法及びシステム - Google Patents

Abstract

遠隔フォトプレチスモグラフィー（ｒＰＰＧ）を使用して、１つ以上の心拍数特徴を判定するための方法及びシステム。この方法は、車内のカメラによって車内のユーザの一連の画像を取り込むことであって、各画像は１つ以上の色信号を含み、画像の各々について、画像内でユーザの顔を位置特定し、画像の境界を判定し、顔は境界内で位置特定され、境界内で１つ以上の顔の特徴を検出し、検出された顔の特徴に基づいて、顔の皮膚パッチを表す画像の１つ以上の領域を判定する、取り込むこと、皮膚パッチを表す領域の色信号を分析すること、及び分析に基づいて１つ以上の心拍数特徴を判定することを含む。この方法は、さらなる分析のために所定の類似性のレベル及び／または所定のノイズのレベルに達する１つ以上の皮膚パッチの１つ以上の脈波及び／または周波数スペクトルを選択すること及び他のすべての脈波及び／または周波数スペクトルを破棄することをさらに含む。【選択図】図１

Description

本開示は、人の生理学的または心理的状態をモニタリングするための方法及びシステムに関し、特に、心拍数及び心拍間隔などの心拍数特徴を判定することに関する。

心拍数特徴は、人間の生理学的及び心理的な情報の源である。心拍数そのもの、心拍間隔、その変動などのパラメーターは、人の健康と幸福をモニタリングするために不可欠である。脈拍計、ＥＣＧデバイス、スマートウォッチやリストバンドなどのＰＰＧデバイスなどの接触型心拍数測定デバイスやセンサが普及している。ＲＧＢカメラまたはレーダーをセンサとして利用する非接触型デバイスも利用可能である（Ｈａｒｆｏｒｄ ｅｔ ａｌ．， Ｐｈｙｓｉｏｌ． Ｍｅａｓｕｒｅｍｅｎｔｓ， ４０（６）， ２０１９）。ＲＧＢカメラを使用して心拍数を測定する方法は、ｒＰＰＧ（遠隔フォトプレチスモグラフィー）と呼ばれる（Ｈａｓｓａｎ ｅｔ ａｌ．， Ｂｉｏｍｅｄ． Ｓｉｇｎ． Ｐｒｏｃ． Ａｎｄ Ｃｏｎｔｒｏｌ， ２０１７；Ｌａｍ ａｎｄ Ｋｕｎｏ， Ｒｏｂｕｓｔ ｈｅａｒｔ ｒａｔｅ ｍｅａｓｕｒｅｍｅｎｔ ｆｒｏｍ ｖｉｄｅｏ ｕｓｉｎｇ ｓｅｌｅｃｔ ｒａｎｄｏｍ ｐａｔｃｈｅｓ， ＩＣＣＶ－ＩＥＥＥ ２０１５）。この方法は、脈拍に応じて皮膚の色がわずかに変化するという事実を利用している。非接触技術は、車室内モニタリングシステムなどの用途についてより適している。現代の車はもはや単なる通勤手段ではなく、生活空間として機能するため、車にはいっそう多くの特徴や機能が統合されており、場合によっては運転に直接関係しないもの、例えば運転手や乗員の生理学的状態や健康状態をモニタリングすることを求めることもある。認知的負荷とストレス、及び（非視覚的）注意散漫が運転の実行に強く影響することが知られているため、この問題は特に重要である。

以下の出版物は、本開示の技術的背景に関連している。

ＵＳ９６４２５３６Ｂ２は、１人以上の人のビデオの分析を扱っている。心拍数の情報はビデオから判定され、心拍数の情報は精神状態の分析に使用される。心拍数の情報とその結果として得られる精神状態の分析は、消費されるデジタルメディアや人が対話するデジタルメディアなどの刺激と相関関係がある。心拍数の情報は、精神状態を推測するために使用される。心拍数の情報に基づく精神状態の分析は、デジタルメディアの最適化やデジタルゲームの修正に使用できる。

ＵＳ８９７７３４７Ｂ２は、心機能がモニタリングされている関心対象を撮影したビデオ画像から生成された時系列信号から心拍数の変動を推定するためのｒＰＰＧ方法及びシステムを開示している。モニタリング対象の映像を処理して得られる時系列信号から低周波成分と高周波成分を抽出する。これらの成分の中の統合されたパワースペクトルの低周波数と高周波数の比率が計算される。時間の経過に伴うこの比率のダイナミクスの分析は、心拍数の変動を推定するために使用される。本明細書の教示は、比較的高い測定精度を備えた連続モニタリングモードで使用することができ、例えば、緊急治療室、心臓集中治療室、新生児集中治療室、及び様々な遠隔医療用途などの様々な多様な用途での使用を見出せる。

しかしながら、既知のｒＰＰＧ方法は、運転者または乗員の頭の位置を判定し、さらなる画像評価のために顔の構造を識別する際の精度と速度に欠けている。さらに、既知のｒＰＰＧ分析は、信号対雑音比が低く、心臓特徴検出が不正確になることに苛まれる。したがって、皮膚パッチの位置特定を最適化し、高速かつ高精度で分析するように構成された血流測定技術が必要とされている。

米国特許第９，６４２，５３６号明細書 米国特許第８，９７７，３４７号明細書

本開示の第１の態様は、１つ以上の心拍数特徴を判定するための方法に関する。本方法は、
・ 車内のカメラによって車内のユーザの一連の画像を取り込むことであって、各画像は１つ以上の色信号を含み、
画像の各々について、
・ 画像内でユーザの顔を位置特定し、
・ 画像の境界を判定し、顔は境界内で位置特定され、
・ 境界内で１つ以上の顔の特徴を検出し、
・ 検出された顔の特徴に基づいて、顔の皮膚パッチを表す画像の１つ以上の領域を判定する、取り込むこと、
・ 皮膚パッチを表す領域の色信号を分析すること、及び
・ 分析に基づいて１つ以上の心拍数特徴を判定することを含む。

この方法の目的は、ユーザの顔の皮膚パッチの一連の画像に基づいて、遠隔フォトプレチスモグラフィー（ｒＰＰＧ）によって心拍数特徴を判定することである。この方法は、車などの車両で実施することができ、車両の運転手または同乗者の心拍数または他の熱ビート特徴を判定することができる。これにより、ユーザは健康状態のモニタリングに過度に時間を費やすことなく、運転中にユーザの健康状態をモニタリングすることができる。運転手の健康状態をモニタリングすると、例えば、急性の健康上の問題が発生した場合に運転手に車を停止するよう促す出力信号を生成することができる。

本開示によれば、ユーザの顔の１つ以上の皮膚パッチを判定することは、画像内でユーザの顔を位置特定することと、顔をフレーミングする画像の境界を判定することとを含む。眉毛、目、鼻、口などの顔の特徴がこの境界内で検出される。顔の特徴の検索領域をこの境界内に狭めることの利点は、関連する画像セクションのみが分析されることである。したがって、顔の特徴の検出がより高速になる。顔の特徴は、顔の皮膚パッチの位置を判定するために使用される。

実施形態では、一連の画像の取り込みは、ＲＧＢ画像を取り込む可視光カメラを使用して実行されることが好ましい。これにより、一連のＲＧＢ画像をさらに分析するために、最大のダイナミックレンジを持つ色の成分を選択できるようになる。

さらなる実施形態では、色信号を分析することは、顔の内部の異なる位置における色の時間的変動を判定するために、１つ以上の皮膚パッチの一連の画像における色の変化を抽出することをさらに含む。様々な位置でのデータ収集により、オプションで最適な画像を後で選択することができる。さらなるデジタル分析のためのデータアクセシビリティを向上させるために、色の変化は一連の数値に変換され、色の変化に基づいて各皮膚パッチの脈波が作成される。

実施形態では、この方法は、色の変化に基づいて血流強度を判定することをさらに含む。これにより、画像の連鎖と色の時間的変動は、心拍によって引き起こされる皮膚の血管を通る血流の変動に関連付けられる。この相関により、信号の分析と解釈が可能になる。

この方法はさらに、皮膚パッチの各々の脈波の各々を周波数空間に変換して、皮膚パッチの各々の周波数スペクトルを生成することを含む。これにより、さらなるデジタル画像処理が容易になり、１つの皮膚パッチのすべてのスペクトルを合計することができる。

代替の実施形態では、周波数スペクトルを生成することはさらに、
・ 各皮膚パッチからの脈波を１つ以上の重複する時間ウィンドウに分割すること、
・ ウィンドウの各々を周波数空間に変換して周波数スペクトルを生成すること、
・ 上記スペクトルを１つの累積スペクトルに合計することを含む。
重複するウィンドウを形成し、各ウィンドウを個別に周波数空間に変換し、次いですべてのスペクトルを合計することは、それによりノイズに属する周波数成分を除去できるため、データ分析にとって有益である。

さらに、いくつかの実施形態では、各周波数スペクトルが所定の脈波パターンと比較され、類似性のレベルが判定される。周波数スペクトルと所定の波形パターンとの間の類似性のレベルは、質の尺度として機能する。例えば、脈波が所定の閾値、すなわち所定の脈波パターンとの所定の類似性のレベルに達しない場合、そのような脈波はすべて破棄される。その結果、ノイズの多い周波数スペクトル及び対応する皮膚パッチは、さらなる分析から除外される。ただし、所定の類似性レベルに達した脈波はすべて合計され、加重平均が求められる。重みは類似性に対応する、つまり、特定の脈波と所定の脈波の類似度が高いほど、合計に対するその寄与が大きくなる。したがって、そのようなアルゴリズムは、ｒＰＰＧ分析を使用して心拍数特徴を判定するのに特に適した皮膚パッチを選択し、分析をより正確にすることができる。

実施形態では、この方法は、各加重平均スペクトルのノイズレベルを検出すること、及びノイズレベルが所定の閾値を超えないすべての脈波を累積脈波に合計することをさらに含む。最良の信号対雑音比を備えた脈波をさらに選択することにより、ノイズが減少した累積脈波の形成に至る。

ｒＰＰＧ方法によれば、実施形態では、この方法は、心拍数特徴を抽出するために上記脈波のいずれかを処理することをさらに含み、心拍数特徴は、心拍数、心拍間隔、及び心拍数の変動のうちの１つ以上を含む。したがって、特に、脈波関数のピークが識別されて、心拍間隔または心拍数が判定される。スペクトル分析をさらに実行して、心拍数の変動を判定することもできる。

この方法は、心拍数特徴が複数のクラスに分類されることをさらに含んでもよく、クラスは、ユーザの異なる心理的及び／または生理学的状態に関連付けられる。このため、心拍数特徴は医学研究に基づいて解釈され、高い認知的負荷、ストレス、または眠気などの人間の内的状態に関する情報源として機能するが、これらに限定されない。この情報は、健康と幸福をモニタリングするために使用され得る。

本開示の第２の態様によれば、１つ以上の心拍数特徴を判定するためのシステムが提供される。このシステムはカメラとコンピューティング装置を備えている。システムは、上記のステップを実行するように構成されている。本開示の方法のすべての特性は、システムにも適用される。

本開示の特徴、目的、及び利点は、図面と共に取得されるとき、以下に記載されている詳細な説明からより明らかになる。図面では同様の参照番号が同様の要素を指す。

１つ以上の実施形態による、１つ以上の心拍数特徴を判定するための方法１００のフローチャートを示す。 １つ以上の実施形態による、画像データを分析するための方法２００のフローチャートを示す。 １つ以上の実施形態による、画像データを判定するための方法３００のフローチャートを示す。 １つ以上の心拍数特徴を判定するためのシステム４００のブロック図を示す。

図１は、実施形態による、１つ以上の心拍数特徴を判定するための方法１００のフローチャートを示す。この方法は、車内のユーザの顔の一連の画像を取り込むこと１０２を含む。好ましい実施形態では、画像は可視光カメラによって取り込まれたＲＧＢ画像である。画像の連鎖は、例えば毎秒３０フレームの典型的なフレームレートで生成され得る。各フレームはピクセルのセットを表す。各ピクセルは単色にすることも、ＲＧＢ画像の赤、緑、青の成分などの波長範囲を含むこともできる。ＲＧＢ画像を使用して３つの色成分を取り込むと、一連の画像全体で最大のダイナミックレンジを持つ色成分を選択してさらに分析することができる。

この方法はさらに、１つ以上の画像１０２でユーザの顔の特徴を位置特定すること１０４を含む。顔の特徴を位置特定すること１０４は、２つのフェーズに分割することができる。第１のフェーズは、画像内でユーザの顔を位置特定することと、顔を囲む画像の境界を判定すること１０６とを含み得る。この第１のフェーズは、ユーザの顔の大まかな位置特定であり得、境界は顔を境界づける長方形のフレームであり得る。第２のフェーズは、この境界内で眉毛、目、鼻、口などの顔の特徴を検出すること１０８を含む。検索領域をこの境界内に狭めることにより、顔の特徴をより迅速かつ正確に検出できるようになる。

顔の特徴は、顔の構造を理解し、特定の皮膚パッチ、すなわちユーザの顔の皮膚に属するピクセルを判定する１１０ためのキーポイントである。皮膚パッチは、サイズ、均質性、顔の構造、及び頭の位置が異なる場合がある。

この方法はさらに、１つ以上の皮膚パッチの色信号を分析すること１１２を含む。皮膚パッチの色信号を分析することは、ユーザの顔の１つ以上の位置におけるユーザの顔の一連の画像の色の変化を抽出することを含む。様々な位置でのデータ収集により、さらなるデータ分析に最適な皮膚パッチをオプションで後続的に選択することができる。色の時間的変動は、さらなる分析におけるデータへのアクセス性を向上させるために、一連の数値、つまり脈波に変換される場合がある。色信号の分析は、図２のフローチャートに従って実行できる。

ｒＰＰＧでは、周期的な脈波の形での色の変化が、皮膚の血管を通る血流の変動に関係している。この相関により、信号の分析と解釈が可能になる。

この方法はさらに、脈波から心拍数、心拍間隔及び心拍数の変動などの心拍数特徴を判定すること１１４を含むが、これに限定されない。これには、脈波のピークを検出すること、ピーク距離を判定すること、及び脈波パターンに基づいた心拍または心拍間隔を判定することが含まれる場合がある。他のタイプの脈波分析を適用して、例えば心拍数の変動を判定することもできる。

この方法はさらに、ユーザの心理的及び／または生理学的状態を複数のクラスに分類すること１１６を含み、これらのクラスは、ユーザの異なる心理的及び／または生理学的状態に関連付けられる。このため、心拍数特徴は医学研究に基づいて解釈され得、高い認知的負荷、ストレス、眠気などの内的状態に関する情報源として機能する可能性がある。この情報は、健康と幸福のモニタリング、うつ病や睡眠障害などの病気の予測と事前診断、てんかん、パニック発作、心臓発作などの病気の検出に使用される場合がある。

図２は、実施形態による画像情報を分析するための方法２００のフローチャートを示す。ユーザの顔の皮膚パッチの各々の色信号、またはユーザの顔の任意の画像の色信号を分析１１２し、一連の画像の色の変化を脈波に変換することは、心拍数特徴をより正確に判定できるようにするために、さらなるデジタルデータ処理及びデータの選択を含んでもよい。この方法は、一連の画像の色の変化を抽出すること２０２を含む。好ましい実施形態では、画像はＲＧＢ画像であってもよく、最大のダイナミックレンジを有する色成分が選択されてもよい。

この方法はさらに、色の変化を血流強度と関連付けること２０４を含む。色の変化は、周期的で心拍数特徴に対応する場合がある。

この方法は、そのような色の変化を一連の数値に変換し、脈波を作成すること２０６を含む。

この方法はさらに、皮膚パッチの各々の脈波の各々を周波数空間に変換して、皮膚パッチの各々の周波数スペクトルを生成すること２１４を含むことができる。これにより、さらなるデジタル画像処理が容易になり、１つの皮膚パッチのすべてのスペクトルを合計することができる。

代替実施形態では、周波数スペクトルを作成すること２１４は、各皮膚パッチからの脈波を１つ以上の重複する時間ウィンドウに分割すること２０８、ウィンドウの各々を周波数空間に変換２１０して周波数スペクトルを生成すること、及び上記スペクトルを１つの累積スペクトルに合計すること２１２をさらに含むことができる。重複するウィンドウを形成し、各ウィンドウを個別に周波数空間に変換し、すべてのスペクトルを合計することにより、ノイズに属する周波数成分を除去することができる。

さらに、いくつかの実施形態では、方法は、各周波数スペクトルを所定の脈波パターンと比較すること２１６、及び各周波数スペクトル及び／または各脈波と所定の脈波との間の類似性のレベルを判定することを含む。所定の脈波パターンは、理想的な波形に似ていることもあり、血流強度と直接相関していることもある。周波数スペクトル及び／または脈波及び所定の波形パターンとの間の類似性のレベルは、質の尺度として機能し得る。例えば、脈波が所定の閾値、すなわち、所定の脈波パターンとの所定の類似性のレベルに達しない場合２１８、この方法は、そのような脈波をすべて破棄すること２２０を含む。その結果、ノイズの多い周波数スペクトル及び対応する皮膚パッチは、さらなる分析から除外される。この方法は、すべての脈波から加重脈波平均を形成すること２２４をさらに含み、それに際して所定の類似性レベルに達している２２２。加重平均脈波に寄与する個々の脈波の重みは類似性に対応する。すなわち、特定の脈波と所定の脈波との類似度が高いほど、合計への寄与が大きくなる。したがって、そのようなアルゴリズムは、ｒＰＰＧ分析を使用して心拍数特徴を判定するのに特に適した皮膚パッチを選択し得、それによって心拍数特徴を判定する精度を向上させることができる。

実施形態では、本方法は、各加重平均スペクトルのノイズレベルを検出すること２２６、及びノイズレベルが所定の閾値を超えない２３２すべての脈波を合計して累積脈波３００とすることをさらに含んでもよい。この方法は、所定のノイズ閾値を超える２２８すべての脈波を破棄すること２３０を含む。最良の信号対雑音比を備えた脈波をさらに選択することにより、ノイズのレベルが低下した修正版脈波が形成される。

図３は、別の実施形態による画像情報を判定するための方法３００のフローチャートを示す。実施形態では、心拍数特徴抽出に使用される脈波の作成は、ユーザの顔の皮膚パッチの各々のための方法２００による画像情報を分析することを含み、さらなる分析のために、皮膚パッチ３０２ａ、３０２ｂ、３０２ｃ、…の各々の最良の信号対雑音比である適切な脈波を選択することができる。この方法は、ノイズレベルが低減された補正脈波３０２ａ、３０２ｂ、３０２ｃ、…の平均を合計または判定することと、最小のノイズを含み得、高精度で心拍数特徴を判定するために使用され得る累積脈波を作成する３０４こととをさらに含んでもよい。

図４は、実施形態による１つ以上の心拍数特徴を判定するためのシステム４００のブロック図を示す。このシステムは、カメラ４０４及びコンピュータ装置４０６を備える。好ましい実施形態では、カメラ４０４は可視光カメラである。カメラはシステムのユーザに面し、ユーザの顔の一連の画像を記録する。カメラの水平視野は１８０～２００°であり得る。カメラの一般的なフレームレートは、例えば３０フレーム／秒（ｆｐｓ）と６０ｆｐｓの間になり得る。カメラのカメラ解像度は十分に高く、目、眉、鼻、口の位置などの顔の輪郭や特徴を認識できる。一般的な値は、例えば１９２０ピクセル×１０８０ピクセルであり得る。

システムは、上記の方法を実行するように構成されている。

１００ １つ以上の心拍数特徴を判定するための方法
１０２～１１６ 方法１００のステップ
２００ 画像データを分析するための方法
２０２～２３２ 方法２００のステップ
３００ 画像データを判定するための方法
３０２～３０４ 方法３００のステップ
４００ １つ以上の心拍数特徴を判定するためのシステム
４０２ カメラ
４０４ コンピュータ装置

Claims (13)

1. １つ以上の心拍数特徴を判定するための方法であって、
   車内のカメラによって、前記車内のユーザの一連の画像を取り込むことであって、各画像は１つ以上の色信号を含み、
   前記画像の各々について、
   前記画像内で前記ユーザの顔を位置特定し、
   前記画像の境界を判定し、前記顔は前記境界内で位置特定され、
   前記境界内で１つ以上の顔の特徴を検出し、
   前記検出された顔の特徴に基づいて、前記顔の皮膚パッチを表す前記画像の１つ以上の領域を判定する、前記取り込むこと、
   前記皮膚パッチを表す前記領域の前記色信号を分析すること、及び
   前記分析に基づいて１つ以上の心拍数特徴を判定すること、を含む、前記方法。
2. 一連の画像を取り込むことが、ＲＧＢ画像を取り込む可視光カメラを使用して実行される、請求項１に記載の方法。
3. 前記色信号を分析することが、
   １つ以上の皮膚パッチの前記一連の画像における色の変化を判定すること、及び
   前記色の変化に基づいて各皮膚パッチの脈波を作成することをさらに含む、請求項１に記載の方法。
4. 前記色の変化に基づいて血流強度を判定することをさらに含む、請求項３に記載の方法。
5. 前記皮膚パッチの各々の前記脈波の各々を周波数空間に変換して、前記皮膚パッチの各々の周波数スペクトルを生成することをさらに含む、請求項３に記載の方法。
6. 周波数スペクトルを生成することが、
   各皮膚パッチからの前記脈波を１つ以上の重複する時間ウィンドウに分割すること、
   前記ウィンドウの各々を前記周波数空間に変換して周波数スペクトルを生成すること、
   前記スペクトルを１つの累積スペクトルに合計することを含む、請求項５に記載の方法。
7. 各周波数スペクトルを所定の脈波パターンと比較し、類似性のレベルを判定すること、
   前記類似性のレベルが所定の閾値に達しない脈波をすべて破棄すること、及び
   前記類似性のレベルが所定の閾値に達するすべての脈波の加重平均を判定することであって、前記類似性のレベルが前記加重平均の重みを定義することをさらに含む、請求項５に記載の方法。
8. 各加重平均スペクトルのノイズレベルを検出すること、及び前記ノイズレベルが所定の閾値を超えないすべての脈波を合計して累積脈波とすること、をさらに含む、請求項６及び７のいずれかに記載の方法。
9. 心拍数特徴を抽出するために前記脈波を処理することであって、前記心拍数特徴は、心拍数、心拍間隔、及び心拍数の変動のうちの１つ以上を含む、前記処理すること、をさらに含む、上記請求項のいずれかに記載の方法。
10. 前記心拍数特徴が複数のクラスに分類され、前記クラスは、前記ユーザの異なる心理的及び／または生理学的状態に関連付けられる、請求項９に記載の方法。
11. １つ以上の心拍数特徴を判定するためのシステムであって、
    カメラ、及び
    コンピューティング装置を含み、
    前記システムは、請求項１から１０のいずれかに記載の方法を実行するように構成されている、前記システム。
12. 前記カメラは、ＲＧＢ画像を取り込む可視光カメラである、請求項１１に記載のシステム。
13. 前記コンピューティング装置は、前記１つ以上の心拍数特徴に基づいて、前記ユーザの認知的負荷、ストレス、または眠気の１つ以上を検出し、医学的状態を推測し、あるいは人間の健康または幸福をモニタリングするようにさらに構成されている、請求項１１及び１２のいずれかに記載のシステム。