JP6665203B2 - ビデオシーケンスからのパルス信号の決定 - Google Patents

Description

本発明は、ビデオシーケンスからパルス信号を決定する装置及び方法に関する。

近年、遠隔フォトプレチスモグラフィ（ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）（遠隔ＰＰＧ又はｒＰＰＧ）を行う技術が開発されている。これらの技術により、撮像ユニット（例えばカメラ）を使用して撮影された画像フレームで構成されたビデオシーケンスからＰＰＧ信号を取得することが可能になる。対象者を自動的に監視できるように、ビデオシーケンスの処理及びｒＰＰＧ信号の抽出は自動的に行われることが望ましい。しかし、これには、生体皮膚組織のエリアをビデオシーケンス中で自動的に識別することが必要となる。

ビデオ中の対象者を検出する作業は、コンピュータビジョンにおける根本的なテーマの一つであり、過去数十年に広く研究されてきた。対象者を含んでいるビデオシーケンスが与えられた場合に、対象者の身体部分に対応する領域を特定することが目標になる。既存の研究の大半は、人間の外観的特徴を利用して、教師ありトレーニング機構内で対象者と背景とを判別する。しかし、これらの方法に伴う共通の問題は、それらの方法でトレーニングされる特徴は人間に固有のものでなく、人間の外観に似た特徴が誤って分類される可能性があることである。さらに、教師ありの方法は通常は事前に分かっているサンプルに制約され、予測できないサンプルが発生すると失敗する傾向がある。例えば、正面から見た顔でトレーニングされた顔検出器は、横から見た顔を特定することができず、色白の皮膚の対象者でトレーニングされた皮膚分類器は、色黒の皮膚の対象者では失敗する。他の種類の方法は、ビデオシーケンス中で皮膚のエリアを手動で選択することを必要とし、このエリアを時間と共に追跡して動きを補償する。しかし、この技術は明らかに手動の入力を必要とし、著しい動きがあるときには選択されたエリアを正しく追跡することが容易でない。

ｒＰＰＧ技術の発展に基づき、物理的な外観的特徴と比べると、目に見えない生理学的特徴（例えばパルス）は、ビデオシーケンス中で人間を人間でない物からよりよく区別できることが観察されている。自然の環境では、生きている対象者の皮膚組織のみが拍動性を呈し、そのため、パルス信号を示さない物体はいずれも人間以外のカテゴリに確実に分類することができる。このことにより、例えば図１に示すように、人間に似た外観を持つ物体の誤検出を防ぐことができる。

図１は、生体組織検出技術がどのように問題なく動作するかを示す２つの例を提供する。左の画像では、人間の顔と人工の顔とがカメラの方を向いて存在しており、点線の枠と、生体皮膚組織に対応するエリアの輪郭とで示されるように、人間の顔だけが識別される（人工の顔が人間の顔と似た物理的な外観的特徴を持つにも関わらず）。右の画像では、人間の顔と人工の顔とがカメラに対して横を向いて存在しており、人間の顔だけが識別される。

Ｇ．Ｇｉｂｅｒｔ及びＤ．Ｄ’Ａｌｅｓｓａｎｄｒｏ、及びＦ．Ｌａｎｃｅによる論文「Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ」（１０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ（ＡＶＳＳ）、４４９〜４５３ページ、（２０１３））では、厳格な閾値を設定して、より高い周波数スペクトルエネルギーを持つセグメント分割された局所的領域（例えば、グリッド、三角形、又はボクセル）を皮膚領域として選択する。Ｒ．ｖａｎ Ｌｕｉｊｔｅｌａａｒ、Ｗ．Ｗａｎｇ、Ｓ．Ｓｔｕｉｊｋ、及びＧ．ｄｅ Ｈａａｎによる論文「Ａｕｔｏｍａｔｉｃ ＲＯＩ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｒＰＰＧ ｍｅａｓｕｒｅｍｅｎｔｓ」（ＡＣＣＶ ２０１４、シンガポール）では、事前定義されたクラスタリングパラメータを使用して、類似性を共有する領域を皮膚領域としてクラスタリングする。

しかし、これらの方法でも、対象者や皮膚エリアの著しい移動があると、有用なパルス信号を抽出することが困難である。

したがって、ビデオシーケンスからパルス信号を決定する改良された方法及び装置を提供することを目的とする。

第１の態様によれば、ビデオシーケンスからパルス信号を決定する方法が提供される。当該方法は、複数の画像フレームを含むビデオシーケンスを取得するステップと、画像フレームのサブセット中に各画像フレームからのフレームセグメントを各々が含む複数のビデオサブシーケンスを形成するステップであって、各サブセットは複数の画像フレームを含み、各画像フレームは複数のフレームセグメントに分割され、各フレームセグメントは、画像フレーム中で隣り合っているピクセルのグループである、ステップと、画像フレームの第１のサブセットからのフレームセグメントから形成された第１のビデオサブシーケンスについて、第１のビデオサブシーケンスの代表値を、画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスの代表値と比較するステップと、代表値の比較に基づいて、第１のビデオサブシーケンスを、画像フレームの第２のサブセットからのフレームセグメントから形成された第２のビデオサブシーケンスと連結するステップと、連結されたビデオサブシーケンスからパルス信号を決定するステップと、を有する。

いくつかの実施形態では、方法は、第２のビデオサブシーケンスについて、第２のビデオサブシーケンスの代表値を、画像フレームの第３のサブセットからのフレームセグメントから形成されたビデオサブシーケンスの代表値と比較するステップと、代表値の比較に基づいて、第１のビデオサブシーケンス及び第２のビデオサブシーケンスを、画像フレームの第３のサブセットからのフレームセグメントから形成された第３のビデオサブシーケンスと連結するステップと、をさらに有する。

いくつかの実施形態では、方法は、画像フレームの複数のサブセット各々からのビデオサブシーケンスを連結するために、比較するステップ及び連結するステップを繰り返すステップをさらに有する。

いくつかの実施形態では、画像フレームの各サブセットは、ビデオシーケンス中の連続した画像フレームからなるそれぞれのセットを含む。

いくつかの実施形態では、各画像フレームが２つ以上のサブセットにあり、画像フレームのサブセット同士が重複するようになっている。

いくつかの実施形態では、各サブセットは、別のサブセットに共通である少なくとも１つの画像フレームを含む。

代替実施形態では、ビデオシーケンス中の各画像フレームは、画像フレームのそれぞれのサブセットにある。

いくつかの実施形態では、画像フレームの各サブセットは、ビデオシーケンス中の３つの画像フレームからなるそれぞれのセットを含む。

いくつかの実施形態では、画像フレームの第１のサブセット及び画像フレームの第２のサブセットは、ビデオシーケンス中で隣接する画像フレームを含む。

いくつかの実施形態では、各フレームセグメントは、画像フレーム中で隣り合うピクセルのグループである。

いくつかの実施形態では、フレームセグメントは同じ形状を有する。代替実施形態では、各画像フレームは、ピクセルの色及び空間的な類似度に基づいてピクセルをフレームセグメントにグループ化することにより、複数のフレームセグメントに分割される。

いくつかの実施形態では、各画像フレームは、他の画像フレームと無関係に複数のフレームセグメントに分割される。代替実施形態では、サブセット中の各画像フレームは、その画像フレーム及びサブセット中の他の画像フレームの内容に基づいて、複数のフレームセグメントに分割される。

いくつかの実施形態では、複数のビデオサブシーケンスを形成するステップは、画像フレームのサブセット中の画像フレームの中で対応する空間位置にあるフレームセグメントから各ビデオサブシーケンスを形成するステップを含む。

代替実施形態では、複数のビデオサブシーケンスを形成するステップは、各ビデオサブシーケンスに対して、ビデオサブシーケンス中のフレームセグメント間の色エネルギー及び／又は空間距離エネルギーが最小化されるように、画像フレームのサブセット中の各画像フレームからフレームセグメントを選択するステップを含む。

いくつかの実施形態では、方法は、各ビデオサブシーケンスの代表値を決定するステップをさらに有する。

いくつかの実施形態では、各ビデオサブシーケンスの代表値を決定するステップは、ビデオサブシーケンス中のフレームセグメント中のピクセルのピクセル値を平均化するステップを含むことができる。

いくつかの実施形態では、ピクセル値を平均化するステップは、各フレームセグメント中のピクセルのピクセル値を重み付けするステップを含むことができ、ピクセル値は、フレームセグメント中でのピクセルの空間位置、及び／又はフレームセグメントの中心若しくはその近くにあるピクセル若しくはピクセルのグループとの色の差に基づいて重み付けされる、ステップと、フレームセグメント中のピクセルの重み付けされたピクセル値を平均するステップとを含むことができる。

いくつかの実施形態では、代表値を決定するステップは、フレームセグメント中のピクセル値の平均を正規化するステップをさらに含む。

いくつかの実施形態では、各ビデオサブシーケンスの代表値を決定するステップは、ビデオサブシーケンス中のフレームセグメントのピクセルのピクセル値の平均間の差を決定するステップを含む。

いくつかの実施形態では、比較するステップは、第２のビデオサブシーケンスを、第１のビデオサブシーケンスと似ている、又は最も似ている画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスとして識別するステップを含む。

いくつかの実施形態では、比較するステップは、第２のビデオサブシーケンスを、第１のビデオサブシーケンスと空間距離及び／又は代表値が似ている、又は最も似ている画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスとして識別するステップを含む。

いくつかの実施形態では、パルス信号を決定するステップは、連結されたビデオサブシーケンスの代表値からパルス信号を決定するステップを含む。

いくつかの実施形態では、形成するステップ、代表値を決定するステップ、比較するステップ、連結するステップ、及びパルス信号を決定するステップは、第１の複数のフレームセグメントに分割される画像フレームに対して行われ、方法は、画像フレームが第２の複数のフレームセグメントに分割されるときに、ビデオシーケンス中の画像フレームに対して、形成するステップ、代表値を決定するステップ、比較するステップ、連結するステップ、及びパルス信号を決定するステップを繰り返すステップをさらに有し、第２の複数のフレームセグメントは、第１の複数のフレームセグメントとは異なる数のフレームセグメントを含む。

いくつかの実施形態では、方法は、画像フレームの第１のサブセットからのフレームセグメントから形成された他のビデオサブシーケンスに対して、比較するステップ、連結するステップ、及びパルス信号を決定するステップを繰り返してさらなるパルス信号を決定するステップと、パルス信号を分析して、ビデオシーケンス中で生体皮膚組織のエリアを識別するステップと、をさらに有する。

いくつかの実施形態では、方法は、ビデオシーケンス中の識別された生体皮膚組織のエリアに関連する１つ又は複数のパルス信号から１つ又は複数の生理学的特性を決定するステップをさらに有する。

第２の態様によれば、コンピュータ可読コードが内部に具現化されたコンピュータ可読媒体を備えるコンピュータプログラム製品が提供され、コンピュータ可読コードは、好適なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに上記の方法のいずれかを行わせるように構成される。

第３の態様によれば、ビデオシーケンスからパルス信号を決定する装置が提供され、装置は処理ユニットを有し、処理ユニットは、複数の画像フレームを含むビデオシーケンスを取得し、画像フレームのサブセット中に各画像フレームからのフレームセグメントを各々が含む複数のビデオサブシーケンスを形成し、各サブセットは複数の画像フレームを含み、各画像フレームは複数のフレームセグメントに分割され、各フレームセグメントは、画像フレーム中で隣り合っているピクセルのグループであり、画像フレームの第１のサブセットからのフレームセグメントから形成された第１のビデオサブシーケンスについて、第１のビデオサブシーケンスの代表値を、画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスの代表値と比較し、代表値の比較に基づいて、第１のビデオサブシーケンスを、画像フレームの第２のサブセットからのフレームセグメントから形成された第２のビデオサブシーケンスと連結させ、連結されたビデオサブシーケンスからパルス信号を決定することを行うように構成される。

いくつかの実施形態では、処理ユニットは、第２のビデオサブシーケンスについて、第２のビデオサブシーケンスの代表値を、画像フレームの第３のサブセットからのフレームセグメントから形成されたビデオサブシーケンスの代表値と比較することと、代表値の比較に基づいて、第１のビデオサブシーケンス及び第２のビデオサブシーケンスを、画像フレームの第３のサブセットからのフレームセグメントから形成された第３のビデオサブシーケンスと連結することとを行うようにさらに構成される。

いくつかの実施形態では、処理ユニットは、画像フレームの複数のサブセット各々からのビデオサブシーケンスを連結するために比較及び連結を繰り返すようにさらに構成される。

いくつかの実施形態では、画像フレームの各サブセットは、ビデオシーケンス中の連続した画像フレームからなるそれぞれのセットを含む。

いくつかの実施形態では、各画像フレームが２つ以上のサブセットにあり、画像フレームのサブセット同士が重複するようになっている。

いくつかの実施形態では、各サブセットは、別のサブセットに共通である少なくとも１つの画像フレームを含む。

代替実施形態では、ビデオシーケンス中の各画像フレームは、画像フレームのそれぞれのサブセットにある。

いくつかの実施形態では、画像フレームの各サブセットは、ビデオシーケンス中の３つの画像フレームからなるそれぞれのセットを含む。

いくつかの実施形態では、画像フレームの第１のサブセット及び画像フレームの第２のサブセットは、ビデオシーケンス中で隣接する画像フレームを含む。

いくつかの実施形態では、各フレームセグメントは、画像フレーム中で隣り合うピクセルのグループである。

いくつかの実施形態では、フレームセグメントは同じ形状を有する。代替実施形態では、各画像フレームは、ピクセルの色及び空間的な類似度に基づいてピクセルをフレームセグメントにグループ化することにより、複数のフレームセグメントに分割される。

いくつかの実施形態では、各画像フレームは、他の画像フレームと無関係に複数のフレームセグメントに分割される。代替実施形態では、サブセット中の各画像フレームは、その画像フレーム及びサブセット中の他の画像フレームの内容に基づいて、複数のフレームセグメントに分割される。

いくつかの実施形態では、処理ユニットは、画像フレームのサブセット中の画像フレームの中で対応する空間位置にあるフレームセグメントから各ビデオサブシーケンスを形成することにより、複数のビデオサブシーケンスを形成するように構成される。

代替実施形態では、処理ユニットは、ビデオサブシーケンスごとに、ビデオサブシーケンス中のフレームセグメント間の色エネルギー及び／又は空間距離エネルギーが最小化されるように、画像フレームのサブセット中の各画像フレームからフレームセグメントを選択することにより、複数のビデオサブシーケンスを形成するように構成される。

いくつかの実施形態では、処理ユニットは、各ビデオサブシーケンスの代表値を決定するように構成される。

いくつかの実施形態では、処理ユニットは、ビデオサブシーケンス中のフレームセグメント中のピクセルのピクセル値を平均することにより、各ビデオサブシーケンスの代表値を決定するように構成される。

いくつかの実施形態では、処理ユニットは、各フレームセグメント中のピクセルのピクセル値を重み付けすることであって、ピクセル値は、フレームセグメント中でのピクセルの空間位置、及び／又はフレームセグメントの中心若しくはその近くにあるピクセル若しくはピクセルのグループとの色の差に基づいて重み付けされる、ことと、フレームセグメント中のピクセルの重み付けされたピクセル値を平均することとにより、ピクセル値を平均化するように構成される。

いくつかの実施形態では、処理ユニットは、フレームセグメント中のピクセル値の平均を正規化することにより、代表値を決定するように構成される。

いくつかの実施形態では、処理ユニットは、ビデオサブシーケンス中のフレームセグメントのピクセルのピクセル値の平均間の差を決定することにより、各ビデオサブシーケンスの代表値を決定するように構成される。

いくつかの実施形態では、処理ユニットは、第２のビデオサブシーケンスを、第１のビデオサブシーケンスと似ている、又は最も似ている画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスとして識別することにより、比較するように構成される。

いくつかの実施形態では、処理ユニットは、第２のビデオサブシーケンスを、第１のビデオサブシーケンスと空間距離及び／又は代表値が似ている、又は最も似ている画像フレームの第２のサブセットからのフレームセグメントから形成されたビデオサブシーケンスとして識別することにより、比較するように構成される。

いくつかの実施形態では、処理ユニットは、連結されたビデオサブシーケンスの代表値からパルス信号を決定することにより、パルス信号を決定するように構成される。

いくつかの実施形態では、処理ユニットは、第１の複数のフレームセグメントに分割される画像フレームに対して、形成すること、代表値を決定すること、比較すること、連結すること、及びパルス信号を決定することを行うように構成され、処理ユニットは、画像フレームが第２の複数のフレームセグメントに分割されるときに、ビデオシーケンス中の画像フレームに対して、形成すること、代表値を決定すること、比較すること、連結すること、及びパルス信号を決定することを繰り返すようにさらに構成され、第２の複数のフレームセグメントは、第１の複数のフレームセグメントとは異なる数のフレームセグメントを含む。

いくつかの実施形態では、処理ユニットは、画像フレームの第１のサブセットからのフレームセグメントから形成された他のビデオサブシーケンスに対して、比較すること、連結すること、及びパルス信号を決定することを繰り返してさらなるパルス信号を決定することと、パルス信号を分析して、ビデオシーケンス中で生体皮膚組織のエリアを識別することとを行うようにさらに構成される。

いくつかの実施形態では、処理ユニットは、ビデオシーケンス中の識別された生体皮膚組織のエリアに関連する１つ又は複数のパルス信号から１つ又は複数の生理学的特性を決定するようにさらに構成される。

本発明をよりよく理解し、どのように実施されるかをより明確に示すために、次いで単なる例として添付図面を参照する。

生体皮膚組織検出技術の望ましい動作を説明する図である。 本発明の一実施形態による装置のブロック図である。 本発明の一実施形態による方法を説明するフローチャートである。 どのようにしてビデオシーケンスからパルス信号を取得することができるかを説明する図であり、ビデオシーケンスがどのように一続きの画像フレームから構成されるかを説明する図である。 どのようにしてビデオシーケンスからパルス信号を取得することができるかを説明する図であり、各画像フレームがどのように複数のフレームセグメントに分割されるかを説明する図である。 どのようにしてビデオシーケンスからパルス信号を取得することができるかを説明する図であり、画像フレーム中で同じ空間位置にあるフレームセグメントを使用してどのように２つのビデオサブシーケンスが形成されるかを説明する図である。 どのようにしてビデオシーケンスからパルス信号を取得することができるかを説明する図であり、そのようにして形成された２つのビデオサブシーケンスについての例示的パルス信号の図である。 例示的なボクセル−パルス−スペクトル法における処理段階を説明する図である。 ３つの異なるスケールにある画像フレームのセグメント分割を説明する図である。 ペアごとの類似度の４つの異なる尺度とその結果得られる類似度行列を示す図である。 増分疎ＰＣＡを使用した類似度行列の分解の例を示す図である。 階層ボクセルへの固有ベクトルの投射、及びビデオシーケンスのどの部分が生体皮膚組織に対応するかを示す融合マップの図である。

本発明の一実施形態による、ビデオシーケンスからパルス信号を決定するために使用できる装置２が図２に示される。さらなる実施形態では、装置２を使用して、決定されたパルス信号から生体皮膚組織を識別することができる。装置２は、ある期間にわたってビデオシーケンスを撮影する撮像ユニット４を備える。撮像ユニット４は、ｒＰＰＧ測定に使用することができるカメラ、例えばＲＧＢカメラであるか、又はそれを備えることができる。撮像ユニット４は、複数の画像フレームを含むビデオシーケンスを処理ユニット６に提供する。

処理ユニット６は、装置２の動作を制御し、本明細書に記載される生体皮膚組織識別技術を実施するための１つ又は複数のプロセッサ、マルチコアプロセッサ、又は処理モジュールを備えることができる。いくつかの実施形態では、処理ユニット６は、複数の処理モジュールとして実施することができ、各モジュールは、本明細書に記載される生体皮膚組織識別技術の特定の部分又はステップを行うように構成される。

装置２はさらに、本発明による方法を実行するために処理ユニット６によって実行できるコンピュータ可読プログラムコードを記憶するメモリユニット８を備える。メモリユニット８は、処理ユニット６による処理の前、最中、及び後の、撮像ユニット４からのビデオシーケンス、並びに処理の中間生成物を記憶又はバッファするためにも使用することができる。

いくつかの実施形態では、装置２は、一体化された、若しくは別個の撮像ユニット４を備える汎用コンピュータ（例えばデスクトップＰＣ）、又は一体化された、若しくは別個の撮像ユニット４を備える携帯型コンピューティングデバイス（例えば、ラップトップ、タブレット、又はスマートフォン）からなることが可能であることが認識されよう。いくつかの実施形態では、装置２は、ビデオシーケンスからパルス信号を決定し、パルス信号を使用してビデオシーケンス中で生体皮膚組織を識別し、及び／又は、生体皮膚組織に対応するものと識別されたビデオシーケンスのエリアから抽出されたｒＰＰＧ信号から、対象者の生理学的特性を測定する目的に特化することができる。

実際の実施では、装置２は、図２に示された上記で説明したものに加えて他の構成要素又はさらなる構成要素を備え、それらには、対象者が装置２を起動及び／又は操作することを可能にするユーザインターフェース、並びに装置２に給電するためのバッテリ又は主電源への接続などの電源などがある。ユーザインターフェースは、対象者が装置２と対話し、装置２を制御することを可能にする１つ又は複数の構成要素を備える。一例として、１つ又は複数のユーザインターフェース構成要素は、スイッチ、ボタン、又は装置２及び／若しくはパルス決定プロセスを起動及び停止する他の制御手段を備えることができる。ユーザインターフェース構成要素は、それに加えて、又はそれに代えて、ディスプレイ、又は装置２の動作についての情報を対象者に提供する他の視覚的表示器（照明など）を備えることもできる。同様に、ユーザインターフェース構成要素は、装置２の動作についての可聴フィードバックを対象者に提供する音声源を備えることができる。

図３のフローチャートは、一実施形態による、ビデオシーケンスからパルス信号を決定する方法を説明する。

ステップ１０１で、撮像ユニット４がビデオシーケンスを取得する。ビデオシーケンスは、一続きの画像フレームから構成される。一続きの画像フレーム２０が図４（ａ）に示される。

次いで、画像フレーム２０から複数のビデオサブシーケンスが形成される（ステップ１０３）。各ビデオサブシーケンスは、ビデオシーケンス中の画像フレーム２０のサブセット中の２つ以上の画像フレーム２０の各々からのフレームセグメントを含む。

各ビデオサブシーケンスは、好ましくは、２つ以上の連続した画像フレーム２０各々からのフレームセグメントで形成される（したがって、画像フレーム２０の各サブセットは好ましくは連続した画像フレーム２０を含む）。

図４（ａ）は、ビデオシーケンスからの４つの連続した画像フレーム２０を示し、それぞれＦ１、Ｆ２、Ｆ３、Ｆ４と表記される。画像フレームのサブセット２１が形成され、サブセットは、この例では、各々３つの連続した画像フレーム２０を含む。加えて、この例では、サブセット２１は、サブセット２１同士が重複する（すなわち、画像フレーム２０の一部又はすべてが２つ以上のサブセット２１の一部となることが可能である）ように形成される。よって、図４（ａ）は、画像フレームＦ１、Ｆ２、及びＦ３を含む第１のサブセット２１であるサブセット１、画像フレームＦ２、Ｆ３、及びＦ４を含む第２のサブセット２１であるサブセット２、並びに画像フレームＦ３、Ｆ４、及びＦ５を含む第３のサブセット２１であるサブセット３等を示している。したがって、各サブセット２１は、２つの画像フレーム２０だけ、前にある隣接サブセット２１と重複している。

代替実施形態では、サブセット２１は異なる数の画像フレーム２０を含むことができ、及び／又は、サブセット２１間の重複の度合いが異なってもよいことが認識されよう。例えば、サブセット２１は３つの画像フレーム２０を含むことができるが、各サブセット２１は、前にある隣接サブセット２１と１つの画像フレーム２０だけ重複していてもよい。それに代えて、サブセット２１中の画像フレーム２０間には重複がなくてもよい（すなわち、この場合、各画像フレーム２０は単一のサブセット２１のみの一部となる）。

各画像フレーム２０は、複数のフレームセグメント２２に分割される。各フレームセグメント２２は、画像フレーム２０中で隣り合うピクセルのグループである。例示的なセグメント分割が図４（ｂ）に示され、ここでは各フレーム２０が同じサイズの正方形に分割される。代替実施形態では、セグメントは、三角形などの異なる形状とすることができる。他の（好ましい）代替実施形態では、セグメント２２の形状は、画像フレーム２０中の画像によって決定される場合もある（例えば、形状の境界は、画像フレーム内にある異なる色の間の境界に従うことができる）。しかし、各実施形態において、各フレームセグメント２２は、各画像フレーム２０中の空間的に関係した（すなわち隣り合う）ピクセルのグループからなることが認識されよう。好ましい実施形態では、フレームセグメント２２は、当技術分野では「スーパーピクセル」としても知られており、これについては、例えば、Ａｃｈａｎｔａらによる「ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２０１２ 第３４巻 第１１号、２０１２年１１月、２２７４〜２２８２ページ）に記載される。

図４（ｂ）では、各画像フレーム２０は１８個のフレームセグメント２２に分割され、参照しやすいように、各フレームセグメント２２に各自の符号Ｓ１、．．．、Ｓ１８を付している。

ピクセルのグループ化／セグメント２２の形状が画像フレームの内容によって決定される好ましい「スーパーピクセル」の実施形態では、フレームセグメント２２は、ピクセルの色及び／又は空間的類似度に基づいて画像フレーム２０中のピクセルをグループ化することによって決定することができる。このようにして、似た色又は合致する色を持つ、隣り合っている、又は近接して隣り合っているピクセルが、共に単一のフレームセグメント２２にグループ化される。

上記の実施形態では、画像フレーム２０は、その画像フレーム２０の分析のみに基づいてフレームセグメント２２に分割される。しかし、いくつかの実施形態では、特定の画像フレーム２０を、その画像フレーム２０と、画像フレームのそのサブセット２１中の他の画像フレーム２０との分析に基づいて、フレームセグメント２２に分割することが可能である。言い換えると、上記で説明した空間及び／又は色に基づく画像フレーム２０のセグメント分割を時間領域に拡張して、時間領域で外観（例えば色）及び空間的類似度を共有するピクセルが共にグループ化されるようにする。この時間領域への拡張を使用すると、結果として、サブセット２１中の各画像フレームに、又は個々のセグメントパターンを持つサブセット２１中の各画像フレームに、同じフレームセグメント分割パターンを適用することができる。

上記のように、ビデオサブシーケンスは、１つのサブセット中の画像フレーム２０各々から取られるフレームセグメントから形成される。これらのビデオサブシーケンスを本明細書では「ボクセル」とも呼ぶ。よって、図４（ｂ）を参照すると、サブセット１の画像フレーム２０各々から得るフレームセグメント２２から複数のビデオサブシーケンスが形成され、サブセット２の画像フレーム２０各々から得るフレームセグメント２２から複数のビデオサブシーケンスが形成され、以下同様である。

この図示される実施形態では、各画像フレーム２０中の各フレームセグメント２２は個々のビデオサブシーケンス２３の一部であるが、他の実施形態ではこれは該当しなくてよい（すなわち、フレームセグメント２２によってはどのビデオサブシーケンス２３の一部でもないものがある）。

図４（ｃ）に図示されるようないくつかの実施形態では、各ビデオサブシーケンス２３は、サブセット２１の各画像フレーム２０の中で同じ空間位置にあるフレームセグメント２２を使用して形成される。例えば、１つのビデオサブシーケンス２３を、サブセット１の画像フレーム２０の左上の隅にあるフレームセグメントＳ１から形成することができ、別のビデオサブシーケンス２３を、サブセット１の画像フレーム２０の左下の隅にあるフレームセグメントＳ１３から形成することができ、以下同様である。同様に、サブセット２の画像フレーム２０中のフレームセグメント２２を使用してさらなるビデオサブシーケンス２３が形成される。図４（ｃ）は、この実施形態により第１及び第２のサブセット２１から形成されたサブシーケンス２３を図示する。

ただし、好ましい実施形態（色及び空間的類似度に従ってピクセルをグループ化することによってフレームセグメント２２が形成される場合、特に好ましい）では、ビデオシーケンスの内容の変化（例えば、対象者が動くことによる）に対するこの方法のロバスト性を向上させるために、互いに合致するフレームセグメント２２をサブセット２１の画像フレーム２０から選択することにより、ビデオサブシーケンス２３を形成することができる（例えば、画像フレーム２０内での空間的場所が概ね合致し、色が概ね合致する）。これにより、ビデオサブシーケンスが画像フレーム２０の中を「くねって進む」ことができ、その結果ビデオサブシーケンス２３が対象者の特定部分についてのフレームセグメント２２を含むようになる（例えば、対象者がビデオシーケンス中で左から右に動くのに伴い、空間及び色の類似性のために、対象者の頬に対応する各画像フレーム２０中のフレームセグメント２２によって特定のビデオサブシーケンス２３が形成され得る）。ビデオサブシーケンス２３を形成する好ましい方式の１つは、ある画像フレーム２０中の特定のフレームセグメント２２に対して、その特定のフレームセグメント２２からの色エネルギーが最小であり（すなわち最小のクロミナンス差）、且つ空間距離エネルギーが最小である（すなわち最小の空間距離）フレームセグメント２２を次の画像フレーム２０の中で識別するものである。色エネルギーとは、当該フレームセグメント２２のピクセルと、次の画像フレーム２０中のフレームセグメント２２のピクセルのクロミナンス値に基づくエネルギー関数を言い、よって、ビデオサブシーケンス２３を形成するための色エネルギーを最小化することは、特定のフレームセグメント２２について、検討対象のそのフレームセグメント２２に対して最小の色エネルギーを有する、次の画像フレーム２０中のフレームセグメント２２を識別することからなることが理解されよう。検討対象のフレームセグメント２２のピクセルのクロミナンスと比較してフレームセグメント２２のピクセルのクロミナンスが異なっているほど、色エネルギーは高く、よってそのフレームセグメント２２がそのビデオサブシーケンス２３のために選択される見込みは低くなることが認識されよう。また、空間距離エネルギーとは、画像フレーム２０中でのフレームセグメント２２の空間位置と、次の画像フレーム２０中でのフレームセグメント２２の空間位置とに基づくエネルギー関数を言い、よって、ビデオサブシーケンス２３を形成するための空間距離エネルギーを最小化することは、特定のフレームセグメント２２について、検討対象のそのフレームセグメント２２の中で最小の空間距離をもたらす、次の画像フレーム２０中のフレームセグメント２２を識別することからなることが理解されよう。次の画像フレーム２０中でのフレームセグメント２２の位置から検討対象のフレームセグメント２２の位置までの距離が大きいほど、空間距離エネルギーは高くなり、そのフレームセグメント２２がそのビデオサブシーケンス２３のために選択される見込みは低くなることが認識されよう。いくつかの実施形態では、空間距離エネルギーは、ＲＧＢピクセル値を部分空間（例えばＵＶ）に投射した後に検討してもよい。代替の手法では、時間ｔ−１におけるボクセル２３の中心を使用して、時間ｔに新しいボクセルを初期化することも可能である。ボクセル２３が時間的に重複している場合（すなわち重複する画像フレーム）、ボクセル２３の最後のフレームセグメント２２における中心が、次のボクセル２３の最初のフレームセグメント２２における中心を決定する。

上記で説明した複数のフレームセグメント２２への画像フレーム２０の分割により、第１のスケール又は解像度のビデオサブシーケンスが得られ、スケール又は解像度は、各画像フレーム中のフレームセグメント２２の数（例えば、図４では１８個）によって示されるか、又は各フレームセグメント２２のサイズ（例えば、フレームセグメント２２あたりの画像ピクセルの数による）によって示される。いくつかの実施形態では、画像フレーム２０は、第１の複数のフレームセグメントとは異なるサイズ／解像度を持つ第２の複数のフレームセグメント２２に分割することもでき、それらのセグメント２２からさらなる複数のビデオサブシーケンス２３が形成される。この複数の解像度の使用には、ビデオシーケンス中でスケールによって変動しない対象者の検出が可能になり、ビデオシーケンス中の複数の対象者の検出を向上させるという利点がある。

ビデオサブシーケンス２３が形成されると、方法は続いて、パルス信号の決定を可能にするために、共に連結又は結合することができるビデオサブシーケンス２３を識別する。方法は、特定の対象者の生体皮膚組織のパルス信号は皮膚の異なる部位でほぼ同じである（正規化された色値が検討されると仮定して）ことを利用するが、このことは、ビデオシーケンスの（わずかに）異なる空間的部分から取られたビデオサブシーケンス２３を共に連結できることを意味する。

よって、ステップ１０５で、画像フレーム２０の第１のサブセット２１からのフレームセグメント２２から形成された第１のビデオサブシーケンス２３が、画像フレーム２０の第２のサブセット２１からのフレームセグメントから形成されたビデオサブシーケンス２３と比較される。第２のサブセット２１は、好ましくは、第１のサブセット２１に隣接するサブセットである。

この比較は、好ましくは、第１のビデオサブシーケンス２３についての少なくとも１つの代表値を、第２のサブセット２１中のビデオサブシーケンス２３の各自の代表値と比較することを含む。ビデオサブシーケンスの代表値は、ビデオサブシーケンス２３を構成しているフレームセグメント２２の内容（例えばピクセル値）に基づくか、又はそれから導出される。いくつかの実施形態では、各ビデオサブシーケンス２３は、２つ以上の代表値を有することができる。この場合、ステップ１０５は、特定のビデオサブシーケンス２３についての代表値のうち複数個を、他のビデオサブシーケンス２３の代表値のうち複数個と比較することを含むことができる。

図４（ｄ）は、ステップ１０５の一例を図示する。よって、第１のサブセット２１の画像フレーム２０中のフレームセグメント２２から形成された第１のビデオサブシーケンス２４（サブセット１は画像フレームＦ１、Ｆ２、及びＦ３を含む）、具体的には画像フレームＦ１、Ｆ２、及びＦ３のセグメントＳ９から形成されたサブシーケンス２４が、第２のサブセット２１の画像フレーム２０のフレームセグメント２２から形成されたビデオサブシーケンス２５と比較される（サブセット２は画像フレームＦ２、Ｆ３、及びＦ４を含む）。いくつかの実施形態では、第１のビデオサブシーケンス２４は、画像フレーム２０の第２のサブセット２１から形成されたビデオサブシーケンス２５のすべてと比較することができる。代替実施形態では、第１のビデオサブシーケンス２４は、画像フレーム２０の第２のサブセット２１から形成されたビデオサブシーケンス２５の一部のみと比較することができる。例えば、第１のビデオサブシーケンス２４は、画像フレーム２０の中で同じ及び／又は似た空間位置にあるビデオサブシーケンス２５のみと比較される。これを、図４（ｄ）では、第１のビデオサブシーケンス２４が、フレームＦ２、Ｆ３、及びＦ４の中の符号を付けたビデオサブシーケンス２５、すなわち、セグメントＳ２、Ｓ３、Ｓ４、Ｓ８、Ｓ９、Ｓ１０、Ｓ１４、Ｓ１５、及びＳ１６を含むビデオサブシーケンス２５だけと比較されることによって図示している。

ステップ１０５の比較は、第１のビデオサブシーケンス２４を連結できるビデオサブシーケンス２５を識別することを目的とし、そのため、この比較は、第１のビデオサブシーケンス２４の代表値と似ている、又は最も似ている代表値を持つビデオサブシーケンス２５を識別することを目的とする。いくつかの実施形態では、ビデオサブシーケンス２５は、画像フレーム２０の中で第１のビデオサブシーケンス２４と似た空間位置にもあるべきである（例えば図４（ｄ）に図示されるように）。

どのサブシーケンスを連結するかを決定するために代表値を比較する際、サブシーケンスの時間的な重複がある実施形態（例えば、図４のサブセット１及びサブセット２のように）は利益をもたらし、すなわち、同じフレームにある各サブシーケンスの代表値（平均の場合）、又は同じフレームペアから導出された代表値（（正規化された）差分の場合）同士を比較することが可能となることが認識されよう。

比較するステップの前に、各ビデオサブシーケンス２３の代表値を決定することができる。図４では、ビデオシーケンス中の画像フレームＹ〜ＺのフレームセグメントＳＸから形成された特定のビデオサブシーケンス２３の代表値をＶ_{ＳＸ：Ｙ→Ｚ}と表記する。図４（ｃ）において各ビデオサブシーケンス２３の代表値Ｖに使用される注記は、ビデオサブシーケンス自体の下に示されている。

いくつかの実施形態では、各ビデオサブシーケンス２３の代表値は、ビデオサブシーケンス２３中のすべてのフレームセグメント２２にあるピクセルのピクセル値（例えばＲＧＢ値）の平均から決定することができる。各ビデオサブシーケンス２３が２つ以上の代表値を持ち得る代替実施形態では、各値は、ビデオサブシーケンス２３中のそれぞれのフレームセグメント２２のピクセルのピクセル値の平均とすることができる。

いくつかの実施形態では、平均を決定する際、フレームセグメント２２中でのピクセルの空間位置、及び／又はフレームセグメント２２の中心若しくはその近くにあるピクセル若しくはピクセルのグループとの色の差に基づいて、ピクセル値を重み付けすることができ、重み付けされた値の平均を決定する。例えば、ピクセル値は、ピクセルから空間境界までの距離、及び／又はピクセルからフレームセグメント２２の中心までの距離に基づいて重み付けすることができる。好ましくは、重み付けによってセグメント２２の境界に近いピクセルがより低く重み付けされるようにし、これは、隣り合うセグメント２２間のジッタリングアーチファクトのために、それらのピクセルはセグメント２２の真ん中に近いピクセルよりも信頼性が低いためである。

いくつかの実施形態では、上記で決定されたピクセル値の平均が正規化され、正規化した平均が代表値として使用される。平均の正規化は、平均を、ビデオサブシーケンス２３中のすべてのフレームセグメント２２中のすべてのピクセルのピクセル値の平均（又は要求される場合は重み付き平均）で割ることによって行うことができる。それに代えて、平均の正規化は、平均を、ビデオサブシーケンス２３がそれから形成されているサブセット２１中のすべての画像フレーム２０中のすべてのピクセルのピクセル値の平均（又は要求される場合は重み付き平均）で割ることによって行うこともできる。

一部の（又はさらなる）実施形態では、各ビデオサブシーケンス２３の代表値は、ビデオサブシーケンス２３中の各フレームセグメントに対応するピクセルのピクセル値の平均（又は重み付き平均）の間の差から決定することができる。いくつかの実施形態では、サブシーケンス２３中のすべてのフレームセグメント２２にわたるピクセル値の平均（又は重み付き平均）を使用して、差を正規化することができる。それに代えて、サブシーケンス２３中のすべてのフレームセグメント２２にわたるピクセル値の平均（又は重み付き平均）の和を使用して、差を正規化することもできる。正規化された差の使用は、異なるビデオサブシーケンスを表す平均値が著しく異なるときでも、差分値（すなわちビデオサブシーケンス）を連結し、パルス信号を算出することを可能にすることから有利である。正規化された差分が連結される場合、連結される差分値は、パルス信号が導出される前又は後に積分することができる（下記のステップ１０９）。

図３に戻り、ステップ１０７で、第１のビデオサブシーケンス２４と、第２のサブセット２１からのビデオサブシーケンス２５との比較に基づいて、第１のビデオサブシーケンス２４が、第１のビデオサブシーケンス２４と十分に似ている（例えば、代表値が互いから特定の量以内にある）、又は最も似ている、第２のサブセット２１からのビデオサブシーケンス２５（このビデオサブシーケンス２５を本明細書では第２のビデオサブシーケンス２５と呼ぶ）と連結される。

この連結が図４（ｅ）に示され、ここでは第１のビデオサブシーケンス２４（Ｆ１、Ｆ２、Ｆ３のセグメントＳ９から形成される）が、第２のビデオサブシーケンス２５（Ｆ２、Ｆ３、Ｆ４のセグメントＳ１０から形成される）と連結される。

第１のビデオサブシーケンス２４が、画像フレーム２０の第２のサブセット２１からのフレームセグメントから形成された第２のビデオサブシーケンス２５と連結されると、ステップ１０５及び１０７を第２のビデオサブシーケンス２５に対して繰り返して、画像フレーム２０の第３のサブセット２１（すなわちＦ３、Ｆ４、Ｆ５）からのフレームセグメントから形成される第３のビデオサブシーケンス２６を識別することができる。よって、第３のビデオサブシーケンス２６は、図４（ｅ）に示されるように、第２のビデオサブシーケンス２５と連結することができる。次いでステップ１０５及び１０７を繰り返して、画像フレーム２０のさらなるサブセット２１から、サブシーケンス２４、２５、２６と連結するビデオサブシーケンスを識別することができる。

ビデオサブシーケンス２３が共に連結又は結合されると、ビデオサブシーケンスからパルス信号が決定される（ステップ１０９）。このパルス信号は、連結されたシーケンス中のフレームセグメント２２及び／又はビデオサブシーケンス２３の色又は色の変化を表す。

いくつかの実施形態では、ステップ１０９は、連結されたビデオサブシーケンス２４、２５、２６各々の代表値からパルス信号を決定することを含むことができる。よって、いくつかの実施形態では、パルス信号は、例えば図４（ｆ）に示すように、代表値自体から形成することができる。よって、代表値、ＶＳ_{９：１→３}、ＶＳ_{１０：２→４}、及びＶ_{Ｓ．．．：３→５}は、それぞれ時間ｔ_Ｆ１、ｔ_Ｆ２、ｔ_Ｆ３におけるパルス信号２７の値を提供する（各ビデオサブシーケンス２４、２５、２６の中で表される最初の画像フレームのタイミングに対応する）。

この例では、パルス信号２７を形成するビデオサブシーケンス２４、２５、２６は、生体皮膚組織のエリアを含んでおり、したがって、この連結されたビデオサブシーケンスのセットから決定されるパルス信号２７は、ＰＰＧ信号に典型的な特性を呈する（すなわち、心臓の拍動に起因して、対象者の皮膚内の血流の変化と合致して振幅が変動する）。連結されたビデオサブシーケンスのセットが生体皮膚組織のエリアを含んでいなかった場合、このセットから決定されるパルス信号はＰＰＧ信号に典型的な特性を呈さない（また、ビデオシーケンス中に周囲照明の変化がない場合、このセットのパルス信号は概ね雑音信号に対応する可能性がある）。

連結されたビデオサブシーケンス２３の代表値からパルス信号２７が形成される実施形態では、ステップ１０７及び１０９は実質的に１つのステップと見なせることが認識されよう。これは、第１のビデオサブシーケンス２４の代表値が、第２のビデオサブシーケンス２５の代表値と連結されるためである。

代替実施形態では、連結されたビデオサブシーケンス２４、２５を、画像／画像フレーム／フレームセグメントのシーケンスからパルス信号を抽出するための技術を使用して分析することができる。ビデオシーケンスからパルス信号を決定するための様々な技術が当技術分野で知られており、本明細書では詳細には説明しない。しかし、いくつかの例示的技術を、下記のボクセル−パルス−スペクトル法の説明で取り上げる。

いくつかの実施形態では、連結されたビデオサブシーケンスのセットを形成してパルス信号２７を決定した後、方法はステップ１０５に戻り、第１のサブセットであるサブセット１の画像フレーム２０から形成されたビデオサブシーケンス２３のうち異なるものに方法を繰り返すことができる。このようにして、ビデオシーケンスの異なる（空間的）部分に対して複数のパルス信号２７が決定され、そのうちの一部は生体皮膚組織のエリアを含む可能性があるのに対し、他のものは含まない可能性がある。異なるサブセット２１からのビデオサブシーケンス２３が互いと比較される方式（すなわち代表値の比較による）に起因して、特定のビデオサブシーケンス２３がいくつかの異なるパルス信号２７に寄与する可能性がある（又は、実際には特定のビデオサブシーケンス２３がどのパルス信号２７にも寄与しない可能性もある）ことが認識されよう。

パルス信号２７（又は複数のパルス信号）が決定又は抽出されると、そのパルス信号２７を分析して、ビデオシーケンス中の生体皮膚組織のエリアを識別することができる。ビデオサブシーケンス２３が複数の解像度を持つフレームセグメントから形成される場合、分析は、異なる解像度で取得されたパルス信号を共に分析して生体皮膚組織のエリアを識別することを含むことができる。場合によっては、類似度（例えば、空間、時間、色、及び／又は周波数の類似度）に基づいてパルス信号２７を共にクラスタリングすることができ、それらのクラスタから生体皮膚組織のエリアが識別される。

いくつかの実施形態では、１つ又は複数のパルス信号２７を分析して、そのようなパルス信号が存在する場合には、どのパルス信号が生体皮膚組織の特性を呈するかを決定することができる。いくつかの実施形態では、パルス信号の周波数特性が決定され、決定されたパルス信号の周波数特性が、生体皮膚組織のエリアから取得されたパルス信号の典型的な周波数特性と比較される。例えば、固定された周波数閾値又は帯域（例えば、典型的な心拍／パルス周波数に対応する）を使用して、周期的なパルス信号が生体皮膚組織に対応するかどうかを決定することができる。

代替実施形態では、パルス信号２７は、パルス信号の類似度に基づいて空間的にクラスタリングされる。これを実施するための好適なクラスタリングアルゴリズムの一つは、雑音を伴う応用例の密度に基づく空間クラスタリング（ＤＢＳＣＡＮ：ｄｅｎｓｉｔｙ−ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）、又は上記で参照した「Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ」で提案されるクラスタリングである。

ただし、いくつかの実施形態では、各パルス信号２７の他のパルス信号２７との間のペアごとの類似度を決定することができる。すなわち、パルス信号ごとに、他のパルス信号各々との類似度の尺度が決定される。次いで、これらのペアごとの類似度の尺度を分析して生体皮膚組織のエリアを識別する。

ペアごとの類似度の尺度は、好ましくは、周波数に基づくペアごとの類似度の尺度を含むか、又はそれ自体である。これは、同じ特定の対象者の生体皮膚組織のエリアに対応する異なるフレームセグメント２２は、相関中で似た（又は同じ）周波数ピークインデックス、位相、又は低いエントロピーを持つパルス信号を呈するはずであるため、有利である。

あるパルス信号と、他のパルス信号のうち１つとのペアごとの類似度の尺度は、当該パルス信号の周波数スペクトルと、他のパルス信号のうち当該１つの周波数スペクトルとの少なくとも一部の間の相関の尺度（これを本明細書ではスペクトルピークと呼ぶ）、当該パルス信号の周波数スペクトルの少なくとも一部と、他のパルス信号のうち当該１つの周波数スペクトルの少なくとも一部との間の正規化された相互相関の尺度（これを本明細書ではスペクトル位相と呼ぶ）、２つのパルス信号の周波数スペクトルの少なくとも一部の間の相関の規則性の尺度（これを本明細書ではスペクトルエントロピーと呼ぶ）、及び／又は、２つのパルス信号の内積の結果（任意で、内積が計算される前にフィルタリングしてもよい）とすることができる。これらのペアごとの類似度の尺度のさらなる詳細は、下記のボクセル−パルス−スペクトル（ＶＰＳ）法の説明で得ることができる。

当業者は、決定して生体皮膚組織のエリアを識別するために使用できる、上記で提示したものに代わる、又はそれ以外のペアごとの類似度の尺度を把握されよう。

いくつかの実施形態では、パルス信号ごとに、他のパルス信号各々とのペアごとの類似度の尺度を複数決定することができ（例えば、スペクトルピーク及びスペクトル位相）、それらの尺度を組み合わせて、各パルス信号の他のパルス信号各々とのペアごとの類似度を表す距離指標を形成することができる。

いくつかの実施形態では、ビデオシーケンスの類似度行列を決定し、その類似度行列から生体皮膚組織のエリアを識別することができる。類似度行列は、パルス信号に対して決定されたペアごとの類似度（又は距離指標）を組み合わせることによって形成することができる。類似度行列は、ビデオサブシーケンスのうち２つ以上の複数個にわたる似たパルス信号が相互に相関付けられた行列である。類似度行列の使用は、パラメータ（例えば、皮膚の色合いやクラスタリングに基づくパラメータ）を事前定義する必要がないことから有利である。

類似度行列が決定されると、類似度行列の行列分解を行うことによって、生体皮膚組織のエリアが識別される。いくつかの実施形態では、行列分解は、特異値分解（ＳＶＤ）、ＱＲ分解、疎ＳＶＤ、増分ＳＶＤ、主成分分析（ＰＣＡ）、又は独立成分分析（ＩＣＡ）とすることができる。これらの技術は、当技術分野で一般に知られており、本明細書では詳細には説明しない。下記で詳細に説明する好ましい実施形態では、類似度行列は、増分疎ＰＣＡを使用して分解される。

分解は、類似度行列を直交基底に因数分解（分解）して、同じ対象者に属するビデオシーケンスの部分を見つけることを含むことができる。この因数分解の結果、異なる種類の類似度は独立した方向に分離される。この結果、同じ対象者に属するフレームセグメントは、同じ方向にクラスタリングされる。

ビデオシーケンス中で生体皮膚組織のエリアが識別されると、対象者（識別された生体皮膚組織を持つ対象者）の１つ又は複数の生理学的特性をビデオシーケンスから決定することができる。

いくつかの実施形態では、生理学的特性は、識別された生体皮膚組織のエリアに関連付けられた１つ又は複数のパルス信号２７から決定することができる。この場合、１つ又は複数のパルス信号２７を個々に分析して、生理学的特性及び組み合わせられた（例えば平均された）生理学的特性を決定して、対象者の生理学的特性の全体的な尺度を得ることができる。それに代えて、１つ又は複数のパルス信号２７を組み合わせて（例えば平均して）単一のパルス信号を得、そのパルス信号を分析して生理学的特性を決定してもよい。

他の実施形態では、ビデオシーケンスを再処理して、生体皮膚組織であると識別されたエリアから１つ又は複数のパルス信号を抽出し、そのパルス信号を処理して生理学的特性を決定することができる。

ビデオシーケンスから導出されるパルス信号は、ＰＰＧセンサを使用して取得される信号と似ており、そのため、対象者の１つ又は複数の生理学的特性は、ＰＰＧ信号、又は対象者の血流（若しくは血流の変化）の他の尺度から導出できる特性、例えば、心拍数、心拍数の変動性、拍動間間隔、呼吸数、呼吸信号、ＳｐＯ２値（すなわち血液の動脈酸素化レベル）等をいずれも含むことができる。よって、ＰＰＧ信号からそのような生理学的特性を導出するための当技術分野で知られる技術（例えば、心拍数を決定するための周波数領域におけるピーク検出）を使用して、生体皮膚組織であると識別されたエリアから取得されたパルス信号から生理学的特性の値を導出することができる。

本明細書に提示される技術の特定の実施形態を下記で説明するが、これを本明細書ではボクセル−パルス−スペクトル（ＶＰＳ）法と呼ぶ。

ボクセル−パルス−スペクトル（ＶＰＳ）法
カメラによるパルス抽出
人間の心血管系では、全身を伝搬する血液パルスが、皮膚組織中の血液ボリュームを変化させる。血液中のヘモグロビンの光吸収は光スペクトルにわたって変動するので、皮膚の反射の色変動を検出することでパルスレートを明らかにすることができる。近年の遠隔フォトプレチスモグラフィ（ｒＰＰＧ）技術により、通常のＲＧＢカメラを使用して、パルスによって引き起こされる人間の皮膚の色変動を検出することが可能になっている。パルスを発見するために時間的ＲＧＢ信号を因数分解するためのブラインド信号源分離方法（例えば、ＰＣＡに基づくもの及びＩＣＡに基づくもの）が提案されている。クロミナンスに基づくｒＰＰＧ方法も提案されており、これは、標準的な皮膚の色合いの想定下でＲＧＢチャネルの線形の組み合わせとしてパルスを定義するものであり、これは、現実的な課題（例えば対象者の皮膚の色の違い）に対処するのに最も正確なｒＰＰＧ方法の１つである。

パルスに基づく関心領域の検出
人間のパルスはビデオシーケンス中でｒＰＰＧによって測定可能であることを考えると、したがって、パルス信号を使用して対象者の検出を支援することができ、すなわち、対象者の生体皮膚組織を特定することにより、生きている対象者を検出する。既存技術の一つは、局所的なパルス抽出のためにビデオを固定された厳正なグリッドに切り出す、パルス信号に基づく顔の検出方法を提案する。この方法は、高いスペクトルエネルギーを持つグリッドを見つけるための厳格な閾値を設定し、それらのグリッドを顔領域としてラベル付けする。この方法は、カメラから事前定義された距離に静止した顔を配置する必要があるビデオに制限される。本明細書に記載されるＶＰＳ法には、これらの制限の問題がない。別の既存技術では、ｒＰＰＧの監視を強化するための顔に対する最適関心領域（ＲｏＩ）選択方法が提案された。しかし、ＲｏＩは事前定義された顔上の標識点に制約され、これは対象者検出のための一般的な解決法ではなく、すなわち、ビデオ中で視認できる可能性のある他の身体部分（例えば手）を検出することはできない。対して、本明細書に記載されるＶＰＳ法は、そのような前提を行わず、拍動性の血液ボリュームを持つすべての身体部分を検出することができる。

ＶＰＳ法の概要が図５に示され、これは、画像フレーム２０を含む入力ビデオシーケンスを受け取り、対象者のＲｏＩ５２（すなわち生体皮膚組織に対応するビデオシーケンスのエリア）を出力する。図３に示す方法に沿うと、ビデオシーケンスは複数のサブシーケンス（階層ボクセル段階５４−ステップ１０３）にセグメント分割され、そのサブシーケンスからパルス信号が決定され（パルス抽出段階５６−ステップ１０５〜１０９）、類似度行列が決定され、その類似度行列を分析してＲｏＩを識別する（スペクトル分析段階５８）。各段階について下記で詳細に論じる。

階層ボクセル
対象者に関する（又はその内容全般に関する）一切の事前情報を持たずにビデオシーケンスが与えられた場合、まずビデオシーケンスを、パルスを独立して測定できる密な局所領域にセグメント分割する（これが図５の階層ボクセル段階５４である）。ビデオシーケンスは固定された厳正なグリッドに切り出すことができるが、このことは、対象者のサイズがグリッドの幾何学的形状によって量子化されることを意味し、これは、対象者が小さいときや身体の動きがあるときには、困難を伴うか、又は失敗する。したがって、ＶＰＳ法では、「階層ボクセル」と呼ばれる、パルス抽出のための優れたビデオセグメント分割方法を使用することが好ましい。階層ボクセルは、時空間的に一貫性のあるクラスタ（フレームセグメント）から構成され、複数のスケールにあり（スケールは、各画像フレーム２０が分割されるクラスタ／セグメントの数を決定する）、時間領域で外観及び空間的な類似度を共有する画像フレーム２０中のピクセルが共にグループ化される。以下のＶＰＳ法の説明では複数のスケールが好ましく、複数のスケールが使用されるが、ＶＰＳ法で単一のスケールを使用することが可能である。

１つのスケールから開始すると、ボクセル（連続した画像フレームのサブセット（例えば、２、３、４等）にあるフレームセグメントを含むビデオサブシーケンス）を構築することは、以下のように、短い間隔内で時間的に隣接しているスーパーピクセル／フレームセグメント間で、色エネルギーＥ_Ｃを最小化し（すなわち、フレームセグメントのクロミナンスの差を最小化する）、且つ空間距離エネルギーＥ_Ｓを最小化する（すなわち、フレームセグメント間の空間距離の差を最小化する）手順と定義される。

ここで、ｐ∈Ｐ（ｔ）は、ｔ番目のフレーム中のピクセルの集合である。ｐの表現は４次元の特徴ベクトル（ｘ，ｙ，ｕ，ｖ）であり、ここで、（ｘ，ｙ）及び（ｕ，ｖ）はそれぞれ、画像平面及び色平面内の座標である（例えば、皮膚をセグメント分割するための経験的な空間であるＹＵＶ空間のＵＶ平面）。Ｔの間の総エネルギーを最小化するために、Ｋ平均クラスタリングを行って、ピクセルをｋ個のクラスタに割り当てる。λは、２つのエネルギー項間のバランスをコントロールするパラメータである。

さらに、式１の中で異なるｋを同時に初期化することにより、単一スケールのボクセルを複数のスケールに拡張し、ここで各スケールは独立したクラスタリングとなる。別々のスケールにあるボクセルは異なる解像度及びエネルギー変動を有することを考慮して、以下のように、ｉ番目のスケールのλ_ｉが、ｔにおけるそれ自体のエネルギー変動に基づいて適合的に自己調節され、

ここで、σ（・）は標準偏差演算子を意味し、φ（・）はクラスタ平均の集合を表し、ｌｏｇ（ｋ）はボクセルのコンパクトさをコントロールし、すなわち、解像度がより高い（ｋがより大きい）ボクセルはよりコンパクトであるべきである。異なるスケールにあるλの実時間の調節により、一時的で不安定なクラスタリングを回避し、これはきめの細かいセグメント分割を保つ。

上記のように階層ボクセルを使用することには、図６に図示するように４つの利点があり、図６は、生きている対象者と人工の顔を含む２つの異なる画像についての３つの異なる解像度／スケール（ｋ＝１６、ｋ＝３６、ｋ＝６４）を示す。図６では、第１の画像６０は、図１の左側の画像に対応し、いずれもカメラの方を向いた人間の顔と人工の顔とを示している。第２の画像６２は、図１の右側の画像に対応し、カメラに対して横を向いた人間の顔と人工の顔とを示している。第１に、階層ボクセルを使用して、パルス測定のために時空間的に一貫性のある「チューブ」（ビデオサブシーケンス）を確立する。第２に、それにより、スケールによって変動しないビデオ中の対象者の検出が可能になる。第３に、それにより、対象者形状の高い境界復元を維持する（画像中の形状に沿ったフレームセグメントの境界によって示されるように）。第４に、異なる解像度のボクセルから測定されるパルスは量子化された品質が異なるため、皮膚領域の統計的な観察が生み出される。

パルスの抽出
この節では、図５のパルス抽出段階５６を説明する。階層中の各ボクセル（すなわちビデオサブシーケンス）は、並行したパルス抽出における独立したパルスセンサと見なされる。好ましい実施形態では、クロミナンスに基づく方法（ＣＨＲＯＭ）がパルスの測定に使用され、これについては、Ｇ．ｄｅ Ｈａａｎ及びＶ．Ｊｅａｎｎｅによる「Ｒｏｂｕｓｔ ｐｕｌｓｅ ｒａｔｅ ｆｒｏｍ ｃｈｒｏｍｉｎａｎｃｅ−ｂａｓｅｄ ｒＰＰＧ」（ＴＢＭＥ、６０（１）：２８７８−２８８６、２０１３）に記載される。ただし、当業者は、ボクセルのパルス信号を決定するために使用できる他の技術を把握されよう。例えば、上述のように、ＰＣＡ又はＩＣＡに基づく技術を使用してボクセルからパルス信号を抽出することができ、又はＧ．ｄｅ Ｈａａｎ及びＡ．ｖａｎ Ｌｅｅｓｔによる「Ｉｍｐｒｏｖｅｄ ｍｏｔｉｏｎ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｒｅｍｏｔｅ−ＰＰＧ ｂｙ ｕｓｉｎｇ ｔｈｅ ｂｌｏｏｄ ｖｏｌｕｍｅ ｐｕｌｓｅ ｓｉｇｎａｔｕｒｅ」（Ｐｈｙｓｉｏｌ．Ｍｅａｓ．３５ １９１３、２０１４）に記載される「ＰＢＶ」法を使用してＲＧＢトレースからパルスを抽出することができる。すべてのピクセルの空間的に平均されたＲＧＢを使用して局所領域／クラスタ内のパルス信号を導出するＣＨＲＯＭと異なり、ボクセル中のピクセルのＲＧＢ値が、ボクセル境界までの各自の距離に基づいてそれらを重み付けすることによって組み合わせられ、すなわち、ボクセル境界に近いピクセルは、隣り合うボクセル間で時折生じるジッタリングアーチファクトのために信頼性がより低く、したがって重み付けを低くすべきである。ピクセルｋからボクセル境界までの最も近いユークリッド距離がｄ_ｋであると仮定すると、ｔにおけるｉ番目のスケールのｊ番目のボクセルの平均ＲＧＢは、

として組み合わせられ、ここでＮはｊ番目のボクセル中のピクセル数を意味する。一定照明の環境では、人間の皮膚組織は同じ相対ＰＰＧ振幅を示すが、ボクセルの色差によりパルス振幅の変動が生じる。そのため、ＣＨＲＯＭと異なり、ボクセル中の平均ＲＧＢの時間導関数が使用され、すなわち、

により、そのクロミナンス信号を導出する。間隔Ｔ（式１に定義される）に、正規化されたクロミナンス導関数が、

と計算され、ここで、

は、２つの画像フレーム間のボクセル中のＲＧＢの時間導関数を意味する。各間隔に推定されたクロミナンス導関数を線形に組み合わせてパルス導関数とし、さらに積分する。その後、種々の異なるパルス間隔が、長さＬの完全なパルス信号

に重複して加えられる。この手順は次のように解釈され、

ここで、ｃｓｕｍ（・）は、時間導関数信号の累積和を意味し、ｗは、重複加算を平滑化するためのハニング窓である。その結果、並行して抽出されたパルス信号

（ｉ番目のスケールのｊ番目のボクセルから）が次のように中心に集められて正規化され、

ここで、μ（・）は平均化動作を意味する。パルス信号はこの方法で使用される唯一の特徴であることに留意されたい。色やテクスチャなどの他の外観的特徴は使用されない。

スペクトル分析
この節ではスペクトル分析段階５８について説明する。この段階は、３つの下位段階である、類似度行列を形成すること、類似度行列に増分疎ＰＣＡを行うこと、及び階層的な融合を使用してビデオシーケンス中の生体皮膚組織のエリアを識別することからなる。

同じ対象者に属する皮膚領域から抽出されたパルス信号は、位相や周波数などの多くの面で類似度を共有するのに対し、皮膚以外の領域（例えば背景）から抽出されたパルス信号は相関を持たないランダムな雑音であることに留意されたい。したがって、階層ボクセルからパルス信号を抽出した後に、パルス信号のペアごとの類似度を使用して、生きている対象者を見つける。これは、ビデオシーケンス中に複数の対象者がいる場合にも適用することができ、これは、異なる対象者から測定されたパルスは位相及び周波数においても区別できるためである。

類似度行列 − このステップでは、類似度行列Σ＝（Ｄ，Ｃ）を作成して、測定されたパルスに基づいて階層ボクセルを相互に接続する。Σの中で、対角線にあるエントリＤは異なるスケールにあるすべてのボクセルを含んでおり、残りのエントリＣはボクセルの任意のペア間のペアごとの接続を意味する。そのような類似度行列を構築するために、パルスの類似度を測定するための距離指標を定義する必要がある。最も広く使用される距離指標、すなわちＬ１及びＬ２距離は、パルス特徴には適用することができない。しかし、他の外観的特徴（例えばＨａａｒ及びＨＯＧ）と比べると、パルス特徴の本質的で固有の性質は周期性を含んでいることである。同じ対象者から得られたパルス信号は、次の関係を持つことに上記で留意した。（１）似た周波数を持ち、よってそれらのパルス信号の相互相関は著しいスペクトルピークを呈する。（２）著しい位相シフトがない。（３）パルス信号の周波数相関は規則的で、無秩序であることは少ない。（４）パルス信号を多次元ベクトルと考える場合、２つの似たベクトル間の挟角は小さい。したがって、パルス信号の類似度行列を構築するために使用される好ましい距離指標は、上記の関係を強調し、以下の４つの異なる測定値からなる。

スペクトルピーク − 周波数領域では、ボクセルが伝達するためにパルスレート帯ｆ∈［４０，２４０］ＢＰＭ（１分当たりの拍数）が定義され、これは、新生児及びスポーツをする対象者を含む健康な対象者には広い範囲となる。２つの相互相関が取られたパルス信号のスペクトルピークは、

と定義され、ここで、○は要素ごとの積を意味し、＊は共役であり、Ｆ（・）は高速フーリエ変換（ＦＦＴ）を表す。

スペクトル位相 − ２つの似たパルス信号は位相も同じであり、そのため、それら信号の正規化した相互相関は、次のように時間領域で強い反応を示すはずであり、

ここで、

はＬ２ノルムであり、Ｆ^−１（・）は逆ＦＦＴを意味する。

スペクトルエントロピー − 用語「エントロピー」は、２つのパルス信号間の相関の規則性を、

として測定するために使用され、ここで、Ｅの解釈は他の測定値と合致し、すなわち、より大きいＥほどより良好な相関を意味する。

内積 − 時間領域では、内積を使用して、２つのパルス信号間の余弦角を

と測定し、ここで＜，＞は内積演算を意味する。

最後に、これら４つの測定値が範囲［０；１］に正規化され、次のように共にガウスカーネルと融合され、

ここで、σＩ，Ｆ，Ｐ，Ｅは４つの行列間のエントリごとの標準偏差を表す。４つの測定値は互いから完全に独立しているのではなく、測定値間の冗長性は、類似度推定の不確定性を低減するために有益であることに留意すべきである。図７は、２つのビデオシーケンスについての４つの測定値とそれらを融合した類似度行列Σ６４、６６の例を示し、１つのビデオシーケンスは１人の生きている対象者を含み、もう一方は２人の生きている対象者を含む。より高いエネルギーを持つエントリは、階層中で似たボクセルのインデックスを表す。

本明細書で使用される距離指標では、良好に位置が合わせられた２つのパルス信号は相互相関時に増大した周波数エネルギーを示し、これは、雑音エントリ（例えば、パルスを持たないボクセル）を効果的に抑制することができる。対して、以前の距離指標はすべて、比較のときに似たエントリ間の関係を強化することができない客観的な測定である。最後に、階層中のすべてのボクセルが類似度行列の中で互いに接続される。ボクセル中で生きている対象者を検出する作業は、同じ部分空間にあるエントリが全く同じ類似度方向を持つような類似度行列の部分空間の区分けを見つけることと再公式化することができる。

増分疎行列分解 − 類似度行列Σ６４、６６は、

の線形の組み合わせと解釈することができ、ここで、ｘ_ｉ∈Ｘは、多次元空間中の直交ベクトルの集合である。同じ対象者に属するボクセルを見つけるために、行列分解技術を使用してΣをＸに因数分解し、ここで、異なる対象者は異なる固有ベクトルに分けられる。Σは多くのゼロエントリを持つ疎行列であるので（例えば、背景を指すボクセル同士は類似度を共有しない）、疎ＰＣＡを適用して、表現力とデータの解釈可能性との間のトレードオフを探ることによりΣをＸに分解する。

疎ＰＣＡについては、Ｙ．Ｚｈａｎｇ、Ａ．ｄ’Ａｓｐｒｅｍｏｎｔ、及びＬ．Ｇｈａｏｕｉによる「Ｓｐａｒｓｅ ＰＣＡ： Ｃｏｎｖｅｘ ｒｅｌａｘａｔｉｏｎｓ， ａｌｇｏｒｉｔｈｍｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｅｒｉｅｓ ｉｎ Ｏｐｅｒａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ ＆ Ｍａｎａｇｅｍｅｎｔ Ｓｃｉｅｎｃｅ Ｖｏｌｕｍｅ １６６：９１５〜９４０、２０１２）に記載される。疎ＰＣＡは、以下の非凸のオブジェクト関数を最適化することにより、Σの中で最大の分散を持つ最初の疎な固有ベクトルを見つけ、

ここで、

はＬ１ノルムであり、ｎ＞０はＸの濃度をコントロールする。しかし、最大の分散を持つ疎な固有ベクトルの算出は、組み合わせ問題であり、解くことが数学的に難しく、そのため、式１３の非凸のランク制約は、次のように、半定値的な緩和ｌ_１ペナルティの付与によるリフティング手順に従って削除され、

ここで、Ｔｒ（・）は行列トレース演算を意味し、ρ＞０は疎度をコントロールし、

は、最初の主固有ベクトルによって近似される対称行列である。この時点で、ハイブリッド条件付き勾配平滑化（ＨＣＧＳ）と称されるアルゴリズムを使用して式１４を解くことができる。ＨＣＧＳについては、Ａ．Ａｒｇｙｒｉｏｕ、Ｍ．Ｓｉｇｎｏｒｅｔｔｏ、及びＪ．Ｓｕｙｋｅｎｓによる「Ｈｙｂｒｉｄ ｃｏｎｄｉｔｉｏｎａｌ ｇｒａｄｉｅｎｔ−ｓｍｏｏｔｈｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｓｐａｒｓｅ ａｎｄ ｌｏｗ ｒａｎｋ ｒｅｇｕｌａｒｉｚａｔｉｏｎ」（ａｒＸｉｖ ｐｒｅｐｒｉｎｔ：１４０４．３５９１、２０１４）に記載される。ＨＣＧＳの利点は、条件付き勾配手法を使用した凸緩和の収束が速いことである。

しかし、実際には、複数の対象者がいる場合、Σは複数の疎な固有基底（ｅｉｇｅｎｂａｓｉｓ）から構成される可能性があり、対して、式１４は、最初の主固有ベクトルの疎度を促進するだけである。この課題に対処するために、次のように、Ｈｏｔｅｌｌｉｎｇの収縮を使用して、先行する疎な固有ベクトルｘ_１，ｘ_２，．．．，ｘ_ｉ−１を用いて順にΣを収縮することにより、後に続く疎な固有ベクトルｘ_ｉを推定し、

ここで、ｘ_ｉ｜∈Ｘは、ＨＧＣＳにおけるべき乗の反復によって導出することができ、ｍは、自動的に見つけられる、最も表現性の高い固有ベクトルの数であり、これは、ビデオシーケンス中の対象者の数も示唆し、すなわちｍは通常、最も大きい固有値のギャップの箇所で見つかる。

図８は、図７に示される２つの類似度行列６４、６６に対して増分疎ＰＣＡを使用した類似度行列の分解の例を示し、ここでは、似たボクセルは、選択された固有ベクトル中で同じ方向に因数分解される。よって、図８は、類似度行列から得られた、因数分解され、選択された固有基底を示し、元のΣ６４、６６の中の雑音のあるエントリは、

６８、７０では除去され、固有値（それぞれグラフ７２及び７４に示される）は、

の中で最も表現性の高い固有ベクトルの数を明確に示している（それぞれグラフ７６及び７８に示される）。

実際には、何らかの内在的な要因（例えばパルスレートの変動）及び外在的な要因（例えば輝度の変化）により、時に後続のフレームの類似度行列に変化が生じることがあり、それが、各単一のフレームから推定される疎な固有ベクトルの不安定性につながる。この問題を解決するために、増分的な部分空間の更新を用いて、時間領域における実時間の変化に合わせてｘ_ｉ∈Ｘを滑らかに適合する。基本的には、これは、時間と共に変動する類似度行列

を新しい観察結果と考え、次のように、異なるフレームからの複数の観察結果

を使用して部分空間モデルを充実させ、

ここで、ＳＶＤ（・）は特異値分解を意味し、Ｕ及びＤは増分的に更新される固有ベクトル及び固有値である。時間と共に変動する類似度行列から複数の疎な固有ベクトルを増分的に推定するための例示的アルゴリズムを、下記のアルゴリズム１に示す。

階層的融合 − 推定された疎な固有ベクトル７６、７８を階層ボクセル上に投射することにより、ボクセルに基づく、複数スケールの人間の物体性マップを取得し、ここで、各スケールは、対象者についての異なる量子化された記述を有する。図７及び図８の２つの対象者を含んでいるビデオシーケンスについてのこの投射を図９に示す。固有ベクトル７８は、部分空間における対象者の方向（符号）を決定するだけでなく、対応する皮膚領域の拍動性（振幅）も決定し、すなわち、額及び頬は、投射において比較的高い拍動性を示す。最後のステップで、複数の物体性マップを融合して単一の出力にする。階層的な測定により皮膚領域についての統計的な観察が作成されることから、基本的な考え方は、この冗長性を活用して、すべてのスケールの一致が最も高くなる単一の出力を導出するというものである。この意味で、階層的な融合は、次のように、複数スケールの物体性マップ間のエネルギーの最小化と見なされ、

ここで、Ｏ_ｉｊは、固有ベクトル要素によって決定されるｉ番目のスケールのｊ番目のボクセルの物体性値に対応し、

は、融合された物体性マップを意味し、γは、２つのエネルギー項間のバランスをコントロールする。式１９中、Ｅ_１は、入力と出力との間のエネルギーを最小化し、一方、Ｅ_２は、異なるスケールにある空間的に重複したボクセル間のエネルギーを最小化し、すなわち暗黙的な木構造となっている。図９は、２人の生きている対象者がいるビデオシーケンスにおける融合結果の例を示し、ここでは、識別された対象者それぞれに別々の出力８０、８２がもたらされる。

上記の方法、及びＶＰＳ法の好ましい実施形態は、ビデオシーケンス中で生体皮膚組織を識別するための改良された方法及び装置を提供する。特に、方法は、従来技術と比べて改良された生体皮膚組織検出率を提供し、検出は、パルス信号を使用して生体組織を検出することのみに基づく。これらの改良は、スケール（すなわち撮像ユニット４からの距離）、対象者の姿勢、位置、皮膚の色合い、視認できる身体部分、若しくは動き、又はビデオシーケンス中の対象者の背景に関係なく得られ、対象者が部分的に撮像ユニット４から遮られているかどうか、ビデオシーケンス中に人工の顔若しくは身体部分が存在するかどうか、又はビデオシーケンス中に複数の生体対象者がいるかどうかを問わない。

特許請求される本発明を実施する際に、図面、本開示、及び添付の特許請求の範囲の考察から、開示される実施形態の他の変形例を当業者によって理解し、実施することができる。特許請求の範囲において、単語「を含む」は他の要素又はステップを排除せず、不定冠詞の「ａ」及び「ａｎ」は複数形を排除しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されるいくつかの項目の機能を実現することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、それらの手段を組み合わせて有利に使用できないことを意味しない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又は固体媒体などの適切な媒体で記憶／配布することができるが、インターネット又は他の有線若しくは無線の遠隔通信システムを介するなど、他の形態で配布されてもよい。特許請求の範囲内に参照符号がある場合、範囲を制限するものとは解釈すべきでない。

Claims (20)

1. パルス信号を決定するための装置であって、前記装置は、
   複数の画像フレームを含むビデオシーケンスを取得するカメラと、
   プロセッサと、
   前記カメラによって取得された前記ビデオシーケンスから複数のビデオサブシーケンスを形成するステップであって、各ビデオサブシーケンスは前記画像フレームのサブセット中の各画像フレームからのフレームセグメントを含み、各サブセットは複数の画像フレームを含み、各画像フレームは複数のフレームセグメントに分割され、各フレームセグメントは、画像フレーム中で隣り合っているピクセルのグループである、ステップと、
   前記画像フレームの第１のサブセットからのフレームセグメントから形成された第１のビデオサブシーケンスについて、
   前記第１のビデオサブシーケンス中の前記フレームセグメント中のピクセルのピクセル値を平均化することと、
   前記フレームセグメント中の前記ピクセル値の平均を正規化することと
   によって、第１の代表値を生成するステップと、
   前記画像フレームの第２のサブセットからのフレームセグメントから形成された第２のビデオサブシーケンスについて、
   前記第２のビデオサブシーケンス中の前記フレームセグメント中のピクセルのピクセル値を平均化することと、
   前記フレームセグメント中の前記ピクセル値の平均を正規化することと
   によって、第２の代表値を生成するステップと、
   前記第１の代表値を、前記第２の代表値と比較するステップと、
   前記第１の代表値と前記第２の代表値との前記比較に基づいて、前記第１のビデオサブシーケンスを、前記画像フレームの前記第２のサブセットからの前記フレームセグメントから形成された前記第２のビデオサブシーケンスと連結させるステップと、
   連結された前記ビデオサブシーケンスからパルス信号を決定するステップとを含む方法を実行するために前記プロセッサによって実行できるコンピュータ可読コードを有するコンピュータ可読媒体とを含む、
   装置。
2. 前記方法は、前記画像フレームの複数の前記サブセットの各々からのビデオサブシーケンスを連結するために、前記比較及び前記連結を繰り返すステップをさらに含む、請求項１に記載の装置。
3. 前記各画像フレームは、前記画像フレーム中のピクセルの色及び空間的な類似度に基づいて前記ピクセルを前記フレームセグメントにグループ化することにより、複数のフレームセグメントに分割される、請求項１に記載の装置。
4. 前記複数のビデオサブシーケンスは、各ビデオサブシーケンスに対して、前記ビデオサブシーケンス中の前記フレームセグメントの色の差及び／又は前記フレームセグメントの位置の間の空間距離が最小化されるように、前記画像フレームの前記サブセット中の前記各画像フレームから前記フレームセグメントを選択することによって形成される、請求項１に記載の装置。
5. 前記ピクセル値は、
   前記各フレームセグメント中のピクセルの前記ピクセル値を重み付けし、前記ピクセル値は、前記フレームセグメント中でのピクセルの空間位置に基づいて、及び／又は前記フレームセグメントの中心若しくはその近くにあるピクセルとの色の差若しくは前記ピクセルのグループとの色の差に基づいて重み付けされることと、
   前記フレームセグメント中の前記ピクセルの重み付けされた前記ピクセル値を平均することとにより、平均化される、
   請求項１に記載の装置。
6. 前記方法は、前記ビデオサブシーケンス中の前記フレームセグメント中のピクセルの前記ピクセル値の平均間の差を決定することによって、前記各ビデオサブシーケンスについての代表値を決定するステップをさらに含む、請求項１に記載の装置。
7. ビデオシーケンスからパルス信号を決定する方法であって、前記方法は、
   複数の画像フレームを含むビデオシーケンスを取得するステップと、
   前記画像フレームのサブセット中に各画像フレームからのフレームセグメントを各々が含む複数のビデオサブシーケンスを形成するステップであって、各サブセットは複数の画像フレームを含み、各画像フレームは複数のフレームセグメントに分割され、各フレームセグメントは、画像フレーム中で隣り合っているピクセルのグループである、ステップと、
   前記画像フレームの第１のサブセットからのフレームセグメントから形成された第１のビデオサブシーケンスについて、前記フレームセグメント中のピクセル値の平均を正規化することによって、前記第１のビデオサブシーケンスのフレームセグメントについての第１の代表値を生成するステップと、
   前記画像フレームの第２のサブセットからのフレームセグメントから形成された第２のビデオサブシーケンスについて、前記フレームセグメント中のピクセル値の平均を正規化することによって、前記第２のビデオサブシーケンスのフレームセグメントについての第２の代表値を生成するステップと、
   前記第１のビデオサブシーケンスについての前記第１の代表値を、前記第２のビデオサブシーケンスについての前記第２の代表値と比較するステップと、
   代表値の前記比較に基づいて、前記第１のビデオサブシーケンスを、前記画像フレームの前記第２のサブセットからの前記フレームセグメントから形成された前記第２のビデオサブシーケンスと連結するステップと、
   連結された前記ビデオサブシーケンスからパルス信号を決定するステップとを有する、
   方法。
8. 前記画像フレームの複数の前記サブセットの各々からのビデオサブシーケンスを連結するために前記比較するステップ及び前記連結するステップを繰り返すステップをさらに有する、請求項７に記載の方法。
9. 前記各画像フレームは、ピクセルの色及び空間的な類似度に基づいて前記ピクセルを前記フレームセグメントにグループ化することにより、複数の前記フレームセグメントに分割される、請求項８に記載の方法。
10. 前記複数のビデオサブシーケンスを形成するステップは、各ビデオサブシーケンスに対して、前記ビデオサブシーケンス中の前記フレームセグメントの色の差及び／又は前記フレームセグメントの位置の間の空間距離が最小化されるように、前記画像フレームの前記サブセット中の前記各画像フレームから前記フレームセグメントを選択するステップを有する、請求項８に記載の方法。
11. 前記ビデオサブシーケンス中の前記フレームセグメント中のピクセルの前記ピクセル値を平均化するステップにより、前記各ビデオサブシーケンスについての代表値を決定するステップをさらに有する、請求項１０に記載の方法。
12. 前記ピクセル値を平均化するステップは
    各フレームセグメント中のピクセルの前記ピクセル値を重み付けするステップであって、前記ピクセル値は、前記フレームセグメント中でのピクセルの空間位置に基づいて、及び／又は前記フレームセグメントの中心若しくはその近くにあるピクセルとの色の差若しくは前記ピクセルのグループとの色の差に基づいて重み付けされる、ステップと、
    前記フレームセグメント中の前記ピクセルの重み付けされた前記ピクセル値を平均するステップとを有する、
    請求項１１に記載の方法。
13. コンピュータ可読コードが内部に具現化された非一時的コンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、前記コンピュータ又は前記プロセッサに
    複数の画像フレームを含むビデオシーケンスを取得するステップと、
    複数のビデオサブシーケンスを形成するステップであって、各ビデオサブシーケンスは前記画像フレームのサブセット中の各画像フレームからのフレームセグメントを含み、各サブセットは複数の画像フレームを含み、各画像フレームは複数のフレームセグメントに分割され、各フレームセグメントは、画像フレーム中で隣り合っているピクセルのグループである、ステップと、
    前記画像フレームの第１のサブセットからのフレームセグメントから形成された第１のビデオサブシーケンスについて、前記フレームセグメント中のピクセル値の平均を正規化することによって、前記第１のビデオサブシーケンスのフレームセグメントについての第１の代表値を生成するステップと、
    前記画像フレームの第２のサブセットからのフレームセグメントから形成された第２のビデオサブシーケンスについて、前記フレームセグメント中のピクセル値の平均を正規化することによって、前記第２のビデオサブシーケンスのフレームセグメントについての第２の代表値を生成するステップと、
    前記第１の代表値を、前記第２の代表値と比較するステップと、
    代表値の前記比較に基づいて、前記第１のビデオサブシーケンスを、前記画像フレームの前記第２のサブセットからの前記フレームセグメントから形成された前記第２のビデオサブシーケンスと連結するステップと、
    連結された前記ビデオサブシーケンスからパルス信号を決定するステップとを有する方法を行わせる、
    非一時的コンピュータ可読媒体。
14. 前記方法は、前記画像フレームの複数の前記サブセットの各々からのビデオサブシーケンスを連結するために前記比較するステップ及び前記連結するステップを繰り返すステップをさらに有する、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 前記各画像フレームは、ピクセルの色及び空間的な類似度に基づいて前記ピクセルを前記フレームセグメントにグループ化することにより、複数の前記フレームセグメントに分割される、請求項１４に記載の非一時的コンピュータ可読媒体。
16. 前記複数のビデオサブシーケンスを形成するステップは、各ビデオサブシーケンスに対して、前記ビデオサブシーケンス中の前記フレームセグメントの色の差及び／又は前記フレームセグメントの位置の間の空間距離が最小化されるように、前記画像フレームの前記サブセット中の前記各画像フレームから前記フレームセグメントを選択するステップを有する、請求項１４に記載の非一時的コンピュータ可読媒体。
17. 前記方法は、前記ビデオサブシーケンス中の前記フレームセグメント中のピクセルの前記ピクセル値を平均化するステップにより、前記各ビデオサブシーケンスについての代表値を決定するステップをさらに有する、請求項１６に記載の非一時的コンピュータ可読媒体。
18. 前記ピクセル値を平均化するステップは
    各フレームセグメント中のピクセルの前記ピクセル値を重み付けするステップであって、前記ピクセル値は、前記フレームセグメント中でのピクセルの空間位置に基づいて、及び／又は前記フレームセグメントの中心若しくはその近くにあるピクセルとの色の差若しくは前記ピクセルのグループとの色の差に基づいて重み付けされる、ステップと、
    前記フレームセグメント中の前記ピクセルの重み付けされた前記ピクセル値を平均するステップとを有する、
    請求項１７に記載の非一時的コンピュータ可読媒体。
19. 前記第１のビデオサブシーケンスの前記フレームセグメントについての前記第１の代表値を生成するステップは、前記フレームセグメント中のピクセル値の前記平均を、前記第１のビデオサブシーケンス中のすべてのフレームセグメント中のすべてのピクセルのピクセル値の平均又は重み付き平均で割ることによって、前記フレームセグメント中の前記ピクセル値の前記平均を正規化するステップを有し、
    前記第２のビデオサブシーケンスの前記フレームセグメントについての前記第２の代表値を生成するステップは、前記フレームセグメント中のピクセル値の前記平均を、前記第２のビデオサブシーケンス中のすべてのフレームセグメント中のすべてのピクセルのピクセル値の平均又は重み付き平均で割ることによって、前記フレームセグメント中の前記ピクセル値の前記平均を正規化するステップを有する、
    請求項１３に記載の非一時的コンピュータ可読媒体。
20. 前記第１のビデオサブシーケンスの前記フレームセグメントについての前記第１の代表値を生成するステップは、前記フレームセグメント中のピクセル値の前記平均を、前記第１のビデオサブシーケンスがそれから形成されている画像フレームの前記第１のサブセット中のすべての画像フレーム中のすべてのピクセルのピクセル値の平均又は重み付き平均で割ることによって、前記フレームセグメント中の前記ピクセル値の前記平均を正規化するステップを有し、
    前記第２のビデオサブシーケンスの前記フレームセグメントについての前記第２の代表値を生成するステップは、前記フレームセグメント中のピクセル値の前記平均を、前記第２のビデオサブシーケンスがそれから形成されている画像フレームの前記第２のサブセット中のすべての画像フレーム中のすべてのピクセルのピクセル値の平均又は重み付き平均で割ることによって、前記フレームセグメント中の前記ピクセル値の前記平均を正規化するステップを有する、
    請求項１３に記載の非一時的コンピュータ可読媒体。

Images