JP7099542B2 - 脈拍推定装置、脈拍推定方法、及びプログラム - Google Patents

Description

本発明は、人間の顔の映像からロバストに脈拍を推定するための、装置及び方法に関し、更には、これらを実現するためのプログラムに関する。

ストレス検出、ヘルスケア、事故防止などを目的として生理学的な情報を測定することについて、関心が高まっている。心拍や脈拍の測定は特に重要である。これは、ストレス、覚醒、眠気などの人間の心理状態は、心拍や脈拍から推定できるからである。心拍や脈拍は、通常、接触ベースの手段、特には、心電図によって測定されるが、上述の用途においては、連続的で簡単な手段が求められている。このため、近年、一般的なカメラで撮影した映像を用いた、脈拍測定技術が提案されている。

脈拍測定システムでのプロセスは、大きく３つのステップに分類される。最初のステップは、人間の顔の映像をキャプチャすることである。これは、映像キャプチャリング装置を使用して実行される。 ２つめのステップは、顔の関心領域（ＲＯＩ）から必要な脈波信号を抽出することである。この脈波信号は、本質的には、心拍によって顔色に生じる周期的な変動を表している。３つめのステップは、抽出された脈波信号に対して周波数分析を実行して、脈拍を推定することである。

実世界のシナリオでは、顔の表情の変化や、背景の照明の変化、リジッドな頭の動きによって、生じるノイズにより、度々、脈拍推定のパフォーマンスに影響が与えられてしまう。様々なノイズが原因で、脈波信号が破壊され、脈拍を効果的に取得することができなくなる。このため、脈拍推定のパフォーマンス（精度など）に悪影響が与えられる。

顔の映像から脈拍を推定する従来技術が、特許文献１において、図７におけるブロック図として示されている。この従来技術は、クロミナンス機能の自己適応型マトリックス補完を使用して、頭の動き、顔の表情、および背景の照明の変化がある場合に、人間の顔のカラー映像から（心臓の活動による）変動を抽出する。
この従来技術における重要なステップは次のとおりである。
（ａ）映像上で顔を追跡することにより顔の特徴点を生成する（６０２）。
（ｂ）次に、図８に詳細に示すように、ＲＯＩ選択及び脈波抽出部６０３は、内部において、ｉ）顔の特徴点を使用して、顔の関心領域を選択し、それをサブ領域に分割し（７０２）、ii）サブ領域それぞれから、脈波信号（クロミナンス）を抽出し（７０３）、iii）脈波信号の時間的分散が高いサブ領域を削除するバイナリＲＯＩマスクを作成し、（７０４）、iv）行列補完を実行して、ＲＯＩマスクされたクロミナンス信号行列を近似する低ランク行列を推定し、線形結合により脈波信号を抽出する（７０５）。
（ｃ）抽出された脈波信号に対して周波数分析を実行して、脈拍を推定する。

この従来技術における特許文献１では、除去されたノイズの多い顔のＲＯＩサブ領域を行列補完により置き換える。また、ノイズ量に応じて影響を受けたとしても、脈波はすべてのサブ領域に存在すると想定されているため、線形に結合されてグループ化される。しかしながら、ノイズの多い領域を特定する方法、すなわち脈波強度の変動が大きい領域をノイズの多い領域とみなす方法、及びその後のノイズ除去は、先行技術においては、最適ではなく、脈波推定精度を低下させる要因となっている。最適化されない主な理由は、先行技術ではノイズの原因に応じて、ノイズ特定及びノイズ除去のプロセスが最適化されておらず、パフォーマンスが低下することにある。

従来技術の特許文献１では、各ＲＯＩサブ領域に存在するノイズの尺度として、脈波信号の強度の局所変動が使用され、そして、クロミナンス値に応じて、脈波信号が抽出される。クロミナンス信号は、白色光の方向に直交しようとする、３つのカラーチャネル（固定コヒーレント付）の線形結合であるが、固定コヒーレントを導出するために使用される、標準化された仮の肌の色調の影響を受ける。標準化された仮の肌の色調に反して、すべての人が同様の肌の色調を持っているわけではないため、クロミナンス信号は、多くの肌の色について、白色光の方向に対して直交していない。このことは、このような場合に、脈波信号を効率的に抽出できない理由となる。

頭の動き（剛体ノイズ）が含まれる場合、生理学的変動はノイズと比較して非常に小さいため、脈拍強度の局所的な変動は、脈波信号に存在するノイズに対して優れた尺度となる。しかし、脈波信号の局所的な変化は、剛体の動きによって、どのＲＯＩサブ領域にノイズが最も多く発生しているかを示しているに過ぎず、ノイズの多い領域の特定は、剛体ノイズを除去しない限り、十分ではない。しかも、ノイズの少ない領域でさえ、光源、顔、及びビデオキャプチャデバイスの相対位置の変化に起因するノイズを含んでいる。

頭の動きがない場合、局所分散アプローチは別の失敗を生じる。光源の特定の配置が原因で、明るい反射（グレア）の箇所、又は暗い（陰）箇所を含む領域は、通常、光強度の分散が最も低い領域となる。これは、顔の動きがないと、グレア／陰のアーチファクトは、略一定の輝度値を持つからである。したがって、そのような領域には、最低量の脈拍情報も含まれる。従来技術で実装されたもののような低い局所分散アプローチは、頭の動きがない場合にそのようなＲＯＩサブ領域を選択する可能性が高く、これは脈拍推定精度に有害となる。

顔の表情（非剛体ノイズ）が関与する場合、表情を示すときの顔の非剛体変形は顔のほとんどの領域にノイズを生じさせるため、脈波強度の局所分散はノイズの適切な尺度とはならない。非剛体のノイズの殆どは、白色光の方向に存在し、そして、従来技術におけるパルス信号は、白色光の方向に直交していない。

この従来技術における別の制限は、真の脈波の大きさがノイズの大きさに匹敵する場合、例えば、光量が少ない状態において、又は顔の表情及び頭の動きの微妙な変化によってノイズが導入された場合に、クロミナンス信号が無効であることに起因している。クロミナンス信号は、ノイズが支配的である場合に、ノイズ変動をキャンセルし、真の脈波が支配的である場合に、真の脈波を強化するように、設計されており、この特定の制限は、この事実から生じている。なお、クロミナンス信号は、ノイズの強度と真の脈波とが同等である場合は、キャンセルと強化のどちらも実行できない。

最後に、頭の動き又は表情の変化がシビアな場合、例えば、人が同時に笑いながら頭を動かしている場合、ＲＯＩ上の有用なサブ領域を追跡及び特定することは、極めて困難である。また、抽出された脈波に存在するノイズは、真の脈波に比べてはるかに支配的です。支配的なノイズが存在する場合、従来技術の特許文献１で使用されている周波数分析では、真の脈波の周波数を抽出することは困難である。 激しい頭の動き及び表情のノイズが発生した場合において、高度なスペクトル・ピーク・トラッキングが欠如すると、脈拍の推定が不十分なものとなってしまう。

図８のブロック図を使用して示されるように、ウェアラブルであり且つ接触ベースであるセンサを使用する脈拍数測定のスペクトル・ピーク・トラッキングについて、先行技術として、特許文献２及び特許文献３がある。

米国特許出願公開第２０１７／０３６７５９０号 米国特許出願公開第２０１６／０３１７０９７号 国際公開第２０１６／０２２４０１号

従来技術における脈拍の推定の第１の問題は、推定精度の低下である。第１の問題が発生する理由は、主に観察中の人物によって行われる剛体運動と非剛体運動に起因するいくつかのノイズ源が、観測信号を複雑に破壊し、脈拍を推定することを困難にすることにある。但し、従来技術では、ノイズ源が区別されることはない。

第２の問題は、脈拍の推定精度が、頭に動きがある場合に劣化する点である。この問題が発生する理由は、従来の技術では、局所的な脈波強度分散を使用してノイズのあるサブ領域を識別しますが、顔の変位により、全ての領域において、観測された脈波にノイズ変動が生じるため、頭の動きによるノイズを十分に補正できないことにある。

第３の問題は、脈拍の推定精度が、頭の動きがない場合に劣化する点である。この問題が発生する理由は、従来の技術では、局所的な脈波の分散を使用してノイズのあるサブ領域が特定され、そして、光の強度の局所的な分散が低く、有用な脈拍情報が含まれていない、グレア／陰の部分が選択されてしまうことにある。

第４の問題は、脈拍の推定精度が、表情の存在によって劣化する点である。この問題が発生する理由は、従来の技術では、局所的な脈波強度分散を使用してノイズのあるサブ領域が特定されているが、顔が変形し、観察中の領域が変化すると、殆どの領域で予測できないノイズ変動が発生することにある。このような場合、クロミナンスパルスは白色光の方向に直交せず、殆どの領域にノイズが存在するため、ノイズの多い領域の特定は困難になる。

第５の問題は、脈拍の推定精度が、微妙な頭の動き、又は顔の表情がある場合に劣化する点である。この問題が発生する理由は、ノイズ変動の強度が真の脈波の強度と類似している場合、線形結合はノイズを十分に抑制できず、また、真の脈波を十分に強調することもできず、クロミナンス値が脈波信号を十分に表せないことにある。

第６の問題は、脈拍の推定精度が、激しい頭の動き又は顔の表情がある場合に劣化する点である。この問題が発生する理由は、ノイズが脈波信号よりも支配的である場合、抽出された脈波信号から脈拍を推定するために使用される単純な周波数分析のため、従来の技術では、ノイズ周波数と脈拍とを区別できないことにある。

また、特許文献２及び特許文献３に開示された発明には、ノイズの有無及び大きさを検出するために、追加のセンサ（例えば、加速度計）８０４が必要であるという問題がある。このようなセンサはまた、特許文献２及び特許文献３の従来の技術が、観測された脈波信号に対するノイズの影響を推定するのに役立っている。

本発明の目的の一例は、上記課題を解決して、脈拍推定装置、脈拍推定方法、およびプログラムを提供することにある。

加えて、本発明は、ノイズ源を特定するステップを使用して、ノイズの存在を検出し（頭部の動きと顔の表情との両方について、ウェアラブル・脈拍センサで対処する必要がない）、観測された脈波信号に対するノイズの影響を予測可能なモーションセンサを追加することなく、スペクトル・ピークの追跡を実行する。

上記目的を達成するために、本発明の一例における脈拍推定装置は、
特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、映像取得部と、
体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、身体部位追跡部と、
ノイズ源を特定し、各映像にラベルを割り当てる、ノイズ源検出部と、
ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ＲＯＩ選択・脈波信号抽出部と、
抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、脈拍推定部と、
先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、スペクトル・ピーク追跡部と、
を備えている。

上記目的を達成するために、本発明の一例における脈拍推定方法は、
（ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
（ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
（ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
（ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
（ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
（ｆ）先のステップで生成された脈波候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、ステップと、
を有する。

上記目的を達成するために、本発明の一例におけるプログラムは、
コンピュータに、
（ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
（ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
（ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
（ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
（ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
（ｆ）先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一致する脈拍の値を選択する、ステップと、
を実行させる。

以上のように、本発明によれば、剛体及び／又は非剛体の運動ノイズが存在する場合の脈拍の推定精度を向上させることができる。ノイズ源の特定は、さまざまな程度の剛体と非剛体の動作ノイズが存在する場合の脈拍の推定精度を向上させることができる。これは、追加のモーションセンサを必要とせずに行うことができる。

図面は詳細な説明とともに、本発明の方法の原理を説明する。図面は、説明のためのものであり、技術の応用を限定するものではない。
本発明の主要な実施形態の例を示すブロック図 本発明の主要な実施形態の例を示すフロー図 本発明の主要な実施形態のノイズ源の検出ステップを示すブロック図 本発明の主要な実施形態のＲＯＩの選択及び脈波信号の抽出ステップを詳述するブロック図 本発明の主要な実施形態のスペクトル・ピークの追跡ステップを示すブロック図 本発明の実施形態における脈拍推定装置を実現するコンピュータの一例を示すブロック図 従来技術の特許文献１のブロック図－人の顔の脈波信号の抽出のための自己適応型マトリックス補完と適応型ＲＯＩ選択 従来技術の特許文献１のＲＯＩの選択と脈波信号の抽出ステップの詳細を示すブロック図 従来技術の特許文献２及び特許文献３のブロック図－スペクトル・ピークのトラッキングを使用したウェアラブルセンサーの脈拍測定

（実施の形態）
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［装置構成］
まず、図１を用いて、本実施形態にかかる脈拍推定装置１００の構成について説明する。図１は、本発明の実施形態における脈拍推定の構成を模式的に示すブロック図である。

図１に示すように、脈拍推定装置１００は、映像取得部１０１、顔追跡部（身体部位追跡部）１０２、ノイズ源検出部１０３、ＲＯＩ選択・脈波信号抽出部１０４、脈拍推定部１０５と、スペクトル・ピーク追跡部１０６とを備えている。脈拍推定装置１００は、推定脈拍１０６１を出力する。

本発明の主要な実施形態において、顔追跡部１０２は、人の顔を追跡するが、脈拍の推定は、手、耳等の皮膚が見える他の多くの身体部位で実行できることに留意されたい。従って、他の実施形態では、１０２は、手追跡部、又は耳追跡部等であっても良い。

映像取得部１０１は、特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する。身体部位追跡部は、特定の人体部位を検出し、体の部位が検出されたフレーム毎に、体の部位の重要な構造的ランドマークを示す特徴点を生成する。ノイズ源検出部は、ノイズ源を特定し、各映像にラベルを割り当てることです。

ＲＯＩ選択・脈波信号抽出部は、ＲＯＩを選択し、そして、それをサブ領域に分割し、各サブ領域から脈波信号を抽出する。ＲＯＩ選択・脈波信号抽出部は、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当てる。そして、ＲＯＩ選択・脈波信号抽出部は、各ＲＯＩサブ領域から抽出されたパルス信号に、ラベル依存のノイズ推定と補正とを適用する。

脈拍推定部は、抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する。

スペクトル・ピーク追跡部は、先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する。

［装置動作］
次に、本発明の実施形態に係る脈拍推定装置１００の動作について、図２を参照して説明する。図２は、本発明の実施形態のフロー図を示す。この図は、人の顔の映像から心拍を推定するために実装されたプロセスを示す。以下の説明では、必要に応じて図１を参照する。

また、本実施形態では、脈拍推定装置１００を動作させて、脈拍推定方法を実施する。従って、本実施形態の脈拍推定方法の説明は、以下の脈拍推定装置１００の動作の説明に代える。

映像取得部１０１（図１）は、人の顔の映像を取得する（ステップＡ１）。次に、顔追跡部１０２（図１）は、観察されている人の顔を追跡して、映像フレーム毎に、顔の特徴点を出力する（ステップＡ２）。 その後、ノイズ源は、ノイズ源検出部１０３（図１）によって特定される。

同時に、ＲＯＩ選択・脈波抽出部１０４では、ＲＯＩが選択され、そして、選択されたＲＯＩは、ノイズ及び脈拍情報の位置特定のために、いくつかのサブ領域に分割される（ステップＡ３）。

次に、脈波信号が各ＲＯＩサブ領域から抽出されます（ステップＡ４）。ノイズ源検出部１０３は、ノイズ源を特定し、各映像フレームにラベルを割り当てる（ステップＡ５）。ノイズ源検出部１０３によって割り当てられたフレームラベルは、抽出されたサブ領域の脈波信号のセットに適用される動的ＲＯＩフィルタリングプロセスを決定するために使用される。

次に、ラベル固有の修正ステップが実行されてノイズが除去され、ノイズの無いパルス信号の組合せが取得されます（ステップＡ６－Ａ８、Ａ１１－Ａ１３、Ａ１４－Ａ１６）。

次に、脈拍推定部１０５は、映像フレーム毎に、１組の脈拍推定候補のセットを生成し、脈拍候補のセットは、フレームラベルに応じて、スペクトル・ピーク追跡部１０６によって、信頼できる、又はノイズのある推定値として分類される（ステップＡ９およびＡ１７）。

次に、スペクトル・ピーク追跡部１０６は、スペクトル・ピーク追跡を実行して、ノイズの多い脈拍推定候補のセットの中から、正しい脈拍周波数を選択する（ステップＡ１８）。また、スペクトル・ピーク追跡部１０６は、映像フレーム毎に、最終的な脈拍推定値を出力する（ステップＡ１９）。このフロープロセスについては、上から順に以下に詳細に説明する。

［ノイズ源の推定］
図３は、本実施形態での、ノイズ源検出、及びフレームラベル割り当てのステップにおけるブロック図を示している。顔追跡部１０２は、人の顔が観察された映像フレーム３０１２毎に、顔の特徴点３０１１のストリームを作成する。いくつかの顔の特徴点３０１１は、鼻、目、唇の角、顔の境界等の顔のランドマーク上に生成されるが、これらに限定されることはない。これらの顔の特徴点３０１１は、（顔検出ソフトウェアの助けを借りて）顔が検出された映像３０１２において、フレーム毎に生成される。

次に、顔の特徴点３０１１が、ノイズ源検出部１０３に供給されます。ノイズ源検出部１０３は、映像内の人物が（自発的に）頭を動かしているかどうか、又は顔に表情があるかどうかを検出するために、他の特徴点と同様に、時間に関する個々の特徴点の動きを分析する。なお、以下の参考資料には、過去の小さな不随意の垂直方法の頭の動きに脈拍情報が含まれていることが示されている。但し、活動を検出する目的のため、私たちは、以降単に頭の動きと呼ばれる、大きな自発的な頭の動きだけに注目すべきである。このような大きな頭の動きは、脈拍抽出部によって抽出されたパルスの破損を引き起こす可能性があるためである。

［参照文献］
Balakrishnan G, Durand F and Guttag J, “Detecting pulse from head motions in video”, IEEE Conf. on Computer Vision and Pattern Recognition,2013, pp 3430-3437

鼻の特徴点の位置は、頭の動きを検出する目的で経時的に観察される。これは、鼻の特徴点は、顔を含む全ての映像フレームにおいてかなり特徴的であり、又、顔の表情の変化による深刻な影響を受けないためである。殆どの顔の表情は口／唇の動きを伴うことから、顔の表情の検出のためには、唇及びその周辺の顔の特徴点の位置は、鼻や額などの顔の特徴点のように、顔の表情の変化による影響が最も少ない他の特徴点として観察される。一連のフレームで顔の表情又は頭の動きが観察されない場合、これらのフレームには「静止」というラベルが割り当てられ、頭の動き又は顔の表情によって、脈波信号に影響を与える破損がないことが示される。これらのフレームラベルは、ＲＯＩ選択・脈波抽出部１０４及びスペクトル・ピーク追跡部１０６に供給され、これらについては以下で詳細に説明する。

［ＲＯＩ選択・脈波抽出］
（固定ＲＯＩ選択及びサブ領域での脈波検出）
図４は、本発明のＲＯＩ選択・脈拍推定部の詳細なブロック図を示している。顔の特徴点４０１１及び映像フレーム４０１２は、顔追跡部１０２（図１）によって、ＲＯＩ選択・脈波抽出部１０４（図１）に供給される。図４に示すように、ＲＯＩ選択・脈波信号抽出部１０４は、固定ＲＯＩ選択部４０２と、脈波抽出部４０３と、動的ＲＯＩフィルタ生成部４０４と、ノイズ補正部４０５とを有する。

固定ＲＯＩ選択部４０２では、顔の特徴点４０１１が用いられて、映像フレーム４０１２上のＲＯＩが選択され、このＲＯＩは幾つかの部分に分割される。脈波信号は、脈波抽出部４０３によって各サブ領域から抽出され、これらの脈波信号は、動的ＲＯＩフィルタ４０４に供給される。動的ＲＯＩフィルタ生成部４０４は、ノイズ源検出部１０３（図１）からのフレームラベルも入力として取得する。

このノイズ源検出部１０３は、顔の特徴点４０１１の位置を使用して、映像フレーム４０１２に存在するノイズの種類（頭の動き、顔の表情、又はこれら存在しない）を検出する。また、ノイズ源検出部１０３は、それらにラベル（「動き」、「表情」、及び「静止」それぞれ）を割り当て、ラベルは、動的ＲＯＩフィルタ生成部４０４及びノイズ補正部４０５に供給される。次に、動的ＲＯＩフィルタ生成部４０４は、ノイズ源固有のＲＯＩフィルタを作成して、有用な脈拍情報を伴うＲＯＩサブ領域を強調し、これらのノイズを抑制する。

ノイズ補正部４０５は、先のステップで生成されたＲＯＩフィルタを使用して各ＲＯＩサブ領域からのパルス信号を結合する。次に、ノイズ補正部４０５は、脈拍推定及びその後のスペクトル・ピーク追跡ステップのために、ノイズ源固有のノイズ補正ステップを実行して、脈拍推定部１０５（図１）に供給されるノイズの無い脈波信号４０５１を生成する。

固定ＲＯＩ選択部４０２によって生成されたＲＯＩの位置及びサイズは、顔の境界における特徴点と同様の鼻の特徴点に基づいて決定される。ＲＯＩは、鼻の中心（鼻の特徴点）を中心とする長方形のブロックであり、その高さと幅は、目と唇の間にあり、顔の幅をカバーするように決定される。ＲＯＩは、顔領域の局所的な分析のため、ノイズの影響が最も少ない領域から脈拍情報を抽出するべく、同じ寸法の多くの長方形のサブ領域に分割される。

脈波抽出部４０３は、ＲＯＩサブ領域のパルス信号を表す、数秒（４～１０秒）の動作ウィンドウにおいて、（各ＲＯＩサブ領域のすべてのピクセルにわたって）グリーンチャネル値の平均値を計算する。

次に、ＲＯＩサブ領域それぞれには、ＲＯＩ選択部によって重みが割り当てられ、サブ領域から抽出された脈拍に存在する情報が有用であるほど、割り当てられた重みが大きくなり、脈拍の推定により大きく貢献する。サブ領域の有用性は、それに含まれる脈拍情報（生理活動に関連する変動）の量と共に増加する。反対に、サブ領域の脈波信号に存在する頭の動き／顔の表情の破損の量に伴って、サブ領域の有用性は減少する。このことは重要である。これは、頭の動き及び顔の表情の変化により、顔の様々な領域で反射される光に予測できない変動が生じるためである。

頭の動き／顔の表情の破損は、顔の様々な部分において様々な大きさで存在している。ＲＯＩサブ領域は、顔を幾つかの小さな部分に分割して、破損が最も少ない部分を探すという目的に役立つ。剛体の動きである頭の動きによってもたらされる破損は、顔の表情によってもたらされる破損とは異なるため、それぞれによって影響を受けるサブ領域は、異なるアルゴリズムを使用して決定される。従って、脈拍推定の方法は、ラベルが異なるフレーム毎に異なっている。

［ノイズ源固有の動的ＲＯＩフィルタリング及びノイズ補正］
映像フレーム４０１２に割り当てられたラベルが「静止」である場合、それは破損が含まれていないことを意味する。「静止」ラベルが割り当てられた映像フレームの場合、動的ＲＯＩフィルタ生成部４０４は、各サブ領域に、その領域内の脈波信号の局所分散に反比例する重みを割り当てる。このフィルタリングは、脈波信号振幅の小さな変化に伴ってサブ領域を強調する。これは、生理学的活動に関連する変動は、背景照明の変化又は他の説明されていない要因によって引き起こされる破損と比較して、大きさが小さいためである。

「静止」ラベルが割り当てられた映像フレームには、剛体又は非剛体の破損が存在しないため、ノイズ補正部４０５は、単純に、サブ領域の脈波信号についてＲＯＩフィルタ加重平均を取る。そして、ノイズ補正部４０５は、グレア／陰の除去を実行して、脈拍推定処理に対するグレア又は陰のアーチファクトの影響を除去する。

「動き」とラベル付けされた映像フレームの場合、動的ＲＯＩフィルタ生成部４０４は、その領域内のパルス信号の局所分散に反比例する重みを各サブ領域に割り当てる。このステップは、有用なＲＯＩサブ領域を選択するために、従来技術の特許文献１で用いられた領域選択ステップに類似したステップである。しかしながら、このステップだけでは、頭の動きの破損の除去は十分ではない。従って、サブ領域の脈波信号のＲＯＩフィルタリングされた加重平均は、ノイズ補正部４０５による動き補正ステップに適用される。この動き補正ステップでは、パルス信号の方向における水平方向への頭の動きの投影は、組み合わされた（ＲＯＩフィルタリングされた）脈波信号から差し引かれ、ノイズのない脈波信号４０５１が得られることになる。

補足として、従来技術のＲＯＩ選択手順では、全てのノイズの多い領域は完全に削除され、選択された全てのサブ領域に同一の重要性が割り当てられることに注意すべきである。しかし、このことは、脈波抽出ステップに悪影響を与える可能性があると考えられる。これは、一部の領域が、他の領域よりもノイズが多いにも関わらず、この他の領域と同等の重要性があるとすると、抽出された脈拍に不要な破損が生じる可能性があるためである。従って、動的ＲＯＩフィルタ生成部４０４は、脈拍抽出プロセスでの推定有用性に従って、各サブ領域に重みを割り当てる。

「表現」とラベル付けされたフレームの場合、導入される破損は、より複雑になる。これは、顔の領域を相互に移動させ、観察中の顔の領域を強制的に変更するためである。多数の顔の筋肉の非剛体運動は、皮膚が顔の一部で引き伸ばされたり圧縮されたりするので、反射光の強度において予測できない変化をもたらす。顔の表情の場合の光強度の変化は、殆どのＲＯＩサブ領域に影響を与える上記の要因に起因し、結果、顔の表情が観察される局所的な分散が大きい有用なＲＯＩサブ領域となる。このため、顔の表情の破損が関係している場合、光強度の局所的な分散は、有用なサブ領域を特定するための最良の尺度ではないと考えられる。有用なサブ領域を特定し、顔の表情に破損が含まれる場合に動的ＲＯＩフィルタを作成するための、２つの新しい方法は提案される。

顔の表情の存在下において、有用なパルス変動を強調するための最初の方法としては、色相チャネル値で観察される局所分散が最小のサブ領域に、高い重みを割り当てることが挙げられる。殆どのサブ領域の光強度の値には、大きな表情の破損が含まれているため、ＲＯＩサブ領域の有用性を推定するために、光強度に直交する方向にある色相値が選択される。色相値は、光強度値と比較して外部要因による破損が少ないため、この方法では、動的ＲＯＩフィルタ生成部４０４は、各サブ領域の色相値の局所分散に反比例する重みを割り当てる。

顔の表情の存在下で有用なパルス変動を強調するための第２の方法は、脈波信号の最大値が最も低いサブ領域に高い重みを割り当てることである。殆どのサブ領域の光強度の値には、大きな表情の破損が含まれており、殆どのサブ領域では、パルス信号の局所的な分散が大きくなるからである。しかしながら、破損が大きいサブ領域で抽出されたパルス信号は、変動（平均観測値からの偏差）が大きくなる。従って、表情の破損が大きいほど、そのサブ領域から抽出される脈波信号の最大値も大きくなる。そして、顔の表情の存在下で有用なサブ領域を特定するこの第２の方法では、動的ＲＯＩフィルタ生成部４０４は、各サブ領域から抽出されたパルス信号の局所最大値に反比例する重みを割り当てる。

上述の２つの方法の一方又は両方を使用すれば、「表現」ラベルの付いたフレームにおいて、有用なＲＯＩサブ領域を強調することができる。

ノイズ補正部４０５は、顔で反射された光の色の変化ではなく、顔の特徴点の動きに基づいて顔の表情の破損を補正する。このアプローチでは、各ＲＯＩサブ領域には、そのＲＯＩサブ領域の内側／最も近くにある顔の特徴点の位置で観察される変動（時間の経過に伴う動き）の量に正比例して、ペナルティ（低い重みの割り当て）が課せられる。このようにして、ノイズ補正部４０５は、内部および周辺に顔の筋肉が存在するサブ領域を抑制する。その結果、特定の表情の変化による影響が最も少ない領域が、脈拍の抽出に最も貢献することになる。加えて、グレア／陰の除去は、頭の動きがない場合に実行される。最後に、サブ領域脈波信号は、ＲＯＩフィルタ、顔の表情補正ステップ、およびグレア／陰の補正ステップによって割り当てられた重みを使用して、結合され、パルス信号４０５１が取得される。

パルス信号４０５１は、顔面で観察される生理活動に関連する変動を表す時系列であり、上記の手順により、頭の動きの補正、表情の補正、およびグレア／影の補正のステップを経た。この脈拍脈波信号は、脈拍値推定のために脈拍推定部１０５（図１）に供給される。

［脈拍の推定とスペクトル・ピークの追跡］
図５に示すように、脈拍推定部１０５は、上述のプロセスを通じて抽出された脈波信号５０４１を受信し、これを周波数領域において分析する。 生理学的活動（例えば、心臓の活動である心拍）が準周期的活動である場合、周波数分析が必要である。例えば、心臓の活動の場合、心臓は一定の間隔で鼓動し、これらの一定間隔の長さは時間とともにゆっくりと変化する。従って、短時間で実行される周波数分析では、脈拍数の周波数が周波数推定で顕著であると予想されるため、その短い期間の脈拍数について知ることになる。

従来技術における特許文献１は、次の２つの方法のうちの１つを選択して、パルス信号の周波数分析から脈拍推定値を取得する。１つ目の方法では、短時間（１秒から１０秒の範囲）でパルス信号の高速フーリエ変換（ＦＦＴ）を実行し、脈拍推定値としてＦＦＴのピークが最も高い周波数が選択される。２つ目の方法では、短時間でパルス信号のパワースペクトル密度（ＰＳＤ：Power Spectral Density）が取得され、ＰＳＤでエネルギーが最も高い周波数が脈拍の推定値として選択される。この脈拍の推定値５０５１は、最終的な脈拍推定値として直接宣言される（移動平均フィルタを適用して外れ値を除去した後）。しかしながら、生理学的プロセスの脈拍は急激に大きく変化することはないため、特に激しい頭の動きや表情の歪みを伴うフェーズでは、このような制約を適用するスペクトル・ピーク追跡が必要となる。

スペクトル・ピーク追跡部１０６は、ノイズ源検出部１０３からフレームラベル５０２１を取得し、脈拍推定部１０５から脈拍推定候補５０５１を取得し、脈拍推定候補５０５１に対して双方向ラベル固有のスペクトル・ピーク追跡を実行する。この手順の効果は、動き及び／又は表情の破損が深刻で、ノイズが脈波信号よりも支配的である場合に特に顕著となる（ノイズ固有の補正手順にもかかわらず）。スペクトル・ピーク追跡部１０６は、以下で詳細に説明されるラベル固有のプロセスを実行する。

「静止」ラベル付きフレームの場合、ＦＦＴの最高ピークに対応する脈拍推定候補５０５１は、最終の脈拍推定値５０６１と見なされる。更に、脈拍推定候補５０５１は、パルス信号５０４１がノイズによって破損する可能性が低いことから、「信頼できる」とも見なされる。

「動き」および「表現」のラベルが付いたフレームの場合、「信頼できる」脈拍推定値５０６１がベンチマークとして使用され、「静止」のラベルが付いたフレームから信頼できないフレーム、つまり「動き」のラベルが付いたフレームと、最も近い信頼できる脈拍ピークの近くにある脈拍推定候補５０５１は、ノイズの多い期間を通して追跡されます。このピーク追跡は、ある「信頼できる」期間から別の期間への脈拍推定の連続性を維持するために、２方向で実行される。信頼できる脈拍推定値５０６１を特定する重要なステップは、一連の誤った推定値を取得する問題を解決し、ノイズが支配的になった場合に、一連の一貫した脈拍数推定値を出力する。

ここで、従来技術の特許文献２及び特許文献３で使用されるスペクトル・ピーク追跡は、脈拍推定値及びゆっくりと変化する周波数のスペクトル・ピーク、それぞれの追跡に用いられることに留意されたい。特許文献２においては、追跡される脈拍は、ウェアラブル脈拍センサを使用して取得されている。これらの脈拍推定値は、人の皮膚の色の変化を観察することで取得される脈拍推定値よりも、動きによる破損に対してはるかに頑健であることが、従来から知られている。

明らかに、映像ベースの脈拍推定問題の分野で観察される、顔の表情による破損のような複雑な破損の関与は存在していない。さらに重要なことに、特許文献２及び特許文献３は、どちらも追加のセンサ（加速度計等）を使用して、脈拍推定値に混入された破損の動き及び大きさを測定する。この追加のセンサを使用すると、脈拍推定値のノイズがある程度予測可能になり、追跡プロセスが簡素化される。本発明では、歪みを測定するために追加のセンサは使用されない。但し、ノイズ源検出部１０３によって取得されたフレームラベル５０２１が使用されて、信頼できる推定値はノイズの多い推定値から区別される。

ここで重要なのは、抽出された脈波信号５０４１と本発明の後続のステップとを使用して（わずかな変更を加えて）、他の脈波信号に関連する統計値を推定することである。統計値は、脈波信号の後続のピーク間の時間差を使用して測定される、脈波信号における心拍変動（ＨＲＶ）などである。

最後のポイントとして、ここで説明および図示されているプロセス、技術、および方法論は、特定の装置に限定または関連していないことは明確である。コンポーネントの組み合わせを使用することで実装可能である。また、本明細書の指示に従って、様々なタイプの汎用装置が使用されても良い。本発明はまた、特定の例のセットを使用して説明されている。しかしながら、これらは単なる例示であり、制限的なものではない。例えば、説明されているソフトウェアは、C ++、Java、Python、Perl等の様々な言語で実装できる。更に、本発明の技術の他の実装は、当業者には明らかである。

（実施の形態における効果）
最初の効果は、種々のノイズ源がある場合でも、高精度で脈拍を推定できることである。

本実施の形態によれば、それは、頭の動き及び／又は顔の表情の変化の存在を検出し、それに応じて各映像フレームにラベルが割り当てられる。このステップは、脈波信号を破壊するノイズを特定するために不可欠であり、ＲＯＩフィルタと脈波抽出ステップとに適応され、剛体及び非剛体の両方のノイズを効果的にローカライズ及び除去するのに役立つ。生成された映像フレームラベルにより、スペクトル・ピーク追跡ステップにも使用され、脈拍の推定値が信頼できること、（周波数分析中の）ＦＦＴピークが実際にパルス周波数ピークであること、ＦＦＴピークがノイズピークであることが、特定される。

２つ目の効果は、頭の動きがある場合でも、脈拍を高精度に推定できることである。

本実施の形態によれば、パルス強度の局所分散に反比例する各ＲＯＩサブ領域に重みを割り当てるＲＯＩフィルタが作成される。これにより、パルスの変動は通常小さいため、パルス信号の変動が大きいサブ領域には小さな重みが割り当てられ、変動が小さいサブ領域には大きな重みが割り当てられる。

そして、脈波信号強度の方向へのこれらの変動の投影を差し引くことにより、頭の動きの補正が実現される。 これにより、頭の動きの結果である（対象の生理学的プロセスの結果ではない）変動が脈波信号から除去される。 頭の動きが存在するフレームでは、このステップにより、クリーンでノイズのない脈拍が抽出される。

３つ目の効果は、頭の動きがない場合でも、脈拍を高精度で推定できることである。

本実施の形態によれば、脈拍情報をほとんど含まないグレア又は陰の部分を含むサブ領域は抑制され、頭の動きがない場合の脈拍抽出プロセスが大きく改善される。

４つ目の効果は、顔の表情が存在する場合でも、脈拍を高精度で推定できることである。

本実施の形態によれば、各ＲＯＩサブ領域において、色相チャネル強度の局所分散に反比例する重みを割り当てる、ＲＯＩフィルタが作成される。これにより、殆どのサブ領域を破壊し、且つ白色光の方向に存在する、変動が完全に無視される。その結果、白色光に直交する方向において小さな変動を伴うサブ領域に、大きな重みが与えられる。又は、ＲＯＩフィルタ作成され、各ＲＯＩサブ領域に、そのサブ領域から抽出された脈波信号の極大値に反比例する重みが割り当てられる。非剛体の存在下で、顔のほとんどのサブ領域において、予測不可能な変動が存在する場合、このＲＯＩフィルタリングプロセスは、顔の表情の変化によって導入される破損の量が最も少ないサブ領域を強調する。

そして、本実施形態によれば、まず、ＲＯＩサブ領域の内側／近くにある顔の特徴点の動きを測定するで、各ＲＯＩサブ領域に存在するノイズの量を測定し、次に、特徴点の動きが最大で、最小の動きを強調する、サブ領域を抑制することによって、表情の補正が行われる。これは、色に依存しない表情補正ステップであり、観察中の絶えず変化する領域で効率的なノイズ除去を可能にする。

５つ目の効果は、微妙な頭の動き又は顔の表情が存在する場合でも、脈拍を高精度で推定できることである。

本実施の形態によれば、グリーンチャネルは、３つのカラーチャネル（レッド、ブルー、及びグリーン）からのノイズに対して最もロバストであり、従来の技術で使用されているクロミナンスパルスとは対照的に、微妙な頭の動き又は顔の表情の存在下で脈波信号を保持する。

６つ目の効果は、激しい頭の動き又は顔の表情が存在する場合でも、脈拍を高精度で推定できることである。

本実施形態によれば、激しい頭の動き及び顔の表情のために現れるＦＦＴの支配的なノイズピークは、スペクトル・ピーク追跡の結果として除去される。このステップは、上記のステップでノイズを効果的に除去できない場合、またはノイズが支配的すぎる場合に、真の脈拍の周波数を特定するのに有用である。

［プログラム］
本実施の形態のプログラムは、図２に示すステップＡ１～Ａ１９をコンピュータに実行させるためのプログラムであれば良い。 本実施の形態の脈拍推定装置１００および脈拍推定方法は、このプログラムをコンピュータにインストールして実行することにより実現することができる。 この場合、コンピュータのプロセッサは、映像取得部１０１、顔追跡部１０２、ノイズ源検出部１０３、ＲＯＩ選択・脈波信号抽出部１０４、脈拍推定部１０５、及びスペクトル・ピーク追跡部１０６として機能し、処理を実行する。

本実施の形態によるプログラムは、複数のコンピュータを用いて構築されたコンピュータシステムによって実行されても良い。この場合、例えば、各コンピュータが、映像取得部１０１、顔追跡部１０２、ノイズ源検出部１０３、ＲＯＩ選択・脈波信号抽出部１０４、脈拍推定部１０５、及びスペクトル・ピーク追跡部１０６として機能する。

また、本実施の形態のプログラムを実行することにより脈拍推定装置１００を実現するコンピュータについて、図面を参照して説明する。 図６は、本発明の実施の形態における脈拍推定装置を実現するコンピュータの一例を示すブロック図である。

図６に示されるように、コンピュータ１０は、ＣＰＵ（中央処理装置）１１と、メインメモリ１２と、記憶装置１３と、入力インターフェース１４と、ディスプレイコントローラ１５と、データリーダ／ライタ１６と、通信インターフェース１７とを備えている。これらのユニットは、バス２１を介して、相互にデータ通信可能に接続されている。

ＣＰＵ１１は、記憶装置１３に記憶されている本実施形態のプログラム（コード群）をメインメモリ１２に展開し、各コードを所定の順序で実行することにより、様々な処理を行う。メインメモリ１２は、通常、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性記憶装置である。 また、本実施の形態によるプログラムは、コンピュータ読み取り可能な記録媒体２０に格納された状態で提供される。本実施の形態によるプログラムは、通信インターフェース１７で接続されたインターネットを介して配信されたものであっても良い。

また、記憶装置１３の具体例としては、ハードディスクドライブに加えて、フラッシュメモリなどの半導体記憶装置が挙げられる。入力インターフェース１４は、ＣＰＵ１１と、キーボードまたはマウスなどの入力装置１８との間のデータ伝送を仲介する。 ディスプレイコントローラ１５は、ディスプレイ装置１９に接続され、ディスプレイ装置１９における表示を制御する。

データリーダ／ライタ１６は、ＣＰＵ１１と記録媒体２０との間のデータ伝送を仲介し、記録媒体２０からプログラムを読み出し、コンピュータ１０によって実行された処理の結果を記録媒体２０に書き込む。通信インターフェース１７は、 ＣＰＵ１１と別のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体２０の具体例としては、ＣＦ（Compact Flash（登録商標））、ＳＤ（Secure Digital）といった汎用半導体記憶装置、フロッピーディスクといった磁気記録媒体、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）といった光学記録媒体等が挙げられる。

本実施の形態における脈拍推定装置１００は、プログラムがインストールされたコンピュータを用いるだけでなく、様々な構成要素に対応するハードウェアの要素を用いても実現することもできる。 さらに、脈拍推定装置１００の一部がプログラムによって実現され、脈拍推定装置１００の残りの部分がハードウェアによって実現されていても良い。

上述の実施形態は、以下の（付記１）～（付記２７）によって、部分的または全体的に表現することができるが、これらに限定されない。

（付記１）
人の肌の観察に基づいて、脈拍を推定する装置であって、
特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、映像取得部と、
体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、身体部位追跡部と、
ノイズ源を特定し、各映像にラベルを割り当てる、ノイズ源検出部と、
ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波拍信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ＲＯＩ選択・脈波信号抽出部と、
抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、脈拍推定部と、
先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、スペクトル・ピーク追跡部と、
を備えている、
ことを特徴とする脈拍定装置。

（付記２）
付記１に記載の脈拍推定装置であって、
ノイズ源検出部が、ノイズ源として、剛体及び／又は非剛体の運動の存在を検出し、検出したノイズ源を示すラベルを各フレームに割り当てる、
ことを特徴とする脈拍推定装置。

（付記３）
付記１又は２に記載の脈拍推定装置であって、
ＲＯＩ選択・脈波信号抽出部は、
脈拍が測定される人間の皮膚上の領域を選択し、
その領域を複数のサブ領域に分割し、
観察される生理学的活動によって色が変化する各サブ領域から、脈波信号を抽出し、
各サブ領域内に存在する有用な情報の量を推定し、
ノイズソース検出部によって割り当てられたラベルを使用して、各サブ領域内に存在する有用な情報の量を推定し、
サブ領域内に存在する有用な脈拍情報の推定量に関連する測定値によって、サブ領域を強調するラベル依存ＲＯＩフィルタを作成し、
各サブ領域から抽出されたパルス信号に、ラベルに依存するノイズ推定および除去ステップを適用する、
ことを特徴とする脈拍推定装置。

（付記４）
付記１～３のいずれかに記載の脈拍推定装置であって、
ＲＯＩ選択・脈波信号抽出部は、
非剛体の運動に対してロバストである、鼻又は別の体の部位に関連する特徴点の位置の変動を使用して、ノイズ源検出部が剛体の運動の存在を示すラベルを割り当てた場合に、抽出された脈波信号から剛体の運動のノイズを推定及び／又は除去し、
非剛体運動を示す、体のランドマークに関連付けられた特徴点の位置の変動を使用して、ノイズ源検出部が非剛体の運動の存在を示すラベルを割り当てた場合に、抽出された脈波信号から非剛体の運動のノイズを推定及び／又は除去する、
ことを特徴とする脈拍推定装置。

（付記５）
付記１～３のいずれかに記載の脈拍推定装置であって、
ＲＯＩ選択・脈波信号抽出部は、
各サブ領域から抽出されたパルス信号の分散を使用して、ノイズ源検出部が剛体運動の存在を示すラベルを割り当てるときに有用な情報を推定し、
色相変化の分散又は各サブ領域で観測されたパルス信号の極大値のいずれかを使用して、ノイズ源検出部が非剛体の運動の存在を示すラベルを割り当てるときに有用な情報を推定する、
ことを特徴とする脈拍推定装置。

（付記６）
付記１～３のいずれかに記載の脈拍推定装置であって、
ＲＯＩ選択・脈波信号抽出部は、ノイズ源検出部が、剛体の運動がないことを示すラベルを割り当てた場合に、明るい反射／暗い陰の部分のある領域を特定及び抑制する、
ことを特徴とする脈拍推定装置。

（付記７）
付記１又は２に記載の脈拍推定装置であって、
脈拍推定部は、
各ＲＯＩサブ領域から抽出された脈波信号を組み合わせて、抽出された脈波信号全体を表す時系列信号を形成し、
線形結合を用いて各ＲＯＩサブ領域からの脈波信号を結合し、
ＲＯＩフィルタによって割り当てられた重みを使用して、前記線形結合を作成し、
抽出された全体的な脈波信号に対して周波数分析を実行して、脈拍の候補を生成する、
ことを特徴とする脈拍推定装置。

（付記８）
付記１または２に記載の脈拍推定装置であって、
スペクトル・ピーク追跡部は、
ノイズ源検出部が、剛体及び非剛体の運動の両方がないことを示すラベルを割り当てると、推定された脈拍値を信頼できると見なし、
ノイズ源検出部が、剛体、非剛体運動、又は両方の存在を示すラベルを割り当てると、推定された脈拍値は信頼できないと見なす、
ことを特徴とする脈拍推定装置。

（付記９）
付記１または２に記載の脈拍推定装置であって、
スペクトル・ピーク追跡部は、ノイズの多い脈拍の推定値を削除または置換し、
対象の周波数帯域のノイズに関連する周波数ピークは、信頼できる推定値と信頼できない推定値との特定によって除去され、
更に、スペクトル・ピーク追跡部は、以前及び／又は将来の映像フレームで特定された信頼できる脈拍推定値を使用して、複数の脈拍候補のセットから、正しい脈拍の推定値の特定を行う、
ことを特徴とする脈拍推定装置。

（付記１０）
人の肌の観察に基づいて、脈拍を推定する方法であって、
（ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
（ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
（ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
（ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
（ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
（ｆ）先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一致する脈拍の値を選択する、ステップと、
を有する、
ことを特徴とする脈拍推定方法。

（付記１１）
付記１０に記載の脈拍推定方法であって、
前記ステップ（ｃ）において、ノイズ源として、剛体及び／又は非剛体の運動の存在が検出され、検出されたノイズ源を示すラベルが各フレームに割り当てられる、
ことを特徴とする脈拍推定方法。

（付記１２）
付記１０または１１に記載の脈拍推定方法であって、
前記ステップ（ｄ）において、
脈拍数が測定される人間の皮膚上の領域が選択され、
その領域が複数のサブ領域に分割され、
観察される生理学的活動によって色が変化する各サブ領域から、脈波信号が抽出され、
各サブ領域内に存在する有用な情報の量が推定され、
ノイズソース検出部によって割り当てられたラベルを使用して、各サブ領域内に存在する有用な情報の量が推定され、
サブ領域内に存在する有用な脈拍情報の推定量に関連する測定値によって、サブ領域を強調するラベル依存ＲＯＩフィルタが作成され、
各サブ領域から抽出されたパルス信号に、ラベルに依存するノイズ推定および除去ステップが適用される、
ことを特徴とする脈拍推定方法。

（付記１３）
付記１０～１２のいずれかに記載の脈拍推定方法であって、
前記ステップ（ｄ）において、
非剛体の運動に対してロバストである、鼻又は別の体の部位に関連する特徴点の位置の変動が使用され、剛体の運動の存在を示すラベルが割り当てられた場合に、抽出された脈波信号から剛体の運動のノイズが推定及び／又は除去され、
非剛体運動を示す、体のランドマークに関連付けられた特徴点の位置の変動が使用され、非剛体の運動の存在を示すラベルが割り当てられた場合に、抽出された脈波信号から非剛体の運動のノイズが推定及び／又は除去される、
ことを特徴とする脈拍推定方法。

（付記１４）
付記１０～１２のいずれかに記載の脈拍推定方法であって、
前記ステップ（ｄ）において、
各サブ領域から抽出されたパルス信号の分散が使用され、剛体運動の存在を示すラベルが割り当てられたときに、有用な情報が推定され、
色相変化の分散又は各サブ領域で観測されたパルス信号の極大値のいずれかが使用され、非剛体の運動の存在を示すラベルが割り当てられたときに有用な情報が推定される、
ことを特徴とする脈拍推定方法。

（付記１５）
付記１０～１２のいずれかに記載の脈拍推定方法であって、
前記ステップ（ｄ）において、
剛体の運動がないことを示すラベルが割り当てられた場合に、明るい反射／暗い陰の部分のある領域を特定及び抑制する、
ことを特徴とする脈拍推定方法。

（付記１６）
付記１０または１１に記載の脈拍推定方法であって、
前記（ｅ）のステップにおいて、
各ＲＯＩサブ領域から抽出された脈波信号を組み合わせて、抽出された脈波信号全体を表す時系列信号が形成され、
線形結合を用いて各ＲＯＩサブ領域からの脈波信号が結合され、
ＲＯＩフィルタによって割り当てられた重みを使用して、前記線形結合が作成され、
抽出された全体的な脈波信号に対して周波数分析を実行して、脈拍の候補が生成される、
ことを特徴とする脈拍推定方法。

（付記１７）
付記１０または１１に記載の脈拍推定方法であって、
前記（ｆ）のステップにおいて、
剛体及び非剛体の運動の両方がないことを示すラベルが割り当てられると、推定された脈拍値を信頼できると見なし、
剛体、非剛体運動、又は両方の存在を示すラベルが割り当てられると、推定された脈拍数は信頼できないと見なす、
ことを特徴とする脈拍推定方法。

（付記１８）
付記１０または１１に記載の脈拍推定方法であって、
前記（ｆ）のステップにおいて、ノイズの多い脈拍の推定値を削除または置換し、
対象の周波数帯域のノイズに関連する周波数ピークは、信頼できる推定値と信頼できない推定値との特定によって除去され、
更に、前記（ｆ）のステップにおいて、以前及び／又は将来の映像フレームで特定された信頼できる脈拍推定値を使用して、複数の脈拍候補のセットから、正しい脈拍の推定値の特定を行う、
ことを特徴とする脈拍推定方法。

（付記１９）
コンピュータに、
（ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
（ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
（ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
（ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
（ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
（ｆ）先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、ステップと、
を実行させる、プログラム。

（付記２０）
付記１９に記載のプログラムであって、
前記ステップ（ｃ）において、ノイズ源として、剛体及び／又は非剛体の運動の存在が検出され、検出されたノイズ源を示すラベルが各フレームに割り当てられる、
ことを特徴とするプログラム。

（付記２１）
付記１９または２０に記載のプログラムであって、
前記ステップ（ｄ）において、
脈拍数が測定される人間の皮膚上の領域が選択され、
その領域が複数のサブ領域に分割され、
観察される生理学的活動によって色が変化する各サブ領域から、脈波信号が抽出され、
各サブ領域内に存在する有用な情報の量が推定され、
ノイズソース検出部によって割り当てられたラベルを使用して、各サブ領域内に存在する有用な情報の量が推定され、
サブ領域内に存在する有用な脈波情報の推定量に関連する測定値によって、サブ領域を強調するラベル依存ＲＯＩフィルタが作成され、
各サブ領域から抽出されたパルス信号に、ラベルに依存するノイズ推定および除去ステップが適用される、
ことを特徴とするプログラム。

（付記２２）
付記１９～２１のいずれかに記載のプログラムであって、
前記ステップ（ｄ）において、
非剛体の運動に対して頑健である、鼻又は別の体の部位に関連する特徴点の位置の変動が使用され、剛体の運動の存在を示すラベルが割り当てられた場合に、抽出された脈波信号から剛体の運動のノイズが推定及び／又は除去され、
非剛体運動を示す、体のランドマークに関連付けられた特徴点の位置の変動が使用され、非剛体の運動の存在を示すラベルが割り当てられた場合に、抽出された脈波信号から非剛体の運動のノイズが推定及び／又は除去される、
ことを特徴とするプログラム。

（付記２３）
付記１９～２１のいずれかに記載のプログラムであって、
前記ステップ（ｄ）において、
各サブ領域から抽出されたパルス信号の分散が使用され、剛体運動の存在を示すラベルが割り当てられたときに、有用な情報が推定され、
色相変化の分散又は各サブ領域で観測されたパルス信号の極大値のいずれかが使用され、非剛体の運動の存在を示すラベルが割り当てられたときに有用な情報が推定される、
ことを特徴とするプログラム。

（付記２４）
付記１９～２１のいずれかに記載のプログラムであって、
前記ステップ（ｄ）において、
剛体の運動がないことを示すラベルが割り当てられた場合に、明るい反射／暗い陰の部分のある領域を特定及び抑制する、
ことを特徴とするプログラム。

（付記２５）
付記１９または２０に記載のプログラムであって、
前記（ｅ）のステップにおいて、
各ＲＯＩサブ領域から抽出された脈波信号を組み合わせて、抽出された脈波信号全体を表す時系列信号が形成され、
線形結合を用いて各ＲＯＩサブ領域からの脈波信号が結合され、
ＲＯＩフィルタによって割り当てられた重みを使用して、前記線形結合が作成され、
抽出された全体的な脈拍信号に対して周波数分析を実行して、脈拍の候補が生成される、
ことを特徴とするプログラム。

（付記２６）
付記１９または２０に記載のプログラムであって、
前記（ｆ）のステップにおいて、
剛体及び非剛体の運動の両方がないことを示すラベルが割り当てられると、推定された脈拍値を信頼できると見なし、
剛体、非剛体運動、又は両方の存在を示すラベルが割り当てられると、推定された脈拍値は信頼できないと見なす、
ことを特徴とするプログラム。

（付記２７）
付記１９または２０に記載のプログラムであって、
前記（ｆ）のステップにおいて、ノイズの多い脈拍の推定値を削除または置換し、
対象の周波数帯域のノイズに関連する周波数ピークは、信頼できる推定値と信頼できない推定値との特定によって除去され、
更に、前記（ｆ）のステップにおいて、以前及び／又は将来の映像フレームで特定された信頼できる脈拍推定値を使用して、複数の脈拍候補のセットから、正しい脈拍数の推定値の特定を行う、
ことを特徴とするプログラム。

本出願の発明は、実施形態を参照して上記で説明されてきたが、本出願の発明は、上記の実施形態に限定されない。 当業者が理解することができる様々な変更を、本出願の発明の範囲内で、本出願の本発明の構成および詳細に対して行うことができる。

本発明は、脈拍測定を必要とする分野で有用である。

１０ コンピュータ
１１ ＣＰＵ
１２ メインメモリ
１３ 記憶装置
１４ 入力インターフェース
１５ ディスプレイコントローラ
１６ データリーダ／ライタ
１７ 通信インターフェース
１８ 入力装置
１９ ディスプレイ装置
２０ 記録媒体
２１ バス
１００ 脈拍推定装置
１０１ 映像取得部
１０２ 顔追跡部（身体部位追跡部）
１０３ ノイズ源検出部
１０４ ＲＯＩ選択・脈波信号抽出部
１０５ 脈拍推定部
１０６ スペクトル・ピーク追跡部

Claims (11)

1. 人の肌の観察に基づいて、脈拍を推定する装置であって、
   特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、映像取得部と、
   体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、身体部位追跡部と、
   ノイズ源を特定し、各映像にラベルを割り当てる、ノイズ源検出部と、
   ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ＲＯＩ選択・脈波信号抽出部と、
   抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、脈拍推定部と、
   先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一致する脈拍の値を選択する、スペクトル・ピーク追跡部と、
   を備えている、
   ことを特徴とする脈拍推定装置。
2. 請求項１に記載の脈拍推定装置であって、
   ノイズ源検出部が、ノイズ源として、剛体及び／又は非剛体の運動の存在を検出し、検出したノイズ源を示すラベルを各フレームに割り当てる、
   ことを特徴とする脈拍推定装置。
3. 請求項１又は２に記載の脈拍推定装置であって、
   ＲＯＩ選択・脈波信号抽出部は、
   脈拍が測定される人間の皮膚上の領域を選択し、
   その領域を複数のサブ領域に分割し、
   観察される生理学的活動によって色が変化する各サブ領域から、脈波信号を抽出し、
   各サブ領域内に存在する有用な情報の量を推定し、
   ノイズソース検出部によって割り当てられたラベルを使用して、各サブ領域内に存在する有用な情報の量を推定し、
   サブ領域内に存在する有用な脈拍情報の推定量に関連する測定値によって、サブ領域を強調するラベル依存ＲＯＩフィルタを作成し、
   各サブ領域から抽出されたパルス信号に、ラベルに依存するノイズ推定および除去ステップを適用する、
   ことを特徴とする脈拍推定装置。
4. 請求項１～３のいずれかに記載の脈拍推定装置であって、
   ＲＯＩ選択・脈波信号抽出部は、
   非剛体の運動に対してロバストである、鼻又は別の体の部位に関連する特徴点の位置の変動を使用して、ノイズ源検出部が剛体の運動の存在を示すラベルを割り当てた場合に、抽出された脈波信号から剛体の運動のノイズを推定及び／又は除去し、
   非剛体運動を示す、体のランドマークに関連付けられた特徴点の位置の変動を使用して、ノイズ源検出部が非剛体の運動の存在を示すラベルを割り当てた場合に、抽出された脈波信号から非剛体の運動のノイズを推定及び／又は除去する、
   ことを特徴とする脈拍推定装置。
5. 請求項１～３のいずれかに記載の脈拍推定装置であって、
   ＲＯＩ選択・脈波信号抽出部は、
   各サブ領域から抽出されたパルス信号の分散を使用して、ノイズ源検出部が剛体運動の存在を示すラベルを割り当てるときに有用な情報を推定し、
   色相変化の分散又は各サブ領域で観測されたパルス信号の極大値のいずれかを使用して、ノイズ源検出部が非剛体の運動の存在を示すラベルを割り当てるときに有用な情報を推定する、
   ことを特徴とする脈拍推定装置。
6. 請求項１～３のいずれかに記載の脈拍推定装置であって、
   ＲＯＩ選択・脈波信号抽出部は、ノイズ源検出部が、剛体の運動がないことを示すラベルを割り当てた場合に、明るい反射／暗い陰の部分のある領域を特定及び抑制する、
   ことを特徴とする脈拍推定装置。
7. 請求項１又は２に記載の脈拍推定装置であって、
   脈拍推定部は、
   各ＲＯＩサブ領域から抽出された脈波信号を組み合わせて、抽出された脈波信号全体を表す時系列信号を形成し、
   線形結合を用いて各ＲＯＩサブ領域からの脈波信号を結合し、
   ＲＯＩフィルタによって割り当てられた重みを使用して、前記線形結合を作成し、
   抽出された全体的な脈波信号に対して周波数分析を実行して、脈拍の候補を生成する、
   ことを特徴とする脈拍推定装置。
8. 請求項１または２に記載の脈拍推定装置であって、
   スペクトル・ピーク追跡部は、
   ノイズ源検出部が、剛体及び非剛体の運動の両方がないことを示すラベルを割り当てると、推定された脈拍値を信頼できると見なし、
   ノイズ源検出部が、剛体、非剛体運動、又は両方の存在を示すラベルを割り当てると、推定された脈拍値は信頼できないと見なす、
   ことを特徴とする脈拍推定装置。
9. 請求項１または２に記載の脈拍推定装置であって、
   スペクトル・ピーク追跡部は、ノイズの多い脈拍の推定値を削除または置換し、
   対象の周波数帯域のノイズに関連する周波数ピークは、信頼できる推定値と信頼できない推定値との特定によって除去され、
   更に、スペクトル・ピーク追跡部は、以前及び／又は将来の映像フレームで特定された信頼できる脈拍推定値を使用して、複数の脈拍候補のセットから、正しい脈拍の推定値の特定を行う、
   ことを特徴とする脈拍推定装置。
10. 人の肌の観察に基づいて、脈拍を推定する方法であって、
    （ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
    （ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
    （ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
    （ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
    （ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
    （ｆ）先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、ステップと、
    を有する、
    ことを特徴とする脈拍推定方法。
11. コンピュータに、
    （ａ）特定の生理学的プロセスの直接的な影響を受ける脈波信号が抽出される、人体部位の映像を取得する、ステップと、
    （ｂ）体の部位が検出されたフレーム毎に、特定の人体の部位を検出し、体の部位の重要な構造的ランドマークを示す特徴点を生成する、ステップと、
    （ｃ）ノイズ源を特定し、各映像にラベルを割り当てる、ステップと、
    （ｄ）ＲＯＩを選択し、それをサブ領域に分割し、各サブ領域から脈波信号を抽出し、ラベルに依存するＲＯＩフィルタを作成して、各ＲＯＩサブ領域に、当該ＲＯＩサブ領域に存在する有用な脈拍情報の量に比例した重みを割り当て、そして、各ＲＯＩサブ領域から抽出された脈波信号にラベル依存のノイズ推定および補正を適用する、ステップと、
    （ｅ） 抽出された脈波信号と先のステップで作成されたＲＯＩフィルタとを組み合わせて最終的なノイズ抑制脈波信号を形成し、その抽出されたノイズ抑制脈波信号に対して周波数分析を実行し、脈拍候補を生成する、ステップと、
    （ｆ）先のステップで生成された脈拍候補のリストから、各映像フレームの他の脈拍の値と一貫性の高い脈拍の値を選択する、ステップと、
    を実行させる、プログラム。

Images