JP5856960B2 - 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム - Google Patents

第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム Download PDF

Info

Publication number
JP5856960B2
JP5856960B2 JP2012532696A JP2012532696A JP5856960B2 JP 5856960 B2 JP5856960 B2 JP 5856960B2 JP 2012532696 A JP2012532696 A JP 2012532696A JP 2012532696 A JP2012532696 A JP 2012532696A JP 5856960 B2 JP5856960 B2 JP 5856960B2
Authority
JP
Japan
Prior art keywords
signal
value
output signal
transformation
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012532696A
Other languages
English (en)
Other versions
JP2013506523A5 (ja
JP2013506523A (ja
Inventor
アイホール オレホヴィッキ キレンコ
アイホール オレホヴィッキ キレンコ
ビンセント ジャンネ
ビンセント ジャンネ
デ ハーン ゲラルド
ハーン ゲラルド デ
リースト アドリアーン ジョハン ヴァン
リースト アドリアーン ジョハン ヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2013506523A publication Critical patent/JP2013506523A/ja
Publication of JP2013506523A5 publication Critical patent/JP2013506523A5/ja
Application granted granted Critical
Publication of JP5856960B2 publication Critical patent/JP5856960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Description

本発明は、第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るのを容易にする方法に関する。
本発明は、第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るシステムにも関する。
本発明は、コンピュータプログラムにも関する。
本出願人と同じ出願人である欧州特許出願番号09154493.2は、本出願の優先日前に出願され優先日後に公開された。その出願は、画像のシーケンスを処理するように設けられたシステムを説明する。当該システムは、周期的な生理的現象の周波数に対応する画像の画素データに基づいて、信号のスペクトルの少なくとも一つのピークの存在及び周波数値の少なくとも一つを決定するために、画像のシーケンスの処理を実施する。画像セグメント化アルゴリズムが、画像のシーケンスの少なくとも一つで実施される。所望のタイプのボディ部分に対応するために決定される一つ以上の種々異なるセグメントが、画像のシーケンスを通じて追跡される。選択され追跡される各セグメントに対して、測定ゾーンが選択される。各測定ゾーンに対して、測定ゾーンに対応する画素の時間変動の平均輝度を表わす信号が生成される。輝度は、カラー成分を重み付けした和又は一つの色成分だけの値である。信号はその平均値に中心が置かれ、基本的な信号処理技術は、関心の生体(一般に人間)に対する典型的な心拍及び/又は呼吸数値を有することが知られた範囲内に少なくともある信号のスペクトルの一つ以上の局所的最大を決定するために用いられる。
関心がある成分がノイズ、例えば動き及び照明変化によるノイズとは比較的明らかに区別される、第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るのを容易にする方法、システム及びコンピュータプログラムを提供することは、望ましい。
この目的で、本発明は、第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得ることを容易にする方法であって、捕捉した電磁放射の強度を表わす少なくとも2つの第2の信号であって、各々がそれぞれ異なる放射線周波数範囲に対応する第2の信号を得るステップを含み、第1の信号は、出力信号の何れの値も時間的に対応するポイントで各それぞれの第2の信号からの値に基づくような変換を第2の信号に付与することにより取得可能な前記出力信号から少なくとも導出可能であり、前記方法は、更に、第2の信号に対応する信号が捕捉され前記変換が付与されるとき、前記出力信号についてそれぞれ第2の信号の少なくとも成分の影響を決定する少なくとも一つの変数の少なくとも一つの値を得るステップを有し、前記少なくとも一つの変数の少なくとも一つの値は、
(i)第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号のうちの少なくとも一つを分析し、前記変数のそれぞれに対応する少なくとも一つのパラメータの少なくとも一つの値を選択するためにこの分析を使用するステップと、
(ii)前記変数のそれぞれに対応する少なくとも一つの時間変動ファクタの値を計算し、各ファクタの値が少なくとも一つの第2の信号値に基づいていて、少なくとも一つの動作を有する動作の複数の並列なシーケンスの少なくとも一つにおいて、動作時に各ファクタを付与し、入力として第2の信号のそれぞれに対応する信号を採用するステップとの少なくとも一つにより得られる方法を提案する。
当該方法は、反射された、透過した、又は放射された光が、カラーチャネルとも呼ばれる、異なる周波数範囲の強度値に基づき、値の少なくとも変化を表わす信号を得るために捕捉され処理される方法を容易にするのに適している。この信号は、反射された、透過した及び/又は放射された光が捕捉されるシーンの特定の周期的な現象を特徴付けるために分析される。特定のカラーチャネルは、関心の現象による変化が他よりも弱い変化を呈するので、動き及び照明変化が第2の信号の各々に影響するのに対し、第2の信号に付与される変換は増大したSN比を持つ出力信号を得ることに適している。しかしながら、単に第2の信号の一方を他方から減算することは、一般に、動き及び照明変化の影響を除去するのに十分ではない。第2の信号に対応する信号が捕えられ、変換が付与されるとき、第2の信号、出力信号及び第1の信号の少なくとも一つを分析し、出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つのパラメータの少なくとも一つの値を選択するため、この分析を使用することにより、各カラーチャネルは、出力信号、よって第1の信号に影響すべきか、また、どの程度影響すべきかが確立される。それぞれのパラメータ値は、出力信号を得るために用いられる第2の信号の全てというより少数に影響を及ぼす。これらは、特に、第2の信号が出力信号に影響する程度、すなわち出力信号を得るために用いられる第2の信号の混合のパラメータ値により影響を受ける第2の信号の相対強度に影響を及ぼす。ある波長で得られた強度信号を他の波長で得られた強度信号から減算する方法と比較して、又は比率をとる方法と比較して、この方法は、第2の信号各々が少なくとも限られた程度まで関心の周期的な現象と関連した成分を含む第2の信号でよく機能する。複数のチャネルから関連した情報が使われる一方、同時に不所望な情報が抑制される。
これは、また、少なくとも一つの時間変動ファクタの値が計算され、ある種の正規化が達成されるので、各ファクタの値が少なくとも一つの第2の信号の値に基づく場合である。第2の信号のそれぞれに基づくファクタを信号に付与することにより、カラー空間の変換、特に一種の正規化が得られる。ファクタが時間変動であるので、背景光スペクトルの変化が取り除かれ、SN比を改善する。ファクタを付与することにより得られる複数の信号は、その後、第1の信号を少なくとも導出できる一つの信号へ結合でき、これは、変換が付与されるとき、ファクタが、出力信号についてのそれぞれの第2の信号の少なくとも成分の影響を決定する変数であるという事実により示される。この点で、当該方法は、単にカラー成分の比率をとって、その比率の周期的成分を特徴付ける方法とは異なる。各第2の信号のそれぞれに基づく信号が、第2の信号、そのスカラー倍、又は他のファクタを第2の信号の一つに付与することにより得られる信号のそれぞれに対応することが観察される。よって、少なくとも一つの時間変動ファクタの値が計算されている所で、各第2の信号は、計算されたファクタが付与されるという一つ以上の動作のそれぞれのシーケンスへの入力を形成する。出力は、その後、第1の信号を少なくとも導出できる出力信号に結合される。
実施例において、第2の信号、変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、第1の信号のスペクトラムの限定された部分での相対的信号強度を最大にするために、前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つのパラメータの少なくとも一つの値を選択するために使用される。
よって、第1の信号の全体のスペクトルの特定の範囲が関心の現象と関連した情報を有することが先験的に既知の所で、当該方法は、その範囲のSN比を改善する。
実施例において、前記変換は少なくとも一つのパラメータ化動作を含み、第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、前記動作の少なくとも一つのパラメータの値を選択するために使用される。
シーンの照明に影響を及ぼすパラメータを選択することと比較して、この実施例は、良好な結果を導くことが比較的確かである。その上、照明状況を変えるよりも目立たない。
変形例において、前記動作は、第2の信号に基づいて異なる態様で少なくとも二つの入力を採用する動作である。
入力は、異なるそれぞれの第2の信号に含まれる値に単に対応するか、又は例えば、一方は和であり、他方は差でありえる。この実施例は、パラメータ値が、例えば結合される入力に付与される位相変化又は増倍ファクタを決定するような態様で、2つの入力を結合可能にする。
他の変形例において、変換は、入力信号の全てよりはむしろ少ない入力信号に特定の少なくとも一つのパラメータを使用して、それぞれの入力信号で並列に実施される動作を含む。
よって、出力信号の異なる第2の信号の突出に影響を及ぼす代わりの方法が提供される。
他の変形例において、前記変換は、少なくとも一つのパラメータ化非線形動作を含み、第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、前記動作の少なくとも一つのパラメータの値を選択するために使用される。
よって、変換の出力信号についての特定のカラーチャネルの影響は、振幅及び/又は周波数に依存してなされる。この変形例は、例えば、一つのカラーチャネルの大きい信号変動が出力信号に影響でき、小さな信号変動が出力信号に影響できないように用いることができるし、又はこの逆も成立する。
実施例において、前記変換は、それぞれの入力信号で並列に実施される動作を含み、各々が、第2の信号とゼロではない少なくとも一つの係数との異なる線形結合であり、前記動作は前記入力信号の対数をとるステップを有する。
一般に、動作は、第2の信号のスカラー倍であるか又は第2の信号に一致するそれぞれの入力信号で実施される。
周囲照明レベルの変化は、多くの状況で、ほぼ同じ程度に各カラーチャネルに影響を及ぼす。本質的に、各第2の信号は、周囲照明レベルの変化を表わす信号による変調の結果となる。対数の出力は、周囲照明レベルの乗算的変化に関係する付加成分を持つ信号である。周囲照明レベルの変化を表わす信号と当該変化とは独立していて、関心の周期的な現象を表わす成分を含む信号との和として出力を考えることができる。後者の信号は、各カラーチャネルが周期的な現象により異なった影響を受けるので、各カラーチャネルに対して一般に異なる。周囲照明レベルの変化を表わす信号は、比較的容易に抑制できる。これを行う一つの態様は、対数をとるステップを有する動作のそれぞれの出力信号から少なくとも導出された多次元空間入力信号の平面上へ投影する後続のオペレーションによる。この多次元空間は、一般に、第2の信号の数(例えば、第2の信号が赤、緑及び青のカラーチャネルを表わす3)に等しい次元の数を持つ。多次元空間は、カラー空間とみなせる。不完全に追跡される関心の領域の動きによる変化が周囲照明レベルの変化として結果的に同様の効果になり、この効果は本実施例において同じように抑制されることに留意されたい。
実施例において、各第2の信号は、関連する放射線周波数範囲内で捕捉された電磁放射の強度を表わす画素値を有する画像フレームのシーケンスを有する。
この実施例は、ビデオカメラが複数のカラーチャネルの画像フレームを提供するためにフィルタを既に有するので、ビデオカメラを使用して実行するのが比較的容易である。その上、ランダムノイズは、第1の信号又はその先行信号を形成するために画像の異なる位置からの画素値を結合することにより低減できる。
実施例において、第2の信号は、水の吸収スペクトルのピークに同調された電磁スペクトルの一部の捕捉された電磁放射の強度値を有する第2の信号を含む。
この実施例は、放射されたか、反射されたか、又は透過した光が捕捉される生体の生物学的現象に対応するその少なくとも一つの周期的成分を特徴付けるための分析のための第1の信号を容易に得ることに適している。特に、この変形例は、生体の心拍を決定するフォトプレチスモグラフィ方法の実行を容易にするために使用できる。
実施例において、第2の信号は、500nmと600nmとの間の波長値の範囲に対応する電磁スペクトルの一部の捕捉された電磁放射の強度値を有する第2の信号を含む。
この実施例は、放射されたか、反射されたか、又は透過した光が捕捉される生体の生物学的現象に対応するその少なくとも一つの周期的成分を特徴付けるために分析のため第1の信号を容易に得るために同じように適している。500nmと600nmとの間の波長値の範囲に対応する電磁スペクトルの一部の捕捉された電磁放射の強度値を有する第2の信号は、照射された(皮膚)組織のオキシヘモグロビンの濃度の変化に関する情報を含むだろう。
実施例において、前記分析は、複数の第2の信号にそれぞれ基づくデータのセットについての主要な成分分析を実施するステップを含む。
この実施例は、一つの第2の信号が関心の周期的な現象と比較的強く相関し、他の信号が比較的弱く相関する通常の方法の分析ステップの適切な実行を供給する。信号は、第1の信号が基になる、特に第1の信号と一致する出力信号を得るために、マトリックス動作を受けることができる。マトリックス動作のパラメータは、主要な成分から導ける。第2の信号の主成分分析を実施することによって、第2の信号間の相関を決定できる。主要な成分の一つは、関心の周期的な現象を表わす信号成分に対応するだろう。主成分分析に基づくパラメータを含むマトリックス動作は、第1の信号としてこの主要な成分を取り出すか、又は第1の信号が直接得られる信号を取り出すように設定される。
実施例は、第2の信号、変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つが分析され、この分析は第2の信号に対応する信号が捕捉され前記変換が付与されるとき前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つのパラメータの少なくとも一つの値を選択するために使用され、前記少なくとも一つのパラメータの選択された値をシステムへロードさせるステップを有し、前記システムは、各々がそれぞれ異なる放射線周波数範囲に対応する捕捉された電磁放射の強度を表わす少なくとも二つの第2の信号を得るためのインタフェースと、第1の信号が少なくとも導出できる出力信号を得るために第2の信号へ変換を付与するための信号処理システムであって、前記出力信号の何れの値も時間的に共通のポイントで各それぞれの第2の信号からの値に基づき、前記出力信号についてそれぞれの第2の信号の影響が前記少なくとも一つのパラメータのロードされた値に少なくとも部分的に関連して決定されるようにする前記信号処理システムとを有する。
この実施例は、捕捉された電磁放射の強度を表わす、各々がそれぞれ異なる放射線周波数範囲に対応する少なくとも2つの第2の信号を得て、出力信号の任意の値が時間的に対応するポイントでの各それぞれの第2の信号からの値に基づく当該出力信号を作る変換を第2の信号に付与することにより、第1の信号を得る方法を実施するために作られたシステムでの使用のための適当なパラメータ値を発見するために、このように用いられる。
実施例において、少なくとも一つのパラメータ値の分析及び選択が、第1の信号を得るために第2の信号を処理する間、継続して実施される。
よって、この実施例は、関心の周期的成分が比較的明確に定められる第1の信号が供給されることを確実にするために継続して適応する方法を提供する。
実施例において、前記少なくとも一つの時間変動ファクタは、第2の信号の少なくとも一つの各々からの対応する値の線形結合を計算することにより得られるファクタを含み、そのファクタの同じ値が動作の並列シーケンスの各々に使用される。
この実施例の効果は、関心の周期的な現象とは無関係な照明変化に関して正規化を実施することである。異なるカラーチャネルの信号(第2の信号)が斯様な変化により基本的に同じ程度まで影響を受けるので、任意の線形結合が、結果的に照明変化による少なくともある程度の変調の除去になるだろう。
この実施例の変形例において、第2の信号に対応する信号が捕捉されて、変換が付与されるとき、出力についてのそれぞれの第2の信号の少なくとも成分の影響を決定する変数のそれぞれに対応するパラメータは、線形結合の少なくとも一つの係数を含む。
この実施例において、ファクタは、関心の周期的な現象による変化に対応するカラー空間のラインと一般に平行であるカラー空間の平面への変換に結果としてなる値を与えられる。例えば、遠隔フォトプレチスモグラフィの場合、心拍及び/又は色画像の順序で表される被験者の呼吸による脈動血流は、被験者の露出した皮膚の色の変化を生じさせる。画像の変色の他の原因によるノイズがない場合、これらの変化は、カラー空間のラインに沿ってある。平行な平面上への投影は、他の原因による変化を取り除く傾向がある。
各第2の信号が、関連する周波数範囲内の捕捉された電磁放射の強度を表わす画素値を有する画像フレームのシーケンスを有する変形例において、並列シーケンスの動作は、ファクタ値が各画素位置に対して計算されて、画素当たりで実施される。
方法の他の実施例において、ファクタの少なくとも一つに対して、時間的に対応する関連したポイントでの別個の値が前記並列シーケンスの各々に対して計算され、別個の値各々は関連するシーケンスにより入力として採用された第2の信号の複数の値から得られ、前記複数の値は前記ファクタの値と関連する時間的なポイントを含む期間に及ぶ時間的なそれぞれのポイントと関連する。
効果は、カラーの正規化を実施することである。ファクタ値各々が、関係する第2のシーケンスにより入力としてとられる第2の信号の複数の値から得られ、前記複数の値は、ファクタ値と関連した時間のポイントを含む間隔にわたる時間のそれぞれのポイントと関連しているので、比較的ゆっくり変化する背景色変化が除去できる。関心の現象と関連したもの、例えば第2の信号に対応する画像信号で表された被験者の脈動血流が残る。
この実施例の変形例において、ファクタ値を計算することは、時間内の少なくとも2つのポイントと関連する第2の信号の値の平均を計算することを含む。
平均化は、変化の影響を除去する。
他の変形例において、第2の信号は時間的に離散的であり、各ファクタ値の計算は時間的に少なくとも2つのポイントと関連する第2の信号の値の平均をとることを含み、ポイントの一つは、ファクタ値と関連した時間的なポイントに対応する。
ファクタ値と関連した時間的なポイントは、ファクタ値が動作のシーケンスの関連した動作に付与される信号の値と関連した時間的なポイントである。この変形例の効果は、平均が瞬間的な平均値にできるだけ近づくことを保証するので、その結果、より速い背景変化が、より正確に除去できる。
他の態様によると、第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るためのシステムは、捕捉した電磁放射の強度を表わす少なくとも2つの第2の信号であって、各々がそれぞれ異なる放射線周波数範囲に対応する第2の信号を得るためのインタフェースを含み、第1の信号は、出力信号の何れの値も時間的に対応するポイントで各それぞれの第2の信号からの値に基づくような変換を第2の信号に付与することにより取得可能な前記出力信号から少なくとも導出可能であり、前記システムは、第2の信号に対応する信号が捕捉され前記変換が付与されるとき、前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つの変数の少なくとも一つの値を得るように設けられ、前記少なくとも一つの変数の少なくとも一つの値は、
(i)第2の信号、前記出力信号、及び第1の信号の少なくとも一つを分析し、前記変数のそれぞれに対応する少なくとも一つのパラメータの少なくとも一つの値を選択するためにこの分析を使用し、第2の信号に対応する信号が捕捉され前記変換が付与されるとき前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定することと、
(ii)前記変数のそれぞれに対応する少なくとも一つの時間変動ファクタの値を計算し、各ファクタの値が少なくとも一つの第2の信号値に基づいていて、少なくとも一つの動作を有する動作の複数の並列なシーケンスの少なくとも一つにおいて、動作時に各ファクタを付与し、入力として第2の信号のそれぞれに対応する信号を採用することとの少なくとも一つにより得られる。
実施例において、システムは、本発明による方法を実施するように構成される。
本発明の別の態様によると、コンピュータ可読媒体に組み込まれるとき、情報処理能力を持つシステムにより本発明による方法を実施させることができる一組の命令を含むコンピュータプログラムが提供される。
本発明は、添付図面を参照して詳細に説明されるだろう。
図1は、各々がそれぞれの異なる放射線周波数範囲に対応する、捕捉された電磁放射の強度を表わす少なくとも2つの第2の信号へ変換を付与することにより得られる信号から情報を抽出するためのシステムのブロック図である。 図2は、システムにより実施される方法のフローチャートである。 図3は、システムにより付与される変換を例示する図である。 図4は、第1の変形例において、その少なくとも一つの周期的成分を特徴付けるための分析のための信号を得るため、システムにより実施される幾つかのステップを例示しているフローチャートである。 図5は、第2の変形例において、その少なくとも一つの周期的成分を特徴付けるための分析のための信号を得るため、システムにより実施される幾つかのステップを例示しているフローチャートである。 図6は、その少なくとも一つの周期的成分を特徴付けるための分析のための第1の信号を得る代替方法を例示しているフローチャートである。
遠隔フォトプレチスモグラフィを実施するためのシステムが、図1に例として示される。フォトプレチスモグラフィ撮像は、皮膚の下の血液量の時間的変化が皮膚による光吸収の変化を導くという原理に基づく。斯様な変化は、皮膚の領域の画像を撮って、選択された領域上の画素平均を計算することにより検出され測定できる。斯様な変化は、光で皮膚の選択された領域を照射して、フォトセンサで反射された光の強度を測定することによっても検出できる。ここで用いられる例において、図1のシステムは、生体の心拍の値を決定するように設けられる。しかしながら、同じシステムは、幾つか他の周期的な生物学的現象、例えば呼吸数又は酸素処理レベルの位相及び/又は周波数を特徴付けるために用いられ得る。
図1に例示されるシステム及び以下に説明される原理は、画像から非生物学的な時間的振動又は脈動の信号を得るためにも使用できることに留意されたい。好適なアプリケーションの例は、自動車の速度を決定するため自動車のエンジンの秒当たりの回転の数の遠隔検出及び振動を分析することにより、間近に迫った故障を予測するため工業器材及びプロセスを監視することを含む。これら全ての例において、ここで詳細に説明される例のように、光の変化に強い方法であって、分析されるべき周期的な現象とは無関係な動きに強い方法が用いられる。
例示される実施例では、システムは、適切なインタフェース又は専用の装置を具備する多目的コンピュータであり得るデータ処理システム1を含む。データ処理システム装置1は、大容量記憶装置4だけでなく、データ処理装置2及びメインメモリ3を含む。データ処理システム装置1は、出力装置6とのインタフェース5を少なくとも更に含む。
例のデータ処理システム1は、インタフェース8を介してビデオカメラ7から画像のシーケンスを得るように設けられている。より正確には、データ処理システム1は、それぞれのカラーチャネルの画像フレームの複数のシーケンスを受信するように設けられている。特定のカラーチャネルの画像フレームは、電磁スペクトルの特定の範囲の捕捉された電磁放射の強度を表わす画素値を有する。これは、ビデオカメラ7に含まれるカラーフィルタに起因する。
異なるカラーチャネルの画像フレームのシーケンスは、各チャネルからの一つの画像フレームが時間的に特定のポイントと関連するという意味で、概して互いに同期している。ビデオカメラ7が一つの光検出器アレイだけを持つ場合、関連する画像フレーム間の時間的にわずかなシフトがあるが、シフトは完全な画像が捕えられる周波数に対応するものより1桁小さいだろう。しかしながら、一般に、ビデオカメラ7は複数の光検出器アレイを持つので、画像フレームは同時に捕えられる。代替の実施例では、複数のビデオカメラが用いられる。
システムは、また、捕捉された電磁放射の強度を表わす信号を得る適切なフィルタを持つフォトセンサ9―11も使用でき、各フィルタは、それぞれ異なる周波数範囲に対応することに留意されたい。フォトセンサ9、10、11からの信号は、インタフェース12を通じてデータ処理システム1により受信される。斯様な実施例の一つの変形例において、第1のセンサ9は赤い光を捕捉し、第2のセンサ10は青い光を捕捉し、第3のセンサ11は緑の光を捕捉するように設けられる。代わりの実施例において、センサ9―11の一つは、500nmと600nmとの間の範囲を有する範囲だけの空気の波長に対応する電磁放射スペクトルの一部の捕捉された電磁放射の強度値を有する信号(アナログ又はデジタルの)を捕えるように設けられる。これは、可視スペクトルの緑の部分に対応する。
同じ又は他の実施例において、センサ9―11の一つは、水の吸収スペクトルのピークに対応する周波数に合せられる。スペクトルの可視部分の適切な周波数は、514、606、660又は739nmの空気の波長に対応する周波数である。他の変形例において、センサ9―11の一つは、スペクトルの可視部分のちょうど外側の(すなわち、近赤外にある)周波数に合せられる。特に、センサは、836nm又は970nmの空気の波長に対応する周波数に合せられる。シリコンフォトセンサが800nmと1000nmとの間の範囲の放射線に特に反応するので、斯様な実施例は、結果的に強い捕捉信号となる。シリコンフォトセンサは、比較的安価で一般的である。ビデオカメラ7及びフォトセンサ9―11両方が図1に示されているが、システムは、異なるそれぞれの放射線周波数範囲に対応する捕捉された電磁放射の強度を表わす信号を捕えるため、これらのモダリティの一つだけを一般に使用することは理解されるだろう。本記述は、ビデオカメラ7を使用する実施例に基づいて続けられるであろう。
一つの実施例において、赤、緑及び青チャネルを備える標準ビデオカメラ7が使われる。他の実施例において、チャネルは、シアン、イエロー及びマゼンタである。
一つの実施例は、500nmと600nmとの間の空気の波長に対応する周波数の範囲に含まれる限られた範囲内だけの光を認識するフィルタを持つ適合ビデオカメラ7を使用する。これは、このチャネルの画像フレームが緑の光の捕捉された強度に対応する画素値を有することを意味する。
他の実施例は、水の吸収スペクトルのピークに合せたフィルタを持つ適合されたビデオカメラ7を有する。特に、フィルタは、514、606、660又は739nmの空気の波長に対応する周波数に合せられてもよい。比較的暗い状況で図1のシステムを使用することが望ましい所で、フィルタは、スペクトルの可視部分のちょうど外側の周波数(すなわち、近赤外)に合せられる。特に、センサは、836nm又は970nmの空気の波長に対応する周波数に合せられる。これは、従来のCMOS又はCCDアレイを持つビデオカメラ7が使用できるという効果を持つ。斯様なセンサは、800nmと1000nmとの間の範囲の放射線に特に敏感であるので、斯様な実施例は、結果的に強い捕捉信号になる。一つ以上の生体の画像を捕捉するために用いられるとき、このチャネルの画素値は血漿の流れで比較的強く変化する。よって、後述され生体の心拍に対応する周波数を持つ比較的強い成分を持つ第1の信号を抽出することは可能である。
例示の実施例では、図1のシステムは、光源の(オプションの)セット13―15を具備し、各々が特定の周波数範囲に合せられている。実施例では、光源13―15は、ビデオカメラ7のチャネルの周波数(範囲)に対応する周波数又は周波数範囲に合せられる。データ処理システム1は、適切なインタフェース16によってそれぞれの周波数範囲で放射される光の強度を制御するように構成される。他の実施例では、データ処理システム1は、光源13―15を調整可能であり、データ処理システム1は、光源13―15が放射する光の電磁スペクトルの範囲を制御する適当なパラメータ値を選択するように設けられる。これは、ビデオカメラ7用の適切な調整可能なフィルタと組み合わせられる。
図2は、図3を参照して説明されるであろうデータ処理システム1により実施される第1の方法のステップを示す。第1のステップ17では、データ処理システム1は、各チャネルから画像フレームのシーケンス18―20をロードする。シーケンス18―20は、時間の特定のポイントが各シーケンス18―20の一つの画像フレームに対応するという意味において同期されている。よって、各シーケンスは、単一の出力信号を得るために変換が付与される信号を形成する。変換は、出力信号の各値が、時間の対応するポイントでそれぞれの第2の信号各々からの値に基づくというような性質がある。
とは言っても、変換は複数の動作を有し、その幾つかは入力としてシーケンス18―20の一つだけからの画像フレームをとる。例示の実施例では、方法は、それぞれのシーケンス18―20の各々からの1フレーム上で、並列に動作22a―c(図3)を実施するステップ21を含む。動作22a―cはパラメータ化動作22a―cであり、他の入力としてパラメータ値をとることを意味し、当該パラメータ値は、それぞれのチャネル各々に対して別に設定される。従って、一般に、それぞれのチャネル各々に対してパラメータ値は異なる。動作22a―cは、図3に例示されるように、非線形動作であり得る。幾つかの適切な動作の例は、γエンコード動作(Vout=Vin γ)であり、別々のγ値が各チャネルのために使われる。このステップ21の出力は、個別に処理された画像フレームの3つの並列のシーケンス23―25を有する。
次の動作26は、前のステップ21の出力として供給されるシーケンス23―25について実施される(ステップ27)。この動作26は、個別に処理される画像フレームのシーケンス23―25に基づいて異なる態様で少なくとも2つの入力をとる動作である。この例では、入力は、シーケンス23―25に直接対応する。この例では、動作26は、マトリックス動作である。マトリックス動作は、3つの画像フレームを単一の画像(すなわち画素値に基づく値のアレイ)に変換するので、個別に処理される画像フレームのシーケンス23―25は単一の画像シーケンス28に変換される。このステップ27は、時間的に共通のポイントに対応する画像フレームが入力として用いられるように実行される。
マトリックス動作26の出力が、その後、他の非線形動作30で処理される(ステップ29)。これは、再びγエンコード動作である。結果は、画像の出力シーケンス31(すなわち画素値に基づく値のアレイ)である。出力シーケンス31から、少なくとも一つの信号が、その少なくとも一つの周期的成分を特徴付ける分析のために抽出される(ステップ32)。抽出された信号は、値のアレイのシーケンスとは対照的に、単一の値のシーケンスの形式である。各値は、出力シーケンス31の一つの画像から、複数の画素値に基づく。
図3に例示される方法の代替の実行において、それぞれのシーケンス18―20の各々からの1フレームで並列に動作22a―c(図3)を実施するステップ21は、γエンコード動作を使用しない。むしろ、動作22a―cは、シーケンス18―20の画素値の対数をとるステップを有する。この代替の実行では、動作22a―cは、必ずしもパラメータ化される必要はないが、もちろん非線形である。また、この実行では、それぞれのシーケンス18―20でフレーム毎に並列に非線形動作22a―cを実施するステップ21の出力は、個別に処理される画像フレームの3つの並列したシーケンス23―25を有する。
対数を採用することは、全てのチャネルに影響を及ぼす光の変化による信号成分を除去するために有効である。斯様な変化は、結果的に照明された対象の動きから生じる(例えば、結果的に、フレーム内の関心の全体の領域にかかる陰影となるか、及び/又は背景照明の変化から生じる)。これらは、チャネルの各々の関心の信号が輝度変化及び照明の源のスペクトルの任意の変化を表わす変調ファクタにより乗算されるという点で、概して倍数的に増加する。対数をとることにより、背景照明は付加的になり、例えば後続のマトリックス動作26で容易に除去できる。マトリックス動作26は、例えば、輝度変化を表わす変調信号の完全又は部分的除去に至るカラー空間の平面上への投影を含む。対数をとることは、これといって関心の信号、すなわち画像の出力シーケンス31から抽出される信号に影響させない。これ以降明らかになるように、関心の信号は比較的小さな変動を持つからである。よって、対数はその信号に近似していて、このことは自然対数のテイラー展開(lnz=(z―1)−1/2(z―1)+・・・)を見ることにより理解されるだろう。
他の実施例(図2に詳細に示されていない)では、マトリックス動作26は、一般に等しい測定の全てのカラーチャネルに影響する状況での特定の変化の効果が低減されるか又は除去される動作の後にある。例えば、遠隔フォトプレチスモグラフィで、周囲照明の変化、皮膚透過の変化及び関心の領域の不完全な追跡は、同じやり方でカラーチャネルの各々の信号の変調を導く。この効果は、シーケンス18―20の各々からの画素値の線形結合である値により、それぞれのシーケンス18―20の関連したフレームの対応する画素値の各々を割ることにより低減されるか又は除去される。線形結合の係数の一つを除いて全てがゼロに等しい実施例が可能であることに留意されたい。
以下の通りに、異なるそれぞれのカラーチャネルの画像フレームのシーケンス18―20を書くことができる。
Figure 0005856960
(1)
ここで、
Figure 0005856960
はフレーム内の画素の位置であり、tは各それぞれのシーケンス18―20内のフレームに対応する時間のポイントである。このとき、マトリックス動作26に先行するステップ21の輝度変化の効果の除去又は低減が以下の通りに書ける。
Figure 0005856960
(2)
これは、パラメータ化動作であり、係数α、β、γの値はシーケンス18―20により表される信号の少なくとも一つを分析することにより最適化でき、この信号は結果的にマトリックス動作26から生じるか、又は後の信号から抽出される。しかしながら、一般に、これらの係数の2つが値0を持つ結合を含む、係数値の任意のセットが、効果を供給するだろう。
ここで、信号の少なくとも一つの周期的成分を特徴付けるための分析のため少なくとも一つの信号を抽出するステップ32の実行が説明されるだろう。
抽出方法の第1の例は、図4に例示される。幾つかのステップは、明快さのため省略された。ステップの順番はある程度変更でき、特定のステップは示されるより早めの段階で実施できる。特に、特定のステップは、画像シーケンス18、19、20がビデオカメラ7から受信されたときの段階で実施できる。例示された方法は、図2に示される最後の非線形処理ステップ29から結果的に生じる出力シーケンス31を得る(ステップ33)ことにより開始する。次のステップ34では、画像は非周期的背景信号を除去するように処理される。このステップ34の実行において、シーケンス31の画像の一部又は全体の平均輝度に対応する補正信号が形成される。画素データは、その後、補正信号との相関を失わされる。非線形相互相関をキャンセルするためのアルゴリズムは、それ自体知られている。例えばカメラ動きを補償するための他の画像処理が、このステップ34で起こる。
図4の方法では、関心の領域35は、画像のシーケンス31を通じて追跡される(ステップ37)。生体の一部(例えば顔)の露出した皮膚を表わす画像の一部に対応する関心の領域35が選択される。関心の領域35の斯様な領域を選択するための適切なアルゴリズムは、例えば2001年7月13日のViola,P.及びJones,M.J., "Robustreal-time object detection", Proc. Of IEEE Workshop on statistical and computational theories of visionに説明されている。他の技術が、この技術の代わりに、又は組み合わせて使用できる。
関心の領域35は、シーケンス31の全体にわたって追跡される。適切な追跡アルゴリズムは、DeHaanらによる"True-motion estimation with 3-D recursive search block matching" h, IEEE Transactions on circuits and systems for video technology, 3 (5), October 1993, pp.368-379に説明されている。他の追跡アルゴリズムが、代わりに、又はこの追跡アルゴリズムと組み合わせて使用できる。
例示の実施例では、測定ゾーン36が、関心の領域35内で選択される(ステップ38)。測定ゾーン36は、同様の特性を持つ隣接部分のセットを決定するために、サイズの一つ以上の各画像ポイント、複数の画像部分の空間的及び/又は時間的分析により選択される。適切なアルゴリズムは、最小の勾配変化を持つ領域を選択するためのアルゴリズムである。キー画像の関心の領域35に対する測定ゾーン36の位置が決定されるので、その後、この位置はシーケンス31の画像の各々において特定できる。
次に(ステップ39)、測定ゾーン36内の個々の画像ポイントと関連する値が画像ごとに結合されて、輝度信号40が得られる。適切な結合動作は、平均化である。この信号40は、各値がシーケンス31の画像に対応し、シーケンス31の各画像は時間の特定のポイントに対応するので、時間変動信号である。
この輝度信号40は、その後、ビデオカメラ7から得られるシーケンス18―20からの画素値に基づく値の少なくとも変化を表わす最終的な信号42へ変換される(ステップ41)。このステップ41の実行において、輝度信号40は、その平均値に集中している。異なる実行において、このステップ41は、フィルタ動作、例えば平均輝度信号40の微分に対応するフィルタ動作を有する。輝度信号40のダイナミックレンジの1%のオーダーの変動を抽出するための他の代わりの技術も可能である。
最終的な信号42は、一つ以上の周期的な生物学的現象を特徴付けるために分析される(ステップ43)。特に、スペクトル分析は、関心の生体(例えば人間)に対する典型的心拍及び/又は呼吸レート値を有する少なくとも既知の周波数の範囲内で、そのスペクトルの一つ以上の局所的最大を決定するために用いられる。代替の実施例では、時間領域での心拍抽出方法が用いられる。
関心の単一の領域35及び単一の測定ゾーン36が例示的目的のため説明されてきたことが認められる。他の実施例では、シーケンス31内の関心の複数の領域が追跡され、及び/又は、関心の一つの領域内の複数の測定ゾーンが複数の最終的な信号を得るために用いられる。クラスター形成アルゴリズム等が、その時、例えば、心拍に対する合意値に達するために用いられる。
図5は、図2の方法を使用して得られる画像のシーケンス31を処理する代替方法を例示する。再び、特定のステップが明快さのため省略されていて、ステップの順番は変更できるし、特定のステップは図2に例示される段階で既に実施できる。
初期ステップ44、45は、図4の方法の第1のステップ33、34と同様である。よって、図2の方法を用いて生成された画像のシーケンス31が得られて(ステップ44)、修正される(ステップ45)。
しかしながら、次のステップ46において、グリッドが、シーケンス31の画像の各々に重ねられる。グリッドは、画像を(潜在的な)測定ゾーンのアレイに区切る。各測定ゾーンは、複数の画像ポイント(すなわち画素位置)を含む。その後(ステップ47)、測定ゾーンの少なくとも一つ、しかし一般には全てが選択され、各測定ゾーンに対して、関係する測定ゾーンの画像ポイントの画素値の時間変動する空間的結合に対応するそれぞれの信号48a―nが形成される。空間的結合は、平均化、中間値又は他のタイプの組合せであり得る。何れの場合でも、時間の特定のポイントの信号48a―nの一つの値は、時間のそのポイントに対応するシーケンス31の画像からの複数の画素値に基づく。よって、ランダムノイズ(カメラ動きによるノイズ又は提示されたシーン内の対象物の動きと対照的に)がキャンセルされる。
信号48a―nの各々が、その時、その少なくとも一つの周期的成分を特徴付ける分析のための最終的な信号50a―nを得るためにこれらの平均値に集中している(ステップ49)。再び、これらの平均値上に信号48a―nを集中させる代わりに、微分のような小さな振幅変化を抽出するための異なる動作が使用できる。
最終的な信号50a―nの分析が最終ステップ51で実施される。この例では、特定の周波数範囲内の主要な周波数が決定される。他の用途では、フェーズマップが、特定の周波数のために作成される(最終的な信号50a―nがグリッドにより定められる各測定ゾーンに対して作成される場合)。
図2、図4及び図5を参照した上述の方法は、人々の生体計測信号の強くて継続した監視を可能にする。その上、監視の遠隔性のため、監視された人の日常活動との最小の干渉しかない。当該方法は、このように、任意の時間での人の精神的及び肉体的状態の実質的に即時のフィードバックを提供するために使用できる。当該方法は、監視されている人に面倒なボディセンサの着用を要求しない。
従来の遠隔フォトプレチスモグラフィ法は、ビデオカメラ7の約1mの範囲内での人の遠隔監視に限られている。その上、監視される被験者は動いてはならず、照明は映像信号の捕捉の間、一定でなければならない。
図2に例示されたステップ52、53は、分析される周期的信号に対応する成分(遠隔フォトプレチスモグラフィ使用の例では脈動血流を表わす成分)が少なくとも関連する限り、図1のシステムが、最終的な信号に増大されたSN比を供給可能にする。特に、ビデオカメラ7の動き、監視されている人の動き及び照明の変化により生じるノイズに対する頑健さは、改良される。
この目的のため、システムは、ビデオカメラ7から受信される画像フレームのシーケンス18―20、個別に処理される画像フレームのシーケンス23―25、マトリックス動作26から生じる画像シーケンス28、画像の出力シーケンス31、抽出された信号40、48及び信号42、50a―nのうちの少なくとも一つを分析し(ステップ52)、第1の動作22a―c、マトリックス動作26及び他の非線形変換動作30の各インスタンスのためのパラメータ値のセット54を供給するための適当な値を決定する(ステップ53)。代替的に又は追加的に、相対的強度を決定する制御信号の値を導出するためのパラメータ及び/又は異なって調整された光源13―15により放射される光の周波数及び/又は相対的な減衰を決定するフィルタ係数及び/又はセンサ9―11により捕捉される光の通過帯域は、パラメータ値のセット54に含まれる。
パラメータ値は、(血液量脈動を表わす)所望の信号成分と(照明変化又は動きによる)望ましくない信号成分との比を最適化するように選ばれる。
ある実施例では、データ処理システムは、実際に、最終的な信号42、50a―nを使用してSN比を計算し、計算されたSN比を最大にするように全数検索又は誘導検索方法を使用してパラメータ値を調整する。
他の実施例では、データ処理システム1は、カラーチャネルの画像フレームのシーケンス18―20だけ又は個別に処理されたシーケンス23―25を用いて、主成分分析を実施する。マトリックス動作のための係数は、その時、関心の信号成分、すなわち心拍又は呼吸数を表わす成分とは無関係である主要な成分に対して直交するように選ばれる。
例示の実施例では、シーケンス18―20により表わされる信号が処理されている間、ステップ52、53は継続して実施される。この実施例は、周囲照明状態が変化する状況に適している。
代わりの実施例では、図1に示されるシステムは、その少なくとも一つの周期的成分を特徴付けるための分析のため結果的に信号42、50a―nに直接なるステップ17、21、27、29、32だけを実施する一つ以上の他のシステムで後続の使用のためのパラメータ値のセット54を得るために用いられる。よって、斯様な他のシステムを作る方法は、テスト信号及び図2の全方法を使用して以前に得られたパラメータ値のセット54でシステムを構成するステップを含む。図2の全方法を実施するシステムのような、これらのシステムは、比較的強い周期的信号を表わす成分担持情報を含む信号を取り出すことができる。
遠隔フォトプレチスモグラフィを実施する方法の他の実施例は、図6に例示される。この方法は図2の方法に代わるものとして留意され、同様にデータ処理システム1により実施される。
この方法は、また、図2に例示され上述されたシーケンス18―20に対応する、それぞれのカラーチャネルの画像フレームの複数のシーケンス55―57を入力として採用する。各画像フレームは、関連したシーケンス55―57と関連する周波数範囲内の捕捉された電磁放射の強度を表わす画素値を含み、異なるそれぞれの周波数範囲はシーケンス55―57の各々と関連している。時間の特定のポイントが各シーケンス55―57の一つの画像フレームに対応するという点で、シーケンス55―57は同期されている。このように各シーケンス55―57は、ここで第2の信号とも呼ばれる信号を形成する。画像フレームは、露出した皮膚を持つ少なくとも一つの生体、好ましくは人間の画像に対応する。以下の詳細な説明において、完全な画像フレームが処理されると仮定されるが、図6の方法も、関心の一つ以上の追跡された領域で、露出した皮膚を表わす画像フレームの部分を識別することを目的とするセグメント化動作の各結果を実施できる。
画像フレームのシーケンス55―57が第1のステップ58で得られ、その後、並列に処理される。すなわち、各々が少なくとも一つの動作のそれぞれのシーケンスへの入力を形成する。各シーケンスの少なくとも一つの動作は、ファクタの値がシーケンス55―57それ自身の画像フレームからの画素値に基づいて計算される少なくとも一つの値に基づく当該ファクタの付与を含む。これらのファクタは、(フォトプレチスモグラフィのアプリケーションで)心拍又は呼吸数情報を抽出するために用いられる最終的な信号上の少なくともシーケンス55―57の成分の相対的な影響を決定する。
例示の実施例では、カラー正規化(ステップ59)が最初に実施されるが、動作のシーケンスにおける動作の順番は原則として異なることがあり得る。カラー正規化ステップ59は、時間間隔内の平均的肌色を正規化し、よって照明スペクトルの遅い変化、及び動きによる平均的肌色の遅い変化の効果を除去するように実施される。皮膚を表わす画素が不完全に追跡されるとき、動きは平均的肌色の変化を導く。描かれた被験者が動く環境が、例えば異なるスペクトルを持つ複数の光源の存在によって、又は着色した反射面によって一様に照射されないとき、平均的肌色の変化を導くこともできる。
実際に、カラー正規化ステップ59は、カメラ7により定められたカラー空間を、遅い色の変化が効果を持たない正規化されたカラー空間へ変換する。この正規化の効果は、血液量脈動(“心拍ライン”)による色変化を表わす固定ラインと平行して動く正規化されたカラー空間のベクトルを(理想的に)提供することである。
画像フレームのシーケンス55―57が赤、緑及び青のカラーチャネルに対応すると仮定すると、画素位置
Figure 0005856960
及び時間tのポイントでカメラ7により登録される色変化
Figure 0005856960
を以下の式で書くことができる。
Figure 0005856960
(3)
血液量の変化(遠隔フォトプレチスモグラフィの場合の関心の現象)による色の変化は、血液量をカバーする皮膚の局所的肌色及び照明源により変調される。これは乗法的プロセスであるので、適切な正規化が復調を導く。
カラー正規化ステップ59は、赤、緑及び青の値の対応する時間平均により瞬間的な色成分を分割するステップを含む。平均化の代わりに、結合が計算される時間のポイントに関連した時間のポイントにわたる時間のそれぞれの異なるポイントに関連した複数の値の異なる結合が採用できる。例えば中央値である。カラー正規化ステップ59の結果は、カラー正規化画像の3つの並列のシーケンス60―62により形成される。動作は、以下の通りに書くことができる。

Figure 0005856960
(4)
ここで、
Figure 0005856960
は正規化されたカラーベクトルであり、
Figure 0005856960
は画像フレームの並列のシーケンス55―57の各々に対して別々に計算される時間変動ファクタである。
ここで説明される例の一つの他の変形例は、別々のファクタ値
Figure 0005856960
が、計算されて各画素位置に対して付与される(すなわち、空間的結合がない)。
例示の変形例では、ファクタ
Figure 0005856960
は、関心の一つ以上の領域の各々の複数の画素位置での画素値に基づいて計算され、関心のこの領域内の位置と関連した画素に付与される。よって、これらは、以下の通りに書くことができる。
Figure 0005856960
(5)
ここで|X|は関心の領域Xのエリアに対応する。
もちろん、データ処理装置2は、時間離散的信号を処理する。時間にわたる平均が時間的に2つより多いポイントからの画素値を使用できるが、単純で比較的正確な近似は、時間的に2つの連続したポイントからの画素値を使用する。これらの一つは、ファクタ値が計算される時間的ポイントに対応する。斯様なステップの実行の一つの例では、これは以下の通りに書くことができる。
Figure 0005856960
(6)
関心の領域がこの変形例の単一の画素位置に対応することに留意されたい。
カラー正規化ステップ59は、結果的に、画素の値がガウス分布に従う画像フレームとなる。変形例では、中心から離れた値を持つこれらの画素は、その少なくとも一つの周期的成分を特徴付ける分析のための最終的な信号(ここで、"第1の信号"とも呼ばれる)を得るために用いられない。加えて又は代替的に、当該方法は繰り返し適用される。カラー正規化の後、時間的に画素値の最も安定な分布を持つ領域が、関心の領域として用いられる。代わりに、最大の領域が使用できる。両方の変形例において、単一の生体の露出した皮膚を表わす画像部分がガウス分布を持つべきであるという事実が、画像フレームをセグメント化するために使われる。これらのセグメントの一つに適したカラー正規化ファクタが、計算されてそのセグメントだけの画素位置と関連した画素値に付与される。
図6に例示されるように、カラー正規化画像のシーケンス60―62は、次のステップ63で更なる処理を受け、照明正規化が実施される。このステップ63はカラー正規化ステップ59に先行でき、これらの2つの正規化ステップ59、63の一つは、幾つかの変形例では省略できることに留意されたい。
照明正規化ステップ63は、露出した皮膚を表わす全てのこれらの画素を外へセグメント化することが一般に可能でなければならないが、画像のシーケンス55―57を通じて正確に画素を追跡することが不可能に近いことを考慮する。しかしながら、個々の画素が完全に追跡されないとき、照明強度の変化及び皮膚の透過性の変化がまだ現れるだろう。照明正規化は、これらの効果を除去するのを助ける。これは、また、画像内に示される被験者の脈動血流よりもむしろ動きに起因する輝度の変化を取り除くのを助ける。
カラー正規化ステップ63は、画像の3つの他の正規化されたシーケンス64―66に結果的になる。これは、以下の通りに数学的に表される。
Figure 0005856960
(7)
パラメータα、β、γは任意の値を持つことができる。実際、これらの一つ又は二つは、値0を持つことができる。しかしながら、値の最適な選択が理論的にあり、それは結果として生じる正規化された画素が正規化カラー空間の心拍ラインと平行な平面にあるようにさせる結合である。一つの実施例では、分析は、パラメータα、β、γの最適化された値を選択するために実施される。
例示の方法の後続のステップ67において、異なる信号が、各現在の画素値から、時間的にすぐ前のポイントの対応する画素位置での値を減算することにより確立され、結果的に異なる値のフレームの3つのシーケンス68―70になる。このステップ67は、例えば、カラー正規化ステップ59と組み合わせることができるので、式(6)が下記のように修正されることに留意されたい。
Figure 0005856960
(8)
例示されたステップ67は、入力として画像フレームのシーケンス55―57("第2の信号")を採用する動作の並列シーケンスの最後である。
時間的に対応するポイントでそれぞれ正規化された差信号からの値に各値が基づく、正規化された差信号を単一の信号へ結合する動作が実施される更なるステップ71に続く。例示の実施例では、このステップ71は、生体の脈動血流による色変化に対応する正規化カラー空間のライン上への投影を含む。このラインに直交する何れのノイズも、このステップ71で排除され、結果的にフレームの単一のシーケンス72になる。変形例では、外れている値も、このステップ71で排除される。
その後、任意の後処理ステップ73が適用される。このステップ73は、バンドパスフィルタとしての動作を含む。結果は、ポスト処理される画像フレームのシーケンス74である。
最後に(ステップ75)、少なくとも一つの結合信号76が確立される。この信号は、複数の画素位置での信号に基づき、これらの信号の処理の結果、合意値を得る。このステップ75は、クラスター形成、平均化、中央値決定、他の外れ値除去処理等を含む。このステップ75は、結果的に、良好なSN比を持つ強い信号になる。フーリエ解析は、少なくとも一つの周期的成分、例えば心拍信号又は呼吸数信号に対応する周期的成分を特徴付けるために適用できる。
代わりの実施例では、後処理ステップ73は、時間領域から周波数領域への変換を既に含んでいる。
上述された実施例の効果は、比較的単純で安価なカメラ7で捕捉される画像が、画像フレーム内の関心の領域のほぼわずかな色変化に結果としてなる周期的な現象を特徴付けるために使用可能にすることである。他の影響による変化が除去されるか又は少なくとも抑制されるので、特徴付けは比較的信頼性が高い。
上述の実施例は、本発明を限定するよりはむしろ例示するものであり、当業者は添付の請求の範囲の要旨を逸脱しない範囲で多くの別の実施例を設計できることは留意されたい。請求項において、括弧内の参照符号は何れも、請求項を制限するものとして解釈されない。用語「を有する」は、請求項にリストされる以外の要素又はステップの存在を除外しない。要素に先行する「a」又は「an」は、複数の要素の存在を除外しない。特定の手段が相互に異なる従属請求項で再引用されているという単なる事実は、これらの手段の組合せが効果的に使用できないことを示してはいない。
例えば、ビデオカメラ7及びセンサ9―11両方が使用される実施例も可能である。ビデオカメラ7に加えて他のカメラが使用される他の実施例も可能である。例えば、サーマルカメラは、他のチャネルの信号を供給するビデオカメラに一つのチャネルの信号を供給できる。

Claims (15)

  1. 第1の信号の少なくとも一つの周期的成分であって、生体の生物学的現象に対応する前記少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得ることを容易にする遠隔フォトプレチスモグラフィのための方法において、捕捉した電磁放射の強度を表わす少なくとも2つの第2の信号であって、各々がそれぞれ異なる放射線周波数範囲に対応する第2の信号を得るステップと、第1の信号は、出力信号の何れの値も時間的に対応するポイントで各それぞれの第2の信号からの値に基づくような変換を第2の信号に付与することにより取得可能な前記出力信号から少なくとも導出可能であり、第2の信号に対応する信号が捕捉され前記変換が付与されるとき、前記出力信号についてそれぞれ第2の信号の少なくとも成分の影響を決定する少なくとも一つの変数の少なくとも一つの値を得るステップとを有し、前記少なくとも一つの変数の少なくとも一つの値は、
    (i)第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号のうちの少なくとも一つを分析し、前記変数のそれぞれに対応する少なくとも一つのパラメータの少なくとも一つの値を選択するためにこの分析を使用するステップと、
    (ii)前記変数のそれぞれに対応する少なくとも一つの時間変動ファクタの値を計算し、各ファクタの値が少なくとも一つの第2の信号値に基づいていて、少なくとも一つの動作を有する動作の複数の並列なシーケンスの少なくとも一つにおいて、動作時に各ファクタを付与し、入力として第2の信号のそれぞれに対応する信号を採用するステップとの少なくとも一つにより得られ、
    前記少なくとも一つの値を得るステップが使用する領域は、前記周期的成分に関連する領域を含む、方法。
  2. 第2の信号、変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、第1の信号のスペクトラムの限定された部分での相対的信号強度を最大にするために、前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つのパラメータの少なくとも一つの値を選択するために使用される、請求項1に記載の方法。
  3. 前記変換は少なくとも一つのパラメータ化動作を含み、第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、前記動作の少なくとも一つのパラメータの値を選択するために使用される、請求項1に記載の方法。
  4. 前記動作が第2の信号に基づいて異なる態様で少なくとも二つの入力を採用する動作である、請求項3に記載の方法。
  5. 前記変換は、入力信号の全てよりはむしろ少ない入力信号に特定の少なくとも一つのパラメータを使用して、それぞれの入力信号で並列に実施される動作を含む、請求項3に記載の方法。
  6. 前記変換は、少なくとも一つのパラメータ化非線形動作を含み、第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析が、前記動作の少なくとも一つのパラメータの値を選択するために使用される、請求項3に記載の方法。
  7. 前記変換は、それぞれの入力信号で並列に実施される動作を含み、各々が、第2の信号とゼロではない少なくとも一つの係数との異なる線形結合であり、前記動作は前記入力信号の対数をとるステップを有する、請求項1に記載の方法。
  8. 前記分析は、複数の第2の信号にそれぞれ基づくデータのセットについての主要な成分分析を実施するステップを含む、請求項1に記載の方法。
  9. 第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つが分析され、この分析は第2の信号に対応する信号が捕捉され前記変換が付与されるとき前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つのパラメータの少なくとも一つの値を選択するために使用され、当該方法は更に、前記少なくとも一つのパラメータの選択された値をシステムへロードさせるステップを有し、前記システムは、各々がそれぞれ異なる放射線周波数範囲に対応する捕捉された電磁放射の強度を表わす少なくとも二つの第2の信号を得るためのインタフェースと、第1の信号が少なくとも導出できる出力信号を得るために第2の信号へ変換を付与するための信号処理システムであって、前記出力信号の何れの値も時間的に共通のポイントで各それぞれの第2の信号からの値に基づき、前記出力信号についてそれぞれの第2の信号の影響が前記少なくとも一つのパラメータのロードされた値に少なくとも部分的に関連して決定されるようにする前記信号処理システムとを有する、請求項1に記載の方法。
  10. 第2の信号、前記変換を第2の信号に付与することにより得られる出力信号、及び前記出力信号から導出される第1の信号の少なくとも一つの分析と、少なくとも一つのパラメータの値の選択とが、第1の信号を得るために第2の信号を処理している間、継続して実施される、請求項1に記載の方法。
  11. 前記少なくとも一つの時間変動ファクタは、第2の信号の少なくとも一つの各々からの対応する値の線形結合を計算することにより得られるファクタを含み、そのファクタの同じ値が動作の並列シーケンスの各々に使用される、請求項1に記載の方法。
  12. 前記ファクタの少なくとも一つに対して、時間的に対応する関連したポイントでの別個の値が前記並列シーケンスの各々に対して計算され、別個の値各々は関連するシーケンスにより入力として採用された第2の信号の複数の値から得られ、前記複数の値は前記ファクタの値と関連する時間的なポイントを含む期間に及ぶ時間的なそれぞれのポイントと関連する、請求項1に記載の方法。
  13. 第1の信号の少なくとも一つの周期的成分であって、生体の生物学的現象に対応する前記少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための遠隔フォトプレチスモグラフィのためのシステムであって、捕捉した電磁放射の強度を表わす少なくとも2つの第2の信号であって、各々がそれぞれ異なる放射線周波数範囲に対応する第2の信号を得るためのインタフェースを含み、第1の信号は、出力信号の何れの値も時間的に対応するポイントで各それぞれの第2の信号からの値に基づくような変換を第2の信号に付与することにより取得可能な前記出力信号から少なくとも導出可能であり、前記システムは、第2の信号に対応する信号が捕捉され前記変換が付与されるとき、
    前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定する少なくとも一つの変数の少なくとも一つの値を得るように設けられ、前記少なくとも一つの変数の少なくとも一つの値は、
    (i)第2の信号、前記出力信号、及び第1の信号の少なくとも一つを分析し、前記変数のそれぞれに対応する少なくとも一つのパラメータの少なくとも一つの値を選択するためにこの分析を使用し、第2の信号に対応する信号が捕捉され前記変換が付与されるとき前記出力信号についてそれぞれの第2の信号の少なくとも成分の影響を決定することと、
    (ii)前記変数のそれぞれに対応する少なくとも一つの時間変動ファクタの値を計算し、各ファクタの値が少なくとも一つの第2の信号値に基づいていて、少なくとも一つの動作を有する動作の複数の並列なシーケンスの少なくとも一つにおいて、動作時に各ファクタを付与し、入力として第2の信号のそれぞれに対応する信号を採用することとの少なくとも一つにより得られ、
    前記少なくとも一つの値を得るために使用される領域は、前記周期的成分に関連する領域を含む、システム。
  14. 請求項1乃至12の何れか一項に記載の方法を実施する、請求項13に記載のシステム。
  15. コンピュータ可読媒体に組み込まれるとき、情報処理能力を持つシステムにより請求項1乃至12の何れか一項に記載の方法を実施可能にする命令のセットを含む、コンピュータプログラム。
JP2012532696A 2009-10-06 2010-09-29 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム Active JP5856960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172337 2009-10-06
EP09172337.9 2009-10-06
PCT/IB2010/054396 WO2011042839A1 (en) 2009-10-06 2010-09-29 Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof

Publications (3)

Publication Number Publication Date
JP2013506523A JP2013506523A (ja) 2013-02-28
JP2013506523A5 JP2013506523A5 (ja) 2013-11-14
JP5856960B2 true JP5856960B2 (ja) 2016-02-10

Family

ID=43242894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532696A Active JP5856960B2 (ja) 2009-10-06 2010-09-29 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム

Country Status (5)

Country Link
US (3) US8666116B2 (ja)
EP (2) EP2486539B1 (ja)
JP (1) JP5856960B2 (ja)
CN (1) CN102576458B (ja)
WO (1) WO2011042839A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048021A (ko) 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
US9186111B2 (en) * 2010-11-17 2015-11-17 Koninklijke Philips N.V. System and method for converting an input signal into an output signal
RU2589389C2 (ru) 2011-01-05 2016-07-10 Конинклейке Филипс Электроникс Н.В. Устройство и способ извлечения информации из характеристических сигналов
RU2630596C2 (ru) 2011-03-30 2017-09-12 Конинклейке Филипс Н.В. Бесконтактная система скрининга нарушений сна
US10426356B2 (en) 2011-07-09 2019-10-01 Gauss Surgical, Inc. Method for estimating a quantity of a blood component in a fluid receiver and corresponding error
GB201114406D0 (en) * 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
EP2741661B1 (en) * 2011-09-02 2016-05-04 Koninklijke Philips N.V. Camera for generating a biometrical signal of a living being
DE102011112344A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren zur Zustandserkennung eines Fahrzeugführers durch Erfassung einer plethysmographischen Größe sowie Vorrichtung zur Durchführung des Verfahrens
WO2013038326A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
CN103890780B (zh) 2011-09-29 2018-01-02 皇家飞利浦有限公司 失真降低的信号检测
CN103083005B (zh) * 2011-11-01 2015-05-13 北京瓦力网络科技有限公司 一种心率检测的方法
US20130331669A1 (en) * 2012-06-11 2013-12-12 Raytheon Company Multi-spectral imaging system and method for remote biometric measurement of human physiological parameters
CN104507382B (zh) * 2012-07-30 2017-10-13 皇家飞利浦有限公司 用于提取生理信息的设备和方法
JP6422865B2 (ja) * 2012-08-02 2018-11-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置及び方法
WO2014024104A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
AU2013302623A1 (en) * 2012-08-14 2015-03-05 Aliphcom Real-time physiological characteristic detection based on reflected components of light
RU2651070C2 (ru) * 2012-11-02 2018-04-18 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
CN104871212B (zh) * 2012-12-21 2018-11-09 皇家飞利浦有限公司 用于从远程检测到的电磁辐射提取生理信息的系统和方法
ITMI20130104A1 (it) * 2013-01-24 2014-07-25 Empatica Srl Dispositivo, sistema e metodo per la rilevazione e il trattamento di segnali di battito cardiaco
EP2762066A1 (en) * 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
CN105007806B (zh) * 2013-03-13 2019-04-05 皇家飞利浦有限公司 用于确定来自对象的生命体征的装置和方法
US10238292B2 (en) 2013-03-15 2019-03-26 Hill-Rom Services, Inc. Measuring multiple physiological parameters through blind signal processing of video parameters
CN105122301B (zh) 2013-04-18 2018-04-24 皇家飞利浦有限公司 对来自不同成像模态的医学图像的同时显示
US9962095B2 (en) 2013-04-23 2018-05-08 Microsoft Technology Licensing, Llc Optical heartrate tracking
US20140375785A1 (en) * 2013-06-19 2014-12-25 Raytheon Company Imaging-based monitoring of stress and fatigue
US20160157761A1 (en) 2013-08-06 2016-06-09 Koninklijke Philips N.V. System and method for extracting physiological information from remotely detected electromagnetic radiation
US9270919B2 (en) * 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
EP3057486B1 (en) 2013-10-17 2017-05-03 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
CN106102564B (zh) * 2014-03-06 2019-10-01 皇家飞利浦有限公司 生理特性确定装置
DE102014211882A1 (de) 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Ermittlung der Herzfrequenz des Fahrers eines Fahrzeugs
US9955880B2 (en) * 2014-10-27 2018-05-01 Tata Consultancy Services Limited Estimating physiological parameters
JP6893877B2 (ja) * 2014-10-29 2021-06-23 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学イメージングの方法および装置
JP6308161B2 (ja) 2015-03-31 2018-04-11 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
CN107427233B (zh) 2015-03-31 2020-10-02 株式会社爱考斯研究 脉波检测装置、以及脉波检测程序
US10242441B2 (en) * 2015-05-21 2019-03-26 Koninklijke Philips N.V. Identifying living skin tissue in a video sequence using color and spatial similarities
WO2016184705A1 (en) 2015-05-21 2016-11-24 Koninklijke Philips N.V. Determining a pulse signal from a video sequence
EP3378384A4 (en) * 2015-11-20 2018-10-24 Fujitsu Limited Information processing device, information processing method, and information processing program
JP6724603B2 (ja) * 2015-11-27 2020-07-15 株式会社リコー 脈波測定装置、脈波測定プログラム、脈波測定方法及び脈波測定システム
WO2017093379A1 (en) * 2015-12-01 2017-06-08 Koninklijke Philips N.V. Device, system and method for determining vital sign information of a subject
CN106897965B (zh) * 2015-12-14 2020-04-28 国基电子(上海)有限公司 彩色图像处理系统及彩色图像处理方法
JP6849684B2 (ja) * 2016-01-15 2021-03-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム、及び方法
CN106063702A (zh) * 2016-05-23 2016-11-02 南昌大学 一种基于人脸视频图像的心率检测系统及检测方法
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US10750129B2 (en) 2016-08-23 2020-08-18 Koninklijke Philips N.V. Hospital video surveillance system
CN110573066A (zh) 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术
EP3375351A1 (en) * 2017-03-13 2018-09-19 Koninklijke Philips N.V. Device, system and method for measuring and processing physiological signals of a subject
DE102017107228A1 (de) 2017-04-04 2018-10-04 Infineon Technologies Ag Sensoreinrichtungen, Systeme und Verfahren
TW201838584A (zh) * 2017-04-18 2018-11-01 原相科技股份有限公司 能夠消除或避免偏移干擾而可準確量測生理特徵的電子裝置及方法
EP3440996A1 (en) 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
JP6784403B2 (ja) * 2017-09-01 2020-11-11 国立大学法人千葉大学 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム
EP3517034A1 (en) * 2018-01-24 2019-07-31 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
WO2020123722A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
BR112021011132A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) * 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
JP7322948B2 (ja) * 2019-04-17 2023-08-08 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム
KR102632479B1 (ko) * 2019-06-17 2024-01-31 삼성전자주식회사 맥파 센서 및 맥파 센서의 동작 방법
WO2022137557A1 (ja) * 2020-12-25 2022-06-30 株式会社ソニー・インタラクティブエンタテインメント 脈拍検出装置、脈拍検出方法およびプログラム
EP4181053A1 (en) * 2021-11-16 2023-05-17 Koninklijke Philips N.V. Determining spectral reflectance characteristics
WO2024121066A1 (en) 2022-12-05 2024-06-13 Koninklijke Philips N.V. System for respiratory rate determination based on multiple contactless sensing modalities and related methods

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9507142A (pt) * 1994-03-24 1997-09-30 Minnesota Mining & Mfg Sistema de identificação pessoal biométrico processo para identificar uma pessoa e equipamento
JP2005518238A (ja) * 2002-02-22 2005-06-23 デイテックス−オーメダ インコーポレイテッド ケプストラム領域パルスオキシメータ
JP4200687B2 (ja) * 2002-05-13 2008-12-24 株式会社日立製作所 生体認証装置および該装置実現のためのプログラム
KR100675555B1 (ko) * 2003-07-07 2007-01-29 유선국 맥박 산소포화도 측정 장치 및 방법
JP4024727B2 (ja) * 2003-07-28 2007-12-19 株式会社日立製作所 眠気検出装置
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
CN101237817B (zh) 2004-12-28 2013-01-23 超级医药成像有限公司 在全身生理学和休克的判定、评估和监测中的超光谱/多光谱成像
JP2007125151A (ja) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 診断システム及び診断装置
GB0607270D0 (en) * 2006-04-11 2006-05-17 Univ Nottingham The pulsing blood supply
US8360986B2 (en) 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
JP4895834B2 (ja) * 2007-01-23 2012-03-14 Hoya株式会社 画像処理装置
EP1988489B1 (en) 2007-05-04 2021-02-17 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
JP5029150B2 (ja) * 2007-06-06 2012-09-19 ソニー株式会社 生体情報取得装置および生体情報取得方法
WO2009009761A1 (en) 2007-07-11 2009-01-15 Triage Wireless, Inc. Device for determining respiratory rate and other vital signs
US7504872B2 (en) 2007-08-13 2009-03-17 Nvidia Corporation Generic flexible timer design
JP5027604B2 (ja) * 2007-09-21 2012-09-19 富士通株式会社 指先適正押圧状態報知方法及び装置
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
ES2426971T3 (es) 2009-03-06 2013-10-28 Koninklijke Philips N.V. Procesamiento de imágenes de al menos un ser vivo
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters

Also Published As

Publication number Publication date
EP2486539B1 (en) 2016-09-07
CN102576458B (zh) 2015-08-19
US8938097B2 (en) 2015-01-20
EP3142067B1 (en) 2020-01-01
EP2486539A1 (en) 2012-08-15
US8666116B2 (en) 2014-03-04
US20120195486A1 (en) 2012-08-02
EP3142067A2 (en) 2017-03-15
US20150104088A1 (en) 2015-04-16
EP3142067A3 (en) 2017-06-07
WO2011042839A1 (en) 2011-04-14
JP2013506523A (ja) 2013-02-28
US20140153800A1 (en) 2014-06-05
US9524548B2 (en) 2016-12-20
CN102576458A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5856960B2 (ja) 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム
US8553940B2 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
JP6148009B2 (ja) フォトプレチスモグラフィーを実行するための方法及びシステム
JP5631901B2 (ja) 少なくとも1の生物体の画像の処理
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
EP2486544B1 (en) Method and system for processing a signal including at least a component representative of a periodic phenomenon in a living being
WO2017121834A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
Dosso et al. Eulerian magnification of multi-modal RGB-D video for heart rate estimation
JP7449459B1 (ja) 物体を分析する方法及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5856960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250