JP5984841B2 - 特性信号から情報を抽出する装置及び方法 - Google Patents

特性信号から情報を抽出する装置及び方法 Download PDF

Info

Publication number
JP5984841B2
JP5984841B2 JP2013547948A JP2013547948A JP5984841B2 JP 5984841 B2 JP5984841 B2 JP 5984841B2 JP 2013547948 A JP2013547948 A JP 2013547948A JP 2013547948 A JP2013547948 A JP 2013547948A JP 5984841 B2 JP5984841 B2 JP 5984841B2
Authority
JP
Japan
Prior art keywords
signal
characteristic
indicator element
indicator
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013547948A
Other languages
English (en)
Other versions
JP2014501594A (ja
Inventor
リースト アドリアーン ヨハン ファン
リースト アドリアーン ヨハン ファン
デ ハーン ゲラルド
ハーン ゲラルド デ
ウィレム ヴェルクレッセ
ウィレム ヴェルクレッセ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014501594A publication Critical patent/JP2014501594A/ja
Application granted granted Critical
Publication of JP5984841B2 publication Critical patent/JP5984841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、特性信号から情報を抽出する装置及び方法であって、該特性信号が、電磁放射から導出可能なデータストリームに埋め込まれ、特に、該データストリームが少なくとも1つの少なくとも部分的に周期的なバイタル信号を示す生理的情報を含む連続的又は離散的信号を有するような装置及び方法に関する。
国際特許出願公開第WO2010/100594A2号公報は、生物の画像を処理する方法及びシステムを開示している。該方法は、
− 連続した時点において撮られる一連のデジタル画像を得るステップと、
− 複数の画像点を有する少なくとも1つの測定区間を選択するステップと、を有し、
− 前記少なくとも1つの測定区域を選択するステップは、前記画像のうちの少なくとも1つにおける、各々が少なくとも1つの画像点を含む複数の画像部分のピクセルデータに基づいて情報を分析するステップと、各測定区間を同様の特性を有すると判断された連続する部分から選択するステップとを含み、
− 各測定区間に対して、少なくとも複数の画像点におけるピクセル値の組み合わせの少なくとも時間依存性平均値の変化を表す信号を、該信号のスペクトルにおける周期的生理現象の周波数に対応する少なくとも1つのピークの存在及び周波数値の少なくとも一方を決定する際に使用するために取得する。
この文献は、更に、該方法の幾つかの改良も開示している。一般的に、画像処理の分野においては、記録されたデータの高度な分析が可能になったことにより、大きな進展がなされた。これに関連して、記録された信号から、観察される生体の個性又は健康に関する詳細な決定を可能にするような方法で情報を抽出することが考えられる。
しかしながら、捕捉され反射された又は放出された電磁放射等の記録されたデータ、特に、記録された画像フレームは、該データから抽出されるべき所望の信号以外に、例示として変化する輝度条件又は観察される物体の運動によるノイズ等の全体的妨害から派生する他の信号成分を常に含んでいるので、所望の信号の詳細で正確な抽出は、依然として、斯様なデータの処理に関して大きな難題を課すことになる。
このことは、妨害信号の振幅及び/又は公称値が、抽出されるべき所望の信号の振幅及び/又は公称値よりも大幅に大きい場合に特に当てはまる。潜在的に、それぞれの成分間の差の大きさは、数桁を有することさえ予想され得る。
この難題に対する可能性のある方法は、所望の信号に重畳される妨害信号成分を最小にするために、所望の信号が埋め込まれた関心信号を捕捉する際に用意周到で安定した周囲条件を提供することに向けられる。しかしながら、このような実験室的条件は、そのために高度の努力及び準備作業が必要とされるので、日常現場用途に移すことはできない。
必要とされる準備は、例示として、幾つかの標準光源の設置及び配向並びに、更には、更に大きなノイズレベルの原因である妨害的な動きを防止するために観察されるべき物体の固定のための対策を含み得る。
従って、本発明の目的は、検出された特性信号から情報を抽出するシステム及び方法であって、所望の信号を一層高い精度で取得することを容易化するような改良をもたらすシステム及び方法を提供することである。
更に、例えば小さな信号対雑音比、変化する輝度条件及び/又は観察されるべき物体の一定した若しくは一定しない動き等の相当に劣った周囲条件下で所望の信号の抽出を可能にするように更に適合されたシステムを提供することが有利であろう。
本発明の第1態様においては、検出された特性信号から情報を抽出するシステムであって、
− 物体により放出又は反射された電磁放射から導出可能なデータストリームを受信するインターフェースであって、該データストリームが少なくとも1つの少なくとも部分的に周期的なバイタル信号を表す生理学的情報を含む連続的又は離散的特徴信号を有するインターフェースと、
− 前記データストリームから前記生理学的情報を抽出する抽出器手段であって、該抽出器手段が前記データストリームから複数の特性指標要素を導出し、該複数の特性指標要素が前記生理学的情報及び妨害信号成分を示し、前記複数の特性指標要素が前記電磁放射の特性を表す信号空間に関連付けられ、該信号空間が基準生理学的情報を示す設定された向きを持つ所定の指標要素を有し、該所定の指標要素がそれぞれの基準値の上流での決定により少なくともほぼ決定可能である抽出器手段と、
− 前記複数の特性指標要素を、これら要素を該複数の特性指標要素の所与の向き及び長さから導出される妨害が低減された指標要素に投影することにより変換する変換器手段であって、前記妨害が低減された指標要素は前記妨害信号成分の推定される向きに対して明確な向きを有し、該妨害が低減された指標要素が前記所定の指標要素の向きを考慮して表現(式)を最適化することにより決定される変換器手段とを備えるシステムが提供される。
本発明は、所望のバイタル信号の抽出を目的とする場合、一般的に、劣った信号対雑音比が考慮されなければならないという洞察に基づいている。この一般的な比を念頭に置くと、例えば前記特性指標要素等の関心信号成分は、一般的に、例えば前記妨害成分等のノイズ等を示す主要な部分と、例えば前記生理学的情報等の所望のバイタル信号を示す多分非常に小さな部分とを有すると仮定しそうである。該妨害信号成分は多数の妨害源により影響を受け得るので、信号空間に対する該成分の位置及び向きは事前に正確に予測することはできない。しかしながら、信号空間における生理学的情報の全体的な向きは、少なくとも近似的には、該信号空間に関連される所定の指標要素により予め決定し及び具体化できる。言い換えると、生理学的情報の例えば軸又は曲線等の予測される名目的向きだけは、上流の処理により決定できる。一方、検出されるべき信号は、小さな所望の部分以外は、向き、位置及び値が殆ど分からない主たる妨害成分を有する。
これに関連して、本発明と同一の出願人により本出願の優先日より前に出願され、該優先日より後に公開されたヨーロッパ特許出願第09172337.9号は、本質的に、所望の信号及びノイズを表す検出された全体の信号が信号空間内の所定の軸に投影され、これにより、この所定の軸に直交するノイズを除去するような、所望の信号の抽出の強化を提案している。このようにして、信号対雑音比は或る程度まで改善できる。しかしながら、更なる改良として、この比を、該所定の軸又はラインに全体的に平行に向いたノイズを示す信号成分も除去することにより更に向上させることが望ましいであろう。
利用可能な入力変数及び所与の制約を考慮すると、上記に概説した問題に対する、明確且つ固有な結果を狙った分析的及び同様の方法にだけ基づいた解を設けることは見込みがなさそうであることに注意すべきである。対照的に、本発明は近似解に到達するために多変量統計の方法に依拠する。言うまでもなく、近似解も信号対雑音比を十分に改善し、従って所望のバイタル信号の抽出を相当に容易化すると考えられる。前記特性信号は、言わば、重畳される妨害信号成分の主たる向きを示す幾つかの特性指標要素の特性パターンを検出するような方法で分析される。主たる妨害又はノイズの向きが少なくとも近似的に決定されたら、上記特性指標要素は、この決定された主たる向きに直交する要素(即ち、所謂、妨害が低減された指標要素)に投影でき、これにより、これに直交するノイズを除去する。このように、ノイズの低減及び信号品質の大きな改善を達成できる。
前記抽出器手段及び変換器手段の幾つかの実施態様が存在する。第1の、かなり単純な実施態様において、上記抽出器手段及び変換器手段の両者は、対応する論理コマンドにより駆動される処理ユニット、特にはパーソナルコンピュータの処理ユニットにより具現化される。このような処理ユニットは、好適な入力及び出力インターフェースも有し得る。
しかしながら、代替例では、該抽出器手段及び変換器手段の各々を、対応するコマンドにより駆動され又は駆動可能な別個の処理ユニットにより具現化することもできる。従って、対応する各処理ユニットは、自身の特別な目的に適応化できる。結果として、タスクの分散を適用でき、その場合において、異なるタスクはマルチプロセッサ処理ユニットにおける単一のプロセッサ上で処理され(例えば、実行され)るか、又は、再びパーソナルコンピュータを参照すると、画像処理関係のタスクは画像プロセッサ上で実行される一方、他の演算タスクは中央処理ユニット上で実行される。
情報を抽出する装置の好ましい実施態様によれば、該装置は、前記投影された指標要素の時間的変化を決定すると共に、前記生理学的情報により表される少なくとも1つの少なくとも部分的に周期的なバイタル信号を検出する分析手段を更に有する。
また、前記分析手段は論理コマンドにより駆動される処理ユニットにより具現化できる。この目的のためには、別個の処理ユニット、又は前記抽出器手段、前記変換器手段及び前記分析手段に対して共通な処理ユニットを利用できる。関心信号(signal of interest)、即ち前記少なくとも1つの少なくとも部分的に周期的なバイタル信号は、言わば、前記投影された指標要素の時間にわたる拍動(パルス運動)により表される。この拍動の元となる特性周波数は、所望のバイタル信号を大いに示すと考えることができる。
前記投影された指標要素は、依然として、前記所定の指標要素とは概しては正確には一致しないことに注意すべきである。このことは、前記複数の特性指標要素における妨害信号成分の前記決定された主たる向きが前記所定の指標要素に対して直交すべきである場合においてのみ生じる。これが当てはまる場合、この場合は前記妨害が低減された指標要素に一致する前記所定の指標要素への前記複数の特性指標要素の各々の単なる投影で、既に、前記少なくとも1つの少なくとも部分的に周期的なバイタル信号の相当に正確な決定に到達する。しかしながら、前記所定の指標要素及び前記妨害が低減された指標要素が或る角度(好ましくは鋭角)をなしていたとしても、ノイズを示す妨害信号成分が、少なくとも相当の程度に除去されているので、前記の投影された(前記妨害が低減された指標要素に投影された)指標要素は、前記少なくとも1つの少なくとも部分的に周期的なバイタル信号の正確な決定を可能にする。関心信号を検出するために、前記投影された指標要素の時間的変化の主に周波数が分析されなければならない場合、時間的な拍動の元となる周波数は影響を受けないので、前記所定の指標要素に整列された場合に前記生理学的情報の仮定された長さとは異なる、前記投影された指標要素の単なる長さは、周波数分析の誤った又は歪められた結果につながることはない。
或いは、前記投影された指標要素の振幅が、前記妨害が低減された指標要素と前記所定の指標要素との間の角度に依存する係数で補正されることにより更に改良された装置を提供することが更に有利であろう。
この点に関して、前記実施態様の更なる改良によれば、前記分析手段は、更に、前記投影された指標要素と設定された向きを持つ前記所定の指標要素との間の角度的オフセットを補償するように構成される。
該補償は、三角法計算により実行できる。このようにして、前記特性指標要素は、妨害信号成分と関心信号成分を正確に表す生理学的情報とに正確に分離できる。言い換えると、生理学的情報は、ノイズを含む元の特性指標要素から殆ど完全に回復させることができる。
情報を抽出する装置の好ましい実施態様によれば、前記複数の特性指標要素は、信号空間における前記連続的又は離散的特性信号の時間的変化を表す一連の差分ベクトルである。
この点に関して、国際特許出願公開第WO2010/100594A2号公報及びヨーロッパ特許出願第09172337.9号は、基本的に、このような特性指標要素を検出する方法及び装置、並びに、更には、該要素から導出された処理信号を分析して、原理上は、所望のバイタル信号に到達する方法及び装置を例示している。
更に他の実施態様によれば、前記情報を抽出する装置は、可視光、赤外光及び紫外放射からなる群から選択される少なくとも1つの特定の波長範囲内の電磁放射を検出するための、前記インターフェースに接続可能なセンサ手段を更に有する。
代替例では、既に捕捉され且つ記憶されたデータを、前記インターフェースに供給し、前記装置により処理できる。特には動物、更に特定的には人間等の生物を観察する場合、バイタル信号は、例えば赤外光等の放出される、及び/又は例えば可視光及び紫外放射等の反射される放射の僅かな変化から導出できる。日常の用途に対しては、実質的な可視光が検出され、分析される場合が好ましい。この目的のためには、通常の自然光又は人工光源以外に、分析の間においては何れの他の放射源も必要とされず、及び/又は考慮する必要もない。
この実施態様は、上記センサ手段が、RGB、sRGB、Rg色度、HSV、HSL、CMYK、YPbPr、YCbCr及びxvYCCからなる群から選択される信号空間内の信号を捕捉するように構成されたカメラを有することにより更に発展させることができる。
言い換えると、十分な色深度を供給するビデオカメラ、所謂ウエブカムでさえ、関心物体を観察し、分析されるべきデータストリームを記録するために使用できる。LogRGB等の、上述した信号空間タイプの派生物も利用できることは、言うまでもない。更に、必要とされる分析処理ための一層広いスペクトル的基礎を提供するために、幾つかの異なる信号空間を少なくとも部分的に組み合わせることも考えられる。
これに関連して、代替例として、可視光及び赤外光の波長範囲を持つ信号空間も想定できる。このようにして、当該装置は、輝度状況の大きな変化、又は更に昼及び夜の変化のような変化する全体的な状況に適切に適合できる。
本発明の他の実施態様によれば、該信号空間は、前記検出された複数の特性指標要素の対数をとることにより更に変換できる。言い換えると、当該信号空間により表される電磁放射のスペクトル成分又は特性の目盛を対数目盛に変換することもできる。この程度まで、当該信号空間における後続の計算を容易化できる。更に、明確な概観を依然可能にし、その表現の理解が可能にされながら、入力信号の値の幾つかの大きさの範囲が検出され処理できる。
情報を抽出する当該装置の更に他の実施態様によれば、前記少なくとも1つの少なくとも部分的に周期的なバイタル信号は、鼓動(心拍)、呼吸数及び心拍数変動からなる群から選択される。
言うまでもなく、各バイタル信号のタイプを、対応する変換及び分析ステップを適用することにより相互に変換できると好ましい。
上述したバイタル信号は、例えば人間等の関心物体の指示領域を表す一連の画像を記録する際に前記センサ手段により観察できる血液循環に関するものである。導出された複数の特性指標要素により記録されたデータストリームを分析する場合、当該観察される物体により放出され又は反射される電磁放射の僅かな変化が表されることができる。しかしながら、前述したように、該僅かな変化以外に、該複数の特性指標要素には妨害信号成分もまた埋め込まれている。
情報を抽出する当該装置の他の実施態様によれば、前記信号空間は正規化された色空間であり、この場合、少なくとも1つの自由度が正規化処理により少なくとも一時的に補償される。
実際には、例として、生理学的情報を含む前記複数の特性指標要素の“拍動”は、当該信号空間において三次元曲線を描き得る。該三次元曲線を二次元曲線に、又は二次元直線にさえも変換できる場合、分析及び計算は大きく簡略化できる。
これに関連して、該信号空間が、輝度の正規化及び色の正規化が実行される、正規化された二次元色空間であることが更に好ましい。
情報を抽出する当該装置の更に他の実施態様によれば、前記抽出器手段は、データストリームの色表現成分に原色の決定された各組み合わせを適用することによって、前記データストリームに埋め込まれた実際の輝度値を正規化し、及び/又は該データストリームの色表現成分の実際の値に該データストリームの各時間的平均値を適用することによって、前記データストリームの色強度を正規化することにより、前記データストリームを前記信号空間に移転する正規化手段を更に有する。
情報を抽出する当該装置の更に他のより好ましい実施態様によれば、前記分析手段は前記データストリームをフィルタ処理して、0.2Hzと10Hzとの間の、好ましくは0.5Hzと3.5Hzとの間の帯域幅の信号成分を増強するフィルタ手段を更に有する。
このようにして、所望のバイタル信号を表すことのない更に他の妨害信号成分を当該データストリームから除去できる。これに関連して、該輝度正規化ステップ、色正規化ステップ及びフィルタ処理ステップは、当該データストリームに対して各ステップ単独で又は上記ステップのうちの2つ若しくは3つのステップの任意の組み合わせで適用できることに言及されるべきであろう。
情報を抽出する当該装置の他の好ましい実施態様によれば、前記変換器手段は、前記妨害が低減された指標要素を、前記抽出器手段により導出された一連の特性指標要素値を有するデータ集合(データセット)を定義することにより、さらに、座標系への該データ集合の変換(好ましくは実質的に直交する線形変換)であって、該データ集合の主要な成分(該主要な成分は前記妨害が低減された指標要素に一致する)が該座標系の軸に整列されるような変換を実行することにより、決定するように構成される。
前記複数の特性指標要素に対して斯様な統計的分析を適用することにより、所与の制約及び入力データの不足が分析的解を困難にしても、該妨害が低減された指標要素を決定できる。この実施態様は、或る時間間隔にわたって投影された特性指標要素のエネルギを最小化することにより妨害が低減された指標要素を決定されるという点で、更に発展できる。
他の実施態様によれば、該妨害が低減された指標要素は、前記複数の特性指標要素又は斯かる要素の派生物に対して或る時間間隔内で主成分分析を実行し、最小の固有値を有すると共に既知の所定の指標要素と極めて相関する該分析の結果としての要素を該妨害が低減された指標要素として選択することにより、決定される。
代替例においては、該妨害が低減された指標要素を決定するために、該妨害が低減された指標要素を前記所定の指標要素に収束させるような加重関数が適用されると更に有利であろう。
本発明の他の態様においては、検出された特性信号から情報を抽出する方法であって、
− 物体により放出又は反射された電磁放射から導出可能なデータストリームを受信するステップであって、上記データストリームが少なくとも1つの少なくとも部分的に周期的なバイタル信号を表す生理学的情報を含む連続的又は離散的特徴信号を有するステップと、
− 該データストリームから複数の特性指標要素を導出することにより前記データストリームから前記生理学的情報を抽出するステップであって、上記複数の特性指標要素が前記生理学的情報及び妨害信号成分を示し、前記複数の特性指標要素が前記電磁放射の特性を表す信号空間に関連付けられ、該信号空間が基準生理学的情報を示す設定された向きを持つ所定の指標要素を有し、該所定の指標要素が対応する基準値の上流での決定により少なくともほぼ決定可能であるステップと、
− 前記複数の特性指標要素を、これら要素を該複数の特性指標要素の所与の向き及び長さから導出される妨害が低減された指標要素に投影することにより変換するステップであって、前記妨害が低減された指標要素は前記妨害信号成分の推定される向きに対して明確な向きを有し、該妨害が低減された指標要素が前記所定の指標要素の向きを考慮して表現(式)を最適化することにより決定されるステップと、
を有する方法が提供される。
有利には、上記方法は、本発明による情報を抽出する前記装置を用いて実行できる。
本発明の更に他の態様によれば、コンピュータプログラムであって、コンピュータ上で実行された場合に、該コンピュータに本発明による情報を抽出する上記方法のステップを実行させるプログラムコード手段を有するようなコンピュータプログラムが提供される。
本発明の好ましい実施態様は、従属請求項に記載されている。尚、請求項に記載された方法は、請求項に記載された装置及び従属請求項に記載されたものと同様の及び/又は同一の好ましい実施態様を有すると理解されたい。
本発明の上記及び他の態様は、後述する実施態様から明らかとなると共に、斯様な実施態様を参照して解説されるであろう。
図1は、本発明を使用できる装置の一般的配置の概略図を示す。 図2は、正規化を適用できる信号空間のサンプル的概要図を示す。 図3は、正規化された信号空間のサンプル的概要図であり、所定の指標要素及び妨害が低減された指標要素が図示されている。 図4は、図3の信号空間と同等の正規化された信号空間の他の概要図を示す。 図5は、信号空間の更に他の概要図を示し、複数の特性指標要素が図示されている。 図6は、本発明による方法の一実施態様の幾つかのステップを表す解説的ブロック図を示す。
近年、例えば鼓動、心拍数変動及び呼吸数等のバイタル信号の、カメラ等のセンサ又はフォトプレチスモグラフィ(光電式容積脈波記録法)を用いた目立たない監視が、実証されている。基本的に、元となるアルゴリズムが、人(広くは、生物)により放出又は反射される平均信号、例えば観察対象の皮膚の色又は色調(color or tone of the skin)、を追跡する。捕捉される信号は、経時的に、血液ボリューム及び血液酸化に伴い変化し得る。しかしながら、一般的に、この方法は、観察されるべき物体の運動又はカメラに対するセンサの動き、更には例えば皮膚の色調等の関心信号の局部的変化(local variation)、並びに照明レベルの変化及び/又はスペクトルの変化の影響を受け易く、これらは一般的に監視結果に悪影響を与えると疑われている。言い換えると、抽出されるべき信号は、劣った(即ち、かなり小さな)信号対雑音比を持つ捕捉信号に埋め込まれている。
これに関連しては、関心バイタル信号を示す埋め込まれたバイタル信号の強さ(robustness)を改善することにより、ノイズを含む全体信号からの関心信号の抽出を向上させる更なる対策が提案されている。捕捉された画像フレームのシーケンスの分析を目指す場合、通常、これは、或る時間間隔内で平均皮膚色調を正規化し、動きにより生じる平均皮膚色調の遅い変化及び照明スペクトルの遅い変化の影響を除去することにより達成できる。更に、局部的輝度変化の影響は、照明正規化を平準化し、これにより不安定な周囲照明条件の影響を低減することにより除去できる。
例えば、言わば正規化された色状況及び正規化された局部的照明状況下での皮膚色調等の、検出された信号の時間にわたる残存する変化は、関心バイタル信号の変化を相当の程度に反映すると思われる。この前処理された信号を、関心信号の推定される範囲又は向きを少なくとも近似的に表すと仮定される所定の指標要素(例えば、所謂心拍軸)を有する信号空間に更にマッピングする場合に、該前処理された信号を該所定指標要素に投影できる。このようにして、前処理された信号内に依然として残存する、該所定の要素に直交するノイズを含む信号成分を除去できる。
バイタル信号を経時的に皮膚の色の変化から実質的に導出することにより該バイタル信号を評価する方法をとる場合、この点に関する大きな課題として、生物(特には、人間)の皮膚は複合光学層であるということが考慮されねばならない。実質的に、皮膚は、薄い表面層、即ち表皮、及び該表皮の下に位置される一層厚い層である真皮からなる。一般的に、皮膚の光反射は表皮の表面において生じ、ここでは入射光の小さな部分(例えば、約5%)だけが反射される。入射光の残りの部分は皮膚に入り、皮膚層内で吸収され、散乱される。言い換えると、表皮は主に光を吸収する。即ち、表皮は光学フィルタの特性を有し、この場合、光は該光の波長及び該表皮内のメラニン濃度(即ち、皮膚の“色”)に依存して透過される。光は、更に、真皮において散乱され、該真皮内で、殆どは血液又は毛髪により、拡散反射として戻されるか又は吸収される。拡散的に反射された光は、強度が血液ボリューム分率の周期的変化により時間的に変調されるので、信号を含む。吸収は、血液の内容物(content)、並びにヘモグロビン、ビリルビン及びベータカロテン等の該血液の材料に主に依存する。例えば血液循環による皮膚色調の細部の小さな変化が画像処理方法を適用しながら検出され得るという点で、これらの特性が利用される。
これに関連して、バイタル信号の検出を、例えば観察される物体における所望の信号を高度に示すと思われる領域の画像を撮るカメラ等のセンサ手段を採用することにより行うことを考えることができる。例示として、人の頬は、時間にわたる血液循環及びこれに関連するバイタル信号を相当に表し得るものである。この目的のためには、信号の少なくとも部分的に周期的な変化を決定するために、関心領域のピクセル平均を計算し、分析できる。該関心領域は、手動で選択できるか、又は高度に表示的な皮膚領域の検出を処理するアルゴリズムを実行することにより選択できる。
バイタル信号の存在を検出するために、例えば既に記録された画像シーケンス又はビデオデータ等の記憶されたデータを、分析されるべき入力データとして使用できることは言うまでもない。
原理的に、ビデオカメラ又は遠隔PPGを用いた心拍検出は、以下のように適用できる。心拍による皮膚内の血液ボリューム変化は、皮膚の経時的な色の変化を生じさせる。これに応じて、対応する皮膚領域を検出し、記録できる。一連の画像フレームにおける当該皮膚領域を表す選択されたピクセルを平均し、平均された信号を検出し、これを経時的に追跡する結果、信号の形態(即ち、波形)が得られ、該信号波形から心拍を、又は一般的には他のバイタル信号を得ることができる。
しかしながら、前述したように、このような所謂基本システムは、心拍が、抽出された信号の変化の唯一の要因ではないという難問に直面する。カメラ(即ち、前記センサ手段)に対する皮膚の僅かな運動及び時間的な照明の変化はノイズの主要源と考えることができ、該ノイズは純粋な心拍信号の振幅を数桁容易に超過し得る。
再び、バイタル信号を、カメラにより捕捉された時間にわたる皮膚色の変化から該バイタル信号を実質的に導出することにより評価する場合、関心の色変化は、色空間における既知のベクトル上に位置することが予測されるので、該照明の既知のスペクトル、該カメラにおける色フィルタの既知の感度及び該皮膚の既知の色フィルタリング効果に関して信号対雑音比を改善することが可能であることが予想される。このベクトル上に測定された信号を投影することにより、このベクトルに対して直交のノイズにつながるアーチファクトを除去できる。
拍動信号を空間的に平均された皮膚反射光又は放射から抽出することを更に目指す場合、信号空間において該拍動信号の方向を変化させ得、一般的にスペクトル的に異なる光源を備える環境内での動き又は着色反射面に対する動きに起因し得る、照明の時間変化スペクトルの影響を除去することが好ましい。
更に、局部的皮膚色調の空間変化効果の除去が望まれ、これは、ここでも恐らくは動きにより及び幾分不完全な皮膚色調検出により誘起される、常に同一の皮膚色位置が平均されるとは限らないという事実から生じ得る。
前記照明の時間変化スペクトルに対処して、前記センサ手段により使用される信号空間(例えば、色空間)を、原理的に関心の無い相対的に遅い色変化が影響を有さないような正規化された信号空間に変換することが考えられ得る。該照明の正規化に続いて、先行して又は一緒に実行されるべき更なるステップは、観察されるべき物体の、及び/又は該物体に対するカメラの複雑な動きが、関心ピクセル領域の位置を追跡することを困難に又は不可能にさえさせるという洞察に基づくものである。より大きな面積の皮膚ピクセルが心拍及び/又は血液酸化による色変化を示すので、所謂動き等による可変組成を持つパターンの皮膚ピクセルの平均値の変化だけを追跡することが有利であり得る。この目的のために、動き自体が輝度変化を生じさせ得るが、個々の皮膚ピクセルの輝度を、これらを平均する前に正規化することが更に提案される。
先と同様に、上記2つのステップの順序は自由に選択でき、両オプションが改善された信号対雑音比に貢献することは言うまでもない。
平均の正規化された皮膚ピクセルの時間的変化からのバイタル信号の抽出は、検出された信号を少なくとも略固定された所定の指標要素(例えば、経験的に決定された心拍ベクトル)上に投影することにより、及び抽出された信号波形に帯域通過フィルタ処理を適用することにより更に向上できる。このような後処理は、関心バイタル信号の周波数が一般的に既知の周波数範囲内に位置するという事実を利用する。
該2つの正規化ステップの利点は、結果的な皮膚色調ピクセルが最終的に互いに大きく類似したものとなるということである。即ち、例えば不正確な初期皮膚色調検出による当該信号波形内に残存する、例えば人でないアーチファクトに基づく異常値は容易に検出され、除去され得る。
この文書全体を通して、ベクトル及び行列(マトリクス)は連続する文章部分において必ずしも別個のベクトル矢印により示されることはないことに注意されたい。特に、当業者であれば、スカラ値が引用されているか又はベクトル値が引用されているかには気付くものであると理解される。
例示として、例えば心拍による生物の皮膚内の血液ボリューム変化は、該皮膚により反射され又は放出される電磁放射の色の変化を生じると仮定できる。明白なことに、反射光を該反射光から関心入力データを導出するために使用できることは明らかである。例えばRGBの範囲或いは類似の色空間又は一般には信号空間内で感知するマルチスペクトルカメラで見た場合、位置x及び時点tにおける登録された色変化H
は、照明源のスペクトル、

当該カメラの原色フィルタ、

及び変化する血液ボリュームを覆う皮膚の局部的色、

により影響を受ける。更に、照明のスペクトルIは空間的には実質的に変化せず、局部的皮膚色Fsは、所望のバイタル信号を除いては、時間的に変化しないと仮定できる。
変化するバイタル信号、本例では、より正確には、血液ボリュームによる検出される色変化Hcは、局部的皮膚色調及び時間で変化する照明スペクトルIにより左右され、或る程度影響を受けるので、乗法処理が施されなければならない。従って、簡略化のために何らかの正規化措置が適用されるのが好ましい。
この目的のため、第1ステップにおいて、当該色空間を、色ベクトルIcの例えばRGB成分等の瞬時的スペクトル成分を赤、緑及び青の値の対応する時間平均により除算することにより(例えば、RGB又は同様の信号空間が適用される場合)、正規化でき、
ここで、本例の決定を考慮すると、

は時間tにわたる、関心領域(例えば、皮膚ピクセルのパターン)Xにおける平均の赤、平均の緑及び平均の青の値に、各々、対応し、
ここで、|X|は、この関心領域Xの面積に対応する。関心バイタル信号、例えば、心拍による該正規化された色空間における色変化Hn(x,t)は、該色変化Hn(x,t)が当該照明の時間変化スペクトルにより影響を受けない限り、次のように決定され得る:
式における追加の下付け文字dにより示すことができる時間離散システム(tはt=0,1,2,…,nなる値をとることができ、xはピクセル位置に対応する)において、色正規化は最終的に下記のように書くことができ、
ここで、Rc,d(x,t)、Gc,d(x,t)及びBc,d(x,t)は、例えば各画像フレームにより表される時間tにおけるピクセルxの赤、緑及び青の値に対応する。値

は、対応する要約されたパターン、即ちフレームtにおける関心領域の平均の赤、平均の緑及び平均の青の値に各々対応する。更に、この正規化された色空間における心拍による色変化Hn,d(x,t)は、
により近似できる。
例示したステップは、皮膚色調ピクセルに対して正規化された中間(例えば、グレイ)色を生じさせることができ、これは、一般的に、心拍と比較して遅く変化する照明源スペクトルとは無関係であると共に、皮膚による血液ボリューム変化のフィルタリング(即ち、血液ボリューム変化により誘起される反射光の変化のフィルタリング)とは無関係であると見なすことができる。従って、関心バイタル信号は、言わば、残存するノイズを含む全体の信号に対して向上され得る。これに関連して、上述したRGB値に適用される各除算は、RGB値を対数RGB信号空間に変換する場合は減算により置換できることに注意されたい。
上記ステップに続く又は先行できる更なるステップにおいて、照明レベルを、観察されるべき物体の及び/又はカメラの動きにより、又は照明条件の全体的変化により一般的に発生され得る該照明レベルの変化を除去するために正規化できる。例示として、所与の皮膚色調ピクセルに対する照明レベルは、動きにより或る画像から次の画像へと変化し得る。更に、皮膚の局部的透過率、反射率及び吸収率(又は、広くは光学特性)は、幾つかの理由により変化し得る。ここでも動きにより、平均値の決定が基づく前記パターンを生成するために常に同じ皮膚ピクセルを取り出すことができるとは限らないので、これらの局部的な照明の差を除去することが非常に有利であろう。
振幅を正規化するために、即ち、皮膚の変化する局部的輝度レベル及び局部的透過率等級とは無関係になるために、局部的ピクセル値を、これらのRGB成分の一次結合により除算することが想定される:
このようにして、異なり皮膚ピクセルを捕捉し、及び別々の連続する画像フレームにおいて異なって照明される皮膚ピクセルを捕捉する影響を、大きく低減できる。この目的のために、全ての原色が上述した差により同じパーセントで影響を受けると仮定できる。従って、RGBの全ての一次結合を使用でき、改善された結果につながり得る。理論的には、α、β及びγの最適な選択は、結果としての正規化されたピクセルを、正規化された色空間における心拍ベクトルに平行な面内に位置させるような結合であると考えることができる。実際には、最適な一次結合と比較して心拍信号の振幅が幾らか低減されることになるが、他の結合も適用できる。しかしながら、一般的に、α、β及びγに関して実質的に不利な値は存在しない。
信号対雑音比を向上させることにより信号抽出の丈夫さを改善するための更に他の貢献は、例えばRGB色空間等の色空間のような正規化された信号空間においては、心拍及び/又は血液酸化による捕捉信号の変化、即ち、色変化が、使用される信号空間における例えばライン又は軸等の曲線と何らかの形で関連付けられるという事実に基づくものである。言い換えると、一般的に、関心信号は該関心信号の所望の波形を示す曲線又はラインに沿う2つの点の間の拍動により表される、と仮定できる。この曲線又はラインは、所謂心拍ライン又は軸として指定でき、これらは、少なくとも近似的に、実証的研究及び/又は分析的方法により予め決定できる。
好ましくは、捕捉され且つ前処理された信号は心拍ライン又は軸に投影され、これにより、このラインに直角に向けられたノイズを除去できる。該信号空間が正規化されている場合、特に残存信号空間が二次元信号空間である場合、予め定められた上記曲線又はラインは、結果としての正規化された信号空間に、例えば、面に移転され得る。これに関連して、該所定の指標要素の所与の向きを考慮に入れて関心信号空間に輝度正規化を適用し、該所定の指標要素に少なくとも或る程度整列された正規化された信号空間に到達することが更に好ましいであろう。このようにして、所定の指標要素に適用されるべき上記投影を、信号の大きなロス、例えば元の所定の指標要素と正規化された信号空間に移転された結果としての所定の指標要素との間の大きな角度による過度の圧縮を回避して、行うことができる。
他の実施態様によれば、関心バイタル信号を含む捕捉データに対して前記2つの正規化ステップ及び、続いて、上記投影ステップを適用することが想定される。更に好ましい実施態様では、入力データから得られた信号に対して、例示として、帯域通過フィルタ処理及び/又はフーリエドメイン分析を有する後続の後処理ステップを適用して、向上され且つ明確な出力信号の正確な決定、例えば、所望の心拍数又は周波数を示す波形に到ることができるようにする。
しかしながら、バイタル信号を示す信号を、正規化されているか否かに拘わらず、例えば、所謂心拍軸等の所定の指標要素に投影する場合、該所定の指標要素に対して直角に向けられた主にノイズを含む信号成分を除去できる。しかしながら、該所定の指標要素に対して少なくとも部分的に平行に向けられるか又は整列されたノイズを含む信号成分は、当該信号に依然として残存する。前述したように、物体により放出され又は反射された電磁放射から導出可能な捕捉データに含まれるバイタル信号を評価する場合、ノイズを示す信号成分の方がバイタル信号を示す他の成分よりも大幅に大きいことが予想され得る。従って、対応する信号に対して該所定の指標要素に向けられた投影を適用しても、結果として処理された改善された信号は(改善された信号対雑音比を有するが)、恐らくは、ノイズを主に示す主成分を依然として備える。
該投影を、初期的に投影されるべきであった該所定の指標要素に直角に向けられていないノイズを含む信号成分も除去され又は少なくとも或る程度低減され得るという点において該信号対雑音比を更に改善するような形で修正することは、更に有利であろう。
これに関連して、妨害が低減された指標要素に対する特性指標要素の投影に関する改良が想定される。歪、即ち、ノイズを含む信号成分が、該所定の指標要素(例えば、既知の心拍ライン又は軸)に対して直角でない場合、信号対雑音比は、ギア特性指標要素を該歪の主たる向きに少なくとも略直交する向きに配列された、所謂、妨害が低減された指標要素に投影すれば、更に改善できる。このようにして、実際には、上述した歪は低減され得る一方、同時に、該関心信号、即ち生理学的情報は、該歪が心拍軸に対して幾らか平行に向けられている場合、あったとしても圧縮され又は伸張される(即ち、低減された又は拡大された振幅を有する)だけである。更に、該所定の指標要素と上記妨害が低減された指標要素との間の角度が既知である場合、振幅のロスは決定し、補正できる。
言い換えると、この改良は、特性指標要素を関心信号の向きを示す該所定の指標要素というより前記妨害が低減された指標要素に投影すると、該歪は大きく消滅し得る一方、生理学的情報に関係する結果としての信号は、補正さえすることが可能な幾らかの振幅のロス又は変化を受けるだけであるという洞察に基づいている。
これに関連して、図1を参照すると、情報を抽出する装置が図示され、符号10により示されている。装置10は、物体11を表現する画像フレームを記録するために使用できる。これら画像フレームは、物体11により放出され又は反射される電磁放射14から導出され得る。物体11は、人間若しくは動物、又は一般的には生物であり得る。例えば一連の画像フレーム等の記録されたデータから情報を抽出するために、物体11の所定の箇所又は部分は、センサ手段16により検出され得る。センサ手段16は、例示として、電磁放射14の少なくとも或るスペクトル成分に属する情報を捕捉するように構成されたカメラにより実施化され得る。装置10を、既に先行して記録され、とりあえず、記憶又はバッファリングされた入力信号、即ち入力データストリームを処理するように構成できることは言うまでもない。前述したように、電磁放射14は、少なくとも1つの少なくとも部分的に周期的なバイタル信号12を大いに示し得る連続的又は離散的特性信号13を含み得る。図1において、バイタル信号12は心拍数、心拍数変動又は呼吸速度にも関連する幾つかの決定を可能にし得る。
このようなバイタル信号を得るための既存の方法は、例えば、触覚的心拍数監視又は心電図記録法を含み得る。しかしながら、このためには、目障りな監視が必要とされた。前述したように、代替方法は、画像処理方法を用いた目立たない遠隔測定に関するものである。
連続的又は離散的特性信号13は、センサ手段16からインターフェース18へ供給できる。言うまでもなく、バッファ手段をセンサ手段16とインターフェース18との間に介挿することもできる。インターフェース18の下流には、抽出器手段20が設けられ、該抽出器手段は上記の連続的又は離散的特性信号13から所望の生理学的情報(特性指標要素内に依然として含まれる)を抽出するように構成される。更に、変換器手段22が後続でき、該変換器手段は抽出器手段20により導出された生理学的情報を処理するように構成される。抽出器手段20により抽出された前処理された信号は、依然として、ノイズ指示成分を有し得る。これに関連して、上記変換器手段22は、関心のバイタル信号12を示す所望の信号成分を、該変換器手段に供給される全体の信号から分離し向上させるために適用できる。
向上された信号成分が抽出されたら、分析手段234によりデータの更なる後処理を実行できる。この目的のために、該後処理は帯域通過フィルタ処理及び/又はフーリエ分析を含むことができる。更なる後処理対策は、所望の関心信号の(例えば、前記連続的又は離散的特性信号13における主要な心拍を示す周波数ピークの)更に一層改善された検出に貢献するものと想定できる。
抽出器手段20、変換器手段22及び分析手段24は、共通の処理ユニット(例えば、単一のプロセッサ又は複数のプロセッサを持つ中央処理ユニット)26により一緒に具現化できる。また、インターフェース18も、各副構成部分を収容する共通の処理装置28内で該処理ユニットに接続できる。例示として、処理装置28は、対応する論理コマンドにより駆動されるパーソナルコンピュータにより具現化できる。センサ手段16も前記インターフェース18に一緒に接続されている場合は、捕捉ユニット30が各副構成部分を収容できる。
しかしながら、代替例においては、別体のセンサ手段16を処理装置28と組み合わせることも想定できる。この接続は、ケーブル接続により又は無線リンクにより確立できる。センサ手段16の代わりに、事前に記録されたデータを有する記憶手段を処理装置28に接続することもできる。
前述したように、抽出器手段20は、更に、所望のバイタル信号に向けられた後続の分析の準備のために信号対雑音比を向上させるべく、受信されるデータの何らかの前処理を実行するように構成され得る。可能性のある前処理ステップは、表される次元の数の点で、又は言わばスペクトル成分の数若しくはスペクトル多様性の点で幾らか簡略化された信号空間となる、輝度正規化であり得る。例示として、上記の結果的信号空間は色度面と称できる。これに関連して、図2は輝度正規化が適用されるサンプル的信号空間36を示す。基本的信号空間36は3つのスペクトル成分38、40及び42(例えば、RGB空間が使用される場合、可視スペクトルにおける赤、緑及び青成分)を示す。
関心信号が経時的に変化する信号、即ち、結局は該少なくとも1つの少なくとも部分的に周期的なバイタル信号12である場合、捕捉された信号に含まれるバイタル情報を評価するためには絶対値というよりは差分値が考察されねばならないことが理解されるべきである。例示として、物体11から反射された可視放射からの心拍数等の抽出を目指す場合、色空間(即ち、信号空間36)に関連する複数の特性指標要素50を、該捕捉信号(即ち、画像シーケンス)から取り出すことができる。主に該少なくとも1つの少なくとも部分的に周期的なバイタル信号12の変化により変化する信号成分が関心のあるものであるから、該特性指標要素50の各々が「実際の」差分値を表し得る。この目的のため、該特性指標要素50の各々は2つの異なる又は連続さえもする時点の間で決定された該色空間内の色の変化を表し得る(この点に関しては、式(6)も参照されたい)。
このように、原理的に、信号空間36は、スペクトル成分38、40及び42の負の値を示す他の象限又は半空間も有し得ることに注意すべきである。信号空間36において差分値が表されるので、負の値も生じ得る。言うまでもなく、差分値が考慮される場合、複数の特性指標要素50の各々は原点から発する(図5も参照)。輝度正規化(式(7)参照)を適用することにより、信号空間36において副空間が決定され得る。図2において、色度面又は正規化された信号空間は、符号44により示されている。該輝度正規化により、各信号成分は上記色度面又は正規化された信号空間44に移転され、これにより、これらの簡略化された分析を可能にする。
色度面又は正規化された信号空間44が平面図でより詳細に示された図3、図4及び図5を更に参照すると、捕捉データからのバイタル信号の所望の抽出の下に存在する問題の次元は、正規化対策により減少され得る。言い換えると、特性指標要素50の各々はベクトル量と考えることができるという事実を再び参照すれば、斯かるベクトルを指定するために要求されるベクトルの行の値の数は、大幅に低減され得る。
図2は、更に、信号空間36における予測されるバイタル信号の設定された向きを表すと仮定される、例えば、所謂心拍軸と見なすことができる所定の指標要素46も示している。好ましくは、該所定の指標要素46も前記色度面又は正規化された信号空間44に移転(転写)される。前述したように、特性指標要素50を該所定の指標要素46に投影して、これにより信号成分56を得る(図3及び図4参照)ことを想定できる。しかしながら、この成分(ノイズを含む成分56とも称する)は、特性指標要素50に適用される投影が所定の指標要素46に直交するノイズだけを除去することにより、依然としてノイズを示す成分を含んでいる。更に、前記の少なくとも1つの少なくとも部分的に周期的なバイタル信号12を大いに表す生理学的情報は、符号48により示されている。生理学的情報48は、所定の指標要素46と一致すると仮定される。
上述した方法によれば、データストリームにおける所望の信号にかぶさる妨害ノイズ成分の主たる向きから導出された向きを有する他の指標要素(所謂、妨害が低減された指標要素64)を定めることが更に有利であろう。
しかしながら、この所望のライン又は軸を決定することは更なる難題をもたらす。基本的に、特性指標要素50は、所定の指標要素46に、又は例えば信号空間36における何らかの所望の軸等の他の代替要素に投影され得る。該所定の指標要素46から外れた代替要素に対する投影を適用する場合、関心信号(生理学的情報48)の幾らかの振幅のロスが予測されねばならない。しかしながら、前述したように、振幅のロスは、両要素の異なる向きを考慮した変換係数を適用することにより補正され得る。
図3、図4及び図5は、上述した欠点に対する提案された方法を示す。各図は、色度面又は正規化された信号空間44により具現化された正規化された信号空間36’を示す。図3を参照すると、サンプル的実施態様、即ち、画像フレームにおける心拍数信号の検出が例示されている。ベクトルdは、心拍によってのみ誘起される色差ベクトルに、又は、言わば、所望の生理学的情報48に対応する。ベクトルvは、歪又はノイズによる色差に対応する。ベクトルvは、符号58により示された妨害信号成分とも称できる。ベクトルsは捕捉され且つ抽出された特性指標要素50に対応し、これは、ベクトルd及びvの、又は、各々、妨害信号成分58及び所望の生理学的情報48の合成と考えることができる。図3において、歪は所望の信号に対して幾らか増大されていると仮定する。言うまでもなく、原理的には、正規化された信号空間36’においてベクトルの如何なる一次結合も推定できる。更に、ベクトルqは、所謂心拍軸に、即ち少なくとも近似的に経験的に決定することが可能な所定の指標要素46に対応する。測定されたベクトルsを、所謂、心拍軸q上に単純に投影した場合、ベクトルsqを得ることができ、該ベクトルは心拍軸qに平行に向けられたノイズ成分を依然として含む、ノイズを含む信号56に対応する。
言い換えると、ベクトルsq、即ち、ノイズを含む信号56は、依然として、望ましくない歪ベクトルvの一部を含む。歪ベクトルvは、所謂妨害信号成分58に対応し、これは一般的に未知であり、従って、所望の生理学的情報48の即座の導出のために使用することはできない。特性指標要素50は、該妨害信号成分と該所望の生理学的情報48(これに関しては、符号48’により示される平行移動も参照される)との線形結合であると考えることができる。しかしながら、初期状態では、特性指標要素50の向き及び長さ、並びに生理学的情報48の概略の向きの理解をほぼ可能にする所定の指標要素46の全体的な向きだけしか分からない。
しかしながら、対照的に、前記歪ベクトルvに略直交すると推定される相当に不明なベクトルzに対する投影をベクトルsに対して適用できるなら、ベクトルdzを得ることができる。上記ベクトルzは、符号64により示される、所謂、妨害が低減された指標要素に対応する一方、ベクトルdzは符号66により示される投影された指標要素に対応する。基本的に、ベクトルdzは、言及する価値があるノイズを含む成分は含まない。ベクトルdzの長さは、心拍差分ベクトルdの長さに比例し、従って前記所望のバイタル信号を高度に示す。ベクトルzは“動的”心拍軸と考えることができ、該軸の向きは前記ベクトルv、即ち妨害信号成分58の変化に従って時間にわたり変化する。
ベクトルz、即ち、妨害が低減された指標要素64の決定は、該ベクトルzが直交しなければならないベクトルvの向きが相当に未知であるので、大きな課題となる。この目的のためには、経時的に捕捉されたシーケンスから導出される複数のベクトルs、即ち、所謂複数の特性指標要素50を分析するために統計的方法を使用できる。このような複数の特性指標要素が図5に図示され、符号50、50’及び50”により示されている。
完全さのために、図3及び図4を参照して他の要素を示す。信号成分56となる、所定の指標要素46に対する特性指標要素50の投影を示す投影ラインが、符号52により示されている。所定の指標要素46及び投影ライン52が直角54をなすことは言うまでもない。
同様のことが、妨害が低減された指標要素64に対する特性指標要素50の投影を示す投影ライン60にも当てはまり、これら両要素は基本的に直角62を形成する。投影ライン60は、基本的に、妨害信号成分58と平行である。従って、該妨害信号成分58及び妨害が低減された指標要素64も基本的に直角68を形成する。しかしながら、以下に示すように、たとえ恐らくは異なる長さ及び向きを持つ複数の特性指標要素に基づいたとしても、該妨害が低減された指標要素64の近似的な決定しか行うことができない場合、角度68は近似的にだけ直角の角度68であると考えられ得ることに注意すべきである。
信号空間36が、二次元の「差分」色空間により表される正規化された信号空間36’である場合、妨害が低減された指標要素64の近似的決定のためには少なくとも2つの特性指標要素50が必要とされる。しかしながら、信号空間36が三次元の「差分」色空間により表される場合は、少なくとも3つの特性指標要素50が必要とされる。特性指標要素50の各々は、全体の信号の変化による先行の要素及び/又は後続の要素とは相違し得るので、提案される方法は、抽出される特性指標要素50の各々に対して同時に正確に直交するような、妨害が低減された指標要素64を決定することに向けることはできない。
逆に、妨害信号成分58が所望の生理学的情報48と比較して大幅に大きいと仮定すると、該妨害が低減された指標要素64を、所定の指標要素46と少なくとも或る程度相関する“基準軸”を得るような形で決定することが想定され得る。更に、該決定は、妨害が低減された指標要素64上に投影された場合の特性指標要素50、即ち、投影された指標要素66のエネルギを最小化するように仕向けることができる。
このようにすれば、取得される投影された指標要素66における歪の影響が明らかに制限される。しかしながら、決定された妨害が低減された指標要素64は「元の」所定の指標要素46と相関されるので、経時的な投影された指標要素66の拍動から導出可能な取得信号は、依然として、所望のバイタル信号(例えば、心拍数)を大いに示す。ここでも、取得される投影された指標要素66は、これらが投影されるベクトルzが“元の”ベクトルq(即ち、所定の指標要素46)に一致しない場合に拡縮(スケーリング)できることは言うまでもない。これに関連して、妨害が低減された指標要素64(ベクトルz参照)が経時的に変化する場合、経時的に変化するスケール係数が適用されることも好ましいことに注意されたい。
以下では、所望の要素のサンプル的導出を、上記において対応する要素を示すために使用された符号というよりも数学記号により説明する。しかしながら、視覚化のために、図3、図4及び図5も参照され、その場合、図3は斯かる要素の何らかの解釈を提供する。
例示として、二次元の場合を参照する場合、複数(Nにより示す)の異なる行ベクトルs(特性指標要素50参照)を重ねて、Nx2のマトリクスSにすることを想定できる。例示として投影された差分ベクトルSzのエネルギを最小化する長さ1のベクトルzを見付けるために、

なる式を考えることができる。
この明細書を通して、ベクトル
(但し、上付Tは転置を示す)の長さは、
により示すことができる。
上述した式を最小化するベクトルzは、例示として主成分分析を利用することによる等の多変量統計法により決定できる。最終的に、選択されるべきベクトルzは、最小の固有値に関連するマトリクスssの固有ベクトルに等しい。検出されたベクトルzが心拍軸qと直交しない場合、解が得られる。そうでない場合、段階的処理において、次の最小固有値に関連するssの固有ベクトルを考察できる、等々である。
このアプローチは、検出された固有値に閾値を適用して、検出されたベクトルzが心拍軸qに対して直角に近い解を検出することにより更に改善されるであろう。これに関連して、該改良は、ベクトルzに関係した振幅のロスに対する補正が望ましい場合に該ベクトルzに対して相当に大きなスケール係数が適用されるべきという可能性のある欠点に対処する。一般的に、該スケール係数は<z,q>−1に等しくなり得、これは、

から直接得られる。基本的に、救済策は閾値を適用することである。実際の固有値が、この閾値より小さい場合、対応する固有ベクトルは破棄でき、残りの固有ベクトルが考察されるべきである。
しかしながら、該閾値を回避することが更に有利であろう。事実、例示として二次元の場合を考慮する場合、歪が非常に小さいなら、又は歪が主に心拍軸qに沿って向いているなら、心拍軸qに対して直角に近い固有ベクトルは最適値と考えることができる。この場合、心拍軸qに高度に相関されたベクトルを良い選択と考えることができる。何故なら、例えば心拍等の所望の信号と心拍軸q上のノイズを含む歪成分vとの間の区別は困難であるからである。
更なる難題は、提示された固有ベクトル方法が殆ど閉じた形の解を提供することがないという事実から生じ得る。最適なベクトルzは、固有ベクトルの集合から、関連する固有値、及び心拍軸qとの相関に応じて選択される。
本明細書を通してz^(zの上に^。以下、同じ。)により示される最適ベクトルzの検出のための代替方法は、以下に提案される。前述したように、閉じた形の解を検出でき、該解が更に好ましくは心拍軸qに高度に相関する傾向を有していたならば好ましいであろう。
基本的に、このような解は、投影された差分Szに加重関数<z,q>−1を適用することにより得ることができる。この加重関数は、ベクトルzが心拍軸qに対してかなり直交する向きに近づく場合に大きくなるような形態で定義できる。最終的に、この状態から離れたままにする傾向を備えた解を得ることができる。同様の傾向の他の加重関数を使用できることは言うまでもない。例示として、加重関数1+c(1−<z,q>)/<z,q>及びπ/(π−4c arccos<z,q>)、但しcは正の定数も使用できる。要約すると、

を最小化する長さ1を持つベクトルzを見付けることが望ましいであろう。
以下では、結果としての極小が、基本的に、

となる閉形態(closed-form)の解を有することを詳細に示す。各サンプル導出は二次元の場合及び三次元の場合に関するものである。ここでも、例えば輝度の正規化又は同様の前処理を考えた場合、該分析が適用される信号空間は2、3又は更に多くの次元を有し得ることに注意すべきである。マトリクスSSの逆マトリクスが常に存在するという点で更なる仮定を行うことができる。この条件は、関心差分ベクトルsが、考慮中の全信号空間にいきわたる、即ち斯かるベクトルが2次元、3次元又は更に多くの次元においても成分を有する限り、満足される。
この方法を用いることにより、このベクトルzと心拍軸qとの間の角度が相当に小さいままであるなら、該固有ベクトル方法により見付けられる最適ベクトルから著しくずれることのない最適ベクトルz^を決定できる。この場合、前記加重関数は1に近くなり、

という条件となる。
しかしながら、符号70により示される前述した角度(図3における角度φ参照)が一層大きくなると、特に、該角度が90度に近づくと、該2つのアプローチの間のずれが予測され得る。この場合、提案された方法を適用することにより決定される最適ベクトルz^も、心拍ベクトルqに対して直角となる。それにも拘わらず、実際には、このことは極めて起こりそうにない。何故なら、常に何らかの歪が予測されねばならないからである。
他の進んだ実施態様においては、パーセバルのエネルギ定理を適用することにより、該最適化をフーリエドメインで改良できることが想定され得る。このようにして、最適化の間に、関心バイタル信号を高度に示す所望の周波数帯域を選択できる。
更に他の改良によれば、得られた信号波形に帯域通過フィルタ処理を適用できる。この目的のために、好ましくは、心拍範囲に対応する周波数帯域が選択され、又は少なくとも強められる。例示として、関心周波数範囲は40BPM(拍/分)から210BPMまでの範囲を含み得る。このようにして、最適ベクトルz^は、この関心範囲外のノイズにより影響を受けない。
一実施態様によれば、二次元の解が下記におけるように導出される。二次元の場合、最適ベクトルz^は、基本的に、

となり、ここで、
を考慮すると、ベクトルqは(経験的に見付かる)心拍軸qに対応する。更に、Nx2マトリクスSは、当該信号空間(例えば、色度面)における平均差分に対応する行(例えば、複数のベクトルvにより具現化される)を有する。
上記式はマトリクスの形で書き換えることができる:
この式において、マトリクスSSは対称な正(半)定値マトリクスと見なすことができると共に、SS=EDEと表すことができ、ここで、マトリクスEの列は固有ベクトルに対応し、対角マトリクスDの対角要素はマトリクスSSの固有値に対応する:
マトリクスEのユニタリ特性(即ち、E−1=E)を用いることにより、下記を注記できる:
更に、置換y=Ez及びv=Eqを適用でき、その結果、下記のような中間結果を生じる:
マトリクスEはユニタリであるので、

であることに注意すべきである。便宜上、下記の表記法を用いることができ:
ここで、λ及びλはマトリクスSSの固有値である。更に単位円上のベクトルyの解を探して、ベクトルyは極座標により書くことができる。即ち、y=cosφ及びy=sinφである。表記(9)及び極座標を用いることにより、該中間結果(8)は角度φによれば、
となる。
所与のベクトルv並びに固有値λ及びλに関して、この式C(φ)の最小値を検出するために、この式の角度φに対する一次導関数を計算できる:
この一次導関数をゼロに等しいと設定すれば、

から解が得られる。但し、

である。
角度φ=φである一方、tanφ=λが解であることが直に分かり、結果として、最適ベクトルy^(yの上に^。以下、同じ。)及びz^は、
となる。
固有値λ≧0及びλ≧0であるので、

となることに注意すべきである。
両固有値がゼロに等しい場合、即ち固有値λ=0及びv=0なら、又は固有値λ=0及びv=0なら、更なる配慮がなされなければならない。
両固有値がゼロに等しいことは、マトリクスSがゼロのみを含むか、又は等価的に全ての差分がゼロである場合だけの結果である。実際には、このようなことは殆ど起こりそうにない。
第2及び第3のケースは、マトリクスS内の全ての差分が一致するか又は心拍軸qに対して直交する場合に起こりそうである。この場合、最大の固有値に関連する固有ベクトルが心拍軸qに一致し、ゼロの固有値に関連する固有ベクトルが心拍軸qに対して直交するか、又はその逆である。これらのケースの場合、該中間結果(10)は全ての角度φに対して定数に等しく、最小値は存在しない。言い換えると、単位円上の全てのベクトルzは等しく正しい。この場合、どのベクトルが当該限界内で得られるかは、かなり不明確である。しかしながら、実際には、差分ベクトルs内の不可避的なノイズにより、ゼロに等しい1つの固有値は起こりそうにない。
最適ベクトルz^[式(9)及び(12)参照]の更なる考察、及び前記マトリクスSSの逆の表現を用いれば、
但し、
は、

であることを明らかにする。但し、全ての固有値はゼロよりも大きい、即ち、マトリクスSTSの逆が存在するものとする。結果として、最適ベクトルz^は、マトリクスSTSの固有値及び固有ベクトルの計算無しで、計算できる。
マトリクス(STS)-1は正定値マトリクスであるので、全ての可能な心拍軸qに対して、

となることに注意されたい。又は、言い換えると、ベクトルz^は常に心拍軸qの正の方向に向けられている。更に、最適ベクトルz^に関する最小値は、

に等しい。
最後に、パーセバルのエネルギ定理を用いることにより、

が得られ、ここで、FはユニタリなNxNフーリエマトリクス、即ち、F−1=Fである。又は、言い換えると、フーリエ領域で最適化することで、同一の最適ベクトルz^を生じる。
この所見は、マトリクスFSのフーリエ変換された列の周波数ビンを関心範囲内で、例えば心拍範囲に対応する周波数ビンを、例示として、40BPM〜210BPMから選択できることにより、最適化の改良につながる。このようにして、該最適化は関心範囲外の周波数ビンにおけるノイズにより影響を受けることがない。
または、もっと形式的に表すと、マトリクスFSは、下記の最適ベクトルz~を得るための対角線上にゼロ及び1を伴うような対角マトリクスであるNxNの選択マトリクスRにより乗算できる:

但し、

である。
最終的に、最適ベクトルは、

となり、ここで、Sはエルミート転置されたマトリクスSである。この表現は、強調されるべきであり、本発明の装置及び方法を実施化するのに相当に簡単である、好ましい洗練された実施態様であると考えることができる。
代替実施態様により、以下では三次元の解を導出する。三次元の場合、関心のある最適ベクトルz^は、

であり、ここで、ベクトルqは、

であり、Nx3のマトリクスSの行は当該信号空間(例えば、RGB色空間又は対数RGB領域)における平均差分に対応する。
当該中間結果の導出は、二次元のケースにおける中間結果の導出(式(8)参照):

と類似している。
しかしながら、三次元の場合、マトリクスEの列は3つの固有ベクトルを含み、対角マトリクスDの対角要素は3x3マトリクスSSの3つの固有値に対応する。
ここで、下記の表記が使用され(式(9)参照):
ここで、λ、λ及びλは上記マトリクスSSの固有値を表す。また、この場合、ベクトルyの極座標(特には、球面極座標)を考察できる。即ち、y=cosθsinφ、y=sinθsinφ及びy=cosφである。該中間結果(13)は、これらの極座標により表すことができる:

更に、この式の最小値を決定するために、角度φ及びθに関する一次導関数を計算でき:
ここで、
及び
であり、更に、ここで、
及び

である。
先ず第1に、φに関する導関数を更に詳細に考察できる。この一次導関数をゼロに等しく設定すれば、解が、

から得られ、ここで、

とする。
tanφ=c,φ/c0,θの場合の角度φ=φが解であることが直に分かる。この解φ=φをθに関して該第1導関数に代入すると共に、

を用いることにより、下記の式が得られる:
−2c1,θにより除算すると共に、更にc1,θ≠0と仮定すると、
が得られる。
0,θ及びc1,θに関する値を代入する[式(15)参照]と共に、該式を再配置すると、
が得られ、ここで、
である。
式(18)から、基本的に2つの解:1.λcosθ−λsinθ=0;2.e+ecos2θ+esin2θ=0又は固有値λ=0(このケースは下記で考察される)を得ることができる。
第1の解は、なされた仮定(<y,v>≠0及びc1,θ≠0)を考慮して、入念に仕上げることができる。最後に、一般的に、実際には第2の式は実数の解を生じることはないことを示すことができる。
第1の式に対する解は、θ=θであり、ここで、θ=λ/λである。この角度θに対して、下記の恒等式を使用でき:
これらから、係数c0,θs及びc1,θsが、

となることが分かる(式(15)参照)。
更に、これらの式は係数c0,θs及びc1,θsのために使用でき、(17)における恒等式を使用することにより、該三次元のケースに対する最適ベクトルy^及びz^を得ることができ[式(12)の二次元のケースにおける解と比較されたい]:
ここで、D^=det(D)D−1である。また、この場合、固有値λ≧0、λ≧0及びλ≧0であるので、
が当てはまる。
これに関連して、全ての固有値がゼロである場合、λ=v=0、λ=v=0である場合、又はλ=v=0である場合、問題が予測され得る。しかしながら、このようなことは実際には発生しそうもない。
更に、第2式e+ecos2θ+esin2θ=0が、実際には実数の解を生じないことを示す。この式を、
と書き直すと(ここで、arctan2は四象限逆タンジェントに対応する)、解

を直に生じ、ここでkは整数である。しかしながら、

なら、又は等価的に、

なら、これは、複素角の解となる。(12)においてe、e及びeに関する上記式を用いると、

が得られ、これは、少なくとも2つの固有値がゼロである場合、又はv=0である場合を除き、常にゼロより小さい。しかしながら、前述したように、少なくとも2つの固有値がゼロに等しいということは、起こりそうにない。
第2のケース、v=0は起こり得ない。等式v=0は、<E,Eq>=0を意味し、ここで、EはマトリクスEの第3列における固有値、又は等価的に<EE,q>に対応する。しかしながら、この式は、q≠0に等しい。このように、輝度変化の方向の心拍成分qが存在したら、v=0は決して生じない。
最後に、二次元ケースと同様に、最適ベクトルz^に対する閉じた形の解は、

である。
この場合、最適ベクトルz^は常に心拍軸qの正方向に向けられ、

ここで、該最適ベクトルz^の最小値は、

に等しい。
最後に、周波数ビンの選択より後に得られる最適ベクトルz〜は、

となる。
また、この式は重要視されるべきであり、本発明の装置及び方法を実施化するのに相当に簡単な好ましい洗練された実施態様と考えることができる。
以上、本発明によりカバーされる幾つかの代替サンプル方法を示したが、ここで、特性信号から情報を抽出する方法を概略図示した図6が参照される。
最初に、ステップ84において、入力データストリーム76a、76b、76cが受信される。該データストリーム76a、76b、76cは、センサ手段16又はデータバッファ若しくは記憶手段から供給され得る。データストリーム76a、76b、76cは、例示として、時間tにわたり変化する一連の画像フレームにより具現化され得る。
後続のステップ86において、上記入力データストリーム76a、76b、76cから導出される関心信号は、処理され、信号空間に移転され得、これにより、前処理されたデータストリーム78a、78b、78cを生成する。これに関連する処理は、前記入力データストリーム76a、76b、76cが導出される物体の関心領域の検出を含むことができる。更に、ステップ86は、入力データストリーム76a、76b、76c内に表される当該物体の動きの補償も含むことができる。言い換えると、所望の情報を示す関心領域は、入力データストリーム76a、76b、76cにおいて時間にわたり追跡され得る。
次いで、前記前処理されたデータストリーム78a、78b、78cに対して色正規化88及び/又は輝度正規化90が適用され得る。結果として、所望の情報を抽出する問題を、例示として、多次元の問題を正規化された前処理されたデータストリーム80a、80b、80cにより示される一層少ない次元を持つ問題が移転され得る。既に述べたように、色正規化88は輝度正規化90に先行でき、その逆も同様である。
続くステップ92において、前記データストリームから抽出された捕捉信号を使用して、妨害が低減された指標要素の決定が行われる。前述したように、該決定は、多変量分析の方法を含むことができる。更に、該妨害が低減された指標要素は、近似的に決定された心拍軸等の所定の指標要素の向きを考慮して検出され得る。
更なる後続ステップ94において、所望の情報を示す検出された特性指標要素50、50’及び50”は、ステップ92において決定された妨害が低減された指標要素の対応するものに投影され、これにより、該特性指標要素50、50’及び50”のノイズ含有成分を少なくとも或る程度除去する。このようにして、所望の情報を高度に示すデータストリーム82a、82b、82cを生成できる。
更なる後続のステップ96において、データストリーム82a、82b、82cから該所望の情報が抽出される。言い換えると、投影された特性指標要素の時間的拍動が分析され、抽出される。更に、該ノイズ含有データにおける所望の情報を更に強めるように、帯域通過フィルタ処理及び/又はフーリエドメイン分析が、該抽出されたデータに適用される。該帯域通過フィルタ処理は、振幅軸102及び周波数軸104を備えた座標系により示すことができる。該座標系には信号波形が表され、該波形の幾つかの領域、即ち阻止される区域108a、108bは、抑圧されるか又は除去さえもされる一方、残りの帯域幅106は増強され得る。該残存する帯域幅106に含まれるデータに更なる分析が適用されることも想定できる。該残存する帯域幅において、所望の情報を表す主要な周波数ピーク110が決定され得る。最終的に、このようにして修正された出力信号は、出力インターフェースにおいて利用可能にされ、更なる使用のために分配される。
例示として、本発明は、例えば目立たない遠隔患者監視等の医療の分野、一般的監視、セキュリティ監視及びフィットネス装置等の所謂生活様式アプリケーションなどに応用できる。
この目的のために、例えば心拍数、心拍数変動又は呼吸数等の詳細なバイタル情報を抽出及び供給することを想定できる。一方、例えば、例示として、生物の存在又はただの画像等の、導出された情報を供給することもできる。
更に、動く関心物体を監視するために動き検出又は画像追跡を適用することも想定できることに注意すべきである。この目的のためには、捕捉及び続く処理の間に追跡できる、例えば高度に指示的な顔領域等の関心パターンを決定できる。この場合、全画像フレームレベルというよりはパターンレベルで平均化及び正規化がなされることが更に好ましいであろう。
以上、本発明を図面及び上記記載において詳細に図示及び説明したが、このような図示及び説明は解説的又は例示的なものであって、限定するものではないと見なされるべきである。即ち、本発明は開示された実施態様に限定されるものではない。開示された実施態様の他の変形例は、当業者であれば、請求項に記載された本発明を実施する際に、図面、開示内容及び添付請求項の精査から理解し、実施化できる。
尚、請求項において“有する”なる文言は他の構成要素又はステップを排除するものではなく、単数形は複数を排除するものではない。また、単一の構成要素又は他のユニットは、請求項に記載される幾つかの品目の機能を満たすことができる。また、特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用できないということを示すものではない。
また、コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に又はその一部として供給される固体媒体等の適切な持続性媒体により記憶し/分配できるのみならず、インターネット又は他の有線若しくは無線通信システムを介して等の他の形態で分配することもできる。
また、請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。

Claims (14)

  1. 検出された特性信号から情報を抽出する目立たない遠隔監視装置であって、
    − 物体により放出又は反射された電磁放射から導出可能な一連の画像フレームを含むデータストリームを受信するインターフェースであって、前記一連の画像フレームが少なくとも1つの少なくとも部分的に周期的なバイタル信号を表す生理学的情報を含む連続的又は離散的特性信号を含むインターフェースと、
    − 前記データストリームから前記生理学的情報を抽出する抽出器手段であって、該抽出器手段が前記データストリームから複数の特性指標要素を導出し、該複数の特性指標要素が前記生理学的情報及び妨害信号成分を示し、前記複数の特性指標要素が前記電磁放射の特性を表す信号空間に関連付けられ、該信号空間が基準生理学的情報を示す設定された向きを持つ所定の指標要素を有する抽出器手段と、
    − 前記複数の特性指標要素を、これら要素を該複数の特性指標要素の所与の向き及び長さから導出される妨害が低減された指標要素に投影することにより変換する変換器手段であって、前記妨害が低減された指標要素は前記妨害信号成分の推定される向きに対して明確な向きを有し、該妨害が低減された指標要素が前記所定の指標要素の向きを考慮して表現を最適化することにより決定される変換器手段と、
    − 可視光、赤外光及び紫外放射からなる群から選択される少なくとも1つの特定の波長範囲内の電磁放射を検出するための、前記インターフェースに接続可能なセンサ手段であって、ビデオカメラであるセンサ手段と
    を有し、
    前記変換器手段が、前記抽出器手段により導出された一連の特性指標要素値を有するデータ集合を定めると共に、座標系への該データ集合実質的に直交線形変換であって、該データ集合の主要な成分が該座標系の軸に整列され、該主要な成分が、前記妨害が低減された指標要素に一致し、或る時間間隔にわたって投影された前記特性指標要素のエネルギを最小化することにより前記妨害が低減された指標要素が決定されるような変換を実行することにより、前記妨害が低減された指標要素を決定する、装置。
  2. 前記投影された指標要素の時間的変化を決定すると共に、前記生理学的情報により表される前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を検出する分析手段を更に有する、請求項1に記載の装置。
  3. 前記分析手段が、更に、前記投影された指標要素と前記設定された向きを持つ所定の指標要素との間の角度的オフセットを補償する、請求項2に記載の装置。
  4. 前記複数の特性指標要素が、前記信号空間における前記連続的又は離散的特性信号の時間的変化を表す一連の差分ベクトルである、請求項1に記載の装置。
  5. 前記センサ手段が、RGB、sRGB、Rg色度、HSV、HSL、CMYK、YPbPr、YCbCr及びxvYCCからなる群から選択される信号空間内の信号を捕捉するカメラを有する、請求項4に記載の装置。
  6. 前記少なくとも1つの少なくとも部分的に周期的なバイタル信号が、心拍、呼吸数及び心拍数変動からなる群から選択される、請求項1に記載の装置。
  7. 前記信号空間は正規化された色空間であり、該正規化された色空間において少なくとも1つの自由度が正規化処理により少なくとも一時的に補償される、請求項1に記載の装置。
  8. 前記抽出器手段が、該データストリームの色表現成分に原色の決定された各組み合わせを適用することによって前記データストリームに埋め込まれた実際の輝度値を正規化し、及び/又は該データストリームの色表現成分の実際の値に該データストリームの各時間的平均値を適用することによって前記データストリームの色強度を正規化することにより、前記データストリームを前記信号空間に移転する正規化手段を更に有する、請求項1に記載の装置。
  9. 前記分析手段が、前記データストリームをフィルタ処理して、0.2Hzと10Hzとの間の帯域幅における信号成分を増強するフィルタ手段を更に有する、請求項2に記載の装置。
  10. 前記抽出器手段、前記変換器手段及び前記分析手段を備えた処理ユニットを更に有する、請求項2に記載の装置。
  11. 該妨害が低減された指標要素を前記所定の指標要素に収束させるために、前記妨害が低減された指標要素を決定するための加重関数が適用される、請求項1に記載の装置。
  12. 前記妨害が低減された指標要素がベクトルzに対応し、前記ベクトルzが、表現

    が最小になるよう多変量統計法により決定され、ここでマトリクスSは複数の異なる行ベクトルsのスタックを含み、ベクトルsは特性指標要素に対応する、請求項1に記載の装置。
  13. 検出された特性信号から情報を抽出する目立たない遠隔監視方法であって、
    − 物体により放出又は反射された電磁放射から導出可能な一連の画像フレームを含むデータストリームを受信するステップであって、前記一連の画像フレームが少なくとも1つの少なくとも部分的に周期的なバイタル信号を表す生理学的情報を含む連続的又は離散的特徴信号を有し、前記電磁放射が、可視光、赤外光及び紫外放射からなる群から選択される少なくとも1つの特定の波長範囲内の電磁放射を検出するための、前記インターフェースに接続可能なセンサ手段によって検出され、前記センサ手段はビデオカメラである、ステップと、
    − 前記データストリームから前記生理学的情報を該データストリームから複数の特性指標要素を導出することにより抽出するステップであって、前記複数の特性指標要素が前記生理学的情報及び妨害信号成分を示し、前記複数の特性指標要素が前記電磁放射の特性を表す信号空間に関連付けられ、該信号空間が基準生理学的情報を示す設定された向きを持つ所定の指標要素を有するステップと、
    − 前記複数の特性指標要素を、これら要素を該複数の特性指標要素の所与の向き及び長さから導出される妨害が低減された指標要素に投影することにより変換するステップであって、前記妨害が低減された指標要素は前記妨害信号成分の推定される向きに対して明確な向きを有し、該妨害が低減された指標要素が前記所定の指標要素の向きを考慮して表現を最適化することにより決定され、前記妨害が低減された指標要素を決定することは、一連の特性指標要素値を有するデータ集合を定めると共に、座標系への該データ集合実質的に直交線形変換であって、該データ集合の主要な成分が該座標系の軸に整列され、該主要な成分が、前記妨害が低減された指標要素に一致し、或る時間間隔にわたって投影された前記特性指標要素のエネルギを最小化することにより前記妨害が低減された指標要素が決定されるような変換を実行することを含む、ステップと
    を含む方法。
  14. コンピュータプログラムであって、コンピュータ上で実行された場合に、該コンピュータに請求項13に記載の方法のステップを実行させるプログラムコード手段を有するコンピュータプログラム。
JP2013547948A 2011-01-05 2012-01-04 特性信号から情報を抽出する装置及び方法 Active JP5984841B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11150151 2011-01-05
EP11150151.6 2011-01-05
PCT/IB2012/050033 WO2012093358A1 (en) 2011-01-05 2012-01-04 Device and method for extracting information from characteristic signals

Publications (2)

Publication Number Publication Date
JP2014501594A JP2014501594A (ja) 2014-01-23
JP5984841B2 true JP5984841B2 (ja) 2016-09-06

Family

ID=45498067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547948A Active JP5984841B2 (ja) 2011-01-05 2012-01-04 特性信号から情報を抽出する装置及び方法

Country Status (8)

Country Link
US (1) US9124777B2 (ja)
EP (1) EP2661219B1 (ja)
JP (1) JP5984841B2 (ja)
CN (1) CN103429144B (ja)
RU (1) RU2589389C2 (ja)
TR (1) TR201910715T4 (ja)
TW (1) TWI548397B (ja)
WO (1) WO2012093358A1 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
WO2013038326A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
US9241674B2 (en) 2011-09-29 2016-01-26 Koninklijke Philips N.V. Distortion reduced signal detection
BR112015008744A2 (pt) * 2012-10-23 2017-07-04 Koninklijke Philips Nv dispositivo de obtenção de informações de sinais vitais de um ser vivo; e método de obtenção de informações de sinais vitais de um ser vivo
BR112015009631A2 (pt) * 2012-11-02 2017-07-04 Koninklijke Philips Nv dispositivo para extrair informações fisiológicas de radiação eletromagnética detectada remotamente emitida ou refletida por um indivíduo; método para extrair informações fisiológicas de radiação eletromagnética detectada remotamente emitida ou refletida por um indivíduo; e programa de computador
BR112015012718A2 (pt) * 2012-12-04 2017-07-11 Koninklijke Philips Nv dispositivo para obter informações sobre sinais vitais de um ser vivo e método para obter informações sobre sinais vitais de um ser vivo
US20140267919A1 (en) * 2013-03-15 2014-09-18 Quanta Computer, Inc. Modifying a digital video signal to mask biological information
US9339210B2 (en) 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US10045702B2 (en) * 2013-10-17 2018-08-14 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
JP6349075B2 (ja) * 2013-11-22 2018-06-27 三星電子株式会社Samsung Electronics Co.,Ltd. 心拍数測定装置及び心拍数測定方法
CA2934659A1 (en) * 2013-12-19 2015-06-25 The Board Of Trustees Of The University Of Illinois System and methods for measuring physiological parameters
EP3125755A1 (en) * 2014-03-31 2017-02-08 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject
RU2015156254A (ru) * 2014-05-07 2017-07-04 Конинклейке Филипс Н.В. Устройство, система и способ выделения физиологической информации
EP3151728A1 (en) 2014-06-06 2017-04-12 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
GB2528044B (en) * 2014-07-04 2018-08-22 Arc Devices Ni Ltd Non-touch optical detection of vital signs
US8965090B1 (en) * 2014-07-06 2015-02-24 ARC Devices, Ltd Non-touch optical detection of vital signs
US20170224256A1 (en) * 2014-10-13 2017-08-10 Koninklijke Philips N.V. Device and method for detecting vital sign information of a subject
US9854973B2 (en) 2014-10-25 2018-01-02 ARC Devices, Ltd Hand-held medical-data capture-device interoperation with electronic medical record systems
KR101663239B1 (ko) * 2014-11-18 2016-10-06 상명대학교서울산학협력단 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
CN107427264A (zh) * 2015-04-30 2017-12-01 奥林巴斯株式会社 摄像装置、图像处理装置和图像处理方法
WO2016199940A1 (ja) * 2015-06-12 2016-12-15 ダイキン工業株式会社 脳活動推定装置
KR102061434B1 (ko) * 2015-06-16 2019-12-31 아이베리파이 인크. 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들
US9782094B2 (en) * 2015-07-31 2017-10-10 Medtronic, Inc. Identifying ambiguous cardiac signals for electrophysiologic mapping
EP3859717A1 (en) * 2015-08-10 2021-08-04 Yoti Holding Limited Liveness detection
EP3355787B1 (en) * 2015-09-29 2022-06-08 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US10413226B2 (en) 2015-11-09 2019-09-17 Arizona Board Of Regents On Behalf Of Arizona State University Noncontact monitoring of blood oxygen saturation using camera
WO2017093379A1 (en) * 2015-12-01 2017-06-08 Koninklijke Philips N.V. Device, system and method for determining vital sign information of a subject
US11191489B2 (en) 2016-01-15 2021-12-07 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
EP3414738B1 (en) 2016-02-08 2020-01-22 Koninklijke Philips N.V. Device, system and method for skin detection
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
WO2017148807A1 (en) 2016-03-01 2017-09-08 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a subject
GB201610594D0 (en) * 2016-06-17 2016-08-03 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
US20190200871A1 (en) 2016-06-24 2019-07-04 Koninklijke Philips N.V. System and method for vital signs detection
WO2018057753A1 (en) * 2016-09-21 2018-03-29 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space
JP7065845B6 (ja) 2016-10-27 2022-06-07 コーニンクレッカ フィリップス エヌ ヴェ 被検体のバイタルサインを得るためのデバイス、システム、方法、及びコンピュータプログラム
AU2017354968B2 (en) * 2016-11-04 2022-01-20 Icentia Inc. Computer-implemented method of handling electrocardiogram data
JP6767247B2 (ja) * 2016-11-29 2020-10-14 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
US10506926B2 (en) 2017-02-18 2019-12-17 Arc Devices Limited Multi-vital sign detector in an electronic medical records system
US10492684B2 (en) 2017-02-21 2019-12-03 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
US10602987B2 (en) 2017-08-10 2020-03-31 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
EP3479754A1 (en) 2017-11-01 2019-05-08 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
EP3485813A1 (en) 2017-11-16 2019-05-22 Koninklijke Philips N.V. System and method for sensing physiological parameters
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
EP3517034A1 (en) 2018-01-24 2019-07-31 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
EP3545821A1 (en) 2018-03-27 2019-10-02 Koninklijke Philips N.V. Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
EP3545822A1 (en) 2018-03-27 2019-10-02 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
TWI658815B (zh) 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置
US10485431B1 (en) 2018-05-21 2019-11-26 ARC Devices Ltd. Glucose multi-vital-sign system in an electronic medical records system
EP3581091A1 (en) 2018-06-12 2019-12-18 Koninklijke Philips N.V. System and method for determining at least one vital sign of a subject
EP3581092A1 (en) 2018-06-12 2019-12-18 Koninklijke Philips N.V. System and method for determining at least one vital sign of a subject
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3583888A1 (en) 2018-06-19 2019-12-25 Koninklijke Philips N.V. Device, system and method for image segmentation of an image of a scene including a subject
TWI743379B (zh) * 2018-07-18 2021-10-21 昇雷科技股份有限公司 生理徵象偵測系統之生理徵象訊號的偵測方法及生理徵象訊號之信心度的評估方法
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11224384B2 (en) * 2018-11-01 2022-01-18 Pixart Imaging Inc. Heart rate detection device and operating method thereof, physiological detection device
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3698704A1 (en) 2019-02-20 2020-08-26 Koninklijke Philips N.V. Device, system and method for determining physiological information
IT201900004009A1 (it) * 2019-03-20 2020-09-20 Milano Politecnico Metodo e sistema per orientare segnali elettromagnetici emessi da dispositivi in movimento
US20220167863A1 (en) * 2019-03-27 2022-06-02 Nec Corporation Blood volume pulse signal detection apparatus, blood volume pulse signal detection apparatus method, and computer-readable storage medium
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
WO2021247300A1 (en) 2020-06-01 2021-12-09 Arc Devices Limited Apparatus and methods for measuring blood pressure and other vital signs via a finger

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4166454A (en) 1977-02-17 1979-09-04 Robert Meijer Cardiac monitor
JPH09262213A (ja) 1996-03-28 1997-10-07 Toyota Central Res & Dev Lab Inc 生体情報検出装置
US6701170B2 (en) * 2001-11-02 2004-03-02 Nellcor Puritan Bennett Incorporated Blind source separation of pulse oximetry signals
JP4196209B2 (ja) * 2003-06-30 2008-12-17 日本光電工業株式会社 信号処理方法及びそれを適用したパルスフォトメータ
US10342558B2 (en) 2003-09-30 2019-07-09 Koninklijke Philips N.V. Target tracking method and apparatus for radiation treatment planning and delivery
US8360986B2 (en) 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
EP2265169A4 (en) 2008-04-03 2013-01-09 Kai Medical Inc NON-CONTACT PHYSIOLOGICAL MOTION SENSORS AND METHODS OF USE
US20090254603A1 (en) * 2008-04-03 2009-10-08 Alistair Duncan Access server for certifying and validating data in a processing network
US8391944B2 (en) * 2009-01-15 2013-03-05 Medtronic, Inc. Implantable medical device with adaptive signal processing and artifact cancellation
WO2010100594A2 (en) 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
JP5209545B2 (ja) * 2009-03-09 2013-06-12 株式会社デンソー 生体検査装置、プログラム、及び記録媒体
RU91838U1 (ru) * 2009-08-10 2010-03-10 Федеральное агентство по науке и инновациям (Роснаука) Носимый телекоммуникационный комплекс мониторинга функционального состояния человека
US8666116B2 (en) 2009-10-06 2014-03-04 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof

Also Published As

Publication number Publication date
TWI548397B (zh) 2016-09-11
EP2661219A1 (en) 2013-11-13
RU2013136484A (ru) 2015-02-10
JP2014501594A (ja) 2014-01-23
CN103429144A (zh) 2013-12-04
US9124777B2 (en) 2015-09-01
TR201910715T4 (tr) 2019-08-21
EP2661219B1 (en) 2019-05-15
CN103429144B (zh) 2016-04-27
TW201235010A (en) 2012-09-01
WO2012093358A1 (en) 2012-07-12
US20130271591A1 (en) 2013-10-17
RU2589389C2 (ru) 2016-07-10

Similar Documents

Publication Publication Date Title
JP5984841B2 (ja) 特性信号から情報を抽出する装置及び方法
US12064269B2 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
JP6067706B2 (ja) 歪が低減された信号検出
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
JP6138920B2 (ja) 遠隔検出される特性信号から情報を抽出するデバイス及び方法
US9241674B2 (en) Distortion reduced signal detection
WO2019030074A1 (en) DEVICE, SYSTEM AND METHOD FOR DETERMINING A PHYSIOLOGICAL PARAMETER OF A SUBJECT
US20220039678A1 (en) Device, system and method for obtaining a vital signal of a subject
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
Tong et al. An Accurate Non-contact Photoplethysmography via Active Cancellation of Reflective Interference

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160802

R150 Certificate of patent or registration of utility model

Ref document number: 5984841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250