JP6059726B2 - 歪み低減された信号検出 - Google Patents

歪み低減された信号検出 Download PDF

Info

Publication number
JP6059726B2
JP6059726B2 JP2014532513A JP2014532513A JP6059726B2 JP 6059726 B2 JP6059726 B2 JP 6059726B2 JP 2014532513 A JP2014532513 A JP 2014532513A JP 2014532513 A JP2014532513 A JP 2014532513A JP 6059726 B2 JP6059726 B2 JP 6059726B2
Authority
JP
Japan
Prior art keywords
reflection
signal
index element
basic
disturbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014532513A
Other languages
English (en)
Other versions
JP2014531934A (ja
Inventor
リースト アドリアーン ヨハン ファン
リースト アドリアーン ヨハン ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014531934A publication Critical patent/JP2014531934A/ja
Application granted granted Critical
Publication of JP6059726B2 publication Critical patent/JP6059726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography

Description

本発明は、特性信号から情報を抽出するためのデバイス及び方法に関し、特性信号は、電磁放射から導出可能なデータストリームに埋め込まれ、詳細には、データストリームは、連続又は別個の時系列特性信号を含み、特性信号は、信号空間に関連付けられた少なくとも2つのメインコンポーネントを有し、信号空間は、特性信号を表すための相補的なチャネルを有し、特性信号のメインコンポーネントは、信号空間のそれぞれの相補的なチャネルに関連する。本発明は、歪み低減された信号検出に更に対処する。
国際公開第2011/021128号は、
− 画像のシーケンスを得るステップと、
− 画像中に表された対象物の状態を分類するためのデータを得るために画像のシーケンスの少なくとも1つに対して視覚ベースの分析を実行するステップと、
− 画像のシーケンスの少なくとも幾つかにおいて表される生物の生理学的パラメータの少なくとも1つの値を決定するステップであって、生理学的パラメータの少なくとも1つの値は、視覚ベースの分析が実行された少なくとも1つの画像が得られた同じ画像のシーケンスからの画像データの分析によって決定される、ステップと、
− 視覚ベースの分析及び生理学的パラメータの少なくとも1つの値によって得られたデータを用いて対象物の状態を分類するステップと
を含む、画像分析のための方法および装置を開示している。
この文献は、前記方法及びシステムの幾つかの改良を更に開示している。例えば、遠隔フォトプレチスモグラフィ(PPG;photoplethysmographic)分析の使用が想定される。概して、記録されたデータの深い分析が可能にされたという点で、画像処理の分野において莫大な発展がもたらされた。この文書において、観察された生体(living individual)の物理的状態又は健康に関して詳細な結論を可能にするような手法で記録されたデータから情報を抽出することが想定され得る。
国際公開第2011/042858号は、少なくとも生物における周期的現象を表すコンポーネントを含む信号を処理することに対処する他の方法およびシステムを開示している。遠隔フォトプレチスモグラフィに対する追加の基本的なアプローチは、Verkruysse, W. et al (2008), "Remote plethysmographic imaging using ambient light" in Optics Express, Optical Society of America, Washington, D.C., USA, vol. 16, no. 26, pp. 21434-21445において述べられている。
しかしながら、獲得された反射又は放射された電磁放射(とりわけ、記録された画像フレーム)のような、記録されたデータは、そこから抽出されるべき所望の信号に加えて、例えば輝度状態の変更又は観察されたオブジェクトの運動に起因したノイズのような、全体的な外乱から導出する他の信号コンポーネントを常に有する。それ故、所望の信号の詳細な精密抽出は、斯様なデータの処理のための大きなチャレンジを依然としてもたらす。
コンピューティングパフォーマンスの分野において相当な発展がもたらされたにも関わらず、所望のバイタル信号の即時の、言わば、オンライン検出を可能にする、即時の画像認識及び画像処理を提供することが依然として課題である。これは、とりわけ、充分な計算能力を一般的に欠くモバイルデバイスアプリケーションに当てはまる。更に、データ伝送容量は、幾つかのアプリケーションにおいて限定され得る。
このチャレンジに対する考えられるアプローチは、所望の信号コンポーネントが信号を覆う信号成分を乱すことを最小限にするように埋め込まれる関心のありそうな信号を獲得するときに、準備万端で安定した周囲状態を与えることに向けられ得る。しかしながら、斯様な実験室の状態は、高い努力及び準備作業が必要とされるので、日常的なフィールドアプリケーションに移され得ない。
結局、バイタル信号検出は、信号成分を乱す公称値及び/又は振幅が抽出されるべき所望の信号成分の公称値及び/又は振幅より非常に大きい時により困難になる。潜在的に、それぞれの成分間の差分の大きさは、幾つかの順序を含むと思われ得る。これは、とりわけ、遠隔PPGに当てはまる。
それ故、本発明の目的は、より高い精度で所望の信号を得ることを促進する他の改良を与える、検出された特性信号から情報を抽出するためのシステム及び方法を提供することにある。
更に、著しく悪い周囲状態(例えば、小さい信号対雑音比、変化する輝度状態、及び/又は、観察されるべきオブジェクトの安定又は不安定な動作)の下で所望の信号の抽出を可能にするように適合されたデバイス及び方法を提供することが有利であるだろう。処理及び解析されるべき獲得された信号に影響を与える外乱にあまり影響を受けないように適合されたデバイスを提供することが更に有利であるだろう。
本発明の第1の態様において、検出された特性信号から情報を抽出するためのシステムが提示され、当該システムは、
− オブジェクトにより反射された電磁放射から導出可能なデータストリームを受信するためのインタフェースであって、前記データストリームは、連続又は別個の時系列特性信号を有し、前記特性信号は、信号空間に関連付けられた少なくとも2つの主成分を有し、前記信号空間は、前記特性信号を表すための相補的なチャネルを有し、前記特性信号の主成分は、前記信号空間のそれぞれの相補的なチャネルに関連する、インタフェースと、
− 線形代数方程式を特定するように実質的な線形代数信号組成モデルの考察の下で、規定された成分表現に前記特性信号をマッピングするためのコンバータ手段であって、前記特性信号は、生理学的反射成分及び妨害反射成分を少なくとも実質的に含み、前記生理学的反射成分は、観察されるべきオブジェクトの基本的な生理学的特性に対して起因性のある基本的反射部分と少なくとも1つの少なくとも部分的に周期的なバイタル信号に対して起因性のある指示的反射部分とを含む、コンバータ手段とを有し、
− 前記基本的反射部分は、基本的反射インデックス要素及び基本反射係数を有し、
− 前記指示的反射部分は、指示的反射インデックス要素及び時間依存性指示的反射係数を有し、前記指示的反射係数は、関心のありそうな前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を高度に示し、
− 前記妨害反射成分は、妨害反射インデックス要素及び妨害反射係数を有し、
当該システムは、
− 前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を高度に示す表現を導出するために、前記基本的反射インデックス要素、前記指示的反射インデックス要素及び前記妨害反射インデックス要素の向きの少なくとも近似の推定の考察の下で前記線形代数方程式を少なくとも部分的に解くための処理手段であって、前記の高度に示す表現は、前記指示的反射係数を少なくとも有する、処理手段を有する。
オブジェクト動作及び変化する照射状態は、とりわけ即時の信号検出が要求されるときの、信号検出の大きなチャレンジをもたらす。例えば、検出された照明変化は、オブジェクト動作によりもたらされ得る。これは、とりわけ、オブジェクト追跡が時間遅延のような制限にさらされるときに、又は、照明が極めて小さいエリアにおいてのみ一致しているときでさえ、当てはまる。更に、照明状態は、不安定な照明供給源、例えば変化する周囲光に起因して悪化し得る。これは、とりわけ、遠隔で獲得されたデータに基づく信号検出に当てはまる。
本発明は、特性信号が幾つかの現象に対して起因性のある信号部分に分解され得るという洞察に基づいている。この関係を考慮して、信号抽出は、幾つかの信号部分の向きに関する推定が根元的な問題を単純化するように適用され得るという点で、改良され得る。
換言すれば、定義された成分表現へ特性信号を"マッピング"し、それぞれの大きさを表すインデックス要素(例えば、単位ベクトル)及び係数へ前記信号を"分割"したときに、複雑な問題は、簡略化された下位の問題を有する表現に移され得る。それ故、データ処理は、これらの下位の問題にフォーカスされ得る。仮定及び推定は、下位の問題に向けられ、複雑な問題を処理することにおいて少なくとも部分的に寄与し得る。とりわけ、妨害反射成分の向きは、ある程度推定され得る。従って、特性信号は、妨害反射成分のために少なくとも部分的に補正され得る。信号対雑音比は、この手法で向上し得る。故に、ダウンストリーム信号分析は、著しく挑戦的な状態の下でも、単純化され得る。
データストリームは、データシーケンス、例えば、RGB画像のような色情報を有する一連の画像フレームを有し得る。画像フレームは、関心のありそうなオブジェクト及び他の要素を表し得る。基本的に、他の要素は、データストリームから抽出されるべき所望の信号を示すものではない。この点について、特性信号が3(例えばR、G及びB)又はより多くの主成分も有することが想定され得る。
コンバータ手段及び処理手段の幾つかの実施形態が存在する。第1の相当単純な実施形態において、コンバータ手段及び処理手段は、両方とも、処理ユニット、とりわけ、それぞれの論理コマンドにより駆動される、パーソナルコンピュータ又はモバイルデバイスの処理ユニットにより具現化される。斯様な処理ユニットは、適切な入力及び出力インタフェースを含んでもよい。
しかしながら、代替手段において、コンバータ手段及び処理手段のそれぞれは、それぞれのコマンドにより駆動されるか又は駆動可能な別々の処理ユニットにより具現化され得る。それ故、各それぞれの処理ユニットは、その特別な目的に適合され得る。従って、タスクの分布が適用されてもよく、異なるタスクが処理され、例えば、マルチプロセッサ処理ユニットの単一のプロセッサ上で実行されるか、又は、前と同じようにパーソナルコンピュータに言及して、画像処理に関連したタスクは、他の使用可能なタスクが中央処理ユニット上で実行される一方で、画像プロセッサ上で実行される。
他の信号最適化手段が特性信号を有するデータストリームに適用され得ることは言うまでもない。これらの手段は、動作補償(パターン検出(例えば、表面検出)又は正規化手段)を有し得る。正規化は、全体の乱れから少なくとも部分的に独立した信号成分をレンダリングし得る。この文書において、日常的な状態の下で、関心のありそうな信号が非指示的な外乱と比較して著しく小さいことが思い起こされる。更に、アップストリーム及び/又はダウンストリームフィルタは、データストリームの潜在的に非指示的な部分を減衰させるように利用され得る。
本デバイスの他の態様によれば、少なくとも1つの少なくとも部分的に周期的なバイタル信号は、心拍数、心拍、呼吸数、心拍変動性、Traube-Hering-Mayer波及び酸素飽和度からなるグループから選択され、信号空間は、加法的又は減法的な色信号空間であり、少なくとも2つの主成分は、相補的なチャネルにより示されたそれぞれの異なる色成分を表し、相補的なチャネルは、規定されたスペクトル部分に関連する。
有利には、これらのバイタル信号の少なくとも幾つかは、互いに変換され得る。特性信号の僅かな脈動又は振動は、所望のバイタル信号の検出に到達するように解析及び解釈され得る。更に、概して、所望のバイタル信号は、関心のありそうなオブジェクトが示す少なくとも1つの少なくとも部分的に周期的な信号から直接的又は間接的に導出され得ることが理解される。本発明のデバイス及び方法が、信号抽出を更に強化するために他の検出及び解析手段と組み合わせられ得ることは言うまでもない。
例えば、RGB信号空間が適用されてもよい。他の信号空間は、YUV、CIE XYZ、HSV、HSL、sRGB及びxvYCC信号を含んでもよいか、又は、これらから導出されてもよい。また、その派生物が利用され得る。基本的に線形のRGB信号が所望の信号検出のために利用され得ることに注意すべきである。それ故、非線形信号空間(例えばガンマ修正信号)は、適宜変換され得る。必要とされる解析プロセスに基づくより広いスペクトルを与えるように、幾つかの異なる信号空間を少なくとも部分的に組み合わせることが更に想定され得る。例えば、いわゆるRGBY信号が同様に適用され得る。RGBY信号空間において、赤、緑及び青に加えて、黄色の信号も色情報を運び得る。
入力データストリームが減法的な色モデル(例えば、CMYK)に関連する場合において、データは、付加的な信号空間に到達するように適宜移され得る。
他のスペクトル成分は、データストリームから所望のバイタル信号を抽出するために利用され得る。この点について、赤外線成分も適用され得る。例えば、赤及び赤外線信号の間の割合は、所望の信号を高度に示し得る。赤外線も鏡面反射を被り得る。赤外線信号をRGB信号空間に加えることも想定され得る。
他の態様によれば、本デバイスは、計算された高度に示す表現からバイタル信号を抽出するための抽出手段を更に有し、好ましくは、バイタル信号は、指示的反射係数、又は、指示的反射係数と基本的反射係数との割合の考察の下で抽出される。
例えば、指示的反射係数は、基本的反射係数又は基本的反射係数の平均により分割され得る。適切な強度正規化は、この手法において達成され得る。従って、所望の信号は滑らかにされ、これは、他の信号処理手段のために好ましいものと見なされ得る。
本デバイスの他の有利な実施形態によれば、基本的反射部分は、関心のありそうなオブジェクトが示す平均組織色を少なくとも実質的に示し、指示的反射部分は、関心のありそうなオブジェクトの組織色の少なくとも部分的に周期的な脈動を少なくとも実質的に示し、妨害反射成分は、妨害鏡面反射を少なくとも実質的に示す。
例えば、照明に関連した外乱のかなりの部分は、鏡面反射により説明され得る。鏡面反射は、界面での入射放射線の"完全な"反射である。基本的に、入射光線は、反射された光線に対応する。反射角は入射角に等しい。換言すれば、鏡面反射は、表面及び界面での鏡状の反射を意味する。更に、反射された光線は、電磁放射の供給源(即ち、照明供給源)を高度に示す。この関係は、特性信号の組成モデルを表す線形代数方程式を生成して解くために利用され得る。
主として拡散反射が所望のバイタル信号を与えることが理解される。拡散反射は、界面反射よりもむしろボディ反射を実質的に有する。例えば、ボディ反射は、ボディの関心のありそうなエリアの色の僅かな変化により影響される。色変化は、とりわけ、血液循環による脈管脈動により、もたらされ得る。所望のバイタル信号は、そこから導出され得る。更に、入射放射線は、ある程度吸収され得る。しかしながら、検出可能な反射された信号は、ほぼ確実に、妨害鏡面反射部分を有する。鏡面反射は、基本的に、界面(例えば、皮膚の上部表面)の下にあるオブジェクト特性により影響されることなく入射放射線を"映す"。とりわけ発汗している皮膚エリア及び油性の又は脂を含んだ皮膚エリアは、鏡面反射に非常に影響を受けやすい。或る状況(例えば、スポーツプラクティス、ワークアウト、物理的に労力を要する仕事)の下で、又は、疾患によっても、オブジェクトにより反射される電磁放射の大部分は鏡面反射に関連し得る。それ故、特性信号は、乏しい、即ちかなり小さい信号対雑音比を有するものと考えられ得る。
本デバイスの更に他の態様によれば、推定された指示的反射インデックス要素は、基本的反射インデックス要素の推定を有する表現及び予め決められた例示的な指示的反射インデックス要素の正規化された表現の考察の下で得られる。
皮膚タイプに依存した影響を回避するようにそれぞれの正規化と組み合わせられたサンプル指示的反射インデックス要素の最初の又は移動する推定は、コンバータ手段により構築された線形代数方程式を解くという適切なアプローチと見なされ得る。
例示的な測定の間に得られる予め決められた例示的な指示的反射インデックス要素は、それぞれの基本的反射インデックス要素が決定されたときに観察されるべきオブジェクトの他の指示的反射インデックス要素の決定を可能にし得ることが理解されるべきである。基本的に、基本的反射インデックス要素は、指示的反射インデックス要素の所望の推定のために利用され得る。例示的な指示的反射インデックス要素に適用される正規化は、皮膚タイプに依存する影響を少なくとも或る範囲で弱めるように方向付けられ得る。従って、正規化された(皮膚タイプに依存した)指示的反射インデックス要素は、本指示的反射インデックス要素を"置換する"ように、基本的反射インデックス要素と組み合わせられ得る。
有利な他のアプローチによれば、推定された指示的反射インデックス要素は、基本的反射インデックス要素及び妨害反射インデックス要素に及ぶ信号面に対して直交すると見なされ、推定された妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素により少なくとも実質的に配列される。
上で述べられたように、鏡面反射は基本的に入射放射線を"映す"。従って、妨害反射インデックス要素は、反射された放射線を放射する放射線供給源の色を示すものと見なされ得る。一般に、少なくとも実質的に白色の光は、放射線供給源により放射される。結果として、鏡面反射に関して、センサ手段により検出された鏡面的に反射された放射線も白色の放射線(光)を示す。特性信号に到達するように指示的パターンの主成分を凝集するときに、鏡面反射に関連した妨害反射成分は、基本的に、妨害反射インデックス要素と配列された"信号オフセット"をもたらす。信号オフセットの長さ(又は大きさ)は、鏡面反射に晒された指示的パターンのほんの僅かに起因し得る。白色光に関して、妨害反射インデックス要素は、信号空間を横断する斜めのベクトルと平行であると見なされ、斜めのベクトルは、放射線供給源特性を表す。(単位を構成する)RGB信号空間が適用される場合において、斜めのベクトルは、黒色ポイント、例えば、(0,0,0)で基本的に始まり、白色ポイント、例えば、信号空間の(1,1,1)で終了する。それ故、妨害反射インデックス要素は、ベクトル(1,1,1)により表され得る。妨害反射インデックス要素は、長さ情報を有する異なる値表現よりもむしろ方向(即ち、空間的な向き)を示すので、正規化(長さ)がそれぞれのベクトルに適用され得ることは言うまでもない。
全体の凝集されたパターンが鏡面反射に晒される場合において、特性信号は、斜めのベクトルに等しいものと見なされ得る妨害反射成分に実質的に対応する。観察されたパターンが鏡面反射により部分的にのみ作用される場合において、特性信号は、斜めのベクトルと平行であるが斜めのベクトルよりそれぞれ短いと見なされ得る妨害反射成分を部分的に含む。
非白色光が適用される場合において、"斜めのベクトル"が適宜適合され得ることが理解されるべきである。
推定された指示的反射インデックス要素が基本的反射インデックス要素に及ぶ面に対して直交するものと見なされ得ることを更に仮定すると、信号における所望のバイタル信号の変動が基本的反射インデックス要素とも妨害反射インデックス要素とも平行ではないと想定され得るので、妨害反射インデックス要素は、適切な仮定である。換言すれば、指示的反射インデックス要素が基本的反射インデックス要素の(正規化された)外積と見なされ得ると想定すると、妨害反射インデックス要素は、(予め決められた)例示的な指示的反射インデックス要素の正規化された表現が予め決定され得ない場合において、有利なアプローチである。
更に他の態様によれば、推定された基本的反射インデックス要素は、関心のありそうなオブジェクトの指示的エリアの特性信号の凝集された主成分から導出され、推定された妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素により少なくとも実質的に配列され、好ましくは、デバイスは、関心のありそうなオブジェクトを観察するときに、基本的反射インデックス要素の最初の決定を適用するように更に適合される。
例えば、関心のありそうなオブジェクトの顔部分が観察され得る。顔部分を探し出すときに、正規化は、顔部分を覆うそれぞれの(ピクセル)パターンの単一の(ピクセル)値を要約するように適用され得る。従って、特性信号は、単一の凝集された値を有し得る。特性信号は、この手法でオブジェクト動作及び/又は変化する照明に対して正規化され得る。
この実施形態の有利な変形によれば、推定された指示的反射インデックス要素は、基本的反射インデックス要素に対して少なくとも実質的に直交し、妨害反射インデックス要素に対して少なくとも実質的に直交するもの見なされる。
他の実施形態によれば、対数関数的信号表現は、規定された成分表現に適用され、好ましくは、基本的反射係数と妨害反射係数との間の想定された割合が、指示的反射係数の決定のために考慮される。
この実施形態は、とりわけ、対数関数的尺度を有する信号空間を利用するときに、適切であり得る。例えば、log RGB信号空間は、特性信号を表すために適用され得る。一般に、対数関数的データ表現は、広範囲の値の表現をより小さい範囲まで削減することにより、予想される乏しい信号対雑音比に対処し得る。更に、対数は、対数関数的値の簡略化された計算動作により複雑な計算が置換され得るか又は少なくとも近付けられ得るので、データ計算を促進し得る。更に、対数関数的データ表現は、他の簡略化された表現(例えば、テイラー列)を可能にする。それ故、例えば、2つの異なる値の割合に基本的に依存するデータ処理に関して、この割合は、(近付けられた)テイラー列に変換され得る対数関数的表現に変換され得る。従って、除算条件は、差分条件に容易に置換され得る。
この実施形態の変形によれば、基本的変化は、指示的反射係数の平均値がゼロより大きくなることを保証するように、規定された成分表現に適用され、バイタル信号は、指示的反射係数の変換された表現から導出され得る。
本発明の他の態様によれば、データ処理は、基本的反射インデックス要素の考察の下で、特性信号の正規化を更に有する。
本発明のさらに他の態様によれば、妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素の想定された標準的向きの考察の下で得られた基本的反射インデックス要素の予め決められた正規化された値を有する表現の考察の下で得られる。
この文書において、場合によっては、推定された(共通の)基本的反射インデックス要素が考慮され得ることが理解されるべきである。例えば、放射線供給源が基本的に白色光を放射するときに、基本的反射インデックス要素は、少なくとも或る範囲で、関心のありそうなオブジェクトの皮膚タイプから独立していると推定され得る。この推定を考慮すると、実際の基本的反射インデックス要素は、他の処理のための推定された基本的反射インデックス要素に置換され得る。
他の有利な変形によれば、デバイスは、特性信号並びに規定された期間の間の基本的反射係数、指示的反射係数及び妨害反射係数の生ずる表現をバッファリングするためのバッファ手段を更に有し、処理手段は、その支配的な周波数成分を決定するためにバッファリングされた指示的反射係数に対してフーリエ変換を適用するように更に適合され、基本的反射係数、指示的反射係数及び妨害反射係数は、それぞれの係数の内積を有する変換された信号表現に変換され、指示的反射インデックス要素は、変換された信号表現の考察の下で決定される。
指示的反射係数は、この手法で他の信号処理のための適格性のために評価され得る。基本的に、バッファリングされた指示的反射係数のフーリエ変換がそれぞれの周波数に関連したきれいな信号ピークを示すときに、他の処理は、指示的反射係数に適用され得る。この点について、最も大きな信号ピークと他の信号ピークとの割合に或る閾値を適用することが想定され得る。支配的な周波数は、この手法で決定され得る。
本発明の他の態様において、検出された特性信号から情報を抽出するための方法が示され、当該方法は、
− オブジェクトにより反射された電磁放射から導出可能なデータストリームを受信するステップであって、前記データストリームは、連続又は別個の時系列特性信号を有し、前記特性信号は、信号空間に関連付けられた少なくとも2つの主成分を有し、前記信号空間は、前記特性信号を表すための相補的なチャネルを有し、前記特性信号の主成分は、前記信号空間のそれぞれの相補的なチャネルに関連する、ステップと、
− 線形代数方程式を特定するために実質的な線形代数的信号組成モデルの考察の下で規定された成分表現に対して前記特性信号をマッピングするステップであって、前記特性信号は、生理学的反射成分及び妨害反射成分を少なくとも実質的に含み、前記生理学的反射成分は、観察されるべきオブジェクトの基本的生理学的特性に対して起因性のある基本的反射部分と、少なくとも1つの少なくとも部分的に周期的なバイタル信号に対して起因性のある指示的反射部分とを有する、ステップとを有し、
− 前記基本的反射部分は、基本的反射インデックス要素及び基本的反射係数を有し、
− 前記指示的反射部分は、指示的反射インデックス要素及び時間依存性指示的反射係数を有し、前記指示的反射係数は、関心のありそうな少なくとも1つの少なくとも部分的に周期的なバイタル信号を高度に示し、
− 前記妨害反射成分は、妨害反射インデックス要素及び妨害反射係数を有し、
当該方法は、
− 前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を高度に示す表現を導出するために、基本的反射インデックス要素、指示的反射インデックス要素及び妨害反射インデックス要素の向きの少なくとも近似の推定の考察の下で線形代数方程式を少なくとも部分的に解くステップであって、前記の高度に示す表現は、指示的反射係数を少なくとも有する、ステップを有する。
有利には、本方法は、本発明の情報を抽出するためのデバイスを用いて実行され得る。
本発明の他の態様によれば、コンピュータプログラムが提示され、当該コンピュータプログラムは、当該コンピュータプログラムがコンピュータ上で実行されたときに、コンピュータが本発明の情報を抽出するための方法のステップを実行することをもたらすためのプログラムコード手段を有する。
本発明の好ましい実施形態は、従属請求項において規定される。請求項に記載された方法は、請求項に記載されたデバイスと、及び、従属請求項においてされたものと、類似の及び/又は同一の好ましい実施形態を有することが理解されるべきである。
本発明のこれらの及び他の態様は、後述される実施形態から明らかになり、これらを参照して説明されるだろう。
本発明が用いられ得るデバイスの一般的なレイアウトの概略図を示す。 ボディ反射及び界面反射アプローチを利用した反射モデルの概略図を示す。 反射モデルの他の例示的な概略図を示す。 特性信号を表すインデックス要素を有する信号空間の例示的な概略図を示す。 説明として信号空間の他の例示的な簡略化された概略図を示す。 信号変換及び信号処理を有するシステムの概略図を示す。
図1は、参照番号10で示された情報を抽出するためのデバイスの概略図を示す。例えば、デバイス10は、遠隔PPGモニタリングのための遠隔オブジェクト12を表す画像フレームを記録又は処理するために利用され得る。画像フレームは、オブジェクト12により反射される電磁放射14から導出され得る。オブジェクト12は、人間若しくは動物、又は、一般に、生物であり得る。更に、オブジェクト12は、所望の信号を高度に示す人間の部分、例えば、顔部分、又は、一般に、皮膚部分であり得る。
日光16a若しくは人工の放射線供給源16b、幾つかの放射線供給源の組み合わせのような放射線の供給源がオブジェクト12に作用し得る。放射線供給源16a,16bは、基本的に、オブジェクト12に当たる入射放射線18a,18bを放射する。記録されたデータ(例えば、画像フレームのシーケンス)から情報を抽出するために、オブジェクト12の規定された部分は、センサ手段24により検出され得る。センサ手段24は、例えば、少なくとも電磁放射14のスペクトル成分に属する情報を獲得するように適合されたカメラにより具現化され得る。デバイス10は、既に予め記録され、及び、一方、格納又はバッファリングされた入力信号(即ち、入力データストリーム)を処理するように適合されてもよいことは言うまでもない。上記のように、電磁放射14は、少なくとも1つの少なくとも部分的に周期的なバイタル信号20を高度に示し得る連続又は別個の特性信号を含み得る。特性信号は、(入力)データストリーム26により具現化され得る。データ獲得に関して、オブジェクト12の潜在的な指示的部分は、ピクセルパターン22によってマスキングされ得る。付加的な成分のそれぞれの単一のピクセル値を凝集するときに、平均ピクセル値はピクセルパターン22から導出され得る。この手法において、検出された信号は、ある程度不所望なオブジェクト動作に対して正規化及び補正され得る。平均ピクセル値は、特性信号により表され得る。以下において、獲得されたデータストリーム26は、オブジェクト12の関心のありそうな或るエリアの表現と見なされ得る。これは、単一のピクセル、又は、好ましくは、複数のピクセルを覆う凝集されたピクセルエリアを覆い得る。
図1において、バイタル信号20は、心拍数、心拍、心拍変動性、呼吸割合又は酸素飽和度に関する幾つかの結論を可能にし得る。
例えば、斯様なバイタル信号を得るための一般的な方法は、触覚心拍数モニタリング、心電図記録法又はパルス酸素測定を含み得る。この目的を達成するために、しかしながら、目障りなモニタリングが要求される。上記のように、代替のアプローチは、画像処理方法を利用した控え目な遠隔測定に指向される。
連続又は別個の特性信号を有するデータストリーム26は、センサ手段24からインタフェース28に供給され得る。言うまでもなく、バッファ手段も、センサ手段24とインタフェース28との間に配置され得る。インタフェース28のダウンストリームに、データストリーム30が供給され得る入力フィルタ32が設けられ得る。入力フィルタ32は、オプションと見なされ、これは、破線により示される。入力フィルタ32は、供給されたデータストリーム30をフィルタリングするために適合され得る。例えば、入力フィルタは、バンドバスフィルタリング、ハイパスフィルタリング及び/又はローパスフィルタリング手段を有し得る。幾つかのアプローチに関して、入力フィルタリングは、データストリームから不所望な(周波数)部分を少なくともある程度除去するような適切な手段と見なされ得る。入力フィルタ32は、ハードウェア又はソフトウェアによって具現化され得る。フィルタリングされたデータストリーム34は、この手法で得られ得る。
フィルタリングされたデータストリーム34は、データストリーム26,30,34の(想定された)成分の考察の下で規定されたデータ表現を構築するように、コンバータ手段36に供給され得る。この目的を達成するために、データストリーム26,30,34に含まれる特性信号は、生理学的反射成分及び妨害反射成分を取り込む信号組成モデルに基本的に等しい。更に、生理学的反射成分は、基本的反射部分及び指示的反射部分に起因し得る。指示的反射部分は、関心のありそうな信号を高度に示すと見なされる。これらの関係を意味している方程式を"確立する"ことにより、信号抽出の根底にある問題は、更に適切な信号処理手段のために単純化及び準備され得る。
コンバータ手段36のダウンストリームに、変換されたデータストリーム38が供給され得る処理手段40が設けられる。コンバータ手段36は、コンバータ手段36によりセットされた方程式を少なくとも部分的に解くために適合される。従って、処理されたデータストリーム42が得られ得る。例えば、処理されたデータストリーム42は、指示的反射部分(例えば、指示的反射部分の時間的な"強さ"又は"エネルギ"を示す表現)に関連した値を有し得る。基本的に、指示的反射部分は、関心のありそうな所望の信号に従って僅かに脈動すると思われる。
処理されたデータストリーム42は、オプションの強度正規化手段44を利用することにより、更に最適化され得る。強度正規化は、関心のありそうなバイタル信号を示さないがむしろ全体強度変化を示すと思われる信号成分の考察を有し得る。例えば、強度変化は、変化する照明状態を有し得る。従って、正規化されたデータストリーム46が得られ得る。
他のオプショナルなデータ処理手段は、出力フィルタ48により実行され得る。出力フィルタ48は、信号品質を更に強化し得る。出力フィルタ48は、潜在的な指示的(周波数)信号部分を強化するように、バンドバスフィルタリング、ハイパスフィルタリング及び/又はローパスフィルタリング手段を有し得る。
フィルタリングされたデータストリーム50は、フィルタリングされたデータストリーム50から関心のありそうなバイタル信号20を抽出するために適合され得る抽出手段52に供給され得る。例えば、指示的反射部分に関連した条件を含む特性信号の成分は、高度な指示的条件を導出するように比較され得る。従って、抽出された出力信号54が生成され得る。更に、抽出手段52は、他の信号処理(例えば、心拍数指示的周波数ピークのような、支配的な信号ピークの検出)のために適合され得る。
入力フィルタ32、コンバータ手段36、処理手段40、強度正規化手段44、出力フィルタ48及び抽出手段52は、共通の処理ユニット56(例えば、単一のプロセッサ又は複数のプロセッサを有する中央処理ユニット)により共同で具現化され得る。また、インタフェース28は、それぞれのサブコンポーネントを収容する共通処理ユニット56において、これに接続され得る。例えば、処理ユニット56は、それぞれの論理コマンドにより駆動されるパーソナルコンピュータにより具現化され得る。センサ手段24がハードウェアによってインタフェース28に共同で接続される場合において、より高いレベルに設けられた獲得ユニットは、それぞれのサブコンポーネントを収容してもよい。
しかしながら、代替手段において、分離センサ手段24を処理ユニット56と組み合わせることが想定され得る。この接続は、ケーブルリンクによって、又は、無線リンクによって確立され得る。センサ手段24の代わりに、予め記録されたデータを有するストレージ手段が処理ユニット56に接続され得る。
以下のセクションは、本発明のデバイス及び方法の幾つかの態様を利用した遠隔フォトプレチスモグラフィに対する例示的なアプローチを述べる。示されたアプローチ及び実施形態の単一のステップ及び特徴は、説明のコンテキストから抽出され得ることが理解され得る。それ故、これらのステップ及び特徴は、本発明の範囲により依然としてカバーされる別々の実施形態の部分であり得る。
遠隔検出器を用いた控え目なバイタル信号モニタリングが導入された。例えば、ビデオカメラが利用され得る。例えば、関心のありそうなバイタル信号は、心拍数、心拍又は呼吸割合を有し得る。とりわけ、これらの試みの幾つかは、遠隔フォトプレチスモグラフィ(PPG)と呼ばれ得る。
遠隔PPGのための考えられるアプローチは、血液量及び血液酸化により変化又は変動する、関心のありそうなオブジェクトの平均的な皮膚の色を探し出すアルゴリズムを有し得る。一般に、しかしながら、この一般的なアプローチは、これらの現象に影響を受けたときに所望の信号が適宜歪むので、動作、皮膚の色の局所的変動及び照明レベル/スペクトルに対して非常に敏感である。
いわゆる加法的歪みは、これらの基本アプローチのための大きなチャレンジと見なされ得る。基本的に、加法的歪み(例えば、鏡面反射の変化)は、関心のありそうな信号(例えば、心拍信号)を含まない。それ故、既知のアプローチ及びアルゴリズムのパフォーマンスは、加法的歪みに直面したときに大幅に悪化するかもしれない。
標準的なフォトプレチスモグラフィ(PPG)は、非侵襲的手段で所望のバイタル信号を得るために用いられ得る。例えば、心血管パルスがモニタされ得る。しかしながら、標準的なPPGは、関心のありそうなオブジェクト(例えば、指先又は耳たぶ)に確実に固定されるアタッチメントを利用する。それ故、標準的なPPGは、依然として目障りな方法と見なされ得る。一般に、PPGは、血液量の局所的変化又は酸素飽和度の変化により変化すると見なされ得る光の反射又は伝送を利用する。例えば、異なる波長(例えば、赤色光及び赤外線)の発光ダイオード(LED)は、関心のありそうなオブジェクトに指向された放射線を生成するために用いられ得る。更に、フォトダイオード検出器は、光変化を検出するように用いられ得る。従って、例えば、心拍数を推定するために、赤色光及び赤外線に対するフォトダイオード応答に対応する、2つの時間信号
Figure 0006059726
及び
Figure 0006059726
の割合
Figure 0006059726
が解析され得る。
Figure 0006059726
ここで、
Figure 0006059726
及び
Figure 0006059726
は、それぞれ、信号
Figure 0006059726
及び
Figure 0006059726
の平均値に対応する。割合は、LEDの強度のための、及び、皮膚色のための信号を正規化するように見なされる。基本的に、信号
Figure 0006059726
は、心血管パルスを示し、心拍数は、基本的に、生ずる信号
Figure 0006059726
の周波数分析を介して決定され得る。
例えば一体的正規化のため、信号
Figure 0006059726
の平均
Figure 0006059726
が基本的に1に等しいと推定するときに、式(1)が書き直され得る。信号
Figure 0006059726
の(例えば心拍数に関連した)交互の挙動が特に興味あるものであり得るので、平均
Figure 0006059726
(即ち、1)は、適宜減算され得る。
Figure 0006059726
この文書において、赤外線に対する赤色の割合は、所望の信号の抽出に対する例示的なアプローチであることが理解されるべきである。例えば、緑色に対する赤色の割合が利用され得る。規定されたスペクトル部分に関連する信号成分までの関連する他の割合は、同様に見なされ得る。
上記の表現の分母が1に近いと更に仮定したときに、この表現は、差分信号条件により近づけられ得ると結論付けられ得る。
Figure 0006059726
しかしながら、赤外放射線指示的分母条件において"可視である"外乱を含む場合に関して、とりわけ、遠隔PPGアプリケーションに関して、この近似値は、不適当であると見なされる。
代わりに、対数演算子は、方程式(1)において与えられた信号
Figure 0006059726
の表現を単純化するために利用され得る。これは、割合
Figure 0006059726
及び
Figure 0006059726
が両方とも1に近いことに従う仮定を考慮し、対数関数的表現、例えば、
Figure 0006059726
の近似値のための対数演算子のテイラー列を更に利用して、
Figure 0006059726
をもたらす。対数演算子の利点は、基本的に、(例えば、光源(例えばLED)の強度、及び、関心のありそうなオブジェクトが示す皮膚の色に向けられる)輝度正規化は、対数関数的演算子が
Figure 0006059726
をもたらすので、回避され得るという事実において理解され得る。条件
Figure 0006059726
は、関心のありそうな周波数範囲の外側の歪みを低減するような信号のバンドパスフィルタリングを考慮したときに、除去され得る。
基本的に、2つの(おおよそ別個の)波長(例えば、赤色及び赤外線)は、関心のありそうな信号(例えば、心血管パルス)を測定するために用いられ得る。しかしながら、本アプローチは、これらの波長に制限されない。しかしながら、カメラベースの測定に依存する基本的な遠隔PPGアプローチが導入されたので、赤色、緑色及び青色信号(RGB)も、信号処理のために、及び、関心のありそうなバイタル信号を検出するために利用可能になる。
また、遠隔測定は、幾つかの大きな外乱の影響に晒される。例えば、鏡面反射も不所望なオブジェクト動作も、カメラにより観察される。従って、信号対雑音比は、大幅に悪化し得る。この点について、これらの外乱を説明することが望ましいだろう。主な外乱に気づいて、その基本的な特性を考慮すると、信号検出は、高度に改良され得る。
以下において、二色性反射モデルが導入され、これは、乏しい信号対雑音比に直面したときであっても、所望の信号の検出を可能にする適切なアプローチと見なされ得る。二色性の反射モデルは、光(又は、一般に、電磁放射)が僅かな入射光を反射する表面層と散乱された反射及び(皮膚)着色を生成する着色剤を有する組織層とを有する媒体とどのようにインタラクトするかをモデル化する。
この点について、2つの媒体62,64間の界面60での入射放射線70の反射を示す図2が参照される。参照番号62は、入射放射線70が伝播する空気を示す。参照番号64は、入射放射線70が指向される皮膚組織を示す。界面60は、空気62と皮膚組織64との間に配置される。界面60は、皮膚の上部表面と見なされ得る。皮膚組織64は、関心のありそうな信号(例えば、心拍数)によって僅かに変動する着色剤66を有してもよい。界面又は上部表面60は、巨視的な面法線68及び微視的な面法線74(後者は微視的な表面起伏に対して起因性がある)を有してもよい。それ故、界面60で(完全な)鏡面反射に晒される入射放射線70も、巨視的な面法線68よりもむしろ微視的な面法線74に対応する反射角度で反射され得る。反射された放射線は、参照符号76により示される。巨視的な面法線68の認識によって予期されるべき反射された放射線は、参照符号72により示される。しかしながら、以下の解明のために、微視的な面法線74は、巨視的な面法線68と同等視され得る。
更に、入射放射線70のかなりの成分は、界面60よりもむしろ皮膚組織着色剤66により反射される。反射は、参照符号78、78´、78´´により示されるような繰返し反射を含んでもよい。皮膚組織着色剤66が皮膚組織64において不均質に分配され、それぞれの色が、時間に渡って変化し得るので、いわゆるボディ反射は、実質的に拡散反射であると見なされ得る。ボディ反射による反射された放射線は、参照符号80により示される。それ故、鏡面反射成分76に加えて、拡散散乱された反射成分80も、関心のありそうなオブジェクトにより反射され得る。
それ故、入射光又は照射の一部は、拡散反射成分(即ち、ボディ反射成分80)により反射され、これは、皮膚を介して進行し、所望のバイタル信号(例えば、心拍数)に起因したその変動を含む皮膚色を表す。この反射成分は、関心のありそうな信号を高度に示す。
逆に、皮膚の上部表面60で直接反射した鏡面反射成分76は、主として発光物の色を示し、関心のありそうなかなりの信号を有さない。
それ故、関心のありそうなオブジェクトにより反射される照射の2つのフラクションが発生してもよい。組み合わせにおいて、これらのフラクションは、観察された特性信号(例えば、観察された色)を形成する。照明状態は、例えばオブジェクト動作に起因して、時間に渡って変化してもよい。従って、特性信号も、時間に渡って広く変化してもよい。
二色性反射モデルは、波長に対する反射された光の全体の照射Pが2つの独立した部分の合計であると基本的に述べる。
Figure 0006059726
ここで、iは、入射角であり、eは、放射率の角度であり、gは、図3に示された位相角である。図3において、参照符号70は、照明(入射光)の方向に対応する。参照符号74,68は、説明の便宜上図3において一体化されたそれぞれの面法線を示す。参照符号76は、関心のありそうなオブジェクトの界面で反射される鏡面反射成分を表す。参照符号84は、表示方向を示す。更に、完全性のために、図3は、鏡面反射76の方向とセンサ手段24の位置及び/又は向きを示す表示方向84との間の角度を示す角度sを示す。
以下において、角度sは、式(5)のスペクトルパワー分布sと混同されるべきでない。
式(5)は、2つの相対的なスペクトルパワー分布s及びbを有する。基本的に、s及びbは、放射線の波長λに依存する。sが界面反射成分と見なされ得る一方で、bは、ボディ反射成分と見なされ得る。係数m及びmは、幾何学的形状に実質的に依存する。係数m及びmは、ボディ反射成分b及び界面反射成分sの幾何学的な尺度因子と呼ばれ得る。
便宜のために、式(5)は、実際に用いられたセンサ手段(例えばカメラ)のスペクトル応答特性を考慮したときに、要約されたベクトル空間表現
Figure 0006059726
に移され得る。例えば、赤色、緑色及び青色フィルタのようなセンサ手段のフィルタ特性が考慮され得る。全体で、式(5)は、反射された光の全体強度をもたらすように適用される照明のスペクトルに渡って一体化され得る。式(6)におけるこの結果は、関心のありそうな表面上の特定のポイントのための、信号空間(例えばRGB色空間)に関する二色性反射モデルを与える。大きさm及びmは、スカラーとみなされ得る。ベクトル
Figure 0006059726
は、測定された色、または、特性信号を表す。係数m及びmは、問題となっているポイントの反射の大きさと見なされ得る。ベクトル
Figure 0006059726
及び
Figure 0006059726
は、関心のありそうなオブジェクトの(鏡面反射とも呼ばれる)界面反射及び(生理学的反射とも呼ばれる)ボディ反射の色を表す。
測定された(全体的な)色
Figure 0006059726
(特性信号とも呼ばれる)は、オブジェクト表面上の一組の(ピクセル)ポイントを表し、これは、多少一様に着色され得る(皮膚色)と仮定され得る。基本的に、幾何学に関連した因子は、次から次へと異なる。それ故、スケールファクタm及びmは、次から次へと変化し得る。しかしながら、界面及びボディ反射の色
Figure 0006059726
及び
Figure 0006059726
は、幾何学によって変化しないs(λ)及びb(λ)のスペクトル投射とみなされ得るので、実質的に関心のありそうな表面上のあらゆる点において不変のままである。換言すれば、ベクトル表現を適用したときに、各ピクセル信号
Figure 0006059726
は、双方の(二色性プレーンとも呼ばれる)色ベクトル
Figure 0006059726
及び
Figure 0006059726
に渡る面にある。従って、色
Figure 0006059726
は、(同じスペクトルであるが異なる強度を有する)照明状態から独立しているものとみなされ得る。
有利なアプローチによれば、二色性反射モデルは、ボディ反射ベクトル
Figure 0006059726
又は生理学的反射成分に関する他の仮定により拡張され得る。上で述べられるように、オブジェクトの皮膚組織の吸収度の僅かな変化は、関心のありそうなバイタル信号を抽出するために検出され得る。換言すれば、(実際の)ボディ反射ベクトル
Figure 0006059726
は、平均ボディ反射ベクトル
Figure 0006059726
の周りで時間的に(僅かに)振動する。便宜のために、これらの振動は、ベクトルにより述べられ得るか、又は、ベクトルにより少なくとも線形的に近付けられ得ると仮定され得る。従って、ベクトルは、心拍ベクトル
Figure 0006059726
として分類され得る。ベクトル
Figure 0006059726
を二色性反射モデルに取り込むことは、信号検出及び処理を促進するために二色性反射モデルを拡張するための適切な手段と見なされ得る。従って、関心のありそうなピクセル(又は、ピクセルパターン)の特性信号
Figure 0006059726
(例えば、RGB値)は、(平均)ボディ反射ベクトル
Figure 0006059726
、界面ベクトル
Figure 0006059726
及び心拍ベクトル
Figure 0006059726
の実質的な線形的組み合わせにより述べられ得る。
Figure 0006059726
便宜のために、平均ボディ反射ベクトル
Figure 0006059726
のハットは、以下のように落とされ得る。
Figure 0006059726
ベクトル
Figure 0006059726
(例えば、心拍ベクトル)は、一定のベクトルではなく、照明の色、カメラの応答性、赤色、緑色及び青色チャネルのフィルタ応答及び対象物の皮膚色に依存することが理解されるべきである。基本的に、同じことがベクトル
Figure 0006059726
及び
Figure 0006059726
に当てはまる。従って、ベクトル
Figure 0006059726
は、センサ手段(カメラ)ごとに、及び、放射線供給源(照明)のタイプごとに決定されなければならない。しかしながら、以下の解明に基づいて、皮膚タイプ(即ち、皮膚色)は役割を果たさないと結論付けられ得る。それ故、一般に、これは、或る皮膚タイプを有する関心のありそうな例示的なオブジェクトのための安定した照明状態の下でセンサ手段のための心拍ベクトル
Figure 0006059726
を推定するのに十分であると見なされ得る。その後、(実際の)心拍ベクトル
Figure 0006059726
は、実際の皮膚タイプのためのボディ反射ベクトル
Figure 0006059726
の推定を用いることにより個別に推定され得る。潜在的に、この洞察は、以下のように利用され得る。関心のありそうな対象物が、時間の短い期間の間(例えば、数秒)、依然として残る場合には、心拍ベクトル
Figure 0006059726
は、時間のこの短い期間において関心のありそうなオブジェクトの皮膚ピクセルの平均の赤色、平均の緑色及び平均の青色値に適用される本質成分分析を介した中間手段において容易に決定され得る。基本的に、それぞれの平均の赤色、平均の緑色及び平均の青色値は、実際のボディ反射ベクトル
Figure 0006059726
を示すものとみなされ得る。
代替手段において、ベクトル
Figure 0006059726
は、それぞれの赤色、緑色及び青色信号の指示的周波数ピークの考察を介して導出され得る。この目的を達成するために、例えば、フーリエ変換は、それぞれの大きさスペクトラムを得るために信号に適用され得る。同じ周波数での赤色、緑色及び青色信号の各々に少なくとも実質的にあるかなりのピークは、心拍ベクトル
Figure 0006059726
を示し得る。従って、それぞれの赤色、緑色及び青色ピークの大きさは、ベクトル
Figure 0006059726
を"構成する"ために利用され得る。それ故、心拍ベクトル
Figure 0006059726
の向きが決定され得る。言うまでもなく、心拍ベクトル
Figure 0006059726
は、ベクトル
Figure 0006059726
が心拍に関連した信号部分
Figure 0006059726
の(想定された)向きを単に示すだけなので、単位ベクトル又は類似のものに更に変換され得る。
この点について、図4a及び4bが参照される。図4aは、例示的な信号空間88(例えばRGB色空間)を示す。信号空間88は、スペクトル情報(例えば、赤色、緑色及び青色チャネル)を示す相補的なチャネル90a,90b,90cを有する。例えば、信号空間88は、"一体的な"信号空間と見なされ、相補的なチャネル90a,90b,90cに沿った成分は、ゼロと1との間の値を取り得る。ゼロ及び1の範囲から逸脱した他の値の範囲が想定され、適宜扱われ得る。図4bは、説明の便宜上、単に2つの相補的なチャネル90a,90bだけを有する簡略化された信号空間88´を示す。換言すれば、信号空間88´は、信号空間88の"スライス"と見なされ得る。例えば、特性信号98
Figure 0006059726
は、強度値(例えば、p,p及びp)を示す主成分92a,92b,92cにより表され、特性信号98(又は
Figure 0006059726
)は、それぞれの相補的なチャネル90a,90b,90cに関連するもので構成される。参照符号94は、輝度インデックス要素を示す。輝度インデックス要素94は、入射放射線(例えば光源)の供給源を示す。輝度インデックス要素94は、信号空間88を横断する斜めのベクトルと見なされ得る。これは、とりわけ、放射線源16が基本的に単調な白色光を放射するときに適用する。好ましくは、放射線源16の"色"は、信号空間88の白色ポイント(例えば1,1,1)に等しい。
上で概説された反射モデルによれば、検出された特性信号98(又は
Figure 0006059726
)は、生理学的反射成分100及び妨害反射部分102(又は
Figure 0006059726
)の加法的な組み合わせと見なされ得る。生理学的な反射成分100は、基本的な反射部分104(又は、
Figure 0006059726
及び、
Figure 0006059726
のそれぞれ)及び指示的反射部分106(又は
Figure 0006059726
)で構成されると更にみなされ得る。換言すれば、生理学的反射成分100は、基本的反射部分104及び指示的反射部分106の線形的組み合わせと見なされ得る。基本的反射部分104は、平均ボディ反射ベクトル
Figure 0006059726
(又は
Figure 0006059726
)及びそれぞれの係数cを表す。上で概説されるように、(実際の)ボディ反射ベクトル
Figure 0006059726
は、平均ボディ反射ベクトル
Figure 0006059726
(又は
Figure 0006059726
)周辺で時間的に振動する。それ故、完全性のために、図4a及び図4bは、生理学的反射成分100とも呼ばれる、それぞれの実際のボディ反射条件(
Figure 0006059726
)を示す。条件
Figure 0006059726
、又は、妨害反射部分102は、鏡面反射が基本的に入射光を映すので、輝度インデックス要素94に平行と見なされる。それ故、それぞれの信号成分102は、例えば輝度インデックス要素94により示される、光源特性を少なくとも部分的に示す。
信号空間88は、妨害反射成分102及び基本的反射部分104により基本的に形成される二色性プレーン96を更に有する。又は、換言すれば、二色性プレーン96は、ベクトル
Figure 0006059726
及び
Figure 0006059726
に及ぶ。以下において、
Figure 0006059726

Figure 0006059726
及び
Figure 0006059726
、は、向き及び方向を示す単位ベクトルと見なされ得る一方で、c,c及びc、は、長さを示すそれぞれの係数と見なされ得る。指示的反射部分106(又は
Figure 0006059726
)を無視するときには、残りの信号成分102,104は、二色性プレーン96にあると見なされ得る。
更に、図2を参照したときに、生理学的反射成分100は、(所望の信号を取り込む)ボディ反射80まで遡られ得る一方で、妨害反射成分102は、界面反射76まで遡られ得る。
以下のセクションにおいて、上で概説された拡張された二色性の反射モデルの考察の下の標準的な(目障りな)フォトプレチスモグラフィへのアプローチが与えられる。標準的なPPGに関して、心拍信号は筐体(例えば、パルス酸素濃度計)において一般に測定され、鏡面反射による歪みは役割を果たさない。従って、(拡張された)二色性反射モデルにおける鏡面反射成分
Figure 0006059726
は、基本的にゼロに等しいと推定され得る。従って、センサ手段を介して得られる特性信号
Figure 0006059726
は、ボディ反射ベクトル
Figure 0006059726
及び心拍ベクトル
Figure 0006059726
(c=0による式(7)参照)の線形的組み合わせにより述べられ得る。
Figure 0006059726
ここで、ベクトル
Figure 0006059726
は、(以下において主成分とも呼ばれる)それぞれの赤色及び赤外線信号を含み得る。nは、時間に対応する。又は、より明示的には、
Figure 0006059726
である。この文書において、RGB信号もベクトル
Figure 0006059726
の主成分として利用され得ることが理解されるべきである。例えば、赤色及び緑色信号は、関心のありそうな所望のバイタル信号を検出するように解析され得る。
Figure 0006059726
(基本的に心拍信号はゼロ平均を示す)の考察の下で条件を更に正規化したときには、
平均ベクトル
Figure 0006059726
は、
Figure 0006059726
に等しい。
更に、赤色及び赤外線信号は、それぞれの信号をこれらの平均値により除算してこの表現を式(2)及び(3)に結びつけることにより、変化する輝度強度及び皮膚色の差分に対して正規化され得る。正規化は、基本的に、照明の平均強度
Figure 0006059726
及びボディ反射ベクトル
Figure 0006059726
による除算を有する。ボディ反射ベクトル
Figure 0006059726
は、オブジェクトの皮膚により赤色光及び赤外線の(平均の)反射の結果と見なされ得る。この除算は、正規化されたベクトル
Figure 0006059726
をもたらす。
Figure 0006059726
ここで、
Figure 0006059726
は、常の
Figure 0006059726
標準を示し、対角行列Bは、対角線上にボディ反射ベクトル
Figure 0006059726
を有し、ベクトル
Figure 0006059726
は、値1を含むベクトルであり、ベクトル
Figure 0006059726
は、皮膚タイプから独立している正規化された心拍ベクトルに対応する。
Figure 0006059726
基本的に、皮膚色は、この正規化によりグレーになることが理解されるべきである。換言すれば、ボディ反射ベクトルは、式(8)を参照すると、ベクトル
Figure 0006059726
に等しい。代替手段において、1つは、ボディ反射ベクトル
Figure 0006059726
及び正規化された心拍ベクトル
Figure 0006059726
の推定から始まり得る。ここから、心拍ベクトル
Figure 0006059726
は以下のように導出され得る。例えば、RGB信号空間において、
Figure 0006059726
である。この表現は、単位長に対する正規化と組み合わせにおける式(9)に基づく。
以下のセクションにおいて、提示されたアプローチは、遠隔(控え目な)フォトプレチスモグラフィを更にカバーするように拡張される。遠隔PPGに関して、鏡面反射が考慮されなければならない。上で概説された拡張された二色性反射モデルによれば、遠隔センサ手段から得られた特性信号
Figure 0006059726
は、ボディ反射ベクトル
Figure 0006059726
、心拍ベクトル
Figure 0006059726
及び界面反射ベクトル
Figure 0006059726
の線形的組み合わせとして述べられ得る(式(7)も参照)。
Figure 0006059726
関心のありそうなオブジェクトの心拍数を推定するために、時間依存型信号cは、標準的なPPGの場合と同様に、解析されなければならない。この信号を解析するために、これは、2つの他の信号c及びcから分離されなければならない。更に、照明の(変化する)強度の効果を低減するために、信号cは、強度c又は平均強度
Figure 0006059726
により除算(又はこれらに対して正規化)され得る。しかしながら、これは、オプショナルなステップと見なされ得る。とりわけ、小さな強度変化だけが予期されるときには、強度正規化は省略され得る。他の例示的な正規化ステップは、生ずる信号のボディ反射ベクトル
Figure 0006059726
による除算を有し得る。
以下のセクションにおいて、信号c,c及びcの代数分離へのアプローチが示される。式(11)は、行列ベクトル積
Figure 0006059726
及び
Figure 0006059726
において書き直され得る。ここで、cは、基本的反射係数とも呼ばれ得る。cは、指示的反射係数とも呼ばれ得る。cは、妨害反射係数とも呼ばれ得る。
この表現を考慮すると、信号c,c及びcは、少なくとも原理上、この表現を両側の逆行列T−1により乗算することにより得られ得ることが結論付けられ得る。
Figure 0006059726
式(12)は、規定された成分表現の考察の下で構築される線形代数方程式と見なされ得る。従って、関心のありそうなバイタル信号u(n)、例えば、心拍信号は、
Figure 0006059726
又は単純に
Figure 0006059726
になる。更に、信号uは、関心のありそうな周波数範囲の外側の周波数コンテンツをフィルタリングするためにバンドパスフィルタによりフィルタリングされ得る。
逆行列T−1を計算するために、ボディ反射ベクトル
Figure 0006059726
及び鏡面反射ベクトル
Figure 0006059726
が推定されなければならない。更に、上で示すように、心拍ベクトル
Figure 0006059726
は、式(10)を参照して、ボディ反射ベクトル
Figure 0006059726
から導出されてもよい。鏡面反射条件に関して、皮膚のような高い油分又は水分を有する材料に関して、材料の表面から反射される光は、基本的に、発光物と同じ色を呈するように見えることが考慮され得る。第1の近似値として、照明が白色(例えば、RGB=1,1,1)であることが明確に想定され得る。即ち、鏡面反射ベクトル
Figure 0006059726
は、1のベクトル
Figure 0006059726
に等しいと見なされ得る。更に、ボディ反射ベクトル
Figure 0006059726
は、フレームの獲得されたシーケンスの最初のフレームにおいて関心のありそうなオブジェクトの皮膚ピクセルの平均の赤色、平均の緑色及び平均の青色と同じであると見なされ得る。従って、単位長に対する正規化が適用され得る。
Figure 0006059726
それ故、関心のありそうな信号uは、式(12)及び(13)を適用することにより得られ得る。
式(10)を用いる代わりに、ボディ反射ベクトル
Figure 0006059726
及び界面ベクトル
Figure 0006059726
に直交するベクトルを指示的(心拍)ベクトル
Figure 0006059726
として用いることが想定されてもよい。このアプローチは、有利な想定によれば、指示的(心拍)ベクトル
Figure 0006059726
は、
Figure 0006059726
及び
Figure 0006059726
並びにそれ故、基本的に二色性プレーンの外のポイントから独立している(図4a中の参照符号96を参照)という洞察に基づいている。従って、変化する照明状態は、指示的(心拍)ベクトル
Figure 0006059726
に大幅に影響を及ぼさない。
以下のセクションにおいて、上で概説されたモデル及びアプローチは、対数関数的信号空間まで拡大される。例えば、log RGB色空間が利用され得る。式(3)を導出するときに、対数演算子も利用された。対数をとるときには、ゼロより小さいか又はこれに等しい信号サンプルに対数演算子を適用することを阻止するために、従来の信号フィルタリング(例えばバンドパスフィルタリング)が回避されなければならない。それ故、フィルタリングステップは、好ましくは、対数演算子を適用した後に実行され得る。従って、遠隔PPGモニタリングに関して、特性信号
Figure 0006059726
の(主成分とも呼ばれる)平均の赤色、緑色及び青色値は、鏡面反射により依然として影響を受ける。それ故、平均の鏡面反射値は、依然として、平均の赤色、緑色及び青色値にある。
この事例は、予想される鏡面反射とボディ反射との間の割合、例えば、以下に示される係数cとcとの間の割合を想定するときに、扱われ得る。
対数演算子は、式(11)に示された表現に(要素的に)適用され得る。
Figure 0006059726
第1の想定は、鏡面反射の量がゼロに等しいと見なし得る。すなわち、全てのnに対して、
Figure 0006059726

以下の条件が適宜生じる。
Figure 0006059726
ここで、対角行列Bの要素は、ボディ反射ベクトル
Figure 0006059726
の要素に等しいものと見なされる。この表現から、鏡面反射を伴わない理想的な事例に関して、ボディ反射ベクトル
Figure 0006059726
及び心拍ベクトル
Figure 0006059726
に及ぶRGB空間は、強度ベクトル
Figure 0006059726
及び正規化された心拍ベクトル
Figure 0006059726
に及ぶlog RGB空間に変換され得ることが結論付けられ得る。
鏡面反射の量がゼロから外れる状況に関して、他の事例が示され得る。第1の事例において、ボディ反射と比較したときに、鏡面反射の量は比較的より小さいと見なされる。即ち、
Figure 0006059726
。そして以下の条件が導出され得る。
Figure 0006059726
この表現から、ボディ反射ベクトル
Figure 0006059726
、心拍ベクトル
Figure 0006059726
及び界面反射ベクトル
Figure 0006059726
に及ぶRGB空間は、正規化されたボディ反射ベクトル
Figure 0006059726
、正規化された心拍ベクトル
Figure 0006059726
及び変更された界面反射ベクトル
Figure 0006059726
に及ぶlog RGB空間に変換され得ることが結論付けられ得る。即ち、心拍信号は、先に述べたものと類似の手段で抽出され得る。
他の事例において、鏡面反射の量がボディ反射の量と比較して比較的大きいことが想定され得る。即ち、
Figure 0006059726
。従って、以下の条件が導出され得る。
Figure 0006059726
対角行列Sの要素は、界面反射ベクトル
Figure 0006059726
の要素に等しい。この表現は、ボディ反射ベクトル
Figure 0006059726
、心拍ベクトル
Figure 0006059726
及び界面反射ベクトル
Figure 0006059726
に及ぶRGB空間は、界面反射ベクトル
Figure 0006059726
、変更された心拍ベクトル
Figure 0006059726
及び変更されたボディ反射ベクトル
Figure 0006059726
に及ぶlog RGB空間に変換され得ることに従った結論を可能にする。結果として、既知の心拍ベクトル
Figure 0006059726
を有する代わりに、発光物の色に依存する心拍ベクトルが得られ得る。更に、心拍信号の振幅は、ボディ反射の量
Figure 0006059726
の代わりに、鏡面反射の量
Figure 0006059726
に依存する。従って、この場合において、鏡面反射の量が比較的大きいので、log RGB空間は、心拍信号を抽出するのにあまり適切ではないと見なされ得る。
他の事例においても、基本的に、鏡面反射の量がボディ反射の量と同程度であることが想定され得る。即ち、
Figure 0006059726
。結果として、以下の条件が導出され得る。
Figure 0006059726
ここで、
Figure 0006059726
であり、対角行列Gの要素は、ベクトル
Figure 0006059726
の要素に等しい。この表現に基づいて、ボディ反射ベクトル
Figure 0006059726
、心拍ベクトル
Figure 0006059726
及び界面反射ベクトル
Figure 0006059726
に及ぶRGB空間が、ベクトル
Figure 0006059726
及び変更された心拍ベクトル
Figure 0006059726
に及ぶlog RGB空間に変換され得ると結論付けられ得る。
上記の事例を要約するために、鏡面反射の増加する量に関して、正規化された心拍ベクトル
Figure 0006059726
は、いわゆる中間心拍ベクトル
Figure 0006059726
を介して変更された心拍ベクトル
Figure 0006059726
に変換されることが結論付けられ得る。
しかしながら、多くの場合、鏡面反射の量は比較的小さくなると思われ得る。従って、心拍ベクトルは単に僅かに変化するだけである。しかしながら、鏡面反射の予想される量が大きい場合において、対数演算子を適用する前に、界面反射ベクトル
Figure 0006059726
に直交するプレーン上へRGB空間を最初に投射することにより鏡面反射を低減することが考えられ得る。この場合、鏡面反射を適切に低減するように、光源色を決定することが有利であるだろう。しかしながら、光源色が知られている場合、例えば、基本的に白色の発光物を含む最も一般的な事例に対して、このアプローチは適用可能である。
以下のセクションにおいて、上で概説されたアプローチを利用する幾つかの例の一般的な枠組みが述べられる。この点について、図5が参照される。図5は、情報を抽出するためのシステム又は方法の簡略化されたブロック図を示す。基本的に、システムは、特性信号
Figure 0006059726
を処理するために設けられ、上で導入された、及び、以下で示される例により利用され得る幾つかのステップを有する。言うまでもなく、ステップの幾つかは、オプションであると見なされ、これは、破線により示される。第1のステップ110において、特性入力信号
Figure 0006059726
がフィルタリングされる。フィルタリングは、バンドパスフィルタリング、ローパスフィルタリング及びハイパスフィルタリングを有し得る。他のフィルタ特性も同様に適用され得る。(入力)フィルタリングは、非指示的周波数部分を減衰させること、及び、特性信号
Figure 0006059726
の潜在的な指示的周波数部分を強化することに向けられ得る。
他のステップ112は、実質的に線形代数的信号組成モデルの考察の下で線形代数方程式を確立すること及び/又は構築することを有してもよい。基本的に、ステップ112は、式(11)に示された信号表現モデルを使用し得る。
Figure 0006059726
ベクトル−行列表現において、この式は、条件
Figure 0006059726
により表され得る。
後のステップ114において、ステップ112において構築された式は、式(12)に類似する条件に到達するように再構成され得る。更に、式(12)は、例えば、指示的信号表現、例えば、
Figure 0006059726
又は、少なくとも
Figure 0006059726
を得るように、ステップ114において少なくとも部分的に解かれ得る。
他のオプショナルなステップ116において、ステップ114を介して導出された信号は、例えば係数
Figure 0006059726
又は平均係数
Figure 0006059726
により、これを除算することにより、強度に対して正規化され得る。従って、関心のありそうな所望の信号を高度に示す信号u(n)が得られ得る。幾つかのアプリケーションに関して、係数
Figure 0006059726
(又は
Figure 0006059726
)は、その不所望な変換を回避するように、オプショナルなステップ116の前にフィルタリングステップを経るべきでないことに留意されるべきである。おそらく、これらの変換は、ステップ116において計算されるべき割合に更に悪影響を与え得る。
他のオプショナルなステップ118において、信号、例えば、c(n)又はu(n)は、信号品質を更に強化するようにフィルタリングされ得る。ポストフィルタリングもプレフィルタリングも、幾つかの使用可能な問題及び制約に向けられ得る。従って、ステップ118において、フィルタリングされた指示的信号u(n)が導出され得る。
更に、後のステップ120は、フィルタリングされた指示的信号u(n)から関心のありそうなバイタル信号(例えば心拍数)を抽出するために行われてもよい。例えば、抽出は、時系列信号u(n)の周波数ピークを検出することに向けられ得る。この点について、参照符号122は、明瞭な周波数ピークが検出される、抑制された(フィルタリングされた)バンド及びパスされたバンドを有するそれぞれの周波数応答図を示す。例えば、周波数ピークは、関心のありそうな観察されたオブジェクトの心拍を示し得る。
上述した説明に沿って、一般的な枠組みは、行列T(例えば、固定行列T)に依存する。このアプローチは、式(12)及び(13)に遡られ得る。従って、ベクトル
Figure 0006059726
における平均の赤色、平均の緑色及び平均の青色値は、行列乗算によってベクトル
Figure 0006059726
に変換される。そして、オプショナルな手段として、心拍信号cは強度に対して補正され、心拍信号をもたらす。この心拍信号を更に強化することに関して、心拍信号uは、バンドパスフィルタによりフィルタリングされ得る。典型的には、関心のありそうな周波数範囲、例えば、約35〜210BPM(beats per minute)の範囲を含む通過帯域を示すことが利用され得る。基本的に、以下の例は、ベクトル空間ベースの観点に依存する。
しかしながら、とりわけ、幾つかのアプリケーションに関して、とりわけ単に心拍だけが関心のありそうな信号であるときには、行列Tの全体の逆行列T−1を計算する必要はない。例えば、
Figure 0006059726
が二色性プレーンに直交すると見なされる内積
Figure 0006059726
は、所望の(心拍)信号を高度に示すと見なされ得る。
第1の例において、ボディ反射ベクトル
Figure 0006059726
は、例えばフレームのシーケンスの第1のフレームにおける皮膚ピクセルの平均の赤色、平均の緑色及び平均の青色値を計算することにより、一回推定され得る。更に、発光物の色が白色(即ち、界面反射ベクトル
Figure 0006059726
)であることが明確に想定され得る。従って、心拍ベクトル
Figure 0006059726
は、式(10)を参照して、ボディ反射ベクトルから直接追跡し得る。変換行列Tは、
Figure 0006059726
に等しく、従って、式(12)及び(13)は、心拍信号uを計算するために用いられ得る。加えて、この心拍信号は、関心のありそうな周波数範囲の外の周波数コンテンツをフィルタリングするために、バンドパスフィルタによりフィルタリングされ得る。
代わりに、心拍ベクトル
Figure 0006059726
は、二色性のプレーンに直交するベクトル、即ち
Figure 0006059726
に等しいと見なされ得る。このアプローチは、発光物スペクトルが知られていない場合において好ましく、従って、正規化された心拍ベクトル
Figure 0006059726
は決定され得ない。それ故、3つのベクトルが与えられると、変換行列Tは、
Figure 0006059726
と構成され、前と同じように、式(12)及び(13)が心拍信号uを計算するために利用され得る。
第1の例を変更する第2の例において、特性信号
Figure 0006059726
は、これを(対角行列Bにより表される)ボディ反射ベクトル
Figure 0006059726
で除算することにより正規化され得る。
Figure 0006059726
好ましくは、正規化は即座に実行される。正規化は、心拍ベクトル
Figure 0006059726
から独立しており、基本的に一定であり、それ故に心拍信号を含まないボディ反射ベクトル
Figure 0006059726
に依存する。
正規化に起因して、行列Tは、僅かに変更される。正規化されたボディ反射ベクトルは、
Figure 0006059726
ベクトルにより表され、心拍ベクトルは、正規化された心拍ベクトル
Figure 0006059726
になり、界面(鏡面)反射ベクトルは、正規化された界面反射ベクトル
Figure 0006059726
になる。従って、これらの正規化されたベクトルは、行列Tを構成するために用いられ、
Figure 0006059726
前と同じように、式(12)及び(13)が心拍信号uを計算するために考慮され得る。この例は、主に含まれたボディ反射を示す行列Bがあるので、基本的に前の例に等しいと見なされ得ることに留意されるべきである。
第3の例は、鏡面の反射に起因して、ボディ反射ベクトルは、基本的に白色光の下の種々の皮膚タイプに対しておおよそ同じであると見なされ得るという洞察に基づいている。一般に、この想定は、約2.5の最大偏差を保持する。更に、白色光の下の全ての皮膚タイプに対する平均のボディ反射ベクトルと見なされ得るベクトル
Figure 0006059726
が規定され得る。従って、対角線として
Figure 0006059726
を有する対応する対角行列
Figure 0006059726
が確立され得る。それ故、界面反射の近似値
Figure 0006059726
が導出され得る。
Figure 0006059726
ここで、
Figure 0006059726
は、近付けられたボディ反射ベクトルと見なされ得る。従って、心拍ベクトル
Figure 0006059726
は、
Figure 0006059726
に等しく、行列Tは、
Figure 0006059726
のように構成され、前と同じように、式(12)及び(13)が心拍信号uを計算するために用いられ得る。代わりとして、
Figure 0006059726
は、ボディ反射ベクトル
Figure 0006059726
及び界面反射ベクトル
Figure 0006059726
に直交するベクトルに等しい。
Figure 0006059726
照明の色が時間的に(ゆっくり)変化するものと予期される場合において、ボディ反射ベクトルを連続的に推定及びフィルタリングすることが考慮され得る。フィルタリングは、心拍信号を強化するために、図5中のフィルタリングステップ110を参照して、ローパスフィルタを利用して実行され得る。従って、行列T及びT−1は、連続的に変更及び適合され得る。
第4の例において、対数演算子は、特性信号
Figure 0006059726
に適用される。上記のように、ゼロ値又はより小さい数の対数をとることは回避されるべきである。基本的に、行列Tは、例えば、前の例のうちの1つに従って構成され得る。従って、逆行列T−1は、ベクトル
Figure 0006059726
に向けた信号に適用され得る。
Figure 0006059726
この例によれば、この得られたベクトル
Figure 0006059726
の第3の列は、基本的に鏡面反射に対応するので、破棄され得る。換言すれば、T−1の最初の2列に対応する列を有する2×3行列
Figure 0006059726
が規定され、この行列は、信号pに適用され得る。
Figure 0006059726
信号cは、平均
Figure 0006059726
を有する強度信号を表す一方で、信号cは、ゼロに近い平均を有する心拍信号を表す。それ故、この信号
Figure 0006059726
に対数演算子を適用することを可能とするために、基本変化は、条件
Figure 0006059726
Figure 0006059726
に行列Uを適用することにより実行され得る。この変換の目的は、心拍信号がゼロより大幅に大きな平均を有することを確認することである。この行列Uは、基本的に双方の信号がおおよそ
Figure 0006059726
の平均を有する手法において選択され得る。もちろん、例示的な行列Uから離れた他の行列が想定され得る。
その後、対数演算子は、要素毎にベクトルyに適用され得る。更に、逆行列U−1は、ベクトル
Figure 0006059726
Figure 0006059726
を得るように利用され得る。従って、信号zは、心拍信号に対応し得る。
第5の例において、注意は、いわゆる動的心拍軸の検出に向けられる。動的心拍軸は、特性信号が不所望なオブジェクト動作により広く影響を受ける場合において、適用され得る。この文書において、かなり十分に近づけられた心拍軸
Figure 0006059726
を利用することが有利であるだろう。
最初に、行列Tは、第3の例に従って構成され得る。ここで、二色性プレーンに直交する心拍ベクトルが考慮される。その後、平均の赤色、平均の緑色及び平均の青色値は、短い時間(例えば、約10〜15秒)の間バッファリングされ得る。更に、ベクトル
Figure 0006059726
は、これらの平均の値を含めるために取り込まれ得る(Nは10〜15秒に対応する)。その後、逆行列T−1は、ベクトル
Figure 0006059726
Figure 0006059726
Figure 0006059726
を得るためにこのベクトルに適用され得る。
更に、
Figure 0006059726
における信号の各列は、関心のありそうな周波数範囲の外のコンテンツを減衰させるようにフィルタリングされたバンドパスであり得る。バンドパスフィルタリングされた信号cは、個々の動作があまり激しくないと想定すると、既に、潜在的な指示的心拍信号を含み得る。例えば、これは、信号cをフーリエ領域に変換して信号対雑音比を検出することにより、2番目に大きなピークに対する最も大きなピークの割合を計算することにより、確認されることができる。この割合が或る閾値を越えた場合、バンドパスフィルタリングされた信号cは、テンプレートとして用いられるのに十分きれいであると見なされ得る。バンドパスフィルタリングされた信号c及びcにおける心拍振幅a及びaは、
Figure 0006059726
及び
Figure 0006059726
により計算され得る。ここで、
Figure 0006059726
は、内積に対応する。基本的には、以下の条件が計算される。
Figure 0006059726
及び
Figure 0006059726
更に、
Figure 0006059726
であるので、a=1であることに留意されるべきである。従って、この例は、心拍ベクトル
Figure 0006059726
Figure 0006059726
をもたらし、RGB信号空間を参照したときには、心拍ベクトル
Figure 0006059726
は、
Figure 0006059726
になる。
しかしながら、代わりに、(上記において主成分とも呼ばれる)(バンドパスフィルタリングされた)赤色、緑色及び青色信号にフーリエ変換を適用すると、関連する信号周波数ピークを検出することが更に想定され得る。
基本的に、上記のセクションで与えられた全ての例及び実施形態を参照すると、係数c,c及びcを得るために逆行列T−1の少なくとも部分的な計算及び行列Tの構成は、代替手段において、特性信号
Figure 0006059726
の幾何学的な関連及び信号空間の他の成分を利用して段階的な変換により補正又は置換され得ることが理解されるべきである。換言すれば、行列演算は、段階的なベクトル演算により容易に置換され得る。
例えば、本発明は、健康管理、例えば控え目な遠隔患者モニタリング、一般的な監視、セキュリティモニタリング及びいわゆるライフスタイルアプリケーション(例えばフィットネス機器)等の分野において適用され得る。アプリケーションは、酸素飽和度(パルス酸素飽和度測定)、心拍数、呼吸数、血圧、心拍出量、血液潅流の変化のモニタリング、自律機能の評価及び末梢血管疾患の検出を含んでもよい。
言うまでもなく、本発明による方法の一実施形態において、与えられた幾つかのステップは、変更された順序において、又は同時に、実行され得る。更に、一部のステップは、本発明の範囲から逸脱することなくスキップされ得る。これは、とりわけ、いくつかの代替信号処理ステップに適用する。
本発明が図面及び前述の説明において示され、詳述された一方で、斯様な図例および説明は、例示又は単なる例であり、限定するものではないものとみなされるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他のバリエーションは、図面、開示及び添付の特許請求の範囲の研究から、当業者によって理解され、実施され得る。
請求項において、"有する"及び"含む"という用語は、他の要素又はステップを除外するものではなく、単数標記は、複数を除外するものではない。単一の要素又は他のユニットが請求項に記載された幾つかのアイテムの機能を実現してもよい。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有効に用いられ得ないことを示すものではない。
コンピュータプログラムは、他のハードウェアとともに又はその一部として供給される光学格納媒体又はソリッドステート媒体のような、適切な固定媒体上に格納/分配されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するように、他の形式で分配されてもよい。
請求項中のいかなる参照符号も、その範囲を限定するものとして解釈されるべきでない。

Claims (15)

  1. 検出された特性信号から情報を抽出するためのデバイスであって、
    当該デバイスは、
    オブジェクトにより反射された電磁放射から導出可能なデータストリームを受信するためのインタフェースであって、前記データストリームは、連続又は別個の時系列特性信号を有し、前記特性信号は、信号空間に関連付けられた少なくとも2つの主成分を有し、前記信号空間は、前記特性信号を表すための相補的なチャネルを有し、前記特性信号の主成分は、前記信号空間のそれぞれの相補的なチャネルに関連する、インタフェースと、
    線形代数方程式を特定するように実質的な線形代数信号組成モデルの考察の下で、規定された成分表現に前記特性信号をマッピングするためのコンバータ手段であって、前記特性信号は、生理学的反射成分及び妨害反射成分を少なくとも実質的に含み、前記生理学的反射成分は、観察されるべきオブジェクトの基本的な生理学的特性に対して起因性のある基本的反射部分と少なくとも1つの少なくとも部分的に周期的なバイタル信号に対して起因性のある指示的反射部分とを含む、コンバータ手段とを有し、
    前記基本的反射部分は、基本的反射インデックス要素及び基本的反射係数を有し、
    前記指示的反射部分は、指示的反射インデックス要素及び時間依存性指示的反射係数を有し、前記指示的反射係数は、関心のありそうな前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を示し、
    前記妨害反射成分は、妨害反射インデックス要素及び妨害反射係数を有し、
    当該デバイスは、
    記基本的反射インデックス要素、前記指示的反射インデックス要素及び前記妨害反射インデックス要素に基づいて前記線形代数方程式を少なくとも部分的に解くことにより、前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を示す計算された表現を導出するための処理手段であって、前記計算された表現は、前記指示的反射係数を少なくとも有する、処理手段を有する、デバイス。
  2. 前記少なくとも1つの少なくとも部分的に周期的なバイタル信号は、心拍数、心拍、呼吸数、心拍変動性、Traube -Hering-Mayer波及び酸素飽和度からなるグループから選択され、前記信号空間は、加法的又は減法的な色信号空間であり、前記少なくとも2つの主成分は、前記相補的なチャネルにより示されたそれぞれの異なる色成分を表し、前記相補的なチャネルは、規定されたスペクトル部分に関連する、請求項1に記載のデバイス。
  3. 前記計算された表現から前記バイタル信号を抽出するための抽出手段を更に有し、前記バイタル信号は、前記指示的反射係数、又は、前記指示的反射係数と前記基本的反射係数との割合の考察の下で抽出される、請求項1に記載のデバイス。
  4. 前記基本的反射部分は、関心のありそうなオブジェクトが示す平均組織色を少なくとも実質的に示し、前記指示的反射部分は、関心のありそうなオブジェクトの組織色の少なくとも部分的に周期的な脈動を少なくとも実質的に示し、前記妨害反射成分は、妨害鏡面反射を少なくとも実質的に示す、請求項1に記載のデバイス。
  5. 前記の推定された指示的反射インデックス要素は、前記基本的反射インデックス要素の推定を有する表現及び予め決められた例示的な指示的反射インデックス要素の正規化された表現の考察の下で得られる、請求項1に記載のデバイス。
  6. 前記の推定された指示的反射インデックス要素は、前記基本的反射インデックス要素及び前記妨害反射インデックス要素に及ぶ信号面に対して直交すると見なされ、前記の推定された妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素により少なくとも実質的に配列される、請求項1に記載のデバイス。
  7. 前記の推定された基本的反射インデックス要素は、関心のありそうなオブジェクトの指示的エリアの特性信号の凝集された主成分から導出され、前記の推定された妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素により少なくとも実質的に配列され、当該デバイスは、関心のありそうなオブジェクトを観察するときに、前記基本的反射インデックス要素の最初の決定を適用するように更に適合される、請求項1に記載のデバイス。
  8. 前記の推定された指示的反射インデックス要素は、前記基本的反射インデックス要素に対して少なくとも実質的に直交し、前記妨害反射インデックス要素に対して少なくとも実質的に直交するもの見なされる、請求項7に記載のデバイス。
  9. 対数関数的信号表現は、規定された成分表現に適用され、前記基本的反射係数と前記妨害反射係数との間の想定された割合が、前記指示的反射係数の決定のために考慮される、請求項1に記載のデバイス。
  10. 基本的変化は、前記指示的反射係数の平均値がゼロより大きくなることを保証するように、規定された成分表現に適用され、前記バイタル信号は、前記指示的反射係数の変換された表現から導出され得る、請求項9に記載のデバイス。
  11. 前記基本的反射インデックス要素の考察の下での前記特性信号の正規化を更に有する、請求項1に記載のデバイス。
  12. 前記妨害反射インデックス要素は、関心のありそうなオブジェクトに作用する電磁放射供給源の特性を示す輝度インデックス要素に基づいて得られた前記基本的反射インデックス要素の予め決められた正規化された値を有する表現の考察の下で得られる、請求項1に記載のデバイス。
  13. 前記特性信号並びに規定された期間の間の前記基本的反射係数、前記指示的反射係数及び前記妨害反射係数の生ずる表現をバッファリングするためのバッファ手段を更に有し、前記処理手段は、支配的な周波数成分を決定するために前記のバッファリングされた指示的反射係数に対してフーリエ変換を適用するように更に適合され、前記基本的反射係数、前記指示的反射係数及び前記妨害反射係数は、それぞれの係数の内積を有する変換された信号表現に変換され、前記指示的反射インデックス要素は、前記の変換された信号表現の考察の下で決定される、請求項1に記載のデバイス。
  14. 検出された特性信号から情報を抽出するための方法であって、
    当該方法は、
    オブジェクトにより反射された電磁放射から導出可能なデータストリームを受信するステップであって、前記データストリームは、連続又は別個の時系列特性信号を有し、前記特性信号は、信号空間に関連付けられた少なくとも2つの主成分を有し、前記信号空間は、前記特性信号を表すための相補的なチャネルを有し、前記特性信号の主成分は、前記信号空間のそれぞれの相補的なチャネルに関連する、ステップと、
    線形代数方程式を特定するために実質的な線形代数的信号組成モデルの考察の下で規定された成分表現に対して前記特性信号をマッピングするステップであって、前記特性信号は、生理学的反射成分及び妨害反射成分を少なくとも実質的に含み、前記生理学的反射成分は、観察されるべきオブジェクトの基本的生理学的特性に対して起因性のある基本的反射部分と、少なくとも1つの少なくとも部分的に周期的なバイタル信号に対して起因性のある指示的反射部分とを有する、ステップとを有し、
    前記基本的反射部分は、基本的反射インデックス要素及び基本的反射係数を有し、
    前記指示的反射部分は、指示的反射インデックス要素及び時間依存性指示的反射係数を有し、前記指示的反射係数は、関心のありそうな前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を示し、
    前記妨害反射成分は、妨害反射インデックス要素及び妨害反射係数を有し、
    当該方法は、
    記基本的反射インデックス要素、前記指示的反射インデックス要素及び前記妨害反射インデックス要素に基づいて前記線形代数方程式を少なくとも部分的に解くことにより、前記少なくとも1つの少なくとも部分的に周期的なバイタル信号を示す計算された表現を導出するステップであって、前記計算された表現は、指示的反射係数を少なくとも有する、ステップを有する、方法。
  15. コンピュータプログラムがコンピュータ上で実行されたときに、前記コンピュータが請求項14に記載の方法のステップを実行することをもたらすためのプログラムコード手段を有する、コンピュータプログラム。
JP2014532513A 2011-09-29 2012-09-12 歪み低減された信号検出 Active JP6059726B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161540596P 2011-09-29 2011-09-29
US61/540,596 2011-09-29
PCT/IB2012/054734 WO2013046082A2 (en) 2011-09-29 2012-09-12 Distortion reduced signal detection

Publications (2)

Publication Number Publication Date
JP2014531934A JP2014531934A (ja) 2014-12-04
JP6059726B2 true JP6059726B2 (ja) 2017-01-11

Family

ID=47046662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014532513A Active JP6059726B2 (ja) 2011-09-29 2012-09-12 歪み低減された信号検出

Country Status (7)

Country Link
US (1) US9241674B2 (ja)
EP (1) EP2745240A2 (ja)
JP (1) JP6059726B2 (ja)
CN (1) CN103890780B (ja)
IN (1) IN2014CN02002A (ja)
RU (1) RU2602975C2 (ja)
WO (1) WO2013046082A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014064575A2 (en) * 2012-10-23 2014-05-01 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being
RU2015156254A (ru) 2014-05-07 2017-07-04 Конинклейке Филипс Н.В. Устройство, система и способ выделения физиологической информации
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
WO2016061041A1 (en) 2014-10-14 2016-04-21 East Carolina University Methods, systems and computer program products for determining hemodynamic status parameters using signals derived from multispectral blood flow and perfusion imaging
EP3188651A4 (en) 2014-10-14 2018-07-04 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
US10531820B2 (en) 2014-11-24 2020-01-14 Koninklijke Philips N.V. Device, system and method for determining the concentration of a substance in the blood of a subject
US20170035333A1 (en) * 2015-08-04 2017-02-09 Osram Opto Semiconductors Gmbh Apparatus for Measuring a Vital Function of a Living Creature
US10595785B2 (en) * 2015-10-01 2020-03-24 Silicon Laboratories Inc. Plethysmography heart rate monitor noise reduction using differential sensors
RU2018116893A (ru) * 2015-10-06 2019-11-07 Конинклейке Филипс Н.В. Устройство, система и способ получения информации о показателе жизненно важной функции живого существа
GB201608170D0 (en) * 2016-05-10 2016-06-22 Isis Innovation A method of determining the frequency of a periodic physiological process of a subject, and a device and system for determining the frequency
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701170B2 (en) * 2001-11-02 2004-03-02 Nellcor Puritan Bennett Incorporated Blind source separation of pulse oximetry signals
BR0304716A (pt) * 2002-05-08 2004-07-13 Yeda Res & Dev Método para formação de imagens de mri-bold on line, sensibilizada
JP4196209B2 (ja) * 2003-06-30 2008-12-17 日本光電工業株式会社 信号処理方法及びそれを適用したパルスフォトメータ
US7072709B2 (en) * 2004-04-15 2006-07-04 Ge Medical Information Technologies, Inc. Method and apparatus for determining alternans data of an ECG signal
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US8139850B2 (en) 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Constraint generation for use in image segregation
DE202010017895U1 (de) 2009-03-06 2013-01-08 Koninklijke Philips Electronics N.V. System zur Verarbeitung von Bildern von mindestens einem Lebewesen
US8634591B2 (en) 2009-08-20 2014-01-21 Koninklijke Philips N.V. Method and system for image analysis
JP5834011B2 (ja) 2009-10-06 2015-12-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム
JP5856960B2 (ja) 2009-10-06 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム
US9124777B2 (en) 2011-01-05 2015-09-01 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals

Also Published As

Publication number Publication date
RU2602975C2 (ru) 2016-11-20
WO2013046082A2 (en) 2013-04-04
EP2745240A2 (en) 2014-06-25
US20140213861A1 (en) 2014-07-31
US9241674B2 (en) 2016-01-26
CN103890780A (zh) 2014-06-25
JP2014531934A (ja) 2014-12-04
IN2014CN02002A (ja) 2015-05-29
WO2013046082A3 (en) 2013-06-13
RU2014117212A (ru) 2015-11-10
CN103890780B (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
JP6059726B2 (ja) 歪み低減された信号検出
JP6067706B2 (ja) 歪が低減された信号検出
JP6615176B2 (ja) 非干渉的な皮膚組織ハイドレーション測定デバイス及び関連方法
CN108471989B (zh) 用于生成承载对象的生命体征信息的光体积描记图像的设备、系统和方法
RU2589389C2 (ru) Устройство и способ извлечения информации из характеристических сигналов
US10004410B2 (en) System and methods for measuring physiological parameters
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
WO2013038326A1 (en) Distortion reduced signal detection
CN105813564A (zh) 用于确定对象的生命体征的设备和方法
Fan et al. Non-contact remote estimation of cardiovascular parameters
Karthick et al. Analysis of vital signs using remote photoplethysmography (RPPG)
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
EP3838128A1 (en) Device and method for determining a vital sign of a subject
Panigrahi et al. Contactless HR Measurement from Facial Videos Using Alternative Color Spaces with CEEMDAN
Chwyl A Statistical Framework for Non-Contact Heart Rate Estimation via Photoplethysmogram Imaging
Balmaekers Vital Signs Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161209

R150 Certificate of patent or registration of utility model

Ref document number: 6059726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250