JP6509605B2 - 生理学的パラメータの推定 - Google Patents

生理学的パラメータの推定 Download PDF

Info

Publication number
JP6509605B2
JP6509605B2 JP2015060673A JP2015060673A JP6509605B2 JP 6509605 B2 JP6509605 B2 JP 6509605B2 JP 2015060673 A JP2015060673 A JP 2015060673A JP 2015060673 A JP2015060673 A JP 2015060673A JP 6509605 B2 JP6509605 B2 JP 6509605B2
Authority
JP
Japan
Prior art keywords
video image
ppg signal
block
psnr
flash intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015060673A
Other languages
English (en)
Other versions
JP2016083342A (ja
JP2016083342A5 (ja
Inventor
アイシュワリャー ヴィスヴァナタン、
アイシュワリャー ヴィスヴァナタン、
アルパン パル、
アルパン パル、
アニルッダ シンハ、
アニルッダ シンハ、
ロハン バネルジー、
ロハン バネルジー、
チョウドリ、 アニルバン ドゥッタ
チョウドリ、 アニルバン ドゥッタ
アディティ ミシュラ、
アディティ ミシュラ、
アヴィック ゴース、
アヴィック ゴース、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of JP2016083342A publication Critical patent/JP2016083342A/ja
Publication of JP2016083342A5 publication Critical patent/JP2016083342A5/ja
Application granted granted Critical
Publication of JP6509605B2 publication Critical patent/JP6509605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0238Means for recording calibration data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Description

本発明は一般に光電式容積脈波記録法(フォトプレチスモグラフィ)に関し、詳しくはフォトプレチスモグラフィに基づく対象の推定生理学的パラメータに関するが排他的にこれに関するわけではない。
技術の進展とともに、個人の心拍数のような生理学的パラメータの測定を目的とするフォトプレチスモグラフィ(PPG)が開発されている。PPGは、非侵入型の光学技術であって、個人の血液量の変化を測定するための光の使用を含む。当該測定に基づいて、血液量の変化を示すPPG信号を取得することができる。PPG信号はその後、個人に関連付けられた生理学的パラメータを推定するべく使用される。
本発明は、フォトプレチスモグラフィ(PPG)を使用して、例えば個人のような対象の生理学的パラメータを決定することに関する。PPGは、対象の心拍数のような生理学的パラメータを測定するべく使用される非侵入型光技術である。
PPGでは、個人に関連付けられたPPG信号が、標準的医療グレードの機器を使用して記録される。PPG信号は、個人の血流の体積変化を示し、かつ、当該個人の心拍数を決定するべく使用される。しかしながら、かかる医療機器は調達コストが高いので、周期的に自分の心拍数の測定を受けようとする個人は、その心拍数測定を目的としてかかる医療機器を備えた病院を繰り返し訪れる必要がある。さらに、その医療機器は、熟練者によってのみ操作されるので、当該医療機器の操作上の有益性が限られる。
技術開発に伴い、今や個人は、発光ダイオード(LED)フラッシュのような光源と、例えばカメラのようなビデオ画像撮影装置とを備えたスマートフォンを使用して自分の生理学的パラメータを測定することができる。スマートフォンを使用して個人の生理学的パラメータを推定するには、典型的には指である個人の身体部分のビデオ画像が、LEDフラッシュがオンとなっているスマートフォンのカメラを使用して記録される。ビデオ画像はその後、個人に関連付けられたPPG信号を抽出するべく処理される。そのPPG信号に基づいて、個人の生理学的パラメータが推定される。
ビデオ画像からPPG信号を抽出する従来型アプローチにおいては、所定寸法の中心ブロックが、ビデオ画像の各フレームから選択される。中心ブロックは、当該フレームの中心に位置するブロックとして理解してよい。その後、複数の中心ブロックそれぞれに対応する平均値に基づいてPPG信号が抽出される。カメラに対するフラッシュの位置によっては、中心ブロックに基づいて取得されるPPG信号は低品質となり得る。例えば、フラッシュは、当該フラッシュに近いフレームの画素の飽和を引き起こし得る。このため、かかる領域、例えば中心ブロック、から抽出されたPPG信号が低品質となり得る。したがって、かかるPPG信号に基づいて決定された生理学的パラメータのいずれも、当該生理学的パラメータの正確な値を反映しない可能性がある。加えて、個人の肌の色調もまた、取得されるPPG信号の品質に影響し得る。例えば、肌が白い個人の場合、LEDフラッシュからの光は大部分が反射されるので、記録されるビデオ画像は高強度となる。このため、かかるビデオ画像から抽出されるPPG信号は、低品質となり得ることから、個人の生理学的パラメータを推定するのに有用ではなくなり得る。
本発明は、対象の生理学的パラメータを推定するシステム及び方法を記述する。一側面によれば、対象の身体部分のビデオ画像に対応する複数のフレームそれぞれが、複数のブロックに分割される。その後、対象の生理学的パラメータが決定される基礎となるPPG信号を、複数のブロックの中からのピーク信号対ノイズ比(PSNR)が最高のブロックに基づいて当該ビデオ画像から抽出することができる。高いPSNRは、当該ブロックに対応するフレームの一領域が、少なくともノイズ成分を包含することを示すので、かかるブロックに基づいて抽出されるPPG信号は良好な品質のPPG信号をもたらす。その結果、生理学的パラメータの決定精度が高められる。
ビデオ画像のフレームは、複数のブロックに分割することができる。一例では、ビデオ画像のフレームは、各ブロックが同じ所定寸法となるように分割することができる。一実装では、各ブロックに対するピーク信号対ノイズ比(PSNR)をコンピュータ計算することができる。PSNRは、当該ブロックに対応するフレームの一領域におけるノイズレベルを示すことができる。例えば、PSNRが高いブロックは、当該フレームの、ノイズ成分が少ない領域を示す一方、PSNRが低いブロックは、当該フレームの、ノイズ成分が高い領域を示す。ブロックのPSNRに基づいて、PSNRが最高のブロックを選択することができる。
上述のように、PPG信号は、PSNRが最高のブロックに基づいてビデオ画像から抽出することができる。PPG信号を抽出するべく、当該ブロックに関連付けられたブロック識別子を確定することができる。ブロック識別子は、例えば、当該フレームの一領域を示し得る当該ブロックに関連付けられたブロック数又は座標として理解することができる。一例では、ブロック識別子は既知の技術を使用して確定することができる。ブロック識別子を確定するにあたり、各ビデオ画像のフレームにおいて、当該ブロック識別子に対応する領域が識別される。かかる領域に対応するPSNRは、当該領域が当該ブロック識別子に対応するとき、高いこともあり得るので、当該ビデオ画像の、ノイズ成分が最低の領域を代表し得る。
それに引き続き、ビデオ画像のフレームの識別された領域からPPG信号を抽出することができる。上述の理由により、かかる領域から抽出されるPPG信号は、良好な品質となり、かつ、精度が高い生理学的パラメータの決定を容易とし得る。
理解できることだが、PPG信号は周波数領域にあるので、生理学的パラメータの計算には、PPG信号の周波数スペクトルにおける支配的なピークが使用される。一実装では、PPG信号は、生理学的パラメータの決定精度を高めるべく強調することができる。例えば、PPG信号は、ノイズが低減されたフィルタリング済みPPG信号を得るべく、正規化最小平均二乗(NLMS)フィルタのような適応フィルタを通過させることができる。その後、フィルタリング済みPPG信号を強調するべく、フィルタリング済みPPG信号に対して補間技術が適用される。補間技術の例には、線形補間及びJacobsen補間が含まれるがこれらに限られない。PPG信号の強調により、フィルタリング済みPPG信号の、細かくチューニングされた形式の周波数領域表現を得ることができる。その結果、PPG信号の周波数スペクトルにおける支配的ピークを、強調済みPPG信号から容易に決定することができる。このようにして、生理学的パラメータの決定精度は、PPG信号の強調によってさらに高められる。
上述の説明から明らかなように、PPG信号を抽出するべくPSNRが最高のブロックを選択することにより、ノイズ成分が少ない良好な品質のPPG信号得ることが容易となる。その結果、かかるPPG信号から決定される生理学的パラメータは、高い精度で決定される。さらに、完全なビデオ画像からPPG信号を抽出することとは対照的に、PPG信号は、ブロック識別子に基づいてビデオ画像から抽出することができる。その結果、PPG信号の抽出、ひいては生理学的パラメータの決定を目的として、処理能力が低いスマートフォンのような、コンピュータ計算パワーが低い装置が実装を受けることができる。さらに、強調済みPPG信号は、対象の生理学的パラメータの決定精度をさらに高める。
本発明のこれらの及び他の利点が、以下の図面とともに詳細に説明される。記載のシステム及び方法の側面は任意数のコンピュータ計算システム、環境及び/又は構成において実装できるが、記載の実施形態は以下の装置(複数可)の文脈において記載される。
添付図を参照して詳細な説明が記載される。図において、参照番号の最も左側の数字が、当該参照番号が最初に現れる図を特定する。同じ特徴及び構成要素を参照するべく、図面全体を通じて同じ番号が使用される。
本発明の一実装に係る、対象に関連付けられた生理学的パラメータを決定する生理学的パラメータ測定装置を例示する。 本発明の一実装に係る、対象に関連付けられた生理学的パラメータを決定する方法を例示する。
図1は、本発明の一実装に係る、対象に関連付けられた生理学的パラメータを決定する生理学的パラメータ測定装置100を例示する。生理学的パラメータ測定装置100は、以下装置100と称するが、ハンドヘルド装置であって、例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、スマートフォン又はタブレットパーソナルコンピュータのような任意の装置であり得る。他例では、装置100は、対象に関連付けられた生理学的パラメータの監視又は推定を目的とする臨床設定において使用されるもののような電子装置であり得る。
一実装では、装置100は、プロセッサ(複数可)102及びメモリ104を含む。プロセッサ(複数可)102は、一以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、論理回路、及び/又は、動作命令に基づいて信号を操作する任意の装置として実装することができる。その他の機能のなかでも、プロセッサ(複数可)102は、メモリ104に格納されたコンピュータ可読命令をフェッチ及び実行するように設けられる。メモリ104は、プロセッサ(複数可)102に結合されてもよく、スタティックランダムアクセスメモリ(SRAM)及びダイナミックランダムアクセスメモリ(DRAM)のような揮発性メモリ、並びに/又は、リードオンリーメモリ(ROM)、消去可能プログラマブルROM、フラッシュメモリ、ハードディスク、光ディスク及び磁気テープのような不揮発性メモリを含む当業界周知の任意のコンピュータ可読媒体を含み得る。
さらに、装置100は、モジュール(複数可)106及びデータ108を含み得る。モジュール(複数可)106及びデータ108は、プロセッサ(複数可)102に結合することができる。モジュール(複数可)106は、とりわけ、特定のタスクを実行し又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。モジュール(複数可)106は、信号プロセッサ(複数可)、状態機械(複数可)、論理回路、及び/又は、動作命令に基づいて信号を操作する任意の他の装置若しくはコンポーネントとして実装することもできる。
一実装では、モジュール(複数可)106は、ビデオ画像処理モジュール110、信号強調モジュール112及び他のモジュール(複数可)114を含む。他のモジュール(複数可)114は、装置100によって実行されるアプリケーション又は機能を補足するプログラム又はコード化された命令を含み得る。加えて、上記実装において、データ108は、ビデオ画像処理データ116、信号強調データ118及び他のデータ120を含む。他のデータ120は、とりわけ、モジュール(複数可)106における一以上のモジュールが実行された結果処理され、受信され、又は生成されたデータを格納するリポジトリとして機能し得る。データ108は装置100の内部に示されるが、データ108は、装置100に動作可能に結合される外部リポジトリ(図面に示さない)に存在させ得ることが理解される。したがって、装置100には、データ108から情報を取得するべく外部リポジトリと通信するインタフェイス(複数可)(図示せず)を設けることができる。
動作中、生理学的パラメータの測定を開始するべく、対象、すなわち心拍数が測定される人は、身体部分126を装置100のカメラ128に対して位置決めする。一例では、対象は、身体部分126をカメラ128のレンズに接触するように又はカメラ128のレンズを身体部分126に接触するように位置決めすることができる一方、カメラ128のフラッシュ光がスイッチオンされる。例えば、対象は、ビデオ画像を撮影するべく、自分の手の指先をカメラ128に対して位置決めすることができる。かかる位置において、実装に従い、対象の身体部分126のビデオ画像が、装置100のカメラ128を使用して撮影される。一例では、フラッシュ光は、発光ダイオード(LED)型のフラッシュ光であって、さらなる処理を目的として身体部分126に適切な照明を与えてビデオ画像を有効に撮影することができる。一例では、装置100のカメラ128は、約30フレーム/秒(fps)の速度でビデオ画像を撮影することができる。撮影されたビデオ画像はその後、装置100のビデオ画像処理データ116に格納される。
一例では、ビデオ画像は、対象の生理学的パラメータが推定される基礎となるPPG信号を取得するべく処理され得る。例えば、ビデオ画像処理モジュール110は、ビデオ画像のフレームを複数のブロックに分割することができる。一例では、ビデオ画像処理モジュール110は、各ブロックが同じ所定寸法となるようにフレームを分割することができる。さらに、ビデオ画像処理モジュール110は、各ブロックに対してブロック識別子を生成することができる。例えば、ビデオ画像処理モジュール110は、ブロックを識別するべく各ブロックのブロック数を生成することができる。他例では、ビデオ画像処理モジュール110は、各ブロックに対応する座標を生成することができる。ビデオ画像処理モジュール110は、将来のブロック識別を目的として、ブロック識別子をビデオ画像処理データ116に格納することができる。
ビデオ画像処理モジュール110は、フレームをブロックに分割するとき、各ブロックに対してPSNRをコンピュータ計算することができる。フレームのブロックに関連付けられたPSNRは、当該フレームの、当該ブロックに対応する一領域に存在するノイズ成分の尺度を示し得る。一例では、ビデオ画像処理モジュール110は、周知の従来型技術を使用してPSNRをコンピュータ計算することができる。さらに、ビデオ画像処理モジュール110は、PSNRをビデオ画像処理データ116に格納することができる。
その後、ビデオ画像処理モジュール110は、ブロックに基づいてPPG信号を抽出するべく、複数のブロックの中からPSNRが最高のブロックを選択することができる。ビデオ画像処理モジュール110は、PPG信号を抽出するべく、ブロックに対応するブロック識別子を最初に確定することができる。上述のように、ブロック識別子は、ビデオ画像処理データ116内に格納される。ビデオ画像処理モジュール110は、ブロックに対応するブロック識別子を確定するべく、ビデオ画像処理データ116にアクセスし、それに引き続き、当該ブロックに対応するブロック数を確定することができる。ビデオ画像処理モジュール110はその後、ビデオ画像の各フレームにおけるブロック数に対応する領域を識別して当該領域からPPG信号を抽出することができる。理解できることだが、ブロック数に対応する領域、ひいてはPSNRが最高のブロックが、高いPSNRを有し得る。その結果、対応する領域はノイズ成分が少ないので、かかる領域から取得されるPPG信号は良好な品質となり得る。ビデオ画像処理モジュール110は、領域の識別において、当該領域に基づいてビデオ画像からPPG信号を抽出することができる。
一実装では、信号強調モジュール112はPPG信号を強調することができる。例えば、信号強調モジュール112は、フィルタリング済みPPG信号を取得するべくPPG信号をフィルタにかけることができる。PPG信号のフィルタリングにより、PPG信号に存在するノイズが低減される。一例では、当該フィルタは、正規化最小平均二乗(NLMS)フィルタのような適応フィルタであり得る。その後、信号強調モジュール112は、フィルタリング済みPPG信号に補間技術を適用することができる。補間技術の適用により、周波数領域におけるピーク検出が容易となるので、生理学的パラメータの決定精度が高められる。補間技術の例には、線形補間及びJacobsen補間が含まれるがこれらに限られない。
一実装では、装置100は、例えば対象の心拍数のような生理学的パラメータを決定するべく、強調済みPPG信号、すなわち強調の後のPPG信号を使用することができる。
一実施形態では、対象の身体部分126のビデオ画像の記録中、カメラ128のフラッシュ輝度を、当該個人の肌の色調に基づいて調整することができる。例えば、PPM装置100のカメラ128のフラッシュ強度レベルであり、対象の試験ビデオ画像を撮影するための一以上のフラッシュ強度レベルにおいて、当該一以上のフラッシュ強度レベルそれぞれにおいてカメラ128を動作させる。その後、当該一以上のフラッシュ強度レベルそれぞれに対し、当該フラッシュ強度レベルにおいて撮影された試験ビデオ画像のPSNRを決定することができる。それに引き続き、当該一以上のフラッシュ強度レベルにおいて撮影された試験ビデオ画像の中からPSNRが最高の試験ビデオ画像を決定し、そのPSNRが最高の試験ビデオ画像に対応するフラッシュ強度レベルで対象のビデオ画像を撮影することができる。一例では、ビデオ画像処理モジュール110は、上述のようにしてフラッシュを調整することができる。
図2は、本発明の一実施形態に係る、対象の生理学的パラメータを推定する方法200を例示する。方法200が記載される順序は、限定として解釈されることを意図しない。記載の方法ブロックの任意数を、当該方法又は任意の代替的方法を実装するべく任意の順序で組み合わせることができる。加えて、個々のブロックは、ここに記載の発明の要旨及び範囲から逸脱することがないように当該方法から削除することができる。さらに、方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせに実装することができる。
方法は、コンピュータ実行可能命令の一般的な文脈において記載される。一般に、コンピュータ実行可能命令は、特定の機能を実行し又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、関数等を含み得る。方法は、通信ネットワークを介してリンクされたリモート処理装置が機能を実行する分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、コンピュータ実行可能命令は、メモリ格納装置を含むローカル及びリモート双方のコンピュータ格納媒体に配置することができる。
一実装では、ここに記載の方法の一以上の少なくとも一部分が、非一時的コンピュータ可読媒体に埋め込まれかつ一以上のコンピュータ計算装置が実行可能な命令として実装され得る。一般に、例えばマイクロプロセッサのようなプロセッサは、例えばメモリのような非一時的なコンピュータ可読媒体からの命令を受信することによって、ここに記載の方法の一以上を含む一以上の方法を実行する。かかる命令は、周知のコンピュータ可読媒体の任意のバリエーションを使用して格納及び/又は送信することができる。
図2を参照すると、ブロック202において、生理学的パラメータが推定される対象のビデオ画像の複数のフレームが、複数のブロックに分割される。一例では、対象のビデオ画像は、事前記録ビデオ画像、すなわち、生理学的パラメータの推定に先立つ一瞬の時間に記録されたビデオ画像であり得る。他例では、ビデオ画像は、実時間で推定が完了しようとしているときに撮影されてもよい。例えば、ビデオ画像は、カメラ128を使用して撮影することができる。ビデオ画像が撮影されている間、カメラ128のフラッシュをスイッチオンすることができる。さらに、フラッシュ輝度は、対象の肌の色調に基づいて調整することができる。一例では、各ブロックは、同じ所定寸法である。一実装では、ビデオ画像処理モジュール110は、各フレームを複数のブロックに分割することができる。
ブロック204において、各ブロックに対するPSNRがコンピュータ計算される。一例では、PSNRは、ビデオ画像処理モジュール110によってコンピュータ計算することができる。
ブロック206において、複数のブロックの中から、PSNRが最高のブロックが選択される。一例では、ブロックのPSNRは、PSNRが最高のブロックを識別するべく分析することができる。ブロックはその後、PPG信号を抽出するべく選択される。
ブロック208において、PPG信号は、ブロックに関連付けられたブロック識別子に基づいてビデオ画像から抽出される。一例では、ビデオ画像処理モジュール110は、図1において上述したようにして、ビデオ画像からPPG信号を抽出することができる。
ブロック210において、PPG信号が強調される。強調の一部として、一例では、PPG信号は、フィルタリング済みPPG信号を得るべくフィルタリングされる。さらに、PPG信号のさらなる強調を目的として、フィルタリング済みPPG信号に補間技術が適用される。その後、強調が完了すると、対象の生理学的パラメータを決定することができる。
生理学的パラメータを推定する方法及びシステムの実装が記載されるが、本発明は、記載の特定の特徴又は方法に必ずしも限定されるわけではないことが理解される。特定の特徴及び方法はむしろ、生理学的パラメータの推定を目的とした実装として開示される。

Claims (14)

  1. 生理学的パラメータ測定(PPM)装置であって、
    プロセッサと、
    前記プロセッサに結合されたビデオ画像処理モジュールであって、
    生理学的パラメータが決定される対象の身体部分のビデオ画像の複数のフレームそれぞれを、複数のブロックに分割することと、
    前記複数のブロックの中から、ピーク信号対ノイズ比(PSNR)が最高のブロックを選択することと、
    前記ブロックに関連付けられたブロック識別子に基づいて前記ビデオ画像からフォトプレチスモグラム(PPG)信号を抽出することと
    を行うビデオ画像処理モジュールと、
    前記プロセッサに結合された信号強調モジュールであって、前記対象に関連付けられた生理学的パラメータの値を決定するべく前記PPG信号を強調することを行う信号強調モジュールと
    を含み、
    前記ビデオ画像処理モジュールはさらに、
    前記PPM装置のカメラのフラッシュ強度レベルを、前記対象の試験ビデオ画像を撮影するための一以上のフラッシュ強度レベルにおいて、前記一以上のフラッシュ強度レベルそれぞれにおいて前記カメラを動作させるように調整することと、
    前記一以上のフラッシュ強度レベルそれぞれに対し、前記フラッシュ強度レベルにおいて撮影された試験ビデオ画像に対するPSNRを決定することと、
    前記一以上のフラッシュ強度レベルにおいて撮影された試験ビデオ画像の中から、PSNRが最高の試験ビデオ画像を決定することと、
    前記PSNRが最高の試験ビデオ画像に対応するフラッシュ強度レベルにおいて前記対象のビデオ画像を撮影することと
    を行うように構成されるPPM装置。
  2. 前記ビデオ画像処理モジュールはさらに、前記複数のブロックそれぞれに対して前記PSNRをコンピュータ計算するように構成される請求項1に記載のPPM装置。
  3. 前記ビデオ画像処理モジュールはさらに、
    前記ブロックに関連付けられたブロック識別子を決定することと、
    前記ブロック識別子に基づいて前記ビデオ画像の各フレームにおける一領域を識別することと、
    前記PPG信号を抽出するべく、前記ビデオ画像の各フレームに対応する識別された前記一領域を選択することと
    を行うように構成される請求項1に記載のPPM装置。
  4. 前記信号強調モジュールさらに、
    フィルタリング済みPPG信号を取得するべく前記PPG信号をフィルタリングすることと、
    前記PPG信号を強調するべく、前記フィルタリング済みPPG信号に補間技術を適用することと
    を行うように構成される請求項1に記載のPPM装置。
  5. 方法であって、
    プロセッサが、生理学的パラメータが決定される対象の身体部分のビデオ画像の複数のフレームそれぞれを、複数のブロックに分割することと、
    前記複数のブロックの中から、ピーク信号対ノイズ比(PSNR)が最高のブロックを選択することと、
    前記ブロックに関連付けられたブロック識別子に基づいて前記ビデオ画像からフォトプレチスモグラム(PPG)信号を抽出することと、
    前記対象に対する生理学的パラメータの値を決定するべく前記PPG信号を強調することと
    カメラのフラッシュ強度レベルを、前記対象の試験ビデオ画像を撮影するための一以上のフラッシュ強度レベルにおいて、前記一以上のフラッシュ強度レベルそれぞれにおいて前記カメラを動作させるように調整することと、
    前記一以上のフラッシュ強度レベルそれぞれに対し、前記フラッシュ強度レベルにおいて撮影された試験ビデオ画像に対するPSNRを決定することと、
    前記一以上のフラッシュ強度レベルにおいて撮影された試験ビデオ画像の中から、PSNRが最高の試験ビデオ画像を決定することと、
    前記PSNRが最高の試験ビデオ画像に対応するフラッシュ強度レベルにおいて前記対象のビデオ画像を撮影することと
    を含む方法。
  6. 前記方法はさらに、前記複数のブロックそれぞれに対し前記PSNRをコンピュータ計算することを含む請求項に記載の方法。
  7. 前記抽出することは、
    前記ブロックに関連付けられたブロック識別子を確定することと、
    前記ブロック識別子に基づいて前記ビデオ画像の各フレームにおける一領域を識別することと、
    前記PPG信号を抽出するべく、前記ビデオ画像の各フレームに対応する前記一領域を選択することと
    を含む請求項に記載の方法。
  8. 前記PPG信号を強調することはさらに、
    フィルタリング済みPPG信号を取得するべく前記PPG信号をフィルタリングすることと、
    前記PPG信号を強調するべく、前記フィルタリング済みPPG信号に補間技術を適用することと
    含む請求項に記載の方法。
  9. 前記生理学的パラメータは、心拍数、血圧及び酸素飽和度の少なくとも一つを含む請求項に記載の方法。
  10. コンピュータプログラムが具体化された非一時的コンピュータ可読媒体であって、
    前記コンピュータプログラムは、
    プロセッサが、生理学的パラメータが決定される対象の身体部分のビデオ画像の複数のフレームそれぞれを、複数のブロックに分割することと、
    前記複数のブロックの中から、ピーク信号対ノイズ比(PSNR)が最高のブロックを選択することと、
    前記ブロックに関連付けられたブロック識別子に基づいて前記ビデオ画像からフォトプレチスモグラム(PPG)信号を抽出することと、
    前記対象に対する生理学的パラメータの値を決定するべく前記PPG信号を強調することと
    カメラのフラッシュ強度レベルを、前記対象の試験ビデオ画像を撮影するための一以上のフラッシュ強度レベルにおいて、前記一以上のフラッシュ強度レベルそれぞれにおいて前記カメラを動作させるように調整することと、
    前記一以上のフラッシュ強度レベルそれぞれに対し、前記フラッシュ強度レベルにおいて撮影された試験ビデオ画像に対するPSNRを決定することと、
    前記一以上のフラッシュ強度レベルにおいて撮影された試験ビデオ画像の中から、PSNRが最高の試験ビデオ画像を決定することと、
    前記PSNRが最高の試験ビデオ画像に対応するフラッシュ強度レベルにおいて前記対象のビデオ画像を撮影することと
    を含む方法を実行する非一時的コンピュータ可読媒体。
  11. 前記方法はさらに、前記複数のブロックそれぞれに対し前記PSNRをコンピュータ計算することを含む請求項10に記載の非一時的コンピュータ可読媒体。
  12. 前記抽出することは、
    前記ブロックに関連付けられたブロック識別子を確定することと、
    前記ブロック識別子に基づいて前記ビデオ画像の各フレームにおける一領域を識別することと、
    前記PPG信号を抽出するべく、前記ビデオ画像の各フレームに対応する前記一領域を選択することと
    を含む請求項10に記載の非一時的コンピュータ可読媒体。
  13. 前記PPG信号を強調することはさらに、
    フィルタリング済みPPG信号を取得するべく前記PPG信号をフィルタリングすることと、
    前記PPG信号を強調するべく、前記フィルタリング済みPPG信号に補間技術を適用することと
    含む請求項10に記載の非一時的コンピュータ可読媒体。
  14. 前記生理学的パラメータは、心拍数、血圧及び酸素飽和度の少なくとも一つを含む請求項10に記載の非一時的コンピュータ可読媒体。
JP2015060673A 2014-10-27 2015-03-24 生理学的パラメータの推定 Active JP6509605B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN3396MU2014 2014-10-27
IN3396/MUM/2014 2014-10-27

Publications (3)

Publication Number Publication Date
JP2016083342A JP2016083342A (ja) 2016-05-19
JP2016083342A5 JP2016083342A5 (ja) 2018-02-08
JP6509605B2 true JP6509605B2 (ja) 2019-05-08

Family

ID=52875462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015060673A Active JP6509605B2 (ja) 2014-10-27 2015-03-24 生理学的パラメータの推定

Country Status (6)

Country Link
US (1) US9955880B2 (ja)
EP (1) EP3015057B1 (ja)
JP (1) JP6509605B2 (ja)
CN (1) CN106137175B (ja)
AU (1) AU2015201518B2 (ja)
SG (1) SG10201502305VA (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3087915B1 (en) * 2015-04-27 2022-02-09 Tata Consultancy Services Limited Method and system for noise cleaning of photoplethysmogram signals for estimating blood pressure
US10123746B2 (en) * 2015-05-08 2018-11-13 Texas Instruments Incorporated Accuracy of heart rate estimation from photoplethysmographic (PPG) signals
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US10939833B2 (en) 2017-05-01 2021-03-09 Samsung Electronics Company, Ltd. Determining artery location using camera-based sensing
EP3449820B1 (en) * 2017-08-30 2023-05-24 Qompium Computer-implemented method and system for direct photoplethysmography (ppg)
JP6620999B2 (ja) * 2017-11-30 2019-12-18 国立大学法人東北大学 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法
US10898087B2 (en) 2017-12-08 2021-01-26 Texas Instruments Incorporated Motion detection and cancellation using ambient light
US10943092B2 (en) 2018-05-23 2021-03-09 ClairLabs Ltd. Monitoring system
US20220160311A1 (en) * 2020-11-24 2022-05-26 Tencent America LLC Heart rate measurement based on remote photoplethysmography
US20240016424A1 (en) * 2022-07-15 2024-01-18 Samsung Electronics Co., Ltd. Determining Oxygen Levels From Images of Skin

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149006A (ja) * 1998-08-31 2000-05-30 Seiko Epson Corp 画像処理プログラムを記録した媒体、画像処理装置および画像処理方法
FR2853792A1 (fr) * 2003-04-11 2004-10-15 France Telecom Procede de tatouage d'une sequence video a selection adaptative de la zone d'insertion du tatouage, procede de detection, dispositifs, support de donnees et programmes d'ordinateur correspondants
JP2009081622A (ja) * 2007-09-26 2009-04-16 Oki Semiconductor Co Ltd 動画像圧縮符号化装置
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
US8532932B2 (en) * 2008-06-30 2013-09-10 Nellcor Puritan Bennett Ireland Consistent signal selection by signal segment selection techniques
EP2486539B1 (en) * 2009-10-06 2016-09-07 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
JP2011109619A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理方法および画像処理装置、プログラム
RU2597994C2 (ru) * 2011-01-05 2016-09-20 Конинклейке Филипс Электроникс Н.В. Устройства видеокодирования и декодирования и способы сохранения значимой для ppg информации
WO2012103296A2 (en) * 2011-01-27 2012-08-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for monitoring the circulatory system
CN103476330B (zh) * 2011-04-21 2016-07-13 皇家飞利浦有限公司 用于人的生命体征测量的设备和方法
US20140221845A1 (en) * 2012-06-25 2014-08-07 Xerox Corporation Determining cardiac arrhythmia from a video of a subject being monitored for cardiac function
JP6069929B2 (ja) * 2012-07-25 2017-02-01 富士通株式会社 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム
CN104602594B (zh) * 2012-09-07 2017-03-22 富士通株式会社 脉搏检测方法和脉搏检测装置
US8740806B2 (en) * 2012-11-07 2014-06-03 Somnarus Inc. Methods for detection of respiratory effort and sleep apnea monitoring devices
JP6290248B2 (ja) * 2012-12-21 2018-03-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法
EP3057486B1 (en) * 2013-10-17 2017-05-03 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography

Also Published As

Publication number Publication date
CN106137175B (zh) 2020-03-24
EP3015057A1 (en) 2016-05-04
EP3015057B1 (en) 2017-09-06
CN106137175A (zh) 2016-11-23
JP2016083342A (ja) 2016-05-19
US9955880B2 (en) 2018-05-01
US20160113531A1 (en) 2016-04-28
AU2015201518B2 (en) 2019-08-01
AU2015201518A1 (en) 2016-05-12
SG10201502305VA (en) 2016-05-30

Similar Documents

Publication Publication Date Title
JP6509605B2 (ja) 生理学的パラメータの推定
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
KR101776124B1 (ko) 생리학적 신호 처리
EP3000386A1 (en) Skin function evaluation device and skin evaluation method
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
JPWO2015045554A1 (ja) 生体情報取得装置および生体情報取得方法
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US10212408B1 (en) Depth-map augmentation techniques
KR102360773B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
CN107621867A (zh) 熄屏控制方法、装置和终端设备
JP2015080647A (ja) 撮影画像表示装置
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
WO2016075978A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN109583330B (zh) 一种用于人脸照片的毛孔检测方法
KR20120117604A (ko) 피부 상태 분석 방법 및 장치
Dautov et al. On the effect of face detection on heart rate estimation in videoplethysmography
JP6585623B2 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
WO2017080236A1 (zh) 图像处理方法及装置
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法
US11039077B2 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
CN116584914A (zh) 心率确定方法、装置、终端设备以及计算机可读存储介质
CN115731205A (zh) 内窥镜的图像处理装置、方法、电子设备及存储介质
Chen et al. Conference 9029: Visual Information Processing and Communication V

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190403

R150 Certificate of patent or registration of utility model

Ref document number: 6509605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250