JP6371837B2 - 被験者のバイタルサインを取得するデバイスと方法 - Google Patents
被験者のバイタルサインを取得するデバイスと方法 Download PDFInfo
- Publication number
- JP6371837B2 JP6371837B2 JP2016522746A JP2016522746A JP6371837B2 JP 6371837 B2 JP6371837 B2 JP 6371837B2 JP 2016522746 A JP2016522746 A JP 2016522746A JP 2016522746 A JP2016522746 A JP 2016522746A JP 6371837 B2 JP6371837 B2 JP 6371837B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- subject
- image frames
- pixels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000000605 extraction Methods 0.000 claims description 42
- 238000005259 measurement Methods 0.000 claims description 37
- 238000011524 similarity measure Methods 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 238000012512 characterization method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 7
- 230000001747 exhibiting effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 230000036387 respiratory rate Effects 0.000 description 7
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000241 respiratory effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
− 被験者の一組の画像フレームを受け取るインタフェースと、
− 前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付ける動き分析ユニットであって、
− 連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び/又はグローバルに推定する動き推定ユニットと、
− 同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出する空間的特徴抽出ユニットと、
− 前記動き推定ユニットと前記空間的特徴抽出ユニットとの出力の類似度の類似度測定値を計算することにより、前記一組の画像フレーム中の、被験者の動きのタイプを決定する運動特徴付けユニットとを有する、動き分析ユニットと、
− 前記一組の画像フレームから光プレチスモグラフィー(PPG)信号を抽出し、前記一組の画像フレームにおける被験者の動きの特徴付けを用いて、面外運動を示さないまたは実質的に示さない前記一組の画像フレームの部分のみから前記PPG信号を抽出し、または面外運動を示す画像フレームから抽出された前記PPG信号の一部を、信号部分の補間により置換し、またはPPG信号が抽出される少なくとも1つの測定領域のサイズを縮小し、被験者の面外運動の場合、PPG信号を少なくとも1つの測定領域の中心領域のみから抽出するように構成された信号抽出ユニットと、
− 抽出された前記PPG信号からバイタルサイン情報を決定するバイタルサイン決定ユニットとを有する。
S=f(g(GME,COM),g(LME,COM)) (1)
ここで、Sは類似度の測定値であり、GMEとLMEはそれぞれ動き推定ユニット32により得られるグローバル動き情報(GME)とローカル動き情報(LME)を含む時系列(時間ベクトル)であり、COMは空間的特徴抽出ユニット34により得られる重心運動であり、g(x)は距離を抽出する任意の線形/非線形演算であり、f(x)は二つの距離を合成して一つの数にする任意の線形/非線形演算である。
S=1/(||GME−COM||xSUM(||LME−COM||)) (2)、
ここで、||LME−COM||項において、差分は各ローカル動き推定出力(LME)と重心運動(COM)の値の間の差分を取ることにより行われる。
S=||GME−COM|| +SUM(||LME−COM||) (3)。
Claims (15)
- 被験者のバイタルサインを取得する装置であって、
被験者の一組の画像フレームを受け取るインタフェースと、
前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付ける動き分析ユニットであって、前記動き分析ユニットは、
連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び/又はグローバルに推定する動き推定ユニットと、
同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出する空間的特徴抽出ユニットと、
前記動き推定ユニットの出力と前記空間的特徴抽出ユニットの出力との類似度の類似度測定値を計算することにより、前記一組の画像フレームにおける被験者の動きのタイプを決定する動き特徴付けユニットと
を有する動き分析ユニットと、
前記一組の画像フレームから光プレチスモグラフィー(PPG)信号を抽出し、前記一組の画像フレームにおける被験者の動きの決定を用いて、
面外運動を示さないまたは実質的に示さない前記一組の画像フレームの部分のみから前記PPG信号を抽出し、または
面外運動を示す画像フレームから抽出された前記PPG信号の一部を、面外運動が検出されたときに補間された前記PPG信号の信号部分の補間により置換し、または
被験者の面外運動の場合、PPG信号が抽出される少なくとも1つの測定領域のサイズを縮小し、面外運動が検出されたとき、PPG信号を少なくとも1つの測定領域の中心領域のみから抽出するように構成された信号抽出ユニットと、
抽出された前記PPG信号からバイタルサイン情報を決定するバイタルサイン決定ユニットとを有する
装置。 - 前記信号抽出ユニットは、少なくとも1つの測定領域の、動きを示さないまたは最小の動きを示す部分のみから前記PPG信号を抽出するように構成された、請求項1に記載の装置。
- 前記動き推定ユニットは、前記画像フレームの画像平面中の少なくとも1つの方向で少なくとも1つの測定領域の第1の平均動きベクトルを表す第1の時系列を取得するように構成されている、請求項1に記載の装置。
- 前記動き推定ユニットは、少なくとも1つの測定領域の複数の画素または画素グループのローカル動きベクトル値を表す第2の時系列を取得するように構成されている、請求項1に記載の装置。
- 前記動き推定ユニットは、被験者の動きを推定するため、ブロックマッチング、3DRS、オプティカルフロー、テンプレートマッチング、及び/又はフィーチャトラッキングを適用するように構成されている、
請求項1に記載の装置。 - 前記空間的特徴抽出ユニットは、前記画像フレームの画像平面内の少なくとも1つの方向で、少なくとも1つの測定領域の第2の平均動きベクトルを表す第3の時系列を取得するように構成されており、前記第2の平均動きベクトルは前記少なくとも1つの測定領域の一群の画素の空間的特徴の空間的変位を示す、請求項1に記載の装置。
- 前記空間的特徴抽出ユニットは、一群の画素の重心、対象検出中心、またはランドマークの重心の変位に基づき、被験者の動きをグローバルに抽出するように構成されている、請求項1に記載の装置。
- 前記空間的特徴抽出ユニットは、前記画像フレームにおける一以上のランドマークの変位に基づき、一群の画素の空間的特徴の変位を決定するように構成されている、請求項1に記載の装置。
- 前記動き特徴付けユニットは、前記動き推定ユニットの出力と前記空間的特徴抽出ユニットの出力との間の類似度測定値を、前記出力間の差分を計算することにより取得するように構成されている、
請求項1に記載の装置。 - 前記動き特徴付けユニットは、前記第1の時系列と、前記画像フレームの画像平面内の少なくとも1つの方向で少なくとも1つの測定領域の第2の平均動きベクトルを表す第3の時系列の第1の線形または非線型結合から第1の差分を計算し、少なくとも1つの測定領域の複数の画素または画素グループのローカル動きベクトル値を表す第2の時系列と第3の時系列の第1の線形または非線型結合から第2の差分を計算し、前記第1の差分と第2の差分を線形または非線型に結合して、前記動き推定ユニットと前記空間的特徴抽出ユニットの出力の類似度を示す類似度測定値を求めるように構成されている、請求項3に記載の装置。
- 前記動き特徴付けユニットは、前記類似度測定値を所定の類似度閾値と比較して被験者の面内運動と面外運動とを区別し、及び/又は画素群のローカル類似度を決定して異なる前記画素群の異なる動きを区別するように構成されている、請求項10に記載の装置。
- 前記画像フレームの画像平面内の少なくとも1つの方向は、前記画像フレームの画像平面内の2つの直交する方向である、
請求項6に記載の装置。 - 前記一群の画素は、同じまたは類似の色、画素値、及び/又は勾配を示すものである、
請求項7に記載の装置。 - 被験者のバイタルサインを取得する方法であって、
被験者の一組の画像フレームを受け取ることと、
前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付けることであって、
連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び/又はグローバルに推定することと、
同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出することと、
前記動き推定及び前記空間的特徴の抽出の出力の類似度の類似度測定値を計算することにより、前記一組の画像フレームにおける被験者の動きのタイプを決定することと
により行われる、分析することと、
前記一組の画像フレームにおける被験者の動きの決定を用いて、前記一組の画像フレームから光プレチスモグラフィー(PPG)信号を抽出することであって、
前記光プレチスモグラフィー(PPG)信号を抽出することは、
面外運動を示さないまたは実質的に示さない画像フレームのみから前記PPG信号を抽出すること、または
面外運動を示す画像フレームから抽出された前記PPG信号の一部を、前記PPG信号の補間された信号部分により置換すること、または
PPG信号を少なくとも1つの測定領域の中心領域のみから抽出することにより、PPG信号が抽出される少なくとも1つの測定領域のサイズを縮小することとのうち1つを含む、抽出することと、
抽出された前記PPG信号からバイタルサイン情報を決定することとを有する、
方法。 - コンピュータで実行されたとき、前記コンピュータに、請求項14に記載の方法のステップを実行させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13189044.4 | 2013-10-17 | ||
EP13189044 | 2013-10-17 | ||
PCT/EP2014/072102 WO2015055709A1 (en) | 2013-10-17 | 2014-10-15 | Device and method for obtaining a vital sign of a subject |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016534771A JP2016534771A (ja) | 2016-11-10 |
JP2016534771A5 JP2016534771A5 (ja) | 2018-02-08 |
JP6371837B2 true JP6371837B2 (ja) | 2018-08-08 |
Family
ID=49486341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016522746A Active JP6371837B2 (ja) | 2013-10-17 | 2014-10-15 | 被験者のバイタルサインを取得するデバイスと方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9928607B2 (ja) |
EP (1) | EP3057487B1 (ja) |
JP (1) | JP6371837B2 (ja) |
CN (1) | CN105636505B (ja) |
WO (1) | WO2015055709A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL3122173T3 (pl) | 2014-03-26 | 2021-08-30 | Scr Engineers Ltd | System lokalizacji żywego inwentarza |
US10524725B2 (en) * | 2014-06-06 | 2020-01-07 | Koninklijke Philips N.V. | Device, system and method for detecting apnoea of a subject |
US10986817B2 (en) | 2014-09-05 | 2021-04-27 | Intervet Inc. | Method and system for tracking health in animal populations |
US11071279B2 (en) | 2014-09-05 | 2021-07-27 | Intervet Inc. | Method and system for tracking health in animal populations |
US9582879B2 (en) * | 2014-10-20 | 2017-02-28 | Microsoft Technology Licensing, Llc | Facial skin mask generation for heart rate detection |
WO2017109169A1 (en) | 2015-12-23 | 2017-06-29 | Koninklijke Philips N.V. | Apparatus and method for measuring the quality of an extracted signal |
GB201601140D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating heart rate |
GB201601142D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating breathing rate |
GB201601143D0 (en) * | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for health and safety monitoring of a subject in a room |
GB201601217D0 (en) | 2016-01-22 | 2016-03-09 | Oxehealth Ltd | Signal processing method and apparatus |
CN108702418A (zh) | 2016-02-25 | 2018-10-23 | 皇家飞利浦有限公司 | 用于确定呼叫的优先级水平和/或对话持续时间的设备、系统和方法 |
US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
GB201615899D0 (en) | 2016-09-19 | 2016-11-02 | Oxehealth Ltd | Method and apparatus for image processing |
US10885349B2 (en) | 2016-11-08 | 2021-01-05 | Oxehealth Limited | Method and apparatus for image processing |
JP6716712B2 (ja) * | 2016-11-10 | 2020-07-01 | シャープ株式会社 | 画像解析装置および生体情報生成システム |
GB201706449D0 (en) | 2017-04-24 | 2017-06-07 | Oxehealth Ltd | Improvements in or realting to in vehicle monitoring |
TWI646941B (zh) * | 2017-08-09 | 2019-01-11 | 緯創資通股份有限公司 | 生理訊號量測系統及其量測生理訊號之方法 |
EP3479754A1 (en) | 2017-11-01 | 2019-05-08 | Koninklijke Philips N.V. | Device, system and method for determining at least one vital sign of a subject |
EP3495994A1 (en) * | 2017-12-05 | 2019-06-12 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
US11786202B2 (en) | 2018-01-08 | 2023-10-17 | Shenzhen Keya Medical Technology Corporation | Method, system, and medium for analyzing image sequence of periodic physiological activity |
US10499867B2 (en) * | 2018-01-08 | 2019-12-10 | Shenzhen Keya Medical Technology Corporation | Method, storage medium, and system for analyzing image sequences of periodic physiological activities |
GB201803508D0 (en) | 2018-03-05 | 2018-04-18 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
WO2019209712A1 (en) | 2018-04-22 | 2019-10-31 | Vence, Corp. | Livestock management system and method |
US10565714B2 (en) | 2018-05-25 | 2020-02-18 | Denso Corporation | Feature tracking for visual odometry |
US11864529B2 (en) | 2018-10-10 | 2024-01-09 | S.C.R. (Engineers) Limited | Livestock dry off method and device |
GB201900033D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Mrthod and apparatus for monitoring of a human or animal subject |
GB201900032D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900034D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
JP2021165968A (ja) * | 2020-04-07 | 2021-10-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、および記憶媒体 |
CN113749611B (zh) * | 2020-05-28 | 2022-11-11 | 华为技术有限公司 | 数据测量方法及相关装置 |
US20230200684A1 (en) * | 2020-06-02 | 2023-06-29 | Mitsubishi Electric Corporation | Respiration information estimation device and respiration information estimation method |
USD990063S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
USD990062S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
IL275518B (en) | 2020-06-18 | 2021-10-31 | Scr Eng Ltd | Animal tag |
US11653883B2 (en) | 2020-10-30 | 2023-05-23 | Biospectal Sa | Systems and methods for acquiring PPG signals for measuring blood pressure |
WO2022113062A1 (en) | 2020-11-25 | 2022-06-02 | Scr Engineers Ltd. | A system and method for tracing members of an animal population |
KR102485436B1 (ko) * | 2021-01-28 | 2023-01-06 | 주식회사 딥메디 | 센서를 이용한 호흡수 추정을 위한 방법 및 장치 |
US11882366B2 (en) | 2021-02-26 | 2024-01-23 | Hill-Rom Services, Inc. | Patient monitoring system |
CN113017613B (zh) * | 2021-03-03 | 2022-05-06 | 四川大学华西医院 | 基于人工智能的心冲击波信号处理方法及计算机设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3390802B2 (ja) | 1995-03-28 | 2003-03-31 | 日本光電工業株式会社 | 呼吸モニタ |
US8144884B2 (en) * | 2004-05-24 | 2012-03-27 | Cochlear Limited | Stand-alone microphone test system for a hearing device |
US20100061596A1 (en) * | 2008-09-05 | 2010-03-11 | Varian Medical Systems Technologies, Inc. | Video-Based Breathing Monitoring Without Fiducial Tracking |
CN102549620B (zh) * | 2009-10-06 | 2015-01-28 | 皇家飞利浦电子股份有限公司 | 至少表示基于像素值的值的变化的时变信号的形成和处理 |
JP6148009B2 (ja) * | 2009-10-06 | 2017-06-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | フォトプレチスモグラフィーを実行するための方法及びシステム |
JP5834011B2 (ja) * | 2009-10-06 | 2015-12-16 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム |
US20110251493A1 (en) | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
LV14514B (lv) | 2010-10-06 | 2012-08-20 | Latvijas Universitāte | Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei |
US8790269B2 (en) | 2011-05-09 | 2014-07-29 | Xerox Corporation | Monitoring respiration with a thermal imaging system |
CN102309318A (zh) | 2011-07-08 | 2012-01-11 | 首都医科大学 | 基于红外序列图像的人体生理参数检测的方法 |
US8879867B2 (en) * | 2013-01-18 | 2014-11-04 | Xerox Corporation | Processing source video for real-time enhancement of a signal of interest |
JP6461021B2 (ja) * | 2013-03-14 | 2019-01-30 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 被検者のバイタルサイン情報を取得するためのデバイス及び方法 |
-
2014
- 2014-10-15 US US15/028,791 patent/US9928607B2/en active Active
- 2014-10-15 WO PCT/EP2014/072102 patent/WO2015055709A1/en active Application Filing
- 2014-10-15 CN CN201480056779.7A patent/CN105636505B/zh active Active
- 2014-10-15 EP EP14784458.3A patent/EP3057487B1/en active Active
- 2014-10-15 JP JP2016522746A patent/JP6371837B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015055709A1 (en) | 2015-04-23 |
US20160253820A1 (en) | 2016-09-01 |
JP2016534771A (ja) | 2016-11-10 |
EP3057487A1 (en) | 2016-08-24 |
EP3057487B1 (en) | 2021-08-11 |
CN105636505B (zh) | 2019-05-14 |
CN105636505A (zh) | 2016-06-01 |
US9928607B2 (en) | 2018-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371837B2 (ja) | 被験者のバイタルサインを取得するデバイスと方法 | |
McDuff et al. | A survey of remote optical photoplethysmographic imaging methods | |
JP5980720B2 (ja) | 呼吸速度推定のためのビデオプロセッシング | |
JP6472086B2 (ja) | 対象の呼吸情報を取得する装置 | |
Bartula et al. | Camera-based system for contactless monitoring of respiration | |
Tasli et al. | Remote PPG based vital sign measurement using adaptive facial regions | |
EP3373804B1 (en) | Device, system and method for sensor position guidance | |
JP6615197B2 (ja) | 皮膚検出に関するデバイス及び方法 | |
US20200178809A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
US20200367773A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
US20160220128A1 (en) | Improved signal selection for obtaining a remote photoplethysmographic waveform | |
US20140275832A1 (en) | Device and method for obtaining vital sign information of a subject | |
CN106413533B (zh) | 用于检测对象的呼吸暂停的设备、系统和方法 | |
Koolen et al. | Automated respiration detection from neonatal video data | |
Chatterjee et al. | Real-time respiration rate measurement from thoracoabdominal movement with a consumer grade camera | |
Gwak et al. | Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body | |
Liu et al. | Detecting pulse wave from unstable facial videos recorded from consumer-level cameras: A disturbance-adaptive orthogonal matching pursuit | |
Mehta et al. | OPOIRES: A robust non-contact respiratory rate extraction based on optimal points-of-interest selection from an RGB camera | |
Wiede et al. | Contact-less Vital Parameter Determination: An e-Health Solution for Elderly Care. | |
US20230293113A1 (en) | System and method of estimating vital signs of user using artificial intelligence | |
Patil et al. | Heart rate measurement system using facial video processing | |
Penke | An Efficient Approach to Estimating Heart Rate from Facial Videos with Accurate Region of Interest | |
Imaduddin et al. | A computationally efficient heart rate measurement system using video cameras | |
Sen et al. | Heart Rate Detection and Estimation System Using Webcam | |
Chenna | IR Thermography (IRTG) and Image Photoplethysmography (IPPG): Non-Contact Medical Counter Measures for Infection Screening |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171219 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171219 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6371837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |