KR20230157921A - 생체 지수 측정 방법 - Google Patents
생체 지수 측정 방법 Download PDFInfo
- Publication number
- KR20230157921A KR20230157921A KR1020230153700A KR20230153700A KR20230157921A KR 20230157921 A KR20230157921 A KR 20230157921A KR 1020230153700 A KR1020230153700 A KR 1020230153700A KR 20230153700 A KR20230153700 A KR 20230153700A KR 20230157921 A KR20230157921 A KR 20230157921A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- time series
- image frame
- series data
- color channel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 230000035487 diastolic blood pressure Effects 0.000 claims description 6
- 230000035488 systolic blood pressure Effects 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000036772 blood pressure Effects 0.000 description 69
- 230000008859 change Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 31
- 210000004369 blood Anatomy 0.000 description 28
- 239000008280 blood Substances 0.000 description 28
- 210000004204 blood vessel Anatomy 0.000 description 27
- 230000033001 locomotion Effects 0.000 description 25
- 108010054147 Hemoglobins Proteins 0.000 description 18
- 102000001554 Hemoglobins Human genes 0.000 description 18
- 108010064719 Oxyhemoglobins Proteins 0.000 description 18
- 230000017531 blood circulation Effects 0.000 description 15
- 238000002835 absorbance Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 11
- 238000009532 heart rate measurement Methods 0.000 description 11
- 229910052760 oxygen Inorganic materials 0.000 description 11
- 239000001301 oxygen Substances 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000013186 photoplethysmography Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 206010041349 Somnolence Diseases 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000009530 blood pressure measurement Methods 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000012886 linear function Methods 0.000 description 4
- 238000012887 quadratic function Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000001766 physiological effect Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000001746 atrial effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Vascular Medicine (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
Abstract
생체지수 측정방법이 개시된다. 일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 측정하는 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- ; 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계; 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계; 상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계; 상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계; 및 상기 생체신호 특징 데이터를 기초로 생체지수 획득 모델을 이용하여 상기 피측정자에 대한 생체 지수를 획득하는 단계를 포함할 수 있다.
Description
체적변동기록법(Plethysmography)은 인체의 장기나 혈관과 같은 인체의 조직이 혈관에 흐름에 따라 부피가 바뀌게 되면 자연스럽게 모양이나 형태가 달라지게 되는데, 이러한 변화를 측정 및 분석하는 방법에 관한 기술이다.
빛을 이용해 광체적변동기록법(Photoplethysmography, PPG)를 측정하는 가장 일반적인 기술은 인체에 조사한 빛에 대한 투과광의 광량을 분석하는 방법을 이용하며, 흡광도가 흡수하는 물질의 농도 및 흡수층의 두께에 비례한다는 Beer-Lambert법칙으로 설명된다. 이 법칙에 따르면 투과광의 변화는 투과되는 물질의 부피의 변화에 비례하는 신호가 되는 결과가 도출되기 때문에, 물질의 흡수도를 알지 못하는 경우에도 PPG를 이용해 심장의 상태 등을 파악할 수 있다.
최근에는 PPG를 이용한 기술에서 한 단계 더 나아가 rPPG(remote Photoplethysmography)를 이용한 기술이 등장하고 있다. PPG를 이용해 심장박동에 관한 신호를 파악하는 가장 대중화된 기술로서 스마트폰과 같이 카메라와 조명이 근거리에 부착된 장치를 인체에 직접적으로 접촉시켜 빛을 조사하고 곧바로 투과광을 측정해 PPG를 획득하는 기술이 있다면, 최근에는 카메라로 촬영한 영상에서 획득한 신호로부터 혈관의 부피의 변화를 파악하는 rPPG(remote Photoplethysmography)에 관한 기술이 지속적으로 연구 및 개발되고 있는 상황이다.
rPPG를 이용한 기술은 대상체와 측정장비간의 접촉이 요구되지 않는다는 점에서 공항 출입국 관리소, 원격진료 등 카메라를 구비한 장치 및 장소에서 다양하게 응용될 수 있다.
다만 rPPG에 관한 기술은 카메라로 대상체를 촬영하는 과정에서 주변광 및 대상체의 움직임으로 인해 발생하는 노이즈가 신호에 미치는 영향이 크기 때문에, 촬영된 영상으로부터 측정 대상체의 부피 변화에 관련된 신호만을 추출하는 기술이 rPPG를 이용해 생체신호를 측정하는 기술 가운데 핵심기술이라고 볼 수 있다
일 실시예에 따른 해결하고자 하는 과제는 비접촉식으로 생체 지수를 획득하는 것이다.
다른 일 실시예에 따른 해결하고자 하는 과제는 생체 지수를 획득하기 위하여 피측정자의 움직임에 따른 노이즈를 저감시키는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 생체 지수를 획득하기 위하여 외부광의 세기 변화에 따른 노이즈를 저감시키는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 인공 신경망을 이용하여 비접촉식으로 생체지수를 획득하는 것이다.
일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 측정하는 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- ; 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계; 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계; 상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계; 상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계; 및 상기 생체신호 특징 데이터를 기초로 생체지수 획득 모델을 이용하여 상기 피측정자에 대한 생체 지수를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면 비 접촉식으로 생체 지수를 획득하는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 따르면 피측정자의 움직임에 따른 노이즈를 저감시키는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 외부광의 세기 변화에 따른 노이즈를 저감시키는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 인공신경망을 이용하여 비 접촉식으로 생체 지수를 획득하는 방법이 제공될 수 있다.
도 1은 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 2는 다른 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 11은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
도 14는 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 15는 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
도 16은 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 17은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 18은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 19는 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다.
도 20은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 22는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 적외선을 이용한 심박수를 획득 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 26은 일 실시예에 따른 시계열 데이터를 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 생체신호 특징 데이터의 획득을 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 이미지 데이터의 획득을 설명하기 위한 도면이다.
도 2는 다른 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 11은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
도 14는 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 15는 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
도 16은 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 17은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 18은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 19는 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다.
도 20은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 22는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 적외선을 이용한 심박수를 획득 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 26은 일 실시예에 따른 시계열 데이터를 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 생체신호 특징 데이터의 획득을 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 이미지 데이터의 획득을 설명하기 위한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분양에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 측정하는 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계; 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- ; 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계; 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계; 상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계; 상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계; 및 상기 생체신호 특징 데이터를 기초로 생체지수 획득 모델을 이용하여 상기 피측정자에 대한 생체 지수를 획득하는 단계를 포함할 수 있다.
상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계는, 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링하는 단계; 및 상기 필터링된 시계열 데이터를 이용하여 상기 생체신호 특징 데이터를 획득하는 단계를 포함할 수 있다.
상기 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링하는 단계는, 상기 피측정자의 심박수에 대응되는 주파수 대역을 갖는 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링 하는 단계를 포함할 수 있다.
상기 피실험자의 심박수에 대응되는 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링 하는 단계는, 상기 시계열 데이터에 대해 퓨리에 변환을 수행하여 상기 피측정자의 심박수에 대응되는 주파수 대역을 추출하는 단계를 포함할 수 있다.
상기 시계열 데이터를 기초로 생체신호 특징 데이터 획득하는 단계는, 상기 시계열 데이터를 복수의 세부 시계열 데이터로 구분하는 단계; 및 상기 구분된 시계열 데이터를 기초로 타겟 시계열 데이터를 추출하는 단계를 포함하고, 상기 타겟 시계열 데이터는 1차 극대값 및 상기 1차 극대값보다 작은 2차 극대값을 포함할 수 있다.
상기 생체신호 특징 데이터는, 상기 타겟 시계열 데이터의 시작 시점에서의 값, 상기 1차 극대값, 상기 타겟 시계열 데이터의 종료시점에서의 값 중 적어도 하나를 기초로 생성될 수 있다.
상기 생체신호 특징 데이터는, 상기 타겟 시계열 데이터를 1차 미분한 시계열 데이터 및 2차 미분한 시계열 데이터를 기초로 생성될 수 있다.
상기 피측정자에 대한 생체 지수는, 상기 피측정자의 최저 혈압 또는 최고 혈압중 적어도 하나를 포함할 수 있다.
상기 제1, 제2 및 제3 색 채널은 RGB 색공간에 따른 색 채널일 수 있다.
상기 제1 색 채널은 Green 채널에 설정되며, 상기 제2 색 채널은 Red 채널로 설정되고, 상기 제3 색 채널은 Blue 채널로 설정될 수 있다.
상기 제1 특성값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며, 상기 제2 특성값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제2 차이 값의 제2 편차 값을 기초로 획득되고, 상기 제1 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며, 상기 제2 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 계산될 수 있다.
상기 제1 특성값 및 상기 제2 특성값은 정규화 된(normalized) 값일 수 있다.
상기 제1 특성값은 제1 표준 편차 값에 의해 정규화된 값이며, 상기 제2 특성값은 제2 표준 편차 값에 의해 정규화된 값이되, 상기 제1 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 표준 편차 값이며, 상기 제2 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 표준 편차 값일 수 있다.
상기 시계열 데이터는 상기 제1 특성값 및 상기 제2 특성값의 합으로 획득되는 제3 특징 데이터에 기초하여 획득될 수 있다.
0. 용어의 정의
본 명세서에서 사용되는 '측정'이라는 용어는 재어서 정하는 것, 추측하여 결정하는 것, 일정 양을 기준으로 다른 양들의 크기를 재는 것 모두를 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '심박수(Heart rate)'는 심장 박동 수로 이해될 수 있으며, 이는 심장 박동의 결과물로 심장 근처에서 측정되는 박동 수를 의미할 수 있는 '심박수'의 개념과 심장 박동의 결과로 발생한 진동이 말초 혈관으로 전파된 것을 의미할 수 있는 '맥박'의 개념을 모두 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '혈압(Blood pressure)'은 심장에서 혈액을 밀어낼 때 혈관 내에 생기는 압력으로 이해될 수 있으며, 이는 측정 부위에 상관 없이 통상의 '혈압'이라고 이해될 수 있는 값(예를 들어, 위팔의 동맥에서 측정한 값)으로 추측될 수 있는 값으로 이해될 수 있다.
본 명세서에서 사용되는 '산소포화도(oxygen saturation)'는 혈액 내 산소의 포화 정도로 이해 될 수 있으며, 보다 구체적으로 혈액 내 총 헤모글로빈에 대한 산소헤모글로빈의 분율로 이해될 수 있다.
본 명세서에서 사용되는 '체온(Core Temperature)'는 사람이나 동물이 가지는 몸의 온도로 이해될 수 있으며, 피부에서 측정될 수 있는 '피부 온도(Skin Temperature)'와 다르게 이해될 수 있다.
본 명세서에서 사용되는 '피부온도(Skin Temperature)'는 측정되는 피부의 표면 온도로 이해될 수 있다.
본 명세서에서 사용되는 '이미지(Image)'는 하나의 이미지 또는 영상에 포함되는 복수개의 이미지를 모두 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '색 채널(Color Channel)'은 색 공간(Color space)을 구성하는 각각의 축으로 이해될 수 있으며, 예를 들어, Red 채널, Green 채널, Blue 채널은 RGB 색 공간을 구성하는 Red 축, Green 축, Blue 축을 의미할 수 있으며, 이러한 색 채널은 2차원으로 구성될 수 도 있으며, 3차원, 4차원으로 구성될 수도 있다.
본 명세서에서 사용되는 '피측정자에 대한 이미지'는 피측정자의 측정 대상 위치를 포함하는 이미지로 이해될 수 있으며, 예를 들어, 측정 위치가 피측정자의 얼굴인 경우, 피측정자에 대한 얼굴 영역을 포함하는 이미지로 이해될 수 있다.
본 명세서에서 사용되는 '개인적, 통계적 데이터'란 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 피측정자가 포함되거나 피측정자와 관련된 집단을 대상으로 산정된 통계적 데이터(예를 들어, 20대 평균 혈압, 황인 평균 피부 색상, 30대 남성 평균 키, 대한민국 남성의 평균 체중 등)와 같이 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.
본 명세서에서 사용되는 '시계열 데이터'는 시간 축에 따라 나열된 데이터를 의미할 수 있으나, 이에 한정되지 않고 시간에 대응될 수 있는 이미지 프레임 축에 따라 나열된 데이터를 의미할 수 있고, 시간축 또는 이미지 프레임 축에 따라 정렬될 수 있는 데이터를 의미할 수 있으며, 통상의 '시계열 데이터'로 이해될 수도 있다.
1. 생체 지수 및 생체 정보 관리 시스템
"생체 지수(physiological parameter)"는 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 결과물을 의미할 수 있으며, 예를 들어, 심박수, 산소포화도, 혈압, 체온, 혈류량 등을 포함할 수 있으나, 이에 한정되지 않으며, 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 다른 결과물들을 의미할 수 있다.
"생체 정보(physiological information)"는 생체 지수 등 인체의 생리 활동에 따른 결과물 및 표정, 자세, 나이 등 개인적, 통계적 데이터 중 적어도 일부를 고려하여 산출될 수 있는 정보를 의미할 수 있으며, 예를 들어, 졸음 정보, 스트레스 정보, 흥분도 정보, 감정 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
생체 지수 및 생체 정보 관리 시스템은 측정 또는 추정될 수 있는 생체 지수 및 산출될 수 있는 생체 정보를 저장하거나, 공유하거나 분석하여 이를 활용한 개인의 건강 등을 종합 관리할 수 있는 관리 시스템을 의미할 수 있다.
도 1 및 도 2는 각각 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 1을 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 생체 지수 획득 장치(10) 및 서버(20)를 포함할 수 있다.
이 때, 상기 생체 지수 획득 장치(10)는 피측정자(subject)의 생체 지수(physiological parameter)를 측정할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 피측정자(subject)의 생체 지수를 침습적으로 측정할 수도 있으며, 비칩습적이되 접촉방식으로 측정할 수도 있고, 비 접촉 방식으로 측정할 수도 있다.
예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자에 대한 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 생체 지수 획득 장치(10)는 측정된 생체 지수를 기초로 생체 정보(physiological information)를 산출할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수도 있다.
예를 들어, 상기 생체 지수 획득 장치(10)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자의 측정된 생체 지수 및 산출된 생체 정보를 내부 메모리에 저장할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 디스플레이 할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 디스플레이를 더 포함할 수 있으며, 상기 디스플레이를 이용하여 상기 피측정자에 대한 측정된 생체 지수 및 산출된 생체 정보를 디스플레이 할 수 있으나, 이에 한정되지 않으며, 외부 디스플레이로 디스플레이 되도록 해당 정보를 전송할 수도 있다.
또한, 상기 생체 지수는 디스플레이를 통해 한번 디스플레이 될 수 있으며, 실시간 적으로 변하는 생체 지수가 지속적으로 디스플레이 될 수 있다.
또한, 상기 생체 지수 획득 장치(10)는 상기 서버(20)를 향해 상기 피측정자에 대한 상기 생체 지수 및 상기 생체 정보를 전송할 수 있다.
이 때, 상기 서버(20)를 향해 전송된 상기 생체 지수 및 상기 생체 정보는 개인 데이터로 상기 서버(20)에 저장될 수 있다. 예를 들어, 피측정자A로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자A에 대한 데이터로서 상기 서버(20)에 저장될 수 있으며, 피측정자B로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자B에 대한 데이터로서 상기 서버(20)에 저장될 수 있다.
또한, 상기 서버(20)는 필요시 외부 단말과 통신하여 피측정자에 대한 생체 지수 및 생체 정보를 전송할 수 있다. 예를 들어, 상기 서버(20)에 생체 지수 및 생체 정보 데이터가 저장된 피측정자A라는 사람이 진료를 받기 위해 병원을 방문한 경우, 피측정자A를 진료하기 위한 의사는 피측정자A에 대한 생체 지수 및 생체 정보를 필요로 할 수 있다. 이 때, 상기 서버(20)는 상기 병원에 배치되는 외부 단말로부터 피측정자A에 대한 생체 지수 및 생체 정보 데이터의 전송을 요청받는 경우 상기 외부 단말과 통신하여 상기 피측정자A에 대한 생체 지수 및 생체 정보 데이터를 전송할 수 있다.
이처럼, 상기 생체 지수 및 생체 정보 관리 시스템(100)은 개인의 건강에 대한 지속적이고 종합적인 관리 서비스를 제공하기 위한 바탕이 될 수 있으며, 상술한 예시뿐만 아니라 상기 생체 지수 및 생체 정보 관리 시스템(100)은 지속적으로 측정되고 저장되어 관리되는 생체 지수 및 생체 정보를 활용한 다양한 종합 관리 서비스 제공을 위한 바탕이 될 수 있음은 자명한 사실이다.
또한, 도 2를 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 이미지 획득 장치(30) 및 서버(20)를 포함할 수 있다.
이 때, 상기 이미지 획득 장치(30)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.
또한, 상기 서버(20)는 상기 이미지 획득 장치(30)로부터 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.
또한, 상기 서버(20)는 입력장치, 외부 단말 등으로부터 피측정자에 대한 개인적, 통계적 데이터를 획득할 수 있다.
또한, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 기초로 상기 피측정자의 생체 지수를 측정할 수 있다. 예를 들어, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 서버(20)는 측정된 생체 지수를 기초로 생체 정보를 산출할 수 있다. 보다 구체적으로, 상기 서버(20)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세, 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수 있다.
예를 들어, 상기 서버(20)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.
또한, 상기 서버(20)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다.
또한, 상기 이미지 획득 장치(30) 및 상기 서버(20)를 포함하는 생체 지수 및 생체 정보 관리 시스템(100)은 도 1에서 상술한 생체 지수 및 생체 정보 관리 시스템의 기능을 수행할 수 있음은 명확하므로, 중복된 서술은 생략하기로 한다.
*2. 생체 지수 획득 장치의 다양한 실시예들
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 생체 지수 획득 장치(1000)는 이미지 획득부(1010), 제어부(1020), 저장부(1030) 및 통신부(1040)를 포함할 수 있다. 다만, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010), 상기 제어부(1020), 상기 저장부(1030) 및 상기 통신부(1040)중 적어도 일부만을 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010) 및 상기 제어부(1020)만을 포함할 수도 있으나, 이에 한정되지 않고 다양한 방식으로 구현될 수 있다.
또한, 상기 이미지 획득부(1010)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다. 보다 구체적으로 상기 이미지 획득부(1010)는 촬영 장치를 포함할 수 있으며, 상기 촬영 장치를 이용해 상기 피 측정자에 대한 영상 또는 이미지를 획득할 수 있고, 또는 상기 생체 지수 획득 장치(1000) 외부에 배치되는 촬영 장치로부터 상기 피측정자에 대한 영상 또는 이미지를 획득할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지 획득부(1010)가 촬영 장치로부터 피측정자에 대한 영상 또는 이미지를 획득하는 경우, 상기 촬영 장치는 가시광 이미지를 획득하기 위한 가시광 카메라(Visible camera), 적외선 이미지를 획득하기 위한 적외선 카메라(IR camera) 등으로 제공될 수 있으나, 이에 한정되지 않고, 가시광 이미지 및 적외선 이미지를 획득하기 위한 하이브리드 타입의 카메라가 제공될 수도 있다.
또한, 상기 촬영 장치가 가시광 이미지를 획득하는 경우, 획득된 가시광 이미지는 적어도 하나 이상의 색 채널(Color Channel) 값으로 획득될 수 있다. 예를 들어, 상기 획득된 가시광 이미지는 빨강(Red), 초록(Green), 파랑(Blue)으로 표현되는 RGB 색공간의 색 채널 값으로 획득될 수 있으며, 색상(Hue), 채도(Saturation), 명도(Value) 로 포현되는 HSV 색공간의 색채널 값으로 획득될 수도 있으나, 이에 한정되지 않으며, YCrCb, YiQ 등 다양한 색공간의 색채널 값으로 획득될 수 있다.
또한, 상기 촬영 장치가 적외선 이미지를 획득하는 경우, 상기 촬영 장치는 상기 촬영 장치 내부 또는 외부에 배치되는 적외선 조명을 통해 적외선 이미지를 획득할 수 있다. 이 때, 상기 적외선 조명은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선을 비출 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선을 비출 수도 있다.
또한, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 이용하여 생체 지수를 획득할 수 있다.
예를 들어, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압, 체온 등 생체 지수를 획득할 수 있으나, 이에 한정되지 않고 다양한 생체 지수를 획득할 수 있다.
또한, 상기 제어부(1020)는 상기 획득된 생체 지수를 기초로 생체 정보를 산출할 수 있다.
예를 들어, 상기 제어부(1020)는 심박수, 산소포화도, 혈압, 체온 등 획득된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않고 다양한 생체 정보를 산출할 수 있다.
또한, 상기 제어부(1020)는 상기 이미지 획득부(1010), 상기 저장부(1030), 및 상기 통신부(1040) 중 적어도 일부의 동작을 제어할 수 있다.
또한, 상기 저장부(1030)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 저장할 수 있다. 보다 구체적으로, 상기 저장부(1030)는 한 명의 피측정자에 대한 생체 지수 및 생체 정보를 저장할 수도 있으며, 여러 명의 피측정자들에 대한 생체 지수 및 생체 정보를 각각 저장할 수도 있다.
또한, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 전송할 수 있다. 보다 구체적으로, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 관리 서버를 향해 전송할 수도 있으며, 사용자의 단말을 향해 전송할 수도 있다.
3. 생체 지수 및 생체 정보 획득 방법의 다양한 실시예들
3.1 생체 지수 획득 방법
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 4를 참조하면 일 실시예에 따른 생체 지수 획득 방법(1100)은 피측정자에 대한 피측정자에 대한 이미지를 획득하는 단계(S1110)를 포함할 수 있다.
이 때, 피측정자에 대한 이미지를 획득하기 위해 가시광 카메라, 적외선 카메라 등 다양한 카메라를 이용해서 이미지를 획득하거나, 다양한 카메라들로부터 이미지를 획득할 수 있음은 상술한 바 이므로 상세한 설명은 생략하기로 한다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1100)은 피부 영역을 검출하는 단계(S1120)를 포함할 수 있다.
이 때, 상기 피부 영역은 상기 피측정자에 대한 이미지 중 상기 피측정자의 피부 영역으로 추정될 수 있는 영역을 의미할 수 있다.
또한, 상기 피부 영역은 심장 박동에 의한 혈관의 변화를 잘 반영할 수 있으며, 이와 같이 상기 피부 영역을 검출하는 것은 생체 지수 획득의 정확성을 향상시킬 수 있다.
또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 혈관의 확장에 의한 색상의 변화를 반영할 수 있는 피부 영역을 제외한 상기 피측정자의 눈, 머리카락 등 피부 외의 영역이 제거될 수 있다. 예를 들어, 상기 피측정자의 눈, 머리카락 등 피부 외의 영역의 색상 값을 검정색 등 의미 없는 값으로 치환할 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 특정 색공간이 이용될 수 있다. 예를 들어, 피부 영역을 검출하는 단계(S1120)는 획득된 피측정자에 대한 이미지를 YCrCb 색공간의 값으로 치환하고, 상기 YCrCb 색공간으로 표현된 이미지를 기초로 피부영역이 검출할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 피부 영역을 검출하기 위해 종래 알려진 다양한 기법을 이용하여 피부 영역을 검출할 수 있음은 자명하다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역을 설정하는 단계(S1130)를 포함할 수 있다.
이 때, 상기 관심 영역은 획득된 피측정자에 대한 이미지 중 데이터 처리를 하기 위해 관심 있는 영역을 의미할 수 있으며, 생체 지수를 획득하기 위해 데이터 처리에 이용될 수 있는 영역을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 피측정자의 얼굴 영역이 설정될 수 있다. 예를 들어, 상기 피측정자의 얼굴 내에 포함되는 관심 영역을 설정하기 위해 상기 피측정자의 얼굴 영역이 설정될 수 있다.
보다 구체적으로, 설정된 상기 피측정자의 얼굴 영역의 중심을 기초로 일정 비율을 가지는 영역이 관심 영역으로 설정될 수 있다.
예를 들어, 상기 피측정자의 얼굴 영역의 중심을 기초로 세로로 80%, 가로로 60% 크롭할 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 특징점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점을 기초로 관심 영역이 설정될 수 있으나 이에 한정되지 않는다.
보다 구체적으로, 설정된 얼굴 영역에 대하여 추출된 특징점을 중심으로 일정 크기를 가지는 영역이 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 복수개의 특정점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 눈 및 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점들을 기초로 관심 영역이 설정될 수 있다.
또한, 연속적으로 획득되는 복수개의 이미지 각각에 대해 관심 영역이 설정되는 경우, 복수개의 이미지 각각에 대한 관심 영역을 독립적으로 설정할 수 있으며, 연관성 있도록 설정할 수도 있다.
예를 들어, 복수개의 이미지 각각에 대한 관심 영역을 연관성 있도록 설정하기 위해, 복수개의 이미지 각각에 대한 피측정자의 얼굴 영역이 설정될 수 있으며, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 제1 이미지 프레임 다음에 획득되는 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하지 않는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 동일하게 설정될 수 있으나, 이에 한정되지는 않는다.
또한, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 상기 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 상이하도록 설정될 수 있으나 이에 한정되지는 않는다.
또한, 일 실시예에 따른 관심 영역은 획득하고자 하는 생체 지수에 따라 신체부위의 일부를 포함하거나, 얼굴의 일부를 포함하도록 설정될 수 있으며, 적어도 하나 이상의 관심 영역이 설정될 수 있다.
예를 들어, 생체 지수 중 심박수를 획득하기 위해 상기 관심 영역은 볼 영역의 적어도 일부를 포함하도록 설정될 수 있다. 보다 구체적으로, 상기 관심 영역은 혈류에 따라 혈관의 확장 정도를 잘 반영할 수 있어 심박수 획득이 용이한 볼 영역을 포함하도록 설정될 수 있으나 이에 한정되지 않는다.
또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 혈류의 흐름을 반영하기 위해 얼굴의 상부영역을 포함하는 관심 영역과 얼굴의 하부 영역을 포함하는 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 심장으로부터 서로 거리가 다른 둘 이상의 관심 영역으로 설정될 수 있다. 예를 들어, 상기 관심 영역은 손 영역을 포함하는 관심 영역과 얼굴 영역을 포함하는 관심영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역에 대한 데이터를 처리하는 단계(S1140)를 포함할 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 픽셀 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.
예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.
또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.
또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.
또한, 하나의 이미지 프레임에서 추출된 색 채널 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로 하나의 이미지 프레임에서 획득된 복수개의 채널 값들은 서로 더하거나 빼는 등의 연산을 통해 가공될 수 있으며, 예를 들어, 하나의 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 차분연산을 통해 가공될 수 있으나, 이에 한정되지 않고 다양한 채널 값들이 다양한 연산을 통해 가공될 수 있다.
또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 가공 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 색 채널 값의 가공 값들은 일정 구간 평균을 구하거나, 편차를 구하는 등의 연산을 통해 가공될 수 있으나, 이에 한정되지 않으며, 일정 구간 동안의 최대값 최소값들의 차이를 구할 수도 있으며, 다양한 연산을 통해 가공될 수 있다.
또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 및 색 채널 값의 가공 값들이 처리되어 적어도 하나의 시계열 데이터가 획득될 수 있다.
또한, 색 채널 값들, 가공 값들 및 시계열 데이터들 중 적어도 일부를 기초로 생체 지수를 획득하기 위한 특징 값이 추출될 수 있다. 예를 들어, 시계열 데이터의 주파수 성분에 기초하여 심박수를 획득하기 위한 주파수 성분이 추출될 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 생체 지수를 획득하는 단계(S1150)를 포함할 수 있다.
또한, 상기 생체 지수를 획득하기 위해 상기 관심 영역으로부터 추출된 특징 값을 이용할 수 있다. 예를 들어, 상기 관심 영역으로부터 추출된 시계열 데이터의 주파수 성분을 기초로 심박수를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 관심 영역에 대한 데이터를 처리하는 단계(S1140) 및 생체 지수를 획득하는 단계(S1150)는 각 생체 지수에 따라 상이할 수 있으므로, 보다 상세한 내용은 해당되는 부분에서 상세히 기술하기로 한다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 5를 참조하면, 피측정자에 대한 이미지(1161)는 얼굴 영역을 포함할 수 있으며, 피부 영역을 검출할 수 있고(1162), 관심 영역을 검출할 수 있다(1163). 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 도 5를 참조하면 관심 영역에 대한 색 채널 값이 추출될 수 있으며(1164), 추출된 색 채널 값이 처리될 수 있고(1165) 이를 기초로 생체 지수가 획득될 수 있다(1166).
다만, 이에 대해서는 아래에서 해당되는 부분에서 상세히 기술하기로 한다.
3.2 생체 정보 획득 방법
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 6을 참조하면, 일 실시예에 따른 생체 정보 획득 방법은 생체 지수를 획득하는 단계(S1210)를 포함할 수 있다.
이때, 상기 생체 지수는 상술한 생체 지수 획득 방법에 의해서 획득될 수 있으나, 이에 한정되지 않고 ECG 센서 등 외부 센서에 의해 획득될 수 있다.
또한, 상기 생체 지수에 대한 중복된 서술은 생략하기로 한다.
또한, 일 실시예에 따른 생체 정보 획득 방법은 개인적, 통계적 데이터를 획득하는 단계(S1220)를 포함할 수 있다.
이 때, 상기 개인적, 통계적 데이터는 나이, 성별 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있으나, 이에 한정되지 않고 생체 정보를 획득하기 위한 생체 지수를 제외한 다양한 개인적, 통계적 데이터가 될 수 있다.
또한, 일 실시예에 따른 생체 정보 획득 방법은 생체 정보를 획득하는 단계(S1230)를 포함할 수 있다.
이 때, 상기 생체 정보는 피측정자의 졸음 정보, 감정 정보 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 상기 생체 지수 중 심박수가 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수가 기준 심박수 이하가 되는 경우 상기 피측정자가 졸음 상태인 것으로 볼 수 있으며, 기준 심박수 이하가 되는 시간에 따라서 상기 피측정자의 졸음 정도를 획득할 수 있다.
또한, 예를 들어, 상기 감정 정보를 획득하기 위해, 상기 생체 지수 중 심박수 및 혈압이 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수 및 혈압이 기준 심박수 및 혈압 이상이 되는 경우 상기 피측정자가 흥분 상태에 있는 것으로 볼 수 있다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 심박수 및 피측정자의 나이, 성별 등의 개인적, 통계적 데이터가 이용될 수 있다.
또한, 예를 들어, 상기 감정 정보를 획득하기 위해 심박수, 혈압 및 피측정자의 표정, 나이, 성별 등 개인적, 통계적 데이터가 이용될 수 있다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 가중치를 부여할 수 있다. 예를 들어, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 서로 다른 가중치를 부여할 수 있으며, 피측정자에 따라 서로 다른 가중치를 부여할 수도 있다.
3.3 생체 지수 획득 모델을 이용한 생체 지수 획득 방법
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 7의 (a)는 일 실시예에 따른 생체 지수 획득 모델(1302)를 이용한 생체 지수 획득 방법(1300)에 대하여 도시한다.
이 때, 일 실시예에 따른 생체 지수 획득 모델(1302)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)는 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1301)는 획득된 이미지 데이터 자체일 수 있다.
또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1302)는 전처리된 이미지 데이터 일 수 있다. 예를 들어, 상기 이미지(1302)는 율러리안 비디오 확대(eulerian video Magnification)될 수 있으나, 이에 한정되지 않고 획득된 RGB 값의 평균 값을 구하는 등의 다양한 전처리가 될 수 있다. 다른 예로서, 상기 이미지(1302)는 후술할 시계열적 데이터 또는 타겟 시계열적 데이터를 포함할 수 있다.
또한, 획득된 생체 지수(1303)는 심박수, 산소포화도, 혈압, 체온 등이 될 수 있다.
또한, 획득된 생체 지수(1303)는 하나일 수 있으며 복수개의 생체 지수가 동시에 획득될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수가 획득될 수 있으나, 이에 한정되지 않고, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수 및 혈압이 동시에 획득될 수도 있다.
또한, 도 7의 (b)는 다른 일 실시예에 따른 생체 지수 획득 모델(1354)를 이용한 생체 지수 획득 방법(1350)에 대하여 도시한다.
이 때, 상기 생체 지수 획득 모델(1354)은 이미지(1351)로부터 추출된 특징(1352) 및 개인적, 통계적 데이터(1353)을 입력 값으로 획득할 수 있다. 예를 들어, 상기 이미지(1351)로부터 색 채널 값에 대한 시계열 데이터라는 특징이 추출될 수 있으며, 상기 생체 지수 획득 모델(1354)은 상기 색 채널 값에 대한 시계열 데이터 및 개인적, 통계적 데이터를 입력 값으로 획득하여 생체 지수(1355) 결과물로 산출할 수 있다.
또한, 본 명세서에서, 상기 특징은 생체신호 특징 데이터로 표현될 수 있다.
또한, 상기 개인적, 통계적 데이터는 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 평균 혈압, 평균 색상, 평균 키, 평균 체중 등 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.
또한, 상기 생체 지수 획득 모델(1354)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 도 8은 또 다른 일 실시예에 따른 생체 지수 획득 모델(1405)를 이용한 생체 지수 획득 방법(1400)에 대하여 도시한다.
이 때, 상기 생체 지수 획득 방법(1400)은 특징 추출 모델(1402)을 포함할 수 있으며, 일 실시예에 따른 특징 추출 모델(1402)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 특징 추출 모델(1402)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 특징 추출 모델(1402)은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 특징 추출 모델(1402)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 모델(1405)은 상기 특징 추출 모델(1402)로부터 추출된 특징(1403) 및 개인적, 통계적 데이터(1404)를 입력 값으로 획득할 수 있으며, 이를 기초로 생체 지수를(1406)를 결과물로 산출할 수 있다.
또한, 상기 생체 지수 획득 모델(1405)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
도 7 및 도 8을 이용하여 서술한 예시와 같이 생체 지수를 획득하기 위해 머신러닝, 인공 신경망 또는 심층 신경망 모델이 이용될 수 있다.
생체 지수 획득 모델을 이용한 생체 지수 획득 방법에 대해서는 후술할 도 25 내지 도 29에 대한 설명에서 보다 상세하게 설명한다.
4. 생체 지수 획득의 다양한 실시예들
*4.1 심박수 측정 방법의 다양한 실시예들
살아있는 생물의 신체에서 심장이 박동하는 경우, 심장의 박동에 의해 혈액이 전신으로 운반될 수 있다. 이 때, 혈액은 혈관을 타고 흐르게 되고, 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 혈관의 부피의 변화 또는 혈액의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다. 예를 들어, 혈관에 포함되는 혈액의 양이 변하는 경우 혈액에 포함되는 헤모글로빈(hemoglobin) 및 산소 헤모글로빈(oxyhemoglobin)의 양이 변할 수 있으며, 이에 따라 혈액에 의해 반사되는 빛의 양이 변할 수 있다. 따라서, 이와 같이 혈액에 의해 반사되는 빛의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다.
또한, 상술한 예시적 원리 외에도 광으로 심박수를 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1510), 피부 영역을 검출하는 단계(S1520), 관심 영역을 검출하는 단계(S1530) 및 관심 영역에 대한 데이터를 처리하는 단계(S1540) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S1510), 상기 피부 영역을 검출하는 단계(S1520) 및 상기 관심 영역을 검출하는 단계(S1530)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 상기 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1550) 및 심박수를 획득하는 단계(S1560) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 시계열 데이터를 추출하는 단계(S1550)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 이미지 프레임 그룹은 연속적이거나 불연속적인 복수개의 이미지 프레임 그룹을 의미할 수 있다. 예를 들어, 상기 이미지 프레임 그룹은 제1 이미지 프레임부터 제180 이미지 프레임까지 연속적인 이미지 프레임들의 그룹을 의미할 수 있으나, 이에 한정되지 않고, 제1 이미지 프레임부터 제180 이미지 프레임 중 적어도 일부의 이미지 프레임들의 그룹을 의미할 수도 있다.
또한, 상기 심박수를 획득하는 단계(S1560)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 심박수를 획득하기 위해 상기 획득된 시계열 데이터의 주파수 성분이 추출될 수 있다. 예를 들어, 상기 심박수를 획득하기 위해 상기 시계열 데이터는 푸리에 변환(fourier transform, FT)에 따라 변환되어 주파수 성분이 추출될 수 있으나, 이에 한정되지 않으며, 상기 시계열 데이터는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환될 수 있으나, 이에 한정되지 않고 주파수 성분을 추출하기 위한 다양한 처리가 될 수 있다.
또한, 상기 심박수는 하나의 심박수를 기초로 획득될 수 있으며, 적어도 둘 이상의 심박수를 기초로 획득될 수 있다. 예를 들어, 하나의 시계열 데이터를 기초로 하나의 심박수가 획득될 수 있으며, 또 다른 하나의 시계열 데이터를 기초로 또 다른 하나의 심박수가 획득될 수 있고, 획득된 적어도 둘 이상의 심박수를 기초로 최종 심박수가 획득될 수도 있으나, 이에 한정되지는 않는다.
4.2 혈압 측정 방법의 다양한 실시예들
혈압은 혈관을 따라 흐르는 혈액이 혈관의 벽에 주는 압력을 의미할 수 있다.
따라서, 혈압은 혈류의 속도, 혈관 벽의 두께, 혈관에 쌓인 노폐물 등에 영향을 받을 수 있다.
또한, 혈액이 혈관을 따라 흐르는 경우 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 혈관의 부피의 변화 속도, 혈액의 양의 변화 속도를 측정하는 경우 혈압을 획득할 수 있다.
예를 들어, 심장으로부터 거리가 다른 두 지점에서 혈관의 변화를 측정하는 경우 두 지점에서 혈관의 변화의 차이를 기초로 혈압을 구할 수 있으며, 시간에 따라 변화하는 혈관의 변화를 나타낼 수 있는 특징을 추출하여 혈압을 구할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 원리 외에도 광으로 혈압을 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.
도 10은 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1810), 피부 영역을 검출하는 단계(S1820), 제1 관심 영역을 검출하는 단계(S1830), 제2 관심영역을 검출하는 단계(S1831), 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S1810), 상기 피부 영역을 검출하는 단계(S1820)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 관심영역 및 제2 관심영역을 검출하는 단계 (S1830,S1831)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
이 때, 상기 제1 관심 영역 및 제2 관심 영역은 피측정자의 심장으로부터 거리가 상이한 두 영역으로 설정될 수 있다. 예를 들어, 제1 관심 영역은 피측정자의 얼굴의 상부영역으로 설정되고, 제2 관심 영역은 피측정자의 얼굴의 하부 영역으로 설정될 수 있으나, 이에 한정되지 않고, 제1 관심 영역은 피측정자의 얼굴 영역으로 설정되고, 제2 관심 영역은 피측정자의 손등 영역으로 설정될 수도 있다.
또한, 상기 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 상기 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841)는 상술한 관심 영역에 대한 데이터를 처리하는 단계의 동작들을 수행할 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850), 획득된 시계열 데이터를 기초로 PTT(Pulse transit Time)를 계산하는 단계(S1860) 및 혈압을 획득하는 단계(S1870) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850)는 상술한 시계열 데이터를 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 획득된 시계열 데이터를 기초로 PTT를 계산하는 단계(S1860)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 극값에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 극대값과 상기 제2 관심 영역에 대한 시계열 데이터의 극대값의 시간 차이를 기초로 PTT가 계산될 수 있으나, 이에 한정되지 않고, 상기 제1 관심 영역에 대한 시계열 데이터의 극소값과 상기 제2 관심 영역에 대한 시계열 데이터의 극소값의 시간 차이를 기초로 PTT가 계산될 수도 있다.
또한, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 변곡점과 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점의 시간 차이를 기초로 PTT가 계산될 수 있으나, 이에 한정되지 않는다.
또한, 상기 PTT는 상술한 극값, 변곡점 외에도 각 관심 영역에 대한 시계열 데이터의 다양한 지점을 기초로 계산될 수 있다.
또한, 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 극값, 변곡점 등 지점에 획득된 프레임에 기초하여 계산될 수 있다. 예를 들어, 제1 관심 영역에 대한 시계열 데이터에서 제10 프레임에 극대값이 획득되고, 제2 관심 영역에 대한 시계열 데이터에서 제12 프레임에 극대값이 획득되는 경우, 상기 제1 관심 영역 및 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 2 개의 프레임이 획득되기 위한 시간일 수 있으며, 이를 기초로 PTT가 계산될 수 있다.
또한, 혈압을 획득하는 단계(S1870)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
또한, 상기 혈압을 획득하기 위해 PTT가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수가 이용될 수 있다. 보다 구체적으로, 수학식 1 와 같은 함수가 이용될 수 있으며, 함수는 PTT를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 1>
또한, 상기 혈압을 획득하기 위해 PTT 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 2가 이용될 수 있으며, 함수는 PTT, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 2>
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 PTT를 이용하여 혈압을 구하기 위한 다양한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 제1 및 제2 관심 영역에 대한 시계열 데이터를 기초로 계산된 제1 PTT를 기초로 하나의 혈압이 획득될 수 있으며, 제1 및 제2 관심 영역에 대한 다른 시계열 데이터를 기초로 계산된 제2 PTT를 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.
도 11은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1910), 피부 영역을 검출하는 단계(S1920), 관심 영역을 검출하는 단계(S1930) 및 관심 영역에 대한 데이터를 처리하는 단계(S1940) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 이미지를 획득하는 단계(S1910), 상기 피부 영역을 검출하는 단계(S1920), 상기 관심 영역을 검출하는 단계(S1930) 및 상기 관심 영역에 대한 데이터를 처리하는 단계(S1940)에 대한 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1950), 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960) 및 혈압을 획득하는 단계(S1970) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 시계열 데이터를 추출하는 단계(S1950)는 상술한 시계열 데이터 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다. 본 명세서에서, 상기 특징은 생체신호 특징 데이터로 표현될 수 있다.
이 때, 상기 특징은 상기 획득된 시계열 데이터의 수학적, 물리적 특징을 의미할 수 있다. 예를 들어, 상기 특징은 상기 획득된 시계열 데이터의 극대값, 극대값의 평균, 극소값, 극소값의 평균, 극대값과 극소값의 차이, 평균, 변곡점, 1차 미분 데이터, 2차 미분 데이터, 특정 시점에서의 기울기 등 수학적 특징을 의미할 수 있으며, 혈액의 변화량, 혈액의 변화 속도, 혈관의 변화량, 혈관의 변화 속도 등 물리적 특징을 의미할 수도 있으나, 이에 한정되지 않는다.
또한, 상기 특징은 상술한 예시적인 특징 외에도 혈압을 획득하기 위한 다양한 특징이 될 수 있음은 자명하다.
또한, 상기 혈압을 획득하는 단계(S1970)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
또한, 상기 혈압을 획득하기 위해 상기 특징이 이용될 수 있다.
예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수가 이용될 수 있다. 보다 구체적으로 수학식 3과 같은 함수가 이용될 수 있으며, 함수는 특징을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 3>
또한, 상기 혈압을 획득하기 위해 상기 특징 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 4가 이용될 수 있으며, 함수는 특징, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 4>
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 특징 이용하여 혈압을 구하기 위한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 시계열 데이터를 기초로 계산된 제1 특징을 기초로 하나의 혈압이 획득될 수 있으며, 다른 시계열 데이터를 기초로 계산된 제2 특징을 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.
5. 심박수 측정 방법의 다양한 실시예들
도 12는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 일 실시예에 따른 심박수 획득 방법(2100)은 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120), 관심 영역을 검출하는 단계(S2130), 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120) 및 관심 영역을 검출하는 단계(S2130)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 움직임에 의한 노이즈(Motion artifact), 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.
또한, 상기 특성 값을 획득하는 단계(S2150)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.
또한, 상기 특성 값을 획득하는 단계(S2150)는 움직임에 의한 노이즈, 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.
또한, 상기 심박수를 획득하는 단계(S2160)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.
이 때, 상기 심박수를 획득하기 위한 이미지 프레임 그룹과 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 서로 동일할 수 있으며, 상이할 수 있다. 예를 들어, 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 18개의 이미지 프레임을 포함할 수 있으며, 상기 심박수를 획득하기 위한 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
이하에서는, 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160)에 대하여 더욱 상세히 서술하기로 한다.
도 13은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
일 실시예에 따르면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.
도 13을 참조하면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 RGB 색공간에 따른 색 채널 값이 추출될 수 있다. 보다 구체적으로, Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있다.
예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.
또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.
또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.
이하에서는, RGB 색 공간에 따라 추출된 색 채널 값을 기준으로 설명하지만, 이에 한정되지 않고 다양한 색 채널 값이 적용될 수 있음은 자명하다.
도 13의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이고, (c)는 RGB 색공간에 따라 추출된 Blue 채널 값을 나타내는 그래프이다.
도 13에 도시된 바와 같이, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생할 수 있다.
다만, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생함과 동시에 피측정자의 움직임이나, 외부광의 세기의 변화에 따라서도 값의 변동이 발생할 수 있다.
따라서, 이와 같이 추출된 색 채널 값을 이용하여 심박수를 획득하기 위해서 피측정자의 움직임이나, 외부광의 세기의 변화에 따른 값의 변동을 저감시키고, 심장 박동에 따른 값의 변동을 극대화 시키는 동작이 필요할 수 있다.
5.1 관심 영역에 대한 데이터를 처리하는 방법의 다양한 실시예들
관심 영역에 대한 데이터를 처리하는 방법에 대해 상술한 내용들이 적용될 수 있음은 자명하며, 상술한 내용들과 중복되는 서술들은 생략하기로 한다.
도 14는 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 14의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프 이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이다.
도 14의 (a) 및 (b)를 참조하면, 추출된 색 채널 값은 시간에 따라 변동이 발생하는 것을 알 수 있다.
이 때, 추출된 색 채널 값은 심장의 박동에 따라 변동이 발생하기도 하지만, 피측정자의 움직임이나, 외부광의 세기의 변화에 따라 변동이 발생하기도 할 수 있다.
보다 구체적으로, 색 채널 값의 변동이 크고 느리게 발생하는 것은 피측정자의 움직임이나, 외부광의 세기의 변화에 더 영향을 많이 받아 변동이 발생하는 것이며, 변동이 작고 빠르게 발생하는 것은 피측정자의 심장의 박동에 더 영향을 많이 받아 변동이 발생하는 것일 수 있다.
따라서, 심장의 박동에 따른 변동보다 피측정자의 움직임이나 외부광의 세기의 변화에 따른 값의 변동이 더 크기 때문에 이를 저감 시키기 위해 적어도 두개의 색 채널 값의 상대적 차이를 이용할 수 있다.
예시적으로, 노이즈를 저감시키기 위해 Green 채널 값과 Red 채널 값의 차이 값을 이용할 수 있다. 보다 구체적으로 동일한 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 동일한 움직임 및 동일한 외부광의 세기를 반영할 수 있으며, 동일한 프레임의 Green 채널 값과 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있으나, 이에 한정되지 않고, 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시킬 수 있다.
도 14의 (c)는 상기 Green 채널 값과 상기 Red 채널 값의 차이 값을 나타내는 그래프이다.
도 14의 (c)에 도시된 바와 같이, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있다.
또한, 상술한 노이즈를 저감시키는 방법은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있으며, 연속된 복수개의 이미지 프레임 각각에 대하여 수행될 수도 있다.
또한, 도 14의 (c)에는 도시되지 않았으나, 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있으며, 상기 Red 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있다.
또한, 상술한 바와 같이 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시키기 위해 차이 값을 구하기 위해 적어도 두 개의 색 채널 값이 선택될 수 있다.
이 때, 상기 적어도 두 개의 색 채널 값은 혈액의 흡광도를 고려하여 선택될 수 있다.
도 15는 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
일 실시예에 따르면, Red 채널은 620nm 내지 750nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Green 채널은 495nm 내지 570nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Blue 채널은 450nm 내지 495nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으나, 이에 한정되지 않으며, Red 채널, Green 채널, Blue 채널 각각 통상 이해될 수 있는 색 채널일 수 있다.
도 15를 참조하면, 빛의 파장 대역에 따른 헤모글로빈과 산소헤모글로빈의 흡광도를 알 수 있다. 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Red 채널에 포함되는 650nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.
또한, 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Blue 채널에 포함되는 470nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.
또한, 심장 박동에 의해 혈액이 전신으로 운반되는 경우, 혈액의 흐름에 의해 혈관의 부피가 변하거나 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 많이 변동될 수 있다.
이에 반해, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 적게 변동될 수 있다.
따라서, 일 실시예에 따르면, 헤모글로빈과 산소 헤모글로빈의 흡광도를 고려하여 노이즈를 저감시키기 위한 적어도 두 개의 색 채널이 선택될 수 있다.
예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Blue 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값 및 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값이 동시에 이용될 수 있다.
또한, 상술한 예시들은 차이 값을 기초로 설명되었으나, 피측정자의 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위해 차이 값 외에도 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.
예를 들어, 아래의 수학식 5와 같이 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.
<수학식 5>
또한, 이 때 효율적으로 피측정자의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 제거하기 위해 a+b+c=0이 되도록 각 a,b,c 값이 결정될 수 있으며, 이는 각각의 채널 값이 하나의 이미지 프레임에서 유사한 정도의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 포함할 수 있어, 노이즈를 효과적으로 저감하는데 유리할 수 있다.
5.2 특성 값 획득의 다양한 실시예들
피측정자의 움직임에 의한 노이즈 및 외부광의 세기 등에 따른 노이즈를 저감시키기 위하여 특성 값(Characteristic Value)이 획득될 수 있다.
이 때, 상기 특성 값은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 특성 값은 획득된 색 채널 값 또는 가공 값의 특성을 의미하는 값 일 수 있다. 예를 들어, 상기 특성 값은 이미지 프레임 그룹에 포함되는 색 채널 값 또는 가공 값의 평균 값, 편차 값, 표준 편차 값 등을 의미할 수 있으나, 이에 한정되지는 않는다.
도 16은 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 16의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.
도 16의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.
이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자의 움직임이 적은 경우 G-R값의 변화가 작을 수 있으며, 피측정자의 움직임이 많은 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.
또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 외부광의 세기가 약한 경우 G-R값의 변화가 작을 수 있으며, 외부광의 세기가 강한 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.
따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.
또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.
이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
도 16의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의 상 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 개수로 특성 값에 대한 윈도우가 설정될 수 있다.
도 16의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 19의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 각 18개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제18 이미지 프레임까지 제1 이미지 프레임 그룹(2210)에 포함될 수 있으며, 제19 이미지 프레임부터 제36 이미지 프레임까지 제2 이미지 프레임 그룹(2220)에 포함될 수 있으나 이에 한정되지 않는다.
이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 대한 색 채널 값들에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 대한 색 채널 값들에 대하여 획득될 수 있다.
또한, 예를 들어, 상기 특성 값이 평균 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 평균 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 예를 들어, 상기 특성 값이 표준편차 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 표준편차 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
다만, 상술한 예시들에 한정되지 않고, 다양한 특성 값이 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 특성 값은 특성 값에 대한 윈도우에 의해 나눠진 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있다.
또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)의 G-R값 평균에 대한 제2 이미지 프레임 그룹에 포함되는 제19 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제1 이미지 프레임 그룹(2210)에 포함되는 제2 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 획득된 특성 값은 정규화될 수 있다.
예를 들어, 상기 특성 값이 편차 값인 경우 상기 편차 값은 표준편차 값에 의해 정규화 될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹(2210)에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득된 경우 상기 제1 이미지 프레임의 G-R 값의 편차 값은 상기 제1 이미지 프레임 그룹(2210)의 표준편차 값에 의해 정규화 될 수 있으나, 이에 한정되지 않고 다양한 방법으로 정규화될 수 있다.
또한, 이처럼 정규화 되는 경우 변화량의 크기가 정규화 되어 심장 박동에 의한 값의 변화를 더욱 잘 반영할 수 있으며, 피측정자의 움직임에 의한 노이즈 및 외부광의 세기 변화 등에 따른 노이즈를 효과적으로 저감시킬 수 있다.
도 16의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로, G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 댜양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.
도 16의 (c)를 참조하면, 도 19의 (a)와 비교해서 값의 변화의 크기가 보다 일정한 것을 알 수 있다.
따라서, 상술한 바와 같은 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기의 변화 등에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.
도 17은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 17의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.
도 17의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.
이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서는 전체적인 G-R 값이 작을 수 있으며, 피측정자가 상기 제1 상태와 상이한 제2 상태로 위치하는 시간 구간(2302)에서는 전체적인 G-R 값이 클 수 있으나, 이에 한정되지 않는다.
또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 상기 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 외부광의 세기와 상기 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 외부광의 세기가 서로 상이할 수 있으며, 이로 인해 전체적인 G-R 값의 차이가 발생할 수 있으나, 이에 한정되지 않는다.
따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.
또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.
이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
또한, 상기 윈도우에 의해 설정된 적어도 일부의 프레임 그룹은 적어도 일부 오버랩 될 수 있다.
도 17의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 8등분한 크기로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 180개의 이미지 프레임을 8등분한 크기로 설정된 특성값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 크기로 특성 값에 대한 윈도우가 설정될 수 있다.
또한, 도 17의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 22개 또는 23개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있다.
또한, 도 17의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으며, 제6 이미지 프레임부터 제28 이미지 프레임까지 제2 이미지 프레임 그룹(2320)에 포함될 수 있고, 제12 이미지 프레임부터 제33 이미지 프레임까지 제3 이미지 프레임 그룹(2330)에 포함될 수 있으며, 제17 이미지 프레임부터 제39 이미지 프레임 그룹(2340)에 포함될 수 있으나, 이에 한정되지는 않는다.
또한, 도 17의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 오버랩되지 않을 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으나 제23 이미지 프레임부터 제45 이미지 프레임까지 제5 이미지 프레임 그룹(2350)에 포함될 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여도 획득될 수 있으나, 이에 대한 상세한 내용은 상술한 내용들이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.
다만, 적어도 일부 오버랩되는 이미지 프레임 그룹들에 포함되는 이미지 프레임에 대하여 획득된 특성 값들의 처리는 이하에서 상세하게 설명하기로 한다.
특성 값을 획득하는 경우 적어도 두 개의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대하여 복수개의 특성값이 획득될 수 있다.
예를 들어, 제1 이미지 프레임 그룹(2310) 및 제2 이미지 프레임 그룹(2320)이 오버랩 되는 제6 내지 제22 이미지 프레임들에 대하여 적어도 두 개의 특성 값이 획득될 수 있다.
보다 구체적으로, 제6이미지 프레임에 대하여, 제1 이미지 프레임 그룹(2310)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제1 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2320)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제2 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 획득된 복수개의 특성 값은 연산을 통해 하나의 특성 값으로 획득될 수 있다. 예를 들어, 상기 제1 편차 값 및 제2 편차 값을 합하여 제6 이미지 프레임의 편차 값을 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 동작들은 세 개, 네 개 등 복수의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대한 특성 값을 획득하기 위해 적용될 수 있다.
또한, 상술한 동작 외에도 통상적으로 이해될 수 있는 슬라이딩 윈도우 방식이 적용될 수도 있다.
도 17의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R 값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.
도 17의 (c)를 참조하면, 도 20의 (a)와 비교해서 전체적인 값의 크기가 일정해짐을 알 수 있다.
보다 구체적으로, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 전체적인 특성 값과 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 전체적인 특성 값은 서로 유사해질 수 있다.
따라서, 상술한 바와 같이 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기 등의 변화에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.
5.3 복수개의 특성 값을 이용하는 방법의 다양한 실시예들
상술한 방법들에 따라 획득된 특성 값은 기초가 되는 색 채널 값, 차이 값 및 가공 값에 영향을 받을 수 있다. 따라서, 다양한 색 채널 값, 차이 값 및 가공 값을 기초로 복수개의 특성 값을 획득하여 복수개의 특성 값을 이용하는 것은 보다 정확한 생채 지수의 획득을 가능하게 할 수 있다.
도 18은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 18의 (a)는 일 실시예에 따라 획득된 두 개의 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 제1 특성 값과 G-B값을 기초로 획득된 제2 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 특성 값이 될 수 있다.
이 때, G-R 값을 기초로 획득된 제1 특성 값은 G-R값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Blue 채널에 가까운 빛인 경우 G-R 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.
또는 예를 들어, Green 채널의 흡광도 및 Red 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.
또한, G-B 값을 기초로 획득된 제2 특성 값은 G-B값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Red 채널에 가까운 빛인 경우 G-B 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.
또는 예를 들어, Green 채널의 흡광도 및 Blue 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.
또한, 도 18의 (a)를 참조하면, 제1 특성 값과 제2 특성 값은 상호 보완적인 관계를 가질 수 있다. 예를 들어, 제1 특성 값이 심장 박동에 따른 변화를 잘 반영하지 못하는 구간에서 제2 특성 값이 심장 박동에 따른 변화를 잘 반영할 수 있으며, 그 반대의 경우도 포함된다.
따라서, 외부광의 파장의 변화에 따른 노이즈를 저감시키거나, 심장 박동에 따른 혈액의 변화를 더욱 잘 반영할 수 있도록 제1 특성 값 및 제2 특성 값이 이용될 수 있다.
도 18의 (b)는 상기 제1 특성 값 및 상기 제2 특성 값을 이용하여 획득된 제3 특성 값을 나타내는 그래프이며, 보다 구체적으로 상기 제1 특성 값 및 상기 제2 특성 값을 합하여 획득된 제3 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의상 특정하여 나타낸 것일 뿐, 이에 한정 되지 않는다.
또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 연산에 기초하여 획득될 수 있다 .예를 들어, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 합 연산에 기초하여 획득될 수 있으나, 이에 한정되지 않고, 차이 연산, 곱 연산 등 다양한 연산에 기초하여 획득될 수 있다.
또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값에 다양한 가중치를 부여하여 획득될 수 있다. 예를 들어, 아래의 수학식 6에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
<수학식 6>
또한, 도 18의 (a) 및 (b)를 참조하면, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값 보다 심장 박동에 따른 혈액의 변화를 잘 반영할 수 있으며, 외부광의 파장의 변화에 따른 노이즈를 저감시킬 수 있다.
5.4 심박수 획득 방법의 다양한 실시예들
상술한 방법들로부터 획득된 데이터로부터 심박수를 획득하기 위해 심장 박동에 따른 주기적인 변화를 감지할 필요가 있을 수 있다. 예를 들어, 획득된 특성 값으로부터 심박수를 획득하기 위해 특성 값에 가장 많이 포함되는 파장 또는 주파수 성분을 획득할 필요가 있다.
도 19는 도 18의 (b)에 도시된 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다. 보다 구체적으로 도 19는 특성 값에 대한 그래프를 고속 푸리에 변환하여 주파수 도메인으로 변환한 그래프이다. 다만, 이는 설명의 편의를 위해 고속 푸리에 변환을 특정하여 나타내었으나, 이에 한정되지 않고, 특성 값에 대한 그래프는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환될 수 있다.
또한, 특성 값에 대한 그래프는 도 19에 도시된 바와 같이, 주파수 도메인으로 변환될 수 있다.
이 때, 세기가 가장 높은 주파수 인덱스(frequency index)가 획득될 수 있으며, 심박수는 아래와 같은 수학식 7에 의해 획득될 수 있다.
<수학식 7>
예를 들어, 도 19에 도시된 바와 같이, 세기가 가장 높은 주파수 인덱스가 1.2Hz인 경우 심박수는 72bpm이 될 수 있다.
또한, 특성 값에 대한 그래프는 도 22에 도시되지는 않았으나, 주파수*측정시간 도메인으로 변환될 수 있다.
이 때, 세기가 가장 높은 인덱스(wavelength index)가 획득 될 수 있으며, 심박수는 아래와 같은 수학식 8에 의해 획득될 수 있다.
<수학식 8>
예를 들어, 도 19에 도시되지는 않았으나, 세기가 가장 높은 인덱스는 8이며, 측정 시간이 6.6초인 경우, 심박수는 8/6.6*60으로 72bpm이 될 수 있다.
또한, 상술한 예시 외에도 심박수를 획득하기 위한 다양한 수학식이 이용될 수 있다.
또한, 심박수를 획득하기 위해 예비 심박수가 획득될 수 있다. 이 때, 예비 심박수는 심박수를 획득하기 위해 기초가 되는 계산된 심박수 일 수 있다.
도 20은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
설명하기에 앞서, 이하에서 서술하는 '예비 심박수(preliminary heart rate)'는 심박수 획득 방법에 따라 획득된 심박수를 의미할 수 있으며, 하나의 심박수를 획득하기 위해 기초가 되는 심박수를 의미할 수도 있다. 예를 들어, 상술한 심박수 획득 방법에 따라 획득된 적어도 2개의 심박수는 하나의 최종 심박수를 획득하기 위한 기초가 되는 제1 예비 심박수 및 제2 예비 심박수 일 수 있으나, 이에 한정되지는 않는다.
또한, 상기 예비 심박수는 그 자체로 최종 심박수가 될 수 있으며, 복수개의 예비 심박수를 기초로 최종 심박수가 획득될 수도 있다.
도 20의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 20의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.
도 20의 (a)에 도시된 바와 같은 시계열 데이터로 획득된 값을 나타내는 그래프를 파장 도메인이나 주파수 도메인으로 변환하는 방법에 대하여 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
도 20의 (b)는 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 6초의 크기로 설정된 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 특정한 것일 뿐 이에 한정되지 않으며 다양한 크기로 윈도우가 설정될 수 있다.
이 때, 상기 예비 심박수에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 예비 심박수를 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
또한, 도 20의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 예비 심박수에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으나, 이에 한정되지 않는다.
또한, 도 20의(b)를 참조하면, 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 23의 (b)에 도시된 바와 같이, 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으며, 0.5초부터 6.5초 사이에 획득된 이미지 프레임은 제2 이미지 프레임 그룹(2420)에 포함될 수 있고, 1초부터 7초 사이에 획득된 이미지 프레임은 제3 이미지 프레임 그룹(2430)에 포함될 수 있으며, 1.5초부터 7.5초 사이에 획득된 이미지 프레임은 제4 이미지 프레임 그룹(2440)에 포함될 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 예비 심박수는 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 제1 예비 심박수는 제1 이미지 프레임 그룹(2410)에 포함되는 이미지 프레임들로부터 획득된 특성 값들에 기초하여 획득될 수 있다.
또한, 예비 심박수를 획득하기 위하여 각 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 파장 도메인 또는 주파수 도메인으로 변환될 수 있다. 예를 들어, 제1 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제1 주파수 데이터(2460)로 변환될 수 있으며, 제2 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제2 주파수 데이터(2470)로 변환될 수 있고, 제3 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제3 주파수 데이터(2480)로 변환될 수 있으며, 제4 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제4 주파수 데이터(2490)로 변환될 수 있으나, 이에 한정되지는 않는다.
또한, 제1 내지 제4 주파수 데이터(2460,2470,2480,2490)로부터 제1 내지 제4 예비 심박수를 획득하는 것은 상술한 심박수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 복수개의 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있으며, 보다 구체적으로 상기 제1 내지 제4 예비 심박수의 평균, 최대값, 최소값 등을 추출하기 위한 연산이 수행되어 심박수가 획득될 수 있으나 이에 한정되지 않는다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 복수개의 예비 심박수 중 10의 자리가 상이한 예비 심박수를 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 75bpm, 제4 예비 심박수가 73bpm인 경우, 10의 자리가 상이한 제2 예비 심박수를 제외하고, 제1, 제3, 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다. 이 때, 상기 연산은 평균, 최대값, 최소값 등을 추출하기 위한 연산일 수 있다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 4개의 예비 심박수의 10의 자리가 쌍을 이뤄 상이한 경우, 획득된 4개의 예비 심박수 중 10의 자리가 이전에 획득된 심박수와 상이한 예비 심박수 쌍을 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 85bpm, 제4 예비 심박수가 73bpm이며, 이전에 획득된 심박수가 75bpm인 경우 제2 및 제3 예비 심박수를 제외하고, 제1 및 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
또한, 상술한 바와 같이 복수개의 예비 심박수를 이용하여 심박수를 획득하는 경우 보다 노이즈에 강건하고 정확한 심박수가 획득될 수 있다.
5.5 심박수 출력의 다양한 실시예들
상술한 방법들에 의해 획득된 심박수는 디스플레이 등을 통해 출력되거나, 통신부를 이용해 단말이나 서버로 전송될 수 있다. 이하에서는 설명의 편의를 위하여 이와 같은 동작을 심박수의 출력으로 설명하기로한다.
심박수에 대하여 지속적으로 실시간 측정을 하는 경우, 측정되는 심박수에 안정성과 신뢰성을 부여하기 위해 출력되는 심박수에 대하여 보정이 수행될 수 있다.
또한, 출력되는 심박수에 대하여 보정이 수행되는 경우 획득되는 복수개의 이미지 프레임 중 일부에서 좋지 못한 이미지가 획득되더라도 획득되어 출력되는 심박수에 안정성과 신뢰성을 부여할 수 있다.
도 21은 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 21을 참조하면, 일 실시예에 따른 출력 심박수의 보정 방법(2500)은 제1 심박수를 획득하는 단계(S2510), 제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)를 포함할 수 있으나, 이에 한정되지는 않는다.
제1 심박수를 획득하는 단계(S2510)는 상술한 심박수 획득 방법들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)에서 상기 제1 시점 심박수는 상기 제1 심박수가 획득되기 전에 획득되거나 출력된 심박수를 의미할 수 있다. 예를 들어, 6.5초에서 제1 심박수가 획득된 경우 제1 시점 심박수는 6초에서 획득된 심박수일 수 있으며, 6초에서 출력된 심박수일 수도 있으나, 이에 한정되지 않는다.
또한, 상기 기준 값은 일정 수치로 정해질 수 있으며, 일정 비율로 정해질 수도 있다. 예를 들어, 상기 기준 값은 10으로 정해질 수 있으며, 이 때, 상기 제1 심박수와 상기 제1 시점 심박수의 차이가 10을 초과하는지를 판단할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값 이하인 경우 상기 제1 심박수를 제2 시점 심박수로 출력하는 단계(S2531)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.
예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 75bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 75bpm일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값을 초과하는 경우 상기 제1 시점 심박수로부터 보정된 심박수를 제2 시점 심박수로 출력하는 단계(S2532)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.
또한, 상기 제1 시점 심박수로부터 보정된 심박수를 획득하기 위해 상기 제1 시점 심박수에 대한 연산이 수행될 수 있다. 예를 들어, 상기 제1 시점 심박수에 일정 값을 더하거나 빼는 등의 연산이 수행될 수 있으나, 이에 한정되지는 않는다.
예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 85bpm이고, 기준 값이 10인경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 +3bpm을 한 75bpm일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 61bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 -3bpm을 한 69bpm일 수 있으나, 이에 한정되지 않는다.
5.6 심박 신호 추출의 다양한 실시예들
심박 신호는 심장 박동에 따라 변동될 수 있는 신호를 의미할 수 있으며, 심장 박동에 따라 변동된다고 추정될 수 있는 신호를 의미할 수 있다.
또한, 획득된 복수개의 이미지 프레임을 기초로 심박 신호가 추출될 수 있다.
도 22는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
먼저, 도 22의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 22의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.
이 때, 상기 시계열 데이터로 획득된 값은 밴드 패스 필터(band pass filter)를 통해 심박 신호로 추출될 수 있다. 보다 구체적으로 상기 시계열 데이터로 획득된 값은 심박수에 해당하는 주파수 대역 또는 파장 대역의 밴드 패스 필터를 통해 심박 신호로 추출될 수 있다.
또한, 상기 심박수에 해당하는 주파수 대역 또는 파장 대역은 통상 이해될 수 있는 주파수 대역 또는 파장 대역일 수 있으나, 이에 한정되지 않고, 상술한 방법들에 의해 획득된 심박수를 기초로 결정되는 주파수 대역 또는 파장 대역일 수 있다.
예를 들어, 통상의 심박수는 60 내지 100bpm일 수 있으며, 해당하는 주파수 대역은 1Hz 내지 1.67Hz일 수 있으며, 이에 해당하는 밴드패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 획득된 심박수가 72bpm인 경우, 해당하는 주파수는 1.2Hz 이며, 이를 기준으로 주파수 대역을 설정할 수 있다. 보다 구체적으로, 0.5Hz 범위의 주파수 대역을 설정하는 경우 0.95Hz 내지 1.45Hz 범위로 주파수 대역이 설정될 수 있으며, 이에 해당하는 밴드 패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.
도 22의 (b)는 도 22의 (a)에 도시된 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출한 심박 신호 그래프이다.
도 22의 (b)를 참조하면, 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출할 수 있음을 알 수 있다.
5.7 적외선을 이용한 심박수 측정 방법의 다양한 실시예들
기본적으로 적외선을 이용한 심박수 측정 방법에도 상술한 심박수 측정 방법들이 이용될 수 있다.
도 23은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
이 때, 상기 적외선은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선이 이용될 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선이 이용될 수도 있다.
도 23을 참조하면, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S2610), 피부 영역을 검출 하는 단계(S2620), 관심 영역을 검출하는 단계(S2630) 및 관심 영역에 대한 데이터를 처리하는 단계(S2640) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S2610) 및 상기 피부 영역을 검출하는 단계(S2620)는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역을 검출하는 단계(S2630)의 상세한 동작들은 상술한 관심 영역을 검출하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역을 검출하는 단계(S2630)는 제1, 제2 및 제3 관심영역을 검출하는 동작을 포함할 수 있으며, 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역은 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제1 관심 영역은 상기 제2 및 제3 관심 영역 내에 포함되도록 설정될 수 있으며, 상기 제2 관심 영역은 상기 제3 관심 영역 내에 포함되도록 설정될 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심영역은 서로 적어도 일부 오버랩 되도록 설정될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다. 예를 들어, 상기 제1 관심 영역 및 상기 제2 관심 영역은 피측정자의 왼쪽 볼에 상하로 위치할 수 있으며, 상기 제3 관심 영역은 피측정자의 오른쪽 볼에 위치할 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역에 대한 데이터를 처리하는 단계(S2640)의 상세한 동작들은 상술한 관심 영역에 대한 데이터를 처리하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 상술한 제1, 제2 및 제3 관심 영역에 대하여 수행될 수 있다.
또한, 상기 제1 내지 제3 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 제1 내지 제3 관심 영역에 대한 IR 세기 값이 추출될 수 있다. 이 때, IR 세기 값은 상기 제1 내지 제3 관심 영역에 포함되는 픽셀들의 IR 세기 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수 있다.
또한, 상술한 관심 영역에 대한 데이터를 처리하는 방법을 적용하는 경우 각 관심 영역에 대한 IR 세기 값은 상술한 색 채널 값에 대응될 수 있다. 예를 들어, 제1 관심 영역의 IR 세기 값은 Red 채널 값에 대응될 수 있으며, 제2 관심 영역의 IR 세기 값은 Green 채널 값에 대응될 수 있고, 제3 관심 영역의 IR 세기 값은 Blue 채널 값에 대응될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상술한 G-R 값은 제2 관심 영역의 IR 세기 값과 제1 관심 영역의 IR 세기 값의 차이값과 대응될 수 있으며, 상술한 G-B 값은 제2 관심 영역의 IR 세기 값과 제3 관심 영역의 IR 세기 값의 차이값과 대응될 수 있다.
따라서, 각 관심 영영에 대한 IR 세기 값을 기초로 데이터가 처리될 수 있으며, 상세한 동작은 상술한 관심 영역에 대한 데이터 처리 방법에 따를 수 있다.
또한, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S2650) 및 심박수를 획득하는 단계(S2660) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 시계열 데이터를 추출하는 단계(S2650) 및 상기 심박수를 획득하는 단계(S2660)는 상술한 내용이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.
도 24는 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 24를 참조하면, 피측정자의 얼굴 영역에 적어도 두 개의 관심 영역이 설정될 수 있다. 보다 구체적으로 피측정자의 얼굴 영역에 제1 관심 영역(2710), 제2 관심 영역(2720) 및 제3 관심 영역(2730)이 설정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 IR 세기 값이 추출될 수 있다.
예를 들어, 상기 제1 관심 영역(2710)에 대한 IR 세기 값(도 27의 (a))이 추출될 수 있으며, 상기 제2 관심 영역(2720)에 대한 IR 세기 값(도 27의 (b))이 추출될 수 있고, 상기 제3 관심 영역(2730)에 대한 IR 세기 값(도 27의 (c))이 추출될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 데이터가 처리될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 처리된 데이터를 기초로 특성 값이 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 획득된 특성 값을 이용하여 심박수가 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
6. 일 실시예에 따른 생체 지수 획득 방법.
도 25는 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 25를 참조하면, 일 실시예에 따른 생체 지수 획득 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계(S2810), 제1, 제2 및 제3 색 채널 값을 획득하는 단계(S2820), 제1 차이 값 및 제2 차이 값을 계산하는 단계(S2830), 제1 특성 값 및 제2 특성 값을 획득하는 단계(S2840), 제1 특성값 및 제2 특성값을 기초로 시계열 데이터를 획득하는 단계(S2850), 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계(S2860) 및 생체신호 특징 데이터를 기초로 생체 지수 측정 모델을 이용하여 피측정자에 대한 생체지수를 획득하는 단계(S2870)를 포함할 수 있다. 일 실시예에서, 상기 단계들은 생체지수 획득장치에 의해 수행될 수 있다.
이 때, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계(S2810)에서, 상기 복수개의 이미지는 카메라에 의해 획득될 수 있다. 예를 들어, 상기 복수개의 이미지는 가시광 카메라, IR 카메라 등 카메라에 의해 획득될 수 있다.
또한, 상기 복수개의 이미지는 외부에 배치되는 카메라로부터 획득될 수 있다. 예를 들어, 상기 복수개의 이미지는 외부에 배치되는 가시광 카메라, IR 카메라 등 카메라로부터 획득된 이미지일 수 있다.
또한, 상기 제1, 제2 및 제3 색 채널 값을 획득하는 단계(S2820)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
이 때, 상기 제1 색 채널 값은 단계가 수행되는 이미지 프레임의 제1 색 채널에 대한 평균 픽셀 값을 의미할 수 있으며, 상기 제2 색 채널 값은 상기 이미지 프레임의 제2 색 채널에 대한 평균 픽셀 값을 의미할 수 있고, 상기 제3 색 채널 값은 상기 이미지 프레임의 제3 색 채널에 대한 평균 픽셀 값을 의미할 수 있다.
예를 들어, 상기 제1 색 채널 값은 Green 채널 값 일 수 있으며, 상기 제2 색 채널 값은 Red 채널 값 일수 있고, 상기 제3 색 채널 값은 Blue 채널 값 일 수 있으나, 이에 한정되지는 않는다.
또한, 상기 제1 차이 값 및 제2 차이 값을 계산하는 단계(S2830)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
이 때, 상기 제1 차이 값은 제1 색 채널 값과 제2 색 채널 값의 차이 값을 의미할 수 있으며, 예를 들어, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제2 색 채널 값의 차이 값을 의미할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로 상기 제1 색 채널 값이 Green 채널 값이고, 제2 색 채널 값이 Red 채널 값인 경우 상기 제1 차이 값은 G-R 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 차이 값은 제1 색 채널 값과 제3 색 채널 값의 차이 값을 의미할 수 있으며, 예를 들어, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제3 색 채널 값의 차이 값을 의미할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로 상기 제1 색 채널 값이 Green 채널 값이고, 제2 색 채널 값이 Blue 채널 값인 경우 상기 제2 차이 값은 G-B 값 일 수 있으나, 이에 한정되지 않는다.
또한, 제1 특성 값 및 제2 특성 값을 획득하는 단계(S2840)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
예를 들어, 상기 제1 특성 값은 제1 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 제1 이미지 프레임 그룹은 기 설정된 시간 동안 획득된 이미지 프레임 그룹을 의미할 수 있다.
또한, 예를 들어, 상기 제2 특성 값은 상기 제1 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값 및 상기 제1 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 제1 차이 값을 기초로 획득될 수 있다.
예를 들어, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 G-R 값의 평균 값 및 상기 제1 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 G-R 값을 기초로 획득된 편차 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값 및 상기 제2 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 제2 차이 값을 기초로 획득될 수 있다.
예를 들어, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 G-B 값의 평균 값 및 상기 제2 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 G-B 값을 기초로 획득된 편차 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있다. 즉, 실시예에 따라, 제1 이미지 프레임 그룹과 제2 이미지 프레임 그룹은 동일할 수 있다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 평균 값, 표준 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 평균 값, 표준 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 및 제2 특성 값은 정규화 될 수 있다. 예를 들어, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 표준 편차 값을 이용하여 정규화 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 표준 편차 값을 이용하여 정규화 될 수 있으나, 이에 한정되지 않는다.
또한, 제1 특성값 및 제2 특성값을 기초로 시계열 데이터를 획득하는 단계(S2850)에서, 생체 지수 획득 장치는 제1 특성값 및 제2 특성값에 대해 연산을 수행하여 시계열 데이터를 획득할 수 있다.
예를 들어, 생체지수 획득장치는 제1 특성 값 및 제2 특성 값을 이용하여 제3 특성값을 획득하고, 제3 특성값을 기초로 시계열 데이터를 획득할 수 있다. 예를 들어, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 합 연산에 기초하여 획득될 수 있으나, 이에 한정되지 않고, 차이 연산, 곱 연산 등 다양한 연산에 기초하여 획득될 수도 있고, 전술한 수학식 6과 같이 다양한 가중치를 부여하여 획득될 수도 있다. 예를 들어, 생체지수 획득장치는 제3 특성값을 시계열적으로 구성한 도 18의 (b)와 같은 제3 특성값에 대한 시계열 데이터를 획득할 수 있다. 또한, 상기 시계열 데이터는 실시예에 따라, PPG 신호 또는 rPPG 신호로 표현될 수 있다. 제1 특성값 및 제2 특성값을 기초로 시계열 데이터를 획득하는 단계(S2850)에 대해서는 전술한 사항이 적용될 수 있으므로 상세한 설명은 생략한다.
또한, 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계(S2860)에서, 생체신호 특징 데이터는 시계열 데이터로부터 후술할 생체지수 획득 모델에 입력되는 입력 데이터를 의미할 수 있다. 예를 들어, 생체신호 특징 데이터는 도 7 및 도 8에서 설명한 특징을 의미할 수 있다.
일 실시예에서, 생체지수 획득 장치는 시계열 데이터를 기초로 타겟 시계열 데이터를 획득하고, 타겟 시계열 데이터를 이용하여 생체신호 특징 데이터를 획득할 수 있다. 여기서, 타겟 시계열 데이터는 보다 정확한 생체신호 특징 데이터를 획득하기 위하여 시계열 데이터를 가공한 데이터를 의미할 수 있다.
구체적으로, 생체지수 획득 장치는 시계열 데이터에 포함된 노이즈를 감소시키기 위하여 필터링을 수행할 수 있다. 보다 구체적으로, 생체지수 획득 장치는 밴드패스 필터를 이용하여 시계열 데이터를 필터링 할 수 있다. 예를 들어, 생체지수 획득 장치는 심박수에 대응하는 주파수 대역 또는 파장 대역의 밴드패스 필터를 이용하여 시계열 데이터를 획득할 수 있다. 여기서 상기 심박수에 대응하는 주파수 대역 또는 파장 대역은 통상 이해될 수 있는 주파수 대역 또는 파장 대역일 수 있으나, 이에 한정되지 않고, 상술한 방법들에 의해 획득된 심박수를 기초로 결정되는 주파수 대역 또는 파장 대역일 수 있다. 예를 들어, 상기 심박수에 해당하는 주파수 대역 또는 파장 대역은 피측정자의 심박수에 대응하는 주파수 대역 파장대역일 수 있다.
예를 들어, 통상의 심박수는 60 내지 100bpm일 수 있으며, 해당하는 주파수 대역은 1Hz 내지 1.67Hz일 수 있으며 밴드패스 필터는 상기 주파수 대역에 따라 필터링이 수행되도록 구성될 수 있다.
또한, 다른 예로서, 생체지수 획득장치는 상술한 방법들에 따라 시계열 데이터에 대해 퓨리에 변환을 수행하여 피측정자의 심박수에 대응하는 주파수 대역을 획득하고, 획득된 주파수 대역에 따라 필터링이 수행되는 밴드패스 필터를 이용하여 상기 시계열 데이터를 필터링할 수 있다.
예를 들어, 획득된 피측정자의 심박수가 72bpm인 경우, 이에 해당하는 주파수는 1.2Hz 이며, 이를 기준으로 주파수 대역을 설정할 수 있다. 보다 구체적으로, 0.5Hz 범위의 주파수 대역을 설정하는 경우 0.95Hz 내지 1.45Hz 범위로 주파수 대역이 설정될 수 있으며, 이에 해당하는 밴드 패스 필터가 필터링에 이용될 수 있으나, 이에 한정되지 않는다. 시계열 데이터의 필터링에 대해서는 전술한 도 22에 대한 설명이 적용될 수 있으므로, 상세한 설명은 생략한다.
또한, 생체신호 측정장치는 타겟 시계열 데이터를 획득하기 위하여, 시계열 데이터를 복수의 세부 시계열 데이터로 구분할 수 있다. 구체적으로, 도 26은 일 실시예에 따른 시계열 데이터를 설명하기 위한 도면이다.
도 26을 참조하면, 도 26의 그래프의 x축은 시간을 나타내고, y축은 시계열 데이터의 크기를 나타낼 수 있다. 시계열 데이터가 필터링이 된 경우에도 필터링된 시계열 데이터에 노이즈가 포함될 수 있다. 이에 따라, 생체지수 획득 장치는 시계열 데이터를 기초로 노이즈가 감소된 타겟 시계열 데이터를 획득할 수 있다. 일 실시예에서, 생체지수 획득 장치는 시계열 데이터의 값의 경향을 이용하여 세부 시계열 데이터를 획득할 수 있다. 예를 들어, 시계열 데이터는 값이 증가했다가 감소하는 구간이 반복될 수 있고, 생체지수 획득 장치는 각 구간의 최소값들을 이용하여 시계열 데이터를 복수의 세부 시계열 데이터로 구분할 수 있다. 일 예로, 도 26의 시계열 데이터는 식별번호 2901로 구분된 것과 같이, 값이 증가했다가 감소하는 각 구간의 최소값들을 기준으로 복수의 시계열 데이터로 구분할 수 있다.
또한, 일 실시예에서, 복수의 세부 시계열 데이터를 기초로 타겟 시계열 데이터를 획득할 수 있다. 일 예로, 생체지수 획득 장치는 복수의 세부 시계열 데이터 중 소정의 조건을 만족하는 세부 시계열 데이터를 타겟 시계열 데이터로 획득할 수 있다.
구체적으로, 도 27은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다.
도 27을 참조하면, 생체지수 획득 장치는 복수의 세부 시계열 데이터 각각에 대하여, 세부 시계열 데이터의 최고값(또는, 극대값)이 세부 시계열 데이터에 대응하는 구간의 좌측에 있는지, 즉, 세부 시계열 데이터의 최고값이 세부 시계열 데이터에 대응하는 구간의 시작 시점부터 중간 시점사이에 존재하는지 여부를 판단할 수 있다. 이 때, 세부 시계열 데이터의 최고값(또는, 극대값)이 세부 시계열 데이터에 대응하는 구간의 중간시점부터 종료시점 사이에 있는 경우에는, 해당 세부 시계열 데이터는 타겟 시계열 데이터로 선택되지 않을 수 있다. 예를 들어, 도 27의 (a)는 세부 시계열 데이터를 나타내는 그래프이다. (a)의 x축은 시간을 나타내고, y축은 시계열 데이터의 값을 나타낼 수 있다. (a)의 경우 세부 시계열 데이터의 최고값(3010)이 시작시점(3001) 및 중간시점(3002) 사이에서 나타나고, 중간시점(3002)부터 종료 시점(3003) 사이에 나타나지 않을 수 있다. 이 경우, (a)의 시계열 데이터는 상기 소정의 조건 중 적어도 일부를 만족할 수 있다.
또한, 다른 예로서, 생체지수 획득 장치는 복수의 세부 시계열 데이터 각각에 대하여, 세부 시계열 데이터가 세부 시계열 데이터의 1차 극대값과 1차 극대값보다 작은 2차 극대값을 포함하는지 여부를 판단할 수 있다. 예를 들어, 도 27의 (a)의 예에서, 시계열 데이터는 1차 극대값(3010) 및 2차 극대값(3020)을 포함할 수 있다. 이 경우, (a)의 시계열 데이터는 상기 소정의 조건 중 일부를 만족할 수 있다.
또 다른 예로서, 생체지수 획득 장치는 복수의 세부 시계열 데이터 각각에 대하여, 세부 시계열 데이터의 최저값과 최고값의 차이를 기초로 상기 소정의 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 세부 시계열 데이터의 구간은 복수의 세부구간으로 구분될 수 있다. 일예로, 세부 시계열 데이터의 구간은 시점 시점부터 최고값과 대응되는 시점까지의 제1 세부구간 및 상기 최고값과 대응되는 시점부터 종료시점 까지의 제2 세부구간으로 구분될 수 있다. 물론, 이에 한정되지 않고, 제1 세부구간은 시작시점부터 중간시점까지의 구간일 수 있고, 제2 세부구간은 중간시점부터 종료시점까지의 구간일 수있다. 또한, 세부구간은 2개 이상으로 구분될 수 있다. 또한, 생체지수 획득장치는 세부 시계열 데이터의 전체구간에서의 최고값 및 제1 세부구간에서의 최저값 및 제2 세부구간에서의 최저값을 획득하고, 획득된 값들을 이용하여 세부 시계열 데이터가 소정의 조건을 만족하는지 여부를 판단할 수 있다. 도 27의 (b)를 이용하여 설명하면, 도 27의 (b)는 세부 시계열 데이터를 나타내는 그래프로서, (b)의 x축은 시간을 나타내고, y축은 세부 시계열 데이터의 값을 나타낼 수 있다. (b)에서, 제1 세부구간은 시작시점(3051)부터 최대값(3062)과 대응되는 시점(3052) 사이의 구간을 나타낼 수 있고, 제2 세부구간은 최대값(3062)과 대응되는 시점(3052)부터 종료시점(3053) 사이의 구간을 나타낼 수 있다. 생체지수 획득장치는 전체 구간에서의 최고값(3062), 제1 세부구간에서의 최저값(3061) 및 제2 세부구간에서의 최저값(3063)를 획득할 수 있다. 생체지수 획득장치는 제1 세부구간에서의 최저값(3061) 및 제2 세부구간에서의 최저값(3062) 사이의 차이값(h2)와 최고값(3062)의 크기값(h1)를 비교하여 세부 시계열 데이터가 소정의 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 생체 지수 획득장치는 제1 세부구간에서의 최저값(3061) 및 제2 세부구간에서의 최저값(3062) 사이의 차이값(h2)이 최고값(3062)의 크기값(h1)의 1/3배 이하일 경우에, 세부 시계열 데이터가 소정의 조건 중 적어도 일부를 만족하는 것으로 판단할 수 있다. 물론, 상기 1/3배에 한정되는 것은 아니고, 다양한 비율값이 세부 시계열 데이터의 소정의 조건 만족 여부에 이용될 수 있다.
생체지수 획득장치는 세부 시계열 데이터가 전술한 소정의 조건들 중 적어도 일부를 만족할 경우, 해당 세부 시계열 데이터를 타겟 시계열 데이터로 선택할 수 있다. 일 예로, 도 28은 일 실시예에 따른 타겟 시계열 데이터를 설명하기 위한 도면이다. 도 28을 참조하면, 도 28의 그래프에서, x축은 시간을 나타내고, y축은 타겟 시계열 데이터의 값을 나타낼 수 있다. 도 28의 타겟 시계열 데이터는 전술한 소정의 조건들을 만족할 수 있다. 이와 같이, 타겟 시계열 데이터가 상기 소정의 조건들 중 적어도 일부를 만족할 경우, 타겟 시계열 데이터가 피측정자의 심박이 안정된 상태에서 획득된 시계열 데이터와 유사할 가능성이 높고, 이에 따라, 생체지수 획득 장치는 보다 정확한 생체지수를 획득할 수 있다.
또한, 일 실시예에서, 생체지수 획득장치는 상기 소정의 조건들 중 적어도 일부를 만족하는 타겟 시계열 데이터들을 함께 이용하여 생체신호 특징 데이터를 획득할 수도 있고, 상기 타겟 시계열 데이터들 중 적어도 일부, 또는 그 중 하나만을 이용하여 생체신호 특징 데이터를 획득할 수도 있다. 예를 들어, 생체지수 획득장치는 타겟 시계열 데이터들 각각으로부터 생체신호 특징 데이터를 획득할 수도 있고, 타겟 시계열 데이터들의 평균값을 이용하여 생성된 하나의 타겟 시계열 데이터로부터 생체신호 특징 데이터를 획득할 수도 있으며, 타겟 시계열 데이터들 중 최초로 획득된 타겟 시계열 데이터로부터 생체신호 특징 데이터를 획득할 수도 있다.
또한, 일 실시예에서, 생체지수 획득장치는 타겟 시계열 데이터 또는 시계열 데이터로부터 생체신호 특징 데이터를 획득할 수 있다.
일 실시예에서, 생체지수 획득장치는 타겟 시계열 데이터 또는 시계열 데이터로부터 적어도 하나의 수치값을 획득하고, 획득된 수치값을 생체신호 특징 데이터로 이용할 수 있다. 여기서, 생체신호 특징 데이터는 하나 이상일 수 있다.
도 29는 일 실시예에 따른 생체신호 특징 데이터의 획득을 설명하기 위한 도면이다.
도 29를 참조하면, (a)는 타겟 시계열 데이터를 나타내고, (b)는 타겟 시계열 데이터를 1차 미분한 1차 미분 데이터를 나타내고, (c)는 타겟 시계열 데이터를 2차 미분한 2차 미분 데이터를 나타낼 수 있다. (a)에서 x축은 시간을 나타내고, y축은 타겟 시계열 데이터의 값을 나타내고, (b)에서 x축은 시간을 나타내고, y축은 1차 미분 데이터의 값을 나타내고, (c)에서 x축은 시간을 나타내고, y축은 2차 미분 데이터의 값을 나타낼 수 있다.
일 실시예에서, 생체지수 획득장치는 타겟 시계열 데이터로부터 생체신호 특징 데이터를 획득할 수 있다. 예를 들어, (a)의 타겟 시계열 데이터에서 시작시점(4001)에서의 값(4011), 시작시점(4001)부터 최대값(4012)에 대응되는 시점(4002)까지의 값의 변화량, 시작시점(4001)부터 최대값(4012)에 대응되는 시점(4002)까지의 값의 평균 변화량, 종료시점(4003)에서의 값(4013), 최대값(4012)에 대응되는 시점(4002)부터 종료시점(4003)까지의 값의 변화량, 최대값(4012)에 대응되는 시점(4002)부터 종료시점(4003)까지의 값의 평균 변화량, 시작시점(4001)부터 최대값(4012)에 대응되는 시점(4002)까지의 타겟 시계열 데이터에 대응하는 그래프의 넓이(A1), 최대값(4012)에 대응되는 시점(4002)부터 종료시점(4003)까지의 타겟 시계열 데이터에 대응하는 그래프의 넓이(A2) 또는 피측정자의 심박수 중 적어도 하나가 생체신호 특징 데이터에 포함될 수 있다. 여기서, 피측정자의 심박수는 타겟 시계열 데이터를 기초로 획득될 수도 있고, 전술한 심박수 획득 과정에 따라 획득될 수도 있고, 타겟 시계열 데이터와 별도로 획득될 수도 있다. 또한, 여기서, 타겟 시계열 데이터는 심장이 수축 및 이완의 경향과 대응될 수 있다. 예를 들어, 타겟 시계열 데이터의 시작시점(4001)은 심장의 수축 시작 시점과 대응될 수 있고, 최대값(4012)에 대응되는 시점(4002)는 심장의 최대 이완 시점과 대응될 수 있고, 종료시점(4003)은 심장의 최저 이완 시점과 대응될 수 있다. 또한, 시작시점(4001)부터 최대값(4012)에 대응되는 시점(4002)까지의 값의 평균 변화량은 시점(4001)부터 시점(4002) 까지의 혈류의 평균 속도와 대응되고, 최대값(4012)에 대응되는 시점(4002)부터 종료시점(4003)까지의 값의 평균 변화량은 시점(4002)부터 종료시점(4003) 까지의 혈류의 평균 속도와 대응될 수 있다.
또한, 일 실시예에서, 생체지수 획득장치는 타겟 시계열 데이터의 1차 미분 데이터로부터 생체신호 특징 데이터를 획득할 수 있다. 예를 들어, (b)의 1차 미분 데이터의 최대값(4032), 1차 미분 데이터의 값이 0인 시점(4021)부터 최대값(4032)과 대응되는 시점(4222) 사이의 평균 변화량, 최대값(4032)과 대응되는 시점(4222) 부터 종료 시점(4024) 사이(또는 1차 미분 데이터의 중간 시점 부터 종료 시점(4024) 사이)의 최저값(4033) 및 최고값(4032)에 대응되는 시점(4022)부터 최저값(4033)에 대응되는 시점(4023)까지의 값의 평균 변화량 중 적어도 하나가 생체신호 특성 데이터에 포함될 수 있다. 또한, 1차 미분 데이터는 혈류의 속도 경향과 대응될 수 있다. 일 예로, 1차 미분 데이터의 최대값(4032)은 심방 수축기의 최고 속도와 대응되고, 1차 미분 데이터의 값이 0인 시점(4021)부터 최대값(4032)과 대응되는 시점(4222) 사이의 평균 변화량은 시점(4021)부터 시점(4022) 사이의 혈류의 평균 가속도와 대응되고, 최고값(4032)에 대응되는 시점(4022)부터 최저값(4033)에 대응되는 시점(4023)까지의 값의 평균 변화량은 시점(4022)부터 시점(4023) 사이의 혈류의 평균 가속도와 대응될 수 있다.
또한, 일 실시예에서, 생체지수 획득장치는 타겟 시계열 데이터의 2차 미분 데이터로부터 생체신호 특징 데이터를 획득할 수 있다. 예를 들어, (c)의 2차 미분 데이터의 최대값(4051), 상기 최대값(4051)과 대응되는 시점(4041) 이후의 최저값(4052) 중 적어도 하나가 생체신호 특성 데이터에 포함될 수 있다. 또한, 2차 미분 데이터는 혈류의 가속도 경향과 대응될 수 있다. 일 예로, 2차 미분 데이터의 최대값(4051)은 심방 수축기의 혈류의 최고 가속도와 대응되고, 상기 최대값(4051)과 대응되는 시점(4041) 이후의 최저값(4052)은 혈류의 최고 가속도 이후의 최저 가속도와 대응될 수 있다.
또한, 일 실시예에서, 생체지수 획득 장치는 획득된 생체신호 특징 데이터 각각을 생체지수 획득 모델에 입력할 수도 있고, 획득된 생체신호 특징 데이터에 대해 특징별로 평균값을 산출하고, 산출된 특징별 평균값들을 생체지수 획득 모델에 입력할 수 있다.
일 실시예에서, 생체신호 특징 데이터는 타겟 시계열 데이터에 대한 그래프를 이미지화한 이미지 데이터, 또는 시계열 데이터에 대한 그래프를 이미지화한 이미지 데이터를 포함할 수 있다. 일 예로, 생체지수 획득 장치는 타겟 시계열 데이터에 대한 그래프를 이미지화한 이미지 데이터, 또는 시계열 데이터에 대한 그래프를 이미지화한 이미지 데이터 자체를 생체지수 획득모델이 입력할 수 있다. 이 때, 상기 이미지 데이터는 타겟 시계열 데이터 자체 또는 시계열 데이터 자체를 이미지화한 데이터를 포함할 수 있고, 또한, 타겟 시계열 데이터 및 시계열 데이터를 생체 지수 획득 모델의 처리에 적합하도록 2차적으로 이미지화한 이미지 데이터를 포함할 수도 있다.
보다 구체적으로, 도 30은 일 실시예에 따른 이미지 데이터의 획득을 설명하기 위한 도면이다. 도 30을 참조하면, (a)는 시계열 데이터를 나타내고, (b)는 시계열 데이터를 2차적으로 이미지화한 이미지 데이터를 나타낼 수 있다. 일 예로, 생체신호 측정 장치는 recurrence plot을 이용하여 (a)의 시계열 데이터에 대한 (b)의 이미지 데이터로 생성할 수 있고, 생성된 이미지 데이터를 생체 지수 획득 모델에 입력할 수 있다. 물론, 생체지수 획득 장치는 타겟 시계열 데이터에 대해서도 recurrence plot을 이용하여 이미지 데이터를 획득할 수도 있고, recurrence plot 외 다른 방법을 이용하여 이미지 데이터를 획득할 수도 있다. 물론, 생체신호 측정 장치는 (a)의 시계열 데이터를 그대로 이미지화하여 이미지 데이터를 획득할 수도 있다.
또한, 생체신호 특징 데이터를 기초로 생체 지수 측정 모델을 이용하여 피측정자에 대한 생체지수를 획득하는 단계(S2870)에서, 생체지수 획득 장치는 획득된 생체신호 특징 데이터 또는 획득된 생체신호 특징 데이터를 가공한 데이터를 생체 지수 획득 모델에 입력하여 피측정자에 대한 생체지수를 획득할 수 있다. 여기서, 획득되는 생체지수는 심박수, 혈압(최고 혈압 또는 최저혈압 중 적어도 하나), 산소포화도, 심박수 중 적어도 하나일 수 있다. 또한, 이외에도 다양한 생체 지수(스트레스 지수 등)가 획득될 수 있다. 이하에서는 설명의 편의를 위하여 획득되는 생체지수가 혈압(최고 혈압 또는 최저혈압 중 적어도 하나)인 실시예를 중심으로 설명하나 이에 한정되는 것은 아니다.
전술한 바와 같이, 생체지수 측정 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 생체 지수 획득 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다. 또한, 일 실시예에 따른 생체 지수 획득 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 생체 지수 획득 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 생체 지수 획득 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 생체 지수 획득 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
일 실시예에서, 전술한 바와 같이, 생채신호 특징 데이터는 타겟 시계열 데이터 또는 시계열 데이터를 기초로 생성된 수치값일 수 있다. 이 경우, 생체 지수 획득 장치는 상기 수치값 중 적어도 일부 또는 전체를 생체지수 획득 모델에 입력하고, 생체지수 획득 모델에서 혈압 데이터(최고 혈압 또는 최저혈압 중 적어도 하나)이 출력될 수 있다. 일 예로, 15개의 생체신호 특징 데이터가 생체 지수 획득 모델에 입력될 수 있다. 이 때, 생체 지수 획득 모델은 5개의 은닉층을 포함하고, 은닉층의 활성함수가 ReLU가 될 수 있고, 최종 결과값을 위한 활성함수는 Linear가 될 수 있다. 그리고, 생체지수 획득 모델에서 혈압(최고 혈압 또는 최저혈압 중 적어도 하나) 데이터가 출력될 수 있다.
또한, 다른 일실시예에서, 전술한 바와 같이, 생채신호 특징 데이터는 타겟 시계열 데이터 또는 시계열 데이터를 기초로 생성된 이미지 데이터일 수 있다. 이 때, 생체 지수 획득 모델은 CNN 등 다양한 모델로 구성될 수 있다. 생체 지수 획득 모델은 타겟 시계열 데이터 또는 시계열 데이터로 획득된 이미지 데이터를 이용하여 미리 학습될 수 있다. 또한, 생체지수 획득 장치는 상기 이미지 데이터를 생체지수 획득 모델에 입력하여 혈압 데이터(최고 혈압 또는 최저혈압 중 적어도 하나)을 획득할 수 있다.
생체지수 획득모델 및 생체지수 획득모델을 이용한 생체지수 획득에 대해서는 도 7 및 도 8에서 전술한 사항이 적용될 수 있으므로, 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (15)
- 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 측정하는 방법에 있어서,
피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계;
상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계;
상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- ;
제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계;
상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계;
상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계;
상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계; 및
상기 생체신호 특징 데이터를 기초로 생체지수 획득 모델을 이용하여 상기 피측정자에 대한 생체 지수를 획득하는 단계를 포함하는,
생체 지수 측정 방법.
- 제1항에 있어서,
상기 시계열 데이터를 기초로 생체신호 특징 데이터를 획득하는 단계는,
밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링하는 단계; 및
상기 필터링된 시계열 데이터를 이용하여 상기 생체신호 특징 데이터를 획득하는 단계
를 포함하는,
생체 지수 측정 방법.
- 제2항에 있어서,
상기 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링하는 단계는,
상기 피측정자의 심박수에 대응되는 주파수 대역을 갖는 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링 하는 단계를 포함하는
생체 지수 측정 방법.
- 제3항에 있어서,
상기 피측정자의 심박수에 대응되는 주파수 대역을 갖는 밴드 패스 필터를 이용하여 상기 시계열 데이터를 필터링 하는 단계는,
상기 시계열 데이터에 대해 퓨리에 변환을 수행하여 상기 피측정자의 심박수에 대응되는 주파수 대역을 추출하는 단계
를 포함하는,
생체 지수 측정 방법.
- 제1항에 있어서,
상기 시계열 데이터를 기초로 생체신호 특징 데이터 획득하는 단계는,
상기 시계열 데이터를 복수의 세부 시계열 데이터로 구분하는 단계; 및
상기 구분된 시계열 데이터를 기초로 타겟 시계열 데이터를 추출하는 단계를 포함하고,
상기 타겟 시계열 데이터는 1차 극대값 및 상기 1차 극대값보다 작은 2차 극대값을 포함하는,
생체 지수 측정 방법.
- 제5항에 있어서,
상기 생체신호 특징 데이터는,
상기 타겟 시계열 데이터의 시작 시점에서의 값, 상기 1차 극대값, 상기 타겟 시계열 데이터의 종료시점에서의 값 중 적어도 하나를 기초로 생성되는,
생체 지수 측정 방법.
- 제5항에 있어서,
상기 생체신호 특징 데이터는,
상기 타겟 시계열 데이터를 1차 미분한 시계열 데이터 및 2차 미분한 시계열 데이터를 기초로 생성되는,
생체 지수 측정 방법.
- 제1항에 있어서,
상기 피측정자에 대한 생체 지수는,
상기 피측정자의 최저 혈압 또는 최고 혈압중 적어도 하나를 포함하는,
생체 지수 측정 방법.
- 제1항에 있어서,
상기 제1, 제2 및 제3 색 채널은 RGB 색공간에 따른 색 채널인,
생체 지수 측정 방법.
- 제9항에 있어서,
상기 제1 색 채널은 Green 채널에 설정되며, 상기 제2 색 채널은 Red 채널로 설정되고, 상기 제3 색 채널은 Blue 채널로 설정되는
생체 지수 측정 방법.
- 제1항에 있어서,
상기 제1 특성값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며,
상기 제2 특성값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제2 차이 값의 제2 편차 값을 기초로 획득되고,
상기 제1 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며,
상기 제2 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 계산되는
생체 지수 측정 방법.
- 제11항에 있어서,
상기 제1 특성값 및 상기 제2 특성값은 정규화 된(normalized) 값인
생체 지수 측정 방법.
- 제12항에 있어서,
상기 제1 특성값은 제1 표준 편차 값에 의해 정규화된 값이며, 상기 제2 특성값은 제2 표준 편차 값에 의해 정규화된 값이되,
상기 제1 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 표준 편차 값이며, 상기 제2 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 표준 편차 값인
생체 지수 측정 방법.
- 제1항에 있어서,
상기 시계열 데이터는 상기 제1 특성값 및 상기 제2 특성값의 합으로 획득되는 제3 특징 데이터에 기초하여 획득되는,
생체 지수 측정 방법.
- 제1항 내지 제14항 중 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230153700A KR20230157921A (ko) | 2021-02-25 | 2023-11-08 | 생체 지수 측정 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210025427A KR102601683B1 (ko) | 2021-02-25 | 2021-02-25 | 생체 지수 측정 방법 |
| KR1020230153700A KR20230157921A (ko) | 2021-02-25 | 2023-11-08 | 생체 지수 측정 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210025427A Division KR102601683B1 (ko) | 2021-02-25 | 2021-02-25 | 생체 지수 측정 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230157921A true KR20230157921A (ko) | 2023-11-17 |
Family
ID=83049545
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210025427A KR102601683B1 (ko) | 2021-02-25 | 2021-02-25 | 생체 지수 측정 방법 |
| KR1020230153700A KR20230157921A (ko) | 2021-02-25 | 2023-11-08 | 생체 지수 측정 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210025427A KR102601683B1 (ko) | 2021-02-25 | 2021-02-25 | 생체 지수 측정 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230397826A1 (ko) |
| KR (2) | KR102601683B1 (ko) |
| WO (1) | WO2022182156A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102588481B1 (ko) * | 2023-03-23 | 2023-10-12 | 상명대학교산학협력단 | 산소포화도 추정 방법 및 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6349075B2 (ja) * | 2013-11-22 | 2018-06-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 心拍数測定装置及び心拍数測定方法 |
| WO2016184705A1 (en) | 2015-05-21 | 2016-11-24 | Koninklijke Philips N.V. | Determining a pulse signal from a video sequence |
| KR101752560B1 (ko) * | 2015-09-02 | 2017-06-30 | 성균관대학교산학협력단 | 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체 |
| KR101823658B1 (ko) * | 2016-07-13 | 2018-03-14 | 성균관대학교산학협력단 | 영상을 이용한 스트레스 지수 산출 방법 |
| KR20200079691A (ko) * | 2018-12-26 | 2020-07-06 | 한국전자통신연구원 | 카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법 |
-
2021
- 2021-02-25 KR KR1020210025427A patent/KR102601683B1/ko active IP Right Grant
-
2022
- 2022-02-24 WO PCT/KR2022/002699 patent/WO2022182156A1/ko active Application Filing
-
2023
- 2023-08-21 US US18/452,862 patent/US20230397826A1/en active Pending
- 2023-11-08 KR KR1020230153700A patent/KR20230157921A/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20230397826A1 (en) | 2023-12-14 |
| WO2022182156A1 (ko) | 2022-09-01 |
| KR20220121416A (ko) | 2022-09-01 |
| KR102601683B1 (ko) | 2023-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| CN110191675B (zh) | 用于非接触式确定血压的系统和方法 | |
| US20180122073A1 (en) | Method and device for determining vital parameters | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| US20110319724A1 (en) | Methods and systems for non-invasive, internal hemorrhage detection | |
| KR20230157921A (ko) | 생체 지수 측정 방법 | |
| CN109497977A (zh) | 人体心率和血氧饱和度检测方法和装置 | |
| US20200090819A1 (en) | System and computer-implemented method for detecting and categorizing pathologies through an analysis of pulsatile blood flow | |
| KR102328947B1 (ko) | 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치 | |
| Nafisi et al. | Intradialytic hypotension related episodes identification based on the most effective features of photoplethysmography signal | |
| Wu et al. | A facial-image-based blood pressure measurement system without calibration | |
| CN115024725A (zh) | 融合心理状态多参数检测的肿瘤治疗辅助决策系统 | |
| Fukutsu et al. | A deep learning architecture for vascular area measurement in fundus images | |
| KR102243017B1 (ko) | 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법 | |
| Nikolaiev et al. | Non-contact video-based remote photoplethysmography for human stress detection | |
| US20240016401A1 (en) | Systems and methods for analysis of pulse and physiological, pathological, and emotional state and applications thereof | |
| KR20230087729A (ko) | 생체 지수 및 바이오 리듬 제공 방법 | |
| Lee et al. | Video-based bio-signal measurements for a mobile healthcare system | |
| Wang et al. | Personalized Modeling of Blood Pressure with Photoplethysmography: an Error-Feedback Incremental Support Vector Regression Model | |
| Devaki et al. | Smartphone-based diagnostic model for hypertension using features from photoplethysmogram | |
| Kim et al. | The non-contact biometric identified bio signal measurement sensor and algorithms | |
| KR20200140469A (ko) | 영상 이미지를 통해 사용자의 피부 및 건강 지표를 측정하는 방법 및 그를 이용한 장치 | |
| Ansari et al. | ChPOS: A Contactless and Continuous Method for Estimation of Heart Rate from Face | |
| Raju et al. | Real-Time Hemoglobin Measurement Using Smartphone Video and Artificial Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |