KR20220113298A - 하이퍼 스펙트럴 카메라를 이용한 비접촉식 바이탈 사인 예측 방법, 비접촉식 바이탈 사인 예측 장치, 예측 방법을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록 매체 - Google Patents
하이퍼 스펙트럴 카메라를 이용한 비접촉식 바이탈 사인 예측 방법, 비접촉식 바이탈 사인 예측 장치, 예측 방법을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록 매체 Download PDFInfo
- Publication number
- KR20220113298A KR20220113298A KR1020220015408A KR20220015408A KR20220113298A KR 20220113298 A KR20220113298 A KR 20220113298A KR 1020220015408 A KR1020220015408 A KR 1020220015408A KR 20220015408 A KR20220015408 A KR 20220015408A KR 20220113298 A KR20220113298 A KR 20220113298A
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- vital sign
- region
- learning
- absorption coefficient
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004590 computer program Methods 0.000 title claims description 11
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 106
- 238000010521 absorption reaction Methods 0.000 claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 claims abstract description 53
- 230000017531 blood circulation Effects 0.000 claims description 62
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 54
- 229910052760 oxygen Inorganic materials 0.000 claims description 54
- 239000001301 oxygen Substances 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 26
- 210000001061 forehead Anatomy 0.000 claims description 5
- 210000003491 skin Anatomy 0.000 description 45
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000013186 photoplethysmography Methods 0.000 description 12
- 238000013145 classification model Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 108010054147 Hemoglobins Proteins 0.000 description 6
- 102000001554 Hemoglobins Human genes 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002615 epidermis Anatomy 0.000 description 3
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- -1 blood flow Chemical compound 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 208000003322 Coinfection Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Dermatology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Pulmonology (AREA)
- Mathematical Physics (AREA)
- Optics & Photonics (AREA)
- Hematology (AREA)
- Fuzzy Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 일 실시예에 따른 바이탈 사인 예측 방법은 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 단계; 피측정자의 영상으로부터 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하는 단계; 검출된 적어도 하나의 관심영역의 흡수계수를 연산하는 단계; 및 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 피측정자의 피부 두께 및 멜라닌을 예측하는 단계를 포함할 수 있다.
Description
본 발명은 하이퍼 스펙트럴 카메라를 이용한 비접촉식 바이탈 사인 예측 방법, 비접촉식 바이탈 사인 예측 장치, 예측 방법을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록 매체에 관한 것이다.
최근 COVID-19의 감염병 바이러스가 확산됨에 따라, 맥박, 호흡, 혈압 등을 포함하는 피측정자의 바이탈 사인(Vital Sign)을 접촉식으로 측정하는 방법은 감염병의 확산을 촉진시킬 가능성이 있어 문제가 있다.
또한, 종래의 피측정자에 대한 신뢰도가 높은 바이탈 사인 측정 방식은 대부분 접촉식으로 환자에게 직접 측정 장비를 착용시키고, 착용시킨 장비로부터 피측정자의 바이탈 사인을 측정하므로, 피측정자가 측정 장비 착용에 어려움이 있는 환자일 경우, 바이탈 사인을 측정하는 데 어려움이 있다.
이에 따라, 비접촉식 바이탈 사인을 측정하는 방법이 연구 및 개발되고 있으나, 외부 조명의 변화나 피측정자의 움직임과 같은 변수에 의해 정확한 피측정자의 바이탈 사인을 측정하는데 어려움이 있다. 또한, 피측정자의 피부 두께, 피부색을 포함하는 개별 요인에 따라 피측정자의 바이탈 사인이 변화할 수 있어, 비접촉식으로 피측정자의 바이탈 사인을 측정하는 방법은 정확도가 낮은 문제가 있다.
본 발명이 해결하고자 하는 과제는, 하이퍼 스펙트럴 카메라를 이용하여 피측정자의 복수의 바이탈사인을 예측하는 방법 및 장치를 제공하는 데 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 바이탈 사인 예측 방법은 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 단계; 상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하는 단계; 상기 검출된 적어도 하나의 관심영역의 흡수계수를 연산하는 단계; 및 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 단계를 포함한다.
상기 적어도 하나의 관심영역은 상기 피측정자의 이마 영역, 눈 밑 영역 및 뺨 영역을 포함할 수 있다.
상기 적어도 하나의 관심영역을 검출하는 단계는, 객체 검출 알고리즘을 이용하여 상기 입력된 피측정자의 영상에서 얼굴 영역을 검출하는 단계; 및 상기 검출된 얼굴 영역 내에서 상기 객체 검출 알고리즘을 이용하여 상기 적어도 하나의 관심영역을 검출하는 단계를 포함할 수 있다.
상기 객체 검출 알고리즘은 YOLO(You Only Look Once) 객체 검출 알고리즘일 수 있다.
상기 제 1 인공신경망 모델은, 복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 피부두께 및 멜라닌을 레이블 데이터로서 이용하여 학습된 것일 수 있다.
상기 제 1 인공신경망 모델은, 상기 학습 대상의 멜라닌 및 피부두께를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것일 수 있다.
본 발명의 다른 측면에 따른 비접촉식 바이탈 사인 예측 방법은 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 단계; 상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하는 단계; 상기 적어도 하나의 관심영역의 흡수계수를 연산하는 단계; 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계를 포함한다.
상기 제 1 인공신경망 모델은 제 2 인공신경망 모델 및 제 3 인공신경망 모델을 포함하고, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계는, 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 2 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 단계; 및 상기 피측정자의 상기 적어도 하나의 관심영역의 흡수계수, 상기 예측된 피측정자의 피부 두께 및 멜라닌을 기 학습된 제 3 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계를 포함할 수 있다.
상기 제 2 인공신경망 모델은, 복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 피부두께 및 멜라닌을 레이블 데이터로서 이용하여 학습된 것이고, 상기 제 3 인공신경망 모델은, 상기 복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수, 복수의 학습 대상의 학습용 피부두께 및 멜라닌을 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 혈류량 및 산소포화도를 레이블 데이터로서 이용하여 학습된 것일 수 있다.
상기 제 2 인공신경망 모델은, 상기 학습 대상의 멜라닌 및 피부두께를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것이고, 상기 제 3 인공신경망 모델은, 상기 학습 대상의 혈류량 및 산소포화도를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것일 수 있다.
상기 적어도 하나의 관심영역은 상기 피측정자의 이마, 눈밑 및 뺨을 포함할 수 있다.
상기 적어도 하나의 관심영역을 검출하는 단계는 객체 검출 알고리즘을 이용하여 상기 입력된 피측정자의 영상에서 얼굴 영역을 검출하는 단계; 및 상기 검출된 얼굴 영역 내에서 상기 객체 검출 알고리즘을 이용하여 상기 적어도 하나의 관심영역을 검출하는 단계를 포함할 수 있다.
상기 검출 알고리즘은 YOLO(You Only Look Once) 객체 검출 알고리즘일 수 있다.
본 발명의 일 실시예에 따른 비접촉식 바이탈 사인 예측 장치는 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 수신부; 및 상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하며, 상기 검출된 적어도 하나의 관심영역의 흡수계수를 연산하고, 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 제어부를 포함한다.
본 발명의 다른 실시예에 따른 비접촉식 바이탈 사인 예측 장치는 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 수신부; 및 상기 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하고 상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하며, 상기 적어도 하나의 관심영역의 흡수계수를 연산하고 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하며 상기 피측정자의 상기 적어도 하나의 관심영역의 흡수계수, 상기 예측된 피측정자의 피부 두께 및 멜라닌을 기 학습된 제 2 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 제어부를 포함한다.
본 발명의 실시 예에 의하면, 비접촉식으로 하이퍼 스펙트럴 카메라로 촬영된 피측정자의 영상과 인공신경망을 이용하여, 피측정자에게 측정 장비를 착용하지 않아도 되므로, 피측정자의 불편함을 줄이고 쉽게 바이탈 사인을 특정할 수 있는 효과가 있다. 또한, 피측정자의 개별 특성을 고려하여 바이탈 사인을 측정할 수 있기 때문에, 보다 정확하게 바이탈 사인을 측정할 수 있다.
또한, 빠르고 정확하게 피측정자의 바이탈 사인을 측정할 수 있으므로, 환자를 이송할 때, 지속적으로 환자의 상태를 빠르고 정확하게 측정함으로써 즉각적인 응급처치가 가능할 수 있다. 또한 COVID-19와 같은 판데믹(Pandemic, 범유행 전염병) 환경에 대비하여 기초 방역기술을 확보함으로써 2차 감염을 방지하고 안전한 국민 건강을 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비접촉식 바이탈 사인 예측 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 관심영역 검출부가 피측정자의 관심영역을 검출하는 방법을 나타낸다.
도 3은 본 발명의 다른 실시예에 따른 비접촉식 바이탈 사인 예측 장치를 설명하기 위한 블록구성도이다.
도 4는 본 발명의 다른 실시예에 따른 멜라닌, 피부두께 예측부 및 산소포화도, 혈류량 예측부가 피부두께, 멜라닌, 산소포화도 및 혈류량을 예측하는 순서를 나타내는 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 호흡기에 따른 PPG 신호의 3가지 변형 모드이다.
도 6은 혈압 변화에 따른 PPG 신호의 왜곡 현상의 일 예시이다.
도 7은 회귀 방법을 이용하여 산소포화도와 혈류량을 예측한 결과와 본 발명의 다른 실시예에 따라 산소포화도와 혈류량을 예측한 결과를 나타낸 표이다.
도 8은 회귀 방법으로 혈류량과 산소포화도를 예측한 결과를 나타낸 그래프이다.
도 9는 본 발명의 다른 실시예에 따른 산소포화도와 혈류량을 예측한 결과를 나타낸 그래프이다.
도 10은 본 발명의 일 측면에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
도 11은 본 발명의 다른 측면에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 관심영역 검출부가 피측정자의 관심영역을 검출하는 방법을 나타낸다.
도 3은 본 발명의 다른 실시예에 따른 비접촉식 바이탈 사인 예측 장치를 설명하기 위한 블록구성도이다.
도 4는 본 발명의 다른 실시예에 따른 멜라닌, 피부두께 예측부 및 산소포화도, 혈류량 예측부가 피부두께, 멜라닌, 산소포화도 및 혈류량을 예측하는 순서를 나타내는 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 호흡기에 따른 PPG 신호의 3가지 변형 모드이다.
도 6은 혈압 변화에 따른 PPG 신호의 왜곡 현상의 일 예시이다.
도 7은 회귀 방법을 이용하여 산소포화도와 혈류량을 예측한 결과와 본 발명의 다른 실시예에 따라 산소포화도와 혈류량을 예측한 결과를 나타낸 표이다.
도 8은 회귀 방법으로 혈류량과 산소포화도를 예측한 결과를 나타낸 그래프이다.
도 9는 본 발명의 다른 실시예에 따른 산소포화도와 혈류량을 예측한 결과를 나타낸 그래프이다.
도 10은 본 발명의 일 측면에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
도 11은 본 발명의 다른 측면에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 비접촉식 바이탈 사인 예측 장치를 설명하기 위한 블록구성도이다.
도 1을 참조하면, 비접촉식 바이탈 사인 예측 장치(1000)는 데이터 수신부(1100), 관심영역 추출부(1200) 및 멜라닌, 피부두께 예측부(1300)를 포함할 수 있다.
일 실시예에 따른 비접촉식 바이탈 사인 예측 장치(1000)는 하이퍼 스펙트럴 카메라로 촬영된 피측정자의 영상을 이용하여 기 학습된 제 1 인공신경망에 입력하여, 피측정자의 멜라닌, 피부두께를 예측할 수 있다.
데이터 수신부(1100)는 유무선 통신을 이용하여 하이퍼 스펙트럴 카메라로 촬영된 피측정자의 영상에 관한 정보을 수신받을 수 있다. 여기서, 하이퍼 스펙트럴 카메라는 하이퍼 스펙트럴 영상을 촬영할 수 있는 장치로써, 하이퍼 스펙트럴 영상은 공간 정보에 분광 기술을 더한 것으로 전자기파의 스펙트럼 밴드에 따른 2차원적인 영상정보를 초분광 큐브(Hypercube) 형태로 포함하여, 대상체의 상태, 구성, 특징, 변이 등이 도출될 수 있다.
여기서, 송수신부(1100)가 획득하는 하이퍼 스펙트럴 카메라로 촬영된 영상에 관한 정보는 피측정자의 바이탈 사인을 측정하기 위하여, RGB 가시광선(380nm ~ 750nm), 근적외영역(750nm ~ 850nm) 파장대 조명을 피측정자의 피부에 조사하고, 피측정자의 피부에 조사된 빛으로부터 반사되는 빛을 촬영한 영상에 관한 정보다. 또한, 영상에 관한 정보는 복수의 스펙트럴 밴드(Spectral Band)에 대한 반사양을 포함한다.
조명으로부터 피측정자의 피부에 빛을 조사하는 경우, 피측정자의 피부내의 멜라닌과 헤모글로빈을 포함하는 성분들이 발색단 역할을 하기 때문에 복수의 스펙트럴 밴드에서 반사되는 빛의 양이 달라진다. 비접촉식 바이탈 사인 예측 장치(1000)는 이러한 특징을 이용하여 복수의 스펙트럴 밴드에 대한 흡수계수에 관한 데이터로부터 멜라닌, 피부두께, 혈류량 및 산소포화도를 예측할 수 있다.
도 2는 본 발명의 일 실시예에 따른 관심영역 검출부가 피측정자의 관심영역을 검출하는 방법을 나타낸다.
관심영역 검출부(1200)는 데이터 수신부(1100)가 획득한 피측정자의 하이퍼 스펙트럴 영상(100)으부터 피측정자의 적어도 하나의 관심영역(111) 및 상기 적어도 하나의 관심영역(111)의 흡수계수(Absorbance)를 검출해 낼 수 있다. 여기서, 적어도 하나의 관심영역은 피측정자의 이마 영역, 눈 밑 영역 및 뺨 영역을 포함할 수 있다.
실시예에 따라, 관심영역 검출부(1200)는 피측정자의 하이퍼 스펙트럴 영상(100)으로부터 객체 검출(Object Detection) 알고리즘을 이용하여 얼굴영역(110)을 검출할 수 있고, 검출된 얼굴영역(110)에서 객체 검출 알고리즘을 이용하여 적어도 하나의 얼굴부위를 관심영역(111)으로 검출할 수 있다.
실시예에 따라, 관심영역 검출부(1200)는 객체 검출 알고리즘으로 YOLO(You Only Look Once) 객체 검출 알고리즘을 이용하여, 피측정자의 하이퍼 스펙트럴 영상(100)으로부터 피측정자의 얼굴영역(110) 및 피측정자의 관심영역(111)을 검출할 수 있다. 예를 들어, 객체 검출 알고리즘인 YOLO 알고리즘은 YOLO Ver. 3 Tiny일 수 있다. YOLO 알고리즘은 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.
관심영역 검출부는 검출된 관심영역의 반사/흡수에 따른 흡수계수를 멜라닌, 혈류량, 산소포화도로 변환할 수 있다. 피측정자의 하이퍼 스펙트럴 영상에서 피부 표피층의 멜라닌과 진피층의 헤모글로빈 체적/혈류량 및 산소포화도에 따라 조사한 빛의 스펙트럴 밴드는 서로 상이한 반사/흡수 패턴을 가진다. 또한, 조사한 빛의 스펙트럴 밴드에 따라, 상기 반사/흡수 패턴은 각 피부층의 반사지수, 흡수계수, 산란계수, 이등방성 인자 및 피부두께에 대해 영향을 받는다.
멜라닌과 혈류량, 산소포화도는 상기 반사/흡수 패턴이 영향을 받는 요소 중 흡수계수에 영향을 미치므로, 하기의 수학식 1과 같이 피부 표피층 (Epidermis)과 진피층(Dermis)의 스펙트럴 밴드에 따른 빛의 흡수계수는 멜라닌, 헤모글로빈 체적/혈류량 및 산소포화도와의 관계식으로 나타낼 수 있다.
여기서, 
는 피부 표피층의 흡수계수를 나타내고, 
는 피부 진피층의 흡수계수를 나타내며, 
은 멜라닌의 흡수계수를 나타내고, 
는 옥시헤모글로빈의 흡수계수를 나타내며, 
는 디옥시헤모글로빈의 흡수계수를 나타낸다. 또한, λ는 피측정자의 피부에 조사하는 빛의 파장을 나타내고, Mel은 멜라닌을 나타내며, Thb는 혈류량의 양을 나타내고, Sto는 산소포화도를 나타낸다.
비접촉식 바이탈 사인 측정 장치(1000)는 수학식 1을 통해 관심영역의 스펙트럴 밴드에 대한 흡수계수를 이용하여 멜라닌을 예측할 수 있다. 또한, 도 3에서 후술할 다른 실시예에 따른 비접촉식 바이탈 사인 측정 장치(1000)는 헤모글로빈 체적, 혈류량 및 산소포화도와 멜라닌에 대한 스펙트럴 밴드에 따른 흡수 특성이 서로 다른 점을 이용하여, 피부색 및 피부 두께가 상이한 피측정자의 특성에도 강인하게 헤모글로빈 체적, 혈류량 및 산소포화도를 예측할 수 있다.
다시 도 1을 참조하면, 멜라닌, 피부두께 예측부(1300)는 기 학습된 제 1 인공신경망 모델을 포함하고, 제 1 인공신경망 모델에 추출된 영상의 복수의 관심영역의 흡수계수를 입력하고, 상기 피측정자의 피부 두께 및 멜라닌을 예측할 수 있다.
보다 자세하게는 멜라닌, 피부두께 예측부(1300)에 포함된 제 1 인공신경망 모델은 회귀(Regression) 모델이 아닌, 피측정자의 멜라닌과 피부두께를 소정의 범위로 구분된 클래스로 분류하고 입력으로 사용된 흡수계수의 클래스(class) 별 확률 값을 예측하는 분류화 모델(classification)을 이용한다. 제 1 인공신경망은 흡수계수의 클래스 별 확률 값을 이용하는 확률 기반 회귀 모델을 이용함으로써 피측정자의 멜라닌과 피부두께 추정 정확도를 높일 수 있다.
또한, 제 1 인공신경망 모델은 삼중항 손실(Triplet Loss)를 이용하여 입력된 흡수계수가 클래스 별로 군집화 되도록 특징을 추출한다. 분류화 모델은 완전 연결 신경망(Fully Connected Network)에 포함된 마지막 레이어의 활성 함수를 소프트맥스(Softmax)로 구성한다. 이 경우, 분류화 모델의 출력값인 클래스 별 확률 값은 혼합 가우시안 모델(Gaussian Mixture Model)을 통해 연산될 수 있으며, 혼합 가우시안 모델의 크로스 엔트로피(Cross Entropy)를 이용하여 분류화 모델의 출력 값이 클래스 별 혼합 가우시안 모델의 확률 값이 되도록 학습된다.
도 3은 본 발명의 다른 실시예에 따른 비접촉식 바이탈 사인 예측 장치를 설명하기 위한 블록구성도이다.
도 3을 더 참조하면, 다른 실시예에 따른 비접촉식 바이탈 사인 예측 장치(1000)는 데이터 수신부(1100), 관심영역 검출부(1200), 멜라닌, 피부두께 예측부(1300) 및 산소포화도, 혈류량 예측부(1400)를 포함할 수 있다.
비접촉식 바이탈 사인 예측 장치(1000)에 포함된 데이터 수신부(1100), 관심영역 검출부(1200) 및 멜라닌, 피두부께 예측부(1300)의 기능 및 구성은 상술한 바와 같으므로 이에 대한 상세한 설명은 생략하기로 한다.
비접촉식 바이탈 사인 예측 장치(1000)는 하이퍼 스펙트럴 카메라로 촬영된 피측정자의 영상을 이용하여 기 학습된 제 1 인공신경망에 입력하여, 피측정자의 멜라닌, 피부두께를 예측할 수 있다. 또한, 비접촉식 바이탈 사인 예측 장치(1000)는 예측된 멜라닌, 피부두께를 추가 정보로 입력하여 기 학습된 제 2 인공신경망을 이용하여 피측정자의 산소포화도 및 혈류량을 예측할 수 있다.
도 4은 본 발명의 일 실시예에 따른 멜라닌, 피부두께 예측부 및 산소포화도, 혈류량 예측부가 피부두께, 멜라닌, 산소포화도 및 혈류량을 예측하는 순서를 나타내는 블록 구성도이다.
도 4를 참조하면, 도 3의 비접촉식 바이탈 사인 예측 장치(1000)는 피측정자의 관심영역의 흡수계수, 피측정자의 개별 특성인 피측정자의 멜라닌 및 피부두께 정보를 추가 입력으로 하여, 개별 특성을 고려할 수 있어 보다 정확한 피측정자의 산소포화도 및 혈류량을 예측할 수 있다.
보다 자세하게는 산소포화도, 혈류량 예측부(1400)에 포함된 제 2 인공신경망 모델은 회귀 모델이 아닌, 피측정자의 혈류량과 산소포화도를 소정의 범위로 구분된 클래스로 분류하고 입력으로 사용된 흡수계수의 클래스 별 확률 값을 예측하는 분류화 모델을 이용한다. 제 2 인공신경망은 흡수계수의 클래스 별 확률 값을 이용하는 확률 기반 회귀 모델을 이용함으로써 피측정자의 혈류량과 산소포화도 추정 정확도를 높일 수 있다.
또한, 제 2 인공신경망 모델은 삼중항 손실(Triplet Loss)를 이용하여 입력된 흡수계수가 클래스 별로 군집화 되도록 특징을 추출한다. 분류화 모델은 완전 연결 신경망(Fully Connected Network)에 포함된 마지막 레이어의 활성 함수를 소프트맥스(Softmax)로 구성한다. 이 경우, 분류화 모델의 출력값인 클래스 별 확률 값은 혼합 가우시안 모델(Gaussian Mixture Model)을 통해 연산될 수 있으며, 혼합 가우시안 모델의 크로스 엔트로피(Cross Entropy)를 이용하여 분류화 모델의 출력 값이 클래스 별 혼합 가우시안 모델의 확률 값이 되도록 학습된다.
또한, 제 2 인공신경망 모델의 분류화 모델은 혈류량 클래스와 산소포화도 클래스를 조합하여 산소포화도와 혈류량 정보를 함께 반영할 수 있다.
실시예에 따라, 비접촉식 바이탈 사인 예측 장치(1000)는 입력된 피측정자의 하이퍼스펙트럴 영상을 이용하여 피측정자의 맥박, 호흡수, 혈압을 예측할 수 있다. 보다 자세하게는, 비접촉식 바이탈 사인 예측 장치(1000)는 검출된 관심영역의 혈류량의 시간에 따른 변화를 입력으로 하여, 피측정자의 맥박, 호흡수 및 혈압을 예측할 수 있다.
도 3의 관심영역 검출부(1200)가 검출한 헤모글로빈 체적/혈류량의 변화는 PPG(Photo-Plethysmography) 신호로 표현될 수 있고, 시계열 PPG 영상 신호는 혈류량의 시간적 변화를 나타냄으로써, 피측정자의 심장박동수/맥박과 관련성이 있다.
도 5는 본 발명의 일 실시예에 따른 호흡기에 따른 PPG 신호의 3가지 변형 모드이다.
도 5를 더 참조하면, 도 3의 비접촉식 바이탈 사인 예측 장치(1000)는 PPG 신호(No mod)가 호흡기에 따라 Base Wondering(BW), Amplitude Modulation(AM) 및 Frequency Modulation(FM) 같은 신호의 변형이 일어나는 현상을 이용하여 호흡수 측정을 할 수 있다.
실시예에 따라, 도 3의 비접촉식 바이탈 사인 예측 장치(1000)는 표현된 PPG 신호를 이용하여, 피측정자의 혈압을 측정할 수 있다.
도 6는 혈압 변화에 따른 PPG 신호의 왜곡 현상의 일 예시이다.
도 6을 더 참조하면, 원본 PPG 신호는 밴드 패스 필터(band-pass filter)를 통과한 신호에 비해 왜곡이 있음을 확인할 수 있고, 확인된 왜곡 신호의 특징을 추출하여, 신호 왜곡 특징을 이용하여 피측정자의 혈압을 예측할 수 있다.
실시예에 따라, 도 3의 비접촉식 바이탈 사인 예측 장치(1000)는 예측된 혈류량 및 표현된 PPG 신호의 시계열 데이터를 제 3 인공신경망에 입력으로 하여, 맥박 수, 호흡 수 및 혈압을 예측할 수 있다. 여기서 제 3 인공신경망은 합성곱 신경망(CNN, Convolutional Neural Network), LSTM(Long Shot Term Model) 및 오토 인코더(Autoencoder)를 포함한다. 또한, 입력된 PPG 신호는 시계열 데이터와 주파수 데이터를 결합하여 이용될 수 있다.
도 7은 회귀 방법을 이용하여 산소포화도와 혈류량을 예측한 결과와 본 발명의 실시예에 따라 산소포화도와 혈류량을 예측한 결과를 나타낸 표이다.
도 7을 더 참조하면, 도 3의 비접촉식 바이탈 사인 예측 장치(1000)는 MCML 시뮬레이터를 활용하여 멜라닌 1~15%, 피부두께 20~70um, 산소포화도 70~99%, 혈류량 1~7%의 조건에서의 총 53,640개의 Wavelength별 반사율과 흡수계수 데이터를 수집하였고 이 중 43,230개의 데이터를 학습용으로 사용하였고 나머지 10,410개의 데이터를 테스트용으로 사용하였다. 산소포화도와 혈류량 예측결과는 분류화 모델의 실측자료(Ground Truth)확률 값을 구하기 위해 이용된 가우시안 혼합모델의 커널 함수의 분산값에 따라 다른 예측결과 값을 가질 수 있다.
확률기반 회귀 방법을 이용하는 제 1 인공신경망의 커널 분산값이 작을수록 오차율을 나타내는 평균제곱근오차(RMSE, Root Mean Square Error)는 작아지고, 제 2 인공신경망의 커널 분산값이 클수록 평균제곱근오차가 작아지게 된다. 예를 들어, 제 1 인공신경망의 커널 분산값이 0.005이고, 제 2 인공신경망에 포함된 산소포화도 및 혈류량의 공분산이 
일 때 예측된 산소포화도에 대한 평균제곱근오차는 2.39%, 예측된 혈류량에 대한 평균제곱근오차는 0.217%임을 확인할 수 있다. 또한, 회귀 방법만을 이용하여 산소포화도와 혈류량을 추정한 경우, 예측된 산소포화도와 혈류량에 대한 평균제곱근오차는 각각 3.510%, 0.271%이다. 따라서, 본 발명의 실시예에 따른 확률기반 회귀 방법을 사용하는 경우가 회귀 방법만을 이용한 경우보다 정확도가 높은 것을 확인할 수 있다.
도 8은 회귀 방법으로 혈류량과 산소포화도를 예측한 결과를 나타낸 그래프이고, 도 9는 본 발명의 실시예에 따른 산소포화도와 혈류량을 예측한 결과를 나타낸 그래프이다.
도 8의 (a)는 회귀방법만을 이용하여 혈류량을 예측한 그래프이고, 도 9의(a)는 확률기반 회귀방법을 이용하여 혈류량을 예측한 그래프로, x축은 입력된 영상의 데이터의 순번을 의미하고, y축은 혈류량을 의미한다.
도 8의(a) 및 도 9의 (a)를 참조하면, 회귀방법만을 이용하여 혈류량을 예측한 도 8의 (a) 및 확률기반 회귀방법을 이용하여 혈류량을 예측하는 도 9의 (a)를 비교하는 경우, 실측자료(gt)에 대해 예측 데이터(pred_value)가 나타내는 차이가 확률기반 회귀방법을 이용하여 혈류량을 예측하는 경우가 더 작게 나타남을 확인할 수 있다.
도 8의 (b)는 회귀방법만을 이용하여 산소포화도를 예측한 그래프이고, 도 9의 (b)는 확률기반 회귀방법을 이용하여 혈류량을 예측한 그래프로, x축은 입력된 영상의 데이터의 스펙트럼 밴드를 의미하고, y축은 산소포화도를 의미한다.
도 8의 (b) 및 도 9의 (b)를 참조하면, 회귀방법만을 이용하여 산소포화도를 예측한 도 8의 (b) 및 확률기반 회귀방법을 이용하여 혈류량을 예측하는 도 9의 (b)를 비교하는 경우, 실측자료(gt)에 대해 예측 데이터(pred_value)가 나타내는 차이가 확률기반 회귀방법을 이용하여 산소포화도를 예측하는 경우가 더 작게 나타남을 확인할 수 있다.
상술한 본 발명의 실시예 중 도 1 및 도 3의 데이터 수신부(1100), 관심영역 검출부(1200), 멜라닌, 피부두께 예측부(1300) 및 도 3의 산소포화도, 혈류량 예측부(1400)는 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
예를 들어, 도 1 및 도 3의 데이터 수신부(1100)는 3G, 4G, 5G, 6G, LTE망을 이용해 무선통신을 수행할 수 있는 통신 인터페이스 장치에 의해 구현될 수 있으며, 도 1 및 도 3의 관심영역 검출부(1200), 피부두께 예측부(1300) 및 도 3의 산소포화도, 혈류량 예측부(1400)는 ASICs(Application Specific Integrated Circuits), DSPs(Digital SignalProcessors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable LogicDevices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
이상에서는, 본 발명의 실시예에 따른 비접촉식 바이탈 사인 예측 장치 (1000)를 설명하였다. 이하에서는 본 발명의 일측면에 따른 상기 비접촉식 바이탈 사인 예측 장치(1000) 내 프로세서 동작에 의해 실행되는 비접촉식 바이탈 사인 예측 방법을 설명한다.
도 10은 본 발명의 다른 측면에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
도 1 및 도 10을 더 참조하면, 비접촉식 바이탈 사인 예측 장치(1000)는 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득할 수 있다(S1000).
이어서, 비접촉식 바이탈 사인 예측 장치(1000)는 피측정자의 영상으로부터 피측정가의 얼굴부위 중에서 적어도 하나의 관심영역을 검출할 수 있다(S1100).
또한, 비접촉식 바이탈 사인 예측 장치(1000)는 검출된 적어도 하나의 관심영역의 흡수계수를 연산할 수 있다(S1200).
비접촉식 바이탈 사인 예측 장치(1000)는 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 피측정자의 피부 두께 및 멜라닌을 예측할 수 있다(S1300).
아울러, 비접촉식 바이탈 사인 예측 방법은 비접촉식 바이탈 사인 예측 장치(1000)가 수행할 수 있는 비접촉식 바이탈 사인 예측 방법을 포함하고, 비접촉식 바이탈 사인 예측 방법에 대해 설명되지 않은 부분은, 전술한 비접촉식 바이탈 사인 예측 장치(1000)에 대해 설명된 부분을 원용하기로 한다.
도 11은 본 발명의 또 다른 실시예에 따른 비접촉식 바이탈 사인 예측 방법의 순서도이다.
도 3 및 도 11을 참조하면, 비접촉식 바이탈 사인 예측 장치(1000)는 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득할 수 있다(S2000).
비접촉식 바이탈 사인 예측 장치(1000)는 피측정자의 영상으로부터 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출할 수 있다(S2100).
이어서, 비접촉식 바이탈 사인 예측 장치(1000)는 검출된 적어도 하나의 관심영역의 흡수계수를 연산할 수 있다(S2200).
비접촉식 바이탈 사인 예측 장치(1000)는 적어도 하나의 관심영역의 흡수계수를 기학습된 제 1 인공신경망 모델에 입력하여 피측정자의 혈류량 및 산소포화도를 예측할 수 있다(S2300).
아울러, 비접촉식 바이탈 사인 예측 방법은 비접촉식 바이탈 사인 예측 장치(1000)가 수행할 수 있는 비접촉식 바이탈 사인 예측 방법을 포함하고, 비접촉식 바이탈 사인 예측 방법에 대해 설명되지 않은 부분은, 전술한 비접촉식 바이탈 사인 예측 장치(1000)에 대해 설명된 부분을 원용하기로 한다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 하이퍼 스펙트럴 영상
110 : 피측정자의 얼굴영역
111 : 피측정자의 관심영역
1000 : 비접촉식 바이탈 사인 예측 장치
1100 : 데이터 수신부
1200 : 관심영역 검출부
1300 : 멜라닌, 피부두께 예측부
1400 : 혈류량, 산소포화도 예측부
110 : 피측정자의 얼굴영역
111 : 피측정자의 관심영역
1000 : 비접촉식 바이탈 사인 예측 장치
1100 : 데이터 수신부
1200 : 관심영역 검출부
1300 : 멜라닌, 피부두께 예측부
1400 : 혈류량, 산소포화도 예측부
Claims (17)
- 하이퍼-스펙트럴(Hyper-spectral) 카메라로 촬영된 영상을 이용하는 바이탈 사인 예측 장치에 의해 수행되는 바이탈 사인 예측 방법에 있어서,
상기 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 단계;
상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하는 단계;
상기 검출된 적어도 하나의 관심영역의 흡수계수를 연산하는 단계; 및
상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 단계;
비접촉식 바이탈 사인 예측 방법. - 제 1 항에 있어서,
상기 적어도 하나의 관심영역은
상기 피측정자의 이마 영역, 눈 밑 영역 및 뺨 영역을 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 1 항에 있어서,
상기 적어도 하나의 관심영역을 검출하는 단계는,
객체 검출 알고리즘을 이용하여 상기 입력된 피측정자의 영상에서 얼굴 영역을 검출하는 단계; 및
상기 검출된 얼굴 영역 내에서 상기 객체 검출 알고리즘을 이용하여 상기 적어도 하나의 관심영역을 검출하는 단계를 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 3 항에 있어서,
상기 객체 검출 알고리즘은
YOLO(You Only Look Once) 객체 검출 알고리즘인
비접촉식 바이탈 사인 예측 방법. - 제 1 항에 있어서,
상기 제 1 인공신경망 모델은,
복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 피부두께 및 멜라닌을 레이블 데이터로서 이용하여 학습된 것인,
비접촉식 바이탈 사인 예측 방법. - 제 5 항에 있어서,
상기 제 1 인공신경망 모델은,
상기 학습 대상의 멜라닌 및 피부두께를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것인
비접촉식 바이탈 사인 예측 방법. - 하이퍼-스펙트럴(Hyper-spectral) 카메라로 촬영된 영상을 이용하는 바이탈 사인 예측 장치에 의해 수행되는 바이탈 사인 예측 방법에 있어서,
상기 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 단계;
상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하는 단계;
상기 적어도 하나의 관심영역의 흡수계수를 연산하는 단계;
상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계를 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 7 항에 있어서,
상기 제 1 인공신경망 모델은 제 2 인공신경망 모델 및 제 3 인공신경망 모델을 포함하고,
상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계는,
상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 2 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 단계; 및
상기 피측정자의 상기 적어도 하나의 관심영역의 흡수계수, 상기 예측된 피측정자의 피부 두께 및 멜라닌을 기 학습된 제 3 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 단계를 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 8 항에 있어서,
상기 제 2 인공신경망 모델은,
복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 피부두께 및 멜라닌을 레이블 데이터로서 이용하여 학습된 것이고,
상기 제 3 인공신경망 모델은,
상기 복수의 학습 대상의 학습용 영상 내의 상기 적어도 하나의 관심영역의 흡수계수, 복수의 학습 대상의 학습용 피부두께 및 멜라닌을 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상의 혈류량 및 산소포화도를 레이블 데이터로서 이용하여 학습된 것인,
비접촉식 바이탈 사인 예측 방법. - 제 9 항에 있어서,
상기 제 1 인공신경망 모델은,
상기 학습 대상의 멜라닌 및 피부두께를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것이고,
상기 제 2 인공신경망 모델은,
상기 학습 대상의 혈류량 및 산소포화도를 소정의 범위에 따라 복수의 클래스로 분류하고, 학습용 입력 데이터로서 입력된 상기 학습 대상의 흡수계수가 각 클래스에 포함될 확률 값을 혼합 가우시안 모델로 예측되도록 학습된 것인,
비접촉식 바이탈 사인 예측 방법. - 제 7 항에 있어서,
상기 적어도 하나의 관심영역은
상기 피측정자의 이마, 눈밑 및 뺨을 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 7 항에 있어서,
상기 적어도 하나의 관심영역을 검출하는 단계는
객체 검출 알고리즘을 이용하여 상기 입력된 피측정자의 영상에서 얼굴 영역을 검출하는 단계; 및
상기 검출된 얼굴 영역 내에서 상기 객체 검출 알고리즘을 이용하여 상기 적어도 하나의 관심영역을 검출하는 단계를 포함하는
비접촉식 바이탈 사인 예측 방법. - 제 12 항에 있어서,
상기 검출 알고리즘은
YOLO(You Only Look Once) 객체 검출 알고리즘인
비접촉식 바이탈 사인 예측 방법. - 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 수신부; 및
상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하며, 상기 검출된 적어도 하나의 관심영역의 흡수계수를 연산하고, 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하는 제어부를 포함하는
비접촉식 바이탈 사인 예측 장치. - 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하는 수신부; 및
상기 하이퍼-스펙트럴 카메라로 촬영된 피측정자의 영상을 획득하고 상기 피측정자의 영상으로부터 상기 피측정자의 얼굴부위 중에서 적어도 하나의 관심영역을 검출하며, 상기 적어도 하나의 관심영역의 흡수계수를 연산하고 상기 적어도 하나의 관심영역의 흡수계수를 기 학습된 제 1 인공신경망 모델에 입력하여, 상기 피측정자의 피부 두께 및 멜라닌을 예측하며 상기 피측정자의 상기 적어도 하나의 관심영역의 흡수계수, 상기 예측된 피측정자의 피부 두께 및 멜라닌을 기 학습된 제 2 인공신경망 모델에 입력하여, 상기 피측정자의 혈류량 및 산소포화도를 예측하는 제어부를 포함하는
비접촉식 바이탈 사인 예측 장치. - 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램. - 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체로서
상기 컴퓨터 프로그램은,
제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210016982 | 2021-02-05 | ||
| KR1020210016982 | 2021-02-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220113298A true KR20220113298A (ko) | 2022-08-12 |
Family
ID=82803794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220015408A KR20220113298A (ko) | 2021-02-05 | 2022-02-07 | 하이퍼 스펙트럴 카메라를 이용한 비접촉식 바이탈 사인 예측 방법, 비접촉식 바이탈 사인 예측 장치, 예측 방법을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220113298A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178437A1 (en) * | 2022-03-25 | 2023-09-28 | Nuralogix Corporation | System and method for contactless predictions of vital signs, health risks, cardiovascular disease risk and hydration from raw videos |
-
2022
- 2022-02-07 KR KR1020220015408A patent/KR20220113298A/ko not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178437A1 (en) * | 2022-03-25 | 2023-09-28 | Nuralogix Corporation | System and method for contactless predictions of vital signs, health risks, cardiovascular disease risk and hydration from raw videos |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11337643B2 (en) | Machine learning systems and techniques for multispectral amputation site analysis | |
| US10874310B2 (en) | Methods and apparatus for physiological measurement using color band photoplethysmographic sensor | |
| Sanyal et al. | Algorithms for monitoring heart rate and respiratory rate from the video of a user’s face | |
| US10765350B2 (en) | Noninvasive method for estimating glucose blood constituents | |
| De Haan et al. | Improved motion robustness of remote-PPG by using the blood volume pulse signature | |
| CN108604376B (zh) | 用于搏动性检测的设备、系统和方法 | |
| US20160317041A1 (en) | System and methods for measuring physiological parameters | |
| US20230233091A1 (en) | Systems and Methods for Measuring Vital Signs Using Multimodal Health Sensing Platforms | |
| US20180096119A1 (en) | Biometric information acquisition method and device for same | |
| CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
| Park et al. | Remote pulse rate measurement from near-infrared videos | |
| KR20220113298A (ko) | 하이퍼 스펙트럴 카메라를 이용한 비접촉식 바이탈 사인 예측 방법, 비접촉식 바이탈 사인 예측 장치, 예측 방법을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록 매체 | |
| Gupta et al. | A motion and illumination resistant non-contact method using undercomplete independent component analysis and Levenberg-Marquardt algorithm | |
| Das et al. | Non-invasive haemoglobin prediction using nail color features: An approach of dimensionality reduction | |
| TWI652040B (zh) | 非接觸式活體辨識方法 | |
| CN104887246A (zh) | 血氧测量方法和血氧测量装置 | |
| Jaiswal et al. | Color space analysis for improvement in rPPG | |
| Hani et al. | Detection and classification of granulation tissue in chronic ulcers | |
| Zhu et al. | Non-contact heart rate measurement with optimization of variational modal decomposition algorithm | |
| Hani et al. | Assessment of chronic ulcers using digital imaging | |
| Kim et al. | The non-contact biometric identified bio signal measurement sensor and algorithms | |
| Sheng et al. | An improved approach to the performance of remote photoplethysmography | |
| Monika et al. | Remote Photoplethysmography: Digital Disruption in Health Vital Acquisition | |
| Kowshik et al. | Precise and Prompt Identification of Jaundice in Infants using AI | |
| Islam et al. | Extracting heart rate variability: a summary of camera based Photoplethysmograph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |