KR102588481B1 - 산소포화도 추정 방법 및 장치 - Google Patents

산소포화도 추정 방법 및 장치 Download PDF

Info

Publication number
KR102588481B1
KR102588481B1 KR1020230038219A KR20230038219A KR102588481B1 KR 102588481 B1 KR102588481 B1 KR 102588481B1 KR 1020230038219 A KR1020230038219 A KR 1020230038219A KR 20230038219 A KR20230038219 A KR 20230038219A KR 102588481 B1 KR102588481 B1 KR 102588481B1
Authority
KR
South Korea
Prior art keywords
channel signal
oxygen saturation
hsv
heart rate
skin image
Prior art date
Application number
KR1020230038219A
Other languages
English (en)
Inventor
이의철
김승현
성현아
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020230038219A priority Critical patent/KR102588481B1/ko
Application granted granted Critical
Publication of KR102588481B1 publication Critical patent/KR102588481B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 개시는 원격 광용적맥파신호 및 HSV 색공간 변환을 이용하여, 산소포화도를 추정하는 방법 및 장치를 제공한다. 본 개시의 일 실시예에 따른 방법은, 피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득하는 단계; 상기 RGB 채널 신호에 기초하여 상기 피검사자의 추정 심박수를 결정하는 단계; 상기 RGB 채널 신호를 HSV 색공간으로 변환함으로써 상기 제1 피부 영상에 대응하는 HSV 채널 신호를 생성하는 단계; 및 상기 추정 심박수 및 상기 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 상기 딥러닝 모델로부터 상기 피검사자의 산소포화도를 획득하는 단계;를 포함할 수 있다.

Description

산소포화도 추정 방법 및 장치{Method and Apparatus for Estimating Oxygen Saturation}
본 개시는 산소포화도 추정 방법 및 장치에 관한 것이다. 보다 자세하게는, 원격 광용적맥파신호 및 HSV 색공간 변환을 이용하여, 산소포화도를 추정하는 방법 및 장치에 관한 것이다.
영상기술의 발달에 따라 높은 프레임레이트(frame rate)의 영상을 얻을 수 있게 되면서, 원격 광혈류측정(remote PPG) 방식으로 영상에 포함된 피검사자의 맥박을 추정하는 방법이 공개되어 다양하게 활용되고 있다.
원격 광혈류측정으로 얻은 원격 광용적맥파신호(remote PPG signal)를 이용하는 방법은, 영상 촬영 장치 외에 별도의 장비를 요구하지 않기 때문에 다른 생체 정보 측정 방법에 비해 편리하고 경제적으로 피검사자의 생체 정보를 얻을 수 있다.
한편, RGB 피부 영상에 기반한 산소포화도 추정하는 다양한 모델들이 존재하였으나, 각각의 채널 신호를 수학적으로 연산하여 산소포화도를 도출하는 모델이 대부분이었으며, 딥러닝 모델을 활용하여 RGB 피부 영상의 잠재특징을 이용하는 산소포화도 추정 모델은 주로 활용되지 않았다.
이에, RGB 피부 영상으로부터 산출된 원격 광용적맥파신호 및 RGB 피부 영상의 색공간 변환을 통해 산출된 HSV 채널 신호를 이용함으로써 별도의 장비를 요하지 않는 비침습적 산소포화도 추정 기술이 필요한 실정이다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
(특허문헌 1) 대한민국 등록특허공보 제10-2482796호(2022.12.29.)
(특허문헌 2) 대한민국 등록특허공보 제10-2018853호(2019.08.30.)
본 개시는 원격 광용적맥파신호 및 HSV 색공간 변환을 이용하여, 산소포화도를 추정하는 방법 및 장치를 제공한다. 본 개시가 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 개시가 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득하는 단계; 상기 RGB 채널 신호에 기초하여 상기 피검사자의 추정 심박수를 결정하는 단계; 상기 RGB 채널 신호를 HSV 색공간으로 변환함으로써 상기 제1 피부 영상에 대응하는 HSV 채널 신호를 생성하는 단계; 및 상기 추정 심박수 및 상기 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 상기 딥러닝 모델로부터 상기 피검사자의 산소포화도를 획득하는 단계;를 포함하는, 산소포화도 추정 방법을 제공할 수 있다.
본 개시의 제2 측면은, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 동작하는 프로세서;를 포함하고, 상기 프로세서는, 피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득하고, 상기 RGB 채널 신호에 기초하여 상기 피검사자의 추정 심박수를 결정하고, 상기 RGB 채널 신호를 HSV 색공간으로 변환함으로써 상기 제1 피부 영상에 대응하는 HSV 채널 신호를 생성하고, 상기 추정 심박수 및 상기 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 상기 딥러닝 모델로부터 상기 피검사자의 산소포화도를 획득하는, 산소포화도 추정 장치를 제공할 수 있다.
본 개시의 제3 측면은, 본 개시의 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
전술한 본 개시의 과제 해결 수단에 의하면, 고가의 장비 없이 RGB 채널의 피부 영상을 이용하여 산소포화도를 추정함으로써, 검사자 및 피검사자에 편의를 제공할 수 있다.
또한, 본 개시의 다른 과제 해결 수단에 의하면, 비침습적으로 산소포화도를 측정할 수 있고, 이를 통해 피검사자가 건강 상태를 확인하도록 할 수 있다.
또한, 본 개시의 다른 과제 해결 수단에 의하면, 피검사자에게 쉽고 지속적인 산소포화도 모니터링을 가능하게 함으로써, 건강 상태에 이상이 발생할 경우 빠르게 대응하도록 할 수 있다.
도 1은 사용자 단말 및 산소포화도 추정 장치를 포함하는 시스템의 일 예를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 산소포화도 추정 방법의 흐름도이다.
도 3은 피부 영상에 기초하여 산소포화도를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 RGB 채널 신호에 기초하여 딥러닝 모델의 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 심박수 및 HSV 채널 신호를 입력으로 수신하여 산소포화도를 출력하는 딥러닝 모델을 설명하기 위한 도면이다.
도 6은 제1 피부 영상에 대응하는 V(Value) 채널 신호에 기초하여 제2 피부 영상을 획득하는 방법을 설명하기 위한 순서도이다.
도 7은 본 개시의 일 실시예에 따른 산소포화도 추정 장치의 블록도이다.
본 개시는 다양하게 변환하여 실시할 수 있고, 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 기재한다. 본 개시의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하여 명확해질 것이다.
그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성요소를 다른 구성요소와 구별하는 목적으로 사용되었다. 예컨대, 본 개시의 권리 범위를 벗어나지 않으면서 먼저 서술한 제1 구성요소는 그 뒤에 제2 구성요소로 서술되는 경우가 있을 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 서술될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 편의를 위하여 임의로 나타낸 것으로, 본 개시는 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때, 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 사용자 단말 및 산소포화도 추정 장치를 포함하는 시스템의 일 예를 나타내는 도면이다.
일 실시예에 따른 시스템은, 사용자 단말(110) 및 산소포화도 추정 장치(120)를 포함할 수 있다. 도 1에 도시된 사용자 단말(110)은 피검사자의 단말이거나, 피검사자의 산소포화도 정보를 요청하는 검사자 내지 관리자의 단말일 수 있으나, 이에 한정되지 않는다. 도 1에 도시된 산소포화도 추정 장치(120)는 도 7에 도시된 산소포화도 추정 장치(700)와 동일할 수 있다.
사용자 단말(110)은 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, 랩톱, 키오스크, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 디바이스일 수 있다. 또한, 사용자 단말(110)은 통신 기능 및 데이터 프로세싱 기능을 구비한 안경, 헤어 밴드 등의 웨어러블 디바이스일 수 있다. 사용자 단말(110)은 네트워크를 통해 다른 장치와 통신을 수행할 수 있는 모든 종류의 디바이스를 포함할 수 있다.
산소포화도 추정 장치(120)는, 피검사자의 산소포화도 정보를 생성하여 제공 또는 이용하는 서비스를 제공할 수 있는 웹 및/또는 앱을 관리하는 모든 종류의 서버를 의미할 수 있으며, 각종 관리 플랫폼의 홈페이지 등을 관리하는 서버를 의미할 수 있으나, 이에 제한되지 않는다.
사용자 단말(110) 및 산소포화도 추정 장치(120)는 네트워크를 통하여 서로 간에 통신하거나, 다른 노드와 통신할 수 있다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 도 1에 도시된 각 구성들(110, 120)이 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 또한, 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra-wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 사용자 단말(110)은 네트워크를 이용하여 산소포화도 추정 장치(120)에 산소포화도 정보 요청 신호를 송신할 수 있다. 산소포화도 추정 장치(120)는 생성된 산소포화도 정보를 네트워크를 이용하여 사용자 단말(110)에 송신할 수 있다. 다른 실시예에 따르면, 사용자 단말(110)은 피검사자의 피부 영상에 기초하여 생성된 RGB 채널 신호를 산소포화도 추정 장치(120)에 송신할 수 있다. 이때, 피검사자의 피부 영상은 사용자 단말(110)에 내장된 카메라 또는 외부의 카메라에 의해 촬영된 영상일 수 있다.
도 2는 본 개시의 일 실시예에 따른 산소포화도 추정 방법의 흐름도이다.
도 2를 참조하면, 단계 210에서, 산소포화도 추정 장치(120)는 피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득할 수 있다. 이때, 제1 피부 영상은, 사용자 단말(110)에 내장된 카메라 및 광원을 이용하여 촬영된 영상을 포함할 수 있다.
단계 220에서, 산소포화도 추정 장치(120)는 RGB 채널 신호에 기초하여 피검사자의 추정 심박수를 결정할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(120)는 RGB 채널 신호에 기초하여 제1 피부 영상에 대응하는 원격 광용적맥파신호를 산출하고, 원격 광용적맥파신호에 기초하여 추정 심박수를 결정할 수 있다.
단계 230에서, 산소포화도 추정 장치(120)는 RGB 채널 신호를 HSV 색공간으로 변환함으로써 제1 피부 영상에 대응하는 HSV 채널 신호를 생성할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(120)는 RGB 채널 신호에 밴드패스 필터링(Bandpass-filtering)을 수행함으로써 가공 신호를 생성할 수 있고, 가공 신호를 HSV 색공간으로 변환함으로써 HSV 채널 신호를 획득할 수 있다.
가공 신호를 생성하는 선택적 일 실시예로서, 산소포화도 추정 장치(120)는 추정 심박수를 포함하는 소정의 주파수 범위를 설정하고, RGB 채널 신호에서 소정의 주파수 범위 내의 신호만을 통과시킴으로써 가공 신호를 생성할 수 있다.
단계 240에서, 산소포화도 추정 장치(120)는 추정 심박수 및 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 딥러닝 모델로부터 피검사자의 산소포화도를 획득할 수 있다.
이때, 딥러닝 모델은, 추정 심박수 및 HSV 채널 신호를 입력으로 수신하여 특징 벡터를 추출하는 특징 추출 모델 및 특징 벡터를 입력으로 수신하여 피검사자의 산소포화도를 추론하는 산소포화도 추론 모델을 포함할 수 있다.
산소포화도 추정 장치(120)는 사람의 심박수, 사람의 피부 영상에 대한 HSV 채널 신호 및 사람의 산소포화도를 학습데이터로 이용하여, 사람의 심박수 및 사람의 피부 영상에 대한 HSV 채널 신호의 잠재 특징을 특징 벡터로 출력하도록 특징 추출 모델을 학습할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(120)는 HSV 채널 신호에 포함된 V 채널 신호에 기초하여 설정된 소정의 조건이 만족되는 경우, 제1 피부 영상에 대한 RGB 채널 신호 이후에 획득된 피검사자의 제2 피부 영상에 기초하여 산소포화도를 획득할 수 있다. 이때, 소정의 조건은, V 채널 신호의 순간 변화율이 기설정된 임계값을 초과하는 경우를 포함할 수 있다.
도 3은 피부 영상에 기초하여 산소포화도를 획득하는 방법을 설명하기 위한 도면이다. 한편, 도 3에 도시된 산소포화도 추정 장치(330)는 도 1에 도시된 산소포화도 추정 장치(120)에 대응될 수 있다.
도 3을 참조하면, 산소포화도 추정 장치(330)는 피검사자의 제1 피부 영상(310)에 대한 RGB 채널 신호(320)를 획득할 수 있다. 일 실시예에 따르면, 산소포화도 추정 장치(330)는 외부 장치로부터 제1 피부 영상(310) 또는 RGB 채널 신호(320)를 획득할 수 있다. 이때, 외부 장치는 사용자 단말(110)을 포함할 수 있다.
일 실시예에 따른 제1 피부 영상(310)은 피검사자의 신체 부위 중 적어도 하나를 포함하는 영상일 수 있다. 예를 들어, 제1 피부 영상(310)은 피검사자의 얼굴, 팔, 다리, 손, 발, 손가락 등의 신체 부위 중 적어도 하나를 촬영한 영상을 포함할 수 있다.
일 실시예에 따른 피검사자의 제1 피부 영상(310)은, 사용자 단말(110)에 내장된 카메라 및 광원을 이용하여 촬영된 영상일 수 있다. 예를 들어, 제1 피부 영상(310)은 피검사자의 스마트폰에 내장된 카메라 및 광원을 이용하여 촬영된 영상일 수 있다. 이때, 제1 피부 영상(310)은 RGB 채널에 기초하여 영상 데이터를 생성하는 적어도 하나의 카메라를 이용하여 촬영된 영상을 포함할 수 있다.
한편, 일 실시예에 따르면, 산소포화도 추정 장치(330)는 제1 피부 영상(310)을 사용자 단말(110)로부터 획득하고, 제1 피부 영상(310)에서 RGB 채널 신호(320)를 추출할 수 있다. 다른 실시예에 따르면, 산소포화도 추정 장치(330)는 Red 채널 신호, Green 채널 신호 및 Blue 채널 신호를 포함하는 RGB 채널 신호(320)를 사용자 단말(110)로부터 획득할 수 있다. 그러나, 산소포화도 추정 장치(330)가 RGB 채널 신호(320)를 획득하는 방법은 이에 제한되지 않는다.
산소포화도 추정 장치(330)는 네트워크를 통한 통신을 이용함으로써 외부 장치로부터 RGB 채널 신호(320)를 획득할 수 있다. 산소포화도 추정 장치(330)는 획득된 RGB 채널 신호(320)에 기초하여 산소포화도(340)를 추정할 수 있다. 이때, 산소포화도 추정 장치(330)는 딥러닝 모델을 이용하여 산소포화도(340)를 추정할 수 있다.
피검사자를 포함한 사용자는, 사용자가 소지한 사용자 단말(110)을 이용하여 제1 피부 영상(310) 또는 RGB 채널 신호(320)를 포함하는 산소포화도 추정 장치(110)의 입력 신호를 생성할 수 있다. 따라서 고가의 의료 장비 없이 산소포화도(340) 추정이 가능하게 되며, 별도의 장치를 신체에 부착하는 불편이나 검사 장소로 이동할 불편 없이 산소포화도 정보 생성이 가능하게 된다.
도 4는 RGB 채널 신호에 기초하여 딥러닝 모델의 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다. 도 4에 도시된 RGB 채널 신호(410)는 도 3에 도시된 RGB 채널 신호(320)에 대응될 수 있다.
도 4를 참조하면, 산소포화도 추정 장치(330)는 획득된 RGB 채널 신호(410)에 기초하여 추정 심박수(422) 및 HSV 채널 신호(432)를 생성하고, 생성된 추정 심박수(422) 및 HSV 채널 신호(432)를 딥러닝 모델(440)에 입력할 수 있다.
산소포화도 추정 장치(330)는 RGB 채널 신호(410)에 기초하여 피검사자의 추정 심박수(422)를 결정할 수 있다. 일 실시예에 따르면, 산소포화도 추정 장치(330)는 RGB 채널 신호(410)에 기초하여 제1 피부 영상에 대응하는 원격 광용적맥파신호(421)를 산출하고, 산출된 원격 광용적맥파신호(421)에 기초하여 추정 심박수(422)를 결정할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 RGB 채널의 신호(410)를 YCbCr 색공간으로 변환하고, Cb 및 Cr 성분을 추출하고, 추출된 성분들에서 노이즈를 제거함으로써 원격 광용적맥파신호(421)를 산출할 수 있다. 이때, 산소포화도 추정 장치(330)는 밴드 패스 필터링(Bandpass-filtering) 등의 신호 처리 기법 중 적어도 하나의 기법을 이용하여 노이즈를 제거할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 원격 광용적맥파신호(421)에 기초하여 추정 심박수(422)를 결정함으로써, 피검사자의 산소포화도에 대하여 심박수가 가지는 잠재 특징을 활용할 수 있다.
산소포화도 추정 장치(330)는 RGB 채널 신호(410)를 HSV 색공간으로 변환함으로써 제1 피부 영상에 대응되는 HSV 채널 신호(432)를 생성할 수 있다. HSV 채널 신호(432)는 Hue 채널 신호, Saturation 채널 신호 및 Value 채널 신호를 포함할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 RGB 채널 신호(410)에 밴드패스 필터링(Bandpass-filtering)을 수행함으로써 가공 신호(431)를 생성할 수 있고, 가공 신호(431)를 HSV 색공간으로 변환함으로써 HSV 채널 신호(432)를 획득할 수 있다.
가공 신호(431)를 생성하는 선택적 일 실시예로서, 산소포화도 추정 장치(330)는 추정 심박수(422)를 포함하는 소정의 주파수 범위를 설정하고, RGB 채널 신호(410)에서 소정의 주파수 범위 내의 신호만을 통과시킴으로써 가공 신호(431)를 생성할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 추정 심박수(422)를 중심으로 가지는 소정의 주파수 범위를 설정할 수 있다. 예를 들어, 산소포화도 추정 장치(330)는 추정 심박수(422)보다 0.1 헤르츠 작은 값을 최소값으로, 추정 심박수(422)보다 0.1 헤르츠 큰 값을 최대값으로 가지는 소정의 주파수 범위를 설정하고, 소정의 주파수 범위 내의 신호만을 통과시킴으로써 가공 신호(431)를 생성할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 HSV 채널 신호(432)를 이용함으로써, 피검사자의 산소포화도에 대하여 HSV 채널 신호(432)가 가지는 잠재 특징을 활용할 수 있다.
예를 들어, H(Hue) 채널 신호 및 S(Saturation) 채널 신호는 각각 혈액의 색상 및 채도를 나타낼 수 있으며, 산소포화도에 관련된 잠재 특징을 포함할 수 있다. 또한 V(Value) 채널 신호는 명도를 나타낼 수 있으며, 산소포화도와 관련된 잠재 특징을 피검사자의 호흡률과 관련하여 포함할 수 있다.
한편, 산소포화도는 호흡률과 상관 관계를 가질 수 있으며, 호흡률은 체내의 산소 및 이산화탄소를 받아들이고 배출하는 속도에 관련될 수 있다. 다만, 호흡률은 호흡의 깊이 및 호흡의 규칙성 등 여러 관련 변수의 영향을 받을 수 있는 바, 산소포화도에 대한 호흡률의 잠재 특징을 이용할 필요성이 존재한다.
이와 관련하여, 피검사자 피부 영상의 밝기 성분에 기초하여 원격 광용적맥파신호가 산출될 수 있고, 상기 산출된 원격 광용적맥파신호에 기초하여 호흡률을 추론할 경우 접촉식 호흡 측정 센서를 이용하여 호흡률을 측정하는 것과 유사한 결과를 얻을 수 있다. 이때 상기 밝기 성분은 YCgCr 색공간에 있어서 Y 채널 신호 또는 HSV 색공간에 있어서 V 채널 신호를 포함할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 H 채널 신호와 S 채널 신호에 포함된 잠재 특징 및 V 채널 신호에 포함된 잠재 특징을 이용할 수 있으며, 이때 V 채널 신호에 포함된 잠재 특징은 피검사자의 호흡률이 피검사자의 산소포화도에 대하여 가지는 잠재 특징을 포함할 수 있다.
산소포화도 추정 장치(330)는 생성된 추정 심박수(422) 및 HSV 채널 신호(432)를 딥러닝 모델(440)에 입력할 수 있다. 딥러닝 모델(440)은 산소포화도 추정 장치(330)의 일부를 구성하거나, 산소포화도 추정 장치(330)와 네트워크를 통한 통신을 이용하여 정보를 주고받는 외부 장치를 구성할 수 있다.
도 5는 일 실시예에 따라 심박수 및 HSV 채널 신호를 입력으로 수신하여 산소포화도를 출력하는 딥러닝 모델을 설명하기 위한 도면이다. 도 5에 도시된 추정 심박수(501), HSV 채널 신호(502) 및 딥러닝 모델(500)은 도 4에 도시된 추정 심박수(422), HSV 채널 신호(432) 및 딥러닝 모델(440)에 각각 대응될 수 있다.
산소포화도 추정 장치(330)는 추정 심박수(501) 및 HSV 채널 신호(502)를 기학습된 딥러닝 모델(500)에 입력하고, 딥러닝 모델(500)로부터 피검사자의 산소포화도(504)를 획득할 수 있다.
딥러닝 모델(500)은, 추정 심박수(501) 및 HSV 채널 신호(502)를 입력으로 수신하여 특징 벡터(503)를 추출하는 특징 추출 모델(510) 및 특징 벡터(503)를 입력으로 수신하여 피검사자의 산소포화도(504)를 추론하는 산소포화도 추론 모델(520)을 포함할 수 있다.
특징 추출 모델(510)은 구조적으로 적어도 하나의 레이어를 포함하는 인공 신경망 모델을 포함할 수 있으며, 입력 레이어(input layer), 히든 레이어(hidden layer) 및 출력 레이어(output layer)를 포함하는 인공 신경망 모델을 포함할 수 있다. 일 실시예에 따른 특징 추출 모델(510)은 ANN(Artificial Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network) 등과 같은 알고리즘을 포함할 수 있다.
산소포화도 추정 장치(330)는 사람의 심박수, 사람의 피부 영상에 대한 HSV 채널 신호 및 사람의 산소포화도를 학습데이터로 이용하여, 사람의 심박수 및 사람의 피부 영상에 대한 HSV 채널 신호의 잠재 특징을 특징 벡터로 출력하도록 특징 추출 모델(510)을 학습할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 특징 추출 모델(510) 및 산소포화도 추론 모델(520)로 구성된 딥러닝 모델(500)을 이용하여, 추정 심박수(501) 또는 HSV 채널 신호(502)에 포함된 잠재 특징을 특징 벡터(503)로서 추출할 수 있도록 특징 추출 모델(510)을 학습할 수 있다.
일 실시예에 따른 딥러닝 모델(500)은 인코더 및 디코더로 구성된 인공 신경망 기반 모델을 포함할 수 있다. 예를 들어, 딥러닝 모델(500)은 오토인코더(autoencoder), U-Net 등의 인코더-디코더 모델을 포함할 수 있다. 이때, 인코더는 특징 추출 모델(510)에 대응되고, 디코더는 산소포화도 추론 모델(520)에 대응될 수 있다.
일 실시예에 따른 특징 추출 모델(510)은, 인공 신경망 구조를 가지는 인코더 모델일 수 있다. 이때, 산소포화도 추정 장치(330)는, 학습 데이터에 포함된 심박수 및 학습 데이터에 포함된 HSV 채널 신호를 특징 추출 모델(510) 및 산소포화도 추론 모델(520)로 구성된 딥러닝 모델(500)에 입력하여 산소포화도(504)를 획득할 수 있고, 획득된 산소포화도(504) 및 학습 데이터에 포함된 산소포화도의 차이에 기초하여 특징 추출 모델(510) 및/또는 산소포화도 추론 모델(520)의 파라미터를 교정할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 획득된 산소포화도(504)와 학습 데이터로서 입력되었던 산소포화도를 소정의 손실함수로 연산하여 손실 값을 계산할 수 있다. 산소포화도 추정 장치(330)는 계산된 손실 값에 기초하여 특징 추출 모델(510) 및/또는 산소포화도 추론 모델(520)의 파라미터를 교정할 수 있다.
일 실시예에 따르면, 산소포화도 추론 모델(330)은 상기 손실 값을 바탕으로 역전파를 진행하여 특징 추출 모델(510) 및/또는 산소포화도 추론 모델(520)의 파라미터들을 교정할 수 있다. 예를 들어, 산소포화도 추정 장치(330)는 역전파를 진행하여 손실 값을 줄이는 방향으로 특징 추출 모델(510) 및/또는 산소포화도 추론 모델(520)의 파라미터들을 교정할 수 있다.
산소포화도 추정 장치(330)는 교정된 파라미터들에 기초하여, 순전파 및 역전파를 적어도 1회 이상 수행할 수 있다. 일 실시예에 따르면, 산소포화도 추정 장치(330)는 기 설정된 횟수만큼 순전파 및 역전파를 반복할 수 있다. 또는, 계산된 손실 값이 기 설정된 오차범위보다 작아질 때까지 순전파 및 역전파를 반복할 수 있다.
특징 벡터(503)는 산소포화도(504)와 관련하여 추정 심박수(501) 및 HSV 채널 신호(502)에 잠재된 특징이 벡터로서 표현된 것일 수 있다.
예를 들어, 특징 벡터(503)는 V 채널 신호에 포함된 피검사자의 호흡 정보가 피검사자의 산소포화도에 대하여 가지는 잠재 특징을 특징 벡터(503)의 일부로써 표현할 수 있다. 이때, 호흡 정보는 피검사자의 호흡률, 호흡 깊이 및 호흡 규칙성 중 적어도 하나를 포함할 수 있다.
특징 벡터(503)는 사용자에 의해 기 설정된 차원을 갖는 벡터를 포함할 수 있으며, 특징 벡터 차원의 수는 연산에 필요한 자원, 산소포화도 추정에 필요한 신뢰도 등에 기반하여 설정될 수 있다. 일 실시예에 따르면, 산소포화도 추정 장치(330)는 추정 심박수(501) 및 HSV 채널 신호(502)를 특징 추출 모델(510)에 입력하여, 연산량, 연산에 필요한 자원, 추정 신뢰도 중 적어도 하나에 기반하여 설정된 차원 수를 갖는 특징 벡터(503)를 추출할 수 있다.
산소포화도 추정 장치(330)는, 특징 벡터(503)를 산소포화도 추론 모델(520)에 입력하여 피검사자의 산소포화도(504)를 획득할 수 있다. 산소포화도 추론 모델(520)은 특징 벡터(503)를 입력으로 수신하여, 산소포화도(504)를 추론하여 출력하는 인공 신경망 모델을 포함할 수 있다.
산소포화도 추론 모델(520)은 구조적으로 적어도 하나의 레이어를 포함하는 인공 신경망 모델을 포함할 수 있으며, 입력 레이어(input layer), 히든 레이어(hidden layer) 및 출력 레이어(output layer)를 포함하는 인공 신경망 모델을 포함할 수 있다. 일 실시예에 따른 산소포화도 추론 모델(520)은 ANN(Artificial Neural Network), FCN(Fully Connected Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network) 등과 같은 알고리즘을 포함할 수 있다.
산소포화도 추론 모델(520)은, 선형 회귀(linear regression), 비선형 회귀(non-linear regression). 로지스틱 회귀(logistic regression) 기법 등 다양한 딥러닝 기법 중 적어도 하나를 이용하여 학습된 인공 신경망 모델을 포함할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는, 특징 벡터(503)를 산소포화도 추론 모델(520)에 입력하여 피검사자의 산소포화도(504)를 획득할 수 있다. 이때, 산소포화도 추론 모델(520)은, 사람의 심박수, 사람의 피부 영상에 대한 HSV 채널 신호 및 사람의 산소포화도를 학습 데이터로 이용하여 학습된 인공 신경망 모델을 포함할 수 있다. 그러나, 산소포화도 추론 모델(520)의 학습 방법은 이에 제한되지 않는다.
일 실시예에 따르면, 특징 추출 모델(510) 및 산소포화도 추론 모델(520)은 U-Net 구조에 기반하여 구현될 수 있다. 이때, 산소포화도 추정 장치(330)는 특징 추출 모델(510)에서 추출된 입력 데이터의 특징과 산소포화도 추론 모델(520)의 얕은 레이어의 특징맵을 결합함으로써, 입력 데이터의 특징을 보완할 수 있게 되는 바, 비교적 적은 학습데이터로 학습된 경우에도 정확도 높은 출력을 획득할 수 있다.
도 6은 제1 피부 영상에 대응하는 V(Value) 채널 신호에 기초하여 제2 피부 영상을 획득하는 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 단계 610에서, 산소포화도 추정 장치(330)는 제1 피부 영상에 기초하여 제1 HSV 채널 신호를 획득할 수 있다. 이때, 제1 HSV 채널 신호는 제1 피부 영상에 대응하는 RGB 채널 신호에 기초하여 생성된 제1 H(Hue) 채널 신호, 제1 S(Saturation) 채널 신호 및 제1 V(Value) 채널 신호를 포함할 수 있다.
일 실시예에 따르면, 산소포화도 추정 장치(330)는 V 채널 신호를 이용하여 특징 추출 모델의 입력을 구성할 수 있고, 또한 V 채널 신호를 이용하여 추정 심박수 또는 HSV 채널 신호를 포함하는 입력 신호의 적절성 여부를 판단할 수 있다.
예를 들어, 산소포화도 추정 장치(330)는 제1 피부 영상의 밝기 성분을 나타내는 제1 V 채널 신호에 기초하여, 제1 피부 영상에 산소포화도 측정에 부적절한 움직임이 포함되는지 여부 또는 부적절한 조명 변화가 포함되는지 여부를 판단할 수 있다.
단계 620에서, 산소포화도 추정 장치(330)는 V 채널 신호에 기초하여 설정된 소정의 조건이 만족되는지 여부를 판단할 수 있다. 일 실시예에 따르면, 소정의 조건은 피검사자의 피부 영상을 다시 획득할 조건을 포함할 수 있다. 이때, 소정의 조건은, V 채널 신호의 순간 변화율이 기설정된 임계값을 초과하는 경우를 포함할 수 있다.
예를 들어, 산소포화도 추정 장치(330)는 제1 피부 영상에 대응하는 제1 HSV 채널 신호를 획득하고, 제1 V 채널 신호의 순간 변화율이 기설정된 임계값을 초과하는지 여부를 판단할 수 있다.
단계 631에서, HSV 채널 신호에 포함된 V 채널 신호에 기초하여 설정된 소정의 조건이 만족되지 않는 경우, 산소포화도 추정 장치(330)는 제1 추정 심박수 및 제1 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 딥러닝 모델로부터 피검사자의 산소포화도를 획득할 수 있다.
즉, 산소포화도 추정 장치(330)는 V 채널 신호에 기초하여 설정된 소정의 조건을 이용함으로써, 추정 심박수 및 HSV 채널 신호를 포함하는 입력 신호의 적절성이 인정되는 경우에만 입력 신호를 특징 추출 모델에 입력할 수 있다.
단계 630에서, 산소포화도 추정 장치(330)는 HSV 채널 신호에 포함된 V 채널 신호에 기초하여 설정된 소정의 조건이 만족되는 경우, 제2 피부 영상에 기초하여 제2 추정 심박수 및 제2 HSV 채널 신호를 획득할 수 있다.
제2 피부 영상은 피검사자의 피부 영상으로서, 제1 피부 영상과 상이한 영상을 포함할 수 있다. 일 실시예에 따르면, 제2 피부 영상은 제1 피부 영상에 대한 RGB 채널 신호 이후에 획득될 수 있다.
단계 640에서, 산소포화도 추정 장치(330)는 제2 추정 심박수 및 제2 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 딥러닝 모델로부터 피검사자의 산소포화도를 획득할 수 있다. 즉, 산소포화도 추정 장치(330)는 제1 피부 영상에 기초한 제1 V 채널 신호를 통해 입력 신호의 적절성을 판단하고, 적절성이 인정되지 않는 경우, 제1 피부 영상에 대한 RGB 채널 신호 이후에 획득된 피검사자의 제2 피부 영상에 기초하여 산소포화도를 획득할 수 있다.
도 7은 본 개시의 일 실시예에 따른 산소포화도 추정 장치의 블록도이다. 한편, 도 7에 도시된 산소포화도 추정 장치(700)는 도 1에 도시된 산소포화도 추정 장치(120)와 동일할 수 있다.
도 7을 참조하면, 산소포화도 추정 장치(700)는 메모리(710) 및 프로세서(720)를 포함할 수 있다. 도 7의 산소포화도 추정 장치(700)에는 실시예와 관련된 구성요소들 만이 도시되어 있다. 따라서, 도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
메모리(710)는 산소포화도 추정 장치(700) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 프로세서(720)의 처리 및 제어를 위한 프로그램을 저장할 수 있다.
메모리(710)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(720)는 산소포화도 추정 장치(700)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(720)는 메모리(710)에 저장된 프로그램들을 실행함으로써, 입력부(미도시), 디스플레이(미도시), 통신부(미도시), 메모리(710) 등을 전반적으로 제어할 수 있다. 프로세서(720)는, 메모리(710)에 저장된 프로그램들을 실행함으로써, 산소포화도 추정 장치(700)의 동작을 제어할 수 있다. 프로세서(720)는 도 1 내지 도 6에서 상술한 산소포화도 추정 장치(700)의 동작 중 적어도 일부를 제어할 수 있다.
프로세서(720)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 산소포화도 추정 장치의 동작 방법으로서,
    피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득하는 단계;
    상기 RGB 채널 신호에 기초하여 상기 제1 피부 영상에 대응하는 원격 광용적맥파신호를 산출하는 단계;
    상기 원격 광용적맥파신호에 기초하여 추정 심박수를 결정하는 단계;
    상기 RGB 채널 신호를 HSV 색공간으로 변환함으로써 상기 제1 피부 영상에 대응하는 HSV 채널 신호를 생성하는 단계; 및
    상기 추정 심박수 및 상기 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 상기 딥러닝 모델로부터 상기 피검사자의 산소포화도를 획득하는 단계;
    를 포함하되,
    상기 딥러닝 모델은, 상기 추정 심박수 및 상기 HSV 채널 신호를 입력으로 하여 상기 추정 심박수 및 상기 HSV 채널 신호의 잠재 특징을 특징 벡터로 추출하는 특징 추출 모델 및 상기 특징 벡터를 입력으로 하여 상기 피검사자의 산소포화도를 추론하는 산소포화도 추론 모델을 포함하고,
    상기 HSV 채널 신호는 H 채널 신호, S 채널 신호 및 V 채널 신호를 포함하는, 산소포화도 추정 방법.
  2. 제 1 항에 있어서,
    상기 제1 피부 영상은, 사용자 단말에 내장된 카메라 및 광원을 이용하여 촬영된 영상을 포함하는, 산소포화도 추정 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 HSV 채널 신호를 생성하는 단계는,
    상기 RGB 채널 신호에 밴드패스 필터링(Bandpass-filtering)을 수행함으로써 가공 신호를 생성하는 단계; 및
    상기 가공 신호를 HSV 색공간으로 변환함으로써 상기 HSV 채널 신호를 획득하는 단계;
    를 포함하는, 산소포화도 추정 방법.
  5. 제 4 항에 있어서,
    상기 가공 신호를 생성하는 단계는,
    상기 추정 심박수를 포함하는 소정의 주파수 범위를 설정하는 단계; 및
    상기 RGB 채널 신호에서 상기 소정의 주파수 범위 내의 신호만을 통과시킴으로써 상기 가공 신호를 생성하는 단계;
    를 포함하는, 산소포화도 추정 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 방법은,
    사람의 심박수, 사람의 피부 영상에 대한 HSV 채널 신호 및 사람의 산소포화도를 학습데이터로 이용하여, 상기 사람의 심박수 및 상기 사람의 피부 영상에 대한 HSV 채널 신호의 잠재 특징을 특징 벡터로 출력하도록 상기 특징 추출 모델을 학습하는 단계;
    를 더 포함하는, 산소포화도 추정 방법.
  8. 제 1 항에 있어서,
    상기 산소포화도를 획득하는 단계는,
    상기 V 채널 신호에 기초하여 설정된 소정의 조건이 만족되는 경우, 상기 제1 피부 영상에 대한 상기 RGB 채널 신호 이후에 획득된 상기 피검사자의 제2 피부 영상에 기초하여 상기 산소포화도를 획득하는, 산소포화도 추정 방법.
  9. 제 8 항에 있어서,
    상기 소정의 조건은, 상기 V 채널 신호의 순간 변화율이 기설정된 임계값을 초과하는 경우를 포함하는, 산소포화도 추정 방법.
  10. 적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 동작하는 프로세서;
    를 포함하고,
    상기 프로세서는, 피검사자의 제1 피부 영상에 대한 RGB 채널 신호를 획득하고, 상기 RGB 채널 신호에 기초하여 상기 제1 피부 영상에 대응하는 원격 광용적맥파신호를 산출하고, 상기 원격 광용적맥파신호에 기초하여 추정 심박수를 결정하고, 상기 RGB 채널 신호를 HSV 색공간으로 변환함으로써 상기 제1 피부 영상에 대응하는 HSV 채널 신호를 생성하고, 상기 추정 심박수 및 상기 HSV 채널 신호를 기학습된 딥러닝 모델에 입력하고, 상기 딥러닝 모델로부터 상기 피검사자의 산소포화도를 획득하되, 상기 딥러닝 모델은, 상기 추정 심박수 및 상기 HSV 채널 신호를 입력으로 하여 상기 추정 심박수 및 상기 HSV 채널 신호의 잠재 특징을 특징 벡터로 추출하는 특징 추출 모델 및 상기 특징 벡터를 입력으로 하여 상기 피검사자의 산소포화도를 추론하는 산소포화도 추론 모델을 포함하고, 상기 HSV 채널 신호는 H 채널 신호, S 채널 신호 및 V 채널 신호를 포함하는, 산소포화도 추정 장치.
  11. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020230038219A 2023-03-23 2023-03-23 산소포화도 추정 방법 및 장치 KR102588481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230038219A KR102588481B1 (ko) 2023-03-23 2023-03-23 산소포화도 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230038219A KR102588481B1 (ko) 2023-03-23 2023-03-23 산소포화도 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102588481B1 true KR102588481B1 (ko) 2023-10-12

Family

ID=88291406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230038219A KR102588481B1 (ko) 2023-03-23 2023-03-23 산소포화도 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102588481B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060246A (ko) * 2019-11-18 2021-05-26 삼성전자주식회사 생체 데이터를 획득하는 장치 및 그 방법
KR20220121416A (ko) * 2021-02-25 2022-09-01 주식회사 지비소프트 생체 지수 측정 방법
KR20220146251A (ko) * 2021-04-23 2022-11-01 (주)티비스톰 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
KR102482796B1 (ko) 2021-09-17 2022-12-29 상명대학교산학협력단 원격 광용적맥파 측정을 이용한 비접촉 심박 변이도 분석 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060246A (ko) * 2019-11-18 2021-05-26 삼성전자주식회사 생체 데이터를 획득하는 장치 및 그 방법
KR20220121416A (ko) * 2021-02-25 2022-09-01 주식회사 지비소프트 생체 지수 측정 방법
KR20220146251A (ko) * 2021-04-23 2022-11-01 (주)티비스톰 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
KR102482796B1 (ko) 2021-09-17 2022-12-29 상명대학교산학협력단 원격 광용적맥파 측정을 이용한 비접촉 심박 변이도 분석 장치 및 방법

Similar Documents

Publication Publication Date Title
US10600330B2 (en) Method and apparatus for assessing cardiopulmonary fitness
Sannino et al. A continuous noninvasive arterial pressure (CNAP) approach for health 4.0 systems
US20160106327A1 (en) Apparatus and method for acquiring bio-information
US10610109B2 (en) Emotion representative image to derive health rating
EP3933851A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
KR20220156016A (ko) 심미적 피부 치료 유닛에 대한 최적의 동작 파라미터 세트를 결정하기 위한 방법 및 시스템
JP2023060172A (ja) 血圧測定装置、モデル設定装置、および血圧測定方法
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
Bousefsaf et al. Estimation of blood pressure waveform from facial video using a deep U-shaped network and the wavelet representation of imaging photoplethysmographic signals
KR102588481B1 (ko) 산소포화도 추정 방법 및 장치
US20230397826A1 (en) Operation method for measuring biometric index of a subject
CN116325010A (zh) 使用脉冲神经网络的图像轮廓描绘
US20230196579A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin pore size
Chowdhury et al. LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams
KR102661814B1 (ko) 생체 신호 추정 방법 및 장치
Jindal MobileSOFT: U: A deep learning framework to monitor heart rate during intensive physical exercise
EP3933683A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a user's body before removing hair for determining a user-specific trapped hair value
EP3933763A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a shaving stroke for determining pressure being applied to a user s skin
CN113811757A (zh) 使用二元多光谱传感器的水合作用评估
Jaiswal et al. Color space analysis for improvement in rPPG
US20230196553A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin dryness
US20230196816A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin hyperpigmentation
US20230196551A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin roughness
JP6554421B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230196552A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant