KR20240076233A - 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치 - Google Patents

비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR20240076233A
KR20240076233A KR1020220158560A KR20220158560A KR20240076233A KR 20240076233 A KR20240076233 A KR 20240076233A KR 1020220158560 A KR1020220158560 A KR 1020220158560A KR 20220158560 A KR20220158560 A KR 20220158560A KR 20240076233 A KR20240076233 A KR 20240076233A
Authority
KR
South Korea
Prior art keywords
signal
noise
pulse signal
frequency band
quality
Prior art date
Application number
KR1020220158560A
Other languages
English (en)
Inventor
우지환
주효성
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020220158560A priority Critical patent/KR20240076233A/ko
Publication of KR20240076233A publication Critical patent/KR20240076233A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Power Engineering (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명의 신호 측정 환경 개선 장치는 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가하는 신호평가부, 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 노이즈 원인 예측부 및 노이즈 원인을 기반으로 사용자 피드백 정보를 제공하는 피드백 출력부를 포함한다. 이에 의해, 본 발명은 신호의 측정 환경을 개선할 수 있다.

Description

비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치{NON-CONTACT BIO-SIGNAL MEASUREMENT ENVIRONMENT IMPROVEMENT METHOD OF APPARATUS USING THE SAME}
본 발명은 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치에 관한 것으로서, 특히, 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하여, 노이즈 원인을 기반으로 사용자에게 피드백을 제공함으로써 신호의 측정 환경을 개선할 수 있는 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치에 관한 것이다.
심박수, 심박 변이도, 동맥 산소 포화도, 혈압, 맥파 전달 시간 등은 인체의 생리학적 상태를 진단하고 추적하는 주요한 생체 지표로서, 맥박 신호로부터 측정될 수 있다.
맥박 신호의 모니터링을 위해 의료 현장에서 일반적으로 사용되는 방법으로는 손가락 끝이나 귀 등에 맥박 산소 측정기(pulse oximeter)라 불리는 광센서를 부착하여 심박수와 산소 포화도를 측정하는 광혈류 측정법(Photoplethysmography; PPG)이 있다. 이러한 방법은 신체 일부에 광센서를 접촉하여 그 상태가 유지되어야 하므로 일상생활에서 측정하는 데에는 불편함을 초래한다.
이러한 문제를 해결하기 위해, 원거리 광혈류 측정법(remote PPG; 이하 'rPPG'라 함)이 개발되고 있다. rPPG는 상용 수준의 카메라로부터 측정된 영상을 이용하여 심장 박동으로 인한 얼굴 피부색의 변화를 감지해 심장 활동을 추정하는 기술이다. 해당 기술은 센서 부착이 어려운 신생아의 심장 모니터링, 운전자 모니터링 등 다양한 분야에서 활용가능성을 인정받고 있다.
그러나, rPPG 기술은 육안으로도 확인하기 어려운 매우 미세한 얼굴 색 변화를 측정하기 때문에 주변 광 및 대상체의 움직임으로 인해 발생하는 노이즈로 인한 문제점이 있다.
따라서, rPPG 기술 상용화의 핵심 경쟁력인 카메라로부터 측정된 영상으로부터 노이즈를 제거하고 심장 박동과 관련된 신호만을 추출하는 방법에 대한 연구 및 개발이 필요한 실정이다. 더불어, 신호를 측정하기 위한 환경의 개선이 절실한 실정이다.
대한민국 등록특허 제10-2273898호
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하여, 노이즈 원인을 기반으로 사용자에게 피드백을 제공함으로써 신호의 측정 환경을 개선할 수 있는 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치를 제공하는 것이다.
또한, 필터 뱅크를 이용하여 노이즈의 간섭을 제거함으로써 신호 품질 평가를 정확하게 할 수 있는 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치를 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 신호 측정 환경 개선 장치는, 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가하는 신호 평가부; 상기 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 노이즈 원인 예측부; 및, 상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 피드백 출력부;를 포함할 수 있다.
또한, 상기 노이즈 원인 예측부는, 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측할 수 있다.
상기 노이즈 원인 예측부는, 상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다.
본 발명의 다른 실시예에 따른 신호 측정 환경 개선 방법은, 장치가, 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가하는 단계; 상기 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 단계; 및, 상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 단계;를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 비접촉식 맥박 신호 측정 장치는, 비접촉식으로 영상 데이터를 획득하는 획득부; 획득한 상기 영상 데이터에 대하여 관심 영역을 설정하고, 관심 영역이 설정된 상기 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출하는 신호 추출부; 상기 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링하고, 필터링된 상기 맥박 신호의 품질을 평가하는 신호 평가부; 상기 맥박 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 노이즈 원인 예측부; 및, 상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 피드백 출력부;를 포함할 수 있다.
상기 맥박 신호를 분석하여 심박 지표 평가를 수행하는 지표평가부;를 더 포함할 수 있다.
또한, 상기 신호평가부는, 상기 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해하는 주파수 분해부; 및, 상기 주파수 대역 별로 주파수 대역 평가 지표를 생성하여 신호의 품질을 평가하는 신호 품질 평가부;를 포함할 수 있다.
또한, 상기 신호 품질 평가부는, 주파수 대역별로 상기 맥박 신호의 특징을 표현하는 특징점을 계산하고, 상기 특징점을 조합하여 주파수 대역 평가 지표를 생성할 수 있다.
실시예에서, 상기 특징점은, 공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도 및 주파수 밀도를 포함할 수 있다.
또한, 상기 신호 품질 평가부는, 상기 주파수 대역별 특징점을 곱하고 정규화하여 주파수 대역 평가 지표를 생성할 수 있다.
또한, 상기 주파수 대역 평가부는, 상기 주파수 대역별 특징점을 입력으로 하고 상기 주파수 대역 평가 지표를 출력으로 하는 머신러닝 알고리즘을 학습하여 조합할 수 있다.
또한, 상기 노이즈 원인 예측부는, 상기 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측할 수 있다.
또한, 상기 노이즈 원인 예측부는, 상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 맥박 신호 측정 방법은 비접촉 맥박 신호 측정 장치가, 비접촉식으로 영상 데이터를 획득하는 단계; 획득한 상기 영상 데이터에 대하여 관심 영역을 설정하고, 관심 영역이 설정된 상기 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출하는 단계; 상기 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링하고, 필터링된 상기 맥박 신호의 품질을 평가하는 단계; 상기 맥박 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 단계; 및, 상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 단계;를 포함할 수 있다.
또한, 상기 맥박 신호의 품질을 평가하는 단계는, 상기 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해하는 단계; 및, 상기 주파수 대역 별로 주파수 대역 평가 지표를 생성하여 신호의 품질을 평가하는 단계;를 포함할 수 있다.
또한, 상기 신호의 품질을 평가하는 단계는, 주파수 대역별로 상기 맥박 신호의 특징을 표현하는 특징점을 계산하고, 상기 특징점을 조합하여 주파수 대역 평가 지표를 생성할 수 있다.
실시예에서, 상기 특징점은, 공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도 및 주파수 밀도를 포함할 수 있다.
또한, 상기 노이즈의 원인을 예측하는 단계는, 상기 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측할 수 있다.
또한, 상기 노이즈의 원인을 예측하는 단계는, 상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다.
상기와 같은 본 발명에 따른 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치는 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하여, 노이즈 원인을 기반으로 사용자에게 피드백을 제공함으로써 신호의 측정 환경을 개선할 수 있다.
또한, 필터 뱅크를 이용하여 노이즈의 간섭을 제거함으로써 신호 품질 평가를 정확하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 생체 신호 측정 환경 개선 방법을 이용한 장치의 구성을 간략하게 나타내는 블록도이다.
도 2는 도 1의 피드백 정보의 일 예를 나타내는 도면이다.
도 3은 도 2의 피드백 이미지의 일 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 생체 신호 측정 환경 개선 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 측정 환경 개선 방법을 이용한 비접촉식 맥박 신호 측정 장치의 구성을 간략하게 나타내는 블록도이다.
도 6은 도 5의 신호평가부의 구성을 구체적으로 나타내는 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 맥박 신호 측정 방법을 설명하기 위한 흐름도이다.
도 8은 도 7의 신호 추출 방법을 설명하기 위한 그래프이다.
도 9은 도 7의 신호 평가 방법을 설명하기 위한 도면이다.
도 10은 도 7의 신호 평가 방법 중 특징점을 설명하기 위한 도면이다.
도 11은 도 7의 신호 평가 방법 중 주파수 대역 평가 지표를 나타내는 예시도이다.
이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 동일한 참조번호 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
도 1은 본 발명의 일 실시예에 따른 생체 신호 측정 환경 개선 방법을 이용한 장치의 구성을 간략하게 나타내는 블록도이고, 도 2는 도 1의 피드백 정보의 일 예를 나타내는 도면이고, 도 3은 도 2의 피드백 이미지의 일 예를 나타내는 도면이다.
도 1을 참조하면, 장치(100)는 신호평가부(110), 노이즈 원인 예측부(120) 및 피드백 출력부(130)를 포함할 수 있다.
신호평가부(110)는 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가할 수 있다.
실시예에서, 신호평가부(110)는 생체 신호에 대하여 딥러닝 모델을 이용하여 노이즈의 간섭을 제거하는 필터링을 수행하고, 신호의 품질을 평가할 수 있다.
실시예에서, 신호평가부(110)는 생체 신호에 대하여 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링을 수행하고, 신호의 품질을 평가할 수 있다. 여기서, 필터뱅크(filter bank)는 좁은 주파수 대역의 필터 집합을 의미할 수 있다. 즉, 신호평가부(110)는 생체 신호를 여러 개의 좁은 주파수 대역으로 분해하고, 분해된 신호의 특성을 분석하여 생체 신호가 포함되어 있는 주파수 대역을 평가하는 지표를 생성하고, 주파수 대역 평가 지표를 바탕으로 생체 신호의 품질을 평가할 수 있다. 여기서, 주파수 대역 평가 지표는 필터링된 생체 신호의 특징을 표현하는 특징점을 계산하고, 머신러닝 알고리즘 또는 단순 곱셈식을 이용하여 특징점을 조합한 후 생성된 지표일 수 있다. 또한, 특징점은 공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도, 주파수 밀도 등이 될 수 있다.
신호평가부(110)는 신호 품질이 좋은 경우 주파수 대역 평가 지표가 다른 주파수 대역보다 생체 신호의 주파수 대역에서 확연하게 높게 나타난다. 이때, 신호 품질이 양호하다고 판단할 수 있다. 반면, 신호평가부(110)는 신호 품질이 좋지 않은 경우 생체 신호의 특징이 모호하기 때문에 주파수 대역 평가 지표가 확연히 높은 대역을 알아보기가 어렵게 나타난다. 이때, 신호 품질이 불량하다고 판단할 수 있다.
노이즈 원인 예측부(120)는 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측할 수 있다.
노이즈 원인 예측부(120)는 획득된 영상 데이터를 분석하여 생체 신호가 영향을 받은 노이즈의 원인을 예측할 수 있다. 이때, 노이즈 원인 예측부(120)는 설명 가능 인공지능을 기반으로 노이즈의 원인을 예측할 수 있다.
실시예에서, 노이즈 원인 예측부(120)는 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 계산하여 딥러닝 모델의 입력으로 하고, 출력으로 신호대 잡음비를 예측하도록 학습할 수 있다.
노이즈 원인 예측부(120)는 학습된 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다. 즉, 노이즈 원인 예측부(120)는 신호대 잡음비를 예측하기 위해 사용한 노이즈 후보의 기여도를 설명 가능 인공지능으로 출력할 수 있다. 이때, 노이즈 기여도가 가장 높은 노이즈 후보를 노이즈의 원인으로 정의할 수 있다. 예를 들어, 노이즈 후보 집합은 영상 밝기, 사용자 거리, 얼굴 위치, 카메라 위치, 신체 가림 여부, 피부색, 움직임 크기, 조명의 변화, 화장 여부 등 비접촉식 광혈류 측정시 영향을 줄 수 있는 모든 노이즈의 원인을 포함할 수 있다. 또한, 신호대 잡음비는 맥박 신호 주파수의 파워와 나머지 주파수의 파워 비율을 이용하여 계산할 수 있다.
한편, 노이즈 원인 예측부(120)는 일반적인 딥러닝 모델을 기반으로 신호가 평가된 경우, 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다. 즉, 신호평가부(110)에서 영상 데이터의 특징점으로 딥러닝 모델이 학습되었기 때문에 노이즈 원인 예측부(120)는 딥러닝 모델의 학습과정 없이 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력함으로써 노이즈의 원인을 예측할 수 있다.
노이즈 원인 예측 방법을 예를 들어 설명한다.
신호대 잡음비 예측의 경우, 입력 데이터로 영상 밝기(f1), 사용자 거리(f2), 얼굴과 카메라 위치(f3) 및 신체 가림 여부(f4)가 입력되면, 딥러닝 모델을 통해 출력값으로 신호대 잡음비가 2.4dB이 출력된다.
노이즈 후보 집합인 입력 데이터를 영상 데이터의 특징점을 이용하여 계산하는 방법을 설명한다.
영상 밝기는 픽셀의 색상 또는 밝기의 히스토그램에 기반하여 계산할 수 있다. 사용자 거리는 수평 홍채 직경과 초점 거리에 기반하여 10% 이내의 오차로 계산할 수 있다. 얼굴 위치와 카메라 위치는 영상 내 얼굴 랜드마크 위치에 기반하여 계산할 수 있다. 신체 가림 여부는 얼굴 이미지 초기 데이터(raw data)를 이용하여 계산할 수 있다. 이때, 모델의 성능을 향상시키기 위하여 얼굴 가림 이미지를 합성하는 데이터 증강 기법을 활용할 수 있다. 이러한 데이터 증강 기법은 마스크 이미지 합성으로 예를 들 수 있다.
이를 이용하여, 노이즈 원인을 분석하면, 출력값인 신호대 잡음비 2.4dB는 설명 가능 인공지능(Explainable AI)을 통해 입력값의 노이즈 기여도가 출력된다. 이때, 입력값의 노이즈 기여도는 영상 밝기(f1) : 10%, 사용자 거리(f2) : 20%, 얼굴과 카메라 위치(f3) : 70% 및 신체 가림 여부(f4) : 0%가 출력될 수 있다.
피드백 출력부(130)는 노이즈 원인을 기반으로 사용자에게 피드백 정보를 제공할 수 있다.
피드백 출력부(130)는 노이즈의 원인과 노이즈 정도를 사용자에게 단순하고 직관적으로 피드백 할 수 있다.
도 2 및 도 3을 참조하여, 피드백 정보에 대하여 구체적으로 설명한다.
도 2는 피드백 정보의 예시를 나타낸다. 영상 밝기 노이즈가 원인인 경우 정상/불량 카메라 이미지의 예시를 사용자에게 제공함으로써 올바른 영상 밝기로 환경을 조정할 수 있도록 한다. 사용자 거리, 얼굴 또는 카메라 위치의 경우 사용자 영상과 얼굴 위치 가이드를 겹쳐서 표시함으로써 얼굴 위치 가이드와 비교하며 적절한 거리와 위치를 유지할 수 있도록 가이드 한다. 신체 가림 여부의 경우 Class activation map과 같은 설명가능한 인공지능 기술을 통해 가림 물체의 위치를 히트맵으로 표현하여 피드백 한다. 히트맵은 (수학식 1)을 이용하여 계산될 수 있다.
(수학식 1)
여기서, k는 필터 번호를 의미하고, A는 인공 신경망의 Activation를 의미하고, i와 j는 Activation 채널의 위치를 의미하고, yc는 딥러닝의 출력 값을 의미할 수 있다.
도 3은 피드백 이미지가 노이즈의 원인에 따라 표시되는 방법의 예를 나타낸다. (a)는 노이즈의 원인이 영상 밝기인 경우의 이미지로써, 정상과 불량의 영상 이미지를 나타낸다.
(b)는 노이즈의 원인이 사용자 거리인 경우의 이미지로써, 영상이 겹쳐서 보이는 얼굴 위치 가이드를 표시하거나, 얼굴 특징점 위치와 비교하여 맞춤 여부를 피드백 한다. 또한, 노이즈의 원인이 얼굴 위치 및 카메라 위치인 경우에도 얼굴 위치 가이드로 피드백 할 수 있다.
(c)는 노이즈의 원인이 신체 가림 여부인 경우의 이미지로써, 가림 물체 히트맵으로 표시할 수 있다. 얼굴을 가린 물체를 히트맵으로 표시함으로써 빨강부분이 가림 물체라고 표시할 수 있다. 히트맵 표시를 위해 class activation map을 활용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 생체 신호 측정 환경 개선 방법을 설명하기 위한 흐름도이다.
도 1 및 도 4를 참조하면, 장치(100)는 신호평가부(110)를 통해 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가한다(S210).
그리고, 노이즈 원인 예측부(120)를 통해 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측한다(S220).
이후, 피드백 출력부(130)를 통해 노이즈 원인을 기반으로 사용자 피드백 정보를 제공한다(S230).
이에, 본 발명은 사용자가 노이즈 원인에 따른 정확도 높은 피드백 정보를 통해 신호 측정 환경을 개선할 수 있도록 도움을 줄 수 있다. 즉, 사용자에게 직관적이면서 단순한 피드백 정보를 제공함으로써 비접촉식 광혈류 측정법에 지식이 없는 사용자일지라도 최적의 신호 측정 환경을 구성할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 측정 환경 개선 방법을 이용한 맥박 신호 측정 장치의 구성을 간략하게 나타내는 블록도이다.
도 5를 참조하면, 비접촉식 맥박 신호 측정 장치(300)는 영상 획득부(310), 신호 추출부(320), 신호평가부(330) 및 지표 평가부(360)를 포함할 수 있다.
영상 획득부(310)는 비접촉식으로 영상 데이터를 획득할 수 있다. 여기서, 영상 데이터는 RGB, 적외선, 열화상 카메라 등으로부터 획득된 동영상 형식의 복수의 시계열적 이미지 데이터를 의미할 수 있다. 예를 들면, RGB 카메라로부터 획득된 영상 데이터는 H(이미지 높이) X W(이미지 너비) X 3(RGB 채널) X T(프레임 수)의 데이터 크기를 가지는 이미지 데이터일 수 있다.
신호 추출부(320)는 획득한 영상 데이터에 대하여 관심 영역을 설정하고, 관심 영역이 설정된 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출할 수 있다.
우선, 신호 추출부(320)는 획득한 영상 데이터에 대하여 관심 영역을 설정할 수 있다. 즉, 신호 추출부(320)는 영상 데이터에 기초하여 혈류에 의해 피부색 변화가 나타나는 관심 영역을 설정할 수 있다. 이때, 신호 추출부(320)는 랜드마크 예측방법 및 피부 세분화 방법 등의 피부색 변화에 따른 영역 추정 알고리즘을 이용하여 관심 영역을 설정할 수 있다. 여기서 피부색 변화는 얼굴, 손목 등의 신체 부위의 영상 이미지에서 검출될 수 있다. 실시예에서, 신호 추출부(320)는 얼굴 전체 또는 이마 및 볼 등의 일부분이 관심 영역으로 설정될 수 있다.
신호 추출부(320)는 관심 영역이 설정된 영상 데이터에 대하여 피부색 신호를 계산하고 처리하여 맥박 신호로 변환할 수 있다.
신호 추출부(320)는 관심 영역 내 피부화소를 평균하여 피부색 신호를 계산할 수 있다. 신호 추출부(320)는 심장 박동과 관련이 적은 머리카락, 눈썹 및 배경과 관련된 픽셀들을 피부색 필터링으로 제거할 수 있다. 단일 관심 영역을 사용하는 경우의 피부색 신호의 데이터 크기는 3(RGB 채널) X T(프레임 수)이고, 다수의 관심 영역을 사용하는 경우의 피부색 신호의 데이터 크기는 N(관심 영역의 수) X 3(RGB 채널) X T(프레임의 수)일 수 있다.
신호 추출부(320)는 피부색 신호를 조합하고 처리하여 하나의 맥박 신호로 변환할 수 있다. 신호 추출부(320)는 암묵 신호 분리, 피부 빛 반사 모델 및 딥러닝 등의 맥박 신호 추출 알고리즘을 이용하여 피부색 신호에서 맥박 신호로 변환할 수 있다.
암묵 신호 분리 방법은 독립 성분 분석(independent component analysis, ICA), 주성분 분석(principal component analysis, PCA)과 같은 비지도 학습 방법을 이용하여 맥박 신호를 추출하는 방법이다.
피부 빛 반사 모델은 피부에 빛이 반사되는 특성을 이용하여 맥박 신호를 추출하는 방법이다.
피부에 빛이 반사되는 특성은 대부분의 사람들이 유사하다. 이러한 현상의 원인은 대부분 사람의 혈액이 빛의 파장에 따라 유사한 흡광 계수를 보이기 때문이다. 하기 (수학식 2)은 피부 빛 반사 모델의 예를 나타낸다.
(수학식 2)
with
,
여기서, R(t), G(t), B(t)는 시간 t에서 카메라 빨강(Red), 초록(Green), 파랑(Blue) 색상 채널의 색상 신호를 의미하고, σ(·)는 표준 편차 연산을 의미한다.
딥러닝을 이용한 방법은 합성곱 신경망(Convolutional neural network, CNN), 장단기 메모리(Long-short term memory, LSTM) 및 어텐션 네트워크(Attention network) 등을 이용하여 맥박 신호를 추출하는 방법이다.
신호평가부(330)는 변환된 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링을 수행하고, 신호의 품질을 평가할 수 있다. 여기서, 필터뱅크(filter bank)는 좁은 주파수 대역의 필터 집합을 의미할 수 있다. 신호평가부(330)는 맥박 신호를 여러 개의 좁은 주파수 대역으로 분해하고, 분해된 신호의 특성을 분석하여 맥박 신호가 포함되어 있는 주파수 대역을 평가하는 지표를 생성하고, 주파수 대역 평가 지표를 바탕으로 맥박 신호의 품질을 평가할 수 있다.
보다 구체적인 설명은 도 6에서 후술한다.
노이즈 원인 예측부(340)는 맥박 신호의 품질을 저하시키는 노이즈의 원인을 예측할 수 있다. 이를 위해, 노이즈 원인 예측부(120)는 획득된 영상 데이터를 분석하여 맥박 신호가 영향을 받은 노이즈의 원인을 예측할 수 있다.
노이즈 원인 예측부(340)는 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 계산하여 딥러닝 모델의 입력으로 하고, 출력으로 신호대 잡음비를 예측하도록 학습할 수 있다.
또한, 노이즈 원인 예측부(340)는 학습된 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력할 수 있다. 즉, 노이즈 원인 예측부(120)는 신호대 잡음비를 예측하기 위해 사용한 노이즈 후보의 기여도를 설명 가능 인공지능으로 출력할 수 있다. 이때, 노이즈 기여도가 가장 높은 노이즈 후보를 노이즈의 원인으로 정의할 수 있다. 예를 들어, 노이즈 후보 집합은 영상 밝기, 사용자 거리, 얼굴 위치, 카메라 위치, 신체 가림 여부, 피부색, 움직임 크기, 조명의 변화, 화장 여부 등 비접촉식 광혈류 측정시 영향을 줄 수 있는 모든 노이즈의 원인을 포함할 수 있다. 또한, 신호대 잡음비는 맥박 신호 주파수의 파워와 나머지 주파수의 파워 비율을 이용하여 계산할 수 있다.
노이즈 원인 예측 방법을 예를 들어 설명한다.
신호대 잡음비 예측의 경우, 입력 데이터로 영상 밝기(f1), 사용자 거리(f2), 얼굴과 카메라 위치(f3) 및 신체 가림 여부(f4)가 입력되면, 딥러닝 모델을 통해 출력값으로 신호대 잡음비가 2.4dB이 출력된다.
노이즈 후보 집합인 입력 데이터를 영상 데이터의 특징점을 이용하여 계산하는 방법을 설명한다.
영상 밝기는 픽셀의 색상 또는 밝기의 히스토그램에 기반하여 계산할 수 있다. 사용자 거리는 수평 홍채 직경과 초점 거리에 기반하여 10% 이내의 오차로 계산할 수 있다. 얼굴 위치와 카메라 위치는 영상 내 얼굴 랜드마크 위치에 기반하여 계산할 수 있다. 신체 가림 여부는 얼굴 이미지 초기 데이터(raw data)를 이용하여 계산할 수 있다. 이때, 모델의 성능을 향상시키기 위하여 얼굴 가림 이미지를 합성하는 데이터 증강 기법을 활용할 수 있다. 이러한 데이터 증강 기법은 마스크 이미지 합성으로 예를 들 수 있다.
이를 이용하여, 노이즈 원인을 분석하면, 출력값인 신호대 잡음비 2.4dB는 설명 가능 인공지능(Explainable AI)을 통해 입력값의 노이즈 기여도가 출력된다. 이때, 입력값의 노이즈 기여도는 영상 밝기(f1) : 10%, 사용자 거리(f2) : 20%, 얼굴과 카메라 위치(f3) : 70% 및 신체 가림 여부(f4) : 0%가 출력될 수 있다.
피드백 출력부(350)는 노이즈 원인을 기반으로 사용자에게 피드백 정보를 제공할 수 있다. 즉, 피드백 출력부(350)는 노이즈의 원인과 노이즈 정도를 사용자에게 단순하고 직관적으로 피드백 할 수 있다. 여기서, 피드백 정보는 도 2 및 3과 같이 설명될 수 있다.
지표 평가부(360)는 필터링된 맥박 신호를 분석하여 심박 지표 평가를 수행할 수 있다.
실시예에서, 지표 평가부(360)는 필터링된 맥박 신호의 극댓값 찾기를 수행하여 심박 지표를 평가할 수 있다.
또한, 지표 평가부(360)는 필터링된 맥박 신호의 고속 푸리에 변환(FFT; Fast Fourier Transform)을 수행하여 심박 지표를 평가할 수 있다.
이에, 지표 평가부(360)는 심박수, 심박 변이도, 동맥 산소 포화도, 혈압, 맥파 전달 시간 등을 계산할 수 있다.
특히, 심박 변이도와 맥파 전달 시간 계산을 위해서는 극대값을 정확하게 찾는 것이 중요하다. 이 경우 맥박 신호의 노이즈가 매우 큰 영향을 주기 때문에 본 발명과 같이 맥박 신호의 노이즈가 제거된 경우 극대값 찾기 알고리즘의 성능이 향상될 수 있다.
결국, 본 발명은 심박 변이도 및 맥파 전달 시간 측정의 정확도 향상에 매우 큰 기여를 할 수 있는 장점을 가진다.
도 6는 도 5의 신호평가부의 구성을 구체적으로 나타내는 블록도이다.
도 5 및 도 6을 참조하면, 신호평가부(330)는 주파수 분해부(331), 신호 품질 평가부(333) 및 평가부(335)를 포함할 수 있다.
주파수 분해부(331)는 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해할 수 있다. 즉, 주파수 분해부(141)는 0.8~4.2Hz 주파수 범위에서 0.4Hz(24 BPM) 밴드 폭(band width)으로 0.2Hz씩 오버랩(overlap)하여 총 16개의 좁은 대역의 주파수 필터를 설계할 수 있다. 이 때, 주파수 필터의 그룹 지연(Group delay)은 일정하도록 설계할 수 있다. 이에, 주파수 분해부(331)는 설계된 필터에 맥박 신호를 통과시켜 16개의 주파수 필터링된 맥박 신호를 생성할 수 있다.
신호 품질 평가부(333)는 주파수 대역별로 주파수 대역 평가 지표를 생성하여 신호의 품질을 평가할 수 있다.
신호 품질 평가부(333)는 16개의 주파수 대역 중 맥박 신호가 포함되어 있는 주파수 대역을 찾기 위해 주파수 대역 평가 지표를 생성할 수 있다. 여기서, 주파수 대역 평가 지표는 필터링된 맥박 신호의 특징을 표현하는 특징점을 계산하고, 머신러닝 알고리즘 또는 단순 곱셈식을 이용하여 특징점을 조합한 후 주파수 대역 평가 지표를 생성할 수 있다.
실시예에서, 신호 품질 평가부(333)는 머신러닝 알고리즘을 이용하는 경우, 각 주파수 대역의 특징점을 입력으로 하고, 주파수 대역에 맥박 신호 포함 여부(False: 0, True: 1)를 출력으로 할 수 있다.
신호 품질 평가부(333)는 학습 이후 머신러닝 알고리즘을 통해 해당 주파수 대역에 맥박 신호가 포함될 확률(주파수 대역 평가 지표)을 출력할 수 있다. 즉, 신호 품질 평가부(333)는 머신러닝 알고리즘을 통해 주파수 대역 평가 지표를 생성할 수 있다.
이때, 신호 품질 평가부(333)는 서로 다른 시간대의 주파수 대역 평가 지표를 입력으로 추가할 수 있다. 이는, 심박수는 일정하게 유지되는 특성이 있기 때문에 머신러닝 알고리즘의 입력을 추가함으로써 정확도를 높일 수 있다.
다른 실시예에서, 신호 품질 평가부(333)는 곱셈식을 활용하는 경우 (수학식 3)과 같이 모든 주파수 대역 별 특징점을 곱하고 정규화하여 주파수 대역 평가 지표를 생성할 수 있다.
(수학식 3)
여기서, S는 곱셈식으로 계산된 주파수 대역 평가 지표이며, Wfeatn은 주파수 대역별 특징점 n에 대한 값을 의미한다. 이 때, 특징점은 0(맥박 신호 특징 없음)에서 1(맥박 신호 특징 있음)로 표현된다.
예를 들어, 주파수 대역 별 특징점은 공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도, 주파수 밀도 등이 될 수 있다.
공간적 일치도는 맥박 신호가 얼굴 전체 영역에서 나타나기 때문에 맥박 신호와 함께 동시에 올라가고 내려가며, 주파수 또한 동일하다는 것을 표현한 특징점이다. 예를 들어, 신호가 동시에 올라가고 내려가는 것(위상이 일치하다는 것)은 힐버트 변환(Hilbert transform)하여 신호의 위상을 계산하고 위상 군집화(Phase clustering)하여 관심 영역(예시: 왼쪽 이마, 오른쪽 이마, 가운데 이마, 미간, 왼쪽 위 볼, 왼쪽 아래 볼, 오른쪽 위 볼, 오른쪽 아래 볼)에서의 위상 일치 정도를 계산할 수 있다. 주파수가 동일하다는 것은 모든 얼굴 영역 신호의 부호 변화점(zero-crossing rate)의 표준 편차의 역수로 계산할 수 있다.
색차 특성 일치도는 (수학식 4)와 같이 상기 피부 빛 반사 모델 또는 딥러닝 모델에서 출력된 맥박 신호의 주파수 밀도와 상기 피부색 신호의 주파수 밀도의 비율을 이용하여 계산할 수 있다.
(수학식 4)
여기서, PSD(Power spectral density)는 주파수 밀도를 의미한다. PSDR은 피부색 신호 R 채널의 주파수 밀도, PSDG는 피부색 신호 G 채널의 주파수 밀도, PSDB는 피부색 신호 B 채널의 주파수 밀도를 의미한다. PSDP는 맥박 신호(pulse signal) P의 주파수 밀도를 의미한다.
자기 상관성(autocorrelation)은 맥박 신호가 반복되는 것에 착안하여 시계열의 시차 값(lagged values)사이의 선형 관계를 표현한 것이다.
주파수 확신도는 주파수 엔트로피(spectral entropy)를 이용하여 측정할 수 있다.
주파수 대역별 특징점 및 주파수 대역 평가 지표는 이동 평균 필터, 저역 통과 필터 등을 이용하여 평활화(smoothing)될 수 있다.
계산된 주파수 대역 평가 지표의 데이터 크기는 16(주파수 필터 수) X T(프레임의 수)일 수 있다.
신호 품질 평가부(333)는 계산된 주파수 대역 평가 지표를 이용하여 정확도가 높은 맥박 신호의 품질을 평가할 수 있다. 즉, 신호 품질 평가부(333)는 신호 품질이 좋은 경우 주파수 대역 평가 지표가 다른 주파수 대역보다 맥박 신호의 주파수 대역에서 확연하게 높게 나타난다. 이때, 신호 품질이 양호하다고 판단할 수 있다. 반면, 신호 품질 평가부(335)는 신호 품질이 좋지 않은 경우 맥박 신호의 특징이 모호하기 때문에 주파수 대역 평가 지표가 확연히 높은 대역을 알아보기가 어렵게 나타난다. 이때, 신호 품질이 불량하다고 판단할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 비접촉식 맥박 신호 측정 방법을 설명하기 위한 흐름도이고, 도 8은 도 7의 신호 추출 방법을 설명하기 위한 그래프이다.
도 5 및 도 7을 참조하면, 비접촉식 맥박 신호 장치를 이용한 맥박 신호 측정 방법은 영상 획득부(310)를 통해 영상 데이터를 획득한다(S410). 여기서, 영상 데이터는 RGB, 적외선, 열화상 카메라 등으로부터 획득된 동영상 형식의 복수의 시계열적 이미지 데이터를 의미할 수 있다. 또한, 스마트 폰 및 노트북 등에 내장되어 카메라로부터 수집된 동영상 형식의 복수의 시계열적 이미지 데이터도 포함될 수 있다. 예를 들면, RGB 카메라로부터 획득된 영상 데이터는 H(이미지 높이) X W(이미지 너비) X 3(RGB 채널) X T(프레임 수)의 데이터 크기를 가지는 이미지 데이터일 수 있다.
이후, 신호 추출부(320)를 통해 획득된 영상 데이터에 관심 영역을 설정하고, 관심 영역이 설정된 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출한다(S420). 여기서, 관심 영역은 혈류에 의해 피부색 변화가 나타나는 관심 영역을 검출하여 설정하는 부분이다. 이러한, 관심 영역 검출은 얼굴의 해부학적 정보를 이용한 랜드마크 예측(landmark prediction) 방법을 이용하여 관심 영역을 검출하여 설정하거나 피부색을 주로 활용하는 피부 세분화(skin segmentation) 방법을 이용하여 관심 영역을 검출하여 설정할 수 있다. 다르게는, 딥러닝(deep learning)의 어텐션(attention) 네트워크를 이용한 방법을 이용하여 관심 영역을 검출하여 설정할 수 있다. 그리고, 피부색 필터를 이용하여 심장 박동과 관련이 적은 머리카락, 눈썹 또는 배경과 관련된 화소들을 제거한 후 피부색 신호를 계산할 수 있다. 이때, 도 8의 (a)와 같이 단일 관심 영역에서 대하여 피부색 신호를 계산하여 나타낼 수 있으며, 도 8의 (b)와 같이, 피부 빛 반사 모델을 이용하여 맥박 신호를 계산한 결과를 나타낼 수 있다.
이렇게, 비접촉식 영상 이미지를 이용하여 측정된 혈류는 육안으로도 보이지 않는 매우 변화이기 때문에 외부 환경 노이즈(주변 광, 객체의 움직임 등)에 영향을 많이 받는다. 이에, 맥박 신호의 노이즈 간섭을 제거하는 필터링하는 단계가 필요하다.
종래의 비접촉식 맥박 신호 측정 기술은 일반적인 심박수 범위(42~240 BPM)에 기반하여 밴드 패스 필터를 수행한다(주파수 밴드의 예시: 0.8~4Hz). 그러나 이러한 주파수 대역은 너무 광범위하여 앨리어싱(aliasing)된 주변 광 간섭, 움직임 노이즈를 걸러내지 못하는 경우가 많다. 반면, 주파수 대역을 좁게 설정하는 경우 넓은 심박수 범위의 맥박 신호를 측정하기 어려워진다. 예를 들어, 운동 후 심박수가 높아져 있는 경우 측정을 하지 못할 수 있다.
이에, 신호평가부(330)를 통해 변환된 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링을 수행하여 신호를 평가한다(S430). 실시예에서, 신호평가부(330)는 좁은 주파수 대역의 필터 집합인 필터 뱅크를 이용하여 맥박 신호를 설계함으로써, 맥박 신호를 어려 개의 좁은 주파수 대역으로 분해하고, 분해된 신호의 특성을 분석하여 맥박 신호가 포함되어 있는 주파수 대역을 평가하는 지표를 생성하고, 지표를 바탕으로 맥박 신호에 대하여 신호 품질을 평가할 수 있다.
더욱 구체적인 방법은 도 9에서 후술한다.
신호 품질이 양호한 경우(S430:양호), 지표 평가부(360)를 통해 맥박 신호를 분석하여 심박 지표 평가를 수행한다(S440). 즉, 지표 평가부(360)는 맥박 신호의 극댓값 찾기(peak detection) 또는 고속 푸리에 변환을 수행하여 심박수, 심박 변이도, 동맥 산소 포화도, 혈압, 맥파 전달 시간 등을 계산할 수 있다.
본 발명을 통해 맥박 신호의 노이즈의 간섭을 제거한 경우 극댓값 찾기 알고리즘의 성능이 향상되어 심박 변이도, 맥파 전달 시간 측정 정확도 향상에 매우 큰 기여를 할 수 있다.
한편, 신호 품질이 불량한 경우(S430:불량), 노이즈 원인 예측부(340)를 통해 획득된 영상 데이터를 분석하여 맥박 신호가 영향을 받은 노이즈의 원인을 예측한다(S433). 즉, 노이즈 원인 예측부(340)는 노이즈 후보 집합을 영상 데이터의 특징점을 기반으로 계산하여 딥러닝의 입력 데이터로 하고, 출력값으로 신호대 잡음비를 예측하는 딥러닝 모델을 학습시킬 수 있다. 그리고, 학습된 딥러닝 모델을 통해 신호대 잡음비를 예측하기 위해 사용된 노이즈 후보 집합의 기여도를 설명 가능 인공지능으로 출력한다.
이후, 피드백 출력부(350)를 통해 노이즈의 원인과 노이즈의 정도를 포함하는 피드백 정보를 사용자에게 제공한다(S435). 이에 사용자가 노이즈 원인에 따른 정확도 높은 피드백 정보를 통해 신호 측정 환경을 개선할 수 있도록 도움을 줄 수 있다.
결국, 본 발명은 최적의 신호 측정 환경 구성으로 인해 사용자 감독이 어려운 경우에도 높은 품질의 맥박 신호와 심박 지표를 획득할 수 있다.
더불어, 본 발명은 필터 뱅크 알고리즘을 이용하여 다양한 맥박 신호의 특성을 활용할 수 있으므로 종래 기술보다 높은 정확도로 신호 품질을 평가할 수 있다.
도 9는 도 7의 신호 평가 방법을 설명하기 위한 도면이고, 도 10은 도 7의 신호 평가 방법 중 특징점을 설명하기 위한 도면이다.
도 7 및 도 9를 참조하면, 신호평가부(330)를 통해 변환된 맥박 신호를 필터 뱅크 알고리즘을 통해 필터링하여 평가하는 방법을 설명한다.
신호 변환부(130)를 통해 맥박 신호(Raw signal)가 변환되면(S431), 주파수 분해부(331)를 통해 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해한다(S433).
실시예에서, 주파수 분해부(331)는 0.8~4.2 Hz 주파수 범위에서 0.4Hz(24 BPM) 밴드 폭(band width)을 0.2Hz씩 오버랩(overlap)하여 총 16개의 좁은 대역의 주파수 필터를 설계한다. 이 때, 주파수 필터의 그룹 지연(Group delay)은 일정하도록 설계할 수 있다.
이후, 주파수 분해부(331)는 설계된 필터에 맥박 신호를 통과시켜 16개의 주파수 필터링 된 맥박 신호를 생성한다.
그리고, 신호 품질 평가부(333)를 통해 주파수 대역별로 주파수 대역 평가 지표를 생성하여 평가한다(S435).
실시예에서, 신호 품질 평가부(333)는 16개의 주파수 대역 중 맥박 신호가 포함되어 있는 주파수 대역을 찾기 위해 주파수 대역 평가 지표를 생성한다. 여기서, 주파수 대역 평가 지표는 필터링된 맥박 신호의 특징을 표현하는 특징점을 계산하고, 머신러닝 알고리즘(ML model) 또는 단순 곱셈식을 이용하여 특징점을 조합하여 주파수 대역 평가 지표를 생성한다.
한편, 머신러닝 알고리즘을 이용하는 경우, 입력은 각 주파수 대역의 특징점, 출력은 주파수 대역에 맥박 신호 포함 여부(False: 0, True: 1)이다. 학습 이후 머신 러닝 알고리즘은 해당 주파수 대역에 맥박 신호가 포함될 확률(주파수 대역 평가 지표)을 출력한다. 또한, 심박 수는 서서히 올라가고 내려가기 때문에 머신러닝 알고리즘을 사용하는 경우, 다른 시간 대(예: 10초 이전 평가 지표의 평균)의 주파수 대역 평가 지표를 입력으로 추가하여 정확도를 높일 수 있다.
또한, 단순 곱셈식을 활용하는 경우 모든 주파수 대역 별 특징점을 곱하고 정규화하여 주파수 대역 평가 지표를 생성한다
신호 품질 평가부(333)는 곱셈식을 활용하는 경우 (수학식 3)와 같이 모든 주파수 대역 별 특징점을 곱하고 정규화하여 주파수 대역 평가 지표를 생성할 수 있다. 예를 들어, 주파수 대역 별 특징점은 공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도, 주파수 밀도 등이 될 수 있다. 공간적 일치도는 맥박 신호가 얼굴 전체 영역에서 나타나기 때문에 맥박 신호와 함께 동시에 올라가고 내려가며, 주파수 또한 동일하다는 것을 표현한 특징점이다. 도 10은 도 7의 신호 필터링 방법 중 특징점을 설명하기 위한 도면으로, 공간적 일치도를 나타낸다.
일 예로 도 10을 참조하면, 신호가 동시에 올라가고 내려가는 것(위상이 일치하다는 것)은 힐버트 변환(Hilbert transform)하여 신호의 위상을 계산하고 위상 군집화(Phase clustering)하여 관심 영역(예시: 왼쪽 이마, 오른쪽 이마, 가운데 이마, 미간, 왼쪽 위 볼, 왼쪽 아래 볼, 오른쪽 위 볼, 오른쪽 아래 볼)에서의 위상 일치 정도를 계산할 수 있다. 주파수가 동일하다는 것은 모든 얼굴 영역 신호의 부호 변화점(zero-crossing rate)의 표준 편차의 역수로 계산할 수 있다.
다시 도 7을 참조하여 설명한다.
색차 특성 일치도는 (수학식 4)와 같이 상기 피부 빛 반사 모델 또는 딥러닝 모델에서 출력된 맥박 신호의 주파수 밀도와 상기 피부색 신호의 주파수 밀도의 비율을 이용하여 계산할 수 있다. 자기 상관성(autocorrelation)은 맥박 신호가 반복되는 것에 착안하여 시계열의 시차 값(lagged values)사이의 선형 관계를 표현한 것이다. 주파수 확신도는 주파수 엔트로피(spectral entropy)를 이용하여 측정할 수 있다.
이러한, 주파수 대역별 특징점 및 주파수 대역 평가 지표는 이동 평균 필터, 저역 통과 필터 등을 이용하여 평활화(smoothing)될 수 있다.
그리고, 평가부(335)를 통해 주파수 대역 평가 지표를 이용하여 정확도가 높은 신호 품질을 평가할 수 있다.
도 11은 도 7의 신호 평가 방법 중 주파수 대역 평가 지표를 나타내는 예시도이다.
도 11을 참조하면, (a)는 주파수 대역 평가 지표의 데이터 크기인 16(주파수 필터 수) X T(프레임의 수)를 나타낸다. 여기서, 주파수 대역 평가 지표는 평활화 되었음을 알 수 있다. 특히, 1.4Hz의 주파수 대역에서 특징점이 부각되어 나타나고 있음을 알 수 있다. (b)는 신호 품질이 나쁜 데이터에서 계산된 주파수 대역 평가 지표를 의미한다. 신호 품질이 좋은 경우 주파수 대역 평가 지표가 다른 주파수 대역보다 맥박 신호의 주파수 대역에서 확연하게 높게 나타난다. 그러나, 신호 품질이 나쁜 경우 맥박 신호의 특징이 모호하기 때문에 주파수 대역 평가 지표가 확연히 높은 대역을 알아보기가 어렵다.
지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 발명의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 본 발명의 각 단계는 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적 또는 개별적으로 수행될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 특허청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 다양한 변형 형태 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.
100: 신호 측정 환경 개선 장치
110, 330: 신호평가부
120, 340: 노이즈 원인 예측부
130, 350: 피드백 출력부
300: 맥박 신호 측정 장치
310: 영상 획득부
320: 신호 추출부
360: 지표 평가부
331: 주파수 분해부
333: 신호 품질 평가부

Claims (20)

  1. 생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가하는 신호 평가부;
    상기 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 노이즈 원인 예측부; 및,
    상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 피드백 출력부;를 포함하는 신호 측정 환경 개선 장치.
  2. 제1항에 있어서,
    상기 노이즈 원인 예측부는,
    영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측하는 것을 특징으로 하는 신호 측정 환경 개선 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 노이즈 원인 예측부는,
    상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력하는 것을 특징으로 하는 신호 측정 환경 개선 장치.
  4. 장치가,
    생체 신호의 특성을 이용하여 측정된 생체 신호의 품질을 평가하는 단계;
    상기 생체 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 단계; 및,
    상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 단계;를 포함하는 신호 측정 환경 개선 방법.
  5. 비접촉식으로 영상 데이터를 획득하는 획득부;
    획득한 상기 영상 데이터에 대하여 관심 영역을 설정하고, 관심 영역이 설정된 상기 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출하는 신호 추출부;
    상기 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링하고, 필터링된 상기 맥박 신호의 품질을 평가하는 신호 평가부;
    상기 맥박 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 노이즈 원인 예측부; 및,
    상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 피드백 출력부;를 포함하는 비접촉식 맥박 신호 측정 장치.
  6. 제5항에 있어서,
    상기 맥박 신호를 분석하여 심박 지표 평가를 수행하는 지표평가부;를 더 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 장치.
  7. 제5항에 있어서,
    상기 신호평가부는,
    상기 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해하는 주파수 분해부; 및,
    상기 주파수 대역 별로 주파수 대역 평가 지표를 생성하여 신호의 품질을 평가하는 신호 품질 평가부;를 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 장치.
  8. 제7항에 있어서,
    상기 신호 품질 평가부는,
    주파수 대역별로 상기 맥박 신호의 특징을 표현하는 특징점을 계산하고, 상기 특징점을 조합하여 주파수 대역 평가 지표를 생성하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 장치.
  9. 제8항에 있어서,
    상기 특징점은,
    공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도 및 주파수 밀도를 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 장치.
  10. 제8항에 있어서,
    상기 신호 품질 평가부는,
    상기 주파수 대역별 특징점을 곱하고 정규화하여 주파수 대역 평가 지표를 생성하는 것을 특징으로 하는 맥박 신호 측정 장치.
  11. 제8항에 있어서,
    상기 주파수 대역 평가부는,
    상기 주파수 대역별 특징점을 입력으로 하고 상기 주파수 대역 평가 지표를 출력으로 하는 머신러닝 알고리즘을 학습하여 조합하는 것을 특징으로 하는 맥박 신호 측정 장치.
  12. 제5항에 있어서,
    상기 노이즈 원인 예측부는,
    상기 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측하는 것을 특징으로 하는 맥박 신호 측정 장치.
  13. 제12항에 있어서,
    상기 노이즈 원인 예측부는,
    상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력하는 것을 특징으로 하는 맥박 신호 측정 장치.
  14. 비접촉 맥박 신호 측정 장치가,
    비접촉식으로 영상 데이터를 획득하는 단계;
    획득한 상기 영상 데이터에 대하여 관심 영역을 설정하고, 관심 영역이 설정된 상기 영상 데이터에 대하여 피부색 신호를 계산 처리하여 맥박 신호를 추출하는 단계;
    상기 맥박 신호를 필터뱅크를 이용하여 노이즈의 간섭을 제거하는 필터링하고, 필터링된 상기 맥박 신호의 품질을 평가하는 단계;
    상기 맥박 신호의 품질을 저하시키는 노이즈의 원인을 예측하는 단계; 및,
    상기 노이즈의 원인을 기반으로 사용자 피드백 정보를 제공하는 단계;를 포함하는 비접촉식 맥박 신호 측정 방법.
  15. 제14항에 있어서,
    상기 맥박 신호를 분석하여 심박 지표 평가를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 방법.
  16. 제14항에 있어서,
    상기 맥박 신호의 품질을 평가하는 단계는,
    상기 맥박 신호의 주파수를 복수 개의 좁은 대역의 주파수로 분해하는 단계; 및,
    상기 주파수 대역 별로 주파수 대역 평가 지표를 생성하여 신호의 품질을 평가하는 단계;를 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 방법.
  17. 제16항에 있어서,
    상기 신호의 품질을 평가하는 단계는,
    주파수 대역별로 상기 맥박 신호의 특징을 표현하는 특징점을 계산하고, 상기 특징점을 조합하여 주파수 대역 평가 지표를 생성하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 방법.
  18. 제17항에 있어서,
    상기 특징점은,
    공간적 일치도, 색차 특성 일치도, 자기 상관성, 주파수 확신도 및 주파수 밀도를 포함하는 것을 특징으로 하는 비접촉식 맥박 신호 측정 방법.
  19. 제14항에 있어서,
    상기 노이즈의 원인을 예측하는 단계는,
    상기 영상 데이터의 특징점을 기반으로 딥러닝 모델을 학습하되, 노이즈 후보 집합을 입력으로 하고, 출력으로 신호대 잡음비를 예측하는 것을 특징으로 하는 맥박 신호 측정 방법.
  20. 제19항에 있어서,
    상기 노이즈의 원인을 예측하는 단계는,
    상기 딥러닝 모델을 이용하여 노이즈 후보 집합의 기여도를 출력하는 것을 특징으로 하는 맥박 신호 측정 방법.
KR1020220158560A 2022-11-23 2022-11-23 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치 KR20240076233A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220158560A KR20240076233A (ko) 2022-11-23 2022-11-23 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220158560A KR20240076233A (ko) 2022-11-23 2022-11-23 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치

Publications (1)

Publication Number Publication Date
KR20240076233A true KR20240076233A (ko) 2024-05-30

Family

ID=91276069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220158560A KR20240076233A (ko) 2022-11-23 2022-11-23 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR20240076233A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273898B1 (ko) 2019-11-21 2021-07-06 주식회사 지비소프트 비접촉식 생체 지수 측정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273898B1 (ko) 2019-11-21 2021-07-06 주식회사 지비소프트 비접촉식 생체 지수 측정 방법

Similar Documents

Publication Publication Date Title
Boccignone et al. An open framework for remote-PPG methods and their assessment
Fan et al. Robust blood pressure estimation using an RGB camera
US10004410B2 (en) System and methods for measuring physiological parameters
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Sinhal et al. An overview of remote photoplethysmography methods for vital sign monitoring
Casado et al. Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
US20240081705A1 (en) Non-contact fatigue detection system and method based on rppg
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
KR20200079691A (ko) 카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
Wang et al. Heart rate estimation from facial videos with motion interference using T-SNE-based signal separation
Lamba et al. Contactless heart rate estimation from face videos
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
Alam et al. Remote Heart Rate and Heart Rate Variability Detection and Monitoring from Face Video with Minimum Resources
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
CN113591769B (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
KR20240076233A (ko) 비접촉식 생체 신호 측정 환경 개선 방법 및 이를 이용한 장치
KR20200001911A (ko) 사용자의 신원 파악이 가능한 혈압 모니터링 방법 및 시스템
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Liu et al. Adaptive-weight network for imaging photoplethysmography signal extraction and heart rate estimation
AV et al. Non-contact heart rate monitoring using machine learning
KR20240076241A (ko) 비접촉식 맥박 신호 측정 장치 및 그 방법
Molinaro et al. Heart rate monitoring with smartphone built-in frontal digital camera
Liu et al. Heart rate estimation by leveraging static and dynamic region weights