KR102468654B1 - 보정된 이미지 기반 심박 추정 방법 및 그 장치 - Google Patents

보정된 이미지 기반 심박 추정 방법 및 그 장치 Download PDF

Info

Publication number
KR102468654B1
KR102468654B1 KR1020220046423A KR20220046423A KR102468654B1 KR 102468654 B1 KR102468654 B1 KR 102468654B1 KR 1020220046423 A KR1020220046423 A KR 1020220046423A KR 20220046423 A KR20220046423 A KR 20220046423A KR 102468654 B1 KR102468654 B1 KR 102468654B1
Authority
KR
South Korea
Prior art keywords
image
corrected
region
heart rate
continuous
Prior art date
Application number
KR1020220046423A
Other languages
English (en)
Inventor
전영수
김연준
Original Assignee
주식회사 바이오커넥트
김연준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바이오커넥트, 김연준 filed Critical 주식회사 바이오커넥트
Priority to KR1020220046423A priority Critical patent/KR102468654B1/ko
Application granted granted Critical
Publication of KR102468654B1 publication Critical patent/KR102468654B1/ko
Priority to PCT/KR2023/005047 priority patent/WO2023200280A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명의 일 실시 예는, 연속 이미지(serial image)를 획득하는 단계; 상기 획득된 연속 이미지에서 관심 영역(ROI: Region Of Interest)를 추출하는 단계; 상기 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환하는 단계; 상기 변환된 결과를 학습모델에 입력하여 상기 연속 이미지에 적용되는 가중치를 산출하는 단계; 상기 산출된 가중치를 상기 연속 이미지에 적용하여 상기 관심 영역이 보정된 연속 이미지를 생성하는 단계; 및 상기 보정된 연속 이미지의 관심 영역을 분석하여, 상기 보정된 연속 이미지에 포함된 사람의 심박을 추정하는 단계를 포함하는, 보정된 이미지 기반 심박 추정 방법을 개시한다.

Description

보정된 이미지 기반 심박 추정 방법 및 그 장치 {Method of heart rate estimation based on corrected image and apparatus thereof}
본 발명은 보정된 이미지 기반 심박 추정 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는, 저조도영향을 개선한 이미지를 이용하여 원격 광혈류측정(rPPG) 방식의 심박을 추정하기 위한 방법 및 그 방법을 구현하기 위한 장치에 관한 것이다.
영상기술의 발달로 높은 프레임레이트의 영상을 얻을 수 있게 되면서, 원격 광혈류측정(remote PPG) 방식을 통해서, 영상에 포함된 실존 인물의 심박을 추정하는 방법이 공개되어 다양하게 활용되고 있다.
다만, 저조도 환경에서 영상이 촬영되었거나, 영상 중 일부 부분에만 저조도 영역이 검출될 경우, rPPG 방식으로 영상 속 인물의 심박을 추출하기 어려운 문제점이 있으며, 영상 속 인물의 피부에서 미세한 혈관의 색조 변화를 감지해 내기 위한 강건한 모델이 필요하다.
영상의 일부 영역에 대해서 조도를 높이는 일 방법으로서, 어두운 영역의 가시성 향상을 위해 영상의 명암 대조비를 증가시키는 방법이 있으나, 색상의 왜곡과 과다한 채도 향상으로 색 신호의 변질을 초래하여, 결과적으로 rPPG로 영상을 분석하여 인물의 심박을 검출하는 데에 활용할 수 없는 한계가 있다.
대한민국 등록특허공보 제10-2215557호 (2021.02.05)
본 발명이 해결하고자 하는 기술적 과제는, 저조도 환경의 이미지를 학습모델을 통해 저조도 영향을 개선하고 개선된 이미지를 이용하여 심박을 추정하는 방법 및 그 방법을 구현하기 위한 장치를 제공하는 데에 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은, 연속 이미지(serial image)를 획득하는 단계; 상기 획득된 연속 이미지에서 관심 영역(ROI: Region Of Interest)를 추출하는 단계; 상기 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환하는 단계; 상기 변환된 결과를 학습모델에 입력하여 상기 연속 이미지에 적용되는 가중치를 산출하는 단계; 상기 산출된 가중치를 상기 연속 이미지에 적용하여 상기 관심 영역이 보정된 연속 이미지를 생성하는 단계; 및 상기 보정된 연속 이미지의 관심 영역을 분석하여, 상기 보정된 연속 이미지에 포함된 사람의 심박을 추정하는 단계를 포함한다.
상기 방법에 있어서, 상기 연속 이미지(serial image)를 획득하는 단계는 RGB 카메라를 이용하여 30fps이상의 연속 이미지를 획득하는 단계를 포함하고, 상기 연속 이미지(serial image)는 사람의 얼굴 영역을 포함하고, 상기 관심 영역(ROI: Region Of Interest)은 상기 사람의 얼굴 영역인 것을 특징으로 할 수 있다.
상기 방법에 있어서, 상기 연속 이미지(serial image)는 저조도 환경의 이미지와, 일반 환경의 이미지를 포함하고, 상기 가중치를 산출하는 단계는 상기 변환된 결과를 색차 성분과 휘도 성분으로 나누고, 상기 휘도 성분을 레티넥스 모델에 입력하고, 상기 저조도 환경의 이미지와 일반 환경의 이미지 각각을 조도 성분과 반사 성분으로 분해하여 학습한 후 가중치를 산출하는 단계일 수 있다.
상기 방법에 있어서, 상기 보정된 이미지를 생성하는 단계는, 상기 산출된 가중치를 상기 저조도 환경 이미지에 적용하여 조도 성분을 증가 시키고 반사 성분의 노이즈를 감소시키는 조정단계 및 상기 조정된 조도와 반사 성분을 상기 색차 성분과 재조합하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 장치는, 연속 이미지(serial image)를 획득하는 연속 이미지 획득부; 상기 획득된 연속 이미지에서 관심 영역(ROI: Region Of Interest)를 추출하는 관심 영역 추출부; 상기 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환하는 색공간 변환부; 상기 변환된 결과를 학습모델에 입력하여 상기 연속 이미지에 적용되는 가중치를 산출하는 가중치산출부; 상기 산출된 가중치를 상기 연속 이미지에 적용하여 상기 관심 영역이 보정된 연속 이미지를 생성하는 보정 이미지 생성부; 및 상기 보정된 연속 이미지의 관심 영역을 분석하여, 상기 보정된 연속 이미지에 포함된 사람의 심박을 추정하는 심박 추정부를 포함한다.
본 발명의 일 실시 예는, 상기 방법을 실행시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체를 제공할 수 있다.
본 발명에 따르면, 저조도 환경의 이미지의 조도를 증폭시킴으로써 저조도 영향을 개선할 수 있다.
또한, 본 발명에 따르면, 저조도 영향이 개선된 이미지를 이용하여 rPPG 방식의 심박을 추정함으로써 보다 정확한 심박 파형을 얻어 낼 수 있다.
도 1은 본 발명에 따른 심박 추정 장치의 일 예를 블록도로 나타낸 것이다.
도 2는 도 1에서 설명한 처리부에 포함된 하위 모듈들을 블록도로 나타낸 것이다.
도 3은 본 발명의 일 실시 예에 따른, 변환 결과를 학습모델에 입력하여 연속 이미지에 적용되는 가중치를 산출하는 단계와 산출된 가중치를 연속 이미지에 적용하여 관심 영역이 보정된 연속 이미지를 생성하는 단계에 대한 도식도이다.
도 4는 본 발명의 일 실시 예에 따른, 저조도 환경의 이미지에서 학습모델을 통해 가중치를 산출하는 방법의 일 예를 흐름도로 나타낸 것이다.
도 5는 본 발명의 일 실시 예에 따른, 일반 환경의 이미지에서 학습모델을 통해 가중치를 산출하는 방법의 일 예를 흐름도로 나타낸 것이다.
도 6은 본 발명의 일 실시 예에 따른, 도 5와 도 6에 따라 산출된 가중치를 이용하여 보정된 연속 이미지를 생성하는 방법의 일 예를 흐름도로 나타낸 것이다.
도 7은 본 발명의 일 실시 예에 따른, 보정된 이미지 기반의 심판 추정 방법의 일 예를 흐름도로 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시 예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시 예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 심박 추정 장치의 일 예를 블록도로 나타낸 것이다.
도 1를 참조하면, 본 발명에 따른 심박 추정 장치(100)는 데이터베이스(110), 통신부(130), 처리부(150) 및 출력부(170)를 포함하는 것을 알 수 있다.
본 발명의 일 실시 예에 따른 심박 추정 장치(100)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 심박 추정 장치(100) 및 심박 추정 장치(100)에 포함되어 있는 통신부(130), 처리부(150), 출력부(170)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 하드웨어 장치에 포함된 형태로 구동될 수 있다.
도 1에 도시된 심박 추정 장치(100)에 포함된 각 모듈의 명칭은, 각 모듈이 수행하는 대표 기능을 직관적으로 설명하기 위해서 임의로 명명된 것으로서, 심박 추정 장치(100)가 실제로 구현되었을 때, 각 모듈에는 도 1에 기재된 명칭과는 다른 명칭이 부여될 수 있다.
또한, 도 1의 심박 추정 장치(100)에 포함되어 있는 모듈의 수는 실시 예에 따라 매번 달라질 수 있다. 보다 구체적으로는, 도 1의 심박 추정 장치(100)는 총 4개의 모듈을 포함하고 있으나, 실시 예에 따라서, 적어도 둘 이상의 모듈이 하나의 모듈로 통합되거나, 적어도 하나 이상의 모듈이 둘 이상의 모듈로 분리되는 형태로 구현될 수도 있다.
데이터베이스(110)는 심박 추정 장치(100)가 동작하기 위해서 필요한 각종 데이터를 저장하고 있다. 일 예로서, 데이터베이스(110)는 심박 추정 장치(100)의 동작을 제어하기 위한 통합관리 프로그램을 저장하고 있으며, 데이터베이스(110)는 통신부(130)가 외부 장치로부터 수신한 분석용영상을 전달받아 저장할 수 있다.
통신부(130)는 외부 장치와 통신하면서, 처리부(150)가 처리한 결과를 외부로 송신하거나, 처리부(150)가 판별하기 위한 분석용영상을 수신하는 기능을 수행한다. 통신부(130)는, 데이터망, 이동통신망, 인터넷 등 각종 유무선 통신망을 이용하기 위해서, 통신망에 접속하고 인증하기 위한 모듈(module)을 포함할 수 있다.
처리부(150)는 통신부(130)가 수신한 데이터 및 송신할 데이터를 처리한다. 보다 구체적으로, 처리부(150)는 이미지를 분석하여, 이미지에 포함된 사람의 심박을 추정한다.
처리부(150)는 수행하는 기능에 따라서, 적어도 두 개 이상의 하위모듈을 포함할 수 있고, 처리부(150)의 구체적인 동작에 대해서는 도 2에서 후술하기로 한다.
출력부(170)는 처리부(150)의 명령을 받아서 각종 데이터를 산출하고 출력하는 기능을 수행한다. 일 예로서, 출력부(170)는 처리부(150)가 처리한 결과데이터를 출력하여, 통신부(130)에 전달할 수 있다.
도 2는 도 1에서 설명한 처리부에 포함된 하위 모듈들을 블록도로 나타낸 도면이다.
도 2를 참조하면, 처리부(150)는 연속 이미지 획득부(210), 관심 영역 추출부(220), 색공간 변환부(230), 가중치 산출부(240), 보정 이미지 생성부(250) 및 심박 추정부(260)를 포함하는 것을 알 수 있다. 도 2의 처리부(150)는 총 6개의 모듈을 포함하고 있으나, 실시 예에 따라서, 처리부(150)에 포함된 모듈들 중 적어도 둘 이상의 모듈이 하나의 모듈로 통합되거나, 적어도 하나 이상의 모듈이 둘 이상의 모듈로 분리되는 형태로 구현될 수도 있다.
또한, 도 2의 심박 추정 장치(100)의 처리부(150)에 포함되는 연속 이미지 획득부(210), 관심 영역 추출부(220), 색공간 변환부(230), 가중치 산출부(240), 보정 이미지 생성부(250) 및 심박 추정부(260)는 적어도 하나 이상의 프로세서에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 심박 추정 장치(100)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
연속 이미지 획득부(210)는 데이터베이스(110)에 미리 저장되어 있거나, 외부 장치에서 통신부(130)로 수신된 이미지를 획득하는 기능을 수행한다. 여기서, 이미지는 복수의 프레임으로 구성된 연속적인 이미지(serial image)를 의미한다.
연속 이미지는 사람의 신체 부위를 포함할 수 있으며, 연속 이미지에 포함된 신체 부위는 이미지를 프레임별로 분리했을 때에 심박 분석이 가능하도록 피부가 노출된 부위일 수 있다. 예를 들어, 연속 이미지에는 사람의 얼굴이나 팔이 포함될 수 있다.
일 예로서, 연속 이미지는 RGB-카메라를 이용하여 촬영된 결과물로서, 연속 이미지의 프레임 레이트(frame rate)는 초당 30프레임(fps, frames per second) 이상일 수 있다. 저조도 환경과 같이, 조명이 충분하지 않은 곳에서 촬영되면 연속 이미지는 전체적으로 어둡게 되며, 역광이나 음영에 의해서, 연속 이미지에 포함된 촬상 대상의 일부만 낮은 조도를 나타낼 수도 있다.
관심 영역 추출부(220)는 연속 이미지 획득부(210)가 획득한 연속 이미지에서 관심 영역(ROI : Region Of Interest)을 설정하고 추출할 수 있다.
일 예로서, 심박 추정을 위해 연속 이미지에서 얼굴 영역의 지속적인 추적이 필요하므로, 관심 영역은 사람의 얼굴 영역일 수 있다.
또한, 다른 일 예로서, 관심 영역 추출을 위해 영역탐지 및 추적 알고리즘이 활용될 수 있는데, 영역 탐지를 위해 YOLO, Fast-RCNN, SSD 등의 기법이 활용될 수 있으며, 이전 프레임과 비교하여 이동한 위치를 추적하기 위하여 Mean-shift와 CAMshift 등의 객체 추적 알고리즘이 활용될 수 있다.
색공간 변환부(230)는 관심 영역 추출부(220)에서 추출된 관심 영역의 색공간을 변환할 수 있다.
일 예로서, 색공간 변환부(230)는 RGB 영역에서의 색상 오류를 최소화 하기 위해서, 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환할 수 있다. 이미지(image)나 영상(video)을 처리하는 데에 있어서, RGB 영역은 세개의 요소가 시각적으로 균일한 정보를 가지는 반면에, YCbCr 영역은 휘도성분(Y성분)과 색차성분(Cb 및 Cr 성분)으로 분리하여 표현할 수 있어 독립적 관리가 가능하다.
이를 위해, 색공간 변환부(230)는 하기 수학식 1 내지 3을 통해, 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환할 수 있다.
Figure 112022040126629-pat00001
Figure 112022040126629-pat00002
Figure 112022040126629-pat00003
이때, R, G, B는 RGB 공간의 색상값이고, Y는 휘도 성분이며, Cb와 Cr은 색차 성분이다.
가중치 산출부(240) 및 보정 이미지 생성부(250)의 기능은 이하 도 3 내지 6과 함께 후술한다.
심박 추정부(260)는 보정 이미지 생성부(250)에서 생성된 보정된 연속 이미지(corrected serial image)의 관심 영역을 분석하여, 보정된 연속 이미지에 포함된 사람의 심박을 추정할 수 있다.
일 예로서, 심박 추정부(260)는 원격 광혈류 측정 방식(rPPG : remote PhotoPlethysmoGraphy)을 이용하여 사람의 심박을 추정할 수 있는데, 본 발명에 따르는 경우, 조도를 증폭시킴으로써 저조도 영향이 개선된 이미지를 이용하여 심박을 추정할 수 있게 됨에 따라, 다양한 환경에서도 정확한 심박의 추정이 가능하게 되었다.
일 예로서, 심박 추정부(260)는 다음의 단계를 거쳐 심박을 추정한다. 심박 추정부(260)는 복수의 이미지로부터 프레임별 색차 신호의 평균 값을 구한다. 다음으로, 심박 추정부(260)는 심박과 관련 없는 성분에 대한 노이즈(noise)를 제거하기 위하여 평균 값을 구한 프레임별 색차 신호를 시간 영역에서 주파수 영역으로 변환 할 수 있다. 이때, 주파수 영역으로의 변환은 푸리에 변환(Fourier Transform)의 방식 등이 사용될 수 있다.
다음으로, 심박 추정부(260)는 심박과 관련 없는 주파수를 노이즈로 취급하여 제거하는데, 일반적으로 심박수로 인정되는 범위는 42 내지 180 bpm(beats per minute)이고 이는 0.7 내지 3.0 Hz의 주파수 대역에 해당하므로 범위 외의 주파수 영역은 노이즈로 취급될 수 있다. 색차 신호의 노이즈를 제거할 때에는 BPF(Band Pass Filter) 등이 활용될 수 있다.
마지막으로, 심박 추정부(260)는 역변환 과정을 통해 노이즈가 제거된 시계열적인 심박 파형을 얻을 수 있다. 다른 일 예로서, 심박 추정부(260)가 원격 광혈류 측정 방식을 통해 심박을 추정하는 방법은 종래의 방법에 따르며, 대한민국 등록특허 제10-2225557호에는 얼굴 영상에서 원격 광용적맥파신호를 추출하여 심박수를 구하는 기술이 개시된 바 있다.
도 3은 본 발명의 일 실시 예에 따른, 변환 결과를 학습모델에 입력하여 연속 이미지에 적용되는 가중치를 산출하는 단계와 산출된 가중치를 연속 이미지에 적용하여 관심 영역이 보정된 연속 이미지를 생성하는 단계에 대한 도식도이다.
가중치를 산출하는 단계에 대한 자세한 설명은 도 4 및 5와 함께 후술하며, 관심 영역이 보정된 연속 이미지를 생성하는 단계에 대한 자세한 설명은 도 6과 함께 후술한다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른, 저조도 환경 및 일반 환경의 이미지에서 학습모델을 통해 가중치를 산출하는 방법의 일 예를 흐름도로 나타낸 것이다.
가중치 산출부(240)는 색공간 변환부(230)에서 변환된 결과를 학습모델에 입력하여, 연속 이미지에 적용되는 가중치를 산출할 수 있다.
일 예로서, 가중치 산출부(240)는 색공간 변환부(230)에서 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환한다(S410 및 S510).
가중치 산출부(240)는 변환된 결과를 색차 성분(Cb 및 Cr) 및 휘도 성분(Y)으로 나눌 수 있다(S430 및 S530).
가중치 산출부(240)는 학습 모델에 입력하는 입력치로써, 휘도 성분(Y)을 학습 모델에 입력할 수 있다(S450 및 S550). 일 예로서, 학습 모델은 인지 모델링 기반 방식의 레티넥스-넷 모델(Retinex-net Decomposotion for Low-Light Enhancement model)이 될 수 있다.
가중치 산출부(240)는 학습 모델을 통해, 저조도 환경 이미지 및 일반 환경 이미지의 휘도 성분(Y)을 조도 성분(illumination component)과 반사 성분(reflectance component)으로 분해하여 학습 시킬 수 있다(S470 및 S570). 저조도 환경과 일반 환경의 연속 이미지는 동일한 반사 성분을 공유하며, 조도맵(illumination map)은 매끄러워(smooth)야하지만 구조인식 총 변화 손실(structure-aware total variation loss)에 의해 얻은 주요 구조체를 유지하여야 한다. 여기서, 저조도 환경 이미지는 연속 이미지 획득부(210)가 획득한 이미지로서, 저조도 환경에서 촬영되어 전체적으로 낮은 조도를 갖는 이미지가 될 수 있고, 일반 환경의 이미지는 미리 설정된 값의 조도를 갖는 이미지로서, 저조도 환경 이미지와 비교되어 가중치를 산출하기 위한 비교대상 데이터로 이해될 수 있다.
가중치 산출부(240)에서 최종적으로 저조도 환경과, 일반 환경에서 가중치를 산출할 수 있다(S490 및 S590). 저조도 환경 및 일반 환경의 연속 이미지에서 각각 반사 성분과 조도 성분으로 분해하여 학습된 가중치는 상호 공유된다.
선택적 일 실시 예로서, 가중치 산출부(240)는 산출된 가중치를 기설정된 값과 비교하여, 산출된 가중치와 기설정된 값과의 편차가 소정의 값을 초과하면, 가중치를 산출하는 과정을 다음과 같이 확장하여 처리할 수 있다.
가중치 산출부(240)가 1차적으로 산출한 제1가중치와 기설정된 값과의 편차가 소정의 값을 초과하는 것을 감지하면, 가중치 산출부(240)는 제1가중치에 보정값을 더해서 제2가중치를 산출할 수 있다. 여기서, 가중치 산출부(240)가 산출한 제2가중치가 최종적인 가중치 산출부(240)가 산출하고자 하는 가중치가 될 수 있으며, 제1가중치에 더해지는 보정값은 소정의 값에 의존할 수 있다. 소정의 값은 하나가 아니라 단계적으로 여러 값이 설정될 수 있다. 본 실시 예에 따라 가중치를 2차가공하는 이유는, 저조도 환경 이미지가 실질적으로 너무 낮은 조도에서 촬영된 이미지여서 가중치가 너무 큰 값으로 산출될 경우, 후술하는 프로세스에서 반사성분과 가중치가 적용된 조도성분과 재조합하여 휘도성분을 구축하는 과정에서 오류가 포함될 수 있기 때문이다. 조도가 과도하게 보정된 이미지에 대해서 원격 광혈류 측정 방식으로 심박수를 추정하면 낮은 정확도의 결과가 산출될 수 있으므로, 위와 같이, 가중치 산출부(240)는 기산출된 가중치를 추가적으로 보정할 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 도 4 및 도 5에 따라 산출된 가중치를 이용하여 보정된 연속 이미지를 생성하는 방법의 일 예를 흐름도로 나타낸 것이다.
보정 이미지 생성부(250)는 가중치 산출부(240)에서 산출된 가중치를 연속 이미지에 적용하여, 관심 영역이 보정된 연속 이미지(corrected serial image)를 생성할 수 있다.
일 예로서, 보정 이미지 생성부(250)는 산출된 가중치를 저조도 환경의 연속 이미지에 적용할 수 있다(S610).
보정 이미지 생성부(250)는 저조도 환경의 연속 이미지의 조도 성분을 증폭시킬 수 있다(S630). 일 예로서, encoder-decoder 기반의 Enhance-net은 조도 성분을 증가시킬 수 있다.
보정 이미지 생성부(250)는 저조도 환경 연속 이미지의 반사 성분의 노이즈를 감소시킬 수 있다(S650). 일 예로서, 반사 성분의 노이즈 감소 연산(denosing operation)을 통해 제거될 수 있다. 조정 단계(adjustment)를 거침으로써, 저조도 환경의 연속 이미지는 조도 성분이 증가되었고, 반사 성분의 노이즈가 감소되었다.
보정 이미지 생성부(250)는 조정된 조도 성분과 반사 성분을 색차 성분(Cb 및 Cr)과 재조합(recomposition) 할 수 있다(S670). 도 3을 참조하면, 단계 S670에서 보정 이미지 생성부(250)는 조도 성분과 반사 성분을 재조합하여 보정된 휘도성분을 구성하는 것을 알 수 있다.
보정 이미지 생성부(250)는 재조합 단계를 거침으로써, 저조도 영향이 개선된 보정된 연속 이미지를 생성할 수 있다(S690). 보정 이미지 생성부(250)는 보정된 휘도 성분과 미리 분리해놓았던 색차 성분을 조합하여 보정된 연속 이미지를 생성하게 되며, 도 3에 도시된 것처럼, 색차 성분은 피부 검출 필터(Skin-Pixel Filter)에 의해서 비피부영역에 대한 색차는 제거되고, 피부영역에 대한 색차만 남겨진 상태일 수 있다.
도 7은 본 발명의 일 실시 예에 따른, 보정된 이미지 기반의 심판 추정 방법의 일 예를 흐름도로 나타낸 도면이다.
도 7은 도 1 및 도 2에서 설명한 심박 추정 장치(100)에 의해 구현될 수 있으므로, 도 1 및 도 2를 참조하여 설명하기로 하며, 이하에서, 전술한 내용과 중복되는 설명은 생략하기로 한다.
연속 이미지 획득부(210)는 연속 이미지를 획득한다(S710).
관심 영역 추출부(220)는 획득된 연속 이미지에서 관심 영역을 추출한다(S720).
색공간 변환부(230)는 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환한다(S730).
가중치 산출부(240)는 변환된 결과를 학습 모델에 입력하여 연속 이미지에 적용되는 가중치를 산출한다(S740).
보정 이미지 생성부(250)는 산출된 가중치를 연속 이미지에 적용하여 관심 영역이 보정된 연속 이미지를 생선한다(S750).
심박 추정부(260)는 보정된 연속 이미지의 관심 영역을 분석하여, 보정된 연속 이미지에 포함된 사람의 심박을 추정한다(S760).
본 발명에 따르면, 저조도 환경의 이미지의 조도를 증폭시킴으로써 저조도 영향을 개선할 수 있다.
또한, 본 발명에 따르면, 저조도 영향이 개선된 이미지를 이용하여 rPPG 방식의 심박을 추정함으로써 보다 정확한 심박 파형을 얻어 낼 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100 : 심박 추정 장치
110 : 데이터베이스
130 : 통신부
150 : 처리부
170 : 출력부
210 : 연속 이미지 획득부
220 : 관심 영역 추출부
230 : 색공간 변환부
240 : 가중치 산출부
250 : 보정 이미지 생성부
260 : 심박 추정부

Claims (5)

  1. 연속 이미지 획득부가 저조도 환경의 이미지 및 일반 환경의 이미지를 포함하는 연속 이미지(serial image)를 획득하는 단계;
    관심 영역 추출부가 상기 획득된 연속 이미지에서 관심 영역(ROI: Region Of Interest)를 추출하는 단계;
    색공간 변환부가 상기 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환하는 단계;
    가중치 산출부가 상기 변환된 결과를 학습모델에 입력하여 상기 연속 이미지에 적용되는 가중치를 산출하는 단계;
    보정 이미지 생성부가 상기 산출된 가중치를 상기 연속 이미지에 적용하여 상기 관심 영역이 보정된 연속 이미지를 생성하는 단계; 및
    심박 추정부가 상기 보정된 연속 이미지의 관심 영역을 분석하여, 상기 보정된 연속 이미지에 포함된 사람의 심박을 추정하는 단계를 포함하고,
    상기 가중치를 산출하는 단계는,
    상기 가중치 산출부가 상기 변환된 결과를 색차 성분과 휘도 성분으로 나누고, 상기 휘도 성분을 레티넥스 모델(Retinex-model)에 입력하고, 상기 저조도 환경의 이미지와 상기 일반 환경의 이미지 각각을 조도 성분과 반사 성분으로 분해하여 학습한 후 가중치를 산출하는 단계를 포함하는,
    보정된 이미지 기반 심박 추정 방법.
  2. 제1항에 있어서,
    상기 연속 이미지를 획득하는 단계는 RGB 카메라를 이용하여 30fps이상의 연속 이미지를 획득하는 단계를 더 포함하고,
    상기 연속 이미지는 사람의 얼굴 영역을 포함하고,
    상기 관심 영역은 상기 사람의 얼굴 영역인, 보정된 이미지 기반 심박 추정 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 보정된 이미지를 생성하는 단계는,
    상기 산출된 가중치를 상기 저조도 환경 이미지에 적용하여 조도 성분을 증가 시키고 반사 성분의 노이즈를 감소시키는 조정단계 및 상기 조정된 조도와 반사 성분을 상기 색차 성분과 재조합하는 단계로 이루어지는, 보정된 이미지 기반 심박 추정 방법.
  5. 저조도 환경의 이미지 및 일반 환경의 이미지를 포함하는 연속 이미지(serial image)를 획득하는 연속 이미지 획득부;
    상기 획득된 연속 이미지에서 관심 영역(ROI: Region Of Interest)를 추출하는 관심 영역 추출부;
    상기 추출된 관심 영역의 색공간을 RGB 영역에서 YCbCr 영역으로 변환하는 색공간 변환부;
    상기 변환된 결과를 학습모델에 입력하여 상기 연속 이미지에 적용되는 가중치를 산출하는 가중치산출부;
    상기 산출된 가중치를 상기 연속 이미지에 적용하여 상기 관심 영역이 보정된 연속 이미지를 생성하는 보정 이미지 생성부; 및
    상기 보정된 연속 이미지의 관심 영역을 분석하여, 상기 보정된 연속 이미지에 포함된 사람의 심박을 추정하는 심박 추정부를 포함하고,
    상기 가중치 산출부는 상기 변환된 결과를 색차 성분과 휘도 성분으로 나누고, 상기 휘도 성분을 레티넥스 모델(Retinex-model)에 입력하고, 상기 저조도 환경의 이미지와 상기 일반 환경의 이미지 각각을 조도 성분과 반사 성분으로 분해하여 학습한 후 가중치를 산출하는,
    보정된 이미지 기반 심박 추정 장치.
KR1020220046423A 2022-04-14 2022-04-14 보정된 이미지 기반 심박 추정 방법 및 그 장치 KR102468654B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220046423A KR102468654B1 (ko) 2022-04-14 2022-04-14 보정된 이미지 기반 심박 추정 방법 및 그 장치
PCT/KR2023/005047 WO2023200280A1 (ko) 2022-04-14 2023-04-13 보정된 이미지 기반 심박 추정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220046423A KR102468654B1 (ko) 2022-04-14 2022-04-14 보정된 이미지 기반 심박 추정 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102468654B1 true KR102468654B1 (ko) 2022-11-22

Family

ID=84236638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220046423A KR102468654B1 (ko) 2022-04-14 2022-04-14 보정된 이미지 기반 심박 추정 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102468654B1 (ko)
WO (1) WO2023200280A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200280A1 (ko) * 2022-04-14 2023-10-19 주식회사 바이오커넥트 보정된 이미지 기반 심박 추정 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007803A (ko) * 2017-07-13 2019-01-23 성균관대학교산학협력단 적외선 영상을 이용한 생체신호 측정 방법 및 장치
KR20210001486A (ko) * 2019-06-28 2021-01-07 박윤규 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치
KR102215557B1 (ko) 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989050B1 (ko) * 2017-08-28 2019-06-14 와이케이씨테크(주) 영상을 이용한 혈액점도 측정 방법 및 장치
KR102399453B1 (ko) * 2020-07-31 2022-05-19 성균관대학교산학협력단 피부 영상의 생체신호를 이용한 강인한 체온 측정 방법 및 장치
KR102468654B1 (ko) * 2022-04-14 2022-11-22 주식회사 바이오커넥트 보정된 이미지 기반 심박 추정 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007803A (ko) * 2017-07-13 2019-01-23 성균관대학교산학협력단 적외선 영상을 이용한 생체신호 측정 방법 및 장치
KR20210001486A (ko) * 2019-06-28 2021-01-07 박윤규 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치
KR102215557B1 (ko) 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200280A1 (ko) * 2022-04-14 2023-10-19 주식회사 바이오커넥트 보정된 이미지 기반 심박 추정 방법 및 그 장치

Also Published As

Publication number Publication date
WO2023200280A1 (ko) 2023-10-19

Similar Documents

Publication Publication Date Title
US9524548B2 (en) Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US9025826B2 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
McDuff Deep super resolution for recovering physiological information from videos
JP6138920B2 (ja) 遠隔検出される特性信号から情報を抽出するデバイス及び方法
US20130322729A1 (en) Processing a video for vascular pattern detection and cardiac function analysis
US11547309B2 (en) Biological information detection device, biological information detection method and non-transitory computer-readable storage medium for biological information detection
US9962126B2 (en) Signal processor, signal processing method, and recording medium
JP6957929B2 (ja) 脈波検出装置、脈波検出方法、及びプログラム
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
JP6927322B2 (ja) 脈波検出装置、脈波検出方法、及びプログラム
EP3217659B1 (en) Image processing apparatus, image processing method, and program
KR102468654B1 (ko) 보정된 이미지 기반 심박 추정 방법 및 그 장치
CN111513701A (zh) 心率检测方法、装置、计算机设备和可读存储介质
CN114557685B (zh) 一种非接触式运动鲁棒心率测量方法及测量装置
EP3378387A1 (en) Heart rate estimation from face videos using quality based fusion
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
CN110321782B (zh) 一种检测人体特征信号的系统
US20210244287A1 (en) Heartbeat detection device, heartbeat detection method, and program
JP7237768B2 (ja) 生体情報検出装置
JP6585623B2 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
CN110547782B (zh) 一种用于无接触式测量的脉率信号处理方法及装置
EP4163883A1 (en) Video processing apparatus, control method therefor, and program
Ahamed Dynamics Reconstruction of Remote Photoplethysmography
Jyothi et al. Real-time Estimation of Heart Rate from Facial Video
JP2021178055A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
GRNT Written decision to grant