KR102369059B1

KR102369059B1 - 비접촉식 심박 측정 장치 및 방법

Info

Publication number: KR102369059B1
Application number: KR1020210083277A
Authority: KR
Inventors: 김겸; 연창균
Original assignee: 주식회사 무하유
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2022-03-03

Abstract

표정 변화에 강건한 비접촉식 심박 측정 장치 및 방법에 관한 것으로, 심박 측정 대상자의 영상을 획득하는 영상 획득부, 상기 획득한 영상으로부터 얼굴 영역을 검출하는 얼굴 검출부, 상기 얼굴 영역에 상응하는 픽셀별 RGB값을 저장하는 저장부, 그리고 상기 얼굴 검출부 및 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 얼굴 영역이 검출되면 상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하고, 상기 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하며, 상기 획득한 픽셀별 RGB값을 상기 영상의 구간별로 저장하도록 상기 저장부를 제어하고, 상기 영상의 구간별로 저장된 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하며, 상기 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하며, 상기 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정할 수 있다.
본 발명은 서울특별시 서울산업진흥원 2020년도 인공지능(AI) 기술사업화 지원사업(CY201042) "비대면 채용환경개선을 위한 AI채용 평가시스템 사업화"를 통해 개발된 기술이다.

Description

비접촉식 심박 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASURING HEART RATE WITHOUT CONTACT}

본 발명은 심박 측정 장치에 관한 것으로, 보다 구체적으로 표정 변화에 강건한 비접촉식 심박 측정 장치 및 방법에 관한 것이다.

일반적으로, 심박수는, 심장 활동을 대표하는 지표 중 하나로, 심리치료, 면접, 거짓말 탐지 등의 다양한 분야에서 활발히 이용되고 있다.

종래에는, 이러한 심박수 데이터를 얻기 위하여 신체 일부에 접촉센서를 부착하여 사용자의 심박을 측정하였다.

하지만, 이러한 방법들이 표준화되고 비교적 정확한 결과를 주지만, 센서를 부착해야 하기 때문에 여러 불편함을 야기하고 있다.

이에 따라, 이후 등장한 영상기반 비접촉식 심박 측정기술은, 사용자의 편의성을 크게 개선하는데 기여하였다.

그러나, 이러한 편의성에도 불구하고 여전히 접촉식 심박측정에 비해 정확도가 떨어진다는 단점을 포함해 여러 제약이 존재하는 상황이다.

기존에 제안된 비접촉식 심박 측정 방식은, 먼저, 측정 영역을 선택하고, 선택 영역의 피부 색변화를 측정하며, 측정된 피부 색변화의 특징을 추출한 다음, 심박을 추론하는 과정을 거쳐 심박을 측정하고 있다.

하지만, 심박 측정 과정에서, 피부 색변화 측정 과정와 특징 추출 과정에서, 작은 표정변화나 조명변화에도 많은 노이즈가 발생하므로, 이로 인해 심박 측정에 대한 정확성이 저하되는 문제들이 존재하였다.

따라서, 향후, 비접촉식 심박 측정 방식에서, 노이즈를 최소화하여 심박 측정에 대한 정확성을 향상시킬 수 있는 비접촉식 심박 측정 장치의 개발이 요구되고 있다.

대한민국 등록특허 10-2261526호 (2021. 06. 01)

상술한 바와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 영상의 구간별로 노이즈가 적은 픽셀의 RGB값들을 선택하고 이를 기반으로 신호를 추출함으로써, 접촉 센서 없이 원격으로 심박 측정이 가능하고, 노이즈를 최소화하여 심박 측정에 대한 정확성 및 신뢰성을 향상시킬 수 있는 비접촉식 심박 측정 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치는, 심박 측정 대상자의 영상을 획득하는 영상 획득부, 상기 획득한 영상으로부터 얼굴 영역을 검출하는 얼굴 검출부, 상기 얼굴 영역에 상응하는 픽셀별 RGB값을 저장하는 저장부, 그리고 상기 얼굴 검출부 및 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 얼굴 영역이 검출되면 상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하고, 상기 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하며, 상기 획득한 픽셀별 RGB값을 상기 영상의 구간별로 저장하도록 상기 저장부를 제어하고, 상기 영상의 구간별로 저장된 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하며, 상기 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하고, 상기 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정할 수 있다.

실시 예에 있어서, 상기 영상 획득부는, 상기 심박 측정 대상자의 얼굴을 포함하는 상체 영역 또는 두부 영역을 촬영하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택할 때, 상기 얼굴 영역 중 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 특정 영역에 상응하는 픽셀별 RGB값을 획득할 때, 상기 특정 영역에 상응하는 픽셀별 RGB값을 획득한 후에, 상기 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나누고, 상기 영상의 구간별로 획득한 픽셀별 RGB값을 각각 리스트로 저장하도록 상기 저장부를 제어하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나눌 때, 상기 영상의 마지막 구간이 상기 미리 설정된 시간 단위로 나누어지지 않으면 상기 마지막 구간에 상응하는 픽셀별 RGB값을 제거하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 상기 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 상기 각 구간의 평균 분산값들 중 평균 분산값이 작은 순서로 전체 개수의 소정 비율에 해당하는 특정 픽셀들을 구간별로 선택하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 상기 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 상기 각 구간의 평균 분산값들에 따라 픽셀들을 군집화하며, 상기 군집화된 픽셀들 중 가장 평균 분산이 작은 군집에 해당하는 특정 픽셀들을 구간별로 선택하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 피부색 변화를 검출할 때, 상기 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 리스트로 저장하도록 상기 저장부를 제어하고, 상기 저장부로부터 상기 구간별로 획득한 RGB값들을 연결하여 상기 피부색 변화에 상응하는 3차원 시계열 데이터를 획득하며, 상기 3차원 시계열 데이터를 기초로 상기 피부색 변화를 검출하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 피부색 변화로부터 특징을 추출할 때, 상기 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 상기 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 상기 1차원 시계열 데이터를 기초로 특징을 추출하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어부는, 상기 심박수를 측정할 때, 상기 특징 추출을 위한 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환하고, 상기 변환된 주파수 신호를 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출하며, 상기 추출한 주파수 대역의 신호를 역푸리에 변환을 이용하여 시계열 신호로 재변환하고, 상기 시계열 신호의 피크를 검출하여 분당 심박수를 측정하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치의 심박 측정 방법은, 심박 측정 대상자의 영상을 획득하는 단계, 상기 획득한 영상으로부터 얼굴 영역을 검출하는 단계, 상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하는 단계, 상기 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하여 상기 영상의 구간별로 저장하는 단계, 상기 영상의 구간별로 저장된 RGB값들의 평균 분산값을 산출하는 단계, 상기 산출한 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하는 단계, 상기 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하는 단계, 및 상기 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정하는 단계를 포함하는 것을 특징으로 한다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 심박 측정 방법을 제공하는 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상술한 방법 중 어느 하나의 방법을 수행하기 위해 매체에 저장된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같이 본 발명에 따르면, 영상의 구간별로 노이즈가 적은 픽셀의 RGB값들을 선택하고 이를 기반으로 신호를 추출함으로써, 사람의 몸에 부착하는 접촉 센서 없이 원격으로 심박 측정이 가능하고, 노이즈를 최소화하여 심박 측정에 대한 정확성 및 신뢰성을 향상시킬 수 있다.

즉, 피부 표면의 미세한 색변화를 감지해 심박을 측정하는 기술의 본질상, 작은 표정변화나 조명변화에도 많은 노이즈가 발생할 수 있지만, 본 발명은, 촬영시작부터 끝까지 같은 영역을 사용하는 것보다 시간에 따라 노이즈가 적은 영역만을 선별적으로 이용함으로써, 심박 추정 정확도를 향상시킬 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은, 본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치를 설명하기 위한 블록 구성도이다.
도 2는, 영상 구간별 평균 RGB값의 3차원 시계열 데이터를 보여주는 그래프이다.
도 3은, 영상 구간별 평균 RGB값의 2차원 시계열 데이터를 보여주는 그래프이다.
도 4는, 영상 구간별 평균 RGB값의 1차원 시계열 데이터를 보여주는 그래프이다.
도 5는, 시계열 데이터로부터 변환된 주파수 신호를 보여주는 그래프이다.
도 6은, 주파수 신호로부터 사람의 심박수 대역에 해당하는 주파수 대역을 보여주는 그래프이다.
도 7은, 심박수 측정을 위해 검출되는 시계열 신호의 피크를 보여주는 그래프이다.
도 8은, 본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치의 심박 측정 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

도 1은, 본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치를 설명하기 위한 블록 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 비접촉식 심박 측정 장치는, 심박 측정 대상자의 영상을 획득하는 영상 획득부(110), 획득한 영상으로부터 얼굴 영역을 검출하는 얼굴 검출부(120), 얼굴 영역에 상응하는 픽셀별 RGB값을 저장하는 저장부(130), 그리고 영상 획득부(110), 얼굴 검출부(120) 및 저장부(130)를 제어하는 제어부(140)를 포함할 수 있다.

여기서, 영상 획득부(110)는, 웹캠 등을 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

그리고, 영상 획득부(110)는, 심박 측정 대상자의 얼굴을 포함하는 상체 영역 또는 두부 영역을 촬영할 수 있다.

일 예로, 영상 획득부(110)는, 심박 측정 대상자의 얼굴을 포함하는 상체 영역 또는 두부 영역을 촬영할 때, 약 30fps로 촬영할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

다음, 얼굴 검출부(120)는, 이미지의 지역적 그라디언트를 이용하는 HOG(Histogram Of Gradients) 알고리즘 및 얼굴 상의 명암 대비를 이용하는 비올라존스 알고리즘 중 적어도 어느 하나를 이용하여 얼굴 영역을 검출할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

이어, 제어부(140)는, 얼굴 영역이 검출되면 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하고, 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하며, 획득한 픽셀별 RGB값을 영상의 구간별로 저장하도록 저장부(130)를 제어하고, 영상의 구간별로 저장된 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하며, 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하고, 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정할 수 있다.

여기서, 제어부(140)는, 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택할 때, 얼굴 영역 중 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

예를 들면, 제어부(140)는, 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택할 때, dlib를 포함하는 얼굴 인식 방식을 이용하여 얼굴 영역으로부터 68개의 얼굴 랜드마크를 검출하고, 검출된 68개의 얼굴 랜드마크로부터 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

그리고, 제어부(140)는, 특정 영역에 상응하는 픽셀별 RGB값을 획득할 때, 특정 영역에 상응하는 픽셀별 RGB값을 획득한 후에, 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나누고, 영상의 구간별로 획득한 픽셀별 RGB값을 각각 리스트로 저장하도록 저장부(130)를 제어할 수 있다.

여기서, 제어부(140)는, 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나눌 때, 영상의 마지막 구간이 미리 설정된 시간 단위로 나누어지지 않으면 마지막 구간에 상응하는 픽셀별 RGB값을 제거할 수 있다.

예를 들면, 제어부(140)는, 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나눌 때, 영상을 약 5초 단위로 다수의 구간으로 나눌 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

또한, 나뉘어진 각 구간의 총 영상 프레임 수는, 각 구간의 총 영상 프레임 수 = 초당 영상 프레임 수 × 미리 설정된 시간 단위로 이루어지는 수식으로 산출될 수 있다.

예를 들면, 초당 영상 프레임 수가 약 30fps이고, 미리 설정된 시간 단위가 약 5초이면 각 구간의 총 영상 프레임 수는, 150 프레임일 수 있다.

다음, 제어부(140)는, RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 각 구간의 평균 분산값들 중 평균 분산값이 작은 순서로 전체 개수의 소정 비율에 해당하는 특정 픽셀들을 구간별로 선택할 수 있다.

여기서, 제어부(140)는, 특정 픽셀들을 구간별로 선택할 때, 구간별 전체 개수의 30% 비율에 해당하는 특정 픽셀들을 구간별로 선택할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

다른 경우로서, 제어부(140)는, RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 각 구간의 평균 분산값들에 따라 픽셀들을 군집화하며, 군집화된 픽셀들 중 가장 평균 분산이 작은 군집에 해당하는 특정 픽셀들을 구간별로 선택할 수도 있다.

여기서, 제어부(140)는, 픽셀들을 군집화할 때, K-means 클러스터링을 이용하여 각 구간의 평균 분산값들에 따라 픽셀들을 군집화할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

이어, 제어부(140)는, 피부색 변화를 검출할 때, 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 리스트로 저장하도록 저장부(130)를 제어하고, 저장부(130)로부터 구간별로 획득한 RGB값들을 연결하여 피부색 변화에 상응하는 3차원 시계열 데이터를 획득하며, 3차원 시계열 데이터를 기초로 피부색 변화를 검출할 수 있다.

여기서, 제어부(140)는, 3차원 시계열 데이터를 획득할 때, 슬라이딩 윈도우 방식으로 3차원 시계열 데이터를 획득할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

예를 들면, 제어부(140)는, 슬라이딩 윈도우 방식으로 3차원 시계열 데이터를 획득할 때, 윈도우 사이즈를 약 10초로 설정하고, 인터벌 사이즈를 약 1초로 설정하여 3차원 시계열 데이터를 획득할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.

그리고, 제어부(140)는, 피부색 변화로부터 특징을 추출할 때, 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 1차원 시계열 데이터를 기초로 특징을 추출할 수 있다.

다음, 제어부(140)는, 심박수를 측정할 때, 특징 추출을 위한 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환하고, 변환된 주파수 신호를 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출하며, 추출한 주파수 대역의 신호를 역푸리에 변환을 이용하여 시계열 신호로 재변환하고, 시계열 신호의 피크를 검출하여 분당 심박수를 측정할 수 있다.

이와 같이, 구성되는 본 발명은, 먼저, 사용자의 웹캠 등을 이용하여 약 30fps로 사용자의 얼굴을 포함하는 상체 혹은 두부를 촬영한 영상을 획득할 수 있다.

여기서, 얼굴 영역은, 피부가 얇고 혈관이 피부 표면에 위치해 혈류량 변화에 따른 피부색 변화가 큰 영역으로 심박 활동을 모니터링하기 좋은 영역이다.

다음, 본 발명은, 촬영한 영상으로부터 얼굴 영역을 검출할 수 있다.

이 과정에서, 본 발명은, 이미지의 지역적 그라디언트를 이용하는 HOG 알고리즘, 얼굴 상의 명암대비를 이용하는 비올라존스 알고리즘 등이 사용될 수 있다.

그리고, 본 발명은, 검출된 얼굴 영역으로부터 양 뺨을 포함하는 두 개의 직사각형 영역을 선택할 수 있다.

여기서, 본 발명은, dlib의 68개의 얼굴 랜드마크를 이용해서 이러한 직사각형 영역을 선택할 수 있다.

이어, 본 발명은, 촬영된 영상을 약 5초 단위로 여러 구간으로 나눌 수 있다.

예를 들면, 본 발명은, 각 구간당 5 sec * 30 fps = 150프레임으로 이루어지는 수식을 통해 150 프레임의 영상을 획득할 수 있다.

여기서, 마지막 구간이 5초 단위로 나누어지지 않을 경우, 마지막 구간은 심박 측정 데이터에서 제외할 수 있다.

다음, 본 발명은, 구간별로 선택된 영역의 각 픽셀별 RGB값을 리스트로 저장할 수 있다.

이어, 본 발명은, 구간별로 저장된 Red, Green, Blue 채널의 평균 분산값이 작은 순으로 전체 개수의 약 30%에 해당하는 픽셀들을 선택할 수 있다.

여기서, 픽셀 선택 기준으로 평균 분산값을 설정한 이유는, 머리 움직임이나 조명 변화, 표정 변화에 의한 얼굴 표면의 Red, Green, Blue 채널값의 변화가 심박으로 인한 Red, Green, Blue 채널값의 변화보다 상대적으로 크게 나타나기 때문이다.

따라서, 본 발명은, 평균 분산값이 작은 부분이 외부 움직임으로 인한 노이즈가 적은 부분으로 볼 수 있다.

그리고, 본 발명은, 피부색 검출 과정을 수행할 수 있는데, 먼저, 구간별로 선택된 픽셀에 해당하는 평균 Red, Green, Blue 값을 리스트로 저장할 수 있다.

이어, 본 발명은, 이후 구간별로 얻어진 Red, Green, Blue값을 이어 붙여 피부색 변화에 해당하는 3차원의 시계열 자료를 얻을 수 있다.

이 과정에서, 본 발명은, 슬라이딩 윈도우 기법이 사용될 수 있고, 윈도우 사이즈는, 약 10초, 인터벌 사이즈는, 약 1초로 설정할 수 있다.

도 2는, 영상 구간별 평균 RGB값의 3차원 시계열 데이터를 보여주는 그래프로서, 도 2에 도시된 바와 같이, 구간별로 획득한 RGB값들을 연결하여 피부색 변화에 상응하는 3차원 시계열 데이터를 획득하며, 3차원 시계열 데이터를 기초로 피부색 변화를 검출할 수 있다.

다음, 본 발명은, 특징 검출 과정을 수행할 수 있는데, 전과정에서 얻어진 3차원의 시계열 자료를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거할 수 있다.

그리고, 본 발명은, 얻어진 2차원의 시계열 자료를 가지고 두 신호의 표준 오차를 이용한 가중합 과정을 통해 최종적인 1차원 시계열 자료를 얻을 수 있다.

도 3은, 영상 구간별 평균 RGB값의 2차원 시계열 데이터를 보여주는 그래프이고, 도 4는, 영상 구간별 평균 RGB값의 1차원 시계열 데이터를 보여주는 그래프이다.

도 3 및 도 4에 도시된 바와 같이, 본 발명은, 피부색 변화로부터 특징을 추출할 때, 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 1차원 시계열 데이터를 기초로 특징을 추출할 수 있다.

다음, 본 발명은, 밴드패스 필터 통과 과정을 수행할 수 있는데, 얻어진 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환한 후, 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출할 수 있다.

도 5는, 시계열 데이터로부터 변환된 주파수 신호를 보여주는 그래프이고, 도 6은, 주파수 신호로부터 사람의 심박수 대역에 해당하는 주파수 대역을 보여주는 그래프이다.

도 5 및 도 6에 도시된 바와 같이, 본 발명은, 특징 추출을 위한 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환하고, 변환된 주파수 신호를 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출할 수 있다.

이어, 본 발명은, 심박수 추론 과정을 수행할 수 있는데, 필터를 통과해 얻어진 주파수 대역의 신호를 역푸리에 변환을 이용해 시계열 신호로 다시 변환한 후, 피크(peak)를 감지해 분당 심박수를 측정할 수 있다.

도 7은, 심박수 측정을 위해 검출되는 시계열 신호의 피크를 보여주는 그래프로서, 도 7에 도시된 바와 같이, 본 발명은, 심박수를 측정할 때, 추출한 주파수 대역의 신호를 역푸리에 변환을 이용하여 시계열 신호로 재변환하고, 시계열 신호의 피크를 검출하여 분당 심박수를 측정할 수 있다.

이처럼, 본 발명은, 시간에 따라 노이즈가 적은 영역을 선별적으로 이용해 심박을 추정하는 기술로서, 선택된 영역은, 사용자의 웹캠 등을 이용해 비접촉식으로 촬영될 수 있다.

즉, 본 발명은, 첫째, 사용자의 몸에 부착하는 접촉센서 없이 원격으로 심박을 추정할 수 있는 특징을 가질 수 있으며, 둘째, 사용자의 표정 변화 등의 영향을 최소화하기 위해 시간에 따라 선별적으로 영역을 선택해 신호를 추출하는 특징을 가질 수 있다.

피부 표면의 미세한 색변화를 감지해 심박을 측정하는 기술의 본질상, 작은 표정변화나 조명변화에도 많은 노이즈가 발생할 수 있지만, 본 발명은, 촬영시작부터 끝까지 같은 영역을 사용하는 것보다 시간에 따라 노이즈가 적은 영역만을 선별적으로 이용함으로써, 심박 추정 정확도를 향상시킬 수 있다.

따라서, 본 발명은, 영상의 구간별로 노이즈가 적은 픽셀의 RGB값들을 선택하고 이를 기반으로 신호를 추출함으로써, 사람의 몸에 부착하는 접촉 센서 없이 원격으로 심박 측정이 가능하고, 노이즈를 최소화하여 심박 측정에 대한 정확성 및 신뢰성을 향상시킬 수 있다.

도 8은, 본 발명의 일 실시예에 따른 비접촉식 심박 측정 장치의 심박 측정 방법을 설명하기 위한 흐름도이다.

도 8에 도시된 바와 같이, 본 발명은, 심박 측정 대상자의 영상을 획득할 수 있다(S10).

여기서, 본 발명은, 심박 측정 대상자의 얼굴을 포함하는 상체 영역 또는 두부 영역을 촬영한 영상을 획득할 수 있다.

그리고, 본 발명은, 획득한 영상으로부터 얼굴 영역을 검출할 수 있다(S20).

여기서, 본 발명은, 이미지의 지역적 그라디언트를 이용하는 HOG(Histogram Of Gradients) 알고리즘 및 얼굴 상의 명암 대비를 이용하는 비올라존스 알고리즘 중 적어도 어느 하나를 이용하여 얼굴 영역을 검출할 수 있다.

이어, 본 발명은, 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택할 수 있다(S30).

여기서, 본 발명은, 얼굴 영역 중 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택할 수 있다.

일 예로, 본 발명은, dlib를 포함하는 얼굴 인식 방식을 이용하여 얼굴 영역으로부터 68개의 얼굴 랜드마크를 검출하고, 검출된 68개의 얼굴 랜드마크로부터 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택할 수 있다.

다음, 본 발명은, 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하여 영상의 구간별로 저장할 수 있다(S40).

여기서, 본 발명은, 특정 영역에 상응하는 픽셀별 RGB값을 획득한 후에, 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나누고, 영상의 구간별로 획득한 픽셀별 RGB값을 각각 리스트로 저장할 수 있다.

이때, 본 발명은, 영상의 마지막 구간이 미리 설정된 시간 단위로 나누어지지 않으면 마지막 구간에 상응하는 픽셀별 RGB값을 제거할 수 있다.

그리고, 본 발명은, 영상의 구간별로 저장된 RGB값들의 평균 분산값을 산출할 수 있다(S50).

이어, 본 발명은, 산출한 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 수 있다(S60).

여기서, 본 발명은, 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 각 구간의 평균 분산값들 중 평균 분산값이 작은 순서로 전체 개수의 소정 비율에 해당하는 특정 픽셀들을 구간별로 선택할 수 있다.

경우에 따라, 본 발명은, 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 각 구간의 평균 분산값들에 따라 픽셀들을 군집화하며, 군집화된 픽셀들 중 가장 평균 분산이 작은 군집에 해당하는 특정 픽셀들을 구간별로 선택할 수도 있다.

다음, 본 발명은, 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출할 수 있다(S70).

여기서, 본 발명은, 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 리스트로 저장하고, 구간별로 획득한 RGB값들을 연결하여 피부색 변화에 상응하는 3차원 시계열 데이터를 획득하며, 3차원 시계열 데이터를 기초로 피부색 변화를 검출할 수 있다.

그리고, 본 발명은, 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정할 수 있다(S80).

여기서, 본 발명은, 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 1차원 시계열 데이터를 기초로 특징을 추출할 수 있다.

또한, 본 발명은, 특징 추출을 위한 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환하고, 변환된 주파수 신호를 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출하며, 추출한 주파수 대역의 신호를 역푸리에 변환을 이용하여 시계열 신호로 재변환하고, 시계열 신호의 피크를 검출하여 분당 심박수를 측정할 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

심박 측정 대상자의 영상을 획득하는 영상 획득부;
상기 획득한 영상으로부터 얼굴 영역을 검출하는 얼굴 검출부;
상기 얼굴 영역에 상응하는 픽셀별 RGB값을 저장하는 저장부; 그리고,
상기 얼굴 검출부 및 저장부를 제어하는 제어부를 포함하고,
상기 제어부는,
상기 얼굴 영역이 검출되면 상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하고, 상기 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하며, 상기 획득한 픽셀별 RGB값을 상기 영상의 구간별로 저장하도록 상기 저장부를 제어하고, 상기 영상의 구간별로 저장된 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하며, 상기 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하고, 상기 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정하고,
상기 검출된 피부색 변화로부터 특징을 추출할 때, 상기 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 상기 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 상기 1차원 시계열 데이터를 기초로 특징을 추출하는 것을 특징으로 하는 심박 측정 장치.
제1 항에 있어서,
상기 제어부는,
상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택할 때, 상기 얼굴 영역 중 양쪽 뺨을 포함하는 2개의 직사각형 영역을 선택하는 것을 특징으로 하는 심박 측정 장치.
제1 항에 있어서,
상기 제어부는,
상기 특정 영역에 상응하는 픽셀별 RGB값을 획득할 때, 상기 특정 영역에 상응하는 픽셀별 RGB값을 획득한 후에, 상기 영상을 미리 설정된 시간 단위별로 다수의 구간으로 나누고, 상기 영상의 구간별로 획득한 픽셀별 RGB값을 각각 리스트로 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 심박 측정 장치.
제1 항에 있어서,
상기 제어부는,
상기 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 상기 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 상기 각 구간의 평균 분산값들 중 평균 분산값이 작은 순서로 전체 개수의 소정 비율에 해당하는 특정 픽셀들을 구간별로 선택하는 것을 특징으로 하는 심박 측정 장치.
제1 항에 있어서,
상기 제어부는,
상기 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택할 때, 상기 영상의 구간별로 RGB값들의 평균 분산값을 산출하고, 상기 각 구간의 평균 분산값들에 따라 픽셀들을 군집화하며, 상기 군집화된 픽셀들 중 가장 평균 분산이 작은 군집에 해당하는 특정 픽셀들을 구간별로 선택하는 것을 특징으로 하는 심박 측정 장치.
제1 항에 있어서,
상기 제어부는,
상기 피부색 변화를 검출할 때, 상기 구간별로 선택된 특정 픽셀들에 상응하는 평균 RGB값을 리스트로 저장하도록 상기 저장부를 제어하고, 상기 저장부로부터 상기 구간별로 획득한 RGB값들을 연결하여 상기 피부색 변화에 상응하는 3차원 시계열 데이터를 획득하며, 상기 3차원 시계열 데이터를 기초로 상기 피부색 변화를 검출하는 것을 특징으로 하는 심박 측정 장치.
삭제
제1 항에 있어서,
상기 제어부는,
상기 심박수를 측정할 때, 상기 특징 추출을 위한 시계열 데이터를 고속 푸리에 변환을 통해 주파수 신호로 변환하고, 상기 변환된 주파수 신호를 버터워스 밴드패스 필터를 통과시켜 사람의 심박수 대역에 해당하는 주파수 대역을 추출하며, 상기 추출한 주파수 대역의 신호를 역푸리에 변환을 이용하여 시계열 신호로 재변환하고, 상기 시계열 신호의 피크를 검출하여 분당 심박수를 측정하는 것을 특징으로 하는 심박 측정 장치.
비접촉식 심박 측정 장치의 심박 측정 방법에 있어서,
심박 측정 대상자의 영상을 획득하는 단계;
상기 획득한 영상으로부터 얼굴 영역을 검출하는 단계;
상기 얼굴 영역 중 피부색 검출을 위한 특정 영역을 선택하는 단계;
상기 선택된 특정 영역에 상응하는 픽셀별 RGB값을 획득하여 상기 영상의 구간별로 저장하는 단계;
상기 영상의 구간별로 저장된 RGB값들의 평균 분산값을 산출하는 단계;
상기 산출한 RGB값들의 평균 분산값을 기초로 구간별 특정 픽셀들을 선택하는 단계;
상기 선택된 특정 픽셀들에 상응하는 평균 RGB값을 기초로 피부색 변화를 검출하는 단계; 및
상기 검출된 피부색 변화로부터 특징을 추출하여 심박수를 측정하는 단계를 포함하고,
상기 검출된 피부색 변화로부터 특징을 추출할 때, 상기 피부색 변화 검출을 위한 3차원 시계열 데이터를 각 사람의 피부색에 직교하는 2차원 공간으로 투영시켜 노이즈를 제거하여 2차원 시계열 데이터를 획득하고, 상기 2차원 시계열 데이터를 기초로 표준오차를 이용한 가중합 과정을 통해 1차원 시계열 데이터를 획득하며, 상기 1차원 시계열 데이터를 기초로 특징을 추출하는 것을 특징으로 하는 심박 측정 방법.
하드웨어인 컴퓨터와 결합되어, 제9 항의 방법을 실행하기 위해 컴퓨터 판독가능 기록 매체에 저장된 프로그램.