KR101741904B1 - 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템 - Google Patents

Abstract

본 발명에 따르면, 신생아를 촬영한 영상데이터를 획득하는 영상획득 단계(S110); 상기 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse) 데이터를 추출하는 BVP데이터 추출단계(S120); 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출 단계(S130); 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값 선정 단계(S140); 각 피크값의 시간간격값(Tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산 단계(S150); 및 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수 산출 단계(S160);를 포함하는 영상기반의 심박수 측정방법을 개시한다.

Description

영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템{IMAGE-PROCESSING-BASED HEARTRATE MEASURING METHOD AND, NEWBORN BABY IMAGE PROVIDING SYSTEM}

본 발명은 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템에 관한 것으로, 보다 상세하게는 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 신생아의 심박수를 산출하는 영상기반의 심박수 측정방법 및, 이를 통해 측정된 심박수 데이터를 이용하여 신생아의 활동적인 상태변화를 판단하고 상태변화 구간에 대한 영상데이터를 선별적으로 제공할 수 있는 신생아 영상시스템에 관한 것이다.

일반적으로 산부인과나 산후조리원의 경우 면역력이 약한 신생아와 산모의 감염예방을 위해 면회시간에 제한을 두고 있어 정해진 면회시간에 맞추어 방문해야 하는 불편함이 있었다.

이러한 문제점을 해결하기 위해 종래에는 신생아를 촬영한 영상데이터를 지정된 TV로 방송하여 면회시간 이외에도 신생아의 모습을 볼 수 있도록 하기 위한 방송시스템이 개시된 바 있으며, 이러한 방송시스템의 경우 지정된 면회시간 이외에도 신생아를 볼 수 있는 장점이 있었다.

그러나, 일반적으로 신생아는 대부분의 시간동안 수면하며 잠에서 깨어 활동하는 시간이 매우 짧기 때문에 신생아의 부모나 지인 등의 사용자는 아무런 영상의 변화가 없는 무의미한 영상 위주로 시청하게 되며 신생아가 울거나 웃거나 하품하거나 배냇짓하는 등의 활동적인 모습을 기다려야 하는 불편함이 있었다.

한편, 종래에는 심박수를 측정하기 위해 감지센서를 맥박부위에 배치한 후 감지되는 맥박을 통해 심박수를 산출할 수 있었으나, 이러한 감지센서를 이용한 심박수 측정방식을 체구가 작은 신생아에게 적용하기가 제한되었다.

이에 신생아를 촬영한 영상데이터를 영상분석하여 심장박동시 신생아의 머리 또는 몸부분이 미세하게 요동하는 움직임을 감지함으로써 간접적으로 심박수를 측정할 수 있었으나 측정데이터에 오차가 심해 정상적인 심박수 측정이 불가한 문제점이 있었다.

공개특허공보 제10-2003-0072647호(2003.09.19), 산후조리원 신생아 영상전송 및 산후조리원내 방송에 관한 방송시스템 서비스

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 산출하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값의 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 산출된 심박수의 오차를 최소화할 수 있는 영상기반의 심박수 측정방법 및, 이를 이용하여 산출된 심박수 데이터를 이용하여 신생아가 웃거나 울거나 하품하거나 배냇짓하는 등의 퍼포먼스 활동을 하는 구간에 대한 영상데이터를 추출하여 선택적으로 저장 또는 전송함으로써 사용자에게 의미있는 영상 위주로 시청할 수 있도록 한 신생아 영상시스템을 제공하는 것에 있다.

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 다른 목적은 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 산출하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 산출된 심박수의 오차를 최소화할 수 있는 영상기반의 심박수 측정방법을 제공하는 것에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 영상기반의 심박수 측정방법 은 신생아를 촬영한 영상데이터를 획득하는 영상획득 단계(S110); 상기 영상데이터의 영상분석을 통해 신생아의 얼굴영역을 추적하고 측정된 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse) 데이터를 추출하는 BVP데이터 추출단계(S120); 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출 단계(S130); 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값 선정 단계(S140); 각 피크값의 시간간격값(Tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산 단계(S150); 및 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수 산출 단계(S160);를 포함한다.

여기서, 상기 BVP데이터 추출단계(S120)는, 상기 영상데이터를 영상처리하여 신생아의 얼굴상의 특징점을 기초로 하여 영상데이터 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적할 수 있다.

또한, 상기 피크값후보 추출 단계(S130)는, 상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'인 위치를 피크값후보로 추출할 수 있다.

또한, 상기 피크값후보 추출 단계(S130)는, 상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'이되, 기울기가 + 에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외할 수 있다.

또한, 상기 피크값 선정 단계(S140)는, 일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정할 수 있다.

또한, 상기 피크값 선정 단계(S140)는, 상기 최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰값을 갖는 해당 피크값후보를 피크값으로 선정하고, 이후, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복하여 상기 서브윈도우가 갖는 최적으로 시간축선상의 폭을 결정하며, 이후, 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영할 수 있다.

또한, 상기 피크값 선정 단계(S140)는, 평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며, 상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정할 수 있다.

또한, 상기 가중평균값 연산 단계(S150)는, 각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고, 중간 데이터값의 반영비율은 높여 상기 가중평균값을 연산할 수 있다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 신생아 영상시스템은, 신생아를 촬영하여 영상데이터를 획득하는 영상획득부(100); 상기 영상획득부(100)로부터 획득된 영상데이터를 저장하는 영상저장부(200); 및 상기 영상데이터를 영상분석하여 측정된 신생아의 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP데이터를 추출하고 추출된 BVP데이터를 이용하여 신생아의 심박수를 산출하며, 신생아가 웃거나 울거나 하품하거나 배냇짓하는 등의 퍼포먼스 활동시 발생되는 심박수패턴 기준데이터 또는 수면시 발생되는 심박수패턴 기준데이터와 산출된 심박수 데이터를 비교하여 신생아의 상태변화를 판단하고 판단된 결과에 따라 상태변화 구간에 대한 영상데이터를 선택적으로 저장 또는 전송하도록 제어하는 제어부(300);를 포함한다.

여기서, 상기 영상획득부(100), 영상저장부(200) 및, 제어부(300)에 대해서, 상기 산부인과 또는 산후조리원의 사용자의 설정을 입력받는 것이 가능하며, 상기 영상데이터의 일부 또는 전부를 디스플레이하는 인터페이스부(400);를 더 포함할 수 있다.

본 발명에 따른 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템에 의하면, 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 산출하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값의 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 측정된 심박수의 오차를 최소화할 수 있다.

또한, 신생아가 웃거나 울거나 하품하거나 배냇짓하는 등의 퍼포먼스 활동(동적 활동)시 또는 수면시(정적활동) 발생되는 심박수패턴 기준데이터와 산출된 심박수 데이터를 비교하여 신생아의 활동적인 상태변화를 판단하고 판단된 결과에 따라 상태변화 구간에 대한 영상데이터를 선택적으로 저장 또는 전송하도록 제어함으로써 사용자에게 의미있는 영상 위주로 신생아의 영상을 제공할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 신생아 영상시스템의 기능적 구성을 나타낸 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 영상획득부에서 신생아의 모습을 촬영한 사진,
도 3a 및 도 3b는 본 발명의 바람직한 실시예에 따른 심박수검출부의 동작원리를 설명하기 위한 그래프,
도 4는 본 발명의 바람직한 실시예에 따른 제어부의 기능적 구성을 나타낸 블럭도,
도 5는 본 발명의 바람직한 실시예에 따른 영상처리부의 기능적 구성을 나타낸 블럭도,
도 6은 본 발명의 바람직한 실시예에 따른 심박수검출부의 기능적 구성을 나타낸 블럭도,
도 7은 본 발명의 바람직한 실시예에 따른 샘플링부의 기능적 구성을 나타낸 블럭도,
도 8은 본 발명의 바람직한 실시예에 따른 영상기반의 심박수 측정방법의 순서를 나타낸 순서도이다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

먼저, 본 발명의 바람직한 실시예에 따른 신생아 영상시스템의 구성 및 기능을 설명하기로 한다.

본 발명의 바람직한 실시예에 따른 신생아 영상시스템(10)은 신생아를 촬영한 영상데이터를 이용하여 산출된 심박수의 패턴변화로 신생아의 퍼포먼스 활동을 하는 상태변화가 판단된 경우 활동적인 상태변화 구간에 대한 영상데이터를 선택적으로 저장 및 제공하여 사용자에게 의미있는 영상 위주로 신생아의 모습을 시청할 수 있도록 한 영상제공시스템으로서, 도 1에 도시된 바와 같이 영상획득부(100), 영상저장부(200) 및, 제어부(300)를 포함하여 구비된다.

여기서, 상기 퍼포먼스 활동은 신생아가 웃거나 울거나 하품하거나 배냇짓하는 등 수면시와 다른 동적인 움직임을 나타내는 상태로서, 정적인 움직임을 보이는 수면상태와 구분되는 의미로 해석된다.

도 1에 도시된 바와 같이, 본 발명에 따른 신생아 영상 시스템(10)은, 영상획득부(100), 영상저장부(200), 제어부(300), 인터페이스부(400), 영상선택부(500), 선택영상저장부(600), 선택영상 및 심박수 매칭부(700), 및 통계처리부(800)를 포함한다.

상기, 영상획득부(100)는, 산부인과 또는 산후조리원에 설치되어 신생아의 얼굴이 포함된 영상데이터를 획득하는 촬영수단으로서, CCTV, 아날로그 카메라, IP 카메라와 같이 통상적인 영상촬영장치가 이용될 수 있으며, 촬영된 영상데이터는 제어부(300)로 전송되어 심박수를 검출하기 위한 기초데이터로 이용된다.

상기 영상저장부(200)는, 영상획득부(100)로부터 획득된 신생아의 영상인 영상데이터를 저장하는 데이터 저장매체로서, DVR 또는 NVR이 이용될 수 있다.

상기 제어부(300)는, 획득된 영상데이터가 영상저장부(200)에 저장되도록 제어하는 것을 포함하여 신생아 영상시스템의 전반적인 동작을 제어하는 제어수단으로서, 상기 영상데이터를 영상분석하여 측정된 신생아의 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse)데이터를 추출하고 추출된 BVP데이터를 이용하여 신생아의 심박수를 검출하며, 상기 퍼포먼스 활동시 발생되는 발생되는 심박수패턴 기준데이터와 산출된 심박수 데이터를 비교하여 신생아의 상태변화를 판단하고 판단된 결과에 따라 퍼포먼스 활동을 하는 상태변화 구간에 대한 영상데이터를 선택적으로 저장하도록 제어한다.

상기 제어부(300)는 도 2 및 도 3a에 도시된 바와 같이 영상획득부(100)에서 획득된 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 측정된 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(도면에서 상부 곡선그래프)를 추출한다.

또한, 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하며 시간축선상으로 소정의 폭을 갖는 서브윈도우(도면에서 □ 형상 표시)를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.

이후 도 3b에 도시된 바와 같이 각 피크값의 시간간격값(Tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하며, 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출한다.

보다 구체적인 설명은 후술하는 영상기반의 심박수 측정방법을 통해 상세하게 설명하기로 한다.

한편, 상기 제어부(300)는 신생아와 관련된 사람, 즉 부모, 조부모, 외조부모 그외 친인척 또는 지인들의 단말인 사용자단말로부터 인증 요청 및 신생아 영상 서비스 제공 요청을 처리하여, 영상획득부(100)에서 직접 또는 영상저장부(200)로부터 해당 신생아의 영상을 사용자단말로 전송하도록 제어할 수 있으며, 실시간 영상의 전송은 물론이고 저장된 영상의 재생 전송도 가능하다.

상기 인터페이스부(400)는 영상획득부(100), 영상저장부(200), 및 제어부(300)에 대해서, 산부인과 또는 산후조리원의 관리자의 설정을 입력받는 것이 가능하며, 신생아 영상의 일부 또는 전부를 디스플레이하는 구성이다. 하나의 화면에 분할하여 해당 산부인과 또는 산후조리원의 전체 신생아의 모습이 디스플레이되도록 설정하거나, 2개의 화면이 번갈아 가면서 전체 신생아의 절반씩 디스플레이되도록 설정하는 것도 가능하다.

도 4를 참조하여 제어부(300)에 대해서 좀 더 설명하면, 제어부(300)는, 영상처리부(310), 인증부(320) 및 영상전송부(330)으로 이루어진다.

여기서, 영상처리부(310)는 영상획득부(100) 또는 영상저장부(200)로부터의 신생아 영상을 처리하는 구성으로, 후술할 신생아 얼굴 영상을 처리하여 심박수를 검출하는 구성이다.

상기 인증부(320)는 사용자단말에 설치된 앱(APP)에서의 인증 요청을 처리하여 인증을 요청한 사용자단말이 권한있는 단말인지 아니면 권한이 없는 무권한 단말의 인증 요청인지를 판단하여, 사용자단말이 권한이 있는 단말인 경우 이를 인증하는 구성이다.

상기 영상전송부(330)는 사용자단말의 신생아 영상 서비스 제공 요청을 처리하여, 상기 인증부(320)에서 인증된 사용자단말에 대해서만 해당 신생아의 영상을 전송하는 구성이다.

한편, 본 발명에 따른 신생아 영상 시스템(10)에서의 영상선택부(500)는, 신생아 영상 중 일부 영상의 선택을 수신하는 구성으로 사용자단말의 앱에 제공되는 후보 주요 영상 중에서 하나 이상을 선택하는 것도 가능하고, 실시간 영상에서 해당 부분을 선택하는 것도 가능하다. 이 경우 해당 영상의 한 시점을 선택하면 해당 영상의 전후로 일정 구간이 선택되도록 하는 것이 가능하다.

또한, 영상선택부(500)는, 상기 사용자단말은 물론이고 산부인과 또는 산후조리원의 인터페이스부(400)로부터 상기 신생아 영상 중 일부 영상의 선택을 수신하는 것도 가능하다.

또한, 선택영상저장부(600)는 상기 영상선택부(500)의 선택에 기초하여, 상기 신생아 영상 중 일부 영상을 저장하는 구성으로, 이를 포함한 동영상을 적절히 가공한 동영상을 저장한 DVD 등의 기록 매체 형태로 산부인과 또는 산후조리원에서 신생아의 부모 등에게 신생아 기념 영상으로 판매하는 것도 가능하다.

또한, 선택영상저장부(600)에 저장된 영상을 차후 신생아의 부모 등의 의견을 반영하여 재편집하는 것도 가능하다.

한편, 도 5에 도시된 바와 같이, 영상처리부(310)는, 신생아의 영상을 처리하여 해당 신생아의 심박수를 검출하는 심박수검출부(311)를 포함할 수 있다.

여기서, 도 6을 참고하면 심박수검출부(311)는 얼굴 검출부(312), 얼굴관심영역 설정부(313), 얼굴 추적부(314), 신호 보간부(도 7의 319)를 포함한 샘플링부(315), 혈류량 펄스 계산부(316), 심박수 변환부(317), 및 얼굴 추적 실패 상황 검출부(318)를 포함한다.

먼저, 얼굴 검출부(312)는, 신생아의 얼굴을 검출하는 구성이다. 도 2에 도시된 바와 같이 영상획득부(100) 또는 영상저장부(200)에서의 영상을 영상 처리(Image Processing)하여, 신생아의 얼굴 상의 특징점인 눈, 코, 입, 귀, 머리카락 등을 찾아서 신생아의 얼굴을 검출한다. 신생아의 얼굴의 배경(Background)이 되는 부분은 많이 바뀌지 않는 영역이므로 이를 이용하여 전경(Foreground)인 신생아 얼굴을 찾는데 활용하는 것이 가능하다.

상기 얼굴관심영역 설정부(313)는 상기 얼굴 검출부(312)의 결과에 기초하여, 신생아 얼굴의 관심 영역을 설정하는 구성으로, 예를 들어 검출된 신생아 얼굴의 좌우, 상하의 크기의 1.2배 내지 1.5로 설정하는 것이 가능하다.

상기 얼굴 추적부(315)에 대해서 설명하면, 이 구성을 통해서 해당 객체의 추적 객체 모델링을 통해 상기 얼굴 관심 영역 설정부(313)에 의해 설정된 영역 내에서 신생아 얼굴을 실시간으로 계속적으로 추적한다.

다음으로, 샘플링부(315)는, 이와 같이 얼굴 추적부(315)에서 추적되는 상기 신생아 얼굴의 피부의 화소값을 fs(샘플링 주파수)의 주파수로 샘플링하는 구성이다.

하지만, 고정된 샘플링 주파수인 fs로 샘플링을 하더라도, 통상은 통신 지연(Communication Delay)이나 알고리즘 처리 시간(Processing Time Of Algorithm)의 차이로 인한, 상기 샘플링부(315)의 샘플링은 불규칙적인 샘플링 간격으로밖에 되지 않는다. 이와 같은 불규칙적인 샘플링 간격을 예방하기 위해서, 도 7에서와 같이 샘플링 주파수 fs보다 낮은 주파수이며 고정된 주파수인 fs'로, 상기 샘플링부(315)에서 샘플링된 신호를 보간(Interpolation)하는 신호 보간부(319)를 더 포함할 수 있다.

이와 같이 보간한 신호, 즉 정확하게 고정된 시간 간격(1/fs' 간격)으로 보간된 신호를 이용하여 하기의 심박수 변환부를 측정하는 것이 보다 신뢰성 있는 결과를 도출할 수 있다.

이 경우, 나이퀴스트 샘플링 원리에 따라 통상의 심장 박동수 신호는 알려진 바와 같이, 0.8~4Hz으므로 이와 같은 심장 박동수 신호 최대값의 2배보다 커야 한다. 따라서, 상기 fs'는 8Hz(4Hz의 2배)보다 커야 하며, 출원인이 실험을 한 결과, 통신 지연이나 알고리즘 처리 시간 지연을 고려할 경우, fs'는 15Hz 이상인 것이 바람직하다.

다음으로, 혈류량 펄스 계산부(316)의 상술한 샘플링부(315)에서 샘플링된 상기 피부 화소값 또는 보간된 피부 화소값에 기초하여 혈류량 펄스를 계산하는 구성이다. 다음으로 심박수 변환부(317)은 혈류량 펄스 계산부(316)의 결과값에 기초하여 심박수를 계산하는 구성이다.

이것은 심박, 즉 신생아의 심장의 동작은 기계 장치의 펌프와 같이 강력한 펌핑(Pmping)이 얼굴의 피부색의 변화를 초래하는 것에 기초하여 심박수를 계산하는 것이다. 이와 같이 심박수 증가시 얼굴의 피부색에서 붉은 색이 미세하게 증가하는 현상을 영상 처리를 통해서 확인하는 것이 가능하다. 다양한 실험을 통해서, 실제 심박수와 영상 처리를 통해서 획득한 얼굴의 붉은 색 증가값과 실제 심박수 간의 매칭 데이터베이스를 구축하는 것이 선행되어야 한다.

또한, 앞에서 설명한 바와 같이, 상기 신생아 영상 중 일부 영상의 선택을 수신하는 영상선택부(500)를 더 포함할 수 있고, 또한, 상기 영상선택부는, 상기 사용자단말 또는 상기 인터페이스부(400)로부터, 상기 신생아 영상 중 일부 영상의 선택을 수신할 수 있으며, 또한, 상기 영상선택부(500)의 선택에 기초하여, 상기 신생아 영상 중 일부 영상을 저장하는 선택영상저장부(600)를 더 포함할 수 있고, 또한, 상기 선택영상저장부(600)에 저장된 영상을 재편집하는 것이 가능하다.

여기서, 영상선택부(500)에서 수신하는 선택 영상에서의 상기 신생아의 심박수를, 상기 선택 영상과 매칭하여 저장하는 선택 영상 및 심박부 매칭부(700);를 더 포함할 수 있다.

또한, 상기 선택영상 및 심박수 매칭부(700)의 결과값을 통계 처리하는 통계처리부(800)를 더 포함할 수 있다.

또한, 상기 통계처리부(800)의 결과값에 기초하여, 상기 사용자단말에 상기 영상 선택의 후보를 제공하거나, 또는 상기 선택영상저장부에 저장된 영상의 재편집에 이용하는 것이 가능하다. 가령 통계처리부(800)에서 축적된 가장 선호하는 선택 영상의 심박수 패턴에 대응되는 영상이 포함된 영상을 사용자단말에 영상 선택의 후보로서 제공하거나, 선택영상저장부에 저장된 영상에서 쉽게 찾을 수 있거나 편집 저장되도록 하는 것이 가능하다.

재편집된 선택영상저장부(600)에 저장된 영상을 포함한 동영상을 적절히 가공한 동영상을 저장한 DVD 등의 기록 매체 형태로 산부인과 또는 산후조리원에서 신생아의 부모 등에게 신생아 기념 영상으로 판매하는 것도 가능하다.

또한, 상기 통계처리부(800)의 결과값에 기초하여, 상기 영상 선택의 후보로 제공되는 후보 영상이 발생한 경우로 판단되는 경우, 상기 사용자단말에 이것을 통지하는 것이 가능하다.

또한, 상기 통계처리부(800)의 결과값에 기초하여, 상기 영상 선택의 후보로 제공되는 후보 영상 또는 상기 선택영상저장부에 저장된 영상 중 일부에 대해서, 상기 사용자단말에서 재생될 수 있도록 목록을 제공하고, 상기 목록 중 어느 하나 이상이 선택이 있을 경우 상기 사용자단말에서 재생될 수 있도록 제어하는 것이 가능하다.

한편, 상기 심박수와 매칭되는 신생아의 감정 상태 테이터베이스를 더 포함하고, 상기 사용자단말로부터 선호하는 신생아의 감정 상태의 선택 입력을 수신하여, 상기 통계처리부(800)의 결과값 및 상기 수신된 선호하는 신생아의 감정 상태 선택 입력에 기초하여, 상기 사용자단말에 상기 영상 선택의 후보를 제공하거나, 또는 상기 선택영상저장부에 저장된 영상의 재편집에 이용하는 것이 가능하다.

신생아의 심박수와 매칭되는 감정 상태 데이터베이스라는 것은, 신생아 영상데이터와 심박수 패턴 데이터의 축적 및 분석을 통해서, 신생아가 웃고 있는 경우의 심박수 패턴과, 울고 있는 경우의 심박수 패턴 등을 미리 분류하여 감정 상태 데이터베이스로 저장해 두는 것이 가능하다.

또한, 상기 심박수와 매칭되는 신생아의 감정 상태 테이터베이스를 더 포함하고, 상기 사용자단말로부터 선호하는 신생아의 감정 상태의 선택 입력을 수신하여, 상기 통계처리부(800)의 결과값 및 상기 수신된 선호하는 신생아의 감정 상태 선택 입력에 기초하여, 상기 영상 선택의 후보로 제공되는 후보 영상이 발생한 경우로 판단되는 경우, 상기 사용자단말에 이것을 통지하는 것이 가능하다.

또한, 상기 심박수와 매칭되는 신생아의 감정 상태 테이터베이스를 더 포함하고, 상기 사용자단말로부터 선호하는 신생아의 감정 상태의 선택 입력을 수신하여, 상기 통계처리부(800)의 결과값 및 상기 수신된 선호하는 신생아의 감정 상태 선택 입력에 기초하여, 상기 영상 선택의 후보로 제공되는 후보 영상 또는 상기 선택영상저장부에 저장된 영상 중 일부에 대해서, 상기 사용자단말에서 재생될 수 있도록 목록을 제공하고, 상기 목록 중 어느 하나 이상이 선택이 있을 경우 상기 사용자단말에서 재생될 수 있도록 제어하는 것이 가능하다.

또한, 우리 아이(신생아)의 얼굴 영상을 분석해 심박ㆍ호흡을 측정하는 헬스케어 기능까지 탑재되어 있어서, 혹시나 있을 우리 아이의 안전, 예를 들어, 심박수가 정상 범위를 벗어나는 경우, 사용자단말이나 산부인과 또는 산후조리원의 사용자, 관리자에게 통지함으로써 불상사를 예방하는 것도 가능하다.

다음으로는 본 발명의 바람직한 실시예에 따른 영상기반의 심박수 측정방법을 설명하기로 한다.

도 8에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 영상기반의 심박수 측정방법은 영상획득 단계(S110), BVP데이터 추출단계(S120), 피크값후보 추출 단계(S130), 피크값 선정 단계(S140), 가중평균값 연산 단계(S150) 및 심박수 산출 단계(S160)를 포함하여 이루어진다.

상기 영상획득 단계(S110)는, 신생아를 촬영한 영상데이터를 획득하는 단계로서, 신생아 영상시스템의 영상획득부(100)를 통해 신생아의 영상인 영상데이터를 촬영하고 이를 제어부(300)로 전송한다.

상기 BVP데이터 추출단계(S120)는 심박수 측정을 위한 BVP데이터를 추출하는 단계로서, 상기 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP데이터를 추출한다.

여기서, 상기 BVP데이터 추출단계(S120)는 상기 영상데이터의 영상처리를 통해 신생아의 얼굴상의 특징점을 기초로 하여 영상데이터 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적한다.

또한, 상기 BVP데이터 추출단계(S120)에서는 밴드패스 필터를 이용하여 데이터값에 포함된 고주파 성분을 제거함으로써 노이즈 데이터에 따른 오차가 발생하지 않도록 하는 것이 바람직하다.

상기 피크값후보 추출 단계(S130)는 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 단계로서, 상기 BVP데이터의 변화곡선상에서 기울기값이 '0'인 위치를 피크값후보로 추출한다.

이때, 상기 BVP데이터의 변화곡선상에서 기울기값이 '0'이되, 기울기가 +에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외한다.

상기 피크값 선정 단계(S140)는 피크값후보 추출 단계(S130)에서 추출된 각 피크값후보 중 피크값을 선정하는 단계로서, 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.

여기서, 상기 피크값 선정 단계(S140)는 일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정하는 것이 바람직하다.

또한, 최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰값을 갖는 해당 피크값후보를 피크값으로 선정하며, 이후 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복한다. 즉, 상기 서브윈도우의 폭을 점차적으로 넓히면서 각 시간간격값(Tick)의 편차를 비교하며, 이러한 절차를 통해 피크값 검출을 반복하여 최적의 서브윈도우의 폭을 결정할 수 있게 되며, 시간간격값(Tick)의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영한다.

더불어, 상기 피크값 선정 단계(S140)는 평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며, 상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정한다.

예를 들어, 신생아의 평균심박주기 범주가 100/s 내지 150/s 라 할 경우, 상기 서브윈도우가 갖는 최소 크기의 시간축선상의 폭은 100/s로 설정하고, 서브윈도우가 갖는 최대 크기의 시간축선상의 폭은 150/s로 설정할 수 있는 것이다.

상기 가중평균값 연산 단계(S150)는 각 피크값의 시간간격값(Tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산한다.

여기서, 상기 가중평균값 연산 단계(S150)는 각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고, 중간 데이터값이나 평균값의 반영비율은 높여 상기 가중평균값을 연산하도록 한다.

상기 심박수 산출 단계(S160)는 가중평균값 연산 단계(S150)를 통해 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 단계이다. 여기서, 가중평균값이 심박주기이며 단위가 시간(초)이므로 이것을 1분당으로 환산함으로써 심박수를 산출할 수 있다.

상술한 바와 같은 본 발명의 바람직한 실시예에 따른 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상시스템을 통해, 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 측정하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값의 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 측정된 심박수의 오차를 최소화할 수 있다.

또한, 신생아가 웃거나 울거나 하품하거나 배냇짓하는 등의 퍼포먼스 활동시 또는 수면시 발생되는 심박수패턴 기준데이터와 측정된 심박수 데이터를 비교하여 신생아의 상태변화를 판단하고 판단된 결과에 따라 상태변화 구간에 대한 영상데이터를 선택적으로 저장 또는 전송하도록 제어함으로써 사용자에게 의미있는 영상 위주로 신생아의 영상을 제공할 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

10...신생아 영상시스템 100...영상획득부
200...영상저장부 300...제어부
310...영상처리부 311...심박수검출부
320...인증부 330...영상전송부
400...인터페이스부 500...영상선택부
600...선택영상저장부 700...선택영상 및 심박수 매칭부
800...통계처리부 S110...영상획득 단계
S120...BVP데이터 추출단계 S130...피크값후보 추출 단계
S140...피크값 선정 단계 S150...가중평균값 연산 단계
S160...심박수 산출 단계

Claims (10)

1. 신생아 영상시스템을 이용하여, 신생아의 심박수를 검출하고, 산출된 심박수의 패턴 변화로 정적인 움직임을 보이는 수면 상태와 구분되어 신생아가 웃거나 울거나 하품하거나 배냇짓하는 신생아의 퍼포먼스 활동을 판단할 수 있는, 영상기반의 심박수 측정방법에 있어서,
   신생아를 촬영한 영상데이터를 획득하는 영상획득 단계(S110);
   상기 영상데이터의 영상분석을 통해 신생아의 얼굴영역을 추적하고 측정된 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse) 데이터를 추출하는 BVP데이터 추출단계(S120)로서, 상기 BVP데이터 추출단계(S120)에서는 데이터값에 포함된 고주파 성분을 제거함으로써 노이즈 데이터에 따른 오차가 발생하지 않도록 밴드패스 필터를 이용하는 단계;
   추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출 단계(S130);
   시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값 선정 단계(S140);
   각 피크값의 시간간격값(Tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산 단계(S150); 및
   연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수 산출 단계(S160);를 포함하고,
   상기 BVP데이터 추출단계(S120)는,
   상기 영상데이터를 영상처리하여 신생아의 얼굴상의 특징점을 기초로 하여 영상데이터 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적하고,
   상기 피크값후보 추출 단계(S130)는,
   상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'인 위치를 피크값후보로 추출하되, 기울기가 + 에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외하고,
   상기 피크값 선정 단계(S140)는,
   일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정하고,
   상기 피크값 선정 단계(S140)는,
   최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰값을 갖는 해당 피크값후보를 피크값으로 선정하고,
   이후, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정 단계를 소정 횟수 반복하여 상기 서브윈도우가 갖는 최적으로 시간축선상의 폭을 결정하며,
   이후, 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영하고,
   상기 피크값 선정 단계(S140)는,
   평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며,
   상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정하고,
   상기 가중평균값 연산 단계(S150)는,
   각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고, 중간 데이터값의 반영비율은 높여 상기 가중평균값을 연산하는 것을 특징으로 하는 영상기반의 심박수 측정방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images