KR101788850B1 - 영상 피부색 증폭을 통한 심박 신호 측정 방법 - Google Patents

Abstract

화상 증폭 방법 및 이를 적용하는 심박 정보 추출 방법에 대해 기술한다. 화상 증폭 방법;은 피험자 피부로부터 영상을 획득하는 단계; 상기 영상에서 피부색 영역을 찾고 그 중점을 계산하는 단계; 그리고 중점으로부터 방사형으로 임의 배수(n배) 화소의 값을 증폭하는 단계; 를 포함한다.

Description

영상 피부색 증폭을 통한 심박 신호 측정 방법{Method for measuring heartbeat signal through skin color magnification}

본 발명은 영상의 화소 증폭 방법에 관한 것으로, 상세하게는 가시광선 영상의 화소 데이터 크기의 변화를 증폭하는 방법 및 이를 이용한 심박 신호 측정 방법에 관한 것이다.

최근 카메라로 촬영된 사람의 영상을 통해 신체의 변화를 측정하여, 건강 상태나 심리 상태를 측정하기 위한 연구가 많이 진행되고 있다. 기존의 생리신호 측정 방법에는 뇌파 측정기를 통해 수행하는 방법, 착용형 장치를 이용하여 수행하는 방법, 열화상 카메라로 촬영된 열 영상을 이용하여 수행하는 방법 등 비용이 많이 드는 별도의 장치를 사용한다는 점과 또한 미세한 움직임에도 노이즈가 첨가된 신호가 발생된다는 점 등의 문제를 가지고 있다. 따라서 영상 기반의 생리 신호 측정 방법이 더욱 각광을 받고 있다.

일반적으로 영상 기반의 방식에서는 인간의 움직임이나 얼굴 표정과 같이 변화가 큰 현상은 측정이 쉽지만, 심장박동과 같이 인체에서 미세하게 변화하는 특징들은 측정하는 것이 어렵다. 하지만, 최근 들어 인체의 미세한 떨림이나 표정변화는 물론 심장박동까지도 카메라로 취득된 영상으로부터 추출하려는 연구가 진행되고 있다. 이 연구들은 웹캠 수준의 가시광선 카메라로 취득된 영상을 이용하고 있으나, 현재는 여러 환경적인 노이즈 요소로 인해 정확한 성능을 기대하기는 어렵다.

최근, MIT 미디어랩에서는 영상의 시계열 모션 정보 및 색상 성분을 증폭(magnification)함으로써, 위에 언급한 미세 변화 측정 연구에 힘을 불어넣고 있으나, 복잡한 주파수 변환으로 인한 시간복잡도와 흑백영상성분의 증폭에는 사용될 수 없는 문제가 있다.

KR 10-2014-0057868 A

E. C. Lee, M. Whang, D. Ko, S. Park and S. Hwang, "A New Social Emotion Estimating Method by Measuring Micro-movement of Human Bust," Industrial Applications of Affective Engineering, Part 1, pp. 19-26 (2014) S. Wang, H. Chen, W. Yan, Y. Chen and X. Fu, "Face Recognition and Micro-expression Recognition Based on Discriminant Tensor Subspace Analysis Plus Extreme Learning Machine," Neural Processing Letters, Vol 39, Issue 1, pp. 25-43 (2013) P. Paredes, D. Sun and J. Canny, "Sensor-less sensing for affective computing and stress management technology," In Proc. of 7th International Conference on Pervasive Computing Technologies for Healthcare, pp. 459-463 (2013) Eulerian Video Magnification for Revealing Subtle Changes in the World ACM Transactions on Graphics, Volume 31, Number 4 (Proc. SIGGRAPH), 2012 Jun-Su Kim, Kayoung Lee, Cheol Seung Yoo, Tae-Woong Kim, Sang Hoon Yi, Hee-Cheol Kim "Wearable Physiologic Monitoring System in Health Promotion" Korean Journal of Health Promotion Vol 11(1) pp. 1-8(2011) Viola, P. and Jones, M.J. "Robust real-time face detection". Int. J. Comput. Vis. 57, 137-154 (2004).

본 발명은 인체 속성 측정 성능을 향상시키는 방법에 관한 것으로서, 영상을 통한 인체의 변화를 효과적으로 측정하는 방법을 제공한다.

이러한 본 발명은 가시광선 카메라에서 얼굴 영역, 손목 등 혈류 변화 관찰이 용이한 피부 영역의 화소를 증폭시킴으로써, 그 혈류의 변화를 뚜렷하게 관측할 수 있는 방법을 제안한다.

따라서, 본 발명은 얼굴 영역의 화소를 증폭하여 심박 정보를 검출할 수 있는 방법을 제시한다.

본 발명에 따른 화소 증폭 방법:은

피험자로부터 혈류 변화관찰이 가능한 피부 영역의 영상을 획득하는 단계;

상기 영상에서 피부색 영역을 찾는 단계; 그리고

피부색 영역의 중점으로부터 방사상 바깥 방향으로 화소 값을 증폭하는 단계; 를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 피부 영상은 가시광선 영상일 수 있다.

본 발명의 일 실시 예에 따르면 가시광선 영상을 YCbCr 영상으로 변환 할 수 있다.

본 발명의 일 실시 예에 따르면 Adaboost(Adaptive boosting) 알고리즘을 이용해 상기 피험자의 얼굴영역을 찾고 히스토그램(Histogram) 분석을 통해 피부영역을 검출 할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 영상을 획득하는 단계에서, 상기 피험자로부터 가시광선 카메라를 이용해 RGB 영상을 획득한다. 그리고

상기 피부색 영역을 찾는 단계:는 RGB 영상을 YCbCr 영상으로 변환하는 단계; 상기 YCbCr 영상에 대한 Adaboot 알고리즘에 의해 얼굴 영역을 찾는 단계; 그리고 상기 얼굴 영역에서 Cb, Cr 도메인에 대한 히스토그램 분석을 통해 상기 피부색 영역을 찾는 단계;를 포함한다.

또한, 본 발명의 구체적인 실시 예에 따르면, 상기 화소 값의 증폭은 임의 배수(n) 증폭하되, 증폭된 화소 값이 화소의 최대값을 넘는 경우, 최대값으로 증폭된 화소 값을 클립핑할 수 있다.

본 발명에 따른 심박 정보 추출 방법:은

상기 화상 증폭 방법을 이용하여 증폭된 화소 값을 연속적으로 얻는 단계; 그리고

상기 증폭된 화소 값을 혈류량의 변화에 따른 심박 신호로 출력하는 단계;를 포함한다.

본 발명에 따라, 영상에서 피부색 영역의 중점으로부터 방사형으로 화소들을 증폭한 결과 피부의 혈류량 변화량이 진폭이 큰 변화로 증폭한다. 이러한 본 발명의 방법의 효율성 검증을 위해, 가시광선 카메라로 취득된 얼굴이 포함된 영상에 적용한 결과 심장박동 및 호흡에 동기화된 안면의 혈류량 변화를 더욱 뚜렷하게 관찰할 수 있는 것으로 확인되었다.

도1은 색상 공간(Color Space)의 하나인 CbCr 도메인의 구조를 보이는 도면이다.
도2는 본 발명에 따라, Adaboost 알고리즘으로 찾은 얼굴 영역을 나타내는 도면이다.
도3의 (a)와 (b)는 본 발명에 따라, Cb Cr 도메인에 대하여 히스토그램(Histogram) 분석 한 결과를 나타내는 도면이다.
도4는 CbCr 도메인에서 피부색 영역의 위치를 나타내는 도면이다.
도5은 피부색 영역의 중점으로부터 방사형으로 임의 배수(n배) 화소를 증폭시키는 방법을 설명하는 도면이다.
도6은 본 발명에 따라 증폭한 영상에 대해 클립핑(Clipping) 처리를 설명하는 도면이다.
도7의 (a)는 도4에 정의된 카메라 영상의 피부영역, (b), (c), (d)는 각각 (a)의 원형 영상에서 10, 20, 30배만큼 방사형으로 증폭한 결과영상을 나타낸다.
도8은 본 발명의 결과에 따른 얼굴영역의 혈류량의 변화를 그래프로 도시화하여 나타낸 것으로, 도8의 (a)는 도7의 (a) 원형 영상에 대응하는 그래프, 도8의 (b), (c), (d)는 각각 도7의 (b), (c), (d)에 대응하는 그래프이다.

이하, 첨부된 도면을 참고하면서, 본 발명의 실시 예에 따른 화소 증폭 방법및 이를 적용하는 심박 정보 추출 방법의 실시 예를 설명한다.

본 발명은 인체 표면에서 심장박동 시 생기는 혈류량이 시간의 흐름에 따라 미세하게 변화되는 현상을 뚜렷하게 관찰할 수 있도록 하는 화소 증폭 방법에 관련한다.

본 발명의 화소 증폭 방법:은

1) 피험자로부터 안면 영상을 획득하는 단계;

2) 상기 안면 영상에서 피부색 영역을 검출하는 단계;

3) 피부색영역의 화소의 값을 증폭하는 단계;를 포함한다.

구체적으로, 본 발명의 방법:은

1) 가시광선 카메라를 이용해 피험자로부터 안면 영상을 프레임 단위로 연속 획득하는 단계;

2) RGB 영상을 YCbCr (이하 YCC)영상으로 변환하는 단계; 그리고;

3) Adaboost(아다부스트, Adaptive Boosting) 알고리즘을 사용하여 얼굴 영역을 찾는 단계; 그리고

4) 상기 얼굴 영역에서 Cb Cr 도메인에 대하여 히스토그램(Histogram) 분석을 하여 피부색 영역을 검출하는 단계; 그리고

5) 상기 단계에서 검출된 피부색 영역의 중점을 계산하는 단계; 그리고

6) 피부색 영역의 중점으로부터 방사형으로 화소들을 증폭시키는 단계; 그리고

7) 상기 증폭된 화소의 값을 클리핑 처리하여 심장박동 신호로 출력하는 단계를 포함한다.

본 발명은 영상, 특히 가시광선 영상에서 YCC 영상으로 변환 후, CbCr 도메인 상에서 피부색 영역을 찾은 후, 그 중점으로부터 화소 값을 방사형으로 n배 증폭한다.

이러한 본 발명의 피부색 영역의 중점으로부터 방사형으로 증폭하는 방법을 가시광선 영상에 적용함으로써 심장이 뛸 때 마다 흐르는 혈류량의 변화를 더욱 뚜렷하게 관측할 수 있다. 따라서 이러한 발명은 가시광선 영상으로부터 생체 신호를 추출함으로써 피험자의 심박수를 측정할 수 있게 된다.

인체의 피부, 특히 안면 영상로부터 얻어지는 영상에서, 특정 피부에서 혈류량이 변하는 현상은 가시광선 카메라영상에서는 매우 작은 변화이다. 평균적인 사람의 심장은 1분에 70회정도 운동을 하는데 심장박동을 할 때 마다 온 몸으로 피가 퍼진다. 사람의 피부를 촬영하여 얻은 영상에서, 일반적으로 육안으로는 심장박동에 의한 혈류량의 변화를 감지할 수 없다.

가시광선 카메라로 촬영된 RGB 영상을 YCC 영상으로 변환하면 도1과 같은 도메인이 된다. 위의 수1은 본 실시 예에서 RGB->YCbCr 변환에 적용한 수식이다. 도2에 도시된 바와 같이, Adaboost(Adaptive Boosting) 알고리즘을 사용하여 특정 여역, 예를 들어 얼굴 영역을 검출한다. 잘 알려 진 바와 같이, 부스팅(Boosting)은 많은 약한 분류기 (Weak Classifier)를 결합함으로써 정확도가 높은 강한 분류기(Strong Classifier)를 찾는 방법으로, 대표적인 부스팅 알고리즘이 바로 Adaboost 이며, 이 Adaboost는 단순하여 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출하여 실시간에서도 작동한다.

눈 영역은 코와 볼 영역 보다 더 어둡다는 특성을 이용하고, 다음으로 눈은 콧등에 비해 더 어둡다는 점을 이용하여 얼굴 영역을 검출한다. 비특허문헌 6은 이러한 Adaboost 알고리즘에 대해 기술하며, 이를 참고한 방법에 의해 상기와 같이 얼굴 영역을 추출할 수 있다.

도3은 본 발명의 방법에 따라 도2에서 검출한 얼굴영역에 대하여 Cb, Cr에 각각 히스토그램(Histogram) 분석을 한 결과를 보이는 그래프이다. Cb, Cr 그래프에서 픽셀들이 가장 많이 분포하는 영역을 자동적으로 피부영역이라고 도출하도록 하였다.

도4는 히스토그램(Histogram) 분석 결과 피부색 영역이라고 정의된 부분을 Cb, Cr 도메인에서 나타내 보인 도면이다. 그리고, 도5는, 도4에 도시된 Cb, Cr 도메인에서의 피부색 영역의 중점(

)을 계산하고, 수2의 연산을 통하여 피부색 영역의 화소 값을 상기 중점을 기준으로 n배 증폭시키는 방법을 보여 준다.

다시 말해, 심장박동을 할 때 온 몸으로 퍼지는 혈류량의 변화를 감지하기 위해 피부 영역의 화소 값들을 n배함으로써 그 특징, 즉 혈류향의 변화가 잘 감지되도록 하였다.

도6은 본 발명에 따라 증폭한 영상의 화소값에 대한 클리핑(Clipping) 처리를 설명하는 도면이다. 상기와 같이 증폭된 화소의 값이 Cb, Cr 화소의 최대 값인 255를 넘으면(도6의 좌측) 도6의 우측에 도시된 바와 같이, 클리핑 처리를 통하여 화소값을 조정해 준다. 일반적인 방식으로 Cb, Cr 화소 값을 각각 독립적으로 클리핑 처리할 경우 방사 직선 상의 점으로 클리핑 되는 것이 아닌 CbCr도메인 상의 모서리(ex. Cb = 255, Cr = 255)점으로 클리핑 되는 문제가 발생하므로, 증폭 중심으로부터 해당 점을 지나는 직선의 방정식을 먼저 구하고 그 직선 상의 점으로 클리핑 하는 방식을 사용한다.

도7의 (a)는 본 발명의 방법의 실험에 사용된 영상의 한 프레임을 나타내며, 피부색 영역인 얼굴부분을 나타낸다.

도7의 (a)는 증폭이 이루어지지 않은 로(Raw) 이미지 이다. 그리고 (b)는 본 발명에 따라 10배 증폭, (c)는 20배 증폭, 그리고 (d)는 30배 증폭한 결과를 나타낸다.

도7의 (a), (b), (c), (d)의 비교를 통해서 피부 영역 중점으로부터 방사방향으로 증폭할수록, 그리고 배율이 높아 질수록 피부색의 변화 즉, 혈류량의 변화의 정도를 뚜렷하게 알 수 있다.

도8의 (a), (b), (c), (d)는 얼굴 영역의 혈류량의 변화를 나타내는 그래프로서, 정확히는 피부색 영역의 평균 (Cb+Cr)/2 값을 시계열 그래프로 도시화하여 나타낸 것이며 도7의 (a), (b), (c), (d) 각각에 대응한다.

도8의 결과를 살펴보면, 본 발명에 따라 피부 영역의 중점으로부터 방사(radial)방향으로 화소 증폭을 수행할수록 상세한 고주파 성분이 더 두드러지게 드러남을 알 수 있다. 여기에서, 수직의 실선은 1초 간격으로 배열된 것이며, 이들 사이의 수직의 점선은 변곡점을 나타내는데, 이 변곡점의 개수를 살펴보면 그 횟수가 심장 박동수와 유사한 것을 확인할 수 있다. 결과적으로 화소 증폭을 통해 얼굴 영역등의 피부 영역으로부터 심장박동 정보를 추출할 수 있을 것으로 판단되며, 이는 건강관리 및 감성측정을 위해 중요한 정보로 활용될 수 있다.

본 발명에서는 가시광선 카메라 영상에서 인체의 미세 변화에 대한 관측 성능 향상을 위해 화소값 증폭 방법이 제안하였다. 영상에서 얼굴 영역 등의 피부 영역을 찾고 이 영역에서 피부색 영역에 해당하는 부분에서 그 중점을 구 한 후 중점으로부터 방사방향 n배 증폭함으로써 구현할 수 있다. 추후 연구에서는 다양한 신체부위에서의 신호와 혈류량의 변화와 상관성을 분석하여, 추출하고자 하는 성분에 맞는 화소 증폭 방법에 관한 연구가 가능하다.

본 발명에 따른 피부색 증폭 방법은 얼굴 뿐 아니라 손목과 같이 피부 표면에서의 혈류량 관찰이 용이한 다른 피부 영역들에 대해서도 적용 가능하다.

그리고, 피부색 증폭 결과로써 도출되는 그래프는 피부색 영역에서의 특정 컬러(CbCr평균: (Cb+Cr)/2)의 평균값을 데이터로 출력한 것으로 그 흐름을 확인해 본 결과 심박수와 동기화되어 있으며, 여기서 그래프 데이터로 사용한 상기 특정 컬러(CbCr평균)는 적용 목적에 따라 다른 값으로도 사용 가능하다.

이러한 본 발명이, 지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims (7)

1. 피험자로부터 혈류 변화 관찰이 가능한 피부 영역의 영상을 획득하는 단계;
   상기 영상에서 피부색 영역을 찾는 단계; 그리고
   피부색 영역의 중점으로부터 방사상 바깥 방향으로 화소 값을 증폭하는 단계;를 포함하고,
   상기 화소 값을 증폭하는 단계에서, 상기 화소 값을 임의 배수(n) 증폭하되, 증폭된 화소 값이 화소의 최대값을 넘는 경우, 최대값으로 증폭된 화소 값을 클립핑하는, 화상 증폭 방법.
2. 제1항에 있어서,
   상기 영상은 가시광선 영상인 것을 특징으로 하는 화상 증폭 방법.
3. 제1항에 있어서,
   상기 영상에서 Adaboost(Adaptive Boosting) 알고리즘을 사용하여 상기 피험자의 얼굴 영역을 검출하고, 상기 얼굴 영역에 대한 히스토그램(Histogram) 분석을 통하여 피부색 영역을 찾는 것을 특징으로 하는 화상 증폭 방법.
4. 제1항에 있어서,
   상기 영상을 획득하는 단계에서, 가시광선 카메라를 이용해 RGB 영상을 획득하고, 그리고
   상기 피부색 영역을 찾는 단계:는
   RGB 영상을 YCbCr 영상으로 변환하는 단계;
   상기 YCbCr 영상에 대한 Adaboost 알고리즘에 의해 얼굴 영역을 찾는 단계; 그리고
   상기 얼굴 영역에서 Cb, Cr 도메인에 대한 히스토그램 분석을 통해 상기 피부색 영역을 찾는 단계;를 포함하는 화상 증폭 방법.
5. 삭제
6. 제1항 내지 제4항 중 어느 한 항에 기재된 화상 증폭 방법을 이용하여 증폭된 화소 값을 연속적으로 얻는 단계; 그리고
   상기 증폭된 화소 값을 혈류량의 변화에 따른 심박 신호로 출력하는 단계;를 포함하는 심박 정보 추출 방법.
7. 삭제

Images