KR102122973B1 - 인체 미동 분석을 이용한 감성 판단 방법 - Google Patents

Abstract

인체 미동량 분석에 따른 감성 분류 방법을 제시한다. 본 발명의 감성 판단 방법은 인체의 미동량을 일정한 주파수 대역에서 검출하고, 이렇게 얻어진 피험자 인체의 특정 부위의 미동량 신호를 이용해 피험자의 감성 상태를 특정 또는 판단한다.

Description

인체 미동 분석을 이용한 감성 판단 방법{Method for estimating emotion by measuring micro movement of human body}

본 발명은 인체의 미세한 움직임, 즉 인체의 미동(微動)으로부터 인간 감성을 특정할 수 있는 신호를 추출하는 감성 판단 및 분석 방법에 관한 것이다.

지금까지 연구에서, ECG (electrocardiography), PPG (photoplethysmography), GSR (galvanic skin response), SKT (skin temperature), and EEG (electroencephalography) 등과 같은 다양한 생리신호가 인간의 집중 및 감성을 정량적으로 판단하기 위해 적용되었다[1].

일반적으로, ECG 또는 PPG를 사용하는 경우, 심박수(heart rate)는 연속하는 펄스 간의 간격들을 분석함으로써 판단될 수 있다[2]. 또한 GSR 과 SKT의 진폭 레벨들은 상대적인 피부 반응과 피부 온도를 측정하는 파라미터이다. 특히 EEG 데이터는 시간 도메인 또는 주파수 도메인에서의 다양한 방법을 이용해 해석될 수 있다.

그러나, 상기의 방법은 센서 등의 부착에 의해 발생하는 측정 불편을 감수해야 한다. 또한, 이것은 올바른 감성 측정에 있어서 노이즈 팩터로 작용할 수 있는 부정적인 감성을 일으킨다.

N. Wu, H. Jiang, and G. Yang, "Emotion recognition based on physiological signals," Lec-ture Notes in Computer Science, vol. 7366, pp. 311-320, 2012. F. C. Chang, C. K. Chang, C. C. Chiu, S. F. Hsu, and Y. D. Lin, "Variations of HRV anal-ysis in different approaches," In Proc. of Computers in Cardiology, pp.17-20, Oct. 2007. http://www.livescience.com/15469-cardiocam-mirror-mit-siggraph.html, accessed on 17th March, 2013. M. J. Gregoski, M. Mueller, A. Vertegel, A. Shaporev, B. B. Jackson, R. M. Frenzel, S. M. Sprehn, and F. A. Treiber, "Development and validation of a smartphone heart rate acqui-sition application for health promotion and wellness telehealth application," International Journal of Telemedicine and Applications, vol. 2012, Article ID 696324, 7 pages, Oct. 2012. P. Han and J. Liao, "Face detection based on Adaboost," In Proc. of Apperceiving Compu-ting and Intelligence Analysis, pp.337-340, Oct. 2009. http://opencv.org/ (Accessed on 31st Mar. 2013) S. Park, D. Ko, M. Whang, E. C. Lee, "Vision based body dither measurement for estimat-ing human emotion parameters," Lecture Notes in Computer Science, vol. 8008, pp. 346-352, 2013.

본 발명은 인체의 미동으로부터 피험자의 감성 상태를 판단할 수 있는 감성인식 방법을 제시한다.

본 발명에 따른 감성 인식 방법: 은

피험자의 몸체를 촬상하는 단계;

촬상된 영상으로부터 특정 주파수 대역에서의 이미지들로부터 피험자의 몸체 미동량 신호를 검출하는 단계;

상기 미동량 신호를 분석하여 상기 피험자의 감성 상태를 특정하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 상기 피험자의 상체로부터 상기 몸체 미동량 신호를 검출할 수 있다.

본 발명의 다른 실시 예에 따르면, 상기 몸체에서 특정 부위에 대한 미동량신호를 검출할 수 있다.

본 발명의 또 다른 실시 예에 따르면, 상기 몸체의 특정 부위에 대한 미동량신호를 구함에 있어서 Adaboost 방법을 적용할 수 있다.

본 발명의 또 다른 실시 예에 따르면, 상기 특정 주파수 대역의 미동량 신호로부터 다른 특정 주파수 대역의 미동량 주파수를 제거할 수 있다.

본 발명의 또 다른 실시 예에 따르면, 상기 특정 주파수 대역에서의 미동량 신호를 피험자의 무의식인 움직임에 따라 발생하며, 상기 다른 특정 주파수의 신호를 피험자의 의식적인 움직임에 따라 발생하는 것이다.

본 발명은 감성 상태를 분류함에 있어서, 기존 방식에서의 부착형 센서를 적용하지 않는다. 따라서 센서 부착에 따른 피험자의 신체적, 심리적 부담을 제거한다. 또한, 본 발명의 피험자가 의식하지 않는 상태에서 감성 상태를 분류할 수 있으므로 보다 정확한 감성 상태의 분류 또는 특정이 가능하다. 따라서 이러한 본 발명은 피험자의 의도와는 무관하게 피험자의 감성 상태를 판단할 수 있으므로 특수한 목적의 감성 평가 방법 및 장치에 적용할 수 있다.

도1은 인체 부위별 정의된 다양한 미동을 예시한다.
도2는 본 발명에 따라 피험자로부터 미동량 측정영역의 검출의 한 예를 도시한다.
도3은 인체로부터 획득한 연속적 영상(이미지)를 다수의 주파수 대역에서 캡쳐하여 각 주파수 대역에서의 미동량 추출 방법을 예시한다.
도4는 본 발명에 따라 추출된 여러 주파수 대역별 미동량 신호를 도시한다.
도5는 본 발명에 따른 미동량 검출에 있어서, 신체 특정 부위들에서의 미동 검출 결과를 보인다.
도6은 본 발명에 따라 친밀한 그룹과 친밀하지 않은 그룹으로부터 검출된 미동량 평균을 상호 비교해 보이는 그래프이다.

이하에서 첨부된 도면을 참조하면서, 본 발명의 배경 기술과 본 발명에 따른 감성 판단 방법의 다양한 실시 예를 설명한다.

최근에 일반적인 생체 신호 센서로부터 자유로운 카메라 영상에 기초한 생리 데이터 획득 방법이 제시되었다. 카디오-캠(Cardio-Cam)은 어떠한 센서의 부착도 없이 ICA(Independent Component Analysis)에 기초하여 색상 채널 분석에 의한 인간 심박 측정을 위해 제안되었다[3].

같은 목적을 위하여, 내장 후방 카메라와 백색 조명을 이용하여 심박을 실시간으로 측정할 수 있는 다양한 스마트폰용 어플레이션도 제공되었다[4]. 이러한 어플레케이션에서는 연속된 이미지의 밝기 레벨의 변화가 관찰되었는데, 이는 조명 반사의 정도가 혈류에 의해 연속적으로 규칙적으로 변화하기 때문이다. 이러한 방법이 센서 부착물이 필요 없다는 점에서 의미는 있지만, 이러한 방법에 의해서는 심박수 해독만이 가능하다.

인체의 다양한 미동, 즉 미세 움직임은 센서 부착이 없이 생리 신호를 얻을 수 있는 매우 중요한 특성을 나타낸다. 본 발명은, 도1에 도시된 바와 같이 신체 각 부분의 미동의 독립성 또는 종속성(의존성)을 규명할 수 있는 인체 움직임의 측정을 정의한다.

도1에 도시된 바와 같이, 계층적 모델(hierarchical model)은 신체 부분 간의 미세 움직임의 종속성 또는 의존성(Dependency)을 잘 표현하여 준다. 예를 들어, 안면의 미세 움직임은 상반신 미세 움직임과 안면 자체 미세 움직임의 합(summation)에 의해 계산될 수 있다.

도1에 도시된 계층적 모델에서, 움직임의 크기는 몸체 전체(Full body) > (상반신(Bust) > 팔 = (눈=입)))로 정의된다. 즉, 몸체 전체의 미동은 다른 어느 것에 비해서도 크며, 이 보다 작은 상반신은 팔에 비해 크고, 그리고 팔은 얼굴과 같다. 그리고 얼굴은 눈이나 입에 비해 크며, 눈은 입과 같다. 카메라를 이용해 몸체 전체의 미세 움직임의 측정을 적절치 않기 때문에, 이에 비해 움직임이 작지만 다른 것에 비해 상대적으로 높게 랭크된 상반신 "bust"의 미세 움직임 정보가 본 발명에서 추구하는 사회적 감성을 평가하는 목적의 파라미터 또는 팩터로 선택될 수 있다.

미세 움직임을 측정하기 위하여, Adaboost(adaptive boosting) 방법[5]에 의해 검출된 안면 부분에 기초하여 캡쳐된 상체 이미지 프레임에서 ROI(Region of Interest)가 먼저 정의한다.

그런 후, 미세 움직임 양은 연속된 두 이미지의 차(Subtracting)에 의해 계산된다. 여기에서, 두 이미지 프레임의 인터벌(간격)에 따라서, 몇몇 주파수 밴드 당 미세 움직임 양을 얻을 수 있다. 친밀감이 있는 그룹과 친밀감이 없는 그룹들간의 비교를 위한 실현 가능성 테스트의 결과는, 친밀한 그룹 경우에서의 움직임이 친밀하지 않은 그룹에서의 움직임에 비해 덜한 것으로 나타났다.

이하 본 발명에 따른 구체적인 측정 방법에 따라 실제 수행하였든 방법을 일 예로서 상세히 설명한다.

먼저, Adaboost 방법을 적용한 안면 검출기(프로그램)을 이용하여 상체 이미지의 첫 번째 프레임에서 얼굴 영역을 검출한다. 이때에, 모든 프레임들에서 얼굴 영역의 검출은 필요하지 않다. 이는, 본 발명에 따라서, 인접한 두 프레임에서 동일한 위치의 픽셀의 (휘도)값의 차를 구하여 미세 움직임의 양을 추출하기 때문이다.

Adaboost 방법은, 입력 이미지에서 안면을 검출하기 위하여 많은 약한 분류기(Simple Weak Classifier)를 결합(combining)하는 것에 의해 생성된 강한 분류기(Strong Classifier)를 사용한다[5]. 알고리즘은 많은 학습 시간을 요구하지만, 이것은 검출에 요구되는 짧은 시간과 양질의 검출 결과의 이점(Advantage) 등을 가진다. 이것은, 1/4로 데시메이션된(decimated) 이미지에서 안면 영역을 검출하는데 한 이미지 당 평균 29msec(밀리초)가 소요되었다. 도2는 샘플로서 사각 영역 "B"에서 안면 검출을 도시한다.

도2에 도시된 바와 같이 안면 영역(적색사각형) 검출 이후, 상체 미세 움직임을 계산하기 위하여 이미지를 빼기(Subtracting) 위한 선택된 영역(Candidate region, 도2에서 녹색 사각형)은 안면 영역의 수평 방향으로 160 픽셀로 확장시켰다.

미동량을 측정하기 위하여, 카메라 영상 분석 프로그램이 분석에 적용되었다. 캡쳐된 칼라 이미지는 흑백의 그레이 스케일로 변환되었다. 이는 이미지의 색상 정보는 거동 분석에 있어서 중요하지 않기 때문이다. 미동 평균량 "O"을 계산함에 있어서, 주파수가 임의 값 "F" 인 대역에서의 평균 미동량(O_FHz, Average amount of micro movement at Frequency "F" Band)은 아래의 식으로 계산될 수 있다.

상기 식1에서, W와 H는 ROI에서 상체 미동의 수평 및 수직 길이(크기 또는 거리)이다. 그리고, In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값이다. R은 사용된 카메라의 프레임 레이트(Frame rate)는 15이다.

본 발명의 분석 방법에서, 본 발명에 따른 미동 추출의 개념이 도3에 예시되어 있다.

도4를 참조하면, 15Hz, 5Hz, 1Hz, 0.5Hz 등의 주파수 밴드 별로 추출된 연속적 평균 미동량(O_15Hz, O_5Hz, O_3Hz, O_1Hz, O_0.5Hz)들은 도4에 도시된 바와 같이 1차원의 시간 축상에서의 크기(미동량) 신호를 발생한다.

이들 신호들은 일반적인 신호 분석 방법 등을 이용하여 분석할 수 있다. 이에 더하여, 상기 미동 정보는 다양한 주파수 밴드에 대해 분석될 수 있다. 이러한 본 발명에서의 주파수 분석은 기존에 제시하였던 방법[7]과는 다른 방법을 적용한다. 예를 들어, 의도된 큰 동작은 낮은 주파수 대역에서 추출될 수 있으며, 그리고 이들 영역들은 높은 주파수 밴드에서의 미동 측정을 제거 또는 거절(reject)할 수 있는 마스크(Mask or Filter) 영역으로서의 역할을 가질 수 있다.

비록 개체 검출을 위한 선행된 배경 추출 방법은 배경의 지속적인 변화, 또는 복합적인 배경 모델링 등에서의 문제점이 있으나, 본 발명은 마지막 두 프레임의 이미지만을 이용하기 때문에 이러한 배경의 변화에 무관 한다.

이러한 본 발명에 있어서, 미동량 분석은 도1에서 분류된 어느 신체 부분에도 적용될 수 있다. 만일, 특정한 신체 부위에 대한 검출 방법이 실행되며, 그 미동량 또는 근육 이동은 측정될 수 있고 분석될 수 있다. 예를 들어, 전술한 Adaboost에 기초하여 안면 검출 방법이 적용되는 경우, 안면 영역의 미동 만을 분석할 수 있다. 도5는 미동 검출의 실현성을 테스트 하기 위한 것으로 Adaboost 방법에 따른 프로그램에 의해 다양한 미동 검출 결과를 보인다. 도5에서, 밝은 영역은 미동이 있는 영역을 나타낸다. 구체적으로 도5에서, (a)은 미동이 거의 없는 상태를 나타내며 따라서 픽셀이 높은 값을 가지는 영역이 없이 모두 어두운 상태를 보인다. 도5의 (b)는 상체 전체에서 미동이 나타난 것으로서 전체 이미지에서 두부와 가슴을 포함하는 상체 전체에서 밝은 부분 즉 높은 픽셀 값을 나타내 보인다. 도5의 (c)는 피험자의 이마 부분의 근육에서만 미동이 나타난 상태를 보인다. . 도5의 (d)는 피험자의 입 부분에서만 미동이 나타난 상태를 보이며, 도5의 (e)는 피험자가 눈을 깜빡임에 의한 미동을 보이며, 그리고 도5의 (f)는 눈동자에서의 미동을 도시한다.

본 발명은 미동량 검출하여 이를 분석함에 있어서, 도5에서와 같이 피험자의특정한 부위에서의 미동만을 검출하여 이를 이용해 피험자의 감성 상태를 분류할 수 있다. 이러한 본 발명은, 인체의 미동이 사회적 감성의 내재적 고유 반응으로 간주함에 따르며, 이때에 센서의 부착으로부터 자유로운 상태에서 사회적 상호작용, 예를 들어 대화가 이루어질 수 있도록 허용하며, 이를 통해서 예를 들어 친밀한 관계의 피험자 그룹과 그렇지 않은 피험자 그룹을 비교 분류할 수 있다.

본 발명의 실현성을 검증하기 위하여 아래와 같이 실험을 행하였다. 이를 위하여, 피험자 그룹에서 4 개조를 2 조씩 특정 주재로 25분간 대화를 나누도록 하였다. 여기에서, 2 개조는 상호 친밀한 관계를 가지고 있으며, 반대로 나머지 두개 조는 사회적 관계가 없는 친밀하지 않은 (낯선) 관계이다.

대화 도중, 상체 이미지는, 일반적으로 사용되는 것으로 640*480의 해상도 및초당 15 프레임의 웹캠(webcam)으로 초당 15 프레임 단위로 캡쳐 하였다.

캡쳐된 이미지 프레임 들은 0.5, 1, 3, 5, 15Hz 등의 5 주파수 밴드에서 미동량이 검출되도록 분석하였다(도3참조).

이러한 실험을 통해 추출된 다양한 주파수 밴드에서의 평균 미동량이 도6에 도시되어 있다. 도6에 도시된 바와 같이 친밀한 사회적 관계의 그룹에서의 미동량이 0.5Hz 밴드를 제외하고 친밀하지 않은 그룹에서의 미동량에 비해 낮게 나타났다.

또한, 두 개의 그룹 간의 더 많은 차이점을 비교적 높은 주파수 밴드에서 나타남을 알 수 있었다. 이러한 결과로부터, 비친밀한 사회적 상호작용은 인체 상체의 보다 큰 미동을 유도한다고 간주할 수 있었다.

본 발명은 인체 미동의 분석에 의해 사회적 감성의 추정하는 방법을 제시한다. 또한, 본 발명은 센서 부착과 같은 측정 부담이 없이 사회적 교감을 허용하여, 사회적 감성을 관찰할 수 있는 이점을 제공한다. 이러한 본 발명에 따르면, 신체의 미동은 친밀도를 두 개의 레벨로 분류할 수 있었다.

본 발명에 따른 방법의 수행에 있어서, 일반적인 웹캠을 이용하여 캡쳐된 연속적인 이미지 프레임을 이용해 인간 상체의 미동을 성공적으로 분석하였다. 이를 위하여, 상체 미동량이 인접한 두 이미지 프레임의 빼기(Subtraction)에 의해 측정되었다. 측정된 연속된 상체 미동량(값)이 1차원 시축상 강도 신호의 형태이므로, 일반적인 시간 신호 프로세싱 방법 모두가 적용될 수 있다.

그 결과, 전술한 바와 같이, 친밀한 관계의 경우에서의 미동량은 비친밀한 감정 관계에서의 그것에 비해 낮게 나타났다. 이러한 결과에 비추어 신체 각부의 미동과 다양한 일반적인 생리신호 반응 간의 관련성을 확증하는 것이 가능할 것이다. 예를 들어, 특정한 시화적 감성을 위한 ECG 신호와 상체 미동을 검출 한 후, 펄스간의 간격과 상체 미동량 간의 상호 관련성에 대한 분석이 가능할 것이다. 또한, 높은 주파수 대역 신호는 낮은 주파수 밴드에서 추출된 큰 제스쳐 부분의 마스킹에 의해 부분적으로 리젝션 필터링하는 것도 가능하다.

전술한 바와 같은 본 발명을 정리하면 아래와 같은 과정을 거치게 된다.

첫 번째 단계에서, 특정한 감정 상태에 놓여있는 피험자에 대한 상반신 또는 상체를 연속적으로 촬영이 필요하다. 상체의 촬영은 전신을 촬영한 후 상체 부분만 캡쳐하는 것에 의해서도 가능하다.

둘째 단계에서, 연속적으로 촬영에 의해 얻어지는 이미지를 일정 주파수로 캡쳐하여 인접한 두 이미지간의 차를 구한다. 이때에 캡쳐된 이미지에서 특정한 부위에 대해서만 차를 구할 수 도 있다. 이러한 차는 전술한 바와 같이 프레임 단위로 연속적 캡쳐되는 이미지들 중 인접한 두 이미지의 휘도 차를 구하는 것으로서, 식1에 정리되어 있는 바와 같이, 양 이미지의 동일 픽셀들의 휘도 차의 구하고 이 값을 절대값들을 전체 픽셀에 대해 누적하여 도4에 도시된 바와 같은 특정 주파수 대역의 신호를 구한다. 여기에서 피험자의 감성 상태와는 무관한 의도적 미동량을 필터링하는 것이 가능하다. 전술한 바와 같이 의도적 미동량은 높은 주파수 대역에서 발생하며, 따라서 낮은 주파수 대역의 신호로부터 이를 제거하는 필터링이 바람직하다.

셋째 단계에서, 상기 신호를 분석하여 피험자의 감성상태를 분류한다. 감성 상태를 분류함에 있어서, 예를 들어 도 6에 도시된 바와 같이 미동량 평균을 구하여, 기설정된 임계치를 기준으로 2단계의 감성 상태, 예를 들어 친밀 또는 비친밀을 분류한다.

상기와 같은 본 발명은 인간의 감성 상태에 따라 나타나는 특성 신호를 무의식적으로 발생하는 특정 주파수 대역에서의 인체 미동으로부터 구하는 것으로서, 이를 이용해 다양한 감성 상태의 분석이 가능할 것이다. 이러한 본 발명은 인간의 감성 상태를 특정하기 위하여 인체에 부착하였던 센서를 제거함으로써 감성 상태 분석 대상이 이러한 부담으로부터 자유로워지고, 또한 감성 상태 분석이라는 과제에 대한 노출 부담이 없이 자연스럽게 측정에 임할 수 있다. 또한, 이러한 본 발명은 특수한 목적, 예를 들어 거짓말 탐지기와 같이 특정인의 특정 상태의 진위를 강제적으로 판단하는 목적으로도 적용될 수 있으며, 이 경우에 있어서도 피검사자는 인지하거나 의식할 수 없는 상태에서 검사가 진행될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (6)

1. 카메라를 이용하여 피험자의 몸체를 촬상하는 단계;
   영상 분석에 의해 촬상된 영상의 이미지 프레임에서 ROI(region of interest)를 선택하고, 소정 인터벌(간격)로 연속된 두 이미지 차(Subtracting)를 식1에 의해 계산하여 특정 주파수(F) 대역에서의 피험자의 몸체 미동량(O_FHz, Average amount of micro movement at Freaquency "F" Band)를 검출하는 단계;
   상기 분석으로부터 얻어진 특정 주파수(F) 대역의 미동량(O_FH)을 분석하여 상기 피험자의 감성 상태를 특정하는 단계;를 포함하는 감성 판단 방법.
   <식1>
   

   

   
   위에서, W와 H는 ROI에서 상체 미동의 수평 및 수직 길이(크기 또는 거리)이며, In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값이며, R은 영상 플레임 레이트이다.
2. 제1항에 있어서,
   상기 피험자의 상체로부터 상기 몸체 미동량 신호를 검출하는 것을 특징으로 하는 감성 판단 방법.
3. 제2항에 있어서,
   상기 미동량 신호는 상기 몸체에서 선택된 특정 부위로부터 검출하는 것을 특징으로 하는 감성 판단 방법.
4. 제3항에 있어서,
   상기 몸체의 특정 부위에 대한 미동량 신호를 검출함에 있어서 Adaboost 방법에 의한 안면 검출을 적용하는 것을 특징으로 하는 감성 판단 방법.
5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 특정 주파수 대역의 미동량 신호로부터 다른 특정 주파수 대역의 미동량 주파수를 제거하는 것을 특징으로 하는 감성 판단 방법.
6. 제5항에 있어서,
   상기 특정 주파수의 신호는 피험자의 무의식인 움직임에 따라 발생하며, 상기 다른 특정 주파수의 신호는 피험자의 의식적인 움직임에 따라 발생하는 것을 특징으로 하는 감성 판단 방법.

Images