KR101971602B1 - 영상분석을 이용한 공감 감성 추론 방법 및 시스템 - Google Patents

Abstract

영상분석을 통한 공감감성 분석 방법 및 시스템에 대해 기술한다. 추론 방법:은 사회적 환경에 놓여 있는 피험자로부터 동영상을 획득하는 단계; 상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계; 상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 데이터 값을 추출하는 단계; 상기 피험자의 움직임 량을 분석하여 피험자의 공감 여부를 판단하는 단계;를 포함한다.

Description

영상분석을 이용한 공감 감성 추론 방법 및 시스템{Reasoning Method and System of Empathic Emotion Based on Video Analysis}

본 발명은 동영상 분석을 통한 사회적 공감 감성을 추론하는 방법에 관한 것으로 상세하게는 움직임 정보에 의한 공감 감성을 추론하는 방법에 관한 것이다.

공감(Empathy)이란, 다른 사람의 생각이나 심리 상태를 그 사람의 입장이 되어 느끼는 것을 통해서 지각하는 것을 의미한다. 이러한 공감은 동감(sympathy)과는 의미적으로 차이를 확인할 수 있다. 동감에 비해 공감은 행동적 요소가 더 강하며, 상상에 대한 느낌(이와 같은 경험)까지도 포함되는 좀 더 포괄적인 내용이다(Rogers, 1957; Basch, 1983). 공감을 잘 할수록 상대방과의 감정적 교류는 향상되어, 사회성 등 사회감성을 확장시킬 수 있다.

인간의 움직임은 다양한 감성정보를 포함한다. 제스처, 표정 등 다양한 형태로 감성정보를 표출하며 타인에게 전달된다. 이러한 감성적 정보들은 집단 내 구성원에게 감성적 전염(emotional contagion)을 유발하며, 특정 구성원의 감성과 동일한 감성을 느꼈다고 보고한 선행연구를 확인할 수 있다(비특허문헌 3). 이러한 연구는 보다 구체적인 시스템을 요구하며, 이를 위한 지속적인 연구가 요구된다.

Basch, M. F. (1983). Empathic understanding: A review of the concept and some theoretical considerations. Journal of the American Psychoanalytic Association Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Barsade, S. G. (2002). The Ripple 이동원, 박상인, 황성택, 황민철 (2014) 두 사람간의 친밀도에 따른 동공 크기 동기화 차이, 감성과학학술대회

본 발명은 영상 분석을 이용한 공간감성 추론 방법 및 시스템을 제시한다.

본 발명에 따른 공간 감성 추론 방법:은

피험자로부터 동영상을 획득하는 단계;

상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;

상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 량을 추출하는 단계;

상기 움직임 정보를 분석하여 타인에 대한 상기 피험자의 공감 여부를 판단하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 상기 프레임간의 변화량은 프레임별 영상 픽셀의 RGB 값의 차이로부터 얻는다.

본 발명의 한 실시 예에 따르면, RGB 값의 차이에 의한 프레임간 변화량은, 인접 프레임간의 RGB 차이 값들을 구하고, 차이 값은 평균(Average)값을 기준으로 전후 인접한 프레임간 RGB 차가 가장 큰 움직임과, 가장 작은 움직임의 차를 움직임 데이터 값으로 계속 누적하여 움직임 량을 최적화시킬 수 있다.

본 발명의 한 실시 예에 따르면, 상기 피험자의 공감 여부의 판단은 소정 주기(T1)로 움직임 데이터 값(x)으로부터 평균(mean) 값과 분산(SD, Standard Deviation)을 추출하고, 아래의 식을 이용해 Z 스코어를 구한다.

Z = (x－mean) / SD

본 발명의 한 실시 예에 따르면, 상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 초마다의 움직임량에 대한 값을 계산한다.

여기에서, 상기 주기(T1) 동안의 Z 스코어의 평균(Zm)을 구하고, 이 평균(Zm)을 피험자의 동감 여부를 판단하는 기준치(Reference value or Threshold value)로 적용한다.

상기 방법을 수행하는 영상분석을 이용한 공감 추론 시스템:은

상기 동영상을 획득하는 동영상 카메라;

상기 동영상 카메라로 부터의 동영상을 처리하는 영상처리부;

영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고

상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.
도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.
도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.
도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.
도4는 본 발명에 따른 공감 감성 분석 시스템의 구성을 예시하는 도면이다.
도5는 본 발명을 검증하기 위해 실시된 실험 결과를 보이는 그래프이다.

이하, 첨부된 도면을 참조하면서, 본 발명에 따른 영상 분석을 통한 공감 분석 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.

본 발명에 따른 방법의 전 과정을 나타낸다. 즉, 본 발명은 군중이나 1:1 타인과의 대면 관계에 있는 두 피험자로부터 동영상을 촬영하여 영상 데이터를 수집(S1)하는 단계, 그리고 수집된 동영상을 전처리하는 단계(S2) 그리고 데이터를 분석하여 피험자의 공감 여부를 판단하는 데이터 분석 단계(S3)를 포함한다.

도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.

도2에서 좌측의 흐름은 움직임데이터를 추출하는 과정을 나타내며, 우측의 공감 여부를 판단하는 과정을 나타낸다.

먼저 도2의 좌측 흐름을 참조하면서 두 피험자로부터 얻어지는 영상으로부터움직임 데이터를 추출하는 과정을 살펴본다.

(S11) 두 피험자(A, B)의 움직임 량을 추출하기 위해서, 피험자의 신체, 바람직하게는 두부 또는 안면을 각각 촬영하면서, 프레임 단위로 소정 해상도의 영상 이미지를 실시간 입력 받는다. 여기에서 프레임당 변화 량을 추출하게 되는데, 여기에서 프레임당 변화 량은 인접한 전후 프레임, 예를 들어 현재(current) 프레임(frame)과 직전(previous)의 프레임(frame)의 차이에 대한 영상 정보가 추출된다.

(S12) 각각 입력된 각 피험자의 영상은 해상도(Resolution)에 해당하는 크기로, 프레임 단위로 픽셀 별 R, G, B 값을 추출한다. 본 발명의 일 실시 예에 따라, 프레임의 차이에 대한 영상 정보는 프레임간 R, G, B 픽셀 값의 차이이다.

(S13) 각 픽셀(R, G, B) 값의 변화 또는 변동 정보는 이전 프레임에 대비하여 현재 플레임의 R, G, B 픽셀 값의 변화된 정보를 포함해야 하므로, 이전 프레임에 대한 현재 프레임의 R, G, B 픽셀(값)의 변화율(Calculated Variation)로 계산하여 준다. 수식은 다음과 같다.

이 과정 또한 두 피험자의 영상에 대해 각각 수행되며, 이를 통해서 이전 프레임에 대비한 현재 프레임의 모든 픽셀의 변화률을 얻을 수 있다.

(S14) 위의 과정에서 추출된 두 피험자의 픽셀 변화율(Variation) 정보는 영상 내에서 움직임 변화 정보를 포함한다. 정규화(Normalization) 과정은 이때 움직임 변화 정보가 연속적으로 계산되는 변화정보를 동일한 범위 내에서 계산하기 위한 작업이다. R, G, B 픽셀 각각의 정규화(Normalization) 수식은 다음과 같다. 이러한 정규화는 R, G, B 모두 픽셀에 대해 개별적으로 수행된다.

위에서 Max Value와 Min Value 는 한 프레임 내에서 가장 높은 픽셀 값과 가장 낮은 픽셀 값을 나타낸다.

위와 같은 과정을 통해서 움직임 값을 얻은 후 아래의 과정을 거쳐 피험자의 공감 여부를 판단한다.

(S15) 움직임 데이터 출력(Output Movement Data) 과정은 추출된 정보를 누적 연산을 통해 지속적으로 변화되는 정보는 가중치를 주고, 그렇지 않은 움직임은 제거하기 위한 작업이다. 누적된 정규화 값(Accumulated Normalization Value, ANV)의 계산식은 다음과 같으며, 모든 R, G, B 픽셀 각각에 대해 계산된다.

여기에서, Current Normalized Pixels 는 현재 프레임의 픽셀을 의미하며, Previous Normalized Pixels는 이전 프레임의 픽셀을 의미한다.

이러한 누적 연산 후, 총 평균(Grand Average)를 통해 움직임 데이터(Movement Data, MD)로 전환하며, 이를 위한 수식은 다음과 같다.

여기에서, n = 영상 Resolution (width x height), 예를 들며 n = 640x480 크기를 가질 수 있다.

(S16) 상기 과정을 통해 움직임 값을 입력 받아 버퍼에 저장한다.

(S17) 소정 시간, 예를 들어 30초만큼의 움직임 데이터를 버퍼에서 로드 한다.

두 피험자(A, B)의 각 영상 별로 입력된 움직임 정보에 범위를 맞추기 위하여 아래의 움직임 변화량(Normalization of Movement Data)(Z, Z-score) 수식을 통해 각 영상의 움직임 범위를 맞추어 준다.

여기에서 X 는 지정된 버퍼 크기만큼의 움직임 신호, m = 지정된 버퍼 크기만큼의 움직임 평균 값, SD는 지정된 버퍼 크기만큼의 움직임 표준편차(Standard Deviation) 값을 나타낸다.

소정 주기(T1), 예를 들어 30초간의 움직임 값(x)을 이용해 평균(mean) 값과 표준 편차(SD 값을 추출하여 위의 식에 의해 움직임의 변화량을 구한다.

(S17) 위의 수식을 통해 매 30초마다 계산된 Z 스코어는 소정의 윈도우 크기(window size) 예를 들어 3초, 소정의 시간 간격(interval time), 예를 들어 1초 기준으로 매초마다 움직임 량에 대한 값을 계산한다. 여기에서 소정 주기, 즉 30초 동안의 Z 스코어 평균(Zm)을 구한다.

이렇게 측정된 Zm의 SD값을 이용하여 공감도 점수로 환산해볼 수 있다. 공감점수체계는 최저값과 최고값을 기준으로 연속적인 점수체계를 고려하여 사용자가 공감정도를 파악할 수 있다. 예를 들면 SD평균을 기준으로 보정값을 이용하여 점수 체계화를 할 수 있다.

(S18) 공감도 레벨 판단 과정으로서, 추출된 Z 값에 표준 편차 값을 추출하여 도5에 제시된 기준 값에 가까워질수록 공감도에 점수를 반영한다.

상기와 같은 본 발명의 방법의 정확성을 평가하기 위하여 아래와 같은 실험을 수행하였다.

도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.

도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.

사람과 비슷한 원숭이를 대상으로 한 시각 자극에 대한 동작반응에 따른 실험에 의하면, 시각적 정보를 통해 정보를 확인하고, 그에 따른 피드백으로 손으로 행동을 취하는 과정까지의 인지 프로세스 처리 시간은 최소 180 ~ 260ms으로 알려져 있다(Thorpe, 2001). 또한, 얼굴 사진을 이용하여, 인종에 따른 구별을 진행하는 작업에서 MRI로 촬영 결과, 주어진 얼굴 판별 시간 총 15초 내에서 1~3초에서 가장 큰 판별률을 보였다. 이에 따라, 얼굴을 보고 표정을 모방하는데 까지 걸리는 시간을 최대 3초로 설정하여, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)을 적용하여, 영상 데이터 분석을 진행하였다.

공감 분석을 진행한 데이터는 두 사람 간의 공감도를 평가하는 실험을 진행하였다. 총 34명, 17쌍으로, 공감에 대한 실험은 타인의 정서를 이해하는 것으로 같은 감성을 공유하게 되는 것으로 정의하였다. 각 그룹의 피험자는 리더(Leader)와 팔로워(Follower)로 역할을 나누어 표정을 모방하는 상호작용을 통해 공감도가 있는 조건을 설정하였다. 상호 작용이 없이 각자 스크린에 제시된 표정을 모방하는 것을 공감도가 없는 조건으로 설정하였다. 표정 모방태스크를 약 4분간 수행하도록 하였다. 표정 모방 테스트를 진행하는 동안 피험자의 얼굴 중심의 상반신을 중심으로 640*480, 30fps 설정하여 촬영하였다.

이러한 실험에 시스템은 도4에 도시된 바와 같이, 피험자 또는 리더(1a)의 얼굴 표정을 흉내 내는 팔로워(1b)의 상체 또는 안면을 촬영하는 동영상 카메라(10), 카메라로부터 영상을 처리하는 영상 처리부(20), 그리고 이를 분석하여 피험자의 사회적 공감 상태를 분석하는 분석부(30) 그리고 피험자 공감 상태의 분석 결과를 표시하는 디스플레이(40)를 구비한다. 이러한 시스템은 동영상 카메라를 구비하는 컴퓨터 기반의 범용장치 또는 전용장치로서 구현될 수 있다.

전술한 바와 같이 34명의 실험 대상자로부터 얻어진 데이터를 분석한 결과는 도5에 도시된 바와 같다. 이 결과에 따르면, SD는 공감 판단 시, 작아짐을 확인하였다 (z=-2.157, p=.031).

본 실험에서는 피험자의 얼굴을 촬영하고 얼굴 움직임에 대한 Z 스코어를 분석하였다. 4분 의 영상 중에 30초 동안의 평균값(mean₍₃₀₎) 및 분산(SD₍₃₀₎)값을 구한 뒤, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)를 적용하여 리더와 팔로워의 Z 스코어 평균(Zm) 값을 추출하였다.

다음은 각각 30초 동안의 리더와 팔로워의 Z 스코어 값(Z_leader , Z_follower )을 계산하는 수식이다.

Z_leader = (X-mean₍₃₀₎)/ SD₍₃₀₎

Z_follower = (X-mean₍₃₀₎)/ SD₍₃₀₎

공감 시와 비공감 시의 리더(Leader)와 팔로워(follower) 각각의 SD값을 구하여, 그 차이 값을 비교하였다.

공감한 경우와 공감하지 않은 두 조건에 대해 대응표본 티-테스트(t-test)를 진행하였다. 그 결과, 공감한 경우보다 비공감한 경우의 Z 스코어가 값이 유의미하게 크다는 것을 확인하였다(t(-2.287), p<0.035). Z 스코어의 값이 크다는 의미는 두 사람의 얼굴표정 움직임 량의 분산 정도가 크며, 이는 두 사람의 표정은 유사하게 움직이지 않음을 알 수 있다. 따라서, 공감 그룹보다 비공감 그룹에서 공감이 덜 이루어지는 것을 확인할 수 있었다.

이러한 본 발명은 피험자 또는 어느 특정인의 미세 움직임 변화량을 획득하여 이를 분석함으로써 피험자 또는 특정인이, 그가 속한 사회적 환경에서의 공감 형성 등을 쉽게 판단할 수 있다.

이렇게 측정된 SD값을 이용하여 공감도 점수로 환산해볼 수 있다.

공감점수체계는 최저 값과 최고 값을 기준으로 연속적인 점수체계를 고려하여 사용자가 공감 정도를 파악할 수 있다. 예를 들면 SD평균을 기준으로 보정값을 이용하여 점수 체계화를 할 수 있다.

보정값 = 50/평균 SD값

공감 점수 = 100- (SD값* 보정값), 100점 기준

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

1a: 리더
1b: 팔로워
10: 동영상 카메라
20: 영상처리부
30: 분석부
40: 디스플레이

Claims (9)

1. 사회적 환경에 놓여 있는 두 피험자로부터 동영상을 획득하는 단계;
   상기 동영상으로부터 연속되는 전후 프레임 간 픽셀 값의 차이에 대한 영상 정보를 추출하는 단계;
   상기 전후 프레임간 픽셀 차이값의 비율인 변화율을 검출하는 단계;
   프레임 내의 최대 픽셀값과 최소 픽셀값의 차이에 대해 상기 변화율을 정규화하는 단계;
   상기 정규화된 변화율부터 피험자의 움직임 데이터 값(x)을 추출하는 단계;
   소정 주기(T1)로 상기 움직임 데이터 값(x)으로부터 평균(mean) 값과 표준 편차(SD, Standard Deviation)을 추출하고, 아래의 <식1>을 이용해 상기 표준 편차(SD)에 대한 움직임 데이터 값의 평균차(x-mean)의 비율(Z)를 구하는 단계; 그리고
   상기 비율(Z)에 의해 두 피험자 간의 공감 또는 비공감을 판단하는 단계;를 포함하는 공감 감성 추론 방법.
   <식1>
   Z = (x－mean) / SD
2. 제1항에 있어서,
   상기 프레임간의 변화율은 프레임별 영상 픽셀의 R, G, B 값의 변화율(Variation)으로부터 얻는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 방법.
3. 제 2항에 있어서,
   상기 R, G, B 값의 변화율(Variation)은 아래의 <식2>을 만족하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론방법.
   <식2>
   

   
4. 제3항에 있어서,
   상기 R, G, B 값의 변화율(Variation)을 아래의 <식3>에 의해 정규화하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.
   <식3>.
   

   

   
   위 식3에서,
   Each Value(R, G, B)는 R, G, B 각각에 대한 변화율,
   Max Value(R, G, B)는 R, G, B 각각에 대한 변화율의 최대값, 그리고
   Min Value(R, G, B)는 R, G, B 각각에 대한 변화율의 최소값
5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 초마다의 두 피험자의 움직임 량에 대한 값을 계산하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 방법.
6. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 두 피험자의 영상으로부터 얻은 움직임 데이터를 선형 합을 통해 하나의 데이터(Convolution Data)를 구하고, 이로부터 공감도 판단 기준이 되는 표준 편차를 구하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.
7. 제1항 내지 제4항 중의 어느 한 항에 기재된 방법을 수행하는 시스템에 있어서,
   상기 동영상을 획득하는 동영상 카메라;
   상기 동영상 카메라로부터의 동영상을 처리하는 영상 처리부;
   상기 영상 처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고
   상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비하는 영상분석부을 이용한 공감 감성 추론 시스템.
8. 제7항에 있어서,
   상기 분석부:는
   상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 움직임 량에 대한 값을 계산하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 시스템.
9. 제7항에 있어서,
   상기 분석부:는
   상기 두 피험자의 영상으로부터 얻은 움직임 데이터를 선형 합을 통해 하나의 데이터(Convolution Data)를 구하고, 이로부터 공감도 판단 기준이 되는 표준 편차를 구하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 시스템.

Images