KR101911891B1 - 영상분석을 이용한 공감 감성 추론 방법 및 시스템 - Google Patents

Abstract

영상분석을 통한 공감감성 분석 방법 및 시스템에 대해 기술한다. 추론 방법:은 사회적 환경에 놓여 있는 피험자로부터 동영상을 획득하는 단계; 상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계; 상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 데이터 값을 추출하는 단계; 상기 피험자의 움직임 량을 분석하여 피험자의 공감 여부를 판단하는 단계;를 포함한다.

Description

영상분석을 이용한 공감 감성 추론 방법 및 시스템{Reasoning Method and System of Empathic Emotion Based on Video Analysis}

본 발명은 동영상 분석을 통한 사회적 공감 감성을 추론하는 방법에 관한 것으로 상세하게는 움직임 정보에 의한 공감 감성을 추론하는 방법에 관한 것이다.

공감(Empathy)이란, 다른 사람의 생각이나 심리 상태를 그 사람의 입장이 되어 느끼는 것을 통해서 지각하는 것을 의미한다. 이러한 공감은 동감(sympathy)과는 의미적으로 차이를 확인할 수 있다. 동감에 비해 공감은 행동적 요소가 더 강하며, 상상에 대한 느낌(이와 같은 경험)까지도 포함되는 좀 더 포괄적인 내용이다(Rogers, 1957; Basch, 1983). 공감을 잘 할수록 상대방과의 감정적 교류는 향상되어, 사회성 등 사회감성을 확장시킬 수 있다.

인간의 움직임은 다양한 감성정보를 포함한다. 제스처, 표정 등 다양한 형태로 감성정보를 표출하며 타인에게 전달된다. 이러한 감성적 정보들은 집단 내 구성원에게 감성적 전염(emotional contagion)을 유발하며, 특정 구성원의 감성과 동일한 감성을 느꼈다고 보고한 선행연구를 확인할 수 있다(비특허문헌 3). 이러한 연구는 보다 구체적인 시스템을 요구하며, 이를 위한 지속적인 연구가 요구된다.

Basch, M. F. (1983). Empathic understanding: A review of the concept and some theoretical considerations. Journal of the American Psychoanalytic Association Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Journal of consulting psychology, 21(2), 95. Barsade, S. G. (2002). The Ripple Effect : Emotional Contagion and Its Influence on Group Behavior. Administrative Science Quarterly, 47(4). 이동원, 박상인, 황성택, 황민철 (2014) 두 사람간의 친밀도에 따른 동공 크기 동기화 차이, 감성과학학술대회

본 발명은 영상 분석을 이용한 공간감성 추론 방법 및 시스템을 제시한다.

본 발명에 따른 공간 감성 추론 방법:은

피험자로부터 동영상을 획득하는 단계;

상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;

상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 량을 추출하는 단계;

상기 움직임 정보를 분석하여 타인에 대한 상기 피험자의 공감 여부를 판단하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 상기 프레임간의 변화량은 프레임별 영상 픽셀의 RGB 값의 차이로부터 얻는다.

본 발명의 한 실시 예에 따르면, RGB 값의 차이에 의한 프레임간 변화량은, 인접 프레임간의 RGB 차이 값들을 구하고, 차이 값은 평균(Average)값을 기준으로 전후 인접한 프레임간 RGB 차가 가장 큰 움직임과, 가장 작은 움직임의 차를 움직임 데이터 값으로 계속 누적하여 움직임 량을 최적화시킬 수 있다.

본 발명의 한 실시 예에 따르면, 상기 피험자의 공감 여부의 판단은 소정 주기(T1)로 움직임 데이터 값(x)으로부터 평균(mean) 값과 분산(SD, Standard Deviation)을 추출하고, 아래의 식을 이용해 Z 스코어를 구한다.

Z = (x－mean) / SD

본 발명의 한 실시 예에 따르면, 상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 초마다의 움직임량에 대한 값을 계산한다.

여기에서, 상기 주기(T1) 동안의 Z 스코어의 평균(Zm)을 구하고, 이 평균(Zm)을 피험자의 동감 여부를 판단하는 기준치(Reference value or Threshold value)로 적용한다.

상기 방법을 수행하는 영상분석을 이용한 공감 추론 시스템:은

상기 동영상을 획득하는 동영상 카메라;

상기 동영상 카메라로 부터의 동영상을 처리하는 영상처리부;

영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고

상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.
도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.
도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.
도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.
도4는 본 발명에 따른 공감 감성 분석 시스템의 구성을 예시하는 도면이다.
도5는 본 발명을 검증하기 위해 실시된 실험 결과로서 공감 및 비공감에서의 상관 계수(correlation value)를 보이는 그래프이다.

이하, 첨부된 도면을 참조하면서, 본 발명에 따른 영상 분석을 통한 공감 분석 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.

본 발명에 따른 방법의 전 과정을 나타낸다. 즉, 본 발명은 군중이나 1:1 타인과의 대면 관계에 있는 두 피험자로부터 동영상을 촬영하여 영상 데이터를 수집(S1)하는 단계, 그리고 수집된 동영상을 전처리하는 단계(S2) 그리고 데이터를 분석하여 피험자의 공감 여부를 판단하는 데이터 분석 단계(S3)를 포함한다.

도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.

도2에서 좌측의 흐름은 움직임데이터를 추출하는 과정을 나타내며, 우측의 공감 여부를 판단하는 과정을 나타낸다.

먼저 도2의 좌측 흐름을 참조하면서 두 피험자로부터 얻어지는 영상으로부터움직임 데이터를 추출하는 과정을 살펴본다.

(S11) 두 피험자(A, B)의 움직임 량을 추출하기 위해서, 피험자의 신체, 바람직하게는 두부 또는 안면을 각각 촬영하면서, 프레임 단위로 소정 해상도의 영상 이미지를 실시간 입력 받는다. 여기에서 프레임당 변화 량을 추출하게 되는데, 여기에서 프레임당 변화 량은 인접한 전후 프레임, 예를 들어 현재(current) 프레임(frame)과 직전(previous)의 프레임(frame)의 차이에 대한 영상 정보가 추출된다.

(S12) 각각 입력된 각 피험자의 영상은 해상도(Resolution)에 해당하는 크기로, 프레임 단위로 픽셀 별 R, G, B 값을 추출한다. 본 발명의 일 실시 예에 따라, 프레임의 차이에 대한 영상 정보는 프레임간 R, G, B 픽셀 값의 차이이다.

(S13) 각 픽셀(R, G, B) 값의 변화 또는 변동 정보는 이전 프레임에 대비하여 현재 프레임의 R, G, B 픽셀 값의 변화된 정보를 포함해야 하므로, 이전 프레임에 대한 현재 프레임의 R, G, B 픽셀(값)의 변화율(Calculated Variation)로 계산하여 준다. 수식은 다음과 같다.

이 과정 또한 두 피험자의 영상에 대해 각각 수행되며, 이를 통해서 이전 프레임에 대비한 현재 프레임의 모든 픽셀의 변화률을 얻을 수 있다.

(S14) 위의 과정에서 추출된 두 피험자의 픽셀 변화율(Variation) 정보는 영상 내에서 움직임 변화 정보를 포함한다. 정규화(Normalization) 과정은 이때 움직임 변화 정보가 연속적으로 계산되는 변화정보를 동일한 범위 내에서 계산하기 위한 작업이다. R, G, B 픽셀 각각의 정규화(Normalization) 수식은 다음과 같다. 이러한 정규화는 R, G, B 모두 픽셀에 대해 개별적으로 수행된다.

위에서 Max Value와 Min Value 는 한 프레임 내에서 가장 높은 픽셀 값과 가장 낮은 픽셀 값을 나타낸다.

위와 같은 과정을 통해서 움직임 값을 얻은 후 아래의 과정을 거쳐 피험자의 공감 여부를 판단한다.

(S15) 움직임 데이터 출력(Output Movement Data) 과정은 추출된 정보를 누적 연산을 통해 지속적으로 변화되는 정보는 가중치를 주고, 그렇지 않은 움직임은 제거하기 위한 작업이다. 누적된 정규화 값(Accumulated Normalization Value, ANV)의 계산식은 다음과 같으며, 모든 R, G, B 픽셀 각각에 대해 계산된다.

여기에서, Current Normalized Pixels 는 현재 프레임의 픽셀을 의미하며, Previous Normalized Pixels는 이전 프레임의 픽셀을 의미한다.

이러한 누적 연산 후, 총 평균(Grand Average)를 통해 움직임 데이터(Movement Data, MD)로 전환하며, 이를 위한 수식은 다음과 같다.

여기에서, n = 영상 해상도(width x height), 예를 들며 n = 640x480 크기를 가질 수 있다.

(S16) 상기 과정을 통해 움직임 데이터를 입력 받아 버퍼에 저장한 후 칼라 히스토그램을 계산한다. 즉, 두 피험자로부터 얻어진 움직임 데이터로부터 각각의 움직임에 대한 히스토그램(Histogram)을 추출(RGB 합산)한다. 히스토그램의 X-Y 좌표에서 X축은 픽셀의 정보(명암값, 0은 검정색, 255는 흰색을 나타냄)를 나타내는 0-255 구간이며 y축은 그 구간에 대한 빈도 수를 나타낸다. 여기에서, 영상의 픽셀 값을 한 바이트 크기의 값으로 양자화 했다고 가정하면, 한 바이트의 크기는 2^8=256이다. 따라서 (0~255)의 범위를 가지게 된다.

(S17) 이 단계에서 기울기 각도(Degree of cline)를 판단한다. 구체적으로

여기에서, 픽셀 정보 0-255 구간에서 가장 움직임의 동기화를 잘 나타내는 영역을 추출하기 위해 RGB 정보에서 가장 활성화되는 구간을 결정한다. 이 구간 설정은 매 프레임마다 달라지며, 따라서 이를 Adaptive thresholding이라고 부른다. 이렇게 결정된 임계 값(threshold)의 기울기(x, y)를 계산한다.

(S18) 계산된 기울기의 상관(correlation) 값(계수)을 계산(A라는 사람의 기울기 값과 B라는 사람의 기울기 값의 상관계수 값의 계산)하여, 공감되는 상황인지를 판단하는 공감기준을 설정한다. 매 30초마다 계산된 움직임 변화량은 window size =3초, interval time= 1초 기준으로 매초마다 값을 계산한다.

예를 들어, 기울기 값의 상관 계수 또는 값(Correlation, r)을 아래의 식에 의해 계산하여 이를 통해서 공감을 판단한다.

전술한 바와 같이 수 5는 상관계수 r 을 구하는 식으로서, 두 변수간 상호관계를 알 수 있다. 상관관계의 크기는 상관계수를 통해 정량화가 가능하다. 예를 들어, 두 사람이 있을 경우, x는 A라는 사람의 기울기 값, y는 B라는 사람의 기울기 값을 의미한다. 측정한 움직임 데이터는 평균을 빼서 각 움직임 데이터의 편차를 계산한다. ex) (x_i-

) =x의 편차 , (y_i-

) = y의 편차

A, B의 움직임 편차를 A와 B의 표준편차 곱으로 나누어주면, A와 B의 상관계수를 얻게 된다.

같은 움직임 데이터를 가질수록 계수 r의 값이 커지고(r=1에 가까워짐) 두 사람의 움직임은 동일하게 나타남을 의미하여, 같은 움직임을 나타내는 것으로 판단 공감도가 증가하는 것으로 판단하게 된다.

(S19, S20 상기 과정에서 얻은 상관값을 비교하고, 그 결과에 따라 두 피험자간의 공감 여부를 판단한다. 예를 들어 상관 계수가 0.75 이상이면, 공감, 그 이하이면 비공감으로 판단한다.

상기와 같은 본 발명의 방법의 정확성을 평가하기 위하여 아래와 같은 실험을 수행하였다.

도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.

도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.

사람과 비슷한 원숭이를 대상으로 한 시각 자극에 대한 동작반응에 따른 실험에 의하면, 시각적 정보를 통해 정보를 확인하고, 그에 따른 피드백으로 손으로 행동을 취하는 과정까지의 인지 프로세스 처리 시간은 최소 180 ~ 260ms으로 알려져 있다(Thorpe, 2001). 또한, 얼굴 사진을 이용하여, 인종에 따른 구별을 진행하는 작업에서 MRI로 촬영 결과, 주어진 얼굴 판별 시간 총 15초 내에서 1~3초에서 가장 큰 판별률을 보였다. 이에 따라, 얼굴을 보고 표정을 모방하는데 까지 걸리는 시간을 최대 3초로 설정하여, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)을 적용하여, 영상 데이터 분석을 진행하였다.

공감 분석을 진행한 데이터는 두 사람 간의 공감도를 평가하는 실험을 진행하였다. 총 34명, 17쌍으로, 공감에 대한 실험은 타인의 정서를 이해하는 것으로 같은 감성을 공유하게 되는 것으로 정의하였다. 각 그룹의 피험자는 리더(Leader)와 팔로워(Follower)로 역할을 나누어 표정을 모방하는 상호작용을 통해 공감도가 있는 조건을 설정하였다. 상호 작용이 없이 각자 스크린에 제시된 표정을 모방하는 것을 공감도가 없는 조건으로 설정하였다. 표정 모방태스크를 약 4분간 수행하도록 하였다. 표정 모방 테스트를 진행하는 동안 피험자의 얼굴 중심의 상반신을 중심으로 640*480, 30fps 설정하여 촬영하였다.

이러한 실험에 시스템은 도4에 도시된 바와 같이, 피험자 또는 리더(1a)의 얼굴 표정을 흉내 내는 팔로워(1b)의 상체 또는 안면을 촬영하는 동영상 카메라(10), 카메라로부터 영상을 처리하는 영상 처리부(20), 그리고 이를 분석하여 피험자의 사회적 공감 상태를 분석하는 분석부(30) 그리고 피험자 공감 상태의 분석 결과를 표시하는 디스플레이(40)를 구비한다. 이러한 시스템은 동영상 카메라를 구비하는 컴퓨터 기반의 범용장치 또는 전용장치로서 구현될 수 있다.

전술한 바와 같이 34명의 실험 대상자로부터 얻어진 데이터를 분석한 결과는 도5에 도시된 바와 같다. 이 결과에 따르면, 상관 계수(correlation value)는 공감 판단 시, 증가함을 확인하였다 (z=-1.992, p=.046).

본 실험에서는 피험자의 얼굴을 촬영하고 영상 전체 중 객체(object)만 추출하여, 5분의 영상 중에 30초 동안의 히스토그램(histogram)값의 기울기의 상관 값(Correlation value)을 계산하였다. 공감한 경우와 공감하지 않은 두 조건에 대해 대응표본 t-test를 진행하였다. 그 결과, 공감한 경우에 비공감한 경우보다 상관 값(Correlation value)이 유의미하게 크다는 것을 확인하였다(U = 76.0, p=.018). 상관 값(Correlation value)이 크다는 것은 두 개의 움직임 변화량의 값이 유사하다는 것을 의미하여, 이는 두 사람의 표정 움직임이 유사하게 일어난다는 것을 나타낸다. 따라서, 공감 그룹보다 비공감 그룹에서 공감이 덜 이루어지는 것을 확인할 수 있었다.

이러한 본 발명은 피험자 또는 어느 특정인의 미세 움직임 변화량을 획득하여 이를 분석함으로써 피험자 또는 특정인이, 그가 속한 사회적 환경에서의 공감 형성 등을 쉽게 판단할 수 있다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

1a: 리더
1b: 팔로워
10: 동영상 카메라(HD CAM)
20: 영상처리부
30: 분석부
40: 디스플레이

Claims (7)

1. 사회적 환경에 놓여 있는 두 피험자로부터 동영상을 획득하는 단계;
   상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;
   상기 영상 정보로부터 프레임간 변화율을 검출하여 이로부터 피험자의 움직임 데이터 값을 추출하는 단계;
   상기 움직임 데이터 값으로부터 픽셀 값(x)과 빈도수(y)의 정보를 포함하는 히스토그램을 추출하는 단계;
   상기 히스토그램의 전체 구간에서 빈도수(y)가 다른 구간에 비해 높은 구간을 소정의 임계 값으로 결정하고, 여기에서 임계값의 기울기(x, y)를 계산하는 단계;
   소정의 주기 단위로 상기 기울기의 상관 계수(Correlation value, r)을 구하는 단계; 그리고
   상기 상관계수(r)에 의해 두 피험자 간의 공감 또는 비공감을 판단하는 공감 여부를 판단하는 단계;를 포함하는 공감 감성 추론 방법.
2. 제1항에 있어서,
   상기 프레임간의 변화율은 프레임별 영상 픽셀의 R, G, B 값의 변화율(Variation)로부터 얻는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 방법.
3. 제 2항에 있어서,
   상기 R, G, B 값의 변화율(Variation)은 아래의 식을 만족하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론방법.
   

   
4. 제 3항에 있어서,
   상기 R, G, B 값의 변화율(Variation)은 아래의 식에 의해 정규화되는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.
   <식>
   

   

   
   위 식에서, Each Value(R, G, B)는 R, G, B 값 각각의 변화율을 의미하며,
   Max Value(R,G,B) 및 Min Value(R,G,B)는 R, G, B 값의 변화율(Variation) 중 최고치와 최저치를 각각 의미한다.
5. 제 4 항 있어서,
   상기 움직임 데이터(MD)는 아래의 식에 의해 산출하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.
   <식>
   

   

   
   위 식에서 n= 영상 해상도(width x height), Ri, Gi, Bi 는 정규화된 R, G, B 값의 변화율을 나타낸다.
6. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하는 시스템에 있어서,
   상기 동영상을 획득하는 동영상 카메라;
   상기 동영상 카메라로부터의 동영상을 처리하는 영상처리부;
   영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고
   상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비하는 영상분석을 이용한 공감 감성 추론 시스템.
7. 제6항 있어서,
   상기 움직임 데이터(MD)는 아래의 식에 의해 산출하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 시스템.
   <식>
   

   

   
   위 식에서 n= 영상 해상도(width x height), Ri, Gi, Bi 는 정규화된 R, G, B 값의 변화율을 나타낸다.

Images