KR101807201B1 - 영상분석을 이용한 공감 감성 추론 방법 및 시스템 - Google Patents

Abstract

영상분석을 통한 공감감성 분석 방법 및 시스템에 대해 기술한다. 추론 방법:은 사회적 환경에 놓여 있는 피험자로부터 동영상을 획득하는 단계; 상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계; 상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 데이터 값을 추출하는 단계; 상기 피험자의 움직임 량을 분석하여 피험자의 공감 여부를 판단하는 단계;를 포함한다.

Description

영상분석을 이용한 공감 감성 추론 방법 및 시스템{Reasoning Method and System of Empathic Emotion Based on Video Analysis}

본 발명은 동영상 분석을 통한 사회적 공감 감성을 추론하는 방법에 관한 것으로 상세하게는 움직임 정보에 의한 공감 감성을 추론하는 방법에 관한 것이다.

공감(Empathy)이란, 다른 사람의 생각이나 심리 상태를 그 사람의 입장이 되어 느끼는 것을 통해서 지각하는 것을 의미한다. 이러한 공감은 동감(sympathy)과는 의미적으로 차이를 확인할 수 있다. 동감에 비해 공감은 행동적 요소가 더 강하며, 상상에 대한 느낌(이와 같은 경험)까지도 포함되는 좀 더 포괄적인 내용이다(Rogers, 1957; Basch, 1983). 공감을 잘 할수록 상대방과의 감정적 교류는 향상되어, 사회성 등 사회감성을 확장시킬 수 있다.

인간의 움직임은 다양한 감성정보를 포함한다. 제스처, 표정 등 다양한 형태로 감성정보를 표출하며 타인에게 전달된다. 이러한 감성적 정보들은 집단 내 구성원에게 감성적 전염(emotional contagion)을 유발하며, 특정 구성원의 감성과 동일한 감성을 느꼈다고 보고한 선행연구를 확인할 수 있다(비특허문헌 3). 이러한 연구는 보다 구체적인 시스템을 요구하며, 이를 위한 지속적인 연구가 요구된다.

Basch, M. F. (1983). Empathic understanding: A review of the concept and some theoretical considerations. Journal of the American Psychoanalytic Association Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Journal of consulting psychology, 21(2), 95. Barsade, S. G. (2002). The Ripple Effect : Emotional Contagion and Its Influence on Group Behavior. Administrative Science Quarterly, 47(4). 이동원, 박상인, 황성택, 황민철 (2014) 두 사람간의 친밀도에 따른 동공 크기 동기화 차이, 감성과학학술대회

본 발명은 영상 분석을 이용한 공간감성 추론 방법 및 시스템을 제시한다.

본 발명에 따른 공간 감성 추론 방법:은

사회적 환경에 놓여 있는 두 피험자로부터 동영상을 획득하는 단계;

상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;

상기 영상 정보로부터 프레임간 변화율을 검출하여 이로부터 피험자의 움직임 데이터 값(x)을 추출하는 단계;

소정 주기(T1)로 상기 움직임 데이터 값(x)으로부터 상관계수(Correlation value, r) 을 아래의 식을 이용해 구하는 단계; 그리고

상기 상관계수(r)에 의해 두 피험자 간의 공감 또는 비공감을 판단하는 공감 여부를 판단하는 단계;를 포함한다.

<식>

본 발명의 한 실시 예에 따르면, 상기 상기 프레임간의 변화율은 프레임별 영상 픽셀의 R, G, B 값의 변화율(Variation)으로부터 얻을 수 있다.

본 발명의 한 실시 예에 따르면, 상기 R, G, B 값의 변화율(Variation)은 아래의 식을 만족한다.

본 발명의 한 실시 예에 따르면, 상기 R, G, B 값의 변화율(Variation)은 아래의 수식에 의해 정규화될 수 있다.

본 발명의 한 실시 예에 따르면, 상기 움직임 데이터(MD)는 아래의 식에 의해 산출한다.

상기 방법을 수행하는 영상분석을 이용한 공감 추론 시스템:은

상기 동영상을 획득하는 동영상 카메라;

상기 동영상 카메라로부터의 동영상을 처리하는 영상처리부;

영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고

상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.
도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.
도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.
도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.
도4는 본 발명에 따른 공감 감성 분석 시스템의 구성을 예시하는 도면이다.
도5는 본 발명을 검증하기 위해 실시된 실험 결과를 보이는 그래프이다.

이하, 첨부된 도면을 참조하면서, 본 발명에 따른 영상 분석을 통한 공감 분석 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.

본 발명에 따른 방법의 전 과정을 나타낸다. 즉, 본 발명은 군중이나 1:1 타인과의 대면 관계에 있는 두 피험자로부터 동영상을 촬영하여 영상 데이터를 수집(S1)하는 단계, 그리고 수집된 동영상을 전처리하는 단계(S2) 그리고 데이터를 분석하여 피험자의 공감 여부를 판단하는 데이터 분석 단계(S3)를 포함한다.

도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.

도2에서 좌측의 흐름은 움직임데이터를 추출하는 과정을 나타내며, 우측의 공감 여부를 판단하는 과정을 나타낸다.

먼저 도2의 좌측 흐름을 참조하면서 두 피험자로부터 얻어지는 영상으로부터움직임 데이터를 추출하는 과정을 살펴본다.

(S11) 두 피험자(A, B)의 움직임 량을 추출하기 위해서, 피험자의 신체, 바람직하게는 두부 또는 안면을 각각 촬영하면서, 프레임 단위로 소정 해상도의 영상 이미지를 실시간 입력 받는다. 여기에서 프레임당 변화 량을 추출하게 되는데, 여기에서 프레임당 변화 량은 인접한 전후 프레임, 예를 들어 현재(current) 프레임(frame)과 직전(previous)의 프레임(frame)의 차이에 대한 영상 정보가 추출된다.

(S12) 각각 입력된 각 피험자의 영상은 해상도(Resolution)에 해당하는 크기로, 프레임 단위로 픽셀 별 R, G, B 값을 추출한다. 본 발명의 일 실시 예에 따라, 프레임의 차이에 대한 영상 정보는 프레임간 R, G, B 픽셀 값의 차이이다.

(S13) 각 픽셀(R, G, B) 값의 변화 또는 변동 정보는 이전 프레임에 대비하여 현재 프레임의 R, G, B 픽셀 값의 변화된 정보를 포함해야 하므로, 이전 프레임에 대한 현재 프레임의 R, G, B 픽셀(값)의 변화율(Calculated Variation)로 계산하여 준다. 수식은 다음과 같다.

이 과정 또한 두 피험자의 영상에 대해 각각 수행되며, 이를 통해서 이전 프레임에 대비한 현재 프레임의 모든 픽셀의 변화률을 얻을 수 있다.

(S14) 위의 과정에서 추출된 두 피험자의 픽셀 변화율(Variation) 정보는 영상 내에서 움직임 변화 정보를 포함한다. 정규화(Normalization) 과정은 이때 움직임 변화 정보가 연속적으로 계산되는 변화정보를 동일한 범위 내에서 계산하기 위한 작업이다. R, G, B 픽셀 각각의 정규화(Normalization) 수식은 다음과 같다. 이러한 정규화는 R, G, B 모두 픽셀에 대해 개별적으로 수행된다.

위에서 Max Value와 Min Value 는 한 프레임 내에서 가장 높은 픽셀 값과 가장 낮은 픽셀 값을 나타낸다.

위와 같은 과정을 통해서 움직임 값을 얻은 후 아래의 과정을 거쳐 피험자의 공감 여부를 판단한다.

(S15) 움직임 데이터 출력(Output Movement Data) 과정은 추출된 정보를 누적 연산을 통해 지속적으로 변화되는 정보는 가중치를 주고, 그렇지 않은 움직임은 제거하기 위한 작업이다. 누적된 정규화 값(Accumulated Normalization Value, ANV)의 계산식은 다음과 같으며, 모든 R, G, B 픽셀 각각에 대해 계산된다.

여기에서, Current Normalized Pixels 는 현재 프레임의 픽셀을 의미하며, Previous Normalized Pixels는 이전 프레임의 픽셀을 의미한다.

이러한 누적 연산 후, 총 평균(Grand Average)를 통해 움직임 데이터(Movement Data, MD)로 전환하며, 이를 위한 수식은 다음과 같다.

여기에서, n = 영상 Resolution (width x height), 예를 들며 n = 640x480 크기를 가질 수 있다.

(S16) 상기 과정을 통해 움직임 데이터를 입력 받아 버퍼에 저장한다.

(S17) 이 단계에서 움직임 데이터의 상관 값(Correlation, r)을 아래의 식에 의해 계산한다. 움직임 변화값에 대한 상관계수(correlation coefficient)를 얻고 이를 통해서 공감을 판단한다

위의 수 5는 상관계수를 구하는 식으로서, 두 변수간 상호관계를 알 수 있다. 상관관계의 크기는 상관계수를 통해 정량화가 가능하다. 예를 들어, 두 사람이 있을 경우, x는 A라는 사람의 움직임 데이터, y는 B라는 사람의 움직임 데이터를 의미한다. 측정한 움직임 데이터는 평균을 빼서 각 움직임 데이터의 편차를 계산한다 ex) (x_i-

) =x의 편차 , (y_i-

) = y의 편차 A, B의 움직임 편차를 A와 B의 표준편차 곱으로 나누어주면, A와 B의 상관계수를 얻게 된다. 각각 두 사람의 영상정보의 움직임 데이터를 추출하여, 위의 식에서 두 변수(두 사람의 움직임데이터)의 관계를 구하는 식을 적용한다. 같은 움직임 데이터를 가질수록 계수 R의 값이 커질수록(r=1에 가까워질수록) 두 사람의 움직임은 동일하게 나타남을 의미하여, 같은 움직임을 나타내는 것으로 판단 공감도가 증가하는 것으로 판단하게 된다.

(S18, S19) 상기 과정에서 얻은 상관값을 비교하고, 그 결과에 따라 두 피험자간의 공감 여부를 판단한다. 예를 들어, 상관 계수가 0.7 이상이며, 공감, 그 이하이면 비공감으로 판단한다.

상기와 같은 본 발명의 방법의 정확성을 평가하기 위하여 아래와 같은 실험을 수행하였다.

도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.

도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.

사람과 비슷한 원숭이를 대상으로 한 시각 자극에 대한 동작반응에 따른 실험에 의하면, 시각적 정보를 통해 정보를 확인하고, 그에 따른 피드백으로 손으로 행동을 취하는 과정까지의 인지 프로세스 처리 시간은 최소 180 ~ 260ms으로 알려져 있다(Thorpe, 2001). 또한, 얼굴 사진을 이용하여, 인종에 따른 구별을 진행하는 작업에서 MRI로 촬영 결과, 주어진 얼굴 판별 시간 총 15초 내에서 1~3초에서 가장 큰 판별률을 보였다. 이에 따라, 얼굴을 보고 표정을 모방하는데 까지 걸리는 시간을 최대 3초로 설정하여, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)을 적용하여, 영상 데이터 분석을 진행하였다.

공감 분석을 진행한 데이터는 두 사람 간의 공감도를 평가하는 실험을 진행하였다. 총 34명, 17쌍으로, 공감에 대한 실험은 타인의 정서를 이해하는 것으로 같은 감성을 공유하게 되는 것으로 정의하였다. 각 그룹의 피험자는 리더(Leader)와 팔로워(Follower)로 역할을 나누어 표정을 모방하는 상호작용을 통해 공감도가 있는 조건을 설정하였다. 상호 작용이 없이 각자 스크린에 제시된 표정을 모방하는 것을 공감도가 없는 조건으로 설정하였다. 표정 모방태스크를 약 4분간 수행하도록 하였다. 표정 모방 테스트를 진행하는 동안 피험자의 얼굴 중심의 상반신을 중심으로 640*480, 30fps 설정하여 촬영하였다.

이러한 실험에 시스템은 도4에 도시된 바와 같이, 피험자 또는 리더(1a)의 얼굴 표정을 흉내 내는 팔로워(1b)의 상체 또는 안면을 촬영하는 동영상 카메라(10), 카메라로부터 영상을 처리하는 영상 처리부(20), 그리고 이를 분석하여 피험자의 사회적 공감 상태를 분석하는 분석부(30) 그리고 피험자 공감 상태의 분석 결과를 표시하는 디스플레이(40)를 구비한다. 이러한 시스템은 동영상 카메라를 구비하는 컴퓨터 기반의 범용장치 또는 전용장치로서 구현될 수 있다.

전술한 바와 같이 34명의 실험 대상자로부터 얻어진 데이터를 분석한 결과는 도5에 도시된 바와 같다. 이 결과에 따르면, 상관계수는 공감 판단 시, 증가함을 확인하였다 (z=-1.992, p=.046).

본 실험에서는 피험자의 얼굴을 촬영하고 영상 전체의 얼굴 움직임 값에서, 5분의 영상 중에 30초 동안의 움직임 변화량을 추출하여 상관계수를 구하였다. 공감한 경우와 공감하지 않은 두 조건에 대해 대응표본 t-test를 진행하였다. 그 결과, 공감한 경우에 비공감한 경우보다 상관 계수가 유의미하게 크다는 것을 확인하였다(t(-1.992), p<0.046). 상관계수(또는 상관 값)이 크다는 것은 두 피험자의 움직임 변화량의 값이 유사하다는 것을 의미하여, 이는 두 사람의 표정 움직임이 유사하게 일어난다는 것을 나타낸다. 따라서, 공감 그룹보다 비공감 그룹에서 공감이 덜 이루어지는 것을 확인할 수 있었다.

이러한 본 발명은 피험자 또는 어느 특정인의 미세 움직임 변화량을 획득하여 이를 분석함으로써 피험자 또는 특정인이, 그가 속한 사회적 환경에서의 공감 형성 등을 쉽게 판단할 수 있다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

1a: 리더
1b: 팔로워
10: 동영상 카메라(HD CAM)
20: 영상처리부
30: 분석부
40: 디스플레이

Claims (7)

1. 사회적 환경에 놓여 있는 두 피험자로부터 동영상을 획득하는 단계;
   상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;
   상기 영상 정보로부터 프레임간 변화율을 검출하여 이로부터 피험자의 움직임 데이터 값(x)을 추출하는 단계;
   소정 주기(T1)로 상기 움직임 데이터 값(x)으로부터 상관계수(Correlation value, r) 을 아래의 식을 이용해 구하는 단계; 그리고
   상기 상관계수(r)에 의해 두 피험자 간의 공감 또는 비공감을 판단하는 공감 여부를 판단하는 단계;를 포함하는 공감 감성 추론 방법.
   <식>
   

   
2. 제1항에 있어서,
   상기 프레임간의 변화율은 프레임별 영상 픽셀의 R, G, B 값의 변화율(Variation)으로부터 얻는 것을 특징으로 하는 공감 감성 추론 방법.
3. 제 2항에 있어서,
   상기 R, G, B 값의 변화율(Variation)은 아래의 식을 만족하는 것을 특징으로 하는 공감 감성 추론방법.
   

   
4. 제 3항에 있어서,
   상기 R, G, B 값의 변화율(Variation)은 아래의 수식에 의해 정규화되는 것을 특징으로 하는 공감 감성 추론 방법.
   

   
5. 제1항 내지 제4항 중의 어느 한 항 있어서,
   상기 움직임 데이터 값(x)는 아래의 식에 의해 산출하는 것을 특징으로 하는 공감 감성 추론 방법.
   

   
6. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하는 공감 감성 추론 시스템에 있어서,
   상기 동영상을 획득하는 동영상 카메라;
   상기 동영상 카메라로부터의 동영상을 처리하는 영상처리부;
   영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고
   상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비하는 공감 감성 추론 시스템.
7. 제6항 있어서,
   상기 움직임 데이터 값(x)는 아래의 식에 의해 산출하는 것을 특징으로 하는 공감 감성 추론 시스템.
   

   

Images