KR20180019417A - Reasoning Method and System of Empathic Emotion Based on Video Analysis - Google Patents

Reasoning Method and System of Empathic Emotion Based on Video Analysis Download PDF

Info

Publication number
KR20180019417A
KR20180019417A KR1020160103751A KR20160103751A KR20180019417A KR 20180019417 A KR20180019417 A KR 20180019417A KR 1020160103751 A KR1020160103751 A KR 1020160103751A KR 20160103751 A KR20160103751 A KR 20160103751A KR 20180019417 A KR20180019417 A KR 20180019417A
Authority
KR
South Korea
Prior art keywords
empathy
value
image
subjects
motion
Prior art date
Application number
KR1020160103751A
Other languages
Korean (ko)
Inventor
김영주
이정년
황민철
Original Assignee
(주)감성과학연구센터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)감성과학연구센터 filed Critical (주)감성과학연구센터
Priority to KR1020160103751A priority Critical patent/KR20180019417A/en
Publication of KR20180019417A publication Critical patent/KR20180019417A/en
Priority to KR1020180069211A priority patent/KR101971602B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G06K9/00302—
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an empathic emotion analyzing method through a video analysis and a system thereof. A reasoning method comprises the following steps of: obtaining a moving picture from a subject placed under social environments; extracting video information with respect to a difference between before and after frames from the moving picture; detecting a change amount between frames from the video information to extract a motion data value of the subject; and analyzing a motion amount of the subject to determine whether the subject is sympathized.

Description

영상분석을 이용한 공감 감성 추론 방법 및 시스템{Reasoning Method and System of Empathic Emotion Based on Video Analysis}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and system for empathic emotion inference using image analysis,

본 발명은 동영상 분석을 통한 사회적 공감 감성을 추론하는 방법에 관한 것으로 상세하게는 움직임 정보에 의한 공감 감성을 추론하는 방법에 관한 것이다.The present invention relates to a method for inferring social sympathy emotion through video analysis, and more particularly, to a method for inferring empathy emotion based on motion information.

공감(Empathy)이란, 다른 사람의 생각이나 심리 상태를 그 사람의 입장이 되어 느끼는 것을 통해서 지각하는 것을 의미한다. 이러한 공감은 동감(sympathy)과는 의미적으로 차이를 확인할 수 있다. 동감에 비해 공감은 행동적 요소가 더 강하며, 상상에 대한 느낌(이와 같은 경험)까지도 포함되는 좀 더 포괄적인 내용이다(Rogers, 1957; Basch, 1983). 공감을 잘 할수록 상대방과의 감정적 교류는 향상되어, 사회성 등 사회감성을 확장시킬 수 있다. Empathy means to perceive another person's thoughts or psychological state by feeling as a person's position. This empathy is semantically different from sympathy. Compared to sympathy, empathy is more inclusive, involving behavioral elements and even the feeling of imagination (such experience) (Rogers, 1957; Basch, 1983). The more empathic the better, the better the emotional exchange with the other person, and the more social feeling such as sociality can be extended.

인간의 움직임은 다양한 감성정보를 포함한다. 제스처, 표정 등 다양한 형태로 감성정보를 표출하며 타인에게 전달된다. 이러한 감성적 정보들은 집단 내 구성원에게 감성적 전염(emotional contagion)을 유발하며, 특정 구성원의 감성과 동일한 감성을 느꼈다고 보고한 선행연구를 확인할 수 있다(비특허문헌 3). 이러한 연구는 보다 구체적인 시스템을 요구하며, 이를 위한 지속적인 연구가 요구된다.Human movements include various emotional information. Gestures, facial expressions, and so on. These emotional information can lead to emotional contagion to the members of the group, and confirm previous studies that reported feeling the same emotions as specific members (Non-Patent Document 3). These studies require more specific systems, and continuous research is required.

Basch, M. F. (1983). Empathic understanding: A review of the concept and some theoretical considerations. Journal of the American Psychoanalytic AssociationBasch, M. F. (1983). Empathic understanding: A review of the concept and some theoretical considerations. Journal of the American Psychoanalytic Association Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Journal of consulting psychology, 21(2), 95.Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Journal of consulting psychology, 21 (2), 95. Barsade, S. G. (2002). The Ripple Effect : Emotional Contagion and Its Influence on Group Behavior. Administrative Science Quarterly, 47(4).Barsade, S. G. (2002). The Ripple Effect: Emotional Contagion and Its Influence on Group Behavior. Administrative Science Quarterly, 47 (4). 이동원, 박상인, 황성택, 황민철 (2014) 두 사람간의 친밀도에 따른 동공 크기 동기화 차이, 감성과학학술대회Pupil size synchronization difference according to intimacy between two people,

본 발명은 영상 분석을 이용한 공간감성 추론 방법 및 시스템을 제시한다.The present invention proposes a spatial emotion inference method and system using image analysis.

본 발명에 따른 공간 감성 추론 방법:은Space Sensitivity Reasoning Method According to the Present Invention:

피험자로부터 동영상을 획득하는 단계;Acquiring a moving picture from a subject;

상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;Extracting image information about a difference between before and after frames from the moving image;

상기 영상 정보로부터 프레임간 변화량을 검출하여 이로부터 피험자의 움직임 량을 추출하는 단계;Detecting a change amount between frames from the image information and extracting a motion amount of the subject from the detected amount;

상기 움직임 정보를 분석하여 타인에 대한 상기 피험자의 공감 여부를 판단하는 단계;를 포함한다.And analyzing the motion information to determine whether the subject is sympathetic to the other person.

본 발명의 한 실시 예에 따르면, 상기 프레임간의 변화량은 프레임별 영상 픽셀의 RGB 값의 차이로부터 얻는다.According to an embodiment of the present invention, the amount of change between the frames is obtained from the difference between the RGB values of the image pixels per frame.

본 발명의 한 실시 예에 따르면, RGB 값의 차이에 의한 프레임간 변화량은, 인접 프레임간의 RGB 차이 값들을 구하고, 차이 값은 평균(Average)값을 기준으로 전후 인접한 프레임간 RGB 차가 가장 큰 움직임과, 가장 작은 움직임의 차를 움직임 데이터 값으로 계속 누적하여 움직임 량을 최적화시킬 수 있다. According to an exemplary embodiment of the present invention, the inter-frame variation due to the difference in RGB values is obtained by calculating the RGB difference values between adjacent frames, and the difference value is calculated based on the average value, , The motion amount can be optimized by continuously accumulating the difference of the smallest motion as the motion data value.

본 발명의 한 실시 예에 따르면, 상기 피험자의 공감 여부의 판단은 소정 주기(T1)로 움직임 데이터 값(x)으로부터 평균(mean) 값과 분산(SD, Standard Deviation)을 추출하고, 아래의 식을 이용해 Z 스코어를 구한다.According to one embodiment of the present invention, the determination of empathy of the subject is performed by extracting a mean value and a standard deviation (SD) from a motion data value (x) in a predetermined period (T1) To obtain the Z score.

Z = (x－mean) / SDZ = (x-mean) / SD

본 발명의 한 실시 예에 따르면, 상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 초마다의 움직임량에 대한 값을 계산한다.According to an embodiment of the present invention, a Z value calculated in units of the period (T1) is calculated with respect to a motion amount per second based on a predetermined window size and an interval time.

여기에서, 상기 주기(T1) 동안의 Z 스코어의 평균(Zm)을 구하고, 이 평균(Zm)을 피험자의 동감 여부를 판단하는 기준치(Reference value or Threshold value)로 적용한다.Here, an average (Zm) of the Z scores during the period (T1) is obtained, and the average (Zm) is applied as a reference value or a threshold value for determining whether or not the subject agrees.

상기 방법을 수행하는 영상분석을 이용한 공감 추론 시스템:은An empirical reasoning system using image analysis to perform the above method:

상기 동영상을 획득하는 동영상 카메라;A moving picture camera for acquiring the moving picture;

상기 동영상 카메라로 부터의 동영상을 처리하는 영상처리부;An image processing unit for processing moving pictures from the moving picture camera;

영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고 An analysis unit for analyzing the image from the image processing unit to infer the empathy emotions of the subject; And

상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비한다. And a display for displaying an analysis result from the analysis unit.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.
도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.
도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.
도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.
도4는 본 발명에 따른 공감 감성 분석 시스템의 구성을 예시하는 도면이다.
도5는 본 발명을 검증하기 위해 실시된 실험 결과를 보이는 그래프이다.1 is an overall schematic flow diagram of an emotional analysis method according to the present invention.
FIG. 2 shows the process from the image acquisition to the empathy determination in more detail by further segmenting the process of FIG.
FIG. 3A illustrates an experiment setting in the empathy condition between a leader and a follower in a method implemented to verify the empathic analysis method according to the present invention.
FIG. 3B illustrates an experiment setting in a non-empathy condition between a reader and a follower in a method performed to verify the empathic analysis method according to the present invention.
4 is a diagram illustrating a configuration of a sympathetic emotional analysis system according to the present invention.
FIG. 5 is a graph showing experimental results performed to verify the present invention. FIG.

이하, 첨부된 도면을 참조하면서, 본 발명에 따른 영상 분석을 통한 공감 분석 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of a method for analyzing empathy through image analysis according to the present invention and a system for applying the same will be described with reference to the accompanying drawings.

도1은 본 발명에 다른 공감 분석 방법의 전체 대략적 흐름도이다.1 is an overall schematic flow diagram of an emotional analysis method according to the present invention.

본 발명에 따른 방법의 전 과정을 나타낸다. 즉, 본 발명은 군중이나 1:1 타인과의 대면 관계에 있는 두 피험자로부터 동영상을 촬영하여 영상 데이터를 수집(S1)하는 단계, 그리고 수집된 동영상을 전처리하는 단계(S2) 그리고 데이터를 분석하여 피험자의 공감 여부를 판단하는 데이터 분석 단계(S3)를 포함한다.The whole process of the method according to the invention is shown. That is, the present invention includes a step of capturing a moving image from two subjects in a face-to-face relationship with a crowd or a 1: 1 person, collecting image data (S1), pre-processing the collected moving image (S2) And a data analysis step (S3) of judging whether the subject is sympathetic or not.

도2는 도1의 과정을 보다 세분화하여 영상 획득으로부터 공감 판단까지의 과정을 보다 구체적으로 보여 준다.
FIG. 2 shows the process from the image acquisition to the empathy determination in more detail by further segmenting the process of FIG.

도2에서 좌측의 흐름은 움직임데이터를 추출하는 과정을 나타내며, 우측의 공감 여부를 판단하는 과정을 나타낸다.The flow on the left side of FIG. 2 shows a process of extracting motion data, and a process of determining whether or not the right side is sympathetic.

먼저 도2의 좌측 흐름을 참조하면서 두 피험자로부터 얻어지는 영상으로부터움직임 데이터를 추출하는 과정을 살펴본다.First, a process of extracting motion data from an image obtained from two subjects will be described with reference to the left side of FIG.

(S11) 두 피험자(A, B)의 움직임 량을 추출하기 위해서, 피험자의 신체, 바람직하게는 두부 또는 안면을 각각 촬영하면서, 프레임 단위로 소정 해상도의 영상 이미지를 실시간 입력 받는다. 여기에서 프레임당 변화 량을 추출하게 되는데, 여기에서 프레임당 변화 량은 인접한 전후 프레임, 예를 들어 현재(current) 프레임(frame)과 직전(previous)의 프레임(frame)의 차이에 대한 영상 정보가 추출된다.(S11) In order to extract the amount of motion of the two subjects (A, B), the subject's body, preferably the head or face, is photographed, and the image of the predetermined resolution is received in real time. Here, the amount of change per frame is extracted. Here, the amount of change per frame includes image information about the difference between adjacent front and rear frames, for example, a current frame and a previous frame And extracted.

(S12) 각각 입력된 각 피험자의 영상은 해상도(Resolution)에 해당하는 크기로, 프레임 단위로 픽셀 별 R, G, B 값을 추출한다. 본 발명의 일 실시 예에 따라, 프레임의 차이에 대한 영상 정보는 프레임간 R, G, B 픽셀 값의 차이이다. (S12) Each input image of the subject is a size corresponding to the resolution, and R, G, and B values for each pixel are extracted on a frame-by-frame basis. According to an embodiment of the present invention, the image information on the frame difference is the difference between the R, G, and B pixel values between frames.

(S13) 각 픽셀(R, G, B) 값의 변화 또는 변동 정보는 이전 프레임에 대비하여 현재 플레임의 R, G, B 픽셀 값의 변화된 정보를 포함해야 하므로, 이전 프레임에 대한 현재 프레임의 R, G, B 픽셀(값)의 변화율(Calculated Variation)로 계산하여 준다. 수식은 다음과 같다.(S13) The change or variation information of each pixel (R, G, B) value should include changed information of the R, G, B pixel values of the current frame in comparison with the previous frame. , G, and B pixels (values). The formula is as follows.

Figure pat00001
Figure pat00001

이 과정 또한 두 피험자의 영상에 대해 각각 수행되며, 이를 통해서 이전 프레임에 대비한 현재 프레임의 모든 픽셀의 변화률을 얻을 수 있다.This process is also performed for each of the images of the two subjects, thereby obtaining the rate of change of all the pixels of the current frame as compared to the previous frame.

(S14) 위의 과정에서 추출된 두 피험자의 픽셀 변화율(Variation) 정보는 영상 내에서 움직임 변화 정보를 포함한다. 정규화(Normalization) 과정은 이때 움직임 변화 정보가 연속적으로 계산되는 변화정보를 동일한 범위 내에서 계산하기 위한 작업이다. R, G, B 픽셀 각각의 정규화(Normalization) 수식은 다음과 같다. 이러한 정규화는 R, G, B 모두 픽셀에 대해 개별적으로 수행된다. (S14) The pixel variation information of the two subjects extracted in the above process includes the motion change information in the image. The normalization process is a process for calculating the change information in which the motion change information is continuously calculated within the same range. The normalization equation for each of the R, G, and B pixels is as follows. This normalization is performed separately for R, G, and B pixels.

Figure pat00002
Figure pat00002

위에서 Max Value와 Min Value 는 한 프레임 내에서 가장 높은 픽셀 값과 가장 낮은 픽셀 값을 나타낸다.The Max and Min values above represent the highest and lowest pixel values in a frame.

위와 같은 과정을 통해서 움직임 값을 얻은 후 아래의 과정을 거쳐 피험자의 공감 여부를 판단한다.After obtaining the motion value through the above process, it is judged whether or not the subject is sympathetic through the following process.

(S15) 움직임 데이터 출력(Output Movement Data) 과정은 추출된 정보를 누적 연산을 통해 지속적으로 변화되는 정보는 가중치를 주고, 그렇지 않은 움직임은 제거하기 위한 작업이다. 누적된 정규화 값(Accumulated Normalization Value, ANV)의 계산식은 다음과 같으며, 모든 R, G, B 픽셀 각각에 대해 계산된다.(S15) The Output Movement Data process is a task for weighting information that is continuously changed through the cumulative operation of the extracted information, and removing motion that is not. The formula for the Accumulated Normalization Value (ANV) is as follows and is calculated for each of the R, G, and B pixels.

Figure pat00003
Figure pat00003

여기에서, Current Normalized Pixels 는 현재 프레임의 픽셀을 의미하며, Previous Normalized Pixels는 이전 프레임의 픽셀을 의미한다. Here, Current Normalized Pixels refers to the pixels of the current frame, and Previous Normalized Pixels refers to pixels of the previous frame.

이러한 누적 연산 후, 총 평균(Grand Average)를 통해 움직임 데이터(Movement Data, MD)로 전환하며, 이를 위한 수식은 다음과 같다.After the accumulation operation, the motion data (Movement Data, MD) is converted to a total average (Grand Average).

Figure pat00004
Figure pat00004

여기에서, n = 영상 Resolution (width x height), 예를 들며 n = 640x480 크기를 가질 수 있다.Here, n = image resolution (width x height), e.g., n = 640x480.

(S16) 상기 과정을 통해 움직임 값을 입력 받아 버퍼에 저장한다.(S16) The motion value is input through the above process and stored in the buffer.

(S17) 소정 시간, 예를 들어 30초만큼의 움직임 데이터를 버퍼에서 로드 한다. (S17) The motion data for a predetermined time, for example, 30 seconds, is loaded from the buffer.

두 피험자(A, B)의 각 영상 별로 입력된 움직임 정보에 범위를 맞추기 위하여 아래의 움직임 변화량(Normalization of Movement Data)(Z, Z-score) 수식을 통해 각 영상의 움직임 범위를 맞추어 준다.In order to adjust the range of motion information input for each image of two subjects A and B, the motion range of each image is adjusted through the following equation of Normalization of Movement Data (Z, Z-score).

Figure pat00005
Figure pat00005

여기에서 X 는 지정된 버퍼 크기만큼의 움직임 신호, m = 지정된 버퍼 크기만큼의 움직임 평균 값, SD는 지정된 버퍼 크기만큼의 움직임 표준편차(Standard Deviation) 값을 나타낸다.Here, X represents a motion signal of a specified buffer size, m represents a motion average value for a specified buffer size, and SD represents a standard deviation value for a specified buffer size.

소정 주기(T1), 예를 들어 30초간의 움직임 값(x)을 이용해 평균(mean) 값과 표준 편차(SD 값을 추출하여 위의 식에 의해 움직임의 변화량을 구한다.A mean value and a standard deviation (SD value) are extracted by using a motion value (x) for a predetermined period (T1), for example, 30 seconds, and the amount of change in motion is obtained by the above equation.

(S17) 위의 수식을 통해 매 30초마다 계산된 Z 스코어는 소정의 윈도우 크기(window size) 예를 들어 3초, 소정의 시간 간격(interval time), 예를 들어 1초 기준으로 매초마다 움직임 량에 대한 값을 계산한다. 여기에서 소정 주기, 즉 30초 동안의 Z 스코어 평균(Zm)을 구한다.(S17) The Z score computed every 30 seconds through the above equation can be used to determine a window size, e.g., 3 seconds, a predetermined interval time, e.g., every second Calculate the value for the amount. Here, a Z-score average (Zm) for a predetermined period, i.e., 30 seconds, is obtained.

이렇게 측정된 Zm의 SD값을 이용하여 공감도 점수로 환산해볼 수 있다. 공감점수체계는 최저값과 최고값을 기준으로 연속적인 점수체계를 고려하여 사용자가 공감정도를 파악할 수 있다. 예를 들면 SD평균을 기준으로 보정값을 이용하여 점수 체계화를 할 수 있다. The SD value of the measured Zm can be used to calculate the sympathetic score. The sympathetic score system can grasp the degree of sympathy by considering consecutive scoring system based on the lowest value and the highest value. For example, the score can be systematized using the correction value based on the SD average.

Figure pat00006
Figure pat00006

(S18) 공감도 레벨 판단 과정으로서, 추출된 Z 값에 표준 편차 값을 추출하여 도5에 제시된 기준 값에 가까워질수록 공감도에 점수를 반영한다.(S18) As a process of determining the level of empathy, the standard deviation value is extracted from the extracted Z value, and the score is reflected in the empathy degree as it approaches the reference value shown in FIG.

상기와 같은 본 발명의 방법의 정확성을 평가하기 위하여 아래와 같은 실험을 수행하였다.In order to evaluate the accuracy of the method of the present invention as described above, the following experiment was conducted.

도3a는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더(Leader) 와 팔로워(Follower) 간의 공감 조건에서의 실험 셋팅을 예시한다.FIG. 3A illustrates an experiment setting in the empathy condition between a leader and a follower in a method implemented to verify the empathic analysis method according to the present invention.

도3b는 본 발명에 따른 공감 분석 방법을 검증하기 위해 실시되는 방법에서 리더와 팔로워 간의 비공감 조건에서의 실험 셋팅을 예시한다.FIG. 3B illustrates an experiment setting in a non-empathy condition between a reader and a follower in a method performed to verify the empathic analysis method according to the present invention.

사람과 비슷한 원숭이를 대상으로 한 시각 자극에 대한 동작반응에 따른 실험에 의하면, 시각적 정보를 통해 정보를 확인하고, 그에 따른 피드백으로 손으로 행동을 취하는 과정까지의 인지 프로세스 처리 시간은 최소 180 ~ 260ms으로 알려져 있다(Thorpe, 2001). 또한, 얼굴 사진을 이용하여, 인종에 따른 구별을 진행하는 작업에서 MRI로 촬영 결과, 주어진 얼굴 판별 시간 총 15초 내에서 1~3초에서 가장 큰 판별률을 보였다. 이에 따라, 얼굴을 보고 표정을 모방하는데 까지 걸리는 시간을 최대 3초로 설정하여, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)을 적용하여, 영상 데이터 분석을 진행하였다. According to the experiment based on the action response to the visual stimulus for a human monkey, the cognitive process processing time from the visual information to the process of taking the action by feedback as the feedback is at least 180 ~ 260 ms (Thorpe, 2001). In addition, using the facial photographs, the highest discrimination rate was obtained at 1 to 3 seconds within a total of 15 seconds for a given facial discrimination result by MRI in the task of discriminating according to race. Accordingly, the image data analysis was performed by setting the time taken to imitate the facial expression to a maximum of 3 seconds, and applying a window size of 3 seconds and a time interval of 1 second.

공감 분석을 진행한 데이터는 두 사람 간의 공감도를 평가하는 실험을 진행하였다. 총 34명, 17쌍으로, 공감에 대한 실험은 타인의 정서를 이해하는 것으로 같은 감성을 공유하게 되는 것으로 정의하였다. 각 그룹의 피험자는 리더(Leader)와 팔로워(Follower)로 역할을 나누어 표정을 모방하는 상호작용을 통해 공감도가 있는 조건을 설정하였다. 상호 작용이 없이 각자 스크린에 제시된 표정을 모방하는 것을 공감도가 없는 조건으로 설정하였다. 표정 모방태스크를 약 4분간 수행하도록 하였다. 표정 모방 테스트를 진행하는 동안 피험자의 얼굴 중심의 상반신을 중심으로 640*480, 30fps 설정하여 촬영하였다.The data on the empathic analysis were used to evaluate the empathy of the two people. A total of 34 participants, 17 pairs, defined empathy as sharing emotions by understanding emotions of others. Subjects in each group set up conditions with sympathy through interactions that mimic facial expressions by acting as a leader and follower. We set up the condition that there is no sympathy to mimic the expression presented on the screen without interaction. The facial imitating task was performed for about 4 minutes. During the facial imitation test, 640 * 480, 30 fps was set around the upper body of the subject's face.

이러한 실험에 시스템은 도4에 도시된 바와 같이, 피험자 또는 리더(1a)의 얼굴 표정을 흉내 내는 팔로워(1b)의 상체 또는 안면을 촬영하는 동영상 카메라(10), 카메라로부터 영상을 처리하는 영상 처리부(20), 그리고 이를 분석하여 피험자의 사회적 공감 상태를 분석하는 분석부(30) 그리고 피험자 공감 상태의 분석 결과를 표시하는 디스플레이(40)를 구비한다. 이러한 시스템은 동영상 카메라를 구비하는 컴퓨터 기반의 범용장치 또는 전용장치로서 구현될 수 있다. As shown in Fig. 4, the system includes a moving picture camera 10 for photographing an upper body or a face of a follower 1b that imitates the facial expression of a subject or a reader 1a, an image processing unit An analysis unit 30 for analyzing the subject's social empathy state, and a display 40 for displaying an analysis result of the subject empathy state. Such a system can be implemented as a computer-based general purpose apparatus or a dedicated apparatus having a moving picture camera.

전술한 바와 같이 34명의 실험 대상자로부터 얻어진 데이터를 분석한 결과는 도5에 도시된 바와 같다. 이 결과에 따르면, SD는 공감 판단 시, 작아짐을 확인하였다 (z=-2.157, p=.031).The results of analysis of the data obtained from 34 subjects as described above are as shown in FIG. According to the results, SD was found to be smaller when the empathy was judged (z = -2.157, p = .031).

본 실험에서는 피험자의 얼굴을 촬영하고 얼굴 움직임에 대한 Z 스코어를 분석하였다. 4분 의 영상 중에 30초 동안의 평균값(mean(30)) 및 분산(SD(30))값을 구한 뒤, 윈도우 사이즈(window size)는 3초, 1초의 시간 간격(interval time)를 적용하여 리더와 팔로워의 Z 스코어 평균(Zm) 값을 추출하였다. In this experiment, the face of the subject was photographed and the Z score of the face motion was analyzed. The mean (mean (30) and variance (SD (30) ) values for 30 seconds in the 4 minutes image were obtained and the window size was calculated by applying an interval time of 3 seconds and 1 second The Z-score average of reader and follower was extracted.

다음은 각각 30초 동안의 리더와 팔로워의 Z 스코어 값(Zleader , Zfollower )을 계산하는 수식이다.The following is a formula to calculate the Z-score (Z leader , Z follower ) of the leader and follower for 30 seconds each.

Zleader = (X-mean(30))/ SD(30) Z leader = (X-mean (30) ) / SD (30)

Zfollower = (X-mean(30))/ SD(30) Z follower = (X-mean (30) ) / SD (30)

공감 시와 비공감 시의 리더(Leader)와 팔로워(follower) 각각의 SD값을 구하여, 그 차이 값을 비교하였다. The SD values of the leader and follower of empathy and non - empathy were calculated and compared.

공감한 경우와 공감하지 않은 두 조건에 대해 대응표본 티-테스트(t-test)를 진행하였다. 그 결과, 공감한 경우보다 비공감한 경우의 Z 스코어가 값이 유의미하게 크다는 것을 확인하였다(t(-2.287), p<0.035). Z 스코어의 값이 크다는 의미는 두 사람의 얼굴표정 움직임 량의 분산 정도가 크며, 이는 두 사람의 표정은 유사하게 움직이지 않음을 알 수 있다. 따라서, 공감 그룹보다 비공감 그룹에서 공감이 덜 이루어지는 것을 확인할 수 있었다.The respondent sample t-test was conducted for two conditions that were sympathetic and not sympathetic. As a result, it was confirmed that the Z score of the non-empathy was significantly higher than that of the empathy (t (-2.287), p <0.035). The significance of the Z score means that the degree of variance of the facial expression movements of the two persons is large, which means that the expressions of the two persons do not move similarly. Therefore, it can be confirmed that the empathy is less in the empathy group than in the empathy group.

이러한 본 발명은 피험자 또는 어느 특정인의 미세 움직임 변화량을 획득하여 이를 분석함으로써 피험자 또는 특정인이, 그가 속한 사회적 환경에서의 공감 형성 등을 쉽게 판단할 수 있다.The present invention can easily determine the empathy formation in the social environment to which a subject or a specific person belongs by acquiring and analyzing the amount of fine movement change of a subject or a specific person.

이렇게 측정된 SD값을 이용하여 공감도 점수로 환산해볼 수 있다. The SD value thus measured can be used to calculate the sympathetic score.

공감점수체계는 최저 값과 최고 값을 기준으로 연속적인 점수체계를 고려하여 사용자가 공감 정도를 파악할 수 있다. 예를 들면 SD평균을 기준으로 보정값을 이용하여 점수 체계화를 할 수 있다. The sympathetic score system can grasp the degree of sympathy by considering consecutive scoring system based on the lowest value and the highest value. For example, the score can be systematized using the correction value based on the SD average.

보정값 = 50/평균 SD값Correction value = 50 / average SD value

공감 점수 = 100- (SD값* 보정값) , 100점 기준Sympathetic score = 100- (SD value * correction value), based on 100 points

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.While this invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Therefore, the true scope of protection of the present invention should be defined only by the appended claims.

1a: 리더 1b: 팔로워
10: 동영상 카메라20: 영상처리부
30: 분석부 40: 디스플레이 1a: Reader 1b: Followers
10: video camera 20: image processing unit
30: Analysis section 40: Display

Claims (9)

사회적 환경에 놓여 있는 두 피험자로부터 동영상을 획득하는 단계;
상기 동영상으로부터 전후 프레임간 차이에 대한 영상 정보를 추출하는 단계;
상기 영상 정보로부터 프레임간 변화율을 검출하여 이로부터 피험자의 움직임 데이터 값(x)을 추출하는 단계;
소정 주기(T1)로 상기 움직임 데이터 값(x)으로부터 평균(mean) 값과 분산(SD, Standard Deviation)을 추출하고, 아래의 식을 이용해 Z 스코어(Z)를 구하는 단계; 그리고
상기 Z 스코어에 의해 두 피험자 간의 공감 또는 비공감을 판단하는 공감 여부를 판단하는 단계;를 포함하는 공감 감성 추론 방법.
Z = (x－mean) / SDAcquiring a moving picture from two subjects lying in a social environment;
Extracting image information about a difference between before and after frames from the moving image;
Detecting a rate of change between frames from the image information and extracting a motion data value (x) of the subject from the change rate;
Extracting a mean value and a standard deviation (SD) from the motion data value (x) in a predetermined period (T1) and obtaining a Z score (Z) using the following equation; And
And determining whether or not the two subjects are sympathetic or non-sympathetic according to the Z score.
Z = (x-mean) / SD 제1항에 있어서,
상기 프레임간의 변화율은 프레임별 영상 픽셀의 R, G, B 값의 변화율(Variation)으로부터 얻는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 방법.The method according to claim 1,
Wherein the rate of change between frames is obtained from Variation of R, G, and B values of image pixels per frame. 제 2항에 있어서,
상기 R, G, B 값의 변화율(Variation)은 아래의 식을 만족하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론방법.
Figure pat00007
3. The method of claim 2,
Wherein the variance of the R, G, and B values satisfies the following equation.
Figure pat00007
 제 3항에 있어서,
상기 R, G, B 값의 변화율(Variation)은 아래의 수식에 의해 정규화되는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.
Figure pat00008
The method of claim 3,
Wherein the variance of the R, G and B values is normalized by the following equation.
Figure pat00008
 제1항 내지 제4항 중의 어느 한 항에 있어서,
상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 초마다의 두 피험자의 움직임 량에 대한 값을 계산하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 방법.5. The method according to any one of claims 1 to 4,
Wherein a value of a motion amount of two subjects every second is calculated based on a predetermined window size and an interval time of Z scores calculated in units of the period (T1) Empathy emotional reasoning method. 제1항 내지 제4항 중의 어느 한 항에 있어서,
상기 두 피험자의 영상으로부터 얻은 움직임 데이터를 선형 합을 통해 하나의 데이터(Convolution Data)를 구하고, 이로부터 공감도 판단 기준이 되는 표준 편차를 구하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 방법.5. The method according to any one of claims 1 to 4,
Wherein one data (Convolution Data) is obtained through a linear sum of the motion data obtained from the images of the two subjects, and a standard deviation serving as a criterion for determining the empathy degree is obtained therefrom. 제1항 내지 제4항에 기재된 방법을 수행하는 시스템에 있어서,
상기 동영상을 획득하는 동영상 카메라;
상기 동영상 카메라로부터의 동영상을 처리하는 영상처리부;
영상처리부로부터의 영상을 분석하여 피험자의 공감 감정을 추론하는 분석부; 그리고
상기 분석부로부터의 분석결과를 표시하는 디스플레이;를 구비하는 영상분석을 이용한 공감 감성 추론 시스템.5. A system for performing the method according to any one of claims 1 to 4,
A moving picture camera for acquiring the moving picture;
An image processing unit for processing moving images from the moving picture camera;
An analysis unit for analyzing the image from the image processing unit to infer the empathy emotions of the subject; And
And a display for displaying an analysis result from the analysis unit. 제6항에 있어서,
상기 분석부:는
상기 주기(T1) 단위로 계산된 Z 스코어를 소정 윈도우 사이즈(Window size) 및 간격(interval time) 기준으로 매 움직임 량에 대한 값을 계산하는 것을 특징으로 하는 영상분석을 이용한 공감 감성 추론 시스템.The method according to claim 6,
The analysis unit:
Wherein a value for each motion amount is calculated on the basis of a window size and an interval time of Z scores calculated in units of the period (T1). 제7항에 있어서,
상기 분석부:는
상기 두 피험자의 영상으로부터 얻은 움직임 데이터를 선형 합을 통해 하나의 데이터(Convolution Data)를 구하고, 이로부터 공감도 판단 기준이 되는 표준 편차를 구하는 것을 특징으로 하는 영상 분석을 이용한 공감 감성 추론 시스템.8. The method of claim 7,
The analysis unit:
Wherein one data (Convolution Data) is obtained through a linear sum of the motion data obtained from the images of the two subjects, and a standard deviation serving as a criterion for determining empathy is obtained therefrom.
KR1020160103751A 2016-08-16 2016-08-16 Reasoning Method and System of Empathic Emotion Based on Video Analysis KR20180019417A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160103751A KR20180019417A (en) 2016-08-16 2016-08-16 Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR1020180069211A KR101971602B1 (en) 2016-08-16 2018-06-15 Reasoning Method and System of Empathic Emotion Based on Video Analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160103751A KR20180019417A (en) 2016-08-16 2016-08-16 Reasoning Method and System of Empathic Emotion Based on Video Analysis

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180069211A Division KR101971602B1 (en) 2016-08-16 2018-06-15 Reasoning Method and System of Empathic Emotion Based on Video Analysis

Publications (1)

Publication Number Publication Date
KR20180019417A true KR20180019417A (en) 2018-02-26

Family

ID=61531384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160103751A KR20180019417A (en) 2016-08-16 2016-08-16 Reasoning Method and System of Empathic Emotion Based on Video Analysis

Country Status (1)

Country Link
KR (1) KR20180019417A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198194A1 (en) * 2020-12-23 2022-06-23 Sangmyung University Industry-Academy Cooperation Foundation Method of evaluating empathy of advertising video by using color attributes and apparatus adopting the method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198194A1 (en) * 2020-12-23 2022-06-23 Sangmyung University Industry-Academy Cooperation Foundation Method of evaluating empathy of advertising video by using color attributes and apparatus adopting the method

Similar Documents

Publication Publication Date Title
Bandini et al. Analysis of facial expressions in parkinson's disease through video-based automatic methods
KR101646735B1 (en) Method and system for determining social relationship using Heart Rhythm Pattern by micro movement of body
JP6521845B2 (en) Device and method for measuring periodic fluctuation linked to heart beat
Irani et al. Thermal super-pixels for bimodal stress recognition
KR101738278B1 (en) Emotion recognition method based on image
CN108027973A (en) Crowded resolver, crowded analytic method and crowded analysis program
Speth et al. Deception detection and remote physiological monitoring: A dataset and baseline experimental results
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
Błażek et al. An unorthodox view on the problem of tracking facial expressions
WO2014145204A1 (en) Mental state analysis using heart rate collection based video imagery
KR101807201B1 (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR101911891B1 (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR20180019417A (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR101971602B1 (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
CN111507124A (en) Non-contact video lie detection method and system based on deep learning
Jáuregui et al. Toward automatic detection of acute stress: Relevant nonverbal behaviors and impact of personality traits
Siegfried et al. A deep learning approach for robust head pose independent eye movements recognition from videos
KR101940673B1 (en) Evaluation Method of Empathy based on micro-movement and system adopting the method
Mustafa et al. Heart rate estimation from facial videos for depression analysis
Mankodiya et al. Understanding User's Emotional Engagement to the Contents on a Smartphone Display: Psychiatric Prospective
KR102389361B1 (en) evaluation method and system for user flow or engagement by using body micro-movement
Abed et al. Verbal and non-verbal features in deception detection systems
KR101706740B1 (en) Method and System for determining online social relationship based on Heart Rhythm Coherence by Micro movement of body
KR102285998B1 (en) Method and apparatus for evaluating empathy for image contents
Puttemans et al. Automated walking aid detector based on indoor video recordings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment