KR20170004884A - 심장박동에 따른 얼굴온도변화를 이용한 가상-아바타의 사회적 실재감 표현 방법 및 이를 적용하는 시스템 - Google Patents

Abstract

심장 박동에 따른 얼굴온도변화를 이용한 가상-아바타의 사실적 표현 방법을 개시한다. 이 방법:은 실시간으로 실제 사용자의 ECG를 검출하는 단계; 상기 ECG로 부터 사용자의 심장박동에 따른 얼굴온도변화를 검출하는 단계; 상기 얼굴온도변화에 대응하여 가상-아바타의 얼굴을 변화시키는 단계;를 포함한다.

Description

심장박동에 따른 얼굴온도변화를 이용한 가상-아바타의 사회적 실재감 표현 방법 및 이를 적용하는 시스템{Method and system for social realistic expression of virtual-avatar}

본 발명은 심장박동에 따른 얼굴온도변화를 이용해 사회적 실재감이 증진된휴먼 아바타 또는 가상 아바타를 제작할 수 있는 방법을 제안한다.

현재까지 개발된 아바타의 모델링 기술은 실재 해부학적 관점에서 외현적 모습을 사실적으로 표현하는 것에만 집중되어왔으며, 보다 깊은 내면적 표현이 가능한 실재감 표현 방법 및 시스템의 개발은 새로운 과제이다.

적외선 열화상 카메라는 피사체의 표면으로부터 방사되는 적외선 파장 형태의 에너지를 검출하여 복사열의 강도에 따라 서로 다른 색상으로 표현하여 모니터링 가능하다. 눈, 입 등의 얼굴의 구성요소에 따라서 얼굴 표면 온도가 달라지며, 피부의 두께에 따라서도 얼굴 온도는 달라 질 수 있다. 또한, 혈관은 다른 피부 조직에 비하여 온도가 높기 대문에 혈관의 분포에 따라 얼굴 표면 온도가 달라 질 수 있다. 이러한 이유로 얼굴온도변화와 정서상태의 관련성에 관한 연구가 진행되고 있다. 이에 따라, 본 발명자는 상기 선행연구를 기반으로 자율신경계 측정방법 중 심전도(ECG, Electrocardiogram)를 사용하여 RRI와 얼굴온도변화간의 상관성을 확인하였으며, 자율신경계의 활성도에 따른 얼굴온도변화를 추론할 수 있는 회귀모델을 도출하였다. 도출된 회귀모델을 기반으로 사용자의 감성상태에 따른 얼굴온도변화를 추론하여 가상-아바타 시스템에 적용하였다.

Klopf, D. W., and Park, M. S. (1982). Cross-cultural communication: An introduction to the fundamentals, Han shin Pupilishing Company. Argyle, M. (1969). Social interaction, Transaction books, 103. Mehrabian, A. (1971). Silent messages, Wadsworth. Birdwhistell, R. (1952). Introduction to kinesics, University of Louisville. Won, M. J., Park, S. Lee, E. C., and Whang, M. (2014). Realistic Expression Factors According to Visual Presence in Terms of Iris color and Pupil Accommodation of Virtual Avatar, Journal of The Korea Contents Association, 14(4), 1-8. Won, M. J., Park, S., Kim, C. J., Lee, E. C., and Whang, M. (2012). A Study on Evaluation of Visual Factor for Measuring Subjective Virtual Realization, Journal of The Korea Society for Emotion Sensibility, 15(3), 373-382. Gullstrand, A., and Tigerstedt, R. (1911). Einfuhrung in die Methoden der Dioptrik des Auges, Leipzig : Verlag von S. Hirzel. Eom, Jin-Sup, and Jin-Hun Sohn. "Emotion recognition using facial thermal images." Journal of the Ergonomics Society of Korea 31.3 (2012): 427-435. Merla, A. and Romani, G. L., Thermal signatures of emotional arousal: A functional infrared imaging study, In Proceedings of the Annual International Conference of the IEEE EMBS, Lyon, Frace, 23-26, 2007. Nakanishi, R. and Imai-Matsumura, K., Facial skin temperature decreases in infants with joyful expression, Infant behavior and Development, 31, 137-144, 2008. Nhan, B. R. and Chau, T., Classifying affective states using thermal infrared imaging of the human face, IEEE Transactions on Biomedical Engineering, 57, 979-987, 2010.

본 발명은 심장박동에 따른 얼굴온도변화를 이용해 사회적 실재감이 증진된 가상-아바타를 제작할 수 있는 방법 및 이를 적용하는 시스템을 제안한다.

본 발명에 따라, 심장 박동에 따른 얼굴온도변화를 이용한 가상-아바타의 사실적 표현 방법:은

실시간으로 실제 사용자의 안면을 촬영하는 단계;

상기 안면 영상에서 심장박동변화에 따른 얼굴온도변화를 검출하는 단계; 그리고

상기 얼굴온도변화에 대응하여 상기 사용자에 상관하는 가상 아바타의 얼굴을 변화시키는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 사용자로부터 획득한 생리정보로부터 심장 박동 변화를 추출하고, 심장 박동 변화에 따라서 상기 사용자와 상관하는 가상-아바타의 얼굴 온도 변화를 동기 시킬 수 있다.

본 발명의 한 실시 예에 따르면, 상기 심장 박동 변화는 상기 사용자로부터 획득하는 ECG 데이터로부터 검출할 수 있다.

본 발명의 다른 실시 예는 회귀분석을 통해 상기 ECG 데이터로부터 상기 사용자의 얼굴온도 변화를 추론하고, 추출된 얼굴 온도 변화에 상기 가상-아바타의 얼굴 온도변화를 동기화시킬 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 ECG 데이터로부터 RRI (R-peak to R-peak Intervals)를 검출하고 RRI의 회귀분석을 통해 상기 사용자의 얼굴온도 변화를 검출할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 상기 사용자의 얼굴온도변화는 아래의 식으로 표현될 수 있다.

본 발명에 따른 가상-아바타 사실적 표현 시스템:은 상기 사용자로부터 생리정보를 추출하는 검출 시스템; 및 상기 생리정보로부터 상기 사용자의 얼굴온도 변화를 검출하는 분석 시스템; 상기 사용자에 상관하는 가상-아바타를 표현하는 것으로 상기 분석 시스템으로부터의 사용자 얼굴 온도변화에 대응하게 변화하는 얼굴 모델을 가지는 가상-아바타를 표시하는 디스플레이 시스템;을 구비한다.

본 발명에서 제안된 방법은 3D 모델 엔지니어가 캐릭터 설계 시 적용 가능한 새로운 표현요소로 활용될 수 있다. 특히 가상환경에서 휴먼-아바타 또는 가상 아바타가 표현하는 표정이나 시선 등의 요소는 사용자에게 직접적인 실재감에 영향을 준다. 그러나 일반적으로 시각적인 형태나, 근육의 움직임만을 중심으로 모델링 되고 있다. 따라서 본 발명을 통해 휴먼-아바타 얼굴 자체의 외형적 요소 이외에 사용자 내적 반응에 의한 얼굴온도변화 인자는 휴먼-아바타를 효과적으로 표현하기 위한 중요한 요소이며, 가상환경에서 아바타를 설계하기 위한 기초 연구로써 활용도가 매우 크다.

도1은 본 발명에 따른 자극을 예시한다.
도2는 본 발명에 따른 자극의 제시 방법을 예시한다.
도3은 얼굴 온도를 측정한 9개의 ROI 영역을 도시한다.
도4a, 4b, 4c는 얼굴 온도 반응과 심전도 반응의 상관성 분석을 부위별로 도시한다.
도5는 심장 반응 기반 얼굴온도 추론 모델 검증 결과 (이마-forehead)를 도시한다.
도6은 심장 반응 기반 얼굴온도 추론 모델 검증 결과 (좌측 눈-eye left)를 도시한다.
도7은 심장 반응 기반 얼굴온도 추론 모델 검증 결과 (코-nose)를 도시한다.
도8은 심장 반응 기반 얼굴온도 추론 모델 검증 결과 (얼굴전체-face)를 도시한다.
도9는 심장 반응 기반 얼굴 온도 실감 표현요소의 가상 실감화 평가 결과를 도시한다.

이하, 첨부된 도면을 참고하면서, 본 발명에 따른 심장박동에 따른 얼굴온도변화를 이용한 가상 아바타의 사실적 표현 방법 및 이를 적용하는 시스템의 실시 예를 설명한다.

본 발명은 자율신경계 측정방법 중 심전도(ECG, Electrocardiogram)를 사용하여 RRI와 안면 온도 변화 간의 상관성을 확인하였으며, 자율신경계의 활성도에 따른 얼굴 온도 조절 반응을 추론할 수 있는 회귀 모델(Regression Model)을 도출하였다. 도출된 회귀모델을 기반으로 사용자의 감성상태에 따른 이마(forehead), 눈(eye), 코(nose), 피부(face) 중 적어도 어느 하나 또는 얼굴 전체의 온도 변화 반응을 추론하여 가상-아바타 시스템에 적용하였다. 여기에서 가상 아바타는 휴먼(인간)으로 표현될 수 있으며, 다른 실시 예에 따라 동물, 가상의 생명체, 예를 들어 외계인 또는 의인화된 사물이 아바타로서 표현될 수 있다.

즉, 본 발명은 실시간으로 실제 사용자의 심장박동 변화에 따른 얼굴온도변화의 표현 요소를 다양한 형태로 구현되는 가상-아바타에 적용함으로써, 사용자의 감성상태를 반영하고 실재감 있는 상호작용 및 몰입감을 향상시킬 수 있는 방법을 제시한다.

1. 피험자

본 연구에 참여한 피실험자는 시각기능에 이상이 없고 나안시력이 0.8 이상인 대학생 및 일반인 26명 (남 13명, 평균나이: 23.03세 ± 3.27)을 대상으로 하였다. 실험 절차를 충분히 인지 시킨 후, 자발적으로 참여에 동의한 자로 선정하였다. 피험자가 졸음 및 피로에 의한 부교감신경 활성화에 따른 동고크기 감소의 영향을 최소화하기 위하여 실험 전 충분한 휴식을 취하도록 권하였다. 또한, 교감신경과 부교감신경에 영향을 미칠 수 있는 운동, 흡연, 카페인 등을 자제하도록 요청하였다.

2. 실험환경 및 방법

본 연구에 사용된 감성 유발자극은, 도1에 도시된 바와 같이, 시청각 영상으로 각성 (Arousal), 이완 (Relaxation), 중립 (Neutral)으로 구성하였다. 실험 자극 선정의 적합도는 적합성 검증을 통해 확인하였다 (Relaxation: χ2 [2, N = 26] = 30.769, p = .000, Arousal: χ2 [2, N = 26] = 35.615, p = .000).

실험 공간은 가로 3 m 세로 4 m의 크기로, 외부에서 발생하는 잡음과 소음이 30 dB 이하인 방음실이며, 온도는 24 ± 1℃를 유지하였다. 모든 피험자는 앉은 자세로 10분간 적응시간을 통해 신체적 안정을 유지 할 수 있도록 요청하였다. 이후, 편안한 자세로 70 cm 거리의 LED 모니터 화면을 응시하도록 하였다. 제시된 자극은, 도2에 도시된 바와 같이, 피험자가 예측할 수 없도록 무작위로 제시하여 순서효과를 제거하였다.

3. 분석 방법

안면온도는 적외선 열화상 (infrared thermography)카메라 CX-320U (COX Co. Ltd)로 측정하였다. 영상 해상도는 320 X 240이며, 60 프레임/second 속도로 샘플링 하였다. 측정된 영상은 9 개의 영역 (ROI)을 지정하여 온도 데이터를 취득하였다. 얼굴의 9 개의 영역은, 도3에 도시된 바와 같이, 이마, 미간, 좌측 눈, 우측 눈, 코, 입, 좌측 볼, 우측 볼, 얼굴 전체가 해당된다. 이때 온도 데이터는 현재 영상에서 프레임 단위로 최고온도, 최저온도, 평균온도와 편차가 기록하였다. 상기 데이터를 기반으로 현재 영상 프레임의 온도 정보와 다음 영상 프레임 온도의 차이 값을 계산하여 영상의 Frame by Frame으로 얼굴 온도 변화 차이를 계산하였다 (thermal to thermal difference).

심전도 (ECG, Electrocardiogram)는 Lead-I 방식을 이용하여 취득 하였다. 신호는 MP 100 & ECG 100C amplifier (Biopac System Inc., USA)를 통해 신호를 증폭하고 NI-DAQ Pad 9205 (National Instrument, USA)를 이용해 디지털화하였다. 신호는 500 Hz/second 속도로 샘플링 함. 측정된 심전도 신호는 QRS Detection Algorithm을 이용하여 ECG 신호의 R-peak을 검출하였다. 검출된 R-peak은 인접한 R-peak과의 차이를 통해 RRI (R-peak to R-peak Intervals)를 계산하였다.

4. 실험결과

얼굴 온도 반응과 심전도 반응의 상관성 분석을 위해 RRI와 얼굴 온도 변화 평균값을 사용하였다. 상관분석 결과, 높은 상관성을 보이는 이마 (forehead), 좌측 눈 (Eye left), 코 (Nose), 얼굴 전체 영역 (Face)지점을 최종 유효 요소로 선정하였다.

단순회귀분석법 (Simple Linear Regression Analysis)을 이용하여 심전도 반응의 RRI 변수를 통해 얼굴 온도 변화를 예측하는 모델을 개발하고 이를 검증하였다. 독립변수 (RRI)와 종속변수 (Facial temperature)의 분포에서 실제 분포된 종속변수의 값들로부터 가장 오차가 적은 직선을 찾아내는 최소자승법을 통해 최적의 방정식의 형태로 구하였다. 기울기 B는 회귀계수 (Regression coefficient), A는 상수 (Constant)를 의미한다. R 제곱 (결정계수: R2)은 종속변수의 전체 변동 중에서 회귀모형에 의해 설명된 변동의 비율을 의미한다. 회귀모델의 통계적 유의성 검증 결과 p = 0.000으로 구해진 회귀모델이 유의함을 확인하였다.

결과에 의해 추정된 심전도 반응을 이용한 얼굴 온도 조절 반응 추론 모델 식은 다음 식 (2)와 같고, 자세한 패턴은 다음 도4a, 4b, 4c와 같다.

이러한 추론 결과는 본 발명의 한 실시 예에 따라 가상 아바타의 HIS(Hue, Intensity, Saturation)와 맵핑하여 인테시티를 적용하였다.

상기 단순회귀분석방법을 통해 개발된 추론 모델을 검증하기 위하여 도출된 회귀식을 기반으로 10명의 피험자를 대상으로 검증하였다. 검증결과, 실재 측정한 얼굴 온도와 예측한 얼굴 온도의 편차는 0.00001정도 차이가 있음을 확인하였다.

5. 실재감 평가

실험에 참여한 피험자는 편안한 자세로 세 가지 유형 (A avatar, B avatar, C avatar)의 휴먼-아바타를 각각 25초간 시청하였고, 27인치 LED 모니터 (LG, 해상도 1920 X 1080)로부터 60 cm의 거리에서 제시하였다.

여기에서, A 아마타(avatar)는 실감 표현요소가 전혀 적용 되지 않은 휴먼-아바타 자극, B 아바타(avatar)는 임의로 얼굴 영역에 얼굴 온도변화를 적용한 휴먼-아바타 자극, 그리고 C 아바타(avatar)는 본 발명의 실험에서 확인한 심장반응기반 얼굴온도 변화의 실감 표현요소를 적용한 휴먼-아바타 자극을 의미한다.

선행연구에서 개발한 가상 실감화 주관평가 모델을 기반으로 피험자가 느낀 실재감에 대한 설문을 자극 제시 후에 5 점 척도로 보고 받았다. 주관평가 항목은 시각적 실재감(Visual Presence, VP; 3 item), 시각적 몰입감(Visual Immersion, VIm; 7 item), 시각적 상호작용(Visual Interaction, VIn, 4 item)의 3 요인으로 구성되었고, 역 문항(4 item)을 포함하여 주관평가 데이터의 신뢰성을 확보하였다.

여기에서, 시각적 실재감 (Visual presence)은 사용자에게 주어진 가상 환경이 어떻게 지각되는지에 대한 정도를 의미하며, 시각적 몰입감 (Visual immersion)은 사용자에게 주어진 가상 환경이 얼마나 극사실적으로 표현되어 있는지에 대한 정도를 의미하며, 그리고 시각적 상호작용 (Visual interaction)은 사용자가 가상 환경을 통하여 매개 환경의 형태나 내용에 대해 상호작용이 가능한지에 대한 정도를 의미한다.

심장 반응 기반 얼굴 온도 실감 표현요소의 가상 실감화를 평가한 결과 본 연구에서 도출된 회귀모델을 기반으로 심장반응을 통해 추론한 얼굴 온도변화를 휴먼-아바타에 적용한 경우 실재감이 높은 것을 확인하였다 (p < 0.001)

아래의 표2 및 도9는 심장 반응 기반 얼굴 온도 실감 표현요소의 가상 실감화 평가 결과를 보인다.

이상에서, 본원 발명의 이해를 돕기 위하여 모범적인 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 내용에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims (7)

1. 사용자로부터 획득한 생리정보로부터 획득한 심장 박동 변화에 따라서 상기 사용자와 상관하는 가상-아바타의 얼굴 온도 변화를 동기 시키는, 가상-아바타 의 사회적 실재감 표현 방법.
2. 제1항에 있어서,
   상기 심장 박동 변화는 상기 사용자로부터 획득하는 ECG 데이터로부터 검출하는 것을 특징으로 하는 가상-아바타의 사회적 실재감 표현 방법.
3. 제2항에 있어서,
   회귀분석을 통해 상기 ECG 데이터로부터 상기 사용자의 얼굴 온도의 변화를 추론하고, 추론된 상기 사용자의 얼굴 온도 변화에 상기 가상-아바타의 얼굴 온도 변화를 동기화 시키는 것을 특징으로 하는 가상-아바타의 사회적 실재감 표현 방법.
4. 제3항에 있어서,
   상기 ECG 데이터로부터 RRI(R-peak to R-peak Intervals)를 검출하고 RRI의 회귀분석을 통해 상기 사용자의 얼굴 온도 변화를 검출하는, 가상-아바타의 사회적 실재감 표현 방법.
5. 제4항에 있어서,
   가상 아바타의 얼굴에서, 이마(forhead), 눈(Eye), 코(Nose), 안면(Face) 중 적어도 어느 하나의 온도가 아래의 식으로 표현되는 것을 특징으로 하는 가상-아바타의 사회적 실재감 표현 방법.
   

   
6. 제1항 내지 제5항 중의 어느 한 항의 방법을 수행하는 가상-아바타의 사회적 실재감 표현 시스템에 있어서,
   상기 사용자로부터 생리정보를 추출하는 검출 시스템 및
   상기 생리정보로부터 상기 사용자의 얼굴 온도 변화를 검출하는 분석 시스템;
   상기 사용자에 상관하는 가상-아바타를 표현하는 것으로 상기 분석 시스템으로 부터의 사용자 얼굴 온도 변화에 대응하게 변화하는 얼굴 모델을 가지는 가상-아바타를 표시하는 디스플레이 시스템;을 구비하는, 가상-아바타 사실적 표현 시스템.
7. 제6항에 있어서,
   상기 검출 시스템은 ECG 데이터를 검출하는 것을 특징으로 하는 가상-아바타 의 사회적 실재감 표현 시스템.

Images