KR20220117671A - 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템 - Google Patents

Abstract

본 개시는 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 (DHT)의 생성 방법 및 시스템에 관련한다. 디지털 휴먼 튜터의 생성 방법:은 강의용 영상 자료와 디지털 휴먼 튜터 모델을 생성하는 단계; 상기 강의용 영상 자료와 DHT를 합성하여 강의용 영상 콘텐츠를 형성하는 단계; 상기 영상 컨텐츠를 학습자에게 시현 하면서, 학습자의 안면을 포함하는 인체 영상을 획득하는 단계; 상기 인체 영상으로부터 상기 학습자의 안면의 물리적 움직임에 대한 특징 정보를 추출하는 단계; 그리고 상기 물리적 특징의 변화를 상기 DHT에 적용하여 상기 학습자의 반응을 상기 DHT의 외형에 모방시키는 단계;를 포함한다.

Description

몰입도-추론 기반 교감-유도형 DHT 생성 방법 및 이를 적용하는 시스템{Method for generating digital human tutor inducing Sympathy based on Immersion inference, and system adopting the method}

본 개시는 가상 공간에 존재하는 디지털 휴먼 튜터(Digital Human Tutor)를 생성하는 방법에 관한 것으로, 상세하게는 학습 몰입도를 추론하면서 교감을 유도하여 학습 능률을 높일 수 있는 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법 및 이를 적용하는 시스템에 관한 것이다.

전세계적 코로나 감영증의 확산으로 교육현장에서의 학습 패러다임이 대면 학습에서 비대면 학습으로 급속히 전환되고 있다. 대부분의 교육현장에서 적용되는 비대면 학습은 한 명의 교수자가 동시에 여러 명의 학습자와 상호작용하는 1대 다자(1:N) 온라인 동영상 강의 방식이 주를 이루고 있다.

그러나 온라인 동영상 강의 형태의 비대면 학습 특성 상 교수자와 학습자와의 의사소통의 어려움과 학습자의 학습 효과 및 태도를 교수자가 대면학습에 비해 파악하기 어렵다.

이에 따라 교수자와 학습자 간 온라인을 통한 간접적인 의사소통의 어려움과 학습자 개개인에 따른 적절한 학습을 지도하기 어려운 이슈가 있다.

따라서 교수자와 학습자 간 공감 및 상호작용과 학습자의 몰입을 높이기 위해 원격으로 학습자의 태도를 인식하고 이에 맞는 적절한 교수자의 반응 또는 피드백을 조절하는 것이 필요하며, 이를 위한 방법 및 시스템에 대한 연구가 요구된다.

최원경(Choi, Wonkyung).(2020). 면대면 대 비대면 강의 만족도 비교. 영어교과교육, 19(4): 223-245 김상미 (2020). 코로나19 관련 온라인 교육에 관한 국내 언론보도기사 분석. 한국디지털콘텐츠학회 논문지, 21(6), 1091-1100. Park, S., Choi, S. J., Mun, S., and Whang, M. (2019). Measurement of emotional contagion using synchronization of heart rhythm pattern between two persons: Application to sales managers and sales force synchronization. Physiology and behavior, 200, 148-158. Dich, Y., Reilly, J., and Schneider, B. (2018, June). Using physiological synchrony as an indicator of collaboration quality, task performance and learning. In International Conference on Artificial Intelligence in Education (pp. 98-110). Springer, Cham. Balakrishnan, G., Durand, F., and Guttag, J. (2013). Detecting pulse from head motions in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3430-3437). Viola, P., and Jones, M. (2001, December). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001 (Vol. 1, pp. I-I). IEEE. Kazemi, V., and Sullivan, J. (2014). One millisecond face alignment with an ensemble of regression trees. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1867-1874). Lucas, B. D., and Kanade, T. (1981, April). An iterative image registration technique with an application to stereo vision. Tomasi, C., and Kanade, T. (1991). Detection and tracking of point. features. Technical Report CMU-CS-91-132, Carnegie, Mellon University. Liu, W., Pokharel, P. P., and Principe, J. C. (2006, July). Correntropy: A localized similarity measure. In The 2006 IEEE international joint conference on neural network proceedings (pp. 4919-4924). IEEE. Cortes, C., and Vapnik, V. (1995). Support-vector networks. Machine learning, 20(3), 273-297. Chartrand, T. L., and Van Baaren, R. (2009). Human mimicry. Advances in experimental social psychology, 41, 219-274. Schutte, N. S., and Stilinovi?, E. J. (2017). Facilitating empathy through virtual reality. Motivation and emotion, 41(6), 708-712.

본 개시는 학습자의 반응 또는 표정에 반응하는 디지털 휴먼 튜터의 생성 방법 및 시스템을 제시한다.

본 개시는 비대면 학습 상황에서 학습자의 반응을 인식하고 이를 모방할 수 있는 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법 및 시스템을 제시한다.

본 개시에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법:은

강의용 영상 자료와 강의를 진행할 교수자에 대응하는 DHT (Digital Human Tutor)를 생성하는 단계;

상기 강의용 영상 자료와 DHT를 합성하여 강의용 영상 콘텐츠를 형성하는 단계;

상기 영상 콘텐츠를 학습자에게 시현하면서, 학습자의 안면을 포함하는 인체 영상을 획득하는 단계;

상기 인체 영상으로부터 상기 학습자의 안면의 물리적 움직임에 대한 특징 정보를 추출하는 단계;

상기 물리적 특징의 변화를 상기 DHT에 적용하여 상기 학습자의 반응을 상기 DHT에 간헐적으로 또는 소정의 패턴으로 모방시키는 단계; 그리고

상기 DHT와 학습자의 안면으로부터 미세 움직임 데이터(Micro Movement Data, MMD)를 추출하여, 상기 학습 컨텐츠에 대한 학습자의 몰입도를 평가하는 단계;를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 학습자의 외형적 특징을 추출하는 단계에서,

상기 학습자의 안면에서 특징점을 추출하고, 추출된 특징점의 미세 움직임 데이터를 추출하고, 상기 미세 움직임 데이터로부터 심박 정보를 추출하여, 상기 DHT의 특성값으로 입력할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 몰입도를 평가하는 단계;는

상기 DHT와 학습자의 MMD 각각에 대한 FFT 분석을 통해 각각의 PSD(Power Spectral Density)를 계산하는 단계;

상기 각각의 PSD를 정규화(Normalization)하는 단계;

상기 정규화된 PSD에 대한 크로스-엔트로피를 계산하는 단계;

그리고, 상기 크로스-엔트로피를 이용해 상기 DHT에 대한 학습자의 유사도를 구하는 단계;

상기 유사도를 축적하여 선형 분류기에 의해 몰입도를 추론하는 단계;를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 미세 움직임 데이터는 얼굴의 코 영역과 이마 영역 중 적어도 한 영역에 정의되는 다수의 특징점의 움직임으로부터 추출될 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 미세 움직임 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용하여 미세 움직임 데이터(Micro Expression Data, MED)를 계산할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 미세 움직임 데이터로부터 무의식적 미세 움직임 데이터를 추출하기 위하여, 미세 움직임 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주성분 분석을 거친 미세 움직임 데이터를 상기 DHT의 특성값으로 입력할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 주성분 분석을 거친 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 상기 미세 움직임 데이터로 적용할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 안면 영상에서 학습자의 동공 영역을 추출하고,

상기 동공 영역에서 상기 학습자의 시선 파라미터를 추출하고, 그리고

상기 시선 파라미터를 상기 DHT의 시선에 대한 특성값으로 입력할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 안면 영상에서 안면에 정의된 안면 근육 AU의 미세 움직임 값을 추출하고, 상기 안면 근육 AU의 움직임 값을 상기 DHT의 안면 근육 AU이 특성값으로 입력할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 인체 영상에서 상기 학습자의 다수 관절에 대한 2차원 위치 좌표 데이터를 추출하고, 그리고 상기 2차원 위치 좌표로부터 3차원 각도로 변환하여 상기 DHT의 관절 특성값으로 입력할 수 있다.

본 개시에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템:은

몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템에 있어서,

상기 강의용 영상 자료를 생성하는 영상 생성부;

강의를 진행할 상기 DHT를 생성하는 DHT 생성부;

상기 강의용 영상 자료와 DHT를 합성하여 강의용 영상 콘텐츠를 형성하는 영상-DHT 합성부;

상기 영상 콘텐츠를 학습자에게 제공하는 영상 콘텐츠 배포부;

상기 영상 콘텐츠를 시청하는 학습자의 안면을 포함하는 인체 영상을 획득하는 카메라를 포함하는 영상 정보 처리부;

상기 학습자의 인체 영상으로부터 학습자의 안면의 물리적 움직임에 따른 물리적 특성변수를 측정하여 상기 DHT의 특성변수로 입력하여 DHT의 특성값으로 전송하는 특성 변수 측정부; 그리고

상기 MMD로 부터 상기 학습 컨텐츠에 대한 학습자의 몰입도를 평가하는 몰입도 평가부;를 포함한다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특성 변수 측정부는,

상기 미세 움직임 데이터로부터 무의식적 미세 움직임 데이터를 추출하기 위하여, 미세 움직임 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특성 변수 측정부는, 상기 주성분 분석을 거친 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 상기 미세 움직임 데이터로 추출할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특성 변수 측정부는, 상기 안면 영상에서 학습자의 동공 영역을 추출하고, 상기 동공 영역에서 상기 학습자의 시선 파라미터를 추출하고, 그리고 상기 시선 파라미터를 상기 DHT의 시선에 대한 특성값으로 전송할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특성 변수 측정부는, 상기 안면 영상에서 안면에 정의된 안면 근육 AU의 미세 움직임 값을 추출하고, 그리고 상기 안면 근육 AU의 움직임 값을 상기 DHT의 안면 근육 AU의 특성값으로 전송할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특성 변수 측정부는, 상기 인체 영상에서 상기 학습자의 다수 관절에 대한 2차원 위치 좌표 데이터를 추출하고, 그리고 상기 2차원 위치 좌표로부터 3차원 각도로 변환하여 상기 DHT의 관절 특성값으로 전송할 수 있다.

도1은 하나 또는 그 이상의 실시 예에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 장치의 개략적 구성도이다.
도2는 도1에 도시된 휴먼 튜터 생성 장치의 작동 흐름을 개략적으로 보인다.
도3a는 하나 또는 그 이상의 실시 예에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법에서, 안면 특징 검출 과정을 보이는 플로우챠트이다.
도3b는 FACS에서 정의하는 특징점 (Landmark)의 배치를 예시한다.
도4는 하나 또는 그 이상의 실시 예에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법에서, 얼굴영상(Facial Video)-얼굴검출(Face Detection)-특징점 검출(Facial Landmark detection) 과정에 따른 결과물을 보인다.
도5는 하나 또는 그 이상의 실시 예에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법에서, 검출된 눈영역을 예시한다.
도6은 하나 또는 그 이상의 실시 예에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법에서, 얼굴 특징점의 검출 및 정규화 결과를 예시한다.
도7은 하나 또는 그 이상의 실시 에에 따른 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법에서, 학습자 영상에서 심장 박동에 의한 얼굴의 무의식적 미세 표현을 추출하기 위한 과정을 보여주는 플로우챠트이다.
도8은 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, 전 단계에서 얻어진 미세표현 데이터(MED)에서 심장 박동 신호를 판단하는 과정의 플로우챠트이다.
도9는 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, 얼굴 근육 AU별 강도를 보이는 막대그래프이다.
도10은 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, 학습자 영상에서 관절(Key Point)이 검출된 상체 사진을 예시한다.
도11은 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, 학습자로부터 추출된 관절(Key Point)의 링크 구조를 예시한다.
도12는 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, MIM을 이용한 크로스-엔트리 계산의 흐름도이다.
도13은 도12에 도시된 크로스 엔트리 계산 흐름을 도식적으로 보인다.
도14는 하나 또는 그 이상의 실시 예에 따른 교감형 디지털 휴먼 튜터의 생상 방법에서, 크로스-엔트로피에 의한 몰입도 평가를 위한 SVM(Support Vector Machine) 선형 분류를 예시한다.
도15는 하나 또는 그 이상의 실시 예에 따라 제작된 강의 영상 재생 시스템을 예시한다.

이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되어 지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어 지지 않는다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.

어떤 실시 예가 달리 구현 가능한 경우에 특정한 프로세스 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세서는 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.

본 개시는 디지털 휴먼 튜터(Digital Human Tutor, 이하 DHT)에 의해 학습이 진행되는 영상 컨텐츠를 이용한 비대면 학습 상황에서, (1) 학습을 수행 중인 학습자의 내현적 반응 및 외현적 반응을 검출하고, (2) 검출된 상기 사용자의 내현적 반응과 외현적 반응 중의 적어도 어느 하나를 DHT가 모방하도록 하고, 이로써 학습자의 공감 반응을 유도하고 나아가서는 학습 효과를 고양하는 방법 및 이를 적용하는 시스템을 제시한다.

상기 DHT는 컴퓨터 프로그래밍에 의해 생성되는 객체(Object)로서 인간의 외형을 가지는 아바타 (Avarta)이며, 이는 다양한 인체적 특성에 대한 속성(property)를 가지며, 이는 객체의 속성의 수정/갱신을 위한 메소드(method) 또는 함수(function)등에 의해 제어가 가능하다.

도1은 본 개시에 따른 몰입도 추론을 기반으로 하는 학습자-교수자간 공감을 유도하는 DHT 생성 또는 학습 시스템의 개요도 이며, 도2는 전체 DHT에 의한 학습 흐름도이다.

도1과 도2를 참조하면, 실제 교수자(Tutor, 21)에 의한 강의 내용이 카메라를 갖춘 영상 생성부(32)에 의해 촬영되어 영상 강의 자료가 준비되고, DHT 생성부(31)에서는 실제 교수자(21)를 대신할 아바타인 DHT(23)가 생성된다. DHT(23)가 생성된 초기에는 아바타의 표정, 시선, 제스쳐 등이 중립적인 디폴트 상태로 생성된다.

상기 영상 강의 자료는 영상-DHT 합성부(33)에서 DHT(23)와 합성되어 강의 영상이 생성 된다. DHT(23)의 합성에는 실제 교수자의 안면 미세 움직임 (Micro Movement, MIM) 또는 심박 정보가 반영되고, 또한, 후술하는 과정에서 얻어지는 학습자의 제스쳐 정보 또는 안면 미세 움직임 정보가 소정 패턴으로 반영될 수 있다. 이렇게 만들어진 학습 컨텐츠는 강의 영상 배포부(34)로 보내어 진다. 학습자(20)는 다양한 매체를 통해 강의 영상 저장 및 배포부(34)에서 제공받은 강의 영상을 보면서 학습을 수행한다. 이때에 학습자(22)의 안면을 포함하는 상체 영상이 카메라에 의해 촬영되고, 그리고 영상 정보 처리부(35)를 통해 처리된 후, 특성 변수 측정부(36)으로 피드백 된다. 특성 변수 측정부(36)에서는 안면 영상으로부터 학습자의 표정, 시선, 제스처 등이 감지되고 이로부터 및 미세 움직임(MIM), 큰 움직임(Macro Movement, MAM) 등이 추출되고, MAM에 의해서는 표정, 시선, 제스처 등에 의한 특성 파라미터가 추출된다. 여기에서 추출된 특성 파라미터는 영상-DHT 합성부(33)로 실시간 전송되고 여기에서 DHT(23)의 표정, 시선, 제스쳐 등에 대한 일정 부분의 동기화가 수행된 후 강의 영상과 합성되어 활성화된다. 이러한 변화에는 학습 영상에 대한 학습자의 내현적 반응 및 외현적 반응에 대한 동기화 또는 유사한 반응 또는 학습자의 반응에 대응하는 적절한 반응도 포함된다.

하나 또는 그 이상의 실시 예는 영상 강의를 수행하는 DHT(23)는 교수자의안면 MIM을 따르고 있고, 학습자의 수업 태도, 수업 중 표정, 자세 등에 대응하여 그 외적 특성이 제어된 후 학습자(22)에게 표출한다. 이러한 방법에 따르면, 학습자는 학습 중 DHT(23)와 상호 교감하는 느낌을 받게 되고 따라서 학습 효과는 상승하게 될 것이다.

결과적으로, 학습자의 제스쳐 및 표정 등이 DHT(23)의 움직임 및 표정 변화에 반영되고, 특히 DHT(23)의 얼굴 영상에서 학습자의 눈, 눈썹, 코, 입, 얼굴형 등의 외형적 특징이 간헐적으로 또는 일정한 패턴으로 반영되고, 또한 제스처 까지도 DHT(23)의 변화에 반영될 수 있다. 이를 통해서 비대면 교육 환경에서 DHT(23)가 아닌 실제 교수자(21)와 학습자가 상호 인터랙션 하고 있다는 느낌을 줄 수 있고, DHT(23)에 대해 신뢰도를 높여 소통의 질을 향상시키고 교육 환경의 제약을 개선시키는데 기여할 수 있을 것으로 기대된다. 한편, 상기 DHT(23)에는 교수자의 심박 정보에 관련하는 MIM이 반영되어 이것이 DHT(23)를 통해서 표출되고, 학습자는 이러한 DHT(23)의 MIM에 반응하여 학습자의 스스로의 MIM도 변할 수 있게 될 수 있다. 상기 학습자(20) 의 MIM은 교수자의 MIM에 기초한 몰입도 평가에 사용되며, 그 결과는 교수자(21)에 전달되어 현재 학습자(20)의 학습 몰입의 정도를 전달한다.

본 개시에 따른 실시 예에 따르면, DHT를 생성함에 있어서, 실제 교수자의 얼굴을 특징을 닮을 수 있게 할 수 있으며, 또는 학습자의 얼굴 특징을 고려하여 학습자가 선호하는 형태로 수정 가능할 것이다.

DHT의 생성에는 아바타의 외관 골격을 형성해 주는 공개된 소프트웨어가 적용가능하며, 예를 들어 REALLUSION Character Creator3의 휴먼 모델(객체)를 사용할 수 있다. 이러한 휴먼 모델은 API 또는 DLL (dynamic link library) 로 제공 가능하므로, DHT가 적용되는 어플리케이션에 이식이 가능하며, 휴먼 모델, 즉 DHT 모델의 특성 값의 조정에 의해 다양한 내현적 또는 외현적 표정의 변화 및 내현적 감정의 표출이 가능하다. 이러한 DHT 모델의 특성값 조절을 위한 교수자 또는 학습자의 외형적 특징 검출은 안면 근육 AU의 검출 방법을 적용할 수 있다.

기본적으로 본 개시에 따른 실시 예는 학습자의 외형적 특징의 검출이 필수적이며 이 방법은 동일하게 교수자의 외형적 특징의 검출에 적용할 수 있다.

I. 안면의 외형적 특징 검출

카메라로 촬영된 학습자의 영상의 얼굴 영역으로부터 MAM(Macro Movement)이 추출되어 안면의 외형적 특징이 추출되며, 이 특징에는 아래 표1에 나타내 보인 바와 같이 눈썹, 눈, 코, 입, 턱의 각 요소의 특징(값)을 포함한다.

도3a는 안면 특징 검출 과정을 보이는 플로우챠트이다. 도3b은 FACS에서 정의 하는 특징점 (Landmark)의 배치를 예시하며, 도4는 아래에서 설명되는 얼굴영상(Facial Video)-얼굴검출(Face Detection)-특징점 검출(Facial Landmark detection) 과정에 따른 결과물을 보인다.

i. Facial Video Acquisition

도4의 (i)에 도시된 바와 같이, 학습 영상을 시청하고 있는 학습자의 외형적 특징을 검출하기 위해 학습자의 얼굴 영역이 포함된 상반신 또는 전신을 촬영하여 안면 영상을 획득한다. 이 단계에서 예를 들어 30fps 이상의 영상 촬영이 가능한 카메라로부터 얼굴이 포함된 학습자의 상반신을 촬영한다.

ii. Face detection

도4의 (i)에 도시된 바와 같이, 촬영한 영상 이미지 내에서 학습자의 얼굴이 위치하는 영역을 검출한다. 얼굴 영역의 추출은 사람의 얼굴 부위마다 나타나는 명암의 특징을 이용한 Viola-Jones 알고리즘, HOG(Histogram of Oriented Gradients) 등의 방법을 적용한다.

iii. Facial Landmark detection

도4의 (iii)에 도시된 바와 같이, 검출한 얼굴 영역 내에서 교수자의 외형적 특징을 검출한다. 이때 외형적 특징은 눈썹, 눈, 코, 입, 턱이며, 위치는 68개의 특징점 (Landmark)을 이용해 검출할 수 있다. 상기 특징점은 예를 들어 Ekman의 FACS(Facial Action Coding System)를 기반으로 정의되고 검출될 수 있다. 안면 근육 AU(Action Unity)를 정의하며, 이들 AU에 의해 외형적 특징 움직임을 검출한다.

아래의 표2는 얼굴 표정의 변화를 판단하기 위한 얼굴 근육의 움직임을 정의하는 AU 와 각 AU에 속하는 랜드마크를 설명한다.

II. 심장 박동에 의한 얼굴의 무의식적 미세 움직임 데이터 추출

강의 영상을 제작하는 교수자 또는 강의 영상으로 학습 중에 있는 학습자의 내적 감성 또는 감정은 얼굴의 표정 변화를 통해서 인지할 수 있다. 얼굴 표정은 내적 감정에 따른 안면 근육의 움직임에 기인한다. 따라서, 얼굴의 움직임, 특히 여러 AU들의 움직임을 평가함으로써 내적 감정을 평가 또는 판단할 수 있다. 그런데, 여기에는 감정과는 무관한 학습자의 의식적 움직임이 같이 나타날 수 있고, 이것은 내적 감정을 평가하는데 노이즈로 작용할 수 있다. 따라서 교수자의 얼굴 근육에 나타난 미세 움직임에서 의식적 움직임을 제거한다면 교수자의 진정한 미세 표정, 즉 내적 감정을 평가할 수 있다.

본 실시 예에 의해, 이러한 노이즈 성분으로서의 의식적인 움직임은 필터링된다. 이러한 노이즈 성분을 배제한 내적 감성에 기초하는 미세 움직임은 분당 45에서 150회 범위의 정상 심박수(BPM)에 기초하여 발현된다.

도7는 카메라로 촬영된 학습자 영상에서 얼굴 영역으로부터 심장 박동에 의한 얼굴의 무의식적 미세 표현에 따른 미세 움직임 데이터 (MIM)를 추출하기 위한 과정을 보여주는 플로우챠트이며, 이하에서 이 과정을 상세히 설명한다.

안면 영상(Facial video)의 획득 및 얼굴 검출(Face detection)은 전술한 안면의 외형적 특징 검출에서의 방법과 동일하다.

i. Facial video

학습자의 얼굴 영역이 포함된 상반신 또는 전신을 촬영하여 30fps의 학습자 안면 영상을 획득한다.

ii. Face detection

얼굴 검출(face detection) 및 추적(tracking)을 통해 얼굴 영역 또는 포인트를 추출한다. 얼굴 영역의 추출은 사람의 얼굴 부위마다 나타나는 명암의 특징을 이용한 Viola-Jones 알고리즘, HOG(Histogram of Oriented Gradients) 등의 방법을 적용한다.

iii. Area Selection

검출된 얼굴 영역에서 노이즈 신호가 가장 적게 발생하는 이마(forehead)와 코(nose) 영역을 선택한다.

iv. Feature Extraction:

선택된 이마와 코 영역에서 다른 포인트와 대비해 추적하기 위한 다수의 특징점을 추출한다. 이러한 특징점 추출에는 Good-Feature-To-Track (GFTT) 알고리즘, FLD (Facial Landmark Detection) 알고리즘이 적용될 수 있다. 본 실시 예에서는, GFTT 알고리즘을 적용하여 다수의 특징점(Landmark)을 추출한다.

v. Feature Tracking

추출된 각 특징점의 움직임 데이터를 구한다. 이러한 특징 추적에는 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘, TM (Transformation Matrix) 기반 추적 알고리즘 등이 적용될 수 있다. 본 실시 예에서는, 연속된 프레임에 대해서 KLT 알고리즘을 이용해 각 특징점 마다 이전 프레임 대비 현재 프레임에서 y좌표 값이 움직인 값을 추적하여 심장박동에 의한 무의식적 미세 표현에 따른 MIM 데이터를 추출한다. MIM 데이터의 추출에는 슬라이딩 윈도우 기법이 이용될 수 있으며, 이때의 윈도우 사이즈는 30s, 인터벌 사이즈는 1s로 설정할 수 있다.

III. 심장 박동 신호 판단

도8은 전 단계에서 얻어진 MIM 데이터에 대한 슬라이딩 윈도우 기법을 포함하는 것으로 심장 박동 신호를 판단하는 과정의 플로우챠트이다.

이 과정은 위의 과정에서 추출된 내현적 반응에 따른 무의식적 미세 움직임 데이터(MED)로부터 미세 표현에 대해 노이즈가 없는 심장 반응에 의한 성분만을 추출하기 위한 과정이다.

i. Bandpass Filter

얼굴의 무의식적 미세 표현 신호에 대해 Butterworth Bandapss Filter (5 order, 0.75-5Hz)를 이용해 심박수 대역에 해당하는 주파수인 0.75Hz(45bpm)~2.5Hz(150bpm) 대역만을 추출한다.

ii. Principal Component Analysis (PCA)

각 특징점(Landmark)에서 추출된 얼굴의 무의식 미세 움직임 데이터로부터 동일한 성분을 가진 하나의 얼굴 무의식 미세 움직임 데이터를 추출하기 위한 과정으로, 주성분 분석을 통해 5개의 컴포넌트(Component)를 추출한다. 각 컴포넌트(Component)에 대해 생체 신호는 주기성을 띈다는 특징을 이용해 가장 높은 주기성을 보이는 컴포넌트 (Component)를 최종 얼굴 미세 움직임 데이터로 추출한다. 주기성은 다음과 같이 계산된다.

여기에서, s는 시계열 신호, FFT는 시계열 신호를 주파수 대역으로 변환하기 위한 푸리에 분석 방법, PS는 시계열 신호 s에 대한 주파수 대역의 파워 스펙트럼이다.

여기에서 Max Power는 전체 파워 스펙트럼에서 가장 큰 파워 값

여기에서 Total Power는 전체 파워 스펙트럼의 합이다.

최종적으로 시계열 신호 s 에 대한 주기성(Periodicity)는 다음과 같이 계산된다.

최종적으로, 학습자 얼굴의 미세 표현으로부터 심장 반응에 대한 주기성 (심박수)이 분석되고, 이 값은 DHT의 미세 표현 모방을 위한 입력 값으로 사용된다.

구체적으로, PCA를 거쳐서 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 디지털 휴먼 튜터의 얼굴 특징점(눈썹, 눈, 코, 입, 턱)의 y좌표에 진폭 값으로 반영된다.

이것은 심장 반응과 같은 내현적 반응에 따른 결과로서 에 의한 따라서, DHT의 특성값에 대한 입력값은 얼굴의 외적 표정과 내적 감정이 스며 있는 내적 표정을 동적으로 변화시킨다.

이를 통해서 학습자의 미세 표현을 교수자의 아바타인 DHT가 모방하게 되며, 이를 학습자가 자신의 움직임에 같이 움직이고 변화하는 모습을 바라 보면서 학습 영상에 더욱 몰입할 수 있게 될 것이다.

IV. 외현적 특성 추출 및 반영

학습자의 외현적 반응으로 (a) 시선, (b) 의식적 표정, 그리고 (c) 제스처가 있는데, 이러한 특징을 학습자로부터 획득한 동영상으로부터 추출하고, 이것은 DHT의 특성 값에 대입함으로써 DHT의 다양한 변화에 반영할 수 있다.

가. 시선 측정

카메라 영상에 비친 학습자의 얼굴로부터 학습자의 시선을 측정하는 기술이다. 다음과 같은 단계로 진행된다.

A. Face detection

도4의 (i)에 도시된 바와 같이, 안면 영상에서 학습자의 얼굴이 위치하는 얼굴 영역을 검출한다.

B. Facial Landmark detection

도4의 (ii), (iii)에 도시된 바와 같이, 검출한 얼굴 영역 내에서 학습자의 외형적 특징을 검출한다. 이때 외형적 특징은 눈썹, 눈, 코, 입, 턱이며, 위치는 68개의 특징점 (Landmark)을 이용해 검출할 수 있다.

C. Area Of Interest Selection

도5에 도시된 바와 같이, 상기 68개의 특징점 좌표들 중에서 눈의 영역을 표시하는 12개의 좌표를 기반으로 관심 영역(AOI, Area Of Interest)을 추출한다. AOI 추출은 양쪽 눈(left, right)에 대해 각각 진행된다.

D. Calibration:

AOI 영역에 위치한 점이 전체 AOI 영역의 너비와 높이와 비교했을 때 임의범위의 값, 예를 들어 0~1.0 사이의 값을 가지도록 새로운 좌표축을 만든다. 해당 좌표축은 AOI 영역에 위치한 점이 오른쪽에 가까울수록 1.0, 아래에 위치할 수록 1.0 에 가까운 값을 같도록 함으로 써, 해당 점이 주어진 영역에서 상하좌우 어느 방향에 위치하고 있는지 파악하기 용이하도록 한다.

E. Iris detection

상기 AOI Selection 과정에서 추출된 눈 영역에서 외곽선 검출 알고리즘, 예를 들어 ‘Suzuki85’ 통해 외곽선들을 검출하고, 각각의 외곽선을 이루는 moment(꼭지점) 들을 통해 검출된 외곽선 내부의 넓이(area)와 무게중심(centroid)을 구한다. 검출된 외곽선들 중에서 두 번째로 넓이가 큰 외곽선의 무게중심 좌표를 홍채 중심 좌표로 정의하고, 홍채 중심 좌표를 상기 D. Calibration 단계에서 만든 좌표축에 매핑 시킨다. 매핑한 x, y 좌표를 시선 파라미터로 정의하고, 이를 디지털 휴먼 튜터에 입력한다. 자세한 과정은 아래와 같다.

a, 외곽선 검출

외곽선 검출 알고리즘으로 추출한 눈 영역 이미지에 적용하여 주어진 이미지 내에 존재하는 모든 외곽선을 검출한다. 해당 알고리즘을 통해 검출된 외곽선을 구성하는 꼭지점 좌표들을 구한다.

b. 넓이와 무게중심 계산

구해진 외곽선들에 넓이를 각각 계산하고, 넓이가 두 번째로 큰 외곽선을 홍채의 외곽선으로 정의한다. 홍채 외곽선을 이루고 있는 점들을 통해 해당 외곽선 내부의 무게중심 좌표를 계산한다. 계산된 무게중심 좌표를 홍채 중심 좌표로 정의한다.

넓이와 무게중심을 구하는 공식은 다음에서 설명되는 나. 원격 표정 측정 기술의 표정 근육 파라미터 추출 및 강도 분석 방식과 동일하게 적용된다.

c. Calibration: 전술한 D. Calibration 단계에서 만든 좌표축에 홍채 중심 좌표를 매핑 한다. 매핑한 좌표값을 시선 파라미터로 정의하고, 시선 파라미터를 통해 추출한 홍채 중심 좌표가 어느 방향을 보고 있는지 와, 시선 파라미터의 변화량을 통해 시선의 변화를 분석하여 시선 파라미터를 추출한다.

최종적으로, 본 실시 예에서는 사용된 모듈은 파라미터(홍채 중심 좌표를 0~0.1 사이로 표현한 좌표)를 DHT의 특성 값에 입력한다.

나. 원격 표정 측정

카메라 영상에 비친 학습자의 얼굴로부터 학습자의 표정을 측정하고 DHT의 표정 특성에 간헐적으로 또는 일정 패턴으로 반영할 수 있다.

A. Face detection

도4의 (i)에 도시된 바와 같이, 입력 받은 영상 이미지 내에서 학습자의 얼굴이 위치하는 영역을 검출한다.

B. Facial Landmark detection

도4의 (i), (ii)에 도시된 바와 같이, 검출한 얼굴 영역 내에서 얼굴 특징점을 검출한다. 사용자의 눈, 코, 입, 눈썹, 턱선의 위치를 68개의 특징점으로 검출한다.

C. Face Alignment

도6에 도시된 바와 같이, 얼굴 특징점을 검출한 후, 검출된 얼굴이 기울어져 있는 경우 그 정도를 계산하여 바로 세워 정면 얼굴이 바로 세워지도록 보정 한다. 그리고, 보정된 이미지가 동일한 해상도(256 x 256)로 유지되도록 사이즈를 조절(정규화)한다. 도6에서 위의 줄 (i)는 검출된 얼굴이 기울어지지 않은 상태이며, (ii)는 얼굴이 기울어진 상태이다. 그리고 각 줄의 이미지에서 왼쪽은 얼굴 검출 후 이미지이며, 오른쪽은 정규화 후 이미지이다.

D. 표정 근육 파라미터 추출 및 강도 분석

a. 상기 C. Face Alignment의 결과로 얻은 이미지에서 다시 상기 B. Facial Landmark detection의 방식을 통해 도4의 (iii)에 도시된 바와 같이 얼굴 특징점(Landmark)을 검출한다.

b. 학습자의 얼굴에서 검출된 68개의 특징점(Landmark)을 이용하여 표정 근육을 정의한다. 표정 근육은 Ekman의 FACS에 근거하여 얼굴 근육 AU 단위로 정의(표2 참고) 하였다.

c. 학습자의 얼굴에 정의된 표정 근육들의 넓이(area)와 무게 중심(centroid) 값을 각 얼굴 근육 AU의 파라미터로 정의하고, 얼굴 근육 AU의 움직임에 따라 해당 얼굴 근육 파라미터 값의 변화량을 분석하여 각각의 표정 근육의 움직임을 인식하고 강도를 분석한다. 정의된 얼굴 근육 AU의 넓이(area)와 무게 중심(centroid)을 구하는 방법은 다음과 같다.

*Area: 정의된 표정 근육을 구성하는 n개의 특징점들을 이어서 만들어진 2차원 polygon 영역의 넓이 값

*x, y: 개별 AU을 구성하는 특징점(Landmark)의 2차원(x, y) 좌표

위의 수학식에서, x 는 얼굴 랜드마크의 수평(x) 좌표, y 는 얼굴 랜드마크의 수직(y) 좌표, n 은 AU를 구성하는 랜드마크의 수, Axy는 AU의 면적, Cx는 AU의 중심 x 좌표, Cy 는 AU의 중심 y 좌표이다. 최종적으로 근접 프레임 간의 얼굴 근육의 중심좌표 차이로부터 도9에 도시된 바와 같은 AU별의 이동 거리 또는 강도를 계산한다.

한편, 이동 거리를 계산하거나, 미리 캘리브레이션 또는 프로그램 시작 전 수행된 중립 상태의 이미지를 입력하는 과정을 통해서 디폴트 값으로 준비된 중립적 상태에서의 좌표에 대한 이동 좌표의 절대 좌표를 DHT에 AU의 특성 값으로 입력할 수 있다.

이러한 DHT의 표정 모방을 위해서는, 예를 들어 DHT가 REALLUSION Character Creator3의 모델에 따른 것이라면, 위와 같은 과정을 통해 얻은 데이터를 휴먼 튜터의 표정을 표현하는 Blendshape에 맵핑할 수 있다. 아래의 표는 Blendsape의 변수를 설명한다.

최종적으로 하나 또는 그 이상의 실시 예에 따라 19개(좌, 우 포함)의 표정 근육(AU)의 강도(크기) 값을 DHT에 특성 변수로 입력할 수 도 있다.

다. 원격 제스처 측정

카메라 영상에 비친 학습자의 모습으로부터 제스처 정보를 추출하고 이를 DHT의 제스처와 동기화 시킨다. 그 과정은 아래와 같다.

A. Upper body key point (관절) 검출

도10 및 도11에 도시된 바와 같이 입력 받은 영상 이미지 내에서 학습자의 상체(Upper Body)를 이루고 있는 14개의 관절(Key Point)의 2차원 위치 좌표를 추출한다. 이러한 관절의 2차원 위치 좌표의 추적에는, 사전 학습된 딥러닝 모델을 이용해 얻을 수 있다. 사전에 학습된 딥러닝 모델에는 cmu, mobilenet_thin, mobilenet_v2_large, mobilenet_v2_small, tf-pose-estimation 및 openpose 등이 있다.

B. 3D pose estimation

검출된 2차원 KeyPoint 좌표 값을 3D pose estimation 알고리즘을 통해 3차원 각도로 변환한다. 이 과정에서 총 14개의 관절에 대한 3차원 각도가 각각 계산되며, 이를 위한 대표적 3D pose estimation 알고리즘에는 Mutual PnP, Lifting from the Deep (Denis Tome, Chris Russell, Lourdes Agapito, 2017) 등이 있다.

C. 데이터 입력

변환된 3차원 각도를 제스처 특성값으로 DHT의 관절 특성값으로 전송한다. 이때에 전송되는 키포인트 좌표는 14개이며, 이러한 관절들에 대한 3차원 관절 좌표(총 52개)이다. 이렇게 함으로써 학습자의 제스처, 예를 들어 한 손으로 턱을 괴고 있거나 아니며, 옆으로 누워 있거나 하는 자세가 DHT에 전송되고 DHT도 이를 모방하게 된다.

라. 학습자의 몰입도 평가

영상 학습에 있어서의 학습자의 몰입도의 평가는 교수자와 학습자의 얼굴 미동, 즉 양자의 MIM의 유사성을 판단하고 이를 이용해 학습에 대한 몰입도가 평가될 수 있다.

A. 유사도 평가

도12에 도시된 바와 같이 앞의 과정에서 얻어진 시간 도메인의 MIM 데이터를 FFT에 의해 0.75~2.5Hz의 주파수 도메인으로 변환하고 이를 정규화(normalization)하여 크로스 엔트로(cross-entropy) 값을 계산할 수 있다.

도13은 위의 과정을 도식적으로 보인다. 도13에 도시된 바와 같이, 교수자(또는 교수자의 DHT)와 학습자의 얼굴 미동 데이터인 MIM 데이터를 추출하고, 이들에 대한 FFT 분석을 통해 PSD(power spectral density)를 계산하고, 그리고 PSD를 정규화한 후 두 MIM 간 크로스 엔트로피(cross-entropy) 값을 계산하여 두 데이터 간의 유사도를 분석할 수 있다. 크로스-엔트로피는 두 주파수 신호의 분포와 위상이 비슷할수록 0에 가까워지고, 두 신호가 다를수록 값이 커진다. 따라서 교수자와 학습자의 얼굴 미동 신호가 크로스-엔트로피 H(p, q)가 0에 가까울수록 유사도가 높다 (Weifeng et al., 2006).

B. 몰입도 평가

학습자의 몰입도는 앞의 과정에서 계산된 유사도의 값과 해당 학습 상황에 대한 학습자의 주관적 몰입 정도를 수집함으로써 기계학습을 통한 자동 분류가 가능하다. 학습 가능한 정도의 데이터 양을 축적하여 SVM(Support Vector Machine)과 같은 선형 분류기에 학습함으로써 선형 분류에 의한 몰입도 추론이 가능하다.

즉, 본 개시에 따른 몰입도를 추론 또는 평가하는 단계:는

상기 DHT와 학습자의 MMD 각각에 대한 FFT 분석을 통해 각각의PSD(Power Spectral Density)를 계산하는 단계;

상기 각각의 PSD를 정규화(Normalization)하는 단계;

상기 정규화된 PSD에 대한 크로스-엔트로피를 계산하는 단계;

그리고, 상기 크로스-엔트로피를 이용해 상기 DHT에 대한 학습자의 유사도를 구하는 단계;

상기 유사도를 축적하여 선형 분류기에 의해 몰입도를 추론하는 단계;를 포함할 수 있다.

도14는 몰입도 추론을 위한 SVM 선형 분류를 예시하는 그림으로 초록색 점은 몰입 상태의 데이터, 파란색 점은 몰입하지 않은 상태의 데이터를 의미하며, 주황색 선은 몰입 데이터와 비 몰입 데이터 사이에서 가장 큰 마진(Margin), 즉 분류하고자 하는 데이터 간 거리가 가장 큰 지점들을 기준으로 구분하는 선으로 초평면(hyperplane)이라 불린다. 상기 초평면(hyperplane)은 축적되는 입력 데이터에 따라 조정될 수 있다. 도14에서 초평면의 좌측이 몰입으로 평가 데이터이며, 그 우측은 비몰입으로 평가되는 데이터이다. 이렇게 평가된 몰입도는 교수자 또는 학습자에게 피드백 데이터로 전송되고, 또한 이것은 학습 컨텐츠에 대한 몰입도의 대한 데이터베이스로 저장될 수 있다.

이상에서 설명되는 하나 또는 그 이상의 실시 예에 따른 방법은 교수자의 아바타인 DHT에 학습자의 내현적, 외현적 반응에 대해 적절히 모방하여 학습자의 흥미 및 몰입을 이끌어 내게 된다.

도15는 본 개시의 한 실시 예에 따라, 상기 강의 영상을 이용해 온라인 강의를 수강하는 수강 시스템(1)을 개략적으로 도시한다.

상기 수강 시스템(1)은 상기 강의 영상 자료를 내려 받거나 아니면 스트리밍을 통해 재생하며, 이를 학습자(20)에게 디스플레이(12)를 통해 전달한다. 학습자(20)에게 디스플레이(12)를 통해 제시되는 강의 영상은 대부분 음향 성분을 포함하므로 이를 재생하는 음향 장치가 수강 시스템(1)에 추가로 부가될 수 있다. 상기 수강 시스템(1)은 학습자의 안면을 촬영하여 영상 카메라(13)를 비롯해서 일반적인 컴퓨터를 기반으로 하므로 컴퓨터에 기본적으로 장착되는 키보드(14), 마우스(15), 모니터(12) 등 입출력 장치 및 이들이 연결되는 본체(11)를 포함하는 컴퓨터 시스템(1)을 기반하는 하드웨어의 구조를 가진다.

DHT가 교수자 고유의 MIM을 유지하면서 학습자의 MIM 및 MAM 등 다양한 반응을 간헐적으로 또는 일정한 패턴으로 모방하면 학습자는 자기 자신과 교수자가 비슷한 느낌을 받게 되어 사회적 유대감이 증대되고 이에 따라 교수자에게 더 공감하게 될 것이다.

또한 몰입은 몰입하게 되는 대상과의 일체감을 유도하여 대상에 대한 기억력 증진 혹은 빠른 습득을 가능하게 한다. 학습자가 DHT에 몰입을 하게 되면 사용자는 DHT가 제공하는 정보를 보다 효율적으로 접하고 습득하기가 용이하다.

따라서 학습자의 외현적 반응을 실시간으로 인식하고 이에 대해 가상의 교수자인 DHT가 반응하거나 그 외현적 반응을 모방하도록 하는 기술은 학습자로 하여금 공감을 유도하고 학습의 효과를 높일 수 있으며, 학습자와 교수자의 DHT의 미동을 분석하는 기술은 교수자가 학습자의 몰입 정도를 알 수 있어 비대면 교육 환경에서 학습 효과 및 교육의 질을 향상시키는데 기여할 수 있을 것으로 기대된다.

이상에서 살펴본 바와 같이 본 발명의 모범적 실시 예들에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (17)

1. 강의용 영상 자료와 강의를 진행할 교수자에 대응하는 DHT (Digital Human Tutor)를 생성하는 단계;
   상기 강의용 영상 자료와 DHT를 합성하여 강의용 영상 콘텐츠를 형성하는 단계;
   상기 영상 콘텐츠를 학습자에게 시현하면서, 학습자의 안면을 포함하는 인체 영상을 획득하는 단계;
   상기 인체 영상으로부터 상기 학습자의 안면의 물리적 움직임에 대한 특징 정보를 추출하는 단계;
   상기 물리적 특징의 변화를 상기 DHT에 적용하여 상기 학습자의 반응을 상기 DHT에 간헐적으로 또는 소정의 패턴으로 모방시키는 단계; 그리고
   상기 DHT와 학습자의 안면으로부터 미세 움직임 데이터(Micro Movement Data, MMD)를 추출하여, 상기 학습 컨텐츠에 대한 학습자의 몰입도를 평가하는 단계;를 포함하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
2. 제1항에 있어서,
   상기 몰입도를 평가하는 단계;는
   상기 DHT와 학습자의 MMD 각각에 대한 FFT 분석을 통해 각각의 PSD(Power Spectral Density)를 계산하는 단계;
   상기 각각의 PSD를 정규화(Normalization)하는 단계;
   상기 정규화된 PSD에 대한 크로스-엔트로피를 계산하는 단계;
   그리고, 상기 크로스-엔트로피를 이용해 상기 DHT에 대한 학습자의 유사도를 구하는 단계;
   상기 유사도를 축적하여 선형 분류기에 의해 몰입도를 추론하는 단계;를 포함하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
3. 제1항에 있어서,
   상기 학습자의 외형적 특징을 추출하는 단계에서,
   상기 학습자의 안면 특정 영역에서 특징점을 추출하고, 추출된 특징점의 미세 움직임 데이터를 추출하고, 상기 미세 움직임 데이터로부터 심박 정보를 추출하여, 상기 HDT의 특성값으로 입력하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
4. 제2항에 있어서,
   상기 미세 움직임 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용하여 미세 움직임 데이터(Micro Movement Data)를 계산하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
5. 제2항 내지 제4항 중의 어느 한 항에 있어서,
   상기 미세 움직임 데이터로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 움직임 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주성분 분석을 거친 미세 움직임 데이터를 상기 DHT의 특성값으로 입력하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법
6. 제5항에 있어서,
   상기 주성분 분석을 거친 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 상기 미세 움직임 데이터로 적용하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
7. 제1항에 있어서,
   상기 안면 영상에서 학습자의 동공 영역을 추출하고,
   상기 동공 영역에서 상기 학습자의 시선 파라미터를 추출하고, 그리고
   상기 시선 파라미터를 상기 DHT의 시선에 대한 특성값으로 입력하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
8. 제7항에 있어서,
   상기 안면 영상에서 안면에 정의된 안면 근육 AU의 미세 움직임 값을 추출하고,
   상기 안면 근육 AU의 움직임 값을 상기 DHT의 안면 근육 AU이 특성값으로 입력하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
9. 제1항에 있어서,
   상기 인체 영상에서 상기 학습자의 다수 관절에 대한 2차원 위치 좌표 데이터를 추출하고, 그리고
   상기 2차원 위치 좌표로부터 3차원 각도로 변환하여 상기 DHT의 관절 특성값으로 입력하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 방법.
10. 청구항1 내지 제4항 중의 어느 한 항에 기재된 방법을 수행하는 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템에 있어서,
    상기 강의용 영상 자료를 생성하는 영상 생성부;
    강의를 진행할 상기 DHT를 생성하는 DHT 생성부;
    상기 강의용 영상 자료와 DHT를 합성하여 강의용 영상 콘텐츠를 형성하는 영상-DHT 합성부;
    상기 영상 콘텐츠를 학습자에게 제공하는 영상 콘텐츠 배포부;
    상기 영상 콘텐츠를 시청하는 학습자의 안면을 포함하는 인체 영상을 획득하는 카메라를 포함하는 영상 정보 처리부;
    상기 학습자의 인체 영상으로부터 학습자의 안면의 물리적 움직임에 따른 물리적 특성변수를 측정하여 상기 DHT의 특성변수로 입력하여 DHT의 특성값으로 전송하는 특성 변수 측정부; 그리고
    상기 MMD로 부터 상기 학습 컨텐츠에 대한 학습자의 몰입도를 평가하는 몰입도 평가부;를 구비하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
11. 제10항에 있어서,
    상기 특성 변수 측정부는,
    상기 미세 움직임 데이터로부터 무의식적 미세 움직임 데이터를 추출하기 위하여, 미세 움직임 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
12. 제11항에 있어서,
    상기 특성 변수 측정부는,
    상기 주성분 분석을 거친 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 상기 미세 움직임 데이터로 추출하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
13. 제11항에 있어서,
    상기 특성 변수 측정부는,
    상기 안면 영상에서 학습자의 동공 영역을 추출하고,
    상기 동공 영역에서 상기 학습자의 시선 파라미터를 추출하고, 그리고
    상기 시선 파라미터를 상기 DHT의 시선에 대한 특성값으로 전송하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
14. 제13항에 있어서,
    상기 특성 변수 측정부는,
    상기 안면 영상에서 안면에 정의된 안면 근육 AU의 미세 움직임 값을 추출하고,
    상기 안면 근육 AU의 움직임 값을 상기 DHT의 안면 근육 AU의 특성값으로 전송하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
15. 제14항에 있어서,
    상기 특성 변수 측정부는,
    상기 인체 영상에서 상기 학습자의 다수 관절에 대한 2차원 위치 좌표 데이터를 추출하고, 그리고
    상기 2차원 위치 좌표로부터 3차원 각도로 변환하여 상기 DHT의 관절 특성값으로 전송하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
16. 제11항에 있어서,
    상기 특성 변수 측정부는,
    상기 안면 영상에서 안면에 정의된 안면 근육 AU의 미세 움직임 값을 추출하고,
    상기 안면 근육 AU의 움직임 값을 상기 DHT의 안면 근육 AU의 특성값으로 전송하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.
17. 제11항에 있어서,
    상기 특성 변수 측정부는,
    상기 인체 영상에서 상기 학습자의 다수 관절에 대한 2차원 위치 좌표 데이터를 추출하고, 그리고
    상기 2차원 위치 좌표로부터 3차원 각도로 변환하여 상기 DHT의 관절 특성값으로 전송하는, 몰입도-추론 기반 교감-유도형 디지털 휴먼 튜터 생성 시스템.

Images