KR20220112099A - 실재감 있는 디지털 휴먼 튜터 생성 방법 및 시스템 - Google Patents

Abstract

본 개시는 디지털 휴먼 튜터 (DHT)의 생성 방법 및 시스템에 관련한다. 디지털 휴먼 튜터의 생성 방법:은 교수자의 얼굴 영상과 강의 영상을 획득하는 단계; 상기 교수자의 얼굴 영상을 이용하여 교수자의 얼굴 영상에 대응하는 디지털 휴먼 튜터를 생성하는 단계; 상기 강의 영상에서 교수자의 강의 중 얼굴의 외형적 특징을 추출하는 단계; 그리고 상기 외형적 특징을 상기 디지털 휴먼 튜터에 반영하여 상기 디지털 휴먼 튜터를 활성화하는 단계;를 포함한다.

Description

실재감 있는 디지털 휴먼 튜터 생성 방법 및 시스템{Method and system for generating realistic digital human tutor}

본 개시는 가상 공간에 존재하는 디지털 휴먼 튜터(Digital Human Tutor)를 생성하는 방법에 관한 것으로, 상세하게는 학습자에게 가상 공간에서 교수자의 실재감을 증대하여 교육 효과를 올릴 수 있는 실재가 디지털 휴먼 튜터 생성 방법 및 장치에 관한 것이다.

최근 바이러스 감염증의 확산으로 교육현장에서의 학습 패러다임이 대면 학습에서 비대면 학습으로 급속히 전환되고 있어 가상 학습 환경이 크게 주목 받고 있다. 시대적 요구에 따라 가상 환경은 커뮤니케이션 및 교육 분야에서 혁신을 일으키고 있다.

대부분의 교육현장에서 적용되는 비대면 학습은 온라인 동영상 강의 방식이 주를 이루고 있다. 그러나 온라인 동영상 강의 형태의 비대면 학습 특성 상 학습자들은 온라인 영상을 통해 교수자들의 실재감(presence)을 얻기 힘들다는 이슈가 있다 [1, 2, 3].

이러한 비대면 교육환경에서 교수자는 가상 아바타인 디지털 휴먼 튜터에 자신의 외형을 실제적(Realistic)으로 표현하고, 교수자 얼굴의 무의식적 미세표현을 입힘으로써 학습자에게 실재감 있는 디지털 휴먼 튜터를 제공할 수 있다 [4, 5]. 그러나 지금까지의 디지털 휴먼 튜터는 학습자에게 실재감 및 공감을 일으키기에 충분치 않고, 이에 대한 계속된 연구가 요구된다.

최원경(Choi, Wonkyung).(2020). 면대면 대 비대면 강의 만족도 비교. 영어교과교육, 19(4): 223-245 김상미 (2020). 코로나19 관련 온라인 교육에 관한 국내 언론보도기사 분석. 한국디지털콘텐츠학회 논문지, 21(6), 1091-1100. 윤보람. (2018). 증강현실 기반 원격 협업 시스템에서 가상 아바타의 외형이 사용자의 사회적 실재감에 미치는 영향=(The) effect of virtual avatar appearance on user's social presence in an augmented reality-based remote collaboration System. Heidicker, P., Langbehn, E., and Steinicke, F. (2017, March). Influence of avatar appearance on presence in social VR. In 2017 IEEE Symposium on 3D User Interfaces (3DUI) (pp. 233-234). IEEE. Zibrek, K., Kokkinara, E., and McDonnell, R. (2018). The effect of realistic appearance of virtual characters in immersive environments-does the character's personality play a role?. IEEE transactions on visualization and computer graphics, 24(4), 1681-1690. 이우리, 황민철. (2014). 한국인 표준 얼굴 표정 이미지의 감성 인식 정확률. 한국콘텐츠학회논문지, 14(9), 476-483. Jo, D., Kim, K. H., and Kim, G. J. (2017). Effects of avatar and background types on users’ co-presence and trust for mixed reality-based teleconference systems. In Proceedings the 30th Conference on Computer Animation and Social Agents (pp. 27-36).

본 개시는 가상 공간에서의 디지털 휴먼 튜터의 실재감을 향상시킬 수 있는 방법 및 시스템을 제시한다.

본 개시는 온라인 상 교수자의 외형적 특징과 교수자 얼굴의 무의식적 미세 표현을 가상 아바타인 디지털 휴먼 튜터에게 입힘으로써 디지털 휴먼 튜터를 실감나게 생성하는 방법 및 장치를 제안한다.

본 개시에 따른 디지털 휴먼 튜터의 생성 방법:은

교수자의 얼굴 영상과 강의 영상을 획득하는 단계;

상기 교수자의 얼굴 영상을 이용하여 교수자의 얼굴 영상에 대응하는 디지털 휴먼 튜터를 생성하는 단계;

상기 강의 영상에서 교수자의 강의 중 얼굴의 외형적 특징을 추출하는 단계; 그리고

상기 외형적 특징을 상기 디지털 휴먼 튜터에 반영하여 상기 디지털 휴먼 튜터를 활성화하는 단계;를 포함한다.

하나 또는 그 이상의 실시 예에 따르면, 상기 얼굴 영상에 특징점을 추출하고, 상기 특징점을 이용해 상기 디지털 휴먼 튜터의 외형을 설정할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 특징점은 FACS에 정의하는 랜드마크로부터 선택될 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 강의 영상에서 교수자의 특징점을 추출하고, 추출된 특징점의 움직임 데이터를 추출하고, 상기 움직임 데이터로부터 미세 표현 데이터를 추출할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 미세 표현 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 미세 표현 데이터로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 표현 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링 된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주기성이 상기 디지털 휴먼 튜터의 미세 표현을 위한 입력 값으로 사용될 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 교수자의 외형적 특징은 FACS에서 정의하는 특징점(Landmark)으로 추출되며, 상기 디지털 휴먼 튜터에 대해서는 상기 특징점에 의한 AU 단위로 상기 외형적 특징을 반영할 수 있다.

본 개시에 따른 디지털 휴먼 튜터의 생성 시스템:은

교수자의 얼굴 영상과 강의 영상을 획득하는 하나 이상의 카메라;

상기 교수자의 얼굴 영상을 이용하여 교수자의 얼굴 영상에 대응하는 디지털 휴먼 튜터를 생성하는 디지털 휴먼 튜터 모델 생성부;

상기 교수자의 강의 중 얼굴 영상에서 얼굴의 외형적 특징 변화를 추출하는특성값 변수 측정부;

상기 디지털 휴먼 튜터 모델에 상기 외형적 특징 변화를 반영하여 상기 디지털 휴먼 튜터를 활성화하는 디지털 휴먼 특성 조정부; 그리고

상기 디지털 휴먼 튜터가 포함된 강의 영상을 생성하는 강의 영상 생성부;를포함한다.

하나 또는 그 이상의 실시 예에 따르면, 상기 모델 생성부는 상기 얼굴 영상에 특징점을 추출하고, 상기 특징점을 이용해 상기 디지털 휴먼 튜터의 외형을 설정할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 모델 생성부는 상기 특징점으로 FACS에 정의하는 랜드마크로부터 선택할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 변수 측정부는 강의 영상에서 교수자의 특징점을 추출하고, 추출된 특징점의 움직임 데이터를 추출하고, 상기 움직임 데이터로부터 미세 표현 데이터를 추출할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 변수 측정부는, 상기 미세 표현 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용할 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 변수 측정부는, 상기 미세 표현 데이터로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 표현 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주기성을 상기 디지털 휴먼 튜터의 미세 표현을 위한 입력 값으로 사용될 수 있다.

하나 또는 그 이상의 실시 예에 따르면, 상기 변수 측정부는 상기 교수자의 외형적 특징은 FACS에서 정의하는 특징점(Landmark)으로 추출하며, 상기 디지털 휴먼 튜터에 대해서는 상기 특징점에 의한 AU 단위로 상기 외형적 특징을 반영할 수 있다.

도1은 하나 또는 그 이상의 실시 예에 따른 교수자 특징 검출 과정을 보이는 플로우챠트이다.
도2은 FACS(Facial Action Coding System)에서 정의 하는 특징점 (Landmark)의 배열을 예시한다.
도3은 하나 또는 그 이상의 실시 예에 따라, 얼굴영상(Facial Video)-얼굴검출(Face Detection)-특징점 검출(Facial Landmark detection) 과정의 결과물을 보인다.
도4는 하나 또는 그 이상의 실시 예에 따라, 카메라로 촬영된 교수자 영상에서 얼굴 영역으로부터 심장 박동에 의한 얼굴의 무의식적 미세 표현을 추출하기 위한 과정을 보여주는 플로우챠트이다.
도5는 전술한 미세표현 데이터(MED)에 대한 슬라이딩 윈도우 기법을 포함하는 것으로 심장 박동 신호를 판단하는 과정의 플로우챠트이다.
도6은 하나 또는 그 이상의 실시 예에 따라, 디지털 휴먼 튜터(DHT)에 의한 강의 영상을 제작하는 과정을 도식화한 것이다.
도7은 하나 또는 그 이상의 실시 예에 따라, 디지털 휴먼 튜터(DHT)에 의한 강의 영상을 제작하는 시스템의 구성도이다.
도8은 하나 또는 그 이상의 실시 예에 따라 제작된 강의 영상용 재생 시스템을 예시한다.

이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되어 지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.흐

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.

어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.

이하에서 하나 또는 그 이상의 실시 예에 따르면, 교수자의 외형적 특징, 얼굴의 무의식적 미세 표현을 가상 아바타인 디지털 휴먼 튜터(Digital Human Tutor, 이하, DHT)에게 이식 방법 및 시스템이 제시된다.

이에 따르면, 실제 교수자의 제스쳐 및 표정 등이 DHT의 움직임 및 표정 변화에 반영되고, 특히 실제 교수자의 영상에서 추출한 교수자의 눈, 눈썹, 코, 입, 얼굴형 등의 외형적 특징이 DHT에 표현되고, 또한 그 표정 변화도 교수자의 얼굴 영역에서 추출된 얼굴 표정의 변화에 반영된다. 이를 통해서 비대면 교육 환경에서 교수자와 학습자가 상호 인터랙션 하고 있다는 느낌을 주고, DHT에 대해 신뢰도를 높여 소통의 질을 향상시키고 교육 환경의 제약을 개선시키는데 기여할 수 있을 것으로 기대된다.

본 개시에 따른 실시 예는 DHT를 생성하기 위하여 다음의 3단계의 과정을 포함한다.

단계1: 교수자의 외형적 특징과 무의식적 미세 표현 데이터를 인식한다.

단계2: 인식된 교수자의 특징을 적용한 DHT를 생성한다.

단계3: 생성된 DHT를 커스터마이징 한다.

<단계 1> 교수자의 외형적 특징과 미세 표현 데이터의 인식

I. 교수자의 외형적 특징 검출

카메라로 촬영된 교수자 영상의 얼굴 영역으로부터 교수자의 외형적 특징을 추출하기 위한 과정이다. 다음과 같은 단계로 진행된다. 외형적 특징은 표 1과 같이 눈썹, 눈, 코, 입, 턱의 각 요소의 특징 값을 포함한다. 특징 값은 각 요소의 중립적인 위치 또는 크기에서의 변화율을 나타낸다.

도1은 이하에서 설명될 교수자 특징 검출 과정을 보이는 플로우챠트이다. 도2은 FACS에서 정의 하는 특징점 (Landmark)의 배치를 예시하며, 도3은 아래에서 설명되는 얼굴영상(Facial Video)-얼굴검출(Face Detection)-특징점 검출(Facial Landmark detection) 과정에 따른 결과물을 보인다.

i. Facial Video Acquisition

30fps 이상의 영상 촬영이 가능한 카메라로부터 얼굴이 포함된 교수자의 상반신 또는 전신 모습을 촬영한다.

ii. Face detection

촬영한 영상 이미지 내에서 교수자의 얼굴이 위치하는 영역을 검출한다. 이단계에서는 Viola Jones 의 방법이 적용될 수 있다.

iii. Facial Landmark detection

검출한 얼굴 영역 내에서 교수자의 외형적 특징을 검출한다. 이때 외형적 특징은 눈썹, 눈, 코, 입, 턱이며, 위치는 68개의 특징점 (Landmark)을 이용해 검출할 수 있다. 상기 특징점은 예를 들어 Ekman의 FACS(Facial Action Coding System)를 기반으로 정의되고 검출될 수 있다. 안면 근육 AU(Action Unity)를 정의하며, 이들 AU에 의해 외형적 특징 움직임을 검출한다.

아래의 표2는 얼굴 표정의 변화를 판단하기 위한 얼굴 근육의 움직임을 정의하는 AU 와 각 AU에 속하는 랜드마크를 설명한다.

II. 심장 박동에 의한 얼굴의 무의식적 미세 표현 데이터 추출

교수자의 내적 감성 또는 감정은 얼굴의 표정 변화를 통해서 인지할 수 있다. 얼굴 표정은 내적 감정에 따른 안면 근육의 움직임에 기인한다. 따라서, 얼굴의 움직임, 특히 여러 AU들의 움직임을 평가함으로써 내적 감정을 평가 또는 판단할 수 있다. 그런데, 여기에는 감정과는 무관한 교수자의 의식적 움직임이 같이 나타날 수 있고, 이것은 내적 감정을 평가하는데 노이즈로 작용할 수 있다. 따라서 교수자의 얼굴 근육에 나타난 미세 움직임에서 의식적 움직임을 제거한다면 교수자의 진정한 미세 표정, 즉 내적 감정을 평가할 수 있다.

본 실시 예에 의해, 이러한 노이즈 성분으로서의 의식적인 움직임은 필터링된다. 이러한 노이즈 성분을 배제한 내적 감성에 기초하는 미세 움직임은 분당 45에서 150회 범위의 정상 심박수(BPM)에 기초하여 발현된다.

도4는 카메라로 촬영된 교수자 영상에서 얼굴 영역으로부터 심장 박동에 의한 얼굴의 무의식적 미세 표현을 추출하기 위한 과정을 보여주는 플로우챠트이며, 이하에서 이 과정을 상세히 설명한다.

i. Facial Video

교수자의 외형적 특징을 검출하기 위해 교수자의 얼굴 영역이 포함된 상반신 또는 전신을 촬영하여 안면 여상을 획득한다. 안면 영상의 획득에는 카메라에 의한 시청자 안면의 촬영 및 영상 콘텐츠의 연속적 캡쳐가 포함된다. 이 단계에서 예를 들어 30fps의 두 안면 영상을 획득한다.

ii. Face detection

얼굴 검출(face detection) 및 추적(tracking)을 통해 얼굴 영역 또는 포인트를 추출한다. 얼굴 영역의 추출은 사람의 얼굴 부위마다 나타나는 명암의 특징을 이용한 Viola-Jones 알고리즘, HOG(Histogram of Oriented Gradients) 등의 방법을 적용한다.

iii. Area Selection

검출된 얼굴 영역에서 노이즈 신호가 가장 적게 발생하는 이마(forehead)와 코(nose) 영역을 선택한다.

iv. Feature Extraction:

선택된 이마와 코 영역에서 다른 포인트와 대비해 추적하기 위한 다수의 특징점을 추출한다. 이러한 특징점 추출에는 Good-Feature-To-Track (GFTT) 알고리즘, FLD (Facial Landmark Detection) 알고리즘이 적용될 수 있다. 본 실시 예에서는, GFTT 알고리즘을 적용하여 다수의 특징점(Landmark)을 추출한다.

v. Feature Tracking

추출된 각 특징점의 움직임 데이터를 구한다. 이러한 특징 추적에는 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘, TM (Transformation Matrix) 기반 추적 알고리즘 등이 적용될 수 있다. 본 실시 예에서는, 연속된 프레임에 대해서 KLT 알고리즘을 이용해 각 특징점 마다 이전 프레임 대비 현재 프레임에서 y좌표 값이 움직인 값을 추적하여 심장박동에 의한 무의식적 미세 표현 데이터(Micro Expression Data, MED)를 추출한다. 미세 표현 데이터의 추출에는 슬라이딩 윈도우 기법이 이용될 수 있으며, 이때의 윈도우 사이즈는 30s, 인터벌 사이즈는 1s로 설정할 수 있다.

III. 심장 박동 신호 판단

도5는 전술한 미세표현 데이터(MED)에 대한 슬라이딩 윈도우 기법을 포함하는 것으로 심장 박동 신호를 판단하는 과정의 플로우챠트이다.

이 과정은 위의 과정에서 추출된 무의식적 미세 표현 데이터(MED)로부터 미세 표현에 대해 노이즈가 없는 심장 반응에 의한 성분만을 추출하기 위한 과정이다.

i. Bandpass Filter

얼굴의 무의식적 미세 표현 신호에 대해 Butterworth Bandapss Filter (5 order, 0.75-5Hz)를 이용해 심박수 대역에 해당하는 주파수인 0.75Hz(45bpm)~2.5Hz(150bpm) 대역만을 추출한다.

ii. Principal Component Analysis

PCA(Principal Component Analysis)는 각 특징점(Landmark)에서 추출된 얼굴의 무의식 미세 표현 데이터로부터 동일한 성분을 가진 하나의 얼굴 무의식 미세 표현 데이터를 추출하기 위한 과정으로, 주성분 분석을 통해 5개의 컴포넌트(Component)를 추출한다. 각 컴포넌트(Component)에 대해 생체 신호는 주기성을 띈다는 특징을 이용해 가장 높은 주기성을 보이는 컴포넌트 (Component)를 최종 얼굴 미세 표현 데이터로 추출한다. 주기성은 다음과 같이 계산된다.

여기에서, s는 시계열 신호, FFT는 시계열 신호를 주파수 대역으로 변환하기 위한 푸리에 분석 방법, PS는 시계열 신호 s에 대한 주파수 대역의 파워 스펙트럼이다.

여기에서 Max Power는 전체 파워 스펙트럼에서 가장 큰 파워 값

여기에서 Total Power 는 전체 파워 스펙트럼의 합이다.

최종적으로 시계열 신호 s 에 대한 주기성(Periodicity)는 다음과 같이 계산된다.

최종적으로, 교수자 얼굴의 미세 표현으로부터 심장 반응에 대한 주기성 (심박수)이 분석되고, 이 값은 DHT 가 교수자 얼굴의 미세 표현을 하도록 하기 위한 입력 값으로 사용된다.

구체적으로, PCA를 거쳐서 나온 0.75~Hz(45bpm)~2.5Hz(150bpm) 대역의 얼굴 미세 신호는 디지털 휴먼 튜터의 얼굴 랜드마크 특징 점(눈썹, 눈, 코, 입, 턱)의 y좌표에 진폭 값으로 반영된다. 따라서, DHT의 입력값은 얼굴의 외적 표정과 내적 감정이 스며 있는 내적 표정을 동적으로 변화시킨다.

<단계 2> 인식된 교수자의 특징을 적용한 디지털 휴먼 튜터(DHT) 생성

DHT는 <단계 1> 에서 인식된 교수자의 특징 값을 기본 값(default)으로 사용하여 하기와 같은 과정을 진행한다. 교수자의 특징 값은 얼굴의 외적 표정과 내적 감정이 스며 있는 내적 표정에 관계된다.

I. 디지털 휴먼 튜터 (DHT) 생성

<단계1> 에서 교수자의 특징을 인식하기 위해 사용된 정면 영상을 투사하여 가상 아바타의 외관 골격을 형성해주는 자동화된 SW (예: REALLUSION Character Creator3)의 휴먼 모델을 사용하여 DHT를 초기화한다. 이러한 휴먼 모델은 API 또는 DLL (dynamic link library) 로 제공 가능하므로, DHT가 적용되는 어플리케이션에 이식이 가능할 것이다.

II. 디지털 휴먼 튜터 (DHT) 외형 보정

세부적으로 인식된 교수자의 특징 값(눈썹, 눈, 코, 입, 턱)을 기준으로 정규화해 DHT의 외형을 보정한다. DHT로서 전술한 바와 같이 상용화된 가상 아바타가 이용될 수 있으며, 전술한 바와 같은 과정을 통해 얻은 데이터에 기반하여 DHT의 기본적 외적 속성을 셋팅 한다.

III. 교수자 특징 적용

시간에 따른 프레임을 생성하여 <단계1> 에서 인식된 교수자의 심박 대역에 해당하는 주기적인 진동 주파수에 따라 DHT의 얼굴 랜드마크 특징점에 y(수직방향) 좌표의 진폭 값을 변화시킨다. 이러한 교수자 특징의 적용은 교수자의 얼굴 표정 및 감정을 DHT에 복제하여 DHT를 활성화하는 것이며, 따라서 교수자를 몸짓, 얼굴표정, 얼굴에 드러나는 복잡한 감성적 움직임이 활성화된 DHT를 통해서 학습자에게 전달될 수 있다.

<단계 3> 생성된 디지털 휴먼 튜터 (DHT) 커스터마이징

전 단계에서 기본 값으로 형성된 DHT의 외형은 사용자가 임의로 커스터마이징 할 수 있다. 커스터마이징할 수 있는 특징 값은 표 1과 같으며 -중립적 특징 값을 기준으로 소정 범위, Character Creator 의 경우 -100에서 +100까지의 범위로 조정할 수 있다.

이와 같은 과정을 통해서, 교수자의 실제 얼굴 표정 및 얼굴에 나타난 감정이 디지털 휴먼 튜터의 표정에 반영할 수 있고, 이로써 보다 효과적인 정보의 전달 또는 감정 전달이 가능하게 될 것이다.

도6은 전술한 바와 같은 DHT에 의한 강의 영상을 제작하는 과정을 도식화한 것이며, 도7은 이를 위한 시스템의 구조를 개략적으로 보인다.

도6과 도7을 참조하면 강의 영상의 제작에는 두 개의 카메라(31,32)가 필요한다. 하나의 카메라(31)는 실제 교수자의 얼굴을 촬영하여 전술한 바와 같은 과정을 통해 교수자의 외형과 닮은 DHT를 DHT 모델 생성부(33)를 이용해 생성한다.

그리고 다른 하나의 카메라(32)로는 교수자에 의한 강의 내용을 촬영하고, 이로부터 전술한 바와 같은 과정을 통해 특성값 변수 측정부(34)에 의해 교수자의 표전, 시선, 제스쳐 등을 감지하여 특성값 변수를 측정 또는 추출한다.

위와 같은 과정에서 얻은 DHT 모델에 대해 상기 특성값 변수를 대입 또는 이식함으로써 DHT 모델을 활성화한다.

DHT 모델의 활성화는 교수자의 외형에 더불어 교수자의 얼굴 표정, 시선, 제스쳐를 가지도록 DHT 모델에 이식하는 DHT 모델 특성 조정부(35)에 의해 이루어진다. 이러한 과정을 통해 생성된 강의 영상은 매체에 저장되고 그리고 상기 매체를 통해 강의 영상은 배포된다.

도8은 본 개시의 한 실시 예에 따라, 상기 강의 영상을 이용해 온라인 강의를 수강하는 수강 시스템(1)을 개략적으로 도시한다.

상기 수강 시스템(1)은 상기 강의 영상 자료를 내려 받거나 아니면 스트리밍을 통해 재생하며, 이를 학습자(20)에게 디스플레이(12)를 통해 전달한다. 학습자(20)에게 디스플레이(12)를 통해 제시되는 강의 영상은 대부분 음향 성분을 포함하므로 이를 재생하는 음향 장치가 수강 시스템(1)에 추가로 부가될 수 있다. 상기 수강 시스템(1)은 일반적인 컴퓨터를 기반으로 하므로 컴퓨터에 기본적으로 장착되는 키보드(14), 마우스(15), 모니터(12) 등 입출력 장치 및 이들이 연결되는 본체(11)를 포함하는 컴퓨터 시스템(1)을 기반하는 하드웨어의 구조를 가진다.

이상에서 살펴본 바와 같이 본 발명의 모범적 실시 예들에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (16)

1. 교수자의 얼굴 영상과 강의 영상을 획득하는 단계;
   상기 교수자의 얼굴 영상을 이용하여 교수자의 얼굴 영상에 대응하는 디지털 휴먼 튜터를 생성하는 단계;
   상기 강의 영상에서 교수자의 강의 중 얼굴의 외형적 특징을 추출하는 단계; 그리고
   상기 외형적 특징을 상기 디지털 휴먼 튜터에 반영하여 상기 디지털 휴먼 튜터를 활성화하는 단계;를 포함하는, 디지털 휴먼 튜터의 생성 방법.
2. 제1항에 있어서,
   상기 외형적 특징을 추출하는 단계에서 상기 얼굴 영상에 특징점을 추출하고, 상기 특징점을 이용해 상기 디지털 휴먼 튜터의 외형을 설정하는, 디지털 휴먼 튜터의 생성 방법.
3. 제2항에 있어서,
   상기 특징점은 FACS에 정의하는 랜드마크로부터 선택하는, 디지털 휴먼 튜터의 생성 방법.
4. 제1항에 있어서,
   상기 교수자의 외형적 특징을 추출하는 단계에서,
   상기 강의 영상에서 교수자의 특징점을 추출하고, 추출된 특징점의 움직임 데이터를 추출하고, 상기 움직임 데이터로부터 미세 표현 데이터를 추출하는, 디지털 휴먼 튜터의 생성 방법.
5. 제4항에 있어서,
   상기 미세 표현 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용하는, 디지털 휴먼 튜터의 생성 방법.
6. 제4항 또는 제5항에서, 상기 미세 표현 데이터로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 표현 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링 된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주기성이 상기 디지털 휴먼 튜터의 미세 표현을 위한 입력 값으로 사용하는, 디지털 휴먼 튜터의 생성 방법.
7. 제6항에 있어서,
   상기 교수자의 외형적 특징은 FACS에서 정의하는 특징점(Landmark)으로 추출되며, 상기 디지털 휴먼 튜터에 대해서는 상기 특징점에 의한 AU 단위로 상기 외형적 특징을 반영하는, 디지털 휴먼 튜터의 생성 방법.
8. 제1항 내지 제5항 중의 어느 한 항에 있어서,
   상기 교수자의 외형적 특징은 FACS에서 정의하는 특징점(Landmark)으로 추출되며, 상기 디지털 휴먼 튜터에 대해서는 상기 특징점에 의한 AU 단위로 상기 외형적 특징을 반영하는, 디지털 휴먼 튜터의 생성 방법.
9. 교수자의 얼굴 영상과 강의 영상을 획득하는 하나 이상의 카메라;
   상기 교수자의 얼굴 영상을 이용하여 교수자의 얼굴 영상에 대응하는 디지털 휴먼 튜터를 생성하는 디지털 휴먼 튜터 모델 생성부;
   상기 교수자의 강의 중 얼굴 영상에서 얼굴의 외형적 특징 변화를 추출하는특성값 변수 측정부;
   상기 디지털 휴먼 튜터 모델에 상기 외형적 특징 변화를 반영하여 상기 디지털 휴먼 튜터를 활성화하는 디지털 휴먼 특성 조정부; 그리고
   상기 디지털 휴먼 튜터가 포함된 강의 영상을 생성하는 강의 영상 생성부;를포함하는, 디지털 휴먼 튜터의 생성 시스템.
10. 제9항에 있어서,
    상기 모델 생성부는, 외형적 특징을 추출하는 단계에서 상기 얼굴 영상에 특징점을 추출하고, 상기 특징점을 이용해 상기 디지털 휴먼 튜터의 외형을 설정하는, 디지털 휴먼 튜터의 생성 시스템.
11. 제10항에 있어서,
    상기 모델 생성부는 상기 얼굴 영상에 특징점을 추출하고, 상기 특징점을 이용해 상기 디지털 휴먼 튜터의 외형을 설정하는, 디지털 휴먼 튜터의 생성 시스템.
12. 제11항에 있어서,
    모델 생성부는 상기 특징점으로 FACS에 정의하는 랜드마크로부터 선택하는,디지털 휴먼 튜터의 생성 시스템.
13. 제11항에 있어서,
    상기 변수 측정부는 강의 영상에서 교수자의 특징점을 추출하고, 추출된 특징점의 움직임 데이터를 추출하고, 상기 움직임 데이터로부터 미세 표현 데이터를 추출하는, 디지털 휴먼 튜터의 생성 시스템.
14. 제13항에 있어서,
    상기 변수 측정부는, 상기 미세 표현 데이터를 추출하기 위하여 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘 또는 TM (Transformation Matrix) 기반 추적 알고리즘를 적용하는, 디지털 휴먼 튜터의 생성 시스템.
15. 제14항에 있어서,
    상기 변수 측정부는, 상기 미세 표현 데이터로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 표현 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 미세표현 데이터에 대해 주성분 분석(PCA)에 의해 심박의 주기성을 판단하고, 상기 주기성을 상기 디지털 휴먼 튜터의 미세 표현을 위한 입력 값으로 사용하는, 디지털 휴먼 튜터의 생성 시스템.
16. 제15항에 있어서,
    상기 변수 측정부는 상기 교수자의 외형적 특징은 FACS에서 정의하는 특징점(Landmark)으로 추출하며, 상기 디지털 휴먼 튜터에 대해서는 상기 특징점에 의한 안면 근육 AU(Action Unit) 단위로 상기 외형적 특징을 반영하는, 디지털 휴먼 튜터의 생성 시스템.

Images