KR101949997B1

KR101949997B1 - 더빙/증강현실을 이용한 참여형 대화훈련 학습 방법

Info

Publication number: KR101949997B1
Application number: KR1020170084759A
Authority: KR
Inventors: 조희정
Original assignee: 조희정
Priority date: 2017-07-04
Filing date: 2017-07-04
Publication date: 2019-02-19
Also published as: KR20190004486A

Abstract

본 발명의 실시 형태는 학습자 단말기에 설치된 대화훈련콘텐츠앱이 학습자에 대한 대화훈련 학습을 시키는 더빙/AR을 이용한 참여형 대화훈련 학습 방법에 있어서, 대화훈련학습에 사용될 대화내용과 대화훈련학습수준을 가지는 콘텐츠를 학습자로부터 선택받아, 선택된 콘텐츠를 대화훈련콘텐츠로 결정하는 대화훈련콘텐츠 선택 과정; 상기 학습자가 등장 인물의 생략된 대화를 완성하면서 언어적 대화 표현을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 대화훈련화면을 제공하여 상기 대화훈련화면을 통한 대화훈련이 이루어지도록 하는 대화학습 훈련 과정; 상기 대화학습 훈련 종료 후 평가를 거쳐 미리 설정된 기준에 부합하여 대화학습 훈련 성공으로 결정될 때, 상기 대화훈련콘텐츠의 대화실전더빙화면을 제공하여 대화실전더빙을 통한 대화훈련이 이루어지도록 하는 대화실전더빙 훈련 과정; 및 상기 대화실전더빙 훈련 종료 후 평가를 거쳐 미리 설정된 부합하여 더빙음성 훈련 성공으로 결정될 때, 상기 학습자가 증강현실의 해당 등장인물로 참여하여 음성에 해당하는 언어적 대화 기술 및 표정과 제스처에 해당하는 비언어적 대화 기술을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 증강현실화면을 제공하여 증강현실을 통한 대화훈련이 이루어지도록 하는 증강현실 훈련 과정을 포함할 수 있다.

Description

더빙/증강현실을 이용한 참여형 대화훈련 학습 방법{Method for training conversation using dubbing/AR}

본 발명은 참여형 대화훈련 학습 방법으로서, 더빙/증강현실을 이용하여 대화훈련 학습을 제공하는 참여형 대화훈련 학습 방법에 관한 것이다.

일반적인 발달성 장애치료 및 교육 방법에 있어서, 치료전문기관 및 전문가를 통한 치료 및 교육은 장애우에 대한 전문적인 치료가 가능하고, 신뢰를 형성할 수 있는 장점에 비해, 치료전문가의 부족, 경제적 부담, 이용 접근성의 부족, 치료이용시간 부족, 치료이용의 대기시간과 같은 단점이 있다. 또한, 사설 치료기관 및 복지시설을 통한 치료 및 교육은 치료비용이 저렴한 장점이 있으나, 치료사들의 전문성 부족, 시설의 열악함, 전문기관과의 연계부족, 치료이용 대기시간과 같은 단점이 있다. 또한, PC용 치료 S/W 프로그램을 이용한 치료 및 교육은 경제적 부담 감소, 접근성 및 편의성 향상의 장점이 있으나, 전문기관과의 연계부족, 대화훈련이 필요한 학습자에게 필요한 전문적인 학습 프로그램의 부재와 같은 단점이 있다.

이러한 종래 발달성 장애치료 및 교육 방법은 접근성의 부족, 대기시간의 증가로 인한 치료시기의 지연, 전문가와의 연계 부족으로 인해 치료결과에 대한 즉각적 피드백이 어려우며, 전문적인 평가 및 조언이 부족한 문제점이 있다.

한편, 최근 급격히 증가하고 있는 다문화 가정의 자녀에 대한 언어교육이 필요하지만 대부분 전문기관의 방문을 통해서만 가능한 상황이다. 또한, 매년 장애우 수가 증가하는 추세이지만, 이에 비례하여 복지시설 및 치료/교육기관이 현저히 부족한 상황이다.

이와 같이 부족한 치료/교육 기관으로 인해 치료/교육서비스의 질적 저하가 우려되며, 치료/교육 대기 시간의 증가로 인해 치료/교육 시기가 지연되거나 치료/교육기간이 장기화되는 문제점이 있다.

이에, 최근에는 언어학습용 콘텐츠가 제공되고 있으나 대화훈련에 있어서 실효성이 떨어지는 문제가 있다. 즉, 기존의 언어학습용 콘텐츠의 제작 및 사용자에게 제공하는 방법은, 대부분 한가지 녹음대본은 한가지 음성과 한 가지 발음속도로만 제작하여 사용자에게 제공되었다. 또한 발음속도도 대부분 모국어 사용자의 정상적인 대화속도이다 보니, 비록 컴퓨터와 인터넷의 편리한 반복 재생기능을 언어학습에 활용한다고 해도 이러한 한가지 형태의 콘텐츠 제공만으로는 대화훈련 효과를 기대할 수 없는 문제가 있다.

또한, 언어치료 및 교육의 최종 목표가 의사소통, 즉 대화능력임에도 불구하고 현재 언어치료 및 교육 방법에 있어서도, 다양한 대화기술을 충분히 학습하고 연습하는데 제한이 있다. 현재 언어치료에서 대화를 지도하는 내용은 인사하기, 장난감 공유하기, 안부 묻기 등의 학습자가 자주 경험되는 간단하거나 짧은 대화 상황이나, 치료 장면에서 상황을 연출하기 가능한 대화 주제로 한정되어 있다. 치료 및 교육 장면에서 대화기술을 지도하는 방식으로는 스크립트나 놀이 등으로 대화기술을 학습하거나 연습하도록 하는데, 일반화하는데 몇 가지 한계점이 있다. 1:1 개별 지도에서는 학습자 특성을 고려한 학습자료나 방법으로 대화기술을 지도할 수 있지만 다양한 대화 상대나 상황에 대한 경험을 제공하는데 한계가 있다. 집단지도는 개별지도보다 더 자연스러운 대화 연습이 가능하다는 점에서는 장점이지만, 대화기술이 부족한 대상들이 집단 구성원으로 구성된다는 점과 대화 주제가 한정된다는 점에서 마찬가지로 대화훈련의 제한이 있다. 가정에서 대화훈련을 하기에는 학습자에게 적합한 학습자료와 전문적이고 학습 지도 및 피드백을 즉각적으로 제공하기가 어렵다. 이처럼 대화훈련을 지도할 수 있는 전문적인 치료기관 및 전문가를 통한 치료 및 교육에 있어서도 충분한 대화훈련 학습자료나 방법을 제공하는데 제한이 있고, 경제적 부담으로 인한 충분한 치료 이용시간의 부족, 이용 접근성의 부족, 치료이용의 대기시간과 같은 단점이 있다. 또, PC용 치료 S/W 프로그램을 이용한 치료 및 교육은 경제적 부담 감소, 접근성 및 편의성 향상의 장점이 있으나, 현재 대화훈련을 위한 치료 S/W 프로그램이 부족하고 실효성이 부족한 경향이 있다. 기존의 언어학습용 콘텐츠의 제작 및 사용자에게 제공하는 방법은, 대부분 한가지 녹음대본은 한가지 음성과 한 가지 발음속도로만 제작하여 사용자에게 제공되었다. 또한 발음속도도 대부분 모국어 사용자의 정상적인 대화속도이다 보니, 비록 컴퓨터와 인터넷의 편리한 반복 재생기능을 언어학습에 활용한다고 해도 이러한 한가지 형태의 콘텐츠 제공만으로는 대화훈련 효과를 기대할 수 없는 문제가 있다. 또한 개발된 치료 S/W 프로그램에 포함된 내용도 음식 주문하기 등 일상적인 스크립트에 한해 대화훈련이 필요한 학습자가 충분히 대화학습을 하기에 주제나 대화내용이 부족하고, 대화학습이 일방향으로 제시된다. 대화는 양방향으로 진행된다는 점을 고려해볼 때, 학습자가 대화상황에 참여하여 대화기술을 실제적으로 학습하고 연습하는 것이 필요하다.

한국공개특허 제10-2010-0005177호

본 발명의 기술적 과제는 대화학습이 필요한 학습자(언어발달이 느린 유아동, 사회적 의사소통 장애와 말더듬, 조음장애를 비롯한 언어장애, 자폐성 장애를 포함한 발달장애, 선택적 함묵증처럼 대인관계 특히 대화능력이 부족한 사람, 심리적으로 위축되거나 사회성이 부족한 사람 등)가 대화훈련을 할 수 있도록 하는 수단을 제공하는데 있다.

본 발명의 실시 형태는 학습자 단말기에 설치된 대화훈련콘텐츠앱이 학습자에 대한 대화훈련 학습을 시키는 더빙/AR을 이용한 참여형 대화훈련 학습 방법에 있어서, 대화훈련학습에 사용될 대화내용과 대화훈련학습수준을 가지는 콘텐츠를 학습자로부터 선택받아, 선택된 콘텐츠를 대화훈련콘텐츠로 결정하는 대화훈련콘텐츠 선택 과정; 상기 학습자가 등장 인물의 생략된 대화를 완성하면서 언어적 대화 표현을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 대화훈련화면을 제공하여 상기 대화훈련화면을 통한 대화훈련이 이루어지도록 하는 대화학습 훈련 과정; 상기 대화학습 훈련 종료 후 평가를 거쳐 미리 설정된 기준에 부합하여 대화학습 훈련 성공으로 결정될 때, 상기 대화훈련콘텐츠의 대화실전더빙화면을 제공하여 대화실전더빙을 통한 대화훈련이 이루어지도록 하는 대화실전더빙 훈련 과정; 및 상기 대화실전더빙 훈련 종료 후 평가를 거쳐 미리 설정된 부합하여 더빙음성 훈련 성공으로 결정될 때, 상기 학습자가 증강현실의 해당 등장인물로 참여하여 음성에 해당하는 언어적 대화 기술 및 표정과 제스처에 해당하는 비언어적 대화 기술을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 증강현실화면을 제공하여 증강현실을 통한 대화훈련이 이루어지도록 하는 증강현실 훈련 과정을 포함하며, 상기 대화실전더빙 훈련 과정은, 상기 대화실전더빙 훈련 과정에서 더빙음성 훈련 실패로 결정되면, 학습자별로 다르게 학습자료를 제공하며, 더빙음성 구간의 등장인물의 얼굴과 음성이 증폭된 동영상을 제공하며, 등장인물의 대사와 대화속도를 함께 표시하며, 상기 증강현실 훈련 과정은, 대화 평가 분석결과를 반영하여 해당 인물의 얼굴, 제스처, 시선 및 음성이 증폭 강조되거나 애니메이션 그래픽이 첨가되어 제공될 수 있다.

상기 대화훈련콘텐츠 선택 과정은, 대화 써클수, 대화 주제, 대화참여 인원수를 학습자로부터 선택받음으로써 대화훈련학습수준이 결정되도록 함을 특징으로 할 수 있다.

상기 대화학습 훈련 과정은, 상기 대화훈련콘텐츠의 대화 동영상을 재생하는 대화 동영상 재생 과정; 상기 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면을 정지하고, 학습자로부터 발성되는 대화음성을 학습자 대화내용으로 입력받는 학습자 대화내용 입력 과정; 학습자로부터 입력된 학습자 대화내용의 음성을 분석하여, 학습자 대화내용이 미리 설정된 대화평가기준에 부합하는 대화내용인 경우 대화학습 훈련 성공으로 결정하며, 학습자 대화내용이 상기 대화평가기준에 부합하지 않는 대화내용인 경우 대화학습 훈련 실패로 결정하는 대화학습 평가 과정; 상기 대화학습 훈련 성공으로 결정되면, 학습자 요청이 있는 경우 상기 대화실전더빙 훈련 과정을 수행하는 대화실전더빙화면 이동 과정; 및 상기 대화학습 훈련 실패로 결정되면, 학습자에 대해 대화학습 피드백 학습이 이루어지도록 하는 대화학습 피드백 학습 과정;을 포함할 수 있다.

상기 학습자 대화내용 입력 과정은, 학습자로부터 발성되는 대화음성을 문자로 변환하여 화면에 표시할 수 있다.

상기 대화학습 피드백 학습 과정은, 대화훈련 실패되었음을 알려주는 대화학습 결과 피드백 과정; 대화예시를 제시하고, 대화훈련 실패로 결정된 학습자로부터 대화예시 중에서 어느 하나의 대화예시를 선택받는 과정; 학습자 음성을 입력받아, 입력된 학습자 음성이 대화예시와 오차 범위내에서 일치하는 경우 대화예시 훈련 성공으로 결정하며, 일치하지 않는 경우 대화예시 훈련 실패로 결정하는 과정; 상기 대화예시 훈련 실패로 결정되는 경우, 대화내용을 재생하여 학습자가 대화내용을 듣도록 하는 과정; 대화내용을 모방하는 학습자 음성을 입력받아, 입력된 학습자 음성이 재생되는 대화내용과 오차 범위내에서 일치하는 경우 대화모방 훈련 성공으로 결정하며, 일치하지 않는 경우 대화모방 훈련 실패로 결정하는 과정; 상기 대화모방 훈련 실패로 결정되는 경우, 대화내용을 음성변환한 음성변환 대화내용을 재생하여 학습자가 음성변환 대화내용을 듣도록 하는 과정; 및 음성변환 대화내용을 모방하는 학습자 음성을 입력받아, 입력된 학습자 음성이 재생되는 음성변환 대화내용과 오차 범위내에서 일치하는 경우 음성변환 훈련 성공으로 결정하며, 일치하지 않는 경우 음성변환 훈련 실패로 결정하는 과정;을 포함할 수 있다.

상기 대화내용을 음성변환하는 것은, 등장인물의 음성을 음성증폭, 속도조절하여 변환함을 특징으로 할 수 있다.

상기 대화실전더빙 훈련 과정은, 상기 대화훈련콘텐츠의 대화 동영상을 재생하는 대화 동영상 재생 과정; 상기 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면 정지 없이 학습자로부터 발성되는 대화음성을 학습자 더빙음성으로서 실시간으로 입력받는 학습자 더빙음성 입력 과정; 학습자로부터 입력된 학습자 더빙음성을 분석하여, 학습자 더빙음성이 미리 설정된 대화평가기준에 부합하는 더빙음성인 경우 더빙음성 훈련 성공으로 결정하며, 학습자 더빙음성이 상기 대화평가기준에 부합하지 않는 더빙음성인 경우 더빙음성 훈련 실패로 결정하는 더빙음성 평가 과정; 상기 더빙음성 훈련 성공으로 결정되면, 학습자 요청이 있는 경우 상기 증강현실 훈련 과정을 수행하는 증강현실화면 이동 과정; 및 상기 더빙음성 훈련 실패로 결정되면, 학습자에 대해 더빙음성 피드백 학습이 이루어지도록 하는 더빙음성 피드백 학습 과정;을 포함할 수 있다.

상기 더빙음성 피드백 학습 과정은, 더빙음성 훈련 실패되었음을 피드백하여 알려주는 과정; 대화더빙을 이용한 대화학습에 사용되는 대화더빙 관련 학습자료를 제공하는 과정; 상기 대화더빙 관련 학습자료를 이용해 학습한 학습자로부터 더빙음성을 입력받아, 입력되는 학습자 더빙음성이 상기 대화평가기준에 부합하는 경우 1차학습 더빙음성 훈련 성공으로 결정하며, 부합하지 않는 경우 1차학습 더빙음성 훈련 실패로 결정하는 과정; 상기 1차학습 더빙음성 훈련 실패로 결정되는 경우, 1차학습 더빙음성 훈련 실패 원인을 분석하여 대화더빙 수정 학습자료를 제공하는 과정; 및 상기 대화더빙 수정 학습자료를 이용해 학습한 학습자로부터 더빙음성을 입력받아, 입력되는 학습자 더빙음성이 상기 대화평가기준에 부합하는 경우 2차학습 더빙음성 훈련 성공으로 결정하며, 부합하지 않는 경우 2차학습 더빙음성 훈련 실패로 결정하는 과정;을 포함할 수 있다.

상기 대화더빙 관련 학습자료와 대화더빙 수정 학습자료는, 더빙음성 훈련 실패한 학습자의 실패원인에 대응할 수 있도록 학습자별로 다르게 제공되는 학습자료로서, 더빙음성 구간의 등장인물의 얼굴과 음성이 증폭된 동영상을 제공하며, 등장인물의 대사와 대화속도를 함께 표시함을 특징으로 할 수 있다.

상기 증강현실 훈련 과정은, 상기 대화훈련콘텐츠의 대화훈련 증강현실(AR)을 재생하는 증강현실 재생 과정; 상기 대화훈련 증강현실 재생 중에 학습자로 대체될 등장인물 등장시에, 학습자의 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 실시간으로 입력받아, 등장인물 대신에 학습자의 음성, 제스쳐, 및 표정으로 대체하여 표시하는 학습자 증강현실 입력 과정; 학습자로부터 입력된 증강현실 입력소스를 분석하여, 상기 증강현실 입력소스가 미리 설정된 대화평가기준에 부합하는 경우 증강현실 훈련 성공으로 결정하며, 상기 증강현실 입력소스가 상기 대화평가기준에 부합하지 않는 경우 증강현실 훈련 실패로 결정하는 증강현실 훈련 평가 과정; 및 상기 증강현실 훈련 실패로 결정되면, 학습자에 대해 증강현실 피드백 학습이 이루어지도록 하는 증강현실 피드백 학습 과정;을 포함할 수 있다.

상기 증강현실 피드백 학습 과정은, 증강현실 훈련 실패되었음을 피드백하여 알려주는 과정; 증간현실을 이용한 대화학습에 사용되는 증강현실 관련 학습자료를 제공하는 과정; 상기 증강현실 관련 학습자료를 이용해 학습한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력받아, 입력되는 학습자의 증강현실 입력소스가 상기 대화평가기준에 부합하는 경우 1차학습 증강현실 훈련 성공으로 결정하며, 부합하지 않는 경우 1차학습 증강현실 훈련 실패로 결정하는 과정; 상기 1차학습 증강현실 훈련 실패로 결정되는 경우, 1차학습 증강현실 훈련 실패 원인을 분석하여 증강현실 수정 학습자료를 제공하는 과정; 및 상기 증강현실 수정 학습자료를 이용해 학습한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력받아, 입력되는 증강현실 입력소스가 상기 대화평가기준에 부합하는 경우 2차학습 증강현실 훈련 성공으로 결정하며, 부합하지 않는 경우 2차학습 증강현실 훈련 실패로 결정하는 과정;을 포함할 수 있다.

상기 증강현실 수정 학습자료는, 학습자가 증간현실에 참여하는 동안 대화 상대방에게 시선을 응시하지 못하고 주변 사물에 시선이 집중된다면, 대화 상대방의 눈을 강조하여 표시하거나 학습자의 시선 방향을 트랙킹하여 증강현실에 표시한 학습자료임을 특징으로 할 수 있다. 상기 대화평가기준은, 언어적 대화의 경우, 핵심어 평가기준, 대화표현 평가기준, 대화반응속도 평가기준, 대화규칙 평가기준, 말속도 평가기준, 말소리 강도 평가기준, 대화반복 평가기준, 대화생략 평가기준, 대화억양 평가기준을 하나 이상 포함하며, 비언어적 대화의 경우, 표정 평가기준, 제스쳐 평가기준, 시선 평가기준을 하나 이상 포함할 수 있다.

본 발명의 실시 형태에 따르면 더빙/증강현실을 이용하여 대화훈련 학습을 제공해줌으로써, 대화훈련이 필요한 학습자가 효율적으로 대화훈련을 할 수 있다.

도 1은 본 발명의 실시예에 따른 참여형 대화훈련 학습이 가능한 학습자 단말기의 사시도.
도 2는 본 발명의 실시예에 따른 참여형 대화훈련 학습이 가능한 학습자 단말기의 구성 블록도.
도 3은 본 발명의 실시예에 따라 더빙/AR을 이용한 참여형 대화훈련 학습 과정을 도시한 플로차트.
도 4는 본 발명의 실시예에 따른 대화학습 훈련 과정을 도시한 흐름도.
도 5는 본 발명의 실시예에 따른 대화실전더빙 훈련 과정을 도시한 흐름도.
도 6은 본 발명의 실시예에 따른 증간현실 훈련 과정을 도시한 흐름도.
도 7은 본 발명의 실시예에 따른 대화평가기준들을 도시한 그림.
도 8은 본 발명의 실시예에 따른 학습자료들을 도시한 그림.
도 9는 본 발명의 실시예에 따른 피드백 모듈의 예시 그림.
도 10은 본 발명의 실시예에 따른 음성변환 모듈의 예시 그림.
도 11은 본 발명의 실시예에 따른 영상변환 모듈의 예시 그림.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 참여형 대화훈련 학습이 가능한 학습자 단말기의 사시도이며, 도 2는 본 발명의 실시예에 따른 참여형 대화훈련 학습이 가능한 학습자 단말기의 구성 블록도이다.

본 발명의 참여형 대화훈련 학습이 가능한 학습자 단말기(10)는, 언어장애와 발달장애 등 대화훈련이 필요한 학습자들을 대화훈련시킬 수 있도록 하는 어플리케이션(앱;APP)이 설치되어, 이러한 어플리케이션을 통하여 대화훈련이 필요한 학습자들을 대상으로 대화훈련을 수행한다.

본 발명의 학습자 단말기(10)는, 도 1의 도면에서는 스마트폰(smart phone)을 예로 들어 설명하나, 스마트폰만 아니라 데스크탑 PC(desktop PC), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션(Navigation) 등이 해당될 수 있다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 다양한 단말기를 모두 포함할 수 있음은 당연하다.

본 발명의 학습자 단말기(10)는 도 2에 도시한 바와 같이, 단말기 통신부(11), 단말기 메모리(12), 단말기 표시부(13), 단말기 입력부(14), 대화훈련콘텐츠앱이 설치된 단말기 제어부(15)를 포함할 수 있다.

단말기 통신부(11)는, 이동통신망을 통하여 통신하는 기능을 수행하는 모듈로서, 3G, 4G 등의 이동 통신을 수행하는 경우에는, 무선 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기(미도시)와, 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기(미도시) 등을 포함한다.

단말기 메모리(12)는, 본 발명의 대화훈련콘텐츠(대화학습콘텐츠, 더빙학습콘텐츠, 증강현실학습콘텐츠 등), 대화평가기준, 화면 그래픽 인터페이스(GUI) 정보 등이 저장된 저장체이다. 이러한 메모리는, 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.

단말기 표시부(13)는, 학습자로부터 선택된 대화훈련콘텐츠의 대화훈련화면, 대화실전더빙화면, 증강현실화면 등을 표시하는 모듈이다.

단말기 입력부(14)는, 단말기 표시부(13)를 통해 표시된 대화훈련화면, 대화실전더빙화면, 증강현실화면 등을 통하여 학습자로부터 입력받는 모듈이다. 이러한 단말기 입력부(14)와 단말기 표시부(13)는 터치스크린패널의 단일 형태로 구현될 수 있다. 터치스크린패널은, 입력과 표시를 동시에 수행할 수 있는 터치 스크린 화면을 제공하여 단말기의 전면에 마련되어 작업 화면을 표시하는 표시창으로서, 학습자와의 소통을 위한 그래픽 유저 인터페이스(GUI;Graphic User Interface)를 표시한다.

단말기 제어부(15)는, 학습자 단말기(10)의 각 기능 모듈을 제어하는 MCU(Main Control Unit)로 구현되어, 본 발명의 대화훈련콘텐츠앱이 설치된 모듈이다. 이러한 대화훈련콘텐츠앱은, 대화훈련콘텐츠앱이, 대화훈련학습에 사용될 대화내용과 대화훈련학습수준을 가지는 콘텐츠를 학습자로부터 선택받아, 선택된 콘텐츠를 대화훈련콘텐츠로 결정하고 대화훈련콘텐츠의 대화훈련화면을 제공하여 대화훈련화면을 통한 대화훈련이 이루어지도록 하며, 또한 대화훈련콘텐츠의 대화실전더빙화면을 제공하여 대화실전더빙을 통한 대화훈련이 이루어지도록 하며, 또한 대화훈련콘텐츠의 증강현실화면을 제공하여 증강현실을 통한 대화훈련이 이루어지도록 한다.

참고로, 스마트폰(smart phone) 등으로 구현되는 학습자 단말기(10)는, 수백여 종의 다양한 어플리케이션(응용프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있어, 사용자가 원하는 어플리케이션을 직접 제작할 수도 있으며, 다양한 어플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있다. 따라서 구글마켓, 애플스토어 등에서 대화훈련콘텐츠앱을 다운로드받아 스마트폰에 설치할 수 있다.

도 3은 본 발명의 실시예에 따라 더빙/AR을 이용한 참여형 대화훈련 학습 과정을 도시한 흐름도이며, 도 4는 본 발명의 실시예에 따른 대화학습 훈련 과정을 도시한 흐름도이며, 도 5는 본 발명의 실시예에 따른 대화실전더빙 훈련 과정을 도시한 흐름도이며, 도 6은 본 발명의 실시예에 따른 증간현실 훈련 과정을 도시한 흐름도이며, 도 7은 본 발명의 실시예에 따른 대화평가기준들을 도시한 그림이며, 도 8은 본 발명의 실시예에 따른 학습자료들을 도시한 그림이며, 도 9는 본 발명의 실시예에 따른 피드백 모듈의 예시 그림이며, 도 10은 본 발명의 실시예에 따른 음성변환 모듈의 예시 그림이며, 도 11은 본 발명의 실시예에 따른 영상변환 모듈의 예시 그림이다.

학습자 단말기(10)에 설치된 대화훈련콘텐츠앱이 학습자에 대한 대화훈련 학습을 시키는 더빙/AR을 이용한 참여형 대화훈련 학습 방법에 있어서, 본 발명의 대화훈련콘텐츠앱은 도 3에 도시한 바와 같이 대화훈련콘텐츠 선택 과정(S100), 대화학습 훈련 과정(S200), 대화실전더빙 훈련 과정(S300), 및 증강현실 훈련 과정(S400)을 실행시킬 수 있다.

대화훈련콘텐츠 선택 과정(S100)은, 대화훈련학습에 사용될 대화내용을 선택받는다. 그리고 대화훈련학습의 대화훈련학습수준을 선택받는다. 선택되는 대화내용과 대화훈련학습수준을 가지는 콘텐츠를 대화훈련콘텐츠로서 결정한다.

여기서 대화훈련학습수준의 선택은, 대화 써클수, 대화 주제, 대화참여 인원수를 학습자로부터 선택받음으로써 대화훈련학습수준이 결정되도록 한다.

여기서 대화써클이란 대화자끼리 말을 양방향으로 주고받는 것을 말한다. 예를 들어 두 사람이 영화관람후 대화에서 "미녀와 야수 영화 어땠어" "재미있었어" 라고 주고 받았다면 대화써클 수는 1회에 해당된다. 대화가 이어져 "넌 어느 장면이 제일 좋았어?" "난 야수랑 벨이 춤출 때가 제일 멋졌어" 라고 한다면 대화 써클 수는 2회가 된다.

또한, 대화참여자 인원수가 많아질수록 주고받는 대화량도 증가되고 높은 수준의 대화능력이 요구된다. 예를 들어, 대화참여자 인원이 2명일 경우에는 대화를 번갈아 주고 받고 시선도 상대에게만 집중하면 되지만, 대화참여자 인원이 4명인 경우에는 상대방인 3명의 말도 기억하며 대화 흐름에 맞게 응답하고 대화 타이밍과 시선처리도 더 복잡해진다.

대화학습 훈련 과정(S200)은, 대화훈련콘텐츠앱이, 대화훈련콘텐츠의 대화훈련화면을 제공하여 대화훈련화면을 통한 대화훈련이 이루어지도록 과정이다. 즉, 대화학습 훈련 과정(S200)은, 대화 동영상 재생 시에 학습자가 대행할 인물만의 대화가 생략된 동영상을 제시하고, 학습자가 등장 인물의 생략된 대화를 완성하면서 언어적 대화 표현을 학습하도록 하기 위함이다.

이러한 대화학습 훈련 과정(S200)은 도 4에 도시한 바와 같이, 대화 동영상 재생 과정(S210), 학습자 대화내용 입력 과정(S220), 대화학습 평가 과정(S230), 대화실전더빙화면 이동 과정(S300), 대화학습 피드백 학습 과정(S250)을 포함할 수 있다.

대화 동영상 재생 과정(S210)은, 대화훈련콘텐츠의 대화 동영상을 재생하는 과정이다. 즉, 학습자가 선택한 대화내용과 대화학습수준을 가지는 대화훈련콘텐츠의 대화 동영상이 재생되도록 한다.

학습자 대화내용 입력 과정(S220)은, 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면을 정지하고, 학습자로부터 발성되는 대화음성을 학습자 대화내용으로 입력받는 과정이다. 나아가 학습자 대화내용 입력 과정은, 학습자로부터 발성되는 대화음성을 문자로 변환하여 화면에 표시한다. 상술하면, 대화 동영상 재생 시에 학습자가 대행할 인물만의 대화가 생략된 동영상을 제시하고, 학습자가 생략된 대화를 완성하는 것이다.

대화학습 평가 과정(S230)은, 학습자로부터 입력된 학습자 대화내용의 음성을 분석하여 평가한 후, 학습자 대화내용이 미리 설정된 대화평가기준에 부합하는 대화내용인 경우 대화학습 훈련 성공으로 결정하며, 학습자 대화내용이 상기 대화평가기준에 부합하지 않는 대화내용인 경우 대화학습 훈련 실패로 결정하는 과정이다.

여기서 대화평가기준은, 언어적 대화의 경우, 도 7(a)에 도시한 바와 같이 핵심어 평가기준, 대화표현 평가기준, 대화반응속도 평가기준, 대화규칙 평가기준, 말속도 평가기준, 말소리 강도 평가기준, 대화반복 평가기준, 대화생략 평가기준, 대화억양 평가기준을 하나 이상 포함할 수 있다.

이는 대화모델과 학습자간의 대화 기술 차이를 비교 분석하는데 사용되는 기준이 된다. 상술하면, 대화학습 평가 기준은 학습자의 음성정보에 대하여 평가하는 기준이 된다.

핵심어 평가기준은 대화표현에 있어서 중요한 핵심어를 파악하고 평가하는 것이다.

대화표현 평가기준은, 청유형, 진술형, 의문형 등의 적절한 대화 표현을 사용하였는지에 대해 평가한다.

대화반응속도 평가기준은, 상대방의 말에 얼마나 적절한 속도로 학습자가 말을 하는지에 대한 평가이다. 상대방의 말을 듣고 반응하기까지의 시간이 길 경우 대화가 중단되거나 재촉을 받게 등 원활한 대화를 유지하는데 방해가 된다.

대화규칙 평가기준은, 질문에 대답하기, 대화 상대에 따라 언어 표현을 바꾸기, 화제에 적합한 대화 반응하기 등의 대화기술에 대해 평가한다.

말속도 평가기준은, 대화를 할 때 말속도를 평가하는 것으로, 말속도는 상대방에게 말을 잘 전달하는 중요한 기술이다. 지나치게 빠르거나 느릴 경우 상대방이 화자의 말을 파악하기가 어렵거나, 화자의 말에 주의를 기울이기가 어려워 대화유지가 어렵다.

말소리 강도 평가기준은, 대화를 유지하는 동안 학습자의 말소리 강도를 평가하는 것이다. 지나치게 목소리가 크거나 적은 경우에도 대화 흐름의 방해 요인이 된다.

대화반복 평가기준은, 학습자가 말을 할 때 같은 말소리나 단어를 반복하는 것을 평가한다. 이는 말더듬처럼 언어 유창성이 부족하거나 대화 상황에서 긴장감이 높을 경우에 해당된다.

대화생략 평가기준은, 학습자가 말을 할 때 중요한 핵심어를 제외하기, 말의 일부를 흐리기 등의 언어적 대화기술에 대해 평가한다. 　

대화억양 평가기준은, 학습자가 대화를 하는 동안 적절한 리듬감을 가지고 대화표현 유형에 따라 적절한 뉘앙스를 사용하였는지에 대해 평가한다. 예를 들어, "어제 나는 가족들과 캠핑을 갔어"라는 말을 하는 경우, 말의 끝부분의 억양을 내려서(예, 갔어) 표현해야 하는데, 억양을 올려서(예, 갔어)라고 표현하면 질문형으로 변경되거나 말의 의도 전달이 분명해지지 않게 된다. 　　　

한편, 비언어적 대화의 경우, 도 7(b)에 도시한 바와 같이 표정 평가기준, 제스쳐 평가기준, 시선 평가기준을 하나 이상 포함할 수 있다. 비언어적 대화기술에는 언어적 표현을 제외한 표정, 제스처 등이 해당된다. 비언어적 대화기술은 의사전달에 있어서 매우 중요한 역할을 한다. 예를 들어 '잘 했어'라는 말은 웃는 표정일 때와 화난 표정일 때의 의사전달이 매우 달라진다. 이처럼 말과 표정이 불일치할 경우 말보다는 표정 같은 비언어적 대화기술에 대한 해석과 표현능력이 더 중요하다. 그리고 대화할 때 상대와의 눈맞춤을 적절하게 유지하는 기술은 대화 유지에 있어서 중요하다. 이를테면 자폐성 장애의 경우에는 대화할 때 눈맞춤 하기가 어렵고, 사회적 위축이 높은 경우에는 대화를 할 때 상대의 눈을 쳐다보는 것이 아니라 눈 주변을 쳐다보거나 시선을 회피하는 경향성이 높은데, 이는 대화유지를 방해하는 요인이다. 따라서 대화를 잘 전달하고 이해하며 유지하기 위해서는 언어적 대화기술 뿐만 아니라 비언어적 대화기술도 매우 중요하다.

따라서 본 발명에서는 학습자와 대화모델과의 대화 특성간의 차이를 비교 분석하여 학습자의 대화기술에 있어서 오류를 분석한다.

표정 평가기준은, 동영상 자료로 입력된 학습자의 눈과 입, 얼굴 근육 변화를 통해 학습자의 표정을 분석하고, 학습자와 대화모델 간의 표정간의 차이를 평가한다.

제스처 평가기준은, 동영상 자료로 입력된 학습자의 손, 발 등의 제스처를 분석하고, 학습자와 대화모델간의 비언어적 대화기술간의 차이를 평가한다.

시선 평가기준은, eye-tracking 원리를 활용하여 대화상황에서 학습자가 대화 상대방을 얼마나 주시하였는지, 대화를 하는 동안 시선 처리가 적절하였는지를, 학습자와 대화모델간의 시선 처리간의 차이를 평가한다.

한편, 대화학습 훈련 성공(S230a)으로 결정되면, 성공 피드백을 제공(S240)해주고, 학습자 요청에 따라 대화훈련학습 종료 또는 다른 대화학습이 이루어지도록 하며, 또한 학습자 요청이 있는 경우 대화실전더빙 훈련 과정(S300)을 수행하도록 대화실전더빙화면으로 이동하여 대화실전더빙 훈련 과정(S300)이 수행되도록 한다.

반면에, 대화학습 훈련 실패(S230b)로 결정되면, 학습자에 대해 대화학습 피드백 학습이 이루어지도록 하는 대화학습 피드백 학습 과정(S250)이 수행되도록 한다.

상기의 대화학습 피드백 학습 과정(S250)은, 대화훈련 실패되었음을 알려주는 대화학습 결과 피드백 과정(S251), 대화예시를 제시하고, 대화훈련 실패로 결정된 학습자로부터 대화예시 중에서 어느 하나의 대화예시를 선택받는 과정(S252), 학습자 음성을 입력받아 입력된 학습자 음성이 대화예시와 오차 범위내에서 일치하는 경우 대화예시 훈련 성공(S253a)으로 결정하며, 일치하지 않는 경우 대화예시 훈련 실패(S253b)로 결정하는 과정(S253), 대화예시 훈련 실패로 결정되는 경우, 실패되었음을 알리는 실패 피드백을 제공(S254)하며, 대화내용을 재생하여 학습자가 대화내용을 듣도록 하는 과정(S255), 대화내용을 모방하는 학습자 음성을 입력(S256)받아, 입력된 학습자 음성이 재생되는 대화내용과 오차 범위내에서 일치하는 경우 대화모방 훈련 성공(S257a)으로 결정하며, 일치하지 않는 경우 대화모방 훈련 실패(S257b)로 결정하는 과정(S257), 대화모방 훈련 실패(S257b)로 결정되는 경우, 실패 피드백을 제시(S258)하고 대화내용을 음성변환(S2591)한 음성변환 대화내용을 재생하여 학습자가 음성변환 대화내용을 듣도록 하는 과정(S2592)과, 음성변환 대화내용을 모방하는 학습자 음성을 입력(S256)받아, 입력된 학습자 음성이 재생되는 음성변환 대화내용과 오차 범위내에서 일치하는 경우 음성변환 훈련 성공으로 결정하며, 일치하지 않는 경우 음성변환 훈련 실패로 결정하는 과정(S257)으로 이루어진다.

참고로, 이러한 대화학습 피드백 과정(S200)은, 도 9에 도시된 피드백모듈을 통하여 처리될 수 있다. 대화평가 피드백에는 언어적 대화평가 피드백과 비언어적 대화평가가 포함되고, 각각의 평가결과를 시각적 그래픽으로 제시된다. 보상 피드백은 학습자에게 대화평가 피드백과 꾸준한 학습태도 등에 대한 점수화　또는 보상을 제공할 수 있다.

또한 상기에서 대화내용을 음성변환하는 것은, 도 10에 도시된 음성변환모듈을 이용하여 등장인물의 음성을 음성증폭, 속도조절하여 변환할 수 있다. 상술하면, 음성변환모듈은 대화모델의 음성을 학습자가 정확하게 듣고 따라할 수 있게 대화모델의 음성을 변환한다. 비선형압축은 작은 소리는 크게 증폭해주고, 큰소리는 작게 줄여주는 증폭조절을 통해 학습자가 말소리를 빠뜨리지 않고 정확하게 들을 수 있도록 한다. 방향성은 말소리가 들리는 방향을 정확히 잡아낼 수 있게 한다. 피드백제거는 입력된 음성을 증폭하고 다른 잡음을 제거함으로써 말소리를 잘 들을 수 있게 한다. 소음제거는 주변환경소음을 줄여주어 말소리를 잘 들을 수 있게 한다. 속도는 말소리 속도를 조절해서 학습자가 잘 들을 수 있게 한다. 이는 학습자의 대화음성 분석결과를 토대로 대화모델의 음성을 변환하여 학습자에게 말소리를 제시한다.

한편, 대화실전더빙 훈련 과정(S300)은 대화훈련콘텐츠앱이, 대화훈련콘텐츠의 대화실전더빙화면을 제공하여 대화실전더빙을 통한 대화훈련이 이루어지도록 하는 과정이다. 대화실전더빙 훈련 과정(S300)은 도 5에 도시한 바와 같이, 대화 동영상 재생 과정(S310), 학습자 더빙음성 입력 과정(S320), 더빙음성 평가 과정(S330), 증강현실화면 이동 과정(S400), 및 더빙음성 피드백 학습 과정(S350)을 포함할 수 있다.

대화 동영상 재생 과정(S310)은, 대화훈련콘텐츠의 대화 동영상을 재생하는 과정이다.

학습자 더빙음성 입력 과정(S320)은, 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면 정지 없이 제시되고 학습자로부터 발성되는 대화음성을 학습자 더빙음성으로서 실시간으로 입력받는 과정이다. 대화동영상을 보고 학습자가 그 중 대화가 생략된 등장인물의 대화를 직접 더빙하는 것이다. 이때 학습자는 음성으로 입력하고, 화면에 입력된 음성이 문자로 변환되어 제시된다.

더빙음성 평가 과정(S330)은, 학습자로부터 입력된 학습자 더빙음성을 분석하여, 학습자 더빙음성이 미리 설정된 대화평가기준에 부합하는 더빙음성인 경우 더빙음성 훈련 성공(S330a)으로 결정하며, 학습자 더빙음성이 대화평가기준에 부합하지 않는 더빙음성인 경우 더빙음성 훈련 실패(S330b)로 결정하는 과정이다. 이러한 대화평가기준은 상술한 바와 같이, 언어적 대화의 경우, 핵심어 평가기준, 대화표현 평가기준, 대화반응속도 평가기준, 대화규칙 평가기준, 말속도 평가기준, 말소리 강도 평가기준, 대화반복 평가기준, 대화생략 평가기준, 대화억양 평가기준을 하나 이상 포함하며, 비언적 대화의 경우, 표정 평가기준, 제스쳐 평가기준, 시선 평가기준을 하나 이상 포함할 수 있다.

더빙음성 훈련 성공(S330a)으로 결정되면, 성공 피드백 제시(S340)후에 학습자 요청이 있는 경우 증강현실 훈련 과정(S400)을 수행하는 증강현실화면 이동 과정(S400)을 가진다. 반면에 더빙음성 훈련 실패(S330b)로 결정되면, 학습자에 대해 더빙음성 피드백 학습이 이루어지도록 하는 더빙음성 피드백 학습 과정(S3500을 가진다.

더빙음성 피드백 학습 과정(S350)은, 더빙음성 훈련 실패되었음을 피드백하여 알려주는 과정(S351), 대화더빙을 이용한 대화학습에 사용되는 대화더빙 관련 학습자료를 제공하는 과정(S352), 대화더빙 관련 학습자료를 이용해 학습한 학습자로부터 더빙음성을 입력(S353)받아, 입력되는 학습자 더빙음성이 대화평가기준에 부합하는 경우 1차학습 더빙음성 훈련 성공(S354a)으로 결정하며, 부합하지 않는 경우 1차학습 더빙음성 훈련 실패(S354b)로 결정하는 과정(S354), 1차학습 더빙음성 훈련 실패(S354b)로 결정되는 경우, 실패 피드백 제시(S355)후에 1차학습 더빙음성 훈련 실패 원인을 분석하여 대화더빙 학습자료를 수정(S356)하여 대화더빙 수정 학습자료를 제공하는 과정(S357), 대화더빙 수정 학습자료를 이용해 오류 부분을 학습(S358)한 학습자로부터 더빙음성을 입력받아, 입력되는 학습자 더빙음성이 대화평가기준에 부합하는 경우 2차학습 더빙음성 훈련 성공(S359a)으로 결정하며, 부합하지 않는 경우 2차학습 더빙음성 훈련 실패(S359b)로 결정하는 과정(S359)을 가진다. 오류부분 학습(S358)에서는, 대화시작 타이밍, 말 명료도, 대화 속도, 억양을 포함한 대화기술에 대한 학습화면을 제공하는 과정을 가질 수 있다.

여기서 대화더빙 관련 학습자료와 대화더빙 수정 학습자료는, 더빙음성 훈련 실패한 학습자의 실패원인에 대응할 수 있도록 학습자별로 다르게 제공되는 학습자료로서, 더빙음성 구간의 등장인물의 얼굴과 음성이 증폭된 동영상을 제공하며, 등장인물의 대사와 대화속도를 함께 표시한다.

도 11에 도시한 영상변환모듈과 함께 상술하면, 학습자료는, 학습자 맞춤형으로 수정된 대화 동영상과 음성모델, 그래픽으로 구성되고, 학습자의 대화평가분석 결과에 따라 내용구성의 차이가 있다. 예를 들어, 해당 인물의 얼굴과 음성이 증폭된 동영상과 말속도를 촉구하기 위해 대사와속도를 표시하는 그래픽이 함께 제시될수있다.

대화 동영상은 앞서 제시된 대화 동영상에서 학습자의 대화평가의 분석결과를 반영하여 수정하여 제시되는 대화 동영상이다. 예를 들어 해당인물의 대화음성만 증폭되었거나 해당 인물의 대화 타이밍을 알리는 애니메이션 그래픽이 첨가된다. 그래픽은 음성 스펙트럼과 속도 프로파일에 애니메이션 그래픽을 첨가하여 학습 보조 자료로 활용하는 것이다. 오류부분 학습은 학습자의 더빙에서 나타난 대화 기술의 오류 부분에 대해서만 따로 부분학습을 실시하는 것이다. 예를 들어 대화에 참여하는 시작타이밍을 반복해서 놓치고 말속도가 느린 학습자에게는, 오류부분학습에서 대화시작타이밍을 촉구하는 그래픽 학습기제(예, 숫자타이머, 화살)를 제시하고, 학습자의 학습수행률에 따라 촉구 정도가 자동적으로 조절되어 학습자의 오류특성을 수정하는 연습을 할 수 있다. 말속도가 느린 부분에 대해서 속도프로파일이 제시되는 그래픽을 통해 말속도를 체계적으로 향상시키는 연습을 할 수 있다. 학습자의 오류특성에 따라 오류부분에 대해 한가지씩 각각 연습하여 수정할 수도 있고, 두 가지 오류(예, 대화시작타이밍 오류와 말속도 느린 오류)를 동시에 연합해서 연습할 수도 있다. 이 또한 학습자의 반응에 따라 체계적으로 진행되어 진다.

학습자료의 생성 예를 도 8과 함께 상술하면, 학습자료에는 대화 동영상과 학습자료, 대화모델 중 음성모델, 그래픽으로 구성된다. 대화 동영상은 학습자의 대화평가 분석결과를 반영하여 해당 인물의 얼굴, 제스처, 시선, 음성 등이 증폭 강조되거나 애니메이션 그래픽이 첨가되어 제시된다.

음성모델은 대화모델의 언어적 대화기술을 반영한 것으로, 대화내용과 음성, 대화타이밍 등을 포함하여 학습자가 언어적 대화 기술을 모방하여 학습하게 한다.

그래픽은 시선 프로파일, 대화음성스펙트럼, 속도프로파일로구성된다. 　대화모델과 학습자의 대화참여 동안에 대화기술에 관한 정보데이터를 시각적으로 제시하고, 애니메이션 기법을 활용하여 학습자가 보다 쉽게 대화기술을 학습할 수 있도록 돕는 장치이다. 시선프로파일은 학습자의 시선응시를 추적(eye tracking)하여 대화참여 동안 눈으로 응시한 곳을 그래픽으로 제시한다.

음성스펙트럼은 학습자의 대화음성 특성을 주파수, Hz, dB 등으로 시각적 이미지로 제시하고, 음높이를 알리거나 대화 시작타이밍을 알리는 표시에 애니메이션 기능을 첨부하여 제시하여 학습효과를 높일 수 있다.

속도프로파일은 대화속도를 그래픽으로 제시하고, 대사에 말속도 촉진표시를 첨부하거나 대화속도를 파악할 수 있는 그래픽에 애니메이션 기능을 첨부하여 학습효과를 높일 수 있다.

한편, 증강현실 훈련 과정(S400)은, 대화훈련콘텐츠의 증강현실화면을 제공하여 증강현실을 통한 대화훈련이 이루어지도록 하는 과정이다.

이러한 증강현실 훈련 과정(S400)은 도 6에 도시한 바와 같이, 증강현실 재생 과정(S410), 학습자 증강현실 입력 과정(S420), 증강현실 훈련 평가 과정(S430), 및 증강현실 피드백 학습 과정(S450)을 포함할 수 있다.

증강현실 재생 과정(S410)은, 대화훈련콘텐츠의 대화훈련 증강현실(AR;Augmented Reality)을 재생하는 과정이다.

학습자 증강현실 입력 과정(S420)은, 대화훈련 증강현실 재생 중에 학습자로 대체될 등장인물 등장시에, 학습자의 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 실시간으로 입력받아, 등장인물 대신에 학습자의 음성, 제스쳐, 및 표정으로 대체하여 표시하는 과정이다. AR 대화 동영상을 보고 학습자가 그 중 대화가 생략된 등장인물이 되어 동영상에 참여한다. 이때 학습자의 음성입력과, 표정, 제스처 정보가 함께 입력되어 처리된다.

증강현실 훈련 평가 과정(S430)은, 학습자로부터 입력된 증강현실 입력소스를 분석하여, 증강현실 입력소스가 미리 설정된 대화평가기준에 부합하는 경우 증강현실 훈련 성공(S430a)으로 결정하며, 증강현실 입력소스가 상기 대화평가기준에 부합하지 않는 경우 증강현실 훈련 실패(S430b)로 결정하는 과정(S430)이다.

증강현실 피드백 학습 과정(S450)은, 증강현실 훈련 실패(S430b)로 결정되면, 학습자에 대해 증강현실 피드백 학습이 이루어지도록 하는 과정이다. 대화평가에서 실패한 경우 피드백을 제시하고, 학습자의 평가결과를 반영한 학습자료를 제시하고 학습자는 대화기술을 학습하고 동영상에 참여를 하여 학습이 이루어지도록 한다.

증강현실 피드백 학습 과정(S450)은 도 6에 도시한 바와 같이, 증강현실 훈련 실패되었음을 피드백하여 알려주는 과정(S451), 증간현실을 이용한 대화학습에 사용되는 증강현실 관련 학습자료를 제공하는 과정(S452), 증강현실 관련 학습자료를 이용해 학습한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력(S453)받아, 입력되는 학습자의 증강현실 입력소스가 대화평가기준에 부합하는 경우 1차학습 증강현실 훈련 성공(S454a)으로 결정하며, 부합하지 않는 경우 1차학습 더빙음성 훈련 실패(S454b)로 결정하는 과정(S454), 1차학습 증강현실 훈련 실패(S454b)로 결정되는 경우, 1차학습 증강현실 훈련 실패 원인을 분석하여 증강현실 학습자료를 수정(S456)하여, 증강현실 수정 학습자료를 제공하는 과정(S457), 증강현실 수정 학습자료를 이용해 오류 부분을 학습(S457)한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력받아, 입력되는 증강현실 입력소스가 대화평가기준에 부합하는 경우 2차학습 증강현실 훈련 성공(S459a)으로 결정하며, 부합하지 않는 경우 2차학습 증강현실 훈련 실패(S459b)로 결정하는 과정(S459)을 가진다. 상기에서 오류부분 학습(S458)은, 대화시작 타이밍, 말 명료도, 대화 속도, 억양, 시선, 제스쳐를 포함한 대화기술에 대한 학습화면을 제공하는 과정을 제공할 수 있다.

이러한 증강현실 수정 학습자료는, 학습자가 증간현실에 참여하는 동안 대화 상대방에게 시선을 응시하지 못하고 주변 사물에 시선이 집중된다면, 대화 상대방의 눈을 강조하여 표시하거나 학습자의 시선 방향을 트랙킹하여 증강현실에 표시한 학습자료일 수 있다.

상술하면, 학습자의 음성과 표정, 제스처 정보 데이터를 분석하여 대화평가를 하고 피드백을 제시한다. 성공하면 성공피드백을 제시하고 대화동영상으로 진행한다. 실패한 경우에는 피드백을 제시하고, 학습자의 분석결과를 반영하여 학습자료를 수정한다. 수정된 학습자료를 제시하고, 학습자 오류특성에 대한 부분학습으로 진행한다. 예를 들어 대화를 하는 동안 시선이 계속 주변을 살피고, 대화에 참여하는 타이밍을 반복해서 놓치는 학습자의 경우, 오류부분학습에서 대화를 하는 동안 eye- tracking 결과를 제시하고 시선처리 연습을 할 수 있다. 이때 대화영상을 제시하면서 대화영상에 eye- tracking을 함께 제시하여 대화 상대방의 시선보기 연습을 할 수 있고, 학습자의 수행률에 따라 eye- tracking 촉진 정도가 자동적으로 조절된다. 또한 대화에 지속적으로 참여하는 타이밍이 낮은 경우 자신의 대화타이밍을 촉구하는 그래픽 학습기제(예, 숫자타이머, 화살)를 제시하고, 학습자의 학습수행률에 따라 촉구정도가 자동적으로 조절되어 학습자의 오류특성을 수정하는 연습을 할 수 있다. 학습자의 오류특성에 따라 오류부분에 대해 한 가지씩 연습하여 수정되면 두가지 오류를 동시에 연합해서 연습할 수도 있다. 이 또한 학습자의 반응에 따라 체계적으로 진행되어 진다.

동영상 참여는 학습자가 해당 등장인물로 참여하여 학습자의 음성과 표정, 시선, 제스처가 동영상에 포함되는 것을 말한다. 학습자료는 학습자 맞춤형으로 수정된 대화동영상과 대화모델, 그래픽으로 구성되고, 학습자의 대화평가 분석결과에 따라 내용 구성의 차이가 있다.

대화 동영상은 앞서 제시된 대화동영상에서 학습자의 대화평가의 분석결과를 반영하여 수정하여 제시되는 대화 동영상이다. 예를 들어, 학습자가 동영상 참여동안 대화 상대방에게 시선을 응시하지 못하고 주변 사물에 시선이 집중된다면, 수정된 대화 동영상에서는 대화 상대방의 눈이 강조되거나 eye-tracking으로 시선 움직임을 동영상에 표시할 수 있다. 　그래픽은 음성 스펙트럼과 속도 프로파일, 시선프로파일에 애니메이션 그래픽을 첨가하여 학습 보조자료로 활용하는 것이다. 　　

오류부분학습은 학습자의 동영상 참여에서 나타난 대화기술의 오류부분에 대해서만 따로 부분학습을 실시하는것이다. 예를 들어 대화에 참여하는 동안 손과발을 계속 비비꼬며 어색해하고, 대화할 때 말소리가 작은 경우 제스처가 강조된 대화모델 학습자료를 제시하여 학습자가 모방하여 학습할 수 있도록 한다. 　말소리에 대해서는 대화모델의 대화예시와 음성스펙트럼그래픽을 제시하여 적절한 음성톤으로 말하는 학습을 할 수 있다. 또 제스처와 음성학습을 각각 실시한 후 제스처와 음성톤 학습자료를 결합하여 적절한 대화제스처를 유지하면서 적절한 크기의 음성톤으로 대화하는 연습을 할 수 있다.

학습자료의 생성 예를 도 8과 함께 상술하면, 학습자료에는 대화 동영상과 학습자료, 대화모델, 그래픽(340)으로 구성된다. 대화 동영상은 학습자의 대화평가 분석결과를 반영하여 해당 인물의 얼굴, 제스처, 시선, 음성 등이 증폭 강조되거나 애니메이션 그래픽이 첨가되어 제시된다.

대화모델은 음성모델과 표정모델, 제스처모델로 구성된다. 음성모델은 대화모델의 언어적 대화기술을 반영한 것으로, 대화내용과 음성, 대화타이밍 등을 포함하여 학습자가 언어적 대화 기술을 모방하여 학습하게 한다. 표정모델은 대화모델의 눈시선, 얼굴표정을 제시하여 학습자가 얼굴표정과 관련된 비언어적 대화기술을 모방하여 학습하게 한다. 제스처모델은 학습자의 부적절한 제스처를 설명하거나 대화모델의 손과 발, 자세 같은 행동을 제시하여 학습자가 행동과 관련된 비언어적 대화기술을 모방하여 학습하게 한다

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.

10:학습자 단말기
S100:대화 콘텐츠 선택 과정
S200:대화학습 훈련 과정
S300:대화실전 더빙 훈련 과정
S400:증강현실 훈련 과정

Claims

학습자 단말기에 설치된 대화훈련콘텐츠앱이 학습자에 대한 대화훈련 학습을 시키는 더빙/AR을 이용한 참여형 대화훈련 학습 방법에 있어서,
대화훈련학습에 사용될 대화내용과 대화훈련학습수준을 가지는 콘텐츠를 학습자로부터 선택받아, 선택된 콘텐츠를 대화훈련콘텐츠로 결정하는 대화훈련콘텐츠 선택 과정;
상기 학습자가 등장 인물의 생략된 대화를 완성하면서 언어적 대화 표현을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 대화훈련화면을 제공하여 상기 대화훈련화면을 통한 대화훈련이 이루어지도록 하는 대화학습 훈련 과정;
상기 대화학습 훈련 종료 후 평가를 거쳐 미리 설정된 기준에 부합하여 대화학습 훈련 성공으로 결정될 때, 상기 대화훈련콘텐츠의 대화실전더빙화면을 제공하여 대화실전더빙을 통한 대화훈련이 이루어지도록 하는 대화실전더빙 훈련 과정; 및
상기 대화실전더빙 훈련 종료 후 평가를 거쳐 미리 설정된 부합하여 더빙음성 훈련 성공으로 결정될 때, 상기 학습자가 증강현실의 해당 등장인물로 참여하여 음성에 해당하는 언어적 대화 기술 및 표정과 제스처에 해당하는 비언어적 대화 기술을 학습하도록 하기 위해서, 상기 대화훈련콘텐츠의 증강현실화면을 제공하여 증강현실을 통한 대화훈련이 이루어지도록 하는 증강현실 훈련 과정을 포함하며,
상기 대화실전더빙 훈련 과정은,
상기 대화실전더빙 훈련 과정에서 더빙음성 훈련 실패로 결정되면, 학습자별로 다르게 학습자료를 제공하며, 더빙음성 구간의 등장인물의 얼굴과 음성이 증폭된 동영상을 제공하며, 등장인물의 대사와 대화속도를 함께 표시하며,
상기 증강현실 훈련 과정은,
대화 평가 분석결과를 반영하여 해당 인물의 얼굴, 제스처, 시선 및 음성이 증폭 강조되거나 애니메이션 그래픽이 첨가되어 제공되는 것을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 1에 있어서, 상기 대화훈련콘텐츠 선택 과정은,
대화 써클수, 대화 주제, 대화참여 인원수를 학습자로부터 선택받음으로써 대화훈련학습수준이 결정되도록 함을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 1에 있어서, 상기 대화학습 훈련 과정은,
상기 대화훈련콘텐츠의 대화 동영상을 재생하는 대화 동영상 재생 과정;
상기 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면을 정지하고, 학습자로부터 발성되는 대화음성을 학습자 대화내용으로 입력받는 학습자 대화내용 입력 과정;
학습자로부터 입력된 학습자 대화내용의 음성을 분석하여, 학습자 대화내용이 미리 설정된 대화평가기준에 부합하는 대화내용인 경우 대화학습 훈련 성공으로 결정하며, 학습자 대화내용이 상기 대화평가기준에 부합하지 않는 대화내용인 경우 대화학습 훈련 실패로 결정하는 대화학습 평가 과정;
상기 대화학습 훈련 성공으로 결정되면, 학습자 요청이 있는 경우 상기 대화실전더빙 훈련 과정을 수행하는 대화실전더빙화면 이동 과정; 및
상기 대화학습 훈련 실패로 결정되면, 학습자에 대해 대화학습 피드백 학습이 이루어지도록 하는 대화학습 피드백 학습 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 3에 있어서, 상기 학습자 대화내용 입력 과정은,
학습자로부터 발성되는 대화음성을 문자로 변환하여 화면에 표시함을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 3에 있어서, 상기 대화학습 피드백 학습 과정은,
대화훈련 실패되었음을 알려주는 대화학습 결과 피드백 과정;
대화예시를 제시하고, 대화훈련 실패로 결정된 학습자로부터 대화예시 중에서 어느 하나의 대화예시를 선택받는 과정;
학습자 음성을 입력받아, 입력된 학습자 음성이 대화예시와 오차 범위내에서 일치하는 경우 대화예시 훈련 성공으로 결정하며, 일치하지 않는 경우 대화예시 훈련 실패로 결정하는 과정;
상기 대화예시 훈련 실패로 결정되는 경우, 대화내용을 재생하여 학습자가 대화내용을 듣도록 하는 과정;
대화내용을 모방하는 학습자 음성을 입력받아, 입력된 학습자 음성이 재생되는 대화내용과 오차 범위내에서 일치하는 경우 대화모방 훈련 성공으로 결정하며, 일치하지 않는 경우 대화모방 훈련 실패로 결정하는 과정;
상기 대화모방 훈련 실패로 결정되는 경우, 대화내용을 음성변환한 음성변환 대화내용을 재생하여 학습자가 음성변환 대화내용을 듣도록 하는 과정; 및
음성변환 대화내용을 모방하는 학습자 음성을 입력받아, 입력된 학습자 음성이 재생되는 음성변환 대화내용과 오차 범위내에서 일치하는 경우 음성변환 훈련 성공으로 결정하며, 일치하지 않는 경우 음성변환 훈련 실패로 결정하는 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 5에 있어서, 상기 대화내용을 음성변환하는 것은,
등장인물의 음성을 음성증폭, 속도조절하여 변환함을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 1에 있어서, 상기 대화실전더빙 훈련 과정은,
상기 대화훈련콘텐츠의 대화 동영상을 재생하는 대화 동영상 재생 과정;
상기 대화 동영상 재생 중에 대화가 생략된 등장인물의 등장시에 화면 정지 없이 학습자로부터 발성되는 대화음성을 학습자 더빙음성으로서 실시간으로 입력받는 학습자 더빙음성 입력 과정;
학습자로부터 입력된 학습자 더빙음성을 분석하여, 학습자 더빙음성이 미리 설정된 대화평가기준에 부합하는 더빙음성인 경우 더빙음성 훈련 성공으로 결정하며, 학습자 더빙음성이 상기 대화평가기준에 부합하지 않는 더빙음성인 경우 더빙음성 훈련 실패로 결정하는 더빙음성 평가 과정;
상기 더빙음성 훈련 성공으로 결정되면, 학습자 요청이 있는 경우 상기 증강현실 훈련 과정을 수행하는 증강현실화면 이동 과정; 및
상기 더빙음성 훈련 실패로 결정되면, 학습자에 대해 더빙음성 피드백 학습이 이루어지도록 하는 더빙음성 피드백 학습 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 7에 있어서, 상기 더빙음성 피드백 학습 과정은,
더빙음성 훈련 실패되었음을 피드백하여 알려주는 과정;
대화더빙을 이용한 대화학습에 사용되는 대화더빙 관련 학습자료를 제공하는 과정;
상기 대화더빙 관련 학습자료를 이용해 학습한 학습자로부터 더빙음성을 입력받아, 입력되는 학습자 더빙음성이 상기 대화평가기준에 부합하는 경우 1차학습 더빙음성 훈련 성공으로 결정하며, 부합하지 않는 경우 1차학습 더빙음성 훈련 실패로 결정하는 과정;
상기 1차학습 더빙음성 훈련 실패로 결정되는 경우, 1차학습 더빙음성 훈련 실패 원인을 분석하여 대화더빙 수정 학습자료를 제공하는 과정; 및
상기 대화더빙 수정 학습자료를 이용해 학습한 학습자로부터 더빙음성을 입력받아, 입력되는 학습자 더빙음성이 상기 대화평가기준에 부합하는 경우 2차학습 더빙음성 훈련 성공으로 결정하며, 부합하지 않는 경우 2차학습 더빙음성 훈련 실패로 결정하는 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 8에 있어서, 상기 대화더빙 관련 학습자료와 대화더빙 수정 학습자료는,
더빙음성 훈련 실패한 학습자의 실패원인에 대응할 수 있도록 학습자별로 다르게 제공되는 학습자료로서, 더빙음성 구간의 등장인물의 얼굴과 음성이 증폭된 동영상을 제공하며, 등장인물의 대사와 대화속도를 함께 표시함을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 1에 있어서, 상기 증강현실 훈련 과정은,
상기 대화훈련콘텐츠의 대화훈련 증강현실(AR)을 재생하는 증강현실 재생 과정;
상기 대화훈련 증강현실 재생 중에 학습자로 대체될 등장인물 등장시에, 학습자의 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 실시간으로 입력받아, 등장인물 대신에 학습자의 음성, 제스쳐, 및 표정으로 대체하여 표시하는 학습자 증강현실 입력 과정;
학습자로부터 입력된 증강현실 입력소스를 분석하여, 상기 증강현실 입력소스가 미리 설정된 대화평가기준에 부합하는 경우 증강현실 훈련 성공으로 결정하며, 상기 증강현실 입력소스가 상기 대화평가기준에 부합하지 않는 경우 증강현실 훈련 실패로 결정하는 증강현실 훈련 평가 과정; 및
상기 증강현실 훈련 실패로 결정되면, 학습자에 대해 증강현실 피드백 학습이 이루어지도록 하는 증강현실 피드백 학습 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 10에 있어서, 상기 증강현실 피드백 학습 과정은,
증강현실 훈련 실패되었음을 피드백하여 알려주는 과정;
증간현실을 이용한 대화학습에 사용되는 증강현실 관련 학습자료를 제공하는 과정;
상기 증강현실 관련 학습자료를 이용해 학습한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력받아, 입력되는 학습자의 증강현실 입력소스가 상기 대화평가기준에 부합하는 경우 1차학습 증강현실 훈련 성공으로 결정하며, 부합하지 않는 경우 1차학습 증강현실 훈련 실패로 결정하는 과정;
상기 1차학습 증강현실 훈련 실패로 결정되는 경우, 1차학습 증강현실 훈련 실패 원인을 분석하여 증강현실 수정 학습자료를 제공하는 과정; 및
상기 증강현실 수정 학습자료를 이용해 학습한 학습자로부터 음성, 제스쳐, 및 표정을 포함하는 증강현실 입력소스를 입력받아, 입력되는 증강현실 입력소스가 상기 대화평가기준에 부합하는 경우 2차학습 증강현실 훈련 성공으로 결정하며, 부합하지 않는 경우 2차학습 증강현실 훈련 실패로 결정하는 과정;
을 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 11에 있어서, 상기 증강현실 수정 학습자료는,
학습자가 증간현실에 참여하는 동안 대화 상대방에게 시선을 응시하지 못하고 주변 사물에 시선이 집중된다면, 대화 상대방의 눈을 강조하여 표시하거나 학습자의 시선 방향을 트랙킹하여 증강현실에 표시한 학습자료임을 특징으로 하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.
청구항 3, 청구항 7, 및 청구항 10 중 어느 하나의 항에 있어서, 상기 대화평가기준은,
언어적 대화의 경우, 핵심어 평가기준, 대화표현 평가기준, 대화반응속도 평가기준, 대화규칙 평가기준, 말속도 평가기준, 말소리 강도 평가기준, 대화반복 평가기준, 대화생략 평가기준, 대화억양 평가기준을 하나 이상 포함하며,
비언어적 대화의 경우, 표정 평가기준, 제스쳐 평가기준, 시선 평가기준을 하나 이상 포함하는 더빙/AR을 이용한 참여형 대화훈련 학습 방법.