KR100454599B1 - 사이버 캐릭터를 이용한 원격강의 방법 - Google Patents

Abstract

본 발명은 사이버 캐릭터를 이용한 원격 강의 방법에 관한 것으로서, 텍스트로 이루어진 교안을 입력하면 TTL(Text To Sound) 기술에 의해 음성이 자동생성되어 단어나 문맥에 따라 표정이나 동작이 변화되는 캐릭터에 의한 사이버 캐릭터가 강의를 진행하도록 하고 이 장면을 동영상으로 저장하여 제공하며 동영상 강의가 진행됨에 따라 해당되는 강의의 요점이 판서형식으로 나타나도록 동영상 강의와 강의요약을 연동(synchronization)시켜 웹문서상에 차례대로 나타나도록 하거나 미리 웹문서상에 나타나 있는 해당 강의 요점 부분에 표시를 하여 실제 교실 강의에서와 같은 판서효과를 얻을수 있을 뿐만 아니라 강의를 담당하는 선생님의 수급없이 교안이 변경됨에 따라 즉각적으로 강의내용을 변경할수 있으며 동영상의 파일크기가 작아 빠른 웹서비스 및 다운로드 서비스 등을 할수 있는 이점이 있다.

Description

사이버 캐릭터를 이용한 원격강의 방법{METHOD FOR DISTANCE LECTURING USING CYBER-CHARACTER}

본 발명은 사이버 캐릭터를 이용한 원격강의 방법에 관한 것으로서, 보다 상세하게는 텍스트로 이루어진 교안을 입력하면 TTS(Text To Speech) 기술에 의해 음성이 자동 생성되고 단어나 문맥에 따라 표정이나 동작이 변화되는 캐릭터에 의한 사이버 캐릭터가 강의를 진행하도록 하고 이 장면을 동영상으로 저장하여 제공하며 동영상 강의가 진행됨에 따라 해당되는 강의의 요점이 판서형식으로 웹문서상에 차례대로 나타나도록 동영상과 강의요점을 연동시켜 실제 교실 강의에서와 같은 판서효과를 얻을수 있도록 할뿐만 아니라 강의를 담당하는 선생님의 수급없이 교안이 변경됨에 따라 즉각적으로 강의내용을 변경할수 있도록 한 사이버 캐릭터를 이용한 원격강의 방법에 관한 것이다.

현재의 학습 방법은 기록 매체의 발달로 문서 위주의 학습지나 문제지 방식에서 벗어나, 카세트 테잎, 비디오 테잎, 및 방송강의, CD-ROM 등을 이용하여 점차 발전되고 있다.

최근에는, PC통신이나 인터넷을 이용하여 원거리에서 떨어진 사람들 사이에서도 시간에 구애받지 않고 원격 학습이 이루어지고 있다. 이러한 원격 학습 시스템의 예로서 국내 특허출원번호 1999-4399호에는 PC통신을 통해서 학생과 선생님 사이에서 양방향 학습을 할수 있는 양방향 교육 시스템과 그 제어방법에 관한 기술이 기재되어 있다.

도 1은 종래 기술에 의한 원격강의 방법을 나타낸 흐름도이다.

여기에 도시된 원격강의 방법은 먼저, 학생들이 학교에서의 학습내용 이외에 부가적으로 학습할수 있도록 하는 소정의 교육내용이 기재된 학습지나 문제지를 인쇄하여 학생들에게 배포하고, 배포된 학습지나 문제지의 교육내용에 대해 설명하는 선생님의 모습과 육성을 비디오카메라와 마이크 등을 이용하여 녹화하고 이를 동영상으로 변환하여 데이터베이스를 구축한다. 그러면, 사용자들이 웹서버에 접속하여 데이터베이스에 저장된 동영상을 통해 선생님이 강의하는 모습을 듣게 된다.

또한, 학습지 및 문제지를 웹서버에서 제공할 경우에는 직접 접속한 상태에서 학습하거나 프린터를 통해 출력하여 사용함으로써 학습지의 배포과정을 줄이기도 한다.

이와 같이 학습지 및 문제지를 웹서버에서 제공할 경우 웹서버에 등록된 학습지 등을 변경할 경우 사용자들은 새롭게 변경된 문제지를 즉시 제공받을수 있다.

그러나 새롭게 변경된 학습지를 강의하는 동영상의 경우 변경된 부분을 갱신하기 위해 선생님의 강의하는 모습을 다시 녹화하여야 한다.

그런데, 동영상에서 강의하는 모습을 선생님이 강의하는 모습을 녹화하여 제공하기 때문에 변경된 학습지의 일부분을 녹화하기 위해 선생님을 초청하기에는 많은 비용이 소요되어 학습지 등의 교안이 변경될 경우 즉시 변경되지 않는 문제점이 있다.

또한, 학습지의 일부분이 변경되었을 경우라도 전과정을 모두 다시 녹화하여 동영상을 다시 제작할 경우 동일한 부분까지 재작업을 해야하기 때문에 필요없는 시간이 소요되는 문제점이 있다.

한편, 선생님이 강의하는 모습을 비디오카메라 등으로 녹화하여 동영상을 제작할 경우 해상도에 따라 파일크기가 커지게 되어 통신상태에 많은 영향을 받게 되는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은 텍스트로 이루어진 교안을 입력하면 TTS기술에 의해 음성이 자동생성되고 단어나 문맥에 따라 표정이나 동작이 변화되는 캐릭터에 의한 사이버 선생님이 강의를 진행하도록 하고 이 장면을 동영상으로 저장하여 제공함으로써 강의를 담당하는 선생님의 수급없이 교안이 변경됨에 따라 즉각적으로 텍스트를 수정함으로써 강의 내용을 변경할수 있을뿐만 아니라 동영상의 파일의 용량을 적게 하여 인터넷을 통한 빠른 서비스 및 다운로드 서비스가 이루어질수 있도록 한 사이버 캐릭터를 이용한 원격강의 방법을 제공함에 있다.

또한, 동영상 강의가 진행됨에 따라 해당되는 강의의 요점을 동영상 강의와 연동(synchronization)시킴으로써 판서형식으로 웹문서상에 차례대로 나타나도록 하거나 미리 웹문서상에 나타나있는 해당 강의 요점 부분에 표시를 하여 실제 교실 강의에서와 같은 판서효과를 얻을 수 있도록 한 사이버 캐릭터를 이용한 원격 강의 방법을 제공함에 있다.

도 1은 종래 기술에 의한 원격강의 방법을 나타낸 흐름도이다.

도 2는 본 발명에 의한 사이버 캐릭터를 이용한 원격강의 방법을 설명하기 위해 순차적으로 도시한 흐름도이다.도 3은 본 발명에 의한 사이버 캐릭터를 이용한 원격강의 방법에 의해 동영상강의 파일의 제작과정을 나타낸 도면이다.

상기와 같은 목적을 실현하기 위한 본 발명은, 복수의 애니메이션 캐릭터들, 상기 캐릭터들의 움직임(립싱크, 표정 및 동작)을 위한 키프레임들 및 강의내용의 요점정리 문서들을 저장하고 있는 컴퓨터 장치에서 사이버 원격강의 파일을 제작하기 위한 방법이, 사용자가 입력하는 텍스트 교안을 메모리에 저장하는 단계와, 상기 사용자의 요구에 따라 상기 저장되어 있는 복수의 애니메이션 캐릭터들을 화면에 디스플레이하는 단계와, 상기 사용자의 선택에 의해 상기 애니메이션 캐릭터들중 하나를 사이버 강의를 수행할 사이버 선생님으로 설정하는 단계와, 전체 강의시간을 나타내는 타임트랙을 화면에 디스플레이하는 단계와, 상기 사용자의 조작에 따라 상기 사이버 선생님의 표정정보들, 동작정보들 및 강의내용의 요점정리 문서들을 상기 타임트랙 상에 할당하는 단계와, 동영상파일 제작키 입력시, 상기 저장되어 있는 텍스트 교안을 TTS(Text To Speech)변환하여 음성을 출력하는 단계와, 상기 사이버 선생님으로 설정된 캐릭터가 상기 출력되는 음성에 따라 자동 립싱크를 수행하고, 상기 표정정보들 및 동작정보들이 할당된 강의시간들에서 해당 동작을 수행하는 동영상 파일을 키프레임 합성을 통해 생성하여 저장하는 단계와, 웹문서 제작키 입력시, 상기 동영상 파일을 포함하며, 상기 요점정리 문서들이 상기 타임트랙상의 해당 시간들에서 디스플레이되는 웹문서를 제작하여 저장하는 단계와, 상기 저장된 웹문서를 웹상(WEB)에 서비스하기 위해 웹서버에 구축하는 단계를 포함하여 이루어진 것을 특징으로 한다.

위와 같이 이루어진 본 발명은 캐릭터를 사용한 사이버 캐릭터를 이용하여 교안을 읽고 설명하도록 함으로써 선생님의 초청 및 녹화에 따른 복잡한 문제를 해결하여 교안이 변경 되는대로 즉시 동영상 파일을 변경할수 있으며, 녹화된 영상을 동영상으로 제작하는 것이 아닌 컴퓨터 내에서 캐릭터에 의해 처리된 동영상을 저장함으로써 동영상 파일의 크기를 줄일수 있게 된다.

이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 또한 본 실시예는 본 발명의 권리범위를 한정하는 것은 아니고, 단지 예시로 제시된 것이다.

도 2는 본 발명에 의한 사이버 캐릭터를 이용한 원격강의 방법을 설명하기 위해 순차적으로 도시한 흐름도이다. 이하 설명되는 알고리즘에 따른 프로그램은 개인용 컴퓨터(PC)에 설치되며, 사용자는 상기 프로그램을 실행하여 동영상 파일을 포함하는 웹문서를 제작하게 된다. 도 3은 상기 프로그램 실행시 컴퓨터 모니터에 디스플레이되는 화면을 보여준다. 이하 알고리즘 수행의 주체를 컴퓨터의 제어부(CPU)로 하여 설명하며, 사용되는 자원들(예 : 기억장치, 디스플레이장치, 입력장치 등)은 일반적으로 개인용 컴퓨터에 구비되는 자원임을 밝혀둔다.

도시된 바와 같이 먼저, 상기 프로그램이 실행되어 도 3과 같은 화면이 디스플레이된 상태에서, 사용자가 TTS 입력창에 강의를 위한 학습지 및 교안 등의 교재(교안 텍스트)를 입력하면, 상기 제어부는 상기 입력되는 교안 텍스트를 메모리에 저장한다(S10).

이후, 상기 제어부는 상기 사용자의 선택에 따라 교안을 설명하여 원격강의를 수행할 사이버 선생님인 캐릭터를 설정한다(S20).즉, 상기 제어부는 3D로 디자인(모델링)된 다양하게 구성한 사이버 캐릭터 집합(남자, 여자, 안경 착용의 유무, 하복, 동복 등의 옷차림 및 악세사리 등의 차이)을 화면에 디스플레이하고, 예를 들어 사용자가 남자 3D캐릭터 세트에서 안경을 쓴 3D캐릭터를 선택할 경우, 제어부는 도 3에 도시된 바와 같이 안경을 쓴 남자 3D캐릭터를 사이버 선생님으로 설정하여 저장한다. 여기서, 상기 사이버 캐릭터의 집합(복수의 애니메이션 캐릭터들)은 도 3과 같은 제작 툴(tool) 제조당시 제조자에 의해 제작되는 것으로, 상기 복수의 애니메이션 캐릭터들은 사용자가 상기 제작툴에 따른 프로그램을 컴퓨터에 설치시 상기 컴퓨터의 해당 기억장치에 저장된다.상기와 같이 사이버 선생님이 설정된후, 상기 제어부는 상기 메모리에 저장되어 있는 텍스트 교안을 TTS(Text To Sound)변환하여 음성을 자동으로 생성하여 출력한다(S30). 이때 상기 출력되는 음성에 따라 사이버 캐릭터의 입모양을 변화시키고, 타임트랙상에 배치되는 움직임(표정 및 동작) 정보들에 근거하여 캐릭터의 움직임을 제어한다. 사용자는 입력장치(키보드, 마우스 등)를 조작하여 음성의 구문, 문맥에 어울리는 표정정보(눈썹 치켜올리기, 눈꼬리 올리기) 및 동작정보(손올리기, 안경올리기)를 상기 타임트랙상에 배치한다. 여기서, 3D 캐릭터로 설정된 사이버 선생님의 움직임에 필요한 입모양, 동작 및 표정은 각기 모션캡쳐 및 키프레임 애니메이션, 페이셜 애니메이션 기법을 통해 다양하게 제작되어 데이터베이스에 미리 구축되어 있다. 즉, 상기 제어부는 상기 TTS기술에 의해 생성된 음성에 따른 립싱크를 위한 정보(입모양), 표정정보 및 동작정보를 상기 데이터베이스로부터 독출하고, 상기 독출된 정보(키프레임 등)를 상기 사이버 선생님으로 설정된 캐릭터(애니메이션)에 합성하여 상기 캐릭터가 동작하도록 제어한다(S40).그런 다음, 사용자가 제작키를 입력하면, 상기 제어부는 상기 생성된 음성정보에 따라 음성을 출력하고, 상기 설정된 캐릭터가 상기 독출된 립싱크를 위한 정보, 표정정보 및 동작정보에 따라 움직이는 동영상 파일을 제작하여 저장한다(S50). 여기서 상기 캐릭터는 음성합성엔진을 사용하여 생성된 음성의 모음구조에 따라 자연스러운 입 모양을 구현하는 자동 립싱크(Lip Synchronization)를 하게 된다. 이러한 자동 립싱크와 함께, 상기 출력되는 음성의 단어나 문맥에 가장 잘 어울리는 동작 및 표정을 도 3에 도시된 바와 같이 일정 시간 간격으로 반복하게(소정 간격으로 타임트랙에 배치) 함으로써, 상기 설정된 사이버 캐릭터가 단어나 구문, 문맥에 어울리는 자연스런 동작 및 표정으로 텍스트 교안에 따라 강의하도록 동영상 파일을 제작하여 데이터베이스를 구축하게 된다.상기와 같이 TTS에 의해 생성된 음성신호와 애니메이션의 움직임을 동기(synchronization)화하는 것은 공개특허공보 특2000-9490호에 기재되어 있는 바와 같이 본원 출원 당시 이미 공지되어 있는 기술이므로 상세한 설명을 생략할수 있으나 본 발명의 이해를 돕기 위해 간단히 살펴보면 다음과 같다.상기 공개특허공보 특2000-9490호의 특허청구범위에 기재된 바와 같이, 립싱크 방법은 먼저 TTS결과로부터 한 음절 단위로 적어도 음절을 구성하는 음소들에 대한 코드와 음절별 지속시간 정보를 얻는다. 그리고 상기 음절별 지속시간내에서 상기 음소들 각각에 대한 음소별 지속시간을 할당한다. 이후 음소별로 입모양 정보를 정의한 소정의 참조 테이블을 참조하여 상기 각각의 음소별 지속시간내에서 상기 음소별 각각에 대해 입모양을 나타내는 적어도 하나의 동영상 키프레임을 생성한다. 그리고 인접한 키 프레임들간의 보간으로 소정수의 연속되는 중간 프레임을 만들어 상기 음성 합성 결과와 동기된 입모양을 갖는 동영상을 생성하고, 상기 정지 영상 데이터에 합성한다. 그리고 상기 합성된 동영상을 상기 음성 합성 결과와 동기하여 출력한다. 즉, 키프레임 애니메이션을 정지 화상에 합성하는 방식으로 TTS에 의해 생성되는 음성과 캐릭터의 움직임을 동기화한다.이와 같이, 애니메이션 캐릭터가 TTS에 의해 생성되는 음성에 따라 자동 립싱크를 수행하는 기술 및 키프레임을 정지화상에 합성하여 동영상을 만드는 기술은 공지의 기술이므로 상세한 설명은 생략한다.

상기와 같이 동영상 파일이 제작되면, 상기 제어부는 상기 제작된 동영상 파일과 요점정리 문서가 연동된 웹문서를 제작한다(S60). 즉, 상기 도 3에 도시된 바와 같이, 사용자가 강의내용에 맞추어 타임트랙 내에 요점정리 문서(첨삭정보 포함)들을 배치하면, 상기 제어부는 해당 강의시점에서 해당 요점정리 문서가 디스플레이되도록 웹문서를 제작하여 저장한다. 여기서 상기 타임트랙은 전체 강의시간을 시간축으로 나타낸 것으로, 도 3을 참조하면 강의를 시작하고 1초(1s)가 되는 시점에서 도큐먼트 1을 웹문서에 디스플레이하게 된다.상기 도 3은 TTS기술을 이용해 동영상을 용이하게 제작하기 위한 툴(tool)의 일 예를 보여주는 것으로, 이 동영상 제작 툴은 TTS에 의한 동영상 제작뿐만 아니라 동영상(또는 음성정보)과 요점정리 문서들이 시간적으로 동기되어 있는 웹문서의 제작을 가능하게 한다. 즉, 요점정리 문서는 웹상에서 서비스될수 있도록 HTML이나 SGML, XML 또는 PDF 파일 형식의 문서로 미리 제작되어 저장되고, 사용자의 편집에 따라 상기 문서들은 미리 제작된 동영상 파일과 연동된다.

또는, 이미 문서에 요점정리의 내용이 표시되어 있는 상태에서는 동영상 강의가 진행됨에 따라 강의 내용과 일치하는 부분의 요점정리에 글자색을 변경하는 등의 방법으로 표시할수도 있다.

이후 상기 제작된 동영상 파일과 상기 미리 제작된 웹문서가 연동된 웹문서를 인터넷의 웹서버를 통해 원격의 사용자들에게 제공함으로써 웹서비스를 수행한다(S70).

한편, 동영상 파일의 크기가 작아서 사용자가 자신의 컴퓨터로 다운로드하여 강의를 들을수 있도록 다운로드 서비스를 할수도 있다.

위와 같이 텍스트 교안을 TTS기술을 이용한 사이버 캐릭터를 통해 강의를 함으로써 교안의 일부가 변경될 경우에도 즉시 강의내용을 즉시 변경하여 제공할수 있게 된다.

상기한 바와 같이 본 발명은 텍스트로 이루어진 교안을 입력하면 TTS기술에 의해 음성이 자동생성되고 단어나 문맥에 따라 표정이나 동작이 변화되는 캐릭터에 의해 강의를 진행하도록 하고 이 장면을 동영상으로 저장하여 제공함으로써 강의를 담당하는 선생님의 수급없이 교안이 변경됨에 따라 즉각적으로 강의내용을 변경할 수 있는 이점이 있다.

또한, 동영상 강의가 진행됨에 따라 해당되는 강의의 요점이 동영상 강의 내용과 연동되어 판서형식으로 웹문서상에 차례대로 나타나도록 함으로써 실제 교실 강의에서와 같은 판서효과를 얻을수 있는 이점이 있다.

또한, 캐릭터에 의해 컴퓨터 내에서 처리되기 때문에 동영상 파일의 제작이 용이하며 동영상 파일의 용량이 적어 인터넷 등의 통신망을 통한 빠른 서비스가 이루어질수 있는 이점이 있다.

Claims (3)

1. 복수의 애니메이션 캐릭터들, 상기 캐릭터들의 움직임(립싱크, 표정 및 동작)을 위한 키프레임들 및 강의내용의 요점정리 문서들을 저장하고 있는 컴퓨터 장치에서 사이버 원격강의 파일을 제작하기 위한 방법에 있어서,

   사용자가 입력하는 텍스트 교안을 메모리에 저장하는 단계와,

   상기 사용자의 요구에 따라 상기 저장되어 있는 복수의 애니메이션 캐릭터들을 화면에 디스플레이하는 단계와,

   상기 사용자의 선택에 의해 상기 애니메이션 캐릭터들중 하나를 사이버 강의를 수행할 사이버 선생님으로 설정하는 단계와,

   전체 강의시간을 나타내는 타임트랙을 화면에 디스플레이하는 단계와,

   상기 사용자의 조작에 따라 상기 사이버 선생님의 표정정보들, 동작정보들 및 강의내용의 요점정리 문서들을 상기 타임트랙 상에 할당하는 단계와,

   동영상파일 제작키 입력시, 상기 저장되어 있는 텍스트 교안을 TTS(Text To Speech)변환하여 음성을 출력하는 단계와,

   상기 사이버 선생님으로 설정된 캐릭터가 상기 출력되는 음성에 따라 자동 립싱크를 수행하고, 상기 표정정보들 및 동작정보들이 할당된 강의시간들에서 해당 동작을 수행하는 동영상 파일을 키프레임 합성을 통해 생성하여 저장하는 단계와,

   웹문서 제작키 입력시, 상기 동영상 파일을 포함하며, 상기 요점정리 문서들이 상기 타임트랙상의 해당 시간들에서 디스플레이되는 웹문서를 제작하여 저장하는 단계와,

   상기 저장된 웹문서를 웹상(WEB)에 서비스하기 위해 웹서버에 구축하는 단계를 포함하여 이루어진 것을 특징으로 하는 방법.
2. 제1항에 있어서,

   상기 요점정리 문서는 PDF, SGML, XML, HTML중 어느 하나인 것을 특징으로 하는 방법.
3. 제1항에 있어서,

   상기 제작된 웹문서는 사용자 단말기로 실시간 제공 및 다운로드 방식으로 제공되는 것을 특징으로 하는 방법.