KR20090132914A - 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템 - Google Patents

Abstract

본 발명은 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템 및 상기 시스템에서의 페이셜애니메이션제어방법에 관한 것이다.

본 발명에서는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템에 있어서, 메쉬정보파일과, 아바타 얼굴 애니메이션 정보파일을 포함하는 서버(100)와; 아바타의 3차원 입체영상을 출력하는 교수용 그래픽유저인터페이스부(330) 및, 다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인 후 상기 교수용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 교수자용 3차원 게임엔진모듈(310)을 포함하고, 상기 서버와 통신수단을 통해 연결되어 있는 교수자용 클라이언트(300)와; 아바타의 3차원 입체영상을 출력하는 학생용 그래픽유저인터페이스부(230)와, 다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인 후 상기 학생용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 학생용 3차원 게임엔진모듈(210)을 포함하고, 상기 서버 및 상기 교수자용 클라이언트와 통신수단을 통해 연결되어 있는 학생용 클라이언트(200);를 포함하고, 각각의 클라이언트에서 얼굴표정을 표현하기 위해서 메쉬정보파일과 아바타 얼굴 애니메이션 정보파일이 존재하지 않을시 상기 서버로부터 다운받아 각각의 클라이언트에 저장하고 강의중에 학생들 및 교수자가 얼굴표정을 선택시 얼굴표정메시지를 3차원 정보로 처리하여 각각의 클라이언트에 통신수 단을 통하여 전달하고 전달받은 상기 교수용 클라이언트(300)와 상기 학생용 클라이언트(200)가 상기 교수용 그래픽유저인터페이스부(330)와 상기 학생용 그래픽유저인터페이스부(230)에 3차원 입체영상으로 각각 얼굴표정을 출력하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 구성이 제시된다.

또한 본 발명에서는, 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서, 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와; 학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 3단계와; 다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 4단계와; 다른 학생용 클라이언트의 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법이 제시된다.

3차원게임엔진,페이셜 애니메이션,원격강의

Description

페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템 {The facial animation control method and a 3D Game Engine based real-time interactive remote lecture system}

본 발명은 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템 및 페이셜애니메이션제어방법에 관한 것이다. 좀 더 자세하게는 게임엔진기술과 대화형 3D(가상현실) 기반의 원격교육 시스템을 효과적 결합하여 3차원의 온라인 공간상에서 원격강의를 위한 게임 엔진 기반의 실시간 대화형 원격강의시스템 및 페이셜애니메이션제어방법에 관한 것이다.

본 발명의 근간을 이루고 있는 3D 게임 엔진 개요를 살펴보자. 게임 엔진은 게임의 핵심이 되는 소프트웨어 컴포넌트를 말한다. 게임 엔진을 이용하여 서로 다른 미디어 요소들을 모두 결합하여 동작하는 게임을 만들게 된다. 미디어요소로는 게임의 규칙, 사운드 파일, 그래픽 파일, 3D 모델, 레벨 지형과 다른 아트 클립들이 있다. 게임 엔진의 가장 공통된 요소는 그래픽 렌더링 능력이라고 할 수 있으며, 전형적인 엔진은 도 38에 나타난 기능들이 포함되어야만 한다. 도 38에 열거한 기능들은 엔진마다 성능에는 차이가 있을 수 있지만, 모두 게임의 핵심을 이 루는 중요한 요소들이다. 엔진은 차의 엔진과 비교될 수 있다. 차의 엔진을 바꾼다면 완전히 다른 차로 변신할 수 있는 것처럼 게임 엔진에 포함된 그래픽, 사운드, 모델, 애니메이션, 게임 로직들만 바꾼다면 다른 내용을 가진 게임으로 바꿀 수가 있다. 모듈화된 게임 엔진의 구조도를 보면 도 1과 같다.

다음으로 Torque 게임 엔진에 대해서 설명하면, Torque 게임 엔진은 Garagegames사에서 개발한 상용 게임 엔진으로 코어 엔진이 $100인 최저가의 엔진이다. 이 게임엔진은 소규모 인디게임 개발사에서 저비용으로 실험적 게임 제작에 적합한 엔진이다. 그러나 실제 이 엔진을 MOD 게임 제작방식으로 이용하더라도 상용게임을 제작할 수가 있으며, 현재 $20내외의 가격으로 여러 가지 게임 콘텐츠들이 출시되고 있다. 토크 엔진은 고가의 엔진들과 비교할 때 비록 성능 면에서는 떨어지지만 고가의 3D 게임 엔진에서 제공하는 여러 가지 기능들을 대부분 제공하고 있다. 토크 게임엔진의 최하단의 플랫폼 계층에서 파일과 네트워크처리, 그래픽 초기화, 사용자 입력처리, 이벤트 처리 등을 담당하는 요소들은 도 2에 도시된 바와 같다.

토크 스크립트 언어로 실행되는 콘솔 라이브러리를 포함하고 있으며, TGE를 이루는 GUI 요소, 게임 오브젝트, 게임 로직, 인터페이스가 모두 콘솔에 의해서 조절 가능하다. 또한 토크 엔진은 리소스 관리자에서 지형 파일, 비트맵, 모형 데이터, 오브젝트 데이터, 폰트와 같은 많은 게임 데이터를 포함하는 리소스의 로딩 혹은 저장과 같은 일들을 관리한다. TGE(Torque Game Engine)는 그래픽 래스터 처리를 직접 하지 않고 OpenGL API(또는 Direct3D API)를 사용하며 리소스와 그래픽 기 본 요소의 고수준 처리를 위한 확장 OpenGL을 포함하고 있다. 그리고 게임 속에서 사용되는 모든 텍스처의 로딩과 저장 작업을 관리할 수 있는 텍스처 매니저를 제공한다. 그리고 게임 사용자의 인터페이스를 개발할 목적으로 만들어진 TGE 사용자 인터페이스 라이브러리가 제공된다. Canvas 오브젝트는 GUI 라이브러리 계층 중에서 가장 상위 계층에 존재하는 오브젝트이다. 이 오브젝트는 마우스와 키보드 이벤트 처리, 화면 영역과 커서의 업데이트, 다음 화면을 그릴 시간이 될 경우에 거기에 맞는 적절한 렌더링 관련함수를 호출하게 된다. 무엇보다 토크엔진에는 네트워킹 요소가 포함되어 있다는 장점이 있으며, 별도로 네트워킹 부분만을 분리하여 “Open TNL”라는 이름으로 릴리즈 되어 있다.

TNL은 고성능 시뮬레이션과 게임을 위하여 고안된 크로스-플랫폼 C++ 네트워크 API로 사용하기 쉽고, 안전하며, 견고한 장점을 가진다. TNL 네트워크 구조는 점차적으로 최상의 멀티 플레이어 액션 게임으로 보강되어 오고 있다.

Torque 게임 엔진 장점은, Game Engine, Shader Engine, OpenAL 사운드 엔진, TNL 네트워크 라이브러리를 사용가능하고, 많은 개발자 커뮤니티 환경, 포럼 제공으로 기술적 접근 용이하고 게임 개발에 필요한 다양한 툴 제공으로 개발 기간 단축되고, 강력한 게임 스크립트의 제공으로 빠른 기간 내에 MOD 형태의 게임 개발이 가능하다.

현재 대부분의 교육용 컨텐츠는 학습자들에게 많은 배움의 기회를 제공하고 있음에도 불구하고 그 내용과 형식면에서 필연적으로 가질 수밖에 없는 한계와 문제점으로 인하여, 이를 대체하는 새로운 차세대 교육 컨텐츠의 제작 방법에 관한 연구가 절실히 요구되고 있다. 그 문제점들을 열거해보면 다음과 같다. 교육 목적과 게임 요소의 부조화, 참고서/문제집 식의 교육 내용 구성, 시나리오상의 확장성 결여, 멀티미디어 데이터의 적극적인 이용 부족, 교육 과정에서 생긴 교육적 부산물들을 다른 사용자와 공유하지 못하고 있다.

이의 극복방안으로는 게임 엔진 기술과 대화형 3D(가상현실) 기반의 원격교육 시스템의 효과적 결합을 통한 솔루션 개발 및 보급 확산을 통해서 극복하고, 가상 체험 인터넷 기반의 교육, practice, 평가로 이어지는 내용 구성하고, 테마형(맞춤식) 학습 시나리오 모델 제시를 통해 학습한 대로 체험하고 체험한 것을 학습한다. 또한 뉴 리치미디어 중심의 데이터 생산 및 적극적 활용하고, 차세대 MMOG(Massively Multiplayer Online Game) 기반으로 구성하여 협동문제 해결 및 커뮤니티 강화하고, RTS(Real-Time Simulation) 기반으로 즉각적으로 실시간 피드백이 가능하게 하고, 타겟별 대상별 UCC(User Created Contents)가 가능한 시스템 보급을 추진할 수 있다.

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해서 제안된 것으로, 게임 엔진 기술과 대화형 3D(가상현실) 기반의 원격교육 시스템의 효과적 결합을 통한 솔루션 개발 및 보급을 확산하고, 가상 체험 인터넷 기반의 교육, 실습, 평가를 가능하도록 하는데 목적이 있다. 그리고 쌍방향 실시간 대화형 수업을 제공하는 데 목적이 있다.

결론적으로 본 발명은 게임엔진기술과 대화형 3D(가상현실) 기반의 원격교육 시스템을 효과적 결합하여 3차원의 온라인 공간상에서 원격강의를 위한 게임 엔진 기반의 실시간 대화형 원격강의시스템 및 페이셜애니메이션제어방법을 제공하는데 목적이 있다.

상기한 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는,

제 1 관점으로서,

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템에 있어서, 메쉬정보파일과, 아바타 얼굴 애니메이션 정보파일을 포함하는 서버(100)와; 아바타의 3차원 입체영상을 출력하는 교수용 그래픽유저인터페이스부(330) 및, 다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인 후 상기 교수용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 교수자용 3차원 게임엔진모듈(310)을 포함하고, 상기 서버와 통 신수단을 통해 연결되어 있는 교수자용 클라이언트(300)와; 아바타의 3차원 입체영상을 출력하는 학생용 그래픽유저인터페이스부(230)와, 다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인 후 상기 학생용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 학생용 3차원 게임엔진모듈(210)을 포함하고, 상기 서버 및 상기 교수자용 클라이언트와 통신수단을 통해 연결되어 있는 학생용 클라이언트(200);를 포함하고, 각각의 클라이언트에서 얼굴표정을 표현하기 위해서 메쉬정보파일과 아바타 얼굴 애니메이션 정보파일이 존재하지 않을시 상기 서버로부터 다운받아 각각의 클라이언트에 저장하고 강의중에 학생들 및 교수자가 얼굴표정을 선택시 얼굴표정메시지를 3차원 정보로 처리하여 각각의 클라이언트에 통신수단을 통하여 전달하고 전달받은 상기 교수용 클라이언트(300)와 상기 학생용 클라이언트(200)가 상기 교수용 그래픽유저인터페이스부(330)와 상기 학생용 그래픽유저인터페이스부(230)에 3차원 입체영상으로 각각 얼굴표정을 출력하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 구성이 제시된다.

제 2 관점으로서,

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서, 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와; 학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 3단계 와; 다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 4단계와; 다른 학생용 클라이언트의 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법이 제시된다.

본 발명에 의한 3차원의 온라인 공간상에서 원격강의를 위한 게임 엔진 기반의 실시간 대화형 원격강의시스템 및 페이셜애니메이션제어방법을 통해서 가상 체험 인터넷 기반의 교육,실습, 평가로 이어지는 쌍방향의 맞춤식 교육이 가능하다. 또한 테마형(맞춤식) 학습 시나리오 모델 제시를 통해 학습한 대로 체험하고 체험한 것을 학습할 수 있는 효과가 있다. 또한 가상 체험 인터넷 기반의 강의를 통해서 협동문제 해결 및 커뮤니티 강화할 수 있고, RTS(Real-Time Simulation) 기반으로 즉각적으로 실시간 피드백이 가능해지는 효과가 있다.

다음으로 본 발명의 부수적 효과를 설명한다. 기술적 중요성을 설명하기로 한다. 세계적으로 광범위한 응용성을 지닌 얼굴 애니메이션(Facial Animation) 기술의 국산기술력의 확보와 범용 응용적용기술(감성기술등)확산시키고, 실시간 온라인 교육시스템의 바탕이 되는 MPOG(Multi-Player Online Game)기반의 안정되고 보안성이 강한 대규모 네트워크 분산처리기술을 확보하고, 3D Game Engine 조작, 처리 기술의 확보를 통한 우수한 교육콘텐츠 개발확산시키고, 보이스 통신을 통한 실 시간 커뮤니케이션 개선 기술의 확보를 하고, 실시간 Facial 및 Avatar 몸동작 제어 기술의 확보로 인간친화형 CT융합기술로 진화시킬수 있다.

다음으로, 경제적 중요성을 설명하기로 한다. 실시간 초특급의 글로벌 교수진을 통한 효과적 체험학습선택 확산가속화하고, 고비용의 유학시장의 대체시장 제공 및 국내 고비용 사교육시장의 대체가속화하고, 온라인 체감형 원격교육의 확산으로 교육문화의 패러다임의 변화확산예고를 통해서 교육은 온라인에서, 문화학습 및 놀이, 커뮤니티는 오프라인에서라는 인식을 시키고, 세대를 초월하는 500조 규모의 온라인 평생교육시장의 실질적인 확산을 가속화한다. 또한 평생학습시장의 장을 열고 높은 고연령의 세대를 온라인으로 유도할 수 있다.

다음으로 산업적 중요성을 설명하기로 한다. 500조 시장규모의 차세대 이러닝 산업의 전략 육성 및 확대 가속화시키고, 차세대 온라인 교육콘텐츠 및 플랫폼기술보유 국내 글로벌 기업 탄생계기를 마련하고, 비상업적, 공공기반의 건전하고 고품질의 체감형 3D 게임콘텐츠 제작기업 확산시키고, 구글어스 이상의 차별화된 대체 국내 산업의 탄생으로 글로벌 시장 공략계기를 마련하고, 교육산업의 기술적, 문화적 혁신적인 진화를 구현하고, 차세대 대화형 3D기술의 적용성과 가용성에 능숙한 산업인재집중양성계기를 마련할 수 있다.

다음으로 본 발명을 이용할 수 있는 응용분야를 설명하면, 초중고 이러닝, 사이버대학, 글로벌 커뮤니티, 직원 사내 교육, 원격 세미나, 원격 화상 상담, 공공기반의 사이버투어 (CT응용분야: 네비게이션, 빌딩외부/내부정보제공, 차세대 홍보/광고수단제공)서비스분야 및 MI3D, 메디칼 대화형 3D, HI3D, 호텔 대화형 3D, 관광, 컨벤션 체험관, 리조트, 대학캠퍼스 투어, 박물관등에서 응용할 수 있다.

본 발명의 파급효과를 정리해 보면, 딱딱한 학습 과정이 재미있고 친숙한 환경으로 변화되고, 기존 온오프라인에서 이루어지고 있는 500조 규모의 사교육 시장과 고비용 유학 시장을 대체할 수 있고, 초중고생들에게 재미와 학습효과를 유발하고 방학 또는 방과 후 학습을 대체할 수 있고, 사이버대학에서는 글로벌하게 우수한 교수의 특강 등을 더 많은 학생들에게 서비스를 통한 고비용 유학시장의 개선을 시킬 수 있어 결론적으로 온라인으로는 고품질의 교육을 제공하고 오프라인으로는 활발한 커뮤니티 활동을 유발하게 된다.

이하에서는 첨부한 도면을 참조하면서 본 발명의 실시 예에 대한 구성 및 작용을 상세하게 설명하기로 한다.

우선 본 발명을 좀 더 용이하게 이해하기 위해서 본 발명의 중요한 구성요소인 페이셜 애니메이션 구현 방법에 관해 설명하기로 한다. 페이셜 애니메이션을 위한 방식은 총 3개로 나눠진다 몰프 방식, 텍스쳐 방식이 있고 그 두 개를 같이 사용하는 혼합방식이 있다. 그리고 몰프 방식에서는 또 본방식과 더미와 같은 컨트롤러로 제작하는 방식으로 나눠진다. 페이셜 애니메이션을 구현하기 위한 방식 중 본방식의 경우 이동은 가능하나 사이즈 조절과 이동에 대한 제약이 있어서 제대로 하기 위해선 또 다른 프로그래밍 수정이 필요하게 된다 그리고 다른 본과도 헷갈려서 사용하기가 조금 불편한 점이 있다. 텍스쳐 방식은 얼굴표정이 진행될 때마다 텍스쳐를 갈아야하므로 메모리 사용량이 많아지고 일일이 수작업을 해야하는 번거로움 이 있다. 본 발명에서 사용한 더미 컨트롤러 방식은 이러한 어려운 부분들을 해결했다. 기본적으로 얼굴 근육의 제어에 필요한 컨트롤러(더미)의 이동과 사이즈 그리고 회전이 가능하므로 사용하기도 편리하며 얼굴을 근육의 흐름에 맞게 실시간으로 제어하므로 사실적인 표현이 가능하며 추가적으로 좀 더 과장된 표현이 가능해졌다. 도 54는 더미를 이용 페이셜 애니메이션을 표현하기 위해서 얼굴의 볼 살이 이동하는 도면이고 도 55는 더미를 이용 페이셜 애니메이션을 표현하기 위해서 얼굴의 볼 살 중 일부분을 확대하는 도면이다. 이와 같은 방법은 교수자가 수업진행에 있어서 좀 더 과장된 표현은 수업에 재미를 주고 전달해야하는 강의내용에 몰입도를 높여줄 수 있어서 교육 솔루션에 효과적이며 다른 유사가상공간에서도 활용 범위가 높다고 할 수가 있다.

본 발명의 페이셜 애니메이션을 표현하기 위해서 사용하는 DTS파일과 DSQ파일을 만드는 과정에 대해서 설명하기로 한다. DTS파일은 페이셜 애니메이션을 그래픽유저인터페이스에 표현하기 위해서 사용되는 파일로서 DTS 파일은 메쉬정보를 가지고 있는 파일이고 DSQ파일은 애니메이션 데이터를 가지고 있는 파일이다. 페이셜 애니메이션을 표현하기 위한 파일을 만들기 위해서 3차원 그래픽툴인 3DSMAX에서 메쉬를 만들고 각각의 더미를 근육흐름에 맞게 셋팅을하고 페이셜 애니매이션을 각각 진행한 다음 스크립트 코드를 이용해서 DTS 파일과 DSQ 파일을 생성하게 된다. 이 두가지 파일들은 먼저 서버에 올라가고 각각 교수자용 클라이언트와 학생용 클라이언트가 서버에 접속하였을 때 업데이트 여부를 판별하여 교수자용 클라이언트와 학생용 클라이언트의 특정한 폴더 위치에 이동하여 강의시에 페이셜 애니메이션 을 표현하기 위해서 사용하게 된다. 도 56은 본 발명에서 페이셜 애니메이션의 계층구조를 보여주고 있다. 본 발명의 플랫폼 밑에 3차원 게임엔진 서버와 학생용 3차원 게임 엔진과 교수자용 3차원 게임엔진이 있고 그 밑에 각각 페이셜 애니메이션시에 필요한 DTS 파일과 DSQ파일들이 위치해 있다.

실시간으로 구현되는 페이셜 애니메이션(얼굴표정)은 장면에서 자신이 실제와 같은 커뮤니케이션을 하는 느낌이 되도록 해주는 최신의 기술이라고 할 수 있다. 페이셜 애니메이션은 사람 얼굴(또는 짐승의 머리)에 존재하는 대부분의 근육(주로 눈과 입에 많이 걸림)에 본(bone)을 걸어서 사용자의 제스쳐나 음성의 발음에 따라 인상이나 입술 모양을 구현(일명 Lip Sync)하는 것이다. 텍스트 발음에 따른 입 모양 애니메이션(결정) 사용자가 입력하는 대화 문장을 분석하여 각각의 음절이 어떻게 발음되는지 뽑아내고, 이 음절에 해당하는 입모양을 실시간으로 연출해낸다. 자연스러운 입 모양을 연출하기 위해 각각의 음절마다 대략 10 프레임에 해당되는 애니메이션을 걸어준다. 도 52는 대표적인 각각의 음절마다 어떤 입 모양의 애니메이션이 연출되는지를 보여준다. 음성을 통한 립싱크 애니메이션은 음성 시그널(Signal)을 통해 아바타의 입 모양을 연출해내는 기술이다. 도 62는 "아-", 도 63은 "이-", 도 64는 "오-"로 끝나는 음성 신호에 따른 입 모양을 도시하고 있다.

도 3은 본 발명의 시스템 구성도이다. 본 발명의 시스템 환경을 살펴 보면 기본 TCP/IP를 이용했고 , 보이스 커뮤니티를 응용한 UDP 방식을 이용했다. 보다 효율적인 통신서비스를 위한 Input Output Complation Protocol(IOCP)를 이용했고, 멀티유저를 위한 실시간(Realtime) 상호 인터랙션(Interaction) 환경을 제공했으며, 3D장면 공유객체 공유했고, 각종 이벤트 공유, 액션 공유 ,채팅, 데이터 교환 등 상호작용이 가능하게 했다. 플랫폼 환경의 상태 제어(장면제어, 웹페이지 제어, 사용자 UI제어, 사용자컨트롤) 가능하고, 효과적인 학습지향형 멀티유저 간 커뮤니케이션 환경제공 가능하고, TEXT(문장, 대략 400Byte 제한, 이모티콘 Script 기능) 기본 통신수단을 활용 가능하다.

TTS(Text to Speech, 음성합성)TEXT 문장과 연동 서비스 가능하고, 장면 (Scene) 내에서의 아바타 제스처 액션 기능 서비스 가능하다. 3D 보이스 화상영상(Only 교수자 측) 커뮤니케이션 서비스 및 네트워크 전송 서비스를 위한 효율적인 1:n(다수) 구조로 형성되었다.

IOCP(Input Output Complation Ports) 멀티 쓰레드 소켓 엔진을 통해서 별도의 스토리지 필요 없어 유지비용 감소하며, 읽는 속도나 목소리 종류 등 옵션의 실시간 조정이 가능하다. TTS 데이타베이스 서버(SL2's I- Talk, core Voice's Engine, Voiceware's Voice Text 등)와 회원정보와 컨텐츠 정보를 위한 데이터 베이스(SQL 데이터 베이스 서버등)를 사용했다.

다음으로 시스템 운영 관리 툴에 대해서 설명하기로 한다. 대화형 3D 원격강의실 Platform Server/Place Management로서 웹 기반 원격접속 및 관리, 모니터링,서버 관리(Server Master), Place Management(Place Master), 사용자 관리, Place(강의, Class)관리, 강의특성에 부합된 강의 강의실(강당, 교실, 세미나실, 캠퍼스, Map, 3D Class) 환경관리, 3D효과, 3D사운드, TTS 및 3D 보이스 기능 설정 및 해제(네트워크 환경에 따른 결정), 동시 접속자 수 설정 및 사용 가능한 아바타 설정 및 커뮤니티 환경 설정을 한다. 기존 LMS, LCMS, SCOM표준방식(학사행정시스템, 강의등록/수강신청)을 사용한다.

다음으로 시스템 흐름을 설명하기로 한다. 도 4는 본 발명의 시스템 흐름을 도시하고 있다. 교수자 및 학생이 로그인 단계를 거쳐 로비에서 강의를 선택하면 강의 로딩 화면을 거쳐 교수자와 학생은 각각 자기의 화면으로 이동하게 된다.

도 5는 본 발명의 시스템의 내부 구조도를 도시하고 있다. 데이터베이스는 제품을 구동하기 위한 모든 구성 정보의 통합을 담당한다. 테이블, 레코드 형식으로 구성된다. 각 학생에 대한 로그인 및 학사정보가 저장되어 있다. 교수의 설계 콘텐츠 및 강의 정보가 저장되어 있다.

클라이언트 부분에서 3D 게임 엔진은 아바타의 표현 및 구동을 위한 아바타 페이셜 엔진, 아바타 보이스 립싱크 엔진, 아바타 리모트컨트롤엔진 등이 포함된다. EAI Classes는 3D 뷰 액션 툴, 2D 전자칠판, 2D 다이얼로그 박스/리스트 창 구현시 사용된다. GUI는 교수용과 학생용이 구분되며, 그 구성요소는 로비 내의 2D 박스 및 버튼, 컨트롤 박스가 있다.

서버에 대해서 설명하기로 한다. 3차원 게임 엔진서버는 Input Output Completion Port(IOCP) 네트워크 프로토콜, Community Server/Client/Management 표준 패킷 프로토콜,클라이언트 스테잇 모듈(사용자 상태 정보 관리 모듈), TTS(type-to-speech) 모듈이 포함된다. 메시지 서버는 구성원간의 소통되는 메시지를 관리하는 서버이다. 미디어 서버는 GUI(Graphic User Interface)와 보이스모듈 (1->n Single Flow)을 포함한다. 옵티마이징 서버는 패킷 송수신 인터페이스를 포함하고, 웹 폼(실제 구현되는 GUI) 부분과 Server/Place Monitoring 모듈을 포함한다.

도 39는 본 발명을 모듈별로 통신수단을 통해서 연결된 시스템들의 구성도를 보여주고 있다. 도 40은 학생용 3차원 게임엔진모듈(210)과 교수자용 3차원 게임엔진모듈(310)의 구성부분을 더 자세하게 도시하고 있다. 서버(100)와 데이터베이스 부분(400)은 위에서 설명하여 생략하고 학생용 3차원 게임엔진모듈(210)과 교수자용 3차원 게임엔진모듈(310)에 대해서 자세히 설명하기로 한다. 학생용 3차원 게임엔진 모듈(210)은 아바타 얼굴표정을 표현하기 위해서 생성한 파일들 중 메쉬정보를 가지고 있는 DTS파일을 읽어서 메쉬정보를 분석하는 학생용 메쉬정보처리부(211)와 아바타 얼굴 애니메이션 정보를 가지고 있는 DSQ파일을 읽어서 학생용 클라이언트의 학생용 그래픽유저인터페이스에 표출을 하는 학생용 아바타페이셜엔진부(212)와 학생용 메세지처리부의 메서지처리결과를 전달받아 학생용 메쉬정보처리부와 학생용 아바타페이셜엔진부에 각각 명령을 전달하는 학생용 제어부(213)와 다른 클라이언트로부터 온 메시지를 받아 메시지를 분석하여 학생용 제어부에 전달하는 학생용 메시지처리부(214)로 구성되어 있다. 교수자용 3차원 게임엔진모듈(310)은 구성이 학생용 3차원 게임엔진모듈과 동일하여 설명을 생략한다. 학생용 아바타페이셜엔진부(212)를 자세히 설명하면 도 41에 도시된 바와 같이 음성입력수단(600)으로부터 음성을 입력받아 얼굴표정메시지를 생성하여 학생용제어부에 전달하는 학생용 음성립싱크부(216)와 텍스트입력수단(500)으로부터 텍스트를 입력받아 얼굴표정메시지를 생성하여 학생용 제어부에 전달하는 학생용 텍스트립싱크부(215)와 분석된 음성입력내용과 텍스트입력내용을 통해 결정된 얼굴표정메시지와 관련된 DSQ파일을 읽어 학생용 그래픽유저인터페이스에 얼굴표정을 표출하는 학생용 페이셜제어부를(217) 포함한다. 도 42는 교수용 아바타페이셜엔진부를 자세히 도시한 도면이다. 교수용 아바타페이셜엔진부(312)는 학생용 아바타페이셜엔진부와 구성이 같아 설명을 생략한다. 상기 텍스트 입력수단은 키보드를 사용하고 상기 음성입력수단은 마이크를 사용한다.

도 57은 리모트 웹페이지 팝업기술을 구현하기 위해서 학생용 클라이언트에는 학생용 리모트웹모듈(240)과 교수자용 클라이언트에 교수자용 리모트웹모듈(340)을 더 포함한 시스템 구조도를 보여주고 있다. 도 58은 학생용 리모트웹모듈(240)은 리모트웹메시지를 분석하여 처리하는 학생용 리모트웹페이지 메시지처리부(242)와 웹브라우저를 기동시켜 웹컨텐츠를 표출시키는 학생용 웹페이지 제어부(241)로 구성되어 있고 교수자용 클라이언트도 이와 구조가 동일하여 설명을 생략한다.

도 6은 시스템의 통합 개념도를 나타내고 있다. 사용자는 학교에 들어온 구성원의 개념이고, 로그인은 기존 학습자나, 교수자가 접속하는 단계이다. 인증/검사는 학생의 경우에 본인 과정을 확인하는 단계이고, 회원가입은 대학 같이 기존 기관의 데이터베이스를 사용할 수 없는, 초기 도입 기관/단체의 경우에 별도의 회원 가입을 한다. 학사정보시스템(Learning Management System)이란 기존의 학교측 데이터베이스와, 수업진행 및 결과에 관한 학습자의 정보를 통합하여 관리하는 장 치이다.

로비는 교실에 들어가기 전에 복도에 서 있는 구성원의 개념이다. 스쿨 BGM은 처음 접속한 이후에 들리는 배경음악이다. 이 개념은 배경에 주적용 되며, 특정 이벤트에 대한 효과음까지 포함한다. 미션 로비과정에 들어오기 전에, 아바타 설정 및 액세서리 설정을 할 수 있다. 미션 로비과정상에서, 수업을 미리보거나 리플레이를 할 수 있다. 미션 로비의 뷰 및 액션 정책은 2D GUI 이다. 클래스 로비 과정에 들어오기 전에, 클래스 로딩 삽입 이미지를 보여준다. 클래스 로비 과정상에서, 미니 대기방에 입장한다. 뷰 및 액션 정책은 3D 이다.

교수자의 U.I의 구성 환경은 교수자와 전체 학습자 및 개별 학습자의 상호 소통이 가능하고, 교수자가 강의 하는 공간은 3D로 구성된 교실이다. 교수자 고유의 기능은 교수자는 개별 학습자단위의 발언권 관리가 가능하고, 개별 학습자에 대한 출석현황을 교수자가 관리할 수 있고, 시간 관리 및 학습자 관리를 통한 수업관리를 교수자가 할 수 있다.

학습자 U.I.의 구성 환경은 학습자는 다른 학습자 및 교수자와 상호 소통이 가능해야 하고, 학습자가 수업하는 공간은 3D로 구성된 교실이다. 학습자 고유의 기능으로는 학습자가 발언을 할 수 있게, 신청 기능을 표시하고, 학습자가 발언을 허락받으면, 발언대로 이동할 수 있고 학습자는 발언대, 청취존(Listen Zone)을 통해 의사를 표현할 수 있다.

이하에서는 본 발명의 기능 부분을 중심으로 설명하기로 한다. 먼저 공통모듈에 대해서 설명하기로 한다. 아바타 애니매이션에 대해서 설명하면 교수-학생 아 바타 기반으로 학습 환경 구현하고, 아바타의 동작형태는 얼굴표정,동작,바인딩이있고 얼굴표정(facial)은 감정표현을 담당한다. 얼굴동작,손동작,발동작은 행동표현을 담당한다. 바인딩은 가상공간의 특별한 객체(의자,자동차등)와 연결되는 동작에 대한 제어를 담당한다. 도7은 아바타의 대학생의 남자와 여자의 모습을 일 예로 도시한 것이다. 도 53은 아바타의 얼굴표정, 얼굴동작, 손동작 , 발동작, 바인딩의 일 예를 보여주고 있다. 도 8은 아바타의 몸의 각 부분을 나타낸 도면이고, 도 9는 아바타의 제스쳐와 얼굴표정들의 예를 보여주고 있다.

다음으로 풍선대화창 부분에 대해서 설명하기로 한다. 기능 및 역할은 텍스트 입력 시 아바타 머리 위에 말풍선이 생성되며 인터랙션의 기능을 높여주고, 풍선대화 윈도우는 사용자가 대화 내용을 입력한 후, 엔터키를 치는 순간 아바타 머리 윗 부분에 페이드인(0.5초,서서히 나타남)된다. 풍선대화 윈도우에는 대략 가로 한글10~12자를 표현하고 세로로는 아이디(이름)를 포함하여 3~4행을 표시 할 수 있다. 단일 대화 후 , 사용자가 아무런 말이 없다면, 대략 4~5초, 풍선윈도우는 페이드아웃(0.5초,서서히 사라짐)되고 이 시간 내에 다시 대화가 발생한다면,현재 대화 윈도우의 꼬리 부분에 새로운 대화 윈도우가 이어지고 첫 대화 윈도우에서 아이디표시는 제거되고 새로운 대화 윈도우에 아이디가 표시된다. 도 10은 풍선대화창의 일 예를 도시하고 있다.

다음으로 발언자 정보창에 대해서 설명하기로 한다. 기능 및 역할은 발언자의 정보를 보여준다 (이름,학번,발언내용). 해당 정보는 웹페이지에 있는 내용을 불러 와 보여준다.

공지사항창은 강의에 필요한 공지사항을 보여준다. 웹 페이지에 있는 내용을 불러와 보여 준다.

사용자 리스트의 기능 및 역할은 수업에 참여한 사용자의 목록을 보여준다. 이름, 학생/교수 구분, 접속 시간을 보여주며 학생들의 입장/퇴장에 따라 실시간으로 목록을 변경해 준다. 교수자 측에서는 개인 및 단체 채팅기능 제어가 가능하고, 개인 및 단체 동작 제어(못 움직이게 한다. 입력은 가능)를 할 수 있다. 도 11은 사용자 목록의 일 예를 도시하고 있다.

다음으로 팝업메뉴의 기능 및 역할은 각종 정보를 일시적으로 열어 확인하고 닫을 수 있게 한다. 도 12는 팝업메뉴의 일 예를 도시하고 있다.

강의 정보창 기능 및 역할은 해당강의에 대한 정보확인을 가능하게 한다. 도 13은 강의 정보창의 일 예이다.

하이퍼 버튼의 기능 및 역할은 활성화된 창 모두 한꺼번에 닫거나 열기가 가능하다. 상/하단 GUI를 토클 형태로 사라지거나 보여지게 한다. 도 14는 하이버 버튼의 일 예이다.

액션 메뉴바의 기능 및 역할은 인터페이스를 통해 각종 애니메이션을 플레이할 수 있도록 한다. 도 15는 액션 메뉴바를 구현한 일 예이다.

진행 시간바의 기능 및 역할은 강의 진행시간을 나타내 준다. 시간의 경과를 바를 통해 시각적으로 표시해 준다. 발언시간과 수업시간을 시간바를 통해 구현한다. 도 16은 진행시간바의 일 예를 도시하고 있다.

대화 내용창의 기능/역할은 강의실 안에서의 대화 수단이고 대화 내용 보기 가 가능하다. 대화 히스토리 창은 대화 내용 보이는 창이고, 글 입력 폼에 글씨 입력이 가능하다. 채팅 내용을 창에 표시하도록 한다. 일반/귓말/알림말에 따라 폰트의 색깔을 달리하고 말하는 플레이어를 표시해준다. 도 17은 대화 내용창의 일 예이다.

옵션의 기능 및 역할은 키보드 부분은 애니메이션 기본 키보드 설정을 본인이 변경 설정가능(단축키 설정)하고, 마우스부분은 FPS 모드, 일반 모드, 마우스 조작 시 카메라 시점이 바뀌고, 오디오부분은 백그라운드 뮤직, Effect 사운드 On/Off, 볼륨 설정이 가능하고, 비디오부분은 해상도, 그림자 설정 가능하고, 음성부분은 음성 사용 여부 체크, 전송 볼륨, 수신 볼륨, 마이크테스트 가능하다.

사운드, 그래픽, 게임 조작에 대한 옵션 설정 내용을 확인하거나 일부 변경 가능할 수 있도록 한다. 도 18부분은 옵션의 일 예를 도시하고 있다.

메인 메뉴바의 기능 및 역할은 메인 메뉴바 부분에서는 파일 저장 및 뷰를 통해서 카메라 시점 조절하고, 마이 월드 부분에서는 아바타 샵으로 포인트/레벨보기,나의 아바타 꾸미기,교수자는 포인트로 구매하여 테마 학습배경 바꾸기, 아이템 라이브러리 기능을 사용 할 수 있고, Help 부분에서는 도움말을 얻을 수 있다.

각각의 메뉴바는 서브 메뉴를 가진다. 도 19는 메인 메뉴바의 일 예를 도시하고 있다.

보이스 커뮤니케이션의 기능 및 역할은 음성을 통해 접속해 있는 교수 및 학생들이 상호 의사를 소통할 수 있도록 한다. 게임 자체로 네트워크를 오가는 데이터가 많은 상태에서 보이스 데이터 추가는 네트워크에 부하를 가중시키고 퍼포먼스 를 떨어뜨릴 수 있다.

저장 강의 열기의 기능 및 역할은 강의 내용을 저장하고 해당 내용을 다시 플레이하여 볼 수 있도록 한다. 음성까지 레코딩을 하지 못하기 때문에 이 기능의 효용성이 크지 않다고 판단된다.

이하에서는 교수자 모듈에 대해서 설명하기로 한다.

발언권 관리에는 (1)발언 시작 알림 기능은 교수자의 권한으로 발언시간(토의)시간을 알리는 버튼을 통해서 이루어진다. (2)발언 신청자 표시창은 학습자가 교수자에게 질문한 내용을 보여주고, 수락과 거절의 기능을 부여하며, 총 5개의 발언자들을 추려낼 수 있다. O 버튼은 발언할 수 있게 수락(발언대기를 수락)하고 ,X 버튼은 발언 거절(닫기)을 하고, 쪽지/메일 보내기는 학습자에게 메일/쪽지로 보내겠다는 표시를 하고 쪽지함에 신청자의 아이디와 내용을 저장한다. (3) 발언 수락 기능은 발언 대기자 발언 시작 수락 및 학습자 발언 신청 시 수락하는 기능이고,(4)발언권 돌려받기는 학습자(발언자)의 발언을 중단시키고, (5)발언 시간 게이지는 학습자에게 발언 시간을 주는 기능을 하고 총 발언 시간은 옵션에서 설정이 가능하다. 시간 표시는 발언 시간을 게이지로 표시한다.(게이지가 줄어듦). 발언 신청을 한 학생 중 선택적으로 발언을 허락해 주고, 발언 중에도 발언을 중단할 수 있도록 한다. 도 20은 발언권 관리를 구현한 인터페이스를 도시하고 있다.

수업관리 기능에 대해서 설명하기로 한다. (1) 수업 시작 버튼은 수업을 시작할 수 있고 버튼을 눌렀을 때 이때 수업 시작 벨이 울린다. (2) 수업 종료 버튼은 수업을 종료한다. 수업 시작 때와 마찬가지로, 수업 종료 벨이 울린다. (3) 출 석 확인은 학습자의 현재 출결 상황을 볼 수 있다. 학습자 측에서 확인하는 경우에는, 자신의 현재 강의의 출결상황을 볼 수 있다. (4) 배경 바꾸기는 교수자에게만 주어지는 기능으로, 테마학습이나, 강의의 실내/야외를 선택하여 수업할 수 있다. (5) 도킹-체어 기능은 교수자의 기능으로 수업 시 학습자 전체에게 강제로 앉는 기능을 부여하여, 학습자를 제어한다. 단, 학습자는 앉아서 하는 애니메이션은 가능하다. 도 22는 수업관리 기능의 인터페이스를 도시한 것이다.

학생기능 제한은 (1) 도킹-체어 기능은 교수의 기능으로 수업시, 학습자 전체에게 강제로 앉는 기능을 부여하여 학습자를 제어한다. 단, 앉아서 하는 애니메이션은 가능하다. 상황에 따라 학생의 이동을 제한한다든가, 애니메이션을 제한할 수 있게 한다. 학생이 앉아 있을 경우 상체 애니메이션만 플레이 된다. 따라서 블렌딩 애니메이션 작업이 선행돼야 한다.

미션 환경 설정기능 중 (1) ClassBuilder는 강좌를 공급하는 측에서, 미션을 제작하기 위해서 제공되는 맵 편집툴 이고,(2) 미션 에디트는 미션 장면의 설정을 하는 기능이다. (3) 미션 업데이트/등록 기능은 완성된 미션을 서버에 등록, 갱신하는 기능이다. (4) Type A는 환경설정들중 날씨요소, 계절요소(4계절), 시간요소(낮, 밤)를 설정하고,장소(Island) 설정 가능하다. (5) Type B는 건물설정, Object(아이템) 설정에 의해서 강의 건물, 강당, 야외극장, 조형물 설정 가능하고, 추가요소 설정사항으로 나무, 바위, 벤치설정을 할 수 있다. 교수가 학습 공간을 미리 선택할 수 있게 하는 기능을 제공한다. 도 22는 미션 환경 설정기능의 인터페이스를 보여주는 도면이다.

교탁의 기능은 교수의 강의 장소로서 상황에 따라 학생의 이동을 제한한다든가, 애니메이션을 제한할 수 있게 한다. 도 23은 교탁을 구현한 인터페이스를 보여주고 있다.

이하 학생모듈에 대해서 설명하기로 한다.

발언 신청 표시 기능 중 (1) 발언 신청창 부분은 발언 내용을 입력하여 쪽지를 보낼 수 있는 창이다. (2) 발언 신청 버튼은 발언을 신청할 때 클릭하는 버튼이다. (3) 이의제기 버튼은 발언자(학습자)의 의견에 이의를 제기할 수 있는 버튼이다. 단, 교수자의 승인을 얻은 후에 발언을 할 수 있다. (4) 발언권 신청 표시창은 교수 창에 학습자의 발언 신청을 표시하는 창이다. 질문입력창을 열고 발언 내용을 요약해 교수에게 전송할 수 있게 한다. 여러 줄의 문자를 입력할 수 있어야 하고, 유니코드를 지원해야 한다. 도 24는 발언 신청 표시 부분을 구현한 인터페이스를 도시하고 있다.

발언권 컨트롤 기능 중 (1) 발언 신청창은 발언 내용을 입력하여 쪽지를 보낼 수 있는 창이다. (2) 발언 신청 버튼은 발언을 신청할 때 클릭하는 버튼이다. (3) 이의제기 버튼은 발언자(학습자)의 의견에 이의를 제기할 수 있는 버튼이다. 단, 교수자의 승인을 얻은 후에 발언을 할 수 있다. (4) 발언권 신청 표시창은 교수 창에 학습자의 발언 신청을 표시하는 창이다. 발언권 관리는 교수자에게 있기 때문에, 학생은 이 기능을 사용하지 못하도록 차단해야 한다. 학생은 단지 발언권을 신청한 후 발언이 허가됐을 경우 해당 내용을 통보 받게 한다.

발언대 기능 중 (1) 발언 대기자는 교수자가 발언신청을 수락하면, 발언대기 석으로 걸어간다. 교수가 다음 대가자의 발언을 수락하면, 발언대기자는 발언대로 이동한다. (2) 대기자 말풍선을 통해서 대기자 아바타에 무으브 오우버 시 질문 내용을 볼 수 있다. (3)발언이 수락되면 학습자는 대기석에서 발언대로 걸어간다. (4)발언이 수락되면 교수자는 교탁(사회)으로 자리를 이동한다. (5) 학습자는 도킹-체어가 시작되며, 발언자의 내용에 이의제기나 다양한 액션을 취하며, 들을 수 있다. (6) 발언자 정보창은 팝업창으로, 발언자의 아바타 얼굴(상반신)을 클로즈업해서 보여준다. 발언자가 발언 동의를 얻은 후 발언대기의자에 가서 앉고 교수가 발언권을 주어졌을 때 발언하는 과정에서 현장감 있는 애니메이션 데이터를 단계별로 구현함으로써, 현장감 극대화 차후 다양한 동작과 감정표현으로 좀 더 현장감을 극대화하고 재미를 줌으로 써 학생 참여를 적극 유도하고 발언에 대한 부담을 덜고 학습효과를 극대화할 수 있다. 발언대는 학생이 발언권을 얻었을 경우 자리를 잡고 발언을 할 수 있는 공간이다. 도 25는 발언대를 구현한 인터페이스를 나타내고 있다.

청취존은 3D 인도어/아웃도어 가상공간 구현, 테마학습 가능하게 한다. 수업이 시작됐을 경우 학생들이 위치하는 곳이다. 수업이 시작됐을 때 접속해 있는 모든 학생들을 각자의 위치로 이동시켜 의자에 앉을 수 있게 해야 한다. 도 26은 청취존을 구현한 인터페이스를 도시한 것이다.

이하에서는 나머지 기능 및 개념에 좀더 상세하게 설명하기로 한다. 실시간으로 구현되는 페이셜 애니메이션(얼굴표정)은 장면에서 자신이 실제와 같은 커뮤니케이션을 하는 느낌이 되도록 해주는 최신의 기술이라고 할 수 있다. 페이셜 애 니메이션은 사람 얼굴(또는 짐승의 머리)에 존재하는 대부분의 근육(주로 눈과 입에 많이 걸림)에 본(bone)을 걸어서 사용자의 제스쳐나 보이스의 발음에 따라 인상이나 입술 모양을 구현(일명 Lip Sync)하는 것이다. 도 27은 아바타의 얼굴의 각 부분과 얼굴표정을 나타내고 있다.

다음으로 전자 칠판은 오프라인의 강의실에서 흔히 볼 수 있는 블랙보드나 화이트 보드를 PC 사용자들이 자신들의 PC에서 이용할 수 있도록 개발된 응용 도구이다. 이를 통해 음성이나 텍스트를 통한 정보 제공에서 한 단계 나아가 각종 문서나 동영상, 사진 등을 강의에 이용하게 할 수 있다. 그 결과 강사는 좀더 쉽고 다양한 방법으로 학생들에게 정보를 제공할 수 있고 학생들은 좀더 효과적이고 다양한 정보를 습득할 수 있게 된다.

전자 칠판의 구성과 내용을 살펴보자. 도 28은 전자칠판의 교수자를 위한 구성이다. 전자 칠판은 도 28에서 보는 것처럼 14 개의 부분으로 나눌 수 있다. 위 그림에서 각각의 부분은 번호가 부여되어 있으며 각각의 명칭과 간단한 기능 설명, 기타 정보는 다음과 같다.

1. 명칭 : 응용 프로그램 이름

폰트 컬러 : 화이트

폰트 사이즈 : 11 (유동적)

섀도우 컬러 : Grey (유동적)

기능 : 이 응용 프로그램의 이름을 표시한다.

2. 명칭 : 확대/축소, 닫기 버튼

버튼 사이즈 : 일반적인 윈도우의 해당 버튼 사이즈와 동일

기능 : 해당 응용 프로그램의 크기를 조절하거나 닫을 수 있다.

3. 명칭 : 주소 입력 창

사이즈 : 233*27(width*height pixels)

기능 : URL을 입력 해당 페이지에 있는 각종 정보를 볼 수 있게 한다.

4. 명칭 : 이동 버튼

사이즈 : 유동적

기능 : 항목 3에 입력된 페이지로 이동할 수 있게 한다.

5. 명칭 : 파일 열기

사이즈 : 유동적

기능 : ftp 서버나 스트리밍 서버에 올려놓은 파일을 열 수 있게 한다.

6. 명칭 : 내용 보기 창

사이즈 : 440*540(width*height pixels)

기본 배경 : 강의 파일을 열지 않았을 경우 학교 로고나 회사 로고

기능 : 각종 강의 정보가 표시되는 영역

7. 명칭 : 강의 자료 종류별 열기 버튼

사이즈 : 하나의 버튼은 47*47 pixels의 사각형에 내접하는 원의 형태를 띠고 있다.

기능 : 여러 종류의 강의 자료를 열어 볼 수 있게 함

8. 명칭 : 펜, 붓, 지우개 버튼

사이즈 : 각각은 35*35 pixels의 크기

기능 : 포토샵의 펜, 붓, 지우개와 같은 역할을 한다.

9. 명칭 : 선 굵기 선택 버튼

사이즈 : 우선은 3개의 선 굵기 선택 버튼이 모두 35*35 pixels의 크기이며 이미지가 표시되는 검은 점 이외의 영역은 알파값 0 으로 처리한다.

기능 : 펜이나 붓, 지우개 버튼을 선택했을 때 그리거나 지우는 선의 굵기를 변경할 수 있다.

10. 명칭 : 색깔 선택 swatches

사이즈 : 65*37

기능 : 펜이나 붓 버튼을 선택했을 때 선의 색상을 선택하게 한다.

11. 명칭 : 사용자 리스트 타이틀

기능 : 사용자 현황을 보여주는 창의 제목을 표시한다.

12. 명칭 : 사용자 표시 창

사이즈 : 206*670

배경 색 : EAD2D7. 변경 가능

기능 : 현재 강의에 참여 중인 사용자의 아이디나 별명을 표시한다.

13. 명칭 : 순번 표시 탭 창

사이즈 : 탭의 개수에 따르며 탭 개수는 문서가 몇 개로 나눠지냐에 따름.

기능 : 하나의 강의 문서를 열었을 때 해당 문서가 여러 장이라면 이 부분에 각각의 페이지를 탭을 이용해 표시하게 한다.

14. 명칭 : 사용자 리스트 창 보임/숨김 버튼

기능 : 사용자 리스트 창을 보이거나 숨길 수 있게 한다.

15. 명칭 : 플레이 조작 버튼

기능 : 일반적인 플레이 조작 버튼의 기능. 동영상 버튼이 클릭됐을 경우에만 나타난다.

16. 명칭 : 소리 조절 바

기능 : 음량을 조절 할 수 있게 한다.

17. 전체 윈도우

크기 : 445 * 695 pixels

전체 색감과 부분 색 지정 : 디자이너가 정함

전자 칠판 기능 구현에 대해서 설명하면 (1) 확대/축소 버튼은 전자칠판의 크기를 조절할 수 있고 전자 칠판의 디폴트 크기는 확대 버튼이 눌렸을 때의 크기다. 확대 버튼을 클릭하면 해당 버튼은 축소 버튼으로 토글되고 전자 칠판의 크기는 445* 695 의 크기가 된다. 축소 버튼을 클릭하면 해당 버튼은 확대 버튼으로 토글되고 전자 칠판의 크기는 250*300의 크기가 된다. 창의 크기가 바뀐다고 해서 열려있는 문서나 버튼의 크기가 변하지는 않는다. 사용자 리스트 창도 영향을 받지 않는다. 다만, 이때도 사용자 리스트 보임/숨김 버튼은 정상 작동해야 한다.

(2) 파일 열기와 강의 자료 종류별 열기 버튼은 파일 및 강의 자료를 열 수 있다. 파일 열기 버튼을 클릭하면 사용자 리스트 창 오른 쪽에 파일 열기 창이 열린다. 도 29는 강의 파일 열기를 위해 인터페이스를 구현한 것을 도시한 것이다. 창이 열리면 현재 교수자가 선택한 문서의 종류에 따라 접근할 수 있는 최상위 폴더가 보여진다. 예를 들어 교수자가 동영상 선택 버튼을 클릭한 상태라면 이 교수자가 접근할 수 있는 동영상 파일들이 업로드 된 최상위 폴더가 열린다. 해당 폴더와 하위 폴더의 내용은 5 에 표시되면 그 방법은 윈도우의 탐색기와 같은 식이다. 5 에 표시된 강의에 필요한 파일 중 하나를 선택하고 3 선택 파일열기를 클릭하면 해당 내용이 열려 전자 칠판에 반영된다. 4 의 파일 올리기 버튼은 강의 자료를 올릴 수 있게 해 주는 인터페이스로써 이 버튼을 클릭하면 자신의 컴퓨터의 디폴트 폴더가 열리게 된다. 디폴트 폴더는 "My Document"이며 여기서 원하는 파일을 찾아 선택한다. 파일이 업로드 될 동안은 진행바의 형태로 진행 상황을 보여준다. 파일이 업로드 되는 목적 폴더는 서버의 현재 열려있는 폴더이다. 즉, 5 에 표시된 폴더이다.

(3) 펜, 붓, 지우개 버튼은 전자칠판에 판서를 할 때 사용한다. 펜을 선택했을 경우 커서는 연필모양으로 바뀐다. 펜은 선을 그릴 때 붓에 비해 딱딱한 결과를 보여준다. 펜을 선택했을 때 기본 굵기는 지름 10 Pixels이다. 붓, 지우개를 선택했을 때도 기본 굵기 또한 지금 10 Pixels 이다. 지우개를 선택했을 때는 10 pixels의 크기로 특정 부분을 지울 수 있다.

(4) 선 굵기 선택 버튼은 선의 굵기를 선택할 때 사용한다. 맨 왼쪽부터 20-10-3 Pixels 의 굵기를 표시한다.

(5) 색상 선택 swatches는 검정, 흰색, 빨강, 주황, 노랑, 초록, 파랑, 남색, 보라색을 기본적으로 선택할 수 있다. 표시된 색 중 원하는 색을 클릭하면 펜 이나 붓을 선택했을 때 해당 색으로 그릴 수 있다. 현재 표시된 색이 표시되어야 한다.

(6) 사용자 리스트 창 보임/숨김 버튼은 사용자 리스트 창을 보임 또는 숨김의 상태로 변화시킨다. 디폴트는 사용자 리스트 창이 보이는 상태이다. 삼각 화살표의 방향이 왼쪽을 향하고 있는 것은 숨김 버튼이고 그 반대는 보임 버튼이다. 사용자 리스트 창이 보일 경우 숨김 버튼이 표시된다. 숨김 버튼을 클릭하면 사용자 리스트 창은 사라지고 보임 버튼이 토글되어 나타난다.

(7) 순번 표시 탭의 그 기능과 작동 방법은 일반적인 윈도우의 탭을 따른다. 한 화면에 표시할 수 있는 총 탭의 개수는 11개이다. 표시해야 하는 페이지의 수가 많아서 전체 탭을 한 화면에 표시할 수 없을 경우 사용자 리스트 창 보임/숨김 버튼과 같이 화살표 버튼을 이용한다. 화살표 버튼은 해당 방향에 숨어있는 페이지가 있을 경우에 나타난다. 예를 들어 총 13 페이지의 문서가 있다면 탭은 총 13개가 될 것이다. 이때 현재 맨 오른쪽 탭이 11 이라면 오른쪽 화살표 버튼이 표시되어야 한다. 오른쪽에 12, 13 에 해당하는 탭이 숨어 있기 때문이다. 만약 오른 쪽 표시 버튼을 클릭하면 화면에는 2~12까지의 탭이 표시되고 왼쪽 표시 버튼이 표시되어야 할 것이다.

(7) 전자 칠판 사용을 위한 교수자의 인증 절차를 살펴보자. 교수자는 게임의 서버 역할을 담당한다. 방을 개설하고 3D 공간에 들어왔을 때 게임서버(교수자)는 전자칠판 접속을 위한 인증을 시도한다. 이때 게임서버는 미리 저장하고 있던 교수자의 아이디와 패스워드, OTP를 전자칠판 인증 서버에 보낸다. 전자칠판 인증 서버는 전체 인증 서버에 해당 교수자의 정보가 유효한지 질의하게 되고 맞다면 접속을 허용한다.

(8) 클라이언트 용 전자 칠판에 대해서 설명하기로 한다. 도 30은 학생용 전자칠판을 나타내고 있다. 학생들이 보게 되는 전자 칠판으로써 조작할 수 있는 기능이 극히 제한적이다. 다음은 클라이언트 용 전자 칠판의 이미지이다. 교수자의 전자 칠판과 클라이언트의 전자 칠판은 동기화된다.

이하에서는 게임 서버 설계 및 운용방안에 대해서 설명하기로 한다.

대화형 3D 강의실 플랫폼의 서버 서비스 구조는 종류와 단계에 따라서 다음과 같은 계층적 구조를 가진다.

(1) 마스터 서버는 인터넷에 등록되어 있는 많은 독립적인 대화형 3D 강의실 서버들을 찾아서 타입, 카테고리, 사용자수 등에 따라 적절히 정렬(Index)을 해주고 마스터(Master) 서버로 접속하는 사용자(Client)들에게 정렬된 서버 리스트를 제공하여 원하는 서버정보(Server Info)를 보내준다.

(2) 대화형 3D 강의실 Server(Platform)는 실질적으로 대화형 3D 강의실 서비스를 제공하는 서버로써 클라이언트/서버 네트워크 기반으로 하는 UDP Network Platform(ex. TNL)을 제공하며 물리적으로 128명이상의 클라이언트를 하나의 미션으로 결합시킬 수 있다. 또한, 하나의 서버는 여러 개의 미션을 동시에 진행시킬 수 있으며 동일한 물리 서버에 여러 개의 대화형 3D 강의실 서버가 동작할 수 있다. 서버는 소프트웨어적으로는 클라이언트와 동일한 코어와 리소스를 보유하고 있지만 프로세스적으로는 Dedicated Server로 동작하므로 GUI 시스템이 필요 없이 콘 솔로 동작한다. Pentium 4, 1.2GHz 1Gbyte 메모리 (Windows2000 서버) 혹은 Linux Server(다중플랫폼 지원)가 운용된다면 물리적으로 네트워크 대역폭에 따라 다소 차이가 있겠지만, 이론적으로 대략 1,200명(Client)에서 2,000명(Client)이 동시 접속할 수 있다.

(3) 로비 서버는 3D 가상현실을 기반으로 하는 환경(3D 장면, 사운드, 커뮤니티, 게임의 요소 등)을 제공하고 개인 아바타, 설정 정보 타임 스케줄(Schedule) 등을 제공한다. 미션은 [실시간 Class], [실시간 Community], [이전강의재생]등의 타입으로 제공될 수 있다. 실시간 클래스는 동시접속(32, 64, 128명)이고, 실시간 커뮤니티는 동시접속 (32, 64, 128명)이고, 이전강의 재생은 비실시간으로 운용되며 서버에 저장되어 있는 이전 강좌 로그정보인 저널의 형태로 받아옴으로써 non-input-Action(user) 형태의 동영상처럼 진행될 수 있다.

(4) 클라이언트는 로컬 컴퓨터에 설치된 가상 러닝 플랫폼 자체이다. 클라이언트는 기본적으로 서버의 코어와 동일하게 구성되어 있지만 미션에 접속할 때는 해당 미션의 로컬 캐쉬된 미션과 비교해서 새롭게 업그레이드(Upgrade) 된 리소스가 존재한다면, 실시간으로 다운로드한다. 미션으로 입장하기 전에 사용자는 다른 사용자(Client)와 팀(Group)으로 구성되어 아이템을 나누거나 협동 Work/Learning이 가능하다. 클라이언트는 다양한 커뮤니케이션 수단을 제공하지만, 보이스 커뮤니케이션(1:多)도 기본적으로 가능하다. [서버]와 [서버] 사이, [미션]과 [미션] 사이에서는 상호작용이 일어나지않는다. 하지만, [클라이언트]와 [클라이언트] 그리고 [클라이언트]-[미션]-[클라이언트]는 상호작용이 가능하다.

이하에서는 본 발명의 인터페이스 부분을 중심으로 설명하기로 한다.

교수자 또는 학생이 로그인 할 때 아이디와 패스워드를 입력하여 로그인을 한다. 학생이 로그인 했을 경우 자신의 강의실 정보를 볼 수 있다. 또한 수업시간을 확인 할 수 있고 수업중인 강의실을 선택하면 선택된 강좌에 입장할 수 있다. 원하는 강좌에 접근하기까지의 과정에서 강의 대기실에서 기다리면서 원하는 정보를 얻고 대기하는 사용자간에 서로 정보를 얻을 수 있는 채팅 기능을 제공한다.

원하는 강의를 선택시 강의실에 입장하는 시간동안에 사용자에게 로딩되는 이미지를 보여준다. 학생 및 교수는 자신의 아바타를 꾸밀 수 있고 아이템을 살 수 있다.

이하에서는 공통인터페이스에 대해서 설명하기로 한다. 도 31은 강의시작화면으로서 강의실의 강의 모습의 일 예를 보여주고 있다. 학생들은 풍선대화창을 통해서 대화가 가능하고 교수자는 교탁에서 학생들에게 강의하고, 전자칠판을 통해 동영상을 이용하여 학습 전달력을 높일 수 있다. 강의시에 학생들은 교수자의 정보를 볼 수 있고 강의중에 교수자 및 학생은 자신의 아바타를 이용하여 얼굴 표정과 제스처를 통해서 자신의 감정을 표현할 수 있다. 아바타의 감정표현중 일대일 대화에 주로 이용되는 감정표현 수단에는 윙크, 졸림, 야유함,오예, 따분함, 손흔들기가 있고, 감정표현 및 의사전달에 이용되는 행동 및 표정에는 째려봄, 섹시, 메롱, 수줍어함, 사랑스런, 부끄러움, 뭐 등이 있고, 강의진행 중에 나올 수 있는 행동 및 의사전달 수단에는 아니, 그래, 웃음, 크게 웃음, 성냄, 놀라움, 슬픔, 지겨움 등이 있고 강의 진행중에 나올 수 있는 행동 및 의사전달 수단에는 손들기, 손내리 기, 박수, 야유함, 지겨워 등이 있고 남녀 사이에만 가능한 것으로서 연인 사이에서 일어날 수 있는 스킨쉽으로서 앞으로, 떨어져, 가까이, 뒤로, 접촉, 바로, 키스하기 등이 있다. 도 32는 강의시의 교수측 화면의 일 예이고, 도 33은 강의시 학생측 화면의 일 예이다. 도 34는 마이월드 메뉴를 클릭시 자신의 아바타를 꾸미고 아이템을 구매하는 것을 보여 주고 있다.

옵션을 이용하여 비디오나 오디오 설정을 할 수 있다. 옵션중 그래픽탭에서는 자신의 컴퓨터 사양에 맞게 그래픽 옵션을 조정할 수 있고, 사운드탭에서는 백그라운드 뮤직, 이벤트 사운드 등 각종 사운드 및 볼륨 등을 조절하고, 컨트롤탭에서는 자신에게 맞는 키세팅을 할 수 있다. 도움말 기능을 통하여 사용자에게 적절한 도움말을 제공하여 원격강의시스템에 대한 사용자의 궁금증을 해결할 수 있다.

강의중에 F3버튼을 누르면 강의녹화가 시작되고 채팅창에 녹화 파일 명과 녹화시간을 알리는 메세지가 나타난다. F4버튼을 누르면 강의가 종료되고 녹화 파일 명과 녹화종료 메세지가 채팅창에 나타난다. 녹화된 파일을 누르고 재생을 누르면 강의저장된 내용이 재생이 되고, 녹화시점 이후부터 이루어진 모든 내용의 재생이 시작된다.

학생의 발언내용을 작성할 수 있고, 교수자는 발언내용을 확인하여 발언권을 부여한다. 학생의 질문내용을 확인한 교수자는 학생에게 발언 내용 수락을 하면 다른 학생들에게 질문내용이 전달된다. 화면상에서 ESC버튼을 누르거나 메뉴바의 가장 오른쪽 Exit the Game 버튼을 누르면 프로그램 종료 메시지가 나오는 데 Yes를 선택하면 종료된다.

이하에서는 교수자 인터페이스를 설명하기로 한다. 교수자는 강의실을 생성 할 수 있고, 교수자가 강의실 생성시 강의실 제목등 간단한 정보를 작성하고 학습공간을 선택할 수 있다. 강의시작 전에는 학생들은 사이버 공간에서 자유롭게 활동이 가능하나 교수자가 수업시작 버튼을 누르면 자율적으로 행동하던 학생들이 자동으로 자리에 가 앉고 움직일 수 없게 된다. 교수는 학생의 학습 참여도를 확인하고 출석관리를 할 수 있다. 교수자는 현재 수업에 참여한 참여자 리스트를 볼 수 있고 일대일 대화, 쪽지 보내기 등을 할 수 있다.

도 35는 교수자가 전자칠판을 이용하여 학생들을 가리키는 것의 일 예이다. 교수칠판을 통해서 교수자는 학생들에게 강의내용을 원활하게 전달할 수 있고 학생은 좀 더 이해를 쉽게 할 수 있다. 교수자는 E-Book을 작성하여 전자칠판을 통해 강의함으로써 학생에게 강의전달을 용이하게 할 수 있고, 학생은 빠른 이해를 할 수 있다. Real View Maker는 먼저 E-Book에 사용될 JPG 이미지를 준비하고 E-Book을 구성할 페이지를 설정한다. 페이지 구성이 끝나면 각 페이지에 필요한 링크와 목차를 입력하고 E-Book을 서버로 전송한다. 제작된 E-Book은 웹 페이지에 E-Book의 링크를 추가하여 사용자들에게 제공할 수 있으며 웹상에서 E-Book을 볼 수 있다. 목차 및 링크 추가는 필요할 경우 선택적으로 설정해도 되는 사항으로 목차와 링크가 필요하지 않으면 E-Book 페이지 구성 이후에 서버로 바로 전송해서 E-Book 제작을 완료할 수 있다. 도 36은 E-Book 제작과정의 흐름을 보여주고 있다.

이하에서는 학습자 인터페이스를 설명하기로 한다. 도 36은 학습자 인터페이스에서 본 강의실 화면의 일 예이다. 학습자는 현재 수업에 참여한 리스트를 볼 수 있고, 일대일 대화, 쪽지 보내기 및 채팅과 발언권을 신청할 수 있다. 강의시작 후에는 사이버 공간을 자유롭게 움직이는 것과 채팅 및 게임 기능들이 제한되게 된다. 아바타를 선택하여서 자신의 감정표현을 얼굴표정 또는 제스처를 통해서 표현할 수 있다.

다음으로 강의실내에서 DTS 파일과 DSQ파일을 사용하여 어떤 흐름으로 페이셜 애니메이션이 구현되는지 설명하기로 한다. 강의실내에서 실시간 페이셜이 진행되려면 메쉬정보를 가지고 있는 DTS파일과 애니매이션 데이터를 가지고 있는 DSQ파일을 불러오는 작업을 진행하게 되는데, 좀 더 자세히 살펴보면 강의실을 실행하면 DTS파일을 일차로 불러와서 수업을 진행하고 교수자 또는 학생이 원하는 얼굴표현을 선택했을 때 DSQ파일을 불러와서 페이셜 애니메이션이 실행되고 이때 그 강의실에 참석한 또 다른 참석자에게도 적용된 교수자 또는 학생의 얼굴 표정이 각각의 클라이언트의 그래픽유저인터페이스에 표현되게 된다. 주의해야 할 점은 강의플랫폼은 같은 버전으로 되어져 있어야한다.

교수자가 강의실을 생성하면 학생이 참석을 하게 되는데 이하에서는 페이셜 애니메이션을 구현하기 위한 방법들을 설명하기로 한다.

도 43은 학생이 강의실 입장부터 입장 후에 학생의 얼굴표정을 입력받아 자신 및 다른 학생의 그래픽유저인터페이스부(230)에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전 달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S110)와; 학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계(S120)와; 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 3단계(S130)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계(S140)와; 다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계(S150)와; 다른 학생용 클라이언트의 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계(S160);를 포함한다. 상기 3단계는 빠질 수 있고, 상기 3단계가 빠진상태에서 상기 2단계 이후 상기 6단계 사이 또는 상기 6단계 이후에 상기 3단계가 포함될 수도 있다.

도 44는 학생이 강의실 입장부터 입장 후에 학생의 얼굴표정을 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S210)와; 학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계(S220)와; 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정 보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 3단계(S230)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계(S240)와; 교수자용 클라이언트의 교수자용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수자용 제어부에 전달하는 5단계(S250)와; 교수자용 제어부에서 교수자용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 6단계(S160);를 포함한다. 상기 3단계는 빠질 수 있고, 상기 3단계가 빠진상태에서 상기 2단계 이후 상기 6단계 사이 또는 상기 6단계 이후에 상기 3단계가 포함될 수도 있다.

도 45는 교수자가 강의실 입장부터 입장 후에 교수자의 얼굴표정을 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 교수자용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S310)와; 교수자용 클라이언트에서 교수의 얼굴표정을 선택한 것을 입력받는 2단계(S320)와; 교수자용 제어부에서 교수자용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 3단계(S330)와; 교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계(S340)와; 학생용 클라이언트의 학생용 메 시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계(S350)와; 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계(S360);를 포함한다. 상기 3단계는 빠질 수 있고, 상기 3단계가 빠진상태에서 상기 2단계 이후 상기 6단계 사이 또는 상기 6단계 이후에 상기 3단계가 포함될 수도 있다.

도 46은 학생이 강의실 입장부터 입장 후에 학생의 음성을 입력받아 자신 및 다른 학생의 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하게하는 1단계(S410)와; 학생용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계(S420)와; 학생용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 학생용 제어부에 전달하는 3단계(S430)와; 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 4단계(S440)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S450)와; 다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 6단계(S460)와; 다른 학생용 클라이언트의 학생용 제어부에서 학생용 아 바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 7단계(S470);를 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

도 47은 학생이 강의실 입장부터 입장 후에 학생의 음성을 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S510)와; 학생용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계(S520)와; 학생용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 학생용 제어부에 전달하는 3단계(S530)와; 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 4단계(S540)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S550)와; 교수자용 클라이언트의 교수자용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수용 제어부에 전달하는 6단계(S560)와; 교수자용 제어부에서 교수자용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출하는 7단계(S570);를 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

도 48은 교수자가 강의실 입장부터 입장 후에 교수자의 음성을 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 교수용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S610)와; 교수자용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계(S620)와; 교수자용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 교수자용 제어부에 전달하는 3단계(S630)와; 교수용 제어부에서 교수자용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 4단계(S640)와; 교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S650)와; 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 6단계(S660)와; 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 7단계(S670);를 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진 상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

도 49는 학생이 강의실 입장부터 입장 후에 학생의 텍스트를 입력받아 자신 및 다른 학생의 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S710)와; 학생용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계(S720)와; 학생용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 학생용 제어부에 전달하는 3단계(S730)와; 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 4단계(S740)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S750)와; 다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 6단계(S760)와; 다른 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 7단계(S770);를 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진 상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

도 50은 학생이 강의실 입장부터 입장 후에 학생의 텍스트를 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S810)와; 학생용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계(S820)와; 학생용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 학생용 제어부에 전달하는 3단계(S830)와; 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 4단계(S840)와; 학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S850)와; 교수자용 클라이언트의 교수용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수자용 제어부에 전달하는 6단계(S860)와; 교수자용 제어부에서 교수용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 7단계(S870);를 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

도 51은 교수자가 강의실 입장부터 입장 후에 교수자의 텍스트를 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법은 강의실 입장시 교수용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계(S910)와; 교수자용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계(S920)와; 교수자용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 교수자용 제어부에 전달하는 3단계(S930)와; 교수자용 제어부에서 교수자용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 4단계(S940)와; 교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 5단계(S950)와; 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 6단계(S960)와; 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 7단계(S970)를; 포함한다. 상기 4단계는 빠질 수 있고, 상기 4단계가 빠진상태에서 상기 3단계 이후 상기 7단계 사이 또는 상기 7단계 이후에 상기 4단계가 포함될 수도 있다.

이하에서는 리모트 웹 팝업(Remote Web Pop-up)에 대해서 설명하기로 한다. 강의의 효율적인 진행을 위하여 수업교재 등을 활용하기 위하여 원격지의 학습자의 플랫폼을 제어할 수 있는 기술이다. 교수자가 원격지의 학생의 플랫폼상에 HTML문서, Flash문서, PPT/한글, Acrobat 문서를 임의로 팝업시킬 수 있다. 도 57은 리모트 웹 팝업 기술을 구현하기 위해서 리모트웹모듈을 포함한 전체 시스템 구송도를 나타낸 도면이고 도 58은 리모트웹모듈의 구성부분을 더 자세히 나타낸 도면이다. 리모트웹모듈은 리모트 웹 팝업기술을 구현하기 위한 모듈로서 학생용 리모트 웹모 듈(240)은 웹브라우저를 기동시키고 웹컨텐츠 성공여부를 학생용 리모트 웹페이지메시지처리부에 전달하는 학생용 웹페이지 제어부(241)와; 교수용 클라이언트로부터 리모트웹메시지를 받아 분석 후에 학생용 웹페이지 제어부에 전달하는 학생용 리모트웹페이지메시지처리부(242);로 구성되어 있고, 교수자용 리모트웹모듈(340)은 교수자용 그래픽유저인터페이스부에서 전달된 웹컨텐츠 내용을 교수자용 리모트웹페이지메시지처리부(342)에 전달하는 교수자용 웹페이지 제어부(341)와; 웹컨텐츠 내용을 분석하여 리모트웹메시지를 생성하고 통신수단을 통하여 강의실에 참가한 학생들에게 전달하는 교수자용 리모트웹페이지메시지처리부(342);로 구성된다.

도 59는 교수자의 웹 컨텐츠 내용이 학생들에게 전달되는 과정의 흐름도로서 리모트웹페이지제어방법을 나타내고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 리모트웹페이지제어방법은 교수자가 웹브라우저를 교수자용 그래픽유저인터페이스에 드래그하는 1단계(S1110)와; 교수자용 웹페이지 제어부가 교수자용그래픽유저인터페이스로부터 전달된 웹페이지의 컨텐츠를 교수자용 리모트웹메시지처리부에 전달하는 2단계(S1120)와; 교수자용 리모트웹메시지처리부에서 웹페이지 내용을 이용하여 리모트웹메시지를 작성후 강의실에 접속된 모든 학생에게 통신수단을 통하여 전달하는 3단계(S1130)와; 학생용 리모트웹페이지메시지처리부에서 통신수단을 통해 전달된 리모트웹메시지를 분석하여 학생용 웹페이지 제어부에 전달하는 4단계(S1140)와; 학생용 웹페이지 제어부가 웹브라우저를 기동하여 전달받은 웹페이지의 컨텐츠를 웹브라우저에 보여주는 5단계(S1150)와; 학생용 웹페이지 제어부가 웹브라우저에 웹페이지의 컨텐츠 표시 성공여부메시지를 학생용 리모트웹페이지메시지처리부에 전달하고 성공여부메시지를 통신수단을 통해서 교수용 리모트 웹페이지메시지처리부에 전달하는 6단계(S1160)와; 교수자용 웹페이지메시지처리부에서 메시지 분석 후 교수자용 웹페이지 제어부에 전달하면 교수자용 웹페이지 제어부가 교수자용 그래픽유저인터페이스부에 결과를 표출시키는 7단계(S1170);를 포함한다.

도 60은 원격강의시스템에서 학생기능제한방법에 대한 흐름도를 도시하고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 학생기능제한방법은 교수용 클라이언트의 교수용 제어부에서 현재 강의실에 새로 접속한 학생이 있는가를 판단하는 1단계(S1310)와; 현재 새로 접속한 학생이 없을 경우 1단계로 가는 한편 새로 접속한 학생이 있을 경우 현재 새로 접속 중인 학생들에게 학생기능제한메시지를 통신수단을 통하여 전달하는 2단계(1320)와; 접속중인 학생용 클라이언트의 학생용 메시지처리부에서 학생기능제한메시지를 전달받아 학생용 제어부에 전달하는 3단계(S1330)와; 학생용 제어부에서 학생기능제한메시지를 분석하여 필요없는 그래픽유저인터페이스및 음성입력수단을 비활성화시키는 4단계(S1340)와; 학생용 제어부에서 아바타의 속도를 0으로 놓고 아바타의 위치를 앉을 특정의 의자의 위치로 이동시킨 후 아바타를 강제로 앉히는 5단계(S1350);를 포함한다.

도 61은 원격강의시스템에서 발언권제어방법에 대한 흐름도를 도시하고 있다.

3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 발언권제어방법은 학생이 학생용 그래픽유저인터페이스부에 발언할 주제를 텍스트로 입력한 후 통신수단을 통해 전달하면 교수용 클라이언트에서 텍스트를 전달받은 후 교수용 그래픽유저인터페이스부에 텍스트를 표출시키는 1단계(1210)와; 교수용 클라이언트로부터 교수용 그래픽유저인터페이스를 이용하여 발언허락여부를 입력받는 2단계(1220)와; 교수용 그래픽유저인터페이스로부터 발언허락여부를 전달받아 교수용 제어부에서 발언허락여부메시지를 작성후 교수용 메시지처리부에 전달하면 교수용 메시지처리부가 통신수단을 통하여 발언을 요청한 학생용 클라이언트의 학생용 메시지처리부에 발언허락여부메시지를 전달하는 3단계(1230)와; 발언을 요청한 학생용 클라이언트의 학생용 메시지처리부에서 발언허락여부메시지를 학생용 제어부에 전달하는 4단계(1240)와; 학생용 제어부에서 발언허락여부메시지를 분석하여 메시지의 내용이 발언승낙인지를 판단하는 5단계(1250)와; 발언승낙일 경우 발언을 요청한 학생을 교탁으로 위치시킨 후 음성입력수단을 활성화시키는 6단계(1260)와; 발언을 요청한 클라이언트로부터 음성입력수단을 통하여 음성을 입력받은 후 음성입력내용을 학생용 제어부가 학생용 메시지처리부를 통하여 전체 클라이언트에게 내용을 전달하면 전달받은 클라이언트가 음성표출수단에 음성입력내용이 표출하는 7단계(1270)와; 교수용 제어부가 발언시간이 초과되었는지 판단하는 8단계(1280)와; 발언시간이 초과되지 않았을 경우 7단계로 이동하는 한편 발언시간이 초과되었을 경우 발언을 요청한 학생을 자신의 위치로 이동시킨 후 음성입력수단을 비활성화시키는 9단계(1290);를 포함한다. 한편 상기 5단계에서 발언허락여부메시지가 발언승낙이 아닌 경우 학생용 제어부에서 학생용 그래픽유저인터페이스부에 발언거절의 텍스트를 표출하는 10단계(1300);를 더 포함할 수도 있다.

이상으로 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시 예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.

도 1은 모듈화된 게임 엔진의 구조도이다.

도 2는 Torque 게임 엔진의 구조도이다.

도 3은 본 발명의 시스템 구성도이다.

도 4는 본 발명의 시스템 흐름을 도시하고 있다.

도 5는 본 발명의 시스템의 내부 구조도를 도시하고 있다.

도 6은 시스템의 통합 개념도를 나타내고 있다.

도 7은 학생의 대표적인 남자,여자 아바타의 모습이다.

도 8은 아바타의 몸의 각 부분을 나타낸 도면이다.

도 9는 아바타의 제스처와 얼굴 표정들의 예를 보여주고 있다.

도 10은 풍선대화창의 일 예를 도시하고 있다.

도 11은 사용자 리스트의 일 예를 도시하고 있다.

도 12는 팝업 메뉴의 일 예를 도시하고 있다.

도 13은 강의 정보창의 일 예이다.

도 14는 하이버 버튼의 일 예이다.

도 15는 액션 메뉴바를 구현한 일 예이다.

도 16은 진행시간바의 일 예를 도시하고 있다.

도 17은 대화 내용창의 일 예이다.

도 18부분은 옵션의 일 예를 도시하고 있다.

도 19는 메인 메뉴바의 일 예를 도시하고 있다.

도 20은 교수자의 발언권 관리 인터페이스 화면이다.

도 21은 학생들중 강의수강중인 학생들의 목록을 나타낸 화면이다.

도 22는 수업관리 기능의 인터페이스를 도시한 것이다.

도 23은 교탁을 구현한 인터페이스를 보여주고 있다.

도 24는 발언 신청 표시 부분을 구현한 인터페이스를 도시하고 있다.

도 25는 발언대를 구현한 인터페이스를 나타내고 있다.

도 26은 청취자 기능을 구현한 인터페이스를 도시한 것이다.

도 27a,도 27b는 아바타의 얼굴의 각 부분과 얼굴 표정을 나타내고 있다.

도 28은 전자칠판의 교수자를 위한 구성이다

도 29는 강의 파일 열기를 위해 인터페이스를 구현한 것을 도시한 것이다.

도 30은 학생용 전자칠판을 나타내고 있다.

도 31은 강의시작화면으로서 강의실의 강의 모습의 일 예를 보여주고 있다.

도 32는 강의시의 교수측 화면의 일 예이다.

도 33은 강의시 학생측 화면의 일 예이다.

도 34는 마이월드 메뉴를 클릭시 자신의 아바타를 꾸미고 아이템을 구매하는 것을 보여 주고 있다.

도 35는 교수자가 전자칠판을 이용하여 학생들을 가리키는 것의 일 예이다.

도 36은 E-Book 제작과정의 흐름을 보여주고 있다.

도 37은 학생측의 화면에 나타난 강의실에서 강의 모습의 일 예를 보여주고 있다.

도 38은 전형적인 게임 엔진의 가장 공통된 요소를 도시하고 있다.

도 39는 본 발명을 모듈별로 통신수단을 통해서 연결된 시스템들의 구성도를 보여주고 있다.

도 40은 학생용 3차원 게임엔진모듈과 교수자용 3차원 게임엔진모듈의 구성부분을 더 자세하게 도시하고 있다.

도 41은 학생용 아바타페이셜엔진부를 자세히 도시한 도면이다.

도 42는 교수자용 아바타페이셜엔진부를 자세히 도시한 도면이다.

도 43은 학생이 강의실 입장부터 입장 후에 학생의 얼굴표정을 입력받아 자신 및 다른 학생의 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 44는 학생이 강의실 입장부터 입장 후에 학생의 얼굴표정을 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 45는 교수자가 강의실 입장부터 입장 후에 교수자의 얼굴표정을 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 46은 학생이 강의실 입장부터 입장 후에 학생의 음성을 입력받아 자신 및 다른 학생의 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 47은 학생이 강의실 입장부터 입장 후에 학생의 음성을 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 48은 교수자가 강의실 입장부터 입장 후에 교수자의 음성을 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 49는 학생이 강의실 입장부터 입장 후에 학생의 텍스트를 입력받아 자신 및 다른 학생의 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 50은 학생이 강의실 입장부터 입장 후에 학생의 텍스트를 입력받아 자신 및 교수자용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 51은 교수자가 강의실 입장부터 입장 후에 교수자의 텍스트를 입력받아 자신 및 학생용 그래픽유저인터페이스에 얼굴표정이 반영되는 흐름도를 나타내고 있다.

도 52는 대표적인 각각의 음절마다 어떤 입 모양의 애니메이션이 연출되는지를 보여준다.

도 53은 아바타의 얼굴표정, 얼굴동작, 손동작 , 발동작, 바인딩의 일 예를 보여주고 있다.

도 54는 더미를 이용 페이셜 애니메이션을 표현하기 위해서 얼굴의 볼 살이 이동하는 도면이다.

도 55는 더미를 이용 페이셜 애니메이션을 표현하기 위해서 얼굴의 볼 살 중 일부분을 확대하는 도면이다.

도 56은 본 발명에서 페이셜 애니메이션의 계층구조를 보여주고 있다.

도 57은 리모트 웹페이지 팝업기술을 구현하기 위해서 학생용 클라이언트에는 학생용 리모트웹모듈과 교수자용 클라이언트에는 교수자용 리모트웹모듈을 더 포함한 시스템 구조도를 보여주고 있다.

도 58은 리모트웹모듈의 구성부분을 더 자세히 나타낸 도면이다.

도 59는 교수자의 웹 컨텐츠 내용이 학생들에게 전달되는 과정의 흐름도로서 리모트웹페이지제어방법을 나타내고 있다.

도 60은 원격강의시스템에서 학생기능제한방법에 대한 흐름도를 도시하고 있다.

도 61은 원격강의시스템에서 발언권제어방법에 대한 흐름도를 도시하고 있다.

도 62는 "아-"로 끝나는 음성 신호에 따른 입 모양을 도시하고 있다.

도 63은 "이-"로 끝나는 음성 신호에 따른 입 모양을 도시하고 있다.

도 64는 "오-"로 끝나는 음성 신호에 따른 입 모양을 도시하고 있다.

< 도면의 주요부호에 대한 설명 >

100 : 서버

110 : 3차원 게임엔진 서버 모듈

120 : 메시지 서버 모듈

130 : 미디어 서버 모듈

140 : 옵티마이징 서버 모듈

200 : 학생용 클라이언트

210 : 학생용 3차원 게임엔진 모듈

211 : 학생용 메쉬정보처리부

212 : 학생용 아바타페이셜엔진부

213 : 학생용 제어부

214 : 학생용 메시지처리부

215 : 학생용 텍스트립싱크부

216 : 학생용 음성립싱크부

217 : 학생용 페이셜제어부

220 : 학생용 EAI 클래스 모듈

230 : 학생용 그래픽 유저 인터페이스부(GUI)

240 : 학생용 리모트웹모듈

241 : 학생용 웹페이지 제어부

242 : 학생용 리모트웹페이지메시지처리부

300 : 교수자용 클라이언트

310 : 교수자용 3차원 게임엔진 모듈

311 : 교수자용 메쉬정보처리부

312 : 교수자용 아바타페이셜엔진부

313 : 교수자용 제어부

314 : 교수자용 메시지처리부

315 : 교수자용 텍스트립싱크부

316 : 교수자용 음성립싱크부

317 : 교수자용 페이셜제어부

320 : 교수자용 EAI 클래스 모듈

330 : 교수자용 그래픽 유저 인터페이스부(GUI)

340 : 교수자용 리모트웹모듈

341 : 교수자용 웹페이지 제어부

342 : 교수자용 리모트웹페이지메시지처리부

400 : 데이터베이스

500 : 텍스트입력수단

600 : 음성입력수단

700 : 통신수단

Claims (33)

1. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

   강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

   학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계와;

   학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 3단계와;

   다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 4단계와;

   다른 학생용 클라이언트의 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
2. 청구항 1에 있어서,

   상기 2단계 이후 상기 5단계 사이 또는 상기 5단계 이후에 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
3. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

   강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

   학생용 클라이언트에서 학생의 얼굴표정을 선택한 것을 입력받는 2단계와;

   학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 3단계와;

   교수자용 클라이언트의 교수자용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수자용 제어부에 전달하는 4단계와;

   교수자용 제어부에서 교수자용 아바타페이셜엔진부에 명령하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
4. 청구항 3에 있어서,

   상기 2단계 이후 상기 5단계 사이 또는 상기 5단계 이후 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출하는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
5. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

   강의실 입장시 교수자용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

   교수자용 클라이언트에서 교수의 얼굴표정을 선택한 것을 입력받는 2단계와;

   교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 3단계와;

   학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 4단계와;

   학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
6. 청구항 3에 있어서,

   상기 2단계 이후 상기 5단계 사이 또는 상기 5단계 이후 교수자용 제어부에 서 교수자용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파를 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
7. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

   강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

   학생용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계와;

   학생용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 학생용 제어부에 전달하는 3단계와;

   학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

   다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계와;

   다른 학생용 클라이언트의 학생용 제어부에서 학생용 아바타 페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
8. 청구항 7에 있어서,

   상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
9. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

   강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

   학생용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계와;

   학생용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 학생용 제어부에 전달하는 3단계와;

   학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

   교수자용 클라이언트의 교수자용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수용 제어부에 전달하는 5단계와;

   교수자용 제어부에서 교수자용 아바타페이셜엔진부에 명령을 전달하여 아바 타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출하는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
10. 청구항 9에 있어서,

    상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
11. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

    강의실 입장시 교수용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

    교수자용 클라이언트에서 음성입력수단으로부터 음성을 입력받는 2단계와;

    교수자용 음성립싱크부에서 입력받은 음성입력내용을 분석하여 교수자용 제어부에 전달하는 3단계와;

    교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

    학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계와;

    학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
12. 청구항 11에 있어서,

    상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 교수용 제어부에서 교수자용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
13. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

    강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

    학생용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계와;

    학생용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 학생용 제 어부에 전달하는 3단계와;

    학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

    다른 학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계와;

    다른 학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
14. 청구항 13에 있어서,

    상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
15. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

    강의실 입장시 학생용 제어부에서 학생용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

    학생용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계와;

    학생용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 학생용 제어부에 전달하는 3단계와;

    학생용 제어부에서 학생의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

    교수자용 클라이언트의 교수용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 교수자용 제어부에 전달하는 5단계와;

    교수자용 제어부에서 교수용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
16. 청구항 15에 있어서,

    상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 학생용 제어부에서 학생용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
17. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법에 있어서,

    강의실 입장시 교수용 제어부에서 교수자용 메쉬정보처리부에 명령을 전달하여 메쉬정보파일을 읽어들여 메쉬정보를 분석하는 1단계와;

    교수자용 클라이언트에서 텍스트입력수단으로부터 텍스트를 입력받는 2단계와;

    교수자용 텍스트립싱크부에서 입력받은 텍스트입력내용을 분석하여 교수자용 제어부에 전달하는 3단계와;

    교수자용 제어부에서 교수자의 얼굴표정메시지를 통신수단을 통해서 모든 클라이언트에 전달하는 4단계와;

    학생용 클라이언트의 학생용 메시지처리부에서 메시지를 전달받아 메시지를 분석하여 학생용 제어부에 전달하는 5단계와;

    학생용 제어부에서 학생용 아바타페이셜엔진부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 학생용 그래픽유저인터페이스부에 표출시키는 6단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
18. 청구항 17에 있어서,

    상기 3단계 이후 상기 6단계 사이 또는 상기 6단계 이후 교수자용 제어부에서 교수자용 페이셜제어부에 명령을 전달하여 아바타 얼굴 애니메이션 정보파일을 읽어들여 얼굴표정을 교수자용 그래픽유저인터페이스부에 표출시키는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
19. 청구항 1에서 18중 어느 하나에 있어서,

    상기 각각의 클라이언트에서 상기 메쉬정보파일과 얼굴표정메시지에 대응하는 상기 아바타얼굴 애니메이션 정보파일이 존재하지 않을시 상기 메쉬정보파일과 상기 아바타 얼굴 애니메이션 정보파일을 통신수단을 이용하여 상기 서버로부터 다운로드 받는 단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 페이셜 애니메이션제어방법.
20. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 리모트웹페이지제어방법에 있어서,

    교수자가 웹브라우저를 교수자용 그래픽유저인터페이스에 드래그하는 1단계와;

    교수자용 웹페이지 제어부가 교수자용그래픽유저인터페이스로부터 전달된 웹페이지의 컨텐츠를 교수자용 리모트웹메시지처리부에 전달하는 2단계와;

    교수자용 리모트웹메시지처리부에서 웹페이지 내용을 이용하여 리모트웹메시지를 작성 후 강의실에 접속된 모든 학생에게 통신수단을 통하여 전달하는 3단계와;

    학생용 리모트웹페이지메시지처리부에서 통신수단을 통해 전달된 리모트웹메시지를 분석하여 학생용 웹페이지 제어부에 전달하는 4단계와;

    학생용 웹페이지 제어부 웹브라우저를 기동하여 전달받은 웹페이지의 컨텐츠를 웹브라우저에 보여주는 5단계;를 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 리모트웹페이지제어방법.
21. 청구항 20에 있어서,

    상기 리모트웹페이지제어방법은,

    학생용 웹페이지 제어부가 웹브라우저에 웹페이지의 컨텐츠 표시 성공여부메시지를 학생용 리모트웹페이지메시지처리부에 전달하고 성공여부메시지를 통신수단을 통해서 교수용 리모트 웹페이지메시지처리부에 전달하는 단계와;

    교수자용 웹페이지메시지처리부에서 메시지 분석 후 교수자용 웹페이지 제어부에 전달하면 교수자용 웹페이지 제어부가 교수자용 그래픽유저인터페이스부에 결과를 표출시키는 단계;를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 리모트웹페이지제어방법.
22. 청구항 20 또는 21에 있어서,

    상기 웹페이지의 컨텐츠는,

    HTML, Flash문서, 워드문서, Acrobat문서 등의 웹상에서 표현할 수 있는 다양한 디지털 콘텐츠 표시수단 중 어느 하나인 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 리모트웹페이지제어방법.
23. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 발언권제어방법에 있어서,

    교수용 클라이언트의 교수용 제어부에서 현재 강의실에 새로 접속한 학생이 있는가를 판단하는 1단계와;

    현재 새로 접속한 학생이 없을 경우 1단계로 가는 한편 새로 접속한 학생이 있을 경우 현재 새로 접속 중인 학생들에게 학생기능제한메시지를 통신수단을 통하여 전달하는 2단계와;

    접속중인 학생용 클라이언트의 학생용 메시지처리부에서 학생기능제한메시지를 전달받아 학생용 제어부에 전달하는 3단계와;

    학생용 제어부에서 학생기능제한메시지를 분석하여 필요없는 그래픽유저인터페이스및 음성입력수단을 비활성화시키는 4단계와;

    학생용 제어부에서 아바타의 속도를 0으로 놓고 아바타의 위치를 앉을 특정의 의자의 위치로 이동시킨 후 아바타를 강제로 앉히는 5단계;를 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 발언권제어방법.
24. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 학생기능제한방법에 있어서,

    학생이 학생용 그래픽유저인터페이스부에 발언할 주제를 텍스트로 입력한 후 통신수단을 통해 전달하면 교수용 클라이언트에서 텍스트를 전달받은 후 교수용 그래픽유저인터페이스부에 텍스트를 표출시키는 1단계와;

    교수용 클라이언트로부터 교수용 그래픽유저인터페이스를 이용하여 발언허락여부를 입력받는 2단계와;

    교수용 그래픽유저인터페이스로부터 발언허락여부를 전달받아 교수용 제어부에서 발언허락여부메시지를 작성후 교수용 메시지처리부에 전달하면 교수용 메시지처리부가 통신수단을 통하여 발언을 요청한 학생용 클라이언트의 학생용 메시지처리부에 발언허락여부메시지를 전달하는 3단계와;

    발언을 요청한 학생용 클라이언트의 학생용 메시지처리부에서 발언허락여부메시지를 학생용 제어부에 전달하는 4단계와;

    학생용 제어부에서 발언허락여부메시지를 분석하여 메시지의 내용이 발언승낙인지를 판단하는 5단계와;

    발언승낙일 경우 발언을 요청한 학생을 교탁으로 위치시킨 후 음성입력수단을 활성화시키는 6단계와;

    발언을 요청한 클라이언트로부터 음성입력수단을 통하여 음성을 입력받은 후 음성입력내용을 학생용 제어부가 학생용 메시지처리부를 통하여 전체 클라이언트에게 내용을 전달하면 전달받은 클라이언트가 음성표출수단에 음성입력내용을 표출하는 7단계와;

    교수용 제어부가 발언시간이 초과되었는지 판단하는 8단계와;

    발언시간이 초과되지 않았을 경우 7단계로 이동하는 한편 발언시간이 초과되었을 경우 발언을 요청한 학생을 자신의 위치로 이동시킨 후 음성입력수단을 비활성화시키는 9단계;를 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 학생기능제한방법.
25. 청구항 24에 있어서,

    상기 학생기능제한방법은,

    상기 5단계에서 발언허락여부메시지가 발언승낙이 아닌 경우 학생용 제어

    부에서 학생용 그래픽유저인터페이스부에 발언거절의 텍스트를 표출하는 10단계를 더 포함하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템의 학생기능제한방법.
26. 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템에 있어서,

    메쉬정보파일과 아바타 얼굴 애니메이션 정보파일을 포함하는 서버와;

    아바타의 3차원 입체영상을 출력하는 교수용 그래픽유저인터페이스부 및,

    다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인 후 상기 교수용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 교수자용 3차원 게임엔진모듈을 포함하고 상기 서버와 통신수단을 통해 연결되어 있는 교수자용 클라이언트와;

    아바타의 3차원 입체영상을 출력하는 학생용 그래픽유저인터페이스부와,

    다른 클라이언트로부터 오는 얼굴표정메시지 정보를 전달받아 분석 후 메쉬정보파일과 얼굴 애니메이션 정보파일을 읽어 들인후 상기 학생용 그래픽유저인터페이스부에 아바타의 얼굴표정을 출력하는 학생용 3차원 게임엔진모듈을포함하고 상기 서버 및 상기 교수자용 클라이언트와 통신수단을 통해 연결되어 있는 학생용 클라이언트를 포함하고;

    각각의 클라이언트에서 얼굴표정을 표현하기 위해서 메쉬정보파일과 아바타 얼굴 애니메이션 정보파일이 존재하지 않을시 상기 서버로부터 다운받아 각각의 클라이언트에 저장하고 강의중에 학생들 및 교수자가 얼굴표정을 선택시 얼굴표정메시지를 3차원 정보로 처리하여 각각의 클라이언트에 통신수단을 통하여 전달하고 전달받은 상기 교수용 클라이언트와 상기 학생용 클라이언트가 상기 교수용 그래픽유저인터페이스부와 상기 학생용 그래픽유저인터페이스부에 3차원 입체영상으로 각각 얼굴표정을 출력하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
27. 청구항 26에 있어서,

    상기 교수자용 3차원 게임엔진모듈은,

    메쉬정보를 가지고 있는 메쉬정보파일을 읽어서 메쉬정보를 분석하는 교수자용 메쉬정보처리부와;

    아바타 얼굴 애니메이션 정보를 가지고 있는 아바타 얼굴 애니메이션 정보파일을 읽어서 상기 교수자용 그래픽유저인터페이스부에 표출을 하는 교수자용 아바 타페이셜엔진부와;

    상기 교수자용 메세지처리부의 얼굴표정메서지처리결과를 전달받아 상기 교수자용 메쉬정보처리부와 상기 교수자용 아바타페이셜엔진부에 각각 명령을 전달하는 교수용 제어부 및;

    다른 클라이언트로부터 온 얼굴표정메시지를 받아 얼굴표정메시지를 분석하여 교수용 제어부에 전달하는 교수자용 메시지처리부를 포함하고,

    상기 학생용 3차원 게임엔진모듈은,

    메쉬정보를 가지고 있는 메쉬정보파일을 읽어서 메쉬정보를 분석하는 학생용 메쉬정보처리부와;

    아바타 얼굴 애니메이션 정보를 가지고 있는 아바타 얼굴 애니메이션 정보파일을 읽어서 상기 학생용 그래픽유저인터페이스부에 표출을 하는 학생용 아바타페이셜엔진부와;

    상기 학생용 메세지처리부의 얼굴표정메서지처리결과를 전달받아 상기 학생용 메쉬정보처리부와 상기 학생용 아바타페이셜엔진부에 각각 명령을 전달하는 학생용 제어부및;

    다른 클라이언트로부터 온 얼굴표정메시지를 받아 얼굴표정메시지를 분석하여 학생용 제어부에 전달하는 학생용 메시지처리부를 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
28. 청구항 26에 있어서,

    상기 교수자용 클라이언트는,

    교수자로부터 음성을 입력받는 음성입력수단을 더 포함하고,

    상기 학생용 클라이언트는,

    학생으로부터 음성을 입력받는 음성입력수단을 포함하고,

    강의중에 학생들 및 교수자가 상기 음성입력수단을 이용하여 음성을 입력시 음성에 상응하는 얼굴표정메시지를 3차원 정보로 처리하여 각각의 클라이언트에 통신수단을 통하여 전달하고 전달받은 상기 교수용 클라이언트와 상기 학생용 클라이언트가 상기 교수용 그래픽유저인터페이스부와 상기 학생용 그래픽유저인터페이스부에 3차원 입체영상으로 각각 얼굴표정을 출력하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
29. 청구항 27에 있어서,

    상기 교수자용 클라이언트는,

    교수자로부터 텍스트를 입력받는 텍스트입력수단을 더 포함하고,

    상기 학생용 클라이언트는,

    학생으로부터 텍스트를 입력받는 텍스트입력수단을 더 포함하고,

    강의중에 학생들 및 교수자가 상기 텍스트입력수단을 이용하여 텍스트를 입력시 텍스트에 상응하는 얼굴표정메시지를 3차원 정보로 처리하여 각각의 클라이언트에 통신수단을 통하여 전달하고 전달받은 상기 교수용 클라이언트와 상기 학생용 클라이언트가 상기 교수용 그래픽유저인터페이스부와 상기 학생용 그래픽유저인터 페이스부에 3차원 입체영상으로 각각 얼굴표정을 출력하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
30. 청구항 28에 있어서,

    상기 교수자용 아바타페이셜엔진부는,

    음성입력수단으로부터 음성을 입력받아 얼굴표정메시지를 생성하여 교수자용 제어부에 전달하는 교수자용 음성립싱크부와;

    분석된 음성입력내용을 통해 결정된 얼굴표정메시지와 관련된 얼굴 애니메이션정보파일을 읽어 교수자용 그래픽유저인터페이스에 얼굴표정을 표출하는 교수자용 페이셜제어부를 포함하고,

    상기 학생용 아바타페이셜엔진부는,

    음성입력수단으로부터 음성을 입력받아 얼굴표정메시지를 생성하여 학생용 제어부에 전달하는 학생용 음성립싱크부와;

    분석된 음성입력내용을 통해 결정된 얼굴표정메시지와 관련된 얼굴 애니메이션정보파일을 읽어 학생용 그래픽유저인터페이스에 얼굴표정을 표출하는 학생용 페이셜제어부를 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
31. 청구항 29에 있어서,

    상기 교수자용 아바타페이셜엔진부는,

    텍스트입력수단으로부터 텍스트를 입력받아 얼굴표정메시지를 생성하여 교수자용 제어부에 전달하는 교수자용 텍스트립싱크부와;

    분석된 텍스트입력내용을 통해 결정된 얼굴표정메시지와 관련된 얼굴 애니메이션정보파일을 읽어 교수자용 그래픽유저인터페이스에 얼굴표정을 표출하는 교수자용 페이셜제어부를 포함하고,

    상기 학생용 아바타페이셜엔진부는,

    텍스트입력수단으로부터 텍스트를 입력받아 얼굴표정메시지를 생성하여 학생용 제어부에 전달하는 학생용 텍스트립싱크부와;

    분석된 텍스트입력내용을 통해 결정된 얼굴표정메시지와 관련된 얼굴 애니메이션정보파일을 읽어 학생용 그래픽유저인터페이스에 얼굴표정을 표출하는 학생용 페이셜제어부를 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
32. 청구항 26에서 31 중 어느 하나에 있어서,

    상기 학생용 그래픽유저인터페이스는,

    교수용 클라이언트로부터 교수자의 컨텐츠를 통신수단을 통하여 전달받아 출력하기 위한 전자칠판부;를 더 포함하고,

    상기 교수자용 그래픽유저인터페이스는,

    교수자가 컨텐츠를 통신수단을 통하여 학생용 클라이언트에게 전달하기 위하여 교육컨텐츠를 입력받는 전자칠판부;를 더 포함하는 것을 특징으로 하는 3차원 게임 엔진 기반의 실시간 대화형 원격강의시스템.
33. 청구항 32에 있어서,

    상기 전자칠판부는,

    교수자가 제작한 E-Book, 동영상 , HTML문서, 전자칠판문서 중 어느 하나를 입력 또는 표출하는 것을 특징으로 하는 실시간 대화형 3차원 게임 엔진 기반의 원격강의시스템.

Images