KR20100012525A

KR20100012525A - Ｒｉａ 기반 인터페이스를 이용하여 캐릭터 동영상을생성하는 시스템 및 방법

Info

Publication number: KR20100012525A
Application number: KR1020080073965A
Authority: KR
Inventors: 허재회
Original assignee: 주식회사 제노웰
Priority date: 2008-07-29
Filing date: 2008-07-29
Publication date: 2010-02-08
Also published as: KR101015975B1

Abstract

본 발명은 캐릭터 컨텐츠를 등록 및 관리하는 캐릭터 컨텐츠 서버; 선택된 캐릭터와 입력 또는 선택된 음성을 립싱크하여 립싱크된 캐릭터 동영상을 생성하는 립싱크 서버; 캐릭터 선택, 음성 입력이나 선택, 캐릭터와 음성의 립싱크 및 립싱크된 캐릭터 동영상의 표시를 단일 인터페이스에서 제공하는 RIA 애플리케이션 서버; 사용자 단말기와 연결되어 상기 단일 인터페이스를 디스플레이하고 사용자 단말기로부터의 입력을 수신하는 웹서버; 상기 캐릭터 컨텐츠를 포함하는 DB를 저장하는 저장소; 및 상기 캐릭터 컨텐츠 서버, 상기 립싱크 서버, 상기 RIA 애플리케이션 서버 및 상기 웹서버와 연동하여 상기 저장소의 DB를 관리하는 DB 서버를 포함하는 RIA 기반 캐릭터 동영상 생성 시스템을 이용하여, 립싱크 대상이 될 캐릭터 컨텐츠를 선택하는 단계; 립싱크 대상이 될 음성을 선택하거나 입력받는 단계; 상기 캐릭터 컨텐츠와 상기 음성을 립싱크하여 립싱크된 캐릭터 컨텐츠를 생성하는 단계; 및 상기 립싱크된 캐릭터 컨텐츠를 디스플레이하는 단계를 모두 단일 인터페이스를 통해 수행하는 것을 특징으로 한다.

RIA, 3D 캐릭터, 립싱크, 인터페이스

Description

ＲＩＡ 기반 인터페이스를 이용하여 캐릭터 동영상을 생성하는 시스템 및 방법 {Method and system for generating RIA based character movie clip}

본 발명은 캐릭터 동영상을 생성하는 시스템 및 방법으로서, 특히 RIA(Rich Internet Application) 기반의 인터페이스를 이용하여 사용자의 음성 메시지와 립싱크된 3D 캐릭터 동영상을 생성하는 시스템 및 방법에 관한 것이다.

기존의 블로그 시스템은 동영상, 이미지, 텍스트, 음성 등을 기반으로 생성된 사용자의 저작물을 게시하는 도구를 제공하고 있으며, 그 중에서 음성 클립을 게시할 수 있는 것을 보이스 블로그 시스템(Voice Blog System)이라 한다.

기존의 보이스 블로그 시스템의 경우 단순 음성 클립 서비스에 불과하므로 음성과 함께 영상이 함께 제공되는 것을 선호하는 비디오 세대의 요구를 만족시키기에는 부족한 점이 많았다.

또한, 인터넷과 이동통신 환경이 발달함에 따라 소위 인터넷 세대들의 경우 블로그, 화상통신, 멀티미디어메시지, 이메일 등을 이용할 때 자신의 실물 영상이 아닌 제 3의 캐릭터를 이용하여 자신을 대체하거나 전달하는 정보의 객관성 내지 오락성을 높이려는 욕구가 증가하는데, 이를 위해서는 별도의 이미지 처리 프로그 램이나 립싱크 프로그램을 사용해서 제 3의 캐릭터 이미지와 전달하려는 음성 정보를 동기화 즉, 립싱크시키는 과정을 직접 수행해서 립싱크된 동영상을 업로드해야 하므로 그 과정의 복잡성과 번거로움으로 인해서 일반 사용자에게 널리 활용되지는 못하는 실정이다.

본 발명은 상기한 문제점을 해결하기 위해서, RIA 기반의 사용자 인터페이스를 제공하여 3D 캐릭터 동영상을 생성하도록 함으로써 일반 사용자들도 전문 프로그램이나 관련 기술없이도 매우 간단하고도 효과적으로 음성에 립싱크되어 동작하는 3D 캐릭터 동영상 클립을 생성할 수 있는 3D 캐릭터 동영상 생성 시스템 및 방법을 제공하고자 한다.

또한 본 발명은, 사용자의 음성 클립을 서버에 전송한 후 서버에 저장된 3D 캐릭터와 립싱크시킴으로써 간단한 절차를 거쳐 새로운 형태의 UGC(User Generated Contents)를 생성하는 것을 목적으로 한다.

또한 본 발명은 블로그, 화상통신, 멀티미디어메시지, 이메일 등에 폭넓게 활용될 수 있는 립싱크 3D 캐릭터 동영상 생성 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한 본 발명은 사용자가 입력한 음성의 분석 결과 및 사용자의 선택에 따라 다양한 형태의 3D 캐릭터 인트로 클립과 클로징 클립이 추가되는 립싱크 3D 캐릭터 동영상 생성 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해 본 발명의 RIA 기반 캐릭터 동영상 생성 시스템은, 캐릭터 컨텐츠를 등록 및 관리하는 캐릭터 컨텐츠 서버; 선택된 캐릭터와 입력 또는 선택된 음성을 립싱크하여 립싱크된 캐릭터 동영상을 생성하는 립싱크 서버; 캐릭터 선택, 음성 입력이나 선택, 캐릭터와 음성의 립싱크 및 립싱크된 캐릭터 동영상의 표시를 단일 인터페이스에서 제공하는 RIA 애플리케이션 서버; 사용자 단말기와 연결되어 상기 단일 인터페이스를 디스플레이하고 사용자 단말기로부터의 입력을 수신하는 웹서버; 상기 캐릭터 컨텐츠를 포함하는 DB를 저장하는 저장소; 및 상기 캐릭터 컨텐츠 서버, 상기 립싱크 서버, 상기 RIA 애플리케이션 서버 및 상기 웹서버와 연동하여 상기 저장소의 DB를 관리하는 DB 서버를 포함하는 것을 특징으로 한다.

또한, 상기 캐릭터 컨텐츠 서버에 등록된 상기 캐릭터 컨텐츠는 상기 립싱크 엔진과의 연동을 위해 사람 얼굴의 기본적 윤곽의 특징점에 관한 변수를 포함하여 등록되며, 각 캐릭터에 고유한 인트로 동영상 클립과 클로징 동영상 클립 중 적어도 하나를 포함하여 등록되는 것을 특징으로 한다.

또한, 상기 RIA 기반 캐릭터 동영상 생성 시스템은 상기 웹서버를 통해 디스플레이되는 사용자의 블로그에 상기 립싱크된 캐릭터 동영상을 업로드하는 보이스 블로그 서버를 더 포함하는 것을 특징으로 한다.

한편, 상기 목적을 달성하기 위한 본 발명의 RIA 기반 캐릭터 동영상 생성 방법은, 상기 RIA 기반 캐릭터 동영상 생성 시스템을 이용하여 RIA 기반으로 립싱크된 캐릭터 동영상을 생성하는 방법으로서, 립싱크 대상이 될 캐릭터 컨텐츠를 선택하는 단계; 립싱크 대상이 될 음성을 선택하거나 입력받는 단계; 상기 캐릭터 컨텐츠와 상기 음성을 립싱크하여 립싱크된 캐릭터 컨텐츠를 생성하는 단계; 상기 립싱크된 캐릭터 컨텐츠를 디스플레이하는 단계를 포함하며, 상기 단계들은 모두 단 일 인터페이스를 통해 수행되는 것을 특징으로 한다.

이와 같이 생성된 립싱크된 캐릭터 컨텐츠는 이메일에 첨부되거나, 멀티미디어메시지나 대체 영상으로 전송되거나, 메신저를 이용하여 전송되거나, 블로그에 업로드되어 최종 애플리케이션에 적용되는 것을 특징으로 한다.

본 발명에 따르면, RIA 기반의 사용자 인터페이스를 제공하여 3D 캐릭터 동영상을 생성하도록 하기 때문에, 일반 사용자들이 전문 프로그램이나 관련 기술없이도 매우 간단하고도 효과적인 방법으로 음성에 립싱크되어 동작하는 3D 캐릭터 동영상 클립을 생성할 수 있다.

즉, 본 발명은 3D 캐릭터와 음성을 립싱크하여 캐릭터 동영상을 생성함에 있어, 사용자의 편의성을 고려하여 RIA 기반의 사용자 인터페이스를 적용함으로써 사용자의 입력과 움직임을 최소화하여 단일 화면 즉, 단일 인터페이스 상에서 사용자 입력 과정을 처리하도록 해 준다.

또한 본 발명에 따르면, 사용자의 음성 클립을 서버에 전송한 후 서버에 저장된 3D 캐릭터와 립싱크시키는 간단한 절차를 거쳐 새로운 형태의 UGC(User Generated Contents)를 생성할 수 있다.

이에 따라 기존의 유명 캐릭터들이 가지는 고정된 이미지를 탈피하여 새로운 이미지의 캐릭터로 재탄생될 수 있는 기회를 부여하며, 기존 캐릭터들의 유통범위를 확장함으로써 캐릭터 자체의 개성이 확장되고 라이프 사이클이 연장될 수 있다.

또한, 본 발명에 따르면 생성된 3D 캐릭터들이 캐릭터 컨텐츠 DB에 미리 저장된 움직임을 표현할 수 있으며, 인트로 동영상 클립 및/또는 클로징 동영상 클립과 하나의 세트를 이루는 3D 캐릭터 동영상을 구성할 수 있으며, 나아가 인트로 동영상 클립과 클로징 동영상 클립은 캐릭터 고유의 특징을 나타내는 재미있는 고유 캐릭터 영상을 표현할 수 있으므로 온라인/오프라인에서 캐릭터 영상 PPL(Products in Placement)의 광고 미디어로 충분히 활용될 수 있다.

또한 본 발명에 의해 생성된 3D 캐릭터 동영상은 블로그, 화상통신, 멀티미디어메시지, 이메일, 메신저 등을 제공하기 위한 시스템과 결합되어 다양한 애플리케이션에 폭넓게 활용될 수 있다.

특히, 본 발명에 따르면 사용자의 일상을 목소리를 통해 기록하는 아바타 보이스 블로그 시스템(Avatar Voice Blog System)을 구현하여 사용자의 라이프 로그(Life Log)를 지원할 수 있다.

RIA(Rich Internet Application)는 다양한 스크립트 기술(Flash Action Script, AJAX, MS Sliverlight 등)과 데이터베이스의 연동을 통해 단일 페이지에서 명령 입력, 데이터베이스 검색 및 결과의 표시 등 전체 프로세스를 진행할 수 있도록 함으로써, 기존의 웹 애플리케이션이 가진 평면적인 표현과 순차적인 프로세스를 단순화시켜 단일 인터페이스에서 다이나믹하게 처리가능하도록 해주는 기술을 통칭하는 용어이다.

본 발명에서는 단일 인터페이스 내에서 3D 캐릭터를 선택하고 이를 입력된 음성과 립싱크시켜 립싱크된 3D 캐릭터 동영상을 만들기 위해 RIA 애플리케이션 서버를 이용한다.

이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 인터페이스이다.

도 1의 인터페이스(100)는 3D 캐릭터(또는, 3D 아바타) 선택부(110), 감정 선택부(120), 음성 선택부(130)와 음성 녹음부(135), 동영상 생성부(140), 동영상 전달부(150) 및 동영상 표시부(160)로 구성된다.

이용방법을 순차적으로 설명하면, 우측 상단의 3D 캐릭터 선택부(110)에서 원하는 3D 캐릭터를 선택하고(S1 단계), 감정 선택부(120)에서 3D 캐릭터의 감정을 선택하고(S2 단계), 3D 캐릭터의 영상에 립싱크될 음성을 음성 녹음부(135)에서 직접 녹음하거나 음성 선택부(130)에서 미리 저장된 음성 파일 중 하나를 선택하고(S3 단계), 동영상 생성부(140)의 "생성"버튼을 통해 선택된 3D 캐릭터 영상에 음성을 립싱크시켜 립싱크 3D 캐릭터 동영상을 생성하면(S4 단계), 동영상 표시부(160)에 생성된 립싱크 3D 캐릭터 동영상이 표시된다. 이어서, 생성된 동영상을 이메일, 멀티미디어메시지, 웹 블로그 등의 연결된 애플리케이션에 활용할 수 있도록 동영상 전달부(150)의 "전달"버튼을 통해 해당 애플리케이션을 수행하는 서버나 기타 저장 장치 등으로 전달할 수 있다.

도 1의 RIA 기반 3D 캐릭터 동영상 생성 인터페이스는 단일 인터페이스에서 3D 캐릭터 선택, 음성 선택, 립싱크 및 생성된 동영상의 표시와 전달 절차를 모두 수행할 수 있도록 되어 있다. 이러한 과정을 수행할 수 있도록 해주는 3D 캐릭터 동영상 생성 시스템의 구조 및 방법에 대해서는 다른 도면을 참조하여 후술하기로 한다.

도 2는 본 발명의 다른 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 및 전송 인터페이스이며, 도 5는 본 발명의 상기 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 방법의 순서도이다.

도 1의 인터페이스가 사용자의 음성에만 립싱크되는 3D 캐릭터를 생성함에 비해, 도 2의 인터페이스는 사용자의 실제 표정과 움직임에 대응하는 표정과 동작을 갖고 입력 음성에 립싱크됨으로써 더욱 사실감있게 사용자의 대체 영상으로 기능할 수 있는 립싱크 3D 캐릭터를 생성할 수 있다.

도 2의 인터페이스는 3D 캐릭터 변환부(210), 제공 메시지 표시부(240), 음성 메시지 녹음부(250), 동영상 전달부(260), 동영상 표시부(270)으로 구분된다.

3D 캐릭터 변환부(210)는 크게 원본 이미지 화면부(211)와 랜더링 이미지 화면부(221)로 나뉘어 제공되며, 원본 이미지 화면부(211)측에는 3D 캐릭터 이미지를 선택하기 위한 "이미지 찾기"버튼(212)과 사용자의 영상 내지 사용자가 입력하기를 원하는 영상을 입력받기 위한 "웹카메라"버튼(213)(웹카메라 외에 애플리케이션에 따라 이미지 스캐너, PC 카메라, 휴대폰 카메라 등으로부터의 영상을 전송받기 위 한 버튼이 구비될 수도 있음)이 구비된다. 또한, 이미지 랜더링 효과를 제고하기 위해 입력된 영상의 성별 분석을 용이하게 할 수 있도록 미리 사용자 영상의 성별을 입력하는 버튼(214)이 제공될 수 있으며, 랜더링 대상 3D 캐릭터와 입력 영상의 선택 및 랜더링 수행 명령 및 명령의 취소를 위한 다수의 버튼들(215, 216)이 제공될 수 있으며, 이러한 버튼의 제공 위치나 기능은 용도나 목적에 맞추어 당업자에 의해 자유로이 변경될 수 있다. 이하에서 설명되는 다수의 버튼들의 경우에도 다양한 변형이 가능함은 마찬가지이다.

랜더링 이미지 화면부(221)는 사용자의 입력 영상의 특징을 반영하는 3D 캐릭터(및 인트로 클립이나 클로징 클립이 선택된 경우 해당 클립에 등장하는 3D 캐릭터)를 랜더링하여 표시하며, 랜더링된 이미지의 확정 내지 취소를 위한 다수의 버튼들(222, 223)과 확정된 이미지를 자신의 기본 아바타로 지정하기 위한 버튼(224) 내지 확정된 이미지를 자신이 원하는 저장 매체에 저장하기 위한 버튼(225)이 제공될 수 있다. 이와 같은 과정을 통해서 사용자는 자신의 얼굴 표정과 각도 등 얼굴 특징을 반영하는 자신만의 3D 캐릭터를 생성할 수 있다.

3D 캐릭터 변환부(210)의 하단에는 시스템에서 미리 생성하여 제공하는 제공 메시지를 표시하기 위한 제공 메시지 표시부(240) 및 사용자가 직접 자신의 음성을 녹음할 수 있는 음성 메시지 녹음부(250)가 관련 기능 버튼들과 함께 제공되어 사용자가 립싱크 3D 캐릭터 생성시에 사용할 음성을 선택 또는 입력할 수 있도록 한다.

또한, 음성에 링싱크된 3D 캐릭터 동영상을 미리 확인할 수 있는 동영상 표 시부(270)와 동영상을 이메일이나 휴대폰 메시지 등의 형태로 전송할 수 있도록 동영상 전달부(260)가 단일 인터페이스 내에 제공되어, 한 페이지 내에서 3D 캐릭터의 선택과 음성의 입력 및 립싱크 동영상 생성 및 전송까지 일괄적으로 처리할 수 있다.

도 2의 인터페이스를 이용하여 립싱크 3D 캐릭터 동영상을 생성 및 전송하는 과정의 일례를 도 5의 순서도를 참조하여 설명한다.

먼저, 사용자는 웹카메라 버튼(213)을 통해 이미지 스캐너, PC 카메라, 웹카메라, 휴대폰 카메라 등으로부터 자신의 표정을 담은 실제 영상을 입력받고(510 단계), 이어서 자신의 대체 영상으로 사용할 3D 캐릭터(또는 3D 아바타)와 각각의 캐릭터에 맞는 인트로 클립과 클로징 클립을 서버의 아바타 라이브러리에서 검색하여 선택할 수 있다(520 단계). 이때, 자신의 음성 대신에 미리 저장된 음성 클립을 이용하고자 할 경우 제공 메시지 표시부(240)를 통해 서버의 아바타 라이브러리에서 검색할 수 있다.

이어서, 사용자는 음성 메시지 녹음부(250)를 통해 립싱크하고자 하는 자신의 음성을 녹음하거나 TTS(Text to Speech)장치가 제공될 경우 텍스트를 음성으로 변환하여 입력할 수 있다(530 단계)

이상에서 3D 캐릭터와 음성 메시지를 입력받은 립싱크 애플리케이션 서버는 실시간으로 양자를 립싱크하여 립싱크 3D 캐릭터 동영상을 합성한다(540 단계)

이와 같이 합성된 립싱크 3D 캐릭터 동영상(550)은 캐릭터 컨텐츠 DB에 미리 저장된 해당 캐릭터의 특징을 잘 표현한 고유의 움직임을 표현하도록 제공될 수 있으며, 전후로 인트로 클립과 클로징 클립을 구비할 수 있다. 즉, 사용자 얼굴특성을 반영한 3D 캐릭터가 음성과 립싱크되어 동작하는 립싱크 구간(554)과, 선택된 3D 캐릭터에 맞추어 서버에서 제공되는 인트로 클립 구간(552) 및 클로징 클립 구간(556)으로 이루어진 세트 동영상이 하나의 동영상으로 결합되어 제공될 수 있다.

인트로 클립(552)과 클로징 클립(556)은 사용자의 선택에 따라 또는 자동적으로 립싱크 구간(554)의 전후에 결합될 수 있는 동영상 클립으로서, 기본 동영상 클립은 각 3D 캐릭터마다 미리 서버에 다수 개 저장되어 있으며, 사용자가 입력한 실제 영상의 얼굴 특징들을 반영하도록 랜더링되고 동일한 특징을 갖도록 랜더링된 립싱크 구간(554)의 전후에 결합된다. 인트로 클립(552)과 클로징 클립(556)은 각기 디폴트 음성 메시지를 동반하도록 구성될 수도 있으며, 사용자의 실제 음성 메시지를 입력받은 경우 디폴트 음성 메시지의 내용은 유지하되 음성 톤은 입력된 음성톤과 동일 또는 유사하도록 실시간으로 변경될 수 있다(540 단계).

한편, 인트로 클립(552)과 클로징 클립(556)이 자동으로 구성될 경우에는, 입력된 음성의 내용과 음성 패턴 및 사용자의 특성을 메타데이터로 구분하여 인트로 클립(552)과 클로징 클립(556)의 애니메이션 생성시에 반영할 수도 있다. 또한, 인트로 클립(552)과 클로징 클립(556)은 캐릭터 고유의 특징을 나타내는 재미있는 고유 캐릭터 영상을 표현하도록 애니메이션되는 것이 바람직하다.

상기 과정을 거쳐 완성된 립싱크 3D 캐릭터 동영상(550)은 휴대폰 영상 통화시의 대체 영상으로 사용되거나(560 단계), 영상 이메일, 멀티미디어메시지에 첨부 되거나, 웹 블로그에 업로드될 수 있다(미도시).

도 3은 본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 시스템(300)을 포함하는 통신망의 구성도이다.

본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 시스템(300)은 캐릭터 컨텐츠 서버(310), 립싱크 서버(320), RIA 애플리케이션 서버(340), DB서버(350), 웹서버(360), 저장소(370)를 포함하도록 구성되며, 블로그 시스템에 연결될 경우 보이스 블로그 서버(330)를 추가로 포함하도록 구성된다.

이와 같이 구성된 시스템(300)은 생성된 3D 캐릭터 동영상의 활용분야로의 전송을 위해 통상의 이동통신망, 무선 인터넷망, 공중 인터넷망과 같은 유무선 통신망을 통해 각 통신망의 서버들(383, 385, 386)과 단말기들(381, 382, 387)과 연결되며, 이에 따라 시스템(300)에서 생성된 3D 캐릭터 동영상이 이동통신, 인터넷 블로그, 무선 인터넷 등을 위한 새로운 형태의 컨텐츠로 이용될 수 있다.

도 4는 본 발명의 상기 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 시스템의 세부 구성도이다.

RIA 기반 3D 캐릭터 동영상 생성 시스템(300)은 캐릭터 컨텐츠 서버(310), 립싱크 서버(320), 보이스 블로그 서버(330), RIA 애플리케이션 서버(340), DB서버(350), 웹서버(360), 저장소(370)를 포함하도록 구성된다.

캐릭터 컨텐츠 서버(310)는 3D 캐릭터 컨텐츠를 등록하고 관련 ID를 생성하는 캐릭터 컨텐츠 ID 관리부(312)와 3D 캐릭터의 배경 컨텐츠 및 각 3D 캐릭터에 대응하는 인트로 클립과 클로징 클립을 등록 및 관리하는 배경 컨텐츠 관리부(314)와 각 3D 캐릭터 이미지를 저장하기 위한 캐릭터 이미지 저장 DB(316)를 포함하도록 구성된다.

캐릭터 이미지 저장 DB(316)에 저장되는 3D 캐릭터는 상업용 캐릭터 제작사에서 제공될 수도 있고, 사용자가 직접 제작하여 등록한 3D 캐릭터일 수도 있다. 본 발명의 적용을 위해서는 3D 캐릭터인 것이 상업적 목적 및 발명의 효과상 바람직하지만 2D 캐릭터의 경우에도 본 발명을 적용할 수 있음은 물론이다. 다만 본 명세서에서는 설명의 편의상 3D 캐릭터인 경우만을 예로 들어 설명하기로 한다.

3D 캐릭터 정보는 해당 캐릭터의 3D 이미지 파일, 배경 맵, 표정과 움직임에 관한 특징 파일, 캐릭터의 이름과 탄생 스토리 등을 포함하는 캐릭터 설명을 포함하며, 전후좌우면의 2D 이미지 파일을 3D로 변환하여 배경, 표정과 움직임 등의 특징을 정의함에 의해 3D 캐릭터를 만들 수도 있다. 이러한 3D 캐릭터 정보는 통상의 3D 그래픽에서 사용되는 정보를 모두 포함한다.

3D 캐릭터에 음성을 립싱크하여 3D 캐릭터 동영상을 생성하는 본 발명의 특성상, 상기 통상의 3D 캐릭터 이미지는 추가적으로 립싱크 엔진과의 연동을 위한 입모양, 얼굴 표정, 얼굴 각도 등의 부분 작업을 거치게 되며, 각 캐릭터마다 테마별, 감정, 기타 효과별로 인트로 동영상 클립과 클로징 동영상 클립이 생성된다.

이러한 과정을 거쳐 각각의 3D 캐릭터 컨텐츠가 준비되고 캐릭터 ID가 부여 되면, 캐릭터 컨텐츠 서버(310)의 각 부에 나뉘어 저장된다.

립싱크 서버(320)는 입력된 오디오 신호 중 음성 신호를 추출하고 예컨대 3D Texture Mesh Target Type으로 표정 및 발음에 따른 입모양 데이터가 미리 저장된 캐릭터 컨텐츠 서버(310)의 입모양 DB와 대조하여 립싱크 변수를 획득하는 립싱크 엔진(322), 입력된 영상 신호 중 사람 얼굴의 기본적 윤곽(즉, 머리, 눈썹, 눈, 코, 입 등의 상대적 위치)에 대한 특징점을 추출하여 변화하는 얼굴의 표정 및 각도에 관한 모션 변수를 획득하는 모션 트래킹 엔진(326), 3D 캐릭터 컨텐츠를 선택하여 불러오는 캐릭터 컨텐츠 인덱싱 모듈(328), 및 립싱크 엔진(322)으로부터의 립싱크 변수와 모션 트래킹 엔진(326)으로부터의 모션 변수를 선택된 3D 캐릭터 컨텐츠와 결합하고 자연스러운 움직임을 갖도록 랜더링하며 최종 애플리케이션에 적합한 동영상 포맷으로 인코딩하는 립싱크 애니메이션 엔진(324)을 포함하도록 구성된다.

RIA 애플리케이션 서버(340)는 Flex, WPF, AJAX 등과 같이 RIA를 구현하기 위한 기술 플랫폼을 구비한 RIA 엔진(또는 RIA 프레임워크)(340), DB서버(350)와의 데이터 전송을 위한 DB 연결부(347), 다른 서버들(320, 360)과의 RIA 연동을 위한 RIA 연동부(348), 사용자의 명령 입력에 따라 실시간으로 데이터를 페치(fetch)하는 실시간 데이터 리플랙션 모듈(344), 웹서버(360)로부터의 사용자 명령에 따라 립싱크 서버(320)와 연동하여 3D 캐릭터를 실시간으로 생성하고 이어지는 애플리케 이션을 위해 다른 서버로 전송하는 과정을 관리하는 캐릭터 생성 및 서버 전송 모듈(346)을 포함하도록 구성된다.

웹서버(360)는 통상의 웹서버로서 W3C 표준 HTML 프로토콜(364), 웹이미지 저장 기능부(368), 세션 관리부(366), 사용자 인증부(367) 및 DB서버(350)와의 데이터 전송을 위한 DB 연결부(362), RIA 애플리케이션 서버(340)와의 RIA 연동을 위한 RIA 연동부(363)를 포함하도록 구성된다.

DB서버(350)는 사용자 DB 관리부(354), 립싱크된 3D 캐릭터 컨텐츠를 관리하는 UGC DB 관리부(356), 3D 캐릭터의 컨텐츠 ID와 이미지 파일 주소를 저장하고 요청된 3D 캐릭터 컨텐츠를 인덱싱하는 컨텐츠 인덱싱 모듈(358), 전체 DB 운용을 총괄하는 DB 관리부(DBMS)(352)를 포함하도록 구성된다.

저장소(370)는 3D 캐릭터 동영상 생성 시스템에서 이용되는 각종 자료를 저장하는 파일 스토리지(374)와 다른 서버로부터의 명령에 따라 각 파일을 인덱싱하는 파일 인덱싱 관리부(372)를 포함하도록 구성된다.

3D 캐릭터 동영상 생성 시스템이 블로그 시스템에 연결될 경우 포함되는 보이스 블로그 서버(330)는, 신규 블로그 등록 및 ID 생성을 위한 블로그 ID 관리부(332), 블로그 ID, 포스트 ID 및 캐릭터 ID를 관리하는 블로그 포스트 관리 부(334), 블로그 ID와 캐릭터 ID를 매핑하여 캐릭터 컨텐츠를 인덱싱하는 캐릭터 컨텐츠 인덱싱 모듈(336), DB서버(350)와의 데이터 전송을 위한 DB 연결부(337), 및 블로그 정보를 관리하는 블로그 DB(338)를 포함하도록 구성된다.

이제 도 1 및 도 4를 참조하여 3D 캐릭터 동영상을 생성하여 블로깅하는 과정의 일례를 설명하기로 한다.

본 발명에 이용되는 보이스 블로그 서버(330)는 블로그 ID 관리 기능, 블로그 포스트 관리 기능 등의 통상을 기능을 수행하기 위한 구성요소들(332, 334, 337, 338)을 모두 포함하며, 추가적으로 본 발명에 따른 캐릭터 컨텐츠 인덱싱 모듈(336)을 포함한다.

(1) 사용자 영상 입력 단계(도 1에서는 생략)

사용자는 유무선 단말기(381, 382, 384, 387)를 이용하여 자신이 이용할 유무선 네트워크를 통해 웹서버(360)에 접속하여 RIA 애플리케이션 서버(340)에 의해 구동되는 RIA 기반의 플랫폼에서 블로그 자료 업로드와 같은 통상의 블로깅 작업 외에, 본 발명의 립싱크 3D 캐릭터 동영상 업로드를 위한 실제 영상의 입력, 원하는 3D 캐릭터의 선택, 음성의 입력 등의 절차를 수행한다. 이때 영상 입력, 3D 캐릭터 선택, 음성 입력 등의 절차에서 선후는 큰 의미가 없어서 이들 절차를 진행한 후에 립싱크 3D 캐릭터 합성이 이루어지면 족하며, 경우에 따라 사용자가 영상 입력을 하지 않을 수도 있다.

또한, 이들 단계가 수행되기 전에 3D 캐릭터의 이미지 파일, 배경 맵, 표정과 움직임에 대한 특징 파일, 캐릭터 설명을 포함하는 3D 캐릭터 정보가 웹서버(360)를 통해 캐릭터 컨텐츠 서버(310)에 미리 등록되어 있어야 할 것임은 자명하다.

(2) 3D 캐릭터 선택 단계(도 1의 S1 단계)

3D 캐릭터 선택 단계는 RIA 애플리케이션 서버(340)에 의해 제공되는 RIA 기반 인터페이스(도 1에 예시) 상에서 이루어지는데, 보이스 블로그 서버(330)의 캐릭터 컨텐츠 인덱싱 모듈(336)이 사용자별 블로그 ID와 캐릭터 컨텐츠의 캐릭터 ID를 매핑함에 따라, DB서버(350)와 캐릭터 컨텐츠 서버(310)를 통해 3D 캐릭터가 선택되며, 사용자가 원한다면 해당 3D 캐릭터의 인트로 클립 및/또는 클로징 클립과 자신이 원하는 음성 클립까지 선택할 수 있다(도 1의 S3 단계).

이때 사용자 영상 입력 단계가 생략되어서 3D 캐릭터의 표정이나 모션 변화 정보를 획득할 수 없는 경우, 대안적으로 3D 캐릭터의 감정을 선택함으로써 3D 캐릭터의 표정이나 모션 변화 정보, 및 음성 클립의 감정 표현 정보를 준비할 수 있다(도 1의 S2 단계).

(3) 3D 캐릭터 동영상 생성 단계(도 1의 S4 단계)

사용자가 3D 캐릭터 생성을 위한 모든 정보를 선택 및/또는 입력한 후 동영상 생성 명령을 내리면, 립싱크 서버(320)에서는 선택된 3D 캐릭터 영상에 음성을 립싱크시켜 립싱크 3D 캐릭터 동영상을 생성한다.

이때 3D 캐릭터 이미지는 최초 저장된 이미지 그대로의 특징을 가지거나, 입력된 사용자 영상의 표정이나 모션을 모방하거나, 사용자가 선택한 감정이 반영되었거나, 인트로 동영상 클립 및/또는 클로징 동영상 클립을 가질 수 있다.

이와 같이 단계적으로 변화하는 3D 캐릭터 동영상 및/또는 최종 립싱크 3D 캐릭터 동영상은 모두 RIA 애플리케이션 서버(340)에서 제공되는 단일 인터페이스내에 할당된 동영상 표시부(160)를 통해 확인할 수 있다.

(4) 3D 캐릭터 동영상 전송 단계(도 1의 S5 단계)

동영상 전달부(150)의 "전달"버튼을 통해 생성된 립싱크 3D 캐릭터 동영상의 업로드 명령이 주어지면 RIA 애플리케이션 서버(340)의 캐릭터 생성 및 서버 전송 모듈(346)에서는 해당 동영상을 웹서버(360)의 블로그에 업로그하여 디스플레이하고, 웹서버(360)와 보이스 블로그 서버(330)는 상호 연동하여 관련 기록을 업데이트한다.

한편, 도 6은 본 발명의 또 다른 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 및 전송 인터페이스로서, 1번 영역은 기본적인 동영상의 재생 및 미리보기, 전송, 퍼가기 기능 등을 지원하는 미디어 플레이어로 구성되며, 2번 영역은 미리 저장된 3D 캐릭터와 캐릭터 DB를 연동하여 캐릭터의 움직임을 동적으로 보여주는 캐릭터 선택부이며, 2-1번은 캐릭터 선택부에서 선택된 캐릭터에 대한 상세 정보를 제공해주는 캐릭터 상세 정보부이며, 3번 영역은 사용자의 음성을 녹음하는 기능을 제공하는 영역으로서 필요에 따라 미리 녹음된 메시지를 DB에서 불러오거나 사용자가 보유하고 있는 음성 파일을 업로드하는 기능도 지원하도록 되어 있다.

본 발명에서 지원하는 캐릭터 동영상 생성 및 전송 인터페이스는 그것이 RIA에 기반한 단일 인터페이스로 주어지면 족하며, 구체적인 기능의 제한이나 추가는 당업자에 의해 다양하게 이루어질 수 있다.

지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 해석되어야 하며 한정적인 것이 아닌 것으로 이해되어야 한다.

또한, 본 발명의 범위는 상기 상세한 설명 보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 기재 사항 및 그 균등물로부터 도출되는 모든 변경 내지 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

도 2는 본 발명의 다른 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 및 전송 인터페이스이다.

도 3은 본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 시스템을 포함하는 통신망의 구성도이다.

도 4의 본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 시스템의 구성도이다.

도 5는 본 발명의 일 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 방법의 순서도이다.

도 6은 본 발명의 또다른 실시예에 따른 RIA 기반 3D 캐릭터 동영상 생성 인터페이스이다.

Claims

캐릭터 컨텐츠를 등록 및 관리하는 캐릭터 컨텐츠 서버;

선택된 캐릭터와 입력 또는 선택된 음성을 립싱크하여 립싱크된 캐릭터 동영상을 생성하는 립싱크 서버;

캐릭터 선택, 음성 입력이나 선택, 캐릭터와 음성의 립싱크 및 립싱크된 캐릭터 동영상의 표시를 단일 인터페이스에서 제공하는 RIA 애플리케이션 서버;

사용자 단말기와 연결되어 상기 단일 인터페이스를 디스플레이하고 사용자 단말기로부터의 입력을 수신하는 웹서버;

상기 캐릭터 컨텐츠를 포함하는 DB를 저장하는 저장소; 및

상기 캐릭터 컨텐츠 서버, 상기 립싱크 서버, 상기 RIA 애플리케이션 서버 및 상기 웹서버와 연동하여 상기 저장소의 DB를 관리하는 DB 서버;

를 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 1 항에 있어서,

상기 캐릭터 컨텐츠 서버에 등록된 상기 캐릭터 컨텐츠는 상기 립싱크 엔진과의 연동을 위해 사람 얼굴의 기본적 윤곽의 특징점에 관한 변수를 포함하여 등록되는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 2 항에 있어서,

상기 캐릭터 컨텐츠 서버에 등록된 상기 캐릭터 컨텐츠는 각 캐릭터에 고유한 인트로 동영상 클립과 클로징 동영상 클립 중 적어도 하나를 포함하여 등록되는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 3 항에 있어서,

상기 립싱크 서버는,

상기 입력 또는 선택된 음성과 미리 저장된 입모양 DB를 대조하여 립싱크 변수를 획득하는 립싱크 엔진;

상기 사용자 단말기를 통해 입력된 영상에서 상기 기본적 윤곽의 특징점에 관한 변수를 획득하는 모션 트래킹 엔진;

상기 선택된 캐릭터 컨텐츠를 불러오는 캐릭터 컨텐츠 인덱싱 모듈; 및

상기 립싱크 엔진으로부터의 상기 립싱크 변수와 상기 모션 트래킹 엔진으로부터의 상기 기본적 윤곽의 특징점에 관한 변수를 상기 선택된 캐릭터 컨텐츠와 결합하는 립싱크 애니메이션 엔진을 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 4 항에 있어서,

상기 DB 서버는 상기 사용자의 정보를 저장하는 사용자 DB와 상기 립싱크된 캐릭터 동영상을 저장하는 UGC DB를 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 5 항에 있어서,

상기 RIA 애플리케이션 서버는 상기 립싱크된 캐릭터 동영상을 최종 애플리케이션 장치로 전송하기 위한 버튼을 상기 단일 인터페이스에서 추가로 제공하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 6 항에 있어서,

상기 캐릭터 컨텐츠는 3D 캐릭터 컨텐츠인 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 7 항에 있어서,

상기 RIA 기반 캐릭터 동영상 생성 시스템은 유선 전화망, 무선 전화망, 유선 인터넷망, 무선 인터넷망, 유선 인트라넷망, 무선 인트라넷망 중 적어도 하나를 포함하는 유무선 네트워크에 연결되어 동작하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 캐릭터 컨텐츠 서버, 상기 립싱크 서버, 상기 RIA 애플리케이션 서버, 상기 웹서버, 상기 저장소 및 상기 DB 서버에 연결되어, 상기 웹서버를 통해 디스플레이되는 블로그에 상기 립싱크된 캐릭터 동영상을 업로드하는 보이스 블로그 서 버를 더 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 시스템.
제 1 항 내지 제 8 항 중 어느 한 항에 따른 RIA 기반 캐릭터 동영상 생성 시스템을 이용하여 RIA 기반으로 립싱크된 캐릭터 동영상을 생성하는 방법에 있어서,

립싱크 대상이 될 캐릭터 컨텐츠를 선택하는 단계;

립싱크 대상이 될 음성을 선택하거나 입력받는 단계;

상기 캐릭터 컨텐츠와 상기 음성을 립싱크하여 립싱크된 캐릭터 컨텐츠를 생성하는 단계;

상기 립싱크된 캐릭터 컨텐츠를 디스플레이하는 단계를 포함하며,

상기 단계들은 모두 단일 인터페이스를 통해 수행되는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 10 항에 있어서,

상기 음성 입력 단계는 문자로 입력된 정보를 TTS를 이용하여 음성으로 변환한 후 변환된 음성을 입력받는 단계인 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 10 항에 있어서,

상기 립싱크된 캐릭터 컨텐츠를 이메일에 첨부하는 단계를 더 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 10 항에 있어서,

상기 립싱크된 캐릭터 컨텐츠를 이동통신이나 무선 인터넷을 이용하여 멀티미디어메시지나 대체 영상으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 10 항에 있어서,

상기 립싱크된 캐릭터 컨텐츠를 메신저를 이용하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 10 항에 있어서,

상기 사용자 단말기는 이동통신이나 무선 인터넷 기능을 수행하는 무선 단말기이며, 상기 모든 단계들은 상기 무선 단말기에 제공되는 단일 인터페이스 상에서 수행되는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.
제 9 항에 따른 RIA 기반 캐릭터 동영상 생성 시스템을 이용하여 RIA 기반으로 립싱크된 캐릭터 동영상을 생성하는 방법에 있어서,

립싱크 대상이 될 캐릭터 컨텐츠를 선택하는 단계;

립싱크 대상이 될 음성을 선택하거나 입력받는 단계;

상기 캐릭터 컨텐츠와 상기 음성을 립싱크하여 립싱크된 캐릭터 컨텐츠를 생성하는 단계;

상기 립싱크된 캐릭터 컨텐츠를 디스플레이하는 단계; 및

상기 립싱크된 캐릭터 컨텐츠를 상기 블로그에 업로드하는 단계를 포함하며,

상기 단계들은 모두 단일 인터페이스를 통해 수행되는 것을 특징으로 하는 RIA 기반 캐릭터 동영상 생성 방법.