KR100912230B1

KR100912230B1 - 대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템

Info

Publication number: KR100912230B1
Application number: KR1020050086634A
Authority: KR
Inventors: 허재회
Original assignee: 주식회사 인스프리트
Priority date: 2005-09-16
Filing date: 2005-09-16
Publication date: 2009-08-14
Also published as: KR20070032432A

Abstract

이동통신 가입자를 위한 대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템이 개시된다. 본 발명의 대체 영상 통화 서비스 제공 방법은 (a) 대체 영상 통화를 위한 3차원 캐릭터를 설정하여 등록하는 단계; (b) 대체 영상 통화 서비스 요청을 수신하는 단계; (c) 단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고, 움직임 좌표값을 추출하는 단계; (d) 상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 단계; 및 (e) 상기 3차원 캐릭터 동영상을 상대방 단말기로 제공하는 단계를 포함함다. 본 발명에 따르면, 새로운 부가 서비스의 창출 및 다양한 서비스를 원하는 이동통신 가입자의 욕구를 충족시키는 효과가 있다.

Description

대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템{Method and system for providing call service transmitting alternate image}

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 본 발명의 일 실시예에 따른 대체 영상 통화 서비스를 제공하기 위한 개략적인 망 구성도를 도시한 것이다.

도 2는 도 1에 도시된 대체 영상 웹 서버의 내부 구성 블록도이다.

도 3은 도 1에 도시된 모션 트래킹 서버의 내부 구성 블록도이다.

도 4는 본 발명의 일 실시예에 따른 대체 영상 서비스 제공 방법을 나타내는 흐름도이다.

도 5는 본 발명의 다른 일 실시예에 따른 대체 영상 서비스 제공 방법을 나타내는 흐름도이다.

도 6은 본 발명의 또 다른 일 실시예에 따른 대체 영상 서비스 제공 방법을 나타내는 흐름도이다.

도 7은 대체 영상 웹 서버에 의해 3D 캐릭터가 생성되는 과정의 일 예를 나타내는 도면이다.

도 8은 모션 트래킹 서버에서 실제 동영상에 대응하여 생성된 3D 캐릭터의 일 예를 나타내는 도면이다.

본 발명은 이동 통신망 가입자를 위한 서비스에 관한 것으로, 특히, 이동통신망에서 가입자의 실제 화상이나 영상 대신 3차원(이하, 3D) 대체 영상을 이용하여 통화하는 서비스를 가입자에게 제공하는 방법 및 그 시스템에 관한 것이다.

네트워크 및 사이버 공간의 발달로, 자신의 실제 모습이 아닌 자신을 나타내는 캐릭터를 이용하는 기술이 점점 증대되고 있다. 그 중의 하나가 아바타이다. 아바타는 네트워크 접속자를 대신하는 애니메이션 캐릭터이다. 이 아바타는 이-메일, 채팅 등에 이용되고 있으며, 사이버 쇼핑몰, 가상 교육, 가상 오피스 등으로 이용이 확대되고 있다. 그런데, 단순히 아바타나 케릭터를 화면에 표시하는 것만으로는, 다양한 수요자의 욕구를 충족시키지 못하므로, 캐릭터를 음성에 맞춰 동작시키는 방법에 대한 연구가 많이 진행되고 있다.

한편, 이동통신망에서 제공되는 서비스는 한정된 무선자원과 같은 이동통신망의 특성에 따른 제한으로 인하여, 음성 기반 혹은 텍스트 기반 서비스가 주를 이루었다. 최근에는 이동통신망이 진화함에 따라, 멀티미디어 서비스가 많이 도입되고 있다. 그 중에 하나가 화상(영상) 통화 서비스 및 화상 회의 서비스이다.

통상의 화상 통화 서비스는 통화자의 실제 모습을 휴대폰 카메라에서 찍어, 이 카메라 영상을 상대방에게 전송한다. 이러한 통상의 화상 통화 서비스의 경우, 통화자의 실제 모습만을 전달하므로, 단조롭거나 이동통신 가입자 개개인의 개성을 표현하는데 부족한 점이 있다. 이를 보완하기 위하여, 화상 통화 중에 특정 번호키를 눌러 자신의 카메라 영상이 아닌 휴대폰에 미리 저장된 소정의 이미지를 상대방에게 전달하거나, 미리 설정한 캐릭터 이미지를 상대방에게 보여주는 서비스도 일부 도입되고 있다.

그러나, 종래 기술의 화상 통화 시에 가입자의 실제 모습 대신에 전송되는 대체 영상 혹은 대체 이미지는 정지 영상으로서 가입자의 움직임이나 음성 등과는 전혀 연계되지 않는 단점이 있다.

본 발명이 이루고자하는 기술적 과제는, 가입자의 실제 영상 대신에 가입자의 움직임과 음성에 연계되어 동작하는 3차원 캐릭터 영상으로 대체하여 전송하는 이동통신망에서의 대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템을 제공하는데 있다.

상기 기술적 과제를 이루기 위한, 본 발명의 일 측면에 따르면, 이동통신 가입자를 위한 대체 영상 통화 서비스 제공 방법에 있어서, (a) 대체 영상 통화를 위한 3차원 캐릭터를 설정하여 등록하는 단계; (b) 대체 영상 통화 서비스 요청을 수신하는 단계; (c) 단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고, 움직임 좌표값을 추출하는 단계; (d) 상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 단계; 및 (e) 상기 3차원 캐릭터 동영상을 상대방 단말기로 제공하는 단계를 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법 및 이를 실행하는 컴퓨터 프로그램을 기록한 기록매체가 제공된다.

본 발명의 바람직한 일 실시예에서는, 상기 (c) 단계 및 상기 (d) 단계는 이동통신망과 연계되는 대체 영상 서비스 시스템에서 이루어지고, 본 발명의 바람직한 다른 일 실시예에서는 상기 (c) 단계는 상기 가입자의 단말기에서 수행되고, 상기 (d) 단계는 이동통신망과 연계되는 대체 영상 서비스 시스템에서 수행된다.

상기 기술적 과제를 이루기 위한, 본 발명의 다른 일 측면에 따르면, 이동통신 가입자를 위한 대체 영상 통화 서비스 제공 시스템에 있어서, 대체 영상 통화를 위한 3차원 캐릭터를 설정하여 등록하는 대체 영상 웹 서버; 및 단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고 움직임 좌표값을 추출하며, 상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 모션 트래킹 서버를 구비하며, 상기 모션 트래킹 서버는 통화중 화자의 음성 오디오 신호를 분석하여 음성 데이터를 추출하는 음성 모듈과 상기 음성 데이터에 동기시켜 상기 3차원 캐릭터의 입 모양을 매칭하는 립 싱크 엔진을 포함하여 구성되는 것을 특징으로 하는 대체 영상 통화 서비스 제공 시스템이 제공된다.

이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 대체 영상 통화 서비스를 제공하기 위한 개략적인 망 구성도를 도시한 것이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 대체 영상 통화 서비스를 제공하기 위하여 망(network)은 대체 영상 시스템(110), 영상 게이트웨이(G/W)(180), 홈 위치 등록기(Home Location Register, HLR(150), 단말기정보 DB(160) 및 고객 관리 시스템(CS)(170)을 포함한다. 이 외에도 빌링 시스템(미도시), 타망과의 연동을 위한 게이트웨이(미도시) 등이 더 구비될 수 있다. 또한 사용자가 대체 영상 시스템(110)에 접속하여 캐릭터 설정 등의 작업을 할 수 있는 사용자 인터페이스 환경을 제공하기 위하여, 대체 영상 시스템에 접속되는 웹 서버(142), 왑(WAP: Wireless Application Protocol) 서버(144) 및 VM(Virtual Machine) 서버(146)가 더 구비되는 것이 바람직하다.

이동 전화기(191a, 191b)는 이동하면서 통화가 가능한 단말기를 포함하며, 예를 들어, 휴대폰 또는 PDA 등을 포함한다. 이동 네트웍(mobile network)(195)은 상세히 도시되어 있지는 않지만, 기지국(미도시), 기지국 제어기(미도시), 교환기(미도시) 등을 포함한다. 이러한 구성요소들은 당업자에게 널리 알려진 구성요소들이므로, 상세한 설명은 생략된다.

대체 영상 시스템(110)은 가입자의 실제 영상, 즉 단말기 카메라에 의해 촬영된 영상으로부터 피사체(가입자)의 움직임(모션, motion)을 추적하고 감지하여, 가입자의 움직임에 동기되어 동작하는 3차원 대체 동영상을 생성한다. 이를 위하여 대체 영상 시스템(110)은 대체 영상 웹 서버(WEB)(120) 및 모션 트래킹 서버(MTS: Motion Tracking Server)(130)를 구비한다.

대체 영상 웹 서버(120)는 가입자가 실제 영상 대신에 사용할 3차원 캐릭터를 설정하여 등록할 수 있는 기능을 제공한다. 본 발명의 대체 영상 통화 서비스를 이용하기 위해서는, 가입자는 별도의 서비스 가입 절차를 통해 서비스 등록을 하는 것이 바람직하다. 또한, 서비스 등록과 함께 혹은 서비스 등록 후에, 대체 영상으 로 사용할 3D 캐릭터를 설정 등록하는 것이 바람직하다. 이 때 설정되는 3D 캐릭터는 이미지 프로세서(Image Processor)에 의해 동작 형태(Motion Morph)값이 포함된 컨텐츠이어야 한다. 대체 영상 웹 서버(120)는 만화 캐릭터, 스타 동영상과 같이 다양한 캐릭터를 미리 구비하고, 가입자로 하여금 선택하여 등록할 수 있도록 하는 것이 바람직하다.

도 2는 대체 영상 웹 서버(120)의 내부 구성을 나타내는 블록도이다.

이를 참조하면, 대체 영상 웹 서버(120)는 캐릭터 생성 모듈(210), 캐릭터 관리부(220), DB(230), 사용자 인터페이스부(240), 서버 인터페이스부(250)를 포함한다.

캐릭터 생성 모듈(21)은 대체 영상으로 사용할 3D 캐릭터를 생성하여 등록하는 모듈이다. 즉, 캐릭터 생성모듈(21)은 가입자가 자신의 정지 영상(예컨대 사진)을 이용하여 자신만의 3D 캐릭터를 만들 수 있는 기능을 제공한다.

캐릭터 생성 모듈(21)에서 사진을 이용하여 3D 캐릭터가 생성되는 과정의 일 예를 기술하면, 다음과 같다.

2차원 정지 영상(사진)으로부터 얼굴의 구성요소들- 예컨대, 얼굴 윤곽, 눈, 코, 입의 모양 등-을 인식한다. 사용자는 캐릭터 생성에 필요한 사진을 대체 영상 웹 서버(120)에 업로드할 수 있다. 사용자는 PC(192a)를 이용하여 웹 서버(142)에 접속하거나, 단말기(192b)를 이용하여 왑(WAP: Wireless Application Protocol) 서버(124) 혹은 VM(Virtual Machine) 서버(126)에 접속하여, 사진 업로드, 대체 영상 통화 서비스용 3D 캐릭터의 조회, 설정, 변경 등을 할 수 있다.

사진으로부터 얼굴의 구성요소들을 자동으로 인식하면, 얼굴 구성요소들에 대한 좌표값을 추출하고, 추출된 좌표값을 활용하여 3D 캐릭터를 생성한다.

캐릭터 생성 모듈(210)은 또한, 3D 캐릭터를 생성하는데 기본적으로 필요한 기본 캐릭터를 제작한다. 구체적으로는, 캐릭터 생성 모듈(210)은 사람의 형상(특히, 얼굴 형상)을 3차원적으로 모델링하여 메쉬(mesh)-타입의 기본 캐릭터를 생성한다. 그리고, 제작된 기본 캐릭터에, 사진으로부터 추출된 얼굴 구성요소의 좌표값을 적용하여 3D 캐릭터를 생성한다.

캐릭터 생성 모듈(210)은 또한, 3D 캐릭터를 다양하게 변형할 수 있다. 예를 들어, 캐릭터에 액세서리를 착용시키거나, 의상을 변화시키거나, 헤어 스타일을 변화시키는 등의 응용 처리를 하여 변형된 캐릭터를 생성할 수 있다.

도 7은 대체 영상 웹 서버(120)에 의해 3D 캐릭터가 생성되는 과정의 일 예를 나타내는 도면이다. 이를 참조하면, 먼저, 메쉬(mesh)-타입의 기본 캐릭터가 생성되고, 기본 캐릭터에 얼굴 구성요소의 좌표값을 적용한 후, 액세서리나 의상, 배경 등을 처리하여 하나의 3D 캐릭터가 완성됨을 알 수 있다.

생성된 3D 캐릭터는 캐릭터 관리부(220)에 의하여 DB(230)에 저장되고 관리된다. 캐릭터 관리부(220)는 또한 대체 영상 통화 서비스 가입자별로 3D 캐릭터를 등록하여 관리한다. 사용자에 의해 캐릭터가 설정되지 않은 경우, 디폴트 캐릭터가 제공될 수 있다.

사용자 인터페이스부(240)는 웹 서버(142), 왑 서버(144) 및 VM 서버(146) 등과 연계하여 사용자 인터페이스 기능을 제공한다. 사용자는 도 1에 도시된 바와 같이, PC(192a), 이동 단말기(192b) 등을 이용하여 웹 서버(142), 왑 서버(144) 및 VM 서버(146)를 통하여 대체 영상 웹 서버(120)에 접속하여, 자신의 3D 캐릭터를 조회, 변경 및 설정할 수 있다.

서버 인터페이스부(250)는 모션 트래킹 서버(130)와의 연동 기능을 제공한다.

도 3은 모션 트래킹 서버(130)의 내부 구성을 나타내는 블록도이다.

이를 참조하면, 모션 트래킹 서버(130)는 모션 트래킹 엔진(310), 음성 모듈(320), 립싱크 엔진(330), 에니메이션 엔진(340) 및 웹 서버 인터페이스부(350)를 포함한다.

모션 트래킹 엔진(310)은 단말기의 카메라에 의해 촬영된 실제 동화상을 분석하여 피사체(사람)의 몸동작, 기울기 및 방향 등을 실시간으로 추적한다. 구체적으로는, 모션 트래킹 엔진은 실제 동화상에서 사람의 구성요소, 예컨대 머리(얼굴), 눈, 코, 입 등의 움직임을 추적하고, 이러한 구성요소들의 변화에 상응하는 좌표값을 추출한다.

예를 들어, 피사체의 움직임 중에서 기울기와 방향을 결정하기 위해서 코를 기준으로 할 수 있다. 예컨대, 코의 기준 좌표값을 설정한 다음, 실제 동영상으로부터 코의 움직임 좌표값을 추출하여, 이를 3D 캐릭터의 상체(혹은 머리)의 기울기와 방향을 결정하는데 적용할 수 있다.

애니메이션 엔진(340)은 모션 트래킹 엔진(310)에 의해 추출된 좌표값을 3D 캐릭터에 적용하여 연속적으로 동작하는 3D 애니메이션 캐릭터를 생성한다. 즉, 애 니메이션 엔진(340)은 모션 트래킹 엔진(310)에 의해 추출된 피사체의 구성요소들의 움직임(변화)에 상응하는 좌표값에 따라 3D 캐릭터의 입, 눈, 눈썹, 머리 등을 움직이게 함으로써, 시간에 따라 연속적으로 동작하는 3D 캐릭터, 즉 애니메이션 캐릭터를 생성한다. 애니메이션 엔진(340)에 의해 생성된 애니메이션 캐릭터는 영상 G/W(180)를 통하여 상대방 단말기로 제공된다.

3D 캐릭터의 움직임을 보완하기 위하여, 모션 트래킹 서버(130)는 음성 모듈(320)과 립싱크 엔진(330)이 더 구비하는 것이 바람직하다.

음성 모듈(320)은 오디오 신호를 분석하여 음성 데이터를 추출하고 필요시 가공 처리하는 모듈이다.

음성 모듈(320)은 소리(오디오 신호)의 주파수 등을 분석하여, 상기 오디오 신호로부터 잡음과 음성 외 신호를 제거하여 음성만을 분리 추출한다. 음성 모듈(320)은 또한, 추출된 음성을 변조/변환하여 출력하는 기능을 수행할 수 있다.

립싱크 엔진(330)은 음성 데이터에 동기시켜 3D 캐릭터의 입 모양을 매핑한다. 이를 위하여, 립싱크 엔진(330)은 사람의 음성을 모음소로 분석하여, 각 음성 모음소에 대응하는 입모양 데이터를 저장해 둔다. 예를 들어, 입력된 음성이 한글식 발음인 경우에는 ㅏ(아), ㅑ(야), ㅓ(어), ㅕ(여), ㅗ(오), ㅛ(요), ㅜ(우), ㅠ(유), ㅡ(으), ㅣ(이) 등의 모음소로 분석하고, 입력된 음성이 영문식 발음인 경우에는, a(아), e(에), i(이), o(오), u(우) 등의 모음소로 분석하여, 각 모음소에 대응하는 입모양 데이터를 저장해 둔다.

그런 다음, 립싱크 엔진(330)은 3D 캐릭터의 입모양을 음성 데이터의 모음소 에 따라서 해당 모음소의 입모양으로 매핑한다. 이와 같이 함으로써, 립싱크 엔진(330)은 음성 데이터, 특히 음성 데이터의 모음소에 따라 해당 모음소에 매핑된 입모양 데이터를 가지는 캐릭터를 만든다.

상술한 바와 같이, 음성 모듈(320) 및 립싱크 엔진(330)이 모션 트래킹 서버(130)에 구비되는 경우에는, 3D 캐릭터의 입모양은 립싱크 엔진(330)에 의하여 매핑된 값에 따라 움직이는 입모양을 가지도록 하고, 3D 캐릭터의 다른 구성요소, 예컨대, 머리, 눈, 상체 등의 움직임은 모션 트래킹 엔진(330)에 의하여 추출된 좌표값을 반영하여 움직이도록 구현될 수 있다.

좀 더 구체적으로는, 에니메이션 엔진(340)은 립싱크 엔진(260)에 의해 입 모양이 매핑된 3D 캐릭터에, 모션 트래킹 엔진(310)에서 추출된 움직임 좌표값을 적용하여, 3D 캐릭터의 전체적인 움직임이 가입자의 실제 움직임과 유사하도록 에니메이션한다.

도 8은 모션 트래킹 서버에서 실제 동영상에 대응하여 생성된 3D 캐릭터의 일 예를 나타내는 도면이다. 도 8에서 (a)는 실제 동영상을 나타내고, (b)는 모션 트래킹 서버에서 생성된 3D 캐릭터 동영상을 나타낸다. 도 8을 참조하면, 모션 트래킹 엔진(310)에 의하여 실제 동영상에서의 사람의 움직임을 트래킹하여 3D 캐릭터에 적용함으로써, 가입자의 실제 움직임과 유사하게 동작하는 3D 캐릭터가 생성됨을 알 수 있다.

다시 도 1을 참조하면, HLR(150)은 이동 네트웍(195)에 포함되는 이동통신 교환기(미도시)로부터 착신 단말기의 위치 정보를 실시간으로 받아서 발신자와 착 신자간 통화를 연결한다. 또한 HLR(150)은 가입자 단말기의 파워 온/오프 여부, 기타 권한 검증 등과 같이 가입자의 상태를 체크한다.

고객 센터(170)는 이동 네트웍(11) 사업자가 가입자에 대한 정보를 관리하기 위한 것으로, 가입자 정보는 고객 센터 내부 DB(미도시)에 저장된다. 즉, 고객 센터(170)는 가입자의 서비스 등록, 해지 또는 정보 변경에 따른 가입자 정보를 내부 DB(미도시)에 저장 및 관리한다.

도 4는 본 발명의 일 실시예에 따른 대체 영상 통화 서비스 제공 방법을 나타내는 흐름도이다.

대체 영상 통화 서비스를 이용하기 위해서는 가입자는 먼저, 대체 영상 웹 서버(WEB)에 접속하여 서비스 가입(혹은 등록)을 하고, 캐릭터를 설정한다(S410). 상술한 바와 같이, 대체 영상 웹 서버(WEB)는 사용자가 접속하여, 서비스 등록 및 대체 영상으로 사용할 3D 캐릭터를 설정할 수 있는 사용자 인터페이스 기능을 제공한다. 별도의 3D 캐릭터를 설정하지 않은 가입자에 대해서는 기본으로 설정된 3D 캐릭터가 제공될 수 있다.

발신 가입자는 상대방 전화번호를 직접 발신 단말기에 입력하거나 단말기에 저장된 전화번호부에서 검색하여 선택하고(S415), 대체영상 통화 메뉴를 선택하여 호를 발신한다(S420). 예를 들어, 발신 단말기의 전화번호부 검색 화면에서 착신 전화번호를 선택하고 선택된 전화번호에 대해서 메뉴 버튼을 눌러 직접 대체영상 통화를 선택하고 통화 버튼을 눌러 발신을 시도한다(S420). 그러면, 대체 영상 통화 서비스를 요청하는 발신 신호가 교환기로 전송되고(S420), 교환기는 영상 G/W로 서비스 호 연결 요청을 한다(S425).

대체 영상 통화 서비스를 선택하는 방식은 상술한 메뉴 선택 방식으로 구현될 수도 있지만, 대체 영상 통화 서비스용 특정 코드(Feature Code)를 정의하고, 해당 특정 코드를 입력하는 방식으로 구현될 수도 있다. 예를 들어, 발신 단말기에서 특정코드(혹은 서비스 코드)와 함께 착신자의 전화번호를 입력하여(예컨대, 착신번호 + ##), 대체 영상 통화 호를 발신할 수 있다.

영상 G/W는 교환기의 서비스 호 연결 요청에 응답하여, 대체 영상 통화 시스템의 모션 트래킹 서버(MTS)로 서비스 요청을 하고(S430), 모션 트래킹 서버(MTS)는 다시 대체 영상 웹 서버(WEB)로 서비스 요청을 한다(S435).

대체 영상 웹 서버(WEB)는 모션 트래킹 서버(MTS)의 요청에 응답하여 사용자를 인증하고(S440), 사용자에 해당하는 3D 캐릭터를 활성화한다(S445). 즉, 해당 사용자에 의해 설정 등록된 3D 캐릭터를 추출하여 전송한다. 웹 서버(WEB)로부터 3D 캐릭터를 수신하면, 모션 트래킹 서버(MTS)는 영상 G/W로 서비스 응답을 보낸다(S450).

모션 트래킹 서버(MTS)의 응답을 수신한 영상 G/W는 착신측의 교환기로 대체 영상 호 연결을 요청하고(S455), 이에 응답하여 착신측 교환기는 착신 단말기로 호 연결을 시도한다(S460). 착신 단말기가 호 연결 요청에 응답하면(S465), 착신 단말기와 발신 단말기 간에 대체 영상 통화를 위한 호가 연결된다. 상술한 단계들(S410 내지 S465)은 대체 영상 통화를 시도하는 단계이다.

다음 단계들(S471 ~ S491)은 호가 연결된 후 실시간으로 대체 영상 통화를 하는 단계들이다.

호가 연결되면, 발신 단말기는 카메라에 의해 촬영된 동영상과 음성을 포함하는 미디어를 교환기를 통하여 영상 G/W로 전송하고(S470), 영상 G/W는 미디어를 컨버팅하여, 컨버팅된 영상을 모션 트래킹 서버에 전송한다(S475). 이 때, 미디어 컨버팅은 미디어를 디코딩하는 기능, 이를 다른 포맷으로 변환하는 기능, 변환된 미디어를 다시 인코딩하는 기능을 포함할 수 있다. 모션 트래킹 서버(MTS)는 수신된 영상에서 피사체(사람)의 움직임을 분석하고, 사람의 움직임을 반영하는 움직임 값을 추출한다(S480). 또한 발신 가입자의 3D 캐릭터에 피사체의 움직임 값을 적용하여 3D 캐릭터 동화상을 생성한다(S480). 3D 캐릭터 동화상은 필요시, 영상 G/W에서 미디어 컨버팅 과정을 거쳐 착신 단말기로 전송된다(S485, S490).

착신 단말기에서 전송되는 동영상에 대해서도 상기 과정이 적용된다. 즉, 착신 단말기의 카메라에 의해 촬영된 동영상이 교환기, 영상 G/W를 통하여 모션 트래킹 서버(MTS)로 전송되면(S491, S485), 모션 트래킹 서버(MTS)는 수신된 영상에서 피사체(사람)의 움직임 값을 추출하고, 착신 가입자의 3D 캐릭터에 피사체의 움직임 값을 적용하여 3D 캐릭터 동화상을 생성하여(S480), 발신 단말기로 전송한다(S475, S471).

도 4에 도시된 방법은 단말기는 카메라에 의해 촬영된 실제 동영상을 전송하고, 대체 영상 서비스 시스템에서 모션 트래킹을 통하여 실제 동영상의 움직임에 상응하는 3D 캐릭터를 생성하여 전송하는 방법이다. 그런데, 대체 영상 서비스 시스템의 기능의 일부가 단말기에 구현될 수도 있고, 대체 영상 서비스 시스템의 기 능의 거의 전부가 단말기에서 구현될 수도 있다. 이와 같이, 본 발명은 다양하게 변형될 수 있다.

도 5는 발명의 다른 일 실시예에 따른 대체 영상 통화 서비스 제공 방법을 나타내는 흐름도이다. 도 5에 도시된 방법은 대체 영상 서비스 시스템의 기능의 일부가 단말기에 구현된 경우이다. 이 경우에, 대체 영상 통화를 시도하는 단계들은 도 4에 도시된 단계들(S410 내지 S465)과 동일하므로, 이 단계들에 대해서는 도 5에 도시되지 않는다. 도 5에서는, 호가 연결된 후 실시간으로 대체 영상 통화를 하는 단계들을 중심으로 도시되어 있다.

호가 연결되면, 발신 단말기는 카메라에 의해 촬영된 동영상에서 사람의 움직임을 분석하여, 움직임 값을 추출한다(S510). 다음으로, 발신 단말기는 실제 동영상 대신에 추출된 움직임 값을 음성과 함께 모션 트래킹 서버(MTS)로 전송한다(S515). 모션 트래킹 서버(MTS)는 발신 가입자의 3D 캐릭터에 발신 단말기로부터 수신된 움직임 값을 적용하여 3D 캐릭터 동화상을 생성한다(S520). 모션 트래킹 서버(MTS)에 의해 생성된 3D 캐릭터 동화상은 필요시, 영상 G/W에서 미디어 컨버팅 과정을 거쳐 착신 단말기로 전송되어 재생된다(S525, S530, S535). 이 단계들(S510 내지 S535)은 발신 단말기에서 착신 단말기로 대체 영상, 즉 3D 캐릭터 동영상이 전송되는 과정이다. 착신 단말기에서 발신 단말기로의 대체 영상 전송에도 상기의 단계들이 동일하게 적용된다.

착신 단말기에서 발신 단말기로의 대체 영상 전송 과정은 S550 내지 S585 단계들에 도시되어 있다. 설명의 편의를 위하여, 발신 단말기에서 착신 단말기로의 대체 영상 전송 과정(S510 내지 S535)과 착신 단말기에서 발신 단말기로의 대체 영상 전송 과정(S550 내지 S585)이 분리되어 도시되어 있지만, 실제로는 이들 과정들은 동시에 이루어진다.

도 6은 본 발명의 또 다른 일 실시예에 따른 대체 영상 통화 서비스 제공 방법을 나타내는 흐름도이다. 도 6에 도시된 방법은 대체 영상 서비스 시스템의 기능의 거의 전부가 단말기에 구현된 경우이다. 이를 위해서는, 도 3에 도시된 모션 트래킹 엔진(310)의 기능과 애니메이션 엔진(340)의 기능을 담당하는 대체 영상 통화용 어플리케이션 프로그램이 단말기에 설치되어야 한다.

대체 영상 통화 서비스를 이용하기 위해서는 가입자는 먼저, 대체 영상 웹 서버(미도시)에 접속하여 서비스 가입(혹은 등록)을 하고, 3D 캐릭터를 설정하며, 또한 단말기로 설정된 3D 캐릭터를 다운로드한다(S410).

다음으로, 발신 가입자는 상대방 전화번호를 직접 발신 단말기에 입력하거나 단말기에 저장된 전화번호부에서 검색하여 선택하고(S415), 대체영상 통화 메뉴를 선택하거나 혹은 특정 코드를 입력하여 호를 발신한다(S420).

단말기에 대체 영상 통화용 어플리케이션 프로그램이 설치된 경우에는, 해당 어플리케이션 프로그램을 구동하여 대체영상 통화를 시도할 수 있다. 단말에 제공되는 대체 영상 통화용 어플리케이션 프로그램은 통화를 위한 사용자 인터페이스 기능과 더불어 3D 캐릭터를 조회/설정/삭제 등의 관리를 할 수 있는 기능을 제공하는 것이 바람직하다.

발신 단말기에서 호 발신이 이루어지면, 대체 영상 통화 서비스를 요청하는 발신 신호가 교환기로 전송되고(S420), 교환기는 영상 G/W로 서비스 호 연결 요청을 한다(S425). 영상 G/W는 교환기의 서비스 호 연결 요청에 응답하여, 착신측의 교환기로 대체 영상 호 연결을 요청하고(S455), 이에 응답하여 착신측 교환기는 착신 단말기로 호 연결을 시도한다(S460). 착신 단말기가 호 연결 요청에 응답하면(S465), 착신 단말기와 발신 단말기 간에 대체 영상 통화를 위한 호가 연결된다. 상술한 단계들(S410 내지 S465)은 대체 영상 통화를 시도하는 단계이다.

호가 연결되면, 발신 단말기는 카메라에 의해 촬영된 동영상에서 사람(발신 가입자)의 움직임을 분석하여 움직임 값을 추출하고, 추출된 움직임 값을 3D 캐릭터에 적용하여 3D 캐릭터 동화상을 생성한다(S610). 그리하여, 발신 단말기는 일반 영상, 즉 카메라에 이해 촬영된 실제 동영상 대신 3차원 캐릭터 동영상, 즉 대체영상을 착신단말기로 직접 송신하게 된다. 이 과정에서 필요시, 영상 G/W에서 미디어 컨버팅 과정이 수행될 수도 있다(S620)

상기 단계들(S610, S620)은 착신 단말기에서 발신 단말기로의 대체 영상 전송에도 동일하게 적용된다. 즉, 착신 단말기 역시 카메라에 의해 촬영된 동영상에서 사람(착신 가입자)의 움직임을 분석하여 움직임 값을 추출하고, 추출된 움직임 값을 3D 캐릭터에 적용하여 3D 캐릭터 동화상을 직접 발신 단말기로 전송한다(S630).

상술한 본 발명의 실시예들에서는, 통화를 시도할 때에, 특정 코드 혹은 메뉴를 선택하여 대체 영상 통화 서비스 요청을 한다. 그러나, 일반 영상 통화 서비스 중에 특정 코드 혹은 메뉴를 선택하여, 대체 영상 통화 서비스로의 전환을 요청 할 수 있다. 이 경우는, 가입자의 실제 모습을 촬영한 동영상이 전송되는 도중에 대체 영상 통화 서비스 요청에 응답하여, 가입자의 실제 동영상 대신에 대체 영상을 전송하게 된다.

또한, 본 발명에 따른 대체 영상 통화 서비스는 양자간의 통화 뿐만 아니라, 다자간의 화상 통신 혹은 회의 전화에 적용될 수 있다.

기존에는 통화자(혹은 회의자)의 실제 동영상이 음성과 함께 상대방으로 전송되지만, 본 발명에 의하면, 통화자(혹은 회의자)의 실제 동영상 대신 통화자(혹은 회의자)의 움직임을 반영하여 움직이는 3차원 캐릭터가 음성과 함께 전송됨으로써, 3차원 캐릭터 동영상 통화가 이루어진다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해해야할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 따르면, 통화자(혹은 회의자)의 실제 동영상 대신 통화자(혹은 회의자)의 움직임을 반영하여 움직이는 3차원 캐릭터가 음성과 함께 전송됨으로써, 3차원 캐릭터 동영상 통화가 이루어진다. 따라서, 정지 영상이나 이미지가 아니라, 가입자의 실제 움직임과 연계되는 대체 영상이 전송됨으로써, 가입자 개개인의 개성을 보다 잘 표현할 수 있다. 또한 이동통신 가입자를 위한 새로운 서비스를 제공함으로써, 새로운 부가 서비스의 창출 및 다양한 서비스를 원하는 이동통신 가입자의 욕구를 충족시키는 효과가 있다.

Claims

이동통신 가입자를 위한 대체 영상 통화 서비스 제공 방법에 있어서,

(a) 대체 영상 통화를 위한 3차원 캐릭터를 설정하여 등록하는 단계;

(b) 대체 영상 통화 서비스 요청을 수신하는 단계;

(c) 단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고, 움직임 좌표값을 추출하는 단계;

(d) 상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 단계; 및

(e) 상기 3차원 캐릭터 동영상을 상대방 단말기로 제공하는 단계를 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제1항에 있어서, 상기 (c) 단계 및 상기 (d) 단계는

이동통신망과 연계되는 대체 영상 서비스 시스템에서 이루어지는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제1항에 있어서,

상기 (c) 단계는 상기 가입자의 단말기에서 수행되고,

상기 (d) 단계는 이동통신망과 연계되는 대체 영상 서비스 시스템에서 수행되는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제1항에 있어서, 상기 (b) 단계는

통상의 영상 통화 서비스 도중에 이루어지는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제1항에 있어서, 상기 (c) 단계는

상기 피사체의 소정의 구성 요소들에 대하여 각 움직임을 분석하여, 각 구성요소들에 대한 움직임 좌표값을 추출하는 단계; 및

상기 피사체의 소정의 구성요소들 중 코를 기준으로 하여, 상기 피사체의 기울기 및 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제5항에 있어서, 상기 (d) 단계는

오디오 신호를 수신하여 음성 데이터를 추출하는 단계

상기 음성 데이터에 동기시켜 상기 3차원 캐릭터의 입 모양을 매핑하는 단계를 더 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 방법.
제 1 항 내지 제 6 항 중의 어느 한 항의 방법을 수행하기 위한 프로그램으로서 디지털 신호 처리 장치에 의해 판독되고 실행될 수 있는 프로그램을 기록한 기록 매체.
이동통신 가입자를 위한 대체 영상 통화 서비스 제공 시스템에 있어서,

대체 영상 통화를 위한 3차원 캐릭터를 설정하여 등록하는 대체 영상 웹 서버; 및

단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고 움직임 좌표값을 추출하며, 상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 모션 트래킹 서버를 구비하며,

상기 모션 트래킹 서버는 통화중 화자의 음성 오디오 신호를 분석하여 음성 데이터를 추출하는 음성 모듈과, 상기 음성 데이터에 동기시켜 상기 3차원 캐릭터의 입 모양을 매칭하는 립 싱크 엔진을 포함하여 구성되는 것을 특징으로 하는 대체 영상 통화 서비스 제공 시스템.
제 8 항에 있어서, 상기 대체 영상 웹 서버는

상기 3차원 캐릭터를 생성하는 캐릭터 생성 모듈;

상기 생성된 3차원 캐릭터를 관리하는 캐릭터 관리부; 및

상기 이동통신 가입자가 서비스 등록하고, 상기 3차원 캐릭터를 조회하여 설정하는 기능을 제공하는 사용자 인터페이스부를 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 시스템.
제 9 항에 있어서, 상기 모션 트래킹 서버는

단말기의 카메라에 의해 촬영된 실제 동영상에서 피사체의 움직임을 분석하고 움직임 좌표값을 추출하는 모션 트래킹 엔진; 및

상기 움직임 좌표값을 상기 3차원 캐릭터에 적용하여 3차원 캐릭터 동영상을 생성하는 에니메이션 엔진을 더 포함하는 것을 특징으로 하는 대체 영상 통화 서비스 제공 시스템.
삭제