KR20130130625A - 비디오 생성 시스템 및 방법 - Google Patents

비디오 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20130130625A
KR20130130625A KR1020130032693A KR20130032693A KR20130130625A KR 20130130625 A KR20130130625 A KR 20130130625A KR 1020130032693 A KR1020130032693 A KR 1020130032693A KR 20130032693 A KR20130032693 A KR 20130032693A KR 20130130625 A KR20130130625 A KR 20130130625A
Authority
KR
South Korea
Prior art keywords
image
server
data
computing device
avatar
Prior art date
Application number
KR1020130032693A
Other languages
English (en)
Other versions
KR101996973B1 (ko
Inventor
사이먼 루시
가우탐 텐둘카
Original Assignee
커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2012902108A external-priority patent/AU2012902108A0/en
Application filed by 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션 filed Critical 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션
Publication of KR20130130625A publication Critical patent/KR20130130625A/ko
Application granted granted Critical
Publication of KR101996973B1 publication Critical patent/KR101996973B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Abstract

본 발명의 이미지 생성 방법은 제한된 처리 성능을 갖는 장치를 통해 아바타를 애니메이트할 수 있게 한다. 본 발명의 방법은, 제1 컴퓨팅 장치를 통해 제1 이미지를 수신하는 단계와, 제1 컴퓨팅 장치의 데이터 인터페이스를 통해 제1 이미지를 서버에 전송하는 단계와, 데이터 인터페이스를 통해 서버로부터 제1 이미지의 특징에 대응하는 모양 데이터를 수신하는 단계와, 제1 컴퓨팅 장치의 프로세서에 의해 적어도 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 기본 출력 이미지를 생성하는 단계를 포함한다.

Description

비디오 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING A VIDEO}
본 발명은 이미지 생성에 관한 것으로, 다른 가능성을 배제하는 것은 아니지만, 보다 구체적으로는 비디오 시퀀스를 위한 이미지의 생성에 관한 것이다.
현재 많은 장치에서 디지털 카메라가 보편화됨에 따라, 사용자 제작 컨텐츠(user generated content, UGC)가 더 더욱 대중화되고 있다. 사용자는 자신의 비디오를 녹화할 수 있고, 변경되지 않은 비디오를 간편하게 업로드 또는 전송하거나, 업로드 전에 비디오를 수정 또는 편집할 수 있다.
종래 기술의 이미지 처리 소프트웨어는 사용자로 하여금 사진에 필터를 적용하여 특수 효과를 줄 수 있도록 한다. 이러한 효과의 예는 색이 바랜 이미지(washed out image)를 만들거나 또는 누광(light leak)을 통해 또는 특정 컬러를 증강시키기 위해 필터를 추가함으로써 오래된 카메라를 흉내 내는 것을 포함한다.
종래 기술의 이미지 처리 소프트웨어가 갖는 문제점은 필터가 컨텐츠 독립적(content independent)이라는 점이다. 필터링된 이미지가 처음에는 개인에 맞추어진 것으로 보이지만, 여러 이미지에 적용된 동일한 필터는 이미지들을 실제로 이들이 최초에 보여졌던 것보다 서로 더욱 유사한 것으로 보이게 할 수 있다.
종래 기술의, 개인에 맞추어진 비디오 생성 소프트웨어는 또한 사용자가 자신의 얼굴(또는 또 다른 사용자의 얼굴)을 비디오 시퀀스에 추가할 수 있도록 한다. 그러므로, 비디오는, 적어도 피상적인 차원에서, 그 사용자에 대해 커스토마이즈된(customized) 것으로 보이게 된다.
종래 기술의 비디오 생성 소프트웨어가 갖는 문제점은 사용자 입력이 제한되어 표현의 다양성(variability of expression)이 제한된다는 점이다.
한편으로는, 컴퓨터에 의해 생성되는 영화용 애니메이션에서 이용되는 것과 같은 수작업 비디오 및 이미지 편집 및 생성 소프트웨어가 있다. 이러한 소프트웨어가 사용자로 하여금 어떠한 타입의 비디오 또는 이미지도 제작할 수 있도록 하지만, 이것은 전반적으로 복잡하고 시간이 많이 소요되므로, 이 소프트웨어를 매우 빈번하게 사용하는 사람에게는 바람직하지 않다.
본 발명의 일부 실시예의 목적은 소비자에게 전술한 종래 기술에 비하여 개선점 및 장점을 제공하거나, 및/또는 종래 기술의 전술한 문제점 중의 하나 이상을 해소하고 제거하거나, 및/또는 유용한 경제적 선택을 제공하는 것이다.
본 발명의 일특징에 따라, 이미지를 생성하는 방법은 아래의 단계를 포함한다:
제1 컴퓨팅 장치를 통해 제1 이미지를 수신하는 단계와,
상기 제1 컴퓨팅 장치의 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하는 단계와,
상기 데이터 인터페이스를 통해 상기 서버로부터, 상기 제1 이미지의 특징에 대응하는 모양 데이터(shape data)를 수신하는 단계와,
상기 제1 컴퓨팅 장치의 프로세서에 의해, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 기본 출력 이미지(primary output image)를 생성하는 단계.
바람직하게는, 상기 모양 데이터는 이미지로 묘사된 바와 같은 사용자의 얼굴의 3D 모델을 포함한다. 필요한 경우, 상기 모양 데이터는 이미지로 묘사된 바와 같은 여러 명의 사용자의 얼굴들의 3D 모델을 포함한다. 그러므로, 상기 기본 출력 이미지를 생성하는 단계는 상기 모양 데이터를 상기 아바타 데이터에 적용하는 단계를 포함한다.
이와 달리, 상기 모양 데이터는 액티브 어피어런스 모델(Active Appearance Model, AAM) 파라미터를 포함하며, 상기 기본 출력 이미지를 생성하는 단계는 상기 AAM 파라미터를 상기 아바타 데이터에 적용하는 단계를 포함한다.
바람직하게는, 상기 기본 출력 이미지를 생성하는 단계는, 상기 아바타 데이터에 따라 상기 모양 데이터에 맵핑 함수를 적용하는 단계를 더 포함한다.
바람직하게는, 상기 이미지 생성 방법은, 상기 데이터 인터페이스를 통해 상기 아바타 데이터에 연관된 식별자를 수신하는 단계를 더 포함한다.
바람직하게는, 상기 이미지 생성 방법은, 상기 식별자를 상기 서버에 전송하는 단계를 더 포함하며, 상기 서버가, 상기 식별자에 연관된 서버 아바타 데이터와, 모양 파라미터를 기반으로 하여 서버 출력 이미지를 생성한다.
이와 달리, 상기 이미지 생성 방법은, 상기 아바타 데이터를 상기 서버에 전송하는 단계를 더 포함하며, 상기 서버 아바타 데이터는 전송된 아바타 데이터를 포함한다.
특정 실시예에 따라, 상기 서버 출력 이미지가 상기 기본 출력 이미지와 동일하다. 이와 달리, 상기 서버는 상기 기본 출력 이미지를 생성하기 위해 상기 제1 컴퓨팅 장치에 의해 사용된 알고리즘과는 상이한 알고리즘에 따라 상기 서버 출력 이미지를 생성한다.
바람직하게는, 상기 이미지 생성 방법은,
상기 데이터 인터페이스를 통해, 상기 서버 출력 이미지를 제2 컴퓨팅 장치의 사용자에게 전송하도록 하기 위한 요청으로서, 사용자의 접촉 상세정보(contact details)를 포함하는 요청을, 상기 서버에 전송하는 단계와,
상기 서버 출력 이미지를, 상기 사용자의 접촉 상세정보를 이용하여, 상기 서버로부터 상기 제2 컴퓨팅 장치의 사용자에게 전송하는 단계를 더 포함한다.
바람직하게는, 상기 이미지 생성 방법은,
상기 데이터 인터페이스를 통해, 상기 기본 출력 이미지를 제2 컴퓨팅 장치의 사용자와 공유하도록 하기 위한 요청으로서, 사용자의 접촉 상세정보 및 선택된 아바타를 포함하는 요청을, 상기 서버에 전송하는 단계와,
상기 제2 컴퓨팅 장치에 의한 상기 기본 출력 이미지의 생성을 위해, 상기 사용자의 접촉 상세정보를 이용하여, 상기 서버로부터 상기 제2 컴퓨팅 장치의 사용자에게, 상기 모양 파라미터 및 상기 선택된 아바타를, 전송하는 단계를 더 포함한다.
바람직하게는, 상기 선택된 아바타를 전송하는 단계는, 상기 선택된 아바타에 연관된 식별자를 전송하는 단계를 포함한다.
바람직하게는, 상기 기본 출력 이미지를 생성하는 단계는, 상기 제1 이미지를 수정하는 단계를 포함한다.
바람직하게는, 상기 이미지 생성 방법은,
상기 데이터 인터페이스를 통해, 상기 서버 출력 이미지를 소셜 미디어 사이트(social media site) 또는 비디오 공유 사이트에 업로드하도록 하기 위한 요청으로서, 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트의 상세정보(detail)와 상기 선택된 아바타를 포함하는 요청을, 상기 서버에 전송하는 단계와,
상기 서버 출력 이미지를, 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트의 상세정보를 이용하여, 상기 서버로부터 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트에 전송하는 단계를 더 포함한다.
특정 실시예에 따라, 상기 제1 이미지가 인코딩된다.
바람직하게는, 상기 제1 이미지는 비디오 시퀀스의 이미지를 포함한다.
바람직하게는, 상기 이미지 생성 방법은,
상기 제1 컴퓨팅 장치를 통해 제2 이미지를 수신하는 단계로서, 상기 제1 이미지 및 상기 제2 이미지가 비디오 시퀀스의 이미지를 포함하는, 수신 단계와,
상기 데이터 인터페이스를 통해 상기 제2 이미지를 서버에 전송하는 단계와,
상기 데이터 인터페이스를 통해, 상기 제2 이미지의 특징에 대응하는 추가의 모양 데이터를 수신하는 단계와,
상기 프로세서에 의해 적어도 상기 추가의 모양 데이터 및 상기 아바타 데이터를 기반으로 하는 제2 기본 출력 이미지를 생성하는 단계를 더 포함한다.
바람직하게는, 상기 이미지 생성 방법은,
상기 제1 컴퓨팅 장치를 통해 제2 이미지를 수신하는 단계로서, 상기 제1 이미지 및 상기 제2 이미지가 비디오 시퀀스의 이미지를 포함하는, 수신 단계와,
상기 데이터 인터페이스를 통해 상기 제2 이미지를 서버에 전송하는 단계와,
상기 데이터 인터페이스를 통해, 상기 제2 이미지의 특징에 대응하는 추가의 모양 데이터를 수신하는 단계와,
상기 프로세서에 의해 적어도 상기 추가의 모양 데이터 및 제2 아바타 데이터를 기반으로 하는 제2 기본 출력 이미지를 생성하는 단계를 더 포함한다.
바람직하게는, 상기 제2 아바타 데이터는 상기 아바타 데이터를 포함한다.
바람직하게는, 상기 제1 이미지는 상기 제2 이미지를 수신하기 전에 상기 서버에 전송된다.
바람직하게는, 상기 이미지 생성 방법은,
상기 제1 컴퓨팅 장치를 통해 음성 데이터를 수신하는 단계와,
상기 데이터 인터페이스를 통해 상기 음성 데이터를 상기 서버에 전송하는 단계와,
상기 데이터 인터페이스를 통해 상기 음성 데이터에 관한 음성 파라미터를 수신하는 단계와,
상기 제1 컴퓨팅 장치의 프로세서에 의해 상기 음성 파라미터 및 상기 아바타 데이터를 기반으로 하는 출력 음성을 생성하는 단계를 더 포함한다.
바람직하게는, 상기 출력 음성을 생성하는 단계는, 상기 음성 데이터에 필터를 적용하는 단계를 포함한다.
바람직하게는, 상기 아바타 데이터는 아바타 이미지를 포함한다.
제2 특징에 따라, 본 발명은 이미지를 생성하는 시스템을 제공하며, 상기 이미지 생성 시스템은 제1 컴퓨팅 장치를 포함하며,
상기 제1 컴퓨팅 장치가,
데이터 인터페이스와,
상기 데이터 인터페이스에 접속되는 프로세서와,
상기 프로세서에 접속되는 메모리로서, 제1 이미지를 수신하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지의 특징에 대응하는 모양 데이터를 수신하고, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 출력 이미지를 생성하기 위해, 상기 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 메모리를 포함한다.
바람직하게는, 상기 이미지 생성 시스템은 상기 프로세서에 연결되는 디스플레이 화면을 더 포함하며, 상기 메모리는 상기 출력 이미지를 상기 디스플레이 화면에 나타내기 위한 명령을 더 포함한다.
바람직하게는, 상기 이미지 생성 시스템은 상기 프로세서에 연결되는 카메라를 더 포함하며, 상기 메모리는 상기 카메라로부터 상기 제1 이미지를 수신하기 위한 명령을 더 포함한다.
제3 특징에 따라, 본 발명은 이미지를 생성하고 전송하는 시스템을 제공하며, 상기 이미지 생성 및 전송 시스템은 개인용 컴퓨팅 장치를 포함하며,
상기 개인용 컴퓨팅 장치가,
데이터 인터페이스와,
상기 데이터 인터페이스에 접속되는 프로세서와,
상기 프로세서에 접속되는 메모리로서, 제1 이미지를 수신하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지의 특징에 대응하는 모양 데이터를 수신하고, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 출력 이미지를 생성하기 위해, 상기 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 메모리를 포함하며,
상기 서버가,
서버 데이터 인터페이스와,
상기 서버 데이터 인터페이스에 접속되는 서버 프로세서와,
상기 서버 프로세서에 접속되는 서버 메모리로서, 상기 제1 이미지를 수신하고, 상기 서버 프로세서에 의해 상기 제1 이미지의 특징에 따른 모양 데이터를 생성하고, 상기 서버 데이터 인터페이스를 통해 상기 모양 데이터를 제1 컴퓨팅 장치에 전송하고, 상기 서버 프로세서를 통해 적어도 상기 모양 데이터 및 상기 아바타 데이터를 기반으로 하는 서버 출력 이미지를 생성하고, 상기 서버 데이터 인터페이스를 통해 상기 서버 출력 이미지를 제2 컴퓨팅 장치에 전송하기 위해, 상기 서버 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 서버 메모리를 포함한다.
바람직하게는, 상기 이미지 생성 및 전송 시스템은 복수의 개인용 컴퓨팅 장치를 더 포함하며, 복수의 개인용 컴퓨팅 장치로부터의 이미지에 관한 모양 데이터를 기반으로 하여 서버 출력 이미지가 생성된다.
본 발명의 이해를 돕고 또한 당업자로 하여금 본 발명을 실시할 수 있도록 하기 위해, 본 발명의 바람직한 실시예를 이하의 첨부 도면을 참조하여 단지 예로서 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 생성 시스템을 도시하고 있다.
도 2는 본 발명의 실시예에 따라 도 1의 시스템의 제1 컴퓨팅 장치와 상호작용하는 사용자를 도시하고 있다.
도 3a는 본 발명의 실시예에 따른 도 1의 시스템의 모양 데이터의 정면도를 도시하고 있다.
도 3b는 도 3a의 모양 데이터의 측면도를 도시하고 있다.
도 4는 본 발명의 실시예에 따른 도 1의 시스템의 아바타 선택 화면의 스크린샷을 도시하고 있다.
도 5는 본 발명의 실시예에 따른 이미지 생성 시스템을 도시하고 있다.
도 6은 본 발명의 실시예에 따른 제1 컴퓨팅 장치와 서버 간의 통신의 메시지 흐름도를 도시하고 있다.
도 7은 본 발명의 실시예에 따른 이미지 생성 방법을 도시하고 있다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치를 도식적으로 도시하고 있다.
당업자는 도면에 도시된 바와 같은 구성요소의 레이아웃에서의 약간의 변경이 본 발명의 개시 실시예의 적합한 기능에 영향을 주지 않을 것이라는 것을 이해할 것이다.
본 발명의 실시예는 이미지 및 비디오 생성 시스템 및 방법을 포함한다. 본 발명의 구성요소는 본 발명의 실시예에 대한 이해에 필요한 구체적인 세부구성만을 보여주지만 본 발명의 설명의 관점에서 당업자에게는 명백하게 되는 과도한 세부구성을 포함하지 않도록 하는 상태로 도면에 함축된 개요 형태로 예시되어 있다.
본 명세서에서, 제1 및 제2, 좌측 및 우측, 앞쪽 및 뒤쪽, 상부 및 저부 등과 같은 형용사는 이러한 형용사에 의해 묘사되는 특정한 상대적 위치 또는 순서를 반드시 요구하지 않고 하나의 구성요소 또는 방법 단계를 또 다른 구성요소 또는 방법 단계로부터 규정하기 위해서만 이용된다. "구비하는" 또는 "포함하는" 등의 표현은 구성요소 또는 방법 단계의 배타적인 세트를 정하기 위한 것으로 이용되지 않는다. 반대로, 이러한 표현은 본 발명의 특정 실시예에 포함된 구성요소 또는 방법 단계의 최소의 세트를 규정한다.
본 명세서에서의 어떠한 종래 기술에 대한 참조는 그 종래 기술이 통상의 일반 지식의 일부를 형성한다는 시인 또는 어떠한 형태의 제시가 아니며, 그러한 것으로 받아들여지지 않아야 한다.
일특징에 따라, 본 발명은 이미지를 생성하는 방법에 관한 것이며, 이 방법은, 제1 컴퓨팅 장치를 통해 제1 이미지를 수신하는 단계와, 상기 제1 컴퓨팅 장치의 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하는 단계와, 상기 데이터 인터페이스를 통해 상기 서버로부터 상기 제1 이미지의 특징(aspect)에 대응하는 모양 데이터를 수신하는 단계와, 상기 제1 컴퓨팅 장치의 프로세서에 의해 적어도 상기 모양 데이터 및 아바타 데이터를 기반으로 하는 기본 출력 이미지를 생성하는 단계를 포함한다.
본 발명의 특정 실시예의 장점은 사용자가 제한된 처리 성능을 갖는 장치를 통해 아바타를 애니메이트(animate)할 수 있도록 하는 능력을 포함한다. 애니메이션이 작은 지연량으로 발생할 수 있고, 아바타가 동적으로 변경될 수 있다. 애니메이트된 아바타의 그 결과의 이미지 또는 비디오가 우수한 대역폭 효율로 또 다른 사용자, 소셜 미디어, 또는 비디오 공유 사이트에 전송될 수 있다.
아래에 설명되는 실시예는 이미지의 생성에 관한 것이다. 당업자에 의해 용이하게 이해되는 바와 같이, 이미지는 비디오 시퀀스의 이미지를 포함할 수 있다. 더욱이, 실시예는 각각의 이미지를 하나의 독립 이미지로서 취급할 필요 없이 비디오 생성을 지원하도록 용이하게 확장될 수 있다. 예컨대, 타이밍 정보가 비디오 시퀀스의 각각의 이미지에 연계될 수 있으며, 그 후에 임의의 출력 비디오 시퀀스에 대한 타이밍 정보로서 적용될 수 있다.
또한, 움직임 또는 표현이 전달될 수 있는 어떠한 타입의 이미지 및/또는 음성 데이터를 기술하기 위해 아바타 데이터(avatar data)라는 용어가 이용된다. 아바타는 만화 캐릭터와 같은 인공적인 캐릭터를 기반으로 할 수 있거나, 또는 실제 인물의 이미지를 포함할 수 있다. 또한, 아바타는 동물 또는 외계인과 같은 공상의 창조물과 같은 사람이 아닌 캐릭터를 기반으로 할 수 있거나, 또는 무생물 또는 얼굴이나 기타 신체 부위가 그 위에 중첩되어 있는 공상의 창조물을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 생성 시스템(100)을 도시하고 있다.
이미지 생성 시스템(100)은 제1 컴퓨팅 장치(105) 및 서버(110)를 포함한다. 제1 컴퓨팅 장치(105)와 서버(110)는 데이터 통신 네트워크(115)를 통해 접속된다.
제1 컴퓨팅 장치(105)는 카메라(120), 디스플레이 화면(125) 및 마이크로폰(130)을 포함하며, 이들 모두가 프로세서(도시하지 않음)에 접속되어 있고, 이 프로세서가 데이터 인터페이스(도시하지 않음)에 접속되어 있다. 제1 컴퓨팅 장치는, 아래에 추가로 설명되는 바와 같이 본 발명의 방법을 수행하기 위해 프로세서에 의해 실행 가능한 명령을 포함하고 프로세서에 접속된 메모리(도시하지 않음)를 더 포함한다.
제1 컴퓨팅 장치(105)는 이동 전화, 디지털 보조 장치(PDA), 태블릿 컴퓨터, 또는 기타 유사 장치와 같은 저성능 장치(low end device)이어도 된다. 서버는 예컨대 전용 컴퓨팅 장치일 수 있으며, 여러 개의 제1 컴퓨팅 장치(105)를 담당할 수 있는 것이 이롭다.
제1 컴퓨팅 장치(105)는 이미지 또는 비디오를 서버(110)에 전송하며, 서버가 이미지 또는 비디오를 처리하고, 모양 파라미터를 반대로 제1 컴퓨팅 장치(105)에 전송한다. 그리고나서, 제1 컴퓨팅 장치(105)는 모양 파라미터에 따라 아바타 모델을 애니메이트한다.
아바타 모델의 애니메이션은 이동 전화와 같은 저성능 장치의 그래픽 처리 유닛(GPU)에 특히 적합하다. 애니메이션은 사용자의 얼굴 표정을 아바타의 얼굴의 표정으로 트랜스퍼하거나 또는 신체 구조 또는 움직임을 트랜스퍼하는 것을 포함할 수 있다. 이것은, 예컨대 아바타를 사용자의 표정을 포함하도록 애니메이트하여, 아바타가 특정한 방식으로 춤 또는 움직임을 행하게 하거나, 또는 수화(sign language)와 같은 특정한 움직임을 발생하도록 하는 것을 포함할 수 있다.
아바타 모델은 제1 컴퓨팅 장치(105) 상에 위치되거나, 또는 서버(110) 상에 위치되거나, 또는 서버(110)와 제1 컴퓨팅 장치(105) 상에 나누어서 부분적으로 위치될 수 있다. 유사하게, 아바타 모델은 제1 컴퓨팅 장치(105)와 서버(110) 간에 전송될 수 있다.
도 2는 본 발명의 실시예에 따라 제1 컴퓨팅 장치(105)와 상호작용하는 사용자(205)를 도시하고 있다.
사용자(205)의 복수의 이미지가 카메라(120)에 의해 캡쳐된다. 복수의 이미지 중의 제1 이미지가 캡쳐된 후, 이 이미지가 즉각적으로, 즉 제2 이미지가 캡쳐되기를 대기하지 않거나 또는 비디오가 완전하게 기록되기를 대기하지 않고, 처리하기 위해 서버(110)에 전송된다.
네트워크가 느리거나 이용 가능하지 않다면, 제1 컴퓨팅 장치(105)에 의해 캡쳐된 이미지는 일단 저장되고, 그 후 네트워크가 이용 가능하게 되거나 충분히 빠르게 될 때에 서버(110)에 전송될 수 있다.
본 발명의 다른 실시예(도시하지 않음)에 따라, 이미지는 제1 컴퓨팅 장치(105)에 전송되거나, 또는 다운로드된 비디오 시퀀스를 포함한다. 당업자에 의해 용이하게 이해되는 바와 같이, 이미지는 제1 컴퓨팅 장치(105)에 의해 캡쳐될 필요가 없다.
서버(110)는 제1 이미지의 특징에 대응하는 모양 데이터를 생성한다. 이미지의 특징은 사용자의 얼굴, 신체 구조, 또는 임의의 다른 적합한 특징이 될 수 있다. 사용자의 얼굴인 경우에, 모양 데이터는 이미지로부터의 사용자의 얼굴의 3D 모델을 포함할 수 있다. 이와 달리, 모양 데이터는 액티브 어피어런스 모델(Active Appearance Model, AAM)의 파라미터를 포함할 수 있다. 더욱이, 모양 파라미터는 상대적인 카메라 위치를 포함할 수 있다.
서버(110)는 모양 데이터를 제1 컴퓨팅 장치(105)에 전송하고, 이에 후속하여 제1 컴퓨팅 장치(105)가 적어도 모양 데이터 및 아바타 데이터를 기반으로 하는 출력 이미지를 생성한다.
아바타 데이터는 예컨대 모양 데이터에 따라 변형되는 아바타 이미지를 포함할 수 있다.
출력 이미지는 3D 모델, AAM 파라미터, 또는 기타 모양 데이터를 아바타 데이터에 적용하는 것을 포함하며, 아바타 데이터에 따라 모양 데이터에 맵핑 함수를 적용하는 것을 포함할 수 있다. 더욱이, 출력 이미지는 2012년 3월 21일자로 출원된 "METHOD AND SYSTEM FOR FACIAL EXPRESSION TRANSFER"를 발명의 명칭으로 하는 PCT/AU2012/000295에 설명된 바와 같이 복수의 소스-아바타 맵핑 함수에 따라 생성될 수 있다. 서버(110)는 이미지, 아바타 데이터 및 트레이닝 데이터(training dat)를 기반으로 하는 소스-아바타 맵핑 함수를 생성할 수 있다. 소스-아바타 맵핑 함수는 그 후 제1 컴퓨팅 장치(105)에 전송되어 제1 컴퓨팅 장치에 의해 이용될 수 있다.
도 3a는 본 발명의 실시예에 따른 모양 데이터(300)의 정면도를 도시하고 있으며, 도 3b는 모양 데이터(300)의 측면도를 도시하고 있다.
모양 데이터는 사용자의 얼굴의 외형특징(feature)에 대응하는 복수의 3D 포인트(305)를 포함한다. 외형특징은 눈, 입, 눈썹, 턱 모양, 또는 임의의 다른 외형특징을 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 아바타 선택 화면의 스크린샷(400)을 도시하고 있다. 제1 컴퓨팅 장치(105) 및 서버(110)는 복수의 아바타에 대응하는 아바타 데이터를 포함할 수 있으며, 복수의 아바타 중의 하나의 아바타를 선택하기 위해 아바타 선택 화면이 이용될 수 있다.
아바타 선택 화면은 아바타 출력 이미지(405) 및 복수의 아바타 선택 버튼(410)을 포함한다. 아바타 선택 버튼(410)을 이용하여 아바타를 선택할 시에, 출력 이미지(405)가 선택된 아바타에 따라 업데이트된다.
아바타 선택 화면은 또한 플레이 버튼(415), 빨리감기 버튼(420), 및 되감기 버튼(425)을 통한 미디어 제어 기능을 포함한다. 플레이 버튼(415), 빨리감기 버튼(420), 및 되감기 버튼(425)은 비디오 시퀀스의 재생을 제어하기 위해 이용될 수 있다. 본 발명의 특정 실시예에 따라, 아바타는 재생 동안에 아바타 선택 버튼(410)을 이용하여 변경될 수 있다.
이 경우, 입력 비디오 시퀀스는, 제1 컴퓨팅 장치(105)에 의해 수신되는, 제1 이미지 및 제2 이미지를 포함한 복수의 이미지를 포함할 수 있다.
전술한 바와 같이, 제1 이미지가 제1 컴퓨팅 장치(105)에 의해 서버(110)에 전송된다. 서버(110)는 제1 이미지의 특징에 대응하는 모양 데이터를 제1 컴퓨팅 장치(105)에 전송한다. 그리고나서, 제1 컴퓨팅 장치(105)가 최초 선택된 아바타의 아바타 데이터 및 모양 데이터를 기반으로 하는 기본 출력 이미지를 생성한다.
후속하여, 제2 이미지가 제1 컴퓨팅 장치(105)에 의해 서버(110)에 전송된다. 서버(110)는 제2 이미지의 특징에 대응하는 추가의 모양 데이터를 제1 컴퓨팅 장치(105)에 전송한다. 그리고나서, 제1 컴퓨팅 장치(105)가, 새로운 아바타가 선택된 경우의 제2 선택된 아바타 데이터 또는 제1 선택된 아바타 데이터 중의 하나와 추가의 모양 데이터를 기반으로 하는 추가의 기본 출력 이미지를 생성한다.
그러므로, 기본 출력 이미지 및 추가의 기본 출력 이미지가 출력 비디오 시퀀스를 형성하며, 이 출력 비디오 시퀀스가 선택된 아바타를 포함하고, 예컨대 아바타 선택 화면 상에 플레이될 수 있다.
도 5는 본 발명의 실시예에 따른 이미지 생성 시스템(500)을 도시하고 있다.
이미지 생성 시스템(500)은 제1 컴퓨팅 장치(505), 서버(510) 및 제2 컴퓨팅 장치(515)를 포함한다. 제1 컴퓨팅 장치(505) 및 서버(510)는 도 1의 제1 컴퓨팅 장치(105) 및 서버(110)와 유사하다.
제1 컴퓨팅 장치(505)는 예컨대 제1 컴퓨팅 장치(505)의 카메라(120)로부터 이미지를 수신하고, 이 이미지를 전술한 바와 같이 서버(510)에 전송한다. 그리고나서, 서버(510)는 모양 파라미터를 생성하고, 이 모양 파라미터를 제1 컴퓨팅 장치(505)에 전송한다.
그리고나서, 제1 컴퓨팅 장치(505)의 사용자가 상이한 아바타의 데이터에 따른 출력 이미지를 생성할 수 있고, 도 4를 참조하여 전술한 바와 같이 아바타를 선택할 수 있다.
아바타를 선택한 후, 사용자는 출력 비디오를 또 다른 사용자에게 포워딩하도록 선택할 수 있다. 이 경우, 제2 사용자 및/또는 제2 사용자 장치(515)의 상세정보(detail)와 선택된 아바타를 포함하는 메시지가 제1 컴퓨팅 장치(505)로부터 서버(510)에 전송된다.
각각의 아바타는 고유의 식별자로 연관될 수 있다. 이 경우, 제1 컴퓨팅 장치(505)는 고유 식별자를 서버(510)에 전송하면 된다.
특정 실시예에 따라, 서버(510)가 식별자에 연관된 서버 아바타 데이터와 모양 파라미터를 기반으로 하는 서버 출력 이미지를 생성한다.
서버 아바타 데이터는 제1 컴퓨팅 장치(505)의 아바타 데이터와 동일할 수도 있고, 또는 서버(510)에 대해 이용 가능한 어떠한 여분의 처리 파워(extra processing power)에 대응하는 여분의 상세정보를 포함할 수도 있다. 유사하게, 서버(510)는, 더욱 정확하고 현실감 있는 서버 출력 이미지를 생성하기 위하여, 기본 출력 이미지를 생성하기 위해 제1 컴퓨팅 장치(505)에 의해 사용된 알고리즘과는 상이한 알고리즘을 적용할 수 있다.
그리고나서, 서버(510)는 서버 출력 이미지를 제2 컴퓨팅 장치(515)에 전송한다.
다른 실시예에 따라, 서버(510)는 예컨대 선택된 아바타를 식별하는 식별자와 같은 선택된 아바타의 상세정보를 모양 파라미터와 함께 제2 컴퓨팅 장치(515)에 전송한다. 제2 컴퓨팅 장치(515)는 모양 파라미터 및 선택된 아바타에 따라 출력 이미지를 렌더링(rendering)할 수 있다.
다른 실시예에 따라, 서버(510)는 서버 출력 이미지를 소셜 네트워킹 사이트에, 파일, 이미지 또는 비디오 공유 사이트에, 또는 또 다른 사이트에 업로드한다.
출력 이미지의 생성은 독립적인 출력 이미지를 생성하는 것을 포함할 수 있거나, 또는 제1 이미지를 수정하는 것을 포함할 수 있다. 추가로, 제1 이미지가 인코딩될 수 있고, 어떠한 후속 이미지가 제1 이미지에 대하여 상이하게 인코딩될 수 있다.
다른 실시예(도시하지 않음)에 따라, 서버 출력 이미지 및/또는 기본 출력 이미지가 여러 개의 이미지로부터의 모양 데이터를 기반으로 하여 생성된다. 이에 따라, 출력 이미지는 여러 명의 사용자로부터의 표정과 같은 여러 개의 이미지로부터의 특징을 조합할 수 있다. 유사하게, 여러 개의 이미지로부터의 모양 데이터는 여러 명의 사용자의 얼굴 표정과 같은 여러 명의 사용자에 관한 데이터를 포함할 수 있다.
도 6은 본 발명의 실시예에 따른 제1 컴퓨팅 장치(105, 505)와 서버(110, 510) 간의 통신의 메시지 순서 다이아그램(600)을 도시하고 있다.
단계 605에서는, 제1 이미지가 제1 컴퓨팅 장치(105, 505)를 통해 수신된다. 제1 이미지는 카메라 또는 임의 다른 소스로부터 획득될 수 있다.
단계 610에서는, 제1 이미지가 처리를 위한 서버(110, 510)에 전송된다.
단계 615에서는, 제1 이미지가 처리되기를 대기하지 않고 제2 이미지가 처리를 위한 서버(110, 510)에 전송된다. 이것은, 누적 지연(cumulative delay) 또는 비디오 시퀀스의 길이에 대응하는 지연이 아닌, 단지 단일의 왕복 시간 지연(round-trip-time delay)이 추가되기 때문에, 비디오의 거의 실시간 처리를 가능하게 한다.
단계 620에서는 제1 이미지가 서버(110, 510)에 의해 처리되며, 단계 625에서는 모양 파라미터가 서버(110, 510)로부터 제1 컴퓨팅 장치(105, 505)에 전송된다. 단계 630에서는 제1 컴퓨팅 장치(105, 505)가 출력 이미지를 생성하고 디스플레이한다.
단계 635에서는, 제2 이미지가 서버(110, 510)에 의해 처리된다.
도 7은 본 발명의 실시예에 따른 이미지 생성 방법(700)을 도시한다.
단계 705에서는, 제1 이미지가 제1 컴퓨팅 장치에 의해 수신된다. 제1 이미지는 카메라로부터 직접 수신되거나 또는 또 다른 수단에 의해 수신될 수 있다.
단계 710에서는, 제1 이미지가 서버에 전송된다.
단계 715에서는, 제2 이미지가 제1 컴퓨팅 장치에 의해 수신된다. 단계 720에서는, 제2 이미지가 서버에 전송된다.
단계 725에서는, 제1 이미지에 관한 모양 데이터가 제1 컴퓨팅 장치에 의해 서버로부터 수신된다. 단계 730에서는, 제1 컴퓨팅 장치가 모양 데이터 및 아바타 데이터를 기반으로 하는 제1 기본 출력 이미지를 생성한다.
단계 735에서는, 제2 이미지에 관한 모양 데이터가 제1 컴퓨팅 장치에 의해 서버로부터 수신된다. 단계 740에서는, 제1 컴퓨팅 장치가 제2 이미지의 모양 데이터와 아바타 데이터를 기반으로 하는 제2 기본 출력 이미지를 생성한다.
단계 725 및 730은 단계 715 및 720의 이전에 수행될 수 있다. 그러나, 시스템의 전체적인 지연을 감소시키기 위해서는, 이미지를 제1 컴퓨팅 장치에 의해 수신될 때에 처리를 위한 서버에 전송하는 것이 이롭다.
본 발명의 특정 실시예에 따라, 이미지 생성 방법은 스피치(speech)와 같은 음성 데이터를 수신하고 처리하는 단계를 더 포함한다. 음성 데이터는 마이크로폰(130)에 의해 캡쳐되는 것이 이로우며, 음성 데이터를 이미지 또는 비디오 데이터와 정확하게 동기시키기 위해 타이밍 정보를 포함할 수 있다.
음성 데이터는 전술한 이미지에 대한 것과 유사한 방식으로 데이터 인터페이스를 통해 처리를 위한 서버에 전송된다. 그리고나서, 서버(110, 510)는 음성 데이터에 관한 음성 파라미터를 생성하기 위해 음성을 처리한다. 음성 파라미터는 제1 컴퓨팅 장치(105, 505)에 전송되고, 음성 파라미터 및 아바타 데이터를 기반으로 하는 출력 음성이 생성된다.
음성 파라미터는 음성 데이터를 필터링하기 위해 사용되는 필터 파라미터를 포함할 수 있다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치(800)를 도식적으로 도시하고 있다. 제1 및 제2 컴퓨팅 장치(105, 505, 515) 및 서버(110, 510)는 컴퓨팅 장치(800)와 동일하거나 유사할 수 있다. 마찬가지로, 도 7의 이미지 생성 방법은 컴퓨팅 장치(800)를 이용하여 실시될 수 있다.
컴퓨팅 장치(800)는 중앙 프로세서(802), 시스템 메모리(804), 및 시스템 버스(806)를 포함하며, 시스템 버스(806)는 다양한 시스템 구성요소들을 접속시키고, 예컨대 시스템 메모리(804)를 중앙 프로세서(802)에 접속시킨다. 시스템 버스(806)는, 메모리 버스 또는 메모리 컨트롤러를 포함하는 여러 타입의 버스 구조, 주변 장치 버스(peripheral bus), 및 다양한 버스 아키텍처 중의 임의의 버스 아키텍처를 이용하는 로컬 버스(local bus)의 어떠한 것이어도 된다. 시스템 메모리(804)의 구조는 당업자에게 널리 알려져 있으며, 판독 전용 메모리(ROM)에 저장된 입력/출력 시스템(BIOS)과, 오퍼레이팅 시스템, 애플리케이션 프로그램, 및 랜덤 액세스 메모리(RAM)에 저장된 프로그램 데이터와 같은 하나 이상의 프로그램 모듈을 포함할 수 있다.
컴퓨팅 장치(800)는 또한 다양한 인터페이스 유닛과 데이터를 판독 및 기입하기 위한 드라이브를 포함할 수 있다. 데이터는 예컨대 전술한 바와 같은 카메라와 디스플레이 화면 간의 이동(displacement)을 포함할 수 있다.
구체적으로, 컴퓨팅 장치(800)는, 하드 디스크 드라이브(812)를 시스템 버스(806)에 연결하는 하드 디스크 인터페이스(808)와, 이동 가능한 메모리 드라이브(814)를 시스템 버스(806)에 연결하는 이동 가능한 메모리 인터페이스(810)를 포함한다. 이동 가능한 메모리 드라이브(814)의 예에는 자기 디스크 드라이브와 광디스크 드라이브가 포함된다. 드라이브 및 이 드라이브에 관련된 예컨대 DVD(Digital Versatile Disc)(816)와 같은 컴퓨터 판독 가능 미디어는, 컴퓨터 판독 가능한 명령어, 데이터 구조, 프로그램 모듈, 및 컴퓨터 시스템(800)을 위한 기타 데이터의 비휘발성 저장장치를 제공한다. 단지 예시를 목적으로 하나의 하드 디스크 드라이브(812) 및 하나의 이동 가능한 메모리 드라이브(814)가 도시되어 있지만, 컴퓨팅 장치(800)는 여러 개의 유사 드라이브를 포함할 수 있다는 것을 이해할 것이다. 더욱이, 컴퓨팅 장치(800)는 다른 타입의 컴퓨터 판독 가능한 미디어와 인터페이스하기 위한 드라이브를 포함할 수 있다.
컴퓨팅 장치(800)는 시스템 버스(806)에 장치를 연결하기 위한 추가의 인터페이스를 포함할 수 있다. 도 8은 시스템 버스(806)에 장치를 연결하기 위해 이용될 수 있는 유니버설 시리얼 버스(USB) 인터페이스(818)를 도시하고 있다. 예컨대, IEEE 1394 인터페이스(820)가 컴퓨팅 장치(800)에 추가의 장치를 접속하기 위해 이용될 수 있다. 추가의 장치의 예는 이미지 또는 비디오를 수신하기 위한 카메라와 음성을 녹음하기 위한 마이크로폰을 포함한다.
컴퓨팅 장치(800)는 하나 이상의 원격 컴퓨터 또는 기타 장치에 대해 논리적 접속(logical connection)을 이용하는 네트워크 접속 환경에서 작동할 수 있으며, 이러한 기타 장치의 예로는, 서버, 라우터, 네트워크 개인 컴퓨터, 피어 디바이스(peer device) 또는 기타 공통 네트워크 노드, 무선 전화 또는 무선 PDA 등이 있다. 컴퓨팅 장치(800)는 시스템 버스(806)를 근거리 통신망(LAN)(824)에 연결하는 네트워크 인터페이스(822)를 포함한다. 네트워크 접속 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 및 가정 컴퓨터 시스템에서 아주 흔하다.
컴퓨팅 장치는 또한 예컨대 직렬 포트 인터페이스(826)에 접속된 모뎀 장치를 통해 또는 LAN(824)을 통해 인터넷과 같은 광역 통신망(WAN)을 액세스할 수도 있다.
이미지 및/또는 비디오의 전송은 LAN(824), WAN 또는 이들의 조합을 이용하여 수행될 수 있다.
도시되고 설명된 네트워크 접속은 예시를 위한 것이며, 컴퓨터들 간에 통신 링크를 구축하는 다른 방식이 이용될 수 있다는 것을 이해할 것이다. TCP/IP, 프레임 릴레이(Frame Relay), 이더넷(Ethernet), FTP, HTTP 등과 같은 널리 공지된 다양한 프로토콜 중의 어떠한 것도 상정될 수 있으며, 컴퓨팅 장치(800)는 클라이언트-서버 구성에서 사용자로 하여금 예컨대 웹 기반 서버로부터 데이터를 검색할 수 있도록 작동될 수 있다.
컴퓨팅 장치(800)의 작동은 다양한 상이한 프로그램 모듈에 의해 제어될 수 있다. 프로그램 모듈의 예로는 루틴, 프로그램, 오브젝트(object), 컴포넌트, 및 특정한 작업을 수행하거나 또는 특정한 추상 데이터 타입(abstract data type)을 구현하는 데이터 구조가 있다. 본 발명은 또한 핸드-헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그래밍 가능한 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, PDA 등을 포함한 기타 컴퓨터 시스템 구성과 함께 실시될 수도 있다. 더욱이, 본 발명은 통신 네트워크를 통해 링크되어 있는 원거리의 처리 장치에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 근거리 및 원거리 메모리 저장 장치 양자에 위치될 수도 있다.
요약하면, 본 발명의 특정 실시예의 장점은 제한된 처리 성능을 갖는 장치를 통해 사용자가 아바타를 애니메이트할 수 있도록 하는 능력을 포함한다. 애니메이션은 작은 지연으로 발생할 수 있으며, 아바타는 동적으로 변경될 수 있다. 애니메이트된 아바타의 그 결과의 이미지 또는 비디오가 우수한 대역폭 효율로 또 다른 사용자에게 전송될 수 있다.
본 발명의 다양한 실시예에 대한 상기한 설명은 당업자에게 설명하기 위한 목적으로 제공된 것이다. 본 발명을 하나의 개시 실시예로 완전한 것이 되게 하거나 또는 하나의 개시 실시예로 국한하려는 것은 아니다. 전술한 바와 같이, 상기한 교시를 통해 본 발명에 대한 다수의 대안의 실시예 또는 변형예가 이루어질 수 있다는 것이 명백하게 될 것이다. 따라서, 일부 대안의 실시예가 구체적으로 논의되었지만, 당업자에 의해 다른 실시예가 비교적 용이하게 개발될 것이다. 따라서, 본 명세서는 여기에서 설명된 본 발명의 모든 대안의 실시예, 수정예 및 변형예와 전술한 본 발명의 사상 및 범위 내에 있는 다른 실시예를 포괄할 것이다.

Claims (26)

  1. 이미지를 생성하는 방법에 있어서,
    제1 컴퓨팅 장치를 통해 제1 이미지를 수신하는 단계;
    상기 제1 컴퓨팅 장치의 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하는 단계;
    상기 데이터 인터페이스를 통해 상기 서버로부터, 상기 제1 이미지의 특징에 대응하는 모양 데이터(shape data)를 수신하는 단계; 및
    상기 제1 컴퓨팅 장치의 프로세서에 의해, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 기본 출력 이미지(primary output image)를 생성하는 단계
    를 포함하는 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 모양 데이터는 이미지로 묘사된 바와 같은 사용자의 얼굴의 3D 모델을 포함하며, 상기 기본 출력 이미지를 생성하는 단계는 상기 3D 모델을 상기 아바타 데이터에 적용하는 단계를 포함하는, 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 모양 데이터는 액티브 어피어런스 모델(Active Appearance Model, AAM) 파라미터를 포함하며, 상기 기본 출력 이미지를 생성하는 단계는 상기 AAM 파라미터를 상기 아바타 데이터에 적용하는 단계를 포함하는, 이미지 생성 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 기본 출력 이미지를 생성하는 단계는, 상기 아바타 데이터에 따라 상기 모양 데이터에 맵핑 함수를 적용하는 단계를 더 포함하는, 이미지 생성 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은, 상기 데이터 인터페이스를 통해 상기 아바타 데이터에 연관된 식별자를 수신하는 단계를 더 포함하는, 이미지 생성 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은, 상기 식별자를 상기 서버에 전송하는 단계를 더 포함하며,
    상기 서버가, 상기 식별자에 연관된 서버 아바타 데이터와, 모양 파라미터를 기반으로 하여 서버 출력 이미지를 생성하는,
    이미지 생성 방법.
  7. 제6항에 있어서,
    상기 서버 출력 이미지가 상기 기본 출력 이미지와 동일한, 이미지 생성 방법.
  8. 제6항에 있어서,
    상기 서버는 상기 기본 출력 이미지를 생성하기 위해 상기 제1 컴퓨팅 장치에 의해 사용된 알고리즘과는 상이한 알고리즘에 따라 상기 서버 출력 이미지를 생성하는, 이미지 생성 방법.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은, 상기 아바타 데이터를 상기 서버에 전송하는 단계를 더 포함하며,
    상기 서버 아바타 데이터는 전송된 아바타 데이터를 포함하는,
    이미지 생성 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 데이터 인터페이스를 통해, 상기 서버 출력 이미지를 제2 컴퓨팅 장치의 사용자에게 전송하도록 하기 위한 요청으로서, 사용자의 접촉 상세정보(contact details)를 포함하는 요청을, 상기 서버에 전송하는 단계와,
    상기 서버 출력 이미지를, 상기 사용자의 접촉 상세정보를 이용하여, 상기 서버로부터 상기 제2 컴퓨팅 장치의 사용자에게 전송하는 단계
    를 더 포함하는 이미지 생성 방법.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 데이터 인터페이스를 통해, 상기 기본 출력 이미지를 제2 컴퓨팅 장치의 사용자와 공유하도록 하기 위한 요청으로서, 사용자의 접촉 상세정보 및 선택된 아바타를 포함하는 요청을, 상기 서버에 전송하는 단계와,
    상기 제2 컴퓨팅 장치에 의한 상기 기본 출력 이미지의 생성을 위해, 상기 사용자의 접촉 상세정보를 이용하여, 상기 서버로부터 상기 제2 컴퓨팅 장치의 사용자에게, 상기 모양 파라미터 및 상기 선택된 아바타를, 전송하는 단계
    를 더 포함하는 이미지 생성 방법.
  12. 제11항에 있어서,
    상기 선택된 아바타를 전송하는 단계는, 상기 선택된 아바타에 연관된 식별자를 전송하는 단계를 포함하는, 이미지 생성 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 기본 출력 이미지를 생성하는 단계는, 상기 제1 이미지를 수정하는 단계를 포함하는, 이미지 생성 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 데이터 인터페이스를 통해, 상기 서버 출력 이미지를 소셜 미디어 사이트(social media site) 또는 비디오 공유 사이트에 업로드하도록 하기 위한 요청으로서, 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트의 상세정보(detail)와 상기 선택된 아바타를 포함하는 요청을, 상기 서버에 전송하는 단계와,
    상기 서버 출력 이미지를, 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트의 상세정보를 이용하여, 상기 서버로부터 상기 소셜 미디어 사이트 또는 상기 비디오 공유 사이트에 전송하는 단계
    를 더 포함하는 이미지 생성 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 이미지는 비디오 시퀀스의 이미지를 포함하는, 이미지 생성 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 제1 컴퓨팅 장치를 통해 제2 이미지를 수신하는 단계로서, 상기 제1 이미지 및 상기 제2 이미지가 비디오 시퀀스의 이미지를 포함하는, 수신 단계와,
    상기 데이터 인터페이스를 통해 상기 제2 이미지를 서버에 전송하는 단계와,
    상기 데이터 인터페이스를 통해, 상기 제2 이미지의 특징에 대응하는 추가의 모양 데이터를 수신하는 단계와,
    상기 프로세서에 의해 적어도 상기 추가의 모양 데이터 및 상기 아바타 데이터를 기반으로 하는 제2 기본 출력 이미지를 생성하는 단계
    를 더 포함하는 이미지 생성 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 제1 컴퓨팅 장치를 통해 제2 이미지를 수신하는 단계로서, 상기 제1 이미지 및 상기 제2 이미지가 비디오 시퀀스의 이미지를 포함하는, 수신 단계와,
    상기 데이터 인터페이스를 통해 상기 제2 이미지를 서버에 전송하는 단계와,
    상기 데이터 인터페이스를 통해, 상기 제2 이미지의 특징에 대응하는 추가의 모양 데이터를 수신하는 단계와,
    상기 프로세서에 의해 적어도 상기 추가의 모양 데이터 및 제2 아바타 데이터를 기반으로 하는 제2 기본 출력 이미지를 생성하는 단계
    를 더 포함하는 이미지 생성 방법.
  18. 제17항에 있어서,
    상기 제2 아바타 데이터는 상기 아바타 데이터를 포함하는, 이미지 생성 방법.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 제1 이미지는 상기 제2 이미지를 수신하기 전에 상기 서버에 전송되는, 이미지 생성 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 이미지 생성 방법은,
    상기 제1 컴퓨팅 장치를 통해 음성 데이터를 수신하는 단계와,
    상기 데이터 인터페이스를 통해 상기 음성 데이터를 상기 서버에 전송하는 단계와,
    상기 데이터 인터페이스를 통해 상기 음성 데이터에 관한 음성 파라미터를 수신하는 단계와,
    상기 제1 컴퓨팅 장치의 프로세서에 의해 상기 음성 파라미터 및 상기 아바타 데이터를 기반으로 하는 출력 음성을 생성하는 단계
    를 더 포함하는 이미지 생성 방법.
  21. 제20항에 있어서,
    상기 출력 음성을 생성하는 단계는, 상기 음성 데이터에 필터를 적용하는 단계를 포함하는, 이미지 생성 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 아바타 데이터는 아바타 이미지를 포함하는, 이미지 생성 방법.
  23. 이미지를 생성하는 시스템에 있어서,
    제1 컴퓨팅 장치를 포함하며,
    상기 제1 컴퓨팅 장치가,
    데이터 인터페이스와,
    상기 데이터 인터페이스에 접속되는 프로세서와,
    상기 프로세서에 접속되는 메모리로서, 제1 이미지를 수신하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지의 특징에 대응하는 모양 데이터를 수신하고, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 출력 이미지를 생성하기 위해, 상기 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 메모리
    를 포함하는 이미지 생성 시스템.
  24. 제23항에 있어서,
    상기 이미지 생성 시스템은, 상기 프로세서에 연결되는 디스플레이 화면을 더 포함하며,
    상기 메모리는 상기 출력 이미지를 상기 디스플레이 화면에 나타내기 위한 명령을 더 포함하는,
    이미지 생성 시스템.
  25. 제23항 또는 제24항에 있어서,
    상기 이미지 생성 시스템은, 상기 프로세서에 연결되는 카메라를 더 포함하며,
    상기 메모리는 상기 카메라로부터 상기 제1 이미지를 수신하기 위한 명령을 더 포함하는,
    이미지 생성 시스템.
  26. 이미지를 생성하고 전송하는 시스템에 있어서,
    제1 컴퓨팅 장치를 포함하며,
    상기 제1 컴퓨팅 장치가,
    데이터 인터페이스와,
    상기 데이터 인터페이스에 접속되는 프로세서와,
    상기 프로세서에 접속되는 메모리로서, 제1 이미지를 수신하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지를 서버에 전송하고, 상기 데이터 인터페이스를 통해 상기 제1 이미지의 특징에 대응하는 모양 데이터를 수신하고, 적어도 상기 모양 데이터 및 아바타 데이터(avatar data)를 기반으로 하는 출력 이미지를 생성하기 위해, 상기 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 메모리를 포함하며,
    상기 서버가,
    서버 데이터 인터페이스와,
    상기 서버 데이터 인터페이스에 접속되는 서버 프로세서와,
    상기 서버 프로세서에 접속되는 서버 메모리로서, 상기 제1 이미지를 수신하고, 상기 서버 프로세서에 의해 상기 제1 이미지의 특징에 따른 모양 데이터를 생성하고, 상기 서버 데이터 인터페이스를 통해 상기 모양 데이터를 상기 제1 컴퓨팅 장치에 전송하고, 상기 서버 프로세서를 통해 적어도 상기 모양 데이터 및 상기 아바타 데이터를 기반으로 하는 서버 출력 이미지를 생성하고, 상기 서버 데이터 인터페이스를 통해 상기 서버 출력 이미지를 제2 컴퓨팅 장치에 전송하기 위해, 상기 서버 프로세서에 의해 실행할 수 있는 명령을 포함하는, 상기 서버 메모리를 포함하는,
    이미지 생성 및 전송 시스템.
KR1020130032693A 2012-05-22 2013-03-27 비디오 생성 시스템 및 방법 KR101996973B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2012902108A AU2012902108A0 (en) 2012-05-22 System and method for generating a video
AU2012902108 2012-05-22

Publications (2)

Publication Number Publication Date
KR20130130625A true KR20130130625A (ko) 2013-12-02
KR101996973B1 KR101996973B1 (ko) 2019-07-05

Family

ID=48607009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130032693A KR101996973B1 (ko) 2012-05-22 2013-03-27 비디오 생성 시스템 및 방법

Country Status (7)

Country Link
US (1) US9406162B2 (ko)
EP (1) EP2667358A3 (ko)
JP (1) JP6392497B2 (ko)
KR (1) KR101996973B1 (ko)
CN (1) CN103428446B (ko)
TW (1) TWI632523B (ko)
WO (1) WO2013173864A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394481B (zh) * 2014-09-30 2016-09-21 腾讯科技（深圳）有限公司 视频播放方法及装置
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US9996940B1 (en) 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
WO2020149581A1 (en) 2019-01-14 2020-07-23 Samsung Electronics Co., Ltd. Electronic device for generating avatar and method thereof
CN110298906B (zh) * 2019-06-28 2023-08-11 北京百度网讯科技有限公司 用于生成信息的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248145A (ja) * 2003-02-17 2004-09-02 Megachips System Solutions Inc 多地点通信システム
JP2006040228A (ja) * 2004-07-30 2006-02-09 Oki Electric Ind Co Ltd モデル作成装置およびデータ配信システム
US20080306951A1 (en) * 2004-11-09 2008-12-11 Benjamin Rodefer Method and System of Retrieving Avatar Data Unique to a User
JP2010517427A (ja) * 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288686A (ja) * 2001-03-23 2002-10-04 Minolta Co Ltd メッセージ送信システム、メッセージ送信方法、画像データ生成システム、およびコンピュータプログラム
JP3593067B2 (ja) * 2001-07-04 2004-11-24 沖電気工業株式会社 画像コミュニケーション機能付き情報端末装置および画像配信システム
IL159800A0 (en) * 2001-07-13 2004-06-20 Mel Lighting Ltd Gas discharge lamp
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
US20040179039A1 (en) * 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate
JP2005277989A (ja) * 2004-03-26 2005-10-06 Oki Electric Ind Co Ltd 通信端末装置およびその画像提供方法
US20080151786A1 (en) * 2006-12-21 2008-06-26 Motorola, Inc. Method and apparatus for hybrid audio-visual communication
US8504926B2 (en) * 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
US20090241039A1 (en) * 2008-03-19 2009-09-24 Leonardo William Estevez System and method for avatar viewing
US8745152B2 (en) * 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
KR20110110391A (ko) * 2010-04-01 2011-10-07 가톨릭대학교 산학협력단 마이크로블로그에서의 비주얼 커뮤니케이션 방법
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248145A (ja) * 2003-02-17 2004-09-02 Megachips System Solutions Inc 多地点通信システム
JP2006040228A (ja) * 2004-07-30 2006-02-09 Oki Electric Ind Co Ltd モデル作成装置およびデータ配信システム
US20080306951A1 (en) * 2004-11-09 2008-12-11 Benjamin Rodefer Method and System of Retrieving Avatar Data Unique to a User
JP2010517427A (ja) * 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法

Also Published As

Publication number Publication date
WO2013173864A1 (en) 2013-11-28
CN103428446A (zh) 2013-12-04
KR101996973B1 (ko) 2019-07-05
TW201403540A (zh) 2014-01-16
CN103428446B (zh) 2016-12-28
TWI632523B (zh) 2018-08-11
EP2667358A2 (en) 2013-11-27
US9406162B2 (en) 2016-08-02
EP2667358A3 (en) 2017-04-05
JP6392497B2 (ja) 2018-09-19
US20130314405A1 (en) 2013-11-28
JP2013243646A (ja) 2013-12-05

Similar Documents

Publication Publication Date Title
US11595617B2 (en) Communication using interactive avatars
US9936165B2 (en) System and method for avatar creation and synchronization
US9398262B2 (en) Communication using avatar
KR101996973B1 (ko) 비디오 생성 시스템 및 방법
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
CN111355944B (zh) 生成并用信号传递全景图像之间的转换
WO2022033206A1 (zh) 动画对象的表情生成方法和装置、存储介质及电子设备
US20230130535A1 (en) User Representations in Artificial Reality
JP7364702B2 (ja) テクスチャ操作を使用するアニメーション化された顔
US20240062456A1 (en) Variable update adaptation and simulation delay in multiuser virtual reality application
Gren et al. The State of Live Facial Puppetry in Online Entertainment
CN117097919A (zh) 虚拟角色渲染方法、装置、设备、存储介质和程序产品
TW202107250A (zh) 使用互動化身的通訊技術（七）
TW201924321A (zh) 使用互動化身的通訊技術（五）
TW201440529A (zh) 使用互動化身的通訊技術

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant