KR20130032620A - 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 - Google Patents

3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 Download PDF

Info

Publication number
KR20130032620A
KR20130032620A KR1020110096333A KR20110096333A KR20130032620A KR 20130032620 A KR20130032620 A KR 20130032620A KR 1020110096333 A KR1020110096333 A KR 1020110096333A KR 20110096333 A KR20110096333 A KR 20110096333A KR 20130032620 A KR20130032620 A KR 20130032620A
Authority
KR
South Korea
Prior art keywords
user
avatar
face
facial expression
animation
Prior art date
Application number
KR1020110096333A
Other languages
English (en)
Other versions
KR101306221B1 (ko
Inventor
김용경
Original Assignee
김용국
(주) 어펙트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용국, (주) 어펙트로닉스 filed Critical 김용국
Priority to KR1020110096333A priority Critical patent/KR101306221B1/ko
Publication of KR20130032620A publication Critical patent/KR20130032620A/ko
Application granted granted Critical
Publication of KR101306221B1 publication Critical patent/KR101306221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법에 관한 것으로서, 본 발명의 동영상 제작방법은, 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계; 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계; 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 단계; 및 상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계를 포함한다. 이에 의해, 사용자의 얼굴이 반영된 3차원 사용자 아바타를 생성하고 카메라로 촬영된 사용자의 얼굴 표정을 사용자 아바타에 반영하여 표정과 동작이 움직이는 동적 아바타를 생성하며, 사용자의 음성과 사용자 아바타의 영상을 함께 녹화 및 편집할 수 있도록 함으로써 사용자 아바타를 이용한 동영상을 제작할 수 있다.

Description

3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법{METHOD AND APPARATUS FOR PROVIDING MOVING PICTURE USING 3D USER AVATAR}
본 발명은 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법에 관한 것으로서, 보다 상세하게는, 사용자의 얼굴이 반영된 3차원 사용자 아바타를 생성하고 카메라로 촬영된 사용자의 얼굴 표정을 사용자 아바타에 반영하여 표정과 동작이 움직이는 동적 아바타를 생성하며, 사용자의 음성과 사용자 아바타의 영상을 함께 녹화 및 편집할 수 있도록 함으로써 사용자 아바타를 이용한 동영상을 제작할 수 있도록 하는 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법에 관한 것이다.
최근 콘텐츠 제작 기술의 발전에 따라 개인이 다양한 멀티미디어 콘텐츠를 제작할 수 있는 애플리케이션들이 서비스되고 있다. 하지만 이러한 종래의 멀티미디어 콘텐츠 제작 애플리케이션들은 단순히 사진들을 이용한 뮤직비디오의 제작이나, 간단한 동영상을 편집하는 수준의 영상물 제작에 그치고 있어, 보다 편리하고 활용가치가 높은 개인 멀티미디어 콘텐츠 제작을 원하는 사용자들을 만족시키지 못하고 있다.
특히, 종래의 멀티미디어 콘텐츠 제작 애플리케이션의 경우 그 제작에 필요한 소스가 실제 서비스에서 제공하는 몇 안 되는 콘텐츠에 머물거나 또는 개인이 자신의 컴퓨터상에 보유하고 있는 약간의 개인 자료에 제한되어 있기 때문에, 시시각각 변화하는 개인의 취향을 반영하는 진정한 의미의 개인 멀티미디어 콘텐츠의 제작이 어렵다는 문제점이 있다.
한편, 그래픽 처리 기술의 발달에 따라 3차원 영상기술은 하루가 다르게 발전하고 있다. 하지만 아직까지도 3차원 동영상의 제작에는 전문적인 기술이 필요하며 컴퓨터 3차원을 잘 모르는 일반인이 양질의 3차원 동영상을 제작하는 것은 어려운 것이 현실이다.
한국공개특허 제2006-0082738호 제목: 이동 통신 단말기의 개인 캐릭터 서비스 방법 및 그 이동통신 단말기
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 얼굴이 반영된 3차원 사용자 아바타를 생성하고, 카메라로 촬영된 사용자의 얼굴 표정을 사용자 아바타에 반영하여 표정과 동작이 움직이는 동적 아바타를 생성하며, 사용자의 음성과 사용자 아바타의 영상을 함께 녹화 및 편집할 수 있도록 함으로써, 사용자 아바타를 이용한 동영상을 제작할 수 있도록 하는 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계; 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계; 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 단계; 및 상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작방법이 제공된다.
여기서, 상기 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계는, 상기 2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 부분별 비율을 산출하고, 산출 값에 따라 상기 3차원 사용자 아바타의 얼굴 형상(shape)을 모델링하는 단계; 및 상기 2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 피부 텍스처를 상기 아바타 얼굴에 합성하는 단계를 포함할 수 있다.
그리고, 상기 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계는, 상기 사용자의 선택에 따라 기저장된 아바타의 체형과 의상을 상기 3차원 사용자 아바타의 얼굴에 합성하는 단계; 및 상기 사용자의 선택에 따라 상기 아바타의 체형과 의상을 편집하여 사용자의 3차원 사용자 아바타를 생성하는 단계를 포함할 수 있다.
또한, 상기 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계는, 실시간으로 입력되는 상기 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 특징점을 추출하는 단계; 및 상기 특징점을 BPNN 처리하여 상기 사용자의 표정을 인식하는 단계를 포함할 수 있다.
여기서, 상기 사용자 얼굴의 특징점은, 얼굴 형상(shape)와 피부 텍스처 중 적어도 어느 하나를 포함할 수 있다.
그리고, 상기 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계는, 정의된 표정에 대응되는 아바타의 동작 데이터를 미리 입력받아 저장하는 단계; 상기 저장된 동작 데이터 중 상기 인식된 사용자의 표정에 부합되는 동작 데이터들을 검색하는 단계; 및 검색된 상기 동작 데이터를 사용자에게 제시하는 단계를 포함할 수 있다.
한편, 상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계는, 상기 사용자의 음성을 입력받아 상기 사용자 애니메이션과 함께 저장하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 휴대단말에서 구동될 때, 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계; 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계; 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 단계; 및 상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체가 제공된다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 2차원 사용자 영상을 이용하여 3차원 사용자 아바타의 얼굴을 모델링하고 사용자의 선택에 따라 상기 아바타 얼굴에 매칭되는 아바타의 체형과 의상을 모델링하여 3차원 사용자 아바타를 생성하는 사용자 아바타 생성부; 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하고 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 동적 아바타 생성부; 배경 동영상이 저장된 기본 애니메이션 DB; 및 상기 배경 동영상에 상기 사용자의 동적 아바타를 합성하여 사용자 애니메이션을 생성하는 사용자 애니메이션 저장부를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작장치가 제공된다.
여기서, 상기 사용자 아바타 생성부는, 2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 부분별 비율을 산출하고 피부 텍스처를 합성하여 3차원 사용자 아바타의 얼굴을 모델링하는 3차원 아바타 얼굴 생성부; 아바타의 체형과 의상 데이터가 저장된 데이터베이스; 및 상기 사용자의 선택에 따라 상기 데이터베이스에 저장된 아바타의 체형과 의상을 상기 3차원 사용자 아바타의 얼굴에 합성하고, 상기 사용자의 선택에 따라 상기 아바타의 체형과 의상을 편집하여 모델링하는 3차원 아바타 체형 및 의상 생성부를 포함할 수 있다.
그리고, 상기 동적 아바타 생성부는, 정의된 표정에 대응되는 아바타의 동작 데이터가 저장된 아바타 동작 데이터베이스; 실시간으로 입력되는 상기 사용자 영상에 AAM을 적용하여 특징점을 추출하고, 상기 특징점을 BPNN 처리하여 상기 사용자의 표정을 인식하는 사용자 표정 인식부; 상기 인식된 표정에 대응되는 아바타의 동작 데이터를 검색하여 사용자에게 제시하는 표정 및 동작 매칭부; 및 상기 사용자가 선택한 아바타의 동작 데이터와 상기 사용자 표정 인식부에서 인식된 사용자 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 아바타 표정 및 동작 합성부를 포함할 수 있다.
여기서, 상기 사용자 얼굴의 특징점은, 얼굴 형상(shape)와 피부 텍스처 중 적어도 어느 하나를 포함할 수 있다.
상술한 바와 같이 본 발명의 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법은, 사용자의 얼굴이 반영된 3차원 사용자 아바타를 생성하고, 카메라로 촬영된 사용자의 얼굴 표정을 사용자 아바타에 반영하여 표정과 동작이 움직이는 동적 아바타를 생성하며, 사용자의 음성과 사용자 아바타의 영상을 함께 녹화 및 편집할 수 있도록 함으로써, 3차원 사용자 아바타를 이용한 동영상을 제작할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작장치가 적용된 사용자 단말의 제어블럭도,
도 2는 본 발명의 실시예에 따른 사용자 아바타 생성부의 제어블럭도,
도 3은 본 발명의 실시예에 따른 동적 아바타 생성부의 제어블럭도,
도 4는 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작장치의 기준 표정데이터의 저장 상태도,
도 5는 본 발명의 실시예에 따른 사용자 표정 인식을 위한 BPNN(Back Propagation Neural Network)의 신경망의 계층구조도,
도 6은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 아바타 얼굴 생성과정의 흐름도,
도 7은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 사용자 표정 인식과정의 흐름도,
도 8은 본 발명의 제1실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도,
도 9는 본 발명의 제2실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도,
도 10은 본 발명의 제3실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작장치(100)가 적용된 사용자 단말(10)의 제어블럭이다.
사용자 단말(10)은 카메라 기능을 지원하고 사용자 인터페이스가 마련된 기기로써, 휴대전화, 넷북, PMP, 태블릿, 스마트폰 등 다양한 기기를 포함할 수 있으며, 도 1의 실시예는 스마트폰에 적용한 경우를 예시하고 있다.
사용자 단말(10)은 통신부(12), 카메라(14), 디스플레이부(16), 사용자 입력부(18), 동영상 제작장치(100) 및 이들을 제어하는 단말 제어부(20)를 포함한다.
통신부(12)는 사용자 단말(10)의 통신 기능을 처리하여, 데이터를 송수신할 수 있다. 통신부(12)를 통해 사용자 얼굴사진을 수신하거나, 동영상 제작을 위한 데이터를 다운로드 받을 수 있다. 또한, 본 발명의 3차원 사용자 아바타를 이용한 동영상 제작장치(100)가 하나의 애플리케이션의 형태로 구현되어 배포되는 경우, 통신부(12)는 유선 혹은 무선 통신부(12)를 통해 동영상 제작장치(100)를 다운로드 받을 수 있다.
카메라(14)는 객체, 예컨대, 특정 사람의 얼굴의 영상을 촬영하여 2차원 영상을 생성한다.
디스플레이부(16)는 3차원 사용자 아바타를 이용한 동영상 제작과정을 사용자에게 표시한다. 사용자는 디스플레이부(16)를 통해 합성된 3차원 아바타를 확인함으로써, 아바타의 형상이나 동작, 표정 등을 확인하여 수정할 수 있다.
사용자 입력부(18)는 사용자가 아바타의 각부 영역이나, 동작 등을 설정 및 수정할 수 있도록 입력 인터페이스를 제공한다. 예컨대, 사용자 입력부(18)가 터치패널로 제공된 경우, 사용자는 터치신호, 핀치신호, 드래그 앤 드랍 신호 등을 입력함으로써, 3차원 아바타의 얼굴 각 부 영역의 크기를 조절하거나 텍스처 색상을 조절할 수 있다.
동영상 제작장치(100)는 2차원 형식의 사용자 얼굴사진을 이용하여 사용자의 3차원 아바타를 생성하고, 카메라(14)로 입력되는 사용자의 표정을 분석하여 3차원 아바타의 표정 및 동작에 반영하여 사용자의 3차원 아바타를 이용한 애니메이션을 생성한다. 동영상 제작장치(100)는 3차원 아바타의 표정 및 동작에 사용자의 목소리를 녹화, 편집, 플레이할 수 있는 기능을 제공할 수 있다.
단말 제어부(20)는 버스(BUS)로 연결된 각 구성들과 데이터신호 및 제어신호를 송수신함으로써 사용자 단말(10)의 전반적이 기능을 제어한다. 사용자가 동영상 제작 기능을 실행시킨 경우, 단말 제어부(20)는 동영상 제작장치(100)의 기능을 활성화시키고, 카메라(14) 및 사용자 입력부(18)를 통해 입력된 정보가 동영상 제작장치(100)로 전달되도록 제어하는 한편, 동영상 제작장치(100)에서 출력하는 영상데이터가 디스플레이부(16)로 전달되도록 제어한다.
동영상 제작장치(100)는 애니메이션 제작 제어부(110), 사용자 아바타 생성부(200), 동적 아바타 생성부(300), 사용자 애니메이션 생성부(400), 사용자 애니메이션 저장부(450), 기본 애니메이션 DB(500)를 포함한다.
애니메이션 제작 제어부(110)는 3차원 사용자 아바타를 이용한 동영상이 생성될 수 있도록 동영상 제작장치(100) 내의 각 구성을 제어한다.
사용자 아바타 생성부(200)는 사용자 얼굴사진을 이용하여 사용자의 얼굴을 3차원 객체로 표현하고 사용자의 선택에 따라 사용자의 체형 및 의상을 모델링함으로써 3차원 사용자 아바타를 생성한다.
동적 아바타 생성부(300)는 카메라(14)로 입력되는 사용자의 얼굴영상에 대해 실시간 얼굴 표정인식 기술을 이용하여 사용자의 표정을 아바타에 반영한다. 또한, 정의된 감정에 부합될 수 있는 동작들을 사용자가 설정할 수 있도록 함으로써, 다양한 표정과 동작을 표현하는 동적 아바타를 생성한다.
기본 애니메이션 DB(500)에는 동적 아바타를 합성할 수 있는 애니메이션 배경과, 사용자가 낭독할 텍스트 정보가 저장된다. 기본 애니메이션 DB(500)에는 각기 다른 테마를 갖는 복수개의 애니메이션 배경과 텍스트 정보가 저장될 수 있다. 예컨대, 동영상 제작장치(100)가 구연동화를 제작하기 위해 제공되는 경우 기본 애니메이션 DB(500)에는, 동화의 전개에 부합되는 배경 애니메이션과 구연할 동화 내용이 저장될 수 있다.
사용자 애니메이션 생성부(400)는 기본 애니메이션 DB(500)에 저장된 배경 애니메이션과 사용자가 제작한 동적 아바타를 합성하여, 3차원 사용자 아바타가 등장하는 애니메이션을 생성한다. 또한, 사용자가 낭독하는 애니메이션의 내용, 즉, 동화의 내용도 함께 입력받아 합성함으로써, 사용자의 음성과 사용자의 3차원 아바타에 의해 전개되는 사용자 애니메이션을 생성할 수 있다.
사용자 애니메이션 저장부(450)에는 사용자가 생성한 사용자 애니메이션이 저장된다.
도 2는 본 발명의 실시예에 따른 3차원 사용자 아바타 생성부(200)의 제어블럭도이다.
사용자 아바타 생성부(200)는, 3차원 아바타 얼굴 생성부(210), 3차원 아바타 체형 및 의상 생성부(220)와 아바타 생성을 위한 각종 데이터가 저장된 데이터베이스(230, 232, 234)를 포함한다.
데이터베이스는, 아바타 얼굴 DB(230), 아바타 의상 DB(232), 아바타 체형 DB(234)를 포함할 수 있다. 아바타 얼굴 DB(230)에는 3차원 아바타 얼굴을 모델링 하는데 사용되는 기본 아바타 얼굴 정보가 저장된다. 아바타 체형 DB(234)에는 3차원 아바타의 체형을 모델링하는 데 사용되는 기본 아바타 체형 정보가 저장된다 아바타 의상 DB(232)에는 3차원 아바타에 적용할 의상, 액세서리, 소품 등의 정보가 저장된다.
3차원 아바타 얼굴 생성부(210)는 2차원 영상에서 사용자의 얼굴영상을 인식하여 3차원 사용자 아바타의 얼굴을 생성한다. 사용자의 얼굴이 반영된 3차원 아바타를 생성하는 데에는, AAM(Active Appearance Model)이 적용될 수 있다. AAM은 얼굴을 지정된 메쉬(Mesh) 형태로 지정하여 얼굴이 이동하는 동안 이전 메쉬와의 차이를 계산하여 지속적으로 얼굴을 추적할 수 있으며 얼굴에 정확하게 메쉬가 위치하게 되면 얼굴의 각 부분을 분리할 수 있는 기술이다.
이에, 3차원 아바타 얼굴 생성부(210)는 촬영된 카메라(14) 입력영상을 이용하여 3차원 아바타의 형상 및 피부를 생성하고, 입력된 영상에 AAM을 적용시킨 메쉬 간의 비율을 계산하여 아바타 얼굴을 생성하는 한편 사용자의 요구에 따라 변경할 수 있다. 얼굴영역이 인식된 2차원 영상에서 외형(appearance)과 형상(shape)의 파라미터를 추출하고, 추출한 얼굴특징 요소를 토대로 입력된 얼굴이미지에서 눈, 코, 입의 영역을 AAM의 형상에 맞도록 모델링하고, 각 영역의 피부를 가지고 사용자 아바타의 얼굴피부 텍스처를 합성한다.
3차원 아바타 체형 및 의상 생성부(220)는 아바타 체형 제작과 의상 착용 기능 수행한다. 3차원 아바타 체형 및 의상 생성부(220)는 아바타 체형 DB(234) 및 아바타 의상 DB(232)로부터 각각 체형과 의상 데이터를 제공받아 사용자 아바타의 체형과 의상을 모델링 한다.
도 3은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작장치(100)의 동적 아바타 생성부(300)의 제어블럭도이다.
동적 아바타 생성부(300)는 다양한 표정과 동작을 표현하는 동적 아바타를 모델링하며, 사용자 표정 인식부(310), 아바타 표정 및 동작 DB(340, 345), 표정 및 동작 매칭부(320) 및 아바타 표정 및 동작 합성부(330)를 포함한다.
아바타 표정 및 동작 DB(340, 345)에는 아바타의 기본 표정과 동작정보가 저장된다. 아바타 표정 DB(340)에는 인간의 지니고 있는 기본 표정은 즐거움(joy), 놀람(surprise), 공포(fear), 화남(anger), 역겨움(disgust), 슬픔(sadness) 등 여섯 가지 표정이 저장된다. 저장되는 얼굴 표정 데이터는 도 4에 도시된 바와 같다. 도 4에 도시된 얼굴 표정 데이터는 국제학회에서 인정하고 있는 표준 얼굴 표정 DB인 Cohn-Kanade DB로써, 표정관련 연구에 가장 기본이 되는 표정 데이터(인종, 성별, 표정)를 제공한다. 이러한 표준 얼굴 표정을 이용하여 카메라(14)를 통해 보이는 사용자의 표정을 인식할 수 있다. 아바타 동작 DB(345)에는 아바타 표정에 따른 동작 데이터가 저장된다. 예컨대, 즐거움, 놀람, 공포, 화남, 역겨움, 슬픔 등의 감정상태에서 취할 수 있는 동작들이 저장될 수 있다.
사용자 표정 인식부(310)는 카메라(14)를 통해 실시간으로 촬영되는 영상을 이용하여 3차원 아바타의 형상 및 피부를 생성한다. 사용자 표정 인식부(310)는 입력된 영상에 AAM을 적용시킨 메쉬 간의 비율을 계산하여 아바타 얼굴을 생성되고 사용자의 요구에 따라 변경이 가능하다. 피부의 생성 또한 적용된 AAM 메쉬의 각 부분을 사용하여 아바타의 피부로 변환시킨다.
사용자 표정 인식부(310)는 얼굴 인식부(312), 특징 추출부(314), BPNN(Back Propagation Neural Network) 처리부(316)를 포함한다.
얼굴 인식부(312)는 입력되는 영상에서 얼굴에 해당되는 영역을 인식한다.
특징 추출부(314)는 얼굴영상에 대해 AAM(Active Appearance Model)을 적용한다. AAM이 적용되면 입력된 얼굴이미지에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지게 되고 각 영역의 피부를 가지고 사용자 아바타의 얼굴 피부 텍스처(texture)가 생성된다.
BPNN 처리부(316)는 얼굴영상의 특징점을 이용하여 BPNN(Back Propagation Neural Network) 방식으로 표정을 인식함으로써 다양한 표정을 분류할 수 있다.
도 5는 BPNN의 신경망 계층구조를 나타낸 것이다. BPNN은 입력층과 출력층 사이에 은둔층이 존재한다. 계층의 구성은 입력층, 은닉층, 출력층으로 구성되며, 각 층간은 가중치에 의하여 연결되며, 이 가중치의 설정에 의하여 안정된 출력을 형성하게 된다. 이렇게 가중치가 결정된 신경망을 각각의 표정별 생성하여 현재의 AAM 데이터를 각각의 신경망과 비교하여 확률이 높은 것을 현재의 표정으로 인식한다.
본 발명의 실시예에서는 은둔층과 출력층에 비선형 활성함수로서 시그모이드 함수를 적용하여 결정영역이 통상의 직선이 아닌 완만한 곡선으로 경계가 형성되도록 함으로써 은둔층을 학습하는 BPNN 학습 알고리즘을 수행하도록 한다. 이와 같이, 은둔층을 증가시키고 비선형 활성함수를 사용함에 따라서 결정구역이 고급화되는 장점을 확보할 수 있다.
여기서, 모델을 대상으로 하여 입력층(I)와 은둔층(H) 및 출력층(O)은 다음의 [수식 1] 로서 정의된다.
[수식 1]
Figure pat00001
[수식 1]에서 입력층(I)와 은둔층(H)의 2승 오차(Ep)를 줄이기 위한 가중치(Wji)는 다음의 [수식 2] 로서 재조정된다.
[수식 2]
Figure pat00002
모든 패턴(P)에 대한 2승 오차(Ep)는 식(x)로 나타낼 수 있다. 여기서, (Tpk)는 목표벡터이며, (Qpk)는 출력벡터이다.
[수식 3]
Figure pat00003
각 패턴P의 학습으로 2승 오차(Ep)를 점차 줄임으로써 전체적으로 오차함수(Et)를 극소화한다.
이상과 같이 특징점을 이용한 BPNN(Back Propagation Neural Network) 표정 인식 방법을 적용하는 경우, 기본표정만을 적용하는 것보다 다양한 표정을 분류할 수 있다. 이에, 사용자가 표정을 통해 가용한 동작을 제안 받는 인터페이스 역할을 확장할 수 있다.
표정 및 동작 매칭부(320)는 사용자 표정 인식부(310)로 인식된 사용자의 표정에 따라 해당 표정에서 취할 수 있는 동작들의 리스트를 아바타 동작 DB(345)로부터 검색한다. 표정과 함께 취하는 동작에 따라 각기 다른 감정이 전달될 수 있다. 예로서 비웃는 장면이라면 똑같이 웃더라도 손가락질을 하거나 배를 부여잡고 발을 동동 굴러야 한다. 반면, 기뻐서 웃는 것이라면 손을 벌리고 큰 동작으로 웃는 것이 어울린다. 이에, 표정 및 동작 매칭부(320)는 사용자 표정 인식부(310)로 인식된 사용자의 표정에서 묘사할 수 있는 상황에 관련된 동작 데이터를 추출하여 사용자에게 제안한다.
아바타 표정 및 동작 합성부(330)는 사용자 표정 인식부(310)로 인식된 사용자의 표정과 사용자가 선택한 동작을 사용자 아바타에 적용하여 동적 아바타를 생성한다.
이상 설명한 바와 같이, 동적 아바타 생성부(300)는 카메라(14)를 통해 실시간으로 촬영되는 영상을 이용하여 사용자의 표정을 인식하고 인식된 표정이 묘사할 수 있는 상황에 관련된 동작 애니메이션들을 제안하여 선택된 동작으로 하여금 다른 상황을 묘사할 수 있도록 구성한다. 이에, 사용자는 무수히 많은 동작 데이터를 일일이 뒤져가며 원하는 동작 데이터를 찾을 필요 없이, 인식된 표정으로 분류된 동작 범위에서 적절한 동작 데이터를 신속히 선택할 수 있다.
도 6은 본 발명의 실시예에 따른 3차원 사용자 아바타의 아바타 얼굴 생성과정의 흐름도이다.
사용자는 3차원 아바타 생성 시스템에서 카메라(14)로 자신의 얼굴을 촬영하여 얼굴영상을 입력한다(S210). 여기서, 사용자는 외부로부터 얼굴영상을 수신 혹은 입력받거나, 혹은, 기 저장된 얼굴영상을 이용하는 것도 가능하다.
입력된 얼굴영상에서 얼굴영역을 인식하고(S215), 얼굴이 인식된 영상에 대해 AAM을 적용하여 얼굴영상에서 눈, 코, 입의 영역이 AAM의 형상(Shape)에 맞춰지도록 한다(S220).
AAM이 적용된 영상을 이용하여 아바타 얼굴의 외관을 생성하고(S230), 또한, 각 영역의 피부를 이용하여 텍스처를 합성한다(S225).
이 후, 아바타 얼굴의 외관과 텍스처를 이용하여 3차원 아바타를 합성하고, 합성 결과를 사용자에게 표시한다(S235).
이에, 사용자가 얼굴 각부의 사이즈를 조절하거나 피부 텍스처를 변경하면 이에 따라 아바타를 수정하고(S240), 수정이 완료된 아바타를 표시한다(S245).
도 7은 본 발명의 실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 사용자 표정 인식 과정의 흐름도이다.
사용자는 카메라(14)로 얼굴을 촬영하여 얼굴영상을 입력할 수 있다(S310).
이에, 얼굴영상에 포함된 국지적인 외형의 특징이 강화되어 얼굴 이 인식된다(S315).
AAM 모델링부(516)는 입력된 얼굴영상에 대해 AAM 피팅을 수행하여 얼굴영상을 모델링하기 위한 특징점을 검출한다(S320). 이때, 사용되는 특징점으로는 외형(appearance)과 형상(shape)의 파라미터를 들 수 있다.
BPNN(Back Propagation Neural Network) 처리부(316)에서는 검출된 특징점에 대해 BPNN을 적용하여 얼굴 표정을 분류한다(S325).
BPNN 방식으로 인식된 표정 인식 결과를 아바타에 반영하여 표시한다(S330).
이러한, BPNN 표정 인식 방법을 적용하는 경우, 기본표정만을 적용하는 것보다 다양한 표정을 분류할 수 있다. 이에, 사용자가 표정을 통해 가용한 동작을 제안받는 인터페이스 역할을 확장할 수 있다.
도 8은 본 발명의 제1실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도이다. 본 실시예는 동영상 제작장치(100)를 이용하여 구연동화 동영상을 생성하는 경우 사용자에게 제공되는 인터페이스를 예시하고 있다. 이러한 경우, 동영상 제작장치(100)는 사용자의 스마트폰이나 태블릿 등의 휴대기기에 애플리케이션의 형태로 탑재될 수 있다.
사용자는 동영상 제작 프로그램인 "구연동화"프로그램을 선택하여 생성하고자 하는 아바타를 선택할 수 있다(S510). 사용자의 프로그램 실행 선택에 따라 동영상 제작장치(100)가 활성화된다.
사용자 아바타 생성부(200)는 촬영된 카메라(14) 입력 영상을 이용하여 3차원 아바타의 형상과 피부를 생성하여 3차원 아바타 얼굴을 생성한다(S515). 사용자 아바타 생성부(200)는 입력된 영상에 AAM을 적용시킨 메쉬 간의 비율을 계산하여 아바타 얼굴을 생성할 수 있다. 피부의 생성 또한 적용된 AAM 메쉬의 각 부분을 사용하여 아바타의 피부로 변환시킬 수 있다.
3차원 아바타 얼굴이 생성되면 이를 사용자의 요구에 따라 편집한다(S520). 사용자는 생성된 3차원 아바타 얼굴이 사용자의 얼굴과 더욱 유사하게 표현할 수 있도록 아바타의 형상과 피부를 변경하여 세부적인 설정을 조절할 수 있다.
이 후, 아바타에 기본 체형을 제공하고 사용자가 신체 각 부의 설정을 자신과 유사하게 조정하도록 한다(S525). 사용자는 제공되는 메뉴를 이용하여 키, 어깨, 배, 팔, 허벅지, 근육량 등의 사이즈 설정을 변경할 수 있다.
체형 설정이 완료되면 의상 시뮬레이션 기술을 이용하여 아바타에 다양한 옷이나 액세서리를 설정한다(S530). 아바타의 의상 설정 시에는 모바일 환경에 적합한 로우 폴리건(Low Polygon)을 기반으로 제작된 의상제작 툴을 적용할 수 있다. 이에, 사용자의 스타일에 더욱 근접한 아바타를 연출할 수 있다.
의상 등의 스타일 설정이 완료되면, 생성된 사용자 아바타를 저장한다(S535).
도 9는 본 발명의 제2실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도로서, 다양한 표정과 동작을 표현하는 동적 아바타를 모델링하는 과정을 예시한 것이다.
동영상 제작장치(100)에는 아바타의 표정, 아바타의 동작 등의 데이터가 데이터베이스(340, 345)로 구축되어 있다. 또한, 각 표정에 따라 부합되는 동작이 미리 설정되어 있다.
이에, 사용자는 스마트 기기의 카메라(14)를 이용하여 사용자의 표정을 촬영한다(S410).
이에, 사용자 표정 인식부(310)는 표정 인식 알고리즘을 통해 사용자의 표정을 인식한다(S415). 여기서, 사용자 표정 인식부(310)는, 얼굴영상의 특징점을 이용하여 BPNN(Back Propagation Neural Network) 방식으로 표정을 인식함으로써 기본표정만을 적용하는 것보다 다양한 표정을 분류할 수 있다.
표정이 판단되면(S420), 해당 표정에 부합되는 동작 데이터를 아바타 동작 DB(345)로부터 추출한다.
추출된 동작 리스트는 팝업이나, 리스트 제시 등의 제시 방법을 이용하여 사용자에게 제공한다(S430). 여기서, 판단된 표정에 따라 리스트 상의 동작들을 아이콘으로 팝업하고 기타 표정으로 제안할 수 없는 동작들은 고정 아이콘으로 제공하는 것도 가능하다.
이와 같이, 표정인식 기술은 사용자의 표정을 아바타에 반영하는 것과 제스처를 효과적으로 선택할 수 있는 인터페이스 역할을 동시에 수행할 수 있다. 만약 표정인식 기술을 사용하지 않은 상태에서 제스처를 선택해야 한다면 사용자는 무수히 많은 제스처를 일일이 뒤져가며 한참을 찾아야 한다. 표정인식으로 하여금 여러 감정을 나타내는 동작 중 웃음이라는 한 묶음으로 단숨에 축소된 동작 범위에서 빠르게 선택할 수 있게 된다.
도 10은 본 발명의 제3실시예에 따른 3차원 사용자 아바타를 이용한 동영상 제작방법의 흐름도로써, 사용자의 동적 아바타를 다른 콘텐츠와 합성하여 사용자 애니메이션을 생성하는 과정을 예시한 것이다.
구연동화 제작을 위한 동영상 제작장치(100)에는 동화 콘텐츠의 글과 그림을 포함하는 기본 애니메이션이 기본 애니메이션 DB(500)에 저장되어 있다.
이에, 사용자가 프로그램을 실행시키면(S610), 미리 제작된 그림이 동화 구연 시 배경 및 글이 표시되고, 사용자의 동작 설정을 위한 화면이 함께 표시된다(S615). 사용자는 동화 구연 장면을 카메라(14)로 촬영하며, 이에, 동영상 제작장치(100)는 사용자의 표정을 실시간으로 인식하여 인식된 표정에 적절한 동작을 제안한다.
3차원 아바타는 사용자가 선택한 동작을 표현하는 한편(S620), 사용자의 아바타와 동화의 배경을 합성한다(S625). 이에, 사용자의 3차원 아바타가 동화의 내용에 따른 표정과 동작을 표현하는 구현 동화 애니메이션이 생성된다.
이러한 구성에 의해, 본 발명은 종래의 2차원 이미지의 e-Book 콘텐츠와 차별화된 3차원 이미지를 구현하고, 또한 카메라(14)를 통한 촬영이미지를 아바타로 구현함으로써 다양하고 특징적인 영상이 가능하다.
사용자의 아바타를 이용한 구현동화 애니메이션은 유치원의 선생님을 3차원 아바타로 설정하여 유아교육 현장에서 사용하거나, 가정에서 부모의 아바타를 이용하여 구현동화 애니메이션을 제작할 수 있으며, 기타, 특정인이 출현하는 구현동화 애니메이션을 용이하게 제작하여 사용할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 사용자의 얼굴이 반영된 3차원 사용자 아바타를 생성하고, 카메라로 촬영된 사용자의 얼굴 표정을 사용자 아바타에 반영하여 표정과 동작이 움직이는 동적 아바타를 생성하며, 사용자의 음성과 사용자 아바타의 영상을 함께 녹화 및 편집할 수 있도록 함으로써, 사용자 아바타를 이용한 동영상을 제작할 수 있도록 하는 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법에 이용할 수 있다.
10 : 사용자 단말 12 : 통신부
14 : 카메라 16 : 디스플레이부
18 : 사용자 입력부 20 : 단말 제어부
100 : 동영상 제작장치 110 : 애니메이션 제작 제어부
200 : 사용자 아바타 생성부
210 : 3차원 아바타 얼굴 생성부
220 : 3차원 아바타 체형 및 의상 생성부
230 : 아바타 얼굴 DB 232 : 아바타 의상 DB
234 : 아바타 체형 DB 300 : 동적 아바타 생성부
310 : 사용자 표정 인식부 312 : 얼굴 인식부
314 : 특징 추출부 316 : BPNN 처리부
320 : 표정 및 동작 매칭부 330 : 아바타 표정 및 동작 합성부
340 : 아바타 표정 DB 345 : 아바타 동작 DB
400 : 사용자 애니메이션 생성부
450 : 사용자 애니메이션 저장부
500 : 기본 애니메이션 DB

Claims (12)

  1. ２차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계;
    실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계;
    상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 단계; 및
    상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  2. 제1항에 있어서,
    상기 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계는,
    상기 2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 부분별 비율을 산출하고, 산출 값에 따라 상기 3차원 사용자 아바타의 얼굴 형상(shape)을 모델링하는 단계; 및
    상기 2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 피부 텍스처를 상기 아바타 얼굴에 합성하는 단계를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  3. 제1항에 있어서,
    상기 2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계는,
    상기 사용자의 선택에 따라 기저장된 아바타의 체형과 의상을 상기 3차원 사용자 아바타의 얼굴에 합성하는 단계; 및
    상기 사용자의 선택에 따라 상기 아바타의 체형과 의상을 편집하여 사용자의 3차원 사용자 아바타를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  4. 제1항에 있어서,
    상기 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계는,
    실시간으로 입력되는 상기 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 특징점을 추출하는 단계; 및
    상기 특징점을 BPNN 처리하여 상기 사용자의 표정을 인식하는 단계를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  5. 제4항에 있어서,
    상기 사용자 얼굴의 특징점은,
    얼굴 형상(shape)와 피부 텍스처 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  6. 제4항에 있어서,
    상기 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계는,
    정의된 표정에 대응되는 아바타의 동작 데이터를 미리 입력받아 저장하는 단계;
    상기 저장된 동작 데이터 중 상기 인식된 사용자의 표정에 부합되는 동작 데이터들을 검색하는 단계; 및
    검색된 상기 동작 데이터를 사용자에게 제시하는 단계를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  7. 제1항에 있어서,
    상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계는,
    상기 사용자의 음성을 입력받아 상기 사용자 애니메이션과 함께 저장하는 단계를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작방법.
  8. 휴대단말에서 구동될 때,
    2차원 사용자 영상을 이용하여 3차원 사용자 아바타를 생성하는 단계; 실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하는 단계; 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 단계; 상기 사용자의 동적 아바타를 기저장된 배경 동영상과 합성하여 사용자 애니메이션을 생성하는 단계를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체.
  9. 2차원 사용자 영상을 이용하여 3차원 사용자 아바타의 얼굴을 모델링하고 사용자의 선택에 따라 상기 아바타 얼굴에 매칭되는 아바타의 체형과 의상을 모델링하여 3차원 사용자 아바타를 생성하는 사용자 아바타 생성부;
    실시간으로 입력되는 사용자 영상에서 상기 사용자의 표정을 인식하여 인식된 표정에 부합되는 동작들을 제시하고 상기 사용자에 의해 선택된 동작과 상기 인식된 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 동적 아바타 생성부;
    배경 동영상이 저장된 기본 애니메이션 DB; 및
    상기 배경 동영상에 상기 사용자의 동적 아바타를 합성하여 사용자 애니메이션을 생성하는 사용자 애니메이션 저장부를 포함하는 3차원 사용자 아바타를 이용한 동영상 제작장치.
  10. 제9항에 있어서,
    상기 사용자 아바타 생성부는,
    2차원 사용자 영상에 AAM을 적용하여 상기 사용자 얼굴의 부분별 비율을 산출하고 피부 텍스처를 합성하여 3차원 사용자 아바타의 얼굴을 모델링하는 3차원 아바타 얼굴 생성부;
    아바타의 체형과 의상 데이터가 저장된 데이터베이스; 및
    상기 사용자의 선택에 따라 상기 데이터베이스에 저장된 아바타의 체형과 의상을 상기 3차원 사용자 아바타의 얼굴에 합성하고, 상기 사용자의 선택에 따라 상기 아바타의 체형과 의상을 편집하여 모델링하는 3차원 아바타 체형 및 의상 생성부를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작장치.
  11. 제9항에 있어서,
    상기 동적 아바타 생성부는,
    정의된 표정에 대응되는 아바타의 동작 데이터가 저장된 아바타 동작 데이터베이스;
    실시간으로 입력되는 상기 사용자 영상에 AAM을 적용하여 특징점을 추출하고, 상기 특징점을 BPNN 처리하여 상기 사용자의 표정을 인식하는 사용자 표정 인식부;
    상기 인식된 표정에 대응되는 아바타의 동작 데이터를 검색하여 사용자에게 제시하는 표정 및 동작 매칭부; 및
    상기 사용자가 선택한 아바타의 동작 데이터와 상기 사용자 표정 인식부에서 인식된 사용자 표정을 상기 3차원 사용자 아바타에 적용하여 동적 아바타를 생성하는 아바타 표정 및 동작 합성부를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작장치.
  12. 제11항에 있어서,
    상기 사용자 얼굴의 특징점은,
    얼굴 형상(shape)와 피부 텍스처 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3차원 사용자 아바타를 이용한 동영상 제작장치.
KR1020110096333A 2011-09-23 2011-09-23 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 KR101306221B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110096333A KR101306221B1 (ko) 2011-09-23 2011-09-23 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110096333A KR101306221B1 (ko) 2011-09-23 2011-09-23 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130032620A true KR20130032620A (ko) 2013-04-02
KR101306221B1 KR101306221B1 (ko) 2013-09-10

Family

ID=48435365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110096333A KR101306221B1 (ko) 2011-09-23 2011-09-23 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법

Country Status (1)

Country Link
KR (1) KR101306221B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101681501B1 (ko) * 2016-06-28 2016-12-01 (주) 키글 아바타 얼굴 생성 시스템 및 방법
KR20180033934A (ko) * 2016-09-27 2018-04-04 이지후 가상 웨딩 사진 제공 장치 및 가상 웨딩 사진 제공 방법
KR101926510B1 (ko) * 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
KR20200077840A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
KR20200087338A (ko) * 2018-12-31 2020-07-21 한국과학기술연구원 행동 인식 학습용 동적 데이터베이스 구축 장치 및 방법
WO2020171429A1 (ko) * 2019-02-18 2020-08-27 삼성전자 주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
CN113096224A (zh) * 2021-04-01 2021-07-09 游艺星际(北京)科技有限公司 三维虚拟形象的生成方法及装置
KR20220040051A (ko) * 2020-09-23 2022-03-30 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법
WO2022159038A1 (en) * 2021-01-25 2022-07-28 Buzz Arvr Pte. Ltd. A system and method for generating a 3d avatar
KR20220117671A (ko) * 2021-02-17 2022-08-24 상명대학교산학협력단 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템
CN115334325A (zh) * 2022-06-23 2022-11-11 联通沃音乐文化有限公司 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN115442519A (zh) * 2022-08-08 2022-12-06 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置及计算机可读存储介质
KR20230067483A (ko) * 2021-11-09 2023-05-16 김상철 사용자가 원하는 의상 스킨이 적용된 3d 아바타를 개인 맞춤형으로 생성할 수 있는 전자 장치 및 그 동작 방법
US20230252709A1 (en) * 2013-08-09 2023-08-10 Implementation Apps Llc Generating a background that allows a first avatar to take part in an activity with a second avatar
KR102629011B1 (ko) * 2023-07-24 2024-01-25 주식회사 브이몬스터 3차원 정보를 이용한 가상 인물의 발화 비디오 생성장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743764B1 (ko) * 2015-06-29 2017-06-05 김영자 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
WO2019107639A1 (ko) * 2017-11-30 2019-06-06 주식회사 퍼니브라운 마리오네트 가수 음원발매 방법
KR102664710B1 (ko) 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009504A (ko) * 2003-07-16 2005-01-25 정보통신연구진흥원 사용자 애니메이션 캐릭터 제작 방법 및 사용자애니메이션 캐릭터 제공 서비스 시스템
KR20110020131A (ko) * 2009-08-21 2011-03-02 에스케이텔레콤 주식회사 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12094045B2 (en) * 2013-08-09 2024-09-17 Implementation Apps Llc Generating a background that allows a first avatar to take part in an activity with a second avatar
US20230252709A1 (en) * 2013-08-09 2023-08-10 Implementation Apps Llc Generating a background that allows a first avatar to take part in an activity with a second avatar
KR101681501B1 (ko) * 2016-06-28 2016-12-01 (주) 키글 아바타 얼굴 생성 시스템 및 방법
KR20180033934A (ko) * 2016-09-27 2018-04-04 이지후 가상 웨딩 사진 제공 장치 및 가상 웨딩 사진 제공 방법
KR101926510B1 (ko) * 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
KR20200077840A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
CN109727303B (zh) * 2018-12-29 2023-07-25 广州方硅信息技术有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
KR20200087338A (ko) * 2018-12-31 2020-07-21 한국과학기술연구원 행동 인식 학습용 동적 데이터베이스 구축 장치 및 방법
WO2020171429A1 (ko) * 2019-02-18 2020-08-27 삼성전자 주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
KR20220040051A (ko) * 2020-09-23 2022-03-30 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
WO2022159038A1 (en) * 2021-01-25 2022-07-28 Buzz Arvr Pte. Ltd. A system and method for generating a 3d avatar
KR20220117671A (ko) * 2021-02-17 2022-08-24 상명대학교산학협력단 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템
CN113096224A (zh) * 2021-04-01 2021-07-09 游艺星际(北京)科技有限公司 三维虚拟形象的生成方法及装置
KR20230067483A (ko) * 2021-11-09 2023-05-16 김상철 사용자가 원하는 의상 스킨이 적용된 3d 아바타를 개인 맞춤형으로 생성할 수 있는 전자 장치 및 그 동작 방법
CN115334325A (zh) * 2022-06-23 2022-11-11 联通沃音乐文化有限公司 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN115442519A (zh) * 2022-08-08 2022-12-06 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置及计算机可读存储介质
CN115442519B (zh) * 2022-08-08 2023-12-15 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置及计算机可读存储介质
KR102629011B1 (ko) * 2023-07-24 2024-01-25 주식회사 브이몬스터 3차원 정보를 이용한 가상 인물의 발화 비디오 생성장치 및 방법

Also Published As

Publication number Publication date
KR101306221B1 (ko) 2013-09-10

Similar Documents

Publication Publication Date Title
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
US12094045B2 (en) Generating a background that allows a first avatar to take part in an activity with a second avatar
US11736756B2 (en) Producing realistic body movement using body images
US11783524B2 (en) Producing realistic talking face with expression using images text and voice
US11734866B2 (en) Controlling interactive fashion based on voice
KR101894573B1 (ko) 3d 디지털 액터형 스마트폰 인터페이스 운용시스템
CN114930399A (zh) 使用基于表面的神经合成的图像生成
US11983826B2 (en) 3D upper garment tracking
TWI255141B (en) Method and system for real-time interactive video
US11960792B2 (en) Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
US20230066179A1 (en) Interactive fashion with music ar
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
EP4399686A1 (en) Controlling interactive fashion based on facial expressions
KR20180071833A (ko) 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템
JP7278307B2 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
EP4315325A1 (en) Neural networks for changing characteristics of vocals
WO2022256167A1 (en) Video reenactment taking into account temporal information
WO2024086534A1 (en) Stylizing a whole-body of a person
US11836905B2 (en) Image reenactment with illumination disentanglement
WO2023121896A1 (en) Real-time motion and appearance transfer
US20240087266A1 (en) Deforming real-world object using image warping
KR100965622B1 (ko) 감성형 캐릭터 및 애니메이션 생성 방법 및 장치
CN118536616A (zh) 具有用于合成图像生成的图像编码器的机器学习扩散模型
WO2024058966A1 (en) Deforming real-world object using image warping
CN116977030A (zh) 一种基于人工智能的虚拟现实人体模型生成及交互方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee