KR20180098507A

KR20180098507A - 애니메이션 생성 방법 및 애니메이션 생성 장치

Info

Publication number: KR20180098507A
Application number: KR1020180100140A
Authority: KR
Inventors: 전수영; 권지용
Original assignee: 스타십벤딩머신 주식회사
Priority date: 2015-12-08
Filing date: 2018-08-27
Publication date: 2018-09-04
Anticipated expiration: 2036-12-08
Also published as: WO2017099500A1; KR20170067673A; KR102012405B1

Abstract

본 발명은 애니메이션 생성 방법 및 애니메이션 생성 장치에 관한 것으로서, 구체적으로는 사용자를 촬영한 깊이 영상에 기초하여 3차원 애니메이션을 생성하는 애니메이션 생성 방법 및 애니메이션 생성 장치에 관한 것이다. 본 발명의 제 1 측면에 따르면 애니메이션 생성 장치는, 사람 및 전경이 촬영된 깊이 영상을 획득하는 깊이영상획득부 및 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 애니메이션생성부를 포함할 수 있으며, 본 발명의 일 실시예에 따르면 사용자를 촬영한 깊이 영상에 기초하여 3차원 캐릭터 및 3차원 배경을 배치하여 애니메이션을 생성함으로써 빠르고 자연스러운 AR환경을 제공할 수 있다.

Description

애니메이션 생성 방법 및 애니메이션 생성 장치 {METHOD AND APPARATUS FOR GENERATING ANIMATION}

본 발명은 애니메이션 생성 방법 및 애니메이션 생성 장치에 관한 것으로서, 구체적으로는 사용자를 촬영한 깊이 영상에 기초하여 3차원 애니메이션을 생성하는 애니메이션 생성 방법 및 애니메이션 생성 장치에 관한 것이다.

최근 스마트 TV, 스마트폰 등 디지털 기기의 발달로 미디어 콘텐트의 영역 또한 확장되고 있다. 그 일례로 깊이 영상을 획득하여 사용자에게 실감나는 입체 영상을 제공하는 기술이 상용화 단계에 있다.

관련하여 한국 공개특허 제10-2015-0139831호에 따르면 원거리에 위치하는 피사체의 깊이 영상을 획득할 수 있는 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치가 개시되어 있다. 그러나 종래 기술에 비추어볼 때, 깊이 영상을 이용하여 제작된 콘텐트가 한정적이라는 아쉬움이 있다. 따라서 이와 같은 문제점을 해결하고자 하는 요구가 있어 왔다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명의 일 실시예는 사람을 촬영한 깊이 영상에 기초하여 3차원 애니메이션을 생성하는 애니메이션 생성 방법 및 애니메이션 생성 장치를 제공하는 데에 그 목적이 있다.

본 발명의 일 실시예는 단일 깊이 영상을 활용하여 자연스러운 3차원의 애니메이션 영상을 생성하는 데에 그 목적이 있다.

본 발명의 일 실시예는 획득한 깊이 영상에 기초하여 사람의 위치, 관절 정보, 전경의 3차원 위치 및 카메라 위치를 통합적으로 처리하여 즉각적으로 애니메이션을 생성하는 데에 그 목적이 있다.

본 발명의 일 실시예는 사용자를 촬영한 깊이 영상에 기초하여 3차원 캐릭터 및 3차원 배경을 배치하여 애니메이션을 생성함으로써 빠르고 자연스러운 AR환경을 제공하는 데에 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면 애니메이션 생성 장치는, 사람 및 전경이 촬영된 깊이 영상을 획득하는 깊이영상획득부 및 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 애니메이션생성부를 포함할 수 있다.

본 발명의 제2 측면에 따르면, 애니메이션 생성 방법은, 사람 및 전경이 촬영된 깊이 영상을 획득하는 단계와 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 단계를 포함할 수 있다.

본 발명의 제 3 측면에 따르면, 애니메이션 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체로서, 애니메이션 생성 방법은, 사람 및 전경이 촬영된 깊이 영상을 획득하는 단계와 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 단계를 포함할 수 있다.

본 발명의 제4측면에 따르면, 애니메이션 생성 장치에 의해 수행되며, 애니메이션 생성 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램으로서, 애니메이션 생성 방법은, 사람 및 전경이 촬영된 깊이 영상을 획득하는 단계와 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 단계를 포함할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 사람을 촬영한 깊이 영상에 기초하여 3차원 애니메이션을 생성하는 애니메이션 생성 방법 및 애니메이션 생성 장치를 제공할 수 있다.

또한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 단일 깊이 영상을 활용하여 자연스러운 3차원의 애니메이션 영상을 생성할 수 있다.

그리고 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 획득한 깊이 영상에 기초하여 사람의 위치, 관절 정보, 전경의 3차원 위치 및 카메라의 3차원 위치를 통합적으로 처리하여 즉각적으로 애니메이션을 생성할 수 있다.

나아가 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 사용자를 촬영한 깊이 영상에 기초하여 3차원 캐릭터 및 3차원 배경을 배치하여 애니메이션을 생성함으로써 빠르고 자연스러운 AR환경을 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 애니메이션 생성 장치의 구성을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 애니메이션 생성 장치의 구성을 개략적으로 도시한 블록도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 애니메이션 생성 방법을 설명하기 위한 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)를 개략적으로 도시한 구성도이다. 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)는 깊이 영상을 획득하고 획득한 깊이 영상에 기초하여 3차원 애니메이션을 생성할 수 있다. 구체적으로는 애니메이션 생성 장치(100)는 사람을 촬영한 깊이 영상에 기초하여 캐릭터 및 배경을 배치함으로써 3차원 애니메이션을 생성할 수 있다.

도 1을 참고하면 애니메이션 생성 장치(100)는 카메라(10) 및 사용자 단말(20)을 포함할 수 있고, 애니메이션 생성 장치(100)에 포함된 각 구성요소는 네트워크를 통해 통신할 수 있다.

여기서 네트워크(N)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

또한 애니메이션 생성 장치(100)에 포함되는 카메라(10)는 깊이 영상을 획득할 수 있는 임의의 장치 모두가 가능하며, 예를 들어, Infrared pattern projection 기반의 깊이 영상 카메라(10)가 장착된 Microsoft®사의 Kinect 1, Kinect 2, Asus®사의 Xtion pro, Intel®사의 RealSense와 같은 PC용 NUI 기기, Occipital®사의 Structure Sensor, Google®사의 Project Tango 타블렛 등과 같은 모바일용 NUI 기기 등으로 구현될 수 있다. 또한 카메라(10)는 둘 이상의 카메라가 집적되어 깊이 영상을 획득할 수 있는 어레이 카메라(Array Camera)로 구현될 수도 있다.

그리고 사용자 단말(20)은 깊이 영상에 기초하여 3차원 애니메이션을 생성하기 위한 정보처리장치이며, 출력결과물로서 3차원의 애니메이션 영상을 표시할 수 있는 인터페이스를 포함할 수 있다. 또한 사용자 단말(20)은 카메라(10)와 통신하기 위한 클라이언트 프로그램이 설치된 정보처리장치일 수 있다.

여기서 사용자 단말(20)은, 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 이때, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant),GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.

다음으로 도 2를 참고하면 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)는 깊이영상획득부(101), 실루엣영상생성부(102), 위치인식부(103), 신체인식부(104), 위치연산부(105) 및 애니메이션생성부(106)를 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 깊이영상획득부(101)는 '사람' 및 '전경'이 촬영된 깊이 영상을 획득할 수 있다. 이때 깊이 영상의 획득은 상술한 카메라(10)를 통해 이루어질 수 있다.

여기서 '사람'은 본 발명의 일 실시예를 통해 생성된 애니메이션을 제공받는 사용자 자신을 포함할 수 있다. 즉, 깊이영상획득부(101)는 사용자가 촬영된 깊이 영상을 획득할 수 있다. 또한 '전경'은 촬영된 피사체 중 사람을 제외한 주변 공간을 말한다. 따라서 애니메이션 생성 장치(100)는 사용자와 사용자가 존재하는 공간인 전경이 함께 촬영된 깊이 영상에 기초한 3차원 애니메이션을 제공할 수 있다.

한편 실루엣영상생성부(102)는 깊이 영상에서 사람의 실루엣을 인식하고, 인식한 사람의 실루엣에 기초하여 실루엣 영상을 생성할 수 있다. 이때 실루엣영상생성부(102)는 시각인식 알고리즘(Visual Recognition Algorithm)을 사용하여 사람의 실루엣을 인식하고 실루엣 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 실루엣영상생성부(102)는 시각인식 알고리즘을 통해 깊이 영상을 분석하여 사람의 형체를 인식하고, 사람의 형체와 전경을 구분함으로써 사람의 형체에 해당하는 영역을 구획할 수 있다. 이때 실루엣영상생성부(102)는 구획된 사람의 형체에 해당하는 영역을 실루엣으로 인식할 수 있으며, 또한 실루엣영상생성부(102)는 실루엣이 시각적으로 처리된 영상, 예를 들어, 실루엣의 테두리 생성, 실루엣에 임의의 색을 지정, 실루엣에 별도의 레이어를 겹치는 등의 처리가 된 영상을 실루엣 영상으로 생성할 수 있다.

또한 위치인식부(103)는 깊이 영상 및 실루엣 영상 중 적어도 하나에 기초하여 사람의 영역 및 전경의 영역을 인식할 수 있다. 여기서 사람의 영역은 깊이 영상에 있어서 사람이 표시된 영역이며, 전경의 영역은 깊이 영상에 있어서 전경이 표시된 영역을 말한다. 예를 들어, 위치인식부(103)는 깊이 영상을 실루엣의 내부, 즉, 사람이 위치한 영역과 실루엣의 외부, 즉, 사람이 위치하지 않은 전경의 영역으로 구분할 수 있다.

그리고 신체인식부(104)는 깊이 영상에 기초하여 사람이 위치한 영역을 파악하고, 신체를 인식할 수 있다. 이때 신체인식부(104)는 깊이 영상과 함께 실루엣 영상을 참고할 수 있다.

예를 들어, 신체인식부(104)는 실루엣 영상에 기초하여 깊이 영상에서 사람의 영역을 파악하여 사람의 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나를 인식할 수 있다. 이때 얼굴 특징점은 눈, 코, 입 등 얼굴을 구성하는 주요 부위 상의 특정 지점을 포함할 수 있다.

또한 신체인식부(104)는 관절 위치 및 얼굴 위치와 관련하여 카메라(10)를 기준으로 하는 3차원의 위치를 연산할 수 있으며, 얼굴 특징점과 관련하여서는 카메라(10)를 기준으로 한 얼굴 특징점의 3차원의 위치를 연산할 수 있다. 여기서 3차원의 위치는 3축을 갖는 공간 상의 위치를 말하며, 깊이 영상에 포함된 깊이 정보에 기초하여 연산할 수 있다.

그리고 신체인식부(104)는 인식한 사람의 관절 위치, 얼굴 위치 및 얼굴 특징점에 기초하여 사람의 관절의 움직임 및 얼굴의 움직임을 추적할 수 있다.

또한 위치연산부(105)는 깊이 영상 및 실루엣 영상 중 적어도 하나에 기초하여 사람이 위치하지 않은 전경의 영역을 파악하고, 전경에 포함된 구조물의 3차원 위치를 연산할 수 있다. 이때 위치연산부(105)는 전경의 구조물의 3차원 위치를 연산함에 있어서 SfM(Structure-from-Motion) 알고리즘을 기반할 수 있다.

더불어 위치연산부(105)는 깊이 영상 및 실루엣 영상 중 적어도 하나에 기초하여 깊이 영상을 촬영한 카메라(10)의 3차원 위치를 연산할 수 있다.

이때 애니메이션생성부(106)는, 상술한 바와 같이 깊이 영상을 획득하고 처리하는 각 부와 연결되어 3차원 애니메이션을 생성할 수 있다. 관련한 구체적인 실시예는 다음과 같다.

본 발명의 실시예에 따르면 애니메이션생성부(106)는 깊이영상획득부(101)가 획득한 깊이 영상에 기초하여 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성할 수 있다. 여기서 캐릭터 및 배경은 2차원 또는 3차원 일러스트 등으로 제작된 컴퓨터 그래픽 객체, 실물을 촬영한 실사 객체일 수 있으며, 실시예에 따라 깊이영상획득부(101)가 획득한 깊이 영상에 포함된 전경이 배경으로 사용되는 3차원 애니메이션을 생성할 수 있다. 즉, 본 발명의 일 실시예에 따르면 애니메이션생성부(106)가 생성하는 3차원 애니메이션은 사람을 대체하는 3차원 캐릭터 및 깊이 영상의 전경이 배치되거나 3차원 캐릭터 및 2차원 배경이 배치되거나 3차원 캐릭터 및 3차원 배경이 배치되는 등 다양한 실시예로 구현될 수 있다. 또한 3차원 그래픽 객체 또는 실사 객체는 깊이 정보를 가질 수 있다. 이때 애니메이션생성부(106)는 배치되는 객체에 대응되는 깊이 정보에 기초하여 3차원 애니메이션을 제공할 수 있다.

또한 애니메이션생성부(106)는 실루엣영상생성부(102)가 생성한 실루엣 영상에 기초하여 3차원 캐릭터 및 3차원 배경을 배치할 수 있다.

구체적으로 애니메이션생성부(106)는 위치인식부(103)가 인식한 사람의 위치 및 전경의 위치에 기초하여 캐릭터 및 배경을 배치할 수 있는데, 가령 깊이 영상에 기초하여 실루엣 영상에 포함된 실루엣의 내부, 즉, 사람이 위치한 구역에 3차원 캐릭터를 배치하고, 실루엣의 외부, 즉, 사람이 위치하지 않은 구역에 3차원 배경을 배치할 수 있다.

나아가 애니메이션생성부(106)는 신체인식부(104)가 인식한 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나에 기초하여 3차원 캐릭터를 배치할 수 있다. 즉, 각 관절, 예를 들어, 목, 어깨, 팔꿈치, 허리, 고관절, 무릎 등에 대응되도록 3차원 캐릭터의 각 관절을 위치시킬 수 있고, 얼굴의 위치 및 얼굴 특징점, 예를 들어, 양 눈, 코, 입, 양 귀 등에 대응되도록 3차원 캐릭터의 얼굴을 위치시킬 수 있다.

이때 애니메이션생성부(106)는 신체인식부(104)가 추적한 관절의 움직임 및 얼굴의 움직임에 기초하여 연산된 애니메이션을 3차원 캐릭터에 적용할 수 있다. 이에 따라 3차원 캐릭터는 깊이 영상에 포함된 사람의 움직임에 따른 움직임을 갖는 애니메이션으로 구현될 수 있다.

또한 애니메이션생성부(106)는 위치연산부(105)가 연산한 전경의 구조물의 3차원 위치에 기초하여 3차원 배경을 배치할 수 있다. 이때 '전경의 구조물'은 전경 영역에 포함된 사람 이외의 피사체를 말한다.

상술한 실시예와 관련하여 애니메이션생성부(106)는 기 설정된 3차원 캐릭터 및 3차원 배경을 배치함으로써 3차원 애니메이션을 즉각적으로 생성할 수 있다.

나아가 애니메이션생성부(106)는 위치연산부(105)가 연산한 카메라(10)의 3차원 위치에 버추얼 카메라를 위치시키고, 버추얼 카메라의 위치에 기초하여 3차원 캐릭터 및 3차원 배경이 배치된 3차원 장면을 렌더링할 수 있다. 본 발명의 일 실시예에 따라 애니메이션생성부(106)는 3차원 캐릭터 및 3차원 배경에 대응되는 깊이 정보에 기초하여 3차원 애니메이션을 생성할 수 있음은 상술한 바 있다.

따라서 애니메이션생성부(106)에 의해 렌더링된 3차원 애니메이션은 사용자 대신 3차원 캐릭터가 포함될 수 있고, 현실 전경이 아닌 가상의 3차원 배경이 포함될 수 있다.

한편 애니메이션생성부(106)는 렌더링된 3차원 애니메이션을 카툰렌더링 등의 과정을 거쳐 2차원화하여 사용자에게 제공할 수도 있다.

본 발명의 실시예와 관련하여 종래의 PC용 NUI 장치를 이용한 기술은, TV 혹은 컴퓨터 앞에 고정된 형태로 사용되어 왔고, 또한 사용자의 위치 및 관절 정보/얼굴 정보를 인식하는데 초점을 맞추고 있었다.

반면, 종래의 모바일 기기용 NUI 장치를 이용한 기술은, 전경의 3차원 위치 및 카메라(10) 위치를 인식하여 이를 AR 환경에 활용하는 데 초점을 맞추고 있다.

본 발명의 일실시예에 따른 애니메이션 생성 방법은, PC용 NUI 장치를 이용한 기술 및 모바일 기기용 NUI장치를 이용한 기술을 결합하여, 사용자의 관절 정보/얼굴 정보 및 전경 정보를 통합적으로 인식함에 따라 즉각적인 애니메이션 제작을 가능하게 한다.

다음은 도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 애니메이션 생성 방법을 설명한다. 도 3 내지 도 5는 본 발명의 일 실시예에 따른 애니메이션 생성 방법을 설명하기 위한 순서도이다.

후술하는 애니메이션 생성 방법은, 도 1에 도시된 애니메이션 생성 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 2에 도시된 시스템에 관하여 이상에서 기술한 내용은 후술하는 애니메이션 생성 방법에도 적용될 수 있다.

먼저 도 3에 따르면 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)는 사람 및 전경이 촬영된 깊이 영상을 획득할 수 있고(S31), 획득한 깊이 영상에 기초하여 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성할 수 있다(S32).

여기서 도 4를 참고하면, 애니메이션 생성 장치(100)는 3차원 애니메이션을 생성(S32)함에 있어서 깊이 영상에서 사람의 실루엣을 인식하여 실루엣 영상을 생성하고(S41), 실루엣 영상에 기초하여 캐릭터 및 배경을 배치하여 3차원 애니메이션을 생성할 수 있다. 이때 배치되는 캐릭터 및 배경은 각각 3차원 캐릭터 및 3차원 배경일 수 있다(S42).

이때 실루엣 영상에 기초하여 3차원 캐릭터 및 3차원 배경을 배치하여 3차원 애니메이션을 생성(S42)하는 단계와 관련한 본 발명의 실시예로서 도 5를 참고하면, 애니메이션 생성 장치(100)는 실루엣 영상에 기초하여 사람의 위치 및 전경의 위치를 인식할 수 있다(S51).

나아가 애니메이션 생성 장치(100)는 사람의 위치에 기초하여 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나를 인식하고, 전경의 위치에 기초하여 전경의 구조물의 3차원 위치 및 깊이 영상을 촬영한 카메라(10)의 3차원 위치를 연산할 수 있다(S52). 이를 위해 애니메이션 생성 장치(100)는 실루엣 영상 및 깊이 영상 중 적어도 하나를 고려할 수 있으며, 이후 서술하는 각 단계에서 애니메이션 생성 장치(100)는 실루엣 영상 및 깊이 영상 중 적어도 하나를 고려하여 각 단계를 수행할 수 있다.

또한 애니메이션 생성 장치(100)는 사람의 위치 및 전경의 위치에 기초하여 3차원 캐릭터 및 3차원 배경을 배치하며(S53), 이때 애니메이션 생성 장치(100)는 관절의 움직임 및 얼굴의 움직임에 기초하여 애니메이션을 연산하여 적용할 수 있다(S54).

다음으로 애니메이션 생성 장치(100)는 카메라(10)의 3차원 위치에 버추얼 카메라를 위치시키고 3차원 캐릭터 및 상기 3차원 배경이 배치된 3차원 장면을 렌더링하여 3차원 애니메이션을 생성할 수 있다(S55).

상술한 바와 같이 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)는 3차원 애니메이션을 생성함에 있어서 깊이 영상 및 실루엣 영상에 기초할 수 있다. 관련하여 도 6을 참고하면, 애니메이션 생성 장치(100)는 깊이 영상 및 깊이 영상에 기초하여 생성된 실루엣 영상으로부터 사용자 관절 구조, 얼굴 위치 및 배경 구조물을 인식하는 일 실시예가 도시되어 있다. 이때 애니메이션 생성 장치(100)는 사용자 관절 구조로부터 사용자 관절을 추적하고, 얼굴 위치로부터 얼굴 움직임을 추적하여 3차원 캐릭터를 배치하고, 전신 및 얼굴의 애니메이션을 적용할 수 있다. 또한 배경 구조물로부터 카메라 위치를 추적하고, 인식한 배경 구조물 및 카메라 위치에 기초하여 3차원 배경 및 버추얼 카메라를 적용함으로써 3차원 애니메이션을 생성할 수 있다.

이때 촬영된 사람이 사용자일 때, 애니메이션 생성 장치(100)는 사용자를 3차원 캐릭터로, 사용자 주변의 환경을 3차원 배경으로 대체한 애니메이션을 생성하여 출력함으로써 즉각적인 AR 환경을 제공할 수 있다.

즉, 본 발명의 일 실시예에 따른 애니메이션 생성 장치(100)는 사용자가 촬영된 깊이 영상에 기초하여 실루엣 영상을 생성하고, 사람의 관절의 3차원 위치, 얼굴 특징점의 3차원 위치, 배경 구조물의 3차원 위치 및 카메라(10)의 3차원 위치를 통합적으로 처리하여 애니메이션을 생성함으로써 사용자에게 자연스럽고 즉각적인 AR 환경을 제공할 수 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다

또한 본 발명의 일 실시예에 따르는 애니메이션 생성 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 상품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 본 발명의 일 실시예에 따르는 애니메이션 생성 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 애니메이션 생성 장치
10: 카메라 20: 사용자 단말

Claims

사람 및 전경이 촬영된 깊이 영상을 획득하는 깊이영상획득부;
상기 깊이 영상에서 상기 사람의 실루엣을 인식하여 실루엣 영상을 생성하는 실루엣영상생성부;
상기 깊이 영상에 기초하여 상기 사람의 영역 및 상기 전경의 영역을 인식하는 위치인식부;
상기 깊이 영상에 기초하여 상기 사람의 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나를 인식하는 신체인식부;
상기 사람에 대응하는 캐릭터 및 상기 전경에 대응하는 배경을 배치하여 3 차원 애니메이션을 생성하되, 상기 실루엣 영상, 상기 사람의 영역 및 상기 전경의 영역에 기초하여 3 차원 캐릭터 및 3 차원 배경을 배치하여 3 차원 애니메이션을 생성하는 애니메이션생성부; 및
상기 깊이 영상에 기초하여 상기 전경의 구조물의 3 차원 위치 및 상기 깊이 영상을 촬영한 카메라의 3 차원 위치를 연산하는 위치연산부를 포함하고,
상기 애니메이션생성부는,
상기 관절 위치, 상기 얼굴 위치 및 상기 얼굴 특징점 중 적어도 하나에 대응되도록 상기 3 차원 캐릭터를 배치하되, 배치되는 객체에 대응되는 깊이 정보 및 연산한 상기 전경의 구조물의 3 차원 위치에 기초하여 상기 3 차원 캐릭터 및 상기 3 차원 배경을 배치하고, 상기 카메라의 3 차원 위치에 버추얼 카메라를 위치시키고, 상기 3 차원 캐릭터 및 상기 3 차원 배경이 배치된 3 차원 장면을 렌더링하여 AR 환경을 위한 3 차원 애니메이션을 생성하는, 애니메이션 생성 장치.
제 1 항에 있어서,
상기 신체인식부는,
인식한 상기 관절 위치, 상기 얼굴 위치 및 상기 얼굴 특징점에 기초하여 상기 사람의 관절의 움직임 및 얼굴의 움직임을 추적하고,
상기 애니메이션생성부는,
상기 관절의 움직임 및 상기 얼굴의 움직임에 기초하여 연산된 애니메이션을 상기 3 차원 캐릭터에 적용하는, 애니메이션 생성 장치.
애니메이션 생성 장치에 의해 수행되는 애니메이션 생성 방법으로서,
사람 및 전경이 촬영된 깊이 영상을 획득하는 단계; 및
상기 사람에 대응하는 캐릭터 및 상기 전경에 대응하는 배경을 배치하여 3 차원 애니메이션을 생성하는 단계를 포함하고,
상기 3 차원 애니메이션을 생성하는 단계는,
상기 깊이 영상에서 상기 사람의 실루엣을 인식하여 실루엣 영상을 생성하는 단계;
상기 깊이 영상에 기초하여 상기 사람의 영역 및 상기 전경의 영역을 인식하는 단계; 및
상기 실루엣 영상, 상기 사람의 영역 및 상기 전경의 영역에 기초하여 3 차원 캐릭터 및 3 차원 배경을 배치하여 3 차원 애니메이션을 생성하는 단계를 포함하고,
상기 3 차원 캐릭터 및 3 차원 배경을 배치하여 3 차원 애니메이션을 생성하는 단계는,
상기 깊이 영상에 기초하여 상기 사람의 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나를 인식하는 단계; 및
인식한 상기 관절 위치, 상기 얼굴 위치 및 상기 얼굴 특징점 중 적어도 하나에 대응되도록 상기 3 차원 캐릭터를 배치하되, 상기 깊이 영상에 기초하여 상기 전경의 구조물의 3 차원 위치 및 상기 깊이 영상을 촬영한 카메라의 3 차원 위치를 연산하고, 배치되는 객체에 대응되는 깊이 정보 및 연산한 상기 전경의 구조물의 3 차원 위치에 기초하여 상기 3 차원 캐릭터 및 상기 3 차원 배경을 배치하고, 상기 카메라의 3 차원 위치에 버추얼 카메라를 위치시키고, 상기 3 차원 캐릭터 및 상기 3 차원 배경이 배치된 3 차원 장면을 렌더링하여 AR 환경을 위한 3 차원 애니메이션을 생성하는 단계를 포함하는, 애니메이션 생성 방법.
제 3 항에 있어서,
상기 사람의 관절 위치, 얼굴 위치 및 얼굴 특징점 중 적어도 하나를 인식하는 단계는,
인식한 상기 관절 위치, 상기 얼굴 위치 및 상기 얼굴 특징점 중 적어도 하나에 기초하여 상기 사람의 관절의 움직임 및 얼굴의 움직임을 추적하는 단계를 더 포함하고,
상기 3 차원 캐릭터 및 3 차원 배경을 배치하여 3 차원 애니메이션을 생성하는 단계는,
상기 관절의 움직임 및 상기 얼굴의 움직임에 기초하여 연산된 애니메이션을 상기 3 차원 캐릭터에 적용하는 단계를 더 포함하는, 애니메이션 생성 방법.
제 3 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
애니메이션 생성 장치에 의해 수행되며, 제 3 항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.