KR20240086819A - 캐릭터 애니메이션 생성방법 및 장치 - Google Patents

Abstract

본 발명은 인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장하고, 상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성하고, 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 캐릭터 애니메이션 생성방법 및 장치에 관한 것이다.

Description

캐릭터 애니메이션 생성방법 및 장치{The Apparatus and Method for generating the character animation}

본 발명은 캐릭터 애니메이션 생성방법 및 장치에 관한 것으로서, 심층인공신경망을 이용하여 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 추출하여 애니메이션 정보를 생성하고, 상기 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 방법 및 장치를 제공하는 것에 관한 것이다.

현재 미디어 및 인터넷 관련 기술의 발달로 인하여 컴퓨터 사용자에게 편리하고 컴퓨터 사용자의 이용 효과를 증진시킬 수 있도록 각종 동영상이 구현되는 웹페이지를 구성하는 콘텐츠 구현 방법이 개발되어 실시되고 있으며, 이로 인하여 정적인 이미지 형태에서 벗어나 동적인 이미지가 포함된 형태로 콘텐츠를 구성하여 정보를 제공함으로써 컴퓨터 이용자의 관심과 만족도를 증대시키고 있다.

최근 들어 전기전자 기술 및 정보통신 기술의 발전과 스마트폰, 스마트 패드를 비롯한 각종 스마트 기기의 대중적 보급에 따라 직관적인 인터페이스 및 터치스크린 기반으로 된 다양한 형태의 편의기기가 일상생활에 밀접한 영향을 주고 있다. 이에 따라 이용자들은 새롭게 변화되는 미디어 디스플레이 환경 속에서 좀 더 새로운 것을 요구하는 한편, 빠른 적응력으로 새로운 편의기기들을 유용하게 이용하고 있다.

영상 컨텐츠의 캐릭터는 사전 제작에 의해 캐릭터의 몸동작과 얼굴 표정을 생성하기 때문에, 캐릭터는 정형화된 패턴, 즉 정해진 시나리오대로 동작을 연출하는 수동적인 캐릭터 기능만이 가능한 한계가 있으며, 사용자의 흥미를 유발하는데 한계가 따르는 문제점이 있었다.

이에 따라 최근 날로 발전하고 있는 미디어 디스플레이 환경에서 사용자가 직접 그린 캐릭터 그대로 반영되면서 그 캐릭터에 맞는 자연스러운 움직임을 구현할 수 있는 콘텐츠의 개발이 필요한 실정이다.

대한민국 등록번호공보 10-0301962(2001.09.26. 공고) 대한민국 공개특허공보 10-2002-0049384(2002.06.26. 공개) 대한민국 공개특허공보 10-2014-0061951(2014.05.22. 공개)

본 발명은 인공신경망 소프트웨어가 적용되고, 휴먼포즈 생성부와, 레이블 맵 생성부, 인체레이블 맵 생성부, 통신부 및 후면영상처리부를 포함하여 캐릭터 애니메이션 생성방법 및 장치를 제공하는 것을 과제로 한다.

상기 과제를 해결하기 위한 캐릭터 애니메이션 생성방법은,

인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 단계; 상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계; 및 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계는, 상기 제 1영상정보에 정면의 인체 영상이 포함된 경우, 상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하고, 상기 휴먼포즈 데이터를 관절정보로 저장하는 단계; 상기 제 1영상정보로부터 레이블 맵을 생성하고, 상기 레이블 맵을 레이블 맵 정보로 저장하는 단계; 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 제 1인체 레이블 맵을 제 1인체 레이블 맵 정보로 저장하는 단계; 상기 제 1인체 레이블 맵 정보로 저장하는 단계를 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 인체 레이블 맵을 인체 레이블 맵 정보로 저장하는 단계;를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 제 1 영상정보를 이용하여 상기 인체형 그림영역의 후면 영상을 추정하고, 상기 후면 영상에 대한 후면영상정보를 생성하는 단계;를 더 포함하고, 상기 후면영상 정보를 생성하는 단계는, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하여 상기 비인체 레이블 맵을 비인체 레이블 맵 정보로 저장하고, 상기 인체 레이블 맵 정보와 상기 비인체 레이블 맵 정보로 구성되는 제 2영상 정보를 생성하는 단계; 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하는 단계; 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하는 단계; 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하는 단계; 상기 제 1서브패치군을 생성하는 단계를 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 수행하여, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하는 단계; 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하는 단계; 상기 제 1평균서브패치군을 생성하는 단계를 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 단계;

상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계; 및 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계;를 포함하고, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 한다.

또한, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계는,

상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, T개의 제 2후면서브패치군을 생성하여, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 것을 특징으로 한다.

또한, 상기 복수개의 제 1인접 평균서브패치군은, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고, 상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고,

상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합인 것을 특징으로 한다.

또한, 캐릭터 애니메이션 생성장치는 인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 영상부; 상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하고, 상기 휴먼포즈 데이터를 관절정보로 저장하는 휴먼포즈 생성부; 상기 제 1영상정보로부터 레이블 맵을 생성하고, 상기 레이블 맵을 레이블 맵 정보로 저장하는 레이블 맵 생성부; 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 제 1인체 레이블 맵을 제 1인체 레이블 맵 정보로 저장하고, 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 인체 레이블 맵을 인체 레이블 맵 정보로 저장하는 인체레이블 맵 생성부; 상기 제 1영상정보의 후면영상을 추정하여 상기 후면 영상정보를 생성하고, 상기 제 1영상정보와 상기 후면 영상정보를 합성하여 후면보정 영상정보를 생성하고, 상기 캐릭터 후면보정 영상정보를 저장하는 후면영상처리부; 및 단말로부터 캐릭터 애니메이션 생성을 수신하는 통신부;를 포함하고, 상기 인체 레이블 맵 생성부는, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하여 상기 비인체 레이블 맵을 비인체 레이블 맵 정보로 저장하고, 상기 인체 레이블 맵 정보와 상기 비인체 레이블 맵 정보로 구성되는 제 2영상 정보를 생성하고, 상기 후면영상처리부는, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 패치 맵 생성부를 포함하고, 상기 패치 맵 생성부는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하고, 상기 복수개의 제 1인접 평균서브패치군은, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고, 상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합이고, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있고, 상기 영상부는, 상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성하고, 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 것을 특징으로 한다.

또한, 캐릭터 애니메이션 생성장치는 로드밸런서부를 더 포함하고, 상기 로드밸런서부는 단말로부터 캐릭터 애니메이션 생성요청 정보가 포함된 제 1프레임이 수신되면, 상기 영상부, 상기 휴먼포즈 생성부, 상기 레이블 맵 생성부, 상기 인체레이블 맵 생성부, 및 상기 후면 영상처리부의 각각의 처리용량을 기초하여 우선순위를 부여하여 캐릭터 애니메이션을 생성하는 것을 특징으로 한다.

본 발명은 2D이미지 또는 스케치 그림으로부터 관절정보, 인체부위별 정보를 획득하여 움직이는 영상을 실시간으로 제공할 수 있는 캐릭터 애니메이션 생성방법 및 장치를 제공하는 장점이 있다.

또한, 본 발명은 2D이미지 또는 스케치 그림으로부터 관절정보, 인체부위별 정보 및 후면영상정보를 획득하여 3차원 영상을 실시간으로 제공할 수 있는 캐릭터 애니메이션 생성방법 및 장치를 제공하는 장점이 있다.

도 1은 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법을 나타내는 흐름도이다.
도 2는 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법으로 인체형 그림영역이 추출된 일 예시도이다.
도 3은 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법으로 인체형 그림영역 및 관절정보가 추출된 일 예시도이다.
도 4는 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법의 상기 제 1 영상정보와, 상기 관절정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계(S120)의 세부 흐름도이다.
도 5는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표에 대한 도면이다.
도 6은 본 발명에 따른 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표가 적용된 이미지 나타내는 도면이다.
도 7은 본 발명에 일실시예에 따른 관절정보 및 인체레이블 맵을 포함하는 애니메이션 생성정보가 적용되어 구현된 캐릭터 애니메이션을 나타내는 도면이다.
도 8은 본 발명에 일실시예에 따른 후면 영상정보를 생성하는 흐름도이다.
도 9는 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다.
도 10은 본 발명에 일시예에 따른 인체 레이블 맵과 비인체 레이블 맵을 나타내는 일 예시도이다.
도 11은 본 발명에 일시예에 따른 제 1입력영상과, 제 2입력영상이 복수개의 패치들로 분리되고, 생성되는 후면 서브패치맵을 나타내는 개념도이다.
도 12는 본발명에 일시예에 따른 제 1입력영상의 분리된 제 1영상패치를 서브패치로 분리된 서브패치군을 나타내는 개념도이다.
도 13은 본발명에 일시예에 따른 서브패치군을 구성하는 서브패치의 픽셀 정보 및 평균 연산을 수행하여 제 1평균서브패치군을 생성하는 개념도이다.
도 14는 본발명에 일시예에 따른 제 1평균서브패치군과, 제 1인접평균서브패치군에 제 1 및 제 2 가중치를 부여하는 개념도이다.
도 15 본발명에 일시예에 따른 제 1 및 제 2 가중치를 부여하여 후면서브패치 맵을 생성하는 개념도이다.
도 16 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 장치를 나타내는 도면이다.
도 17은 본 발명에 따른 캐릭터 애니메이션 생성 방법을 나타내는 흐름도이다.
도 18은 본 발명에 따른 캐릭터 애니메이션 생성 방법의 입력영상, 생성된 휴먼포즈 정보, 레이블 맵, 인체 레이블 맵 및 3D 메쉬 정보를 송수신하기 위한 데이터 프레임 개념도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법을 나타내는 흐름도이다. 도 1을 참조하면, 인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 단계(S110), 상기 제 1 영상정보를 이용하여 관절정보를 추출하고, 상기 제 1 영상정보와, 상기 관절정보가 포함된 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계(S120), 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 단계(S140)를 포함하여 구성된다. 또한, 상기 제 1 영상정보를 이용하여 상기 인체형 그림영역의 후면 영상을 추정하여 상기 후면 영상정보를 생성하는 단계(S130)를 더 포함하여 구성될 수 있다.

도 2는 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법으로 인체형 그림영역이 추출된 일 예시도이다. 도 3은 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법으로 인체형 그림영역 및 관절정보가 추출된 일 예시도이다.

도 1 내지 도 3를 참조하여, 인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고 상기 인체형 그림영역 정보, 즉, 레이블 맵 정보를 포함하는 제 1영상정보로 저장하는 단계(S110)에 대해 기술한다.

인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 단계(S110)는 인체형 그림영역과 배경영역을 독취하는 단계 및 인체형 그림영역 추출하는 단계를 포함하여 구성된다.

인체형 그림영역과 배경영역을 독취하는 단계는 카메라 이미지 센서 등을 통해 용지의 배경과 스케치 그림을 이미지 데이터로 읽어들이는데, 이때 사전에 정의된 스케치그림 인식 영역에 스케치그림 이미지가 인식되는 경우, 상기 스케치 그림 중 인체형 그림영역과 배경영역를 포함하는 전체 이미지에 대한 2D이미지 데이터로 읽어들이도록 이루어진다. 일 예로 상기 스케치그림 독취 단계(S210)에서 이미지 데이터의 독취는 카메라 이미지 센서, 예를 들면 광학 영상의 강약과 색채를 감지하여 디지털 영상 데이터(이미지 데이터)로 변환해주는 장치로서 CMOS 이미지 센서(Complementary Metal Oxide Semiconductor Image Sensor) 또는 CCD 이미지 센서(Charge Coupled Device)를 포함하는 촬영 수단으로 이루어질 수 있다.

2D 이미지가 독취되면, 인체형 그림영역 추출하는 단계가 수행된다. 즉, 상기 인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장한다. 여기서, 공지된 세그멘데이션 알고리즘이 적용될 수 있다.

일 예로, 상기 2D이미지 데이터의 저장방식인 RGB 픽셀 값을 HSV 색공간 변환 공식을 이용하여 RGB 값으로 입력된 2D이미지 데이터를 HSV 색공간의 차원 변환하여 그림의 색상을 이진화 또는 바이너리(Binary)화시켜 추출할 수 있다. 상기 이진화된 인체형 그림영역은 도 3의 B를 참조하면 된다.

다른 일예로, 세그멘테이션(Semantic Image Segmentation)의 의미는 영상정보 상에서 인체정보를 검출하고, 검출된 인체정보가 존재하는 픽셀을 참(True)으로, 검출된 인체정보가 존재하지 않는 픽셀을 거짓(False)으로 픽셀 값을 지정하여 원본과 같은 크기로 레이블 맵(Label Map)을 구성하는 기술을 의미한다.

공지의 레이블 맵 생성 알고리즘을 이용하고, 상기 공지의 레이블 맵생성 알고리즘이 적용되어, 심층신경망의 한 종류인 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 반복 학습하여 최종적으로 레이블 맵을 생성한다.

여기서, 레이블 맵 추출방법은 상기 레이블 맵이 상기 영상 정보의 이미지 크기와 동일한 이미지 크기로 설정하고, 일반적인 RGB 채널이 아닌 흑백 채널을 사용하여 0~255의 값을 사용하도록 설정한다.

상기 영상정보 중 인체정보에 해당되는 픽셀은 255로 설정하고, 상기 영상정보 중 인체정보에 해당되지 않는 픽셀은 0으로 설정하여 레이블 맵을 생성하고, 저장한다.

상기 레이블 맵 추출방법을 합성곱 신경망(CNN, Convolutional Neural Network)에 적용하여, 인체 영역에 해당되는 픽셀의 정보만 분리하여 레이블 맵을 추출하도록 반복하여 학습한다. 상기 추출된 레이블 맵은 상기 전달된 영상정보와 비교해 데이터 크기가 작아진다.

이러한 데이터 손실을 보상하기 위해, 공지의 합성곱 신경망(인코더-디코더 구조로 합성곱 신경망)을 적용하여 최종적으로 레이블 맵을 생성한다. 여기서, 세그멘테이션 결과 레이블 맵은 도 2 및 도 3을 참조한다.

상기 인체형 그림영역 정보를 추출하고 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 단계(S110)가 수행되면, 상기 제 1 영상정보를 이용하여 관절정보를 추출하고, 상기 제 1 영상정보와, 상기 관절정보가 포함된 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계(S120)가 수행된다.

도 4는 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 방법의 상기 제 1 영상정보와, 상기 관절정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계(S120)의 세부 흐름도이다. 도 4를 참조하여 기술하면, 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성(S410)하는 단계, 및 상기 휴먼포즈 데이터를 이용하여 상기 인체 레이블 맵을 생성하는 단계(S420)를 포함하여 구성된다.

제 1영상정보를 이용하여 휴먼포즈 데이터를 생성(S410)하는 단계는 공지의 휴먼포즈 생성 알고리즘을 이용하고, 상기 공지의 휴먼포즈 생성 알고리즘이 적용되어, 심층신경망의 한 종류인 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 반복 학습하여 최종적으로 휴먼포즈 백터 맵을 생성한다. 여기서, 상기 합성곱 신경망(CNN, Convolutional Neural Network)은 상기 제 1영상정보에 저장되어 있는 인체 관련 정보를 추출하고, 상기 추출된 인체정보를 이용하여 각 인체 관절의 좌표를 출력하고, 상기 출력된 인체의 관절 좌표 중 예측 정확도가 높은 좌표를 선택해서 2차원 관절 좌표를 설정한다. 이후, 상기 2차원 관절 좌표를 이용하여 3차원 관절 좌표를 생성하는데, 3차원 표준 인체 메쉬 데이터 모델(SMPL, Skinned Multi-Person Linear Model)을 이용하여, 상기 2차원 관절 좌표를 상기 3차원 표준 인체 메쉬 데이터 모델에 적용하여 매칭된 3차원 관절좌표, 즉, 휴먼포즈 백터 맵을 생성한다.

여기서, 일반적으로 휴먼포즈의 의미는, 입력된 원본 이미지 상에서 검출된 사람에 대해 코, 팔꿈치, 발목 등의 지정된 개수의 관절과 각각의 이미지 좌표 체계 상에서의 3차원 좌표 벡터를 의미하고, 상기 좌표는 0~1 사이의 값으로 정규화 되어 있는 공지된 기술이다. 여기서, 상기 생성된 휴먼포즈 백터 맵은 도 3을 참조한다.

도 5는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표에 대한 도면이다. 도 5를 참조하면, 일 실시예로, 상기 휴먼포즈 데이터는 23개의 관절좌표로 구성되고, 각각의 관절좌표에는 명칭 및 고유번호가 부여되어, 이후 인체 레이블 맵을 생성시, 상기 관절좌표가 이용될 수 있다. 상기 관절좌표는 필요에 따라 임의로 설정될 수 있다. 또한, 필요에 따라, 3차원 좌표인 휴먼포즈 백터 맵을 이용할 수 있다.

휴먼포즈 데이터가 생성(S410)되면, 상기 휴먼포즈 데이터를 이용하여 상기 인체 레이블 맵을 생성하는 단계(S420)를 수행한다.

도3을 참조하여 다시 기술하면, 상기 휴먼데이터의 관절 좌표와, 상기 레이블 맵과의 거리를 측정하고, 상기 측정된 거리가 기 설정된 거리보다 작은 경우, 해당 관절좌표와 대응되는 레이블을 인체 레이블로 설정한다.

여기서, 기 설정된 거리는 임의로 설정할 수 있으며, 상기 설정 값에 따라 인체 레이블 수가 변경 될 수 있다. 여기서는, 기 설정된 거리는 관절좌표에 대응되는 인체 레이블 수에 따라 결정될 수 있도록 설정하는 것이 바람직하다.

또한, 관절좌표가 H개로 구성된 경우, H개의 관절좌표에 대해서, 상기 각각의 관절좌표와, 상기 레이블 맵과의 거리를 측정하고, 상기 측정된 거리가 기 설정된 거리보다 작은 경우, 해당 관절좌표와 대응되는 레이블을 인체 레이블로 설정하고, 이를 순차적으로 반복 수행하여 H개의 인체 레이블을 생성하고, 상기 생성된 H개의 인체 레이블로 구성된 인체 레이블 맵(S420)을 생성한다.

여기서, 상기 거리는 일반적인 거리특정 용어인, 유클리디안 거리(Euclidean distance)를 의미한다.

또한, 앞에서 기술된 상기 휴먼데이터인 관절 좌표가 23개인 경우에 이에 대응되는 23개의 인체 레이블이 생성된다. 즉, H개의 관절좌표가 이용될 경우, H개의 인체 레이블이 생성되고, 생성된 H개의 인체 레이블로 구성되는 인체 레이블 맵(300)이 생성된다. 상기 인체레이블 맵에 포함된 관절좌표 정보 및 인체 레이블 맵 정보를 캐릭터 애니메이션 정보로 저장한다.

캐릭터 애니메이션 정보가 생성되면, 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 단계(S140)를 수행한다.

상기 캐릭터 애니메이션을 생성하는 단계(S140)는 공지의 메쉬 생성알고리즘과, 공지의 인공지능 기반 관절 동작 알고리즘이 적용되어, 관절 정보 및 관절정보에 대응되는 인체 레이블 맵 정보에 상응하여 캐릭터 애니메이션이 동작할 수 있다.

도 6은 본 발명에 따른 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표가 적용된 이미지 나타내는 도면이다. 도 7은 본 발명에 일실시예에 따른 관절정보 및 인체레이블 맵을 포함하는 애니메이션 생성정보가 적용되어 구현된 캐릭터 애니메이션을 나타내는 도면이다. 도 6 및 도 7을 참조하면 동작되는 캐릭터 애니메이션 나타내고 있다.

또한, 캐릭터 애니메이션 생성 단계(S140) 전에, 상기 제 1 영상정보를 이용하여 상기 인체형 그림영역의 후면 영상을 추정하여 상기 후면 영상정보를 생성하는 단계(S130)를 더 포함하여 구성될 수 있다.

도 8은 본 발명에 일실시예에 따른 후면 영상정보를 생성하는 흐름도이다. 도 8을 참조하면, 상기 인체 레이블 맵 및 비인체 레이블 맵을 이용 제 2영상정보를 생성(S810)하는 단계, 상기 제 1영상정보와 상기 제 2영상정보를 이용 패치 정보를 생성(S820)하는 단계; 및 상기 패치 정보를 이용 후면 영상정보 생성(S830)하는 단계를 포함한다.

도 9는 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다. 도 10은 본 발명에 일시예에 따른 인체 레이블 맵과 비인체 레이블 맵을 나타내는 일 예시도이다.

도 9 및 도 10을 참조하면, 상기 인체 레이블 맵 및 비인체 레이블 맵을 이용 제 2영상정보를 생성(S810)하는 단계를 수행한다.

여기서, 비인체 레이블 맵(1020)은 상기 관절 좌표와 기설정된 거리보다 큰 경우에 해당하는 영역을 의미한다. 또한, 기설정된 거리는 임의로 설정될 수 있다.

즉, 제 2 영상정보는 제 1영상정보의 인체영역에 해당되는 인체 레이블 맵(1010)과, 상기 제 1영상정보의 인체영역에 해당되지 않는 비인체 레이블 맵(1020)으로 구성된다.

상기 제 2영상정보가 생성된 이후, 상기 제 1영상정보와 상기 제 2영상정보를 이용하여 패치 정보를 생성하는 단계(S820)를 수행한다.

도 9는 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다. 도 9를 참조하면, 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S910)와, 상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵을 생성하는 단계(S920) 및 상기 제 1패치 맵, 상기 제 2패치 맵을 이용하여 후면 패치 맵 생성하는 단계(S930)를 포함한다.

먼저, 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S1910)를 수행한다.

도 11은 본 발명에 일시예에 따른 제 1입력영상과, 제 2입력영상이 복수개의 패치들로 분리되고, 생성되는 후면 서브패치맵을 나타내는 개념도이다. 도 12는 본발명에 일시예에 따른 제 1입력영상의 분리된 제 1영상패치를 서브패치로 분리된 서브패치군을 나타내는 개념도이다. 도 11 및 도 12를 참조하면, 상기 분리된 특정단위인 패치 및 서브 패치에 관해 기술한다.

도 11을 참조하면, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성한다.

여기서, P와 Q를 임의로 설정할 수 있고, P와 Q를 동일하게 또는 다르게 설정할 수 있다. 일반적으로 영상이미지는 각각의 픽셀 단위로 표현되고, 저장되는 구조이어서, P*Q=N개로 분리된 패치도 픽셀 단위로 저장되는 바, 이에 대해서는 공지의 기술이 적용되어 구체적인 기재는 생략한다.

상기 제 1영상정보를 분리하여, (1,1)으로 표현되는 제 1패치부터, (P,Q)으로 표현되는 P*Q의 패치를 생성하고, 상기 생성된 P*Q개, 즉, N개의 제 1영상정보패치를 제 1패치 맵으로 규정하여 용어를 정의한다.

또한, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성한다.

상기 제 2영상정보를 분리하여, (1,1)으로 표현되는 제 1패치부터, (P,Q)으로 표현되는 P*Q의 패치를 생성하고, 상기 생성된 P*Q개, 즉, N개의 제 2영상정보패치를 제 2패치 맵으로 규정하여 용어를 정의한다.

여기서, P와 Q를 임의로 설정할 수 있고, P와 Q를 동일하게 또는 다르게 설정할 수 있다. 일반적으로 영상이미지는 각각의 픽셀 단위로 표현되고, 저장되고 구조이어서, N개로 분리된 패치도 픽셀 단위로 저장되는 바, 이에 대해서는 공지의 기술이 적용되어 구체적인 기재는 생략한다.

여기서, 상기 픽셀은 공지로 기술된 기술 용어이고, 본 발명에 필요한 범위 내에서 해당 픽셀의 정보에 저장된 정보에 대해 기술한다. 상기 픽셀은 일정정보를 저장하고 있고, 해당 정보를 색상 및 밝기 등으로 표현한다. 상기 일정 정보는 상기 픽셀의 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보를 포함할 수 있다. 상기 위치정보는 상기 픽셀의 위치한 위치좌표정보를 포함하고, 상기 색상정보는 공지기술인 색상정보 표시 형식 인 RGB 값으로 구성되고, RGB 각각의 값은 0~255 범위로 설정하여 사용될 수 있다.

여기서, 상기 제 1패치 맵의 (1,1) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,1) 제 2영상정보패치를 1:1로 매핑하는 것을 동기화로 표현하고, 상기 제 1패치 맵의 (1,2) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,2) 제 1영상정보패치를 1:1로 매핑하고, 순차적으로 상기 제 1패치 맵의 (P,Q)인 제 1영상정보패치와, 상기 제 2패치 맵의 (P,Q)인 제 2영상정보패치를 1:1로 매핑하여, 상기 제 1패치 맵과 상기 제 2패치 맵의 각각의 구성 패치를 매핑하여 동기화를 수행한다.

여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치의 동기화를 위해, 각각의 패치를 구성하는 위치좌표를 이용할 수 있고, 상기 동기화된 제 1영상정보패치와, 상기 제 2영상정보패치는 동일한 위치좌표를 가지고 매핑되어 동기화 된다. 이로 인해, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치 각각은 동일한 위치정보를 저장하고 있다.

여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치는 N개의 서브패치군으로 구성된다.

상기 서브 패치는 한 개 또는 복수 개의 픽셀로 구성된다.

여기서, 상기 픽셀은 공지로 기술된 기술 용어이고, 본 발명에 필요한 범위 내에서 해당 픽셀의 정보에 저장된 정보에 대해 기술한다. 상기 픽셀은 일정정보를 저장하고 있고, 해당 정보를 색상 및 밝기 등으로 표현한다. 상기 일정 정보는 상기 픽셀의 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보를 포함할 수 있다. 상기 위치정보는 상기 픽셀의 위치한 위치좌표정보를 포함하고, 상기 색상정보는 공지기술인 색상정보 표시 형식 인 RGB 값으로 구성되고, RGB 각각의 값은 0~255 범위로 설정하여 사용될 수 있다.

상기 서브 패치는 상기 픽셀을 J개로 구성되고, 상기 J개는 임의로 설정될 수 있다. 바람직하게는 J=4로 설정할 수 있으나, 이에 한정되지 않는다. 또한, 상기 패치는 상기 서브패치 K개로 구성될 수 있고, 상기 K개는 임의로 설정될 수 있다. 바람직하게는 K=4로 설정할 수 있으나, 이에 한정되지 않는다. 여기서, 상기 서브 패치를 구성하는 특정단위는, J개로 구성된 픽셀을 의미하고, 상기 패치를 구성하는 특정단위는, K개로 구성된 서브패치를 의미한다.

다시, 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S910)를 기재하면, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성한다.

또한, 상기 제 1영상정보패치는 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 서브패치군을 생성한다.

또한, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 A개의 서브패치로 분리하고, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성한다.

여기서, 상기 서브 패치맵을 구성하는 N개의 서브패치군과, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치는, 앞에서 기재된 복수개의 픽셀들로 구성되고, 상기 픽셀의 저장정보인 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보도 함께 저장된다.

상기 서브 패치 맵이 생성된 이후, 상기 제 1서브패치군을 구성하는 A개 서브패치의 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성되어 제 1평균서브패치군을 생성한다.

또한, 상기 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성되어 제 1평균서브패치군을 생성하는 과정을, 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성한다.

도 13은 본발명에 일시예에 따른 서브패치군을 구성하는 서브패치의 픽셀 정보 및 평균 연산을 수행하여 제 1평균서브패치군을 생성하는 개념도이다. 도 13을 참조하면, 1개의 패치가 4개의 서브패치로 구성되고, 상기 서브패치가 4개의 픽셀로 구성된 일 실시예이다.

여기서, 앞서 기재된 바와 같이, 하나의 픽셀은 RGB 형태의 3가지 색상정보를 포함하고 있으며, 각각의 표현 값은 0 ~ 255까지 자연수로 표현된다. 상기 서브패치1을 구성하는 4개 픽셀은 색상정보가 기재되어 있고, 상기 서브패치 2 내지 4를 각각 구성하는 4개의 픽셀은 색상정보 기재되어 있다. 이들 각각의 색상정보를 합산 및 평균 연산을 수행하여, 제 1평균 서브패치군을 생성하고, 상기 생성된 제 1 평균 서브 패치군에는 합산 및 평균 연산이 수행된 색상정보가 반영된다.

앞에서 기술된 바와 같이, 서브 패치는 임의개의 픽셀로 설정할 수 있고, 제 1 패치도 임의개의 서브패치로 설정할 수 있다.

상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하면, 상기 패치 맵 생성부(1651)는 상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵을 생성하는 단계(S920)를 수행한다.

보다 구체적으로 기술하면, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성한다.

일반적으로, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵의 N개의 제 2영상정보패치는 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 동일한 패치 개수로 구성하는 것이 바람직하다.

결과적으로, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군과, 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치는 동일한 N개의 패치 개수로 구성되는 것이 바람직하다.

상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵이 생성된 이후, 상기 제 1패치 맵, 상기 제 2패치 맵을 이용하여 후면 패치 맵 생성하는 단계(S930)를 수행한다.

실시예 중 제 1실시예를 기재한다.

제 1실시예에 대해 기술하면, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하고, 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.

도 11 내지 13을 참조하여 구체적으로 기재하면, 도 11은 제 1패치 맵과, 제 2패치 맵을 이용하여 생성된 후면서브패치 맵을 나타내고 있다.

상기 제 1패치 맵의 N개의 제 1영상정보패치로부터 생성된 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 이용하여, 즉, 일정 연산을 수행하여 N개의 후면서브패치군을 구성된 후면서브패치 맵을 생성한다.

여기서, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 하나인 제 1평균서브패치군을 임의로 선정하여, 상기 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정한다.

도 14는 본발명에 일시예에 따른 제 1평균서브패치군과, 제 1인접평균서브패치군에 제 1 및 제 2 가중치를 부여하는 개념도이다. 도 14를 참조하면, 중앙에 제 1평균서브패치군(1510)을 설정하면, 인접한 평균서브패치군은 8개가 설정되고, 상기 설정된 8개의 평균서브패치군을 제 1인접평균서브 패치군(1420)으로 한다.

여기서, 제 1평균 서브패치군(1410)에 제 1가중치를 임의로 설정할 수 있고, 일 예로, 0.4를 설정한 후, 상기 제 1인접평균서브 패치군(1420)에 제 2가중치를 임의로 설정할 수 있고, 일 예로, 0.075를 설정할 수 있다.

제 1평균 서브패치군의 제1 가중치와 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군의 제 2가중치 합을 1로 하는 것이 바람직하고, 제 1평균 서브패치군의 제1 가중치를 제 1인접평균서브 패치군(1420)의 제 2 가중치보다 크게 설정하는 것이 바람직하다. 또한, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군의 제 2 가중치는 균등하게 설정하는 것이 바람직하다.

일 예로, 상기 제 1 가중치와 상기 제 1인접평균서브 패치군(1420)의 제 2가중치는 아래의 수식조건을 만족한다.

여기서, 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다

도 14를 다시 참조하여, 후면서브 패치군을 생성하는 단계를 기술한다. 상기 제 1평균서브패치군(1410)은 RGB 색상정보를 저장하고 있고, 상기 제 1가중치를 적용하여, 각각의 RGB 색상정보 값에 상기 제 1가중치가 적용된 합산 값을 구한다.

또한, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군도 각각의 RGB 색상정보 값을 저장하고 있고, 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값을 구한다.

제 1평균서브패치군(1410)에 저장된 상기 제 1가중치가 적용된 합산 값과, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군에 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값의 평균 값을 계산한다.

상기 평균 값을, 상기 제 1평균서브패치군(1410)의 각각의 RGB 색상정보 값으로 대체하여 저장하고, 상기 각각의 RGB 색상정보 값으로 대체된 상기 제 1평균서브패치군(1410)을 제 1 후면서브패치군으로 생성한다.

위에서 기술된 방법을 상기 후면서브패치군을 생성하는 단계를, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.

상기 후면서브패치 맵이 생성된 이후, 상기 패치 정보를 이용 후면 영상정보 생성(S830)한다.

상기 N개의 후면서브패치군 사이의 노이즈 제거를 위해서, 상기 노이즈는 공지된 엣지 블렌딩 알고리즘을 적용하여, 각각 후면 패치의 가장자리 픽셀을 가우시안 블러(Gaussian Blur) 연산을 수행하여 노이즈를 제거하는 엣지 블렌딩을 수행하고, 최종적인 후면 텍스처 맵을 생성한다.

실시예 중 제 2실시예를 기재한다. 상기 제 2실시예는 데이터 연산량을 감소시키기 위해서, 제 2영상정보 중 인체 레이블 맵에 해당되는 인체 레이블 패치에 대해서만, 제 1실시예의 가중치 기반 연산을 수행하여 제 1후면서브패치군을 생성하고, 비인체레이블 맵의 경우, 별도의 가중치 연산을 수행하지 않고, 평균서브패치군을 적용하여 제 2후면서브패치군을 생성하고, 상기 제 1후면서브패치군과, 상기 제 2후면서브패치군을 적용하여 후면서브패치 맵을 생성한다.

이에 대해 구체적으로 기술하면, 상기 제 1패치 맵의 (1,1)의 제 1영상정보패치와, 상기 제 2패치 맵의 (1,1)의 제 2영상정보패치를 1:1로 매핑하는 것을 동기화로 표현하고, 상기 제 1패치 맵의 (1,2) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,2) 제 1영상정보패치를 1:1로 매핑하고, 순차적으로 상기 제 1패치 맵의 (P,Q) 제 1영상정보패치와, 상기 제 2패치 맵의(P,Q) 제 2영상정보패치를 1:1로 매핑하여, 상기 제 1패치 맵과 상기 제 2패치 맵의 각각의 구성 패치를 매핑하여 동기화를 수행한다.

여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치의 동기화를 위해, 각각의 패치를 구성하는 위치좌표를 이용할 수 있고, 상기 동기화된 제 1영상정보패치와, 상기 제 2영상정보패치는 동일한 위치좌표를 가지고 매핑되어 동기화 된다. 이로 인해, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치 각각은 동일한 위치정보를 저장하고 있다.

또한, 앞서 기술된 바와 같이, 상기 N개의 서브패치군과, 상기 N개의 제 1평균서브패치군은 색상정보 값만 변경되어 저장되어 있고, 상기 N개의 서브패치군과, 상기 N개의 제 1평균서브패치군은 상기 N개의 제 1영상정보패치의 각각의 위치정보를 그대로 저장되어 있다. 따라서, 상기 N개의 제 1평균서브패치군은 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치와 동기화 되어 있어, 동일한 위치좌표를 저장하고 있다.

또한, 앞서 기술된 바와 같이, 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치도 각각의 위치정보가 저장되어 있고, 상기 각각의 위치정보는 인체 레이블 맵과, 비인체레이블 맵의 각각의 패치에 저장되어 있다.

따라서, 상기 N개의 제 1평균서브패치군은, 상기 인체 레이블 맵과, 비인체레이블 맵의 위치정보를 기초로 동기화 될 수 있다.

상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하여 제 1후면서브패치군을 생성하고, 상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 비인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하지 않고, 상기 제 1평균서브패치군을 제 2후면서브패치군으로 대체한다.

결과적으로 가중치 연산을 수행하여 생성된 제 1후면서브패치군이 S개, 가중치 연산을 수행하지 않고 생성된 제 2후면서브패치군이 T개라면, S+T=N을 만족하여, 후면서브패치 맵이 생성된다.

이를 상세히 기술하면, 인체 레이블 맵을 구성하는 패치들의 경우, 아래의 과정을 통해 S개의 제 1후면서브패치군이 생성된다.

상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하고, 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성한다.

도 11 내지 15를 참조하여 구체적으로 기재하면, 도 11은 제 1패치 맵과, 제 2패치 맵을 이용하여 생성된 후면서브패치 맵을 나타내고 있다.

상기 제 1패치 맵의 N개의 제 1영상정보패치로부터 생성된 N개의 평균서브패치군을 구성된 평균서브 패치 맵을 이용하여, 즉, 일정 연산을 수행하여 S개의 제 1후면서브패치군을 생성한다.

여기서, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 하나인 제 1평균서브패치군을 임의로 선정하여, 상기 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정한다.

도 14를 참조하면, 중앙에 제 1평균서브패치군(1410)을 설정하면, 인접한 평균서브패치군은 8개가 설정되고, 상기 설정된 8개의 평균서브패치군을 제 1인접평균서브 패치군(1420)으로 한다.

여기서, 제 1평균 서브패치군(1410)에 제 1가중치를 임의로 설정할 수 있고, 일 예로, 0.4를 설정한 후, 상기 제 1인접평균서브 패치군(1520)에 제 2가중치를 임의로 설정할 수 있고, 일 예로, 0.075를 설정할 수 있다.

제 1평균 서브패치군의 제1 가중치와 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군의 제 2가중치 합을 1로 하는 것이 바람직하고, 제 1평균 서브패치군의 제1 가중치를 제 1인접평균서브 패치군(1420)의 제 2 가중치보다 크게 설정하는 것이 바람직하다. 또한, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군의 제 2 가중치는 균등하게 설정하는 것이 바람직하다.

여기서, 상기 제 1평균 서브패치군과 인접한 제 1인접평균서브 패치군 중 8개의 평균서브패치군이 상기 인체 레이블 맵을 구성하는 패치의 위치정보 값에 포함되지 않은 영역, 즉, 비인체 레이블 맵을 구성하는 패치인 경우, 해당 가중치인 제 2가중치를 0으로 설정하고, 상기 제 1평균 서브패치군과 인접한 제 1인접평균서브 패치군 중 8개의 평균서브패치군이 상기 인체 레이블 맵을 구성하는 패치의 위치정보 값에 해당되는 영역인 경우, 제 2가중치를 부여한다.

일 예로, 상기 제 1 가중치와 상기 제 1인접평균서브 패치군(1420)의 제 2가중치는 아래의 수식조건을 만족한다. 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다.

도 13을 다시 참조하여, 후면서브 패치군을 생성하는 단계를 기술한다. 상기 제 1평균서브패치군(1410)은 RGB 색상정보를 저장하고 있고, 상기 제 1가중치를 적용하여, 각각의 RGB 색상정보 값에 상기 제 1가중치가 적용된 합산 값을 구한다.

또한, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군도 각각의 RGB 색상정보 값을 저장하고 있고, 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값을 구한다.

제 1평균서브패치군(1410)에 저장된 상기 제 1가중치가 적용된 합산 값과, 제 1인접평균서브 패치군(1420)을 구성하는 8개의 평균서브패치군에 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값의 평균 값을 계산한다.

상기 평균 값을, 상기 제 1평균서브패치군(1410)의 각각의 RGB 색상정보 값으로 대체하여 저장하고, 상기 각각의 RGB 색상정보 값으로 대체된 상기 제 1평균서브패치군(1410)을 제 1 후면서브패치군으로 생성한다.

위에서 기술된 방법을 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 후면서브패치군을 생성한다.

비인체 레이블 맵을 구성하는 패치들의 경우, 아래의 과정을 통해 T개의 제 2후면서브패치군이 생성된다.

다시 기술하면, 상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 비인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하지 않고, 상기 제 1평균서브패치군을 제 2후면서브패치군으로 대체하여, T개의 제 2후면서브패치군을 생성한다.

상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군을 적용하여 최종적은 S+T=N 개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.

상기 후면서브패치 맵이 생성된 이후, 상기 패치 정보를 이용 후면 영상정보 생성(S830)한다.

상기 N개의 후면서브패치군 사이의 노이즈 제거를 위해서, 상기 노이즈는 공지된 엣지 블렌딩 알고리즘을 적용하여, 각각 후면 패치의 가장자리 픽셀을 가우시안 블러(Gaussian Blur) 연산을 수행하여 노이즈를 제거하는 엣지 블렌딩을 수행하고, 최종적인 후면 텍스처 맵을 생성한다. 여

여기서, 최종정보인 후면 텍스처 맵의 정보를 이용하여, 제 1영상의 후면 영상정보를 획득한다. 획득된 후면영상정보를 이용하여, 즉, 관절정보와, 인체 레이블 맵 정보와, 후면영상정보를 포함하는 캐릭터 애니메이션 정보를 생성한다.

캐릭터 애니메이션 정보가 생성되면, 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 단계(S140)를 수행한다.

상기 캐릭터 애니메이션을 생성하는 단계(S140)는 공지의 3D 메쉬 생성알고리즘과, 공지의 인공지능 기반 관절 동작 알고리즘이 적용되어, 관절 정보 및 관절정보에 대응되는 인체 레이블 맵 정보에 상응하여 3D 캐릭터 애니메이션이 동작할 수 있다.

도 16 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 장치를 나타내는 도면이다.

도 16을 참조하면, 본 발명에 따른 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 장치는, 서버(1600) 또는 단말(1700), 서버(1600) 및 단말(1700)로 구성될 수 있다. 일반적으로는 서버(1600)로 캐릭터 애니메이션 생성을 위한 캐릭터 애니메이션 생성 장치를 구성하는 것이 바람직하다.

상기 서버(1600) 및 단말(1700)은 개인용 PC, 스마트폰, 서버일 수 있으며, 상기 서버(1600)과 단말 간 무선 또는 유선 통신을 통한 장거리 통신을 할 수 있고, 블루투스, 무선랜 등 근거리 통신을 수행할 수 있다. 또한, 상기 서버(1600) 및 단말(1700)은 입력 및 출력 수단과, 카메라를 포함하여 영상촬영을 수행할 수 있고, 저장수단이 포함되어 앱 소프트웨어 설치 및 처리가 가능하다. 일반적인 PC와 서버 등이 포함하는 공지 기술이 적용될 수 있고, 이에 대한 설명은 생략하기로 한다.

상기 서버(1600)은 영상부(1610), 휴먼포즈 생성부(1620), 레이블 맵 생성부(1630), 인체레이블맵 생성부(1640) 및 통신부(1660)를 포함하여 구성되고, 물리적 또는 논리적으로 구성될 수 있다. 또한, 후면영상처리부(1650)를 포함하여 구성될 수 있고, 상기 후면영상처리부(1650)는 패치 맵 생성부(1651) 및 3D 매쉬 생성부(1652)를 포함하여 구성될 수 있다.

여기서, 상기 서버를 구성하는 영상부(1610), 휴먼포즈 생성부(1620), 레이블 맵 생성부(1630), 인체레이블맵 생성부(1640), 후면영상처리부(1650) 및 통신부(1660)는 특정 기능 및 연산을 수행하는 프로세서로 구성되고, 하나 또는 복수개의 프로세서로 구성될 수 있고, 특정 알고리즘이 적용될 수 있다.

상기 영상부(1610)는 서버(1600)을 구성하는 내장된 카메라 등 영상장치를 이용하여 영상정보를 획득하거나, 기 저장된 영상정보를 획득한다.

또한, 상기 영상부(1610)는 단말(1700)을 구성하는 영상부(1710)가 획득된 영상정보를 수신하여, 해당 영상정보를 이용하여 처리할 수 도 있다.

상기 영상부(1610) 제 1영상정보를 촬영하여 생성한 후, 저장할 수 도 있고, 이미 저장되어 있는 영상정보를 저장할 수 도 있다.

휴먼포즈 생성부(1620)는 입력된 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성한다.

레이블 맵 생성부(1630)는 상기 제 1영상정보로부터 레이블 맵을 생성한다.

인체레이블맵 생성부(1640)는 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵과의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 M개의 모든 관절 좌표에 대해서 순차적으로 M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성한다.

패치 맵 생성부(1651)는 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성한다.

또한, 상기 패치 맵 생성부(1651)는 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.

또한, 상기 패치 맵 생성부(1651)는, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인, 상기 복수개의 제 1인접 평균서브패치군을 설정한다.

또한, 상기 패치 맵 생성부(1651)는 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다.

여기서, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있다.

통신부(1660)는 일반적인 통신 기술이 적용되고, 서버(1600)와 단말(1700)간 구성된 시스템에 한해서, 특정 정보를 전달하는 기능을 수행하고, 유선 또는 무선 통신을 이용할 수 있다.

여기서, 특정정보는 제 1영상정보, 제 2영상정보, 제 1패치 맵, 제 2패치 맵, 후면 패치 맵 등 데이터를 의미한다.

단말(1700)도 서버(1600)과 동일한 구성으로 되어 있어, 이에 대한 기재를 생략한다. 상기 서버(1600)의 구체적인 동작 관련 기재는 앞서 기술된 것으로 대체 한다.

상기 서버(1600)는 로드밸런서부(1670)를 추가로 포함하여 구성될 수 있다. 상기 로드밸런서부는 단말로부터 캐릭터 애니메이션 생성요청 정보가 포함된 제 1프레임이 수신되면, 상기 영상부, 상기 휴먼포즈 생성부, 상기 레이블 맵 생성부, 상기 인체레이블 맵 생성부, 및 상기 후면 영상처리부의 각각의 처리용량을 기초하여 우선순위를 부여하여 캐릭터 애니메이션을 생성하는 것을 특징으로 하는 캐릭터 애니메이션 생성장치

상기 로드밸런서부(1670)는 상기 서버(1600)를 구성하고 있는 특정부의 연산처리 능력 및 현재 처리하고 있는 연산처리량을 기준으로 상기 수신된 영상정보, 즉 프레임들을 분배한다. 또한, 상기 서버(1600)가 복수개의 서버로 구성될 경우, 상기 복수개의 서버를 구성하고 있는 특정부의 연산처리 능력 및 현재 처리하고 있는 연산처리량을 기준으로 상기 수신된 영상정보, 즉 프레임들을 분배한다. 또한, 상기 로드밸런서부(1670)는, 일 예로 인공신경망 알고리즘을 이용하여, 각각의 특정부가 특정 기능을 수행하기 위해서 연산처리용량, 연산량 등의 로드에 관한 실시간 정보를 획득하여, 상기 로드가 적은 특정부로 상기 수신영상정보를 전달한다. 이러한 로드밸런싱 기능을 적용하여, 상기 각각의 특정부의 연산처리 효율을 증대 시킬 수 있다.

또한, 상기 서버(1600)의 로드밸런서부(1670)는 단말(1700)이 요청 또는 송신한 영상정보를 하나의 단위로 분배한다. 이러한 로드밸런싱 기능을 적용하여, 서버에 복수의 단말(1700)가 접속한 경우에도 활성화된 합성곱 신경망(CNN, Convolutional Neural Network)을 최대로 활용할 수 있다.

도 17은 본 발명에 따른 캐릭터 애니메이션 생성 방법을 나타내는 흐름도이다. 도 17을 참조하면, 서버는 영상정보를 단말로부터 수신단계(S1710), 서버는 수신영상정보를 특정부로 전달하는 단계(S1720), 서버를 구성하는 특정부는 전달된 영상정보를 가공하는 단계(S1730), 서버는 가공영상 정보를 단말로 송신하는 단계(S1740), 단말은 상기 가공영상을 후처리하는 단계(S1750), 단말은 상기 가공영상을 이용하여 편집영상 생성하는 단계(S1760) 및 단말은 상기 편집영상을 재생하는 단계(S1770)를 포함하여 구성될 수 있다.

상기 서버는 영상정보를 단말로부터 수신단계(S1720)는, 단말(1700)을 구성하는 영상부(1710)가 카메라로부터 획득된 영상을 영상정보로 저장한 이후, 상기 영상정보를 서버(1600)로 통신부(1760)를 이용하여 서버(1600)로 송신한다. 상기 서버(1600)는 상기 단말(1700)로부터 송신된 상기 영상정보를 상기 서버를 구성하고 있는 통신부(1670)를 이용하여 수신한다.

도 18은 본 발명에 따른 캐릭터 애니메이션 생성 방법의 입력영상, 생성된 휴먼포즈 정보, 레이블 맵, 인체 레이블 맵 및 3D 메쉬 정보를 송수신하기 위한 데이터 프레임 개념도이다. 도 18을 참조하여, 상기 영상정보 및 프레임 구조에 대해서 기술한다.

여기서, 상기 영상정보는, 일반적으로 데이터를 저장하는 파일형식인 JPG 파일 등 다양한 형태로 영상 또는 이미지를 저장하는 데이터 또는 데이터 파일을 의미한다. 또한, 일련의 연속된 이미지인 동영상 파일을 포함할 수 있다.

상기 영상정보는 N개의 영상정보를 저장하고 있고, 상기 N개의 영상정보를 구성하는 영상정보군을 생성하여 저장한다. 상기 N개의 각각의 영상정보는 각각의 프레임에 저장되고 송수신된다.

상기 프레임은, 공지된 데이터 전송 방법인, OSI 7 Layer 구조를 채용하고 있어, 일반적이 통신 전송 데이터와 호환성을 유지하고 있으며, 상위단인 Applicaition 단계에서 일부 구조가 변경된 형태이다. 즉, Applicaition 단계의 프레임 구조의 헤더 부분에 프레임 번호의 일련번호를 부가하고, 일예로, 1, 2, 3 등 순서로 일련번호를 부가한다. 이후, 상기 헤더 이후 데이터 저장공간에 일정량의 저장용량을 설정하여, 영상정보, 휴먼포즈 데이터, 레이블 맵 정보, 인체 레이블 맵 정보, 매쉬정보를 순차적으로 저장한다. 이러한 프레임 구조를 적용하여 상기 서버(1600)와 상기 단말(1700)간 데이터 교환 시, 기존 보다 빠른 데이터 전송 및 처리가 가능하다. 또한, 상기 프레임은 픽셀의 주소 값, 위치좌표 관련 위치정보 등이 저장될 수 있다.

여기서, 상기 단말(1700)은 상기 프레임을 N개의 프레임들로 설정하고, 상기 단말은(1700)은 상기 제 1 영상정보와, 일련번호를 부가 및 저장하여 제 1 프레임을 생성한다. 또한, 상기 단말(1700)은 상기 N개의 영상정보와 일련번호들을 순차적으로 부가 및 저장하여 N개의 프레임을 생성한다.

상기 단말(1700)을 구성하는 상기 통신부(1760)는 상기 N개의 프레임들을 서버(1600)로 송신한다. 여기서, 상기 통신부(1760)는 상기 제 1프레임을 생성 시, 바로 서버(1600) 송신하고, 순차적으로 생성되는 N개의 프레임들을 서버로 송신할 수 있고, 또는 모든 N개의 프레임들이 생성된 후, 상기 모든 N개의 프레임들을 서버(1600)로 송신할 수 도 있다.

즉, 상기 단말(1700)은 N개의 영상정보로 구성되는 영상정보군 중 제 1영상정보와, 상기 제 1영상정보와 대응되는 프레임 번호를 저장하는 제 1프레임을 생성하여 상기 제 1프레임을 저장한다. 또한, 상기 단말은 상기 영상정보군의 모든 N개의 영상정보에 대해 순차적으로 상기 N개의 영상정보와, 상기 N개의 영상정보와 대응되는 프레임의 일련번호들을 저장하는 N개의 프레임들을 생성하여, 상기 N개의 프레임들을 저장하고, 상기 N개의 프레임들을 상기 서버로 송신한다.

또한, 상기 단말(1700)은 상기 N개의 프레임들을 동시에 서버(1600)로 송신할 수도 있고, 지정된 프레임들만 선택적으로 송신할 수 도 있다.

상기 서버(1600)는 영상정보를 단말로부터 수신한 이후, 상기 수신 영상정보를 특정부로 전달하는 단계(S1720)를 수행한다.

상기 서버(1600)를 구성하고 있는 로드밸런서부(1670)는 상기 서버(1600)를 구성하고 있는 특정부의 연산처리 능력 및 현재 처리하고 있는 연산처리량을 기준으로 상기 수신된 영상정보, 즉 프레임들을 분배한다. 또한, 상기 서버(1600)가 복수개의 서버로 구성될 경우, 상기 복수개의 서버를 구성하고 있는 특정부의 연산처리 능력 및 현재 처리하고 있는 연산처리량을 기준으로 상기 수신된 영상정보, 즉 프레임들을 분배할 수 있다. 또한, 상기 로드밸런서부(1670)는, 일 예로 인공신경망 알고리즘을 이용하여, 각각의 특정부가 특정 기능을 수행하기 위해서 연산처리용량, 연산량 등의 로드에 관한 실시간 정보를 획득하여, 상기 로드가 적은 특정부로 상기 수신영상정보를 전달한다. 이러한 로드밸런싱 기능을 적용하여, 상기 각각의 특정부의 연산처리 효율을 증대 시킬 수 있다.

또한, 상기 서버(1600)를 구성하는 로드밸런스부(1670)는 단말(1700)이 요청 또는 송신한 영상정보를 하나의 단위로 분배한다. 이러한 로드밸런싱 기능을 적용하여, 서버에 많은 수의 단말(1700)이 접속한 경우에도 활성화된 합성곱 신경망(CNN, Convolutional Neural Network)을 최대로 활용할 수 있다.

여기서, 특정부는, 도 16을 참조하여 기재하면, 휴먼포즈 생성부(1620), 레이블 맵 생성부(1630), 인체 레이블 맵 생성부(1640), 패치 맵 생성부(1652), 3D 매쉬 생성부(1652)을 포함하여 구성된다.

또한, 일 예로, 휴먼포즈 생성부(1620), 레이블 맵 생성부(1630), 인체 레이블 맵 생성부(1640), 패치 맵 생성부(1652), 3D 매쉬 생성부(1652)는 특정 기능 및 연산을 수행하는 프로세서로 구성되고, 하나 또는 복수개의 프로세서로 구성될 수 있다.

상기 수신 영상정보를 특정부로 전달하는 단계(S1720)가 수행된 이후, 상기 서버를 구성하는 특정부는 전달된 영상정보를 가공하는 단계(S1730)를 수행한다. 상기 서버를 구성하는 특정부는 전달된 영상정보를 가공하는 단계(S1730)는 상기 전달된 영상정보, 즉, 프레임들을 이용하여, 휴먼포즈 데이터 생성, 레이블 맵 생성, 3D 매쉬 생성 단계를 수행한다.

여기서, 상기 휴먼포즈 데이터 생성, 상기 레이블 맵 생성, 상기 3D 매쉬 생성 단계는 수신된 프레인 단위로 수행되고, 순서와 무관하게 선택적으로 수행할 수 있다.

1600 : 서버 1700 : 단말
1610 : 영상부 1710 : 영상부
1620 : 휴먼포즈 생성부 1720 : 휴먼포즈 생성부
1630 : 레이블 맵 생성부 1730 : 레이블 맵 생성부
1640 : 인체 레이블 맵 생성부 1740 : 인체 레이블 맵 생성부
1650 : 후면영상처리부 1750 : 후면영상처리부
1651 : 패치 맵 생성부 1751 : 패치 맵 생성부
1652 : 3D 매쉬 생성부 1752 : 3D 매쉬 생성부
1660 : 통신부 1780 : 통신부
1670 : 로드밸렌서부
1200: 영상정보 1210: 패치
1220: 서브 패치군 1410: 제 1평균서브패치군
1420: 제 1인접서브패치군

Claims (7)

1. 캐릭터 애니메이션 생성방법에 있어서,
   인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 단계;
   상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계; 및
   상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 단계;를 포함하는 것을 특징으로 하는, 캐릭터 애니메이션 생성방법.
2. 제 1항에 있어서,
   상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성 단계는,
   상기 제 1영상정보에 정면의 인체 영상이 포함된 경우, 상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하고, 상기 휴먼포즈 데이터를 관절정보로 저장하는 단계;
   상기 제 1영상정보로부터 레이블 맵을 생성하고, 상기 레이블 맵을 레이블 맵 정보로 저장하는 단계;
   상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 제 1인체 레이블 맵을 제 1인체 레이블 맵 정보로 저장하는 단계;
   상기 제 1인체 레이블 맵 정보로 저장하는 단계를 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 인체 레이블 맵을 인체 레이블 맵 정보로 저장하는 단계;를 포함하여 구성되는 것을 특징으로 하는 캐릭터 애니메이션 생성방법.
3. 제 2항에 있어서,
   상기 제 1 영상정보를 이용하여 상기 인체형 그림영역의 후면 영상을 추정하고, 상기 후면 영상에 대한 후면영상정보를 생성하는 단계;를 더 포함하고,
   상기 후면영상 정보를 생성하는 단계는,
   상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하여 상기 비인체 레이블 맵을 비인체 레이블 맵 정보로 저장하고, 상기 인체 레이블 맵 정보와 상기 비인체 레이블 맵 정보로 구성되는 제 2영상 정보를 생성하는 단계;
   상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하는 단계;
   상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하는 단계;
   상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하는 단계;
   상기 제 1서브패치군을 생성하는 단계를 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 수행하여, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하는 단계;
   상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하는 단계;
   상기 제 1평균서브패치군을 생성하는 단계를 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 단계;
   상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계; 및
   상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계;를 포함하고,
   상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 하는, 캐릭터 애니메이션 생성방법.
4. 제 3항에 있어서,
   상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계는,
   상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고,
   상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계는,
   상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성하고,
   상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, T개의 제 2후면서브패치군을 생성하여,
   상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 것을 특징으로 하는, 캐릭터 애니메이션 생성방법.
5. 제 4항에 있어서,
   상기 복수개의 제 1인접 평균서브패치군은,
   상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고,
   상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고,
   상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고,
   상기 제 1 가중치인 C는 이고,
   상기 제 2 가중치인 w는 이고,
   상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고,
   상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합인 것을 특징으로 하는, 캐릭터 애니메이션 생성방법.
6. 캐릭터 애니메이션 생성장치에 있어서,
   인체형 그림영역과 배경영역을 포함하는 2D 이미지로부터 상기 인체형 그림영역 정보를 추출하고, 상기 인체형 그림영역 정보를 제 1영상정보로 저장하는 영상부;
   상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하고, 상기 휴먼포즈 데이터를 관절정보로 저장하는 휴먼포즈 생성부;
   상기 제 1영상정보로부터 레이블 맵을 생성하고, 상기 레이블 맵을 레이블 맵 정보로 저장하는 레이블 맵 생성부;
   상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 제 1인체 레이블 맵을 제 1인체 레이블 맵 정보로 저장하고, 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 인체 레이블 맵을 인체 레이블 맵 정보로 저장하는 인체레이블 맵 생성부;
   상기 제 1영상정보의 후면영상을 추정하여 상기 후면 영상정보를 생성하고, 상기 제 1영상정보와 상기 후면 영상정보를 합성하여 후면보정 영상정보를 생성하고, 상기 캐릭터 후면보정 영상정보를 저장하는 후면영상처리부; 및
   단말로부터 캐릭터 애니메이션 생성 요청을 수신하는 통신부;를 포함하고,
   상기 인체 레이블 맵 생성부는,
   상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하여 상기 비인체 레이블 맵을 비인체 레이블 맵 정보로 저장하고, 상기 인체 레이블 맵 정보와 상기 비인체 레이블 맵 정보로 구성되는 제 2영상 정보를 생성하고,
   상기 후면영상처리부는,
   상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 패치 맵 생성부를 포함하고,
   상기 패치 맵 생성부는,
   상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하고,
   상기 복수개의 제 1인접 평균서브패치군은,
   상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고,
   상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고,
   상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고,
   상기 제 1 가중치인 C는
   이고,
   상기 제 2 가중치인 w는
   이고,
   상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은
   이고,
   상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합이고,
   상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있고,
   상기 영상부는,
   상기 제 1 영상정보와, 관절정보 및 인체 레이블 맵 정보를 이용하여 캐릭터 애니메이션 정보를 생성하고, 상기 캐릭터 애니메이션 정보를 이용하여 캐릭터 애니메이션을 생성하는 것을 특징으로 하는, 캐릭터 애니메이션 생성장치.
7. 제 6항에 있어서,
   로드밸런서부를 더 포함하고,
   상기 로드밸런서부는
   단말로부터 캐릭터 애니메이션 생성요청 정보가 포함된 제 1프레임이 수신되면, 상기 영상부, 상기 휴먼포즈 생성부, 상기 레이블 맵 생성부, 상기 인체레이블 맵 생성부, 및 상기 후면 영상처리부의 각각의 처리용량을 기초하여 우선순위를 부여하여 캐릭터 애니메이션을 생성하는 것을 특징으로 하는 캐릭터 애니메이션 생성장치.