KR102264803B1

KR102264803B1 - 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치

Info

Publication number: KR102264803B1
Application number: KR1020190166161A
Authority: KR
Inventors: 박태욱
Original assignee: 주식회사 옐로테일
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-06-15

Abstract

본 발명은 입력된 캐릭터가 포함된 이미지에서 윤곽선을 추출하고, 추출된 윤곽선에서 캐릭터의 외곽선을 추출하는 방식으로 캐릭터를 추출한다. 또한, 본 발명은 추출한 캐릭터에 매쉬를 매핑한 후, 입력된 동영상의 뼈대 및 관절 정보의 좌표 정보를 바탕으로 캐릭터 이미지의 뼈대 및 관절 정보를 계산하여 캐릭터 이미지의 움직임을 생성할 수 있다.

Description

이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치{METHOD FOR GENERATING CHARACTER ANIMATION THROUGH EXTRACTING A CHARACTER FROM AN IMAGE AND DEVICE USING THEREOF}

본 발명은 캐릭터 이미지를 추출하고 이를 바탕으로 캐릭터의 동작을 형성하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치에 관한 것이다.

컴퓨터 및 전자 기기의 발전 특히 SNS 의 발전 및 일상화에 따라 그 내용을 이루는 콘텐츠의 중요성이 더욱 중요시되고 있다. 특히 콘텐츠에 포함되는 캐릭터 또는 애니메이션에 대한 기술은 영상 기술의 발전과 더불어 매우 중요시 여겨지고 있다.

종래 기술에서는, 대부분의 캐릭터 제작과 애니메이션 생성은 플래쉬(FLASH) 나 3D MAX와 같은 범용 그래픽 프로그램을 이용하고 있다. 이 중 플래쉬는 다양한 애니메이션 효과를 매우 쉽게 구현 가능하다는 장점을 가지지만, 캐릭터 애니메이션을 다양하게 구현하기 어렵고, 사용자가 캐릭터를 플래쉬를 이용하여 직접 디자인하고 동작을 지정해 줘야 하는 어려움이 있었다. 그리고 3D 캐릭터의 경우에는 플래쉬 등을 이용한 2D 캐릭터보다 제작이 좀 더 복잡하고 어려운 문제점이 존재한다.

한편, 2D 이미지에서 캐릭터를 추출하여 캐릭터 애니케이션을 제작하는 방법도 제시되고 있으나, 현재 제시된 종래의 캐릭터 추출 방법은 2D 이미지에서 뼈대를 추출하고 해당 이미지에서 캐릭터를 포함한 넓은 영역을 추출하고 추출된 전체 영역을 이용하여 애니메이션 제작을 하는 방법만이 개시되어 있을 뿐이다. 이러한 기존의 캐릭터 애니메이션 제작 방법은 2D 이미지에서 캐릭터를 제대로 추출하지 못하는 문제점이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

본 발명은 사용자가 손쉽게 자신의 캐릭터를 만들어 자신의 동작을 따라 움직이는 캐릭터 애니메이션을 제작할 수 있도록 하는 것을 다른 목적으로 한다.

또한 본 발명은 입력 이미지에서 사용자의 캐릭터를 최적으로 추출하여 더 부드러움 움직임을 제공할 수 있도록 하는 것을 또다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 실시예에 따르면, (a) 사용자로부터 정지된 형상의 캐릭터를 포함하는 입력 이미지를 전달 받는 단계; (b) 상기 입력 이미지로부터 상기 캐릭터의 외곽선을 추출하고, 상기 추출된 상기 캐릭터의 외곽선을 이용하여 상기 캐릭터를 추출하는 단계; (c) 상기 추출된 캐릭터로부터 소정의 관절 위치를 결정하고, 상기 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 단계; 및 (d) 상기 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 상기 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하는 단계; 를 포함하는 캐릭터 애니메이션 생성 방법이 제공된다.

본 발명의 다른 실시예에서, 캐릭터 애니메이션 생성 방법은, (e) 상기 사용자로부터 입력된 소정의 동작으로부터 상기 캐릭터의 상기 제1 관절 및 뼈대 정보의 움직임을 반영하여 캐릭터의 동작을 형성하고 이를 저장하는 단계; 및 (f) 상기 저장된 캐릭터의 동작을 소정 입력 신호 또는 제어 명령에 응답하여 디스플레이하는 단계;를 더 포함한다.

본 발명의 다른 실시예에 따르면, 사용자로부터 정지된 형상의 캐릭터를 포함하는 입력 이미지를 전달 받는 이미지 입력부; 및 (i) 상기 입력 이미지로부터 상기 캐릭터의 외곽선을 추출하고, 상기 추출된 상기 캐릭터의 외곽선을 이용하여 상기 캐릭터를 추출하는 프로세스; (ii) 상기 추출된 캐릭터로부터 소정의 관절 위치를 결정하고, 상기 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 프로세스; (iii) 상기 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 상기 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하는 프로세스;를 수행하는 프로세서;를 포함하는 캐릭터 애니메이션 생성 장치가 개시된다.

본 발명의 또 다른 실시예에 따르면, 캐릭터 애니메이션 생성 장치의 상기 이미지 입력부는, 소정의 동작을 포함하는 사용자 동작 이미지를 더 입력받고, 상기 프로세서는, (iv) 상기 사용자로부터 입력된 소정의 동작 정보로부터 상기 캐릭터의 상기 제1 관절 및 뼈대 정보의 움직임을 반영하여 캐릭터의 동작을 형성하고 이를 저장하는 프로세스; 및 (v) 상기 저장된 캐릭터의 동작을 소정 입력 신호 또는 제어 명령에 응답하여 디스플레이하는 프로세스;를 더 수행한다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 사용자가 손쉽게 자신의 캐릭터를 만들어 자신의 동작을 따라 움직이는 캐릭터 애니메이션을 제작할 수 있다.

또한 본 발명은 입력 이미지에서 사용자의 캐릭터를 최적으로 추출하여 더 부드러움 움직임을 제공할 수 있다.

또한 본 발명은 사용자가 직접 자신의 캐릭터를 그리거나 사진을 찍으면 이를 이용하여 자신과 비슷한 캐릭터를 형성할 수 있고, 자신을 따라하거나 지정된 동작대로 움직이는 캐릭터 애니메이션을 제작할 수 있다.

또한 본 발명은 사용자의 입력 동영상을 반영하면서도, 움직이는 캐릭터의 전체적인 비율이 변형되지 않으면서 캐릭터 애니메이션을 생성할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 장치와 이를 이용하는 외부 단말기를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 방법의 흐름을 개략적으로 도시한 것이다.
도 3은 캐릭터 추출을 위한 입력 이미지의 다양한 예를 도시한 것이다.
도 4는 본 발명에 따른 캐릭터 이미지 추출 과정의 일 예를 도시한 것이다.
도 5는 사용자의 입력 동영상과 추출된 캐릭터를 연동하는 과정을 개략적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 사용자 입력 동영상에 연동하여 캐릭터의 동작을 생성하는 과정을 개략적으로 도시한 것이다.
도 7 및 도 8은 본 발명의 다른 실시예에 따라 캐릭터의 관절 좌표를 계산하는 예를 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 장치와 이를 이용하는 외부 단말기를 개략적으로 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 장치(100)는 이미지 입력부(101) 및 프로세서(103)를 포함한다.

도 2는 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 방법의 흐름을 개략적으로 도시한 것이다.

도 1 및 도 2를 참조하여 본 발명에 따른 캐릭터 애니메이션 생성 장치를 통해 캐릭터 애니메이션 생성 과정을 설명하면 다음과 같다.

우선, 캐릭터 애니메이션 생성 장치(100)의 이미지 입력부(101)는 사용자로부터 정지된 형상의 캐릭터를 포함한 입력 이미지를 전달받는 기능을 수행한다.

도 3은 캐릭터 추출을 위한 입력 이미지의 다양한 예를 도시한 것이다. 사용자가 입력하는 캐릭터 추출을 위한 입력 이미지에는 기존에 2D 캐릭터가 존재하는 이미지를 포함할 수 있다. 이 경우 사용자는 인터넷 등에서 자신이 좋아하는 캐릭터가 포함된 이미지를 저장하고, 이를 이미지 입력부(101)에 입력할 수 있을 것이다. 또한, 입력 이미지에는 사용자가 직접 자신의 캐릭터를 그려 이를 스캔 또는 저장한 이미지 일 수도 있다. 예를 들어 사용자가 태블릿 등에서 자신의 캐릭터를 직접 그리고 이를 저장 및 입력할 수 있을 것이다. 또한 사용자는 사용자 자신이 촬영된 사진 이미지나 사용자가 촬영한 다른 캐릭터 사진 이미지를 입력 이미지로 입력할 수도 있다. 여기서 더 나아가 사용자는 별도의 프로그램이나 애플리케이션을 통해 사진 이미지를 캐릭터로 변형하여 그 이미지를 입력 이미지로 사용할 수도 있을 것이다.

다시 도 1을 참조하면, 캐릭터 애니메이션 생성 장치(100의 프로세서(103)는, (i) 상기 입력 이미지로부터 상기 캐릭터의 외곽선을 추출하고, 상기 추출된 상기 캐릭터의 외곽선을 이용하여 상기 캐릭터를 추출하는 프로세스; (ii) 상기 추출된 캐릭터로부터 소정의 관절 위치를 결정하고, 상기 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 프로세스; (iii) 상기 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 상기 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하는 프로세스; (iv) 상기 사용자로부터 입력된 소정의 동작 정보로부터 상기 캐릭터의 상기 제1 관절 및 뼈대 정보의 움직임을 반영하여 캐릭터의 동작을 형성하고 이를 저장하는 프로세스; 및 (v) 상기 저장된 캐릭터의 동작을 소정 입력 신호 또는 제어 명령에 응답하여 디스플레이하는 프로세스;를 수행한다.

한편, 캐릭터 애니메이션 생성 장치(100)의 이미지 입력부(101)는 소정의 동작을 포함하는 사용자 동작 이미지를 더 입력받은 후, 상기 프로세서(103)의 (iv) 및 (v) 프로세스를 수행할 수 있다.

그리고 캐릭터 애니메이션 생성 장치(100)는 외부 단말기(200)의 디스플레이(201)부를 통해 생성된 캐릭터 애니메이션 동작을 재생할 수 있다.

도 2를 참조하여, 본 발명에 따른 캐릭터 애니메이션 생성 장치(100)를 이용하여 캐릭터 애니메이션을 생성하는 방법을 좀 더 구체적으로 설명하면 다음과 같다.

우선, 사용자가 캐릭터 애니메이션 생성 장치(100)의 이미지 입력부(101)를 통해 캐릭터를 포함한 2D 이미지를 입력 받는다(S10). 2D 이미지의 다양한 예는 도 3을 참조하여 위에서 설명한 바와 같다.

그런 다음, 캐릭터 애니메이션 생성 장치(100)의 프로세서(103)를 통해, 입력 이미지로부터 윤곽선을 추출하고, 추출된 윤곽선으로부터 캐릭터의 외곽선을 추출한다(S20). 그리고 추출된 외곽선을 이용하여 입력 이미지에서 캐릭터를 추출한다(S30)

도 4는 본 발명에 따른 캐릭터 이미지 추출 과정의 일 예를 도시한 것이다.

도 4를 참조하면, 프로세서(103)는 입력 이미지(a)에서 캐릭터의 윤곽선(b)을 추출하고, 추출된 상기 캐릭터의 외곽에 존재하는 윤곽선으로부터 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지(c)를 상기 캐릭터로서 추출한다.

이때 프로세서(103)는 상기 (S20) 단계를 수행하는 프로세스에서, 컴퓨터비전 알고리즘을 이용하여 상기 입력 이미지에 포함된 캐릭터의 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지를 상기 캐릭터로서 추출할 수 있다. 일 예로, 프로세서(103)는 컴퓨터비전 알고리즘으로 Canny Edge Detection 알고리즘을 이용하여 입력 이미지에서 윤곽선을 추출하고 또 다른 컴퓨터비전 알고리즘으로 Concave Hull 알고리즘을 이용하여 윤곽선에서 캐릭터의 외곽선을 추출할 수 있다. 그리고 나면 추출된 외곽선을 이용하여 입력 이미지에서 캐릭터를 추출할 수 있게 된다.

다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 방법은 추출된 캐릭터에서 소정 관절 위치를 결정하고 관절 위치를 기반으로 뼈대를 형성한다(S40). 구체적으로 프로세서(103)는 추출된 상기 캐릭터로부터 소정의 관절 위치를 결정하고, 도 4의 (d) 에 도시된 바와 같이, 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 캐릭터의 제1 관절 및 뼈대 정보를 형성한다. 이 경우. BODY25 기준 등 소정의 기본 관절 정보 기준을 바탕으로 관절 정보를 만들고 이에 기반하여 뼈대 정보를 만드는 방법을 적용할 수 있다. 이때 관절 정보는 사람 몸의 모든 관절 정보를 이용할 필요는 없고, 목, 허리, 어깨, 팔꿈치, 손목, 허벅지, 무릎 및 발목 관절 정보만을 이용하여 생성하는 것이 바람직하다. 또한, 이 경우에도 소정의 딥러닝 알고리즘을 이용하여 상기 추출된 캐릭터의 관절 위치를 결정하고 결정된 관절 위치를 연결하여 뼈대 정보를 형성하여 제1 관절 및 뼈대 정보를 생성할 수도 있을 것이다.

그런 다음 다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 캐릭터 애니메이션 생성 방법은 캐릭터 내부를 매쉬로 매핑한다(S50). 구체적으로 도 4의 (e)에 도시된 바와 같이, 프로세서(103)는 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 상기 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하게 된다. 구체적으로 프로세서(103)는 캐릭터 이미지 내부를 다수의 다각형으로 분할한 후, 상기 분할된 다수의 다각형을 유사한 크기의 다각형들로 정규화하여 상기 캐릭터 이미지 내부를 메쉬로 매핑한다. 일 실시예에서 본 발명은 Constrained Delaunay Triangulation을 적용하여 캐릭터 내부를 다수의 삼각형으로 분할하여 캐릭터 내부를 메쉬화하고, Lloyd Optimization 을 적용하여 내부 메쉬, 즉 삼각형들을 정규화하는 방법을 사용할 수 있다.

다시 도 2를 참조하면, 본 발명에 따른 캐릭터 애니메이션 생성 방법은 사용자로부터 소정의 동작 데이터를 입력 받고(S60), 사용자의 동작 데이터를 이용하여 캐릭터의 동작을 생성한 캐릭터 애니메이션을 제작한다(S70).

도 5는 사용자의 입력 동영상과 추출된 캐릭터를 연동하는 과정을 개략적으로 도시한 것이고, 도 6은 본 발명의 일 실시예에 따른 사용자 입력 동영상에 연동하여 캐릭터의 동작을 생성하는 과정을 개략적으로 도시한 것이다.

도 5 및 도 6을 참조하면, 사용자는 자신의 동작을 캠코더나 스마트폰의 애플리케이션을 이용하여 실시간으로 캐릭터 애니메이션 생성 장치(100)의 이미지 입력부(101) 또는 다른 입력부를 통해 입력한다. 다른 실시예에서 사용자는 자신의 동작이 녹화되어 저장된 영상 데이터를 캐릭터 애니메이션 생성 장치(100)의 이미지 입력부(101) 또는 다른 입력부를 통해 입력할 수도 있다. 그러면 프로세서(103)는 입력된 사용자의 동작 데이터에서 추출된 각각의 상기 사용자 이미지에서 제2 관절 및 뼈대 정보를 추출하고, 상기 제1 관절 및 뼈대 정보와 상기 제2 관절 및 뼈대 정보를 매칭한다. 입력 동영상에 포함된 이미지에서 제2 관절 및 뼈대 정보를 추출하는 방법은 캐릭터 이미지에서 제1 관절 및 뼈대 정보를 추출하는 방법을 동일하게 이용할 수도 있다. 도 5를 참조하면, 입력 동영상에 포함된 이미지에서 제2 관절 및 뼈대 정보를 추출하고, 캐릭터의 제1 관절 및 뼈대 정보와 동영상 이미지에서 제2 관절 및 뼈대 정보를 매칭하는 예를 볼 수 있다.

그런 다음 프로세서(103)는 도 6에 도시된 바와 같이, 입력 동영상, 즉 사용자의 동작 데이터의 상기 제2 관절 및 뼈대 정보의 움직임을 이용하여 상기 제1 관절 및 뼈대 정보의 움직임을 형성함으로써, 캐릭터의 동작을 형성하게 된다. 즉, 제2 관절 및 뼈대 정보가 도 6의 상단에 도시된 바와 같이 좌측에서 우측과 같이 동작하면, 캐릭터의 제1 관절 및 뼈대 정보도 도 6의 상단에 도시된 바와 같이 좌측에서 우측과 같이 동작하고, 이를 매쉬가 매핑된 캐릭터에 반영하면 도 6의 하단에 도시된 바와 같이 좌측에서 우측과 같이 캐릭터 이미지의 동작이 생성될 수 있다.

도 7 및 도 8은 본 발명의 다른 실시예에 따라 캐릭터의 관절 좌표를 계산하는 예를 도시한 것이다.

앞에서 설명한 바와 같이 사용자의 동영상에서 추출한 제2 관절 및 뼈대 정보의 움직임을 그대로 제1 관절 및 뼈대 정보에 반영할 수도 있지만, 동영상에서 추출한 제2 관절 및 뼈대 정보와는 별도로 제1 관절 및 뼈대 정보의 움직임은 제2 관절 및 뼈대 정보를 참조하여 별도로 계산된 정보를 사용할 수 있다. 이 경우 캐릭터는 사용자의 실제 비율과 달리 캐릭터의 모델 비율을 그대로 유지하면서 동작하는 것이 가능해진다. 즉, 캐릭터 이미지의 비율은 실제 사용자의 동작 이미지에서의 실제 사람 비율과 다를 수 있는데, 사용자의 동작 이미지에서 관절 및 뼈대 정보의 움직임을 캐릭터에 동일하게 그대로 적용하면, 캐릭터 이미지의 비율이 실제 사람의 모습과 유사하게 변형될 수 있고, 이 경우 캐릭터 이미지의 모습이 망가질 수 있는 단점이 존재한다. 이러한 단점을 없애기 위해 본 발명의 다른 실시예에서는 캐릭터의 비율을 유지하면서 애니메이션을 생성하기 위해 사용자의 관절 좌표의 각도 만을 채용하여 캐릭터의 제1 관절 및 뼈대 정보를 생성하고, 제1 관절 및 뼈대 정보의 움직임을 만들어 내는 방법을 이용할 수 있다.

본 발명의 실시예들에서 움직이는 모델의 관절 정보는 모두 기준 관절 정보 중 코(nose) 좌표 기준의 상대 좌표로 저장될 수 있다. 즉, 사용자의 동영상에서 추출한 이미지에서 제2 관절 및 뼈대 정보를 추출하고 제2 관절 정보가 움직이는 좌표를 저장할 때, 코와 목 관절의 좌표는 사용자 동영상 이미지의 좌표와 동일하게 움직이게 하고, 나머지 관절 좌표들(목 이하 각 관절 좌표)들은 도 7 및 도 8의 예와 같이 계산을 통해 결정할 수 있다.

예를 들어, 도 7을 참조하면, 입력된 사용자의 동작 데이터에서 사용자의 관절 좌표(제2 관절 및 뼈대 정보 중 관절 좌표)를 이용하여 관절의 각도(θ)를 계산할 수 있다. 그 계산식의 일 예는 아래 수학식 1과 같다.

[수학식 1]

θ = atan((J1.y - J2.y)/(J1.x - J2.x)) - atan((J3.y-J2.y)/(J3.x-J2.x))

여기서 J1.x, J1.y 는 각각 J1 관절의 x 좌표 및 y 좌표이고, J2.x, J2.y 는 각각 J2 관절의 x 좌표 및 y 좌표이며, J3.x, J3.y 는 각각 J3 관절의 x 좌표 및 y 좌표이다.

또한, 입력된 사용자의 동작 데이터에서 사용자의 관절 좌표를 기준으로 캐릭터의 뼈대 비율은 아래 수학식 2 및 수학식 3을 통해서 산출할 수 있다.

[수학식 2]

두 관절 좌표 사이의 거리 = sqrt((J2.x - J1.x)*(J2.x - J1.x) + (J2.y - J1.y)*(J2.y - J1.y))

[수학식 3]

R = oldL1 / L1

여기서 OldL1은 이전 프레임의 J2 관절 좌표와 OldJ3 관절 좌표 사이의 길이이고, L1은 다음 프레임의 J2 관절 좌표와 J3 관절 좌표 사이의 길이이다. 그리고 R은 움직일 때 변한 뼈대의 길이 비율이다.

그런 다음, 도 8에 도시된 바와 같이, 입력된 사용자의 동작 데이터의 제2 관절 및 뼈대 정보에서 계산된 값을 이용하여 캐릭터의 제1 관절 및 뼈대 정보를 산출할 수 있다. 이러한 산출식의 일 예는 아래 수학식과 같다.

[수학식 4]

L2 = oldL2 * R

즉, 도 8에 도시된 바와 같이 캐릭터의 관절 좌표(J2)와 수학식 1에서 구한 각도(θ) 및 수학식 4에서 구한 캐릭터의 관절 좌표(J2 및 J3) 사이의 거리(L2)를 이용하여 이전 관절 좌표(OldJ3)에서 이동한 새로운 관절 좌표(J3)를 산출한다.

즉, 본 발명의 다른 실시예에서는, 입력된 상기 사용자의 동작 데이터에서 추출된 각각의 상기 사용자 이미지에서 제2 관절 및 뼈대 정보를 추출하고, 상기 제2 관절 정보들의 관절 좌표를 이용하여 관절의 각도를 산출하고, 상기 동작 데이터에서의 제2 관절 및 뼈대 정보에서 뼈대 길이의 비율을 산출하고, 산출된 상기 관절 각도와 뼈대 길이의 비율을 이용하여, 상기 캐릭터의 제1 관절 및 뼈대 정보의 좌표를 계산함으로써, 상기 캐릭터의 동작을 형성할 수 있는 것이다.

이러한 계산 방법을 통해 본 발명에서는, 사전 제작된 동작, 일반 카메라 및 카메라를 통해 입력된 동영상에서 추출된 관절의 좌표 정보(제2 관절 및 뼈대 정보)와 별도로 계산된 각도 정보를 사용하며, 움직이는 캐릭터의 전체적인 비율이 변형되지 않으면서 캐릭터 애니메이션을 생성할 수 있게 된다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

캐릭터 애니메이션 생성 방법에 있어서,
(a) 사용자로부터 정지된 형상의 캐릭터를 포함하는 입력 이미지를 전달 받는 단계;
(b) 상기 입력 이미지로부터 상기 캐릭터의 외곽선을 추출하고, 상기 추출된 상기 캐릭터의 외곽선을 이용하여 상기 캐릭터를 추출하는 단계;
(c) 상기 추출된 캐릭터로부터 소정의 관절 위치를 결정하고, 상기 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 단계;
(d) 상기 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하는 단계;
(e) 상기 사용자로부터 입력된 소정의 동작으로부터 상기 캐릭터의 상기 제1 관절 및 뼈대 정보의 움직임을 반영하여 캐릭터의 동작을 형성하고 이를 저장하는 단계; 및
(f) 상기 저장된 캐릭터의 동작을 소정 입력 신호 또는 제어 명령에 응답하여 디스플레이하는 단계;
를 포함하고,
상기 (e) 단계는,
상기 사용자로부터 상기 사용자의 동작 데이터를 실시간으로 입력 받거나, 상기 사용자의 동작이 녹화된 영상 데이터를 입력받고,
상기(e) 단계는,
상기 입력된 상기 사용자의 동작 데이터에서 추출된 각각의 상기 사용자의 이미지에서 제2 관절 및 뼈대 정보를 추출하고, 상기 제2 관절 정보들의 관절 좌표를 이용하여 관절의 각도를 산출하고, 상기 동작 데이터에서의 제2 관절 및 뼈대 정보에서 뼈대 길이의 비율을 산출하고, 산출된 상기 관절의 각도와 상기 뼈대 길이의 비율을 이용하여 상기 캐릭터의 제1 관절 및 뼈대 정보의 좌표를 계산함으로써, 상기 캐릭터의 동작을 형성하고,
상기 제2 관절 정보들이 움직이는 좌표는, 코와 목 관절의 좌표는 상기 사용자의 이미지의 좌표와 동일하게 움직이게 하고, 나머지 관절의 좌표는 계산을 통해 결정하고,
상기 관절의 각도를 산출하는 것은 하기의 수학식 1로 수행하고,
[수학식 1]
θ = atan((J1.y - J2.y)/(J1.x - J2.x)) - atan((J3.y-J2.y)/(J3.x-J2.x))
-여기서 θ 는 관절의 각도, J1.x, J1.y 는 각각 J1 관절의 x 좌표 및 y 좌표이고, J2.x, J2.y 는 각각 J2 관절의 x 좌표 및 y 좌표이며, J3.x, J3.y 는 각각 J3 관절의 x 좌표 및 y 좌표를 나타냄-
상기 뼈대 길이의 비율을 산출하는 것은 하기의 수학식 2 및 3으로 수행하고,
[수학식 2]
두 관절 좌표 사이의 거리 = sqrt((J2.x - J1.x)*(J2.x - J1.x) + (J2.y - J1.y)*(J2.y - J1.y))
[수학식 3]
R = oldL1 / L1
-여기서 OldL1은 이전 프레임의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이고, L1은 다음 프레임의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이며, R은 움직일 때 변한 뼈대의 길이 비율을 나타냄-
산출된 상기 관절의 각도와 상기 뼈대 길이의 비율을 이용하여 상기 캐릭터의 제1 관절 및 뼈대 정보의 좌표를 계산하는 것은 하기의 수학식 4로 수행하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
[수학식 4]
L2 = oldL2 * R
-여기서, oldL2는 상기 캐릭터의 이전의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이고, L2는 상기 캐릭터의 새로운 J2 관절 좌표와 J3 관절 좌표 사이의 길이를 나타냄-
삭제
제1항에 있어서,
상기 (a) 단계에서,
상기 입력 이미지는 2D 캐릭터 이미지 또는 사진 이미지인 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제3항에 있어서,
상기 2D 캐릭터 이미지는 상기 사용자가 직접 입력하여 그린 2D 캐릭터 이미지인 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 캐릭터의 외곽선은 상기 입력 이미지에서 상기 캐릭터의 윤곽선을 추출하고 추출된 상기 캐릭터의 외곽에 존재하는 윤곽선으로부터 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지를 상기 캐릭터로서 추출하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 캐릭터의 외곽선은 컴퓨터비전 알고리즘을 이용하여 상기 입력 이미지에 포함된 캐릭터의 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지를 상기 캐릭터로서 추출하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제6항에 있어서,
상기 (b) 단계에서,
상기 컴퓨터비전 알고리즘은 Canny Edge Detection 알고리즘 및 Concave Hull 알고리즘 중 적어도 하나를 사용하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 캐릭터로부터 소정의 관절 위치를 결정하는 단계는, 소정의 딥러닝 알고리즘을 이용하여 상기 추출된 캐릭터의 관절 위치를 결정하며,
상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 단계는, 상기 결정된 관절 위치 및 소정의 기본 관절 정보 기준을 바탕으로, 상기 캐릭터의 관절 정보를 만들고 상기 관절 정보에 기반하여 상기 캐릭터의 뼈대 정보를 생성하여 상기 제1 관절 및 뼈대 정보를 형성하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
제1항에 있어서,
상기 (d) 단계는,
상기 캐릭터 이미지 내부를 다수의 다각형으로 분할한 후, 상기 분할된 다수의 다각형을 유사한 크기의 다각형들로 정규화하여 상기 캐릭터 이미지 내부를 메쉬로 매핑하는 것을 특징으로 하는 캐릭터 애니메이션 생성 방법.
삭제
삭제
삭제
캐릭터 애니메이션 생성 장치에 있어서,
사용자로부터 정지된 형상의 캐릭터를 포함하는 입력 이미지를 전달 받는 이미지 입력부; 및
(i) 상기 입력 이미지로부터 상기 캐릭터의 외곽선을 추출하고, 상기 추출된 상기 캐릭터의 외곽선을 이용하여 상기 캐릭터를 추출하는 프로세스; (ii) 상기 추출된 캐릭터로부터 소정의 관절 위치를 결정하고, 상기 결정된 관절 위치를 바탕으로 기본 뼈대를 형성하여 상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 프로세스; (iii) 상기 캐릭터 이미지의 내부를 다수의 다각형으로 분할된 메쉬를 적용하여 상기 메쉬의 변형에 대응하여 전체적인 캐릭터가 움직일 수 있는 상기 메쉬가 매핑된 애니메이션 캐릭터를 모델링하는 프로세스; 를 수행하는 프로세서;를 포함하고,
상기 이미지 입력부는, 소정의 동작을 포함하는 사용자 동작 이미지를 더 입력받고,
상기 프로세서는,
(iv) 상기 사용자로부터 입력된 소정의 동작 정보로부터 상기 캐릭터의 상기 제1 관절 및 뼈대 정보의 움직임을 반영하여 캐릭터의 동작을 형성하고 이를 저장하는 프로세스; 및 (v) 상기 저장된 캐릭터의 동작을 소정 입력 신호 또는 제어 명령에 응답하여 디스플레이하는 프로세스;를 더 수행하고,
상기 (iv) 프로세스는,
상기 사용자로부터 상기 사용자의 동작 데이터를 실시간으로 입력 받거나, 상기 사용자의 동작이 녹화된 영상 데이터를 입력받고,
상기 (iv) 프로세스는,
상기 입력된 상기 사용자의 동작 데이터에서 추출된 각각의 상기 사용자의 이미지에서 제2 관절 및 뼈대 정보를 추출하고, 상기 제2 관절 정보들의 관절 좌표를 이용하여 관절의 각도를 산출하고, 상기 동작 데이터에서의 제2 관절 및 뼈대 정보에서 뼈대 길이의 비율을 산출하고, 산출된 상기 관절 각도와 뼈대 길이의 비율을 이용하여, 상기 캐릭터의 제1 관절 및 뼈대 정보의 좌표를 계산함으로써, 상기 캐릭터의 동작을 형성하고,
상기 제2 관절 정보들이 움직이는 좌표는, 코와 목 관절의 좌표는 상기 사용자의 이미지의 좌표와 동일하게 움직이게 하고, 나머지 관절의 좌표는 계산을 통해 결정하고,
상기 관절의 각도를 산출하는 것은 하기의 수학식 1로 수행하고,
[수학식 1]
θ = atan((J1.y - J2.y)/(J1.x - J2.x)) - atan((J3.y-J2.y)/(J3.x-J2.x))
-여기서 θ 는 관절의 각도, J1.x, J1.y 는 각각 J1 관절의 x 좌표 및 y 좌표이고, J2.x, J2.y 는 각각 J2 관절의 x 좌표 및 y 좌표이며, J3.x, J3.y 는 각각 J3 관절의 x 좌표 및 y 좌표를 나타냄-
상기 뼈대 길이의 비율을 산출하는 것은 하기의 수학식 2 및 3으로 수행하고,
[수학식 2]
두 관절 좌표 사이의 거리 = sqrt((J2.x - J1.x)*(J2.x - J1.x) + (J2.y - J1.y)*(J2.y - J1.y))
[수학식 3]
R = oldL1 / L1
-여기서 OldL1은 이전 프레임의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이고, L1은 다음 프레임의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이며, R은 움직일 때 변한 뼈대의 길이 비율을 나타냄-
산출된 상기 관절의 각도와 상기 뼈대 길이의 비율을 이용하여 상기 캐릭터의 제1 관절 및 뼈대 정보의 좌표를 계산하는 것은 하기의 수학식 4로 수행하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
[수학식 4]
L2 = oldL2 * R
-여기서, oldL2는 상기 캐릭터의 이전의 J2 관절 좌표와 J3 관절 좌표 사이의 길이 이고, L2는 상기 캐릭터의 새로운 J2 관절 좌표와 J3 관절 좌표 사이의 길이를 나타냄-
삭제
제13항에 있어서,
상기 입력 이미지는 2D 캐릭터 이미지 또는 사진 이미지인 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제15항에 있어서,
상기 2D 캐릭터 이미지는 상기 사용자가 직접 입력하여 그린 2D 캐릭터 이미지인 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제13항에 있어서,
상기 (i) 프로세스에서,
상기 캐릭터의 외곽선은 상기 입력 이미지에서 상기 캐릭터의 윤곽선을 추출하고 추출된 상기 캐릭터의 외곽에 존재하는 윤곽선으로부터 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지를 상기 캐릭터로서 추출하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제13항에 있어서,
상기 (i) 프로세스에서,
상기 캐릭터의 외곽선은 컴퓨터비전 알고리즘을 이용하여 상기 입력 이미지에 포함된 캐릭터의 외곽선을 추출하고, 상기 이미지에서 상기 외곽선을 따라 추출한 이미지를 상기 캐릭터로서 추출하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제18항에 있어서,
상기 (i) 프로세스에서,
상기 컴퓨터비전 알고리즘은 Canny Edge Detection 알고리즘 및 Concave Hull 알고리즘 중 적어도 하나를 사용하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제13항에 있어서,
상기 (ii) 프로세스에서,
상기 캐릭터로부터 소정의 관절 위치를 결정하는 프로세스는, 소정의 딥러닝 알고리즘을 이용하여 상기 추출된 캐릭터의 관절 위치를 결정하며,
상기 캐릭터의 제1 관절 및 뼈대 정보를 형성하는 프로세스는, 상기 결정된 관절 위치 및 소정의 기본 관절 정보 기준을 바탕으로, 상기 캐릭터의 관절 정보를 만들고 상기 관절 정보에 기반하여 상기 캐릭터의 뼈대 정보를 생성하여 상기 제1 관절 및 뼈대 정보를 형성하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
제13항에 있어서,
상기 (iii) 프로세스는,
상기 캐릭터 이미지 내부를 다수의 다각형으로 분할한 후, 상기 분할된 다수의 다각형을 유사한 크기의 다각형들로 정규화하여 상기 캐릭터 이미지 내부를 메쉬로 매핑하는 것을 특징으로 하는 캐릭터 애니메이션 생성 장치.
삭제
삭제
삭제