KR102334705B1

KR102334705B1 - 웹툰 드로잉 장치 및 방법

Info

Publication number: KR102334705B1
Application number: KR1020210075526A
Authority: KR
Inventors: 권귀태
Original assignee: 주식회사 위딧
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2021-12-03

Abstract

웹툰 드로잉 장치 및 방법이 제공된다. 본 발명의 일 실시예에 따른 웹툰 드로잉 장치는, 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는 영상 입력 모듈; 상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하며, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 포즈 추정 모듈; 상기 사용자로부터 드로잉(drawing)하고자 하는 캐릭터에 대한 비율을 입력 받고, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성하는 모형 이미지 생성 모듈; 및 상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시하는 모형 이미지 표시 모듈을 포함한다.

Description

웹툰 드로잉 장치 및 방법{APPARATUS AND METHOD FOR DRAWING WEBTOON}

본 발명의 실시예들은 웹툰을 드로잉하는 기술과 관련된다.

일반적으로 만화는 인물, 동물, 사물 등의 모습을 간결하고 익살스럽게 그리거나 과장하여 나타낸 그림을 말하며, 짤막한 지문을 넣어 유머나 풍자 또는 일정한 줄거리를 담아 읽을거리를 제공한다. 이러한 만화는 오프라인에서 만화책을 통하여 소비하였으나, 최근 인터넷의 발전에 따라 웹툰 등을 통해 온라인으로 만화를 소비하는 경향이 높아졌다. 또한, CG(Computer Graphic)의 발달로 인하여 웹툰을 제작할 수 있는 통합 개발 환경이 제공되고 있다.

한편, 웹툰을 제작하는 과정에서 데포르메 기법이 사용되고 있다. 데포르메란, 캐릭터의 모습 중 일부가 과장되어 표현되거나 연출에 따라 늘어났다 줄어들었다 하는 것으로, 작가의 의도대로 캐릭터의 외형을 변형하는 기법이다. 이에, 작가는 캐릭터에 대한 포즈, 구도 및 신체 비율을 구상하여 드로잉을 진행하고 있다.

그러나, 기존의 웹툰을 제작할 수 있는 통합 개발 환경에서는 작가가 데포르메 기법을 사용하기 위하여 캐릭터에 대한 포즈, 구도 및 신체 비율을 직관적으로 파악하여 참고하면서 그릴 수 있는 콘텐츠가 제공되지 않으며, 특히 작가가 원하는 비율, 형태를 갖는 단순화된 인물형태를 구하기 어려운 문제가 있다. 또한, 종래에는 작가가 캐릭터를 드로잉하더라도 캐릭터의 채색까지 일일이 수작업으로 진행함에 따라 캐릭터의 완성까지 많은 시간과 노력이 소요되는 문제가 있다.

대한민국 등록특허공보 제10-1011194호 (2011.01.20.)

본 발명의 실시예들은 사용자(작가)가 웹툰을 제작하는 과정에서 데포르메 기법을 사용하기 위해 참고할 수 있도록 하는 2차원 모형 이미지를 제공하고, 이를 기반으로 한 캐릭터의 완성 후 인공지능(AI) 기술을 통해 캐릭터를 자동 채색해주는 수단을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는 영상 입력 모듈; 상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하며, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 포즈 추정 모듈; 상기 사용자로부터 드로잉(drawing)하고자 하는 캐릭터에 대한 비율을 입력 받고, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성하는 모형 이미지 생성 모듈; 및 상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시하는 모형 이미지 표시 모듈을 포함하는, 웹툰 드로잉 장치가 제공된다.

상기 포즈 추정 모듈은, 상기 영상 데이터로부터 상기 노드 정보를 추출하여 3차원 좌표 정보로 변환하고, 상기 에지 정보를 출력하도록 학습되는 제1 머신 러닝 모델을 포함하는 제1 머신 러닝 모듈; 및 상기 제1 머신 러닝 모듈에서 출력된 상기 3차원 좌표 정보 및 상기 에지 정보를 기반으로 상기 3차원 포즈 정보를 생성하는 포즈 생성부를 포함할 수 있다.

상기 제1 머신 러닝 모듈은, 상기 영상 데이터로부터 상기 오브젝트의 특징을 추출하여 특징 이미지를 생성하도록 학습되는 특징 추출부; 상기 특징 이미지를 입력 받고, 상기 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 상기 노드 정보를 생성하도록 학습되는 노드 추출부; 상기 영상 데이터 및 상기 특징 이미지를 입력 받고, 상기 영상 데이터로부터 상기 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출하며, 산출된 상기 깊이 정보를 기반으로 상기 노드 정보를 상기 3차원 좌표 정보로 변환하도록 학습되는 3차원 변환부; 및 상기 3차원 좌표 정보를 입력 받고, 상기 3차원 좌표 정보를 기반으로 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 에지 추출부를 포함할 수 있다.

상기 포즈 생성부는, 상기 3차원 좌표 정보에 포함된 관절과 상기 에지 정보에 포함된 경로와의 상호 연관성을 토대로 상기 3차원 포즈 정보를 생성할 수 있다.

상기 모형 이미지 생성 모듈은, 상기 사용자로부터 신체 비율을 입력 받고, 상기 3차원 포즈 정보로부터 상기 신체 비율에 따른 상기 2차원 모형 이미지를 생성하도록 학습되는 제2 머신 러닝 모델을 포함하는 제2 머신 러닝 모듈을 포함할 수 있다.

상기 제2 머신 러닝 모듈은, 상기 3차원 포즈 정보를 입력 받고, 입력된 상기 신체 비율에 따라 상기 3차원 포즈 정보에 포함된 경로를 조절하며, 조절된 상기 경로에 따라 상기 3차원 포즈 정보에 포함된 관절의 위치를 변경하고, 변경된 상기 관절 및 조절된 상기 경로에 따라 상기 2차원 모형 이미지를 생성할 수 있다.

상기 모형 이미지 생성 모듈은, 상기 사용자로부터 얼굴 비율을 입력 받고, 상기 얼굴 비율에 따라 상기 2차원 모형 이미지의 얼굴 비율을 조절하도록 학습되는 제3 머신 러닝 모델을 더 포함할 수 있다.

상기 웹툰 드로잉 장치는, 상기 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받고, 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색하는 채색 모듈을 더 포함할 수 있다.

상기 채색 모듈은, 특정 오브젝트의 각 영역이 채색된 제1 학습 데이터 및 상기 특정 오브젝트의 각 영역이 채색되지 않은 제2 학습 데이터를 다수 개 입력 받는 제1 입력부; 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 드로잉한 작가의 식별 정보를 입력 받는 제2 입력부; 및 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 상기 작가의 식별 정보와 매칭시켜 각 작가별 채색 스타일을 학습하도록 구성되는 제4 머신 러닝 모델을 포함하는 제4 머신 러닝 모듈을 포함할 수 있다.

상기 제4 머신 러닝 모델은, 입력된 상기 채색 스타일 정보에 포함된 작가의 식별 정보에 대응되는 작가를 선택하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색할 수 있다.

본 발명의 다른 예시적인 실시예에 따르면, 영상 입력 모듈에서, 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는 단계; 포즈 추정 모듈에서, 상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하는 단계; 상기 포즈 추정 모듈에서, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 단계; 모형 이미지 생성 모듈에서, 상기 사용자로부터 드로잉하고자 하는 캐릭터에 대한 비율을 입력 받는 단계; 상기 모형 이미지 생성 모듈에서, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성하는 단계; 및 모형 이미지 표시 모듈에서, 상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시하는 단계를 포함하는, 웹툰 드로잉 방법이 제공된다.

상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 단계는, 제1 머신 러닝 모듈에서, 상기 영상 데이터로부터 상기 노드 정보를 추출하여 3차원 좌표 정보로 변환하고, 상기 에지 정보를 출력하도록 학습되는 단계; 및 상기 포즈 생성부에서, 상기 제1 머신 러닝 모듈에서 출력된 상기 3차원 좌표 정보 및 상기 에지 정보를 기반으로 상기 3차원 포즈 정보를 생성하는 단계를 포함할 수 있다.

상기 에지 정보를 출력하도록 학습되는 단계는, 특징 추출부에서, 상기 영상 데이터로부터 상기 오브젝트의 특징을 추출하여 특징 이미지를 생성하도록 학습되는 단계; 노드 추출부에서, 상기 특징 이미지를 입력 받고, 상기 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 상기 노드 정보를 생성하도록 학습되는 단계; 3차원 변환부에서, 상기 영상 데이터 및 상기 특징 이미지를 입력 받고, 상기 영상 데이터로부터 상기 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출하며, 산출된 상기 깊이 정보를 기반으로 상기 노드 정보를 상기 3차원 좌표 정보로 변환하도록 학습되는 단계; 및 에지 추출부에서, 상기 3차원 좌표 정보를 입력 받고, 상기 3차원 좌표 정보를 기반으로 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 단계를 포함할 수 있다.

상기 3차원 포즈 정보를 생성하는 단계는, 상기 3차원 좌표 정보에 포함된 관절과 상기 에지 정보에 포함된 경로와의 상호 연관성을 토대로 상기 3차원 포즈 정보를 생성할 수 있다.

상기 2차원 모형 이미지를 생성하는 단계는, 제2 머신 러닝 모듈에서, 상기 사용자로부터 신체 비율을 입력 받고, 상기 3차원 포즈 정보로부터 상기 신체 비율에 따른 상기 2차원 모형 이미지를 생성하도록 학습되는 단계를 포함할 수 있다.

상기 신체 비율에 따른 상기 2차원 모형 이미지를 생성하도록 학습되는 단계는, 상기 3차원 포즈 정보를 입력 받고, 입력된 상기 신체 비율에 따라 상기 3차원 포즈 정보에 포함된 경로를 조절하며, 조절된 상기 경로에 따라 상기 3차원 포즈 정보에 포함된 관절의 위치를 변경하고, 변경된 상기 관절 및 조절된 상기 경로에 따라 상기 2차원 모형 이미지를 생성할 수 있다.

상기 2차원 모형 이미지를 생성하는 단계는, 제3 머신 러닝 모듈에서, 상기 사용자로부터 얼굴 비율을 입력 받고, 상기 얼굴 비율에 따라 상기 2차원 모형 이미지의 얼굴 비율을 조절하도록 학습되는 단계를 더 포함할 수 있다.

상기 웹툰 드로잉 방법은, 채색 모듈에서, 상기 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받는 단계; 및 상기 채색 모듈에서, 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색하는 단계를 더 포함할 수 있다.

상기 각 영역을 자동으로 채색하는 단계는, 제1 입력부에서, 특정 오브젝트의 각 영역이 채색된 제1 학습 데이터 및 상기 특정 오브젝트의 각 영역이 채색되지 않은 제2 학습 데이터를 다수 개 입력 받는 단계; 제2 입력부에서, 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 드로잉한 작가의 식별 정보를 입력 받는 단계; 및 제4 머신 러닝 모듈에서, 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 상기 작가의 식별 정보와 매칭시켜 각 작가별 채색 스타일을 학습하는 단계를 포함할 수 있다.

상기 각 영역을 자동으로 채색하는 단계는, 상기 제4 머신 러닝 모듈에서, 입력된 상기 채색 스타일 정보에 포함된 작가의 식별 정보에 대응되는 작가를 선택하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면, 사용자가 웹툰의 배경을 일일이 드로잉할 필요 없이 기 마련된 복수의 배경 데이터 중 하나를 그대로 활용함으로써 웹툰 드로잉에 걸리는 시간을 단축시키고 웹툰 제작을 보다 수월하게 할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 영상 데이터에서 관절 및 각 관절의 경로를 포함하는 3차원 포즈 정보를 생성하고, 3차원 포즈 정보를 기반으로 사용자가 선택한 비율에 따라 2차원 모형 이미지를 생성하여 사용자에게 제공함으로써, 사용자는 원하는 포즈, 구도 및 신체비율을 직관적으로 파악할 수 있으며 2차원 모형 이미지를 참고하여 웹툰을 제작하는 과정에서 데포르메 기법을 용이하게 사용할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 사용자가 드로잉하고자 하는 캐릭터의 각 영역에 대한 힌트 정보 및 원하는 채색 스타일 정보(또는 작가 정보)를 입력하는 경우 상기 힌트 정보에 포함된 색깔을 모티브(motive)로 하여 상기 작가의 채색 스타일에 맞게 상기 캐릭터의 각 영역을 자동 채색하도록 함으로써, 사용자가 캐릭터의 각 영역을 일일이 채색할 필요가 없게 되며 특히 원하는 작가의 채색 스타일에 맞는 일정 수준 이상의 채색 품질을 유지할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 웹툰 드로잉 장치를 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 웹툰 드로잉 장치의 상세 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 배경 데이터 선택 모듈에서 배경 데이터를 선택하는 과정을 나타낸 예시
도 4는 본 발명의 일 실시예에 따른 포즈 추정 모듈을 설명하기 위한 블록도
도 5는 본 발명의 일 실시예에 따른 영상 데이터에서 3차원 포즈 정보를 생성하는 과정을 나타낸 예시
도 6은 본 발명의 다른 실시예에 따른 영상 데이터에서 추출된 노드 정보를 나타내는 도면
도 7은 본 발명의 일 실시예에 따른 모형 이미지 생성 모듈을 설명하기 위한 블록도
도 8은 본 발명의 일 실시예에 따른 모형 이미지 생성 모듈에서 사용자로부터 입력 받는 캐릭터의 비율을 나타낸 예시
도 9는 본 발명의 일 실시예에 따른 모형 이미지 생성 모듈에서 사용자로부터 입력 받는 캐릭터의 비율을 나타낸 예시
도 10은 본 발명의 일 실시예에 따른 2차원 모형 이미지를 따라 캐릭터를 드로잉하는 과정을 나타낸 예시
도 11은 본 발명의 일 실시예에 따른 2차원 모형 이미지를 따라 캐릭터를 드로잉하는 과정을 나타낸 예시
도 12는 본 발명의 일 실시예에 따른 채색 모듈을 설명하기 위한 블록도
도 13은 본 발명의 일 실시예에 따른 채색 모듈에서 캐릭터의 각 영역이 자동으로 채색되는 과정을 나타낸 예시
도 14는 본 발명의 일 실시예에 따른 웹툰 드로잉 방법을 설명하기 위한 흐름도
도 15는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 웹툰 드로잉 장치(100)를 나타낸 도면이며, 도 2는 본 발명의 일 실시예에 따른 웹툰 드로잉 장치(100)의 상세 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 웹툰 드로잉 장치(100)는 사용자가 웹툰을 드로잉(drawing)하는 데 사용되는 장치로서, 예를 들어 노트북, PDA(Personal Digital Assistant), 스마트폰, 태블릿 PC 등이 될 수 있다. 본 실시예들에 있어서, 사용자는 예를 들어 웹툰을 드로잉하는 작가, 작가 지망생 등이 될 수 있다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 웹툰 드로잉 장치(100)는 배경 데이터 선택 모듈(110), 영상 입력 모듈(120), 포즈 추정 모듈(130), 모형 이미지 생성 모듈(140), 모형 이미지 표시 모듈(150) 및 채색 모듈(160)을 포함한다.

배경 데이터 선택 모듈(110)은 사용자로부터 복수의 배경 데이터 중 하나를 선택 받고, 선택된 상기 배경 데이터를 웹툰 드로잉 장치(100)의 화면에 표시한다.

도 3은 본 발명의 일 실시예에 따른 배경 데이터 선택 모듈(110)에서 배경 데이터(111)를 선택하는 과정을 나타낸 예시이다.

도 3에 도시된 바와 같이, 사용자는 웹툰 드로잉 장치(100)에 기 저장되거나 특정 웹 사이트에 업로드된 복수의 배경 데이터(111) 중 하나를 선택할 수 있다. 상기 웹 사이트는 예를 들어, 상기 배경 데이터(111)와 같은 3D 데이터를 구매, 판매할 수 있는 온라인 데이터 거래소일 수 있다. 사용자가 복수의 배경 데이터(111) 중 하나를 선택하는 경우 선택된 배경 데이터(111)가 웹툰 드로잉 장치(100)의 화면에 표시되며, 사용자는 상기 배경 데이터(111) 상에 자신이 그리고자 하는 캐릭터를 드로잉할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 사용자가 웹툰의 배경을 일일이 드로잉할 필요 없이 기 마련된 복수의 배경 데이터(111) 중 하나를 그대로 활용함으로써 웹툰 드로잉에 걸리는 시간을 단축시키고 웹툰 제작을 보다 수월하게 할 수 있다.

다시 도 2로 돌아오면, 영상 입력 모듈(120)은 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는다. 여기서, 포즈는 오브젝트의 몸 동작, 손 동작, 얼굴 표정 등이 될 수 있다. 또한, 오브젝트는 예를 들어, 사람, 동물 등이 될 수 있다. 영상 입력 모듈(120)은 카메라가 구비된 스마트 기기로부터 촬영된 영상 데이터를 획득할 수 있다. 이러한 카메라는 예를 들어, 단안(monocular) 카메라, 컬러 센서(RGB 센서), 깊이 센서, 멀티-뷰(multi-view) 스테레오 카메라 또는 이들의 조합으로 구성될 수 있다.

포즈 추정 모듈(130)은 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하며, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성한다.

도 4는 본 발명의 일 실시예에 따른 포즈 추정 모듈(130)을 설명하기 위한 블록도이다.

도 4를 참조하면, 포즈 추정 모듈(130)은 제1 머신 러닝 모듈(131) 및 포즈 생성부(132)를 포함할 수 있다.

예시적인 실시예에서, 포즈 추정 모듈(130)은 입력된 영상 데이터에 머신러닝(Machine Learning) 기술을 적용하여 3차원 포즈 정보를 생성할 수 있다. 이 때, 포즈 추정 모듈(130)은 영상 획득 모듈(110)로부터 영상 데이터가 입력되면, 제1 머신 러닝 모듈(131)을 통하여 사용자의 관절 종류 및 관절의 경로를 인식할 수 있다.

제1 머신 러닝 모듈(131)은 영상 획득 모듈(110)로부터 영상 데이터를 입력 받고, 영상 데이터에서 오브젝트의 관절을 포함하는 노드 정보를 추출하여 3차원 좌표 정보로 변환하고, 각 노드 사이의 경로를 포함하는 에지 정보를 추출하도록 학습된 제1 머신 러닝 모델로 구현될 수 있다.

제1 머신 러닝 모듈(131)은 특징 추출부(131a), 노드 추출부(131b), 3차원 변환부(131c) 및 에지 추출부(131d)를 포함할 수 있다.

특징 추출부(131a)는 영상 획득 모듈(110)로부터 영상 데이터를 입력 받아 오브젝트의 특징을 추출한 후 특징 이미지를 생성하도록 학습된 신경망일 수 있다. 특징 추출부(131a)는 생성된 특징 이미지를 노드 추출부(131b) 및 에지 추출부(131d)로 각각 전달할 수 있다.

예시적인 실시예에서, 특징 추출부(131a)는 CNN(Convolutional Neural Network)을 이용하여 영상 데이터에서 컬러 정보(RGB 값)을 추출할 수 있으며, 추출한 컬러 정보에 기 설정된 가중치를 부여할 수 있다. 예를 들어, CNN 모델은 VGG-19 네트워크(Network)를 이용할 수 있다. CNN 모델은 VGG-19 네트워크의 10개의 레이어(layer)를 이용하여 입력된 영상 데이터에서 특징을 추출하고, 추출한 특징에 기 설정된 가중치를 부여하여 특징이 강조되도록 특징 이미지를 생성할 수 있다.

노드 추출부(131b)는 특징 추출부(131a)로부터 특징 이미지를 입력 받아 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 노드 정보를 생성하도록 학습된 신경망일 수 있다.

예시적인 실시예에서, 노드 추출부(131b)는 특징 이미지를 입력 받고, 특징 이미지의 각 특징 중 기 설정된 기준 이상의 특징을 노드로 선정할 수 있다. 여기서, 노드는 오브젝트의 각 관절(사람의 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손, 좌우 무릎, 좌우 발 등)을 의미할 수 있다. 또한, 노드 정보는 특징 이미지에서 각 관절의 2차원 좌표 정보일 수 있다. 노드 추출부(131b)는 특징 이미지가 입력되는 경우, 머신 러닝 모델에 의하여 특징 이미지에서 노드를 추출하고, 추출한 노드를 관절로 분류하도록 학습될 수 있다. 또한, 노드 추출부(131b)는 추출한 노드를 기 저장된 포즈 데이터와 비교하고, 각 노드에 대응하는 관절로 분류하여 노드 정보를 생성할 수 있다. 노드 추출부(131b)는 생성된 노드 정보를 3차원 변환부(131c)로 전달할 수 있다.

3차원 변환부(131c)는 영상 데이터로부터 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출하고, 노드 정보 및 깊이 정보를 이용하여 각 노드에 대한 3차원 좌표 정보를 생성하도록 학습된 신경망일 수 있다.

예시적인 실시예에서, 3차원 변환부(131c)는 영상 데이터 및 노드 정보를 입력 받고, 영상 데이터로부터 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출할 수 있으며, 산출한 깊이 정보를 기반으로 노드 정보를 3차원 좌표 정보로 변환할 수 있다. 영상 데이터 및 노드 정보가 입력되는 경우, 3차원 변환부(131c)는 머신 러닝 모델에 의해 노드 정보를 3차원 좌표 정보로 변환하도록 학습될 수 있다. 3차원 변환부(131c)는 변환된 3차원 좌표 정보를 에지 추출부(131d)로 전달할 수 있다. 한편, 깊이 정보는 영상 획득 모듈(110)의 깊이 센서로부터 획득할 수 있으나, 이에 한정되는 것은 아니다.

에지 추출부(131d)는 각 노드에 대한 3차원 좌표 정보를 입력 받고, 3차원 좌표 정보에 기반하여 각 노드 사이의 모든 경로를 포함하는 에지 정보를 생성하도록 학습된 신경망일 수 있다.

예시적인 실시예에서, 에지 추출부(131d)는 각 노드에 대한 3차원 좌표 정보를 입력 받고, 각 노드 간의 경로를 추출할 수 있다. 여기서, 경로(에지)는 오브젝트의 각 관절 사이를 연결하는 선일 수 있다. 에지 추출부(131d)는 각 노드에 대한 3차원 좌표 정보가 입력되는 경우, 머신 러닝 모델에 의해 관절로 분류된 각 노드 간의 경로를 출력하도록 학습될 수 있다. 또한, 에지 추출부(131d)는 특정 노드에서 특정 노드를 제외한 다른 노드로의 모든 경로를 포함하는 에지 정보를 생성할 수 있다.

포즈 생성부(132)는 3차원 변환부(131c) 및 에지 추출부(131d)로부터 출력된 3차원 좌표 정보 및 에지 정보를 기반으로 오브젝트의 3차원 포즈 정보를 생성할 수 있다. 구체적으로, 포즈 생성부(132)는 3차원 좌표 정보를 기반으로 에지 정보와의 연관성을 판단하고, 연관성이 있다고 판단되는 경로를 선택하여 오브젝트의 3차원 포즈 정보를 생성할 수 있다.

여기서, 연관성의 판단은 신체 구조(목, 좌우 팔, 좌우 다리, 몸통 등)에 따라 3차원 좌표 정보에 포함된 관절과 에지 정보에 포함된 경로가 상호 부합하는지에 따라 결정될 수 있다.

예를 들어, 3차원 좌표 정보에 포함된 오른손과 경로가 형성된 3차원 좌표 정보가 오른발로 확인된 경우, 포즈 생성부(132)는 오른손과 오른발이 연관성 없으므로 해당 에지 정보에 포함된 경로를 제외할 수 있다. 또한, 3차원 좌표 정보에 포함된 오른손과 경로가 형성된 3차원 좌표 정보가 오른 팔꿈치로 확인된 경우, 포즈 생성부(132)는 오른손과 오른 팔꿈치가 연관성 있으므로 해당 에지 정보에 포함된 경로를 선택할 수 있다. 즉, 도 5에 도시된 바와 같이, 포즈 생성부(132)는 3차원 좌표 정보에 포함된 관절과 선택된 경로를 이용하여 3차원 공간 상에 3차원 포즈 정보를 표현할 수 있다.

한편, 제1 머신 러닝 모듈(131)은 영상 데이터에 포함된 포즈에 따라 손 동작 또는 얼굴 표정에 대한 3차원 포즈 정보를 생성할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 제1 머신 러닝 모듈(131)은 손 특징(a) 또는 얼굴 특징(b)을 포함하는 노드 정보를 추출할 수 있다. 또한, 제1 머신 러닝 모듈(131)은 노드 정보를 3차원 좌표 정보로 변환하고, 각 노드 사이의 경로를 포함하는 에지 정보를 추출할 수 있다.

다시 도 2로 돌아오면, 모형 이미지 생성 모듈(140)은 사용자로부터 드로잉(drawing)하고자 하는 캐릭터에 대한 비율을 입력 받고, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성한다.

도 7은 본 발명의 일 실시예에 따른 모형 이미지 생성 모듈(140)을 설명하기 위한 블록도이다.

도 7을 참조하면, 모형 이미지 생성 모듈(140)은 제2 머신 러닝 모듈(141) 및 제3 머신 러닝 모듈(142)을 포함할 수 있다.

제2 머신 러닝 모듈(141)은 사용자로부터 신체 비율을 입력 받고, 상기 3차원 포즈 정보로부터 상기 신체 비율에 따른 상기 2차원 모형 이미지를 생성하도록 학습되는 제2 머신 러닝 모델로 구현될 수 있다. 이 때, 기 설정된 신체 비율은 예를 들어, 2등신, 3등신, 8등신 등일 수 있다. 사용자는 예를 들어, 신체 비율에 관한 수치를 직접 입력하거나, 서로 다른 신체 비율을 갖는 캐릭터 중 하나를 입력하는 등의 방법으로 드로잉하고자 하는 캐릭터에 대한 신체 비율을 선택할 수 있다.

제2 머신 러닝 모듈(141)은 3차원 포즈 정보 및 신체 비율이 입력되는 경우 이미 학습된 데이터(즉, 3차원 포즈 정보 및 신체 비율)들을 기반으로 머신 러닝을 수행하여 입력된 3차원 포즈 정보를 기반으로 선택된 신체 비율에 따른 2차원 모형 이미지를 생성할 수 있다. 본 실시예들에 있어서, 2차원 모형 이미지는 사용자가 드로잉하고자 하는 캐릭터의 외형(예를 들어, 캐릭터에 대한 포즈, 구도, 신체 비율 등)을 단순화한 형태로 나타낸 가이드 이미지로서, 사용자는 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있다.

이를 위해, 제2 머신 러닝 모듈(141)은 포즈 추정 모듈(130)로부터 3차원 포즈 정보를 입력 받고, 사용자로부터 선택 받은 신체 비율에 따라 3차원 포즈 정보에 포함된 경로를 조절할 수 있다. 예를 들어, 기 설정된 신체 비율이 2등신인 경우, 제2 머신 러닝 모듈(141)은 관절 사이의 경로(뼈대)를 2등신에 대응되도록 축소할 수 있다. 또한, 제2 머신 러닝 모듈(141)은 조절된 경로에 따라 3차원 포즈 정보에 포함된 관절의 위치를 변경하고, 변경된 관절 및 경로를 기 저장된 3차원 캐릭터에 적용하여 상기 신체 비율에 따른 2차원 모형 이미지를 생성할 수 있다. 이에 따라, 다양한 신체 비율(예를 들어, 2등신, 3등신, 표준(8등신) 등)을 가지는 2차원 모형 이미지가 생성할 수 있다.

일반적으로, 사용자는 웹툰을 제작하는 과정에서 데포르메 기법을 사용하기 위해 사용자의 의도대로 캐릭터의 외형을 구상하여 그리게 된다. 그러나, 본 발명의 일 실시예에 따르면, 사용자가 마우스와 같은 입력 장치를 이용하여 캐릭터의 외형을 일일이 그리거나 수정하는 대신 사용자의 의도에 맞게 외형(즉, 캐릭터에 대한 포즈, 구도, 신체 비율 등)이 변형된 2차원 모형 이미지를 제공함으로써, 사용자는 상기 2차원 모형 이미지를 통해 자신이 그리고자 하는 캐릭터의 외형을 직관적으로 파악하고 이를 참고하면서 캐릭터를 그릴 수 있게 된다. 이 경우, 사용자가 웹툰을 제작하는 과정에서 데포르메 기법을 보다 용이하게 사용할 수 있게 된다.

제3 머신 러닝 모듈(142)은 사용자로부터 얼굴 비율을 입력 받고, 상기 얼굴 비율에 따라 제2 머신 러닝 모듈(141)에서 생성된 2차원 모형 이미지의 얼굴 비율을 조절하도록 학습된 제3 머신 러닝 모델로 구현될 수 있다. 이 때, 얼굴 비율은 사용자 캐릭터 이미지에서 추출된 신체 비율에 따른 눈, 코, 입의 비율일 수 있다.

제3 머신 러닝 모듈(142)은 얼굴 비율이 입력되는 경우 이미 학습된 데이터(즉, 3차원 포즈 정보, 신체 비율, 얼굴 비율 등)들을 기반으로 머신 러닝을 수행하여 입력된 2차원 모형 이미지에서 얼굴 비율을 조절할 수 있다.

예시적인 실시예에서, 제3 머신 러닝 모듈(142)은 제2 머신 러닝 모듈(141)로부터 생성된 2차원 모형 이미지와 사용자로부터 얼굴 비율을 입력받고, 이를 기반으로 2차원 모형 이미지의 눈, 코, 입의 크기를 조절할 수 있다. 이에 따라, 얼굴 부분(예를 들어, 눈, 코, 입 등) 중 일부를 과장하거나 강조하는 표현을 캐릭터에 반영할 수 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따른 모형 이미지 생성 모듈(140)에서 사용자로부터 입력 받는 캐릭터의 비율을 나타낸 예시이다.

도 8을 참조하면, 모형 이미지 생성 모듈(140)은 사용자로부터 다양한 신체 비율(예를 들어, 2등신, 3등신, 표준(8등신) 등)을 갖는 캐릭터 중 하나를 입력 받고, 이를 기반으로 2차원 모형 이미지를 생성할 수 있다. 예를 들어, 사용자는 2등신을 갖는 캐릭터를 선택할 수 있으며, 이 경우 선택된 2등신의 외형에 대응되는 2차원 모형 이미지가 생성될 수 있다.

또한, 도 9를 참조하면, 모형 이미지 생성 모듈(140)은 사용자로부터 다양한 신체 비율(예를 들어, 남자의 체형, 여자의 체형, 아동의 체형 등)을 갖는 캐릭터 중 하나를 입력 받고, 이를 기반으로 2차원 모형 이미지를 생성할 수 있다. 예를 들어, 사용자는 남자의 체형을 갖는 캐릭터를 선택할 수 있으며, 이 경우 선택된 남자의 체형에 대응되는 2차원 모형 이미지가 생성될 수 있다.

또한, 모형 이미지 생성 모듈(140)은 사용자로부터 얼굴 비율을 추가적으로 입력 받을 수 있으며, 이 경우 입력된 얼굴 비율에 따라 상기 2차원 모형 이미지의 얼굴 비율이 조절될 수 있다.

다시 도 2로 돌아오면, 모형 이미지 표시 모듈(150)은 사용자가 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시한다.

도 10 및 도 11은 본 발명의 일 실시예에 따른 2차원 모형 이미지(M)를 따라 캐릭터(C)를 드로잉하는 과정을 나타낸 예시이다.

도 10 및 도 11을 참조하면, 사용자는 먹지를 대고 그리듯이 2차원 모형 이미지(M)를 따라 캐릭터(C)를 드로잉할 수 있다. 도 10에 도시된 바와 같이, 드로잉하고자 하는 캐릭터의 외형(예를 들어, 캐릭터에 대한 포즈, 구도, 신체 비율 등)이 단순화된 형태인 2차원 모형 이미지(M)가 화면에 표시되고, 사용자는 이를 참고하면서 캐릭터(C)를 보다 손쉽게 드로잉할 수 있다. 이때, 2차원 모형 이미지(M)의 포즈와 구도는 영상 입력 모듈(120)을 통해 입력된 영상 데이터에 기반하여 결정되며, 2차원 모형 이미지(M)의 신체 비율 및 얼굴 비율은 모형 이미지 생성 모듈(140)을 통해 입력된 신체 비율 및 얼굴 비율에 기반하여 결정될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 드로잉하고자 하는 캐릭터의 포즈, 구도, 신체 비율 등과 관련된 정보들을 사용자로부터 입력 받은 후 입력 받은 정보들을 기반으로 2차원 모형 이미지를 생성하여 사용자에게 제공함으로써, 사용자가 캐릭터를 보다 손쉽게 드로잉할 수 있도록 할 수 있다.

다시 도 2로 돌아오면, 채색 모듈(160)은 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받고, 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색한다.

도 12는 본 발명의 일 실시예에 따른 채색 모듈(160)을 설명하기 위한 블록도이다.

채색 모듈(160)은 제1 입력부(161), 제2 입력부(162) 및 제4 머신 러닝 모듈(163)을 포함할 수 있다.

제1 입력부(161)는 특정 오브젝트의 각 영역이 채색된 제1 학습 데이터 및 상기 특정 오브젝트의 각 영역이 채색되지 않은 제2 학습 데이터를 다수 개 입력 받는다.

제2 입력부(162)는 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 드로잉한 작가의 식별 정보를 입력 받는다. 여기서, 작가의 식별 정보는 예를 들어, 작가의 이름, 필명, 닉네임, 또는 이들과 대응되는 식별코드 등이 될 수 있다.

일 예시로서, 아래와 같은 학습 데이터 - 작가의 식별 정보 쌍이 채색 모듈(160)에 입력될 수 있다.

제1 학습 데이터(채색 O) - 제2 학습 데이터(채색 X) - 작가 A

제1 학습 데이터(채색 O) - 제2 학습 데이터(채색 X) - 작가 B

제1 학습 데이터(채색 O) - 제2 학습 데이터(채색 X) - 작가 C

제1 학습 데이터(채색 O) - 제2 학습 데이터(채색 X) - 작가 D

제4 머신 러닝 모듈(163)은 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 상기 작가의 식별 정보와 매칭시켜 각 작가별 채색 스타일을 학습하도록 구성되는 제4 머신 러닝 모델을 포함한다. 여기서, 채색 스타일은 예를 들어, 특정 오브젝트의 각 영역(예를 들어, 캐릭터의 얼굴, 눈, 팔, 다리 등)에서의 하이라이트(가장 밝은 부분) 처리, 음영 처리, 배색, 채도/명도 변화, 그라데이션(gradation), 윤곽선 두께, 투명도 등이 될 수 있다. 일 예시로서, 제4 머신 러닝 모듈(163)은 A 작가가 그린 사람 캐릭터에 대한 제1 학습 데이터 10만개와 제2 학습 데이터 15만개를 학습하여 사람 캐릭터에 대한 A 작가의 채색 스타일을 학습할 수 있다. 다른 예시로서, 제4 머신 러닝 모듈(163)은 B 작가가 그린 동물 캐릭터에 대한 제1 학습 데이터 10만개와 제2 학습 데이터 10만개를 학습하여 동물 캐릭터에 대한 B 작가의 채색 스타일을 학습할 수 있다.

또한, 제4 머신 러닝 모듈(163)은 사용자로부터 사용자가 드로잉한 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받고, 이를 기반으로 상기 각 영역을 자동 채색할 수 있다. 여기서, 힌트 정보는 채색하고자 하는 영역, 상기 영역과 인접 영역과의 경계 부분 등에 대응되는 색깔을 포함할 수 있다. 또한, 채색 스타일 정보는 작가의 이름, 필명, 닉네임, 또는 이들과 대응되는 식별코드 등과 같은 작가의 식별 정보를 포함할 수 있다.

사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받는 경우, 제4 머신 러닝 모듈(163)은 학습된 머신 러닝 모델을 기반으로 입력된 상기 채색 스타일 정보에 포함된 작가의 식별 정보에 대응되는 작가를 선택하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색할 수 있다.

일 예시로서, 사용자는 캐릭터의 헤어(hair) 부분과 피부(skin) 부분에 파란색 선과 살색 선을 각각 드로잉함으로써 힌트 정보를 입력하고, 채색 스타일 정보로서 작가 A를 입력할 수 있다. 이 경우, 제4 머신 러닝 모듈(163)은 학습된 머신 러닝 모델을 기반으로 사람 캐릭터에 대한 A 작가의 채색 스타일을 추출하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 A 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색할 수 있다. 이때, 캐릭터의 각 영역 색깔은 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 모티브(motive)로 하여 입력된 작가의 채색 스타일에 맞게 변형될 수 있다.

도 13은 본 발명의 일 실시예에 따른 채색 모듈(160)에서 캐릭터의 각 영역이 자동으로 채색되는 과정을 나타낸 예시이다. 도 13의 (a)는 채색 모듈(160)을 통해 사용자로부터 입력된 힌트 정보(H)를 나타낸 예시이며, 도 13의 (b)는 상기 힌트 정보(H)를 기반으로 캐릭터의 각 영역이 자동 채색된 결과를 나타낸 예시이다.

도 13의 (a)를 참조하면, 사용자는 예를 들어, 캐릭터의 헤어(hair) 부분과 피부(skin) 부분에 파란색 선과 살색 선을 각각 드로잉함으로써 힌트 정보를 입력할 수 있다. 또한, 사용자는 채색 스타일 정보로서 작가 A를 입력할 수 있다. 한편, 도 13의 (a)에 도시된 힌트 정보(H)의 입력 방식은 일 예시에 불과하며, 도 13에 도시되지 않은 다양한 방법으로 상기 힌트 정보(H)를 입력할 수 있음에 유의한다.

또한, 도 13의 (b)를 참조하면, 입력된 상기 힌트 정보(H)와 채색 스타일 정보를 기반으로 캐릭터의 각 영역이 자동 채색되는 것을 확인할 수 있다.

이와 같이, 본 발명의 일 실시예에 따르면, 사용자가 드로잉하고자 하는 캐릭터의 각 영역에 대한 힌트 정보 및 원하는 채색 스타일 정보(또는 작가 정보)를 입력하는 경우 상기 힌트 정보에 포함된 색깔을 모티브(motive)로 하여 상기 작가의 채색 스타일에 맞게 상기 캐릭터의 각 영역을 자동 채색하도록 함으로써, 사용자가 캐릭터의 각 영역을 일일이 채색할 필요가 없게 되며 특히 원하는 작가의 채색 스타일에 맞는 일정 수준 이상의 채색 품질을 유지할 수 있게 된다.

도 14는 본 발명의 일 실시예에 따른 웹툰 드로잉 방법을 설명하기 위한 흐름도이다. 도 14에 도시된 방법은 예를 들어, 상술한 웹툰 드로잉 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

단계 S102에서, 영상 입력 모듈(120)은 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는다. 또한, 배경 데이터 선택 모듈(110)은 상기 영상 데이터를 입력 받기 전 사용자로부터 복수의 배경 데이터 중 하나를 선택 받고, 선택된 상기 배경 데이터를 웹툰 드로잉 장치(100)의 화면에 표시할 수 있다.

단계 S104에서, 포즈 추정 모듈(130)은 상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출한다.

단계 S106에서, 포즈 추정 모듈(130)은 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성한다.

단계 S108에서, 모형 이미지 생성 모듈(140)은 상기 사용자로부터 드로잉(drawing)하고자 하는 캐릭터에 대한 비율을 입력 받고, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성한다.

단계 S110에서, 모형 이미지 표시 모듈(150)은 상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시한다.

단계 S112에서, 채색 모듈(160)은 상기 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받는다.

단계 S114에서, 채색 모듈(160)은 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색한다.

도 15는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 웹툰 드로잉 장치(100), 또는 웹툰 드로잉 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 웹툰 드로잉 장치
110 : 배경 데이터 선택 모듈
111 : 배경 데이터
120 : 영상 입력 모듈
130 : 포즈 추정 모듈
131 : 제1 머신 러닝 모듈
131a : 특징 추출부
131b : 노드 추출부
131c : 3차원 변환부
131d : 에지 추출부
140 : 모형 이미지 생성 모듈
141 : 제2 머신 러닝 모듈
142 : 제3 머신 러닝 모듈
150 : 모형 이미지 표시 모듈
160 : 채색 모듈
161 : 제1 입력부
162 : 제2 입력부
163 : 제4 머신 러닝 모듈

Claims

사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는 영상 입력 모듈;
상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하며, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 포즈 추정 모듈;
상기 사용자로부터 드로잉(drawing)하고자 하는 캐릭터에 대한 비율을 입력 받고, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성하는 모형 이미지 생성 모듈; 및
상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시하는 모형 이미지 표시 모듈을 포함하며,
상기 모형 이미지 생성 모듈은, 상기 사용자로부터 상기 드로잉하고자 하는 캐릭터에 대한 신체 비율을 입력 받고, 입력된 상기 신체 비율에 대응되도록 상기 3차원 포즈 정보에 포함된 경로를 조절하며, 조절된 상기 경로에 따라 상기 3차원 포즈 정보에 포함된 관절의 위치를 변경하고, 변경된 상기 관절 및 조절된 상기 경로에 따라 상기 2차원 모형 이미지를 생성하는, 웹툰 드로잉 장치.
청구항 1에 있어서,
상기 포즈 추정 모듈은,
상기 영상 데이터로부터 상기 노드 정보를 추출하여 3차원 좌표 정보로 변환하고, 상기 에지 정보를 출력하도록 학습되는 제1 머신 러닝 모델을 포함하는 제1 머신 러닝 모듈; 및
상기 제1 머신 러닝 모듈에서 출력된 상기 3차원 좌표 정보 및 상기 에지 정보를 기반으로 상기 3차원 포즈 정보를 생성하는 포즈 생성부를 포함하는, 웹툰 드로잉 장치.
청구항 2에 있어서,
상기 제1 머신 러닝 모듈은,
상기 영상 데이터로부터 상기 오브젝트의 특징을 추출하여 특징 이미지를 생성하도록 학습되는 특징 추출부;
상기 특징 이미지를 입력 받고, 상기 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 상기 노드 정보를 생성하도록 학습되는 노드 추출부;
상기 영상 데이터 및 상기 특징 이미지를 입력 받고, 상기 영상 데이터로부터 상기 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출하며, 산출된 상기 깊이 정보를 기반으로 상기 노드 정보를 상기 3차원 좌표 정보로 변환하도록 학습되는 3차원 변환부; 및
상기 3차원 좌표 정보를 입력 받고, 상기 3차원 좌표 정보를 기반으로 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 에지 추출부를 포함하는, 웹툰 드로잉 장치.
청구항 3에 있어서,
상기 포즈 생성부는, 상기 3차원 좌표 정보에 포함된 관절과 상기 에지 정보에 포함된 경로와의 상호 연관성을 토대로 상기 3차원 포즈 정보를 생성하는, 웹툰 드로잉 장치.
삭제
삭제
청구항 1에 있어서,
상기 모형 이미지 생성 모듈은,
상기 사용자로부터 얼굴 비율을 입력 받고, 상기 얼굴 비율에 따라 상기 2차원 모형 이미지의 얼굴 비율을 조절하도록 학습되는 제3 머신 러닝 모델을 더 포함하는, 웹툰 드로잉 장치.
청구항 1에 있어서,
상기 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받고, 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색하는 채색 모듈을 더 포함하는, 웹툰 드로잉 장치.
청구항 8에 있어서,
상기 채색 모듈은,
특정 오브젝트의 각 영역이 채색된 제1 학습 데이터 및 상기 특정 오브젝트의 각 영역이 채색되지 않은 제2 학습 데이터를 다수 개 입력 받는 제1 입력부;
상기 제1 학습 데이터 및 상기 제2 학습 데이터를 드로잉한 작가의 식별 정보를 입력 받는 제2 입력부; 및
상기 제1 학습 데이터 및 상기 제2 학습 데이터를 상기 작가의 식별 정보와 매칭시켜 각 작가별 채색 스타일을 학습하도록 구성되는 제4 머신 러닝 모델을 포함하는 제4 머신 러닝 모듈을 포함하는, 웹툰 드로잉 장치.
청구항 9에 있어서,
상기 제4 머신 러닝 모델은, 입력된 상기 채색 스타일 정보에 포함된 작가의 식별 정보에 대응되는 작가를 선택하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색하는, 웹툰 드로잉 장치.
영상 입력 모듈에서, 사용자로부터 특정 포즈(pose)를 갖는 오브젝트가 포함된 영상 데이터를 입력 받는 단계;
포즈 추정 모듈에서, 상기 영상 데이터에서 상기 오브젝트의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하는 단계;
상기 포즈 추정 모듈에서, 추출된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 단계;
모형 이미지 생성 모듈에서, 상기 사용자로부터 드로잉하고자 하는 캐릭터에 대한 비율을 입력 받는 단계;
상기 모형 이미지 생성 모듈에서, 상기 3차원 포즈 정보를 기반으로 상기 비율에 따른 2차원 모형 이미지를 생성하는 단계; 및
모형 이미지 표시 모듈에서, 상기 사용자가 상기 2차원 모형 이미지를 따라 캐릭터를 드로잉할 수 있도록 상기 2차원 모형 이미지를 화면에 표시하는 단계를 포함하며,
상기 2차원 모형 이미지를 생성하는 단계는,
상기 사용자로부터 상기 드로잉하고자 하는 캐릭터에 대한 신체 비율을 입력 받는 단계;
입력된 상기 신체 비율에 대응되도록 상기 3차원 포즈 정보에 포함된 경로를 조절하는 단계;
조절된 상기 경로에 따라 상기 3차원 포즈 정보에 포함된 관절의 위치를 변경하는 단계; 및
변경된 상기 관절 및 조절된 상기 경로에 따라 상기 2차원 모형 이미지를 생성하는 단계를 포함하는, 웹툰 드로잉 방법.
청구항 11에 있어서,
상기 오브젝트에 대한 3차원 포즈 정보를 생성하는 단계는,
제1 머신 러닝 모듈에서, 상기 영상 데이터로부터 상기 노드 정보를 추출하여 3차원 좌표 정보로 변환하고, 상기 에지 정보를 출력하도록 학습되는 단계; 및
포즈 생성부에서, 상기 제1 머신 러닝 모듈에서 출력된 상기 3차원 좌표 정보 및 상기 에지 정보를 기반으로 상기 3차원 포즈 정보를 생성하는 단계를 포함하는, 웹툰 드로잉 방법.
청구항 12에 있어서,
상기 에지 정보를 출력하도록 학습되는 단계는,
특징 추출부에서, 상기 영상 데이터로부터 상기 오브젝트의 특징을 추출하여 특징 이미지를 생성하도록 학습되는 단계;
노드 추출부에서, 상기 특징 이미지를 입력 받고, 상기 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 상기 노드 정보를 생성하도록 학습되는 단계;
3차원 변환부에서, 상기 영상 데이터 및 상기 특징 이미지를 입력 받고, 상기 영상 데이터로부터 상기 각 노드를 포함하는 픽셀에 대한 깊이 정보를 산출하며, 산출된 상기 깊이 정보를 기반으로 상기 노드 정보를 상기 3차원 좌표 정보로 변환하도록 학습되는 단계; 및
에지 추출부에서, 상기 3차원 좌표 정보를 입력 받고, 상기 3차원 좌표 정보를 기반으로 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 단계를 포함하는, 웹툰 드로잉 방법.
청구항 13에 있어서,
상기 3차원 포즈 정보를 생성하는 단계는, 상기 3차원 좌표 정보에 포함된 관절과 상기 에지 정보에 포함된 경로와의 상호 연관성을 토대로 상기 3차원 포즈 정보를 생성하는, 웹툰 드로잉 방법.
삭제
삭제
청구항 11에 있어서,
상기 2차원 모형 이미지를 생성하는 단계는,
제3 머신 러닝 모듈에서, 상기 사용자로부터 얼굴 비율을 입력 받고, 상기 얼굴 비율에 따라 상기 2차원 모형 이미지의 얼굴 비율을 조절하도록 학습되는 단계를 더 포함하는, 웹툰 드로잉 방법.
청구항 11에 있어서,
채색 모듈에서, 상기 사용자가 상기 캐릭터를 드로잉한 후 상기 사용자로부터 상기 캐릭터와 관련된 각 영역별 색깔에 대한 힌트 정보 및 채색 스타일 정보를 입력 받는 단계; 및
상기 채색 모듈에서, 입력된 상기 힌트 정보 및 상기 채색 스타일을 기반으로 상기 각 영역을 자동으로 채색하는 단계를 더 포함하는, 웹툰 드로잉 방법.
청구항 18에 있어서,
상기 각 영역을 자동으로 채색하는 단계는,
제1 입력부에서, 특정 오브젝트의 각 영역이 채색된 제1 학습 데이터 및 상기 특정 오브젝트의 각 영역이 채색되지 않은 제2 학습 데이터를 다수 개 입력 받는 단계;
제2 입력부에서, 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 드로잉한 작가의 식별 정보를 입력 받는 단계; 및
제4 머신 러닝 모듈에서, 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 상기 작가의 식별 정보와 매칭시켜 각 작가별 채색 스타일을 학습하는 단계를 포함하는, 웹툰 드로잉 방법.
청구항 19에 있어서,
상기 각 영역을 자동으로 채색하는 단계는,
상기 제4 머신 러닝 모듈에서, 입력된 상기 채색 스타일 정보에 포함된 작가의 식별 정보에 대응되는 작가를 선택하고, 입력된 상기 힌트 정보에 포함된 각 영역별 색깔을 선택된 상기 작가의 채색 스타일에 따라 변형시켜 상기 각 영역을 자동으로 채색하는 단계를 더 포함하는, 웹툰 드로잉 방법.