KR102399255B1 - 인공지능을 이용한 웹툰 제작 시스템 및 방법 - Google Patents
인공지능을 이용한 웹툰 제작 시스템 및 방법 Download PDFInfo
- Publication number
- KR102399255B1 KR102399255B1 KR1020210185514A KR20210185514A KR102399255B1 KR 102399255 B1 KR102399255 B1 KR 102399255B1 KR 1020210185514 A KR1020210185514 A KR 1020210185514A KR 20210185514 A KR20210185514 A KR 20210185514A KR 102399255 B1 KR102399255 B1 KR 102399255B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- character
- cut image
- clothes
- target character
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 42
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 33
- 230000014509 gene expression Effects 0.000 claims description 22
- 239000000203 mixture Substances 0.000 claims description 13
- 230000037237 body shape Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
인공지능을 이용한 웹툰 제작 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 웹툰 제작 시스템은, 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습하는 학습부; 사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character) 및 타깃 포즈(target pose)를 각각 입력 받는 입력부; 및 인공지능(Artificial Intelligence) 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시키고, 입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 컷 이미지 생성부를 포함한다.
Description
본 발명의 실시예들은 웹툰을 제작하는 기술과 관련된다.
만화는 인물, 동물, 사물 등의 모습을 간결하고 익살스럽게 그리거나 과장하여 나타낸 그림을 말하며, 짤막한 지문을 넣어 유머나 풍자 또는 일정한 줄거리를 담아 읽을거리를 제공한다. 이러한 만화는 오프라인에서 만화책을 통하여 소비되었으나, 최근 인터넷의 발전에 따라 웹툰(webtoon)을 통해 온라인으로 만화를 소비하는 경향이 높아졌다.
일반적으로, 웹툰은 작가가 다수의 컷 이미지(cut image)를 드로잉(drawing)함으로써 제작되며, 종래에는 컷 이미지가 바뀔 때마다 작가가 컷 이미지의 테마에 맞는 캐릭터의 포즈(pose)를 일일이 드로잉하여야 하는 번거로움이 있었다. 또한, 종래에는 컷 이미지가 바뀔 때마다 작가가 컷 이미지에 포함된 캐릭터의 포즈에 따라 캐릭터의 옷까지 일일이 다시 드로잉하여야 하는 번거로움이 있었으며, 이에 따라 웹툰 제작에 많은 시간이 소요되는 문제점이 있었다.
본 발명의 실시예들은 인공지능을 이용하여 웹툰을 구성하는 컷 이미지를 보다 손쉽게 제작하도록 함으로써 웹툰 제작 과정에서의 번거로움을 줄이고 웹툰 제작에 소요되는 시간을 최소화하기 위한 것이다.
예시적인 실시예에 따르면, 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습하는 학습부; 사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character) 및 타깃 포즈(target pose)를 각각 입력 받는 입력부; 및 인공지능(Artificial Intelligence) 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시키고, 입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 컷 이미지 생성부를 포함하는, 인공지능을 이용한 웹툰 제작 시스템이 제공된다.
상기 캐릭터 특성은, 캐릭터 유형, 성별, 나이, 체형, 옷 및 표정 중 하나 이상을 포함할 수 있다.
상기 컷 이미지 생성부는, 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 컷 이미지 생성부는, 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각 중 하나 이상을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시킴으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 타깃 캐릭터의 옷 종류는, 상기 타깃 포즈로의 변환 전과 상기 타깃 포즈로의 변환 후 각각 동일할 수 있다.
상기 입력부는, 상기 사용자로부터 상기 컷 이미지에 삽입될 타깃 옷을 입력 받고, 상기 컷 이미지 생성부는, 입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 컷 이미지 생성부는, 입력된 상기 타깃 옷의 크기 및 비율을 상기 타깃 캐릭터의 체형에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 입력부는, 상기 사용자로부터 상기 타깃 캐릭터에 적용될 타깃 표정을 입력 받고, 상기 컷 이미지 생성부는, 상기 타깃 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용하여 상기 컷 이미지를 자동으로 생성할 수 있다.
다른 예시적인 실시예에 따르면, 학습부에서, 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습하는 단계; 입력부에서, 사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character) 및 타깃 포즈(target pose)를 각각 입력 받는 단계; 컷 이미지 생성부에서, 인공지능(Artificial Intelligence) 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시키는 단계; 및 상기 컷 이미지 생성부에서, 입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 단계를 포함하는, 인공지능을 이용한 웹툰 제작 방법이 제공된다.
상기 캐릭터 특성은, 캐릭터 유형, 성별, 나이, 체형, 옷 및 표정 중 하나 이상을 포함할 수 있다.
입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 단계는, 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 인공지능을 이용한 웹툰 제작 방법은, 상기 컷 이미지 생성부에서, 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각 중 하나 이상을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 단계를 더 포함할 수 있다.
상기 타깃 캐릭터의 옷 종류는, 상기 타깃 포즈로의 변환 전과 상기 타깃 포즈로의 변환 후 각각 동일할 수 있다.
상기 인공지능을 이용한 웹툰 제작 방법은, 상기 입력부에서, 상기 사용자로부터 상기 컷 이미지에 삽입될 타깃 옷을 입력 받는 단계; 및 상기 컷 이미지 생성부에서, 입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는 단계를 더 포함할 수 있다.
입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는 단계는, 입력된 상기 타깃 옷의 크기 및 비율을 상기 타깃 캐릭터의 체형에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
상기 인공지능을 이용한 웹툰 제작 방법은, 상기 입력부에서, 상기 사용자로부터 상기 타깃 캐릭터에 적용될 타깃 표정을 입력 받는 단계; 및 상기 컷 이미지 생성부에서, 상기 타깃 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용하여 상기 컷 이미지를 자동으로 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 인공지능 기술을 이용하여 타깃 캐릭터의 포즈를 타깃 포즈로 변환시키고, 상기 타깃 캐릭터의 옷을 타깃 포즈에 맞게 변환시켜 컷 이미지를 자동 생성하도록 함으로써, 작가는 컷 이미지가 바뀔 때마다 컷 이미지의 테마에 맞는 캐릭터의 포즈 및 이에 따른 캐릭터의 옷을 일일이 드로잉할 필요 없게 된다. 이에 따라, 웹툰 제작 과정에서의 번거로움을 줄이고 웹툰 제작에 소요되는 시간을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 웹툰 제작 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 학습부에서 학습되는 캐릭터 이미지들의 예시
도 3은 본 발명의 일 실시예에 따른 학습부에서 사용되는 학습 모델의 예시
도 4는 본 발명의 일 실시예에 따른 입력부에 입력되는 타깃 캐릭터의 예시
도 5는 본 발명의 일 실시예에 따른 입력부에 입력되는 타깃 포즈의 예시
도 6은 본 발명의 일 실시예에 따른 컷 이미지 생성부에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 7은 본 발명의 다른 실시예에 따른 컷 이미지 생성부에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 8은 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부에서 실물 사진을 이용하여 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 9는 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부에서 사용자에 의해 입력된 특성 정보를 이용하여 상황 맞춤형 옷을 추천하는 과정을 나타낸 예시
도 10은 본 발명의 일 실시예에 따른 웹툰 제작 방법을 설명하기 위한 흐름도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 학습부에서 학습되는 캐릭터 이미지들의 예시
도 3은 본 발명의 일 실시예에 따른 학습부에서 사용되는 학습 모델의 예시
도 4는 본 발명의 일 실시예에 따른 입력부에 입력되는 타깃 캐릭터의 예시
도 5는 본 발명의 일 실시예에 따른 입력부에 입력되는 타깃 포즈의 예시
도 6은 본 발명의 일 실시예에 따른 컷 이미지 생성부에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 7은 본 발명의 다른 실시예에 따른 컷 이미지 생성부에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 8은 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부에서 실물 사진을 이용하여 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시
도 9는 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부에서 사용자에 의해 입력된 특성 정보를 이용하여 상황 맞춤형 옷을 추천하는 과정을 나타낸 예시
도 10은 본 발명의 일 실시예에 따른 웹툰 제작 방법을 설명하기 위한 흐름도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 웹툰 제작 시스템(100)의 상세 구성을 나타낸 블록도이다. 본 발명의 일 실시예에 따른 웹툰 제작 시스템(100)은 사용자가 웹툰 드로잉 장치(미도시)를 통해 웹툰을 제작하는 과정에서 웹툰 제작의 편의성을 제공하기 위한 것이다. 본 실시예들에 있어서, 웹툰 드로잉 장치는 웹툰을 드로잉(drawing)하는 데 사용되는 장치로서, 예를 들어 노트북, PDA(Personal Digital Assistant), 스마트폰, 태블릿 PC 등이 될 수 있다. 또한, 본 실시예들에 있어서, 사용자는 예를 들어 웹툰을 드로잉하는 작가, 작가 지망생 등이 될 수 있다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웹툰 제작 시스템(100)은 학습부(102), 입력부(104) 및 컷 이미지 생성부(106)를 포함한다.
학습부(102)는 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습한다. 여기서, 캐릭터 특성은 예를 들어, 캐릭터 유형, 성별, 나이, 체형, 옷, 표정 등이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 학습부(102)에서 학습되는 캐릭터 이미지들의 예시이다.
도 2에 도시된 바와 같이, 학습부(102)는 여러 각도에서 촬영된 캐릭터 이미지, 다양한 포즈를 갖는 캐릭터 이미지, 다양한 성별, 나이 및 체형을 갖는 캐릭터 이미지, 다양한 옷을 입고 있는 캐릭터 이미지, 다양한 표정을 짓고 있는 캐릭터 이미지 등을 복수 개 수집하여 학습할 수 있다. 이때, 학습에 활용되는 각 캐릭터 이미지들의 포즈 및 캐릭터 특성들은 특정 성별이나 나이 등에 치우치지 않도록 균등한 분포를 갖도록 수집될 수 있다. 학습부(102)는 설정된 학습 모델을 이용하여 상기 캐릭터 이미지들의 포즈 및 캐릭터 특성을 학습할 수 있다.
도 3은 본 발명의 일 실시예에 따른 학습부(102)에서 사용되는 학습 모델의 예시이다.
상술한 바와 같이, 학습부(102)는 서로 다른 포즈 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하고, 설정된 학습 모델을 이용하여 상기 캐릭터 이미지들의 포즈 및 캐릭터 특성을 학습할 수 있다. 본 실시예들에 있어서, 상기 학습 모델은 예를 들어, StyleGAN 일 수 있다. StylGAN 은 GAN(Generative Adversarial Network)이 변형된 모델이다. GAN은 생성자(Generator)와 판별자(Discriminator)가 경쟁하듯이 학습하는 것을 기본 원리로 하고 있다. StylGAN 은 GAN과 달리 이미지 생성시 스타일을 조절할 수 있는 장점이 있다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 학습부(102)에서 사용되는 학습 모델은 생성자(302) 및 판별자(304)를 포함할 수 있다.
생성자(302)는 상술한 캐릭터 이미지를 입력 받아 학습한다. 이때, 생성자(302)는 Mapping Network라는 걸 별도로 두고 임의의 벡터값을 다른 값으로 변형시킨다. 이 변형된 값을 w라 표현하며, w는 Affine transformation이라는 선형 변환을 거쳐 이미지를 합성하는 네트워크에 입력된다. 이러한 선형 변환을 거친 값이 스타일이며, 이 스타일은 이미지 생성과정에서 각 해상도마다 적용된다. StyleGAN 은 Mapping Network를 통해 나온 스타일(예를 들어, 머리카락의 모양, 피부의 색상 등)을 조절하여 이미지를 자연스럽게 변화시킬 수 있다.
판별자(304)는 생성자(302)에서의 학습을 도와주는 역할을 수행한다.
StyleGAN 은 복잡하지 않고 간단한 네트워크 구조로 이루어짐으로써 학습 효율을 극대화시키고 학습 시간을 최소화할 수 있다. 학습부(102)는 이와 같은 StyleGAN 을 이용하여 캐릭터 이미지들의 포즈 및 캐릭터 특성을 학습할 수 있다.
다시 도 1로 돌아오면, 입력부(104)는 사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character)를 각각 입력 받는다. 여기서, 타깃 캐릭터는 웹툰의 컷 이미지에 삽입하고자 하는 캐릭터로서, 사용자에 의해 입력 받을 수 있다.
도 4는 본 발명의 일 실시예에 따른 입력부(104)에 입력되는 타깃 캐릭터의 예시이다. 도 4에 도시된 바와 같이, 입력부(104)는 타깃 캐릭터가 포함된 2차원 형상의 이미지를 사용자로부터 입력 받을 수 있다. 이때, 타깃 캐릭터는 특정 옷을 입은 상태로 특정 포즈를 취하고 있을 수 있다. 또한, 상기 타깃 캐릭터는 특정 표정을 짓고 있을 수 있다.
또한, 입력부(104)는 사용자로부터 상기 타깃 캐릭터가 취할 타깃 포즈(target pose)를 입력 받을 수 있다. 상기 타깃 포즈는 앞서 설명한 도 4에 도시된 타깃 캐릭터의 포즈와 다른 포즈일 수 있다.
도 5는 본 발명의 일 실시예에 따른 입력부(104)에 입력되는 타깃 포즈의 예시이다. 도 5에 도시된 바와 같이, 입력부(104)는 비스듬히 서있는 포즈(a), 정면으로 서있는 포즈(b), 고개를 돌리고 있는 포즈(c) 등 다양한 포즈 중 하나를 사용자로부터 입력 받을 수 있다. 이러한 포즈들은 미리 분류되어 레이블링되어 있을 수 있으며, 사용자에 의해 특정 포즈가 선택될 때 선택된 포즈에 대응되는 레이블(label)이 식별될 수 있다. 입력부(104)는 기 분류된 다수의 포즈들 중 하나를 사용자로부터 선택받음으로써 상기 타깃 포즈를 입력 받을 수 있다. 또한, 상기 포즈들은 3차원 형상으로 이루어질 수 있으며, 덴스 포즈(dense pose), 메쉬 모델(mesh model) 등의 기술로 구현될 수 있다. 또한, 입력부(104)는 특정 포즈가 포함된 이미지를 사용자로부터 입력 받고, 설정된 포즈 인식 기술을 이용하여 상기 이미지로부터 상기 특정 포즈를 추출한 후 이를 타깃 포즈로 사용할 수도 있다.
다시 도 1로 돌아오면, 컷 이미지 생성부(106)는 인공지능(Artificial Intelligence) 기술 및 학습된 캐릭터 이미지를 기반으로 입력된 타깃 캐릭터의 포즈를 타깃 포즈로 변환시키고, 입력된 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 컷 이미지를 자동으로 생성한다.
먼저, 컷 이미지 생성부(106)는 인공지능 기술 및 학습된 캐릭터 이미지를 기반으로 입력된 타깃 캐릭터의 포즈를 타깃 포즈로 변환시킬 수 있다. 구체적으로, 컷 이미지 생성부(106)는 타깃 캐릭터의 체형, 신체 비율 등과 같은 캐릭터 특성을 분석한 후 상기 캐릭터 특성을 유지한 채 2차원 상에서 타깃 캐릭터의 포즈를 타깃 포즈로 변환시킬 수 있다. 이때, 컷 이미지 생성부(106)는 상기 캐릭터 특성과 대응되는 캐릭터 이미지를 추출하고, 추출된 캐릭터 이미지를 기반으로 타깃 캐릭터가 타깃 포즈를 취했을 때의 2차원 형상을 예측할 수 있다.
다음으로, 컷 이미지 생성부(106)는 입력된 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 컷 이미지를 자동으로 생성할 수 있다. 일 예시로서, 컷 이미지 생성부(106)는 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다.
이때, 상기 컷 이미지에 나타날 옷의 영역 중 적어도 일부가 입력된 타깃 캐릭터의 옷의 영역에 포함되지 않는 경우, 컷 이미지 생성부(106)는 인공지능 기술을 통해 상기 옷의 영역을 예측하여 재구성할 수 있다. 예를 들어, 입력된 타깃 캐릭터의 옷이 정면 부분만을 포함하였으나 타깃 포즈에 의해 옷의 측면 부분이 2차원 상에서 나타나야 하는 경우, 컷 이미지 생성부(106)는 입력된 타깃 캐릭터의 옷의 특성(예를 들어, 옷의 형태, 윤곽선, 색깔, 명암 등)을 고려하여 옷의 측면 부분을 예측하여 재구성할 수 있다.
또한, 컷 이미지 생성부(106)는 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각 중 하나 이상을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시킴으로써 상기 컷 이미지를 자동으로 생성할 수 있다. 즉, 컷 이미지 생성부(106)는 입력된 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시키되, 변환 과정에서 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도, 화각 등을 고려할 수 있다. 이에 따라, 타깃 캐릭터의 옷의 명암, 채색 등이 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도, 화각 등에 맞게 자동으로 변환될 수 있다.
도 6은 본 발명의 일 실시예에 따른 컷 이미지 생성부(106)에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시이다. 도 6의 (a)는 사용자에 의해 입력된 타깃 캐릭터의 예시를 나타내며, 도 6의 (b)는 사용자에 의해 입력된 타깃 포즈에 맞게 타깃 캐릭터의 옷이 변환되어 컷 이미지가 자동으로 생성된 예시를 나타낸다.
타깃 캐릭터의 타깃 포즈로의 변환 전(a)과 타깃 캐릭터의 타깃 포즈로의 변환 후(b)를 비교하면, 타깃 캐릭터의 옷의 종류는 각각 동일한 것을 확인할 수 있다. 즉, 타깃 캐릭터의 포즈가 바뀌기 전후 옷의 종류는 동일하게 유지되며, 포즈 및 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도, 화각 등에 따른 옷의 맵시만이 변환될 수 있다.
본 발명의 실시예들에 따르면, 인공지능 기술을 이용하여 타깃 캐릭터의 포즈를 타깃 포즈로 변환시키고, 상기 타깃 캐릭터의 옷을 타깃 포즈에 맞게 변환시켜 컷 이미지를 자동 생성하도록 함으로써, 작가는 컷 이미지가 바뀔 때마다 컷 이미지의 테마에 맞는 캐릭터의 포즈 및 이에 따른 캐릭터의 옷을 일일이 드로잉할 필요 없게 된다.
또한, 입력부(104)는 사용자로부터 상기 컷 이미지에 삽입될 타깃 옷을 입력 받고, 컷 이미지 생성부(106)는 입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성할 수도 있다.
도 7은 본 발명의 다른 실시예에 따른 컷 이미지 생성부(106)에서 타깃 캐릭터의 옷을 변환시켜 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시이다. 도 7의 (a)는 캐릭터 이미지를 나타내며, 도 7의 (b)는 타깃 캐릭터를 나타낸다. 또한, 도 7의 (c)는 입력부(104)에서 입력된 타깃 옷을 나타내며, 도 7의 (d)는 컷 이미지 생성부(106)에서 자동 생성된 컷 이미지를 나타낸다.
도 7을 참조하면, 컷 이미지 생성부(106)는 타깃 캐릭터의 체형과 타깃 옷의 사이즈가 상이한 경우 입력된 상기 타깃 옷의 크기 및 비율을 상기 타깃 캐릭터의 체형에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성할 수 있다. 예를 들어, 타깃 옷의 사이즈가 타깃 캐릭터의 체형에 비해 현저하게 작은 경우, 컷 이미지 생성부(106)는 타깃 옷의 크기와 비율을 타깃 캐릭터의 체형에 맞게 조절한 후 이를 타깃 캐릭터에 합성함으로써 타깃 캐릭터의 체형에 맞는 타깃 옷을 구현할 수 있다. 즉, 동일한 종류의 옷이라도 타깃 캐릭터의 체형에 맞게 옷이 자동으로 변환될 수 있으며, 이 경우 사용자가 원하는 어떠한 형태의 옷도 타깃 캐릭터의 체형에 맞게 구현되도록 할 수 있다. 이러한 자동 변환 기법 또한 인공지능 기술을 기반으로 구현될 수 있으며, 예를 들어 타깃 옷의 2차원 위치 좌표를 타깃 캐릭터의 체형에 맞는 2차원 위치 좌표로 변환하는 등의 방식으로 구현될 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부(106)에서 실물 사진을 이용하여 컷 이미지를 자동으로 생성하는 과정을 나타낸 예시이다.
도 8을 참조하면, 입력부(104)는 사용자로부터 실물 사진을 입력 받을 수 있으며, 컷 이미지 생성부(106)는 인공지능 기술을 이용하여 실물 사진과 대응되는 웹툰 스타일을 추출하고, 추출된 웹툰 스타일에 따라 컷 이미지를 자동으로 생성할 수 있다. 이때, 컷 이미지 생성부(106)는 실물 사진에 포함된 캐릭터의 캐릭터 특성을 추출하고, 추출된 캐릭터 특성에 대응되는 웹툰 스타일을 추출할 수 있다. 상기 웹툰 스타일은 설정된 데이터베이스(미도시)에 미리 저장되어 있거나 또는 상기 실물 사진으로부터 실시간으로 자동 구현될 수도 있다. 이때, 실물 사진에 나타난 포즈뿐 아니라 실물 사진에 나타난 캐릭터의 표정, 머리 스타일, 손, 피부 색 등과 같은 캐릭터 특성 또한 상기 웹툰 스타일에 그대로 구현될 수 있다.
일 예시로서, 입력부(104)는 사용자로부터 컷 이미지에 삽입되는 타깃 캐릭터에 적용될 타깃 표정을 입력 받을 수 있다. 여기서, 타깃 캐릭터는 예를 들어, 상기 실물 사진으로부터 구현되거나 사용자로부터 직접 입력되는 2차원의 캐릭터 이미지일 수 있다.
입력부(104)는 예를 들어, 상기 실물 사진 또는 2차원의 캐릭터 이미지에 포함된 캐릭터의 표정으로부터 타깃 캐릭터에 적용될 타깃 표정을 추출할 수 있다. 또한, 입력부(104)는 웃는 표정, 슬픈 표정, 즐거운 표정, 놀란 표정 등과 같이 미리 분류되어 레이블링되어 있는 표정들 중 하나를 사용자로부터 입력 받을 수도 있다. 이와 같이, 입력부(104)는 다양한 방법을 통해 사용자로부터 타깃 표정을 입력 받을 수 있다.
이후, 컷 이미지 생성부(106)는 타깃 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용하여 컷 이미지를 자동으로 생성할 수 있다. 예를 들어, 컷 이미지 생성부(106)는 타깃 캐릭터의 성별, 나이, 얼굴 크기, 얼굴 비율 등과 같은 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용함으로써, 타깃 표정을 짓는 타깃 캐릭터의 이미지를 생성할 수 있다. 이에 따라, 사용자가 원하는 표정을 짓는 캐릭터 이미지를 자동으로 생성할 수 있으며, 이러한 인공지능을 통한 컷 이미지의 자동 생성으로 인해 웹툰 제작의 편의성이 대폭 향상될 수 있다.
또한, 상술한 바와 같이, 컷 이미지를 생성하는 데 있어서 원하는 캐릭터의 스타일을 찾기 어려운 경우 사용자로부터 실물 사진을 입력 받고, 입력된 실물 사진에 따라 웹툰 스타일을 자동으로 구현하여 컷 이미지를 자동 생성함으로써, 사용자가 원하는 캐릭터 스타일을 보다 용이하게 구현할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 컷 이미지 생성부(106)에서 사용자에 의해 입력된 특성 정보를 이용하여 상황 맞춤형 옷을 추천하는 과정을 나타낸 예시이다.
도 9의 (a) 내지 (c)는 사용자에 의해 입력된 특성 정보로서, 예를 들어 남자/젊은/악당 등의 캐릭터 특성 정보(a), 여자/젊은/학생 등의 캐릭터 특성 정보(b), 사용자에 의해 선택된 옷 맵시와 같은 옷 특성 정보(c)가 될 수 있다. 이러한 특성 정보는 입력부(104)를 통해 사용자로부터 입력되거나, 또는 사용자의 성별, 나이 등과 같은 프로필(profile)로부터 자동 추출될 수도 있다.
도 9의 (d)는 도 9의 (c)에서 선택된 옷 맵시와 유사한 옷 맵시를 자동으로 추천하는 과정을 나타낸 예시이다. 컷 이미지 생성부(106)는 빅데이터를 기반으로 상기 특성 정보로부터 상황 맞춤형 옷을 추천하고, 사용자에 의해 상기 상황 맞춤형 옷이 선택되는 경우 이를 웹툰의 컷 이미지에 반영할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 보다 간편한 방법으로 웹툰의 컷 이미지에 포함된 캐릭터 및 캐릭터의 옷을 자동으로 생성할 수 있으며, 이에 따라 웹툰 제작의 편의성을 향상시키고 웹툰 제작에 걸리는 시간을 줄일 수 있다.
도 10은 본 발명의 일 실시예에 따른 웹툰 제작 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 S102에서, 학습부(102)는 웹툰 제작을 위해 서로 다른 포즈 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습한다. 상기 캐릭터 특성은 예를 들어, 캐릭터 유형, 성별, 나이, 체형 및 옷 중 하나 이상을 포함할 수 있다.
단계 S104에서, 입력부(104)는 사용자로부터 웹툰을 구성하는 하나의 컷 이미지에 삽입될 타깃 캐릭터 및 타깃 포즈를 각각 입력 받는다.
단계 S106에서, 컷 이미지 생성부(106)는 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시킨다.
단계 S108에서, 컷 이미지 생성부(106)는 입력된 상기 타깃 캐릭터의 옷을 변환시킨다. 일 예시로서, 컷 이미지 생성부(106)는 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성할 수 있다. 또한, 컷 이미지 생성부(106)는 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각 중 하나 이상을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시킬 수 있다. 다른 예시로서, 컷 이미지 생성부(106)는 입력부(104)를 통해 입력된 타깃 옷을 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성할 수 있다.
단계 S110에서, 컷 이미지 생성부(106)는 컷 이미지를 자동으로 생성한다. 컷 이미지 생성부(106)는 입력된 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시키되, 변환 과정에서 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도, 화각 등을 고려할 수 있다. 이에 따라, 타깃 캐릭터의 옷의 명암, 채색 등이 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도, 화각 등에 맞게 자동으로 변환될 수 있다.
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 웹툰 제작 시스템(100), 또는 웹툰 제작 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 웹툰 제작 시스템
102 : 학습부
104 : 입력부
106 : 컷 이미지 생성부
302 : 생성자
304 : 판별자
102 : 학습부
104 : 입력부
106 : 컷 이미지 생성부
302 : 생성자
304 : 판별자
Claims (16)
- 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습하는 학습부;
사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character) 및 타깃 포즈(target pose)를 각각 입력 받는 입력부; 및
인공지능(Artificial Intelligence) 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시키고, 입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 컷 이미지 생성부를 포함하며,
상기 컷 이미지 생성부는, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시키고, 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각에 맞게 상기 타깃 캐릭터의 옷의 명암 및 채색을 자동으로 변환시켜 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 시스템.
- 청구항 1에 있어서,
상기 캐릭터 특성은, 캐릭터 유형, 성별, 나이, 체형, 옷 및 표정 중 하나 이상을 포함하는, 인공지능을 이용한 웹툰 제작 시스템.
- 청구항 1에 있어서,
상기 컷 이미지 생성부는, 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성함으로써 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 시스템.
- 삭제
- 청구항 1에 있어서,
상기 타깃 캐릭터의 옷 종류는, 상기 타깃 포즈로의 변환 전과 상기 타깃 포즈로의 변환 후 각각 동일한, 인공지능을 이용한 웹툰 제작 시스템.
- 청구항 1에 있어서,
상기 입력부는, 상기 사용자로부터 상기 컷 이미지에 삽입될 타깃 옷을 입력 받고,
상기 컷 이미지 생성부는, 입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 시스템.
- 청구항 6에 있어서,
상기 컷 이미지 생성부는, 입력된 상기 타깃 옷의 크기 및 비율을 상기 타깃 캐릭터의 체형에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 시스템.
- 청구항 1에 있어서,
상기 입력부는, 상기 사용자로부터 상기 타깃 캐릭터에 적용될 타깃 표정을 입력 받고,
상기 컷 이미지 생성부는, 상기 타깃 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용하여 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 시스템.
- 학습부에서, 웹툰 제작을 위해 서로 다른 포즈(pose) 및 캐릭터 특성을 갖는 2차원 형상의 캐릭터 이미지를 복수 개 수집하여 학습하는 단계;
입력부에서, 사용자로부터 웹툰을 구성하는 하나의 컷 이미지(cut image)에 삽입될 타깃 캐릭터(target character) 및 타깃 포즈(target pose)를 각각 입력 받는 단계;
컷 이미지 생성부에서, 인공지능(Artificial Intelligence) 기술 및 학습된 상기 캐릭터 이미지를 기반으로 입력된 상기 타깃 캐릭터의 포즈를 상기 타깃 포즈로 변환시키는 단계; 및
상기 컷 이미지 생성부에서, 입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 단계를 포함하며,
상기 컷 이미지를 자동으로 생성하는 단계는, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각을 고려하여 입력된 상기 타깃 캐릭터의 옷을 변환시키고, 상기 컷 이미지 상에서의 상기 타깃 캐릭터의 크기, 위치, 구도 및 화각에 맞게 상기 타깃 캐릭터의 옷의 명암 및 채색을 자동으로 변환시켜 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 방법.
- 청구항 9에 있어서,
상기 캐릭터 특성은, 캐릭터 유형, 성별, 나이, 체형, 옷 및 표정 중 하나 이상을 포함하는, 인공지능을 이용한 웹툰 제작 방법.
- 청구항 9에 있어서,
입력된 상기 타깃 캐릭터의 옷을 상기 타깃 포즈에 맞게 변환시킴으로써 상기 컷 이미지를 자동으로 생성하는 단계는, 입력된 상기 타깃 캐릭터의 옷을 식별하고, 상기 인공지능 기술 및 학습된 상기 캐릭터 이미지를 기반으로 상기 타깃 포즈에 따라 상기 컷 이미지에 나타날 상기 옷의 영역을 예측한 후 상기 타깃 포즈에 맞는 상기 옷의 영역을 재구성함으로써 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 방법.
- 삭제
- 청구항 9에 있어서,
상기 타깃 캐릭터의 옷 종류는, 상기 타깃 포즈로의 변환 전과 상기 타깃 포즈로의 변환 후 각각 동일한, 인공지능을 이용한 웹툰 제작 방법.
- 청구항 9에 있어서,
상기 입력부에서, 상기 사용자로부터 상기 컷 이미지에 삽입될 타깃 옷을 입력 받는 단계; 및
상기 컷 이미지 생성부에서, 입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는 단계를 더 포함하는, 인공지능을 이용한 웹툰 제작 방법.
- 청구항 14에 있어서,
입력된 상기 타깃 옷을 상기 타깃 캐릭터의 캐릭터 특성에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는 단계는, 입력된 상기 타깃 옷의 크기 및 비율을 상기 타깃 캐릭터의 체형에 맞게 변환시킨 후 상기 타깃 캐릭터에 합성함으로써 상기 컷 이미지를 자동으로 생성하는, 인공지능을 이용한 웹툰 제작 방법.
- 청구항 9에 있어서,
상기 입력부에서, 상기 사용자로부터 상기 타깃 캐릭터에 적용될 타깃 표정을 입력 받는 단계; 및
상기 컷 이미지 생성부에서, 상기 타깃 캐릭터의 특성에 맞게 상기 타깃 표정을 상기 타깃 캐릭터에 적용하여 상기 컷 이미지를 자동으로 생성하는 단계를 더 포함하는, 인공지능을 이용한 웹툰 제작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210185514A KR102399255B1 (ko) | 2021-12-22 | 2021-12-22 | 인공지능을 이용한 웹툰 제작 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210185514A KR102399255B1 (ko) | 2021-12-22 | 2021-12-22 | 인공지능을 이용한 웹툰 제작 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102399255B1 true KR102399255B1 (ko) | 2022-05-18 |
Family
ID=81800524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210185514A KR102399255B1 (ko) | 2021-12-22 | 2021-12-22 | 인공지능을 이용한 웹툰 제작 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102399255B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102527129B1 (ko) * | 2022-03-15 | 2023-04-28 | 박연조 | 수익 창출을 위한 참여형 웹툰 컨텐츠를 생성 및 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 |
| KR102545836B1 (ko) | 2023-01-27 | 2023-06-20 | 박민범 | 인공지능 기반 웹툰 제작 방법 및 장치, 시스템 |
| KR102690474B1 (ko) * | 2023-02-15 | 2024-08-01 | 윤광남 | 웹툰 제작 서비스 제공 방법 및 그 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090081899A (ko) * | 2008-01-25 | 2009-07-29 | 중앙대학교 산학협력단 | 감성표현이 적용된 디지털 스토리보드 생성 방법 및 시스템 |
| KR20140065762A (ko) * | 2012-11-21 | 2014-05-30 | 토리인 주식회사 | 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법 |
| KR20150101064A (ko) * | 2014-02-25 | 2015-09-03 | 김요한 | 만화 캐릭터 제작 시스템 |
| KR102131570B1 (ko) | 2019-12-10 | 2020-07-10 | (주)블루스토리팩토리 | 웹툰 서비스 방법 및 이러한 방법을 수행하는 장치 |
| KR102334705B1 (ko) * | 2021-06-10 | 2021-12-03 | 주식회사 위딧 | 웹툰 드로잉 장치 및 방법 |
-
2021
- 2021-12-22 KR KR1020210185514A patent/KR102399255B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090081899A (ko) * | 2008-01-25 | 2009-07-29 | 중앙대학교 산학협력단 | 감성표현이 적용된 디지털 스토리보드 생성 방법 및 시스템 |
| KR20140065762A (ko) * | 2012-11-21 | 2014-05-30 | 토리인 주식회사 | 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법 |
| KR20150101064A (ko) * | 2014-02-25 | 2015-09-03 | 김요한 | 만화 캐릭터 제작 시스템 |
| KR102131570B1 (ko) | 2019-12-10 | 2020-07-10 | (주)블루스토리팩토리 | 웹툰 서비스 방법 및 이러한 방법을 수행하는 장치 |
| KR102334705B1 (ko) * | 2021-06-10 | 2021-12-03 | 주식회사 위딧 | 웹툰 드로잉 장치 및 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102527129B1 (ko) * | 2022-03-15 | 2023-04-28 | 박연조 | 수익 창출을 위한 참여형 웹툰 컨텐츠를 생성 및 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 |
| KR102545836B1 (ko) | 2023-01-27 | 2023-06-20 | 박민범 | 인공지능 기반 웹툰 제작 방법 및 장치, 시스템 |
| KR102690474B1 (ko) * | 2023-02-15 | 2024-08-01 | 윤광남 | 웹툰 제작 서비스 제공 방법 및 그 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102399255B1 (ko) | 인공지능을 이용한 웹툰 제작 시스템 및 방법 | |
| Aksan et al. | Deepwriting: Making digital ink editable via deep generative modeling | |
| US11481869B2 (en) | Cross-domain image translation | |
| US11024060B1 (en) | Generating neutral-pose transformations of self-portrait images | |
| KR20210119438A (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| Shi et al. | EmoG: supporting the sketching of emotional expressions for storyboarding | |
| US11954828B2 (en) | Portrait stylization framework using a two-path image stylization and blending | |
| KR102334705B1 (ko) | 웹툰 드로잉 장치 및 방법 | |
| JP2013242757A (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
| CN114266695A (zh) | 图像处理方法、图像处理系统及电子设备 | |
| KR20220011100A (ko) | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 | |
| CN113850714A (zh) | 图像风格转换模型的训练、图像风格转换方法及相关装置 | |
| US20210342496A1 (en) | Geometry-aware interactive design | |
| Bissoto et al. | The six fronts of the generative adversarial networks | |
| CN116611496A (zh) | 文本到图像的生成模型优化方法、装置、设备及存储介质 | |
| CN117252791A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Vonikakis et al. | Morphset: Augmenting categorical emotion datasets with dimensional affect labels using face morphing | |
| WO2024066549A1 (zh) | 一种数据处理方法及相关设备 | |
| KR102346325B1 (ko) | 3차원 데이터를 이용한 웹툰 제작 시스템 및 방법 | |
| KR102346329B1 (ko) | 3차원 데이터를 이용한 웹툰 제작 시스템 및 방법 | |
| CN116310028A (zh) | 三维人脸模型的风格迁移方法及系统 | |
| KR102504722B1 (ko) | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 | |
| CN114639161A (zh) | 多任务模型的训练方法以及衣服的虚拟试穿方法 | |
| CN114283422A (zh) | 一种手写字体生成方法、装置、电子设备和存储介质 | |
| Gong et al. | Dynamic facial expression synthesis driven by deformable semantic parts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |