KR102084782B1 - 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법 - Google Patents

적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법 Download PDF

Info

Publication number
KR102084782B1
KR102084782B1 KR1020180130842A KR20180130842A KR102084782B1 KR 102084782 B1 KR102084782 B1 KR 102084782B1 KR 1020180130842 A KR1020180130842 A KR 1020180130842A KR 20180130842 A KR20180130842 A KR 20180130842A KR 102084782 B1 KR102084782 B1 KR 102084782B1
Authority
KR
South Korea
Prior art keywords
image data
character
processor
data
animal
Prior art date
Application number
KR1020180130842A
Other languages
English (en)
Inventor
강태원
Original Assignee
강태원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강태원 filed Critical 강태원
Priority to KR1020180130842A priority Critical patent/KR102084782B1/ko
Application granted granted Critical
Publication of KR102084782B1 publication Critical patent/KR102084782B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법에 관한 것으로서, 본 발명의 일 실시 예에 따른 방법은, (a) 프로세서가 사람, 동물 및 캐릭터 이미지 데이터를 각각 수집하여 데이터베이스에 저장하는 단계, (b) 프로세서가 데이터베이스에 저장된 이미지 데이터들 각각에 대해 소정의 특징 영역에 주의값(attention value)을 부여함으로써 데이터들을 가공하는 단계, (c) 프로세서가 가공된 데이터들을 적대적 생성 신경망 알고리즘을 이용하여 학습하는 단계 및 (d) 사용자 단말로부터 사용자 이미지 데이터가 입력되면, 프로세서가 입력된 사용자 이미지 데이터에 대해 소정의 특징 영역에 주의값을 부여하고, 적대적 생성 신경망 알고리즘을 이용한 데이터 변환을 통해 의인화 캐릭터를 생성하는 단계를 포함할 수 있다.

Description

적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법{METHOD GENERATING PERSONIFICATION CHARACTER WITH GAN ALGORITHM}
본 발명은 적대적 생성 신경망(GAN) 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법에 관한 것으로, 더욱 상세하게는 사람과 캐릭터의 특징을 추출하는 전처리 과정과 GAN 알고리즘을 이용한 학습 과정을 통해 의인화 캐릭터를 생성하는 방법에 관한 것이다.
기존에 GAN 알고리즘과 관련하여 제시되었던 선행연구들은 사람의 이미지에 기초한 의인화 캐릭터를 생성하기에 적합한 모델이 아니다. 먼저, MUNIT모델은 NVIDIA사에서 제시된 다중 Image to Image Translation 모델로써, 신발이나 핸드백 등 실루엣이 입력된 경우 GAN 알고리즘이 알맞게 해당 이미지의 적절한 위치에 색상을 입힌다. 이 결과를 다양한 색깔로 다중 생성한다. 예를 들어, 하얀색 배경에 스케치처럼 테두리만 그린 신발 사진이 입력되었을 경우, 이 신발 사진에 깔창의 색깔, 신발 표면의 색상을 검정색, 분홍색, 갈색, 복숭아색 등 여러 가지의 신발 창작의 예시를 제시한다.
다음으로, Image to Image Translation with CAN(Conditional Adversarial Networks) 모델의 경우에는 특징을 명시한 이미지를 삽입하였을 때 GAN 알고리즘이 특징을 잡아내 위치에 맞게 이미지를 창작한다. 건물, 항공지도, 도로 사진들 변환이 가능하며, 예를 들어 항공사진이 모델에 입력되었을 경우 GAN 알고리즘이 특징을 찾아내, 도로, 건물 등의 정보를 포함한 지도를 제작한다.
전술한 선행연구들은 모두 캐릭터 스타일의 변환을 제시하지 않으며 가장 큰 문제는 작가별 캐릭터의 외형을 학습하지 못한다. 예를 들어, A 작가가 캐릭터를 그릴 때 스케치처럼 연하게 외형을 그릴 수도 있고, B 작가가 캐릭터를 그릴 때에는 컴퓨터 그래픽처럼 진하게 외형을 그릴 수도 있다. 또한, 사람 얼굴과 애니메이션 캐릭터 사이에는 일대일로 대응하는 특징이 존재하지 않을 수 있으나, GAN 알고리즘 특성상 애니메이션 캐릭터의 특징을 익히기 위해서는 사람과 일대일 대응되는 특징이 있어야 한다. 사람들은 애니메이션처럼 모든 종류의 색상을 가진 머리카락이나 눈을 가지고 있는 것이 아니고, 얼굴은 애니메이션보다 훨씬 자세하다. 둘 사이의 이미지 변환을 수행할 때 전술한 선행모델에서 일대일 매핑을 요청하기에는 어려움이 있다.
1. Xun, Huang, et al. "Multimodal Unsupervised Image-to-Image Translation."　Multimodal Unsupervised Image-to-Image Translation, 12 Apr. 2018, arxiv.org/abs/1804.04732. 2. Isola, Phillip, et al. "Image-to-Image Translation with Conditional Adversarial Networks."Image-to-Image Translation with Conditional Adversarial Networks, 22 Nov. 2017, arxiv.org/abs/1611.07004.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 사람, 동물, 캐릭터 등의 이미지의 특징을 추출하는 과정을 통해 GAN 알고리즘을 통한 이미지 학습 과정을 종래 대비 대폭 개선함으로써, 사람의 외형과 특징을 명확히 반영할 수 있는 의인화 캐릭터를 생성하는 방법을 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 적대적 생성 신경망(Generative Adversarial Network, GAN) 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법은, (a) 프로세서가 사람, 동물 및 캐릭터 이미지 데이터를 각각 수집하여 데이터베이스에 저장하는 단계, (b) 프로세서가 데이터베이스에 저장된 이미지 데이터들 각각에 대해 소정의 특징 영역에 주의값(attention value)을 부여함으로써 데이터들을 가공하는 단계, (c) 프로세서가 가공된 데이터들을 적대적 생성 신경망 알고리즘을 이용하여 학습하는 단계 및 (d) 사용자 단말로부터 사용자 이미지 데이터가 입력되면, 프로세서가 입력된 사용자 이미지 데이터에 대해 소정의 특징 영역에 주의값을 부여하고, 적대적 생성 신경망 알고리즘을 이용한 데이터 변환을 통해 의인화 캐릭터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 (a) 단계에서는, 프로세서가 동물 이미지 데이터를 종(species)별로 분류하여 데이터베이스에 저장하며, 캐릭터 이미지 데이터를 작가별 및 캐릭터별로 분류하여 데이터베이스에 저장할 수 있다.
본 발명의 일 실시 예에 따른 (b) 단계 또는 (d) 단계에서는, 소정의 특징 영역에 주의값을 부여하기 위해 소정의 특징 영역에 대한 좌표값을 이용하며, 소정의 특징 영역에는 이미지 데이터들의 눈, 코, 입 및 피부 영역이 포함될 수 있다.
본 발명의 일 실시 예에 따른 (b) 단계 또는 (d) 단계에서는, 눈, 코 및 입 영역의 좌표값을 소정의 특징 영역의 경계값으로 추정할 수 있다.
본 발명의 일 실시 예에 따른 (c) 단계에서는, 프로세서가 사람 이미지 데이터를 동물 이미지 데이터로 1차 학습하고, 동물 이미지 데이터를 캐릭터 이미지 데이터로 2차 학습할 수 있다.
본 발명의 일 실시 예에 따른 (d) 단계에서는, 프로세서가 (c) 단계에서의 학습에 기초하여 사용자 이미지 데이터를 동물 이미지 데이터로 1차 변환하고, 동물 이미지 데이터를 의인화 캐릭터로 2차 변환할 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 의인화 캐릭터 생성 방법에 따르면, 사람, 동물, 캐릭터 이미지 등을 분류하여 데이터베이스로 관리하고, 각 이미지의 일정 영역을 중심으로 특징을 추출하여 이미지 학습 과정을 수행함으로써, 사용자가 원하는 의인화 캐릭터를 선택적으로 생성할 수 있으며, 사용자의 외형과 특징이 자세히 반영된 의인화 캐릭터를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법의 학습 과정을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법의 이미지 도출 과정을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 데이터들의 가공 과정을 나타낸 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 시스템을 나타낸 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
"적대적 생성 신경망 알고리즘" (Generative Adversarial Network, GAN)이란, 생성자(Generator)와 판별자(Discriminator)가 포함된 모델로서, 학습데이터를 바탕으로 생성자는 학습데이터와 가까운 데이터를 생성하고, 판별자는 그 데이터가 학습데이터와 같은 데이터인지 또는 생성자가 생성한 데이터인지 여부를 판단하며, 이 과정에서 생성자가 판별자를 속이도록 학습하여 학습데이터와 가까운 이미지를 만들어내도록 하는 알고리즘을 말한다.
"적대적 생성 신경망 알고리즘" (이하, GAN 알고리즘)에 입력되는 데이터는 학습용 데이터(이하, train 데이터)와 테스트용 데이터(이하, test 데이터)로 구분될 수 있다. 각각의 train 데이터와 test 데이터는 A와 B의 서로 다른 데이터로 구분되며, 알고리즘의 학습 과정에서는 A가 입력값일 때, B가 출력값으로 생성되도록 훈련된다.
생성자는 실제 데이터를 학습해 판별자를 학습 데이터와 동일하다고 속일 수 있는 유사 데이터를 생성한다. 그 다음, 판별자는 입력된 데이터가 학습 데이터와 동일한지(True) 아니면 생성자가 임의로 생성한 데이터(False)인지 판단하여 이를 구분한다. 생성자는 판별자를 속이지 못한 정보를, 판별자는 생성자로 인해 속은 정보를 입력 받아 학습하는 과정을 반복하여, 생성자가 실제와 가까운 데이터를 생성하도록 한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 GAN 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법의 학습 과정을 나타낸 순서도이며, 도 2는 본 발명의 일 실시 예에 따른 GAN 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법의 이미지 도출 과정을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 데이터들의 가공 과정을 나타낸 개념도이며, 도 4는 본 발명의 일 실시 예에 따른 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 시스템을 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 GAN 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법은, (a) 프로세서(110)가 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)를 각각 수집하여 데이터베이스(120)에 저장하는 단계(S100), (b) 프로세서(110)가 데이터베이스(120)에 저장된 이미지 데이터들(10, 20, 30) 각각에 대해 소정의 특징 영역에 주의값(attention value)을 부여함으로써 데이터들을 가공하는 단계(S200), (c) 프로세서(110)가 가공된 데이터들을 GAN 알고리즘을 이용하여 학습하는 단계(S300) 및 (d) 사용자 단말(200)로부터 사용자 이미지 데이터가 입력되면, 프로세서(110)가 입력된 사용자 이미지 데이터에 대해 소정의 특징 영역에 주의값을 부여하고, GAN 알고리즘을 이용한 데이터 변환을 통해 의인화 캐릭터를 생성하는 단계(S400)를 포함할 수 있다.
전술한 GAN 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법은 크게 학습 과정과 이미지 도출 과정으로 구분될 수 있다. 먼저, 도 1 및 도 3을 참조하여 학습 과정에 대해 보다 구체적으로 살펴보도록 한다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 (a) 단계(S100)에서, 프로세서(110)는 이미지 데이터를 학습하기 위한 기초 자료로서 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)를 수집할 수 있다(S110). 이때, 이미지 데이터들(10, 20, 30)은 사용자 단말(200)로부터 수신된 자료이거나 인터넷, 타 데이터베이스 등에 대한 접속 또는 검색 등을 통해 수집된 자료일 수 있다.
이미지 데이터 수집(S110)이 완료되면, 프로세서(110)는 동물 이미지 데이터(20)를 종(species)별로 분류하여 데이터베이스(120)에 저장하고, 캐릭터 이미지 데이터(30)를 작가별 및 캐릭터별로 분류하여 데이터베이스(120)에 저장할 수 있다(S120, S130). 이러한 분류 및 저장을 통해 후술할 데이터 학습 과정에서의 처리 효율성을 향상시킬 수 있다. 또한, 사용자가 원하는 캐릭터를 작가별 또는 캐릭터별로 검색하고 선택하도록 할 수 있다. 이때, 사람 이미지 데이터(10)의 경우, 프로세서(110)에 의해 인종별로 분류하여 데이터베이스(120) 저장될 수 있다.
전술한 이미지 데이터들(10, 20, 30)의 분류(S120) 및 저장(S130)이 완료되면, 본 발명의 일 실시 예에 따른 (b) 단계(S200)에서, 프로세서(110)는 데이터베이스(120)에 저장된 이미지 데이터들(10, 20, 30) 각각에 대해 소정의 특징 영역에 주의값을 부여함으로써 데이터들을 가공할 수 있다. 데이터 가공 과정은 데이터베이스(120)에 저장된 이미지 데이터들(10, 20, 30) 전체에 대해 무작위로 수행될 수 있다. 다만, 무작위로 수행되는 경우에는 데이터 처리 과정에서 상당한 시간이 소요되므로 사용자 단말(200)로부터 인가된 외부 입력에 의해 각각 선택된 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)에 대해 수행될 수도 있다. 이와 같이 데이터가 선택되는 과정이 수행되면, 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)가 하나의 그룹 단위으로 처리될 수 있으므로, 후술할 학습 과정에서도 소요되는 시간 및 비용을 현저히 감소시킬 수 있다.
이하에서는 도 3을 참조하여 이미지 데이터들(10, 20, 30)에 대한 특징 영역 설정, 주의값 부여 등의 학습 전처리 과정에 대해 구체적으로 살펴보도록 한다.
본 발명의 일 실시 예에 따른 (b) 단계(S200)에서, 프로세서(110)는 이미지 데이터들(10, 20, 30)의 소정의 특징 영역을 설정하기 위해서 이미지 데이터들(10, 20, 30)의 눈, 코, 입 및 피부 영역(11, 21, 31)에 대한 좌표값을 이용할 수 있다. 이때, 눈, 코 및 입 영역(11, 21, 31)의 좌표값은 특징 영역(12, 22, 32)의 경계값으로 추정될 수 있다.
예를 들어, 도 3을 참조하면, 프로세서(110)는 사람 이미지 데이터(10)에 대해 사람의 눈, 코 및 입 영역(11)을 인식하고, 해당 영역들의 (x, y) 좌표값을 추정할 수 있다. 프로세서(110)는 코 영역의 (x, y) 좌표값을 중심으로 눈 및 입 영역의 (x, y) 좌표값들 경계값으로 추정하여 소정의 특징 영역(12)을 설정할 수 있는데, 소정의 특징 영역(12)은 도 3과 같이 사각 영역일 수 있으나, 이에 한정되지 않는다.
동물 이미지 데이터(20) 및 캐릭터 이미지 데이터(30)의 경우, 도 3과 같이 눈, 코 및 입 영역뿐만 아니라 귀 영역(21, 31)까지 소정의 특징 영역에 포함될 수 있으며, 눈, 코, 입 및 귀 영역(21, 31)의 좌표값이 특징 영역(22, 32)의 경계값으로 추정될 수 있다. 프로세서(110)는 코 및 눈 영역의 (x, y) 좌표값을 중심으로 입 및 귀 영역의 (x, y) 좌표값들을 경계값으로 추정하여 소정의 특징 영역(22, 32)을 설정할 수 있는데, 소정의 특징 영역(22, 32)은 도 3과 같이 사각 영역일 수 있으나, 이에 한정되지 않는다.
사람(10), 동물(20) 및 캐릭터 이미지 데이터들(30) 각각에 대해 특징 영역의 좌표값이 추정되고 특징 영역이 설정되면, 프로세서(110)는 해당 특징 영역에 주의값을 부여할 수 있다. 여기서 주의값이란 GAN 알고리즘을 통한 학습 과정에서 해당 영역을 중심으로 특징을 검출할 수 있도록 하기 위한 일종의 마커(marker)를 의미한다. 즉, GAN 알고리즘을 이용한 데이터 학습에서의 특징 검출 및 매핑(mapping)이 효과적으로 수행될 수 있도록 프로세서(110)는 얼굴 영역 전체에 주의값을 부여하는 것이 아닌 소정의 특징 영역(바람직하게는, 눈, 코 및 입 영역)에 주의값을 부여할 수 있다.
이러한 과정을 통해 사람, 동물 및 캐릭터의 머리카락, 그림자 또는 목 등의 얼굴이 아닌 영역을 제외하고 눈, 코, 입을 포함한 영역만을 특징적으로 인식하여 학습할 수 있도록 함으로써, GAN 알고리즘에 의한 특징 검출, 데이터 매핑 등이 원활하게 수행될 수 있도록 할 수 있으며, 데이터 학습의 정확도 및 신뢰성을 보다 향상시킬 수 있다.
본 발명의 일 실시 예에 따른 (b) 단계(S200)가 완료되면, (c) 단계(S300)에서 프로세서(110)는 GAN 알고리즘을 이용하여 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)의 학습을 수행할 수 있다. 전술하였듯이 GAN 알고리즘은 생성자와 판별자의 경쟁을 통해 실제와 가까운 이미지 데이터를 생성하는 것이므로, (c) 단계(S300)에서는 사람 이미지 데이터(10)의 특징들이 반영된 사람 이미지와 가까운 캐릭터 이미지를 생성하기 위한 데이터 학습 과정이 수행될 수 있다. 이때, 학습 과정은 전체 이미지 영역에 대해 수행되는 것이 아닌 전술한 (b) 단계(S200)를 통해 주의값이 부여된 특징 영역에 대해 수행될 수 있다.
본 발명의 일 실시 예에 따른 (c) 단계(S300)에서의 GAN 알고리즘 학습 과정은 사람 이미지 데이터(10)를 동물 이미지 데이터(20)로 학습하는 1차 학습 단계, 동물 이미지 데이터(20)를 캐릭터 이미지 데이터(30)로 학습하는 2차 학습 단계로 구분될 수 있다. 캐릭터 이미지가 동물의 형상에 기반한 경우, 사람 이미지 데이터(10)로부터 캐릭터 이미지 데이터(30)로 곧바로 학습하면 특징 영역이 제대로 반영되지 못할 확률이 커지게 된다. 따라서, 학습 과정을 사람 이미지 데이터(10)를 동물 이미지 데이터(20)를 학습하는 1차 학습 단계, 동물 이미지 데이터(20)를 캐릭터 이미지 데이터(30)로 학습하는 2차 학습 단계로 이원화함으로써, GAN 알고리즘의 특징 검출 및 매핑 등을 통한 학습의 정확도를 향상시킬 수 있다.
이하에서는 도 2를 참조하여 이미지 도출 과정에 대해 보다 구체적으로 살펴보도록 한다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 (d) 단계(S400)에서는, 먼저 사용자 단말(200)로부터 사용자 이미지 데이터가 입력될 수 있다(S410). 사용자 이미지 데이터란 의인화 캐릭터를 생성하고자 하는 사람의 이미지 데이터를 의미한다. 예를 들어, 사용자 본인의 셀프카메라 이미지 등일 수 있다. 사용자 단말(200)로부터의 사용자 이미지 데이터 입력 과정은 사용자로부터 인가된 외부 입력에 의해 사용자 단말(200)의 카메라에 의해 촬영된 이미지 또는 메모리에 저장된 이미지 등이 선택되는 과정으로 이해될 수 있다.
다음으로, (d) 단계(S400)에서는, 사용자 단말(200)로부터 인가된 외부 입력에 의해 동물(20) 및 캐릭터 이미지 데이터(30)가 선택될 수 있다(S420). 이때, 선택되는 동물(20) 및 캐릭터 이미지 데이터들(30)은 GAN 알고리즘을 이용한 학습 과정이 수행되어 데이터베이스(120)에 저장된 데이터들에 해당한다. 사용자에 의해 원하는 작가 또는 캐릭터별 이미지를 선택됨으로써, 사용자의 의사가 반영된 의인화 캐릭터가 생성될 수 있다.
사용자 이미지 데이터의 입력(S410)과 동물(20) 및 캐릭터 이미지 데이터(30)의 선택(S420)이 완료되면, 사용자 이미지 데이터에 대한 소정의 특징 영역에 주의값을 부여하는 데이터 가공 단계(S430) 및 GAN 알고리즘을 이용하여 의인화 캐릭터를 생성하는 단계(S440)가 수행될 수 있다.
본 발명의 일 실시 예에 따른 (d) 단계(S400)에서는. 전술한 (b) 단계(S200)와 마찬가지로 프로세서(110)가 사용자 이미지 데이터의 소정의 특징 영역을 설정하기 위해서 사용자 이미지 데이터의 눈, 코, 입 및 피부 영역에 대한 좌표값을 이용할 수 있다. 이때, 눈, 코 및 입 영역의 좌표값은 특징 영역의 경계값으로 추정될 수 있다. 동물(20) 및 캐릭터 이미지 데이터(30)에 대해서도 한번 더 동일한 과정이 수행될 수 있다.
사용자, 동물(20) 및 캐릭터 이미지 데이터들(30) 각각에 대해 특징 영역의 좌표값이 추정되고 특징 영역이 설정되면, 프로세서(110)는 해당 특징 영역에 주의값을 부여할 수 있다(S430). 이와 같이 부여된 주의값에 기초하여 프로세서(110)는 GAN 알고리즘 학습 과정을 통해 의인화 캐릭터를 생성할 수 있다(S440).
의인화 캐릭터 생성 과정(S440)에서 프로세서(110)는 (c) 단계(S300)에서의 학습에 기초하여 사용자 이미지 데이터를 동물 이미지 데이터(20)로 1차 변환하고, 동물 이미지 데이터(20)를 의인화 캐릭터로 2차 변환할 수 있다. 이러한 GAN 알고리즘의 생성자와 판별자의 경쟁 학습에 기초한 2차 변환 과정을 통해 GAN 알고리즘의 생성자는 사람 이미지의 특징 영역(바람직하게는 눈, 코, 입 영역)이 최대한 반영된 의인화 캐릭터 이미지를 생성할 수 있다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 GAN 알고리즘을 기반으로 한 의인화 캐릭터 생성 시스템은, 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)를 저장하기 위한 데이터베이스(120) 및 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)를 각각 수집하여 데이터베이스(120)에 저장하고, 데이터베이스(120)에 저장된 이미지 데이터들 각각에 대해 소정의 특징 영역에 주의값을 부여하며, 가공된 데이터들을 GAN 알고리즘을 이용하여 학습하기 위한 프로세서(110)를 포함하는 (100) 및 사람(10), 동물(20) 및 캐릭터 이미지 데이터(30)의 선택 또는 사용자 이미지 데이터 입력 등의 동작을 수행하기 위한 사용자 단말(200)을 포함할 수 있다.
본 발명의 일 실시 예에 따른 프로세서(110)는 사용자 단말(200)로부터 사용자 이미지 데이터가 입력되면, 사용자 이미지 데이터에 대해 소정의 특징 영역에 주의값을 부여하고, GAN 알고리즘을 이용한 데이터 변환을 통해 의인화 캐릭터를 생성할 수 있다.
본 발명의 일 실시 예에 따른 사용자 단말(200)은 유무선 네트워크 통신이 가능한 단말로서, 스마트폰, PMP(Portable Multimedia Player), PDA(Personal Digital Assistants), 데스크탑(Desktop) PC, 랩탑(Laptop) PC, 태블릿(Tablet) PC 등일 수 있으나, 전술한 예시에 한정되지 않는다.
다만, 전술한 내용 및 도 4를 참조하면, 사용자 단말(200)은 시스템의 동작을 위해 반드시 필요한 구성인 것으로 볼 수도 있으나, 의인화 캐릭터 생성 장치(100)에 사용자 이미지 데이터 생성을 위한 카메라, 데이터 선택 또는 입력 등의 동작을 수행하기 위한 터치디스플레이 등이 포함되는 경우에는 사용자 단말(200) 없이 의인화 캐릭터 생성 장치(100)만으로도 시스템의 전체 동작이 수행될 수 있다.
본 발명의 일 실시 예에 따른 시스템과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 사람 이미지 데이터
11: 사람 이미지 데이터의 눈, 코 및 입 영역
12: 사람 이미지 데이터의 특징 영역
20: 동물 이미지 데이터
21: 동물 이미지 데이터의 눈, 코, 입 및 귀 영역
22: 동물 이미지 데이터의 특징 영역
30: 캐릭터 이미지 데이터
31: 캐릭터 이미지 데이터의 눈, 코, 입 및 귀 영역
32: 캐릭터 이미지 데이터의 특징 영역
100: 의인화 캐릭터 생성 장치
110: 프로세서
120: 데이터베이스
121: 사람 이미지 데이터베이스
122: 동물 이미지 데이터베이스
123: 캐릭터 이미지 데이터베이스
200: 사용자 단말

Claims (5)

  1. 적대적 생성 신경망(Generative Adversarial Network, GAN) 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법에 있어서,
    (a) 프로세서가 사람, 동물 및 캐릭터 이미지 데이터를 각각 수집하여 데이터베이스에 저장하는 단계;
    (b) 상기 프로세서가 상기 데이터베이스에 저장된 이미지 데이터들 각각에 대해 소정의 특징 영역에 주의값(attention value)을 부여함으로써 데이터들을 가공하는 단계;
    (c) 상기 프로세서가 상기 가공된 데이터들을 상기 적대적 생성 신경망 알고리즘을 이용하여 학습하는 단계; 및
    (d) 사용자 단말로부터 사용자 이미지 데이터가 입력되면, 상기 프로세서가 상기 입력된 사용자 이미지 데이터에 대해 소정의 특징 영역에 주의값을 부여하고, 상기 적대적 생성 신경망 알고리즘을 이용한 데이터 변환을 통해 상기 의인화 캐릭터를 생성하는 단계를 포함하되,
    상기 (c) 단계에서는, 상기 프로세서가 상기 사람 이미지 데이터를 상기 동물 이미지 데이터로 1차 학습하고, 상기 동물 이미지 데이터를 상기 캐릭터 이미지 데이터로 2차 학습하며,
    상기 (d) 단계에서는, 상기 프로세서가 상기 (c) 단계에서의 학습에 기초하여 상기 사용자 이미지 데이터를 상기 동물 이미지 데이터로 1차 변환하고, 상기 동물 이미지 데이터를 상기 의인화 캐릭터로 2차 변환하는 것을 특징으로 하는 의인화 캐릭터 생성 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계에서는,
    상기 프로세서가 상기 동물 이미지 데이터를 종(species)별로 분류하여 상기 데이터베이스에 저장하며, 상기 캐릭터 이미지 데이터를 작가별 및 캐릭터별로 분류하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 의인화 캐릭터 생성 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계 또는 (d) 단계에서는,
    상기 프로세서가 상기 소정의 특징 영역에 주의값을 부여하기 위해 상기 소정의 특징 영역에 대한 좌표값을 이용하며,
    상기 소정의 특징 영역에는 상기 이미지 데이터들의 눈, 코, 입 및 피부 영역이 포함되는 것을 특징으로 하는 의인화 캐릭터 생성 방법.
  4. 제 3 항에 있어서,
    상기 (b) 단계 또는 (d) 단계에서는,
    상기 프로세서가 상기 눈, 코 및 입 영역의 좌표값을 상기 소정의 특징 영역의 경계값으로 추정하는 것을 특징으로 하는 의인화 캐릭터 생성 방법.
  5. 삭제
KR1020180130842A 2018-10-30 2018-10-30 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법 KR102084782B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180130842A KR102084782B1 (ko) 2018-10-30 2018-10-30 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180130842A KR102084782B1 (ko) 2018-10-30 2018-10-30 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법

Publications (1)

Publication Number Publication Date
KR102084782B1 true KR102084782B1 (ko) 2020-03-04

Family

ID=69783555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130842A KR102084782B1 (ko) 2018-10-30 2018-10-30 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법

Country Status (1)

Country Link
KR (1) KR102084782B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111738940A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法
CN113763498A (zh) * 2021-08-11 2021-12-07 杭州妙绘科技有限公司 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
CN114049417A (zh) * 2021-11-12 2022-02-15 北京字节跳动网络技术有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
KR20230108869A (ko) 2022-01-12 2023-07-19 주식회사 이너버즈 딥 러닝을 이용한 가상 인물 생성 모델의 학습방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032452A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032452A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1. Xun, Huang, et al. "Multimodal Unsupervised Image-to-Image Translation." Multimodal Unsupervised Image-to-Image Translation, 12 Apr. 2018, arxiv.org/abs/1804.04732.
2. Isola, Phillip, et al. "Image-to-Image Translation with Conditional Adversarial Networks."Image-to-Image Translation with Conditional Adversarial Networks, 22 Nov. 2017, arxiv.org/abs/1611.07004.
Felix 등, "DeepGender2: A Generative Approach Toward Occlusion and Low Resolution Robust Facial Gender Classification via PTAS-CNN and DCGAN", Deep Learning for Biometrics, pp 183-218, 2017.08.02. 1부.* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111489287B (zh) * 2020-04-10 2024-02-09 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111738940A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法
CN111738940B (zh) * 2020-06-02 2022-04-12 大连理工大学 一种人脸图像眼部补全方法
CN113763498A (zh) * 2021-08-11 2021-12-07 杭州妙绘科技有限公司 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
CN113763498B (zh) * 2021-08-11 2024-04-26 杭州妙绘科技有限公司 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
CN114049417A (zh) * 2021-11-12 2022-02-15 北京字节跳动网络技术有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN114049417B (zh) * 2021-11-12 2023-11-24 抖音视界有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
KR20230108869A (ko) 2022-01-12 2023-07-19 주식회사 이너버즈 딥 러닝을 이용한 가상 인물 생성 모델의 학습방법

Similar Documents

Publication Publication Date Title
KR102084782B1 (ko) 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법
CN109492662B (zh) 一种基于对抗自编码器模型的零样本图像分类方法
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
Vazquez et al. Virtual and real world adaptation for pedestrian detection
CN110111236B (zh) 基于渐进式对抗生成网络的多目标草图生成图像的方法
US11106903B1 (en) Object detection in image data
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
Song et al. Predicting occupation via human clothing and contexts
JP5887775B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
US11663502B2 (en) Information processing apparatus and rule generation method
Chen et al. Video object segmentation via dense trajectories
CN115205949B (zh) 图像生成方法以及相关设备
Yang et al. How related exemplars help complex event detection in web videos?
Kong et al. Close human interaction recognition using patch-aware models
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
US20190385026A1 (en) Systems and methods for instance segmentation
CN111275784A (zh) 生成图像的方法和装置
KR102185777B1 (ko) 컴퓨터를 이용한 딥러닝과 plsi 기반 이미지객체의 의미관계 인식방법
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
Biswas et al. Recognizing activities with multiple cues
Zhang et al. Multiresolution attention extractor for small object detection
Bengamra et al. A comprehensive survey on object detection in Visual Art: taxonomy and challenge
CN113902989A (zh) 直播场景检测方法、存储介质及电子设备
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
Angelopoulou et al. Evaluation of different chrominance models in the detection and reconstruction of faces and hands using the growing neural gas network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant