KR20210062274A - Device and method for image automatic generation - Google Patents

Device and method for image automatic generation Download PDF

Info

Publication number
KR20210062274A
KR20210062274A KR1020190150290A KR20190150290A KR20210062274A KR 20210062274 A KR20210062274 A KR 20210062274A KR 1020190150290 A KR1020190150290 A KR 1020190150290A KR 20190150290 A KR20190150290 A KR 20190150290A KR 20210062274 A KR20210062274 A KR 20210062274A
Authority
KR
South Korea
Prior art keywords
image
processor
automatic
generating
face
Prior art date
Application number
KR1020190150290A
Other languages
Korean (ko)
Inventor
강현우
김민재
김준호
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020190150290A priority Critical patent/KR20210062274A/en
Publication of KR20210062274A publication Critical patent/KR20210062274A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/00268
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

According to an embodiment of the present invention, a device for automatically generating an image comprises at least one processor. The at least one processor generates a second image of a different domain based on a first image, and extracts a preset parameter from the generated second image, and generates a third image based on the extracted parameter. It is possible to automatically generate an image of a domain different from an acquired image.

Description

이미지 자동 생성 장치 및 생성 방법{DEVICE AND METHOD FOR IMAGE AUTOMATIC GENERATION}Automatic image generation device and generation method {DEVICE AND METHOD FOR IMAGE AUTOMATIC GENERATION}

아래의 실시예들은 이미지 자동 생성 장치 및 생성 방법에 관한 것이다.The following embodiments relate to an apparatus and a method for automatically generating an image.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. Machine learning is a field of artificial intelligence, a field that has evolved from the study of pattern recognition and computer learning theory, and refers to the field of developing algorithms and technologies that enable computers to learn.

머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.The core of machine learning lies in representation and generalization. Representation is the evaluation of data, and generalization is the processing of data that is not yet known. It is also a field of computational learning theory.

딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 머신 러닝(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 머신 러닝의 한 분야라고 이야기할 수 있다.Deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several nonlinear transducers. It can be said that it is a field.

생성적 적대 신경망(Generative Adversarial Network, GAN)은 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 모델은 ‘생성자(Generator)’와 ‘감별자(Discriminator)’로 불리는데 상반된 목적을 갖고 있다. 생성자는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성한다. 실제에 가까운 거짓 데이터를 생성하는 게 목적이다. 감별자는 생성자가 내놓은 데이터가 실제인지 거짓인지 판별하도록 학습한다.Generative Adversarial Network (GAN) learns through competition between two neural network models and produces results. The two models, called “Generator” and “Discriminator,” have opposite purposes. The constructor learns real data and generates false data based on it. The purpose is to generate false data that is close to the real thing. The discriminator learns to determine whether the data presented by the generator is real or false.

본 발명의 실시예에 따르면, 획득한 이미지와 상이한 도메인의 이미지를 자동으로 생성할 수 있는 이미지 자동 생성 장치 및 생성 방법을 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide an image automatic generating apparatus and method capable of automatically generating an image of a domain different from that of an acquired image.

또한, 본 발명의 다른 실시예에 따르면, 상이한 도메인에 따른 차이를 고려하여 이미지를 자동으로 생성할 수 있는 이미지 자동 생성 장치 및 생성 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, it is possible to provide an image automatic generating apparatus and method capable of automatically generating an image in consideration of differences according to different domains.

또한, 본 발명의 또 다른 실시예에 따르면, 획득한 이미지를 구성하는 색들의 평균 및 편차를 고려하여 이미지를 자동으로 생성할 수 있는 이미지 자동 생성 장치 및 생성 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, it is possible to provide an image automatic generating apparatus and method capable of automatically generating an image in consideration of an average and a deviation of colors constituting an acquired image.

또한, 본 발명의 또 다른 실시예에 따르면, 획득한 이미지에 따라 상기 획득한 이미지에서 추출하는 파라미터가 달라지는 이미지 자동 생성 장치 및 생성 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, it is possible to provide an apparatus and a method for automatically generating an image in which a parameter extracted from the acquired image is different according to the acquired image.

본 발명의 일실시예에 따르면, 이미지 자동 생성 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하고, 상기 생성한 제2 이미지에서 미리 설정된 파라미터를 추출하고 상기 추출한 파라미터를 기초로 제3 이미지를 생성한다.According to an embodiment of the present invention, in the automatic image generation apparatus, including at least one processor, the at least one processor generates a second image of a different domain based on the first image, and the generated A preset parameter is extracted from the second image, and a third image is generated based on the extracted parameter.

또한, 상기 적어도 하나의 프로세서는, 상기 제1 이미지에서 미리 설정된 영역을 검출하고, 상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출할 수 있다.In addition, the at least one processor may detect a preset area from the first image and extract a reference area including facial landmarks from the detected area.

또한, 상기 적어도 하나의 프로세서는, 상기 제1 이미지가 속한 도메인의 특징(features)과 상기 제2 이미지가 속한 도메인의 특징(features)에 대한 차이에 검출하고, 상기 검출한 차이에 대해 가중치를 부여할 수 있다.In addition, the at least one processor detects differences between features of a domain to which the first image belongs and features of a domain to which the second image belongs, and assigns a weight to the detected difference. can do.

또한, 상기 적어도 하나의 프로세서는, 상기 제1 이미지를 구성하는 색들의 평균 및 편차를 검출할 수 있다.Also, the at least one processor may detect an average and a deviation of colors constituting the first image.

또한, 상기 미리 설정된 파라미터는, 상기 제1 이미지를 기초로 변경될 수 있다.In addition, the preset parameter may be changed based on the first image.

또한, 상기 적어도 하나의 프로세서는, 상기 생성한 제3 이미지를 수정할 수 있다.Also, the at least one processor may modify the generated third image.

본 발명의 다른 실시예에 따르면, 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하는 동작, 상기 생성한 제2 이미지에서 미리 설정된 파라미터를 추출하는 동작 및 상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 동작을 포함한다.According to another embodiment of the present invention, generating a second image of a different domain based on the first image, extracting a preset parameter from the generated second image, and a third image based on the extracted parameter. It includes the operation of generating.

또한, 상기 제2 이미지를 생성하는 동작은, 상기 제1 이미지에서 미리 설정된 영역을 검출하는 동작 및 상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출하는 동작을 포함할 수 있다.In addition, the operation of generating the second image may include an operation of detecting a preset region from the first image and an operation of extracting a reference region including facial landmarks from the detected region. have.

또한, 상기 제2 이미지를 생성하는 동작은, 상기 제1 이미지가 속한 도메인의 특징(features)과 상기 제2 이미지가 속한 도메인의 특징(features)에 대한 차이에 검출하는 동작 및 상기 검출한 차이에 대해 가중치를 부여하는 동작을 포함할 수 있다In addition, the generating of the second image includes an operation of detecting a difference between features of a domain to which the first image belongs and a feature of a domain to which the second image belongs, and the detected difference. May include an operation of weighting

또한, 상기 제2 이미지를 생성하는 동작은, 상기 제1 이미지를 구성하는 색들의 평균 및 편차를 검출하는 동작을 포함할 수 있다.In addition, the operation of generating the second image may include an operation of detecting an average and a deviation of colors constituting the first image.

또한, 상기 미리 설정된 파라미터는, 상기 제1 이미지를 기초로 변경될 수 있다.In addition, the preset parameter may be changed based on the first image.

또한, 상기 이미지 자동 생성 방법은, 상기 생성한 제3 이미지를 수정하는 동작을 더 포함할 수 있다.In addition, the method of automatically generating an image may further include an operation of modifying the generated third image.

본 발명의 일실시예에 따르면, 획득한 이미지와 상이한 도메인의 이미지를 자동으로 생성할 수 있는 효과가 있다.According to an embodiment of the present invention, there is an effect of automatically generating an image of a domain different from the acquired image.

또한, 상이한 도메인에 따른 차이를 고려하여 이미지를 자동으로 생성할 수 있는 효과가 있다.In addition, there is an effect of automatically generating an image in consideration of differences according to different domains.

또한, 획득한 이미지를 구성하는 색들의 평균 및 편차를 고려하여 이미지를 자동으로 생성할 수 있는 효과가 있다.In addition, there is an effect of automatically generating an image in consideration of the average and deviation of colors constituting the acquired image.

또한, 획득한 이미지에 따라 상기 획득한 이미지에서 추출하는 파라미터가 달라지는 효과가 있다.In addition, there is an effect that parameters extracted from the acquired image vary according to the acquired image.

도 1은 일실시예에 따른 이미지 자동 생성 장치의 구성을 나타내는 도면이다.
도 2는 일실시예에 따른 이미지 자동 생성 방법을 나타내는 플로우 차트이다.
도 3은 일실시예에 따라 실사 인물의 얼굴이 포함된 사진에서 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역에서 기준 영역을 추출하는 모습을 나타내는 도면이다.
도 4는 일실시예에 따라 얼굴 부분 이미지에서 파라미터를 추출하는 모습을 나타내는 도면이다.
도 5는 일실시예에 따라 추출한 파라미터를 기초로 이미지를 생성하는 모습을 나타내는 도면이다.
도 6은 일실시예에 따라 실사 인물의 얼굴이 포함된 사진에서 복수의 게임 캐릭터를 생성하는 모습을 나타내는 도면이다.
1 is a diagram illustrating a configuration of an apparatus for automatically generating an image according to an exemplary embodiment.
2 is a flowchart illustrating a method of automatically generating an image according to an exemplary embodiment.
3 is a diagram illustrating a state in which a face region is detected from a photo including a face of a real person and a reference region is extracted from the detected face region, according to an exemplary embodiment.
4 is a diagram illustrating an example of extracting a parameter from a face image according to an exemplary embodiment.
5 is a diagram illustrating a state in which an image is generated based on an extracted parameter according to an embodiment.
6 is a diagram illustrating a state in which a plurality of game characters are generated from a photo including a face of a real person according to an exemplary embodiment.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are exemplified only for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various constituent elements, but the constituent elements should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component, and similarly The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, action, component, part, or combination thereof is present, but one or more other features or numbers It is to be understood that the possibility of addition or presence of, steps, actions, components, parts, or combinations thereof is not preliminarily excluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms as defined in a commonly used dictionary should be construed as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. Does not.

이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.In the following description, the same identification symbols mean the same configuration, and unnecessary redundant descriptions and descriptions of known technologies will be omitted.

본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.In an embodiment of the present invention,'communication','communication network', and'network' may be used with the same meaning. The three terms refer to wired/wireless local and wide area data transmission/reception networks capable of transmitting and receiving files between a user terminal, a terminal of other users, and a download server.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings.

도 1은 일실시예에 따른 이미지 자동 생성 장치의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of an apparatus for automatically generating an image according to an exemplary embodiment.

도 1을 참조하면, 이미지 자동 생성 장치(100)는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)를 포함한다.Referring to FIG. 1, the apparatus 100 for automatically generating an image includes a processor 110, an input/output interface module 120, and a memory 130.

이미지 자동 생성 장치(100)를 구성하는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)는 상호 연결되어 있으며, 상호 데이터를 전송하는 것이 가능하다.The processor 110, the input/output interface module 120, and the memory 130 constituting the image generating apparatus 100 are interconnected, and data can be transmitted to each other.

프로세서(110)는 메모리(130)에 저장된 프로그램들 또는 명령들을 실행시킬 수 있다. 이때, 메모리(130)에는 이미지 자동 생성 장치(100)를 동작시키기 위한 동작프로그램(예컨대, OS)이 저장될 수 있다.The processor 110 may execute programs or instructions stored in the memory 130. In this case, an operation program (eg, OS) for operating the image automatic generating device 100 may be stored in the memory 130.

프로세서(110)는 이미지 자동 생성 장치(100)에 대한 정보를 관리하기 위한 프로그램을 실행시킬 수 있다.The processor 110 may execute a program for managing information on the apparatus 100 for automatically generating an image.

프로세서(110)는 이미지 자동 생성 장치(100)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.The processor 110 may execute a program for managing the operation of the apparatus 100 for automatically generating an image.

프로세서(110)는 입출력 인터페이스 모듈(120)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.The processor 110 may execute a program for managing the operation of the input/output interface module 120.

ⅰ) 제2 이미지 생성Ⅰ) Creating a second image

프로세서(110)는 입출력 인터페이스 모듈(120)을 통해 제1 이미지를 획득할 수 있다. 이때, 상기 제1 이미지는 실사 인물의 얼굴이 포함된 사진일 수 있으나, 상기 제1 이미지가 이에 한정되는 것은 아니다.The processor 110 may acquire the first image through the input/output interface module 120. In this case, the first image may be a photograph including a face of a real person, but the first image is not limited thereto.

프로세서(110)는 상기 획득한 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성할 수 있다.The processor 110 may generate a second image of a different domain based on the acquired first image.

프로세서(110)는 검출기(예컨대, facial landmark detector)를 이용하여 상기 획득한 제1 이미지에서 미리 설정된 영역을 검출할 수 있다. 이때, 상기 미리 설정된 영역은 상기 제1 이미지에 포함된 물체에 따라 달라질 수 있다. The processor 110 may detect a preset area in the acquired first image using a detector (eg, a facial landmark detector). In this case, the preset area may vary according to an object included in the first image.

일실시예에 따라, 상기 제1 이미지가 실사 인물의 얼굴이 포함된 사진인 경우, 프로세서(110)는 상기 제1 이미지에서 상기 실사 인물의 얼굴을 포함하는 영역을 미리 설정된 영역으로 검출할 수 있다.According to an embodiment, when the first image is a photo including a face of a real person, the processor 110 may detect a region including the face of the real person in the first image as a preset region. .

프로세서(110)는 검출기(예컨대, facial landmark detector)를 이용하여 상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 획득할 수 있다.The processor 110 may acquire facial landmarks in the detected area using a detector (eg, a facial landmark detector).

프로세서(110)는 검출기(예컨대, facial landmark detector)를 이용하여 상기 검출한 영역에 포함된 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능한 복수개의 지점 각각을 얼굴 특징점으로 결정할 수 있고, 상기 결정한 복수개의 지점 각각에 대한 특징점을 기초로 얼굴 특징점 정보(facial landmarks)를 생성할 수 있다.The processor 110 may determine, as a facial feature point, each of a plurality of points that can be easily identified even if the shape, size, and location of the object included in the detected area changes using a detector (eg, a facial landmark detector). Facial landmarks may be generated based on the feature points for each of the plurality of points.

일실시예에 따라, 프로세서(110)는 검출기(예컨대, facial landmark detector)를 이용하여 결정한 특징점(landmark point)을 기초로 얼굴 특징점 정보(facial landmarks)를 생성할 수 있으나, 상기 얼굴 특징점 정보를 생성하기 위하여 이용할 수 있는 정보가 이에 한정되는 것은 아니다. According to an embodiment, the processor 110 may generate facial feature point information based on a landmark point determined using a detector (eg, a facial landmark detector), but generates the facial feature point information. Information that can be used to do so is not limited thereto.

프로세서(110)는 검출기(예컨대, facial landmark detector)를 이용하여 상기 검출한 영역에서 획득한 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출할 수 있다. 이때, 상기 기준 영역은 사각형 형태 일 수 있으나, 상기 기준 영역의 형태가 이에 한정되는 것은 아니다.The processor 110 may extract a reference area including facial landmarks acquired from the detected area using a detector (eg, a facial landmark detector). In this case, the reference region may have a rectangular shape, but the shape of the reference region is not limited thereto.

프로세서(110)는 입출력 인터페이스 모듈(120)을 통해 제1 이미지에 포함된 물체를 검출할 수 없거나(예컨대, 제1 이미지로 입력된 사진에 얼굴이 없음), 상기 제1 이미지에 포함된 복수의 물체들이 서로 겹쳐져 있어 상기 제1 이미지에 포함된 복수의 물체들 각각을 식별하기 어렵거나(예컨대, 제1 이미지로 입력된 사진에 포함된 얼굴을 다른 물체가 가림), 상기 제1 이미지에 포함된 물체에서 얼굴 특징점(facial landmarks)을 결정하기 어려운 경우(예컨대, 제1 이미지로 입력된 사진이 측면 얼굴만 촬영된 사진인 경우) 입출력 인터페이스 모듈(120)을 통해 새로운 제1 이미지의 입력을 요청할 수 있다.The processor 110 may not detect an object included in the first image through the input/output interface module 120 (eg, there is no face in the photo input as the first image), or the plurality of Objects overlap each other so that it is difficult to identify each of the plurality of objects included in the first image (eg, another object covers the face included in the photo input as the first image), or included in the first image When it is difficult to determine facial landmarks on an object (for example, when the picture input as the first image is a picture where only the side face is taken), the input of a new first image can be requested through the input/output interface module 120. have.

프로세서(110)는 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 제1 이미지가 속한 도메인(예컨대, 사진)에서 제1 도메인 특징(first domain features)을 획득할 수 있다. 이때, 상기 제1 이미지가 실사 인물의 얼굴이 포함된 사진인 경우, 상기 제1 도메인 특징(first domain features)은 상기 사진에 포함된 인물의 얼굴 형태, 상기 얼굴을 구성하는 눈, 코, 입, 귀 등의 모양 또는 피부의 질감(texture)(예컨대, 수염 존재 여부)일 수 있으나, 상기 제1 도메인 특징(first domain features)이 이에 한정되는 것은 아니다.The processor 110 may acquire first domain features from a domain (eg, a photo) to which the first image belongs using an encoder (eg, a deep neural network (DNN)). . In this case, when the first image is a photo including a face of a real person, the first domain features include a face shape of the person included in the photo, eyes, nose, mouth constituting the face, It may be a shape of an ear or the like or a texture of the skin (eg, whether a beard is present), but the first domain features are not limited thereto.

프로세서(110)는 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 제2 이미지가 속한 도메인(예컨대, 게임 스타일)에서 제2 도메인 특징(second domain features)을 획득할 수 있다. 이때, 상기 제2 이미지가 게임 스타일 캐릭터 이미지인 경우, 상기 제2 도메인 특징(second domain features)은 게임 스타일 캐릭터의 얼굴 형태, 상기 얼굴을 구성하는 눈, 코, 입, 귀 등의 모양 또는 피부의 질감(texture)(예컨대, 수염 존재 여부)일 수 있으나, 상기 제2 도메인 특징(second domain features)이 이에 한정되는 것은 아니다.The processor 110 may acquire second domain features from a domain (eg, game style) to which the second image belongs using an encoder (eg, a deep neural network (DNN)). have. In this case, when the second image is a game style character image, the second domain features are the shape of the face of the game style character, the shape of the eyes, nose, mouth, and ears constituting the face, or of the skin. It may be a texture (eg, whether a beard is present), but the second domain features are not limited thereto.

프로세서(110)는 상기 획득한 제1 도메인 특징(first domain features)과 상기 획득한 제2 도메인 특징(second domain features)의 차이를 검출할 수 있다. The processor 110 may detect a difference between the acquired first domain features and the acquired second domain features.

프로세서(110)는 상기 검출한 차이에 대한 피처 맵(features map)을 생성할 수 있다. The processor 110 may generate a feature map for the detected difference.

프로세서(110)는 상기 생성한 피처 맵(features map)에 가중치를 부여할 수 있다. 이때, 상기 가중치를 어텐션(Attention)이라고 할 수 있다.The processor 110 may assign a weight to the generated feature map. In this case, the weight may be referred to as attention.

프로세서(110)는 상기 제1 이미지를 기초로 좀 더 자연스러운 제2 이미지를 생성하기 위하여 상기 가중치를 부여한 피처 맵(features map)인 어텐션 피처 맵(Attention features map)에 대한 손실 함수를 생성할 수 있다.The processor 110 may generate a loss function for an attention feature map, which is a feature map to which the weight is assigned, in order to generate a more natural second image based on the first image. .

프로세서(110)는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 기준 영역과 상기 생성한 어텐션 피처 맵(Attention features map)에 대한 손실 함수를 기초로 제2 이미지(예컨대, 얼굴 부분 이미지)를 생성할 수 있다. The processor 110 uses a decoder (e.g., a deep neural network (DNN)) based on a loss function for the reference region and the generated attention feature map. , Face image) can be created.

프로세서(110)는 상기 제1 이미지를 구성하는 색들에 대한 평균과 편차를 검출할 수 있다.The processor 110 may detect an average and a deviation of colors constituting the first image.

프로세서(110)는 상기 기준 영역을 구성하는 색들에 대한 평균과 편차를 검출할 수 있다.The processor 110 may detect an average and a deviation of colors constituting the reference area.

프로세서(110)는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 기준 영역과 상기 검출한 상기 기준 영역을 구성하는 색들에 대한 평균과 편차를 기초로 제2 이미지(예컨대, 얼굴 부분 이미지)를 생성할 수 있다. 이때, 프로세서(110)는 상기 기준 영역을 구성하는 색들과 상기 제2 이미지를 구성하는 색들의 차이를 줄이기 위하여, 상기 검출한 기준 영역을 구성하는 색들에 대한 평균과 편차와 상기 제2 이미지(예컨대, 얼굴 부분 이미지)를 구성하는 색들에 대한 평균과 편차가 동일하도록 상기 제2 이미지(예컨대, 얼굴 부분 이미지)를 생성할 수 있다.The processor 110 uses a decoder (e.g., a deep neural network (DNN)) based on an average and a deviation of the reference region and the detected colors constituting the reference region. , Face image) can be created. In this case, in order to reduce the difference between the colors constituting the reference area and the colors constituting the second image, the processor 110 includes an average and a deviation of the colors constituting the detected reference area and the second image (e.g. The second image (eg, a face image) may be generated so that the average and the deviation of the colors constituting the face image) are the same.

프로세서(110)는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 기준 영역, 상기 생성한 어텐션 피처 맵(Attention features map)에 대한 손실 함수 및 상기 검출한 상기 기준 영역을 구성하는 색들에 대한 평균과 편차를 기초로 제2 이미지(예컨대, 얼굴 부분 이미지)를 생성할 수 있다. 이때, 프로세서(110)는 상기 기준 영역을 구성하는 색들과 상기 제2 이미지(예컨대, 얼굴 부분 이미지)를 구성하는 색들의 차이를 줄이기 위하여, 상기 검출한 기준 영역을 구성하는 색들에 대한 평균과 편차와 상기 제2 이미지(예컨대, 얼굴 부분 이미지)를 구성하는 색들에 대한 평균과 편차가 동일하도록 상기 제2 이미지를 생성할 수 있다.The processor 110 uses a decoder (e.g., a deep neural network (DNN)) to determine the reference region, a loss function for the generated attention feature map, and the detected reference region. A second image (eg, an image of a face portion) may be generated based on an average and a deviation of the compose colors. In this case, in order to reduce the difference between the colors constituting the reference area and the colors constituting the second image (eg, a face image), the processor 110 is an average and a deviation of the colors constituting the detected reference area. And the second image may be generated such that an average and a deviation of colors constituting the second image (eg, a face image) are the same.

ⅱ) 파라미터 추출Ii) Parameter extraction

프로세서(110)는 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 생성한 제2 이미지(예컨대, 얼굴 부분 이미지)에서 미리 설정된 파라미터를 추출할 수 있다. 이때, 상기 미리 설정된 파라미터는 제3 이미지를 생성하기 위해 필요한 파라미터일 수 있으나, 상기 미리 설정된 파라미터가 이에 한정되는 것은 아니다.The processor 110 may extract a preset parameter from the generated second image (eg, a face image) using an encoder (eg, a deep neural network (DNN)). In this case, the preset parameter may be a parameter necessary to generate a third image, but the preset parameter is not limited thereto.

일실시예에 따라, 제3 이미지가 게임 캐릭터의 머리 부분인 경우, 프로세서(110)는 상기 게임 캐릭터의 얼굴의 외형적 변화에 기여하는 적어도 하나의 파라미터를 선택할 수 있다. 이때, 상기 적어도 하나의 파라미터는 눈 크기, 눈썹모양, 턱 각도 등과 관련된 파라미터일 수 있으나, 상기 적어도 하나의 파라미터가 이에 한정되는 것은 아니다.According to an embodiment, when the third image is a head part of a game character, the processor 110 may select at least one parameter that contributes to an external change of the face of the game character. In this case, the at least one parameter may be a parameter related to an eye size, an eyebrow shape, a chin angle, and the like, but the at least one parameter is not limited thereto.

일실시예에 따라, 프로세서(110)는 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 생성한 제2 이미지(예컨대, 얼굴 부분 이미지)에서 미리 설정된 파라미터를 추출할 수 있다.According to an embodiment, the processor 110 may extract a preset parameter from the generated second image (eg, a face image) using a convolutional neural network (CNN).

일실시예에 따라, 프로세서(110)가 제2 이미지(예컨대, 얼굴 부분 이미지)에서 미리 설정된 파라미터를 추출하기 위하여 이용하는 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))는 얼굴 인식 데이터베이스(VGGFace2)로 사전에 학습된 VGG-16 구조를 가진 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 재훈련(fine-tuning)한 것일 수 있다.According to an embodiment, an encoder (e.g., a deep neural network (DNN)) used by the processor 110 to extract a preset parameter from a second image (e.g., a face image) is a face recognition database ( VGGFace2) may be a retraining (fine-tuning) of an encoder (eg, a deep neural network (DNN)) having a VGG-16 structure that has been learned in advance.

프로세서(110)는 제1 이미지를 기초로 상기 미리 설정된 파라미터를 변경할 수 있다.The processor 110 may change the preset parameter based on the first image.

일실시예에 따라, 상기 제1 이미지가 실사 인물의 얼굴이 포함된 사진인 경우, 프로세서(110)는 상기 제1 이미지로부터 얼굴의 형태 또는 얼굴을 구성하는 요소 등과 관련된 파라미터를 추출할 수 있다.According to an embodiment, when the first image is a picture including a face of a real person, the processor 110 may extract a parameter related to the shape of the face or elements constituting the face from the first image.

ⅲ) 제3 이미지 생성Iii) Creating a third image

프로세서(110)는 상기 추출한 파라미터를 기초로 제3 이미지를 생성할 수 있다. The processor 110 may generate a third image based on the extracted parameter.

일실시예에 따라, 제3 이미지가 게임 캐릭터의 머리 부분인 경우, 프로세서(110)는 상기 추출한 파라미터를 기초로 제3 이미지를 생성(렌더링)하기 위하여 게임 엔진을 이용할 수 있다.According to an embodiment, when the third image is the head of a game character, the processor 110 may use the game engine to generate (render) the third image based on the extracted parameter.

프로세서(110)는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 추출한 파라미터를 기초로 제3 이미지를 생성할 수 있다. 이때, 상기 디코더는 게임 엔진일 수 있으나, 상기 디코더가 이에 한정되는 것은 아니다.The processor 110 may generate a third image based on the extracted parameter using a decoder (eg, a deep neural network (DNN)). In this case, the decoder may be a game engine, but the decoder is not limited thereto.

프로세서(110)는 상기 생성한 제3 이미지를 입출력 인터페이스 모듈(120)을 통해 출력할 수 있다.The processor 110 may output the generated third image through the input/output interface module 120.

프로세서(110)는 상기 생성한 제3 이미지와 상기 제3 이미지를 생성한 파라미터를 매칭하여 메모리(130) 또는 얼굴 영상 데이터 베이스(미도시)에 저장할 수 있다.The processor 110 may match the generated third image with the parameter that generated the third image and store it in the memory 130 or a face image database (not shown).

일실시예에 따라, 제3 이미지가 게임 캐릭터의 머리 부분인 경우, 프로세서(110)는 상기 생성한 제3 이미지에서 얼굴 부분을 추출하여 썸네일을 생성할 수 있다.According to an embodiment, when the third image is a head part of a game character, the processor 110 may generate a thumbnail by extracting a face part from the generated third image.

프로세서(110)는 상기 생성한 썸네일과 상기 제3 이미지를 생성한 파라미터를 매칭하여 메모리(130) 또는 얼굴 영상 데이터 베이스(미도시)에 저장할 수 있다.The processor 110 may match the generated thumbnail with the parameter that generated the third image and store it in the memory 130 or a face image database (not shown).

프로세서(110)는 입출력 인터페이스 모듈(120)을 통해 획득한 사용자의 입력을 기초로 상기 생성한 제3 이미지를 수정할 수 있다.The processor 110 may modify the generated third image based on a user input acquired through the input/output interface module 120.

프로세서(110)는 메모리(130)에 저장된 과거에 생성한 제3 이미지 및 상기 이미지를 생성한 파라미터를 기초로 상기 생성한 제3 이미지를 수정할 수 있다.The processor 110 may modify the generated third image based on the previously generated third image stored in the memory 130 and the generated parameter.

프로세서(110)는 메모리(130)에 저장된 과거에 생성한 제3 이미지를 기초로 생성한 썸네일 및 상기 이미지를 생성한 파라미터를 기초로 상기 생성한 제3 이미지를 수정할 수 있다.The processor 110 may modify the generated third image based on a thumbnail generated based on a third image generated in the past stored in the memory 130 and a parameter that generated the image.

프로세서(110)는 얼굴 영상 데이터 베이스(미도시)에 저장된 동양인 얼굴 이미지를 기초로 상기 생성한 제3 이미지를 수정할 수 있다.The processor 110 may modify the generated third image based on an Asian face image stored in a face image database (not shown).

프로세서(110)는 상기 생성한 제3 이미지를 수정하기 위하여 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용할 수 있다.The processor 110 may use a decoder (eg, a deep neural network (DNN)) to modify the generated third image.

프로세서(110)는 인코더 또는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 학습시키기 위하여 동양인 얼굴 이미지가 저장된 얼굴 영상 데이터 베이스(미도시)를 추가할 수 있다. The processor 110 may add a face image database (not shown) in which Asian face images are stored in order to learn an encoder or a decoder (eg, a deep neural network (DNN)).

프로세서(110)는 인코더 또는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 학습시키기 위하여 제3 이미지 및 상기 제3 이미지를 생성한 파라미터를 매칭하여 얼굴 영상 데이터 베이스(미도시)에 저장할 수 있다.The processor 110 matches the third image and the parameter generated by the third image to learn an encoder or a decoder (eg, a deep neural network (DNN)), and Can be saved.

프로세서(110)는 인코더 또는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 학습시키기 위하여 제3 이미지를 기초로 생성한 썸네일 및 상기 제3 이미지를 생성한 파라미터를 매칭하여 얼굴 영상 데이터 베이스(미도시)에 저장할 수 있다.The processor 110 matches a thumbnail generated based on a third image and a parameter generated by the third image in order to learn an encoder or a decoder (eg, a deep neural network (DNN)) to provide facial image data. It can be stored in a base (not shown).

프로세서(110)는 인코더 또는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 학습시키기 위하여 외부 장치(예컨대, 게임 클라이언트)에서 무작위 모델 파라미터로 생성된 대량의 얼굴 이미지를 획득할 수 있다.The processor 110 may acquire a large amount of face images generated by random model parameters from an external device (eg, a game client) in order to learn an encoder or a decoder (eg, a deep neural network (DNN)). .

입출력 인터페이스 모듈(120)은 네트워크를 통하여 외부 장치(예컨대, 게임 클라이언트)와 연결될 수 있다.The input/output interface module 120 may be connected to an external device (eg, a game client) through a network.

입출력 인터페이스 모듈(120)은 외부 장치로부터 데이터를 획득할 수 있다.The input/output interface module 120 may obtain data from an external device.

입출력 인터페이스 모듈(120)은 외부 장치로부터 이미지를 획득할 수 있다.The input/output interface module 120 may acquire an image from an external device.

입출력 인터페이스 모듈(120)은 외부 장치로부터 파라미터를 획득할 수 있다.The input/output interface module 120 may obtain a parameter from an external device.

입출력 인터페이스 모듈(120)은 외부 장치로부터 학습 데이터를 획득할 수 있다.The input/output interface module 120 may acquire learning data from an external device.

입출력 인터페이스 모듈(120)은 사용자의 입력을 획득할 수 있다.The input/output interface module 120 may obtain a user's input.

입출력 인터페이스 모듈(120)은 프로세서(110)가 생성한 이미지를 출력할 수 있다.The input/output interface module 120 may output an image generated by the processor 110.

입출력 인터페이스 모듈(120)은 이미지 자동 생성 장치(100)와 일체형으로 제공될 수 있다.The input/output interface module 120 may be provided integrally with the image automatic generating device 100.

입출력 인터페이스 모듈(120)은 이미지 자동 생성 장치(100)에서 분리되어 제공될 수 있다.The input/output interface module 120 may be provided separately from the image automatic generating device 100.

입출력 인터페이스 모듈(120)은 이미지 자동 생성 장치(100)와 통신적으로 연결될 별도의 장치일 수 있다.The input/output interface module 120 may be a separate device to be communicatively connected with the image automatic generating device 100.

입출력 인터페이스 모듈(120)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.The input/output interface module 120 may include a port (eg, a USB port) for connecting to an external device.

입출력 인터페이스 모듈(120)은 모니터, 터치스크린, 마우스, 전자펜, 마이크로폰, 키보드, 스피커, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.The input/output interface module 120 may include a monitor, a touch screen, a mouse, an electronic pen, a microphone, a keyboard, a speaker, an earphone, a headphone, or a touch pad.

메모리(130)는 입출력 인터페이스 모듈(120)을 통해 획득한 데이터를 저장할 수 있다.The memory 130 may store data acquired through the input/output interface module 120.

메모리(130)는 입출력 인터페이스 모듈(120)을 통해 획득한 이미지를 저장할 수 있다.The memory 130 may store an image acquired through the input/output interface module 120.

메모리(130)는 프로세서(110)가 생성한 이미지들을 저장할 수 있다.The memory 130 may store images generated by the processor 110.

메모리(130)는 프로세서(110)가 획득한 얼굴 특징점 정보(facial landmarks)를 저장할 수 있다.The memory 130 may store facial landmarks acquired by the processor 110.

메모리(130)는 프로세서(110)가 추출한 기준 영역을 저장할 수 있다.The memory 130 may store the reference area extracted by the processor 110.

메모리(130)는 프로세서(110)가 획득한 도메인 특징을 저장할 수 있다.The memory 130 may store the domain characteristics acquired by the processor 110.

메모리(130)는 프로세서(110)가 생성한 피처 맵(features map)을 저장할 수 있다.The memory 130 may store a feature map generated by the processor 110.

메모리(130)는 프로세서(110)가 부여한 가중치를 저장할 수 있다.The memory 130 may store a weight assigned by the processor 110.

메모리(130)는 프로세서(110)가 생성한 어텐션 피처 맵(Attention features map)에 대한 손실 함수를 저장할 수 있다.The memory 130 may store a loss function for an attention feature map generated by the processor 110.

메모리(130)는 프로세서(110)가 검출한 이미지를 구성하는 색들에 대한 평균과 편차를 저장할 수 있다.The memory 130 may store an average and a deviation of colors constituting an image detected by the processor 110.

메모리(130)는 프로세서(110)가 추출한 파라미터를 저장할 수 있다.The memory 130 may store parameters extracted by the processor 110.

메모리(130)는 프로세서(110)가 선택한 파라미터를 저장할 수 있다.The memory 130 may store a parameter selected by the processor 110.

메모리(130)는 프로세서(110)가 생성한 썸네일을 저장할 수 있다.The memory 130 may store a thumbnail generated by the processor 110.

메모리(130)는 프로세서(110)가 수정한 이미지를 저장할 수 있다.The memory 130 may store an image modified by the processor 110.

여기서 사용된 '장치 또는 모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.The term'device or module' used herein denotes a logical structural unit, and it is obvious to those skilled in the art that the present invention is not necessarily a physically classified component.

도 2는 일실시예에 따른 이미지 자동 생성 방법을 나타내는 플로우 차트이다.2 is a flowchart illustrating a method of automatically generating an image according to an exemplary embodiment.

도 2를 참조하면, 이미지 자동 생성 장치가 제1 이미지에서 미리 설정된 영역을 검출한다(200).Referring to FIG. 2, the apparatus for automatically generating an image detects a preset area in the first image (200).

이때, 상기 미리 설정된 영역은 상기 제1 이미지에 포함된 물체에 따라 달라질 수 있다. In this case, the preset area may vary according to an object included in the first image.

또한, 상기 제1 이미지가 실사 인물의 얼굴이 포함된 사진인 경우, 상기 이미지 자동 생성 장치는 상기 제1 이미지에서 상기 실사 인물의 얼굴을 포함하는 영역을 미리 설정된 영역으로 검출할 수 있다.In addition, when the first image is a photograph including a face of a real person, the automatic image generation device may detect a region including the face of the real person in the first image as a preset region.

이미지 자동 생성 장치가 상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출한다(210).The automatic image generating apparatus extracts a reference area including facial landmarks from the detected area (210).

이때, 상기 이미지 자동 생성 장치는 검출기(예컨대, facial landmark detector)를 이용하여 결정한 특징점(landmark point)을 기초로 얼굴 특징점 정보(facial landmarks)를 생성할 수 있다.In this case, the apparatus for automatically generating an image may generate facial landmarks based on a landmark point determined using a detector (eg, a facial landmark detector).

또한, 상기 이미지 자동 생성 장치는 상기 검출한 영역에서 획득한 얼굴 특징점 정보(facial landmarks)를 포함하는 상기 검출한 영역보다 적은 범위의 기준 영역을 추출할 수 있다.In addition, the apparatus for automatically generating an image may extract a reference area having a smaller range than the detected area including facial landmarks acquired from the detected area.

이미지 자동 생성 장치가 상기 제1 이미지가 속한 도메인의 특징(features)과 상기 제2 이미지가 속한 도메인의 특징(features)에 대한 차이에 검출한다(220).The apparatus for generating an image automatically detects differences between features of a domain to which the first image belongs and features of a domain to which the second image belongs (220).

이때, 상기 이미지 자동 생성 장치는 상기 제1 이미지가 속한 도메인(예컨대, 사진)에서 제1 도메인 특징(first domain features)을 획득할 수 있다.In this case, the apparatus for automatically generating an image may acquire first domain features from a domain (eg, a photo) to which the first image belongs.

또한, 상기 이미지 자동 생성 장치는 상기 제2 이미지가 속한 도메인(예컨대, 게임 스타일)에서 제2 도메인 특징(second domain features)을 획득할 수 있다.In addition, the apparatus for automatically generating an image may acquire second domain features from a domain (eg, a game style) to which the second image belongs.

또한, 상기 이미지 자동 생성 장치는 상기 획득한 제1 도메인 특징(first domain features)과 상기 획득한 제2 도메인 특징(second domain features)의 차이를 검출하고, 상기 검출한 차이에 대한 피처 맵(features map)을 생성할 수 있다.In addition, the apparatus for automatically generating an image detects a difference between the acquired first domain features and the acquired second domain features, and provides a feature map for the detected difference. ) Can be created.

이미지 자동 생성 장치가 상기 검출한 차이에 대해 가중치를 부여한다(230).The automatic image generation apparatus assigns a weight to the detected difference (230).

이때, 상기 이미지 자동 생성 장치는 상기 제1 이미지를 기초로 좀 더 자연스러운 제2 이미지를 생성하기 위하여 상기 가중치를 부여한 피처 맵(features map)인 어텐션 피처 맵(Attention features map)에 대한 손실 함수를 생성할 수 있다.In this case, the automatic image generation device generates a loss function for an attention feature map, which is a feature map to which the weight is assigned, in order to generate a more natural second image based on the first image. can do.

이미지 자동 생성 장치가 상기 기준 영역을 구성하는 색들의 평균 및 편차를 검출한다(240).The automatic image generation device detects an average and a deviation of colors constituting the reference region (240).

이미지 자동 생성 장치가 제2 이미지를 생성한다(250).The automatic image generating device generates a second image (250).

이때, 상기 이미지 자동 생성 장치는 상기 기준 영역, 상기 생성한 어텐션 피처 맵(Attention features map)에 대한 손실 함수 및 상기 검출한 상기 기준 영역을 구성하는 색들에 대한 평균과 편차를 기초로 제2 이미지를 생성할 수 있다.In this case, the automatic image generation apparatus generates a second image based on the reference region, a loss function for the generated attention feature map, and the detected average and deviation of colors constituting the reference region. Can be generated.

이미지 자동 생성 장치가 상기 생성한 제2 이미지에서 미리 설정된 파라미터를 추출한다(260).The automatic image generation device extracts a preset parameter from the generated second image (260).

이때, 상기 미리 설정된 파라미터는 제3 이미지를 생성하기 위해 필요한 파라미터일 수 있다.In this case, the preset parameter may be a parameter necessary to generate a third image.

또한, 상기 이미지 자동 생성 장치는 제3 이미지에 표현된 물체의 외형적 변화에 기여하는 적어도 하나의 파라미터를 추출할 수 있다.In addition, the apparatus for automatically generating an image may extract at least one parameter that contributes to an external change of the object expressed in the third image.

이미지 자동 생성 장치가 상기 추출한 파라미터를 기초로 제3 이미지를 생성한다(270).An automatic image generating device generates a third image based on the extracted parameter (270).

이때, 상기 이미지 자동 생성 장치는 상기 제3 이미지를 생성하기 위하여 게임 엔진을 이용할 수 있다. In this case, the apparatus for automatically generating an image may use a game engine to generate the third image.

또한, 상기 이미지 자동 생성 장치는 사용자의 입력을 기초로 상기 생성한 제3 이미지를 수정할 수 있다.Also, the apparatus for automatically generating an image may modify the generated third image based on a user's input.

이미지 자동 생성 장치가 상기 생성한 제3 이미지를 출력한다(280).The image generating device outputs the generated third image (280).

이때, 상기 이미지 자동 생성 장치는 상기 생성한 제3 이미지를 모니터에 출력할 수 있다.In this case, the apparatus for automatically generating an image may output the generated third image to a monitor.

도 3은 일실시예에 따라 실사 인물의 얼굴이 포함된 사진에서 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역에서 기준 영역을 추출하는 모습을 나타내는 도면이다.3 is a diagram illustrating a state in which a face region is detected from a photo including a face of a real person and a reference region is extracted from the detected face region, according to an exemplary embodiment.

도 3을 참조하면, 도 3 (a)는 얼굴 영역을 검출하는 모습을 나타내고, 도 3 (b)는 기준 영역을 추출하는 모습을 나타내는 도면이다.Referring to FIG. 3, FIG. 3 (a) is a diagram illustrating a state of detecting a face region, and FIG. 3 (b) is a diagram illustrating a state of extracting a reference region.

도 3 (a)를 참조하면, 이미지 자동 생성 장치는 실사 인물의 얼굴이 포함된 사진으로부터 검출기(예컨대, facial landmark detector)를 이용하여 얼굴 영역(300)만을 검출할 수 있다. Referring to FIG. 3A, the apparatus for automatically generating an image may detect only the face area 300 using a detector (eg, a facial landmark detector) from a photograph including a face of a real person.

도 3 (b)를 참고하면, 이미지 자동 생성 장치는 검출기(예컨대, facial landmark detector)를 이용하여 검출한 영역(310)에서 얼굴 특징점 정보(321, 322, 323, 324, 325)를 획득할 수 있다.Referring to FIG. 3(b), the apparatus for automatically generating an image may acquire facial feature point information 321, 322, 323, 324, 325 from an area 310 detected using a detector (eg, a facial landmark detector). have.

이미지 자동 생성 장치는 검출한 영역(310)에 포함된 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능한 지점인 복수개의 특징점(landmark point) (321, 322, 323, 324, 325)을 결정할 수 있고, 상기 결정한 복수개의 특징점(321, 322, 323, 324, 325)을 기초로 얼굴 특징점 정보(facial landmarks)를 생성할 수 있다.The automatic image generation device can determine a plurality of landmark points 321, 322, 323, 324, 325, which are points that can be easily identified even if the shape, size, and location of the object included in the detected area 310 change. In addition, facial landmarks may be generated based on the determined plurality of feature points 321, 322, 323, 324, and 325.

이미지 자동 생성 장치는 검출한 영역(310)에서 획득한 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역(320)을 추출할 수 있다.The apparatus for automatically generating an image may extract a reference area 320 including facial landmarks acquired from the detected area 310.

이미지 자동 생성 장치는 검출한 영역(310) 내부에 일정한 간격(311)을 갖도록 기준 영역(320)을 추출할 수 있다. The apparatus for automatically generating an image may extract the reference region 320 so as to have a predetermined interval 311 within the detected region 310.

도 4는 일실시예에 따라 얼굴 부분 이미지에서 파라미터를 추출하는 모습을 나타내는 도면이다.4 is a diagram illustrating an example of extracting a parameter from a face image according to an exemplary embodiment.

도 4를 참조하면, 이미지 자동 생성 장치는 얼굴 부분 이미지(400, 410)에서 파라미터를 추출(420)할 수 있다.Referring to FIG. 4, the apparatus for automatically generating an image may extract a parameter 420 from the face image 400 and 410.

이미지 자동 생성 장치는 파라미터를 추출하기 위하여 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용할 수 있다.The apparatus for automatically generating an image may use an encoder (eg, a deep neural network (DNN)) to extract a parameter.

이미지 자동 생성 장치는 얼굴 부분 이미지(400, 410)에 포함된 얼굴의 외형적 변화에 기여하는 적어도 하나의 파라미터를 추출(420)할 수 있다. The apparatus for automatically generating an image may extract 420 at least one parameter contributing to an external change of a face included in the partial face images 400 and 410.

이미지 자동 생성 장치가 추출한 포함된 얼굴의 외형적 변화에 기여하는 적어도 하나의 파라미터는 눈 크기, 턱 각도, 눈썹 모양(430, 440) 등일 수 있다.At least one parameter contributing to an external change of the included face extracted by the automatic image generating device may be an eye size, a chin angle, and eyebrow shapes 430 and 440.

이미지 자동 생성 장치가 추출한 파라미터는 숫자로 표시(431, 441)될 수 있고, 표시된 숫자(431, 441)가 상이한 경우 얼굴의 외형적 변화에 다르게 기여할 수 있다.The parameters extracted by the automatic image generating apparatus may be displayed as numbers 431 and 441, and when the displayed numbers 431 and 441 are different, they may contribute differently to an external change of the face.

도 5는 일실시예에 따라 추출한 파라미터를 기초로 이미지를 생성하는 모습을 나타내는 도면이다.5 is a diagram illustrating a state in which an image is generated based on an extracted parameter according to an exemplary embodiment.

도 5를 참조하면, 이미지 자동 생성 장치는 추출한 파라미터(500)를 기초로 게임 캐릭터의 머리 부분 이미지(550, 560)를 생성할 수 있다.Referring to FIG. 5, the apparatus for automatically generating an image may generate the head image 550 and 560 of a game character based on the extracted parameter 500.

이미지 자동 생성 장치는 외형적 특징이 상이한 파라미터들(510, 520) 각각에 대응되는 게임 캐릭터의 머리 부분 이미지(550, 560)를 생성할 수 있다.The image automatic generating apparatus may generate the head image 550 and 560 of the game character corresponding to each of the parameters 510 and 520 having different external characteristics.

이미지 자동 생성 장치가 추출한 파라미터들(510, 520)은 숫자로 표시(511, 521)될 수 있고, 표시된 숫자(511, 521)가 상이한 경우 얼굴의 외형적 변화에 다르게 기여할 수 있다.The parameters 510 and 520 extracted by the automatic image generating apparatus may be displayed as numbers 511 and 521, and when the displayed numbers 511 and 521 are different, they may contribute differently to the appearance change of the face.

이미지 자동 생성 장치가 추출한 파라미터들(510, 520) 각각은 하나의 인터페이스(530)에 표시될 수 있다.Each of the parameters 510 and 520 extracted by the automatic image generating apparatus may be displayed on one interface 530.

이미지 자동 생성 장치는 추출한 파라미터들(510, 520) 각각에 대응되는 게임 캐릭터의 머리 부분 이미지(550, 560)를 생성하기 위하여 게임 엔진(540)을 이용할 수 있다. 이때, 게임 엔진(540)은 게임 캐릭터의 머리 부분 이미지(550, 560)를 렌더링 한다.The apparatus for automatically generating an image may use the game engine 540 to generate the head image 550 and 560 of the game character corresponding to the extracted parameters 510 and 520, respectively. In this case, the game engine 540 renders the head image 550 and 560 of the game character.

도 6은 일실시예에 따라 실사 인물의 얼굴이 포함된 사진에서 복수의 게임 캐릭터를 생성하는 모습을 나타내는 도면이다.6 is a diagram illustrating a state in which a plurality of game characters are generated from a photo including a face of a real person according to an exemplary embodiment.

도 6을 참조하면, 이미지 자동 생성 장치는 실사 인물의 얼굴이 포함된 사진(611) 획득하고, 상기 획득한 사진을 기초로 복수의 게임 캐릭터(620)를 자동으로 생성(610)할 수 있다.Referring to FIG. 6, the apparatus for automatically generating an image may acquire a photo 611 including a face of a real person, and automatically generate 610 a plurality of game characters 620 based on the acquired photo.

이미지 자동 생성 장치는 실사 인물의 얼굴이 포함된 사진(611) 획득하고, 상기 획득한 사진을 기초로 게임 스타일 이미지를 생성할 수 있다.The apparatus for automatically generating an image may acquire a photo 611 including a face of a real person, and generate a game style image based on the acquired photo.

이미지 자동 생성 장치는 인코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 생성한 게임 스타일 이미지에서 얼굴의 외형적 변화에 기여하는 눈 크기, 턱 각도, 눈썹 모양, 수염, 얼굴 상처, 헤어스타일, 머리색 등의 파라미터를 추출할 수 있다.The automatic image generation device uses an encoder (e.g., Deep Neural Network (DNN)) to contribute to the appearance change of the face in the generated game style image, eye size, chin angle, eyebrow shape, beard, and face. Parameters such as wounds, hairstyles, and hair color can be extracted.

이미지 자동 생성 장치는 디코더(예컨대, 딥 뉴럴 네트워크(Deep Neural Network, DNN))를 이용하여 상기 추출한 파라미터를 기초로 복수의 게임 캐릭터(620)를 자동으로 생성(610)할 수 있다.The apparatus for automatically generating an image may automatically generate 610 a plurality of game characters 620 based on the extracted parameters using a decoder (eg, a deep neural network (DNN)).

이미지 자동 생성 장치는 기초가 된 파라미터에 따라 눈 크기, 턱 각도, 눈썹 모양, 수염, 얼굴 상처, 헤어스타일, 머리색 등이 상이한 복수의 게임 캐릭터(621, 622, 623, 624)를 생성할 수 있다.The automatic image generation device can create a plurality of game characters 621, 622, 623, 624 having different eye sizes, chin angles, eyebrow shapes, beards, facial wounds, hairstyles, hair colors, etc. according to the underlying parameters. have.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다. In the above, even if all the constituent elements constituting the embodiments of the present invention are described as being combined into one or operating in combination, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all the constituent elements may be selectively combined into at least one and operated.

또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. In addition, although all of the components may be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily inferred by those skilled in the art of the present invention.

이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.Such a computer program is stored in a computer-readable storage medium, and is read and executed by a computer, thereby implementing an embodiment of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, and the like.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. In addition, the terms such as "include", "consist of" or "have" described above mean that the corresponding component may be included unless otherwise stated, excluding other components. It should not be construed as being able to further include other components.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.All terms, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms generally used, such as terms defined in the dictionary, should be interpreted as being consistent with the meaning in the context of the related technology, and are not interpreted as ideal or excessively formal meanings unless explicitly defined in the present invention.

본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.The methods disclosed in the present invention comprise one or more actions or steps for achieving the above-described method. Method actions and/or steps may be interchanged with each other without departing from the scope of the claims. In other words, unless a specific order for the actions or steps is specified, the order and/or use of specific actions and/or steps may be modified without departing from the scope of the claims.

본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.As used herein, a phrase referring to “at least one of” in a list of items refers to any combination of these items, including single members. As an example, “at least one of a, b, or c:” means a, b, c, ab, ac, bc, and abc, as well as any combination with multiples of the same element (e.g., aa , aaa, aab, aac, abb, acc, bb, bbb, bbc, cc, and ccc or any other ordering of a, b, and c).

본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.As used herein, the term "determining" encompasses a wide variety of actions. For example, “determining” may include computing, computing, processing, deriving, examining, looking up (eg, looking up in a table, database, or other data structure), identifying, and the like. . Further, “determining” may include receiving (eg, receiving information), accessing (accessing data in a memory), and the like. Also, “determining” may include resolving, choosing, choosing, establishing, and the like.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100... 이미지 자동 생성 장치100... Automatic image generation device

Claims (10)

이미지 자동 생성 장치에 있어서,
적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하고,
상기 생성한 제2 이미지에서 미리 설정된 파라미터를 추출하고
상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 이미지 자동 생성 장치.
In the image automatic generating device,
Including at least one processor,
The at least one processor,
Creating a second image of a different domain based on the first image,
Extracting a preset parameter from the generated second image
An image automatic generation device that generates a third image based on the extracted parameters.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 이미지에서 미리 설정된 영역을 검출하고,
상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출하는 이미지 자동 생성 장치.
The method of claim 1,
The at least one processor,
Detecting a preset area in the first image,
Automatic image generation apparatus for extracting a reference area including facial landmarks from the detected area.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 이미지가 속한 도메인의 특징(features)과 상기 제2 이미지가 속한 도메인의 특징(features)에 대한 차이에 검출하고,
상기 검출한 차이에 대해 가중치를 부여하는 이미지 자동 생성 장치.
The method of claim 1,
The at least one processor,
Detecting differences between features of the domain to which the first image belongs and features of the domain to which the second image belongs,
An image automatic generation device that assigns a weight to the detected difference.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 이미지를 구성하는 색들의 평균 및 편차를 검출하는 이미지 자동 생성 장치.
The method of claim 1,
The at least one processor,
An image automatic generation device that detects an average and a deviation of colors constituting the first image.
제1항에 있어서,
상기 미리 설정된 파라미터는,
상기 제1 이미지를 기초로 변경되는 이미지 자동 생성 장치.
The method of claim 1,
The preset parameters are,
An apparatus for automatically generating an image that is changed based on the first image.
제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하는 동작;
상기 생성한 제2 이미지에서 미리 설정된 파라미터를 추출하는 동작; 및
상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 동작
을 포함하는 이미지 자동 생성 방법.
Generating a second image of a different domain based on the first image;
Extracting a preset parameter from the generated second image; And
Generating a third image based on the extracted parameters
Automatic image generation method comprising a.
제7항에 있어서,
상기 제2 이미지를 생성하는 동작은,
상기 제1 이미지에서 미리 설정된 영역을 검출하는 동작; 및
상기 검출한 영역에서 얼굴 특징점 정보(facial landmarks)를 포함하는 기준 영역을 추출하는 동작
을 포함하는 이미지 자동 생성 방법.
The method of claim 7,
The operation of generating the second image,
Detecting a preset area in the first image; And
Extracting a reference area including facial landmarks from the detected area
Automatic image generation method comprising a.
제7항에 있어서,
상기 제2 이미지를 생성하는 동작은,
상기 제1 이미지가 속한 도메인의 특징(features)과 상기 제2 이미지가 속한 도메인의 특징(features)에 대한 차이에 검출하는 동작; 및
상기 검출한 차이에 대해 가중치를 부여하는 동작
을 포함하는 이미지 자동 생성 방법.
The method of claim 7,
The operation of generating the second image,
Detecting differences between features of a domain to which the first image belongs and features of a domain to which the second image belongs; And
Assigning a weight to the detected difference
Automatic image generation method comprising a.
제7항에 있어서,
상기 제2 이미지를 생성하는 동작은,
상기 제1 이미지를 구성하는 색들의 평균 및 편차를 검출하는 동작
을 포함하는 이미지 자동 생성 방법.
The method of claim 7,
The operation of generating the second image,
The operation of detecting the average and deviation of colors constituting the first image
Automatic image generation method comprising a.
제7항에 있어서,
상기 미리 설정된 파라미터는,
상기 제1 이미지를 기초로 변경되는 이미지 자동 생성 방법.
The method of claim 7,
The preset parameters are,
A method of automatically generating an image that is changed based on the first image.
KR1020190150290A 2019-11-21 2019-11-21 Device and method for image automatic generation KR20210062274A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190150290A KR20210062274A (en) 2019-11-21 2019-11-21 Device and method for image automatic generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150290A KR20210062274A (en) 2019-11-21 2019-11-21 Device and method for image automatic generation

Publications (1)

Publication Number Publication Date
KR20210062274A true KR20210062274A (en) 2021-05-31

Family

ID=76150275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150290A KR20210062274A (en) 2019-11-21 2019-11-21 Device and method for image automatic generation

Country Status (1)

Country Link
KR (1) KR20210062274A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529216B1 (en) 2023-02-04 2023-05-08 주식회사 이너버즈 Learning method of face generation deep learning model generating virtual human face and system using the same
KR102543451B1 (en) 2022-04-29 2023-06-13 주식회사 이너버즈 Image feature extraction and synthesis system using deep learning and its learning method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543451B1 (en) 2022-04-29 2023-06-13 주식회사 이너버즈 Image feature extraction and synthesis system using deep learning and its learning method
KR102562386B1 (en) 2022-04-29 2023-08-01 주식회사 이너버즈 Learning method for image synthesis system
KR102562387B1 (en) 2022-04-29 2023-08-01 주식회사 이너버즈 Learning method for image feature extraction and synthesis system
KR102529216B1 (en) 2023-02-04 2023-05-08 주식회사 이너버즈 Learning method of face generation deep learning model generating virtual human face and system using the same
KR102593000B1 (en) 2023-02-04 2023-10-23 주식회사 이너버즈 A learning method for a deep learning model that creates a virtual character that reflects characteristics extracted from multiple character images
KR102593001B1 (en) 2023-02-04 2023-10-23 주식회사 이너버즈 A computer-implemented learning system that generates human faces based on deep learning

Similar Documents

Publication Publication Date Title
US10853987B2 (en) Generating cartoon images from photos
WO2021238595A1 (en) Image generation method and apparatus based on artificial intelligence, and device and storage medium
WO2017193906A1 (en) Image processing method and processing system
US20230128505A1 (en) Avatar generation method, apparatus and device, and medium
US10452896B1 (en) Technique for creating avatar from image data
CN111742351A (en) Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating the same
JP6760318B2 (en) Face image identification system, classifier generator, identification device, image identification system, and identification system
KR20160061856A (en) Method and apparatus for recognizing object, and method and apparatus for learning recognizer
CN112991160B (en) Image processing method, image processing device, computer equipment and storage medium
KR102045575B1 (en) Smart mirror display device
CN110555896B (en) Image generation method and device and storage medium
CN115205949B (en) Image generation method and related device
CN111260754A (en) Face image editing method and device and storage medium
US20220164852A1 (en) Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of an Image of a Hair Region of a User's Head to Generate One or More User-Specific Recommendations
KR102427484B1 (en) Image generation system and image generation method using the system
WO2019194892A1 (en) Detecting actions to discourage recognition
CN114187633A (en) Image processing method and device, and training method and device of image generation model
KR20210062274A (en) Device and method for image automatic generation
TW202113685A (en) Method and device for facial image recognition
KR20210028401A (en) Device and method for style translation
KR102247481B1 (en) Device and method for generating job image having face to which age transformation is applied
WO2023138345A1 (en) Virtual image generation method and system
KR20210063171A (en) Device and method for image translation
CN117011449A (en) Reconstruction method and device of three-dimensional face model, storage medium and electronic equipment
CN114943799A (en) Face image processing method and device and computer readable storage medium