KR102504722B1 - 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 - Google Patents
감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR102504722B1 KR102504722B1 KR1020200077424A KR20200077424A KR102504722B1 KR 102504722 B1 KR102504722 B1 KR 102504722B1 KR 1020200077424 A KR1020200077424 A KR 1020200077424A KR 20200077424 A KR20200077424 A KR 20200077424A KR 102504722 B1 KR102504722 B1 KR 102504722B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- emotion
- generating
- emotion expression
- expression image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
감정 표현 영상 생성을 위한 학습 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치 및 방법은 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks); 및 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함한다.
Description
본 발명의 실시예들은 감정 표현 영상 생성 기술과 관련된다.
생성 모델(generative model)이란 주어진 데이터의 분포(distribution)를 직간접적으로 얻어내고 이를 바탕으로 데이터를 생성해내기 위한 모델을 의미한다. 딥러닝 기반의 이미지 생성 모델로서 대표적으로 PixelCNN과 GAN(generative adversarial network)이 등장하였으며, 최근에는 특히 GAN이 이미지 생성 모델로서 활발히 연구되고 있다.
이러한 GAN은 생성하고자 하는 이미지가 비교적 간단하거나, 또는 데이터세트 내 분포가 유사한 경우 등에서는 매우 우수한 성능을 나타낸다. 예를 들어, 사람의 얼굴 이미지를 생성하는 경우에는 사람의 얼굴 스타일(눈, 코, 입, 머리 스타일)을 위주로 생성된 텍스트로부터 사람의 얼굴을 실제와 같이 생성할 수 있다.
그러나, 이러한 이미지 생성 모델은 얼굴 스타일만을 고려하여 단일 이미지를 생성하기 때문에 감정 표현에 대한 다양한 시각적 정보를 제공하기 어려운 문제가 있다.
본 발명의 실시예들은 사용자가 얼굴 스타일 및 감정 표현의 텍스트를 입력하면 사람의 얼굴 이미지뿐만 아니라 감정 표현 영상을 생성하기 위한 것이다.
개시되는 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치는 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks); 및 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함한다.
상기 제1 생성적 적대 신경망은, 상기 입력된 텍스트에 대한 임베딩을 수행하여 벡터 정보를 추출하며, 상기 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 이미지를 생성하는 제1 생성자; 및 상기 제1 생성자로부터 생성된 이미지를 기 설정된 비교 이미지와 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하며, 상기 판단 결과를 상기 제1 생성자로 피드백하는 제1 판별자를 포함할 수 있다.
상기 제1 판별자는 상기 제1 생성자로부터 생성된 이미지를 컨벌루션(convolution) 신경망에 입력시켜 상기 비교 이미지와의 유사도를 산출하여 비교할 수 있다.
상기 제2 생성적 적대 신경망은 상기 감정 표현 이미지 및 비교 영상 프레임을 입력받고, 상기 감정 표현 이미지 및 상기 비교 영상 프레임으로부터 상기 감정 표현 이미지의 감정 표현에 대한 상기 비교 영상 프레임의 감정 표현 변화도를 산출하며, 상기 감정 표현 이미지 및 상기 산출된 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 제2 생성자; 및 상기 제2 생성자로부터 생성된 감정 표현 영상의 프레임을 기 설정된 비교 영상의 프레임과 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하며, 상기 판단 결과를 상기 제2 생성자로 피드백하는 제2 판별자를 포함할 수 있다.
상기 감정 표현 이미지는 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며, 상기 감정 클래스는 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함할 수 있다.
상기 제2 생성자는 상기 감정 표현 이미지에 대한 벡터 정보를 추출하여 상기 제1 특징값을 산출하고, 상기 감정 표현 이미지의 감정 표현이 변화할 방향에 대한 벡터 정보를 추출하여 상기 제2 특징값을 산출하고, 상기 비교 이미지에 대한 벡터 정보를 추출하여 상기 제3 특징값을 산출하는 인코더부; 상기 제1 특징값, 상기 제2 특징값 및 상기 제3 특징값을 기반으로 상기 감정 표현 변화 정도를 산출하고, 상기 제1 특징값, 상기 제2 특징값 및 상기 감정 표현 변화 정도를 이용하여 최종 특징값을 산출하는 변환부; 및 상기 최종 특징값을 기반으로 상기 감정 표현 영상의 프레임을 생성하는 디코더부를 포함하는 오토인코더(Autoencoder)를 포함할 수 있다.
개시되는 일 실시예에 따른 감정 표현 영상 생성 장치는 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks); 상기 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하는 분류기; 및 상기 제1 GAN에서 생성된 이미지 및 상기 분류기에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함한다.
상기 제2 생성적 적대 신경망은 상기 분류기에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 상기 제1 GAN에서 생성된 이미지 및 상기 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성할 수 있다.
상기 감정 표현 이미지는 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며, 상기 감정 클래스는 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함할 수 있다.
상기 제2 생성적 적대 신경망은 상기 감정 표현 영상의 프레임 이후의 적어도 하나의 프레임들을 순차적으로 생성하여 상기 감정 표현 영상을 생성할 수 있다.
본 발명의 실시예들에 따르면, 텍스트 내용의 특징을 고려하여 이를 기반으로 영상을 생성함으로써, 텍스트와 일치하는 영상을 생성할 수 있다.
또한, 본 발명의 실시예들에 따르면, 사용자가 원하는 얼굴스타일과 감정표현을 입력하는 경우, 사람의 얼굴 이미지뿐만 아니라 감정을 포함하는 감정 표현 영상을 생성함으로써, 소셜 네트워크(SNS) 등에서 사용자가 간단한 설명만으로 원하는 영상을 생성할 수 있어 커뮤니케이션을 향상시킬 수 있다.
도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치를 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망을 설명하기 위한 블록도
도 4는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망을 설명하기 위한 블록도
도 5는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 제2 생성자를 설명하기 위한 블록도
도 6은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도
도 7은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도
도 8은 본 발명의 일 실시예에 따른 감정 표현 영상 생성 장치를 나타낸 블록도
도 9는 본 발명의 일 실시예에 따른 감정 표현 영상 생성 방법을 설명하기 위한 흐름도
도 2는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치를 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망을 설명하기 위한 블록도
도 4는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망을 설명하기 위한 블록도
도 5는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 제2 생성자를 설명하기 위한 블록도
도 6은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도
도 7은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도
도 8은 본 발명의 일 실시예에 따른 감정 표현 영상 생성 장치를 나타낸 블록도
도 9는 본 발명의 일 실시예에 따른 감정 표현 영상 생성 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안된다.
도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 감정 표현 영상 생성을 위한 학습 장치(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 감정 표현 영상 생성 장치(800)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치를 나타낸 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치(100)는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)(200, 이하 "제1 GAN") 및 제2 생성적 적대 신경망(300, 이하 "제2 GAN")을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 생성적 적대 신경망(GAN)은 생성자(Generator)와 판별자(Discriminator)를 포함하는 두 개의 네트워크로 구성될 수 있다. 생성자는 생성 모델의 역할로서, 주어진 데이터를 학습하고 이로부터 유사한 데이터를 생성한다. 또한, 판별자는 생성자에 의해 생성된 데이터를 획득하여 데이터가 생성자로부터 생성된 데이터인지 실제 데이터인지를 구별하는 일종의 분별기(classifier)이다. 따라서, 생성자는 데이터와 유사한 데이터를 생성하는 것을 목적으로 하고, 판별자는 생성된 데이터와 실제 데이터를 분류하는 것을 목적으로 한다. 이에 두 네트워크를 minimax 관계라고 한다.
제1 GAN(200)은 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대한 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성할 수 있다. 예를 들어, 제1 GAN(200)은 Deep convolutional generative adversarial network(DC-GAN)을 사용할 수 있다.
본 발명의 실시예들에서, 텍스트는 대상의 외적 요소, 대상의 감정 요소(감정 표현) 등 다양한 요소를 포함할 수 있다. 대상의 외적 요소는 대상의 눈, 코 입, 머리스타일 등을 포함할 수 있으며, 대상의 감정 요소는 감정 표현을 포함할 수 있다. 제1 GAN(200)에 의하여 생성되는 이미지는 텍스트에 따라 얼굴 이미지를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망을 설명하기 위한 블록도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제1 GAN(200)은 제1 생성자(210, G1) 및 제1 판별자(220, D1)를 포함할 수 있다.
제1 생성자(210)는 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대한 임베딩(Embedding)을 수행하여 벡터 정보를 추출할 수 있다. 예를 들어, 제1 생성자(210)는 입력된 텍스트에 대한 임베딩을 수행하기 위하여 skip-thought를 사용할 수 있다. skip-thought는 단어 간 유사성을 고려하여 단어의 의미를 벡터화하는 방법으로서, 입력된 텍스트를 4800차원 벡터로 인코딩할 수 있다. 한편, 여기서는 텍스트에 대한 임베딩을 수행하기 위하여 skip-thought를 사용하였으나, 이에 한정되는 것은 아니며, 워드투벡터(word2vec), 센트투벡터(sent2vec)등을 사용할 수 있다.
또한, 제1 생성자(210)는 추출한 벡터 정보를 디컨벌루션(deconvolution) 모델을 이용하여 이미지를 생성할 수 있다. 예를 들어, 디컨벌루션(deconvolution) 모델은 4개의 디컨벌루션 레이어(deconvolution layer)와 tanh 레이어(tanh layer)로 구성될 수 있다. 각 디컨벌루션 레이어에서는 배치 정규화(Normalization) 및 ReLU(Rectified Linear Unit)가 사용될 수 있으며, 입력 벡터의 차원을 조정하여 4 X 4 X 512(높이 4, 너비 4, 채널 512)의 텐서(tensor)로 변환할 수 있다. 다음으로 채널 수를 줄이고 높이와 너비를 늘리는 단계를 통하여 32 X 32 X 62(높이 32, 너비 32, 채널 64)의 텐서로 변환할 수 있다. 마지막으로 tanh를 사용하여 64 X 64 X 3 RGB 이미지를 생성할 수 있다.
제1 판별자(220)는 비교 이미지 및 제1 생성자(210)로부터 생성된 이미지를 학습하고, 학습 결과에 따라 입력된 이미지가 비교 이미지 인지 생성 이미지인지의 여부를 판단할 수 있다. 여기서, 비교 이미지란 카메라 등의 촬영장치에 의하여 촬영된 이미지를 의미할 수 있으며, 예를 들어, 사람의 얼굴 이미지일 수 있다. 제1 판별자(220)는 판단 결과를 제1 생성자(210)로 피드백함으로써 제1 생성자(210)에서 생성되는 이미지가 실제와 점점 유사해질 수 있다. 예를 들어, 제1 판별자(220)는 컨벌루션(convolution) 모델을 이용하여 입력된 이미지가 비교 이미지 인지 생성 이미지인지의 여부를 판단할 수 있다. 컨벌루션(convolution) 모델은 4개의 컨벌루션 레이어(convolution layer), 차원 확장 레이어 및 시그모이드 레이어(sigmoid layer)로 구성될 수 있다. 64 X 64 X 3 RGB 이미지를 3번의 컨벌루션 레이어를 통하여 4 X 4 X 512 차원의 텐서로 변환할 수 있다. 다음으로 차원 확장 층을 통하여 4 X 4 X 256으로 확장되고 마지막 컨벌루션 레이어를 통과하여 sigmoid 레이어에 의하여 0~1 사이의 값이 출력될 수 있다. 제1 판별자는 입력되는 이미지의 유사도에 따라 0~1사이의 값을 출력할 수 있으며, 비교 이미지인 경우 1을 출력할 수 있다.
전술한 학습 과정을 통해 제1 생성자(210)에서 생성되는 이미지가 비교 이미지와 충분히 유사해질 경우, 제1 판별자(220)는 입력되는 이미지가 비교 이미지인지 또는 생성 이미지인지의 여부를 구별할 수 없게 된다. 제1 GAN(200)이 이와 같은 상태에 도달하면 학습 과정은 종료되며, 이후 제1 생성자(210)는 입력되는 텍스트에 따라 이미지를 생성하게 된다.
다시 도 2를 참조하면, 제2 GAN(300)은 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망을 설명하기 위한 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제2 GAN(300)은 제2 생성자(310) 및 제2 판별자(320)를 포함할 수 있다.
본 발명의 실시예들에서, 텍스트는 대상의 외적 요소, 대상의 감정 요소(감정 표현) 등 다양한 요소를 포함할 수 있다. 대상의 외적 요소는 대상의 눈, 코 입, 머리스타일 등을 포함할 수 있으며, 대상의 감정 요소는 감정 표현을 포함할 수 있다. 제2 GAN(300)에 의하여 생성되는 영상은 텍스트에 포함된 감정 요소에 따라 감정 표현 영상을 생성할 수 있다. 여기서, 감정 표현 이미지는 감정 요소를 나타내는 이미지일 수 있다. 예를 들어, 감정 표현 이미지는 감정 요소에 따라 감정 클래스(예를 들어, 행복, 슬픔, 놀람, 두려움, 화남, 경멸, 역겨움 등)로 분류된 얼굴 이미지일 수 있다. 또한, 비교 영상은 감정 요소에 따른 얼굴의 움직임을 나타내는 영상일 수 있다.
제2 생성자(310)는 감정 표현 이미지 및 비교 영상 프레임을 입력받고, 이로부터 감정 표현 이미지의 감정 표현에 대하여 비교 영상 프레임의 감정 표현 변화도를 산출하며, 감정 표현 이미지 및 산출된 감정 표현 변화도를 이용하여 감정 표현 영상의 프레임을 생성할 수 있다.
구체적으로, 제2 생성자(310)는 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 감정 표현 이미지로부터 제1 특징값(
) 및 제 2특징값(
)을 추출하고, 비교 영상의 프레임으로부터 제3 특징값(
)을 추출하여 제1 특징값(
), 제2 특징값(
) 및 제3 특징값(
)을 기반으로 감정 표현 변화도(
)를 산출할 수 있다. 제2 생성자(310)는 제1 특징값(
), 제2 특징값(
)및 감정 표현 변화도(
)를 이용하여 최종 특징값(
)을 산출하고, 최종 특징값(
)을 기반으로 감정 표현 영상의 프레임을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 제2 생성자를 설명하기 위한 블록도이다.
도 5에 도시된 바와 같이, 제2 생성자(310)는 딥 러닝(deep learning) 기반의 오토인코더(Autoencoder)를 사용할 수 있다. 제2 생성자(310)는 인코더부(311), 변환부(312) 및 디코더부(313)을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 제2 생성자를 설명하기 위한 블록도이다.
도 5에 도시된 바와 같이, 제2 생성자(310)는 딥 러닝(deep learning) 기반의 오토인코더(Autoencoder)를 사용할 수 있다. 제2 생성자(310)는 인코더부(311), 변환부(312) 및 디코더부(313)을 포함할 수 있다.
인코더부(311)는 기본 인코더(
)를 통하여 감정 표현 이미지에 대한 벡터 정보를 추출하여 제1 특징값(
)을 산출할 수 있다. 또한, 인코더부(311)는 잔류 인코더(
)를 통하여 감정 표현 이미지의 감정 표현(표정)이 변화할 방향에 대한 벡터 정보를 추출하여 제2 특징값(
)을 산출할 수 있다. 또한, 인코더부(311)는 기본 인코더를 통하여 비교 이미지에 대한 벡터 정보를 추출하여 제3 특징값(
)을 산출할 수 있다. 변환부(312)는 하기 수학식 1을 통하여 감정 표현 변화도(
)을 산출할 수 있다.
여기서, 감정 표현 변화 정도(
)를 감정 표현 이미지의 감정 표현(표정)에 대한 비교 영상 프레임의 감정 표현(표정) 변화 정도를 계산한 값일 수 있다.
또한, 변환부(312)는 하기 수학식 2를 통하여 최종 특징값(
)을 산출할 수 있다.
여기서, 최종 특징값(
)은 비교 영상의 프레임의 감정 표현(표정) 변화 정도를 감정 표현 이미지에 반영한 값일 수 있다.
디코더부(313)는 최종 특징값(
)을 기반으로 디코더(
)를 통하여 감정 표현 영상의 프레임을 생성할 수 있다.
제2 판별자(320)는 비교 영상의 프레임 및 제2 생성자(310)로부터 생성된 감정 표현 영상의 프레임을 학습하고, 학습 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 감정 표현 영상의 프레임인지 여부를 판단할 수 있다. 제2 판별자(320)는 판단 결과를 제2 생성자(310)로 피드백함으로써 제2 생성자(310)에서 생성되는 감정 표현 영상의 프레임이 실제와 점점 유사해질 수 있다.
전술한 학습 과정을 통해 제2 생성자(310)에서 생성되는 감정 표현 영상의 프레임이 비교 영상의 프레임과 충분히 유사해질 경우, 제2 판별자(320)는 입력되는 프레임이 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지의 여부를 구별할 수 없게 된다. 제2 GAN(300)이 이와 같은 상태에 도달하면 학습 과정은 종료된다. 이 때, 제2 GAN(300)은 분류된 감정 클래스에 따라 학습할 수 있다. 즉, 제2 GAN(300)은 감정 클래스(예를 들어, 행복, 슬픔, 놀람, 두려움, 화남, 경멸, 역겨움 등)에 따라 분류된 감정 표현 이미지를 학습하여 감정 클래스 별로 감정 표현 변화도(
)를 학습할 수 있으며, 이후 제2 생성자(310)는 입력되는 이미지 및 감정 클래스에 따라 프레임을 생성하게 된다. 또한, 제2 GAN(300)은 비교 영상의 다음 프레임을 순차적으로 입력받고, 이로부터 감정 표현 영상의 프레임 이후의 프레임을 순차적으로 생성하게 되며, 생성된 프레임을 순차적으로 연결하여 영상을 생성하게 된다.
도 6은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제1 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 제1 생성적 적대 신경망(200)은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 제1 생성적 적대 신경망(200)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 602에서, 컴퓨팅 장치(12)는 제1 생성자(210)를 통해, 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대한 임베딩 (Embedding)을 수행하여 벡터 정보를 추출한다.
단계 604에서, 컴퓨팅 장치(12)는 제1 생성자(210)를 통해, 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 이미지를 생성한다.
단계 606에서, 컴퓨팅 장치(12)는 제1 판별자(220)를 통해, 제1 생성자(210)로부터 생성된 이미지를 기 설정된 비교 이미지와 비교한다.
단계 608에서, 컴퓨팅 장치(12)는 제1 판별자(220)를 통해, 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하고, 판단 결과를 제1 생성자(210)로 피드백한다.
도 7은 본 발명의 일 실시예에 따른 감정 표현 영상 생성을 위한 학습 장치에서 제2 생성적 적대 신경망의 학습 방법을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 제2 생성적 적대 신경망(300)은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 제2 생성적 적대 신경망(300)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 702에서, 컴퓨팅 장치(12)는 제2 생성자(310)를 통해, 감정 표현 이미지 및 비교 영상 프레임을 입력받고, 감정 표현 이미지 및 비교 영상 프레임으로부터 감정 표현 이미지의 감정 표현에 대한 비교 영상 프레임의 감정 표현 변화도를 산출한다.
단계 704에서, 컴퓨팅 장치(12)는 제2 생성자(310)를 통해, 감정 표현 이미지 및 산출된 감정 표현 변화도를 이용하여 감정 표현 영상의 프레임을 생성한다.
단계 706에서, 컴퓨팅 장치(12)는 제2 판별자(320)를 통해, 제2 생성자(310)로부터 생성된 감정 표현 영상의 프레임을 기 설정된 비교 영상의 프레임과 비교한다.
단계 708에서, 컴퓨팅 장치(12)는 제2 판별자(320)를 통해, 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하고, 판단 결과를 제2 생성자(310)로 피드백한다.
도 8은 본 발명의 일 실시예에 따른 감정 표현 영상 생성 장치를 나타낸 블록도이다. 도 2 내지 도 4를 참조하여 설명하였던 본 발명의 실시예에서의 구성요소와 대응되는 구성요소는, 실시예에서 설명한 바와 동일 또는 유사한 기능을 수행하므로, 이에 대한 보다 구체적인 설명은 생략하도록 한다. 다만, 본 실시예에서, 제1 GAN(810) 및 제2 GAN(830)은 학습이 완료된 상태일 수 있다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 감정 표현 영상 생성 장치(800)는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)(810, 이하 "제1 GAN"), 분류기(820) 및 제2 생성적 적대 신경망(830, 이하 "제2 GAN")을 포함할 수 있다.
제1 GAN(810)은 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대한 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성할 수 있다.
본 발명의 실시예들에서, 텍스트는 대상의 외적 요소, 대상의 감정 요소(감정 표현) 등 다양한 요소를 포함할 수 있다. 대상의 외적 요소는 대상의 눈, 코 입, 머리스타일 등을 포함할 수 있으며, 대상의 감정 요소는 감정 표현을 포함할 수 있다. 제1 GAN(810)에 의하여 생성되는 이미지는 텍스트에 따라 얼굴 이미지를 생성할 수 있다.
분류기(820)는 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류할 수 있다. 예를 들어, 분류기(820)는 감정 요소에 따라 행복, 슬픔, 놀람, 두려움, 화남, 경멸, 역겨움 등의 감정 클래스로 분류할 수 있다.
제2 GAN(830)은 제1 GAN(810)에서 생성된 이미지 및 분류기(820)에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성할 수 있다. 구체적으로, 제2 GAN(830)은 분류기(820)에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 제1 GAN(810)에서 생성된 이미지 및 감정 표현 변화도를 이용하여 감정 표현 영상의 프레임을 생성할 수 있다. 또한, 제2 GAN(830)은 감정 표현 영상의 프레임 이후의 프레임을 순차적으로 생성하고, 생성된 프레임을 순차적으로 연결하여 감정 표현 영상을 생성할 수 있다.
따라서, 본 발명의 실시예들에 따르면, 사용자가 원하는 외적 요소(얼굴스타일)와 감정 요소(감정표현)을 텍스트로 표현하여 입력하는 경우, 사람의 얼굴 이미지뿐만 아니라 감정을 포함하는 감정 표현 영상을 생성함으로써, 소셜 네트워크(SNS) 등에서 사용자가 간단한 설명만으로 원하는 영상을 생성할 수 있어 커뮤니케이션을 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 감정 표현 영상 생성 방법을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 감정 표현 영상 생성 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 감정 표현 영상 생성 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 902에서, 컴퓨팅 장치(12)는 제1 GAN(810)을 통해, 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대한 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성한다.
단계 904에서, 컴퓨팅 장치(12)는 분류기(820)를 통해, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하고, 컴퓨팅 장치(12)는 제2 GAN(830)을 통해, 제1 GAN(800)에서 생성된 이미지 및 분류기(820)에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성한다. 한편, 컴퓨팅 장치(12)는 감정 표현 영상의 프레임 이후의 프레임을 순차적으로 생성하고, 생성된 프레임을 순차적으로 연결하여 감정 표현 영상을 생성할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
Claims (19)
- 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 감정 표현 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks); 및
상기 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함하며,
상기 제1 생성적 적대 신경망은,
상기 입력된 텍스트에 대한 임베딩을 수행하여 벡터 정보를 추출하며, 상기 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 상기 감정 표현 이미지를 생성하는 제1 생성자; 및
상기 제1 생성자로부터 생성된 감정 표현 이미지를 기 설정된 비교 이미지와 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하며, 상기 판단 결과를 상기 제1 생성자로 피드백하는 제1 판별자를 포함하며,
상기 제2 생성적 적대 신경망은,
상기 감정 표현 이미지 및 상기 비교 영상의 프레임을 입력받고, 상기 감정 표현 이미지 및 상기 비교 영상의 프레임으로부터 상기 감정 표현 이미지의 감정 표현에 대한 상기 비교 영상의 프레임의 감정 표현 변화도를 산출하며, 상기 감정 표현 이미지 및 상기 산출된 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 제2 생성자; 및
상기 제2 생성자로부터 생성된 감정 표현 영상의 프레임을 상기 비교 영상의 프레임과 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하며, 상기 판단 결과를 상기 제2 생성자로 피드백하는 제2 판별자를 포함하는, 감정 표현 영상 생성을 위한 학습 장치.
- 삭제
- 청구항 1에 있어서,
상기 제1 판별자는,
상기 제1 생성자로부터 생성된 이미지를 컨벌루션(convolution) 신경망에 입력시켜 상기 비교 이미지와의 유사도를 산출하여 비교하는, 감정 표현 영상 생성을 위한 학습 장치.
- 삭제
- 청구항 1에 있어서,
상기 감정 표현 이미지는, 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며,
상기 감정 클래스는, 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함하는, 감정 표현 영상 생성을 위한 학습 장치.
- 청구항 5에 있어서,
상기 제2 생성자는,
상기 감정 표현 이미지에 대한 벡터 정보를 추출하여 제1 특징값을 산출하고, 상기 감정 표현 이미지의 감정 표현이 변화할 방향에 대한 벡터 정보를 추출하여 제2 특징값을 산출하고, 상기 비교 영상의 프레임에 대한 벡터 정보를 추출하여 제3 특징값을 산출하는 인코더부;
상기 제1 특징값, 상기 제2 특징값 및 상기 제3 특징값을 기반으로 상기 감정 표현 변화도를 산출하고, 상기 제1 특징값, 상기 제2 특징값 및 상기 감정 표현 변화도를 이용하여 최종 특징값을 산출하는 변환부; 및
상기 최종 특징값을 기반으로 상기 감정 표현 영상의 프레임을 생성하는 디코더부를 포함하는 오토인코더(Autoencoder)를 포함하는, 감정 표현 영상 생성을 위한 학습 장치.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 감정 표현 영상 생성을 위한 학습 방법으로서,
제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)에서, 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 감정 표현 이미지를 생성하는 단계; 및
제2 생성적 적대 신경망에서, 상기 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 단계를 포함하며,
상기 감정 표현 이미지를 생성하는 단계는,
제1 생성자가, 상기 입력된 텍스트에 대한 임베딩을 수행하여 벡터 정보를 추출하며, 상기 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 상기 감정 표현 이미지를 생성하는 단계; 및
제1 판별자가, 상기 제1 생성자로부터 생성된 감정 표현 이미지를 기 설정된 비교 이미지와 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하며, 상기 판단 결과를 상기 제1 생성자로 피드백하는 단계를 포함하며,
상기 감정 표현 영상의 프레임을 생성하는 단계는,
제2 생성자가, 상기 감정 표현 이미지 및 상기 비교 영상의 프레임을 입력받고, 상기 감정 표현 이미지 및 상기 비교 영상의 프레임으로부터 상기 감정 표현 이미지의 감정 표현에 대한 상기 비교 영상의 프레임의 감정 표현 변화도를 산출하며, 상기 감정 표현 이미지 및 상기 산출된 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 단계; 및
제2 판별자가, 상기 제2 생성자로부터 생성된 감정 표현 영상의 프레임을 상기 비교 영상의 프레임과 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하며, 상기 판단 결과를 상기 제2 생성자로 피드백하는 단계를 포함하는, 감정 표현 영상 생성을 위한 학습 방법.
- 삭제
- 청구항 7에 있어서,
상기 제1 판별자는,
상기 제1 생성자로부터 생성된 이미지를 컨벌루션(convolution) 신경망에 입력시켜 상기 비교 이미지와의 유사도를 산출하여 비교하는, 감정 표현 영상 생성을 위한 학습 방법.
- 삭제
- 청구항 7에 있어서,
상기 감정 표현 이미지는, 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며,
상기 감정 클래스는, 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함하는, 감정 표현 영상 생성을 위한 학습 방법.
- 청구항 11에 있어서,
상기 제2 생성자는,
상기 감정 표현 이미지에 대한 벡터 정보를 추출하여 제1 특징값을 산출하고, 상기 감정 표현 이미지의 감정 표현이 변화할 방향에 대한 벡터 정보를 추출하여 제2 특징값을 산출하고, 상기 비교 영상의 프레임에 대한 벡터 정보를 추출하여 제3 특징값을 산출하는 인코더부;
상기 제1 특징값, 상기 제2 특징값 및 상기 제3 특징값을 기반으로 상기 감정 표현 변화도를 산출하고, 상기 제1 특징값, 상기 제2 특징값 및 상기 감정 표현 변화도를 이용하여 최종 특징값을 산출하는 변환부; 및
상기 최종 특징값을 기반으로 상기 감정 표현 영상의 프레임을 생성하는 디코더부;를 포함하는 오토인코더(Autoencoder)를 포함하는, 감정 표현 영상 생성을 위한 학습 방법.
- 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks);
상기 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하는 분류기; 및
상기 제1 GAN에서 생성된 이미지 및 상기 분류기에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함하며,
상기 제2 생성적 적대 신경망은,
상기 분류기에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 상기 제1 GAN에서 생성된 이미지 및 상기 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는, 감정 표현 영상 생성 장치.
- 삭제
- 삭제
- 청구항 13에 있어서,
상기 제2 생성적 적대 신경망은,
상기 감정 표현 영상의 프레임 이후의 적어도 하나의 프레임들을 순차적으로 생성하여 상기 감정 표현 영상을 생성하는, 감정 표현 영상 생성 장치.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 감정 표현 영상 생성 방법으로서,
제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)에서, 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 단계;
분류기에서, 상기 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하는 단계; 및
제2 생성적 적대 신경망에서, 상기 제1 GAN에서 생성된 이미지 및 상기 분류기에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 단계를 포함하며,
상기 감정 표현 영상의 프레임을 생성하는 단계는,
상기 제2 생성적 적대 신경망에서, 상기 분류기에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 상기 제1 GAN에서 생성된 이미지 및 상기 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 단계를 더 포함하는, 감정 표현 영상 생성 방법.
- 삭제
- 청구항 17에 있어서,
상기 감정 표현 영상의 프레임을 생성하는 단계는,
상기 제2 생성적 적대 신경망에서, 상기 감정 표현 영상의 프레임 이후의 적어도 하나의 프레임들을 순차적으로 생성하여 상기 감정 표현 영상을 생성하는 단계를 더 포함하는, 감정 표현 영상 생성 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077424A KR102504722B1 (ko) | 2020-06-24 | 2020-06-24 | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 |
| US17/084,877 US11568647B2 (en) | 2020-06-24 | 2020-10-30 | Learning apparatus and method for creating emotion expression video and apparatus and method for emotion expression video creation |
| PCT/KR2020/017837 WO2021261688A1 (ko) | 2020-06-24 | 2020-12-08 | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077424A KR102504722B1 (ko) | 2020-06-24 | 2020-06-24 | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210158711A KR20210158711A (ko) | 2021-12-31 |
| KR102504722B1 true KR102504722B1 (ko) | 2023-02-28 |
Family
ID=79031085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200077424A KR102504722B1 (ko) | 2020-06-24 | 2020-06-24 | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11568647B2 (ko) |
| KR (1) | KR102504722B1 (ko) |
| WO (1) | WO2021261688A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115052193B (zh) * | 2022-05-25 | 2023-07-18 | 天翼爱音乐文化科技有限公司 | 视频推荐方法、系统、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101006191B1 (ko) * | 2002-08-06 | 2011-01-07 | 윤재민 | 가상인격체의 감정표현과 동작구현방법 |
| US20200135226A1 (en) | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Computing system for expressive three-dimensional facial animation |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101006491B1 (ko) * | 2003-06-10 | 2011-01-10 | 윤재민 | 자연어 기반 감정인식, 감정표현 시스템 및 그 방법 |
| KR100813668B1 (ko) * | 2006-12-20 | 2008-03-14 | 한국생산기술연구원 | 안드로이드 로봇의 감정표현 방법 |
| KR102108129B1 (ko) * | 2013-09-25 | 2020-05-07 | 에스케이텔레콤 주식회사 | 텍스트 이모티콘 의미 해석 장치, 이를 위한 기록매체 |
| KR102471754B1 (ko) | 2017-12-28 | 2022-11-28 | 주식회사 엔씨소프트 | 이미지 생성 시스템 및 방법 |
| KR102042168B1 (ko) * | 2018-04-27 | 2019-11-07 | 성균관대학교산학협력단 | 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치 |
| US11030744B2 (en) * | 2018-06-26 | 2021-06-08 | Astrazeneca Computational Pathology Gmbh | Deep learning method for tumor cell scoring on cancer biopsies |
| KR102284796B1 (ko) * | 2019-05-20 | 2021-08-02 | 아주대학교 산학협력단 | 에지(edge) 이미지으로부터 컬러(color) 이미지를 생성하기 위한 GAN(generative adversarial networks) 기반 시스템 |
| US20210097372A1 (en) * | 2019-10-01 | 2021-04-01 | Samsung Electronics Company, Ltd. | Co-Informatic Generative Adversarial Networks for Efficient Data Co-Clustering |
| US11205260B2 (en) * | 2019-11-21 | 2021-12-21 | International Business Machines Corporation | Generating synthetic defect images for new feature combinations |
-
2020
- 2020-06-24 KR KR1020200077424A patent/KR102504722B1/ko active IP Right Grant
- 2020-10-30 US US17/084,877 patent/US11568647B2/en active Active
- 2020-12-08 WO PCT/KR2020/017837 patent/WO2021261688A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101006191B1 (ko) * | 2002-08-06 | 2011-01-07 | 윤재민 | 가상인격체의 감정표현과 동작구현방법 |
| US20200135226A1 (en) | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Computing system for expressive three-dimensional facial animation |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210406554A1 (en) | 2021-12-30 |
| US11568647B2 (en) | 2023-01-31 |
| WO2021261688A1 (ko) | 2021-12-30 |
| KR20210158711A (ko) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7193252B2 (ja) | 画像の領域のキャプション付加 | |
| US20210151034A1 (en) | Methods and systems for multimodal content analytics | |
| CN110785767B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
| GB2547068B (en) | Semantic natural language vector space | |
| US11093734B2 (en) | Method and apparatus with emotion recognition | |
| KR102287407B1 (ko) | 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법 | |
| WO2023050708A1 (zh) | 一种情感识别方法、装置、设备及可读存储介质 | |
| KR102584900B1 (ko) | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 | |
| CN111183455A (zh) | 图像数据处理系统与方法 | |
| KR102399255B1 (ko) | 인공지능을 이용한 웹툰 제작 시스템 및 방법 | |
| KR102504722B1 (ko) | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 | |
| CN115810215A (zh) | 面部图像生成方法、装置、设备及存储介质 | |
| Cambria et al. | Speaker-independent multimodal sentiment analysis for big data | |
| US11670023B2 (en) | Artificial intelligence techniques for performing image editing operations inferred from natural language requests | |
| CN112559750B (zh) | 文本数据的分类方法、装置、非易失性存储介质、处理器 | |
| WO2021137942A1 (en) | Pattern generation | |
| Srivastava et al. | Utilizing 3D flow of points for facial expression recognition | |
| CN115984426B (zh) | 发型演示图像的生成的方法、装置、终端及存储介质 | |
| KR102608266B1 (ko) | 이미지 생성 장치 및 방법 | |
| CN112232195B (zh) | 一种手写汉字识别方法、装置及存储介质 | |
| Hasan | Experimental Facts about Face Emotion Recognition System | |
| CN116030201B (zh) | 多颜色发型演示图像的生成方法、装置、终端及存储介质 | |
| WO2023178801A1 (zh) | 图像描述方法和装置、计算机设备、存储介质 | |
| Marchesoti | Synthesizing Speech-guided Face Animation by Low-Rank and Noise-tolerant Active Learning | |
| Alimchandani | Irish Sign Language Recognition using Video Feed and Convolution Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |