KR102507654B1 - 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 - Google Patents
적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 Download PDFInfo
- Publication number
- KR102507654B1 KR102507654B1 KR1020210110294A KR20210110294A KR102507654B1 KR 102507654 B1 KR102507654 B1 KR 102507654B1 KR 1020210110294 A KR1020210110294 A KR 1020210110294A KR 20210110294 A KR20210110294 A KR 20210110294A KR 102507654 B1 KR102507654 B1 KR 102507654B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- processing system
- input
- images
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013519 translation Methods 0.000 title claims description 6
- 230000008921 facial expression Effects 0.000 claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 7
- 230000007935 neutral effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G06T3/0012—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 적대적 생성 신경망(Generative Adversarial Networks ; GAN) 중 하나인 StarGAN을 이용하여 입력되는 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 이미지 변환장치 및 방법에 관한 것으로, 본 발명에 따르면, 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 단점이 있었던 기존의 StarGAN 알고리즘의 문제점을 해결하기 위해, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 알고리즘 및 이미지 변환처리의 전체적인 성능을 개선하여 보다 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공된다.
Description
본 발명은 입력되는 이미지를 다른 형태의 이미지로 변환하기 위한 영상처리 장치 및 방법에 관한 것으로, 더 상세하게는, 적대적 생성 신경망(Generative Adversarial Networks ; GAN)을 이용하여, 입력되는 얼굴의 이미지를 미리 정해진 각각의 카테고리에 대한 표정의 이미지로 변환하여 단일의 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 입력되는 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하기 위해, 적대적 생성 신경망(GAN) 알고리즘들 중 하나인 StarGAN 알고리즘을 이용하여, 하나의 모델을 사용하여 다수의 도메인에 대한 학습 및 변환이 이루어지는 것에 의해 보다 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같이 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 문제가 있었던 기존의 StarGAN의 단점을 개선하기 위해, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 및 이미지 변환 처리의 전체적인 성능을 개선할 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
최근, 정보통신(Information Technology ; IT) 기술이 발달하고 스마트폰이나 태블릿 PC 등과 같은 개인 휴대용 정보통신 단말기의 보급이 확대됨에 따라, 각 개인마다 자신의 스마트폰 등을 이용하여 이미지나 영상을 촬영하고 원하는 형태로 변환하거나 편집하기 위한 이미지 변환 및 영상처리 기술에 대한 연구가 활발하게 진행되고 있다.
또한, 최근에는, 예를 들면, 딥러닝(Deep Learning)과 같이, 인공지능을 통하여 이미지나 영상을 원하는 형태로 변환하거나 편집하는 과정이 자동으로 이루어질 수 있도록 하기 위한 기술에 대한 연구개발이 활발하게 이루어지고 있다.
아울러, 최근에는, 상기한 딥러닝 알고리즘 중에서 이미지 변환 및 영상처리를 위한 기술로서 적대적 생성 신경망(Generative Adversarial Networks ; GAN) 기반의 이미지 변환 기술들이 주목받고 있다.
더 상세하게는, 상기한 GAN 기반 이미지 변환기술은, 각각의 카테고리별로 분류된 이미지의 데이터셋을 이용하여 학습을 수행하고, 특정 이미지를 입력하면 학습결과에 근거하여 미리 정해진 카테고리별로 변환된 이미지가 각각 생성되어 출력되되도록 구성되는 것으로, 이러한 GAN의 구조는, 일반적으로, 생성자(generator ; G)와 판별자(discriminator ; D)의 두 가지 네트워크, 즉, 인공신경망으로 구성되어 있다.
또한, GAN에 있어서, 판별자는 학습을 통하여 가짜(fake)와 진짜(real) 이미지를 구별하기 위한 특징을 찾도록 구성되고, 생성자는 판별자가 가짜와 진짜를 판단하기 위해 사용하는 특징을 제거하고 합성하는 방법을 학습하도록 구성되며, 이와 같이 서로 적대적(adversarial)인 네트워크로 구성됨으로 인해 GAN은 판별자가 진짜와 가짜를 구별할 수 없을 정도로 사실적인 결과물을 생성할 수 있는 장점이 있어 최근 다양한 영상처리 분야에 적용되고 있다.
여기서, 상기한 바와 같이 GAN을 이용한 이미지 변환 및 영상처리 방법에 대한 종래기술의 예로는, 먼저, 예를 들면, 한국 등록특허공보 제10-2192211호에 제시된 바와 같은 "이미지 변환을 위한 깊이별 분리가능한 컨볼루션과 채널 어텐션을 이용한 효율적인 적대적 생성 신경망"이 있다.
더 상세하게는, 상기한 한국 등록특허공보 제10-2192211호는, 파라미터의 수를 줄이기 위해 깊이 분리 가능한 컨벌루션을 적용하는 단계; 및 깊이 분리 가능한 컨벌루션을 적용하여 발생하는 정보손실을 보상하여 출력된 이미지의 품질과 계산 비용 간의 균형을 맞추기 위해 채널 어텐션을 적용하는 단계를 포함하여, 페어링되지 않은 이미지 간 변환(Unpaired Image-to-Image Translation)에서 일반적인 컨볼루션을 깊이별 분리가능한 컨볼루션(Depthwise separable convolution)으로 대체하는 것에 의해 학습 파라미터의 수를 감소할 수 있도록 구성되는 이미지 변환 방법에 관한 것이다.
아울러, 상기한 바와 같이 GAN을 이용한 이미지 변환 및 영상처리 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2020-0115001호에 제시된 바와 같은 "뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치"가 있다.
더 상세하게는, 상기한 한국 공개특허공보 제10-2020-0115001호는, 미리 설정된 다중 도메인들 중 적어도 두 개 이상의 도메인들에 대한 입력 영상 데이터를 수신하는 단계; 및 두 개 이상의 입력 영상 데이터를 입력으로 하는 뉴럴 네트워크를 이용하여 미리 설정된 타겟 도메인의 결측 영상 데이터를 복원하는 단계를 포함하여, 다중 도메인들 각각의 영상 데이터를 입력으로 사용하는 뉴럴 네트워크를 이용하여 타겟 도메인의 결측 영상 데이터를 복원함으로써 복원성능을 향상시킬 수 있도록 구성되는 결측 영상 데이터 대체 방법에 관한 것이다.
상기한 바와 같이, 종래, GAN을 이용한 이미지 변환 및 영상처리 방법에 대하여 다양한 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 GAN 방법들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 적대적 생성 신경망(GAN)을 통한 이미지 변환은 이미지의 스타일을 다른 도메인의 이미지 형태로 변환하거나(Image-to-Image Translation), 기존 이미지를 고해상도의 새로운 이미지로 생성하거나(Super-resolution), 이미지의 손상된 부분을 채워 넣거나(Image inpainting) 복원하는(Image restoration) 등에 적용될 수 있고, 이에, GAN 기술은 자율주행 데이터셋 개선, 의료영상 복원 및 개선, 클래스 불균형 데이터셋 증강 등과 같이 전반적인 산업분야에 적용되고 있다.
그러나 GAN은 다수의 컨볼루션 신경망으로 구성되어 있음으로 인해 다른 인공신경망에 비해 무거운 구조와 많은 계산량을 가지고 있으므로 딥러닝 모델의 복잡도(Complexity)를 표현하는 파라미터(parameter)의 수가 굉장히 높게 나타나며, 이러한 높은 파라미터 수는 학습시간과 출력물을 생성하는 추론시간(Inference time)에 상당한 영향을 줄뿐만 아니라, 모델학습과 추론시 요구되는 메모리 리소스가 증가하여 다양한 분야에 적용하는데 현실적으로 큰 제한이 있다.
즉, 예를 들면, CycleGAN, DiscoGAN, pix2pix, cGAN 등과 같이, 교차 도메인 모델(Cross-domain Models)을 사용하는 종래의 GAN은, 하나의 네트워크당 하나의 특징만을 학습하여 변환하도록 구성됨으로 인해 다양한 도메인으로 변환하려면 N개의 도메인에 대하여 N×(N-1)개의 네트워크가 필요하므로 전체적인 처리과정 및 시스템의 구성이 매우 복잡해지는 문제가 있고, 그로 인해, 다중 도메인의 처리시 확장성에 한계가 있다.
여기서, 최근에는, 상기한 바와 같은 확장성 문제를 개선하기 위해 단일 모델(Unified Model)로 복수의 도메인을 학습하고 변환할 수 있도록 구성되는 StarGAN 알고리즘이 제시된 바 있다.
더 상세하게는, StarGAN은 하나의 신경망을 이용하여 다수의 많은 도메인으로 변환하므로 그 구조가 비교적 간단하고 상대적으로 보다 높은 퀄리티의 이미지를 생성할 수 있는 장점이 있으나, 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 문제가 있었다.
따라서 상기한 바와 같은 종래기술의 GAN 및 StarGAN의 문제점을 해결하기 위하여는, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있도록 하고, 그것에 의해, 전체적인 성능을 개선할 수 있도록 구성되는 새로운 구성의 개선된 StarGAN을 이용한 이미지 변환장치 및 방법을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 적대적 생성 신경망(Generative Adversarial Networks ; GAN)을 이용하여, 입력되는 얼굴의 이미지를 미리 정해진 각각의 카테고리에 대한 표정의 이미지로 변환하여 단일의 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법을 제시하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 적대적 생성 신경망(GAN) 알고리즘들 중 하나인 StarGAN 알고리즘을 이용하여, 하나의 모델을 사용하여 다수의 도메인에 대한 학습 및 변환이 이루어지는 것에 의해 보다 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법을 제시하고자 하는 것이다.
아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 문제가 있었던 기존의 StarGAN의 단점을 개선하기 위해, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 및 이미지 변환 처리의 전체적인 성능을 개선할 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법을 제시하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 적대적 생성 신경망(Generative Adversarial Networks ; GAN)을 이용한 영상처리 시스템에 있어서, 외부로부터 이미지를 포함하는 각종 데이터를 입력받는 처리가 수행되도록 이루어지는 입력부; 적대적 생성 신경망(GAN)을 이용하여, 상기 입력부를 통해 입력된 이미지에 대한 학습을 수행하고, 학습결과에 근거하여 입력 이미지에 대하여 미리 정해진 카테고리별로 변환된 복수의 이미지를 생성하는 처리가 수행되도록 이루어지는 영상처리부; 상기 영상처리부에 의해 변환된 이미지를 출력하는 처리가 수행되도록 이루어지는 출력부; 및 상기 영상처리 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되는 것을 특징으로 하는 적대적 생성 신경망을 이용한 영상처리 시스템이 제공된다.
여기서, 상기 입력부는, 유선 연결 또는 무선통신 방식 중 적어도 하나의 방식으로 외부 기기와 각종 데이터를 송수신하는 통신수단을 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 영상처리부는, 상기 적대적 생성 신경망(GAN)으로서 StarGAN 알고리즘을 이용하여, 입력된 얼굴표정 이미지를 서로 다른 다수의 얼굴표정 이미지로 변환하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
여기서, 상기 StarGAN 알고리즘은, 생성자(Generator)가 적어도 2개 이상의 네트워크를 포함하여 구성되는 것을 특징으로 한다.
아울러, 상기 생성자는, 기쁨(Happy), 슬픔(Sad), 화남(Angry), 놀람(Surprise), 무서움(Fear), 싫음(Disgust)을 포함하는 얼굴표정 이미지를 입력받고 학습을 행하여 무표정(Neutral) 얼굴표정 이미지를 생성하는 처리가 수행되는 제 1 네트워크; 및 상기 제 1 네트워크를 통해 생성된 상기 무표정 이미지로부터 기쁨, 슬픔, 화남, 놀람, 무서움, 싫음을 포함하는 얼굴표정 이미지를 생성하고, 상기 무표정 이미지를 추가하여 출력하는 처리가 수행되는 제 2 네트워크를 포함하여 구성되는 것을 특징으로 한다.
더욱이, 상기 출력부는, 모니터나 디스플레이를 포함하는 표시수단을 이용하여 구성되는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 영상처리부에 의해 처리된 결과물을 저장하고 서버나 외부 기기로 전송하며, 메신저나 SNS(Social Network Service)를 포함하는 공유서비스에 업로드하여 다수의 사용자들이 공유할 수 있도록 하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 본 발명에 따르면, 이미지간 변환(Image-to-Image Translation)방법에 있어서, 영상처리 시스템의 입력부를 통하여, 변환하고자 하는 이미지를 입력받는 처리가 수행되는 입력단계; 영상처리 시스템의 영상처리부를 통하여, 입력된 이미지를 변환하는 처리가 수행되는 변환단계; 및 영상처리 시스템의 출력부를 통하여, 변환된 이미지를 출력하는 처리가 수행되는 출력단계를 포함하여 구성되고, 상기 영상처리 시스템은, 상기에 기재된 적대적 생성 신경망을 이용한 영상처리 시스템을 이용하여 구성되는 것을 특징으로 하는 이미지간 변환방법이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 및이미지 변환 처리의 전체적인 성능을 개선할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나, 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 단점이 있었던 기존의 StarGAN의 단점을 개선할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 개선된 StarGAN 알고리즘을 이용하여 입력되는 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있다.
도 1은 기존의 StarGAN의 전체적인 구조를 개략적으로 나타내는 도면이다.
도 2는 기존의 StarGAN을 이용하여 얼굴표정 이미지를 변환하는 처리과정을 개략적으로 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 이미지간 변환방법의 처리과정을 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 기존의 StarGAN을 이용하여 얼굴표정 이미지를 변환하는 처리과정을 개략적으로 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 이미지간 변환방법의 처리과정을 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 적대적 생성 신경망(GAN)을 이용하여, 입력되는 얼굴의 이미지를 미리 정해진 각각의 카테고리에 대한 표정의 이미지로 변환하여 단일의 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 입력되는 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하기 위해, 적대적 생성 신경망(GAN) 알고리즘들 중 하나인 StarGAN 알고리즘을 이용하여 하나의 모델을 사용하여 다수의 도메인에 대한 학습 및 변환이 단일의 네트워크로 이루어지는 것에 의해 보다 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나, 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 문제가 있었던 기존의 StarGAN의 단점을 개선하기 위해, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 및 이미지 변환 처리의 전체적인 성능을 개선할 수 있도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법의 구체적인 내용에 대하여 설명한다.
여기서, 이하에 설명하는 본 발명의 실시예에 있어서, 본 발명은 이하에 설명하는 본 발명의 실시예에 제시된 구성으로만 한정되는 것은 아니며, 즉, 본 발명은, 이하의 실시예에 제시된 구성 이외에, 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 변경 및 수정하여 적용 가능한 것임에 유념해야 한다.
또한, 이하에 설명하는 본 발명의 실시예에 있어서, 예를 들면, GAN 및 StarGAN의 구체적인 구성 및 동작 등과 같이, 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
먼저, 도 1을 참조하면, 도 1은 기존의 StarGAN의 전체적인 구조를 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 기존의 StarGAN 모델은 하나의 생성자(Generator ; G)와 변환하고자 하는 도메인의 수에 해당하는 다수의 판별자(Discriminator ; D)로 구성되며, 생성자(G)는 입력 이미지(Real image)로부터 가짜 이미지(Fake Image)를 생성하기 위해 입력된 이미지와 타겟 도메인(Target domain)에 대한 학습을 수행하고, 판별자(D)는 진짜 이미지(Real image)와 가짜 이미지(Fake image)를 구분하기 위한 학습을 수행하여, 하나의 생성자만으로도 다양한 도메인의 이미지를 학습하고 생성할 수 있도록 구성된다.
더 상세하게는, 도 2를 참조하면, 도 2는 기존의 StarGAN을 이용하여 얼굴표정 이미지를 변환하는 처리과정의 구성예를 개략적으로 나타내는 도면이다.
도 2에 나타낸 바와 같이, 기존의 StarGAN에서는 무표정(Neutral), 기쁨(Happy), 슬픔(Sad), 화남(Angry), 놀람(Surprise), 무서움(Fear), 싫음(Disgust)의 총 7가지의 얼굴표정에 대하여 생성자(G)와 판별자(D)가 각각 학습을 수행하고, 학습결과에 따라 입력 이미지로부터 상기한 7가지의 표정 이미지를 생성하는 처리가 수행된다.
즉, 무표정 이미지가 입력되면 나머지 6가지 표정에 대한 이미지가 생성되어 출력되며, 이러한 과정이 단일의 네트워크를 통해 수행되므로 전체적인 시스템의 구성 및 이미지 변환을 위한 처리과정이 간단해지는 장점이 있다.
반면, 기존의 StarGAN은, 상기한 바와 같이 단일의 네트워크로 학습과 변환 처리가 모두 수행됨으로 인해, 데이터가 증가할수록 원활한 학습에 어려움이 있고, 출력이 쉽게 변형되어(deformed) 원하지 않는 결과물이 생성될 수 있는 문제점이 있다.
이에, 본 발명자들은, 상기한 바와 같은 기존의 StarGAN의 문제점을 해결하기 위해, 후술하는 바와 같이 하여 학습 파라미터를 감소하고 학습이 용이하도록 하는 것에 의해 전체적인 구성 및 처리과정을 간소화하고 처리성능을 높일 수 있도록 구성되는 새로운 구조의 개선된 StarGAN 방법을 제시하였다.
더 상세하게는, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 이미지 변환방법의 전체적인 구성을 개략적으로 나타내는 개념도이다.
도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 이미지 변환방법은, 기본적인 구조나 처리과정에 있어서는 도 2에 나타낸 기존의 StarGAN과 동일 내지 유사하게 하여 구성될 수 있으나, 입력을 수신하고 학습을 수행하는 생성자(G)가 2개의 네트워크로 구성되어 있는 점이 다르다.
즉, 도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 이미지 변환방법은 StarGAN의 생성자(G)가 2개의 신경망으로 구성되어 있는 것을 특징으로 하는 것이다.
더 상세하게는, 먼저, 제 1 네트워크에서 기쁨(Happy), 슬픔(Sad), 화남(Angry), 놀람(Surprise), 무서움(Fear), 싫음(Disgust)의 6가지 표정 이미지를 입력받고 학습하여 무표정(Neutral) 얼굴 이미지를 생성한다.
이어서, 제 2 네트워크에서는 제 1 네트워크를 통해 생성된 무표정 이미지로부터 나머지 6가지 표정을 생성하고, 무표정 이미지를 출력에 추가하여 총 7가지 표정을 생성하는 처리가 수행되도록 구성될 수 있다.
따라서 상기한 바와 같이 각각의 표정 이미지에 대한 학습 및 생성 처리가 2개의 네트워크로 나누어져 수행되도록 구성됨으로써, 각 네트워크에 대한 학습 파라미터를 감소시킬 수 있고, 그만큼 학습이 보다 용이하게 이루어질 수 있다.
더욱이, 상기한 바와 같이 학습 파라미터가 감소됨으로써, 낮은 연산처리 능력을 가지는 시스템에서도 기존의 StarGAN에 비해 이미지 변환 및 영상처리가 보다 원활하게 이루어질 수 있으며, 동일한 사양의 시스템에 대하여도 기존의 StarGAN에 비해 처리시간을 단축하고 결과물의 품질을 개선하여 영상처리 알고리즘 및 시스템의 전체적인 성능을 향상시킬 수 있다.
여기서, 도 3에 나타낸 본 발명의 실시예에 있어서, 생성자(G)가 2개의 네트워크로 구성되는 점 이외에 나머지 처리과정은 기존의 StarGAN과 동일하게 하여 구성될 수 있으므로, 설명을 간략히 하기 위해 여기서는 그 상세한 설명을 생략하였음에 유념해야 한다.
아울러, 도 3에 나타낸 실시예에서는 개선된 StarGAN을 적용하여 무표정(Neutral), 기쁨(Happy), 슬픔(Sad), 화남(Angry), 놀람(Surprise), 무서움(Fear), 싫음(Disgust)의 총 7가지의 얼굴표정에 대하여 학습 및 변환이 이루어지는 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 도 3에 나타낸 실시예의 구성으로만 한정되는 것은 아니며, 상기한 7가지 이외에 더 많은 얼굴표정에 대한 학습 및 변환이 이루어지도록 구성될 수 있는 등, 필요에 따라 다양하게 구성될 수 있는 것임에 유념해야 한다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법을 구현할 수 있으며, 즉, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 4에 나타낸 바와 같이, 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템(10)은, 학습 및 변환처리를 위한 이미지를 입력받기 위한 입력부(11)와, 입력부(11)를 통해 입력된 이미지를 학습하고 변환하는 처리가 수행되는 영상처리부(12), 영상처리부(12)에 의해 변환된 이미지를 출력하는 출력부(13) 및 상기한 각 부(11, 12, 13) 및 시스템(10)의 전체적인 동작을 제어하는 제어부(14)를 포함하여 구성될 수 있다.
여기서, 상기한 영상처리부(12)는, 예를 들면, StarGAN 알고리즘을 이용하여 입력된 얼굴표정 이미지를 서로 다른 다수의 얼굴표정 이미지로 변환하는 처리가 수행되도록 구성될 수 있으며, 바람직하게는, 도 3을 참조하여 상기한 바와 같이 구성되는 개선된 StarGAN 방법을 이용하여 입력 이미지를 학습하고 미리 정해진 각각의 카테고리로 변환된 이미지를 생성하는 처리가 수행되도록 구성될 수 있다.
또한, 상기한 입력부(11)는, 유선 연결 또는 무선통신 방식 중 적어도 하나의 방식으로 외부 기기와 각종 데이터를 송수신하는 통신수단을 포함하여 구성될 수 있고, 상기한 출력부(13)는, 예를 들면, 모니터나 디스플레이 등의 표시수단을 포함하여 구성될 수 있다.
아울러, 상기한 제어부(14)는, 상기한 각 부(11, 12, 13) 및 시스템(10)의 전체적인 동작을 제어하는 동시에, 영상처리부(12)에 의해 처리된 결과물을 저장하고 서버나 외부 기기 등으로 전송하며, 메신저나 SNS(Social Network Service) 등에 업로드하여 다수의 사용자들이 공유할 수 있도록 하는 처리가 수행되도록 구성될 수 있다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 학습에 요구되는 파라미터를 감소하여 학습이 보다 용이하게 수행될 수 있으며, 그것에 의해, 기존의 StarGAN 및이미지 변환 처리의 전체적인 성능을 개선할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 입력되는 얼굴표정 이미지를 학습하고 변환된 얼굴표정 이미지를 생성하는 처리가 복수의 네트워크를 통해 각각의 이미지별로 나누어 수행되도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 입력되는 이미지에 대한 학습과 변환처리가 단일의 네트워크를 통하여 이루어지므로 전체적인 구성이 간단해지는 장점이 있으나, 모든 처리가 단일의 네트워크로 이루어짐으로 인해 학습이 용이하지 못하고 출력이 쉽게 변형되는(deformed) 단점이 있었던 기존의 StarGAN의 단점을 개선할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 개선된 StarGAN 알고리즘을 이용하여 입력되는 얼굴 이미지로부터 여러 가지 다른 표정의 이미지를 생성하도록 구성되는 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법이 제공됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 고품질의 결과물을 얻을 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 적대적 생성 신경망을 이용한 영상처리 시스템
11. 입력부
12. 영상처리부
13. 출력부
14. 제어부
11. 입력부
12. 영상처리부
13. 출력부
14. 제어부
Claims (8)
- 적대적 생성 신경망(Generative Adversarial Networks ; GAN)을 이용한 영상처리 시스템에 있어서,
외부로부터 이미지를 포함하는 각종 데이터를 입력받는 처리가 수행되도록 이루어지는 입력부;
적대적 생성 신경망(GAN)을 이용하여, 상기 입력부를 통해 입력된 이미지에 대한 학습을 수행하고, 학습결과에 근거하여 입력 이미지에 대하여 미리 정해진 카테고리별로 변환된 복수의 이미지를 생성하는 처리가 수행되도록 이루어지는 영상처리부;
상기 영상처리부에 의해 변환된 이미지를 출력하는 처리가 수행되도록 이루어지는 출력부; 및
상기 영상처리 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되고,
상기 영상처리부는,
상기 적대적 생성 신경망(GAN)으로서 StarGAN 알고리즘을 이용하여, 입력된 얼굴표정 이미지를 서로 다른 다수의 얼굴표정 이미지로 변환하는 처리가 수행되도록 구성되며,
상기 StarGAN 알고리즘은,
생성자(Generator)가 적어도 2개 이상의 네트워크를 포함하여 구성되고,
상기 생성자는,
기쁨(Happy), 슬픔(Sad), 화남(Angry), 놀람(Surprise), 무서움(Fear), 싫음(Disgust)을 포함하는 얼굴표정 이미지를 입력받고 학습을 행하여 무표정(Neutral) 이미지를 생성하는 처리가 수행되는 제 1 네트워크; 및
상기 제 1 네트워크를 통해 생성된 상기 무표정 이미지로부터 기쁨, 슬픔, 화남, 놀람, 무서움, 싫음을 포함하는 얼굴표정 이미지를 생성하고, 상기 무표정 이미지를 추가하여 출력하는 처리가 수행되는 제 2 네트워크를 포함하여 구성되는 것을 특징으로 하는 적대적 생성 신경망을 이용한 영상처리 시스템.
- 제 1항에 있어서,
상기 입력부는,
유선 연결 또는 무선통신 방식 중 적어도 하나의 방식으로 외부 기기와 각종 데이터를 송수신하는 통신수단을 포함하여 구성되는 것을 특징으로 하는 적대적 생성 신경망을 이용한 영상처리 시스템.
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 출력부는,
모니터나 디스플레이를 포함하는 표시수단을 이용하여 구성되는 것을 특징으로 하는 적대적 생성 신경망을 이용한 영상처리 시스템.
- 제 1항에 있어서,
상기 제어부는,
상기 영상처리부에 의해 처리된 결과물을 저장하고 서버나 외부 기기로 전송하며,
메신저나 SNS(Social Network Service)를 포함하는 공유서비스에 업로드하여 다수의 사용자들이 공유할 수 있도록 하는 처리가 수행되도록 구성되는 것을 특징으로 하는 적대적 생성 신경망을 이용한 영상처리 시스템.
- 이미지간 변환(Image-to-Image Translation)방법에 있어서,
영상처리 시스템의 입력부를 통하여, 변환하고자 하는 이미지를 입력받는 처리가 수행되는 입력단계;
영상처리 시스템의 영상처리부를 통하여, 입력된 이미지를 변환하는 처리가 수행되는 변환단계; 및
영상처리 시스템의 출력부를 통하여, 변환된 이미지를 출력하는 처리가 수행되는 출력단계를 포함하여 구성되고,
상기 영상처리 시스템은,
청구항 1항, 청구항 2항, 청구항 6항 및 청구항 7항 중 어느 한 항에 기재된 적대적 생성 신경망을 이용한 영상처리 시스템을 이용하여 구성되는 것을 특징으로 하는 이미지간 변환방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210110294A KR102507654B1 (ko) | 2021-08-20 | 2021-08-20 | 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210110294A KR102507654B1 (ko) | 2021-08-20 | 2021-08-20 | 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230027951A KR20230027951A (ko) | 2023-02-28 |
| KR102507654B1 true KR102507654B1 (ko) | 2023-03-08 |
Family
ID=85326472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210110294A KR102507654B1 (ko) | 2021-08-20 | 2021-08-20 | 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102507654B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021093161A (ja) * | 2019-12-10 | 2021-06-17 | 株式会社リコー | 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102359474B1 (ko) | 2019-03-25 | 2022-02-08 | 한국과학기술원 | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 |
| KR102192211B1 (ko) | 2020-06-23 | 2020-12-16 | 인하대학교 산학협력단 | 이미지 변환을 위한 깊이별 분리가능한 컨볼루션과 채널 어텐션을 이용한 효율적인 적대적 생성 신경망 |
-
2021
- 2021-08-20 KR KR1020210110294A patent/KR102507654B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021093161A (ja) * | 2019-12-10 | 2021-06-17 | 株式会社リコー | 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム |
Non-Patent Citations (2)
| Title |
|---|
| Hao Tang et al., "Dual Generator Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", arXiv:1901.04604v1, (2019.01.14.)* |
| Yunjey Choi et al., "StarGAN v2: Diverse Image Synthesis for Multiple Domains", arXiv:1912.01865v2, (2020.04.26.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230027951A (ko) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102403494B1 (ko) | 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법 | |
| Muhammad et al. | Emotion recognition for cognitive edge computing using deep learning | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| KR20200078214A (ko) | 스타일 변환을 위한 영상 처리 장치 및 방법 | |
| WO2021077140A2 (en) | Systems and methods for prior knowledge transfer for image inpainting | |
| Lin et al. | A unified framework for integrating semantic communication and ai-generated content in metaverse | |
| Liang et al. | Generative AI-driven semantic communication networks: Architecture, technologies and applications | |
| CN108766420A (zh) | 语音交互设备唤醒词生成方法及装置 | |
| CN113191479A (zh) | 联合学习的方法、系统、节点及存储介质 | |
| CN113223121A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| CN117313837A (zh) | 一种基于联邦学习的大模型提示学习方法以及装置 | |
| CN114610677B (zh) | 一种转换模型的确定方法和相关装置 | |
| KR102507654B1 (ko) | 적대적 생성 신경망을 이용한 영상처리 시스템 및 이를 이용한 이미지간 변환방법 | |
| KR20220102905A (ko) | 얼굴 영상을 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| Alsamhi et al. | SemCom for metaverse: Challenges, opportunities and future trends | |
| US11900519B2 (en) | Disentangling latent representations for image reenactment | |
| KR20200080408A (ko) | 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 빠른 이미지 생성 방법 | |
| KR20230086988A (ko) | 타깃 콘텐츠 변환 프로그램이 저장된 기록매체 | |
| Fan et al. | Facial expression animation through action units transfer in latent space | |
| CN112906561A (zh) | 用于获取动作识别模型的方法、装置及设备 | |
| Bi et al. | Improvement and application of generative adversarial networks algorithm based on transfer learning | |
| CN116578674B (zh) | 联邦变分自编码主题模型训练方法、主题预测方法及装置 | |
| Mayumu | A survey of Deep learning at the Edge computing | |
| KR102601159B1 (ko) | 버추얼 휴먼 인터렉션 생성 장치 및 그에 대한 방법 | |
| US20230096129A1 (en) | Hologram communication continuity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |