KR102253627B1 - 멀티스케일 이미지 생성 - Google Patents

멀티스케일 이미지 생성 Download PDF

Info

Publication number
KR102253627B1
KR102253627B1 KR1020197020922A KR20197020922A KR102253627B1 KR 102253627 B1 KR102253627 B1 KR 102253627B1 KR 1020197020922 A KR1020197020922 A KR 1020197020922A KR 20197020922 A KR20197020922 A KR 20197020922A KR 102253627 B1 KR102253627 B1 KR 102253627B1
Authority
KR
South Korea
Prior art keywords
output image
version
pixels
color
image
Prior art date
Application number
KR1020197020922A
Other languages
English (en)
Other versions
KR20190097205A (ko
Inventor
날 에머리치 칼치브렌너
다니엘 벨로브
콜메나레조 세르지오 고메즈
덴 오드 아론 제라드 안토니우스 밴
지유 왕
데 프리타스 조아오 페르디난도 고메스
스콧 엘리슨 리드
Original Assignee
딥마인드 테크놀로지스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 딥마인드 테크놀로지스 리미티드 filed Critical 딥마인드 테크놀로지스 리미티드
Publication of KR20190097205A publication Critical patent/KR20190097205A/ko
Application granted granted Critical
Publication of KR102253627B1 publication Critical patent/KR102253627B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본원은, N 픽셀들 × N 픽셀들의 출력 해상도를 갖는 출력 이미지를 생성하는 방법을 개시하며, 출력 이미지의 각 픽셀은 복수의 컬러 채널들 각각에 대한 각각의 컬러 값을 가지며, 상기 방법은, 상기 출력 이미지의 저해상도 버전을 획득하는 단계; 그리고 현재 K × K 해상도를 갖는 출력 이미지의 현재 버전을 획득하는 단계; 동작들을 반복 수행함으로써 출력 해상도를 갖는 출력 이미지를 생성하도록 상기 출력 이미지의 저해상도 버전을 업스케일링하는 단계를 포함하며, 상기 동작들은, 현재 K × K 해상도를 갖는 상기 출력 이미지의 현재 버전을 획득하는 동작; 그리고 2K x 2K 해상도를 갖는 출력 이미지의 업데이트된 버전을 생성하도록 상기 현재 해상도에 특정한 컨벌루션 신경망들의 세트를 사용하여 상기 출력 이미지의 상기 현재 버전을 프로세싱하는 동작을 포함한다.

Description

멀티스케일 이미지 생성
본 명세서는 신경망을 이용하여 이미지를 생성하는 것에 관한 것이다.
신경망은 수신된 입력 대한 출력을 예측하기 위해 하나 이상의 비선형 유닛 계층을 사용하는 기계 학습 모델이다. 일부 신경망은 출력층 외에도 하나 이상의 은닉층을 포함한다. 각각의 은닉층의 출력은 네트워크의 다음 계층, 즉 다음 은닉층 또는 출력층에 대한 입력으로 사용된다. 네트워크의 각 계층은 각각의 파라미터 세트의 현재 값에 따라 수신된 입력으로부터 출력을 생성한다.
본 명세서는 멀티 세트의 컨벌루션 신경망을 사용하여 출력 이미지를 생성하는 시스템 및 방법을 기술한다.
일반적으로, 본 명세서에 기술된 요지의 하나의 혁신적인 양태는 N 픽셀 × N 픽셀의 출력 해상도를 갖는 출력 이미지를 생성하는 컴퓨터로 구현되는 방법으로 구현될 수 있으며, 여기서 출력 이미지의 각 픽셀은 복수의 컬러 채널들 각각에 대한 컬러 값을 갖는다. 상기 방법은, 출력 이미지의 저해상도 버전을 획득하는 단계; 그리고 출력 이미지의 저해상도 버전을 업스케일링하여 동작들을 반복 수행함으로써 출력 해상도를 갖는 출력 이미지를 생성하는 단계를 포함하며, 상기 동작들은, 현재 K × K 해상도를 갖는 출력 이미지의 현재 버전을 획득하는 동작; 그리고, 2K x 2K 해상도를 갖는 출력 이미지의 업데이트된 버전을 생성하기 위해 현재 해상도에 특정한 컨벌루션 신경망의 세트를 사용하여 출력 이미지의 현재 버전을 프로세싱(처리)하는 동작을 포함한다.
전술한 실시 예 및 다른 실시 예는 각각 다음의 특징들 중 하나 이상을 단독으로 또는 조합하여 선택적으로 포함할 수 있다.
저해상도 버전을 획득하는 것은, 이미지 생성 기계 학습 모델을 사용하여 저해상도 버전을 생성하는 것을 포함할 수 있다. 이미지 생성 기계 학습 모델은 자기 회귀(autoregressive) 이미지 생성 기계 학습 모델일 수 있다. 출력 이미지는 입력 컨텍스트에 따라 컨디셔닝(conditioned)될 수 있고, 이미지 생성 기계 학습 모델은 입력 컨텍스트에 컨디셔닝된 저해상도 버전을 생성하도록 구성된다. 각 컨벌루션 신경망 세트의 각 컨벌루션 신경망은 입력 컨텍스트에 따라 컨디셔닝될 수 있다.
현재 해상도에 특정한 컨벌루션 신경망들의 세트는 해상도를 4배로 하는 데 사용되는 2개 이상의 컨벌루션 신경망(CNN; convolutional neural network)들을 포함하는 CNN들의 세트를 포함할 수 있다. 현재 해상도에 특정한 컨벌루션 신경망의 세트는, 상기 이미지의 현재 버전을 포함하는 제1 입력을 수신하고, 상기 출력 이미지의 K × 2K 버전으로부터의 픽셀들의 열들(columns)을 포함하는 제1 출력 이미지를 생성하도록 구성된 제1 컨벌루션 신경망; 그리고 상기 출력 이미지의 상기 K × 2K 버전을 포함하는 제2 입력을 수신하고, 상기 출력 이미지의 상기 2K × 2K 버전으로부터의 픽셀들의 행들(rows)을 포함하는 제2 출력 이미지를 생성하도록 구성된 제2 컨벌루션 신경망을 포함한다.
업데이트된 버전을 생성하기 위해 현재 해상도에 특정한 컨벌루션 신경망의 세트를 사용하여 출력 이미지의 현재 버전을 처리하는 것은, 상기 제1 출력 이미지를 생성하기 위해 상기 제1 컨벌루션 신경망을 사용하여 상기 현재 버전을 처리하는 것; 상기 현재 버전과 상기 제1 출력 이미지를 병합(merging)하여 K × 2K 버전을 생성하는 것; 상기 제2 컨벌루션 신경망을 이용하여 상기 K × 2K 버전을 처리하여 상기 제 2 출력 이미지를 생성하는 것; 그리고 K x 2K 버전과 제2 출력 이미지를 병합하여 2K x 2K 버전을 생성하는 것을 포함할 수 있다.
현재 버전과 제1 출력 이미지를 병합하는 것은 상기 제1 출력 이미지로부터의 픽셀 열과 상기 현재 버전으로부터의 픽셀 열을 교번(alternating)시킴으로써, 상기 현재 이미지로부터의 K 열의 픽셀 및 상기 제1 출력 이미지로부터의 K 열의 픽셀을 포함하는 K × 2K 이미지를 생성하는 것을 포함할 수 있다.
K x 2K 버전과 제2 출력 이미지를 병합하는 것은 K × 2K 버전의 픽셀 행을 제1 출력 이미지의 픽셀 행과 교번시킴으로써 상기 K × 2K 버전으로부터의 K 행의 픽셀 및 상기 제2 출력 이미지로부터의 K 행의 픽셀을 포함하는 2K × 2K 이미지를 생성하는 것을 포함할 수 있다.
상기 복수의 컬러 채널들은 채널 순서에 따라 순서화되며, 상기 제1 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (ⅰ) 상기 현재 버전, (ⅱ) 채널 순서의 상기 컬러 채널 이전의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값, (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값이 아닌 경우에 대해, 컨디셔닝된 상기 제1 출력 이미지 내의 픽셀에 대한 컬러 채널에 대한 컬러 값을 생성하도록 구성된다. 제2 컨벌루션 신경망은, 각 컬러 채널에 대해, (i) K × 2K 버전, (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀에 대한 컬러 값, (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀에 대한 컬러 값이 아닌 경우에 대해, 컨디셔닝된 제2 출력 이미지 내의 픽셀에 대한 컬러 채널에 대한 컬러 값을 생성하도록 구성된다.
제1 출력 이미지를 생성하기 위해 제1 컨벌루션 신경망을 사용하여 현재 버전을 프로세싱(처리)하는 것은 이미 생성된 상기 제1 출력 이미지로부터 컬러 값 및 현재 버전을 반복적으로 처리하여 상기 제1 출력 이미지를 생성하는 것을 포함할 수 있다. 제2 출력 이미지를 생성하기 위해 제1 컨벌루션 신경망을 사용하여 K × 2K 버전을 프로세싱하는 것은, 제2 출력 이미지를 생성하기 위해 이미 생성된 제2 출력 이미지로부터의 컬러 값 및 K × 2K 버전을 반복적으로 프로세싱하는 하는 것을 포함할 수 있다.
현재 해상도에 특정한 컨벌루션 신경망들의 세트는, 상기 이미지의 현재 버전을 포함하는 제1 입력을 수신하고, 상기 출력 이미지의 2K × K 버전으로부터의 픽셀들의 행들을 포함하는 제1 출력 이미지를 생성하도록 구성된 제1 컨벌루션 신경망; 그리고 상기 출력 이미지의 2K × 2 버전을 포함하는 제2 입력을 수신하고, 상기 출력 이미지의 2K × 2K 버전으로부터 픽셀의 열을 포함하는 제2 출력 이미지를 생성하도록 구성된 제2 컨벌루션 신경망을 포함할 수 있다.
업데이트된 버전을 생성하기 위해 현재 해상도에 특정한 컨벌루션 신경망들의 세트를 사용하여 출력 이미지의 현재 버전을 프로세싱하는 것은, 상기 제1 출력 이미지를 생성하기 위해 상기 제1 컨벌루션 신경망을 사용하여 상기 현재 버전을 프로세싱하는 것; 상기 현재 버전 및 상기 제1 출력 이미지를 병합하여 2K × K 버전을 생성하는 것; 상기 제2 컨벌루션 신경망을 사용하여 상기 2K × K 버전을 프로세싱하여 상기 제2 출력 이미지를 생성하는 것; 그리고 2K x K 버전과 제2 출력 이미지를 병합하여 2K x 2K 버전을 생성하는 것을 포함할 수 있다.
상기 현재 버전 및 상기 제1 출력 이미지를 병합하는 것은, 현재 버전의 픽셀 행을 제1 출력 이미지의 픽셀 행과 교변시킴으로써 상기 현재 이미지로부터의 K 행의 픽셀 및 상기 제1 출력 이미지로부터의 K 행의 픽셀을 포함하는 2K × K 이미지를 생성하는 것을 포함할 수 있다. 2K × K 버전 및 제2 출력 이미지를 병합하는 것은, 2K × K 버전의 픽셀 열을 제1 출력 이미지의 픽셀 열과 교번시킴으로써 상기 제2 출력 이미지로부터의 K 열의 픽셀과 2K × K 버전으로부터의 K 열의 픽셀을 포함하는 2K × 2K 이미지를 생성하는 것을 포함할 수 있다.
복수의 컬러 채널은 채널 순서에 따라 순서화될 수 있다. 상기 제1 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (ⅰ) 상기 현재 버전, (ⅱ) 채널 순서의 상기 컬러 채널 이전의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값, (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값이 아닌 경우에 대해, 컨디셔닝된 상기 제1 출력 이미지 내의 픽셀에 대한 컬러 채널에 대한 컬러 값을 생성하도록 구성된다. 제2 컨벌루션 신경망은, 각 컬러 채널에 대해, (i) K × 2K 버전, (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀에 대한 컬러 값, (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀에 대한 컬러 값이 아닌 경우에 대해, 컨디셔닝된 제2 출력 이미지 내의 픽셀에 대한 컬러 채널에 대한 컬러 값을 생성하도록 구성된다.
관련된 양태에서, 출력 이미지의 저해상도 버전으로부터 출력 이미지를 생성하는 방법은, 상기 이미지의 상기 저해상도 버전으로부터 상기 출력 이미지에 대한 픽셀들의 제1 그룹을 결정하는 단계; 상기 출력 이미지에 대한 픽셀들의 각각의 후속 그룹에 대한 일련의 값들(succession of values)을 반복적으로 생성하는 단계 -각각의 픽셀 그룹에 대한 값은 상기 픽셀 그룹에 대해 이전에 생성된 값에 따라 컨디셔닝됨 -; 그리고 각 픽셀 그룹 내에서 병렬로 상기 그룹 내의 픽셀들의 값들을 결정하는 단계를 포함한다. 픽셀들의 그룹들 내의 픽셀들의 값들은 출력 이미지를 정의한다.
일부 구현예에서, 픽셀은 공간적 지역성(spatial locality)을 이용하도록 그룹화된다. 따라서, 픽셀들의 그룹들은 출력 이미지의 2개의 인접한 픽셀이 동일한 그룹에 있지 않도록 배열될 수 있다. 일부 구현 예에서, 픽셀 그룹들에 대한 값들은 원하는 출력 이미지를 정의할 수 있는 컨텍스트 정보를 제공하는 벡터와 같은 외부 입력에 대해 추가로 컨디셔닝되어 반복적으로 생성될 수 있다.
본 명세서에 기술된 요지는 다음의 장점들 중 하나 이상을 실현하기 위해 특정 실시 예에서 구현될 수 있다. 기존 이미지 생성 모델에 의존하는 일부 공간 종속성(spatial dependencies)을 제거함으로써, 여기에 설명된 자기 회귀 이미지 생성 기계 학습 모델을 사용하여 출력 이미지를 생성하는 데 필요한 프로세싱 시간을 출력 이미지의 품질을 거의 또는 전혀 저하시키지 않고 크게 줄일 수 있다. 또한, 시스템에 의해 사용된 컨벌루션 신경망의 프로세싱이 학습 동안 병렬화될 수 있기 때문에, 네트워크는 여전히 리소스 및 시간 효율적인 방식으로 학습될 수 있다. 또한, 본 명세서에서 기술된 자기 회귀 이미지 생성 기계 학습 모델은 적절한 밀도 모델, 즉 이미지가 원칙적으로 모델로부터 생성될 수 있다. 따라서, 여기에 설명된 자기 회귀 모델을 구현하는 시스템은 모델에서 실제 이미지의 확률을 계산하고, 모델을 평가하고, 모델을 다른 기존 이미지 생성 모델과 정량적으로 비교할 수 있다.
본 명세서의 요지의 하나 이상의 실시 예의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 여지의 다른 특징, 양태 및 장점은 상세한 설명, 도면 및 청구 범위로부터 명백해질 것이다.
도 1은 이미지 생성 시스템의 일례의 블록도이다.
도 2는 예시적인 픽셀 그룹화 및 순서화 규칙의 블록도이다.
도 3은 출력 이미지의 업데이트된 버전을 생성하기 위해 출력 이미지의 현재 버전을 프로세싱하기 위한 예시적인 프로세스의 블록도이다.
도 4는 출력 이미지의 업데이트된 버전을 생성하기 위해 출력 이미지의 현재 버전을 프로세싱하기 위한 예시적인 프로세스의 흐름도이다.
다양한 도면에서 동일한 참조 번호 및 명칭은 동일한 요소를 나타낸다.
도 1은 이미지 생성 시스템(100)의 예를 도시한다. 시스템(100)은 하나 이상의 위치에서 하나 이상의 컴퓨터상의 컴퓨터 프로그램으로서 구현되는 시스템의 예로서, 이하에서 설명되는 시스템, 컴포넌트 및 기술이 구현될 수 있다. 일반적으로, 시스템(100)은 자기 회귀 이미지 생성 기계 학습 모델(102)(이하, "자기 회귀 모델(102)"이라고 함)을 사용하여 출력 이미지(110)를 생성하도록 구성된다. 자기 회귀 모델(102)은 멀티 세트의 컨벌루션 신경망(convolutional neural network; CNN)(104)를 포함한다.
특히, 출력 이미지(110)를 생성하기 위해, 자기 회귀 모델(102)은 먼저 출력 이미지(110)의 초기 저해상도 이미지(108)를 생성한다. 일부 구현 예에서, 자기 회귀 모델(102)은 저해상도 이미지 세트로부터 초기 저해상도 이미지(108)를 무작위로(램덤으로) 샘플링할 수 있다.
일부 다른 구현 예에서, 자동 회귀 모델(102)은 입력 컨텍스트(106)에 컨디셔닝된 초기 저해상도 이미지(108)를 생성한다. 초기 저해상도 이미지(108)를 생성하는 것은 종래의 자기 회귀 모델, 예를 들어, 고화질 이미지를 생성하지만 연산 집약적인 모델을 사용하여 수행될 수 있다. 종래의 자기 회귀 모델의 예가 "Van den Oord 외, https://arxiv.org/abs/1606.05328"에 게시된 "Conditional Image Generation with PixelCNN Decoders"에 설명되어 있다.
일반적으로, 입력 컨텍스트(106)는 출력 이미지의 픽셀의 컬러 값에 영향을 미치는 외부 정보의 표현, 즉 텐서, 예를 들어 벡터, 매트릭스 또는 고차 텐서(higher-order tensor)이다. 경우에 따라 외부 정보는 텍스트 설명(description)이 될 수 있다. 텍스트 설명은 예를 들어 "밝은 녹색 머리, 노란색 부리 및 주황색 발이 있는 커다란 갈색 새"와 같이 출력 이미지의 객체를 설명하는 캡션(caption)일 수 있다. 일부 경우에는 외부 정보가 이미지 세그멘테이션이 될 수 있다. 이미지 세그멘테이션은 출력 이미지에서 가장 큰 객체로 마스킹된 이미지를 포함할 수 있으며, 즉, 출력 이미지의 전경 픽셀만이 포함될 수 있다. 일부 경우, 외부 정보는 출력 이미지에서 하나 이상의 객체의 위치 또는 모양을 특정하는 키포인트를 포함할 수 있다. 일부 다른 경우들에서, 외부 정보는 하나 이상의 이전 비디오 프레임들을 포함할 수 있다. 이러한 경우에, 시스템(100)은 이미지 디코딩 장치, 예컨대 모바일 장치(디바이스) 또는 다른 종류의 사용자 컴퓨터상에 구현될 수 있고, 수신된 인코딩된 이미지 또는 수신된 인코딩된 비디오 프레임을 디코딩하는데 사용된다.
일부 구현 예에서, 저해상도(108)를 생성하는 대신에, 자기 회귀 모델(102)은 예를 들어 다른 시스템으로부터 입력으로서 저해상도 버전(108)을 획득할 수 있다.
출력 이미지(110)의 저해상도 이미지(108)를 생성 또는 획득한 후, 자기 회귀 모델(102)은 CNN(104)의 세트를 사용하여 저해상도 버전(108)을 업스케일링하여 최종 원하는 출력 해상도(예를 들어, N 픽셀 × N 픽셀)를 갖는 출력 이미지(110)를 생성한다. 예를 들어, 일부 구현 예에서, 초기 저해상도 이미지(108)는 4 픽셀 x 4 픽셀의 해상도를 가지며, 출력 이미지(110)는 128 픽셀 x 128 픽셀의 해상도를 갖는다. 일반적으로, 자기 회귀 모델(102)은 "고 정밀도 픽셀 정렬(coarse-to-fine ordering of pixels)" 원리에 따라 고해상도 이미지를 생성함으로써 저해상도 이미지(108)를 업스케일링한다. 즉, 모델(102)은 이전 해상도에서 컨디셔닝되어 생성된 고해상도 이미지를 연속적으로 생성한다는 것을 의미한다.
본 명세서에 기술된 바와 같이 연속적으로 고해상도 이미지를 생성하는 자기 회귀 모델(102)은 기존의 이미지 생성 모델에 비해 여러 기술적 장점을 갖는다.
이전의 일부 자기 회귀 이미지 생성 모델은 픽셀 단위로 이미지의 공동 분포(joint distribution)를 분해(factorize)한다. 특히, 이러한 모델은 조건부 분포의 수학식 1로 이미지에 대한 T 픽셀의 공동 분포를 계산하며, 여기서 xt는 단일 픽셀이다.
Figure 112019073357627-pct00001
이들 모델은 조건부 분포의 인과적 구조 때문에 래스터 순서(즉, 행마다 및 모든 행 내의 픽셀 단위로)로 픽셀 단위로 순차적으로 추론해야 한다. 이는 픽셀 당 전체 네트워크 평가를 필요로 하는데, 이는 비용이 많이 들며, 많은 양의 전체 네트워크 평가가 요구되기 때문에 전체 이미지를 생성하기 위해 많은 양의 계산 리소스를 필요로 한다.
대조적으로, 본 명세서에서 설명된 자기 회귀 모델(102)은 이미지의 공동 분포를 픽셀 그룹 요소로 분해(factorizing)함으로써 계산 비용을 줄이고 학습(훈련) 및 추론을 가속화한다. 이 방법은, 픽셀 단위 요소를 병합하는 방법으로 볼 수 있으므로, 기존 자기 회귀 이미지 생성 모델에 의존하는 일부 공간 종속성을 줄이고 병렬 샘플링을 허용한다. 결과적으로, 출력 이미지의 품질을 거의 또는 전혀 저하시키지 않으면서 출력 이미지를 생성하는 데 필요한 프로세싱 시간을 크게 줄일 수 있다. 예를 들어, 자기 회귀 모델(102)은 종래의 자기 회귀 모델에서와 같이 O(N) 대신 O(log N) 시간에서 N-픽셀 이미지를 프로세싱하도록 허용할 수 있다.
특히, (다른 곳에서 언급된 N2보다는) 이미지의 N 픽셀이 각각 T 픽셀의 G 그룹들로 분할된다고 가정하면, 자기 회귀 모델(102)은 해당하는 G 인자의 곱(수학식 2)으로서 이미지에 걸친 T 픽셀의 공동 분포를 계산한다.
Figure 112019073357627-pct00002
수학식 2는 각 그룹이 T 픽셀을 포함한다고 가정하지만, 실제 수치는 다를 수 있다.
학습(훈련) 도중, 시스템(100)은
Figure 112019073357627-pct00003
를 최대화하기 위해 자기 회귀 모델(102)의 파라미터 θ의 값들을 조정함으로써 학습 데이터세트 상에서 자기 회귀 모델(102)을 훈련시킨다. 공동 분포가 픽셀 그룹 및 스케일을 인수 분해(factorize)하기 때문에, 학습은 효과적으로 병렬화될 수 있으며, 즉, 자기 회귀 모델(102)에서 컨벌루션 신경망의 프로세싱은 학습 동안 병렬화될 수 있다. 따라서, 모델(102)에서의 컨벌루션 신경망은 리소스 및 시간 효율적인 방식으로 학습될 수 있다.
일단 학습되면, 자기 회귀 모델(102)은 예를 들어 반복적으로 다음 동작들을 수행함으로써 저해상도 이미지(108)를 업스케일링하며, 상기 동작들은 현재의 K × K 해상도, 즉 이전 반복으로부터의 이미지의 버전을 갖는 출력 이미지의 현재 버전을 힉득하는 동작, 그리고 2K x 2K 해상도를 갖는 출력 이미지의 업데이트된 버전을 생성하기 위해 현재 해상도에 특정한(specific) CNN 세트 및 미리 정의된 그룹화 및 순서화 규칙을 사용하여 출력 이미지의 현재 버전을 프로세싱하는 동작을 포함한다. 상기 동작들은 바람직한 해상도(예를 들어, N × N)가 획득될 때까지 반복적으로 수행된다.
미리정의된 그룹화 및 순서화 규칙은 각 해상도에서 공간적 지역성을 이용하기 위해 미리 결정된 방식(즉, 이미지의 두 인접 픽셀이 동일한 그룹에 있지 않는 방식)으로 픽셀을 그룹화하는 방법을 특정한다. 도 2는 이미지가 그룹 들간의 자기 회귀 구조를 갖는 분리된 픽셀 그룹으로 분할되는 예시적인 그룹화 및 순서화 규칙을 도시하며, 즉 각 픽셀 그룹은 이전에 생성된 픽셀 그룹에 컨디셔닝되어 연속적으로 생성될 수 있다.
소정의 K x K 해상도에서 2K x 2K 해상도로 이미지를 업스케일링하기 위해, 자기 회귀 모델(102)은 CNN들의 세트 내의 제1 CNN 및 소정의 해상도에 특정한 픽셀 그룹들의 세트를 사용하여 소정의 해상도를 갖는 현재 버전을 프로세싱한다. 픽셀 그룹들의 세트는 미리 정의된 그룹화 및 순서화 규칙에 따라 형성된다. 제1 CNN은 현재 이미지에 포함된 이전 픽셀 그룹에 기초하여 새로운 픽셀 그룹에 대응하는 제1 출력 이미지를 생성하도록 구성된다. 그 다음, 자기 회귀 모델(102)은 미리 정의된 그룹화 및 순서화 규칙에 따라 현재 버전 및 제1 출력 이미지를 병합함으로써 중간 버전 (예를 들어, 출력 이미지의 K × 2K 버전 또는 2K × K 버전)을 생성한다. 자기 회귀 모델(102)은 CNN 세트 내의 제2 CNN을 사용하여 상기 중간 버전을 프로세싱하여 유사한 방식으로 제2 출력 이미지를 생성한다. 자기 회귀 모델(102)은 미리 정의된 그룹화 및 순서화 규칙에 따라 중간 버전 및 제2 출력 이미지를 병합함으로써 2K × 2K 버전을 생성한다.
일부 구현 예에서, CNN들에 의해 생성된 고해상도 이미지(예를 들어, 각 반복에서의 제1 출력 이미지 및 제2 출력 이미지)의 각 픽셀은 복수의(다수의) 컬러 채널들의 세트 내의 각 채널에 대한 각각의 컬러 값을 갖는다. 예를 들어, 컬러 채널 세트는 {빨강, 녹색, 파랑} 또는 {시안(cyan) 색, 자홍색, 노란색, 검은색}을 포함할 수 있다. 상기 세트의 컬러 채널은 채널 순서(예: RGB 순서 또는 CMYK 순서)에 따라 정렬(순서화)된다. 제1 및 제2 컨벌루션 네트워크는 제1 출력 이미지 및 제2 출력 이미지를 생성할 때 채널 순서를 고려한다. 제1 출력 이미지 및 제2 출력 이미지의 픽셀에 대한 컬러 채널들에 대한 컬러 값들을 생성하는 프로세스는도 4를 참조하여 이하에서보다 상세히 설명된다.
일부 구현 예에서, 자기 회귀 모델(102)에 의해 생성된 초기 저해상도 이미지(108)가 입력 컨텍스트(106)에 대해 컨디셔닝될 때, 고해상도 이미지를 생성하는 데 사용된 CNN의 각 세트는 입력 컨텍스트(106)에 대해 컨디셔닝된다.
출력 이미지의 업데이트된 버전을 생성하기 위해 출력 이미지의 현재 버전을 프로세싱하는 프로세스는 도 3을 참조하여 이하에서보다 상세히 설명된다.
예시적인 예로서, 초기 저해상도가 4x4이고 최종 원하는 출력 해상도가 128 x 128일 때, 모델(102)은 4 x 4 이미지로부터 8 x 8 이미지를 생성하기 위해 CNN들의 하나의 세트를 사용하고, 8 x 8 이미지로부터 16 x 16 이미지를 생성하기 위해 CNN들의 다른 세트를 사용하고, 16 x 16 이미지로부터 32 x 32 이미지를 생성하기 위해 CNN들의 또 다른 세트를 사용하고, 32 x 32 이미지에서 64 x 64 이미지를 생성하기 위해 CNN들의 또 다른 세트를 사용하고, 64 x 64 이미지에서 최종 128 x 128 이미지를 생성하기 위해 CNN들의 또 다른 세트를 사용한다.
도 2는 이미지(200)에 대한 예시적인 픽셀 그룹화 및 순서화 규칙을 도시하는 블록도이다.
일반적으로, 이미지(200)의 픽셀들은 이미지(200)의 인접한 2개의 픽셀이 동일한 그룹 내에 있지 않도록 그룹화되어, 인접한 픽셀들이 병렬로 생성될 수 있게 하여, 학습 및 추론 동안 고해상도 이미지의 생성을 크게 가속화할 수 있다.
이 예에서, 이미지(200)는 4 픽셀 × 4 픽셀의 해상도를 갖는다. 이미지(200)는 다음 규칙을 사용하여 분리된(disjoint) 픽셀 그룹으로 분할될 수 있다. 그룹을 생성하기 위해, 이미지(200)는 2×2 블록으로 타일링(tiled)된다. 이들 2×2 블록의 코너는 소정의 스케일, 즉, 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단에서 4개의 픽셀 그룹을 형성한다. 특히, 좌측 상단 코너 픽셀은 그룹 1 픽셀(202)을 형성한다. 우측 상단 코너 픽셀은 그룹 2 픽셀(204)을 형성한다. 좌측 하단 코너 픽셀은 그룹 3 픽셀(206)을 형성한다. 우측 하단 코너 픽셀은 그룹 4 픽셀(208)을 형성한다. 픽셀의 각 그룹은 수학식 2의 공동 분포의 한 인자에 해당한다.
소정의 그룹 내의 픽셀은 하나 이상의 선행 그룹의 픽셀에 의존한다. 명확성을 위해, 도 2는 화살표를 사용하여 바로 인접한 의존성을 나타내지만, 선행 그룹의 모든 픽셀은 소정의 그룹의 모든 픽셀을 예측(즉, 생성)하는데 사용될 수 있다. 예를 들어, 그룹 2의 모든 픽셀을 사용하여 그룹 4의 픽셀을 예측할 수 있다. 일부 구현 예에서, 그룹 1의 픽셀은 저해상도 이미지로부터 발생(originate)할 수 있다. 일부 구현 예에서, 그룹 1의 픽셀은 비디오의 이전 프레임이 주어지면 생성될 수 있다.
이미지(200)의 2개의 인접한 픽셀이 동일한 그룹에 존재하는 것은 아니지만, 각 블록 내 및 블록 전반에 걸친 일부 픽셀 쌍은 여전히 의존적일 수 있다. 이러한 추가 의존성(종속성)을 통해 로컬 텍스처를 캡처하고 경계 아티팩트(border artifacts)를 회피할 수 있다.
도 3은 출력 이미지(2K × 2K)의 업데이트된 버전을 생성하기 위해 출력 이미지(K × K)의 현재 버전을 프로세싱하기 위한 예시적인 프로세스의 블록도이다. 편의상, 프로세스(300)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 이미지 생성 시스템, 예를 들어, 본 명세서에 따라 적절히 프로그램된 도 1의 이미지 생성 시스템(100)은 프로세스(300)를 수행할 수 있다.
시스템은 출력 이미지의 현재 버전(306)을 획득한다. 현재 버전(306)은 현재 K × K 해상도를 갖는다. 일부 경우, 현재 버전(306)은 시스템이 자기 회귀 이미지 생성 기계 학습 모델을 사용하여 생성하는 출력 이미지의 초기 저해상도 이미지(예를 들어, 도 1의 초기 저해상도 이미지(108))일 수 있다. 일부 다른 경우들에서, 출력 이미지의 현재 버전(306)은 프로세스(300)의 이전 반복 동안 생성된 이미지 일 수 있다.
시스템은 제1 CNN(302)을 사용하여 현재 버전(306)을 프로세싱하여 제1 출력 이미지(308)를 생성한다. 제1 CNN(302)은 출력 이미지의 현재 버전(306)을 수신하고 현재 버전(306)에 컨디셔닝된 제1 출력 이미지(308)를 생성하도록 구성된다. 제1 출력 이미지(308)는 현재 버전보다 높은 해상도를 갖는 출력 이미지의 후속 버전을 생성하기 위해 시스템에 의해 사용되는 픽셀 열 또는 픽셀 행열을 포함한다.
일부 구현 예에서, 제1 CNN(302)은 현재 버전(306)으로부터 제1 출력 이미지(308)를 직접 생성하도록 구성된다. 이러한 구현예에서, 제1 CNN(302)은 하나 이상의 리지듀얼(residual) 신경망 계층들을 포함할 수 있다.
일부 다른 구현에서, 제1 CNN(302)은 하나 이상의 리지듀얼 신경망 계층 및 하나 이상의 컨벌루션 신경망 계층을 포함할 수 있다. 하나 이상의 리지듀얼 신경망 계층은 특징 맵을 형성하기 위해 현재 버전의 특징을 추출하고, 구현시에 중첩되지 않는 공간적으로 인접한 특징 블록들(318)로 특징 맵을 분할한다. 그 다음, 하나 이상의 컨벌루션 신경망 계층은 (즉, 특징 블록(318) 각각에 대한 각각의 픽셀 값 및/또는 컬러 값을 생성함으로써) 이들 블록들을 병렬로 제공하여 제1 출력 이미지(308)를 형성한다. 이러한 블록들을 제공하는데 사용될 수 있는 예시적인 CNN은 특징 맵 블록들이 공급될 수 있는 샬로우 픽셀CNN(shallow PixelCNN)이다. 상기 샬로우 픽셀CNN은 더 적은 수의 계층 (예를 들어, 5 개미만)을 갖는 표준 픽셀CNN이며, 이는 더 심층한 신경망에 비해 더 빠른 샘플링을 초래할 수 있다.
예시적인 예로서, 현재 버전(306)은 도 2에서 그룹 1 픽셀을 형성한 4개의 좌측 상단 코너 픽셀을 포함할 수 있다. 제1 CNN(302)은 그룹 2 픽셀, 즉 4개의 우측 상단 코너 픽셀을 포함하는 제1 출력 이미지(310)를 생성하기 위해 그룹 1 픽셀을 사용할 수 있다. 제1 CNN(302)은 하나 이상의 리지듀얼 신경망 계층을 포함할 수 있다.
시스템은 제1 출력 이미지(308)를 픽셀들의 K 열(K개의 열)(310)로 분할(split)한다. 그 다음, 시스템은 현재 버전(306)의 K 열을 제1 출력 이미지(308)로부터 K 열의 픽셀(310)과 교번하여 K × 2K 버전(312)을 생성한다.
시스템은 제2 컨벌루션 신경망(304)을 사용하여 K × 2K 버전(312)을 프로세싱하여 제2 출력 이미지(314)를 생성한다. 제2 CNN(304)은 K × 2K 버전(312)을 수신하고, 출력 이미지의 2K × 2K 버전을 생성하는데 사용되는 픽셀의 행을 포함하는 제2 출력 이미지(314)를 생성하도록 구성된다. 제2 CNN(304)은 하나 이상의 리지듀얼 신경망 계층을 포함할 수 있다.
시스템은 K × 2K 버전(312) 및 제2 출력 이미지(314)를 병합함으로써 업데이트된 출력 이미지(316) (즉, 2K × 2K 버전)를 생성한다. 특히, 시스템은 K × 2K 버전의 픽셀 행을 제2 출력 이미지의 픽셀 행과 교번시킴으로써, K × 2K 버전(312)으로부터의 K 행의 픽셀 및 제2 출력 이미지(314)로부터의 K 행의 픽셀을 포함하는 2K × 2K 이미지(316)를 생성한다.
학습 동안, 시스템은 목적 함수를 최적화하기 위해 CNN의 파라미터들(θ)의 값들을 조정함으로써 CNN의 모든 세트(CNN의 각 세트는 프로세스(300)의 반복을 위해 사용됨)를 학습(훈련)시킨다. 소정의 입력에 대한 출력 이미지의 N 픽셀이 각각 T 픽셀의 G 그룹으로 분할된다고 가정하면, 시스템은
Figure 112019073357627-pct00004
를 최대화하기 위해 CNN을 학습시키고, 여기서
Figure 112019073357627-pct00005
는 파라미터들(θ)의 값들이 주어진 경우 출력 이미지에 걸친 T 픽셀의 공동 분포를 나타낸다. 전술한 바와 같이, 해당 G 인자의 곱으로서 이미지에 대한 T 픽셀의 공동 분포는 수학식 3과 같다.
Figure 112019073357627-pct00006
공동 분포(joint distribution)가 픽셀 그룹과 스케일을 인수분해(factorize)하기 때문에, 그리고 출력 이미지의 픽셀들은 출력 이미지의 2개의 인접한 픽셀들이 동일한 그룹에 있지 않게 (즉, 동일한 그룹의 픽셀들이 서로 독립적인 방식으로) 그룹화될 수 있기 때문에, CNN의 학습을 효과적으로 병렬화할 수 있다. 특히, 학습 시간에, 그룹 내의 모든 픽셀에 대한 손실 및 기울기(gradient)가 병렬로 계산될 수 있다. 그러므로, 컨벌루션 신경망은 리소스 및 시간 효율적인 방식으로 학습(훈련)될 수 있다. 시스템은 확률적 확률적 기울기 강하 또는 기울기 강하 방법과 같은 기존의 학습 기법을 사용하여 CNN을 학습시킬 수 있다.
도 4는 출력 이미지의 업데이트된 버전을 생성하기 위해 출력 이미지의 현재 버전을 프로세싱하기 위한 예시적인 프로세스의 흐름도이다. 편의상, 프로세스(400)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 이미지 생성 시스템, 예를 들어, 본 명세서에 따라 적절하게 프로그램된 도 1의 이미지 생성 시스템(100)은 프로세스(400)를 수행할 수 있다.
상기 시스템은 현재 K × K 해상도를 갖는 출력 이미지의 현재 버전을 획득한다(단계 402).
상기 시스템은 제1 CNN을 사용하여 현재 버전을 프로세싱하여 제1 출력 이미지를 생성한다(단계 404). 제1 CNN은 현재 버전의 픽셀에 대해 컨디셔닝된 제1 출력 이미지를 생성한다. 제1 출력 이미지는 현재 버전보다 높은 해상도를 갖는 출력 이미지의 중간 버전을 생성하는 데 사용되는 픽셀 행 또는 픽셀 열을 포함한다.
일부 경우에, 제1 출력 이미지의 각 픽셀은 컬러 채널 세트, 예를 들어 적색, 녹색 및 청색 채널의 각 컬러 채널에 대한 각각의 컬러 값을 가질 수 있다. 상기 세트의 컬러 채널은 채널 순서(예 : RGB 순서)에 따라 정렬(순서화)된다. 이러한 경우, 제1 CNN은 채널 순서에 의해 정의된 컬러 채널 의존성(예를 들어, 녹색은 적색에 의존하고, 청색은 적색 및 녹색에 의존함)에 기초하여 제1 출력 이미지의 픽셀에 대한 컬러 채널들에 대한 컬러 값들을 생성하도록 구성된다.
구체적으로, 제1 CNN은, 각 컬러 채널에 대해, (i) 현재 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀에 대한 컬러 값들이 아닌 경우에 대해 컨디셔닝된 제1 출력 이미지 내의 픽셀들에 대한 컬러 채널에 대한 컬러 값들을 생성하도록 구성된다. 제1 CNN은 제1 출력 이미지를 생성하기 위해 이미 생성된 제1 출력 이미지로부터의 컬러 값 및 현재 버전을 반복적으로 프로세싱한다. 제1 CNN은 컬러 의존성을 캡처하기 위해 채널별로 마스킹된 컨벌루션을 갖는 CNN이다. 채널 별로 마스킹된 컨벌루션의 수는 컬러 채널 세트의 컬러 채널 수에 의존한다.
예를 들어, 컬러 채널 세트가 3개의 컬러 채널을 갖는 경우, 제1 CNN은 3개의 컬러 채널을 생성하기 위해 3개의 채널별로 마스킹된 컨벌루션을 갖는다. 이 예에서, 제1 CNN은 출력 이미지의 현재 버전을 프로세싱하여 제1 컬러 채널의 값을 생성한 다음, 제1 컬러 채널의 값들과 현재 버전을 프로세싱하여 제2 컬러 채널의 값들을 생성한 다음, 현재 버전 및 제1의 2개의 컬러 채널 값을 프로세싱하여 제3 컬러 채널의 값들을 생성한다.
시스템은 현재 버전과 제1 출력 이미지를 병합함으로써 출력 이미지의 중간 버전을 생성한다(단계 406).
일부 구현 예에서, 출력 이미지의 중간 버전은 출력 이미지의 K × 2K 버전이다. 제1 CNN에 의해 생성된 제1 출력 이미지는 K × 2K 버전을 생성하기 위해 사용된 K 개의 픽셀 열을 포함한다. 상기 시스템은 현재 버전의 K 열 픽셀을 제1 출력 이미지의 K 열 픽셀과 교번시킴으로써 현재 버전의 K 개의 픽셀 열과 제1 출력 이미지의 K개의 픽셀 열을 포함하는 K x 2K 버전을 생성한다.
다른 구현 예에서, 출력 이미지의 중간 버전은 출력 이미지의 2K × K 버전이다. 이러한 구현예에서, 제1 CNN에 의해 생성된 제1 출력 이미지는 2K × K 버전을 생성하기 위해 사용된 K 개의 픽셀 행을 포함한다. 상기 시스템은 현재 버전의 K 행(K 개의 행)의 픽셀을 제1 출력 이미지의 K 행의 픽셀과 교번시킴으로써 현재 버전의 K 행 픽셀과 제1 출력 이미지의 K 행 픽셀을 포함하는 2K x K 버전을 생성한다.
시스템은 제2 CNN을 사용하여 중간 버전을 프로세싱하여 제2 출력 이미지를 생성한다(단계 408).
제2 CNN은 중간 버전에 대해 컨디셔닝된 제2 출력 이미지를 생성한다. 제2 출력 이미지는 출력 이미지의 2K x 2K 버전을 생성하는 데 사용되는 픽셀 행 또는 픽셀 열을 포함한다.
일부 경우에, 제2 출력 이미지의 각 픽셀은 상술한 컬러 채널 세트의 각 컬러 채널에 대한 각각의 컬러 값을 가질 수 있다. 제2 CNN은 각각의 컬러 채널에 대해, (i) 중간 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들에 대한 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들에 대한 컬러 값들이 아닌 경우에 대해 컨디셔닝된 제2 출력 이미지의 픽셀들에 대한 컬러 채널에 대한 컬러 값들을 생성하도록 구성된다. 제2 CNN은 제2 출력 이미지를 생성하기 위해 이미 생성된 제2 출력 이미지로부터의 컬러 값들 및 중간 버전을 반복적으로 프로세싱한다. 제2 CNN은 컬러 의존성을 캡처하기 위해 채널별 마스킹된 컨벌루션을 갖는 CNN이다. 채널별 마스킹된 컨벌루션의 수는 컬러 채널 세트의 컬러 채널 수에 의존한다. 예를 들어, 컬러 채널 세트가 3개의 컬러 채널을 갖는 경우, 제2 CNN은 3개의 컬러 채널을 생성하기 위해 3개의 채널별 마스킹된 컨벌루션을 갖는다.
시스템은 중간 버전 및 제2 출력 이미지를 병합함으로써 2K x 2K 해상도를 갖는 출력 이미지의 업데이트된 버전을 생성한다(단계 410).
특히, 출력 이미지의 중간 버전이 K × 2K 버전인 경우, 시스템은 K x 2K 버전의 픽셀 행을 제2 출력 이미지의 픽셀 행과 교번시킴으로써 2K x 2K 버전을 생성한다.
출력 이미지의 중간 버전이 2K x K 버전인 경우, 상기 시스템은 2K x K 버전의 픽셀 열을 제2 출력 이미지의 픽셀 열과 교번시킴으로써 2K x 2K 버전을 생성한다.
본 명세서는 시스템 및 컴퓨터 프로그램 컴포넌트와 관련하여 "구성된"이라는 용어를 사용한다. 특정 동작이나 액션을 수행하도록 구성된 하나 이상의 컴퓨터 시스템은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 인해 시스템이 동작 또는 액션을 수행하도록 한다. 특정 동작 또는 액션을 수행하도록 구성된 하나 이상의 컴퓨터 프로그램은 하나 이상의 프로그램이 데이터 처리 장치에 의해 실행될 때 그 장치로 하여금 동작 또는 액션을 수행하게 하는 명령어들을 포함함을 의미한다.
본 명세서에서 설명된 요지 및 기능적 동작의 실시 예는 디지털 전자 회로, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어, 컴퓨터 하드웨어로 구현될 수 있으며, 이는 본 명세서에 개시된 구조 및 구조적 등가물 또는 이들 중 하나 이상의 조합을 포함한다. 본 명세서에서 설명된 요지의 실시 예는 하나 이상의 컴퓨터 프로그램, 즉 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위한 유형적인 비 일시적 저장 매체상에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 장치, 기계 판독 가능 저장 기판, 랜덤 또는 시리얼 액세스 메모리 장치, 또는 이들 중 하나 이상의 조합일 수 있다. 선택적으로 또는 부가적으로, 프로그램 명령어는 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 송신을 위해 정보를 인코딩하기 위해 생성되는 인위적으로 생성된 전파된 신호, 예를 들어, 기계-생성 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다.
"데이터 처리 장치"라는 용어는 데이터 처리 하드웨어를 지칭하며, 예를 들어 프로그램 가능 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 종류의 장치, 디바이스 및 기계를 포함한다. 이 장치는 또한 특수 목적 논리 회로, 예를 들어, FPGA (field programmable gate array) 또는 ASIC(application specific integrated circuit)일 수 있거나, 포함할 수 있다. 상기 장치는 하드웨어 외에, 컴퓨터 프로그램, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 하나 이상의 이들의 조합을 구성하는 코드와 같은 실행 환경을 생성하는 코드를 선택적으로 포함할 수 있다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 애플리케이션, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로 지칭되거나 설명될 수 있는 컴퓨터 프로그램은 컴파일된 언어 또는 해석된 언어 또는 선언적 또는 절차적 언어를 포함한 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램 또는 모듈로서, 컴포넌트, 서브 루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 장치를 포함하여 어떤 형태로든 배포될 수 있다. 프로그램은 파일 시스템의 파일에 해당할 수도 있지만 그렇지 않을 수도 있다. 프로그램은 마크 업 언어 문서에 저장된 하나 이상의 스크립트와 같은 다른 프로그램이나 데이터를 보유하고 있는 파일의 일부분, 해당 프로그램 전용의 단일 파일 또는 하나 이상의 모듈, 서브 프로그램 또는 코드의 일부를 저장하는 파일과 같은 다수의 조정된 파일에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트에 있거나 여러 사이트에 분산되어 있으며 데이터 통신 네트워크로 상호 연결된 여러 대의 컴퓨터에서 실행되도록 배포될 수 있다.
본 명세서에서 설명되는 프로세스 및 로직 흐름은 입력 데이터를 조작하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 컴퓨터에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 특수 목적 로직 회로, 예를 들어 FPGA 또는 ASIC에 의해, 또는 특수 목적 로직 회로와 하나 이상의 프로그래밍된 컴퓨터의 조합에 의해 수행될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터는 범용 또는 특수 목적 마이크로프로세서 또는 둘 모두 또는 임의의 다른 종류의 중앙 처리 장치를 기반으로 할 수 있다. 일반적으로, 중앙 처리 장치는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어 및 데이터를 수신할 것이다. 컴퓨터의 필수 구성요소는 명령어를 수행하거나 실행하기 위한 중앙 처리 장치 및 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 중앙 처리 장치 및 메모리는 특수 목적 로직 회로에 의해 보충되거나 또는 그 안에 포함될 수 있다. 일반적으로, 컴퓨터는 데이터(예를 들어, 자기, 광 자기 디스크 또는 광 디스크)를 저장하기 위한 하나 이상의 대용량 저장 장치로부터 데이터를 수신하거나 하나 이상의 대용량 저장 장치에 전송하기 위해 동작 가능하게 결합될 것이다. 그러나, 컴퓨터에는 이러한 장치가 있을 필요가 없다. 또한, 컴퓨터는 이동 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 위성 위치 확인 시스템(GPS) 수신기 또는 휴대용 저장 장치(예를 들어 범용 직렬 버스(USB) 플래시 드라이브)와 같은 다른 장치에 내장될 수 있다.
컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치, 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에서 설명된 요지의 실시 예는 정보를 사용자에게 디스플레이하기 위한 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 장치와, 예를 들어 사용자가 컴퓨터에 입력을 제공할 수 있는 마우스 또는 트랙볼과 같은 포인팅 장치 및 키보드를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 장치가 사용자와의 상호 작용을 제공하는 데 사용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각 피드백일 수 있으며, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자가 사용하는 장치로 문서를 보내고 문서를 수신하여 사용자와 상호 작용할 수 있으며, 예를 들어, 웹 브라우저로부터 수신된 요청에 응답하여 사용자의 장치상의 웹 브라우저에 웹 페이지를 전송함으로써 수행될 수 있다. 또한, 컴퓨터는 문자 메시지 또는 다른 형태의 메시지를 개인용 장치(예를 들어, 메시징 애플리케이션을 실행중인 스마트폰)에 송신하고 사용자로부터 응답 메시지를 수신함으로써 사용자와 상호 작용할 수 있다. 기계 학습 모델을 구현하기 위한 데이터 처리 장치는 또한, 예를 들어, 기계 학습 훈련 또는 생성, 즉 추론, 워크로드의 공통 및 연산 중심 부분을 처리하기 위한 특수 목적 하드웨어 가속기 유닛을 포함할 수 있다.
기계 학습 모델은 텐서플로우(TensorFlow) 프레임워크, "Microsoft Cognitive Toolkit" 프레임워크, "Apache Singa" 프레임워크 또는 "Apache MXNet" 프레임워크와 같은 기계 학습 프레임워크를 사용하여 구현 및 배치할 수 있다.
본 명세서에서 설명된 요지의 실시 예는 예를 들어 데이터 서버와 같은 백 엔드 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 예를 들어 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 예를 들어, 그래픽 사용자 인터페이스, 웹 브라우저 또는 사용자가 본 명세서에 설명된 요지의 구현예와 상호 작용할 수 있는 앱을 갖는 클라이언트 컴퓨터와 같은 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 하나 이상의 그러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망(LAN) 및 광역 통신망(WAN), 예를 들어 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시 예에서, 서버는 예를 들어, 클라이언트로서 동작하는 장치와 상호 작용하는 사용자에게 데이터를 디스플레이하고 사용자로부터 사용자 입력을 수신하기 위해 데이터, 예컨대 HTML 페이지를 사용자 장치로 송신한다. 사용자 장치에서 생성된 데이터, 예를 들어 사용자 상호 작용의 결과는 그 장치로부터 서버에서 수신될 수 있다.
본 명세서는 많은 특정 구현 세부 사항을 포함하지만, 이들은 임의의 발명의 범위 또는 청구 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정 발명의 특정 실시 예에 특정될 수 있는 특징에 대한 설명으로 해석되어야 한다. 별도의 실시 예와 관련하여 본 명세서에서 설명되는 특정 특징은 또한 단일 실시 예에서 조합하여 구현될 수 있다. 반대로, 단일 실시 예의 문맥에서 설명된 다양한 특징은 또한 다수의 실시 예에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징들은 특정 조합으로 작용하고 상술된 바와 같이 초기에 주장될지라도, 어떤 경우에는 청구된 조합으로부터의 하나 이상의 특징이 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형을 지향할 수 있다.
유사하게, 동작들이 도면들에 도시되고 특정 순서로 청구 범위들에 인용되어 있지만, 이는 바람직한 동작을 달성하기 위해 이러한 동작이 도시된 순서 또는 순차적인 순서로 수행되거나 도시된 모든 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 상술한 실시 예에서 다양한 시스템 모듈 및 컴포넌트의 분리는 모든 실시 예에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 서술된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다중 소프트웨어 제품들로 패키징될 수 있다는 것을 이해해야 한다.
본 발명의 특정 실시 예가 설명되었다. 다른 실시 예들은 다음의 청구항들의 범위 내에 있다. 예를 들어, 청구 범위에서 열거된 동작은 상이한 순서로 수행될 수 있으며 여전히 바람직한 결과를 달성한다. 일례로서, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 필요로하지는 않는다. 어떤 경우에는 멀티태스킹 및 병렬 처리가 유리할 수 있다.

Claims (22)

  1. N 픽셀들 × N 픽셀들의 출력 해상도를 갖는 출력 이미지 -상기 출력 이미지의 각 픽셀은 복수의 컬러 채널들 각각에 대한 각각의 컬러 값을 가짐- 를 생성하는 방법으로서, 상기 방법은,
    상기 출력 이미지의 저해상도 버전을 획득하는 단계; 그리고
    동작들을 반복 수행함으로써 출력 해상도를 갖는 출력 이미지를 생성하도록 상기 출력 이미지의 저해상도 버전을 업스케일링하는 단계를 포함하며, 상기 동작들은,
    현재 K × K 해상도를 갖는 상기 출력 이미지의 현재 버전을 획득하는 동작; 그리고
    상기 현재 K × K 해상도에 특정한 컨벌루션 신경망들의 세트를 사용하여 상기 출력 이미지의 현재 버전을 프로세싱함으로써 2K x 2K 해상도를 갖는 출력 이미지의 업데이트된 버전을 생성하는 동작을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  2. 제1항에 있어서, 상기 저해상도 버전을 획득하는 단계는,
    이미지 생성 기계 학습 모델을 사용하여 상기 저해상도 버전을 생성하는 단계를 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  3. 제2항에 있어서, 상기 이미지 생성 기계 학습 모델은 자기회귀(autoregressive) 이미지 생성 기계 학습 모델인 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  4. 제2항에 있어서,
    상기 출력 이미지는 입력 컨텍스트에 대해 컨디셔닝(conditioned)되며,
    상기 이미지 생성 기계 학습 모델은 상기 입력 컨텍스트에 대해 컨디셔닝된 상기 저해상도 버전을 생성하도록 구성되는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  5. 제4항에 있어서,
    컨벌루션 신경망들의 각 세트 내의 각각의 컨벌루션 신경망은 상기 입력 컨텍스트에 대해 컨디셔닝되는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  6. 제1항에 있어서,
    상기 현재 K × K 해상도에 특정한 컨벌루션 신경망들의 세트는,
    이미지의 현재 버전을 포함하는 제1 입력을 수신하고, 상기 출력 이미지의 K × 2K 버전으로부터의 픽셀들의 열들을 포함하는 제1 출력 이미지를 생성하도록 구성된 제1 컨벌루션 신경망, 그리고,
    상기 출력 이미지의 상기 K × 2K 버전을 포함하는 제2 입력을 수신하고, 상기 출력 이미지의 상기 2K × 2K 버전으로부터의 픽셀들의 행들을 포함하는 제2 출력 이미지를 생성하도록 구성된 제2 컨벌루션 신경망을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  7. 제6항에 있어서,
    상기 출력 이미지의 업데이트된 버전을 생성하도록 상기 현재 K × K 해상도에 특정한 컨벌루션 신경망들의 세트를 사용하여 상기 출력 이미지의 상기 현재 버전을 프로세싱하는 동작은,
    상기 제1 출력 이미지를 생성하기 위해 상기 제1 컨벌루션 신경망을 사용하여 상기 출력 이미지의 상기 현재 버전을 프로세싱하는 동작;
    상기 현재 버전과 상기 제1 출력 이미지를 병합함으로써 K × 2K 버전을 생성하는 동작;
    상기 제2 컨벌루션 신경망을 이용하여 상기 K × 2K 버전을 프로세싱하여 상기 제2 출력 이미지를 생성하는 동작; 그리고
    K x 2K 버전과 제2 출력 이미지를 병합함으로써 2K x 2K 버전을 생성하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  8. 제7항에 있어서,
    상기 현재 버전 및 상기 제1 출력 이미지를 병합하는 것은,
    상기 제1 출력 이미지로부터의 픽셀 열들과 상기 현재 버전으로부터의 픽셀 열들을 교번(alternating)시킴으로써 상기 현재 버전으로부터의 K개 열들의 픽셀들 및 상기 제1 출력 이미지로부터의 K개 열들의 픽셀들을 포함하는 K × 2K 이미지를 생성하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  9. 제7항에 있어서,
    상기 K × 2K 버전과 상기 제2 출력 이미지를 병합하는 것은,
    상기 K × 2K 버전으로부터의 픽셀 행들 및 상기 제2 출력 이미지로부터의 픽셀 행들을 교번시킴으로써 K × 2K 버전으로부터의 K개 행들의 픽셀들 및 제2 출력 이미지로부터의 K개 행들의 픽셀들을 포함하는 2K × 2K 이미지를 생성하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  10. 제7항에 있어서,
    상기 복수의 컬러 채널들은 채널 순서에 따라 정렬되고,
    상기 제1 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (i) 현재 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀들에 대한 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀들에 대한 컬러 값들이 아닌 경우에 대해 컨디셔닝된 상기 제1 출력 이미지의 픽셀들에 대한 컬러 채널에 대한 컬러 값들을 생성하도록 구성되며;
    상기 제2 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (i) K x 2K 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들에 대한 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들에 대한 컬러 값들이 아닌 경우에 대해 컨디셔닝된 상기 제2 출력 이미지의 픽셀들에 대한 컬러 채널에 대한 컬러 값들을 생성하도록 구성되는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  11. 제10항에 있어서,
    상기 제1 출력 이미지를 생성하도록 상기 제1 컨벌루션 신경망을 사용하여 상기 현재 버전을 프로세싱하는 것은, 상기 제1 출력 이미지를 생성하도록 이미 생성된 상기 제1 출력 이미지로부터 컬러 값들 및 상기 현재 버전을 반복적으로 프로세싱하는 것을 포함하며;
    상기 제2 출력 이미지를 생성하도록 상기 제2 컨벌루션 신경망을 사용하여 상기 K × 2K 버전을 프로세싱하는 것은, 상기 제2 출력 이미지를 생성하도록 이미 생성된 제2 출력 이미지로부터의 컬러 값들 및 K × 2K 버전을 반복적으로 프로세싱하는 것을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  12. 제1항에 있어서,
    상기 현재 K × K 해상도에 특정한 컨벌루션 신경망들의 세트는,
    상기 이미지의 현재 버전을 포함하는 제1 입력을 수신하고, 상기 출력 이미지의 2K × K 버전으로부터의 픽셀들의 행들을 포함하는 제1 출력 이미지를 생성하도록 구성된 제1 컨벌루션 신경망, 및
    상기 출력 이미지의 2K × 2 버전을 포함하는 제2 입력을 수신하고, 상기 출력 이미지의 2K × 2K 버전으로부터 픽셀들의 열들을 포함하는 제2 출력 이미지를 생성하도록 구성된 제2 컨벌루션 신경망을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  13. 제12항에 있어서,
    상기 업데이트된 버전을 생성하도록 상기 현재 K × K 해상도에 특정한 상기 컨벌루션 신경망들의 세트를 사용하여 상기 출력 이미지의 상기 현재 버전을 프로세싱하는 동작은,
    상기 제1 출력 이미지를 생성하도록 상기 제1 컨벌루션 신경망을 사용하여 상기 현재 버전을 프로세싱하는 동작;
    상기 현재 버전 및 상기 제1 출력 이미지를 병합함으로써 2K × K 버전을 생성하는 동작;
    상기 제2 출력 이미지를 생성하도록 상기 제2 컨벌루션 신경망을 사용하여 상기 2K × K 버전을 프로세싱하는 동작; 그리고
    2K x K 버전과 제2 출력 이미지를 병합함으로써 2K x 2K 버전을 생성하는 동작을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  14. 제13항에 있어서,
    상기 현재 버전 및 상기 제1 출력 이미지를 병합하는 것은,
    현재 버전의 픽셀 행들을 제1 출력 이미지의 픽셀 행들과 교번시킴으로써 상기 현재 버전으로부터의 K개 행들의 픽셀들 및 상기 제1 출력 이미지로부터의 K개 행들의 픽셀들을 포함하는 2K × K 이미지를 생성하는 것을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  15. 제13항에 있어서,
    상기 2K × K 버전 및 상기 제 2 출력 이미지를 병합하는 것은,
    2K x K 버전의 픽셀 열들을 제2 출력 이미지의 픽셀 열들과 교번시킴으로써 상기 2K × K 버전의 K 열들의 픽셀들과 상기 제2 출력 이미지로부터의 K개 열들의 픽셀들을 포함하는 2K × 2K 이미지를 생성하는 것을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  16. 제12항에 있어서,
    상기 복수의 컬러 채널들은 채널 순서에 따라 정렬되고,
    상기 제1 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (i) 현재 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀들에 대한 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제1 출력 이미지의 픽셀들에 대한 컬러 값들이 아닌 경우에 대해 컨디셔닝된 상기 제1 출력 이미지의 픽셀들에 대한 컬러 채널의 컬러 값들을 생성하도록 구성되며;
    상기 제2 컨벌루션 신경망은, 상기 컬러 채널들 각각에 대해, (i) 2K x K 버전 및 (ii) 채널 순서의 컬러 채널 이전의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들의 컬러 값들 및 (iii) 채널 순서의 컬러 채널 이후의 임의의 컬러 채널들에 대한 제2 출력 이미지의 픽셀들의 컬러 값들이 아닌 경우에 대해 컨디셔닝된 상기 제2 출력 이미지의 픽셀들에 대한 컬러 채널의 컬러 값들을 생성하도록 구성되는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  17. 제16항에 있어서,
    상기 제1 출력 이미지를 생성하도록 상기 제1 컨벌루션 신경망을 사용하여 상기 현재 버전을 프로세싱하는 동작은 상기 제1 출력 이미지를 생성하도록 이미 생성된 상기 제1 출력 이미지로부터의 컬러 값들 및 상기 현재 버전을 반복적으로 프로세싱하는 동작을 포함하며; 그리고
    상기 제2 출력 이미지를 생성하도록 상기 제2 컨벌루션 신경망을 사용하여 상기 2K × K 버전을 프로세싱하는 동작은, 상기 제2 출력 이미지를 생성하도록 이미 생성된 제2 출력 이미지로부터의 컬러 값들 및 2K × K 버전을 반복적으로 프로세싱하는 동작을 포함하는 것을 특징으로 하는 출력 이미지를 생성하는 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 시스템으로서,
    하나 이상의 컴퓨터들 및 상기 하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제1항 내지 제17항 중 어느 한 항의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 하나 이상의 저장 장치들을 포함하는 것을 특징으로 하는 시스템.
  22. 하나 이상의 컴퓨터 저장 매체로서,
    하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 제1항 내지 제17항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 것을 특징으로 하는 하나 이상의 컴퓨터 저장 매체.
KR1020197020922A 2017-02-24 2018-02-26 멀티스케일 이미지 생성 KR102253627B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762463538P 2017-02-24 2017-02-24
US62/463,538 2017-02-24
PCT/EP2018/054614 WO2018154092A1 (en) 2017-02-24 2018-02-26 Multiscale image generation

Publications (2)

Publication Number Publication Date
KR20190097205A KR20190097205A (ko) 2019-08-20
KR102253627B1 true KR102253627B1 (ko) 2021-05-18

Family

ID=61386851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197020922A KR102253627B1 (ko) 2017-02-24 2018-02-26 멀티스케일 이미지 생성

Country Status (6)

Country Link
US (2) US11361403B2 (ko)
EP (1) EP3526765B1 (ko)
JP (1) JP6848071B2 (ko)
KR (1) KR102253627B1 (ko)
CN (1) CN109997168B (ko)
WO (1) WO2018154092A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
EP3857514A1 (en) * 2018-09-27 2021-08-04 DeepMind Technologies Limited Image generation using subscaling and depth up-scaling
US11301640B2 (en) * 2018-10-24 2022-04-12 International Business Machines Corporation Cognitive assistant for co-generating creative content
KR20210004702A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
EP3828809A1 (en) 2019-11-28 2021-06-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR102141319B1 (ko) * 2019-12-09 2020-08-04 이화여자대학교 산학협력단 다시점 360도 영상의 초해상화 방법 및 영상처리장치
US11379951B2 (en) 2020-03-25 2022-07-05 Nintendo Co., Ltd. Systems and methods for machine learned image conversion
US11494875B2 (en) * 2020-03-25 2022-11-08 Nintendo Co., Ltd. Systems and methods for machine learned image conversion
KR20220036061A (ko) * 2020-09-15 2022-03-22 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
CN115668273A (zh) 2020-09-15 2023-01-31 三星电子株式会社 电子装置、其控制方法和电子系统
US20230377094A1 (en) 2020-10-08 2023-11-23 Panasonic Intellectual Property Management Co., Ltd. Processing method and processing device using same
US11893710B2 (en) * 2020-11-16 2024-02-06 Boe Technology Group Co., Ltd. Image reconstruction method, electronic device and computer-readable storage medium
KR20220102420A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 이미지를 업스케일하는 전자 장치 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090204A (ja) * 2011-10-19 2013-05-13 Oki Electric Ind Co Ltd 画像処理装置及びプログラム
JP2017500651A (ja) 2014-03-20 2017-01-05 三菱電機株式会社 入力低解像度（ｌｒ）画像を処理して出力高解像度（ｈｒ）画像にする方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281294A (ja) * 2001-03-21 2002-09-27 Matsushita Electric Ind Co Ltd 画像処理装置および方法
JP4692401B2 (ja) * 2006-06-09 2011-06-01 日本ビクター株式会社 画像処理装置及び画像処理プログラム
KR101070981B1 (ko) 2009-11-05 2011-10-06 홍익대학교 산학협력단 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
WO2017015649A1 (en) 2015-07-23 2017-01-26 Mireplica Technology, Llc Performance enhancement for two-dimensional array processor
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN112907449B (zh) * 2021-02-22 2023-06-09 西南大学 一种基于深度卷积稀疏编码的图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090204A (ja) * 2011-10-19 2013-05-13 Oki Electric Ind Co Ltd 画像処理装置及びプログラム
JP2017500651A (ja) 2014-03-20 2017-01-05 三菱電機株式会社 入力低解像度（ｌｒ）画像を処理して出力高解像度（ｈｒ）画像にする方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kim et al. Accurate Image Super Resolution Using Very Deep Convolutional Networks, CVPR, 2016년 6월, pp. 1646-1654. 1부.*

Also Published As

Publication number Publication date
US11734797B2 (en) 2023-08-22
US11361403B2 (en) 2022-06-14
EP3526765A1 (en) 2019-08-21
WO2018154092A1 (en) 2018-08-30
US20210027425A1 (en) 2021-01-28
JP6848071B2 (ja) 2021-03-24
CN109997168B (zh) 2023-09-12
EP3526765B1 (en) 2024-04-17
US20220284546A1 (en) 2022-09-08
JP2020508504A (ja) 2020-03-19
CN109997168A (zh) 2019-07-09
KR20190097205A (ko) 2019-08-20
WO2018154092A8 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
KR102253627B1 (ko) 멀티스케일 이미지 생성
US11870947B2 (en) Generating images using neural networks
JP6612473B2 (ja) ニューラルネットワークを使用した画像生成
KR102107709B1 (ko) 공간 트랜스포머 모듈들
US11087504B2 (en) Transforming grayscale images into color images using deep neural networks
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
CN112771578B (zh) 使用细分缩放和深度上缩放的图像生成
US20190005619A1 (en) Image upscaling system, training method thereof, and image upscaling method
US11144782B2 (en) Generating video frames using neural networks
US11908103B2 (en) Multi-scale-factor image super resolution with micro-structured masks
US20220327663A1 (en) Video Super-Resolution using Deep Neural Networks
CN112419216A (zh) 图像去干扰方法、装置、电子设备及计算机可读存储介质
WO2022117067A1 (en) Content-aware bifurcated upscaling
CN117671475A (zh) 图像处理方法、装置、电子设备及存储介质
WO2023225340A1 (en) Performing computer vision tasks using guiding code sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant