KR20210056376A - 업스케일링을 위한 향상된 컬러 재현 - Google Patents

업스케일링을 위한 향상된 컬러 재현 Download PDF

Info

Publication number
KR20210056376A
KR20210056376A KR1020217009782A KR20217009782A KR20210056376A KR 20210056376 A KR20210056376 A KR 20210056376A KR 1020217009782 A KR1020217009782 A KR 1020217009782A KR 20217009782 A KR20217009782 A KR 20217009782A KR 20210056376 A KR20210056376 A KR 20210056376A
Authority
KR
South Korea
Prior art keywords
color
data
separable
formatted data
space
Prior art date
Application number
KR1020217009782A
Other languages
English (en)
Other versions
KR102596182B1 (ko
Inventor
미아오퀴 주
요시카즈 다카시마
Original Assignee
소니 주식회사
소니 픽쳐스 엔터테인먼트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 픽쳐스 엔터테인먼트, 인크. filed Critical 소니 주식회사
Publication of KR20210056376A publication Critical patent/KR20210056376A/ko
Application granted granted Critical
Publication of KR102596182B1 publication Critical patent/KR102596182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/4652—
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 방법으로서, RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하는 단계; RGB-예측된 데이터를 생성하도록 트레이닝하기 위해 RGB-포맷팅된 데이터를 뉴럴 네트워크로 전송하는 단계; RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하는 단계; RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 제1 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하는 단계; 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하는 단계; 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하는 단계; 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 제2 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하는 단계; 및 제1 손실 함수와 제2 손실 함수 사이의 밸런스를 조정하는 단계를 포함하는, 방법.

Description

업스케일링을 위한 향상된 컬러 재현
관련 출원들에 대한 상호 참조
본 출원은, 2018년 10월 18일자로 출원되고 발명의 명칭이 "Machine-Learning Based Single Image Upscaling Application for Motion Pictures"인 공동 계류 중인 미국 가특허 출원 제62/747,453호의 35 U.S.C. §119(e) 하의 우선권의 이익을 주장한다. 상기에 언급된 출원의 개시내용은 본 명세서에 참조로 포함된다.
분야
본 개시내용은 이미지 초 해상도 업스케일링(image super-resolution upscaling)에 관한 것으로, 더 구체적으로는, 업스케일링을 위한 향상된 컬러 재현에 관한 것이다.
이미지 초 해상도 업스케일링을 수행하기 위해 머신 학습(Machine Learning)(ML)이 사용될 수 있다. 그러나, 종래의 ML 기반 업스케일링 프로세스는 딥 뉴럴 네트워크 아키텍처(deep neural network architecture) 없이 RGB 이미지 포맷 입력이 사용될 때 픽셀들 간의 명확한 컬러 분리의 손실 및 컬러 시프트들을 포함하는 일부 관찰된 이슈들을 갖고 있다.
본 개시내용은 이미지 초 해상도 업스케일링 프로세스에서 향상된 컬러 재현을 제공한다.
하나의 구현에서, 업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 방법이 개시된다. 이 방법은: RGB-포맷팅된 데이터(RGB-formatted data)를 컬러-공간-분리가능-포맷팅된 데이터(color-space-separable-formatted data)로 변환하는 단계; RGB-예측된 데이터를 생성하도록 트레이닝하기 위해 RGB-포맷팅된 데이터를 뉴럴 네트워크로 전송하는 단계; RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하는 단계; RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 제1 차이를 계산함으로써 제1 손실 함수(first loss function)를 컴퓨팅하는 단계; 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하는 단계; 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하는 단계; 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 제2 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하는 단계; 및 제1 손실 함수와 제2 손실 함수 사이의 밸런스를 조정하는 단계를 포함한다.
하나의 구현에서, RGB-포맷팅된 데이터는 RGB-포맷팅된 이미지이고, 컬러-공간-분리가능-포맷팅된 데이터는 컬러-공간-분리가능-포맷팅된 이미지이다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함한다. 하나의 구현에서, 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하는 단계는, YCbCr-포맷팅된 데이터의 컬러 채널들을 추출하는 단계를 포함한다. 하나의 구현에서, 컬러 채널들은 YCbCr-포맷팅된 데이터의 CbCr 채널들을 포함한다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 Lab-포맷팅된 데이터를 포함한다. 하나의 구현에서, 제1 손실 함수와 제2 손실 함수 사이의 밸런스를 조정하는 단계는, 밸런스가 발견될 때까지 제1 및 제2 손실 함수들에 대한 가중치들을 조정하는 단계를 포함한다.
다른 구현에서, 향상된 컬러 재현 시스템이 개시된다. 이 시스템은: RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하도록 그리고 RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하도록 구성되는 RGB 대 컬러-공간-분리가능 변환기(RGB-to-color-space-separable converter); 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하도록 그리고 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하도록 구성되는 컬러 추출기; RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 제1 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하도록 그리고 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 제2 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하도록 구성되는 손실 함수 계산기; 및 시스템 출력에 적용되는 제1 손실 함수의 양 및 제2 손실 함수의 양을 제어하도록 구성되는 조정기를 포함한다.
하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함한다. 하나의 구현에서, 컬러 추출기는 YCbCr-포맷팅된 데이터와 YCbCr-예측된 데이터의 컬러 채널들을 추출하도록 구성된다. 하나의 구현에서, 컬러 채널들은 YCbCr-포맷팅된 데이터와 YCbCr-예측된 데이터의 CbCr 채널들을 포함한다. 하나의 구현에서, 조정기는: 제1 손실 함수를 수신하고 제1 출력을 생성하도록 구성되는 제1 승산기(first multiplier); 및 제2 손실 함수를 수신하고 제2 출력을 생성하도록 구성되는 제2 승산기를 포함한다. 하나의 구현에서, 조정기는, 제1 승산기에 적용될 제1 가중치를 생성하도록 그리고 제2 승산기에 적용될 제2 가중치를 생성하도록 구성되는 가중치 조정기를 더 포함한다. 하나의 구현에서, 조정기는, 시스템 출력을 생성하기 위해 제1 출력과 제2 출력을 가산하도록 구성되는 가산기를 더 포함하고, 여기서 제1 출력은, 제1 손실 함수에 제1 가중치를 승산한 결과이고, 제2 출력은, 제2 손실 함수에 제2 가중치를 승산한 결과이다. 하나의 구현에서, 조정기는, 시스템 출력을 수신하도록 그리고 전체 이미지 품질과 컬러 재현 사이의 밸런스를 발견하기 위해 가중치 조정기에 피드백을 제공하도록 구성되는 피드백 유닛을 더 포함한다.
또 다른 구현에서, RGB-포맷팅된 데이터를 수신하는 향상된 컬러 재현 시스템이 개시된다. 이 시스템은: RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하도록 구성되는 제1 변환기 - 제1 변환기는 RGB-포맷팅된 데이터를 뉴럴 네트워크로 전송하도록 또한 구성되고, 이 뉴럴 네트워크는 RGB-예측된 데이터를 생성함 -; 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하도록 구성되는 제1 추출기; RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하도록 구성되는 제2 변환기; 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하도록 구성되는 제2 추출기; RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하도록 구성되는 제1 손실 함수 계산기; 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하도록 구성되는 제2 손실 함수 계산기; 및 제1 손실 함수와 제2 손실 함수 사이의 밸런스를 조정함으로써 시스템 출력을 제어하도록 구성되는 조정기를 포함한다.
하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함한다. 하나의 구현에서, 컬러 추출기는 YCbCr-포맷팅된 데이터와 YCbCr-예측된 데이터의 컬러 채널들을 추출하도록 구성된다. 하나의 구현에서, 컬러 채널들은 YCbCr-포맷팅된 데이터와 YCbCr-예측된 데이터의 CbCr 채널들을 포함한다. 하나의 구현에서, 밸런스는 전체 이미지 품질과 컬러 재현 사이의 일부 객관적 기준들을 사용함으로써 결정된다.
다른 피처(feature)들 및 이점들은 본 개시내용의 양태들을 예로서 예시하는 본 설명으로부터 명백해질 것이다.
구조와 동작 양측 모두에 관한 본 개시내용의 세부사항들은 첨부된 도면들의 연구에 의해 부분적으로 수집될 수도 있고, 여기서 동일한 참조 번호들은 동일한 부분들을 지칭하고, 여기서:
도 1은 본 개시내용의 하나의 구현에 따른, 업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 프로세스를 예시하는 흐름도이다.
도 2는 본 개시내용의 하나의 구현에 따른 향상된 컬러 재현 시스템을 도시하는 블록도이다.
도 3은 본 개시내용의 다른 구현에 따른 향상된 컬러 재현 시스템의 블록도이다.
도 4a는 본 개시내용의 일 구현에 따른 컴퓨터 시스템 및 사용자의 표현이다.
도 4b는 본 개시내용의 일 구현에 따른, 향상된 컬러 재현 애플리케이션을 호스팅하는 컴퓨터 시스템을 예시하는 기능 블록도이다.
상술된 바와 같이, 종래의 ML 기반 업스케일링 프로세스는 일부 관찰된 이슈들을 갖고 있다. 예를 들어, 휘도가 컬러보다 우선순위화되기 때문에, 단지 단일 채널(예를 들어, YCbCr 이미지로부터의 단지 Y 휘도 채널만이 RGB 이미지로부터 변환된다)만이 종종 사용된다. 더욱이, 딥 뉴럴 네트워크 아키텍처 없이 RGB 이미지 포맷 입력(즉, 3 채널 입력)이 사용될 때, 업스케일링 프로세스는 때때로 컬러 시프팅 및 컬러 오염이 나타난다. 특히, 컬러 시프트는 인간 피부 톤의 상이한 인상들을 야기시킨다(예를 들어, 얼굴 피부 톤이 너무 녹색 또는 너무 적색으로 보인다). 추가로, 컬러풀 디테일(colorful detail)들을 갖는 객체들이 픽셀들 간의 명확한 컬러 분리가 손실된다(예를 들어, 적색 및 청색 미세 패턴을 갖는 객체들이 업스케일링 후에 자주색 객체들로 된다).
이에 따라, 종래의 프로세스에 의한 상기에 언급된 이슈들을 해결하기 위해, 본 개시내용의 특정 구현들은 RGB 입력에 부가적으로 ML 기반 트레이닝 프로세스에 대한 부가적인 입력을 갖는 것을 제공한다.
하나의 구현에서, 부가적인 입력은, RGB-포맷팅된 데이터를, 휘도 채널과 컬러 채널로 분리될 수 있는("컬러 공간 분리가능한") 포맷(예를 들어, YCbCr, Lab)으로 변환하고 트레이닝 프로세스에 대한 입력으로서 단지 컬러 성분들(예를 들어, YCbCr의 경우에는 Cb/Cr 채널)만을 사용함으로써 생성된다. 이 구현에서, 부가적인 입력은 손실 함수들을 이용하는 최적화 스테이지 동안 사용될 수 있다. 추가로, RGB 기반 손실 함수 및 컬러 성분 전용 기반(예를 들어, CbCr) 손실 함수에 대한 가중치들이 제어되어 전체 이미지 품질과 컬러 재현 사이의 우선순위를 밸런싱한다.
이들 설명들을 판독한 후에, 다양한 구현들 및 적용예들에서 본 개시내용을 구현하는 방법이 명백해질 것이다. 본 개시내용의 다양한 구현들이 본 명세서에서 설명될 것이지만, 이들 구현들은 제한이 아니라 단지 예로서만 제시된다는 것이 이해된다. 이와 같이, 다양한 구현들의 이 상세한 설명은 본 개시내용의 범위 또는 폭을 제한하는 것으로 해석되어서는 안 된다.
도 1은 본 개시내용의 하나의 구현에 따른, 업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 프로세스(100)를 예시하는 흐름도이다. 도 1의 업스케일링 프로세스(100)의 단계들이 특정 순서로 레이아웃되어 있지만, 단계들은 프로세스(100)의 결과에 영향을 주는 일 없이 임의의 순서로 수행될 수 있다.
도 1의 예시된 구현에서, RGB-포맷팅된 데이터가, 블록 110에서, 컬러-공간-분리가능-포맷팅된 데이터로 변환된다. 하나의 구현에서, 용어 "데이터"는 이미지를 지칭한다. 예를 들어, RGB-포맷팅된 데이터는 RGB-포맷팅된 이미지를 지칭할 수도 있고, 컬러-공간-분리가능-포맷팅된 데이터는 컬러-공간-분리가능-포맷팅된 이미지를 지칭할 수도 있다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함한다. 다른 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 Lab-포맷팅된 데이터를 포함한다. 블록 120에서, RGB-포맷팅된 데이터는 RGB-예측된 데이터를 생성하도록 트레이닝하기 위해 뉴럴 네트워크로 전송된다. RGB-예측된 데이터는 그 후에, 블록 130에서, 컬러-공간-분리가능-예측된 데이터로 변환된다.
도 1의 예시된 구현에서, 블록 140에서, RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 차이를 계산함으로써 제1 손실 함수가 컴퓨팅된다. 블록 150에서, 컬러-포맷팅된 데이터가 컬러-공간-분리가능-포맷팅된 데이터로부터 추출된다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 컬러-포맷팅된 데이터는 YCbCr-포맷팅된 데이터의 컬러 채널들(즉, CbCr 채널들)을 사용함으로써 형성된다. 블록 160에서, 블록 130에서 생성된 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터가 추출된다. 하나의 구현에서, 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함하고, 컬러-예측된 데이터는 YCbCr-예측된 데이터의 컬러 채널들(즉, CbCr 채널들)을 사용함으로써 형성된다. 블록 170에서, 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 차이를 계산함으로써 제2 손실 함수가 컴퓨팅된다.
도 1의 예시된 구현에서, 블록 180에서, 2개의 손실 함수들 사이의 밸런스를 조정함으로써 컬러 재현 출력이 조정된다. 하나의 구현에서, 조정은, 블록 190에서, 밸런스가 발견될 때까지 2개의 손실 함수들에 대한 가중치들을 조정함으로써 이루어진다.
도 2는 본 개시내용의 하나의 구현에 따른 향상된 컬러 재현 시스템(200)을 도시하는 블록도이다. 도 2의 예시된 구현에서, 향상된 컬러 재현 시스템(200)은 RGB 대 컬러-공간-분리가능 변환기(220), 컬러 추출기(230), 손실 함수 계산기(240), 복수의 승산기들(250, 252), 가중치 조정기(260), 및 가산기(270)를 포함한다.
하나의 구현에서, RGB 대 컬러-공간-분리가능 변환기(220)는 RGB-포맷팅된 데이터(212)를 컬러-공간-분리가능-포맷팅된 데이터(222)로 변환하도록 구성된다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터(222)는 YCbCr-포맷팅된 데이터를 포함한다. 다른 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 Lab-포맷팅된 데이터를 포함한다. RGB-포맷팅된 데이터(212)는 RGB-예측된 데이터(214)를 생성하도록 트레이닝하기 위해 뉴럴 네트워크(210)로 전송된다. RGB 대 컬러-공간-분리가능 변환기(220)는 또한 RGB-예측된 데이터(214)를 컬러-공간-분리가능-예측된 데이터(224)로 변환한다.
하나의 구현에서, 컬러 추출기(230)는 컬러-공간-분리가능-포맷팅된 데이터(222)를 수신하고 컬러-포맷팅된 데이터(232)를 추출하도록 구성된다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터(222)는 YCbCr-포맷팅된 데이터를 포함하고, 컬러-포맷팅된 데이터(232)는 YCbCr-포맷팅된 데이터의 컬러 채널들(즉, CbCr 채널들)을 추출함으로써 형성된다. 컬러 추출기(230)는 컬러-공간-분리가능-예측된 데이터(224)를 수신하고 컬러-예측된 데이터(234)를 추출하도록 또한 구성된다. 하나의 구현에서, 컬러-공간-분리가능-예측된 데이터(224)는 YCbCr-예측된 데이터를 포함하고, 컬러-예측된 데이터(234)는 YCbCr-예측된 데이터의 컬러 채널들(즉, CbCr 채널들)을 추출함으로써 형성된다.
하나의 구현에서, 손실 함수 계산기(240)는 RGB-포맷팅된 데이터(212)와 RGB-예측된 데이터(214) 사이의 차이를 계산함으로써 제1 손실 함수(f(L 1 ))(242)를 컴퓨팅하도록 구성된다. 손실 함수 계산기(240)는 컬러-포맷팅된 데이터(232)와 컬러-예측된 데이터(234) 사이의 차이를 계산함으로써 제2 손실 함수(f(L 2 ))(244)를 컴퓨팅하도록 또한 구성된다.
하나의 구현에서, 가중치 조정기(260)는 출력에 적용되는 손실 함수들의 양을 조정 또는 제어하도록 구성된다. 예를 들어, 출력에 적용되는 제1 손실 함수(예를 들어, RGB 손실 함수)의 양은 승산기(250)에 의해 제1 손실 함수(242)와 승산될 제1 가중치(w 1 )(262)를 조정함으로써 제어되는 한편, 출력에 적용되는 제2 손실 함수(예를 들어, 컬러-공간-분리가능 손실 함수)의 양은 승산기(252)에 의해 제2 손실 함수(244)와 승산될 제2 가중치(w 2 )(264)를 조정함으로써 제어된다. 가산기(270)는 승산기들(250, 252)의 출력들을 합산하여, 향상된 컬러 재현 시스템(200)의 출력(272)을 생성한다. 가중치 조정기(260)는 밸런스가 발견될 때까지 피드백(274)을 사용하여 2개의 손실 함수들에 대한 가중치들을 계속 조정하도록 구성된다. 하나의 구현에서, 밸런스는 관찰자가 밸런스에 도달되었다고 주관적으로 결정할 때 달성된다. 다른 구현에서, 밸런스는 전체 이미지 품질과 컬러 재현 사이의 밸런스에 도달되었다는 일부 객관적 기준들에 의해 결정된다. 도 2의 예시된 구현에서, 승산기들(250, 252), 가중치 조정기(260), 가산기(270), 및 피드백(274)은 조정기라고 집합적으로 지칭될 수 있다.
하나의 구현에서, 향상된 컬러 재현 시스템(200)은, 하나 이상의 디지털 신호 프로세서(digital signal processor)(DSP)들, 범용 마이크로프로세서들, 주문형 집적 회로(application specific integrated circuit)(ASIC)들, 필드 프로그래밍가능 게이트/로직 어레이(field programmable gate/logic array)(FPGA)들, 또는 다른 등가의 집적 또는 이산 로직 회로부를 포함하는 하드웨어로 완전히 구성되는 시스템이다. 다른 구현에서, 향상된 컬러 재현 시스템(200)은 하드웨어와 소프트웨어의 조합으로 구성된다. 예를 들어, RGB 대 컬러-공간-분리가능 변환기(220), 컬러 추출기(230), 및 손실 함수 계산기(240)는 하드웨어로 구성되는 한편, 복수의 승산기들(250, 252)의 함수들, 가중치 조정기(260), 가산기(270), 및 피드백(274)은 별개의 프로세서 또는 손실 함수 계산기(240) 내에 상주하는 소프트웨어로서 구성된다.
도 3은 본 개시내용의 다른 구현에 따른 향상된 컬러 재현 시스템(300)의 블록도이다. 도 3의 예시된 구현에서, 향상된 컬러 재현 시스템(300)은 RGB-포맷팅된 데이터 대 컬러-공간-분리가능-포맷팅된 데이터 변환기(320), 컬러-포맷팅된 데이터 추출기(330), RGB-예측된 데이터 대 컬러-공간-분리가능-예측된 데이터 변환기(340), 컬러-예측된 데이터 추출기(350), 제1 손실 함수 계산기(360), 제2 손실 함수 계산기(370), 및 가중치 조정기(380)를 포함한다.
하나의 구현에서, RGB-포맷팅된 데이터 대 컬러-공간-분리가능-포맷팅된 데이터 변환기(320)는 RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하도록 구성된다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함한다. 다른 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 Lab-포맷팅된 데이터를 포함한다. RGB-포맷팅된 데이터 대 컬러-공간-분리가능-포맷팅된 데이터 변환기(320)는 RGB-예측된 데이터를 생성하도록 트레이닝하기 위해 RGB-포맷팅된 데이터를 뉴럴 네트워크(310)로 전송하도록 또한 구성된다. 하나의 구현에서, RGB-예측된 데이터 대 컬러-공간-분리가능-예측된 데이터 변환기(340)는 뉴럴 네트워크(310)에 의해 생성된 RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하도록 구성된다.
도 3의 예시된 구현에서, 컬러-포맷팅된 데이터 추출기(330)는 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하도록 구성되는 한편, 컬러-예측된 데이터 추출기(350)는 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하도록 구성된다. 하나의 구현에서, 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 컬러-포맷팅된 데이터는 YCbCr-포맷팅된 데이터의 컬러 채널들(즉, CbCr 채널들)을 사용함으로써 형성된다. 하나의 구현에서, 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함하고, 컬러-예측된 데이터는 YCbCr-예측된 데이터의 컬러 채널들(즉, CbCr 채널들)을 사용함으로써 형성된다.
도 3의 예시된 구현에서, 제1 손실 함수 계산기(360)는 RGB-포맷팅된 데이터와 RGB-예측된 데이터 사이의 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하도록 구성된다. 제2 손실 함수 계산기(370)는 컬러-포맷팅된 데이터와 컬러-예측된 데이터 사이의 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하도록 구성된다.
도 3의 예시된 구현에서, 가중치 조정기(380)는 제1 손실 함수와 제2 손실 함수 사이의 밸런스를 조정함으로써 컬러 재현 출력(382)을 조정 또는 제어하도록 구성된다. 하나의 구현에서, 밸런스는 관찰자가 밸런스에 도달되었다고 주관적으로 결정할 때 달성된다. 다른 구현에서, 밸런스는 전체 이미지 품질과 컬러 재현 사이의 밸런스에 도달되었다는 일부 객관적 기준들에 의해 결정된다.
도 4a는 본 개시내용의 일 구현에 따른 컴퓨터 시스템(400) 및 사용자(402)의 표현이다. 사용자(402)는 업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 애플리케이션을 구현하기 위해 컴퓨터 시스템(400)을 사용한다.
컴퓨터 시스템(400)은 도 4b의 향상된 컬러 재현 애플리케이션(490)을 저장하고 실행한다. 부가적으로, 컴퓨터 시스템(400)은 소프트웨어 프로그램(404)과 통신할 수도 있다. 소프트웨어 프로그램(404)은 향상된 컬러 재현 애플리케이션을 위한 소프트웨어 코드를 포함할 수도 있다. 소프트웨어 프로그램(404)은, 아래에 추가로 설명되는 바와 같이, CD, DVD, 또는 저장 드라이브와 같은 외부 매체 상에 로딩될 수도 있다.
게다가, 컴퓨터 시스템(400)은 네트워크(480)에 연결될 수도 있다. 네트워크(480)는, 예를 들어, 클라이언트-서버 아키텍처, 피어-투-피어 네트워크 아키텍처(Peer-to-Peer network architecture), 또는 다른 타입의 아키텍처들과 같은 다양한 상이한 아키텍처들로 연결될 수 있다. 예를 들어, 네트워크(480)는, 향상된 컬러 재현 애플리케이션 내에서 사용되는 엔진들 및 데이터를 조정하는 서버(485)와 통신할 수 있다. 또한, 네트워크는 상이한 타입들의 네트워크들일 수 있다. 예를 들어, 네트워크(480)는 인터넷, 로컬 영역 네트워크 또는 로컬 영역 네트워크의 임의의 변형들, 광역 네트워크, 도시 영역 네트워크, 인트라넷 또는 엑스트라넷, 또는 무선 네트워크일 수 있다.
도 4b는 본 개시내용의 일 구현에 따른, 향상된 컬러 재현 애플리케이션(490)을 호스팅하는 컴퓨터 시스템(400)을 예시하는 기능 블록도이다. 제어기(410)는 프로그래밍가능 프로세서이고 컴퓨터 시스템(400) 및 그의 컴포넌트들의 동작을 제어한다. 제어기(410)는 메모리(420) 또는 내장형 제어기 메모리(embedded controller memory)(도시되지 않음)로부터 (예를 들어, 컴퓨터 프로그램의 형태의) 명령어들을 로딩하고 이들 명령어들을 실행하여 시스템을 제어한다. 그의 실행 시에, 제어기(410)는 예컨대 향상된 컬러 재현 애플리케이션 내에서 엔진들 및 데이터 추출기들의 생성 및 구성을 가능하게 하기 위해, 소프트웨어 시스템을 향상된 컬러 재현 애플리케이션(490)에 제공한다. 대안적으로, 이 서비스는 컴퓨터 시스템(400) 또는 제어기(410)에서의 별개의 하드웨어 컴포넌트들로서 구현될 수 있다.
메모리(420)는 컴퓨터 시스템(400)의 다른 컴포넌트들에 의한 사용을 위해 일시적으로 데이터를 저장한다. 하나의 구현에서, 메모리(420)는 RAM으로서 구현된다. 하나의 구현에서, 메모리(420)는 플래시 메모리 및/또는 ROM과 같은 장기 또는 영구 메모리를 또한 포함한다.
스토리지(430)는 컴퓨터 시스템(400)의 다른 컴포넌트들에 의한 사용을 위해 일시적으로 또는 장기간 동안 데이터를 저장한다. 예를 들어, 스토리지(430)는 향상된 컬러 재현(490)에 의해 사용되는 데이터를 저장한다. 하나의 구현에서, 스토리지(430)는 하드 디스크 드라이브이다.
미디어 디바이스(440)는 착탈식 미디어(removable media)를 수용하고 데이터를 판독하고/하거나 데이터를 삽입된 미디어에 기입한다. 하나의 구현에서, 예를 들어, 미디어 디바이스(440)는 광 디스크 드라이브이다.
사용자 인터페이스(450)는, 컴퓨터 시스템(400)의 사용자로부터의 사용자 입력을 수락하고 사용자(402)에게 정보를 제시하기 위한 컴포넌트들을 포함한다. 하나의 구현에서, 사용자 인터페이스(450)는 키보드, 마우스, 오디오 스피커들, 및 디스플레이를 포함한다. 제어기(410)는 컴퓨터 시스템(400)의 동작을 조정하기 위해 사용자(402)로부터의 입력을 사용한다.
I/O 인터페이스(460)는, 외부 스토리지 또는 보충 디바이스들(예를 들어, 프린터 또는 PDA)과 같은 대응하는 I/O 디바이스들에 연결하기 위한 하나 이상의 I/O 포트들을 포함한다. 하나의 구현에서, I/O 인터페이스(460)의 포트들은 포트들 예컨대: USB 포트들, PCMCIA 포트들, 직렬 포트들, 및/또는 병렬 포트들을 포함한다. 다른 구현에서, I/O 인터페이스(460)는, 외부 디바이스들과 무선으로 통신하기 위한 무선 인터페이스를 포함한다.
네트워크 인터페이스(470)는, 이더넷 연결을 지원하는 RJ-45 또는 "Wi-Fi" 인터페이스(802.11를 포함하지만, 이에 제한되지 않음)와 같은 유선 및/또는 무선 네트워크 연결을 포함한다.
컴퓨터 시스템(400)은, 컴퓨터 시스템들(예를 들어, 전력, 냉각, 오퍼레이팅 시스템)의 전형적인 부가적인 하드웨어 및 소프트웨어를 포함하지만, 이들 컴포넌트들은 단순함을 위해 도 4b에 구체적으로 도시되어 있지 않다. 다른 구현들에서, 컴퓨터 시스템의 상이한 구성들이 사용될 수 있다(예를 들어, 상이한 버스 또는 스토리지 구성들 또는 멀티-프로세서 구성).
개시된 구현들의 본 명세서의 설명은 본 기술분야의 통상의 기술자가 본 개시내용을 제조하거나 또는 사용하는 것을 가능하게 하도록 제공된다. 이들 구현들에 대한 수많은 수정들은 본 기술분야의 통상의 기술자들에게 쉽게 명백할 것이며, 본 명세서에서 정의되는 주요부들은 본 개시내용의 사상 또는 범위로부터 벗어남이 없이 다른 구현들에 적용될 수 있다. 따라서, 본 개시내용은 본 명세서에서 보여진 구현들로 제한되도록 의도된 것이 아니라, 본 명세서에 개시된 주요하고 신규한 피처들에 부합하는 가장 넓은 범위를 부여받게 하려는 것이다.
본 개시내용의 다양한 구현들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 기술들의 조합들로 실현된다. 일부 구현들은, 하나 이상의 컴퓨팅 디바이스들에 의해 실행되는 하나 이상의 컴퓨터 프로그램들을 포함한다. 일반적으로, 컴퓨팅 디바이스는 하나 이상의 프로세서들, 하나 이상의 데이터 저장 컴포넌트들(예를 들어, 휘발성 또는 비휘발성 메모리 모듈들 및 지속적 광학 및 자기 저장 디바이스들, 예컨대 하드 및 플로피 디스크 드라이브들, CD-ROM 드라이브들, 및 자기 테이프 드라이브들), 하나 이상의 입력 디바이스들(예를 들어, 게임 제어기들, 마우스들 및 키보드들), 및 하나 이상의 출력 디바이스들(예를 들어, 디스플레이 디바이스들)을 포함한다.
컴퓨터 프로그램들은, 통상적으로 지속적 저장 매체(즉, 비일시적 매체)에 저장된 후에 런타임에 메모리 내에 복사되는 실행가능 코드를 포함한다. 적어도 하나의 프로세서는 미리 정해진 순서로 메모리로부터 프로그램 명령어들을 검색함으로써 코드를 실행한다. 프로그램 코드를 실행할 때, 컴퓨터는 입력 및/또는 저장 디바이스들로부터 데이터를 수신하고, 데이터에 대한 연산들을 수행한 후에, 결과적인 데이터를 출력 및/또는 저장 디바이스들로 전달한다.
본 기술분야의 통상의 기술자들은 본 명세서에서 설명되는 다양한 예시적인 모듈들 및 방법 단계들이 전자 하드웨어, 소프트웨어, 펌웨어 또는 상술한 것의 조합들로서 구현될 수 있다는 것을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 모듈들 및 방법 단계들이 이들의 기능성의 관점에서 일반적으로 본 명세서에서 설명되었다. 그러한 기능성이 하드웨어로서 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 설계 제약들 및 특정 애플리케이션에 좌우된다. 통상의 기술자들은 각각의 특정 애플리케이션에 대해 다양한 방법들로 설명된 기능성을 구현할 수 있지만, 그러한 구현 결정들은 본 개시내용의 범위로부터의 벗어남을 야기시키는 것으로 해석되어서는 안 된다. 부가적으로, 모듈 또는 단계 내의 기능들의 그룹화는 설명의 용이성을 위한 것이다. 특정 기능들은 본 개시내용으로부터의 벗어남이 없이 하나의 모듈 또는 단계로부터 다른 것으로 이동될 수 있다.
각각의 상기에 논의된 예의 모든 피처들은 본 개시내용의 특정 구현에서 반드시 요구되는 것은 아니다. 추가로, 본 명세서에서 제시되는 설명 및 도면들은 본 개시내용에 의해 광범위하게 고려되는 청구 대상을 대표한다는 것이 이해되어야 한다. 본 개시내용의 범위는 본 기술분야의 통상의 기술자들에게 명백해질 수도 있는 다른 구현들을 완전히 포괄하고, 이에 따라 본 개시내용의 범위는 단지 첨부된 청구범위에 의해서만 제한된다는 것이 추가로 이해된다.

Claims (20)

  1. 업스케일링 프로세스에서 컬러 재현을 향상시키기 위한 방법으로서,
    RGB-포맷팅된 데이터(RGB-formatted data)를 컬러-공간-분리가능-포맷팅된 데이터(color-space-separable-formatted data)로 변환하는 단계;
    RGB-예측된 데이터를 생성하도록 트레이닝하기 위해 상기 RGB-포맷팅된 데이터를 뉴럴 네트워크로 전송하는 단계;
    상기 RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하는 단계;
    상기 RGB-포맷팅된 데이터와 상기 RGB-예측된 데이터 사이의 제1 차이를 계산함으로써 제1 손실 함수(first loss function)를 컴퓨팅하는 단계;
    상기 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하는 단계;
    상기 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하는 단계;
    상기 컬러-포맷팅된 데이터와 상기 컬러-예측된 데이터 사이의 제2 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하는 단계; 및
    상기 제1 손실 함수와 상기 제2 손실 함수 사이의 밸런스를 조정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 RGB-포맷팅된 데이터는 RGB-포맷팅된 이미지이고, 상기 컬러-공간-분리가능-포맷팅된 데이터는 컬러-공간-분리가능-포맷팅된 이미지인, 방법.
  3. 제1항에 있어서,
    상기 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하는 단계는,
    상기 YCbCr-포맷팅된 데이터의 컬러 채널들을 추출하는 단계를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 컬러 채널들은 상기 YCbCr-포맷팅된 데이터의 CbCr 채널들을 포함하는, 방법.
  6. 제1항에 있어서,
    상기 컬러-공간-분리가능-포맷팅된 데이터는 Lab-포맷팅된 데이터를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 제1 손실 함수와 상기 제2 손실 함수 사이의 밸런스를 조정하는 단계는,
    상기 밸런스가 발견될 때까지 상기 제1 및 제2 손실 함수들에 대한 가중치들을 조정하는 단계를 포함하는, 방법.
  8. 향상된 컬러 재현 시스템으로서,
    RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하도록 그리고 RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하도록 구성되는 RGB 대 컬러-공간-분리가능 변환기(RGB-to-color-space-separable converter);
    상기 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하도록 그리고 상기 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하도록 구성되는 컬러 추출기;
    상기 RGB-포맷팅된 데이터와 상기 RGB-예측된 데이터 사이의 제1 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하도록 그리고 상기 컬러-포맷팅된 데이터와 상기 컬러-예측된 데이터 사이의 제2 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하도록 구성되는 손실 함수 계산기; 및
    시스템 출력에 적용되는 상기 제1 손실 함수의 양 및 상기 제2 손실 함수의 양을 제어하도록 구성되는 조정기
    를 포함하는, 향상된 컬러 재현 시스템.
  9. 제8항에 있어서,
    상기 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 상기 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함하는, 향상된 컬러 재현 시스템.
  10. 제9항에 있어서,
    상기 컬러 추출기는 상기 YCbCr-포맷팅된 데이터와 상기 YCbCr-예측된 데이터의 컬러 채널들을 추출하도록 구성되는, 향상된 컬러 재현 시스템.
  11. 제10항에 있어서,
    상기 컬러 채널들은 상기 YCbCr-포맷팅된 데이터와 상기 YCbCr-예측된 데이터의 CbCr 채널들을 포함하는, 향상된 컬러 재현 시스템.
  12. 제8항에 있어서,
    상기 조정기는:
    상기 제1 손실 함수를 수신하고 제1 출력을 생성하도록 구성되는 제1 승산기(first multiplier); 및
    상기 제2 손실 함수를 수신하고 제2 출력을 생성하도록 구성되는 제2 승산기
    를 포함하는, 향상된 컬러 재현 시스템.
  13. 제12항에 있어서,
    상기 조정기는,
    상기 제1 승산기에 적용될 제1 가중치를 생성하도록 그리고 상기 제2 승산기에 적용될 제2 가중치를 생성하도록 구성되는 가중치 조정기를 더 포함하는, 향상된 컬러 재현 시스템.
  14. 제13항에 있어서,
    상기 조정기는,
    상기 시스템 출력을 생성하기 위해 상기 제1 출력과 상기 제2 출력을 가산하도록 구성되는 가산기를 더 포함하고,
    상기 제1 출력은, 상기 제1 손실 함수에 상기 제1 가중치를 승산한 결과이고, 상기 제2 출력은, 상기 제2 손실 함수에 상기 제2 가중치를 승산한 결과인, 향상된 컬러 재현 시스템.
  15. 제14항에 있어서,
    상기 조정기는,
    상기 시스템 출력을 수신하도록 그리고 전체 이미지 품질과 컬러 재현 사이의 밸런스를 발견하기 위해 상기 가중치 조정기에 피드백을 제공하도록 구성되는 피드백 유닛을 더 포함하는, 향상된 컬러 재현 시스템.
  16. RGB-포맷팅된 데이터를 수신하는 향상된 컬러 재현 시스템으로서,
    상기 RGB-포맷팅된 데이터를 컬러-공간-분리가능-포맷팅된 데이터로 변환하도록 구성되는 제1 변환기 - 상기 제1 변환기는 상기 RGB-포맷팅된 데이터를 뉴럴 네트워크로 전송하도록 또한 구성되고, 상기 뉴럴 네트워크는 RGB-예측된 데이터를 생성함 -;
    상기 컬러-공간-분리가능-포맷팅된 데이터로부터 컬러-포맷팅된 데이터를 추출하도록 구성되는 제1 추출기;
    상기 RGB-예측된 데이터를 컬러-공간-분리가능-예측된 데이터로 변환하도록 구성되는 제2 변환기;
    상기 컬러-공간-분리가능-예측된 데이터로부터 컬러-예측된 데이터를 추출하도록 구성되는 제2 추출기;
    상기 RGB-포맷팅된 데이터와 상기 RGB-예측된 데이터 사이의 차이를 계산함으로써 제1 손실 함수를 컴퓨팅하도록 구성되는 제1 손실 함수 계산기;
    상기 컬러-포맷팅된 데이터와 상기 컬러-예측된 데이터 사이의 차이를 계산함으로써 제2 손실 함수를 컴퓨팅하도록 구성되는 제2 손실 함수 계산기; 및
    상기 제1 손실 함수와 상기 제2 손실 함수 사이의 밸런스를 조정함으로써 시스템 출력을 제어하도록 구성되는 조정기
    를 포함하는, 향상된 컬러 재현 시스템.
  17. 제16항에 있어서,
    상기 컬러-공간-분리가능-포맷팅된 데이터는 YCbCr-포맷팅된 데이터를 포함하고, 상기 컬러-공간-분리가능-예측된 데이터는 YCbCr-예측된 데이터를 포함하는, 향상된 컬러 재현 시스템.
  18. 제17항에 있어서,
    상기 컬러 추출기는 상기 YCbCr-포맷팅된 데이터와 상기 YCbCr-예측된 데이터의 컬러 채널들을 추출하도록 구성되는, 향상된 컬러 재현 시스템.
  19. 제18항에 있어서,
    상기 컬러 채널들은 상기 YCbCr-포맷팅된 데이터와 상기 YCbCr-예측된 데이터의 CbCr 채널들을 포함하는, 향상된 컬러 재현 시스템.
  20. 제16항에 있어서,
    상기 밸런스는 전체 이미지 품질과 컬러 재현 사이의 일부 객관적 기준들을 사용함으로써 결정되는, 향상된 컬러 재현 시스템.
KR1020217009782A 2018-10-18 2019-10-17 업스케일링을 위한 향상된 컬러 재현 KR102596182B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/440,828 US10931853B2 (en) 2018-10-18 2019-06-13 Enhanced color reproduction for upscaling
US16/440,828 2019-06-13
PCT/US2019/056673 WO2020081770A1 (en) 2018-10-18 2019-10-17 Enhanced color reproduction for upscaling

Publications (2)

Publication Number Publication Date
KR20210056376A true KR20210056376A (ko) 2021-05-18
KR102596182B1 KR102596182B1 (ko) 2023-11-02

Family

ID=70280043

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217009814A KR102649544B1 (ko) 2018-10-18 2019-10-16 Ml-기반 업스케일링을 위한 프레임 핸들링
KR1020217009840A KR102593893B1 (ko) 2018-10-18 2019-10-17 대형 이미지의 트레이닝 및 업스케일링
KR1020217009779A KR102550342B1 (ko) 2018-10-18 2019-10-17 업스케일링 출력에서의 선명도 및 디테일의 조정
KR1020217009782A KR102596182B1 (ko) 2018-10-18 2019-10-17 업스케일링을 위한 향상된 컬러 재현

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020217009814A KR102649544B1 (ko) 2018-10-18 2019-10-16 Ml-기반 업스케일링을 위한 프레임 핸들링
KR1020217009840A KR102593893B1 (ko) 2018-10-18 2019-10-17 대형 이미지의 트레이닝 및 업스케일링
KR1020217009779A KR102550342B1 (ko) 2018-10-18 2019-10-17 업스케일링 출력에서의 선명도 및 디테일의 조정

Country Status (6)

Country Link
US (5) US10931853B2 (ko)
EP (4) EP3844707A4 (ko)
JP (5) JP7416774B2 (ko)
KR (4) KR102649544B1 (ko)
CN (3) CN112868045B (ko)
WO (4) WO2020081659A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
JP7325636B2 (ja) * 2020-06-24 2023-08-14 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
CA3187106A1 (en) * 2021-01-29 2022-08-04 Kimberly Jean GIETZEN Deep learning-based root cause analysis of process cycle images
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
US20230394647A1 (en) * 2022-06-06 2023-12-07 Nvidia Corporation Determining contour edges for an image
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
JP2013500625A (ja) * 2009-07-21 2013-01-07 クゥアルコム・インコーポレイテッド ビデオ画像の検出およびエンハンスメントのための方法およびシステム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
WO2000056060A1 (fr) 1999-03-15 2000-09-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image, et support enregistre
JP2000324337A (ja) 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
DE60234900D1 (de) 2001-12-21 2010-02-11 Ibm Verfahren und Schaltungen zur Bildskalierung mit Hilfe neuronaler Netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
JP2010523979A (ja) * 2007-04-05 2010-07-15 オーレオン ラボラトリーズ， インコーポレイテッド 医学的状態の処置、診断および予測のためのシステムおよび方法
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
JP6075294B2 (ja) 2011-12-12 2017-02-08 日本電気株式会社 画像処理システム及び画像処理方法
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
WO2014008329A1 (en) * 2012-07-03 2014-01-09 Marseille Networks, Inc. System and method to enhance and process a digital image
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
CN111641817B (zh) * 2014-06-03 2023-02-17 Mtt创新公司 用于显示视频数据和图像数据的方法和设备
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108780570B (zh) 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
US11238559B2 (en) * 2017-04-21 2022-02-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method and image receiving apparatus
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
JP2013500625A (ja) * 2009-07-21 2013-01-07 クゥアルコム・インコーポレイテッド ビデオ画像の検出およびエンハンスメントのための方法およびシステム

Also Published As

Publication number Publication date
JP7404359B2 (ja) 2023-12-25
JP2022505303A (ja) 2022-01-14
WO2020081659A1 (en) 2020-04-23
US20200126184A1 (en) 2020-04-23
US20200126183A1 (en) 2020-04-23
JP7304414B2 (ja) 2023-07-06
US20200128151A1 (en) 2020-04-23
EP3844682A1 (en) 2021-07-07
CN112868045A (zh) 2021-05-28
EP3844706A4 (en) 2022-07-06
KR102649544B1 (ko) 2024-03-22
WO2020081772A1 (en) 2020-04-23
JP2022505203A (ja) 2022-01-14
WO2020081770A1 (en) 2020-04-23
KR20210054554A (ko) 2021-05-13
KR102593893B1 (ko) 2023-10-27
US20200126194A1 (en) 2020-04-23
US11265446B2 (en) 2022-03-01
KR102596182B1 (ko) 2023-11-02
JP2023139008A (ja) 2023-10-03
US11533413B2 (en) 2022-12-20
CN112868034B (zh) 2024-01-16
EP3844707A4 (en) 2022-07-13
CN112868046A (zh) 2021-05-28
EP3844708A4 (en) 2022-06-08
JP2022505293A (ja) 2022-01-14
US20210168263A1 (en) 2021-06-03
JP7416774B2 (ja) 2024-01-17
CN112930552B (zh) 2024-08-13
EP3844708A1 (en) 2021-07-07
KR102550342B1 (ko) 2023-07-05
CN112930552A (zh) 2021-06-08
EP3844707A1 (en) 2021-07-07
KR20210057077A (ko) 2021-05-20
WO2020081776A1 (en) 2020-04-23
JP2022505275A (ja) 2022-01-14
EP3844706A1 (en) 2021-07-07
US11252301B2 (en) 2022-02-15
CN112868034A (zh) 2021-05-28
EP3844682A4 (en) 2022-07-13
CN112868045B (zh) 2024-07-12
US11252300B2 (en) 2022-02-15
KR20210054556A (ko) 2021-05-13
US10931853B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
KR102596182B1 (ko) 업스케일링을 위한 향상된 컬러 재현
JP4990507B2 (ja) 映像の主要色成分調整装置、映像の主要色成分調整方法及び映像の主要色成分調整プログラムを記録するコンピュータで読み取り可能な記録媒体
US11037275B2 (en) Complex architecture for image processing
US9846826B2 (en) Image processing to generate a tone curve for processing an image by associating a model parameter of the image with another model parameter of a reference image
US20160026905A1 (en) Color converting apparatus and a color converting method
KR20140065894A (ko) 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
JP6089491B2 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体
JP6583285B2 (ja) 情報処理方法、映像処理装置及びプログラム
JP6337430B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP2014071853A (ja) 画像処理装置及び画像処理プログラム
KR102619830B1 (ko) 이미지 보정 방법 및 장치
KR102215607B1 (ko) 어두운 이미지의 밝기를 개선하기 위한 보정 처리가 가능한 전자 장치 및 그 동작 방법
CN104754313A (zh) 一种图像获取方法及电子设备
KR102160247B1 (ko) 전자 장치 및 이의 제어 방법
KR20210020476A (ko) 영상을 변환하는 컴퓨팅 장치 및 그 동작 방법
US10026152B2 (en) Image processing apparatus for providing visibility of an image while maintaining color in a natural state
KR102637112B1 (ko) 환경 벡터 기반 영상 생성 방법 및 장치
JP2014085852A (ja) 画像類似度算出装置およびその動作方法
JP2018142352A (ja) 画像処理システム、画像処理方法およびプログラム
JP4224933B2 (ja) 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体
JP7476345B2 (ja) 輪郭精度評価を用いた画像セグメンテーション訓練
Berthelette et al. Evaluating Various Color Spaces in Human Assisted Visual Pattern Classification
KR20240022265A (ko) 뉴럴 네트워크 기반의 영상 처리 방법 및 장치
JP2015011479A (ja) 画像平滑化装置、画像平滑化方法、およびプログラム
JP2017005326A (ja) 情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right