KR102617626B1 - 이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체 - Google Patents

이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체 Download PDF

Info

Publication number
KR102617626B1
KR102617626B1 KR1020227006382A KR20227006382A KR102617626B1 KR 102617626 B1 KR102617626 B1 KR 102617626B1 KR 1020227006382 A KR1020227006382 A KR 1020227006382A KR 20227006382 A KR20227006382 A KR 20227006382A KR 102617626 B1 KR102617626 B1 KR 102617626B1
Authority
KR
South Korea
Prior art keywords
color feature
histogram
intervals
interval
image
Prior art date
Application number
KR1020227006382A
Other languages
English (en)
Other versions
KR20220043158A (ko
Inventor
즈청 리
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20220043158A publication Critical patent/KR20220043158A/ko
Application granted granted Critical
Publication of KR102617626B1 publication Critical patent/KR102617626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

이미지 처리 방법이 제공되고, 이는, 컬러 특징 값이 각각의 컬러 특징 간격 내에 속하는 원본 이미지에서의 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득하는 단계; 컬러 특징 값이 각각의 컬러 특징 간격 내에 속하는 원본 이미지의 업샘플링된 이미지에서의 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하는 단계; 제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 각각의 컬러 특징 간격에 의해 매칭되는 타깃 컬러 특징 간격을 결정하는 단계; 제2 히스토그램에서의 각각의 컬러 특징 간격에 의해 매칭되는 타깃 컬러 특징 간격에 따라, 업샘플링된 이미지에서의 각각의 컬러 특징 간격에 속하는 픽셀들의 컬러 특징 값들을 처리하여 타깃 이미지를 획득하는 단계를 포함한다.

Description

이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체
<관련 출원>
본 출원은 "IMAGE PROCESSING METHOD, APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM"이라는 명칭으로 2020년 1월 14일자로 중국 특허청에 출원된 중국 특허 출원 제202010038997.5호에 대한 우선권을 주장하며, 이는 그 전체가 본 명세서에 참조로 원용된다.
<기술의 분야>
본 출원은 컴퓨터 기술들의 분야에, 특히, 이미지 처리 방법 및 장치, 전자 디바이스, 및 저장 매체에 관련된다.
이미지 처리의 분야에서, 일반적으로, 고-해상도 이미지가 획득될 필요가 있거나 또는 압축된 이미지의 해상도가 복원될 필요가 있다, 즉, 이미지에 대해 업샘플링 처리가 수행된다. 기존의 업샘플링 알고리즘은 보간 알고리즘, 딥 러닝 알고리즘 등을 주로 포함한다. 그 기본 원리는 인접 픽셀의 컬러 특징 값에 따라 삽입 픽셀의 컬러 특징 값을 계산하는 것이다. 이러한 알고리즘을 통해, 삽입 픽셀의 컬러 정보만이 로컬 인접 픽셀들의 컬러 정보에 따라 계산된다. 결과로서, 업샘플링된 이미지에서 명백한 에일리어싱, 컬러 에지 노이즈 등이 발생하고, 업샘플링된 이미지의 품질 및 디스플레이 효과가 감소된다.
이미지 처리 방법이 제공되고, 이는,
컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득하는 단계;
컬러 특징 값들이 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하는 단계;
제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하는 단계; 및
제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하는 단계를 포함한다.
이미지 처리 장치가 제공되고, 이는,
컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득하도록 구성되는 제1 카운팅 모듈;
컬러 특징 값들이 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하도록 구성되는 제2 카운팅 모듈;
제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하도록 구성되는 매칭 모듈; 및
제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하도록 구성되는 처리 모듈을 포함한다.
전자 디바이스가 제공되고, 이는, 메모리 및 하나 이상의 프로세서를 포함하고, 메모리는 컴퓨터-판독가능 명령어들을 저장하고, 컴퓨터-판독가능 명령어들은, 프로세서들에 의해 실행될 때, 하나 이상의 프로세서로 하여금 이미지 처리 방법의 동작들을 수행하게 한다.
컴퓨터-판독가능 명령어들을 저장하는 하나 이상의 비-휘발성 컴퓨터-판독가능 저장 매체가 제공되고, 컴퓨터-판독가능 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 이미지 처리 방법의 동작들을 수행하게 한다.
본 출원의 실시예들에서의 기술적 해결책들을 더 명확하게 설명하기 위해, 다음은 본 출원의 실시예들에서 요구되는 첨부 도면들을 간단히 설명한다. 분명히, 다음의 설명에서의 첨부 도면들은 본 출원의 일부 실시예들을 단지 도시하고, 해당 분야에서의 통상의 기술자는 창의적인 노력들 없이 이러한 첨부 도면들로부터 다른 도면들을 도출할 수 있다.
도 1a는 본 출원의 실시예에 따른 이미지 처리 방법의 애플리케이션 시나리오의 개략도이다.
도 1b는 본 출원의 다른 실시예에 따른 이미지 처리 방법의 애플리케이션 시나리오의 개략도이다.
도 1c는 본 출원의 실시예에 따른 이미지 처리 방법이 신경망에 적용가능한 개략도이다.
도 1d는 본 출원의 다른 실시예에 따른 이미지 처리 방법이 신경망에 적용가능한 개략도이다.
도 2는 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이다.
도 3은 본 출원의 실시예에 따른 이미지에 대응하는 그레이스케일 값들 및 이러한 그레이스케일 값들을 카운팅하는 것에 의해 획득되는 히스토그램을 도시한다.
도 4는 본 출원의 실시예에 따른 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정하는 개략적인 흐름도이다.
도 5는 본 출원의 실시예에 따른 업샘플링된 이미지 및 타깃 이미지의 대응 도면이다.
도 6은 본 출원의 실시예에 따른 이미지 처리 장치의 개략 구조도이다.
도 7은 본 출원의 실시예에 따른 전자 디바이스의 개략 구조도이다.
본 출원의 실시예들의 목적들, 기술적 해결책들, 및 이점들을 더 이해하기 쉽게 하기 위해, 다음은 본 출원의 실시예들에서의 첨부 도면들을 참조하여 본 출원의 실시예들에서의 기술적 해결책들을 명확하게 그리고 완전하게 설명한다.
이해를 용이하게 하기 위해, 다음은 본 출원의 실시예들에 수반되는 용어들을 설명한다.
질량 분포 프로파일이라고 또한 지칭되는 히스토그램은 통계적 보고 그래프이고, 상이한 높이들을 갖는 일련의 종방향 스트라이프들 또는 라인 세그먼트들에 의한 데이터 분포를 표현한다. 일반적으로, 데이터 타입은 수평 축을 사용하여 표현되고, 분포는 종방향 축을 사용하여 표현된다. 본 출원에서, 컬러 특징 값들은 미리 복수의 컬러 특징 간격으로 분할된다, 즉, 히스토그램의 수평 축이 컬러 특징 간격이다. 컬러 특징 값들이 하나의 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량이 카운팅되어, 이미지의 컬러 특징 분포를 표현하는 히스토그램을 획득한다.
RGB는 해당 산업에서의 컬러 표준이고, R(red), G(green), 및 B(blue)의 3개의 컬러 채널을 변경하고 이들 사이에서 중첩하는 것에 의해 다양한 컬러들을 획득하는 것이며, 여기서 RGB는 RGB 채널들의 컬러들: 적색, 녹색, 및 청색을 표현한다. 이러한 표준은 인간의 시각에 인지가능한 모든 컬러들을 거의 포함하고, 가장 널리 사용되는 컬러 시스템들 중 하나이다.
YUV는 컬러 인코딩 방법이고, 각각의 비디오 처리 어셈블리에서 흔히 사용된다. YUV는 인간의 인지를 고려하여 사진 또는 비디오를 인코딩하여, 크로미넌스에 대한 감소된 대역폭을 허용한다. YUV는 트루-컬러를 컴파일하기 위한 컬러 공간의 타입이다. Y'UV, YUV, YCbCr, YPbPr 등은, 서로 중첩하는, YUV라고 지칭될 수 있다. "Y"는 루미넌스 또는 루마, 즉, 그레이 레벨 값을 의미하고, "U" 및 "V"는 크로미넌스 또는 크로마를 의미하며, 이미지의 컬러 및 채도를 설명하기 위해 사용되고 픽셀의 컬러를 명시하기 위해 사용된다.
CIELab: CIELab는 국제 조명 위원회(CIE)의 컬러 시스템 및 컬러 표현 시스템이고, CIELab에 기초하는 것의 의미는 이러한 컬러 시스템에 기초하는 것이고, 이러한 컬러 시스템은 기본적으로 컬러의 수치 정보를 결정하기 위해 사용된다. Lab 모드는 1976년에 CIE에 의해 공개된 컬러 모드이고, 인간의 눈에 가시적인 그리고 CIE 기구에 의해 결정되는 모든 컬러들을 이론적으로 포함하는 컬러 모드이다. Lab 모드는 RGB 및 CMYK의 2개의 컬러 모드들의 결점을 보완하며, 하나의 컬러 모드로부터 다른 컬러 모드로 변환하기 위해 Photoshop에 의해 사용되는 내부 컬러 모드이다. Lab 모드는 또한 3개의 채널들에 의해 형성된다. 제1 채널은 명도, 즉, "L"이다. a 채널의 컬러는 적색으로부터 암녹색까지이다. b 채널의 컬러는 청색으로부터 황색까지이다. 컬러 범위를 표현하는 관점에서, Lab 모드가 가장 포괄적이고, RGB 모드가 뒤따르고, 마지막으로 CMYK 모드가 뒤따른다. 즉, Lab 모드는 대부분의 컬러들을 정의하고, 광 및 디바이스와 독립적이고, 처리 속도는 RGB 모드의 것과 동일하고, CMYK 모드보다는 몇배 더 빠르다.
컬러 특징 간격은 컬러 특징에 대응하는 컬러 특징 값의 범위를 분할하는 것에 의해 획득되는 복수의 간격 범위들이다. 본 출원에서, 컬러 특징은 픽셀의 컬러 특징을 표현하는 픽셀의 그레이스케일, 휘도, 및 컬러와 같은 데이터일 수 있다. 예를 들어, 컬러 특징은 픽셀의 그레이스케일이고, 그레이스케일 값은 0 내지 255의 범위에 있다. 0 내지 255의 그레이스케일 값 범위는 복수의 간격 범위들로 분할될 수 있고, 각각의 간격 범위는 컬러 특징 간격으로서 사용된다. 예를 들어, 0 내지 15가 컬러 특징 간격이고, 16 내지 31이 컬러 특징 간격이다. 유추에 의하면, 총 16개의 연속적 컬러 특징 간격들 b1 내지 b16이 획득될 수 있다. 설명의 편의상, 컬러 특징 간격 bi의 등급이 i로서 기록된다.
서브샘플링: 또는 다운샘플링이라고 지칭되는 것은, 이미지의 해상도를 감소시키는 것, 즉, 이미지의 픽셀들의 수량을 감소시켜, 이미지가 디스플레이 영역의 크기를 충족시키거나 또는 원본 이미지에 대응하는 썸네일이 생성되게 하는 것이다.
업샘플링: 또는 이미지 수퍼 해상도(image super resolution)라고 지칭되는 것은, 이미지의 해상도를 개선하는 것, 즉, 이미지의 픽셀들의 수량을 증가시켜, 이미지가 고-해상도 애플리케이션 시나리오에서 사용될 수 있거나 또는 원본 이미지의 손실된 상세사항들이 복구되게 하는 것이다. 실제 애플리케이션에서, 이미지 보간을 통해 또는 딥 러닝 알고리즘을 사용하여 이미지에 대해 업샘플링 처리가 수행될 수 있다. 보통의 보간 알고리즘은 최근접 이웃 보간 알고리즘, 쌍선형 보간 알고리즘, 쌍큐빅 보간 알고리즘, 평균 보간, 중간 보간 알고리즘 등을 포함한다.
일반적으로, 고-해상도 이미지가 획득될 필요가 있을 때, 원본 이미지가 업샘플링되어, 원본 이미지에서 더 많은 상세사항들을 복원 또는 재구성할 수 있고, 그렇게 함으로써 이미지를 더 높은 해상도를 갖는 디스플레이 디바이스에서 디스플레이한다. 대안적으로, 이미지가 신경망을 사용하여 처리될 때, 일반적으로, 입력 이미지는 먼저 다운샘플링되고, 다음으로 신경망에 입력되어 입력 이미지의 해상도가 신경망의 입력 크기와 매칭되는 것을 보장하고, 다음으로 신경망의 출력 이미지가 업샘플링되어, 출력 이미지의 해상도를 원래의 해상도로 복원한다. 적어도 하나의 다운샘플링 네트워크 레이어가 대안적으로 신경망에 배치될 수 있고, 이미지의 해상도가 처리 동안 감소되어 처리 효율을 개선한다. 적어도 하나의 업샘플링 네트워크 레이어가 배치되어, 다운샘플링된 이미지의 해상도를 복원한다.
첨부 도면들에서의 엘리먼트들의 임의의 수량은 제한이 아니라 단지 예이고, 임의의 용어는 단지 구별을 위해 사용되고, 어떠한 제한 의미도 갖지 않는다.
구체적인 실시 프로세스에서, 관련된 업샘플링 알고리즘은 이미지 보간 알고리즘, 딥 러닝 알고리즘 등을 주로 포함한다. 임의의 보간 알고리즘의 기본 원리는 인접 픽셀의 컬러 특징 값에 따라 삽입 픽셀의 컬러 특징 값을 계산하는 것이다. 딥 러닝 알고리즘의 기본 원리는 또한 삽입 픽셀을 획득하기 위해 신경망을 사용하여 인접 픽셀들 사이의 관계를 학습하는 것이다. 삽입 픽셀의 컬러 정보는 로컬 인접 픽셀들의 컬러 정보만을 기초로 하는 알고리즘들을 통해 계산된다. 결과로서, 업샘플링된 이미지는 명백한 에일리어싱, 컬러 에지 노이즈 등을 가지며, 이미지의 에지에 위, 아래, 좌측 또는 우측 중 하나 또는 2개의 방향이 없는 인접 픽셀 세트들이 존재한다. 현재의 알고리즘들이 사용될 때 이용가능한 인접 픽셀들을 사용하여 채움이 수행되고, 이미지의 에지에서의 픽셀 효과는 예상된 효과와 크게 상이하여, 업샘플링된 이미지의 품질 및 디스플레이 효과에서의 감소를 초래한다.
이러한 관점에서, 본 출원은 이미지 처리 방법을 제공하고, 이는, 컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득하는 단계; 컬러 특징 값들이 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하는 단계; 제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하는 단계; 및, 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하는 단계를 포함한다. 이러한 이미지 처리 방법에 따르면, 제1 히스토그램은 원본 이미지에서의 컬러 특징 분포를 표현하는 히스토그램이고, 제2 히스토그램은 업샘플링된 이미지에서의 컬러 특징 분포를 표현하는 히스토그램이다. 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들은 제1 히스토그램 및 제2 히스토그램에 도시되는 컬러 특징 분포들에 따라 결정되고, 다음으로 업샘플링된 이미지에서의 픽셀들의 컬러 특징 값들은 매칭된 타깃 컬러 특징 간격들에 따라 하나씩 조정되어, 업샘플링된 이미지에 대응하는 타깃 이미지를 획득하여, 업샘플링된 이미지에 대응하는 타깃 이미지에서의 컬러 특징 분포는 원본 이미지에서의 컬러 특징 분포와 가능한 한 많이 일치하게 된다. 이러한 방법을 사용하여, 업샘플링된 이미지에서의 에일리어싱, 컬러 에지 노이즈 등이 분명하게 약화될 수 있고, 업샘플링된 이미지의 품질 및 디스플레이 효과가 개선되고, 이미지 상세사항들이 더 양호하게 복원되며, 처리 방식이 간단하고 효율적이다. 이러한 방법은 높은 처리 효율 요건, 예를 들어, 비디오 실시간 송신을 갖는 애플리케이션 시나리오에 특히 적용가능하다.
본 출원의 실시예들의 설계 아이디어가 설명된 후에, 다음은 본 출원의 이러한 실시예에서의 기술적 해결책들이 적용가능한 애플리케이션 시나리오들을 간단히 설명한다. 아래에 설명되는 애플리케이션 시나리오들은 본 출원의 실시예들을 제한하기보다는 오히려 설명하기 위해 단지 사용된다. 구체적인 구현 동안, 본 출원의 실시예들에서 제공되는 기술적 해결책들이 실제 요건에 따라 유연하게 적용가능하다.
도 1a는 본 출원의 실시예에 따른 이미지 처리 방법의 애플리케이션 시나리오의 개략도이다. 이러한 애플리케이션 시나리오는 단말 디바이스(101-1), 단말 디바이스(101-2), ..., 및 단말 디바이스(101-n), 및 백-엔드 서버(102)를 포함하는 복수의 단말 디바이스들을 포함한다. 단말 디바이스들은 무선 또는 유선 네트워크를 통해 백-엔드 서버(102)에 접속된다. 단말 디바이스들은, 이에 제한되는 것은 아니지만, 데스크톱 컴퓨터, 스마트폰, 모바일 컴퓨터, 태블릿 컴퓨터, 미디어 플레이어, 스마트 웨어러블 디바이스, 텔레비전, 감시 카메라 등을 포함한다. 백-엔드 서버는 하나의 서버, 다수의 서버들에 의해 형성되는 서버 클러스터, 또는 클라우드 컴퓨팅 센터일 수 있다. 단말 디바이스는 이미지 또는 비디오를 백-엔드 서버(102)에 업로드하거나, 또는 백-엔드 서버(102)로부터 이미지 또는 비디오를 획득할 수 있다. 이미지 또는 비디오 획득 또는 송신 동안, 제한된 대역폭을 효과적으로 사용하기 위해, 저-해상도 이미지 또는 비디오가 송신될 수 있고, 다음으로 저-해상도 이미지 또는 비디오는 수신단에서 고-해상도 이미지 또는 비디오로 변환된다. 단말 디바이스 또는 백-엔드 서버(102)는 이미지 또는 비디오에 대해 업샘플링 처리를 수행할 때 본 출원에서 제공되는 이미지 처리 방법을 참조하여 업샘플링된 이미지에 대해 강화 처리를 수행할 수 있다. 구체적인 애플리케이션 시나리오가 비디오 라이브 스트리밍, 비디오 송신, 이미지 송신 등으로 제한되는 것은 아니다.
물론, 이미지 또는 비디오는 대안적으로 2개의 단말 디바이스들 사이에서 직접 송신될 수 있다. 예를 들어, 감시 카메라는 취득된 비디오에 관해 다운샘플링 처리를 수행하고 다음으로 다운샘플링된 비디오를 감시 디스플레이에 송신하고, 감시 디스플레이는 다운샘플링된 비디오에 관해 업샘플링 처리를 수행하여, 디스플레이를 위한 고-해상도 비디오를 획득한다.
도 1b는 본 출원의 실시예에 따른 이미지 처리 방법의 애플리케이션 시나리오의 개략도이다. 이미지 처리 애플리케이션이 단말 디바이스(111)에 설치되고, 본 출원에서 제공되는 이미지 처리 방법에 대응하는 소프트웨어 기능 모듈이 이미지 처리 애플리케이션에 이식된다. 단말 디바이스(111)에서의 이미지 처리 애플리케이션을 사용하여 원본 이미지에 대응하는 고-해상도 이미지(즉, 업샘플링된 이미지)를 획득할 때, 사용자는 본 출원에서 제공되는 이미지 처리 방법을 사용하여 그리고 원본 이미지의 히스토그램 및 업샘플링된 이미지의 히스토그램에 기초하여 업샘플링된 이미지를 처리하여, 고-해상도 이미지를 획득할 수 있다. 예를 들어, 압축된 이미지 또는 비디오, 오염되고 손상된 화상, 또는 비교적 낮은 해상도를 갖는 감시 비디오 또는 화상이 이미지 처리 애플리케이션을 통해 복원되고 재구성될 수 있다. 단말 디바이스(111)는, 이에 제한되는 것은 아니지만, 이미지 처리 애플리케이션을 실행할 수 있는 데스크톱 컴퓨터, 모바일 컴퓨터, 태블릿 컴퓨터, 및 스마트폰과 같은 디바이스들을 포함한다.
본 출원에서 제공되는 이미지 처리 방법은 이미지 보기 소프트웨어 또는 이미지 편집 소프트웨어에 추가로 이식될 수 있다. 사용자가 이미지 보기 소프트웨어 또는 이미지 편집 소프트웨어를 통해 이미지를 볼 때, 그리고 사용자가 이미지의 일부 상세사항들에 집중할 필요가 있으면, 이미지는 스케일링되고 변환될 수 있다. 이러한 경우에, 이미지 보기 소프트웨어 또는 이미지 편집 소프트웨어는 원본 이미지의 히스토그램 및 업샘플링된 이미지의 히스토그램에 기초하여 업샘플링된 이미지를 처리하여, 고-해상도 이미지를 획득할 수 있다.
본 출원에서 제공되는 이미지 처리 방법은 레이더 이미지들, 위성 원격 감지 이미지들, 천문 관찰 이미지들, 지리 탐사 데이터 이미지들, 생의학 슬라이스들, 및 현미경 이미지들, 및 일상의 사람 풍경 이미지들 및 비디오들과 같은 특수 이미지들의 처리에 널리 사용될 수 있다.
본 출원에서 제공되는 이미지 처리 방법은 신경망에 추가로 적용가능하다. 예를 들어, 도 1c를 참조하면, 이미지가 신경망을 사용하여 처리될 때, 일반적으로, 입력 이미지는 먼저 다운샘플링되고, 다음으로 신경망에 입력되어 입력 이미지의 해상도가 신경망의 입력 크기와 매칭되는 것을 보장하고, 다음으로 신경망의 출력 이미지가 업샘플링되어, 출력 이미지의 해상도를 입력 이미지의 해상도로 복원한다. 본 출원에서 제공되는 이미지 처리 방법을 사용하여 업샘플링된 이미지에 대해 강화 처리가 수행되어, 타깃 이미지를 획득하고, 타깃 이미지의 품질 및 디스플레이 효과를 개선할 수 있다. 다른 예에서, 도 1d를 참조하면, 신경망은 적어도 1회의 다운샘플링 처리를 추가로 포함할 수 있고, 이미지의 해상도는 처리 동안 감소되어 처리 효율을 개선하고, 이미지의 해상도는 적어도 1회의 업샘플링 처리를 통해 복원된다. 이러한 경우, 강화 처리 레이어가 업샘플링 네트워크 레이어 이후에 추가되어, 본 출원에서 제공되는 이미지 처리 방법을 사용하여 업샘플링된 이미지를 처리하여, 업샘플링된 이미지의 품질을 개선하고, 다음으로 처리된 이미지가 처리를 위해 다음 네트워크 레이어에 입력될 수 있다.
물론, 본 출원의 실시예들에서 제공되는 방법은 애플리케이션 시나리오들에 제한되지 않고, 다른 가능한 애플리케이션 시나리오들에 추가로 적용가능하다. 이러한 것이 본 출원의 실시예들에서 제한되는 것은 아니다. 이러한 애플리케이션 시나리오들에서 디바이스들에 의해 구현될 수 있는 기능들은 후속 방법 실시예들에서 함께 설명될 것이고, 상세사항들이 본 명세서에서 다시 설명되지는 않는다.
본 출원의 실시예들에서 제공되는 기술적 해결책들을 추가로 설명하기 위해, 기술적 해결책들은 첨부 도면들 및 구체적인 실시예들을 참조하여 아래에 상세히 설명된다. 본 출원의 실시예들은 다음의 실시예들 또는 첨부 도면들에 도시되는 방법 동작 단계들을 제공하더라도, 종래의 노력들에 기초하여 또는 창의적인 노력들 없이 더 많은 또는 더 적은 동작 단계들이 이러한 방법들에 포함될 수 있다. 필요한 인과 관계가 논리적으로 존재하지 않는 단계들에서, 단계들의 실행 순서가 본 출원의 실시예들에서 제공되는 실행 순서들로 제한되는 것은 아니다.
본 출원의 이러한 실시예에서 제공되는 기술적 해결책은 아래의 애플리케이션 시나리오들을 참조하여 설명된다.
도 2는 본 출원의 실시예에 따른 이미지 처리 방법을 도시한다. 이러한 방법은 애플리케이션 시나리오에서 단말 디바이스 또는 백-엔드 서버에 적용가능하고, 구체적으로 다음의 단계들을 포함한다.
S201. 컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득함.
본 출원의 이러한 실시예에서, 원본 이미지는 업샘플링 처리 전의 이미지일 수 있고, 원본 이미지는 개별 이미지일 수 있거나 또는 비디오에서의 이미지의 프레임일 수 있다.
본 출원의 이러한 실시예에서, 컬러 특징은 픽셀의 컬러 특성을 표현하는 특징이다, 예를 들어, 컬러 특징은 픽셀의 그레이스케일, 휘도, 컬러 등일 수 있다. 대응하여, 컬러 특징 값은 다음: 픽셀의 그레이스케일 값, 픽셀의 휘도 값, 픽셀의 컬러 값 등 중 적어도 하나를 포함한다.
구체적인 구현 동안, 컬러 값은 이미지에 사용되는 컬러 시스템에 따라 결정될 수 있다. 예를 들어, 이미지가 그레이스케일 이미지일 때, 이미지에서의 각각의 픽셀의 컬러 특징은 그레이스케일 값을 포함할 수 있다. 이러한 경우, 그레이스케일 값에 대응하는 히스토그램이 이미지에 대해 획득될 수 있다. 이미지의 컬러가 RGB를 통해 설명될 때, 이미지에서의 각각의 픽셀은 R(red), G(green), 및 B(blue)의 3개의 컬러 특징들을 갖고, 이러한 3개의 컬러 특징들은 각각 카운팅될 수 있다, 즉, R(red), G(green), 및 B(blue)의 3개의 컬러 특징들에 각각 대응하는 3개의 히스토그램들이 이미지에 대해 획득될 수 있다. 컬러 이미지에 대해, 컬러 이미지에서의 각각의 픽셀의 그레이스케일 값은 다음의 공식을 통해 획득될 수 있다: gray=R×0.299+G×0.587+B×0.114.
구체적인 구현 동안, 컬러 특징 간격은 구체적인 애플리케이션 시나리오 및 컬러 특징에 대응하는 특징 값의 범위에 따라 해당 분야에서의 기술자에 의해 미리 설정될 수 있고, 하나의 컬러 특징 간격은 하나의 컬러 특징 값 또는 컬러 특징 값 범위에 대응할 수 있다. 예를 들어, 컬러 특징은 픽셀의 그레이스케일이고, 그레이스케일 값은 0 내지 255의 범위에 있다. 각각의 그레이스케일 값은 컬러 특징 간격으로서 사용될 수 있다, 즉, 총 256개의 그레이스케일 간격이 획득될 수 있다. 대안적으로, 0 내지 255의 그레이스케일 값 범위가 복수의 영역들로 분할될 수 있고, 각각의 영역이 컬러 특징 간격으로서 사용된다. 예를 들어, 0 내지 15가 컬러 특징 간격이고, 16 내지 31이 컬러 특징 간격이다. 유추에 의하면, 총 16개의 컬러 특징 간격들 b1 내지 b16이 획득될 수 있다. 도 3은 이미지에서의 각각의 픽셀의 그레이스케일 값을 도시한다. 그레이스케일 값들이 이미지의 16개의 컬러 특징 간격들 내에 속하는 픽셀들의 수량이 카운팅되어, 이미지의 그레이스케일 값들에 대응하는 히스토그램을 획득한다.
S202. 컬러 특징 값들이 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득함.
본 출원의 이러한 실시예에서, 업샘플링된 이미지는 원본 이미지에 대해 업샘플링 처리를 수행하는 것에 의해 획득되는 이미지이다. 구체적인 업샘플링 처리 방법이 본 출원에서 제한되는 것은 아니다.
제1 히스토그램에서의 컬러 특징 간격은 제2 히스토그램에서의 것과 동일하다.
S203. 제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정함.
S204. 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득함.
본 출원의 이러한 실시예에서, 제1 히스토그램은 원본 이미지에서의 컬러 특징 분포를 표현하는 히스토그램이고, 제2 히스토그램은 업샘플링된 이미지에서의 컬러 특징 분포를 표현하는 히스토그램이다.
구체적인 구현 동안, 제1 히스토그램 및 제2 히스토그램에 도시되는 컬러 특징 분포들에 따라 제2 히스토그램에서의 컬러 특징 간격들과 제1 히스토그램에서의 컬러 특징 간격들 사이의 매칭 관계가 결정될 수 있고, 이러한 매칭 관계는 제1 히스토그램 및 제2 히스토그램에서의 컬러 특징 분포들에 가장 가까운 컬러 특징 간격들 사이의 대응관계를 보여주고, 이러한 매칭 관계에 기초하여 제2 히스토그램에서의 컬러 특징 간격들에 매칭되는 타깃 컬러 특징 간격들이 결정된다. 후속하여, 업샘플링된 이미지에서의 픽셀들의 컬러 특징 값들이 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라 하나씩 조정되어, 업샘플링된 이미지에 대응하는 타깃 이미지를 획득하고, 업샘플링된 이미지에 대응하는 타깃 이미지에서의 컬러 특징 분포가 원본 이미지에서의 컬러 특징 분포와 가능한 한 많이 일치하게 된다.
구체적인 구현 동안, 제2 히스토그램에서의 컬러 특징 간격이 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격과 동일하면, 업샘플링된 이미지에서의 컬러 특징 간격 내에 속하는 픽셀의 컬러 특징 값을 조정할 필요가 없다.
원본 이미지의 업샘플링된 이미지에 대해, 복수의 컬러 특징들이 동시에 조정될 수 있다. 이러한 경우, 원본 이미지에서의 복수의 컬러 특징들의 각각의 컬러 특징의 제1 히스토그램 및 업샘플링된 이미지에서의 각각의 컬러 특징의 제2 히스토그램이 획득되고, 다음으로 컬러 특징들에 대응하는 제1 히스토그램들 및 제2 히스토그램들에 기초하여 업샘플링된 이미지에서의 컬러 특징들의 컬러 특징 값들이 각각 조정된다.
예를 들어, 업샘플링된 이미지의 휘도 및 그레이스케일이 조정될 필요가 있다면, 원본 이미지의 휘도에 대응하는 제1 히스토그램 VL1, 원본 이미지의 그레이스케일에 대응하는 제1 히스토그램 VG1, 업샘플링된 이미지의 휘도에 대응하는 제2 히스토그램 VL2, 및 업샘플링된 이미지의 그레이스케일에 대응하는 제2 히스토그램 VG2가 획득된다. 후속하여, 제1 히스토그램 VL1 및 제2 히스토그램 VL2에 기초하여 제2 히스토그램에서의 휘도 간격들과 매칭되는 타깃 휘도 간격들이 각각 결정되고, 업샘플링된 이미지 P1에서의 휘도 간격들 내에 속하는 픽셀들의 휘도 값들이 휘도 간격들과 매칭되는 타깃 휘도 간격들에 따라 휘도 간격들과 매칭되는 타깃 휘도 간격들에 대응하는 휘도 값들로 조정되어, 이미지 P2를 획득한다. 다음으로, 제1 히스토그램 VG1 및 제2 히스토그램 VG2에 기초하여 제2 히스토그램에서의 그레이스케일 간격들과 매칭되는 타깃 그레이스케일 간격들이 각각 결정되고, 이미지 P2에서의 그레이스케일 간격들 내에 속하는 픽셀들의 그레이스케일 값들이 그레이스케일 간격들과 매칭되는 타깃 그레이스케일 간격들에 따라 그레이스케일 간격들과 매칭되는 타깃 그레이스케일 간격들에 대응하는 그레이스케일 값들로 조정되어, 타깃 이미지 P3을 획득한다.
예를 들어, 이미지가 YUV 컬러 인코딩을 통해 샘플링될 때, 원본 이미지의 Y, U, 및 V의 컬러 특징들에 각각 대응하는 제1 히스토그램들 및 업샘플링된 이미지의 Y, U, 및 V의 컬러 특징들에 각각 대응하는 제2 히스토그램들이 획득될 수 있다. 컬러 특징 Y에 대응하는 제1 히스토그램 및 제2 히스토그램에 기초하여 컬러 특징 Y에 대응하는 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 각각 결정되고, 업샘플링된 이미지 P1에서의 컬러 특징 Y에 대응하는 제2 히스토그램에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 Y의 값들이 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라 처리되어, 이미지 P2를 획득한다. 후속하여, 컬러 특징 U에 대응하는 제1 히스토그램 및 제2 히스토그램에 기초하여 컬러 특징 U에 대응하는 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 각각 결정되고, 이미지 P2에서의 컬러 특징 U에 대응하는 제2 히스토그램에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 U의 값들이 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라 처리되어, 이미지 P3을 획득한다. 마지막으로, 컬러 특징 V에 대응하는 제1 히스토그램 및 제2 히스토그램에 기초하여 컬러 특징 V에 대응하는 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 각각 결정되고, 이미지 P3에서의 컬러 특징 V에 대응하는 제2 히스토그램에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 V의 값들이 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라 처리되어, 타깃 이미지를 획득한다.
본 출원의 이러한 실시예에서 제공되는 이미지 처리 방법에 따르면, 업샘플링된 이미지에서의 에일리어싱, 컬러 에지 노이즈 등이 분명하게 약화될 수 있고, 업샘플링된 이미지의 품질 및 디스플레이 효과가 개선되고, 이미지 상세사항들이 더 양호하게 복원되며, 처리 방식이 간단하고 효율적이다. 이러한 방법은 높은 처리 효율 요건, 예를 들어, 비디오 실시간 송신을 갖는 애플리케이션 시나리오에 특히 적용가능하다.
구체적인 구현 동안, 제2 히스토그램에서의 컬러 특징 간격들과 제1 히스토그램에서의 컬러 특징 간격들 사이의 매칭 관계가 복수의 방식들로 결정되어, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정할 수 있다.
가능한 구현에서, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 제1 히스토그램 및 제2 히스토그램에서의 컬러 특징 간격들에 대응하는 각각 계산된 비율들에 따라 결정될 수 있다. 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 원본 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 원본 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율이고, 제2 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 업샘플링된 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 업샘플링된 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율이다.
전술한 바에 기초하여, 단계 S203은 구체적으로, 제1 히스토그램에서의 컬러 특징 간격들에 대응하는 비율들과 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 비율 사이의 차이들을 결정하는 단계, 및, 명시된 조건을 충족하는 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격으로부터, 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하는 단계를 포함한다.
구체적인 구현 동안, 명시된 조건은 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 모든 차이들의 최소 값일 수 있다. 예를 들어, 제1 히스토그램 및 제2 히스토그램 각각은 16개의 컬러 특징 간격들 b1 내지 b16을 포함한다. 제2 히스토그램에서의 컬러 특징 간격 b1이 예로서 사용되고, 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율과 제2 히스토그램에서의 컬러 특징 간격 b1의 비율 사이의 차이가 계산되고, 총 16개의 차이들이 획득될 수 있다. 최소 차이가 16개의 차이들로부터 선택되고, 최소 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격이 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격으로서 결정된다. 예를 들어, 최소 차이는 제2 히스토그램에서의 컬러 특징 간격 b1의 비율과 제1 히스토그램에서의 컬러 특징 간격 b3의 비율 사이의 차이이고, 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격은 b3이다.
구체적인 구현 동안, 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 모든 차이들은 대안적으로 오름차순으로 배열될 수 있다. 이러한 경우에, 명시된 조건은 상위 N개의 차이들일 수 있고, N은 1 이상이고 컬러 특징 간격들의 총 수량 미만이다. N의 구체적인 값은 실제 애플리케이션 시나리오에 따라 해당 분야에서의 기술자에 의해 결정될 수 있으며, 이는 본 출원의 이러한 실시예에서 제한되는 것은 아니다. 예를 들어, 제1 히스토그램 및 제2 히스토그램 각각은 16개의 컬러 특징 간격들 b1 내지 b16을 포함하고, N=3이다. 제2 히스토그램에서의 컬러 특징 간격 b1이 예로서 사용되고, 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율과 제2 히스토그램에서의 컬러 특징 간격 b1의 비율 사이의 차이가 계산되고, 총 16개의 차이들이 획득될 수 있다. 16개의 차이들은 오름차순으로 배열되고, 상위 3개의 차이들이 선택된다. 상위 3개의 차이들에 대응하는 제1 히스토그램에서의 컬러 특징 간격들이 b1, b3, 및 b10이고, 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격으로서 b1, b3, 및 b10으로부터 하나의 컬러 특징 간격이 결정된다고 가정된다.
구체적인 구현 동안, 명시된 조건은 대안적으로 차이가 차이 임계값 미만인 것, 즉, 차이 임계값 미만인 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격이 제2 히스토그램에서의 차이에 대응하는 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정되는 것일 수 있다. 제2 히스토그램에서의 컬러 특징 간격 b1이 예로서 사용된다. 제2 히스토그램에서의 컬러 특징 간격 b1의 비율과 제1 히스토그램에서의 컬러 특징 간격 b4의 비율 사이의 차이는 차이 임계값보다 미만이고, 제2 히스토그램에서의 컬러 특징 간격 b1의 비율과 제1 히스토그램에서의 컬러 특징 간격 b2의 비율 사이의 차이는 차이 임계값 미만이어서, 컬러 특징 간격 b2 또는 b4 중 하나가 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격으로서 결정된다.
이러한 구현에서 제공되는 이미지 처리 방법에 따르면, 제1 히스토그램에서의 컬러 특징 간격들의 비율들과 제2 히스토그램에서의 컬러 특징 간격들의 비율들 사이의 차이들에 따라 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 간단하고 효과적으로 결정될 수 있어서, 업샘플링된 이미지에서의 에일리어싱, 컬러 에지 노이즈 등이 분명히 약화될 수 있고, 업샘플링된 이미지의 품질 및 디스플레이 효과가 개선되고, 그렇게 함으로써 이미지 상세사항들을 더 잘 복원한다.
추가로, 단지 하나의 차이만이 명시된 조건을 충족할 때, 명시된 조건을 충족하는 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격이 제2 히스토그램에서의 임의의 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정된다. 적어도 2개의 차이들이 명시된 조건을 충족할 때, 적어도 2개의 차이들의 각각의 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격이 결정되고; 적어도 2개의 결정된 컬러 특징 간격으로부터 컬러 특징 간격과 최소 등급 차이를 갖는 컬러 특징 간격이 선택되고, 최소 등급 차이를 갖는 컬러 특징 간격이 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정된다.
본 출원의 이러한 실시예에서, 2개의 컬러 특징 간격들 사이의 더 작은 등급 차이는 2개의 컬러 특징 간격에 의해 표현되는 컬러 특징 값들이 더 가깝다는 점을 표시한다. 그레이스케일 값이 예로서 사용된다. 컬러 특징 간격 b1에 대응하는 그레이스케일 값 범위는 0 내지 15이고, 컬러 특징 간격 b2에 대응하는 그레이스케일 값 범위는 16 내지 31이고, 컬러 특징 간격 b16에 대응하는 그레이스케일 값 범위는 240 내지 255이다. 분명히, 컬러 특징 간격 b1의 그레이스케일 값들은 컬러 특징 간격 b2의 그레이스케일 값들에 더 가깝다. 동일한 이미지에서의 복수의 컬러 특징 간격들의 비율들이 동일할 수 있기 때문에, 제2 히스토그램에서의 하나의 컬러 특징 간격에 대해, 제1 히스토그램에서의 복수의 컬러 특징 간격들의 비율들은 제2 히스토그램에서의 컬러 특징 간격의 비율과 동일하거나 또는 유사할 수 있고, 유사한 컬러 특징 간격들은 예상되고 조정된 타깃 컬러 특징 간격들이다.
제2 히스토그램에서의 컬러 특징 간격 b1이 예로서 사용된다. 제2 히스토그램에서의 컬러 특징 간격 b1의 비율과 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율 사이의 차이가 계산되고, 총 16개의 차이들이 획득될 수 있고, 이는, d1,1, d1,2, ..., d1,i, ..., 및 d1,16이고, d1,i는 제2 히스토그램에서의 컬러 특징 간격 b1의 비율과 제1 히스토그램에서의 컬러 특징 간격 bi의 비율 사이의 차이를 표현한다. 16개의 차이들 중 d1,2 및 d1,5 가 명시된 조건을 충족하면, 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 제1 히스토그램에서의 컬러 특징 간격들은 각각 b2 및 b5이다. 이러한 경우, 컬러 특징 간격 b2와 컬러 특징 간격 b1 사이의 등급 차이는 컬러 특징 간격 b5와 컬러 특징 간격 b1 사이의 등급 차이 미만이고, 즉, 컬러 특징 간격 b2에 대응하는 컬러 특징 값은 컬러 특징 간격 b1에 대응하는 컬러 특징 값에 더 가깝고, 따라서 제2 히스토그램에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격은 b2이다.
추가로, 히스토그램과 매칭되는 발명의 아이디어에 기초하여, 매칭 정확도를 개선하기 위해, 제1 히스토그램 및 제2 히스토그램에서의 카운팅을 통해 그리고 일부 알고리즘들을 사용하여 획득되는 컬러 특징 값들의 분포들에 기초하여 제1 히스토그램에서의 컬러 특징 간격들과 제2 히스토그램에서의 컬러 특징 간격들 사이의 매핑 관계가 결정될 수 있고, 이러한 매핑 관계에 기초하여 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 결정될 수 있다.
예를 들어, 제1 히스토그램에서의 컬러 특징 간격들과 제2 히스토그램에서의 컬러 특징 간격들 사이의 매핑 관계는 다음의 공식을 통해 결정될 수 있다:
여기서, MIN은 최소 값을 획득하기 위한 함수이고, 는 함수 MIN에 의해 출력되는 최소 값에 대응하는 컬러 특징 간격 bj를 획득하기 위한 함수이고, i는 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi를 표현하고, V2[i]는 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi의 비율을 표현하고, V1[j]는 제1 히스토그램 V1에서의 j번째 컬러 특징 간격 bj의 비율을 표현하고, 1jn이고, n은 컬러 특징 간격들의 총 수량이다. a=MSE/618이고, 여기서 평균 제곱 오차 MSE=이다. 파라미터 a는 제1 히스토그램 및 제2 히스토그램에서의 컬러 특징 간격들의 비율들의 전체 오프셋을 표현할 수 있고, 파라미터 는 제1 히스토그램에서의 컬러 특징 간격 j와 제2 히스토그램에서의 컬러 특징 간격 i 사이의 등급 차이를 표현하고, 제2 히스토그램에서의 컬러 특징 간격 i에 가까운 컬러 특징 간격이 히트될 확률은 파라미터 c를 증가시키는 것에 의해 개선될 수 있다. 는 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi와 매칭되는 타깃 컬러 특징 간격에 대응하는 인덱스 번호, 예를 들어, 이다, 즉, 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi와 매칭되는 타깃 컬러 특징 간격은 bk이다.
실제 애플리케이션에서, 매핑 관계 가 열거된 공식에 제한되는 것은 아니고, 파라미터들 a 및 c 또한 열거된 방식에 제한되는 것은 아니다. 예를 들어, 매핑 관계는 추가로 다음과 같을 수 있다:
대안적으로, 매핑 관계는 다음과 같을 수 있다:
여기서, 는 최대 값을 획득하기 위한 함수이고, 를 보장한다.
이러한 구현에서 제공되는 이미지 처리 방법에 따르면, 제1 히스토그램에서의 컬러 특징 간격들의 비율들과 제2 히스토그램에서의 컬러 특징 간격들의 비율들 사이의 차이들에 기초하여, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 컬러 특징 간격들 사이의 등급 차이들을 참조하여 결정되어, 매칭 정확도를 추가로 개선한다.
다른 가능한 구현에서, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들은 원본 이미지의 제1 히스토그램 및 업샘플링된 이미지의 제2 히스토그램에 따라 계산될 수 있다. 컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량이 제1 히스토그램에서 카운팅되고, 컬러 특징 값들이 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량이 제2 히스토그램에서 카운팅된다.
전술한 바에 기초하여, 도 4를 참조하면, 단계 S203은 다음의 단계들을 포함할 수 있다.
S401. 제1 히스토그램에 따라 원본 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제1 평균 값 및 제1 분산을 결정하고, 제2 히스토그램에 따라 업샘플링된 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제2 평균 값 및 제2 분산을 결정함.
구체적인 구현 동안, 제1 평균 값은 이고, 제1 분산은 이고, 제2 평균 값은 이고, 제2 분산은 이고, 여기서 n은 컬러 특징 간격들의 총 수량이고, 은 제1 히스토그램 V1에서의 i번째 컬러 특징 간격 bi의 비율을 표현하고, 는 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi의 비율을 표현한다.
S402. 제1 평균 값, 제1 분산, 제2 평균 값, 및 제2 분산에 따라 제1 히스토그램에서의 컬러 특징 간격들과 제2 히스토그램에서의 컬러 특징 간격들 사이의 제1 매핑 관계를 결정함.
구체적인 구현 동안, 제1 매핑 관계는 다음과 같을 수 있다:
여기서, 이고, 는 정수를 획득하기 위해 반올림을 수행하기 위한 함수이고, 는 컬러 특징 값들이 제2 히스토그램에서의 컬러 특징 간격 bi 내에 속하는 픽셀들의 수량이다. 는 제2 히스토그램 V2에서의 i번째 컬러 특징 간격 bi와 매칭되는 타깃 컬러 특징 간격에 대응하는 인덱스 번호이다. 예를 들어, 이다, 즉, 제2 히스토그램 V2에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격은 b2이다.
구체적인 구현 동안, 제1 매핑 관계는 대안적으로 다음과 같을 수 있다:
여기서, 이고, 는, 를 보장하기 위해,, 1, 및 n의 3개의 값들 중에서 중간 값을 획득하기 위한 함수이고, 는 정수를 획득하기 위해 반올림을 수행하기 위한 함수이다.
S403. 제1 매핑 관계에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정함.
구체적인 구현 동안, 이고, 제2 히스토그램 V2에서의 컬러 특징 간격 b1과 매칭되는 타깃 컬러 특징 간격이 b2이고, 이면, 제2 히스토그램 V2에서의 컬러 특징 간격 b2와 매칭되는 타깃 컬러 특징 간격이 b4인 것으로 가정된다. 유추에 의하면, 제2 히스토그램에서의 각각의 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격이 획득된다.
이러한 구현에서 제공되는 이미지 처리 방법에 따르면, 제1 히스토그램에서의 컬러 특징 간격들의 비율들과 제2 히스토그램에서의 컬러 특징 간격들의 비율들에 따라 제1 히스토그램에서의 컬러 특징 간격들과 제2 히스토그램에서의 컬러 특징 간격들 사이의 매핑 관계가 직접 계산되고, 이러한 매핑 관계에 따라 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들이 결정되므로, 처리 방식은 간단하고 효율적이다.
구현들 중 임의의 것에 기초하여, 단계 S204는 구체적으로, 각각의 컬러 특징 간격이 컬러 특징 값에 대응할 때, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값들로서 각각 조정하여, 타깃 이미지를 획득하는 단계를 포함한다.
컬러 특징이 픽셀의 그레이스케일인 예를 사용하여 설명이 이루어진다. 그레이스케일 값이 0 내지 255의 범위에 있고, 각각의 그레이스케일 값이 컬러 특징 간격으로서 사용되고, 즉, 총 256개의 그레이스케일 간격 b1 내지 b256이 획득될 수 있고, 각각의 그레이스케일 간격이 그레이스케일 값에 대응한다고 가정된다. 제2 히스토그램에서의 그레이스케일 간격 b1과 매칭되는 타깃 그레이스케일 간격이 b2이고, 업샘플링된 이미지에서 그레이스케일 간격 b1 내에 속하는 픽셀의 그레이스케일 값 0이 타깃 그레이스케일 간격 b2에 대응하는 그레이스케일 값 1로 변경된다고 가정된다. 제2 히스토그램에서의 그레이스케일 간격 b2와 매칭되는 타깃 그레이스케일 간격이 b2이면, 업샘플링된 이미지에서 그레이스케일 간격 b2 내에 속하는 픽셀의 그레이스케일 값을 조정할 필요가 없다.
임의의 구현에 기초하여, 단계 S204는 구체적으로, 각각의 컬러 특징 간격이 컬러 특징 값 범위에 대응할 때, 제2 히스토그램에서의 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들과 컬러 특징 간격들에 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들 사이의 제2 매핑 관계를 각각 결정하는 단계, 및 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 제2 매핑 관계에 따라 결정되는 컬러 특징 값들로서 조정하는 단계를 포함한다.
컬러 특징이 픽셀의 그레이스케일인 예를 사용하여 설명이 이루어진다. 그레이스케일 값이 0 내지 255의 범위에 있고, 0 내지 255의 그레이스케일 값 범위가 16개의 영역들로 분할되고, 각각의 영역은 컬러 특징 간격으로서 사용된다고 가정된다. 예를 들어, 0 내지 15가 컬러 특징 간격이고, 16 내지 31이 컬러 특징 간격이다. 유추에 의하면, 총 16개의 컬러 특징 간격들 b1 내지 b16이 획득될 수 있다. 제2 히스토그램에서의 그레이스케일 간격 b1과 매칭되는 타깃 그레이스케일 간격은 b2이고, 그레이스케일 간격 b1의 컬러 특징 값 범위는 0 내지 15이고, 타깃 그레이스케일 간격 b2의 컬러 특징 값 범위는 16 내지 31이므로, 컬러 특징 값 범위 0 내지 15와 컬러 특징 값 범위 16 내지 31 사이의 제2 매핑 관계는, 0→16, 1→17, ..., 및 15→31이다. 따라서, 제2 히스토그램에서의 그레이스케일 간격 b1의 픽셀의 그레이스케일 값 0은 16으로 조정되고, 제2 히스토그램에서의 그레이스케일 간격 b1의 픽셀의 그레이스케일 값 1은 17로 조정되는 등이다.
도 5는 본 출원의 실시예에 따른 이미지 처리 방법을 통해 획득되는 업샘플링된 이미지 및 이러한 업샘플링된 이미지에 대응하는 타깃 이미지를 도시한다. 업샘플링된 이미지와 비교하여, 본 출원의 실시예들에서 제공되는 이미지 처리 방법을 사용하여 획득되는 타깃 이미지에서는 명백한 에일리어싱 및 컬러 에지 노이즈가 발생하지 않고, 타깃 이미지의 품질 및 디스플레이 효과가 원본 업샘플링된 이미지의 품질 및 디스플레이 효과보다 더 양호하고, 그렇게 함으로써 이미지 상세사항들을 더 잘 복원한다는 점을 도 5에서의 처리 전후의 2개의 이미지들 사이의 비교로부터 알 수 있다.
도 6에 도시되는 바와 같이, 전술한 이미지 처리 방법의 것과 동일한 발명의 아이디어에 기초하여, 본 출원의 실시예는 제1 카운팅 모듈(601), 제2 카운팅 모듈(602), 매칭 모듈(603), 및 처리 모듈(604)을 포함하는 이미지 처리 장치(60)를 추가로 제공한다.
제1 카운팅 모듈(601)은, 컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 원본 이미지에 대응하는 제1 히스토그램을 획득하도록 구성된다.
제2 카운팅 모듈(602)은, 컬러 특징 값들이 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하도록 구성된다.
매칭 모듈(603)은 제1 히스토그램 및 제2 히스토그램에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하도록 구성된다.
처리 모듈(604)은 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하도록 구성된다.
일부 실시예들에서, 매칭 모듈(603)은 추가로, 제1 히스토그램에서의 컬러 특징 간격들에 대응하는 비율들과 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 비율 사이의 차이들을 결정하도록, 그리고, 명시된 조건을 충족하는 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격으로부터, 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하도록- 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 원본 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 원본 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율이고, 제2 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 업샘플링된 이미지에 포함되는 픽셀들의 총 수량에 대한 업샘플링된 이미지에서의 컬러 특징 값들이 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율임 - 구성된다.
일부 실시예들에서, 매칭 모듈(603)은 추가로, 매칭 모듈은 추가로, 적어도 2개의 차이들이 명시된 조건을 충족할 때, 적어도 2개의 차이들의 각각의 차이에 대응하는 제1 히스토그램에서의 컬러 특징 간격을 결정하도록; 그리고, 적어도 2개의 결정된 컬러 특징 간격들 중의 임의의 컬러 특징 간격으로부터 최소 등급 차이를 갖는 컬러 특징 간격을 선택하도록, 그리고 최소 등급 차이를 갖는 컬러 특징 간격을 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정하도록 구성된다.
일부 실시예들에서, 매칭 모듈(603)은 추가로,
제1 히스토그램에 따라, 원본 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제1 평균 값 및 제1 분산을 결정하도록;
제2 히스토그램에 따라, 업샘플링된 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제2 평균 값 및 제2 분산을 결정하도록;
제1 평균 값, 제1 분산, 제2 평균 값, 및 제2 분산에 따라 제1 히스토그램에서의 컬러 특징 간격들과 제2 히스토그램에서의 컬러 특징 간격들 사이의 제1 매핑 관계를 결정하도록; 그리고
제1 매핑 관계에 따라, 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정하도록 구성된다.
일부 실시예들에서, 처리 모듈(604)은 추가로,
각각의 컬러 특징 간격이 컬러 특징 값에 대응할 때, 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값들로서 각각 조정하여, 타깃 이미지를 획득하도록; 그리고
각각의 컬러 특징 간격이 컬러 특징 값 범위에 대응할 때, 제2 히스토그램에서의 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들과 컬러 특징 간격들에 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들 사이의 제2 매핑 관계를 각각 결정하도록, 그리고 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 제2 매핑 관계에 따라 결정되는 컬러 특징 값들로서 조정하도록 구성된다.
일부 실시예들에서, 컬러 특징 값은 다음: 픽셀의 그레이스케일 값, 픽셀의 휘도 값, 또는 픽셀의 컬러 값 중 적어도 하나를 포함한다.
본 출원의 이러한 실시예에서 제공되는 이미지 처리 장치 및 전술한 이미지 처리 방법은 동일한 발명 아이디어를 사용하고, 동일한 유익한 효과들이 획득될 수 있다. 상세사항들이 본 명세서에 다시 설명되지는 않는다.
이미지 처리 방법의 것과 동일한 발명의 아이디어에 기초하여, 본 출원의 실시예는 전자 디바이스를 추가로 제공한다. 이러한 전자 디바이스는 구체적으로 도 1a 및 도 1b에서의 단말 디바이스, 서버 등일 수 있다. 도 7에 도시되는 바와 같이, 전자 디바이스(70)는 프로세서(701) 및 메모리(702)를 포함할 수 있다. 메모리(702)는 컴퓨터-판독가능 명령어들을 저장하고, 이러한 컴퓨터-판독가능 명령어들은, 프로세서(701)에 의해 실행될 때, 프로세서(701)로 하여금 전술한 이미지 처리 방법의 단계들을 수행하게 한다. 이러한 이미지 처리 방법에서의 단계들은 전술한 실시예들의 이미지 처리 방법에서의 단계들일 수 있다.
프로세서(701)는, CPU(central processing unit), DSP(digital signal processor), ASIC(application specific integrated circuit), 필드 프로그램가능 게이트 어레이 (FPGA), 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직 디바이스, 또는 이산 하드웨어 컴포넌트와 같은, 범용 프로세서일 수 있다. 이러한 프로세서는 본 출원의 실시예들에서 개시되는 방법들, 단계들, 및 논리 블록도들을 구현하거나 또는 수행할 수 있다. 이러한 범용 프로세서는 마이크로프로세서 또는 임의의 종래의 프로세서 등일 수 있다. 본 출원의 실시예들을 참조하여 개시되는 방법들의 단계들은 하드웨어 프로세서를 사용하여 직접 수행되고 완료될 수 있거나, 또는 프로세서에서의 하드웨어 및 소프트웨어 모듈의 조합을 사용하여 수행되고 완료될 수 있다.
메모리(702)는, 비-일시적 컴퓨터-판독가능 저장 매체로서, 비-일시적 소프트웨어 프로그램, 비-일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장하도록 구성될 수 있다. 이러한 메모리는 적어도 하나의 타입의 저장 매체를 포함할 수 있고, 예를 들어, 플래시 메모리, 하드 디스크, 멀티미디어 카드, 카드 타입 메모리, RAM(random access memory), SRAM(static random access memory), PROM(programmable read-only memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), 자기 메모리, 자기 디스크, 광학 디스크 등을 포함할 수 있다. 이러한 메모리는 예상된 프로그램 코드를 명령어 또는 데이터 구조의 형태로 운반 또는 저장할 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체이지만, 이에 제한되는 것은 아니다. 본 출원의 이러한 실시예에 따른 메모리(702)는 추가로 저장 기능을 구현할 수 있는 회로 또는 임의의 다른 장치일 수 있고, 프로그램 명령어들 및/또는 데이터를 저장하도록 구성된다.
본 출원의 실시예는 전자 디바이스에 의해 사용되는 컴퓨터-판독가능 명령어들을 저장하도록 구성되는 컴퓨터-판독가능 저장 매체를 제공하고, 이러한 컴퓨터-판독가능 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 전술한 이미지 처리 방법에서의 단계들을 수행하게 한다.
실시예에서, 컴퓨터 프로그램 제품 또는 컴퓨터-판독가능 명령어가 제공되고, 이러한 컴퓨터 프로그램 제품 또는 컴퓨터-판독가능 명령어는 컴퓨터-판독가능 명령어들을 포함하고, 이러한 컴퓨터-판독가능 명령어들은 컴퓨터-판독가능 저장 매체에 저장된다. 컴퓨터 디바이스의 프로세서는 컴퓨터-판독가능 저장 매체로부터 컴퓨터-판독가능 명령어들을 판독하고, 프로세서는 이러한 컴퓨터-판독가능 명령어들을 실행하여, 컴퓨터 디바이스로 하여금 방법 실시예들에서의 단계들을 수행하게 한다.
전술한 컴퓨터-판독가능 저장 매체는 임의의 컴퓨터-액세스가능 사용가능 매체 또는 데이터 스토리지 디바이스일 수 있고, 이에 제한되는 것은 아니지만, 자기 메모리(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프 또는 MO(magneto-optical) 디스크), 광 메모리(예를 들어, CD, DVD, BD 또는 HVD) 및 반도체 메모리(예를 들어, ROM, EPROM, EEPROM, 비-휘발성 메모리(NAND 플래시) 또는 SSD(solid-state disk))를 포함한다.
전술한 실시예들은 단지 본 출원의 기술적 해결책들을 설명하기 위해 사용된다. 전술한 실시예들의 설명들은 단지 본 출원의 실시예들의 방법들을 이해하는 것을 돕도록 의도되고, 본 출원의 실시예들에 대한 제한으로서 해석되지 않아야 한다. 해당 분야에서의 기술자에 의해 용이하게 도출되는 임의의 변형 또는 대체는 본 출원의 실시예들의 보호 범위 내에 속할 것이다.

Claims (20)

  1. 전자 디바이스에 의해 수행되는, 이미지 처리 방법으로서, 상기 방법은,
    컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 상기 원본 이미지에 대응하는 제1 히스토그램을 획득하는 단계;
    컬러 특징 값들이 상기 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 상기 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하는 단계;
    상기 제1 히스토그램 및 상기 제2 히스토그램에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하는 단계; 및
    상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하는 단계를 포함하고;
    상기 제1 히스토그램 및 상기 제2 히스토그램에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하는 단계는,
    상기 제1 히스토그램에서의 컬러 특징 간격들에 대응하는 비율들과 상기 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 비율 사이의 차이들을 결정하는 단계 및 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격으로부터, 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하는 단계 - 상기 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 상기 원본 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 상기 원본 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율이고, 상기 제2 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 상기 업샘플링된 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 상기 업샘플링된 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율임 - 를 포함하는 방법.
  2. 제1항에 있어서, 적어도 2개의 차이들이 상기 명시된 조건을 충족할 때, 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격으로부터, 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하는 단계는,
    상기 적어도 2개의 차이들의 각각의 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격을 결정하는 단계; 및
    적어도 2개의 결정된 컬러 특징 간격으로부터, 컬러 특징 간격과 최소 등급 차이를 갖는 상기 컬러 특징 간격을 선택하는 단계, 및 상기 최소 등급 차이를 갖는 컬러 특징 간격을 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정하는 단계를 포함하는 방법.
  3. 제1항에 있어서, 단지 하나의 차이만이 상기 명시된 조건을 충족할 때, 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격으로부터, 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하는 단계는,
    상기 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격을 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 제1 히스토그램 및 상기 제2 히스토그램에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하는 단계는,
    상기 제1 히스토그램에 따라, 상기 원본 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제1 평균 값 및 제1 분산을 결정하는 단계;
    상기 제2 히스토그램에 따라, 상기 업샘플링된 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제2 평균 값 및 제2 분산을 결정하는 단계;
    상기 제1 평균 값, 상기 제1 분산, 상기 제2 평균 값, 및 상기 제2 분산에 따라 상기 제1 히스토그램에서의 컬러 특징 간격들과 상기 제2 히스토그램에서의 컬러 특징 간격들 사이의 제1 매핑 관계를 결정하는 단계; 및
    상기 제1 매핑 관계에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정하는 단계를 포함하는 방법.
  5. 제1항에 있어서, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하는 단계는,
    각각의 컬러 특징 간격이 컬러 특징 값에 대응할 때, 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 상기 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값들로서 각각 조정하여, 상기 타깃 이미지를 획득하는 단계; 및
    각각의 컬러 특징 간격이 컬러 특징 값 범위에 대응할 때, 상기 제2 히스토그램에서의 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들과 상기 컬러 특징 간격들에 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들 사이의 제2 매핑 관계를 각각 결정하는 단계, 및 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 상기 제2 매핑 관계에 따라 결정되는 컬러 특징 값들로서 조정하는 단계를 포함하는 방법.
  6. 제1항에 있어서, 상기 컬러 특징 값은 다음: 픽셀의 그레이스케일 값, 상기 픽셀의 휘도 값, 또는 상기 픽셀의 컬러 값 중 적어도 하나를 포함하는 방법.
  7. 이미지 처리 장치로서,
    컬러 특징 값들이 원본 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 상기 원본 이미지에 대응하는 제1 히스토그램을 획득하도록 구성되는 제1 카운팅 모듈;
    컬러 특징 값들이 상기 원본 이미지의 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 수량에 따라, 상기 업샘플링된 이미지에 대응하는 제2 히스토그램을 획득하도록 구성되는 제2 카운팅 모듈;
    상기 제1 히스토그램 및 상기 제2 히스토그램에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 각각 결정하도록 구성되는 매칭 모듈; 및
    상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 따라, 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 처리하여, 타깃 이미지를 획득하도록 구성되는 처리 모듈을 포함하고;
    상기 매칭 모듈은 추가로 상기 제1 히스토그램에서의 컬러 특징 간격들에 대응하는 비율들과 상기 제2 히스토그램에서의 임의의 컬러 특징 간격에 대응하는 비율 사이의 차이들을 결정하도록, 그리고 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격으로부터, 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격을 결정하도록 구성되고,
    상기 제1 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 상기 원본 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 상기 원본 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율이고, 상기 제2 히스토그램에서의 각각의 컬러 특징 간격에 대응하는 비율은 상기 업샘플링된 이미지에 포함되는 픽셀들의 총 수량에 대한 컬러 특징 값들이 상기 업샘플링된 이미지에서의 대응하는 컬러 특징 간격 내에 속하는 픽셀들의 수량의 비율인 장치.
  8. 제7항에 있어서, 상기 매칭 모듈은 추가로, 적어도 2개의 차이들이 상기 명시된 조건을 충족할 때, 상기 적어도 2개의 차이들의 각각의 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격을 결정하도록; 그리고, 적어도 2개의 결정된 컬러 특징 간격으로부터, 컬러 특징 간격과 최소 등급 차이를 갖는 상기 컬러 특징 간격을 선택하도록, 그리고 상기 최소 등급 차이를 갖는 컬러 특징 간격을 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정하도록 구성되는 장치.
  9. 제7항에 있어서, 상기 매칭 모듈은 추가로, 단지 하나의 차이만이 상기 명시된 조건을 충족할 때, 명시된 조건을 충족하는 차이에 대응하는 상기 제1 히스토그램에서의 컬러 특징 간격을, 상기 컬러 특징 간격과 매칭되는 타깃 컬러 특징 간격으로서 결정하도록 구성되는 장치.
  10. 제7항에 있어서, 상기 매칭 모듈은 추가로,
    상기 제1 히스토그램에 따라, 상기 원본 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제1 평균 값 및 제1 분산을 결정하도록;
    상기 제2 히스토그램에 따라, 상기 업샘플링된 이미지에서의 픽셀들의 컬러 특징 간격들에 대응하는 제2 평균 값 및 제2 분산을 결정하도록;
    상기 제1 평균 값, 상기 제1 분산, 상기 제2 평균 값, 및 상기 제2 분산에 따라 상기 제1 히스토그램에서의 컬러 특징 간격들과 상기 제2 히스토그램에서의 컬러 특징 간격들 사이의 제1 매핑 관계를 결정하도록; 그리고
    상기 제1 매핑 관계에 따라, 상기 제2 히스토그램에서의 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들을 결정하도록 구성되는 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서, 상기 처리 모듈은 추가로,
    각각의 컬러 특징 간격이 컬러 특징 값에 대응할 때, 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 상기 컬러 특징 간격들과 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값들로서 각각 조정하여, 상기 타깃 이미지를 획득하도록; 그리고
    각각의 컬러 특징 간격이 컬러 특징 값 범위에 대응할 때, 상기 제2 히스토그램에서의 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들과 상기 컬러 특징 간격들에 매칭되는 타깃 컬러 특징 간격들에 대응하는 컬러 특징 값 범위들 사이의 제2 매핑 관계를 각각 결정하도록, 그리고 상기 업샘플링된 이미지에서의 컬러 특징 간격들 내에 속하는 픽셀들의 컬러 특징 값들을 상기 제2 매핑 관계에 따라 결정되는 컬러 특징 값들로서 조정하도록 구성되는 장치.
  12. 제7항 내지 제10항 중 어느 한 항에 있어서, 상기 컬러 특징 값은 다음: 픽셀의 그레이스케일 값, 상기 픽셀의 휘도 값, 또는 상기 픽셀의 컬러 값 중 적어도 하나를 포함하는 장치.
  13. 전자 디바이스로서, 메모리 및 하나 이상의 프로세서를 포함하고, 상기 메모리는 컴퓨터-판독가능 명령어들을 저장하고, 상기 컴퓨터-판독가능 명령어들은, 상기 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하게 하는 전자 디바이스.
  14. 비-휘발성 저장 매체로서, 컴퓨터-판독가능 명령어들을 저장하고, 상기 컴퓨터-판독가능 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하게 하는 비-휘발성 저장 매체.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020227006382A 2020-01-14 2020-10-20 이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체 KR102617626B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010038997.5 2020-01-14
CN202010038997.5A CN111260593B (zh) 2020-01-14 2020-01-14 图像处理方法、装置、电子设备及存储介质
PCT/CN2020/122203 WO2021143241A1 (zh) 2020-01-14 2020-10-20 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
KR20220043158A KR20220043158A (ko) 2022-04-05
KR102617626B1 true KR102617626B1 (ko) 2023-12-27

Family

ID=70945241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227006382A KR102617626B1 (ko) 2020-01-14 2020-10-20 이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체

Country Status (6)

Country Link
US (1) US20220138920A1 (ko)
EP (1) EP4024327A4 (ko)
JP (1) JP2022550565A (ko)
KR (1) KR102617626B1 (ko)
CN (1) CN111260593B (ko)
WO (1) WO2021143241A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260593B (zh) * 2020-01-14 2023-03-14 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN113160038B (zh) * 2021-04-28 2024-03-26 北京达佳互联信息技术有限公司 一种图像风格迁移方法、装置、电子设备及存储介质
CN113129392B (zh) * 2021-05-17 2022-07-26 杭州万事利丝绸文化股份有限公司 一种颜色搭配方法及系统
CN113421209B (zh) * 2021-06-21 2022-12-30 安谋科技（中国）有限公司 图像处理方法、片上系统、电子设备和介质
CN113538280B (zh) * 2021-07-20 2022-03-04 江苏天汇空间信息研究院有限公司 基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法
CN113933294B (zh) * 2021-11-08 2023-07-18 中国联合网络通信集团有限公司 浓度检测方法及装置
CN115082703B (zh) * 2022-07-19 2022-11-11 深圳大学 概念关联颜色提取方法、装置、计算机设备和存储介质
CN116310448B (zh) * 2023-05-24 2023-08-04 山东曙岳车辆有限公司 基于计算机视觉的集装箱拼装匹配性检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014508360A (ja) * 2011-03-17 2014-04-03 ドルビー ラボラトリーズ ライセンシング コーポレイション ヒストグラムを用いることによる別バージョンの画像コンテンツの生成
CN108090887A (zh) 2016-11-23 2018-05-29 杭州海康威视数字技术股份有限公司 一种视频图像处理方法及装置
JP2019016117A (ja) * 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4672680B2 (ja) * 2007-02-05 2011-04-20 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
FR2947082B1 (fr) * 2009-06-22 2014-12-12 St Ericsson France Sas Procede et dispositif de traitement d'une image numerique pour eclaircir ladite image.
CN103778900B (zh) * 2012-10-23 2016-04-20 浙江大华技术股份有限公司 一种图像处理方法及系统
US10521892B2 (en) * 2016-08-31 2019-12-31 Adobe Inc. Image lighting transfer via multi-dimensional histogram matching
WO2018042388A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
CN109003249B (zh) * 2017-06-07 2022-04-26 展讯通信(天津)有限公司 增强图像细节的方法、装置及终端
CN107492070B (zh) * 2017-07-10 2019-12-03 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN108924525B (zh) * 2018-06-06 2021-07-06 平安科技（深圳）有限公司 图像亮度调整方法、装置、计算机设备及存储介质
CN109064434B (zh) * 2018-06-28 2021-01-08 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN108900819B (zh) * 2018-08-20 2020-09-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110049332A (zh) * 2019-04-11 2019-07-23 深圳市朗驰欣创科技股份有限公司 一种图像压缩方法、图像压缩装置及电子设备
CN111260593B (zh) * 2020-01-14 2023-03-14 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014508360A (ja) * 2011-03-17 2014-04-03 ドルビー ラボラトリーズ ライセンシング コーポレイション ヒストグラムを用いることによる別バージョンの画像コンテンツの生成
CN108090887A (zh) 2016-11-23 2018-05-29 杭州海康威视数字技术股份有限公司 一种视频图像处理方法及装置
JP2019016117A (ja) * 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Also Published As

Publication number Publication date
EP4024327A4 (en) 2023-01-04
US20220138920A1 (en) 2022-05-05
JP2022550565A (ja) 2022-12-02
EP4024327A1 (en) 2022-07-06
CN111260593A (zh) 2020-06-09
KR20220043158A (ko) 2022-04-05
WO2021143241A1 (zh) 2021-07-22
CN111260593B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
KR102617626B1 (ko) 이미지 처리 방법, 장치, 전자 디바이스, 및 저장 매체
WO2018082185A1 (zh) 图像处理方法和装置
US11030729B2 (en) Image processing method and apparatus for adjusting a dynamic range of an image
US20230230215A1 (en) Image processing method and apparatus, device, and medium
EP3855387A1 (en) Image processing method and apparatus, electronic device, and readable storage medium
US10943340B2 (en) Blending images
CN115496668A (zh) 图像处理方法、装置、电子设备及存储介质
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
CN113748426A (zh) 实时馈送中的内容感知的pq范围分析仪和色调映射
US9832395B2 (en) Information processing method applied to an electronic device and electronic device having at least two image capturing units that have the same image capturing direction
CN114998122A (zh) 一种低照度图像增强方法
KR20190073516A (ko) 화상 처리 장치, 디지털 카메라, 화상 처리 프로그램, 및 기록 매체
US10567777B2 (en) Contrast optimization and local adaptation approach for high dynamic range compression
CN112887694B (zh) 一种视频播放方法、装置、设备及可读存储介质
WO2016197323A1 (zh) 视频编解码方法和视频编解码器
CN114223209A (zh) Hdr图像传感器的自适应图像数据线性化
CN114390266B (zh) 一种图像白平衡处理方法、设备及计算机可读存储介质
CN109308690B (zh) 一种图像亮度均衡方法及终端
US9129406B2 (en) Image processing method
CN113613024B (zh) 视频预处理方法及设备
WO2021093718A1 (zh) 视频处理方法、视频修复方法、装置及设备
CN114385847A (zh) 一种图片数据处理方法、装置、计算机设备及存储介质
CN112788364A (zh) 码流动态调整装置、方法及计算机可读存储介质
CN112532957B (zh) 一种图像处理方法及装置
WO2023087598A1 (zh) 增强图片的生成方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant