KR20230160096A - 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법 - Google Patents

에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR20230160096A
KR20230160096A KR1020220059709A KR20220059709A KR20230160096A KR 20230160096 A KR20230160096 A KR 20230160096A KR 1020220059709 A KR1020220059709 A KR 1020220059709A KR 20220059709 A KR20220059709 A KR 20220059709A KR 20230160096 A KR20230160096 A KR 20230160096A
Authority
KR
South Korea
Prior art keywords
image
resolution
super
generating device
edge sharpness
Prior art date
Application number
KR1020220059709A
Other languages
English (en)
Inventor
최한준
윤형민
윤주원
Original Assignee
주식회사 실리콘아츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘아츠 filed Critical 주식회사 실리콘아츠
Priority to KR1020220059709A priority Critical patent/KR20230160096A/ko
Priority to PCT/KR2022/015084 priority patent/WO2023224179A1/ko
Publication of KR20230160096A publication Critical patent/KR20230160096A/ko

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법에 관한 것으로, 상기 장치는 제1 해상도의 소스 이미지를 수신하는 이미지 수신부; 상기 소스 이미지를 업 스케일링(up scaling) 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성하는 업 스케일링부; 및 상기 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 상기 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성하는 이미지 생성부;를 포함한다.

Description

에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING SUPER-RESOLUTION IMAGES WITH ADJUSTABLE EDGE SHARPNESS}
본 발명은 초해상화 이미지 생성 기술에 관한 것으로, 보다 상세하게는 학습에 의해 결정된 파라미터를 통해 더 큰 해상도의 출력 이미지를 생성하는 과정에서 에지 부분의 선명도를 조절할 수 있는 초해상화 이미지 생성 장치 및 방법에 관한 것이다.
초해상화(Super Resolution, SR) 방법은 낮은 해상도의 영상 화질을 향상시켜 높은 해상도의 영상 화질로 만드는 방법에 해당할 수 있다.
초해상화 영상 복원 방법은 크게 하나 또는 여러 장의 저해상도 영상을 사용하여 하나의 고해상도 영상을 생성할 수 있다. 대부분의 방법들은 고해상도 영상에서 저해상도 영상이 얻어지는 과정을 모델링하여 수식으로 표현한 후 이를 풀어서 복원하는 방식을 사용하고 있다.
다만, 이러한 방식은 적은 개수의 화소들로 많은 화소를 채워야 하므로 불충분한 결정 밖에 내리지 못하여 정확한 답을 구할 수 없는 문제점이 존재할 수 있다.
또한, 복원 기반 초해상화 영상 복원 방법은 복원 과정에서 발생하는 오차를 반복법을 이용하여 최소화하는 장점이 있으나 에지(Edge)를 따라 재기(Jaggy) 형태의 변형이 일어날 수 있으며, 학습 기반 초해상화 영상 복원 방법은 사전에 저해상도 영상과 고해상도 영상을 학습한 후 이를 이용하여 고해상도 영상으로 복원하는 방법으로, 많은 양의 학습 데이터를 필요로 하는 단점이 존재할 수 있다.
한국등록특허 제10-1644411호 (2016.07.26)
본 발명의 일 실시예는 학습에 의해 결정된 파라미터를 통해 더 큰 해상도의 출력 이미지를 생성하는 과정에서 에지 부분의 선명도를 조절할 수 있는 초해상화 이미지 생성 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 SRCNN의 출력에서 바이큐빅 이미지를 빼내고 이 값에 에지 향상 정도를 나타내는 가중치 값을 곱한 뒤에 바이큐빅 이미지에 다시 더함으로써 에지의 선명도를 조정할 수 있는 초해상화 이미지 생성 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치는 제1 해상도의 소스 이미지를 수신하는 이미지 수신부; 상기 소스 이미지를 업 스케일링(up scaling) 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성하는 업 스케일링부; 및 상기 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 상기 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성하는 이미지 생성부;를 포함한다.
상기 이미지 수신부는 상기 소스 이미지의 해상도가 상기 제1 해상도와 상이한 경우 상기 소스 이미지의 해상도를 상기 제1 해상도와 일치시키는 전처리 동작을 수행할 수 있다.
상기 업 스케일링부는 상기 소스 이미지에 바이큐빅 보간법(bicubic interpolation)을 적용하여 상기 업 스케일된 이미지를 생성할 수 있다.
상기 이미지 생성부는 상기 업 스케일된 이미지의 RGB 채널들을 YUV 채널들로 변환하고, 상기 YUV 채널들 중 Y 채널에 대해 상기 합성곱 모델을 적용한 후 상기 가중화를 수행하며, 상기 가중화에 따른 Y 채널을 포함하는 상기 YUV 채널들을 상기 RGB 채널들로 변환하여 상기 결과 이미지를 생성할 수 있다.
상기 이미지 생성부는 상기 YUV 채널들 중 Y 채널에 대해 상기 합성곱 모델의 출력 이미지에서 입력 이미지를 차감하고, 상기 차감된 결과에 기 설정된 가중치 값을 곱 연산하며, 상기 곱 연산된 결과에 상기 입력 이미지를 합산할 수 있다.
상기 이미지 생성부는 상기 가중치 값을 설정하여 상기 결과 이미지의 선명도를 조정할 수 있다.
실시예들 중에서, 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법은 제1 해상도의 소스 이미지를 수신하는 단계; 상기 소스 이미지를 업 스케일링(up scaling) 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성하는 단계; 및 상기 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 상기 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성하는 단계;를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 초해상화 이미지 생성 장치 및 방법은 학습에 의해 결정된 파라미터를 통해 더 큰 해상도의 출력 이미지를 생성하는 과정에서 에지 부분의 선명도를 조절할 수 있다.
본 발명의 일 실시예에 따른 초해상화 이미지 생성 장치 및 방법은 SRCNN의 출력에서 바이큐빅 이미지를 빼내고 이 값에 에지 향상 정도를 나타내는 가중치 값을 곱한 뒤에 바이큐빅 이미지에 다시 더함으로써 에지의 선명도를 조정할 수 있다.
도 1은 본 발명에 따른 이미지 생성 시스템을 설명하는 도면이다.
도 2는 도 1의 이미지 생성 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 이미지 생성 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법을 설명하는 순서도이다.
도 5는 기존 방식의 SRCNN 처리 순서를 설명하는 도면이다.
도 6은 본 발명에 따른 가중화된 SRCNN의 처리 순서를 설명하는 도면이다.
도 7은 초해상화 결과 이미지를 비교 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 이미지 생성 시스템을 설명하는 도면이다.
도 1을 참조하면, 이미지 생성 시스템(100)은 사용자 단말(110), 이미지 생성 장치(130) 및 데이터베이스(150)을 포함할 수 있다.
사용자 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 하나 이상의 사용자들 각각은 하나 이상의 사용자 단말(110)에 대응될 수 있다. 즉, 도 1에서는 하나의 사용자 단말(110)로 표현되어 있으나, 제1 사용자는 제1 사용자 단말, 제2 사용자는 제2 사용자 단말, ..., 제n(상기 n은 자연수) 사용자는 제n 사용자 단말에 각각 대응될 수 있다.
또한, 사용자 단말(110)은 본 발명에 따른 이미지 생성 시스템(100)을 구성하는 하나의 장치로서 구현될 수 있으며, 이미지 생성 시스템(100)은 사용자들에게 에지의 선명도가 개선된 초해상화의 사진 또는 영상을 제공하기 위한 목적으로 다양한 형태로 변형되어 운용될 수 있다.
또한, 사용자 단말(110)은 이미지 생성 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.
한편, 사용자 단말(110)은 이미지 생성 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 이미지 생성 장치(130)와 동시에 연결될 수도 있다.
이미지 생성 장치(130)는 본 발명에 따른 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 이미지 생성 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 또한, 이미지 생성 장치(130)는 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다.
일 실시예에서, 이미지 생성 장치(130)는 클라우드 서버로 구현될 수 있으며, 다른 실시예에서, 이미지 생성 장치(130)는 하나의 그래픽 처리 장치(Graphics Processing Unit, GPU)로 구현될 수도 있다.
데이터베이스(150)는 이미지 생성 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 업 스케일링에 관한 정보를 저장하거나 또는 초해상화 합성곱 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 이미지 생성 장치(130)가 본 발명에 따른 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
또한, 도 1에서, 데이터베이스(150)는 이미지 생성 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 이미지 생성 장치(130)에 포함되어 구현될 수 있음은 물론이다.
도 2는 도 1의 이미지 생성 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 이미지 생성 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 이미지 생성 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 이미지 생성 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 이미지 생성 장치(130)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 이미지 생성 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 이미지 생성 방법을 실행하는 명령들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 이미지 생성 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 학습 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 1의 이미지 생성 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 이미지 생성 장치(130)는 이미지 수신부(310), 업 스케일링부(330), 이미지 생성부(350) 및 제어부(370)를 포함할 수 있다.
이미지 수신부(310)는 제1 해상도의 소스 이미지를 수신할 수 있다. 이미지 수신부(310)는 사용자 단말(110)로부터 초해상화 이미지를 생성하기 위하여 원본 이미지에 해당하는 소스 이미지를 수신할 수 있다. 즉, 소스 이미지는 초해상화 이미지를 생성하는데 기초가 되는 이미지에 해당할 수 있으며, 사전에 정의된 제1 해상도로 형성된 이미지에 해당할 수 있다. 이때, 제1 해상도는 사전에 정의되는 특정 해상도에 해당할 수 있다. 이미지 수신부(310)는 데이터베이스(150)에 저장된 이미지들 중에서 제1 해상도를 갖는 소스 이미지를 선택적으로 결정할 수도 있다. 또한, 이미지 수신부(310)는 사용자 단말(110)에 의해 입력된 소스 이미지의 해상도를 검사하여 제1 해상도에 해당하지 않는 경우 해당 소스 이미지의 수신을 거부할 수 있다. 이미지 수신부(310)에 의해 수신된 소스 이미지는 데이터베이스(150)에 저장되어 관리될 수 있다.
일 실시예에서, 이미지 수신부(310)는 소스 이미지의 해상도가 제1 해상도와 상이한 경우 소스 이미지의 해상도를 제1 해상도와 일치시키는 전처리 동작을 수행할 수 있다. 예를 들어, 소스 이미지의 해상도가 제1 해상도보다 작은 경우 이미지 수신부(310)는 소스 이미지의 해상도를 높이기 위한 전처리를 수행할 수 있다. 소스 이미지의 해상도가 제1 해상도보다 큰 경우 이미지 수신부(310)는 소스 이미지의 해상도를 낮추기 위한 전처리를 수행할 수 있다.
일 실시예에서, 이미지 수신부(310)는 특정 해상도를 갖는 소스 이미지를 복수의 부분 이미지(sub image)들로 분할하고 복수의 부분 이미지들 각각을 기초로 제1 해상도의 소스 이미지들을 생성할 수 있다. 이때, 복수의 부분 이미지들 각각은 동일한 해상도로 분할될 수 있으며, 분할 결과 각 부분 이미지의 해상도는 제1 해상도와 상이한 해상도로 형성될 수 있다. 이 경우, 이미지 수신부(310)는 분할된 부분 이미지들 각각의 해상도를 제1 해상도로 변경하기 위한 전처리 동작을 수행할 수 있다. 예를 들어, 분할에 따른 각 부분 이미지의 해상도가 제1 해상도보다 더 작은 해상도로 형성된 경우, 부분 이미지들 각각에 대해 업 스케일링이 수행될 수 있다.
업 스케일링부(330)는 소스 이미지를 업 스케일링 하여 제2 해상도를 갖는 업 스케일된 이미지(upscaled image)를 생성할 수 있다. 즉, 업 스케일링부(330)는 소스 이미지를 초해상화 이미지인 결과 이미지의 해상도에 맞춰 업 스케일링(up scaling)을 수행할 수 있다. 여기에서, 업 스케일링(up sacaling)은 다운 스케일링(down scaling)에 대응되는 개념으로 이미지의 해상도를 높이는 동작에 해당할 수 있다. 즉, 제1 해상도를 갖는 이미지에 대한 업 스케일링을 통해 제1 해상도보다 큰 제2 해상도를 갖는 이미지가 생성될 수 있다.
일 실시예에서, 업 스케일링부(330)는 소스 이미지에 바이큐빅 보간법(bicubic interpolation)을 적용하여 업 스케일된 이미지를 생성할 수 있다. 업 스케일링부(330)는 다양한 업 스케일링 알고리즘을 이용하여 소스 이미지에 대응되는 업 스케일된 이미지를 생성할 수 있다. 예를 들어, 업 스케일링 알고리즘에는 최근접 이웃(Nearest Neighbor), 이선형(Bilinear), 란초스(Lanczos), 스플라인(spline) 알고리즘 등이 포함될 수 있다. 특히, 업 스케일링부(330)는 바이큐빅 보간법을 적용하여 소스 이미지에 대응되는 업 스케일된 이미지를 생성할 수 있다. 예를 들어, 업 스케일된 이미지는 소스 이미지의 해상도를 가로 및 세로 각각에 대해 2배로 확장시킨 이미지에 해당할 수 있다.
한편, 바이큐빅 보간법은 16개의 정수 좌표 픽셀을 이용하여 (x,y), (x+1,y), (x,y+1), (x+1,y+1) 영역을 곡면으로 보간하는 방법에 해당할 수 있다. 이를 위하여, 바이큐빅 보간법은 인접한 16개의 픽셀의 픽셀 값과 거리에 따른 가중치(weight) 값 간의 곱 연산을 활용할 수 있다.
이미지 생성부(350)는 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성할 수 있다. 여기에서, 합성곱 모델(CNN)은 초해상화 합성곱 모델(SRCNN, Super Resolution Convolution Neural Network)을 구성하는 모델로서 특정 해상도의 이미지 성분을 입력으로 수신하여 네트워크를 통과시킴으로써 이미지 상의 에지(edge) 부분이 개선된 이미지 성분을 출력으로 생성하도록 구축된 모델에 해당할 수 있다.
또한, 초해상화 합성곱 모델(SRCNN)은 작은 해상도의 이미지를 입력으로 수신하면 바이큐빅 보간법에 의해 큰 해상도의 이미지로 변환한 후 해당 큰 해상도의 이미지를 내부의 합성곱 모델(CNN)의 네트워크를 통과시킴으로써 이미지 상의 에지(edge) 부분이 개선된 초해상화 이미지를 출력으로 생성하도록 구축된 딥러닝 모델에 해당할 수 있다. 한편, SRCNN은 상대적으로 단순한 3계층의 FCN(Fully Convolution Network) 구조를 가진 네크워크로 구현될 수 있다.
특히, SRCNN에 포함된 합성곱 모델의 입력과 출력 사이에는 이미지 상의 에지 부분에서 차이가 존재할 수 있다. 이미지 생성부(350)는 기존의 SRCNN을 응용하여 SRCNN에 포함된 합성곱 모델의 출력에서 입력과의 차이를 추출한 다음 해당 차이에 기 설정된 가중치 값을 적용하여 가중화 함으로써 기존보다 선명한 결과 이미지를 획득할 수 있다.
일 실시예에서, 이미지 생성부(350)는 업 스케일된 이미지의 RGB 채널들을 YUV 채널들로 변환하고, YUV 채널들 중 Y 채널에 대해 합성곱 모델을 적용한 후 가중화를 수행하며, 가중화에 따른 Y 채널을 포함하는 YUV 채널들을 RGB 채널들로 변환하여 결과 이미지를 생성할 수 있다. 보다 구체적으로, 이미지 생성부(350)는 업 스케일된 이미지의 각 픽셀별 RGB 채널 값을 YUV(YCbCr) 채널 값으로 변환할 수 있다.
이를 위하여, 이미지 생성부(350)는 RGB와 YUV 간의 변환식을 이용할 수 있다. 예를 들어, RGB와 YUV 간의 변환식은 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Y = (0.257 * R) + (0.504 * G) + (0.098 * B) + 16
Cb = U = - (0.148 * R) - (0.291 * G) + (0.439 * B) + 128
Cr = V = (0.439 * R) - (0.368 * G) - (0.071 * B) + 128
여기에서, R, G 및 B는 RGB 채널의 각 성분값이고, Y, Cb 및 Cr은 YUV 채널의 각 성분값이다. 한편, RGB와 YUV 간의 변환식은 상기의 수학식 1에 한정되지 않으며, 다양한 형태로 정의될 수 있다.
또한, 이미지 생성부(350)는 변환된 이미지의 YUV 채널들 중 Y 채널에 대해 합성곱 모델을 적용한 후 가중화 동작을 수행할 수 있다. 합성곱 모델(CNN)은 이미지 생성 장치(130)에 의해 사전에 구축될 수 있으며, 이미지 생성부(350)는 Y 채널의 성분값으로 이루어진 입력 이미지에 대해 합성곱 모델을 적용하여 출력 이미지를 생성할 수 있다. 이후, 가중화 동작은 합성곱 모델의 출력 이미지와 입력 이미지를 기초로 수행될 수 있다.
또한, 이미지 생성부(350)는 가중화에 따라 갱신된 Y 채널과 기존 Cb 및 Cr 채널들을 RGB 채널들로 변환하는 동작을 수행할 수 있다. 이 때, 이미지 생성부(350)는 상기의 수학식 1에 대응되는 역변환식을 이용할 수 있다. 예를 들어, RGB와 YUV 간의 역변환식은 다음의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
R = 1.164 (Y - 16) + 1.596 (V - 128)
G = 1.164 (Y - 16) - 0.391 (U - 128) - 0.813 (V - 128)
B = 1.164 (Y - 16) + 2.018 (U - 128)
여기에서, Y, U 및 V는 YUV 채널의 각 성분값이다. 즉, U = Cb이고, V = Cr이다. RGB와 YUV 간의 역변환식은 RGB와 YUV 간의 변환식에 대응되는 개념인 점에서, 다양한 변환식에 따라 역변환식 역시 다양한 형태로 정의될 수 있다.
일 실시예에서, 이미지 생성부(350)는 YUV 채널들 중 Y 채널에 대해 합성곱 모델의 출력 이미지에서 입력 이미지를 차감하고, 차감된 결과에 기 설정된 가중치 값을 곱 연산하며, 곱 연산된 결과에 입력 이미지를 합산할 수 있다. 이미지 생성부(350)에 의해 수행되는 가중화 동작은 YUV 채널들 중 Y 채널에 대해 선택적으로 적용될 수 있다. 보다 구체적으로, 가중화 동작은 합성곱 모델의 입력 및 출력 간의 차이에 대해 가중치 값을 적용하기 위한 동작을 포함할 수 있다. 먼저, 이미지 생성부(350)는 YUV 채널들 중 Y채널에 대해 합성곱 모델의 출력 이미지에서 입력 이미지를 차감하여 입력 및 출력 사이의 차이를 산출할 수 있다. 이후, 이미지 생성부(350)는 차감된 결과에 기 설정된 가중치 값을 곱할 수 있으며, 곱 연산된 결과에 다시 입력 이미지를 합산하는 동작을 수행할 수 있다.
한편, 가중화 동작은 다음의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
IMGy_cnn' = (IMGy_cnn - IMYy_bicubic) × weight + IMGy_bicubic
여기에서, IMGy_cnn'은 Y채널 결과 이미지이고, IMGy_cnn은 CNN의 Y채널 출력 이미지이며, IMGy_bicubic은 CNN의 Y채널 입력 이미지이고, weight는 가중치 값이다. 즉, weight = 1이면 IMGy_cnn' = IMGy_cnn이고, weight > 1이면 에지(edge) 성분의 정도가 강조되며, weight < 1이면 에지 성분의 정도가 감소될 수 있다. 또한, weight = 0이면 IMGy_cnn' = IMGy_bicubic이다. 따라서, 가중치 값은 선명도 조절 인자에 해당할 수 있다.
일 실시예에서, 이미지 생성부(350)는 가중치 값을 설정하여 결과 이미지의 선명도(sharpness)를 조정할 수 있다. 이미지 생성부(350)는 입력 이미지의 Y채널에 대한 가중화 동작 과정에서 합성곱 모델의 입력 및 출력의 차이에 적용되는 가중치 값을 동적으로 설정함으로써 가중화 후 생성되는 결과 이미지의 선명도를 효과적으로 조절할 수 있다. 특히, 상대적으로 높은 가중치 값이 적용될수록 결과 이미지의 에지(edge) 성분이 보다 강조될 수 있고, 그 반대의 경우 결과 이미지 상에서 에지의 선명도가 감소할 수 있다.
일 실시예에서, 이미지 생성부(350)는 초해상화 합성곱 모델 대신 다른 초해상화 알고리즘(또는 모델)을 적용하여 결과 이미지를 생성할 수 있다. 여기에서는, 저해상도의 소스 이미지로부터 초해상화 합성곱 모델을 적용하여 고해상도의 결과 이미지를 생성하는 것으로 설명하였으나, 필요에 따라 이미지 생성부(350)는 이미지 수신부(310)에 의해 수신된 저해상도의 소스 이미지를 직접 전달받아 다른 초해상화 알고리즘을 적용하여 결과 이미지를 생성할 수도 있다.
이때, 초해상화 알고리즘에는 기존의 SRCNN은 물론 FSRCNN(Fast Super Resolution Convolutional Neural Network), VDSR(Very Deep Super Resolution), EDSR(Enhanced Deep Super Resolution), SRGAN(Sper Resolution Generative Adversarial Network) 등이 포함될 수 있다.
특히, 이미지 생성부(350)는 다른 초해상화 알고리즘의 내부에 합성곱 모델(CNN)이 포함되어 있는 경우 해당 합성곱 모델의 출력과 입력의 차이를 산출한 뒤 가중치를 적용하고 다시 입력을 합산하는 방식으로 고해상도의 결과 이미지 상에서 에지 부분의 선명도를 효과적으로 개선할 수 있다.
제어부(370)는 이미지 생성 장치(130)의 전체적인 동작을 제어하고, 이미지 수신부(310), 업 스케일링부(330) 및 이미지 생성부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법을 설명하는 순서도이다.
도 4를 참조하면, 이미지 생성 장치(130)는 이미지 수신부(310)를 통해 제1 해상도의 소스 이미지를 수신할 수 있다(단계 S410). 이미지 생성 장치(130)는 업 스케일링부(330)를 통해 소스 이미지를 업 스케일링 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성할 수 있다(단계 S430). 이미지 생성 장치(130)는 이미지 생성부(350)를 통해 업 스케일된 이미지가 적용된 합성곱 모델의 입력 및 출력 사이의 차이를 가중화 하여 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성할 수 있다(단계 S470).
도 5는 기존 방식의 SRCNN 처리 순서를 설명하는 도면이다.
도 5를 참조하면, SRCNN은 저해상도의 소스 이미지를 입력 받아 업 스케일링을 통해 업 스케일된 이미지(Bi-cubic upscaled image)를 생성하고 이를 기초로 이미지 상의 에지 부분이 개선된 결과 이미지(SRCNN upscaled image)를 출력으로 생성하는 동작을 수행할 수 있다. 도 5의 경우, 소스 이미지에 SRCNN이 적용된 실시예에 해당할 수 있다. 특히, 업 스케일된 이미지로서 입력 이미지의 YUV 채널들 중 Y채널에 CNN이 적용된 실시예에 해당할 수 있으며, 필요에 따라 입력 이미지의 RGB 채널들(즉, 3개의 채널들)에 대해서도 동일하게 적용될 수 있다.
일 실시예에서, SRCNN에 포함된 CNN은 3계층의 FCN(Fully Convolution Network) 구조로 구현될 수 있다. 예를 들어, 첫 번째 층은 패치 추출(patch extraction) 단계로서 입력 이미지에서 패치들을 추출하여 피처맵(feature map) 단위로 표현하는 단계에 해당할 수 있다. 두 번째 층에서는 각각의 피처맵을 또 다른 피처맵으로 매핑(mapping)하는 단계에 해당할 수 있으며, 이 경우 매핑은 비선형(nonlinear)적으로 수행될 수 있다. 마지막 층에서는 비선형적으로 매핑된 피처맵들을 기초로 출력 이미지를 생성하는 단계에 해당할 수 있다.
한편, 도 5에서, CNN은 3개의 합성곱 계층(conv)들과 3개의 ReLu 계층들을 포함하여 구현될 수 있다. 이때, 첫 번째 합성곱 계층은 9×9 conv 필터가 적용될 수 있고 YUV 채널들 중 Y 채널에 대응되는 1 채널의 입력에 대해 64 채널의 출력을 생성할 수 있다. 두 번째 합성곱 계층은 5×5 conv 필터가 적용될 수 있고 64 채널의 입력에 대해 32 채널의 출력을 생성할 수 있으며, 마지막 합성곱 계층은 5×5 conv 필터가 적용될 수 있고 32 채널의 입력에 대해 Y 채널에 대응되는 1 채널의 출력이 생성될 수 있다.
도 6은 본 발명에 따른 가중화된 SRCNN의 처리 순서를 설명하는 도면이다.
도 6을 참조하면, 이미지 생성 장치(130)는 이미지의 Y 채널에 대해 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 기존 이미지보다 선명도가 향상된 이미지를 생성할 수 있다.
도 6에서, CNN의 입력은 바이큐빅 보간법에 의해 업 스케일된 이미지의 Y 채널에 해당할 수 있다. CNN의 출력과 입력 간의 차이(Residual)가 산출되면 기 설정된 가중치(Weight)가 해당 차이에 곱해짐으로써 가중화 동작이 수행될 수 있다. 이후 해당 가중화 결과(Residual * Weight)에 CNN의 입력이 다시 더해진 결과 선명도가 개선된 결과 이미지(Weighted SRCNN upscaled image)가 생성될 수 있다.
이때, 가중치가 1 이면 CNN의 출력과 입력이 동일할 수 있으며, 도 5의 SRCNN 결과와 동일할 수 있다. 만약 가중치가 1보다 크면 에지 성분의 정도가 더 높아질 수 있다. 이와 반대로, 가중치가 1보다 작으면 에지 성분의 정도가 줄어들어 CNN의 입력과 유사할 수 있다. 결과적으로, 이미지 생성 장치(130)는 가중치 값을 조절함으로써 사용자가 원하는 정도의 선명도를 가진 이미지를 생성할 수 있다.
도 7은 초해상화 결과 이미지를 비교 설명하는 도면이다.
도 7을 참조하면, 본 발명에 따른 이미지 생성 방법은 기존의 SRCNN을 통해 생성된 이미지와 비교하여 더 높은 선명도의 이미지를 생성할 수 있다. 도 7의 소스 이미지(Reference image)를 기존의 SRCNN에 입력하면 소스 이미지보다 선명도가 개선된 이미지(Original SRCNN image)를 획득할 수 있다. 이와 비교하여, 동일한 소스 이미지(Reference image)에 대해 본 발명에 따른 이미지 생성 방법을 적용하면 선명도의 개선 정도가 더 높은 이미지(WSRCNN image)를 획득할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지 생성 시스템
110: 사용자 단말 130: 이미지 생성 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 이미지 수신부 330: 업 스케일링부
350: 이미지 생성부 370: 제어부

Claims (7)

  1. 제1 해상도의 소스 이미지를 수신하는 이미지 수신부;
    상기 소스 이미지를 업 스케일링(up scaling) 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성하는 업 스케일링부; 및
    상기 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 상기 업스케일 이미지보다 선명도가 향상된 결과 이미지를 생성하는 이미지 생성부;를 포함하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  2. 제1항에 있어서, 상기 이미지 수신부는
    상기 소스 이미지의 해상도가 상기 제1 해상도와 상이한 경우 상기 소스 이미지의 해상도를 상기 제1 해상도와 일치시키는 전처리 동작을 수행하는 것을 특징으로 하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  3. 제1항에 있어서, 상기 업 스케일링부는
    상기 소스 이미지에 바이큐빅 보간법(bicubic interpolation)을 적용하여 상기 업 스케일된 이미지를 생성하는 것을 특징으로 하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  4. 제1항에 있어서, 상기 이미지 생성부는
    상기 업 스케일된 이미지의 RGB 채널들을 YUV 채널들로 변환하고,
    상기 YUV 채널들 중 Y 채널에 대해 상기 합성곱 모델을 적용한 후 상기 가중화를 수행하며,
    상기 가중화에 따른 Y 채널을 포함하는 상기 YUV 채널들을 상기 RGB 채널들로 변환하여 상기 결과 이미지를 생성하는 것을 특징으로 하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  5. 제4항에 있어서, 상기 이미지 생성부는
    상기 YUV 채널들 중 Y채널에 대해 상기 합성곱 모델의 출력 이미지에서 입력 이미지를 차감하고,
    상기 차감된 결과에 기 설정된 가중치 값을 곱 연산하며,
    상기 곱 연산된 결과에 상기 입력 이미지를 합산하는 것을 특징으로 하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  6. 제5항에 있어서, 상기 이미지 생성부는
    상기 가중치 값을 설정하여 상기 결과 이미지의 선명도를 조정하는 것을 특징으로 하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치.
  7. 이미지 수신부, 업 스케일링부 및 이미지 생성부를 포함하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치에서 수행되는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법에 있어서,
    상기 이미지 수신부를 통해, 제1 해상도의 소스 이미지를 수신하는 단계;
    상기 업 스케일링부를 통해, 상기 소스 이미지를 업 스케일링(up scaling) 하여 제2 해상도를 갖는 업 스케일된 이미지를 생성하는 단계; 및
    상기 이미지 생성부를 통해, 상기 업 스케일된 이미지가 적용된 합성곱 모델(CNN, Convolution Neural Network)의 입력 및 출력 사이의 차이를 가중화 하여 상기 업 스케일된 이미지보다 선명도가 향상된 결과 이미지를 생성하는 단계;를 포함하는 에지 선명도의 조정이 가능한 초해상화 이미지 생성 방법.
KR1020220059709A 2022-05-16 2022-05-16 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법 KR20230160096A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220059709A KR20230160096A (ko) 2022-05-16 2022-05-16 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법
PCT/KR2022/015084 WO2023224179A1 (ko) 2022-05-16 2022-10-07 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220059709A KR20230160096A (ko) 2022-05-16 2022-05-16 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230160096A true KR20230160096A (ko) 2023-11-23

Family

ID=88835480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220059709A KR20230160096A (ko) 2022-05-16 2022-05-16 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230160096A (ko)
WO (1) WO2023224179A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101644411B1 (ko) 2014-05-21 2016-08-01 주식회사 에이티엠 고해상도 이미지 복원 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
US9013511B2 (en) * 2006-08-09 2015-04-21 Qualcomm Incorporated Adaptive spatial variant interpolation for image upscaling
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR102511059B1 (ko) * 2017-05-17 2023-03-17 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
KR20210067783A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101644411B1 (ko) 2014-05-21 2016-08-01 주식회사 에이티엠 고해상도 이미지 복원 장치 및 그 방법

Also Published As

Publication number Publication date
WO2023224179A1 (ko) 2023-11-23

Similar Documents

Publication Publication Date Title
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
Kim et al. Accurate image super-resolution using very deep convolutional networks
US10552944B2 (en) Image upscaling with controllable noise reduction using a neural network
US9836820B2 (en) Image upsampling using global and local constraints
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
KR20190100320A (ko) 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체
JP3654420B2 (ja) 画像変換方法、画像処理装置、および画像表示装置
CN113014927B (zh) 图像压缩方法和图像压缩装置
US9824431B2 (en) Image synthesis apparatus, image synthesis method, and recording medium
US10402941B2 (en) Guided image upsampling using bitmap tracing
JP6432214B2 (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
EP2529353A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
KR102221225B1 (ko) 영상 화질 개선방법 및 그 장치
KR102289045B1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
EP4207051A1 (en) Image super-resolution method and electronic device
Wen et al. Image superresolution using densely connected residual networks
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN112991171A (zh) 图像处理方法、装置、电子设备及存储介质
KR20230160096A (ko) 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质
Yuan et al. Depth map super-resolution via low-resolution depth guided joint trilateral up-sampling

Legal Events

Date Code Title Description
E601 Decision to refuse application