KR102620105B1

KR102620105B1 - 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치

Info

Publication number: KR102620105B1
Application number: KR1020160147427A
Authority: KR
Inventors: 만게시 코술레; 조르디 살바도르 마르코스
Original assignee: 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date: 2015-11-09
Filing date: 2016-11-07
Publication date: 2024-01-03
Also published as: JP7260243B2; CN107016642A; JP2017091529A; CN107016642B; EP3166070A1; EP3166070B1; KR20170058277A; US10319075B2; US20170132760A1

Abstract

잡음 있는 이미지들의 공지된 이미지 업스케일링 방법들을 이용하면, 잡음제거 동안 중요한 상세 정보가 유실된다. 잡음 있는 입력 이미지들을 업스케일링하기 위한 방법(100)은 잡음 있는 입력 이미지를 업스케일링하여(20) 잡음 있는 고해상도(HR) 이미지를 획득하는 단계, 잡음 있는 입력 이미지를 잡음제거하여(30) 잡음제거된 저해상도(LR) 이미지를 획득하는 단계, 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하는 단계, 및 잡음 있는 HR 이미지와 업스케일링된 잡음제거된 LR 이미지를 결합시켜(50) 잡음제거된 HR 이미지를 생성하는 단계를 포함한다.

Description

잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치{METHOD FOR UPSCALING NOISY IMAGES, AND APPARATUS FOR UPSCALING NOISY IMAGES}

이 발명은 이미지들을 업스케일링하기 위한 방법 및 이미지들을 업스케일링하기 위한 장치에 관한 것이다.

이미지 수퍼-해상도(image super-resolution)는 저해상도(low-resolution)(LR) 이미지로부터 확대된 고해상도(high-resolution)(HR) 이미지를 생성하는 작업이다. 이러한 확대된 이미지는 LR 이미지의 고주파수(HF) 콘텐츠를 보존해야 한다. 종래에는, HR 이미지는 잡음 있는 LR 이미지를 먼저 잡음제거하고(de-noise) 이후 업스케일링함으로써 획득된다.

제WO2015121422A호는 잡음-인식 단일-이미지 수퍼-해상도(SI-SR) 알고리즘을 개시하는데, 이는 부가 잡음을 자동으로 소거하는 동시에 더 낮은 스케일들로부터 학습된 상세항목들을 추가한다. 일반적인 SI-SR 기법들에 비해, 방법은 입력 이미지가 예시들의 깨끗한 소스일 것을 가정하지 않는다. 대신, 방법은 보간-기반 업스케일링된 이미지 패치들을 보충하기 위해 매우 상세한 예들을 학습하는 것 및 이미지 잡음을 감소시키는 것 둘 모두 이전에 최근의 그리고 효율적인 제자리 교차-스케일 자체-유사성을 사용한다.

제EP3086280호에서, 수퍼-해상도의 이미지의 대략적(coarse) 추정은 보간에 의해 먼저 획득된다. 이후, 업스케일링된 이미지의 각각의 패치는 평균-차감되고 정규화되어 오프라인 트레이닝 동안 획득된 몇몇 독립 계층 비선형 맵핑 함수들을 위-아래 횡단(top-down traverse)한다. 각각의 위-아래 횡단 동안, 맵에서의 계층 모드들과 정규화된 패치 사이의 유사성들이 결합되고, 최고의 유사성을 가지는 맵이 선택되며, 따라서, 단일 맵을 이용하여 대안적 해법에 의해 달성되는 품질을 개선한다. 평균-차감 패치는 이후 선택된 맵에서의 결과적인 선형화에 대응하는 국부적 선형 맵에 의해 프로세싱되고, 대략적 패치에 추가된다.

[ Dabov2007 ]는 2-단계 방법에 의한 이미지 잡음제거를 개시하고, 여기서 각각의 단계는 블록-매칭, 3D 변환, 협업적 필터링 스테이지 및 재구성된 이미지의 역 3D 변환 및 조성(composition)에 의한 유사한 패치들의 그룹화를 포함한다. 제1 스테이지 동안, 협업적 필터는 하드-임계화를 사용하는 반면, 제2 스테이지 동안, 더 미세한 위너(Wiener) 잡음제거 필터가 사용된다. 임계 및 필터 계수들의 선택은 잡음 레벨을 알 것을 요구한다.

[ Dong2014 ]는 이미지를 업스케일링하기 위해 다수의 층들을 가지는 컨볼루션 신경망(convolutional neural network)(CNN)에 기초한 방식을 사용한다.

공지된 이미지 업스케일링 방법들의 문제점은, 입력 이미지에 잡음이 있을 때, 업스케일링 동안 복원하기 어려운 중요한 상세 정보가 잡음제거 동안 유실된다는 것이다.

본 발명은 잡음 있는 이미지들의 개선된 업스케일링을 위한 해법을 제공한다.

일 실시예에서, 잡음 있는 입력 이미지들을 업스케일링하기 위한 방법은 잡음 있는 입력 이미지를 업스케일링하여 잡음 있는 고해상도(HR) 이미지를 획득하는 것, 잡음 있는 입력 이미지를 잡음제거하여 잡음제거된 저해상도(LR) 이미지를 획득하는 것, 잡음제거된 LR 이미지를 업스케일링하여 업스케일링된 잡음제거된 LR 이미지를 획득하는 것, 및 잡음 있는 HR 이미지와 업스케일링된 잡음제거된 LR 이미지를 결합시켜 잡음제거된 HR 이미지를 생성하는 것을 포함한다. 방법을 이용하는 장치가 청구항 14에 개시된다. 장치는, 일 실시예에서, 청구항 15에 개시된다.

일 실시예에 따르면, 컴퓨터 판독가능한 매체는 컴퓨터가 청구항들에 개시된 바와 같은 방법을 수행하게 하는 실행가능한 명령들을 가진다.

일 실시예에 따르면, 업스케일링하기 위한 장치는 적어도 하나의 하드웨어 컴포넌트, 및 적어도 하나의 하드웨어 컴포넌트 상에서 실행될 때 적어도 하나의 하드웨어 컴포넌트가 청구항들에서 개시된 바와 같은 방법을 수행하게 하는 적어도 하나의 소프트웨어 컴포넌트를 유형적으로 내장하는, 비-일시적 컴퓨터-실행가능 저장 매체를 포함한다.

일 실시예에서, 적어도 하나의 하드웨어 컴포넌트는 적어도 하나의 하드웨어프로세서를 포함한다.

발명의 추가적인 목적들, 특징들 및 장점들은 첨부 도면들과 관련하여 취해질 때 후속하는 기재 및 첨부된 청구항들의 고려로부터 명백해질 것이다.

발명의 예시적인 실시예들은 첨부 도면들에 관련하여 기술된다.
도 1은 이미지 업스케일링 방법의 플로우차트이다.
도 2는 이미지 업스케일링을 위한 장치의 블록도이다.
도 3은 이미지 잡음제거 서브-시스템의 구조이다.

종래에는, 잡음 있는 LR 이미지를 먼저 잡음제거하고 나서 업스케일링함으로써 HR 이미지가 획득된다. 본 방법에서는, 일 실시예에서, 잡음 있는 LR 이미지를 업스케일링하여 "잡음 있는 HR" 이미지를 획득한다. 이 이미지는 잡음 업스케일링되지만, HF 구조들이 또한 보존된다. LR 이미지는 먼저 잡음제거되고, 이후 업스케일링되어 "잡음제거된 HR" 이미지를 획득한다. 이 이미지는 잡음이 없지만, 그것은 또한 더 적은 HF 정보를 가진다. 잡음 있는 LR 이미지로부터 시각적으로 양호한 HR 이미지를 달성하기 위해, 발명은 "잡음 있는 HR" 및 "잡음제거된 HR"을 비-선형으로 결합시켜 더 양호한 HR 이미지를 산출한다. 일 실시예에서, 비-선형성은 임계화에 의해 획득된다. 이러한 결합으로부터 획득되는 이미지들은 더 양호한 PSNR을 가지며, 또한 종래의 방법들을 사용하여 획득되는 것들보다 시각적으로 더 보기 좋다(pleasant).

도 1은, 일 실시예에서, 이미지 업스케일링 방법의 플로우차트를 도시한다. 잡음 있는 입력 이미지들을 업스케일링하기 위한 방법(100)은 잡음 있는 입력 이미지(11)를 업스케일링하여(20) 잡음 있는 HR 이미지를 획득하는 것, 잡음 있는 입력 이미지(11)를 잡음제거하여(30) 잡음제거된 LR 이미지를 획득하는 것, 및 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하는 것을 포함한다. 잡음 있는 HR 이미지 및 업스케일링된 잡음제거된 LR 이미지가 결합되어(50) 잡음제거된 HR 이미지(51)를 생성한다.

업스케일링(20) 시에, 잡음 있는 LR 입력 이미지는 단일 이미지 수퍼-해상도에 대한 방법을 사용하여 업스케일링된다. 이 동작은 "잡음 있는 HR" 이미지를 제공한다. 잡음 있는 LR 입력 이미지는 또한 잡음제거 알고리즘을 사용하여 잡음제거되어(30) 잡음제거된 LR 이미지를 산출하고, 이후 잡음제거된 LR 이미지가 업스케일링된다(40). 일 실시예에서, 2개의 업스케일링 스테이지들(20, 40)은 동일한 SR 알고리즘을 사용한다. 일 실시예에서, 2개의 업스케일링 스테이지들(20, 40)은 상이한 SR 알고리즘을 사용한다. 일 실시예에서, 도 1b)에 도시된 바와 같이, 업스케일링(20) 이후 추가적인 잡음제거(25)가 수행된다. 추가적인 잡음제거(25)는 매우 단순할 수 있다. 잡음제거된 HR 이미지 및 잡음 있는 HR 이미지들은 비-선형 필터들의 네트워크를 사용하여 결합되어 HR 이미지를 생성 및 출력하는데, 이는 LR 입력 이미지의 확대된 그리고 고해상도의 버전이다.

도 2는, 일 실시예에서, 잡음 있는 입력 이미지들을 업스케일링하기 위한 장치를 도시한다. 장치(200)는, 잡음 있는 입력 이미지(11)를 업스케일링하여(20) 잡음 있는 HR 이미지를 획득하도록 적응되는 제1 이미지 업스케일러(220), 잡음 있는 입력 이미지(11)를 잡음제거하여(30) 잡음제거된 LR 이미지를 획득하도록 적응되는 이미지 잡음제거기(230), 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하도록 적응되는 제2 이미지 업스케일러(240), 및 잡음 있는 HR 이미지와 업스케일링된 잡음제거된 LR 이미지를 결합시켜 잡음제거된 HR 이미지(51)를 생성하도록 적응되는 이미지 결합기(250)를 포함한다. 실시예들에서, 결합기(250)는 예를 들어, 잡음 있는 HR 이미지의 픽셀들 또는 패치들을 업스케일링된 잡음제거된 LR 이미지의 픽셀들 또는 패치들과 결합시킨다. 일 실시예에서, 입력 이미지(11)는 오버랩하는 패치들로 분할되고, 방법 및/또는 장치의 모든 스테이지들이 이러한 패치들에 적용된다. 최종 스테이지(50, 250)에서, 프로세싱된 패치들이 오버랩되어 HR 이미지(51)를 획득한다.

다양한 실시예들에서, 하기에 기술되는 바와 같이, 제1 이미지 업스케일러(220), 이미지 잡음제거기(230) 및 제2 이미지 업스케일러(240), 및 업스케일링(20, 40) 및 잡음제거(30) 중 하나 이상은 각자, 다양한 필터들을 포함한다. 원칙상, 임의의 FIR 필터 타입들이 사용될 수 있다. 그러나, 일 실시예에서, 트레이닝은 필터 타입들, 필터 크기들 및 필터링 계수들을 최적화(즉, 수정)할 수 있다. 다른 실시예들에서, 트레이닝은 단지 필터 크기들 및/또는 필터 계수들을 최적화하는 반면, 필터 타입들은 주어진다.

원칙상, 3가지 서브-시스템들, 즉, 이미지 잡음제거 서브-시스템, 이미지 수퍼-해상도 서브-시스템 및 이미지 결합 서브-시스템이 사용된다.

이미지 잡음제거 서브-시스템은 이미지 잡음제거를 수행한다. 이미지 잡음제거의 목적은 잡음을 제거하는 동시에 이미지 내의 고주파수 상세항목들, 즉, 에지들, 텍스쳐들 등을 유지하는 것이다. 이미지 잡음제거 서브-시스템은 필터 뱅크들에 기초한다. 도 3에 도시된 일 실시예에서, 잡음제거 서브-시스템의 5 스테이지 아키텍처(300)는 제1 잡음제거 필터링(310), 제1 임계화(320), 제2 잡음제거 필터링(330), 제2 임계화(340) 및 제3 잡음제거 필터링(350)을 사용한다. 원칙상, 제1 잡음제거 필터링(310) 및 제1 임계화(320)는 모두 비-선형 필터로서 이해될 수 있다. 동일사항이 제2 잡음제거 필터링(330) 및 제2 임계화(340)에 적용된다. 반면, 또한 제1 임계화(320) 및 제2 잡음제거 필터링(330)은 모두 비-선형 필터로서 간주될 수 있고 동일사항이 제2 임계화(340) 및 제3 잡음제거 필터링(350)에 적용된다. 따라서, 잡음제거 서브-시스템(300)은 비-선형 필터들의 네트워크이다.

일 실시예에서, 제1 필터링 스테이지(310)는 9x9 픽셀들의 공간적 크기를 가지는 64개의 필터를 가진다. 잡음 있는 입력과 잡음제거된 출력 사이의 비-선형성을 모델링하기 위해, 임계화 유닛(320, 340)이 매 필터링 스테이지 이후에 사용된다. 이러한 임계화는 양의 입력 값들이 통과하도록 하는 반면, 음의 값들은 제로로 동일화된다. 상이한 개수의 필터들 및 상이한 공간적 필터 지지(spatial filter support)(즉, 사용되는 픽셀들)를 가지는 이러한 2개의 스테이지의 캐스캐이드가 사용되었다. 아키텍처(300)의 마지막 스테이지(350)는 다시 필터링 동작이다. 예시적인 전체 구성이 표 1에 도시된다.

일 실시예에서, 필터들의 일부 또는 전부의 계수들은 랜덤으로 초기화되고, 이후 역 전파(backpropagation)로서 공지된 머신 학습 알고리즘을 사용하여 학습된다. 머신 학습 알고리즘의 결과들은 사용되는 트레이닝 이미지들에 의존하지만, 종종 표 1에 도시된 것과 유사하다.

이미지 잡음제거 서브-시스템의 한 가지 효과는, 예를 들어, 가우시안 잡음을 가지는 잡음 있는 LR 입력 이미지가 이미지 잡음제거를 적용한 이후 더 적은 잡음을 갖지만, 그것이 또한 입력보다 더 매끄럽다는 것이다.

이미지 수퍼-해상도 서브-시스템은 LR 이미지의 업스케일링을 수행하여 확대된 이미지에 보존된 고주파수 콘텐츠를 제공한다. 일 실시예에서, 다시 필터링 기반 방식이, 필터들의 상이한 배열을 이용하여, 이러한 서브-시스템에 대해 사용된다. 일 실시예에서, 필터들의 예시적인 구성이 표 2에 도시된다. 그것은 또한 필터링 및 임계화 동작들의 캐스캐이드된 배열을 가지는 5-스테이지 아키텍처를 사용한다. 도 3에 도시된 구조는 유사하게 잡음제거 서브-시스템을 적용한다.

다양한 업스케일링 인자들이 사용될 수 있다. 예를 들어, (디멘젼 당) 2의 업스케일링 인자는 두 공간적 디멘젼들에서 입력 이미지의 2배 크기를 가지는 출력 이미지를 제공한다.

잡음 있는 HR 이미지들은 양호한 HF 콘텐츠들을 보유하지만, 또한 잡음을 포함한다. 반면, 잡음제거된 HR 이미지들은 더 적은 잡음을 보유하지만, 이미지들은 더 매끄럽다. 발명은 이러한 2개의 이미지를 결합시켜 HF 콘텐츠들과 함께 감소한 잡음을 가지는 최종 이미지를 산출한다.

이미지 결합 서브-시스템은 잡음 있는 HR과 잡음제거된 HR 이미지를 결합시켜 최종 출력 HR 이미지를 산출한다. 이러한 네트워크는 입력 이미지와 대응하는 출력 HR 이미지 사이의 비-선형 맵핑을 결정한다. 일 실시예에서, 필터 기반 네트워크는 비-선형 맵핑을 찾기 위해 사용된다. 그것은 이미지 잡음제거 및 이미지 수퍼-해상도를 위해 사용되는 필터링 네트워크들과 유사한 아키텍처를 사용한다. 일 실시예에서, 도 3은 입력 이미지들을 결합시키기 위한 것과 등가인 네트워크 아키텍처를 도시한다. 일 실시예에서, 결합시키는 것(50)은 제1 결합 필터링, 제1 임계화, 제2 결합 필터링, 제2 임계화 및 제3 결합 필터링의 5 스테이지 필터링 시퀀스를 사용한다. 표 3은 결합 서브-시스템의 예시적인 구성 파라미터들을 도시한다.

이러한 비-선형 네트워크에 의해 산출되는 출력 이미지들은 종래의 잡음제거된 HR 이미지들보다 더 양호한 PSNR(즉, 더 적은 잡음), 예를 들어, 5의 분산의 가우시안 잡음을 가지는 이미지들에 대한 PSNR에 있어서 약 2dB의 증가를 가지며, 시각적으로 더 보기 좋다.

트레이닝은, 일 실시예에서, 소위 3개 서브-시스템들의 역 전파를 사용함으로써 수행될 수 있다. 이러한 알고리즘은 시스템에서 가중들(즉, 필터링 계수들)에 대한 에러의 편차를 계산한다. 에러는 원하는 출력 이미지와 시스템에 의해 산출되는 출력 사이의 차이이다. 일 실시예에서, 실측 자료(ground truth)와 시스템의 출력 이미지 사이의 제곱 차이가 에러 측정으로서 사용된다. 이후, 에러의 편차는 가중들에 관련하여 계산될 수 있다. 가중들에 대한 가중 업데이트는 에러의 편차를 제로로 동일화함으로써 계산될 수 있다. 에러의 변화도(gradient)는 도함수의 연쇄 법칙을 사용하여 출력 스테이지에서의 가중들로부터 입력 스테이지에서의 가중들로 역으로 전파된다. 일 실시예에서, 이러한 가중 조정은, 예를 들어, 출력 스테이지에서 또는 트레이닝 스테이지에서 이루어진다. 적은 개수의 트레이닝 이미지들, 예를 들어, 91개의 트레이닝 이미지들이 네트워크들을 트레이닝하는데 충분하다. 트레이닝을 위해, 더 작은 패치들이 이미지들로부터 추출된다. 예를 들어, 모든 3개의 서브-시스템들에 대한 적절한 트레이닝 패치 크기는 32x32 픽셀들이다.

발명의 한가지 장점은, 그것이 가우시안, 필름 그레인(film grain), 코딩 결함들 등과 같은, 다양한 잡음 타입들을 포함하는 LR 이미지들을 효율적으로 업스케일링 및 잡음제거하도록 적응된다는 것이다. 즉, 동일한 네트워크 아키텍처가 모든 타입의 잡음들에 대해 사용될 수 있으며, 이는 종래의 기법들에 대한 경우는 아니다.

개시된 방법의 한가지 장점은, 그것이 객관적 평가(PSNR) 및 주관적 평가(시각적 외형)의 견지 모두에서 더 양호한 품질의 HR 이미지를 달성한다는 것이다. 사용되는 트레이닝 전략들에 따라, 트레이닝 결과는, 입력 이미지의 잡음 레벨이 공지된 경우, 더 양호할 수 있다.

동사 "포함하다(comprise)" 및 그것의 활용형들의 사용은 청구항에 언급된 것이 아닌 엘리먼트들 또는 단계들의 존재를 배제하지 않는다. 또한, 엘리먼트에 선행하는 관사("a" 또는 "an")의 사용은 복수의 이러한 엘리먼트들의 존재를 배제하지 않는다. 몇몇 "수단"은 하드웨어의 동일한 항목에 의해 표현될 수 있다. 따라서, 발명은 각각의 그리고 모든 신규한 특징 또는 특징들의 조합에 존재한다.

본원에서 사용된 바와 같이, "업스케일링" 또는 "잡음제거"는 단순한 수학적 추상화를 기술하는 것이 아니라, 대신, 머신 또는 장치에 의한 검출이 가능한 물리적 매체에 내장되거나 이에 의해 반송되는 정보를 나타낸다. 이러한 용어는 레코딩된 또는 전송된 신호들을 포함하며, 펄스 코드 변조(PCM)를 포함하지만 PCM에 제한되지 않는, 임의의 형태의 인코딩에 의한 운송(conveyance)을 포함하는 것으로 이해되어야 한다.

본 발명의 바람직한 실시예들에 적용되는 바와 같이, 본 발명의 기본적인 신규한 특징들이 도시되고, 기술되고, 지정되었지만, 개시된 디바이스들의 형태 및 상세항목들에 있어서, 그리고 그의 동작에 있어서, 기술된 장치 및 방법에서의 다양한 생략 및 치환 및 변경들이 본 발명의 사상으로부터의 이탈 없이 본 기술분야의 통상의 기술자에 의해 이루어질 수 있다는 것이 이해될 것이다. 본 발명이 ...에 관해 개시되었지만, 본 기술분야의 통상의 기술자는 본원에 기술된 방법 및 디바이스들이 임의의 ...에 적용될 수 있음을 인지할 것이다. 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하여 동일한 결과들을 달성하는 엘리먼트들의 모든 조합들이 발명의 범위 내에 있다는 것이 명시적으로 의도된다. 하나의 기재된 실시예로부터 또다른 기재된 실시예로의 엘리먼트들의 치환들이 또한 전체적으로 의도되고 참작된다.

본 발명이 순수하게 예시에 의해 기술되었으며, 상세항목의 수정들이 발명의 범위로부터의 이탈 없이 이루어질 수 있다는 것이 이해될 것이다.

설명 및 (적절한 경우) 청구항들과 도면들에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은, 적절한 경우, 하드웨어, 소프트웨어, 또는 둘의 조합으로 구현될 수 있다. 접속들은, 적용가능한 경우, 무선 접속들 또는 유선의, 반드시 직접 또는 전용은 아닌, 접속들로서 구현될 수 있다. 청구항들에 나타나는 참조 번호들은 단지 예시에 의한 것이며, 청구항들의 범위에 대해 어떠한 제한적인 영향도 미치지 않을 것이다.

인용된 참조 문헌들

WO2015121422A

EP3086280

[ Dabov2007 ] Dabov et al., "Image denoising by sparse 3D transform-domain collaborative filtering", in Transaction on Image Processing 2007

[ Dong2014 ] Dong et al., "Learning a Deep Convolutional Network for Image Super-Resolution", in Proceedings of European Conference on Computer Vision (ECCV), 2014

Claims

잡음 있는 입력 이미지들(noisy input images)을 업스케일링(upscaling)하기 위한 방법(100)으로서,
- 잡음 있는 입력 이미지를 업스케일링하여(20) 잡음 있는 고해상도(HR) 이미지를 획득하는 단계;
- 상기 잡음 있는 입력 이미지를 잡음제거(denoising)하여(30) 잡음제거된 저해상도(LR) 이미지를 획득하는 단계;
- 상기 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하는 단계; 및
- 비-선형 필터링의 시퀀스로, 상기 잡음 있는 HR 이미지와 상기 업스케일링된 잡음제거된 LR 이미지를 결합시켜서 잡음제거된 HR 이미지를 생성하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 잡음 있는 입력 이미지를 업스케일링하는 것(20)을 위해 그리고 상기 잡음제거된 LR 이미지를 업스케일링하는 것(40)을 위해, 동일한 업스케일링 방법이 사용되는 방법.
제1항 또는 제2항에 있어서, 상기 결합시키는 것은 비-선형 필터들의 네트워크(a network of non-linear filters)를 사용하고, 비-선형성(non-linearity)은 임계화(thresholding)를 통해 획득되는 방법.
제1항 또는 제2항에 있어서, 상기 잡음제거하는 것은 제1 잡음제거 필터링(310), 제1 임계화(320), 제2 잡음제거 필터링(330), 제2 임계화(340) 및 제3 잡음제거 필터링(350)의 5 스테이지 필터링 시퀀스를 사용하는 방법.
제1항 또는 제2항에 있어서, 상기 업스케일링하는 것은 제1 업스케일링 필터링, 제1 임계화, 제2 업스케일링 필터링, 제2 임계화 및 제3 업스케일링 필터링의 5 스테이지 필터링 시퀀스를 사용하는 방법.
제1항 또는 제2항에 있어서, 상기 결합시키는 것은 제1 결합 필터링, 제1 임계화, 제2 결합 필터링, 제2 임계화 및 제3 결합 필터링의 5 스테이지 필터링 시퀀스를 사용하는 방법.
제3항에 있어서, 상기 임계화는 음의 값들을 제로로 설정하고 양의 값들을 변경하지 않은 채 전달하도록 하는 방법.
제4항에 있어서, 상기 필터링을 위한 필터들의 계수들 및 디멘젼들은 랜덤으로 초기화되고 나서, 머신 학습 알고리즘(machine learning algorithm)을 사용함으로써 트레이닝 스테이지(training stage)에서 트레이닝되는 방법.
제4항에 있어서, 상기 필터링을 위한 필터들의 디멘젼들은 미리 정의되고, 상기 필터링을 위한 필터들의 계수들은 랜덤으로 초기화되고 나서, 머신 학습 알고리즘을 사용함으로써 트레이닝 스테이지에서 트레이닝되는 방법.
제1항 또는 제2항에 있어서, 상기 업스케일링하는 것, 잡음제거하는 것 및 결합시키는 것은 이미지 패치들(image patches)을 사용하는 방법.
잡음 있는 입력 이미지들을 업스케일링하기 위한 장치(200)로서,
- 잡음 있는 입력 이미지를 업스케일링하여(20) 잡음 있는 고해상도(HR) 이미지를 획득하도록 적응되는 제1 이미지 업스케일러(220);
- 상기 잡음 있는 입력 이미지를 잡음제거하여(30) 잡음제거된 저해상도(LR) 이미지를 획득하도록 적응되는 이미지 잡음제거기(230);
- 상기 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하도록 적응되는 제2 이미지 업스케일러(240); 및
- 비-선형 필터링의 시퀀스로, 상기 잡음 있는 HR 이미지의 픽셀들 또는 패치들과 상기 업스케일링된 잡음제거된 LR 이미지의 픽셀들 또는 패치들을 결합시켜서 잡음제거된 HR 이미지를 생성하도록 적응되는 이미지 결합기(250)
를 포함하는 장치(200).
제11항에 있어서, 상기 잡음 있는 입력 이미지를 업스케일링하는 것(20)을 위해 그리고 상기 잡음제거된 LR 이미지를 업스케일링하는 것(40)을 위해, 동일한 업스케일링 방법이 사용되는 장치(200).
제11항 또는 제12항에 있어서, 상기 이미지 결합기(250)는 비-선형 필터들의 네트워크를 사용하도록 구성되고, 비-선형성은 임계화를 통해 획득되는 장치(200).
제11항 또는 제12항에 있어서, 상기 이미지 잡음제거기(230)는 제1 잡음제거 필터링(310), 제1 임계화(320), 제2 잡음제거 필터링(330), 제2 임계화(340) 및 제3 잡음제거 필터링(350)의 5 스테이지 필터링 시퀀스를 사용하도록 구성되는 장치(200).
제11항 또는 제12항에 있어서, 상기 업스케일링하는 것은 제1 업스케일링 필터링, 제1 임계화, 제2 업스케일링 필터링, 제2 임계화 및 제3 업스케일링 필터링의 5 스테이지 필터링 시퀀스를 사용하는 장치(200).
컴퓨터에서 방법을 수행할 수 있는 컴퓨터-실행가능한 명령들을 포함하는 비-일시적 컴퓨터-판독가능한 저장 매체로서, 상기 방법은:
잡음 있는 입력 이미지를 업스케일링하여(20) 잡음 있는 고해상도(HR) 이미지를 획득하는 단계;
상기 잡음 있는 입력 이미지를 잡음제거(denoising)하여(30) 잡음제거된 저해상도(LR) 이미지를 획득하는 단계;
상기 잡음제거된 LR 이미지를 업스케일링하여(40) 업스케일링된 잡음제거된 LR 이미지를 획득하는 단계; 및
비-선형 필터링의 시퀀스로, 상기 잡음 있는 HR 이미지와 상기 업스케일링된 잡음제거된 LR 이미지를 결합시켜서 잡음제거된 HR 이미지를 생성하는 단계
를 포함하는, 비-일시적 컴퓨터-판독가능한 저장 매체.