KR20140136019A

KR20140136019A - 입력 이미지의 계층적 초해상을 수행하는 방법 및 장치

Info

Publication number: KR20140136019A
Application number: KR20147027775A
Authority: KR
Inventors: 메흐메 뛰르깡; 도미니끄 또로; 필립쁘 기요뗄
Original assignee: 톰슨 라이센싱
Priority date: 2012-03-05
Filing date: 2013-03-04
Publication date: 2014-11-27
Also published as: EP2823460A2; WO2013131851A2; CN104160421B; US9652830B2; EP2823460B1; JP6192670B2; JP2015513151A; CN104160421A; WO2013131851A3; US20150093045A1; KR102061923B1

Abstract

초해상(SR)은 소정의 저해상(LR) 이미지의 누락된 고주파 디테일들을 복구하는 프로세스를 말한다. 공지된 단일 이미지 SR 알고리즘들은 보통 계산상 다루기 힘들거나 대부분의 실제 응용들에 이용할 수 없다. 본 발명은 피라미드형 분해에 기초하는 자체 콘텐츠 이웃 패치들의 정보에 기초하여 계층적 초해상을 수행하는 방법에 관한 것이다. 입력 LR 패치 이웃의 고유한 기하하적 속성은 입력 LR 패치 및 LR 이미지의 상이한 다운스케일링된 버전들로부터 취해진 그의 K 최근접 이웃들로부터 획득된다.

Description

입력 이미지의 계층적 초해상을 수행하는 방법 및 장치{METHOD AND APPARATUS FOR PERFORMING HIERARCHICAL SUPER-RESOLUTION OF AN INPUT IMAGE}

본 발명은 입력 이미지의 계층적 초해상을 수행하는 방법과, 입력 이미지의 계층적 초해상을 수행하는 장치에 관한 것이다. 본 발명은 또한 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 방법과, 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 장치에 관한 것이다.

초해상(super-resolution, SR)은 소정의 저해상(low-resolution, LR) 이미지의 누락된 고주파 디테일들을 복구하는 프로세스를 말한다. 다르게 말하여, SR은 하나 이상의 LR 관측을 이용하여 또렷하고 상세한 콘텐츠를 가진 고해상(high-resolution, HR) 이미지를 생성한다. SR 프로세스들의 한 부류는 단일 이미지 초해상(Single Image Super-Resolution)과 관련된다.

단일 저해상 이미지를 이용하는 몇몇 기법과 어떤 외부의 정보 또는 데이터베이스도 이용하지 않는 몇몇 기법을 포함하여, 다양한 이미지 업샘플링 기법들이 알려져 있다. 일부 SR 기법들은 LR 및 HR 이미지 패치 공간들의 로컬 기하학적 유사성들을 제공하기 위해 공간 텍스처 패치들의 업샘플링을 이용한다.

다음은 이 문제가 현재 어떻게 다루어지고 있는지에 대한 개요이다. 고전적인 SR 방법들, 예컨대, [1]-[3]은 미지의 HR 이미지를 복구하기 위하여 LR 이미지들의 세트를 융합하려고 한다. 이러한 알고리즘들은 누락된 고주파 정보가 LR 관측들을 따라 함축적으로 분포되어 있고, LR 이미지들의 수가 충분하다면 HR 이미지가 성공적으로 복구될 수 있다고 가정한다. 그러므로 재구성된 HR 이미지의 품질은 LR 이미지들에서 이용 가능한 데이터의 양에 크게 의존한다.

그러나, 실제로는, 불충분한 수의 LR 관측, 레지스트레이션(즉, 움직임 추정) 오차들, 및 미지의 점 확산 함수(point spread function, PSF)는 이러한 멀티-이미지 SR 방법들이, 일반 조건들에서 2 미만인, 작은 업스케일링 비율들에 적용되는 것을 제한한다[4].

고전적인 멀티-이미지 SR의 한계를 극복하기 위하여 예시 기반의 방법들이 제안되었다. [5]에서, LR 및 HR 이미지 패치 쌍들은 다른 자연 이미지들로부터 수집되고, 이러한 패치들의 저주파 및 고주파 관계들이 신뢰 전파를 이용하는 마르코프 네트워크를 통해 학습된다. 이 방법은 나중에 [6]에서, 수집된 트레이닝 예들의 데이터베이스로부터 최근접 이웃(nearest neighbor, NN) 검색에 의해 HR 패치들의 예측 시퀀스(a sequence of predictions)와 함께, 마르코프 네트워크에 고속의 거의 정확한 솔루션을 제공하도록 단순화되었다. 누락된 고주파 디테일들은 HR 이미지의 최근에 복구된 부분의 고주파 패치 호환성들 및 로컬 LR 이미지 정보에 따라 추정된다("환각이 느껴진다"). 예시 기반의 텍스트 합성[7]-[9]의 컨텍스트에서 유사 NN 기반 접근법들이 많이 이용되었고, 다양한 이미지 처리 응용들에서, 예컨대, [10]-[12]에서 유익한 것으로 드러났다.

그럼에도 불구하고, 여기서는 SR에 대해 충분히 대표하기 위하여 막대한 수의 트레이닝 LR 및 HR 패치 쌍들의 데이터베이스들을 구축할 필요가 있고, 따라서, 이것은 계산상 다루기 힘들거나 대부분의 실제 응용들에 이용할 수 없다.

본 발명은 어떤 외부 정보나 데이터베이스도 이용하지 않고, 단일 저해상 이미지로부터 초해상(SR) 방법을 이용하여 공지된 이미지 업샘플링 기법들을 개선한다. 본 발명의 적어도 하나의 실시예는 주로 저해상(LR) 및 고해상(HR) 이미지 패치 공간들의 로컬 기하학적 유사성들을 제공하는 공간 텍스터 패치들의 사용에 관한 것이다.

본 발명의 적어도 하나의 실시예는 어떤 외부 정보나 데이터베이스도 이용하지 않고, 단일 LR 이미지로부터 피라미드형 초해상 방법을 이용하여 이미지 업샘플링 기법들을 개선한다. 일 실시예에서, 각 블록의 평균이 계산되어 블록의 처리 전에 감산되고, 나중에 다시 가산된다. 관련 기술에서 늘 그렇듯이, 용어 블록 및 패치는 본 명세서에서 동의어로 사용된다는 점에 유의한다.

일반적으로, 본 발명은 고유한 단일 이미지 SR에 관한 것이고, LR 및 HR 이미지 패치 공간들의 로컬 기하학적 유사성들에 의존한다. 입력(평균 감산되거나 평균 감산되지 않은, 하기 참조) LR 패치 이웃의 고유한 기하하적 속성은 입력 LR 패치 및 LR 이미지의 어크로스 스케일들(across scales)로부터(즉, 상이한 스케일들로부터) 취해진 그의 K 최근접 이웃들(K-NN)로부터 획득된다.

본 발명의 일 실시예에 따르면, 입력 이미지의 계층적 SR을 수행하는 방법은 입력 이미지를 패치들로 분할하는 단계, 적어도 2개의 하위 분해 레벨들로 입력 이미지의 공간 분해를 수행하는 단계 - 여기서 적어도 2개의 하위 분해 레벨 이미지들이 획득됨 -, 및 빈(empty) 업샘플링된 프레임을 생성하는 단계 - 여기서 입력 이미지의 각 패치에 대해 업샘플링된 프레임 내의 대응하는 업샘플링된 패치가 생성됨 - 를 포함한다. 그 후, 입력 이미지의 각 현재 패치에 대해, 이 방법은 하위 분해 레벨 이미지들에서 현재 패치와 동일한 크기의 하나 이상의 유사 패치를 검색하는 단계, 검색 단계에서 발견된 유사 패치들 각각에 대해, 다음 상위 분해 레벨에서의 그의 각각의 부모 패치를 결정하는 단계, 결정된 부모 패치들을 가중시키는 단계, 가중된 결정된 부모 패치들을 누적하여 업샘플링된 고해상 패치를 획득하는 단계, 및 업샘플링된 프레임에서 현재 패치에 대응하는 업샘플링된 패치를 업샘플링된 고해상 패치로 대체하는 단계를 포함한다.

일 실시예에서, 본 발명은 청구항 12에 개시되고 아래에 기술된 바와 같은, 대응하는 장치에 관한 것이다.

일 실시예에서, 로컬 LR 기하학적 구조(local LR geometry)는 그의 K-NN으로부터 입력 LR 패치의 로컬 선형 임베딩(locally linear embedding, LLE)[13] 재구성 계수들을 이용하여 선형적으로 특징지어진다. 그 후 로컬 LR 기하학적 구조가 HR 패치 공간에 보존되었다고 가정하여, 입력 LR 패치의 발견된 K-NN의 대응하는(평균 감산되거나 평균 감산되지 않은, 하기 참조) HR 부모들로부터 HR 임베딩이 추정된다("환각이 느껴진다"). 그 후 입력 LR 패치의 평균 값을 가산함으로써 현재 HR 패치의 추정치가 획득된다.

일 실시예에서, 본 발명은 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 방법에 관한 것으로, 여기서는 LLE가 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들이다. 이 방법은 소스 블록들의 희소 팩터들을 결정하는 단계, 및 가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 단계를 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다.

일 실시예에서, 본 발명은 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 장치에 관한 것으로, 여기서는 LLE가 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들이다. 이 장치는 소스 블록들의 희소 팩터들을 결정하는 제1 처리 유닛, 및 가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 제2 처리 유닛을 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다. 제1 및 제2 처리 유닛들은 단일 처리 유닛으로서 구현될 수 있다.

본 발명의 추가의 목적들, 특징들 및 이점들은 하기의 설명과 첨부된 청구항들을 첨부 도면들과 관련하여 고려하면 명백해질 것이다.

본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 설명되는데,
도 1은 어크로스-스케일 이웃 임베딩을 통하여 초해상을 달성하기 위해 단일 이미지를 업샘플링하는 구조;
도 2는 블록 내의 비-제로 계수들의 수와 블록에 대해 사용되어야 하는 정규화된 가중 팩터 간의 예시적인 관계;
도 3은 본 발명의 일 실시예에 따른, 입력 이미지의 계층적 초해상을 수행하는 방법의 순서도;
도 4는 하위 분해 레벨 이미지들에서 유사 패치들을 검색하는 단계의 상세 순서도;
도 5는 업샘플링된 프레임에서 업샘플링된 패치를 대체하는 단계의 상세 순서도;
도 6은 본 발명의 일 실시예에 따른, 초해상을 수행할 때 화소들의 평균화를 위한 방법의 순서도;
도 7은 입력 이미지의 계층적 초해상을 수행하는 장치의 구조;
도 8은 초해상을 수행할 때 화소들의 평균화를 위한 장치의 구조; 및
도 9는 본 발명의 일 실시예에 따른 방법의 고수준 순서도를 보여준다.

도 1은 다음에 설명된 바와 같이, 어크로스-스케일 이웃 임베딩을 통한 단일 이미지 초해상을 보여준다. 저해상 입력 I₀ 이미지의 초해상을 수행하기 위해, 알고리즘은 다음과 같이 재개될 수 있다.

도 9에 도시된 바와 같은, 알고리즘의 고수준 순서도는 적어도 L+1 레벨 피라미드 구성의 단계(A1), LR 패치 추정 및 각각의 HR 패치 재구성의 단계(A2), 및 LR/HR 패치 추정들의 오버래핑의 단계(A3)를 포함한다.

우선, L+1 레벨 피라미드 구성 프로세스(A1)에 대해 설명한다. 이는 도 1을 참조하여 설명되는 다음의 단계들을 포함한다.

입력 I₀(LR, 피라미드 레벨 I = 0) 이미지는 저역 통과 필터에 의해 소정의 비율(r _d )로 필터링되고 다운샘플링되며, 여기서 저주파 이미지(I_-1)가 획득된다. 이전에 다운샘플링된 이미지(I_-1)는 저역 통과 필터에 의해 다시 필터링되고 다운샘플링되며, 여기서 저주파 이미지(I_-2)가 획득된다, 등등. 이러한 프로세스의 반복에 의해, 더 많은 공간 분해 레벨들이 획득될 수 있다. 마지막으로, 다운샘플링된 이미지(I_-L+2)가 저역 통과 필터에 의해 필터링되고 다운샘플링되며, 여기서 마지막 저주파 이미지(I_-L+1)가 획득된다. 빈 HR 이미지(I₁)가 생성되며, 여기서 I₁ 및 I₀ 의 크기들의 비율은 I₀ 대 I_-1과는 반비례이고, 즉: I₁/I₀ = I₀/I_-1이고, 또는: 업샘플링 팩터(r _u )는 다운샘플링 팩터(r _d )의 역수이다.

마지막으로, 피라미드는 (재구성되어야 하는) HR 이미지 해상도인 레벨 1(도 1에 도시된 뒤집혀 있는 피라미드의 하부), 입력 LR 이미지인 레벨 0, 및 최저해상 이미지인 레벨 -L+2(도 1의 뒤집혀 있는 피라미드의 상부)로 구성되어 있다.

다음으로, 최저주파 패치들로부터의 LR 패치 추정 및 HR 패치 재구성의 단계(A2)에 대해 설명한다. 두 개의 대안 실시예들이 개시된다: 하나는 "루미넌스 기반(Luminance based)"이라고 불리고, 다른 하나는 "그래디언트 기반(Gradient based)"이라고 불린다.

루미넌스 기반 솔루션은 다음과 같이 LR 패치 추정, HR 패치 재구성 및 HR 이미지 재구성을 포함한다.

LR 패치 추정은 입력 이미지(I₀)에서 제1 위치의 제1 패치(P_n)를 결정하는 단계 - 여기서 n은 I₀에서 현재 패치의 인덱스임 -, LR 이미지(I₀)의 하위 스케일들(I_-1, I_-2, ..., I_-L+1)로부터 취해진 K 최근접 이웃들(K-NN)을 검색하는 단계, 및 각각의 가중 팩터(w_n,k)를 가진 그의 K-NN(PN_n,k)으로부터 입력 LR 패치(P_n)의 로컬 선형 임베딩(예컨대, [13]으로부터의 LLE(Locally Linear Embedding)) 재구성 계수들을 이용하여 선형적으로 특징짓는 단계를 포함한다. K-NN은 소정의 기준(예컨대, SAD, SSE)에 따른 (이전의 제1 패치(P₀)와의) K 베스트 매칭 패치들(PN_n,k)이다. SAD(sum-of-absolute-differences) 및 SSE(sum-of-squared-errors)는 관련 기술 분야에 일반적으로 알려진 기준들이다.

HR 패치 재구성은 각각의 이전 가중 팩터(w_n,k)를 가진 입력 LR 패치(PN_n,k)의 발견된 K-NN의 대응하는 HR 부모들(PPN_n,k)로부터 HR 패치(P_Hn) 임베딩을 구축하는 것(합성하는 것이라고도 불림)을 포함하고, 여기서 정확히 I₁ 이미지의 현재 HR P_Hn 패치는 입력 이미지(I₀)의 P_n 패치에 상응하는 것이고, 피라미드의 I₀,I_-1,...,I_-L+2이미지들로부터 나오는 HR 부모들(PPN_n,k)은 피라미드의 I_-1,I_-2,...,I_-L+1이미지들로부터 나오는 PN_n,k 패치들에 상응하는 것들이다.

HR 이미지 재구성은 LR/HR 이미지의 모든 패치들/패치 커플들에 대해 LR 패치 추정 및 HR 패치 재구성을 반복하는 것을 포함한다.

그래디언트 기반 솔루션(즉 루미넌스의 평균 감산)은 다음과 같이 LR 패치 추정, HR 패치 재구성 및 HR 이미지 재구성을 포함한다.

LR 패치 추정은 입력 이미지(I₀)에서 제1 위치의 제1 패치(P_n)를 결정하는 것 - 여기서 n은 I₀에서 현재 패치의 인덱스이고 블록의 평균이 감산됨 -, LR 이미지(I₀)의 하위 스케일들(I_-1,I_-2,...,I_-L+1)로부터 취해진 K 최근접 이웃들(K-NN)을 검색하는 것, 및 각각의 가중 팩터(w_n,k)를 가진 그의 K-NN(PN_n,k)으로부터 입력 LR 패치(P_n)의 로컬 선형 임베딩(예컨대, LLE) 재구성 계수들을 이용하여 선형적으로 특징짓는 것을 포함한다. K-NN은 소정의 기준(예컨대, SAD, SSE)에 따른 (이전의 제1 패치(P₀)와의) K 베스트 매칭 패치들(PN_n,k)이고, 여기서 각 블록 PN_n,k에서 평균(즉, 그 자신의 개별 평균)이 또한 감산된다.

HR 패치 재구성은 각각의 이전 가중 팩터(w_n,k)를 가진 입력 LR 패치(PN_n,k)의 발견된 K-NN의 대응하는(평균, 즉 그 자신의 평균이 감산된) HR 부모들(PPN_n,k)로부터 HR 패치(P_Hn) 임베딩을 구축하는 것(합성하는 것이라고도 불림)을 포함하고, 여기서 정확히 I₁ 이미지의 현재 HR P_Hn 패치는 입력 이미지(I₀)의 P_n 패치에 상응하는 것이고, 피라미드의 I₀,I_-1,...,I_-L+2이미지들로부터 나오는 HR 부모들(PPN_n,k)은 피라미드의 I_-1,I_-2,...,I_-L+1이미지들로부터 나오는 PN_n,k 패치들에 상응하는 것들이다. 마지막으로, 입력 LR(입력 I₀ 이미지)의 평균 값이 현재의 재구성된 HR 패치에 가산된다.

HR 이미지 재구성은 LR/HR 이미지의 모든 패치들/커플들에 대해 LR 패치 추정 및 HR 패치 재구성을 반복하는 것을 포함한다.

L+1 레벨 피라미드 재구성(A1) 및 LR 패치 추정 및 HR 패치 재구성(A2) 후의, 다음 단계(A3)는 LR/HR 패치 추정들의 오버래핑, 즉, 최저주파 패치들로부터의 합성이다. 이는 일 실시예에서 평균 평균화(mean averaging) 및 희소 가중 평균화(sparsity weighting averaging) 중 적어도 하나를 포함한다.

평균 평균화는, LR 이미지(I₀) 내의 각 패치에 대해 HR 임베딩이 산출된 후에, 각 HR 화소에 대해, 각 현재의 화소와 오버랩하고 있는 재구성된 블록들로부터 나온 모든 화소 기여분들을 평균화하기 위하여 패치들 간의 오버랩이 허용되는 것을 포함한다.

희소 가중 평균화는, 지배적인 구조들을 보존하기 위하여, 추정된 오버랩 영역 화소들이 희소 기반 척도(sparsity-based measure)에 따라 가중되는 것을 포함한다. 그 후 가중 평균은 오버랩된 화소가 나오는 블록의 희소 정도에 따라 실현된다. 희소 가중 팩터는 블록의 DCT 계수들의 수, 또는 더 복잡하게는 "매칭 퍼수트(Matching Pursuit)"(MP) 또는 "직교 매칭 퍼수트(Orthogonal Matching Pursuit)"(OMP)의 경우에 블록을 나타내는 원자들의 수의 함수일 수 있다.

일 실시예에서, 추가의 최종 단계는 반복적 역투영(iterative back projection)이다(도 9에는 미도시). 이 단계는, 복구된 HR 이미지가 관측된 것과 동일한 참조 LR 이미지를 생성하는 것을 보장하는, 공지된 반복적 역투영 프로세스의 적용에 있다. 그 접근법은 (반복 k에서) 재귀적으로, 재구성된 HR_k 이미지 결과에, 최초 입력 LR 이미지(I₀)와 다운샘플링된 HR_k-1 이미지 사이의 업샘플링된(그리고 저역 통과 필터링된) 차이를 가산하는 것에 있다. 이 동작은 사전 정의된 최대 수의 반복들에 대해 되풀이된다. 보통, 예컨대 20회의 반복으로 충분하다. 일반적으로 적용되는 범위는 10-30회 반복이지만, 어떤 경우에는 더 적은 반복으로 충분할 수 있다.

다양한 패치 크기들이 가능하다. 저해상에 대해 특히 유리한 패치 크기들은 3x3, 5x5 및 7x7 화소들이다(5x5는 적어도 2x2 업스케일링에 대해 최적의 결과들을 제공함). HR에 대해, 상응하는 크기들은 6x6, 10x10 및 14x14 화소들이다. 또한, 이미지가 바뀔 때마다 2와는 다른 다양한 다른 서브샘플링 팩터들이 사용될 수 있다. 예컨대 3 또는 4의 팩터들에 대해 방법을 확장하는 것이 가능하다. 이러한 확장은 LR 이미지의 다운스케일링된 버전들과, LR 및 HR 패치 크기들을 조절하는 것으로 달성된다. 또한, 또 다른 옵션으로서, 팩터 4의 업스케일링을 얻기 위해 2의 팩터에 의한 업샘플링이 두 번 적용될 수 있거나, 팩터 6의 업스케일링을 얻기 위해 3의 팩터에 의한 업샘플링이 두 번 적용될 수 있다, 등등.

LR 이미지 내의 각 패치에 대해, LR 이웃의 로컬 기하학적 구조를 보존하는 HR 임베딩이 산출된다. 타깃 HR 이미지에서 로컬 호환성 및 평활도 제약들을 실시하기 위해 패치들 간의 오버랩이 가능한 많이 허용된다. 예시적으로, 패치들은 치수마다(per dimension) 1 화소 또는 2 화소만큼 오버랩한다.

그 후 오버랩 영역 화소들은 희소 표현 기반의 가중 척도에 따라 선형적으로 결합될 수 있다. 이 방법에서, 연속되는 입력 LR 패치 및 추정된 HR 패치는 LR 이미지 및 그의 어크로스 스케일들로부터 취해진 LR 및 HR 이미지 패치들로 구성되어 있는 딕셔너리(dictionary)에 걸쳐 분해될 수 있다.

일 실시예에서, 패치들은 그들의 표현의 희소성에 따라 가중되는데, 즉, 가장 희소한 표현에는 최고 가중치가 부여되고, 기타 등등이다. 일 실시예에서, 가중치는 패치의 (임계화(thresholding) 후의) 비-제로 계수들(예컨대, DCT 계수들)의 수에 좌우된다. 일 실시예에서, 가중치들은 그 후 도 2에 도시된 바와 같이 지수 함수를 이용하여 다음에 따라 산출된다:

W = exp(f(비-제로 계수의 수))

도 2는 블록 내의 비-제로 계수들의 수(실제로 "비-제로"는 제로에 가까운 최소 임계치를 넘는 것을 의미함)와 블록에 대해 사용되어야 하는 정규화된 가중 팩터 간의 예시적인 관계를 보여준다. 도시된 바와 같이, 블록이 가지고 있는 비-제로 계수가 많을수록, 가중 팩터는 더 낮다.

패치의 희소 표현(예컨대, MP, OMP)이 사용되면, 여기서 희소 표현에 관련하여 "원자"(N개 원자로 구성되어 있는 딕셔너리의 발행)는 DCT의 "기본 함수"와 유사하다(원자와 기본 함수가 공간 영역에서 표현된다는 것을 알고). 여기서 가중치는 또한 비-제로 계수들의 수에 좌우된다.

마지막으로, 전역적 재구성 제약(즉, 복구된 HR 이미지는 관측된 것과 동일한 참조 LR 이미지를 생성해야 한다)을 만족시키기 위해, 일 실시예에서 반복적 역투영 방법 [1], [2]가 채택된다. 그 후, 최종 HR 이미지 추정은 역투영 알고리즘 S9으로부터의 결과인 것으로 가정된다.

일 실시예에서, 전체적인 알고리즘은 다음과 같은 것들로 구성되어 있다:

피라미드 SR 알고리즘, 예컨대, LLE 기반,

추가로 (재구성된 오버랩된 블록들의) 희소 평균화

및 (옵션으로) + 역투영.

유리하게도, 본 발명에 따른 알고리즘은 관련 기술 분야에 공지된 알고리즘들보다 성능이 뛰어나다.

도 3은 본 발명의 일 실시예에 따른, 입력 이미지의 계층적 초해상을 수행하는 방법의 순서도를 보여준다. 이 실시예에서, 입력 이미지(I₀)의 계층적 초해상을 수행하는 방법(10)은 입력 이미지(I₀)를 패치들(P_n)로 분할하는 단계(S1), 적어도 2개의 하위 분해 레벨들로 입력 이미지(I₀)의 공간 분해를 수행하는 단계(S2) - 여기서 적어도 2개의 하위 분해 레벨 이미지들(I_-1,I_-2)이 획득됨 -, 및 빈 업샘플링된 프레임(I₁)을 생성하는 단계(S3) - 여기서 입력 이미지의 각 패치(P_n)에 대해 업샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성됨 - 를 포함한다. 그 후, 입력 이미지(I₀)의 각 현재 패치(P_n)에 대해 다음의 단계들이 수행된다.

하위 분해 레벨 이미지들(I_-1,I_-2)에서, 현재 패치와 동일한 크기의 하나 이상의 유사 패치들(PN_n,1, PN_n,2, PN_n,3)이 검색된다(S4). 검색 단계에서 발견된 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)가 결정된다(S5). 결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)은 가중 팩터들(w₁, w₂, w₃)로 가중되고(S6), 여기서 가중된 결정된 부모 패치들이 획득된다. 가중된 결정된 부모 패치들은 누적되고(S7), 여기서 업샘플링된 고해상 패치(P_Hn)가 획득된다. 마지막으로, 업샘플링된 프레임(I₁)에서 현재 패치(I₀)에 대응하는 업샘플링된 패치가 업샘플링된 고해상 패치(P_Hn)로 대체된다(S8).

제1 판정 단계(D1)는 (다양한 하위 레벨들에서) 더 많은 모든 잠재적으로 유사 패치들이 조사되었는지 여부를 판정하고, 제2 판정 단계(D2)는 입력 이미지의 모든 패치들이 처리되었는지 여부를 판정한다.

결정 단계(S5)에서 다음 상위 분해 레벨(I₀, I_-1)에서 발견된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)은 각각의 현재 패치보다 더 크다는 점에 유의한다.

도 4는 하위 분해 레벨 이미지들에서 유사 패치들을 검색하는 단계의 일 실시예의 상세 순서도를 보여준다. 이 실시예에서, 각 현재 패치의 평균이 산출되고(S41) 각 유사 패치의 평균이 산출된다(S42). 현재 패치의 평균은 현재 패치의 각 화소 값에서 감산된다(S43). 각 유사 패치의 평균은 각각의 유사 패치의 각 화소 값에서 감산된다(S44). 이것은 하위 분해 레벨 이미지들(I_-1,I_-2)에서 하나 이상의 유사 패치들(PN_n,1, PN_n,2, PN_n,3)을 검색하는 단계에서 수행된다. 단계 S43은 단계 S42 전에 또는 후에 수행될 수 있다는 점에 유의한다.

도 5는 업샘플링된 프레임에서 업샘플링된 패치를 대체하는 단계의 일 실시예의 상세 순서도를 보여준다. 이 실시예에서, 각 현재 패치의 평균은 현재 패치에 대응하는 업샘플링된 패치의 각 화소 값에 가산되고(S81), 그 후 업샘플링된 프레임(I₁) 내의 업샘플링된 패치의 실제 삽입(S82)이 행해지고, 이에 따라 업샘플링된 패치가 HR 이미지 내의 디폴트 패치를 대체한다.

도 6은 본 발명의 일 실시예에 따른, SR을 수행할 때 화소들의 평균화를 위한 방법의 순서도를 보여준다. 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 방법(60) - 여기서는 LLE가 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들임 - 은 소스 블록들의 희소 팩터들을 결정하는 단계(S6_1), 및 가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 단계(S6_2)를 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다.

도 7은 입력 이미지의 계층적 초해상을 수행하는 장치의 구조를 보여주는데, 여기서는 입력 이미지(I₀)가 패치들(P_n)로 분할된다. 이 장치(70)는 공간 분해 유닛(SDU), 업샘플링 유닛(UPU), 및 처리 유닛(PU)을 포함한다. 별개의 유닛들 또는 처리 유닛의 일부일 수 있는, 추가의 유닛들은 검색 유닛(P_SU), 부모 패치 결정 유닛(P_PDU), 가중 유닛(P_WU), 누적 유닛(P_AU) 및 패치 삽입 유닛(P_PIU)(또는 패치 대체 유닛, 상기 참조)이다.

공간 분해 유닛(SDU)은 적어도 2개의 하위 분해 레벨들로의 입력 이미지(I₀)의 공간 분해를 수행하고, 여기서 상이한 공간 해상도들을 가진 적어도 2개의 하위 분해 레벨 이미지들(I_-1,I_-2)이 획득된다.

업샘플링 유닛(UPU)은 빈 업샘플링된 프레임(I₁)을 생성하고, 여기서 입력 이미지의 각 패치(P_n)에 대해 업샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성된다.

일 실시예에서, 처리 유닛(PU)은 입력 이미지(I₀)의 각 현재 패치(P_n)에 대해, 하위 분해 레벨 이미지들(I_-1,I_-2)에서 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계, 검색 단계에서 발견된 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계 - 여기서 부모 패치들은 현재 패치보다 더 큼 -, 결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)을 가중시키는 단계 - 여기서 가중된 결정된 부모 패치들이 획득됨 -, 가중된 결정된 부모 패치들을 누적하는 단계 - 여기서 업샘플링된 고해상 패치(P_Hn)가 획득됨 -, 및 업샘플링된 프레임(I₁)에서 현재 패치(I₀)에 대응하는 업샘플링된 패치를 업샘플링된 고해상 패치(P_Hn)로 대체하는 단계를 수행한다.

다른 실시예들에서는, 다음의 별개의 유닛들 중 하나 이상이 이용된다.

일 실시예에서, 하위 분해 레벨 이미지들(I_-1,I_-2)에서 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계는 검색 유닛(P_SU)에 의해 행해진다.

일 실시예에서, 검색 단계에서 발견된 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계는 부모 패치 결정 유닛(P_PDU)에 의해 행해진다. 일반적으로 부모 패치들은 현재 패치보다 더 크다는 점에 유의한다(도 1 참조).

일 실시예에서, 가중된 결정된 부모 패치들을 얻기 위해 결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)을 가중시키는 단계는 가중 유닛(P_WU)에 의해 행해진다.

일 실시예에서, 업샘플링된 고해상 패치(P_Hn)를 얻기 위해 가중된 결정된 부모 패치들을 누적하는 단계는 누적 유닛(P_AU)에 의해 행해진다.

일 실시예에서, 업샘플링된 프레임(I₁)에서 현재 패치(I₀)에 대응하는 업샘플링된 패치를 업샘플링된 고해상 패치(P_Hn)로 대체하는 단계는 삽입 유닛(P_PIU)에 의해 행해진다.

도 8은 초해상을 수행할 때 화소들의 평균화를 위한 장치의 구조를 보여주는데, 여기서는 로컬 선형 임베딩(LLE)이 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들이다. 이 장치(80)는

소스 블록들의 희소 팩터들을 결정하는 제1 처리 유닛, 예컨대, 희소 결정 처리 유닛(SFPU), 및

가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 제2 처리 유닛, 예컨대, 화소 결합 처리 유닛(PCPU)을 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다.

일반적으로, 본 발명은 블록의 평균을 감산하거나 감산함이 없이, 피라미드형 분해에 기초하는 자체 콘텐츠 이웃 패치들의 정보에 기초한 계층적 SR 알고리즘과, LLR SR 기법들에 관련하여 고전적인 평균화 대신에 희소 팩터를 이용한 블록 기반 예측들의 최적의 화소 평균화 중 적어도 하나와 관련된다.

본 발명의 이점은 본 발명이 업샘플링된 이미지들을 렌더링하는 성능을 개선한다는 점이다. 업샘플링된 이미지들은 보다 빠르게 그리고 축소된 계산을 이용해 렌더링될 수 있다.

본 발명의 가능한 유리한 응용예들은 비디오 분배 및 디스플레이 기술들, 및 비디오 압축(예컨대, 공간 스케일러빌리티(spatial scalability)) 및 콘텐츠 표현에 관련된 응용예들이다.

개시된 방법은 각각이 그 단계들 중 하나를 수행하는 별개의 유닛들을 구비한, 그 방법을 수행하는 장치에서 구현될 수 있다. 또한, 이 방법은 프로세서에서의 실행을 위해 컴퓨터 구현될 수 있다.

본 발명의 일 실시예에서, 컴퓨터 판독가능 저장 매체는, 프로세서에서 실행될 때, 프로세서로 하여금, 도 1 및 3을 참조하여 위에 개시된 바와 같은, 입력 이미지의 계층적 초해상을 수행하는 방법을 수행하게 하는 프로그램 데이터를 포함한다.

본 발명의 일 실시예에서, 컴퓨터 판독가능 저장 매체는, 프로세서에서 실행될 때, 프로세서로 하여금, 도 6을 참조하여 위에 개시된 바와 같은, 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들을 평균화하는 방법을 수행하게 하는 프로그램 데이터를 포함한다.

일 실시예에서, 본 발명은 피라미드형 분해의 단계를 포함하는, 자체 콘텐츠 이웃 패치들의 정보에 기초하여 계층적 초해상을 수행하는 방법에 관한 것이다. 일 실시예에서, 블록의 평균은 감산된다. 다른 실시예에서, 블록의 평균은 감산되지 않는다. 일 실시예에서, 피라미드형 초해상 알고리즘은 가중된 결합을 제공하는 알고리즘을 포함하는데, 여기서 상기 가중된 결합을 위한 가중치들은 이웃 임베딩 알고리즘과 같은 제약된 최소 제곱(constrained least square) 문제의 해를 구함으로써 결정된다. 일 실시예에서, 피라미드형 초해상 알고리즘은 LLE 또는 비음수 행렬 인수 분해(non-negative matrix factorization, NMF)와 같은 이웃 임베딩 알고리즘이다.

일 실시예에서, 본 발명은 특히 LLE 초해상에 관련하여, (고전적인 평균화 대신에) 희소 팩터를 이용한 블록 기반 예측들의 최적의 화소 평균화를 위한 방법에 관한 것이다. 일 실시예에서, 희소 팩터는 가중 팩터로서 이용된다.

본 발명의 일 실시예에서, 입력 이미지(I₀)의 계층적 초해상을 수행하는 방법(10)은,

입력 이미지(I₀)를 패치들(P_n)로 분할하는 단계(S1),

적어도 2개의 하위 분해 레벨들로 입력 이미지의 공간 분해를 수행하는 단계(S2) - 여기서 적어도 2개의 하위 분해 레벨 이미지들이 획득됨 -,

빈 업샘플링된 프레임(I₁)을 생성하는 단계(S3) - 여기서 입력 이미지의 각 패치(P_n)에 대해 업샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성됨 -, 및

입력 이미지(I₀)의 각 현재 패치(P_n)에 대해,

하위 분해 레벨 이미지들(I_-1,I_-2)에서 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계(S4),

검색 단계에서 발견된 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계(S5) - 여기서 부모 패치들은 현재 패치보다 더 큼 -,

개별 가중치들(w₁,w₂,w₃)을 이용하여 결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)을 가중시키는 단계(S6) - 여기서 가중된 결정된 부모 패치들이 획득됨 -,

가중된 결정된 부모 패치들을 누적하는 단계(S7) - 여기서 업샘플링된 고해상 패치(P_Hn)가 획득됨 -, 및

업샘플링된 프레임(I₁)에서, 현재 패치(I₀)에 대응하는 업샘플링된 패치를 업샘플링된 고해상 패치(P_Hn)로 대체하는 단계(S8)를 수행하는 단계를 포함한다.

일 실시예에서, 이 방법은 상기 하위 분해 레벨 이미지들에서 유사 패치들을 검색하는 단계에서, 각 현재 패치의 평균과 각 유사 패치의 평균을 산출하는 단계(S41, S42)와, 각각의 패치의 각 화소 값으로부터 평균을 감산하는 단계(S43, S44)를 포함한다. 또한, 상기 대체하는 단계에서, 현재 패치에 대응하는 업샘플링된 패치의 각 화소 값에 각 현재 패치의 평균이 가산된다(S81).

일 실시예에서, 이 방법은, 상기 하위 분해 레벨 이미지들에서 하나 이상의 유사 패치를 검색하는 단계에서, 패치들 내의 화소들의 루미넌스 값에 따라 유사성을 결정하는 단계를 포함한다.

일 실시예에서, 이 방법은, 상기 하위 분해 레벨 이미지들에서 하나 이상의 유사 패치를 검색하는 단계에서, 패치들의 루미넌스 그래디언트에 따라 유사성을 결정하는 단계를 포함한다.

일 실시예에서, 이 방법은 패치의 희소성으로부터 상기 가중에 이용되는 가중치들을 결정하는 단계를 포함하고, 여기서 희소성은 패치 내의 비-제로 DCT 계수들의 수에 대응한다.

일 실시예에서, 이 방법은 입력 이미지 내의 패치들이 부분적으로 오버랩하고 있고, 그에 따라 또한 업샘플링된 이미지 내의 대응하는 업샘플링된 패치들이 부분적으로 오버랩하고 있는 것을 포함한다.

일 실시예에서, 이 방법은, 상기 가중 및 누적 단계들에서, 가중된 결합을 산출하는 단계를 포함하고, 여기서 상기 가중된 결합을 위한 가중치들은 제약된 최소 제곱 문제의 해를 구함으로써 결정된다. 상기 언급된 하나의 예는 잘 알려진 최소 제곱 알고리즘이다.

일 실시예에서, 이 방법은 피라미드형 초해상 알고리즘에서, 이웃 임베딩 알고리즘을 포함한다. 예시들은 로컬 선형 임베딩(LLE) 또는 비음수 행렬 인수 분해(NMF)이다.

일 실시예에서, 이 방법은 반복적 역투영(IBP)을 수행하는 추가의 최종 단계를 포함한다.

일 실시예에서, 이 방법은 그의 상대적 좌표들에 따라 다음 상위 분해 레벨의 부모 패치를 결정하는 단계를 포함한다. 즉, 하위 레벨에서의 패치의 상대적 좌표들과 상위 분해 레벨에서의 그의 부모 패치의 상대적 좌표들은 동일하다(예컨대 높이의 10% 및 폭의 40%에서). 이것은 원칙적으로 하위 레벨에서의 패치의 상대적 좌표들을 결정하는 단계, 상위 분해 레벨에서의 동일한 상대적 좌표들을 가진 위치를 결정하는 단계, 및 상위 분해 레벨에서의 결정된 위치에 부모 패치를 배치하는 단계를 포함한다.

일 실시예에서, 본 발명은 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 방법(60)에 관한 것이고, 여기서는 로컬 선형 임베딩이 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들이다. 이 방법은 소스 블록들의 희소 팩터들을 결정하는 단계(S6_1), 및 가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 단계(S6_2)를 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다.

일 실시예에서, 본 발명은 입력 이미지(I₀)의 계층적 초해상을 수행하는 장치(70)에 관한 것이고, 여기서는 입력 이미지(I₀)가 패치들(P_n)로 분할된다. 이 장치는

적어도 2개의 하위 분해 레벨들로의 입력 이미지(I₀)의 공간 분해를 수행하는 공간 분해 유닛(SDU) - 여기서 적어도 2개의 하위 분해 레벨 이미지들(I_-1,I_-2)이 획득됨 -,

빈 업샘플링된 프레임(I₁)을 생성하는 업샘플링 유닛(UPU) - 여기서 입력 이미지의 각 패치(P_n)에 대해 업샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성됨 -, 및

입력 이미지(I₀)의 각 현재 패치(P_n)에 대해,

하위 분해 레벨 이미지들(I_-1,I_-2)에서 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계,

검색 동안에 발견된 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계 - 여기서 부모 패치들은 현재 패치보다 더 큼 -,

결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)을 가중시키는 단계 - 여기서 가중된 결정된 부모 패치들이 획득됨 -,

가중된 결정된 부모 패치들을 누적하는 단계 - 여기서 업샘플링된 고해상 패치(P_Hn)가 획득됨 -, 및

업샘플링된 프레임(I₁)에서, 현재 패치(I₀)에 대응하는 업샘플링된 패치를 업샘플링된 고해상 패치(P_Hn)로 대체하거나 삽입하는 단계를 수행하는 처리 유닛(PU)을 포함한다. 일반적으로, 이 장치는 이미 분할되어 있지 않은 이미지들도 처리될 수 있도록, 입력 이미지(I₀)를 패치들(P_n)로 분할하는 이미지 분할 유닛을 또한 포함할 수 있다.

전술한 바와 같이, 이 장치는 검색 유닛(P_SU), 부모 패치 결정 유닛(P_PDU), 가중 유닛(P_WU), 누적 유닛(P_AU) 및 패치 삽입 유닛(P_PIU)의 하나 이상의 별개의 유닛을 포함할 수 있다.

이 장치의 일 실시예에서, 하위 분해 레벨 이미지들(I_-1,I_-2)에서 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 유닛에서는, 각 현재 패치의 평균과 각 유사 패치의 평균이 산출되고 각각의 패치의 각 화소 값에서 감산되고, 패치 삽입 또는 패치 대체를 위한 유닛(P_PIU)에서는, 현재 패치에 대응하는 업샘플링된 패치의 각 화소 값에 각 현재 패치의 평균이 가산된다.

일 실시예에서, 이 장치는 추가의 반복적 역투영 유닛을 더 포함한다.

일 실시예에서, 본 발명은 블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 장치(80)에 관한 것이고, 여기서는 로컬 선형 임베딩(LLE)이 이용되고, 화소들은 오버랩하고 있는 소스 블록들로부터의 것들이다. 이 장치는 소스 블록들의 희소 팩터들을 결정하는 제1 처리 유닛(SFPU), 및 가중 팩터들에 따라 소스 블록들로부터의 화소들을 결합하는 제2 처리 유닛(PCPU)을 포함하고, 여기서 각 소스 블록의 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용된다.

본 발명의 바람직한 실시예들에 적용된 본 발명의 근본적인 새로운 특징들이 도시되고, 기술되고, 지적되었지만, 기술된 장치 및 방법에서, 개시된 디바이스들의 형태 및 세부 사항들에서, 그리고 이들의 동작에서 다양한 생략들 및 치환들 및 변경들이 본 발명의 취지에서 벗어나지 않고 숙련된 당업자들에 의해 이루어질 수 있다는 것을 이해할 것이다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합들이 본 발명의 범위 안에 있다는 것이 분명히 의도된다. 하나의 기술된 실시예에서 또 다른 실시예로의 요소들의 치환들 역시 충분히 의도되고 고려된다.

본 발명은 순전히 예로서 기술되었으며, 본 발명의 범위에서 벗어나지 않고 세부 사항의 수정들이 이루어질 수 있다는 것을 이해할 것이다.

이 설명과 (적절한 경우) 청구항들 및 도면들에서 개시된 각 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은, 적절한 경우, 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다. 연결들은, 적용되는 경우, 무선 연결들 또는 유선(반드시 직접 또는 전용은 아님) 연결들로서 구현될 수 있다.

인용된 참고 문헌들

[1] Irani, M., Peleg, S.: Improving resolution by image registration. CVGIP: Graphical Models Image Process. 53 (1991)

[2] M. Irani 및 S. Peleg, "Motion analysis for image enhancement: resolution, occlusion and transparency," JVCIP, (1993)

[3] Farsiu, S., Robinson, M., Elad, M., Milanfar, P.: Fast and robust multiframe super resolution. IEEE Trans. Image Process. 13 (2004)

[4] Lin, Z., Shum, H.Y.: Fundamental limits of reconstruction-based super resolution algorithms under local translation. IEEE Trans. Pattern Anal. Mach. (2004)

[5] Freeman, W.T., Pasztor, E.C., Carmichael, O.T.: Learning low-level vision. Int. J. Comp. Vis. 40 (2000)

[6] Freeman, W.T., Jones, T.R., Pasztor, E.C.: Example-based super-resolution. IEEE Comp. Graph. Appl. 22 (2002)

[7] Efros, A.A., Leung, T.K.: Texture synthesis by non-parametric sampling. In: IEEE Int. Conf. Computer Vis. (1999)

[8] Wei, L.Y., Levoy, M.: Fast texture synthesis using tree-structured vector quantization. In: ACM Comp. Graphics Interactive Tech. (2000)

[9] Ashikhmin, M.: Synthesizing natural textures. In: ACM Symp. Interactive 3D Graph. (2001)

[10] Hertzmann, A., Jacobs, C.E., Oliver, N., Curless, B., Salesin, D.H.: Image analogies. In: ACM Comp. Graphics Interactive Tech. (2001)

[11] Criminisi, A., Perez, P., Toyama, K.: Region _lling and object removal by examplar-based image inpainting. IEEE Trans. Image Process. 13 (2004)

[12] Sugimoto, K., Kobayashi, M., Suzuki, Y., Kato, S., Boon, C.S.: Inter frame coding with template matching spatio-temporal prediction. In: IEEE Int. Conf. Image Process. (2004)

[13] S. Roweis and L. Saul, "Nonlinear dimensionality reduction by locally linear embedding", Science, vol. 290, (2000).

Claims

입력 이미지(I₀)의 계층적 초해상을 수행하는 방법(10)으로서,
- 입력 이미지(I₀)를 패치들(P_n)로 분할하는 단계(S1);
- 적어도 2개의 하위 분해 레벨들로 상기 입력 이미지(I₀)의 공간 분해를 수행하는 단계(S2) - 여기서 적어도 2개의 하위 분해 레벨 이미지들(I_-1,I_-2)이 획득됨 -;
- 빈(empty) 업샘플링된 프레임(I₁)을 생성하는 단계(S3) - 여기서 상기 입력 이미지의 각 패치(P_n)에 대해 상기 샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성됨 -; 및
상기 입력 이미지(I₀)의 각 현재 패치(P_n)에 대해(D2),
- 상기 하위 분해 레벨 이미지들(I_-1,I_-2)에서 상기 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계(S4);
- 상기 검색 단계에서 발견된 상기 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해(D1), 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계(S5) - 여기서 상기 부모 패치들은 상기 현재 패치보다 더 큼 -;
- 상기 결정된 부모 패치들(PPN_n,1, PPN_n,2, PPN_n,3)을 가중시키는(w₁,w₂,w₃) 단계(S6) - 여기서 상기 가중된 결정된 부모 패치들이 획득됨 -;
- 상기 가중된 결정된 부모 패치들을 누적하는 단계(S7) - 여기서 업샘플링된 고해상 패치(P_Hn)가 획득됨 -; 및
- 상기 업샘플링된 프레임(I₁)에서, 상기 현재 패치(I₀)에 대응하는 업샘플링된 패치를 상기 업샘플링된 고해상 패치(P_Hn)로 대체하는 단계(S8)를 수행하는 단계
를 포함하는 방법(10).
제1항에 있어서, 상기 하위 분해 레벨 이미지들(I_-1,I_-2)에서 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계에서, 각 현재 패치의 평균과 각 유사 패치의 평균이 산출되고(S41, S42), 각각의 패치의 각 화소 값으로부터 감산되고(S43, S44), 상기 대체하는 단계에서, 상기 현재 패치에 대응하는 상기 업샘플링된 패치의 각 화소 값에 각 현재 패치의 평균이 가산되는(S81) 것인 방법.
제1항 또는 제2항에 있어서, 상기 하위 분해 레벨 이미지들에서 하나 이상의 유사 패치를 검색하는 단계에서, 상기 패치들 내의 화소들의 루미넌스(luminance)에 따라 유사성이 결정되는 것인 방법.
제1항 또는 제2항에 있어서, 상기 하위 분해 레벨 이미지들에서 하나 이상의 유사 패치를 검색하는 단계에서, 상기 패치들의 루미넌스 그래디언트(luminance gradient)에 따라 유사성이 결정되는 것인 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 패치의 희소성으로부터 상기 가중에 이용되는 가중치들이 결정되고, 상기 희소성은 상기 패치 내의 비-제로 DCT 계수들의 수에 대응하는 것인 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 입력 이미지(I₀) 내의 패치들이 부분적으로 오버랩하고 있고, 상기 업샘플링된 이미지(I₁) 내의 대응하는 업샘플링된 패치들이 부분적으로 오버랩하고 있는 것인 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 가중 및 누적 단계들은 가중된 결합을 산출하는 단계를 포함하고, 상기 가중된 결합을 위한 가중치들은 제약된 최소 제곱(constrained least square) 문제의 해를 구함으로써 결정되는 것인 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 피라미드형 초해상 알고리즘은 이웃 임베딩 알고리즘(neighbors embedding algorithm)인 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 역투영(back-projection)을 수행하는 추가의 단계를 더 포함하는 방법.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 다음 상위 분해 레벨에서의 상기 부모 패치는 그의 상대적 좌표들에 따라 결정되는 것인 방법.
블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 방법(60)으로서 - 여기서는 로컬 선형 임베딩(LLE)이 이용되고, 상기 화소들은 오버랩하고 있는 소스 블록들로부터의 것들임 - ,
- 상기 소스 블록들의 희소 팩터들을 결정하는 단계(S6_1);
- 가중 팩터들에 따라 상기 소스 블록들로부터의 화소들을 결합하는 단계(S6_2)를 포함하고, 각 소스 블록의 상기 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용되는 것인 방법(60).
입력 이미지(I₀)의 계층적 초해상을 수행하는 장치(70)로서, 여기서는 상기 입력 이미지(I₀)가 패치들(P_n)로 분할되고, 상기 장치는
- 적어도 2개의 하위 분해 레벨들로의 상기 입력 이미지(I₀)의 공간 분해를 수행하는 공간 분해 유닛(SDU) - 여기서 적어도 2개의 하위 분해 레벨 이미지들(I_-1,I_-2)이 획득됨 -;
- 빈 업샘플링된 프레임(I₁)을 생성하는 업샘플링 유닛(UPU) - 여기서 상기 입력 이미지의 각 패치(P_n)에 대해 상기 업샘플링된 프레임(I₁) 내의 대응하는 업샘플링된 패치가 생성됨 -; 및
상기 입력 이미지(I₀)의 각 현재 패치(P_n)에 대해,
- 검색 유닛(P_SU)에서, 하위 분해 레벨 이미지들(I_-1,I_-2)에서 상기 현재 패치와 동일한 크기의 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 단계;
- 상기 검색 단계에서 발견된 상기 유사 패치들(PN_n,1, PN_n,2, PN_n,3) 각각에 대해, 다음 상위 분해 레벨(I₀, I_-1)에서의 그의 각각의 부모 패치(PPN_n,1, PPN_n,2, PPN_n,3)를 결정하는 단계 - 여기서 상기 부모 패치들은 상기 현재 패치보다 더 큼 -;
- 가중 유닛(P_WU)에서, 상기 결정된 부모 패치들(PPN_n _,1, PPN_n _,2, PPN_n _,3)을 가중시키는 단계 - 여기서 가중된 결정된 부모 패치들이 획득됨 -;
- 누적 유닛(P_AU)에서, 상기 가중된 결정된 부모 패치들을 누적하는 단계 - 여기서 업샘플링된 고해상 패치(P_Hn)가 획득됨 -; 및
- 삽입 유닛(P_PIU)에서, 상기 업샘플링된 프레임(I₁)에서, 상기 현재 패치(I₀)에 대응하는 업샘플링된 패치를 상기 업샘플링된 고해상 패치(P_Hn)로 대체하는 단계를 수행하는 처리 유닛(PU)
을 포함하는 장치.
제12항에 있어서, 상기 하위 분해 레벨 이미지들(I_-1,I_-2)에서 하나 이상의 유사 패치(PN_n,1, PN_n,2, PN_n,3)를 검색하는 상기 검색 유닛(P_SU)에서는, 각 현재 패치의 평균과 각 유사 패치의 평균이 산출되고 각각의 패치의 각 화소 값에서 감산되고, 상기 삽입 유닛(P_PIU)에서는, 상기 현재 패치에 대응하는 상기 업샘플링된 패치의 각 화소 값에 각 현재 패치의 평균이 가산되는 것인 장치.
블록 기반 예측들을 이용하여 초해상을 수행할 때 화소들의 평균화를 위한 장치(80)로서 - 여기서는 로컬 선형 임베딩(LLE)이 이용되고, 상기 화소들은 오버랩하고 있는 소스 블록들로부터의 것들임 - ,
- 상기 소스 블록들의 희소 팩터들을 결정하는 제1 처리 유닛(SFPU); 및
- 가중 팩터들에 따라 상기 소스 블록들로부터의 화소들을 결합하는 제2 처리 유닛(PCPU)을 포함하고, 각 소스 블록의 상기 희소 팩터는 그의 화소들에 대한 가중 팩터로서 이용되는 것인 장치.
프로세서에서 실행될 때 상기 프로세서로 하여금 제1항 내지 제11항 중 한 항에 따른 방법을 수행하게 하는 프로그램 데이터를 포함하고 있는 컴퓨터 판독가능 매체.