KR101773279B1

KR101773279B1 - 업샘플링 및 신호 향상

Info

Publication number: KR101773279B1
Application number: KR1020157033822A
Authority: KR
Inventors: 하리카란 라크슈만; 헤이코 슈바르츠; 데틀레프 마르페; 토마스 위건드; 지타 쿠티니오크; 왕-큐 림
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2013-04-26
Filing date: 2014-04-23
Publication date: 2017-08-30
Also published as: EP2989606A1; BR112015026986A2; BR112015026986B1; EP2989606B1; WO2014173970A1; KR20160005723A; JP2016517118A; JP6170614B2; CN105408935A; US20160048947A1; US9830682B2; CN105408935B

Abstract

품질이 개선되어야 하는 신호는 종종 공간적 저주파 영역에 비해서보다 공간적 고주파 영역에서 품질 저하를 더 겪는다. 따라서 품질 개선은 품질이 개선되어야 하는 신호의 스파스 근사로부터 추출되는 고주파 부분과 품질이 개선되어야 하는 신호를 조합함으로써 효율적으로 수행된다.

Description

업샘플링 및 신호 향상{UPSAMPLING AND SIGNAL ENHANCEMENT}

본 발명은 이미지/비디오 코딩 분야에서와 같이 업샘플링 및 신호 향상에 관한 것이다.

이미지 업샘플링은 입력 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 생성하는 것을 나타낸다. 이러한 태스크는 이미지/비디오가 휴대폰, 태블릿, 랩톱, PC 등처럼 다양한 크기의 디스플레이에 보여지기 때문에 관심을 다시 갖게 되었다. 예를 들면, 1920×1080 디스플레이에 대한 콘텐츠는 1280×720 포맷에서만 이용 가능할 수 있고 업샘플링될 수 있다. 최근에, 4K 디스플레이는 인기를 얻게 되고, 저해상도(예를 들어, 1920×1080)를 가진 콘텐츠가 표시될 필요가 있을 수 있다.

이미지 업샘플링은 또한 이미지 보간, 업스케일링, 크기 재조정, 리샘플링, 초고해상도 등으로 지칭된다. 많은 확립된 방법은 업샘플링을 달성하기 위해 이용 가능하며, 예를 들어, 쌍선형 필터(2탭) 또는 바이큐빅 필터(4탭)를 이용하는 FIR 필터링은 구현의 용이성으로 인해 대중적으로 사용된다. 이러한 기술은 여러 아티팩트(artifact)를 발생시키며, 가장 일반적으로 생성된 HR 이미지의 블러링(blurring)을 발생시킬 수 있다. 본 발명의 주된 목적은 블러링, 링잉(ringing), 앨리어싱(aliasing) 또는 다른 시각적 아티팩트를 감소시키면서 샤프 엣지(sharp edge) 및 텍스처를 복구하는 것이다. 비디오의 경우, 시간적 코히어런스(temporal coherence)를 유지하고 재생 중에 픽처 대 픽처 플리커링(picture-to-picture flickering)을 방지하기 위한 추가적인 요구 사항이 있다.

이미지/비디오 업샘플링은 압축, 편집, 감시 및 텍스처 맵핑과 같은 이미지 처리, 컴퓨터 비젼 및 그래픽에서 많은 응용을 발견한다. 그것은 이미지 브라우징 및 비디오 재생 소프트웨어에 필수적이다. 이미지 업샘플링에서의 상세 합성(details synthesis)은 또한 스케일러블 비디오 코딩(scalable video coding)을 위한 도구로 사용될 수 있다. 상세 합성은 또한 업샘플링없이, 예를 들어 비디오 코딩 컨텍스트에서의 루프 필터 또는 포스트 필터 단계로 사용될 수 있다.

대역 제한된 신호에 대한 신호 처리 이론은 나이퀴스트 레이트 및 싱크(sinc) 보간[Shannon 1949, Unser2000]보다 높은 샘플링을 옹호한다. 밴드 제한됨의 가정은 샤프 엣지의 존재로 인해 대부분의 이미지에 대해 유지되지 않는다. 그러나, 종래의 방식은 이러한 원리를 고수하고 많은 실제적인 응용에 대한 허용 가능한 결과를 생성하기 위해 이상적인 저역 통과 필터와 비슷하다. 쌍선형, 바이큐빅 보간 등과 같은 기술은 낮은 계산 복잡도를 가진 일부 유명한 예이다. 대역 제한 제약없이 샘플링 이론을 이동 불변 공간(shift-invariant space)으로 연장하는 것은 일반화된 보간 프레임워크, 예를 들어, 기저 함수의 주어진 지원을 위해 이미지 품질의 향상을 제공하는 B-스플라인[Unser1999], MOMS 보간 [Blu2001]으로 이어졌다. 그러나, 이러한 선형 모델은 엣지 주위에서 빠른 진화 통계를 캡처할 수 없다. 이러한 선형 모델에서 기저 함수의 정도를 증가시키는 것은 고차 통계를 캡처하는데 도움을 주지만, 공간 도메인에서 더 오래 효과적인 지원을 초래하여, 엣지 주위에서 링잉과 같은 아티팩트를 생성한다.

선형 모델을 향상시키기 위해, 엣지 방향을 따른 보간, 예를 들어, NEDI [Li2001]를 수행하는 방향성 보간 방식이 제안되어 왔다. 그것은 입력 이미지에서 로컬 공분산을 계산하고 이를 이용하여 고해상도에서 보간을 적응시킴으로써, 보간기의 지원이 엣지를 따르도록 달성된다. 그러나, 생성된 이미지는 여전히 일부 아티팩트를 보여준다. 반복적 역 투영(iterative back-projection)[iranil991] 기술은 다운샘플링 프로세스가 알려질때 이미지 보간을 향상시킨다. 이의 기본적인 아이디어는 LR 이미지로부터 재구성된 HR 이미지가 동일한 블러링 및 다운샘플링 프로세스를 통해 전달할 경우에 동일한 관찰된 LR 이미지를 생성한다는 것이다. 그러나, 다운샘플링 필터는 많은 경우에 알려질 수 없고, 또는 입력 이미지는 카메라 캡처될 수 있으며, 여기서 샘플링 시스템 내에 사용되는 광학적 안티앨리어스 필터(anti-alias filter)는 후속하는 이미지 처리 단계 중에 알려지지 않는다. 따라서, 다운샘플링 프로세스에 직접 의존하지 않는 방법을 설계하는 것이 바람직하다.

이미지를 업샘플링하는 것은 이미지 향상의 한 형태이다. 이미지 향상은 이미지의 품질의 개선을 겨냥한다. 다시 말하면, 이미지 향상은 적어도 부분적으로, 이미지가 예를 들어 손실 부호화(lossy coding)될 수 있는, 품질 저하의 리버싱(reversing)을 겨냥한다.

따라서, 본 발명의 목적은 보다 효율적인 신호 및 신호 향상을 업샘플링하기 위한 개념을 제공하는 것이다. 이러한 목적은 본 명세서에 첨부된 독립 청구항의 발명의 대상(subject matter)에 의해 달성된다.

본 발명은 품질이 개선되어야 하는 신호가 종종 저주파에 비해서 보다 고주파에서 품질 저하를 더 많이 겪으며, 따라서 품질 개선이 품질을 개선할 신호에 대한 스파스 근사(sparse approximation)로부터 추출되는 고주파 부분과 품질을 개선할 신호를 조합함으로써 가장 효율적으로 수행된다는 발명자의 발견을 이용한다. 본 발명의 일 양태에 따르면, 예를 들어, 이러한 발견은 제 1 신호를 업샘플링하기 위해 이용되며, 초기 업샘플링 프로세스는 제 1 신호의 해상도보다 높은 해상도를 갖는 제 2 신호를 획득하기 위해 제 1 신호에 적용된다. 여기서, 업샘플링 프로세스는 저주파에 비해서보다 고주파에 대해 낮은 품질을 나타내는 경향이 있다. 본 발명의 다른 양태에 따르면, 신호 향상을 위해 사용된 바와 같은 상술한 아이디어는 예를 들어 손실 부호화에 의해 품질이 저하될 수 있었다. 사실상, 본 발명의 신호 향상의 개념은 신호 향상이 업샘플링 결과에 적용되면서 본 발명의 업샘플링 개념의 부분으로서 보여질 수 있다.

본 발명의 유리한 구현은 종속 청구항의 대상이고, 본 발명의 바람직한 실시예는 도면에 대해 아래에 더욱 상세히 설명된다.
도 1은 실시예에 따라 업샘플링될 신호를 업샘플링하기 위한 장치의 블록도를 도시한다.
도 2는 실시예에 따라 도 1의 상세 사항(detail) 추출기 또는 고주파 부분 추출기(30)의 내부 구조의 블록도를 도시한다.
도 3a-3f는 예시적인 이미지 예를 이용하여 도 1 및 2의 예에 따라 업샘플링 절차에서 연속 단계 후의 이미지 콘텐츠를 도시한다.
도 4는 실시예에 따른 신호 향상을 위한 장치의 블록도를 도시한다.
도 5는 대안적 실시예에 따라 업샘플링을 위한 비반복적 동작 장치를 도시한다.
도 6a 및 6b는 신호 향상을 위한 장치가 인루프(in-loop) 필터로서 이용될 수 있는 경우에 각각 하이브리드 비디오 인코더 및 하이브리드 비디오 디코더의 블록도를 도시한다.
도 7a 및 도 7b는 본 발명에 따른 업샘플링 장치가 계층간 예측 소스를 제공하기 위해 사용될 수 있는 경우에 각각 공간적 확장성을 지원하는 비디오 인코더/디코더를 도시한다.

본 발명의 어떤 실시예를 설명하기 전에, 다음에 설명하는 실시예로 이어지는 몇몇 생각의 개요가 설명된다.

우선, FIR 필터 기반 보간과 같은 선형 모델은 저주파 성분을 보간하는데 충실하지만, 업샘플링 이미지의 고주파 성분을 왜곡한다는 것이 주목된다. 따라서, 아래에 설명된 실시예에서, 이러한 초기 보간기의 출력은 스파스 근사로부터의 상세 구성 요소와 조합된다. 예를 들면, 이것은 조합을 수행하는 반복적 프레임워크에 의해 실현될 수 있다. 신호 향상을 위한 스파스 근사로부터의 상세 구성 요소를 이용하기 위한 동기는 자연스러운 이미지가 일부 도메인[Olshausen1996]에서 드물게 표현될 수 있다는 사실에 의해 동기화된다. 스파스 근사의 단계는 예를 들어 신호를 특정 도메인으로 변환하고, 어떤 진폭 아래의 변환 계수를 0으로 설정하고, 근사치를 되찾기 위해 이러한 계수를 역변환함으로써 적은 변환 계수만을 가진 신호에 근사화하는 것으로 보여질 수 있다. 변환에 사용되는 도메인은 예를 들어 이산 코사인 변환(DCT), 또는 웨이블릿(wavelet)을 이용한 다중 해상도 표현(representation), 또는 커블릿(curvelet), 컨투어릿(contourlet), 시어릿(shearlet) 등을 이용한 다중 해상도 방향성 표현, 또는 다른 고정 또는 트레이닝 기반 사전일 수 있다. 아래에 제시된 설명에 대한 참조가 행해진다.

즉, 보간의 방향을 명시적으로 탐지하는 대신에, 아래에 설명되는 실시예는 스파스 근사를 이용한다. 예를 들면, 방향성 변환 계수의 반복적 임계는 우세한(dominant) 엣지/방향을 따라 샤퍼(sharper) 이미지를 생성한다.

도 1은 제 1 해상도를 갖는 제 1 신호 s를 업샘플링하기 위한 장치(5)를 도시하며, 장치(5)는 업샘플러(10), 스파서티 인포서(sparsity enforcer)(20), 고주파 부분 추출기(30) 및 조합기(40)를 포함한다. 업샘플러(10)는 제 1 신호 s를 수신하고, 제 1 해상도보다 높은 제 2 해상도를 갖는 제 2 신호를 얻기 위하여 업샘플링 프로세스를 제 1 신호에 적용하도록 구성된다. 조합기(40)는 업샘플러(10)의 출력에 연결된 제 1 입력을 가지며, 조합기(40), 스파서티 인포서(20) 및 고주파 부분 추출기(30)는 각각 조합기(40)의 출력과 조합기(40)의 제 2 입력 사이에 루프를 형성하기 위하여 상술한 순서로 서로 직렬로 연결된다. 조합기(40)의 출력은 동시에 장치(5)의 출력을 형성한다.

특히, 처음에 고주파 부분 추출기(30)에 의해 근사화된 신호로부터 추출된 고주파 부분 h는 제 2 신호 u가 수정되지 않은 상태로 조합기(40)를 통과하도록 설정될 수 있으며, 즉 조합기(40)의 출력에서의 신호, 즉 x는 u와 같다. 스파서티 인포서(20)는 스파스 근사를 이용하여 제 2 해상도를 가지고 인바운드(inbound) 신호 x에 근사하는 근사화된 신호 a를 생성하도록 구성된다. 고주파 부분 추출기(30)는 근사화된 신호 a로부터 고주파 부분 h을 추출하며, 그 후 이는 향상/업샘플링된 신호 x를 생성하기 위해 조합기(40)에 의해 제 2 신호(u)와 조합된다.

도 1의 장치(5)에 내재하는 동작 모드, 이점 및 생각은 이하에서 보다 상세히 설명된다. 그러나, 업샘플링될 신호, 즉 s는 어떤 타입의 신호일 수 있다는 것이 주목된다. 예를 들면, 신호 s는 비디오 또는 픽처(picture)일 수 있고, 즉 신호 s의 공간적 해상도를 증가시키는 장치(5)로 장면을 이차원 공간적으로 샘플링할 수 있다. 그러나, 대안으로, 신호 s는 예를 들어 어떤 물리적 특성을 공간적 또는 시간적으로 샘플링하는 일차원 신호일 수 있다. 예를 들면, 신호 s는 프로파일로메터(profilometer)의 출력 신호일 수 있고, 표면 프로파일을 공간적으로 샘플링할 수 있다. 당분간은 도 1의 실시예가 1D 신호에 대해 설명된다. 이미지 업샘플링을 위해, 아래에 제기되는 설명은 예를 들어 행 방향과 열 방향 연산을 이용하여 2D로 확대되거나 직접 이미지 샘플 상에서 2D 연산을 이용하여 실현될 수 있다. 장치(5)에 의해 수행되는 바와 같은 상세 합성은 전체 이미지 또는 블록 또는 영역별로 행해질 수 있다.

벡터

로 나타내는 치수

의 입력 LR 신호를 고려한다. 최종 목표는 치수

의 출력 HR 신호를 생성하는 것이며, 여기서 M > N이다.

업샘플러(10)는 입력 LR 신호를 수신하고, 예를 들어 FIR 필터 기반 보간을 이용하여 신호

를 생성하기 위해

의 초기 업샘플링을 수행한다.

따라서, 업샘플러(10)는 장치(5)의 처리의 제 1 단계를 형성한다.

일례로서, LR 이미지의 열은

로 나타낸 4개의 샘플로 구성되는 것으로 한다. 샘플의 수를 두배로 하는 태스크를 고려한다. 지정된 이미지 경계를 넘어선 샘플은 마지막 이용 가능한 샘플을 반복함으로써 획득된다고 가정한다. 다른 종류의 경계 확장이 또한 가능하다.

새로운 샘플 x₁이 샘플 b 및 c의 중간에 생성될 필요가 있는 경우, 바이큐빅 필터의 계수는

이다. 이것을 다른 샘플로 연장하는 것은 벡터 식 u = U·s를 생성시키며, 여기서 U는 업샘플링 행렬로 불린다.

다른 형식의 초기 근사값이 또한 예를 들어 B 스플라인 또는 비선형 기법을 이용하여 채택될 수 있다. 초기 업샘플링의 복잡성을 낮게 유지하고 동시에 초기 업샘플링된 이미지의 우수한 품질을 달성하기 위해, 6탭 또는 8탭 FIR 필터가 바람직할 수 있다.

지금까지 제공된 업샘플러(10)에 관한 메모를 요약하면, 업샘플러(10)는 이에 따라 FIR 필터, IIR 필터, 또는 둘다의 조합을 이용하여 초기 업샘플링 프로세스를 수행하도록 구성될 수 있다.

도 1의 실시예에서, 스파서티 인포서(20), 고주파 부분 추출기(30) 및 조합기(40)는 장치(5)에 의해 출력된 신호 x의 반복적 보정(iterative refinement)을 수행하기 위해 함께 동작한다. 즉, 신호 x의 품질은 하나의 반복으로부터 다음의 반복으로 지속적으로 증가한다. 이에 관한 상세 사항은 아래에 더 설명된다.

반복적 절차에서, 최기 업샘플링된 신호 u는 추정된 보정 신호

와 조합되며, 여기서 i는 보정된 신호

, 즉 다음의 식을 생성하기 위해 반복 수를 나타낸다.

제 1 반복에 대해, 보정 신호 h ⁽⁰⁾은 0으로 초기화되며, 따라서 x ⁽⁰⁾ = u이다. 그런 다음, 스파서티 인포싱(enforcing) 단계는 근사화된 신호 a ⁽ⁱ⁾를 생성하기 위해 스파서티 인포서(20)에 의해 x ⁽ⁱ⁾에서 연산된다. 다음에, h ⁽ⁱ⁺¹⁾로 나타내는 a ⁽ⁱ⁾의 고주파 상세 사항은 고주파 부분 추출기(30)에 의해 추출되고, 조합기(40)에 의해 x ⁽ⁱ⁺¹⁾를 생성하기 위해 추정된 HR 신호를 업데이트하는데 사용된다. 절차는 소정수의 반복 동안에 반복되고, 마지막 단계 후에 x ⁽ⁱ⁺¹⁾의 샘플은 출력 HR 이미지를 형성한다.

반복적 보정을 요약하면, 다음을 갖는다.

즉, 스파서티 인포서(20), 고주파 부분 추출기(30) 및 조합기(40)는 조합기(40)에 의해 수행된 조합에 의해 획득되는 조합된 신호 x에 스파스 근사를 적용하는 스파서티 인포서(20)와 반복하여 생성, 추출 및 조합을 반복적으로 수행하도록 구성된다.

조합기(40)는 예시적으로 업샘플 신호 u와 현재 보정 신호 h 사이의 부가물로서 구현된다는 것이 주목되어야 하고, 후자는 초기에, 즉 제 1 반복의 시작에서 중립 요소(neutral element)와 동일하도록 설정된다. 대안적으로, 다른 형식의 조합은 예를 들어, 곱셈과 같은 조합기(40)에 의해 사용될 수 있으며, 그런 경우에 신호 h는 예를 들어 제 1 반복의 시작에서 중립 요소, 즉 1과 동일하도록 설정된다.

스파서티 인포서(20)에 의해 수행되는 스파스 근사는 원자라는 기본 신호의 작은 수의 선형 조합으로 신호의 대부분을 차지하는 근사를 나타내는데 사용되는 용어이다. 기본 신호는 DCT와 같은 기저 함수, DFT, 웨이블릿, 컨투어릿, 시어릿 등과 같은 과완전 함수(over-complete function)로 구성될 수 있다.

예를 들면, 스파스 근사를 수행하기 위한 몇 가지 방법이 있다.

순방향 변환, 임계화, 역변환(반복 임계화[Blumensath2008])

정규화로 비용 함수의 최적화(L0 최소화, L1 최소화, Basis Pursuit [Chen1998])

한 번에 신호 근사에 하나의 계수를 연속적으로 구축(Matching Pursuit [Mallat1993], Orthogonal Matching Pursuit)

여기서, 신호 확장에 대한 간략한 소개가 먼저 제공되고, 그 후 스파스 근사에 대한 바람직한 실시예, 임계화 방식이 설명된다.

열이

인 치수

의 행렬 B를 고려한다. 행렬 B는 또한 사전으로 불린다. DCT의 경우에,

는 서로 다른 주파수에서의 코사인 함수이다. 앞서 정의된 바와 같이, 신호는

는

의 치수를 갖는다. 벡터

의 각각은 또한

의 치수를 갖고, 사전 B에서 이러한 P 벡터가 있다.

소위 신호 확장의 태스크는 벡터 bi의 측면에서 신호 x를 나타내는 것이며, 즉

여기서,

는 가중치 또는 변환 계수라 한다.

이것은 간단히 다음과 같이 기록될 수 있으며,

여기서,

P < M인 경우, 사전은

의 치수의 어떤 벡터를 나타낼 수 없다. P = M이고, 벡터 b_i가 선형적으로 독립적이도록 선택되면, 이러한 벡터는 기저 벡터라고 하고,

의 치수의 임의의 x를 나타낼 수 있으며, 예를 들어 B는 DCT or DFT 기저로 구성된다. P > M인 경우, 사전은 과완전(over-complete)이라고 한다. 본 발명의 실시예에서, 사전은 3가지 가능한 타입 중 어느 하나일 수 있다.

이미지의 서브밴드 분해, 즉 이미지를 다수의 채널로 분할하는 것은 순방향 변환을 나타내는데 사용되는 다른 용어이다. 하나 이상의 변환 계수는 서브밴드로 간주될 수 있다.

스파스 근사의 태스크는 제로가 아닌 몇몇 가중치{W_k}만을 이용하여 x의 가까운 표현(close representation)을 생성하는 것이며, 따라서 w는 희박하다.

예시적인 임계화 접근 방식에서, w는 x의 순방향 변환에 의해 발견되고, 어떤 임계치 아래의 크기를 가진 가중치 W_k는 제로로 설정된다. A는 사전 B에 대한 순방향 변환인 것으로 하며, 즉

DCT 또는 DFT와 같은 직교 사전(orthonormal dictionary)의 경우에, 순방향 변환 A는 단지 행렬 B의 전치(transpose)이다. 다른 사전의 경우, 적절한 순방향 변환을 결정하기 위한 여러 접근 방식이 있다.

다음과 같도록 요소별 임계화를 수행하는 임계화 연산자 T가 정의된다.

소프트-, 펌(firm)- 또는 적응-임계화와 같은 임계화의 다른 형식이 또한 가능하다.

임계화 후의 가중치는 근사화된 신호 a, 즉,

를 생성하도록 신호 확장에서 사용된다. 스파스 근사가 전체 반복 절차의 부분이므로, 각 반복 동안 다음을 갖는다.

임계값은 반복할 때마다 서로 다르게 설정될 수 있다. 또한, 서로 다른 임계값은 서로 다른 사전 요소에 대응하는 가중치에 이용될 수 있다.

즉, 다시 말하면, 스파서티 인포서(20)는 순차적으로 변환 계수 w를 얻기 위해 순방향 변환을 수행하고, 즉 A를 이용하고, 임계화된 변환 계수, 즉 T(W_k)를 얻기 위해 변환 계수를 임계화하며, B를 이용하여 임계화된 변환 계수로 역변환을 수행함으로써 스파스 근사를 수행하도록 구성될 수 있다. 그러나, 또한 상술한 바와 같이, 스파스 근사를 수행하기 위한 임계화 개념은 여러 가지 가능성 중에서 단지 하나의 가능성이다. 예를 들면, 스파스 근사를 수행하기 위한 비용 함수 최적화 방식이 대신에 이용될 수 있다. 예를 들면, 비용 함수는 비제로 변환 계수의 숫자 또는 변환 계수의 에너지의 측정치와, 한편으로 스파스 근사와 다른 한편으로 근사화되는 인바운드 신호 x 간의 유사성의 다른 측정치를 조합할 수 있다. 대안적으로, 스파서티 인포서는 파라미터화된(parameterized) 함수의 계수를 순차적으로 최적화하여 근사화된 신호를 연속적으로 구축(build-up)함으로써 스파스 근사를 수행하도록 구성된다.

도 1의 장치의 기능에 대한 설명을 진행하기 위해. 고주파 부분 추출기(30)는 다음과 같이 상세 사항 추출을 수행한다. 그것은 RM에서의 저주파 성분이 U에서의 필터, 업샘플러(10)에 의해 충실히 업샘플링된다는 가정에 기초한다. 따라서, 이러한 성분은 변경되지 않고, 오히려, 근사

의 상세 사항(고주파 부분)은 업샘플링된 신호를 보정하는데 사용되어야 한다. 이를 위해,

의 저주파 부분은 추정되어 상세 사항

으로 신호를 산출하기 위해 감산된다.

실시예에서,

의 저주파 부분은 그것을 다운샘플링하여 다운샘플링된 신호를 업샘플링함으로써 추정된다.

이를 위해, 고주파 부분 추출기(30)는 고주파 부분 추출기의 대응하는 내부 구조에 대한 일례를 도시하는 도 2에 도시된 바와 같이 구현될 수 있다. 신호 a가 입력하는 고주파 부분 추출기(30)의 입력과 신호 h가 출력되는 고주파 부분 추출기(30)의 출력 사이에는, 감산기(70)가 각각 비반전 입력과 출력에 접속된다. 다운샘플러(50) 및 업샘플러(60)는 이들의 언급의 순서로 연속하여 접속된다.

다시 말하면, a를 다운샘플링한 후에 다운샘플링된 신호를 업샘플링하는 것으로부터 생성된 신호는 상세 사항

으로 신호를 생성하기 위해

로부터 감산되며, 즉

바람직한 실시예에서, 정보 추출 단계(30)에서 사용되는 업샘플러(60), 즉 V는 상술한 초기 업샘플링에 사용되는 업샘플러(10), 즉 U와 동일하다. 추출된 상세 사항, 즉 h는 다음 반복에서 추정된 HR 신호 x를 업데이트하는데 사용된다.

마지막 반복 후에 x ⁽ⁱ⁺¹⁾에서의 샘플은 출력 HR 신호를 형성한다.

도 3a-f는 신호 s에 대한 일례로서 이미지를 참조하여 상술한 실시예의 동작 모드를 도시한다. 도 3a는 업샘플러(10)에 의해 업샘플링 절차 전의 입력 LR 이미지를 도시한다. 그것은 낮은 공간적 해상도 때문에 더 작다. 업샘플러(10)에 의한 업샘플링 후, 업샘플링 절차 때문에 더욱 높은 픽셀의 수로 인해 도 3a의 이미지에 비해 증가된 크기로 보여지는 추정된 HR 이미지 u가 생성한다. 상술한 바와 같이, u는

에 의해 얻어질 수 있다. 이러한 초기 업샘플링 절차 후, 현재 향상될 신호, 즉 x는 스파스 근사의 대상이다. 예를 들어 제 1 반복의 시작에서 x는 u와 동일하다는 것을 기억한다. 도 3c는 위에서 확인된 예시적인 임계 실시예에서 10 % 비제로 가중치를 이용하여 제 1 반복 후에 u의 스파스 근사의 결과치, 즉 a ⁽⁰⁾를 도시한다.

그 후, 스파스 근사, 즉 a는 상술한 바와 같이 a의 추정된 저주파 성분이 생성하도록 다운샘플링 절차 후에 업샘플링 절차의 연속적인 적용에 의해 구현될 수 있는 고주파 부분 추출 또는 상세 사항 추출의 대상이다. 도 3d는 도 2의 실시예를 이용한 제 1 반복에 대한 이러한 결과치, 즉

를 도시한다. 그 후, 도 2 내의 감산기는

의 추정된 상세 사항, 즉 고주파 부분

을 생성한다. 마지막으로, 조합기(40) 내의 조합에 의해, 신호 x는 업데이트되고, 도 3f는 제 1 반복 후의 결과치, 즉,

를 도시한다. 즉, 도 3f는 상세 사항을 가진 업데이트된 HR 이미지를 도시하고, 이미지에서의 대각선이 도 3b에 도시된 초기 업샘플링된 결과치에 비해 더 선명하게 나타나는 것을 알 수 있다.

스파스 근사에 사용하기 위한 가능한 사전이 이제 논의된다. 조각별 평탄한 데이터(piece-wise smooth data)의 스파스 표현을 획득하는 것을 목표로 하는 방향성 변환을 구성하고 구현하는데 광범위한 연구가 있었다. 커블릿 변환은 조각별 평탄한 이미지[Candes2004]의 스파스 근사를 최적으로 제공하도록 보여질 수 있는 방향성 변환이다. 커블릿은 대역이 제한되므로 공간 도메인에서 종종 로컬리제이션(localization)을 제한하였다. 컨투어릿은 방향성 필터 뱅크[Do2005]에 기초하여 구축되는 콤팩트하게 지원된 방향성 요소이다. 이러한 접근 방식에서의 방향성 선택도는 종종 아티팩트를 발생시키는 필터 뱅크의 특정 샘플링 규칙에 의해 인위적으로 부과된다. 더욱이, 조각별 평탄한 이미지에 대한 스파스 근사에 대해 이론적 보증이 존재하지 않는다.

최근에, 연속 및 불연속 모델의 통합된 처리를 제공하는 새로운 방향성 표현 시스템 - 소위 시어릿이 알려져, 조각별 평탄한 이미지 [Kutyniok2011]의 최적 스파스 표현을 허용한다. 시어릿의 독특한 특징 중 하나는 회전, 즉 사실상, 시어(shear) 행렬이 어떤 조건 하에 정수 격자(integer lattice)를 유지한다는 사실에서 기인하는 연속 세계와 불연속 세계 사이의 명확한 링크를 위한 결정 대신에 시어링함으로써 달성된다. 더욱이, 시어릿은 콤팩트하게 지원될 수 있기 때문에 공간적 도메인에서의 고도의 로컬리제이션을 제공한다.

사전은 또한 예[Aharon2006]의 세트를 이용하여 트레이닝에 의해 생성될 수 있다,

실시예는 지금까지의 모든 관련 신호의 업샘플링을 논의했다. 그러나, 스파스 근사의 사용 후 향상될 신호를 개선하기 위한 고주파 부분 추출은 또한 어떤 이유에서든 향상될 필요가 있거나 향상되는 것을 이용하는 달리 획득된 신호로 전달될 수 있다. 도 4에 대하여, 신호 향상, 특히 입력 신호를 향상시키기 위한 장치에 대한 실시예가 논의된다. 여기서, 도 1 내지 3f에 대해 상술한 상세 사항 합성 프레임워크는 상술한 바와 같이 입력 이미지일 수 있는 입력 신호의 향상된 버전을 생성하기 위해 사용된다. 향상된 신호의 샘플 해상도는 입력 신호 중 하나와 동일할 수 있다. 이미지의 경우에, 향상된 이미지는 입력 이미지와 동일한 해상도를 가질 수 있다.

도 4를 논의하면, 상술한 도면에서 이미 논의된 것과 동일한 참조 부호가 재사용되는 것이 주목된다. 이것은 이러한 요소의 기능이 이미 상술한 것과 일치하며, 따라서 이러한 기능에 관한 상술한 진술, 가능한 대안 및 이를 구현하는 것 등의 모두는 또한 이제 논의되는 도 4의 실시예에 적용할 수 있다.

즉, 도 4는 언급의 순서대로 조합기(40)의 출력과 제 1 입력 사이의 루프에 연결되는 스파서티 인포서(20), 고주파 부분 추출기(30) 및 조합기(40)를 포함하는 입력 신호 s를 향상시키기 위한 장치를 도시하며, 조합기(40)의 제 2 입력은 인바운드 신호 s를 수신한다. 조합기(40)의 출력은 동시에 도 4의 장치의 출력을 형성한다.

도 1과 도 4를 비교함으로써 명확하게 알 수 있는 바와 같이, 도 4의 장치는 초기에 업샘플링된 신호 u가 도 4의 경우에 향상될 신호 s를 나타내면서 사실상 도 1의 업샘플링 장치(5)의 하나의 구성 요소일 수 있다. 다시 말하면, 도 4에서, 초기 업샘플러(10)는 채용되지 않는다. 도 1의 경우에서와 같이, 도 4는 또한 인바운드 신호를 향상시킬 시에 동작의 반복 모드를 사용한다. 도 4의 경우에, 고역 통과 필터는 상세 사항 추출기 또는 고역 통과 부분 추출기(30)를 실현하기 위해 사용될 수 있다.

비디오 코딩의 맥락에서, 예를 들면, 도 4의 장치에 의해 수행된 신호 향상은 예를 들어 상세 사항 합성을 실현하기 위해 사용될 수 있다. 이러한 상세 사항 합성은 예를 들어 루프 필터 또는 포스트 필터로서 예를 들어 H.264 또는 HEVC와 같은 하이브리드 비디오 코덱의 DPCM 재구성 단계 후에 적용될 수 있다.

상술한 실시예에 대한 몇 가지 일반적인 메모가 이제 제공된다.

예를 들어 업샘플링 개념에 대해서는, 상술한 섹션에서 설명한 바와는 달리, 상세 사항 합성 처리는 반복적으로 조작할 필요가 없다는 것이 주목된다. 다시 말하면, 하나의 반복만이 충분할 수 있다. 그 후, 루프 구성은 도 5에 도시된 바와 같이 중단될 수 있으며, 따라서, 도 5는 업샘플링 장치에 대한 대안적 실시예를 도시한다. 다시 말하면, 대응하는 신호 향상 장치, 즉 도 4의 실시예에 대한 대안은 신호 향상 장치의 인바운드 신호가 직접 s를 얻도록 초기 업샘플러(10)를 중단시킴으로써 획득될 수 있다.

더욱이, 스파서티 인포서(20)에 의해 사용된 스파스 근사는 제 2 신호에 근사화하는 근사화된 신호 a를 획득하기 위해 업샘플러(10)에 의해 획득된 제 2 신호, 즉 u에서 반드시 동작하는 것은 아니다. 오히려, 대안에 따르면, 스파서티 인포서(20)는 직접 제 1 신호로 동작하도록 구성될 수 있다. 예를 들면, 도 1에 도시된 반복적 구성에서, 스파서티 인포서(20)는 제 1 반복이 관계되는 한 적어도 입력으로서 초기 신호 s를 사용할 수 있다. 따라서, 도 1에 도시된 바와 같이 업샘플링 프로세스의 반복 구현을 이용하는 경우에, 스파서티 인포서(20)에 의해 수행되는 스파스 근사는 조합의 결과, 즉 다음의 반복에서 조합/업데이트된 신호 x를 이용하면서 예를 들어 제 1 반복에서 직접 제 1 신호 s에서 수행될 수 있다. 스파스 근사를 제 1 신호에 직접 적용하기 위해, 스파서티 인포서(20)는 예를 들어 제 2 해상도로 제 1 신호를 업샘플링하기 위해 업샘플러(10)와 비교하여 상이한 업샘플링 프로세스를 이용할 수 있다. 대안적으로, 스파서티 인포서는 예컨대 사전의 기저 함수의 보간된 버전을 이용함으로써 제 1 해상도에서 제 2 해상도로 전환하기 위해 순방향 변환, 즉 A를 수정할 수 있다. 더욱이, 제 2 신호 및 근사 신호의 순수한 추가(pure addition)가 단지 예이고 수정될 수 있다는 것을 주목한다.

마찬가지로, 향상 개념에 대해, 상술한 부분에서 설명된 것과 달리, 향상 처리는 반드시 반복적으로 동작하지는 않는다는 것을 주목한다. 다시 말하면, 하나의 반복만이 충분할 수 있다. 더욱이, 제 2 신호 및 근사 신호의 순수한 추가가 단지 예이고 수정될 수 있다는 것을 주목한다.

상술한 실시예는 정지 픽처 또는 비디오의 프레임과 같은 이미지와 같이 일차원 샘플링된 신호 뿐만 아니라 이차원 샘플링된 신호에 적용될 수 있다는 것이 이미 설명되었다. 픽처/이미지에 적용되는 경우, 상술한 바와 같이, 초기 업샘플러(10)는 FIR 필터, IIR 필터 등으로 실시될 수 있고, 이러한 필터는 인바운드 신호를 먼저 한 방향으로 따라 필터링하고나서 다른 방향으로 필터링하고, 행 순서 후에 열 순서로 또는 그 역으로 횡단하여 예를 들어 2차원 또는 순차적으로 동작할 수 있다. 마찬가지로, 스파서티 인포서(20)에 의해 수행되는 스파스 근사는 이차원적으로 동작할 수 있거나, 먼저 행 순서 및 제 2 열 순서 또는 그 역과 같은 일차원 스파스 근사의 연결(concatenation)로서 동작할 수 있다. 예를 들어, 스파스 근사의 상술한 임계화 구현을 상상한다: 이 경우에, 순방향 및 역방향 변환 A 및 B은 먼저 이미지의 열 부분으로 적용되고나서 둘째로 행 순서로 적용되거나, 그 반대로 적용되는 일차원 변환일 수 있다. 이론적으로, 하나의 방향을 따라 스파스 근사를 수행하는 것과, 다른 방향을 따라 스파스 근사를 수행하는 것 사이의 전환은 한번의 반복 내에서, 즉, 둘다 고주파 부분 추출 앞에서, 또는 반복 사이에서 수행될 수 있다.

초기 업샘플링, 스파스 근사, 상세 사항 추출 및 조합은 대안적으로 모두 먼저 하나의 축을 따라 수행된 후에, 먼저 행 순서 후에 열 순서 및 그 역으로와 같이 횡단 축에 대해 다시 이러한 처리를 수행할 수 있다. 따라서, M×N 이미지 s는 행 축을 따라, 즉 각 행에 대하여 업샘플링된 2M×N 크기의 향상된 업샘플링된 이미지 x로 먼저 업샘플링된 후, 2M×N 크기의 향상된 업샘플링된 이미지 x는 열 축을 따라, 즉 각 열에 대하여 상술한 실시예 중 어느 하나에 따라 향상된 업샘플링 프로세스에 적용됨으로써, 이차원 업샘플링된 이미지 2Mx2N이 생성된다. 따라서, 업샘플링 장치는 일차원적으로 업샘플링된 이차원 신호를 획득하기 위해 이러한 제 1 신호의 업샘플링을 수행하면서 순차적으로 이차원 신호의 행 또는 열 중 하나를 제 1 신호로 지정함으로써 이차원 신호를 업샘플링한다. 그 후, 후속하여, 업샘플링 장치는 이러한 제 1 신호의 업샘플링을 수행하면서 일차원적으로 업샘플링된 이차원 신호의 행 또는 열 중 다른 하나를 제 1 신호로 지정한다.

또한 이미 상술한 바와 같이, 스파스 근사는 전류 신호 버전 x에 로컬 또는 글로벌식으로 적용될 수 있다. 즉, 스파스 근사의 임계화 구현의 경우에, 순방향 및 역방향 변환은 완전한 이미지를 커버하기 위하여 이미지에 걸쳐 변환 윈도우를 시프트하여 이미지를 로컬로 또는 글로벌로 적용될 수 있다.

완전성을 위해, 도 6a 및 도 6b는 DPCM(차동 펄스 코드 변조) 타입의 하이브리드 비디오 코덱에서 도 4의 신호 향상 장치를 사용하는 위에서 식별된 가능성을 예시하기 위해 각각 하이브리드 비디오 인코더(100) 및 하이브리드 비디오 디코더(200)에 대한 예를 도시한다. 도 6a 및 도 6b는 이러한 하이브리드 비디오 인코더/디코더의 전형적인 구조를 도시한다. 인코더(100)는 언급된 순서로 신호 s가 입력하는 비디오 입력과 비디오 데이터 스트림이 출력되는 비디오 출력 사이에 직렬로 연결되는 감산기(102), 양자화기(104) 및 엔트로피 코더(106)를 포함한다. 감산기(102)의 다른 반전 입력에서, 예를 들어 공간 및/또는 시간적 예측 모드를 포함하는 여러 예측 모드를 사용하여 획득되는 예측 신호

가 인가된다. 따라서, 감산기(102)의 출력에서, 잔차 신호 e, 즉 양자화기(104)에 의해 양자화되는 예측 잔차 신호가 생성된다. 도시되지 않았지만, 양자화기(104)는 양자화하기 전에 잔차 신호 e를 스펙트럼 변환시킴으로써 스펙트럼 도메인에서 양자화를 수행할 수 있다. 그 후, 양자화로 인해 원래의 잔차 신호 e와 다른 남은 잔차 신호 e'는 엔트로피 코더(106)에 의해 비디오 데이터 스트림으로 무손실 코딩된다. 따라서, 잔차 신호 e'는 또한 디코더에서 이용 가능하고, 조합기(110)의 제 1 입력이 잔차 신호 e'를 수신하고 이의 다른 입력이 예측 신호

를 수신함으로써 추가에 의해 조합기(110)가 DPCM 재구성된 신호 s'를 계산하도록 언급의 순서로 서로 직렬로 연결되는 조합기(110), 인루프 필터(114) 및 예측기(112)의 직렬 연결을 포함하는 인코더(100)의 예측 루프(108) 내에 입력된다. 인루프 필터(114)는 DPCM 재구성된 신호 s'를 향상시켜 최종 재구성된 신호

를 생성시킨다. 이러한 최종 신호

는 선택적으로 픽처 버퍼에 저장되어, 후속 예측에 대한 기준, 따라서 이름 기준 신호 역할을 할 수 있다. 예측기(112)는 이러한 기준 신호

에 기초하여 예측을 수행하고, 즉

를 획득하고, 이를 위해 방금 언급한 바와 같이 예를 들어 공간 및/또는 시간적 예측을 이용한다. 따라서, 인루프 필터(114)는 예측 소스를 향상시키고, 상술한 바와 같이, 도 4의 신호 향상 장치를 포함할 수 있다.

대응하는 하이브리드 비디오 디코더(200)는 도 6b에 도시된 바와 같이 해석될 수 있다. 인코더(100)의 예측 루프(108)에 따라 구성된 디코더(200)의 예측 루프(210)에 의해 수신되는 잔차 신호 e'를 출력하기 위해 엔트로피 디코더(202)는 이의 입력에서 비디오 데이터 스트림을 수신할 수 있다. 조합기(210)의 제 1 입력이 이의 제 1 입력에서 예측 신호

를 수신하고, 이의 제 2 입력에서 잔차 신호 e'를 수신하도록 예측 루프(208)는 조합기(210), 인루프 필터(214) 및 예측기(212)를 포함하며, 조합기(210)의 출력에서의 신호 s'는 DPCM 재구성된 신호를 구성한다. 신호 s'는 도 6a에서 114처럼 동작하는 인루프 필터(214)를 통해 전달하며, 따라서 디코더 출력 신호

를 생성하도록 도 4의 신호 향상 장치를 포함할 수 있다. 상술한 바와 같이, 이러한 최종 신호

에 기초하여 예측을 수행하고, 예측기(112)의 예측을 다시 행하며, 즉 예를 들어 공간 및/또는 시간적 예측을 이용하며, 이에 의해 예측 신호

를 생성시킨다.

완전성을 위해, 도 7a 및 도 7b는 도 1 또는 도 5의 업샘플링 장치 또는 상술한 다른 업샘플링 실시예 중 어느 하나가 공간적 확장성을 지원하는 비디오 코덱에 사용될 수 있음을 보여준다. 도 7a는 비디오가 입력하고, 직접적으로 향상 코더(300)에 도달하며, 간접적으로는 다운샘플러(302)를 통해 베이스 코더(304)에 도달하는 비디오 코더를 도시한다. 베이스 코더(304)는 예를 들어 도 6a 및 도 6b에 대해 상술한 바와 같은 하이브리드 비디오 코딩을 이용하여 다운샘플링된 비디오를 베이스 데이터 스트림(306)으로 코딩한다. 향상 코더(300)는 다운샘플링되지 않은 원 비디오 상에서 동작하지만, 계층간 중복성 저감(inter-layer redundancy reduction)을 위해 향상 코더(300)는 베이스 계층 데이터 스트림(306)으로부터 획득 가능하듯이 다운샘플링된 비디오의 재구성을 이용한다. 이를 위해, 업샘플러(308)는 재구성된 베이스 계층 신호를 업샘플링하고, 업샘플링된 신호를 계층간 예측 소스로서 향상 코더(300)에 제공하며, 이는 결과적으로 계층간 예측을 이용하여 높은 공간적 해상도를 가진 비디오를 더욱 효율적으로 예측 가능하게 코딩한다. 각각 도 1 또는 도 5에 도시된 바와 같이, 업샘플러(308)는 상술한 바와 같이 실시될 수 있다. 향상 계층 데이터 스트림(310) 및 베이스 계층 데이터 스트림(306)이 모두 확장 가능한 데이터 스트림(312)을 형성하면서 향상 코더(300)는 향상 계층 데이터 스트림(310)으로 계층간 예측 잔류를 코딩한다. 도 7b는 베이스 계층 데이터 스트림(306) 및 향상 계층 데이터 스트림(310)으로 구성되는 비디오 데이터 스트림(312)을 수신하고, 향상 디코더(314) 및 베이스 디코더(316)를 포함하는 대응하는 비디오 디코더를 도시한다. 베이스 디코더(316)는 베이스 계층 데이터 스트림(306)을 이용하여, 업샘플러(320)에 의해 제공된 예측 소스와 향상 계층 데이터 스트림(310)을 이용하는 계층간 예측을 이용함으로써 높은 공간적 해상도의 비디오를 재구성하는 향상 디코더(314)에 의해 계층 간 예측을 위한 예측 소스를 형성하기 위해 업샘플러(320)에 의해 업샘플링되는 낮은 공간 해상도의 비디오(318)를 재구성한다. 업샘플러(320) 및 업샘플러(308)는 동일하며, 즉 업샘플러(320)는 도 1 또는 도 5 또는 업샘플링 장치의 다른 예 중 어느 하나에 대해 상술한 바와 같이 실시될 수 있다.

몇몇 양태는 장치의 맥락에서 설명되었지만, 이들 양태는 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 기능에 대응하는 대응하는 방법의 설명을 나타내는 것이 분명하다. 유사하게, 방법 단계들의 문맥으로 설명 양태는 해당 장치의 대응하는 블록 또는 항목 또는 기능에 대한 설명을 나타낸다. 방법 단계들의 일부 또는 전부는, 예를 들어, 마이크로 프로세서, 프로그래머블 컴퓨터 또는 전자 회로와 같은 하드웨어 장치(또는 사용)에 의해 실행될 수 있다`. 일부 실시예에서, 가장 중요한 방법 단계들 중 일부는 하나 이상의 이러한 장치에 의해 실행될 수 있다.

어떤 구현 요구 사항에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 이러한 구현은 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 이용하여 수행될 수 있으며, 이러한 매체는 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능한 제어 신호를 저장한다. 그래서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.

본 발명에 따른 일부 실시예는 본 명세서에서 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법 중 하나를 수행하기 위해 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능한 캐리어 상에 저장될 수 있다.

다른 실시예는 본 명세서에서 설명되고, 기계 판독 가능 캐리어 상에 저장된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

그래서, 다시 말하면, 본 발명의 방법의 실시예는 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 본 명세서에 설명된 방법 중 하나를 수행하기 위해 프로그램 코드를 갖는 컴퓨터 프로그램이다.

그래서, 본 발명의 방법의 추가의 실시예는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능한 매체)이며, 이러한 데이터 캐리어는 본 명세서에서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 기록하고 포함한다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 전형적으로 유형(tangible) 및/또는 비일시적이다.

그래서, 본 발명의 방법의 추가의 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 데이터 통신 접속, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.

추가의 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하도록 구성되거나 적응되는 처리 수단, 예를 들어 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.

추가의 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.

본 발명에 따른 추가의 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로(예를 들어, 전자적 또는 광학적으로) 전송하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.

일부 실시예에서, 프로그램 가능한 논리 장치(예를 들어, 필드 프로그램 가능한 게이트 어레이)는 본 명세서에서 설명된 방법의 기능의 일부 또는 모두를 수행하기 위해 이용될 수 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이는 본 명세서에서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 이러한 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.

본 명세서에서 설명된 장치는 하드웨어 장치를 이용하거나 컴퓨터를 이용하며, 또는 하드웨어 장치 및 컴퓨터의 조합을 이용하여 구현될 수 있다.

본 명세서에서 설명된 방법은 하드웨어 장치를 이용하거나 컴퓨터를 이용하며, 또는 하드웨어 장치 및 컴퓨터의 조합을 이용하여 구현될 수 있다.

상술한 실시예는 단지 본 발명의 원리에 대한 예시이다. 본 명세서에서 설명된 배치의 수정 및 변형과 상세 사항은 당업자에게는 자명할 것으로 이해된다. 따라서, 본 명세서에서 실시예의 설명에 의해 제시된 특정 상세 사항에 의해서가 아니라 첨부된 청구 범위에 의해서만 제한되는 것으로 의도된다.

참고 문헌

특허 번호 명칭

8,290,251 스파스 표현을 이용한 이미지 양식화(Image stylization using sparse representation)

8,165,215 스파스 표현을 위한 사전의 설계를 위한 시스템 및 방 법(System and method for designing of dictionaries for sparse representation)

7,526, 123 스파스 표현에서의 얼굴 포즈 추정(Estimating facial pose from a sparse representation)

7,401,006 S-변환의 스파스 근사를 이용하여 신호 처리를 위한 방법 및 시스템(Method and system for signal processing using a sparse approximation of the S-transform)

8,369,653 제 1 및 제 2 유도체의 자연 이미지 통계를 이용하여 이미지 업샘플링을 위한 시스템 및 방법(System and method for image upsampling using natural image statistics of first and second derivatives)

8,260,087 이미지 업샘플링 기술(Image upsampling technique)

8,233,734 트레이닝 이미지로의 이미지 업샘플링(Image upsampling with training images)

[Shannon1949] C. E. Shannon, "Communication in the presence of noise," Proc. Institute of Radio Engineers, vol. 37, no. 1 , pp. 10-21 , Jan. 1949.

[Unser2000] M. Unser, "Sampling - 50 Years After Shannon", Proc. IEEE, vol. 88, no. 4, pp. 569-587, Apr. 2000.

[Unser1999] M, Unser, "Splines: A Perfect Fit for Signal and Image Processing", IEEE Signal Proc. Magazine, vol. 16, no. 6, pp. 22-38, Nov. 1999.

[Blu2001] T. Blu, P. Thevenaz and M. Unser, "MOMS: Maximal-Order Interpolation of Minimal Support", IEEE Trans. On Image Proc, vol, 10, no. 7, Jul. 2001.

[Li2001] X. Li and M. T. Orchard, "New edge-directed interpolation." IEEE Trans, on Image Proc, 10(10):1521-1527, 2001.

[Irani1991] M. Irani and S. Peleg, "Improving resolution by image registration," Graphical Models and Image Processing, 53:231-239, 1991.

[Olshausen1996] B. A. Olshausen and D. J. Field, 'Natural image statistics and efficient coding," Network: Computation in Neural Systems, no. 7. pp. 333-339, 1996,

[Mallat1993] S. G. Mallat, "Matching pursuits with time-frequency dictionaries," IEEE Trans. On. Signal Proa, Vol 41 , no. 12. Pp. 3397 - 3415, Dec 1993.

[Chen1998] S. S. Chen, D. L. Donoho, M. A. Saunders, "Atomic Decomposition by Basis Pursuit," SIAM Journal on Scientific Computing, Vol. 20, no. 1 , 1998

[Blumensath2008] T. Blumensath, M. E. Davies, "Iterative Thresholding for Sparse Approximations", The Journal of Fourier Analysis and Applications, vol.14, no 5, pp. 629-654, Dec 2008.

[Kutyniok2011] G. Kutyniok and W.-Q Lim "Compactly Supported Sheariets are Optimally Sparse", J. Approx. Theory, Vol. 163, pp. 1564-1589, 201 1.

[Candes2004] E. J. Candes and D. L. Donoho, "New tight frames of curvelets and optimal representations of objects with C2 singularities," Comm. Pure Appl. Math., vol, 57, no 2, pp. 219-266, 2004.

[Do2005] M. N. Do and M. Vetterii, 'The contourlet transform: an efficient directional multiresolution image representation," IEEE Trans, on Image Proa, vol. 14, no. 12, Dec. 2005.

[Aharon2006] M. Aharon, M. Elad and A.M. Bruckstein, "The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation," IEEE Trans. On Signal Proa, vol. 54, no. 11 , pp. 4311-4322, Nov. 2006.

Claims

제 1 해상도를 갖는 제 1 신호(s)를 업샘플링하기 위한 장치로서,
상기 제 1 해상도보다 높은 제 2 해상도를 갖는 제 2 신호(u)를 획득하기 위하여 업샘플링 프로세스를 상기 제 1 신호에 적용하도록 구성된 업샘플러(10);
스파스 근사(sparse approximation)를 이용하여 상기 제 2 해상도를 갖는 근사화된 신호(a)를 생성하도록 구성된 스파서티 인포서(20);
상기 근사화된 신호(a)로부터 고주파 부분(h)을 추출하도록 구성된 고주파 부분 추출기(30); 및
상기 제 2 신호(u)와 추출된 고주파 부분(h)을 조합하도록 구성된 조합기(40)를 포함하며,
상기 고주파 부분 추출기(30)는 고역 통과 필터이거나 또는 상기 근사화된 신호의 저주파 부분을 추정하고(50, 60), 상기 근사화된 신호로부터 상기 저주파 부분을 감산(70)함으로써 상기 근사화된 신호로부터 상기 고주파 부분을 추출하도록 구성되는, 장치.
제 1 항에 있어서,
상기 업샘플러(10)는 FIR 필터, IIR 필터, 또는 둘다의 조합을 이용하여 상기 업샘플링 프로세스를 수행하도록 구성되는 장치.
제 1 항에 있어서,
상기 스파서티 인포서(20)는 스파스 근사를 상기 제 2 신호에 적용함으로써 상기 근사화된 신호를 생성하도록 구성되는 장치.
제 1 항에 있어서,
상기 스파서티 인포서(20)는 변환 계수들을 얻기 위해 순차적으로 순방향 변환을 수행하고, 임계화된 변환 계수들을 얻기 위해 상기 변환 계수들을 임계화하며, 상기 임계화된 변환 계수들로 역변환을 수행함으로써 상기 스파스 근사를 수행하도록 구성되는 장치.
제 1 항에 있어서,
상기 스파서티 인포서(20)는 비용 함수를 최적화함으로써 스파스 근사를 수행하도록 구성되는 장치.
제 1 항에 있어서,
상기 스파서티 인포서(20)는 파라미터화된 함수의 계수들을 순차적으로 최적화하여 상기 근사화된 신호를 연속적으로 구축(build-up)함으로써 상기 스파스 근사를 수행하도록 구성되는 장치.
제 1 항에 있어서,
상기 고주파 부분 추출기(30)는 상기 근사화된 신호를 다운샘플링(50)한 후에 업샘플링(60)함으로써 상기 저주파 부분을 추정하도록 구성되는 장치.
제 7 항에 있어서,
상기 고주파 부분 추출기는 다운샘플링된 상기 근사화된 신호를 업샘플링(60)할 시에 상기 업샘플러(10)의 업샘플링 프로세스를 이용하도록 구성되는 장치.
제 1 항에 있어서,
상기 조합기(40)는 상기 제 2 신호와 상기 근사화된 신호의 상기 고주파 부분을 조합할 시에 이를 서로에 추가하도록 구성되는 장치.
제 1 항에 있어서,
상기 스파서티 인포서(20), 상기 고주파 부분 추출기(30) 및 상기 조합기(40)는 상기 조합기의 조합에 의해 획득되는 조합된 신호(x)에 상기 스파스 근사를 적용하는 상기 스파서티 인포서(20)와 반복하여 생성, 추출 및 조합을 반복적으로 수행하도록 구성되는 장치.
제 1 항에 있어서,
상기 제 1 신호, 상기 제 2 신호 및 상기 근사화된 신호는 이차원 신호인 장치.
제 1 항에 있어서,
상기 장치는 일련의 일차원 행-별(row-wise) 및 열-별(column-wise) 업샘플링 단계들을 이용하여 이차원 신호를 업샘플링하도록 구성되는 장치.
입력 신호(s)를 향상시키기 위한 장치로서,
스파스 근사를 이용하여 상기 입력 신호에 근사화하는 근사화된 신호(a)를 생성하도록 구성된 스파서티 인포서(20);
상기 근사화된 신호(a)로부터 고주파 부분(h)을 추출하도록 구성된 고주파 부분 추출기(30); 및
상기 근사화된 신호로부터 추출된 고주파 부분(h)과 상기 입력 신호(s)를 조합하도록 구성된 조합기(40)를 포함하며,
상기 고주파 부분 추출기(30)는 고역 통과 필터이거나 또는 상기 근사화된 신호의 저주파 부분을 추정하고(50, 60), 상기 근사화된 신호로부터 상기 저주파 부분을 감산(70)함으로써 상기 근사화된 신호로부터 상기 고주파 부분을 추출하도록 구성되는, 장치.
제 13 항에 있어서,
상기 스파서티 인포서(20)는 스파스 근사를 상기 입력 신호에 적용함으로써 상기 근사화된 신호를 생성하도록 구성되는 장치.
제 13 항에 있어서,
상기 스파서티 인포서(20)는 변환 계수들을 얻기 위해 순차적으로 순방향 변환을 수행하고, 임계화된 변환 계수들을 얻기 위해 상기 변환 계수들을 임계화하며, 상기 임계화된 변환 계수들로 역변환을 수행함으로써 상기 스파스 근사를 수행하도록 구성되는 장치.
제 13 항에 있어서,
상기 스파서티 인포서(20)는 비용 함수를 최적화함으로써 상기 스파스 근사를 수행하도록 구성되는 장치.
제 13 항에 있어서,
상기 스파서티 인포서(20)는 파라미터화된 함수의 계수들을 순차적으로 최적화하여 상기 근사화된 신호를 연속적으로 구축함으로써 상기 스파스 근사를 수행하도록 구성되는 장치.
제 13 항에 있어서,
상기 고주파 부분 추출기(30)는 상기 근사화된 신호를 다운샘플링(50)한 후에 업샘플링(60)함으로써 상기 저주파 부분을 추정하도록 구성되는 장치.
제 13 항에 있어서,
상기 조합기(40)는 상기 입력 신호와 상기 근사화된 신호의 상기 고주파 부분을 조합할 시에 이를 서로에 추가하도록 구성되는 장치.
제 13 항에 있어서,
상기 스파서티 인포서(20), 상기 고주파 부분 추출기(30) 및 상기 조합기(40)는 상기 조합기의 조합에 의해 획득되는 조합된 신호(x)에 상기 스파스 근사를 적용하는 상기 스파서티 인포서(20)와 반복하여 생성, 추출 및 조합을 반복적으로 수행하도록 구성되는 장치.
제 13 항에 있어서,
상기 입력 신호 및 상기 근사화된 신호는 이차원 신호인 장치.
제 13 항에 있어서,
상기 장치는 일련의 일차원 행-별 및 열-별 업샘플링 단계들을 이용하여 이차원 신호를 향상시키도록 구성되는 장치.
제 1 해상도를 갖는 제 1 신호(s)를 업샘플링하기 위한 방법으로서,
상기 제 1 해상도보다 높은 제 2 해상도를 갖는 제 2 신호(u)를 획득하기 위하여 업샘플링 프로세스를 상기 제 1 신호에 적용하는 단계;
스파스 근사를 이용하여 상기 제 2 해상도를 갖는 근사화된 신호(a)를 생성하는 단계;
고역 통과 필터를 이용하거나 또는 상기 근사화된 신호의 저주파 부분을 추정하고(50, 60), 상기 근사화된 신호로부터 상기 저주파 부분을 감산(70)함으로써 상기 근사화된 신호(a)로부터 고주파 부분(h)을 추출하는 단계; 및
상기 제 2 신호(u)와 추출된 고주파 부분(h)을 조합하는 단계를 포함하는 방법.
입력 신호(s)를 향상시키기 위한 방법으로서,
스파스 근사를 이용하여 상기 입력 신호에 근사화하는 근사화된 신호(a)를 생성하는 단계;
고역 통과 필터를 이용하거나 또는 상기 근사화된 신호의 저주파 부분을 추정하고(50, 60), 상기 근사화된 신호로부터 상기 저주파 부분을 감산(70)함으로써 상기 근사화된 신호(a)로부터 고주파 부분(h)을 추출하는 단계; 및
상기 근사화된 신호로부터 추출된 고주파 부분(h)과 상기 입력 신호(s)를 조합하는 단계를 포함하는 방법.
컴퓨터상에서 실행될 때 제 23 항 또는 제 24 항에 따른 방법을 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터-판독가능 매체.
삭제
삭제
삭제
삭제