KR20170044028A

KR20170044028A - 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치

Info

Publication number: KR20170044028A
Application number: KR1020160129240A
Authority: KR
Inventors: 마르틴 알랭; 크리스틴 기유모; 도미니끄 토로; 필립 기요뗄
Original assignee: 톰슨 라이센싱
Priority date: 2015-10-09
Filing date: 2016-10-06
Publication date: 2017-04-24
Also published as: EP3154021A1; EP3154023A1; CN107018287A; US20170103499A1; JP2017073135A

Abstract

이미지의 잡음을 제거하기 위한, 특히 소스 비디오 이미지에 기초하는 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치. 본 발명의 원리들의 일 실시예는 비디오 내의 이미지를 처리하는 방법으로서, 이미지의 인코딩 버전을 디코딩하여 이미지의 디코딩 버전을 생성하는 단계; 및 이미지의 디코딩 버전 및 이미지와 관련된 텍스처 발췌인 비디오 이미지 발췌를 이용하여 이미지의 잡음 제거 버전을 생성하는 단계를 포함하고, 비디오 이미지 발췌는 이미지의 소스 버전으로부터 추출되었고, 생성하는 단계는 복수의 최근접 이웃 패치 중 적어도 하나에 대응하는 비디오 이미지 발췌 내에 위치하는 대응하는 패치들을 이용하여 현재 패치의 잡음을 제거하는 단계를 포함하는 방법을 제공한다.

Description

비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DE-NOISING AN IMAGE USING VIDEO EPITOME}

본 개시내용은 비디오 이미지의 잡음을 제거하기 위한 방법 및 장치에 관한 것으로서, 구체적으로는 소스 비디오 이미지에 기초하는 비디오 발췌를 이용하여 비디오 이미지의 잡음을 제거하기 위한 방법 및 장치에 관한 것이다.

이 섹션은 독자에게 이하에서 설명 및/또는 청구되는 본 발명의 다양한 양태들에 관련될 수 있는 기술의 다양한 양태들을 소개하는 것을 의도한다. 이러한 설명은 본 발명의 다양한 양태를 더 잘 이해할 수 있도록 배경 정보를 독자에게 제공하는데 도움이 된다고 여겨진다. 따라서, 이 진술들은 이에 비추어 읽혀져야 하고, 선행 기술의 승인으로서 간주되어서는 안 된다는 것을 이해해야 한다.

패치 기반 방법들은 잡음 제거 방법들의 성능을 크게 향상시켰다. 특히, CVPR 2005의 회보에서 발행된 "A non-local algorithm for image denoising"이라는 논문에서 Buades 등에 의해 발표된 비국지적 평균(NLM: Non Local Mean) 및 Transaction on Image Processing, vol. 16, no. 8, pp. 2080-2095, August 2007에서 발행된 "Image denoising by sparse 3D transform-domain collaborative filtering"이라는 명칭의 논문에서 Dabov 등에 의해 발표된 BM3D(Block Matching 3D)는 이제 기준 방법들이다.

양 방법에서, 패치는 먼저 잡음 많은 이미지/비디오 중에서 그의 K개의 최근접 이웃(K-NN) 패치를 찾음으로써 잡음 제거된다. NLM 방법은 K-NN과 현재 패치 사이의 거리에 의존하는 가중치들을 이용하여 K-NN을 결합한다. BM3D는 2 단계 방법이다. 제1 단계에서, BM3D는 K-NN을 3D 그룹 내에 적층하고, 이어서 그룹에 대해 3D 변환을 적용한다. 이어서, 그룹의 패치들은 하드 임계화를 이용하여 필터링되며, 역변환 후에 잡음 제거된 추정치들이 얻어진다. 각각의 픽셀에 대해, 여러 추정치가 얻어질 수 있고, 궁극적으로 평균된다. 제2 단계에서, 새로운 K-NN이 제1 단계로부터 얻어진 잡음 제거된 추정치 중에서 발견된다. 제1의 잡음 제거된 추정치로부터의 K-NN 및 잡음 많은 이미지/비디오 내의 대응하는 패치들을 각각 포함하는 2개의 3D 그룹이 형성된다. 이어서, 2개 그룹에 대해 3D 변환이 적용된다. 잡음 많은 패치들을 포함하는 3D 변환 그룹은 위너 필터를 이용하여 필터링되며, 제1의 잡음 제거된 추정치들을 포함하는 변환된 3D 그룹은 오라클로서 사용된다. 역변환 후에 최종 추정치가 얻어진다. 이러한 방법들은 "블라인드" 알고리즘들인데, 이는 그들이 소스 신호로부터의 어떠한 사전 지식도 없이 잡음 많은 이미지/비디오에 적용되기 때문이다. 본 명세서에서 적용되는 바와 같은 용어 "소스 신호"는 텔레비전 수신기에 의한 송신 및 디코딩 전의 인코딩/디코딩 동작들, 예로서 HEVC 인코딩 전의 오리지널 비디오 이미지 신호를 지칭한다.

대안으로서, 발췌 표현들에 기초하는 패치 기반 잡음 제거 방법들이 설계되었다. 이미지의 발췌는 이미지의 텍스처 및 구조 특성들의 본질을 포함하는 압축 표면이다. 발췌 접근법은 이미지 내의 반복 콘텐츠를 이용하여 이미지 내의 중복 정보(텍스처)를 줄이기 위한 것이다. 발췌 원리는 ACM SIGGRAPH 2008 (ACM Transaction on Graphics, vol. 27, no. 3, pp. 1-10, 2008)의 회보에서 발행된 "Factoring Repeated Content Within and Among Images"라는 명칭의 논문에서 Hoppe 등에 의해 처음 개시되었다. 도 1은 Hoppe의 방법을 나타낸다. 이미지 Y로부터, 텍스처 발췌 E 및 변환 맵 φ가 결정되며, 따라서 Y의 모든 이미지 블록들이 E의 매칭된 패치들로부터 재구성될 수 있다. 매칭된 패치는 변환된 매치로도 알려져 있다. 블록들과 달리, 패치들은 픽셀 그리드에 속한다. 이미지 Y에서 자기 유사성들이 결정되면, Hoppe의 방법은 중복 텍스처 패치들을 결정하여 발췌 차트들을 구성하며, 모든 발췌 차트들의 합집합은 텍스처 발췌 E를 구성한다. 각각의 발췌 차트는 이미지 내의 반복 영역을 나타낸다. 발췌 차트의 구성은 차트 초기화 단계에 이어지는 여러 개의 차트 확장 단계로 이루어진다. 변환 맵 φ는 이미지 Y의 각각의 블록과 텍스처 발췌 E의 텍스처 패치 사이의 대응 관계를 계속 추적하는 할당 맵이다. 변환 맵은 문헌에서 벡터 맵 또는 할당 맵으로도 알려져 있다. 텍스처 발췌 E 및 변환 맵 φ을 이용하여, 이미지 Y의 콘텐츠와 매우 유사한 콘텐츠를 갖는 이미지 Y'를 재구성할 수 있다. 아래에서, 비디오 발췌라는 용어는 텍스처 발췌 E 및 변환 맵 φ 또는 적절한 경우에 간단히 텍스처 발췌 E를 지칭할 수 있다.

현재의 패치 기반 잡음 제거 방법들은 Computer Vision, vol. 76, pp. 141-152, 2008의 국제 학술지에서 발행된 "Video epitomes"이라는 명칭의 Cheung 등에 의한 논문에서와 같이 발췌로부터의 패치들을 평균하거나, Imaging Sciences, pp. 228-247, July 2008에 관한 SIAM 학술지에서 발행된 "Sparse and redundant modeling of image content using image-signature dictionary"라는 명칭의 Aharon 등에 의한 논문에서와 같이 성긴 표현을 이용하여 패치들을 결합한다. 이러한 방법들에서, 발췌는 잡음 많은 이미지/비디오로부터 직접 추출된다. 비디오 발췌를 이용하여 잡음 제거 방법들의 성능을 개선하는 것이 바람직하다.

발명의 요약

본 발명의 원리들에 따르면, 이미지의 잡음을 제거하기 위한, 특히 소스 비디오 이미지에 기초하는 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치가 설명된다. 이미지의 더 높은 품질 버전, 즉 소스 버전으로부터의 비디오 발췌의 추출은 잡음 제거 프로세스를 개선하는 더 높은 품질 비디오 발췌를 생성한다. 본 명세서에서 사용되는 바와 같은 높은 또는 더 높은 품질 비디오라는 용어는 인코딩 또는 압축 프로세스를 겪은 비디오의 후속 또는 다른 버전보다 적은 비디오 아티팩트 및 왜곡을 포함하는 비디오 이미지를 지칭한다.

본 발명의 원리들에 따르면, 비디오 내의 이미지를 처리하는 방법으로서, 상기 이미지의 인코딩 버전을 디코딩하여 상기 이미지의 디코딩 버전을 생성하는 단계; 및 상기 이미지의 상기 디코딩 버전 및 상기 이미지와 관련된 텍스처 발췌인 비디오 이미지 발췌를 이용하여 상기 이미지의 잡음 제거 버전을 생성하는 단계를 포함하고, 상기 비디오 이미지 발췌는 상기 이미지의 소스 버전으로부터 추출되었고, 상기 생성하는 단계는 복수의 최근접 이웃 패치 중 적어도 하나에 대응하는 상기 비디오 이미지 발췌 내에 위치하는 대응하는 패치들을 이용하여 현재 패치의 잡음을 제거하는 단계를 포함하는 방법이 제공된다.

본 발명의 원리들에 따르면, 비디오의 이미지를 처리하기 위한 장치로서, 상기 이미지의 인코딩 버전에 액세스하고, 상기 이미지의 디코딩 버전, 및 상기 이미지와 관련된 텍스처 발췌인 비디오 이미지 발췌를 생성하도록 구성되는 통신 인터페이스 - 상기 비디오 이미지 발췌는 상기 이미지의 소스 버전으로부터 추출됨 -; 상기 통신 인터페이스에 결합되고, 상기 비디오의 상기 디코딩된 버전 및 상기 비디오 이미지 발췌를 이용하여 상기 디코딩 이미지의 잡음 제거 버전을 포함하는 표시용 출력을 생성하도록 구성되는 프로세서를 포함하고, 상기 이미지 발췌 및 상기 프로세서는 복수의 최근접 이웃 패치 중 적어도 하나에 대응하는 상기 비디오 이미지 발췌 내에 위치하는 대응하는 패치들을 이용하여 현재 패치의 잡음을 제거함으로써 상기 디코딩 이미지의 잡음 제거 버전을 생성하도록 구성되는 장치가 제공된다.

본 발명의 원리들에 따르면, 비디오의 이미지를 처리하기 위한 장치로서, 이미지에 액세스하도록 구성되는 통신 인터페이스 및 상기 통신 인터페이스에 결합되고, 상기 이미지의 인코딩 버전을 생성하고, 상기 인코딩 전의 상기 이미지의 소스 버전으로부터 비디오 발췌를 추출하고, 비트스트림을 생성하도록 구성되는 프로세서를 포함하고, 상기 비트스트림은 상기 이미지의 상기 인코딩 버전, 상기 비디오 발췌, 및 상기 비트스트림 내의 상기 비디오 발췌의 존재를 지시하는 플래그를 포함하는 장치가 제공된다. 일 실시예에서, 상기 비디오 발췌는 또한 상기 인코딩 이미지와 동일한 또는 상이한 인코딩 방법을 이용하여 인코딩된다.

일 실시예에서, 상기 발췌는 텍스처 발췌이고, 상기 생성하는 단계는 상기 디코딩 이미지 내의 현재 패치의 잡음 제거에 사용될 K개의 최근접 이웃 패치를 결정하는 단계; 상기 결정된 K개의 최근접 이웃 패치에 대응하는 상기 비디오 발췌 내에 위치하는 대응하는 패치들에 액세스하는 단계; 및 상기 비디오 발췌 내에 위치하는 상기 대응하는 패치들을 이용하여 상기 현재 패치의 잡음을 제거하는 단계를 포함한다.

일 실시예에서, 상기 잡음을 제거하는 단계는 상기 비디오 발췌를 이용하여 잡음 제거의 비국지적 평균 방법을 수행하는 단계를 포함한다.

일 실시예에서, 상기 잡음을 제거하는 단계는 상기 발췌 패치들과 상기 대응하는 잡음 많은 패치들 사이의 제곱 평균 에러로서 잡음 레벨을 추정함으로써 필터링 파라미터를 설정하는 단계를 포함하고, 상기 필터링 파라미터는 상기 추정된 잡음 레벨과 사전 정의된 사용자 파라미터의 곱으로서 설정된다.

일 실시예에서, 상기 잡음을 제거하는 단계는 하드 임계화 단계 및 위너 필터링 단계를 이용하는 단계를 포함한다. 일 실시예에서, 상기 하드 임계화는 잡음 많은 패치들의 그룹 및 그들의 대응하는 발췌 패치들에 대해 3D 변환을 수행하고; 상기 변환된 패치들 사이의 임계화 규칙을 결정하고; 잡음 많은 패치들의 그룹의 패치 내에 상기 현재 패치를 대체하고; 상기 현재 패치를 포함하는 잡음 많은 패치들의 상기 그룹에 상기 임계화 규칙을 적용하고; 역변환을 수행하여 상기 현재 패치의 제1 잡음 제거 버전을 생성함으로써 임계치를 적응적으로 선택하는 단계를 포함한다. 일 실시예에서, 상기 현재 패치의 상기 제1 잡음 제거 버전은 위너 필터링 단계에 대한 오라클로서 사용된다.

일 실시예에서, 상기 비디오 발췌 및 상기 이미지의 상기 인코딩 버전은 통신 채널을 통해 수신되는 비트스트림을 통해 액세스되며, 상기 비디오 발췌는 인코딩되고, 상기 비트스트림은 상기 비디오 발췌가 상기 이미지의 상기 인코딩 버전과 함께 포함된다는 것을 지시하는 플래그를 포함한다.

본 발명의 원리들의 전술한 특징 및 다른 특징, 및 이들을 달성하는 방식은 첨부 도면과 관련하여 이루어지는 예시적인 실시예들의 이하의 설명들을 참조하여 더 명백해질 것이고, 그에 의해 본 발명의 원리들이 더 잘 이해될 것이다. 도면에서:
도 1은 이미지 Y로부터의 발췌의 구성 및 변환 맵 φ 및 발췌 E로 구성되는 팩터화된 표현을 이용하는 이미지 Y'의 재구성의 그림 예이다.
도 2는 본 발명의 원리들에 따른 잡음 제거의 그림 예이다.
도 3은 본 발명의 원리들에 따른 적응된 NLM을 이용하는 발췌 기반 잡음 제거의 그림 예이다.
도 4는 본 발명의 원리들에 따른 BM3D를 이용하는 발췌 기반 잡음 제거를 위한 하드 임계화의 그림 예이다.
도 5는 본 발명의 원리들에 따른 BM3D를 이용하는 발췌 기반 잡음 제거를 위한 위너 필터링의 그림 예이다.
도 6은 비디오의 키 프레임들로부터 추출된 발췌들의 그림 예이다.
도 7은 스케일링 가능한 압축 스킴에서의 발췌의 인코딩을 나타내는 그림 예이다.
도 8은 본 발명의 원리들의 예시적인 실시예들의 다양한 양태들을 구현할 수 있는 예시적인 시스템을 나타내는 블록도를 도시한다.
도 9는 하나 이상의 구현과 함께 사용될 수 있는 비디오 처리 시스템의 일례를 나타내는 블록도를 도시한다.
도 10은 하나 이상의 구현과 함께 사용될 수 있는 비디오 처리 시스템의 다른 예를 나타내는 블록도를 도시한다.
본 명세서에서 개시되는 설명은 본 발명의 원리들의 다양한 양태들을 구현하기 위한 예시적인 실시예들을 설명한다. 그러한 예들은 청구항들의 범위를 임의의 방식으로 한정하는 것으로 해석되지 않아야 한다.

본 발명의 원리들은 비디오 발췌를 이용하여 잡음을 제거하기 위한 방법 및 장치와 관련된다. 특히, 본 발명의 원리들에 따른 실시예들은 잡음 제거 프로세스 동안 소스 비디오 이미지로부터 추출된 비디오 발췌들을 이용하여 디코더에서의 잡음 제거 성능을 개선한다. 비디오 발췌들의 추출은 인코딩 전의 비디오 내의 이미지의 전처리의 일부일 수 있다. 소스 비디오 이미지는 임의의 인코딩 또는 압축이 수행되기 전의 그리고 통상적으로 예로서 수신기 디바이스로의 송신 전의 이미지이므로, 소스 비디오 이미지는 일반적으로 이미지의 인코딩되고 후속 디코딩된 버전보다 높은 품질을 가지며, 따라서 추출된 비디오 발췌도 이전에 인코딩 및 디코딩된 이미지로부터 추출된 비디오 발췌보다 높은 품질 레벨을 가질 것이다. 본 발명의 원리들에 따른 실시예들은 잡음 많은 디코딩 이미지로부터 추출된 발췌(들)가 잡음 제거에 사용되는 최신 기술의 방법들과 다르다.

본 발명의 원리들에 따른 잡음 제거의 도해가 도 2에 도시된다. 전통적인 코딩/디코딩 스킴이 하부 박스(202) 내에 도시되며, 여기서 비디오 이미지 X는 HEVC 또는 VP9와 같은 특정 코딩 시스템을 이용하여 인코딩(206)되고, 송신 채널을 통해 수신기로 송신된다. 인코딩을 일반적으로 이미지 신호 내의 중복을 제거하며, 3개의 주요 단계: 예측 변환 및 코딩을 포함한다. 디코더는 인코딩 신호를 수신하고, 일반적으로 인코딩 단계들의 역에 대응하는 다양한 디코딩 동작들(208)을 수행하여 출력 이미지 Y를 생성한다. 본 발명의 원리들에 따른 실시예들은 제안된 개선(204)에 의해 지시되는 바와 같이 잡음 제거 스킴을 전통적인 코딩/디코딩 스킴에 추가한다. 본 발명의 원리들에 따르면, 발췌 E는 고품질 소스 이미지 X로부터 추출(210)되고, 이어서 인코딩 이미지와 함께 송신하기 위해 인코딩(212)된다. 디코더 측에서, 인코딩된 발췌 E가 디코딩(214)되고, 디코딩 이미지 Y에 적용되어 잡음 제거된 이미지

를 제공한다. 본 실시예들에서와 같이 소스 이미지로부터 추출된 고품질 발췌의 포함은 비트스트림 내의 플래그들 또는 고레벨 신택스 요소들에 의해, 예로서 압축된 비디오 비트스트림의 헤더 필드 내의 1 비트 플래그를 이용하여 시그널링될 수 있다. 그러한 시그널링은 그러한 발췌가 잡음 제거 동작에 이용 가능하다는 것을 디코더에 알린다.

이미지로부터 발췌를 구성하기 위한 이전의 방법들이 알려져 있고, 본 실시예들과 관련하여 이용될 수 있다. 예로서, 하나의 적절한 방법이 2015년 7월 30일자로 공개된 Alain 등의 US 2015/0215629인 "Method and Apparatus for Constructing an Epitome from an Image"에 설명되어 있으며, 이 출원은 본 명세서에 참고로 포함된다. 그 안에서 설명되는 바와 같이, 방법은 텍스처 발췌 E 및 변환 맵 φ를 생성한다. 변환 맵은 발췌로부터 이미지를 재구성하기를 원하는 경우에만 필요하다. 본 발명의 원리들은 반드시 이미지를 재구성하기 위한 것이 아니라 잡음 제거를 위해 비디오 발췌를 이용하는 것과 관련되며, 따라서 본 발명의 원리들은 변환 맵이 비트스트림 내에 포함되는 경우에도 텍스처 발췌 E를 사용하는 것만을 필요로 한다.

비디오의 키 프레임들로부터의 발췌들의 추출이 도 6에 도시된다. 여기서는, 키 프레임들을 픽처들의 그룹(GOP)의 제1 프레임으로서 정의하였다. 다른 기준들이 키 프레임을 정의하는 데 사용될 수 있으며, 예로서 키 프레임들은 사용자에 의해 구성 파일에서 정의될 수 있다. GOP는 이 예에서 8개의 프레임으로 구성되며, 본 발명의 원리들에 따르면, GOP 내의 임의의 프레임은 주변 프레임들로부터 발췌들을 이용하여 잡음 제거될 수 있다. 예로서, 발췌 Ei가 GOPi의 I 프레임으로부터 생성되고, 이어서 발췌 Ei+1과 함께 GOPi의 B 프레임들의 잡음을 제거하는 데 사용된다. 그러나, 상이한 프레임들로부터 추출된 발췌들의 다른 배열들 또는 조합들이 상이한 프레임들 또는 프레임들의 조합에 적용되어 잡음 제거를 제공할 수 있다는 것이 명확하다.

잡음 제거를 수행하기 위해, NxN 중복 패치들을 고려한다. 복잡성을 제한하기 위해, 모든 중복 패치들이 처리되는 것이 아니라, 대신에 2개의 처리되는 패치 사이의 행들 및 열들 양자에서 단계 s를 정의한다. 중복 영역들 내의 픽셀들은 여러 패치에 속하며, 따라서 잡음 제거 프로세스의 종료시에 여러 개의 잡음 제거된 추정치를 갖는다. 이러한 추정치들은 최종 잡음 제거 값을 얻기 위해 평균된다. 방법은 다음 단계들: 1) 발췌 패치들과 같은 곳에 배치된 잡음 많은 패치들 중에서 현재 패치의 K-NN을 검색하는 단계; 2) 잡음 많은 K-NN 패치들과 발췌 내의 대응하는 고품질 패치들 사이의 잡음 제거 규칙을 학습하는 단계; 및 3) 현재 패치에 대해 이전에 학습된 잡음 제거 규칙을 적용하여 잡음 제거된 패치를 획득하는 단계를 포함한다. 여러 "잡음 제거 규칙"이 아래에서 더 설명된다.

발췌 기반 NLM

NLM을 이용하는 잡음 제거 방법이 설명된다. y를 잡음 제거될 현재 패치라고 한다. y_i, i = 1...K는 y의 K-NN이라는 점에 유의한다. 발췌로부터의 대응하는 고품질 패치들은 x_i, i = 1...K로 표시된다. y 및 그의 K-NN으로부터, 가중치들의 세트 w_i, i = 1...K를 계산한다. 잡음 제거된 추정 패치

가 K개의 고품질 패치의 선형 조합으로서 획득된다.

현재 패치(318)의 잡음을 제거하는 이러한 방법이 도 3에 도시된다. 현재 패치(318)는 잡음 많은 이미지 내에 위치하고 잡음을 제거하기를 원하는 임의의 패치이다. 단계 320에서, 예로서 완전 검색 블록 매칭(BM) 알고리즘을 이용하여 발췌와 같은 곳에 배치된 잡음 많은 패치들 중에서 K-NN을 발견한다. 대안으로서, Lecture Notes in Computer Science, vol. 6313 LNCS, pp. 29-4., 2010에서 발행된 "The generalized PatchMatch correspondence algorithm"이라는 명칭의 Barnes 등에 의한 논문에서 설명되는 일반화된 패치매치 알고리즘과 같은 근사 최근접 이웃(ANN) 검색 알고리즘이 이용될 수 있다. 여기서, 잡음 많은 이미지(302)는 잡음 제거 동작 전의 디코딩 이미지에 대응한다. 발췌들이 추출된 고품질 이미지(306)의 위치들에 대응하는 잡음 많은 이미지(302) 내의 위치들이 참조 번호 308 및 310으로 지시되며, 영역들(332, 334)에 대응한다. 패치들(312, 314, 316)이 잡음 많은 이미지의 발췌 위치들(308, 310) 내에 존재하며, 그들의 위치들은 고품질 발췌(332, 334)의 패치들(336, 338, 340)에 대응한다. 단계 330에서, 잡음 많은 K-NN 패치들(322, 324, 326)로부터 현재 패치(328)를 근사화하기 위한 가중치들을 학습한다. 가중치들을 계산하기 위해, NLM 알고리즘을 적용하고, y와 그의 K-NN, 즉 패치들(322, 324, 326) 사이의 거리에 따라 지수 가중치들을 사용한다.

라는 점에 유의하며, 여기서

는 y와 그의 NNyi 사이의 거리를 나타내고,

은 패치 내의 픽셀들의 수를 나타내고, 이어서 가중치들은 다음과 같이 계산되며,

여기서,

은 필터링의 정도로서 작용하는 파라미터이다. 오리지널 NLM 알고리즘에서,

은 잡음 레벨

에 따라 경험적으로 설정된다. 본 실시예에서는, 이러한 파라미터를 자동으로 적용시키기 위한 방법이 제안된다. 잡음 레벨

은 고품질 발췌 패치들과 대응하는 잡음 많은 패치들 간의 제곱 평균 에러로서 추정된다. 이어서,

을 설명할 수 있고, 여기서

는 사전 정의된 사용자 파라미터이다.

단계 344에서, 수학식 1을 이용하여 대응하는 K-NN 고품질 패치들(336, 338, 340)을 결합하여 잡음 제거된 패치(342)를 도출한다.

발췌 기반 BM3D

다른 실시예에서, 오리지널 BM3D에서와 같이 2개의 단계: 3D 변환된 패치 그룹들에 대해 수행되는 하드 임계화 단계 및 위너 필터링 단계로 구성되는 BM3D 기반 방법을 이용하는 것이 제안된다. 그러나, 본 발명의 원리들은 일반적으로 변환 계수들의 하드 임계화 또는 위너 필터링에 기초하는 임의의 방법에 적용될 수 있다.

하드 임계화

이 단계의 일 양태는 임계치를 선택하는 것이다. 오리지널 방법에서 그리고 유사한 알고리즘들에 대해, 임계치는 통상적으로 수동으로 그리고/또는 경험적으로 설정된다. 이 파라미터는 통상적으로 잡음 레벨에 따라 설정된다. 임계치가 너무 큰 경우, 많은 계수가 제거되며, 너무 많은 정보가 손실될 수 있다. 여기서, 임계치를 선택하기 위한 적응성 방법이 제안된다.

임계치를 선택하는 단계들이 도 4에 도시된다. 단계 400에서, 현재 패치(440)에 대해, 예로서 BM 알고리즘을 이용하여, 고품질 발췌(416, 424) 내의 패치들(420, 422, 424)과 같은 곳에 배치된 잡음 많은 이미지 패치들 중에서 K-NN 패치들(432, 434, 436)을 발견한다. 이 단계는 이전 실시예의 단계 320과 유사하다. 단계 402에서, K-NN 및 발췌로부터의 그들의 대응하는 고품질 패치들(420, 422, 424)이

및

로 각각 표시되는 3D 그룹들 내에 적층된다. 이어서, 단계 404에서, 양 그룹에 3D 변환 T_HT를 적용한다. 2개의 변환된 그룹으로부터, 단계 406에서 아래와 같이 계산되는 이진 3D 마스크

형태의 잡음 제거 규칙을 얻을 수 있다.

여기서,

는 3D 행렬 내의 인덱스를 나타낸다. 요소(440)에 대응하는 현재 패치 y의 잡음을 제거하기 위해, 단계 408에서,

에서, y의 가장 가까운 NN을 패치 y 자체로 대체하여

'로 표시되는 3D 그룹을 획득한다. 이어서, 단계 410에서, 변환 T_HT를

'에 적용하고, 이어서 임계화 규칙

를 적용하고, 마지막으로 단계 412에서, 역변환을 적용하여 잡음 제거된 그룹

를 획득한다.

여기서,

은 요소간 곱셈을 나타낸다. 이어서,

' 내의 y의 동일 위치에서

로부터 제1 단계 잡음 제거 패치

가 추출된다.

위너 필터링

BM3D 알고리즘의 제2 단계는 하드 임계화의 이전 단계에서 획득된 제1 잡음 제거 추정치가 오라클로서 사용되는 3D 변환 그룹의 위너 필터링이다. 최적의 위너 필터링은 소스 신호에 대한 지식에 의존하며, 따라서 오리지널 BM3D 알고리즘에서, 소스 신호는 하드 임계화 단계 후에 획득된 제1 잡음 제거 추정치에 의해 대체되며, 오라클로서 표시된다. 본 실시예에서는, 발췌로부터의 고품질 패치들을 위너 필터링을 위한 오라클로서 사용함으로써 이 단계를 적응시키는 것이 제안된다. 이 단계는 이전 단계에서 획득된 잡음 제거 추정치에 대해 수행되며, 잡음 많은 프레임들에 대해 직접 수행되지 않는다. 실시예의 단계들이 도 5에 도시된다.

단계 502에서, 먼저, 예로서 BM 알고리즘을 이용하여, 2개의 가장 가까운 키 프레임으로부터의 발췌 패치들(522, 524, 526)과 같은 곳에 위치하는 제1 추정 패치들 중에서 현재 패치

의 K-NN 패치들(536, 538, 540)을 검색한다. 단계 504에서, K-NN 패치들(536, 538, 540) 및 발췌(518, 520)로부터의 그들의 대응하는 고품질 패치들(522, 524, 526)이

및

로 표시되는 3D 그룹들 내에 적층된다. 이러한 그룹들은 이전 단계의 그룹

및

과 각각 다른데, 이는 K-NN이 상이하기 때문이다. 다음과 같이, 대응하는 잡음 패치들을 포함하는 제3 3D 그룹도 계산한다.

이어서, 단계 506에서, 양 그룹에 대해 3D 변환

을 적용한다. 이어서, 단계 508에서, 위너 필터 계수들을 다음과 같이 계산할 수 있다.

요소(542)에 대응하는 현재 패치

의 잡음을 제거하기 위해, 단계 510에서,

에서,

의 가장 가까운 NN을 패치

자체로 대체하여

로 표시되는 3D 그룹을 획득한다. 이어서, 단계 512에서,

에 변환

를 적용하고, 이어서 위너 필터링을 적용하고, 마지막으로 단계 514에서 역변환을 적용하여 잡음 제거된 그룹

을 획득한다.

이어서,

내의

의 동일 위치에서

으로부터 최종 잡음 제거 패치

이 추출된다.

본 발명의 원리들에 따르면, 잡음 제거는 고품질 소스 이미지로부터 생성된 하나 이상의 발췌를 이용하여 수행될 수 있고, 발췌들의 수 및 형상은 추출 방법 및 이미지 자체에 기초하여 상이할 수 있다. 게다가, 추출된 발췌들은 인코딩된 비디오 이미지와 함께 송신하기 위해 공지된 인코딩 방법들을 이용하여 인코딩될 수 있다. 인코딩 방법은 비디오 이미지들 자체에 대해 사용된 인코딩 방법들과 동일하거나 상이할 수 있다. 예로서, 도 7은 스케일링 가능한 압축 스킴, 예로서 SHVC를 이용하는 발췌들의 인코딩을 나타낸다. 도 7에서, 오리지널 이미지의 인코딩은 기본 계층으로서 간주되고, 추출된 발췌들은 향상 계층으로서 간주되며, 예로서 발췌 Ei는 GOPi의 I 프레임으로부터 추출되고, 발췌 Ei+1은 GOPi+1의 제1 B 프레임으로부터 추출되고, 기타 등등이다. 이러한 방식으로 소스 이미지들 및 추출된 발췌들을 코딩하는 것은 본 발명의 원리들이 기존 압축 표준에서의 스케일링 가능한 비디오 확장과 연계하여 쉽게 사용되는 것을 가능하게 한다.

도 8은 본 발명의 원리들의 예시적인 실시예들의 다양한 양태들을 구현할 수 있는 예시적인 시스템의 블록도를 나타낸다. 시스템(800)은 후술하는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 전술한 프로세스들을 수행하도록 구성된다. 그러한 디바이스들의 예는 개인용 컴퓨터, 랩탑 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱 박스, 디지털 텔레비전 수신기, 개인 비디오 기록 시스템, 접속된 가정용 기구 및 서버를 포함하지만 이에 한정되지 않는다. 시스템(800)은 도 8에 도시된 바와 같이 그리고 이 분야의 기술자들에게 공지된 바와 같이 전술한 예시적인 비디오 시스템을 구현하기 위해 통신 채널을 통해 다른 유사한 시스템들에 그리고 디스플레이에 통신 결합될 수 있다.

시스템(800)은 전술한 다양한 프로세스들을 구현하기 위해 내부에 로딩된 명령어들을 실행하도록 구성되는 적어도 하나의 프로세서(810)를 포함할 수 있다. 프로세서(810)는 내장 메모리, 입출력 인터페이스 및 이 분야에 공지된 바와 같은 다양한 다른 회로들을 포함할 수 있다. 시스템(800)은 적어도 하나의 메모리(820)(예로서, 휘발성 메모리 디바이스, 비휘발성 메모리 디바이스)도 포함할 수 있다. 시스템(800)은 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광 디스크 드라이브를 포함하지만 이에 한정되지 않는 비휘발성 메모리를 포함할 수 있는 저장 디바이스(840)를 더 포함할 수 있다. 저장 디바이스(840)는 비한정적인 예로서 내부 저장 디바이스, 부착형 저장 디바이스 및/또는 네트워크 액세스 가능 저장 디바이스를 포함할 수 있다. 시스템(800)은 데이터를 처리하여 인코딩된 비디오 또는 디코딩된 비디오를 제공하도록 구성되는 인코더/디코더 모듈(830)도 포함할 수 있다.

인코더/디코더 모듈(830)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스 내에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 양자를 포함할 수 있다. 게다가, 인코더/디코더 모듈(830)은 시스템(800)의 개별 요소로서 구현될 수 있거나, 이 분야의 기술자들에게 공지된 바와 같은 하드웨어와 소프트웨어의 조합으로서 프로세서들(810) 내에 통합될 수 있다. 인코더/디코더 모듈(830)은 예로서 통신 채널로부터 데이터를 또는 디바이스(800) 상에 배치된 비디오 카메라로부터 압축될 원시 비디오 데이터를 수신할 수 있다. 고품질 소스 이미지로부터의 발췌의 추출 및 수신된 발췌의 디코딩을 포함하는 본 발명의 원리들의 양태들은 인코더/디코더(830) 전의 또는 안의 전처리 동작들로서 구현될 수 있다.

전술한 다양한 프로세스들을 수행하기 위해 프로세서들(810) 상에 로딩될 프로그램 코드는 저장 디바이스(840) 내에 저장되고, 프로세서들(810)에 의한 실행을 위해 메모리(820) 상에 후속 로딩될 수 있다. 본 발명의 원리들의 예시적인 실시예들에 따르면, 프로세서(들)(810), 메모리(820), 저장 디바이스(840) 및 인코더/디코더 모듈(830) 중 하나 이상은 본 명세서에서 전술한 프로세스들의 수행 동안 HDR 비디오, 비트스트림, 방정식, 공식, 행렬, 변수, 연산 및 연산 논리를 포함하지만 이에 한정되지 않는 다양한 아이템들 중 하나 이상을 저장할 수 있다.

시스템(800)은 통신 채널(860)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(850)도 포함할 수 있다. 통신 인터페이스(850)는 통신 채널(860)로부터 데이터를 송신 및 수신하도록 구성되는 송수신기를 포함할 수 있지만 이에 한정되지 않는다. 통신 인터페이스는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 한정되지 않으며, 통신 채널은 유선 및/또는 무선 매체 내에 구현될 수 있다. 시스템(800)의 다양한 컴포넌트들은 내부 버스, 와이어 및 인쇄 회로 보드를 포함하지만 이에 한정되지 않는 다양한 적절한 접속을 이용하여 함께 접속되거나 통신 결합될 수 있다.

본 발명의 원리들에 따른 예시적인 실시예들은 프로세서(810)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해 또는 하드웨어와 소프트웨어의 조합에 의해 실행될 수 있다. 비한정적인 예로서, 본 발명의 원리들에 따른 예시적인 실시예들은 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(820)는 기술 환경에 적합한 임의의 타입일 수 있고, 비한정적인 예로서 광학 메모리 디바이스, 자기 메모리 디바이스, 반도체 기반 메모리 디바이스, 고정 메모리 및 이동식 메모리와 같은 임의의 적절한 데이터 저장 기술을 이용하여 구현될 수 있다. 프로세서(810)는 기술 환경에 적합한 임의의 타입일 수 있고, 비한정적인 예로서 마이크로프로세서, 범용 컴퓨터, 특수 목적 컴퓨터 및 다중 코어 아키텍처에 기초하는 프로세서 중 하나 이상을 포함할 수 있다.

도 9를 참조하면, 전술한 특징들 및 원리들이 적용될 수 있는 데이터 송신 시스템(900)이 도시된다. 데이터 송신 시스템(900)은 예로서 위성, 케이블, 전화 라인 또는 지상파 방송과 같은 임의의 다양한 매체를 이용하여 신호를 송신하기 위한 헤드엔드 또는 송신 시스템일 수 있다. 데이터 송신 시스템(900)은 저장할 신호를 제공하는 데에도 사용될 수 있다. 송신은 인터넷 또는 소정의 다른 네트워크를 통해 제공될 수 있다. 데이터 송신 시스템(900)은 예로서 비디오 콘텐츠 및 다른 콘텐츠를 생성 및 전달할 수 있다.

데이터 송신 시스템(900)은 프로세서(901)로부터 처리된 데이터 및 다른 정보를 수신한다. 일 구현에서, 프로세서(901)는 순방향 변환을 수행한다. 프로세서(901)는 예로서 비디오의 포맷을 지시하는 메타데이터를 900에 제공할 수도 있다. 프로세서(901)는 본 발명의 원리들에 따르면 인코더(902) 전에 전처리를 수행할 수도 있다. 전처리는 전술한 바와 같은 비디오 발췌들의 추출을 포함할 수 있다.

데이터 송신 시스템 또는 장치(900)는 다양한 실시예들에 따르면 인코더(902) 및 인코딩된 신호 및 비디오 발췌를 송신할 수 있는 송신기(904)를 포함한다. 인코더(902)는 프로세서(901)로부터 데이터 정보를 수신한다. 인코더(902)는 인코딩된 신호(들)를 생성한다.

인코더(902)는 예로서 다양한 정보를 수신하고 저장 및 송신을 위해 구조화된 포맷으로 조립하기 위한 조립 유닛을 포함하는 서브모듈들을 포함할 수 있다. 다양한 정보는 에로서 코딩된 또는 코딩되지 않은 비디오, 및 코딩된 또는 코딩되지 않은 요소들을 포함할 수 있다. 전술한 바와 같이, 인코더(902)는 후속 송신을 위해 동일하거나 상이한 인코딩 기술들을 이용하여 비디오 발췌 및 비디오 이미지들을 인코딩할 수 있다. 대안으로서, 비디오 발췌는 프로세서에 의해 비디오로부터 추출될 수 있고, 인코더(902) 전에 인코딩될 수 있다. 일부 구현들에서, 인코더(902)는 프로세서(901)를 포함하며, 따라서 프로세서(901)의 동작들을 수행한다.

송신기(904)는 인코더(902)로부터 인코딩된 신호(들)를 수신하고, 인코딩된 신호(들)를 하나 이상의 출력 신호 내에서 송신한다. 송신기(904)는 예로서 인코딩된 픽처들 및/또는 그와 관련된 정보를 나타내는 하나 이상의 비트스트림을 갖는 프로그램 신호를 송신하도록 적응될 수 있다. 통상적인 송신기들은 예로서 에러 정정 코딩을 제공하고, 신호 내의 데이터를 인터리빙하고, 신호 내의 에너지를 무작위화하고, 변조기(906)를 이용하여 신호를 하나 이상의 캐리어 상에 변조하는 것 중 하나 이상과 같은 기능들을 수행한다. 송신기(904)는 안테나(도시되지 않음)를 포함하거나 그와 인터페이스할 수 있다. 또한, 송신기(904)의 구현은 변조기(906)로 제한될 수 있다.

데이터 송신 시스템(900)은 저장 유닛(908)에도 통신 결합된다. 일 구현에서, 저장 유닛(908)은 인코더(902)에 결합되고, 인코더(902)로부터의 비디오 발췌를 포함하는 인코딩된 비트스트림을 저장한다. 다른 구현에서, 저장 유닛(908)은 송신기(904)에 결합되고, 송신기(904)로부터의 비트스트림을 저장한다. 송신기(904)로부터의 비트스트림은 예로서 송신기(904)에 의해 더 처리된 비디오 발췌들을 포함하는 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 저장 유닛(908)은 상이한 구현들에서 표준 DVD, 블루레이 디스크, 하드 드라이브 또는 소정의 다른 저장 디바이스 중 하나 이상이다.

도 10을 참조하면, 전술한 특징들 및 원리들이 적용될 수 있는 데이터 수신 시스템(1000)이 도시되어 있다. 데이터 수신 시스템(1000)은 저장 디바이스, 위성, 케이블, 전화 라인, 또는 지상파 방송과 같은 다양한 매체를 통해 신호들을 수신하도록 구성될 수 있다. 신호들은 인터넷 또는 소정의 다른 네트워크를 통해 수신될 수 있다.

데이터 수신 시스템(1000)은 예로서 셀폰, 컴퓨터, 셋톱 박스, 텔레비전, 또는 인코딩된 비디오를 수신하고, 예로서 표시를 위해(예로서, 사용자에게 표시하기 위해), 처리를 위해 또는 저장을 위해 디코딩된 비디오 신호를 제공하는 다른 디바이스일 수 있다. 따라서, 데이터 수신 시스템(1000)은 그의 출력을 예로서 텔레비전의 스크린, 컴퓨터 모니터, (저장, 처리 또는 표시를 위해) 컴퓨터, 또는 소정의 다른 저장, 처리 또는 디스플레이 디바이스에 제공할 수 있다.

데이터 수신 시스템(1000)은 데이터 정보를 수신 및 처리할 수 있다. 데이터 수신 시스템 또는 장치(1000)는 예로서 본원의 구현들에서 설명된 신호들과 같은 인코딩된 신호를 수신하기 위한 수신기(1002)를 포함한다. 수신기(1002)는 예로서 비트스트림을 제공하는 신호, 또는 도 9의 데이터 송신 시스템(900)으로부터 출력되는 신호를 수신할 수 있다.

수신기(1002)는 예를 들어 인코딩된 픽처를 나타내는 비디오 발췌들을 포함하는 복수의 비트스트림을 갖는 프로그램 신호를 수신하도록 적응될 수 있다. 통상적인 수신기들은 예를 들면 변조되고 인코딩된 데이터 신호를 수신하고, 하나 이상의 캐리어들로부터 복조기(1004)를 이용하여 데이터 신호를 복조하며, 신호 내의 에너지를 역무작위화하고, 신호 내의 데이터를 디인터리빙하며, 신호를 에러 정정 디코딩하는 것 중 하나 이상과 같은 기능들을 수행한다. 수신기(1002)는 안테나(도시되지 않음)를 포함하거나 그와 인터페이스할 수 있다. 수신기(1002)의 구현들은 복조기(1004)로 제한될 수 있다.

데이터 수신 시스템(1000)은 디코더(1006)를 포함한다. 수신기(1002)는 수신된 신호를 디코더(1006)에 제공한다. 수신기(1002)에 의해 디코더(1006)에 제공되는 신호는 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 디코더(1006)는 예를 들면 비디오 정보를 포함하는 디코딩된 비디오 신호들과 같은 디코딩된 신호를 출력한다. 본 발명의 원리들에 따르면, 디코더(1006)는 인코딩된 비디오 발췌를 비트스트림 내의 인코딩된 비디오 이미지들로부터 분리하고 처리하는 프리-프로세서를 포함할 수 있다. 인코딩된 비디오 발췌는 인코딩된 비디오 이미지와 동일하거나 상이한 디코딩 프로세스들을 이용하여 디코딩될 수 있다.

데이터 수신 시스템(1000) 또는 장치(1000)는 저장 유닛(1007)에도 통신 결합된다. 일 구현에서, 저장 유닛(1007)은 수신기(1002)에 결합되고, 수신기(1002)는 저장 유닛(1007)으로부터의 비트스트림에 액세스한다. 또 하나의 구현에서, 저장 유닛(1007)은 디코더(1006)에 결합되고, 디코더(1006)는 저장 유닛(1007)으로부터의 비트스트림에 액세스한다. 저장 유닛(1007)으로부터 액세스된 비트스트림은 상이한 구현들에서 하나 이상의 인코딩된 비트스트림들을 포함한다. 저장 유닛(1007)은 상이한 구현들에서 표준 DVD, 블루-레이 디스크, 하드 디스크, 또는 일부 다른 저장 디바이스 중 하나 이상이다.

디코더(1006)로부터의 출력 데이터는 일 구현에서 프로세서(1008)에 제공된다. 프로세서(1008)는 일 구현에서 후처리를 수행하도록 구성되는 프로세서이다. 후처리는 예로서 전술한 잡음 제거 동작들을 포함할 수 있다. 일부 구현들에서, 디코더(1006)는 프로세서(1008)를 포함하고, 따라서 프로세서(1008)의 동작들을 수행한다. 다른 구현들에서, 프로세서(1008)는 예를 들면 셋탑 박스 또는 텔레비전과 같은 다운스트림 디바이스의 일부이다.

본 명세서에서 설명되는 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 비록 단지 단일 형태의 구현과 관련하여 기술될지라도(예컨대, 단지 방법으로서 논의될지라도), 논의된 특징들의 구현은 다른 형태들(예컨대, 장치 또는 프로그램)으로 구현될 수 있다. 장치는 예컨대 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은 예컨대 컴퓨터, 마이크로프로세서, 집적회로 또는 프로그램 가능 논리 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예컨대 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예컨대 컴퓨터들, 셀 전화들, 휴대용/개인 휴대 단말기("PDA")들 및 최종 사용자들 간의 정보 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 발명의 원리들의 "일 실시예" 또는 "실시예" 또는 "하나의 구현" 또는 "구현"에 대한 참조뿐 아니라 그의 다른 변형들은, 실시예와 관련하여 설명된 특정한 특징, 구조, 특성 등이 본원의 원리들의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전반에 걸쳐 다양한 위치들에서 출현하는 표현 " 일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서"뿐만 아니라 임의의 다른 변형들의 양상들은 반드시 모두 동일한 실시예를 참조하는 것이 아니다.

게다가, 본원 또는 그의 특허청구범위는 다양한 정보들을 "결정하는 것"을 언급할 수 있다. 정보를 결정하는 것은 예를 들면, 정보를 추정하고, 정보를 계산하며, 정보를 예측하거나, 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본원 또는 그의 특허청구범위는 다양한 정보들을 "액세스하는 것"을 언급할 수 있다. 정보에 액세스하는 것은 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터의) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 처리하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

게다가, 본원 또는 그의 청구항들은 다양한 정보의 "수신"을 언급할 수 있다. 수신은 "액세스"와 같이 광범위한 용어인 것을 의도한다. 정보의 수신은 예를 들어, 정보에 액세스하는 것 또는 (예를 들어, 메모리로부터의) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신"은 통상적으로 예를 들어 정보의 저장, 정보의 처리, 정보의 송신, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측 또는 정보의 추정과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

이 분야의 기술자에게 명백한 바와 같이, 구현들은 예컨대 저장되거나 또는 송신될 수 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는 예컨대 방법을 수행하기 위한 명령들, 또는 기술된 구현들 중 하나의 구현에 의하여 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명되는 실시예의 비트스트림을 전달하도록 포맷팅될 수 있다. 이러한 신호는 예컨대 (예컨대, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은 예컨대 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

Claims

비디오 내의 이미지를 처리하는 방법으로서,
상기 이미지의 인코딩 버전을 디코딩하여 상기 이미지의 디코딩 버전을 생성하는 단계; 및
상기 이미지의 상기 디코딩 버전 및 상기 이미지와 관련된 텍스처 발췌(texture epitome)인 비디오 이미지 발췌를 이용하여 상기 이미지의 잡음 제거 버전을 생성하는 단계
를 포함하고,
상기 비디오 이미지 발췌는 상기 이미지의 소스 버전으로부터 추출되었고,
상기 생성하는 단계는
복수의 최근접 이웃 패치 중 적어도 하나에 대응하는, 상기 비디오 이미지 발췌 내에 위치하는 대응하는 패치들을 이용하여 현재 패치의 잡음을 제거하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 잡음을 제거하는 단계는 상기 비디오 이미지 발췌를 이용하여 잡음 제거의 비국지적 평균 방법(Non Local Means method)을 수행하는 단계를 포함하는 방법.
제2항에 있어서,
상기 잡음을 제거하는 단계는 상기 이미지 발췌 패치들과 상기 대응하는 잡음 많은 패치들 사이의 제곱 평균 에러로서 잡음 레벨을 추정함으로써 필터링 파라미터를 설정하는 단계를 포함하고, 상기 필터링 파라미터는 상기 추정된 잡음 레벨과 사전 정의된 사용자 파라미터의 곱으로서 설정되는 방법.
제1항에 있어서,
상기 잡음을 제거하는 단계는 하드 임계화 단계 및 위너 필터링 단계(Wiener filtering step)를 포함하는 방법을 이용하는 단계를 포함하는 방법.
제4항에 있어서,
상기 하드 임계화 단계는 잡음 많은 패치들의 그룹 및 그들의 대응하는 이미지 발췌 패치들에 대해 3D 변환을 수행하고; 상기 변환된 패치들 사이의 임계화 규칙을 결정하고; 잡음 많은 패치들의 상기 그룹의 패치 내에 상기 현재 패치를 대체하고; 상기 현재 패치를 포함하는 잡음 많은 패치들의 상기 그룹에 상기 임계화 규칙을 적용하고; 역변환을 수행하여 상기 현재 패치의 제1 잡음 제거 버전을 생성함으로써 임계치를 적응적으로 선택하는 단계를 포함하는 방법.
제5항에 있어서,
상기 현재 패치의 상기 제1 잡음 제거 버전은 상기 위너 필터링 단계에 대한 오라클(oracle)로서 사용되는 방법.
제1항에 있어서,
상기 비디오 이미지 발췌 및 상기 이미지의 상기 인코딩 버전은 통신 채널을 통해 수신된 비트스트림을 통해 액세스되며, 상기 비디오 이미지 발췌는 인코딩되고, 상기 비트스트림은 상기 비디오 이미지 발췌가 상기 이미지의 상기 인코딩 버전과 함께 포함된다는 것을 지시하는 플래그를 포함하는 방법.
비디오의 이미지를 처리하기 위한 장치로서,
상기 이미지의 인코딩 버전에 액세스하고, 상기 이미지의 디코딩 버전, 및 상기 이미지와 관련된 텍스처 발췌인 비디오 이미지 발췌를 생성하도록 구성되는 통신 인터페이스 - 상기 비디오 이미지 발췌는 상기 이미지의 소스 버전으로부터 추출됨 -;
상기 통신 인터페이스에 결합되고, 상기 비디오의 상기 디코딩된 버전 및 상기 비디오 이미지 발췌를 이용하여 상기 디코딩 이미지의 잡음 제거 버전을 포함하는 표시용 출력을 생성하도록 구성되는 프로세서
를 포함하고,
상기 이미지 발췌 및 상기 프로세서는 복수의 최근접 이웃 패치 중 적어도 하나에 대응하는, 상기 비디오 이미지 발췌 내에 위치하는 대응하는 패치들을 이용하여 현재 패치의 잡음을 제거함으로써 상기 디코딩 이미지의 잡음 제거 버전을 생성하도록 구성되는 장치.
제8항에 있어서,
상기 프로세서는 상기 비디오 이미지 발췌를 이용하여 잡음 제거의 비국지적 평균 방법을 수행하도록 구성되는 장치.
제8항에 있어서,
상기 프로세서는 상기 이미지 발췌 패치들과 상기 대응하는 잡음 많은 패치들 사이의 제곱 평균 에러로서 잡음 레벨을 추정함으로써 필터링 파라미터를 설정하도록 구성되고, 상기 필터링 파라미터는 상기 추정된 잡음 레벨과 사전 정의된 사용자 파라미터의 곱으로서 설정되는 장치.
제10항에 있어서,
상기 프로세서는 하드 임계화 단계 및 위너 필터링 단계를 포함하는 방법을 이용하여 잡음을 제거하도록 구성되는 장치.
제11항에 있어서,
상기 프로세서는 잡음 많은 패치들의 그룹 및 그들의 대응하는 이미지 발췌 패치들에 대해 3D 변환을 수행하고; 상기 변환된 패치들 사이의 임계화 규칙을 결정하고; 잡음 많은 패치들의 상기 그룹의 패치 내에 상기 현재 패치를 대체하고; 상기 현재 패치를 포함하는 잡음 많은 패치들의 상기 그룹에 상기 임계화 규칙을 적용하고; 역변환을 수행하여 상기 현재 패치의 제1 잡음 제거 버전을 생성하여 임계치를 적응적으로 선택함으로써 상기 하드 임계화 단계를 수행하도록 구성되는 장치.
제12항에 있어서,
상기 현재 패치의 상기 제1 잡음 제거 버전은 상기 위너 필터링 단계에 대한 오라클로서 사용되는 장치.