KR101097673B1

KR101097673B1 - 화질 개선을 위한 노이즈 검출 및 평가 기술

Info

Publication number: KR101097673B1
Application number: KR1020097020399A
Authority: KR
Inventors: 위-젠 치우
Original assignee: 인텔 코포레이션
Priority date: 2007-03-29
Filing date: 2008-03-25
Publication date: 2011-12-22
Also published as: WO2008121622A1; EP2375374B1; US20080239153A1; EP2375374A3; CN101647268A; EP2375374A2; EP2130364A1; EP2130364A4; KR20090115234A; CN101647268B; US7983501B2

Abstract

화상으로부터 노이즈를 필터링하는 방법은 화상 내의 선택된 화소의 집합으로부터의 정보에만 근거하여 화상 내의 선택된 화소의 집합에 대하여 화소 노이즈 메트릭의 집합을 결정하는 단계를 포함할 수 있다. 이 방법은 또한 관련된 화소가 에지에 위치하지 않거나 화상의 복잡한 영역에 위치하지 않는 화소 노이즈 메트릭의 집합에서 화소 노이즈 메트릭의 부분 집합을 유효하다고 지정할 수 있다. 화소 노이즈 메트릭의 유효한 부분 집합으로부터 블록 노이즈 메트릭의 집합이 산출될 수 있고, 블록 노이즈 메트릭의 집합으로부터 화상에 대한 글로벌 노이즈 메트릭이 확정될 수 있다. 필터링된 화상을 생성하기 위하여 글로벌 노이즈 메트릭을 사용하여 화상이 필터링될 수 있다.

Description

화질 개선을 위한 노이즈 검출 및 평가 기술{NOISE DETECTION AND ESTIMATION TECHNIQUES FOR PICTURE ENHANCEMENT}

청구된 본 발명의 구현은 일반적으로 노이즈 검출, 특히 이미지 및/또는 비디오의 노이즈 검출 및 평가에 관한 것이다.

이미지/비디오 어플리케이션의 분야에서, 화상 노이즈는 비디오 캡처, 전송, 및/또는 저장 등의 불완전한 처리에 의해 야기될 수 있는 바람직하지 않은 화상 모습을 말한다. 화상 노이즈의 시각적 아티팩트(artifact)를 감소시키는 것은 노이즈 필터링의 분야에서 중요한 과제이다. 일반적으로, 노이즈 필터링은 노이즈를 제거하는 동시에 매우 디테일한 콘텐츠를 흐릿하게 한다고 알려져 있다. 이 때문에, 확실하게 화상에 화상 노이즈가 시각적으로 뚜렷하다고 판단되지 않는 한 노이즈 필터링을 적용하지 않는 것이 바람직할 수 있다. 따라서, 일반적으로 노이즈 검출 장치에 있어서 노이즈 필터링의 적절하고 선택적인 적용이 필요하다.

노이즈 검출 장치는 노이즈의 발생과 노이즈 레벨 강도의 두 가지 정보를 생성할 수 있다. 노이즈 검출 장치는, 예컨대, 하나의 값을 사용할 수 있는데, 노이 즈가 존재하면 0이 아닌 값을 갖고, 노이즈가 존재하지 않으면 0 또는 널(null)의 값을 갖는다. 0이 아닌 값의 크기는 검출된 노이즈의 강도를 나타낼 수 있다.

이미지/비디오에서 노이즈를 검출하기 위한 여러 접근법이 제안되어 왔다. 이렇게 제안된 접근법 중 하나는, 노이즈의 양을 측정하기 위해 비활성 비디오 영역(블랭킹 라인)을 사용하는 것인데, 이는 이 영역의 신호 변동이 노이즈에서만 유래한다는 가정 하에 이루어진다. 이 접근법의 한 가지 문제는 비디오 처리의 초기 단계에서 블랭킹 라인이 어딘가에 삽입 또는 제거될 수 있는지 확신하지 못한다는 것이다. 따라서, 블랭킹 라인 내의 노이즈라고 가정되는 것은 사실상 노이즈가 아니거나, 이미지 또는 비디오 내의 노이즈에 해당되지 않는 어떤 이벤트일 수 있다.

제안된 또 다른 접근법은, 최소의 움직임 검출 출력을 갖는 영역은 움직임이 없고, 노이즈에 기인하는 일시적인 차이만 있다고 하는 개념에 근거한 움직임 검출법이다. 이러한 움직임 검출 접근법의 문제는, 장면 전환의 기간에 대한 신뢰할만한 움직임 검출 정보가 없다는 것일 수 있다. 또한, 제안된 움직임 검출 접근법에 관계된 산출 및 메모리의 복잡도는 상대적으로 비경제적이다.

이미지/비디오에서 노이즈를 검출하기 위하여 제안된 이러한 접근법들은, 화상 내의 실제 노이즈를 정확히 반영하지 않을 수 있고, 장면 전환 중에 불완전하게 행해질 수 있다. 또한, 제안된 몇몇 접근법들은 필요한 회로 및/또는 연관된 일시적인 레이턴시(latency)의 관점에서 비용 효율이 높지 않을 수 있다.

본 명세서에 포함되어 본 명세서의 일부를 구성하고 있는 첨부 도면은, 본 발명의 원리와 일치하는 하나 이상의 실시예를 나타내고, 자세한 서술과 함께 그러한 실시예를 설명한다. 도면이 확대 혹은 축소될 필요는 없고, 본 발명의 원리를 나타내는 것에 중점을 둔다. 도면에서,

도 1은 실시예에 따른 노이즈 필터링 시스템의 예를 나타낸다.

도 2는 도 1의 노이즈 검출기의 예를 나타낸다.

도 3은 노이즈를 검출하고, 화상에 대한 글로벌 노이즈 메트릭(global noise metric)을 결정하는 방법을 나타낸다.

이하의 상세한 설명은 첨부 도면을 참조한다. 같거나 유사한 구성 요소를 식별하기 위해 같은 참조 번호가 다른 도면에서 사용될 수 있다. 이하의 설명에서, 본 발명의 제한이 아닌 설명을 목적으로, 청구된 본 발명의 다양한 국면의 완전한 이해를 제공하기 위해, 특정 구조, 아키텍처, 인터페이스, 기술 등의 상세 정보가 설명된다. 하지만, 본 명세서의 공개로 이득을 갖는 기술 분야에 정통한 자들에게는, 청구된 본 발명의 다양한 국면이 이들 상세한 설명으로부터 벗어나는 다른 예로서 실시될 수 있음이 명백할 것이다. 경우에 따라서는, 불필요한 설명으로 본 발명의 설명을 불명확하게 하지 않도록 잘 알려진 장치, 회로, 및 방법의 설명은 생략된다.

도 1은 본 발명의 원리와 일치하는 한 실시예에 따른 노이즈 필터링 시스템(100)의 예를 나타내는 도면이다. 시스템(100)은 비디오 소스(110), 노이즈 검출기(120), 및 노이즈 필터(130)를 포함할 수 있다. 각각의 구성 요소들(110~130)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 통해서 구현될 수 있다. 시스템(100)은 이미지 및/또는 비디오에 대한 노이즈 필터링 시스템으로서의 그 동작에 부수하는 추가적인 로직, 프로세서, 노이즈가 필터링된 데이터를 나타내는 디스플레이 등과 같은 다른 구성 요소를 더 포함할 수 있다. 설명을 쉽고 간결하게 하기 위해 이러한 추가적인 구성 요소를 도 1에 명시하지 않더라도, 이들은 노이즈 필터링 시스템(100)에 존재할 수 있다.

비디오 소스(110)는 비디오 정보의 소스로서 작동하는 모든 형태의 저장 매체 또는 전송 매체를 포함할 수 있다. 예컨대, 비디오 소스(110)는 비디오 정보의 스트림 내에 하나 이상의 이미지 또는 프레임을 일시적으로 저장하기 위해 프레임 버퍼 등의 메모리를 포함할 수 있다. 더 설명하는 바와 같이, 몇몇 실시예에서는 보다 많은 이미지 또는 프레임을 저장할 수도 있지만, 비디오 소스(110)는 노이즈 검출기(120)가 동작하기 위한 비디오 정보의 하나의 이미지 또는 프레임만 저장하면 된다. 비디오 소스(110)의 비디오 정보는 이미 알려져 있거나 이후에 개발될, 예컨대, MPEG-1, MPEG-2, MPEG-4, H.264 VC1, 및/또는 AVS(Advanced Video System) 포맷을 포함하지만 이에 제한되지는 않는 비디오 부호화 방안 또는 표준으로 부호화될 수 있다.

또한, 비디오 소스(110)는 비디오 정보의 소스로서 설명되었지만, 몇몇 실시예에서 이미지 또는 화상의 순차적인 시퀀스를 포함할 수 있다. 비디오가 예측적으로 부호화되는 몇몇 실시예에 있어서, 비디오 소스(110) 또는 노이즈 검출기(120)는 다른 차분 부호화된 정보(예컨대, P 프레임 및/또는 B 프레임)로부터 실제 이미지(예컨대, I 프레임)를 추출할 수 있다.

노이즈 검출기(120)는 화상 또는 비디오 데이터의 이미지 또는 프레임을 조사하기 위해, 또한 전체 이미지 또는 프레임에 대한 글로벌 노이즈 측정값을 결정하기 위해 마련될 수 있다. 노이즈 검출기(120)는 노이즈 필터(130)에 송부할 노이즈 측정값을 결정하기 위해 한 이미지 내의 화소만 조사하면 되지만, 노이즈 검출기(120)는, 현재의 이미지에 대한 글로벌 노이즈 측정값을 일시적으로 스무딩(smoothing) 또는 평균화하기 위해, 예컨대, 하나 이상의 이전 노이즈 측정값을 사용할 수 있다. 노이즈 필터(130)가 노이즈로부터 시각적 아티팩트를 적당히 감소시키거나 제거할 수 있도록, 노이즈 필터(130)로의 노이즈 측정값 출력은 이미지 내의 노이즈의 발생 또는 비발생을 나타내며, 발생한 경우, 그러한 노이즈의 레벨을 나타낼 수 있다.

도 2는 노이즈 검출기(120)의 예를 나타낸다. 노이즈 검출기(120)는 에지 검출기(210), 화소 추정기(220), 노이즈 메트릭(noise metric: NM) 산출기(230), 콘텐츠 복잡도 모듈(240), 화소 NM 모듈(250), 블록 NM 모듈(260), 글로벌 화상 NM 모듈(270), 이전 글로벌 화상 NM값(280), 일시적 글로벌 화상 노이즈 갱신기(290)를 포함할 수 있다. 각각의 구성 요소들(210~290)들은 설명의 편의상 따로따로 나타내지만, 몇몇 실시예에서, 그들 각각의 기능성은 하나 이상의 모듈로 조합될 수 있다. 구성 요소들(210~290)은 회로, 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 통해서 구현될 수 있다.

또한, 도 2에 나타내는 바와 같이, 구성 요소들(210~250)은 화소 레벨 동작을 수행할 수 있고, 구성 요소(260)는 블록 레벨 동작을 수행할 수 있고, 구성 요소들(270~290)은 화상 레벨 동작을 수행할 수 있다. 예컨대, 구성 요소들(210~250)은 블록 내의 화소의 일부(예컨대, 블록 내의 화소의 총수는 서브샘플링(subsample)될 수 있음) 또는 전체에 대하여 화소 NM을 산출할 수 있다. 마찬가지로, 구성 요소(260)은 화상 또는 이미지 내의 블록의 일부(예컨대, 화상 내의 블록의 총수는 서브샘플링될 수 있음) 또는 전체에 대하여 블록 NM을 산출할 수 있다. 글로벌 화상 NM 모듈(270)은 화상 내의 블록의 수보다 적은 사용 가능 블록 NM으로부터 글로벌 화상 NM을 산출할 수 있다. 이들을 이하에 보다 상세히 설명한다.

화소 레벨 동작

에지 검출기(210)는 대상 화소가 에지에 있거나 에지에 충분히 가까이 있는지 검출하는 기능을 할 수 있다. 이러한 에지 검출 정보는 대상 화소와 관련된 노이즈를 포함시키거나 배제시키기 위해 화소 NM 모듈(250)에 의해 콘텐츠 분석에 사용될 수 있다. 에지 검출기(210)에 의해, 캐니(Canny) 에지 알고리즘, 1차 도함수 에지 검출, 소벨(Sobel) 에지 알고리즘 등을 포함하지만 이러한 것으로 제한되지는 않는 다양한 에지 검출 방안이 채용될 수 있다.

한 도시예로서, 에지 검출기(210)는 소벨 에지 연산자를 네 방향까지 적용할 수 있다. 한 구체예로서, 대상 화소 주변의 3x3 인접부 NH9(x)는 이하의 가중치 중 하나와 컨벌루션될 수 있다.

E_h는 수평 방향으로, E_v는 수직 방향으로, E_P45는 한 방향의 45도 각, E_P45는 다른 방향의 45도 각으로 가중하는 것에 유의해야 한다.

대상 화소 x에 대하여 에지 검출기(210)에 의해 생성되는 에지 메트릭(EM)은 아래와 같은 3x3 이웃 화소들(neighborhood) NH9(x)와 하나 이상의 상기 가중치와의 컨벌루션으로서 공식화된다(몇몇 실시예에서).

몇몇 실시예에서, 에지 검출기(210)에 의한 두 방향 E_v 및 E_h만의 사용은 여러 애플리케이션에 대하여 충분할 수 있다. 따라서, EM(x)에 대한 상기 식의 마지막 두 항은 몇몇 실시예에서는 산출될 필요가 없다. 마찬가지로, 다른 실시예에서 다른 두 방향 E_P45 및 E_N45의 사용만으로 충분할 수 있다. 45도에서의 검출을 수평 및 수직 방향에 추가하는 것은 에지 검출을 더 향상시키지만, 추가적인 계산의 복잡성도 커진다. 결국, 에지 검출기(210)는 화소 NM 모듈(250)에 의한 이후의 처리를 위해 대상 화소 x에 대한 에지 메트릭 EM(x)를 출력할 수 있다.

화소 추정기(220)는 대상 화소에 대해 노이즈가 없는 값을 추정하도록 동작할 수 있다. 일반적으로, 화소 추정기(220)는 대상 화소 및 그 이웃 화소들의 적어도 일부에 근거한 몇몇 형태의 스무딩(smoothing)을 수행할 수 있다. 예컨대, 화소 추정기(220)는 중간값(median) 필터, 평균값(mean) 필터(화소의 3x3, 4x4, 5x5 등의 모든 이웃 화소들에서), 또는 현재 화소와 적어도 일부의 그 이웃 화소와의 몇몇 가중된 조합을 포함할 수 있다. 대상 화소 x의 노이즈가 없는 값 또는 “참”값을 추정하기 위해 화소 추정기(220)에 대하여 다른 방안들이 또한 가능하며 고려될 수 있다.

몇몇 실시예에서, 화소 추정기(220)는 3x3 중간값 필터를 포함할 수 있다. 대상 화소 x를 고려하면, x의 3x3 이웃 화소들은 NH9(x)로 정의되고 표시될 수 있다(상기한 바와 같이, 구성 요소 210 및 220은 반드시 같거나 유사한 이웃 화소들을 사용할 필요가 없다). 화소 추정기(220)는 NH9(x)의 노이즈가 없는 화소값으로서 “median(x)”로 표시되는 NH9(x)의 중간값을 사용할 수 있다. 몇몇 실시예에서, 다른 예와 같이, 4개의 근접한 이웃 화소들(예컨대, 상, 하, 좌, 우로) 및 대상 화소 x에 근거한 중간값 5 필터가 좋은 결과와 함께 사용될 수 있다. 결국, 화소 추정기(220)는 노이즈가 없는 화소 x(예컨대, 몇몇 실시예의 median(x))에 대한 추정치를 NM 산출기(230)에 출력할 수 있다.

NM 산출기(230)는 대상 화소 x에 대한 노이즈 메트릭(NM)을 생성할 수 있다. NM(x)를 생성하기 위해 노이즈 메트릭 방안의 알려진 모든 형태(예컨대, 1차(차분), 2차(차분의 제곱) 등)가 NM 산출기(230)에 의해 사용될 수 있다.

몇몇 실시예에서, NM 산출기(230)는 추정기(220)에서 추정된 값(예컨대, median(x))과 NH9(x) 내의 모든 화소 y 사이의 절대차의 합계로서 NM을 생성할 수 있다. 이는 이하와 같이 표시된다.

하지만, NM(x)를 산출하기 위해 사용되는 차분에 대해 사용되는 이웃 화소들은 검출기(210) 및/또는 추정기(220)에 의해 사용되는 이웃 화소들과 반드시 같을 필요는 없음에 유의해야 한다. 그런데, 3x3(또는 더 작은 것도 가능) 이웃 화소들은, 양호한 결과를 생성하기에 충분히 안정적이면서도 주어진 기능을 행하는 데 보다 적은 리소스를 소비할 수 있다. NM 산출기(230)는 NM(x)를 노이즈 콘텐츠 복잡도 모듈(240) 및 화소 NM 모듈(250)의 양쪽에 출력할 수 있다.

콘텐츠 복잡도 모듈(240)은 대상 화소가 존재하는 영역 또는 이웃 화소가 “복잡한지”(예컨대, 상대적으로 큰 값의 범위를 갖는지) 결정하도록 기능할 수 있다. 이러한 복잡 영역의 정보는 대상 화소와 관련된 노이즈를 포함시키거나 배제하기 위해 화소 NM 모듈(250)에 의해 콘텐츠 분석에 사용될 수 있다. 화소 x가 존재하는 영역이 복잡한지 결정하기 위해 모듈(240)에 의해 차분, 최소값, 최대값, 분산 등을 포함하여 다양한 방안이 채용될 수 있다.

한 도시예로서, Noise_Max 및 Noise_Min 등의 NM과, median(x) 및 NH(x) 내의 모든 화소 y 사이의 절대 차분의 최대 및 최소값을 계산하는 과정 중에, 콘텐츠 복잡도 모듈(240)은 이하의 수학식을 사용할 수 있다.

하지만, 몇몇 실시예에서, 콘텐츠 복잡도 모듈(240)은 Noise_Max(x)=Maximum{y} 및 Noise_Min(x)=Minimum{y} 등의 보다 간단한 수학식을 사용할 수 있다. 차분 형태, 분산 형태 또는 극값 형태의 값에 대한 다른 계산도 가능하다.

영역이 “복잡한지”에 대한 측정값인, Noise_Max_Min은 Noise_Max와 Noise_Min 사이의 차분값으로서 콘텐츠 복잡도 모듈(240)에 의해 이하와 같이 결정될 수 있다.

특정 화소에 대하여 산출기(230)로부터의 NM(x)를 사용할지 결정하기 위하여, 콘텐츠 복잡도 모듈(240)은 가능한 한 에지 검출기(210)로부터의 에지 메트릭 EM(x)와 함께, 화소 NM 모듈(250)에 의해 사용되는 대상 화소 x에 대한 Noise_Max_Min(x)를 출력할 수 있다.

화소 NM 모듈(250)은 대상 화소 x에 대하여 NM 산출기(230)로부터 공급된 NM(x)를 사용할지 여부를 결정하도록 동작할 수 있다. 일반적으로, 화소 NM 모듈(250)은 NM이 양호하다고(받아들일 수 있다고) 판단하여 통과시키거나, 화소 NM 모듈(250)은 NM이 불량하다고(받아들일 수 없다고) 판단하여 실격시킬 수 있다. 예컨대, 화소 NM 모듈(250)은 받아들일 수 없다고 확인된 NM(x)값에 극한값을 할당할 수 있다.

화소 NM 모듈(250)은, 1) 에지가 존재하는지 여부, 및/또한 2) 화소가 복잡 영역에 있는지 여부에 따라, 산출된 NM이 화소 x에 대한 양호한 후보 노이즈 측정값인 것을 보증하기 위해 검사를 행할 수 있다. 몇몇 실시예에서, 화소 NM 모듈(250)은 에지 검출 또는 복잡 영역 검출에 근거하여 화소의 NM값을 배제할지 여부를 결정하기 위해 하나 이상의 임계값을 사용할 수 있다.

예컨대, 몇몇 실시예에서, 이하의 조건을 만족한다면, 화소 NM 모듈(250)은 NM이 양호하다고(받아들일 수 있다고) 판단하여 통과시킬 수 있다.

EM_th 및 ND_th는 두 개의 미리 결정된 값일 수 있고, 몇몇 실시예에서 이들은 어플리케이션의 다른 요구에 근거하여 프로그램될 수 있다. 몇몇 실시예에서, EM_th 및 ND_th는 명백하게 몇 번의 간단한 시도를 통해 결정될 수 있다. 몇몇 실시예에서, EM_th 및 ND_th는 이전(예컨대, 바로 이전) 화상으로부터의 NM에 근거하여 변경될 수 있다. 예컨대, 이전 화상으로부터의 NM이 상대적으로 크면, EM_th 및 ND_th는 현재의 화상에 대하여 보다 큰 경향이 있을 수 있다. 그러한 실시예에서는, 하나 이상의 이전 노이즈 메트릭에 근거하여 EM_th 및 ND_th를 특정하기 위해 관계가 설정될 수 있다(예컨대, 일차 방정식).

화소 NM 모듈(250) 내에서 대상 화소 x가 상기 조건의 양쪽을 만족시키면(논리 AND에 기인하여), 화소 x는 노이즈 측정 화소에 대한 양호한 후보로 여겨질 수 있다. 화소의 노이즈 메트릭(NM)은 양호한 값으로 여겨질 수 있고, 블록 NM 모듈(260)에 의해 이어지는 처리에서 저장 및/또는 사용될 수 있다.

도 2를 참조하여, 수평 점선 내의 구성 요소들(210~250)은, 검토 중인 블록 내의 화소의 각각에 대하여 NM(예컨대, 양호한/유효한 값 또는 무효값)을 결정하기 위한 동작을 행할 수 있다. 하지만, 몇몇 실시예에서, 블록은 서브샘플링될 수 있고, 그러한 서브샘플링된 경우에 블록 내의 모든 화소에 대하여 화소 레벨 동작이 반드시 행해지지 않아도 된다. 화소 레벨 동작으로부터의 유효한 또는 양호한 NM은 블록 레벨 처리를 위하여 블록 NM 모듈(260)에 저장 및/또는 송신될 수 있다.

블록 레벨 동작

모든 양호한/유효한 화소 NM으로부터 블록 레벨 노이즈 메트릭(BNM)을 결정하기 위해 블록 NM 모듈(260)이 배열될 수 있다. 유효/양호하지 않은 화소 NM은 식별되어, 블록 NM 모듈(260)에 의해 사용되지 않아도 무방하다. 몇몇 실시예에서 블록의 크기는 16x8 화소일 수 있다. 하지만, 블록 크기는 관련된 아키텍처의 요건 및/또는 관련된 어플리케이션의 요구에 근거하여 변경될 수 있다.

몇몇 실시예에서, 블록 NM 모듈(260)은 블록 내의 양호한 후보 노이즈 측정 화소의 화소 노이즈 메트릭의 최소값으로서 블록 레벨 노이즈 메트릭(BNM)을 결정할 수 있다. 이 관계는 이하와 같이 표현될 수 있다.

블록 노이즈 메트릭 BNM은 블록 내의 일부 또는 모든 화소에 근거하여 표현된다. 또, 블록 내의 화소의 서브샘플링은 실시예의 복잡도를 감소시키기 위해 몇몇 실시예에 사용될 수 있다. 블록 내의 어떤 화소도 에지 검출 임계값 EM_th 및 복잡 영역 임계값 ND_th에 포함되지 않는다면, BNM은 그 블록에 대한 극단적인 값(extreme value)일 수 있음을 유의해야한다.

도 2를 참조하여, 점선 박스 내의 블록 NM 모듈(260)은 검토 중인 화상 내의 블록의 각각에 대하여 BNM(예컨대, 양호한/유효한 값 또는 무효값)을 결정하기 위해 그 동작을 행할 수 있다. 하지만, 몇몇 실시예에서, 화상은 또한 서브샘플링될 수 있고, 그러한 서브샘플링된 경우에 화상 또는 이미지 내의 모든 블록에 대하여 블록 레벨 동작이 반드시 행해지지 않아도 무방하다. 블록 레벨 동작으로부터의 유효 또는 양호한 BNM은 화상 레벨 처리를 위해 글로벌 화상 NM 모듈(270)에 저장 및/또는 송신될 수 있다.

화상 레벨 동작

글로벌 화상 NM 모듈(270)은 유효 또는 양호한 BNM에 근거하여 전체 화상 또는 이미지에 대한 NM을 형성할 수 있다. 화상 내의 블록에 대한 BNM을 모으기 위한 다양한 방안이 가능하다. 예컨대, 몇몇 실시예에서, 글로벌 화상 NM 모듈(270)은 화상 내의 모든 블록에 대한 BNM의 평균으로서 글로벌 화상 노이즈 메트릭(GPNM)을 산출할 수 있다. 그 대신 몇몇 실시예에서, 글로벌 화상 NM 모듈(270)이 BNM의 히스토그램 데이터를 모아, BNM 히스토그램으로부터 GPNM을 결정하기 위해 사용자 정의 퍼센티지값을 사용할 수 있다.

글로벌 화상 NM 모듈(270)은 현재 이미지에 대한 GPNM을 일시적 글로벌 화상 노이즈 갱신기(290)에 출력할 수 있다. 블록 레벨 결정과 유사하게, 글로벌 화상 NM 모듈(270)은 양호/유효한 BNM값을 갖는 화상 내에 블록이 없는 경우에 직면할 수 있다. 이러한 경우에, 글로벌 화상 NM 모듈(270)은 특정 실시예를 위해 필요에 따라 극단적인 값(extreme value)을 일시적 글로벌 화상 노이즈 갱신기(290)에 출력할 수 있다. 어떤 경우라도, 노이즈 검출기(120)는, 화소에 대한 불량 또는 무효한 NM, 불량 또는 무효한 BNM, 및/또는 불량 또는 무효한 GPNM을 처리하기 위한 메커니즘을 적절하게 가질 수 있다.

발명의 상세한 설명으로부터 명백하지만, 구성 요소들(210~270)에 의한 기술이 실제 이미지 데이터로부터 GPNM을 생성하여, 이미지의 화상 또는 비디오 스트림 내의 실제 노이즈에 대한 블랭킹 라인 내의 노이즈의 충실도 또는 일치에 관한 관계를 회피할 수 있음을 유의해야한다. 또한, 다른 이미지(움직임 검출 기술의 경우에서와 같이)에 상관없이 구성 요소들(210~270)의 동작이 이미지에 충분이 행해질 수 있고, 다른 방안에 관련된 레이턴시 관계를 회피할 수 있다.

일시적 글로벌 화상 노이즈 갱신기(290)는 화상에서 화상으로 갑자기 변하는 노이즈 보상으로 인한 일시적 지터(jitter) 또는 플리커를 회피하기 위해 복수의 화상 사이에서 산출된 GPNM을 스무딩하도록 동작할 수 있다. 일시적 글로벌 화상 노이즈 갱신기(290)는 저장된 이전 글로벌 화상 NM값(280)(저장된 TGPNM(STGPNM)이라고 할 수도 있음)에 근거하여 일시적 글로벌 화상 노이즈 메트릭(TGPNM)을 생성할 수 있다. 몇몇 실시예에서, 이전 글로벌 화상 NM값(280)은 바로 앞의 화상 또는 프레임으로부터의 GPNM을 포함할 수 있지만, 이전 글로벌 NM값(280)은 이에 한정되지 않는다.

몇몇 실시예에서, 일시적 글로벌 화상 노이즈 갱신기(290)는 모듈(270)로부터의 STGPNM(280) 및 GPNM을 사용하여 이하의 식에 따라 현재 화상에 대한 TGPNM을 계산할 수 있다.

값 C는 사용자 정의 상수이고, 특정 어플리케이션의 요구에 근거하여 프로그램될 수 있다. 갱신기(290)는 화상에 대한 노이즈 검출기(120)로부터 노이즈 필터(130)로의 최후의 글로벌 노이즈 메트릭 출력으로서 TGPNM을 출력할 수 있다. 몇몇 실시예에서 미리 결정된 값(예컨대, 제로의 값)은 필터(130)에 노이즈 필터링을 행하지 않도록 지시할 수 있고, 한편 다른(예컨대, 제로가 아닌) 값은 필터(130)에 당해 화상의 노이즈를 적당히 필터링하도록 지시할 수 있다.

도 1을 참조하여, 노이즈 필터(130)는 화상 또는 이미지에 대한 글로벌 NM을 수신하고 그에 따라 노이즈를 제거하도록 배열된 모든 필터를 포함할 수 있다. 검출기(120)의 구성 요소들(210~290)의 동작으로 인해, 필터(130)는 화상 또는 이미지 내의 에지 및/또는 복잡 영역의 존재 하에 동작하면서 이미지 내에서 노이즈로 혼동되는 미세한 부분을 상당히 제거하지 않을 수 있다. 몇몇 실시예에서, 필터(130)는 단일 NM에 근거하여 노이즈를 제거하기 위해 조절 가능한 노이즈 필터를 포함할 수 있다. 몇몇 실시예에서, 필터(130)는 검출기(120)의 출력에 근거하여 로버스트 노이즈 필터링을 행할 수 있다.

도 1에 명백하게 도시되어 있지는 않지만, 필터(130)를 통한 필터링 후에, 비디오 데이터(적어도 약간의 노이즈가 제거된)가 디스플레이에 표시 또는 버퍼링될 수 있다.

도 3은 노이즈를 검출하고 화상에 대한 글로벌 노이즈 메트릭을 결정하는 방법(300)을 나타낸다. 설명의 편의상 도 1 및/또는 도 2에 관하여 설명했지만, 도 3에 나타낸 방안은 이들 다른 도면의 특별한 부분에 제한되도록 해석되어서는 안 된다.

방법은 특정 화소에 대한 노이즈가 없는 값을 추정하는 화소 추정기(220)로부터 시작될 수 있다(단계 310). 상술한 바와 같이, 그러한 추정은 어느 정도의 스무딩 또는 필터링 또는 대상 화소와 그 이웃 화소로부터의 화소값의 조합을 포함할 수 있다. 몇몇 실시예에서, 단계 310은 적어도 4개의 이웃 화소의 중간값 필터에 근거하여 노이즈가 없는 추정을 결정할 수 있지만, 단계 310은 이 특정 사항에 제한되지 않는다.

처리는 화소에 대한 노이즈 메트릭을 산출하는 NM 산출기(230)에서 계속될 수 있다(단계 320). 몇몇 실시예에서, NM 산출기(230)는 단계 310에서 추정되는 노이즈가 없는 값과 선택된 주변 화소값 사이의 제 1 또는 제 2 차수 차분에 근거하여 화소 NM을 생성할 수 있다. 몇몇 실시예에서, 화소 NM은 추정된 노이즈가 없는 값과 약 4~9개의 그 가장 가까운 이웃 화소 사이의 절대차의 합일 수 있다. 단계 320에서 사용된 주변 화소의 이웃 화소가 단계 310에서 사용된 이웃 화소와 같거나 유사할 수 있지만, 그럴 필요는 없다.

방법(300)은, 문제가 되어 있는 화소가 에지에 충분히 가깝거나 충분히 복잡한 화상 영역에 있다면, 단계 320에서 산출된 화소 NM을 실격시키는 화소 NM 모듈(250)에서 계속될 수 있다(단계 330). 단계 330에서 화소 NM 모듈(250)은, 결정을 촉진하기 위해 임계값(예컨대, EM_th 및 ND_th)과 함께 에지 검출기(210)로부터의 에지 검출 결과 및/또는 노이즈 콘텐츠 복잡도 모듈(240)로부터의 결과를 사용할 수 있다. 이들 임계값은 실제로는 (예컨대, 이전 화소로부터) 프로그램되거나 및/또는 동적일 수 있다.

단계 330에서 화소 NM값이 실격되지 않으면(즉, 유효하면), 다음에 사용하기 위해 단계 350에서 저장될 수 있다. 단계 330에서 화소 NM이 실격되면, 이후의 처리에서 사용되지 않을 수 있다.

도 2는 화소 NM 모듈(250)이 화소 NM을 실격시키기 위해 에지 검출 및 복잡 영역 양쪽을 사용할 수 있는 것을 나타내지만, 몇몇 실시예에서 단계 330은 이들 중 하나만을 사용할 수 있다. 그러한 실시예에서, 단계 330에서 화소 NM 모듈(250)은 에지 검출기(210)와 노이즈 콘텐츠 복잡도 모듈(240) 중 하나로부터의 결과를 수신할 수 있고, 실격 결정을 하기 위해 단일 임계값(예컨대, EM_th 및 ND_th)을 사용할 수 있다.

NM이 산출되어야 할 블록에 보다 많은 화소가 있다면, 블록 내에서 단계 310~330이 다음 화소에 대하여 반복될 수 있다(단계 340). 블록이 서브샘플링되지 않는다면, 그러한 결정은 블록 내의 모든 화소에 화소 NM을 초래할 수 있다. 블록이 서브샘플링된다면, 블록 내의 모든 대표 화소(예컨대, 2번째마다, 3번째마다 등)에 화소 NM을 초래할 수 있다. 일단 모든 유효 화소 NM이 결정되면, 처리는 단계 350에서 계속될 수 있다.

블록 NM 모듈(260)은 화소의 블록에 대하여 BNM을 결정할 수 있다(단계 350). 몇몇 실시예에서, 블록 NM 모듈(260)은 단계 330으로부터의 최저한의 양호 또는 유효한 화소 NM을 선택할 수 있다. 다른 실시예에서, 블록 NM 모듈(260)은 몇몇 조합 또는 양호한 NM, 2번째, 3번째 낮은 NM 또는 양호 또는 유효한 화소 NM의 평균값 등을 선택할 수 있다.

블록에 유효 또는 양호한 화소 NM값이 없다면, BNM값은 이후의 화소 레벨 처리에서 산출 또는 사용되지 않을 수 있다. 단계 350에서 유효한 BNM을 산출한다면, 단계 370에서 이후의 사용을 위해 저장될 수 있다.

BNM이 산출되어야할 화상에 블록이 더 있다면, 화상 내의 다음 블록에 대하여 단계 310~350이 반복될 수 있다(단계 360). 화상이 블록-서브샘플링되지 않고 몇몇 블록이 모든 유효 화소 NM을 포함하지 않는다면, 그러한 결정은 화상의 모든 블록에 대하여 BNM을 초래할 수 있다. 단계 350/360에서 일단 모든 유효한 BNM이 결정되면, 처리는 단계 370에서 계속될 수 있다.

모든 유효 BNM으로부터 화상에 대하여 글로벌 화상 노이즈 메트릭(GPNM)을 확정하는 글로벌 화상 NM 모듈(270)에 의해 처리는 계속될 수 있다(단계 370). 몇몇 실시예에서, 단계 370에서 화상 내의 모든 블록에 대한 BNM의 평균으로서 GPNM이 산출될 수 있다.

몇몇 실시예에서, 단계 370은 저장된 이전 글로벌 화상 NM값(280)에 근거하여 일시적 글로벌 화상 노이즈 메트릭(TGPNM)을 생성하는 일시적 글로벌 화상 노이즈 갱신기(290) 등의 일시적 국면을 포함할 수 있다. 몇몇 실시예에서, TGPNM은 현재 화상에 대한 GPNM과 이전 화상에 대한 GPNM 사이에서 가중치가 가해진 조합일 수 있다.

마지막으로, 단계 370의 일부 또는 다음 단계로서, 필터(130)는 GPNM 또는 TGPNM에 근거하여 화상 내의 노이즈를 제거할 수 있고, 필터링된 화상은 모니터, 텔레비전, 패널 디스플레이, 또는 이동 장치의 디스플레이 등의 표시 장치에 표시될 수 있다. 그러나, 화상에 유효한 BNM이 없다면, GPNM(또는 TGPNM(이 조건이 지속된다면))은 극단적일 수 있으며, 필터(130)는 특정 화상에 노이즈 필터링을 적용하지 않을 수 있다.

상기 방안 및/또는 시스템은 한 화상만의 정보에 근거하여 로버스트 노이즈 검출을 유리하게 행할 수 있다. 움직임 검출 접근법에 비하여, 상기 방안은 일시적 레이턴시를 필요로 하지 않는다. 또한, 상기 방안은 다른 접근법이 로버스트 노이즈 검출을 전달하는 데 실패하면 장면 변화의 기간 중에 작용한다. 마지막으로, 상기 방안은 비디오 파이프라인의 사전 처리 중에 변경되지 않을 활동적인 비디오의 콘텐츠에 근거한다. 상기 노이즈 검출 방안에서, 과잉 보상 또는 낮은 보상을 하지 않고 적당히 노이즈를 감소시키기기 위하여 추가 노이즈 필터(130)는 필터 동작을 순응시킬 수 있다. 따라서 화상 노이즈를 감소시킴으로써 화질이 개선될 수 있다.

하나 이상의 실시예의 전술한 설명은 해설과 설명을 제공하지만, 포괄적이도록 또는 본 발명의 범위를 공개된 정확한 형태로 제한하도록 의도된 것은 아니다. 상기 교시를 고려하면 변경 및 변화가 가능하거나, 본 발명의 다양한 실시예의 실행으로부터 취득될 수 있다.

예컨대, 이 방안은 특정 화소 NM을 배제하고 공간적으로 보다 또는 덜 강인할 수 있다. 이 방안은 에지에 너무 가까우면서 복잡 영역에 위치한 NM을 배제할 수 있지만, 이들 조건 중 하나만을 만족하는 화소의 NM을 배제하도록 변경될 수 있다. 몇몇 실시예에서, 허용할 수 없는 또는 도움이 되지 않는 화소 NM을 더 선별하기 위해, 에지 및 복잡 영역에 더하여 세 번째 공간적 척도가 사용될 수 있다.

또한, 이 방안은 모든 화상에 대하여 글로벌 NM을 생성함에 있어서 보다 또는 덜 일시적일 수 있다. 이 방안은 바로 이전 화상으로부터의 글로벌 NM의 일시적 정보를 사용할 수 있지만, 몇몇 실시예에서 추가적인 일시적 정보(예컨대, 이전 몇 화상으로부터의 글로벌 NM의 가중합)는 또한 글로벌 화상 NM을 확정하기 위해 사용될 수 있다. 그러나, 몇몇 실시예에서, 지터를 감소시기키 위해 보다 적은 일시적 정보가 채용될 수 있다. 예컨대, 글로벌 화상 NM의 변화의 양은 절대적 또는 상대적 관념 양쪽으로 화상에서 화상으로 제한될 수 있다.

또한, 블록 단위(block-by-block) 방안이 설명되었지만, 다른 처리 순서도 가능하고 고려된다. 예컨대, NM은 화상 내의 모든 화소(또는 서브샘플링된 화소)에 대하여 결정될 수 있고, 그 후 BNM이 화상 내의 모든 블록(또는 서브샘플링된 블록)에 대하여 결정될 수 있다. 여기서의 기능을 행하는 다른 화소 또는 블록 순서도 사용될 수 있다.

본 명세서의 설명에서 사용된 구성 요소, 단계, 명령은, 그 자체가 명백히 설명되지 않는 한, 본 발명의 중대한 또는 근본적인 것으로서 해석되어서는 안 된다. 또한, 여기에 사용된 바와 같이, 단수 표현은 하나 이상의 항목을 포함하도록 의도된다. 본 발명의 정신 및 원리로부터 크게 벗어나지 않고, 주장된 발명의 상술한 실시예에 변화 및 변경이 이루어질 수 있다. 그러한 모든 변경 및 변화는 본 공개의 범위 내에서 여기에 포함되도록 의도되고, 이하의 청구항에 의해 보호된다.

Claims

화상에 대한 글로벌 화상 노이즈 메트릭(global picture noise metric)을 결정하는 방법으로서,

화소에 대하여 노이즈가 없는 값(noise-free value)을 추정하는 단계와,

상기 화소에 대하여 상기 추정된 노이즈가 없는 값에 근거하여 노이즈 메트릭(noise metric)을 산출하는 단계와,

상기 화소가 상기 화상 내에서 적어도 하나의 공간적 조건을 만족하면 상기 노이즈 메트릭을 실격시키는(disqualifying) 단계와,

화소의 블록에서 모든 후보 화소에 대하여 상기 추정하는 단계, 상기 산출하는 단계, 및 상기 실격시키는 단계를 반복하는 단계와,

상기 후보 화소에 대한 노이즈 메트릭에 근거하여 블록 노이즈 메트릭을 결정하는 단계와,

상기 화상 내의 모든 후보 블록에 대하여 상기 추정하는 단계, 상기 산출하는 단계, 상기 실격시키는 단계, 상기 반복하는 단계, 및 상기 결정하는 단계를 반복하는 단계와,

상기 후보 블록들에 대한 블록 노이즈 메트릭들에 근거하여 상기 글로벌 화상 노이즈 메트릭을 확정하는 단계

를 포함하는 방법.
제 1 항에 있어서,

상기 추정하는 단계는 상기 추정된 노이즈가 없는 값을 얻기 위해 상기 화소 주변의 이웃 화소들(neighborhood)을 중간값 필터링(median filtering)하는 단계를 포함하는 방법.
제 1 항에 있어서,

상기 산출하는 단계는 상기 화소 주변의 이웃 화소들에서의 화소값과 상기 추정된 노이즈가 없는 값 사이의 차분에 근거하여 상기 노이즈 메트릭을 생성하는 단계를 포함하는 방법.
제 1 항에 있어서,

상기 적어도 하나의 공간적 조건은 에지(edge) 근처에 있는 상기 화소 또는 공간적으로 복잡한 영역에 있는 상기 화소를 포함하는 방법.
제 1 항에 있어서,

상기 결정하는 단계는 실격되지 않은 상기 후보 화소에 대한 상기 노이즈 메트릭 중에서 최소 노이즈 메트릭을 선택하는 단계를 포함하는 방법.
제 1 항에 있어서,

상기 확정하는 단계는 상기 글로벌 화상 노이즈 메트릭을 얻기 위해 상기 후보 블록들에 대한 상기 블록 노이즈 메트릭들을 평균화하는 단계를 포함하는 방법.
제 6 항에 있어서,

상기 확정하는 단계는 시간적인 글로벌 화상 노이즈 메트릭을 생성하기 위하여 현재의 화상에 대한 상기 글로벌 화상 노이즈 메트릭과 이전 화상에 대한 이전 글로벌 화상 노이즈 메트릭을 조합하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

상기 글로벌 화상 노이즈 메트릭에 근거하여 시각적 노이즈 아티팩트(artifact)를 제거하도록 상기 화상을 노이즈 필터링하는 단계를 더 포함하는 방법.
화상으로부터 노이즈를 필터링하는 방법으로서,

상기 화상에서 선택된 화소의 집합으로부터의 정보에만 근거하여 상기 화상 내에서 상기 선택된 화소의 집합에 대한 화소 노이즈 메트릭의 집합을 결정하는 단계와,

상기 화소 노이즈 메트릭의 집합에서, 관련된 화소가 에지에 위치하지 않거나 상기 화상의 복잡한 영역에 위치하지 않는 화소 노이즈 메트릭의 부분 집합을 유효하다고 지정하는 단계와,

상기 화소 노이즈 메트릭의 유효한 부분 집합으로부터 블록 노이즈 메트릭의 집합을 산출하는 단계와,

상기 블록 노이즈 메트릭의 집합으로부터 상기 화상에 대한 글로벌 노이즈 메트릭을 확정하는 단계와,

필터링된 화상을 생성하기 위하여 상기 글로벌 노이즈 메트릭을 사용하여 상기 화상을 필터링하는 단계

를 포함하는 방법.
제 9 항에 있어서,

상기 선택된 화소의 집합은 상기 화상 내의 화소의 총 수보다 적은 화소의 서브샘플링된 집합을 포함하는 방법.
제 9 항에 있어서,

상기 선택된 화소의 집합은 상기 화상 내의 모든 화소를 포함하는 방법.
제 9 항에 있어서,

상기 결정하는 단계는,

상기 선택된 화소의 집합에 대하여 노이즈가 없는 화소값의 집합을 추정하는 단계와,

상기 추정된 노이즈가 없는 화소값의 집합과 상기 추정된 노이즈가 없는 화소값의 집합 주변의 대응하는 이웃 화소 사이의 차분에 근거하여 상기 화소 노이즈 메트릭의 집합을 산출하는 단계

를 포함하는 방법.
제 12 항에 있어서,

상기 추정하는 단계는 상기 추정된 노이즈가 없는 화소값의 집합을 얻기 위해 상기 선택된 화소의 집합의 주변의 이웃 화소들을 중간값 필터링하는 단계를 포함하는 방법.
제 9 항에 있어서,

상기 지정하는 단계는 관련된 화소가 에지에 위치하지 않거나 상기 화상의 복잡한 영역에 위치하지 않는 상기 화소 노이즈 메트릭의 부분 집합을 유효하다고 지정하는 단계를 포함하는 방법.
제 9 항에 있어서,

상기 지정하는 단계는,

상기 선택된 화소의 집합에 대한 에지 검출 메트릭을 에지 임계값과 비교하는 단계와,

상기 선택된 화소의 집합에 대한 복잡 영역 메트릭을 복잡 영역 임계값과 비교하는 단계

를 포함하는 방법.
제 9 항에 있어서,

상기 산출하는 단계는 블록에 포함되는 상기 화소 노이즈 메트릭의 유효한 부분 집합의 화소 노이즈 메트릭 중에서 최소 노이즈 메트릭을 선택하는 단계를 포함하는 방법.
제 9 항에 있어서,

상기 확정하는 단계는 상기 글로벌 노이즈 메트릭을 얻기 위해 상기 블록 노이즈 메트릭의 집합을 평균화하는 단계를 포함하는 방법.
제 9 항에 있어서,

상기 확정하는 단계는 상기 글로벌 노이즈 메트릭을 갱신하기 위해 상기 화상에 대한 상기 글로벌 노이즈 메트릭과 이전 화상에 대한 이전 글로벌 노이즈 메트릭을 조합하는 단계를 포함하는 방법.
추정된 화소값과 그 이웃 사이의 차분에 근거하여 비디오 데이터의 화상 내의 화소에 대한 화소 노이즈 메트릭을 생성하고, 상기 화소에 대한 에지 검출 정보 및 복잡 영역 정보에 근거하여 상기 화소 노이즈 메트릭을 유효하게 하기 위한 화소 레벨 모듈과,

블록 노이즈 메트릭을 산출하기 위해 블록 내의 화소에 대한 유효한 화소 노이즈 메트릭 중에서 선택하기 위한 블록 레벨 모듈과,

상기 화상 내의 블록에 대한 블록 노이즈 메트릭을 모아 화상 노이즈 메트릭을 형성하기 위한 화상 레벨 모듈

을 포함하는 비디오 처리 시스템.
제 19 항에 있어서,

상기 화상 노이즈 메트릭에 근거하여 상기 비디오 데이터의 화상으로부터 노이즈를 선택적으로 제거하기 위한 노이즈 필터를 더 포함하는 시스템.
제 19 항에 있어서,

상기 화소 레벨 모듈은,

상기 추정된 화소값을 생성하기 위한 화소 추정기와,

상기 화소 추정기에 결합되어 상기 화소 노이즈 메트릭을 산출하기 위한 노이즈 메트릭 산출기와,

상기 에지 검출 정보를 생성하기 위한 에지 검출기와,

상기 복잡 영역 정보를 생성하기 위한 차분 모듈과,

상기 에지 검출 정보 및 상기 복잡 영역 정보에 근거하여 상기 에지 검출기, 상기 차분 모듈, 및 상기 노이즈 메트릭 산출기에 결합되어 상기 화소 노이즈 메트릭을 유효하게 하기 위한 화소 노이즈 메트릭 모듈

을 포함하는 시스템.