KR101273487B1 - 적응성 픽셀-기반의 필터링 - Google Patents

적응성 픽셀-기반의 필터링 Download PDF

Info

Publication number
KR101273487B1
KR101273487B1 KR1020087031807A KR20087031807A KR101273487B1 KR 101273487 B1 KR101273487 B1 KR 101273487B1 KR 1020087031807 A KR1020087031807 A KR 1020087031807A KR 20087031807 A KR20087031807 A KR 20087031807A KR 101273487 B1 KR101273487 B1 KR 101273487B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel
candidate
corresponding set
candidate pixels
Prior art date
Application number
KR1020087031807A
Other languages
English (en)
Other versions
KR20090025290A (ko
Inventor
시타람 바가바띠
조안 라치
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090025290A publication Critical patent/KR20090025290A/ko
Application granted granted Critical
Publication of KR101273487B1 publication Critical patent/KR101273487B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

하나의 구현에서, 픽셀은 목표 디지털 이미지로부터 선택된다. 하나 이상의 디지털 이미지로부터 다수의 후보 픽셀은 다수의 후보 픽셀의 값에 근거하여 평가된다. 선택된 픽셀에 대해, 픽셀의 대응하는 세트는, 다수의 후보 픽셀의 평가와, 미리 결정된 임계 개수의 픽셀이 대응하는 세트에 포함되었는지에 근거하여, 다수의 후보 픽셀로부터 결정된다. 추가로 선택된 픽셀에 대해, 교체 값은 픽셀의 대응하는 세트에서의 픽셀의 값에 근거하여 결정된다. 설명된 다양한 구현은 필름 그레인 또는 잡음을 감소시키기 위해 이미지 또는 비디오의 적응성 픽셀-기반의 공간-시간 필터링을 제공한다. 구현은 각 픽셀에서 잡음 감소의 "균일한" 양을 달성하는 한편, 예를 들어 시간 및/또는 공간 상관 관계된 픽셀의 상수(N)로 각 픽셀을 평균화함으로써 가능한 한 더 많은 화상 세부사항을 보존할 수 있다.

Description

적응성 픽셀-기반의 필터링{ADAPTIVE PIXEL-BASED FILTERING}
본 개시는 이미지 필터링에 관한 것이다.
비디오 잡음 감소 필터는 후치(post)-생성 및 비디오 압축 환경 모두에 광범위하게 사용되었다. 원래대로 종종 가능한 한 많은 세부사항을 유지하는 필터를 요구하므로, 화상에 걸쳐 균일하지 않은 잡음 제거를 초래할 수 있는 매우 보존적인(conservative) 설정을 이용하는 경향이 있다. 비디오 압축 환경은 심지어 세부 사항을 약간 손실하고라도 높은 필터링 세기를 종종 요구하는데, 이는 그 목적이 비디오에서 정보의 양을 감소시켜, 압축 효율을 증가(즉, 비트율을 감소)시키는 것이기 때문이다.
비디오 필터링은 푸리에 또는 웨이브릿(wavelet)과 같은 픽셀 영역 또는 변환 영역에서 수행될 수 있다. 픽셀-기반의 비디오 필터링 방법은 일반적으로 각 픽셀을 다수의 다른 픽셀로 평균화함으로써 잡음을 감소시킨다. 픽셀-기반의 공간 필터링에서, 이들 다른 픽셀은 일반적으로 공간 이웃(spatial neighbor)이다. 알려진 픽셀-기반의 공간 필터링 기술은 중간 필터를 포함한다. 시간 필터링에서, 이들 다른 픽셀은 일반적으로 n개의 가까운 기준 프레임으로부터 시간적으로 예측된 픽셀이다. 이전의 픽셀-기반의 비디오 필터링 방법은 다양한 방식으로 공간 및 시간 필 터링을 조합하고 있다.
하나의 구현에 따라, 픽셀은 목표 디지털 이미지로부터 선택된다. 하나 이상의 디지털 이미지로부터 다수의 후보(candidate) 픽셀은 다수의 후보 픽셀의 값에 근거하여 평가된다. 선택된 픽셀에 대해, 픽셀의 대응하는 세트는, 다수의 후보 픽셀의 평가, 및 미리 결정된 임계 개수의 픽셀이 대응하는 세트에 포함되었는지에 근거하여 다수의 후보 픽셀로부터 결정된다. 추가로, 선택된 픽셀에 대해, 교체 값(substitute value)은 픽셀의 대응하는 세트에서 픽셀의 값에 근거하여 결정된다.
하나 이상의 구현에 대한 세부사항은 첨부 도면 및 아래의 설명에서 설명된다. 다른 양상 및 특징은 첨부 도면 및 청구항과 연계하여 고려된 다음의 상세한 설명으로부터 명백해질 것이다. 그러나, 도면들이 본 원리의 한계의 한정이 아닌 예시를 위해서만 설계된다는 것이 이해될 것이다. 도면들이 반드시 축척대로 도시될 필요가 없고, 달리 표시되지 않으면, 특정한 구조 및 절차를 개념적으로 예시하도록 단지 의도된다는 것이 추가로 이해되어야 한다.
도 1은 적응성 픽셀-기반의 공간-시간 비디오 잡음 필터링을 위한 시스템에 대한 구현을 도시한 블록도.
도 2는 하나의 구현에서 도 1의 소스에 의해 제공된 콘텐트를 도시한 블록도.
도 3은 도 1의 처리 디바이스의 구현을 도시한 블록도.
도 4는 도 1의 시스템을 이용하는 비디오 잡음 필터링 방법의 구현을 도시한 흐름도.
도 5는 우수한 후보를 결정하기 위한 패치 수단의 구현을 도시한 도면.
도 6은 공간 후보의 선택을 보여주는 구현을 도시한 도면.
도 7은 적응성 픽셀-기반의 비디오 잡음 필터링 방법의 구현을 도시한 흐름도.
도 8은 픽셀(p)의 공간 필터링에서 공간적으로 이웃하는 픽셀 후보의 5x5 그리드를 보여주는 구현을 도시한 도면.
하나의 도전은 비디오 잡음 제거와 연관된 2개의 주요 문제를 다루는 비디오 필터링 방법을 생성하는 것이다: (a) 콘텐트에서의 세부사항의 손실, 및 (b) 결점(artifact) 필터링, 즉 균일하지 않은 잡음 제거와 같은 필터링 프로세스에 의해 야기된 결점 필터링. 픽셀 레벨에서 공간 및 시간 필터링 사이의 종래 기술의 시스템에서의 상호 작용(interaction)의 부족은 필터링 세기가 픽셀마다 변하도록 하여, 결점 후치-필터링이 균일하지 않은 필터링으로부터 발생할 가능성을 초래한다.
하나의 구현은 공간 및 시간 필터링 사이의 뚜렷한(explicit) 상호 작용을 제공함으로써 이러한 문제를 다룬다. 뚜렷한 상호 작용은 픽셀 레벨에서 공간 및 시간 필터링을 조합함으로써 달성되는 한편, 비디오에서 모든 픽셀에 걸쳐 균일한 양의 잡음 감소를 계속해서 강요하고, 한편 가능한 한 많은 세부 사항을 유지하게 된다. 각 픽셀을 일정한 수의 다른 픽셀로 평균화하는 것은, 특히 가우시안 잡음과 같은 추가 잡음의 존재시 유리할 수 있고, 다른 잡음의 존재 시에도 유용하다. 결점 후치-필터링은 비디오에서 모든 픽셀에 걸쳐 균일한 양의 잡음 감소를 강요함으로써 감소되거나 회피된다. 따라서, 이 구현은 픽셀 레벨에서 공간 및 시간 필터링을 조합한다. 이것은, 1) 픽셀 레벨에서 공간 및 시간 필터링 사이의 뚜렷한 상호 작용을 갖지 않고, 또는 2) 픽셀 레벨에서 공간 또는 시간 필터링 사이에서 스위칭하는 종래 기술의 시스템에 비해 상당한 장점을 제공한다.
도 1은 시스템(100)의 블록도를 도시한다. 비디오 정보의 소스(102)는 처리 디바이스(104)에 입력을 제공한다. 처리 디바이스(104)는 적응성 픽셀 기반의 공간-시간 비디오 잡음 필터링 프로세스를 실시하고, 그 결과를 송신 또는 저장을 위한 송신기 및/또는 저장 디바이스(106)에 전달한다. 도시된 구현에서, 디스플레이(108)는 송신기(106)로부터 잡음 필터링된 비디오 정보를 수신하고, 이러한 비디오 정보를 디스플레이하도록 동작한다. 디스플레이(108)가 다른 디바이스로 대체될 수 있음을 당업자는 인식할 것이다. 예를 들어, 메모리와 같은 수신기는 필터링된 비디오를 수신하고, 선택적으로 이러한 필터링된 비디오를 다른 비디오 처리 디바이스 상에 전달하도록 적응될 수 있다.
도 2는 소스(102)에 의해 처리 디바이스(104)에 제공된 일부 소스 콘텐트(200)의 예시적인 도면을 도시한다. 콘텐트는 시간에 근거하여 생성되고, 특정 시간(t)에서의 프레임 및 주변 시간 기반의 프레임(예를 들어, t-1, t+1,...)의 형태로 있을 수 있다. 각 프레임은 프레임에서 공간 위치(x, y)에 의해 인덱싱 된(indexed) 픽셀 세트를 포함한다.
도 3은 처리 디바이스(104)의 구현의 블록도이다. 처리 디바이스(104)로의 입력은 소스 비디오이고, 그 출력은 필터링된 비디오이다. 도 3에 도시된 구현은 소스 비디오에서 하나 이상의 픽셀에 대한 다양한 프로세스를 수행할 수 있어서, 이들 픽셀의 각각에 대한 교체(즉, 필터링된) 값을 초래한다. 교체 값이 결정되는 픽셀(또는 다른 말로, 필터링되는 픽셀)을 현재(current) 픽셀이라 칭하고, 현재 픽셀이 유입되는 프레임을 현재 프레임이라 칭하자. 각 현재 픽셀에 대해, 선택기(110)는 하나 이상의 기준 프레임으로부터 후보 픽셀의 세트를 선택한다. 하나의 구현에서, 기준 프레임은 현재 프레임 주변의 프레임이고, 또한 현재 프레임 자체를 포함할 수 있다. 선택기(110)는 또한 현재 픽셀을 선택할 수 있다. 평가기(112)는 후보 픽셀의 세트에서 각 픽셀의 양호함(goodness) 값 또는 품질 메트릭을 결정한다. 다양한 구현에 따라, 양호함 값 또는 품질 메트릭은, 예를 들어 1) 픽셀과 선택된 후보 픽셀 사이의 칼라 차이; 2) 픽셀 주위의 MxN 블록과 후보 픽셀 주위의 MxN 블록 사이의 절대 차이의 합(SAD); 또는 3) 현재 픽셀까지의 거리를 이용하여 계산될 수 있다.
세트 제어 유닛(114)은 평가기(112)의 결과에 하나 이상의 기준을 적용함에 근거하여 현재 픽셀에 대한 픽셀의 대응하는 세트를 결정한다. 이들 기준은, 1) 미리 결정된 순서로 고려된, 후보 세트로부터 하나 이상의 픽셀이 대응하는 세트에 포함되어야 하는 지의 여부; 2) 대응하는 세트에서의 후보 세트로부터 픽셀을 포함하는 것을 언제 중단해야 하는지를 결정할 수 있다. 하나의 구현에 대한 우선 순위 에서, 대응하는 세트에서의 후보 세트로부터 픽셀의 포함을 중단하기 위한 기준은, A) 미리 결정된 수의 픽셀이 대응하는 세트에 포함되었는지, 또는 B) 후보 세트에서의 모든 픽셀이 고려되었는 지이다. 결정 유닛(116)은 대응하는 세트에서 픽셀의 값에 근거하여 현재 픽셀에 대한 교체 값을 결정한다.
사용자 입력 유닛(118)은 처리 디바이스(104)에 선택적으로 포함되며, 사용자 입력 유닛(118)은, 선택적이라는 것을 추가로 표시하기 위해 점선 박스로 도 3에 도시된다. 사용자 입력 유닛(118)은, 예를 들어 사용자가 N의 값(여기서 N은 현재 픽셀에 대한 픽셀의 대응하는 세트에 포함된 픽셀의 수일 수 있다)과 같은 중단 기준에 들어가도록 하기 위해 사용될 수 있다. 사용자 입력 유닛(118)은 도 3에 도시된 바와 같이 세트 제어 유닛(114)에 결합될 수 있거나, 하나 이상의 다른 성분에 (직접적으로 또는 간접적으로) 결합될 수 있다. 다양한 구현에서, N의 값은 예를 들어 소프트웨어 또는 하드웨어로 고정될 수 있고, 사용자에 의해 조정될 수 없다.
도 4는 구현에 따른 처리의 흐름도(400)를 도시한다. 소스 비디오의 목표 디지털 이미지는 엑세스되고(402), 현재 픽셀은 선택된다. 이러한 구현의 소스 비디오는 다양한 하나 이상의 상이한 비디오 소스를 포함할 수 있다. 다음 동작(404 내지 412)은 목표 이미지로부터 선택된 적어도 하나의 픽셀에 대해 수행된다. 선택된 현재 픽셀에 대해, 후보 픽셀의 세트는 하나 이상의 기준 프레임(현재 프레임을 포함하거나 포함하지 않을 수 있는)으로부터 선택된다(404). 일단 후보 픽셀의 세트가 선택되면, 각 후보 픽셀의 하나 이상의 양호함 값(또는 품질 메트릭)이 계산된 다(406). 이 점에서, 현재 픽셀에 대한 픽셀의 대응하는 세트는 하나 이상의 기준에 근거하여 결정된다(408). 그 기준은, 예를 들어 양호함 값이 임계치를 충족하는지의 여부를 포함할 수 있다. 동작(408)은 미리 결정된 순서로 후보 세트로부터 하나 이상의 픽셀을 고려할 수 있다.
그런 후에, 중단 기준이 충족되었는지의 여부가 결정된다(410). 다시, 전술한 바와 같이, 중단 기준은, 예를 들어 A) 미리 결정된 수의 픽셀이 대응하는 픽셀에 포함되었는지; 또는 B) 후보 세트에서의 모든 픽셀이 고려되었는 지이다. 일단 중단 기준이 충족되면, 현재 픽셀에 대한 교체 값은 대응하는 세트에서 픽셀의 값에 근거하여 결정된다(412).
도 5를 참조하면, 3x3 픽셀 패치(630 및 640)를 갖는 2개의 인접한 프레임(610 및 620)이 각각 도시된다. 하나의 구현에 따라, "양호함"의 패치 기반의 수단은 먼저 2개의 패치에서의 대응하는 픽셀 사이의 절대 차이를 계산하고, 그런 후에 이들 절대 차이를 합산하여, 절대 차이의 합(SAD)을 형성한다. 시간 예측(pred[j])는, 2개의 패치에서의 픽셀 사이의 SAD가 미리 결정된 임계치보다 적은 경우 "양호한" 것이라 할 수 있다. 사실상, 이러한 임계치는, 하나가 픽셀의 루마(luma) 성분의 SAD에 대한 것이고, 다른 하나가 크로마(chroma) 성분의 SAD에 대한 것인, 2개의 임계치로 분리될 수 있다는 것을 당업자는 인식할 것이다. 1) 프레임이 인접할 필요가 없고(심지어 도 5에서 인접한 것으로 도시될지라도); 2) 2개의 프레임에서의 픽셀의 (x, y) 위치가 동일할 필요가 없다는 것이 주지되는 것은 중요하다. 당업자는 패치 및 임계치를 선택하는 다양한 방식을 인식할 것이다.
도 6은 현재 픽셀(x, y)을 갖는 프레임(710)과, "양호한" 공간 후보로서 선택된 픽셀(720) 세트(즉, 공간 필터링을 위한 양호함 기준을 "통과"한 공간 이웃에서의 픽셀)를 도시한 도식적인 도면이다. 예를 들어, 하나의 기준은 현재 픽셀 및 후보 픽셀의 값 사이의 차이이고, 그 차이는 임계치와 비교될 수 있다. 도 5 및 도 6이 시간(도 5) 및 공간(도 6) 영역에 대한 양호함 테스트(들)를 통과시키는 픽셀의 세트를 나타내면, N은 15와 같아서, 9개의 시간 픽셀과, 5개의 공간 픽셀과, 목표 픽셀을 반영한다.
도 7은 하나의 구현에 따라 적응성 공간-시간 비디오 잡음 필터링을 위한 프로세스(500)의 흐름도를 도시한다. 입력 비디오 프레임에서 각 픽셀(p)을 필터링하기 위해, 프로세스(500)의 목적은 p를 평균화하기 위한 N개의 "양호한" 후보(자체를 포함)를 찾는 것이며, 여기서 N은 필터링 프로세스(500)에 걸쳐 상수이다. 이러한 "양호한" 후보는 평균화 세트(Ap={p, ci; i=1, ..., M})에 놓이고, 여기서 충분한 "양호한" 후보가 이용불가능한 경우에만 M≤N-1, 및 M<N-1이다. 그런 후에, 필터링 프로세스는 p를 Ap의 요소의 평균으로 대체하는 것을 수반한다. 본 명세서에 사용된 바와 같이, "픽셀의 평균화"라는 것은, 구현이 개별적으로 평균화를 수행할 필요가 없을지라도, 픽셀의 루마 및 크로마 성분 값을 개별적으로(예를 들어, Y, U 및 V) 평균화하는 것을 말한다. 성분에 대해 개별적으로 평균화하는 것을 수행하는 구현에 대해, 다양한 다른 동작(또는 심지어 전체 프로세스)은 일반적으로 또는 필수적으로 성분에 대해 개별적으로 수행될 것이다.
프로세스(500)에서, N개의 "양호한" 후보는 시간 또는 공간 영역으로부터 선택될 수 있다. 하나의 구현에 따라, N개의 "양호한" 후보는 먼저 시간 영역에서 찾아지는데, 이는 시간 필터링이 시각적 세부사항을 흐리게 하는 경향이 더 적기 때문이다. 도 7에 도시된 바와 같이, 프로세스(500)는 3개의 주요 양상, 즉 시간 후보의 선택(550)과; 공간 후보의 선택(560)과; 선택된 후보의 평균화에 의한 필터링(570)을 포함한다. 프로세스(500)는 시간 및/또는 공간 영역으로부터 선택된 후보를 이용하여 각 픽셀을 필터링한다. 이것은, 공간적 또는 시간적으로 한번에 전체 프레임을 필터링하고, 필터링된 프레임을 제공하도록 그 결과를 조합하는 다양한 종래의 방법과 대비된다.
도 7을 참조하면, 본 원리의 하나의 구현에 따라, 시간 후보의 선택(550)은 먼저 현재 프레임으로부터 n개의 기준 프레임으로 픽셀(p)의 움직임을 추정하는 것을 수반한다. 도시된 바와 같이, 입력 프레임으로부터의 픽셀(p)은 평균화 세트(Ap={p})를 초기화(502)하는데 사용된다. 기준 프레임(j=1,...n)에 걸친 루프(504)가 수행되고, 움직임 기반의 예측자(pred[j])는 기준 프레임(j)으로부터 생성된다(506). 이 후에, 각 시간 예측된 픽셀(pred[j])(j번째 기준 프레임으로부터)은 Ap에 대한 후보로서 다시 간주된다(508). "우수한" 예측자(즉, 품질 메트릭 기준을 통과한)인 것으로 결정되면, 세트(Ap)에 추가된다(510). 시간 후보를 선택하는 동안에, |Ap|=N(즉, Ap에서의 요소의 수가 N과 동일함)이면, 후보를 탐색하는 프로세스가 종료되고, 필터링 단계(570)로 진행한다.
시간 영역으로부터 후보를 선택한 후에, |Ap|<N이면, 종료 루프(j)가 발생하고(514), 공간 영역에서 후보를 찾기 시작한다. 한가지 가능성은, 도 8에 도시된 바와 같이, p의 b x b 이웃에서의 모든 픽셀을 고려하는 것이다. 당업자는 이웃의 크기를 선택하기 위한 다양한 기술을 알고 있을 것이다. 루프(k=1,...m)에서의 공간 이웃을 고려하는 순서(516)는 p와의 후보 픽셀의 근접성에 의해 결정된다. 후보 이웃 픽셀이 "양호한" 것으로 결정되면(518), Ap에 추가된다. 만약 공간 후보를 스캐닝하는 동안 |Ap|=N이거나(522), 모든 후보가 스캐닝되었으면, 필터링 단계(570)로 진행한다.
마지막으로, 필터링 단계(570)에서, 픽셀(p)은 Ap의 요소의 평균(526)으로 대체되고, 프로세스는 필터링될 다음 픽셀로 진행한다. 평균화 대신에 또는 이에 더하여 다른 동작은 픽셀(p)에 대한 대체를 결정하는데 사용될 수 있다. 더 구체적으로, 하나의 구현은 Ap에서의 픽셀의 값에 근거하여 대체를 결정할 수 있으며, 이러한 픽셀의 값은 이들 값의 평균을 포함하지만 여기에 한정되지 않는다. 수(N)가 일반적으로 목표 디지털 이미지에서 각 픽셀에 대해 일정하게 남아있더라도, N개의 픽셀의 상대적인 위치는 목표 디지털 이미지에서의 각 픽셀에 대해 변할 수 있다는 것이 명백하다.
도 8은 현재 픽셀(p) 주위의 후보 픽셀의 세트의 넘버링(numbering)(800)을 도시한다. 넘버링(800)은 현재 픽셀(p)로부터의 공간 거리, 또는 이 픽셀과의 공간 근접성에 근거하여 이웃 픽셀에 번호를 할당한다. "1"이라 붙인 4개의 픽셀은 p와의 공통 거리를 갖고, p에 가장 근접한다. "2"라 붙인 4개의 픽셀은 p와의 공통 거리를 갖고, p에 두 번째로 근접한다. "3"이라 붙인 4개의 픽셀은 p와의 공통 거리를 갖고, p에 세 번째로 근접한다. "4"라 붙인 8개의 픽셀은 p와의 공통 거리를 갖고, p에 네 번째로 근접한다. "5"라 붙인 4개의 픽셀은 p와의 공통 거리를 갖고, p에 다섯 번째로 근접한다. 넘버링(800)은, p에 대한 픽셀의 대응하는 세트를 구축하는 동안 먼저 어떤 픽셀을 테스트해야할 지를 결정하는데 사용될 수 있다. 예를 들어, 하나의 구현은 대응하는 세트가 N개의 픽셀을 가질 때까지 모든 "1"의 픽셀을 고려하고, 그런 후에 모든 "2"의 픽셀을 고려하고, 그런 후에 모든 "3"의 픽셀을 고려하고, 그런 후에 모든 "4"의 픽셀을 고려하고, 그런 후에 모든 "5"의 픽셀을 고려한다. 이것은, 예를 들어 좌측에서 우측으로 그리고 위에서 아래로와 같은 래스터(raster) 순서로 모든 픽셀을 고려하는 것에 대비된다.
도 8의 "거리" 접근법은 다른 프레임에서 시간 후보에 적용될 수 있다. 하나의 구현은 도 8의 공간 거리보다는 "시간 거리"를 이용하고, "시간 거리"는 프레임을 사용하는 하나의 구현에서 "프레임 거리"로 대체될 수 있다. 예를 들어, 프레임(j)에서 현재 픽셀(p)에 대해, 하나의 구현은 증가하는 프레임 거리의 순서로, 먼저 pred[j-1]{프레임(j-1)에서 p에 대한 예측}을 고려하고, 그런 후에 pred[j+1]을 고려하고, 그런 후에 pred[j-2]를 고려하고, 그런 후에 pred[j+2] 등을 고려한다.
구현은 시간 영역에서 후보 픽셀을 평가하기 전에, 또는 이러한 평가를 제외 하여 공간 영역에서의 후보 픽셀을 평가할 수 있다. 다른 영역도 또한 사용될 수 있다. 그러한 다른 영역은, 예를 들어 변환 영역(예를 들어, 푸리에, 웨이브릿), 및 동일한 이미지(들)의 개별적인 레코딩으로부터 취해진 영역을 포함할 수 있다. 예를 들어, 필름 릴로부터 취해진 비디오를 수반하는 하나의 구현에서, 영역은 상이한 필름 릴로부터 디지털화된 동일한 비디오로부터 추출된다. 다른 필름 릴은, 특히 다른 필름 릴이 제 1 필름 릴과 유사한 필름 그레인(더 구체적으로 잡음) 특성을 갖는 경우 유용할 수 있다.
구현은 비디오 필터링, 또는 스틸 이미지의 필터링을 포함할 수 있다.
"N"의 선택은 제거되는 것이 바람직한 잡음의 양에 근거할 수 있다. "N"은 예를 들어 상이한 프레임{예를 들어, N은 장면(scene)을 커버하는 프레임의 주어진 시퀀스에 대해 설정될 수 있음}, 프레임 내의 상이한 영역, 및 상이한 성분 또는 분리(separation)(예를 들어, 휘도는 색차와 다른 "N"을 가질 수 있거나, R, G, 및 B 또는 Y, U, 및 V와 같은 상이한 칼라 분리는 "N"의 상이한 값을 가질 수 있다)에 대해 변할 수 있다.
더욱이, 사용자는 경험에 근거하여 N을 선택할 수 있고, 하나의 구현은 사용자가 사용자 인터페이스를 이용하여 N에 대한 값을 입력하도록 할 수 있다. 사용자 인터페이스는, 예를 들어 기계 디바이스{예를 들어, 스위치 또는 놉(knob)}, 컴퓨터 디바이스(예를 들어, 선택된 값의 풀-다운 메뉴 또는 디스플레이와 가능하게 협력하여, 키보드 또는 마우스), 또는 음성 입력 시스템을 포함할 수 있다.
사용자는 대응하는 픽셀 세트의 크기에 대한 하나 이상의 값을 선택할 수 있 다. 이 하나 이상의 값은 예를 들어 차단 또는 개방 단부를 갖는 범위일 수 있다. 예는, (i) N+ 또는 - X, (ⅱ) >N, 및 (ⅲ) <N을 포함하며, 여기서 N 및 X는 고정된다. 크기가 대응하는 세트에서의 N 픽셀이 있는 한 ">N"으로서 선택(또는 하드-코딩)되는 다양한 구현에서, 대으하는 세트는 완전한 것으로 간주될 수 있다. 픽셀의 대응하는 세트에 있을 수 있는 픽셀의 수에 대해 최대치를 갖는 다양한 구현에 대해, 사용자는 픽셀의 대응하는 세트에 포함될 수 있는 픽셀의 수에 대한 미리 결정된 최대 수를 선택할 수 있다(또는 시스템은 하드-코딩될 수 있다).
많은 구현은 얼마나 많은 픽셀이 픽셀의 대응하는 세트에 존재하는지를 결정할 때 미리 결정된 임계치를 이용한다. 미리 결정된 임계치는 미리 결정된 임계치의 구현 및 이용에 따라, 미리 결정된 최소치 또는 미리 결정된 최대치로서 언급될 수 있다. 미리 결정된 임계치는 다양한 구현에서 중단 지점의 역할을 할 수 있다.
양호함 또는 품질 메트릭은 변할 수 있다. 더욱이, 설명된 SAD는 공간 영역에 사용될 수 있고, 설명된 픽셀-차이는 시간 영역에 사용될 수 있다.
구현은 움직임 추정을 할 필요가 없다. 그러한 구현은 예를 들어 pred[j]를 결정할 때 제로(zero) 움직임을 가정할 수 있다.
추가 구현에 따라, 픽셀의 대응하는 세트를 결정하는 것은 기준 이미지의 세트로부터 후보 픽셀의 세트 중에서 하나의 픽셀을 선택하는 것과, 선택된 후보 픽셀에 대한 품질 메트릭을 계산하는 것과, 품질 메트릭이 하나 이상의 미리 결정된 기준을 충족하는 경우 후보 픽셀을 픽셀의 대응하는 세트에 추가하는 것과, 하나 이상의 중단 기준이 충족될 때까지 상기 선택, 계산, 및 추가를 반복하는 것을 포 함한다.
다양한 구현에 따라, 품질 메트릭은, 예를 들어 1) 픽셀과 선택된 후보 픽셀 사이의 칼라 차이; 2) 픽셀 주위의 MxN 블록과 후보 픽셀 주위의 MxN 블록 사이의 절대 차이의 합; 또는 3) 현재 픽셀까지의 거리일 수 있다.
추가 구현에서, 대체 값을 계산하는 것은, 1) 픽셀의 대응하는 세트에서 픽셀의 값을 평균화하는 것과; 및/또는 2) 픽셀의 대응하는 세트에서 픽셀의 값의 가중된 평균을 포함할 수 있다. 이러한 구현에서, 픽셀은 각 픽셀의 품질 메트릭의 값에 근거하여 픽셀의 대응하는 세트에서 가중된다. 결정 유닛에 의해 수행된 평균화는 개별적으로 픽셀의 Y, U 및 V 값(또는 칼라의 다른 분리)에 대해 수행될 수 있다.
다른 구현에서, 각 픽셀의 각 칼라 성분은 독립적으로 처리되고, 픽셀의 대응하는 세트에서의 픽셀의 수는 중단 기준으로서 사용된다.
또 다른 구현에서, 비디오를 필터링하는 장치는, 목표 디지털 이미지로부터 다수의 픽셀 각각에 대해, 픽셀의 대응하는 세트에 가능하게 포함되기 위한 픽셀을 선택하기 위한 선택기와, 선택된 픽셀의 양호함 값을 계산하기 위한 평가기와, 다수의 픽셀의 적어도 하나에 대해 계산된 양호함 값에 근거하여 픽셀의 대응하는 세트를 결정하는 세트 제어 유닛과, 다수의 픽셀 각각에 대해, 픽셀의 대응하는 세트에서 픽셀의 값에 근거하여 대응하는 대체 값을 결정하기 위한 결정 유닛을 포함한다.
몇몇 다른 구현에서, 선택된 픽셀은, 하나 이상의 디지털 이미지가 가능하면 목표 디지털 이미지를 포함하는 하나 이상의 디지털 이미지에 포함된다. 세트 제어 유닛은 또한 미리 결정된 기준에 근거하여 대응하는 세트를 결정할 수 잇다. 세트 제어 유닛에 대한 미리 결정된 기준은, 미리 결정된 순서로 고려된, 후보 세트로부터의 하나 이상의 픽셀이 대응하는 세트에 포함되어야 하는지의 여부를 포함한다. 더욱이, 제어 유닛은 픽셀의 처리를 중단하기 위한 중단 기준을 더 포함한다. 하나의 구현에서, 중단 기준은, 미리 결정된 수의 픽셀이 대응하는 세트에 포함되었는지를 결정하는 것을 포함한다. 다른 구현에서, 중단 기준은, 후보 세트에서의 모든 픽셀이 고려되었는지를 결정하는 것을 포함한다.
다른 구현에서, 세트 제어 유닛은, 중단 기준이 N개의 픽셀을 포함하기 전에 충족되지 않은 경우 각 대응하는 세트가 N개의 픽셀을 포함하도록 대응하는 세트의 크기를 제어한다. 또 다른 구현에서, 하나의 대응하는 세트(하나의 픽셀에 대응)에서의 N개의 픽셀의 위치는 다른 대응하는 세트(다른 픽셀에 대응)에서의 N개의 픽셀의 위치와 다르다.
세트 제어 유닛에 의한 대응하는 픽셀 세트의 선택은 다수의 영역으로부터 픽셀을 포함할 수 있다. 더욱이, 픽셀의 선택은, 예로서 증가하는 거리의 나선형 순서로 수행될 수 있다. 거리는, 예를 들어 도 8을 참조하여 설명된 순서와 같이 예를 들어 공간 영역에서의 공간 거리 및/또는 시간 영역에서의 거리일 수 있다.
또 다른 구현에 따라, 적응성 비디오 잡음 필터링 방법은, 픽셀을 포함하는 목표 디지털 이미지에 엑세스하는 것과, 목표 디지털 이미지로부터 다수의 픽셀 각각에 대해 픽셀의 대응하는 세트를 결정하는 것을 포함한다. 픽셀의 대응하는 세트 에서의 픽셀은 2개 이상의 디지털 이미지에 포함되고, 2개 이상의 디지털 이미지는 목표 디지털 이미지는 목표 디지털 이미지 및 다른 기준 디지털 이미지를 포함한다. 다수의 픽셀의 적어도 하나에 대해, 대응하는 세트를 결정하는 것은 픽셀의 품질 메트릭을 계산하는 것과, 계산된 품질 메트릭의 결과에 근거하여 대응하는 세트에 픽셀을 포함하는 것을 포함한다. 다수의 픽셀 각각에 대해, 대응하는 세트를 결정하는 것은, 중단 기준이 N개의 픽셀을 포함하기 전에 충족되지 않으면 N개의 픽셀이 대응하는 세트에 포함될 때까지 계속된다. 이 점에서, 대응하는 대체 값은 픽셀의 대응하는 세트에서 픽셀의 값을 평균화함으로써 다수의 픽셀 각각에 대해 결정된다.
또 다른 구현에 따라, 평가 픽셀은 다수의 픽셀 중 하나와 다른 것이고, 대응하는 세트의 결정은 N보다 큰 후보 픽셀의 풀(pool)로부터 대응하는 세트를 결정하는 것을 추가로 포함한다.
다른 구현에서, 각 픽셀에 대한 품질 메트릭을 계산하는 것은 시간 예측된 후보를 위한 절대 차이 방식의 패치-기반의 합을 수행하는 것과, 공간 예측된 후보에 대한 픽셀 차이 방식을 수행하는 것을 포함할 수 있다. 품질 메트릭 계산은, 각 픽셀로부터 제거된 잡음의 양이 실질적으로 동일한 것을 보장하도록 적응된다.
또 다른 구현에서, 하나 이상의 디바이스가 1) 픽셀을 포함하는 목표 디지털 이미지에 엑세스하는 것과; 2) 목표 디지털 이미지로부터 다수의 픽셀 각각에 대해, 픽셀의 대응하는 세트를 결정하는 것과; 3) 다수의 픽셀 각각에 대해, 픽셀의 대응하는 세트에서 픽셀의 값을 평균화하는 것에 근거하여 대응하는 대체 값을 결 정하는 것을 수행하도록 하기 위한 명령을 갖는 소프트웨어 캐리어가 제공된다.
또 다른 구현에서, 픽셀의 대응하는 세트는 하나 이상의 디지털 이미지에 포함되며, 여기서 하나 이상의 디지털 이미지는 가능하면 목표 디지털 이미지를 포함한다.
다른 구현에서, 대응하는 세트를 결정하는 것은 픽셀의 양호함 값을 결정하는 것과, 양호함 값 결정의 결과에 근거하여 대응하는 세트에서 픽셀을 포함하는 것을 포함한다. 더욱이, 대응하는 세트를 결정하는 것은, 다수의 픽셀 각각에 대해, 중단 기준이 N개의 픽셀을 포함하기 전에 충족되지 않으면, N개의 픽셀이 대응하는 세트에 포함될 때까지 대응하는 세트를 계속해서 결정하는 것을 포함한다.
설명된 구현은, 예를 들어 다양한 시스템 및 프로세스를 포함한다. 구현은 하나 이상의 프로세스를 수행하도록 구성된 하나 이상의 디바이스를 포함할 수 있다. 디바이스는, 예를 들어 이산 또는 통합된 하드웨어, 펌웨어, 및 소프트웨어를 포함할 수 있다. 디바이스는, 예를 들어 마이크로프로세서, 집적 회로, 또는 프로그래밍가능한 논리 디바이스를 포함하는 일반적으로 처리 디바이스로 불리는 프로세서를 포함할 수 있다.
디바이스는 또한 하나 이상의 프로세스를 수행하기 위한 명령을 갖는 하나 이상의 컴퓨터 판독가능한 매체를 포함할 수 있다. 컴퓨터 판독가능한 매체는, 예를 들어 하드 디스크, 컴팩트 디스켓, 랜덤 엑세스 메모리("RAM"), 또는 판독-전용 메모리("ROM")과 같은 저장 디바이스를 포함할 수 있다. 컴퓨터 판독가능한 매체는 또한 예를 들어 포맷된 전자기파 인코딩 또는 송신 명령을 포함할 수 있다. 명령은 예를 들어 하드웨어, 펌웨어, 소프트웨어, 또는 전자기파일 수 있다. 명령은 예를 들어, 운영 체제, 개별적인 애플리케이션, 또는 이들 2개의 조합에서 찾게 될 수 있다. 그러므로, 프로세서는, 예를 들어 프로세스를 수행하도록 구성된 디바이스와, 프로세스를 수행하기 위한 명령을 갖는 컴퓨터 판독가능한 매체를 포함하는 디바이스 모두로서 특징으로 할 수 있다.
본 원리가 하드웨어, 소프트웨어, 펌웨어, 특수 목적의 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 수 있다는 것이 이해될 것이다. 많은 구현은 하드웨어와 소프트웨어의 조합을 이용한다. 더욱이, 소프트웨어는 프로그램 저장 디바이스 상에 실체적으로 포함된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적합한 구조를 포함하는 기계에 업로딩되고, 이러한 기계에 의해 실행될 수 있다. 상기 기계는 하나 이상의 중앙 처리 유닛(CPU), 랜덤 엑세스 메모리(RAM), 및 입/출력(I/O) 인터페이스(들)와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현될 수 있다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령 코드를 포함할 수 있다. 본 명세서에 설명된 다양한 프로세스 및 기능은 운영 체제를 통해 실행되는 마이크로명령 코드의 부분 또는 애플리케이션 프로그램의 부분(또는 이들의 조합)일 수 있다. 더욱이, 다양한 다른 주변 디바이스는 추가 데이터 저장 디바이스 및 프린팅 디바이스와 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 구성요소 및 방법 단계의 일부가 바람직하게 소프트웨어로 구현되기 때문에, 시스템 구성요소(또는 프로세스 단계) 사이의 실제 연결이 본 발명이 프로그래밍되는 방식에 따라 달라질 수 있다는 것이 추가로 이해될 것이다. 본 명세서의 가르침이 주어지면, 당업자는 또한 본 원리의 이들 및 유사한 구현 또는 구성을 구상할 수 있을 것이다.
특정한 구현에 적용된 기본적인 새로운 특성이 도시되고, 설명되고 지시되었지만, 그 동작에서, 설명된 방법 및 예시된 디바이스의 형태 및 세부사항에서의 다양한 생략, 교체, 및 변화가 당업자에 의해 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 동일한 결과를 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 이들 요소 및/또는 방법 동작의 모든 조합이 본 원리의 범주 내에 있다는 것이 명백히 의도된다. 더욱이, 본 원리의 임의의 개시된 형태 또는 구현과 연관되어 도시되고 및/또는 설명된 구조 및/또는 요소 및/또는 방법 단계가 일반적으로 임의의 다른 개시된, 설명된, 또는 제안된 형태 또는 구현에 병합될 수 있다는 것이 인식되어야 한다. 더욱이, 상이한 구현의 요소는 다른 구현을 생성하도록 조합되고, 보충되고, 변형되거나 제거될 수 있다. 따라서, 다른 구현은 다음의 청구 범위 내에 있다.
상술할 바와 같이, 본 발명은 각 픽셀을 일정한 수의 다른 픽셀로 평균화하는 것은, 특히 가우시안 잡음과 같은 추가 잡음의 존재에서 유리할 수 있고, 다른 잡음의 존재 시에도 유용한 이미지 필터링 등에 이용된다.

Claims (30)

  1. 방법으로서,
    목표 디지털 이미지로부터 제 1 픽셀을 선택하는 단계와;
    다수의 후보 픽셀의 값에 근거하여 다수의 디지털 이미지로부터 다수의 후보 픽셀을 평가하는 단계로서, 상기 다수의 후보 픽셀은 적어도 2개의 상이한 영역으로부터의 후보 픽셀을 포함하는, 다수의 후보 픽셀을 평가하는 단계와;
    제 1 선택된 픽셀에 대해, (i) 후보 픽셀의 평가, 및 (ⅱ) 임계 개수의 픽셀이 제 1 대응하는 세트에 포함되었는지에 근거하여, 픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 하나의 후보 픽셀을 포함할 지를 결정하는 단계와;
    제 1 선택된 픽셀에 대해, 픽셀의 제 1 대응하는 세트에서의 픽셀의 값에 근거하여 교체 값을 결정하는 단계를
    포함하는, 방법.
  2. 제 1항에 있어서,
    목표 디지털 이미지로부터 제 2 픽셀을 선택하는 단계와;
    다수의 후보 픽셀의 제 2 세트의 값에 근거하여, 다수의 디지털 이미지로부터 다수의 후보 픽셀의 제 2 세트를 평가하는 단계와;
    제 2 선택된 픽셀에 대해, (i) 다수의 후보 픽셀의 제 2 세트로부터의 후보 픽셀의 평가와, (ⅱ) 임계 개수의 픽셀이 제 2 대응하는 세트에 포함되었는지에 근거하여, 픽셀의 제 2 대응하는 세트에서 다수의 후보 픽셀의 제 2 세트로부터 후보 픽셀을 포함할지를 결정하는 단계와;
    제 2 선택된 픽셀에 대해, 픽셀의 제 2 대응하는 세트에서의 픽셀의 값에 근거하여 교체 값을 결정하는 단계를
    포함하는, 방법.
  3. 제 1항에 있어서,
    픽셀의 제 1 대응하는 세트를 결정하는 단계는 픽셀의 제 1 대응하는 세트에서 다수의 디지털 이미지 각각으로부터 하나 이상의 후보 픽셀을 포함하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    다수의 후보 픽셀을 평가하는 단계는 다수의 영역으로부터 후보 픽셀을 평가하는 단계를 포함하고,
    픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 하나의 후보 픽셀을 포함할 지를 결정하는 단계는 픽셀의 제 1 대응하는 세트에서 다수의 영역 각각으로부터 하나 이상의 후보 픽셀을 포함하는 단계를 포함하는, 방법.
  5. 제 4항에 있어서, 상기 다수의 영역은 공간 영역, 시간 영역 및 변환 영역으로 구성되는 그룹으로부터 선택된 영역을 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 다수의 후보 픽셀을 평가하는 단계는,
    상기 다수의 후보 픽셀로부터 후보 픽셀을 선택하는 단계와;
    상기 선택된 후보 픽셀에 대한 품질 메트릭(quality metric)을 계산하는 단계를 포함하고,
    픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 하나의 후보 픽셀을 포함할 지를 결정하는 단계는, 상기 품질 메트릭이 하나 이상의 기준을 충족하는 경우 상기 선택된 후보 픽셀을 픽셀의 제 1 대응하는 세트에 추가하는 단계를 포함하는, 방법.
  7. 제 6항에 있어서, 상기 품질 메트릭은 픽셀과 선택된 후보 픽셀 사이의 칼라 차이를 포함하는, 방법.
  8. 제 6항에 있어서, 상기 품질 메트릭은 상기 선택된 제 1 픽셀 주위의 MxN 블록과 상기 선택된 후보 픽셀 주위의 MxN 블록 사이의 절대 차이의 합을 포함하는, 방법.
  9. 제 1항에 있어서, 상기 교체 값을 결정하는 단계는 픽셀의 제 1 대응하는 세 트에서의 픽셀의 값을 평균화하는 단계를 포함하는, 방법.
  10. 제 1항에 있어서, 상기 교체 값을 결정하는 단계는 픽셀의 제 1 대응하는 세트에서의 픽셀의 값의 가중된 평균을 결정하는 단계를 포함하는, 방법.
  11. 제 10항에 있어서, 상기 가중된 평균을 결정하는 단계는 각 픽셀의 품질 메트릭의 값에 근거하여 픽셀의 제 1 대응하는 세트에서 픽셀을 가중화하는 단계를 포함하는, 방법.
  12. 제 6항에 있어서, 상기 품질 메트릭은 선택된 후보 픽셀로부터 선택된 제 1 픽셀까지의 거리에 근거하는, 방법.
  13. 제 1항에 있어서, 상기 다수의 후보 픽셀이 평가되는 순서는 상기 다수의 후보 픽셀과 선택된 제 1 픽셀 사이의 거리에 근거하는, 방법.
  14. 제 1항에 있어서,
    상기 선택된 제 1 픽셀은 다수의 성분을 포함하고,
    다수의 후보 픽셀을 평가하는 단계와, 픽셀의 제 1 대응하는 세트를 결정하는 단계와, 교체 값을 결정하는 단계는 선택된 제 1 픽셀의 각 성분에 대해 개별적으로 수행되는, 방법.
  15. 제 14항에 있어서, 상기 성분은 Y, U 및 V인, 방법.
  16. 제 1항에 있어서, 상기 임계 개수를 선택하는 단계를 더 포함하는, 방법.
  17. 제 1항에 있어서, 픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 하나의 후보 픽셀을 포함할 지를 결정하는 단계는 제 1 대응하는 세트에 정확히 상기 임계 개수의 픽셀을 포함하는 단계를 포함하는, 방법.
  18. 장치로서,
    목표 디지털 이미지로부터 목표 픽셀에 대해, 후보 픽셀이 될 다수의 디지털 이미지로부터 픽셀을 선택하도록 구성된 선택기로서, 상기 픽셀은 적어도 2개의 상이한 영역으로부터의 픽셀을 포함하는, 선택기와;
    상기 선택된 픽셀에 대한 품질 메트릭을 계산하도록 구성된 평가기와;
    (1) 상기 선택된 픽셀로부터의 후보 픽셀에 대한 계산된 품질 메트릭과, (2) 임계 개수의 픽셀이 대응하는 세트에 포함되었는지에 근거하여, 픽셀의 대응하는 세트에서 상기 선택된 픽셀로부터의 후보 픽셀을 포함할지를 결정하도록 구성된 제어 유닛과;
    픽셀의 대응하는 세트에서의 픽셀의 값에 근거하여, 목표 픽셀에 대해 교체 값을 결정하도록 구성된 결정 유닛을
    포함하는, 장치.
  19. 제 18항에 있어서,
    상기 장치는 제 2 목표 픽셀에 대한 픽셀의 제 2 대응하는 세트를 결정하도록 구성되고,
    목표 픽셀에 대응하는, 픽셀의 대응하는 세트에서의 픽셀의 하나 이상의 위치는 제 2 목표 픽셀에 대응하는 제 2 대응하는 세트에서의 픽셀의 위치와 다른, 장치.
  20. 제 18항에 있어서, 후보 픽셀이 될 픽셀의 선택은 목표 픽셀로부터의 증가하는 거리의 나선형 순서로 발생하는, 장치.
  21. 제 20항에 있어서, 상기 거리는 공간 영역에서의 공간 거리와, 시간 영역에서의 시간 거리를 포함하는, 장치.
  22. 제 18항에 있어서, 사용자로부터 임계 개수를 수용하도록 구성된 사용자 입력 유닛을 더 포함하는, 장치.
  23. 제 18항에 있어서, 상기 제어 유닛은 픽셀의 대응하는 세트에서 다수의 디지털 이미지로부터 픽셀을 포함하도록 구성되는, 장치.
  24. 제 18항에 있어서, 상기 제어 유닛은, 만약 중단 기준이 임계 개수의 픽셀을 포함하기 전에 충족되지 않으면 픽셀의 대응하는 세트가 임계 개수의 픽셀을 포함하도록 하기 위해 픽셀의 대응하는 세트의 크기를 제어하도록 구성되는, 장치.
  25. 장치로서,
    목표 디지털 이미지로부터 제 1 픽셀을 선택하기 위한 수단과;
    다수의 후보 픽셀의 값에 근거하여, 다수의 디지털 이미지로부터 다수의 후보 픽셀을 평가하기 위한 수단으로서, 상기 다수의 후보 픽셀은 적어도 2개의 상이한 영역으로부터의 후보 픽셀을 포함하는, 평가 수단과;
    제 1 선택된 픽셀에 대해, (i) 후보 픽셀의 평가와, (ⅱ) 임계 개수의 픽셀이 제 1 대응하는 세트에 포함되었는지에 근거하여, 픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 후보 픽셀을 포함할 지를 결정하기 위한 수단과;
    픽셀의 제 1 대응하는 세트에서의 픽셀의 값에 근거하여, 제 1 선택된 픽셀에 대해 교체 값을 결정하기 위한 수단을
    포함하는, 장치.
  26. 목표 디지털 이미지로부터 제 1 픽셀을 선택하는 것과;
    다수의 후보 픽셀의 값에 근거하여, 다수의 디지털 이미지로부터 다수의 후보 픽셀을 평가하는 것으로서, 상기 다수의 후보 픽셀은 적어도 2개의 상이한 영역으로부터의 후보 픽셀을 포함하는, 평가하는 것과,
    제 1 선택된 픽셀에 대해, (i) 후보 픽셀의 평가와, (ⅱ) 임계 개수의 픽셀이 제 1 대응하는 세트에 포함되었는지에 근거하여, 픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 후보 픽셀을 포함할 지를 결정하는 것과,
    픽셀의 제 1 대응하는 세트에서의 픽셀의 값에 근거하여, 제 1 선택된 픽셀에 대해 교체 값을 결정하는 것을
    하나 이상의 디바이스가 수행하도록 하기 위한 명령을 포함하는, 컴퓨터 판독가능 매체.
  27. 제 1항에 있어서, 픽셀의 제 1 대응하는 세트는, 픽셀의 제 1 대응하는 세트가 (1) 목표 디지털 이미지에서의 상이한 공간 위치와, (2) 시간적으로 상이한 디지털 이미지로부터 픽셀을 포함하도록 결정되는, 방법.
  28. 제 1항에 있어서, 상기 다수의 후보 픽셀을 평가하는 단계는 다수의 후보 픽셀의 휘도 값을 결정하는 단계를 포함하는, 방법.
  29. 제 1항에 있어서, 상기 적어도 2개의 상이한 영역은 시간 영역 및 공간 영역을 포함하는, 방법.
  30. 제 29항에 있어서, 픽셀의 제 1 대응하는 세트에서 다수의 후보 픽셀로부터 하나의 후보 픽셀을 포함할 지를 결정하는 단계는 공간 영역으로부터의 후보 픽셀에 걸쳐 수행되기 전에 시간 영역으로부터의 후보 픽셀에 걸쳐 수행되는, 방법.
KR1020087031807A 2006-06-29 2008-12-29 적응성 픽셀-기반의 필터링 KR101273487B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/025738 WO2008005007A1 (en) 2006-06-29 2006-06-29 Adaptive pixel-based filtering

Publications (2)

Publication Number Publication Date
KR20090025290A KR20090025290A (ko) 2009-03-10
KR101273487B1 true KR101273487B1 (ko) 2013-06-14

Family

ID=37865623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087031807A KR101273487B1 (ko) 2006-06-29 2008-12-29 적응성 픽셀-기반의 필터링

Country Status (6)

Country Link
US (1) US8204334B2 (ko)
EP (1) EP2036353A1 (ko)
JP (1) JP5053373B2 (ko)
KR (1) KR101273487B1 (ko)
CN (1) CN101473656B (ko)
WO (1) WO2008005007A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5330246B2 (ja) 2006-09-29 2013-10-30 トムソン ライセンシング 適応ピクセルベースのフィルタリングのための自動パラメータ推定
US7889256B2 (en) 2008-06-11 2011-02-15 Aptina Imaging Corporation Method and apparatus for reducing temporal row-wise noise in imagers
US8593483B2 (en) 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
CN102236885A (zh) * 2010-04-21 2011-11-09 联咏科技股份有限公司 减少图像噪声的过滤器与过滤方法
JP5556415B2 (ja) * 2010-06-21 2014-07-23 富士通株式会社 画像処理装置
KR101439851B1 (ko) * 2011-04-28 2014-09-12 삼성전자주식회사 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9300846B2 (en) 2012-09-10 2016-03-29 Apple Inc. Signal shaping for improved mobile video communication
CN103841384A (zh) * 2012-11-20 2014-06-04 腾讯科技（深圳）有限公司 一种图像质量的优化方法及装置
CN106303156B (zh) * 2016-08-29 2019-06-04 厦门美图之家科技有限公司 对视频去噪的方法、装置及移动终端
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction
CN108846808B (zh) * 2018-05-28 2022-06-10 郑州云海信息技术有限公司 一种图像处理的方法及其装置
US20210360273A1 (en) * 2018-10-02 2021-11-18 InterDigital VC Holdings, lnc. Method and apparatus for video encoding and decoding using list of predictor candidates

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228067A1 (en) * 2002-06-05 2003-12-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
US20050232487A1 (en) * 2004-04-14 2005-10-20 Safeview, Inc. Active subject privacy imaging
US20060088274A1 (en) * 2004-10-25 2006-04-27 Sony Corporation Video signal processing apparatus and video signal processing method

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4013474C2 (de) 1990-04-27 1995-10-12 Broadcast Television Syst Anordnung zur Reduktion von Rauschen in einem Videosignal
KR930003203B1 (ko) 1990-06-30 1993-04-23 삼성전자 주식회사 고화질 영상신호의 노이즈 감소회로
GB2264414B (en) 1992-02-12 1995-07-12 Sony Broadcast & Communication Video signal processing
US5703965A (en) * 1992-06-05 1997-12-30 The Regents Of The University Of California Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
JPH0686104A (ja) * 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd ノイズリダクション装置
US5446501A (en) 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
US5717463A (en) 1995-07-24 1998-02-10 Motorola, Inc. Method and system for estimating motion within a video sequence
JPH10262160A (ja) 1997-03-18 1998-09-29 Nippon Hoso Kyokai <Nhk> Ｓｎ比検出装置および雑音低減装置
US6339616B1 (en) 1997-05-30 2002-01-15 Alaris, Inc. Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding
US6335990B1 (en) * 1997-07-03 2002-01-01 Cisco Technology, Inc. System and method for spatial temporal-filtering for improving compressed digital video
PT1078256E (pt) * 1998-04-22 2003-04-30 Imaging Res Inc Processo para avaliar ensaios quimicos e biologicos
US6108455A (en) 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
JP4016493B2 (ja) * 1998-08-05 2007-12-05 三菱電機株式会社 ディスプレイ装置及びその多階調化回路
US6907144B1 (en) * 1999-10-06 2005-06-14 Eastman Kodak Company Noise reduction method, apparatus, and program for digital image processing
US6731806B1 (en) * 1999-10-08 2004-05-04 Eastman Kodak Company Region growing based noise reduction method for digital images
EP1100260A1 (en) * 1999-11-12 2001-05-16 STMicroelectronics S.r.l. Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders
JP4335467B2 (ja) 2000-03-07 2009-09-30 セイコーインスツル株式会社 濃淡画像の階調再現方法および装置
US20020005904A1 (en) 2000-07-12 2002-01-17 Mendis Sunetra K. Method for pixel correction
US6747697B1 (en) 2000-07-12 2004-06-08 Koninklijke Philips Electronics, N.V. Method and apparatus for digital image defect correction and noise filtering
KR100327385B1 (en) 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
US6807300B1 (en) 2000-07-20 2004-10-19 Eastman Kodak Company Noise reduction method utilizing color information, apparatus, and program for digital image processing
JP2002259965A (ja) * 2001-02-26 2002-09-13 Sony Corp 画像ノイズ低減方法及び装置
US20020150166A1 (en) * 2001-03-02 2002-10-17 Johnson Andrew W. Edge adaptive texture discriminating filtering
JP4014399B2 (ja) * 2001-12-13 2007-11-28 松下電器産業株式会社 ノイズリダクション装置および方法
US6904159B2 (en) 2001-12-20 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Identifying moving objects in a video using volume growing and change detection masks
JP2003199111A (ja) 2001-12-27 2003-07-11 Matsushita Electric Ind Co Ltd 予測装置、符号化装置、逆予測装置、復号装置、及び、演算装置
US7375760B2 (en) 2001-12-31 2008-05-20 Texas Instruments Incorporated Content-dependent scan rate converter with adaptive noise reduction
US7116447B2 (en) 2002-05-24 2006-10-03 Eastman Kodak Company Halftone dot-growth technique using a dot edge-detection scheme
DE10239675B4 (de) 2002-08-26 2009-10-15 Technische Universität Dresden Verfahren zur Ermittlung von Verkehrszustandsgrößen
TW576103B (en) 2002-09-30 2004-02-11 Veutron Corp Accelerative noise filtering method for image data
TWI332652B (en) 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
EP1569458A1 (en) 2004-02-12 2005-08-31 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a non-linear quantization
TWI288873B (en) 2004-02-17 2007-10-21 Mitsubishi Electric Corp Method for burying watermarks, method and device for inspecting watermarks
JP2005275900A (ja) * 2004-03-25 2005-10-06 Noritsu Koki Co Ltd 粒子状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する画像処理装置
KR100624421B1 (ko) * 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
JP2006033064A (ja) 2004-07-12 2006-02-02 Konica Minolta Medical & Graphic Inc 画像形成方法、画像形成装置
KR20070068409A (ko) * 2004-09-24 2007-06-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 보간
US7834887B2 (en) * 2005-04-05 2010-11-16 Samsung Electronics Co., Ltd. Methods and systems for combining luminance preserving quantization and halftoning
TWI324013B (en) * 2006-02-22 2010-04-21 Huper Lab Co Ltd Video noise reduction method using adaptive spatial and motion-compensation temporal filters
US8115781B2 (en) * 2008-08-31 2012-02-14 Trident Microsystems (Far East) Ltd. Systems and methods of image processing including removal of discontinuous ramp and/or smoothing features

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228067A1 (en) * 2002-06-05 2003-12-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
US20050232487A1 (en) * 2004-04-14 2005-10-20 Safeview, Inc. Active subject privacy imaging
US20060088274A1 (en) * 2004-10-25 2006-04-27 Sony Corporation Video signal processing apparatus and video signal processing method

Also Published As

Publication number Publication date
JP5053373B2 (ja) 2012-10-17
EP2036353A1 (en) 2009-03-18
US8204334B2 (en) 2012-06-19
WO2008005007A1 (en) 2008-01-10
CN101473656A (zh) 2009-07-01
CN101473656B (zh) 2011-09-14
KR20090025290A (ko) 2009-03-10
JP2009543444A (ja) 2009-12-03
US20090278988A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
KR101273487B1 (ko) 적응성 픽셀-기반의 필터링
KR101478669B1 (ko) 적응성 픽셀-기반의 필터링을 위한 자동 파라미터 추정
US7805016B2 (en) Decoding apparatus and decoding method
JP3714944B2 (ja) 画像符号化装置および画像復号装置
US7590296B2 (en) Image coding apparatus and method in which a loop filter performs a filtering process on each image block of an image
KR101441175B1 (ko) 밴딩 아티팩트 검출을 위한 방법 및 장치
KR20090100402A (ko) 이미지 압축 및 압축해제
KR20090101911A (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
KR101529754B1 (ko) 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치
EP3869799B1 (en) Moving image encoding device
EP3942824A1 (en) Methods and apparatuses for prediction refinement with optical flow
WO2021072326A1 (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
JP2007336075A (ja) ブロック歪み低減装置
JP2002208006A (ja) 画像ノイズ減少方法
JP6839246B2 (ja) 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
JP7200074B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2009044769A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee