KR101284469B1 - 블록 아티팩트 경감기 - Google Patents

블록 아티팩트 경감기 Download PDF

Info

Publication number
KR101284469B1
KR101284469B1 KR1020127004429A KR20127004429A KR101284469B1 KR 101284469 B1 KR101284469 B1 KR 101284469B1 KR 1020127004429 A KR1020127004429 A KR 1020127004429A KR 20127004429 A KR20127004429 A KR 20127004429A KR 101284469 B1 KR101284469 B1 KR 101284469B1
Authority
KR
South Korea
Prior art keywords
frame
intensity
signal
correction
filter
Prior art date
Application number
KR1020127004429A
Other languages
English (en)
Other versions
KR20120034808A (ko
Inventor
푹-투에 레딘
촌-탐 레딘
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120034808A publication Critical patent/KR20120034808A/ko
Application granted granted Critical
Publication of KR101284469B1 publication Critical patent/KR101284469B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

블록 아티팩트 경감 시스템이 제공된다. 본 발명의 일부 실시형태에 따른 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치는, 이미지 신호의 제 1 프레임 및 이미지 신호의 제 2 프레임으로부터 모션 신호를 검출하는 모션 검출 유닛; 제 2 프레임에 기초한 블록 경계 위치들, 및 제 2 프레임과 모션 신호에 기초한 보정 강도를 결정하는 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (BOMCS) 유닛; 및 보정된 이미지 신호를 출력하기 위해, 블록 경계 위치들 및 보정 강도에 기초하여 제 2 프레임을 필터링하는 인텐시티 필터를 포함한다.

Description

블록 아티팩트 경감기{BLOCK ARTIFACT REDUCER}
관련 출원
본 출원은, 2009년 7월 21일자로 출원된 미국 가출원 제61/227,415호, 및 2010년 7월 12일자로 출원된 미국 비 가출원 제12/834,731호에 대한 우선권을 주장하고, 그 양자 모두가 참조로서 완전히 포함된다.
배경
기술분야
본 발명은 디지털 이미지 처리에 관한 것으로, 더 상세하게는, 블록-인코딩된 이미지에서 블록 아티팩트 (block artifact) 들을 경감시키는 것에 관한 것이다.
블록-기반 이산 코사인 변환 (discrete cosine transform; DCT) 은 ITU-T H261, H263, H264, ISO JPEG, MPEG-1, 및 MPEG-2 를 포함하는 다수의 표준 비디오 압축 방법에 이용되는 압축 기술이다. DCT 를 수행하기 위해, 이미지가 먼저 블록들로 분할된다. DCT 가 블록들 각각의 로우 및 칼럼 각각에 적용되어 변환 계수 어레이를 생성한다. 통상의 변환 계수 어레이에서, 각각의 블록에서의 (0,0) 엘리먼트는 DC (제로 주파수) 성분이고, 증가하는 수직 및 수평 지수 값들을 갖는 엔트리들은 이미지의 더 높은 수직 및 수평 공간 주파수들을 나타낸다.
블록-기반 DCT 에 의한 하나의 일반적 문제는, 낮은 비트 레이트에서 이미지가 압축되는 경우, 지각할 수 있는 아티팩트들을 생성할 수 있다는 것이다. 하나의 이러한 아티팩트는 이미지의 스무드한 톤의 구역들에서 특히 가시적인 블록 구조들의 출현이다. 또한, 이미지 시퀀스에서, 압축 인코더에서의 불충분한 비트 레이트 할당은, 고속 이동 구역들에서 또는 장면 변경 동안에 블록화 아티팩트들을 악화시킬 수 있다. 블록 아티팩트 경감 (block artifact reduction; BAR) 을 위한 기존의 기술들이 존재하지만, 대부분의 기존의 방법들은, 알고 있거나 쉽게 검츨가능한 블록 경계들 및/또는 블록 사이즈들을 요구한다. 그러나, 크로핑 (cropping) 및 다세대 재인코딩 (multi-generation re-encoding) 과 같은 일부 일반적 이미지 조작들은, 블록 경계 위치들을 검출하는 것을 어렵게 할 수 있다. 온라인 비디오 스트리밍과 같은 미디어에서 일반적인 적절한 이미지 조작 기술들을 이용하여 이미지들이 생성되지 않은 경우, 블록 경계 정보가 종종 왜곡되거나 손상된다. 따라서, BAR 에 대한 다수의 공지된 방법들이 이용될 수 없다.
따라서, 블록 사이즈들을 알 수 없는 이미지 시퀀스들에 더 적합하고 또한 고속 이동 구역들에서의 블록화 아티팩트들을 경감시키는 것이 가능한 효과적인 블록 아티팩트 경감 방법들을 제공할 필요가 있다.
블록 아티팩트 경감 시스템이 제공된다. 본 발명의 일부 실시형태에 따른 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치는, 이미지 신호의 제 1 프레임 및 이미지 신호의 제 2 프레임으로부터 모션 신호를 검출하는 모션 검출 유닛; 제 2 프레임에 기초한 블록 경계 위치들, 및 제 2 프레임과 모션 신호에 기초한 보정 강도를 결정하는 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (block border offset and motion-based correction strength determination; BOMCS) 유닛; 및 보정된 이미지 신호를 출력하기 위해, 블록 경계 위치들 및 보정 강도에 기초하여 제 2 프레임을 필터링하는 인텐시티 필터 (intensity filter) 를 포함한다.
본 발명의 일부 실시형태에 따른 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법은, 이미지 신호의 제 1 프레임 및 이미지 신호의 제 2 프레임으로부터 모션 신호를 결정하는 단계; 제 2 프레임으로부터 블록 경계 위치들을 결정하는 단계; 제 2 프레임 및 모션 신호로부터 보정 강도를 결정하는 단계; 및 보정된 이미지 신호를 출력하기 위해, 블록 경계 위치들 및 보정 강도에 따라 제 2 프레임을 필터링하는 단계를 포함한다.
본 발명의 이들 실시형태들 및 다른 실시형태들을 다음 도면들을 참조하여 더 후술한다.
도 1a 는 본 발명에 부합되는 블록 아티팩트 경감기의 일 실시형태의 블록도를 도시한 것이다.
도 1b 는 본 발명에 부합되는 블록 아티팩트 경감기의 또 다른 실시형태의 블록도를 도시한 것이다.
도 2 는 본 발명에 부합되는 고속 모션 검출의 일 실시형태의 블록도를 도시한 것이다.
도 3 은 본 발명에 부합되는 임베디드 모션 추정 및 고속 모션 검출 유닛의 일 실시형태의 블록도를 도시한 것이다.
도 4 는 본 발명에 부합되는 블록 경계 오프셋 및 모션-기반 보정 강도 검출 유닛의 블록도를 도시한 것이다.
도 5a 는 본 발명의 일부 실시형태에 이용될 수 있는 고주파수 및 에지 보존 적응 필터의 블록도를 도시한 것이다.
도 5b 는 본 발명에 부합되는 고주파수 및 에지 보존 적응 필터의 일 실시형태의 블록도를 도시한 것이다.
도 6 은 본 발명에 부합되는 수직 인텐시티 적응 윈도우 필터링 유닛의 일 실시형태의 블록도를 도시한 것이다.
도 7 은 본 발명에 부합되는 수평 인텐시티 적응 윈도우 필터링 유닛의 일 실시형태의 블록도를 도시한 것이다.
블록화 효과는 비교적 낮은 비트 레이트에서 동작하는 블록-기반 코덱으로부터 일반적으로 초래되는 가시적 아티팩트이다. 디코딩된 이미지 상에서 가시적인 정사각형 또는 직사각형 구조들은 오리지널 이미지를 왜곡시킨다. 블록 구조들은 특히, 비교적 고른 톤의 구역들 및 고속 이동 구역들에서 표명된다.
본 발명에 부합되는 블록 아티팩트 경감 (block artifact reducing; BAR) 필터의 일부 실시형태는, 이미지의 블록 경계 위치들의 명백한 정보 없이 블록화 아티팩트들을 모션 정보에 상관시키는 방법을 제공한다. 따라서, 본 발명의 일부 실시형태에 따른 BAR 필터는 블록화 아티팩트 검출 및 보정 양쪽 모두를 위해 일반적 공간 전용 BAR 을 시간적 및 공간적 적응 알고리즘으로 변환하는 것이 가능하다. 또한, 블록화 아티팩트들을 경감시키기 위해, 본 발명에 따른 BAR 필터의 일부 실시형태는 이미지 세그먼트화에 따른 픽셀 당 필터링 강도, 블록 경계들의 강도, 및 글로벌 및 로컬 모션의 양을 조정한다.
도 1a 는 본 발명에 부합되는 블록화 효과를 경감시키기 위한 BAR 필터 (10) 의 일 실시형태를 도시한 것이다. BAR 필터 (10) 는 모션 검출 유닛 (6), 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (block border offset and motion-based correction strength determination; BOMCS) 유닛 (7), 및 인텐시티 필터링 유닛 (5) 을 포함한다. BAR 필터 (10) 는 이미지 신호 (X(t); 12) 및 이 신호의 프레임 지연된 버전 (X(t-1); 11) 을 수신한다. 모션 검출 유닛 (6) 은 이 신호들 X(t) (10) 와 X(t-1) (11) 을 비교하여 모션 추정 신호 (EMEC; 21) 를 출력한다. EMEC (21) 는 이미지 신호들 X(t) (10) 와 X(t-1) (11) 사이의 모션 추정값을 나타낸다. BOMCS 유닛 (7) 은 라인 검출을 이용하여 이미지 신호 (X(t)) 의 블록 경계 위치들 (Bloc; 17) 을 검출한다. 라인 검출의 결과가 누산되어 이미지 신호 (X(t); 10) 에서의 블록 경계들의 출현율 (prevalence) 을 결정한다. 블록 경계들의 출현율은 미리 결정된 값들의 세트와 비교되어 이미지 신호 (X(t)) 의 압축 레벨을 결정한다. 그 후에, 모션 추정 신호 (EMEC; 21) 에 따라 압축 레벨을 스케일링함으로써 보정 강도 (correction strength (CS); 22) 신호가 결정된다. 인텐시티 필터링 유닛 (5) 은 BOMCS (7) 로부터 블록 경계 위치 (Bloc; 17) 및 보정 강도 (CS; 22) 를 수신한다. 인텐시티 필터링 유닛 (5) 은, Bloc (17) 에 의해 CS (22) 에 따라 블록 경계 상에 있는 것으로 식별되는 이미지 신호 X(t) (10) 에서의 픽셀들을 필터링하여, 블록 아티팩트 보정된 이미지 신호 (Xout; 16) 를 생성한다. 따라서, 종래의 공간 전용 BAR 방법들과 비교하면 블록화 아티팩트들을 더 효과적으로 경감시킬 수도 있는 시간 및 공간 정보 양쪽 모두에 기초하여 Xout (16) 이 보정된다.
도 1b 는 본 발명에 부합되는 블록화 아티팩트들을 경감시키기 위한 BAR 필터 (100) 의 또 다른 실시형태를 도시한 것이다. BAR 필터 (100) 는 선필터링 유닛 (pre-filtering unit; 101), 이미지 인텐시티 세그먼트화 (image intensity segmentation; IIS) 유닛 (102), 고주파수 및 에지 보존 적응 필터 (high frequency and edge preserving adaptive filter (HEPAF); 103), 수직 인텐시티 적응 윈도우 필터 (vertical intensity adaptive window filter (VIAWF); 104), 수평 인텐시티 적응 윈도우 필터 (horizontal intensity adaptive window filter (HIAWF); 105), 고속 모션 검출 유닛 (106), 및 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (BOMCS) 유닛 (107) 을 포함한다.
도 1b 에 도시된 BAR 필터 (100) 는 2개의 입력들, 즉, 이미지 데이터 (Y(t); 111) 및 프레임 지연된 이미지 데이터 (Y(t-1); 112) 를 갖는다. 프레임 지연된 이미지 데이터 (Y(t-1); 112) 가 고속 모션 검출 유닛 (106) 에 공급되고; 이미지 데이터 (Y(t); 111) 가 BOMCS 유닛 (107) 및 선필터링 유닛 (101) 에 공급된다. 선필터링 유닛 (101) 은, 이미지 데이터 (Y(t); 111) 를 필터링하여 선필터링된 이미지 데이터 (Ytmp; 113) 를 생성하는 잡음 경감 필터이고, 그 선필터링된 이미지 데이터 (Ytmp; 113) 는 IIS 유닛 (102), VIAWF 유닛 (104), 및 HFEPAF (103) 에 의해 이용된다. 선필터링 유닛 (101) 은 랜덤 잡음 또는 모스키토 (mosquito) 잡음 필터들과 같은 다수의 공지된 잡음 필터들 또는 다수의 필터들의 조합일 수 있다.
고속 모션 검출 유닛 (106) 은 2개의 이미지 데이터 신호들 Y(t) 와 Y(t-1) 을 비교하여 로컬 고속 모션 선택 신호 (120) 및 임베디드 모션 추정 카운트 (EMEC) 신호 (121) 를 생성한다. IIS 유닛 (102) 은 선필터링된 이미지 신호 (113) 와 로컬 고속 모션 선택 신호 (120) 를 수신하여 적응 임계값 (119) 을 생성한다. BOMCS 유닛 (107) 은 EMEC 신호 (121) 와 이미지 데이터 (Y(t)) 를 수신하여 수평 및 수직 블록 경계 위치 신호들 (117 및 118) 및 블록 경계 보정 강도 (CS) 신호 (122) 를 생성한다. HFEPAF 유닛 (103) 은 선필터링된 이미지 신호 (Ytmp; 113) 를 필터링하여, 적응 인텐시티 필터링된 신호 (Yadp; 114) 를 VIAWF (104) 에 공급한다. VIAWF (104) 는 적응 인텐시티 필터링된 신호 (Yadp; 114), 적응 임계값 (119), 보정 강도 신호 (122), 및 수평 블록 경계 위치 신호 (117) 에 따라, 선필터링된 이미지 신호 (Ytmp; 113) 를 필터링하여, 수직 보정된 값 (Yvert; 115) 을 생성한다. 적응 임계값 (119), 수직 블록 경계 위치 신호 (118), 및 보정 강도 신호 (122) 에 따라, 수직 보정된 값 (Yvert; 115) 이 HIAWF 유닛 (105) 에 의해 더 필터링된다. HIAWF (105) 는 BAR 시스템 (100) 으로부터의 출력 신호 및 보정된 이미지 신호인 출력 신호 (116) 를 생성한다.
도 1b 에서, 이미지들 Y(t) (111) 및 그의 프레임 지연 버전 Y(t-1) (112) 을 나타내는 입력 데이터는 이미지 루미넌스 인텐시티 신호 (image luminance intensity signal) 들이다. 이미지 데이터의 크로미넌스 입력 (Chrominance input) 들은, 크로미넌스 입력들이 상이한 샘플링 패턴들을 이용한다는 점을 제외하면, 루미넌스 입력들과 유사하게 처리된다. 따라서, 크로미넌스 신호들에 대한 BAR 시스템이 BAR 시스템 (100) 과 실질적으로 동일하기 때문에 그 크로미넌스 신호들에 대한 BAR 시스템의 상세한 설명을 생략한다.
도 1b 에 이용될 수도 있는 엘리먼트들 (102 내지 107) 각각의 일 실시형태를 도 2 내지 도 7 을 참조하여 더 상세히 설명한다.
도 1b 에서의 BAR 시스템 (100) 의 실시형태가 랜덤 잡음 및 모스키토 잡음 경감을 위해 선필터링 유닛 (101) 을 포함하지만, 선필터링 유닛 (101) 이 또 다른 실시형태에서는 생략될 수도 있어, 이미지 신호 (Y(t)) 가 IIS 유닛 (102), VIAWF 유닛 (104), 및 HFEPAF 유닛 (103) 에 직접 공급될 수 있다. 또한, BAR 시스템 (100) 은 다양한 아티팩트들을 처리하기 위한 포스트-디코더 프로세서 (post-decoder processor) 의 일부일 수도 있다.
도 2 는 본 발명의 몇몇 실시형태에 부합되는 고속 모션 검출 (HMD) 유닛 (106) 의 일 실시형태를 도시한 것이다. HMD 유닛 (106) 은 높은 콘트라스트 및 고속 이동 구역들에서 더 명확해지는 블록화 효과를 활용한다. 트루 모션 벡터 추정 (true motion vector estimation) 이 유사한 기능을 수행할 수도 있지만, MPEG 비트 스트림 액세스를 이용하더라도, 대부분의 경우 불필요하게 비용이 많이 든다. HMD 유닛 (106) 은 모션 강도 추정을 위한 이미지 차분 및 형상 적응 윈도우 평균 기술을 이용한다. 이미지 신호 (Y(t); 111) 와 그의 프레임 지연 버전 (Y(t-1); 112) 이 HMD (106) 에 제공된다. 이미지 신호들은 일반적으로 잡음이 많기 때문에, Y(t) 및 Y(t-1) 로부터 생성되는 이미지 차분 (Yd; 611) 이 2D LP 필터 (602) 에 의해 필터링되어, 필터링된 차분 신호 (Yfd; 612) 를 생성한다.
필터 (602) 는 적절한 감쇠를 제공하는 임의의 로우 패스 필터일 수 있다. 일부 실시형태에서, 다음의 임펄스 응답들 중 하나:
Figure 112012013663242-pct00001
(1)
또는
Figure 112012013663242-pct00002
(2)
가 LP 필터 (602) 에 이용될 수 있다.
필터링된 신호 (Yfd; 612) 가 형상 적응 윈도우 (shape adaptive window (SAW); 603) 에 제공된다. SAW (603) 는, 윈도우에서의 픽셀들을, 2세트, 즉, 중심 기준 픽셀의 아래 또는 위의 소정의 임계값 (SAW 임계값) 내의 값을 갖는 픽셀들과, 그 범위 내에 있지 않는 픽셀들로 분류하도록 동작한다. 형상 적응 윈도우의 제 1 출력 (613) 은 픽셀 유사도 (ωs) 이다. 제 2 출력 (614) 은 윈도우에서의 유사 픽셀들의 수 (Ns) 의 역의 값이다. 예를 들어, Y 가 윈도우 (603) 로의 입력 신호인 경우, 이들 정의들은 다음과 같이 표현될 수 있다:
Figure 112012013663242-pct00003
(3)
SAW (603) 의 출력 신호들 (613 및 614) 은, 높은 잡음 이미지 차분 (Yd; 611) 에 대한 로컬 평균을 계산하기 위한 로컬 평균 계산 유닛 (604) 에 의해 이용된다. 정지 구역들에서조차, 출력 신호 (615) 는 여전히 잡음이 많을 수도 있기 때문에, 임계값 (MTh; 616) 을 갖는 코어링 시스템 (605) 이 이용될 수도 있다. 코어링 시스템 (605) 은, 모션 벡터 길이 및 신호 인텐시티 측면에서 추정된 모션 강도일 수 있는 Mest-Y-abs (617) 의 절대값을 출력한다. 코어링 시스템에 의해 이용되는 기술은 임베디드 모션 추정과 유사할 수 있다. 로컬 모션 추정 신호 (Mest-Y-abs; 617) 는, 로컬 모션 검출 (LMOT) 신호 (618) 를 생성하는데 Local-Mot-Th 의 임계값을 이용하는 로컬 모션 검출 유닛 (609) 에 제공된다. 또한, Mest-Y-abs (617) 는 Bar-Mot-Th 의 임계값을 갖는 프레임-기반 모션 검출 유닛 (606) 을 통과한다. 누산기 (607) 는, 검출된 모션 이벤트들을 카운트하고, 글로벌 검출 유닛 (608) 과 마이크로프로세서 (731) 양쪽 모두에 제공되는 임베디드 모션 추정 카운트 (EMEC) 신호 (121) 를 출력하며, 그 마이크로프로세서 (731) 를 도 3 을 참조하여 더 상세히 설명한다. 미리 결정된 임계값 (Global-Th) 을 갖는 글로벌 모션 검출 유닛 (608) 은, EMEC 신호 (121) 를 수신하고, 글로벌 모션 검출 (GMOT) 신호 (619) 를 출력한다. 저 레이턴시 동작의 경우, 다음 입력 이미지 프레임에 대해 글로벌 검출 유닛 (619) 의 결과가 이용될 수도 있다. AND 게이트 (610) 는 LMOT (618) 와 GMOT (619) 를 조합하여 고속 모션 선택 신호 (120) 를 생성한다. 도 1b 에 도시된 인텐시티 적응 윈도우 필터링 유닛들 (104 및 103) 에 그 고속 모션 선택 신호 (120) 가 제공된다.
일부 실시형태에서, 프레임-기반 모션 검출 유닛 (606) 은 32 의 임계값 (Bar-Mot-Th) 을 이용한다. 일부 실시형태에서, 로컬 모션 검출 유닛 (609) 은 8 의 임계값 (Local-Mot-Th) 을 이용한다. 일부 실시형태에서, 로컬 모션 검출 유닛 (608) 은 32 의 임계값 (Global-Th) 을 이용한다. 또한, 이들 유닛들에 대해 다른 임계값들이 이용될 수도 있다. 일반적으로, 임계값들이 클수록 입력 이미지의 보정을 더 많이 야기한다.
도 3 은 도 1b 에 도시된 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (BOMCS) 유닛 (107) 을 예시한 것이다. HMD 유닛 (106) 으로부터의 프레임-기반 임베디드 모션 추정 카운트 (EMEC; 121) 및 고잡음 이미지 Y(t) (111) 가 BOMCS (107) 의 2개의 입력들이다. BOMCS (107) 는 블록 경계 위치 신호들 (117 및 118) 및 프레임-기반 보정 강도 신호 (122) 를 생성한다. 도 1b 에 도시된, 필터링되고 잡음-경감된 Ytmp (113) 가 일부 실시형태에서는 Y(t) 대신에 입력으로서 이용될 수도 있다.
인커밍 이미지 신호 Y(t) 가 수직 라인 검출기 (701) 및 수평 라인 검출기 (702) 에 제공된다. 수직 및 수평 라인 검출기들 (701 및 702) 이 임의의 에지 검출 필터들을 이용할 수도 있다. 예를 들어, 다음의 임펄스 응답들:
Figure 112012013663242-pct00004
(4)
이 각각 이용될 수도 있다.
대안적으로, 수직 및 수평 라인 검출기들이 또한 다음 쌍:
Figure 112012013663242-pct00005
(5)
으로 설명될 수도 있다.
픽셀이 수직 경계 상에 있는지를 예비적으로 결정하기 위한 수직 경계 테스트 (703) 에 필터 출력 (751) 이 전송된다. 수직 경계 테스트 (703) 는 잘못된 검출을 경감시키도록 동작하고, 신호 (751) 의 진폭 및 부호 양쪽 모두에 기초할 수도 있다. 픽셀 좌표 (x, y) 에 대한 결과적인 바이너리 출력 (753) 이 수평 카운터들 (705 내지 720) 에게 전송된다. 한 번에, [x] 모듈러스에 대응하는 하나의 수평 카운터 (705 내지 720) 가 활성화된다. 각각의 카운터는 이미지의 하나의 픽셀 칼럼에서의 수직 경계 상에 있을 가능성이 있는 픽셀들의 수의 카운트를 저장한다. 유사하게, 픽셀이 수평 경계 상에 있는지를 예비적으로 결정하기 위한 수평 경계 테스트 (704) 에 필터 출력 (752) 이 전송된다. 픽셀 좌표 (x, y) 에 대한 결과적인 바이너리 출력 (754) 이 수직 카운터들 (721 내지 736) 에게 전송된다. 한 번에, [y] 모듈러스에 대응하는 하나의 수직 카운터만이 활성화된다. 각각의 카운터는 이미지의 하나의 픽셀 로우에서의 수평 경계 상에 있을 가능성이 있는 픽셀들의 수의 카운트를 저장한다.
카운터 출력들 (Ch0 내지 Ch15 및 Cv0 내지 Cv15) 이 추가의 분석을 위해 통합 마이크로프로세서 (731) 에 전송된다. 그 분석은 2개의 부분들, 즉, 블록 경계 오프셋 검출 (block border offset detection (BOD); 750) 과 자동 블록 아티팩트 지수 (automatic block artifact index (ABAI); 752) 를 포함한다.
자동 블록 아티팩트 지수 (ABAI; 752) 계산은 표시자들 중 2개의 타입, 즉, 1) 프레임-기반 임베디드 모션 추정 카운터 (EMEC; 121) 와 2) 프레임-기반 카운터들 (Ch0 내지 Ch15 및 Cv0 내지 Cv15) 의 그룹에 주로 기초한다. 프레임-기반 카운터들 (Ch0 내지 Ch15 및 Cv0 내지 Cv15) 중 가장 우세한 것을 결정하는 것은, 가장 가능성 있는 블록 아티팩트 오프셋을 나타낼 수도 있다. 이를 행하기 위해, ABAI 는 우선, 누산된 카운터들의 값들을 상관시켜, "블록 현상 (blockiness)" 의 다양한 레벨들을 나타내는 값들을 경험적으로 미리 결정한다. 콘텐츠의 표준 세트 전반에 걸친 다수 레벨의 압축으로부터 기인하는 본질적인 블록화 아티팩트를 측정함으로써, 이들 미리 결정된 값들이 획득된다. 블록 오프셋 카운터들의 세트들을, 최상의 것이 압축 레벨, 또는 역으로는, 블록 현상의 정도를 나타내는 세트와 매칭시킴으로써, 자동 프레임-기반 블록 보정 강도를 획득할 수도 있다.
그러나, 이러한 자동 블록 보정 강도값이 수가지 원인들 (GOP (group of picture) 구조, 오버레이 민감성 검출 모듈 등) 로 인해 2개 이상의 연속 프레임들 간에서 크게 변동할 수도 있기 때문에, 자동 블록 보정 강도 이력 (history) 이 마이크로프로세서 (731) 에서 유지될 수도 있다. 자동 블록 보정 강도 이력에 의하면, 보다 단순한 애플리케이션들에서의 누진 평균값을 획득하도록 자동 블록 보정 강도가 다수의 프레임들에 걸쳐 유지되어 처리 변동들을 최소화한다. 또한, 블록화 아티팩트들이 프레임들의 제 2 세트에 비해 프레임들의 제 1 세트에 대해 더 명백할 수도 있다는 것을 인식한다면, 그 프레임들의 제공된 블록 보정 강도가, 검출된 GOP 구조에 매핑될 수 있다. 이것은, 획득된 값의 주기성 (만약 있다면) 을 검출하는 제 2 저장 이력을 이용하여 달성될 수도 있다.
그 후에, 자동 블록 보정 강도를 변조시키는데 EMEC 신호 (121) 가 이용되어, 보정 강도 (CS) 를 생성할 수도 있다. 일부 실시형태에서, CS 는 누진 평균값의 특정 범위 내에서 유지된다. 프레임 대 프레임으로부터 제시되는 모션의 양을 나타냄으로써, EMEC (121) 는, 1) 고속 모션이 검출되는 경우에 제공되는 보정 강도를 증가시키거나, 또는 2) GOP 주기성 검출을 완화하도록 고려된다.
BOD (750) 는 경계 오프셋을 제공하고, 프레임-기반 카운터들 (Ch0 내지 Ch15 및 Cv0 내지 Cv15) 에 재저장된 값들로부터 수평 경계 위치 신호 (117) 및 수직 경계 위치 신호 (118) 를 생성한다. 높은 카운터값은 블록 경계의 가능성 있는 위치를 나타낸다. 도 1b 에 도시된 수직 및 수평 인텐시티 적응 윈도우 필터링 유닛들 (VIAWF 및 HIAWF) (104 및 105) 을 제어하는데 GOP 및 BOD 로부터의 출력들이 이용된다.
BOD (750) 가 소프트웨어에 의해 구현될 수도 있다. ABAI (752) 의 소프트웨어 구현은, BOD (750) 와 병렬로 실행될 수도 있고, 동일한 카운터들을 임베디드 모션 추정 카운터 (121) 와 함께 이용하여, 프레임마다 기초하여 요구되는 필터링의 강도를 결정한다.
도 4 는 도 1b 에 도시된 이미지 인텐시티 세그먼트화 (IIS) 유닛 (102) 의 블록도를 도시한 것이다. IIS 유닛 (102) 은 이미지 분류 카드 (204) 및 임계 맵 (205) 을 제공하여, 도 1b 에 도시된 2개의 인텐시티 적응 윈도우 필터링 유닛들 (104 및 105) 에 대한 적응 임계값 (119) 을 결정한다. IIS 유닛 (102) 은, 에지 검출 (edge detection; ED) 유닛 (201), 로컬 표준 편차 추정기 (local standard deviation estimator; LSDE) (202), 및 보호형 고주파수 검출기 (protected high frequency detector; PHFD) (203) 에 제공되는 입력 신호 (Ytmp; 113) 를 갖는다.
ED 유닛 (201) 은 고성능 에지 검출기일 수 있다. 대안적으로, ED 유닛 (201) 은 소벨 (Sobel) 또는 프리윗 (Prewitt) 연산자들, 또는 소벨 또는 프리윗 컴퍼스 (compass) 들에 단순히 기초할 수 있다. 소벨 및 프리윗 연산자들은, 여기에 참조로 완전히 포함되는, Cherri, Abdallah K. 및 Karim, Mohammad 의 "Optical symbolic substitution - Edge detection using Prewitt, Sobel, and Roberts operators (Applied Optics (ISSN 0003-6935), vol. 28, Nov. 1, 1989, p. 4644-4648)" 에 상세히 기재되어 있다. ED 유닛 (201) 의 일부 실시형태에서는, 4방향에 대한 3×3 소벨 컴퍼스들이 이용될 수도 있다. 각각의 픽셀에서 입력 신호 (Ytmp; 113) 의 이미지 인텐시티의 구배 (gradient) 를 계산하기 위해, 입력 신호 (Ytmp; 113) 가 소벨 또는 프리윗 연산자와 콘볼루션된다. 그 결과는, 이러한 픽셀에서 어떻게 이미지가 "갑자기" 또는 "스무드하게" 변하는지, 그에 따라 이미지의 일부가 에지를 나타낼 가능성이 얼마나 있는지를 나타낸다.
소벨 및 프리윗 연산자들 양쪽 모두는, 오리지널 이미지와 콘볼빙되는 2개의 3×3 커널들을 이용하여, 미분 근사 (수평 변경에 대한 것과, 수직 변경에 대한 것) 를 계산한다. 우리가 A 를 소스 이미지로 정의하고, Gx 및 Gy 가 각각의 포인트에서 수평 및 수직 미분 근사를 포함하는 2개의 이미지들인 경우, 소벨 연산자는:
Figure 112012013663242-pct00006
(6)
에 의해 연산된다.
프리윗 연산자는:
Figure 112012013663242-pct00007
(7)
에 의해 연산된다.
Figure 112012013663242-pct00008
로 계산되는, 소벨 또는 프리윗 콘볼루션 출력들의 절대값들의 합 이후에, 임계 비교기 및 일부 바이너리 콘텍스트-기반 필터들이, 동떨어진 결정을 제거하고/하거나 누락된 결정을 부가하도록 제공될 수 있다. 그 후에, ED 유닛 (201) 은 바이너리 신호 (211) 로서의 에지 검출의 결과를 인텐시티 이미지 분류 (intensity image classification; IIC) 유닛 (204) 에 제공한다.
LSDE 유닛 (202) 은 입력 신호 (Ytmp; 113) 의 로컬 표준 편차를 추정한다. 추정의 정밀도를 향상시키는데 슬라이딩 윈도우가 이용될 수도 있다. LSDE (202) 에서의 슬라이딩 윈도우는, 픽셀들을, 2개의 그룹들, 즉, 중심 기준 픽셀로부터의 임계값 내에 있는 값들을 갖는 픽셀들과, 그 범위 외의 픽셀들로 분류하는 로컬 세그먼트화를 이용할 수 있다. 임계 범위 내로 분류되는 픽셀들에만 평균 및 표준 편차가 계산된다. LSDE 출력 (212) 이 IIC 유닛 (204) 에 제공된다.
PHFD 유닛 (203) 은 보호 맵 신호 (213) 를 생성하고, 그 보호 맵 신호 (213) 는 보정으로부터 보호될 고주파수 이미지 구역들에서의 픽셀들을 식별한다. PHFD (203) 는 입력 신호 (Ytmp; 113) 를 수신하고, 라플라시언 3×3 필터, 임계 비교기, 및 가산 및 제거 바이너리 필터들에 기초할 수 있다. 예를 들어, PHFD (203) 에서 이용되는 가능성 있는 라플라시언 필터의 임펄스 응답은:
Figure 112012013663242-pct00009
(8)
로 주어질 수도 있다.
8비트 이미지 데이터를 이용하는 일 실시형태에서, 임계값은 48 로 설정될 수도 있다. 10비트 이미지 입력의 경우, 임계값에 4 를 승산하여, 유사한 결과를 달성할 수도 있다. 또한, 다른 고주파수 검출 방법들이 이용될 수도 있다. PHFD (203) 는 이미지 입력 (Ytmp) 의 픽셀 고주파수 영역들을 나타내는 보호 맵 (213) 을 출력한다.
인텐시티 이미지 분류 (IIC) 유닛 (204) 은 ED (201), LSDE (202), 및 PHFD (203) 로부터의 입력을 이용하여, 이미지 신호 (Ytmp) 의 픽셀들을 등급들로 세그먼트화한다. 5등급 실시형태에서, 등급들 또는 구역들은, 무보정, 텍스처, 에지, 저 텍스처, 및 플랫 (flat) 구역들일 수 있다. 보호 맵 (213) 에 의해 식별되는 픽셀들은 무보정 등급에 위치된다. ED 유닛 (201) 이 에지 상에 있는 것으로 식별한 픽셀들은, 에지 등급에 위치된다. 나머지 픽셀들은, LSDE (202) 에 의해 계산된 로컬 평균 및 로컬 표준 편차의 값에 비교되는 그 나머지 픽셀들의 상대값에 따라, 텍스처, 저 텍스처, 및 플랫 구역 등급들로 분리된다. 그 후에, IIC (204) 의 출력 신호 (214) 가 임계 맵 설정 유닛 (205) 에 전송된다.
임계 맵 설정 유닛 (205) 은 IIC (204) 의 출력 (214) 을 기본 임계값들 (215) 의 세트로 컨버팅한다. 8비트 이미지 입력 실시형태에서, 기본 임계값들은 다음과 같을 수 있다:
무보정-임계값 = 0
텍스처-임계값 = 2
에지-임계값 = 3
저 텍스처-임계값 = 6
플랫-임계값 = 12 (9)
대안적인 실시형태들에서, 상이한 값들이 이용될 수도 있다.
임계 신호 (215) 가 모션 이득 제어 유닛 (206) 에서 더 조정되고, 그 모션 이득 제어 유닛 (206) 은 기본 임계값들을 모션 정보와 조합시킨다. 모션 이득들은, 가변 이득값 (216) 에 따라, 예를 들어, 1, 1.5, 2, 또는 4 일 수 있다. 가변 이득은, 예를 들어, 유저 인터페이스에 의해 획득될 수 있고, 입력 이미지의 일반적인 품질을 결정하여 그에 따라 이득에 영향을 미치는 선처리 (pre-processing) 분석 블록에 의해 선택될 수 있고, 또는 소프트웨어 또는 그 외의 것으로 미리 설정될 수도 있다. 도 1b 및 도 2 에 도시된 고속 모션 검출 유닛 (106) 에 의해 공급되는 로컬 고속 모션 선택 신호 (120) 는, 가변 이득이 제공되는지를 제어한다. 로컬 고속 모션 선택 신호 (120) 는, 임계값들 (215) 이 모션 이득 (216) 으로 승산되는지, 또는 이미지 세그먼트화된 기본값들 (215) 이 적응 임계값 (119) 으로서 출력되는지를 결정한다. 이미지 인텐시티 세그먼트화 (IIS) (102) 의 적응 임계값 신호 출력 (119) 이, 도 1b 에 예시된 수직 및 수평 인텐시티 적응 윈도우 필터링 (VIAWF, HIAWF) 유닛들 (104 및 105) 양쪽 모두에 전송된다.
도 5a 는 에지 보존 적응 필터 (103a) 의 블록도를 도시한 것이다. 일반적으로, 에지 보존 적응 필터 (103a) 는 상세 보존 고성능 잡음 경감기 (NR) 로서 이용될 수도 있다. 도 5a 에 예시된 에지 보존 적응 필터는, Ytmp (113) 을 입력 신호로서 수신하고, 병렬로 연결된 4방향성 로우 패스 (LP) 필터들 LP0°(320), LP45°(322), LP90°(324), 및 LP135°(326) 에 기초한다. 이들 필터들의 필터 임펄스 응답은, 3개의 탭 (1, 2, 1)/4 로 이루어진다. 상세 보존 적응 필터는 B. Ramamurthi 및 A. Gersho 의 "Nonlinear Space-variant for block coded images (vol ASSP-34, October 1986, pp 1258-1268)" 에 기재되어 있고, 여기에 참조로 완전히 포함된다. LP 필터들 (320, 322, 324, 및 326) 로부터의 출력 신호 및 미필터링된 입력 신호 (Ytmp; 113) 가 방향성-기반 필터 선택기 (328) 에 제공되고, 그 방향성-기반 필터 선택기 (328) 는 방향 및 보호 결정 유닛 (223) 에 의해 출력되는 방향 맵 (301) 에 의해 구동된다. 잡음 경감기로서, 도 5a 에 도시된 구성은 몇가지 결점을 갖는다. 우선, 명백히 보호되는 존 (zone) 들을 제외한 모든 다른 구역들에 대해 필터링이 수행된다. 부가적으로, 블록 경계들만의 필터링은 블록화 아티팩트를 방지하는데 충분하지 않을 수도 있다. 따라서, 시스템이 블록화 아티팩트를 보다 충분히 경감시킬 필요가 있다.
도 5b 는 본 발명에 부합되는 고주파수 및 에지 보존 적응 필터 (HEPAF) (103b) 의 일 실시형태의 블록도를 도시한 것이고, 일부 실시형태는 도 3a 에 도시된 실시형태의 결점들을 해결한다. 도 5b 에 도시된 HEPAF 유닛 (103b) 은, 평균 제곱 오차를 최소화하고 모스키토 잡음 경감에 적합한 형상 적응 윈도우 필터에 기초한 잡음 경감 유닛이다. HEPAF (103b) 에서는, 입력 신호 (Ytmp; 113) 가 2D 로우 패스 필터 (301), 평균 계산 유닛 (303), 감산기 (306), 및 분산 계산 유닛 (304) 에 제공된다. 3×3 로우 패스 필터 (301) 의 일 예가 다음의 임펄스 응답:
(10)
으로 실현될 수 있다.
또한, 다른 잡음 경감 필터들이 이용될 수도 있다. 로우 패스 신호 출력 (Y; 311) 이 슬라이딩 형상 적응 윈도우 (SAW) (302) 에 제공된다. SAW (302) 는, 도 2 를 참조하여 이전에 설명한 SAW (603) 와 유사하게, 윈도우에서의 픽셀들을 2개의 세트들로 분류하도록 동작한다. SAW (302) 는, 픽셀 유사도를 나타내는 제 1 출력 (ωij; 312), 및 윈도우에서의 유사 픽셀들의 수 (N) 의 역의 값인 제 2 출력 (313) 을 출력한다. SAW (302) 로부터의 출력들 모두가 분산 계산 유닛 (304) 및 평균 계산 유닛 (303) 에 제공된다.
평균 계산 유닛 (303) 은, 유사한 인텐시티 픽셀들의 세트에 대해 정의되는 로컬 평균 인텐시티 출력 (Ym; 314) 을 제공한다:
Figure 112012013663242-pct00011
(11)
분산 계산 유닛 (304) 은 유사한 인텐시티 픽셀들의 세트에 대해 정의되어 신호 분산값 (315) 을 제공한다. 일반적으로, 신호 분산은 다음과 같이 정의될 수 있다:
Figure 112012013663242-pct00012
(12)
또한, 평균 및 분산 계산의 다른 방법들이 이용될 수도 있다.
신호 분산 (315), 잡음 분산 (316), 및 도 2 에 도시된 보호 맵 (213) 이 이득 계산 유닛 (305) 에 제공된다. 잡음 분산 (316) 은 유저 입력에 의해 정의될 수 있고, 필터링의 강도에 대한 조정을 제공한다. SAWF 가 에지 보존 필터이기 때문에, 필요하다면, 고주파수 보호에 대한 변경이, 이득 계산 유닛 (305) 에서 1 과 동일한 이득 (K; 317) 을 설정하는 것으로 이루어진다. 더 상세하게는, 이득의 표현은:
보호 맵 (213) = 1 이면, K = 1 (9)
그렇지 않으면,
Figure 112012013663242-pct00013
(10)
으로 주어질 수 있다.
잡음 분산이 신호 분산을 초과하지 않아야 되기 때문에, K 는 0 과 1 사이에서 억제된다. 따라서, 잡음 분산은, 보호 맵 (213) 에 의해 '1' 이외로 정의된 영역에서의 '블랜드 (blend)' 인자 K 를 직접 제어한다.
도 5b 에 의해 예시된 바와 같이, 함수 유닛들 (306, 307, 및 308) 에 의해 수행되는 신호 출력 (Yadp; 114) 이:
Figure 112012013663242-pct00014
(11)
로 주어진다. 따라서, 픽셀이 보호 맵 (213) 상에 존재하는 경우, K (317) 는 1 과 동일하고, Yadp = Ytmp 이며, 이는 신호 (Ytmp; 113) 가 미필터링되고 신호 (Yadp; 114) 로서 출력된다는 것을 의미한다. 그렇지 않으면, 이득값 (K) 에 따라 Ym 이 조정되어 Yadp 를 생성한다. 도 1b 에 도시된 수직 인텐시티 적응 윈도우 필터링 유닛 (104) 에 Yadp 가 전송된다. HEPAF (103b) 가 도 1b 에 도시되어 있지만, 일부 실시형태에서는, Y(t) 가 잡음이 상당히 적거나 또는 선필터링 유닛 (101) 만으로도 잡음 경감에 충분한 경우, HEPAF (103a 또는 103b) 를 생략할 수 있다. 이러한 경우, 레이턴시 보상을 위해 적절한 지연을 부가함으로써 HEPAF (103) 가 우회될 수 있고, 지연된 Y(t) (111) 또는 Ytmp (113) 가 Yadp (114) 로서 직접 이용될 수 있다.
도 6 은 수직 인텐시티 적응 윈도우 필터링 (VIAWF) 유닛 (104) 의 일 실시형태를 도시한 것이다. 이미지 신호 입력 (Ytmp; 113) 이 수직 인텐시티 적응 윈도우 (vertical intensity adaptive window; VIAW) (401) 및 수직 평균 계산 (vertical mean calculation; VMC) 유닛 (402) 에 제공된다. VIAWF 유닛 (104) 은, 수직 1D 슬라이딩 윈도우 및 0 과 동일한 이득 (K) 을 갖는 SAWF 에 기초한다. 최적화된 시스템 성능을 위해 슬라이딩 윈도우의 치수가 선택되고, 그 치수는 예를 들어 5×1 일 수 있다. 중심 기준 픽셀 인텐시티와 유사한 인텐시티를 갖는지 여부에 따라 VIAW (401) 에 의해 픽셀들이 2개의 그룹들로 분류된다. 픽셀-기반 분류 임계값은, 이전에 설명한 이미지 세그먼트화 유닛 (102) 및 고속 모션 검출 유닛 (106) 으로부터 제공되는 적응 임계값 신호 (119) 이다. 임계값이 상당히 크면, 윈도우에서의 유사 픽셀들의 수가 1 보다 클 수 있다. VIAW (401) 은, 유사한 SAW 필터를 설명하는 식 (3) 에 제시된 것과 유사하게, 2개의 출력들 (410 및 411) 을 제공한다. 출력들 (410 및 411) 이 수직 평균 계산 유닛 (402) 에 의해 수직 로컬 평균 (Yvm; 412) 을 계산하는데 이용된다. HFEPAF 유닛 (103) 으로부터의 적응 인텐시티 필터링된 Yadp (114) 및 수직 로컬 평균 (Yvm; 412) 이, 믹서 (403) 를 통해 BOMCS 유닛 (107) 으로부터의 수평 블록 경계 위치 신호 (117) 및 보정 강도 (CS) (122) 와 결합되어, 수직 보정된 값 (Yvert; 115) 을 제공하여,
수평 경계에서, Yvert = Yadp + (Yvm - Yadp).CS (12)
그렇지 않으면, Yvert = Yadp (13)
이도록 한다.
따라서, CS 가 최대화되고 1 과 동일한 경우, 보정이 최대화된다 (Yvert = Yvm).
이제 도 7 을 참조하면, VIAWF (104) 로부터의 수직 보정된 신호 (Yvert; 115) 가 수평 인텐시티 적응 윈도우 필터링 (HIAWF) 유닛 (105) 에 제공된다. HIAWF (105) 는 수평 인텐시티 적응 윈도우 (501) 및 수평 평균 계산 유닛 (502) 을 포함한다. HIAWF (501) 는, 수평 인텐시티 적응 윈도우 (501) 에 이용되는 윈도우 (501) 가 1D 수평 윈도우인 점을 제외하면, 도 6 을 참조하여 설명한 VIAWF 와 유사하게 기능한다. 또한, 2개의 수직 및 수평 필터링 시스템들이 직렬로 커플링되기 때문에, 단지 수직으로 보정된 이미지 신호 (Yvert; 115) 만이 이미지 입력으로서 공급된다. Yhm 은 평균 계산 유닛 (502) 의 수평 평균 신호 출력 (512) 을 나타내고, 신호 출력 (Yout; 116) 은 다음 식:
수직 경계 마스크에서, Yout = Yvert + (Yhm - Yvert).CS (17)
그렇지 않으면, Yout = Yvert (18)
으로 주어진다.
수직 및 수평 인텐시티 적응 윈도우 필터링 유닛들 (104 및 105) 에 의하면, 블록 경계 코너에서 보정이 2회, 수직으로 그리고 수평으로 수행된다.
수평 인텐시티 적응 윈도우 필터링 유닛 (105) 은, BAR 시스템 (100) 의 블록 아티팩트 보정된 이미지 신호 출력인 Yout (116) 을 출력한다.
BAR 시스템들 (100) 은 블록 경계 보정의 보정 강도 (122) 를 스케일링함에 있어서 시간 정보를 이용한다. 또한, VIAWF (104) 및 HFEPAF (105) 각각에서의 적응 임계값 인텐시티 적응 윈도우들 (401 및 502) 에 제공되는 이득을 조정하는데 시간 정보가 이용된다. 통상적으로 공간 전용 BAR 에서 모션 정보를 이용함으로써, BAR 시스템 (100) 은 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 것을 위한 블록화 아티팩트들의 검출 및 보정 측면에서 시간 및 공간적 적응 알고리즘들 양쪽 모두를 이용하는 것이 가능하다.
상술된 본 발명의 실시형태들은 예시만을 위한 것이다. 실시형태들의 엘리먼트들이 설명되었지만, 이들 엘리먼트들은 하드웨어, 소프트웨어를 통해 구현될 수도 있다. 일반적으로, 본 발명의 실시형태들은 이미지들을 처리하는 것이 가능한 임의의 디바이스 상에서 구현될 수 있다. 예시적인 어레이 치수들 및 다양한 값들이 실시형태들의 설명에서 주어졌지만, 다른 치수들 및 값들이 본 개시물의 사상으로부터 벗어남 없이 이용될 수 있다. 당업자는 명확히 개시된 것들로부터 다양한 대안적인 실시형태들을 인식할 수도 있다. 또한, 이들 대안적인 실시형태들은 본 개시물의 범위 내에 있는 것으로 의도된다. 따라서, 본 발명은 다음의 청구범위에 의해서만 한정된다.

Claims (20)

  1. 이미지 시퀀스에서의 블록 아티팩트 (block artifact) 를 경감시키는 장치로서,
    이미지 신호의 제 1 프레임 및 상기 이미지 신호의 제 2 프레임으로부터 모션 신호를 검출하는 모션 검출 유닛;
    상기 제 2 프레임에 기초한 블록 경계 위치들, 및 상기 제 2 프레임과 상기 모션 신호에 기초한 보정 강도를 결정하는 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (block border offset and motion-based correction strength determination; BOMCS) 유닛; 및
    보정된 이미지 신호를 출력하기 위해, 상기 블록 경계 위치들 및 상기 보정 강도에 기초하여 상기 제 2 프레임을 필터링하는 인텐시티 필터 (intensity filter) 를 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  2. 제 1 항에 있어서,
    상기 BOMCS 유닛은, 상기 제 2 프레임에서 검출된 블록 경계들의 출현율 (prevalence) 에 기초하여 상기 제 2 프레임의 압축 레벨을 결정하고, 상기 압축 레벨 및 상기 모션 신호와 연관된 보정값을 변조시킴으로써 상기 보정 강도를 결정하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  3. 제 1 항에 있어서,
    상기 BOMCS 유닛은, 상기 이미지 신호의 다수의 프레임들에 걸친 보정 강도 이력을 저장하고, 상기 보정 강도 이력에 적어도 부분적으로 기초하여 상기 보정 강도를 결정하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  4. 제 3 항에 있어서,
    상기 BOMCS 유닛은, 보정 강도 주기성 이력을 저장하고, 상기 보정 강도 주기성 이력에 적어도 부분적으로 기초하여 상기 보정 강도를 결정하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  5. 제 1 항에 있어서,
    상기 인텐시티 필터는, 상기 제 2 프레임을 순차적으로 필터링하는 수직 인텐시티 적응 윈도우 필터 및 수평 인텐시티 적응 윈도우 필터를 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  6. 제 1 항에 있어서,
    상기 이미지 신호의 상기 제 1 프레임을 이용하여 적응 임계 신호를 결정하는 이미지 인텐시티 세그먼트화 유닛을 더 포함하고,
    상기 인텐시티 필터는 인텐시티 적응 윈도우 필터를 포함하고,
    상기 적응 임계 신호는 상기 인텐시티 적응 윈도우 필터의 적응 임계값으로서 이용되는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  7. 제 6 항에 있어서,
    상기 모션 검출 유닛은 로컬 고속 모션 선택 신호를 결정하고,
    상기 로컬 고속 모션 선택 신호에 의해 선택되는 픽셀들에 대한 상기 적응 임계 신호에는 이득이 제공되는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  8. 제 6 항에 있어서,
    상기 이미지 인텐시티 세그먼트화 유닛은, 상기 제 2 프레임을, 적응 임계 신호값에 각각 대응하는 구역들로 세그먼트화하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  9. 제 1 항에 있어서,
    상기 이미지 신호의 오리지널 제 2 프레임의 잡음을 경감시켜서 상기 제 2 프레임을 출력하는 선필터링 유닛 (pre-filtering unit) 을 더 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  10. 제 1 항에 있어서,
    상기 이미지 신호를 필터링하고 적응 이미지 신호를 상기 인텐시티 필터에 출력하는 상세 보존 적응 필터를 더 포함하고,
    상기 인텐시티 필터는, 상기 블록 경계 위치들에 의해 블록 경계 상에 있는 것으로 나타내지 않은 상기 이미지 신호의 구역들에 대한 상기 적응 이미지 신호를 출력하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 장치.
  11. 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법으로서,
    이미지 신호의 제 1 프레임 및 상기 이미지 신호의 제 2 프레임으로부터 모션 신호를 결정하는 단계;
    상기 제 2 프레임으로부터 블록 경계 위치들을 결정하는 단계;
    상기 제 2 프레임 및 상기 모션 신호로부터 보정 강도를 결정하는 단계; 및
    보정된 이미지 신호를 출력하기 위해, 상기 블록 경계 위치들 및 상기 보정 강도에 따라 상기 제 2 프레임을 필터링하는 단계를 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  12. 제 11 항에 있어서,
    상기 보정 강도를 결정하는 단계는,
    상기 제 2 프레임에서 검출된 블록 경계들의 출현율에 기초하여 상기 제 2 프레임의 압축 레벨을 결정하는 단계; 및
    상기 압축 레벨 및 상기 모션 신호와 연관된 보정값을 변조시켜 상기 보정 강도를 출력하는 단계를 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  13. 제 11 항에 있어서,
    상기 이미지 신호의 다수의 프레임들에 걸친 보정 강도 이력을 저장하는 단계를 더 포함하고,
    상기 보정 강도를 결정하는 단계는, 상기 보정 강도 이력에 적어도 부분적으로 기초하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  14. 제 13 항에 있어서,
    보정 강도 주기성 이력을 저장하는 단계를 더 포함하고,
    상기 보정 강도를 결정하는 단계는, 상기 보정 강도 주기성 이력에 적어도 부분적으로 기초하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  15. 제 11 항에 있어서,
    상기 제 2 프레임을 필터링하는 단계는,
    수직으로 보정된 제 2 프레임을 출력하기 위해, 수직 인텐시티 적응 윈도우 필터를 이용하여 상기 제 2 프레임을 필터링하는 단계; 및
    보정된 이미지를 출력하기 위해, 수평 인텐시티 적응 윈도우 필터를 이용하여 상기 제 2 프레임을 필터링하는 단계를 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  16. 제 11 항에 있어서,
    상기 제 2 프레임을 구역들로 세그먼트화하는 단계; 및
    상기 구역들 각각에 적응 임계 신호값을 할당하여 적응 임계 신호를 출력하는 단계를 더 포함하고,
    인텐시티 필터는 인텐시티 적응 윈도우 필터를 포함하고,
    상기 적응 임계 신호는 상기 인텐시티 적응 윈도우 필터의 적응 임계값으로서 이용되는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  17. 제 16 항에 있어서,
    상기 제 1 프레임 및 상기 제 2 프레임으로부터 로컬 고속 모션 선택 신호를 결정하는 단계; 및
    상기 로컬 고속 모션 선택 신호에 의해 선택되는 픽셀들에 대한 상기 적응 임계 신호에 이득을 제공하는 단계를 더 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  18. 제 16 항에 있어서,
    오리지널 이미지 신호를 필터링하여 상기 이미지 신호의 상기 제 2 프레임을 출력하는 단계를 더 포함하는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  19. 제 11 항에 있어서,
    상기 이미지 신호를 필터링하여 적응 이미지 신호를 인텐시티 필터에 출력하기 위한 보존 적응 필터를 이용하는 단계를 더 포함하고,
    상기 적응 이미지 신호는, 블록 경계 위치 신호에 의해 블록 경계 상에 있는 것으로 나타내지 않은 상기 이미지 신호의 구역들에 대한 상기 보정된 이미지 신호로서 출력되는, 이미지 시퀀스에서의 블록 아티팩트를 경감시키는 방법.
  20. 블록-기반 코드 이미지에서의 블록화 아티팩트를 경감시키는 장치로서,
    이미지 신호의 제 1 프레임 및 상기 이미지 신호의 제 2 프레임으로부터 모션 추정 신호 및 로컬 고속 모션 선택 신호를 결정하는 모션 검출 유닛;
    상기 제 2 프레임에 기초한 수직 및 수평 블록 경계 위치들, 및 상기 제 2 프레임과 상기 모션 추정 신호에 기초한 보정 강도를 결정하는 블록 경계 오프셋 및 모션-기반 보정 강도 결정 (BOMCS) 유닛;
    상기 제 2 프레임을 구역들로 세그먼트화하고, 상기 구역들 각각에 임계값을 할당하는 적응 임계 신호를 출력하는 이미지 인텐시티 세그먼트화 유닛; 및
    상기 적응 임계 신호 및 상기 보정 강도에 따라 상기 블록 경계 위치들에 의해 나타낸 픽셀들을 순차적으로 필터링하는 수직 인텐시티 적응 윈도우 필터 및 수평 인텐시티 적응 윈도우 필터를 포함하는, 블록-기반 코드 이미지에서의 블록화 아티팩트를 경감시키는 장치.
KR1020127004429A 2009-07-21 2010-07-20 블록 아티팩트 경감기 KR101284469B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US22741509P 2009-07-21 2009-07-21
US61/227,415 2009-07-21
US12/834,731 2010-07-12
US12/834,731 US8363974B2 (en) 2009-07-21 2010-07-12 Block artifact reducer
PCT/US2010/042650 WO2011011449A1 (en) 2009-07-21 2010-07-20 Block artifact reducer

Publications (2)

Publication Number Publication Date
KR20120034808A KR20120034808A (ko) 2012-04-12
KR101284469B1 true KR101284469B1 (ko) 2013-07-09

Family

ID=43497380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004429A KR101284469B1 (ko) 2009-07-21 2010-07-20 블록 아티팩트 경감기

Country Status (6)

Country Link
US (1) US8363974B2 (ko)
EP (1) EP2457380A4 (ko)
JP (1) JP5512813B2 (ko)
KR (1) KR101284469B1 (ko)
CN (1) CN102484726B (ko)
WO (1) WO2011011449A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890823B (zh) * 2011-07-19 2016-04-27 株式会社东芝 运动对象轮廓提取及左心室图像分割方法和装置
IN2013MU01146A (ko) * 2013-03-26 2015-04-24 Tektronix Inc
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
US10834349B2 (en) * 2017-07-06 2020-11-10 Canon Kabushiki Kaisha Solid-state image sensor, image capturing apparatus and image capturing method
CN114022433B (zh) * 2021-10-28 2023-12-29 大连理工大学 碳纤维复合材料出口分层损伤鲁棒性视觉检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207492A1 (en) 2004-03-18 2005-09-22 Sony Corporation And Sony Electronics Inc. Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US20060050783A1 (en) 2004-07-30 2006-03-09 Le Dinh Chon T Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US20070081596A1 (en) 2005-10-06 2007-04-12 Samsung Electronics, Co., Ltd. Video quality adaptive coding artifact reduction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214664D0 (en) * 1992-07-10 1992-08-19 Wiggins Teape Group Ltd Watermark detection
EP0585573A3 (en) * 1992-08-31 1994-07-13 Ibm System and method for suppressing blocking artifacts in decoded transform coded images
US6122065A (en) * 1996-08-12 2000-09-19 Centre De Recherche Industrielle Du Quebec Apparatus and method for detecting surface defects
JPH11205792A (ja) * 1998-01-14 1999-07-30 Sony Corp ブロック歪低減方法及び装置
US6738528B1 (en) * 1998-05-22 2004-05-18 Matsushita Electric Industrial Co., Ltd. Block noise detector and block noise eliminator
JP4383581B2 (ja) * 1998-05-22 2009-12-16 パナソニック株式会社 ブロックノイズ検出装置およびブロックノイズ除去装置
CN1286575A (zh) * 1999-08-25 2001-03-07 松下电器产业株式会社 噪声检测方法、噪声检测装置及图象编码装置
US7054500B1 (en) * 2000-12-06 2006-05-30 Realnetworks, Inc. Video compression and decompression system with postfilter to filter coding artifacts
JP2002204457A (ja) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 映像信号処理装置
DE02744176T1 (de) * 2001-05-24 2005-01-13 New Objective, Inc., Woburn Verfahren und vorrichtung für elektrospray mit rückkopplungsregelung
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
JP2005012641A (ja) * 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
WO2006010275A2 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
JP4649355B2 (ja) * 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
JP2007336075A (ja) * 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
JP4931215B2 (ja) * 2007-01-24 2012-05-16 キヤノン株式会社 画像処理装置及びその方法
JP4847890B2 (ja) 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
JP5082549B2 (ja) * 2007-03-30 2012-11-28 ソニー株式会社 映像信号処理装置と映像信号処理方法
JP2009088867A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 画像処理装置
US20090129473A1 (en) * 2007-11-19 2009-05-21 Samsung Electronics Co., Ltd. System and method for adjusting compression noise reduction based on global and local motion detection
US8295367B2 (en) 2008-01-11 2012-10-23 Csr Technology Inc. Method and apparatus for video signal processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207492A1 (en) 2004-03-18 2005-09-22 Sony Corporation And Sony Electronics Inc. Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US20060050783A1 (en) 2004-07-30 2006-03-09 Le Dinh Chon T Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US20070081596A1 (en) 2005-10-06 2007-04-12 Samsung Electronics, Co., Ltd. Video quality adaptive coding artifact reduction

Also Published As

Publication number Publication date
WO2011011449A1 (en) 2011-01-27
JP5512813B2 (ja) 2014-06-04
EP2457380A4 (en) 2015-07-29
EP2457380A1 (en) 2012-05-30
JP2013500624A (ja) 2013-01-07
KR20120034808A (ko) 2012-04-12
US20110019934A1 (en) 2011-01-27
CN102484726B (zh) 2015-03-25
CN102484726A (zh) 2012-05-30
US8363974B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
US8553783B2 (en) Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
KR100616761B1 (ko) 선명도를 강화하기 위한 방법 및 장치
US8447130B2 (en) History-based spatio-temporal noise reduction
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US8842741B2 (en) Method and system for digital noise reduction of scaled compressed video pictures
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
US7983501B2 (en) Noise detection and estimation techniques for picture enhancement
KR101284469B1 (ko) 블록 아티팩트 경감기
US8594449B2 (en) MPEG noise reduction
KR20060114609A (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
US20100002953A1 (en) Detection and reduction of ringing artifacts based on block-grid position and object edge location
WO2001067391A2 (en) Subjective noise measurement on active video signal
WO2007132792A1 (en) Image processing apparatus, method and integrated circuit
US20100246691A1 (en) Restore filter for restoring preprocessed video image
US20070014484A1 (en) Method and system for adaptive film grain noise processing
Kirenko Reduction of coding artifacts using chrominance and luminance spatial analysis
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
Xiao et al. Reduction of mosquito noise based on the adaptive bilateral-filter
US20090129473A1 (en) System and method for adjusting compression noise reduction based on global and local motion detection
KR100705323B1 (ko) 압축 아티팩트 검출장치 및 그 압축 아티팩트 검출방법
KR101459034B1 (ko) 영상 처리 시스템 및 방법
Kumar et al. REMOVAL OF DIFFERENT TYPES OF ARTIFACTS AND IMPULSE NOISE IN GRAY SCALE IMAGES.
Ghazal Structure-oriented directional approaches to video noise estimation and reduction
Shao et al. A generalized coding artifacts and noise removal algorithm for digitally compressed video signals

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 6