KR20070038869A - 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템 - Google Patents

비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템 Download PDF

Info

Publication number
KR20070038869A
KR20070038869A KR1020060031482A KR20060031482A KR20070038869A KR 20070038869 A KR20070038869 A KR 20070038869A KR 1020060031482 A KR1020060031482 A KR 1020060031482A KR 20060031482 A KR20060031482 A KR 20060031482A KR 20070038869 A KR20070038869 A KR 20070038869A
Authority
KR
South Korea
Prior art keywords
filtering
video
video quality
local
strength
Prior art date
Application number
KR1020060031482A
Other languages
English (en)
Other versions
KR100782843B1 (ko
Inventor
김영택
펭 린
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20070038869A publication Critical patent/KR20070038869A/ko
Application granted granted Critical
Publication of KR100782843B1 publication Critical patent/KR100782843B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/24—Screens or other constructions affording protection against light, especially against sunshine; Similar screens for privacy or appearance; Slat blinds
    • E06B9/26—Lamellar or like blinds, e.g. venetian blinds
    • E06B9/38—Other details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/56—Operating, guiding or securing devices or arrangements for roll-type closures; Spring drums; Tape drums; Counterweighting arrangements therefor
    • E06B9/58—Guiding devices
    • E06B2009/587—Mounting of guiding devices to supporting structure
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/24—Screens or other constructions affording protection against light, especially against sunshine; Similar screens for privacy or appearance; Slat blinds
    • E06B9/26—Lamellar or like blinds, e.g. venetian blinds
    • E06B9/28—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable
    • E06B9/30—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable liftable
    • E06B9/32—Operating, guiding, or securing devices therefor
    • E06B9/322—Details of operating devices, e.g. pulleys, brakes, spring drums, drives

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템(A video quality adaptive coding artifact reduction system) 은 비디오퀄리티 분석기, 아티팩트 감쇄기, 필터링 강도 제어기(filter strength controller)로 이루어져 있다.
비디오 퀄리티 분석기는 아티팩트 감쇄를 제어하기 위하여 입력 비디오 퀄리티 분석을 채용한다. 비디오 퀄리티 분석기는 입력 비디오 퀄리티를 추정하기 위하여 디코딩된 비디오 시퀀스(decoded video sequence)의 비디오 퀄리티에 접근(access)한다. 필터링 강도 제어기는 비디오 퀄리티 분석기에 의하여 추정되는 비디오 퀄리티를 기초로 아티팩트 감쇄기의 필터링 강도를 전역적(globally)으로 조정한다. 낮은 퀄리티의 입력 영상에 대하여는 필터링 강도 제어기가 아티팩트를 보다 효율적으로 감쇄하기 위하여 아티팩트 감쇄 필터의 강도를 증가시킨다. 높은 퀄리티의 입력 영상에 대하여는 필터링 강도 제어기가 이미지(image)의 세부적인 번짐(blurring)을 피하기 위하여 아티팩트 감쇄 필터의 강도를 감소시킨다.
비디오, 퀄리티, 코딩, 아티팩트, 감쇄

Description

비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템{A video quality adaptive coding artifact reduction system}
도 1은 본 발명의 일실시예에 따른 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템의 블록 다이어그램을 도시한 것이다.
도 2는 도 1의 필터링 강도 제어기에 의해 사용되는 비디오 퀄리티 값을 필터링 강도 값에 매핑(map)하는 비증가 함수(non-increasing function)의 다이어그램을 도시한 것이다.
도 3은 본 발명에 따라 아티팩트 감쇄 필터로써 모스퀴토(mosquito) 잡음 감쇄 필터를 구현한 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템의 다른 실시예를 블록 다이어그램으로 도시한 것이다.
도 4는 겹치지 않은 P x Q 블록으로 구획된(divide) 이미지의 다이어그램을 도시한 것이다.
본 발명은 일반적으로 비디오 후처리(video post processing)와, 특히 보다 구체적으로는 디코딩된 비디오 시퀀스에서의 코딩 아티팩트 감쇄(coiding artifact reduction)와 관련되어 있다.
MPEG-1, MPEG-2, H.263과 같은 많은 대중적인 비디오 압축 표준들은 이산 여현 변환(Discrete Cosine Transform: DCT)을 기반으로 한다. DCT 기반의 비디오 압축 기술에 대한 기본적인 접근은 비디오 이미지를 중첩되지 않은 블록으로 세분하고 독립적으로 전송하고 양자화(quantize)하며 각 블록을 인코딩(encode)하는 것이다. 그러나 DCT 기반 압축 기술을 사용하면 아마도 몇몇의 아티팩츠가, 특히 낮은 비트 비율과 중간의 비트 비율(low and moderate bit rates)에서 일어날 것이다. 두 가지의 중요한 아티팩츠는 모스퀴토(mosquito) 잡음(또는 링잉 아티팩트(ringing artifact))와 블로킹 아티팩트(blocking artifact)이다. 모스퀴토 잡음은 대부분 강한 에지(strong edge) 근처의 이미지가 균등한 지역에서 나타난다. 그것은 양자화 동안의 고주파 변형 계수의 손실(high frequency transform coefficients)에 의해 유발된다. 블로킹 아티팩츠는 블록의 경계 사이의 인공적인 불연속으로써 나타난다. 그것은 개개의 블록의 독립적인 처리에 의해 유발된다.
모스퀴토 노이즈와 블로킹 아티팩츠를 제거하기 위하여 많은 기술들이 제안되어왔다. 모스퀴토 잡음 감쇄를 위한 기본적인 단계들은 모스퀴토 잡음 영역 검출과 영역 적응적인 필터링을 포함한다. 블로킹 아티팩츠 감쇄를 위한 기본적인 단계들은 불연속을 펴기(smooth out)위하여 블록 경계에 걸쳐 저역 통과 필터를 적용하는 것이다. 다양한 상황속에서 다양한 코딩 아티팩트 감쇄 기술들이 그들의 유용성을 보여주었지만 이와 같은 기술들의 단점은 그들이 좀처럼 입력 비디오 퀄리티를 고려하지 않는다는 점이다. 따라서 그와 같은 기술들은 고화질의 비디오와 저화질 의 비디오를 같은 방법으로 다루게 되어 상대적으로 고화질인 비디오는 지나치게 평탄(over smooth)하게 만들고 상대적으로 저화질인 비디오는 충분하지 못한 아티팩트 감쇄가 되도록 한다.
본 발명은 상기 결점을 다룬다. 본 발명의 목적은 아티팩트 감쇄를 조정하기 위하여 입력 비디오 퀄리티 분석을 채용하는 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 방법과 시스템을 제공하는 것이다. 본 발명의 일실시예에 따르면 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템은 비디오 퀄리티 분석기, 비디오 퀄리티 감쇄기, 필터링 강도 제어기를 포함한다.
본 발명의 다른 특징과 장점은 다음의 도면과 함께 첨부된 명세서로부터 명백하여 질 것이다.
비디오 퀄리티 분석기는 디코딩된 비디오 시퀀스의 비디오 퀄리티에 접근한다. 비디오 퀄리티 분석기는 또한 입력 비디오 퀄리티의 추정을 위하여 디코딩된 비디오 시퀀스, 다른 코딩된 파라미터, 또는 둘 다를 사용할 수 있다. 발명의 일실시예로서 비디오 퀄리티 분석기 유닛은 먼저 프레임 이미지 퀄리티추정(frame image quality estimate)을 얻기 위하여 프레임 평균 양자화기 스케일(quantizer scale)을 계산한다. 양자화기 스케일은 MPEG-2 비디오 압축에서와 같은 압축의 정도와 관련된 비디오 압축에 있어서의 널리 알려진 파라미터이다. 그 후 프레임의 유형에 기초하여 프레임 이미지 퀄리티 추정에 적절하게 가중치가 적용된다. 마지 막으로, 현재의 프레임에 대해 시간적 일관성이 있는 비디오 퀄리티 추정을 얻기 위하여 현재의 프레임을 중심으로 이웃 프레임들(neighboring frames)의 적절하게 가중(weighted)된 프레임 이미지 퀄리티 추정의 평균이 내어진다. 당해 기술 분야에서의 숙련자에게 알려져 있듯이 양자화 스케일(quantization scales)을 조사함으로써 압축된 비디오의 퀄리티를 분석하는 다양한 방법이 존재할 수 있다. 본 발명은 그와 같은 정보를 얻는데 있어 특별한 방법들로 제한되는 것이 아니다. 본 발명은 비디오 퀄리티 분석기를 가지고 코딩 아티팩트 감쇄 필터의 강도를 적응적으로 조정하거나 비디오의 압축의 정도를 적응적으로 조정하는 방법을 제공한다.
아티팩트 감쇄기는 특정한 유형의 코딩 아티팩트를 제거하는 코딩 아티팩트 제거 필터를 포함한다. 일실시예로서 아티팩트 감쇄기는 링잉 영역 검출기(ringing area detector), 로컬 잡음 세기 추정기, 스무싱 필터(smoothing filter), 믹서를 포함하는 모스퀴토 잡음 감쇄 필터를 포함한다. 링잉 영역 검출기는 에지 검출기, 인접 에지(near edge) 검출기, 텍스쳐 검출기(texture detector), 필터링 영역 결정 블록(filtering region decision block)을 포함한다. 링잉 영역 검출기는 스무싱 필터가 적용되어야 하는 링잉 영역을 검출한다. 로컬 잡음 세기 추정기는 로컬 잡음 세기를 추정하고 스무싱 필터의 필터링 강도를 국부적으로(locally) 제어한다. 스무싱 필터는 입력 이미지를 평탄하게 한다. 믹서는 링잉 영역 검출기로부터의 영역 정보에 적절하게 기초하여 평탄화된 이미지와 원래의 이미지를 섞는다.
비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템의 필터링 강도 제어기는 비디오 퀄리티 분석기에 의한 비디오 퀄리티 평가에 기초하여 전역적으 로(globally) 아티팩트 감쇄 필터의 필터링 강도를 제어한다. 낮은 퀄리티 입력 비디오의 경우 필터링 강도 제어기는 보다 효율적으로 아티팩트를 감소시키기 위해 아티팩트 감쇄 필터링 강도를 증가시킨다. 높은 퀄리티 입력 비디오의 경우 필터링 강도 제어기는 세부적인 이미지의 번짐을 피하기 위하여 아티팩트 감쇄 필터링 강도를 감소시킨다. 일실시예로서 필터링 강도 제어기는 추정된 로컬 잡음 세기를 전역적으로 재조정함으로써 아티팩트 감쇄 필터의 필터링 강도를 전역적으로 제어한다.
도면을 참조하면, 본 발명은 아티팩트 감쇄를 제어하기 위하여 입력 비디워 퀄리티 분석을 구현하는 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 방법과 시스템을 제공한다. 도 1을 참조하면, 본 발명의 일실시예에 따라 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템(100)은 비디오 퀄리티 분석기(102), 아티팩트 감쇄기(104), 필터링 강도 제어기(106)를 포함한다. 시스템(100)은 인코딩된 입력 비디오 시퀀스를 디코딩하기 위하여 선택적으로 디코더(101)를 포함할 수 있다.
비디오 퀄리티 분석기(102)는 디코딩된 비디오 시퀀스의 비디오 퀄리티에 접근한다. 비디오 퀄리티 분석기(102)는 입력 비디오 퀄리티 추정을 제공하기 위하여 디코딩된 비디오 시퀀스, 다른 코딩된 파라미터들, 또는 둘다를 이용할 수 있다. 일실시예로서 비디오 퀄리티 분석기(102)는 먼저 프레임 이미지 퀄리티 추정을 얻기 위하여 프레임 평균 양자화기 스케일을 계산한다. 그 후 프레임 이미지 퀄리티 추정에는 프레임 유형에 기초하여 적절하게 가중치가 적용된다.
MPEG-2 비디오 압축에서의 프레임 타입 I, P, B 유형은 어떠한 종류의 추정/ 보상이 사용되는지에 의존한다. I 프레임 픽쳐(picture)는 압축을 위하여 움직임 추정 또는 보상을 이용하지 않고 P 프레임 픽쳐는 전진 운동(forward motion) 추정/보상을 이용하며 B 프레임 픽쳐는 전후진 움직임 추정/보상을 이용한다.
마지막으로 현재의 프레임에 대한 시간적 일관성이 있는 비디오 퀄리티 추정을 얻기 위하여 현재의 프레임을 중심으로 이웃 프레임의 적절하게 가중된 프레임 이미지 퀄리티 추정이 평균 내어진다.
아티팩트 감쇄기(104)는 특정한 코딩 아티팩트를 제거하는 코딩 아티팩트 감쇄 필터를 포함한다. 도 3과 관련하여 하기에서 보다 구체적으로 기술한 대로, 일실시예로서 아티팩트 감쇄기(104)는 링잉 영역 검출기, 로컬 잡음 세기 추정기, 스무싱 필터, 믹서를 포함하는 모스퀴토(mosquito) 잡음 감쇄 필터를 포함한다. 링잉 영역 검출기는 에지 검출기, 인접 에지 검출기(near edge detector), 텍스쳐 검출기와 필터링 영역 결정 블록을 포함한다. 링잉 영역 검출기는 스무싱 필터가 적용되어야하는 링잉 영역을 검출한다. 로컬 잡음 세기 추정기는 로컬 잡음 세기를 추정하고 스무싱 필터의 필터링 강도를 국부적으로(locally) 제어한다. 스무싱 필터는 입력 이미지를 평탄하게 한다. 믹서는 링잉 영역 검출기로부터의 영역 정보에 적절하게 기초하여 평탄화된 이미지와 원래의 이미지를 섞는다.
도 1에서, 필터링 강도 제어기(106)는 비디오 퀄리티 분석기(102)에 의한 비디오 퀄리티 평가에 기초하여 전역적으로(globally) 아티팩트 감쇄기(104)의 아티팩트 감쇄 필터의 강도를 제어한다. 낮은 퀄리티 입력 비디오의 경우 필터링 강도 제어기(106)는 보다 효율적으로 아티팩트를 감소시키기 위해 아티팩트 감쇄 필 터링 강도를 증가 시킨다. 높은 퀄리티 입력 비디오의 경우 필터링 강도 제어기(106)는 이미지 디테일의 번짐을 피하기 위하여 아티팩트 감쇄 필터링 강도를 감소시킨다.
일실시예로서 필터링 강도 제어기(106)는 전역적으로 추정된 로컬 잡음 세기를 재조정함으로써 아티팩트 감쇄 필터의 필터링 강도를 전역적으로 제어한다.
그리하여 비디오 퀄리티 분석기(102)는 먼저, 추정된 비디오 퀄리티에 기초하여, 디코딩된 비디오 시퀀스의 비디오 퀄리티를 추정하고, 필터링 강도 제어기(106)는 아티팩트 감쇄기(104)의 필터링 강도를 조정한다. 만일 입력 비디오의 퀄리티가 낮다면 필터링 강도 제어기(106)는 보다 효율적으로 아티팩트를 감소시키기 위해 아티팩트 감쇄 필터링 강도를 증가 시킨다. 입력 비디오의 퀄리티가 상대적으로 높다면 필터링 강도 제어기(106)는 이미지 디테일의 번짐을 피하기 위하여 아티팩트 감쇄 필터링 강도를 감소시킨다.
도 1의 시스템(100)에서 비디오 퀄리티 분석기(102)는 비디오 퀄리티를 추정하기 위하여 디코딩된 비디오 시퀀스의 비디오 퀄리티와 관련된 파라미터에 접근한다. 비디오 퀄리티와 관련된 파라미터에 접근하는 일실시예로서 비디오 퀄리티 분석기(102)는 입력으로서 디코더(101)로부터의 양자화기 스케일과 프레임 유형 정보를 얻으며, 비디오 퀄리티 레벨의 지표로서 특정한 통계치를 계산한다. 여기서 매크로블록은 MPEG-2와 같은 비디오 압축에 있어서 기본적인 블록 유닛으로 정의된다. (예컨대 8 X 8). MPEG-2 비디오 압축에 있어서 매크로 블록 양자화기는 압축을 목적으로 이산 여현 변환(DCT)계수로 양자화 한다.
먼저 비디오 퀄리티 분석기(102)는 다음과 같은 프레임 평균 Q값
Figure 112006024167156-PAT00001
를 구하기 위하여 프레임에서의 모든 매크로블록의 양자화기 스케일의 프레임 평균을 계산한다.
Figure 112006024167156-PAT00002
여기서
Figure 112006024167156-PAT00003
는 프레임
Figure 112006024167156-PAT00004
의 프레임 평균 Q값이고
Figure 112006024167156-PAT00005
는 블록 위치
Figure 112006024167156-PAT00006
에서의 매크로블록 양자화기 스케일이며 M x N은 프레임에서의 매크로블록의 총 숫자이다. 더 높은 압축에 있어서 큰 Q값의 결과를 가지고, 보다 작은 압축에 있어서 작은 Q값의 결과를 갖는다.
그 후 , 비디오 퀄리티 분석기(102)는 다음과 같은 가중 프레임 평균(weighted frame average) Q값을 얻기 위하여 프레임 유형에 기초하여 프레임 평균 Q값
Figure 112006024167156-PAT00007
에 적절한 가중치를 적용한다.
Figure 112006024167156-PAT00008
여기서
Figure 112006024167156-PAT00009
는 가중 프레임 평균 Q값이고,
Figure 112006024167156-PAT00010
,
Figure 112006024167156-PAT00011
,
Figure 112006024167156-PAT00012
는 I프레임,P프 레임,B프레임 각각의 가중치이다. 최적의 실시예에서
Figure 112006024167156-PAT00013
i = 1.5,
Figure 112006024167156-PAT00014
= 1.5,
Figure 112006024167156-PAT00015
= 1.0이다. 그러나 당해 업계의 숙련자들이 인식하듯이 이것은 어플리케이션에 따라 조정된다.
그 후 비디오 퀄리티 분석기(102)는 시간 평균 Q값
Figure 112006024167156-PAT00016
를 구하기 위하여 가중 프레임 평균 Q값
Figure 112006024167156-PAT00017
에 저역통과 필터를 적용한다. 최적의 실시예에서 다음의 관계를 갖는 7 탭(tap) 평균 필터를 이용하여 저역통과 필터가 적용된다.
Figure 112006024167156-PAT00018
그러나 당해 업계의 숙련자가 알다시피 이것은 어플리케이션에 따라서 조정이 가능하다.
마지막으로 비디오 분석기(102)는 시간 평균 Q값
Figure 112006024167156-PAT00019
와 다음과 같이 상응하며
Figure 112006024167156-PAT00020
로 표시되는 프레임 k에서의 비디오 퀄리티 Q값을 계산한다.
Figure 112006024167156-PAT00021
이 예에서 비디오 퀄리티 Q값
Figure 112006024167156-PAT00022
의 범위는 0부터 1 사이이다( 다른 범위도 가능하다.). 보다 작은
Figure 112006024167156-PAT00023
값은 낮은 퀄리티 비디오를 나타내고 보다 큰
Figure 112006024167156-PAT00024
값은 높은 퀄리티 비디오를 나타낸다.
Figure 112006024167156-PAT00025
의 함수로서
Figure 112006024167156-PAT00026
를 만들어 내는 다른 방법들 이 있음을 알아야 한다. 상기에서 보여준 것은 본보기적인 실시예이다.
도 1을 참조하면, 추정된 비디오 퀄리티 Q값
Figure 112006024167156-PAT00027
에 기초하여 필터링 강도 제어기(106)는 아티팩트 감쇄기(104)의 아티팩트 감쇄 필터의 필터링 강도를 조정한다.
일반적으로 말해서 필터링 강도 제어기는 도 2의 예제 그래프 200에서 도시된대로 아티팩트 감쇄기(104)의 필터링 강도 값을 비디오 퀄리티 값에 매핑(map)하는 비증가 함수(non-increasing function)를 구현한다.
낮은 비디오 퀄리티 Q값은 높은 필터링 강도 값에 매핑되고 높은 비디오 퀄리티 Q값은 낮은 필터링 강도 값에 매핑된다.
다시 도 1로 돌아가 참조하면, 주지하다시피 아티팩트 감쇄기(104)는 코딩 아티팩트의 특정한 유형을 제거하는 코딩 아티팩트 감쇄 필터를 포함한다. 코딩 아티팩트 필터의 예들은 디블로킹(deblocking) 필터, 디링잉(deringing) 필터, 그리고/또한 모스퀴토 잡음 감쇄 필터를 포함한다. 코딩 아티팩트 감쇄 필터의 브로킹 아티팩트와 링잉 아티팩트에 대해서는 전역 필터링 강도를 조정하기 위해서 전역 파라미터가 사용된다. 보통, 코딩 아티팩트 감쇄 필터는 사용자 제어 전역 필터링 강도 파라미터(user controlled global filter strength parameter)를 포함한다. 본 발명의 실시예에 따르면 시스템(100)의 아티팩트 감쇄기(104)에서의 전역 아티팩트 감쇄 필터의 전역 필터링 강도 파라미터는 비디오 퀄리티 분석기(102)에 의해 얻어진 비디오 퀄리티 추정에 기초하여 다이나믹(dynamically)하게 제어된다.
도 3은 본 발명의 다른 실시예에 따른 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템(300)의 예시적인 블록 다이어그램을 도시한다. 시스템(300)은 비디오 퀄리티 분석기(302), 아티팩트 감쇄기(304), 필터링 강도 제어기(306)를 포함한다.
아티팩트 감쇄기(304)는 그래데이션 계산 유닛(312), 에지 검출 유닛(314), 인접 에지 결정 유닛(316), 텍스쳐 검출 유닛(318), 필터링 영역 결정 유닛(320)을 포함하는 링잉 영역 검출 유닛(308)을 포함한다. 또한 아티팩트 감쇄기(304)는 후에 기술되는 모스퀴토 잡음 감쇄 필터를 포함하는 아티팩트 감쇄 필터에 의해서도 구현될 수 있다.
시스템(300)은 로컬 잡음 세기 추정기(310), 스무싱 필터(322), 믹서(324)를 더 포함한다. 로컬 잡음 세기 추정기(310)은 고역통과 필터(326),로컬 표준 편차 계산 유닛(328), 컨버터(330)를 포함한다. 링잉 영역 검출 유닛(308)의 기능은 스무싱 필터의 적용이 필요한 링잉 영역(또는 모스퀴토 잡음 영역)을 검출하는 것이다.
시스템(300)은 비디오 신호에서의 휘도 신호(Luminance signal) Y와 색신호(chrominance signals) U와 V 모두에 적용 될 수 있다. 그리하여, 일반적으로 입력 신호는 i,j가 이미지 열(row)과 행(column)의 픽셀 지표일때 입력 신호는 F(i,j)로 표시된다. 그래디언트 계산 유닛(312)은 입력 신호 F(i,j)의 그래디언트를 계산하여 그래디언트
Figure 112006024167156-PAT00028
를 만들어 낸다. 당해 기술 분야에서 숙련된자 는 주어진 이미지에서 그래디언트
Figure 112006024167156-PAT00029
를 계산하기 위하여 다양한 계산 방법이 이용될 수 있다는 것을 인지할 것이다.
그래디언트
Figure 112006024167156-PAT00030
에 기초하여 에지와 텍스쳐 정보가 시험된다. 에지 검출 유닛(314)은 다음과 같이 그래디언트
Figure 112006024167156-PAT00031
과 임계치
Figure 112006024167156-PAT00032
을 비교하여 에지를 검출한다.
Figure 112006024167156-PAT00033
여기서 1은 에지를 나타내고 0은 에지가 아닌 경우를 나타내며,
Figure 112006024167156-PAT00034
은 이미 결정된 상수이다.
압축된 비디오의 링잉 아티팩트는 에지 근처에서 일어나기 때문에 현재의 픽셀이 에지 근처인지 아닌지를 검출하는 것이 필요하다. 이러한 목적으로 인접 에치 검출기(316)은 현재의 픽셀의 이웃에서의 에지가 존재하는지 여부를 체크한다. 상세히 말하면, P x Q 이미지 픽셀 블록에서 에지 샘플이 세어지고(count) 만일 블록이 특정한 수 이상의 에지 샘플을 포함한다면 현재의 픽셀이 에지 근처에 위치하는 것으로 간주 된다.
Figure 112006024167156-PAT00035
을 현재의 픽셀 F(i,j) 근처의 P x Q 블록에서의 에지 샘플의 숫자를 나타내는 것으로 하면 인접 에지 검출은 다음과 같이 될 수 있다.
Figure 112006024167156-PAT00036
여기서 1은 에지 근처의 픽셀을 0은 에지 근처가 아닌 픽셀을 나타내며
Figure 112006024167156-PAT00037
는 이미 결정된 상수이다. F(i,j) 근처의 PxQ 블록은 PxQ 샘플들을 포함한다. 상기
Figure 112006024167156-PAT00038
은 에지 포인트인 P x Q 블록에서의 샘플의 개수를 나타낸다(즉, 에지 포인트인 샘플의 개수). 그 후 NE(i,j)는 F(i,j)가 에지 근처 내에 위치하는지(예컨대 NE = 1) 위치하지 않는지(예컨대 NE = 0)를 나타낸다.
보다 실제적인 단순화를 위하여, 본 발명의 다른 실시예에 따라 중첩되지 않은 블록들은 인접 에지 검출을 위하여 이용된다.
Figure 112006024167156-PAT00039
을 계산하기 위한 블록은 픽셀들이 처리됨에 따라 중첩된(overlapped) 블록 또는 슬라이딩(sliding) 블록으로 간주되는 것을 알아야 한다. 즉, 다중 P x Q 픽셀 블록(402)을 가진 이미지 프레임(400)은 도4의 예에서 도시된 것 같이 분할된다.
중첩되지 않은 P x Q 블록을 가진 픽셀 F(i,j)에 대한 인접 에지 검출을 조사하기 위하여 다음과 같이 NEB(I, J)에 기초하여 선택적인 인접 에지 블록 검출이 이용된다.
Figure 112006024167156-PAT00040
여기서 I = [i/P], J = [j/Q], [x]가 음수가 아닌 숫자의 정수 부분으로 돌 아오는 플로어 함수(floor function) 일때,
Figure 112006024167156-PAT00041
은 (I, J)번째 중첩되지 않은 블록의 에지 샘플의 숫자를 나타낸다. NEB(I, J)=1 이면 (I, J)번째 블록이 인접 에지 블록이라는 것을 의미한다. 그 후 현재의 픽셀 F(i, j)에 대한 인접 에지 검출은 NE(i,j) = NEB(I,J)로 결정된다.
상기 NEB(I, J)는 F(i, j)가 인접 에지에 위치하는지(NEB=1) 아닌지(NEB=0)를 나타낸다. NE와 NEB의 차이는 중첩된 P x Q 블록(NE)이 이용되는지 중첩되지 않은 P x Q블록(NEB)이 이용되는지 여부이다.
중첩되지 않은 블록을 사용할 때 (I,J)번째 블록에 속하는 픽셀들(즉, 도 4에서 도시하는 것 같이 기하학적으로 F(i, j)가 (i, j)번째 중첩되지 않은 블록에 위치한다.)은 같은 인접 에지 정보를 가진다. 그러나 중첩되지 않은 블록들을 이용하면, 어느 위치가 모든 픽셀의 위치에 대하여 반복적으로 인접 에지 검출이 행해져야할 필요가 있다고 간주되는 곳인가에 대한 인접 에지 검출을 수행할 때 중첩된 블록을 기초로 한 검출에 비하여 계산의 복잡성을 매우 줄여준다.
도 3으로 다시 돌아가 참조하면, 텍스쳐 검출 유닛(318)은 다음과 같이 그래디언트
Figure 112006024167156-PAT00042
를 다른 임계값인
Figure 112006024167156-PAT00043
와 비교하여 텍스쳐(texture)를 검출한다.
Figure 112006024167156-PAT00044
여기서 1은 텍스쳐를 나타내고 0은 텍스쳐가 없음을 나타내며
Figure 112006024167156-PAT00045
는
Figure 112006024167156-PAT00046
보 다 작은 값을 가지는 이미 결정된 상수이다.
필터링 영역 결정 유닛(320)은 제공된 인접 에지 맵 NE(i, j)와 텍스쳐 맵 TX(i, j)에 기초하여 필터링 영역 맵 R(i, j)를 생성한다. 인접 에지 맵은 사실상 이미 모스퀴토 잡음이 일어나는 이미지 영역에 표시한다. 그러나 인접 에지 맵은 또한 몇몇의 텍스쳐를 포함할지도 모른다. 텍스쳐를 필터링 하는 것이 번짐을 유발할 것이다. 그러므로 정확한 필터링 영역 맵을 얻기 위해서는 텍스쳐는 에지 블록 맵으로부터 제거되어야만 한다. 인접 에지 맵으로부터 텍스쳐를 제거하기 위한 예시적인 로직(logic)은 다음과 같다.
Figure 112006024167156-PAT00047
여기서 1은 링잉 아티팩트가 일어나는 필터링 영역을 나타내고, 0은 필터링이 없는 영역을 나타낸다. R(i, j)는 스무싱(또는 번짐) 영역을 나타낸다. 그러므로 F(i,j) 가 인접 에지 영역에 위치하면서(대부분의 링잉(ringing)은 인접 에지 영역에서 일어난다.) 동시에 텍스쳐 영역에 위치하지 않을때 스무싱이 F(i, j)에서 수행된다. 달리 말하면 F(i,j)가 비록 인접 에지 영역에 위치하더라도 텍스쳐 영역에 위치할 경우에는 F(i, j)에서 스무싱은 수행되지 않는다.
필터링 영역 결정 유닛(320)에 의하여 생성된 필터링 영역 맵은 믹서(324)에 제공된다. 도 3의 시스템(300)의 로컬 잡음 세기 추정기(310)의 기능은 스무싱 필 터(322)를 위한 로컬 필터링 강도
Figure 112006024167156-PAT00048
을 제공하는 것이다. 고역통과필터(326)는 주로 입력 신호의 잡음 성분을 추출한다. 최적 실시예에서 고역통과 필터는 다음과 같다.
Figure 112006024167156-PAT00049
당해 분야의 숙련자는 다른 고역통과 필터도 사용할 수 있다는 것을 알 것이다. 로컬 표준편차 계산기(328)는 다음과 같이 r x s 윈도우(window)에 걸쳐 고역 통과 필터링된 신호 HF(i, j)의 로컬 표준 편차
Figure 112006024167156-PAT00050
를 계산한다.
Figure 112006024167156-PAT00051
여기서
Figure 112006024167156-PAT00052
계산된 로컬 표준 편차
Figure 112006024167156-PAT00053
는 컨버터(300)에 전송된다. 컨버터(330)의 기능은 로컬 링잉 잡음 세기
Figure 112006024167156-PAT00054
를 대응하는 로컬 부가(additive) 가우시안(Gaussian) 잡음 세기
Figure 112006024167156-PAT00055
으로 전환하는 것이다. 컨버터(330)는 비디오 퀄리티 분석기(302)에 의하여 추정된 비디오 퀄리티 Q값에 기초하여 필터링 강도 제어기(306)에 의하여 제공된 필터링 강도를 더 이용한다. 비디오 퀄리티 분석기는 상기에 기술한대로, 입력으로서 디코더(예컨대 도 1의 디코더 101)로부터의 양자화기 스케일과 프레임 유형 파라미터를 이용하고, 비디오 퀄리티 Q값
Figure 112006024167156-PAT00056
를 계산한다. 필터 제어기(306)는 그 후 도 2에 도시된 함수(200)와 같은 특징을 가지는 비증가 함수
Figure 112006024167156-PAT00057
를 이용하여 필터링 강도 값을 비디오 퀄리티 Q값에 매핑한다. 제공된 필터링 강도
Figure 112006024167156-PAT00058
에 기초하여 컨버터(330)는 다음과 같이 로컬 링잉 잡음 세기
Figure 112006024167156-PAT00059
를 로컬 부가(additive) 가우시안(Gaussian) 잡음 세기
Figure 112006024167156-PAT00060
으로 전환한다.
Figure 112006024167156-PAT00061
로컬 잡음 세기
Figure 112006024167156-PAT00062
은 비디오 퀄리티 Q값
Figure 112006024167156-PAT00063
에 의존한다. 그리하여, 제거되어야할 잡음의 양은 비디오 퀄리티가 얼마나 좋은지에 의존한다. 높은 퀄리티 비디오에서는
Figure 112006024167156-PAT00064
는 보다 작은 값으로 회귀하고 이는 더 적은 필터링을 의미한다. 낮은 퀄리티 비디오에서는
Figure 112006024167156-PAT00065
는 보다 큰 값으로 회귀하고 이는 더 많은 필터링을 의미한다.
본질적으로 각 픽셀에서 제거 되어야 할 잡음의 양을 결정하는 추정된 로컬 잡음 세기
Figure 112006024167156-PAT00066
은 스무싱 필터(322)에 제공된다. 스무싱 필터(322)는 이미지 에지 를 유지하는 동안 잡음을 제거하는 에지 보호 필터(edge preserving filter)를 포함한다. 스무싱 필터(322)의 출력
Figure 112006024167156-PAT00067
는 믹서(324)에 제공된다. 모스퀴토 잡음 감쇄 시스템(300)에서의 스무싱 필터(322)에서 사용될 수 있는 에지 보호 필터의 많은 예들이 있다. 하나의 예시적인 스무싱 필터는 다음과 같이 정의되는 가중(weighted) 시그마 필터이다.
Figure 112006024167156-PAT00068
여기서
Figure 112006024167156-PAT00069
Figure 112006024167156-PAT00070
이때
Figure 112006024167156-PAT00071
,
Figure 112006024167156-PAT00072
는
Figure 112006024167156-PAT00073
인 미리 결정된 상수이고
Figure 112006024167156-PAT00074
은 로컬 잡음 세기이다.
Figure 112006024167156-PAT00075
는 가중 평균 필터의 출력(weighted average filter output)이다. F(i, j)는 현재의 픽셀(n=m=0일때)이고 F(i+m, j+n)(m,n은 0이 아닐때)는 F(i, j)에 이웃하는 픽셀을 나타낸다. m과 n값은 이웃하는 픽셀을 나타내는 수리적인 지표 이다. 게다가
Figure 112006024167156-PAT00076
은 가중치 팩터(weighting factor)이고 r은 필터의 차원(filter dimension) 또는 단순히 평균이 내어져야 할 샘플의 정도를 나타낸다.
Figure 112006024167156-PAT00077
는 (2r+1)*(2r+1) 샘플의 평균이다. 스무싱 필터의 다른 예는 다음과 같이 정의 되는 최소 평균 제곱 에러 필터(minimal mean suare filter: MMSE filter)이다.
Figure 112006024167156-PAT00078
여기서
Figure 112006024167156-PAT00079
은 로컬 잡음 세기이고
Figure 112006024167156-PAT00080
와
Figure 112006024167156-PAT00081
는 다음과 같이 r x r 윈도우에 걸쳐 계산된 로컬 평균과 로컬 표준편차이다.
Figure 112006024167156-PAT00082
도 3의 시스템(300)에서의 믹서(324)는 필터링 영역과 필터링 되지 않은 영역, 두 부분으로 이미지를 나누는 필터링 영역 맵에 기초하여 마지막 출력으로서 스무싱 필터(322) 또는 원래의 입력 신호 F(i, j)의 출력
Figure 112006024167156-PAT00083
모두를 선택한다. 필터링 영역에서 믹서(324)는 스무싱 필터의 출력
Figure 112006024167156-PAT00084
를 마지막 출력으로서 선택한다. 필터링이 없는 영역에서 믹서(324)는 원래 입력 신호 F(i, j)를 마 지막 출력으로서 선택한다. 보다 바람직하게는, 필터링된 신호
Figure 112006024167156-PAT00085
와 필터링되지 않은 신호 F(i, j) 사이의 전환을 위하여 믹서에서(324) 소프트 스위칭(soft switching)이 이용된다.
당해 분야의 숙련자에게 알려졌듯이, 양자화기 스케일을 조사하는 것에 의해 압축된 비디오의 비디오 퀄리티를 분석하는 다양한 방법이 있을 수 있다. 본 발명은 그러한 정보를 얻는 특정한 방법들에 제한되지 않는다. 본 발명은 비디오 퀄리티 분석기를 가지고 코딩 아티팩트 감쇄 필터의 강도를 적응적으로 조정하거나 비디오의 압축의 정도를 적응적으로 조정하는 방법을 제공한다.
본 발명은 최적의 특정한 버전을 참조하여 매우 상세하게 기술되어졌다. 그러나 다른 버전도 가능하다. 따라서 첨부된 청구항들의 사상과 범위는 여기에 포함된 최적의 버전의 설명으로 제한되지 않는다.
본 발명은 비디오 퀄리티 분석기를 가지고 코딩 아티팩트 감쇄 필터의 강도를 적응적으로 조정하거나 비디오의 압축의 정도를 적응적으로 조정하는 방법을 제공한다.

Claims (27)

  1. 디코딩된 비디오 시퀀스에서의 코딩 아티팩트 감쇄를 위한 시스템에 있어서,
    입력 비디오의 비디오 퀄리티 레벨을 추정하는 비디오 퀄리티 분석 유닛(video quality analyzing unit);
    필터링 강도 제어 신호(filtering strength control unit)에 반응하고 상기필터링 강도 제어 신호에 기초하여 코딩 아티팩트 제거를 위하여 비디오 이미지를 필터링하는 아티팩트 감쇄 유닛(artifact reduction unit); 및
    상기 비디오 퀄리티 분석 유닛에 의하여 추정된 비디오 퀄리티 레벨에 기초하여 필터링 강도 제어 신호를 생성하고, 코딩 아티팩트 제거를 위해 비디오 이미지를 필터링 할 때 아티팩트 감쇄 필터의 필터링 강도를 제어하는 필터링 강도 제어 유닛(filter strength control unit)을 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  2. 제1항에 있어서,
    상기 필터링 강도 제어 유닛은 상기 비디오 퀄리티 분석기에 의하여 추정된 비디오 퀄리티에 기초하여, 상기 아티팩트 감쇄 유닛의 필터링 강도를 제어하여 낮은 퀄리티 입력 비디오에 대해서는 상기 필터링 강도 제어기가 보다 효율적인 아티팩트 감쇄를 위하여 아티팩트 감쇄 필터링 강도를 증가시키고, 높은 퀄리티 입력 비디오에 대해서는 이미지 디테일의 번짐을 피하기 위하여 아티팩트 감쇄 필터링 강도를 감소시키는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  3. 제1항에 있어서,
    상기 비디오 퀄리티 분석 유닛은
    프레임 이미지 퀄리티 추정을 얻기 위하여 비디오 프레임 평균 양자화기 스케일(quantizer scales)을 계산하고;
    프레임 유형에 기초하여 프레임 이미지 퀄리티 추정에 가중치를 적용하며;
    현재의 프레임에 대하여 시간적 일관성이 있는 비디오 퀄리티 추정을 얻기 위하여 현재의 프레임의 중앙에 위치하는 이웃 프레임의 가중(weighted) 프레임 이미지 퀄리티 추정을 평균내는 것에 의하여 입력 비디오 각각의 프레임의 비디오 퀄리티 레벨을 추정하는 코딩 아티팩트 감쇄 시스템.
  4. 제3항에 있어서,
    상기 비디오 퀄리티 분석 유닛은
    프레임 평균 퀄리티 값을 얻기 위하여 각각의 입력 비디오 프레임에서의 매크로블록들의 양자화기 스케일의 평균을 계산하고;
    가중 프레임 평균 퀄리티 값을 얻기 위하여 프레임 유형에 기초하여 가중치에 따라 프레임 평균 퀄리티 값을 곱하며;
    시간적 일관성이 있는 평균 퀄리티 값을 구하기 위하여 가중 프레임 평균 퀄리티 값에 저역 통과 필터링 하고;
    프레임의 비디오 퀄리티 값을 추정하기 위하여 시간적 평균 퀄리티 값에 상응하는 것을 생성하는 것에 의하여 입력 비디오 각각의 프레임의 비디오 퀄리티 레벨을 추정하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  5. 제1항에 있어서,
    상기 아티팩트 감쇄 유닛은 특정한 유형의 코딩 아티팩트를 제거하는 코딩 아티팩트 감쇄 필터를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  6. 제5항에 있어서,
    상기 코딩 아티팩트 감쇄 필터는 디블로킹 필터를(deblocking filter) 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  7. 제5항에 있어서,
    상기 코딩 아티팩트 감쇄 필터는 디링잉 필터(deringing filter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  8. 제5항에 있어서,
    상기 코딩 아티팩트 감쇄 필터는 모스퀴토 잡음 감쇄 필터(mosquito noise reduction filter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  9. 제1항에 있어서,
    상기 필터링 강도 제어 유닛은 비증가 함수(non-increasing function)를 이용하여 상기 비디오 퀄리티 분석 유닛에 의하여 추정된 비디오 퀄리티를 상기 아티팩트 감쇄 유닛의 필터링 강도에 매핑(maps)하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  10. 디코딩된 입력 비디오 이미지 시퀀스에서의 모스퀴토 잡음을 줄이기 위한 코딩 아티팩트 감쇄 시스템에 있어서,
    입력 비디오의 비디오 퀄리티 레벨을 추정하는 비디오 퀄리티 분석 유닛;
    상기 비디오 퀄리티 분석 유닛에 의하여 추정된 비디오 퀄리티 레벨에 기초하여 필터링 강도 제어 신호를 생성하는 필터링 강도 제어 유닛;
    상기 필터링 강도 제어 유닛으로부터의 필터링 강도 제어 신호에 기초하여 스무싱 필터(smoothing filter)를 제어하기 위한 로컬 필터링 강도 신호를 생성하는 로컬 잡음 세기 추정기(local noise power estimator);
    필터링 된 신호를 생성하기 위하여, 상기 로컬 잡음 세기 추정기로부터의 로컬 필터링 강도 신호에 기초하여 입력 비디오 이미지로부터 원하지 않는 신호를 제거하는 스무싱 필터;
    입력 비디오 이미지에서의 모스퀴토 잡음 이미지 영역을 검출하고 필터링 영역 맵을 생성하는 링잉 영역 검출 유닛(ringing area detection unit); 및
    상기 필터링 영역 맵에 기초하여 마지막 입력으로서, 스무싱 필터 또는 원래 의 입력 비디오 이미지의 필터링 된 신호 출력을 선택하여 디코딩된 입력 비디오 이미지 시퀀스에서의 모스퀴토 잡음을 줄이는 믹서를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  11. 제10항에 있어서,
    상기 로컬 잡음 세기 추정기는 상기 스무싱 필터에 의하여 각각의 입력 이미지 픽셀로부터 제거되어야 할 잡음의 양을 본질적으로 결정하는 로컬 잡음 세기를 추정하는 코딩 아티팩트 감쇄 시스템.
  12. 제10항에 있어서,
    상기 스무싱 필터는 이미지 에지를 유지하는 동안 잡음을 제거하는 에지 보호 필터(edge preserving filter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  13. 제10항에 있어서,
    상기 로컬 잡음 세기 추정기는 상기 스무싱 필터를 제어하기 위한 로컬 필터링 강도를 제공하기 위하여 대응하는(equivalent) 로컬 부가 가우시안 잡음 세기를 추정하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  14. 제10항에 있어서,
    상기 로컬 잡음 세기 추정기는 상기 필터링 강도 제어 유닛에 의하여 제공되는 필터링 강도에 기초하여, 로컬 링잉 잡음 세기를 대응하는 로컬 부가 가우시안 잡음 세기로 전환하기 위하여, 추정된 로컬 필터링 강도에 반응하는 컨버터를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  15. 제14항에 있어서,
    상기 로컬 잡음 세기는 상기 스무싱 필터에 의하여 제거된 잡음의 양이 상기 비디오 퀄리티 분석 유닛에 의해 추정된 입력 비디오 이미지의 비디오 퀄리티에 의존하듯이 비디오 퀄리티에 의존하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  16. 제10항에 있어서,
    상기 링잉 영역 검출 유닛은
    비디오 이미지에서의 에지 영역을 검출하고 에지 맵을 생성하는 에지 검출기;
    인접 에지 영역(near-edge region)을 검출하기 위해 에지맵을 이용하고 인접 에지 맵을 생성하는 인접 에지 검출기;
    비디오 이미지에서의 텍스쳐 영역을 검출하고 텍스쳐 맵을 생성하는 텍스쳐 검출기; 및
    필터링 영역 맵을 생성하기 위하여 인접 에지 맵과 텍스쳐 맵을 이용하는 필 터링 영역 결정 유닛을 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  17. 제 16항에 있어서,
    상기 에지 검출기가 비디오 이미지에서의 각각의 픽셀의 그래디언트(gradient)의 크기와 임계치를 비교하여 에지 영역을 검출하고, 픽셀 그래디언트가 임계치보다 큰 경우 상기 픽셀을 에지 픽셀로 표시할 때, 비디오 이미지의 그래디언트를 계산하는 그래디언트 계산 유닛(gradient computation unit)을 더 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  18. 제 16항에 있어서,
    상기 인접 에지 검출기는 현재의 픽셀을 포함하는 입력 비디오 프레임에서의 블록 내에서 에지 블록을 세고(count), 블록 내에서의 에지 픽셀의 숫자가 특정 임계치를 초과하면 현재의 픽셀을 인접 에지 픽셀로 표시하는 것에 의하여 인접 에지 영역을 검출하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  19. 제 18항에 있어서,
    상기 인접 에지 검출에 이용되는 블록들은 모든 이미지 프레임을 덮는(cover) 중첩되거나 중첩되지 않은 블록이 모두 될 수 있는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  20. 제 16항에 있어서,
    상기 텍스쳐 검출기(texture detector)가 비디오 이미지에서의 각각의 픽셀의 그래디언트의 크기와 임계치를 비교하여 텍스쳐 영역을 검출하고, 픽셀 그래디언트가 임계치보다 큰 경우 상기 픽셀을 텍스쳐 픽셀로 표시할 때, 비디오 이미지의 그래디언트를 계산하는 그래디언트 계산 유닛을 더 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  21. 제 16항에 있어서,
    상기 필터링 영역 결정 유닛은 인접 에지 영역으로부터의 텍스쳐 영역을 제외(exclude)하는 것에 의해 필터링 영역 맵을 생성하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  22. 제10항에 있어서,
    상기 로컬 잡음 세기 추정기는
    고역 통과 필터링된 신호를 생성하기 위하여 입력 비디오 신호의 잡음 성분을 추출하는 고역 통과 필터;
    고역통과 필터링된 신호의 로컬 표준 편차
    Figure 112006024167156-PAT00086
    를 계산하는 로컬 표준 편차 연산기(local standard deviatiaon calcaulator); 및
    고역 통과 필터링된 신호의 로컬 표준 편차
    Figure 112006024167156-PAT00087
    를 필터링 강도 제어 유닛으 로부터의 필터링 강도 제어 신호에서의 대응하는(equivalent) 로컬 부가 가우시안 노이즈 세기
    Figure 112006024167156-PAT00088
    으로 변환하는 컨버터(converter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  23. 제 22항에 있어서,
    상기 로컬 표준 편차 연산기는 r x s 윈도우에 걸쳐 고역 통과 필터링된 신호 HF(i, j)의 로컬 표준 편차
    Figure 112006024167156-PAT00089
    를
    Figure 112006024167156-PAT00090
    여기서
    Figure 112006024167156-PAT00091
    과 같이
    계산하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  24. 제 22항에 있어서,
    상기 컨버터는,
    Figure 112006024167156-PAT00092
    가 비디오 퀄리티 분석 유닛에 의해 추정된 비디오 퀄리티 값이고,
    Figure 112006024167156-PAT00093
    가 비디오 퀄리티 값을 스무싱 필터(smoothing)의 전체 스무싱 레벨을 제어하는 로컬 필터링 강도 신호에 대하여 매핑하기 위하여 필터링 강도 제어 유닛에 의해 이용되는 비증가 함수일때, 고역 통과 필터링 된 신호의 로컬 표준 편차
    Figure 112006024167156-PAT00094
    를 대응하는 로컬 부가 가우시안 노이즈 세기
    Figure 112006024167156-PAT00095
    으로
    Figure 112006024167156-PAT00096
    과 같이 변환하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  25. 제 24항에 있어서,
    상기 스무싱 필터는
    Figure 112006024167156-PAT00097
    가 필터링된 신호이고,
    Figure 112006024167156-PAT00098
    ,
    Figure 112006024167156-PAT00099
    는
    Figure 112006024167156-PAT00100
    를 만족하는 미리 결정된 상수들이며,
    Figure 112006024167156-PAT00101
    는 로컬 잡음 세기이며
    Figure 112006024167156-PAT00102
    일 때
    Figure 112006024167156-PAT00103
    과 같이 입력 신호를 필터링 하는 가중 시그마 필터(weighted sigma filter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  26. 제 25항에 있어서,
    상기 잡음 스무싱 필터는
    Figure 112006024167156-PAT00104
    가 필터링 된 신호이고
    Figure 112006024167156-PAT00105
    이며,
    Figure 112006024167156-PAT00106
    이 로컬 잡음 세기일 때
    Figure 112006024167156-PAT00107
    과 같이 신호를 필터링 하는 mmse 필터(minimal mean square error filter)를 포함하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
  27. 제 10항에 있어서,
    상기 믹서는 필터링 영역에서의 마지막 출력으로서 스무싱 필터의 결과를 선택하고 필터링 하지 않은 영역에서의 마지막 출력으로서 원래 입력 신호를 선택하는 것을 특징으로 하는 코딩 아티팩트 감쇄 시스템.
KR1020060031482A 2005-10-06 2006-04-06 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템 KR100782843B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/246,634 US7865035B2 (en) 2005-10-06 2005-10-06 Video quality adaptive coding artifact reduction
US11/246,634 2005-10-06

Publications (2)

Publication Number Publication Date
KR20070038869A true KR20070038869A (ko) 2007-04-11
KR100782843B1 KR100782843B1 (ko) 2007-12-06

Family

ID=37911053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060031482A KR100782843B1 (ko) 2005-10-06 2006-04-06 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템

Country Status (2)

Country Link
US (1) US7865035B2 (ko)
KR (1) KR100782843B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096148A (ko) * 2011-11-23 2014-08-04 루카 로사토 과도 정보의 신호 분석 및 생성

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520739B2 (en) * 2005-05-09 2013-08-27 Intel Corporation Method and apparatus for adaptively reducing artifacts in block-coded video
US7982798B2 (en) 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
US8120703B2 (en) * 2005-09-08 2012-02-21 Silicon Image/BSTZ Source-adaptive video deinterlacer
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
WO2008076566A1 (en) * 2006-12-20 2008-06-26 Anchor Bay Technologies, Inc. Noise cancellation
JP2009021837A (ja) * 2007-07-12 2009-01-29 Panasonic Corp 復号化システム
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
US8305497B2 (en) * 2007-07-27 2012-11-06 Lsi Corporation Joint mosquito and aliasing noise reduction in video signals
TW200922322A (en) * 2007-11-15 2009-05-16 Avisonic Technology Corp Method and apparatus thereof for enhancing digital image
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US8295367B2 (en) * 2008-01-11 2012-10-23 Csr Technology Inc. Method and apparatus for video signal processing
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
CN101626506B (zh) * 2008-07-10 2011-06-01 华为技术有限公司 一种视频码流的质量评估方法、装置及系统
EP2296379A4 (en) * 2008-07-21 2011-07-20 Huawei Tech Co Ltd METHOD, SYSTEM AND DEVICE FOR EVALUATING A VIDEO QUALITY
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
EP2351374A1 (en) * 2008-11-25 2011-08-03 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
WO2010071636A1 (en) * 2008-12-16 2010-06-24 Hewlett-Packard Development Company, L.P. Controlling artifacts in video data
EP2396966B1 (en) * 2009-02-10 2018-09-05 Lattice Semiconductor Corporation Block noise detection and filtering
US8363974B2 (en) * 2009-07-21 2013-01-29 Qualcomm Incorporated Block artifact reducer
CN102714726B (zh) 2010-01-15 2015-03-25 杜比实验室特许公司 使用元数据的用于时间缩放的边缘增强
US8885969B2 (en) * 2010-03-29 2014-11-11 Sony Corporation Method and apparatus for detecting coding artifacts in an image
US9536288B2 (en) * 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
KR102338466B1 (ko) 2017-12-08 2021-12-14 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어방법
TWI692970B (zh) * 2018-10-22 2020-05-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法
CN111131661B (zh) * 2018-10-30 2022-05-17 瑞昱半导体股份有限公司 影像处理电路及相关的影像处理方法
US11486888B2 (en) 2019-01-11 2022-11-01 Robert R. Wilt Scanning platen with sample conveyor
CN111586443B (zh) * 2020-05-21 2022-06-10 上海大因多媒体技术有限公司 一种基于h.265协议分布式系统的信息输出方法及系统
CN111641572B (zh) * 2020-05-22 2023-04-14 Oppo广东移动通信有限公司 一种噪声功率评估方法及装置、存储介质
CN115019008B (zh) * 2022-05-30 2023-07-04 深圳市鸿普森科技股份有限公司 一种智能3d模型设计分析服务管理平台

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574699A (en) * 1983-10-31 1996-11-12 Cuomo; Frank W. Fiber optic lever towed array
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
US5619959A (en) * 1994-07-19 1997-04-15 Cummins Engine Company, Inc. Spark plug including magnetic field producing means for generating a variable length arc
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
FI106071B (fi) 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
US6192161B1 (en) * 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
JP2001313831A (ja) * 1999-11-05 2001-11-09 Ricoh Co Ltd 画像処理装置、画像処理方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002077917A (ja) * 2000-06-13 2002-03-15 Sony Corp 画像データ処理装置及び画像データ処理方法
US20020021756A1 (en) * 2000-07-11 2002-02-21 Mediaflow, Llc. Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
WO2002102086A2 (en) 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US6577764B2 (en) * 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
KR100464000B1 (ko) * 2001-09-28 2004-12-30 엘지전자 주식회사 비디오 코더의 블록화 현상 제거 방법
US6898328B2 (en) * 2002-10-23 2005-05-24 Sony Corporation Method and apparatus for adaptive pixel estimation under high error rate conditions
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
US7551772B2 (en) * 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
WO2008076566A1 (en) * 2006-12-20 2008-06-26 Anchor Bay Technologies, Inc. Noise cancellation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096148A (ko) * 2011-11-23 2014-08-04 루카 로사토 과도 정보의 신호 분석 및 생성

Also Published As

Publication number Publication date
KR100782843B1 (ko) 2007-12-06
US7865035B2 (en) 2011-01-04
US20070081596A1 (en) 2007-04-12

Similar Documents

Publication Publication Date Title
KR100782843B1 (ko) 비디오 퀄리티에 적응적인 코딩 아티팩트 감쇄 시스템
KR100754181B1 (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
KR100797807B1 (ko) 코딩 아티팩트 감소 방법
KR100564592B1 (ko) 동영상 데이터 잡음제거방법
US7668397B2 (en) Apparatus and method for objective assessment of DCT-coded video quality with or without an original video sequence
EP1937002B1 (en) Method and device for estimating the image quality of compressed images and/or video sequences
KR101084513B1 (ko) Ｍｐｅｇ 가공 감소를 위한 방법 및 장치
CN104244015A (zh) 移除视频数据中的编码伪影的自适应滤波机制
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
WO2004008780A1 (en) A method and apparatus for measuring the quality of video data
WO2005055618A1 (en) Method and system for video quality measurements
US8369417B2 (en) Optimal denoising for video coding
KR20070116717A (ko) 압축된 디지털 이미지의 ｍｐｅｇ 노이즈 강도 측정 방법및 장치
WO2002096118A2 (en) Decoding compressed image data
CN104221361A (zh) 视频处理装置、视频处理方法、电视接收机、程序及记录介质
US8855213B2 (en) Restore filter for restoring preprocessed video image
KR101529754B1 (ko) 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치
US9639919B2 (en) Detection and correction of artefacts in images or video
Derviaux et al. Blocking artifact reduction of DCT coded image sequences using a visually adaptive postprocessing
US10708624B1 (en) Pre-processing for video compression
Kirenko et al. Coding artifact reduction using non-reference block grid visibility measure
KR100207641B1 (ko) 영상신호 필터링회로
Massidda et al. A human visual system model for no-reference digital video quality estimation
Gottardo et al. Nonlinear preprocessing for MPEG-2 video sequences.
KR20050079690A (ko) 필터링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee