KR20110005093A - 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치 - Google Patents

압축 노이즈를 감소시키기 위한 영상처리방법 및 장치 Download PDF

Info

Publication number
KR20110005093A
KR20110005093A KR1020090062622A KR20090062622A KR20110005093A KR 20110005093 A KR20110005093 A KR 20110005093A KR 1020090062622 A KR1020090062622 A KR 1020090062622A KR 20090062622 A KR20090062622 A KR 20090062622A KR 20110005093 A KR20110005093 A KR 20110005093A
Authority
KR
South Korea
Prior art keywords
information
image
weight
frame
macro block
Prior art date
Application number
KR1020090062622A
Other languages
English (en)
Inventor
임대일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090062622A priority Critical patent/KR20110005093A/ko
Priority to US12/730,020 priority patent/US8576917B2/en
Priority to EP10158551A priority patent/EP2276256A1/en
Publication of KR20110005093A publication Critical patent/KR20110005093A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

영상의 디지털 압축 노이즈를 적응적으로 감소시키기 위한 영상처리방법 및 장치가 개시된다. 본 영상처리방법은, 로컬 정보 및 프레임 정보를 기초로, 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하여 영상을 처리한다. 이에 의해, 영상에 따라 적응적으로 노이즈를 감쇄시키고, 영상에 최적화된 강도로 노이즈를 경감시킬 수 있게 된다.
Figure P1020090062622
디지털 압축 노이즈, 블러링, 매크로 블럭

Description

압축 노이즈를 감소시키기 위한 영상처리방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS FOR REDUCING COMPRESSION NOISE}
본 발명은, 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치에 관한 것으로서, 보다 상세하게는, 영상의 디지털 압축 노이즈를 적응적으로 감소시키기 위한 영상처리방법 및 장치에 관한 것이다.
고용량 고화질의 영상을 제공하기 위해, 영상 매체 사업자들은 MPEG-2(Motion Picture Experts Groups 2) 등의 압축된 형태로 영상을 제공한다. 그리고, 압축된 영상을 디코딩할 때, 압축 디지털 노이즈 경감장치는 디코딩된 영상의 압축된 정도를 측정하는 지표인 Q값(영상압축시 변환정도를 양자화한 값)에 따라 디지털 노이즈를 처리하는 세기를 조절하여 노이즈를 경감시킨다. 이러한 Q값은 영상 프레임 하나당 하나의 값으로 계산되며, Q값이 커질수록 노이즈 경감장치의 처리강도는 높아지게 된다.
그러나, 기존의 압축 디지털 노이즈 경감장치는, 압축 노이즈의 발생 빈도가 높은 영역과 낮은 영역간의 처리강도를 차별화하지 않고 일괄적으로 노이즈를 경감시키기 때문에, 노이즈 경감 정도를 최적화하는데 한계가 있다.
특히, 압축 노이즈가 많이 발생하는 영역에 노이즈 경감을 위한 처리강도가 상대적으로 낮게 적용되는 경우, 압축 노이즈의 처리가 부족하여 노이즈가 많이 생기게 된다는 문제가 있고, 이와 역으로, 압축 노이즈가 적게 발생하는 영역에 노이즈 경감을 위한 처리강도가 상대적으로 높게 적용되는 경우, 압축 노이즈의 처리강도가 과하여 영상에 블러링이 발생하게 된다는 문제가 있다.
이에 따라, 노이즈 경감정도를 최적화하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 압축 노이즈 감쇄정도를 최적화하기 위한 방안으로, 입력된 영상의 로컬 정보 및 프레임 정보에 따라 결정된 가중치에 따라 압축 노이즈 감쇄 강도를 결정하는 영상처리방법 및 영상처리장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리방법은, 디코딩된 영상에서 영상의 로컬 정보 및 프레임 정보를 추출하는 단계; 및 상기 로컬 정보 및 상기 프레임 정보를 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 단계;를 포함한다.
여기서, 상기 로컬 정보는, 매크로블럭 레이어에 포함된 정보로서, 상기 영상에 해당하는 매크로블럭의 위치에 대한 정보를 포함할 수 있다.
또한, 상기 매크로블럭 레이어에 포함된 정보는, 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 가중치 결정단계는, 상기 양자화 스케일 코드가 제1 레벨 이상 이고 제2 레벨 미만인 경우 상기 가중치를 높게 설정하고, 상기 양자화 스케일 코드가 상기 제1 레벨 미만이거나 상기 제2 레벨 이상인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 가중치 결정단계는, 상기 매크로 블럭 스킵 정보가, 상기 매크로 블럭을 스킵하지 말라는 정보를 나타내는 경우 상기 가중치를 높게 설정하고, 상기 매크로 블럭을 스킵하라는 정보를 나타내는 경우 상기 가중치를 낮게 설정할 수 있다.
그리고, 상기 프레임 정보는, 픽쳐 레이어에 포함된 정보로서, 상기 영상에 해당하는 픽쳐의 프레임에 관한 정보를 포함할 수 있다.
또한, 상기 픽쳐 레이어에 포함된 정보는, 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 가중치 결정단계는, 상기 영상이 인터레이스 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상이 프로그레시브 영상인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 가중치 결정단계는, 상기 영상의 원본포맷이 필름 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상의 원본포맷이 비디오 영상인 경우 상기 가중치를 낮게 설정할 수 있다.
그리고, 상기 가중치 결정단계는, 상기 영상의 부호화 프레임이 I-프레임인 경우 상기 가중치를 높게 설정하고, 상기 영상의 부호화 프레임이 P-프레임 또는 B-프레임인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 로컬 정보는 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보를 포함하고, 상기 프레임 정보는 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보를 포함하며, 상기 가중치 결정단계는, 상기 인터레이스 프레임 정보, 상기 원본포맷 종류 정보, 상기 부호화 프레임 정보, 상기 양자화 스케일 코드 정보 및 상기 매크로 블럭 스킵 정보의 순서대로 상기 가중치의 레벨을 달리하여 상기 가중치를 부여할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리방법은, 영상을 디코딩하는 단계; 및 상기 디코딩된 영상에서 매크로블럭 단위로 된 영상 데이터의 헤더에 포함된 정보 및 상기 디코딩된 영상에서 픽쳐 단위로 된 영상 데이터의 헤더에 포함된 정보를 추출하고, 상기 추출된 정보들을 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리장치는, 영상을 디코딩하는 디코딩부; 상기 디코딩된 영상에서, 상기 영상의 로컬 정보 및 프레임 정보를 추출하고, 상기 로컬 정보 및 상기 프레임 정보를 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 제어부; 및 상기 가중치를 기초로 상기 디코딩된 영상을 처리하는 영상처리부;를 포함한다.
여기서, 상기 로컬 정보는, 매크로블럭 레이어에 포함된 정보로서, 상기 영상에 해당하는 매크로블럭의 위치에 대한 정보를 포함할 수 있다.
또한, 상기 매크로블럭 레이어에 포함된 정보는, 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어부는, 상기 양자화 스케일 코드가 제1 레벨 이상이고 제2 레벨 미만인 경우 상기 가중치를 높게 설정하고, 상기 양자화 스케일 코드가 상기 제1 레벨 미만이거나 상기 제2 레벨 이상인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 제어부는, 상기 매크로 블럭 스킵 정보가, 상기 매크로 블럭을 스킵하지 말라는 정보를 나타내는 경우 상기 가중치를 높게 설정하고, 상기 매크로 블럭을 스킵하라는 정보를 나타내는 경우 상기 가중치를 낮게 설정할 수 있다.
그리고, 상기 프레임 정보는, 픽쳐 레이어에 포함된 정보로서, 상기 영상에 해당하는 픽쳐의 프레임에 관한 정보를 포함할 수 있다.
또한, 상기 픽쳐 레이어에 포함된 정보는, 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어부는, 상기 영상이 인터레이스 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상이 프로그레시브 영상인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 제어부는, 상기 영상의 원본포맷이 필름 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상의 원본포맷이 비디오 영상인 경우 상기 가중치를 낮게 설정할 수 있다.
그리고, 상기 제어부는, 상기 영상의 부호화 프레임이 I-프레임인 경우 상기 가중치를 높게 설정하고, 상기 영상의 부호화 프레임이 P-프레임 또는 B-프레임인 경우 상기 가중치를 낮게 설정할 수 있다.
또한, 상기 로컬 정보는 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보를 포함하고, 상기 프레임 정보는 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보를 포함하며, 상기 제어부는, 상기 인터레이스 프레임 정보, 상기 원본포맷 종류 정보, 상기 부호화 프레임 정보, 상기 양자화 스케일 코드 정보 및 상기 매크로 블럭 스킵 정보의 순서대로 상기 가중치의 레벨을 달리하여 상기 가중치를 부여할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리장치는, 영상을 디코딩하는 디코딩부; 상기 디코딩된 영상에서 매크로블럭 단위로 된 영상 데이터의 헤더에 포함된 정보 및 상기 디코딩된 영상에서 픽쳐 단위로 된 영상 데이터의 헤더에 포함된 정보를 추출하고, 상기 추출된 정보들을 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 제어부; 및 상기 가중치를 기초로 상기 디코딩된 영상을 처리하는 영상처리부;를 포함한다.
이와 같이, 본 발명의 다양한 실시예들에 따르면, 영상의 압축 노이즈 감쇄를 최적화하기 위한 방안으로서, 압축 노이즈 감쇄를 위한 가중치를 결정하는 영상처리방법 및 영상처리장치가 제공되며, 이러한 영상처리방법 및 영상처리장치의 제공으로 인해, 입력된 영상에 따라 압축 노이즈 감쇄정도를 적응적으로 처리할 수 있게 된다.
특히, 입력된 영상의 로컬 정보와 프레임 정보에 따라 영상의 압축 노이즈 감쇄를 위해 가중치를 결정하기 때문에, 영상에 따라 적응적으로 노이즈를 감쇄시키고, 영상에 최적화된 강도로 노이즈를 경감시킬 수 있게 된다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 영상처리장치(100)의 구성을 도시한 블럭도이다. 본 실시예에 따른 영상처리장치(100)는, 디지털 압축된 영상을 디코딩하며, 디코딩된 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 각각의 인자마다 결정하여, 각 인자들에 대해 결정된 가중치에 기초하여 압축 노이즈를 감쇄시킨다.
도 1에 도시된 바와 같이, 영상처리장치(100)는 영상 수신부(110), 디코딩부(120), 제어부(130), 영상 처리부(140) 및 영상 출력부(150)를 포함한다.
영상 수신부(110)는 영상 데이터를 입력받는다. 구체적으로, 영상 수신부(110)는 MPEG-2(Motion Picture Experts Groups 2) 형식으로 압축된 영상 데이터를 입력받는다.
영상 수신부(110)는 다양한 형태로 영상 데이터를 입력받을 수 있다. 구체적으로, 영상 수신부(110)는 MPEG-2로 압축된 영상을 저장한 저장매체로부터 영상 데이터를 입력받을 수 있다. 예를 들어, DVD는 일반적으로 영상을 MPEG-2로 압축하여 저장하기 때문에, 영상 수신부(110)는 DVD로부터 압축된 영상 데이터를 입력받을 수도 있다. 또한, 영상 수신부(110)는 방송 신호를 통해 영상 데이터를 입력받을 수도 있다. 디지털 방송의 규격에 따르면 영상은 MPEG-2로 압축되어 방송된다. 따라서, 영상 수신부(110)는 MPEG-2로 압축된 디지털 방송 신호를 통해 영상 데이터를 입력받을 수도 있게 된다.
디코딩부(120)는 MPEG-2로 압축된 영상을 수신하여 디코딩하며, 이에 따라, 디코딩부(120)에서는 압축해제된 영상 데이터가 출력되게 된다. 디코딩부(120)는, 압축해제된 영상을 제어부(130) 및 영상 처리부(140)로 전달한다.
제어부(130)는 영상처리장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(130)는 압축해제된 영상 데이터에서 헤더 정보를 추출하고, 추출된 헤더 정보를 기초로 헤더 정보를 판별하여 압축 노이즈 경감시 필요한 각 인자에 적용하기 위한 개별 가중치를 산출하며, 산출된 개별 가중치를 각 인자에 적용한 최종 가중치를 결정한다.
이를 위해, 제어부(130)는, 헤더정보 추출부(131), 헤더 정보 판별부(133) 및 가중치 결정부(135)를 구비한다.
헤더정보 추출부(131)는, 압축해제된 영상 데이터에서 헤더 정보를 추출한다. 여기서, 헤더 정보는, 압축해제된 영상의 픽쳐 레이어에 포함된 헤더 정보와 압축해제된 영상의 매크로블럭 레이어에 포함된 헤더 정보이다.
픽쳐 레이어에 포함된 헤더 정보는, 영상이 해당하는 픽쳐에 대한 정보가 포함되어 있다. 따라서, 이러한 픽쳐 레이어에 포함된 헤더 정보는 영상에 대한 프레임 정보라고 볼 수 있다. 또한, 매크로블럭 레이어에 포함된 헤더 정보는, 영상이 해당하는 매크로블럭에 대한 정보가 포함되어 있다. 따라서, 이러한 매크로블럭 레이어에 포함된 헤더 정보는 영상에 대한 로컬 정보라고 볼 수 있다.
한편, 픽쳐 레이어에 포함된 헤더 정보는, 인터레이스 프레임 정보, 원본포맷 종류 정보와 부호화 프레임 정보 등을 포함하며, 매크로블럭 레이어에 포함된 헤더 정보는, 양자화 스케일 코드 정보, 매크로 블럭 스킵 정보 등을 포함한다. 이 에 대한, 설명을 위해, 도 2를 참조하기로 한다.
도 2는, 헤더정보 추출부(131)에 대한 상세블록도이다. 헤더정보 추출부(131)는, Quantizer Scale Code 추출부(210), Skip MB 추출부(220), Interlace Frame 추출부(230), Film/Video Sequence 추출부(240) 및 Picture Coding Type 추출부(250)로 구성된다.
Quantizer Scale Code 추출부(210)는, 디코딩된 영상으로부터 매크로블럭 레이어에 포함된 양자화 스케일 코드에 대한 정보를 추출한다. 구체적으로, Quantizer Scale Code 추출부(210)는, 매크로블럭 레이어의 헤더 정보 중 Get Quantizer Scale Code 블럭에 저장되어 있는 양자화 스케일 코드에 대한 정보를 추출한다.
양자화 스케일 코드 정보는, 입력된 영상데이터가 해당하는 매크로블럭의 압축된 정도를 나타내는 정보이다. 양자화 스케일 코드는, 0부터 31까지로 구성되며, 양자화 스케일 코드가 클 수록 압축된 정도가 크다고 볼 수 있다. 양자화 스케일 코드 정보는 0부터 31까지의 양자화 스케일 코드를 나타내기 위해 5비트로 구성된다.
Skip MB 추출부(220)는, 디코딩된 영상으로부터 매크로블럭 레이어에 포함된 매크로 블럭 스킵 정보를 추출한다. 구체적으로, Skip MB 추출부(220)는, 매크로블럭 레이어의 헤더 정보 중 Get Skip MB 블럭에 저장되어 있는 매크로 블럭 스킵 정보를 추출한다.
매크로 블럭 스킵 정보는, 입력된 영상데이터가 해당하는 매크로블럭의 complex detail을 나타내는 정보이다. 매크로 블럭 스킵 정보에서 매크로 블럭 스킵이 on으로 되어 있는 경우, 입력된 영상은 black 데이터 위주로 된 영상이거나 detail이 많은 영상이 된다. 반면, 매크로 블럭 스킵 정보에서 매크로 블럭 스킵이 off로 되어 있는 경우, 입력된 영상은 일반적인 영상이 된다. 매크로 블럭 스킵 정보는 매크로 블럭 스킵의 on/off를 나타내기 위해 1비트로 구성된다.
Interlace Frame 추출부(230)는, 디코딩된 영상으로부터 픽쳐 레이어에 포함된 인터레이스 프레임 정보를 추출한다. 구체적으로, Interlace Frame 추출부(230)는, 픽쳐 레이어의 헤더 정보 중 Get Interlace Frame 블럭에 저장되어 있는 인터레이스 프레임 정보를 추출한다.
인터레이스 프레임 정보는, 입력된 영상데이터가 해당하는 프레임이 인터레이스인지 여부를 나타내는 정보이다. 따라서, 인터레이스 프레임 정보가 참(TRUE)인 경우, 입력된 영상 데이터는 인터레이스 영상이 된다. 하지만, 인터레이스 프레임 정보가 거짓(FALSE)인 경우, 입력된 영상은 프로그래시브 영상이 된다. 인터레이스 프레임 정보는 입력된 영상데이터가 해당하는 프레임이 인터레이스인지 프로그레시브인지 여부를 나타내기 위해 1비트로 구성된다.
Film/Video Sequence 추출부(240)는, 디코딩된 영상으로부터 픽쳐 레이어에 포함된 원본 포맷 종류 정보를 추출한다. 구체적으로, Film/Video Sequence 추출부(240)는, 픽쳐 레이어의 헤더 정보 중 Get Film/Video Sequence 블럭에 저장되어 있는 원본 포맷 종류 정보를 추출한다.
원본 포맷은 입력된 압축 영상 데이터의 압축되기 전의 영상 포맷을 의미한 다. 즉, 원본 포맷은 입력된 압축 영상 데이터가 촬영될 때, 녹화된 영상 데이터의 포맷을 의미한다. 원본 포맷의 종류는, 개략적으로는 녹화된 영상 데이터의 포맷이 필름인지 비디오인지 여부만으로 구분될 수 있으며, 상세하게는, 60p video, 50p video, 25p film, 60i NTSC video, 24p Film, 50i PAL video, 60i NTSC 32 pulldown film, 및 50i PAL 22 pulldown film 중 어느 하나로 구분될 수 있다.
60p video는 60 fps(frame per second)의 프로그래시브(progressive) 비디오 영상을 의미한다. 50p video는 50 fps의 프로그래시브 비디오 영상을 의미한다. 25p film은 25 fps의 프로그래시브 필름영상을 의미한다. 60i NTSC video는 60 fps의 인터레이스(interlace) 비디오 영상으로 북미향 방송 규격인 NTSC(National Television System Committee) 영상에 해당된다. 24p Film은 24 fps의 프로그래시브 필름 영상을 의미한다. 50i PAL video는 50 fps의 인터레이스 영상으로 유럽향 방송 규격인 PAL(Phase-Alternating Line) 영상에 해당된다. 60i NTSC 32 pulldown film는 24 fps의 필름 영상을 60i NTSC 비디오 영상으로 3:2 풀다운(pulldown)한 영상을 의미한다. 50i PAL 22 pulldown film은 25 fps의 필름 영상을 50i PAL 비디오 영상으로 2:2 풀다운한 영상을 의미한다.
영상 포맷 종류 정보는, 입력된 영상의 포맷을 구분하는 기준에 따라 1비트 또는 수비트로 구성된다. 이하에서는, 설명의 편의를 위해, 영상의 포맷을 개략적으로 구분하는 것으로 상정하기로 한다.
Picture Coding Type 추출부(250)는, 디코딩된 영상으로부터 픽쳐 레이어에 포함된 부호화 프레임 정보를 추출한다. 구체적으로, Picture Coding Type 추출 부(250)는, 픽쳐 레이어의 헤더 정보 중 Get Picture Coding Type 블럭에 저장되어 있는 부호화 프레임 정보를 추출한다.
부호화 프레임 정보는, 입력된 영상데이터가 해당하는 프레임이 I-프레임인지, P-프레임인지, B-프레임인지 여부를 나타내는 정보이다. I-프레임은 해당 화면 정보만으로 압축되며, 한 장의 영상을 독립적으로 압축하는 프레임을 의미하고, P-프레임은 이전 영상을 참조하여 이전 영상과의 관계를 가지고 압축되는 프레임을 의미하며, B-프레임은 이전 영상과 이후의 I-프레임 또는 P-프레임 영상을 참조하여 압축되는 프레임을 의미한다.
따라서, 부호화 프레임 정보에 따라, 입력된 영상 데이터는, I-프레임 영상, P-프레임 영상 또는 B-프레임 영상이 된다. 부호화 프레임 정보는 입력된 영상데이터가 해당하는 프레임이 I-프레임인지, P-프레임인지, B-프레임인지 여부를 나타내기 위해 2비트로 구성된다.
다시 도 1에 대해 설명하면, Quantizer Scale Code 추출부(210)에서 추출된 양자화 스케일 코드에 대한 정보, Skip MB 추출부(220)에서 추출된 매크로 블럭 스킵 정보, Interlace Frame 추출부(230)에서 추출된 인터레이스 프레임 정보, Film/Video Sequence 추출부(240)에서 추출된 원본 포맷 종류 정보 및 Picture Coding Type 추출부(250)에서 추출된 부호화 프레임 정보는 헤더 정보 판별부(133)로 전달된다.
헤더 정보 판별부(133)는, 추출된 각각의 헤더 정보를 기초로 각각의 헤더 정보의 내용을 판별하고, 판별된 각각의 헤더 정보의 내용에 따라 개별 가중치를 산출한다. 이에 대한, 설명을 위해, 도 3을 참조하기로 한다.
도 3은, 헤더 정보 판별부(133)에 대한 상세블록도이다. 도 3에서는 설명의 편의를 위해 가중치 결정부(135)를 함께 도시하였다.
헤더 정보 판별부(133)는, CAS(Complex Artifact Strength) 검출부(310), COMIX(COmplex detail MIXure) 검출부(320), SPACOM(SPAtial COMpression) 검출부(330), Film/Video 검출부(340) 및 BUN(Bounded, Unbounded, None frame) 검출부(350)로 구성된다.
CAS 검출부(310)는, Quantizer Scale Code 추출부(210)에서 추출된 양자화 스케일 코드 정보를 기초로 영상 데이터의 양자화 스케일 코드를 검출하고, 검출된 결과를 기초로 노이즈 경감 처리를 위한 강도를 결정한다. 구체적으로, CAS 검출부(310)는, 양자화 스케일 코드가 5~14인 것으로 판단되면, 노이즈 경감 처리의 강도를 high로 설정하고, 양자화 스케일 코드가 0~4 또는 15~31인 것으로 판단되면, 노이즈 경감 처리의 강도를 low로 설정한다.
양자화 스케일 코드가 5~14일 때 노이즈 경감 처리의 강도를 high로 설정하고, 양자화 스케일 코드가 0~4일 때 노이즈 경감 처리의 강도를 low로 설정하는 이유는, 양자화 스케일 코드가 높을수록, 압축이 많이 된 영상이기 때문에, 압축 노이즈도 많아지기 때문이다. 다만, 양자화 스케일 코드가 15-31일 때 노이즈 경감 처리의 강도를 low로 설정하는 이유는, 노이즈 경감 처리의 강도가 high로 설정되는 경우와 큰 차이가 없기 때문이다.
이와 같이, CAS 검출부(310)는 양자화 스케일 코드라는 인자에 따라, 가중치 를 high 또는 low로 설정한다.
COMIX 검출부(320)는, Skip MB 추출부(220)에서 추출된 Skip MB 정보를 기초로 영상 데이터의 매크로 블럭 스킵 정보를 검출하고, 검출된 결과를 기초로 노이즈 경감 처리를 위한 강도를 결정한다. 구체적으로, COMIX 검출부(320)는, 매크로 블럭 스킵 정보가 on인 경우, 노이즈 경감 처리의 강도를 low로 설정하고, 매크로 블럭 스킵 정보가 off인 경우, 노이즈 경감 처리의 강도를 high로 설정한다.
매크로 블럭 스킵 정보가 on인 경우, 노이즈 경감 처리의 강도를 low로 설정하고, 매크로 블럭 스킵 정보가 off인 경우, 노이즈 경감 처리의 강도를 high로 설정하는 이유는, 매크로 블럭 스킵 정보가 on이면 압축된 정도가 작기 때문에, 노이즈 경감 처리의 필요성이 떨어지기 때문이다. 매크로 블럭 스킵 정보가 on인 경우는, 일반적인 영상의 경우이고, 매크로 블럭 스킵 정보가 off인 경우는, 영상이 블랙 데이터이거나 영상에 detail이 많은 경우이다.
이와 같이, COMIX 검출부(320)는 매크로 블럭 스킵이라는 인자에 따라, 가중치를 high 또는 low로 설정한다.
SPACOM 검출부(330)는, Interlace Frame 추출부(230)에서 추출된 인터레이스 프레임 정보를 검출하고, 검출된 결과를 기초로 노이즈 경감 처리를 위한 강도를 결정한다. 구체적으로, SPACOM 검출부(330)는, 인터레이스 프레임 정보가 참(TRUE)인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 인터레이스 프레임 정보가 거짓(FALSE)인 경우 노이즈 경감 처리의 강도를 low로 설정한다.
인터레이스 프레임 정보가 참(TRUE)인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 인터레이스 프레임 정보가 거짓(FALSE)인 경우, 노이즈 경감 처리의 강도를 low로 설정하는 이유는, 다음과 같다.
방송 및 DVD용으로 제작된 MPEG-2 압축영상은 대부분 인터레이스 규격으로 제작된다. MPEG-2 압축되는 인터레이스 영상은 경우에 따라 Field-To-Frame으로 만들어진 다음 압축하며 이때 복잡한 영상으로 판별될 가능성이 커서 압축 디지털 노이즈가 다량으로 발생할 여지가 있다. 여기서, 주요한 압축 디지털 노이즈는 DCT로 변환(transform)한 후 DCT 양자화를 하는 과정에서 발생하는 blocky, DCT를 하는 최소단위인 마크로 블록(Macroblock)의 엣지(edge)영역에 의해 플랫(flat)영역이 영향받는 경우 발생하는 mosquito 및 ringing를 예로 들 수 있다.
프로그래시브로 압축된 영상은 인터레이스로 압축된 경우보다는 압축 디지털 노이즈가 덜 심하다. 그 이유는 MPEG-2 인코더에서 프로그래시브 영상은 인터레이스 영상보다 덜 복잡한 영상으로 판별될 수 있고, 그에 따른 압축 디지털 노이즈는 상대적으로 적게 나올 가능성이 크기 때문이다.
따라서, 원본 포맷이 프로그래시브 영상인 영상 데이터는 노이즈 경감 강도를 low로 설정하고, 원본 포맷이 노이즈가 상대적으로 많은 인터레이스 영상인 영상 데이터는 노이즈 경감 강도를 high로 설정한 것이다.
이와 같이, SPACOM 검출부(330)는 인터레이스 프레임이라는 인자에 따라, 가중치를 high 또는 low로 설정한다.
Film/Video 검출부(340)는, Film/Video Sequence 추출부(240)에서 추출된 원본 포맷 종류 정보를 검출하고, 검출된 결과를 기초로 노이즈 경감 처리를 위한 강 도를 결정한다. 구체적으로, Film/Video 검출부(340)는, 원본 포맷의 종류가 필름인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 원본 포맷의 종류가 비디오인 경우, 노이즈 경감 처리의 강도를 low로 설정한다.
원본 포맷의 종류가 필름인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 원본 포맷의 종류가 비디오인 경우, 노이즈 경감 처리의 강도를 low로 설정하는 이유는, 다음과 같다.
원영상이 필름용으로 촬영되었는지, 혹은 비디오로 촬영되었는지에 따라 영상의 디테일 정도가 다르다. 필름 영상과 비디오 영상은 녹화장치 자체의 규격이 다른 경우가 많다. 예를 들어, 필름용 녹화장치는 공간주파수(spatial frequency)의 중간주파수(mid frequency)가 낮은 편이다. 반면 비디오용 비디오 녹화장치는 공간주파수(spatial frequency)가 전반적으로 높은 편이다. 이에 따라 필름용으로 제작된 영상은 중간 주파수의 디테일이 낮으므로 압축 디지털 노이즈 처리 세기를 높여도 영상에 아티팩트(artifact) 발생 가능성이 상대적으로 낮다, 반면, 비디오용으로 제작된 영상은 디테일이 많으므로 압축 디지털 노이즈 처리 세기를 높이면 아티팩트(artifact)발생할 가능성이 상대적으로 높다.
따라서, 원본 포맷이 비디오 영상인 영상 데이터는 노이즈 저감 강도를 Low로 설정하고, 원본 포맷이 필름 영상인 영상 데이터는 노이즈 저감 강도를 High로 설정한 것이다.
이와 같이, Film/Video 검출부(340)는 원본 포맷이라는 인자에 따라, 가중치를 high 또는 low로 설정한다.
BUN 검출부(350)는 Picture Coding Type 추출부(250)에서 추출된 부호화 프레임 정보를 검출하고, 검출된 결과를 기초로 노이즈 경감 처리를 위한 강도를 결정한다. 구체적으로, BUN 검출부(350)는, 부호화 프레임이 I-프레임인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 부호화 프레임이 P-프레임 또는 B-프레임인 경우, 노이즈 경감 처리의 강도를 low로 설정한다.
부호화 프레임이 I-프레임인 경우, 노이즈 경감 처리의 강도를 high로 설정하고, 부호화 프레임이 P-프레임 또는 B-프레임인 경우, 노이즈 경감 처리의 강도를 low로 설정하는 이유는, 부호화 프레임이 I-프레임인 경우이면, 프레임 자체적인 압축을 하기 때문에 압축률이 더 높기 때문이다. 즉, 압축률이 높아 노이즈가 더 많이 발생하게 되어, 노이즈 경감 처리의 필요성이 더 높아지게 된다.
이와 같이, BUN 검출부(350)는 부호화 프레임이라는 인자에 따라, 가중치를 high 또는 low로 설정한다.
다시 도 1에 대해 설명하면, 헤더 정보 판별부(133)에서, 판별된 각각의 헤더 정보에 따라 개별 가중치가 산출되면, 산출된 개별 가중치는 가중치 결정부(135)로 전달된다.
가중치 결정부(135)는, 산출된 개별 가중치를 조합하여 최종 가중치를 결정한다. 이 때, 최종 가중치는, 각각의 인자에 따른 가중치를 단순히 합하여 결정될 수 있다. 예를 들어, CAS 검출부(310), SPACOM 검출부(330) 및 Film/Video 검출부(340)에서 개별 가중치가 low로 산출되고, COMIX 검출부(320) 및 BUN 검출부(350)에서 개별 가중치가 high로 산출되면, 가중치 결정부(135)는 최종 가중치를 3, 3/5 또는 60% 등으로 결정할 수 있다.
반면, 최종 가중치는, 각각의 인자에 따른 가중치에 추가적인 가중치를 부가하여 결정될 수 있다. 예를 들어, 노이즈 경감 처리를 위한 강도를 결정할 때, 부호화 프레임, 인터레이스 프레임, 원본 포맷의 종류, 양자화 스케일 코드, 매크로 블럭 스킵의 순서로서 그 중요성이 인정된다면, 부호화 프레임에는 추가 가중치를 5로 부여하고, 인터레이스 프레임에는 추가 가중치를 4로 부여하며, 원본 포맷의 종류에는 추가 가중치를 3으로 부여하고, 양자화 스케일 코드에는 추가 가중치를 2로 부여하며, 매크로 블럭 스킵에는 추가 가중치를 1로 부여할 수 있다. 이 때, CAS 검출부(310), SPACOM 검출부(330) 및 Film/Video 검출부(340)에서 개별 가중치가 low로 산출되고, COMIX 검출부(320) 및 BUN 검출부(350)에서 개별 가중치가 high로 산출되면, 가중치 결정부(135)는 최종 가중치를 6, 6/15, 40% 등으로 결정할 수 있다.
6/15라는 최종 가중치가 결정되는 과정에 대해 수식으로 나타내면 다음과 같다.
Figure 112009041884312-PAT00001
(여기서, A는 추가 가중치가 가장 높은 인자의 개별 가중치, B는 추가 가중치가 두 번째로 높은 인자의 개별 가중치, C는 추가 가중치가 세 번째로 높은 인자의 개별 가중치, D는 추가 가중치가 네 번째로 높은 인자의 개별 가중치, 그리고, E는 추가 가중치가 가장 낮은 인자의 개별 가중치)
이와 같이, 가중치 결정부(135)는, 산출된 개별 가중치를 조합하여 결정된 최종 가중치를 영상 처리부(140)로 전달한다.
영상 처리부(140)는, 디코딩부(120)로부터 입력된 영상 데이터에 대해, 스케일링 및 노이즈 경감 등의 영상 처리를 수행한다. 구체적으로, 영상 처리부(140)는 제어부(130)로부터 입력된 노이즈 경감 가중치에 따라, 입력된 영상 데이터의 노이즈 경감 처리를 수행하게 된다. 그리고, 영상 처리부(140)는 처리된 영상을 영상 출력부(150)로 전송한다.
영상 출력부(150)는 처리된 영상을 영상처리장치(100) 내부의 디스플레이 화면으로 출력시킨다. 또한, 영상 출력부(150)는 외부 디스플레이 장치로 처리된 영상을 출력할 수도 있음은 물론이다.
이에 의해, 영상에 따라 적응적으로 노이즈를 감쇄시키고, 영상에 최적화된 강도로 노이즈를 경감시킬 수 있게 된다.
이하에서는, 영상의 압축 노이즈를 경감시키기 위한 영상처리방법을 설명하기 위해, 도 4 내지 도 8을 참조하여 설명하기로 한다. 도 4 내지 도 8은, 양자화 스케일 코드 정보를 이용한 영상처리방법, 매크로블럭 스킵 정보를 이용한 영상처리방법, 인터레이스 프레임 정보를 이용한 영상처리방법, 원본 포맷 종류 정보를 이용한 영상처리방법 및 부호화 프레임 정보를 이용한 영상처리방법을 각각 도시하였다.
도 4를 참조하면, 우선, Quantizer Scale Code 추출부(210)는 양자화 스케일 코드 정보를 추출한다(S410). 추출된 양자화 스케일 코드 정보는 CAS 검출부(310)로 전달되고, CAS 검출부(310)는 양자화 스케일 코드 정보를 이용하여 개별 가중치를 설정하게 된다.
구체적으로, 양자화 스케일 코드가 제1 레벨 이상이고 제2 레벨 미만인 경우(S420-Y), CAS 검출부(310)는 양자화 스케일 코드 인자에 대한 개별 가중치를 high로 설정하고(S430), 양자화 스케일 코드가 제1 레벨 미만이거나 제2 레벨 이상인 경우(S420-N), CAS 검출부(310)는 양자화 스케일 코드 인자에 대한 개별 가중치를 low로 설정한다(S440).
CAS 검출부(133)는 설정된 개별 가중치를 가중치 결정부(135)로 전달하고, 가중치 결정부(135)는 설정된 개별 가중치를 기초로 한 최종 가중치에 따라 영상처리가 되도록, 최종 가중치를 영상 처리부(140)로 전달한다(S450).
한편, 이상에서는, 제1 레벨과 제2 레벨이라는 기준을 설정하여 개별 가중치를 low 또는 high로 설정할 수 있다고 설명하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 따라서, 하나의 기준에 따라 개별 가중치를 설정하거나 복수의 기준에 따라 복수 단계로 된 개별 가중치가 설정되도록 하는 경우에도 본 발명의 기술적 사상이 그대로 적용될 수 있을 것이다.
도 5를 참조하면, 우선, Skip MB 추출부(220)는 매크로 블럭 스킵 정보를 추출한다(S510). 추출된 매크로 블럭 스킵 정보는 COMIX 검출부(320)로 전달되고, COMIX 검출부(320)는 매크로 블럭 스킵 정보를 이용하여 개별 가중치를 설정하게 된다.
구체적으로, 매크로 블럭 스킵 정보가 매크로 블럭의 스킵을 표시하고 있는 경우(S520-Y), COMIX 검출부(320)는 매크로 블럭 스킵 인자에 대한 개별 가중치를 high로 설정하고(S530), 매크로 블럭 스킵 정보가 매크로 블럭의 스킵을 표시하고 있지 않은 경우(S520-N), COMIX 검출부(320)는 매크로 블럭 스킵 인자에 대한 개별 가중치를 low로 설정한다(S540).
COMIX 검출부(320)는 설정된 개별 가중치를 가중치 결정부(135)로 전달하고, 가중치 결정부(135)는 설정된 개별 가중치를 기초로 한 최종 가중치에 따라 영상처리가 되도록, 최종 가중치를 영상 처리부(140)로 전달한다(S550).
도 6을 참조하면, 우선, Interlace Frame 추출부(230)는 인터레이스 프레임 정보를 추출한다(S610). 추출된 인터레이스 프레임 정보는 SPACOM 검출부(330)로 전달되고, SPACOM 검출부(330)는 인터레이스 프레임 정보를 이용하여 개별 가중치를 설정하게 된다.
구체적으로, 인터레이스 프레임 정보가 인터레이스 영상임을 나타내는 경우(S620-Y), SPACOM 검출부(330)는 인터레이스 프레임 인자에 대한 개별 가중치를 high로 설정하고(S630), 인터레이스 프레임 정보가 프로그래시브 영상임을 나타내는 경우(S620-N), SPACOM 검출부(330)는 인터레이스 프레임 인자에 대한 개별 가중치를 low로 설정한다(S640).
SPACOM 검출부(330)는 설정된 개별 가중치를 가중치 결정부(135)로 전달하고, 가중치 결정부(135)는 설정된 개별 가중치를 기초로 한 최종 가중치에 따라 영상처리가 되도록, 최종 가중치를 영상 처리부(140)로 전달한다(S650).
도 7을 참조하면, 우선, Film/Video Sequence 추출부(240)는 원본 포맷 종류 정보를 추출한다(S710). 추출된 원본 포맷 종류 정보는 Film/Video 검출부(340)로 전달되고, Film/Video 검출부(340)는 원본 포맷 종류 정보를 이용하여 개별 가중치를 설정하게 된다.
구체적으로, 원본 포맷 종류 정보가 필름 영상임을 나타내는 경우(S720-Y), Film/Video 검출부(340)는 원본 포맷 종류 인자에 대한 개별 가중치를 high로 설정하고(S730), 원본 포맷 종류 정보가 비디오 영상임을 나타내는 경우(S720-N), Film/Video 검출부(340)는 원본 포맷 종류 인자에 대한 개별 가중치를 low로 설정한다(S740).
Film/Video 검출부(340)는 설정된 개별 가중치를 가중치 결정부(135)로 전달하고, 가중치 결정부(135)는 설정된 개별 가중치를 기초로 한 최종 가중치에 따라 영상처리가 되도록, 최종 가중치를 영상 처리부(140)로 전달한다(S750).
한편, 이상에서는, 원본 포맷의 종류를 개략적으로 구분하여 가중치를 부여하는 것으로 상정하였으나, 원본 포맷의 종류를 상세하게 구분하여 가중치를 부여하는 경우에도 본 발명의 기술적 사상이 그대로 적용될 수 있다. 예를 들어, 원본 포맷의 종류가 NTSC영상인지 PAL 영상인지 여부에 따라서도 가중치를 부여할 수 있다.
북미(north america)는 디지털 방송규격인 NTSC가 사용되며, ATSC는 HD(high definition)급 영상도 전송하도록 되어 있다. 구주(Europe)의 경우 디지털 방송규격은 PAL을 사용하며 이는 SD(standard definition)급 영상을 전송할 수 있도록 되 어 있다. 따라서, 북미쪽의 방송은 HD, SD급 영상이 혼재되어 있으며 유럽쪽은 대부분 SD급 영상을 방송한다.
HD급 영상은 디테일이 많기 때문에, 압축 디지털 노이즈 경감시 영상에 아티팩트(artifact)발생 가능성이 높다. 이에 따라 노이즈 처리 세기가 너무 크지 않게 할 필요가 있다. 반면, SD급 영상은 HD에 비해 디테일이 적기 때문에, 노이즈 처리 세기를 높여도 영상에 아티팩트(artifact) 발생 가능성이 적다.
따라서, 원본 포맷이 NTSC 영상인 영상 데이터는 노이즈 경감 강도를 Low로 설정하고, 원본 포맷이 PAL 영상인 영상 데이터는 노이즈 경감 강도를 High로 설정할 수 있는 것이다.
도 8을 참조하면, 우선, Picture Coding Type 추출부(250)는 부호화 프레임 정보를 추출한다(S810). 추출된 부호화 프레임 정보는 BUN 검출부(350)로 전달되고, BUN 검출부(350)는 부호화 프레임 정보를 이용하여 개별 가중치를 설정하게 된다.
구체적으로, 부호화 프레임 정보가 I-프레임 영상임을 나타내는 경우(S820-Y), BUN 검출부(350)는 부호화 프레임 인자에 대한 개별 가중치를 high로 설정하고(S830), 부호화 프레임 정보가 P-프레임 또는 B-프레임 영상임을 나타내는 경우(S820-N), BUN 검출부(350)는 부호화 프레임 인자에 대한 개별 가중치를 low로 설정한다(S840).
BUN 검출부(350)는 설정된 개별 가중치를 가중치 결정부(135)로 전달하고, 가중치 결정부(135)는 설정된 개별 가중치를 기초로 한 최종 가중치에 따라 영상처 리가 되도록, 최종 가중치를 영상 처리부(140)로 전달한다(S850).
한편, 영상 처리부(140)는, 도 4 내지 도 8에 도시된 바와 같이, 각각의 개별 가중치를 기초로 결정된 최종 가중치에 따라 입력된 영상의 노이즈 경감을 위한 신호 처리를 수행한다.
이에 의해, 영상에 따라 적응적으로 노이즈를 감쇄시키고, 영상에 최적화된 강도로 노이즈를 경감시킬 수 있게 된다.
한편, 이상에서는, 양자화 스케일 코드라는 인자, 매크로 블럭이라는 인자, 인터레이스 프레임이라는 인자, 원본 포맷이라는 인자 및 부호화 프레임이라는 인자를 이용하여 최종 가중치를 결정하는 것으로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하다. 따라서, 이러한 다섯 가지 인자를 모두 사용하여 최종 가중치를 결정하여야 하는 것은 아니며, 이러한 다섯 가지 인자 이외의 인자를 사용하여 최종 가중치를 결정할 수도 있음은 물론이다.
또한, 이상에서는, 복수의 인자들을 이용해, 노이즈 경감 강도를 조절한다는 점만 개시하였으나, 이외에 다른 영상 처리과정에 적용시킬 수도 있음은 물론이다.
그리고, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은, 본 발명의 일 실시예에 따른, 영상처리장치의 구성을 도시한 블럭도,
도 2는, 헤더정보 추출부에 대한 상세블록도,
도 3은, 헤더정보 판별부에 대한 상세블록도,
도 4는, 양자화 스케일 코드 정보를 이용한 영상처리방법을 설명하기 위해 제공되는 도면,
도 5는, 매크로블럭 스킵 정보를 이용한 영상처리방법을 설명하기 위해 제공되는 도면,
도 6은, 인터레이스 프레임 정보를 이용한 영상처리방법을 설명하기 위해 제공되는 도면,
도 7은, 원본 포맷 종류 정보를 이용한 영상처리방법을 설명하기 위해 제공되는 도면, 그리고,
도 8은, 부호화 프레임 정보를 이용한 영상처리방법을 설명하기 위해 제공되는 도면이다.
***도면의 주요 부분에 대한 부호의 설명***
110 : 영상 수신부 120 : 디코딩부
130 : 제어부 140 : 영상 처리부
150 : 영상 출력부

Claims (24)

  1. 디코딩된 영상에서 영상의 로컬 정보 및 프레임 정보를 추출하는 단계; 및
    상기 로컬 정보 및 상기 프레임 정보를 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 단계;를 포함하는 영상처리방법.
  2. 제 1항에 있어서,
    상기 로컬 정보는,
    매크로블럭 레이어에 포함된 정보로서, 상기 영상에 해당하는 매크로블럭의 위치에 대한 정보를 포함하는 것을 특징으로 하는 영상처리방법.
  3. 제 2항에 있어서,
    상기 매크로블럭 레이어에 포함된 정보는,
    양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리방법.
  4. 제 3항에 있어서,
    상기 가중치 결정단계는,
    상기 양자화 스케일 코드가 제1 레벨 이상이고 제2 레벨 미만인 경우 상기 가중치를 높게 설정하고, 상기 양자화 스케일 코드가 상기 제1 레벨 미만이거나 상 기 제2 레벨 이상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리방법.
  5. 제 3항에 있어서,
    상기 가중치 결정단계는,
    상기 매크로 블럭 스킵 정보가, 상기 매크로 블럭을 스킵하지 말라는 정보를 나타내는 경우 상기 가중치를 높게 설정하고, 상기 매크로 블럭을 스킵하라는 정보를 나타내는 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리방법.
  6. 제 1항에 있어서,
    상기 프레임 정보는,
    픽쳐 레이어에 포함된 정보로서, 상기 영상에 해당하는 픽쳐의 프레임에 관한 정보를 포함하는 것을 특징으로 하는 영상처리방법.
  7. 제 6항에 있어서,
    상기 픽쳐 레이어에 포함된 정보는,
    인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리방법.
  8. 제 7항에 있어서,
    상기 가중치 결정단계는,
    상기 영상이 인터레이스 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상이 프로그레시브 영상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리방법.
  9. 제 7항에 있어서,
    상기 가중치 결정단계는,
    상기 영상의 원본포맷이 필름 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상의 원본포맷이 비디오 영상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리방법.
  10. 제 7항에 있어서,
    상기 가중치 결정단계는,
    상기 영상의 부호화 프레임이 I-프레임인 경우 상기 가중치를 높게 설정하고, 상기 영상의 부호화 프레임이 P-프레임 또는 B-프레임인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리방법.
  11. 제 1항에 있어서,
    상기 로컬 정보는 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보를 포함하고,
    상기 프레임 정보는 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보를 포함하며,
    상기 가중치 결정단계는,
    상기 인터레이스 프레임 정보, 상기 원본포맷 종류 정보, 상기 부호화 프레임 정보, 상기 양자화 스케일 코드 정보 및 상기 매크로 블럭 스킵 정보의 순서대로 상기 가중치의 레벨을 달리하여 상기 가중치를 부여하는 것을 특징으로 하는 영상처리방법.
  12. 영상을 디코딩하는 단계; 및
    상기 디코딩된 영상에서 매크로블럭 단위로 된 영상 데이터의 헤더에 포함된 정보 및 상기 디코딩된 영상에서 픽쳐 단위로 된 영상 데이터의 헤더에 포함된 정보를 추출하고, 상기 추출된 정보들을 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 단계;를 포함하는 영상처리방법.
  13. 영상을 디코딩하는 디코딩부;
    상기 디코딩된 영상에서, 상기 영상의 로컬 정보 및 프레임 정보를 추출하고, 상기 로컬 정보 및 상기 프레임 정보를 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 제어부; 및
    상기 가중치를 기초로 상기 디코딩된 영상을 처리하는 영상처리부;를 포함하는 영상처리장치.
  14. 제 13항에 있어서,
    상기 로컬 정보는,
    매크로블럭 레이어에 포함된 정보로서, 상기 영상에 해당하는 매크로블럭의 위치에 대한 정보를 포함하는 것을 특징으로 하는 영상처리장치.
  15. 제 14항에 있어서,
    상기 매크로블럭 레이어에 포함된 정보는,
    양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리장치.
  16. 제 15항에 있어서,
    상기 제어부는,
    상기 양자화 스케일 코드가 제1 레벨 이상이고 제2 레벨 미만인 경우 상기 가중치를 높게 설정하고, 상기 양자화 스케일 코드가 상기 제1 레벨 미만이거나 상기 제2 레벨 이상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리장치.
  17. 제 15항에 있어서,
    상기 제어부는,
    상기 매크로 블럭 스킵 정보가, 상기 매크로 블럭을 스킵하지 말라는 정보를 나타내는 경우 상기 가중치를 높게 설정하고, 상기 매크로 블럭을 스킵하라는 정보를 나타내는 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리장치.
  18. 제 13항에 있어서,
    상기 프레임 정보는,
    픽쳐 레이어에 포함된 정보로서, 상기 영상에 해당하는 픽쳐의 프레임에 관한 정보를 포함하는 것을 특징으로 하는 영상처리장치.
  19. 제 18항에 있어서,
    상기 픽쳐 레이어에 포함된 정보는,
    인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리장치.
  20. 제 19항에 있어서,
    상기 제어부는,
    상기 영상이 인터레이스 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상이 프로그레시브 영상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리장치.
  21. 제 19항에 있어서,
    상기 제어부는,
    상기 영상의 원본포맷이 필름 영상인 경우 상기 가중치를 높게 설정하고, 상기 영상의 원본포맷이 비디오 영상인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리장치.
  22. 제 19항에 있어서,
    상기 제어부는,
    상기 영상의 부호화 프레임이 I-프레임인 경우 상기 가중치를 높게 설정하고, 상기 영상의 부호화 프레임이 P-프레임 또는 B-프레임인 경우 상기 가중치를 낮게 설정하는 것을 특징으로 하는 영상처리장치.
  23. 제 13항에 있어서,
    상기 로컬 정보는 양자화 스케일 코드 정보 및 매크로 블럭 스킵 정보를 포함하고,
    상기 프레임 정보는 인터레이스 프레임 정보, 원본포맷 종류 정보 및 부호화 프레임 정보를 포함하며,
    상기 제어부는,
    상기 인터레이스 프레임 정보, 상기 원본포맷 종류 정보, 상기 부호화 프레임 정보, 상기 양자화 스케일 코드 정보 및 상기 매크로 블럭 스킵 정보의 순서대 로 상기 가중치의 레벨을 달리하여 상기 가중치를 부여하는 것을 특징으로 하는 영상처리장치.
  24. 영상을 디코딩하는 디코딩부;
    상기 디코딩된 영상에서 매크로블럭 단위로 된 영상 데이터의 헤더에 포함된 정보 및 상기 디코딩된 영상에서 픽쳐 단위로 된 영상 데이터의 헤더에 포함된 정보를 추출하고, 상기 추출된 정보들을 기초로, 상기 영상의 압축 노이즈를 감쇄시키기 위한 가중치를 결정하는 제어부; 및
    상기 가중치를 기초로 상기 디코딩된 영상을 처리하는 영상처리부;를 포함하는 영상처리장치.
KR1020090062622A 2009-07-09 2009-07-09 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치 KR20110005093A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090062622A KR20110005093A (ko) 2009-07-09 2009-07-09 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치
US12/730,020 US8576917B2 (en) 2009-07-09 2010-03-23 Image processing method to reduce compression noise and apparatus using the same
EP10158551A EP2276256A1 (en) 2009-07-09 2010-03-30 Image processing method to reduce compression noise and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090062622A KR20110005093A (ko) 2009-07-09 2009-07-09 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110005093A true KR20110005093A (ko) 2011-01-17

Family

ID=42555570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090062622A KR20110005093A (ko) 2009-07-09 2009-07-09 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치

Country Status (3)

Country Link
US (1) US8576917B2 (ko)
EP (1) EP2276256A1 (ko)
KR (1) KR20110005093A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331097B1 (ko) * 2012-05-23 2013-11-19 주식회사 코아로직 필름 영상을 티브이 영상으로 변환하기 위한 방법 및 장치
CN104380734B (zh) * 2012-06-07 2017-09-15 寰发股份有限公司 编码以及解码视频数据的方法和装置
WO2013181821A1 (en) 2012-06-07 2013-12-12 Mediatek Singapore Pte. Ltd. Improved intra transform skip mode
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US9924200B2 (en) * 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
JP6453652B2 (ja) * 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
CN110381356B (zh) * 2019-07-19 2022-06-07 北京字节跳动网络技术有限公司 音视频生成方法、装置、电子设备及可读介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
FR2823943A1 (fr) * 2001-04-24 2002-10-25 Koninkl Philips Electronics Nv Procede de detection de bruit dans un flux de donnees video codees
KR100400014B1 (ko) * 2001-11-12 2003-09-29 삼성전자주식회사 신호 처리 시스템에서의 중복 신호처리 방지 제어 장치 및방법
US20070139564A1 (en) 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
JP4374057B2 (ja) * 2008-02-29 2009-12-02 株式会社東芝 映像信号処理装置及び処理方法

Also Published As

Publication number Publication date
EP2276256A1 (en) 2011-01-19
US8576917B2 (en) 2013-11-05
US20110007820A1 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
US10972722B2 (en) Image processing device and image processing method
US10499057B2 (en) Image processing device and image processing method
US10666945B2 (en) Image processing device and image processing method for decoding a block of an image
KR101056096B1 (ko) 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템
US9749625B2 (en) Image processing apparatus and image processing method utilizing a correlation of motion between layers for encoding an image
KR20110005093A (ko) 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치
KR20060043051A (ko) 영상 신호의 인코딩 및 디코딩 방법
US6160847A (en) Detection mechanism for video channel underflow in MPEG-2 video decoding
US20080253447A1 (en) Video Transcoding with Selection of Data Portions to be Processed
EP2063637A2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
US20130287096A1 (en) Video stream modifier
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20110080944A1 (en) Real-time video transcoder and methods for use therewith
US9154669B2 (en) Image apparatus for determining type of image data and method for processing image applicable thereto
EP2403250A1 (en) Method and apparatus for multi-standard video coding
US20090154549A1 (en) Direct mode module with motion flag precoding and methods for use therewith
JP2003250159A (ja) 動画像処理方法及び動画像処理装置
US20060072675A1 (en) Method for encoding and decoding video signals

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application