KR20010043395A - 압축된 비디오 정보에서 브리딩 인공물을 감소시키기 위한방법 및 장치 - Google Patents

압축된 비디오 정보에서 브리딩 인공물을 감소시키기 위한방법 및 장치 Download PDF

Info

Publication number
KR20010043395A
KR20010043395A KR1020007012420A KR20007012420A KR20010043395A KR 20010043395 A KR20010043395 A KR 20010043395A KR 1020007012420 A KR1020007012420 A KR 1020007012420A KR 20007012420 A KR20007012420 A KR 20007012420A KR 20010043395 A KR20010043395 A KR 20010043395A
Authority
KR
South Korea
Prior art keywords
frame
gop
level
fidelity
degradation
Prior art date
Application number
KR1020007012420A
Other languages
English (en)
Other versions
KR100545145B1 (ko
Inventor
디니 아폰소 페레라 플로렌시오
시펭 리
Original Assignee
윌리암 제이. 버크
사르노프 코포레이션
비센트 비.인그라시아, 알크 엠 아헨
모토로라 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리암 제이. 버크, 사르노프 코포레이션, 비센트 비.인그라시아, 알크 엠 아헨, 모토로라 인코포레이티드 filed Critical 윌리암 제이. 버크
Publication of KR20010043395A publication Critical patent/KR20010043395A/ko
Application granted granted Critical
Publication of KR100545145B1 publication Critical patent/KR100545145B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Abstract

본 발명은 화상 그룹(GOP) 또는 프레임 그룹(GOF)을 사용한 MPEG형 비디오 정보 스트림에서 브리딩 인공물을 감소시키기 위한 방법 및 장치를 개시한다.

Description

압축된 비디오 정보에서 브리딩 인공물을 감소시키기 위한 방법 및 장치 {METHOD AND APPARATUS FOR REDUCING BREATHING ARTIFACTS IN COMPRESSED VIDEO}
일반적인 시스템에 있어서, 전송되어질 데이터는 압축되어 사용가능한 대역폭이 보다 효율적으로 사용된다. 예를 들어, 동영상 전문가 그룹(MPEG)은 디지털 데이터 이송 시스템과 관련된 여러 표준을 보급하였다. 우선, MPEG-1로 공지된 것은 ISO/IEC 표준 11172에 관련되며, 본 문헌에서 참조문으로 인용하였다. MPEG-2로 공지된 것은 ISO/ICE IEC 표준 13818에 관련되며 본 문헌에서 참조문으로 인용하였다. 압축된 디지털 비디오 시스템은 ATSC(Advanced Television System Committee) 표준 문서 A/53에 개시되었으며, 본 문헌에서 참조문으로 인용하였다.
상술한 표준들은 비디오, 오디오 및 고정 또는 가변 길이의 디지털 통신 시스템을 사용하는 다른 정보의 압축 및 전달에 매우 적합한 데이터 처리 및 조작 기술을 개시한다. 특히, 상술한 표준 및 다른 "MPEG-형" 표준 및 기술은 ( 실행 길이 코딩, 허프만 코딩 등과 같은) 인트라-프레임 코딩 기술 및 (순방향 및 역방향 예상 코딩, 움직임 보상 등과 같은) 인터-프레임 코딩 기술을 사용하여 실증적으로 비디오 정보를 압축한다. 특히, 비디오 처리 시스템의 경우, MPEG 및 MPEG-형 비디오 처리 시스템은 인트라 및/또는 인터 프레임 움직임 보상 엔코딩을 사용한 또는 사용하지 않은 비디오 프레임의 예상-기초한 압축 엔코딩에 의해 특징지워진다.
일반적인 MPEG 엔코더에 있어서, 다수의 비디오 프레임을 포함하는 수신된 비디오 스트림은 미리정의된 화상 그룹(GOP) 구조에 따라 엔코딩된다. 즉, 수신된 비디오 스트림은 예를 들어 하나 이상의 순방향의 예상 코딩된 프레임(P-프레임) 및 양방향성의 예상 프레임(B-프레임)을 수반하는 인트라 코딩된 프레임(I-프레임)을 포함하는 GOP를 형성하도록 엔코딩된다.
우연히, 움직임 보상기술은 완전하지 않기 때문에, 예상 프레임 또는 화상이 에러 전파, 감소된 편집 알갱이 등과 같은 바람직하지 않은 시각적 인공물에 의해 손해를 볼 수 있다. 게다가, 이같은 예상 프레임을 포함하는 GOP 구조는 또한 이같은 인공물에 의해 손해를 볼 수 있다. GOP 구조내의 개별적인 프레임에 대한 충실도는 초기의 높은 화질의 I-프레임 이후에 열화되는 경향이 있기 때문에, GOP 시퀀스의 디스플레이는 "브리딩(breathing)"으로 공지된 주기적인 시각적 인공물을 형성하며, 여기에서 인공물의 주기적 특성은 디스플레이된 GOP의 길이에 관련된다.
이에 따라, 상술한 "브리딩" 인공물을 감소시키는 방법 및 그에 따른 장치를 제공하는 것이 바람직하게 여겨진다.
본 발명은 일반적으로 통신 시스템에 관한 것이며, 보다 구체적으로, 본 발명은 "브리딩(breathing)" 인공물을 감소시키기 위한 방법 및 통신 장치에 관한 것이다.
도 1a 내지 도 1c는 GOP 내의 비디오 충실도와 관련된 하나 이상의 파라미터의 프레임 열화에 따른 상대적인 프레임의 그래프적인 표현을 도시한다.
도 2는 본 발명에 따른 MPEG-형 디코더의 실시예를 도시한다.
도 3은 비디오 신호에서 브리딩 인공물을 감소시키기 위한 본 발명에 따른 열화 균등화 루틴을 도시한다.
도 4는 본 발명에 따른 열화 균등화 루틴(400)의 흐름도를 도시한다.
도 5는 본 발명에 따른 GOP 균등화 루틴의 흐름도를 도시한다.
도 6은 본 발명에 따른 열화 균등화 루틴의 흐름도를 도시한다.
도 7은 본 발명에 따른, 메모리 한정된 디코더와 관련하여 브리딩 인공물을감소시키기에 적합한 열화 균등화 루틴의 흐름도를 도시한다.
도 8은 본 발명에 따른 블록 레벨의 수정 제어 루틴의 흐름도를 도시한다.
본 발명은 화상 그룹(GOP) 또는 프레임 그룹(GOF) 구조를 사용하는 MPEG-형 비디오 정보 스트림에서의 브리딩 인공물을 감소시키기 위한 방법 및 장치를 포함한다.
특히, GOP 정보구조에 따라 배열된 압축 이미지의 시퀀스를 처리하기 위한 시스템에 있어서, GOP간의(inter-GOP) 시각적 인공물을 감소시키기 위한 본 발명에 따른 방법은, GOP 정보 구조내의 제 1 타입의 정보에 대하여 개별적인 충실도 열화 레벨을 결정하는 단계; GOP 정보 구조내의 제 2 타입의 정보에 대하여 개별적인 충실도 열화 레벨을 결정하는 단계; 상기 결정된 충실도 열화 레벨을 사용하여, 열화 균등화 파라미터를 계산하는 단계; 및 계산된 열화 균등화 파라미터를 사용하여 제 1 및 제 2 타입의 정보 프레임이 미리 결정된 범위내의 충실도 열화 레벨을 가지도록, 제 1 및 제 2 타입의 정보 프레임 중 하나를 처리하는 단계를 포함한다.
본 발명의 추가의 특징 및 장점은 실시예에 대한 다음의 설명 및 첨부된 도면으로부터 보다 명확하여 질 것이다.
이해를 돕기 위하여, 도면에서 공통인 동일한 엘리먼트를 도시하기 위해 가능한 경우에 동일한 인용 부호가 사용되었다.
본 발명은 비디오 디코더와 관련하여, 실질적으로 디지털 텔레비젼(DTV) 수신기, 실질적으로 ATSC 텔레비젼 수신기내의 MPEG-2 비디오 디코더와 관련하여 설명된다. 그러나, 본 발명이 DVB, MPEG-1 및 다른 정보 스트림에 적용된 시스템을 포함하여 소정의 비디오 처리 시스템에 응용될 수 있다는 것이 당업자에게는 이해될 것이다.
특히, 본 발명은 압축된 비디오 정보 스트림(IN)을 수신 및 디코딩하여 비디오 출력 스트림(OUT)을 생성하는 MPEG-형 디코딩 시스템에 관련하여 우선적으로 기술되었다. 본 발명은, GOP 정보 구조를 사용하는 비디오 또는 이미지 처리 시스템의 경우에 GOP 표현 비율에서의 시각적 충실도의 변조를 발생시키는 시각적 충실도 레벨의 인트라-GOP 변화에 의해 야기되는, "브리딩" 인공물을 감소시키도록 동작한다. 그러나, 본 발명이 GOP 또는 GOP 정보 구조내의 상이한 인터-프레임 충실도 레벨을 가지는 다른정보 시스템에 대하여 광범위한 응용력을 가지는 것이 기술 분야의 당업자에게는 명백하여 질 것이다.
도 1a 내지 도 1c는 GOP 내의 비디오 충실도와 관련된 하나 이상의 파라미터에 대한 프레임 열화에 따른 상대적 프레임의 그래프적 표현을 도시한다. GOP 내의 프레임 열화에 따라 이같은 프레임이 GOP 주기에 근접한 주기를 가지는 시각적 충실도에서의 주기적 증가 및/열화를 야기할 때까지, 상술한 브리딩 인공물이 생성된다. 시각적 충실도에 있어서의 주기적 증가 및/또는 열화가 상당히 크다면, 브리딩 인공물은 GOP를 포함하는 비디오 시퀀스가 디스플레이 장치상에 제시되었을 때, 시청자에게 인지되게 된다.
예를 들어, 시각적 충실도에 있어서의 상당한 인트라-GOP 변화(예를 들어 I-프레임과 B-프레임 사이의 큰 균등화 차이)를 나타내는 15 프레임 GOP에 따라 정렬된 MPEG-형 비디오 정보를 포함하는 비디오 정보 스트림에 응답하는, 초당 30개의 프레임(30fps)의 표현/디스플레이 시스템을 고려하도록 한다. GOP가 하나의 I-프레임 및 많은 B-프레임을 포함하기 때문에, 디스플레이된 비디오의 각각의 1/2 (15개의 프레임 GOP/30fps)은 높은 충실도의 I-프레임에서 시작하며, 상기 I-프레임 이후에 많은 수의 상대적으로 낮은 충실도의 B-프레임( 및 특히 P-프레임)이 이어진다. 디스플레이된 이미지 시퀀스는 GOP 내의 인터-프레임 충실도 변화에 기인한 1/2 초의 주기를 가지는 맥동(즉, 브리딩) 특성을 보일 수 있다.
본 발명은, 브리딩 인공물의 제 1 원인이 1) GOP 내의 양자화 레벨에서의 인터-프레임 차; 2) GOP내에서의 하프 펠(half pel) 움직임 추정 에러의 전파; 및 3) GOP를 처리하는 디코더(또는 디코더 특성)에 의해 유도된 충실도 변형(anomaly)이라는 것을 결정한다. 브리딩 인공물에 대한 모든 3가지의 원인을 설명하는 본 발명의 실시예가 개시된다.
도 1a는 10개의 P-프레임을 수반한 I-프레임으로 구성된 GOP내의 비디오 "선명도"의 프레임 대 프레임 열화에 대한 그래프적인 표현을 도시한다. 선명도는 높은 주파수 응답의 함수이며, 이것은 가장자리의 정확한 표현 및 높은 콘트라스트 휘도 변이(contrast luminance transition)에 대한 기준이다. 특히 도 1a는 3개의 GOP 시퀀스(101) 및 (102로 나타내어진) GOP내의 각 프레임에 대한 선명도 레벨의 해당 도표식 표현을 도시한다. 비디오 이미지의 선명도는 GOP내의 각 I-프레임에 대하여 최대값에 존재하며, 각각의 연속한 P-프레임에 대하여 선명도에 있어서 대응하는 감소를 보인다. 브리딩 인공물은 점진적인 열화 및 GOP 디스플레이 비율에 해당하는 비율의 선명도 레벨의 빠른 증가에 기인하여 형성된다.
도 1a에 있어서, 각각의 연속된 P-프레임에 대한 선명도의 대응하는 감소는 GOP를 처리하는 디코더의 움직임 보상 회로내의 하프 펠 보간에 의해 야기된다. 하프 펠 보간은 예시된 메크로블록 또는 펠 그룹화를 저역 통화 필터링하도록 동작한다. 도 1a에 도시된 상대적 선형의 선명도 레벨은 GOP 내의 P-프레임의 사용 및, 하프 펠 보간 에러가 거의 일정하다는 가정에 기인한다. 도식 표현중의 음영진 부분은 각각의 P-프레임이 범위에 들어가는 통계적 에러 밴드를 포함한다. 각각의 I-프레임(I1, I2, I3)이 동일한 최대 레벨의 선명도를 가지는 것으로 도시된 한편, I-프레임의 선명도 레벨은 GOP에 할당된 비트-다발(bit-budget)을 포함하는 여러 인자에 기초한 엔코더 비율 제어기에 의해 초기에 결정된다는 것이 주지되어야한다. 따라서, I-프레임의 선명도 레벨 및 일반적 시각적인 충실도는 엔코더에서의 요구에 의존하여 필연적으로 변화한다.
도 1b는 반복하는 3개의 B-프레임과 하나의 P-프레임이 수반되는 초기 I-프레임으로 이루어진 12개의 프레임 GOP 내의 비디오 선명도에 대한 프레임 대 프레임의 열화에 대한 그래프적 표현이다. 이미 선행하는 앵커 프레임(I- 또는 P- 프레임)을 사용하여, 각각의 P-프레임이 예상되기 때문에, P-프레임에 대하여 선명도 레벨의 비교적 선형의 열화가 도시된다. 그러나, B-프레임을 둘러싸는 앵커 프레임(I 또는 P-프레임)을 사용하여 각각의 B-프레임이 예상되기 때문에, 두 개의 하프 펠 보간은 각각의 B-프레임과 관련된다. 이에 따라, 각각의 B-프레임은 B-프레임을 예상하는 데에 사용되는 최소의 정확한 기준 프레임 보다 하프 펠 낮은 선명도 레벨을 가지는 것으로 도시된다. GOP내의 각각의 연속적인 프레임에 대한 선명도의 열화에 대한 변화 량을 가지고 비디오 이미지의 선명도가 GOP내의 각 I-프레임에 대한 최대가 된다는 것이 도시된다. 브리딩 인공물은 GOP 디스플레이 비율에 해당하는 선명도 레벨의 빠른 증가 및 열화의 변화량에 따라 형성된다.
도 1b에서 제 1 I-프레임(I1) 은 최대(max) 선명도 레벨을 가지는 것으로 도시되었다. 상기 I-프레임에 이은 제 1 P-프레임이 최대보다 한 하프 펠 낮은 선명도 레벨을 가지는 것으로 도시된다. 제 1 프레임 및 제 1 P-프레임을 사용하여 예상된 3개의 B-프레임은 P-프레임의 선명도 레벨보다 하나의 하프 펠의 낮은 선명도 레벨을 가지는 것으로 도시되었다. 유사하게, 제 1 I-프레임 이후의 제 1 P-프레임은 제 1 P-프레임의 선명도 레벨 보다 하나의 하프 펠 낮은 선명도 레벨을 가진다는 것이 상기로부터 예상된다. 따라서, 제 1 P-프레임과 제 2 P-프레임을 사용하여 예상된 B-프레임은 제 2 P-프레임 선명도 레벨보다 한 하프 펠 낮은 선명도 레벨을 가진다.
도 1c는 반복되는 3개의 B-프레임과 하나의 P-프레임이 수반되는 초기 I-프레임으로 구성된 12 프레임의 GOP내에서의 프레임 대 프레임의 양자화 레벨의 그래프적 표현이다. I-프레임이 일반적으로 P-프레임 보다 미세한 양자화 레벨로 엔코딩되고, P-프레임은 일반적으로 B-프레임보다 미세한 양자화 레벨로 엔코딩되기 때문에, 도 1c는 GOP 구조를 사용하여 형성된 비디오 이미지의 양자화 레벨에서의 변화를 도시한다. 양자화 레벨이 초기I-프레임(I1)에 대한 미세한 레벨에서 시작하여, B-프레임에 대한 조악한 레벨로 그리고 P-프레임에 대한 덜 조악한 레벨로 열화된다. 따라서, 해당 양자화 알갱이 레벨을 포함하여, 도 1c에 도시된 GOP 구조를 사용하여 형성된 비디오 이미지는 각각의 비디오 프레임을 형성하는 데에 사용된 GOP 구조 내의 프레임 타입에 의존하여 충실도에 있어서 증가 및 감소를 가진다. 충실도의 이러한 변화 또는 변조는 또한 상술한 브리딩 인공물에 기여한다.
도 2는 본 발명에 따른 MPEG 형디코더(200)에 대한 실시예를 도시한다. 특히, 도 2의 디코더(200)는 압축된 비디오 정보 스트림(IN)을 수신 및 디코딩하여 비디오 출력 스트림(OUT)을 형성한다. 비디오 출력 스트림(OUT)은 예를 들어 표현 장치( 도시되지 않음)내의 디스플레이 드라이버를 커플링하는 데에 적합하다. 상기 MPEG 형 디코더(200)는 압축된 비디오 정보 스트림(IN)내의 정보 프레임(예를 들어 비디오 또는 이미지 프레임)과 관련된 충실도 표현의 파라미터를 검사하여, 결과적인 압축 해제된 정보 스트림(예를들어 비디오 스트림)이 상술한 브리딩 인공물을 쉽게 보일 수 있는 지의 여부를 결정한다. 브리딩 인공물이 나타나기 쉬운지를 결정하는 것에 응답하여, 상기 MPEG 형 디코더(200)는 브리딩 인공물을 감소시키는 경향이 있는 방식으로 디코딩된 정보 스트림을 수정한다. 유용하게, 본 발명은 (압축된 비디오 스트림(IN)내의 정보 이외의) 압축된 비디오 스트림(IN)을 형성하는 인코더의 동작에 관련한 소정의 지식 없이 구동할 수 있다.
도 2의 MPEG형 디코더(200)는 비디오 디코더(210), 비디오 프로세서(220) 및 제어기(230)를 포함한다. 비디오 디코더(210)는 압축된 비디오 정보 스트림(IN)을수신 및 디코딩하여 압축해제된 비디오 스트림(V1)을 형성하도록 상대적으로 표준 방식으로 동작한다. 상기 압축 해제된 비디오 스트림(V1)은, 기술된 바와 같이 비디오 디코더(201) 자체의 변형 및 GOP내의 인터-프레임 충실도 변화에 기인한 브리딩 인공물에 영향을 받기 쉽다. 압축 해제된 비디오 스트림(V1)은 비디오 프로세서(220) 및 선택적으로 제어기(23))에 결합된다.
제어기(230)에 의해 형성된 열화 제어 신호(C)에 응답하여, 비디오 프로세서(220)는 비디오 출력 스트림(OUT), 실질적으로 기저대역의 디지털 비디오 스트림을 형성하도록 디코딩된 비디오 스트림(V1)내의 하나 이상의 프레임에 대한 열화 레벨을 적용한다.
비디오 프로세서(220)는, 아래에서 보다 상세히 설명되어질 여러 열화 모드중 하나에서 동작한다. 간략히, 잡음 주입 모드 동작에서, 비디오 프로세서(220)는 (제어기(230)에 의해 결정된) 잡음 량을 계산된 높은 충실도의 이미지 프레임(예를 들어 I-프레임)에 주입하여 높은 충실도 이미지 프레임의 효율적인 양자화 레벨을 감소시킨다. 이러한 모드의 동작에 있어서, 인터-프레임 양자화 레벨에 있어서의 많은 차이에 의해 유도된 브리딩 인공물(도 1참조)은 임계 차이 레벨까지 인터-프레임 양자화 레벨 차를 감소시킴에 의해 감소된다. 필터 모드의 동작에 있어서, 비디오 프로세서는 선택적으로 저역 통과 필터링(LPF) 및 고역 통과 필터링(HPF)을 GOP내의 하나 이상의 이미지 프레임 또는 이미지 타입에 적용한다. 이러한 모드의 동작에 있어서, 예상 에러의 전파에 의해 유도된 브리딩 인공물은 GOP 내의 모든 이미지들 사이에서의 선명도 열화의 량을 균등화하는 경향이 있는 방식으로 각 이미지 프레임을 필터링함으로써 감소된다. 다른 모드의 동작은 아래에서 설명될 것이다.
제어기(230)는 충실도를 나타내는 파라미터 신호(DATA)를 비디오 디코더(210)로부터 예를 들어 양자화 레벨, 프레임 타입, GOP 위치 및 압축된 비디오 입력 스트림 끝내의 비디오 프레임과 관련된 다른 정보를 나타내는 신호를 수신한다. 선택적으로, 제어기(230)는 압축 해제된 비디오 스트림(V1)을 수신한다. 추가로, 제어기(230)는 소오스(즉 엔코더)에서 압축된 비디오 정보 스트림(IN)에 주어진 에러를 나타내는 신호(SOURCE ERROR)를 선택적으로 수신한다.
제어기(230)는 충실도를나타내는 파라미터 신호(DATA)를 수신하고, 선택적으로 압축해제된 비디오 스트림(V1)을 수신하여, 하나 이상의 이미지 프레임 또는 압축된 비디오 정보 스트림(IN)을 포함한 하나 이상의 GOP내의 이미지 프레임과 관련된 시각적 충실도 열화를 결정한다.
이어 제어기(230)는 이미지 프레임 또는 이미지 프레임 타입 열화 레벨에서의 변화로 인하여, 브리딩 인공물이 압축 해제된 비디오 스트림(V1)의 연속적인 존재로 인하여 생성되기 쉽다는 것을 결정한다. 식별된 열화 변화는 브리딩 인공물(예를 들어 임계 차이 레벨을 초과하는)을 생성하기 쉬우며, 제어기(230)는 하나 이상의 열화 균등화 파라미터를 결정하며, 이것은 열화 제어 신호(C)로서 비디오 프로세서(220)에 연결된다. 제어기(230)의 동작은 도3을 참조하여 아래에서 상세히 설명될 것이다.
도 2의 MPEG형 디코더(200)에 대한 실시예에 있어서, 비디오 디코더(210)는 입력 버퍼 메모리 모듈(211), 가변길이 디코더(VLD) 모듈(212), 역 양자화(IQ) 모듈(213), 역이산코사인 변환(IDCT) 모듈(214), 가산기(215), 움직임 보상 모듈(216), 출력 버퍼 모듈(218) 및 앵커 프레임 메모리 모듈(217)을 포함한다.
입력 버퍼 메모리 모듈(211)은 압축된 비디오 스트림(IN), 실질적으로 예를 들어 디멀티프렉서/디코더 회로(도시되지 않음)로부터 출력된 고밀도 텔레비젼 신호(HDTV) 또는 표준 밀도 텔레비젼 신호(SDTV)를 나타내는 가변 길이 엔코딩된 비트스트림을 수신한다. 입력 버퍼 메모리 모듈(211)은 가변 길이 디코더 모듈(212)이 처리를 위한 비디오 데이터를 받아들일 준비가 될 때까지 수신된 압축된 비디오 스트림(IN)을 일시적으로 저장한다. VLD(212)는 예를 들어 저장된 가변 길이 엔코딩된 비디오 데이터를 데이터 스트림(S1)으로 검색하기 위하여 입력 버퍼 메모리 모듈(211)의 데이터 출력에 결합된 입력을 가진다.
VLD(212)는 검색된 데이터를 디코딩하여, 양자화된 예상 에러 DCT 계수를 포함하는 일정한 길이의 비트스트림(S2) 및 움직임 벡터 스트림(MV)을 생성한다. IQ모듈(213)은 일정한 길이의 비트스트림(S2)에 대하여 역양자화 연산을 수행하여, 표준 형태의 양자화된 예상 에러 계수를 포함하는 비트 스트림(S3)을 생성한다. IDCT 모듈(214)은 비트 스트림(S3)에 대하여 역 이산 코사인 변환 연산을 수행하여, 화소 대 화소 예상 에러를 포함하는 비트스트림(S4)을 생성한다. 이러한 예상 에러(관련된 이미지 열화)는 도 1을 참조하여 상술한 바와 같은 화소 정보의 엔코더측의 양자화에 의해 야기된다.
가산기(215)는 화소 대 화소 예상 에러 스트림(S4)을 움직임 보상 모듈(216)에 의해 생성된 움직임 보상된 예상 화소값 스트림(S6)에 가산한다. 움직임 보상된 예상 화소 값(S6)은 도 1a 내지 도 1c를 참조하여 앞서 설명된 바와 같이, 현재화소 값을 형성하는 데에 사용된 이전의 예상 개수에 관련된 예상 에러 성분(및 관련된 선명도 열화)을 포함한다. 따라서, 실시예에서 가산기(215)의 출력은, 도 1a 내지 도 1c를 참조하여 상술된, 양자화 에러와 축적된 예상 에러 모두에 의해 열화되는 재구현된 화소 값을 포함한 비디오 스트림(S5)이 된다.
가산기(215)에 의해 형성된 (양자화 및 예상 에러를 포함하는) 비디오 스트림(S5)은 앵커 프레임 메모리(217) 및 출력 버퍼 모듈(218)에 결합된다. 앵커 프레임 메모리 모듈(217)은 신호 경로(S7)를 통해 움직임 보상 모듈(216)에 의해 엑세스된다. 상기 움직임 보상 모듈(216)은 움직임 보상된 예상 화소값 스트림(S6)에 대한 값을 계산하는 데에 하나 이상의 저장된 앵커 프레임(예를 들어 I-프레임 또는 가산기(215)의 출력에서 형성된 비디오의 P-프레임의 마지막 프레임) 및 VLD(212)로부터 수신된 움직임 벡터 신호(MV)를 사용한다.
상술한 비디오 디코더(210)는 또한 예를 들어 양자화 레벨, 프레임 타입, GOP 위치 및 압축된 비디오 입력 스트림 끝내의 비디오 프레임과 관련된 다른 정보를 나타내는 충실도를 나타내는 파라미터 신호(DATA)를 수신한다. 특히, 이러한 또는 다른 충실도를 나타내는 파라미터들은 표준 방식으로 VLD(212)에 의해 압축된 비디오 정보 스트림(IN)으로부터 추출된다. 예를 들어, 압축된 비디오 정보 스트림(IN)이 MPEG 비디오 스트림을 포함한다면, VLD(212)는 하나 이상의 비디오 시퀀스 헤더, GOP 헤더, 화상 헤더, 슬라이스 헤더 및 매크로블록 헤더내에 포함된 정보를 검사한다. 추출된 정보는 충실도를 나타내는 파라미터 신호(DATA)로서 제어기(230)에 결합된다.
도 2의 MPEG형 디코더(200)에 대한 실시예에 있어서, 제어기(230)는 적어도 하나의 열화 균등화 루틴(300), 양자화 균등화 루틴(400) 및 주파수 균등화 루틴(500)을 저장하기 위한 메모리(238) 뿐만 아니라 마이크로프로세서(234)를 포함한다. 이러한 루틴들의 동작은 도 3 내지도 5를 참조하여 아래에서 상세히 설명될 것이다. 마이크로프로세서(234)는 전원 공급 장치, 클록 회로, 케쉬 메모리등 뿐만 아니라 소프트웨어 루틴을 수행하는 것을 지원하는 회로와 같은 일반적인 지원 회로와 협력한다. 이와같이, 소프트웨어 과정으로 여기에서 설명된 소정의 처리 단계는 하드웨어내에 예를 들어, 여러 단계를 수행하기 위하여 마이크로프로세서(234)와 협력하는 회로로서 구현될 수 있다는 것이 고려된다. 제어기(230)는 또한 마이크로프로세서(234), 비디오 디코더(210) 및 비디오 프로세서(22) 사이에서 인터페이스를 형성하는 입/출력 회로(232)를 포함한다. 제어기(230)가 본 발명에 따른 특정 제어기능을 수행하기 위해 프로그램된 범용 컴퓨터로서 도시되었을 지라도, 본 발명은 ASIC와 같은 하드웨어내에 구현될 수도 있다. 게다가, 제어기(230)는 비디오 프로세서(220)와 비디오 디코더(210) 중 하나 또는 모두에 기능적으로 결합될 수 있다. 실제로, 도 2의 MPEG형 디코더(200)내의 모든 기능을 실질적으로 포함하는 단일의 집적된 회로가 단일 집적 회로로서 구현될 수 있다는 것이 본 발명가에 의해 고려된다.`
도 3은 비디오 신호내에서의 브리딩 인공물을 감소시키기 위한 본 발명에 따른 열화 균등화 루틴(300)을 도시한다. 열화 균등화 루틴(300)은 제어기(230)내의 제어루틴으로 구현될 수 있고, 제어기(230)가 도시된 것과 같은 범용 컴퓨터 장치를 포함하지 않는 경우에는 도2의 MPEG형 디코더(200)의 협력 모듈 사이의 논리적 기능으로서 구현될 수 있다. 열화 균등화 루틴(300)은 예를 들어 도 2의 비디오 디코더(200)가 압축된 비디오 정보 스트림(IN)을 수신하기 시작하였을 때인 단계 302에서 진입된다. 루틴(300)은 단계 304로 진행한다.
단계 304에서, 수신된 비디오 프레임 또는 비디오 프레임 타입에 대한 상대적인 열화 레벨이 결정된다. 상대적 열화 레벨은 각각의 비디오 프레임 또는 비디오 프레임 타입과 관련된 하나 이상의 파라미터에 의해 결정된다. 특히, 프레임 양자화 레벨(예를 들어 프레임 매크로블록의 평균), 프레임 타입, GOP내의 프레임 위치, 프레임 스펙트럼 등과 같은 하나 이상의 다양한 이미지 또는 비디오 프레임 파라미터는 특정 프레임과 관련된 열화 레벨을 결정하기 위하여 분석될 수 있다. 특정 비디오 또는 이미지 프레임과 관련된 열화레벨은 이어, 예를 들어 GOP를 포함하는 프레임 또는 GOP를 포함하는 서브 세트의 프레임과 관련된 명목상 또는 평균 열화 레벨과 비교된다. 이러한 방식으로, GOP로부터의 또는 서브 GOP로부터의 특정 프레임의 열화 변화가 결정된다. 루틴(300)은 단계 306로 진행한다.
단계 306에서, 단계 304에서 계산된 소정의 또는 모든 프레임의 열화 레벨 및/또는 열화 변화는 GOP 내의 하나 이상의 프레임에 대하여 하나 이상의 열화 균등화 파라미터를 계산하는 데에 사용된다. 예를 들어, 상대적으로 높은 충실도(즉 상대적으로 낮은 열화)를 가지는 GOP내의 이러한 프레임은 단계 304에서 분석된 하나 이상의 프레임에 관련하여 열화되어, GOP내의 충실도 열화에 있어서의 인터-프레임 변화는 인지가능한 브리딩 인공물을 야기하는 레벨로 또는 그 이하로 제한된다. 루틴(300)은 이어 단계 308로 진행한다.
단계 308에서, 단계 306에서 계산된 열화 균등화 파라미터는 GOP 구조내의 하나 이상의 적절한 프레임에 적용되어, GOP 구조내의 인터-프레임 열화 변화가 적절하게 제한되도록 한다. 비디오 또는 이미지 프레임의 충실도를 열화시키는 것이 (처리 복잡도등에 관련하여) 일반적으로 용이하기 때문에, 적절한 프레임은 일반적으로 상대적으로 높은 충실도를 가지는 프레임을 포함한다. 그러나, 강화에 영향을 받기 쉬운 충실도 파라미터의 경우, 적절한 프레임은 상대적으로 낮은 충실도 레벨을 가지는 프레임을 포함할 수 있다. 루틴(300)은 단계 310로 진행한다.
단계 310에서, 처리되어져야 하는 더 이상의 프레임이 존재하는 지의 여부에 관한 질의가 형성된다. 단계 310에서의 질의가 긍정적으로 대답되면, 루틴(300)은 단계 304로 진행한다. 단계 310에서의 질의가 부정적으로 대답되면, 루틴(300)은 빠져나가는 단계인 단계 312로 진행한다.
열화 레벨을 균등화시키는 데에 사용된 하나의 기술이 하나 이상의 상대적으로 높은 충실도의 비디오 또는 이미지 프레임 또는 프레임 타입을 추가로 열화시킨다는 것을 알 수 있을 것이다. 예를 들어 GOP내의 I-프레임에 대한 충실도에서의 감소는 본 발명의 작용에 의해 효율적으로 제거 또는 감소되는 브리딩 인공물이 관찰자에게 보다 덜 불유쾌하게 된다는 것이 본 발명가에 의해 결정되었다. 따라서, GOP의 하나 이상의 프레임내의 시각적, 청각적 또는 다른 정보 충실도를 선택적으로 감소 또는 시프트시키는 것과 관련하여 트래이드오프가 이루어지는 정도로, 결과적인 처리된 정보 스트림(예를 들어 비디오 출력 스트림(OUT)은 정보 소비자에게 우수한 표현을 제공한다.
본 발명은 열화 레벨을 결정(단계 304), 열화 균등화 파라미터의 계산(단계 306) 및 열화 균등화 파라미터의 적용(단계 308)을 위한 하나 이상의 방법을 고려하였다. 특히, 본 발명의 실시예에 있어서, 도 3의 열화 균등화 루틴(300)은 GOP 내의 양자화 레벨에서의 인터-프레임 변화를 실질적으로 임계 양자화 변화 레벨까지 감소시키도록 적용된다. 양자화 균등화 실시예는 특히 상이한 타입(즉 I-프레임, P-프레임 또는 B-프레임)의 비디오 또는 이미지 프레임 사이의 양자화 레벨 변화에 관련된 브리딩 인공물을 감소시키는 데에 매우 적합하며, 이는 도 4를 참조하여 아래에서 설명된다.
본 발명의 다른 실시예에 있어서, 도 3의 열화 균등화 루틴(300)은 GOP 내의 주파수 영역에 있어서의 인터-프레임 변화를 임계 스펙트럼 변화 레벨 이하로 감소시키도록 적용된다. 주파수 응답 균등화 실시예는 특히, 움직임 추정 에러의 전파에 기인한 예상 비디오 또는 이미지 프레임(즉, P-프레임 또는 B-프레임)에 주어진 저역 통화 필터링(즉 화상 선명도의 감소)에 관련된 브리딩 인공물을 감소시키는 데에 매우 적합하며, 이는 도 5를 참조하여 아래에서 설명된다.
제 1 방법은 각각의 엔코딩된 비디오 프레임과 관련된 양자화 레벨 파라미터를 검사하는 단계를 포함한다. 특히, MPEG 비디오 디코더와 같은 비디오 디코더는, 상대적으로 높은 충실도의 I-프레임에 이어 하나 이상의 감소된 충실도의 P-프레임과 B-프레임을 가지는 GOP구조를 생성한다. GOP 구조의 초기 I-프레임을 높은 충실도 레벨로 엔코딩하는 것은 중요한데, 이것은 이러한 프레임이 GOP구조내의 연속된 프레임을 예상하는 데에 사용되기 때문이다. 따라서, 미세한 양자화 레벨이 일반적으로, 엔코더내의 양자화기에 의해 사용된다. P-프레임이 GOP 구조내의 앵커 프레임으로 사용(즉 P-프레임은 P-프레임과 바로 연속되어 이전의 B-프레임을 예상하는 데에 사용된다)되기 때문에, P-프레임은 B-프레임에 대해 사용된 레벨보다 특히 미세한 레벨로 양자화된다. 앞서 공지된 바와 같이, GOP 내의 양자화 레벨에서의 변화는 바람직하지 않은 브리딩 인공물에 기여한다. 따라서, GOP 구조내의 양자화 레벨을 균등화하기 위하여, 예를 들어 GOP내의 I-프레임 및/또는 하나이상의 P-프레임의 효율적인 양자화 레벨을 증가시키는 것이 필수적이다. 양자화 열화 균등화에 대한 실시예가 도 4를 참조하여 설명될 것이다.
도 4는 본 발명에 따른 열화 균등화 루틴(400)을 도시한다. 특히 도 4의 열화 균등화 루틴(400)은 GOP내의 I-프레임과 GOP내의 여러 B-프레임 사이의 양자화레벨 변화에 관련된 비디오 신호에서의 브리딩 인공물을 감소시키는 것에 관한 것이다. 루틴(400)은 GOP내의 I-프레임의 충실도가 GOP 내의 다수의 B-프레임의 임계 충실도 레벨, 실질적으로 평균 충실도 레벨 이내까지 감소되도록, GOP내의 양자화 레벨을 순응시킨다. 열화 균등화 루틴(400)은 제어기(230)내의 제어 루틴으로 구현될 수 있으며, 도시된 바와 같이 제어기(230)가 범용의 컴퓨터 장치를 포함하지 않는 경우에는 도2의 MPEG형 디코더(200)의 형별 모듈 사이의 논리적 작용으로 구현될 수도 있다.
열화 균등화 루틴(400)은 단계 402로, 예를 들어 도 2의 비디오 디코더(210)가 압축된 비디오 정보 스트림(IN)을 수신하기 시작할 때로 진입한다. 루틴(400)은 단계 404로 진행한다.
단계 404에서, I-프레임에 관련된 양자화 파라미터(QI)가, 예를 들어 처리되어지는 GOP의 I-프레임내의 각 매크로블록의 양자화 레벨을 평균화함으로써 결정된다. 추가적으로, B-프레임에 관련된 양자화 파라미터(QB)는 처리되어지는 GOP의 하나 이상의 B-프레임내의 각 매크로블록의 양자화 레벨을 평균화함으로써 결정된다. (디폴트 값의 테이블과 같은 일정한 양자화 테이블이 사용된다고 가정하여) 예를 들어 MPEG에 따른 비디오 스트림의 슬라이스 층 헤더내에서 발견되고 1 내지 31 사이의 정수값을 가지는, MPEG 가변 양자화기_스케일에 관련하여 결정이 이루어진다. 양자화기_스케일은 또한 매크로블록 층에서 조정가능함이 주지되어야 한다.
루틴(400)은 이어 단계 406으로 진행하며, 단계 406에서 B-프레임에 관련된 양자화 파라미터(QB)가 I-프레임에 관련된 양자화 파라미터(QI)와 양자화 파라미터 임계(QTH)의 합보다 큰 지의 여부에 관한 질의가 형성된다. 양자화 임계 레벨(QTH)은 B-프레임 파라미터(QB)와 I-프레임 파라미터(QI) 사이의 최대 양자화 파라미터 편차를 나타내며, 이것은 브리딩 인공물에 기인한 주목할만한 양자화 레벨 차이를 야기하지 않는다.
단계 406에서의 질의가 긍정적으로 대답되면, 루틴(400)은 단계 408로 진행한다. 단계 406에서의 질의가 부정적으로 대답되면, 루틴(400)은 단계 414로 진행하며, 상기 단계 414에서 처리되어질 더 이상의 프레임이 존재하는지의 여부에 관한 질의가 형성된다. 단계 414에서의 질의가 긍정적으로 대답되면, 루틴(400)은 단계 404로 진행한다. 단계 414에서의 질의가 부정적으로 대답되면, 루틴(400)은 빠져나가는 단계인 단계 416로 진행한다.
단계 408에서 I-프레임 과 B-프레임 내의 잡음이 규정된다. 즉, 양자화 파라미터(QI)를 가지는 I-프레임내 및 양자화 파라미터(QB)를 가지는 B-프레임내 에서 발견되어질 것으로 예상되는 잡음량은 잡음 분포를 형성하는 양자화 레벨(즉 스텝 사이즈)에 관련하여 결정된다.
B-프레임 내에서 발견될 것으로 예상되는 추가의 잡음에 대한 량을 결정하기 위한 한 방법은, B-프레임 DCT 계수의 양자화된 AC 계수의 전력밀도 함수(pdf)를 추정하고 이어서 유사하게 얻어진 기준 프레임(예를 들어 움직임 보상 모듈에 의해 사용되는 앵커 프레임)에 대한 pdf를 감산하는 것에 의한 방법이다. 실시예에서, pdf는 DCT내의 63 계수 각각에 대하여 유지된다. 라플라스 분포는 AC계수에 대한 실재 pdf의 양호한 추정이 되기 때문에, 실시예는 이같은 라플라스 분포를 데이터에 적용시키기 위한 바람직한 pdf로서 사용한다. 그러나, 기술 분야의 당업자는, 다른 분포 함수도 역시 본 발명을 구현하는 데에 사용될 수 있다는 것을 인지할 수 있을 것이다. 게다가, 여러 방법들 중 소정의 방법이 아래에 기술된 라플라스 pdf에 데이터를 끼우는 데에 사용될 수 있다.
식 1에서 설명된 것와 같이, pdf(즉, pdf(x))는 (수신된 데이터로부터 계산된) 각 양자화 레벨의 실제 밀도와 pdf가 추정된 pdf가 되는 경우의 양자화 레벨의 밀도 사이의 차를 최소하는 α를 계산함에 의해 추정된다.
식(1)
식 2에서 설명된 것과 같이, 이는 α와 관련하여 최소화하는 것이며, 여기에, 합은 전체 양자화 빈(B)에 대한 것이며, p(B)는 수신된 신호내의 대응 빈의 상대적인 주파수이며, Bilow및 Bihigh은 양자화 빈의 하한 및 상한 값( 상기 값으로 양자화되어질 최저 및 최고의 값)이다.
식(2)
원래(양자화되지 않은) pdf가 추정된 분포를 따른다고 가정하면, 에러의 pdf는, 각 양자화 빈에 대한 원래 레벨과 재현 레벨 사이의 차에 대한 pdf를 식 3에서와같이 가산함에 의해 계산된다.
식(3)
여기서
여기서 rec(Bi)는 빈 Bi에 대한 재현 레벨이다.
error_pdf는 (유사하게 얻어진) 기준 프레임에 대한 에러 pdf와 비교되고, 낮은 잡음의 프레임에 적절한 량의 잡음이 가산되어 브리딩 인공물을 감소시킨다. 추가된 잡음은 유사한(또는 작은) 변화를 가지며, 또한 에러 pdf와 동일한 pdf를 가진다.
단계 410에서, 단계 408의 규정된 B-프레임 잡음은 I-프레임에 관련된 양자화 파라미터(QI)에 의존하여 적절한 레벨로 스케일링된다. 즉, 이전에 결정된 pdf가 QB/QI에 따라 스케일링되어 스케일링된 pdf를 형성한다.
이어 루틴(400)은 단계 412로 진행하며, 단계 412에서 스케일링된 규정된 잡음이 I-프레임에 삽입된다. 본 발명의 실시예에 있어서, 이러한 잡음의 삽입은 단계 410에서 결정된 스케일링된 양자화 레벨에 의해 바운드된 임의의 개수를 삽입함에 의해 이루어진다. 이러한 방식으로, I-프레임과 관련된 효율적인 양자화 파라미터(QI)은 B-프레임과 관련된 양자화 파라미터(QB)의 QTH값 이내의 값을 가지는 양자화 파라미터까지 감소된다.
도 4의 루틴(400)이 I-프레임 및 P-프레임사이 및 P-프레임과 B-프레임 사이의 양자화 레벨 변화를 동시에 또는 개별적으로 처리하는 데에 적용될 수 있다는 것이 주지되어야 한다. 게다가, 루틴(400)이 각 GOP상에서 개별적으로 운영되는 것으로 도시되었을지라도, 본 발명가는 루틴(400)이 다수의 GOP상에서 운영되도록 수정될 수 있다는 것을 고려하였다. 예를 들어, 일정한 비트율의 압축된 비디오 스트림(IN)의 경우, 엔코더에 의해 형성된 각각의 GOP에 대한 평균 비트 다발은 실질직으로 동일하다. 그러나, 가변 비트율의 정보 스트림의 경우, 엔코더에 의해 형성된 각각의 GOP에 대한 비트 다발은 변화하여, 엔코더에 의해 사용되기에 적합하게 더 크거나 더 적은 대역폭이 이루어진다. 가변 비트율의 경우, GOP의 평균 파라미터(QGOP)가 하나 이상의 앞선 및 후속의 GOP에 대한 평균 양자화 파라미터로부터 임계 량 이상 변화하지 않는다는 것을 보장하기 위해 추가의 변수가 사용된다.
도 5는 본 발명에 따른 GOP 균등화 루틴(500)에 대한 흐름도를 도시한다. 특히, 도 5의 GOP 균등화 루틴은 도 1과 관련하여 설명된 바와 같이, GOP내의 예상 프레임의 연속된 하프 펠 보간에 의해 야기된 비디오 신호에서의 브리딩 인공물을 감소시키는 것에 관한다.
루틴(500)은 단계 502, 예를 들어 도 2의 비디오 디코더(210)가 압축된 비디오 정보 스트림(IN)을 수신하기 시작할 때에 진입한다. 이어 루틴(500)은 단계 504로 진행하며, 상기 단계 504에서, 선명도 함수가 GOP 구조를 사용하여 결정된다. 즉, 이미지 선명도의 전파된 열화의 추정은 GOP내의 프레임 타입 및 GOP 내의 프레임의 수에 의존하여 이루어진다. 예를 들어, (어떠한 예상도 이루어지지 않았기 때문에) 모든 I-프레임을 포함하는 GOP는 하프 펠 보간에 기인한 어떠한 선명도 열화를 경험하지 않는다. 유사하게, 하나의 I-프레임에 이어 다수의 P-프레임과 B-프레임을 포함하는 GOP는 하프 펠보간에 기인한 소정 레벨의 선명도 열화를 겪는다. 단계 504에서 결정된 선명도 함수는 GOP내의 프레임 위치 및/또는 프레임 타입에 대한 함수로서 이같은 선명도 열화의 량에 대한 추정이다. 이어 루틴(500)은 단계 506으로 진행한다.
단계 506에서, 균등화 필터 파라미터가 계산된다. 균등화 필터 파라미터는 GOP내의 하나 이상의 프레임과 관련된 저역 통과 및/또는 고역 통과 필터 파라미터를 포함한다. 즉, 기준 레벨의 선명도(예를 들어, 가장 심한 선명도 열화된 프레임에 의해 정의된 최소 선명도 레벨, 모든 프레임 또는 GOP내의 특정 프레임 타입에 대한 평균 선명도 레벨에 의해 정의된 중앙값 평균 레벨 등)가 선택된다. 균등화 필터 파라미터는 도 1을 참조하여 상술한 바와 같이, 프레임의 위치 및/또는 프레임 타입에 기초하여 GOP내의 각 프레임에 대하여 결정되어, GOP내의 프레임 사이의 선명도에 있어서의 상대적인 차이는 임계 레벨 이하로 감소된다. 루틴(500)은 이어 단계 508로 진행한다.
단계 508에서, 계산된 균등화 필터 파라미터는 요구되는 바와 같이, GOP내의 하나 이상의 프레임을 균등화하는 데에 사용된다. 이어 루틴(500)은 단계 510으로 진행하며, 단계 510에서 처리되어질 추가의 GOP가 존재하는 지에 대한 질의가 이루어진다. 단계 510에서의 질의가 부정적으로 대답되면, 루틴(500)은 빠져나가는 단계인 단계 512로 진행한다. 단계 510에서의 질의가 긍정적으로 대답되면, 루틴(500)은 504로 진행하며, 상기 단계 504에서는 다음의 GOP에 관련된 선명도 함수가 계산된다. 즉 루틴(500)은 각각의 연속된 GOP에 대하여 반복된다. 고정된 GOP 구조의 경우에 단계 504에서 결정된 선명도 함수 및 단계 506에서 계산된 균등화 필터 파라미터는 각각의 연속된 GOP에 대하여 재사용될 수 있다.
본 발명의 일 실시예에 있어서, "트레이닝 시퀀스"는 디코더 자신에 의해 디코딩된 이미지의 시퀀스에 주어진 에러를 규정하는 데에 사용된다. 예를 들어, 디코딩된 GOP내의 왜곡이 공지된 요인에 의해 (예를 들어 수신기 또는 디코더내의 움직임 보간 필터에 의해) 유도된 것이면, 프리엠파시스 필터가 공지된 요인에 대한 보상을 위해 계산된다. 왜곡을 식별하기 위해, 스펙트럼 분석함수가 사용된다. 즉, 하나 이상의 "대표적" 디코딩된 비디오 프레임을 포함하는 트레이닝 시퀀스의 실제 스펙트럼의 특성이 "예상된" 스펙트럼 특성과 비교된다. 연속적으로 디코딩된 비디오 프레임의 스펙트럼 특성은 트레이닝 시퀀스로부터 얻으진 필터에 기초하여 "수정"된다. "예상된 "스펙트럼 특성은 제 2 디코더와 관련하여 결정될 수 있다는 것이 주지되어야 한다.
스펙트럼 수정 필터의 전달 함수는 주파수의 함수로서 예상된 스펙트럼과 실제 스펙트럼의 비로 결정된다. 이것은 신호의 바람직한 주파수 응답이다. 필터는 예를 들어 FIR(Finite Impulse Response) 필터 또는 IIR(Infinite Impulse Response) 필터로서 구현될 수 있다. 예를 들어 본 발명의 실시예에서, 결정된 전달 함수를 실질적으로 만족시키는 FIR 필터에 대한 계수는 요구된 개수의 탭에 대하여 계산, 반전 및 윈도우 처리된다. 결과적인 FIR 필터는, 디코딩된 프레임의 스펙트럼 특징이 앞서 설명된 "예상된" 스펙트럼 특징에 근접하게 되도록, 각각의 디코딩된 프레임을 처리하는 데에 사용되어, 디코딩된 비디오 출력 신호를 균등화시킨다.
도 6은 본 발명에 따른 열화 균등화 루틴(600)에 대한 흐름도를 도시한다. 특히, 도 6의 열화 균등화 루틴(600)은 예를 들어 디코더 자체내의 변형에 의해 디코딩된 이미지의 시퀀스에 주어지는 인공물을 감소시키는 것에 관한다. 루틴은 우선 트레이닝 시퀀스를 사용하여 디코더를 규정한다. 트레이닝 시퀀스는, 관련 스펙트럼 특성을 가지는 출력 이미지 시퀀스를 행성하기 위하여, "알려진 양호한" 디코더를 사용하여 이전에 처리되어 있는 엔코딩된 이미지의 "골드 코드" 시퀀스를 포함한다. 알려진 양호한 디코딩된 골드 코드의 이러한 관련 스펙트럼의 특성은 "예상된 스펙트럼"으로 표시되었다.
루틴(600)은 단계 602에서 진입하여, 트레이닝 시퀀스가 운영되는 단계 604로 진행한다. 트레이닝 시퀀스의 운영은, 디코딩된 트레이닝 정보 스트림이 생성되도록, 엔코딩된 이미지(예를 들어 MPEG형 압축된 비디오정보 스트림)의 알려진 "골드 코드" 시퀀스의 디코더 입력에 대한 적용을 포함한다. 루틴(600)은 이어 단계 606로 진행하며, 단계 606에서 디코딩된 트레이닝 정보 스트림은 스펙트럼적으로 분석되어, 트레이닝 시퀀스 스펙트럼을 생성한다. 루틴(600)은 이어 단계 608로 진행한다.
단계 608에서, 단계606에서 계산된 트레이닝 시퀀스 스펙트럼은 예상된 스펙트럼(즉, 알려진 양호한 디코더에 의해 이미 생성된 "골드 코드" 비디오 트레이닝 시퀀스의 이전에 계산된 스펙트럼)과 비교된다. 광범위하게 말하면, 트레이닝 시퀀스 스펙트럼과 예상된 스펙트럼 사이의 차는 디코더 동작에 의해 우세하게 야기되기 때문에, 디코더에 의해 디코딩된 비디오 정보 스트림에 유도된 스펙트럼 변형은 하프 펠 보간에 의해 또는 넌-디코더 에러 소오스에 의해 디코딩된 에러 스트림에 유도된 스펙트럼 변형과는 분리된다.
단계 610에서, 디코딩되어질 비디오 정보 스트림의 GOP 구조가 알려진 것(즉 넌 트레이닝 압축된 비디오 시퀀스)인가에 대한 질의가 이루어진다. 단계 610에서의 질의가 긍정적으로 대답되면, 루틴(600)은 단계 6124로 진행하며, 단계 612에서 GOP 균등화 필터가 트레이닝 시퀀스 GOP와 디코딩되어질 압축된 비디오 스트림으로부터 스펙트럼 분석된 GOP 사이의 스펙트럼 변화에 기초하여 계산된다. 즉 "골드 코드" GOP 와 수신된 GOP 사이의 스펙트럼 변화가 비교되어, 이러한 GOP들 사이에서의 스펙트럼 변화가 임계 레벨 이하까지 감소되도록 균등화 필터를 계산하는 데에 사용된다. 이어 루틴(600)은, 계산된 GOP 균등화 필터가 수신된 GOP에 적용되는, 단계 614로 진행한다.
루틴(600)은 이어 단계(616)로 진행하며, 여기에서 처리되어질 더 이상의 GOP가 존재하는 지의 여부에 관한 질의가 이루어진다. 단계 616에서의 질의가 긍정적으로 대답되면, 루틴(600)은 계산된 필터가 다음의 GOP에 적용되는 단계 614로 진행한다. 선택적으로, 루틴은 단계 612로 진행할 수 있으며, 스펙트럼 분석 및 비교 함수가 처리되어질 다음의 GOP에 대하여 수행되어, 새로운 GOP 균등화 필터 계산이 이루어진다. 단계 616에서 질의가 부정적으로 대답되면, 루틴(600)은 단계 618로 진행하여 빠져나간다.
단계(610)에서의 질의가 부정적으로 대답되면, 루틴(600)은 단계 620으로 진행하며, 단계 620에서 "골드 코드" 트레이닝 시퀀스와 수신된 압축 비디오 정보 스트림 내의 프레임 타입 사이의 스펙트럼 변화가 형성된다. 즉 골드 코드 트레이닝 시퀀스내의 P-프레임과 수신된 비디오 정보 스트림 내의 P-프레임 사이의 스펙트럼변화가 비교된다. 유사하게, I-프레임과 B-프레임 사이의 스펙트럼 변화도 역시 비교된다. 루틴(600)은 단계 622로 진행한다.
단계 622에서, 프레임 스펙트럼 변화에 기초한 하나 이상의 프레임 타입 균등화 필터가 계산된다. 즉, 예를 들어 골드 코드 트레이닝 시퀀스의 P-프레임과 수신된 정보 스트림의 P-프레임사이의 스펙트럼 변화는 균등화 필터를 계산하는 데에 사용되며, 상기 필터는 수신된 정보 스트림내의 P-프레임에 적용될 때 임계 레벨 이하까지 스펙트럼 변화를 감소시킨다. 특정한 것에 대하여 이루어진 필터 선택은 또한 GOP내의 특정 프레임에 선행하는 I-프레임과 P-프레임의 개수에 관련된다. 예를 들어, 예상 에러가 GOP 내의 다음 프레임으로 전파됨에 따라 예상 에러의 크기가 증가하기 때문에, GOP 내의 다음 프레임에 대하여 사용되어질 필터는 기초를 이루는 신호에 대응하여 증가하는 량의 변화를 부여하도록 선택된다. 루틴(600)은 이어 단계 624로 진행한다.
단계 624에서, 단계 622에서 계산된 프레임 타입 필터는 수신된 GOP내의 각각의 적합한 프레임에 적용된다. 이어 루틴(600)은 단계 626으로 진행하며, 여기에서 처리되어질 더 이상의 프레임이 존재하는지의 여부에 대한 질의가 이루어진다. 단계 626에서의 긍정적으로 대답되면, 루틴(600)은 처리되어질 다음 프레임이 선택되어지는 단계 628로 진행하고, 단계 622에서 계산된 적절한 프레임 타입 필터에 따라 선택된 프레임이 단계 624에서 필터링된다. 즉, 선택된 다음 프레임(즉, P-프레임 또는 B-프레임)은 단계 622에서 이전에 계산된 I-프레임 스펙트럼 균등화 필터, P-프레임 스펙트럼 균등화필터 또는 B-프레임 스펙트럼 균등화필터에 따라 필터링된다.
본 발명의 상술한 실시예는 처리용 전체 GOP를 저장하기 위한 충분한 메모리 리소오스를 가지는 디코더에 관한 것이다. 그러나, 메모리 한정이 GOP 구조의 저장 및 처리를 방해하는 경우, 본 발명가는 상술한 브리딩 인공물을 감속시키기 위한 여러 방법을 고려하였다.
본 발명에 따른, 메모리 한정된 디코더에 관련된 제 1 방법에 있어서, GOP내의 단일 프레임이 "충실도 기준" 프레임으로 선택된다. GOP 내의 다른 프레임은 충실도 기준 프레임의 임계 레벨 이내의 충실도 레벨을 따르기 위하여 필수적으로 열화 또는 강화된다. 이러한 방법은 도 7을 참조하여 아래에서 상세히 설명된다.
본 발명에 따른 메모리 한정된 디코더에 관련된 제 2 방법에 있어서, 이전에 디코딩된 GOP의 특성은 현재 디코딩되는 GOP에 적용하기 위해 사용된다. 즉, 제 1 GOP의 특성은 제 1 GOP가 처리됨에 따라 결정 및 저장된다. 예를 들어, GOP 구조 자체, GOP내에서 사용된 균등화 레벨 및 충실도 관련된 다른 파라미터가 저장된다. 제 1 GOP에 이은 제 2 GOP는 상기 제 1 GOP에 관련하여 결정된 저장된 파라미터를 사용하는 방식으로 처리된다. 이러한 파라미터가 일반적으로 예를 들어 공통적인 장면을 나타내는 이미지를 포함하는 GOP들 사이에서는 많이 변화하지 않기 때문에, 가정이 사용된다. 게다가, 장면 변화의 경우에서 조차, 제 1 장면의 최종 GOP와 제 2 장면의 제 1 GOP 사이의 소정의 충실도 차이는 실제 장면 변화의 시청에서 인지되지 않을 것이다(즉, 장면 변화에 의해 야기된 큰 시각적 불연속은 부정확한 GOP 파라미터 예측에 기인한 소정의 브리딩 인공물을 마스킹하는 경향이 있다). 이러한 본 발명에 따른 메모리 한정된 디코더에 관한 방법은, GOP를 디코딩하기에 앞서 전체 GOP가 검색되는 것을 기다릴 필요가 없다는 장점을 가진다.
도7은 본 발명에 따른 메모리 한정된 디코더에 관련된 브리딩 인공물을 감소시키기 위한 열화 균등화 루틴(700)의 흐름도를 도시한다. 루틴(700)은 단계 702에 , 즉 도 2의 비디오 디코더(210)가 압축된 비디오 정보 스트림(IN)을 수신하기시작할 때에 진입한다. 이어 루틴(700)은 GOP의 일부가 메모리내에 저장되어지는 단계 704로 진행한다. 특히 적어도 미리 결정된 기준 프레임(예를들어 초기의 I-프레임 뒤의 제 1 앵커 프레임)을 포함하는 GOP의 일부는 메모리내에 저장된다. 대안적으로, 미리결정된 기준 프레임만이 메모리 내에 저장된다. 루틴(700)은 이어 단계 706로 진행한다.
단계 706에서, 저장된 기준 프레임은 이전에 기술된 방식으로, 양자화 스텝 크기, GOP내의 위치, 프레임 타입 및 다른 파라미터를 주목함으로써 특성화된다. 기준 프레임 특성화는 GOP내의 다른 프레임이 강화 및/또는 열화되어 달성되어지는 근사 기준 레벨의 충실도를 야기한다. 즉, 선택된 기준 프레임보다 상당히 큰 충실도를 가지는 I-프레임의 경우, I-프레임은 I-프레임과 선택된 기준프레임 사이의 충실도 차이가 임계 레벨 이하까지 감소되도록 충실도를 다소 열화 시키는 방식으로 처리될 것이다. 유사하게, 선택된 기준프레임의 충실도 레벨이 예를 들어 GOP내의 하나 이상의 B-프레임보다 상당히 높은 경우, B-프레임은 충실도에 있어서, 명백한 증가를 보이는 경향이 있는 방식으로 필터링 된다. 예를 들어, B-프레임은 고주파 강화에 처해져서 디코더 내에서의 하프 펠 보간에 의해 유도된 저역통과 필터링을 오프셋 시키는 것을 돕는다. 루틴(700)은 단계 708로 진행한다.
단계 708에서 GOP내의 프레임은 기준 프레임의 특징 지워진 파라미터에 따라 처리된다. 특히, 단계 708에서 기준 프레임과 함께 저장된 소정의 프레임은 단계 706에서 결정된 기준 프레임의 특징에 따라 선택적으로 강화 또는 열화된다. 이어 루틴(700)은 단계 710로 진행하며, 여기에서 처리되어질 더 이상의 프레임이 GOP내에 존재하는 지의 여부에 관한 질의가 이루어진다.
단계 710에서의 질의가 긍정적으로 대답되면, 루틴은 단계 716으로 진행하여 GOP 내의 다음 프레임이 단계 706에서 결정된 기준 프레임에 따라 처리된다. 이어 루틴(700)은 단계 710로 진행한다.
단계 710에서의 질의가 부정적으로 대답되면, 루틴은 단계 712로 진행하여, 처리되어질 더 이상의 GOP가 존재하는 지의 여부에 대한 질의가 이루어진다. 단계 712에서의 질의가 부정적으로 대답되면, 루틴(700)은 단계 714로 진행하여 빠져나간다. 단계 712에서의 질의가 긍정적으로 대답되면, 루틴(700)은 단계 704로 진행하여, 루틴(700)은 다음의 GOP에 대하여 반복된다. (장면 커트를 제외하고) GOP 대 GOP 특성이 상대적으로 느리게 변화하기 때문에, 다음 GOP는 이전의 GOP로부터의 특징 지워진 기준 프레임을 사용하여 선택적으로 처리될 수 있다.
본 발명의 다른 실시 예에 있어서, 각각의 GOP는 이전 GOP의 평균통계 측정값에 따라 처리된다. 즉, 각각의 GOP는, GOP가 처리됨에 따라 하나 이상의 상술한 기술을 사용하여 특징 지워진다. 상기 특징화의 결과는 다음 GOP를 처리하는 데에 사용된다. 이러한 방식으로, 요구된 메모리의 량은 상당히 감소된다. 게다가, 잠제적인 GOP간의 충실도 에러가 하나의 GOP내에서 수정되기 때문에, 존재하는 경우, 장면의 마지막 GOP와 다음 장면의 처음 GOP 사이의 브리딩 인공물은 거의 존재하지 않게 된다.
본 발명의 다른 실시 예에 있어서, 에러 수정 및/또는 균등화는 블록 대 블록에 기초한 디코딩된 스트림에 부여된다. 유용하게, 블록 레벨의 처리는 균등화 처리에 대해 상당히 강화된 제어를 제공한다. 예를 들어, 고역 통과 필터링은 하프 펠 보간이 사용된 블록에 적절하게 적용되지만, 정수의 움직임 벡터를 가지는 블록에는 적용되지 않는다. 정수의 움직임 벡터를 가지는 블록은 일반적으로 앞서 설명된 하프 펠 에러 성분을 포함하지 않으며, 이에 따라 균등화 고역 통과 필터링이 허가되는 앞서 설명된 저역 통과 필터링 방식으로 열화되지 않는다. 부가적으로, 블록 대 블록 처리는, 예를 들어 블록에 주어진 수정 또는 균등화가 균등화 스텝을 결코 넘지 않는다는 것을 제어기가 보장하도록, 균등화처리의 증가된 제어를 제공하여, 이에 따라, 결과적인 이미지에 과도한 왜곡의 유도를 방지한다.
최종적으로, 디코더에 의해 디코딩된 원래 기준 프레임의 "복사"는 저장되어 하나의 양자화기 스텝처럼 요구된 최대 레벨까지 드리프트의 한계를 설정하기 위한 기준으로 사용된다.
따라서, 본 발명의 일 실시 예에 있어서, "강화된" 기준 프레임이 "원래" 또는 명목상" 기준 프레임에 수정 정보를 가산함으로써 형성된다. 강화된 기준 프레임은 원래 기준 프레임과 함께 저장된다. 브리딩 인공물을 피하기 위하여 수정이 수행되는 매 시간마다, 수정 자체가 새로운 인공물을 유도하지 않도록 수정을 검사하는 것이 바람직하다. 이것은 강화된 기준 프레임과 원래 기준 프레임 사이의 차이를 상기 차이에 대한 DCT가 계산될 때 하나의 양자화 스텝보다 적게 한계를 설정함으로써 수행된다. 따라서, 본 발명의 실시 예에 따라, 강화된 기준 프레임내의 블록(즉 "수정된" 블록)과 원래 기준 프레임의 해당 블록 사이의 차이에 대한 DCT가 계산된다. 이러한 차가 임계 레벨, 실질적으로 하나의 양자화 스텝을 초과한다면, 원래 블록이 사용되거나 선택적으로 수정된 매크로블록이 재처리된다. 추가적으로, 강화된 블록에 주어진 수정을 제어하는 이러한 처리는 비 기준 프레임에 대해 사용된다.
도 8은 본 발명에 따른 블록 레벨 수정 제어 루틴에 대한 흐름도이다. 루틴(800)은 단계 802에서 진입되고 단계 804로 진행하여, 블록 또는 매크로블록이 수정된다. 이어 루틴(800)은 단계 806으로 진행하여, 수정된 매크로블록 또는 블록이 수정되지 않은 해당 매크로블록 또는 블록 비교되어 차이 량을 생성한다. 이어 루틴(800)은 단계 808로 진행하여, 이산 코사인 변환(DCT)이 수정된 매크로블록 또는 블록과 수정되지 않은 것 사이의 차에 대하여 수행된다. 이어 루틴(800)은 단계 810)으로 진행하여, 단계 808에서 수행된 DCT의 양자화기 스텝 크기가 1 보다 큰 지의 여부에 관한 질의가 이루어진다. 단계 810에서의 질의가 부정적으로 대답되면, 루틴은 단계 812로 진행하여 빠져나간다. 단계 810에서의 질의가 긍정적으로 대답되면, 루틴은 단계 814로 진행하여, 블록 또는 매크로 블록이 재처리되어야 하는 지의 여부에 대한 질의가 이루어진다.
단계 814에서의 질의가 긍정적으로 대답되면, 루틴(800)은 단계 804로 진행하여 블록 또는 매크로블록이 재처리 또는 재수정된다. 단계 804에서의 재처리 또는 재수정은 단계808에서 형성된 DCT 정보와 DCT 양자화기 스텝 크기에 대한 추가의 정보를 사용한다.
단계 814에서의 질의가 부정적으로 대답되면, 루틴(800)은 단계 816으로 진행하여, 수정되지 않은 블록 또는 매크로블록이 수정된 매크로블록 대신에 사용된다. 이어 루틴(800)은 단계 812로 진행하여 빠져나간다.
본 발명에 따른 블록에 기초한 다른 실시예는, 상대적 열화 레벨이 개별적인 블록에 대하여 결정되고 개별적인 블록은 하프 펠 예상 열화를 어드레싱하는 방식으로 처리된다는 점을 제외하고는, 도 3 또는 도 4를 참조하여 상술한 것과 유사하다.
본 발명에 따른 블록에 기초한 다른 실시예는, 블록이 예를 들어 특정 프레임 타입 또는 인트라-GOP 프레임 위치의 평균 충실도 레벨에 따르도록 처리된다는 점을 제외하고는, 도 7을 참조하여 상술한 것과 유사하다.
본 발명의 일 실시예에 있어서, 수정 필터는 엔코더내에서 계산되어 엔코딩된 비디오 스트림과 함께 디코더로 전달된다. 수정 필터는 보조 스트림, 강화 층 스트림을 포함하거나, 사용자 데이터 필드내에 포함될 수 있다. 디코더는 수정 필터 데이터를 수신하여 상술한 것과 유사한 방식으로 화상을 필터링 및 강화하는 데에 사용한다. 그러나, 이러한 실시예에서 엔코더는 수정 인자를 계산하는 데에 책임을 지기 때문에, 수정 인자는 더욱더 정확하여 진다. 수정 인자가 제공된 엔코더를 사용하지않은 디코더의 경우에 수정의 량은 (브리딩 인공물을 감쇠시키기에 충분하지만) 상대적으로 적으며, 상기 비사용 디코더는 여전히 수신된 압축된 비디오 스트림을 디코딩할 수 있다.
본 발명은 컴퓨터 구현된 처리 및 이러한 처리를 실현하기에 위한 장치의 형태로 구현될 수 있다. 본 발명은 또한, 플로피 디스크, CD-ROM, 하드 드라이브 또는 소정의다른 컴퓨터 독출가능한 매체와 같은 효과적인 매체내에 구현된 컴퓨터 프로그램 코드의 형태로 구현될 수도 있으며, 여기에서 컴퓨터 프로그램 코드가 컴퓨터에 의해 로드되어 수행될 때, 컴퓨터는 본 발명을 실현시키기 위한 장치가 된다. 본 발명은 또한, 예를 들어 저장 매체내에 저장되어 컴퓨터에 의해 로드 및/또는 수행되거나, 전기적 와이어링 또는 케이블링과 같은 소정의 전송 매체를 통해 전달되는 컴퓨터 프로그램 코드의 형태로 구현될 수 있으며, 여기에서, 컴퓨터 프로그램 코드가 컴퓨터에 의해 로드되어 수행될 때, 컴퓨터는 본 발명을 실현시키기 위한 장치가 된다. 범용 마이크로프로세서상에서 구현될 때, 컴퓨터 프로그램 코드 세그먼트는 특정 논리 회로를 생성하도록 마이크로프로세서를 만든다.
본 발명이 바람직한 실시예를 참조하여 설명되었을 지라도, 따라서 다양한 형태의 변화 및 변형이 첨부된 청구범위에 의해 한정된 바와같은 본 발명의 정신 및 범위로부터 벗어나지 않고 이루어진다는 것이 당업자에게 이해된다.

Claims (10)

  1. GOP 정보 구조에 따라 배열된 압축된 이미지 시퀀스를 처리하기 위한 시스템에서 GOP 간의 시각적인 인공물을 감소시키기 위한 방법에 있어서,
    상기 GOP 정보 구조내의 제 1 타입의 정보 프레임에 대하여 개별적인 충실도 열화 레벨을 결정하는 단계(304);
    상기 GOP 정보 구조내의 제 2 타입의 정보 프레임에에 대하여 개별적인 충실도 열화 레벨을 결정하는 단계(304);
    상기 결정된 충실도 열화 레벨을 사용하여, 열화 균등화 파라미터를 계산하는 단계(306); 및
    상기 계산된 열화 균등화 파라미터를 사용하여, 상기 제 1 및 제 2 타입의 정보 프레임이 미리결정된 범위 내의 충실도 열화 레벨을 가지도록 상기 제 1 및 제 2 타입의 정보 프레임 중 하나를 처리하는 단계(308)를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 제 1 타입의 정보 프레임은 인트라-코딩된 정보 프레임(I-프레임) 및 순방향 예상된 정보 프레임(P-프레임) 중 하나를 포함하며, 상기 제 2 타입의 정보 프레임은 예상 코딩된 정보 프레임(P-프레임 또는 B-프레임)을 포함하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서, 상기 충실도 열화의 레벨은 양자화 레벨과 관련하여 결정되는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서, 상기 제 1 타입의 정보 프레임은 상기 제 2 타입의 정보 프레임 보다 높은 충실도 레벨을 가지며, 상기 처리 단계(308)는,
    제 2 타입의 정보 프레임과 관련된 양자화 잡음 파라미터(QB)를 규정하는 단계(408);
    상기 열화 균등화 파라미터에 따라 상기 규정된 양자화 잡음 파라미터를 스케일링하는 단계(410); 및
    상기 제 1정보 프레임에 상기 스케일링된 양자화 잡음 파라미터에 근접하는 양자화 잡음을 주입하는 단계 (412)를 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 상기 GOP 정보 구조내의 제 3 타입의 정보 프레임에 대하여 개별적인 충실도 열화 레벨을 결정하는 단계; 및
    상기 계산된 열화 균등화 파라미터를 사용하여, 상기 제 1, 제 2 및 제 3 타입의 정보 프레임이 미리결정된 범위 내의 충실도 열화 레벨을 가지도록 상기 3 타입의 정보 프레임을 처리하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. GOP 정보 구조에 따라 배열된 압축된 비디오 정보 프레임의 시퀀스를 디코딩하기 위한 시스템에서 시각적인 인공물을 감소시키기 위한 방법에 있어서,
    상기 GOP내의 상기 다수의 압축된 비디오 정보 프레임의 상대적인 충실도 열화 레벨을 결정하는 단계(304);
    상기 결정된 상대적인 충실도 열화 레벨을 사용하여, 충실도 열화 균등화 파라미터를 계산하는 단계(306); 및
    상기 상대적인 충실도 열화 레벨이 임계 레벨까지 감소되도록, 상기 계산된 충실도 열화 균등화 파라미터를 상기 GOP 내의 하나 이상의 압축된 비디오 정보 프레임에 적용하는 단계(308)를 포함하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서, 상기 상대적인 충실도 열화 레벨은 하나의 양자화 레벨, GOP 내의 압축된 비디오 정보 프레임 타입, 상기 GOP 내의 상기 압축된 비디오정보프레임의 상대적 위치, 상기 GOP내의 상기 압축된 비디오 정보 프레임의 스펙트럼 정보 분포 및 상기 GOP 내의 상기 압축된 비디오 정보 프레임의 선명도 레벨과 관련하여 결정되는 것을 특징으로 하는 방법.
  8. 제 6 항에 있어서, 스펙트럼 정보 분포를 예상된 스펙트럼 분포와 비교하는 단계(608);
    스펙트럼 분포 균등화 파라미터를 계산하는 단계(622); 및
    상기 스펙트럼 정보 분포와 상기 예상된 스펙트럼 분포가 임계 레벨 이내에 존재하도록, 상기 스펙트럼 분포 균등화 파라미터를 상기 GOP에 적용하는 단계(624)를 더 포함하는 것을 특징으로 하는 방법.
  9. GOP 정보 구조에 따라 배열된 압축된 비디오 정보 프레임 시퀀스를 디코딩하기 위한 시스템에 있어서,
    제어 신호(C)에 응답하여, 비디오 정보 프레임(VI)을 처리하기 위한 비디오 프로세서(220); 및
    상기 비디오 정보 프레임의 충실도의 표시에 응답하여 상기 제어 신호를 생성하기 위한 제어기(230)를 포함하며;
    상기 제어기는 GOP 내의 상기 다수의 압축된 비디오 정보 프레임의 상대적인 충실도 열화 레벨을 결정하고(304), 상기 결정된 상대적인 충실도 열화 레벨을 사용하여 충실도 열화 균등화 파라미터를 계산하며(306);
    상기 비디오 프로세서는 상기 상대적 충실도인 열화 레벨이 임계 레벨까지 감소되도록, 상기 GOP내의 하나 이상의 비디오 정보 프레임에 상기 계산된 충실도 열화 균등화 파라미터를 적용하는(308) 것을 특징으로 하는 시스템.
  10. 제 9 항에 있어서, 상기 비디오 프로세서는, 상대적으로 높은 충실도의 비디오 정보 프레임에 양자화 잡음을 주입함으로써, 상대적으로 높은 충실도 비디오 정보 프레임의 충실도 레벨을 감소시키는 것을 특징으로 하는 시스템.
KR1020007012420A 1998-05-07 1999-05-07 압축된 비디오 정보에서 브리딩 결함을 감소시키기 위한 방법 및 장치 KR100545145B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US8463298P 1998-05-07 1998-05-07
US09/127,451 US6125147A (en) 1998-05-07 1998-07-31 Method and apparatus for reducing breathing artifacts in compressed video
US09/127,451 1998-07-31
US60/084,632 1999-04-06

Publications (2)

Publication Number Publication Date
KR20010043395A true KR20010043395A (ko) 2001-05-25
KR100545145B1 KR100545145B1 (ko) 2006-01-24

Family

ID=26771221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007012420A KR100545145B1 (ko) 1998-05-07 1999-05-07 압축된 비디오 정보에서 브리딩 결함을 감소시키기 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US6125147A (ko)
EP (1) EP1076885B1 (ko)
JP (1) JP4334768B2 (ko)
KR (1) KR100545145B1 (ko)
CN (1) CN1301370A (ko)
BR (1) BR9910272A (ko)
DE (1) DE69915277T2 (ko)
WO (1) WO1999057685A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252550A (ja) * 1998-03-02 1999-09-17 Sony Corp デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6633673B1 (en) * 1999-06-17 2003-10-14 Hewlett-Packard Development Company, L.P. Fast fade operation on MPEG video or other compressed data
JP3891246B2 (ja) * 1999-06-28 2007-03-14 富士フイルム株式会社 マルチスペクトル画像の圧縮方法
US6469684B1 (en) * 1999-09-13 2002-10-22 Hewlett-Packard Company Cole sequence inversion circuitry for active matrix device
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
US7512109B2 (en) * 2000-09-29 2009-03-31 Intel Corporation Slot structure for radio communications system
US6914939B1 (en) * 2000-11-13 2005-07-05 International Business Machines Corporation Method and apparatus for producing pseudo-constant bits per picture video bit-streams for low-delay compression system
US6965647B1 (en) * 2000-11-28 2005-11-15 Sony Corporation Robust time domain block decoding
US7073200B2 (en) * 2001-01-24 2006-07-04 Intel Corporation Method of providing secure content-based user experience enhancement within a content protection architecture
US6925126B2 (en) * 2001-04-18 2005-08-02 Koninklijke Philips Electronics N.V. Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
US6996183B2 (en) * 2001-09-26 2006-02-07 Thomson Licensing Scene cut detection in a video bitstream
US20030128970A1 (en) * 2002-01-10 2003-07-10 Koninklijke Philips Electronics N.V. System and method for providing high definition material on a standard definition compatible medium
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7769084B1 (en) 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
JPWO2005043915A1 (ja) * 2003-10-31 2007-05-10 株式会社Ｋｄｄｉメディアウィル 映像解析装置及び映像障害検出装置
US8812749B2 (en) 2003-12-31 2014-08-19 Intel Corporation Programmable video processing and video storage architecture
KR100757734B1 (ko) * 2006-03-15 2007-09-11 삼성전자주식회사 비디오 영상 후처리 장치 및 방법
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2007143876A1 (en) * 2006-06-09 2007-12-21 Thomson Licensing Method and apparatus for adaptively determining a bit budget for encoding video pictures
US9679602B2 (en) 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8358705B2 (en) * 2007-07-05 2013-01-22 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with uncoded transport tunneling
US8347339B2 (en) * 2007-07-05 2013-01-01 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with variable training information
US8332896B2 (en) * 2007-07-05 2012-12-11 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with cross stream association
US9305590B2 (en) 2007-10-16 2016-04-05 Seagate Technology Llc Prevent data storage device circuitry swap
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
EP2277314A1 (en) * 2008-05-22 2011-01-26 Telefonaktiebolaget LM Ericsson (publ) Content adaptive video encoder and coding method
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8325801B2 (en) 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US20100165205A1 (en) * 2008-12-25 2010-07-01 Kabushiki Kaisha Toshiba Video signal sharpening apparatus, image processing apparatus, and video signal sharpening method
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
US20120133836A1 (en) * 2010-11-29 2012-05-31 Stmicroelectronics Asia Pacific Pte. Ltd. Frame level quantization estimation
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2751990A4 (en) 2011-08-29 2015-04-22 Icvt Ltd CONTROL OF A VIDEO CONTENT SYSTEM
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR102433192B1 (ko) * 2014-07-02 2022-08-18 돌비 인터네셔널 에이비 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치
EP3376766B1 (en) * 2017-03-14 2019-01-30 Axis AB Method and encoder system for determining gop length for encoding video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851906A (en) * 1986-11-04 1989-07-25 Nec Corporation Data compression using orthogonal transform and vector quantization
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5479211A (en) * 1992-04-30 1995-12-26 Olympus Optical Co., Ltd. Image-signal decoding apparatus
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5734755A (en) * 1994-03-11 1998-03-31 The Trustees Of Columbia University In The City Of New York JPEG/MPEG decoder-compatible optimized thresholding for image and video signal compression
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction

Also Published As

Publication number Publication date
JP4334768B2 (ja) 2009-09-30
EP1076885B1 (en) 2004-03-03
BR9910272A (pt) 2001-01-02
KR100545145B1 (ko) 2006-01-24
DE69915277T2 (de) 2005-02-03
US6125147A (en) 2000-09-26
JP2002514023A (ja) 2002-05-14
DE69915277D1 (de) 2004-04-08
WO1999057685A1 (en) 1999-11-11
EP1076885A1 (en) 2001-02-21
CN1301370A (zh) 2001-06-27

Similar Documents

Publication Publication Date Title
KR100545145B1 (ko) 압축된 비디오 정보에서 브리딩 결함을 감소시키기 위한 방법 및 장치
EP1513349B1 (en) Bitstream-controlled post-processing video filtering
US6658157B1 (en) Method and apparatus for converting image information
EP1563688B1 (en) Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and visual mask
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
EP2136563A2 (en) Method and system for adaptive deblocking for AVS1-P2
US5974185A (en) Methods and apparatus for encoding video data using motion vectors for decoding by regular or downconverting decoders
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
US20140247890A1 (en) Encoding device, encoding method, decoding device, and decoding method
WO1999059343A1 (en) Method and apparatus for video decoding at reduced cost
JP2004518338A (ja) 符号化されたビデオの鮮鋭度を向上する方法及びシステム
JP4485996B2 (ja) 画像符号化装置及び画像符号化プログラム
US20070147515A1 (en) Information processing apparatus
JP2004523985A (ja) ビデオ符号化方法及びこれに対応する符号化装置
JP4644097B2 (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
KR20060127159A (ko) 압축된 디지털 비디오에서 ｍｐｅｇ 손상들의 글로벌표시를 위한 시스템 및 방법
EP1933569A2 (en) Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and/or quantizer value
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JP4539028B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4429516B2 (ja) 画像符号化装置
JPH10164578A (ja) 画像符号化復号化装置
JP2011066592A (ja) 符号化モード選択方法，符号化モード選択装置および符号化モード選択プログラム
JPH0898178A (ja) 画像符号化装置
JP2006166104A (ja) 動画像符号化装置、その方法、そのプログラム、その記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130108

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150106

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 14

EXPY Expiration of term