KR20000071026A - 코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법 - Google Patents

코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20000071026A
KR20000071026A KR1019997007293A KR19997007293A KR20000071026A KR 20000071026 A KR20000071026 A KR 20000071026A KR 1019997007293 A KR1019997007293 A KR 1019997007293A KR 19997007293 A KR19997007293 A KR 19997007293A KR 20000071026 A KR20000071026 A KR 20000071026A
Authority
KR
South Korea
Prior art keywords
frame
quantization
bits
image
current
Prior art date
Application number
KR1019997007293A
Other languages
English (en)
Other versions
KR100604702B1 (ko
Inventor
티하오 치앙
야-퀸 장
Original Assignee
윌리암 제이. 버크
사르노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리암 제이. 버크, 사르노프 코포레이션 filed Critical 윌리암 제이. 버크
Publication of KR20000071026A publication Critical patent/KR20000071026A/ko
Application granted granted Critical
Publication of KR100604702B1 publication Critical patent/KR100604702B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 속도를 최적화하기 위하여 각 프레임에 대한 양자화 비율(quantizer scale)을 선택하기 위한 장치 및 방법[100,300]에 관한 것이다. 양자화 비율이 각 프레임에 대하여 선택되어, 전체 프레임들의 시퀀스에 걸쳐 일정한 화질을 유지하면서 상기 프레임에 대한 목표 비트 속도가 달성된다.

Description

코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법{APPARATUS AND METHOD FOR OPTIMIZING THE RATE CONTROL IN A CODING SYSTEM}
동화상 표준화 그룹(moving picture experts group;MPEG)은 코딩/디코딩 방법에 대한 표준을 만들기 위하여 ISO/IEC 국제 표준 11172 및 13818(일반적으로 MPEG-1 및 MPEG-2 포맷으로 각각 칭해짐)을 제정하였다. 상기 MPEG 표준들이 MPEG 지정 비트 스트림을 발생시키기 위한 일반적인 코딩 방법론(methodology) 및 문장론(syntax)을 특별히 정하고 있지만, 데스크 탑 영상 출판, 화상 회의, 디지털 저장 매체 및 텔레비젼 방송등과 같은 다수의 많은 적용예들 및 서비스들을 수용하기 위하여 다양한 변화가 허용된다.
현재 MPEG 코딩 방법(예를 들면, 다양한 MPEG 시험 모델들)에 있어서, 동일한 형태의 모든 화상(picture)들이 한 그룹의 화상들내에 동일한 복잡성(complexity)을 가지는 것을 가정함으로써 각 프레임에 대한 양자화 비율(quantizer scale)이 선택된다. 그러나, 각 화상의 복잡성은 시간에 따라 변화하므로, 상기 기준(criterion)에 의해 선택된 양자화 비율은 최적의 코딩 성능을 달성할 수는 없을 것이다.
더우기, 예를 들면 웨이브렛 변환(계층적 부대역 분해(hierarchical subband decomposition)로도 공지되어 있는)과 같은 전세계적 형태의 변환들도 동일한 문제들을 가지고 있다. 예를 들면, 웨이브렛 변환들은 낮은 비트 속도 이미지 코딩(변환 계수들의 중요한 맵(significance map)으로도 알려져 있는 0 이 아닌 값들의 위치를 지시하는 이진 맵(웨이브렛 트리)의 코딩)이라는 중요한 부분에 적용된다. 양자화 및 엔트로피 코딩은 그후 매우 낮은 비트 속도들을 달성하기 위해 사용된다. 상기 중요한 맵(웨이브렛 트리)의 양자화 비율의 적절한 선택을 함으로써 압축 효율 및 코딩 속도의 현저한 개선이 이루어질 것이다.
그러므로, 당업계에 있어서, 상기 코딩 속도를 최적화하는 동안 영상 이미지의 전체적인 질을 유지하기 위하여 각 프레임에 대해 양자화 비율을 순환적으로 조정하는 장치 및 방법에 대한 요구가 있어 왔다.
(발명의 개요)
본 발명은 상기 코딩 속도를 최적화하는 동안 영상 이미지의 전체적인 질을 유지하기 위하여 각 프레임에 대해 양자화 비율을 순환적으로 조정하는 장치 및 방법에 관한 것이다. 즉, 양자화 비율은 각 프레임(화상)에 대해 선택되어, 화상들의 전체 시퀀스에 걸쳐 일정한 화질(visual quality)을 유지하면서 상기 화상에 대한 목표 비트 속도(target bit rate)가 달성된다.
본 발명은 운동 영상(motion video)의 코딩을 최적화하기 위한 장치 및 방법에 관한 것이다. 특히, 본 발명은 상기 코딩 속도(coding rate)를 최적화하면서 동안 운동 영상의 전체적인 질을 유지하기 위하여 각 프레임에 대해 양자화 비율을 순환적으로 조정하는 장치 및 방법에 관한 것이다.
본 발명은 도면을 참조하여 상세한 설명을 고려함으로써 더욱 용이하게 이해될 수 있다.
도 1 은 본 발명의 장치의 블록 다이어그램을 도시한 것이다.
도 2 는 상기 장치의 비트 속도를 제어하기 위하여 복잡성 수치(complexity measure)에 따라 최적의 양자화 비율을 유도하기 위한 플로우 챠트를 도시한 것이다.
도 3 은 본 발명의 장치의 제 2 실시예의 블록 다이어그램을 도시한 것이다.
도 4 는 웨이브렛 트리를 나타낸 도면이다.
도 5 는 본 발명의 인코딩 시스템을 도시한 것이다.
이해를 도모하기 위하여, 가능한 한 도면들에 공통되는 동일한 구성 요소들을 지정하는데 있어 동일한 참조 변호들을 사용하였다.
도 1 은, 코딩 속도를 제어하는 동안 영상 이미지의 전체적인 질을 유지하기 위해 각 프레임에 대한 양자화 비율을 유도하기 위한 본 발명의 장치[100]의 블록 다이어그램을 도시한 것이다. 본 발명이 MPEG 지정 인코더에 관해 기술되지만 당업자는 본 발명이 다른 코딩/디코딩 표준들에 따른 다른 인코더들에 적용될 수 있음을 알수 있을 것이다.
본 발명의 바람직한 실시예에서, 장치[100]는 인코더이거나 더욱 복잡한 블록 단위 운동 보상 코딩(block-based motion compensation coding) 시스템이다. 장치[100]는 운동 추정 모듈(motion estimation module)[140], 운동 보상 모듈(motion compensation module)[150], 속도 제어 모듈(rate control module)[130], DCT 모듈[160], 양자화(Q) 모듈[170], 가변 길이 코딩(variable length coding;VCL) 모듈[180], 버퍼[190], 역 양자화(Q-1) 모듈[175], 역 DCT(DCT-1) 변환 모듈[165], 감산부[115] 및 합산부[155]를 포함한다. 상기 장치[100]가 다수의 모듈들을 포함하지만, 당업자는 다양한 모듈들에 의해 수행되는 기능들이 도 1 에 도시된 바와 같이 분리된 모듈들로 분리될 필요가 없음을 알 수 있을 것이다. 예를 들면, 운동 보상 모듈[150], 역 양자화 모듈[175] 및 역 DCT 모듈[165]을 포함하는 모듈들의 세트는 일반적으로 "내장형 디코더(embedded decoder)"로 공지도어 있다.
도 1 은, MPEG 표준들에 따라 휘도(luminance) 및 두 색 차이 신호들(Y, Cr, Cb)로 표현되고 디지털화되는 신호 경로[110]상의 입력 영상 이미지(이미지 시퀀스)를 도시한다. 상기 신호들은 그후 다수의 층들(시퀀스, 화상들의 그룹, 화상, 슬라이스(slice), 매크로블록(macroblock) 및 블록)로 분해되어 각 화상(프레임)은 다수의 매크로블록들로 표현된다. 각 매크로블록은 4 개의 휘도 블록들, 한개의 Cr블록 및 한개의 Cb블록을 포함하는데 한 블록은 8 개의 샘플 배열(array)에 의해 8개로 정의된다. 블록 유닛들로 한 화상을 분할하는 것은 2 개의 연속적인 화상들사이의 변화들을 식별하는 능력을 개선하고 작은 진폭 변환된 계수들(하기에서 논의됨)의 제거를 통해 이미지 압축(image compression)을 개선한다. 상기 디지털화된 신호에 대해 적절한 윈도우, 분해능(resolution), 및 입력 포맷을 선택하기 위한 포맷 변환과 같은 사전처리(preprocessing)를 선택적으로 할 수 있다.
경로[110]상의 입력 영상 이미지는 운동 벡터들을 추정(estimate)하기 위하여 운동 추정 모듈(motion estimation module)[140]내로 수신된다. 운동 벡터는, 현재 화상내의 한 블록의 좌표 위치(coordinate position)에서 참조 프레임(reference frame)내의 좌표들까지의 오프셋(offset)을 제공하기 위하여 운동 보상에 의해 사용되는 2 차원 벡터들이다. 상기 참조 프레임은 이전 프레임(P-프레임) 또는, 이전 및/또는 장래 프레임(B-프레임)일 수 있다. 현재 및 참조 프레임들 사이의 변화들만이 코딩되고 전송되기 때문에, 운동 벡터들의 사용은 채널상에 전송되는 정보의 양을 감소시키고 이미지 압축을 매우 향상시킨다.
운동 추정 모듈[140]에서의 운동 벡터들은 샘플 값들의 예상(prediction)의 효율을 개선하기 위하여 운동 보상 모듈[150]에 의해 수신된다. 운동 보상은, 예상 에러를 형성하는데 사용되는 이전에 디코딩된 샘플 값들을 포함하는 과거 및/또는 장래 참조 프레임들로 오프셋들을 제공하기 위하여 운동 벡터들을 사용하는 예상을 포함한다. 즉, 운동 보상 모듈[150]은 현재 프레임의 추정을 만들기 위하여 이전에 디코딩된 프레임 및 운동 벡터들을 사용한다. 더우기, 당업자는 운동 추정 모듈 및 운동 보상 모듈에 의해 수행된 기능들은 예를 들면 단일 블록 운동 보상부와 같은 조합된 모듈로 실현될 수 있음을 알 수 있을 것이다.
더우기, 주어진 매크로블록들에 대한 운동 보상 예상을 수행하기에 앞서, 코딩 모드가 반드시 선택되어야 한다. 코딩 모드 결정의 영역에서, MPEG은 다수의 다른 매크로블록 코딩 모드들을 제공한다. 특히, MPEG-2 는 인트라 모드(intra mode), 비운동 보상 모드(no motion compensation mode;No MC), 프레임/필드/듀얼-프라임 운동 보상 인터 모드(frame/field/dual-prime motion compensation inter mode), 포워드/백워드/평균 인터 모드(forward/backward/average inter mode) 및 필드/프레임(field/frame) DCT 모드를 포함하는 매크로블록 코딩 모드들을 제공한다.
일단 하나의 코딩 모드가 선택되면, 운동 보상 모듈[150]은 과거 및/또는 장래 참조 화상들에 따른 블록의 내용들의 경로[152]상에 운동 보상된 예상(예상된 이미지)을 발생한다. 경로[152]상의 운동 보상된 예상은 감산부[115]에 의해 현재 매크로블록내의 경로[110]상의 영상 이미지에서 감산되어 경로[153]상에 예상 잔류 신호 또는 에러 신호를 형성한다. 상기 예상 잔류 신호의 형성은 입력 영상 이미지내의 잉여 정보를 효과적으로 제거한다. 현재 프레임이 I 프레임으로 인코딩된다면, 경로[153]내의 신호는 간단하게 원래 화상이고 예상 잔류 신호(predictive residual signal)가 아니라는 것을 주목해야 한다.
DCT 모듈[160]은 그후 포워드 이산 코사인 변환 과정(forward discrete cosine transform process)을 상기 예상 잔류 신호의 각 블록에 적용하여 DCT 계수들의 8 개 블록에 의한 8 개의 세트를 생성한다. 상기 DCT 기본 기능 또는 부대역 분해는 양자화의 다음 단계에 중요한 사이코비쥬얼(psychovisual) 기준의 효과적인 사용을 가능하게 한다.
DCT 계수들의 8 × 8 블록은 상기 DCT 계수들이 양자화되는 양자화 모듈[170]에 의해 수신된다. 양자화의 과정은, DCT 계수들을 한 세트의 양자화 값들로 나누고 적절한 간략화(반올림, 올림등)로 정수 값들을 형성함으로써 DCT 계수들이 표현되는 정확도(accuracy)를 감소시킨다. 양자화 값들은 기본 기능들의 가시도(visibility)에 따른 기준(가시적으로 가중된(weighted) 양자화로 공지된)을 사용하여 개별적으로 각 DCT 계수에 대해 세팅될 수 있다. 즉, 상기 양자화 값은 주어진 기본 기능의 가시도, 즉 인간의 눈에 의해 탐지될 수 있는 계수 크기에 대한 임계치(threshold)에 상응한다. 상기 값으로 DCT 계수들을 양자화함으로써, 많은 상기 DCT 계수들은 값 "0"으로 변환되고 이로 인해 이미지 압축 효율을 개선한다. 양자화의 과정은 중요한 동작이며 화질(visual quality)을 달성하고 주어진 비트 속도에 출력을 매칭하기 위하여 인코더를 제어하기(속도 제어) 위한 중요한 도구이다. 다른 양자화 값이 각 DCT 계수에 적용될 수 있기 때문에, "양자화 매트릭스"는 일반적으로 참조 표(reference table), 예를 들면 휘도 양자화 표 또는 채색 양자화 표(chrominance quantization table)로서 정해진다. 따라서 상기 인코더는 변환된 블록내의 각 주파수 계수가 양자화되는 방식을 결정하는 양자화 매트릭스를 선택한다.
그러나, 양자화 에러의 주관적인 지각(subjective perception)은 주파수를 따라 크게 변화하고 더욱 높은 주파수들에 대해 더욱 거친(coarse) 양자화 값들을 사용하는 것이 바람직하다. 즉, 인간의 양자화 에러들의 지각 민감도는 더욱 높은 공간적 주파수들에 대해 더욱 낮아진다. 따라서, 높은 주파수들은 낮은 주파수들에 비해 더욱 작게 허용된 값들로 더욱 거칠게 양자화된다. 더욱이, 정확한 양자화 매트릭스는 계획된 디스플레이의 특성들, 시청 거리 및 소스내의 잡음의 양 등과 같은 많은 외부적인 파라미터들에 좌우된다. 따라서, 적용예 또는 심지어 개별저적인 프레임들의 시퀀스에 대한 특정한 양자화 매트릭스를 작성하는 것이 가능하다. 일반적으로, 만들어진 양자화 매트릭스는 압축된 영상 이미지들과 같이 내용으로서 저장될 수 있다. 양자화 비율의 적절한 선택은 속도 제어 모듈[130]에 의해 수행될 수 있다.
다음으로, 양자화된 DCT 계수들의 8×8 블록은 신호 연결[171]을 통해 가변 길이 코딩(variable length coding;VCL) 모듈[180]에 의해 수신된다. 상기 모듈에서 양자화된 계수들의 2 차원 블록은 양자화된 DCT 계수들의 1 차원 스트링(string)으로 변환하기 위하여 "지그재그" 순서로 스캐닝된다. 상기 지그재그 스캐닝 순서는 가장 낮은 공간적 주파수에서 가장 높은 것까지의 DCT 계수들의 대략적인 시퀀스 순서이다. 가변 길이 코딩(VCL) 모듈[180]은 그후 양자화된 DCT 계수들의 스트링 및 매크로블록에 대한 모든 부정보(side-information)를 가변 길이 코딩 및 활주 길이(run-length) 코딩을 사용하여 인코딩한다.
데이터 스트림은 선입선출(first in-first out;FIFO) 버퍼[190]로 수신된다. 다른 화상 형태들 및 가변 길이 코딩을 사용하는 결과는 상기 FIFO 내로의 전체 비트 속도가 가변이라는 것이다. 즉, 각 프레임을 코딩하는데 사용된 비트들의 갯수는 다를수 있다. 고정 속도 채널을 포함하는 적용예들에서, FIFO 버퍼는 비트 속도를 부드럽게 하기 위해 채널에 인코더 출력을 매칭하는데 사용된다. 따라서, 경로[195]상의 FIFO 버퍼[190]의 출력 신호는 경로[110]상의 입력 영상 이미지의 압축된 표현(또는 입력 이미지 및 예상 이미지 사이의 압축된 차이 신호)이다. 이것은 경로[195]를 통해 저장 매체 또는 원격 통신 채널로 전달된다.
속도 제어 모듈[130]은, 데이터 스트림의 전송후 디코더 쪽(수신기 또는 목표 저장 장치, 미도시)의 오버플로우(overflow) 및 언더플로우(underflow)를 방지하기 위하여 FIFO 버퍼[190]로 입력되는 데이터 스트림의 비트 속도를 감시하고 조정하는 역할을 한다. 따라서, 속도 제어 모듈[130]의 역할은 인코더에 의해 발생된 비트들의 갯수를 제어하기 위하여 버퍼[190]의 상태를 감시하는 것이다.
본 발명의 바람직한 실시예에서, 속도 제어 모듈[130]은 코딩 속도를 제어하는 동안 영상 이미지의 전체적인 질을 유지하기 위하여 각 프레임에 대한 양자화 비율을 선택한다. 즉, 화상의 전체 시퀀스에 걸쳐 일정한 화질을 유지하면서 양자화 비율이 각 프레임에 대해 선택되어 화상에 대한 목표 비트 속도가 달성된다. 본 발명은 시간적(운동 추정/보상) 및 공간적 인코딩(예를 들면, 이산 코사인 변환)을 구현하는 인코더로 기술되었지만, 이것에 한정되지 않음은 명백하다. 다른 시간적 및 공간적인 인코딩 방법들이 사용될 수 있으며, 시간적 및 공간적 인코딩이 사용되지 않을 수도 있다.
특히, 속도 제어 모듈[130]은 이전에 인코딩된 화상들에서 특정한 형태의 화상의 복잡성의 대략적인 추정을 얻거나 다양한 MPEG 시험 모델들을 구현함으로써 대략적인 추정을 얻는다. 상기 추정된 복잡성은 각 프레임을 코딩하기 위하여 필요한 비트들의 예상 갯수를 유도하는데 사용된다. 상기 지식으로, 양자화 비율은 다항식 형태를 가지는 복잡성 수치(complexity measure)에 따라 프레임에 대해 계산된다. 상기 복잡성 수치는 프레임에 대한 선택된 양자화 비율은 화상에 대한 목표 비트 속도와 거의 같아야 한다는 제한을 만족하도록 유도된다. 상기 프레임이 일단 인코딩되면, 속도 제어 모듈은 다항식 회귀 과정(polynomial regression process)를 사용하여 상기 복잡성 수치를 순환적으로 조정한다. 이것은 매크로블록을 코딩하는데 필요한 비트들의 실제적인 갯수는 다음 프레임에 대한 양자화 비율의 예상을 개선하기 위하여 복잡성 수치를 정제(refine)하는데 사용된다는 것이다. 양자화 비율 선택 방법의 자세한 설명은 도 2 를 참조하여 하기에서 기술된다.
도 1 로 돌아가서, 양자화 모듈[170]에서의 양자화된 DCT 계수들 8×8 블록은 또한 신호 연결[172]을 통해 역 양자화 모듈[175]에 의해 수신된다. 상기 단계에서, 인코더는 데이터를 디코딩함으로써 입력 영상 이미지의 I 프레임 및 P 프레임을 재발생시키고 이것들은 후속의 인코딩을 위한 참조 프레임들로서 사용된다.
DCT 계수들의 반양자화된(dequantized) 8×8 블록은, 역 DCT가 각 매크로블록으로 인가되어 디코딩된 에러 신호를 발생시키는 역 DCT 모듈[165]로 통과된다. 상기 에러 신호는 합산부[155]에 의해 운동 보상 모듈에서의 예상 신호에 다시 가산되어 디코딩된 참조 화상(재구성된 이미지)을 생성한다.
도 2 는 본 발명의 바람직한 실시예의 장치의 비트 속도를 제어하기 위하여 복잡성 수치에 따라 최적의 양자화 비율을 유도하기 위한 플로우 챠트를 도시한다. 도 2 에 도시된 바와 같이 본 발명의 방법[200]은 각 프레임에 대해 양자화 비율을 유도하기 위하여 구성된다. 상기 해결은 하나의 화상 또는 다른 화상에서 비교적 일정한 화질을 유지하는 동안 목표 비트 속도를 만족시켜야 한다.
도 2 를 참조하면, 상기 방법은 단계[205]에서 시작하고, 상기 방법이 하기의 관계를 가지는 초기 수치를 채용하는 단계[210]로 진행한다.
T=X1EQ-1+X2EQ-2(1)
T 는 특정 프레임을 인코딩하기 위하여 사용 가능한 비트들의 목표 갯수(인코딩 비트 카운트)를 나타낸다. Q 는 상기 프레임을 위해 선택된 양자화 레벨 또는 비율을 나타낸다. E 는 왜곡(distortion) 수치를 나타낸다. 바람직한 실시예에서, E 는 운동 보상을 수행한 후 현재 프레임에 대한 평균 절대값 차이(mean absolute difference)를 나타낸다. 즉, 수치 E 는 시퀀스내의 연속적인 프레임들 사이의 차이의 원인이 되는 프레임 비트 묶음(budget)을 조정하는 방법을 제공한다. E 는 블록에서 블록까지의 현재 프레임과 이전 프레임 사이의 차이들을 합산하는 것과 평균 절대값 차이 수치를 계산함으로써 계산된다. 다른 말로, 현재 프레임과 이전 프레임의 차이가 클수록, 현재 프레임을 코딩하기 위해 필요한 비트들의 갯수도 커진다. 더욱이, 다른 왜곡 수치들이 사용될 수 있으며 이 경우, E 는 평균 제곱 오차(mean square error) 또는 감지 가능차(just-noticeable difference;jnd)를 나타낼 것이다.
등식 (1) 의 파라미터들 및 다른 관련된 파라미터들은 하기에서 간략하게 기술되며 하기와 같이 첨자로서 정의된다.
Rs: 시퀀스(또는 세그먼트)에 대한 비트 속도(예를 들면, 24000 비트/초)
Rf: 첫번째 프레임을 위해 사용된 비트들(예들 들면, 10000비트)
Rc: 현재 프레임을 위해 사용된 비트들, 인코딩후 얻어지는 비트 카운트이다.
Rp: 화상당 버퍼에서 제거되어야 할 비트들
Ts: 시퀀스를 위한 초의 갯수(예들 들면, 10 초)
Ec: 운동 보상후 현재 프레임에 대한 평균 절대값 차이
Qc: 현재 프레임을 위해 사용된 양자화 레벨
Nr: 인코딩을 위해 남아있는 P 프레임의 갯수
Ns: 인코딩된 프레임들 사이의 거리(예를 들면, 7.5 fps 에 대해 4)
Rr: 상기 시퀀스(또는 세그먼트)를 인코딩하기 위해 남아있는 비트들의 갯수
T: 현재 프레임을 위해 사용될 목표 비트
Sp: 이전 프레임을 인코딩하기 위해 사용된 비트들의 갯수
Hc: 현재 프레임에 사용된 운동 벡터 및 헤더(header)
Hp: 이전 프레임에 사용된 운동 벡터 및 헤더
Qp: 이전 프레임에 사용된 양자화 레벨
Bs: 버퍼 크기, 예를 들면 Rs/2
B : 현재 버퍼 레벨, 예를 들면 Rs/4- 상기 버퍼의 중간에서 시작
특히, 단계[210]에서 파라미터 X1및 X2는 하기와 같이 초기화된다.
X1= (Rs*Ns)/2
X2= 0 (2)
Rs는 시퀀스(또는 세그먼트)에 대한 비트 속도, 예를 들면 24000 비트/초 의 속도를 나타낸다. Ns는 인코딩된 프레임들 사이의 거리를 나타낸다. 즉, 낮은 비트 속도 적용예들에 인하여, 시퀀스내의 일부 프레임들은 인코딩되지 않을 수 있다(스킵될 수 있다). 예를 들면 인코더는 매 4 번째 프레임만 인코딩할 수 있다. 스킵되는 프레임들의 갯수는 특정한 적용예의 요구 조건에 맞추어진다.
본 발명이 예를 들면 한 시퀀스당 300 프레임들의 프레임들의 시퀀스에 관하여 기술되지만, 당업자는 본 발명이 여기에 한정되지 아니함을 이해할 것이다. 사실, 상기 방법은 주기적으로 재초기화되거나 사전 지정된 간격들에서, 연속적인 시퀀스(실시간) 또는 모든 길이의 시퀀스들에 적용될 수 있다.
파라미터 X1및 X2에 대한 값들과 함께, 상기 방법[200]은 그 후 하기와 같이 다른 파라미터들을 초기화한다.
Rr= Ts*Rs-Rf(3)
Rp= Rr/Nr(4)
Rr는 시퀀스(또는 세그먼트)를 인코딩하기 위한 잔류 비트들의 갯수를 나타낸다. Ts는 상기 시퀀스(또는 세그먼트)에 대한 시간(초의 갯수), 예를 들면 초당 30 프레임의 프레임 속도로 300 프레임을 포함하는 시퀀스에 있어서 Ts는 300/30 =10 초를 나타낸다.
Rf는 첫번째 프레임에 대해 사용된 비트들의 갯수를 나타낸다. 상기에 있어서, 프레임은 전형적으로 "I" 프레임으로 인코딩된다. 방법[200]은 Rf를 특정한 값, 예를 들면 10000 비트들로 할당한다.
Rr를 가지고, 방법[200]은 프레임당 버퍼에서 제거될 비트들의 갯수를 나타내는 Rp를 계산한다. Nr은 인코딩을 위해 잔류하는 프레임들의 갯수(P)를 나타낸다.
일단 초기화가 완성되면, 방법[200]은 상기 수치에 대한 파라미터 X1및 X2가 갱신되는 단계[220]으로 진행한다. 그러나 상기 수치를 정제(예를 들면 첫번째 프레임 인코딩)하기 위하여 상기 지점에서 정보가 불충분하므로, 상기 수치는 초기화후 일반적으로 갱신되지 않는다. 그럼에도 불구하고, 상기 수치를 갱신하기 위해 사용 가능한 선행 정보가 존재할 수 있는 상황(situation)들 예를 들면, 사전 지정된 시퀀스의 끝에서의 재초기화 또는 방해(interruption)후에는 재초기화가 존재하게 된다. 단계 [220] 및 [225]는 하기에서 기술된다. 이와 같이, 방법[200]은 단계[230]으로 바로 진행한다(도 2 의 점선으로 도시).
단계[230]에서, 방법[200]은 하기와 같이 현재 프레임을 인코딩하기 전에 현재 프레임에 대한 목표 비트 속도를 계산한다.
T = Max(Rs/30,Rr/Nt*a+Sp*b) (5)
T 는 현재 프레임에 대해 사용될 목표 비트를 나타낸다. Sp는 이전 프레임을 인코딩하기 위해 사용된 비트들의 갯수를 나타낸다. 바람직한 실시예에서, 값 0.95 및 0.05 가 등식 (5)에서 상수 a 및 b 로 각각 선택된다. 그러나, 본 발명이 여기에 한정되지는 않는다. 다른 값들이 선택될 수도 있다. 사실, 상기 값들은 시간적으로 조정될 수 있다.
등식 (5)는 T 가 2 개의 가능한 값들중 큰 값(최대값)을 취할수 있게 하는 것을 주지하기 바란다. 먼저, 목표 비트 속도가 가용한 비트들 및 마지막 인코딩된 프레임 비트들에 따라 계산된다. 상기 마지막 프레임이 복잡하며 많은 비트들을 사용한다면, 더욱 많은 비트들이 현재 프레임으로 할당되어야 하는 것을 전제로 하게 된다. 그러나, 상기 증가된 할당은 잔류 프레임을 인코딩하기 위한 비트들의 가용한 갯수를 감소시키고, 이에 따라 상기 프레임의 증가된 할당을 제한한다. 가중된 평균(weighted average)은 등식 (5)내의 두번째 항내에 도시된 바와 같이 2 개의 요소들의 절충물을 반향한다.
두번째로, 목표 속도의 하한선(Rs/30)은 최소한의 질을 보장하거나 유지하는데 사용된다. 예를 들면 800 비트/프레임이 최소치로 설정될 수 있다. 상기 최소한의 질이 유지될 수 없다면, 인코더는 현재 프레임을 한꺼번에 스킵할수 있는 선택권을 가진다.
등식 (5)의 목표 비트 속도는 하기와 같이 오버플로우 및 언더플로우를 방지하기 위하여 버퍼 상태에 따라 그후 조정된다.
T' = T*(B+c*(Bs-B))/(c*B+(Bs-B)) (6)
T' 는 조정된 목표 비트 속도이고, Bs는 총 버퍼 크기이고, c 는 2(다른 값 사용 가능)의 값이 되도록 선택된 상수, 그리고 B 는 디코더로 보내질 비트들을 포함하는 버퍼의 일부이다. 이와 같이, Bs-B 는 상기 버퍼내의 잔류 공간이다. 등식(6)은 상기 버퍼가 반이상 찬다면 목표 비트 속도 T 는 감소된다는 것을 지시한다. 역으로, 상기 버퍼가 반이하로 찬다면 목표 비트 속도 T 는 증가한다. 상기 버퍼가 정확하게 반이면 등식 (6)이 T'=T로 감소하므로 어떤 조정도 필요하지 않다.
더우기, 목표 비트 속도의 조정은 하기와 같이 표현되는 등식(7a∼b)에 따른 조정이 더 필요하다.
(B+T'>0.9*Bs) 이면, T"=Max(Rs/30,0.9*Bs-B) (7a)
(B-Rp+T'<0.1*Bs) 이면, T"=Rp-B+0.1*Bs(7b)
T" 는 제 2 조정된 목표 비트 속도이다. 등식 (7a)는 목표 비트 속도의 조정을 제한함(클램핑(clamping))으로서 상기 오버플로우 조건을 피하기 위하여 설계된 것이다. 즉, 현재 프레임 및 현재 버퍼 충만(fullness)에 대한 계산된 목표 비트 속도 T'의 합은 버퍼 용량의 90%를 초과해서는 안된다. 버퍼 용량에 가깝게 동작하는 것은 인코더가 임박한 오버플로우 조건을 생성할 위험이 있다. 즉, 다음 프레임의 복잡성에 예를 들면, 장면 절단(scene cut) 또는 과도한 동작과 같은 갑작스런 변화가 생기는 경우이다. T" 가 하한선(Rs/30) 이하이면, 인코더는 상기 프레임을 스킵하는 선택권을 가진다.
대조적으로 등식 (7b)는 목표 비트 속도의 조정을 수정함으로써 언더플로우 조건을 피하도록 설계된다. 즉, 계산된 목표 비트 속도 T'의 합 및 현재 버퍼 충만은 버퍼 용량의 10% 이하로 떨어지지 않아야 한다. 빈 버퍼와 가깝게 동작하는 것은 인코더가 임박한 언더플로우 조건을 생성할 위험이 있다. 즉, 다음 프레임의 복잡성내에 거의 변화가 없는 경우, 예를 들면 다음 프레임내에 전혀 동작이 없는 경우이다. 일단 목표 비트 속도가 계산되면, 방법[200]은 단계[240]으로 진행한다.
단계[240]에서 방법[200]은 하기와 같이 현재 프레임의 양자화 비율 또는 레벨을 계산한다.
T"=Max(Rp/3+Hp,T") (8a)
(X2=0)이면, Qc=X1*Ec/(T'"-Hp) (8b)
아닐 경우, Qc=(2*X2*Ec)/(sqrt((X1*Ec)2+4*X2*Ec*(T'"-Hp))-X1*Ec) (8c)
Qc는 현재 프레임에 대한 계산된 양자화 비율이고, Hp는 이전 프레임의 운헤더 및 운동 벡터들을 인코딩하기 위하여 사용된 비트들의 갯수이고, 그리고 Ec는 운동 보상후 현재 프레임에 대한 평균 절대값 차이이다. 즉, 등식 (8b) 및 (8c)는 각각 제 1 , 제 2 차 등식이고, Qc는 용이하게 계산될 수 있다. 등식(8a)는, 목표 비트 속도가 헤더에 대해 할당된 비트 속도보다 더 크다는 것을 보장하기 위해 사용된 다른 목표 비트 속도 조정이다.
본 발명의 바람직한 실시예는 2 차 등식을 사용하여 복잡성 수치를 사용하지만, 예를 들면 3 차 및 그 이상의 다른 차수의 등식들도 사용가능하다. 더욱이, 본 발명의 바람직한 실시예가 일련의 목표 비트 속도 조정을 사용하지만, 상기 목표 비트 속도 조정들은 계산상 복잡성을 감소시키기 위하여 스킵될 수 있다. 그러나, 목표 비트 속도 조정이 없으면, 언더플로우 또는 오버플로우 조건의 위험성이 증가한다.
더우기, 현재 프레임에 대한 목표 비트 속도는, 현재 프레임과 관련된 헤더, 운동 벡터들, 및 다른 정보를 인코딩하기 위해 필요한 비트들의 양에 의해 조정된다. 상기 헤더 및 다른 정보의 크기는 일반적으로 프레임에서 프레임으로 크게 변화하지 않으므로, 이전 프레엠의 헤드 및 운동 벡터들을 인코딩하기 위해 사용된 비트들의 갯수 Hp는 현재 프레임에 대한 헤드 정보를 인코딩하기 위해 필요한 비트들의 적절한 근사치(approximation)를 제공한다.
이와 같이, 등식 (1)을 표현하는 다른 방식은
T-Hp=X1EQ-1+X2EQ-2(9)
양자화 레벨의 선택은 헤드 및 운동 벡터들의 코딩에 영향을 미치지 않기 때문이다.
더욱이, 계산된 양자화 비율, Qc는 하기와 같이 프레임에서 프레임까지의 일정한 화질을 보장하기 위하여 조정되어야 할 필요가 있을 수 있다.
Qc'=Min(ceil(Qp*1.25),Qc,31) (10a)
Qc'=Max(ceil(Qp*0.75),Qc,1) (10a)
Qc' 는 조정된 양자화 비율이고 Qp는 이전 프레임내에 사용된 양자화 레벨이다. 상기 계산된 Qc는 등식 (10a) 및 (10b)에 따라 제한되거나 절단(clip)되어야 한다. 즉, 계산된 Qc, 이전 프레임내에서 사용된 이전 양자화 레벨의 125%, Qp, 또는 최고 양자화 레벨 31(MPEG 표준에 의해 셋팅)중에서 작은 값을 선택함으로써 Qc' 가 등식(10a)에 따라 계산될 수 있다. 유사하게, 계산된 Qc, 이전 프레임내에서 사용된 이전 양자화 레벨의 75%, Qp, 또는 최저 양자화 레벨 1(MPEG 표준에 의해 셋팅)중에서 큰 값을 선택함으로써 Qc' 가 등식(10b)에 따라 계산될 수 있다. 일반적으로, 양자화 레벨들은 정수로 간략화된다. 등식(10a)은 Qc>Qp인 조건하에서 Qc'를 계산하는데 사용되고, 그 외의 경우 등식(10b)이 사용된다.
등식 10a∼10b 는 디코딩된 화상들의 화질에 있어 현저한 변화를 야기할 수도 있는, 프레임들 사이의 양자화 레벨들의 갑작스런 변화들을 제한하는 역할을 한다. 상기 방법에 있어서, 양자화 레벨은 코딩 속도를 최적화하는 동안 운동 영상의 전체 질을 유지하기 위하여 각 프레임에 대해 계산된다. 일단 양자화 레벨이 현재 레벨에 대해 계산되고 방법[200]은 단계[250]으로 진행한다.
단계[250]에서, 현재 프레임을 인코딩하는데 따른 비트들의 실제적인 갯수를 나타내는 Rc를 생성하기 위하여 단계[240]에서 계산된 양자화 레벨을 사용하여 본 방법은 현재 프레임을 인코딩한다. Rc와 함께, 복잡성 수치의 소정 파라미터들은 하기와 같이 갱신된다.
B=B+Rc-Rp(11)
Rr=Rr-Rc(12)
Sp=Rc(13)
Hp=Hc(14)
Qp=Qc(15)
Nr=Nr-1 (16)
먼저, 버퍼 충만 B 는 비트들 Rc의 부가 및 비트들 Rp의 제거(전송)에 의해 갱신된다. 두번째로 Rr, 시퀀스에 대해 사용가능한 비트들의 총 잔류 갯수는 Rc양에 의해 갱신된다. 세번째로, Sp는 Rc로 교체된다. 네번째로, Hp가 Hc로 교체된다. 다섯번째로 Qp는 Qc로 교체된다. 마지막으로, Nr은 하나가 감소된다.
단계[260]에서, 본 방법[200]은 현 시퀀스로 코딩되기 위하여 잔류하는 부가적인 프레임들이 존재하는지 여부를 질문한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법[200]은 등식 (1) 또는 (9)의 복잡성 수치를 정제하기 위하여 다항식 회귀 모델 또는 직각 회귀 모델내의 갱신된 Qc,Rc,Hp및 Ec을 적용하는 단계[220]으로 되돌아 간다. 즉, 특정한 양자화 레벨에 대해 프레임을 코딩하는데 필요한 비트들의 실제 갯수와 프레임에 할당된 비트들 사이의 모순을 처리하기 위해 상수 X1및 X2는 갱신된다. 회귀 모델들은 당업계에 공지되어 있다. 다양한 회귀 모델의 자세한 설명은 Bowerman and O'Connell의 "Forecasting and Time Series" 3판, Duxbury 출판사(1993년, 4장)을 참조하기 바란다. 복잡성 수치를 갱신하기 위한 두번째 실시예가 하기에 제공된다. 방법[200]은 그 후 단계[225]로 진행한다.
단계[225]에서, 방법[200]은 시퀀스내의 다음 프레임이 반드시 스킵되어야 하는지를 질문한다. 상기 질문에 부정적으로 대답이 얻어지면, 방법[200]은 전술한 바와 같이 단계[230]으로 진행한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법[200]은 B 및 Rp가 갱신되는 단계[220]으로 복귀한다. 스킵된 프레임에 대한 결정은 하기에 따라 결정된다.
(B>0.8*Bs)이면, 다음 프레임을 스킵한다.
즉, 버퍼의 용량, 예를 들면 80% 용량 이상에 매우 가까운지 여부를 결정하기 위하여 버퍼 충만은 다시 한번 점검된다. 상기 버퍼 충만의 상기 확인은 현재 프레임에 대한 목표 속도를 계산하는 것이 필요한지 여부를 인코더가 신속하게 결정하도록 한다. 버퍼가 상기 용량에 매우 근접해 있으면, 오버플로우 조건이 계속될 가능성이 있다. 예를 들면, 전송 채널이 다운되거나 인코더가 매우 복잡한 몇몇 프레임들을 수신한 것이다. 실시간 조건에 따라, 계산 사이클을 소비하는 것 없이 프레임을 폐기하고 나중에 동일한 결정에 도달하기 위하여 인코더는 신속하게 결정을 내린다. 80% 가 상기 실시예에서 선택되었지만, 특정한 적용예들에 있어서 다른 버퍼 용량 제한이 선택될 수 있다.
프레임이 폐기되면, 방법[200]은 하기와 같이 파라미터 Nr및 B가 갱신되는 단계[220]으로 되돌아 간다.
B=B-Rp(18)
Nr=Nr-1 (19)
방법[200]은 그 후 단계[225]로 복귀하고 다시 한번 시퀀스내의 다음 프레임이 스킵되어야 하는지를 질문한다. 상기 질문에 부정적인 대답이 얻어지면, 방법[200]은 전술한 바와 같이 단계[230]으로 진행한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법[200]은 또 다른 프레임등을 스킵한다. 방법[270]은 모든 프레임들이 한 시퀀스에 대해 인코딩되었을 때 단계[270]에서 종료한다.
본 발명은 복잡성 수치를 갱신하기 위한 제 2 실시예를 제공한다. 상기 설명은 하기의 정의를 사용한다.
Qp[w]: 과거 프레임들에 대한 양자화 레벨들
Rp[w]: 과거 프레임들에 대해 사용된, 비율된 인코딩 복잡성들
w: 인코딩된 과거 프레임들의 갯수
x: Qp를 포함하는 매트릭스
y: Qp*(Rc-Hc)/Ec를 포함하는 매트릭스
Ep: 이전 프레임에 대한 평균 절대차. 이것은 오직 Y 성분에 대한 운동 보상후 계산된다. 상기 수치는 Ep의 선형 함수이므로 표준화(normalization)가 불필요하다.
상기 방법은 이전에 인코딩된 프레임에 관련된 다양한 정보를 수집한다. 특히, 이전 프레임들에 대해 사용된 앙자화 레벨 및 비율된 인코딩 복잡도는 2 개의 매트릭스들로 집합된다. 즉, Rp[n] (Rc-Hc)/Ec및 Qp[n] Qc이다.
w의 선택은 하기에 따라 선택된다.
w = Min(전체 데이터 갯수, 20) (20)
즉, 윈도우 크기는 최고 수치 20을 제한된다. 상기 이유는 "이전에" 인코딩된 프레임들에 관련된 정보는 현재 프레임의 복잡성에 관해 정보를 적게 제공하기 때문이다. 상기 윈도우의 크기를 제한함으로써, 계산에 필요한 소비가 최소화된다.
그러나, w에 대한 값은 "슬라이딩 윈도우(sliding window)" w' 를 생성하기 위하여 하기에 따라 적응적으로 조정될 수 있다.
(Ep>Ec)이면, w'=ceil(Ec/Ep*w)이고, 그렇지 않으면 w'=ceil(Ep/Ec*w)이다.
데이터 포인트(point)들은 복잡성의 변화에 크기가 좌우되는 윈도우를 사용하여 선택된다. 상기 복잡성이 현저하게 변화하면, 더욱 현재의 데이터 포인터(이전에 인코딩된 프레임)들을 가진 더욱 작은 윈도우가 사용된다. 즉, 이전 및 현재 프레임들에 대한 평균 절대차들이 w의 사전 지정된 크기를 감소시키기 위하여 사용된다. Ep는 각 프레임후 Ec로 갱신된다.
상기 방법은 그후 X1및 X2를 하기에 따라 결정하기 위하여 추정(추정부) 기능을 수행한다.
(모든 Q[i]가 동일) 일 경우면 X1=y[i]/w 및 X2=0,
그렇지 않으면 b=(x_Transpose*x)-1*x_Transpose*y; (22)
2x1=(2xw*wx2)-1*(2xw)*(w*1)
X1=b(1,1) 및 X2=b(2,1)
여기서 x=[1,Qp[i]-1(i=1,2,...,w)](차원 wx2) 및 y=[Qp[i](i=1,2,...,w)](차원 wx1) 이다.
X1및 X2가 일단 결정되면, 방법은 "제거 아웃라이어(remove outlier)" 동작을 하기에 따라 수행한다.
std+=((X1*EcQp[i]-1+X2*Ec*Qp[i]-2-Rp[i]*Ec))2;
에러[i]=X1*Ec*Qp[i]-1+X2*Ec*Qp[i]-2-Rp[i]*Ec; (23)
임계치=sqrt(std/w) 로 셋팅;
(에러[i]의 절대값>임계치)이면, 상기 추정부에 대한 매트릭스 x 및 y에서 데이터 포인트 I 를 제거한다.
즉, 등식(23)은 상기 등식(23)의 추정 동작에 영향을 주는 소정의 임계치 이상의 데이터 포인터들을 제거하는 역할을 한다. 일단 "제거 아웃라이어" 동작이 완료되면, 상기 방법은 등식 (22)의 추정 기능으로 복귀하고 다시 상기 아웃라이어 데이터 지점(point)들 없이 X1및 X2를 결정한다. 따라서, 복잡성 치수는 상기 아웃라이러 데이터 지점들을 거절함으로써 다시 정정(calibrate)된다. 상기 거절 기준은 예상 에러가 1 표준 편차(deviation) 이상일때 데이터 포인트는 폐기된다는 것이다. 도 3 은 본 발명을 포함하는 웨이브렛 인코더[300]를 도시한다. 상기 인코더는 블록 이동 보상부(block motion compensation:BMC) 및 운동 벡터 코더부[304], 감산부[302], 이산 웨이브렛 변환(discrete wavelet transform;DWT) 코더부[306], 비트 속도 제어부[310], DWT 디코더[312], 및 출력 버퍼[314]를 포함한다.
일반적으로, 전술한 바와 같이 입력 신호는 영상 이미지(영상 시퀀스내의 한 프레임을 정의하는 픽셀들(펠(pel)들)의 2 차원 배열)이다. 낮은 비트 속도 채널을 통한 이미지의 정확한 전송을 위하여, 영상 프레임 시퀀스내의 공간적 및 시간적 여유(redundancy)가 반드시 감소되어야 한다. 이것은 일반적으로 연속적인 프레임들 사이의 차이들만을 코딩하고 전송함으로써 달성된다. 인코더는 3 가지 기능들을 가진다. 첫째, BMC 및 코더[304]를 사용하여 프레임들 사이에서 발생하는 운동을 표현하는 다수의 운동 벡터들을 생성한다; 두번째, 상기 운동 벡터들과 조합된 이전 프레임의 재구성된 버젼(version)을 사용하여 현재 프레임을 도시한다; 그리고, 세번째, 수신기로 상기 운동 벡터들을 따라 코딩되고 전송되는 나머지 프레임을 생성하기 위하여 현재 프레임에서 예상된 프레임이 감산된다.
상기 이산 웨이브렛 변환은 입력 이미지의 통상적인 웨이브렛 트리 표현을 생성하기 위하여 웨이브렛 계층적 부대역 분해(hierarchical subband decomposition)를 수행한다. 상기와 같은 이미지 분해를 수행하기 위하여, 상기 이미지는 2 번의 부샘플링을 사용하여, 고수평-고수직(HH), 고수평-저수직(HL), 저수평-고수직(LH), 및 저수평-저수직(LL) 주파수 부대역들로 분해된다. 상기 LL 부대역은 그후 2 번 더 부샘플링되어 HH, HL, LH, 및 LL 부대역들의 세트를 생성한다. 상기 부샘플링은 순환적으로 이루어져 3 번의 부샘플링이 사용된 도 4 와 같은 부대역들의 배열을 생성한다.
바람직하게 6 번의 부샘플링들이 실제로 사용된다. 상기 부대역들 사이의 부모-자식 의존 관계는, 부모 노드들의 부대역에서 자식 노드의 부대역들로 향하는 화살표로 도시된다. 가장 낮은 주파수 부대역은 정상 좌측 LL1이고, 가장 높은 주파수 부대역은 저부 우측 HH3이다. 상기 예에서, 모든 자식 노드들은 한 부모를 가진다. 부대역 분해의 자세한 설명은 J.M. Shapiro의 "Embedded Image Coding Using Zerotrees of Wavelet Coefficients" 1993년 12월 신호 처리에 관한 논문 Vol.41, No.12, pp. 3445∼62 에서 제공된다.
도 3 의 DWT 코더는 웨이브렛 트리의 계수들을 "폭 우선(breadth first)" 또는 "깊이 우선(depth first)" 패턴중 하나로 코딩한다. 폭 우선 패턴은 비트 평면당(bit-plane by bit-plane) 패턴으로 웨이브렛 트리를 횡단한다. 즉, 모든 부모 노드들, 그 후 모든 자식들, 그리고 모든 손자들등으로 양자화한다. 반대로, 깊이 우선 패턴은 각 트리를 LL 부대역의 뿌리에서 자식(하강 패턴) 또는 LL 부대역을 통해 자식(상승 패턴)으로 횡단한다. 한 시퀀스내의 각 프레임에 대한 비트 속도를 제어하기 위하여 속도 제어부[310]에 의한 적절한 양자화 레벨의 선택은 전술한 바와 같다.
이와 같이, 본 발명은 다른 변환을 사용하는 다양한 형태의 인코들에 적응될 수 있다. 더욱이 본 발명은 한 프레임에 대한 양자화 레벨의 적절한 선택에 제한되지 않는다. 본 발명은 매크로블록(macroblock), 슬라이스, 또는 예를 들면, 전경, 배경, 또는 사람 얼굴의 일부분과 같은 대상(object)에 적용될 수 있다. 즉, 속도 제어 방법은 매크로블록들, 슬라이스들, 또는 대상들의 시퀀스에 적용될 수 있다. 상기에 있어서, 예를 들면 이전에 인코딩된 매크로블록, 슬라이스 또는 대상 및 그들의 윈도우와 같은 상기 이미지 시퀀스의 이전에 인코딩된 부분들을 사용하여 인코더를 위한 최적의 속도 제어 설계를 만들어내기 위하여 현재의 매크로블록, 슬라이스 또는 대상에 대한 목표 비트 속도를 결정하는데 복접성 수치가 적용된다. 예를 들면, 비디오폰과 같은 특별한 적용예에서 예를 들면 송화자의 머리 및 어깨와 같은 전경 대상은 배경 대상들 보다 더욱 정확하게 양자화되도록 선택된다.
마지막으로, 본 발명이 P 프레임에 관하여 기술되었지만, 본발명은 또한 B 프레임에도 적용될 수 있다.
도 5 는 본 발명의 인코딩 시스템[500]을 도시한다. 상기 인코딩 시스템은 범용 컴퓨터[510] 및 다양한 입/출력 장치들[520]을 포함한다. 상기 범용 컴퓨터는 중앙 처리 장치(CPU)[512], 메모리부[514], 및 이미지의 시퀀스를 수신하고 인코딩하기 위한 인코더부[516]를 포함한다.
상기 바람직한 실시예에서, 인코더[516]은 전술한 바와 같이 인코더[100] 및/또는 인코더[300]이다. 인코더[516]은 통신 채널을 통해 CPU[512]에 연결된 물리적 장치일수 있다. 별법으로, 상기 인코더[516]은 저장 장치에서 탑재되고 컴퓨터의 메모리부[512]에 상주하는 소프트웨어 적용예로 표현될 수 있다. 이와 같이, 상기 본 발명의 인코더[100] 및 [300]는 컴퓨터 판독 가능 매체에 저장될수 있다.
컴퓨터[510]은 키보드, 마우스, 카메라, 캠코더, 비디오 모니터, 수많은 이미지 장치들 또는 테이프 드라이브, 플로피 드라이브, 하드 디스크 드라이브 또는 콤팩트 디스크 드라이브등과 같은(상기에 한정되는 것은 아님) 저장 장치들과 같은 다수의 입력 및 출력 장치들[520]과 연결될 수 있다. 상기 입력 장치들은 인코딩된 영상 비트 스트림들을 생성하기 위하여 컴퓨터로 입력을 제공하거나 이미지 장치 또는 저장 장치에서 영상 이미지의 시퀀스를 수신하는 역할을 한다.
코딩 속도를 최적화하는 동안 영상 이미지의 전체적인 질을 유지하기 위하여 각 프레임에 대한 양자화 비율을 순환적으로 저정하는 장치 및 방법에 관하여 지금까지 기술하였다. 당업자들이 실시예들을 기술하는 본 명세서 및 도면을 참조함으로써 본 발명의 많은 변화, 수정, 변동, 및 다른 사용들 및 적용예들이 가능할 것이다. 본 발명의 범위를 벗어나지 않는 상기 모든 변화, 수정, 변동, 및 다른 사용들 및 적용예들은 본 발명으로 간주될 것이다.

Claims (10)

  1. 적어도 하나의 입력 프레임을 가지는 이미지 시퀀스를 인코딩하기 위한 장치[100,300]에 있어서,
    현재 입력 프레임의 예상된 이미지를 발생하기 위한 운동 보상부[140,150,304];
    상기 운동 보상부에 연결되고, 상기 입력 프레임 및 상기 예상된 이미지 사이의 차이 신호에, 다수의 계수들을 발생시키는 변환을 적용하기 위한 변환 모듈[160,306];
    상기 변환 모듈에 연결되고, 적어도 하나의 양자화 비율(scale)로 상기 다수의 계수들을 양자화하기 위한 양자화부[170, 306]; 및
    상기 양자화부에 연결되고, 바로 이전에 인코딩된 부분에서의 코딩 정보에 따라 현재 입력 프레임에 대한 상기 양자화 비율을 선택적으로 조정하기 위한 제어부[130,310]를 포함하며,
    상기 코딩 정보는 왜곡 수치(distortion measure)를 계산하는데 사용되는 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  2. 제 1 항에 있어서, 상기 바로 이전에 인코딩된 부분은 바로 이전에 인코딩된 하나의 프레임인 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  3. 제 1 항에 있어서, 상기 바로 이전에 인코딩된 부분은 바로 이전에 인코딩된 프레임들의 하나의 윈도우인 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  4. 제 1 항에 있어서, 상기 양자화 비율은,
    T 가 상기 입력 프레임을 인코딩하기 위해 비트들의 목표 갯수를 나타내고, Q는 상기 양자화 비율을 나타내고, 그리고 E 가 상기 왜곡(distortion) 수치를 나타낼 때,
    T=X1EQ-1+X2EQ-2에 따라 선택되는 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  5. 적어도 하나의 입력 프레임을 가지는 이미지 신호를 양자화하기 위해 양자화 비율을 발생시키기 위한 방법에 있어서,
    (a) 바로 이전에 인코딩된 부분에서의 코딩 정보에 따라 현재 입력 프레임에 대한 적어도 하나의 양자화 비율을 계산하는 단계를 포함하는데, 상기 코딩 정보는 왜곡 수치를 계산하는데 사용되며;
    (b) 상기 현재 프레임을 양자화하기 위하여 상기 계산된 양자화 비율을 적용하는 단계를 포함하는 것을 특징으로 하는 이미지 신호 양자화 방법.
  6. 제 5 항에 있어서, 상기 양자화 비율을 계산하는 단계 (a) 는,
    T 가 상기 입력 프레임을 인코딩하기 위해 비트들의 목표 갯수를 나타내고, Q는 상기 양자화 비율을 나타내고, 그리고 E 가 상기 왜곡(distortion) 수치를 나타낼 때,
    T=X1EQ-1+X2EQ-2
    에 따라 계산되는 것을 특징으로 하는 이미지 신호 양자화 방법.
  7. 제 6 항에 있어서, 상기 왜곡 수치 E 는, 상기 현재 프레임과 이전 프레임 사이의 평균 절대차(mean absolute difference)인 것을 특징으로 하는 이미지 신호 양자화 방법.
  8. 제 6 항에 있어서, 상기 왜곡 수치 E 는, 상기 현재 프레임과 이전 프레임 사이의 감지 가능차(just noticeable difference;jnd)인 것을 특징으로 하는 이미지 신호 양자화 방법.
  9. 제 6 항에 있어서,
    (c) Rc가 상기 계산된 양자화 비율 Q 를 사용하여 상기 현재 프레임을 인코딩에서 얻어지는 비트들의 실재 갯수를 나타낼 때, Rc를 사용하여 파라미터 X1및 X2를 갱신하는 단계; 및
    (d) 상기 이미지 신호의 다음 프레임에 대해 상기 (a)∼(c)의 단계들을 반복하는 단계를 더 포함하는 것을 특징으로 하는 이미지 신호 양자화 방법.
  10. 제 6 항에 있어서,
    (c) 다수의 이전에 인코딩된 프레임들에 관련된 정보의 한 윈도우를 사용하여 파라미터 X1및 X2를 갱신하는 단계; 및
    (d) 상기 이미지 신호의 다음 프레임에 대해 상기 (a)∼(c)의 단계들을 반복하는 단계를 더 포함하는 것을 특징으로 하는 이미지 신호 양자화 방법.
KR1019997007293A 1997-02-12 1998-02-11 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 KR100604702B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3705697P 1997-02-12 1997-02-12
US60/037,056 1997-02-12
PCT/US1998/002745 WO1998037701A1 (en) 1997-02-12 1998-02-11 Apparatus and method for optimizing the rate control in a coding system

Publications (2)

Publication Number Publication Date
KR20000071026A true KR20000071026A (ko) 2000-11-25
KR100604702B1 KR100604702B1 (ko) 2006-07-28

Family

ID=21892201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997007293A KR100604702B1 (ko) 1997-02-12 1998-02-11 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법

Country Status (8)

Country Link
US (1) US6243497B1 (ko)
EP (1) EP0960532B1 (ko)
JP (1) JP4111351B2 (ko)
KR (1) KR100604702B1 (ko)
CN (1) CN1151685C (ko)
DE (1) DE69837003T2 (ko)
TW (1) TW366649B (ko)
WO (1) WO1998037701A1 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023296A (en) 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
AU6206898A (en) * 1998-01-02 1999-07-26 Nokia Networks Oy A method for synchronization adaptation of asynchronous digital data streams
GB9822094D0 (en) * 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
US6414992B1 (en) * 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
US6526097B1 (en) 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
FR2792798B1 (fr) * 1999-04-26 2001-05-25 Thomson Multimedia Sa Procede et dispositif de quantification pour compression video
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US6363113B1 (en) * 1999-06-07 2002-03-26 Lucent Technologies Inc. Methods and apparatus for context-based perceptual quantization
US6535251B1 (en) * 1999-10-26 2003-03-18 Sharplabs Of America, Inc. Video encoder and method for adjusting quantization step in real time
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6707853B1 (en) * 2000-01-10 2004-03-16 Intel Corporation Interface for performing motion compensation
US7062445B2 (en) * 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
WO2002071639A1 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for error resilient encoding
US6671324B2 (en) * 2001-04-16 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Estimating total average distortion in a video with variable frameskip
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP2002354476A (ja) * 2001-05-24 2002-12-06 Pioneer Electronic Corp 量子化単位設定装置及び量子化単位設定方法、符号化装置及び符号化方法並びに情報記録媒体及び量子化単位設定用プログラム
WO2002096120A1 (en) * 2001-05-25 2002-11-28 Centre For Signal Processing, Nanyang Technological University Bit rate control for video compression
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
DE10156851C1 (de) * 2001-11-20 2003-07-03 Infineon Technologies Ag Verfahren und Vorrichtung zur Bildkompression
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
MXPA05002511A (es) 2002-09-05 2005-08-16 Agency Science Tech & Res Un metodo y un aparato para controlar la velocidad de una secuencia de video; un dispositivo que codifica un video.
US7440502B2 (en) * 2002-11-14 2008-10-21 Georgia Tech Research Corporation Signal processing system
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7343291B2 (en) * 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
WO2005029834A2 (en) * 2003-09-21 2005-03-31 Servision Ltd. A method for generating high quality, low delay video streaming
FR2862168B1 (fr) * 2003-11-06 2006-05-19 Canon Kk Procede et dispositif de regulation de debit d'une sequence d'images.
JP2005333609A (ja) * 2004-04-22 2005-12-02 Sanyo Electric Co Ltd 符号化制御回路及び符号化回路
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
AU2005253152B2 (en) 2004-06-07 2010-04-22 Sling Media L.L.C. Personal media broadcasting system
US20070230565A1 (en) * 2004-06-18 2007-10-04 Tourapis Alexandros M Method and Apparatus for Video Encoding Optimization
EP1766991A1 (en) * 2004-06-18 2007-03-28 THOMSON Licensing Method and apparatus for video encoding optimization
CN100477794C (zh) * 2004-09-10 2009-04-08 松下电器产业株式会社 运动图像编码装置及其编码方法以及运动图像的成像装置
JP4800712B2 (ja) * 2004-09-10 2011-10-26 パナソニック株式会社 動画符号化装置、動画符号化方法及び動画撮像装置
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
TWI279143B (en) * 2005-07-11 2007-04-11 Softfoundry Internat Ptd Ltd Integrated compensation method of video code flow
US7616821B2 (en) 2005-07-19 2009-11-10 International Business Machines Corporation Methods for transitioning compression levels in a streaming image system
US7506071B2 (en) * 2005-07-19 2009-03-17 International Business Machines Corporation Methods for managing an interactive streaming image system
US20070028286A1 (en) * 2005-07-28 2007-02-01 Greene David P Systems, methods, and media for detecting content change in a streaming image system
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP4795223B2 (ja) * 2006-01-31 2011-10-19 キヤノン株式会社 画像処理装置
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN101933328B (zh) * 2008-01-22 2014-11-19 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7949775B2 (en) 2008-05-30 2011-05-24 Microsoft Corporation Stream selection for enhanced media streaming
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US9047236B2 (en) * 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8879623B2 (en) 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
US8203619B2 (en) * 2009-09-30 2012-06-19 Sony Corporation Target bit rate decision method for wavelet-based image compression
US9521178B1 (en) 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
TWI421798B (zh) * 2010-04-27 2014-01-01 Novatek Microelectronics Corp 影像壓縮之位元率控制方法及其裝置
CN101977309B (zh) * 2010-06-30 2012-07-25 无锡中星微电子有限公司 码率控制方法及装置
AU2011292589B2 (en) * 2010-08-17 2015-03-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9728159B2 (en) 2012-03-21 2017-08-08 Dolby Laboratories Licensing Corporation Systems and methods for ISO-perceptible power reduction for displays
KR101450645B1 (ko) * 2013-04-26 2014-10-15 주식회사 코아로직 비디오 비트율 제어 방법 및 장치
US10728298B2 (en) * 2013-09-12 2020-07-28 Qualcomm Incorporated Method for compressed sensing of streaming data and apparatus for performing the same
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
US10142049B2 (en) * 2015-10-10 2018-11-27 Dolby Laboratories Licensing Corporation Near optimal forward error correction system and method
CN108600863A (zh) * 2018-03-28 2018-09-28 腾讯科技（深圳）有限公司 多媒体文件处理方法和装置、存储介质及电子装置
EP3841749A1 (en) 2018-08-23 2021-06-30 InterDigital VC Holdings France, SAS Coding of quantization matrices using parametric models

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144426A (en) 1989-10-13 1992-09-01 Matsushita Electric Industrial Co., Ltd. Motion compensated prediction interframe coding system
US5134476A (en) 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5291282A (en) 1990-04-19 1994-03-01 Olympus Optical Co., Ltd. Image data coding apparatus and method capable of controlling amount of codes
JPH0813138B2 (ja) 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
DE69222332T2 (de) * 1991-02-21 1998-01-29 Nippon Electric Co Kodierungsgerät zur Kompression von bewegten Bilddaten
US5214507A (en) 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
US5231484A (en) 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
US5253059A (en) 1992-05-15 1993-10-12 Bell Communications Research, Inc. Method and circuit for adjusting the size of a video frame
KR0134871B1 (ko) 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
WO1994018799A1 (en) 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5440346A (en) 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
WO1997016028A1 (en) * 1995-10-25 1997-05-01 Sarnoff Corporation Overlapping block zerotree wavelet image coder
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
WO1997018676A1 (en) * 1995-11-15 1997-05-22 Philips Electronics N.V. Method and device for global bitrate control of a plurality of encoders
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system

Also Published As

Publication number Publication date
CN1247670A (zh) 2000-03-15
WO1998037701A1 (en) 1998-08-27
DE69837003T2 (de) 2007-10-18
US6243497B1 (en) 2001-06-05
EP0960532A4 (en) 2003-02-12
JP2001512643A (ja) 2001-08-21
EP0960532B1 (en) 2007-01-31
JP4111351B2 (ja) 2008-07-02
DE69837003D1 (de) 2007-03-22
CN1151685C (zh) 2004-05-26
KR100604702B1 (ko) 2006-07-28
EP0960532A1 (en) 1999-12-01
TW366649B (en) 1999-08-11

Similar Documents

Publication Publication Date Title
KR100604702B1 (ko) 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법
US6690833B1 (en) Apparatus and method for macroblock based rate control in a coding system
US6023296A (en) Apparatus and method for object based rate control in a coding system
US6160846A (en) Apparatus and method for optimizing the rate control in a coding system
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
US6895050B2 (en) Apparatus and method for allocating bits temporaly between frames in a coding system
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
EP1445958A1 (en) Quantization method and system, for instance for video MPEG applications, and computer program product therefor
KR101263813B1 (ko) 듀얼 패스 인코딩에서 주사 모드의 선택을 위한 방법 및 장치
JP4532607B2 (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
JP2006325239A (ja) 画像信号量子化装置およびその方法
Ilgin DCT Video Compositing with Embedded Zerotree Coding for Multi-Point Video Conferencing
JP2001128175A (ja) 画像情報変換装置及び方法、並びに記録媒体

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 19990812

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20021104

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050526

Patent event code: PE09021S01D

AMND Amendment
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20051026

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20051206

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20050526

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20060306

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20051206

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20060425

Appeal identifier: 2006101001981

Request date: 20060306

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20060405

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20060306

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20050722

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20021104

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20060425

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20060420

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060719

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060720

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090714

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100706

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20110711

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20120706

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130705

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140708

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20150706

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20150706

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20160711

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20170711

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20170711

Start annual number: 12

End annual number: 12

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20180811

Termination category: Expiration of duration