KR20000068666A - 가변 비트 레이트 영상 코딩 방법 및 그 영상 코더 - Google Patents

가변 비트 레이트 영상 코딩 방법 및 그 영상 코더 Download PDF

Info

Publication number
KR20000068666A
KR20000068666A KR1019997002709A KR19997002709A KR20000068666A KR 20000068666 A KR20000068666 A KR 20000068666A KR 1019997002709 A KR1019997002709 A KR 1019997002709A KR 19997002709 A KR19997002709 A KR 19997002709A KR 20000068666 A KR20000068666 A KR 20000068666A
Authority
KR
South Korea
Prior art keywords
bit rate
coding
step size
prediction
quantization
Prior art date
Application number
KR1019997002709A
Other languages
English (en)
Other versions
KR100667607B1 (ko
Inventor
에티엔네 페르트
다니엘 카이저
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20000068666A publication Critical patent/KR20000068666A/ko
Application granted granted Critical
Publication of KR100667607B1 publication Critical patent/KR100667607B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명에 따른 가변 비트 레이트 코딩 방법은 제 1 분석 패스 및 제 2 예측 패스를 포함하는 대화형 처리를 포함한다. 분석 패스는 일정한 양자화 스텝사이즈(및 화질)에 따라 시퀀스의 화상 코딩을 가능하게 하며 예측 패스는 원하는 목표 비트 레이트에 스텝사이즈를 매칭할 수 있도록 한다. 소정의 반복 이후에, 최종 단계는 상기 목표 비트 레이트에 대해 상기 스텝사이즈의 미세한 조정을 가능하게 한다.
응용 : 제한된 용량을 갖는 저장 매체용의 MPEG2 엔코더

Description

가변 비트 레이트 영상 코딩 방법 및 그 영상 코더{Variable bitrate video coding method and corresponding video coder}
문헌 "MPEG Video coding : 기본 지도 입문서"에 기술되어 있는 바와 같이, 영상 및 음성 신호의 디지털 압축에 대한 표준을 규정할 목적으로, S.R. Ely, BBC Research and Development Report, BBC-RD-1996/3, 페이지 1-10, MPEG 활동이 1988년에 시작되었다. 첫 번째 목표는 CD-ROM(Compact Disc Read-Only Memory) 등의 디지털 저장 매체를 위한 영상 알고리즘을 규정하는 것이었지만, 결과적으로 그 표준은 대화형 CD 시스템(CD-I)에도 응용되었다. 화상 데이터를 1∼15Mbit/s 범위의 비트 레이트로 전송 및 저장이 가능하기 때문에, 상기 표준은 시간적인 리던던스(redundancy)의 감소에 대한 블록식 모션 보상 및 공간적인 리던던스의 감소에 대한 DCT(discrete cosine transformation)를 이용함으로써 달성된 데이터 압축에 기초하고 있다.
CD-I 및 CD-ROM 등의 종래의 CD 표준의 경우에는, 전송 비트 레이트가 고정되어 있고, 따라서 화상들만이 일정한 비트 레이트로 코드화될 수 있다. DVD(Digital Versatile Disc) 등의 새로운 표준에 의하면 VBR(variable bit rate; 가변 비트 레이트)로 데이터의 전송이 가능해진다. 즉, 일정한 화질을 유지하기 위해서 보다 적은 정보를 포함하는 장면보다 더 높은 비트 레이트로 복잡한 장면들을 코드화할 수 있다.
본 발명은 가변 비트 레이트 영상 코딩 방법 및 상기 방법을 실행할 수 있는 대응하는 영상 코더에 관한 것이다.
도 1은 화상들의 그룹중에서 몇몇 화상들을 도시하는 도면.
도 2 및 도 3은 그러한 통상적인 화상들의 그룹에 대해서 화상들의 표시 순서 및 전송 순서 간의 차를 도시하는 도면.
도 4 및 도 5는 본 발명에 따른 코딩 방법의 주 단계들을 각각 도시하며 상기 방법을 실행할 수 있는 영상 코더의 대응하는 구성을 도시하는 도면.
도 6은 상기 코딩 방법의 최종 제어 단계를 실행시키는데 사용되는 제어 루프를 도시하는 도면.
본 발명의 목적은 제한된 소정의 총 비트 버젯(budget)하에서(즉, 소정의 목표 비트 레이트에 따라), 코드화된 시퀀스의 질을 일정하게 얻을 수 있는 VBR 영상 코딩 방법을 제안하는 것이다.
이 때문에, 본 발명은 다음에 의해 특징지어지는 VBR 영상 코딩 방법에 관한 것이다. 즉, 본 발명의 VBR 영상 코딩 방법은;
(a) 일정한 양자화 스텝에 따라 화상 시퀀스를 코딩하고, 시퀀스의 평균 비트 레이트가 특정 크기의 제약 조건을 반드시 충족하지는 않는 비트스트림을 발생시키는 분석 단계;
(b) 소정의 목표 비트 레이트에 따라 비트스트림을 코드화하는데 이용되어야 하는 양자화 스텝사이즈를 예측하는 예측 단계;
(c) 상기 스텝사이즈를 보다 정밀하게 추정하기 위하여 상기 분석 단계 및 상기 예측 단계를 적어도 1회 반복하는 단계;
(d) 상기 목표 비트 레이트를 매치시키기 위한 스텝사이즈의 조정을 고려하여, 모든 이전 프레임들에 대한 누적 비트 레이트와 예측된 누적 비트 레이트와의 비교에 의존하는 최종 제어 단계를 포함한다.
본 발명의 또다른 목적은, 상기 코딩 방법을 실행하기 위해서 제공되는 VBR 영상 코더를 제안하는 것이다.
이 때문에 본 발명은 다음과 같이 특징지어지는 가변 비트 레이트 영상 코더에 관한 것이다. 즉, 본 발명의 가변 비트 레이트 영상 코더는;
(a) 적어도 직렬의 양자화 회로 및 가변 길이 회로를 포함하는 코딩 브랜치(branch);
(b) 상기 양자화 장치의 출력에서 직렬로 적어도 역양자화 장치 및 예측 서브시스템을 포함하고 상기 코딩 브랜치에 의해 코드화되는 신호를 감산함으로써 규정되는 예측 브랜치;
(c) 일정한 양자화 스텝사이즈에 따른 영상 시퀀스의 코딩 동작과, 특정 목표 비트 레이트로 비트스트림을 코드화할 수 있는 양자화 스텝사이즈의 추정을 위한 예측 동작과, 상기 동작들의 적어도 1회 반복 동작과, 상기 목표 비트 레이트로의 코딩 동작 동안 사용된 총 비트 수를 매치시키기 위한 최종 제어 동작을 실행시키도록 제공된 제어 회로를 포함한다.
이제 본 발명의 이점들에 대해 하기의 상세한 설명 및 첨부 도면들과 관련하여 설명한다.
본 발명에 따른 코딩 방법에 대해 기술하기 전에, MPEG2 영상 표준의 약간의 기본적인 원리들을 상기하도록 한다. 가능한한 넓은 응용 범위를 지원하고자, 모든 응용 조건들을 충족시킬 수 있는 프로파일 및 레벨들을 규정함으로써, 상기 표준은 융통성을 갖게 된다. 프로파일은 MPEG2 표준의 서브세트로서, 소정의 응용 정도에 따라 요구되는 특징들만을 지원하도록 되어 있고, 레벨은 비트스트림의 파라미터들에 부과된 제약 조건들의 세트를 규정한다.
3가지 성분들(Y, U, V)로 이루어지는 칼라 화상들에 적용되는 MPEG2 압축의 기본적인 단계들은, 루미넌스 및 크로미넌스 블록들로 구성되어 있는 작은 서브섹션들이나 매크로블록들로 분할되는 프레임들에 관계한다. 이들 단계들로는, 모션 추정 및 보상(16픽셀×16라인 매크로블록에 기초함), 이산 코사인 변환(8픽셀×8라인 블록에 기초함), 런랭스 코딩이 있다.
세 종류의 프레임 또는 화상들이 규정되어 있다. 인트라 화상(또는 I 화상)들은 다른 화상들과 무관하게 코드화되고, 예측 화상(또는 P 화상)들은 과거의 I 또는 P 화상으로부터 모션 보상 예측을 이용하여 코드화되고, 쌍방향 예측 화상(또는 B 화상)들은 모션 보상을 위해 과거 및 미래 I 또는 P 화상들 둘 다 이용한다. 모션 정보는 블록 매칭 탐색의 실행으로 얻어진 모션 벡터들의 형태로 제공된다(매우 많은 수의 시험적인 오프셋들이 코더에서 테스트되고 최상의 것을 코드화되는 블록 및 예측 간의 최소 에러의 측정에 기초하여 선택된다).
모션 벡터들에 기초하여 P 및 B 화상들이 어떻게 규정되는 지를 도시하는 도 1에 나타낸 것과 같이, 상이한 화상들은 통상적으로 반복되는 시퀀스에서 발생되고, 상기 반복 시퀀스는 화상들의 그룹 또는 GOP라 불리는데, 다음 I 화상이 발생될 때까지 모든 연속 화상들 및 I 화상으로 구성된다. 통상적인 GOP는 도 2의 표시 순서(흑색 화살표는 전방향 예측에 대응되고 백색 화살표는 후방향 예측에 대응된다) 및 도 3의 전송 순서(P4, P7, I10, P13은 다시 순서가 정해진 프레임들을 나타낸다)로 도시되어 있고, 상기 순서들은 서로 달라 미래의 화상들로부터 후방향측 예측을 디코딩할 시에 이네이블된다.
규칙적인 GOP 구조는 두 개의 파라미터 N과 M으로 기술될 수 있다. GOP의 크기로서 규정된 파라미터 N은 도 2에 도시된 바와 같이 상기 GOP의 화상들의 수이다. 즉, 두 개의 I 화상들 사이의 화상들의 수에 하나를 더한 것이다. 파라미터 M은 P 화상들의 간격, 또는 인접한 B 화상들의 수에 하나를 더한 것과 같다. 도 1 내지 도 3의 도시된 예에서는, M=3이고, N=9이다. 기타 다른 조합들도 다음과 같이 가능함은 당연하다.
화상 표시 순서 N M
IPPPPPIPP......................6..........1
IBPBPBPBI......................8..........2
IBBPBBPBBPBBIBBP..............12..........3
N과 M은 서로 독립적으로 선택된다.
매크로블록 보상의 종류에 관해 결정이 된 이후에, 관련 매크로블록의 각각의 픽셀에 대한 예측 에러는 원래의 매크로블록으로부터 추정된 매크로블록을 감산함으로써 얻어진다. 그리고, DCT가 8×8 픽셀의 블록의 경우에 예측 에러에 대해 수행되며(이에 따라서 6개의 DCT 변환이 각 매크로블록마다 결정되고 4개의 DCT 변환이 루미넌스 성분에 대해 결정되고, 크로미넌스 성분들에 대해서는 두 개가 결정된다), 이에 따라 얻어진 주파수 성분은 양자화된다. 양자화 스텝사이즈는 비트 레이트 및 디코드된 영상의 왜곡을 결정한다. 즉, 양자화가 양호하지 못하면, 화상을 코드화하는데 비트가 거의 필요 없지만 최종 화질이 낮으며, 반면에 양자화 스텝사이즈가 양호한 경우에는 화상을 코드화하는데 많은 비트가 요구되지만 화질은 높다. 사람의 눈은 낮은 주파수보다는 보다 높은 주파수에 덜 민감하므로, 고주파 성분을 위해서는 보다 열등한 양자화기를 이용하는 것이 유리하다(실제로, 주파수 종속 양자화를 달성하기 위하여, 가중 매트릭스가 기본 매크로블록 양자화 파라미터에 응용된다. 상기 기본 매크로블록 양자화 파라미터는 다수의 계수들, 특히 고주파수의 계수들로서, 상기 가중 양자화 이후에는 0이 된다).
그 다음으로 각각의 블록은 지그재그형으로 주사되고 얻어진 목록은 코드화된다. 런랭스 코딩은 쌍(A, NZ)을 결정함으로써 행하여진다. 이 때 A는 연속적인 제로들(0 내지 63)의 수를 나타내고, NZ는 그 다음의 0이 아닌 계수의 진폭을 나타낸다. 다음으로, 상기 쌍의 출현 주파수에 의존하여 가변 길이 코드가 상기 쌍(A, NZ)에 할당된다(공통인 조합 (A, NZ)에는 짧은 가변 길이 코드가 할당되고, 덜 빈번한 쌍에는 긴 가변 길이 코드가 할당된다).
상술한 바와 같은 기능들은 예를 들면 일반화된 MPEG2 코더의 구조를 포함하는 문헌 "Hybrid extended MPEG video coding algorithm for general video applications", C.T. Chen and al., Signal Processing : Image Communication 5(1993), pp. 21-37, part 2.4에 요약되어 있다. 지금 제안한 VBR 코딩 방법의 목적은 최종 비트스트림의 크기가 DVD와 같은 정해진 용량을 가진 저장 매체 상에 꼭들어 맞게 하는 것이다. 상기 방법에 대해서 도 4에 도시되어 있고, 상기 방법을 실행할 수 있는 영상 코더의 구성은 도 5에 도시되어 있다.
코딩 방법은 3단계(41, 42, 43)들로 분할된다. 제 1 단계(41)는 분석 단계로서, 화상 시퀀스가 일정한 양자화 스텝사이즈 Qc에 따라(그러므로 일정한 화질을 갖는다) 코드화된다. 이 단계의 끝에서는, 규칙적인 MPEG2 순응 비트스트림이 발생되었지만, 상기 단계의 종료 이전에는 알려지지 않은 그와 같이 처리된 전체 시퀀스의 평균 비트 레이트(즉, 그 시퀀스에 대한 코드화된 비트의 총수를 상기 시퀀스에서의 화상들의 총수로 나눈 몫)는 비트스트림의 특정 사이즈의 필요한 제약 조건을 충족시키지 못한다.
제 2 단계(42)는 예측 단계로서, 특정 목표 비트 레이트에 따라 비트스트림을 코드화하는데 사용되어야 하는 양자화 스텝사이즈 Q를 예측하는 것이다. 일단 상기 예측 단계가 완료되면, 분석 단계(41)는 Q에 대한 보다 정밀한 추정(그러나, 양호한 예측은 일반적으로 소수의 런 이후, 이를테면 2회 이후에 얻어진다)을 하기 위하여 필요한 만큼 자주 반복된다(도 4의 화살표).
상기 제 2 단계의 끝에서 유효한 양자화 스텝사이즈 Q가 단지 추정 값인 경우, 총 비트 버젯은 모든 화상이 상기 예측값에 의해 코드화되는 경우 정확하게 매칭되지 않는다. 마지막 단계는 최종 패스(43)로서, 총 평균 비트 레이트에 대한 제약이 정확히 관측되는 것을 보증할 수 있게 한다. 최종 출력 비트스트림이 실제로 정확하게 원하는 크기를 갖게 하기 위하여, 양자화 스텝사이즈 제어 처리가 실행된다. 이 처리는 예측 비트 레이트 및 실제 비트 레이트의 비교에 의존하는 제어 루프를 토대로 한다. 최종 단계에서 각 화상의 코딩 이후에, 제어 처리는 사용된 총 비트수를 허용된 비트수와 비교한다. 버젯이 허용하는 것보다 더 많은 비트가 사용된 경우, 양자화 스텝사이즈는 증가되고 그 다음 화상의 비트 레이트는 감소된다. 버젯이 허용하고 있는 것보다 더 적은 비트가 사용된 경우, Q는 감소되고 비트 레이트는 증가되며 전체 목표 비트 레이트는 결국 정확하게 매칭된다.
상기 VBR 코딩 방법이 도 5의 코더에서 실행된다. 여기서 각각의 블록은 제어기(55)의 감독하에서 행하여지는 특정 기능에 대응한다. 도시된 코더는 직렬로, 입력 버퍼(51), 감산기(549), DCT 회로(521), 양자화 회로(522), 가변 길이 코딩 회로(523), 출력 버퍼(524)를 포함한다. 회로(521∼524)들은 코딩 브랜치(52)의 주 소자들을 구성하며, 이에 대해 역양자화 회로(531), 역 DCT 회로(532), 및 예측 서브시스템을 포함하는 예측 브랜치(53)가 관련된다. 상기 예측 서브시스템은, 가산기(541), 버퍼(542), 모션 추정 회로(543)(상기 추정은 버퍼(51)의 출력에서 유효한 입력 신호들의 분석에 기초한다), 모션 보상 회로(544)(그 출력 신호는 가산기(541)의 제 2 입력에 후방향 전송된다), 감산기(549)(버퍼(51)의 출력 신호들 및 모션 보상 회로(544)의 출력 신호들을 수신하여 코딩 브랜치로 그들의 차를 전송한다)를 포함한다.
도시된 코더의 출력은 최종 단계(43)를 실행하도록 제공된 제어 루프를 포함하는 제어기(55)쪽으로 보내진다. VBR 코더의 최종 패스에 대한 상기 제어 루프의 주 소자들은 도 6에 도시되어 있다. 이미 설명한 바와 같이, 조작자에 의해 제공된 총 목표 비트 레이트가 정확하게 매칭되도록 하기 위하여 상기 최종 코딩 패스 동안 양자화 스텝사이즈를 조정할 필요가 있다. 먼저 상기 루프는 루프의 출력(즉, 누적 예측 에러)을 인자 KP와 승산하는 제 1 연산 회로(61)를 포함한다. 상기 인자는 가중 인자 Qint/APG 로 곱해지는 상수 QC1(조작자가 선택함)와 같다. 여기서 Qint는 Q의 적분 추정치이고 APG 는 (N개의 프레임들의) GOP 에 대한 총 비트 수이다.
그 다음으로 가산기(63)는 Q의 적분 추정치를 생성하기 위해 제공된 제 2 연산 회로(62)의 출력에 유효한 신호 Qint 및 상기 회로(61)의 출력 Q_prop를 합산한다. 변환 회로(64)는 상기 회로(64)에 저장되는 관계식 R=fi(Q)(가산기(63)의 출력에서의 양자화 인자 Q와 R 사이)에 의거하여 모든 선행 프레임들에 대해 누적 비트 레이트를 제공한다. 이와 같이 얻어진 누적 비트 레이트는 상기 비교기의 제 2 입력에 유효한 누적 예측 비트 레이트와 비교기(65)에서 비교되고 회로(66)에서의 적분 이후에 사용되어 그에 따라 Q를 변경한다.
상기에서 나타낸 바와 같이 VBR 코딩 전략은 이전의 VBR 코더들과 관련하여 개선하는 것이므로, 디코드된 시퀀스의 지각 화질의 보다 양호한 균질화를 달성한다. 고전적인 VBR 코더들은 프레임을 코딩하는 동안 양자화 파라미터 Q를 조정하므로 예측 비트 레이트는 매 화상마다 매칭된다. 그러므로 상기 고전적인 VBR 코더들은 양자화 파라미터 Q가 프레임 내부에서 변경할 수 있도록 하며, 화상의 일정한 공간적 화질이 달성될 수가 없다. 화질의 이러한 변화는 프레임의 비트 레이트가 정확하게 예측되는지의 여부에 따라 발생한다. 상기 제안된 VBR 코더의 경우에는, Q가 프레임에 대해 일정하게 유지되고 영상 시퀀스에서의 모든 화상의 공간적 화질이 변하지 않게 된다. 프레임 비트 레이트 및 양자화 스텝폭이 정확하게 추정되어지는 경우에, 적합한 양자화 이전의 Q 및 그에 따른 주관적 왜곡은 시퀀스의 모든 매크로블록들에 대해 정확히 일정하게 유지된다. 양자화 스텝폭 및 프레임 비트 레이트만이 추정되므로, Q의 변화, 및 이에 따른 시퀀스의 화질의 변화가 프레임마다 발생하지만, 두 분석 패스 이후에, 프레임에 대해 평균화된 Q의 편차는 일반적으로 1%이하이다.
일정한 인트라 프레임 화질의 달성과는 별개로, 새로운 VBR 방법의 여러 다른 중요한 관점들은 다음과 같다;
- 분석 패스의 수를 증가시킴으로써 반복적으로 양자화 인자의 예측을 개선할 수 있다. 즉, 분석이 실행된 후에, 원하는 목표 비트 레이트에서의 일탈 정도가 매우 높은 경우, 양자화 인자에 대한 보다 양호한 추정이 이전 코딩 패스로부터의 결과를 이용하여 계산될 수 있다;
- 새로운 VBR 코딩 방법은 Q를 예측하기 때문에, 예측된 패스보다는 또다른 프레임 순서로 실행되는 분석 패스들이 이용될 수 있다. 즉, 이것은 종래의 방법을 이용해서는 불가능하며, 새로운 코딩 개념의 주요 이점이 된다;
- 최종 패스에서, Q 및 이에 따른 화질의 변화는 수용할 수 없을 정도로 높다는 것이 판명되는 경우에, 최종 단계는 후속 패스에 대한 비트 레이트의 예측 및 Q의 예측에 대한 분석 패스로서 이용될 수 있다. 즉, 이런 특징을 이용하면, 출력 비트스트림의 특성들이 조작자에 의해 규정된 소정의 제한내에 있게될 때까지 필요한 만큼 많은 코딩 패스들을 실행하는 코더를 개발할 수 있다;
- 제어 루프가 대화형 성격을 갖기 때문에, 단기간의 비트 레이트 예측 에러들은 서로 삭제한다. 그러므로, 예측 에러에 의존하는 시스템형, 프레임형은 제안한 VBR 코더의 성능에 중요하게 영향을 미치지 않는다.

Claims (3)

  1. 가변 비트 레이트 영상 코딩 방법에 있어서;
    (a) 일정한 양자화 스텝사이즈에 따라 화상 시퀀스를 코딩하고, 시퀀스의 평균 비트 레이트가 특정 크기의 제약 조건을 반드시 충족하지는 않는 비트스트림을 발생시키는 분석 단계;
    (b) 소정의 목표 비트 레이트에 따라 비트스트림을 코드화하는데 이용되어야 하는 양자화 스텝사이즈를 예측하는 예측 단계;
    (c) 상기 스텝사이즈를 보다 정밀하게 추정하기 위하여 상기 분석 단계 및 상기 예측 단계를 적어도 1회 반복하는 단계;
    (d) 상기 목표 비트 레이트를 매치시키기 위한 스텝사이즈의 조정을 고려하여, 모든 이전 프레임들에 대한 누적 비트 레이트와 예측된 누적 비트 레이트와의 비교에 의존하는 최종 제어 단계를 포함하는 것을 특징으로 하는 가변 비트 레이트 영상 코딩 방법.
  2. 가변 비트 레이트 영상 코더에 있어서;
    (a) 적어도 직렬의 양자화 회로 및 가변 길이 회로를 포함하는 코딩 브랜치(branch);
    (b) 상기 양자화 장치의 출력에서 직렬로 적어도 역양자화 장치 및 예측 서브시스템을 포함하고 상기 코딩 브랜치에 의해 코드화되는 신호를 감산함으로써 규정되는 예측 브랜치;
    (c) 일정한 양자화 스텝사이즈에 따른 영상 시퀀스의 코딩 동작과, 특정 목표 비트 레이트로 비트스트림을 코드화할 수 있는 양자화 스텝사이즈의 추정을 위한 예측 동작과, 상기 동작들의 적어도 1회의 반복 동작과, 상기 목표 비트 레이트로의 코딩 동작 동안 사용된 총 비트 수를 매치시키기 위한 최종 제어 동작을 실행시키도록 제공된 제어 회로를 포함하는 것을 특징으로 하는 가변 비트 레이트 영상 코더.
  3. 제 2 항에 있어서, 상기 제어 동작은 모든 이전 프레임들의 누적 비트 레이트 및 누적 예측 비트 레이트 간의 비교 결과에 따라 상기 스텝사이즈를 변경하는 제어 루프에 의해서 실행되는 것을 특징으로 하는 가변 비트 레이트 영상 코더.
KR1019997002709A 1997-07-29 1998-06-25 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더 KR100667607B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP97401823 1997-07-29
EP97401823.6 1997-07-29
EP98400503 1998-03-03
EP98400503.3 1998-03-03

Publications (2)

Publication Number Publication Date
KR20000068666A true KR20000068666A (ko) 2000-11-25
KR100667607B1 KR100667607B1 (ko) 2007-01-15

Family

ID=26147871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997002709A KR100667607B1 (ko) 1997-07-29 1998-06-25 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더

Country Status (7)

Country Link
US (2) US6411738B2 (ko)
EP (1) EP0940042B1 (ko)
JP (1) JP4361613B2 (ko)
KR (1) KR100667607B1 (ko)
CN (1) CN1192632C (ko)
DE (1) DE69830979T2 (ko)
WO (1) WO1999007158A2 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1082855A1 (en) * 1999-03-26 2001-03-14 Koninklijke Philips Electronics N.V. Video coding method and corresponding video coder
GB2349025B (en) * 1999-04-16 2003-03-12 Snell & Wilcox Ltd Compression encoding of video
US7082221B1 (en) * 2000-09-29 2006-07-25 Intel Corporation Bandwidth determination for multiple layer digital video
CN1292597C (zh) * 2001-03-29 2006-12-27 皇家菲利浦电子有限公司 视频编码方法及相应的编码装置
FR2830143B1 (fr) * 2001-09-21 2004-02-27 St Microelectronics Sa Procede et dispositif de compression d'un signal d'image
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
KR101150576B1 (ko) 2002-07-29 2012-06-08 콸콤 인코포레이티드 디지털 이미지 인코딩
KR20040047010A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
KR20040046896A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 패킷 단위 비트율 조절방법
KR100929680B1 (ko) * 2003-10-31 2009-12-03 삼성전자주식회사 액정 표시 장치 및 영상 신호 보정 방법
DE10356020A1 (de) * 2003-12-01 2005-06-23 Scanbull Software Gmbh Verfahren und Vorrichtung zur Darstellung und/oder Übertragung drei-dimensionaler Objekte, insbesondere von virtuellen Shops und Malls, speziell auf mobile Endgeräte eines Kommunikationsnetzes
CN102833539B (zh) * 2004-06-27 2015-03-25 苹果公司 多通路视频编码
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
JP4335779B2 (ja) 2004-10-28 2009-09-30 富士通マイクロエレクトロニクス株式会社 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
WO2006060037A1 (en) * 2004-12-02 2006-06-08 Thomson Licensing Quantizer parameter determination for video encoder rate control
US8208536B2 (en) 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US9294728B2 (en) 2006-01-10 2016-03-22 Imagine Communications Corp. System and method for routing content
US8107537B2 (en) * 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US8325807B2 (en) 2006-04-03 2012-12-04 British Telecommunications Public Limited Company Video coding
US8180920B2 (en) 2006-10-13 2012-05-15 Rgb Networks, Inc. System and method for processing content
CN101192410B (zh) * 2006-12-01 2010-05-19 华为技术有限公司 一种在编解码中调整量化质量的方法和装置
BRPI0622134A2 (pt) * 2006-12-11 2011-12-27 Thomson Licensing mÉtodo de codificaÇço de imagem com implementaÇço de dispositivo para referido mÉtodo
CN101578869B (zh) * 2006-12-28 2012-11-14 汤姆逊许可证公司 用于自动视觉伪影分析和伪影减轻的方法和装置
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
BRPI0904320A2 (pt) 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem
US8270745B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing device and image processing method
BRPI0904325A2 (pt) 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem.
JP5472105B2 (ja) 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
US9473812B2 (en) 2008-09-10 2016-10-18 Imagine Communications Corp. System and method for delivering content
WO2010045289A1 (en) * 2008-10-14 2010-04-22 Ripcode, Inc. System and method for progressive delivery of transcoded media content
WO2010085470A1 (en) 2009-01-20 2010-07-29 Ripcode, Inc. System and method for splicing media files
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
ES2394779T3 (es) * 2010-07-30 2013-02-05 Deutsche Telekom Ag Procedimiento para estimar el tipo de la estructura del grupo de imágenes de una pluralidad de fotogramas de vídeo en una secuencia de vídeo
US9832540B2 (en) * 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
US10356405B2 (en) * 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
EP3396961A1 (en) * 2017-04-24 2018-10-31 Axis AB Method and rate controller for controlling output bitrate of a video encoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5265180A (en) * 1991-06-13 1993-11-23 Intel Corporation Method of encoding a sequence of images of a digital motion video signal
KR0176448B1 (ko) * 1991-07-19 1999-05-01 강진구 이미지 코딩 방법 및 장치
US5241383A (en) * 1992-05-13 1993-08-31 Bell Communications Research, Inc. Pseudo-constant bit rate video coding with quantization parameter adjustment
US5291281A (en) * 1992-06-18 1994-03-01 General Instrument Corporation Adaptive coding level control for video compression systems
JP3048033B2 (ja) * 1994-09-07 2000-06-05 富士ゼロックス株式会社 画像情報符号化処理装置及び画像情報通信装置
JPH08181987A (ja) * 1994-12-22 1996-07-12 Canon Inc 符号化装置
US5675384A (en) * 1995-10-03 1997-10-07 Nec Usa, Inc. VBR MPEG video encoding for ATM networks with dynamic bandwidth renegotiation
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US6366614B1 (en) * 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression

Also Published As

Publication number Publication date
WO1999007158A3 (en) 1999-04-22
JP2001501429A (ja) 2001-01-30
WO1999007158A2 (en) 1999-02-11
US6411738B2 (en) 2002-06-25
CN1192632C (zh) 2005-03-09
US20010021220A1 (en) 2001-09-13
EP0940042A1 (en) 1999-09-08
DE69830979D1 (de) 2005-09-01
US20020071608A1 (en) 2002-06-13
CN1241336A (zh) 2000-01-12
JP4361613B2 (ja) 2009-11-11
DE69830979T2 (de) 2006-05-24
US6591016B2 (en) 2003-07-08
EP0940042B1 (en) 2005-07-27
KR100667607B1 (ko) 2007-01-15

Similar Documents

Publication Publication Date Title
KR100667607B1 (ko) 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더
KR100626994B1 (ko) 가변 비트 레이트 비디오 코딩 방법 및 대응 비디오 코더
EP0710030B1 (en) Image coded data re-encoding apparatus
US6192081B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
US6037987A (en) Apparatus and method for selecting a rate and distortion based coding mode for a coding system
US5461421A (en) Encoding and decoding method and apparatus thereof
JP3890606B2 (ja) 画像信号符号化装置及び画像信号符号化方法
US8279923B2 (en) Video coding method and video coding apparatus
US7460597B2 (en) Encoding apparatus and method
US8270744B2 (en) Image processing apparatus and image processing method
US5986710A (en) Image encoding method and apparatus for controlling the number of bits generated using quantization activities
US20090097546A1 (en) System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
JP4081727B2 (ja) 画像符号化装置および画像符号化方法、並びに記録装置および記録方法
US6577680B2 (en) Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
EP0857393B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
JPH05227520A (ja) 画像圧縮符号化装置
JP2005151344A (ja) データ処理装置およびその方法と符号化装置
JP4265638B2 (ja) 量子化装置及び量子化方法
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体
JPH10224786A (ja) 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体
JP2005311559A (ja) データ処理装置およびその方法と符号化装置
JPH0837661A (ja) 画像符号化制御方式
JPH07264593A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120105

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee