KR20050095648A - 비디오 데이터 스트림을 인코딩하는 장치 - Google Patents

비디오 데이터 스트림을 인코딩하는 장치 Download PDF

Info

Publication number
KR20050095648A
KR20050095648A KR1020057014651A KR20057014651A KR20050095648A KR 20050095648 A KR20050095648 A KR 20050095648A KR 1020057014651 A KR1020057014651 A KR 1020057014651A KR 20057014651 A KR20057014651 A KR 20057014651A KR 20050095648 A KR20050095648 A KR 20050095648A
Authority
KR
South Korea
Prior art keywords
encoding
pass
image
type
cost
Prior art date
Application number
KR1020057014651A
Other languages
English (en)
Other versions
KR101048599B1 (ko
Inventor
사비에르 듀클럭스
알라인 소린
티에리 로랜드
Original Assignee
넥스트림 프랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스트림 프랑스 filed Critical 넥스트림 프랑스
Publication of KR20050095648A publication Critical patent/KR20050095648A/ko
Application granted granted Critical
Publication of KR101048599B1 publication Critical patent/KR101048599B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 비디오 데이터 스트림의 더블 패스 인코딩 장치에 관한 것으로서, 제1 인코딩 패스를 수행하는 제1 타입 인코딩 수단(5, 6)과, 제2 인코딩 패스를 수행하는 제2 타입 인코딩 수단(2, 4)을 포함한다. 본 발명에 따르면, 제2 타입 인코딩 수단(2, 4)은 제1 타입 인코딩 수단(5, 6)과 상이하며, 제2 타입 인코딩 수단(2, 4)은 제1 인코딩 패스로부터 발생하는 인코딩 정보를 이용한다.

Description

비디오 데이터 스트림을 인코딩하는 장치{DEVICE FOR ENCODING A VIDEO DATA STREAM}
본 발명은 비디오 데이터 스트림의 더블 패스 인코딩 장치 및 방법에 관한 것이다.
압축의 새로운 표준은 인코딩의 질을 상당히 개선하는 한편 인코딩 비용 및 복잡성을 증가시킨다. 멀티미디어 애플리케이션의 개발 및 데이터 네트워크의 다양성으로 인해 데이터 인코딩 시스템이 점점 복잡해지고 있다.
소스 이미지의 컨텍스트에서, 수많은 더블 패스 인코딩 기술이 개발되어 왔으며, 제1 인코딩 패스는 인코딩할 이미지의 복잡성의 정밀한 지식을 제공하며, 제2 패스는 이러한 복잡성에 기초하여 이미지를 인코딩한다.
이러한 더블 패스 인코딩 기술은, 매우 강력하지만 ITU-T 표준 권고 H.264｜ISO/IEC 14496-10 AVC에서 규정된 (H.264라고도 칭하는) H26L 표준에 부합하는 인코더의 경우에 특히 많은 비용이 든다.
본 발명은 비디오 데이터 스트림의 더블 패스 인코딩을 위한 장치를 제안하며, 이 장치는,
제1 인코딩 패스를 수행하는 제1 타입의 인코딩 수단과,
제2 인코딩 패스를 수행하는 제2 타입의 인코딩 수단을 포함한다.
본 발명에 따라, 제2 타입의 인코딩 수단은 제1 타입의 인코딩 수단과 상이하고, 제2 타입의 인코딩 수단은 제1 인코딩 패스로부터 발생하는 인코딩 정보를 이용한다.
따라서, 동일한 타입 또는 단일 패스 코더로 인코딩을 수행하는 2개의 인코딩 패스를 이용하는 대신, 2개의 인코딩 패스가 상이한 타입의 인코딩을 적용하는 더블 패스 코더를 이용한다. 상이한 타입의 2개 인코딩 패스를 이용하는 가능성은, 필요시에, 단일 패스 인코딩과 비교할 때 더블 패스 인코더에 의해 제공되는 인코딩 품질을 유지하고 복잡성 예측 품질을 개선하면서 비용 절감을 구현할 수 있다.
바람직한 실시예에 따르면,
제1 타입 인코딩 수단은,
인코딩할 비디오 스트림의 각 이미지에 대하여 제1 패스의 인코딩 비용을 측정하는 수단과, 기준 주기를 규정하는 여러 이미지의 제1 인코딩 패스의 인코딩 비용을 기억하는 수단을 포함하고,
제2 타입 인코딩 수단은,
인코딩할 비디오 스트림의 각 이미지에 대하여 제2 패스의 인코딩 비용을 측정하는 수단과, 기준 주기를 규정하는 여러 이미지의 제2 인코딩 패스의 인코딩 비용을 기억하는 수단을 포함한다.
제1 인코딩 패스는, 기준 주기의 정밀한 지식 및 이미지를 인코딩하는 복잡성의 정밀한 지식을 제공한다. 기준 주기를 이용함으로써 제2 인코딩 패스의 안정성을 보장하게 된다.
바람직한 실시예에 따라, 장치는 제2 패스 인코딩 수단으로부터 발생하는 데이터 스트림의 비트율을 규제하는 수단을 포함한다.
바람직한 실시예에 따라, 비트율을 규제하는 수단은,
기준 주기에서 인코딩할 이미지의 상대 가중을 계산하는 예측 수단과,
제2 타입 인코딩 수단으로부터 수신되는 타겟 비트율과 기준 주기에서 인코딩할 이미지의 상대 가중에 기초하여 제2 타입 인코딩 수단에 의해 인코딩할 이미지의 타겟 비용을 계산하는 규제 수단과,
이미지의 타겟 비용에 기초하여 제2 타입 인코딩 수단에 의해 인코딩할 각 이미지에 적용하는 양자화 단계를 계산하는 제2 타입 인코딩을 양자화하는 수단을 포함한다.
바람직한 실시예에 따르면,
제1 패스 및 제2 패스의 인코딩 비용은 인코딩할 각 이미지에 대하여 그리고 각 기준 주기에 대하여 적어도 저감가능 비용, 및 저감불가 비용을 포함하고,
제1 패스 및 제2 패스의 인코딩 수단은 인코딩할 각 이미지에 대하여 인코딩 복잡성을 양자화 단계와 저감가능 비용의 곱으로서 계산한다.
바람직한 실시예에 따르면, 예측 수단은, 저감불가 비용 비로서 알려진, 인코딩할 각 이미지에 대하여 제2 패스의 저감불가 인코딩 비용에 대한 제1 패스의 저감불가 인코딩 비용의 비를 계산하는 수단과,
복잡성 비로서 알려져 있는, 인코딩할 각 이미지에 대하여 제2 패스 인코딩의 복잡성에 대한 제1 패스 인코딩의 복잡성의 비를 계산하는 수단과,
인코딩된 최종 이미지의 복잡성 비를 기초로 평균화된 복잡성 비를 갱신하는 수단과,
인코딩된 최종 이미지의 저감불가 비용에 기초하여 평균화된 저감불가 비용 비를 갱신하는 수단과,
평균화된 복잡성 비 및 현재 이미지의 제2 타입 인코딩의 복잡성을 기초로 하여 제2 타입 인코딩 수단에 의해 인코딩할 현재 이미지의 복잡성을 추정하는 수단과,
평균화된 저감불가 비용과 현재 이미지의 제1 타입 인코딩의 저감불가 비용의 비를 기초로 하여 제2 타입 인코딩 수단에 의해 인코딩할 현재 이미지의 저감불가 비용을 추정하는 수단과,
현재 이미지가 속하는 기준 주기의 저감불가 비용을 계산하는 수단과,
현재 이미지가 속하는 기준 주기의 복잡성을 계산하는 수단과,
현재 이미지의 상대 가중을 현재 이미지의 복잡성과 현재 이미지가 속하는 기준 주기의 전체 복잡성 간의 비로서 계산하는 수단
을 포함한다.
바람직한 실시예에 따르면, 제1 패스 인코딩 수단으로부터 발생하는 데이터 스트림의 평균 비트율은, 제2 패스 인코딩 수단으로부터 수신되는 타겟 비트율보다 30퍼센트 내지 50퍼센트 높다.
바람직한 실시예에 따르면, 인코딩 장치는 제2 패스 인코딩 수단으로부터 수신된 타겟 비트율을 기초로 하여 양자화 단계를 계산하는 제1 패스 인코딩의 양자화 수단을 포함한다.
바람직한 실시예에 따르면, 제1 패스 인코딩 수단은 MPEG-2 표준에 따라 이미지를 인코딩하고 제2 패스 인코딩 수단은 H.264 표준에 따라 이미지를 인코딩한다.
H.264 인코딩 다이어그램 상에서의 이미지 마다의 구문 비용 및 저감가능 비용 연구에 의하면, MPEG-2에서처럼, 하나의 인트라(I) 또는 예측성(P) 이미지로부터 다른 이미지로의 저감가능 비용은 극히 불안정적일 수 있으며, 하나의 P 또는 양방향성(B) 이미지로부터 다른 이미지로의 구문 비용은 종종 극히 불안정하다.
결국, 동일한 타입의 최대 빈번 인코딩 이미지에 기초한 복잡성 예측은 신뢰성있다고 판단될 수 없다.
반면에, H.264 및 MPEG-2에서 이미지마다 저감가능 비용과 구문 비용과의 비의 연구에 따르면, 이들 비는 이미지 타입 각각에 대하여 상당한 안정성을 나타낸다. 따라서, 제1 MPEG-2 인코딩 패스를 H.264 인코딩에 추가하여 복잡성 예측 품질을 개선하는 사상은 매우 바람직하다.
이용되는 원리는 2개의 이미지 복잡성 측정 유닛을 링크하는 것이며, 하나는 제1 MPEG-2 인코딩 패스에 대한 것이고 나머지 하나는 제2 H.264 인코딩 패스에 대한 것이다. 2개 인코딩 패스 간의 측정 심도는 최적의 상대 예측이 가능하도록 GOP이어야 한다.
제1 MPEG-2 타입 인코딩 패스와 제2 H.264 타입 인코딩 패스의 조합은, H.264 표준에 부합하는 더블 패스 인코더의 구현 비용을 저감하는 한편 이러한 코더의 성능에 보다 근접한다.
본 발명은 비디오 데이터 스트림의 더블 패스 인코딩 방법에도 관련되며,
제1 인코딩 패스를 수행하는 제1 타입에 따른 인코딩 단계와,
제2 인코딩 패스를 수행하는 제2 타입에 따른 인코딩 단계를 포함하며,
본 발명에 따르면,
제2 타입 인코딩은 제1 타입 인코딩과 상이하며,
제2 타입 인코딩은 제1 인코딩 패스로부터 발생하는 인코딩 정보를 이용한다.
또한, 본 발명은 컴퓨터 프로그램 제품에 관한 것으로서, 프로그램을 컴퓨터 상에서 수행할 때 본 발명에 따른 방법의 단계 수행을 위한 프로그램 코드 명령을 포함하는 것을 특징으로 한다. "컴퓨터 프로그램 제품"은, 디스켓이나 카세트와 같이 프로그램을 포함하는 저장 공간 뿐만 아니라 전기 신호나 광 신호와 같은 신호도 포함할 수 있는 컴퓨터 프로그램 매체를 의미한다.
본 발명은 첨부 도면을 참조하여 제한되지 않는 예시적인 실시예 및 이점을 갖는 구현예에 의해 보다 잘 이해될 수 있다.
도 1은 본 발명의 일실시예에 따른 인코딩 장치를 나타내는 도면.
도 2는 본 발명의 일실시예에 따른 비트율 규제 모듈을 나타내는 도면.
도 3은 도 1에서 사용되는 바와 같은 MPEG-2 인코딩 장치를 나타내는 도면.
도 4는 도 1에서 사용되는 바와 같은 H.264 인코딩 장치를 나타내는 도면.
인코딩 장치는 제1 패스 인코딩 수단(5)을 포함한다. 바람직한 실시예에 따르면, 이들 인코딩 수단은 MPEG-2 표준에 따른 인코딩을 수행한다.
이들 인코딩 수단(5)은 MPEG-2 측정 수단(6)에 링크된다.
인코딩 장치는 제2 패스 인코딩 수단(2)으로부터 입력되는 비디오 데이터 스트림에서 지연을 발생하는 수단(1)을 또한 포함한다.
후술하는 바람직한 실시예에 따르면, 제2 패스 인코딩 수단(2)은 H.264 표준에 따른 인코딩을 수행한다.
제2 패스 인코딩 수단(2)의 출력은 제2 패스 인코딩 정보 측정 수단(4)의 입력에 링크된다.
H.264 측정 수단(4)의 출력은 비트율 규제 유닛(3)의 입력에 링크된다.
또한, 비트율 규제 유닛(3)은 MPEG-2 측정 수단(6)으로부터 발생하는 측정 신호 뿐만 아니라 입력에서 출력 타겟 비트율 신호를 수신한다. 또한, 수단(6)으로부터 발생하는 측정 신호는 양자화 수단(7)의 입력에 전송된다. 또한, 이 양자화 수단(7)은 입력에서 출력 타겟 비트율 신호를 수신한다. 이 양자화 수단(7)은, 제1 패스 인코딩 수단(5)의 출력에서 비트율의 의사 규제를 수행하고, QMPEG -2 양자화 단계를 제1 패스 인코딩 수단(5)으로 전송한다.
인코딩 수단(5)은 오픈 루프로 인코딩을 수행하며, 이 인코딩 수단에 의해 발생되는 스트림은 이미지당 어떠한 정밀 타겟 비트율과도 부합하지 않는다.
바람직한 실시예에 따르면, 제1 패스 인코딩 수단(5)에 의해 이용되는 양자화 단계는, 제2 패스 인코딩 수단(2)용으로 고정된 타겟 비트율에 기초하여 정정된다.
이점이라면, 제1 패스 인코딩 수단(5)의 출력에서 평균 비트율이, 코더의 최적의 동작을 얻기 위해 H.264 인코딩 수단(4)용으로 고정된 타겟 비트율보다 30% 내지 50% 높다라는 것이다.
비트율 규제 유닛(3)은 도 2에 도시되어 있다. 이것은 다음과 같이 구성될 수 있다. 즉,
- 인코딩 복잡성 및 비용 예측 유닛(10)과,
- 가상 디코더 버퍼의 상태를 고려하는 이미지 레벨 규제 유닛(9)과,
- 양자화 유닛(8)
으로 구성될 수 있다.
비디오 데이터 스트림은 제1 인코딩 패스를 수행하는 인코딩 수단(5)의 입력에서 수신된다.
MPEG-2 또는 MPEG-4 ASP 인코딩의 경우, 저감가능 비용은 주로 이산 코사인 변환(DCT)의 계수로 인한 것이다. H.264 인코딩의 경우, 저감가능 비용은 DCT 변환에 근사하는 완전한 변환으로 인한 것이다.
MPEG-2 표준에 부합하는 인코딩 수단에 의해 제1 인코딩 패스가 수행되는 바람직한 본 실시예에서, 이미지는, 인트라(I), 양방향성(B), 예측성(P)인 3개 모드로 인코딩될 수 있다.
MPEG-2 타입 인코딩의 경우, 양자화 세분성(granularity)은 때때로 이미지 타입 세분성보다 미세하며, 매크로블록 레벨에 있을 수 있다.
인코딩 수단(5)은 MPEG-2 표준에 부합하는 인코딩을 수행한다. 이것은 이미지의 각 매크로블록에 대하여 수단(5)에 아래와 같은 파라미터를 공급한다. 즉,
- 저감가능 비용인, EncCostMPEG2
- 저감불가 비용이며 구문 비용이라고도 칭하는 OverheadMPEG2
비디오 스트림의 이미지의 각 매크로블록에 대하여, 수단(6)은, 저감가능 비용과 양자화 단계의 곱으로 표현되는 복잡성(XMPEG2)을 계산한다.
이후, 각 이미지의 복잡성 및 저감가능 비용을 계산하기 위해, 이 수단은 저감가능 비용 및 각 매크로블록의 복잡성을 각각 합산한다.
시간에 대한 이미지의 인코딩의 품질을 보장하기 위해, 인코딩은 기준 주기에 걸쳐 시간에 대하여 규제된다.
MPEG-2 또는 H.264 타입 인코딩에서, GOP(Group Of Pictures)는 적절한 기준 주기를 구성한다.
이에 따라 수단(6)은 기준 주기에 걸쳐 합산에 의해 아래와 같은 항목의 계산을 행한다. 즉,
- IGOPOverheadMPEG2, BGOPOverheadMPEG2, PGOPOverheadMPEG2, 으로 각각 표시되는, I, B, P 이미지에 대하여 기준 주기에 걸쳐 이미지의 전체 세트의 저감불가 비용과 이미지 타입과의 곱
- IGOPXMPEG2, BGOPXMPEG2, PGOPXMPEG2, 으로 표시되는, 기준 주기동안 이미지의 전체 세트의 복잡성과 이미지 타입과의 곱
- 기준 주기동안 이미지의 전체 세트의, 저감가능 비용과 저감불가 비용을 포함하는 전체 비용과 이미지 타입과의 곱
제2 패스 인코딩 수단(2)은 H.264 표준에 부합하는 인코딩을 수행한다. 이것은 이미지의 각 매크로블록에 대하여 측정 수단(4)에 다음과 같은 파라미터를 공급한다. 즉,
- EncCostH264로 표시되는 저감가능 비용
- 양자화 단계
측정 수단(4)은, 저감가능 비용과 양자화 단계와의 곱을 계산함으로써 XH264 매크로블록 복잡성을 계산한다.
각 매크로블록에 대하여, 측정 수단(4)은 복잡성의 전체 합 및 저감가능 비용의 전체 합을 계산한다. 이에 의해, 측정 수단은, OverheadH264로 표시되는 저감불가 비용을 추론하게 된다.
도 2는 비트율 규제 유닛(3)을 나타낸다.
비트율 규제 유닛(3)은,
- 인코딩할 현재 이미지의 복잡성 및 사대 비용을 예측하는 유닛(10)과,
- 이미지 레벨 규제 유닛(9)과,
- 양자화 유닛(8)을 포함한다.
인코딩할 현재 이미지의 복잡성 및 상대 비용을 예측하는 유닛(10)은, 이미지 레벨 규제 유닛(9)에 인코딩할 이미지의 상대 가중을 공급하기 위해 현재 이미지 및 전에 정의된 기준 주기에 대하여 복잡성의 추정값 및 저감불가 비용의 추정값을 동시에 계산한다.
예측 유닛(10)에 의해 수행되는 동작의 시퀀스는 다음과 같다.
- 최종 인코딩된 이미지를 위하여 제2 패스 인코딩 수단(2)에 의해 수행되는 인코딩의 저감불가 비용과 제1 패스 인코딩 수단(5)에 의해 수행되는 저감불가 비용간의 비의 계산
- 최종 인코딩된 이미지를 위하여 제2 패스 인코딩 수단(2)에 의해 수행되는 인코딩의 복잡성과 제1 패스 인코딩 수단(5)에 의해 수행되는 인코딩의 복잡성 간의 비의 계산
모듈(10)은, 가장 최근에 저장된 비에 기초하여, 평균화된 복잡성 비(SmoothedRatioX), 평균화된 저감불가 비용 비(SmoothedRatioOverhead)를 갱신한다. 사용되는 RatioX 및 RatioOverhead 비는 기준 주기로부터 상이한 주기에 걸쳐 평가된다. 이들 비는 상이한 인코딩 모드용으로 계산되며, 하나의 비가 각 인코딩 타입용으로 계산된다.
인트라(I) 타입 이미지용으로:
양방향성(B) 또는 예측성(P) 타입 이미지용으로:
SmoothedRatioOverhead 및 SmoothedRatioX는 RatioOverhead 및 RatioX 값으로 각각 초기화된다.
이후, 모듈(10)은 측정 유닛(6)의 측정에 기초하여 인코딩할 현재 이미지의 복잡성 및 저감불가 비용을 계산한다.
- 인코딩할 현재 이미지의 저감불가 비용
- 인코딩할 현재 이미지의 복잡성
- 또한, 모듈(10)은 현재 기준 주기에 대한 저감불가 비용 및 인코딩 복잡성을 계산한다.
- 저감불가 비용:
- 복잡성:
여기서, ZI, ZP, 및 ZB는 가중 상수이다.
이들 상수는, 일정한 인코딩 품질의 효과를 갖기 위해 I, B, P 이미지가 상이하게 양자화되어야 하며 여기서 B 이미지가 보다 더 양자화된다는 사실을 전달한다.
이미지 레벨에서의 규제 유닛(9)은, 해당 기준 주기에서 인코딩할 이미지의 상대 가중, 및 모니터링 유닛(도시하지 않음)에 의해 공급되는 출력 타겟 비트율에 기초하여, 이미지 타겟 비용을 계산한다.
여기서,
여기서,
- TargetCost: 이미지 타겟 비용
- GlobalTargetCost: 기준 주기의 글로벌 비용
- MeanBppH .264: 타겟 비트율에 따른 이미지당 평균 비용
- Nbimages: 기준 주기에서의 이미지 수
규제 유닛은, 필요시, 자신이 관리하는 가상 디코더 버퍼의 상태에 기초하여 선행 이미지 타겟 비용을 정정한다.
양자화 유닛(8)은, 이미지 레벨 규제 유닛에 의해 공급되는 이미지 타겟 비용에 기초하여 제2 패스 인코딩동안 이미지에서 적용할 양자화를 계산한다. 양자화의 세분성은, 구현기(implementer)의 옵션 사항으로서, 이미지 레벨 또는 매크로블록의 행 또는 개별적인 매크로블록 레벨일 수 있다.
도 3 및 4는 본 발명에 따른 코더의 변형을 구현한다. 도 3 및 4에서, MPEG-2 코더는 H.264 코더에 도 1과 2에 도시한 바와 같은 양자화 정보 뿐만 아니라 GOP, 이미지 타입, 장면 변경, 및 벡터 필드 구조 정보를 공급한다. 이것은, 기분석 없이 그리고 필요하다면 모션 추정 없이 간략화된 H.264 인코딩 장치를 사용 가능하게 한다.
코더(5)는 이미지 기분석 모듈(16)을 포함한다. 모듈(16)은 출력에서 GOP 재구성 모듈(17)의 입력에 접속된다. 이 모듈(17)의 출력은, 출력이 인코딩 루프(19)의 입력에 접속되어 있는 결정 모듈(18)의 입력에 접속된다. 인코딩 루프의 출력은 엔트로피 인코딩 모듈(20)의 입력에 접속된다.
모듈(17)의 출력은 모션 추정 모듈(21)의 입력에도 접속된다.
모듈(16, 17, 18, 19, 20, 21)은, MPEG-2 타입 코더에 주로 알려져 있는 소자들의 일부이다.
도 3의 실시예에서, MPEG-2 타입 코더는, 도 1에 도시한 바와 같은 양자화 파라미터에 더하여, 다음과 같은 파라미터(도 1에 도시하지 않음)를 공급한다.
- GOP의 구조
- 이미지 타입(프로그레시브, 인터레이스)
- 장면 변경
- MPEG-2 타입 벡터 필드
도 4는 본 발명에 따른 장치에서 사용되는 싱글 패스 H.264 코더(2)의 일실시예를 나타낸다.
코더(2)는, 모듈(1)에서 지연된 인코딩할 비디오 이미지를 입력에서 수신하는 이미지 재구성 모듈(11)을 포함한다.
모듈(11)의 출력은, 모션 추정 모듈(15)의 입력 뿐만 아니라 결정 모듈(12)의 입력에도 링크된다. 또한, 모듈(15)은 도 3에 도시한 코더(2)로부터 발생하는 신호, 즉, 16*8 또는 16*16 블록용 MPEG-2 타입 벡터 필드를 입력에서 수신한다. 모션 추정 모듈(15)은 벡터 필드의 정밀도를 수정하여 제2 패스 코더의 표준의 벡터 정밀도(해프(half) 픽셀 또는 쿼터(quarter) 픽셀), 즉, 바람직한 실시예에서 H.264와 부합되게 한다. 모션 벡터는 MPEG-2에서 해프 픽셀 정밀도를 갖고 H.264에서 쿼터 픽셀 정밀도를 갖는다.
또한, 모션 추정 모듈(15)을 이용하여 누락되어 있을 수 있는 모션 벡터를 계산한다. 실제로, H.264 표준은 7개 블록 크기(16*16, 16*8, 8*16, 8*8, 4*8, 8*4, 4*4)를 인가하며, MPEG-2 표준은 단지 2개의 블록 크기(16*16, 16*8)를 인가한다. 또한, MPEG-2에서, 매크로블록은, 프레임 예측(매크로블록당 2개의 벡터이며, 16*8 픽셀의 서브 블록마다 하나의 벡터) 또는 이미지 예측(16*16 픽셀 블록과 관련된 하나의 벡터)이 사용되고 있는지 여부에 의존하여 하나 이상의 모션 벡터를 가질 수 있다.
따라서, 모션 추정 모듈(15)은 누락되어 있는 벡터를 재계산할 수 있다. 이것은 모션 추정 모듈에 주어진 복잡성에 또한 의존한다.
모듈(12)은 모션 추정 모듈(15)로부터의 정보를 입력에서 수신한다.
결정 모듈(12)의 출력은 인코딩 루프의 입력(13)에 링크된다. 이것은 표준에 의해 제공되는 상이한 가능성들에 따라 결정된 선택(인터/인트라 모드에서의 인코딩, 양자화 단계 등)을 인코딩 루프에 전송한다.
인코딩 루프의 출력은 엔트로피 인코딩 모듈(14)의 입력에 링크된다. 이것은, 나머지 (예를 들어, 양자화 단계의 적용 후 계수) 및 그 타입의 매크로블록 헤더에 삽입될 매크로블록 레벨 정보의 세트를 인코딩 루프에 전송한다. 엔트로피 인코딩 모듈(14)은 출력에서 신호(SH264)를 도 1에 도시한 측정 유닛(4)에 공급한다.
이미지 재구성 모듈(11)은 제1 패스 인코딩으로부터 발생하는 정보를 입력에서 수신한다. 즉, 그 정보는
- GOP의 구조
- 이미지 타입(인터레이스 또는 프로그레시브)
- 장면 변경이다.
결정 모듈(12) 및 인코딩 루프(13)도 QH264 신호를 입력에서 수신한다.
모듈(11, 12, 13, 14, 15)은 H.264 타입 코더에 주로 알려져 있는 소자들의 일부이다.
따라서, 코더(2)에 의해 수행되는 인코딩은 최적화되며 H.264 더블 패스 코더에 대한 그 비용은 상당히 저감된다.
MPEG-2 표준에 따른 제1 패스 인코딩 및 H.264 표준에 따른 제2 패스 인코딩의 내용으로 상기한 더블 패스 인코딩 장치는, 다른 타입의 인코딩에 자연스럽게 적용될 수 있으며 특히 하이브리드 타입 인코딩에 적용될 수 있으며, 이 인코딩은:
- 공간적 여분을 제거하도록 고정된 크기 또는 적응성 크기의 블록 상에서 변환에 의한 인코딩과,
- 시간 관련 여분을 제거하도록 모션 보상 예측
을 조합하며, 아래와 같은 동일한 타입의 이미지를 처리한다. 즉,
- 상기한 2개의 인코딩중 첫번째(공간적 인코딩)를 이용하는 인트라(I) 이미지
- 과거에 배타적으로 위치하는 기준 이미지에 대한 예측인, 2개의 공간적 및 시간 관련 인코딩을 이용하는 예측(P) 이미지
- 과거 및 미래에 위치하는 기준 이미지에 대한 예측인, 2개의 공간적 및 시간 관련 인코딩을 이용하는 양예측(bi-predicted)(B) 이미지

Claims (12)

  1. 비디오 데이터 스트림을 더블 패스 인코딩하는 장치로서,
    제1 인코딩 패스를 수행하는 제1 타입의 인코딩 수단(5, 6)과,
    제2 인코딩 패스를 수행하는 제2 타입의 인코딩 수단(2, 4)
    을 포함하고,
    상기 제2 타입의 인코딩 수단(2, 4)은, 상기 제1 타입의 인코딩 수단과 상이하고, 상기 제1 인코딩 패스로부터 발생하는 인코딩 정보를 이용하는 장치.
  2. 제1항에 있어서,
    제1 타입 인코딩 수단(5, 6)은,
    인코딩할 비디오 스트림의 각 이미지에 대하여 제1 패스의 인코딩 비용을 측정하는 수단(6)과,
    기준 주기를 규정하는 여러 이미지의 상기 제1 인코딩 패스의 인코딩 비용을 기억하는 수단(6)을 포함하고,
    제2 타입 인코딩 수단(2, 4)은,
    인코딩할 비디오 스트림의 각 이미지에 대하여 제2 패스의 인코딩 비용을 측정하는 수단(4)과,
    기준 주기를 규정하는 여러 이미지의 상기 제2 인코딩 패스의 인코딩 비용을 기억하는 수단(4)을 포함하는 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 장치는, 상기 제2 패스 인코딩 수단으로부터 발생하는 데이터 스트림의 비트율을 규제하는 수단(3)을 포함하는 장치.
  4. 제3항에 있어서,
    상기 비트율을 규제하는 수단(3)은,
    상기 기준 주기에서 인코딩할 이미지의 상대 가중을 계산하는 예측 수단(10)과,
    상기 제2 타입 인코딩 수단(2, 4)으로부터 수신되는 타겟 비트율과 상기 기준 주기에서 인코딩할 이미지의 상대 가중에 기초하여, 상기 제2 타입 인코딩 수단에 의해 인코딩할 이미지의 타겟 비용을 계산하는 규제 수단(9)과,
    상기 이미지의 타겟 비용에 기초하여, 상기 제2 타입 인코딩 수단(2, 4)에 의해 인코딩할 각 이미지에 적용하는 양자화 단계를 계산하는 제2 타입 인코딩 양자화 수단(8)을 포함하는 장치.
  5. 제1항 내지 제4항중 어느 한 항에 있어서,
    제1 패스 및 제2 패스의 인코딩 비용은, 적어도 인코딩할 각 이미지에 대하여 그리고 각 기준 주기에 대하여 저감가능 비용, 및 저감불가 비용을 포함하고,
    제1 패스 및 제2 패스의 인코딩 수단(2, 4, 5, 6)은, 인코딩할 각 이미지에 대하여 인코딩 복잡성을 양자화 단계와 저감가능 비용의 곱으로서 계산하는 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 예측 수단(10)은,
    저감불가 비용 비로서 알려져 있는, 인코딩할 각 이미지에 대하여 제2 패스의 저감불가 인코딩 비용에 대한 제1 패스의 저감불가 인코딩 비용의 비를 계산하는 수단과,
    복잡성 비로서 알려져 있는, 인코딩할 각 이미지에 대하여 제2 패스 인코딩의 복잡성에 대한 제1 패스 인코딩의 복잡성의 비를 계산하는 수단과,
    인코딩된 최종 이미지의 복잡성 비에 기초하여 평균화된 복잡성 비를 갱신하는 수단과,
    인코딩된 최종 이미지의 저감불가 비용에 기초하여 평균화된 저감불가 비용 비를 갱신하는 수단과,
    상기 이미지의 제2 타입 인코딩의 복잡성 및 복잡성 비를 기초로 하여 제2 타입 인코딩 수단에 의해 인코딩할 현재 이미지의 복잡성을 추정하는 수단과,
    상기 이미지의 제1 타입 인코딩의 저감불가 비용 및 평균화된 저감불가 비용의 비를 기초로 하여 제2 타입 인코딩 수단에 의해 인코딩할 현재 이미지의 저감불가 비용을 추정하는 수단과,
    현재 이미지가 속하는 기준 주기의 저감불가 비용을 계산하는 수단과,
    현재 이미지가 속하는 기준 주기의 복잡성을 계산하는 수단과,
    현재 이미지의 상대 가중을, 현재 이미지의 복잡성과 현재 이미지가 속하는 기준 주기의 전체 복잡성 간의 비로서 계산하는 수단
    을 포함하는 장치.
  7. 제1항 내지 제6항중 어느 한 항에 있어서,
    상기 장치는, 제2 패스 인코딩 수단(2, 4)으로부터 수신된 타겟 비트율에 기초하여 양자화 단계를 계산하는 제1 패스 인코딩의 양자화 수단(7)을 포함하는 장치.
  8. 제1항 내지 제7항중 어느 한 항에 있어서,
    상기 제1 타입 인코딩 수단(5)은, 상기 제1 타입 인코딩 수단에 모션 벡터를 공급하는 비디오 데이터의 모션을 추정하는 수단(21)을 포함하는 장치.
  9. 제1항 내지 제8항중 어느 한 항에 있어서,
    상기 제1 타입 인코딩 수단은, 기준 주기의 구조에 관한 정보, 비디오 데이터를 형성하는 이미지의 타입, 및 장면 변경 검출에 관한 정보를 상기 제2 타입 인코딩 수단에 공급하는 기분석 수단(16, 17)을 포함하는 장치.
  10. 제1항 내지 제9항중 어느 한 항에 있어서,
    상기 제1 패스 인코딩 수단(5, 6)은 MPEG-2 표준에 따라 이미지를 인코딩하고,
    상기 제2 패스 인코딩 수단(2, 4)은 H.264 표준에 따라 이미지를 인코딩하는 장치.
  11. 비디오 데이터 스트림을 더블 패스 인코딩하는 방법으로서,
    제1 인코딩 패스를 수행하는 제1 타입에 따른 인코딩 단계와,
    제2 인코딩 패스를 수행하는 제2 타입에 따른 인코딩 단계
    를 포함하고,
    제2 타입 인코딩은 제1 타입 인코딩과 상이하며, 상기 제2 타입 인코딩은 상기 제1 인코딩 패스로부터 발생하는 인코딩 정보를 이용하는 방법.
  12. 프로그램이 컴퓨터 상에서 수행될 때 청구항 제9항에서 청구하는 방법의 단계를 수행하는 프로그램 코드 명령을 포함하는 컴퓨터 프로그램 제품.
KR1020057014651A 2003-02-10 2004-02-04 비디오 데이터 스트림을 인코딩하는 장치 KR101048599B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0301523A FR2851111B1 (fr) 2003-02-10 2003-02-10 Dispositif de codage d'un flux de donnees video
FR0301523 2003-02-10
PCT/EP2004/050078 WO2004070950A2 (en) 2003-02-10 2004-02-04 Device for encoding a video data stream

Publications (2)

Publication Number Publication Date
KR20050095648A true KR20050095648A (ko) 2005-09-29
KR101048599B1 KR101048599B1 (ko) 2011-07-12

Family

ID=32731895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057014651A KR101048599B1 (ko) 2003-02-10 2004-02-04 비디오 데이터 스트림을 인코딩하는 장치

Country Status (7)

Country Link
US (1) US7991048B2 (ko)
EP (1) EP1593271A2 (ko)
JP (1) JP4570098B2 (ko)
KR (1) KR101048599B1 (ko)
CN (1) CN100521794C (ko)
FR (1) FR2851111B1 (ko)
WO (1) WO2004070950A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2881898A1 (fr) * 2005-02-10 2006-08-11 Thomson Licensing Sa Procede et dispositif de codage d'une image video en mode inter ou intra
CN101185335B (zh) * 2005-04-22 2010-06-23 Nxp股份有限公司 高效视频解码加速器
US8107741B2 (en) * 2007-09-28 2012-01-31 Broadcom Corporation Intra motion prediction for response time compensation
JP2009260421A (ja) * 2008-04-11 2009-11-05 Fujitsu Ltd 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
US20140036032A1 (en) * 2011-03-18 2014-02-06 Sony Corporation Image processing device, image processing method, and program
WO2015031891A2 (en) * 2013-08-30 2015-03-05 ARRIS Enterprises, Inc Multipass encoder with heterogeneous codecs
US10116944B2 (en) 2014-02-10 2018-10-30 Nec Corporation Video encoding device, video encoding method, and program
US10785485B1 (en) * 2016-04-29 2020-09-22 Matrox Graphics Inc. Adaptive bit rate control for image compression

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287420A (en) * 1992-04-08 1994-02-15 Supermac Technology Method for image compression on a personal computer
BE1007808A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
WO1996025823A2 (en) * 1995-02-15 1996-08-22 Philips Electronics N.V. Method and device for transcoding video signals
JPH10304376A (ja) * 1997-04-25 1998-11-13 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
WO1999003282A1 (en) * 1997-07-08 1999-01-21 Sony Corporation Video data encoder, video data encoding method, video data transmitter, and video data recording medium
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
JP3511893B2 (ja) * 1998-01-23 2004-03-29 日本ビクター株式会社 映像信号符号化方法及び装置
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
JP3660514B2 (ja) * 1999-02-05 2005-06-15 株式会社東芝 可変レート動画像符号化方法および動画像編集システム
KR100720842B1 (ko) * 1999-03-26 2007-05-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법 및 대응 비디오 코더
JP2001086512A (ja) * 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US20030174771A1 (en) * 2002-03-12 2003-09-18 Victor Company Of Japan, Ltd Method, apparatus, and program for variable bit rate encoding
US6961376B2 (en) * 2002-06-25 2005-11-01 General Instrument Corporation Methods and apparatus for rate control during dual pass encoding
US7251275B2 (en) * 2002-06-25 2007-07-31 General Instrument Corporation Methods and apparatus for statistical multiplexing during dual pass encoding
US7099389B1 (en) * 2002-12-10 2006-08-29 Tut Systems, Inc. Rate control with picture-based lookahead window
US7274739B2 (en) * 2003-05-19 2007-09-25 General Instrument Corporation Methods and apparatus for improving video quality in statistical multiplexing

Also Published As

Publication number Publication date
JP2006517369A (ja) 2006-07-20
US7991048B2 (en) 2011-08-02
FR2851111B1 (fr) 2005-07-22
US20060274832A1 (en) 2006-12-07
CN100521794C (zh) 2009-07-29
WO2004070950A2 (en) 2004-08-19
JP4570098B2 (ja) 2010-10-27
FR2851111A1 (fr) 2004-08-13
KR101048599B1 (ko) 2011-07-12
CN1748429A (zh) 2006-03-15
EP1593271A2 (en) 2005-11-09
WO2004070950A3 (en) 2005-02-03

Similar Documents

Publication Publication Date Title
US8259805B2 (en) Method and apparatus for generating coded picture data and for decoding coded picture data
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7526027B2 (en) Video data converter and video data converting method
US8553768B2 (en) Image encoding/decoding method and apparatus
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US6360017B1 (en) Perceptual-based spatio-temporal segmentation for motion estimation
US8311095B2 (en) Method and apparatus for transcoding between hybrid video codec bitstreams
EP0798930B1 (en) Video coding apparatus
US20070098067A1 (en) Method and apparatus for video encoding/decoding
US20120230405A1 (en) Video coding methods and video encoders and decoders with localized weighted prediction
US7903732B2 (en) Method and apparatus for encoding a moving-picture signal by calculating the complexity of the moving-picture signal
US20060176956A1 (en) Method and device for coding a video picture in inter or intra mode
KR20040047977A (ko) 공간적으로 스케일가능한 압축
US20070064809A1 (en) Coding method for coding moving images
Chung et al. An efficient motion estimation technique based on a rate-distortion criterion
JP4619479B2 (ja) 統計的多重化システム
KR101048599B1 (ko) 비디오 데이터 스트림을 인코딩하는 장치
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
US9094716B2 (en) Methods for coding and decoding a block of picture data, devices for coding and decoding implementing said methods
US9247268B2 (en) Method for predicting a block of image data by verifying condition relating temporal variation between image data of reference block and prediction block of previous reference block, decoding and coding devices implementing said method
KR100394014B1 (ko) 영상 변환 부호화 장치
JPH11196424A (ja) 画像処理装置および方法、並びに提供媒体
KR101647484B1 (ko) 영상 부호화 방법 및 장치
JPH07222165A (ja) ビデオ信号符号化方法
KR20060118459A (ko) 비디오 인코딩 방법 및 디바이스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee