KR20140130433A - 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치 - Google Patents

가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20140130433A
KR20140130433A KR1020147021569A KR20147021569A KR20140130433A KR 20140130433 A KR20140130433 A KR 20140130433A KR 1020147021569 A KR1020147021569 A KR 1020147021569A KR 20147021569 A KR20147021569 A KR 20147021569A KR 20140130433 A KR20140130433 A KR 20140130433A
Authority
KR
South Korea
Prior art keywords
virtual reference
reference decoder
hrd
timing model
access unit
Prior art date
Application number
KR1020147021569A
Other languages
English (en)
Inventor
리후아 추
리차드 에드윈 고데켄
가렛 제임스 보룬다
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140130433A publication Critical patent/KR20140130433A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치가 제공된다. 본 방법은, 비디오 디코더에 제공되며, 가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하는 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계(320)를 포함한다. 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택된다. 또한, 본 방법은 가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하는 단계(325)를 포함한다.

Description

가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치{METHOD AND APPARATUS FOR USING AN ULTRA-LOW DELAY MODE OF A HYPOTHETICAL REFERENCE DECODER}
본 출원은 본 명세서에 전체적으로 참고로서 포함되어 있는 2012년 2월 8일자 미국 출원된 미국 임시 출원 번호 제 61/596,519 호의 이득을 주장한다.
본 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 특히, 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치에 관한 것이다.
가상 레퍼런스 디코더(HRD)의 적합성은 대부분의 비디오 압축 표준의 규범적 부분이다. HRD는 비트 스트림에 대한 요구 조건의 세트를 제공한다. HRD 검증기는, 비트스트림을 검사하고, 임의의 HRD 오류가 존재하는지의 여부를 검출하고, 에러가 있다면, 그러한 에러를 보고함으로써, 요구 조건의 세트에 대한 비트 스트림의 적합성을 확인하는데 사용되는 소프트웨어 및/또는 하드웨어이다.
표준화/국제 전기 기술 위원회(ISO/IEC) 동화상 전문가 그룹-1(MPEG-1) 표준, ISO/IEC MPEG-2 표준, ISO/IEC MPEG-4 표준, 국제 전기 통신 연합, 전기 통신 부문(ITU-T) H.263 권고안, ISO/IEC MPEG-4 파트 10 고급 비디오 코딩(AVC) 표준/ITU-T H.264 권고안(이하에, "MPEG-4 AVC 표준"), 및 ISO/IEC MPEG-고효율 비디오 코딩(HVEC) 표준(이하에, "HEVC 표준" 또는 간단히 "HEVC")에 대한 국제 기구와 같은 비디오 코딩 표준 및 권고안에 있어서, 비트스트림은 이 비트 스트림이 표준 및/또는 권고안에서 구현된 구문 및 의미의 규칙을 준수하는 경우 순응되는 것으로 결정된다. 이러한 규칙의 하나의 세트는 엔코더의 출력에 개념적으로 연결되어 엔코더로부터 비트 스트림을 수신하는 디코더의 수학적 또는 가상 모델을 통해 비트 스트림의 성공적인 흐름의 형태를 취한다. 이러한 모델 디코더는 일부 표준에서의 가상 레퍼런스 디코더(HRD) 또는, 다른 표준에서의 비디오 버퍼 검증기(VBV)라고 칭한다. 즉, HRD는 비디오 엔코더에 의해 생성된 비트 스트림이 주어진 표준 하에 순응이 고려되는 그와 같은 엔코더에 대해 준수해야 하는 규칙을 지정한다. HRD는 대부분의 비디오 코딩 표준의 규범적 부분이고, 주어진 표준 하에 임의의 비트스트림은 HRD 규칙 및 제약을 준수해야 하고, 실제 디코더는 이러한 규칙이 따르게 되고, 그와 같은 제약이 충족된다고 가정할 수 있다.
초-저지연 응용은 표준화/국제 전기 기술 위원회(ISO/IEC) 동화상 전문가 그룹-고효율 비디오 코딩(HVEC) 표준(이하, "HEVC 표준")에 대한 국제 기구에서 가상 레퍼런스 모델에 대해 제안되었다. 초-저지연 응용에 관한 종래 기술의 접근 방식에 있어서, 트리 블록이 HRD 동작을 위해 픽처 대신에 사용되도록 도입되었다. 픽처는 일부 그룹으로 개념적 분할된다. 각각의 그룹은 동일한 수의 트리 블록을 포함한다. 이러한 그룹은 비디오 유틸리티 정보(VUI) 메시지의 버퍼 기간에 신호화된다. 종래 기술의 접근 방식에 있어서, 픽처(n)에서 i-번째 그룹의 제거 시간은 다음과 같이 재정의되었다.
tr(n, i ) = tr(n - 1) +(tr( n ) - tr(n - 1) ) * i /M
여기서, tr(n, i)는 n-번째 픽처의 i-번째 서브 픽처의 제어 시간이고, M은 한 픽처에서 서브-픽처의 수이다.
상술한 종래 기술의 접근 방식은 HEVC 표준에 지정된 현재의 HRD를 구현하는것을 어렵게 한다. 예를 들어, 종래 기술의 접근 방식은 도착 시간 및 예상보다 이른 도착 시간에 대한 타이밍 모델을 고려하지 않는다. 또한, 제약 도착 시간 모델은 상술한 종래 기술의 접근 방식에 의해 보장되지 않는다. 부가적으로, 상술한 종래 기술의 접근 방식은 성능 손실을 발생시키게 되는 컨텍스트-적응 이진 산술 코딩(CABAC)에서 최종 빈(end bin)에 대한 제약을 또한 추가한다.
종래 기술의 상기 및 다른 결함 및 단점은 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치에 관한 본 원리에 의해 다루어진다.
본 원리의 한 관점에 따라, 비디오 디코더에서의 방법이 제공된다. 본 방법은 가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하는 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계를 포함한다. 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택된다. 또한, 본 방법은 가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하는 단계를 포함한다.
본 원리의 다른 관점에 따라, 비디오 디코더가 제공된다. 비디오 디코더는 가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하도록 정의된 가상 레퍼런스 디코더 타이밍 모델을 포함한다. 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택된다. 또한, 비디오 디코더는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하기 위한 가상 레퍼런스 디코더 요구 조건 적합성 평가기를 포함한다.
본 원리의 상기 및 다른 관점, 특징 및 장점은 첨부한 도면과 함께 판독되어야 하는 예시적인 실시예의 다음 상세한 설명으로부터 명백히 될 것이다.
본 발명에 따라, 비디오 디코더에서의 방법이 제공되는데, 본 방법은 가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하는 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계를 포함한다. 여기서, 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택된다. 또한, 본 방법은 가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하는 단계를 포함한다.
도 1은 본 원리의 실시예에 따라 본 원리가 적용될 수 있는 예시적인 비디오 엔코더(100)를 도시한다.
도 2는 본 원리의 실시예에 따라 본 원리가 적용될 수 있는 예시적인 비디오 디코더(200)를 도시한다.
도 3은 본 원리의 실시예에 따라 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 예시적인 방법(300)을 도시한다.
도 4는 본 원리의 실시예에 따라 본 원리가 적용될 수 있는 예시적인 버퍼 장치(400)를 도시한다.
본 원리는 다음 예시적인 도면을 참조하여 더욱 잘 이해될 수 있다.
본 원리는 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치에 관한 것이다.
본 설명은 본 원리를 예시한다. 따라서 본 기술에 숙련된 사람들은, 본 명세서에 명시적으로 설명되거나 도시되지 않았지만, 본 원리를 구현하고 그 사상 및 범위에 포함되는 여러 장치를 고안할 수 있다는 것을 이해할 것이다.
본 명세서에 인용된 모든 예 및 조건부 언어는 독자가 본 기술을 진전시키는 발명자(들)에 의해 기여한 본 원리 및 개념을 이해하는데 도움을 주기 위한 교육적인 목적으로 의도되고, 이러한 구체적으로 인용된 예 및 조건에 제한되지 않는 것으로 해석되어야 한다.
또한, 본 원리의 원리, 관점 및 실시예 뿐만 아니라, 그 특정 예를 나열하는 본 명세서의 모든 서술은 그 구조적 및 기능적 등가물 모두를 포함하는 것으로 의도되었다. 또한, 그와 같은 등가물이 현재 공지된 등가물뿐만 아니라 미래에 개발되는 등가물, 예를 들어, 구조와 관계없이, 동일한 기능을 수행하는 개발된 모든 요소들을 포함하는 것으로 의도되었다.
따라서, 예를 들어, 본 명세서에 제시된 블록도가 본 원리를 구현하는 예시된 회로의 개념도를 나타낸다는 것을 본 기술에 숙련된 사람들은 알 수 있을 것이다. 마찬가지로, 임의의 플로우차트, 흐름도, 상태 천이도, 의사 코드 등은 컴퓨터 또는 프로세서가 명시적으로 도시되었는지의 여부에 상관없이, 이러한 컴퓨터 또는 프로세서에 의해 수행되는 컴퓨터 판독 가능한 미디어 등으로 실질적으로 표현될 수 있는 다양한 처리를 나타낸다는 것을 알 수 있을 것이다.
도면에 도시된 다양한 요소의 기능들은 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 전용 하드웨어의 사용뿐만 아니라, 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, 용어 "프로세서" 또는 "제어기"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어에 대해 독점적으로 참조하는 것으로 해석되어서는 안 되며, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비-휘발성 저장 장치를 암시적으로 포함할 수 있다.
다른 하드웨어, 종래 및/또는 관습이 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적이다. 그들의 기능은 프로그램 논리의 동작을 통해, 전용 논리를 통해, 프로그램 제어 및 전용 논리의 상호 작용을 통해, 심지어 수동으로, 실행될 수 있고, 특정 기술은 문맥으로부터 보다 구체적으로 이해되는 것으로서 구현자에 의해 선택될 수 있다.
청구 범위에 있어서, 특정 기능을 수행하기 위한 수단으로서 표현되는 임의의 요소는, 예를 들어, a) 기능을 수행하는 회로 요소들의 조합, b) 기능을 수행하기 위해 소프트웨어를 실행하는 적당한 회로와 조합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 기능을 수행하는 임의의 방식을 포함하도록 의도된다. 이러한 청구 범위에 의해 정의된 바와 같은 본 원리는 다양한 인용 수단에 의해 제공되는 기능이 조합되고, 청구 범위가 요구하는 방식으로 함께 제공된다는 사실에 상주한다. 따라서, 이들 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것과 같다고 간주된다.
명세서에서 본 원리의 "하나의 실시예" 또는 "한 실시예"뿐만 아니라, 그 변경안은 실시예에 관련하여 기재된 특정한 기능, 구조, 특징 등이 본 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, "하나의 실시예에서" 또는 "한 실시예에서"의 관용구뿐만 아니라, 명세서 전반에 걸쳐 다양한 장소에 나타나는 다른 변경안의 출현은 반드시 모두 동일한 실시예를 참조하지 않는다.
예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에서, 다음의 “/", "및/또는", 및 "중 적어도 하나” 중 어느 하나의 이용은, 단지 제 1 리스트된 옵션(A)의 선택 또는, 단지 제 2 리스트된 옵션(B)의 선택, 또는, 두 옵션(A 및 B) 모두의 선택을 포함하는 것으로 의도되었음을 이해해야 한다. 다른 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중 적어도 하나"의 경우에서, 이러한 표현은 단지 제 1 리스트된 옵션(A)의 선택 또는, 단지 제 2 리스트된 옵션(B)의 선택, 또는, 단지 제 3 리스트된 옵션(C)의 선택, 또는 단지 제 1 및 제 2 리스트된 옵션(A 및 B)의 선택, 또는 단지 제 1 및 제 3 리스트된 옵션(A 및 C)의 선택, 또는 단지 제 2 및 제 3 리스트된 옵션(B 및 C)의 선택, 또는 모든 3개의 옵션(A 및 B 및 C)의 선택을 포함하는 것으로 의도되었다. 이는 본 기술 및 관련된 기술에 숙련된 사람에 의해 명백한 것처럼, 리스트된 많은 아이템을 위해 연장될 수 있다.
또한, 본 명세서에 사용된 것처럼, 단어 "픽처" 및 "이미지"는 대체 가능하게 사용되고, 비디오 시퀀스로부터 정지 이미지 또는 픽처로 지칭된다. 공지되어 있는 것처럼, 픽처는 프레임 또는 필드가 될 수 있다.
위에서 언급한 것처럼, 본 원리는 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치에 관한 것이다.
예시 및 설명을 위해, 본 명세서에는 본 설명에 대한 기준으로서 HEVC 표준을 사용하고 HEVC 표준 이상의 개선 및 확장을 설명하는 예들이 표준화/국제 전기 기술 위원회(ISO/IEC) 동화상 전문가 그룹-고효율 비디오 코딩(HEVC) 표준(이하, "HEVC 표준")의 국제 기구를 통한 개선의 맥락에서 설명된다. 그러나, 본 원리는, HEVC 표준 및/또는, 예를 들어, MPEG-HEVC 스케일러블 비디오 코딩(SVC) 및 멀티-뷰 비디오 코딩(MVC)과 같은 그의 연장에 단독으로 제한되지 않음을 이해해야 한다. 본 명세서에 제공된 본 원리의 교시가 제공될 때, 본 기술 및 이 기술에 관련된 통상적인 사람은 다른 표준의 확장에 적용될 때, 또는, 아직 개발되지 않은 표준에 적용 및/또는 통합될 때, 본 원리가 동일하게 적용되고 적어도 유사한 이득을 제공할 것이라는 것을 용이하게 이해할 것이다. 즉, 다른 표준들이 본 발명의 원리를 설명하는 시작점으로 사용될 수 있고, 새롭고 신규 요소들이 표준 또는 임의의 다른 것 이상의 변경 및 발전으로서 사용될 수 있다는 것은 본 기술에 숙련된 사람들에게 명백할 것이다. 또한, 본 원리는 독자적인 정의보다 표준에 따르지 않는 비디오 엔코더 및 비디오 디코더에 적용할 수도 있음을 또한 이해해야 한다.
본 명세서에 사용된 용어 "컴플라이언스(compliance)"및 "적합성(conformance)"에 관련하여, 컴플라이언스는 코딩된 비트 스트림이 주어진 코딩 표준(또는, 권고안, 독점적인 접근 방식 등)의 사양을 만족하는 것을 나타내는 것으로 의도된 비공식적인 용어이지만, 적합성은 코딩 시스템이 주어진 코딩 표준(또는, 권고안, 독점적인 접근 방식 등)의 사양을 만족시킬 수 있는 비트 스트림을 확실하게 생성하는 것을 나타내는 것으로 의도된 공식적인 용어임을 주목한다.
본 기술에 숙련된 사람은 본 원리를 여러 구성으로 구현할 수 있음을 인지해야 한다. 예를 들어, 본 원리는 비디오 엔코더의 독자적인 방식으로 구현될 수 있다. 이러한 비디오 엔코더는, 예를 들어, 비디오 엔코더만을 포함할 수 있거나, 내부에 비디오 디코더를 선택적으로 포함할 수 있다. 또한, 본 원리는 엔코더로부터 분리된 해당 디코더가 본 원리를 구현하기 위하여 엔코더에 피드백을 제공할 수 있도록 구현될 수 있다. 이들 및 다른 구성은 본 명세서에 제공된 본 원리의 교시에 따라 본 기술에 숙련된 사람에 의해 용이하게 결정된다.
도 1을 참조하면, 본 원리가 적용될 수 있는 예시적인 비디오 엔코더는 참조 번호 100으로 전체 표시되어 있다. 비디오 엔코더(100)는 쿼드-트리 판정 장치(104)의 제 1 입력에 접속된 출력을 갖는 픽처 분할 장치(102)를 포함한다. 쿼드-트리 판정 장치(104)의 출력은 인트라 PU 프로세서(108)의 입력 또는 인트라 PU 프로세서(110)의 제 1 입력에 선택적으로 접속된다. 인트라 PU 프로세서(108) 및 인트라 PU 프로세서(110)의 각각의 출력은 TU 트랜스포머 및 양자화기(112)의 입력과 신호 통신으로 연결된다. TU 트랜스포머 및 양자화기의 제 1 출력은 엔트로피 엔코더(116)의 제 1 입력과 신호 통신으로 연결된다. 엔트로피 엔코더(116)의 제 1 출력은 HRD 슬라이스 레벨 스케줄러(114)의 입력과 신호 통신으로 연결된다. HRD 슬라이스 레벨 스케줄러(114)의 출력은 픽처 분할 장치(102)의 제 2 입력과 신호 통신으로 연결된다. TU 트랜스포머 및 양자화기(112)의 제 2 출력은 TU 역트랜스포머 및 역양자화기(118)의 입력과 신호 통신으로 연결된다. TU 역트랜스포머 및 역양자화기(118)의 출력은 PU 예측기(120)의 제 1 입력과 신호 통신으로 연결된다. PU 예측기(120)의 출력은 레이트 왜곡 판정 장치(122)의 입력과 신호 통신으로 연결된다. 레이트 왜곡 판정 장치(122)의 제 1 출력은 쿼드-트리 판정 장치(104)의 제 2 입력과 신호 통신으로 연결된다. 레이트 왜곡 판정 장치(122)의 제 2 출력은 엔트로피 엔코더(116)의 제 2 입력과 인-루프 디블록킹 필터(124)의 입력과 신호 통신으로 연결된다. 인-루프 디블록킹 필터(124)의 출력은 적응 루프 필터(126)의 입력과 신호 통신으로 연결된다. 적응 루프 필터(126)의 출력은 샘플 적응 오프셋(SAO) 장치(128)의 입력과 신호 통신으로 연결된다. 샘플 적응 오프셋(SAO) 장치(128)의 출력은 픽처 레퍼런싱 캐시(130)의 입력과 신호 통신으로 연결된다. 픽처 레퍼런싱 캐시(130)의 제 1 출력은 인트라 PU 프로세서(110)의 제 2 입력과 신호 통신으로 연결된다. 픽처 레퍼런싱 캐시(130)의 제 2 출력은 PU 예측기(120)의 제 2 입력과 신호 통신으로 연결된다. 엔트로피 엔코더(116)의 제 2 출력은 비디오 엔코더(100)의 출력으로서 사용할 수 있다. 픽처 분할 장치(102)의 제 1 입력은 비디오 엔코더(100)의 입력으로서 사용할 수 있다.
도 2를 참조하면, 본 원리가 적용될 수 있는 예시적인 비디오 디코더는 참조 번호 200으로 전체적으로 나타낸다. 비디오 디코더(200)는 HRD 슬라이스 적합성 체커(204)의 제 1 입력과 신호 통신으로 연결된 제 1 출력을 갖고, 비트스트림 파서(206)의 입력과 신호 통신으로 연결된 제 2 출력을 갖는 코딩된 픽처 버퍼(CPB)(202)를 포함한다. HRD 슬라이스 적합성 체커(204)의 출력은 HRD 에러 리포터(288)의 입력과 신호 통신으로 연결된다. HRD 타이밍 모델(277)은 HRD 슬라이스 적합성 체커(204)의 제 2 입력과 신호 통신으로 연결된 출력을 갖는다. 비트스트림 파서(206)의 출력은 TU 역양자화기 및 역트랜스포머(208)의 입력과 신호 통신으로 연결된다. TU 역양자화기 및 역트랜스포머(208)의 출력은 PU 예측기(210)의 제 1 입력과 신호 통신으로 연결된다. PU 예측기(210)의 출력은 인-루프 디블록킹 필터(212)의 입력과 신호 통신으로 연결된다. 인-루프 디블록킹 필터(212)의 출력은 적응 루프 필터(214)의 입력과 신호 통신으로 연결된다. 적응 루프 필터(214)의 출력은 샘플 적응 오프셋(SAO) 장치(216)의 입력과 신호 통신으로 연결된다. 샘플 적응 오프셋(SAO) 장치(216)의 출력은 픽처 레퍼런스 캐시(218)의 입력과 신호 통신으로 연결된다. 픽처 레퍼런스 캐시(218)의 출력은 PU 예측기(210)의 제 2 입력과 신호 통신으로 연결된다. 코딩된 픽처 버퍼(CPB)(202)의 입력은 비디오 디코더(200)의 입력으로서 사용할 수 있다. PU 예측기(210)의 출력은 비디오 디코더(200)의 출력으로서 사용할 수 있다.
HRD 타이밍 모델(277)에 대해서는, 동일한 것이 HRD 슬라이스 적합성 체커(204)로부터 분리된 소자로서 도시되어 있지만, 한 실시예에 있어서, HRD 타이밍 모델(277)은 HRD 슬라이스 적합성 체커(204)와 통합될 수 있다. (도 1을 포함하여) 도 2의 소자의 상기 및 다른 변경안은, 본 명세서에 제공된 본 원리의 교시에 따라, 본 기술에 숙련된 사람에 의해 용이하게 고려된다.
도 3을 참조하면, 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 예시적인 방법은 참조 번호 300으로 전체적으로 표시되어 있다. 본 방법(300)은 기능 블록(303)으로 제어를 통과시키는 시작 블록(301)을 포함한다. 기능 블록(303)은 HRD 컴플라이언스를 위해 체크될 입력 비트스트림(예를 들어, 비디오, 오디오, 및 메타데이터)을 수신하고, 판정 블록(305)으로 제어를 통과시킨다. 판정 블록(305)은 현재 모드가 초-저지연 모드인지의 여부를 결정한다. 초-저지연 모드인 경우, 제어는 기능 블록(310)으로 통과시킨다. 그렇지 않으면, 제어는 기능 블록(345)으로 통과된다.
기능 블록(310)은 HRD 적합성 결정을 위한 액세스 유닛을 슬라이스 유닛(HRD 유닛)이 되도록 설정하고, 제어를 기능 블록(315)으로 통과시킨다. 기능 블록(315)은 슬라이스 유닛(예를 들어, 비트 레이트, 사이즈, 및 구조를 결정하기 위해)에 대해 HRD 동작을 실행하고, 제어를 기능 블록(320)으로 통과시킨다. 기능 블록(320)은 기능 블록(310 및 345)에 의해 설정된 액세스 유닛에 적용하기 위해 타이밍 모델을 정의/구성하고, 제어를 기능 블록(325) 및 기능 블록(355) 중 하나로 통과시킨다(이에 따라 판정 블록(305)의 분기(branch off)가 활성). 기능 블록(325)은 슬라이스 유닛에서 HRD 위반을 체크하고, 제어를 기능 블록(330)으로 통과시킨다. 기능 블록(330)은 슬라이스 유닛을 디코딩하고, 제어를 기능 블록(335)으로 통과시킨다. 기능 블록(335)은 하나 이상의 픽처를 구성하기 위해 슬라이스 버퍼링을 실행하고, 제어를 기능 블록(340)으로 통과시킨다. 기능 블록(340)은 픽처를 디스플레이/출력하고, 제어를 종료 블록(399)으로 통과시킨다.
기능 블록(345)은 HRD 적합성 결정을 위한 액세스 유닛을 픽처 유닛(HRD 유닛)이 되도록 설정하고, 제어를 기능 블록(350)으로 통과시킨다. 기능 블록(350)은 픽처 유닛(예를 들어, 비트 레이트, 사이즈, 및 구조를 결정하기 위해)에 대해 HRD 동작을 실행하고, 제어를 기능 블록(320)으로 통과시킨다. 기능 블록(355)은 픽처 유닛에서 HRD 위반을 체크하고, 제어를 기능 블록(360)으로 통과시킨다. 기능 블록(360)은 픽처 유닛을 디코딩하고, 제어를 기능 블록(340)으로 통과시킨다.
판정 블록(305)을 참조하면, 특정 플래그(flag)가 하나 이상의 입력 비트스트림에 포함된 HRD 구문에 존재하는지의 여부가 결정된다. 따라서, HRD 적합성 체커는 현재 모드가 플래그에 기초하여 초-저지연 모드인지의 여부를 알 수 있다. 본 원리의 한 실시예에 따라, (MPEG-4 AVC 표준의) 구문 E.1.1을 다음과 같이 변경한다.
Figure pct00001
여기서, low_delay_hrd_flag는 MPEG-4 AVC 표준의 부기 C에 지정된 것과 같은 HRD 동작 모드를 지정한다. fixed_pic_rate_flag가 1과 같을 때, low_delay_hrd_flag는 0과 같아야 한다. low_delay_hrd_flag가 존재하지 않을 때, 그 값은 1 - fixed_pic_rate_flag와 동일한 것으로 추정된다. low_delay_hrd_flag가 2가 될 때, 현재 비트스트림이 초-저지연 디코딩을 지원할 수 있음을 나타내고, HRD 동작은 픽처를 대신하여 슬라이스에 기초해야 한다.
실시예에 있어서, HEVC 표준에 대해 사용을 위한 MPEG-4 AVC/264 표준에 기초하여 초-저지연 모드를 부가하는데, 예를 들어, 초-저지연 모드를 지원하기 위한 low_delay_hrd_flag를 부가한다. 플래그가 판정 블록(305)에 의해 검출된다면, HRD 적합성 결정은, 픽처(즉, 기능 블록(345)에 따라)에 기초한 액세스 유닛을 사용하는 것이 아니라, 체킹 유닛으로서 슬라이스(즉, 함수 블록(310)에 따라)에 기초한 액세스 유닛을 사용하여 실행된다. 판정 블록(305)은 상술한 플래그의 검출에 기초하여 하나가 선택되는 두 개의 분기를 포함하는 것을 주목해야 한다. 기능 블록(315 및 350)에 대해서, 활성 분기에 따라, 동일한 것은 선택된 액세스 유닛, 즉, 슬라이스 유닛 또는 픽처 유닛 중 하나의 통계를 결정한다. 이러한 통계는 비트 레이트, (액세스 유닛의 사이즈가 될 수 있는) 사이즈, NAL 유닛, 슬라이스 유닛, 및 (픽처의 그룹(GOP), 1차 픽처 등과 같은) 구조를 포함할 수 있지만, 이들에 제한되지 않는다.
기능 블록(320)에 대해서, 한 실시예에 있어서, (예를 들어, MPEG-4/H.264 표준에서와 같은) 픽처에 기초하여 액세스 유닛에 대해 사용되는 것과 동일한 타이밍 모델을 사용할 수 있지만, 타이밍 모델의 타이밍 유닛(액세스 유닛)은 슬라이스 분기가 활성화될 때 슬라이스에 기초한다.
또한, 기능 블록(320)에 대하여, 한 실시예에 있어서, 타이밍 모델은 선택된 액세스 유닛(슬라이스 액세스 유닛 또는 픽처 액세스 유닛)에 적용하도록 동적으로 정의/구성될 수 있다. 다른 실시예에 있어서, 각각의 타이밍 모델은 액세스 유닛의 각각의 유형에 대해 이미 정의되고, 중요한 하나는 어떤 브랜치가 활성화됨에 따라 (기능 블록(325 및 355)에 따라) HRD 위반에 대한 검사와 관련하여 사용을 위해 선택된다.
또한, 기능 블록(320 및 325)에 관련하여, 타이밍 모델은 비트스트림이 HRD의 요구 조건에 부합하는지의 여부를 결정하기 위해 가변 비트 레이트 또는 일정한 비트 레이트를 사용하도록 선택적으로 구성될 수 있다. 즉, 가상 레퍼런스 디코더 타이밍 모델은 가변 비트 레이트 테스트 경우 및/또는 일정한 비트 레이트 테스트 경우에 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 부합하는지의 여부를 결정한다. 테스트의 경우는 평가된 비트스트림을 엔코딩하는데 사용되는 엔코딩의 유형에 관한 것이다. 또한, 한 실시예에 있어서, 리키 버킷 기법은 비트스트림이 HRD의 요구 조건에 부합하는지의 여부를 결정하기 위해 사용될 수 있다. 이와 같은 리키 버킷 기법은, 예를 들어, 대역폭 및 버스티니스(burstiness)에 대한 정의된 제한에 부합하는, 패킷 형태로, 데이터 전송을 체크하는 패킷 스위칭된 컴퓨터 네트워크에 사용된다.
HRD 위반 체커는, 기능 블록(355)에 따른 픽처에 기초하는 것과 반대로, 기능 블록(325)에 따른 슬라이스에 기초할 수 있다. 한 실시예에 있어서, MPEG 4 AVC/H.264 표준에서 픽처에 사용되는 것과 동일한 공식(들)은 HRD 위반 체킹에 사용될 수 있지만, 슬라이스 분기가 활성화될 때는 슬라이스 유닛을 고려한다. 따라서, 기능 블록(325 및 355)은 선택된 액세스 유닛에 타이밍 모델의 적용에 기초하여 HRD 위반 결정을 렌더링한다.
기능 블록(330)을 참조하면, 디코딩이 픽처를 대신하여 슬라이스에 기초하기 때문에, 슬라이스 버퍼/메모리는 픽처를 구성하는 기능 블록(335)에 따라 임시 슬라이스를 저장할 것이며, 이후에, 기능 블록(340)에 따라 픽처(들)을 출력할 수 있거나 디스플레이할 수 있다.
또한, 변경된 구문 E.1.1에 대해서, HEVC의 현재의 작업 초안에서 low_delay_hrd_flag는 비-지연 및 지연 모드만을 나타내고, 초-저지연 모드를 지원하기 위해 low_delay_hrd_flag을 연장한다. 그래서, low_delay_hrd_flag는 3가지 의미를 가지며, low_delay_hrd_flag가 0 또는 1일 때, ITU H.264와 동일한 기능을 여전히 유지한다. 1ow_delay_hrd_flag가 2일 때, 이는 현재 비트스트림이 초-저지연 모드를 지원하는 것을 의미한다. 그리고, 모든 HRD 동작은 픽처 유닛 대신에 슬라이스 유닛에 기초해야 한다. 타이밍 모델 및 HRD 위반 체커는 슬라이스 유닛에 또한 기초한다.
도 4를 참조하면, 본 원리가 적용될 수 있는 예시적인 버퍼 장치는 참조 번호 400에 의해 전체적으로 표시되어 있다. 한 실시예에 있어서, 버퍼 장치(400)는 엔코더의 출력에 개념적으로 연결된다. 대안으로, 버퍼 장치(400)는 디코더 측에 대해서, 예를 들어, 디코더의 HRD 적합성 체커에서 구현될 수 있다. 물론, 다른 장치들이 본 원리의 정신을 유지하면서 사용될 수 있다. 버퍼 장치(400)는 멀티플렉스 버퍼(420)의 입력과 신호 통신으로 연결된 출력을 갖는 전송 버퍼(410)를 포함한다. 멀티플렉스 버퍼(420)의 출력은 가상 레퍼런스 디코더 (기본적인) 버퍼(430)의 입력과 신호 통신으로 연결된다. 전송 버퍼(410)의 입력은 버퍼 장치(400)의 입력으로서 사용할 수 있다. 가상 레퍼런스 디코더 (기본적인) 버퍼(430)의 출력은 버퍼 장치(400)의 출력으로서 사용할 수 있다. 도 4에 있어서, Rt는 전송 버퍼에 입력되는 비트 레이트를 나타내고, Rm은 멀티플렉스 버퍼에 입력되는 비트 레이트를 나타내며, Re는 HRD 버퍼(또한, 소위 기본적인 버퍼라고 칭함)에 입력되는 비트 레이트를 나타낸다. HRD 기본적인 버퍼(430)는 본 명세서에 단순히 "기본적인 버퍼"로서 짧게 지칭되어 있음을 주목한다.
5세대 JCT-VC 회의의 방송 산업에 의해 요청되는 초-저지연 모드를 위한 초-저지연 메커니즘을 제안한다. 이러한 초-저지연은 상호 작용의 비디오 편집 또는 검색에 대한 서비스 제공자에 의해 강하게 지원된다. 초-저지연은 하나 이상의 채널을 통해 전송 시간을 포함하는 디코딩된 픽처에 대한 전체 지연 동작, 버퍼에 입력되어야 하고, 디코딩을 위해 버퍼로부터 검색되어야 하는 시간이 30ms- 100ms 미만이 되어야 하는 것을 나타낸다. 즉, 초-저지연은 픽처의 디코딩 시간이 1 프레임 기간(초당 1/프레임) 미만이 되는 것을 나타낸다. MPEG 4 AVC 표준 또는 HEVC 표준에서 HRD의 제약 도착 모델을 고려하면, 디코딩 시간에 대한 최소 제약은 1 프레임 기간이 되어야 하고, 그래서, MPEG-4 AVC 표준에서 HRD는 1 프레임 기간 미만을 갖는 한 프레임을 디코딩하는데 유효하지 않다. 표준화/국제 전기 기술 위원회(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 고급 비디오 코딩(AVC) 표준/국제 전기 통신 연합, 전기 통신 부문(ITU-T) H.264 권고안(이하, "MPEG-4 AVC 표준")에 대한 국제 기구에서의 가상 레퍼런스 디코더 모델은 상기와 같은 종류의 경우를 지원하지 못한다. 따라서, 방송에 있어 편집 목적을 위한 초-저지연을 갖는 가상 레퍼런스 디코더 모델은 HEVC 표준에 생성 및 통합되어야 한다.
본 원리의 실시예에 따라, HRD를 설계하기 위한 새로운 기법을 제안한다. HEVC 표준의 현재의 버전에 있어서, 액세스 유닛은 타이밍 모델에 대한 기본 동작 유닛으로서 사용된다. 액세스 유닛이 픽처 레벨에 기초하기 때문에, 액세스 유닛은 HRD에 대해 상당한 지연을 야기할 것이다. 따라서, 본 원리의 실시예에 따라, 액세스 유닛의 기본 동작 유닛을 HRD 유닛으로 변경하였다. HRD 유닛은, 예를 들어, 슬라이스 또는 네트워크 추상화 계층(NAL) 유닛이 될 수 있고, 가장 짧은 지연을 갖는 버퍼로부터 제거될 수 있는 만큼 유연하게 될 수 있다.
HRD는 HRD 유닛 제거 지연뿐만 아니라 채널 비트 레이트, 버퍼 사이즈, 초기화 디코더 제거 지연에 의해 특징화될 수 있다. HEVC 표준은 HRD에 대한 슬라이스의 초기 도착 시간의 정의 및 동작을 또한 설명한다. HRD 유닛의 초기 도착 시간(tai)은 다음과 같이 도출된다.
HRD는 버퍼링 기간 SEI 메시지 중 어느 하나에서 초기화될 수 있다. CPB은 초기화 이전에 비어 있다.
변수(tc)는 다음과 같이 도출되며 클록 틱(clock tick)이라고 지칭한다.
Figure pct00002

HRD는, 초기화 후에, 어떤 차후의 버퍼링 기간 SEI 메시지에 의해 다시 초기화되지 않음을 주목한다.
각각의 HRD 유닛은 HRD 유닛(n)으로서 지칭하며, 여기서, 숫자 n은 특정 HRD 유닛을 식별한다. CPB를 초기화하는 버퍼링 기간 SEI 메시지와 연관된 HRD 유닛은 HRD 유닛(0)이라 한다. n의 값은 디코딩 순서로 각각 후속 HRD 유닛에 대해 1씩 증가된다.
HRD 유닛(n)의 제 1 비트가 코딩된 픽처 버퍼(CPB)에 입력되기 시작하는 시간은 초기 도착 시간 tai(n)이라 한다.
HRD 유닛의 초기 도착 시간은 다음과 같이 도출된다.
- HRD 유닛이 HRD 유닛(0)인 경우, tai(0) = 0,
- 그렇지 않으면(HRD 유닛이 n > 0인 HRD 유닛(n)인 경우), 다음이 적용된다.
- cbr_flag[SchedSelIdx]가 1과 동일한 경우, HRD 유닛(n)에 대한 초기 도착 시간은 HRD 유닛(n-1)의 (아래에 도출된) 최종 도착 시간과 동일하다. 즉,
Figure pct00003

- 그렇지 않으면(cbr_flag[SchedSelIdx]가 0인 경우), HRD 유닛(n)에 대한 초기 도착 시간은 다음과 같이 도출된다.
Figure pct00004

여기서, tai , earliest(n)가 다음과 같이 도출된다:
- HRD 유닛(n)이 후속 버퍼링 기간의 제 1 HRD 유닛이 아닌 경우, tai,earliest(n)가 다음과 같이 도출된다:
Figure pct00005

여기서, tr ,n(n)는 HEVC 표준의 하위-절 C.1.2에서 지정된 것처럼 CPB로부터 공칭 HRD 유닛(n)의 제거 시간이 되며, initial_cpb_removal_delay[SchedSelIdx] 및 initial_cpb_removal_delay_offset[SchedSelIdx]는 이전 버퍼링 기간 SEI 메시지에 지정된다.
- 그렇지 않으면(HRD 유닛(n)이 후속 버퍼링 기간의 제 1 HRD 유닛인 경우), tai , earliest(n)는 다음과 같이 도출된다.
Figure pct00006

여기서, initial_cpb_removal_delay[SchedSelIdx]은 HRD 유닛(n)과 연관된 버퍼링 기간 SEI 메시지에서 지정된다.
HRD 유닛(n)에 대한 최종 도착 시간은 다음과 같이 도출된다.
Figure pct00007

여기서, b(n)는 타입 I 적합성 포인트에 대한 VCL NAL 유닛 및 필러 데이터 NAL 유닛의 비트, 또는 타입 II 적합성 포인트에 대한 타입 II 비트스트림의 모든 비트를 카운팅하는 HRD 유닛(n)의 비트의 사이즈이고, 여기서, 타입 I 및 타입 II 적합성 포인트는 HEVC 표준의 도형(C-1)에 도시된 것처럼 된다.
SchedSelIdx, BitRate[SchedSelIdx], 및 CpbSize [SchedSelIdx]의 값들은 다음과 같이 제약된다.
- HRD 유닛(n) 및 HRD 유닛(n-1)이 상이한 코딩된 비디오 시퀀스의 일부이고, 두 개의 코딩된 비디오 시퀀스의 활성 시퀀스 파라미터의 컨텐츠가 다른 경우, HSS는 두 번째의 2개의 코딩된 비디오 시퀀스(HRD 유닛(n)을 포함)에 대한 BitRate[SchedSelIdx1] 또는 CpbSize [SchedSelIdx1]을 결과로서 얻는 HRD 유닛(n)을 포함하는 코딩된 비디오 시퀀스에 제공된 SchedSelIdx의 값들 중에서 SchedSelIdx의 값 SchedSelIdx1을 선택한다. BitRate[SchedSelldx1] 또는 CpbSize[SchedSelIdx1]의 값은 HRD 유닛(n-1)을 포함하는 코딩된 비디오 시퀀스에 대해 사용되었던 SchedSelIdx의 값 SchedSelIdx0에 대한 BitRate[SchedSelIdx0] 또는 CpbSize[SchedSelIdx0]의 값과 다를 수 있다.
- 그렇지 않으면, HSS는 SchedSelIdx, BitRate[SchedSelldx] 및 CpbSize[SchedSelIdx]의 이전의 값들로 계속해서 동작한다. HSS가 이전의 HRD 유닛의 것들과는 다른 BitRate[SchedSelIdx] 또는 CpbSize[SchedSelIdx]의 값들을 선택할 때, 다음이 적용된다.
- 가변 BitRate[SchedSelIdx]는 시간 tai(n)에서 실시된다.
- 가변 CpbSize[SchedSelIdx]는 다음과 같이 실시된다.
- CpbSize[SchedSelIdx]의 새로운 값이 이전의 CPB 사이즈를 초과하는 경우에는 시간 tai(n)에서 실시된다.
- 그렇지 않으면, CpbSize[SchedSelIdx]의 새로운 값은 시간 tr(n)에서 실시된다.
코딩된 픽처 제거의 타이밍
HRD 유닛(0)에 대해서, CPB로부터의 HRD 유닛의 공칭 제거 시간은 다음과 같이 지정된다.
Figure pct00008

HRD를 초기화하지 않는 버퍼링 기간의 제 1 HRD 유닛에 대해서, CPB로부터의 HRD 유닛의 공칭 제거 시간은 다음과 같이 지정된다.
Figure pct00009

여기서, tr ,n(nb)은 이전 버퍼링 기간의 제 1 HRD 유닛의 공칭 제거 시간이며, cpb_removal_delay(n)은 HRD 유닛(n)과 관련된 픽처 타이밍 SEI 메시지에 지정된 cpb_removal_delay의 값이다.
HRD 유닛(n)이 버퍼링 기간의 제 1 HRD 유닛일 때, nb는 HRD 유닛(n)의 제거 시간에서 n과 동일하게 설정된다.
버퍼링 기간의 제 1 HRD 유닛이 아닌 HRD 유닛(n)의 공칭 제거 시간 [tr,n(n)]은 다음과 같이 주어진다.
Figure pct00010

여기서, tr ,n(nb)는 현재 버퍼링 기간의 제 1 HRD 유닛의 공칭 제거 시간이고, cpb_removal_delay(n)는 HRD 유닛(n)과 관련된 픽처 타이밍 SEI 메시지에 지정된 cpb_removal_delay의 값이다.
HRD 유닛(n)의 제거 시간은 다음과 같이 지정된다.
- low_delay_hrd_flag가 0 또는 tr ,n(n) > = taf(n)인 경우, HRD 유닛(n)의 제거 시간은 다음과 같이 지정된다.
Figure pct00011

- 그렇지 않으면(low_delay_hrd_flag가 1과 같고, tr ,n(n) < taf(n)인 경우), HRD 유닛(n)의 제거 시간은 다음과 같이 지정된다.
Figure pct00012

후자의 경우는 HRD 유닛(n)의 사이즈, b(n)가 공칭 제거 시간에서 제거되는 것을 방지할 수 있는 정도로 큰 것을 나타낸다는 것을 이해해야 한다.
지금, 본 발명의 많은 수반된 장점/특징의 일부를 설명하며, 이들 중 일부가 위에서 언급되었다. 예를 들어, 하나의 장점/특징은 비디오 디코더에서의 방법이다. 본 방법은 가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하는 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계를 포함한다. 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택된다. 또한, 본 방법은 가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하는 단계를 포함한다.
다른 장점/특징은 위에서 설명한 방법이며, 여기서, 가상 레퍼런스 디코더 타이밍 모델은 가변 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정한다.
또 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 가상 레퍼런스 디코더 타이밍 모델은 일정한 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정한다.
또 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 가상 레퍼런스 디코더 타이밍 모델은 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는 리키 버킷 기법을 사용한다.
또한, 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 가상 레퍼런스 디코더 타이밍 모델은 비디오 비트스트림이 1 프레임 기간 미만이 되도록 픽처의 디코딩 시간을 제약하는 초-저지연 모드에 적합한지의 여부를 확인하도록 구성된다.
또한, 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 비디오 비트스트림에 대한 초-저지연 모드의 활성화는 플래그에 기초한다.
또한, 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 비디오 비트스트림은 선택된 가상 레퍼런스 디코더 액세스 유닛에 대해서 적용되는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 평가된다.
부가적으로, 다른 장점/특징은, 비디오 비트스트림이 위에서 설명한 선택된 가상 레퍼런스 디코더 액세스 유닛에 대해서 적용되는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 평가되고, 비디오 비트스트림이 선택된 가상 레퍼런스 디코더 액세스 유닛의 통계에 대해서 적용되는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 평가되는 방법이다.
또한, 다른 장점/특징은 위에서 설명한 방법이며, 여기서, 통계는 선택된 가상 레퍼런스 디코더 액세스 유닛의 비트 레이트, 사이즈, 및 구조를 포함한다.
본 원리의 상기 및 다른 특징과, 장점은 본 명세서의 교시에 기초하여 관련된 기술에 숙련된 사람에 의해 당업자에 의해 용이하게 확인될 수 있다. 본 원리의 교시는 여러 형태의 하드웨어, 소프트웨어, 펌웨어, 특정 목적 프로세서, 또는 그들의 조합으로 구현될 수 있다는 것을 이해해야 한다.
가장 바람직하게, 본 원리의 교시는 하드웨어 및 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛에서 명백하게 구현되는 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적당한 구조를 포함하는 기계에 업-로드될 수 있거나 그 기계에 의해 실행될 수 있다. 바람직하게, 기계는 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM"), 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼에서 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로 명령 코드를 또한 포함할 수 있다. 본 명세서에 기재된 여러 처리 및 기능은 CPU에 의해 실행될 수 있는 마이크로 명령 코드의 일부 또는 응용 프로그램의 일부, 또는 그들의 조합이 될 수 있다. 또한, 부가적인 데이터 저장 장치 및 프린트 장치와 같은 여러 다른 주변 장치가 컴퓨터 플랫폼에 접속될 수 있다.
첨부된 도면에 도시된 구성 시스템의 구성 요소 및 방법의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템의 구성 요소들 사이의 실제 접속 및 처리 기능 블록은 본 원리가 프로그램된 방식에 따라 다를 수 있다는 것을 또한 이해해야 한다. 본 명세서에서 제공된 교시에 의해, 본 기술 분야에 숙련된 사람은 본 원리의 상기 및 유사한 구현 또는 구성을 고려할 수 있을 것이다.
비록, 예시된 실시예가 본 명세서에서 첨부 도면을 참조하여 설명되었지만, 본 원리가 이들 정확한 실시예에 한정되지 않고, 여러 변경안과 수정안이 본 원리의 정신 및 범위에 벗어나지 않고 본 기술 분야에 숙련된 사람에 의해 행해질 수 있음을 이해해야 한다. 이러한 모든 변경안 및 수정안은 첨부한 특허 청구 범위에 기술된 본 원리의 범위 이내에 포함되는 것으로 의도된다.
102: 픽처 분할
104: 쿼드-트리 판정
108: 인트라 PU 프로세싱
110: 인트라 PU 프로세싱
112: TU 트랜스폼 및 양자화
114: HRD 슬라이스 레벨 스케줄러
116: 엔트로피 엔코더
118: TU 역트랜스폼 및 역양자화
120: PU 예측
122: 레이트 왜곡 판정
124: 인-루프 디블록킹
126: 적응 루프 필터
128: 샘플 적응 오프셋(SAO)
130: 픽처 레퍼런스 캐시

Claims (14)

  1. 비디오 디코더에서의 방법으로서,
    가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하는 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계(320)로서, 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택되는, 가상 레퍼런스 디코더 타이밍 모델을 정의하는 단계(320); 및
    가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하는 단계(325)를 포함하는, 방법.
  2. 제 1 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델은 가변 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는, 방법.
  3. 제 1 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델은 일정한 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는, 방법.
  4. 제 1 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델은 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는 리키 버킷 기법을 사용하는, 방법.
  5. 제 1 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델은 비디오 비트스트림이 1 프레임 기간 미만이 되도록 픽처의 디코딩 시간을 제약하는 초-저지연 모드에 적합한지의 여부를 확인하도록 구성된, 방법.
  6. 제 1 항에 있어서,
    비디오 비트스트림에 대한 초-저지연 모드의 활성화는 플래그에 기초하는, 방법.
  7. 제 1 항에 있어서,
    비디오 비트스트림은 선택된 가상 레퍼런스 디코더 액세스 유닛에 대해서 적용되는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 평가되는, 방법.
  8. 제 7 항에 있어서,
    비디오 비트스트림은 선택된 가상 레퍼런스 디코더 액세스 유닛의 통계에 대해서 적용되는 가상 레퍼런스 디코더 타이밍 모델에 기초하여 평가되는, 방법.
  9. 제 8 항에 있어서,
    통계는 선택된 가상 레퍼런스 디코더 액세스 유닛의 비트 레이트, 사이즈, 및 구조를 포함하는, 방법.
  10. 비디오 디코더로서,
    가상 레퍼런스 디코더 버퍼에 대하여 비디오 비트스트림에 포함된 가상 레퍼런스 디코더 액세스 유닛의 도착 시간 및 제거 시간에 기초한 타이밍 제약을 지정하도록 정의된 가상 레퍼런스 디코더 타이밍 모델(277)로서, 가상 레퍼런스 디코더 액세스 유닛은 슬라이스 액세스 유닛 및 픽처 액세스 유닛 중에서 선택되는, 가상 레퍼런스 디코더 타이밍 모델(277); 및
    가상 레퍼런스 디코더 타이밍 모델에 기초하여 가상 레퍼런스 디코더 버퍼의 요구 조건의 적합성에 대한 비디오 비트스트림을 평가하기 위한 가상 레퍼런스 디코더 요구 조건 적합성 평가기(204)를 포함하는, 비디오 디코더.
  11. 제 10 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델(277)은 가변 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는, 비디오 디코더.
  12. 제 10 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델(277)은 일정한 비트 레이트 테스트 경우에 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는, 비디오 디코더.
  13. 제 10 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델(277)은 비디오 비트스트림이 가상 레퍼런스 디코더 버퍼의 요구 조건에 적합한지의 여부를 결정하는 리키 버킷 기법을 사용하는, 비디오 디코더.
  14. 제 10 항에 있어서,
    가상 레퍼런스 디코더 타이밍 모델(277)은 비디오 비트스트림이 1 프레임 기간 미만이 되도록 픽처의 디코딩 시간을 제약하는 초-저지연 모드에 적합한지의 여부를 확인하도록 구성된, 비디오 디코더.
KR1020147021569A 2012-02-08 2012-12-20 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치 KR20140130433A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261596519P 2012-02-08 2012-02-08
US61/596,519 2012-02-08
PCT/US2012/070943 WO2013119325A1 (en) 2012-02-08 2012-12-20 Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder

Publications (1)

Publication Number Publication Date
KR20140130433A true KR20140130433A (ko) 2014-11-10

Family

ID=47522947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021569A KR20140130433A (ko) 2012-02-08 2012-12-20 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20150003536A1 (ko)
EP (1) EP2813075A1 (ko)
JP (1) JP2015510354A (ko)
KR (1) KR20140130433A (ko)
CN (1) CN104185992A (ko)
WO (1) WO2013119325A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
WO2015136945A1 (en) * 2014-03-14 2015-09-17 Sharp Kabushiki Kaisha Systems and methods for constraining a bitstream
US10448405B2 (en) * 2015-03-19 2019-10-15 Qualcomm Incorporated Methods and apparatus for mitigating resource conflicts between ultra low latency (ULL) and legacy transmissions

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
EP2346261A1 (en) * 2009-11-18 2011-07-20 Tektronix International Sales GmbH Method and apparatus for multiplexing H.264 elementary streams without timing information coded
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9237352B2 (en) * 2011-10-05 2016-01-12 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US9554146B2 (en) * 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9351005B2 (en) * 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US9374581B2 (en) * 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding

Also Published As

Publication number Publication date
JP2015510354A (ja) 2015-04-02
US20150003536A1 (en) 2015-01-01
EP2813075A1 (en) 2014-12-17
WO2013119325A1 (en) 2013-08-15
CN104185992A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
US11553198B2 (en) Removal delay parameters for video coding
US10284862B2 (en) Signaling indications and constraints
US10489426B2 (en) Category-prefixed data batching of coded media data in multiple categories
KR101749472B1 (ko) 서브픽처 버퍼 파라미터를 시그널링하기 위한 전자 장치
US10250895B2 (en) DPB capacity limits
KR101353204B1 (ko) 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
JP6612338B2 (ja) Ｈｅｖｃ拡張の搬送用データストリームのｈｒｄ記述子およびバッファモデルの設計
CN107770550B (zh) 用于发送消息和缓冲比特流的电子设备
US20170105027A1 (en) Signaling dpb parameters in vps extension and dpb operation
KR101984181B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US20160255373A1 (en) Signaling parameters in vps extension and dpb operation
US20100074340A1 (en) Methods and apparatus for video stream splicing
US20170134742A1 (en) Slice type and decoder conformance
KR20150105431A (ko) 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미
US8724710B2 (en) Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
KR20090099547A (ko) 멀티뷰 코딩 비디오에서 비디오 에러 정정을 위한 방법 및 장치
KR20140130433A (ko) 가상 레퍼런스 디코더의 초-저지연 모드를 사용하기 위한 방법 및 장치
EP2116064A2 (en) Method and apparatus for video error concealment in multi-view coded video using high level syntax

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid