KR101037338B1 - 스케일러블 비디오 코딩 및 디코딩 - Google Patents

스케일러블 비디오 코딩 및 디코딩 Download PDF

Info

Publication number
KR101037338B1
KR101037338B1 KR1020097002415A KR20097002415A KR101037338B1 KR 101037338 B1 KR101037338 B1 KR 101037338B1 KR 1020097002415 A KR1020097002415 A KR 1020097002415A KR 20097002415 A KR20097002415 A KR 20097002415A KR 101037338 B1 KR101037338 B1 KR 101037338B1
Authority
KR
South Korea
Prior art keywords
message
indication
video bitstream
access unit
pictures
Prior art date
Application number
KR1020097002415A
Other languages
English (en)
Other versions
KR20090037920A (ko
Inventor
미스카 한누크셀라
예-쿠이 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090037920A publication Critical patent/KR20090037920A/ko
Application granted granted Critical
Publication of KR101037338B1 publication Critical patent/KR101037338B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 하나의 액세스 유닛 내의 서로 다른 픽쳐들에 관련된 보충 향상 정보를 전달하는 시스템 및 방법에 관련된다. 하나의 액세스 유닛 내의 서로 다른 픽쳐들은 스케일러블 비디오의 각각의 계층의 픽쳐들, 멀티뷰 비디오의 각각의 뷰의 픽쳐들, 또는 다중 디스크립션 코딩(MDC: multiple description coding) 비디오의 각각의 디스크립션의 픽쳐들일 수 있다. 보충 향상 정보 메시지가 연관된 픽쳐들을 나타내는 표시가 코딩된 비트스트림 내에 포함된다. 연속 디코딩 프로세스 동안에, 디코딩을 수행하는 기기가 이 정보를 인지하고 그 정보를 적절하게 사용한다.

Description

스케일러블 비디오 코딩 및 디코딩{Scalable video coding and decoding}
본 발명은 스케일러블 비디오 코딩 및 디코딩(Scalable Video Coding and Decoding)에 관련된다. 특히 본 발명은 스케일러블 비디오 코딩 및 디코딩에서 보충 향상 정보(SEI : Supplemental Enhancement Information) 메시지들의 사용에 관련된다.
본 섹션은 청구항에서 상술되는 본 발명에 배경 또는 컨텍스트를 제공할 의도이다. 설명은 여기에서 속행될 수 있지만, 반드시 이전에 고안되거나 추구되는 설명이지는 않는 개념들을 포함할 수 있다. 그러므로 여기서 달리 표시하지 않는 한, 본 섹션에서 설명된 것은 본 출원의 설명과 청구항들에 대한 종래 기술이 아니고 이 섹션에 포함시킴으로써 종래 기술로 받아들여져서는 안 된다.
멀티미디어 애플리케이션은 로컬 재생(playback), 스트리밍 또는 주문형(on-demand), 대화형 및 브로드캐스트/멀티캐스트 서비스를 포함한다. 멀티미디어 애플리케이션에서 포함된 기술은, 다른 것 중에, 미디어 코딩, 저장 및 전송을 포함한다. 다른 표준들은 다른 기술들을 위해 상술된다.
비디오 코딩 표준은 ITU-TH.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 ITU-T H.264 (ISO/IEC MPEG-4 AVC로서 또한 알려져 있음)를 포함한다. 또한 새로운 비디오 코딩 표준의 개발에 관해 현재 노력을 기울이고 있다. 개발 중인 그러한 표준의 하나는 스케일러블 비디오 코딩 (SVC : scalable video coding) 표준이며, H.264/AVC 표준 으로의 스케일러블 확장이 될 것이다. 또 다른 그와 같은 노력은 중국 비디오 코딩 표준의 개발을 포함한다. 개발 중인 또 다른 그와 같은 표준은 멀티뷰 비디오 코딩 (MVC: multi-view video coding) 표준이며, H.264/AVC에 대해 또 다른 확장이 될 것이다.
SVC(scalable video coding)는 스케일러블 비디오 비트스트림을 제공할 수 있다. SVC에서, 비디오 시퀀스는 다중 계층들에서 코딩될 수 있고, 각각의 계층은 일정한 공간 해상도에서 또는 시간적(temporal) 해상도에서 또는 일정한 품질 레벨에서 또는 이들 3가지의 조합에서 비디오 시퀀스의 1 가지의 표현(representation)이다. 스케일러블 비디오 비트스트림의 부분은 바람직한 공간 해상도, 시간적 해상도, 일정한 품질 레벨 또는 이러한 해상도들의 일정한 조합에서 추출되고 디코딩된다. 스케일러블 비디오 비트스트림은 비-스케일러블 기본 계층과 한 개 이상의 향상 계층을 포함한다. 향상 계층이 시간적 해상도(즉, 프레임 레이트), 공간 해상도, 또는 간단하게 하위 계층에 의해 표현되는 비디오 컨텐츠의 품질 또는 그 부분을 향상시킬 수 있다. 몇몇 케이스에서, 향상 계층의 데이터는 심지어 임의 위치에서, 일정한 위치 뒤에 절단될(truncated) 수 있고, 각각의 절단(truncation) 포지션은 점점 향상된 비쥬얼 품질을 표현하는 몇몇 추가 데이터를 포함할 수 있다. 그러한 스케일러빌러티(scalability)은 미세질(fine-grained) (입도) 스케일러 빌러티(FGS : fine-grained scalability)으로서 지칭된다. FGS와 대조적으로, 미세질 스케일러빌러티를 제공하지 않는 품질 향상 계층에 의해 제공된 스케일러빌러티는 조립질(coarse-grained) 스케일러빌러티 (CGS)으로서 지칭된다. 기본 계층은 또한 FGS 스케일러블이 되도록 설계될 수 있다. SVC(scalable video coding)는 비디오의 스케일러블 코딩의 일 실시예이다. SVC 표준의 드래프트가 JVT-S202, "Joint Scalable Video Model JSVM-6: Joint Draft 6 with proposed changes,", 19번째 JVT 미팅, 제네바, 스위스, 2006년 4월에서 설명된다.
MDC(multiple description coding)에서, 입력 미디어 시퀀스는 그 각각이 디스크립션(description)으로서 표현되는, 하나 이상의 서브스트림으로 인코딩된다. 각각의 디스크립션(description)은 독립적으로 디코딩가능하고, 일정한 미디어 품질을 표현한다. 그러나, 하나 이상의 디스크립션들의 근거로 한 채 또 다른 디스크립션의 추가 디코딩이 개선된 미디어 품질이 생기게 할 수 있다. MDC는 'Y. Wang, A. Reibman, 및 S. Lin, "Multiple description coding for video delivery," Proceedings of the IEEE, vol. 93, no.1, 2005년 1월'에서 상세히 논의된다.
멀티뷰 비디오 코딩에서, 서로 다른 카메라로부터 출력되는 비디오 시퀀스들[그 각각이 하나의 뷰(view)에 대응]은 하나의 비트스트림으로 인코딩된다. 디코딩한 후, 일정한 뷰를 디스플레이하기 위해, 그 뷰에 속하는 디코딩된 픽쳐(picture)들이 디스플레이된다. MVC 표준의 드래프트가 JVT-T208, "Joint multiview video model (JMVM 1.0)," 20번째 JVT 미팅, 클라겐푸르트, 오스트리아, 2006년 7월.˝에서 기술된다,
H.264/AVC 표준과 그것의 확장(extention)이 SEI(supplemental enhancement information) 메시지를 통하여 시그널링하는 보충 향상 정보 (SEI : supplemental enhancement information)의 지원을 포함한다. SEI(supplemental enhancement information) 메시지는 출력 픽쳐에서 정확한 샘플 값을 생성하기 위해 디코딩 프로세스에 의해 요구되지 않는다. 오히려, SEI(supplemental enhancement information) 메시지는 다른 목적, 예를 들어, 에러 내성(resilience)과 디스플레이를 위해 도움이 된다. H.264/AVC는 규정된 SEI(supplemental enhancement information) 메시지를 위한 신택스(syntax)와 시맨틱스(semantics)를 포함하지만, 수신자(recipient) 내에서 메시지를 핸들링하기 위한 어떤 프로세스도 정의되지 않는다. 따라서 인코더들은 그것들이 SEI(supplemental enhancement information) 메시지들을 생성할 때 H.264/AVC 표준을 따르도록 요구되고, H.264/AVC 표준에 따르는 디코더는 출력 순서 적합성(conformance)을 위해 SEI(supplemental enhancement information) 메시지를 처리하도록 요구되지 않는다. H.264/AVC에 SEI(supplemental enhancement information) 메시지의 신택스와 시맨틱스를 포함시키기 위한 이유의 하나는 3GPP 멀티미디어 명세(specification)들과 DVB 명세들과 같은 시스템 명세들이 동등하게 추가적인 정보를 해석해서 상호동작하도록 허용하기 위해서이다. 시스템 명세들이 인코딩 말단(end)에서 그리고 디코딩 말단에서 둘 다 특정 SEI(supplemental enhancement information) 메시지의 사용을 요구할 수 있고, 그리고 수신자 내에서 SEI(supplemental enhancement information) 메시지를 핸들링하기 위한 프로세스가 시스템 명세의 애플리케이션에 대하여 특정될 수 있는 것이 의도된다.
가장 최근의 SVC(scalable video coding) 명세의 시간적 스케일러빌러티를 제공하기 위한 메커니즘이 "계층적 B 픽쳐들" 코딩 구조로서 지칭된다 이 특징은 H.264/AVC에 의해 완전히 지지되고, 시그널링 부분은 서브-시퀀스-관련(sub-sequence-related) SEI(supplemental enhancement information) 메시지들을 사용함으로써 수행될 수 있다
H.264/AVC에 있는 SEI(supplemental enhancement information) 메시지는 스케일러블 확장 에넥스(annex)에 대한 어떤 참조(reference) 없이 기술된다. 따라서 H.264/AVC 인코더들은 생성되고 H.264/AVC 디코더들은 각각, H.264/AVC 표준에서 메시지의 시맨틱스에 의해 기술되고 제안된 것처럼 메시지들을 해석하고, 메시지들은 SVC(scalable video coding) 비트스트림에 있는 기본 계층 위에 픽쳐들의 특성들을 시그널링하기 위한 것으로서 사용될 수 없다. H.264/ AVC SEI(supplemental enhancement information) 메시지들이 속한 액세스 유닛들 및 픽쳐들이 SEI(supplemental enhancement information) 메시지 각각의 시맨틱스에서 특정된다. 예를 들면, SEI(supplemental enhancement information) 메시지를 담고 있는 액세스 유닛으로부터 나온 서브 시퀀스 계층 정보 SEI(supplemental enhancement information) 메시지 내의 정보는 어떤 연속하는 서브-시퀀스 계층 정보 SEI(supplemental enhancement information) 메시지가 존재하지 않으면 서브-시퀀스 계층 정보 SEI(supplemental enhancement information) 메시지를 담고 있는 다음 액세스 유닛이 독점적이거나, 비트스트림의 말단이 될 때까지 유효하다. 팬-스 캔(pan-scan) 직사각형 SEI 메시지는 어떤 픽쳐들에 대해서 메시지가 유효한지 특정하는 신택스 엘리먼트 (pan_scan_rect_repetition_period)를 포함한다.
H.264/AVC 코딩 표준에 따른 액세스 유닛은 0개 이상의 SEI(supplemental enhancement information) 메시지, 1개의 프라이머리 코딩된 픽쳐, 0개 이상 중복(redundant) 코딩된 픽쳐와 0개 이상 보조(auxiliary) 코딩된 픽쳐를 포함한다. 몇몇 시스템에서, 액세스 유닛의 바운더리(boundary)들의 검출은 비트스트림 안으로 액세스 유닛 구분문자(delimiter)를 삽입함으로써 단순화될 수 있다. SVC에 따른 액세스 유닛은 중복 또는 보조 코딩된 픽쳐가 아닌 적어도 하나의 코딩된 픽쳐를 포함한다. 예를 들어, SVC(scalable video coding) 액세스 유닛은 기본 계층용 하나의 프라이머리 코딩된 픽쳐와 다중 향상 코딩된 픽쳐들을 포함할 수 있다. 여기에서 기술된 것처럼 코딩된 픽쳐는 dependency_id 및 quality_level의 특정 값들을 갖는 액세스 유닛 내에 네트워크 추출 계층 (NAL : network abstraction layer) 유닛들의 모두를 나타낸다.
SEI(supplemental enhancement information) 메시지의 범위에 대한 다수의 다른 가능성들이 있다. SEI(supplemental enhancement information) 메시지가 하나 이상의 액세스 유닛에 속한 데이터를 포함할 때 (예를 들어 SEI(supplemental enhancement information) 메시지가 그것의 범위로 코딩된 비디오 시퀀스를 가짐), 그것은 SEI(supplemental enhancement information) 메시지가 적용되는(apply) 제1 액세스 유닛에서 포함된다. 동등하게 장면(scene) 정보, 스테레오 비디오, 기타 등등 같은 단일의 액세스 유닛에 속한 데이터를 포함하는 SEI(supplemental enhancement information) 메시지는 액세스 장치에서 모든 픽쳐에 대해 적용된다(apply). SEI(supplemental enhancement information) 메시지는 필러(filler) 데이터, 사용자 데이터 기타 등등 관련될 수도 있고 그리고 어떤 특정 액세스 유닛에 연관되지 않을 수 있다.
스케일러블 비디오 코딩, 다중 디스크립션 코딩, 멀티뷰 비디오 코딩과 다른 비디오 코딩 방법에서, 액세스 유닛은 다중 코딩된 픽쳐를 포함할 수 있으며, 이때 각각의 픽쳐는 일정한 공간 해상도, 시간적 해상도, 일정한 품질 레벨, 뷰, 디스크립션 또는 그것의 몇몇 조합에 있는 비디오 시퀀스 또는 시퀀스들의 하나의 표현이다. 예를 들면, 일정 애플리케이션들에서, 동일한 픽쳐 크기를 가진 픽쳐들에만 팬(pan) 및 스캔 방법을 적용해서 동일한 픽쳐 크기를 가진 픽쳐들이 디스플레이의 하나의 유형에서 보여질 수 있는 반면에 팬 및 스캔의 다른 유형은 다른 픽쳐 크기에서 요구될 수 있도록 하는 것이 바람직할 수 있다. 이 상황에서, 액세스 유닛 내의 어떤 픽쳐들에 특정 SEI(supplemental enhancement information) 메시지가 적용되는지를 특정하는 메커니즘을 가지는 것이 바람직할 것이다. 예를 들어, 액세스 유닛 내에 제시된 각각의 픽쳐 크기에 대하여 팬 스캔 직사각형을 특정하는 메커니즘을 가지고 메모리 관리 제어 연산들(operation)을 할 각각의 확률(possibility)을 나타내기 위해 필요한만큼 반복 SEI(supplemental enhancement information) 메시지들를 마킹하는 참조 픽쳐를 가지는 것이 도움이 될 것이다.
마지막으로, H.264/AVC 표준에 따른 SEI(supplemental enhancement information) 메시지의 시맨틱스가 액세스 유닛 내의 AVC 픽쳐(예를 들어 SVC 내의 기본 계층 픽쳐)에 대해서만 적용될 수 있다. 이 상황에서, 액세스 유닛내의 임의의 다른 픽쳐까지 SEI(supplemental enhancement information) 메시지의 범위와 시맨틱스를 연장하는 것이 바람직할지도 모른다. 이것은 여분의(spare) 픽쳐들, 서브-시퀀스 계층 특성, 서브-시퀀스 특성, 모션 제한된(motion-constrained) 슬라이스 그룹 세트, 필름 그레인(grain) 특성, 디블로킹 필터(deblocking filter) 디스플레이 프리퍼런스(display preference), 기타 등등와 같은 항목을 표시하는 SEI(supplemental enhancement information) 메시지를 위한 케이스이다. 서브-시퀀스 계층 특성(characteristics)과 서브시퀀스 특성의 통계 데이터의 현재 시맨틱스는 단지 H.264/AVC 기본 계층용이지만, 비슷한 통계치가 dependency_id와 qulaity_level의 특정 값을 가진 픽쳐를 위해 또한 의미심장할 수 있다. 또 다른 실시예에서, 표시된 여분의 픽쳐는 기본 층을 위해 충분하지만, 픽쳐 품질이 향상 계층들에서 개선될 때, 향상 계층에 있는 상응하는 픽쳐는 여분의 픽쳐로서 충분하지 않을 수도 있다.
본 발명의 다양한 실시 예들은 하나의 액세스 유닛에 있는 인코딩된 픽쳐들에 관련된 보충 향상 정보(SEI)를 전달하는 시스템들 및 방법들을 제공한다. 특히 하나의 액세스 유닛 내의 인코딩된 픽쳐들은 스케일러블 비디오의 각각의 계층의 픽쳐들, 멀티뷰 비디오의 각각의 뷰의 픽쳐들, 다중 디스크립션 코딩(MDC : multiple description coding) 비디오의 각각의 디스크립션의 픽쳐들일 수 있다. 다양한 실시 예들의 시스템 및 방법은 보충 향상 정보 메시지가 연관된 픽쳐들을 나타내는 표시를 코딩된 비트스트림 내 포함한다. 여기서 디스크립션은 특히 디스크립션 목적을 위해서 사용되는 신택스 및 시맨틱스에 더하여[적절한 신택스는 인코딩 프로세스 동안체 더해짐] 예컨데 H264/AVC SEI(supplemental enhancement information) 메시지들을 사용하는 다양한 실시 예들에 의하여 제공된다. 연속 디코딩 프로세스 동안에, 디코딩을 수행하는 기기는 이 정보를 인지하고 그것을 적절하게 사용한다. 시스템 및 방법은 스케일러빌러티 계층들, 뷰들 및/또는 MDC 디스크립션들을 위한 H.264/AVC SEI(supplemental enhancement information) 메시지들의 재사용을, 그 메시지들의 시맨틱스들 내에 작은 추가들을 함으로써, 가능케한다.
본 발명의 다양한 실시 예들은 또한 스케일러블 비디오의 각각의 계층의 픽쳐들, 코딩된 비트스트림 내의 중복(redundant) 코딩된 픽쳐들 또는 보조(auxiliary) 코딩된 픽쳐들에 관련된 보충 향상 정보를 전달하는 시스템 및 방법을 또한 제공한다. 본 발명의 시스템 및 방법은 보충 향상 정보 메시지가 연관된 스케일러블 비디오의 픽쳐들을 나타내는 표시를 코딩된 비트스트림 안에 포함한다.
본 발명의 다양한 실시 예들은 비디오를 인코딩된 비디오 비트스트림으로 인코딩하기 위한 방법, 컴퓨터 프로그램 제품 및 장치를 포함한다. 복수의 픽쳐들이 하나의 액세스 유닛으로 인코딩된 이후에, 액세스 유닛과 연관된 제1 표시가 인코딩된다. 제1 표시와 연관된 적어도 하나의 메시지가 그 다음에 인코딩된다. 제1 표시는 액세스 유닛 내의 어떤 인코딩된 픽쳐들에 적어도 하나의 메시지가 적용되는지를 표시한다.
본 발명의 다른 실시 예들은 인코딩된 비디오 비트스트림으로부터 비디오를 디코딩하기 위한 방법, 컴퓨터 프로그램 제품 및 장치를 포함한다. 인코딩 전에, 인코딩 동안에, 또는 인코딩 후에 액세스 유닛과 연관된 제1 표시가 디코딩되고, 제1 표시와 연관된 적어도 하나의 메시지가 디코딩된다. 제1 표시는 액세스 유닛에 있는 인코딩된 복수의 픽쳐들 중 어느 것에 그 적어도 하나의 메시지가 적용되는가를 표시한다.
그런 다음에 액세스 유닛의 복수의 픽쳐들은 디코딩된 제1 표시에 따라 비트스트림으로부터 처리된다.
본 발명의 이런 그리고 다른 이점들이 본 발명의 구성 및 동작 방식과 함께, 첨부된 도면들과 연관하여 고려될 때 아래의 상세한 설명으로부터 명백해질 것이다. 도면들에서 동일한 요소들은 아래에 기술된 다수의 도면들을 통해 동일한 참조번호를 가진다.
도 1은 본 발명에 사용되는 일반적 멀티미디어 통신 시스템을 보여준다.
도 2는 본 발명의 구현에서 사용될 수 있는 이동 전화의 사시도이다.
도 3은 도 2의 이동 전화의 회로소자의 개략적 표시이다.
도 4는 H.264/AVC에 따른 액세스 유닛들의 엘리먼트들의 구조와 순서의 설명이다. 그리고
도 5는 본 발명의 일 실시예에 따라서 구성된 스케일러블 포개진(nesting) SEI(supplemental enhancement information) 메시지의 표현(representation)이다.
본 발명의 다양한 실시예는 하나의 액세스 유닛에 있는 인코딩된 픽쳐들에 관련된 보충 향상 정보를 전달하기 위한 시스템과 방법을 제공한다. 특히, 하나의 액세스 유닛에 있는 인코딩된 픽쳐들은 스케일러블 비디오의 각각의 계층의 픽쳐들, 멀티뷰 비디오의 각각의 뷰의 픽쳐들, 다중 디스크립션 코딩(MDC) 비디오에서 각각의 디스크립션의 픽쳐들일 수 있다. 다양한 실시예의 시스템과 방법이 보충 향상 정보 메시지가 연관된 픽쳐들을 나타내는 표시를 코딩된 비트스트림에 포함한다. 여기서 디스크립션은 특히 디스크립션 목적을 위해서 사용되는 신택스 및 시맨틱스에 더하여[적절한 신택스는 인코딩 프로세스 동안에 더해짐], 예컨데 H264/AVC SEI(supplemental enhancement information) 메시지들을 사용하는 다양한 실시 예들에 의하여 제공된다. 후속 디코딩 과정 동안, 디코딩을 수행하는 기기는 이 정보를 인지하고, 적절하게 쓴다. 시스템과 방법은 메시지들의 시맨틱스들에 작은 추가들로, 스케일러빌러티 계층들, 뷰들 및/또는 MDC(multiple description coding) 디스크립션들을 위한 H.264/AVC SEI(supplemental enhancement information) 메시지의 재사용을 가능하게 한다.
본 발명의 다양한 실시예는 또한 스케일러블 비디오의 각각의 계층의 픽쳐들, 코딩된 비트스트림에 있는 중복 코딩된 픽쳐들 또는 보조 코딩된된 픽쳐들에 관련된 보충 향상 정보를 전달하기 위한 시스템과 방법을 제공한다. 시스템과 방법은 보충 향상 정보 메시지가 연관된 스케일러블 비디오의 픽쳐들을 나타내는 표시를 코딩된 비트스트림에 포함한다.
도 1은 본 발명에 사용되는 일반적 멀티미디어 통신 시스템을 보여준다. 도 1에 도시된 바와 같이, 데이터 소스(100)는 아날로그, 압축해제된 디지털이거나, 압축된 디지털 포맷 또는 이런 포맷들의 임의의 조합으로 소스 신호를 제공한다. 인코더(110)는 소스 신호를 코딩된 미디어 비트스트림으로 인코딩한다. 인코더(110)는 오디오 및 비디오와 같은 하나 이상의 미디어 타입을 인코딩할 수 있거나, 하나 이상의 인코더(110)는 소스 신호의 다른 미디어 유형들을 코딩하도록 요구될 수 있다. 인코더(110)는 그래픽스와 텍스트와 같은, 합성적으로(synthetically) 산출된 입력을 또한 얻을 수 있고, 또는 인코더(110)는 합성(synthetic) 미디어의 코딩된 비트스트림들을 산출할 수 있다. 다음에서, 하나의 미디어 타입의 하나의 코딩된 미디어 비트스트림의 처리만이 디스크립션(description)을 단순화하기 위해 고려된다. 그러나 일반적으로 실시간 방송(broadcast) 서비스가 여러 스트림을 (일반적으로 적어도 하나의 오디오, 비디오 및 텍스트 자막 처리(sub-titling) 스트림 ) 포함하는 것이 주목되어야 한다. 시스템이 많은 인코더를 포함할 수 있지만, 다음에서 단지 하나의 인코더(110)만 범용성있게 디스크립션을 단순화시킨다고 간주되는 것을 또한 주의되어야 한다.
몇몇 시스템은 또한 저장부(120)로부터 입력으로서 코딩된 비트스트림을 수신하고, 저장부(120)에 편집 오퍼레이션의 결과를 기록하는 편집기(editor)를 (도 1에 미도시) 포함한다. 편집기는 데이터 요소를 제거하고/또는 삽입함으로써 코딩된미디어 비트스트림을 수정한다. 예를 들어, 편집기가 temporal_level이 결정된 임계값보다 더 높은, 액세스 유닛들을 제거할 수 있다
보충 정보가 인코더(110)에서 ( 비디오 시퀀스의 인코딩 프로세스 동안 ) 또는 편집기( 코딩된 비디오의 ˝ 편집 작업 ˝ 프로세스 동안 )에서 생성될 수 있다. 예를 들어, 팬과 스캔(pan-and-scan) 정보는 인코딩 프로세스 뒤에 생성될 수 있다.
코딩된 미디어 비트스트림은 저장부(120)로 이동된다. 저장부(120)는 코딩된 미디어 비트스트림을 저장하기 위한 임의 유형의 대용량 메모리를 포함할 수 있다. 저장부(120)에 있는 코딩된 미디어 비트스트림의 포맷은 엘리멘터리(elementary) 자급식(self-contained) 비트스트림 포맷일 수 있거나, 한 개 이상의 코딩된 미디어 비트스트림이 컨테이너 파일 안으로 캡슐화될 수 있다. 몇몇 시스템은 ˝라이브˝로서 동작한다 - 즉 저장을 생략하고 인코더(110)로부터 송신부(130)로 직접적으로 코딩된 미디어 비트스트림을 전송한다. 그런 다음에 코딩된 미디어 비트스트림은 필요하다면, 서버로서 또한 언급된 송신부(130)로 이동된다. 전송에서 사용된 포맷이 엘리멘터리 자급식 비트스트림 포맷, 패킷 스트림 포맷일 수 있거나, 1개 이상의 코딩된 미디어 비트스트림들이 컨테이너 파일 안으로 캡슐화될 수 있다. 인코더(110), 저장부(120)와 송신부(130)는 동일한 물리적 기기에서 상주할 수 있거나 그것들은 분리된 기기들에 포함될 수 있다. 인코더(110)와 송신부(130)는 라이브 실시간 콘텐츠에 의해서 동작할 수 있고, 그런 경우에 코딩된 미디어 비트스트림은 처리 지연, 전달 지연과 코딩된 미디어 비트레이트에 있는 변동(variation)을 매끄럽게하기 위하여 콘텐츠 인코더(110)에서 그리고/또는 송신부(130)에서 영구히 일반적으로 저장되지 않고, 오히려 작은 시간 구간들 동안 버퍼링된다. 코딩된 미 디어 비트스트림의 다른 부분들용으로 다른 통신 프로토콜들을 사용하는 것이 또한 가능하다. 예를 들어, 파라미터 세트 NAL 유닛들은 세션 디스크립션 프로토콜 (SDP)를 사용하여 전달될 수 있고, 반면에 남아있는 데이터는 RTP를 사용하여 운반된다.
송신부(130)는 통신 프로토콜 스택을 사용하여 코딩된 미디어 비트스트림을 송신한다. 스택은 실시간 트랜스포트 프로토콜(RTP : Real-time Transport Protocol), 사용자 데이터그램 프로토콜(UDP : User Datagram Protocol)과 인터넷 프로토콜(IP : Internet Protocol)을 포함할 수 있지만, 이에 제한되지 않는다. 통신 프로토콜 스택이 패킷 지향 방식(packet-oriented)일 때, 송신부(130)는 패킷 안으로 코딩된 미디어 비트스트림을 캡슐화한다. 예를 들어, RTP가 사용될 때, 송신부 (130)는 RTP 페이로드 포맷에 따라서 RTP 패킷 안으로 코딩된 미디어 비트스트림을 캡슐화한다. 일반적으로, 각각의 미디어 유형은 전용 RTP 페이로드 포맷을 가진다. 시스템이 하나 이상의 송신부(130)를 포함할 수 있지만, 간이화 목적을 위해서 아래의 설명은 하나의 송신부(130)만을 고려하는 것을 주목해야 한다.
송신부(130)는 통신 네트워크를 통해 게이트웨이(140)에 연결될 수도 연결되지 않을 수도 있다. 게이트웨이(140)는 하나의 통신 프로토콜 스택으로부터 다른 하나의 통신 프로토콜 스택에 따라 패킷 스트림의 번역(translation), 데이터 스트림의 통합과 포킹(forking), 및 다운링크 그리고/또는 수신부 성능에 따라 데이터 스트림의 조작(manipulation)[예컨데 널리 보급되어 있는 다운링크 네트워크 상태에 따라서 포워드된 스트림의 비트 레이트를 제어하는 것]과 같은 기능의 서로 다 른 타입들을 수행할 수 있다. 게이트웨이(140)의 예가 MCUs(multipoint conference control unit), 회선-교환과 패킷-교환 비디오 텔레포니(telephony) 사이의 게이트웨이, PoC(Push-to-talk over Cellular) 서버들, DVB-H(digital video broadcasting-handheld) 시스템들에서의 IP 인캡슐레이터들, 또는 브로드캐스트 전송들을 로컬하게 홈 무선 네트워크들로 포워드하는 셋톱 박스들을 포함한다, RTP가 사용될 때, 게이트웨이(140)는 RTP 믹서로 지칭되고, RTP 커넥션의 엔드포인트로 동작한다.
대안적으로, 코딩된 미디어 비트스트림은 송신부(130)로부터 수신부(150)로 다른 수단에 의해 이동될 수 있고, 그 다른 수단은 예컨대 디스크 또는 기기가 송신부(130)에 연결될 때 휴대용 대용량 메모리 디스크 또는 기기에 코딩된 미디어 비트스트림을 저장하고 그리고 나서 디스크 또는 기기를 수신부(150)에 연결하는 것이다.
시스템은 한 개 이상의 수신부(150)를 포함하고, 일반적으로 코딩된 미디어 비트스트림 안으로 송신 신호를 수신하고, 복조하고 캡슐화 취소(de-capsulating)한다. 캡슐화 취소는 수신부가 디코딩을 할 수 없거나 디코딩되는 것이 바람직하지 않는 데이터의 제거를 포함할 수 있다. 코덱 미디어 비트스트림은 일반적으로 디코더(160)에 의해 추가 처리되며, 그것의 출력은 하나 이상의 압축해제된 미디어 스트림이다. 마침내, 렌더러(renderer)(170)는 예를 들어, 확성기 또는 디스플레이를 사용하여 압축해제된 미디어 스트림을 재생할 수 있다. 수신부(150), 디코더(160)와, 및 렌더러(renderer)(170)는 동일한 물리 기기에 상주할 수 있거나 그것들은 분리된 기기들에 포함될 수 있다.
비트 레이트, 디코딩 복잡성과 픽쳐 크기에 관한 스케일러빌러티는 이질적 이고 에러 경향이 있는 환경을 위한 바람직한 특성이다. 이 특성은 수신 기기에서 비트 레이트, 디스플레이 해상도, 네트워크 효율 및 연산 능력에 대한 제약과 같은 제한에 대항하기 위하여 바람직하다.
H.264/AVC와 SVC(scalable video coding) 표준들에서, 전송을 위한 엘리멘트리 코딩 유닛은 네트워크 추출 계층 (NAL : Network Abstraction Layer) 유닛으로서 지칭된다. 패킷 지향 방식(packet-oriented) 통신 시스템과 저장 포맷들에서, NAL 유닛들은 각각 트랜스포트 패킷들과 저장 유닛들 안으로 캡슐화된다. 스트림 지향 방식(stream-oriented) 통신 시스템과 저장 포맷들에서, 자급식 바이트 스트림은 스타트 코드와 함께 각각의 NAL 유닛에 선행하여 코딩된 비디오 시퀀스의 NAL 유닛들로부터 형성된다. 각각의 NAL 유닛은 NAL 유닛 헤더와 NAL 유닛 페이로드를 포함한다. NAL 유닛 헤더는 NAL 유닛 타입과 다른 정보를 표시한다. NAL 유닛 페이로드는 스타트 코드의 임의의 에뮬레이션(emulation)을 포함하지 않기 위해 수정된 RBSP(raw byte sequence payload)를 포함한다. RBSP(raw byte sequence payload)의 구조는 RBSP를 포함하는 NAL 유닛 타입에 의해 결정된다. SEI RBSP는 한 개 이상의 SEI 메시지를 포함한다. 각각의 SEI 메시지가 3 가지의 필드를 포함한다 : SEI 페이로드 타입, SEI 페이로드 크기와 SEI 페이로드. SEI 페이로드 타입은 SEI 페이로드의 신택스과 시맨틱스 표시한다. SEI 페이로드 크기는 ( 바이트 단위로 ) SEI 페이로드의 크기를 표시한다. SEI 페이로드는 SEI 페이로드를 위한 신택스 엘리먼트 를 포함한다.
도 4는 H.264/AVC에 따라서 액세스 유닛들의 엘리먼트들의 구조와 순서를 도해한다. 도 4에서 나타날 수 있는 것처럼, 액세스 유닛 구분문자(access unit delimiter)(400) 다음에 SEI(410), 프라이머리 코딩된 픽쳐(primary coded picture)(420) 및 코딩된 픽쳐 (프라이머리 아님)(430)가 오고, 그 다음에 각각 시퀀스 (440)의 엔드와 스트림의 엔드(450)가 온다. 블록 코딩된 픽쳐 (프라이머리 아님)(430)는 중복 코딩된 픽쳐, 보조 코딩된 픽쳐 또는 향상 코딩된 픽쳐의 임의의 조합을 나타낸다. SVC 액세스 유닛을 위한 구조는 ( 기본 계층을 위해 ) 프리이머리 코딩된 픽쳐가 존재하지 않을 수도 있다는 사실을 제외하고, 도 4에서 도해된 구조에 동일하다.
스케일러블 비디오 코딩에서, 액세스 유닛은 다중 코딩된 픽쳐를 포함할 수 있으며, 이때 각각의 픽쳐는 일정한 공간 해상도에서, 시간적 해상도에서, 일정한 품질 레벨에서 또는 그 3가지 조합에서의 비디오 시퀀스의 하나의 표현이다. SVC 표준에 따른 액세스 유닛은 기본 계층을 위한 하나의 프라이머리 코딩된 픽쳐를 포함하고, 다중 향상 코딩된 픽쳐들을 담고 있을 수 있으나, dependency_id, temporal_level과 quality_level의 각각의 고유 조합 당 중복 코딩된 픽쳐는 아닌 잘해야 하나의 향상 코딩된 픽쳐를 담고 있을 수 있다. 환언하면 dependency_id, temporal_level과 quality_level은 스케일러블 비디오 스트림에서 계층을 고유하게 결정한다. SVC 표준에 따라 스케일러블 비디오 스트림에 있는 액세스 유닛과 연관된 dependency_id 및 quality_level의 고유 조합은 액세스 유닛의 코딩된 픽쳐들을 고유하게 결정한다. 픽쳐들의 다른 고유 식별자들이 또한 사용될 수 있다. 그러한 고유 식별자들은 배수 값들의 조합일 수 있고 이런 값들이 코딩된 비트스트림에서 명시적으로 전달될 수 있거나 비트스트림에서 전달한 임의의 다른 정보를 사용하여 내재적으로 결정될 수 있다.
본 발명의 다양한 실시예는 스케일러블 포개진 SEI(supplemental enhancement information) 메시지로서 여기에서 언급되는 새로운 SEI 메시지의 형태에 신호의 도입을 포함한다. 본 발명이 포개진 SEI 메시지를 설명하기 위해 사용된 용어에 제한되어서는 안되고 다른 용어가 또한 사용될 수 있는 것을 이해하여야 한다. 스케일러블 포개진 SEI 메시지의 표현은 도 5에서 묘사된다. 하나의 실시 예에서, 스케일러블 포개진 SEI 메시지는 추가로 포개진 SEI 메시지를 포함하여, 임의의 타입의 포개진 SEI 메시지를 포함한다. 또 다른 실시예에서, 포개진(nested) SEI 메시지는 또 다른 스케일러블 포개진 SEI 메시지 이외의 임의의 타입의 SEI 메시지라는 것이 한정될 수 있다. 포함된 메시지의 사이즈는 스케일러블 포개진 SEI 메시지의 표시된 페이로드 크기와 부합한다 (스케일러블 포개진 SEI 페이로드의 ˝ 헤더˝를 고려했을 때임). 스케일러블 포개진 SEI 메시지는 표시, 예를 들어, pictures_in_au_flag와 같은 플래그를 포함할 수 있으며, 그것은 포개진 SEI 메시지가 문제가되는 액세스 유닛의 모든 코딩된 픽쳐에 적용되는지 표시한다. 메시지가 액세스 유닛의 몇몇 코딩된 픽쳐들에만 적용되면, 스케일러블 포개진 SEI 메시지는, 포개진 SEI 메시지가 연관된 액세스 유닛 안에 있는 픽쳐들의 표시(indication)(예를 들어, 픽쳐들의 dependency_id와 quality_level의 값들)를 포함한다. 픽쳐들의 다른 고유 식별자들이 또한 사용될 수 있다. 그러한 고유 식별자들은 배수 값들의 조합일 수 있고 이런 값들이 코딩된 비트스트림에서 명시적으로 전달될 수 있거나 비트스트림에서 전달한 임의의 다른 정보를 사용하여 내재적으로 결정될 수 있다. 도 1의 인코더 (110)에 의해 인코딩된 이 정보는 디코더(160)에 의해 디코딩되고, 포개진 SEI 메시지의 시맨틱스에 따라서, 디코딩, 디스플레이 또는 다른 목적에 관련된 프로세스들에 조력하기 위해 사용된다.
하나의 특정 실시 예에 따라, 본 발명의 관련 신택스 구조들은 다음과 같다.
Figure 112009007245595-pct00001
Figure 112009007245595-pct00002
Figure 112009007245595-pct00003
상기에 더하여, 스케일러블 포개진 SEI(supplemental enhancement information) 메시지는 SEI(supplemental enhancement information) 메시지들을 중 복 픽쳐들에 그리고 보조 픽쳐의 표시에 연관시키는 것이 바람직하다면 redundant_pic_cnt를 또한 포함시킬 수 있다.
본 발명의 또 다른 실시예에서, 포개진 SEI(supplemental enhancement information) 메시지는 각각 동일한 범위를 갖는, 다중 포개진 SEI(supplemental enhancement information) 메시지를 포함할 수 있다. 즉, 다중 포개진 SEI(supplemental enhancement information) 메시지의 모두가 동일 픽쳐들과 연관된다. 이 실시예에서, scalable_nesting syntax 구조의 신택스가 다음 표에서 상술된다. more_sei_message_data( )는 SEI(supplemental enhancement information) 메시지에서 파싱될 더 많은 데이타가 있다면 그 함수에 대한 호출( 즉, 이 경우에 스케일러블 포개진 SEI(supplemental enhancement information) 메시지) TRUE를 반환하는 함수이다. 만약 그렇지 않으면, more_sei_message_data( )는 FALSE를 반환한다.
Figure 112009007245595-pct00004
스케일러블 포개진 SEI(supplemental enhancement information) 메시지에 부가하여, H.264/AVC의 각각의 SEI 메시지의 시맨틱스는 스케일러블 포개진 SEI 메시지 내에서 사용될 때 메시지의 시맨틱스를 포함하기 위해 재정의될 수 있다. 팬-스캔 직사각형(pan-scan rectangle) SEI 메시지와 같은 몇몇 메시지의 시맨틱스는 또한 일정한 향상 코딩된 픽쳐와 연관되기 위해 일반화될 수 있다. 일반적으로, 임의의 H.264/AVC SEI 메시지의 시맨틱스는 스케일러블 포개진 SEI 메시지에 의해 식별되는 범위에서 모든 픽쳐를 어드레싱하기 위해 재정립될 수 있다. 이것이 일반적으로 메시지가 속한 프라이머리 코딩된 픽쳐들만을 어드레싱한 H.264/AVC에 의해 특정되는 시맨틱스와 상반된다. 예를 들어 스케일러블 포개진 SEI 메시지가 모션-제한된 슬라이스-그룹(motion-constrained slice-group) 세트 SEI 메시지와 같은, SEI 메시지[코딩된 비디오 시퀀스에 있는 모든 액세스 유닛들에 속하지만, 예를 들 어 dependency_id 및 quality_level 과 같은 동일한 고유 표시를 구비한 이런 액세스 유닛들의 일정 픽쳐들에만 속하는 메시지임]를 포함할 때이다(예를 들어, 그 메시지는 그 메시지가 적용되는 픽쳐들을 함유한 제1 액세스 유닛 내에 일반적으로 포함될 것이다). 특정 SEI 메시지가 temporal_level의 일정 값을 구비한 픽쳐들에 속하는 것이 바람직하다면, SEI 메시지는 일반적으로 그 메시지가 적용되고 바람직한 temporal_level을 구비한 픽쳐들을 함유한 제1 액세스 유닛 내에 포함된다. SVC(scalable video coding) 명세에 따라서, 하나의 액세스 유닛에 있는 프라이머리 코딩된 픽쳐와 향상 코딩된 픽쳐들이 temporal_level의 동일한 값을 가진다. 특정 SEI 메시지가 temporal_level 값들의 일정한 범위를 가지는 픽쳐들에 속한 것이 바람직하면, SEI 메시지 신택스는 temporal_level 값의 범위를 표시하기 위한 메카니즘을 포함할 수 있거나, 그 범위가 SEI 메시지와 동일한 액세스 유닛에 포함된 픽쳐들의 temporal_level로부터 유도될 수 있다.
본 발명의 하나의 실시 예에서, H.264/AVC의 특정 SEI(supplemental enhancement information) 메시지-즉 여분의(spare) 픽쳐 SEI 메시지-의 시맨틱스는 스케일러블 포개진 SEI 메시지 내에 사용될 때 다음과 같이 규정될 수 있다 : 여분의 픽쳐 SEI 메시지가 스케일러블 포개진 SEI 메시지에서 포함되는 때, 아래에서 정의되는 타겟 픽쳐 및 여분의 픽쳐가 1 부터 5 범위의 nal_unit_type를 가진 NAL(network abstraction layer) 유닛들, 및 20 또는 21과 동일한 nal_unit_type을 가진 NAL 유닛들로부터 디코딩되고 그리고 NAL 유닛을 위해 dependency_id가 dependency__id[i] 중에 있고 quality_level이 quality_level[i] 중에 있을 때 여 분의 픽쳐 SEI 메시지가 적용될 수 있다. 이 SEI(supplemental enhancement information) 메시지는 하나 이상의 디코딩된 참조 픽쳐들에 있는, 여분의 슬라이스 그룹 맵 유닛들로서 지칭되는 일정한 슬라이스 그룹 맵 유닛들이 타겟 픽쳐로 불리는 특정된 디코딩된 픽쳐에 함께 위치한 슬라이스 그룹 맵 유닛들과 닮는다고 표시한다. 여분의 슬라이스 그룹 맵 유닛은 타겟 픽쳐에 있는 함께 위치한, 부정확하게 디코딩된 슬라이스 그룹 맵 유닛을 대체시키기 위해 사용될 수 있다. 여분의 슬라이스 그룹 맵 유닛들을 포함하는 디코딩된 픽쳐는 여분의 픽쳐로서 지칭된다.
본 발명의 다른 하나의 실시 예에 따른 관련 신택스 구조들은 다음을 포함한다.
Figure 112009007245595-pct00005
이 신택스에서, view_id[i]는 i번째 픽쳐가 속하는 뷰의 식별자(identifier)를 표시한다. 다른 신택스 엘리먼트는 이전에 논의된 실시예의 시맨틱스와 동일한 시맨틱스를 가진다. 하나의 뷰에 속하는 픽쳐들의 다른 고유 식별자들이 또한 사용될 수 있다.
MDC를 포함하는 본 발명의 또 하나의 실시예에 따른 적절한 신택스 구조가 다음과 같다 :
Figure 112009007245595-pct00006
상기의 신택스에서, description_id[i]는 i번째 픽쳐가 속하는 MDC 디스크립션의 식별자를 표시한다. 다른 신택스 엘리먼트들은 이전에 기술된 첫 번째 실시예에 있는 시맨틱스와 동일한 시맨틱스를 가진다. MDC 디스크립션에 속하는 픽쳐들의 다른 고유 식별자가 또한 사용될 수 있다.
SVC와 MVC의 조합을 포함하는 본 발명의 추가적인 실시예에 따른 적절한 신택스 구조가 다음과 같다 :
Figure 112009007245595-pct00007
상기의 신택스에서, view_id[i]는 i번째 픽쳐가 속하는 뷰의 식별자를 표시한다. 다른 신택스 엘리먼트들은 이전에 기술된 첫 번째 실시예의 시맨틱스와 동일한 시맨틱스를 가진다. 스케일러블 계층에 속하는 픽쳐들의 다른 고유 식별자들이 또한 사용될 수 있다.
SVC, MVC와 MDC의 조합을 포함하는 본 발명의 또 하나의 실시예에 따른 적절한 신택스 구조가 다음과 같다 :
Figure 112009007245595-pct00008
상기 신택스에서 view_id[i]는 i번째 픽쳐가 속하는 뷰의 식별자를 표시한다. description_id[i]는 i번째 픽쳐가 속하는 MDC 디스크립션의 식별자를 표시한다. 다른 신택스 엘리먼트들은 이전에 기술된 첫 번째 실시 예의 시맨틱스와 동일한 시맨틱스를 가진다. 스케일러블 계층, 뷰 및 MDC 디스크립션에 속하는 픽쳐들의 다른 고유 식별자들이 또한 사용될 수 있다.
도 2 및 도 3은 본 발명이 구현될 수 있는 이동 전화(12)의 하나의 표현을 도시한다. 그러나 본 발명은 이동 전화(12) 또는 다른 전자 기기의 하나의 특정 타입에 제한될 의도가 아님을 알아야 한다. 도 2 및 도 3에 도시된 특징들의 일부 또는 모두는 도 1에 표현된 기기들의 일부 또는 모두에 포함될 수 있다.
도 2 및 3의 이동 전화(12)는 하우징(30), LCD(liquid crystal display) 형태의 디스플레이(32), 키패드 (34), 마이크로 폰(36), 이어피스(ear-piece)(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 하나의 실시 예에 따른 UICC 형태의 스마트 카드(46), 카드 리더(48), 무선 인터페이스 회로소자(52), 코덱 회로소자(54), 제어부(56), 및 메모리(58)을 포함한다. 개별 회로들 및 엘리먼트들들은 본 기술분야, 예를 들면 노키아 범위의 이동 전화들에서 모두 잘 알려진 형태이다.
본 발명의 통신 기기들은 다양한 전송 기술들을 사용하여 통신할 수 있고, 이때 전송 기술은 CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications), UMTS(Universal Mobile Telecommunications System), TDMA(Time Division Multiple Access), FDMA(Frequency Division Multiple Access), TCP/IP(Transmission Control Protocol/Internet Protocol), SMA(Short Messaging Service), MMS(Multimedia Messaging Service), 이메일, IMS(Instant Messaging Service), 블루투스(Bluetooth), IEEE 802.11, 기타등등을 포함하지만 이에 제한되지는 않는다. 통신 기기는 무선, 적외선, 레이저, 케이블 연결 기타 등등을 사용하여 통신할 수 있지만 이에 제한되는 것은 아니다.
본 발명은 방법 단계들의 일반적인 정황에서 설명되고, 이는 프로그램 코드와 같이 네트워크 환경에서 컴퓨터에 의해 실행될 수 있는 컴퓨터 실행 가능한 명령어들을 포함하는 프로그램 제품에 의하여 일 실시예에 구성될 수 있다. 일반적으로 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추출(abstract) 데이터형을 구성하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 데이터 구조들과 관련된 컴퓨터 실행 가능한 명령어들 및 프로그램 모듈들은 여기에 개시된 방법들의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 실행 가능한 명령어들 또는 관련된 데이터 구조들과 같은 것의 특정 시퀀스는 그러한 단계들에서 묘사된 기능들을 구성하기 위한 상응하는 동작의 예들을 나타낸다.
본 발명의 소프트웨어 및 웹은 기본 로직 및 다른 로직과 함께 표준 프로그래밍 기술들을 구현하여 다양한 데이터베이스 검색 단계, 상호연관 단계, 비교 단계 및 결정 단계를 수행함으로써 실현될 수 있다. 본 발명의 상세한 설명 및 청구항에서 사용되는 "구성" 및 "모듈"이라는 용어는 하나 이상의 소프트웨어 코드 라인들 및/또는 하드웨어 구현들, 및/또는 수신하는 수동 입력들을 위한 장치를 이용 하여 구현되는 예들을 모두 포함한다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 스케일러블 비디오 코딩 및 디코딩(Scalable Video Coding and Decoding)에 사용될 수 있다.

Claims (46)

  1. 스케일러블 비디오 비트스트림 안으로 비디오를 인코딩하기 위한 방법으로서:
    액세스 유닛 안으로 복수의 픽쳐(picture)를 인코딩하는 단계;
    상기 액세스 유닛과 연관된 제1 표시(indication)를 인코딩하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 인코딩하는 단계; 및
    상기 제1 표시를 사용해서, 상기 액세스 유닛 내에 있는 어떤 인코딩된 픽쳐들에 상기 적어도 하나의 메시지가 적용되는지를 표시하는 단계를 포함하는, 스케일러블 비디오 인코딩 방법.
  2. 제1항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림인, 스케일러블 비디오 인코딩 방법.
  3. 제2항에 있어서,
    상기 제1 표시는 dependency_id 값 및 quality_level 값을 포함하는, 스케일러블 비디오 인코딩 방법.
  4. 제1항에 있어서,
    상기 제1 표시는 포개진(nesting) 보충 향상 정보 (SEI : supplemental enhancement information) 메시지를 포함하며,
    상기 적어도 하나의 메시지는 포개진 SEI 메시지 이외의 임의의 SEI 메시지를 포함하는, 스케일러블 비디오 인코딩 방법.
  5. 제4항에 있어서,
    상기 포개진 SEI 메시지는 상기 포개진 SEI 메시지를 적어도 하나의 중복 코딩된 픽쳐로 연관시키는 제3 표시를 더 포함하는, 스케일러블 비디오 인코딩 방법.
  6. 제1항에 있어서,
    상기 제1 표시는 상기 적어도 하나의 메시지가 상기 액세스 유닛에 있는 모든 인코딩된 픽쳐에 적용된다고 표시하는 제2 표시를 포함하는, 스케일러블 비디오 인코딩 방법.
  7. 제1항에 있어서,
    상기 제1 표시가 상기 적어도 하나의 메시지가 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 일부에만 적용되는지 또는 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 모두에 적용되는지의 여부를 표시하는 경우인, 스케일러블 비디오 인코딩 방법.
  8. 제1항에 있어서,
    상기 비디오 비트스트림은 멀티뷰(multi-view) 비디오 비트스트림을 포함하는, 스케일러블 비디오 인코딩 방법.
  9. 제8항에 있어서,
    상기 제1 표시는 view_id 값을 포함하는, 스케일러블 비디오 인코딩 방법.
  10. 제1항에 있어서,
    상기 비디오 비트스트림은 다중 디스크립션 비트스트림을 포함하는, 스케일러블 비디오 인코딩 방법.
  11. 제10항에 있어서,
    상기 제1 표시는 description_id 값을 포함하는, 스케일러블 비디오 인코딩 방법.
  12. 제1항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림과 멀티뷰 비디오 비트스트림의 조합을 포함하는, 스케일러블 비디오 인코딩 방법.
  13. 제1항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림, 멀티뷰 비디오 비트스트림, 다중 디스크립션 비트스트림의 조합을 포함하는, 스케일러블 비디오 인코딩 방법.
  14. 비디오를 스케일러블 비디오 비트스트림 안으로 인코딩하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램은,
    액세스 유닛 안으로 복수의 픽쳐(picture)를 인코딩하는 단계;
    상기 액세스 유닛과 연관된 제1 표시(indication)를 인코딩하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 인코딩하는 단계; 및
    상기 제1 표시를 사용해서, 상기 액세스 유닛 내에 있는 어떤 인코딩된 픽쳐들에 상기 적어도 하나의 메시지가 적용되는지를 표시하는 단계를 수행하도록 구성된 컴퓨터 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  15. 스케일러블 비디오 비트스트림 안으로 비디오를 인코딩하기 위한 장치로서서:
    프로세서; 및
    상기 프로세서와 통신하도록 연결되며,
    액세스 유닛 안으로 복수의 픽쳐(picture)를 인코딩하는 단계;
    상기 액세스 유닛과 연관된 제1 표시(indication)를 인코딩하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 인코딩하는 단계; 및
    상기 제1 표시를 사용해서, 상기 액세스 유닛 내에 있는 어떤 인코딩된 픽쳐들에 상기 적어도 하나의 메시지가 적용되는지를 표시하는 단계를 실행하는 프로그램을 저장한 메모리부를 포함한 스케일러블 비디오 인코딩 장치.
  16. 제15항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림인, 스케일러블 비디오 인코딩 장치.
  17. 제15항에 있어서,
    상기 제1 표시는 포개진(nesting) 보충 향상 정보 (SEI : supplemental enhancement information) 메시지를 포함하며,
    상기 적어도 하나의 메시지는 포개진 SEI 메시지 이외의 임의의 SEI 메시지를 포함하는, 스케일러블 비디오 인코딩 장치.
  18. 제15항에 있어서,
    상기 제1 표시는 상기 적어도 하나의 메시지가 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 일부에만 또는 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 모두에 적용되는지 아닌지를 표시하는 제2 표시를 포함하는, 스케일러블 비디오 인코딩 장치.
  19. 제15항에 있어서,
    상기 제1 표시가 상기 적어도 하나의 메시지가 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 적어도 일부에 적용되는지의 여부를 표시하는 경우인, 스케일러블 비디오 인코딩 장치.
  20. 제15항에 있어서,
    상기 비디오 비트스트림은 다중 디스크립션 비트스트림을 포함하는, 스케일러블 비디오 인코딩 장치.
  21. 제15항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림과 멀티뷰 비디오 비트스트림의 조합을 포함하는, 스케일러블 비디오 인코딩 장치.
  22. 제15항에 있어서,
    상기 비디오 비트스트림은 멀티뷰 비디오 비트스트림을 포함하는, 스케일러블 비디오 인코딩 장치.
  23. 제15항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림, 멀티뷰 비디오 비트스트림, 다중 디스크립션 비트스트림의 조합을 포함하는, 스케일러블 비디오 인코딩 장치.
  24. 스케일러블 비디오 비트스트림으로부터의 비디오를 처리하는 방법으로서:
    액세스 유닛과 연관된 제1 표시를 디코딩하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 처리하는 단계 [상기 제1 표시는 상기 액세스 유닛 내에 인코딩된 복수의 픽쳐들 중 어느 것에 상기 적어도 하나의 메시지가 적용되는지를 표시함]; 및
    상기 처리된 제1 표시에 따라 상기 액세스 유닛의 복수의 픽쳐들을, 상기 비트스트림으로부터 처리하는 단계;를 포함하는, 스케일러블 비디오 처리 방법.
  25. 제24항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림인, 스케일러블 비디오 처리 방법.
  26. 제24항에 있어서,
    상기 제1 표시는 포개진(nesting) 보충 향상 정보 (SEI : supplemental enhancement information) 메시지를 포함하며,
    상기 적어도 하나의 메시지는 상기 포개진 SEI 메시지 이외의 임의의 SEI 메시지를 포함하는, 스케일러블 비디오 처리 방법.
  27. 제26항에 있어서,
    상기 포개진 SEI 메시지는 상기 포개진 SEI 메시지를 적어도 하나의 중복 코딩된 픽쳐로 연관시키는 제3 표시를 더 포함하는, 스케일러블 비디오 처리 방법.
  28. 제24항에 있어서,
    상기 제1 표시는 적어도 하나의 메시지가 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 일부에만 적용되는지 또는 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 모두에 적용되는지의 여부를 표시하는, 스케일러블 비디오 처리 방법.
  29. 제24항에 있어서,
    상기 제1 표시는 상기 액세스 유닛 내에 있는 인코딩된 픽쳐들 중 어느 것에 상기 적어도 하나의 메시지가 연관되는지를 또한 표시하는, 스케일러블 비디오 처리 방법.
  30. 제24항에 있어서,
    상기 제1 표시는 dependency_id 값 및 quality_level 값을 포함하는, 스케일러블 비디오 처리 방법.
  31. 제24항에 있어서,
    상기 비디오 비트스트림은 멀티뷰 비디오 비트스트림을 포함하는, 스케일러블 비디오 처리 방법.
  32. 제31항에 있어서,
    상기 제1 표시는 view_id 값을 포함하는, 스케일러블 비디오 처리 방법.
  33. 제24항에 있어서,
    상기 비디오 비트스트림은 다중 디스크립션 비트스트림을 포함하는, 스케일러블 비디오 처리 방법.
  34. 제33항에 있어서,
    상기 제1 표시는 description_id 값을 포함하는, 스케일러블 비디오 처리 방법.
  35. 제24항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림과 멀티뷰 비디오 비트스트림의 조합을 포함하는, 스케일러블 비디오 처리 방법.
  36. 제24항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림, 멀티뷰 비디오 비트스트림, 및 다중 디스크립션 비트스트림의 조합을 포함하는, 스케일러블 비디오 처리 방법.
  37. 비디오를 스케일러블 비디오 비트스트림으로부터 디코딩하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램은,
    액세스 유닛과 연관된 제1 표시를 디코딩하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 처리하는 단계 [상기 표시는 상기 액세스 유닛 내에 인코딩된 복수의 픽쳐들 중 어느 것에 상기 적어도 하나의 메시지가 적용되는지를 표시함]; 및
    상기 처리된 제1 표시에 따라 상기 액세스 유닛의 복수의 픽쳐들을, 상기 비트스트림으로부터 처리하는 단계;를 실행하도록 구성된 컴퓨터 코드를 포함하는, 컴퓨터 판독가능 저장 매체.
  38. 스케일러블 비디오 비트스트림으로부터의 비디오를 처리하는 장치로서,
    프로세서; 및
    상기 프로세서와 통신하도록 연결되며,
    액세스 유닛과 연관된 제1 표시를 처리하는 단계;
    상기 제1 표시와 연관된 적어도 하나의 메시지를 처리하는 단계 [상기 제1 표시는 상기 액세스 유닛 내에 인코딩된 복수의 픽쳐들 중 어느 것에 상기 적어도 하나의 메시지가 적용되는지를 표시함]; 및
    상기 처리된 제1 표시에 따라 상기 액세스 유닛의 복수의 픽쳐들을, 상기 비트스트림으로부터 처리하는 단계를 실행하도록 구성된 컴퓨터 코드를 저장한 메모리부를 포함한, 스케일러블 비디오 처리 장치.
  39. 제38항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림인, 스케일러블 비디오 처리 장치.
  40. 제38항에 있어서,
    상기 제1 표시는 포개진(nesting) 보충 향상 정보 (SEI : supplemental enhancement information) 메시지를 포함하며,
    상기 적어도 하나의 메시지는 포개진 SEI 메시지 이외의 임의의 SEI 메시지를 포함하는, 스케일러블 비디오 처리 장치.
  41. 제38항에 있어서,
    상기 제1 표시는 적어도 하나의 메시지가 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 일부에만 또는 상기 액세스 유닛에 있는 인코딩된 픽쳐들의 모두에 적용되는지 아닌지를 표시하는, 스케일러블 비디오 처리 장치.
  42. 제38항에 있어서,
    상기 제1 표시는 상기 액세스 유닛 내에 있는 인코딩된 픽쳐들 중 어느 것에 상기 적어도 하나의 메시지가 연관되는지를 또한 표시하는, 스케일러블 비디오 처리 장치.
  43. 제38항에 있어서,
    상기 비디오 비트스트림은 멀티뷰 비디오 비트스트림을 포함하는, 스케일러블 비디오 처리 장치.
  44. 제38항에 있어서,
    상기 비디오 비트스트림은 다중 디스크립션 비트스트림을 포함하는, 스케일러블 비디오 처리 장치.
  45. 제38항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림과 멀티뷰 비디오 비트스트림의 조합을 포함하는, 스케일러블 비디오 처리 장치.
  46. 제38항에 있어서,
    상기 비디오 비트스트림은 스케일러블 비디오 비트스트림, 멀티뷰 비디오 비트스트림, 및 다중 디스크립션 비트스트림의 조합을 포함하는, 스케일러블 비디오 처리 장치.
KR1020097002415A 2006-07-11 2007-07-10 스케일러블 비디오 코딩 및 디코딩 KR101037338B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US83035806P 2006-07-11 2006-07-11
US60/830,358 2006-07-11
US11/736,492 2007-04-17
US11/736,492 US8699583B2 (en) 2006-07-11 2007-04-17 Scalable video coding and decoding

Publications (2)

Publication Number Publication Date
KR20090037920A KR20090037920A (ko) 2009-04-16
KR101037338B1 true KR101037338B1 (ko) 2011-05-26

Family

ID=38923653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097002415A KR101037338B1 (ko) 2006-07-11 2007-07-10 스케일러블 비디오 코딩 및 디코딩

Country Status (9)

Country Link
US (1) US8699583B2 (ko)
EP (1) EP2041978B1 (ko)
KR (1) KR101037338B1 (ko)
CN (1) CN101536527B (ko)
AT (1) ATE556541T1 (ko)
ES (1) ES2383831T3 (ko)
HK (1) HK1136126A1 (ko)
TW (1) TWI423679B (ko)
WO (1) WO2008007337A2 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008048886A2 (en) 2006-10-16 2008-04-24 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
WO2008127536A2 (en) 2007-04-12 2008-10-23 Thomson Licensing Methods and apparatus for video usability information (vui) for scalable video coding (svc)
MX2009010322A (es) 2007-04-24 2009-10-19 Nokia Corp Señalizacion de multiples tiempos de descodificacion en archivos multimedia.
BRPI0810213A8 (pt) * 2007-05-16 2018-12-11 Thomson Licensing métodos e aparelho para uso de grupos de fatia na decodificação de informações de codificação de vídeo de múltiplas vistas (mvc).
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
BRPI0811469A8 (pt) * 2007-06-28 2019-01-22 Thomson Licensing métodos e dispositivo em um codificador e decodificador para suportar decodificação de ciclo simples de vídeo codificado em imagem multivista
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
WO2009152450A1 (en) * 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
KR101012760B1 (ko) * 2008-09-05 2011-02-08 에스케이 텔레콤주식회사 다시점 비디오의 송수신 시스템 및 방법
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
WO2011159617A1 (en) 2010-06-15 2011-12-22 Dolby Laboratories Licensing Corporation Encoding, distributing and displaying video data containing customized video content versions
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
SG10201408609SA (en) 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
WO2013076156A1 (en) 2011-11-21 2013-05-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interleaving for layer-aware forward error correction
US10200708B2 (en) 2011-11-30 2019-02-05 Qualcomm Incorporated Sequence level information for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9094179B2 (en) 2011-12-20 2015-07-28 Electronics And Telecommunications Research Institute Apparatus for providing multimedia services and method thereof
KR20130071354A (ko) 2011-12-20 2013-06-28 한국전자통신연구원 멀티미디어 서비스 제공 장치 및 그 방법
CN103200399B (zh) * 2012-01-04 2016-08-31 北京大学 基于可伸缩视频编码的控制视频质量波动的方法及装置
EP2876878B1 (en) * 2012-07-19 2018-12-12 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
RU2645717C2 (ru) * 2012-09-07 2018-03-01 Сони Корпорейшн Устройство передачи, способ передачи, устройство приёма и способ приёма
US9491494B2 (en) 2012-09-20 2016-11-08 Google Technology Holdings LLC Distribution and use of video statistics for cloud-based video encoding
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
CA2909601A1 (en) * 2013-07-07 2015-01-15 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
CN103747259A (zh) * 2013-12-27 2014-04-23 华为技术有限公司 视频处理方法及装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10593019B2 (en) * 2014-10-17 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
TWI635740B (zh) * 2017-06-12 2018-09-11 元智大學 平行化階層式無失真壓縮方法及其架構
US10370810B1 (en) * 2018-10-01 2019-08-06 Edward Times Feces collection assembly
JP7392124B2 (ja) * 2019-09-24 2023-12-05 華為技術有限公司 指定されたレイヤのためのスケーラブル・ネスティングｓｅｉメッセージ
WO2021061390A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Sei message for single layer ols
CN117478900A (zh) * 2019-09-24 2024-01-30 华为技术有限公司 用于实现时间可适性的图像时序和解码单元信息
JP2023526955A (ja) * 2020-05-22 2023-06-26 ジーイー ビデオ コンプレッション エルエルシー ビデオエンコーダ、ビデオデコーダ、符号化及び復号のための方法、並びに高度なビデオ符号化概念を実現するためのビデオデータストリーム
WO2022068838A1 (en) * 2020-09-29 2022-04-07 Beijing Bytedance Network Technology Co., Ltd. Signalling of multiview information

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
WO2005074295A1 (en) 2004-01-16 2005-08-11 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
WO2007042916A1 (en) 2005-10-11 2007-04-19 Nokia Corporation System and method for efficient scalable stream adaptation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035453B2 (en) * 2000-03-24 2006-04-25 Reality Commerce Corporation Method and apparatus for parallel multi-view point video capturing and compression
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
WO2003036979A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using adaptive content filtering
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US6920486B2 (en) * 2002-05-20 2005-07-19 Nokia Corporation Method and apparatus for enabling synchronizing data in different devices having different capabilities and unmatched data fields
MXPA05000559A (es) * 2002-07-15 2005-04-19 Nokia Corp Metodo para ocultamiento de errores en secuencias de video.
US6973128B2 (en) * 2003-02-21 2005-12-06 Mitsubishi Electric Research Labs, Inc. Multi-path transmission of fine-granular scalability video streams
JP4411045B2 (ja) * 2003-09-26 2010-02-10 京セラミタ株式会社 画像濃度制御方法
CA2542266C (en) * 2004-04-28 2012-07-17 Matsushita Electric Industrial Co. Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
EP1615441A1 (en) * 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
EP1638337A1 (en) * 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
WO2005074295A1 (en) 2004-01-16 2005-08-11 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
US20050175098A1 (en) 2004-01-16 2005-08-11 General Instruments Corporation Method, protocol, and apparatus for transporting advanced video coding content
WO2007042916A1 (en) 2005-10-11 2007-04-19 Nokia Corporation System and method for efficient scalable stream adaptation

Also Published As

Publication number Publication date
EP2041978A2 (en) 2009-04-01
CN101536527A (zh) 2009-09-16
TW200822758A (en) 2008-05-16
EP2041978B1 (en) 2012-05-02
WO2008007337A3 (en) 2008-04-10
EP2041978A4 (en) 2010-04-21
ATE556541T1 (de) 2012-05-15
US20080013620A1 (en) 2008-01-17
US8699583B2 (en) 2014-04-15
CN101536527B (zh) 2012-03-21
KR20090037920A (ko) 2009-04-16
HK1136126A1 (en) 2010-06-18
TWI423679B (zh) 2014-01-11
ES2383831T3 (es) 2012-06-26
WO2008007337A2 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
KR101037338B1 (ko) 스케일러블 비디오 코딩 및 디코딩
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
KR101100413B1 (ko) 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
US9451289B2 (en) Carriage of SEI messages in RTP payload format
JP4903877B2 (ja) ビデオの符号化においてピクチャ出力インジケータを提供するためのシステムおよび方法
KR101031022B1 (ko) 버추얼 디코딩된 참조 픽처 마킹 및 참조 픽처 리스트
US8365060B2 (en) System and method for indicating track relationships in media files
KR101088772B1 (ko) 스케일러블 멀티미디어의 적응 경로들에 대한 포괄적 표시
TWI435607B (zh) 以媒體檔案發信號通知感興趣區域可縮放性資訊之技術
KR20100030648A (ko) 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
AU2012202346B2 (en) System and method for indicating track relationships in media files
US20070283132A1 (en) End-of-block markers spanning multiple blocks for use in video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140508

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 9