KR101072341B1 - Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송 - Google Patents

Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송 Download PDF

Info

Publication number
KR101072341B1
KR101072341B1 KR1020097017111A KR20097017111A KR101072341B1 KR 101072341 B1 KR101072341 B1 KR 101072341B1 KR 1020097017111 A KR1020097017111 A KR 1020097017111A KR 20097017111 A KR20097017111 A KR 20097017111A KR 101072341 B1 KR101072341 B1 KR 101072341B1
Authority
KR
South Korea
Prior art keywords
information
packet
abstraction layer
network abstraction
layer unit
Prior art date
Application number
KR1020097017111A
Other languages
English (en)
Other versions
KR20090111844A (ko
Inventor
미스카 한눅셀라
예-쿠이 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090111844A publication Critical patent/KR20090111844A/ko
Application granted granted Critical
Publication of KR101072341B1 publication Critical patent/KR101072341B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

NAL 유닛 헤더 내에 인덱스들을 선택적으로 포함하는 대신에 SEI 메시지 내에 t10_pic_idx와 같은 시간적 레벨 0 화상 인덱스들을 전송함으로써 에러 복원 특징들을 수정하는 시스템 및 방법을 제공한다. 부가하여 실시간 전송 프로토콜(RTP) 패킷에서 어떠한 SEI 메시지들의 반복을 가능하게 하는 메카니즘이 제공된다. 어떠한 SEI 메시지들의 그러한 반복을 가능하게 하는 것은 어떠한 수신된 패킷에 기초하여 손실된 시간적 레벨 0 화상들이 검출을 용이하게 한다.

Description

ＲＴＰ 페이로드 포맷에서의 ＳＥＩ 메시지들의 전송{Carriage of SEI messages in RTP payload format}
본 발명은 일반적으로 스케일러블(scalable) 비디오 부호화의 필드와 관련된 것으로서, 보다 상세하게는 H.264/Advanced Video Coding(AVC)과 스케일러블 비디오 부호화(Scalable Video Coding; SVC)에서 오류 복구(resiliency)와 관련된 것이다.
본 섹션은 청구항들에서 인용된 발명에 대한 배경 또는 정황을 제공하기 위해 의도되었다. 여기에서의 기재는 추구될 수 있는 개념을 포함할 수 있지만 반드시 이전에 고안되었거나 추구되었던 개념들은 아니다. 그러므로 여기에서 그렇지 않다고 표시되지 않는다면, 이 섹션에서 기술된 것은 본 출원서의 상세한 설명 및 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된 것에 의해 종래 기술로 인정되지 않는다.
비디오 부호화 표준은 ITU-T H.261, ISO/IEC MPEG-I Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual 및 ITU-T H.264(또한 ISO/IEC MPEG-4 AVC로 알려져 있음)를 포함한다. 추가하여, 새로운 비디오 부호화 표준들의 개발과 관련하여 현재 연구 노력이 진행되고 있다. 개발 중 에 있는 그러한 하나의 표준은 SVC 표준이며, 그것은 H.264/AVC에 대한 스케일러블 확장이 될 것이다. 개발 중에 있는 다른 표준은 멀티-뷰우 부호화 표준(multi-view coding standard; MVC)이며, 이는 또한 H.264/AVC의 확장이다. 또 다른 그러한 노력은 중국 비디오 부호화 표준의 개발을 포함하고 있다.
SVC의 가장 최근의 초안은 JVT-U201, "Joint Draft 8 of SVC Amendment", 21st JVT meeting, HangZhou, China, Oct. 2006(21번째 JVT 회의, 항저우, 중국, 2006년 10월)에 기재되어 있으며, 이는 ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U201.zip에서 이용할 수 있다. MVC의 최근 초안은 JVT-U209, "Multiview Video Coding", 21st JVT meeting, HangZhou, China, Oct. 2006(21번째 JVT 회의, 항저우, 중국, 2006년 10월)에 기재되어 있으며, 이는 ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U209.zip에서 이용할 수 있다. 이들 모든 문서는 온전히 참조문헌으로서 여기에 통합된다.
스케일러블 미디어는 전형적으로 데이터의 계층구조적인 계층에 배열된다. 기본 계층은 비디오 시퀀스와 같은 부호화된 매체 스트림의 개개의 표시를 포함한다. 향상(enhancement) 계층들은 그 계층 계층구조에서 이전의 계층에 관련한 정밀 데이터를 포함한다. 향상 계층들이 기본 계층에 부가되어짐에 따라 복호화된 매체 스트림의 품질은 점차 개선된다. 향상 계층은 시간적(temporal) 해상도(즉, 프레임 비율), 공간적 해상도를 개선시키거나, 또는 다른 계층 또는 그것의 일부분에 의해 표시되는 비디오 콘텐츠의 품질을 간단하게 개선시킨다. 각 계층과 그것의 종속된 계층 모두는 어떤 공간적 해상도, 시간적 해상도와 품질 수준에서의 비디오 신호의 하나의 표시이다. 그러므로 용어 "스케일러블 계층 표시"는 스케일러블 계층의 모든 종속된 계층과 함께 스케일러블 계층을 기술하기 위해 여기에 사용된다. 어떤 충실도로 원 신호의 표시를 생성하기 위해 스케일러블 계층 표시와 상응하는 스케일러블 비트스트림의 일부분이 추출되어 복호화될 수 있다.
비디오 부호화 계층(video coding layer; VCL)과 네트워크 추상 계층(network abstraction layer; NAL)의 개념은 향상된 비디오 부호화(advanced video coding; AVC)로부터 상속되어 졌다. VCL은 코덱의 신호 처리 기능; 변환, 양자화, 움직임-보상된 예측, 루프 필터, 상호 계층 예측과 같은 메카니즘을 포함한다. 기저 또는 향상 계층의 부호화된 화상은 하나 이상의 슬라이스들로 구성된다. NAL은 VCL에 의해 생성된 각 슬라이스를 하나 이상의 NAL 유닛들로 캡슐화한다. NAL 유닛은 NAL 유닛 헤더와 NAL 유닛 페이로드(payload)를 포함한다. NAL 유닛 헤더는 NAL 유닛이 부호화된 슬라이스, 부호화된 슬라이스 데이터, 부호화된 슬라이스 데이터 파티션, 설정된 시퀀스 또는 화상 파라미터 등을 포함하는지를 나타내는 NAL 유닛 타입을 포함한다. NAL 유닛 스트림은 많은 NAL 유닛들의 연결이다. H.264/AVC 또는 그것의 확장 예컨대, SVC에 따라 부호화된 비트스트림은 시작 코드를 NAL 유닛 스트림에 있는 각각의 NAL 유닛 앞에 덧붙임으로써, NAL 유닛 스트림 또는 바이트 스트림이 된다.
각 SVC 계층은 그 계층의 부호화된 비디오 비트들을 나타내는 NAL 유닛들에 의해 형성된다. 단지 한 개의 계층을 전송하는 실시간 전송 프로토콜(real time transport protocol; RTP) 스트림은 그 계층에만 속해 있는 NAL 유닛들을 전송하게 된다. 완전한 스케일러블 비디오 비트스트림을 전송하는 RTP 스트림은 기본 계층 및 하나 이상의 향상 계층의 NAL 유닛들을 전송할 것이다. SVC는 이러한 NAL 유닛들의 복호화 순서를 상술하고 있다.
몇몇 경우에서, 향상 계층에서의 데이터는 각각 끊기는 위치가 더욱 향상된 시각적 품질을 나타내는 추가 데이터를 포함할 수 있는 어떤 위치 이후 또는 임의의 위치들에서 구분되어 잘려질 수 있다. 끊기는 지점들이 밀접한 간격을 이루는 경우에, 스케일러빌리티가 "세밀한 입자(fine-grained)"로 말할 수 있으며, 용어로는 FGS(fine grained(granular) scalability)라 한다. FGS와 대조적으로, 어떤 성긴 위치들에서만 절단될 수 있는 그것들의 향상 계층들에 의해 제공된 스케일러빌리티는 거친 입자 스케일러빌리티(coarse-grained(granularity) scalability; CGS)로 불린다.
H.264/AVC 비디오 부호화 표준에 의하면, 액세스 유닛은 하나의 주요 부호화된 화상을 포함한다. 일부 시스템에서, 액세스 유닛 경계들의 검출은 액세스 유닛 구분문자(delimeter) NAL 유닛을 비트스트림에 삽입함으로써 단순화될 수 있다. SVC에서, 액세스 유닛은 다중 주요 부호화 화상들을 포함할 수 있으나, dependency_id, temporal_level 및 quality_level의 각각의 고유의 결합에 대하여 고작 하나의 화상을 포함한다.
부호화된 비디오 비트스트림은 광범위하고 다양한 목적들을 위해 비디오의 사용을 향상시키기 위한 여분의 정보를 포함할 수 있다. 예컨대, H264/AVC에 정의 된 바와 같이 보충적 향상 정보(supplemental enhancement information; SEI)와 비디오 유용성 정보(video usability information; VUI)는 그러한 기능성을 제공한다. H.264/AVC 표준과 그것의 확장들은 SEI 메시지들을 통한 SEI 시그널링의 지원을 포함한다. 복호화 프로세스는 출력 화상들에서 정확한 샘플 값들을 생성하기 위해 SEI 메시지들을 요구하지 않는다. 오히려, SEI 메시지들은 예컨대, 오류 복구 및 디스플레이와 같은 다른 목적들을 위해서 유용하다. H.264/AVC에서는 상술된 SEI 메시지를 위해 구문과 의미론을 포함하지만, 수신자에서 메시지를 처리하기 위한 어떠한 프로세스도 정의되어 있지 않다. 따라서, 부호화기들이 SEI 메시지를 작성할 때 부호화기들은 H.264/AVC 표준을 따르도록 요구되어 지며, H.264/AVC 표준에 적합한 복호화기는 출력 순서 적합성을 위해 SEI 메시지들을 처리하기 위해 요구되지 않는다. H.264/AVC에서 SEI 메시지의 구문과 의미론을 포함하는 이유들 중의 하나는 3GPP 멀티미디어 사양과 DVB 사양과 같은 시스템 사양이 보충적 정보를 동일하게 해석하도록 함으로써 상호 동작할 수 있도록 하는 것이다. 시스템 사양이 부호화단과 복호화단 양쪽에서 특정 SEI 메시지들의 사용을 요구할 수 있으며, 수신자에서 SEI 메시지를 처리하기 위한 프로세스가 시스템 사양에서 애플리케이션을 위해 정의될 수 있다는 것이 의도되어 있다.
SVC는 계층적 시간적(temporal) 스케일러빌리티를 제공하기 위해 H.264/AVC에서 사용되는 것과 같은 유사한 메카니즘을 사용한다. SVC에서, 참조와 비참조 화상들의 어떤 세트가 남아 있는 비트스트림의 부호화에 영향을 주지 않고 코드화된 비트스트림으로부터 삭제될 수 있다. 계층적 시간적 스케일러빌리티는 움직임 보상 을 위한 다중 참조 화상을 요구한다. 즉, 부호화기가 상호 예측을 위하여 참조 화상을 선택할 수 있는 다중 부호화된 화상들을 저장하는 참조 화상 버퍼가 있다. H.264/AVC에서, 서브-시퀀스로 불리는 특징은 계층적 시간적 스케일러빌리티를 가능하게 하며, 여기서, 각 향상 계층은 서브-시퀀스를 포함하고, 각 서브-시퀀스는 많은 참조 및/또는 비참조 화상들을 포함한다. 서브-시퀀스는 어떠한 하위(lower) 서브-시퀀스 계층에서 다른 어떤 서브-시퀀스에 대해서도 방해 없이 배열될 수 있는 많은 상호 종속 화상들로 구성될 수 있다. 서브-시퀀스 계층들은 계층적으로 서로에 대하여 그것들의 의존성에 기초하여 계층적으로 배열된다. 그러므로 가장 높은 향상 계층에서 서브-시퀀스가 배열되고, 나머지 비트스트림은 유효하게 유지된다. H.264/AVC에서, 시간적 스케일러빌리티 정보의 시그널링은 서브-시퀀스와 관련된 보충적 향상 정보(supplemental enhancement information; SEI)메시지들을 사용함으로써 실현된다. SVC에서, 시간적 레벨(temporal level) 계층은 네트워크 추상 계층(Network Abstraction Layer; NAL) 유닛들의 헤더에서 표시된다.
부가하여, SVC는 상호 계층 예측 메카니즘을 사용한다. 이로써 어떤 정보가 현재 재구축된 계층 또는 다음 하위 계층 이외의 계층들로부터 예측될 수 있다. 예측되는 상호 계층일 수 있는 정보는 내부 구조, 움직임 및 잔여 데이터이다. 상호 계층 움직임 예측은 또한 블록 부호화 모드의 예측, 헤더 정보 등을 포함하며, 보다 하위의 계층으로부터 움직임 정보는 보다 상위 계층을 예측하기 위해 사용될 수 있다. SVC에서 내부 부호화 즉, 주위의 매크로 블록들로부터 또는 하위 계층들의 함께 위치한 매크로 블록들로부터 예측을 사용하는 것이 가능하다. 그러한 예측 기 술은 움직임 정보를 사용하지 않으므로, 내부 예측 기술로 불린다. 또한, 보다 하위 계층들로부터의 잔여 데이터는 또한 현재의 계층을 예측하기 위해 사용되어질 수 있다.
상술한 바와 같이 SVC는 최대 레벨까지 품질을 향상시키는 향상 정보의 부호화뿐만 아니라 일부 최소 품질을 갖는 "기본(base) 계층"의 부호화를 포함한다. SVC 스트림들의 베이스 계층은 전형적으로 향상된 비디오 부호화(advanced video coding; AVC)가 적절하게 될 수 있다. 다른 말로, AVC 복호화기들은 SVC 스트림의 기본 계층을 복호할 수 있으며, SVC-특정 데이터를 무시할 수 있다. 이러한 특징은 SVC에 특유하며, AVC에 향후 사용을 위해 확보되었고, AVC 사양에 따라 스킵되어야 하는 부호화된 슬라이스 NAL 유닛 타입들을 지정함으로써 실현되었다.
H.264/AVC의 순시적인 부호화 리프레쉬(instantaneous decoding refresh; IDR) 화상은 단지 내부 부호화된 슬라이스들을 포함하며, 현재의 화상을 제외한 모든 참조 화상들이 "참조를 위해 미사용"과 같은 표시가 이루어지도록 한다. 부호화된 비디오 시퀀스는 한 IDR 액세스 유닛(포함)으로부터 다음 IDR 액세스 유닛(exclusive)이나 비트스트림의 말단 중 먼저 나타나는 지점까지, 복호화 순서에 따라 연속적인 액세스 유닛들의 시퀀스로서 정의된다. H.264/AVC에서 화상들의 그룹(group of pictures; GOP)은 내부 부호화된 화상에서부터 시작하고, 복호화 순서에 따라 부호화된 비디오 시퀀스 또는 다음 GOP의 첫번째 화상(exclusive)으로 종료하면서 복호화 순서에 따라 인접한 많은 화상들을 참조한다. 출력 순서에서 내부 화상(intra picture)에 후속되는 GOP내의 모든 화상들은 어떠한 이전 화상들이 복 호화되었는지에 상관없이 정확하게 복호화될 수 있다. 오픈 GOP는 출력 순서에 따라 초기 내부 화상들에 선행하는 화상들이 정확하게 복호화될 수 없는 화상들의 그룹이다. H.264/AVC 복호화기는 H.264/AVC 비트스트림에서 복구 지점 SEI 메시지로부터 오픈 GOP를 시작하는 내부 화상을 인식할 수 있다. 오픈 GOP를 시작하는 화상은 여기에서 오픈 복호화 리프레쉬(open decoding refesh; ODR)로 불린다. 클로우즈된 GOP는 모든 화상들이 정확히 복호화될 수 있는 화상들의 그룹이다. H.264/AVC에서 클로우즈된 GOP는 IDR 액세스 유닛으로부터 시작한다.
부호화된 화상들은 인덱스, tlO_pic_idx에 의해 표시될 수 있다. tlO_pic_idx는 하나의 액세스 유닛에서 dependency_id와 quality_level의 같은 값을 갖는 SVC 비트스트림 내에서 NAL 유닛들을 나타낸다. 여기서, temporal_level은 0과 동일하다. temporal_level을 갖는 IDR 화상에 대하여, tlO_pic_idx의 값은 0이거나 0에서 N-1까지 포함된 범위에서의 임의의 값과 동일하다. 여기서, N은 양의 정수이다. 0과 같은 temporal_level을 갖는 다른 어느 화상에 대하여, tlO_pic_idx의 값은 (tlO_pic_idx_0+1)%N과 동일하며, 여기서, tlO_pic_idx_0은 0과 같은 temporal_level을 갖는 이전 화상의 tlO_pic_idx의 값이며, %는 모듈로(modulo) 연산을 나타낸다. 현재의 SVC 사양에서, tl0_pic_idx는 조건부의 필드로서 NAL 유닛 헤더에 포함된다. 수신기 즉 NANE는 모든 주요 화상들(예컨대, 0과 동일한 시간적 레벨을 갖는 화상들)을 수신하였는지를 판단하기 위해 tlO_pic_idx 값들을 조사한다. 주요 화상에서 손실이 발생한 경우, 부호화기에 알려 주기 위해 피드백이 전송될 수 있다. 그것은 차례로 어떤 정비 조치를 취할 수 있으며 예컨대, 손실된 주요 화상을 재전송할 수 있다.
H.264/AVC를 위한 RTP 페이로드 포맷은 Comments(RFC) 3984(www.rfc-editor.org/rfc/rfc3984.txt에 이용할 수 있음)를 위한 요구(Request)에서 상술되어 있으며, 그리고 인터넷 엔지니어링 태스크 포스(IETF)인터넷-Draft draft-ietf-avt-rtp-svc-OO(tools.ietf.org/id/draft-ietf-avt-rtp-svc-OO.txt에 이용할 수 있다)에서 상술되어 있다.
RFC 3984는 패킷화(packetization) 모드들을 상술하고 있으며, 이들 중 하나는 인터리브 모드이다. 만일 인터리브된 패킷화 모드가 사용중이라면, 둘 이상의 액세스 유닛으로부터 NAL 유닛들이 하나의 RTP의 패킷들로 패킷화되어질 수 있다. RFC 3984는 RTP 스트림에서 전송되는 NAL 유닛들의 복호 순서를 나타내는 복호화 순서 번호(DON)의 개념을 또한 기술하고 있다.
SVC RTP 페이로드 포맷 초안에서, 페이로드 내용 스케일러빌리티 정보(PACSI)NAL 유닛으로 불려지는 새로운 NAL 유닛 타입이 상술되어 있다. 존재한다면, PACSI NAL 유닛은 집합(aggregation) 패킷에 있어서 제1 NAL 유닛이며, 다른 타입들의 패킷에서는 존재하지 않는다. PACSI NAL 유닛은 페이로드에서 모든 남아 있는 NAL 유닛들에 대하여 공통된 스케일러빌리티 특성들을 나타낸다. 그러므로 MANE들이 집합 패킷을 전송/처리/폐기 여부를 결정하는 것을 보다 쉽게 할 수 있다. 송신기들은 PACSI NAL 유닛들을 생성할 수 있으며, 수신기들은 그것들을 무시하거나 또는 효율적인 집합 패킷 처리를 할 수 있게 하는 힌트로서 그것들을 이용할 수 있다. 집합 패킷의 제1 집합 유닛은 PACSI NAL 유닛을 포함할 때 동일한 패 킷에 적어도 하나의 추가적인 집합 유닛이 존재한다. RTP 헤더 필드들은 집합 패킷에서 남아 있는 NAL 유닛들에 따라 설정된다. PACSI NAL 유닛이 다중 시간 집합 패킷(multi-time aggregation packet)에 포함될 때, PACSI NAL 유닛에 대한 복호 순서 번호는 PACSI NAL 유닛이 집합 패킷에서 NAL 유닛들 중 복호 순서에 있어서 첫번째 NAL 유닛이거나, PACSI NAL 유닛이 집합 패킷에서 잔여 NAL 유닛들 중 복호화 순서에서 첫번째 NAL 유닛과 동일한 복호화 순서를 갖는다 것을 표시하기 위하여 설정된다. PACSI NAL 유닛의 구조는 후술되는 4 바이트 SVC NAL 유닛 헤더(단, E는 0과 같다)와 같다.
본 발명의 다양한 실시예들은 NAL 유닛 헤더에서 시간적 레벨 0 화상 인덱스들을 선택적으로 포함하는 대신에 SEI 메시지내에 t10_pic_idx와 같은 시간적 레벨 0 화상 인덱스들을 전송함으로써 에러 복구 특성들을 변경하는 방법을 제공한다. 더불어, 실시간 전송 프로토콜(Real-Time Transport Protocol; RTP)패킷들에서 어느 SEI 메시지들의 반복을 가능하게 하기 위한 메카니즘이 제공된다. 어떠한 SEI 메시지들의 그러한 반복을 가능하게 하는 것은 어느 수신된 패킷의 기초위에 손실된 시간적 레벨 0 화상들의 검출을 용이하게 한다.
SEI 메시지로 t10_pic_idx를 운반하는 것은 t10_pic_idx가 NAL 유닛 헤더로 운반될 때와 같이 간단하며, 강한 손실 검출을 달성하게 한다. 더욱이, NAL 유닛 헤더 또는 슬라이스 헤더에서의 어떠한 변화도 필요 없으며, t10_pic_idx의 의미론도 변경되지 않는다. 부가하여, 여기에 기재된 것들과 같은 에러 복구 특징들을 실행하는 것은 H.264/AVC 또는 그 현재의 확장들의 상술된 복호화 과정에 영향을 주지 않는다.
다양한 실시예들은 비디오 시퀀스를 나타내는 부호화된 비트스트림을 패킷화하고, 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 제1 패킷(여기서, 제1 패킷은 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약하는 정보를 포함한다)으로 패킷화하는 것을 포함하며, 부호화된 비디오 시퀀스의 적어도 일부분의 내용들과 관련있는 보충적 향상 정보를 제1 패킷에 제공하는 방법 및 컴퓨터 프로그램 산물과 장치를 제공한다. 실시예들은 또한, 부호화된 비디오를 디패킷화(depacketization)하며, 제1 패킷(여기서, 제1 패킷은 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약하는 정보를 포함한다)으로부터 부호화된 비디오 시퀀스의 적어도 일부분을 디패킷화하는 것을 포함하는 방법 및 컴퓨터 프로그램 산물과 장치를 제공한다. 부가적으로, 부호화된 비디오 시퀀스의 적어도 일부분과 관련있는 보충적 향상 정보는 제1 패킷으로부터 얻어진다.
다양한 실시예들은 영상(image) 시퀀스를 나타내는 시간적 스케일러블 비트스트림을 패킷화하는 방법 및 컴퓨터 프로그램 산물과 장치를 제공하며, 그 방법은 부호화된 영상 시퀀스의 적어도 일부분을 제1 패킷(여기서, 제1 패킷은 부호화된 영상 시퀀스의 적어도 일부분의 내용을 요약하는 제1정보를 포함한다)으로 패킷화하는 단계와, 시간적 계층의 계층구조에서 가장 하위의 시간적 계층 내에 영상의 복호화 순서를 나타내는 제2정보를 제1패킷에 제공하는 단계를 포함한다. 또한 실시예들은 부호화된 비디오를 디패킷화하며, 제1패킷(여기서, 제1 패킷은 부호화된 영상 시퀀스의 적어도 일부분의 내용을 요약하는 제1정보를 포함한다)으로부터 부호화된 영상 시퀀스의 적어도 일부를 디패킷화하는 방법 및 컴퓨터 프로그램 산물과 장치를 제공한다. 추가적으로, 시간적 계층의 계층구조에서 가장 하위의 시간적 계층 내에 영상의 복호화 순서를 나타내는 제2정보가 제1패킷으로부터 얻어진다.
본 발명의 이들 및 다른 이점들과 특징들과 함께 본 발명의 구성과 그것의 작동 방법은 첨부된 도면과 결합하여 취해질 때 다음 상세한 설명으로부터 명백하게 될 것이다. 아래 기재된 일부 도면에 걸쳐 같은 구성요소들은 같은 번호를 갖는다.
도 1은 본 발명을 적용하기 위한 일반적인 멀티미디어 통신 시스템을 도시한다.
도 2는 본 발명의 실행에서 사용될 수 있는 이동 전화기의 외관도이다.
도 3은 도 2의 이동 전화기의 회로의 블록도이다.
도 4는 시간적 스케일러블 비트스트림을 설명하기 위한 예시도이다.
도 1은 본 발명을 적용하기 위한 일반적인 멀티미디어 통신 시스템을 도시한다. 도 1에 도시된 바와 같이 데이터 소스(100)는 아날로그나 비압축된 디지털 또는 압축된 디지털 신호 또는 이러한 포맷들의 어떠한 결합으로 소스 신호를 제공한다. 부호화기(100)는 소스신호를 부호화된 미디어 비트스트림으로 부호화한다. 부호화기(110)는 오디오와 비디오와 같은 둘 이상의 미디어 타입을 부호화할 수 있거 나 또는 둘 이상의 부호화기(110)는 소스 신호의 다른 미디어 타입들을 부호화하도록 요구받을 수 있다. 부호화기(110)는 또한 그래픽과 텍스트와 같이 생성된 입력을 종합적으로 얻거나, 종합적 미디어의 부호화된 미디어 비트스트림을 생성할 수 있다. 다음에서, 한 미디어 타입의 하나의 부호화된 미디어 비트스트림의 처리가 기재를 단순화하기 위해 고려된다. 그러나 전형적으로 실시간 방송 서비스들은 몇 개의 스트림들(전형적으로 적어도 하나의 오디오, 비디오 및 텍스트 서브 표제를 붙이고 있는 스트림)을 포함한다는 것이 주목되어야 한다. 시스템은 많은 부호화기들을 포함할 수 있으나 다음에서는 일반성의 부족함이 없이 기재를 단순화하기 위하여 단지 하나의 부호화기(110)가 고려되어질 수 있다.
여기에 포함된 텍스트와 예들이 부호화 처리를 구체적으로 기술할지라도 당업자는 동일한 개념과 원리들이 상응하는 복호화 과정 및 그 역과정에 적용된다는 것을 쉽게 이해할 것이라는 것이 인정되어야 한다.
부호화된 미디어 비트스트림은 기억장치(120)로 전송된다. 기억장치(120)는 부호화된 매체 비트스트림을 저장하기 위하여 대용량 메모리의 어떠한 형태를 포함할 수 있다. 기억장치(120)에서 부호화된 미디어 비트스트림의 포맷은 독립적인(self-contained) 비트스트림 포맷일 수 있거나 하나 이상의 부호화된 미디어 비트스트림들이 컨테이너 파일로 캡슐화될 수 있다. 일부 시스템은 "라이브"(live)로서 즉, 기억 장치를 생략하고 부호화기(110)에서 송신기(130)로 부호화된 비트스트림을 직접 전송하는 방식으로 동작할 수 있다. 이후, 부호화된 미디어 비트스트림은 또한, 필요성의 기초에 따라 서버로 불릴 수 있는 송신기(130) 로 전송된다. 전 송에 사용된 포맷은 기본적인 독립적 비트스트림 포맷, 패킷 스트림 포맷이거나, 또는 하나 이상의 부호화된 미디어 비트스트림들이 컨테이너 파일로 캡슐화될 수 있다. 부호화기(110)와 기억장치(120), 송신기(130)는 동일한 물리적 장치에서 존재할 수 있거나, 그것들은 별도의 장치들에 포함될 수 있다. 부호화기(110)와 송신기(130)는 라이브 실시간 내용을 가지고 동작할 수 있으며, 이 경우 부호화된 미디어 비트스트림은 일반적으로 영구히 저장되지 않으나, 처리 지연, 전송 지연 및 미디어 비트 레이트에서 변경을 순조롭게 하기 위하여 내용 부호화기(110) 및/또는 송신기(130)에서 시간의 작은 기간들 동안 저장된다.
송신기(130)는 통신 프로토콜 스택을 이용하여 부호화된 미디어 비트스트림을 전송한다. 스택은 RTP와, 사용자 데이터그램 프로토콜(UDP), 인터넷 프로토콜(IP)을 포함할 수 있으나 이에 한정되지는 않는다. 통신 프로토콜 스택이 패킷 지향적인 경우, 송신기(130)는 부호화된 미디어 비트스트림을 패킷으로 캡슐화한다. 예컨대, RTP가 사용될 때, 송신기(130)는 RTP 페이로드 포맷에 따라 부호화된 미디어 비트스트림을 RTP 패킷들로 캡슐화한다. 일반적으로 각 미디어 타입은 전용의 RTP 페이로드 포맷을 갖는다. 시스템은 둘 이상의 송신기(130)를 포함할 수 있으나, 간결함을 위해서, 다음 기재에서는 하나의 송신기(130)만을 고려하기로 한 점은 재차 주목되어야 한다.
송신기(130)는 통신 네트워크를 통하여 게이트웨이(140)에 접속될 수 있거나, 접속되지 않을 수 있다. 게이트웨이(140)는 하나의 통신 프로토콜 스택에 대한 다른 통신 프로토콜 스택에 따라 패킷 스트림의 자동 중계와, 데이터 스트림의 합 침과 분기 그리고 다운 링크 및/또는 우세한 다운 링크 조건에 따라 전송된 스트림의 비트 레이트를 제어하는 것과 같은 수신기 능력에 따른 데이터 스트림의 조작과 같은 기능들의 다른 타입들을 수행할 수 있다. 게이트웨이(140)의 예들은 멀티 포인트 회의 제어 장치(MCUs), 회선 교환과 패킷 교환 비디오 전화 사이의 게이트웨이들, 푸시 투 토크 셀룰러(Push-to-talk Cellular; PoC)서버, 디지털 비디오 방송-핸드헬드(DVB-H)시스템의 IP 캡슐화기들(encapsulators) 또는 홈 무선 네트워크에 방송 전송을 국지적으로 전송하는 셋톱 박스들을 포함한다. RTP가 사용될 때, 게이트웨이(140)는 RTP 믹서로 불리며, RTP 접속의 종단점으로서 작용한다.
시스템은 전형적으로 전송된 신호를 부호화된 미디어 비트스트림으로 수신하고, 복조하며, 디캡슐화할 수 있는 하나 이상의 수신기(150)를 포함한다. 부호화된 미디어 비트스트림은 일반적으로 복호화기(160)에 의해 더 처리되며, 복호화기(160)는 하나 이상의 비압축된 미디어 스트림을 출력한다. 마지막으로, 렌더러(170)는 예컨대, 스피커 또는 디스플레이로 비압축된 미디어 스트림들을 재생할 수 있다. 수신기(150), 복호화기(160) 및 렌더러(170)는 동일한 물리적 장치에서 존재할 수 있거나, 그것들은 별도 장치에 포함될 수 있다. 복호화될 비트스트림은 사실상 네트워크의 어떤 타입 내에 위치한 원격 장치로부터 수신받을 수 있다는 점에 주목되어야 한다. 부가적으로, 비트스트림은 동일 구역내의 하드웨어 또는 소프트웨어로부터 수신받을 수 있다.
비트 레이트와 복호화 복잡도와 화상 크기에 관련한 스케일러빌리티는 이질적이며, 오류가 발생하기 쉬운 환경들을 위한 바람직한 특성이다. 이 특성은 수신 장치에서 비트율, 디스플레이 해상도, 네트워크 스루풋과 계산형의 전원에 대한 제약과 같은 한계를 카운트하기 위해 바람직하다.
본 발명의 통신 장치들은 부호 분할 다중 접속(CDMA), 이동 통신 세계화 시스템(GSM), 범용 이동성 원격 통신 시스템(UMTS), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 전송제어 프로토콜/인터넷 프로토콜(TCP/IP), 단축 메시징 서비스(SMS), 멀티미디어 메시징 서비스(MMS), 이메일, 순시적 메시징 서비스(IMS), 블루투스, IEEE 802.11, 등을 포함하지만 이에 비한정된 다양한 전송 기술들을 사용하여 통신할 수 있다. 통신 장치는 무선과 적외선, 레이저, 케이블 접속, 등을 포함하지만, 이에 한정되지 않는 각종 매체를 사용하여 통신할 수 있다.
도 2 및 도 3은 본 발명이 실행될 수 있는 하나의 대표적인 모바일 장치(12)를 도시한다. 그러나 본 발명이 모바일 장치(12) 또는 다른 전자 장치의 하나의 특별한 유형에 제한되도록 의도된 것은 아니라는 점은 이해되어야 한다. 도 2 및 도 3에서 묘사된 특징 일부 또는 모두가 집합되어 도 1에 도시된 장치들의 일부 또는 모두에 집합될 수 있다.
도 2 및 도 3의 모바일 장치(12)는 하우징(30), 액정 표시 장치 형태의 디스플레이(32), 키패드(34), 마이크로폰(36), 수화구(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 일실시예에 따른 UICC 형태의 스마트 카드(46), 카드 판독 장치(48), 무선 인터페이스 회로(52), 코덱 회로(54), 제어기(56)과 메모리(58)를 포함한다. 개개의 회로와 구성요소는 모두가 이 기술분야에서, 예를 들면 노키아 이동 전화기 영역에서 잘 알려진 유형의 것이다.
도 4는 각 화상에 대한 tl0_pic_idx의 값뿐만 아니라 4개의 시간적 계층들을 갖는 비트스트림의 한 예를 도시한다. 0과 같은 시간적 레벨은 계층의 계층구조에서 최하위 시간적 계층으로 불린다. tl0_pic_idx의 의미론에 따르면, 화상이 0과 같은 시간적 레벨을 가진다면, tl0_pic_idx는 화상 그 자체의 temporal-level-0 인덱스이다. 그러므로 0, 8, 16과 같은 화상 순서 카운트(POC)를 갖는 화상에 대한 tl0_pic_idx 값들은 각각 0, 1, 2와 같다. 만일 화상이 0보다 더 큰 시간적 레벨을 가진다면, tl0_pic_idx는 0과 같은 시간적 레벨로 순서를 갖는 복호 순서로 이전 화상의 temporal-level-0 인덱스이다. 그러므로, 1 내지 7과 같은 POC를 갖는 화상들에 대한 tl0_pic_idx 값들은 모두 1과 같으며, 이는 그것들을 대해 0과 같은 시간적 레벨을 갖는 복호화 순서로 이전 화상이 8과 같은 POC를 갖는 화상이기 때문이다. 또한, 9 내지 15와 같은 POC를 갖는 화상들에 대한 tl0_pic_idx 값들은 모두 2와 같으며, 이는 그것들을 대한 0과 같은 시간적 레벨을 갖는 복호화 순서로 이전 화상이 16과 같은 POC를 갖는 화상이기 때문이다.
본 발명의 각종 실시예는 NAL 유닛 헤더에서 화상 인덱스들을 선택적으로 포함하는 대신에 SEI 메시지 내에 tl0_pic_idx와 같은 시간적 레벨 0 화상 인덱스들을 전송함으로써 오류 복구 특징들을 수정하는 방법을 제공한다. 부가하여, 실시간 전송 프로토콜(RTP) 패킷들에서 어떤 SEI 메시지들의 반복 사용을 가능하게 하기 위해 제공된다. 어떤 SEI 메시지들의 그런 반복 사용을 가능하게 하는 것은 어떤 수신된 패킷에 기초하여 손실된 시간적 레벨 0인 화상의 검출을 용이하게 한다.
tl0_pic_idx 인덱스가 표시된 필드는 새로운 SEI 메시지에 포함될 수 있으 며, 그것은 0 또는 임의의 값과 같은 temporal_level을 갖는 각각 부호화된 화상과 관련될 수 있다. 새로운 SEI 메시지는 예를 들면 tlO 화상 인덱스 SEI 메시지라고 불릴 수 있고, 다음과 같이 정의일 수 있다:
tl0_picture_index(payloadSize){ C Descriptor
tl0_pic_idx 5 u(8)
}
새로운 SEI 메시지에서 tl0_pic_idx를 전달하는 것은 tl0_pic_idx가 NAL 유닛 헤더로 전송될 때와 같이 간단하며 강력한 시간적 레벨 0의 화상 손실 검출 결과를 가져온다. 게다가, NAL 유닛 헤더 또는 슬라이스 헤더의 변경은 요구되지 않으며, tl0_pic_idx의 의미론도 변경되지 않는다. 또한, 여기에 기술된 것과 같은 오류 복구 특징을 실행하는 것은 H.264/AVC 또는 그것의 현재 확장들에서 정의된 복호화 과정에 영향을 미치지 않는다. 사실, 프레임 카운터를 또한 포함하는 서브 시퀀스 정보 SEI 메시지와 같은 tl0_pic_idx와 유사한 오류 복구 특징들은, NAL 유닛 헤더와 슬라이스 헤더와 같은 상위 레벨 구문 구조와 대비하여 SET 메시지로서 사전에 포함되어 왔다. 그러므로, 시간적 레벨 0의 화상 인덱스들을 전달하는 그런 방법은 H.264/AVC의 다른, 종래의 오류 복구 특징들과 상응한다.
게다가, 새로운 SEI 메시지를 포함하기 위해 페이로드 내용 스케일러블 정보(PACSI)NAL 유닛을 수정하는 것은 가능하다. 현재 상태라면 PACSI NAL 유닛은 패킷의 제1 NAL 유닛이고, 패킷의 내용을 요약하고 있는 SVC NAL 유닛 헤더를 포함한다. PACSI NAL 유닛의 페이로드는 비어 있다. PACSI NAL 유닛을 위한 NAL 유닛 형태는 SVC 사양과 H.264/AVC RTP 페이로드 사양에서 명시되지 않은 그 값들 중에서 선택되어, H.264/AVC 또는 SVC 복호화기들과 H.264/AVC RTP 수신기들에 의해 PACSI NAL 유닛이 결과적으로 무시된다.
SEI NAL 유닛들이 PACSI NAL 유닛 페이로드에서 허용된다고 가정하면, PACSI NAL 유닛의 뒤를 잇지만, 네스팅되지 않는 제1 NAL 유닛의 액세스 유닛의 SEI NAL 유닛을 반복하기 위해 PACSI NAL 유닛 페이로드에서의 어떤 SEI NAL 유닛이 사용될 수 있다. 또한, PACSI NAL 유닛은 액세스 유닛에 제1 VCL NAL 유닛 앞에 나타날 수 있는 다른 NAL 유닛뿐만 아니라 반복 SEI 메시지를 표시하는 참조 화상을 포함할 수 있다. 이것은 복호화 순서에서 이전 시간적 레벨 0 화상들의 long-term 화상 인덱스 할당들의 검출을 가능하게 한다. 새로운 SEI 메시지내에서 tl0_pic_idx를 전달하는 결과로서의 어떤 부가된 비트 레이트 오버헤드는 무시할 수 있다는 점에 주목할 필요가 있다.
인터리브된 패킷화 모드가 사용될 때, 앞에서 기술한 바와 같이 PACSI NAL 유닛은 RTP 페이로드의 제1 NAL 유닛에 대한 SEI 메시지를 단지 포함할 수 있다. 그러나, 본 발명의 다른 실시예에 따르면, PACSI NAL 유닛은 새로운 SEI 메시지를 이같이 캡슐에 넣지 않고, 오히려 복호화 순서 번호들(DONs) 또는 DON 차이점들, 또는 다른 화상 식별자들에 부가하거나, 또는 페이로드 내의 NAL 유닛 시퀀스 번호와 같은 RTP 페이로드 내의 다른 어느 NAL 유닛 식별자들에 부가하여 SEI NAL 유닛들의 쌍을 캡슐화한다.
본 발명의 또 다른 실시예에 따르면, NAL 유닛의 새 타입은 RTP 페이로드 사양에서 정의될 수 있으며, 인터리브된 PACSI(IPACSI)로 불릴 수 있다. 이 NAL 유닛 은 RTP 페이로드에서 어떠한 AVC/SVC NAL 유닛 앞에도 삽입될 수 있다. 또한, AVC/SVC NAL 유닛이 속해 있는 액세스 유닛을 위해 IPACSI의 페이로드는 SEI NAL 유닛들의 반복을 포함할 수 있다.
본 발명의 다양한 실시예가 dependency_id > 0, 또는 quality_level > 0일 때, 스케일러블 네스팅 SEI 내에서 tl0_pic_idx SEI 메시지가 사용될 수 있기 때문에, tl0_pic_idx SEI 메시지를 dependency_id 및/또는 quality_level와 연합시키지 않는다는 점을 주목해야 한다. 그러므로 매체 인식 네트워크 구성요소(Media Aware Network Element; MANE)에서 구문 해부 과정들이 약간 더 복잡하게 될지라도, 스케일러블 네스팅 SEI에 대한 복수의 사용이 가능하다. 대안으로, dependency_id와 quality_level의 다른 값들에 대하여 tl0_pic_index SEI 메시지 그 자체에서 루프가 실행될 수 있다.
tl0_pic_index에 대하여 여기에 제시된 것 외의 다른 문제가 존재한다는 점에 유의할 필요가 있다. 예를 들면, 시간적 레벨 1 화상이 예측 참조로 복수개의 시간적 레벨 0 화상을 사용할 때, tl0_pic_index는 temporal-level-1의 화상이 복호화될 수 있다는 신뢰성 있는 표시가 아닐 수 있다. 그러므로 tl0_pic_index에 대한 문제를 해결하기 위한 다른 접근법이 취해질 수 있다. 예를 들면, temporal-level-0 화상들에서 다른 long-term 인덱스들의 사용은 특정한 long-term 인덱스가 할당된 화상이 부정확하게 참조되는 가능성을 줄여 준다. 부가적으로, long-term 참조 화상들을 포함하여, 실질적으로 사용되는 참조 화상들은 명령들을 재배열하는 참조 화상 리스트가 사용될 때 슬라이스 헤더 상에 기초하여 판단내려 질 수 있다. 다른 대안으로, 서브 시퀀스 SEI 메시지들이 이용될 수 있다. 여기서, 서브 시퀀스 계층들 손실이 발생하였는지를 판단하기 위해 서브 시퀀스 계층 번호들과 서브 시퀀스 식별자들이 식별력 있게 사용되어 질 수 있다. 일부 예측 구조에서, 단기 참조용 화상들은 long-term 참조 화상 대신에 이용될 수 있다. 또 다른 대안에서, "전송(transport)" 계층이 규약 tl0_pic_idx 문제(예컨대, 시간적 레벨 0의 화상의 잠재적인 손실이 검출될 때마다 NACK 패킷들이 전송될 수 있는 RTP 오디오-시청각 피드백(Audio-visual feedback; AVPF) 프로파일의 일반적인 not acknowldeged(NACK) 패킷의 사용)에 접근하기 위한 기초일 수 있다.
본 발명은 네트워크로 이루어진 환경에서 컴퓨터에 의해 실행되는 프로그램 코드와 같은 컴퓨터로 실행가능한 명령어를 포함하는 프로그램 산물에 의한 일 실시예에서 실행될 수 있는 방법 단계들의 일반적인 문맥으로 기재된다. 컴퓨터 독취 가능한 매체는 읽기 전용 메모리(ROM), 램(RAM), 콤팩트 디스크(CD), DVD 등을 포함하지만, 이에 한정되지 않는 컴퓨터로 읽을 수 있는 착탈식과 비 착탈식 기억 장치를 포함한다. 일반적으로, 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추상 데이터형을 실행할 수 있는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함한다. 데이터 구조들과 관련된 컴퓨터로 실행가능한 명령어들과 프로그램 모듈들은 여기에 공개된 방법의 단계들을 실행하기 위한 프로그램 코드의 예들을 대표한다. 그러한 실행 가능한 명령어들 또는 관련된 데이터 구조들의 특정한 시퀀스는 그러한 단계들에서 기술된 기능 등을 수행하기 위한 상응한 실행들의 예들이다.
본 발명의 소프트웨어와 웹 실행들은 다양한 데이터베이스의 검색 단계, 상호 관계 단계, 비교 단계와 결정 단계를 달성하기 위해 규칙에 근거한 논리와 다른 논리를 갖는 표준 프로그램밍 기법으로서 완성될 수 있다. 여기 및 청구항에서 사용되는 단어 "구성요소"와 "모듈" 이 소프트웨어 코드의 하나 이상의 행 및/또는 하드웨어 실행 및/또는 수동 입력을 수신하기 위한 장치를 사용하는 실행을 포함하기 위해 의도된 것이라는 것에 주목되어야 한다.
전술한 본 발명의 실시예의 기재는 도해와 설명의 목적을 위해 제시되었다. 공개된 정밀한 형태로 본 발명이 한정되거나 철저하게 같다는 것을 의미하지 않는다. 그리고, 상기 교시의 관점에 비추어 변경과 변동이 가능하거나, 본 발명의 실시로부터 얻어질 수 있다. 실시예들은 본 발명의 원리를 설명하기 위해 선택되거나 기술됐으며, 그것의 실제적인 응용은 당업자가 다양한 실시예들에서 그리고 심사숙고한 특정한 사용에 적합한 다양한 변형을 가지고 본 발명을 사용할 수 있게 한다. 여기에 기술된 본 발명들의 특징들은 방법과 장치들, 컴퓨터 프로그램 산물들 및 시스템들의 모든 가능한 조합들로 결합될 수 있다.

Claims (44)

  1. 비디오 시퀀스를 나타내는 부호화된 비트스트림을 패킷화하는 방법에 있어서,
    부호화된 비디오 시퀀스의 적어도 일부분을 제1 패킷으로 패킷화하는 과정;
    상기 제1 패킷에 상기 부호화된 비디오 시퀀스의 적어도 일부분과 관련 있는 보충적 향상 정보를 제공하는 과정을 포함하며,
    상기 제1 패킷은 상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보를 포함하고,
    상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보는 상기 제1 패킷내에 있는 다른 모든 데이터 유닛들 앞에 위치한 데이터 유닛 내에 위치하며, 상기 데이터 유닛은 또한 상기 보충적 향상 정보를 포함함을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에서 제1 네트워크 추상 계층 유닛의 액세스 유닛의 보충적 향상 정보 유닛을 반복하기 위해 사용되어짐을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되어 있으며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 반복 보충적 향상 정보 메시지들을 표시하는 참조 화상을 포함함을 특징으로 하는 방법.
  5. 제1항에 있어서,
    시간적 계층 계층구조에서 최하위 시간적 계층 내에 영상의 복호화 순서를 나타내는 제1 정보를 상기 제1 패킷에 제공하는 과정을 더 포함함을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 제1 정보는 시간적 레벨 화상 인덱스를 포함함을 특징으로 하는 방법.
  7. 제1항의 방법을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 저장 매체.
  8. 프로세서; 및
    상기 프로세서와 통신 가능하게 접속되는 메모리 유닛을 포함하며,
    부호화된 비디오 시퀀스의 적어도 일부분을 제1 패킷으로 패킷화하고,
    부호화된 비디오 시퀀스의 적어도 일부분과 관련된 보충적 향상 정보를 상기 제1 패킷에 제공하기 위해 구성되며,
    상기 제1 패킷은 상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약하는 정보를 포함하고,
    상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약하는 정보는 상기 제1 패킷 내에 있는 다른 모든 데이터 유닛들 앞에 위치한 데이터 유닛 내에 위치하며, 상기 데이터 유닛은 또한 상기 보충적 향상 정보를 포함함을 특징으로 하는 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에서 제1 네트워크 추상 계층 유닛의 액세스 유닛의 보충적 향상 정보 유닛을 반복하기 위해 사용되어짐을 특징으로 하는 장치.
  11. 제8항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 반복 보충적 향상 정보 메시지들을 표시하는 참조 화상을 포함함을 특징으로 하는 장치.
  12. 제8항에 있어서,
    시간적 계층 계층구조에서 최하위 시간적 계층 내의 이미지 복호화 순서를 나타내는 제1 정보를 상기 제1 패킷에 제공하기 위하여 더 구성된 것을 특징으로 하는 장치.
  13. 제12항에 있어서,
    상기 제1 정보는 시간적 레벨 화상 인덱스를 포함함을 특징으로 하는 장치.
  14. 부호화된 비디오를 디패킷화(depacketizing)하는 방법에 있어서,
    제1 패킷으로부터 부호화된 비디오 시퀀스의 적어도 일부분을 디패킷화하는 과정; 및
    상기 제1 패킷으로부터 상기 부호화된 비디오 시퀀스의 적어도 일부분과 관련된 보충적 향상 정보를 얻는 과정을 포함하며,
    상기 제1 패킷은 상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보를 포함하고, ,
    상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보는 상기 제1 패킷내에 있는 다른 모든 데이터 유닛들 앞에 위치한 데이터 유닛 내에 위치하며, 상기 데이터 유닛은 또한 상기 보충적 향상 정보를 포함함을 특징으로 하는 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에서 제1 네트워크 추상 계층 유닛의 액세스 유닛의 보충적 향상 정보 유닛을 반복하기 위해 사용되어짐을 특징으로 하는 방법.
  17. 제14항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되어 있으며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 반복 보충적 향상 정보 메시지들을 표시하는 참조 화상을 포함함을 특징으로 하는 방법.
  18. 제14항에 있어서,
    상기 제1 패킷으로부터 시간적 계층 계층적 구조에서 최하위 시간적 계층 내에 이미지의 복호화 순서를 나타내는 제1 정보를 얻는 과정을 더 포함함을 특징으로 하는 방법.
  19. 제18항에 있어서,
    상기 제1 정보는 시간적 레벨 화상 인덱스를 포함함을 특징으로 하는 방법.
  20. 제14항의 방법을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 저장 매체.
  21. 프로세서; 및
    상기 프로세서와 통신 가능하게 접속되는 메모리 유닛을 포함하며,
    제1 패킷으로부터 부호화된 이미지 시퀀스의 적어도 일부분을 디패킷화하고,
    상기 제1 패킷으로부터 부호화된 비디오 시퀀스의 적어도 일부분과 관련된 보충적 향상 정보를 얻기 위해 구성되며,
    상기 제1 패킷은 상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보를 포함하고, ,
    상기 부호화된 비디오 시퀀스의 적어도 일부분의 내용을 요약한 정보는 상기 제1 패킷내에 있는 다른 모든 데이터 유닛들 앞에 위치한 데이터 유닛 내에 위치하며, 상기 데이터 유닛은 또한 상기 보충적 향상 정보를 포함함을 특징으로 하는 장치.
  22. 삭제
  23. 제21항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에서 제1 네트워크 추상 계층 유닛의 액세스 유닛의 보충적 향상 정보 유닛을 반복하기 위해 사용되어짐을 특징으로 하는 장치.
  24. 제21항에 있어서,
    상기 보충적 향상 정보는 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛에 포함되며, 상기 페이로드 내용 스케일러빌리티 정보 네트워크 추상 계층 유닛의 페이로드 부분은 반복 보충적 향상 정보 메시지들을 표시하는 참조 화상을 포함함을 특징으로 하는 장치.
  25. 제21항에 있어서,
    상기 제1 패킷으로부터 시간적 계층 계층구조에서 최하위 시간적 계층 내의 이미지 복호화 순서를 나타내는 제1 정보를 얻기 위해 더 구성됨을 특징으로 하는 장치.
  26. 제25항에 있어서,
    상기 제1 정보는 시간적 레벨 화상 인덱스를 포함함을 특징으로 하는 장치.
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
KR1020097017111A 2007-01-18 2008-01-17 Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송 KR101072341B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88560607P 2007-01-18 2007-01-18
US60/885,606 2007-01-18
PCT/IB2008/050174 WO2008087602A1 (en) 2007-01-18 2008-01-17 Carriage of sei messages in rtp payload format

Publications (2)

Publication Number Publication Date
KR20090111844A KR20090111844A (ko) 2009-10-27
KR101072341B1 true KR101072341B1 (ko) 2011-10-11

Family

ID=39635696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017111A KR101072341B1 (ko) 2007-01-18 2008-01-17 Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송

Country Status (13)

Country Link
US (5) US8355448B2 (ko)
EP (2) EP3182709B1 (ko)
KR (1) KR101072341B1 (ko)
CN (1) CN101622879B (ko)
AR (1) AR064967A1 (ko)
AU (1) AU2008206744B2 (ko)
CA (1) CA2675955C (ko)
HK (1) HK1133760A1 (ko)
MX (1) MX2009007696A (ko)
PL (1) PL2123049T3 (ko)
RU (1) RU2430483C2 (ko)
TW (4) TWI526084B (ko)
WO (1) WO2008087602A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2005607B1 (en) * 2006-03-27 2016-09-07 Vidyo, Inc. System and method for management of scalability information in scalable video coding systems using control messages
JP4242398B2 (ja) * 2006-06-02 2009-03-25 フェリカネットワークス株式会社 データ通信システム、情報処理端末、ｉｃカード、読み書き装置、およびプログラム
CN101622879B (zh) * 2007-01-18 2012-05-23 诺基亚公司 以rtp净荷格式传输sei消息
EP3518547B1 (en) 2007-04-12 2021-10-06 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
WO2009131286A1 (en) * 2008-04-24 2009-10-29 Sk Telecom Co., Ltd. Scalable video providing and reproducing system and methods thereof
US8947504B2 (en) 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
WO2010117315A1 (en) * 2009-04-09 2010-10-14 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
JP4861456B2 (ja) * 2009-07-15 2012-01-25 富士通株式会社 データレート調整装置、データ配信システム、及びプログラム
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US9674534B2 (en) * 2012-01-19 2017-06-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
US9654802B2 (en) * 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9667959B2 (en) 2013-03-29 2017-05-30 Qualcomm Incorporated RTP payload format designs
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
GB2519746B (en) 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
WO2015174894A1 (en) * 2014-05-13 2015-11-19 Telefonaktiebolaget L M Ericsson (Publ) Methods, source device, target device and analyser for managing video coding
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN114868158A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 层级视频中的解码图片缓冲区参数的信令通知
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
KR20220121804A (ko) 2019-12-27 2022-09-01 바이트댄스 아이엔씨 파라미터 세트들에서의 서브픽처 시그널링
WO2021142363A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Decoding order of different sei messages
CN116530083A (zh) * 2020-09-25 2023-08-01 抖音视界有限公司 视频比特流中的嵌套的和非嵌套的sei消息
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008240A1 (en) 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US20060223461A1 (en) 2005-03-08 2006-10-05 Rajiv Laroia Digital broadcast methods and apparatus

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
US6804345B1 (en) * 1997-09-18 2004-10-12 At&T Corp Virtual contact center with flexible staffing control
US6862278B1 (en) * 1998-06-18 2005-03-01 Microsoft Corporation System and method using a packetized encoded bitstream for parallel compression and decompression
GB2362531A (en) 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
JP5068947B2 (ja) 2003-02-18 2012-11-07 ノキア コーポレイション ピクチャの符号化方法
MY136056A (en) * 2003-02-18 2008-08-29 Nokia Corp Picture decoding method
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
JP4190428B2 (ja) 2004-01-14 2008-12-03 株式会社東芝 データ伝送方法およびデータ伝送機
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
ES2383655T3 (es) 2004-04-28 2012-06-25 Panasonic Corporation Aparato de generación de flujos de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato multiplexador de imágenes en movimiento y aparato de descodificación de imágenes en movimiento
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100631743B1 (ko) * 2004-11-26 2006-10-11 삼성전자주식회사 스케일러블 비트스트림의 효율적 전송 방법 및 장치
WO2006080910A1 (en) 2005-01-24 2006-08-03 Thomson Licensing Video error detection technique using a crc parity code
KR20080006609A (ko) 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
FR2889004B1 (fr) * 2005-07-22 2007-08-24 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
RU2407217C2 (ru) * 2005-10-11 2010-12-20 Нокиа Корпорейшн Система и способ для эффективной адаптации масштабируемых потоков
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
CN105049894B (zh) * 2005-12-08 2018-03-16 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
EP1977604B1 (en) * 2006-01-11 2014-03-19 Nokia Corporation Method for a backward -compatible encapsulation of a scalable coded video signal into a sequence of aggregate data units
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
CN101622879B (zh) 2007-01-18 2012-05-23 诺基亚公司 以rtp净荷格式传输sei消息
TWI435612B (zh) * 2007-02-23 2014-04-21 Nokia Corp 經聚合媒體資料單元之反向相容特性化技術
EA201692565A1 (ru) * 2014-06-12 2017-05-31 Сесвандерхаве Н.В. Способ трансформации протопластов сахарной свеклы на платформе технологии talen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008240A1 (en) 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US20060223461A1 (en) 2005-03-08 2006-10-05 Rajiv Laroia Digital broadcast methods and apparatus

Also Published As

Publication number Publication date
TWI455591B (zh) 2014-10-01
TW201631958A (zh) 2016-09-01
US20130107954A1 (en) 2013-05-02
TWI526084B (zh) 2016-03-11
EP3182709A1 (en) 2017-06-21
US9451289B2 (en) 2016-09-20
TW201742453A (zh) 2017-12-01
CN101622879A (zh) 2010-01-06
US8355448B2 (en) 2013-01-15
RU2009130914A (ru) 2011-02-27
US8908770B2 (en) 2014-12-09
US20080181228A1 (en) 2008-07-31
TWI658734B (zh) 2019-05-01
WO2008087602A1 (en) 2008-07-24
KR20090111844A (ko) 2009-10-27
TWI595787B (zh) 2017-08-11
AU2008206744A1 (en) 2008-07-24
HK1133760A1 (en) 2010-04-01
AR064967A1 (es) 2009-05-06
CA2675955A1 (en) 2008-07-24
EP2123049B1 (en) 2016-12-28
US20150055712A1 (en) 2015-02-26
CA2675955C (en) 2013-07-23
EP3182709B1 (en) 2021-05-12
PL2123049T3 (pl) 2017-06-30
US20130121413A1 (en) 2013-05-16
TW200841740A (en) 2008-10-16
MX2009007696A (es) 2009-09-04
AU2008206744B2 (en) 2011-09-22
EP2123049A1 (en) 2009-11-25
US10110924B2 (en) 2018-10-23
TW201448606A (zh) 2014-12-16
RU2430483C2 (ru) 2011-09-27
EP2123049A4 (en) 2015-04-29
US20170006311A1 (en) 2017-01-05
CN101622879B (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
KR101072341B1 (ko) Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송
US10158881B2 (en) Method and apparatus for multiview video coding and decoding
KR101091792B1 (ko) 피드백 기반 스케일러블 비디오 코딩
US8699583B2 (en) Scalable video coding and decoding
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
KR101087379B1 (ko) 패킷화 방법 및 장치, 비트스트림 표현 처리 방법 및 장치와 컴퓨터 판독 가능 매체
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
EP2080382A2 (en) System and method for implementing low-complexity multi-view video coding
US20080253467A1 (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150918

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 9