KR20110042201A - 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법 - Google Patents

스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법 Download PDF

Info

Publication number
KR20110042201A
KR20110042201A KR1020117004572A KR20117004572A KR20110042201A KR 20110042201 A KR20110042201 A KR 20110042201A KR 1020117004572 A KR1020117004572 A KR 1020117004572A KR 20117004572 A KR20117004572 A KR 20117004572A KR 20110042201 A KR20110042201 A KR 20110042201A
Authority
KR
South Korea
Prior art keywords
layer
scalable
video
svc
random access
Prior art date
Application number
KR1020117004572A
Other languages
English (en)
Other versions
KR101635235B1 (ko
Inventor
시우핑 루
젠유 우
존 치앙 리
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110042201A publication Critical patent/KR20110042201A/ko
Application granted granted Critical
Publication of KR101635235B1 publication Critical patent/KR101635235B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

장치는 기본 계층 비디오 코딩된 신호 및 향상 계층 비디오 코딩된 신호를 포함하는 스케일러블 비디오 코딩된(SVC) 신호를 제공하기 위해 비디오 신호를 인코드하며, 상기 기본 계층 비디오 코딩된 신호는 상기 향상 계층보다 더 많은 랜덤 액세스 포인트, 예컨대, 순간적 디코더 리프레시(IDR) 슬라이스를 가지며 상기 향상 계층이 IDR 슬라이스를 갖는 그들 액세스 유닛에서, 상기 기본 계층은 비IDR 슬라이스를 갖는다. SVC의 전송은 비랜덤 액세스 포인트 슬라이스가 단순 시간 집합 패킷들(STAP)로 전달하도록 실시간 전송 프로토콜(RTP)을 이용하여 패킷 형태로 일어나며, 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보(PACSI) 네트워크 추상화 계층(NAL) 유닛을 포함한다.

Description

스케일러블 비디오 코딩(ＳＶＣ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ＲＴＰ) 패킷화 방법{A REAL-TIME TRANSPORT PROTOCOL(RTP) PACKETIZATION METHOD FOR FAST CHANNEL CHANGE APPLICATIONS USING SCALABLE VIDEO CODING(SVC)}
관련출원의 전후참조
본 출원은 2008년 7월 16일 출원된 미국 가출원 제61/081,056호 및 2008년 7월 26일 출원된 미국 가출원 제61/083,909호의 이익을 주장한다.
본 발명은 일반적으로 통신 시스템, 예컨대, 지상 방송, 셀룰러, 와이파이(Wireless-Fidelity: Wi-Fi), 위성 등과 같은 유무선 시스템에 관한 것이다.
압축된 비디오 비트 스트림이 무선 네트워크와 같은 에러 유발 통신 채널을 통해 전송될 경우, 그 비트 스트림의 특정 부분이 손상되거나 손실될 수 있다. 그러한 에러 있는 비트 스트림이 수신기에 도달하여 비디오 디코더에 의해 디코드될 경우, 재생 품질은 심각하게 영향을 받을 수 있다. 소스 에러 복원 코딩(source error resiliency coding)은 그러한 문제를 다루는데 사용되는 기술이다.
비디오 방송/멀티캐스트 시스템에서, 하나의 압축 비디오 비트 스트림은 일반적으로 종종 세션이라고 하는 지정 시간 내에 동시에 사용자 그룹에 전송된다. 비디오 코딩의 예측 특성상, 비트 스트림 내 특정 랜덤 액세스 포인트에서만 그 비트 스트림에 랜덤 액세스가 가능하여, 정확한 디코딩은 이러한 랜덤 액세스 포인트부터 시작하여 가능하게 된다. 랜덤 액세스 포인트는 일반적으로 낮은 압축 효율을 갖기 때문에, 하나의 비트 스트림 내에는 이런 포인트들의 제한된 수만이 존재한다. 결과적으로, 사용자가 그의 수신기를 어떤 한 채널에 동조시켜 세션에 참가할 경우, 그 사용자는 정확한 디코딩의 시작을 위해 수신된 비트 스트림 내에서 다음에 사용가능한 랜덤 액세스 포인트를 대기해야 하며, 이로 인해 비디오 콘텐츠의 재생시 지연이 야기된다. 그러한 지연을 동조 지연(tune-in delay)이라 하며, 이것은 그러한 시스템에 대한 사용자 경험에 영향을 미치는 한가지 중요한 요인이다.
비디오 전송 시스템에서, 종종 공통 전송 매체를 공유하는 최종 사용자들에게 여러 개의 압축된 비디오 스트림들이 전송되며, 여기서 각 비디오 비트 스트림은 하나의 프로그램 채널에 해당한다. 앞의 경우와 유사하게, 사용자가 한 채널에서 다른 채널로 전환할 경우, 그 사용자는 디코딩을 정확하게 시작하기 위해 그 채널로부터 수신된 비트 스트림 내에서 다음에 사용가능한 랜덤 액세스 포인트를 대기해야 한다. 그러한 지연은 채널 변경 지연(channel-change delay)이라 하며, 그러한 시스템에서의 사용자 경험에 영향을 미치는 또 다른 중요한 요인이다.
랜덤 액세스 포인트를 삽입할 경우의 한가지 장점은 비디오 코딩 관점에서 압축된 비디오 비트 스트림의 에러 복원을 향상시킨다는 것이다. 예를 들면, 랜덤 액세스 포인트를 비트 스트림에 삽입하면 디코더는 주기적으로 리셋되어 에러 전파가 완전히 차단되며, 이에 따라 에러에 대한 비트 스트림의 견고성(robustness)을 향상시켜 준다.
예를 들어, H.264/AVC 비디오 압축 표준(예컨대, ITU-T 권고 H.264: "일반적인 음성영상 서비스를 위한 어드밴스드 비디오 코딩(Advanced video coding for generic audiovisual services)", ISO/IEC 14496-10 (2005): "Information Technology - Coding of audio-visual objects Part 10: Advanced Video Coding" 참조)을 고려해 보면, 랜덤 액세스 포인트(전환 가능 포인트(switching enabling points) 라고도 지칭됨)는 IDR(Instantaneous Decoder Refresh) 슬라이스, 인트라 코딩된 매크로블록(MBs) 및 SI(switching I) 슬라이스를 포함하는 코딩 방법에 의해 수행될 수 있다.
IDR 슬라이스와 관련하여, IDR 슬라이스는 정확한 디코딩을 위해 어떠한 이전의 슬라이스에도 의존하지 않는 인트라 코딩된 MB들만을 포함한다. IDR 슬라이스는 또한 디코더에서 디코딩 화상 버퍼를 리셋시켜 후속 슬라이스들이 그 IDR 슬라이스 전에 있는 어떤 슬라이스와도 상관없이 디코딩하도록 한다. 정확한 디코딩은 IDR 슬라이스 후 즉시 가능하므로, 이를 순간적 랜덤 액세스 포인트라고도 한다. 이와 대조적으로, 점진적 랜덤 액세스 동작은 인트라 코딩된 MB들에 기반하여 실행될 수 있다. 연속하는 다수의 예측 화상의 경우, 인트라 코딩된 MB들은 이들 화상을 디코딩한 후 후속 화상의 각 MB가 화상들 중 하나에 공동배치된 인트라 코딩된 대응 MB를 갖도록 체계적으로 인코드된다. 그러므로, 화상의 디코딩은 일련의 화상들 전에 있는 어떤 다른 슬라이스에도 의존하지 않는다. 유사하게, SI 슬라이스는 비트 스트림에 특정하게 인코드된 이러한 형태의 슬라이스들을 삽입함으로써 상이한 비트 스트림들 사이에서 전환을 가능하게 한다. 불행하게도, H.264/AVC에서, IDR 슬라이스 또는 SI 슬라이스의 공통적인 단점은 이들이 일반적으로 다른 형태의 압축된 화상보다 더 크기 때문에 코딩 효율이 떨어진다는 것이다. 일반적으로, 전환 포인트를 삽입하기 위해서는 상당량의 비트 레이트 오버헤드를 감수해야 한다.
유사하게, 랜덤 액세스 포인트는 또한 스케일러블 비디오 코딩(SVC)에서도 사용된다. SVC에서, 하나의 의존 표현(dependency representation)은 다수의 계층 표현으로 이루어질 수 있으며, 하나의 액세스 유닛은 하나의 프레임 번호에 대응하는 모든 의존 표현으로 이루어진다(예컨대, Y-K. Wang, M. Hannuksela, S. Pateux, A. Eleftheriadis, 및 S. Wenger에 의한 "SVC의 시스템 및 전송 인터페이스(System and transport interface of SVC"), IEEE Trans. Circuits and Systems for Video Technology, vol. 17, no. 9, Sept 2007, pp. 1149-1163: 및 H. Schwarz, D. Marpe 및 T. Wiegand에 의한 "H. 264/AVC 표준의 스케일러블 비디오 코딩 확장에 관한 개요(Overview of the scalable video coding extension of the H.264/AVC standard", IEEE Trans. Circuits and Systems for Video Technology, vol. 17, no. 9, Sept 2007, pp. 1103-1120 참조).
SVC가 랜덤 액세스 포인트를 삽입하는 일반적인 방법은 전적으로 IDR 슬라이스를 이용하여 액세스 유닛을 코딩하는 것이다. 특히, IDR 화상에서 상위 계층 표현(의존_id 값이 큰 계층 표현)이 인코드될 경우, IDR 화상(들)에서 하위 계층 표현(들)(의존_id 값(들)이 작은 계층 표현(들)) 또한 모두 인코드된다. 이것은 IDR 화상에서 하위 계층 표현이 코딩될 경우, 그 IDR 화상 자체에서 상위 계층 표현이 인코드될 때 그 상위 계층 표현은 잠재적으로 더 좋은 계층 간 예측(inter-layer predication)을 이용할 수 있기 때문이다. 도 1에는 일예가 도시되어 있다. 도 1의 SVC 코딩된 신호는 두 개의 의존 표현을 가지며, 각각의 의존 표현은 하나의 계층 표현을 갖는다. 특히, 기본 계층은 D=0과 관련되며, 향상 계층은 D=1과 관련된다("D"의 값은 본 기술 분야에서 "의존_id" 라고도 지칭됨). 도 1은 SVC 신호의 프레임마다 아홉 개의 액세스 유닛이 나타나 있는 것을 예시한다. 점선 박스(10)로 예시된 바와 같이, 액세스 유닛 1은 제1 계층(D=1)에서 IDR 슬라이스 그리고 기본 계층(D=0)에서 IDR 슬라이스를 포함한다. 후속 액세스 유닛은 두 개의 예측(P) 슬라이스를 포함한다. 도 1로부터, 액세스 유닛 1, 5 및 9는 단지 IDR 슬라이스만을 포함하고 있음을 알 수가 있다. 그와 같이, 랜덤 액세스는 이러한 액세스 유닛에서 일어날 수 있다. 그러나, H.264/AVC 경우와 같이, IDR 슬라이스로 인코드된 각 액세스 유닛은 IDR 슬라이스가 통상 다른 형태의 압축된 화상보다 더 크기 때문에 SVC 코딩 효율을 감소시킨다.
[발명의 개요]
발명자들은 스케일러블 비디오 코딩(SVC)이 고속 채널 변경을 지원하기 위해 사용될 때, 생성되는 비트 스트림은 채널 변경에 사용되는 기본 계층, 및 정규 비디오 스트림으로서 사용되는 하나 이상의 향상 계층을 포함한다는 것을 관찰하였다. 이러한 기본 계층 및 향상 계층들은 동일 채널로 제한되고 채널 변경 기간 동안 함께 사용되는 것으로 예상되므로, 실시간 전송 프로토콜(RTP)을 이용하여 그러한 SVC 비트 스트림을 전송하려면 일반적인 SVC 비트 스트림을 전송하는 것과는 다른 고려사항들이 필요하다.
그러므로, 또한 본 발명의 원리에 따르면, 비디오 신호를 전송하는 방법은 스케일러블 비디오 코딩된(SVC) 신호의 제1 스케일러블 계층을 채널 변경 계층으로서 선택하는 단계로서, 상기 제1 스케일러블 계층은 상기 스케일러블 비디오 코딩된 신호의 제2 스케일러블 계층의 연관된 의존_id 값보다 작은 연관된 의존_id 값을 갖는 상기 선택 단계; 및 비랜덤 액세스 포인트 슬라이스가 단순 시간 집합 패킷으로 전달하도록 실시간 전송 프로토콜(RTP)을 이용하여 상기 스케일러블 비디오 코딩된 신호를 패킷 형태로 전송하는 단계로서, 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보(PACSI) 네트워크 추상화 계층(NAL) 유닛을 포함하는 상기 전송 단계를 포함한다. 결과적으로, 본 발명은 미디어 인식 스트림의 선택을 수행하는 미디어 인식 네트워크 요소(MANEs)에 미치는 영향을 최소화하면서 전송 효율과 SVC를 이용한 고속 채널 변경을 위한 경험 품질(QoE)을 향상시킬 수 있는 현실적인 RTP 패킷화 방법을 제공한다.
본 발명의 예시적인 실시예에서, 상기 SVC 신호는 기본 계층 및 향상 계층을 포함하며 상기 기본 계층은 상기 향상 계층보다 더 많은 랜덤 액세스 포인트, 예컨대, IDR 슬라이스를 갖는 것으로 선택된다. 상기 SVC 신호는 비랜덤 액세스 포인트 슬라이스가 STAP 패킷으로 전달하도록 RTP를 이용하여 패킷 형태로 전송되며, 각 STAP 패킷은 PACSI NAL 유닛을 포함한다. 상기 PACSI NAL 유닛은 상기 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최저값으로 설정된 3비트 의존_id "DID" 필드를 포함한다. 또한, 상기 PACSI NAL 유닛은 상기 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최고값으로 설정된 2비트 예비 비트(RR) 필드를 포함한다. 결과적으로, "DID" 필드값과 "RR" 필드값을 비교함으로써, 상기 STAP 패킷의 NAL 유닛들이 모두 동일 계층에 속하는지 또는 상기 STAP 패킷의 NAL 유닛들이 상이한 계층에 관련하는지를 신속히 결정할 수 있다.
본 발명의 다른 예시적인 실시예에서, SVC 인코더는 기본 계층 및 향상 계층을 포함하는 SVC 신호를 제공하며 상기 기본 계층은 상기 향상 계층보다 더 많은 랜덤 액세스 포인트, 예컨대, IDR 슬라이스를 갖는 것으로 선택되며, 상기 SVC 인코더는 상기 향상 계층이 IDR 슬라이스를 갖는 그들 액세스 유닛에서 상기 기본 계층이 비IDR 슬라이스를 갖는지를 코딩 효율의 함수로서 결정한다. 상기 SVC 신호는 비랜덤 액세스 포인트 슬라이스가 STAP 패킷들로 전달하도록 RTP를 이용하여 패킷 형태로 전송되며, 각 STAP 패킷은 PACSI NAL 유닛을 포함한다. 상기 PACSI NAL 유닛은 상기 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최저값으로 설정된 3비트 의존_id "DID" 필드를 포함한다. 또한, 상기 PACSI NAL 유닛은 상기 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최고값으로 설정된 2비트 예비 비트(RR) 필드를 포함한다. 결과적으로, "DID" 필드값과 "RR" 필드값을 비교함으로써, 상기 STAP 패킷의 NAL 유닛들이 모두 동일 계층에 속하는지 또는 상기 STAP 패킷의 NAL 유닛들이 상이한 계층에 관련하는지를 신속히 결정할 수 있다.
전술한 관점에서, 그리고 상세한 설명을 읽어 볼 때 자명해지는 바와 같이, 다른 실시예 및 다른 특징들 또한 가능하며 이들은 본 발명의 원리 내에 속한다.
도 1은 순간적 디코더 리프레시(IDR) 슬라이스를 갖는 종래 기술의 스케일러블 비디오 코딩된(SVC) 신호를 도시한다.
도 2는 SVC 인코딩에 사용하기 위한 예시적인 흐름도를 도시한다.
도 3은 예시적인 SVC 신호를 도시한다.
도 4는 본 발명의 원리에 따른 SVC 인코딩에 사용하기 위한 예시적인 흐름도를 도시한다.
도 5는 본 발명의 원리에 따른 장치의 예시적인 실시예를 도시한다.
도 6은 본 발명의 원리에 따른 예시적인 SVC 신호를 도시한다.
도 7은 본 발명의 원리에 따른 SVC 인코딩에 사용하기 위한 다른 예시적인 흐름도를 도시한다.
도 8은 본 발명의 원리에 따른 장치의 다른 예시적인 실시예를 도시한다.
도 9는 본 발명의 원리에 따른 또 다른 예시적인 흐름도를 도시한다.
도 10은 본 발명의 원리에 따른 변형된 PACSI NAL 유닛을 도시한다.
도 11 및 도 12는 MANE과 관련하여 본 발명의 원리를 예시한다.
본 발명의 개념 이외의, 도면에 도시된 구성요소들은 공지되어 있으며 상세히 설명되지 않을 것이다. 예를 들어, 본 발명의 개념 이외의, 이산 다중톤(DMT) 전송(직교 주파수 분할 다중(OFDM) 또는 직교 부호화 주파수 분할 다중(COFDM)이라고도 지칭됨)과 관련된 것이 상정되며 본 명세서에서 기술되지 않는다. 또한, 텔레비전 방송, 수신기 및 비디오 디코딩과 관련되는 것도 상정되며 본 명세서에서 상세히 기술되지 않는다. 예를 들어, 본 발명의 개념과 다른, TV 표준, 이를 테면, NTSC(National Television Systems Committee), PAL(Phase Alternation Lines), SECAM(SEquential Couleur Avec Memoire) 및 ATSC(Advanced Television Systems Committee), 중국 디지털 텔레비전 시스템(GB) 20600-2006 및 DVB-H의 현재의 권고 및 제안된 권고와 관련된 것이 상정된다. 마찬가지로, 본 발명의 개념 이외의, 다른 전송 개념, 이를 테면, 8레벨 잔류 측파대(vestigial sideband)(8-VSB), 직교 증폭 변조(QAM), 및 무선 주파수(RF) 프론트-엔드(이를 테면, 저잡음 블록, 튜너, 하향 변환기 등)와 같은 수신기 컴포넌트, 복조기, 상관기, 누설 적분기 및 제곱기가 상정된다. 또한, 본 발명의 개념 이외의, 파일 전송 오버 단방향 전송(File Delivery over Unidirectional Transport: FLUTE) 프로토콜, 비동기 계층화된 코딩(ALC) 프로토콜, 인터넷 프로토콜(IP) 및 인터넷 프로토콜 캡슐화기(IPE)와 관련된 것이 상정되며 본 명세서에서 기술되지 않는다. 유사하게, 본 발명의 개념 이외의, 전송 비트 스트림을 생성하기 위한 포맷팅 및 인코딩 방법(이를 테면, 동화상 전문가 그룹(MPEG)-2 시스템 표준(ISO/IEC 13818-1), 및 전술한 SVC)은 공지되어 있으며 및 본 명세서에서 기술되지 않는다. 또한, 본 발명의 개념은 통상의 프로그래밍 기술을 이용하여 구현될 수 있으며, 이 기술은 그와 같이 본 명세서에서 기술되지 않을 것이다. 마지막으로, 도면에서 같은 참조부호는 유사한 구성요소를 나타낸다.
전술한 바와 같이, 처음에 수신기가 턴 온할 때, 또는 채널 변경 동안에도 또는 단지 동일 채널 내에서 서비스를 변경하더라도, 수신기는 어떤 수신된 데이터를 처리할 수 있기 전에 필요한 초기화 데이터를 추가로 대기해야 한다. 결과적으로, 사용자는 추가의 시간을 대기한 다음 서비스 또는 프로그램에 액세스해야 한다. 본 명세서에서 설명되는 "채널 변경(channel change)", "동조(tune-in)", "서비스 변경(changing services)" 이라는 용어는 이들 모두 새로운 프로그램으로 전환하는 것을 나타내므로 동등하다.
SVC에서, SVC 신호는 다수의 의존(공간) 계층들을 포함할 수 있으며, 여기서 각각의 의존 계층은 동일한 의존_id 값을 갖는 SVC 신호의 하나 이상의 시간적 및/또는 품질 스케일러블 계층으로 이루어질 수 있다. 기본 계층(의존_id=0)은 비디오 신호의 해상도가 최소 레벨인 것을 나타낸다. 다른 계층들(의존_id > 0)은 비디오 신호의 해상도가 증가하는 계층들을 나타낸다. 예를 들어, 만일 SVC 신호가 세 개의 계층을 포함하면, 기본 계층, 계층 1 및 계층 2가 존재한다. 각 계층은 상이한 의존_id 값과 관련되어 있다. 수신기는 단지 (a) 기본 계층, (b) 기본 계층 및 계층 1 또는 (c) 기본 계층, 계층 1 및 계층 2만을 처리할 수 있다. 예를 들어, SVC 신호는 단지 기본 신호의 해상도만을 지원하는 장치에 의해 수신될 수 있으며, 그와 같이, 이러한 형태의 장치는 단순히 수신된 SVC 신호의 나머지 두 계층을 무시할 수 있다. 반대로, 가장 높은 해상도를 지원하는 장치의 경우, 이러한 형태의 장치는 수신된 SVC 신호의 세 개의 계층을 모두 처리할 수 있다.
SVC에서, IDR 화상의 인코딩은 각 계층마다 독립적으로 수행된다. 그와 같이, 그리고 본 발명의 원리에 따르면, 비디오 신호를 전송하는 방법은 스케일러블 비디오 코딩된(SVC) 신호의 제1 스케일러블 계층을 채널 변경 계층으로 선택하는 단계로서, 상기 제1 스케일러블 계층은 상기 스케일러블 비디오 코딩된 신호의 제2 스케일러블 계층의 연관된 의존_id 값보다 작은 연관된 의존_id 값을 가지는 상기 선택 단계; 상기 비디오 신호를 스케일러블 비디오 코딩하여 상기 스케일러블 비디오 코딩된 신호를 제공함으로써 상기 스케일러블 비디오 코딩된 신호의 적어도 일부에 대해, 상기 제1 스케일러블 계층의 랜덤 액세스 포인트 및 상기 제2 스케일러블 계층의 랜덤 액세스 포인트가 상이한 액세스 유닛에 존재하도록 하는 단계; 및 상기 스케일러블 비디오 코딩된 신호를 전송하는 단계를 포함한다. 결과적으로, 비디오 인코더는 추가의 전환 가능 포인트(switching enabling points)를 압축된 비디오 비트 스트림 내에 삽입함으로써 수신기의 동조 지연 및 채널 변경 지연을 저감시키면서 전체 비트 레이트를 추가로 저감시킬 수 있다.
본 발명의 예시적인 실시예에서, SVC 신호는 기본 계층 및 향상 계층을 포함하며 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예컨대, IDR 슬라이스를 갖는 것으로 선택되며, 향상 계층이 IDR 슬라이스를 갖는 그들 액세스 유닛에서, 기본 계층은 비IDR 슬라이스를 갖는다. 비록 본 발명의 개념이 두 계층과 관련하여 예시될지라도, 본 발명의 개념은 그것으로 제한되지 않으며 두 개 이상의 스케일러블 계층이 존재할 수 있다.
본 발명의 개념을 설명하기에 앞서, 도 2에는 동조 지연 및 채널 변경 지연을 저감시키는 스케일러블 비디오 인코더에 사용하기 위한 흐름도가 도시되어 있다. 단계(105)에서, 스케일러블 비디오 인코더는 비디오 신호를 기본 계층 및 적어도 하나의 다른 계층을 포함하는 SVC 신호로 인코드한다. 특히, 단계(110)에서 스케일러블 비디오 인코더는 IDR 슬라이스들을 결과적인 SVC 신호의 어떤 다른 계층보다 기본 계층에 더 빈번히 삽입하도록 비디오 신호를 인코드한다. 예를 들어, 스케일러블 비디오 인코더는 기존의 코딩 패턴 IBBP 또는 IPPP와 유사한 코딩 파라미터에 응답하며, 예외적으로 이러한 코딩 파라미터는 상이한 공간 계층에서 상이한 IDR 간격을 지정한다. 마지막으로, 단계(115)에서 SVC 신호가 전송된다.
이제 도 3을 참조하면, 도 2의 흐름도의 단계들을 수행하는 SVC 인코더에 의해 구성된 예시적인 SVC 신호(111)가 도시되어 있다. 이 예에서, SVC 신호(111)는 두 계층, 즉, 기본 계층(D=0) 및 향상 계층(D=1)을 포함한다. 도 3으로부터 알 수 있는 바와 같이, 기본 계층은 액세스 유닛 1, 4, 7 및 9에서 IDR 슬라이스를 가지며; 반면에 향상 계층은 단지 액세스 유닛 1 및 9에서 IDR 슬라이스를 갖는다. 그와 같이, 수신 장치가 화살표(301)로 예시한 바와 같은 시간 TC에서 SVC 신호(111)를 전달하는 채널로 변경(또는 처음 동조)할 때, 수신 장치는 단지 화살표(302)로 나타낸 바와 같은 시간 TW을 대기한 다음 SVC 신호(111)의 기본 계층의 디코딩을 시작하여 해상도가 저감된 비디오 화상을 사용자에게 제공할 수 있다. 따라서, 수신기는 랜덤 액세스 포인트를 더 많이 갖는 기본 계층의 비디오 인코드된 신호를 즉시 디코딩함으로써 동조 지연 및 채널 변경 지연을 저감시킬 수 있다. 도 3으로부터 더 알 수 있는 바와 같이, 수신기는 화살표(303)로 나타낸 바와 같은 시간 TD를 대기한 다음 향상 계층을 디코드하여 해상도가 더 높은 비디오 화상을 사용자에게 제공할 수 있다.
도 1에 도시된 예와 비교해 볼 때, 두 계층이 동일한 IDR 주파수를 갖는 경우, 도 2의 방법은 일련의 기능을 동일하게 향상시키는 역량을 제공하지만, 낮은 비트 레이트에서는 단지 제한된 성능 손실을 가져온다. 이것은 특히 기본 계층이 비트 스트림의 전체 비트 레이트 중 작은 일부분만을 사용할 때 그러하다. 예를 들어, 공통 중간 포맷(Common Intermediate Format: CIF)(372x288) 해상도를 기본 계층(D=0)으로서 그리고 표준 화질(SD)(720x480) 해상도를 향상 계층(D=1)으로서 하는 경우, 기본 계층은 전체 비트 레이트 중 작은 백분율(예컨대, 약 25%)만을 사용한다. 그러므로, IDR 주파수를 CIF 해상도로 증가시킴으로써, 비트 레이트 오버헤드는 IDR 주파수를 단지 기본 계층에서, 또는 두 계층에서 증가시키는 것에 비해 훨씬 적다. 불행하게도, IDR 슬라이스로 인코드된 각 액세스 유닛은 IDR 슬라이스가 보통 다른 형태의 압축된 화상보다 더 크기 때문에 여전히 SVC 코딩 효율을 감소시킨다.
부가적으로, 발명자들은 스케일러블 비디오 코딩(SVC)이 고속 채널 변경을 지원하기 위해 사용될 경우, 생성된 비트 스트림은 채널 변경에 사용되는 기본 계층, 및 정규 비디오 스트림으로서 사용되는 하나 이상의 향상 계층을 포함한다. 기본 계층 및 향상 계층이 동일한 채널로 제한되고 채널 변경 기간 동안 함께 사용되는 것으로 예상되므로, 실시간 전송 프로토콜(RTP)을 이용하여 그러한 SVC 비트 스트림을 전송하려면 일반적인 SVC 비트 스트림의 전송과는 다른 고려사항들이 필요하다.
SVC 인코더의 비디오 코딩 계층(VCL)은 네트워크 추상화 계층(NAL) 유닛에 저장된 인코드된 정보를 생성한다. SVC 비트 스트림이 실시간 전송 프로토콜(RTP)(사용자 데이터그램 프로토콜(UDP)/인터넷 프로토콜(IP) 프로토콜 스택을 이용하는 네트워크를 통해 전송되는 경우, 비트 스트림 내 NAL 유닛은 IETF AVT 드래프트에서, 즉, "SVC 비디오 draft-ietf-avt-rtp-svc-13.txt의 RTP 페이로드 포맷"으로 기술되는 바와 같이 SVC 패킷화에 따라 실시간 전송 프로토콜(RTP) 패킷으로 패킷화되어야 한다.
전술한 IETF AVT 드래프트는 SVC 코딩된 비디오 스트림을 단일 세션/비인터리빙 모드에서 전송하는데 사용될 수 있는 다수의 NAL 형태를 규정한다. 한가지 NAL 형태는 단일 NAL 유닛(Single NAL Unit: SNU)이다. SNU는 단지 한 RTP 패킷에 하나의 SVC NAL 유닛을 로딩할 수 있다. 다른 NAL 형태는 단순 시간 집합 패킷(Simple-Time Aggregation Packet: STAP-A)이다. STAP-A(본 명세서에서 단순히 STAP 패킷이라고도 지칭됨)는 한 RTP 패킷에 동일 프리젠테이션 타임 인스턴스를 갖는 (또는 동등하게, 동일 액세스 유닛에 속하는) 다수의 SVC NAL 유닛을 이들의 대응하는 디코딩 순서와 동일한 순서로 로딩할 수 있다. 또 다른 NAL 형태는 비인터리빙된 다중 시간 집합 패킷(Non-interleaved Multi-Time Aggregation Packet: NI-MTAP)이다. NI-MTAP는 한 RTP 패킷에 상이한 프리젠테이션 타임 인스턴스를 갖는 (또는 동등하게, 상이한 액세스 유닛에 속하는) 다수의 SVC NAL 유닛을 이들의 대응하는 디코딩 순서와 동일한 순서로 로딩할 수 있다. 단편화 유닛-A(Fragmentation Unit-A: FU-A) NAL 형태는 지나치게 큰 NAL 유닛을 다수의 RTP 패킷으로 분할하는데 사용될 수 있다. 마지막으로, 페이로드 콘텐츠 스케일러빌리티 정보(Payload Content Scalability Information: PACSI) NAL 형태가 있다. PACSI는 패킷화를 용이하게 하고 집합 패킷의 페이로드 내 모든 잔여 NAL 유닛들에 공통인 스케일러빌리티 정보 및 다른 특징을 나타낸다. 그러나, 지금까지 SVC를 이용한 고속 채널 변경에 적합한 패킷화 포맷을 제안하는 표준 방식 또는 규칙은 존재하지 않는다.
전술한 관점에서, 발명자들은 기존의 멀티캐스트 기반 고속 변경 해법과 관련하여 많은 관찰을 하였다. 먼저, 기존의 멀티캐스트 기반 고속 채널 변경 해법은 대개의 경우 두 개의 별도 RTP 세션을 사용하는데, 즉, 한 세션은 정규 비디오 스트림을 전송하는 것이고 다른 세션은 채널 변경 스트림을 전송하는 것이다. 채널 변경이 발생한 경우, 최종 사용자는 두 멀티캐스트 RTP 세션에 대한 IGMP 가입/탈퇴 요청을 전송한다.
그러나, SVC가 고속 채널 변경을 위해 사용될 경우, 발명자들은 채널 변경 스트림 및 정규 비디오 스트림 둘 다를 위해 SSRC(동기화 소스), 타임스탬프 및 시퀀스 번호 공간이 동일한 단일 멀티캐스트 RTP 세션을 사용하는 것을 제안한다. 이러한 접근법은 필요로 하는 인터넷 프로토콜(IP) 어드레스의 수를 절반으로 줄일 뿐만 아니라, 채널 변경 프로세스 중에 교환되어야 하는 메시지의 수도 줄여준다. 또한, 다른 장점으로는, 예를 들어, 방어벽 구성이 간단하고, 디코딩 순서 복구 프로세스의 복잡도가 낮다는 등이 있다.
또한, 발명자들은 만일 MTAP 패킷화가 도 2의 흐름도에 도시된 전술한 SVC 인코딩 방법에 사용된다면, 제1 최대 해상도 화상의 디코딩은 MTAP 패킷화가 한 RTP 패킷에 상이한 프리젠테이션 타임 인스턴스를 이들의 대응하는 디코딩 순서와 동일한 순서로 가질 수 (또는 동등하게, 상이한 액세스 유닛에 속할 수) 있으므로 지연될 수 있음을 관찰하였다. 따라서, 다수의 MTAP 패킷들은 수신된 다음 디코딩을 시작할 수 있다. 결과적으로, MTAP 패킷화로 인해 더 많은 랜덤 액세스 포인트가 기본 스트림에 삽입되더라도 동조 지연이 증가하게 된다. 대조적으로, 발명자들은 비IDR 슬라이스를 전달하기 위해 STAP 패킷화를 항상 사용할 필요가 있는 경우, 동조 지연을 저감시킬 수 있음을 관찰하였다.
특히, STAP 패킷은 한 RTP 패킷에 동일 프리젠테이션 타임 인스턴스를 갖는 (또는 동등하게, 동일 액세스 유닛에 속하는) 비IDR 슬라이스를 이들의 대응하는 디코딩 순서와 동일한 순서로 전달한다. 결과적으로, 단일 STAP 패킷이 수신되는 즉시, 디코딩은 시작할 수 있다. 그러므로, STAP NAL 유닛을 이용하여 비IDR 슬라이스를 패킷화하게 되면 동조 지연을 저감시키는데 도움이 된다. 부가적으로, STAP를 채용하여 하나의 액세스 유닛에 의거하지만 상이한 계층에 속하는 계층 표현을 패킷화함으로써, 원래의 디코딩 순서가 쉽게 유지될 수 있다.
발명자들은 또한 미디어 인식 네트워크 요소(Media Aware Network Elements: MANES)가 RTP 헤더 또는 페이로드를 분석하여 캡슐화된 오디오/비디오 콘텐츠에 반응할 수 있음을 관찰하였다. MANE의 일예는 NAL 헤더, IP의 상부에 있는 RTP/RTCP를 처리하고 필요한 경우 특정 형태의 NAL 유닛을 이중화하거나 변환할 수 있는 미디어 게이트웨이다. 그러므로, 발명자들은 페이로드/헤더 정보를 이용하여 RTP 세션 내에서 SVC 인코드된 비디오 스트림을 전달하는 계층들을 식별함으로써, NANE가 다수의 RTP 스트림을 수집하고, 또한 인입 RTP 패킷 스트림으로부터 미디어 인식 스트림의 감소(패킷 또는 일부분의 선택적 제거)를 수행할 수 있음을 관찰하였다. 특히, 만일 변형된 PACSI NAL 유닛이 각 STAP 패킷에 포함되어 있으면, MANE는 아마도 NAL 헤더를 RTP 패킷으로 더 분석하지 않고도 적층(layering) 및 의존과 같은 필요한 정보를 추출할 수 있다.
그러므로, 본 발명의 원리에 따르면, 비디오 신호를 전송하는 방법은 스케일러블 비디오 코딩된(SVC) 신호의 제1 스케일러블 계층을 채널 변경 계층으로서 선택하는 단계로서, 상기 제1 스케일러블 계층은 상기 스케일러블 비디오 코딩된 신호의 제2 스케일러블 계층의 연관된 의존_id 값보다 작은 연관된 의존_id 값을 갖는 상기 단계; 및 비랜덤 액세스 포인트 슬라이스가 단순 시간 집합 패킷들(STAP)로 전달되도록 실시간 전송 프로토콜(RTP)을 이용하여 상기 스케일러블 비디오 코딩된 신호를 패킷 형태로 전송하는 단계를 포함하며, 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보(PACSI) 네트워크 추상화 계층(NAL) 유닛을 포함한다. 결과적으로, 본 발명은 SVC를 이용한 고속 채널 변경을 위해 전송 효율 및 경험 품질(QoE)을 향상시키면서, 미디어 인식 스트림 선택을 수행하는 미디어 인식 네트워크 요소(MAMEs)에 미치는 영향을 최소화할 수 있는 실용적인 RTP 패킷화 방법을 제공한다.
도 4에는 본 발명의 원리에 따른 예시적인 흐름도가 도시되어 있다. 또한 본 발명의 원리에 따라 비디오 신호를 인코딩하는 예시적인 장치(200)를 예시하는 도 5를 약간 주의 깊게 봐야 한다. 본 발명의 개념과 관련된 그들 부분들만이 도시되어 있다. 장치(200)는 프로세서 기반 시스템이며 도 5에서 점선 박스 형태로 도시된 프로세서(240) 및 메모리(245)로 나타낸 바와 같은 하나, 또는 그 이상의 프로세서 및 이와 연관된 메모리를 포함한다. 이와 관련하여, 프로세서(240)에 의한 실행을 위해 그리고, 예컨대, SVC 인코더(205)를 구현하기 위해 컴퓨터 프로그램, 또는 소프트웨어가 메모리(245)에 저장되어 있다. 프로세서(240)는 하나, 또는 그 이상의 저장된 프로그램 제어 프로세서를 나타내며 이들 프로세서들은 송신기 기능을 전담할 필요가 없으며, 예컨대, 프로세서(240)는 송신기의 다른 기능도 제어할 수 있다. 메모리(245)는 어떤 저장 장치, 예컨대, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등을 나타내며; 송신기 내부 및/또는 외부에 있을 수 있으며; 그리고 필요에 따라 휘발성 및/또는 비휘발성 메모리이다.
장치(200)는 SVC 인코더(205) 및 변조기(210)를 포함한다. 비디오 신호(204)는 SVC 인코더(205)에 인가된다. SVC 인코더(205)는 본 발명의 원리에 따라 비디오 신호(204)를 인코드하며 SVC 신호(206)를 변조기(210)에 제공한다. 변조기(210)는 변조된 신호(211)를 제공하여 상향 변환기 및 안테나(그 둘다 도 5에 도시되지 않음)를 경유하여 전송한다.
이제 도 4을 참조하면, 단계(155)에서 도 5의 프로세서(240)는 비디오 신호(204)를 기본 계층 및 향상 계층을 포함하는 SVC 신호(206)로 인코드한다. 특히, 단계(160)에서, 프로세서(240)는 IDR 슬라이스가 SVC 신호(206)의 향상 계층보다 기본 계층에 더 빈번히 삽입하도록, 또한 동일 액세스 유닛에 두 IDR 슬라이스가 존재할 때, 기본 계층이 비IDR 슬라이스로 인코드되도록 (예컨대, 도 5에서 점선 형태로 도시된 신호(203)를 통해) 도 5의 SVC 인코더(205)를 제어한다. 특히, 마치 코딩 패턴 IBBP 또는 IPPP를 지정하는 것처럼 상이한 공간 계층에서 상이한 IDR 간격을 지정하는 코딩 파라미터가 SVC 인코더(205)에 적용된다. 단계(165)에서, 도 5의 변조기(210)는 비IDR 슬라이스가 STAP 패킷으로 전달되도록 RTP를 이용하여 SVC 신호를 패킷 형태로 전송하며, 각각의 STAP 패킷은 변형된 PACSI NAL 유닛(후술함)을 포함한다. IDR 슬라이스는 FU 형태의 RTP 패킷들로 패킷화될 가능성이 많은데, 그 이유는 코딩된 IDR 화상이 대개의 경우 전형적인 네트워크의 MTU(Maximum Transmission Unit: 최대 전송 유닛) 바이트(예컨대, 이더넷의 경우 1500 바이트) 보다 더 많이 사용하기 때문이라는 것을 주목해야 한다. 비록 패킷화 기능이 변조기에서 수행되는 것으로 기술될지라도, 본 발명의 개념은 그것으로 제한되지 않으며, 장치(200)에서 나타낸 바와 같이 송신기의 다른 요소들에서 수행될 수 있음을 알아야 한다.
도 10에는 본 발명의 원리에 따라서 변형된 예시적인 PACSI NAL 유닛 구조가 도시되어 있다. PACSI NAL 유닛은 도 4의 단계(165)에서 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최저값으로 설정된 3비트 의존_id "DID" 필드(498)를 포함한다. 부가적으로, PACSI NAL 유닛은 도 4의 단계(165)에서 본 발명의 원리에 따라서 STAP 패킷의 페이로드 내 모든 잔여 NAL 유닛의 DID 값들 중 최고값으로 설정된 2비트 예비 비트(RR) 필드(499)를 포함한다. 결과적으로, "DID" 필드 값과 "RR" 필드 값을 비교함으로써, STAP 패킷 내 NAL 유닛들이 모두 동일 계층에 속하는지 또는 STAP 패킷 내 NAL 유닛들이 상이한 계층에 관련한 것인지를 신속히 결정할 수 있다. 따라서, 예를 들어, 이들 두 필드 값들을 검사함으로써, MANE는 집합 패킷 내 NAL 유닛들이 모두 동일 계층에 속하는지를 신속히 결정하고 전체 집합 패킷을 전체적으로 전송하거나 폐기하는 것으로 결정할 수 있다. 그러나, RR 필드 값이 DID 필드 값과 다른 경우, 이는 하나보다 많은 스케일러블 계층이 STAP 페이로드 내에 수집되었음을 나타낸다. 결과적으로, MANE는 그 페이로드 중 어느 부분을 전송하거나 폐기할 수 있는지를 결정하기 위해 각 NAL 유닛의 헤더와 PACSI NAL 유닛 다음에 오는 NAL 유닛의 크기를 더 분석하는 것이 필요하다.
이제 도 6을 참조하면, 도 4의 흐름도의 단계들을 수행하는 SVC 인코더에 의해 구성된 예시적인 SVC 신호(206)가 도시되어 있다. 이 예에서, SVC 신호(206)는 두 계층, 즉, 기본 계층(D=0) 및 향상 계층(D=1)을 포함한다. 도 6으로부터 알 수 있는 바와 같이, 기본 계층은 액세스 유닛 4 및 7에서 IDR 슬라이스를 가지며, 반면 향상 계층은 액세스 유닛 1 및 9에서 IDR 슬라이스를 갖는다. 본 발명의 원리에 따르면, 액세스 유닛 1 및 9에서 기본 계층은 비IDR 슬라이스로 인코드된다. 비록 SVC 인코드가 기본 계층이 향상 계층보다 더 많은 액세스 포인트를 갖도록(예컨대, 기본 계층의 경우 향상 계층의 액세스 유닛 9에 IDR 슬라이스가 출현하기 전에 액세스 유닛 4 및 7에 두 IDR 슬라이스가 존재하도록) 제공하였을지라도, 본 발명의 개념은 그것으로 제한되지 않는다. 예를 들어, SVC 인코딩은 채널 변경 계층의 IDR 슬라이스가 단순히 의존_id 값이 더 높은 계층의 IDR 슬라이스와 다른 시간에 존재하도록 수행될 수 있다. 사실상 이것은, 예컨대, 기본 계층 및 향상 계층의 IDR 슬라이스들의 개수를 동일하게 하는 결과를 가져올 수 있다.
계속해서 도 6을 설명하면, 수신 장치가 화살표(401)로 예시된 바와 같이 시간 TC에서 SVC 신호(206)를 전달하는 채널로 변경(또는 처음 동조)할 경우, 수신 장치는 단지 화살표(402)로 나타낸 바와 같은 시간 TW를 대기한 다음 SVC 신호(206)의 기본 계층의 디코딩을 시작하여 해상도가 저감된 비디오 화상을 사용자에게 제공할 수 있다. 따라서, 수신기는 더 많은 랜덤 액세스 포인트를 갖는 기본 계층의 비디오 인코드된 신호를 즉시 디코딩함으로써 동조 지연 및 채널 변경 지연을 저감시킬 수 있다. 도 6으로부터 추가로 알 수 있는 바와 같이, 화살표(409)로 나타낸 바와 같이 시간 TF에서 채널 변경이 일어날 경우, 수신기는 단지 화살표(403)로 나타낸 바와 같은 시간 TG를 대기한 다음 향상 계층을 디코드하여 해상도가 더 높은 비디오 화상을 사용자에게 제공할 수 있다.
이제 도 7을 참조하면, 본 발명의 또 다른 예시적인 실시예가 도시되어 있다. 도 7의 흐름도는 기본 계층 및 향상 계층을 포함하는 SVC 신호를 제공하는 SVC 인코더(예컨대, 도 5의 SVC 인코더(205))를 예시하며, 여기서 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예컨대, IDR 슬라이스를 갖는 것으로 선택되며 또한 SVC 인코더는 향상 계층이 IDR 슬라이스를 갖는 그들 액세스 유닛에서, 기본 계층이 비IDR 슬라이스를 갖는지를 코딩 효율의 함수로서 결정한다. 그 결과, 결과적인 SVC 인코드된 신호는 하위 계층이 비IDR 슬라이스로 인코드되고 상위 계층이 SVC 인코드된 신호의 적어도 일부의 IDR 슬라이스로 인코드되는 액세스 유닛을 가질 수 있거나, 또는 그러한 액세스 유닛을 갖지 않을 수 있다. 단계(505)에서, 스케일러블 비디오 인코더는 비디오 신호를 기본 계층 및 적어도 하나의 다른 계층을 포함하는 SVC 신호로 인코드한다. 특히, 단계(510)에서, 스케일러블 비디오 인코더는 IDR 슬라이스가 결과적인 SVC 신호의 어떤 다른 계층보다 기본 계층에 더 빈번히 삽입하도록 비디오 신호를 인코드한다. 예를 들어, 스케일러블 비디오 인코더는 기존의 코딩 패턴 IBBP 또는 IPPP와 유사한 코딩 파라미터에 응답하며, 예외적으로 이 코딩 파라미터는 상이한 공간 계층에서 상이한 IDR 간격을 지정한다. 단계(520)에서, SVC 인코더는 결과적인 코딩 효율, 예컨대, 전체 액세스 유닛을 IDR 슬라이스로서 인코딩하는 비트 레이트가 기본 계층을 비IDR 슬라이스로 그리고 상위 계층을 IDR 슬라이스로 인코딩하는 비트 레이트보다 높은지를 체크한다. 만일 비트 레이트가 높지 않다면, 단계(530)에서 SVC 신호가 전송된다. 코딩된 IDR 화상은 대개의 경우 MTU보다 더 많이 사용하므로 IDR 슬라이스는 FU 형태의 RTP 패킷으로 패킷화될 가능성이 더 많다는 것을 다시금 알아야 한다. 그러나, 만일 비트 레이트가 높다면, 단계(525)에서 두 IDR 슬라이스가 동일한 액세스 유닛에 존재하는 그들 액세스 유닛에서, SVC 인코더는 코딩 효율을 증가시키기 위해 기본 계층을 비IDR 슬라이스로 대체한 다음 단계(530)에서 비IDR 슬라이스가 STAP 패킷으로 전달하도록 RTP를 이용하여 SVC 신호를 패킷 형태로 전송하며, 각 STAP 패킷은 전술한 바와 같이 DID 필드 및 RR 필드가 적절히 설정된 변형된 PACSI NAL 유닛을 포함한다.
도 2, 도 4 및 도 7의 흐름도는 장치(200)에 의해 상위 계층을 처리하는 것을 나타냄을 주목해야 한다. 예를 들어, 비디오 신호의 일부가 SVC 인코드되는 경우, SVC 인코드된 신호의 일부가 동시에 전송될 수 있다. 또한, 비록 기본 계층 및 단일의 향상 계층과 관련하여 예시되었을지라도, 도 4 및 도 7의 흐름도는 하나보다 많은 상위 계층으로 쉽게 확장가능하다.
이제 도 8을 참조하면, 본 발명의 원리에 따라서 SVC 신호를 수신하는 예시적인 장치가 도시되어 있다. 본 발명의 개념과 관련된 그들 부분들만이 도시되어 있다. 장치(350)는 수신 신호(311)(예컨대, 이 신호는 도 5의 장치(200)에 의해 전송된 신호의 수신 버전임)로 표현된 바와 같은, 본 발명의 원리에 따라서 SVC 신호를 전달하는 신호를 수신한다. 장치(350)는, 예를 들어, 셀폰, 모바일 TV, 셋탑 박스, 디지털 TV(DTV) 등을 나타낸다. 장치(350)는 수신기(355), 프로세서(360) 및 메모리(365)를 포함한다. 그와 같이, 장치(350)는 프로세서 기반 시스템이다. 수신기(355)는 SVC 신호를 전달하는 어떤 한 채널로 동조하는 프론트-엔드 및 복조기를 나타낸다. 수신기(355)는 신호(311)를 수신하고 이로부터 신호(356)를 복구하며, 이것은 프로세서(360)에 의해 처리, 즉, 프로세서(360)는 SVC 디코딩을 수행한다. 예를 들어, 또한 본 발명의 원리에 따라서 채널 전환 및 채널 동조를 위한 도 9에 도시된 흐름도(후술함)에 따르면, 프로세서(360)는 디코드된 비디오를 경로(366)를 통해 메모리(365)에 제공한다. 디코드된 비디오는 장치(350)의 일부이거나 또는 장치(350)와 별개일 수 있는 디스플레이(도시되지 않음)에 인가하기 위해 메모리(365)에 저장된다.
이제 도 9를 참조하면, 장치(350)에 사용하기 위한 본 발명의 원리에 따른 예시적인 흐름도가 도시되어 있다. 이 예에서, 수신된 SVC 신호는 기본 계층 및 향상 계층(상위 계층)을 포함하며, 여기서 기본 계층의 의존_id 값은 향상 계층의 의존_id 값보다 작다. 채널 전환 또는 어떤 한 채널로 동조할 때, 프로세서(360)는 초기 타겟 의존 계층(initial targeted dependency layer), 예컨대, 지정된 채널 변경 계층으로 디코딩을 설정한다. 이 예에서, 이것은 단계(405)에서 수신된 SVC 신호의 기본 계층으로 나타낸다. 그러나, 본 발명의 개념은 그것으로 제한되지 않으며, 다른 의존 계층들도 "초기 타겟 계층"으로 지정될 수 있다. 단계(410)에서, 프로세서(360)는 액세스 유닛(본 기술 분야에서 수신된 SVC 네트워크 추상화 계층(NAL) 유닛이라고도 지칭됨)을 수신하고, 단계(415)에서 만일 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스인지를 체크한다. 만일 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스가 아니면, 단계(425)에서 프로세서(360)는 수신된 액세스 유닛의 기본 계층에 IDR 슬라이스가 존재하는지를 체크한다. 만일 기본 계층에 IDR이 존재하지 않으면, 프로세서(360)는 다음 액세스 유닛을 수신하는 단계(410)로 되돌아간다. 그러나, 단계(415)에서 만일 상위 계층에 IDR 슬라이스가 존재하면, 단계(420)에서 프로세서(360)는 그의 SVC 타겟 표현 계층을 향상 계층으로 설정하고 프로세서가 처음에 그 향상 계층으로부터 IDR 화상, 예컨대, 정규 비디오 스트림을 수신할 때 디코딩을 시작한다.
단계(425)로 되돌아가서, 만일 수신된 기본 계층이 IDR 슬라이스이면, 단계(430)에서 프로세서(360)는 비록 감소된 해상도라도 비디오 신호를 제공하기 위해 SVC 기본 계층의 디코딩을 시작한다. 그 다음, 단계(435)에서 프로세서(360)는 액세스 유닛을 수신하고, 단계(440)에서 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스인지를 체크한다. 만일 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스가 아니면, 프로세서(360)는 다음 액세스 유닛을 수신하는 단계(435)로 되돌아간다. 그러나, 만일 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스이면, 단계(445)에서 프로세서(360)는 더 높은 해상도로 비디오 신호를 제공하기 위해 SVC 상위 계층의 디코딩을 시작한다.
다시 말하면, 도 9의 흐름도의 개요는 다음과 같다. 의존_id 값이 현재 디코딩 계층의 값보다 큰 의존 계층의 IDR 슬라이스가 검출되면, 수신기는 그 의존 계층의 코딩된 비디오를 검출된 IDR 슬라이스로 디코드한다. 그렇지 않은 경우, 수신기는 계속해서 현재 의존 계층을 디코드한다. 전술한 바와 같이, 기본 계층의 IDR 없이도, 향상 계층의 IDR은 그 향상 계층의 디코딩을 시작하기에 충분하다.
도 9의 흐름도가 장치(350)에 의해 상위 계층을 처리하는 것을 나타냄을 주목하여야 한다. 예를 들어, 단계(430)에서 일단 기본 계층의 디코딩을 시작하였으면, 이 처리는 프로세서(350)가 단계(435 및 440)에서 상위 계층의 IDR 슬라이스를 체크하고 있을지라도 프로세서(350)에 의해 계속해서 수행한다. 마지막으로, 비록 기본 계층 및 단일 향상 계층과 관련하여 예시될지라도, 도 9의 흐름도는 하나보다 많은 상위 계층으로 쉽게 확장가능하다.
전술한 바와 같이, 그리고 본 발명의 원리에 따라서, RTP(SVC 인코드된) 패킷 스트림을 처리하는 수신기는 수신된 STAP 패킷의 NAL 유닛이 모두 동일 계층에 속하는지 또는 하나보다 많은 계층이 STAP 페이로드로 전달되는지를 신속히 결정할 수 있으며, 따라서 적절한 처리를 수행할 수 있다. 이에 대해서는 도 11 및 도 12에서 더 예시되며, 여기서 수신기는 비록 본 발명의 개념이 이것으로 제한되지 않을지라도 MANE로 예시된다. MANE(700)는 프로세서-기반 시스템이며 도 11에서 점선 박스의 형태로 도시된 프로세서(740) 및 메모리(745)로 나타낸 바와 같이 하나, 또는 그 이상의 프로세서 및 그와 연관된 메모리를 포함한다. 이와 관련하여, 프로세서(740)에 의한 실행을 위해 컴퓨터 프로그램, 또는 소프트웨어가 메모리(745)에 저장되어 있다. 프로세서(740)는 하나, 또는 그 이상의 저장된 프로그램 제어 프로세서를 나타낸다. 메모리(745)는 임의의 저장 장치, 예컨대, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등을 나타내며; 송신기 내부 및/또는 외부에 있을 수 있으며; 그리고 필요에 따라 휘발성 및/또는 비휘발성 메모리이다. MANE(700)는 RTP(SVC 인코드된) 패킷 스트림(699)을 수신하고, 필요에 따라 프로세싱을 수행하며, RTP(SVC 인코드된) 패킷 스트림(701)을 다른 네트워크 요소 또는 수신 장치에 제공한다.
이제 도 12를 참조하면, 수신기, 예컨대, 도 11의 MANE(700)에 사용하기 위한 예시적인 흐름도가 도시되어 있다. 단계(705)에서, MANE(700)는 RTP(SVC 인코드된) 패킷 스트림을 수신한다. 단계(710)에서, MANE(700)는 각 수신된 STAP 패킷의 PACSI NAL 유닛 내 각각의 DID 및 RR 필드의 값들을 비교한다. 만일 각각의 DID 및 RR 값들이 동일하면, MANE(700)는 수신된 STAP 패킷을 패킷 단위로 처리한다. 예를 들어, 만일 네트워크에 혼잡(congestion)이 발생하면, 패킷 전체를 드롭시킨다. 반면에, 만일 각각의 DID 및 RR 값들이 상이하면, MANE(700)는 수신된 STAP 패킷을 NAL 유닛 단위로 처리한다. 예를 들어, 만일 네트워크에 혼잡이 발생하면, 향상 계층은 드롭될 수 있다. 따라서, 본 발명의 원리에 따르면, MANE(700)는 후속하는 수집된 NAL 유닛들을 자체적으로 조사하는 대신에 DID 및 RR 필드의 값들을 비교함으로써 스케일러빌리티 정보를 결정한다. 결과적으로, MANE(700)는 수신된 RTP(SVC 인코드된) 스트림(699)을 보다 효율적으로 처리할 수 있으며 RTP(SVC 인코드된) 스트림(701)을 구성할 때 캡슐화된 NAL 유닛을 전송, 처리 또는 폐기할 수 있다.
다시 말하면, SVC 스트림이 저해상도 및 고해상도 스케일러블 계층을 포함하는 경우, 채널 변경을 위한 개개의 NAL 유닛과 정규 스트림은 이들의 NAL 헤더에 상이한 DID 값을 사용할 것이다. 이러한 NAL 유닛들이 단일 RTP 패킷에 통합될 경우, PACSI NAL 유닛의 DID 및 RR 필드는 본 발명의 원리에 따라 적절히 설정될 것이다. 그러나, DID 값 자체를 보면, MANE는 후속 NAL 유닛들이 하나의 스케일러블 계층으로부터 온 것인지 아닌지를 말할 수 없다. 이와 같이, 만일 MANE가 저해상도 스케일러블 계층을 셀폰 사용자들에게만 전송할 필요가 있다면, MANE는 잔여 NAL 유닛들을 각기 분석한 다음 전송해야 한다. 그러나, 본 발명의 원리에 따른 PACSI NAL 유닛의 RR 필드를 이용함으로써, MANE는 각각의 잔여 NAL 유닛을 분석할 필요없이 수신된 STAP 패킷의 잔여 NAL 유닛들이 모두 동일한 스케일러블 계층에 속하는지를 신속히 알 수 있으며, 또한, 예컨대, 수신된 STAP 패킷의 잔여 NAL 유닛들이 모두 저해상도 스케일러블 계층에 속하는 경우 STAP 패킷을 전송하거나 또는 그렇지 않은 경우 STAP 패킷을 폐기할 수 있다.
전술한 바와 같이, 또한 본 발명의 원리에 따르면, MPEG 스케일러블 비디오 코딩(SVC)(예컨대, ITU-T 권고 H.264 개정안 3: "일반적인 음성영상 서비스를 위한 어드밴스드 비디오 코딩(Advanced video coding for generic autovisual services: Scalable Video Coding)")가 고속 채널 변경을 위해 사용될 경우 비트 스트림 인코딩 패턴에 의해 전체 비트 레이트가 저감된다. 그 결과, SVC 압축된 비디오 스트림의 전체 비트 레이트는 고속 채널 변경 성능에 영향을 미치지 않고서도 저감될 수 있다. 부가적으로, 또한 본 발명의 원리에 따르면, STAP 패킷화를 이용한 RTP 패킷화 방법은 전송 효율을 향상시키면서 전체 채널 변경 경험 품질(QoE)을 향상시킨다. 마지막으로, 또한 본 발명의 원리에 따르면, MANE(Media-Aware Network Elements)에 의해 SVC 계층들을 추출할 때 유연성을 보장하기 위해 PACSI 헤더 정보가 변형된다. 비록 본 발명의 개념이 2계층 공간 스케일러블 SVC 비트 스트림과 관련하여 기술되었을지라도, 본 발명의 개념은 그것으로 제한되지 않고 다수의 공간 스케일러블 계층뿐만 아니라 SVC 표준에서 명시한 시간적 및 품질 PSNR(신호 대 노이즈 비율) 스케일러빌리티에 적용될 수 있음을 주목해야 한다.
전술한 관점에서, 전술한 설명은 단지 본 발명의 원리를 예시하며 따라서 당업자라면 비록 본 명세서에 명시적으로 기술되지 않을지라도 본 발명의 원리를 구현하고 본 발명의 정신 및 범주 내에 속하는 수많은 대안의 구성을 고안해 낼 수 있음을 인식할 것이다. 예를 들어, 비록 개별의 기능적 구성요소의 문맥 내에서 예시될지라도, 이러한 기능적 구성요소는 하나, 또는 그 이상의 집적 회로(ICs)로 구현될 수 있다. 유사하게, 비록 개별의 구성요소로서 도시될지라도, 이러한 구성요소들 중 어떤 요소 또는 모든 요소들은 저장된 프로그램에 의해 제어되는 프로세서, 예컨대, 도 4 및 도 8 등에 도시된 하나, 또는 그 이상의 단계에 대응하는 연관된 소프트웨어를 수행하는, 예컨대, 디지털 신호 프로세서로 구현될 수 있다. 또한, 본 발명의 원리는 다른 형태의 통신 시스템, 예컨대, 위성, 와이파이(Wireless-Fidelity: Wi-Fi), 셀룰러 등에 적용가능하다. 실제로, 본 발명의 개념은 고정 또는 이동 수신기에도 적용가능하다. 그러므로, 예시적인 실시예들에 대한 수많은 변형예들이 있을 수 있으며 첨부의 특허청구범위에서 규정된 본 발명의 정신 및 범주로부터 일탈함이 없이 다른 구성도 고안될 수 있음을 이해할 것이다.

Claims (16)

  1. 비디오 신호를 전송하는 방법으로서,
    스케일러블 비디오 코딩된 신호의 제1 스케일러블 계층을 채널 변경 계층으로서 선택하는 단계 - 상기 제1 스케일러블 계층은 상기 스케일러블 비디오 코딩된 신호의 제2 스케일러블 계층의 연관된 의존_id 값(dependency_id value)보다 작은 연관된 의존_id 값을 가짐 - ; 및
    비랜덤 액세스 포인트 슬라이스들이 단순 시간 집합 패킷들(Simple Time Aggregation Packets)로 전달되도록 실시간 전송 프로토콜(Real-time Transport Protocol)을 이용하여 상기 스케일러블 비디오 코딩된 신호를 패킷 형태로 전송하는 단계 - 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛(Payload Content Scalability Information Network Abstraction Layer Unit)을 포함함 -
    를 포함하는 비디오 신호 전송 방법.
  2. 제1항에 있어서, 상기 스케일러블 비디오 코딩 단계는,
    상기 제1 스케일러블 계층의 랜덤 액세스 포인트들 및 상기 제2 스케일러블 계층의 랜덤 액세스 포인트가 코딩 효율의 함수로서 상이한 액세스 유닛들에서 발생하게 상기 비디오 신호를 인코드하도록 결정하는 단계를 포함하는 비디오 신호 전송 방법.
  3. 제1항에 있어서, 상기 스케일러블 비디오 코딩 단계는 상기 제2 스케일러블 계층보다 상기 제1 스케일러블 계층에 더 많은 랜덤 액세스 포인트들을 제공하는 비디오 신호 전송 방법.
  4. 제1항에 있어서, 상기 제1 스케일러블 계층은 상기 비디오 코딩된 신호의 기본 계층(base layer)인 비디오 신호 전송 방법.
  5. 제1항에 있어서, 상기 비디오 코딩된 신호는 둘 이상의 스케일러블 계층을 포함하는 비디오 신호 전송 방법.
  6. 제1항에 있어서, 랜덤 액세스 포인트는 순간적 디코더 리프레시 슬라이스(Instantaneous Decoder Refresh slice)인 비디오 신호 전송 방법.
  7. 제1항에 있어서, 상기 전송 단계는,
    상기 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛의 DID 필드를 개개의 단순 시간 집합 패킷 내의 잔여 네트워크 추상화 계층 유닛들의 의존_id 값의 최저값으로 설정하는 단계; 및
    상기 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛의 RR 필드를 개개의 단순 시간 집합 패킷 내의 잔여 네트워크 추상화 계층 유닛들의 의존_id 값의 최고값으로 설정하는 단계를 포함하는 비디오 신호 전송 방법.
  8. 수신기에서 사용하기 위한 방법으로서,
    단순 시간 집합 패킷들을 포함하는 실시간 전송 프로토콜의 스케일러블 비디오 코딩된 패킷 스트림을 수신하는 단계 - 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛을 가짐 - ;
    수신된 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛의 DID 필드 및 RR 필드로 전달된 값들을 비교하는 단계;
    만일 상기 DID 필드 값 및 상기 RR 필드 값이 동일하면, 개개의 STAP 패킷을 패킷 단위로 처리하는 단계; 및
    만일 상기 DID 필드 값 및 상기 RR 필드 값이 상이하면, 개개의 STAP 패킷의 개개의 NAL 유닛들을 처리하는 단계
    를 포함하는 수신기에서의 사용 방법.
  9. 제8항에 있어서, 상기 수신기는 미디어 인식 네트워크 요소(Media Aware Network Element)인 수신기에서의 사용 방법.
  10. 장치로서,
    제1 스케일러블 계층 및 제2 스케일러블 계층을 포함하는 비디오 코딩된 신호를 제공하는 스케일러블 비디오 인코더 - 상기 제1 스케일러블 계층은 상기 제2 스케일러블 계층의 연관된 의존_id 값보다 작은 연관된 의존_id 값을 가지며, 상기 비디오 코딩된 신호의 적어도 일부에 대해 상기 제1 스케일러블 계층에서의 랜덤 액세스 포인트들 및 상기 제2 스케일러블 계층에서의 랜덤 액세스 포인트가 상이한 액세스 유닛들에서 발생함 - ; 및
    상기 비디오 코딩된 신호를 전송하는 변조기
    를 포함하며,
    상기 전송된 비디오 코딩된 신호는 비랜덤 액세스 포인트 슬라이스들이 단순 시간 집합 패킷들로 전달되도록 실시간 전송 프로토콜을 이용하여 패킷 형태로 전달되며, 각각의 단순 시간 집합 패킷은 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛을 포함하는
    장치.
  11. 제10항에 있어서, 상기 스케일러블 비디오 인코더는 상기 제1 스케일러블 계층에서의 랜덤 액세스 포인트들 및 상기 제2 스케일러블 계층에서의 랜덤 액세스 포인트가 코딩 효율의 함수로서 상이한 액세스 유닛들에서 발생하도록 상기 비디오 신호를 인코드하는 장치.
  12. 제10항에 있어서, 상기 스케일러블 비디오 인코더는 상기 제2 스케일러블 계층보다 상기 제1 스케일러블 계층에서 더 많은 랜덤 액세스 포인트들을 제공하는 장치.
  13. 제10항에 있어서, 상기 제1 스케일러블 계층은 상기 비디오 코딩된 신호의 기본 계층인 장치.
  14. 제10항에 있어서, 상기 비디오 코딩된 신호는 둘 이상의 스케일러블 계층을 포함하는 장치.
  15. 제10항에 있어서, 랜덤 액세스 포인트는 순간적 디코더 리프레시 슬라이스인 장치.
  16. 제10항에 있어서, 상기 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛의 DID 필드는 개개의 단순 시간 집합 패킷 내의 잔여 네트워크 추상화 계층 유닛들의 의존_id 값의 최저값으로 설정되며, 상기 페이로드 콘텐츠 스케일러빌리티 정보 네트워크 추상화 계층 유닛의 RR 필드는 개개의 단순 시간 집합 패킷 내의 잔여 네트워크 추상화 계층 유닛들의 의존_id 값의 최고값으로 설정되는 장치.
KR1020117004572A 2008-07-26 2009-01-29 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법 KR101635235B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8390908P 2008-07-26 2008-07-26
US61/083,909 2008-07-26

Publications (2)

Publication Number Publication Date
KR20110042201A true KR20110042201A (ko) 2011-04-25
KR101635235B1 KR101635235B1 (ko) 2016-06-30

Family

ID=41168539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004572A KR101635235B1 (ko) 2008-07-26 2009-01-29 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법

Country Status (7)

Country Link
US (1) US8582644B2 (ko)
EP (1) EP2304955B1 (ko)
JP (1) JP5155449B2 (ko)
KR (1) KR101635235B1 (ko)
CN (1) CN102106156B (ko)
BR (1) BRPI0915958A2 (ko)
WO (1) WO2010014123A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139898A (ko) * 2013-04-05 2015-12-14 퀄컴 인코포레이티드 Irap 액세스 단위들과 비트스트림 스위칭 및 스플라이싱
KR101876299B1 (ko) * 2012-01-20 2018-07-09 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법
US10306298B2 (en) 2016-02-05 2019-05-28 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
WO2007058470A1 (en) * 2005-11-15 2007-05-24 Electronics And Telecommunications Research Institute A method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
US9578325B2 (en) * 2010-01-13 2017-02-21 Texas Instruments Incorporated Drift reduction for quality scalable video coding
EP2395505A1 (en) 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
CN103416003B (zh) * 2011-01-14 2015-05-27 维德约股份有限公司 改进的nal单元头部
CA2824027C (en) 2011-01-14 2017-11-07 Vidyo, Inc. High layer syntax for temporal scalability
AU2012225513B2 (en) 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US20130138829A1 (en) * 2011-11-30 2013-05-30 Rovi Technologies Corporation Scalable video coding over real-time transport protocol
US20150063463A1 (en) * 2012-04-15 2015-03-05 Samsung Electronics Co., Ltd. Method and device for coding multi-layer video, and method and device for decoding multi-layer video
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
WO2014007590A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 랜덤 억세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 억세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
EP2901688B1 (en) 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
CN103780954B (zh) * 2012-10-22 2017-05-10 上海贝尔股份有限公司 一种组合使用流媒体裁剪技术和显性拥塞通知技术的方法
US9351011B2 (en) * 2012-11-28 2016-05-24 Intel Corporation Video pipeline with direct linkage between decoding and post processing
KR20150096410A (ko) 2012-12-17 2015-08-24 톰슨 라이센싱 강건한 디지털 채널들
CA2893845C (en) 2012-12-17 2020-06-02 Thomson Licensing Robust digital channels
CN103079073A (zh) * 2013-01-16 2013-05-01 南京邮电大学 正交频分多址接入系统中面向可伸缩视频的资源分配方法
US9602973B2 (en) * 2013-02-19 2017-03-21 Qualcomm Incorporated Applying error resiliency based on speed
FR3004055A1 (fr) * 2013-03-29 2014-10-03 France Telecom Transcodage et diffusion adaptative de contenus multimedia
US9723305B2 (en) 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
WO2014162750A1 (en) * 2013-04-05 2014-10-09 Sharp Kabushiki Kaisha Random access point pictures
US9807421B2 (en) 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
KR102290421B1 (ko) * 2013-04-05 2021-08-17 삼성전자주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
CN103313045A (zh) * 2013-05-31 2013-09-18 哈尔滨工业大学 宽带多媒体集群系统调度台h.264视频分包方法
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
CN103402122A (zh) * 2013-06-24 2013-11-20 中国联合网络通信集团有限公司 移动流媒体服务控制方法及其装置
CA2917719C (en) * 2013-07-11 2021-12-14 Dejero Labs Inc. Systems and methods for transmission of data streams
US20150016502A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
EP3080995A4 (en) * 2013-12-15 2017-09-27 LG Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
JP2015136059A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
GB201515496D0 (en) 2015-09-01 2015-10-14 Microsoft Technology Licensing Llc Packet transmissions
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
US10880585B1 (en) * 2019-06-12 2020-12-29 Amazon Technologies, Inc. Split-and-stitch media content encoding
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
EP4104428A4 (en) 2020-03-16 2023-05-03 ByteDance Inc. DIRECT ACCESS POINT ACCESS UNIT IN SCALABLE VIDEO ENCODING
US11503289B2 (en) * 2020-05-27 2022-11-15 Tencent America LLC Bitstream structure for viewport-based streaming with a fallback bitstream
CN112533029B (zh) * 2020-11-17 2023-02-28 浙江大华技术股份有限公司 一种视频分时传输方法、摄像装置、系统和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060108887A (ko) * 2005-04-14 2006-10-18 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
WO2007012062A1 (en) * 2005-07-19 2007-01-25 Apple Computer, Inc. Method and apparatus for media data transmission

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973550B (zh) 2004-07-07 2010-08-18 汤姆森许可贸易公司 使用冗余视频流的通过dsl的数字视频广播系统中的快速频道改变
US7746378B2 (en) * 2004-10-12 2010-06-29 International Business Machines Corporation Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system
AU2007204168B2 (en) * 2006-01-11 2011-02-24 Nokia Technologies Oy Backward-compatible aggregation of pictures in scalable video coding
EP1999960A4 (en) * 2006-03-24 2011-05-18 Korea Electronics Telecomm CODING METHOD FOR REDUCING REDUNDANCY BETWEEN LAYERS USING MITION DATA OF THE FGS LAYER AND ESTABLISHMENT THEREFOR
CA2704490A1 (en) * 2007-11-05 2009-05-14 Thomson Licensing A scalable video coding method for fast channel change and increased error resilience
BRPI0915795A2 (pt) * 2008-07-16 2015-11-10 Thomson Licensing método de codificação de vídeo escalonável para mudança rápida de canal para aumentar eficácia de codificação

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060108887A (ko) * 2005-04-14 2006-10-18 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
WO2007012062A1 (en) * 2005-07-19 2007-01-25 Apple Computer, Inc. Method and apparatus for media data transmission

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. Wenger, et al. RTP Payload Format for SVC Video. draft-ietf-avt-rtp-svc-13.txt. Jul. 14, 2008, pp.1-86 *
Y-K. Wang, et al. System and Transport Interface of SVC, IEEE Trans. on CSVT. Sep. 2007, Vol. 17, No. 9, pp.1149-1163 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876299B1 (ko) * 2012-01-20 2018-07-09 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법
KR20150139898A (ko) * 2013-04-05 2015-12-14 퀄컴 인코포레이티드 Irap 액세스 단위들과 비트스트림 스위칭 및 스플라이싱
US10306298B2 (en) 2016-02-05 2019-05-28 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof

Also Published As

Publication number Publication date
US8582644B2 (en) 2013-11-12
CN102106156B (zh) 2013-06-19
WO2010014123A1 (en) 2010-02-04
EP2304955B1 (en) 2017-03-29
JP5155449B2 (ja) 2013-03-06
EP2304955A1 (en) 2011-04-06
JP2011529321A (ja) 2011-12-01
BRPI0915958A2 (pt) 2018-06-05
CN102106156A (zh) 2011-06-22
US20110134994A1 (en) 2011-06-09
KR101635235B1 (ko) 2016-06-30

Similar Documents

Publication Publication Date Title
KR101635235B1 (ko) 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
US8831039B2 (en) Time-interleaved simulcast for tune-in reduction
US20100232520A1 (en) Scalable video coding method for fast channel change and increased error relilience
RU2328086C2 (ru) Переключение потока на основе постепенного восстановления при декодировании
KR101029854B1 (ko) 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
Schierl et al. Using H. 264/AVC-based scalable video coding (SVC) for real time streaming in wireless IP networks
US20110110418A1 (en) Scalable video coding method for fast channel change to increase coding efficiency
JP5791893B2 (ja) 以前の伝送データを用いた、ビデオ・コンテンツ及びサービスのブロードキャストの受信のための方法及びデバイス
US20170272691A1 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US9729939B2 (en) Distribution of MPEG-2 TS multiplexed multimedia stream with selection of elementary packets of the stream
US20110109810A1 (en) Method an apparatus for fast channel change using a scalable video coding (svc) stream
CN1893364A (zh) 广播多媒体流中的关键信息同步
US20080301742A1 (en) Time-interleaved simulcast for tune-in reduction
WO2010014239A2 (en) Staggercasting with hierarchical coding information
Reguant et al. Delivery of H264 SVC/MDC streams over Wimax and DVB-T networks
Quinlan Efficient delivery of scalable media streaming over lossy networks
WO2008149271A2 (en) Time-interleaved simulcast for tune-in reduction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant