KR20080068520A - Svc 비디오의 rtp 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 rtp 패킷화 시스템 - Google Patents
Svc 비디오의 rtp 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 rtp 패킷화 시스템 Download PDFInfo
- Publication number
- KR20080068520A KR20080068520A KR1020070096872A KR20070096872A KR20080068520A KR 20080068520 A KR20080068520 A KR 20080068520A KR 1020070096872 A KR1020070096872 A KR 1020070096872A KR 20070096872 A KR20070096872 A KR 20070096872A KR 20080068520 A KR20080068520 A KR 20080068520A
- Authority
- KR
- South Korea
- Prior art keywords
- rtp
- timestamp
- nal unit
- svc
- generating
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/28—Timers or timing mechanisms used in protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L7/00—Arrangements for synchronising receiver with transmitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치 및 그 방법과 그를 이용한 RTP 패킷화 시스템에 관한 것으로, SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 타임스탬프 값을 설정하고, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 타임스탬프를 생성하는, SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치 및 그 방법과 그를 이용한 RTP 패킷화 시스템을 제공하고자 한다.
이를 위하여, 본 발명은 SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 장치에 있어서, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더를 검사하여 화면 속성에 따라 분류하기 위한 NAL 유닛 분류수단; 상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 1 타임스탬프 산출수단; 상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하지 않는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 2 타임스탬프 산출수단; 및 IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하고, 해당 NAL 유닛의 RTP 타임스탬프 값을 산출하도록 상기 제 1 타임스탬프 산출수단 및 상기 제 2 타임스탬프 산출수단을 제어하기 위한 제어수단을 포함한다.
SVC 비디오, RTP 패킷, 타임스탬프, NAL 유닛, 화면 속성, TL
Description
본 발명은 SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 장치 및 그 방법과 그를 이용한 RTP 패킷화 시스템에 관한 것으로, 더욱 상세하게는 SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 타임스탬프 값을 설정하고, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 타임스탬프를 생성하는, SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치 및 그 방법과 그를 이용한 RTP 패킷화 시스템에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2005-S-103-02, 과제명 : 통방융합 환경에서의 유비쿼터스 콘텐츠 서비스 기술].
H.264의 확장형 부호화 기술인 SVC(Scalable Video Coding)는, MPEG-2, MPEG-4 등에서 시도한 계층 부호화 기반의 확장성(scalability)이 갖는 단점인 낮은 압축효율, 복합 확장성 지원 불가, 및 높은 구현 복잡도의 문제를 한꺼번에 해결하기 위하여 개발된 새로운 확장형 부호화 기법이다.
SVC는 여러 개의 비디오 계층을 하나의 비트열로 부호화한다. SVC의 계층은 하나의 기본계층(base layer)과 기본계층 위에 연속적으로 쌓을 수 있는 확장계층(scalable layer)으로 이루어진다. 이때, 각 확장계층은 하위계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit-rate)과 화면율(frame rate), 그리고 해상도(resolution)를 표현할 수 있다.
SVC에서는 확장계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 및 해상도의 지원이 가능하므로, 이종(heterogeneous) 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기의 성능과 해상도의 다양성 문제, 및 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 UMA(Universal Multimedia Access) 환경의 멀티미디어 콘텐츠 서비스에 적합한 부호화 기술이다.
VCL(Video Coding Layer) 계층에서 SVC 부호기는 기본계층(base layer) 부호화 정보와 확장계층(scalable layer)의 확장성 부호화 정보를 슬라이스 단위로 생성한다. 이렇게 생성된 각 슬라이스는 다시 NAL(Network Abstraction Layer) 계층에서 NAL 유닛(NAL unit)으로 생성되어 SVC 비트스트림에 저장된다.
여기서, SVC 비트스트림을 IP(Internet Protocol) 망을 통해 전달하기 위하 여 RTP 패킷화 과정을 거치게 되는데, RTP 패킷화 과정에서는 다른 종류의 미디어 정보와의 동기화(synchronization)를 지원하기 위해 RTP 헤더 부분에 반드시 RTP 타임스탬프(timestamp) 정보를 삽입하여 수신 측으로 전송하여야 한다.
특히, SVC 비디오를 AAC 등의 오디오와 함께 서비스할 경우, 수신 측에서의 비디오와 오디오 간의 입술동기화(lip synchronization)를 지원하기 위해 RTP 타임스탬프 정보의 전송은 필수적이다.
이러한 SVC는 아직 국제표준화가 완료되지 않았고 2007년 초반경에 표준화 완료를 목표로 진행되고 있다. 따라서 아직까지 SVC 비트스트림을 RTP 패킷에 실을 때 자동으로 타임스탬프를 생성하여 기록하는 방법에 관해서 종래에 제시된 방법은 없다.
따라서 본 발명은 SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 타임스탬프 값을 설정하고, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 타임스탬프를 생성하는, SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치 및 그 방법과 그를 이용한 RTP 패킷화 시스템을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 장치에 있어서, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더를 검사하여 화면 속성에 따라 분류하기 위한 NAL 유닛 분류수단; 상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 1 타임스탬프 산출수단; 상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하지 않는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 2 타임스탬프 산출수단; 및 IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하고, 해당 NAL 유닛의 RTP 타임스탬프 값을 산출하도록 상기 제 1 타임스탬프 산출수단 및 상기 제 2 타임스탬프 산출수단을 제어하기 위한 제어수단을 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 방법에 있어서, IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하는 단계; 및 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하는 RTP 타임스탬프 생성단계를 포함한다.
또한, 상기 본 발명의 방법은, 상기 생성한 RTP 타임스탬프를 해당 RTP 패킷의 헤더에 삽입하도록 제어하는 단계를 더 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 시스템은, SVC(Scalable Video Coding) 비트스트림의 RTP(Real time Transport Protocol) 패킷화 시스템에 있어서, 입력받은 비디오 시퀀스를 SVC 부호화할 때 생성한 부호화 정보를 NAL(Network Abstraction Layer) 유닛의 형태로 SVC 비트스트림에 저장하기 위한 SVC 인코딩 수단; 상기 SVC 인코딩 수단에서 생성한 NAL 유닛의 헤더를 참조하여 RTP 타임스탬프를 생성하기 위한 RTP 타임스탬프 생성 수단; 및 상기 SVC 인코딩 수단에서 생성한 NAL 유닛을 이용하여 RTP 패킷 생성 시, 상기 RTP 타임스탬프 생성 수단에서 생성한 RTP 타임스탬프를 RTP 패킷의 헤더에 삽입하여 RTP 패킷을 생성하기 위한 RTP 패킷화 수단을 포함한다.
상기와 같은 본 발명은, SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 타임스탬프 값을 설정하고, 입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 타임스탬프를 생성함으로써, 화면의 디스플레이 순서와 부호화 순서(또는 전송 순서)가 다른 경우에도 정상적으로 SVC 비디오를 RTP 패킷화할 수 있는 효과가 있다.
또한, 본 발명은 SVC 비트스트림에 포함된 NAL 유닛들을 인터넷 등의 IP 망을 통하여 전송하기 위해 RTP 패킷화할 때 필요한 RTP 타임스탬프 값을 자동으로 생성할 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 SVC 비트스트림의 RTP 패킷화 시스템에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 SVC 비트스트림의 RTP 패킷화 시스템은, 입력받은 비디오 시퀀스를 SVC 부호화할 때 생성한 부호화 정보를 NAL 유닛의 형태로 SVC 비트스트림에 저장하기 위한 SVC 인코더(11), 상기 SVC 인코더(11)에서 생성한 NAL 유닛의 헤더를 참조하여 RTP 타임스탬프를 생성하기 위한 RTP 타임스탬프 생성 장치(12), 및 상기 SVC 인코더(11)에서 생성한 NAL 유닛을 이 용하여 RTP 패킷 생성 시, 상기 RTP 타임스탬프 생성 장치(12)에서 생성한 RTP 타임스탬프를 RTP 패킷의 헤더에 삽입하여 RTP 패킷을 생성하기 위한 RTP 패킷화부(13)를 포함한다.
여기서, SVC 비트스트림은 IDR 화면과 적어도 하나의 GOP(Group Of Picture)로 이루어져 있으며, 하나의 GOP는 16장의 화면으로 구성된다.
도 2 는 본 발명에 따른 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치는, 입력되는 NAL 유닛의 헤더를 검사하여 화면 속성에 따라 분류하기 위한 NAL 유닛 분류부(21), 상기 NAL 유닛 분류부(21)에서 분류한 키 화면에 해당하는 NAL 유닛의 헤더 정보 중 TL(Temporal_Level)을 이용하여 RTP 타임스탬프 값을 산출하기 위한 제 1 타임스탬프 산출부(22), 상기 NAL 유닛 분류부(21)에서 분류한 키 화면에 해당하지 않는 NAL 유닛의 헤더 정보 중 TL(Temporal_Level) 및 TL 그룹 내에서의 순서를 참조하여 RTP 타임스탬프 값을 산출하기 위한 제 2 타임스탬프 산출부(23), 및 SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하고, 해당 NAL 유닛의 RTP 타임스탬프 값을 산출하도록 상기 제 1 타임스탬프 산출부(22) 및 제 2 타임스탬프 산출부(23)를 제어하기 위한 제어부(24)를 포함한다.
여기서, 상기 제어부(24)는 상기 제 1 타임스탬프 산출부(22) 및 제 2 타임스탬프 산출부(23)에서 각각 산출한 RTP 타임스탬프를 해당 RTP 패킷의 헤더에 삽 입하도록 제어하는 기능을 더 수행한다.
아울러, 상기 제어부(24)는 IDR 화면에 해당하는 NAL 유닛이 입력되는 경우 상기 설정한 RTP 타임스탬프 값을 할당한다.
도 3 은 본 발명에 이용되는 RTP 패킷의 일실시예 구조도이다.
도 3에 도시된 바와 같이, 본 발명에 이용되는 RTP 패킷은, 크게 RTP 헤더(31)와 RTP 페이로드(payload)(32)로 나뉜다.
이때, RTP 헤더(31)는 32비트 크기의 타임스탬프 구간(301)을 포함하는데, 상기 타임스탬프 구간(301)에 현재 전송하는 SVC 비디오 화면(NAL 유닛)에 대한 타임스탬프 정보가 기록된다.
여기서, 하나의 SVC 비디오 화면은 적어도 하나의 NAL 유닛을 복호화하여 구성하므로, SVC 비디오 화면은 적어도 하나의 NAL 유닛을 포함한다.
도 4 는 본 발명에 이용되는 NAL 유닛의 헤더에 대한 일실시예 구조도로서, (a)는 기본 계층 NAL 유닛의 헤더 구조를 나타내고, (b)는 확장계층 NAL 유닛의 헤더 구조를 나타낸다.
도 4에 도시된 바와 같이, (a)와 (b)는 모두 SVC 부호화 시 생성된 부호화 정보를 저장하는데, 이때 (a)는 H.264와 호환이 가능하다.
또한, (b)의 TL(Temporal_Level), DID, QL 필드 정보로부터 NAL 유닛에 대한 시공간적 계층 관계(Spatio-temporal hierarchy)를 유도할 수 있다.
이때, 타임스탬프를 생성하기 위해 사용되는 정보는 시간적 스케일러빌리티를 위한 시간적 계층 간의 체계(hierarchy)를 나타내는 TL(Temporal Level) 정보이 다.
도 5 는 본 발명에 이용되는 SVC 비디오 화면 및 계층 구조에 대한 일예시도이다.
도 5에 도시된 바와 같이, 본 발명에 이용되는 SVC 비디오 화면 및 계층 구조는, 일예로 SVC 스트림의 시작 부분인 IDR(Instantaneous Decoding Refresh) 화면과 다수의 GOP(Group Of Picture)들 중에서 첫 번째 GOP에 포함되는 화면들만을 나타낸다. 이때, 하나의 GOP는 총 16장의 화면으로 구성된다.
여기서, IDR 화면은 0번으로 표시되고, GOP 내 첫 번째 B-픽처는 1번으로 표시되며, GOP 내 마지막 화면인 키 화면(Key picture)은 16번으로 표시된다. 이때, 1~16번까지의 화면 번호는 각 화면이 모니터에서 디스플레이되는 순서와 일치한다.
또한, 기본계층(501)에서 지원 가능한 화면 해상도는 QCIF이고, 공간적 확장계층(spatial scalable layer)(502)에서 지원 가능한 화면 해상도는 CIF이다.
또한, 시간적 스케일러빌리티(Temporal Scalability) 제공을 위해 계층적 B-픽처(hierarchical B-picture) 방식이 적용되며, 지원 가능한 화면율을 표시하기 위하여 (TL, DID, QL) 필드 중 TL 값을 이용한다.
또한, TL 값은 사각형으로 표시된 각 화면의 가운데 부분에 표시가 되어 있다. 이때, TL=0인 키 화면(key picture)만 전송할 경우 1.875 fps(frame per second)까지 지원이 가능하며, TL=1인 B-픽처를 포함하여 전송할 경우 3.75 fps까지 지원이 가능하다.
추가적으로, TL=2인 B-픽처까지 전송할 경우 7.5 fps까지 얻을 수 있으며, TL=3과 TL=4로 표시된 B-픽처까지 전송하게 되면 각각 15 fps와 30 fps까지 화면율 지원이 가능하다.
또한, 기본계층(501)에서 최대의 TL 값은 3이므로, QCIF 규격으로 최대 15 fps까지 지원할 수 있고, 공간적 확장계층(502)에서 최대의 TL 값은 4이므로, CIF 규격으로 최대 30 fps까지 지원할 수 있다.
도 6 은 본 발명에 따른 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법에 대한 일실시예 흐름도이다.
먼저, SVC 비트스트림의 첫 번째 화면인 IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정한다(601). 이때, IDR 화면의 타임스탬프 값은 보통 0으로 설정하지만, 보안을 위하여 임의의 값으로 설정할 수도 있다. 따라서 IDR 화면에 속하는 NAL 유닛이 입력되면 상기 설정한 RTP 타임스탬프 값을 할당하면 된다.
이후, 입력되는 NAL 유닛의 헤더를 검사하여 화면 속성정보를 확인한다(602).
상기 확인 결과(602), GOP 내에서 첫 번째 화면에 해당하는 키 화면인 경우 하기의 [수학식 1]을 이용하여 RTP 타임스탬프 값을 산출한다(603). 즉, 키 화면에 해당하는 NAL 유닛인 경우 NAL 유닛의 헤더 정보 중 TL을 이용하여 RTP 타임스탬프 값을 산출한다.
여기서, 는 현 GOP 내의 NAL 유닛들이 갖는 TL(Temporal_Level) 값 중 최대 TL 값을 의미하고, 클럭 간격(Clock_Int)은 화면 간 타임스탬프 값의 시간 간격을 의미하며, IDR_TS는 SVC 스트림의 첫 번째 화면인 IDR 화면에 대한 타임스탬프 값을 의미하고, GOP_Num(≥1)은 SVC 스트림에 속하는 모든 GOP 중에서 현재 GOP의 순서번호를 나타낸다.
이하, 도 5를 참조하여 클럭 간격(Clock_Int) 산출 과정에 대해 좀 더 상세히 살펴보기로 한다.
도 5에 도시된 바와 같은 SVC 비디오 화면 및 계층 구조에서, TL의 최대값이 4이므로 최대 30 fps까지 지원이 가능하다. 이때, SVC 비디오 화면에 대한 RTP 타임스탬프 값을 생성할 때 사용되는 샘플링 클럭(sampling clock)은 90 KHz 클럭을 사용하도록 표준으로 정해져 있다.
따라서 30fps까지 지원되는 비디오의 경우 화면 간 클럭 간격(inter-frame clock interval)은 하기의 [수학식 2]를 통해 산출할 수 있다.
한편, 상기 확인 결과(602), 키 화면이 아니면, 즉 일반화면에 해당하는 NAL 유닛이면 하기의 [수학식 3]을 이용하여 RTP 타임스탬프 값을 산출한다(604). 즉, 키 화면에 해당하지 않는 NAL 유닛인 경우 NAL 유닛의 헤더 정보 중 TL 및 TL 그룹 내에서의 순서를 참조하여 RTP 타임스탬프 값을 산출한다.
이하, 도 7을 참조하여 TL_Group과 TL_Group_Size 설정 과정에 대해 좀 더 상세히 살펴보기로 한다.
도 7 은 본 발명에 따른 TL_Group과 TL_Group_Size 설정 과정에 대한 일실시예 설명도로서, 화면 부호화 및 전송 순서에 따른 화면 나열 상태를 나타낸다. 보통, 화면 부호화 및 전송 순서는 TL 값이 낮은 순서로 먼저 부호화하여 전송한다.
도 7에 도시된 바와 같이, TL_Group은 하나의 GOP 내에서 동일한 TL 값을 갖는 화면(NAL 유닛)들의 묶음을 의미하며, TL_Group_Size는 동일한 TL_Group에 속하는 화면의 개수를 의미한다.
이때, TL 값이 0인 16번 화면이 독립된 TL_Group을 구성하며 TL_Group_Size는 1이 된다.
또한, TL 값이 1인 8번 화면도 독립된 TL_Group이 되며 TL_Group_Size는 1이 된다.
또한, TL 값이 2인 4번 화면과 12번 화면이 독립된 TL_Group을 형성하며 TL_Group_Size는 2가 된다.
또한, TL 값이 3인 2, 6, 10, 14번 화면들도 독립된 TL_Group을 형성하며 TL_Group_Size는 4가 된다.
또한, TL 값이 4인 1, 3, 5, 7, 9, 11, 13, 15번 화면들도 독립된 TL_Group을 형성하며 TL_Group_Size는 8이 된다.
여기서, 각 TL_Group 내의 화면들 중에서 첫 번째 화면의 n 값은 0이 되고, 두 번째 화면의 n 값은 1이 된다. 예를 들어, 2, 6, 10, 14번 화면을 포함하는 TL_Group에서 2번 화면의 n 값은 0이 되며, 6번 화면의 n 값은 1이 된다.
부가적으로, 상기 산출한 RTP 타임스탬프를 해당 RTP 패킷의 헤더에 삽입하도록 제어하는 과정을 더 포함한다.
전술한 바와 같이 본 발명의 일실시예에서는 이해를 돕기 위해 하나의 화면에 속하는 NAL 유닛이 하나만 존재하는 경우를 예로 들어 설명하였지만, 실제적으로 동일한 화면에 속하는 NAL 유닛들은 다수 존재할 수 있고, 아울러 동일한 화면에 속하는 NAL 유닛들은 동일한 시간정보를 갖기 때문에, 화면 내에서 첫 번째 NAL 유닛에 대한 타임스탬프 값을 이미 산출한 경우, 이후 동일한 화면에 속하는 NAL 유닛에 대해서는 중복 산출 과정 없이 이미 산출한 해당 타임스탬프 값을 이용하는 것이 바람직하다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 SVC 비디오의 RTP 패킷화 등에 이용될 수 있다.
도 1 은 본 발명에 따른 SVC 비트스트림의 RTP 패킷화 시스템에 대한 일실시예 구성도,
도 2 는 본 발명에 따른 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치의 일실시예 구성도,
도 3 은 본 발명에 이용되는 RTP 패킷의 일실시예 구조도,
도 4 는 본 발명에 이용되는 NAL 유닛의 헤더에 대한 일실시예 구조도,
도 5 는 본 발명에 이용되는 SVC 비디오 화면 및 계층 구조에 대한 일예시도,
도 6 은 본 발명에 따른 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법에 대한 일실시예 흐름도,
도 7 은 본 발명에 따른 TL_Group과 TL_Group_Size 설정 과정에 대한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호의 설명
21 : NAL 유닛 분류부 22 : 제 1 타임스탬프 산출부
23 : 제 2 타임스탬프 산출부 24 : 제어부
Claims (12)
- SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 방법에 있어서,IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하는 단계; 및입력되는 NAL(Network Abstraction Layer) 유닛의 헤더 정보 중 화면 속성 및 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하는 RTP 타임스탬프 생성단계를 포함하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법.
- 제 1 항에 있어서,상기 생성한 RTP 타임스탬프를 해당 RTP 패킷의 헤더에 삽입하도록 제어하는 단계를 더 포함하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법.
- 제 1 항 또는 제 2 항에 있어서,상기 RTP 타임스탬프 생성단계는,입력되는 NAL 유닛의 헤더를 검사하여 화면 속성을 확인하는 단계;상기 확인 결과, IDR 화면에 해당하는 NAL 유닛인 경우 상기 설정한 RTP 타임스탬프를 할당하는 단계;상기 확인 결과, 키 화면에 해당하는 NAL 유닛인 경우 TL을 이용하여 RTP 타임스탬프를 생성하는 제 1 RTP 타임스탬프 생성단계; 및상기 확인 결과, 키 화면에 해당하지 않는 NAL 유닛인 경우 TL 및 TL 그룹 내에서의 순서를 참조하여 RTP 타임스탬프를 생성하는 제 2 RTP 타임스탬프 생성단계를 포함하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법.
- 제 3 항에 있어서,상기 제 1 RTP 타임스탬프 생성단계는,하기의 [수학식 A]를 이용하여 NAL 유닛의 RTP 타임스탬프를 생성하는 것을 특징으로 하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 방법.[수학식 A]
- SVC(Scalable Video Coding) 비디오의 RTP(Real time Transport Protocol) 패킷화를 위한 타임스탬프 생성 장치에 있어서,입력되는 NAL(Network Abstraction Layer) 유닛의 헤더를 검사하여 화면 속성에 따라 분류하기 위한 NAL 유닛 분류수단;상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 1 타임스탬프 산출수단;상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하지 않는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 2 타임스탬프 산출수단; 및IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하고, 해당 NAL 유닛의 RTP 타임스탬프 값을 산출하도록 상기 제 1 타임스탬프 산출수단 및 상기 제 2 타임스탬프 산출수단을 제어하기 위한 제어수단을 포함하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치.
- 제 6 항에 있어서,상기 제 1 타임스탬프 산출수단은,NAL 유닛의 헤더 정보 중 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하고,상기 제 2 타임스탬프 산출수단은,NAL 유닛의 헤더 정보 중 TL(Temporal_Level) 및 TL 그룹 내에서의 순서를 참조하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하는 것을 특징으로 하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치.
- 제 6 항 또는 제 7 항에 있어서,상기 제어수단은,상기 제 1 타임스탬프 산출수단 및 상기 제 2 타임스탬프 산출수단에서 각각 산출한 RTP 타임스탬프를 해당 RTP 패킷의 헤더에 삽입하도록 제어하는 기능을 더 수행하는 것을 특징으로 하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치.
- 제 8 항에 있어서,상기 제어수단은,IDR 화면에 해당하는 NAL 유닛이 입력되는 경우 상기 설정한 RTP 타임스탬프 값을 할당하는 것을 특징으로 하는 SVC 비디오의 RTP 패킷화를 위한 타임스탬프 생성 장치.
- SVC(Scalable Video Coding) 비트스트림의 RTP(Real time Transport Protocol) 패킷화 시스템에 있어서,입력받은 비디오 시퀀스를 SVC 부호화할 때 생성한 부호화 정보를 NAL(Network Abstraction Layer) 유닛의 형태로 SVC 비트스트림에 저장하기 위한 SVC 인코딩 수단;상기 SVC 인코딩 수단에서 생성한 NAL 유닛의 헤더를 참조하여 RTP 타임스탬프를 생성하기 위한 RTP 타임스탬프 생성 수단; 및상기 SVC 인코딩 수단에서 생성한 NAL 유닛을 이용하여 RTP 패킷 생성 시, 상기 RTP 타임스탬프 생성 수단에서 생성한 RTP 타임스탬프를 RTP 패킷의 헤더에 삽입하여 RTP 패킷을 생성하기 위한 RTP 패킷화 수단을 포함하는 SVC 비트스트림의 RTP 패킷화 시스템.
- 제 10 항에 있어서,상기 RTP 타임스탬프 생성 수단은,상기 SVC 인코딩 수단에서 생성한 NAL 유닛의 헤더를 검사하여 화면 속성에 따라 분류하기 위한 NAL 유닛 분류수단;상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 1 타임스탬프 산출수단;상기 NAL 유닛 분류수단에서 분류한 키 화면에 해당하지 않는 NAL 유닛의 RTP 타임스탬프 값을 산출하기 위한 제 2 타임스탬프 산출수단; 및IDR(Instantaneous Decoding Refresh) 화면에 대한 RTP 타임스탬프 값을 설정하고, 해당 NAL 유닛의 RTP 타임스탬프 값을 산출하도록 상기 제 1 타임스탬프 산출수단 및 상기 제 2 타임스탬프 산출수단을 제어하기 위한 제어수단을 포함하는 SVC 비트스트림의 RTP 패킷화 시스템.
- 제 11 항에 있어서,상기 제 1 타임스탬프 산출수단은,NAL 유닛의 헤더 정보 중 TL(Temporal_Level)을 이용하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하고,상기 제 2 타임스탬프 산출수단은,NAL 유닛의 헤더 정보 중 TL(Temporal_Level) 및 TL 그룹 내에서의 순서를 참조하여 해당 NAL 유닛의 RTP 타임스탬프를 생성하는 것을 특징으로 하는 SVC 비트스트림의 RTP 패킷화 시스템.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/523,375 US20100046552A1 (en) | 2007-01-19 | 2007-12-18 | Time-stamping apparatus and method for rtp packetization of svc coded video, and rtp packetization system using the same |
PCT/KR2007/006636 WO2008088132A1 (en) | 2007-01-19 | 2007-12-18 | Time-stamping apparatus and method for rtp packetization of svc coded video, and rtp packetization system using the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070006057 | 2007-01-19 | ||
KR20070006057 | 2007-01-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080068520A true KR20080068520A (ko) | 2008-07-23 |
KR100897525B1 KR100897525B1 (ko) | 2009-05-15 |
Family
ID=39822323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070096872A KR100897525B1 (ko) | 2007-01-19 | 2007-09-21 | Svc 비디오의 rtp 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 rtp 패킷화 시스템 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100046552A1 (ko) |
KR (1) | KR100897525B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100916505B1 (ko) * | 2008-02-20 | 2009-09-08 | 한국전자통신연구원 | 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 |
US8204081B2 (en) | 2008-11-28 | 2012-06-19 | Electronics And Telecommunications Research Institute | Apparatus and method for inserting or extracting network timestamp |
KR101322948B1 (ko) * | 2009-12-04 | 2013-10-29 | 한국전자통신연구원 | 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101282552B1 (ko) * | 2009-11-04 | 2013-07-04 | 한국전자통신연구원 | 병렬 처리 스케일러블 비디오 부/복호화 방법 및 장치 |
JP2013030873A (ja) * | 2011-07-27 | 2013-02-07 | Nec Corp | 通信装置、パケット化周期変更方法、及びプログラム |
CN104012025B (zh) * | 2011-11-07 | 2017-04-19 | 美高森美通信股份有限公司 | 时戳及mac安全性的物理层处理 |
EP2611153A1 (en) | 2011-12-29 | 2013-07-03 | Thomson Licensing | System and method for multiplexed streaming of multimedia content |
CN109510980B (zh) * | 2019-01-10 | 2020-07-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种直播延时测量方法及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0310703B1 (en) * | 1987-10-09 | 1991-12-18 | Governer of Gunma-Ken | Processed meat products containing a konjac mannan gel and method for making the same |
JP2907338B2 (ja) * | 1987-10-12 | 1999-06-21 | 株式会社リコー | 液体噴射記録方法 |
US6965646B1 (en) * | 2000-06-28 | 2005-11-15 | Cisco Technology, Inc. | MPEG file format optimization for streaming |
SG111978A1 (en) * | 2002-11-20 | 2005-06-29 | Victor Company Of Japan | An mpeg-4 live unicast video streaming system in wireless network with end-to-end bitrate-based congestion control |
KR100711635B1 (ko) * | 2003-02-18 | 2007-04-25 | 노키아 코포레이션 | 화상 부호화 방법 |
EP1790160A4 (en) * | 2004-09-15 | 2009-08-26 | Nokia Corp | PROVIDING ZAPPING STREAMS TO RADIO RECEIVERS |
CN101180831A (zh) * | 2005-05-24 | 2008-05-14 | 诺基亚公司 | 用于数字广播中分级传输/接收的方法和装置 |
KR20060122663A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법 |
US7826536B2 (en) * | 2005-12-29 | 2010-11-02 | Nokia Corporation | Tune in time reduction |
US8170116B2 (en) * | 2006-03-27 | 2012-05-01 | Nokia Corporation | Reference picture marking in scalable video encoding and decoding |
US7756136B2 (en) * | 2006-07-10 | 2010-07-13 | Cheetah Technologies, L.P. | Spatial and temporal loss determination in packet based video broadcast system in an encrypted environment |
-
2007
- 2007-09-21 KR KR1020070096872A patent/KR100897525B1/ko not_active IP Right Cessation
- 2007-12-18 US US12/523,375 patent/US20100046552A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100916505B1 (ko) * | 2008-02-20 | 2009-09-08 | 한국전자통신연구원 | 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 |
US8204081B2 (en) | 2008-11-28 | 2012-06-19 | Electronics And Telecommunications Research Institute | Apparatus and method for inserting or extracting network timestamp |
KR101322948B1 (ko) * | 2009-12-04 | 2013-10-29 | 한국전자통신연구원 | 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20100046552A1 (en) | 2010-02-25 |
KR100897525B1 (ko) | 2009-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11375291B2 (en) | Virtual reality video signaling in dynamic adaptive streaming over HTTP | |
JP6342457B2 (ja) | コード化ビデオデータのネットワークストリーミング | |
KR100897525B1 (ko) | Svc 비디오의 rtp 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 rtp 패킷화 시스템 | |
US11595670B2 (en) | Method and apparatus for storage and signaling of sub-sample entry descriptions | |
US9185439B2 (en) | Signaling data for multiplexing video components | |
US11381867B2 (en) | Multiple decoder interface for streamed media data | |
JP5551315B2 (ja) | ビデオデータをストリーミングするためのサブトラックフラグメントの配列 | |
RU2492585C2 (ru) | Способ и устройство для группирования треков и подмножеств треков | |
JP5591932B2 (ja) | ファイルフォーマットトラック選択のためのメディアエクストラクタトラック | |
US20130243391A1 (en) | Method and apparatus for creating a media file for multilayer images in a multimedia system, and media-file-reproducing apparatus using same | |
CN103210642B (zh) | 在http流送期间发生表达切换时传送用于自然再现的可缩放http流的方法 | |
CN110447234A (zh) | 作为分隔符及可寻址资源标识符的区段类型 | |
JP2008536420A (ja) | スケーラビリティ情報の符号化、格納およびシグナリング | |
CN102598688A (zh) | 流式传输经编码视频数据 | |
KR102434300B1 (ko) | 샘플 엔트리들 및 랜덤 액세스 | |
KR20100071688A (ko) | 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법 | |
US11765444B2 (en) | Streaming media data including an addressable resource index track | |
CN114930862A (zh) | 用于流式媒体数据的多解码器接口 | |
US11863767B2 (en) | Transporting HEIF-formatted images over real-time transport protocol | |
CN117099375A (zh) | 通过实时传输协议传输经heif格式化的图像 | |
WO2008088132A1 (en) | Time-stamping apparatus and method for rtp packetization of svc coded video, and rtp packetization system using the same | |
TWI846795B (zh) | 用於經串流媒體資料之多個解碼器介面 | |
US20240163461A1 (en) | Transporting heif-formatted images over real-time transport protocol | |
KR20000011118A (ko) | 동화상 데이터의 처리 및 송수신 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130424 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140430 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150427 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |