KR100734408B1 - Stream switching based on gradual decoder refresh - Google Patents

Stream switching based on gradual decoder refresh Download PDF

Info

Publication number
KR100734408B1
KR100734408B1 KR20057024300A KR20057024300A KR100734408B1 KR 100734408 B1 KR100734408 B1 KR 100734408B1 KR 20057024300 A KR20057024300 A KR 20057024300A KR 20057024300 A KR20057024300 A KR 20057024300A KR 100734408 B1 KR100734408 B1 KR 100734408B1
Authority
KR
South Korea
Prior art keywords
switching
stream
bitstream
streaming
point
Prior art date
Application number
KR20057024300A
Other languages
Korean (ko)
Other versions
KR20060024425A (en
Inventor
예-쿠이 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US10/601,320 priority Critical patent/US20040260827A1/en
Priority to US10/601,320 priority
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20060024425A publication Critical patent/KR20060024425A/en
Application granted granted Critical
Publication of KR100734408B1 publication Critical patent/KR100734408B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements or protocols for real-time communications
    • H04L65/60Media handling, encoding, streaming or conversion
    • H04L65/607Stream encoding details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L29/00Arrangements, apparatus, circuits or systems, not covered by a single one of groups H04L1/00 - H04L27/00
    • H04L29/02Communication control; Communication processing
    • H04L29/06Communication control; Communication processing characterised by a protocol
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements or protocols for real-time communications
    • H04L65/40Services or applications
    • H04L65/4069Services related to one way streaming
    • H04L65/4084Content on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements or protocols for real-time communications
    • H04L65/80QoS aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L29/00Arrangements, apparatus, circuits or systems, not covered by a single one of groups H04L1/00 - H04L27/00
    • H04L29/02Communication control; Communication processing
    • H04L29/06Communication control; Communication processing characterised by a protocol
    • H04L29/0602Protocols characterised by their application
    • H04L29/06027Protocols for multimedia communication

Abstract

A signaling method and device for use in stream switching in which GDR random access points are used. In order to indicate the GDR switching points in the bitstreams, a Sync Sample Information Box, which is contained in a Sync Sample Box, is used to provide information of such GDR switching points. The information also includes which slice group is the isolated region and which slice group is the leftover region. The signaling method can be used in video data transmission using Real-time Transport Protocol (RTP), and a Session Description Protocol (SDP) can be used to convey information indicative of the characteristics of the bitstreams.

Description

점진적 디코더 리프레시에 기반한 스트림 스위칭{Stream switching based on gradual decoder refresh} Stream switching based on the gradual decoder refresh {Stream switching based on gradual decoder refresh}

본 발명은 일반적으로 비디오 스트리밍에 관한 것이며, 특히, 변화하는 송신 조건에 따른 스트림 적응화(stream adaptation)에 관한 것이다. The present invention relates generally to video streaming, more particularly, to stream adaptation (stream adaptation) according to the transmission to changing conditions.

비디오 스트리밍 또는 주문형 비디오(video-on-demand) 서비스에서, 동적인 네트워크 조건들 때문에, 서버 및 클라이언트 간의 단-대-단 통신 특성은 자주 변경될 수 있다. In video streaming or video on demand (video-on-demand) service, due to dynamic network conditions, server, and only between the client-to-end communication characteristics can be changed frequently. 예를 들어, 송신 비트율이 감소될 수 있다. For example, the transmission bit rate can be reduced. 스트리밍 세션의 연속성을 유지하고, 서비스 품질(Quality of Service)을 최대화하기 위하여, 서버는 송신된 스트림을 변화되는 송신 조건들에 적응하여야 한다. Maintain the continuity of the streaming session and to maximize the quality of service (Quality of Service), the server is to be adapted to the transmission conditions that change the transmitted stream. 이러한 프로세스가 스트림 적응화(stream adaptation)이라고 불린다. This process is called adaptation stream (stream adaptation).

스트림 적응화는 멀티-인코딩에 기반하거나 트랜스코딩(transcoding)에 기반한다. Stream adaptation is multi-encoding based or based on a transcoding (transcoding). 멀티-인코딩에 기반한 스트림 적응화에서는, 서버는 동일한 비디오 콘텐트(content)를 복수 개의 서로 상이한 형식(form) 또는 상이한 파라미터들을 가지는 인코딩된 스트림들로 저장하고, 인코딩된 스트림으로 저장된 데이터는 상이한 스트림들 간에서 스위칭될 수 있다. A multi-stream adaptation is based on encoding, the server stores the same video content (content) in the encoded stream with a plurality of mutually different format (form) or different parameters, and the data stored in the encoded stream between different streams in may be switched. 트랜스코딩에 기반한 스트림 적응화에서는, 서버는 하나의 스트림을 상이한 형식 또는 상이한 파라미터들로 트랜스코딩할 수 있는 트랜스코더를 포함한다. The stream adaptation based on the transcoding, the server comprises a transcoder to transcode a stream to different types or different parameters.

한 비트스트림으로부터 다른 비트스트림으로의 스위칭할 수 있도록 하기 위하여, 스위칭될 비트스트림(switched-to bitstream)은 스위칭 포인트들을 포함함으로써, 클라이언트 측의 디코더가 스위칭 이후에도 여전히 충분한 디코딩 품질을 가지는 이미지 데이터를 수신할 수 있도록 하여야 한다. In order that from the bit stream can be switched to the other bitstream, the bitstream (switched-to bitstream) to be switched is receiving image data having a still sufficient decoding quality after the decoder is switched on by including the switching point, the client-side It should allow. 스위칭 포인트들은 랜덤 액세스 포인트(random access points) 이거나 논-랜덤 액세스 포인트(non-random access points)일 수 있다. It may be a random access point (non-random access points) - switching points are random access points (random access points), or rice paddies. SP/SI 픽쳐들이 논-랜덤 액세스 포인트들에서의 스트림 스위칭을 위하여 사용될 수 있다. SP / SI pictures are non-may be used for stream switching at the random access point. 그러나, 랜덤 액세스 포인트들이 자연스러운(natural) 스위칭 포인트들이다. However, random access points are the natural (natural) are switching points.

랜덤 액세스란, 디코더가 어떤 스트림을 해당 스트림의 개시 지점이 아닌 다른 포인트에서부터 디코딩을 시작할 수 있음으로써 디코딩된 픽쳐들의 정확한 표현(exact representation) 또는 대략적 표현(approximate representation)을 복원할 수 있는 능력을 의미한다. Random access refers to mean the ability of the decoder to restore the correct expression of a decoded picture (exact representation) or approximate expression (approximate representation) as that which stream from the other point than the starting point of the stream to start the decoding do. 그러므로, 랜덤 액세스 포인트는 모든 후속하는 코딩된 픽쳐들의 디코딩동작이 개시될 수 있는 스위칭 포인트이다. Therefore, the random access point is a switching point in the decoding operation of the coded pictures that any subsequent can be started.

랜덤 액세스 포인트 및 복원 포인트가 랜덤 액세스 동작(random access operation)을 특징짓는다. A random access point and a recovery point characterize a random access operation (random access operation). 출력 순서에서 복원 포인트에 위치하거나 복원 포인트에 후속하는 디코딩된 모든 픽쳐들은 콘텐트에 있어(in content) 정확하거나(correct) 거의 정확하다. Located in the recovery point in the output order, or all decoded pictures following the restore points in the content (in content) correct or (correct) is nearly correct. 만일 랜덤 액세스 포인트가 복원 포인트와 동일하다면, 해당 랜덤 액세스 동작은 순간적 디코딩 리프레시(IDR, Instantaneous Decoding Refresh)이며, 그렇지 않다면 그것은 점진적 디코딩 리프레시(GDR, Gradual Decoding Refresh)이다. If the random access point is the same as the recovery point, the random access operation is an instantaneous decoding refresh (IDR, Instantaneous Decoding Refresh) is, otherwise it gradual decoding refresh (GDR, Gradual Decoding Refresh). 비디오 스트림 내의 순간적 디코딩 리프레시(IDR) 포인트들은 고속 전방향 탐색(fast forward) 및 랜덤 액세스 동작에서 사용될 수 있으나, 이들은 에러 회복 동작(error resiliency) 및 에러 복원 동작에도 역시 사용될 수 있다. Instantaneous decoding refresh (IDR) point in the video streams may be used in a high-speed forward search (fast forward), and a random access operation, and they can also be used for error recovery operation (error resiliency), and error correction operations. 또한, 순간적 디코딩 리프레시(IDR)는 특히 서버 측에서 스트림 스위칭에 의한 비트레이트 적응화(bitrate adaptation)에도 사용될 수 있다. In addition, the instantaneous decoding refresh (IDR) may be used for bit rate adaptation (bitrate adaptation) by stream switching, especially on the server side.

순간적 디코딩 리프레시(IDR) 픽쳐들은 다른 픽쳐들을 참조하지 않은 채 코딩된 픽쳐들이며, 디코딩 순서에서 순간적 디코딩 리프레시(IDR) 픽쳐에 후속하는 모든 픽쳐들은 디코딩 순서에서 해당 순간적 디코딩 리프레시(IDR) 픽쳐보다 선행하는 어떠한 픽쳐들도 참조하지 않은 채 코딩되지만, 점진적 디코딩 리프레시(GDR)는 본 문서에서 후술되는 바와 같이 격리 영역(isolated regions)이라고 불리는 기술을 이용하여 실장될 수도 있다. Deulyimyeo an instantaneous decoding refresh (IDR) pictures are coded without reference to another picture in picture, in decoding order, all the picture following the instantaneous decoding refresh (IDR) picture are to precede the instantaneous decoding refresh (IDR) picture in decoding order, no picture of the coding, but also while not cf. gradual decoding refresh (GDR) may be implemented using a technique called isolated regions (isolated regions), as will be described later in this document. 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트에서의 픽쳐는 점진적 디코딩 리프레시(GDR) 픽쳐라고 불린다. Picture in gradual decoding refresh (GDR) random access point is called a gradual decoding refresh (GDR) picture. 점진적 디코딩 리프레시(GDR) 픽쳐로부터 복원 포인트를 포함하는 구간 까지가 점진적 디코딩 리프레시(GDR) 구간(GDR period)이라고 불린다. Gradual decoding refresh called (GDR) is from the picture to the restoration segment including the point gradual decoding refresh (GDR) region (GDR period).

랜덤 액세스 포인트들은 지역적으로 저장된 비디오 스트림들에서의 탐색 동작을 가능하도록 한다. Random access points are to be the search operation at the local video stream is stored into. 주문형 비디오 또는 스트리밍 서비스에서, 서버들은 탐색 동작에서의 요청된 목적지에 가장 근접한 랜덤 액세스 포인트로부터 시작하는 데이터를 송신함으로써 탐색 요청에 응답할 수 있다. In video-on-demand or streaming, servers can respond to the search request by transmitting data starting from the random access point is closest to the requested destination of the seek operation. 상이한 비트레이트를 이용하여 코딩된 스트림들 간의 스위칭 기술이 바로 송신된 비트레이트를 기대되는 네트워크 스루풋(throughput)에 정합시키고 해당 네트워크 내의 충돌을 방지하도록 하는, 인 터넷을 위한 유니캐스트 스트리밍에 널리 이용되는 방법이다. Matched to the different bit rates network throughput (throughput) is expected the right transmission switching technologies between coded stream bit rate using and widely used in unicast streaming for, the Internet, which in order to avoid a collision in the network It is a way. 다른 스트림으로의 스위칭이 랜덤 액세스 포인트에서 가능하다. The switching of the other stream is possible at a random access point. 더 나아가, 랜덤 액세스 포인트들은 브로드캐스트 또는 멀티캐스트에서의 튜닝 인(tuning in) 동작을 가능하게 한다. Furthermore, random access points enable tuning in (tuning in) operation in a broadcast or multicast. 또한, 랜덤 액세스 포인트는 소스 시퀀스에서 중단된 장면에 대한 응답으로서 코딩되거나 인트라 픽쳐(intra picture) 갱신 요청(update request)에 대한 응답으로서 코딩될 수 있다. In addition, the random access point can be coded as a response to the encoding or intra-picture (intra picture) Update Request (update request) in response to a scene break in the source sequence.

File Format File Format

MPEG-4 Part 12는 ISO(International Organization for Standardization)에 기반한 미디어 파일 포맷을 정의한다. MPEG-4 Part 12 defines a media file format based on the (International Organization for Standardization) ISO. 이것은 타이밍된 미디어 정보(timed media information)를 포함하여 이 정보를 유연하고 확장 가능한 포맷에서 프리젠테이션(presentation)함으로써 미디어 간의 상호 교환, 관리, 편집, 및 프리젠테이션 동작을 용이하게 하도록 하기 위하여 설계된다. This is designed to so as to facilitate interchange, management, editing, and presentation operations between the media by the presentation (presentation) in a flexible and extensible format, this information, including the timing of the media information (timed media information). 이러한 프리젠테이션은, 프리젠테이션을 포함하는 시스템에 '지역적(local)' 으로 포함될 수도 있고, 네트워크 또는 다른 스트림 전달 메커니즘을 통하여 수행될 수도 있다. This presentation, the system including a presentation may be included as a "regional (local)", it may be performed via a network or other stream delivery mechanism. 하나의 파일이 구성 객체들(constituent objects)로 분해(decompose)될 수 있다는 점에서 파일 구조는 객체-지향적이고, 객체들의 구조는 그들의 타입으로부터 직접적으로 유추될 수 있다. In that a single file can be decomposed (decompose) in the configuration object (constituent objects) file structure is object-oriented and structure of the objects can be inferred directly from their type. 파일 포맷은 모든 특정 네트워크 프로토콜로부터 독립적이지만 일반적으로 이들 프로토콜을 효율적으로 지원할 수 있도록 설계된다. The file format is designed to be generally effective in supporting these protocols, but independent from any particular network protocol. ISO 기반 미디어 파일 포맷은 MP4 파일 포맷(MPEG-4 Part 14) 및 AVC(개선된 비디오 코딩, Advanced Video Coding) 파일 포맷(MPEG-4 Part 15)을 위한 기반으로서 사용된다. ISO Base Media File Format is used as the basis for the MP4 file format (MPEG-4 Part 14) and AVC (advanced video coding, Advanced Video Coding) file format (MPEG-4 Part 15). 개선된 비디오 코딩(AVC) 파일 포맷은 어떻게 개선된 비디오 코딩(AVC) 콘텐트가 ISO 기반 미디어 파일 포맷에 저장되는지를 지정한다. What is the advanced video coding (AVC) file format to improve video coding (AVC) Specifies that the content is stored on the ISO base media file format. 이것은 일반적으로 개선된 비디오 코딩(AVC) 비디오를 사용하도록 허용하는 ISO 기반 미디어 파일 포맷으로부터 유도된 MP4 파일 포맷과 같은 규격의 측면에서 사용된다. It is used in terms of size, such as the MP4 file format, derived from ISO base media file format, which usually allow the use of a video coding (AVC) video improved.

현재의 개선된 비디오 코딩(AVC) 파일 포맷의 디자인에서, SP/SI 픽쳐들에 의하여 형성된 스위칭 픽쳐(switching pictures) 들은 스위칭 트랙들 내에 저장되는데, 스위칭 트랙들은 스위칭의 목적지 또는 근원지(being switched from or switched to)가 되는 트랙과 개별적인 트랙들이다. In the current advanced video coding (AVC) file format design, the switching pictures formed by the SP / SI picture (switching pictures) are are stored in switching tracks, switch tracks are the destination or source of the switching (being switched from or It switched to) the tracks which are the individual tracks. 스위칭 트랙들은 해당 트랙에 존재하는, 요구되는 특정 트랙 레퍼런스(required track reference)에 의하여 식별될 수 있다. Switching tracks can be identified by the presence of the track, a particular track reference required (required track reference). 스위칭 픽쳐는 완전히 동일한 디코딩 타임을 가지는 목적지 트랙(destination track) 내의 샘플에 대한 대체물(alternative)이다. Switching picture is a substitute for (alternative) for the sample in the destination track that has completely the same decoding time (destination track).

순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트 각각은 싱크 샘플 박스(Sync Sample Box) 내에 지시된 싱크 샘플에 상응한다. Instantaneous decoding refresh (IDR) random access point, each of which corresponds to a sync sample indicated in the Sync Sample Box (Sync Sample Box). 싱크 샘플 박스의 디자인은 다음과 같이 ISO 기반 미디어 파일 포맷에 지정된다. Design of the sync sample box are specified in the ISO base media file format as follows:

Definition Definition

Box Type 'stss' Box Type 'stss'

Container: Sample Table Box('stbl') Container: Sample Table Box ( 'stbl')

Mandatory: No Mandatory: No

Quality: Zero or one Quality: Zero or one

이 박스는 해당 스트림 내의 랜덤 액세스 포인트들에 대한 간략화된 마크 (compact marking)를 제공한다. This box provides a mark (compact marking) simplification of the random access points within the stream. 이 표는 샘플 번호의 엄격한 오름차순으로 정렬된다. The table is sorted in ascending order of sample number, strict. 만일 싱크 샘플 박스가 존재하지 않는다면, 모든 샘플이 랜덤 액세스 포인트이다. Ten thousand and one if the sync sample box does not exist, all the samples are random access points.

Syntax Syntax

aligned(8) class SyncSampleBox aligned (8) class SyncSampleBox

extends FullBox('stss', version=0, 0) { extends FullBox ( 'stss', version = 0, 0) {

unsigned int(32) entry_count; unsigned int (32) entry_count;

int i; int i;

for (i=0; i < entry_count ; i++) { for (i = 0; i <entry_count; i ++) {

unsigned int(32) sample_number; unsigned int (32) sample_number;

} }

} }

Semantics Semantics

version 은 박스의 버전을 지정하는 정수이다. version is an integer that specifies the version of the box.

entry_count는 후속 표에 존재하는 엔트리들의 개수를 제공하는 정수이다. entry_count is an integer that provides the number of entries present in the subsequent table. 만일 entry_count가 0이라면, 해당 스트림 내에는 랜덤 액세스 포인트가 존재하지 않고, 후속 표는 비어있다. If ten thousand and one entry_count is zero, in that stream is not present and the random access point, a follow-up table is empty.

sample_number 는 해당 스트림 내의, 랜덤 액세스 포인트인 샘플들의 개수를 제공한다. sample_number provides a number of samples within the stream, the random access point.

격리 영역(Isolated Regions) Isolation regions (Isolated Regions)

격리 영역 기술은 많은 어플리케이션들을 위한 만족스런 솔루션을 제공하는데, 이러한 어플리케이션들의 예를 들면, 점진적 디코딩 리프레시(GDR)(JVT-C074), 에러 회복 및 복원(JVT-C073), 관심 영역(region-of-interest) 코딩 및 우선권 부여(coding and prioritization), 픽쳐-인-픽쳐 기능, 및 마스킹된 비디오 장면 전환(JVT-C075)의 코딩 등이 있다. Isolated regions technique provides a satisfactory solution for many applications, for example, of these applications, gradual decoding refresh (GDR) (JVT-C074), error recovery and restored (JVT-C073), region of interest (region-of picture function and the like, and the mask code of the video transitions (JVT-C075) - -interest) coding, and priority given (coding and prioritization), picture-in. 점진적 디코딩 리프레시(GDR)가 격리 영역에 기반하므로, 수신기들을 위한 미디어 채널 스위칭, 서버를 위한 비트스트림 스위칭, 및 멀티캐스트 스트리밍을 위한 신규 구성원(newcomer) 허용과 같은 동작이 더 부드러운 비트레이트(smoother bitrate)를 가지는 순간적 랜덤 액세스처럼 용이해진다. Gradual decoding refresh (GDR) is therefore based on isolated regions, media channel switching for receivers, bitstream switching for the server, and a new member for multicast streaming (newcomer) allows a more gentle-bit-rate operation, such as (smoother bitrate ) becomes easy as instantaneous random access with.

픽쳐 내의 격리 영역은 매크로블록(macroblock)을 포함할 수 있으며, 픽쳐는 0 또는 1개의 격리 영역을 가질 수 있거나, 서로 중첩되지 않는 더 많은 격리 영역들을 가질 수 있다. Isolated area in the picture may include a macroblock (macroblock), or the picture is to have zero or one isolated region, may have more isolated regions that do not overlap each other. 잔여 영역(leftover region)은 어느 픽쳐의 어떠한 격리 영역에 의하여도 커버되지 않은 픽쳐 내의 영역이다. The remaining area (leftover region) is a region in the non-even covered by any isolated region of a certain picture in picture. 격리 영역을 코딩할 때, 동일한 코딩된 픽쳐 또는 디코딩된 픽쳐 내의 모든 예측성 코딩(predictive coding) 동작(본 명세서에서는 인-픽쳐 예측(in-picture prediction)이라고 불린다)은 자신의 경계를 따라서 비활성화된다. When coding an isolated region, all predictive coding (predictive coding) operations within the same coded picture or a decoded picture (in the present specification, in-picture prediction (referred to as in-picture prediction)) is disabled along their boundary . 잔여 영역은 동일한 픽쳐의 격리 영역들로부터 예측될 수 있다. The remaining area may be predicted from isolated regions of the same picture.

코딩된 격리 영역은 동일한 코딩된 픽쳐의 다른 격리 영역 또는 잔여 영역의 존재가 없어도 디코딩될 수 있다. The coding region is isolated without the presence of other isolated or leftover region of the same area, a coded picture may be decoded. 격리 영역의 디코딩이 시작되기 이전에 하나의 픽쳐 내의 모든 격리 영역들을 디코딩하는 것이 필요할 수 있다. Prior to the decoding of the isolated region starts may be necessary to decode all isolated regions within a picture. 격리 영역은 적 어도 하나의 슬라이스(slice)를 포함한다. Isolated regions are ever least include one of the slice (slice).

서로의 격리 영역들이 상호 예측된 픽쳐들은 그룹화되어 하나의 격리 영역 픽쳐 그룹(isolated-region picture group)으로 형성된다. The mutually isolated regions of the predicted picture are grouped together are formed in a single isolation region picture group (isolated-region picture group). 하나의 격리 영역은 동일한 격리 영역 픽쳐 그룹 내의 선행하는 기 각각에 존재하는 상응하는 격리 영역과 함께 커플링될 수 있다. One isolated region can be coupled with a corresponding isolated region present in each of the preceding groups in the same isolation region picture group. 격리 영역은 동일한 격리 영역 픽쳐 그룹 내의 상응하는 격리 영역으로부터 상호-예측(inter-predicted)될 수 있다. Isolation regions are mutually from the corresponding isolated region within the same isolated region picture group may be prediction (inter-predicted). 그러나, 다른 격리 영역들로부터 격리 영역을 상호 예측하는 것은 허용되지 않는다. However, it is not allowed to cross the isolation region prediction from the other isolated regions. 반면에, 잔여 영역은 모든 격리 영역으로부터 상호-예측될 수 있다. On the other hand, the remaining areas are mutually isolated from any region can be predicted. 커플링된 격리 영역들의 모양, 위치, 및 크기는 하나의 격리 영역 픽쳐 그룹 내에서 픽쳐를 거칠수록 진화(evolve)될 수 있다. Couple of ring-shaped isolated area, location, and size are more subjected to a picture in a single isolated region picture group to be evolved (evolve).

격리 영역들의 코딩 동작은 개선된 비디오 코딩(AVC) 코덱을 적용하는 슬라이스 그룹에 의하여 구현될 수 있다. Coding operation of the isolation region can be implemented by applying an improved video coding (AVC) codec, slice group. 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트 각각은 복원 포인트 여분 확장 정보(SEI, Supplemental Enhancement Information) 메시지에 의하여 특징지워진다. Gradual decoding refresh (GDR) random access point, respectively, is characterized by the redundant information extended recovery point (SEI, Supplemental Enhancement Information) message. 또한, 격리 영역들의 코딩 동작은 슬라이스 그룹을 이용하지 않는 개선된 비디오 코딩(AVC) 코덱 또는 다른 표준 코덱들에 의하여 구현될 수도 있으나, 슬라이스 그룹들을 이용하는 코딩 방법에 기하여 그 효율은 열화될 수 있다. In addition, the coding operation of the isolation region, but may be implemented by a video coding (AVC) codec or other standard codecs improvement which does not use a slice group, gihayeo a coding method using the slice group that efficiency may be deteriorated.

SP /SI 픽쳐들 The SP / SI picture

개선된 비디오 코딩(AVC) 코딩 표준은 SP/SI 픽쳐들을 지원한다. Improved Video Coding (AVC) coding standard supports SP / SI pictures. P-슬라이스들만을 포함하는 스트림 스위칭에서는, 디코더가 이미지 복원을 위하여 요구되는 정확한 디코딩된 레퍼런스 프레임들을 가지지 않는 것이 알려진다. The stream switching that contain only P- slice, it is known that the decoder does not have the correct decoded reference frames required for the image restoration. 코딩된 시퀀스에 정규적 간격(regular interval)으로 I-슬라이스를 삽입하여 스위칭 포인트들을 생성함으로써, 이 문제를 해결할 수 있다. By inserting the I- sliced ​​into regular intervals (regular interval) in the coding sequence by generating the switch point, you can solve this problem. 그러나, I-슬라이스는 P-슬라이스에 비하여 더 많은 코딩된 데이터를 포함할 가능성이 높다. However, I- slice is likely to contain more coded data than the P- slice. 그러므로, 코딩된 비트레이트에 존재하는 피크(peak)가 개별 스위칭 포인트에 나타난다. Therefore, the peak (peak) which is present in the coding bit rate is shown on a separate switching points. SP-슬라이스들 및 SI-슬라이스들은 I-슬라이스들이 가지는 증가된 비트레이트 단점(increased bitrate penalty)을 가지지 않는 스위칭을 지원하기 위하여 설계된다. SP- slices and SI- slices are designed to support the switching does not have the disadvantage of having to increase the bit rate I- slice (increased bitrate penalty).

SP/SI 픽쳐들은, 상이한 레퍼런스 픽쳐들을 이용한 다른 SP/SI 픽쳐들도 정확히 동일한 복원 픽쳐를 가지게 하기 위한 방법으로 인코딩된다. SP / SI pictures are, is encoded as a way to these other SP / SI picture using different reference picture have exactly the same restored picture. SP/SI 픽쳐들은 비트스트림 스위칭, 스플라이싱(splicing), 랜덤 액세스, 고속 탐색, 고속 역방향 탐색, 및 에러 회복/복원 동작을 위하여 적용될 수 있다. SP / SI pictures can be applied for bitstream switching, splicing (splicing), random access, high speed search, reverse high-speed search, and the error recovery / restoration operation. 예를 들어, 상이한 비트레이트를 가지며 동일한 비디오 시퀀스에서 유래한 두 개의 비트스트림들인 bs1 및 bs2가 존재한다고 가정한다. For example, it is assumed that the bit rate has a different two bit streams which are bs1 and bs2 derived from the same video sequence exists. bs1에서는 SP 픽쳐(s1)가 코딩되고, 다른 SP 픽쳐(s2)는 bs2와 동일한 지점에서 코딩된다. In the SP bs1 coded picture (s1), another SP picture (s2) is coded at the same point as bs2. bs1에서, 추가적인 SP 픽쳐(s12)는 s2와 정확히 동일한 재구성 픽쳐를 가지고 코딩된다. In bs1, an additional SP picture (s12) is coded having exactly the same reconstructed picture as s2. s12 및 s2는 상이한 레퍼런스 픽쳐들을 이용한다(각각 bs1 및 bs2를 이용한다). s12 and s2 use different reference pictures (each utilizes bs1 and bs2). 그러므로, bs1에서 bs2로의 스위칭 동작은 스위칭 지점에서 s1 대신에 s12를 송신함으로써 수행된다. Therefore, the switching operation from bs1 to bs2 is carried out by transmitting, instead of s12 s1 in the switching point. s12는 s2와 완전히 동일한 재구성(reconstruction)을 가지기 때문에, 스위칭 이후에 재구성된 픽쳐들은 에러가 없는 것들이다. s12 is because it has exactly the same reconfiguration (reconstruction) and s2, reconstructed pictures after the switching are the ones with no errors. SP 픽쳐(s12)는 스위칭 픽쳐라고 불리며, 개선된 비디오 코딩(AVC) 파일 포맷에서의 스위칭 트랙에 저장된다. SP picture (s12) is called switching picture, it is stored in the switching track in an improved video coding (AVC) file format.

스트리밍 시스템(Streaming System) Streaming System (Streaming System)

이미 언급된 바와 같이, 멀티-인코딩 기반 스트림 적응화에서는, 서버가 동일한 비디오 콘텐트를 복수 개의 인코딩된 스트림 내에 저장하지만, 인코딩된 스트림 중 오직 하나만이 송신을 위하여 선택된다. , Multi-as already mentioned-the encoding based stream adaptation, the server stores the same video content in a plurality of encoded streams, but only one of the encoded streams is selected for transmission. 도 1은 송신 시스템(10)을 도시하는데, 송신 시스템(10)은 트랜스코더 또는 멀티-스트림 발생기 또는 저장 장치(12)로부터 복수 개의 스트림들을 수신할 수 있는 서버(20)를 포함한다. Figure 1 illustrates a transmission system 10, transmission system 10 includes a transcoder or multi-includes a server 20 capable of receiving a plurality of streams from the stream generator or storage device 12. 도시된 바와 같이, 스트리밍 서버(20)는 인코딩된 스트림들 1 내지 n 중 하나를 선택하기 위한 스트림 선택기(22)를 포함한다. As shown, the streaming server 20 comprises a stream selector 22 to select one of the encoded streams 1 to n. 선택된 인코딩된 스트림은 패킷화부(24, packetizer)에 의하여 패킷들로 분주되고 송신을 위하여 채널 코더(26)에서 코딩된다. Selected encoded stream is dispensed into packets by the packetizer (24, packetizer) is coded in the channel coder 26 for transmission. 스트리밍 세션의 연속성을 유지하고 서비스의 품질을 최대화하기 위하여, 일반적으로 서버는 송신을 위하여 가장 확률이 높은(best possible) 인코딩된 스트림을 선택한다. Maintain the continuity of the streaming session and to maximize the Quality of Service, the server generally selects the best probability is high (best possible) encoded stream for transmission. 송신 조건이 변화되면, 서버는 예를 들자면 비트레이트를 증가 또는 감소시켜야 할 수 있다. When the transmission condition changes, the server may have to increase or reduce the bit rate way of example. 이에 상응하여, 스트림 선택기는 스위칭 포인트에서 상이한 인코딩된 스트림을 선택함으로써, 스트림들을 스위칭한다. In a corresponding way, the stream selector by selecting a different encoded stream at a switching point, the switching streams. 그러나, 클라이언트 측에서는, 디코더는 단지 자신이 수신한 송신 데이터라면 무엇이든지 디코딩할 수 있다. However, the client side, the decoder can only decode anything if they transmitted data is received. 기본적으로, 스트리밍 클라이언트 장치(40)는 채널 디코더(42), 역-패킷화부(44, de-packetizer) 및 디스플레이(48)로 디코딩된 비디오 신호들을 제공하기 위한 디코더(46)를 포함하는데, 이는 도 2에 도시된 바와 같다. Basically, a streaming client device 40 includes a channel decoder 42, an inverse-packetizer (44, de-packetizer), and includes a decoder 46 for providing the video signal decoded by the display 48, which is also as it is shown in Fig. 그러나, 클라이언트에 의하여 구동되는(client-driven) 스트림 적응화를 지원하는 스트리밍 시스템에서는, 스트리밍 클라이언트 장치는 스트림의 스위칭을 요청하는 요청 신호를 서 버로 전송할 수 있다. However, in a streaming system that supports (client-driven) stream adaptation is driven by the client, the streaming client device can send a standing burrow request signal requesting switching of the stream. 스트리밍 시스템은 도 3에 도시되며, 도 3은 스트리밍 서버(20) 및 스트리밍 클라이언트 장치(40)가 네트워크(60)를 통하여 연결되는 연결 관계를 도시한다. The streaming system is shown in Figure 3, Figure 3 illustrates a connection between the streaming server 20 and streaming client device 40 is connected through a network 60.

순간적/점진적 디코딩 리프레시(Instantaneous/Gradual Decoding Refresh) Instantaneously / gradual decoding refresh (Instantaneous / Gradual Decoding Refresh)

이미 언급된 바와 같이, 랜덤 액세스 포인트는 디코딩이 개시될 수 있는 모든 픽쳐를 나타낸다. As already noted, a random access point represents the all pictures that can be decoded starts. 이와 같은 액세스 포인트에서, 복원 포인트에서의 또는 복원 포인트에 후속하는 모든 디코딩된 픽쳐들은 콘텐트에 있어서 정확하거나 거의 정확하다. In such an access point, all decoded pictures following a recovery point or at the recovery point are correct or approximately correct in content. "콘텐트에 있어서 정확한(correct in content)" 라는 의미는 본 명세서에서 디코딩된 슬라이스 또는 픽쳐가 해당 스트림의 개시 지점에서부터 디코딩이 시작될 때와 정확히 동일하다는 것을 나타내며, "콘텐트에 있어 거의 정확한(approximately correct in content)" 라는 용어는 디코딩된 슬라이스 또는 픽쳐가 해당 스트림의 개시 지점에서부터 디코딩이 시작될 때와 거의 동일하다는 것을 나타낸다. Means "accurate (correct in content) in the content" indicates that the slice or picture decoding herein that exactly the same as when the decoding from the start point of the stream is started, "in content approximately correct (approximately correct in content) the term "indicates that the decoded slice or picture is almost the same as when the decoding is started from the start point of the stream. 도 4a에 도시된 바와 같이, 복원 포인트는 스위칭 포인트와 동일하며, 콘텐트에 있어서 정확하거나 거의 정확한 픽쳐들이 스위칭 포인트에서 시작된다. As shown in Figure 4a, the recovery point is the same as the switching point is correct or approximately correct picture begin at the switching point in the content. 이와 같이, 랜덤 액세스 동작은 순간적 디코딩 리프레시(IDR)라고 불린다. In this way, the random access operation is called the instantaneous decoding refresh (IDR). 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트들은 I 슬라이스들 또는 SI 슬라이스들 만을 포함한다. Instantaneous decoding refresh (IDR) random access points include only the I slices or SI slices.

이에 반하여, 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트는 I, P, Si, SP 중 모든 종류의 슬라이스들을 포함할 수 있다. On the other hand, a gradual decoding refresh (GDR) random access point may comprise any type of a slice of the I, P, Si, SP. 그러나, 도 4b에 도시된 바와 같이, 픽쳐 내의 콘텐트는 출력 순서에서 스위칭 포인트에 후속하는 픽쳐로부터 출 발할 때 정확하거나 거의 정확하다. However, as shown in Figure 4b, the content in the picture is correct or approximately correct when emit output from the picture following the switching point in the output order. 복원 포인트 및 스위칭 포인트 간의 픽쳐들은 시각적으로 불쾌하거나 보기에 적합하지 않다. Pictures between the recovery point and the switching point, are not suitable for visual discomfort or view.

현재, 파일 포맷에서 사용될 수 있는, 점진적 디코딩 리프레시(GDR) 스위칭 포인트들을 시그널링 하기 위한 효과적인 방법이 존재하지 않는다. At present, there is no effective way to signal them that can be used in file format, gradual decoding refresh (GDR) switching point. 파일 포맷의 일 예로는 개선된 비디오 코딩(AVC) 파일 포맷이 있으며, 이것은 스트림 스위칭을 지원하기 위하여 점진적 디코딩 리프레시(GDR) 기반한 비디오 코딩을 통한 스트리밍 콘텐트를 포함하는 서버 파일에 매우 중요하다. An example of the file format is an improved video coding (AVC) file format, which is very important for a server file containing streaming content with gradual decoding refresh (GDR) based video coding to support stream switching. 개선된 비디오 코딩(AVC) 파일 포맷으로 저장된 개선된 비디오 코딩(AVC) 콘텐트에 대하여, 점진적 디코딩 리프레시(GDR) 스위칭 포인트들은 오직 액세스 유닛(access unit)이 개선된 비디오 코딩(AVC) 표준에 지정된 바와 같은 복원 포인트 SEI 메시지를 포함하고 있을 때에만 식별될 수 있다. With respect to an improved video coding (AVC) content stored to improve the video coding (AVC) file format, gradual decoding refresh (GDR) switching points are described only assigned to the access unit (access unit), an improved video coding (AVC) standard only if it contains the same recovery point SEI message may be identified. 이러한 방법에서는, 개선된 비디오 코딩(AVC) 액세스 유닛 각각에 대하여 복원 포인트 SEI 메시지가 존재하는지를 점검하여야 하는 불편이 있다. In this method, the inconvenience that with respect to an improved video coding (AVC), each access unit be checked whether there is a recovery point SEI message exists.

본 발명은 파일 포맷 내에서 점진적 디코딩 리프레시(GDR) 스위칭 포인트들을 시그널링하기 위한 효율적인 방법 및 장치를 제공한다. The present invention provides an efficient method and apparatus for signaling the gradual decoding refresh (GDR) switching points in file format. 더 나아가, 격리 영역들을 이용하여 어떻게 점진적 디코딩 리프레시(GDR)가 인코딩 되었는지에 대한 정보도 시그널링 됨으로써 스트림 스위칭을 고속화하고 비트레이트를 감소시킨다. Moreover, the high-speed stream switching by being also signaling information on how gradual decoding refresh (GDR) is encoded using isolated regions, and reduce the bit rate. 본 발명에 따른 시그널링 방법에 따르면, 점진적 디코딩 리프레시(GDR) 스위칭 포인트들은 순간적 디코딩 리프레시(IDR) 및 SP/SI 스위칭 포인트들과 같은 다른 스위칭 포인트들처럼 용이하게 식별될 수 있다. According to the signaling method according to the invention, the gradual decoding refresh (GDR) the switch point can be easily identified as other switching points, such as the instantaneous decoding refresh (IDR) and SP / SI switching points. 또한, 서버는 점진적 디코딩 리프레시(GDR) 스위칭 포인트로부터 복원 포인트를 포함하는 구간까지의 액세스 유닛들을 위하여 격리 영역들 만을 송신하도록 선택할 수 있으며(지정되어 있다면), 따라서 점진적 디코딩 리프레시(GDR) 스위칭을 고속화하고 비트레이트를 감소시킬 수 있다. In addition, the server gradual decoding refresh (GDR) can select to transmit only the isolated region to the access unit to the section containing the restore point from the switching point, and (if specified), thus speeding up the gradual decoding refresh (GDR) switching and it is possible to reduce the bit rate.

그러므로, 본 발명의 제1측면에 따르면, 복수 개의 비트스트림 간의 스트림 스위칭에 사용되는 시그널링 방법이 제공되는데, 상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐(correct or approximately correct picture)를 정의하는 적어도 하나의 복원 포인트(recovery point)를 포함한다. Therefore, according to the first aspect of the invention, there is provided a signaling method for use in stream switching among a plurality of bitstreams, wherein the bitstream containing video data representing a plurality of video frames for each bitstream, the bit stream is at least by the inclusion of a switching point allows for switching to the second bit stream from the first bitstream at said switching point, and the output order in the bitstream and the second bitstream decoded subsequent to said stream switching in a first at least one recovery point (recovery point) to define a precise picture or approximately correct picture (correct or approximately correct picture). 본 발명에 따른 시그널링 방법은, 제공된 정보에 기반하여 상기 스트림 스위칭이 수행될 수 있도록, 상기 비트스트림에서 상기 스위칭 포인트를 나타내는 정보를 제공하는 단계를 포함하며, 상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 한다. Signaling method according to the invention is that to be the stream switching performed based on the information provided, in the bit stream comprises the step of providing information indicative of the switching point, the switching point is different from the recovery point It characterized.

더 나아가, 상기 비디오 프레임들은, 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 상기 하나 또는 그 이상의 슬라이스에 관련된 적어도 하나의 격리 영역(isolated region)을 포함하며, 제공된 상기 정보는 상기 격리 영역을 더 나타내거나 나타내지 않을 수 있는 것을 특징으로 한다. Furthermore, the video frames, including the one or the at least one isolation region (isolated region) associated with more slices in the stream following the switching of decoding the second bit stream, and, provided the information is the isolated region the features that might indicate or represent.

상기 스트림 스위칭은 서버 장치 및 클라이언트 장치 간의 송신 조건들에 기반하여, 스트리밍 네트워크 내에서 상기 서버 장치에 의하여 개시되거나 클라이언트 장치에 의하여 요청되는 것을 특징으로 한다. The stream switching based on transmission conditions between a server device and a client device, in a streaming network, characterized in that the initiated or requested by the client device by the server device.

상기 시그널링 방법은, 실시간 전송 프로토콜(RTP, Real-time Transport Protocol)을 이용하는 송신에 사용되고, 상기 제1 및 제2 비트스트림들의 특징을 표시하는 정보를 전달하기 위하여 세션 기술 프로토콜(SDP, Session Description Protocol)이 사용되는 것을 특징으로 하는 한다. The signaling method comprises real-time transport protocol (RTP, Real-time Transport Protocol) for being used for transmitting using the first and second bit stream characterized in Session Description Protocol (SDP, Session Description to convey information Protocol displaying of ) it must, characterized in that it is used.

본 발명의 제2 측면에 따르면, 복수 개의 비트스트림 간의 스트림 스위칭에 사용되는 스트리밍 서버 장치가 제공되는데, 상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함한다. According to the second aspect, there is provided a streaming server device for use in stream switching among a plurality of bitstreams, the bitstream comprising the video data representing a plurality of video frames for each bitstream, wherein the bitstream of the invention is the output order in the at least by the inclusion of a switching point allows for switching to the second bit stream from the first bitstream at said switching point, and wherein the bitstream and the second bitstream decoded subsequent to said stream switching the first comprises at least one recovery point which defines the exact or nearly exact picture picture. 본 발명에 따른 스트리밍 서버 장치는, 송신할 상기 제1 비트스트림을 선택하기 위한 스트림 선택기(stream selector) 및 상기 스트림 선택기가 상기 스위칭 포인트에 기반한 송신을 위한 제2 비트스트림을 선택하도록, 상기 비트스트림 내에 적어도 하나의 상기 스위칭 포인트에 대한 정보를 제공하기 위한 수단을 포함하며, 상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 한다. A streaming server device according to the invention, the bit-stream, to the stream selector for selecting the first bitstream to be sent (stream selector) and said stream selector selects the second bitstream for transmission based on the switching point and means for providing information about at least one of the switching point, the switching point is characterized in that in the recovery point is different.

본 발명의 제3측면에 따르면, 복수 개의 비트스트림 간의 스트림 스위칭을 수행할 수 있는 스트리밍 시스템이 제공되는데, 상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함한다. According to a third aspect of the invention, there is provided a streaming system capable of performing the stream switching among a plurality of bitstreams, wherein the bitstream containing video data representing a plurality of video frames for each bitstream, the bit stream is at least by the inclusion of a switching point allows for switching to the second bit stream from the first bitstream at said switching point, and the output order in the bitstream and the second bitstream decoded subsequent to said stream switching to include at least one recovery point which defines a first correct or approximately correct picture picture. 본 발명에 따른 스트리밍 시스템은 적어도 하나의 스트리밍 클라이언트 및 송신된 비트스트림에 기반하여 상기 스트리밍 클라이언트가 상기 비디오 프레임들을 재구성(reconstruct)하도록, 비트스트림들 중 하나를 상기 스트리밍 클라이언트로 송신하기 위한 적어도 하나의 스트리밍 서버를 포함하며, 상기 스트리밍 서버는, 송신할 제1 비트스트림을 선택하고, 제2 비트스트림을 더 선택하기 위한 스트림 선택기 및 상기 스트림 선택기가 상기 스위칭 포인트에 기반하여 상기 제2 비트스트림을 선택하도록, 상기 비트스트림 내에 적어도 하나의 상기 스위칭 포인트에 대한 정보를 제공하기 위한 수단을 포함하며, 상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 한다. Streaming system according to the present invention is at least one for transmitting one of the bit stream is the streaming client based on at least one streaming client and the transmitted bit stream to reconstruct (reconstruct) of the video frame in the streaming client includes a streaming server, the streaming server comprises: selecting a first bit stream to be transmitted, and the second stream selector and the stream selector to further select the bitstream based on the switching point selecting the second bitstream to, and means for providing information about at least one of the switching point, the switching point in the bitstream is characterized in that the recovery point is different. 또한, 스트리밍 시스템은 비디오 입력 신호를 비디오 데이터로 변환하기 위한 비디오 인코더(video encoder) 및 상기 비디오 데이터에 응답하여 상기 비디오 데이터를 복수 개의 비트스트림으로 인코딩하기 위한 수단을 더 포함하는 것을 특징으로 한다. Furthermore, the streaming system is characterized by further comprising means for encoding the video data into a plurality of bit streams in response to the video encoder (video encoder) and the video data for converting the video input signal into the video data.

본 발명의 제4측면에 따르면, 복수 개의 비트스트림 간의 스트림 스위칭을 수행할 수 있는 스트리밍 시스템에서 사용되는 소프트웨어 프로그램이 제공되는데, 상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함한다. According to a fourth aspect of the invention, there is provided a software program for use in a streaming system capable of performing the stream switching among a plurality of bitstreams, wherein the bitstream of video data representing a plurality of video frames for each bitstream included, and by the bitstream includes at least one switching point allows for switching to the second bit stream from the first bitstream at said switching point, and wherein the bitstream is decoded subsequent to said stream switching the second It includes at least one recovery point which defines a first correct or approximately correct picture in output order in the picture in the bitstream. 본 발명에 따른 컴퓨터 프로그램은 상기 스위칭 포인트를 결정하기 위한 코드 및 상기 비트스트림에 관련되어 제공된 정보 내에 상기 스위칭 포인트를 지시하여, 스트리밍 서버로 하여금 상기 스트림 스위칭을 수행하도록 하는 코드를 포함하며, 상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 한다. A computer program according to the present invention includes a code that instructs the switching point in information provided in relation to the code and the bit stream to determine the switch point, causing the streaming server to perform said stream switching, said switching point is characterized in that the recovery point is different.

본 발명은 첨부된 도 5 내지 도 7과 관련하여 후술하는 상세한 설명으로부터 명백해질 것이다. The present invention will become apparent from the following detailed description in conjunction with the accompanying Figures 5-7.

도 1은 스트리밍 스위칭을 지원하는 스트리밍 서버를 예시하는 블록도이다. Figure 1 is a block diagram illustrating a streaming server that supports stream switching.

도 2는 스트리밍 클라이언트를 예시하는 블록도이다. Figure 2 is a block diagram illustrating a streaming client.

도 3은 스트리밍 시스템을 나타내는 개략적인 도면이다. Figure 3 is a schematic diagram illustrating a streaming system.

도 4a는 순간적 디코더 리프레시 픽쳐를 이용하는 스트림 스위칭을 예시하는 개략적인 도면이다. Figure 4a is a schematic diagram illustrating a stream switching using an instantaneous decoder refresh picture.

도 4b는 점진적 디코더 리프레시 픽쳐를 이용하는 스트림 스위칭을 예시하는 개략적인 도면이다. Figure 4b is a schematic diagram illustrating a stream switching using a gradual decoder refresh picture.

도 5는 싱크 샘플 박스를 예시하는 블록도이다. 5 is a block diagram illustrating a sync sample box.

도 6은 본 발명에 따른 싱크 샘플 정보 박스를 예시하는 블록도이다. Figure 6 is a block diagram illustrating a sync sample information box, according to the present invention.

도 7은 본 발명에 따른 스트리밍 시스템을 예시하는 개략적인 도면이다. Figure 7 is a schematic diagram illustrating a streaming system according to the present invention.

본 발명에 따르면, 스위칭가능한 점진적 디코딩 리프레시(GDR) 픽쳐들에 대한 정보는 싱크 샘플 박스(sync sample box) 내에 포함되는 싱크 샘플 정보 박스(ssif) 내에 포함됨으로써 랜덤 액세스 포인트들을 지시한다(따라서 스위칭 포인트들을 지시한다). According to the invention, whereby information on the switching gradual decoding refresh (GDR) picture as possible is contained in the Sync Sample Box Sync Sample Information Box (ssif) contained in the (sync sample box) indicates the random access points (hence switching points It directs them). 더 나아가, 격리 영역들을 실현하기 위하여 슬라이스 그룹들이 사용된다면, 슬라이스 그룹들은 격리 영역에 관련되고 해당 싱크 샘플 정보 박스(ssif) 내의 잔여 영역에 관련되어야 한다. Furthermore, if slice groups are used to realize isolated regions, the slice groups are associated to the isolation region to be related to the leftover region within the Sync Sample Information Box (ssif). 이러한 정보를 이용함으로써, 스트리밍 서버는 점진적 디코딩 리프레시(GDR) 픽쳐들을 이용하여 스트림들을 정확하게 스위칭할 수 있다. By using this information, the streaming server may switch accurately streams using gradual decoding refresh (GDR) picture. 스위칭 동작에 점진적 디코딩 리프레시(GDR) 픽쳐들을 이용함으로써, 스위칭 포인트 내의 픽쳐에 대한 정보는 순간적 디코딩 리프레시(IDR) 픽쳐들의 경우에 비하여 더 신속하게 송신될 수 있는데, 그 이유는 점진적 디코딩 리프레시(GDR) 픽쳐 내의 잔여 영역은 전송될 필요가 없기 때문이다. By using gradual decoding refresh (GDR) picture in switching operation, information on the picture in the switching point it may be more rapidly transmitted compared to the case of instantaneous decoding refresh (IDR) picture, because the gradual decoding refresh (GDR) the remaining area in the picture is does not need to be transmitted. 스위칭을 위하여 점진적 디코딩 리프레시(GDR) 픽쳐들을 이용하지만, 사용자들은 시작 시점에서 해당 픽쳐 영역(picture area)의 오직 일부만을 볼 수 있으며, 사용자들은 가능한 빨리 다른 것을 볼 수 있으면 더 행복할 것이다. For switching using the gradual decoding refresh (GDR) picture, but the user would be happier if you can only see a subset of the picture area (picture area) at the start, the users can see the other as soon as possible. 또한, 점진적 디코딩 리프레시(GDR) 스위칭 포인트로부터 복원 포인트를 포함하는 구간의 픽쳐 내의 잔여 영역은 전송될 필요가 없다. In addition, the leftover region in a gradual decoding refresh (GDR) in the picture section comprising a restore point from the switching point does not need to be transmitted. 따라서, 격리 영역 및 잔여 영역이 모두 전송되는 경우에 비 하여 감소된 송신레이트(transmission rate)가 획득된다. Thus, the transmission rate decrease to the non-transmission in the case where both the isolated region and the leftover region (transmission rate) is obtained.

개선된 비디오 코딩(AVC) 파일 포맷에서 본 발명을 구현한 실시예는 랜덤 액세스 포인트 각각이 스위칭 포인트라는 특징을 가진다. That implement the present invention in an improved video coding (AVC) file format embodiment has the feature that each random access point is a switching point. 본 발명의 실시에 대한 제1 실시예는 다음과 같다. First embodiment of the practice of the present invention is as follows.

순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트들(IDR 액세스 유닛들) 및 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트들(문법 요소 changing_slice_group_idc 가 1 또는 2인 복원 포인트 SEI 메시지들을 포함하는 액세스 유닛들) 모두를 포함하는 모든 랜덤 액세스 포인트들이 싱크 샘플 박스에 표시된다. Instantaneous decoding refresh (IDR) containing both random access points (IDR access units) and gradual decoding refresh (GDR) random access points (the syntax elements changing_slice_group_idc an access unit including one or two or a recovery point SEI messages) all random access points, which are shown in the sync sample box. 또한, 싱크 샘플 정보 박스는 싱크 샘플 박스에 포함되는데 다음과 같이 정의된다. In addition, the Sync Sample Information Box are contained in the Sync Sample Box is defined as follows:

Definition Definition

Box Type 'ssif' Box Type 'ssif'

Container: Sync Sample Box('stss') Container: Sync Sample Box ( 'stss')

Mandatory: No Mandatory: No

Quality: Zero or one Quality: Zero or one

이 박스는 해당 스트림 내의 랜덤 액세스 포인트들에 대한 정보를 제공한다. This box provides information of the random access points within the stream. 이러한 정보는 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 또는 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트인지를 포함한다. Such information includes whether a random access point is a gradual decoding refresh (GDR) or instantaneous decoding refresh (IDR) random access point. 만일 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 포인트라면, 정보는 어떤 슬라이스 그룹이 격리 영역이며 어떤 슬라이스 그룹이 잔여 영역인지에 대한 정보도 포함한다. If ten thousand and one random access point is a gradual decoding refresh (GDR) point, the information also includes information about which slice group is the isolated region which slice group is the leftover region. 만일 싱 크 샘플 박스가 싱크 샘플 정보 박스를 포함하지 않는다면, 싱크 샘플 박스에 의하여 표시된 모든 싱크 샘플들은 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트들이다. Ten thousand and one sink sample box does not contain a sync sample information box, all the sync samples marked by the sync sample box are instantaneous decoding refresh (IDR) are random access points.

Syntax Syntax

aligned(8) class SyncSampleInformationBox aligned (8) class SyncSampleInformationBox

extends FullBox('ssif', version=0, 0) { extends FullBox ( 'ssif', version = 0, 0) {

int i; int i;

for (i=0; i < entry_count ; i++) { for (i = 0; i <entry_count; i ++) {

unsigned int(2) random_access_pint_idc; unsigned int (2) random_access_pint_idc;

bit(6) reserved = '111111'b; bit (6) reserved = '111111'b;

} }

} }

Semantics Semantics

version 은 박스의 버전을 지정하는 정수이다. version is an integer that specifies the version of the box.

random_access_pint_idc : random_access_pint_idc:

0은 랜덤 액세스 포인트가 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트임을 나타낸다. 0 indicates that the random access point is instantaneous decoding refresh (IDR) random access point.

1은 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트이며, 해당 점진적 디코딩 리프레시(GDR) 주기(period)내에서 격리 영역은 슬라이스 그룹 0에 의하여 커버되고, 잔여 영역은 슬라이스 그룹 1에 의하여 커버 된다는 것을 나타낸다. 1 is a random access point is a gradual decoding refresh (GDR) is a random access point, isolated within the gradual decoding refresh (GDR) cycle (period) region is covered by slice group 0, and the remaining region is covered by slice group 1 It indicates that.

2는 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트이며, 해당 점진적 디코딩 리프레시(GDR) 주기(period)내에서 격리 영역은 슬라이스 그룹 1에 의하여 커버되고, 잔여 영역은 슬라이스 그룹 0에 의하여 커버된다는 것을 나타낸다. 2 is random, and the access point is gradual decoding refresh (GDR) random access point, isolated within the gradual decoding refresh (GDR) cycle (period) region is covered by slice group 1, and the remaining region is covered by slice group 0 It indicates that.

3은 허용되지 않는다. 3 is not allowed.

본 발명의 실시에 대한 제2 실시예는 다음과 같다. The second embodiment for the practice of the present invention is as follows. 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트들(IDR 액세스 유닛들) 및 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트들(복원 포인트 SEI 메시지들을 포함하는 액세스 유닛들) 모두를 포함하는 모든 랜덤 액세스 포인트들이 싱크 샘플 박스에 표시된다. All random access points, including both instantaneous decoding refresh (IDR), random access points (IDR access units) and gradual decoding refresh (GDR) random access points (to the access unit containing recovery point SEI messages), are Sync Sample It is displayed in the box. 또한, 싱크 샘플 정보 박스는 싱크 샘플 박스에 포함되는데 다음과 같이 정의된다. In addition, the Sync Sample Information Box are contained in the Sync Sample Box is defined as follows:

Definition Definition

Box Type 'ssif' Box Type 'ssif'

Container: Sync Sample Box('stss') Container: Sync Sample Box ( 'stss')

Mandatory: No Mandatory: No

Quality: Zero or one Quality: Zero or one

이 박스는 해당 스트림 내의 랜덤 액세스 포인트들에 대한 정보를 제공한다. This box provides information of the random access points within the stream. 이러한 정보는 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 또는 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트인지를 포함한다. Such information includes whether a random access point is a gradual decoding refresh (GDR) or instantaneous decoding refresh (IDR) random access point. 만일 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 포인트라면, 정보는 점진적 디코딩 리프레시 (GDR) 주기 내에서 픽쳐들을 코딩하는 데에 슬라이스 그룹들이 적용되었는지에 대한 정보를 포함한다. If ten thousand and one random access point is gradual decoding refresh (GDR) point information includes information as to whether the slice groups are applied to code the picture in the gradual decoding refresh (GDR) period. 만일 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 픽쳐이며, 점진적 디코딩 리프레시(GDR) 주기 내에서 픽쳐들을 코딩하는데 슬라이스 그룹들이 적용되었다면, 정보는 점진적 디코딩 리프레시(GDR) 주기 내에서 어떠한 슬라이스 그룹들이 격리 영역을 커버하고 어떠한 슬라이스 그룹이 잔여 영역을 커버하였는지에 대한 정보를 포함한다. Ten thousand and one random access point is a gradual decoding refresh (GDR) picture, gradual decoding refresh (GDR) period in coding the pictures within if slice groups are applied, the information is gradual decoding refresh (GDR) period any slice group in that isolated region the cover and any slice group includes information covering the remaining area to whether. 만일 싱크 샘플 박스가 싱크 샘플 정보 박스를 포함하지 않는다면, 싱크 샘플 박스에 의하여 표시된 모든 싱크 샘플들은 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트들이다. If the sync sample box does not contain a sync sample information box, all the sync samples marked by the sync sample box are instantaneous decoding refresh (IDR) are random access points.

Syntax Syntax

aligned(8) class SyncSampleInformationBox aligned (8) class SyncSampleInformationBox

extends FullBox('ssif', version=0, 0) { extends FullBox ( 'ssif', version = 0, 0) {

int i; int i;

for (i=0; i < entry_count ; i++) { for (i = 0; i <entry_count; i ++) {

unsigned int(2) random_access_pint_idc; unsigned int (2) random_access_pint_idc;

bit(6) reserved = '111111'b; bit (6) reserved = '111111'b;

} }

} }

Semantics Semantics

version 은 박스의 버전을 지정하는 정수이다. version is an integer that specifies the version of the box.

random_access_pint_idc : random_access_pint_idc:

0은 랜덤 액세스 포인트가 순간적 디코딩 리프레시(IDR) 랜덤 액세스 포인트임을 나타낸다. 0 indicates that the random access point is instantaneous decoding refresh (IDR) random access point.

1은 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트이며, 해당 점진적 디코딩 리프레시(GDR) 주기 내에서 격리 영역은 슬라이스 그룹 0에 의하여 커버되고, 잔여 영역은 슬라이스 그룹 1에 의하여 커버된다는 것을 나타낸다. 1 indicates that the random access point is gradual decoding refresh (GDR) random access point, isolated within the gradual decoding refresh (GDR) cycle region is covered by slice group 0, and the remaining region is covered by slice group 1 .

2는 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트이며, 해당 점진적 디코딩 리프레시(GDR) 주기(period)내에서 격리 영역은 슬라이스 그룹 1에 의하여 커버되고, 잔여 영역은 슬라이스 그룹 0에 의하여 커버된다는 것을 나타낸다. 2 is random, and the access point is gradual decoding refresh (GDR) random access point, isolated within the gradual decoding refresh (GDR) cycle (period) region is covered by slice group 1, and the remaining region is covered by slice group 0 It indicates that.

3은 랜덤 액세스 포인트가 점진적 디코딩 리프레시(GDR) 랜덤 액세스 포인트이며, 해당 점진적 디코딩 리프레시(GDR) 주기 내에서 어떤 슬라이스가 격리 영역을 커버하고 어떤 슬라이스가 잔여 영역을 커버하는지가 지정되지 않았다는 것을 나타낸다. 3 is a random access point is a gradual decoding refresh (GDR) is a random access point, indicating that some slices cover the isolated region within the gradual decoding refresh (GDR) period, and has not been assigned a out which slices cover the leftover region.

본 발명에 따른 시그널링 방법들을 통하여, 모든 스위칭 포인트들이 명확하게 마킹됨으로써, 스트림 서버가 스위칭 포인트들을 찾기 위하여 각 픽쳐를 더 이상 파싱(parse)할 필요가 없도록 할 수 있다. Whereby through the signaling method according to the invention, the marking is clearly all the switching points, it is possible to avoid having to the stream server to further parsing (parse) the respective pictures in order to find the switching points. 만일 점진적 디코딩 리프레시(GDR) 스위칭 포인트들이 존재하지 않는다면, 싱크 샘플 정보 박스(싱크 샘플 박스 내에 존재)는 이용될 필요가 없다. If this does not present a gradual decoding refresh (GDR) are switching points, Sync Sample Information Box (present in the Sync Sample Box) does not need to be used.

싱크 샘플 박스의 일 실시예는 도 5에 제공되며, 싱크 샘플 정보 박스의 일 실시예는 도 6에 도시된다. One embodiment of the sync sample box is provided for example in Figure 5, one embodiment of the Sync Sample Information Box is shown in Fig.

본 발명에 따르면, 싱크 샘플 박스 내에 포함되는 싱크 샘플 정보 박스 내에서 스위칭가능한 점진적 디코딩 리프레시(GDR) 픽쳐들에 대한 정보를 제공하기 위한 스트리밍 시스템에 사용되는 컴퓨터 프로그램이 제공된다. According to the invention, in the Sync Sample Information Box that is contained in the sync sample box switchable gradual decoding refresh (GDR) computer program used in the streaming system to provide information on the picture, it is provided. 정보는 스위칭 포인트들을 포함한다. Information includes the switching points. 또한, 본 발명에 따른 컴퓨터 프로그램은, 해당 정보가 사용 가능할 경우에 격리 영역 및 잔여 영역에 관련되는 슬라이스 그룹들도 지정한다. In addition, the computer program according to the invention also specifies the slice groups that are associated to the isolated region and the leftover region, if the information is available. 이와 같은 컴퓨터 프로그램은 도 7에 도시된 바와 같이 부재 번호 16으로 표시된다. Such a computer program is denoted by reference numeral 16 as shown in FIG. 컴퓨터 프로그램(16)은 비디오 코더(14)의 일부를 구성하는데, 비디오 코더(14)는 인코딩된 비디오 입력 신호 및 점진적 디코딩 리프레시(GDR) 관련된 정보를 멀티-스트림 트랜스코더/발생기(12)로 제공한다. Providing a stream transcoder / generator (12) - computer program (16) is a video coder 14, to form part of a video coder 14 is the encoded video input signal and a gradual decoding refresh (GDR) information related to multi- do. 스트리밍 서버(20)는 네트워크(60)의 동적 네트워크 조건에 기반하여 인코딩된 스트림들 중 송신할 하나를 선택할 수 있다. Streaming server 20 may select one to be sent of the encoded stream based on the dynamic network conditions in the network (60). 만일 스트리밍 서버(20) 및 스트리밍 클라이언트 장치(40) 간의 단-대-단 송신 특성이 변경된다면, 스트리밍 서버(20)는, 싱크 샘플 정보 박스 내에 제공된 점진적 디코딩 리프레시(GDR) 관련 정보에 따라서 스트리밍 서버가 다른 인코딩된 스트림을 선택하는 스트림 스위칭을 개시한다. Ten thousand and one streaming server (20) only between the stream and the client device 40 - to - if the change is only the transmission characteristics, the streaming server 20, provided in the Sync Sample Information Box according to gradual decoding refresh (GDR) information streaming server It discloses a stream switching to select a different encoded stream. 또는, 스트리밍 클라이언트 장치(40)는, 스트리밍 클라이언트 장치(40)가 네트워크(60)의 송신 조건에 변화를 감지할 경우 상이한 송신된 스트림을 요청하는 요청 신호를 스트리밍 서버(20)로 전송할 수 있다. Alternatively, the streaming client device 40 may send a request signal to the streaming client device 40 requesting a different transmitted stream if it detects a change in the transmission conditions in the network 60 to the streaming server 20.

본 발명에 따른 점진적 디코딩 리프레시(GDR) 시그널링 방법은 실시간 전송 프로토콜(RTP)을 이용하는 비디오 데이터 송신에 사용될 수 있으며, 세션 기술 프 로토콜(SDP)은 스트림 스위칭 동안에 비트스트림의 특징들을 나타내는 정보를 전달하는데 사용될 수 있다. Gradual decoding refresh (GDR) signaling method according to the present invention can be used in video data transmission using Real-time Transport Protocol (RTP), Session Description Protocol (SDP) is to convey information indicative of characteristics of the bit stream while the stream switching It can be used. 공지된 바와 같이, 실시간 전송 프로토콜(RTP)은 오디오, 비디오, 또는 시물레이션 데이터와 같은 실시간 데이터를 멀티캐스트 또는 유니캐스트 네트워크 서비스를 통하여 송신하는 어플리케이션에 적합한 단-대-단 네트워크 전송 기능들을 제공한다. It provides end network transport functions - as is well known, real-time transport protocol (RTP) is only suitable for real-time data, such as audio, video or simulation data to the application to be transmitted via multicast or unicast network services-to. 실시간 전송 프로토콜(RTP)은 자원 예약(resource reservation) 기능을 요청하지 않으며, 실시간 서비스들의 서비스 품질을 보장하지 않는다. Real-time Transport Protocol (RTP) does not request a resource reservation (resource reservation) function does not guarantee the quality of service of real-time services. 데이터 전송은 제어 프로토콜(RTCP)에 의하여 증대됨으로써(augmented) 커다란 멀티캐스트 네트워크들로 스케일링될 수 있는(scalable) 방식으로 데이터 전달의 모니터링을 허용하고 최소의 제어 및 식별 기능을 제공한다. Data transfer should allow monitoring of the data transmitted to increase by being (augmented) (scalable) system that can be scaled with a large multicast networks by a control protocol (RTCP) and provides a minimum of control and identification functionality. 실시간 전송 프로토콜(RTP) 및 실시간 전송 제어 프로토콜(RTCP)은 하위의 전송 및 네트워크 계층으로부터 독립적으로 동작되도록 설계된다. Real-time Transport Protocol (RTP) and Real-time Transport Control Protocol (RTCP) are designed to operate independently from the transport and network layers of the child. 이러한 프로토콜은 실시간 전송 프로토콜(RTP)-계층의 변환기(translators) 및 믹서들을 사용할 수 있도록 허용한다. It allows to use a converter layer (translators) and the mixer - this protocol is Real-time Transport Protocol (RTP). 세션 기술 프로토콜(SDP)은 세션 공지(session announcement), 세션 초대(session invitation), 및 다른 형태의 멀티미디어 세션 개시(session initiation) 등의 목적들을 위한 멀티미디어 세션들을 기술하기 위한 목적을 가진다. Session Description Protocol (SDP) has the purpose to describe multimedia sessions for the purpose of session announcements (announcement session), session invitation (invitation session), and a multimedia session initiation of other forms (session initiation). 예를 들어, 세션 기술 프로토콜(SDP)은 비트스트림에 다른 비트레이트들로서 사용 가능한 것들에는 어떤 것이 있는지를 클라이언트에 통보하기 위하여 서버에 의하여 사용될 수 있다. For example, the Session Description Protocol (SDP) are those available as different bit rates, the bit stream may be used by the server to notify the client what the would.

본 발명에 따른 점진적 디코딩 리프레시(GDR) 시그널링 방법은, 조인트 비디오 팀(JVT, Joint Video Team)에 의하여 개발된 비디오 코딩 표준인 ITU-T H.264(MPEG-4 Part 10 또는 개선된 비디오 코딩(AVC)이라고도 알려졌다)에 적용될 수 있다. Gradual decoding refresh (GDR) signaling method according to the invention, the joint video team (JVT, Joint Video Team) in the video coding standard ITU-T H.264 (MPEG-4 Part 10 advanced video coding or developed by ( It can be applied to a known, also known as AVC)). 그러나, 본 발명은 전술된 바와 같은 개선된 비디오 코딩(AVC) 표준에만 적용될 수 있는 것은 아니다. However, the present invention is not to be applied only to an improved video coding (AVC) standards as described above. 본 발명은 다른 비디오 코딩 표준들 및 장치들에도 적용될 수 있다. The present invention can be applied to other video coding standards and devices. 예를 들어, H.263 및 MPEG-4 Part 2와 같은, 슬라이스들의 코딩을 지원하는 비디오 코딩 표준들에서, 격리 영역은 점진적 디코딩 리프레시(GDR) 픽쳐 내의 매크로블록들 중 첫 번째 행(row)을 커버할 수 있으며, 다른 열에 존재하는 모든 매크로블록들은 잔여 영역에 의하여 커버될 수 있다. For example, the H.263 and MPEG-4 in, the video coding standards that support coding of slices, such as the Part 2, the isolated region is the first of the macroblock in a gradual decoding refresh (GDR) picture line (row) It can be covered, and all macroblocks existing in different columns can be covered by the leftover region. 격리 영역은, 복원 포인트 픽쳐 내의 모든 픽쳐 영역을 전부 커버할 때까지 1행 당 1매크로블록의 속도로써 후속 픽쳐들에서 증가된다(이와 동일한 속도로 잔여 영역은 감소한다). Isolation region is increased in the subsequent pictures as a first speed of one macroblock per row until all of covering all the picture area in the recovery point picture (the remaining area is reduced to this same speed). 점진적 디코딩 리프레시(GDR) 주기 내의 픽쳐 각각의 격리 영역은 하나 또는 그 이상의 슬라이스들로서 코딩될 수 있다. Gradual decoding refresh (GDR) each picture in the period the isolated region can be coded as one or more slices. 전술된 바와 같은 격리 영역의 코딩 제한은 인코딩 과정에도 역시 적용된다. Coding limitations of the isolated region as described above is in the encoding process is also applicable. 이와 같은 경우 또는 다른 유사한 경우에서, 본 발명에 따른 점진적 디코딩 리프레시(GDR) 시그널링 방법은 적용될 수 있다. In this case, or in other similar cases, the gradual decoding refresh (GDR) signaling method according to the present invention can be applied.

그러므로, 비록 본 발명이 관련된 바람직한 실시예에 대하여 설명되었으나, 전술된 바와 같은 변경, 또는 이와 다른 변경, 형식 및 세부적 삭제 및 변경이 본 발명의 기술적 사상을 벗어나지 않는 범위에서 이루어질 수 있다는 점이 당업자에게는 명확할 것이다. Therefore, even been described with respect to preferred embodiments are related to the present invention, the clear to change, or in another alternative, dots that form and detail, deletions, and changes can be made within the scope and spirit of the present invention, those skilled in the art as described above something to do.

본 발명은 일반적으로 비디오 스트리밍, 특히, 변화하는 송신 조건에 따른 스트림 적응화(stream adaptation)에 적용될 수 있다. The present invention generally can be applied to the video stream, in particular, adaptation stream (stream adaptation) according to the transmission to changing conditions.

또한, 본 발명은 비디오 스트리밍 또는 주문형 비디오(video-on-demand) 서 비스에서, 동적인 네트워크 조건들 때문에, 서버 및 클라이언트 간의 단-대-단 통신 특성은 자주 변경되는 경우에 스트리밍 세션의 연속성을 유지하고, 서비스 품질(Quality of Service)을 최대화하기 위하여, 서버는 송신된 스트림을 변화되는 송신 조건들에 적응시키는 스트림 적응화(stream adaptation)에 적용될 수 있다. The present invention is in the video streaming or video-on-demand (video-on-demand) service, because of the dynamic network conditions, a server and a short between the client - the continuity of the streaming session in the case where only the communication characteristics are frequently changed-to maintain, in order to maximize the quality of service (quality of service), the server may be applied to stream adaptation (stream adaptation) to adapt to the transmission conditions that change the transmitted stream.

Claims (24)

  1. 복수 개의 비트스트림 간의 스트림 스위칭에 사용되는 시그널링 방법으로서, A signaling method for use in stream switching among a plurality of bitstreams,
    상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐(correct or approximately correct picture)를 정의하는 적어도 하나의 복원 포인트(recovery point)를 포함하는 시그널링 방법에 있어서, And the bit stream containing video data representing a plurality of video frames for each bitstream, wherein the bitstream is a switching to the second bit stream from the first bitstream at said switching point, by including at least one switching point acceptable, and wherein the bit stream comprises at least one recovery point which defines a first correct picture or approximately correct picture (correct or approximately correct picture) in output order in the second bitstream decoded subsequent to said stream switching (recovery point ) according to a signaling method that includes,
    상기 스트림 스위칭이 수행될 수 있도록, 상기 비트스트림에 관련하여 적어도 하나의 상기 스위칭 포인트에 대한 정보를 제공하는 단계를 포함하며, So that said stream switching can be carried out, and with respect to the bit stream comprising the step of providing information about at least one of the switching point,
    상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 하는 시그널링 방법. The switching point is different from the signaling method characterized in that the recovery point.
  2. 제1항에 있어서, According to claim 1,
    비디오 프레임 각각은 하나 또는 그 이상의 슬라이스(slice)를 포함하고, Each video frame comprises one or more slice (slice),
    상기 비디오 프레임들은, 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 상기 하나 또는 그 이상의 슬라이스에 관련된 적어도 하나의 격리 영역(isolated region)을 포함하며, The video frames, subsequent to said stream switching, and includes the one or at least one isolation region (isolated region) associated with more slices in the decoded second bit stream,
    제공된 상기 정보는 상기 격리 영역을 더 나타내는 것을 특징으로 하는 시그널링 방법. It provided the information signaling method characterized in that further represents the isolation region.
  3. 제1항에 있어서, According to claim 1,
    상기 비트스트림은 스트리밍 네트워크에서 서버 장치로부터 클라이언트 장치로 전달되고, The bit stream is transmitted in a streaming network from the server device to the client device,
    상기 스트림 스위칭은 상기 서버 장치에 의하여 개시되는 것을 특징으로 하는 시그널링 방법. The stream switching signaling is characterized in that the initiated by the server device.
  4. 제1항에 있어서, According to claim 1,
    상기 비트스트림은 스트리밍 네트워크에서 서버 장치로부터 클라이언트 장치로 전달되고, The bit stream is transmitted in a streaming network from the server device to the client device,
    상기 스트림 스위칭은 상기 클라이언트 장치에 의하여 요청되는 것을 특징으로 하는 시그널링 방법. The stream switching signaling is characterized in that the request by the client device.
  5. 제1항에 있어서, 상기 시그널링 방법은, The method of claim 1 wherein said signaling method comprising:
    실시간 전송 프로토콜(RTP, Real-time Transport Protocol)을 이용하는 송신에 사용되는 것을 특징으로 하는 시그널링 방법. Signaling method characterized in that used for the transmission using a real-time transport protocol (RTP, Real-time Transport Protocol).
  6. 제5항에 있어서, 6. The method of claim 5,
    상기 제1 및 제2 비트스트림들의 특징을 표시하는 정보를 전달하기 위하여 세션 기술 프로토콜(SDP, Session Description Protocol)이 사용되는 것을 특징으로 하는 시그널링 방법. Signaling wherein the session description protocol (SDP, Session Description Protocol) is used to convey information indicative of characteristics of the first and second bitstreams.
  7. 제1항에 있어서, 상기 스트림 스위칭은, According to claim 1, wherein said stream switching,
    스트리밍 네트워크에서 서버 장치 및 클라이언트 장치 간의 송신 조건(transmission condition)에 기반한 비디오 데이터의 송신에서 수행되는 것을 특징으로 하는 시그널링 방법. A server device and a client device in a streaming network transmission conditions between the signaling method, characterized in that is carried out in transmission of the video data based on (transmission condition).
  8. 복수 개의 비트스트림 간의 스트림 스위칭에 사용되는 스트리밍 서버 장치로서, A streaming server device for use in stream switching among a plurality of bitstreams,
    상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함하는 스트리밍 서버 장치에 있어서, And the bit stream containing video data representing a plurality of video frames for each bitstream, wherein the bitstream is a switching to the second bit stream from the first bitstream at said switching point, by including at least one switching point acceptable, and wherein the bit stream according to a streaming server apparatus that includes at least one recovery point which defines a first correct or approximately correct picture picture in output order in the second bitstream decoded subsequent to said stream switching,
    송신할 상기 제1 비트스트림을 선택하기 위한 스트림 선택기(stream selector) 및 A stream selector for selecting the first bitstream to be sent (stream selector) and
    상기 스트림 선택기가 상기 스위칭 포인트에 기반한 송신을 위한 제2 비트스트림을 선택하도록, 상기 비트스트림에 관련하여 적어도 하나의 상기 스위칭 포인트에 대한 정보를 제공하기 위한 수단을 포함하며, Wherein said stream selector comprises means for providing information about the claim with respect to the bitstream, so as to select the second bitstream at least one of the switching points for the transmission based on the switching point,
    상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 하는 스트리밍 서버 장치. The switching point is a streaming server, wherein the recovery point is different.
  9. 제8항에 있어서, The method of claim 8,
    비디오 프레임 각각은 하나 또는 그 이상의 슬라이스(slice)를 포함하고, Each video frame comprises one or more slice (slice),
    상기 비디오 프레임들은, 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 상기 하나 또는 그 이상의 슬라이스에 관련된 적어도 하나의 격리 영역을 포함하며, The video frames, and subsequent to said stream switching comprising at least one isolated region associated with said one or more slices in the decoded second bit stream,
    제공된 상기 정보는 상기 격리 영역을 더 나타내는 것을 특징으로 하는 스트리밍 서버 장치. The information is provided a streaming server device, characterized in that further represents the isolation region.
  10. 제8항에 있어서, The method of claim 8,
    제공된 상기 정보는 실시간 전송 프로토콜(RTP)을 이용하는 데이터 송신에 사용되는 것을 특징으로 하는 스트리밍 서버 장치. The information is provided a streaming server device characterized in that is used in data transmission utilizing Real-time Transport Protocol (RTP).
  11. 제10항에 있어서, 11. The method of claim 10,
    상기 제1 및 제2 비트스트림들의 특징을 표시하는 정보를 전달하기 위하여 세션 기술 프로토콜(SDP)이 사용되는 것을 특징으로 하는 스트리밍 서버 장치. The streaming server and wherein the session description protocol (SDP) is used to convey information indicative of characteristics of the first and second bitstreams.
  12. 제8항에 있어서, 상기 스트림 선택기는, The method of claim 8, wherein said stream selector,
    스트리밍 네트워크에서 스트리밍 서버 장치 및 클라이언트 장치 간의 송신 조건에 기반한 스트림 스위칭을 위하여 상기 제2 비트스트림을 선택하는 것을 특징으로 하는 스트리밍 서버 장치. For stream switching based on transmission conditions between the streaming server device and a client device in a streaming network, the streaming server, and wherein the selecting the second bit stream.
  13. 복수 개의 비트스트림 간의 스트림 스위칭을 수행할 수 있는 스트리밍 시스템으로서, A streaming system capable of performing the stream switching among a plurality of bitstreams,
    상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함하는 스트리밍 시스템에 있어서, And the bit stream containing video data representing a plurality of video frames for each bitstream, wherein the bitstream is a switching to the second bit stream from the first bitstream at said switching point, by including at least one switching point acceptable, and wherein the bit stream in the streaming system comprising at least one recovery point which defines a first correct or approximately correct picture picture in output order in the second bitstream decoded subsequent to said stream switching,
    적어도 하나의 스트리밍 클라이언트 및 At least one client and a streaming
    송신된 비트스트림에 기반하여 상기 스트리밍 클라이언트가 상기 비디오 프레임들을 재구성(reconstruct)하도록, 비트스트림들 중 하나를 상기 스트리밍 클라이언트로 송신하기 위한 적어도 하나의 스트리밍 서버를 포함하며, 상기 스트리밍 서버는, Comprising at least one streaming server for transmitting one of a bit stream to the streaming client is reconstructed (reconstruct) of the video frame on the basis of the transmitted bit stream to the streaming client, the streaming server comprises:
    송신할 제1 비트스트림을 선택하고, 제2 비트스트림을 더 선택하기 위한 스트림 선택기 및 Selecting a first bit stream to be transmitted, and a stream selector for selecting the second bit stream, and more
    상기 스트림 선택기가 상기 스위칭 포인트에 기반하여 상기 제2 비트스트림을 선택하도록, 상기 비트스트림에 관련하여 적어도 하나의 상기 스위칭 포인트에 대한 정보를 제공하기 위한 수단을 포함하며, The stream selector, and on the basis of the switching point comprising means for providing information for said second bitstream at least one of the switching point with respect to the bitstream, so as to select,
    상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 하는 스트리밍 시스템. The switching point is different from the streaming system, characterized in that the recovery point.
  14. 제13항에 있어서, 14. The method of claim 13,
    비디오 프레임 각각은 하나 또는 그 이상의 슬라이스를 포함하고, Each video frame comprises one or more slices,
    상기 비디오 프레임들은, 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 상기 하나 또는 그 이상의 슬라이스에 관련된 적어도 하나의 격리 영역을 포함하며, The video frames, and subsequent to said stream switching comprising at least one isolated region associated with said one or more slices in the decoded second bit stream,
    제공된 상기 정보는 상기 격리 영역을 더 나타내는 것을 특징으로 하는 스트리밍 시스템. Wherein the information stream, characterized in that the system further illustrating the isolation region is provided.
  15. 제13항에 있어서, 14. The method of claim 13,
    상기 스트림 스위칭은 상기 스트리밍 서버에 의하여 개시되는 것을 특징으로 하는 스트리밍 시스템. The stream switching is streaming system characterized in that the initiated by the streaming server.
  16. 제13항에 있어서, 14. The method of claim 13,
    상기 스트림 스위칭은 상기 스트리밍 클라이언트에 의하여 요청되는 것을 특징으로 하는 스트리밍 시스템. The stream switching is streaming system characterized in that the request by the streaming client.
  17. 제13항에 있어서, 상기 제공된 정보는, 14. The method of claim 13, wherein the information is provided,
    실시간 전송 프로토콜(RTP)을 이용하는 데이터 송신에 사용되는 것을 특징으로 하는 스트리밍 시스템. Streaming system, characterized in that used for data transmission utilizing Real-time Transport Protocol (RTP).
  18. 제17항에 있어서, 18. The method of claim 17,
    상기 제1 및 제2 비트스트림들의 특징을 표시하는 정보를 전달하기 위하여 세션 기술 프로토콜(SDP)이 사용되는 것을 특징으로 하는 스트리밍 시스템. Streaming system, characterized in that the session description protocol (SDP) is used to convey information indicative of characteristics of the first and second bitstreams.
  19. 제13항에 있어서, 상기 스트림 선택기는, The method of claim 13, wherein said stream selector,
    상기 스트리밍 서버 및 상기 스트리밍 클라이언트 간의 송신 조건에 기반한 스트림 스위칭을 위한 제2 비트스트림을 선택하는 것을 특징으로 하는 스트리밍 시스템. Streaming system, characterized in that to select the second bitstream for stream switching based on transmission conditions between the streaming server and the streaming client.
  20. 제13항에 있어서, 14. The method of claim 13,
    비디오 입력 신호를 비디오 데이터로 변환하기 위한 비디오 인코더(video encoder) 및 A video encoder for converting an input video signal into a video data (video encoder) and
    상기 비디오 데이터에 응답하여 상기 비디오 데이터를 복수 개의 비트스트림으로 인코딩하기 위한 수단을 더 포함하는 것을 특징으로 하는 스트리밍 시스템. Streaming system characterized by, in response to the video data, further comprising: means for encoding the video data into a plurality of bit streams.
  21. 복수 개의 비트스트림 간의 스트림 스위칭을 수행할 수 있는 스트리밍 시스템에서 사용되는 소프트웨어 프로그램을 저장하는 컴퓨터에 의하여 독출가능한 매체로서, A medium readable by a computer that stores the software program that is used in the streaming system capable of performing the stream switching among a plurality of bitstreams,
    상기 비트스트림은 비트스트림 각각에 대한 복수 개의 비디오 프레임을 나타내는 비디오 데이터를 포함하며, 상기 비트스트림은 적어도 하나의 스위칭 포인트를 포함함으로써 상기 스위칭 포인트에서 제1 비트스트림으로부터 제2 비트스트림으로의 스위칭을 허용하고, 상기 비트스트림은 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 출력 순서로 제1 정확한 픽쳐 또는 거의 정확한 픽쳐를 정의하는 적어도 하나의 복원 포인트를 포함하는 소프트웨어 프로그램에 있어서, And the bit stream containing video data representing a plurality of video frames for each bitstream, wherein the bitstream is a switching to the second bit stream from the first bitstream at said switching point, by including at least one switching point acceptable, and wherein the bit stream according to a software program including at least one recovery point which defines a first correct or approximately correct picture picture in output order in the second bitstream decoded subsequent to said stream switching,
    상기 스위칭 포인트를 결정하기 위한 코드 및 And code for determining said switching point
    상기 비트스트림에 관련되어 제공된 정보 내에 상기 스위칭 포인트를 지시하여, 스트리밍 서버로 하여금 상기 스트림 스위칭을 수행하도록 하는 코드를 포함하며, Instruct the switching point causing a streaming server in the information provided in relation to the bit-stream includes a code for performing the stream switching,
    상기 스위칭 포인트는 상기 복원 포인트와 상이한 것을 특징으로 하는 소프트웨어 프로그램을 저장하는 컴퓨터에 의하여 독출가능한 매체. The switching point is read out by a computer readable medium for storing a software program, characterized in that differs from the recovery point.
  22. 제21항에 있어서, 22. The method of claim 21,
    비디오 프레임 각각은 하나 또는 그 이상의 슬라이스를 포함하고, Each video frame comprises one or more slices,
    상기 비디오 프레임들은, 상기 스트림 스위칭에 후속하여 디코딩된 상기 제2 비트스트림 내의 상기 하나 또는 그 이상의 슬라이스에 관련된 적어도 하나의 격리 영역을 포함하며, The video frames, and subsequent to said stream switching comprising at least one isolated region associated with said one or more slices in the decoded second bit stream,
    제공된 상기 정보는 상기 격리 영역을 더 나타내는 것을 특징으로 하는 소프트웨어 프로그램을 저장하는 컴퓨터에 의하여 독출가능한 매체. The information provided by a computer readable medium for storing a software program, characterized in that further represents the isolation region.
  23. 제21항에 있어서, 제공된 상기 정보는, The method of claim 21, wherein the information is provided,
    실시간 전송 프로토콜(RTP)을 이용하는 데이터 송신에 사용되는 것을 특징으로 하는 소프트웨어 프로그램을 저장하는 컴퓨터에 의하여 독출가능한 매체. -Readable medium by a computer that stores the software program, characterized in that used for data transmission utilizing Real-time Transport Protocol (RTP).
  24. 제23항에 있어서, 24. The method of claim 23,
    상기 제1 및 제2 비트스트림들의 특징을 표시하는 정보를 전달하기 위하여 세션 기술 프로토콜(SDP)이 사용되는 것을 특징으로 하는 소프트웨어 프로그램을 저장하는 컴퓨터에 의하여 독출가능한 매체. The first and second to transmit the information indicating the characteristics of the bitstream Session Description Protocol (SDP) read out by a computer that stores the software program, characterized in that the available media.
KR20057024300A 2003-06-19 2003-07-11 Stream switching based on gradual decoder refresh KR100734408B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/601,320 US20040260827A1 (en) 2003-06-19 2003-06-19 Stream switching based on gradual decoder refresh
US10/601,320 2003-06-19

Publications (2)

Publication Number Publication Date
KR20060024425A KR20060024425A (en) 2006-03-16
KR100734408B1 true KR100734408B1 (en) 2007-07-03

Family

ID=33517947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057024300A KR100734408B1 (en) 2003-06-19 2003-07-11 Stream switching based on gradual decoder refresh

Country Status (12)

Country Link
US (2) US20040260827A1 (en)
EP (1) EP1639804A4 (en)
JP (2) JP2006527927A (en)
KR (1) KR100734408B1 (en)
CN (1) CN100414956C (en)
AU (1) AU2003246988B2 (en)
BR (1) BR0318357A (en)
CA (1) CA2529889C (en)
MX (1) MXPA05013542A (en)
MY (1) MY140364A (en)
RU (1) RU2328086C2 (en)
WO (1) WO2004112374A1 (en)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
JP4789401B2 (en) * 2003-06-25 2011-10-12 トヨタ自動車株式会社 Content distribution system
US7522667B2 (en) * 2005-02-24 2009-04-21 Freescale Semiconductor, Inc. Method and apparatus for dynamic determination of frames required to build a complete picture in an MPEG video stream
US20060242669A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Display node for use in an audiovisual signal routing and distribution system
US8606949B2 (en) 2005-04-20 2013-12-10 Jupiter Systems Interconnection mechanism for multiple data streams
EP1758400A3 (en) * 2005-08-25 2008-07-30 Samsung Electronics Co.,Ltd. Mobile communication terminal and method for reproducing digital broadcasting
US8670437B2 (en) 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
BRPI0617728A2 (en) * 2005-10-11 2011-08-02 Nokia Corp method for enabling scalable low to high layer switching in a continuous stream of video bits; computer program product to enable low to high resizable layer switching in a continuous stream of video bits; electronic device; and element of a continuously streaming packet information system
US20070168534A1 (en) * 2005-12-16 2007-07-19 Nokia Corp. Codec and session parameter change
US7826536B2 (en) * 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
KR20090039682A (en) * 2006-06-19 2009-04-22 텔레폰악티에볼라겟엘엠에릭슨(펍) Media channel management
CA2668670C (en) 2006-11-14 2013-04-30 Qualcomm Incorporated Systems and methods for channel switching
EP2098077A2 (en) 2006-11-15 2009-09-09 QUALCOMM Incorporated Systems and methods for applications using channel switch frames
KR101766479B1 (en) 2007-04-12 2017-10-23 돌비 인터네셔널 에이비 Tiling in video encoding and decoding
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US8396082B2 (en) * 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
CN101321284B (en) 2007-06-10 2012-01-04 华为技术有限公司 Encoding/decoding method, equipment and system
US7987285B2 (en) 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
CN101755455A (en) * 2007-07-30 2010-06-23 日本电气株式会社 Connection terminal, distribution system, conversion method, and program
WO2009017084A1 (en) * 2007-07-30 2009-02-05 Nec Corporation Conversion device, distribution system, distribution method, and program
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7949775B2 (en) 2008-05-30 2011-05-24 Microsoft Corporation Stream selection for enhanced media streaming
WO2010000288A1 (en) * 2008-07-03 2010-01-07 Telefonaktiebolaget Lm Ericsson (Publ) Fast channel switching in tv broadcast systems
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
RU2689191C2 (en) 2009-01-26 2019-05-24 Томсон Лайсенсинг Packaging frames for encoding video
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
CN102742282B (en) 2010-01-29 2017-09-08 汤姆逊许可证公司 It is block-based to interlock
US9078031B2 (en) * 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
KR101744977B1 (en) * 2010-10-08 2017-06-08 삼성전자주식회사 Method for guranteeing quality of service in a multimedia streaming service
US8964056B2 (en) 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
LT3267681T (en) * 2011-07-02 2018-12-10 Samsung Electronics Co., Ltd. Apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data
CN107743232A (en) * 2012-06-25 2018-02-27 日本电气株式会社 Video decoding apparatus and video encoding/decoding method
EP2680527A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
EP2868107A2 (en) * 2012-06-28 2015-05-06 Axis AB System and method for encoding video content using virtual intra-frames
JP6045222B2 (en) * 2012-06-28 2016-12-14 株式会社Nttドコモ Moving picture predictive decoding apparatus, method and program
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US9571847B2 (en) * 2013-01-07 2017-02-14 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015053525A1 (en) * 2013-10-11 2015-04-16 한국전자통신연구원 Method for encoding/decoding image and device using same
US10142638B2 (en) 2013-10-11 2018-11-27 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
JP2016005043A (en) * 2014-06-13 2016-01-12 株式会社リコー Information processing device and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010056374A (en) * 1999-12-15 2001-07-04 박종섭 Multiple video decoding apparatus

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070110B2 (en) * 1991-02-27 2000-07-24 日本電気株式会社 Transmission system of the moving image signal
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
US6473903B2 (en) * 1996-12-30 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for implementing interactive broadcast programs and commercials
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
US7046910B2 (en) * 1998-11-20 2006-05-16 General Instrument Corporation Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
US20020016969A1 (en) * 2000-02-03 2002-02-07 International Business Machines Corporation Media on demand system and method
US6925097B2 (en) * 2000-03-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Decoder, decoding method, multiplexer, and multiplexing method
US7051337B2 (en) * 2000-04-08 2006-05-23 Sun Microsystems, Inc. Method and apparatus for polling multiple sockets with a single thread and handling events received at the sockets with a pool of threads
WO2002071640A1 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for encoding and decoding redundant motion vectors in compressed video bitstreams
JP3788260B2 (en) * 2001-04-09 2006-06-21 日本電気株式会社 Distribution system, distribution method thereof, and distribution program
US6940904B2 (en) * 2001-05-29 2005-09-06 Broadcom Corporation Artifact-free displaying of MPEG-2 video in the progressive-refresh mode
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
JP2005533444A (en) * 2002-07-16 2005-11-04 ノキア コーポレイション The method for random access and gradual image update in the image coding
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010056374A (en) * 1999-12-15 2001-07-04 박종섭 Multiple video decoding apparatus

Also Published As

Publication number Publication date
CN100414956C (en) 2008-08-27
MXPA05013542A (en) 2006-03-09
CA2529889A1 (en) 2004-12-23
WO2004112374A1 (en) 2004-12-23
EP1639804A4 (en) 2009-08-26
US7552227B2 (en) 2009-06-23
US20040260827A1 (en) 2004-12-23
CN1820494A (en) 2006-08-16
BR0318357A (en) 2006-07-25
JP2009105970A (en) 2009-05-14
RU2006101400A (en) 2006-06-10
KR20060024425A (en) 2006-03-16
US20050021814A1 (en) 2005-01-27
JP2006527927A (en) 2006-12-07
RU2328086C2 (en) 2008-06-27
CA2529889C (en) 2010-09-28
AU2003246988B2 (en) 2009-11-19
MY140364A (en) 2009-12-31
EP1639804A1 (en) 2006-03-29
AU2003246988A1 (en) 2005-01-04

Similar Documents

Publication Publication Date Title
Zhu RTP payload format for H. 263 video streams
EP2604014B1 (en) Media representation groups for network streaming of coded video data
US9131033B2 (en) Providing sequence data sets for streaming video data
EP2695326B1 (en) Ip broadcast streaming services distribution using file delivery methods
US8773494B2 (en) Techniques for managing visual compositions for a multimedia conference call
CN101998123B (en) System and method for efficient scalable stream adaptation
KR101029854B1 (en) Backward-compatible aggregation of pictures in scalable video coding
CN101578884B (en) System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
RU2518383C2 (en) Method and device for reordering and multiplexing multimedia packets from multimedia streams belonging to interrelated sessions
KR101607225B1 (en) Network streaming of media data
TWI458340B (en) Signaling data for multiplexing video components
US7610605B2 (en) Method and apparatus for conversion and distribution of data utilizing trick-play requests and meta-data information
JP5964972B2 (en) Stream multimedia data from multiple sources
CN1973545B (en) Multiple interoperability points for scalable media coding and transmission
JP5363473B2 (en) Method and apparatus for improved media session management
US20050135476A1 (en) Streaming multimedia data over a network having a variable bandwith
US20080196061A1 (en) Method and Apparatus for Channel Change in Dsl System
ES2579630T3 (en) Provision of sub-track fragments for transport in video data stream
JP4965059B2 (en) Switching video streams
US8831039B2 (en) Time-interleaved simulcast for tune-in reduction
US8918533B2 (en) Video switching for streaming video data
KR20100030648A (en) System and method for indicating temporal layer switching points
US20070183494A1 (en) Buffering of decoded reference pictures
RU2697741C2 (en) System and method of providing instructions on outputting frames during video coding
US10135952B2 (en) Method and corresponding device for streaming video data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140605

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13