KR100664452B1 - 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치 - Google Patents

코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치 Download PDF

Info

Publication number
KR100664452B1
KR100664452B1 KR1019997009016A KR19997009016A KR100664452B1 KR 100664452 B1 KR100664452 B1 KR 100664452B1 KR 1019997009016 A KR1019997009016 A KR 1019997009016A KR 19997009016 A KR19997009016 A KR 19997009016A KR 100664452 B1 KR100664452 B1 KR 100664452B1
Authority
KR
South Korea
Prior art keywords
bit rate
sequence
vbv
picture
value
Prior art date
Application number
KR1019997009016A
Other languages
English (en)
Other versions
KR20010005939A (ko
Inventor
마틴프랑스와즈
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26151561&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100664452(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010005939A publication Critical patent/KR20010005939A/ko
Application granted granted Critical
Publication of KR100664452B1 publication Critical patent/KR100664452B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Abstract

본 발명은 비디오 디코더에서, 제 2 비트 레이트가 제 1 비트 레이트보다 작을 때, 제 1 코딩된 비디오 시퀀스에서 제 2 코딩된 비디오 시퀀스로 스위칭하는 방법에 관한 것이다. 만일, 디코딩되어야 할 제 2 시퀀스의 제 1 전송된 화상의 제 1 비트에 의해 디코더의 버퍼에서 소모된 시간(즉, vbv_지연이라고 함)이 제 1 시퀀스의 제 1 대체된 화상의 제 1 비트에 대한 유사한 기간 보다 크다면, 따라서 컴패터블(compatible)하지 않는 경우, vbv_지연의 컴패터빌러티(compatibility)를 얻기 위해, 상기 제 1 전송된 화상의 비트 레이트에 증대된 값을 제공함으로써 감소된다. 비트 레이트들에 대한 제한된 대역폭의 경우에, 이러한 감소 동작은 필요한 수의 후속 화상들에 대해 연속적으로 반복된다.
지연, 시퀀스, 스위칭, 비트 레이트

Description

코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치{Method of switching of coded video sequences and corresponding device}
본 발명은, 디코딩될 화상들을 수신하기 위한 버퍼를 구비한 비디오 디코더에 있어서, 디코딩전에, 비트 레이트 Rold에서의 제 1 코딩된 화상 시퀀스에서 보다 낮은 비트 레이트 Rnew에서의 제 2 코딩된 화상 시퀀스로 스위칭하는 방법 및 상기 스위칭 방법을 구현하기 위한, 이에 대응하는 장치에 관한 것이다.
예를 들면, 문헌 "MPEG video coding : a basic tutorial introduction", BBC report RD 1996/3에 기재되어 있는 바와 같이, MPEG 타입의 압축된 비디오 시퀀스는 화상들의 그룹들(groups of pictures)(또는 GOPs)로 세분되며, 이들은 다른 타입들의 코딩된 화상들(GOP의 예는 도 1에 기술된다)을 포함한다. 즉,
- 다른 화상들을 참조하지 않고 코딩된 인트라-코딩된 화상들(I-화상들)
- 과거의 화상을 참조하는 예측을 사용하여 코딩된 예측-코딩된 화상들(P-화상들)
- 과거 및/또는 미래의 화상을 참조하는 예측을 사용하여 코딩된 양방향 예측-코딩된 화상들(B-화상들)(화살표들은 각 P-화상 또는 B-화상에 대한 각각의 참조 화상을 나타냄).
다른 타입들의 예측에 따라, 화상들은 다소 효율적으로 코딩되고, 그것에 의해 얻어진 비트 수는 일정하지 않다. 더욱이, MPEG 사양에 따라, 화상이 각 화상의 주기 Tv마다 순간적으로 디코딩될 것으로 가정하면, 코딩된 화상들의 제 1 비트는 디코더의 버퍼에서 동일한 시간을 소모하지 않는다. 즉, MPEG 신택스에서 규정된 이 가변 시간은 vbv_지연(vbv=video buffering verifier)으로 불린다. 일정한 비트 레이트로 코딩되며, 화상이 각 화상 주기 Tv마다 순간적으로 디코딩되는 스트림에 대한 디코더의 버퍼 충만도(fullness)의 예가 각각의 vbv_지연들(vbv(I0), vbv(I1), ..., vbv(I4),...등)을 갖는 연속 화상들 I0 내지 I4에 대해 도 2(시간 t에 대한 디코더의 버퍼 충만도S(t))에 도시된다. 화상에 대한 비트 레이트는 경사에 의해 주어지며, 충만도(또는 디코더의 버퍼 상태)는 각 주기 Tv에 대한 최고점에 의해 주어진다. 도 3에 따라, Ij가 디코더 버퍼로부터 제거될 때의 시간 td(Ij)에서 디코딩된 화상 Ij의 크기 d(Ij)는 다음 식과 같다.
Figure 111999012264128-pct00001
여기서 S-(Ij) 및 S+(Ij)는 시간 td -(Ij)(= 화상 Ij가 디코더의 버퍼로부터 제거되기 직전의 시간) 및 시간 td +(Ij)(= 화상 Ij가 디코더의 버퍼로부터 제거된 직후의 시간)에서 디코더의 버퍼 상태를 각각 나타낸다. 이 화상 Ij에 대해, 그 vbv_지연 vbv(Ij)와, 비디오 스트림의 비트 레이트 R과, 디코더의 버퍼 상태 S-(Ij)간의 관계는 다음 식,
Figure 112004003460393-pct00002
에 의해 주어진다.
또한 다음 식도 성립한다.
Figure 112004003460393-pct00003
식들 (2), (1), (3)의 관계들로부터, 디코딩된 화상 Ij의 크기 d(Ij)를 (비트로) 제공하는 보다 정확한 관계를 추론할 수 있다. 즉,
Figure 111999012264128-pct00004
이러한 정규 모델로 인해, 2개의 압축된(코딩된) 비디오 시퀀스들간의 간단한 스위칭이 항상 가능한 것은 아니다. 즉, 전송된 제 1의 새로운 화상의 vbv_지연이 대체된 제 1의 이전의 화상의 vbv_지연보다 큰 경우에 각 주기 Tv마다 디코딩된 화상으로 스위칭을 실행할 수 없다. 이 상황은 도 4에서 설명된다. 즉, N1의 vbv_지연 vbv(N1)이 O3의 vbv_지연 vbv(O3)보다 크므로, 새로운 시퀀스(N1, N2)의 화상 N1에 의해 이전의 시퀀스(O1, O2, O3)의 화상 O3을 대체할 수 없다.
MPEG-2 표준(유럽 특허 출원 EP 0692911호에서 예로서 설명된 바와 같이)에서, 비디오 스위칭은 "스플라이싱 점들(splicing points)"로 불리는 특정 액세스 점들을 사용함으로써 촉진됨이 알려져 있다. 즉, 동일한 스플라이싱 점들이 신구 양자의 비디오 시퀀스들상에 존재하는 경우에만 실행될 수 있다.
발명의 개요
본 발명의 목적은 스플라이싱 점의 생성을 제약하지 않고 비디오 시퀀스의 스위칭을 허용하는 방법을 제공하는 것이다.
이를 위해, 본 발명은 서두에 언급된 바와 같은, 즉, 제 2 시퀀스의 제 1 전송된 화상(N1)의 제 1 비트가, 상기 제 1 전송된 화상의 디코딩 시간 전에, 디코더의 버퍼에서 소모해야 하는 기간 vbv(N1)이, 제 1 시퀀스의 제 1 대체된 화상(O3)의 제 1 비트가, 상기 제 1 대체된 화상의 디코딩 시간 전에, 상기 버퍼에서 소모해야 하는 유사한 기간 vbv(O3)보다 크다면, 상기 제 2 시퀀스의 상기 제 1 전송된 화상의 비트 레이트를 적어도 값 Rint까지 증대시키고, 이 값에 대하여 상기 기간 vbv(N1)가 상기 기간 vbv(O3)와 최대 동일한 값까지 대응하여 감소되는 것을 특징으로 하는 방법에 관한 것이다.
이제 스위치는 어떤 스플라이싱 점 없이도 실행될 수 있다. 본 발명에 따라, 비트 레이트는 대체된 제 1의 이전의 화상 및 전송된 제 1의 새로운 화상의 vbv_지연들이 이제 컴패터블한(compatible) 방식으로 국부적으로 증대되고, 따라서, 스위칭 동작을 구현하기 위해 스플라이싱 점은 더 이상 필요없다.
그러나, 항상 비트 레이트를 적절한 vbv_지연 값에 도달하도록 막연히 증대시킬 수 있는 것은 아니다. 즉, 예를 들면, 비디오 시퀀스들은 다중 전송 스트림을 형성하기 위해 다른 기본(elementary) 스트림들과 멀티플렉싱될 수 있으며, 그 경우에, 상기 설명된 방법은 상기 다중 전송 스트림에서의 사용 가능한 대역폭에 의해 제한될 수 있다.
본 발명에 따라, 상기 설명된 방법은, 비트 레이트들의 대역폭이 제한되는 경우에,
(a) 상기 제 1 전송된 화상 N1의 비트 레이트는 다음 2개의 값들, 즉, 상기 제한된 대역폭에 대응하는 최대 비트 레이트 값, 또는 상기 기간 vbv(N1)가 상기 기간 vbv(O3)와 최대 동일한 값까지 대응하여 감소되는 값 Rint 중 작은 쪽의 값까지 증대되며,
(b) 상기 작은 쪽의 값이 상기 제한된 대역폭에 대응하는 최대 비트 레이트 값인 경우에만, 상기 동작 (a)가 제 2 시퀀스의 제 2 화상 N2에 대해 반복되며,
(c) 이전의 동작의 종료시에서 상기 작은 쪽의 값이 상기 최대 비트 레이트 값인 경우에만, 상기 동작 (a)가 제 2 시퀀스의 후속 화상들 N3, N4,... 에 대해 유사하게 반복되어 개선된다.
비트 레이트 중가에 대한 대역폭 제한이 있을 때, 제안된 방법은 상기 대역폭 제한으로 인한 제약에도 불구하고 제 1 화상의 vbv_지연을 가능한 한 많이 감소시키기 위한 한도내에서 제 2 시퀀스의 필요한 수의 화상에 대해 비트 레이트들을 연속으로 증대시킴으로써 개선된다.
본 발명의 특성들 및 이점들은 이제 다음 설명과 첨부한 도면을 참조하여 명백해질 것이다.
도 1은 다른 타입들의 코딩된 화상들을 포함하는 GOP의 예를 도시한 도면.
도 2는 일정한 비트 레이트로 코딩되며, 화상을 규칙적인 시간으로 순간적으로 디코딩하는 스트림에 대한 디코더의 버퍼 충만도(fullness)의 예를 도시한 도면.
도 3은 도 2의 디코더의 버퍼 충만도의 표시를 이용할 때 화상 Ij의 주요한 유효 파라미터들을 식별할 수 있는 도면.
도 4는 이전의 시퀀스와 새로운 시퀀스간의 스위칭이 가능하지 않은 상황을 도시한 도면.
도 5는 본 발명에 따른 방법의 원리를 도시한 도면.
도 6은 도 5의 원리에 따라 스위칭이 행해진 경우에 얻어진 스트림을 도시한 도면.
도 7 및 도 8은 본 발명에 따른 방법의 제한, 즉, 도 7에서는 관찰될 수 있지만 도 8에 도시된 바와 같은 본 발명의 구현에 의해서는 완전히 해결되지 않는 스위치 문제를 도시한 도면.
도 9는 상기 제한을 해결하도록 본 발명에 따른 개선된 방법의 원리를 도시한 도면.
도 10 내지 도 12는 언더플로우가 발생하는 경우의 상황을 도시한 도면.
도 13 및 도 14는 상술된 방법을 구현하는 스위칭 장치 및 상기 장치의 다른 실시예에서 실행된 각각의 단계들을 도시한 도면.
본 발명의 원리는 트랜지션(transition)에서 새로운 시퀀스의 비트 레이트를 국부적으로 증가시켜, vbv(N1)를 vbv(O3)에 최대 동일하거나 또는 그것보다 작은 값(이 값은 그후 vbv'(N1)으로 표시됨)까지 감소시킨다. 즉, 스위치는 이제 가능하다. 이 상황은 도 5에 대응하며, 이 도 5는 N1 및 O3의 vbv_지연들을 (도 4와 비교하여) 어떻게 하여 N1에 관한 비트 레이트의 수정 후에 컴패터블할 수 있는지를 도시한다. 화상 N1에 의해 화상 O3을 대체한 후의 글로벌(global) 디코더의 버퍼 진화가 도 6에 도시되며, 이는 본 발명의 원리에 따라 스위치가 행해질 때 얻어진 스트림을 도시한다.
식 (2)로부터, 다음이 유도될 수 있다.
Figure 111999012264128-pct00005
여기서, Rnew = 새로운 비디오 시퀀스의 비트 레이트
Rint = 본 발명에 따른 방법이 구현될 때의 중간 비트 레이트임을 알 수 있다.
도 5에서 알 수 있듯이, 중간 비트 레이트 Rint는, 스위치가 요구되자마자, 즉, 새로운 화상 N1의 제 1 비트가 디코더의 버퍼로 들어오는(enter)(Rold는 이전의 비디오 시퀀스의 비트 레이트를 나타낸다) 시간 tsw에 스트림에 인가된다. 도 6에 도시된 대로, 이 시점 tsw에서는, 화상 O1이 아직 디코딩되지 않고, 그 최종 비트가 중간 레이트 Rint로 디코더의 버퍼에 도입될 것이다. 화상 O1이 디코딩될 때, 화상 O2의 최종 비트는 디코더의 버퍼에 완전히 도입되지 않고, 이 도입은 또한 Rint에서 행해진다. 화상 O2이 디코딩될 때, 유사하게, (O3으로 대체하는) N1의 최종 비트는 아직 디코더의 버퍼에 완전히 도입되지 않고, 이 도입은 여전히 Rint에서 행해진다. N1이 디코딩될 때, 후속하는 모든 vbv_지연들(N2 등의)은 컴패터블하며, 후속 화상(N2 등)의 도입을 위한 비트 레이트는 이제 새로운 비디오 시퀀스의 비트 레이트 Rnew가 된다.
본 발명은 상술된 구현에 한정된 것이 아니며, 그 수정예들은 본 발명의 범위를 벗어나지 않고 추론될 수 있다. 예를 들어, 중간 비트 레이트 Rint가 이전의 비트 레이트 Rold보다 크게 된다면, 어떠한 오버플로우도 트랜지션시 나타나지 않도록 주의할 필요가 있다.
둘째로, 적절한 vbv_지연 값에 도달하기 위해 막연히 N1의 비트 레이트를 항상 증대시킬 수는 없다. 즉, 일반적으로, 비디오 시퀀스들은 다중 전송 스트림을 형성하기 위해 다른 기본 스트림들과 멀티플렉스되며, 이 경우에, 비트 레이트를 국부적으로 수정하는 방법은 상기 다중 전송 스트림에서 이용 가능한 대역폭에 의해 제한될 수 있다. 도 7 및 도 8은 스위칭 문제(vbv(N1)가 vbv(O3)보다 클 때, 스위칭 동작이 실행될 수 없다)와 상술된 바와 같은 스위칭 방법의 구현예, 즉, vbv(N1)가 새로운 시퀀스의 제 1 전송된 화상 N1의 비트 레이트의 증대에 의해 감소되는 구현예를 각각 도시한 것이다. 이용 가능한 대역폭이 제한된 경우에, N1의 비트 레이트의 증대는 vbv(N1)에 대해, vbv(O3)과 컴패터블한 값을 갖는데 충분하지가 않다. 도면들의 간단화를 이유로, 이전의 시퀀스 Rold의 비트 레이트는 Rnew(화상 N1에 대한)의 증대에 대한 대역폭 제한에 대응하도록 가정된다. 도 8에 언급된 대로, N1의 비트 레이트가 O3에 대응하는 비트 레이트와 동일한 값까지 증대된 후, 값 vbv(N1)은 실제로 vbv(O3)보다 훨씬 크다(그 도면에서는, 그리고 그 다음 도 9 및 도 11에서는, 이중선은 상기 화상 N1의 비트 레이트의 수정전의 화상 N1에 대응한다).
도 9에서 알 수 있듯이, 본 발명에 따라 새로운 시퀀스의 후속 화상 N2에 대한 비트 레이트를 증대하도록 하는 경우에, 디코더의 버퍼는 부분적으로 비어지고, vbv(N1)는 다시 한번 감소하는데, 이 때 양은 N1와 O3의 vbv_지연들을 컴패터블하게 하는데 충분하다. 보다 일반적으로, 필요하다면(즉, 상기 양이 N1와 O3의 vbv_지연을 컴패터블하게 하는데 충분하지 않다면), 비트 레이트를 첫 번째, 그리고 그 다음의 두 번째 새로운 화상뿐만 아니라, 후속하는 각 화상들도 또한 상기 vbv_지연들의 컴패터빌러티를 얻는데 충분한 정도까지 연속으로 증대하는 것이 제안될 수 있다.
상기 일반화는 더욱 정확하게 논의되어질 것이며, 이러한 범용(generalized) 비트 레이트의 수정 후 새로운 버퍼 상태들 및 vbv_지연들에 대한 계산 결과가 제안될 수 있다. 이러한 연구에 대해서, 다음 사항이 가정된다. 즉,
(a) 인덱스 "b"를 갖는 변수의 모든 표기는 비트 레이트 수정 전의 변수들을 나타낸다.
(b) 인덱스 "a"를 갖는 변수의 모든 표기는 비트 레이트 수정 후의 변수들을 나타낸다.
(c) 본 발명의 구현이 이전 스트림의 화상들과 무관한 새로운 스트림에만 관련되므로, 새로운 시퀀스의 영상 Nk을 고려한 모든 표기들은 이 영상의 인덱스 k로 다시 시작될 것이다.
(d) 디코딩된 시간 td(k) 및 화상 크기들 d(k)는 처리 동안 수정되지 않는다.
아직 설명되지 않은 다른 사용된 표기들은 다음과 같다. 즉,
- ts(I) = 화상 I의 제 1 비트가 디코더 버퍼로 들어가는 시간;
- tsa(1), ..., tsa(i), ..., tsa(n) = ts(I)와 유사한 시간이지만, 비트 레이트의 수정 후에, 새로운 시퀀스의 화상들 1, ..., i, ..., n에 대한 시간;
- d(1), ..., d(i), ..., d(n) = 화상들 1, ..., i, ..., n의 비트 크기
비트 레이트 수정이 화상 n을 디코딩할 때까지 이루어져야 한다고 간주한다(n의 값을 어느 정도 깊이로 해야 하는지에 대해서는 후술될 것이다). 이와 같이, tsa(1) 내지 td(n)간의 시간 t에 대해, 비트 레이트는 Rold와 동일하며, td(n)보다 큰 시간 t에 대해, 비트 레이트는 Rnew와 동일하다. td(n)후에, 버퍼 충만도는 변하지 않는다. 즉,
k>n에 대해서, S- a(k)=S- b(k) 및 S+ a(k)=S+ b(k)이다. 시간 td -(n)에서 버퍼 상태는 Sb -(n)이다. 시간 t- d(n-1)에서의 새로운 버퍼 상태는 다음과 같은 식을 추론할 수 있다.
Figure 111999012264128-pct00006
또한,
Figure 111999012264128-pct00007
따라서 다음 식을 추론할 수 있다.
Figure 111999012264128-pct00008
동일한 방식으로 다음과 같이 나타낼 수 있다.
Figure 111999012264128-pct00009
그리고 다음과 같이 귀납적으로 나타낼 수 있다.
Figure 112004003460393-pct00010
여기서, k는 [0, ..., n-1]
동일한 방식으로, 다음과 같이 나타낼 수 있다.
Figure 112004003460393-pct00011
여기서, k는 [0, ..., n-1]
또한 새로운 vbv_지연들이 계산될 수 있다. 즉,
Figure 112004003460393-pct00012
여기서, k는 [0, ..., n-1]
식 (10)으로부터 다음 식이 추론될 수 있다.
Figure 111999012264128-pct00013
여기서, k는 [0,...,n-1].
따라서,
Figure 111999012264128-pct00014
여기서, k는 [0,...,n-1].
식 10 및 식 11로부터, Rold가 Rnew보다 낮으므로, 국부적 비트 레이트가 증가한 후에 본래의 버퍼 충만도가 더 낮아짐에 유념해야 한다. 따라서, 주의하지 않으면, 언더플로우가 발생할 수 있다. 언더플로우가 일어나지 않는 조건에 의해, n의 값이 얼마나 깊은지를 결정할 것이다.
국부적 비트 레이트가 증대한 후 유연한(compliant) 버퍼 충만도를 갖기 위해, 다음 식을 가질 필요가 있다.
Figure 112004003460393-pct00015
여기서, k는 [0, ..., n-1]
식 11로 인해, 이는 다음과 같이 된다.
Figure 112004003460393-pct00016
여기서, k는 [0, ..., n-1]
이 조건은 vbv_지연으로 표현될 수 있다. 버퍼 충만도는 다음의 식이 만족한다면 언더플로우되지 않는다.
Figure 112004003460393-pct00017
여기서, k는 [0, ..., n-1]
식 14로 인해, 다음의 식이 유도된다.
Figure 112004003460393-pct00018
여기서, k는 [0, ..., n-1]
만일 언더플로우의 문제가 없다면, 최소한의 가능한 vbv_지연 d(1)/Rold에 도달할 것이다.
도 10 내지 도 12는 n=2이면 언더플로우가 발생하는 상황의 예를 도시한 것이다. 도 10은 본래의 스트림을 표현한 것이며, 도 11은 화상 N1을 디코딩할 때까지 비트 레이트를 증대시키는 것을 도시한 것이고, 도 12는 화상 N2을 디코딩할 때까지 비트 레이트를 증대시키는 것을 나타낸다(상술한 바와 같이, 이중선은 이들 화상들의 비트 레이트의 수정 전의 화상들 N1, N2에 대응한다). 이 후자의 경우에, 언더플로우가 발생하지만, N1을 디코딩할 때까지만 비트 레이트를 증대시킨다면 언더플로우는 발생하지 않는다. 이것은 결국은 언더플로우를 생성시키지 않는 조건이며, 이것에 의해 비트 레이트를 어떠한 문제없이 증대시킬 수 있는 새로운 시퀀스의 화상들의 수가 결정될 것이다.
그러나, 본 발명의 방법에 따른 vbv_지연을 감소시킨 후에, vbv_지연들이 아직 컴패터블하지 않는 상황에서도 때때로 가능함을 유념해야 한다. 그 후, 1997년 5월 27일자로 이미 출원된 유럽 특허 출원 번호 제 97401160.3(PHF97557)호에 기술된 대로, 소위 최소한의 화상들의 삽입에 기초하는 제 2의 방법과 상기 방법을 조합할 수 있다. 상기 문헌에 따라, 비트 레이트는 더 이상 수정되지 않으며, 대신에, 새로운 비디오 시퀀스를 k개의 주어진 수의 화상들만큼 지연시키고, k의 최소한의 화상들, 즉, 디코딩 처리에 유연하고 가능한 한 적은 비트 수로 코딩된 화상들은 신구 시퀀스들간의 복구된 공간내에 삽입된다. 도 13 및 도 14는 기술된 바와 같은 국부적 비트 레이트의 수정을 구현하기 위한 장치와 상기 언급된 방법들의 조합을 구현하기 위한 장치에서 각각 실행된 주요 단계들을 설명한다. 도 14에 있어서, R(of_min)은 오버플로우가 일어나지 않도록 보장하는 최소의 레이트를 표시한다.
삭제

Claims (5)

  1. 디코딩될 화상들을 수신하기 위한 버퍼를 구비한 비디오 디코더에서, 디코딩전에, 비트 레이트 Rold에서의 제 1 코딩된 화상 시퀀스에서 더 낮은 비트 레이트 Rnew에서의 제 2 코딩된 화상 시퀀스로 스위칭하는 방법에 있어서,
    제 2 시퀀스의 제 1 전송된 화상(N1)의 제 1 비트가, 상기 제 1 전송된 화상의 디코딩 시간 전에, 상기 디코더의 버퍼에서 소모해야 하는 기간 vbv(N1)이, 제 1 시퀀스의 제 1 대체된 화상(O3)의 제 1 비트가, 상기 제 1 대체된 화상의 디코딩 시간 전에, 상기 버퍼에서 소모해야 하는 유사한 기간 vbv(O3)보다 크다면, 상기 제 2 시퀀스의 상기 제 1 전송된 화상의 비트 레이트를 적어도 값 Rint까지 증대시키고, 이 값에 대하여 상기 기간 vbv(N1)가 상기 기간 vbv(O3)와 동일한 값까지 대응하여 감소되는 것을 특징으로 하는, 코딩된 화상 시퀀스의 스위칭 방법.
  2. 제 1 항에 있어서, 비트 레이트들의 대역폭이 제한되는 경우에,
    (a) 상기 제 1 전송된 화상 N1의 비트 레이트는 다음 2개의 값들, 즉, 상기 제한된 대역폭에 대응하는 최대 비트 레이트 값, 또는 상기 기간 vbv(N1)가 상기 기간 vbv(O3)와 동일한 값까지 대응하여 감소되는 값 Rint 중 작은 쪽의 값까지 증대되며,
    (b) 상기 작은 쪽의 값이 상기 제한된 대역폭에 대응하는 최대 비트 레이트 값인 경우에만, 상기 동작 (a)가 상기 제 2 시퀀스의 제 2 화상 N2에 대해 반복되며,
    (c) 이전의 동작((b)에 대해서는 (a), (c)에 대해서는 (b), ...)의 종료시에서 상기 작은 쪽의 값이 상기 최대 비트 레이트 값인 경우에만, 상기 동작 (a)가 상기 제 2 시퀀스의 후속 화상들 N3, N4,... 에 대해 반복되는 것을 특징으로 하는, 코딩된 화상 시퀀스의 스위칭 방법.
  3. 제 1 항에 있어서, 상기 최대 비트 레이트 값 Rint은 상기 비트 레이트 Rold와 동일하고 상기 값 Rint은 다음 식
    Figure 112006037248644-pct00034
    에 의해 주어지는 것을 특징으로 하는, 코딩된 화상 시퀀스의 스위칭 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 방법에 따라 스위칭하는 장치.
  5. 제 4 항에 있어서, 상기 스위칭 방법을, 최소 비트수로 코딩된 화상들의 시퀀스가 상기 제 1 시퀀스와 상기 제 2 시퀀스간에 삽입되는 제 2 스위칭 방법과 조합하도록 제공된, 장치.
KR1019997009016A 1998-02-03 1999-01-28 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치 KR100664452B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP98400223 1998-02-03
EP98400223.8 1998-02-03
EP98401929.9 1998-07-28
EP98401929 1998-07-28
PCT/IB1999/000163 WO1999040728A1 (en) 1998-02-03 1999-01-28 Method of switching of coded video sequences and corresponding device

Publications (2)

Publication Number Publication Date
KR20010005939A KR20010005939A (ko) 2001-01-15
KR100664452B1 true KR100664452B1 (ko) 2007-01-04

Family

ID=26151561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997009016A KR100664452B1 (ko) 1998-02-03 1999-01-28 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치

Country Status (6)

Country Link
US (1) US6351564B1 (ko)
EP (1) EP1004207A1 (ko)
JP (1) JP4275746B2 (ko)
KR (1) KR100664452B1 (ko)
CN (1) CN1169373C (ko)
WO (1) WO1999040728A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
JP2001285868A (ja) * 2000-03-29 2001-10-12 Victor Co Of Japan Ltd 動画像符号列切替装置及び動画像符号列切替方法
US7050460B1 (en) * 2000-04-14 2006-05-23 Ati International Srl Method and apparatus for multiplexing data streams using time constraints
FR2841160B1 (fr) * 2002-06-19 2004-07-23 Solystic Procede de traitement d'objets postaux utilisant la synthese vocale
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
CN106415475A (zh) 2014-06-24 2017-02-15 苹果公司 用于在用户界面中导航的列界面
KR102006598B1 (ko) * 2014-09-24 2019-08-01 애플 인크. 채널 바의 관리
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
CN114297620A (zh) 2019-03-24 2022-04-08 苹果公司 用于媒体浏览应用程序的用户界面
US11445263B2 (en) 2019-03-24 2022-09-13 Apple Inc. User interfaces including selectable representations of content items
WO2020198221A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5841435B2 (ja) 1981-04-10 1983-09-12 新日本製鐵株式会社 サクシヨンヘツドの制御方法
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
EP0692911B1 (en) * 1994-07-15 2000-03-08 Matsushita Electric Industrial Co., Ltd. Method of splicing MPEG encoded video
CA2157066C (en) * 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
US5687095A (en) * 1994-11-01 1997-11-11 Lucent Technologies Inc. Video transmission rate matching for multimedia communication systems
US5913031A (en) * 1994-12-02 1999-06-15 U.S. Philips Corporation Encoder system level buffer management
EP0755610B1 (en) * 1995-02-15 2000-04-12 Koninklijke Philips Electronics N.V. Method and device for transcoding video signals
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
US6011598A (en) * 1996-03-28 2000-01-04 Sanyo Electric Co., Ltd. Decoding start controller, decoder, and decoding system
DE69732874T2 (de) * 1996-05-02 2006-04-20 Sony Corp. Kodierung, Speicherung und Übertragung von digitalen Signalen
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6188700B1 (en) * 1996-11-07 2001-02-13 Sony Corporation Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
JP3555729B2 (ja) * 1997-04-22 2004-08-18 日本ビクター株式会社 可変長符号化データの処理方法及び装置
WO1998054910A2 (en) 1997-05-27 1998-12-03 Koninklijke Philips Electronics N.V. Method of switching video sequences and corresponding switching device and decoding system

Also Published As

Publication number Publication date
JP2001519992A (ja) 2001-10-23
CN1169373C (zh) 2004-09-29
US6351564B1 (en) 2002-02-26
KR20010005939A (ko) 2001-01-15
CN1262846A (zh) 2000-08-09
WO1999040728A1 (en) 1999-08-12
EP1004207A1 (en) 2000-05-31
JP4275746B2 (ja) 2009-06-10

Similar Documents

Publication Publication Date Title
KR100664452B1 (ko) 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치
US6208691B1 (en) Method for seamless splicing in a video encoder
KR100538135B1 (ko) 정보 스트림 프레임 동기 방법 및 장치
US8160153B2 (en) Hypothetical reference decoder with low start-up delays for compressed image and video
EP0948205B1 (en) A method and apparatus for processing compressed video data streams
KR101208233B1 (ko) 중간 형식으로 변환하는 2단계 산술 복호
US6269120B1 (en) Method of precise buffer management for MPEG video splicing
EP0797359A2 (en) Encoding and/or compressing video data
KR100674399B1 (ko) 코딩된 비디오 시퀀스들의 스위칭 방법 및 장치
KR19990067973A (ko) 압축 화상 데이터 편집 장치 및 방법
EP2268028B1 (en) Frame bit-size allocation for seamlessly spliced, variable-rate compressed digital video signals
KR980011300A (ko) 입체 디지털 비디오 인코딩을 위한 속도제어
EP1336307A2 (en) Scalable mpeg-2 video decoder
US8904426B2 (en) Preconditioning ad content for digital program insertion
EP1496707A1 (en) Encoding and decoding of video images with delayed reference picture refresh
KR20000029596A (ko) 비디오시퀀스의스위칭방법,대응스위칭소자및디코딩시스템
KR20050020710A (ko) 부호화 장치 및 부호화 방법
EP1170955A1 (en) Bit rate correction in a moving picture coding apparatus
JPH11234671A (ja) 信号処理装置
KR0185922B1 (ko) 버퍼점유량의 불연속을 방지하기 위한 방법
JP3918510B2 (ja) 動画像符号化装置及び動画像符号化方法
KR20010059598A (ko) 동영상 비디오 인코더의 버퍼 제어 방법
KR19980029969A (ko) 장면 전환시의 비트 할당 방법
JP2004312087A (ja) 動画像符号化装置
JP2001128169A (ja) 動画像符号化方法および動画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121213

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131220

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee