KR100629093B1 - 디코딩 장치 및 디코딩 방법 - Google Patents

디코딩 장치 및 디코딩 방법 Download PDF

Info

Publication number
KR100629093B1
KR100629093B1 KR1019990032526A KR19990032526A KR100629093B1 KR 100629093 B1 KR100629093 B1 KR 100629093B1 KR 1019990032526 A KR1019990032526 A KR 1019990032526A KR 19990032526 A KR19990032526 A KR 19990032526A KR 100629093 B1 KR100629093 B1 KR 100629093B1
Authority
KR
South Korea
Prior art keywords
audio
video
stream
data
buffer
Prior art date
Application number
KR1019990032526A
Other languages
English (en)
Other versions
KR20000017185A (ko
Inventor
야수시후지나미
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20000017185A publication Critical patent/KR20000017185A/ko
Application granted granted Critical
Publication of KR100629093B1 publication Critical patent/KR100629093B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화를 행하여 얻어진 스트림을 이은 데가 없이 재생하는(seamlessly reproducing) 시스템 타겟 디코더에서, 증가될 오디오 버퍼의 용량이 규정된다. 용량은 적어도 T × RVideo × RAudio ÷ (RVideo + RAudio) 만큼 증가된다.
이 중에서 T는 오디오 스트림이 오디오 버퍼에 입력되지만, 비디오 스트림이 비디오 버퍼에 입력되지 않는 기간과 오디오 스트림이 오디오 버퍼에 입력되지 않지만, 비디오 스트림이 비디오 버퍼에 입력되는 기간의 합이며, RVideo는 비디오 스트림의 판독 레이트이며, RAudio는 오디오 스트림의 판독 레이트이다.
시스템 타켓 디코더, 비디오 스트림, 오디오 스트림

Description

디코딩 장치 및 디코딩 방법{Decoding apparatus and decoding method}
도1은 스트림을 도시한 다이어그램.
도2는 클립 경계와 스트림 경계를 도시한 다이어그램.
도3은 클린 브레이크(clean break)를 도시한 다이어그램.
도4는 클린 브레이크내의 클립 경계와 스트림 경계를 도시한 다이어그램.
도5는 본 발명에 따른 시스템 타겟 디코더의 구성예를 도시한 블럭 다이어그램.
도6은 E-STD의 경우에 있어서, 시간축상의 비디오 스트림과 오디오 스트림의 관계를 도시한 타임챠트.
도7은 도5의 시스템 타겟 디코더의 경우에 있어서, 시간축상의 비디오 스트림과 오디오 스트림의 관계를 도시한 타임챠트.
도8은 도5의 오디오 버퍼의 용량 증가값과 판독율과의 관계를 도시한 다이어그램.
도9는 도5의 오디오 버퍼의 용량 증가값의 구체적인 예를 도시한 다이어그램.
본 발명은 시스템 타겟 디코더에 관한 것이며, 특히, 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화를 행하여 얻어진 스트림을 재생하는 디코더에서 사용되는 오디오 버퍼의 용량에 관한 것이다.
MPEG2 시스템 규격에서는, 패킷 다중화된 스트림에서 개별 기본 스트림(비디오 스트림 및 오디오 스트림)을 분리하여, 이들을 디코딩하고, 동기화하여 디스플레이하기 위해서, 가상 디코더 모델로서 STD(시스템 타겟 디코더)를, PS(프로그램 스트림) 및 TS(트랜스포트 스트림)의 각각에 대해서 규정하고 있다.
그러나, MPEG2 시스템 규격에는, 복수의 독립 스트림을 연결시켜 이들을 이은 데가 없이 재생하는 방법에 관한 규정은 없다.
그런데, 파트 3, 즉 DVD(digital versatile disk)에 관한 규격에 포함된 DVD-비디오 규격에는, 사용자가 디렉터스 컷(directors cut) 및 다각도(multi-angle)와 같은 이은 데가 없이 조작을 행할 수 있도록 E-STD(extended system target decoder: 확장된 시스템 타겟 디코더)가 확장된 디코더 모델로서 규정되어 있다.
이은 데가 없는 재생용의 스트림은 인터리브 유닛이라 불리는 유닛으로 분할되어 인터리브 블록이라 불리는 기록 영역에 배치된다. 재생시에, 인터리브 유닛 중, 사용자에 의해 지정되지 않은 인터리브 유닛은 점프된다. 사용자에 의해서 지정된 인터리브 유닛만이 판독되어 연속적으로 E-STD에 입력된다.
이 E-STD는 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는(동기 재생될) 비디오 스트림에서 분리되어 다중화되는 기록 시스템을 전제로 한다. 도 1에 도시된 바와 같은 다각도 구성 때문에, 임의의 스트림 S1에 이어 스트림으로서 세개의 인터리브 유닛들, 앵글 1, 앵글 2, 및 앵글 3이 준비된다고 가정된다. 이 경우에, 스트림 S1 및 앵글 1, 2, 및 3과의 접속부분에서 발생된 오디오 스큐는 스트림 S1에 포함된 비디오 스트림에서 분리되어 앵글 1, 2, 및 3으로 다중화된다.
그러나, 이러한 기록 시스템에서는, 도 1에 도시된 앵글 1, 2, 및 3에 디코딩 및 디스플레이를 위한 기준 시각이 다른 데이터가 혼재하여 나타나므로, 그 논리 구조가 불명확하게 된다는 문제점이 발생한다.
또한, 스트림 경계와는 다른 위치에서, 스트림이 분리된다. 분리(도 1에 도시된 상기 스트림 S1, 및 앵글 1, 2, 및 3)에 의해 얻어진 데이터의 클러스터는 여기서 "클립"(clip)으로 불린다. 도 2에 도시된 바와 같이, 클립들간의 경계는 스트림간의 경계와 일치하지 않는다. 이는 경계의 의미가 불명확하게 된다는 문제점을 야기시킨다. 특히, 개개의 클립이 퍼스널 컴퓨터 등에 의해 파일로서 관리되는 경우, 오디오 스큐 및 이에 대응하는 비디오 스트림은 개별 파일들에 포함되어, 파일 관리에 장애가 생기게 된다.
한편, 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화되는 이러한 기록 시스템을 채택함으로써, 상술된 문제점들을 회피할 수 있다.
그러나, 이러한 기록 시스템의 스트림의 이은 데가 없는 재생을 행하기 위한 시스템 타겟 디코더로서는, MPEG2 시스템 규격에 의해 규정된 P-STD의 하드웨어 자원에 포함된 오디오 버퍼의 용량을 증가시킬 필요가 있게 된다. 또는 하드웨어 자원을 그대로 두고, 비디오 버퍼로서 할당된 단일 버퍼의 영역 및 오디오 버퍼로서 할당된 단일 버퍼의 영역을 시간적으로 변화시키는 소프트웨어 처리를 행할 필요가 있게 된다. 그 이유는 하기에 기술될 것이다.
오디오 버퍼의 용량을 증가시키는 시스템 타겟 디코더에서, 본 발명의 목적은 증가될 오디오 버퍼의 용량을 규정하는 것이다.
본 발명에서는, 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화를 행하여 얻어진 스트림을 재생하기 위한 디코더에서 사용되는 오디오 버퍼에서, 오디오 스트림이 오디오 버퍼에 입력되지만 비디오 스트림이 이 시스템 타겟 디코더의 비디오 버퍼에 입력되지 않는 기간의 데이터 저장량의 증가값에 따라 오디오 버퍼의 용량이 증가된다.
본 발명에 의하면, 오디오 버퍼의 용량은 상술된 양만큼 증가된다. 그 결과, 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화를 행하여 얻어진 스트림의 이은 데가 없이 재생을 행하는 시스템 타겟 디코더 시스템은 오디오 버퍼에서 오버플로우를 발생시키지 않고 재생을 행할 수 있다.
먼저, 본 발명이 전제로 하는 기록 시스템이 기술될 것이다.
이 기록 시스템에서는, 이은 데가 없이 재생되어야 할 2개의 클립 중 전자 클립(이후에 클립 C1으로 불림)에 포함된 오디오 스트림의 최종 패킷은 클립 C1에 포함된 비디오 스트림의 말단에 표시된 화상 디스플레이의 종료 시간과 일치하는 디스플레이 시간의 샘플을 포함한다. 2개의 클립 중 후자 클립(이후에 클립 C2로 불림)에 포함된 오디오 스트림의 최초 패킷은 클립 C2에 포함된 비디오 스트림의 선두에 표시된 화상 디스플레이의 시작 시간과 일치하는 디스플레이 시간의 샘플을 포함한다. 그것에 의하여, 스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화가 수행된다.
이 기록 시스템(이후에 "클린 브레이크(clean break)"라 불림)은 전술된 기록 시스템의 도 1과 비교되도록 도 3에 도시된다.
이 클린 브레이크에서, 디코딩 및 디스플레이를 위한 기준 시각이 공통된 데이터만이 하나의 클립에 존재한다. 그러므로, 그 논리 구조가 명확하게 된다.
또한, 클립은 그 경계에서 스트림을 분리시켜 얻어진다. 도 4에 도시된 바와 같이, 클립 경계는 스트림 경계와 일치한다. 따라서, 경계의 의미가 명확하게 된다. 또한, 클립이 파일로서 관리되는 경우에, 오디오 스큐 및 이에 대응하는 비디오 스트림은 동일한 파일내에 포함된다.
본 발명에 따른 시스템 타겟 디코더의 구성예는 도 5를 참조하여 기술될 것이다.
이 시스템 타겟 디코더는 디지털 비디오 레코더용의 시스템 타겟 디코더이다. 이는 이후에 "DVR-STD"로 불린다.
패킷 다중화 스트림(상술된 클린 브레이크를 이용하는 스트림)은 도시되지 않은 기록 매체로부터 판독되고, DVR-STD에 입력된다. 패킷 다중화 스트림은 디멀티플렉서(1)에 의해 기본 스트림, 즉, 비디오 스트림, 오디오 스트림 및 서브-픽쳐 스트림(예를 들어, 그래픽 데이터 등)으로 분리된다. 비디오 스트림, 오디오 스트림 및 서브-픽쳐 스트림은 비디오 버퍼(2), 오디오 버퍼(3), 및 그래픽 버퍼(4)에 각각 저장된다.
DTS(decode time stamp: 디코드 타임 스탬프)에 의해 표시한 디코딩 시간이 되면, 비디오 스트림에 포함된 I 픽쳐 및 P 픽쳐는 비디오 버퍼(2)에서 비디오 디코더(5)로 전송되어 디코딩되고 재배열 버퍼(6)에 저장된다.
그 다음에, PTS(presentation time stamp: 프리젠테이션 타임 스탬프)에 의해 표시된 디스플레이 시간이 되면, 비디오 스트림의 B 픽쳐, 오디오 스트림, 서브-픽쳐 스트림은 각각 비디오 버퍼(2), 오디오 버퍼(3), 및 그래픽 버퍼(4)에서 비디오 디코더(5), 오디오 디코더(7), 및 그래픽 디코더(8)로 전송되어 디코딩되고 디스플레이된다. 그 다음에, 재배열 버퍼(6)에 저장된 I 픽쳐와 P 픽쳐는 PTS에 따라 연속적으로 표시된다.
STC 생성 유닛(9)에서, 기준 시각으로서의 역할을 하는 STC(system time clock: 시스템 타임 클럭)가 입력 스트림에 포함된 SCR(system clock reference: 시스템 클럭 기준)에 기초하여 발생된다.
STC_delta 산출 유닛(10)에서는, 후술되는 식에 따라 클립 C1 및 클립 C2간의 기준 시각의 차인 STC_delta가 산출된다. 클립 C1은 이은 데가 없이 재생될 2개의 클립 중 전자 클립이다. 클립 C2는 이은 데가 없이 재생될 2개의 클립 중 후자 클립이다. 식에서, PTS1end은 클립 C1에 포함된 비디오 스트림의 최종 프레임의 PTS 값이고, PTS2start은 클립 C2에 포함된 비디오 스트림의 최초 프레임의 PTS 값이다. Tpp는 클립 C1에 포함된 비디오 스트림의 최종 프레임의 디스플레이 기간이다.
STC_delta = PTS1end - PTS2start + Tpp
가산기(11)에서는, STC 생성 유닛(9)에서 발생된 STC 및 STC_delta 산출 유닛(10)에서 발생된 STC_delta가 가산된다. 결과 STC'가 가산기(11)에서 출력된다.
1개의 클립이 재생되면, DVR-STD는, 기준 시각으로서 그 클립에 포함된 SCR에 의해 정확하게 설정된 STC를 이용하여 P-STD와 완전 동일하게 기능한다.
그러나, 2개의 클립이 연결되어 이은 데가 없이 재생되면, 기준 시각은, 클립 C1의 비디오 데이터 및 클립 C2의 비디오 데이터를 연속적으로 표시하기 위해, 클립 C1에서 클립 C2로의 이행 기간에, 도시된 스위치 SW1, SW2, 및 SW3 등을 이용하여, STC 및 STC' 사이에서 스위칭된다.
예를 들면, 비디오 디코더(5)로의 패킷 다중화 스트림의 입력 타이밍은 다음과 같이 결정된다:
(a) 클립 C1이 입력되고 나서 클립 C2의 입력이 시작되는 시간까지, 입력 타이밍은 클립 C1에 포함된 SCR에 의해 정확하게 설정된 기준 시각 STC에 의해 결정된다.
(b) 클립 C2의 입력이 시작된 시간 이래로 클립 C1의 최종 비디오 데이터가 표시를 완료한 시간까지(즉, 클립 C1에서 클립 C2로의 이행 기간에서), 기준 시각은 STC'로 전환되고, STC는 클립 C2에 포함된 SCR에 의해 정확하게 설정된다.
(c) 클립 C1의 최종 비디오 데이타가 표시를 완료한 시간이 되면, STC는 그 시각에서 STC'로 리세트되고, 기준 시각은 STC로 전환된다.
지금부터, 본 발명의 특징인 오디오 버퍼(3)의 용량이 이 DVR-STD와 전술된 E-STD를 비교하면서 설명될 것이다.
E-STD의 경우에, 도 2에 도시된 바와 같이, 클립 경계는 스트림 경계와 일치 하지 않는다. 전자 클립 C1 및 후자 클립 C2에서 분리된 비디오 스트림 및 오디오 스트림을 비디오 버퍼 및 오디오 버퍼로 각각 전송하는 처리에서, 비디오 스트림 및 오디오 스트림간의 시간축상의 관계는 도 6A에 예시되어 있다.
도 6A에서, 시각 ta는 클립 C1 및 클립 C2 간의 경계이다. 또한 시각 ta는 2개의 비디오 스트림간의 경계이다. 시각 tb는 2개의 오디오 스트림간의 경계이다. 비디오 스트림의 시각 ta의 비디오 데이터 및 오디오 스트림의 시각 tb의 오디오 데이타는 동기 재생될 관계에 있다. 시각 ta에서 시각 tb까지의 기간 T에 전송된 오디오 스트림의 부분은 오디오 스큐이다. 한편, RVideo 와 RAudio 는 각각 기록 매체로부터의 비디오 스트림 및 오디오 스트림의 판독 레이트이다. 판독 레이트는 설명을 위해 고정된 레이트로 가정한다.
도 6B는 이 처리에서 비디오 버퍼의 상태를 예시한다. 이 예에서, 비디오 버퍼로의 데이터의 입력 레이트 RIN 및 비디오 버퍼로부터의 데이터의 출력 레이트 ROUT 은 RVideo와 일치한다. 그러므로, 비디오 버퍼에 저장된 데이터의 양은 일정하게 된다. 또한, 시각 ta에서 비디오 데이터는 시각 tb에서 오디오 데이터와 동기 재생되도록 기간 T 동안 비디오 버퍼에 저장된다. (MPEG2 시스템 규격에서는 동일한 데이터가 P-STD의 버퍼에 1초보다 큰 시간 동안 저장되는 것을 금지하고 있으므로, 기간 T의 길이는 1초가 상한이 된다.)
도 6C는 이 처리에서의 오디오 버퍼의 상태를 예시한다. 이 예에서, 오디오 버퍼로의 데이터의 입력 레이트 RIN 및 오디오 버퍼로부터의 데이터의 출력 레이트 ROUT 은 RAudio와 일치한다. 그러므로, 오디오 버퍼에 저장된 데이터의 양은 일정하게 된다.
한편, 도 5에 도시된 DVR-STD의 경우에, 클립 경계는 도 3에 도시된 바와 같이 스트림 경계와 일치한다. 전자 클립 C1 및 후자 클립 C2에서 분리된 비디오 스트림 및 오디오 스트림을 각각 비디오 버퍼(2) 및 오디오 버퍼(3)로 전송하는 처리에서, 비디오 스트림 및 오디오 스트림간의 시간축상의 관계는 도 6A와 관련하여 도 7A에 도시된다.
이 경우에, 시각 ta까지의 비디오 스트림과 오디오 스트림간의 관계는 E-STD의 경우에 있어서와 동일하게 된다. 그러나, 시각 ta 이후에, 클립 C1의 나머지 오디오 스트림(도 6A의 기간 T의 오디오 스큐에 대응하는 부분이고, 도 3의 클립의 오른쪽단에서 돌출된 부분임)은 RVIDEA + RAudio의 레이트로 도 5의 오디오 버퍼(3)로 전송되고, 비디오 스트림은 비디오 버퍼(2)에 전송되지 않는다. 그리고, 그 오디오 스트림의 전송이 완료된 시각 tc는 클립 C1 및 클립 C2간의 경계가 된다.
시각 tc 이래로 시각 tb 까지, 클립 C2의 비디오 스트림(즉, 도 3의 클립의 왼쪽단에서 돌출된 부분)은 RVIDEA + RAudio의 레이트로 도 5의 비디오 버퍼(2)로 전송되고, 오디오 스트림은 오디오 버퍼(3)에 전송되지 않는다. 시각 tb 이후로 비디오 스트림 및 오디오 스트림간의 관계는 E-STD의 경우에 있어서와 동일하게 된다.
기간 T에서, 시각 ta에서 시각 tc까지의 기간 TA 및 시각 tc에서 시각 tb까지의 기간 TV는 다음 식으로 표현된다.
Figure 111999009241769-pat00010
도 7B는 이 처리에서 비디오 버퍼(2)의 상태를 도 6B와 관련하여 도시한다. 시각 ta에서 시각 tc까지의 기간 TA에는 입력 데이터가 존재하지 않으며, 따라서 저장된 데이터의 양이 감소한다. 시각 ta에서 시각 tb까지의 기간 T에 필요한 데이타가 시각 ta까지 이미 입력되었으므로, 이 기간 T 동안 비디오 버퍼(2)에서 언더플로우가 발생하지 않는다. 시각 tc에서 시각 tb까지의 기간 TV에서는, 데이터는 출력 레이트 ROUT = RVideo보다 큰 입력 레이트 RIN = RVideo +RAudio로 입력된다. 따라서, 시각 tb에서, 저장된 데이터의 양은 E-STD의 경우에 있어서와 동일한 값까지 증가된다.
도 7C는 이 처리에서 오디오 버퍼(3)의 상태를 도 6C와 관련하여 도시한다. 시각 ta에서 시각 tc까지의 기간 TA에서는, 데이터는 출력 레이트 ROUT =RAudio보다 높은 입력 레이트 RIN = RVideo +RAudio로 입력되며, 따라서, 저장된 데이터의 양은 E-STD 의 경우에 비해 증가한다. 시각 tc에서 시각 tb까지의 기간 TV에서는, 입력 데이터가 존재하지 않으며, 따라서 저장된 데이터의 양은 시각 tb에서 E-STD의 경우에 있어서와 동일한 값까지 감소된다.
그러므로, 비디오 버퍼(2)의 필요한 용량은 E-STD의 경우에 있어서와 동일하다. 그러나, 오디오 버퍼(3)의 용량은 오버플로우를 방지하기 위해 E-STD의 경우에 비해 증가되어야 한다. 증가될 양의 최소값은 최대 데이터 저장량인 도 7C의 시각 tc에서의 데이터 저장량과 시각 ta에서의 데이터 저장량간의 차 EOAudio이다. 이 차 EOAudio의 크기는 다음 식으로 계산된다.
Figure 111999009241769-pat00011
그러므로, 도 5의 DVR-STD에서, EOAudio만큼 용량이 증가된 버퍼(도 6C에 도시된 오디오 버퍼는 OAudio의 용량을 가진다고 가정하면, OAudio+EOAudio의 용량을 가지는 버퍼)는 오디오 버퍼(3)로서 사용된다. 따라서, 이 DVR-STD에서, 이은 데가 없는 재생은 오디오 버퍼(3)에서 오버플로우를 발생시키지 않고 수행된다.
도 8은 RVideo+RAudio=10Mbps 및 15Mbps일 때 얻어지는 RAudio의 크기와 EOAudio의 크기와의 관계를 그래프로서 도시한다.
도 9는 패킷 다중화 스트림의 오디오 스트림이 MPEG 오디오 또는 돌비 AC-3(압축 오디오)을 이용하여 압축되어 얻어지는 경우 및 패킷 다중화 스트림의 오디오 스트림이 PCM 코딩에 의해 얻어지는 경우에 대해, RVideo+RAudio=5, 10, 및 15Mbps일 때, EOAudio의 양호한 크기의 구체적인 예를 도시한다.
도 9에서, 압축 오디오의 경우에 RAudio의 크기 384kbps 및 448kbps는 MPEG 오디오 및 돌비 AC-3에서 각각 최대 비트 레이트이다. PCM의 경우에, 양자화 비트의 수가 12이고 채널의 수가 2일 때, RAudio의 크기 768kbps는 샘플링 주파수 32kHz에 대응하고(32 ×12 ×2 = 768), 양자화 비트의 수가 16이고 채널의 수가 2일 때, 1536 kbps는 샘플링 주파수 48kHz 에 대응한다(48 ×16 ×2 = 1536).
전술된 예에서, 오디오 버퍼(3)의 용량은 오버플로우를 방지하는데 필요한 최소값 EOAudio만큼 증가된다. 그러나, 물론, 오디오 버퍼(3)의 용량은 이 값 EOAudio보다 더 큰 양만큼 증가될 수 있다.
전술된 예에서, 오디오 버퍼(3)의 용량은 증가되었다. 그러나, 시각 ta에서 시각 tb까지의 기간에 오디오 버퍼(3)의 데이터 저장량의 증가는 그 기간에 비디오 버퍼(2)의 데이터 저장량의 감소와 동일하다. 그러므로, E-STD의 경우에, 비디오 버퍼 및 오디오 버퍼의 용량의 총합과 동일한 용량을 가지는 단일 버퍼를 제공하는 것이 가능하며, 시각 ta에서 시각 tb까지의 기간에 비디오 버퍼(2)로서 할당된 단일 버퍼의 영역 및 오디오 버퍼(3)로서 할당된 영역을 변화시키기 위해 소프트웨어 처리를 수행하는 것이 가능하다.
전술된 예에서, 본 발명은 예를 들어, 디지털 비디오 테이프 레코더용 시스템 타겟 디코더에 적용될 수 있다. 그러나, 본 발명은 다른 시스템 타겟 디코더(예를 들어, DVD용의 시스템 타겟 디코더)에도 적용될 수 있다.
본 발명은 전술된 예에 한정되지 않는다. 본 발명의 정신에서 벗어나지 않고 다른 다양한 구성이 채택될수 있음은 물론이다.
스트림의 접속부분에서 발생된 오디오 스큐가 이에 대응하는 비디오 스트림에서 분리되지 않도록 다중화를 행하여 얻어진 스트림을 이은 데가 없이 재생하기 위한 시스템 타겟 디코더에서, 본 발명은 전술된 바와 같이, 증가될 오디오 버퍼의 용량을 규정한다. 그 결과, 이 시스템 타겟 디코더는 오디오 버퍼에 오버플로우를 발생시키지 않고 이은 데가 없이 재생을 행할 수 있다.
첨부된 도면을 참조하여 전술한 본 발명의 양호한 실시예에 대해 설명했지만, 본 발명은 상기 실시예에 의해 제한되는 것은 아니며, 본 기술분야의 기술자에 의해 본 발명에 따른 청구 범위의 정신과 범위를 벗어나지 않고 다양한 변화 및 변경이 가능함은 물론이다.

Claims (6)

  1. 비디오/오디오 데이터 디코딩 장치에 있어서,
    스트림의 접속부분에서 다중화된 스트림을 분리하는 분리 수단으로서, 상기 다중화된 스트림은 오디오 스큐(audio skew)에 대응하는 비디오 데이터에서 오디오 스큐를 분리하지 않도록 다중화를 행하여 얻어지는, 상기 분리 수단과,
    상기 분리된 비디오 데이터 및 오디오 데이터를 각각 저장하는 저장 수단과,
    상기 저장된 비디오 데이터 및 오디오 데이터를 각각 디코딩하는 디코딩 수단을 포함하며,
    상기 저장 수단은 상기 오디오 스큐에 대응하는 부가 저장 영역을 포함하는, 비디오/오디오 데이터 디코딩 장치.
  2. 제 1 항에 있어서,
    상기 부가 저장 영역은 적어도 T × RVideo × RAudio ÷ (RVideo + RAudio)의 용량을 가지며,
    이 중에서 T는 상기 저장 수단에 오디오 데이터만이 저장되는 기간과 상기 저장 수단에 비디오 데이터만이 저장되는 기간의 합이며, RVideo 는 비디오 데이터의 입력 레이트이고, RAudio 는 오디오 데이터의 입력 레이트인, 비디오/오디오 데이터 디코딩 장치.
  3. 제 2 항에 있어서,
    상기 저장 수단은 비디오 데이터 저장 수단 및 오디오 데이터 저장 수단을 포함하며,
    상기 오디오 데이터 저장 수단은 상기 부가 저장 영역을 포함하는, 비디오/오디오 데이터 디코딩 장치.
  4. 제 2 항에 있어서,
    상기 저장 수단은 비디오 데이터 저장 영역 및 오디오 데이터 저장 영역을 포함하며,
    상기 오디오 데이터 저장 영역이 상기 부가 저장 영역을 포함하도록 제어를 행하는 수단이 제공되는, 비디오/오디오 데이터 디코딩 장치.
  5. 비디오/오디오 데이터 디코딩 방법에 있어서,
    오디오 스큐에 대응하는 비디오 데이터에서 오디오 스큐를 분리하지 않도록 다중화를 행하여 얻어진 다중화된 스트림을 분리하는 단계와,
    상기 분리된 비디오 데이터 및 오디오 데이터를 각각 저장하는 단계와,
    상기 저장된 비디오 데이터 및 오디오 데이터를 각각 디코딩하는 단계를 포함하며,
    상기 저장 단계는 상기 오디오 스큐에 대응하는 데이터를 저장하는 단계를 포함하는, 비디오/오디오 데이터 디코딩 방법.
  6. 제 5 항에 있어서,
    상기 오디오 스큐에 대응하는 데이터를 저장하는 상기 단계는 적어도 T × RVideo × RAudio ÷ (RVideo + RAudio)의 용량의 오디오 데이터를 저장하는 단계를 포함하며,
    이 중에서 T는 오디오 데이터만이 저장되는 기간과 비디오 데이터만이 저장되는 기간의 합이며, RVideo 는 비디오 데이터의 입력 레이트이고, RAudio 는 오디오 데이터의 입력 레이트인, 비디오/오디오 데이터 디코딩 방법.
KR1019990032526A 1998-08-10 1999-08-09 디코딩 장치 및 디코딩 방법 KR100629093B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP22603298A JP4006840B2 (ja) 1998-08-10 1998-08-10 システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置
JP98-226032 1998-08-10

Publications (2)

Publication Number Publication Date
KR20000017185A KR20000017185A (ko) 2000-03-25
KR100629093B1 true KR100629093B1 (ko) 2006-09-28

Family

ID=16838715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990032526A KR100629093B1 (ko) 1998-08-10 1999-08-09 디코딩 장치 및 디코딩 방법

Country Status (4)

Country Link
US (1) US6718119B1 (ko)
JP (1) JP4006840B2 (ko)
KR (1) KR100629093B1 (ko)
CN (1) CN1114210C (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030113096A1 (en) * 1997-07-07 2003-06-19 Kabushiki Kaisha Toshiba Multi-screen display system for automatically changing a plurality of simultaneously displayed images
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
JP4411499B2 (ja) * 2000-06-14 2010-02-10 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US7154906B2 (en) * 2001-01-30 2006-12-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code
US20040096199A1 (en) * 2002-11-14 2004-05-20 Chou Charles C.L. Editing system and software for automatically creating interactive media
JP4902935B2 (ja) * 2003-05-08 2012-03-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体
JPWO2005013274A1 (ja) * 2003-07-30 2006-09-28 松下電器産業株式会社 データ処理装置
US8175444B2 (en) * 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
KR101022471B1 (ko) * 2004-01-17 2011-03-16 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
EP2605243B1 (en) * 2008-09-17 2014-12-31 Panasonic Corporation Playback device
DE102013109911A1 (de) * 2013-09-10 2015-03-12 Kurt Putz Orale Verabreichungsform, enthaltend ein Gemisch aus festen Stimulantien und Kräuterextrakte der traditionellen chinesischen Medizin
US10356450B2 (en) * 2013-09-12 2019-07-16 Sony Corporation Encoding device, transmission device, and reception device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
KR19980036074A (ko) * 1996-11-15 1998-08-05 배순훈 디코더 시스템의 비디오/오디오 동기화 장치
JPH11112936A (ja) * 1997-10-02 1999-04-23 Nec Corp オーディオ・ビデオ同期再生装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5652627A (en) * 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6148135A (en) * 1996-01-29 2000-11-14 Mitsubishi Denki Kabushiki Kaisha Video and audio reproducing device and video decoding device
US6212208B1 (en) * 1996-11-11 2001-04-03 Matsushita Electric Industrial Co., Ltd. Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
KR19980036074A (ko) * 1996-11-15 1998-08-05 배순훈 디코더 시스템의 비디오/오디오 동기화 장치
JPH11112936A (ja) * 1997-10-02 1999-04-23 Nec Corp オーディオ・ビデオ同期再生装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1019980036074 *

Also Published As

Publication number Publication date
JP4006840B2 (ja) 2007-11-14
CN1244707A (zh) 2000-02-16
US6718119B1 (en) 2004-04-06
JP2000057691A (ja) 2000-02-25
KR20000017185A (ko) 2000-03-25
CN1114210C (zh) 2003-07-09

Similar Documents

Publication Publication Date Title
KR100290331B1 (ko) 오디오-비디오 신호의 동기 재생 장치
JP3039624B2 (ja) オーディオ・ビデオ同期再生装置
KR100619087B1 (ko) 재생 장치 및 재생 방법
JP5059301B2 (ja) 同期再生装置および同期再生方法
WO2005117432A1 (ja) 番組録画装置および番組録画方法
JP4589120B2 (ja) 停止映像が記録された情報保存媒体、その再生装置及び方法
KR20030012761A (ko) 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램
EP1609150A1 (en) Cpi data for steam buffer channels
KR100629093B1 (ko) 디코딩 장치 및 디코딩 방법
EP1995731B1 (en) Method to guarantee seamless playback of data streams
JP2006518962A (ja) ブラウザブルスライドショー提供のためのデータ復号装置、その復号方法及びそのための情報保存媒体
JPH10285548A (ja) 符号化装置及び方法、復号装置及び方法、編集方法
EP1988710B1 (en) A data decoding method and apparatus
JP3918332B2 (ja) 多重化装置、多重化方法及び記録媒体
JP3986147B2 (ja) 音響信号処理装置及びオーディオ高速再生方法
JPH0898160A (ja) データ多重化装置
JP3592906B2 (ja) データ処理同期装置
JPH11346341A (ja) 光ディスクとその記録装置、記録方法、再生装置および再生方法
JP2008177874A (ja) 記録装置、記録方法、プログラム、及び記憶媒体
JPH11298859A (ja) 映像信号符号化システム及び映像信号符号化方法
KR100987767B1 (ko) 정지 영상이 기록된 정보 저장 매체, 그 재생 장치 및 방법
JP3889338B2 (ja) データ記録方法、データ記録装置、データ変換方法、データ変換装置、データ記録媒体、データ記録のためのプログラムおよびそのプログラムを記録した記録媒体
JP4800824B2 (ja) 記録媒体
JPH10262219A (ja) ディジタル信号再生方法及び装置
JP4813905B2 (ja) 再生装置及び方法、記録媒体、データ構造、並びに記録装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110915

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20120917

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee