KR100731488B1 - 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법 - Google Patents

연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR100731488B1
KR100731488B1 KR1020000057910A KR20000057910A KR100731488B1 KR 100731488 B1 KR100731488 B1 KR 100731488B1 KR 1020000057910 A KR1020000057910 A KR 1020000057910A KR 20000057910 A KR20000057910 A KR 20000057910A KR 100731488 B1 KR100731488 B1 KR 100731488B1
Authority
KR
South Korea
Prior art keywords
video
audio
dts
information
timing
Prior art date
Application number
KR1020000057910A
Other languages
English (en)
Other versions
KR20010050811A (ko
Inventor
윤종성
장순화
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020000057910A priority Critical patent/KR100731488B1/ko
Publication of KR20010050811A publication Critical patent/KR20010050811A/ko
Application granted granted Critical
Publication of KR100731488B1 publication Critical patent/KR100731488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 멀티미디어 데이터 처리 시스템에서 시스템의 다른 요소들과는 독립적으로 데이터의 타이밍 동기를 처리하는 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 산출하여 타이밍을 처리하는 다중화 처리수단; 및 획득된 요소디코딩에서 출력까지의 디코딩지연시간, 타이밍 정보 및 브이비브이(vbv) 지연시간을 바탕으로 요소스트림의 출력 시점을 산출하여 비디오와 오디오를 동기시키며 요소스트림의 출력시점을 제어하기 위한 역다중화 처리수단을 포함함.
4. 발명의 중요한 용도
본 발명은 요소시스템의 타이밍 처리 등에 이용됨.
타이밍 처리, 시스템과 독립, 출력 동기, 간단한 인터페이스

Description

연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법{Apparatus and Method for Processing Timing}
도 1 은 본 발명을 설명하기 위한 엠펙(MPEG) 코덱 지연 모델의 일예시도.
도 2 는 본 발명에 따른 다중화기와 역다중화기를 이용한 타이밍 처리 장치 및 그 방법에 대한 일실시예 구성도.
* 도면의 주요 부분에 대한 부호의 설명
110 : 비디오인코더 120 : 오디오인코더
130 : 다중화기 140 : 역다중화기
150 : 비디오디코더 160 : 오디오디코더
본 발명은 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법에 관한 것으로, 특히 멀티미디어 데이터 처리 시스템에서 요소시스템간의 인터페이스를 단순 하게 하고 요소시스템과 독립적으로 타이밍 동기를 처리하는 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법에 관한 것이다.
본 발명은 엠펙(MPEG : Motion Picture Expert Group, MPEG-1 및 MPEG-2) 시스템 등과 같은 멀티미디어 데이터 처리 시스템의 비디오/오디오 타이밍 동기를 위한 다중화기 및 역다중화기에서의 타이밍 처리에 관한 것으로서, 종래 기술은 다중화기가 타이밍 정보를 계산함에 있어 비디오인코더와 오디오인코더를 제어하며 동작중에 변하는 파라미터를 별도의 신호선을 통해 받아들였다. 또한, 역다중화기는 타이밍동기를 위해 비디오디코더 및 오디오디코더로 타이밍정보를 전달하고 이들 요소디코더는 타이밍동기를 위한 별도의 하드웨어를 갖추는 것을 요구하였다. 이에 따라 타이밍처리시스템(다중화기와 역다중화기)과 요소시스템과의 인터페이스가 복잡하였으며, 요소시스템의 사양 결정에 타이밍처리시스템의 요구를 반영해야 하는 등의 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 멀티미디어 데이터 처리 시스템에서 시스템의 다른 요소들과는 독립적으로 데이터의 타이밍 동기를 처리하는 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.
즉, 본 발명은, 요소시스템과의 인터페이스를 단순하게 하고 요소시스템이 독자적으로 구현될 수 있도록 하기 위해, 다중화기에서는 요소시스템의 동작전에 설정되는 고정값 파라미터와 요소스트림에 포함되어 있는 타이밍 파라미터를 이용하여 타이밍 정보를 산출하고, 역다중화기에서는 비디오스트림과 오디오스트림의 요소디코더로의 출력 시점을 제어하여 동기를 맞추는, 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 연관 시스템과 독립적인 타이밍 처리 장치에 있어서, 다중화 전략에 따라 입력된 비디오 정보를 버퍼링하기 위한 비디오 버퍼; 오디오 정보와 비디오 정보의 동기화 처리를 위해 입력된 오디오 정보를 소정 시간 동안 지연시키기 위한 지연 버퍼; 다중화 전략에 따라 상기 지연 버퍼로부터의 오디오 정보를 버퍼링하기 위한 오디오 버퍼; 및 상기 비디오 버퍼와 상기 오디오 버퍼로부터 비디오 정보와 오디오 정보를 전달받아 동작전에 결정되는 파라미터, 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보를 구하고 다중화 처리를 수행하기 위한 다중 처리수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 장치는, 연관 시스템과 독립적인 타이밍 처리 장치에 있어서, 다중화기로부터의 비트스트림이 통신 매체를 통해 전달될 때 포함되는 지터의 보상을 처리하기 위한 지터 버퍼; 비디오와 오디오의 출력을 동기시키기 위해 요소스트림의 출력시점을 산출하고 제어하기 위한 역다중 처리수단; 가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 비디오 정보를 역다중화 처리할 수 있도록 하는 비디오 버퍼; 가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 오디오 정보를 역다중화 처리할 수 있도록 하는 오디오 버퍼; 및 비디오와 오디오의 출력 동기를 맞추기 위해 상기 역다중 처리수단의 제어에 따라 비디오 정보 또는 오디오 정보를 선택적으로 소정시간동안 지연시키기 위한 지연 버퍼를 포함하는 것을 특징으로 한다.
또한, 본 발명의 또 다른 장치는, 연관 시스템과 독립적인 타이밍 처리 장치에 있어서, 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 산출하여 타이밍을 처리하는 다중화 처리수단; 및 획득된 요소디코딩에서 출력까지의 디코딩지연시간, 타이밍 정보 및 브이비브이(vbv) 지연시간을 바탕으로 요소스트림의 출력 시점을 산출하여 비디오와 오디오를 동기시키며 요소스트림의 출력시점을 제어하기 위한 역다중화 처리수단을 포함주는 것을 특징으로 한다.
한편, 본 발명의 방법은, 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서, 동작전에 결정되는 파라미터(M, Tvideo, dVE, dAE, dVB)와 입력되는 요소비트스트림 속의 타이밍정보(tI video(j), tI audio(j), dvbv(j)), 그리고 자체적으로 결정할 수 있는 정보(dsys)를 획득하는 단계; 획득된 정보(tI video(j), dvbv(j), dsys)를 바탕으로 비디오에 대한 디코딩 타임 정보(DTS)를 산출하는 단계; 처리 비디오의 타입에 따라 산출된 비디오 디코딩 타임 정보(DTSvideo) 또는 비디오 디코딩 타임 정보(DTSvideo)에 최대 프레임 간격(M)과 프레임주기(Tvideo)를 곱하여 얻은 시간(M*Tvideo)을 더한 값을 비디오 프리젠테이션 타임 정보(PTS)로 판단하는 단계; 및 획득된 정보(tI audio(j), dVE, dAE, dVB, M*Tvideo, dsys)에 대해 오디오 인코딩 지연시간(dAE)을 제외한 정보의 값을 더하고 오디오 인코딩 지연시간(dAE)을 제하여 오디오에 대한 타이밍 정보(DTS, PTS)를 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 방법은, 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서, 역다중화 처리에 있어 요소스트림의 출력시점을 제어하기 위해 비디오 디코딩 지연시간(dVD)이 오디오 디코딩 지연시간(dAD)보다 큰지를 판단하는 단계; 상기 판단 결과, 비디오 디코딩 지연시간(dVD)이 더 크면, 획득된 비디오 디코딩 타임 정보(DTSvideo)에서 브이비브이(VBV) 지연시간(dVBV)을 제하여 비디오 출력시간(tO video)을 산출하고 오디오 디코딩 타임 정보(DTSaudeo)에 비디오 디코딩 지연시간(dVD)에서 오디오 디코딩 지연시간(dAD)을 제한 값을 더하여 오디오 출력시간(tO audeo)을 산출하는 단계; 및 상기 판단 결과, 비디오 디코딩 지연시간(dVD)이 크지 않으면, 획득된 비디오 디코딩 타임 정보(DTSvideo)에서 브이비브이(VBV) 지연시간(dVBV)을 제하고 비디오 디코딩 지연시간(dVD)에서 오디오 디코딩 지연시간(dAD)을 제한 값을 더하여 비디오 출력시간(tO video)을 산출하고 오디오 디코딩 타임 정보(DTSaudeo)를 오디오 출력시간(tO audeo)을 산출하는 단계를 포함하는 것을 특징으로 한다.
이처럼 본 발명은, 비디오인코더, 오디오인코더, 다중화기로 구성되는 MPEG(MPEG-1 및 MPEG-2) 인코더와 역다중화기, 비디오디코더, 오디오디코더로 구성되는 MPEG 디코더에서 비디오와 오디오의 디코더 최종 출력이 동기(Lip Sync)되도록 해주는 다중화기와 역다중화기를 요소인코더(비디오인코더, 오디오인코더)와 요소디코더(비디오디코더와 오디오디코더)와의 인터페이스를 단순하게 하고 요소시스템이 타이밍처리기와 무관하게 독립적으로 구현될 수 있도록 하는 것이 그 요지이다.
실시간 멀티미디어 통신은 데이터가 인코더의 입력에서와 동일한 속도로 디코더에서 출력이 되어야 하며 출력되는 미디어간에는 동기(Lip Sync)가 이루어져야 한다. MPEG-2에서는 이를 위해 피시알(PCR : Program Clock Reference), 디티에스(DTS : Decoding Time Stamp), 피티에스(PTS : Presentation Time Stamp) 라는 타이밍정보를 전송한다. 본 발명에서는 MPEG-2 시스템의 타이밍을 분석하고 비디오/오디오의 타이밍동기 구현(다중화기에서의 DTS/PTS 값 계산, 역다중화기에서의 타이밍처리, 동기를 위한 다중화기와 역다중화기의 버퍼 구성)을 제시한다. 이의 구현은 다중화기와 역다중화기가 비디오/오디오의 동기를 위해 요소시스템에 대해 어떠한 제어나 통신을 요구함이 없이 동작전에 설정되는 상수 파라미터와 입력 데이터로부터 추출하는 변수 파라미터만을 사용하여 타이밍처리를 한다. 이에 따라 본 발명은 요소시스템과 다중화/역다중화기와의 인터페이스를 단순하게 하며, 요소인코더와 요소디코더가 다중화기 및 역다중화기와 관계없이 독립적으로 구현될 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
본 발명에 대해 엠펙-2(MPEG-2)를 예로 들어 간단히 설명한다.
MPEG-2는 비디오와 오디오에 대한 부호화와 다중화를 규정하고 있는 국제표준이다. MPEG-2의 압축계층에서는 비디오와 오디오에 대한 압축부호화를 규정하고 시스템계층에서는 비디오데이터와 오디오데이터의 다중화를 규정한다. 다중화는 인코더/디코더의 동기 및 비디오/오디오 동기를 위한 타이밍 정보를 포함한다.
본 발명의 실시예에서는 MPEG-2 시스템의 구현에서 비디오와 오디오를 동기시켜 출력하기 위한 시스템 계층에서의 타이밍 구현(다중화기에서의 타이밍 파라미터 계산, 역다중화기에서의 이들 타이밍 정보의 처리, 동기를 구현하기 위한 다중 화기와 역다중화기의 버퍼)을 다룬다.
인코더와 디코더가 지연을 갖는 실제 구현에서 비디오와 오디오를 동기시켜 주기 위한 방법들이 제시되어 왔으나, 이들 방법은 다중화기가 요소인코더(비디오인코더, 오디오인코더)의 동작을 제어하며 역다중화기가 요소디코더(비디오디코더, 오디오디코더)에게 타이밍 처리를 위해 요소시스템과의 어떠한 제어나 통신없이 동작전에 결정되는 상수 파라미터만을 사용함으로써 MPEG-2 시스템의 모듈화 및 인터페이스를 단순하게 하며 요소시스템이 독립적으로 구현될 수 있게 한다.
MPEG 시스템의 타이밍에 관하여 살펴보면 다음과 같다.
도 1 은 본 발명을 설명하기 위한 엠펙(MPEG) 코덱 지연 모델의 일예시도이다.
MPEG 인코더는 비디오데이터를 압축하는 비디오인코더(110), 오디오데이터를 압축하는 오디오인코더(120), 그리고 이들 데이터를 타이밍정보와 함께 다중화하는 다중화기(130)로 구분되며, MPEG 디코더는 비디오와 오디오데이터의 역다중화와 타이밍처리하는 역다중화기(140), 비디오데이터를 복호화하는 비디오디코더(150), 오디오데이터를 복호하는 오디오디코더(160)로 구분된다.
여기서 비디오인코더(110)는 부호화의 픽쳐 순서 조정을 위해 B픽쳐를 지연시키는 인코더재배열버퍼(111), 가변율로 부호화하는 비디오부호화기(112), 가변율의 부호화 비트를 고정율로 출력해주는 채널버퍼(113)로 나누어지며, 비디오디코더(150)는 고정율로 입력되는 비트를 가변율로 출력해주는 브이비브이(VBV : Video Buffering Verifier)버퍼, VBV버퍼로부터 가변율로 읽어 복호화하는 비디오복호기, I픽쳐와 P픽쳐를 인코더에서의 B픽쳐만큼 지연시켜주는 디코더재배열버퍼로 나누어진다.
비디오부호화기(112)는 입력픽쳐를 I픽쳐(프레임내(Intra)의 정보만을 이용하여 부호화하는 픽쳐부호화모드), P픽쳐(순방향예측(Prediction)픽쳐부호화모드로서 입력순서상에서 이전 프레임을 참조하여 부호화하는 픽쳐모드), 또는 B픽쳐(양방향(Bi-direction)예측픽쳐부호화모드로서 입력순에서 이전(previous) 프레임과 이후(next) 프레임을 참조하여 부호화하는 픽쳐모드)로 부호화하며, I픽쳐나 P픽쳐로 부호화되는 픽쳐는 비디오인코더에 입력되는대로 부호화가 이루어지나 B픽쳐의 경우 뒤따라 입력되는 P픽쳐를 부호화한 후에야 부호화가 가능하다. 도 1 에 제시된 인코더재배열버퍼(111)가 이러한 B픽쳐를 저장하기 위한 버퍼이다.
비디오디코더(150)에서는 비디오인코더의 입력순서와 동일하게 픽쳐를 출력시키기 위해 B픽쳐는 복호화되는대로 출력(presentation)하며 I나 P픽쳐는 인코더에서 B픽쳐가 지연된 만큼 디코더에서 지연시켜 출력한다.
그리고, 비디오인코더(110)는 픽쳐의 부호화모드(I, P, B픽쳐) 및 입력영상의 특성에 따라 픽쳐의 부호화비트 발생율이 변한다. 그러나, 비디오인코더(110)의 출력은 고정비트율(constant bit rate)이다. 비디오인코더(110)에 위치하는 채널버퍼(113)가 이를 위한 버퍼이다. 비디오인코더(110)의 출력 비트스트림에는 출력비트율(bit_rate), 프레임율(frame_rate), VBV버퍼크기(vbv_buffer_size), VBV지연(vbv_delay)이라는 타이밍 정보가 포함되어 있으며, 비디오인코더(110)는 이들 파라미터에 따라 동작하는 가상의 디코더(VBV : Video Buffering Verifier)가 디코딩했을 때 VBV버퍼의 넘침이나 고갈이 없이 정상적으로 동작하는 그런 비트스트림을 생성해 주어야 한다.
여기서, 픽쳐마다 전송되는 vbv_delay는 해당 픽쳐데이터의 최초 바이트가 VBV 디코더에 입력되는 시점으로부터 VBV가 디코딩할 때까지의 VBV버퍼에서 기다려야 할 시간을 나타내며 이때 데이터의 VBV버퍼 입력율은 비트스트림에 포함되어 있는 비트율(bit_rate)이고 버퍼크기는 vbv_buffer_size이다. 한편 비디오디코더는 VBV로 디코딩하여 문제없는 어떠한 비트스트림도 디코딩할 수 있는 그런 크기의 버퍼를 마련하고 있어야 하는데 도 1 에서 VBV버퍼가 그것이다.
입력순서와 부호화순서가 같지 않고 픽쳐의 부호화비트 발생율이 일정하지 않은 비디오와 달리 오디오는 입력 프레임의 순서대로 부호화가 이루어지고 프레임당 부호화비트 발생수도 입력 데이터 샘플율(sampling_frequency)과 출력 데이터율(bit_rate)에 따라 결정되는 고정값이다. 이에 따라 도 1 의 지연모델에서 오디오에 대해서는 내부가 구분되지 않고 있다.
실시간 멀티미디어 서비스에서 미디어내의 모든 데이터는 인코더의 입력 시점에서 디코더의 출력시점까지 동일한 지연을 가져야 하며, 미디어간에는 타이밍동기(Lip Sync)가 이루어져야 한다. 도 1 의 다중화기(130)와 역다중화기(140)에 대해 규정한 MPEG-1 및 MPEG-2 표준의 시스템부에서는 디코더(150)에서의 인코더(110)와의 타이밍동기를 위해 에스씨알(SCR : System Clock Reference) 또는 피씨알(PCR : Program Clock Reference)이라는 타이밍 정보와 디코더(150)에서의 비디오와 오디오의 타이밍동기(Lip Sync)를 위해 디티에스(DTS : Decoding Time Stamp)와 피티에스(PTS : Presentation Time Stamp)라는 타이밍정보를 규정하고 있다.
SCR은 디지털저장매체를 위해 규정한 MPEG-1과 MPEG-2의 피에스(PS : Program Stream) 규격에서 사용되고, PCR은 방송, 통신 등 전송오류의 가능성이 있는 응용을 위해 규정한 티에스(TS : Transport Stream) 규격에서 사용된다. DTS와 PTS는 MPEG-1 및 MPEG-2의 PS와 TS에 동일하게 적용되는 타이밍변수이며 타이밍의 단위데이터인 에이유(AU : access unit)의 디코딩 시점과 AU의 디코딩데이터인 피유(PU : presentation unit)의 출력(presentation) 시점을 나타낸다. MPEG 디코더는 PCR을 통해 인코더의 시스템클럭을 복원하며 DTS와 PTS를 통해 비디오와 오디오의 출력을 동기시킨다.
MPEG은 이들 타이밍의 기준을 위해 에스티디(STD : System Target Decoder)라는 가상의 디코더와 비디오 및 오디오의 타이밍의 단위데이터인 에이유(AU : access unit)를 규정하고 있다. 비디오는 픽쳐를, 오디오는 프레임을 AU로 하며 STD는 AU 데이터를 DTS 시점에 순간적으로 디코딩하고 PTS 시점에 순간적으로 출력하는 것으로 되어 있다. 또한 복호화시 비디오의 B픽쳐나 오디오 프레임 같이 디코딩 후 바로 출력되는 AU는 DTS와 PTS값이 동일해야 하며 디코더에서 픽쳐재배열지연을 겪는 비디오의 I나 P픽쳐는 DTS와 PTS의 값이 픽쳐 주기의 배수가 되어야 한다. 이때 인코더의 타이밍처리기인 다중화기는 이 가상 디코더가 디코딩할 때 비디오와 오디오가 동기가 되도록 비디오 AU 및 오디오 AU에 대한 DTS와 PTS를 계산하여 전송해야 하며 MPEG 디코더의 타이밍처리기인 역다중화기는 이러한 DTS와 PTS 정보를 이용하여 동기처리를 해 주어야 한다. 또한, STD는 비디오, 오디오, 및 시스템정보등을 다중화하기 위한 버퍼크기, 각 버퍼의 버퍼링데이터, 각 버퍼의 입출력율, 인코더의 시스템클럭주파수 정밀도, STD 입력율 등의 규정을 포함한다.
본 발명에서는 다중화기에서의 DTS와 PTS 산출 방식과 지연이 있는 실제의 디코더에서 역다중화기의 타이밍 처리 방식, 그리고 이러한 타이밍 처리를 위한 다중화기 및 역다중화기의 버퍼 구성에 대해 기술한다.
그럼 첫번째로, 다중화기에서의 타이밍정보(DTS, PTS) 산출 방식에 대하여 살펴보면 다음과 같다.
다중화기(130)에서의 비디오와 오디오의 타이밍동기를 위한 처리는 비디오의 AU와 오디오의 AU에 대한 DTS와 PTS의 값을 구해 비트스트림의 피이에스(PES : Packetized Elementary Stream) 헤더에 심어주는 것이다.
다중화기(130)에서의 DTS와 PTS 값은 STD가 디코딩할때 버퍼링 조건을 만족하면서 비디오와 오디오가 동기되어 출력되도록 값을 설정해 주어야 한다. 다음은 본 발명의 비디오 및 오디오의 AU에 대한 DTS와 PTS 값의 계산식이다.
Figure 112007020618738-pat00001
PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
= DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
Figure 112007020618738-pat00002
PTSaudio(j) = DTSaudio(j)
비디오 DTS는 비디오 AU의 최초 바이트가 다중화기(130)에 입력되는 시점(tI video(j))을 기준으로 비디오 AU의 vbv_delay(dvbv(j))와 dsys (다중화기 지연(dmux)과 STD의 역다중화기 지연(ddemux)의 합)으로 결정되며, 비디오 PTS는 DTS를 기준으로 픽쳐부호화모드(I, P, B픽쳐), 참조프레임(I 또는 P프레임) 사이의 최대 프레임 간격(M), 프레임주기(Tvideo)에 따라 결정된다. 비디오 PTS에 대한 수학식인 [수학식 2]는 비디오인코더(110)가 B픽쳐를 M*Tvideo 만큼 지연시켜 인코딩한 것에 대해 I와 P픽쳐를 디코더에서 그만큼 지연시키는 것을 나타내며 이것은 픽쳐 재배열 효과가 생긴다.
[수학식 3]과 [수학식 4]는 오디오의 DTS와 PTS에 대한 수학식이다. 여기서 dVB는 dVbuf와 dvbv(j)를 합한값으로서 고정값이다. 동기를 위해 오디오의 인코더 입력시점에서 STD 디코더의 출력시점(PTS)까지의 전체 지연이 비디오의 전체 지연과 같아야 한다. 따라서 오디오의 DTS값은 [수학식 3]과 같이 AU의 첫 바이트 입력시점을 기준으로 (비디오전체지연 - dAE)값을 더해준 값이 된다. 여기서, DVE는 비디오 부호화기에서의 지연이고, DAE는 오디오 인코더(120)에서의 지연이다.
이상과 같은 DTS/PTS 연산에는 동작전에 결정되는 파라미터(M, Tvideo, dVE, dAE, dVB)와 입력되는 데이터로부터 추출(tI video(j), tI audio(j), dvbv(j))되거나 자체적으로 결정(dsys)할 수 있는 파라미터만이 사용되고 있음을 볼 수 있다. 여기서 다중화기지연(dmux)은 자체적으로 알 수 있고, 역다중화기지연(ddemux)은 STD의 규정에 의해 유도할 수 있다. 따라서, 본 발명에 따른 DTS와 PTS 연산은 동작중에 변하는 파라미터를 별도의 신호선을 통해 받아들일 필요가 없으며 다중화기(130)가 비디오인코더(110) 및 오디오인코더(120)를 제어할 필요도 없다.
다음으로, 역다중화기(140)에서의 요소스트림 출력 시점 산출 방식을 살펴보면 다음과 같다.
이는 역다중화기(140)에서의 비디오/오디오 타이밍동기 처리에 관한 설명이다. 본 발명은 역다중화기(140)의 시스템클럭 복원에 대해서는 다루지 않으며 여기 설명에서는 역다중화기(140)가 MPEG-1 및 MPEG-2의 피에스(PS : Program Stream)의 경우 SCR을 통해, MPEG-2의 티에스(TS : Transport Stream)의 경우 PCR을 통해 이미 시스템클럭이 복원되어 있다는 것을 전제한다. 디코더의 시스템클럭 복원은 인코더에서 사용한 타이밍 클럭의 복원과 DTS와 PTS 처리를 위한 기준시계의 설정을 의미한다. 역다중화기(140)의 입력 데이터에는 STD가 디코딩할때 비디오와 오디오가 동기되어 출력되도록 하는 DTS와 PTS가 심어져 있다. 역다중화기(140)의 타이밍처리는 이들 타이밍 정보로부터 STD의 비디오 및 오디오디코더 동작 규정과 달리 각기 다른 지연값을 갖는 비디오디코더(150)와 오디오디코더(160)에서의 최종 출력이 동기되도록 하는 것이다. 본 발명은 역다중화기(140)가 요소스트림(비디오스트림과 오디오스트림)의 출력 시점을 제어하는 방식으로 비디오와 오디오의 최종 출력을 동기시킨다. 도 1 의 지연모델에 따른 비디오 및 오디오 AU의 역다중화기(140) 출력시점(tO video(j), tO audio(j))은 다음과 같다.
만약, dVD 〉 dAD 이면,
tO video(j) = DTSvideo(j) - dvbv(j)
dAD > dVD 이면,
tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
만약, dVD 〉 dAD 이면,
tO audio(j) = DTSaudio(j) + (dVD - dAD)
dAD > dVD 이면,
tO audio(j) = DTSaudio(j)
여기서, dVD와 dAD는 요소디코더(비디오디코더와 오디오디코더)의 디코딩에서 출력까지의 시간으로서 디코딩지연시간이며 비디오의 픽쳐 재배열 지연은 포함하지 않는다.
dVD와 dAD는 역다중화기(140)에 접속되는 비디오디코더(150)와 오디오디코더(160)의 구현 스펙에서 제공되는 상수이며, dvbv(j)는 비디오의 AU에 따라 변하는 변수로서 비디오스트림의 픽쳐헤더를 디코딩하여 추출한다.
상기한 [수학식 5] 및 [수학식 6]에 따라 역다중화기(140)가 요소스트림을 요소디코더에 공급해 주면 요소디코더는 요소인코더와 직접 접속되어 동작하듯이 AU를 디코딩하여 출력하며 그것에 따른 결과는 비디오와 오디오가 동기되어 있다. 물론 비디오디코더(150)는 자체적으로 픽쳐를 재배열하여 출력할 수 있다.
다음으로, 본 발명의 타이밍 처리를 위한 다중화기(130)와 역다중화기(140)의 버퍼 구성을 도 2 를 통해 살펴보면 다음과 같다.
도 2 는 본 발명에 따른 다중화기와 역다중화기를 이용한 타이밍 처리 장치에 대한 일실시예 구성도이다.
다중화기(130)와 역다중화기(140)는 비디오와 오디오의 타이밍동기와 관계없이 비디오, 오디오 및 시스템 정보를 다중화 및 역다중화를 하기 위한 버퍼가 필요하다. 도 2 에서 다중화기(130) 및 역다중화기(140)의 비디오버퍼(131, 143)와 오디오버퍼(133, 144) 블록이 그것이다. 이들 버퍼의 크기는 다중화기(130)에서는 자신의 다중화 전략에 의해 결정되고, 역다중화기(140)에서는 STD를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기가 되어야 한다.
역다중화기(140)에서의 지터버퍼는 ATM망과 같은 매체를 통해 다중화기(130)에서 출력되는 비트스트림이 역다중화기(140)로 전달될 때 포함되는 지터의 보상을 위한 버퍼로서 버퍼크기는 (최대지터시간 * TS비트율 *2) 이다. 도 2 에서 나머지 버퍼(다중화기 및 역다중화기에서의 지연버퍼(132, 146))는 비디오와 오디오의 동기를 위한 본 발명을 구현하기 위한 버퍼이다. 다중화기(130)의 다중처리와 역다중화기(140)의 역다중처리에는 비디오/오디오 타이밍동기를 위한 상수 파라미터가 제공된다.
다중화기(130)에서의 지연버퍼(132)는 다음과 같이 설명된다.
다중화기(130)의 출력 비트스트림은 STD에서 버퍼 넘침없이 디코딩되어야 한다. 상기한 [수학식 3]에서 보듯이 오디오는 비디오와의 동기를 위해 많은 시간 지연을 포함하고 있다. 비디오의 지연은 비디오시스템내의 버퍼에서 수용되나 오디오의 경우는 오디오시스템내에 지연을 위한 어떠한 버퍼도 없으며 또한 STD에도 이를 위한 버퍼가 없다. 따라서 결국 오디오는 다중화기(130)에서 버퍼를 두어 지연을 시켜주어야 한다. 버퍼의 크기는 [(dVE - dAE + dVB + M*Tvideo + dsys) * 오디오부호화 비트율]로서 이들 변수의 최대허용치를 규정함으로써 결정된다.
역다중화기(140)에서의 지연버퍼(146)는 [수학식 5]와 [수학식 6]의 동기 처리를 위한 버퍼이다. dVD가 dAD보다 크면 오디오쪽에 [(dVD - dAD )*오디오 부호화비트율] 크기의 버퍼를, dAD가 dVD보다 크면 비디오 패스에 [(dAD - dVD )*비디오 부호화비트율] 크기의 버퍼가 요구된다. 디코딩지연(dVD, dAD)은 비디오의 경우 필드픽쳐모드에서 5ms 이내로, 오디오의 경우 48KHz의 샘플율에서 24ms(프레임 주기)가 될 수 있다. 이들 값은 각각 비디오와 오디오의 최소 지연값으로서 최소의 지연은 오디오가 크나 응용에 따라 비디오가 클 수도 있다. 도 2 는 어떠한 경우에도 가능하도록 하나의 버퍼로 비디오지연버퍼 혹은 오디오지연버퍼로 구성되도록 한 것이다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 다중화기와 역다중화기의 타이밍처리시 요소인코더(비디오인코더와 오디오인코더) 및 요소디코더(비디오디코더와 오디오디코더)와 별도의 타이밍을 위한 정보 교환을 요구하지 않는 방법으로서, 타이밍처리기(다중화기와 역다중화기)와 요소시스템과의 인터페이스를 단순하게 하며, 요소시스템을 타이밍처리기와 무관하게 개발할 수 있게 하는 효과가 있다. 또한, 요소디코더로 하여금 비디오/오디오 타이밍동기를 위한 어떠한 하드웨어도 요구하지 않는다.

Claims (18)

  1. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    다중화 전략에 따라 입력된 비디오 정보를 버퍼링하기 위한 비디오 버퍼;
    오디오 정보와 비디오 정보의 동기화 처리를 위해 입력된 오디오 정보를 소정 시간 동안 지연시키기 위한 지연 버퍼;
    다중화 전략에 따라 상기 지연 버퍼로부터의 오디오 정보를 버퍼링하기 위한 오디오 버퍼; 및
    상기 비디오 버퍼와 상기 오디오 버퍼로부터 비디오 정보와 오디오 정보를 전달받아 동작전에 결정되는 파라미터, 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보를 구하고 다중화 처리를 수행하기 위한 다중 처리수단
    을 포함하는 연관 시스템과 독립적인 타이밍 처리 장치.
  2. 제 1 항에 있어서,
    상기 지연 버퍼는,
    채널버퍼에서의 지연시간(dVbuf), 브이비브이(VBV : Video Buffering Verifier) 지연시간(dVBV), 비디오 인코더 지연시간(dVE), 최대 프레임 간격(M)과 프 레임주기(Tvideo)를 곱하여 얻은 시간(M*Tvideo) 및 시스템 지연시간(dsys)을 합하고 오디오 인코더 지연시간(dAE)를 감하여 오디오부호화 비트율을 곱함으로써 버퍼의 크기를 결정하는 것을 특징으로 하는 연관시스템과 독립적인 타이밍 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 다중 처리수단은,
    요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터(M, Tvideo, dVE, dAE, dVB)와 입력되는 요소비트스트림 속의 타이밍정보(tI video(j), tI audio(j), dvbv(j)), 그리고 자체적으로 결정할 수 있는 정보(dsys)를 이용하여 타이밍정보(DTS(Decoding Time Stamp), PTS(Presentation Time Stamp))를 하기의 [수학식]에 따라 산출하여 타이밍을 처리하는 것을 특징으로 하는 연관 시스템과 독립적인 타이밍 처리 장치.
    [수학식]
    DTSvideo(j) = tI video(j) + dvbv(j) + dsys
    PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
    = DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
    DTSaudio(j) = tI audio(j) + (dVE - dAE) + dVB + M*Tvideo + dsys
    PTSaudio(j) = DTSaudio(j)
  4. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    다중화기로부터의 비트스트림이 통신 매체를 통해 전달될 때 포함되는 지터의 보상을 처리하기 위한 지터 버퍼;
    비디오와 오디오의 출력을 동기시키기 위해 요소스트림의 출력시점을 산출하고 제어하기 위한 역다중 처리수단;
    가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 비디오 정보를 역다중화 처리할 수 있도록 하는 비디오 버퍼;
    가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 오디오 정보를 역다중화 처리할 수 있도록 하는 오디오 버퍼; 및
    비디오와 오디오의 출력 동기를 맞추기 위해 상기 역다중 처리수단의 제어에 따라 비디오 정보 또는 오디오 정보를 선택적으로 소정시간동안 지연시키기 위한 지연 버퍼
    를 포함하는 연관 시스템과 독립적인 타이밍 처리 장치.
  5. 제 4 항에 있어서,
    상기 지터 버퍼는,
    최대지터시간과 전송 스트림(TS : Transport Stream) 비트율을 곱하여 2배한 값의 버퍼크기를 갖는 지터 버퍼인 것을 특징으로 하는 연관시스템과 독립적인 타이밍 처리 장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 역다중 처리수단은,
    획득된 요소디코딩에서 출력까지의 디코딩지연시간(dVD, dAD), 타이밍 정보(DTSvideo, DTSaudio) 및 vbv 지연시간(dvbv)을 바탕으로 하기의 [수학식]에 따라 요소스트림의 출력 시점을 산출하여 비디오와 오디오를 동기시키며 요소스트림의 출력시점을 제어하기 위한 연관 시스템과 독립적인 타이밍 처리 장치.
    [수학식]
    만약, dVD > dAD 이면
    tO video(j) = DTSvideo(j) - dvbv(j)
    tO audio(j) = DTSaudio(j) + (dVD - dAD)
    dAD > dVD 이면
    tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
    tO audio(j) = DTSaudio(j)
  7. 제 6 항에 있어서,
    상기 지연버퍼는,
    디코딩에서 출력까지의 디코딩지연시간(dVD, dAD)을 확인하여 비디오 디코딩지연시간(dVD)이 크면 상기 오디오 버퍼로부터의 오디오 스트림에 대해 비디오와 오디오 디코딩 지연시간의 차이를 오디오 부호화비트율로 곱하여 얻은 크기의 버퍼 역할을 수행하며, 오디오 디코딩지연시간(dAD)이 크면 상기 비디오 버퍼로부터의 비디오 스트림에 대해 오디오와 비디오 디코딩 지연시간의 차이를 비디오 부호화비트율로 곱하여 얻은 크기의 버퍼 역할을 수행하는 것을 특징으로 하는 연관시스템과 독립적인 타이밍 처리 장치.
  8. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 산출하여 타이밍을 처리하는 다중화 처리수단; 및
    획득된 요소디코딩에서 출력까지의 디코딩지연시간, 타이밍 정보 및 브이비브이(vbv) 지연시간을 바탕으로 요소스트림의 출력 시점을 산출하여 비디오와 오디오를 동기시키며 요소스트림의 출력시점을 제어하기 위한 역다중화 처리수단
    을 포함하는 연관시스템과 독립적인 타이밍 처리 장치.
  9. 제 8 항에 있어서,
    상기 다중화 처리수단은,
    다중화 전략에 따라 입력된 비디오 정보를 버퍼링하기 위한 제1 비디오 버퍼;
    오디오 정보와 비디오 정보의 동기화 처리를 위해 입력된 오디오 정보를 소정 시간 동안 지연시키기 위한 제1 지연 버퍼;
    다중화 전략에 따라 상기 제1 지연 버퍼로부터의 오디오 정보를 버퍼링하기 위한 제1 오디오 버퍼; 및
    상기 제1 비디오 버퍼와 상기 제1 오디오 버퍼로부터 비디오 정보와 오디오 정보를 전달받아 동작전에 결정되는 파라미터, 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보를 구하고 다중화 처리를 수행하기 위한 다중 처리수단
    을 포함하는 연관 시스템과 독립적인 타이밍 처리 장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 역다중화 처리수단은,
    상기 다중화 처리수단으로부터의 비트스트림이 통신 매체를 통해 전달될 때 포함되는 지터의 보상을 처리하기 위한 지터 버퍼;
    비디오와 오디오의 출력을 동기시키기 위해 요소스트림의 출력시점을 산출하고 제어하기 위한 역다중 처리수단;
    가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 비디오 정보를 역다중화 처리할 수 있도록 하는 제2 비디오 버퍼;
    가상의 디코더(STD)를 만족하는 어떠한 비트스트림도 역다중화할 수 있는 크기를 가지며 타이밍 동기에 상관없이 오디오 정보를 역다중화 처리할 수 있도록 하는 제2 오디오 버퍼; 및
    비디오와 오디오의 출력 동기를 맞추기 위해 상기 역다중 처리수단의 제어에 따라 비디오 정보 또는 오디오 정보를 선택적으로 소정시간동안 지연시키기 위한 제2 지연 버퍼
    를 포함하는 연관 시스템과 독립적인 타이밍 처리 장치.
  11. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    다중화기에서 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 하기의 [수학식]에 따라 산출하여 타이밍을 처리하는 연관 시스템과 독립적인 타이밍 처리 장치.
    [수학식]
    DTSvideo(j) = tI video(j) + dvbv(j) + dsys
    PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
    = DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
    DTSaudio(j) = tI audio(j) + (dVE - dAE) + dVB + M*Tvideo + dsys
    PTSaudio(j) = DTSaudio(j)
  12. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    역다중화기에서 요소스트림의 출력시점을 하기의 [수학식]에 따라 산출하여, 비디오와 오디오를 동기시켜 주기 위한 연관 시스템과 독립적인 타이밍 처리 장치.
    [수학식]
    만약, dVD > dAD 이면
    tO video(j) = DTSvideo(j) - dvbv(j)
    tO audio(j) = DTSaudio(j) + (dVD - dAD)
    dAD > dVD 이면
    tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
    tO audio(j) = DTSaudio(j)
  13. 연관 시스템과 독립적인 타이밍 처리 장치에 있어서,
    다중화기에서 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 하기의 [수학식 1]에 따라 산출하여 타이밍을 처리하고, 역다중화기에서 요소스트림의 출력시점을 하기의 [수학식 2]에 따라 산출하여 비디오와 오디오를 동기시켜 주기 위한 연관 시스템과 독립적인 타이밍 처리 장치.
    [수학식 1]
    DTSvideo(j) = tI video(j) + dvbv(j) + dsys
    PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
    = DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
    DTSaudio(j) = tI audio(j) + (dVE - dAE) + dVB + M*Tvideo + dsys
    PTSaudio(j) = DTSaudio(j)
    [수학식 2]
    만약, dVD > dAD 이면
    tO video(j) = DTSvideo(j) - dvbv(j)
    tO audio(j) = DTSaudio(j) + (dVD - dAD)
    dAD > dVD 이면
    tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
    tO audio(j) = DTSaudio(j)
  14. 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서,
    동작전에 결정되는 파라미터(M, Tvideo, dVE, dAE, dVB)와 입력되는 요소비트스트림 속의 타이밍정보(tI video(j), tI audio(j), dvbv(j)), 그리고 자체적으로 결정할 수 있는 정보(dsys)를 획득하는 단계;
    획득된 정보(tI video(j), dvbv(j), dsys)를 바탕으로 비디오에 대한 디코딩 타임 정보(DTS)를 산출하는 단계;
    처리 비디오의 타입에 따라 산출된 비디오 디코딩 타임 정보(DTSvideo) 또는 비디오 디코딩 타임 정보(DTSvideo)에 최대 프레임 간격(M)과 프레임주기(Tvideo)를 곱하여 얻은 시간(M*Tvideo)을 더한 값을 비디오 프리젠테이션 타임 정보(PTS)로 판단하는 단계; 및
    획득된 정보(tI audio(j), dVE, dAE, dVB, M*Tvideo, dsys)에 대해 오디오 인코딩 지연시간(dAE)을 제외한 정보의 값을 더하고 오디오 인코딩 지연시간(dAE)을 제하여 오디오에 대한 타이밍 정보(DTS, PTS)를 산출하는 단계
    를 포함하는 타이밍 처리 방법.
  15. 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서,
    역다중화 처리에 있어 요소스트림의 출력시점을 제어하기 위해 비디오 디코딩 지연시간(dVD)이 오디오 디코딩 지연시간(dAD)보다 큰지를 판단하는 단계;
    상기 판단 결과, 비디오 디코딩 지연시간(dVD)이 더 크면, 획득된 비디오 디코딩 타임 정보(DTSvideo)에서 브이비브이(VBV) 지연시간(dVBV)을 제하여 비디오 출력시간(tO video)을 산출하고 오디오 디코딩 타임 정보(DTSaudeo)에 비디오 디코딩 지연시간(dVD)에서 오디오 디코딩 지연시간(dAD)을 제한 값을 더하여 오디오 출력시간(tO audeo)을 산출하는 단계; 및
    상기 판단 결과, 비디오 디코딩 지연시간(dVD)이 크지 않으면, 획득된 비디오 디코딩 타임 정보(DTSvideo)에서 브이비브이(VBV) 지연시간(dVBV)을 제하고 비디오 디코딩 지연시간(dVD)에서 오디오 디코딩 지연시간(dAD)을 제한 값을 더하여 비디오 출력시간(tO video)을 산출하고 오디오 디코딩 타임 정보(DTSaudeo)를 오디오 출력시간(tO audeo)을 산출하는 단계
    를 포함하는 타이밍 처리 방법.
  16. 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서,
    다중화기에서 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보를 이용하여 타이밍정보(DTS, PTS)를 하기의 [수학식]에 따라 산출하여 타이밍을 처리하는 연관 시스템과 독립적인 타이밍 처리 방법.
    [수학식]
    DTSvideo(j) = tI video(j) + dvbv(j) + dsys
    PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
    = DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
    DTSaudio(j) = tI audio(j) + (dVE - dAE) + dVB + M*Tvideo + dsys
    PTSaudio(j) = DTSaudio(j)
  17. 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서,
    역다중화기에서 요소스트림의 출력시점을 하기의 [수학식]에 따라 산출하여 비디오와 오디오를 동기시켜 주기 위한 연관 시스템과 독립적인 타이밍 처리 방법.
    [수학식]
    만약, dVD > dAD 이면
    tO video(j) = DTSvideo(j) - dvbv(j)
    tO audio(j) = DTSaudio(j) + (dVD - dAD)
    dAD > dVD 이면
    tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
    tO audio(j) = DTSaudio(j)
  18. 연관 시스템과 독립적인 타이밍 처리 장치에 적용되는 타이밍 처리 방법에 있어서,
    다중화기에서 요소인코더를 제어함이 없이, 동작전에 결정되는 파라미터와 요소비트스트림 속의 타이밍정보, 그리고 자체적으로 결정할 수 있는 정보만을 이용하여 타이밍정보(DTS, PTS)를 하기의 [수학식 1]에 따라 산출하여 타이밍을 처리하고, 역다중화기에서 요소스트림의 출력시점을 하기의 [수학식 2]에 따라 산출하여 비디오와 오디오를 동기시켜 주기 위한 연관 시스템과 독립적인 타이밍 처리 방법.
    [수학식 1]
    DTSvideo(j) = tI video(j) + dvbv(j) + dsys
    PTSvideo(j) = DTSvideo(j) B 픽쳐의 경우
    = DTSvideo(j) + M*Tvideo I/P 픽쳐의 경우
    DTSaudio(j) = tI audio(j) + (dVE - dAE) + dVB + M*Tvideo + dsys
    PTSaudio(j) = DTSaudio(j)
    [수학식 2]
    만약, dVD > dAD 이면
    tO video(j) = DTSvideo(j) - dvbv(j)
    tO audio(j) = DTSaudio(j) + (dVD - dAD)
    dAD > dVD 이면
    tO video(j) = DTSvideo(j) - dvbv(j) + (dAD - dVD)
    tO audio(j) = DTSaudio(j)
KR1020000057910A 1999-10-02 2000-10-02 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법 KR100731488B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000057910A KR100731488B1 (ko) 1999-10-02 2000-10-02 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1019990042517 1999-10-02
KR19990042517 1999-10-02
KR1020000057910A KR100731488B1 (ko) 1999-10-02 2000-10-02 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20010050811A KR20010050811A (ko) 2001-06-25
KR100731488B1 true KR100731488B1 (ko) 2007-06-21

Family

ID=19613784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000057910A KR100731488B1 (ko) 1999-10-02 2000-10-02 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100731488B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755836B1 (ko) * 2005-11-28 2007-09-07 엘지전자 주식회사 디지털 방송 수신기의 ｔｓ 패킷 버퍼링 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980020687A (ko) * 1996-09-11 1998-06-25 이준 가변 비트율 신호의 다중화율 결정방법
KR19990047316A (ko) * 1997-12-03 1999-07-05 이계철 엠펙 2 (mpeg-2) 시스템 다중화 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980020687A (ko) * 1996-09-11 1998-06-25 이준 가변 비트율 신호의 다중화율 결정방법
KR19990047316A (ko) * 1997-12-03 1999-07-05 이계철 엠펙 2 (mpeg-2) 시스템 다중화 장치

Also Published As

Publication number Publication date
KR20010050811A (ko) 2001-06-25

Similar Documents

Publication Publication Date Title
TW519834B (en) Method and apparatus for determining a transmission bit rate in a statistical multiplexer
CA2415299C (en) Splicing compressed, local video segments into fixed time slots in a network feed
US6157674A (en) Audio and video data transmitting apparatus, system, and method thereof
US7342961B2 (en) Encoded data outputting apparatus and method
EP0708567B1 (en) Method of video buffer synchronization
US6504576B2 (en) Digital signal coding method and apparatus, signal recording medium, and signal transmission method for recording a moving picture signal and an acoustic signal
US20060034375A1 (en) Data compression unit control for alignment of output signal
JPH11340938A (ja) データ多重化装置及び方法
US8755413B2 (en) Method and system for dynamically allocating video multiplexing buffer based on queuing theory
Haskell et al. Multiplexing of variable rate encoded streams
US6570921B1 (en) Data compression assembly having several data-compression channels
JP3556381B2 (ja) 情報多重化装置
KR100731488B1 (ko) 연관 시스템과 독립적인 타이밍 처리 장치 및 그 방법
US20100272170A1 (en) Image encoding apparatus, image encoding method and medium on which image encoding program is recorded
KR100233937B1 (ko) 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 엠펙-2(mpeg-2) 인코더 장치
KR100754736B1 (ko) 영상 수신 시스템에서 영상 프레임의 재생 방법 및 그 장치
JPH09252290A (ja) 符号化装置、符号化方法、伝送装置、伝送方法及び記録媒体
KR100830960B1 (ko) 역다중화 방법 및 비트율 조정 방법
JP3573171B2 (ja) 複数の可変レート信号の伝送方法および伝送システム
Chen Examples of Video Transport Multiplexer
JP2001217793A (ja) ストリーム生成方法及び装置
JPH04341086A (ja) フレーム間予測復号化信号の出力制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120607

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee