KR100274434B1 - 디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법 - Google Patents

디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법 Download PDF

Info

Publication number
KR100274434B1
KR100274434B1 KR1019980701650A KR19980701650A KR100274434B1 KR 100274434 B1 KR100274434 B1 KR 100274434B1 KR 1019980701650 A KR1019980701650 A KR 1019980701650A KR 19980701650 A KR19980701650 A KR 19980701650A KR 100274434 B1 KR100274434 B1 KR 100274434B1
Authority
KR
South Korea
Prior art keywords
time
time base
instance
vop
compressed
Prior art date
Application number
KR1019980701650A
Other languages
English (en)
Other versions
KR19990044406A (ko
Inventor
치오우 켕 탄
셍 메이 센
착 주 리
Original Assignee
모리시타 요이찌
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요이찌, 마쯔시다덴기산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR19990044406A publication Critical patent/KR19990044406A/ko
Application granted granted Critical
Publication of KR100274434B1 publication Critical patent/KR100274434B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

압축 데이터에 삽입된 로컬 시간축을 부호화하는 방법은 공지된다. 로컬 시간축은 두 부분에서 부호화된다. 제1부분은 기준 시간축에서 특정 간격을 지시하는 모듈로 시간축을 갖고 제2부분은 기준 시간과 관련된 시간축 증분을 갖는다. 시간축 증분의 두 형태는 다른 부호화 순서와 디스플레이 순서의 가능성을 감안하여 사용된다. 로컬 시간축이 있는 다중 압축 스트림의 동기화를 위한 메카니즘이 또한 설명된다. 시간축 오프셋 메카니즘은 또한 다중 압축 스트림의 최종 그래뉴래리티 동기화를 감안하여 사용된다.

Description

디스플레이 시간 스탬핑과 다중 비디오 오브젝트 평면의 동기화 방법(Method for Display Time Stamping and Synchronization of Multiple Video Object Planes)
MPEG-1과 MPEG-2에서 입력 비디오는 일정 시간 간격(regular time interval)으로 샘플링된 영상 프레임으로 이루어져 있다. 이는 입력의 최종 시간 해상도(finest temporal resolution)를 나타낸다. 도 1은 일정 간격으로 샘플링된 영상 프렘임의 고정된 프레임율의 비디오 시퀀스를 보여준다. MPEG-1과 MPEG-2 표준을 사용하는 비디오 시퀀스의 코드 표시에 있어서 복호된 프레임의 디스플레이 순서는 시간 기준(temporal reference)에 의해 나타난다. 이러한 파라미터는 비트스트림 신텍스의 화면 헤더(picture header)에서 나타난다. 이 파라미터의 값은 디스플레이 순서를 보일 때 복호된 프레임 각각을 위해 하나씩 증가된다.
H-263 표준에서 프레임을 스킵(skip)하는 것이 가능하고 따라서 다양한 프레임율의 비디오 시퀀스를 복호화 한다. 그러나 프레임의 샘플링은 여전히 고정된다. 따라서 MPEG-1과 MPEG-2에서 사용된 시간 기준 방법은 적합하고 증분(increment)이 1씩이 아니라 1과 입력 프레임율에서 전송되지 않은 화면의 수의 합이 되도록 변경할 필요가 있다.
일반적으로 웍(work)은 다중 비디오 오브젝트 평면에서 분리 오브젝트로서 코딩 비디오의 지역에서 실행되어져 왔다. 이것은 각각의 비디오 오브젝트의 동기화와 복호화에서 새로운 차원을 나타낸다. 그것은 이들 다른 비디오 오브젝트 평면이 여러 소스에서 올 수도 있고 매우 다른 프레임율을 가질 수도 있다는 것을 예상한다. 오브젝트의 몇몇은 거의 연속적인 시간으로 만들어질 수도 있다. 이러한 비디오 오브젝트 평면은 디스플레이를 위한 합성 영상으로 결합된다. 그러므로 합성을 위해 몇 종류의 동기화가 요구된다. 그것은 디스플레이 프레임율이 비디오 오브젝트 평면의 프레임율과 다른 것을 가능하게 한다. 도 2는 서로 다르고 변동적인 프레임율을 갖는 두 오브젝트 프레임 평면의 예를 나타낸다. 두 비디오 오브젝트 평면 사이에서 합성물의 출력 프레임율과 같을 수 있는 공통 프레임율을 찾을 수 있을지라도, 그것은 자동적인 것은 아니다.
다음으로 비디오 도메인(video domain)에서 문제점을 살펴볼 것이다. 그러나 본 발명의 원리는 합성물뿐만 아니라 두 오디오 도메인까지 같이 확장되어 적용할 수 있다.
상기로부터 기술의 현 상태가 비디오 오브젝트 평면의 동기화를 제공하지 않는 것이 명확하다. 현행 기술은 또한 다른 비디오 오브젝트 평면이 서로의 배수가 아닌 다른 프레임율을 가질 때 공통 시간 기준을 제공하지 않는다.
우선의 문제는 각각의 비디오 오브젝트 평면을 위한 공통 로컬 시간축(common local time base) 구성을 어떻게 제공하는가이다. 이러한 시간축은 매우 우수한 시간 그래뉴래리티(granularity)를 제공하고 동시에 비디오 오브젝트 평면의 연속하는 두 평면 사이의 매우 긴 간격을 극복할 수 있을 것이다.
두 번째 문제는 다른 프레임율을 갖는 비디오 오브젝트 평면을 동기화하기 위한 방법을 어떻게 제공하느냐 하는 것이다.
본 발명은 프리젠테이션을 위해 독립적으로 부호화된 하나 이상의 오디오 비주얼 오브젝트(audio visual object)가 동기화되는 것을 필요로 하는 디지털 오디오 비주얼 재료(material)의 코딩(coding)에 유용하며 특히 오디오 비주얼 재료의 시간 샘플링이 같지 않을 때 적합하다.
도 1은 비디오 시퀀스의 프레임이 정상 간격으로 표준화되는 선행 기술의 시간 샘플링을 나타내는 도면.
도 2는 비디오 오브젝트 평면의 개념과 서로와의 관계, 및 불규칙할 수 있는 비디오 오브젝트 평면의 샘플링과 샘플링 주기를 나타내는 도면.
도 3A는 본 발명에서 비디오 오브젝트의 시간 기준이 모듈로 시간축과 VOP 시간 증분으로 표시되는 것을 I와 P VOP만을 사용하여 나타낸 도면.
도 3B는 본 발명에서 비디오 오브젝트의 시간 기준은 모듈로 시간축과 VOP 시간증분에 의해 지시되며 I, P, B VOP를 사용한 도면.
도 4는 프리젠테이션 순서와 부호화가 B-비디오 오브젝트 평면의 결과에 따라 다를 때 발생할 수 있는 불명료함(ambiguity)의 인스턴스를 나타낸 도면.
도 5는 절대 및 상대 시간축을 사용한 불명료함에 대한 해법을 나타낸 도면.
도 6은 두 VOP의 결합과 VOP 시간 오프셋을 사용함으로써 공통 시간축에 대한 그들의 동기화를 나타내는 도면
도 7은 시간축 부호화를 위한 흐름도를 나타내는 도면.
도 8은 하나 이상의 비디오 오브젝트 평면을 다중화하기 위한 흐름도.
도 9는 하나 이상의 비디오 오브젝트 평면을 단일화하기 위한 흐름도.
도 10은 프리젠테이션 시간 스탬프의 복구를 위한 흐름도.
도 11은 시간축 부호화를 위한 비트스트림 인코더의 작동을 위한 블록도.
도 12는 시간축 복호화를 위한 비트스트림 디코더의 작동을 위한 블록도.
도 13은 비트스트림 데이터를 형성하는 시간 차트를 나타내는 도면.
상기의 문제들은 모든 로컬 시간축을 위해 사용되도록 공통 시간 해상도에 효력을 줌으로서 해결될 수 있다. 시간 그래뉴래리티의 넓은 범위에 부응하기 위해 로컬 시간축은 두 개의 다른 부분으로 분할된다. 우수한 그래뉴래리티 시간 해상도를 가진 제1부분은 단시간축(short time base)을 제공한다. 열등한 그래뉴래리티 시간 해상도를 가진 제2부분은 장시간축(long time base)을 제공한다. 단시간축은 각각의 비디오 오브젝트 평면에 포함되어 비디오 오브젝트의 인스턴스(instance)에 대해 시간 기준을 제공한다. 단시간축이 장시간축에 대해 동기화되는 것은 모든 비디오 오브젝트 평면에 대해 공통이다. 주 클럭에 의해 제공된 공통 시간축에 대해 모든 다른 비디오 오브젝트 평면이 동기화되곤 한다.
본 발명의 제1양태에 따라, 압축된 데이터에서 오디오 비주얼 시퀀스의 로컬 시간축을 부호화하는 방법은 다음의 단계를 포함한다.
시간 샘플링에 의해 오디오 비주얼 시퀀스 인스턴스를 취득하는 단계;
압축된 데이터로 부호화되도록 상기 인스턴스의 로컬 시간축을 결정하는 단계;
일정한 간격의 시간 기준과 관련하여 시간축 증분과 로컬 시간축상의 특정 간격에서 일정하게 간격을 둔 시간 기준 세트의 발생을 표시하는 모듈로 시간축으로 구성된 두 부분에서 상기 로컬 시간축을 부호화하는 단계;
특정한 간격을 경과할 때마다 압축된 데이터로 모듈로 시간축을 삽입하는 단계;
오디오 비주얼 시퀀스의 상기 인스턴스의 압축된 데이터내에 시간축 증분을 삽입하는 단계.
본 발명의 제2양태에 따라, 압축된 데이터에서 오디오 비주얼 시퀀스의 로컬 시간축을 부호화하는 방법은 다음의 단계를 포함한다.
시간 샘플링에 의해 오디오 비주얼 시퀀스의 인스턴스를 취득하는 단계;
압축 데이터로 부호화하도록 상기 인스턴스의 로컬 시간축을 결정하는 단계;
어떠한 장차의 인스턴스의 기준없이 압축하는 제1의 방법과 장차 재구성된 인스턴스를 기준으로 하는 압축의 제2의 방법중의 어느 하나의 상기 인스턴스를 부호화하는 단계;
시간축 증분과 로컬 시간축상의 특정한 간격에서 일정한 간격을 둔 시간 기준 세트의 발생을 표시하는 모듈로 시간축으로 구성된 두 부분에서 상기 로컬 시간축을 부호화하는 단계;
상기 일정 간격 시간 기준과 관련된 절대값에 따라 제1압축 방법을 사용하여 압축된 인스턴스를 위한 시간축 증분을 부호화하는 단계;
상기 제1방법을 사용하는 미리 압축된 인스턴스의 로컬 시간축에 대한 상대값에 따라 제2압축 방법을 사용하여 압축된 인스턴스를 위한 시간축 증분을 부호화하는 단계;
특정 간격이 경과할 때마다 압축된 데이터로 모듈로 시간축을 삽입하는 단계;
오디오 비주얼 시퀀스의 상기 인스턴스의 압축된 데이터내에 시간축 증분을 삽입하는 단계.
본 발명의 제3양태에 따라, 부호화된 로컬 시간축 정보를 포함하는 다수의 압축 비트스트림이 다중화되고, 본 발명의 제1양태 또는 제2양태에 다중화하기 위해 다음의 단계를 더 포함한다:
다중화된 비트스트림에 시간축 오프셋(time base offset) 삽입과 부호화에 의해 공통 시간축에 대해 개개의 압축된 비트스트림의 로컬 시간축을 동기화하는 단계;
압축된 비트스트림 모두가 모듈로 시간축에 이를 때까지 다중화된 비트스트림에 배열되도록 다음의 압축된 인스턴스를 위해 압축된 비트스트림의 각각을 검사하는 단계;
다중 비트스트림에 공통 모듈로 시간축을 삽입하고 압축 비트스트림의 모듈로 시간축을 스킵하는 단계;
압축 비트스트림이 모두 고갈될 때까지 나중의 두 단계를 반복하는 단계.
본 발명의 제4양태에 따라, 부호화된 로컬 시간축 정보를 포함하는 다수의 압축 비트스트림이 다중화 및 단일화(de-multiplexing)되고, 다중화를 위해 본 발명의 제1 또는 제2양태의 방법에 다음의 단계를 더 포함한다:
개개의 압축 비트스트림의 시간축 오프셋을 복호화하는 단계;
모듈로 시간축이 다중 비트스트림에 닿을 때까지 적절한 압축 비트스트림에 상기 인스턴스를 배열하고 다음 압축 인스턴스를 위해 다중화 비트스트림을 검사하는 단계;
압축 비트스트림의 각각에 모듈로 시간축을 삽입하는 단계; 및
다중 비트스트림이 소진될 때까지 나중의 두 단계를 반복하는 단계.
본 발명의 제5양태에 따라, 부호화된 압축 데이터의 시간축으로부터 오디오 비주얼 시퀀스의 로컬 시간축을 복호화하는 방법은, 본 발명의 제1양태에 다음 단계를 포함한다:
시간축 오프셋을 고려하여 기준 시간축을 초기화하는 단계;
복호화된 모듈로 시간축 각각을 위해 특정 간격으로 기준 시간축을 증가시키는 단계;
압축 인스턴스의 시간축 증분을 복호화하는 단계; 및
기준 시간축에 상기 복호 시간축 증가값을 부가함으로써 상기 인스턴스의 시간축 복호를 결정하는 단계.
본 발명의 제6실시예에 따라, 부호화된 압축 데이터의 시간축으로부터 오디오 비주얼 시퀀스의 로컬 시간축을 복호화하는 방법은, 본 발명의 제2양태에 다음의 단계를 포함한다.
시간축 오프셋을 고려하여 기준 시간축을 초기화하는 단계;
복호화된 각각의 모듈로 시간축을 위한 특정 간격에 의해 기준 시간축이 증가되는 단계;
압축 인스턴스의 시간축 증분을 복호화하는 단계;
인스턴스의 부호화에 사용되는 제1 또는 제1압축 방법에 의존하는 절대적인 또는 상대적인 두 형태의 하나가 되는 시간축 증분을 결정하는 단계;
시간축이 제1형태의 것이라면 기준 시간축에 상기 복호화된 시간축 증가치를 부가함으로써 상기 인스턴스의 시간축 복호화를 결정하는 단계; 및
시간축 증분이 제2형태의 것이라면, 제1압축 방법을 사용하는 부호화된 앞서 인스턴스의 복호화된 시간축에 상기 복호화된 시간축 증분을 부가함으로써 상기 인스턴스의 시간축 복호화를 결정하는 단계.
본 발명은 첨부한 도면과 자세한 설명으로 좀 더 확실히 이해될 수 있을 것이다.
본 발명은 두 가지 형태의 동기 방식을 제공한다. 제1은 비디오 객체 평면에 부속되는 단시간축(short time base)이다. 앞으로는 이 시간축을 VOP 시간 증분으로 칭한다. VOP 시간 증분은 비디오 오브젝트 평면의 그룹이 복호화되고 함께 조립되도록 부속되는 장시간축에 관한 비디오 오브젝트 평면을 위한 타이밍 기법이다. 장시간축은 모듈로(modulo) 시간축이라 한다. VOP 시간 증분과 모듈로 시간축은 디스플레이를 위해 끝까지 연속적으로 합성된 비디오 오브젝트 평면의 구성에 대해 사용하는 실시간축을 결정하는데 공동으로 사용되어진다.
다른 소스로부터의 다른 비디오 오브젝트 평면을 새로운 그룹의 비디오 오브젝트 평면으로 결합하고 비트스트림의 편집을 쉽게 하기 위해서 공통 시간축(common time base)에서 개별적인 비디오 오브젝트 평면의 로컬 시간축(local time base) 사이의 오프셋이 일정하게 유지되도록 하는 제3구성소자를 필요로 한다. 앞으로는 이 오프셋을 VOP 시간 오프셋으로 칭한다. 이것은 상이한 비디오 오브젝트 평면이 모듈로 시간축 간격과 같은 그래뉴래리티로 동기화되는 것을 막는다. 이러한 구성소자는 다중송신되는 비디오 오브젝트 평면의 그룹내에서 비디오 오브젝트 평면 각각을 위해 일정하게 유지되어야만 한다.
첫째, 모듈로 시간축을 설명한다.
모듈로 시간축은 로컬 시간축의 코오스 해상도(coarse resolution)를 나타낸다. 그것은 VOP 시간 증분과 같은 값을 가지지는 않는다. 사실 그것은 비디오 오브젝트 평면의 로컬 시간축에 대해 VOP 시간 증분을 동기화하는 것 이상의 동기화 메카니즘이다. 모듈로 시간축은 마커(marker)로서 부호화된 비트스트림에 배치되어 뒤에 오는 비디오 오브젝트 평면의 VOP 시간 증분이 리셋되는 것과 로컬 시간축에 대한 기준이 모듈로 시간축 간격의 하나 또는 그 이상의 유닛으로 증가된다는 것을 나타낸다. 도 3A, 3B, 4, 5 및 6에서, VOP 시간 증분 앞에 비트스트림 헤더로 삽입되는 모듈로 시간축은 "0"으로 종결된 0 또는 1 이상의 시리즈로 나타난다. 비트스트림으로 삽입되는 "1"의 수는 마지막 코드 I 또는 P-비디오 오브젝트 평면 이후 경과된 모듈로 시간축의 유닛수에 의존한다. 인코더와 디코더에서 모듈로 시간축 카운터는 각 "1"에 대해 하나씩 증가한다. 모듈로 시간축 카운터는 길이에 있어서 제한되므로 실제 시스템에서 모듈로 시간축은 최대값이 소실되면 0으로 리셋된다. 전형적인 비디오 시퀀스에서, 비디오 오브젝트 평면은 VOP의 그룹을 형성한다. 그러므로 모듈로 시간축은 보통 이러한 VOP 그룹의 생성시 리셋된다.
다음은 VOP 시간 증분에 대한 설명이다.
VOP 시간 증분은 비디오 오브젝트의 가장 짧은 시간 샘플링를 지지할 수 있는 유닛에 있다. 그것은 또한 오브젝트를 위한 네이티브(native) 시간축을 만들 수 있다. 그로므로 그것은 지지될 수 있는 또는 요구된 시간 해상도의 최종 그래뉴래리티를 나타낸다.
VOP 시간 증분은 로컬 시간축 분해도에 대해 전체적인 시간축 간격의 비와 같거나 더 큰 제한된 길이의 수에 의해 나타내어질 수 있다. 도 3A는 모듈로 시간축에 대한 기준과 I와 P-비디오 오브젝트 평면을 위한 VOP 시간 증분의 인스턴스를 보여준다. 절대 시간축이 사용된다. VOP 시간 증분은 모듈로 시간축이 만나는 각 시간을 리셋한다. 도 3B는 I, P 및 B-비디오 오브젝트 평면을 사용하는 다른 인스턴스를 보여준다. 동작은 모듈로 시간축이 B-비디오 오브젝트 평면에서 반복되는 것을 제외하고는 같다. 모듈로 시간축이 B-비디오 오브젝트 평면에서 반복되지 않는다면 그때 프리젠테이션 순서와 복호화가 달라서 불명료함이 발생한다. 이것은 다음에 자세히 설명된다.
VOP 시간 증분은 프리젠테이션 시간축에 상당하기 때문에, 부호화 순서가 프리젠테이션 순서와 다를 때 잠재적인 문제가 발생한다. 이것은 B-비디오 오브젝트 평면에 대해 발생한다. MPEG-1과 MPEG-2 B-화상과 비슷한 B-비디오 오브젝트 평면은 그들이 프리젠테이션 순서에서 기준 비디오 오브젝트를 앞선다할지라도 그들의 기준 I 및 P-비디오 오브젝트 평면 다음에 부호화된다. VOP 시간 증분은 제한적이고 모듈로 시간축에 관련되어 있기 때문에, 모듈로 시간축과 만날 때, VOP 시간 증분은 리셋된다. 그러나, B-비디오 오브젝트 평면을 위한 부호화 순서는 지연되어 왔다. 도 4는 발생 가능한 불명료성을 나타낸다. 그것은 VOP 시간 증분이 리셋되어야 할 때 결정하는 것은 불가능하다. 사실상 도 4A처럼 부호화된 이벤트(event)의 시퀀스가 주어진다면, 도 4B, 4C, 및 4D의 나타내려고 하는 시간 상태를 아는 것은 불가능하다. 이러한 문제는 프리젠테이션 순서와 부호화의 차와 결부된 비디오 오브젝트의 모든 다른 형태 사이의 나눠진 하나의 모듈로 시간축을 사용하기 때문에 발생한다. 기준 정보는 B-비디오 오브젝트 평면에 의해 요구되기 때문에 부호화 순서를 끝나게 할 수 있는 것은 아무것도 없다. 또한 그것이 다른 프리딕션(prediction) 형태를 위한 독립적인 모듈로 시간축을 갖는 것은 바람직하지 않다. 그로므로 해결 방법은 전술한 I 또는 P-비디오 오브젝트 평면에 대한 상대값에 따라 B-비디오 오브젝트 평면의 VOP 시간 증분을 코드화 하고, 모듈로 시간축은 B-비디오 오브젝트 평면을 제외한 I 및 P-비디오 오브젝트 평면에만 적용한다. 이러한 해법은 도 5에 나타나 있다.
다음은 VOP 시간 오프셋에 대한 설명이다.
상기의 사항 외에도 모듈로 시간축은 모든 오브젝트 평면에 분배된다. 이것은 다른 비디오 평면의 동기화가 모듈로 시간축 간격과 같은 그래뉴래리티를 가질 것이라는 것을 의미한다. 이것은 다른 그룹에서 비디오 오브젝트 평면이 합성되어 새로운 그룹의 비디오 오브젝트 평면을 형성하는 경우에서는 특히 받아들일 수 없다. 도 6은 서로 오프셋되는 두 개의 다른 로컬 시간축으로 부호화된 두 개의 비디오 오브젝트 평면의 인스턴스를 보여준다. 따라서 비디오 오브젝트 평면이 다중화될 때, 비디오 오브젝트 평면의 동기도 오프셋된다. 더 나은 그래뉴래리티는 개개의 비디오 오브젝트 평면 각각을 인정함으로써 성취되어 VOP 시간 오프셋을 갖는다. 이것은 비디오 오브젝트 평면이 조작되고 다중화될 때 이 값만이 변하게 된다는 것을 의미한다. VOP 시간 증분을 변화시킬 필요는 없으며 코오스(coarse) 그래뉴래리티 없이 다른 비디오 오브젝트 평면의 다중화가 가능하다. 도 6은 이러한 시간축 오프셋의 효용을 나타내었다.
본 발명의 양호한 실시예는 개개의 비디오 오브젝트 평면 비트스트림 각각을 위한 시간축을 부호화하는 방법, 다른 비디오 오브젝트 평면을 공통 시간축으로 다중화하는 방법, 다중화된 비트스트림을 구성요소로 단일화하는 방법 및 구성요소 비트스트림으로부터 시간축을 복구하는 방법을 수반한다.
다음은 시간축을 부호화하는 방법이 설명된다.
시간축 부호화에 대한 실시예 흐름도는 도 7에 나타나 있다. 인코더에서 로컬 시간축은 로컬 스타트 타임(local start time)은 단계(1)에서 우선적으로 초기화된다. 이러한 처리는 인코더가 로컬 시간축의 현재 값을 결정하는 단계(2)에 귀속된다. 간격이 모듈로 시간축 간격을 경과한다면 단계(3)에서 얻어진 로컬 시간축은 미리 부호화된 모듈로 시간축과 비교됨이 확인된다. 간격이 제어를 벗어나면 필요한 수의 모듈로 시간축이 비트스트림으로 삽입된다. 간격이 경과되지 않았다면 그때는 특별한 처리가 필요없다. 이러한 처리는 VOP 시간 증분이 비트스트림으로 삽입되는 단계(5)에서 계속된다. 오브젝트는 단계(6)에서 부호화되고 비트스트림으로 삽입된다. 인코더는 단계(7)에서 더 이상의 오브젝트가 부호화될 것인지 결정하기 위한 검사를 한다. 더 많은 오브젝트가 부호화된다면 이러한 처리는 로컬 시간축이 얻어지는 단계(2)로 계속된다. 부호화되는 오브젝트가 더 이상 없다면 처리를 종결한다.
다음 공식은 I/P-비디오 오브젝트 평면과 B-비디오 오브젝트 평면을 위한 절대 및 상대 VOP 시간 증분을 각각 결정하는데 사용된다.
tGTBn= n × tGTBI+ tGTB0(n = 0, 1, 2, 3, ...) (1)
tAVTI= tTBI/P- tGTBn(2)
tRVTI= tETB- tETBI/P(3)
여기서,
tGTBn은 n번째 부호화된 모듈로 시간축에 위해 표시되는 인코더 시간축이다,
tGTBI은 인스턴스측된 모듈로 시간축 간격이다,
tGTB0은 인코더 시간축 스타트 타임이다,
tAVTI은 I 또는 P-비디오 오브젝트 평면을 위한 절대적인 VOP 시간 증분이다,
tETBI/P는 I 또는 P-비디오 오브젝트 평면의 부호화 시작시 인코더 시간축이다,
tRVTI는 B-비디오 오브젝트 평면을 위한 상대적인 VOP 시간 증분이다,
tETBB는 B-비디오 오브젝트 평면의 부호화 시작시 인코더 시간축이다.
다음, 하나 이상의 비디오 오브젝트 평면의 다중화를 설명한다.
하나 이상의 비디오 오브젝트 평면이 함께 다중화될 때, 멀티플렉서(multiplexer)는 동기화뿐만 아니라 다중화의 순서를 결정하기 위해 다중 비디오 오브젝트 평면 비트스트림을 검사한다. 관련 동작은 도 8에 나타나 있다. 비디오 오브젝트 평면 각각을 위한 VOP 시간 오프셋이 다중화되고 단계(11)로 삽입된다. 비디오 오브젝트 평면의 비트스트림 모두는 다중화되고 모든 평면이 그들 각각의 모듈로 시간축에 있는지 결정하기 위해 단계(12)에서 검사된다. 만약 그렇다면 다음 처리는 공통 모듈로 시간축이 다중화된 비트스트림으로 삽입되는 단계(13)이다. 그후 처리는 다음에 부호화된 비디오 오브젝트가 다중화된 비트스트림에 삽입되는 단계(14)이다. 단계(15)에서 비디오 오브젝트 평면을 다중화하고 다시 검사하여 비디오 오브젝트가 더 다중화될 것인지를 확인한다. 만약 그렇다면 그때 제어는 단계(12)에서 계속된다. 그렇지 않으면 처리는 끝난다.
하나 이상의 비디오 오브젝트 평면을 포함하는 비트스트림을 단일화하는 방법이 설명된다.
다중 비디오 오브젝트 평면을 포함하는 비트스트림의 단일화를 도 9에 나타내었다. 처리는 시간 증분이 복호되고 동기화를 위해 디코더에 귀속되는 단계(21)에서 시작한다. 다중화된 비트스트림은 단계(22)에서 검사되어 모듈로 시간축이 발견되는지 확인한다. 만약 모듈로 시간축이 발견된다면 그때 처리는 모듈로 시간축이 모든 비디오 오브젝트 비트스트림에 삽입되는 단계(23)로 계속된다. 다음 처리는 다음 비디오 오브젝트가 검사되고 적당한 비디오 오브젝트 비트스트림으로 삽입되는 단계(24)로 계속된다. 최종적으로 다중화된 비트스트림은 다시 검사되고 단일화될 더 이상의 비디오 오브젝트가 없는지 확인한다. 만약 있다면 다시 단계(22)로 돌아가 처리되고 그렇지 않으면 처리는 끝난다.
다음에는 시간축을 복구하는 방법을 설명한다.
시간축 복구 실시예는 도 10에 나타내었다. 시간축을 복구하는 방법은 로컬 시간축은 VOP 시간 오프셋을 고려하여 초기화되고 디멀티플렉서(de-multiplexer)에 의해 복호되는 단계(31)에서 시작한다. 그때 처리는 모듈로 시간축이 복호되는지 결정하기 위해 비트 스트림을 체크하는 단계(32)로 계속된다. 만약 모듈로 시간축이 복호되면 처리는 로컬 시간축이 모듈로 시간축 증분에 의해 증가되는 단계(33)에서 계속된다. 다음 처리는 단계(37)로 계속된다. 모듈로 시간축이 복호되지 않았다면 그때 처리는 B-비디오 오브젝트가 있는지 없는지 결정하기 위해 비디오 오브젝트를 검사하는 단계(34)로 계속된다. 만약 있다면 그때 처리는 시간축을 복호하는 B-오브젝트 평면이 방정식(6)을 토대로 계산되는 단계(35)로 계속된다. 다음은 단계(37)로 계속된다. 단계(37)에서 비트스트림을 검사하여 복호될 비디오 오브젝트가 더 있는지 확인한다. 만약 있다면 다시 단계(32)로 가서 처리를 계속한다. 그렇지 않으면 처리를 끝낸다.
다음 공식은 비디오 오브젝트의 프리젠테이션 타임 스탬프를 결정하는데 사용된다:
tGTBn= n × tGTBI+ tGTB0(n = 0, 1, 2, 3, ...) (4)
tDTBI/P= tAVTI+ tGTBn(5)
tDTBB= tRVTI+ tDTBI/P(6)
여기서,
tGTBn는 n번째 복호된 모듈로 시간축에 의해 표시된 복호 시간축이다,
tGTBI는 인스턴스측 모듈로 시간축 간격이다,
tGTB0는 복호 시간축 스타트 타임이다,
tDTBI/P는 I 또는 P-비디오 오브젝트 평면의 복호화의 시작시 복호화 시간축이다,
tAVTI는 I 또는 P-비디오 오브젝트 평면을 위해 복호화된 절대 VOP 시간 증분이다,
tDTBB는 B-비디오 오브젝트 평면의 복호화의 시작시 복호화 시간축이다,
tRVTI는 B-비디오 오브젝트 평면을 위해 복호화된 절대 VOP 시간 증분이다.
비트스트림 인코더의 실행이 설명된다.
도 11은 모듈로 시간축과 VOP 시간 증분을 부호화하는 비트스트림 인코더의 실행을 위한 블록도이다. 이 도면에서 나타낸 목적을 위해 도 3b의 인스턴스가 사용된다. 양방향의 예측이 사용되므로, 부호화 순서는 도 3b에 보인 프리젠테이션 순서와는 다르다. 부호화 순서는 B-VOP에 앞서 P-VOP가 뒤따르는 I-VOP부터 시작된다. 이것은 아래의 세 단락에서 설명된다.
처리는 시간 코드의 초기값에 대해 로컬 시간축 레지스터를 초기화함으로써 비트스트림 인코더가 가동되는 단계(41), 초기화기에서 시작된다. 같은 시간 코드값은 비트스트림으로 부호화된다. 다음 I-VOP의 부호화 시작시 시간 코드 비교기(comparator), 단계(42)는 로컬 시간축에 대해서 I-VOP의 프리젠테이션 시간을 비교한다. 그 결과는 모듈로 시간축 인코더, 단계(43)에 양도된다. 모듈로 시간축 인코더는 비트스트림으로 삽입될 것이며 초과된 모듈로 시간축 증분의 수와 같은 "1"의 수를 요구한다. 이것 다음에 오는 심볼 "0"은 모듈로 시간축 코드의 끝을 암시한다. 로컬 시간축 레지스터는 현재의 모듈로 시간축까지 경신된다. 다음 처리는 VOP 시간축 증분 인코더, I-VOP의 프리젠테이션 시간 코드의 나머지가 부호화되는 단계(44)로 넘어간다.
다음 처리는 다음 부호화된 비디오 오브젝트 평면, P-VOP에 대해 반복한다. 시간 코드 비교기, 단계(42)는 로컬 시간축 레지스터에 대하여 P-VOP의 프리젠테이션 시간을 비교한다. 그 결과는 모듈로 시간축 인코더, 단계(43)에 전달된다. 모듈로 시간축 인코더는 초과된 모듈로 시간축 증분의 수와 같은 "1"의 수를 필요로 한다. B-VOP 시간축 레지스터는 로컬 시간축 레지스터에 대해 설정되고, 로컬 시간축은 현재 모듈로 시간축까지 경신된다. 다음의 처리는 VOP 시간 증분 인코더, B-VOP의 프리젠테이션 시간 코드의 나머지가 부호화되는 단계(44)가 계속된다.
로컬 시간축 레지스터는 VOP의 다음 그룹이 시작되는 것을 표시하는 다음 I-VOP에서 리셋된다.
다음은 비트스트림 디코더의 실행에 대한 설명이다.
도 12는 프리젠테이션 시간 스탬프를 복구하도록 VOP 시간 증분과 모듈로 시간축을 위한 디코더의 실행을 나타낸다. 인코더의 실행에서와 마찬가지로 도 3b의 인스턴스가 사용된다. 복호화 순서 부호화 순서와 마찬가지로 B-VOP 전에 I-VOP가 복호화되고 다음에 P-VOP가 복호화된다. 이것은 아래 단락에서 설명된다.
처리는 로컬 시간축 레지스터가 비트스트림으로부터 복호된 시간 코드의 값을 셋하는 단계(51), 초기화로 시작된다. 다음 처리는 모듈로 시간축 디코더, 모듈로 시간축 증분이 복호되는 단계(52)로 계속된다. 복호된 모듈로 시간축 증분의 전체 수는 복호된 심볼 "0"이 오기전의 "1"의 수로 알 수 있다. 다음으로 VOP 시간축 증분은 VOP 시간축 증분, 단계(53)에서 복호된다. 시간축 계산기, 단계(54)에서 I-VOP의 프리젠테이션 시간이 복구된다. 복호된 모듈로 시간축 증분값의 전체가 로컬 시간축 레지스터에 부가된다. VOP 시간축 증분이 로컬 시간축 레지스터에 부가되면 I-VOP의 프리젠테이션 시간이 얻어진다. 처리는 비디오 오브젝트가 복호되는 비디오 오브젝트 디코더에 이른다.
처리는 모듈로 시간축 디코더, P-VOP를 위해 모듈로 시간축 증분이 복호되는 단계(52)를 반복한다. 복호된 모듈로 시간축의 전체 수는 심볼 "0" 전의 복호된 "1"의 수로 주어진다. 다음으로 VOP 시간축 증분은 VOP 시간축 증분, 단계(53)에서 복호된다. 시간축 계산기, 단계(54)에서 P-VOP 프리젠테이션 시간이 복구된다. B-VOP 모듈로 시간축 레지스터는 로컬 시간축 레지스터의 값에 대해 셋된다. 복호된 전체 모듈로 시간축 증분값은 로컬 시간축 레지스터에 부가된다. VOP 시간축 증분은 로컬 시간축 증분에 부가되어 P-VOP의 프리젠테이션 시간을 얻는다. 다음 처리는 비디오 오브젝트 평면이 복호되는 비디오 오브젝트 디코더에 이른다.
B-VOP를 위해, 처리는 모듈로 시간축 디코더에서 모듈로 시간축 증분이 복호되는 단계(52)를 반복한다. 복호된 모듈로 시간축의 전체 수는 심볼 "0" 전의 복호된 "1"의 수로 주어진다. 다음으로 VOP 시간축 증분은 VOP 시간축 증분, 단계(53)에서 복호된다. 시간축 계산기, 단계(54)에서 B-VOP 프리젠테이션 시간이 복구된다. 복호된 전체 모듈로 시간축 증분값과 VOP 시간축 증분은 B-VOP 시간축 레지스터에 부가되어 B-VOP의 프리젠테이션 시간을 얻는다. B-VOP 시간축 레지스터와 로컬 시간축 레지스터 모두는 변하지 않고 남아 있다. 다음 처리는 비디오 오브젝트 평면이 복호되는 비디오 오브젝트 디코더에 이른다.
로컬 시간축 레지스터는 VOP의 다음 그룹의 시작을 표시하는 다음 I-VOP에서 리셋된다.
다음에서는 특수한 예가 설명된다.
참조도 13은 압축된 데이터를 비트스트림으로 부호화하는 단계의 예를 나타낸다. 도 13의 맨 위의 줄에서 보여지는 바와 같이, 압축 비디오 데이터 VOP는 VOP 그룹의 앞에 삽입되는 GOP(group of pictures) 헤더를 가진 디스플레이 순서 I1, B1, B2, P1, B3, P3로 배열된다. 디스플레되는 동안, 로컬 시간 클럭을 사용하는 VOP 각각을 위해 로컬 시간축이 측정되고, 로컬 시간축에서 디스플레이가 실행된다. 예를 들어, 제1VOP(I1-VOP)는 비디오 데이터의 맨 처음부터 계산된 1시간 23분 45초 350(millisecond)(1:23:45:350)에 디스플레이;제2VOP(B1-VOP)는 1:23:45:750에 ;제3VOP(B2-VOP)는 1:23:46:150에; 등등 디스플레이된다.
VOP들을 부호화하기 위해서는 VOP 각각에 디스플레이 시간 데이터를 삽입하는 것이 필요하다. 시간, 분, 초, 밀리세컨드로 이루어진 전시간 데이터(full time data)의 삽입은 VOP의 헤더 부분에서 일정 데이터 공간을 점유한다. 본 발명의 목적은 이러한 데이터 공간을 줄이고 시간 데이터를 간단하게 하여 각각의 VOP로 삽입하는 것이다.
도 13의 첫줄에 나타낸 VOP들의 각각은 VOP 시간 증분 지역에 밀리세컨드의 디스플레이 시간 데이터를 저장한다. 또한 VOP의 각각은 시간, 분, 초의 디스플레이 시간 데이터를 일시적으로 저장한다. GOP 헤더는 제1VOP(I1-VOP)를 위해 시간, 분, 및 초의 디스플레이 데이터를 저장한다.
도 13의 제2열에서 보인 것처럼, VOP들은 버퍼(보이지 않음)를 사용하는 예측된 시간에 의해 지연된다. 버퍼에서 VOP가 산출될 때, VOP의 순서는 양방향 VOP, 즉 B-VOP는 P-VOP 다음에 B-VOP 기준으로 배치되도록 양방향 예측 규칙에 따라 변하게 된다. 따라서 VOP는 I1, P1, B1, B2, P2, B3의 순서로 배열된다.
도 13의 세 번째 줄에 보인 바와 같이, 시간 T1, 즉 GOP 헤더가 부호화되어질 때, 로컬 시간축 레지스터에 저장된 시간, 분, 초는 GOP 헤더의 것과 같다. 도 13에 보인 인스턴스에서 시간축 레지스터는 1:23:45를 저장한다. 시간 T2전에, GOP 헤더를 위한 비트스트림 데이터는 도 13의 맨 아래줄에 보인 것처럼 삽입되는 시간, 분, 초 데이터를 가지고 얻어진다.
시간 T2에서 제1VOP(I1-VOP)이 채택된다. 시간 코드 비교기는 제1VOP(I1-VOP)에 일시적으로 저장된 시간(시간, 분, 초)을 로컬 시간축에 저장된 시간(시간, 분, 초)과 비교한다. 예에서 처럼, 비교 결과는 같다. 따라서 비교기는 제1VOP(I1-VOP)에 시간축 레지스터의 초와 같은 초가 있다는 것을 나타내는 "0"을 산출한다. 동시에, 제1VOP(I1-VOP)에 일시적으로 저장된 시간, 분, 초 데이터는 제거된다. 따라서, T3전에, 제1VOP(I1-VOP)를 위한 비트스트림 데이터는 모듈로 시간축 지역에 삽입된 "0"과 VOP 시간 증분 지역에 삽입된 "350"을 얻는다.
시간 T3에서는 제2VOP(P1-VOP)가 채택된다. 시간 코드 비교기는 로컬 시간축 레지스터에 저장된 시간(hour, minute, second)을 제2VOP(P1-VOP)에 일시적으로 저장된 시간과 비교한다. 예에서처럼, 비교의 결과는 제2VOP(P1-VOP)에 일시적으로 저장된 시간이 로컬 시간축 레지스터에 저장된 시간보다 1초 많다. 따라서 비교기는 제2VOP(P1-VOP)는 로컬 시간축에 있는 초에 대해 1초가 더 많다는 것을 나타내는 "10"을 산출한다. 만약 제2VOP(P1-VOP)가 로컬 시간축 레지스터에 있는 초와 비교하여 다음 다음에 있다면, 비교기는 "110"을 산출할 것이다.
시간 T3후, B-VOP 시간축 레지스터는 시간 T3 바로 전의 로컬 시간축 레지스터에 수용된 시간과 같은 시간으로 셋된다. 예에 따라서, B-VOP 시간축 레지스터는 1:23:45로 셋된다. 또한, 시간 T3후, 로컬 시간축 레지스터는 제2VOP(P1-VOP)에 일시적으로 저장된 시간과 같은 시간으로 증가된다. 따라서, 예에서는 로컬 시간축 레지스터가 1:23:46으로 증가되었다.
비교기에서 산출된 결과 "10"은 모듈로 시간축 지역에서 제2VOP(P1-VOP)에 부가된다. 동시에, 제2VOP(P1-VOP)에 일시적으로 저장된 시간, 분, 및 초는 제거된다. 따라서, 시간 T4전에, 제2VOP(P1-VOP)을 위한 비트스트림 데이터는 모듈로 시간축 지역에 삽입된 "10"과 VOP 시간 증분 지역에 삽입된 "550"을 얻는다.
다음, 시간 T4에서, 제3VOP(B1-VOP)가 채택된다. 시간 코드 비교기는 B-VOP시간축 레지스터에 저장된 시간(hour, minute, second)을 제3VOP(B1-VOP)에 일시적으로 저장된 시간(hour, minute, second)과 비교한다. 예에 따라 비교의 결과는 같다. 따라서, 비교기는 제3VOP(B1-VOP)가 B-VOP 시간축 레지스터가 유지되는 초와 같은 초에 있다는 것을 암시하는 "0"을 산출한다. 비교기에서 산출된 결과 "0"은 모듈로 시간축 지역에서 제3VOP(B1-VOP)에 부가된다. 동시에, 제3VOP(I1-VOP)에 일시적으로 저장된 시간, 분, 초 데이터는 제거된다. 따라서, 시간 T5전에, 제3VOP(B1-VOP)를 위한 비트스트림 데이터는 모듈로 시간축 지역에 삽입된 "0"과 VOP 시간 증분 지역에 삽입된 "750"을 얻는다.
시간 T5에서는 제4VOP(B2-VOP)가 채택된다. 시간 코드 비교기는 B-VOP 시간축 레지스터에 저장된 시간(hour, minute, second)을 제4VOP(B2-VOP)에 일시적으로 저장된 시간(hour, minute, second)과 비교한다. 인스턴스에서처럼, 비교의 결과는 제4VOP(B2-VOP)에 일시적으로 저장된 시간이 B-VOP에 저장된 시간보다 1초 많다. 따라서 비교기는 제4VOP(B2-VOP)가 B-VOP 시간축 레지스터에서 유지되는 초에 대해 다음의 1초에 있다는 것을 암시하는 "10"을 산출한다.
B형의 VOP를 처리하는 동안, 로컬 시간축도 B-VOP 시간축 레지스터도 비교기의 산출 결과가 무엇이든지에 상관없이 증가되지 않는다.
비교기로부터 산출된 결과 "10"은 모듈로 시간축 지역에서 제4VOP(B2-VOP)에 부가된다. 동시에, 제4VOP(B2-VOP)에 일시적으로 저장된 시간, 분, 초 데이터는 제거된다. 따라서, 시간 T6전에, 제4VOP(B2-VOP)을 위한 비트스트림 데이터는 모듈로 시간축 지역에 삽입된 "10"과 VOP 시간 증분 지역에 삽입된 "150"을 얻는다.
시간 T6에서는 제5VOP(P2-VOP)가 채택된다. 시간 코드 비교기는 로컬 시간축 레지스터에 저장된 시간(hour, minute, second)을 제5VOP(P2-VOP)에 일시적으로 저장된 시간(hour, minute, second)과 비교한다. 예에서처럼, 비교의 결과는 제5VOP(P2-VOP)에 일시적으로 저장된 시간이 로컬 시간축에 저장된 시간보다 1초 많도록 한다. 따라서 비교기는 제5VOP(P2-VOP)가 로컬 시간축 레지스터에서 유지되는 초에 대해 다음의 1초에 있다는 것을 암시하는 "10"을 산출한다.
시간 T6후에, B-VOP 시간축 레지스터는 T6 바로 전의 로컬 시간축 레지스터에서 유지되는 시간과 동등한 시간으로 증가된다. 예에서, B-VOP 시간축 레지스터는 1:23:46으로 증가된다. 또한, 시간 T6후의 로컬 시간축 레지스터는 제5VOP(P2-VOP)에 일시적으로 저장된 시간과 같은 시간으로 증가된다. 따라서, 예에서 보여지듯 로컬 시간축 레지스터는 1:23:47로 증가된다.
비교기에서 산출된 결과 "10"은 모듈로 시간축 지역에서 제5VOP(P2-VOP)에 부가된다. 동시에, 제5VOP(P2-VOP)에 일시적으로 저장된 시간, 분, 초 데이터는 제거된다. 따라서, T7전에, 제5VOP(P2-VOP)를 위한 비트스트림 데이터는 모듈로 시간축 지역에 삽입된 "10"과 VOP 시간 증분 지역에 삽입된 "350"을 얻게 된다.
그후, 비슷한 동작이 뒤에 오는 VOP들을 위한 비트스트림 데이터를 형성하기 위해 수행된다.
비트스트림 데이터를 복호하기 위해, 전술한 동작에 반대되는 동작이 수행된다. 첫째, GOP 헤더에 수용된 시간(시간, 분, 초)을 판독한다. 판독된 시간은 로컬 시간축 레지스터에 저장된다.
B형 VOP 외의 I형 또는 P형 VOP가 오면, 모듈로 시간축 지역에 저장된 데이터가 판독된다. 만약 판독 데이터가 "0", 즉 0 앞에 1이 하나도 없으면, 로컬 시간축 레지스터에서도 B-VOP 시간축 레지스터에서도 변화는 없다. 판독 데이터가 "10"이면, 로컬 시간축 레지스터에 저장된 시간은 1초 증가된다. 판독 데이터가 "110"이라면, 로컬 시간축 레지스터에 저장된 시간은 2초 증가하게 된다. 이러한 방법에서 증가되는 초는 0의 앞에 삽입된 1의 수에 의해 결정된다. 또한, 판독 데이터가 "10" 또는 "110"일 때, B-VOP 시간축 레지스터는 가장 최근의 증분이 전달되기 바로 전의 국소 시간축 레지스터의 시간을 복사하는 기억장치이다. 국소 시간축 레지스터에 있는 시간(hour, minute, second)과 VOP 시간 증분 지역에 있는 시간(millisecond)이 결합되어 I형 또는 P형 VOP가 발생할 수 있는 특정 시간으로 확장된다.
B형의 VOP를 받는 즉시, 모듈로 시간축에 저장된 데이터가 판독된다. 판독 데이터가 "0"이면, B-VOP 시간축 레지스터에 전달된 시간(hour, minute, second)은 VOP 시간 증분 지역에 전달된 시간(millisecond)과 결합되어 특정한 시간에서 B형의 VOP의 발생을 확립한다. 만약 판독 데이터가 "10"이면, B-VOP 시간축 레지스터에 전달된 시간(hour, minute, second)은 2초 증가하고, 부가된 결과 시간은 VOP 시간 증분 지역에 전달된 시간(millisecond)과 결합되어 특정 시간에서 B형 VOP의 발생을 확립한다. 만약 판독 데이터가 "110"이면, B-VOP 시간축 레지스터에 전달된 시간(hour, minute, second)은 2초 증가하고, 부가된 결과 시간은 VOP 시간 증분 지역에 전달된 시간(millisecond)과 결합되어 특정 시간에서 B형 VOP의 발생을 확립한다.
본 발명의 결과는 다른 인코더에 의해 비디오 오브젝트 평면의 부호화를 가능케하여 다중화할 수 있다. 또한 다른 소스로부터 온 압축 데이터의 오브젝트를 기초로한 비트스트림의 조작을 쉽게 하여 새로운 비트스트림을 만들 수 있다. 그것은 오디오 비주얼 오브젝트를 위한 동기화 방법을 제공한다.
본 발명은 상세한 설명을 참조하여 여러 방법에서 변경할 수 있을 것이다. 본 발명의 범위에서 벗어난 변경은 인정하지 않으며, 당업자가 명백히 알 수 있는 본 발명의 모든 변경은 다음 청구항의 범위내에 포함된다.

Claims (8)

  1. 압축 데이터에서 오디오 비주얼 시퀀스의 로컬 시간축을 부호화하는 방법에 있어서:
    시간 샘플링에 의해 오디오 비주얼 시퀀스 인스턴스를 취득하는 단계;
    압축된 데이터로 부호화되도록 상기 인스턴스의 로컬 시간축을 결정하는 단계;
    일정한 간격의 시간 기준과 관련하여 시간축 증분과 로컬 시간축상의 특정 간격에서 일정하게 간격을 둔 시간 기준 세트의 발생을 표시하는 모듈로 시간축으로 구성된 두 부분에서 상기 로컬 시간축을 부호화하는 단계;
    특정한 간격을 경과할 때마다 압축된 데이터로 모듈로 시간축을 삽입하는 단계;
    오디오 비주얼 시퀀스의 상기 인스턴스의 압축된 데이터내에 시간축 증분을 삽입하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  2. 압축된 데이터에서 오디오 비주얼 시퀀스의 로컬 시간축을 부호화하는 방법에 있어서:
    시간 샘플링에 의해 오디오 비주얼 시퀀스의 인스턴스를 취득하는 단계;
    압축 데이터로 부호화하도록 상기 인스턴스의 로컬 시간축을 결정하는 단계;
    어떠한 장차의 인스턴스의 기준없이 압축하는 제1의 방법과 장차 재구성된 인스턴스를 기준으로 하는 압축의 제2의 방법중의 어느 하나의 상기 인스턴스를 부호화하는 단계;
    시간축 증분과 로컬 시간축상의 특정한 간격에서 일정한 간격을 둔 시간 기준 세트의 발생을 표시하는 모듈로 시간축으로 구성된 두 부분에서 상기 로컬 시간축을 부호화하는 단계;
    상기 일정 간격 시간 기준과 관련된 절대값에 따라 제1압축 방법을 사용하여 압축된 인스턴스를 위한 시간축 증분을 부호화하는 단계;
    상기 제1방법을 사용하는 미리 압축된 인스턴스의 로컬 시간축에 대한 상대값에 따라 제2압축 방법을 사용하여 압축된 인스턴스를 위한 시간축 증분을 부호화하는 단계;
    특정 간격이 경과할 때마다 압축된 데이터로 모듈로 시간축을 삽입하는 단계;
    오디오 비주얼 시퀀스의 상기 인스턴스의 압축된 데이터내에 시간축 증분을 삽입하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  3. 제1항 또는 제2항에 있어서, 부호화된 로컬 시간축 정보를 포함하는 다수의 압축 비트스트림이 다중화되고, 상기 다중화를 위해:
    다중화된 비트스트림에 시간축 오프셋(time base offset) 삽입과 부호화에 의해 공통 시간축에 대해 개개의 압축된 비트스트림의 로컬 시간축을 동기화하는 단계;
    압축된 비트스트림 모두가 모듈로 시간축에 이를 때까지 다중화된 비트스트림에 배열되도록 다음의 압축된 인스턴스를 위해 압축된 비트스트림의 각각을 검사하는 단계;
    압축 비트스트림의 모듈로 시간축을 스킵하고 다중 비트스트림에 공통 모듈로 시간축을 삽입하는 단계;
    압축 비트스트림이 모두 고갈될 때까지 나중의 두 단계를 반복하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.
  4. 제1항 또는 제2항에 있어서, 다중화를 위해 부호화된 로컬 시간축 정보를 포함하는 다수의 압축 비트스트림이 다중화 및 단일화되고, 상기 단일화를 위해:
    개개의 압축 비트스트림의 시간축 오프셋을 복호화하는 단계;
    모듈로 시간축이 다중 비트스트림에 닿을 때까지 적절한 압축 비트스트림에 상기 인스턴스를 배열하고 다음 압축 인스턴스를 위해 다중화 비트스트림을 검사하는 단계;
    압축 비트스트림의 각각에 모듈로 시간축을 삽입하는 단계; 및
    다중 비트스트림이 소진될 때까지 나중의 두 단계를 반복하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.
  5. 제1항에 따라 부호화된 압축 데이터의 시간축으로부터 오디오 비주얼 시퀀스의 로컬 시간축을 복호화하는 방법에 있어서:
    시간축 오프셋을 고려하여 기준 시간축을 초기화하는 단계;
    복호화된 모듈로 시간축 각각을 위해 특정 간격으로 기준 시간축을 증가시키는 단계;
    압축 인스턴스의 시간축 증분을 복호화하는 단계; 및
    기준 시간축에 상기 복호 시간축 증가값을 부가함으로써 상기 인스턴스의 시간축 복호를 결정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  6. 제2항에 따라 부호화된 압축 데이터의 시간축으로부터 오디오 비주얼 시퀀스의 로컬 시간축을 복호화하는 방법에 있어서:
    시간축 오프셋을 고려하여 기준 시간축을 초기화하는 단계;
    복호화된 각각의 모듈로 시간축을 위한 특정 간격에 의해 기준 시간축이 증가되는 단계;
    압축 인스턴스의 시간축 증분을 복호화하는 단계;
    인스턴스의 부호화에 사용되는 제1 또는 제1압축 방법에 의존하는 절대적인 또는 상대적인 두 형태의 하나가 되는 시간축 증분을 결정하는 단계;
    시간축이 제1형태의 것이라면 기준 시간축에 상기 복호화된 시간축 증가치를 부가함으로써 상기 인스턴스의 시간축 복호화를 결정하는 단계; 및
    시간축 증분이 제2형태의 것이라면, 제1압축 방법을 사용하는 부호화된 앞서 인스턴스의 복호화된 시간축에 상기 복호화된 시간축 증분을 부가함으로써 상기 인스턴스의 시간축 복호화를 결정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  7. 제3항에 있어서, 다수의 압축 비트스트림을 다중화하는 방법의 개개의 압축 비트스트림은 그 자체가 다중화된 비트스트림이라는 것을 특징으로 하는 부호화 방법.
  8. 제1항 또는 제2항에 있어서, 시간축을 부호화하는 방법의 로컬 시간축, 시간축 증분, 및 시간축 오프셋은 1000밀리세컨드(millisecond)기간의 특정 간격과 밀리세컨드의 단위인 것을 특징으로 하는 부호화 방법.
KR1019980701650A 1996-07-05 1997-07-03 디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법 KR100274434B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP96-176430 1996-07-05
JP17643096 1996-07-05

Publications (2)

Publication Number Publication Date
KR19990044406A KR19990044406A (ko) 1999-06-25
KR100274434B1 true KR100274434B1 (ko) 2000-12-15

Family

ID=16013573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980701650A KR100274434B1 (ko) 1996-07-05 1997-07-03 디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법

Country Status (11)

Country Link
US (6) USRE40664E1 (ko)
EP (6) EP1073277A1 (ko)
JP (1) JP3186775B2 (ko)
KR (1) KR100274434B1 (ko)
CN (5) CN1107418C (ko)
DE (5) DE69707720T2 (ko)
ES (5) ES2166746T3 (ko)
HK (4) HK1016390A1 (ko)
SG (1) SG90765A1 (ko)
TW (1) TW359918B (ko)
WO (1) WO1998002003A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077779B2 (en) 2002-07-24 2011-12-13 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8090026B2 (en) 2002-07-15 2012-01-03 Apple Inc. Using order difference for calculating motion vector

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ID20680A (id) * 1997-04-01 1999-02-11 Sony Corp Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
JP4109772B2 (ja) * 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
ID24586A (id) * 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6299998B1 (en) * 1999-03-15 2001-10-09 Reveo, Inc. Movable anode fuel cell battery
CN100348044C (zh) * 1999-03-31 2007-11-07 松下电器产业株式会社 不同帧速率多流混合视频流的无缝译码装置
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
WO2002015583A1 (en) * 2000-08-15 2002-02-21 Microsoft Corporation Methods, systems and data structures for timecoding media samples
JP2004507172A (ja) * 2000-08-16 2004-03-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチメディアアプリケーションを再生する方法
WO2002015591A1 (en) * 2000-08-16 2002-02-21 Koninklijke Philips Electronics N.V. Method of playing multimedia data
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US20020089602A1 (en) 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
AU2002245609A1 (en) * 2001-03-05 2002-09-19 Intervideo, Inc. Systems and methods of error resilience in a video decoder
US7280738B2 (en) * 2001-04-09 2007-10-09 International Business Machines Corporation Method and system for specifying a selection of content segments stored in different formats
US20020145622A1 (en) * 2001-04-09 2002-10-10 International Business Machines Corporation Proxy content editing system
US6870887B2 (en) * 2001-04-09 2005-03-22 International Business Machines Corporation Method and system for synchronization between different content encoding formats
US6662176B2 (en) * 2001-05-07 2003-12-09 Hewlett-Packard Development Company, L.P. Database indexing and rolling storage method for time-stamped normalized event data
US20050075929A1 (en) * 2002-10-17 2005-04-07 Wolinsky Robert I. System and method for partitioning airtime for distribution and display of content
US20030229549A1 (en) * 2001-10-17 2003-12-11 Automated Media Services, Inc. System and method for providing for out-of-home advertising utilizing a satellite network
US7614065B2 (en) * 2001-12-17 2009-11-03 Automated Media Services, Inc. System and method for verifying content displayed on an electronic visual display
EP1328127A1 (de) * 2002-01-09 2003-07-16 Beta Research GmbH Simultaneinspeisung und Synchronisation von Audio und Videodaten
CN1618235A (zh) * 2002-01-22 2005-05-18 微软公司 用于防止起始码模仿和数据填充的方法和系统
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
CN100499824C (zh) * 2002-04-19 2009-06-10 微软公司 防止非字节对齐和/或位移位位置起始码仿效的方法和系统
AU2008201106C1 (en) * 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
AU2013204690B2 (en) * 2002-07-15 2015-11-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7613630B2 (en) * 2002-10-17 2009-11-03 Automated Media Services, Inc. System and method for editing existing footage to generate and distribute advertising content to retail locations
EP1487214A1 (en) * 2003-06-11 2004-12-15 Digital Multimedia Technologies S.P.A. A method and a system for synchronizing MHP applications in a data packet stream
US20050002459A1 (en) * 2003-07-04 2005-01-06 Protocom Technology Corporation Method for determining display order of VOPs in decoder end of MPEG image system and device for executing the same
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
JP4767165B2 (ja) * 2004-04-15 2011-09-07 パナソニック株式会社 コンテンツ生成装置及び方法
EP1622382B1 (en) * 2004-07-22 2007-10-17 Harman Becker Automotive Systems GmbH Data transmission synchronization scheme
US8228956B2 (en) * 2005-04-19 2012-07-24 Alcatel Lucent Time stamp offset in data packet bundling
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US20090129740A1 (en) * 2006-03-28 2009-05-21 O'brien Christopher J System for individual and group editing of networked time-based media
US9812169B2 (en) * 2006-03-28 2017-11-07 Hewlett-Packard Development Company, L.P. Operational system and architectural model for improved manipulation of video and time media data from networked time-based media
WO2008118183A1 (en) * 2007-03-28 2008-10-02 Motionbox, Inc. System and method for autogeneration of long term media data from networked time-based media
WO2007112445A2 (en) * 2006-03-28 2007-10-04 Motionbox, Inc. A system and data model for shared viewing and editing of time-based media
EP1999674A4 (en) * 2006-03-28 2010-10-06 Hewlett Packard Development Co SYSTEM AND METHOD FOR SOCIAL NAVIGATION IN A NETWORK TIME MEDIA
EP1999608A4 (en) * 2006-03-29 2010-10-06 Hewlett Packard Development Co SYSTEM, METHOD AND DEVICE FOR VISUAL SCAN, DEEP-TAGGING AND SYNCHRONIZED COMMENTING
EP1855402A1 (en) * 2006-05-11 2007-11-14 Koninklijke Philips Electronics N.V. Transmission, reception and synchronisation of two data streams
JP4607856B2 (ja) * 2006-12-26 2011-01-05 富士通株式会社 符号化復号システム及び符号化復号方法
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
EP2119185B1 (en) * 2007-03-08 2015-07-01 Telefonaktiebolaget LM Ericsson (publ) Seeking and synchronization using global scene time
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
WO2009100453A2 (en) * 2008-02-08 2009-08-13 Automated Media Services, Inc. System and method for creating an in-store media network using traditional media metrics
EP2351372B1 (en) * 2008-10-28 2020-08-05 Cisco Technology, Inc. Stream synchronization for live video encoding
US20100225811A1 (en) * 2009-03-05 2010-09-09 Nokia Corporation Synchronization of Content from Multiple Content Sources
JP6605789B2 (ja) 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US10779057B2 (en) * 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
US10694227B2 (en) * 2017-01-13 2020-06-23 Panasonic Intellectual Property Management Co., Ltd. Video transmission system and video transmission method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364281B2 (ja) * 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
US5467139A (en) * 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
GB9424429D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Audio/video timing discrepancy management
US5953073A (en) * 1996-07-29 1999-09-14 International Business Machines Corp. Method for relating indexing information associated with at least two indexing schemes to facilitate the play-back of user-specified digital video data and a video client incorporating the same
US5784422A (en) 1996-08-05 1998-07-21 Transcrypt International, Inc. Apparatus and method for accurate synchronization with inbound data packets at relatively low sampling rates

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837597B2 (en) 2002-07-15 2014-09-16 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8090026B2 (en) 2002-07-15 2012-01-03 Apple Inc. Using order difference for calculating motion vector
US9838707B2 (en) 2002-07-15 2017-12-05 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US9516337B2 (en) 2002-07-15 2016-12-06 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8094724B2 (en) 2002-07-15 2012-01-10 Apple Inc. Order value for specifying relationship between video pictures
KR101192559B1 (ko) * 2002-07-15 2012-10-17 애플 인크. 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치
US8630339B2 (en) 2002-07-15 2014-01-14 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8711924B2 (en) 2002-07-15 2014-04-29 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8737462B2 (en) 2002-07-15 2014-05-27 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8737483B2 (en) 2002-07-15 2014-05-27 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8743951B2 (en) 2002-07-15 2014-06-03 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US9204161B2 (en) 2002-07-15 2015-12-01 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8817883B2 (en) 2002-07-15 2014-08-26 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8824559B2 (en) 2002-07-15 2014-09-02 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US10154277B2 (en) 2002-07-15 2018-12-11 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8837580B2 (en) 2002-07-15 2014-09-16 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8953693B2 (en) 2002-07-24 2015-02-10 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8942287B2 (en) 2002-07-24 2015-01-27 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8934551B2 (en) 2002-07-24 2015-01-13 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8934547B2 (en) 2002-07-24 2015-01-13 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8934546B2 (en) 2002-07-24 2015-01-13 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8090023B2 (en) 2002-07-24 2012-01-03 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8885732B2 (en) 2002-07-24 2014-11-11 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8938008B2 (en) 2002-07-24 2015-01-20 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US9554151B2 (en) 2002-07-24 2017-01-24 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8094729B2 (en) 2002-07-24 2012-01-10 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8817880B2 (en) 2002-07-24 2014-08-26 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8837603B2 (en) 2002-07-24 2014-09-16 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US10123037B2 (en) 2002-07-24 2018-11-06 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8077779B2 (en) 2002-07-24 2011-12-13 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations

Also Published As

Publication number Publication date
CN1292598C (zh) 2006-12-27
USRE39115E1 (en) 2006-06-06
SG90765A1 (en) 2002-08-20
HK1016392A1 (en) 1999-10-29
DE69719828D1 (de) 2003-04-17
KR19990044406A (ko) 1999-06-25
DE69707720T2 (de) 2002-08-08
DE69707929T2 (de) 2002-06-20
CN1152579C (zh) 2004-06-02
EP1343330A3 (en) 2006-05-10
EP1073277A1 (en) 2001-01-31
ES2166746T3 (es) 2002-05-01
TW359918B (en) 1999-06-01
EP1111933A1 (en) 2001-06-27
EP1111933B1 (en) 2003-03-12
WO1998002003A1 (en) 1998-01-15
EP1343330B1 (en) 2007-08-15
EP0864228B1 (en) 2001-04-04
DE69704481T2 (de) 2001-10-31
DE69738035T2 (de) 2008-04-30
HK1060463A1 (en) 2004-08-06
CN1620149A (zh) 2005-05-25
JPH11513222A (ja) 1999-11-09
USRE38923E1 (en) 2005-12-20
EP1073278B1 (en) 2001-10-31
DE69704481D1 (de) 2001-05-10
EP1111934B1 (en) 2001-10-24
ES2194801T3 (es) 2003-12-01
USRE39344E1 (en) 2006-10-17
HK1016390A1 (en) 1999-10-29
DE69719828T2 (de) 2003-12-24
DE69738035D1 (de) 2007-09-27
USRE40664E1 (en) 2009-03-17
EP1073278A1 (en) 2001-01-31
CN1197579A (zh) 1998-10-28
CN1364032A (zh) 2002-08-14
CN1148971C (zh) 2004-05-05
ES2158570T3 (es) 2001-09-01
ES2169019T3 (es) 2002-07-01
DE69707929D1 (de) 2001-12-06
JP3186775B2 (ja) 2001-07-11
USRE38875E1 (en) 2005-11-15
EP1111934A1 (en) 2001-06-27
CN1347250A (zh) 2002-05-01
EP0864228A1 (en) 1998-09-16
EP1343330A2 (en) 2003-09-10
US6075576A (en) 2000-06-13
DE69707720D1 (de) 2001-11-29
CN1347251A (zh) 2002-05-01
HK1075345A1 (en) 2005-12-09
CN1184821C (zh) 2005-01-12
CN1107418C (zh) 2003-04-30
ES2291563T3 (es) 2008-03-01

Similar Documents

Publication Publication Date Title
KR100274434B1 (ko) 디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법
CN101419827B (zh) 在音频视频交叉文件中进行音频与视频数据同步的方法
CA2292425C (en) Video and audio signal processing
EP1014729A2 (en) Apparatus and method for time stamping using modulo time base and time increment resolution
Macinnis The MPEG systems coding specification
KR20000055875A (ko) 디지털 방송 수신기의 오디오/비디오 신호 동기화 방법
JP3197264B6 (ja) Ｖｏｐの時刻復号化方法
JP3769457B2 (ja) ローカル時刻符号化方法
JP3174042B6 (ja) Ｂ−ｖｏｐの時刻復号化方法
JP3401505B2 (ja) Ｖｏｐの時刻符号化方法
JP3174042B2 (ja) Ｂ−ｖｏｐの時刻復号化方法
JP3421024B2 (ja) Ｖｏｐの時刻復号化方法
JP3197264B2 (ja) Ｖｏｐの時刻復号化方法
KR19980026747A (ko) MPEG-2 운송비트열 재다중화기의 PCR 수정장치(PCR corrector of MPEG-2 transport stream remultiplexer)
Jin et al. Resynchronization and remultiplexing for transcoding to H. 264/AVC
KR20020004689A (ko) 엠펙 다중화에서의 타임 스탬프 발생장치 및 그 제어방법
CN111988641A (zh) 传输流复用音视频时间同步方法
MXPA00004884A (en) Apparatus and method for time stamping using modulo time base and time increment resolution
JP2001359059A (ja) プログラム多重化システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130819

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 17

EXPY Expiration of term