KR100639894B1 - 엠펙-4 시스템 적응 아키텍쳐 - Google Patents

엠펙-4 시스템 적응 아키텍쳐 Download PDF

Info

Publication number
KR100639894B1
KR100639894B1 KR1019997008809A KR19997008809A KR100639894B1 KR 100639894 B1 KR100639894 B1 KR 100639894B1 KR 1019997008809 A KR1019997008809 A KR 1019997008809A KR 19997008809 A KR19997008809 A KR 19997008809A KR 100639894 B1 KR100639894 B1 KR 100639894B1
Authority
KR
South Korea
Prior art keywords
mpeg
buffer
architecture
demultiplexer
packet data
Prior art date
Application number
KR1019997008809A
Other languages
English (en)
Other versions
KR20010005738A (ko
Inventor
젠트릭필리페
헤르만라우렌트
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010005738A publication Critical patent/KR20010005738A/ko
Application granted granted Critical
Publication of KR100639894B1 publication Critical patent/KR100639894B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

본 발명은 다중 스레딩 동작 시스템에 의해 관리되는 특정 태스크를 갖는 키 모듈들로 세분된 MPEG-4 시스템 적응 아키텍쳐와 관련한다. MPEG-4 디멀티플렉서는 세개의 프로세스 레벨로 분할된다. 각각의 프로세스는 서로간에 독립적이지만, 버퍼들을 제어하는 세마포어(semaphores)의 형태로 동기 프리미티브들이 동작 시스템에 의해 제공되어, 버퍼 크기들이 가능한 작게 유지되도록 한다. 응용: 모든 종류들의 산업 MPEG-4 설비(데스크-탑, 셋-탑 박스).
MPEG-4, 키 모듈, 동기 프리미티브

Description

엠펙-4 시스템 적응 아키텍쳐{MPEG-4 systems compliant architecture}
본 발명은 MPEG-4 시스템 디멀티플렉서 아키텍쳐에 관한 것이다. 본 발명은 MPEG-4 다중 매체의 스트리밍(streaming)에 대한 MPEG-4 표준과 관련한 응용을 포함한다.
MPEG-4 표준의 시스템 부분은 MPEG-4 다중 매체 데이터(비디오, 오디오, 2D 및 3D 그래픽)를 액세스하는 아키텍쳐를 규정한다. MPEG-4 시스템은, 1997년 11월 21일자 ISO/IEC JTC1/SC29/WG11 N 1901, "MPEG-4 시스템" 의 문서에 상세히 기술되어 있다. 그러한 아키텍쳐는, 예컨대 대다수의 자원들(네트워크, 방송, 보관,...)로부터 비롯된 오디오 및 비디오 스트림들과 같은 임의의 스트림들에 대한 액세스를 제공해야하므로, 복잡하다. 특히, 그 표준은, 오디오 및 비디오 데이터의 동기화에 대하여, 타임 스템프들에 의해 시간 정보를 상기 다른 스트림들에 도입할 수 있도록 하는 메카니즘을 규정하고 있다.
그 관련 가능성이 있는 제품들의 대부분은 비트 전송률에 있어 어떠한 안정적인 형태를 갖는 네트워크 기술(예컨대, 모바일 네트워크, 인터넷)을 이용할 것이다. 이들 네트워크 상에서는 비트 전송률의 변동이 발생하게 된다(인터넷에서는 하루 중의 시간에 따라, 모바일 네트워크에서는 가장 인접한 베이스 스테이션에 대한 거리에 따라 변동된다). MPEG-4 적응 아키텍쳐(그 토폴로지(topology)는 세션중에 고정될 수도 있지만 통상 동적으로 전개되는 소위 "상대적 배치(configuration)"에 대하여 조절될 수 있어야 함)는 명확하게 구성될 다수의 메모리 버퍼들을 처리해야하며, 최적의 아키텍쳐 실행으로 적합한 버퍼 관리를 보장해야한다. 따라서, 이러한 정황에서 해결해야될 문제들은 다음과 같은 단점들을 피하기 위하여 상기 아키텍쳐의 상이한 모듈들 간의 정보 교환과 관련하게 된다.
- "파이프-라인" 효과의 파괴, 예컨대 동기화 이탈(desynchronization)로 이르게될 수 있는 스트림에서의 손실(오디오 스트림에서의 파괴 또는 비디오 스트림에 대한 오디오 신호들의 동기화 이탈은 실수요자에 의해 상당히 지각될 수 있으므로, 용인할 수 없다);
- 비디오 회의와 같은 대화식 응용들에 있어서 지나치게 긴 처리 시간;
- 과잉 크기의 버퍼들이 이용될 경우 메모리 자원의 낭비.
이들 문제들에 대한 해결책들 간의 절충을 얻어내기는 어려우며, 그 이유는, 네트워크의 영향을 감소하기 위한 유일한 방법은 버퍼들의 크기를 증가시키는 것이지만, 이는 또한 지연 및 처리 시간 등을 증가시킨다. 더욱이, 이전의 응용(예컨대, TV 방송 분야의 MPEG-2 표준)에 대한 경우에서 그랬던 것처럼 아키텍쳐 실행의 이전 단계에서 버퍼들의 크기를 예측하는 것은 현실적이지 못하다.
따라서, 본 발명의 목적은 이들 문제점들을 해소하고자 하는 것이다. 이러한 목적을 위하여, 본 발명은 MPEG-4 시스템 디멀티플렉서 아키텍쳐와 관련하고, 상기 디멀티플렉서는 세 개의 상이한 레벨들로 분할되며, 여기서 첫 번째 레벨은 로컬 디스크 또는 네트워크상의 데이터를 판독하고 상기 데이터를 패킷 데이터 유닛들로 저장하도록 제공되고, 두 번째 레벨은 상기 패킷 데이터 유닛들을 판독하고 액세스 유닛 레이어 패킷 데이터 유닛들을 저장하도록 제공되고, 세 번째 레벨은 관련된 데이터 플로우를 형성하는 기초 스트림들(elementary streams)의 액세스 유닛들을 재구성하기 위해 제공되며, 상기한 분할은 키 모듈들로의 세분에 의해 실행되고, 이들 모듈 각각은 버퍼 크기들이 가능한 작게 유지되도록 각 버퍼를 제어하는 특정 카운터들에 기초하여 버퍼 관리 스트래티지(buffer management strategy)를 최적으로 규정하는 다중 스레딩(multi-threading) 동작 시스템에 의해 관리되는 대응하는 특정 태스크를 담당(in charge of)한다.
MPEG-4 시스템의 실행은, 매우 간단하거나(예컨대, 오디오 플로우 및 비디오 플로우로 구성된 영화) 또는 매우 복잡하거나(원격지간 회의의 대화식 다중 사용자 가상 현실의 응용), 구성의 상대적 배치가 다른 성분들을 동적으로 예시할 수 있어야 한다. 다중 스레딩(multi-threading) 동작 시스템에 의한 마이크로프로세서에 기초한 MPEG-4 시스템의 모든 실행에 대한 일반적인 아키텍쳐를 규정하는 본 발명에 따른 기술적 해법은 상기 문제에 대한 해법이 된다. 모든 다중 스레딩 환경에 존재하는 기본적 프리미티브들(basic primitives)을 사용하는 제안된 아키텍쳐는 실행 및 관리에 있어 실제로 모듈식(modular)이고, 유연하며, 동적이고, 확장가능하며, 용이하다. 더욱이, 다중 스레딩 동작 시스템은 목표 프로세서에 최적화되며, 다수 태스크들의 동기화를 효과적으로 관리할 수 있도록 이루어진다.
이제, 본 발명의 상기 및 다른 특징들이 첨부된 도면을 참고하여 다음에 설명된다.
도 1은 (소위 Win32 동작 시스템의) MPEG-4 시스템 버퍼 분할 모델을 도시하는 도면.
도 2는 다른 스레드들을 효과적으로 유지하는데 이용되는 세마포어(semaphores)에 의한 제어 관리를 도시하는 도면.
제안된 해법은 다음의 결과를 제시한다. 먼저, 최적 버퍼 관리를 위한 키 모듈들이 규정되며, 이는 MPEG-4 시스템들의 특정의 포괄적 분할을 수반한다. 이들 모듈 각각은 다중 스레딩 동작 시스템(최적의 방법으로 버퍼들의 필링(filling)을 관리하기 위하여, 다중 스레딩 동작 시스템에 의해 제공된 특정의 동기 프리미티브들을 사용)에 의해 관리되는 태스크로서 실행된다. 최종적으로, 버퍼 관리를 위한 스트래티지(strategy)가 규정된다.
MPEG-4 시스템의 키 모듈들의 규정에 대하여, MPEG-4 디멀티플렉서의 각 부분에 대해 특정 태스크를 할당하도록, 도 1에 도시된 트랜스먹스(TransMux), 플렉스먹스(FlexMux), 기초 스트림(Elementary Stream)의 세 개의 다른 레벨들로 상기 디멀티플렉서를 분할하는 것이 제안된다. 액세스 유닛들(AUs)을 판독하여 플레이(영상, 사운드)될 수 있는 프레임들을 생성하기 위하여 디코더 버퍼(오디오, 비디오,...)가 또한 규정되지만(도1 참조), 이러한 태스크는 디멀티플렉서에 의해 실행되는 부분은 아니다.
도 1의 구성은 다중 스레딩 기능을 제공하는 예컨대 Win32 동작 시스템(=Window95)상에서 실행된다. 한 스레드는 각각 다음을 처리하도록 할당된다:
- 디스크 DK 또는 네트워크 NW 상의 데이터를 판독하고, 다수 N의 플렉스먹스 패킷 데이터 유닛들(=FM-PDUs)을 저장하기 위한 트랜스먹스 스레드(TransMux thread)(TMX);
- FM-PDU 버퍼 내의 이들 FM-PDU들을 판독하고, N 액세스 유닛 레이어 패킷 데이터 유닛들(N Access unit Layer Packet Data Units)(=AL-PDUs)을 저장하며, N 액세스 유닛들(=AUs)을 재구성하는 플렉스먹스 스레드(FlexMux thread)(FMX)로서, 플렉스먹스 FMX 및 기초 스트림 ELS는 실행시 단일 스레드로 구성되는, 상기 플렉스먹스 스레드(FMX);
- 디코더들에 대한 액세스 유닛들(AUs)로 N 프레임들을 이루기 위한 디코더 스레드(Decoder thread)(DEC).
이들 스레드 각각은 서로간에 독립적이다. 도 1에 도시된 바와 같이, 버퍼들은 큐(queues)로서, 즉 어떠한 고정된 길이 없이 FIFO(선입,선출) 메모리들로서 실행된다(결과적으로, 커다란 버퍼들도 결핍된 태스크들도 갖지 않도록 하기 위하여 이들 버퍼들의 상태를 제어하는 것이 제시된다).
하지만, 태스크들은 소위 동기화 프리미티브들을 사용하여 서로간에 감시해야하며, 이러한 것은 다른 스레드들을 유효하게 유지하는 세마포어(또는, 카운터들)에 의해 수행된다. 동작 시스템에 의해 제공되는 이들 세마포어 각각은 디멀티플렉서에서의 각 버퍼(FM-PDU, AL-PDU, 도1)를 제어한다. 각 디코더에는 디코더 버퍼를 제어하기 위한 하나의 세머포어, 및 AU 버퍼가 지나치게 크게되는 경우 정지시키도록 트랜스먹스에 신호전송하기 위한 또하나의 세머포어가 있다.
이들의 작용은 도 2에 도시되며, 세머포어들에 의한 제어 관리를 설명한다. 단계 (1) 및 (2)는 다음의 테스트들에 대응한다: (1)은 "N 이 0 보다 크고 최대(Max) 보다 작은 경우, 작업(work)"을 의미하고, (2)는 N 이 최대 보다 큰 경우, 정지(stop)"를 의미한다.
동작 시스템의 동기화 설비에 기초하여, 이들 제어 기능은 다음의 버퍼 관리 스트래티지(buffer management strategy)에 따라 실행된다.
(a) 실행중, 제 1 동작은 로컬 디스크 DK 또는 네트워크 NW 상의 데이터를 판독하는 트랜스먹스 TMX 에 의해 실행된다.
(b) 플렉스먹스 FMX는 트랜스먹스 TMX를 감시한다.
(c) 기초 스트림 ELS는 플렉스먹스 FMX를 감시한다.
(d) 실시간 디코딩 프로세스는 AU들이 AU 버퍼에 존재할 때 개시한다.
(e) 트랜스먹스 TMX 의 조정은 AU 버퍼가 임계 상태에 있지 않도록 제어하는 AU 피드백 세머포어에 의해 이루어진다.
이러한 버퍼 관리 스트래티지의 원리는 버퍼 크기를 가능한 작게되도록 유지하는 것이다. AL-PDUs의 수가 AU를 재구성하기에 충분할 때 즉시 실행되어야 한다. 따라서 디코드용 데이터가 항상 존재하게 된다.
더욱이, 중요한 점은 이용되는 스랜스먹스의 형태를 고려하는 것이다. 트랜스먹스의 두가지 형태, 느린 것(네트워크 액세스)과 빠른 것(디스크 액세스)이 구별될 수 있다. 디스크 액세스들은 대기시간에 있어 빠르며 안정적이고, 그러한 형태의 액세스로 다른 버퍼들 내에 다수의 데이터를 저장할 필요가 없게 되는데, 이는 손실이 발생하지 않고 최대 임계값이 다소 낮게 될 수 있기 때문이다. 반대로, 네트워크 액세스들은 약간의 대기시간을 야기할 수 있으며(예컨대, 인터넷), 따라서 디코더를 결핍하게 하지 않도록 버퍼들 내에 보다 많은 데이터를 저장하는 것이 중요하게 된다.
하나의 디코더 보다 많은 경우에 있어서, 디코딩 스레드를 결핍되지 않도록(멀티플렉싱 스트래티지는 전송측의 목적으로 적응된 것으로 가정) 모든 AU 버퍼들이 임계 최대값에 도달한 경우에만 트랜스먹스가 정지되도록 지시되어야 한다.
본 발명은, 모든 종류들의 산업 MPEG-4 설비(데스크-탑, 셋-탑 박스)에 이용된다.

Claims (3)

  1. 삭제
  2. 삭제
  3. MPEG-4 시스템 디멀티플렉서 아키텍쳐에 있어서,
    상기 디멀티플렉서는 세 개의 상이한 레벨들로 분할되고, 여기서 첫 번째 레벨은 로컬 디스크 또는 네트워크상의 데이터를 판독하고 상기 데이터를 패킷 데이터 유닛들로 저장하도록 제공되고, 두 번째 레벨은 상기 패킷 데이터 유닛들을 판독하고 액세스 유닛 레이어 패킷 데이터 유닛들(access unit layer packet data units)을 저장하도록 제공되고, 세 번째 레벨은 관련된 데이터 플로우를 형성하는 기초 스트림들(elementary streams)의 액세스 유닛들을 재구성하기 위해 제공되며, 상기한 분할은 키 모듈들로의 세분에 의해 실행되고, 이들 모듈 각각은 버퍼 크기들이 가능한 작게 유지되도록 각 버퍼를 제어하는 특정 카운터들에 기초하여 버퍼 관리 스트래티지(buffer management strategy)를 최적으로 규정하는 다중 스레딩(multi-threading) 동작 시스템에 의해 관리되는 대응하는 특정 태스크를 담당하는 것을 특징으로 하는, MPEG-4 시스템 디멀티플렉서 아키텍쳐.
KR1019997008809A 1998-01-27 1999-01-14 엠펙-4 시스템 적응 아키텍쳐 KR100639894B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP98400160 1998-01-27
EP98400160.2 1998-01-27
PCT/IB1999/000038 WO1999038329A2 (en) 1998-01-27 1999-01-14 Mpeg-4 systems compliant architecture

Publications (2)

Publication Number Publication Date
KR20010005738A KR20010005738A (ko) 2001-01-15
KR100639894B1 true KR100639894B1 (ko) 2006-10-31

Family

ID=8235248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997008809A KR100639894B1 (ko) 1998-01-27 1999-01-14 엠펙-4 시스템 적응 아키텍쳐

Country Status (5)

Country Link
EP (1) EP0978199A2 (ko)
JP (1) JP2001518272A (ko)
KR (1) KR100639894B1 (ko)
CN (1) CN1150768C (ko)
WO (1) WO1999038329A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1147079C (zh) 1998-07-17 2004-04-21 皇家菲利浦电子有限公司 用于将编码数据解复用的设备
EP4234596A3 (en) 2018-09-17 2023-09-27 Chevron Phillips Chemical Company LP Light treatment of chromium catalysts and related catalyst preparation systems and polymerization processes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
GB9704027D0 (en) * 1997-02-26 1997-04-16 Discovision Ass Memory manager for mpeg decoder
EP0909091A1 (en) * 1997-10-07 1999-04-14 CANAL+ Société Anonyme Memory manager

Also Published As

Publication number Publication date
KR20010005738A (ko) 2001-01-15
EP0978199A2 (en) 2000-02-09
CN1150768C (zh) 2004-05-19
CN1256047A (zh) 2000-06-07
WO1999038329A2 (en) 1999-07-29
JP2001518272A (ja) 2001-10-09
WO1999038329A3 (en) 1999-09-30

Similar Documents

Publication Publication Date Title
US11405699B2 (en) Using GLTF2 extensions to support video and audio data
US11412282B2 (en) Edge optimized transrating system
US20090328109A1 (en) Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device
EP2632164A2 (en) Interactive encoded content system including object models for viewing on a remote device
CA2787913A1 (en) Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US7929463B2 (en) Layered codec data distribution apparatus and method
EP1568208A2 (en) Method and apparatus for time-multiplexed processing of multiple digital video programs
KR100639894B1 (ko) 엠펙-4 시스템 적응 아키텍쳐
JP4391231B2 (ja) 複数のターミナルへのマルチメディア信号のブロードキャスト方法
Sheu et al. A scalable cost-effective video broadcasting system for on-demand video services
TW200507566A (en) Method and apparatus for decoding a data stream in streaming systems
Li et al. An MPEG-4 based interactive multimedia system
Azimi et al. New interactive services for digital TV
Kim et al. ZEUS: Network Aware QoS Management for Immersive Environment.
CN118511221A (zh) 音频解码器、音频编码器、使用多个数据包、数据包包括一个或多个场景配置数据包和带有一个或多个更新条件的一个或多个场景更新数据包的解码方法、编码方法和比特流
KR100437168B1 (ko) 엠펙-4 시스템 기반의 통신방법
CN118648059A (zh) 音频解码器、音频编码器、使用多个数据包、数据包包括定义渲染场景的时间演变的一个或多个场景配置数据包以及包括时间戳信息的解码方法、编码方法和比特流
Apostolopoulos et al. Supporting interactive scanning operations in VOD systems
PROVISIONING¹ et al. DISTRIBUTED VIDEO PRODUCTION: TASKS, ARCHITECTURE AND
Kalva Object-Based Audio-Visual Services
Park et al. A Viewpoint Switching Method for Multiview Videos Using the MPEG-4 System
Di Cagno Systèmes multimédia et qualité d'expérience

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121015

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131010

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141017

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee