KR20010024033A - 코드화된 데이터를 디멀티플렉스하는 장치 - Google Patents

Abstract

본 발명은 멀티미디어 객체들에 대응하는 코드화된 데이터를 디멀티플렉싱하는 장치에 관한 것이다. 데이터는 개별적으로 액세스가능한 부분들로 분할된 비트스트림 이를 테면 MPEG-4 유연 비트 스트림에 대한 액세스 유닛으로 조직화되고, 그 데이터는 보다 작은 데이터 엔터티들 인용예에서 SL-패킷들로 세분화되며 모든 디멀티플렉싱 연산들은 보다 작은 데이터 엔터티에 인가된다. 상기 연산들은 주로, 디멀티플렉싱 장치의 입력에서 수신된 모든 데이터에 대해, 버퍼를 판독하고 포맷하며, 연속적인 액세스 유닛 세그먼트들을 추출하고, 출력 버퍼 또는 파일에 상기 액세스 유닛을 전송하는 것이다.

Description

코드화된 데이터를 디멀티플렉스하는 장치{Device for demultiplexing coded data}

MPEG-4 표준은 자연 또는 합성 원(origin)의 AVO(audio-visual object 로 불림)들을 나타내기 위한, 오디오 비주얼 장면(scene)들을 형성하는 합성 AVO들을 생성하는 동시에 오디오 비주얼 장면들을 구성하기 위한, AVO들과 관련된 데이터를 다중화하고 동기화하기 위한, 수신기의 말단에서 발생되거나 재구성되는 오디오 비주얼 장면들과 인터랙트하기 위한 표준화된 방식들을 제공한다.

도 1 에 도시된 바와 같이, 이를 테면 "MPEG-4 : context and objectives", R. Koenen and al., Signal processing : Image Communication 9 (1997), May 1997, n°4, pp.295-304, 문서에서 설명된 바와 같은 MPEG-4 시스템에 의해 수신된, 오디오 비주얼 장면은 일반적으로 계층적인 방식으로 조직된 몇몇의 AVO들로 구성됨을 상기할 수 있다. 이 계층적인 조직의 결과들은 도시된 오디오 비주얼 표시 : 배경, 말하는 사람의 화상, 그 사람과 관련된 음성, 그 장면에서 3 차원 객체 존재, 등등(2 차원 또는 3 차원 둘 중의 하나일 수도 있는 임의의 텍스트형, 그래픽형, ... )의 경우에서와 같이 원시(primitive) AVO들이다. 도 1 은 또한 장면과 인터랙트할 가능성이 있는 사용자에게 넘겨지고 표시되기 전에 비디오 및 오디오 컴포지터(compositor)들이 장면을 처리하는 방법을 개략적으로 도시한다.

이 AVO들과 관련된 데이터는 하나 또는 그 이상의 기초 스트림(ES; Elementary Stream)들에 전달되고, 전송과 몇몇의 다른 파라미터들을 필요로 하는 서비스의 품질에 의해 특징지워진다. 도 2 에서 개략적으로 묘사된, 소위 MPEG-4 시스템 층 모델은 MPEG-4 단말들의 모든 실행에 기반이 될 수 있는 일반적인 모델을 제공한다. 이 MPEG-4 단말(수신기 측면에서)의 주된 구성요소를 도시하는 도 3 에서 보여주는 바와 같이, 트랜스먹스(TransMux) 스트림들의 형태로 네트워크나 또는 저장 매체(도 2에서, "전송/저장 매체" ; 도 3에서, "네트워크 층")에서 나오는 데이터 스트림들은 기초 스트림(ES)들을 복원하기 위해 적절하게 디멀티플렉스되어야만 한다. 그 후에 이 기초 스트림(ES)들은 그들의 감압을 고려하여 그리고 오리지널 AVO(원시 AV 객체들)를 재구성하기 위해, 적절한 디코더들을 통과하게 된다. 관련된 장면을 컴포지션(composition)하는 정보를 제공하는 장면 기술 표시들과 함께, 디코드된 AVO들은 그 저자에 의해 기술된(소정의 계층적인, 대화형의 형태로) 장면을 합성하고 넘겨 주기 위해 사용된다. 또한 저자에 의해 허용되는 범위까지, 업스트림 데이터(사용자 이벤트들, 클래스 요청, ....)는 장면과 인터랙트하기 위해 네트워크 층에 반환된다.

보다 정밀하게, 도 2 에서 묘사된 MPEG-4 단말은 다음의 3개의 층들을 구성하는 다층(multi-layer) 구조이다. : 트랜스먹스 층(21), 플렉스먹스(FlexMux) 층(22) 및 액세스 유닛 층(23).

MPEG-4 데이터 스트림들을 전송하는데 적합한 임의의 현존하는 또는 보다 근원적인 멀티플렉스 기능을 나타내는(연산 환경들의 광범위한 변경속에서 사용될 MPEG-4를 허용하는), 트랜스먹스 층(21)은 보호 서브층과 다중화하는 서브층을 구성한다(몇몇의 트랜스먹스 실례들에서 이 서브층들을 개별적으로 식별하는 것이 불가능하다 하더라도, 보호 서브층은 소정 네트워크 또는 기억 매체에 적합한 에러 보호와 에러 검출 툴들을 제공하는데 특히 중요하다). MPEG-4의 문맥에서 규정되지 않은, 이 층은 실제로 네트워크 또는 기억 매체에 대한 인터페이스이며, 요구된 QoS(Quality of Service)에 부합하는 운송 서비스들을 제공하게 해준다.

MPEG-4에 의해 완전히 상술된, 플렉스먹스 층(22)은 데이터를 끼워 넣기 위한(하나의 플렉스먹스 스트림내의 하나 또는 그 이상의 기초 스트림) 유연한 툴로 이루어져 있으며, 다중화되었던 데이터에 대한 상이한 채널들을 식별하도록 한다.

액세스 유닛 층(23)은 기초 스트림에서의 액세스 유닛의 식별자(비디오 또는 오디오 프레임들, 장면 기술 명령들, ...)와 시간 기준의 복원을 참작한다. 그러므로 이는 이 기초 스트림의 시간 기준 정보와 시간 스탬프된 액세스 유닛 둘 다에 전달한다. 한편, 단말의 MPEG-4 디멀티플렉서의 각 층이 연속적으로 전체 스트림을 처리해야 한다는 것이 주목될 수도 있다

본 발명은 멀티미디어 객체들에 대응하는 비트스트림의 형태, 특히 MPEG-4 표준에 따른 비트스트림의 형태로 이용할 수 있는 코드화된 데이터를 디멀티플렉스하는 장치에 관한 것이다.

도 1 은 MPEG-4 표준에 따라 처리되는, 객체 기반 멀티미디어 장면의 예를 도시한 도면.

도 2 는 대응하는 MPEG-4 코드화된 데이터의 전송 및/또는 저장 후에, 오디오 비주얼 대화형 장면을 처리하고 재구성하게 하는 MPEG-4 단말 구조를 묘사한 도면.

도 3 은 수신기 측면에서, MPEG-4 단말의 주요 구성요소를 보여주는 도면.

도 4 는 본 발명에 따라 디멀티플렉싱 장치에서 실행되는 단계들을 도시한 도면.

본 발명의 제 1 목적은 다음의 디코더와 완전 통합하는, 이런 디멀티플렉서의 보다 더 일반적인 실행을 제안하는 것이다.

이 목적을 위한, 본 발명은 설명의 서두에서 언급된 바와 같은 장치에 관한 것이며 더욱이 상기 비트스트림은 상기 멀티미디어 객체들의 코드화된 표시 중에서의 개별적으로 액세스가능한 부분들로 세분화된 것이며 상기 장치에서 실행된 모든 디멀티플렉싱 연산들은 디코딩 연산들 전에, 보다 작은 기본 데이터 엔터티들로 상기 부분들을 더 세분화한 후에, 각각의 상기 작은 데이터 엔터티들에 연속적으로 인가된다.

특히, 본 발명의 다른 목적은 완전히 유연한 MPEG-4 아키텍처를 유지하도록 하는 디멀티플렉서를 제안하는 것이다.

이 목적을 위한 본 발명은 상기 비트 스트림이 MPEG-4 표준을 따르고 이른바 액세스 유닛으로 세분화되며, 상기 디멀티플렉싱 연산들이 이 액세스 유닛의, SL 패킷들로 불리는, 보다 작은 데이터 세그먼트들에 연속적으로 인가되는, 디멀티플렉싱 장치에 관한 것이다.

보다 정밀하게, 각각의 연속적인 데이터 구조들에 인가된, 디멀티플렉싱 절차의 주된 단계들은 다음의 단계들일 것이다. :

(a) 버퍼를 판독하고 포맷하는 단계 ;

(b) 액세스 유닛의 세그먼트들을 추출하는 단계 ;

(c) 이전에 추출된 세그먼트들에서 액세스 유닛의 완전한 재구성 여부를 테스트하는 단계 ;

(d) 출력 버퍼 또는 파일에 각각의 완전한 액세스 유닛을 전송하는 단계 ;

(e) 데이터가 디멀티플렉서의 입력에 더 이상 존재하지 않을 때까지 단계들((a) 내지 (d))을 반복하는 단계 ;

본 발명의 특수성 및 이점들은 다음의 설명과 첨부된 도면들과 관련하여 더욱 상세한 방식으로 설명될 것이다.

본 발명이 광범위한 응용 분야에 적용될 수 있다 하더하도, 이것은 MPEG-4 표준에 관해서 설명될 것이다. MPEG-4 사양들에 따라, 멀티미디어 객체들의 표시는 개별적인 기초 스트림들 내의 소스 엔터티들에서 착국(destination) 엔터티들까지 전송된다. 동기 층, 또는 Sync Layer, 또는 SL로 불리는 특정 층은 기초 스트림 데이터를 통신에 적합하도록 하고 인터 아리아(alia) 타이밍과 동기 정보를 제공한다. 이 층은 각 기초 스트림의 캡슐화를 제공하며, 이는 다시 말하면, 각 기초 스트림을 하나 또는 그 이상의 액세스 유닛으로 분할하며, 액세스 유닛은 멀티미디어 객체의 코드화된 표시 중에서의 개별적으로 액세스가능한 부분들이며 타이밍 정보를 귀착시킬 수 있는 가장 작은 데이터 엔터티들이다. 액세스 유닛은 SL 패킷들로 불리는 작은 기본 데이터 엔터티들로 자체 분할될 수도 있으며 그 SL 패킷들 각각은 구성가능한 헤더와 페이로드(payload)로 이루어진다.

지금까지 제안된 실행들에서, 각 층의 MPEG-4 디멀티플렉서는 예를 들면 유럽 특허 n°98400160.2(PHF 98505)에서 실례로 설명된 것과 같이, 연속적으로 전체 스트림을 처리한다. 본 발명에 따라, 실시간 실행을 갖는 MPEG-4 단말은 디멀티플렉싱 연산들이 MPEG-4 디멀티플렉서가 수신하는 매 데이터마다 처리되는 경우 획득될 수도 있다. 기본적으로, 멀티플렉싱 절차의 상이한 단계들은 도 4 에 묘사된 바와 같은, 다음의 단계들이다. :

(a) 트랜스먹스와 플렉스먹스 오디오 비주얼 객체들을 초기화하는 단계 ;

(b) 페이로드 길에에 대응하는 크기의 버퍼를 판독하는 단계(이를 테면, 이 크기는 MPEG-2 트랜스포트 스트림 패킷의 페이로드 길이로 184 bytes 일 수 있다.) ;

(c) 상기 버퍼(판독되었던)가 그 후에 트랜스먹스 층에 의해 플렉스먹스 프로토콜 데이터 유닛(FMPDU; FlexMux Protocol Data Unit)으로 포맷되는 단계 ;

(d) 플렉스먹스 층이 상기 FMPDU 를 수신하고 대응하는 동기 층 프로토콜 데이터 유닛(또는 SLPDU(Synchronization Layer Protocol Data Unit), 상술한 바와 같이, 일반적으로 액세스 유닛의 세그먼트를 표시하는 이러한 SLPDU)을 추출하는 단계 ;

(e) 다음 단계는 테스트하는 단계로 : 액세스 유닛이 이전에 관련된 SLPDU 세그먼트들에서 완전히 재구성되었는가 또는 재구성되지 않았는가? :

(e1) 액세스 유닛이 완전히 재구성되지 않은 경우, MPEG-4 디멀티플렉서는 데이터를 로컬 버퍼에 저장하고 다른 입력 패킷을 갖는 처리를 재개한다.

(e2) 모두 관련된 이전 SLPDU들로 구성되는, 완전한 액세스 유닛이 존재하는 경우, 출력 버퍼로 전달되거나 또는 파일에 기록된다.

그 후에 상기 처리는 데이터가 디멀티플렉서의 입력에 더 이상 존재하지 않을 때까지 다시 초기화된다.

기술된 디멀티플렉싱 장치는 회사 필립스에 의해 제조된 TM1000(=TriMedia)을 참고로 지정된 프로세서와 같은 프로그램가능한 멀티미디어 프로세서 상에서 쉽게 통합될 수 있으며, 그 아키텍처는 상기 프로세서에 완전히 유연한 MPEG-4 이다.

본 발명은 멀티미디어 객체들에 대응하는 비트스트림의 형태, 특히 MPEG-4 표준에 따른 비트스트림의 형태로 이용할 수 있는 코드화된 데이터를 디멀티플렉스하는 장치이다.

Claims (3)

1. 멀티미디어 객체들에 대응하는 비트스트림의 형태로 이용가능한 코드화된 데이터를 디멀티플렉싱하는 장치에 있어서,

   상기 비트스트림은 상기 멀티미디어 객체들의 코드화된 표시 중에서의 개별적으로 액세스가능한 부분들로 세분되고 상기 장치에서 수행되는 모든 멀티플렉싱 연산은 디코딩 연산 전에 보다 작은 기본 데이터 엔터티들로 상기 부분들을 더 세분화한 후, 각각의 상기 작은 데이터 엔터티들에 연속적으로 인가되는 장치.
2. 제 1 항에 있어서, 상기 비트스트림은 MPEG-4 표준을 따르며 이른바 액세스 유닛으로 세분화되고, 상기 디멀티플렉싱 연산은 이 액세스 유닛의 SL 패킷들로 불리는 보다 작은 데이터 세그먼트들에 연속적으로 인가되는 장치.
3. 제 2 항에 있어서, 상기 디멀티플렉싱 연산들은 디멀티플렉싱 장치의 요소들의 초기화 후에, 다음의 절차

   (a) 버퍼를 판독하고 포맷하는 단계;

   (b) 액세스 유닛의 세그먼트를 추출하는 단계;

   (c) 이전에 추출된 세그먼트들에서 액세스 유닛의 완전한 재구성 여부를 테스트하는 단계;

   (d) 출력 버퍼 또는 파일에 각각의 완전한 액세스 유닛을 전송하는 단계;

   (e) 데이터가 디멀티플렉서의 입력에 더 이상 존재하지 않을 때까지 단계들((a) 내지 (d))을 반복하는 단계에 따라 수행되는 장치.