KR100316725B1 - 오브젝트데이터복호장치,데이터복호장치,부호화데이터선택장치,오브젝트데이터기록장치,부호화데이터송출장치,다중데이터송출장치,및오브젝트데이터처리장치 - Google Patents

Abstract

1 개의 신(scene)에 대응하는 화상 데이터를, 해당 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트마다 부호화하여 얻어지는 부호화 데이터를 다중화한 비트 스트림에 기초하여 오브젝트 단위의 편집, 치환, 검색 등의 처리를 용이하고 고속으로 실행할 수 있는 오브젝트 데이터 복호 장치를 제공한다.

상기 각 오브젝트에 대응하는 부호화 데이터를 다중화한 비트 스트림 MEg로부터, 역다중화 수단(11)에 의해 각 오브젝트의 계층 정보를 추출하고, CPU(13)에서 이 계층 정보에 기초하여 오브젝트와 그 부호화 데이터의 대응 관계를 나타내는 오브젝트 테이블을 작성하여 기록하도록 하였다.

Description

오브젝트 데이터 복호 장치, 데이터 복호 장치, 부호화 데이터 선택 장치, 오브젝트 데이터 기록 장치, 부호화 데이터 송출 장치, 다중 데이터 송출 장치, 및 오브젝트 데이터 처리 장치{OBJECT DATA PROCESSING APPARATUS, OBJECT DATA RECORDING APPARATUS, DATA STORAGE MEDIA, DATA STRUCTURE FOR TRANSMISSION}

본 발명은 오브젝트 데이터 처리 장치, 오브젝트 데이터 기록 장치, 데이터 기억 매체 및 전송용 데이터 구조에 관한 것으로, 특히 압축된 디지털 화상 데이터, 디지털 오디오 데이터, 프로그램 데이터 등의 압축 데이터를 복호하는 장치, 해당 압축 데이터로부터 원하는 데이터를 선택하는 장치, 해당 압축 데이터를 기록하는 장치, 해당 압축 데이터를 기억하는 매체, 해당 압축 데이터를 송출하는 장치 및 해당 압축 데이터의 전송용 데이터 구조에 관한 것이다.

정보 압축 기술의 진보에 따라 최근, 지상 방송, 위성 방송, CATV 등의 방송 미디어에서는 화상 정보나 오디오 정보를 디지털 신호로 제공하는 디지털 화상/오디오 서비스가 실용화되고 있다.

또 현 상태에서는 차세대 압축 부호화 방식으로서, 화상 전체, 즉 1 장의 화상에 상당하는 화상 데이터를 일정하게 압축하는 것이 아니고, 화상의 내용에 착안하여 1 장의 화상에 대응하는 화상 데이터를, 해당 1 장의 화상을 구성하는 개개의 물체(오브젝트)를 단위로 하여 압축하는 오브젝트 부호화 방식이 주목되고 있다.

이와 같이 1 화면에 상당하는 화상 데이터에 대하여 오브젝트 단위의 압축 처리를 실시하도록 하면, 압축된 화상 데이터(부호화 데이터)를 각각의 오브젝트에 대응하도록 분리할 수 있게 되며, 이에 따라 1 장의 화상에 있어서의 특정한 오브젝트를 추출하거나 또는 대체할 수 있게 된다.

또한, 이러한 오브젝트 부호화 방식의 특징, 즉 그 장점을 살리기 위한 데이터 전송 포맷의 실현 방법으로서 압축된 화상 데이터, 오디오 데이터, 그 밖의 디지털 데이터를 다중화하는 방법도 거론되고 있다.

이와 같이 오브젝트 부호화 방법에 의해 압축된 데이터를 다중화하는 방법의 국제 규격으로서 MPEG4(IS0/IEC JTC1/SC29WG11 N1483, “System Working Draft”,1996. 11)가 있고, 이하, 도면을 참조하면서 이 MPEG4에 준거한 데이터 다중화 방법을, 다중화한 데이터를 재생하는 다중 데이터 재생 방법과 함께 설명한다.

도 18은, 종래의 오브젝트 부호화 방법을 구체적으로 설명하기 위한 도면이다. 도면에서, (120)은 오디오가 부가된 영상 데이터로부터 얻어지는 일련의 화상 중의 1 개의 신(scene)(1 장의 화상)이다. 여기서, 이 1 개의 신(120)은 계층 구조를 이루는 복수의 오브젝트(작은 화상)로 구성되어 있다. 즉, 상기 1 개의 신(120)은 배경에 해당하는 배경 화상(121), 배경 내부를 이동하는 이동체(122), 배경에 부가되는 배경 오디오(123)의 3 종류의 오브젝트로 구성되어 있다. 또한, 상기 이동체로서의 오브젝트(122)는 제 1 차륜(124), 제 2 차륜(125), 동체(胴體)(126) 및 이동체에 부가되는 이동체 오디오(127)의 4 개의 오브젝트로 구성되어 있다. 또한, 상기 동체로서의 오브젝트(126)는 창(128)과 그 이외의 부분(129)의 2 개의 오브젝트로 구성되어 있다. 여기서, 상기 오브젝트(121∼123)는 최상위의 제 1 계층 L1에 속하며, 오브젝트(124∼127)는 상기 제 1 계층의 하위 계층인 제 2 계층 L2에 속하고, 또한 오브젝트(128, 129)는 상기 제 2 계층의 하위계층인 제 3 계층에 속한다.

그리고, 오브젝트 부호화 방법에서는, 상기 1 개의 신(120)에 대응하는 신 데이터는, 해당 1 개의 신(120)을 구성하는 최하위 오브젝트를 단위로 하여 압축 부호화된다. 즉, 상기 1 개의 신(120)에 대응하는 신 데이터는, 오브젝트(121, 123, 124, 125, 127, 128, 129)마다 각각 압축 부호화된다.

도 19는 상기 1 개의 신(120)의 신 데이터에 대하여 오브젝트 부호화 처리를 실시하여 얻어지는, 각 오브젝트에 대응하는 부호화 데이터를 전송하기 위한 전송용 데이터 구조, 즉, 비트 스트림의 포맷을 설명하기 위한 도면이다.

도면에 있어서, MEg는, 상기 각 오브젝트의 부호화 데이터를 보조 데이터와 함께 다중화하여 이루어지는, 소정의 포맷을 갖는 다중 비트 스트림이고, 이 다중 비트 스트림 MEg가, 상기 신 데이터에 대응하는 부호화 데이터로서 전송되게 된다.

상기 다중 비트 스트림 MEg는 일정한 단위(소정의 바이트 수)마다 복수의 패킷으로 구분되어 있고, 각 오브젝트의 부호화 데이터는, 각각 논리 채널(logical channel) LC로서 고유값 SLC(= 1, 2,…)을 갖는 패킷에 할당된다.

구체적으로는, 도 19에 도시하는 다중 비트 스트림 MEg에서는, 오브젝트[1]가 부호화된 비디오 데이터가 논리 채널(SLC=3)의 패킷 Pa3, Pa6에, 오브젝트[2]가 부호화된 비디오 데이터가 논리 채널(SLC=4)의 패킷 Pa5, Pa7에, 오브젝트[3]가 부호화된 오디오 데이터가 논리 채널(SLC=5)의 패킷 Pa4에 할당된다. 또, 다중화할 때의 패킷의 바이트 수, 패킷의 논리 채널 LC 및 패킷의 전송 순서 등의 정보는 제어 정보로서 별도의 논리 채널을 갖는 패킷(도시하지 않음)에 할당되어 전송된다.

여기서, 상기 오브젝트 [1], [2]는, 각각 도 18에 도시한 배경 화상(121), 이동체(122)이고, 또한 오브젝트[3]는 도 18에 도시한 배경 오디오(123)이다.

또한, 상기 비트 스트림 MEg에 있어서의 논리 채널(SLC=1)의 패킷 Pa1에는 상기 각 오브젝트로 이루어지는 신을 재현하기 위한 신 구성 방법에 관한 정보(콤포지션 스트림(composition stream))가 할당되고, 또한 상기 비트 스트림 MEg에 있어서의 논리 채널(SLC=2)의 패킷 Pa2에는 상기 각 오브젝트의 부호화 데이터가 어떻게 다중화되어 있는가를 나타내는 정보(스트림 어소시에이션 테이블(stream association table))가 할당되어 있다.

따라서, 오브젝트 부호화에 의해 얻어지는 복수의 부호화 데이터를 다중화하여 전송할 때에는 각 오브젝트의 부호화 데이터와 함께 복수의 오브젝트로 이루어지는 신의 구성을 나타내는 콤포지션 스트림 및 전송한 스트림(즉, 각각의 오브젝트에 대응하는 일련의 부호화 데이터)의 상호 관계를 나타내는 스트림 어소시에이션 테이블이 동시에 전송되게 된다.

도 20은 콤포지션 스트림에 의한 신(scene)의 기술(記述)을 설명하기 위한 도면으로서, 도 18에 도시된 1 장의 화상(1 개의 신)(120)에 대응하는 기술 SD를 도시하고 있다.

상기 콤포지션 스트림에 의한 신 기술 SD에서는, 상기 1 장의 화상(120)이 신(140)에 의해 표시되며, 또한, 이 신(140)에 의해 표시되는 1 장의 화상(120)은 도 18에 도시하는 배경 화상(121), 이동체(122), 배경 오디오(123)의 각 오브젝트로 이루어지는 것이 화상(1)(141), 노드(1)(142), 및 오디오(1)(143)에 의해 나타나 있다. 여기서, 상기 신(140), 화상(1)(141), 노드(1)(142) 및 오디오(1)(143)는 각각 도 18에 도시된 1 장의 화상(120), 배경 화상(121), 이동체(122) 및 배경 오디오(123)를 나타내는 기술자(記述子)이다.

또한, 상기 신 기술 SD에서는, 상기 노드(1)(142)에 의해 도시되는 이동체(122)가 제 1 차륜(124), 제 2 차륜(125), 동체(126) 및 이동체 오디오(127)의 4 개의 오브젝트로 구성되어 있지만, 해당 각 오브젝트에 대응하는 기술자인 화상(2)(144), 화상(3)(145), 노드(2)(146) 및 오디오(2)(147)에 의해 도시되어 있다.

또한, 상기 신 기술 SD에서는, 상기 노드(2)(146)에 의해 도시되는 동체(126)는, 창(128)과 그 이외의 부분(129)의 2 개의 오브젝트로 구성되어 있는데, 해당 각 오브젝트에 대응하는 기술자로서의 화상(4)(148) 및 화상(5)(149)에 의해 도시되어 있다.

또한, 상기 각 기술자에는, 다중 비트 스트림 MEg에서의 각 오브젝트의 부호화 데이터에 대응하는 스트림을 식별하기 위한 스트림 인덱스(스트림 id)가 부가되어 있고, 구체적으로는, 도 20에 도시하는 바와 같이, 상기 각 기술자(141∼145)에는 스트림 id로서 Sid=1∼Sid=5가 부가되고, 상기 각 기술자(148, 149, 147)에는 스트림 id로서 Sid=6, Sid=7, Sid=8이 부가되어 있다. 여기서, Sid는 스트림 id의 구체적인 번호이다.

따라서, 상기 콤포지션 스트림에 의한 신 기술로부터는, 어느 신이 어떠한 오브젝트에 의해 구성되어 있는가를 알 수 있다. 단지, 이 콤포지션 스트림에 의한 신 기술에서는, 각 오브젝트에 대응하는 부호화 데이터가 실제의 다중 비트 스트림 MEg에 의해 어떻게 다중화되어 있는가는 나타나 있지 않다.

도 21은 상기 스트림 어소시에이션 테이블을 설명하기 위한 도면이다.

이 스트림 어소시에이션 테이블 AT에서는, 상기 각 오브젝트의 부호화 데이터에 대응하는 스트림(각각의 오브젝트에 대응하는 일련의 부호화 데이터)과, 다중화할 때의 부호화 데이터의 구획 단위인 패킷을 특정하는 논리 채널 LC과의 관계가 도시되어 있다. 구체적으로는, 이 테이블 AT에서는, 각 스트림의 스트림 id, 각 스트림에 대응하는 논리 채널값 LC 및 각 스트림의 상위 스트림에 대응하는 논리 채널값 LC가 관련지어져 표시되어 있다. 또 여기서는, 제 1 계층 L1의 오브젝트(121∼123)에 대응하는 스트림(Sid=1∼3)의 상위 스트림에 대응하는 논리 채널 LC는 스트림 어소시에이션 테이블이 할당된 패킷 Pa2의 논리 채널 LC(SLC= 2)에 대응하는 것으로 되어 있다.

따라서, 이 테이블 AT을 참조함으로써, 각 스트림에 대응하는 논리 채널 LC 및 그 스트림의 마스터(master) 스트림(상위 스트림)의 논리 채널 LC을 특정할 수 있다.

상술한 바와 같이, 도 20에 도시된 콤포지션 스트림에 의한 신 기술 SD에서는, 각 오브젝트에 대응하는 기술자(141∼145, 147∼149)에 스트림 id(Sid)를 부가하고 있기 때문에, 콤포지션 스트림으로부터는, 각 오브젝트를 스트림 id(Sid)에 의해 인식할 수 있고, 이 때문에, 상기 콤포지션 스트림과 도 21에 도시된 스트림 어소시에이션 테이블 AT를 관계지을 수 있다.

이와 같이 다중 비트 스트림 MEg에는 각 오브젝트에 대응하는 부호화 데이터와 함께 콤포지션 스트림과 스트림 어소시에이션 테이블이 포함되어 있기 때문에, 상기 다중 비트 스트림 MEg에 기초하여 각 오브젝트에 대응하는 부호화 데이터를 복호 처리에 의해 재생할 때에는, 지정된 특정한 오브젝트의 부호화 데이터를 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 추출하거나, 검색할 수 있어, 재생측에서 1 개의 신(120)을 구성하는 오브젝트(121∼129)의 편집 등을 할 수 있다.

또, 상기한 바와 같이, 종래의 오브젝트 부호화에 의한 다중 비트 스트림의 포맷에서는, 신의 기술과, 각 부호화 데이터의 다중화 상태나 각 스트림에 대응하는 논리 채널 LC을 각각의 정보(즉, 콤포지션 스트림과 스트림 어소시에이션 테이블)로서 나타내도록 하고 있지만, 이것은, 신의 구성, 즉 신을 구성하는 오브젝트의 계층 구조를 변경하지 않고서, 각 오브젝트에 대응하는 스트림의 내용이 교환 가능하게 되어, 상기 다중 비트스트림과 이 다중 비트 스트림을 취급하는 어플리케이션의 인터페이스가 용이하게 되도록, 다중 비트 스트림의 물리층에 의존하는 다중화를 위한 구조를 다중 비트 스트림에 포함되는 메인 정보(부호화 데이터)와는 분리한다고 한 이유에 의한 것이다.

그런데, 상기한 바와 같은 종래의 다중 비트 스트림의 데이터 구조에서는 다음과 같은 여러가지의 문제가 발생한다.

즉, 오브젝트 부호화의 큰 특징으로서, 상기 다중 비트 스트림의 중에서 특정한 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하거나, 상기 다중 비트스트림이 저장된 데이터 베이스를 대상으로 하여 특정한 오브젝트를 검색하거나 처리가 가능하다는 점을 들 수 있다.

그런데, 종래 구성의 다중 비트 스트림 MEg로부터 개개의 오브젝트의 부호화 데이터를 인식하기 위해서는, 몇 개의 순서를 거쳐야만 한다. 예를 들면, 계층 구조를 갖는 복수의 오브젝트 중의 하위 계층의 오브젝트의 부호화 데이터를 인식하기 위해서는, 우선, 상기 다중 비트 스트림 MEg에 포함되는 콤포지션 스트림에 의한 신 기술 SD를 해석하여, 노드에 대응하는 오브젝트를 검출하고, 또한, 해당 노드에 대응하는 오브젝트를 구성하는 하위 오브젝트에 대응하는 스트림을 결정한다. 그리고 또한, 상기 스트림 어소시에이션 테이블을 해석하고, 상기 특정한 스트림의 스트림 id에 기초하여 이 스트림 id에 대응하는 논리 채널 LC을 검출한다. 이에 따라, 목적으로 하는 특정한 오브젝트의 부호화 데이터를 다중 비트 스트림 MEg로부터 추출할 수 있다.

또한, 스트림 어소시에이션 테이블 AT로부터는 각 오브젝트에 대응하는 스트림의 계층 관계를 알기 때문에, 해당 스트림 어소시에이션 테이블 AT에만 기초하여 목적으로 하는 특정한 오브젝트의 부호화 데이터를 유추할 수 있지만, 부호화 데이터를 유추하는 데에는 시간이 걸리고, 또 확실히 실행할 수 없었다라고 하는 문제가 있다.

즉, 스트림 어소시에이션 테이블 AT에서는, 노드로서의 오브젝트에 관한 정보가 명확하게 되어 있지 않다. 또한, 이 테이블 AT에서는, 부호화 데이터에 대응하는 스트림의 종류(예를 들면, 비디오 데이터와 오디오 데이터 중 어느 것에 대응하는 것인지)를 모르기 때문에, 콤포지션 스트림 등의 다른 정보를 참조해야만 한다. 또한, 어떤 스트림에 대하여 그 상위의 스트림밖에 모르기 때문에, 각 오브젝트의 부호화 데이터가 어떤 스트림으로 구성되어 있는지를 일의적으로 알 수 없어, 해석하는 데에 시간이 걸린다.

예를 들면, 도 20에 도시된 콤포지션 스트림에 의한 신 기술 SD에서는, 오브젝트(126)에 대응하는 노드(2)(146)는 존재하지만, 이 노드(2)에 대응하는 스트림은 존재하지 않기 때문에, 도 21에 도시된 스트림 어소시에이션 테이블 AT에는, 노드(2)에 상당하는 엔트리(entry)(즉, 스트림의 Sid, 그 스트림에 대응하는 LC 및 그 상위 스트림에 대응하는 LC)는 존재하지 않는다.

따라서, 노드(2)에 대응하는 오브젝트(126)를 추출하는 경우에는, 우선, 콤포지션 스트림에 의한 신 기술 SD(도 20참조)에 기초하여 노드(2)(146)의 하위의 오브젝트(128, 129)에 대응하는 스트림 id를 결정하고, 다음으로, 스트림 어소시에이션 테이블 AT(도 21 참조)에 의해, 해당 결정한 스트림 id를 갖는 스트림이, 어떤 논리 채널 LC이 주어진 패킷에 저장되어 있는가를 명확히 하기 위한 순서를 거쳐야만 한다.

또한, 전송 매체에 따라서는 컴퓨터 네트 워크(인터넷) 등과 같이, 각 오브젝트에 대응하는 부호화 데이터를 다중하지 않고서 전송하는 경우가 있다. 또, 이와 같이 부호화 데이터를 다중화하지 않는 경우는, 비트 스트림은, 논리 채널 LC가 존재하지 않은 데이터 구조로 되고, 또한, 스트림 어소시에이션 테이블을 포함하지 않는 것으로 된다.

그런데, 이 경우에는, 콤포지션 스트림에 의한 신 기술 SD에 기초하여 오브젝트의 계층 구조를 해석하는 것에 의해, 비트 스트림으로부터의 특정한 오브젝트를 검출하게 되지만, 오브젝트의 개수가 방대하게 되면, 콤포지션 스트림에 기초하여 오브젝트의 계층 구조를 해석하기에는 막대한 시간이 필요해져, 어떤 신에 대한 오브젝트의 치환이나 편집을 위한 조작성이 나빠진다고 하는 문제점이 있다.

따라서, 본 발명의 목적은 상기한 바와 같은, 문제점을 해결하기 위해서 이루어진 것으로, 복수의 오브젝트에 대응하는 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출, 선택, 또는, 검색한다고 하는 처리를 간단하고 고속으로 실행할 수 있으며, 이에 따라 오브젝트 데이터의 편집, 치환 등을 단시간에 양호하게 조작할 수 있는 오브젝트 데이터 처리 장치를 얻는데 있다.

본 발명의 다른 목적은 복수의 오브젝트에 대응하는 부호화 데이터를, 그 중의 특정한 오브젝트에 대응하는 부호화 데이터를 추출, 선택, 또는, 검색한다고 하는 처리를 간단하고 고속으로 실행할 수 있도록 기록하는 오브젝트 데이터 기록 장치를 얻는데 있다.

본 발명의 또 다른 목적은 복수의 오브젝트에 대응하는 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출, 선택, 또는, 검색한다고 하는 처리를 간단하고 고속으로 실행할 수 있는 데이터 구조의 부호화 데이터를 기억한 데이터 기억 매체를 얻는데 있다.

본 발명의 또 다른 목적은 복수의 오브젝트에 대응하는 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출, 선택, 또는, 검색한다고 하는 처리를 간단하고 고속으로 실행할 수 있는 전송용 데이터 구조를 얻는데 있다.

도 1은 본 발명의 실시예 1에 따른 오브젝트(object) 데이터 처리 장치인 오브젝트 데이터 복호 장치를 설명하기 위한 블럭도,

도 2는 실시예 1의 오브젝트 데이터 복호 장치에 의해 작성되는 오브젝트 테이블을 도시하는 도면,

도 3은 실시예 1의 오브젝트 데이터 복호 장치에 있어서의 CPU에 의한 처리 흐름을 도시하는 도면,

도 4는 실시예 1의 오브젝트 데이터 복호 장치에 의해 작성되는 다른 오브젝트 테이블로서, 상위 계층의 오브젝트에 대응하는 테이블 및 하위 계층의 오브젝트에 대응하는 테이블을 도시하는 도면,

도 5는 본 발명의 실시예 2에 따른 오브젝트 데이터 처리 장치인 오브젝트 데이터 선택 장치를 설명하기 위한 블럭도,

도 6은 실시예 2의 오브젝트 데이터 선택 장치에 있어서의 CPU에 의한 처리흐름을 도시하는 도면,

도 7은 본 발명의 실시예 3에 따른 오브젝트 데이터 기록 장치를 설명하기 위한 블럭도,

도 8은 실시예 3의 오브젝트 데이터 기록 장치에 있어서의 CPU에 의한 처리 흐름을 도시하는 도면,

도 9는 본 발명의 실시예 4에 따른 오브젝트 데이터 처리 장치인 오브젝트 데이터 송출 장치를 설명하기 위한 블럭도,

도 10은 실시예 4의 오브젝트 데이터 기록 장치에 있어서의 CPU에 의한 처리 흐름을 도시하는 도면,

도 11은 본 발명의 실시예 5에 따른 오브젝트 데이터 처리 장치로서, MPEG4에 대응하는 오브젝트 데이터 복호 장치를 설명하기 위한 도면이고, MPEG4에 근거한 데이터 전송 시스템의 개요를 도시하는 도면,

도 12는 실시예 5의 오브젝트 데이터 처리 장치인 오브젝트 데이터 복호 장치를 설명하기 위한 블럭도,

도 13은 데이터 전송 시스템에 대응한 오브젝트 부호화 방법을 설명하기 위한 모식도,

도 14의 (a) 및 14의 (b)는 각각 데이터 전송 시스템에서 이용되는 신 기술 및 오브젝트 디스크립터를 나타내는 도면,

도 15는 도 14에 도시하는 신 기술과 오브젝트 디스크립터로부터 얻어지는 오브젝트 테이블을 나타내는 도면,

도 16은 실시예 5의 오브젝트 데이터 복호 장치에 있어서의 CPU에 의한 처리 흐름을 도시하는 도면,

도 17은 본 발명의 데이터 기억 매체를 설명하기 위한 도면으로서, 도 17a는 플로피 디스크의 구조, 도 17b는 플로피 디스크 본체의 구조를 나타내고, 해당 플로피 디스크를 기억 매체로 하여 이용하는 컴퓨터 시스템을 도시하는 도면,

도 18은 종래의 오브젝트 부호화 방법을 설명하기 위한 모식도,

도 19는 종래의 오브젝트 부호화 방법에 의해 부호화된 데이터를 보조 데이터와 함께 다중화하여 구성하는 종래의 비트 스트림의 데이터 구조를 도시하는 도면,

도 20은 종래의 비트 스트림에 보조 데이터로서 포함되는 콤포지션 스트림에 의한 신의 기술을 도시하는 도면,

도 21은 종래의 비트 스트림에 보조 데이터로서 포함되는 스트림 어소시에이션 테이블을 설명하기 위한 도면.

도면의 주요 부분에 대한 부호의 설명

8 ; 오브젝트 데이터 선택부 11,11a,203 ; 역다중화 수단

12 ; AV 디코드 수단 13, 13a, 63, 83 ; CPU

14 ; 표시 장치 61, 81 ; 다중 스트림 해석 수단

62, 82 ; 오브젝트 선택 수단 64, 85 ; 버퍼

84 ; 데이터 베이스(데이터 축적 수단)

86, 202 ; 다중화 수단 87 ; 부호화 수단

101, 105 ; 오브젝트 데이터 복호 장치

102 ; 오브젝트 데이터 선택 장치 103 ; 오브젝트 데이터 기록 장치

104 ; 오브젝트 데이터 송출 장치

104a ; 오브젝트 데이터 다중 부호화 장치

120,150,201 ; 1 개의 신

200 ; 오브젝트 데이터 전송 시스템

204 ; 복호 처리부 Cont, Cont1, Cont2 ; 제어 신호

Cs ; 컴퓨터 시스템 D ; 플로피 디스크 본체

Dsub ; 보조 데이터 Eg ; 부호화 데이터

F ; 플로피 디스크 케이스 FD ; 플로피 디스크

FDD ; 플로피 디스크 드라이브 Iu ; 지시 신호

L1, L1a ; 제 1 계층 L2, L2a ; 제 2 계층

L3, L3a ; 제 3 계층 MEg, MEg1 ; 다중 비트 스트림

OD ; 오브젝트 디스크립터 Rg ; 재생 데이터

Sg ; 선택 부호화 데이터 SD, SD1 ; 신 기술

Sf ; 신 기술 정보 T1, T2, T3 ; 오브젝트 테이블

T2a, T2b ; 상위 계층, 하위 계층 테이블

T3a, T3b ; 메인, 서브 테이블

본 발명의 제 1 특징에 따른 오브젝트 데이터 처리 장치는 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 복호하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비한 것이다.

본 발명의 제 2 특징에 따른 오브젝트 데이터 처리 장치는 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 복호하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비한 것이다.

본 발명의 제 3 특징에 따르면, 오브젝트 데이터 처리 장치에 있어서, 상기 계층 정보 추출 수단을 상기 부호화 데이터에 기초하여 상기 계층 정보에 부가하여 각 오브젝트의 우선 순위를 나타내는 우선 순위 정보를 추출하도록 구성하고, 상기 테이블 작성 수단을 상기 계층 정보 및 우선 순위 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타냄과 동시에, 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 구성한 것이다.

본 발명의 제 4 특징에 따르면, 오브젝트 데이터 처리 장치에 있어서, 지정된 특정한 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를 상기 오브젝트 테이블을 참조하여 검출하는 식별 정보 검출 수단과, 상기 식별 정보에 기초하여 상기 N 개의 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하는 복호 수단을 구비한 것이다.

본 발명의 제 5 특징에 따른 오브젝트 데이터 처리 장치는, 1 개의 신에 상당하는 신 데이터에 대하여 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 복호하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비한것이다.

본 발명의 제 6 특징에 따르면, 오브젝트 데이터 처리 장치에 있어서, 상기 계층 정보 추출 수단을 상기 다중 데이터에 기초하여 상기 계층 정보에 부가하여 각 오브젝트의 우선 순위를 나타내는 우선 순위 정보를 추출하도록 구성하고, 상기 테이블 작성 수단을 상기 계층 정보 및 우선 순위 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타냄과 동시에, 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 구성한 것이다.

본 발명의 제 7 특징에 따르면, 오브젝트 데이터 처리 장치에 있어서, 지정된 특정한 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를 상기 오브젝트 테이블을 참조하여 검출하는 식별 정보 검출 수단과, 상기 식별 정보에 기초하여 상기 다중 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하는 복호 수단을 구비한 것이다.

본 발명의 제 8 특징에 따른 오브젝트 데이터 처리 장치는 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터로부터 특정한 오브젝트 데이터에 대응하는 부호화 데이터를 선택하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을구비하고, 특정한 오브젝트 데이터에 대응하는 부호화 데이터를 해당 오브젝트 테이블을 참조하여 상기 N 개의 부호화 데이터 중에서 선택하여 출력하도록 구성한 것이다.

본 발명의 제 9 특징에 따른 오브젝트 데이터 처리 장치는 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터로부터, 특정한 오브젝트에 대응하는 부호화 데이터를 선택하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 특정 오브젝트의 부호화 데이터를, 해당 오브젝트 테이블을 참조하여 상기 N 개의 부호화 데이터 중에서 선택하여 출력하도록 구성한 것이다.

본 발명의 제 10 특징에 따른 오브젝트 데이터 처리 장치는 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터로부터, 특정한 오브젝트에 대응하는 부호화 데이터를 선택하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 N 개의 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 특정 오브젝트의 부호화 데이터를 해당 오브젝트 테이블을 참조하여 상기 다중 데이터 중에서 선택하여 출력하도록 구성한 것이다.

본 발명의 제 11 특징에 따른 오브젝트 데이터 기록 장치는 데이터를 축적하는 데이터 축적부를 갖고, 기록, 또는, 전송의 대상으로 되는 오브젝트 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것이다.

본 발명의 제 12 특징에 따른 오브젝트 데이터 기록 장치는 데이터를 축적하는 데이터 축적부를 갖고, 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신의 화상을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것이다.

본 발명의 제 13 특징에 따르면, 오브젝트 데이터 기록 장치에 있어서, 상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 해당 N 개의 부호화 데이터에 부가하여 기억하도록 구성한 것이다.

본 발명의 제 14 특징에 따르면, 오브젝트 데이터 기록 장치에 있어서, 상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 해당 N 개의 부호화 데이터와 분리하여 기록하도록 구성한 것이다.

본 발명의 제 15 특징에 따른 오브젝트 데이터 기록 장치는 데이터를 축적하는 데이터 축적부를 갖고, 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것이다.

본 발명의 제 16 특징에 따르면, 오브젝트 데이터 기록 장치에 있어서, 상기 다중 데이터에 대응하는 오브젝트 테이블을 해당 다중 데이터에 부가하여 기록하도록 구성한 것이다.

본 발명의 제 17 특징에 따르면, 오브젝트 데이터 기록 장치에 있어서, 상기 다중 데이터에 대응하는 오브젝트 테이블을 해당 다중 데이터와 분리하여 기록하도록 구성한 것이다.

본 발명의 제 18 특징에 따른 데이터 기억 매체는 기록, 또는, 전송의 대상으로 되는 개별 데이터에 관련되는 관련 데이터를 저장한 데이터 기억 매체에 있어서, 상기 관련 데이터를 상기 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터와, 상기 각 오브젝트 데이터를 관련지어 나타내는 오브젝트 테이블을 포함하는 구성으로 한 것이다.

본 발명의 제 19 특징에 따른 데이터 기억 매체는 1 개의 신에 대응한 관련 데이터를 저장한 데이터 기억 매체에 있어서, 상기 관련 데이터를 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 1 개 이상의 부호화 데이터와, 상기 각 오브젝트를 관련지어 나타내는 오브젝트 테이블을 포함하는 구성으로 한 것이다.

본 발명의 제 20 특징에 따른 오브젝트 데이터 처리 장치는 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 송출하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 N 개의 부호화 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것이다.

본 발명의 제 21 특징에 따른 오브젝트 데이터 처리 장치는 1 개의 신에 상당하는 신 데이터에 대하여 해당 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 송출하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 N 개의 부호화 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것이다.

본 발명의 제 22 특징에 따르면, 오브젝트 데이터 처리 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서, 상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하는 데이터 분리 수단과, 해당 분리한 오브젝트 테이블을 기억하는 테이블 기억 수단을 구비하고, 해당 테이블 기억 수단에 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여 상기 각 오브젝트에 대응하는 부호화 데이터에 대한 복호화 동작을 제어하도록 구성한 것이다.

본 발명의 제 23 특징에 따른 오브젝트 데이터 처리 장치는 1개의 신에 상당하는 신 데이터에 대하여 해당 1개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 송출하는 장치로서, 상기 다중화 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 다중 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것이다.

본 발명의 제 24 특징에 따르면, 오브젝트 데이터 처리 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서, 상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하는 데이터 분리 수단과, 해당 분리한 오브젝트 테이블을 기억하는 테이블 기억 수단을 구비하고, 해당 테이블 기억 수단에 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여 상기 각 오브젝트에 대응하는 부호화 데이터에 대한 복호화 동작을 제어하도록 구성한 것이다.

본 발명의 제 25 특징에 따른 전송용 데이터 구조는 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 전송하기 위한 전송용 데이터 구조로서, 상기 N 개의 부호화 데이터로 구성된 데이터 그룹이 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 포함하도록 구성한 것이다.

본 발명의 제 26 특징에 따른 전송용 데이터 구조는 1개의 신에 상당하는 신 데이터에 대하여 해당 1개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 전송하기 위한 전송용 데이터 구조로서, 상기 N 개의 부호화 데이터로 구성된 데이터 그룹을 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 포함하도록 구성한 것이다.

본 발명의 제 27 특징에 따른 오브젝트 데이터 처리 장치는 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 포함하는 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정 처리를 실시하는 장치로서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비한 것이다.

본 발명의 제 28 특징에 따른 오브젝트 데이터 처리 장치는 1개의 신에 상당하는 신 데이터에 대하여 1개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정의 처리를 실시하는 장치로서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비한 것이다.

본 발명의 제 29 특징에 따른 오브젝트 데이터 기록 장치는 데이터를 축적하는 데이터 축적부를 구비하고, 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 포함하는 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기록하는 장치로서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 해당 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것이다.

본 발명의 제 30 특징에 따른 오브젝트 데이터 기록 장치는 데이터를 축적하는 데이터 축적부를 구비하고, 1개의 신에 상당하는 신 데이터에 대하여 해당 1개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기록하는 장치로서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과, 상기 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하고, 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것이다.

이하, 본 발명의 실시예에 대하여 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 따른 오브젝트 데이터 처리 장치로서의 오브젝트 데이터 복호 장치이다.

본 실시예 1의 오브젝트 데이터 복호 장치(101)는 1 장의 화상(신: scene)에 대응하는 부호화 데이터를 수신하여, 해당 부호화 데이터를 복호화하고, 이 복호 처리에 의해 얻어진 재생 데이터를 표시 장치(14)에 출력하는 구성으로 되어 있다. 여기서, 상기 부호화 데이터는 도 19에 도시한 다중 비트 스트림 MEg이고, 즉, 1개의 신에 대응하는 신 데이터를, 해당 1개의 신을 구성하는 각 오브젝트마다 부호화하여 얻어지는 부호화 데이터를 보조 데이터와 동시에 다중화한 것이다. 상기 1개의 신은 동화상을 구성하는 각 프레임의 화상에 상당하는 것으로, 상기 오브젝트 데이터 복호 장치(101)는 순차적으로 입력된 각 프레임의 부호화 데이터에 순차적으로 복호 처리하여, 각 프레임에 대응하는 재생 데이터를 순차적으로 출력하도록 되어 있다.

이하 상술하면, 상기 오브젝트 데이터 복호 장치(101)는, 상기 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션(composition) 스트림 및 스트림 어소시에이션(association) 테이블을 선택하여 추출함과 동시에, 제 1 제어 신호 Cont1에 기초하여 상기 다중 비트 스트림 MEg에서의 각 오브젝트에 대응하는 부호화 데이터 Eg를 각 오브젝트마다 정리하여 출력하는 역다중화 수단(11)과, 상기 각 오브젝트에 대응하는 부호화 데이터 Eg를 제 2 제어 신호 Cont2에 기초하여 복호하고, 각 신에 대응하는 재생 데이터 Rg를 출력하는 오디오 비디오 디코드 수단(AV 디코드 수단)(12)을 구비하고 있다. 또한, 상기 복호 장치(101)는, 상기 스트림 어소시에이션 테이블에 기초하여 각 오브젝트의 부호화 데이터 Eg가 저장되어 있는 패킷의 논리 채널을 판정하고, 그 판정 결과에 따라 상기 제 1 제어 신호 Cont1를 상기 역다중화 수단(11)에 공급함과 동시에, 상기 콤포지션 스트림에 의한 신 기술(scene 記述)에 기초하여 1개의 신에서의 각 오브젝트의 배치에 관한 정보 및 각 오브젝트의 표시 개시 시간에 관한 정보를 제 2 제어 신호 Cont2로서 상기 AV 디코더(12)에 공급하는 연산 처리 장치(CPU)(13)를 구비하고 있다.

그리고, 본 실시예 1에서, 이 CPU(13)는 상기 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 상기 1개의 신을 구성하는 각 오브젝트와, 상기 다중 비트 스트림 MEg에 있어서의 각 오브젝트의 부호화 데이터 Eg의 대응 관계를 나타내는 오브젝트 테이블을 작성하고, 이것을 CPU(13) 내부의 데이터 기억부에 저장하는 구성으로 되어 있다.

도 2는, 도 18에 도시한 1개의 신(120)에 대응하는 오브젝트 테이블 T1을 설명하기 위한 도면이다.

이 오브젝트 테이블 T1에는 오브젝트 id에 대하여 여러가지 정보가 관련지워져 등록되어 있다. 여기서, 이 오브젝트 id는 상기 1개의 신을 구성하는 각 오브젝트를 식별하기 위한 인덱스이고, 각 오브젝트는 상기 오브젝트 id로서 고유의 값 Oid을 갖고 있다.

구체적으로는, 오브젝트 id는, 도 20에 도시한 신 기술에 있어서의 각 오브젝트 기술자에 대하여 일의적으로 부여되고, 상기 오브젝트 테이블 T1 중에 오브젝트 id의 값 Oid의 순서로 등록되어 있다.

여기서, 오브젝트 id(Oid=1∼5)는 각각, 도 20에 도시한 오브젝트(121∼125)의 기술자(141∼145)에 대하여 부여된 것이고, 오브젝트 id(Oid=61, 62)는 도 20에 도시한 오브젝트(128, 129)의 기술자(148, 149)에 대응하여 부여된 것이며, 또한, 오브젝트 id(Oid=8)는 도 19에 도시한 오브젝트(127)의 기술자(147)에 대하여 부여된 것이다.

그리고, 상기 오브젝트 테이블 T1에서는 각 오브젝트 id별로 각 오브젝트에대응하는 논리 채널 LC, 스트림의 종별(즉, 스트림이 화상에 대응하는 것인지 오디오에 대응하는 것인지) 및 각 오브젝트에 대응하는 스트림 id가 등록되어 있다. 또한, 상기 오브젝트 테이블 T1에서는 각 오브젝트의 id별로 그 상위 및 하위 오브젝트의 id, 그 상위 및 하위 오브젝트의 논리 채널 LC, 논리 채널을 공용하는 공용 오브젝트의 id가 표시되고, 또한 각 오브젝트의 우선 순위가 표시되어 있다. 또, OLC는 논리 채널 LC의 구체적인 값이다.

여기서, 각 오브젝트의 상위 오브젝트는, 각 오브젝트가 속하는 계층보다 상위의 계층에 속하는 오브젝트이고, 각 오브젝트의 하위 오브젝트는, 해당 각 오브젝트가 속하는 계층보다 하위의 계층에 속하는 오브젝트이다.

구체적으로는, 최상위 오브젝트, 즉, 도 18의 제 1 계층 L1에 속하는 오브젝트의 상위 오브젝트는 그 오브젝트 그 자체로 하고, 그 상위 오브젝트 id의 값 Oid 및 그 상위 오브젝트의 논리 채널 LC의 값 OLC를 자기 자신의 오브젝트 id의 값 Oid 및 논리 채널 LC의 값 OLC로 하고 있다. 여기에서, 도 18의 제 2 계층 L2 및 제 3 계층 L3에 속하는 각 오브젝트의 상위 오브젝트는 이들 계층의 오브젝트가 구성하는, 제 1 계층 L1에 속하는 오브젝트로 하고 있다. 또한, 하위 오브젝트를 갖지 않은 오브젝트(최하위 오브젝트)에 대해서는, 그 하위 오브젝트 id의 값 Oid를 0으로 하고 있다. 또한, 여기서는, 소정의 오브젝트가 최상위 오브젝트라는 것을, 그 상위 오브젝트의 id를 소정의 오브젝트의 id로 함으로써 나타내고, 소정의 오브젝트가 최하위 오브젝트라는 것을, 그 하위 오브젝트의 id를 Oid=0으로 함으로써 표시하고 있는 데, 최상위 또는 최하위 오브젝트라는 것을 나타내는 표시는 이것에한정되지 않으며, 예를 들면, 소정의 오브젝트가 최상위 오브젝트 또는 최하위 오브젝트라는 것을, 특별한 숫자나 기호로서 표기하여도 된다.

이러한 구성의 오브젝트 테이블 T1을 참조하면, 오브젝트 id로서 Oid=2를 갖는 오브젝트는 하위 오브젝트의 id의 기술란에 Oid로서 4, 5, 6, 8이 기술되어 있기 때문에, 4 개의 오브젝트로 구성되어 있는 것을 알 수 있다.

또한, 도 2에서는, 스트림이 존재하지 않은 노드에 대응하는 오브젝트(126)(도 20의 신 기술에서는 노드(2)(146))를 구성하는 오브젝트(128, 129)에 대해서는, 오브젝트 id로서, 그 값 Oid의 상위측의 자리수에 몇 개의 오브젝트에 공통하는 노드임을 나타내는 숫자를 부여하고, 그 값 Oid의 하위측의 자리수에 실제 오브젝트 id의 값으로서의 숫자를 부여하는 것으로 되어 있다.

따라서, 상기 오브젝트 테이블 T1로부터는, 오브젝트 id로서 그 값 Oid=6을 갖는 오브젝트(126)는 단순한 노드로서, 이에 대응하는 부호화 데이터는 실제로는 존재하지 않으며, 이 오브젝트(126)의 스트림은 오브젝트 id로서 Oid=61, 62을 갖는 오브젝트(128, 129)의 스트림(즉 Sid=6, 7의 스트림)으로 이루어지는 것을 알 수 있다.

또한, 오브젝트 id로서 Oid=2를 갖는 오브젝트(122)도, 오브젝트 id로서 Oid=6를 갖는 오브젝트(126)와 마찬가지의 노드에 상당하는 것이지만, 이 오브젝트(122)는 오브젝트 테이블 T1상에 명확히 기술되어 있기 때문에, 이 오브젝트(122)에 상당하는 스트림(즉, Sid=2의 스트림)이 존재하는 것을 알 수 있다.

또, 노드에 대응하는 스트림에 포함되는 정보는 그 노드에 속하는 오브젝트전체에 공통된 정보로서, 예를들면, 공통의 시스템 클럭, 표시 개시 타이밍, 복호 개시 시간, 표시 위치 등의 그 오브젝트 고유의 콤포지션 정보나 저작권 정보 등을 들 수 있다.

다음에 동작에 대하여 설명한다.

본 실시예 1의 오브젝트 데이터 복호 장치(101)에, 도 19에 도시한 다중 비트 스트림 MEg이 입력되면, 역다중화 수단(11)에 의해 상기 다중 비트 스트림으로부터 보조 데이터 Dsub로서의 콤포지션 스트림과 스트림 어소시에이션 테이블이 선택되어 CPU(13)에 공급된다.

이 경우, 상기 CPU(13)에서는 상기 스트림 어소시에이션 테이블에 기초하여 도 19의 1개의 신(120)을 구성하는 각 오브젝트와 그 논리 채널 LC의 대응 관계가 인식되고, 이 인식 결과에 따라 제 1 제어 신호 Cont1가 역다중화 수단(11)에 출력된다.

이 역다중화 수단(11)에서는 상기 제 1 제어 신호 Cont1에 기초하여 다중 비트 스트림 중에서 복수의 패킷에 분산되어 있는 각 오브젝트에 대응하는 스트림이 각 오브젝트마다 모아져 AV 디코드 수단(12)에 출력된다.

또한, 이 때 CPU(13)에서는, 콤포지션 스트림에 의한 신 기술로부터, 각 오브젝트의 표시 위치 및 표시 개시 시간에 관한 정보가 추출되고, 이들 정보가 제 2 제어 신호 Cont2로서 AV 디코드 수단(12)에 출력된다.

해당 AV 디코드 수단(12)에서는, 상기 역다중화 수단(11)으로부터 출력된 각 오브젝트에 대응한 스트림(일련의 부호화 데이터 Eg)에 대한 복호 처리가 행하여져, CPU(13)로부터의 제 2 제어 신호 Cont2(즉, 오브젝트의 표시에 관한 정보)에 기초하여 각 오브젝트에 대응하는 복호 데이터를 합성하고, 복수의 오브젝트로 구성되는 1개의 신(120)에 대응하는 재생 데이터 Rg가 출력된다.

또, 이러한 복호 동작은 종래의 오브젝트 데이터 복호 장치와 마찬가지이다.

그리고, 본 실시예 1에서는, 상기 복호 동작에 부가하여, CPU(13)에서는, 도 2에 도시한 오브젝트 테이블 T1을 작성하는 처리가 행하여진다.

이하, 이 오브젝트 테이블 작성 처리에 대하여 설명한다. 도 3은, CPU(13)에 의한 오브젝트 테이블 작성 처리의 알고리즘을 나타내는 플로우 차트이다.

우선, 스텝 S1에서는, 콤포지션 스트림이 CPU(13)의 데이터 기억부로 판독되고, 스텝 S2에서는, 스트림 어소시에이션 테이블이 CPU(13)의 데이터 기억부로 판독되며, 또한, 스텝 S3에서는, 콤포지션 스트림에서의 각 오브젝트의 기술자가 CPU(13)의 연산 처리부로 로드되어, 각 기술자에 오브젝트 id로서 값 Oid가 부여된다. 이에 따라 오브젝트를 그 오브젝트 id에 의해 특정할 수 있게 된다.

계속되는 스텝 S4에서는, 상기 기술자의 로드가 실행된 오브젝트가 노드에 상당하고 또한 스트림을 갖지 않는지 여부가 판정되고, 그 결과, 노드에 상당하고 또한 스트림을 갖지 않은 경우, 스텝 S11에서, 기술자의 로드의 대상으로 되는 오브젝트의 계층을 1개 감소시키는 처리가 행하여지고, 계속해서 스텝 S3에서, 해당 노드에 상당하는 오브젝트를 구성하는 하위 오브젝트의 기술자가 CPU(13)에 로드되게 된다.

또한, 상기 스텝 S4의 판정 결과, 기술자의 로드가 실행된 오브젝트가 노드에 상당하고 또한 스트림을 갖는 경우, 스텝 S6에서 상기 값 Oid가 오브젝트 테이블의 요소인 오브젝트 id로서 등록된다.

그 후, 스텝 S7에서, 스트림 어소시에이션 테이블의 해석이 행하여지고, 이 해석 결과에 기초하여 오브젝트 테이블에서의, 각 오브젝트에 대응하는 다양한 테이블 요소가 등록된다. 이들 테이블 요소의 주된 것으로서는, 각 오브젝트에 대응하는 논리 채널 LC, 각 오브젝트의 우선 순위, 및 각 오브젝트에 대응하는 스트림 id 및 스트림 종별(Video 또는 Audio)을 들 수 있다. 또, 여기서는, 상기 테이블 요소로서, 각 오브젝트에 대응하는 상위 및 하위 오브젝트의 id, 각 오브젝트에 대응하는 상위 및 하위 오브젝트의 논리 채널 LC 및 논리 채널을 공용하는 공용 오브젝트의 id도 등록하도록 되어 있다.

스텝 S8에서는 처리의 대상이 되어 있는 피 처리 오브젝트와 동일한 노드에 속하는 다른 오브젝트에 대한 테이블 요소의 등록이 완료되어 있는지 여부를 판정하여, 완료되어 있지 않으면, CPU(13)의 처리가 스텝 S3으로 복귀하여, 상기 스텝 S4∼스텝 S8의 처리가 행하여진다. 한편, 상기 스텝 S8에서의 판정 결과, 현재 처리중인 피 처리 오브젝트가 속하는 노드의 모든 오브젝트에 대하여 테이블 요소의 등록이 완료되어 있는 경우에는, 스텝 S9에서, 상기 피 처리 오브젝트가 최상위 계층의 오브젝트인지 여부가 판정된다.

이 판정 결과, 피 처리 오브젝트가 최상위 계층의 오브젝트가 아니면, 스텝 S12에서, 오브젝트 계층을 1개 증가시키는 처리가 행해지고, 다시 스텝 S9에서 상기 판정 처리가 행하여진다. 한편, 스텝 S9에서의 판정 결과, CPU(13)의 처리 대상이 되어 있는 피 처리 오브젝트가 최상위 계층의 오브젝트이면, 스텝 S10에서 1개의 신을 구성하는 모든 오브젝트에 대하여 테이블 요소의 등록이 이루어졌는지 여부가 판정된다.

그 판정 결과, 모든 오브젝트에 대하여 테이블 요소의 등록이 이루어지 않은 경우는 CPU(13)의 처리가 스텝 S3으로 복귀하여, 상기 스텝 S4∼S9, S11, S12의 처리가 행하여진다. 한편, 스텝 S10의 판정 결과, 모든 오브젝트에 대하여 테이블 요소가 등록되어 있는 경우에는, CPU(13)에 의해 오브젝트 테이블의 작성 처리가 종료한다.

그리고, 본 실시예 1의 오브젝트 데이터 복호 장치(101)에서는, 상기한 바와 같이 작성된 오브젝트 테이블은 CPU(13)의 데이터 기억부에 저장된다. 이 저장된 오브젝트 테이블은 콤포지션 스트림과 스트림 어소시에이션 테이블이 갱신될 때마다 이들 최신 정보에 대응하도록 갱신된다. 따라서, 1개의 신을 구성하는 오브젝트가 변경되지 않는 한 오브젝트 테이블이 갱신되는 경우는 없다.

또, 상기 다중 비트 스트림 중, 새로운 콤포지션 스트림과 스트림 어소시에이션 테이블이 전송된 것을 나타내는 플래그가 있는 경우에는, 해당 플래그가 새롭게 전송된 경우에만 상기 오브젝트 테이블이 갱신되도록 하더라도 무방하다.

이렇게 구성된 본 실시예 1의 오브젝트 데이터 복호 장치(101)에서는, 사용자의 요구 등에 의해 특정한 오브젝트에 대해서만 복호 처리를 하는 경우, CPU(13)의 데이터 기억부에 저장된 오브젝트 테이블에 기초하여 상기 특정한 오브젝트에 대응하는 논리 채널 LC을 특정하고, 이 논리 채널 LC을 갖는 패킷만을 다중화 스트림으로부터 추출하여 복호화할 수 있다.

예컨대, 노드에 상당하는 오브젝트(Oid=2)(122)에 대해서만 복호 처리를 실행하는 경우, 종래의 데이터 구조의 다중 비트 스트림에서는, 콤포지션 스트림과 스트림 어소시에이션 테이블을 CPU에 의해 해석하고, 지정된 오브젝트에 대응하는 논리 채널 LC을 특정할 필요가 있었지만, 본 실시예 1에서는, 다중 비트 스트림 MEg 중에, 도 2에 도시한 오브젝트 테이블이 존재하기 때문에, 지정된 오브젝트에 대응하는 논리 채널 LC(즉 OLC=6∼9)를 순간적으로 특정할 수 있어, 고속으로 검색 동작을 행할 수 있게 된다.

또한, 복호 장치의 처리 능력이 낮아, 모든 오브젝트에 대한 복호 처리가 불가능한 경우에는, 우선 순위가 높은 오브젝트만을 복호화하는 것을 고려할 수 있는 데, 본 실시예 1에서, 오브젝트 테이블에는 각 오브젝트의 우선 순위가 기술되어 있기 때문에, 우선 순위가 높은 오브젝트의 논리 채널 LC을 용이하게 특정할 수 있다.

또한, 상기 오브젝트 테이블에서는, 논리 채널 LC을 공용하는 오브젝트의 id도 표시되어 있기 때문에, 다음과 같은 효과도 있다.

즉, 본 실시예의 비트 스트림에서는, 오브젝트 id로서 값 Oid=4, 5를 갖는 오브젝트(124, 125)(도 18 참조)는 동일한 논리 채널 LC(OLC=6)의 부호화 데이터를 이용하고 있다. 따라서, 이들 오브젝트는 오브젝트 id나 스트림 id의 값이 다르지만, 대응하는 논리 채널 LC에서는 동일한 값(LC=6)을 갖고 있다.

그런데, 특정한 오브젝트의 부호화 데이터를 다중 비트 스트림으로부터 삭제할 때는, 상기 특정한 오브젝트에 관련된 관련 오브젝트의 오브젝트 id에 기초하여 해당 관련 오브젝트에 대응하는 논리 채널 LC을 판정하여, 상기 특정 오브젝트의 부호화 데이터를 다중 비트 스트림중에서 추출하지만, 상기 특정 오브젝트가 그 논리 채널을 관련 오브젝트와의 사이에서 공용하고 있는 경우, 특정 오브젝트의 부호화 데이터를 삭제하면, 관련 오브젝트에 대응하는 부호화 데이터가 없어져, 관련 오브젝트에 대한 복호 처리가 불가능해진다.

그래서, 논리 채널을 공용하는 오브젝트의 id를 오브젝트 테이블 T1 중에 기재함으로써, 이것을, 그 오브젝트의 부호화 데이터를 삭제 가능한지 여부를 판정하는 데 이용할 수 있어, 상기한 바와 같은 문제점를 해소할 수 있다.

이와 같이 본 실시예 1에서는, 복수의 오브젝트에 대응하는 부호화 데이터 Eg를 포함하는 다중 비트 스트림에 기초하여 각 오브젝트와 그 부호화 데이터의 대응 관계를 나타내는 오브젝트 데이터 테이블을 미리 작성하고, 작성한 오브젝트 테이블을 이용하여, 특정한 오브젝트의 추출, 선택, 검색을 하도록 하였기 때문에, 특정한 오브젝트의 검색 등을 다중 비트 스트림에 포함되는 오브젝트 정보를 그 때마다 해석하여 실행하는 경우와 비교하여, 오브젝트의 검색 등에 필요한 연산 처리량이 적어져서, 고속으로 처리할 수 있게 된다.

또한, 오브젝트 테이블 T1중에는, 1개의 신을 구성하는 계층 구조를 이루는 복수의 오브젝트의 관계가 명확히 기술되어 있기 때문에, 1개의 오브젝트속에 복수의 오브젝트가 포함되는 경우라도, 치환, 편집 등의 오브젝트 조작을 용이하게 할 수 있다.

또, 상기 실시예 1에서는, 논리 채널을 공용하는 오브젝트를, 이들 오브젝트의 id에 의해 나타내도록 하고 있지만, 논리 채널을 공용하고 있는지 여부를 인식할 필요가 있는 경우에는, 오브젝트 id가 아니라, 1, 0이라는 플래그를 이용함으로써, 오브젝트 테이블의 구성을 간략화할 수 있다.

또한, 오브젝트 테이블은 도 2에 도시한 것에 한정되지 않고, 다른 구성이어도 무방하고, 이하에, 본 실시예 1의 변형예로서, 도 2에 도시한 오브젝트 테이블과는 그 구성이 다른 오브젝트 테이블을 작성하는 오브젝트 데이터 복호 장치에 대하여 설명한다.

도 4는 이 변형예에 따른 오브젝트 데이터 복호 장치에 의해 작성되는 오브젝트 테이블을 설명하기 위한 도면으로, 상위 계층의 오브젝트에 대응하는 테이블 및 하위 계층의 오브젝트에 대응하는 테이블을 도시하고 있다.

도 4에 도시한 오브젝트 테이블 T2가 도 2에 도시한 오브젝트 테이블 T1과 다른 점은, 도 4의 오브젝트 테이블 T2에서는, 오브젝트의 논리 채널 LC를 기술하지 않는 점과, 또한 오브젝트 테이블 T2를, 오브젝트의 계층에 따라 상위 계층의 테이블 T2a와 하위 계층의 테이블 T2b로 분리한 점이다.

이러한 구성의 오브젝트 테이블을 작성하는 처리는, 테이블 요소인 논리 채널 LC의 등록 처리를 하지 않은 점만 도 3에 도시한 처리 흐름과 다를 뿐, 도 3의 처리 흐름과 유사한 처리 흐름으로 작성할 수 있다.

그런데, 상술한 바와 같이, 비트 스트림은, 반드시 각 오브젝트에 대응하는 부호화 데이터가 다중화되어 있다고는 할 수 없다. 부호화 데이터가 다중화되어있지 않은 비트 스트림에는, 스트림 어소시에이션 테이블이 포함되어 있지 않아, 이 비트 스트림으로부터는 논리 채널 LC가 얻어지지 않는다.

이러한 비트 스트림에서는, 다중 비트 스트림에서의 논리 채널은 스트림에 상당하는 것이 되고, 논리 채널 LC 대신에, 스트림 id에 의해서 각 오브젝트의 부호화 데이터를 특정하게 된다.

이 때문에, 도 4에 도시한 오브젝트 테이블 T2a, T2b에서는, 도 2에 도시한 오브젝트 테이블 T1과 마찬가지로, 각 오브젝트를 식별하기 위한 오브젝트 id를 등록하여, 오브젝트와 스트림의 관계를 명확히 하고 있다.

또, 도 4에 도시한 오브젝트 테이블 T2a, T2b에서는, 오브젝트의 계층을 명확히 하기 위해서, 스트림의 종별 란에 기술하는 계층 정보를 나타내는 부호로서 H를 도입하고, 해당 종별 란의 기술이 H인 오브젝트에 대해서는, 그 종별의 오브젝트에 포함되는 하위 계층의 오브젝트에 대응하는 다른 계층의 오브젝트 테이블 T2b를 정의하도록 하고 있다.

이와 같이 오브젝트 테이블을 계층적으로 구성함으로써, 1개의 신을 구성하는 오브젝트의 계층이 증가하더라도, 오브젝트 테이블을 구성하는 각 계층의 오브젝트 테이블의 사이즈는 커지지 않는다. 이 때문에, 상위 계층의 오브젝트에 대해서만 편집이나 치환이라는 조작을 할 때에는, 사이즈가 작게 억제된 상위 계층의 오브젝트 테이블만을 검색하면 되어, 오브젝트를 용이하게 검출할 수 있다고 하는 효과가 있다.

또, 상기 실시예 1 및 그 변형예에서는, 오브젝트 테이블로서, 도 3에 도시한 다중 비트 스트림으로부터 얻어지는 것, 및 도 4에 도시한 비(非)다중 비트 스트림으로부터 얻어지는 것을 예로 하여 설명하였지만, 오브젝트 테이블은 이들에 한정되는 것은 아니다.

그 밖의 구성의 오브젝트 테이블에서는, 오브젝트 테이블을 소형화하기 위해서, 예컨대, 도 2에 도시한 오브젝트 테이블의 테이블 요소로부터, 상위 오브젝트의 id, 상위 오브젝트의 LC, 우선 순위, 스트림 종별, 공용 오브젝트의 id 등의 요소를 제외한 것이라도 무방하다.

또한, 반대로 오브젝트 테이블의 사이즈는 약간 커지지만, 오브젝트의 편집이나 치환이라는 조작을 보다 간편하게 하기 위해서, 콤포지션 스트림 자체의 LC 및 스트림 어소시에이션 테이블 자체의 LC를 오브젝트 테이블에 기재하거나, 비디오나 오디오라는 오브젝트에 대응하는 스트림의 헤더 정보 등을 테이블에 부가할 수도 있다.

이와 같이, 본 발명의 오브젝트 데이터 복호 장치에 의해 작성하는 오브젝트 테이블은, 오브젝트와 그 오브젝트의 스트림 id 또는 논리 채널 LC가 관련지워진 것이라면 어떠한 구성의 것이라도 무방하다.

또한, 오브젝트 부호화 방식에서는, 복호 장치를 간편하고 용이한 구성으로 하기 위해서, 비트 스트림속에 콤포지션 스트림을 포함시키지 않고, 비트 스트림 중의 스트림 어소시에이션 테이블만으로 다중 관계를 나타내는 경우가 있다.

이러한 경우에는, 오브젝트와 스트림의 대응 관계는 일의적으로 명확하게는 되지 않지만, 도 2에 도시한 오브젝트 테이블 T1에서의 테이블 요소인 오브젝트id, 스트림 id, 스트림 종별, 우선 순위, 공용 오브젝트의 id 등을 제외한 오브젝트 테이블을 스트림 어소시에이션 테이블로 구성하여도 되고, 이 경우, 각 오브젝트의 부호화 데이터에 대응하는 논리 채널의 계층 관계가 오브젝트 테이블에 명기되게 된다. 또한, 도 4에 도시한 오브젝트 테이블 T2에서의 테이블 요소인 오브젝트id, 스트림id, 스트림 종별, 우선 순위 등을 제외한 오브젝트 테이블을 스트림 어소시에이션 테이블로 구성하여도 무방함은 말할 필요도 없다.

(실시예 2)

도 5는 본 발명의 실시예 2에 따른 오브젝트 데이터 처리 장치인 오브젝트 데이터 선택 장치를 설명하기 위한 블럭도이다.

이 오브젝트 데이터 선택 장치(102)는 사용자의 지시에 대응한 지시 신호 Iu에 기초하여 다중 비트 스트림 MEg으로부터 특정한 오브젝트의 부호화 데이터 Sg를 추출하는 것이다. 여기서, 상기 다중 비트 스트림은 도 19에 도시한 다중 비트 스트림 MEg과 마찬가지로 각 오브젝트마다 각각의 부호화 데이터가 다중화되어 있다.

즉, 이 오브젝트 데이터 선택 장치(102)는 상기 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션 스트림과 스트림 어소시에이션 테이블을 검출하는 다중 스트림 해석 수단(61)과, 제어 신호 Cont에 기초하여 상기 비트 스트림 MEg로부터 특정한 오브젝트에 대응하는 부호화 데이터를 선택하여 추출하는 오브젝트 선택 수단(62)과, 해당 다중 스트림 해석 수단(61)과 오브젝트 선택 수단(62) 사이에 마련되어, 소정 기간에 걸쳐 상기 다중 비트 스트림을 유지하여 출력하는버퍼(64)를 구비하고 있다.

또한, 상기 선택 장치(102)는 상기 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 도 2에 도시한 오브젝트 테이블 T1을 작성함과 동시에, 사용자의 조작에 의해 발생한 오브젝트 지정 신호 Iu에 기초하여 지정된 오브젝트의 부호화 데이터를 선택하기 위한 신호를 상기 제어 신호로서 상기 오브젝트 선택 수단(62)에 출력하는 CPU(63)를 구비하고 있다. 여기서는, 상기 다중 비트 스트림으로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출함으로써, 콤포지션 스트림 및 스트림 어소시에이션 테이블의 기술 내용이 변화하기 때문에, 상기 CPU(63)는 콤포지션 스트림과 스트림 어소시에이션 테이블에 관한 보조 데이터를, 추출한 오브젝트에 대응하도록 개서(rewrite)하여 상기 오브젝트 선택 수단(62)에 출력하는 구성으로 되어 있고, 또한 이 오브젝트 선택 수단(62)은 CPU(63)에 의해 개서된 콤포지션 스트림과 스트림 어소시에이션 테이블을 상기 추출된 오브젝트의 부호화 데이터에 부가하여 출력하는 구성으로 되어 있다.

다음으로 동작에 대하여 설명한다.

도 6은 본 실시예 2에 따른 오브젝트 데이터 선택 장치(102)의 동작을 도시한 플로우 차트이다.

우선, 스텝 S71에서는, 오브젝트 데이터 선택 장치(102)에 입력된 다중 비트 스트림 MEg에 기초하여 오브젝트 테이블 T1이 작성된다.

즉, 상기 다중 비트 스트림은 다중 스트림 해석 수단(61)에 의해 해석되고, 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션 스트림과 스트림어소시에이션 테이블이 검출되어 CPU(63)에 공급된다. 이 경우, CPU(63)에서는 상기 보조 데이터 Dsub에 기초하여 오브젝트 테이블이 작성되어, 그 데이터 기억부에 기억된다. 이 오브젝트 테이블은 실시예 1과 마찬가지로 작성 처리된다.

다음에, 사용자 등에 의한 특정한 오브젝트를 지정하는 지정 신호 Iu가 입력되면(스텝 S72), CPU(63)는 오브젝트 지정 신호 Iu에 기초하여 오브젝트 테이블을 검색하고, 지정 오브젝트의 논리 채널 LC을 특정하여, 이 논리 채널 LC을 제어 신호 Cont로서 오브젝트 선택 수단(62)에 전송한다(스텝 S73).

계속해서, 상기 CPU(63)는 지정 오브젝트의 부호화 데이터에 대응하도록 콤포지션 스트림의 개서(스텝 S74) 및 스트림 어소시에이션 테이블의 개서(스텝 S75)를 행한다.

이러한 콤포지션 스트림 및 스트림 어소시에이션 테이블의 개서는 입력된 다중 비트 스트림과, 추출된 오브젝트에 대응하는 다중 비트 스트림 사이에서, 다중 비트 스트림에 포함되는 오브젝트의 상호 관계가 변화하기 때문이다. 또한, 상기 개서가 실행되는 동안, 다중 스트림 해석 수단(61)으로부터 출력된 다중 비트 스트림은 버퍼(64)에서 유지된다.

그리고, 상기 버퍼(64)를 거쳐서, 다중 비트 스트림에 포함되는 각 오브젝트에 대응하는 부호화 데이터가 오브젝트 선택 수단(62)에 입력되면(스텝 S76), 오브젝트 선택 수단(62)에서는, CPU(63)로부터의, 오브젝트 지정 신호에 대응한 제어 신호 Cont에 기초하여 입력된 부호화 데이터가 지정 오브젝트의 논리 채널 LC에 대응하는지에 대한 여부가 판정된다(스텝 S77).

이 판정 결과, 입력된 부호화 데이터가 지정 오브젝트에 대응하는 것이 아닌 경우에는, 상기 스텝 S76에서, 다음 부호화 데이터가 오브젝트 선택 수단에 입력된다. 한편, 입력된 부호화 데이터가 지정 오브젝트에 대응하는 것일 경우에는, 그 부호화 데이터가 지정 오브젝트에 대응하는 것으로서 출력된다(스텝 S78). 이 때, 오브젝트 선택 수단(62)에서는, 해당 개서된 콤포지션 스트림 및 스트림 어소시에이션 테이블을 선택된 오브젝트의 부호화 데이터에 부가하여 출력한다.

그 후, 오브젝트 선택 수단(62)에서는, 출력한 부호화 데이터가, 지정된 오브젝트에 대응하는 부호화 데이터중 최후의 것인지에 대한 여부가 판정된다. 이 판정의 결과, 출력한 부호화 데이터가 지정 오브젝트의 최후의 부호화 데이터가 아니면, 상기 스텝 S76∼스텝 S79의 처리가 다시 행해진다. 한편, 상기 스텝 S79에서의 판정 결과, 출력한 부호화 데이터가 지정 오브젝트의 최후의 부호화 데이터이면, 스텝 S80에서, 지정된 모든 오브젝트의 부호화 데이터의 출력이 완료되었는지 여부가 판정되고, 전부 완료되어 있지 않으면, 상기 스텝 S76∼스텝 S80의 처리가 다시 실행되는 한편, 전부 완료되었으면, 오브젝트의 부호화 데이터를 선택하는 처리가 종료된다.

또한, 오브젝트 선택 수단(62)은, 상기한 바와 같이 지정된 오브젝트의 부호화 데이터를 출력할 때에, 오브젝트 데이터 선택 장치로부터 출력되는 다중 비트 스트림의 전송 속도가 이 선택 장치에 입력되는 다중 비트 스트림의 전송 속도에 비해서 떨어지므로, 필요에 따라 전송율의 변환 처리도 실행하는 구성으로 되어 있다. 또한 이 전송 속도의 변환 처리는, 선택 수단의 후단측에 마련한 독립된 수단에 의해 실행하도록 해도 무방하다.

이와 같이 본 실시예 2에서는, 복수의 오브젝트에 대응하는 부호화 데이터 Eg를 다중화한 비트 스트림에 기초하여 각 오브젝트와 그 부호화 데이터의 대응 관계를 나타내는 오브젝트 데이터 테이블을 미리 작성하고, 지정된 오브젝트에 대응하는 부호화 데이터를 작성한 오브젝트 테이블을 이용하여 비트 스트림으로부터 추출하도록 하였기 때문에, 다중 비트 스트림의 전송 경로 도중에 고속으로 소정 오브젝트의 부호화 데이터를 추출하거나 삭제할 수 있게 된다.

또, 상기 실시예 2에서는, 특정한 오브젝트를 추출하여 전송하는 것으로 하였지만, 이것에 한정되는 것은 아니고, 반대로 특정한 오브젝트만을 추출하여 삭제하고, 나머지 스트림을 전송하도록 하더라도 무방하다.

(실시예 3)

도 7은 본 발명의 실시예 3에 따른 오브젝트 데이터 기억 장치를 설명하기 위한 블럭도이다.

본 실시예 3의 오브젝트 데이터 기록 장치(103)는, 데이터를 축적하는 데이터 축적 수단(84)과, 해당 축적 수단(84)에 축적된 데이터를 선택하여 추출하는 오브젝트 데이터 선택부(8)를 구비하고, 상기 다중 비트 스트림 MEg를 해당 데이터 축적 수단(84)에 기록함과 동시에, 사용자의 지시 등에 기초하여 해당 데이터 축적 수단(84)에 축적된 스트림으로부터, 지정된 오브젝트의 부호화 데이터를 검색하거나 출력하는 구성으로 되어 있다.

상기 오브젝트 데이터 선택부(8)는, 상기 도 19에 도시한 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션 스트림과 스트림 어소시에이션 테이블을 검출하는 다중 스트림 해석 수단(81)과, 제어 신호 Cont에 기초하여 상기 비트 스트림 MEg으로부터 특정한 오브젝트에 대응하는 부호화 데이터를 선택하여 추출하는 오브젝트 선택 수단(82)을 구비하고 있다. 또한, 상기 오브젝트 데이터 선택부(8)은, 상기 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 도 2에 도시한 오브젝트 테이블 T1을 작성하고, 데이터 축적 수단(84)의 소정의 영역, 예컨대 축적 수단의 내용을 나타내는 관리 정보의 기록 영역, 또는, 오브젝트 테이블을 일괄해서 관리하고 있는 영역, 또는, 다중 비트 스트림 MEg와 동일한 기억 영역에 그 선두 등에 위치하도록 기록하는 CPU(83)를 구비하고 있다.

또한, 이 CPU(83)는, 사용자의 조작에 의해 발생한 오브젝트 지정 신호 Iu에 기초하여 지정된 오브젝트의 부호화 데이터를 선택하기 위한 선택 신호를 상기 제어 신호 Cont로서 상기 오브젝트 선택 수단(82)에 출력하는 구성으로 되어 있다. 또한, 이 CPU(83)는, 콤포지션 스트림과 스트림 어소시에이션 테이블에 관한 보조 데이터를, 선택한 오브젝트에 대응하도록 개서하고, 해당 선택한 오브젝트의 부호화 데이터에 부가하여 출력하는 구성으로 되어 있다.

다음에 동작에 대하여 설명한다.

도 8은 오브젝트 테이블을 작성하는 처리의 흐름을 나타내는 플로우 차트이다.

오브젝트 데이터 기억 장치(103)에 다중 비트 스트림 MEg가 입력되어, 그 데이터 축적 수단(84)에 저장되면(스텝 S91), 오브젝트 데이터 선택부(8)에서는, CPU(83)의 제어에 의해 해당 다중 비트 스트림에 대응한 오브젝트 테이블이 작성된다.

즉, 상기 다중 비트 스트림은 다중 스트림 해석 수단(83)에 입력되고(스텝 S92), 해당 해석 수단(83)에서의 해석에 의해, 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션 스트림과 스트림 어소시에이션 테이블이 검출되어, CPU(83)에 공급된다. 이 경우, CPU(83)에서는, 상기 보조 데이터 Dsub에 기초하여 오브젝트 테이블(도 2참조)이 작성된다(스텝 S93). 그리고 CPU(83)에서 작성된 오브젝트 테이블이 데이터 축적 수단(84)에 저장된다(스텝 S94), 그 후 오브젝트 데이터의 선택 처리를 종료하는 명령이 입력되었는지를 판정하고, 종료 명령이 없으면 상기 스텝 S91∼95의 처리가 반복하여 실행되고, 종료 명령이 있으면 상기 선택 처리가 종료된다.

이 때, 오브젝트 테이블은, 축적 수단(84)의 소정 영역, 예컨대 축적 수단의 내용을 나타내는 관리 정보를 기록하고 있는 영역, 또는, 오브젝트 테이블을 일괄해서 관리하고 있는 영역, 또는, 해당 다중 비트 스트림과 동일한 기억 영역에 그 선두에 위치하도록 저장된다.

이 때, 본 기억 장치(103)에, 특정한 오브젝트를 지정하는 지정 신호가 입력되면, CPU(83)에서는, 데이터 축적 수단(84)에 저장한 오브젝트 테이블의 검색이 행해지고, 지정 오브젝트에 대응하는 논리 채널 LC이 특정되어, 해당 특정된 논리 채널 LC이 오브젝트 선택 수단(82)에 출력된다.

오브젝트 선택 수단(82)에서는, 상기 CPU(83)로부터의 논리 채널 LC에 기초하여 해당 특정된 논리 채널에 대응하는 부호화 데이터가 상기 다중 비트 스트림중에서 선택되어, 해당 선택된 부호화 데이터 Se가 출력된다. 또한, 이 때, 오브젝트의 선택에 의해, 콤포지션 스트림 및 스트림 어소시에이션 테이블이 변경되는 경우에는, CPU(83)에서는 그들 테이블 등이 개서되고, 개서된 테이블 등이 상기 오브젝트 선택 수단(82)에 출력되고, 여기서 선택한 오브젝트에 부가하여 출력된다.

이와 같이 본 실시예 3에서는, 1 장의 화상을 구성하는 각 오브젝트의 부호화 데이터를 포함하는 다중 비트 스트림을 기억하는 기억 장치에 있어서, 해당 다중 비트 스트림에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하고, 상기 부호화 데이터와 이에 대응하는 오브젝트 테이블을 기록하도록 하였기 때문에, 기억되어 있는 다중 비트 스트림이 오브젝트 테이블에 의해 일원적으로 관리되게 되어 원하는 오브젝트를, 기록된 다중 비트 스트림으로부터 검색하여 출력하는 처리를 고속으로 실행할 수 있게 된다.

또, 상기 오브젝트 데이터 기록 장치에서는, 데이터 축적 수단(84)을 버퍼로서 이용할 수 있기 때문에, 다중 스트림 해석 수단(81)과 오브젝트 선택 수단(82) 사이에는 버퍼를 마련하고 있지 않지만, 이들 수단 사이에 도 5에 도시한 바와 같은 버퍼를 마련하여도 무방한 것은 말할 필요도 없다.

(실시예 4)

도 9는 본 발명의 실시예 4에 따른 오브젝트 데이터 처리 장치인 오브젝트데이터 송출 장치를 설명하기 위한 블럭도로, 해당 오브젝트 데이터 송출 장치(104)를 포함하는 오브젝트 데이터 다중 부호화 장치(104a)를 도시하고 있다.

상기 오브젝트 데이터 다중 부호화 장치(104a)는, 1개의 신을 구성하는 각 오브젝트의 데이터를 부호화하여 각 오브젝트에 대응하는 부호화 데이터를 생성하고, 또한 이들 부호화 데이터를 보조 데이터 Dsub로서의 콤포지션 스트림 및 스트림 어소시에이션 테이블과 더불어 다중화하여 출력하는 부호화 수단(87)과, 해당 부호화 수단(87)으로부터 출력되는 다중 비트 스트림 MEg을, 이것에 상기 각 오브젝트와 또한 그에 대응하는 부호화 데이터와의 대응 관계를 나타내는 오브젝트 테이블을 부가하여 송출하는 오브젝트 데이터 송출 장치(104)로 구성되어 있다.

여기서, 상기 오브젝트 데이터 송출 장치(104)는 상기 다중 비트 스트림 MEg에 포함되는 보조 데이터 Dsub인 콤포지션 스트림과 스트림 어소시에이션 테이블을 제어 신호 Cont1에 기초하여 검출하는 다중 스트림 해석 수단(81)과, 해당 다중 스트림 해석 수단(81)을 거쳐서 출력되는 다중 비트 스트림을 일시적으로 유지하는 버퍼(85)를 구비하고 있다. 또한 이 송출 장치(104)는 상기 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 도 2에 도시한 오브젝트 테이블 T1을 작성하는 CPU(83)와, 제어 신호 Cont2에 의해 해당 오브젝트 테이블을, 버퍼(85)로부터 출력되는 다중 비트 스트림에 부가하는 다중화 수단(86)을 구비하고 있다.

다음에 동작에 대하여 설명한다.

도 10은 상기 오브젝트 데이터 송출 장치에 의한 처리의 흐름을 나타내는 플로우 차트이다.

오브젝트 데이터 송출 장치(104)에, 부호화 수단(87)에서의 압축 다중화에 의해 생성된 다중 비트 스트림이 입력되면(스텝 S111), CPU(83)에서는, 신의 개시 시각인지 1개의 신을 구성하는 오브젝트의 변경 시각인지가 판정되고(스텝 S112), 어디에도 해당 하지 않은 경우에는, 입력된 다중 비트 스트림이 그대로 출력되도록 상기 다중화 수단(86)이 제어 신호 Cont1에 의해 제어된다.

한편, 신의 개시 시각이든가 1개의 신을 구성하는 오브젝트의 변경 시각이면, 상기 다중 비트 스트림 MEg가 다중 스트림 해석 수단(81)에 입력되어 처리되도록, 다중 스트림 해석 수단(81)이 제어 신호 Cont1에 의해 제어된다(스텝 S113). 그리고, CPU(83)에서는, 상기 다중 비트 스트림으로부터 콤포지션 스트림이 검출되고(스텝 S114), 계속해서, 다중 비트 스트림으로부터 스트림 어소시에이션 테이블이 추출되며(스텝 S115), 또한 이들 콤포지션 스트림 및 스트림 어소시에이션 테이블에 기초하여 오브젝트 테이블이 작성된다(스텝 S116).

그 후, CPU(83)에서는, 신 개시 시각 또는 오브젝트 변경 시각에, 작성한 오브젝트 테이블이 버퍼(85)로부터 출력되는 다중 비트 스트림의 선두에 부가되고(스텝 S117), 상기 오브젝트 테이블이 부가된 다중 비트 스트림이 송출된다(스텝 S118).

그리고, 부호화 수단(87)으로부터의 다중 비트 스트림에 대한 송출 처리를 종료하는 명령이 있었는지 여부가 판정되고(스텝 S119), 종료 명령이 있으면, 송출 처리가 종료되고, 종료 명령이 없으면, 상기 스텝 S111 내지 스텝 S119의 처리가 다시 실행된다.

이와 같이 본 실시예 4에서는, 1개의 신을 구성하는 각 오브젝트의 부호화 데이터를 다중 부호화하여 얻어지는 다중 비트 스트림에, 상기 오브젝트와 그 부호화 데이터의 대응 관계를 나타내는 오브젝트 테이블을 부가하여 송출하도록 하였기 때문에, 이 오브젝트 테이블이 부가된 다중 비트 스트림 MEg를 입력으로 하는 오브젝트 데이터 복호 장치에서는, 오브젝트 테이블을 새롭게 작성할 필요가 없어져, 상기 실시예 1의 복호 장치와 동일 효과가 얻어지는 오브젝트 데이터 복호 장치를 간단한 구성으로 실현할 수 있다.

또, 이와 같이 다중 비트 스트림 MEg와 함께 오브젝트 테이블이 입력되는 오브젝트 데이터 복호 장치로서는, 오브젝트 테이블과, 다중 비트 스트림 MEg에서의 각 오브젝트의 부호화 데이터를, 분리하여 각각의 기억 영역에 기억해도 좋고, 오브젝트 테이블과 각 오브젝트의 부호화 데이터를 동일한 기억 영역에 기억하는 것이어도 무방하다.

또한, 상기 실시예 4에서는, 송출 장치로서, 다중화 비트 스트림의 앞에 오브젝트 테이블을 부가하여 송출하는 것을 설명였지만, 송출 장치의 구성은 이것에 한정되지 않는다. 예컨대, 어플리케이션에 따라서는, 오브젝트 테이블을 다중 비트 스트림의 도중에 삽입하도록 하여도 되는 데, 이 경우, 버퍼(85)의 용량을 적게 할 수 있다.

또한, 상기 실시예 4에서, 부호화 수단은 단지 각 오브젝트에 대응하는 부호화 데이터를 생성하는 구성으로 하고, 송신 장치를, 부호화 수단에 의해 생성된 다중 비트 스트림을 수신하여, 이것에 오브젝트 테이블을 부가하여 송출하는 구성으로 하였지만, 부호화 수단 및 송신 장치의 구성은 이것에 한정되는 것이 아니다. 예컨대, 다중 부호화 장치에 있어서의 부호화 수단을, 콤포지션 스트림 및 스트림 어소시에이션 테이블의 작성시에 동시에 오브젝트 테이블도 작성하고, 해당 오브젝트 테이블을 콤포지션 스트림이나 스트림 어소시에이션 테이블과는 별개로 다중 비트 스트림에 부가하여 송출하거나, 또는 해당 오브젝트 테이블을 콤포지션 스트림의 일부로서 송출하는 구성으로 하여도 무방하며, 이 경우, 송출 장치에서의 다중 스트림 해석 수단(81)이 불필요해지고, 또한 송출 장치에서의 다중화 수단으로서, 종래의 다중화 수단과 동일한 구성의 다중화 수단을 이용할 수도 있다.

또한, 상기 실시예 2∼4에서는, 입력되는 부호화 데이터가 다중 비트 스트림인 경우에 대하여 설명하였지만, 각 실시예는 이것에 한정되는 것이 아니다.

예컨대, 입력되는 비트 스트림은, 실시예 1의 변형예에서 설명한 바와 같이, 오브젝트마다 부호화 데이터가 나뉘어진 비트 스트림이더라도 무방하다. 이 경우, 오브젝트 테이블을 도 4에 도시한 구성으로 함으로써 동일한 효과를 얻을 수 있다.

특히 실시예 4의 송신 장치를 이러한 비 다중 비트 스트림을 수신하여, 도 4에 도시한 오브젝트 테이블을 작성하는 구성으로 한 경우에 있어서도, 이 송신 장치로부터 출력되는, 오브젝트 테이블이 부가된 다중 비트 스트림 MEg를 수신하는 오브젝트 데이터 복호 장치로서는, 오브젝트 테이블과, 다중 비트 스트림 MEg에서의 각 오브젝트의 부호화 데이터를, 분리하여 별도의 기억 영역에 기억하는 것이어도 되고, 오브젝트 테이블과 각 오브젝트의 부호화 데이터를 동일한 기억 영역에 기억하는 것이어도 무방함은 물론이다.

또한, 상기 각 실시예에서는, 다중 비트 스트림으로서, 화상 데이터 및 오디오 데이터에 대응하는 부호화 데이터를 포함하는 다중 비트 스트림을 설명하였지만, 다중 비트 스트림은 이것에 한정되는 것이 아니고, 다중 비트 스트림은, 기록, 또는, 전송의 대상으로 되는 개별 정보를 구성하는 복수의 오브젝트의 부호화 데이터를 포함하는 것이면 어떠한 것이어도 무방하다. 예컨대, 상기 다중 비트 스트림은, 오브젝트의 부호화 데이터로서, 화상 데이터, 오디오 데이터, 또는, 컴퓨터 데이터의 부호화 데이터만을 포함하는 것, 또는, 그 밖의 데이터의 부호화 데이터를 포함하는 것이어도 무방하다.

또한, 상기 각 실시예 1∼4에서는, 비트 스트림 MEg에 보조 데이터로서 포함되는 콤포지션 스트림과 스트림 어소시에이션 테이블에 기초하여 오브젝트 테이블을 작성하는 경우에 대하여 설명하였지만, 규격화되고 있는 MPEG4에 대응한 정보 전송 시스템에서는, 신 기술의 포맷이 상기 콤포지션 스트림에 의한 것과는 다르고, 또한, 스트림 id와 논리 채널의 대응 관계를 나타내는 스트림 어소시에이션 테이블 대신에, 오브젝트 id와 스트림 id의 대응 관계를 나타내는 오브젝트 디스크립터를 이용하고 있다.

그래서, 이하 MPEG4에 대응한 오브젝트 데이터 전송 시스템에 대하여 설명한다.

도 11은, 이 오브젝트 데이터 전송 시스템의 구성을 도시하는 개념도이다. 이 시스템(200)에서는, 1개의 신(201)을 구성하는 각 오브젝트에 대응하는 화상 부호화 데이터 Ev 및 오디오 부호화 데이터 Ea가 보조 데이터로서의 시스템 정보 Si와 함께 다중화 수단(203)에 의해 다중화되고, 이 다중화에 의해 얻어지는 다중 비트 스트림 MEg1이 전송 매체를 거쳐서 전송되거나, 또는, 축적 매체에 축적되게 된다.

그리고, 전송 매체를 거쳐서 전송되어 온, 또는, 축적 매체로부터 판독된 다중 비트 스트림 MEg1은, 역다중화 수단(203)에 의해 각 오브젝트에 대응하는 부호화 데이터 Ev, Ea 및 시스템 정보 Si로 분리된다.

구체적으로, 여기서는, 상기 1개의 신(201)은, 배경으로서의 배경 오브젝트(background object) OB1와, 이것에 부수되는 사운드 오브젝트(sound object) OB4와, 인물로서의 전경 오브젝트(foreground object) OB2와, 이것에 부수되는 보이스 오브젝트(voice object) OB3로 구성되어 있고, 상기 화상 부호화 데이터 Ev는 배경 오브젝트 OB1에 대응하는 부호화 데이터 Ev1과 전경 오브젝트 OB2에 대응하는 부호화 데이터 Ev2로 나뉘어져 있고, 상기 오디오 부호화 데이터 Ea는 보이스 오브젝트 OB3에 대응하는 부호화 데이터 Ea1과 사운드 오브젝트 OB4에 대응하는 부호화 데이터 Ea2로 나뉘어져 있다. 또한, 상기 보조 데이터로서의 시스템 정보 Si는 신 기술 정보 Sf와 오브젝트 디스크립터 OD로 나뉘어져 있다.

이 경우, 복호 처리부(204)에서는, 상기 다중 비트 스트림 MEg1으로부터 분리된 각 데이터를 수신하고, 이들의 데이터에 기초하여 1 개의 신에 대응하는 재생 데이터 Rg를 생성한다.

즉, 상기 신 기술 정보 Sf에서는, 오브젝트 OB1∼OB4의 계층 구조가 각 계층의 오브젝트와 그 오브젝트 id의 관계와 함께 나타나 있고, 또한 오브젝트 디스크립터(descriptor) OD에는, 오브젝트 id와 스트림 id(즉, 오브젝트에 대응하는 부호화 데이터)의 관계가 나타나 있다.

따라서, 복호 처리부(204)에서는, 상기 신 기술 정보 Sf 및 오브젝트 디스크립터 OD에 기초하여 각 오브젝트의 부호화 데이터의 복호 및 합성 처리를 실시하여, 1 개의 신(201)을 표시하기 위한 재생 데이터 Rg를 생성한다.

또, 도 11에 도시한 시스템(200)에 있어서, 오브젝트와 오브젝트 디스크립터는 화상 데이터와 오디오 데이터를 구별하여 정의하고 있다.

(실시예 5)

다음으로, 본 발명의 실시예 5에서, 상기 오브젝트 데이터 전송 시스템(200)에 대응한 오브젝트 데이터 복호 장치에 대하여 설명한다. 또, 본 실시예 5의 설명에서, 오브젝트와 오브젝트 디스크립터는 화상 데이터와 오디오 데이터를 구별하지 않고 정의하고 있다.

도 12는, 본 실시예 5의 오브젝트 데이터 복호 장치를 설명하기 위한 블럭도이다.

본 실시예 5의 오브젝트 데이터 복호 장치(105)는 상기 보조 데이터로서 콤포지션(composition) 스트림 및 스트림 어소시에이션(association) 테이블 대신에, 신 기술 정보 Sf 및 오브젝트 디스크립터 OD를 포함하는 다중 비트 스트림 MEg1을 수신하고, 다중 비트 스트림 MEg1으로부터 1 개의 신에 대응하는 화상 데이터 Rg를 재생하는 구성으로 되어 있다.

여기서, 상기 다중 비트 스트림 MEg1은 도 13에 도시한 1 개의 신(150)에 대응하는 신 데이터를, 해당 1 개의 신을 구성하는 각 오브젝트마다 부호화하여, 얻어지는 부호화 데이터를 보조 데이터와 함께 다중화한 것이다.

여기서, 상기 1 개의 신(150)은 계층 구조를 이루는 복수의 오브젝트(작은 화상)로 구성되어 있다. 구체적으로는, 상기 1 개의 신(150)은, 배경에 해당하는 배경 화상(151), 배경 내부를 이동하는 이동체(152), 상기 배경 화상 상에 표시된 로고(Let's start)(153), 제 1, 제 2 차륜(154, 155)으로 구성되어 있다. 여기서, 상기 배경 화상(151)은 하나의 노드로 이루어져 있고, 상기 이동체(152) 및 상기 로고(153)로서의 오브젝트는 이 노드(151)에 속해 있다. 또한, 상기 이동체(152)도 1개의 노드로 이루어져 있고, 제 1, 제 2 차륜(154, 155)으로서의 오브젝트가 이 노드(152)에 속해 있다. 그리고, 상기 이동체(152)로서의 오브젝트의 부호화 데이터는 창(152a), 동체(152b), 굴뚝(fummel)(152c)에 대응하는 부호화 데이터를 포함하고 있다.

또한, 상기 다중 비트 스트림 MEg1의 보조 데이터로서는, 신 기술 정보와 오브젝트 디스크립터가 포함되어 있고, 도 14의 (a)는 신 기술 정보에 의한 신 기술 SD1을 나타내고 있다.

이 신 기술 SD1은 상기 신(150)에 대응하는 것이며, 배경 화상(151)에 이동체(152) 및 로고(153)가 포함되고, 이동체(152)에 제 1, 제 2 차륜(154, 155)이 포함되는 것이, 오브젝트(1)(161)∼(5)(165)에 의해 나타나 있다. 여기서, 상기 오브젝트(1)(161)∼(5)(165)는, 각각 상기 배경 화상(151), 이동체(152), 로고(153),제 1 차륜(154), 제 2 차륜(155)을 나타내는 기술자이다. 그리고, 상기 각 기술자(161∼165)에는, 다중 비트 스트림 MEg1에 있어서의 오브젝트의 부호화 데이터를 식별하기 위한 오브젝트 id가 부여되어 있고, 구체적으로는, 도 14에 도시한 바와 같이, 상기 각 기술자(161∼165)에는, 오브젝트 id로서 Oid=1∼Oid=5가 부여되어 있다.

또한, 도 14의 (b)에 나타내는 오브젝트 디스크립터 OD에는, 오브젝트 id와 스트림 id의 대응 관계가 도시되어 있다. 구체적으로는, 오브젝트 id(Oid=1)에 스트림 id(Sid=1, 2)가 대응하고, 오브젝트 id(Oid=2)에 스트림 id(Sid=3∼6)가 대응하며, 오브젝트 id(Oid=3)에 스트림 id(Sid=7)가 대응하고, 오브젝트 id(Oid=4, 5)에 각각 스트림 id(Sid=8)가 대응하고 있다. 또한, 상기 오브젝트 디스크립터 OD에는, 각 오브젝트에 대하여, 데이터 종별로서「Video」혹은「Audio」로 구별되어 표시되어 있다.

다음으로, 상기 실시예 5의 오브젝트 데이터 복호 장치(105)의 구성에 대하여 설명한다.

이 오브젝트 데이터 복호 장치(105)의 기본 구성은 실시예 1의 오브젝트 데이터 복호 장치(101)와 동일하다. 즉, 상기 복호 장치(105)는, 상기 다중 비트 스트림 MEg1에 포함되는 보조 데이터 Dsub인 신 기술 정보 Sf 및 오브젝트 디스크립터 OD를 선택하여 추출함과 동시에, 제 1 제어 신호 Cont1에 기초하여 상기 다중 비트 스트림 MEg1로부터 각 오브젝트에 대응하는 부호화 데이터 Eg를 취출하는 역다중화 수단(11a)과, 상기 각 오브젝트에 대응하는 부호화 데이터 Eg를 제 2 제어신호 Cont2에 기초하여 복호하여, 각 신에 대응하는 재생 데이터 Rg를 출력하는 오디오 비디오 디코드 수단(AV 디코드 수단)(12)을 갖고 있다. 또한, 상기 복호 장치(105)는 상기 오브젝트 디스크립터 OD에 기초하여 각 오브젝트의 부호화 데이터 Eg에 대응하는 스트림 id를 판정하고, 해당 판정 결과에 따라 상기 제 1 제어 신호 Cont1을 상기 역다중화 수단(11a)에 공급함과 동시에, 상기 신 기술 정보 Sf에 기초하여 1 개의 신에 있어서의 각 오브젝트의 배치에 관한 정보 및 각 오브젝트의 표시 개시 시간에 관한 정보를 제 2 제어 신호 Cont2로서 상기 AV 디코더(12)에 공급하는 연산 처리 장치(CPU)(13a)를 갖고 있다.

그리고, 본 실시예 5에서, 이 CPU(13a)는 상기 신 기술 정보 Sf와 오브젝트 디스크립터 OD에 기초하여 상기 1 개의 신을 구성하는 각 오브젝트와, 상기 다중 비트 스트림 MEg1에 있어서의 각 오브젝트의 부호화 데이터 Eg(스트림)와의 대응 관계를 나타내는 오브젝트 테이블을 작성하여, 이것을 CPU(13a) 내부의 데이터 기억부에 저장하는 구성으로 되어 있다.

도 15는, 도 13에 나타내는 1 개의 신(150)에 대응하는 오브젝트 테이블 T3을 설명하기 위한 도면이다.

이 오브젝트 테이블 T3은 계층적인 구성으로 되어 있고, 1 개의 신(150)을 구성하는 각 오브젝트와 스트림의 대응 관계를 나타내는 메인 테이블 T3a와, 각 오브젝트에 속하는 화상, 또는, 오디오와 스트림의 대응 관계를 나타내는 서브 테이블 T3b로 이루어진다.

이들 테이블에서는, 오브젝트 id에 대하여, 여러가지 정보가 관련지어져 등록되어 있다.

구체적으로는, 오브젝트 id는 도 13에 도시한 신 기술에 있어서의 각 오브젝트 기술자에 대하여 일의적으로 부여되고, 상기 오브젝트 테이블 T3a 중에 오브젝트 id의 값 Oid의 순서로 등록되어 있다.

여기서, 오브젝트 id(Oid=1∼5)는 각각 도 13에 도시한 오브젝트(151∼155)의 기술자(161∼165)에 대하여 부여된 것이다.

그리고, 상기 메인 테이블 T3a에서는, 각 오브젝트의 id에 대응되어, 각 오브젝트에 대응하는 오브젝트의 종류(즉, 오브젝트가 화상인지 오디오인지), 및 각 오브젝트에 대응하는 스트림 id이 등록되어 있다. 또한, 상기 메인 테이블 T3a에서는, 각 오브젝트의 id에 대응시켜, 그의 상위 및 하위 오브젝트의 id, 그의 상위 및 하위 오브젝트의 스트림 id, 스트림을 공용하는 공용 오브젝트의 id가 표시되고, 또한 각 오브젝트의 우선 순위가 표시되어 있다.

여기서, 각 오브젝트의 상위 오브젝트는 각 오브젝트가 속하는 계층보다 상위 계층에 속하는 오브젝트이고, 각 오브젝트의 하위 오브젝트는 해당 각 오브젝트가 속하는 계층보다 하위 계층에 속하는 오브젝트이다.

구체적으로는, 최상위 오브젝트, 즉 도 13의 제 1 계층 L1a의 오브젝트의 상위 오브젝트는 존재하지 않기 때문에, 그의 상위 오브젝트 id의 값 Oid, 및 그 상위 오브젝트의 스트림 id의 값 Sid는 0으로 되어 있다. 또한, 도 13의 제 2 계층 L2 및 제 3 계층 L3의 각 오브젝트의 상위 오브젝트는 이들 계층의 오브젝트가 속하는 제 1 계층 L1a 및 제 2 계층 L2a의 오브젝트로 되어 있다. 또한, 하위 오브젝트를 갖지 않는 오브젝트(최하위 오브젝트)에 대해서는, 그의 하위 오브젝트 id의 값 Oid 및 하위 스트림 id의 값 Sid를 0으로 설정하고 있다.

또한, 상기 메인 테이블 T3a에서는, 오브젝트(151, 152)와 같이 몇개의 화상 및 오디오로 구성되어 있는 것에 대해서는, 그 스트림 종별의 란에 H를 기술하여, 이들의 오브젝트를 구성하는 화상 및 오디오에 대응하는 부호화 데이터의 스트림 id를 서브 테이블 T3b에 기술하고 있다.

이러한 구성의 오브젝트 테이블 T3을 참조하면, 오브젝트 id로서 Oid=1를 갖는 오브젝트는 그의 하위 오브젝트의 id의 기술란에 Oid로서 2, 3이 기술되어 있기 때문에, 2개의 오브젝트로 구성되어 있는 것을 알 수 있고, 오브젝트 id로서 Oid=2를 갖는 오브젝트는 그의 하위 오브젝트의 id의 기술란에 Oid로서 4, 5가 기술되어 있기 때문에, 2개의 오브젝트로 구성되어 있는 것을 알 수 있다.

다음으로 동작에 대하여 설명한다.

본 실시예 5의 오브젝트 데이터 복호 장치(105)에, 다중 비트 스트림 MEg1이 입력되면, 역다중화 수단(11a)에 의해 상기 다중 비트 스트림으로부터 보조 데이터 Dsub로서의 신 기술 정보 SDI와 오브젝트 디스크립터 OD가 추출되어 CPU(13a)에 공급된다.

이 경우, 상기 CPU(13a)에서는, 상기 오브젝트 디스크립터 OD에 기초하여 도 13의 1 개의 신(150)을 구성하는 각 오브젝트와 그 스트림 id의 대응 관계가 인식되고, 이 인식 결과에 따라 제 1 제어 신호 Cont1이 역다중화 수단(11a)에 출력된다.

이 역다중화 수단(11a)에서는, 상기 제 1 제어 신호 Cont1에 기초하여 다중 비트 스트림 중에서 복수의 패킷으로 분산되어 있는, 각 오브젝트에 대응하는 스트림이 각 오브젝트마다 모아져 AV 디코드 수단(12)에 출력된다.

또한, 이 때 CPU(13a)에서는 신 기술 정보 Sf에 의한 신 기술 SD1로부터 각 오브젝트의 표시 위치 및 표시 개시 시간에 관한 정보가 추출되고, 이들 정보가 제 2 제어 신호 Cont2로서 AV 디코드 수단(12)에 출력된다.

해당 AV 디코드 수단(12)에서는, 상기 역다중화 수단(11a)으로부터 출력된 각 오브젝트에 대응한 스트림(일련의 부호화 데이터 Eg)에 대한 복호 처리가 행하여져, 각 오브젝트에 대응하는 복호 데이터의 합성에 의해, CPU(13a)로부터의 제 2 제어 신호 Cont2(즉, 오브젝트의 표시에 관한 정보)에 기초하여 복수의 오브젝트로 이루어지는 1 개의 신에 대응하는 재생 데이터 Rg가 출력된다.

또, 이러한 복호 동작은 종래의 오브젝트 데이터 복호 장치와 마찬가지이다.

그리고, 본 실시예 5에서는, 상기 복호 동작에 부가하여, CPU(13a)에서는 도 15에 도시한 오브젝트 테이블 T3을 작성하는 처리가 행하여진다.

이하, 이 오브젝트 테이블 작성 처리에 대하여 도 16의 플로우차트를 이용하여 설명한다.

우선, 스텝 S1a에서는 신 기술 정보 Sf가 CPU(13a)의 데이터 기억부에 판독되고, 스텝 S2a에서는 오브젝트 디스크립터 OD가 CPU(13a)의 데이터 기억부에 판독되며, 또한 스텝 S3에서는 신 기술 정보 Sf에 의한 신 기술 SD1에 있어서의 각 오브젝트의 기술자가 CPU(13a)의 연산 처리부로 로드되어, 각 기술자에 오브젝트 id로서 값 Oid가 부여된다. 이에 따라 오브젝트를 그의 오브젝트 id에 의해 특정될 수 있다.

후속하는 스텝 S6a에서는, 상기 값 Oid가 오브젝트 테이블의 요소인 오브젝트 id로서 등록된다.

그 후, 스텝 S7a에서, 오브젝트 디스크립터 OD가 해석되고, 이 해석 결과에 기초하여 오브젝트 테이블 T3에 있어서의, 각 오브젝트에 대응하는 다양한 테이블 요소가 등록된다. 이들 테이블 요소의 주된 것으로서는, 각 오브젝트에 대응하는 스트림 id, 각 오브젝트의 우선 순위, 및 각 오브젝트에 대응하는 스트림 종별(Video 또는 Audio)를 들 수 있다. 또한, 여기서는, 상기 테이블 요소로서, 각 오브젝트에 대응하는 상위 및 하위 오브젝트의 id, 각 오브젝트에 대응하는 상위 및 하위 오브젝트의 스트림 id 및 스트림을 공용하는 공용 오브젝트의 id도 등록하도록 되어 있다.

그리고 스텝 S9a에서, 현재 처리중인 오브젝트가 최상위 계층의 오브젝트인지 여부가 판정된다.

이 판정의 결과에 있어서, 피 처리 오브젝트가 최상위 계층의 오브젝트가 아니면, 스텝 S12a에서, 오브젝트 계층을 1개 증가시키고, 다시 스텝 S9a에서 상기 판정 처리가 행하여진다. 한편, 스텝 S9a에서의 판정 결과에 있어서, CPU의 처리 대상으로 되어 있는 피 처리 오브젝트가 최상위 계층의 오브젝트이면, 스텝 S1Oa에서 1 개의 신을 구성하는 모든 오브젝트에 대하여 테이블 요소가 등록되었는지 여부가 판정된다.

이 판정의 결과에 있어서, 모든 오브젝트에 대하여 테이블 요소의 등록이 이루어져 있지 않은 경우는, CPU의 처리가 스텝 S3a로 복귀하여, 상기 스텝 S6a, S7a, S9a, S12a의 처리가 행하여진다. 한편, 스텝 S1Oa의 판정의 결과에 있어서 모든 오브젝트에 대하여 테이블 요소가 등록되어 있는 경우에는, CPU(13a)에 의한 오브젝트 테이블의 작성 처리가 종료된다.

그리고, 본 실시예 5의 오브젝트 데이터 복호 장치(105)에서는, 상기와 같이 작성된 오브젝트 테이블은 CPU(13a)의 데이터 기억부에 저장된다. 이 저장된 오브젝트 테이블은 신 기술 정보 Sf와 오브젝트 디스크립터 OD가 갱신될 때마다, 이들의 최신 정보에 대응하도록 갱신된다. 따라서, 1 개의 신을 구성하는 오브젝트가 변경되지 않은 한, 오브젝트 테이블은 갱신되지 않는다.

또, 비트 스트림 중에, 새로운 신 기술 정보 Sf와 오브젝트 디스크립터 OD가 전송된 것을 나타내는 플래그가 있는 경우에는, 그 플래그가 새롭게 전송된 경우에만 상기 오브젝트 테이블을 갱신하도록 하더라도 무방하다.

이러한 구성의 본 실시예 5의 오브젝트 데이터 복호 장치(105)에 있어서도, 상기 실시예 1의 오브젝트 데이터 복호 장치(101)와 마찬가지의 효과를 얻을 수 있다.

또, 상기 실시예 5에서는, MPEG4에 대응하는 시스템에 있어서의 오브젝트 데이터 처리 장치로서, 오브젝트 데이터 복호 장치에 대하여 설명하였지만, 실시예 2와 같은 오브젝트 데이터 선택 장치, 실시예 3과 같은 오브젝트 데이터 기억 장치, 실시예 4와 같은 오브젝트 데이터 송출 장치에 대해서도, 상기 신 기술 정보 Sf 및오브젝트 디스크립터 OD로부터 오브젝트 테이블 T3을 작성할 수 있다.

또한, 상기 데이터 송출 장치에 의해 출력되는 다중 비트 스트림 MEg를 입력으로 하는 오브젝트 데이터 복호 장치에서는, 상기 오브젝트 테이블의 작성 처리를 생략할 수 있어, 상기 실시예 5와 마찬가지의 효과를 간단한 구성에 의해 얻을 수 있다.

또한, 상기 실시예 5에서, 오브젝트와 오브젝트 디스크립터는 화상 데이터와 오디오 데이터를 구별하지 않고서 정의하고 있지만, 이들은 도 11에 도시한 시스템(200)과 같이, 화상 데이터와 오디오 데이터를 구별하여 정의하더라도 무방하고, 그 경우, 데이터 종별은, 신 기술에 의해 명확하게 표시되는 것이므로, 오브젝트 디스크립터에는 데이터 종별을 기술할 필요가 없게 된다.

또한, 상기 각 실시예에서 설명한 처리 장치나 기억 장치의 구성을 실현하기 위한 프로그램을 플로피 디스크 등의 데이터 기록 매체에 기록하도록 함으로써, 상기 각 실시예에서 설명한 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실시할 수 있다.

도 17은 상기 각 실시예의 오브젝트 데이터 처리 장치 및 오브젝트 데이터 기억 장치에 의한 신호 처리를, 이들 신호 처리에 대응한 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템을 통해 실시하는 경우를 설명하기 위한 도면이다.

도 17의 (a)는, 플로피 디스크 FD의 정면에서 본 외관, 단면 구조, 및 기록 매체인 플로피 디스크 본체를 나타내고, 도 17의 (b)는 플로피 디스크 본체 D의 물리적 포맷의 예를 도시하고 있다. 플로피 디스크 본체 D는 케이스 F 내에 내장되고, 해당 디스크 본체 D의 표면에는, 동심원상으로 바깥쪽에서 안쪽을 향하여 복수의 트랙 Tr이 형성되고, 각 트랙은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 본체 D에서는, 상기 플로피 디스크 본체 D 상에 할당된 영역에, 상기 프로그램으로서의 데이터가 기록되어 있다.

또한, 도 17의 (c)는 플로피 디스크 FD에 대한 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우는 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 통하여 플로피 디스크 FD에 기록한다. 또한, 플로피 디스크 FD 내의 프로그램에 의해, 상기 화상 전송 방법, 또는, 화상 복호 장치를 컴퓨터 시스템 Cs 내에 구축하는 경우는 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여 컴퓨터 시스템 Cs에 전송한다.

또, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용한 컴퓨터 시스템에 의한 화상 처리를 설명하였지만, 이 화상 처리는 광 디스크를 이용하더라도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카셋트 등의 프로그램을 기록할 수 있는 것이면 마찬가지로 상기 화상 처리를 실시할 수 있다.

또한, 상기에 있어서, 데이터 기록 매체로서, 상기 각 실시예에 있어서의 전송 처리, 또는, 복호 처리를 실시하기 위한 프로그램을 저장한 것을 설명하였지만, 데이터 기록 매체로서는, 상기 각 실시예에 있어서의 다중 비트 스트림 MEg, 또는,비 다중 비트 스트림을 저장한 것도 들 수 있다. 특히, 상기 실시예 3의 기억 장치에 있어서의 데이터 축적 수단을, 상기 도 17에 도시한 데이터 기억 매체로 구성하더라도 무방하다

이상과 같이, 본 발명(청구항 1)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터에 대응하는 부호화 데이터를 복호하는 장치에 있어서, 해당 부호화 데이터에 기초하여 개별 데이터를 구성하는 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 그 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에, 특정한 오브젝트 데이터에 대응하는 부호화 데이터의 추출, 선택, 또는, 검색 등의 처리를 오브젝트 테이블을 참조하여 간단하고 고속으로 실행할 수 있게 된다. 이에 따라, 오브젝트 데이터의 편집, 치환 등을 단시간에 양호하게 조작할 수 있는 효과가 있다.

본 발명(청구항 2)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 부호화 데이터를 복호하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에, 복호측에서는 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를, 오브젝트 테이블을 참조하여 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 3)에 따르면, 청구항 2에 기재된 오브젝트 데이터 처리 장치에 있어서, 상기 부호화 데이터에 기초하여 상기 계층 정보에 부가하여 각 오브젝트의 우선 순위를 나타내는 우선 순위 정보를 추출하고, 해당 계층 정보 및 우선 순위 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터와의 관련 뿐만아니라, 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에, 복호 장치의 처리 능력이 낮고 모든 오브젝트의 부호화 데이터를 복호할 수 없는 경우에는, 우선 순위가 소정 순위보다 높은 오브젝트에 대한 복호 처리만을 하도록 할 수 있다.

본 발명(청구항 4)에 따르면, 청구항 2에 기재된 오브젝트 데이터 처리 장치에 있어서, 지정된 특정한 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를, 상기 오브젝트 테이블을 참조하여 검출하고 이 식별 정보에 기초하여 상기 N 개의 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하도록 한 것이므로, 복호 장치에서는 사용자 등에 의해 지정된 오브젝트의 검색 등을 간단히 실행할 수 있다.

본 발명(청구항 5)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 N 개의 부호화 데이터를 포함하는 다중 데이터를 복호하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 이 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시한 오브젝트 테이블을 작성하도록 하였기 때문에, 상기 다중 데이터에 기초하여 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를, 오브젝트 테이블을 참조하여 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 6)에 따르면, 청구항 5에 기재된 오브젝트 데이터 처리 장치에 있어서, 상기 다중 데이터에 기초하여 상기 계층 정보에 부가하여 각 오브젝트의 우선 순위를 나타내는 우선 순위 정보를 추출하고, 해당 계층 정보 및 우선 순위 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터와의 관련 뿐만아니라 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에, 복호 장치의 처리 능력이 낮고 모든 오브젝트의 부호화 데이터를 복호할 수 없는 경우에는, 우선 순위가 소정 순위보다 높은 오브젝트에 대한 복호 처리만을 하도록 할 수 있다.

본 발명(청구항 7)에 따르면, 청구항 5에 기재된 오브젝트 데이터 처리 장치에 있어서, 지정된 특정한 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를, 상기 오브젝트 테이블을 참조하여 검출하고 이 식별 정보에 기초하여 상기 다중 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하도록 하였기 때문에, 복호 장치에서는 사용자 등에 의해 지정된 오브젝트의 검색 등을 간단히 실행할 수 있다.

본 발명(청구항 8)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터에 대응하는 N 개의 부호화 데이터로부터 해당 개별 데이터를 구성하는 특정한 오브젝트 데이터에 대응하는 부호화 데이터를 선택하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 특정한 오브젝트 데이터의 부호화 데이터를 해당 오브젝트 테이블을 참조하여 선택하도록 하였기 때문에, 특정한 오브젝트 데이터에 대응하는 부호화 데이터의 선택 처리를 간단하고 고속으로 실행할 수 있게 된다. 이에 따라, 오브젝트 데이터의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있는 효과가 있다.

본 발명(청구항 9)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 N 개의 부호화 데이터로부터 특정한 오브젝트에 대응하는 부호화 데이터를 선택하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고 해당 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고 또한, 특정한 오브젝트의 부호화 데이터를, 해당 오브젝트 테이블을 참조하여 선택하도록 하였기 때문에, 복호측에서는 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트의 선택 처리를 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 10)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 N 개의 부호화 데이터를 포함하는 다중 데이터로부터 특정한 오브젝트에 대응하는부호화 데이터를 선택하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 N 개의 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 상기 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 특정 오브젝트의 부호화 데이터를, 해당 오브젝트 테이블을 참조하여 선택하도록 하였기 때문에, 상기 다중 데이터에 기초하여 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 선택했던 처리를 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 11)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터를 구성하는 N 개의 오브젝트 데이터에 대응하는 부호화 데이터를 데이터 축적부에 기록하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 하였기 때문에, 특정한 오브젝트 데이터에 대응하는 부호화 데이터의 추출, 선택, 또는, 검색 등의 처리를, 오브젝트 테이블을 참조하여 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 12)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 N 개의 부호화 데이터를 데이터 축적부에 기록하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 하였기 때문에, 복호측에서는 오브젝트 테이블을 참조하여, 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 13)에 따르면, 청구항 12에 기재된 오브젝트 데이터 기록 장치에 있어서, 상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 해당 N 개의 부호화 데이터에 부가하여 기록하도록 하였기 때문에, 기록된 오브젝트 테이블을 용이하게 관리할 수 있는 효과가 있다.

본 발명(청구항 14)에 따르면, 청구항 12에 기재된 오브젝트 데이터 기록 장치에 있어서, 상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 해당 N 개의 부호화 데이터와 분리하여 기록하도록 하였기 때문에, 부호화 데이터의 크기에 관계없이, 오브젝트 테이블을 기억 매체에 확실히 기록할 수 있다.

본 발명(청구항 15)에 따르면, 1 개의 신에 상당하는 신 데이터에 대한 N 개의 부호화 데이터를 포함하는 다중 데이터를 데이터 축적부에 기록하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 상기 계층 정보에 기초하여 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고,또한 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성하였기 때문에, 복호측에서는 오브젝트 테이블을 참조하여 상기 다중 데이터에 기초하여 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 16)에 따르면, 청구항 15에 기재된 오브젝트 데이터 기록 장치에 있어서, 상기 다중 데이터에 대응하는 오브젝트 테이블을 해당 다중 데이터에 부가하여 기록하도록 하였기 때문에, 기록된 오브젝트 테이블을 관리하기가 용이하다는 효과가 있다.

본 발명(청구항 17)에 따르면, 청구항 15에 기재된 오브젝트 데이터 기록 장치에 있어서, 상기 다중 데이터에 대응하는 오브젝트 테이블을 해당 다중 데이터와 분리하여 기록하도록 하였기 때문에, 다중 데이터의 크기에 관계없이 오브젝트 테이블을 기억 매체에 확실히 기록할 수 있다.

본 발명(청구항 20)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터에 대응하는 N 개의 부호화 데이터를 송출하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트 데이터와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 상기 N 개의 부호화 데이터를, 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성하였기 때문에, 복호 장치측에서 오브젝트 테이블을 작성할 필요가 없게 되어 간단한 구성으로 오브젝트 데이터의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있다는 효과를 얻을 수 있다.

본 발명(청구항 21)에 따르면, 1 개의 신에 상당하는 신 데이터에 대한 N 개의 부호화 데이터를 송출하는 장치에 있어서, 해당 부호화 데이터에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 상기 N 개의 부호화 데이터를, 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성하였기 때문에, 복호 장치측에서 오브젝트 테이블을 작성할 필요가 없게 되어 간단한 구성으로 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있다는 효과를 얻을 수 있다.

본 발명(청구항 22)에 따르면, 청구항 21에 기재된 오브젝트 데이터 처리 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서, 상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하여 기억하고, 해당 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여 상기 각 오브젝트의 부호화 데이터에 대한 복호 동작을 제어하 도록 구성하였기 때문에 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있는 간단한 구성의 복호 장치를 실현할 수 있다.

본 발명(청구항 23)에 따르면, 1 개의 신에 상당하는 신 데이터에 대한 N 개의 부호화 데이터를 포함하는 다중 데이터를 송출하는 장치에 있어서, 상기 다중화데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 상기 계층 정보에 기초하여 상기 각 오브젝트와 그 부호화 데이터를 관련지어 도시하는 오브젝트 테이블을 작성하고, 또한 상기 다중 데이터를, 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성하였기 때문에 복호 장치측에서 오브젝트 테이블을 작성할 필요가 없어져 간단한 구성으로 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있다는 효과를 얻을 수 있다.

본 발명(청구항 24)에 따르면, 청구항 23에 기재된 오브젝트 데이터 처리 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서, 상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하여 기억하고, 해당 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여 상기 각 오브젝트의 부호화 데이터에 대한 복호 동작을 제어하도록 구성하였기 때문에 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트의 편집, 치환, 검색 등을 단시간에 양호하게 조작할 수 있는 간단한 구성의 복호 장치를 실현할 수 있다.

본 발명(청구항 27)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터에 대응하는 N 개의 부호화 데이터를 포함하며 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정의 처리를 실시하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고,해당 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에 상기 다중 데이터에 기초하여 특정한 오브젝트 데이터에 대응하는 부호화 데이터를 추출, 선택, 또는, 검색하고자 했던 처리를, 오브젝트 테이블을 참조함으로써 간단하고 고속으로 실행할 수 있게 된다. 이에 따라, 오브젝트 데이터의 편집, 치환 등을 단시간에 양호하게 조작할 수 있다는 효과가 얻어진다.

본 발명(청구항 28)에 따르면, 1 개의 신에 상당하는 신 데이터에 대응하는 N 개의 부호화 데이터를 포함하며 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정의 처리를 실시하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 상기 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하도록 하였기 때문에 상기 다중 데이터에 기초하여 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를, 오브젝트 테이블을 참조함으로써 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 29)에 따르면, 기록, 또는, 전송의 대상으로 되는 개별 데이터에 대응하는 N 개의 부호화 데이터를 포함하며 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기억하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하고, 해당 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하고, 또한 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성하였기 때문에 특정한 오브젝트 데이터에 대응하는 부호화 데이터의 추출, 선택, 또는, 검색 등의 처리를, 오브젝트 테이블을 참조함으로써 간단하고 고속으로 실행할 수 있게 된다.

본 발명(청구항 30)에 따르면, 1 개의 신에 상당하는 신 데이터에 대한 N 개의 부호화 데이터를 포함하며 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서, 상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하고, 상기 계층 정보에 기초하여 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하고, 또한 상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성하였기 때문에, 복호측에서는 오브젝트 테이블으로 참조함으로써 상기 다중 데이터에 기초하여 1 개의 신을 구성하는 화상이나 오디오 등의 오브젝트로부터 특정한 오브젝트를 추출, 선택, 또는, 검색하고자 했던 처리를 간단하고 고속으로 실행할 수 있게 된다.

Claims (26)

1. 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터(object data)를, 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 복호하는 장치에 있어서,

   상기 부호화 데이터에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

   상기 계층 정보에 기초하여, 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단

   을 구비하는 것을 특징으로 하는 오브젝트 데이터 복호 장치.
2. 1 개의 신(scene)에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 복호하는 장치에 있어서,

   상기 부호화 데이터에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

   상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단

   을 구비하는 것을 특징으로 하는 데이터 복호 장치.
3. 제 2 항에 있어서,

   상기 계층 정보 추출 수단은, 상기 부호화 데이터에 기초하여, 상기 계층 정보에 부가하여, 각 오브젝트의 우선 순위를 나타내는 우선도 정보를 추출하도록 구성되어 있고,

   상기 테이블 작성 수단은, 상기 계층 정보 및 우선도 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내며, 또한 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 구성되어 있는 것을 특징으로 하는 데이터 복호 장치.
4. 제 2 항에 있어서,

   지정된 특정한 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를 상기 오브젝트 테이블을 참조하여 검출하는 식별 정보 검출 수단과,

   상기 식별 정보에 기초하여, 상기 N 개의 부호화 데이터로부터 특정의 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하는 복호 수단

   을 구비한 것을 특징으로 하는 데이터 복호 장치.
5. 1 개의 신에 상당하는 신 데이터에 대하여 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 복호하는 장치에 있어서,

   상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

   상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단

   을 구비하는 것을 특징으로 하는 데이터 복호 장치.
6. 제 5 항에 있어서,

   상기 계층 정보 추출 수단은, 상기 다중 데이터에 기초하여, 상기 계층 정보에 부가해서, 각 오브젝트의 우선 순위를 나타내는 우선도 정보를 추출하도록 구성되어 있고,

   상기 테이블 작성 수단은, 상기 계층 정보 및 우선도 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내며, 또한 각 오브젝트의 우선 순위를 나타내는 오브젝트 테이블을 작성하도록 구성되어 있는 것을 특징으로 하는 데이터 복호 장치.
7. 제 5 항에 있어서,

   지정된 특정의 오브젝트에 대응하는 부호화 데이터를 식별하기 위한 식별 정보를 상기 오브젝트 테이블을 참조하여 검출하는 식별 정보 검출 수단과,

   상기 식별 정보에 기초하여, 상기 다중 데이터로부터 특정의 오브젝트에 대응하는 부호화 데이터를 추출하여 복호하는 복호 수단을 구비한 것을 특징으로 하는 데이터 복호 장치.
8. 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를, 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터로부터 특정의 오브젝트 데이터에 대응하는 부호화 데이터를 선택하는 장치에 있어서,

   상기 부호화 데이터에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

   상기 계층 정보에 기초하여, 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

   특정의 오브젝트 데이터에 대응하는 부호화 데이터를 상기 오브젝트 테이블을 참조하여 상기 N 개의 부호화 데이터 중에서 선택하여 출력하도록 구성한 것을특징으로 하는 부호화 데이터 선택 장치.
9. 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터로부터 특정의 오브젝트에 대응하는 부호화 데이터를 선택하는 장치에 있어서,

   상기 부호화 데이터에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

   상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

   특정의 오브젝트의 부호화 데이터를 상기 오브젝트 테이블을 참조하여 상기 N 개의 부호화 데이터 중에서 선택하여 출력하도록 구성한 것을 특징으로 하는 부호화 데이터 선택 장치.
10. 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터로부터 특정의 오브젝트에 대응하는 부호화데이터를 선택하는 장치에 있어서,

    상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 N 개의 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    특정 오브젝트의 부호화 데이터를 상기 오브젝트 테이블을 참조하여 상기 다중 데이터 중에서 선택하여 출력하도록 구성한 것을 특징으로 하는 부호화 데이터 선택 장치.
11. 데이터를 축적하는 데이터 축적부를 갖고, 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를, 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서,

    상기 부호화 데이터에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
12. 데이터를 축적하는 데이터 축적부를 갖고, 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신의 화상을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서,

    상기 부호화 데이터에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 N 개의 부호화 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
13. 제 12 항에 있어서,

    상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 상기 N 개의 부호화 데이터에 부가하여 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
14. 제 12 항에 있어서,

    상기 N 개의 부호화 데이터에 대응하는 오브젝트 테이블을 상기 N 개의 부호화 데이터와는 분리하여 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
15. 데이터를 축적하는 데이터 축적부를 갖고, 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서,

    상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
16. 제 15 항에 있어서,

    상기 다중 데이터에 대응하는 오브젝트 테이블을 상기 다중 데이터에 부가하여 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
17. 제 15 항에 있어서,

    상기 다중 데이터에 대응하는 오브젝트 테이블을 상기 다중 데이터와는 분리하여 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
18. 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 송출하는 장치에 있어서,

    상기 부호화 데이터에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트 데이터와 각 오브젝트 데이터에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 N 개의 부호화 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것을 특징으로 하는 부호화 데이터 송출 장치.
19. 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 송출하는 장치에 있어서,

    상기 부호화 데이터에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 N 개의 부호화 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것을 특징으로 하는 부호화 데이터 송출 장치.
20. 청구항 19에 기재된 오브젝트 데이터 송출 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서,

    상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하는 데이터 분리 수단과,

    상기 분리된 오브젝트 테이블을 기억하는 테이블 기억 수단을 구비하며,

    상기 테이블 기억 수단에 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여, 상기 각 오브젝트에 대응하는 부호화 데이터에 대한 복호 동작을 제어하도록 구성한 것을 특징으로 하는 데이터 복호 장치.
21. 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는 다중 데이터를 송출하는 장치에 있어서,

    상기 다중화 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 각 오브젝트와 각 오브젝트에 대응하는 부호화 데이터를 관련지어 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 다중 데이터를 이에 대응하는 오브젝트 테이블을 부가하여 송출하도록 구성한 것을 특징으로 하는 다중 데이터 송출 장치.
22. 청구항 21에 기재된 오브젝트 데이터 송출 장치로부터 송출되는 송출 데이터를 복호하는 장치에 있어서,

    상기 송출 데이터로부터 상기 오브젝트 테이블을 분리하는 데이터 분리 수단과,

    상기 분리된 오브젝트 테이블을 기억하는 테이블 기억 수단을 구비하며,

    상기 테이블 기억 수단에 기억된 오브젝트 테이블에 표시되어 있는 정보를 이용하여, 상기 각 오브젝트에 대응하는 부호화 데이터에 대한 복호 동작을 제어하도록 구성한 것을 특징으로 하는 데이터 복호 장치.
23. 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를, 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 포함하는, 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정의 처리를 실시하는 장치에 있어서,

    상기 다중 데이터에 포함되는, 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단

    을 구비하는 것을 특징으로 하는 오브젝트 데이터 처리 장치.
24. 1 개의 신에 상당하는 신 데이터에 대하여 1개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는, 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터에 대하여 소정의 처리를 실시하는 장치에 있어서,

    상기 다중 데이터에 포함되는 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단

    을 구비하는 것을 특징으로 하는 오브젝트 데이터 처리 장치.
25. 데이터를 축적하는 데이터 축적부를 갖고, 기록 또는 전송의 대상으로 되는 개별 데이터를 구성하는, 계층 구조를 이루는 N 개(N은 양의 정수)의 오브젝트 데이터를, 각 오브젝트 데이터마다 압축 부호화하여 얻어지는 N 개의 부호화 데이터를 포함하는, 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서,

    상기 다중 데이터에 포함되는, 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 N 개의 오브젝트 데이터의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에 기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.
26. 데이터를 축적하는 데이터 축적부를 갖고, 1 개의 신에 상당하는 신 데이터에 대하여 상기 1 개의 신을 구성하는 N 개(N은 양의 정수)의 오브젝트마다 압축 부호화 처리를 실시하여 얻어지는 N 개의 부호화 데이터를 포함하는, 소정의 부호량마다 복수의 패킷으로 구분된 다중 데이터를 상기 데이터 축적부에 기록하는 장치에 있어서,

    상기 다중 데이터에 포함되는, 상기 각 부호화 데이터의 상호 관계를 나타내는 정보에 기초하여, 상기 1 개의 신을 구성하는 오브젝트의 계층 관계를 나타내는 계층 정보를 추출하는 계층 정보 추출 수단과,

    상기 계층 정보에 기초하여, 상기 다중 데이터를 구성하는 복수의 패킷의 계층 관계를 나타내는 오브젝트 테이블을 작성하는 테이블 작성 수단을 구비하며,

    상기 다중 데이터와 이에 대응하는 오브젝트 테이블을 상기 데이터 축적부에기록하도록 구성한 것을 특징으로 하는 오브젝트 데이터 기록 장치.