KR20020076272A

KR20020076272A - 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법및 기억 매체

Info

Publication number: KR20020076272A
Application number: KR1020027009808A
Authority: KR
Inventors: 노부히로 다가시라; 게이이찌 이와무라; 쯔또무 안도
Original assignee: 캐논 가부시끼가이샤
Priority date: 2000-01-31
Filing date: 2001-01-25
Publication date: 2002-10-09
Also published as: US20060253448A1; CN1397134A; EP1263229A1; EP1263229A4; CN1215718C; US20030028397A1; WO2001058157A1

Abstract

각각 소정의 정보를 갖는 복수의 오브젝트 스트림을 재생하는 데이터 처리 장치에서, 입력 데이터로부터 각 오브젝트의 이용 가부를 제어하는 계층화된 관리 정보를 추출하는 IPMP 정보 추출 회로(54)와, 해당 IPMP 정보 추출 회로(54)에서 추출된 IPMP 정보에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는지의 여부를 판단하는 이용 상황 검사 회로(56)와, 해당 이용 상황 검사 회로(56)에 의한 판단 결과에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는 경우에는 해당 주목 오브젝트의 이용을 금지하도록 제어하는 제어 정보 추출 회로(58)를 포함한다.

Description

데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 기억 매체{DATA PROCESSING DEVICE, DATA PROCESSING SYSTEM, DATA PROCESSING METHOD, AND STORAGE MEDIUM}

최근, 동화상 및 음성 등의 데이터를 부호화하고, 각각의 부호화 데이터를 오브젝트 데이터로서 취급하고, 이들 소위 멀티미디어 데이터를 조합하여 단일 비트 스트림으로서 전송하는 방법으로서, ISO에 의해 MPEG-4(Moving Picture Experts Group phase 4)가 표준화되고 있다. MPEG-4의 수신 장치(재생 장치)에서는, 예를 들면, 음성과 동화상 장면을 관련시켜 재생할 수 있다. MPEG-4 시스템에서는, 데이터가 오브젝트 데이터로서 취급된다고 하는 특성에 의해, 수신한 비트 스트림을 오브젝트 데이터마다 하나씩 분리하여 재편성하는 것이 용이하다. 단, 저작권이 있는 오브젝트 데이터에 대해서는, 저작권을 보호하기 위해, 그 사용을 제한할 필요가 있다.

MPEG-4의 데이터 스트림에서는, 지금까지가 일반적인 멀티미디어 스트림과는 달리, 몇 개의 비디오 장면 및 비디오 오브젝트 데이터를 단일 스트림 상에서 독립적으로 송수신할 수 있다. 음성에 대해서도 마찬가지로, 몇 개의 오브젝트 데이터를 단일 스트림 상에서 독립적으로 송수신할 수 있다.

이들 오브젝트 데이터를 합성하여 어떤 장면을 생성하기 위한 정보로서, VRML(Virtual Reality Modeling Language)를 수정한 BIFS(Binary Format for Scenes)가 존재한다. BIFS는 장면을 2치로 기술한 것으로, 이 BIFS에 따라 장면이 합성된다. 장면의 합성에 필요한 개개의 오브젝트 데이터는 각각, 개별로 최적의 부호화가 행해져 송신되게 되기 때문에, 복호측에서도 개별로 복호되어, BIFS의 기술에 따라 개개의 오브젝트 데이터가 갖는 시간축을 재생기 내부의 시간 축에 동기시켜 장면을 합성 및 출력하게 된다.

또한, 장면은 계층적으로 구성할 수 있다. 도 1에 그 일례의 모식도를 도시한다. 음악, 인물, 자막 및 배경이라는 복수의 오브젝트 데이터가 존재하고 있는 경우를 상정한다. MPEG-4의 인코더는, 각 오브젝트 데이터를 독립적으로 부호화하고, 각 부호화 오브젝트 데이터를 다중화하여 MPEG-4 스트림을 생성한다. 디코더는, MPEG-4 스트림을 각 오브젝트 데이터로 분리하여, 독립적으로 복호하고, 복호 결과를 합성하여 출력한다. 도 2는 도 1에 도시한 오브젝트 데이터의 계층 구조를 도시한다.

이와 같이, MPGE-4 재생기는 복수의 오브젝트 데이터를 합성하기 때문에, 그 중 어느 하나의 오브젝트 데이터에 지적 재산권(예를 들면 저작권)이 존재하는 경우, 그 사용을 제한할 필요가 생긴다. 이 필요성에 따라, MPEG-4에서는, IPMP(Intellectual Property Management and Protection)로 불리는 지적 재산권 관리 보호 시스템이 채용되었다. IPMP 시스템을 이용함으로써 개개의 오브젝트 데이터에 대하여 이용을 제어할 수 있다.

종래의 IPMP 시스템에서는, 자유도를 크게 갖도록 하기 위해, 오브젝트 데이터와 IPMP 정보를 쌍으로 하여, 오브젝트 데이터마다 독립적으로 이용을 제어할 수 있도록 하였다. 그러나, 실제로는, 오브젝트 데이터마다의 독립된 이용 제어가 아니라, 복수의 오브젝트 데이터 단위로 그 이용을 제어함으로써, 오브젝트 데이터의 이용 제어의 효율을 높이는 것이 요망된다.

MPEG-4에서는 장면 단위로 이용을 제어할 수 있지만, 장면에 포함되는 오브젝트 데이터수가 많아지면 많아질수록, 오브젝트 데이터 단위로 독립적으로 그 이용을 제어하는 것은 번잡해지므로, 오브젝트 데이터의 효율적인 이용 제어가 요망된다.

MPEG-4에서는 상술한 바와 같이 장면을 계층적으로 기술할 수 있다. 이 경우에도, 장면 수가 많아지면 많아질수록, 오브젝트 데이터 단위로 독립적으로 그 이용을 제어하는 것은 대단히 번잡해지므로, 이 점에서도, 오브젝트 데이터의 효율적인 이용 제어가 요망된다.

상술한 바와 같은 배경으로부터 본원 발명의 목적은, 장면을 구성하는 오브젝트 단위로의 보호 관리를 효율적으로 행할 수 있는 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 기억 매체를 제시하는 것이다.

본 발명은, 복수의 오브젝트 데이터로부터 정보를 재생하는 경우에, 장면의 구성 형태에 따라 지적 재산 보호를 목적으로 오브젝트 데이터의 이용을 제어하는 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 기억 매체에 관한 것이다.

도 1은 MPEG-4 부호화 시스템의 개략적인 구성을 도시하는 도면.

도 2는 MPEG-4 부호화 시스템에서의 오브젝트 데이터의 구성을 도시하는 모식도.

도 3은 본 발명에 따른 제1 실시예의 데이터 처리 장치의 개략적인 구성을 도시하는 블록도.

도 4는 IPMP 스트림의 제어 하에서의 오브젝트 데이터의 복호 처리를 설명하기 위한 도면.

도 5는 장면 구성예의 모식도.

도 6은 도 5에 대응하는 IPMP 정보의 구성예를 도시하는 모식도.

도 7은 제1 실시예에서의 IPMP 스트림의 처리 동작을 도시하는 흐름도.

도 8은 장면#1의 오브젝트 데이터의 구성을 도시하는 모식도.

도 9는 장면#2의 오브젝트 데이터의 구성을 도시하는 모식도.

도 10은 도 8의 장면#1에 대응하는 IPMP 정보의 구성을 도시하는 모식도.

도 11은 도 9의 장면#2에 대응하는 IPMP 정보의 구성을 도시하는 모식도.

도 12는 도 10 및 도 11에 대응하는 IPMP 스트림의 구성예를 도시하는 도면.

도 13은 도 10 및 도 11에 대응하는 IPMP 스트림의 다른 구성예를 도시하는도면.

도 14는 본 발명에 따른 제1 실시예의 데이터 처리 장치의 상세 구성을 도시하는 블록도.

도 15는 본 발명에 따른 제1 실시예의 데이터 처리 장치의 다른 상세 구성을 도시하는 블록도.

도 16은 장면 구성예의 모식도.

도 17은 도 16에 대응하는 IPMP 정보의 구성예를 도시하는 모식도.

도 18은 도 17에 대응하는 IPMP 스트림의 구성예를 도시하는 도면.

도 19는 도 17에 대응하는 IPMP 스트림의 다른 구성예를 도시하는 도면.

도 20은 암호화에 대응하는 IPMP 스트림의 구성예를 도시하는 도면.

도 21은 암호화에 대응하는 IPMP 스트림의 다른 구성예를 도시하는 도면.

도 22는 제2 실시예에서의 도 20 및 도 21에 대응하는 IPMP 스트림의 처리 동작을 도시하는 흐름도.

도 23은 본 발명에 따른 제2 실시예의 데이터 처리 장치의 구성을 도시하는 블록도.

도 24는 본 발명에 따른 제3 실시예의 데이터 송신 장치의 내부 구성을 도시하는 블록도.

도 25는 도 24의 각 구성 요소의 처리 동작을 기능적으로 도시하는 블록도.

도 26은 도 24의 데이터 처리를 도시하는 흐름도.

도 27은 제3 실시예의 비트 스트림을 설명하는 도면.

도 28은 본 발명에 따른 제3 실시예의 데이터 재생 장치의 내부 구성을 도시하는 블록도.

도 29는 장면의 트리 정보를 도시하는 도면.

도 30은 도 28의 각 구성 요소의 처리 동작을 기능적으로 도시하는 블록도.

도 31은 도 28의 데이터 처리를 도시하는 흐름도.

도 32는 본 발명에 따른 제4 실시예의 데이터 재생 장치의 블록도.

도 33은 장면의 일례를 도시하는 도면.

도 34는 보호 장면의 트리 정보와, 비보호 장면의 트리 정보를 도시하는 도면.

도 35는 도 34에서의 렌더링 결과를 도시하는 도면.

도 36은 혼합 장면의 비트 스트림의 구조를 도시하는 도면.

<발명의 개시>

본 발명에 따른 데이터 처리 방법은, 각각 소정의 정보를 갖는 복수의 오브젝트 스트림을 재생하는 데이터 처리 방법으로, 입력 데이터로부터 각 오브젝트의 이용 가부를 제어하는 계층화된 관리 정보를 추출하는 관리 정보 추출 단계와, 상기 관리 정보 추출 단계에서 추출된 관리 정보에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는지의 여부를 판단하는 상위 판단 단계와, 상기 상위 판단 단계의 판단 결과에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는 경우에, 해당 주목 오브젝트의 이용을 금지하는 제어 단계를 포함하는 것을 특징으로 하다.

또한, 상기 오브젝트 스트림은 MPEG-4에 준거한 비트 스트림인 것이 바람직하다.

또한, 상기 관리 정보는 IPMP(Intellectual Property Management and Protection) 스트림에 포함되는 정보인 것이 바람직하다.

또한, 상기 관리 정보가 암호화되어 있는 것이 바람직하다.

또한, 소정 레벨의 계층의 관리 정보가 암호화되어 있는 것이 바람직하다.

또한, 상기 관리 정보는 각각, 각 오브젝트 스트림과 관련지어져 관리되는 것이 바람직하다.

또한, 상기 관리 정보는 관리 정보 중에 다른 관리 정보에의 포인터 정보를 포함함으로써 계층화되어 있는 것이 바람직하다.

또한, 상기 관리 정보는 관리 정보 중에 다른 관리 정보를 포함함으로써 계층화되어 있는 것이 바람직하다.

또한, 상기 관리 정보는 장면 기술 정보(BIFS) 스트림에 대한 관리 정보인 것이 바람직하다.

또한, 상기 장면 기술 정보 스트림에 의해 장면이 갱신될 때마다 오브젝트 스트림의 이용 제어 방법을 갱신하는 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 장치는, 각각 소정의 정보를 갖는 복수의 오브젝트 스트림을 재생하는 데이터 처리 장치로서, 입력 데이터로부터 각 오브젝트의 이용 가부를 제어하는 계층화된 관리 정보를 추출하는 관리 정보 추출 수단과, 상기 관리 정보 추출 수단으로 추출된 관리 정보에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는지의 여부를 판단하는 상위 판단 수단과, 상기 상위 판단 수단의 판단 결과에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는 경우에, 해당 주목 오브젝트의 이용을 금지하는 제어 수단을 포함하는 것을 특징으로 한다.

또한, 상기 관리 정보가 암호화되어 있는 것이 바람직하다.

또한, 소정 레벨의 계층 관리 정보가 암호화되어 있는 것이 바람직하다.

또한, 상기 관리 정보는 관리 정보 중에 다른 관리 정보로의 포인터 정보를 포함함으로써 계층화되어 있는 것이 바람직하다.

또한, 상기 관리 정보는, 장면 기술 정보(BIFS) 스트림에 대한 관리 정보인 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 장치는, 1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 수단과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과, 상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 수단과, 상기 제1 암호화 수단의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 수단에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 수단과, 상기 중첩 수단에 의한 비트 스트림을 외부의 기기로 송신하는 송신 수단을 포함하는 것을 특징으로 한다.

또한, 상기 생성 수단은, 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것이 바람직하다.

또한, 상기 비트 스트림은 MPEG-4에 준거한 비트 스트림인 것이 바람직하다.

또한, 상기 장면 기술 정보는 MPEG-4에 준거한 BIFS(Binary Format for Scene) 정보인 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 장치는, 외부의 기기로부터 송신된 비트 스트림을 수신하는 수신 수단과, 1차 암호 키를 검출하는 검출 수단과, 상기 검출 수단으로 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 수단과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과, 상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 수단과, 상기 제1 해독 수단에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 수단에 의한 미디어 스트림을 재생하는 재생 수단을 포함하는 것을 특징으로 한다.

또한, 상기 검출 수단은 상기 1차 암호 키를 저장한 기억 매체로부터, 해당 1차 암호 키를 검출하는 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 시스템은, 데이터 송신 장치와 데이터 재생 장치로 구성되는 데이터 처리 시스템으로, 상기 데이터 송신 장치는, 1차 암호키에 의해 장면 기술 정보를 암호화하는 제1 암호화 수단과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과, 상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 수단과, 상기 제1 암호화 수단의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 수단에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 수단과, 상기 중첩 수단에 의한 비트 스트림을 상기 인증 장치로 송신하는 송신 수단을 포함하고, 상기 데이터 재생 장치는, 상기 송신 장치로부터 송신된 비트 스트림을 수신하는 수신 수단과, 1차 암호 키를 검출하는 검출 수단과, 상기 검출 수단으로 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 수단과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과, 상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 수단과, 상기 제1 해독 수단에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 수단에 의한 미디어 스트림을 재생하는 재생 수단을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 데이터 처리 방법은, 1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 공정과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과, 상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 공정과, 상기 제1 암호화 공정에서의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 공정에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 공정과, 상기 중첩 공정에 의한 비트 스트림을 외부의 기기로 송신하는 송신 공정을 포함하는 것을 특징으로 한다.

또한, 상기 생성 공정은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 방법은, 외부의 기기로부터 송신된 비트 스트림을 수신하는 수신 공정과, 1차 암호 키를 검출하는 검출 공정과, 상기 검출 공정에서 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 공정과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과, 상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 공정과, 상기 제1 해독 공정에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 공정에 의한 미디어 스트림을 재생하는 재생 공정을 포함하는 것을 특징으로 한다.

또한, 상기 검출 공정에서는 상기 1차 암호 키를 저장한 기억 매체로부터, 해당 1차 암호 키를 검출하는 것이 바람직하다.

또한, 본 발명에 따른 데이터 처리 방법은, 데이터 송신 장치와 데이터 재생 장치로 구성되는 데이터 처리 시스템의 데이터 처리 방법으로, 상기 송신 장치의 데이터 처리 방법은, 1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 공정과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과, 상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 공정과, 상기 제1 암호화 공정에서의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 공정에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 공정과, 상기 중첩 공정에 의한 비트 스트림을 상기 인증 장치로 송신하는 송신 공정을 포함하고, 상기 데이터 재생 장치의 데이터 처리 방법은, 상기 송신 장치로부터 송신된 비트 스트림을 수신하는 수신 공정과, 1차 암호 키를 검출하는 검출 공정과, 상기 검출 공정에서 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 공정과, 상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과, 상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 공정과, 상기 제1 해독 공정에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 공정에 의한 미디어 스트림을 재생하는 재생 공정을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 기억 매체는, 상기 데이터 처리 방법을 실행하는 프로그램 소프트웨어를 기억하는 것을 특징으로 한다.

<발명을 실시하기 위한 최량의 형태>

(실시 형태 1)

이하, 도면을 참조하면서, 본 발명의 제1 실시예를 상세히 설명한다.

도 3은 본 발명에 따른 실시예의 데이터 처리 장치의 개략적인 구성 블록도이다.

도 3에서, 전송로(10)는 예를 들면, 각종 네트워크 및 컴퓨터 패스 등으로 이루어진다. MPEG-4 스트림이 전송로(10)를 통해 재생 장치(12)의 디멀티플렉서(14)에 입력된다. 또한, 전송로(10)는 데이터 전송로 이외에, CD-ROM, DVD-ROM 및 DVD-RAM이라는 기록 매체의 재생 기구 또는 재생 장치와의 인터페이스를 포함해도 된다.

디멀티플렉서(14)는, 전송로(10)로부터 입력되는 MPEG-4 스트림을, 장면 기술 데이터, 동화상 오브젝트 데이터, 음성 오브젝트 데이터, 오브젝트 기술 데이터 및 제어 데이터(후술하는 IPMP(Intellectual Property Management and Protection) 정보)로 분리하고, 장면 기술 데이터, 동화상 오브젝트 데이터, 음성 오브젝트 데이터 및 오브젝트 기술 데이터를 각각에 대응하는 동기 레이어(16, 18, 20, 22)에 공급하며, 제어 데이터(IPMP 정보)를 IPMP 제어 장치(24)에 공급한다.

MPEG-4 스트림은, 장면을 구성하는 음성 및 동화상 등의 개개의 오브젝트 데이터에 대하여, 지적 재산권(예를 들면 저작권) 등의 보호를 위해 재생을 제어하는 데 필요로 되는 정보, 즉 IPMP 정보를 포함한다. IPMP 정보는 IPMP 스트림에 부가되며, IPMP 스트림은 다른 오브젝트와 마찬가지로 MPEG-4 스트림에 부가되어 전송된다.

음성 오브젝트 데이터는 예를 들면, 주지의 CELP(Code Excited Line Prediction) 부호화, 또는, TwinVQ(Transform domain Weighted Interleave Vector Quantization) 부호화 등의 고효율 부호화 방식으로 부호화되어 있다. 동화상 오브젝트 데이터는 예를 들면, 주지의 MPEG-2 방식 또는 H-263 방식에 의해 고효율 부호화되어 있다. 장면 기술 데이터는 그래픽 데이터를 포함한다.

각 동기 레이어(16, 18, 20, 22)는, MPEG-4 스트림에 부가되는 타임 스탬프로 불리는 시간 정보에 따라, 장면 기술 데이터, 음성 오브젝트 데이터, 동화상 오브젝트 데이터 및 오브젝트 기술 데이터를 시간 동기시켜 복호 회로(26, 28, 30, 32)에 공급한다. IPMP 제어 장치(24)는, 디멀티플렉서(14)로부터의 IPMP 정보에 따라, 동기 레이어(16∼22)로부터 복호 회로(26∼32)로의 데이터 공급 및 복호 회로(26∼32)의 복호 동작의 실행(개시·정지)을 제어한다. 상세한 설명은 후술하지만, IPMP 제어 장치(24)는 예를 들면, 도 4에 도시하는 바와 같이, 오브젝트 데이터#2의 재생 정지, 오브젝트 데이터#3의 재생 정지, 오브젝트 데이터#3의 재생 개시, 및 오브젝트 데이터#2의 재생 개시와 같이 오브젝트 데이터마다 독립적으로 그 이용을 제어한다.

또한, 본 실시예에서는, 음성 오브젝트 데이터, 동화상 오브젝트 데이터 및 오브젝트 기술 데이터에 대해서는, 각각에 복수의 서로 다른 종류의 오브젝트 데이터가 MPEG-4 스트림 내에 존재해도 복호 가능하도록, 동기 레이어(18, 20, 22) 및 복호 회로(28, 30, 32)는 각각 복수개 준비되어 있다.

복호 회로(26, 28, 30, 32)에 의해 복호된 장면 기술 데이터, 음성 오브젝트 데이터, 동화상 오브젝트 데이터 및 오브젝트 기술 데이터는 장면 합성 회로(34)에 인가된다. 장면 합성 회로(34)는, 장면 기술 복호 회로(26)에서 복호화된 장면 기술 데이터에 기초하여, 복호 회로(28, 30, 32)로부터의 복호화된 음성 오브젝트 데이터, 동화상 오브젝트 데이터 및 오브젝트 기술 데이터를 합성 및 그래픽 처리한다. 이와 같이 하여 얻어진 최종적인 데이터 열이, 디스플레이 및 프린터 장치라는 출력 기기(36)에 공급되어, 가시화된다.

MPEG-4 스트림은, 앞에서 설명한 바와 같이, 장면 기술 데이터, 동화상 오브젝트 데이터, 음성 오브젝트 데이터, 오브젝트 기술 데이터 및 IPMP 스트림 등으로 이루어진다. 디멀티플렉서(14)는 각 오브젝트 데이터를 분리한다. 디멀티플렉서(14)에 의해 분리된 IPMP 스트림은 IPMP 제어 장치(24) 내의 메모리에 저장되고, 그 후, IPMP 정보가 그 메모리로부터 판독되며, IPMP 정보로부터 제어 정보가 추출된다. 그 제어 정보에 따라, 각 오브젝트 데이터의 재생계의 동작(재생 개시 및 정지 등)이 제어된다.

IPMP 정보는, 장면 기술 데이터에 대한 IPMP 정보(이하, 장면용 IPMP 정보라고 함)와, 장면 기술용 IPMP 정보를 제외한 오브젝트 데이터에 대한 IPMP 정보(이하, 오브젝트용 IPMP 정보라고 함)로 분류할 수 있다. 또한, 장면은 하나 이상의 오브젝트 데이터로 이루어지며, 상술한 바와 같이, 도 5에 도시하는 바와 같은 계층 구조를 갖는다고 생각할 수 있다. 오브젝트 데이터가 계층 구조를 갖기 때문에, 그것과 쌍을 이루는 IPMP 정보도, 도 6에 도시하는 바와 같이 마찬가지의 계층 구조를 갖게 할 수 있다.

본 실시예에서는, IPMP 정보에 계층 구조를 갖게 하여, 오브젝트 데이터의 구성 형태에 따라 IPMP 정보를 계층화한다. 그리고, 계층화한 IPMP 정보에 의해 오브젝트 데이터의 구성 형태에 따른 이용 제어를 가능하게 한다.

도 7을 참조하여, 본 실시예에서의 IPMP 제어 장치(24)의 동작을 설명한다.

도 7은 IPMP 스트림을 포함하는 MPEG-4 스트림을 수신한 경우의 IPMP 제어 장치(24)의 동작 흐름도를 도시한다.

우선 단계 S1에서는, IPMP 스트림이 IPMP 제어 장치(24)의 메모리에 저장되며, 그 IPMP 스트림에 IPMP 정보가 포함되어 있는지의 여부를 조사한다.

상기 메모리에 IPMP 스트림이 포함되어 있지 않은 경우에는, IPMP 제어 장치(24)의 동작을 종료한다. 예를 들면, IPMP 스트림을 포함하고 있지 않은 MPEG-4 스트림의 경우에는, IPMP 제어 장치(24)는 IPMP 처리를 종료한다. 이에 따라, 오브젝트 데이터를 자유롭게 이용할 수 있다.

단계 S1에서 IPMP 정보가 있는 경우에는, 단계 S2로 진행한다.

단계 S2에서는, 상기 IPMP 정보에 나타나는 상위 계층 오브젝트 데이터의 이용 상황을 조사한다. 상위 계층 데이터의 이용이 허가되어 있는 경우에는 단계 S3으로 진행하고, 이용이 허가되어 있지 않은 경우에는 단계 S5로 진행한다.

단계 S3에서는, IPMP 정보가 그 오브젝트 데이터의 이용 제어에 관한 제어 정보를 포함하는지의 여부를 조사한다.

단계 S3에서 이용이 허가되어 있는 경우에는 단계 S4로 진행하고, 이용이 허가되어 있지 않은 경우에는 단계 S5로 진행한다.

단계 S4에서는, 상기 IPMP 정보에 대응하는 오브젝트 데이터를 이용한다.

단계 S5에서는, 상기 IPMP 정보에 대응하는 오브젝트 데이터의 이용을 금지한다.

단계 S6에서는 상기 IPMP 정보가 하위 계층의 IPMP 정보를 포함하는지의 여부를 판단한다. 단계 S6에서 하위 계층의 IPMP 정보를 포함하지 않는 경우에는, 단계 S1 이후를 반복한다. 하위 계층의 IPMP 정보를 포함하는 경우에는, 하위 계층의 IPMP 정보를 IPMP 제어 장치(24)의 메모리에 로드하고, S2 이후를 반복한다.즉, 1단 아래의 계층에 속하는 오브젝트에 대하여, 이용의 가부를 IPMP 정보의 제어 정보에 의해 판정하고, 그 결과에 따라 이용을 제어한다.

이상의 수순을 장면마다 반복함으로써, 오브젝트 데이터의 구성 형태에 따라 오브젝트의 이용을 제어할 수 있다.

다음으로, 본 실시예에서의 장면 구성 형태에 따른 오브젝트의 이용 제어를 설명한다. MPEG-4 스트림이, 연속하는 장면#1과 장면#2의 2개의 장면으로 구성되는 것으로 한다.

도 8은 장면#1의 구성 형태의 모식도를 나타내고, 도 9는 장면#2의 구성 형태의 모식도를 나타낸다.

장면#1은 오브젝트 데이터#1과 오브젝트 데이터#2로 이루어지고, 장면#2는 오브젝트 데이터#3과 오브젝트 데이터#4로 이루어지는 것으로 한다.

도 10은 장면#1에 대한 IPMP 정보의 구성 형태의 모식도를 나타내고, 도 11은 장면#2에 대한 IPMP 정보의 구성 형태의 모식도를 나타낸다.

장면#1용 IPMP 정보는, 오브젝트#1용 IPMP 정보와 오브젝트#2용 IPMP 정보로 이루어지고, 장면#2용 IPMP 정보는 오브젝트 데이터#3용 IPMP 정보와 오브젝트 데이터#4용 IPMP 정보로 이루어진다.

도 12는 IPMP 스트림의 구성의 일례를 도시한다. IPMP 스트림은, 장면#1용 IPMP 정보, 오브젝트#1용 IPMP 정보, 오브젝트#2용 IPMP 정보, 장면#2용 IPMP 정보, 오브젝트#3용 IPMP 정보 및 오브젝트#4용 IPMP 정보로 이루어진다. 장면#1용 IPMP 정보는, 오브젝트#1용 IPMP 정보에의 포인터와 오브젝트#2용 IPMP 정보에의포인터를 포함하고, 장면#2용 IPMP 정보는 오브젝트#3용 IPMP 정보에의 포인터와 오브젝트#4용 IPMP 정보에의 포인터를 포함한다. 이들 포인터에 의해 IPMP 정보를 계층화한다.

도 13은 IPMP 스트림의 구성의 다른 예를 도시한다. 이 예에서는, IPMP 스트림은, 장면#1용 IPMP 정보와 장면#2용 IPMP 정보로 이루어지고, 장면#1용 IPMP 정보가 오브젝트#1용 IPMP 정보와 오브젝트#2용 IPMP 정보를 포함하며, 장면#2용 IPMP 정보가 오브젝트#3용 IPMP 정보와 오브젝트#4용 IPMP 정보를 포함한다. 이러한 구성으로, IPMP 정보를 계층화해도 된다.

도 14는 IPMP 제어 장치의 부분을 상세히 도시한 데이터 처리 장치의 구성 블록도를 나타낸다.

도 14에서, 참조 부호 40은 디멀티플렉서, 참조 부호 42a, 42b는 동기 레이어, 참조 부호 44a, 44b는 이용 제어 회로, 참조 부호 46a, 46b는 오브젝트 복호 회로, 참조 부호 48은 장면 합성 회로, 참조 부호 50은 IPMP 제어 장치이다.

IPMP 제어 장치(50)는, IPMP 스트림을 기억하는 메모리(52), 메모리(52)로부터 IPMP 정보를 추출하는 IPMP 정보 추출 회로(54), 이용 상황 검사 회로(56), 제어 정보 추출 회로(58) 및 IPMP 정보 검사 회로(60)를 구비한다. 또한, 도 14에서는 오브젝트 복호계로서 2계통을 예시하고 있지만, 그에 한정되는 것이 아니며, 물론 3계통 이상이어도 된다.

도 14의 각 구성 요소를 구체적으로 설명한다.

디멀티플렉서(40)는, 입력할 MPEG-4 스트림을 장면 기술 데이터, 동화상 오브젝트 데이터, 음성 오브젝트 데이터, 오브젝트 기술 데이터 및 IPMP 스트림 등으로 분리하여, 장면 기술 데이터, 동화상 오브젝트 데이터, 음성 오브젝트 데이터 및 오브젝트 기술 데이터를 동기 레이어(42a, 42b)에 공급하고, IPMP 스트림을 IPMP 제어 장치(50)에 공급한다.

동기 레이어(42a, 42b)는, 각 오브젝트 데이터를 타임 스탬프에 기초하여 시간축 상에서 동기시킨다.

이용 제어 회로(44a, 44b)는 각각, IPMP 제어 장치(50)의 제어 정보 추출 회로(58)로부터의 제어 정보에 따라, 동기 레이어(42a, 42b)의 출력을 선택적으로 복호 회로(46a, 46b)에 공급하고, 이에 따라, 각 오브젝트의 이용을 제어한다.

오브젝트 복호 회로(46a, 46b)는 입력하는 데이터, 즉, 부호화된 오브젝트 데이터를 복호하여, 장면 합성 회로(48)에 인가한다.

장면 합성 회로(48)는, 복호된 장면 기술 데이터에 기초하여, 복호 회로(46a, 46b)의 출력을 합성하여, 그래픽 처리한다.

메모리(52)는, 디멀티플렉서(40)로부터의 IPMP 스트림을 일시적으로 기억한다.

IPMP 정보 추출 회로(54)는, 메모리(52)에 기억되는 IPMP 스트림으로부터 IPMP 정보를 추출한다. 메모리(52)에 기억되는 IPMP 스트림으로부터 IPMP 정보를 추출할 수 없는 경우, IPMP 제어 장치(50)는 이용 제어 처리를 중지한다.

이용 상황 검사 회로(56)는, IPMP 정보로부터 상위 계층 오브젝트 데이터의 이용 상황을 검사하여, 이용 가능한 경우에는 IPMP 정보를 제어 정보 추출회로(58)로 출력하고, 이용 불가능한 경우에는, IPMP 제어 장치(50)는 상기 IPMP 정보에 대응하는 오브젝트 데이터의 이용을 금지한다.

제어 정보 추출 회로(58)는, IPMP 정보로부터 제어 정보를 추출하고, 추출한 제어 정보를 이용 제어 회로(44a, 44b)에 인가한다.

IPMP 정보 검사 회로(60)는, IPMP 정보가 하위 계층의 IPMP 정보를 포함하는지의 여부를 조사하여, 포함하는 경우에는 제어 정보 추출 장치(58)에 하위 계층의 IPMP 정보를 출력한다.

IPMP 제어 장치(50)의 동작을, 구체적으로 도 12의 IPMP 스트림에서 장면#1 IPMP 정보 및 장면#2 IPMP 정보가 허가되어 있는 경우의 오브젝트 데이터#1, #2, #3, #4의 데이터 처리를 도 7에 도시하는 흐름도와 대비하여 설명한다.

IPMP 정보 추출 회로(54)는, 메모리(52)의 IPMP 스트림으로부터 장면#1용 IPMP 정보를 추출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S1).

장면#1용 IPMP 정보의 상위 계층 오브젝트 데이터는 존재하지 않기 때문에, 이용 상황 검사 회로(56)는 장면#1용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2).

제어 정보 추출 회로(58)는, 장면#1용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 장치(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터의 이용을 제어한다(단계 S3, S4, S5). 이용 가능한 경우, 이용 제어 회로(44a, 44b)는 동기 레이어(42a, 42b)로부터의 데이터를 오브젝트 복호 장치(46a, 46b)에 공급한다(단계 S4). 이용 불가인 경우, 이용 제어 장치(44a,44b)는 동기 레이어(42a, 42b)로부터의 데이터를 오브젝트 복호 장치(46a, 46b)에 공급하지 않는다(단계 S5).

IPMP 정보 검사 회로(60)는, 하위 계층의 IPMP 정보로서 오브젝트#1용 IPMP 정보를 검출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S6, S7).

오브젝트 데이터#1의 상위 계층인 장면#1에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 오브젝트#1용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 오브젝트#1용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터#1의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 하위 계층의 IPMP 정보로서 오브젝트#2용 IPMP 정보를 검출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S6, S7).

오브젝트 데이터#2의 상위 계층인 장면#1에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 오브젝트#2용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 오브젝트#2용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터#2의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 다음 IPMP 정보를 검출하지 않기 때문에, IPMP 정보 추출 회로(54)로 처리를 진행한다(단계 S6).

IPMP 정보 추출 회로(54)는, 메모리(52)로부터 다음 IPMP 정보, 즉, 다음 장면의 장면#2용 IPMP 정보를 추출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S1). 장면#2용 IPMP 정보의 상위 계층 오브젝트 데이터는 존재하지 않기 때문에, 이용 상황 검사 회로(56)는 장면#2용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 장면#2용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 하위 계층의 IPMP 정보로서 오브젝트#3용 IPMP 정보를 검출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S6, S7).

오브젝트 데이터#3의 상위 계층인 장면#2에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 오브젝트#3용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 오브젝트#3용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터#3의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 하위 계층의 IPMP 정보로서 오브젝트#4용 IPMP 정보를 검출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S6, S7).

오브젝트 데이터#4의 상위 계층인 장면#1에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 오브젝트#4용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는,오브젝트#4용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터#4의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 다음 IPMP 정보를 검출하지 않기 때문에, 이용 제어의 처리를 종료한다(단계 S6, S1).

또한, 도 14에서는, 도 5에 도시하는 흐름도와의 대비로 구성을 이해하기 쉽게 하여 IPMP 제어 장치(50)가 도시되어 있다. 도 14에 도시하는 바와 같이, 데이터를 피드백한 경우, 블록마다 병렬하여 처리했을 때에는 데이터의 충돌 및 동기의 문제가 발생하므로, 블록마다 순차적으로 처리를 행할 필요가 있다. 이에 비하여, IPMP 정보를 추출한 시점에서 상위 계층 오브젝트 데이터의 이용 상황을 조사하여, 이용 가능한 경우에 사전에 계층화 정보를 조사함으로써, 데이터의 피드백을 없앨 수 있다. 그와 같은 변경 구성예를 도 15에 도시한다. 또한, 도 15에서 도 14에 도시하는 것과 동일한 구성 요소에는 동일한 부호를 붙이고 있다.

도 15의 데이터 처리 장치에서는, IPMP 제어 장치(50a)의 IPMP 정보 검사 추출 회로(62)가, 상위 계층 오브젝트 데이터의 이용 상황을 조사하여, 이용 가능한 경우에 IPMP 정보의 계층 구조를 검사하면서, IPMP 정보를 순차적으로 제어 정보 추출 회로(64)로 출력한다. 제어 정보 추출 회로(64)는, 제어 정보 추출 회로(58)와 마찬가지로, 입력하는 제어에 따라 이용 제어 회로(44a, 44b)를 제어한다.

이와 같이, 상위 계층 오브젝트 데이터의 이용 상황을 조사하여 하위 계층 오브젝트 데이터의 이용을 제어함으로써, 계층마다 오브젝트 데이터의 이용 제어를행할 수 있게 된다. 즉, 오브젝트 데이터의 이용을, IPMP 정보에 포함되는 제어 정보에 의해 제어할 뿐만 아니라, 상위 계층 오브젝트 데이터의 이용 상황에 따라서도 제어할 수 있다. 만약 이용이 제어되어 있지 않은 하위 계층 오브젝트 데이터라도, 상위 계층 오브젝트 데이터의 이용이 금지되어 있는 경우에는, 그 이용을 금지할 수 있다.

이것은 MPEG-4의 특징인 「오브젝트 데이터에 오브젝트 데이터를 부가한다」라고 하는 경우에 매우 유효하다. 부가하는 오브젝트 데이터는 이용 가능하고, 부가되는 오브젝트 데이터가 이용 금지인 경우를 생각할 수 있으며, IPMP 정보에 의한 이용 제어만으로는 이러한 경우에 대하여 장면 구성에 모순이 발생하고, 최악의 경우 MPEG-4 시스템이 다운되는 것을 생각할 수 있다. 그러나, 본 실시예에서는, 이러한 경우에도, 오브젝트 데이터의 이용 형태를 고려하여 IPMP 정보를 생성하고, 이들 IPMP 정보에 의해 오브젝트 데이터를 이용 제어함으로써, 적절하게 대응할 수 있다. 구체적으로는, 부가되는 오브젝트 데이터를 상위 계층, 부가하는 오브젝트 데이터를 하위 계층으로 하면 된다. 이 때, 부가되는 오브젝트 데이터가 이용 가능할 때만, 부가하는 오브젝트 데이터가 이용 가능해진다.

여기서 데이터 계층 구성의 다른 예를 설명한다.

상술한 바와 같이, MPEG-4에서는 계층적인 장면 구성이 가능하다. 도 16은 계층적인 장면 구성 형태를 도시한다.

도 16에 도시하는 예에서는, 장면#1은 오브젝트 데이터#1과 장면#2로 이루어지고, 장면#2는 오브젝트 데이터#2로 이루어진다. 도 17은 도 16에 도시하는 장면구성에 대응하는 IPMP 정보의 구성예를 도시한다. 장면#1용 IPMP 정보는 오브젝트#1용 IPMP 정보와 장면#2용 IPMP 정보로 이루어지고, 장면#2용 IPMP 정보는 오브젝트#2용 IPMP 정보로 이루어진다.

도 18은 도 17에 도시하는 IPMP 정보의 구성예에 대한 IPMP 스트림의 구성예를 도시한다. 이 예에서는, IPMP 스트림은, 장면#1용 IPMP 정보, 오브젝트#1용 IPMP 정보, 장면#2용 IPMP 정보 및 오브젝트#2용 IPMP 정보로 이루어지고, 장면#1용 IPMP 정보가 오브젝트#1용 IPMP 정보에의 포인터와 장면#2용 IPMP 정보에의 포인터를 포함하고, 장면#2용 IPMP 정보가 오브젝트#2용 IPMP 정보에의 포인터를 포함한다. 이에 따라, IPMP 정보를 계층화할 수 있다.

도 19는 IPMP 스트림의 다른 구성예를 도시한다. 이 예에서는, 포인터를 이용하지 않는다. IPMP 스트림은 장면#1용 IPMP 정보로 이루어지고, 그 장면#1용 IPMP 정보가 오브젝트#1용 IPMP 정보와 장면#2용 IPMP 정보를 포함하며, 장면#2용 IPMP 정보가 오브젝트#2용 IPMP 정보를 포함한다. 이러한 구성에서도 IPMP 정보를 계층화할 수 있다. 이 구성에서는, 장면용 IPMP 정보와 오브젝트용 IPMP 정보를 마찬가지로 취급한다.

도 14에 도시하는 구성은, 도 16 및 도 17에 도시하는 계층 구조에 대하여, 도 7에 도시하는 흐름도와 동일한 처리 수순으로 각 오브젝트의 이용을 제어할 수 있다. 도 14에 도시하는 구성 요소와 도 7의 각 단계를 참조하여, 도 16 및 도 17에 도시하는 계층 구조에 대한 이용 제어의 동작을 설명한다. 또한, 여기서의 설명에서는 도 17에서의 장면#1용 IPMP 정보와 장면#2용 IPMP 정보는 허가되어 있는것으로 한다.

디멀티플렉서(40)는, MPEG-4 스트림에 포함되는 IPMP 스트림을 분리하여, IPMP 제어 장치(50)로 출력한다. 메모리(52)는 디멀티플렉서(40)로부터의 IPMP 스트림을 일시적으로 기억한다.

IPMP 정보 추출 회로(54)는, 메모리(52)의 IPMP 스트림으로부터 장면#1용 IPMP 정보를 추출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S1). 장면#1용 IPMP 정보의 상위 계층 오브젝트 데이터는 존재하지 않기 때문에, 이용 상황 검사 회로(56)는, 장면#1용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2).

제어 정보 추출 회로(58)는, 장면#1용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터의 이용을 제어한다(단계 S3, S4, S5).

IPMP 정보 검사 회로(60)는, 하위 계층의 IPMP 정보로서 장면#2용 IPMP 정보를 검출하여, 이용 상황 검사 회로(56)로 출력한다(단계 S6, S7). 장면#2의 상위계층인 장면#1에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 장면#2용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 장면#2용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 장치(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터의 이용을 제어한다(단계 S3, S4, S5).

오브젝트 데이터#2의 상위 계층인 장면#2에 대응하는 오브젝트 데이터는 이용이 허가되어 있기 때문에, 이용 상황 검사 회로(56)는, 오브젝트#2용 IPMP 정보를 제어 정보 추출 회로(58)로 출력한다(단계 S2). 제어 정보 추출 회로(58)는, 오브젝트#2용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 이용 제어 회로(44a, 44b)를 제어하여, 대응하는 오브젝트 데이터#2의 이용을 제어한다(단계 S3, S4, S5).

이상의 처리는 어떤 하나의 장면에 대한 처리로, 장면#2와 같은 서브 장면 구성이 갱신될 때마다, 먼저 설명한 것과 마찬가지의 방법으로 이용 제어가 갱신된다.

이와 같이, 본 실시예에서는, 계층적인 장면 구성에 대해서도 오브젝트 데이터의 이용을 제어할 수 있다.

하나의 장면에서의 오브젝트 데이터의 이용 제어는 도 5 및 도 6에 도시하는 계층 구조의 경우와 동일하지만, 장면마다 재귀적으로 처리함으로써, 계층화한 장면 구조에서도 마찬가지로 각 장면의 오브젝트 데이터의 이용을 제어할 수 있다.

(실시 형태 2)

다음으로, IPMP 정보에의 액세스를 제어할 수 있는 IPMP 스트림의 구성예를 설명한다. 도 20은 액세스 제어 기능을 구비하는 IPMP 스트림의 제1 구성예를 도시한다. 도 20은 도 8에 도시하는 장면 구성 및 도 10에 도시하는 IPMP 계층 구성에 대응한다.

도 20에서는, IPMP 스트림은, 장면#1용 IPMP 정보, 암호화된 오브젝트#1용 IPMP 정보 및 암호화된 오브젝트#2용 IPMP 정보로 이루어진다. 장면#1용 IPMP 정보는, 암호화를 풀기 위한 키 정보를 생성하는 허가 정보, 암호화 오브젝트#1용 IPMP 정보에의 포인터 및 암호화 오브젝트#2용 IPMP 정보에의 포인터로 이루어진다. 암호 방식과 조합함으로써, 오브젝트#1 및 #2의 IPMP 정보에의 액세스 제어가 가능해진다.

도 21은 액세스 제어 기능을 구비하는 IPMP 스트림의 제2 구성예를 도시한다.

도 21에서는, IPMP 스트림은 장면#1용 IPMP 정보로 이루어진다. 장면#1용 IPMP 정보는, 허가 정보, 암호화 오브젝트#1용 IPMP 정보 및 암호화 오브젝트#2용 IPMP 정보로 이루어진다. 허가 정보가 암호화 오브젝트#1용 IPMP 정보 및 암호화오브젝트#2용 IPMP 정보의 해독 키를 구비하는 경우, 암호화 오브젝트#1용 IPMP 정보 및 암호화 오브젝트#2용 IPMP 정보를 해독할 수 있다.

도 22는 도 20 및 도 21에 도시하는 액세스 제어 기능을 가진 IPMP 스트림의 처리를 나타내는 흐름도이다.

우선 단계 S11에서는, MPEG-4 스트림으로부터 분리된 IPMP 스트림이 IPMP 제어 장치의 메모리에 저장된다. 저장된 IPMP 스트림에 IPMP 정보가 포함되는지의 여부를 판단한다.

단계 S11에서 IPMP 정보가 포함되지 않는 경우에는, IPMP 제어의 처리를 종료한다. 즉, IPMP 스트림을 포함하지 않는 MPEG-4 스트림의 경우 등으로, 모든 오브젝트 데이터를 자유롭게 이용할 수 있다.

한편, 단계 S11에서 IPMP 정보가 있는 경우에는 단계 S12로 진행하고, 단계 S12에서는 상위 계층의 IPMP 정보가 암호화되어 있는지, 또한 암호화되어 있는 경우에는 복호화 키가 포함되어 있는지의 여부를 조사한다. 암호화되어 있지 않은 경우와 복호 키가 포함되어 있는 경우에는 단계 S13로 진행하고, 그 이외에는 단계 S15로 진행한다.

단계 S13에서는, IPMP 정보의 제어 정보에 의해 오브젝트 데이터의 이용을 허가하고 있는지의 여부를 조사한다. 이용이 허가되어 있는 경우에 단계 S14로 진행하고, 이용이 허가되어 있는 않은 경우에는 단계 S15로 진행한다.

단계 S14에서는, 상기 IPMP 정보에 대응하는 오브젝트 데이터를 이용한다.

단계 S15에서는, 상기 IPMP 정보에 대응하는 오브젝트 데이터의 이용을 금지한다.

단계 S16에서는, 상기 IPMP 정보가 허가 정보를 포함하고 있는지의 여부를 조사하여, 포함하고 있는 경우에는 단계 S17로 진행하고, 포함하고 있지 않은 경우에는 단계 S18로 진행한다.

단계 S17에서는, 상기 허가 정보로부터 얻어지는 키 정보에 의해 암호화 데이터를 복호한다.

단계 S18에서는, 상기 IPMP 정보 또는 복호 결과가 하위 계층의 IPMP 정보를 포함하고 있는지의 여부를 조사하여, 포함하고 있는 경우에는 단계 S19로 진행하고, 포함하고 있지 않은 경우에는 단계 S11로 되돌아간다.

단계 S19에서는, 상기 하위 계층의 IPMP 정보를 IPMP 제어 장치의 메모리에 저장하고, 단계 S12로 되돌아간다.

도 23은 도 22에 도시하는 동작을 실현하는 데이터 처리 장치의 구성 블록도를 나타낸다. 또한, 도 23에서, 도 14에 도시하는 구성 요소와 동일한 구성 요소에는 동일한 부호를 붙이고 있다.

IPMP 제어 장치(50b)의 동작을 주로 설명한다. 메모리(70)는, 디멀티플렉서(40)로부터의 IPMP 스트림을 일시적으로 기억한다. IPMP 정보 추출 회로(72)는, 메모리(70)에 기억되는 IPMP 스트림으로부터 IPMP 정보를 추출한다. 메모리(70)에 기억되는 IPMP 스트림으로부터 IPMP 정보를 추출할 수 없는 경우, IPMP 제어 장치(50b)는 이용 제어 처리를 중지한다.

복호 키 검사 회로(74)는, IPMP 정보 추출 회로(72)의 출력으로부터 상위 계층의 IPMP 정보가 암호화되어 있는지의 여부, 및, 암호화되어 있는 경우에는 복호를 위한 키 정보가 포함되는지의 여부를 조사하여, 암호화되어 있지 않은 경우 및, 암호화되어 있어도 키 정보를 기억하여 복호 가능한 경우에는 IPMP 정보를 출력하고, 그 밖의 경우에는 IPMP 정보 추출 회로(72)로 처리를 진행한다.

제어 정보 추출 회로(76)는, IPMP 정보로부터 제어 정보를 추출하여, 추출한 제어 정보를 이용 제어 회로(44a, 44b)에 인가한다.

허가 정보 추출 회로(78)는, IPMP 정보에 포함되는 허가 정보를 추출하여, 추출한 허가 정보를 기억 회로(80)에 기입한다. 복호 회로(82)는, 기억 회로(80)에 기억되는 허가 정보로부터 얻어지는 키 정보에 의해, IPMP 정보의 제어 정보를 복호한다.

IPMP 정보 검사 회로(84)는, IPMP 정보가 하위 계층의 IPMP 정보를 포함하는지의 여부를 조사하여, 포함하는 경우에는 복호 키 검사 회로(74)에 하위 계층의 IPMP 정보를 출력하고, 포함하지 않는 경우에는 IPMP 정보 추출 회로(72)로 처리를 진행한다.

다음으로, 도 20에 도시하는 IPMP 정보의 계층 구조를 예로 들어, 도 23에 도시하는 장치의 동작을 도 22의 흐름도에 대비시키면서 구체적으로 설명한다.

IPMP 정보 추출 회로(72)는, 메모리(70)에 기억되는 IPMP 스트림으로부터 장면#1용 IPMP 정보를 추출하여, 복호 키 검사 회로(74)로 출력한다(단계 S11). 장면#1용 IPMP 정보의 상위 계층 오브젝트 데이터가 존재하지 않기 때문에, 복호 키 검사 회로(74)는 장면#1용 IPMP 정보를 출력한다(단계 S12). 제어 정보 추출회로(76)는, 장면#1용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 대응하는 오브젝트 데이터의 이용을 제어한다(단계 S13, S14, S15).

허가 정보 추출 회로(78)는, 장면#1용 IPMP 정보로부터 허가 정보를 추출하여, 추출한 허가 정보를 기억 회로(80)로 출력한다(단계 S16). 복호 회로(82)는, 기억 회로(80)에 기억되는 허가 정보로부터 얻어지는 키 정보를 이용하여, 암호화 오브젝트#1용 IPMP 정보와 암호화 오브젝트#2용 IPMP 정보를 복호한다(단계 S17).

IPMP 정보 검사 회로(84)는, 하위 계층의 IPMP 정보로서 오브젝트#1용 IPMP 정보와 오브젝트#2용 IPMP 정보를 검출하여, 복호 키 검사 회로(74)로 출력한다(단계 S18, S19).

상위 계층의 장면#1용 IPMP 정보가 암호화되어 있지 않기 때문에, 복호 키 검사 회로(74)는, 오브젝트#1용 IPMP 정보를 출력한다(단계 S12). 제어 정보 추출 회로(76)는, 오브젝트#1용 IPMP 정보로부터 제어 정보를 추출하고, 그 제어 정보에 기초하여 대응하는 오브젝트 데이터#1의 이용을 제어한다(단계 S13, S14, S15).

허가 정보 추출 회로(78)는, 오브젝트#1용 IPMP 정보로부터 허가 정보를 추출하지 않는다(단계 S16). IPMP 정보 검사 회로(84)는, 오브젝트#1용 IPMP 정보로부터 하위 계층의 IPMP 정보를 검출하지 않는다(단계 S18).

다음으로, IPMP 정보 추출 회로(72)는, 오브젝트#2용 IPMP 정보를 추출하여, 복호 키 검사 회로(74)로 출력한다(단계 S11). 상위 계층의 장면#1용 IPMP 정보가 암호화되어 있지 않기 때문에, 복호 키 검사 회로(74)는 오브젝트#2용 IPMP 정보를 출력한다(단계 S12). 제어 정보 추출 회로(76)는, 오브젝트#2용 IPMP 정보로부터제어 정보를 추출하고, 그 제어 정보에 기초하여, 대응하는 오브젝트 데이터#2의 이용을 제어하다(단계 S13, S14, S15).

허가 정보 추출 회로(78)는, 오브젝트#2용 IPMP 정보로부터 허가 정보를 추출하지 않는다(단계 S16). IPMP 정보 검사 회로(84)는, 오브젝트#2용 IPMP 정보로부터 하위 계층의 IPMP 정보를 검출하지 않는다(단계 S18). 여기서 IPMP 제어 처리가 종료된다(단계 S11).

또한, 도 23은 도 22에 도시하는 흐름도에 대응하여 각 구성 요소를 배치하고 있다. 도 23에 도시하는 바와 같이 데이터를 피드백한 경우, 블록마다 병렬적으로 처리하면 데이터의 충돌 및 동기의 문제가 발생하기 때문에, 블록마다 순차적으로 처리를 행할 필요가 있다. 이에 비하여, 도 14에 대한 도 15의 구성과 마찬가지로, IPMP 정보를 추출한 시점에서 상위 계층의 IPMP 정보가 복호 가능한지의 여부를 조사하여, 복호 가능한 경우에 IPMP 정보의 계층화 구조를 검사하면서 IPMP 정보를 순차적으로 출력함으로써, 데이터의 피드백을 없앨 수 있다.

도 22에는 어떤 하나의 장면에 대한 처리를 도시하고, 장면 구성을 갱신할 때마다 도 22에 도시하는 처리를 실행할 필요가 있다.

암호 방식에 의한 하위 계층의 IPMP 정보에의 액세스 제어를 행함으로써, 각 오브젝트 데이터의 이용을 보다 확실하게 제어할 수 있다. 계층 구조의 기술 형식에 암호 방식을 이용하고, 또한 IPMP 스트림을 암호화 IPMP 정보로 구성하여, 장면의 이용 제어마다 하위 계층 오브젝트 데이터에 대한 IPMP 정보를 복호한다. 이에 의해, IPMP 정보에 대한 부정 액세스를 방지할 수 있다.

상기 실시예는 IPMP 정보의 암호화를 제안한다. 오브젝트 데이터 그 자체의 암호화는 MPEG-4의 IPMP 시스템으로 실현되기 때문에, 본 실시예에 따른 IPMP 정보의 암호화와 병용함으로써, IPMP 정보에의 부정 액세스를 방지할 뿐만 아니라, 오브젝트 데이터 그 자체에의 부정 액세스를 방지할 수 있으며, 상위 계층의 이용 상황에 따라 확실하게 하위 계층 오브젝트 데이터의 이용을 제어할 수 있다.

즉, 암호화 IPMP 정보의 복호와 암호화 오브젝트 데이터의 복호에 의한 상위 계층 오브젝트 데이터의 이용 허가에 의해, 하위 계층의 IPMP 정보가 복호 가능해지도록 하고 있다. 또한, 이 IPMP 정보에 의해 하위 계층의 암호화 오브젝트 데이터의 이용이 가능해진다.

도 16 및 도 17에 도시하는 바와 같은 계층 구조에 대하여 IPMP 정보의 암호화를 병용해도, 마찬가지의 작용 효과가 얻어지는 것은 분명하다.

본 발명은, 2차원 화상 오브젝트에 대해서 뿐만 아니라, 3차원 화상 오브젝트에 대해서도 적용 가능하다. 또한, 텍스쳐 이미지 데이터, 모델링 데이터 및 애니메이션 데이터에 의한 3차원 화상 오브젝트의 형성과 같이, 하나의 논리적인 오브젝트에 대하여 하나의 오브젝트 데이터가 대응할 뿐만 아니라, 하나의 논리적인 오브젝트에 대하여 복수의 오브젝트 데이터가 대응하는 경우도 본 발명의 범위에 포함된다. 3차원 오브젝트 형성은 예를 들면, 가정용 게임기, 퍼스널 컴퓨터 및 그래픽 컴퓨터 등에서 행해진다.

이상의 설명에서는, 관리 정보인 IPMP 정보와 계층화 정보가 오브젝트 스트림으로서 입력되어 있지만, 예를 들면, 키보드와 같은 외부 입력 장치 또는 자기기억 장치와 같은 외부 기억 장치로부터 입력되는 경우에도, 본 발명의 기술적 범위에 포함된다. 관리 정보에 계층화 정보를 포함하여 관리하고 있지만, 각각 독립적으로 관리해도 된다. 즉, 각 오브젝트 데이터, 관리 정보 및 계층화 정보를, 오브젝트 데이터 및 관리 정보인 IPMP 정보 및 계층화 정보와 마찬가지로 취급함으로써, 오브젝트 데이터의 이용 상황에 따라 다른 오브젝트 데이터의 이용을 제어할 수 있게 된다.

(실시 형태 3)

본 실시 형태의 데이터 송신 장치는, 이미지(정지 화상), 비디오(동화상), 오디오의 각 미디어의 구성을 기술한 장면 기술 정보인 BIFS(Binary Format for Scene)를 1차 암호 키에 의해 암호화하거나, 또는 상술한 각 미디어의 비트 스트림(미디어 스트림)을 1차 암호 키 및 BIFS의 체크섬에 기초하여 생성된 2차 암호 키로 암호화한다. 그리고, 이들 암호화된 BIFS의 비트 스트림(BIFS 비트 스트림), 각 미디어의 비트 스트림(미디어 스트림), 및 IPMP(Intellectual property Management and protection) 스트림(BIFS의 암호 해독 방법 및 2차 암호 키의 생성 방법)을 중첩한 비트 스트림을 후술하는 데이터 재생 장치로 송신한다.

또한, 본 실시 형태의 데이터 재생 장치는, 1차 암호 키의 정보가 기술된 IC 카드를 상기 데이터 재생 장치에 판독시킴으로써, 이 1차 암호 키에 의해 암호화된 BIFS를 복호화하고, 상술한 IPMP 스트림에 기술된 방법을 이용하여 2차 암호 키를 생성하며, 암호화된 상술한 각 미디어의 비트 스트림을 복호화하여, 재생한다.

이하, 상술한 데이터 송신 장치 및 데이터 재생 장치에 대하여 이하 자세히설명한다.

도 24는 본 발명에 따른 제3 실시예의 데이터 송신 장치의 구성을 도시하는 블록도이다.

참조 부호 501은 BIFS용 인코더로, 외부의 기기로부터 입력된 BIFS의 소스를 부호화(압축)한다. 그 때에 BIFS의 체크섬의 데이터를 생성한다.

참조 부호 502는 이미지용 디코더로, 외부의 기기로부터 입력된 이미지의 소스를 부호화(압축)한다.

참조 부호 503은 비디오용 디코더로, 외부의 기기로부터 입력된 비디오의 소스를 부호화(압축)한다.

참조 부호 504는 오디오용 인코더로, 외부의 기기로부터 입력된 오디오의 소스를 부호화(압축)한다.

참조 부호 505는 1차 암호 키 생성부로, 사용자에 의해 조작부(1605)로부터 입력된 패스워드에 기초하여 1차 암호 키를 생성한다.

참조 부호 506은 BIFS용 암호화기로, BIFS용 인코더(501)로부터 출력되어 온 BIFS의 비트 스트림을 1차 암호 키 생성부(505)에서 생성된 1차 암호 키를 이용하여 암호화함과 함께, 1차 암호 키와 BIFS용 인코더(501)로부터 출력되어 온 BIFS의 체크섬으로부터 각 미디어용의 2차 암호 키를 생성한다.

참조 부호 507, 508, 509는 각각 이미지용 암호화기, 비디오용 암호화기, 오디오용 암호화기로, 각각에 대응한 인코더(502, 503, 504)로부터 출력된 각 미디어의 비트 스트림을, 각각의 미디어용의 2차 암호 키를 이용하여 암호화한다.

참조 부호 510은 멀티플렉서로, BIFS용 암호화기(506)와 각 미디어용의 암호화기(507, 508, 509)로부터 출력되어 온 각각의 비트 스트림으로부터 하나의 중첩된 비트 스트림을 생성한다. 생성된 이 비트 스트림은 후술하는 데이터 재생 장치(1)로 송신된다.

참조 부호 1600은 데이터 송신 장치 본체이다.

참조 부호 1601은 CPU로, 송신 장치(1600) 전체의 제어를 행하는 프로그램 코드를 이 프로그램 코드가 저장된 ROM(1602)으로부터 판독함으로써 실행한다.

참조 부호 1602는 상술한 ROM으로, 상술한 프로그램 코드 이외에도, 1차 암호 키 생성부(506) 및 조작부(1605)를 이용하여 1차 암호 키를 생성할 때에 이용하는 문자 코드 등을 저장하고 있다.

참조 부호 1603은 RAM으로, CPU(1601)가 상술한 프로그램 코드를 실행하고 있을 때에 워크 영역으로서 이용된다.

참조 부호 1604는 외부 기억 장치로, 1차 암호 키를 생성할 때에 이용하는 패스워드를 사전에 몇 개 보존한다.

참조 부호 1605는 상술한 조작부이다.

참조 부호 1606은 표시부로, CRT나 액정 화면 등으로 구성되어 있고, 외부 기억 장치(1604)에 보존되어 있는 몇 개의 패스워드를 표시하거나, 송신 장치(1600)의 시스템 메시지 등을 표시한다.

참조 부호 1607은 상술한 각 부를 연결하는 버스이다.

이상의 구성에 기초한 본 실시 형태의 데이터 송신 장치(1600)에서의 처리에대하여 설명한다.

도 25는 도 24에서의 데이터 송신 장치(1600)의 처리의 흐름을 알기 쉽게 설명하기 위해 구성한 블록도이다. 또한, 도 25에서 도 24와 동일 요소에는 동일 부호를 붙이고 있다.

데이터 송신 장치(1600)의 처리 동작을 도 26의 흐름도를 참조하면서 설명한다.

우선, 외부의 기기로부터 입력된 BIFS 및 각 미디어의 소스가, 각각 각 인코더(501∼504)에 입력된다(단계 S1701).

상기 각 인코더(501∼504)에 입력된 BIFS 및 각 미디어의 소스는 부호화된다(단계 S1702).

1차 암호 키 생성부(505)로부터 사용자에 의해 1차 암호 키가 입력된다(단계 S1703).

BIFS용 인코더(501)에 의해 부호화된 BIFS의 비트 스트림은, BIFS용 암호화기(506)에서, 1차 암호 키 생성부(505)로부터 사용자에 의해 입력된 1차 암호 키에 의해 암호화된다(단계 S1704).

암호화된 BIFS의 비트 스트림은 멀티플렉서(510)로 출력된다. 그 때, BIFS용 암호화기(506)에서, BIFS용 인코더(501)에서 생성된 BIFS의 체크섬과, 상술한 1차 암호 키를 이용하여 각 미디어용의 2차 암호 키를 생성한다(단계 S1705).

한편, 각 미디어용의 인코더(502, 503, 504)에서 부호화된 각 미디어의 비트 스트림은, 각 미디어의 암호화기(507, 508, 509)에서 상술한 2차 암호 키를 이용하여 암호화한다(단계 S1706).

상술한 바와 같이 암호화된 모든 비트 스트림을 멀티플렉서(510)에 의해 중첩한다(단계 S1707).

또한, 각 미디어용의 2차 암호 키의 생성 방법 및 1차 암호 키를 이용한 BIFS의 암호화 방법에 관한 정보는 IPMP(스트림)에 저장되어, 멀티플렉서(510)로 출력된다.

멀티플렉서(510)에서는 입력한, 암호화된 BIFS 및 각 미디어의 비트 스트림 및 IPMP를 전부 중첩하여, 도 27에 도시하는 구조의 하나인 비트 스트림을 생성한다. 생성된 비트 스트림은 후술하는 데이터 재생 장치(1)로 송신된다(단계 S1708).

또한, 도 27에서, 참조 부호 1201은 헤더로, 비트 스트림의 프로파일 레벨 정보, 디코더의 설정 정보, 각 오브젝트의 속성 정보 등이 기술되어 있다. 참조 부호 1202는 IPMP 스트림, 참조 부호 1203은 BIFS 스트림, 참조 부호 1204는 이미지 스트림이다.

참조 부호 1205, 1207, 1209는 각각 비디오 스트림이고, 참조 부호 1206, 1208, 1210은 오디오 스트림이다. 이와 같이 비디오·오디오 등의 실시간 재생과 동기가 필요한 미디어는 교대로 중첩되는 경우가 많다.

본 실시예에서는 BIFS 및 비디오의 비트 스트림(1205, 1207, 1209)과 오디오의 비트 스트림(1206, 1208, 1210)이 각각 암호화됨으로써, 보호되고 있다.

다음으로, 제3 실시예에서의 데이터 재생 장치(1)의 내부의 블록도를 도 28에 도시한다.

참조 부호 1은 본 실시 형태에서의 데이터 재생 장치이다.

참조 부호 101은 비트 스트림 수신부로, 데이터 송신 장치(1600)로부터 송신되어 온 상술한 비트 스트림을 수신한다. 또한, 비트 스트림 수신부(101)는 반드시 통신 회선으로부터의 수신으로 한정되지 않고, 데이터 송신 장치(1600)에서 생성된 비트 스트림을 플로피 디스크나 CD-ROM 등의 기억 매체에 저장하고, 이 기억 매체로부터 판독해도 된다.

참조 부호 102는 디멀티플렉서로, 송신 장치(1600)로부터 송신되어 온 비트 스트림으로부터, 상술한 각 미디어 및 BIFS 및 IPMP의 비트 스트림을 추출한다.

참조 부호 103은 IPMP 매니저로, 인증 처리 장치(114)에서 상술한 각 미디어를 재생하고자 하는 사용자가 인증되었다고 하는 정보가 IPMP 매니저(103)에 입력된 경우에, BIFS용 암호 해독기(104)에 대하여 동작을 허가한다. 또한, 디멀티플렉서(102)로부터의 IPMP에 저장된 BIFS의 암호화 방법에 관한 정보를 판독하여, BIFS용 암호 해독기(104)에 대하여 암호 해독 지시를 보낸다.

참조 부호 104는 BIFS용 암호 해독기로, IPMP 매니저(103)로부터 동작이 허가된 경우에만 동작한다. 그 동작 내용으로서는, 디멀티플렉서(102)로부터 입력된 암호화된 BIFS에 대하여, 인증 처리 장치(114)로부터의 1차 암호 키를 이용하여 IPMP 매니저(103)로부터의 지시에 기초하여 암호 해독을 행하고, 암호 해독된 BIFS를 BIFS용 디코더(108)로 보낸다. 그와 동시에, 암호 해독된 BIFS의 체크섬을 취득하고, 이 체크섬과 인증 처리 장치(114)로부터의 1차 암호 키를 이용하여, 디멀티플렉서(102)로부터의 IPMP에 저장된 각 미디어용의 2차 암호 키의 생성 방법에 기초하여 2차 암호 키를 생성하고, 각각 각 미디어용의 암호 해독기(105, 106, 107)로 출력한다.

참조 부호 105는 이미지용 암호 해독기로, 상술한 2차 암호 키를 이용하여 디멀티플렉서(102)로부터 입력된 이미지의 비트 스트림의 암호 해독을 행하여, 이미지용 디코더(109)에 암호 해독된 이미지의 비트 스트림을 출력한다.

참조 부호 106은 비디오용 암호 해독기로, 상술한 2차 암호 키를 이용하여 디멀티플렉서(102)로부터 입력된 비디오의 비트 스트림 데이터의 암호 해독을 행하여, 비디오용 디코더(110)에 암호 해독된 비디오의 비트 스트림을 출력한다.

참조 부호 107은 오디오용 암호 해독기로, 상술한 2차 암호 키를 이용하여 디멀티플렉서(102)로부터 입력된 오디오의 비트 스트림 데이터의 암호 해독을 행하여, 오디오용 디코더(111)에 암호 해독된 오디오의 비트 스트림을 출력한다.

참조 부호 108, 109, 110, 111은 각각 상술한 각 미디어용의 디코더이다. 또한 BIFS용 디코더(108)는 BIFS의 디코드 결과, 도 29에 도시하는 장면의 트리 정보를 생성한다. 이 트리 정보란, 각 미디어의 배치 정보나 상호 의존 관계 등을 나타내는 정보이다.

참조 부호 112는 렌더로, 최종적으로 각 미디어나 그에 부수되는 텍스쳐, 비디오·오디오를 상술한 트리 정보에 기초하여 배치하고, 표시·재생을 행하는 부분이다.

참조 부호 113은 출력용 디바이스로, 예를 들면, 이미지, 비디오는 TV 모니터에 표시되고, 오디오는 스피커로부터 재생된다.

참조 부호 114는 상술한 인증 처리로, 상술한 각 미디어를 재생하고자 하는 사용자의 패스워드를 상술한 1차 암호 키로 입력할 수 있다. 또한, 이 패스워드의 입력은 도시되지 않은 인증용 IC 카드를 이용하여 입력한다. 또한, 이 인증용 IC 카드에는 사용자 정보가 기재되어 있고, 이 사용자 정보를 인증 처리 장치(114)에 판독시켜도 된다. 또한, 본 실시 형태에서는 인증 처리 장치(114)의 내부 구조에 대해서는 특별히 한정하지 않는다.

참조 부호 115는 CPU로, ROM(117)에 저장된 후술하는 각 프로그램 코드에 기초하여 상술한 각 부를 제어한다.

참조 부호 116은 RAM으로, CPU(115)가 프로그램 코드를 실행하는 중에 사용하는 워크 메모리로서 사용되고 있다. 또한 출력 디바이스(113)에 포함되는 TV 모니터가 VRAM으로서 사용된다. 또한 비트 스트림 수신부(101)를 통해 외부로부터 입력된 비트 스트림 데이터를 일시적으로 저장할 수도 있다.

참조 부호 117은 ROM으로, CPU가 실행하는 각종 프로그램 코드가 저장되어 있다.

참조 부호 118은 상술한 각 부를 연결하는 버스이다.

이상의 구성에 기초한 본 실시 형태의 데이터 재생 장치(1)에서의 처리에 대하여 설명한다.

도 30은 도 28에서의 데이터 재생 장치(1)의 처리의 흐름을 알기 쉽게 설명하기 위해 구성한 블록도이다. 또한, 도 30에서 도 28과 동일 요소에는 동일 부호를 붙이고 있다.

데이터 재생 장치(1)의 처리 동작을 도 31의 흐름도를 참조하면서 설명한다.

데이터 송신 장치(1600)로부터 수신한 비트 스트림이 비트 스트림 수신부(101)를 통해 데이터 재생 장치(1)에 입력된다(단계 S1501).

입력된 비트 스트림으로부터 디멀티플렉서(102)에 의해, 각 비트 스트림(각 미디어 및 BIFS 및 IPMP)을 추출한다(단계 S1502).

추출된 IPMP는 IPMP 매니저(103)로, BIFS는 BIFS용 암호 해독기(104)로, 이미지 비트 스트림은 이미지용 암호 해독기(105)로, 비디오 비트 스트림은 비디오용 암호 해독기(106)로, 오디오 비트 스트림은 오디오용 암호 해독기(107)로 각각 출력된다(단계 S1503).

한편, 상술한 각 미디어를 재생하고자 하는 사용자의 인증 처리에서, 이 사용자가 인증된 경우(단계 S1504), 상술한 바와 같이 IPMP 매니저(103)에 의해 동작 허가를 얻은 BIFS용 암호 해독기(104)에서는, 상술한 바와 같이, BIFS의 암호 해독을 행하여, 해독된 BIFS 스트림을 BIFS용 디코더(108)로 보낸다(단계 S1505).

해독된 BIFS 스트림은 BIFS용 디코더(108)에 의해 디코드되어, 도 29에 도시하는 바와 같은 장면의 트리 정보를 생성한다(단계 S1506).

또한 동시에, BIFS용 암호 해독기(104)에서는 상술한 바와 같은 처리에 의해 생성된 각 미디어용의 2차 암호 키를 각 미디어의 암호 해독기(105∼107)로 보낸다(단계 S1507).

각 미디어용의 암호 해독기(105∼l07)에서, 각각의 미디어의 암호 해독이 행해져, 각각의 미디어의 비트 스트림이 각 미디어용의 디코더(109∼111)로 보내어진다(단계 S1508).

디코더로 보내어진 각 미디어는 디코드된다(단계 S1509). 디코드된 각 미디어는 렌더(112)에 의해 최종적으로 각 미디어나 그에 부수되는 텍스쳐, 비디오·오디오를 상술한 트리 정보에 기초하여 배치하고, 출력용 디바이스(113)에 의해, 이미지, 비디오는 TV 모니터에 표시되고, 오디오는 스피커로부터 재생된다(단계 S1510).

또한, 상기 실시 형태에서는, 2차 암호 키의 생성에 1차 암호 키와 BIFS의 체크섬을 이용하였지만, 2차 암호 키의 생성에는 그 외에도 1차 암호 키와 장면 중의 오브젝트의 수를 이용해도 된다.

이상 설명한 구성을 갖는 송신 장치 및 인증 장치와 이들 제어 방법을 이용함으로써, 장면 중에 포함되는 개개의 미디어에 대하여 시큐러티를 보호할 수 있다.

(실시 형태 4)

본 실시 형태에서는, 보호되고 있는 장면과 보호되고 있지 않은 장면으로 구성되어 있는 장면(이하, 혼합 장면)의 비트 스트림이 입력되면, 입력된 장면의 비트 스트림을 보호되고 있는 장면과 보호되고 있지 않은 장면으로 분할하는 데이터 재생 장치를 나타내며, 그에 대하여 설명한다.

또한, 본 실시 형태에서의 데이터 재생 장치에 비트 스트림을 송신하는 데이터 송신 장치는 제3 실시 형태에 이용한 데이터 송신 장치와 같은 것을 이용한다.

도 32는 본 실시 형태에서의 데이터 재생 장치의 내부의 블록도를 나타낸다. 또한, 도 32에서 도 30과 동일 요소에는 동일 부호를 붙이고, 그 설명을 생략한다.

참조 부호 201은 보호되고 있지 않은 장면의 비트 스트림으로, 데이터 송신 장치(1600)로부터 비트 스트림 수신부(101)를 통해 입력된 혼합 장면의 비트 스트림이 디멀티플렉서(102)에서 분할된 결과의 비트 스트림이다.

참조 부호 202는 보호되고 있는 장면의 비트 스트림으로, 데이터 송신 장치(1600)로부터 비트 스트림 수신부(101)를 통해 입력된 혼합 장면의 비트 스트림이 디멀티플렉서(102)에서 분할된 결과의 비트 스트림이다.

또한, 본 실시예에서의 장면은 도 33에 도시한다. 즉, 박스(701)에는 화상 텍스쳐가 부가되어 있고, 원통(702)에는 비디오 텍스쳐가 부가되어 있으며, 또한 동시에 오디오가 재생되어 있는 장면으로 한다.

또한, 본 실시 형태에서의 혼합 장면은, 도 34에 도시하는 바와 같이, 박스 및 박스에 부가되는 이미지 텍스쳐는 보호되고 있지 않고, 원통 및 비디오 텍스쳐 및 오디오만이 보호되고 있는 것을 나타내고 있다. 보호되고 있는 데이터를 재생할 수 없는 경우에, 혼합 장면을 출력용 디바이스(113)로 출력하면, 도 35에 도시한 결과로 된다.

도 36에 보호·비보호된 장면을 중첩한 상술한 혼합 장면의 비트 스트림의 구조를 도시한다.

음영 부분이 보호되고 있는 비트 스트림이다. 예를 들면, 참조 부호 403은 보호되지 않는 BIFS의 비트 스트림 부분이고, 참조 부호 405는 보호된 BIFS의 비트스트림 부분이다. 이와 같이 BIFS의 비트 스트림이 분할되어 있는 것을 알 수 있다.

그리고 보호되고 있지 않은 장면의 비트 스트림(201)은 그대로 BIFS용 디코더(108b)에서 부호화되어, 도 34에 도시한 장면의 트리 정보를 생성한다. 한편, 보호되고 있는 장면의 비트 스트림(202)이 BIFS용 암호 해독기(104)에서 암호 해독된다. 그 후에 제3 실시 형태에서 설명한 바와 같이, BIFS용 암호 해독기(104)에서 각 미디어용의 2차 암호 키가 생성되어, 비디오용 암호 해독기(106) 및 오디오용 암호 해독기(107)로 이 2차 암호 키가 출력된다. 이하, 제3 실시 형태와 동일한 처리이다.

이상 설명한 구성을 갖는 인증 장치 및 이들 제어 방법을 이용함으로써, 보호되고 있는 장면과 보호되고 있지 않은 장면으로 구성되어 있는 혼합 장면에 대해서도, 이 혼합 장면에 포함되는 개개의 미디어에 대하여 시큐러티를 보호할 수 있다.

(다른 실시 형태)

또한, 상술한 제1 내지 제4 실시 형태는, 복수의 기기(예를 들면 호스트 컴퓨터, 인터페이스 기기, 리더, 프린터 등)로 구성되는 시스템에 적용해도 되고, 하나의 기기로 이루어지는 장치(예를 들면, 복사기, 팩시밀리 장치 등)에 적용해도 된다.

또한, 상술한 실시 형태의 목적은, 상술한 실시 형태의 기능을 실현하는 소프트웨어의 프로그램 코드를 기록한 기억 매체(또는 기록 매체)를, 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터(또는 CPU나 MPU)가 기억 매체에 저장된 프로그램 코드를 판독하여 실행함으로써, 달성되는 것은 물론이다. 이 경우, 기억 매체로부터 판독된 프로그램 코드 자체가 상술한 실시 형태의 기능을 실현하게 되며, 그 프로그램 코드를 기억한 기억 매체는 상술한 실시 형태를 구성하게 된다. 또한, 컴퓨터가 판독한 프로그램 코드를 실행함으로써, 상술한 실시 형태의 기능이 실현될 뿐만 아니라, 그 프로그램 코드의 지시에 기초하여, 컴퓨터 상에서 가동되어 있는 오퍼레이팅 시스템(OS) 등이 실제의 처리의 일부 또는 전부를 행하여, 그 처리에 의해 상술한 실시 형태의 기능이 실현되는 경우도 포함되는 것은 물론이다.

또한, 기억 매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기입된 후, 그 프로그램 코드의 지시에 기초하여, 그 기능 확장 카드나 기능 확장 유닛에 구비되는 CPU 등이 실제 처리의 일부 또는 전부를 행하고, 그 처리에 의해 상술한 실시 형태의 기능이 실현되는 경우도 포함되는 것은 물론이다.

Claims

각각 소정의 정보를 갖는 복수의 오브젝트 스트림을 재생하는 데이터 처리 방법에 있어서,

입력 데이터로부터 각 오브젝트의 이용 가부를 제어하는 계층화된 관리 정보를 추출하는 관리 정보 추출 단계와,

상기 관리 정보 추출 단계에서 추출된 관리 정보에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는지의 여부를 판단하는 상위 판단 단계와,

상기 상위 판단 단계의 판단 결과에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는 경우에, 해당 주목 오브젝트의 이용을 금지하는 제어 단계

를 포함하는 것을 특징으로 하는 데이터 처리 방법.
제1항에 있어서,

상기 오브젝트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 방법.
제2항에 있어서,

상기 관리 정보는 IPMP(Intellectual Property Management and Protection) 스트림에 포함되는 정보인 것을 특징으로 하는 데이터 처리 방법.
제1항에 있어서,

상기 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제2항 또는 제3항에 있어서,

상기 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제4항에 있어서,

소정 레벨의 계층 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제1항에 있어서,

상기 관리 정보는 각각 각 오브젝트 스트림과 관련지어져 관리되는 것을 특징으로 하는 데이터 처리 방법.
제1항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보에의 포인터 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제1항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제4항에 있어서,

상기 관리 정보는 각각 각 오브젝트 스트림과 관련지어져 관리되는 것을 특징으로 하는 데이터 처리 방법.
제4항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보에의 포인터 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제4항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 방법.
제3항에 있어서,

상기 관리 정보는 장면 기술 정보(BIFS: Binary Format for Scene) 스트림에 대한 관리 정보인 것을 특징으로 하는 데이터 처리 방법.
제13항에 있어서,

상기 장면 기술 정보 스트림에 의해 장면이 갱신될 때마다 오브젝트 스트림의 이용 제어 방법을 갱신하는 것을 특징으로 하는 데이터 처리 방법.
각각 소정의 정보를 갖는 복수의 오브젝트 스트림을 재생하는 데이터 처리 장치에 있어서,

입력 데이터로부터 각 오브젝트의 이용 가부를 제어하는 계층화된 관리 정보를 추출하는 관리 정보 추출 수단과,

상기 관리 정보 추출 수단으로 추출된 관리 정보에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는지의 여부를 판단하는 상위 판단 수단과,

상기 상위 판단 수단의 판단 결과에 따라, 주목 오브젝트의 상위 오브젝트의 이용이 금지되어 있는 경우에, 해당 주목 오브젝트의 이용을 금지하는 제어 수단

을 포함하는 것을 특징으로 하는 데이터 처리 장치.
제15항에 있어서,

상기 오브젝트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 장치.
제16항에 있어서,

상기 관리 정보는 IPMP(Intellectual Property Management and Protection) 스트림에 포함되는 정보인 것을 특징으로 하는 데이터 처리 장치.
제15항에 있어서,

상기 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제16항 또는 제17항에 있어서,

상기 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제18항에 있어서,

소정 레벨 계층의 관리 정보가 암호화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제15항에 있어서,

상기 관리 정보는 각각 각 오브젝트 스트림과 관련지어져 관리되는 데이터 처리 장치.
제15항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보에의 포인터 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제15항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제18항에 있어서,

상기 관리 정보는 각각 각 오브젝트 스트림과 관련지어져 관리되는 데이터 처리 장치.
제18항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보에의 포인터 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제18항에 있어서,

상기 관리 정보는 관리 정보 중에 다른 관리 정보를 포함함으로써 계층화되어 있는 것을 특징으로 하는 데이터 처리 장치.
제17항에 있어서,

상기 관리 정보는 장면 기술 정보(BIFS) 스트림에 대한 관리 정보인 것을 특징으로 하는 데이터 처리 장치.
제27항에 있어서,

상기 장면 기술 정보 스트림에 의해 장면이 갱신될 때마다 오브젝트 스트림의 이용 제어 방법을 갱신하는 것을 특징으로 하는 데이터 처리 장치.
제1항 내지 제4항 및 제6항 내지 제14항 중 어느 하나의 항에 기재된 데이터 처리 방법을 실행하는 프로그램 소프트웨어를 기억하는 것을 특징으로 하는 기억 매체.
1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 수단과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과,

상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 수단과,

상기 제1 암호화 수단의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 수단에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 수단과,

상기 중첩 수단에 의한 비트 스트림을 외부의 기기로 송신하는 송신 수단

을 포함하는 것을 특징으로 하는 데이터 처리 장치.
제30항에 있어서,

상기 생성 수단은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것을 특징으로 하는 데이터 처리 장치.
제30항에 있어서,

상기 비트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 장치.
제32항에 있어서,

상기 장면 기술 정보는 MPEG-4에 준거한 BIFS(Binary Format for Scene) 정보인 것을 특징으로 하는 데이터 처리 장치.
외부의 기기로부터 송신된 비트 스트림을 수신하는 수신 수단과,

1차 암호 키를 검출하는 검출 수단과,

상기 검출 수단으로 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 수단과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과,

상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 수단과,

상기 제1 해독 수단에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 수단에 의한 미디어 스트림을 재생하는 재생 수단

을 포함하는 것을 특징으로 하는 데이터 처리 장치.
제34항에 있어서,

상기 검출 수단은 상기 1차 암호 키를 저장한 기억 매체로부터, 이 1차 암호 키를 검출하는 것을 특징으로 하는 데이터 처리 장치.
제34항 또는 제35항에 있어서,

상기 생성 수단은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것을 특징으로 하는 데이터 처리 장치.
제34항에 있어서,

상기 비트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 장치.
제37항에 있어서,

상기 장면 기술 정보는 MPEG-4에 준거한 BIFS(Binary Format for Scene) 정보인 것을 특징으로 하는 데이터 처리 장치.
데이터 송신 장치와 데이터 재생 장치로 구성되는 데이터 처리 시스템에 있어서,

상기 데이터 송신 장치는,

1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 수단과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과,

상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 수단과,

상기 제1 암호화 수단의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 수단에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 수단과,

상기 중첩 수단에 의한 비트 스트림을 상기 인증 장치로 송신하는 송신 수단

을 포함하고,

상기 데이터 재생 장치는,

상기 송신 장치로부터 송신된 비트 스트림을 수신하는 수신 수단과,

1차 암호 키를 검출하는 검출 수단과,

상기 검출 수단으로 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 수단과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 수단과,

상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 수단과,

상기 제1 해독 수단에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 수단에 의한 미디어 스트림을 재생하는 재생 수단

을 포함하는 것을 특징으로 하는 데이터 처리 시스템.
1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 공정과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과,

상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 공정과,

상기 제1 암호화 공정에서의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 공정에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 공정과,

상기 중첩 공정에 의한 비트 스트림을 외부의 기기로 송신하는 송신 공정

을 포함하는 것을 특징으로 하는 데이터 처리 방법.
제40항에 있어서,

상기 생성 공정은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것을 특징으로 하는 데이터 처리 방법.
제39항에 있어서,

상기 비트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 방법.
제42항에 있어서,

상기 장면 기술 정보는 MPEG-4에 준거한 BIFS(Binary Format for Scene) 정보인 것을 특징으로 하는 데이터 처리 방법.
외부의 기기로부터 송신된 비트 스트림을 수신하는 수신 공정과,

1차 암호 키를 검출하는 검출 공정과,

상기 검출 공정에서 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 공정과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과,

상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 공정과,

상기 제1 해독 공정에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 공정에 의한 미디어 스트림을 재생하는 재생 공정

을 포함하는 것을 특징으로 하는 데이터 처리 방법.
제44항에 있어서,

상기 검출 공정에서는 상기 1차 암호 키를 저장한 기억 매체로부터, 이 1차 암호 키를 검출하는 것을 특징으로 하는 데이터 처리 방법.
제44항에 있어서,

상기 생성 공정은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것을 특징으로 하는 데이터 처리 방법.
재45항에 있어서,

상기 생성 공정은, 또한 상기 장면 기술 정보를 이용하여 상기 2차 암호 키를 생성하는 것을 특징으로 하는 데이터 처리 방법.
제44항에 있어서,

상기 비트 스트림은 MPEG-4에 준거한 비트 스트림인 것을 특징으로 하는 데이터 처리 방법.
제48항에 있어서,

상기 장면 기술 정보는 MPEG-4에 준거한 BIFS(Binary Format for Scene) 정보인 것을 특징으로 하는 데이터 처리 방법.
데이터 송신 장치와 데이터 재생 장치로 구성되는 데이터 처리 시스템의 데이터 처리 방법에 있어서,

상기 송신 장치의 데이터 처리 방법은,

1차 암호 키에 의해 장면 기술 정보를 암호화하는 제1 암호화 공정과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과,

상기 2차 암호 키를 이용하여 미디어 스트림을 암호화하는 제2 암호화 공정과,

상기 제1 암호화 공정에서의 암호화 방법을 나타내는 비트 스트림과, 상기 제1 및 제2 암호화 공정에 의한 결과의 비트 스트림을 중첩함으로써 하나의 비트 스트림을 생성하는 중첩 공정과,

상기 중첩 공정에 의한 비트 스트림을 상기 인증 장치로 송신하는 송신 공정

을 포함하고,

상기 데이터 재생 장치의 데이터 처리 방법은,

상기 송신 장치로부터 송신된 비트 스트림을 수신하는 수신 공정과,

1차 암호 키를 검출하는 검출 공정과,

상기 검출 공정에서 검출된 1차 암호 키를 이용하여, 수신한 상기 비트 스트림에 포함되는 암호 해독 방법에 기초하여, 수신한 상기 비트 스트림에 포함되는 암호화된 장면 기술 정보의 암호 해독을 행하는 제1 해독 공정과,

상기 1차 암호 키를 이용하여 2차 암호 키를 생성하는 생성 공정과,

상기 2차 키를 이용하여 상기 비트 스트림에 포함되는 암호화된 미디어 스트림의 암호 해독을 행하는 제2 해독 공정과,

상기 제1 해독 공정에 의한 장면 기술 정보에 기초하여, 상기 제2 해독 공정에 의한 미디어 스트림을 재생하는 재생 공정

을 포함하는 것을 특징으로 하는 데이터 처리 방법.
제40항 내지 제50항 중 어느 하나의 항에 기재된 데이터 처리 방법을 실행하는 프로그램 소프트웨어를 기억하는 것을 특징으로 하는 기억 매체.