KR20090098802A - 동화상 부호화 방법, 동화상 부호화 장치, 동화상 기록 방법, 기록 매체, 동화상 재생 방법, 동화상 재생 장치 및 동화상 재생 시스템 - Google Patents

Abstract

재생시의 처리 부하를 증대시키지 않고 재생 중단을 발생시키지 않는 동화상 부호화 방법을 제공한다.

제1 동화상과, 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 방법이고, 영상 스트림 중, 부분 구간의 집합이고 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 단계(S5301~S5303)와, 결정된 연속 재생 구간에 있어서는, 오버레이에 있어서의 휘도 키에 의한 투과 처리에 이용되는 임계값을 변경하지 않는다는 제약을 만족하도록 연속 재생 구간을 구성하는 복수의 부분 구간에서의 제1 및 제2 동화상을 부호화하는 단계(S5304)와 연속 재생 구간에서 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 단계(S5305)를 포함한다.

Description

동화상 부호화 방법, 동화상 부호화 장치, 동화상 기록 방법, 기록 매체, 동화상 재생 방법, 동화상 재생 장치 및 동화상 재생 시스템{DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE ENCODING DEVICE, DYNAMIC IMAGE RECORDING METHOD, RECORDING MEDIUM, DYNAMIC IMAGE REPRODUCING METHOD, DYNAMIC IMAGE REPRODUCING DEVICE, AND DYNAMIC IMAGE REPRODUCING SYSTEM}

본 발명은, 휘도 레벨의 임계값에 따라 전경(前景)과 배경이 분리 가능한 부호화 스트림을 생성할 때에, 임계값을 전환하고 동화상을 부호화하는 동화상 부호화 방법, 동화상 기록 방법, 동화상 재생 방법 및 부호화 스트림을 기록한 기록 매체 등에 관한 것이다.

종래의 기술인, DVD-Video 디스크(이하 단순히 DVD라고 부름)에 대해 설명한다.

도 1은, DVD의 구조를 나타낸 도면이다. 도 1의 하단에 나타낸 바와 같이, DVD 디스크 상에는 리드·인으로부터 리드·아웃까지 사이에 논리 어드레스 공간이 설치되고, 논리 어드레스 공간의 선두로부터 파일 시스템의 볼륨 정보가 기록되고, 이어서 영상 음성 등의 애플리케이션 데이터가 기록되어 있다.

파일 시스템이란, ISO9660이나 UDF(Universal Disc Format)이고, 디스크 상 의 데이터를 디렉토리 또는 파일로 불리는 단위로 표현하는 구조이다. 일상 사용하고 있는 PC(퍼스널 컴퓨터)의 경우에도, FAT 또는 NTFS라고 불리는 파일 시스템을 통함으로써, 디렉토리나 파일이라는 구조로 하드디스크에 기록된 데이터가 컴퓨터 상에서 표현되고 유용성을 높이고 있다.

DVD일 경우, UDF 및 ISO9660 양쪽 모두를 사용하고 있어(양쪽 모두를 합쳐서 「UDF브리지」라고 부를 때가 있음), UDF 또는 ISO9660 어느 파일 시스템 드라이버에 의해서도 데이터의 판독을 할 수 있도록 되어 있다. 물론, 리라이터블(re-writable)형의 DVD데스크인 DVD-RAM/R/RW에서는, 이들 파일 시스템을 통해, 물리적으로 데이터의 읽기, 쓰기, 삭제가 가능하다.

DVD 상에 기록된 데이터는, UDF 브리지를 통해, 도 1 좌상에 나타내는 디렉토리 또는 파일로서 볼 수 있다. 루트 디렉토리(도중 「ROOT」)의 바로 밑에 「VIDEO_TS」라고 불리는 디렉토리가 놓여지고, 여기에 DVD의 애플리케이션 데이터가 기록되어 있다. 애플리케이션 데이터는, 복수의 파일로서 기록되고, 주된 파일로서 이하의 것이 있다.

VIDEO_TS.IFO 디스크 재생 제어 정보 파일

VTS_01_0.IFO 비디오 타이틀 세트 ＃1 재생 제어 정보 파일

VTS_O1_0.VOB 비디오 타이틀 세트 ＃1 스트림 파일

......

확장자로서 2개의 종류가 규정되어 있고 「IFO」는 재생 제어 정보가 기록된 파일이고, 「VOB」는 AV 데이터인 MPEG 스트림이 기록된 파일이다. 재생 제어 정보 란, DVD에서 채용된 인터액티비티(사용자의 조작에 따라 재생을 동적으로 변화시키는 기술)를 실현하기 위한 정보나, 메타 데이터와 같은 타이틀이나 AV 스트림에 부속되는 정보 등의 것이다. 또, DVD에서는 일반적으로 재생 제어 정보를 내비게이션 정보라고 부를 때가 있다.

재생 제어 정보 파일은, 디스크 전체를 관리하는 「VIDEO_TS. IFO」와, 개개의 비디오 타이틀 세트(DVD에서는 복수의 타이틀, 환언하면 다른 영화나 다른 버젼의 영화를 한 장의 디스크에 기록하는 것이 가능하다.)마다의 재생 제어 정보인 「VTS_01_0. IFO」가 있다. 여기에서, 파일명 바디에 있는 「01」은 비디오 타이틀 세트의 번호를 나타내고, 예를 들면, 비디오 타이틀 세트 ＃2일 경우는, 「VTS_O2_0. IFO」가 된다.

도 1의 우측 상부는, DVD의 애플리케이션 층에서의 DVD 내비게이션 공간이고, 상술한 재생 제어 정보가 전개된 논리 구조 공간이다. 「VIDEO_TS. IFO」내의 정보는, VMGI(Video Manager Information)로서 「VTS_01_0.IFO」 또는, 다른 비디오 타이틀 세트마다 존재하는 재생 제어 정보는 VTSI(Video Title Set Information)로서 DVD 내비게이션 공간에 전개된다.

VTSI 중에는 PGC(Program Chain)라고 불리는 재생 시퀀스의 정보인 PGCI(Program Chain Information)가 기술되어 있다. PGCI는, Cell의 집합과 커맨드라고 불리는 일종의 프로그래밍 정보에 의해 구성되어 있다. Cell 자신은 VOB(Video Object의 약자이고, MPEG 스트림을 나타냄)의 일부 구간 또는 전부 구간의 집합이고, Cell의 재생은, 당해 VOB의 Cell에 의해 지정된 구간을 재생하는 것 을 의미한다.

커맨드는, DVD의 가상 머신에 의해 처리되는 것이고, 브라우저 상에서 실행되는 JAVA(등록상표) 스크립트 등에 가까운 것이다. 그렇지만 JAVA(등록상표) 스크립트가 논리 연산 외에 윈도우나 브라우저의 제어(예를 들면, 새로운 브라우저의 윈도우를 여는 등)를 실시하는 데 대해, DVD의 커맨드는, 논리 연산 외에 AV 타이틀의 재생 제어, 예를 들면, 재생하는 챕터의 지정 등을 실행만 하는 점에서 다르다.

Cell은 디스크 상에 기록되어 있는 VOB의 개시 및 종료 어드레스(디스크 상에서의 논리 기록 어드레스)를 그 내부 정보로서 가지고 플레이어는 Cell에 기술된 VOB의 개시 및 종료 어드레스 정보를 사용하고 데이터의 판독, 재생을 실행한다.

도 2는 AV 스트림 중에 매입되어 있는 내비게이션 정보를 설명하는 개략도이다. DVD의 특징인 인터액티비티는 상술한 「VIDEO_TS. IFO」나 「VTS_O1_0. IFO」 등에 기록되어 있는 내비게이션 정보만에 의해 실현되는 것이 아니라, 여러 중요한 정보는 내비게이션 팩(내비팩 또는, NV_PCK라고 칭함)이라고 불리는 전용 케리어를 사용하여 VOB 내에 영상, 음성 데이터와 같이 다중화되어 있다.

여기에서는 간단한 인터액티비티의 예로서 메뉴를 설명한다. 메뉴 화면 상에는, 여러 버튼이 나타나고, 각각의 버튼에는 당해 버튼이 선택 실행되었을 때의 처리가 정의되어 있다. 또, 메뉴 상에는 하나의 버튼이 선택되어 있고(하이라이트에 의해 선택 버튼 상에 반투명색이 오버레이되어 있고 그 버튼이 선택 상태인 것을 사용자에게 나타낸다), 사용자는, 리모컨의 상하 좌우 키를 사용하여, 선택 상태의 버튼을 상하 좌우의 어느 버튼으로 이동시킬 수 있다. 리모컨의 상하 좌우 키를 사용하여, 선택 실행하고 싶은 버튼까지 하이라이트를 이동시켜, 결정함(결정 키를 누른다)으로써 대응하는 커맨드의 프로그램이 실행된다. 일반적으로는 대응하는 타이틀이나 챕터의 재생이 커맨드에 의해 실행되어 있다.

도 2의 좌측 상부는 NV_PCK 내에 저장되는 제어 정보의 개요를 나타낸다.

NV_PCK 내에는, 하이라이트 칼라 정보와 개개의 버튼 정보 등이 포함되어 있다. 하이라이트 칼라 정보에는, 칼라 팔레트 정보가 기술되고, 오버레이 표시되는 하이라이트의 반투명색이 지정된다. 버튼 정보에는, 개개의 버튼의 위치 정보인 직사각형 영역 정보와, 당해 버튼으로부터 다른 버튼으로의 이동 정보(사용자의 상하 좌우 키 조작 각각에 대응하는 이동처 버튼의 지정)와, 버튼 커맨드 정보(당해 버튼이 결정되었을 때에 실행되는 커맨드)가 기술되어 있다.

메뉴 상의 하이라이트는, 도 2의 중앙 우측 상부에 나타낸 바와 같이, 오버레이 화상으로서 만들어진다. 오버레이 화상은, 버튼 정보의 직사각형 영역 정보에 칼라 팔레트 정보의 색을 칠한 것이다. 이 오버레이 화상은 도 2의 우부에 나타내는 배경 화상과 합성되어 화면상에 표시된다.

상술한 바와 같이 하여, DVD에서는 메뉴를 실현한다. 또, 내비게이션 데이터의 일부를 NV_PCK를 사용해 스트림 중에 매입하고 있는 것은, 스트림과 동기하여 동적으로 메뉴 정보를 갱신하거나(예를 들면, 영화 재생의 도중 5분~10분 사이에만 메뉴가 표시되는 등), 동기 타이밍이 문제가 되기 쉬운 애플리케이션의 경우에도, 문제 없이 실현될 수 있도록 했기 때문이다. 또, 하나의 큰 이유는, NV_PCK에는 특 수 재생을 지원하기 위한 정보를 저장하고, DVD 재생시의 빨리 감기, 되감기 등의 비통상 재생시에도 원활히 AV 데이터를 디코드하고 재생시키는 등, 사용자의 조작성을 향상시키기 위해서이다.

도 3은, DVD의 스트림인 VOB의 이미지이다. 도면에 나타낸 바와 같이, 영상, 음성, 자막 등의 데이터(도 3의 a단)는, MPEG 시스템 규격(ISO/IEC13818-1)에 의거하여, 패킷 및 팩화하고(도 3의 b단), 각각을 다중화하고 1개의 MPEG 프로그램 스트림으로 한다(도 3의 c단). 또, 상술한 대로 인터랙티브를 실현하기 위한 버튼 커맨드를 포함한 NV_PCK도 함께 다중화되어 있다.

MPEG 시스템의 다중화의 특징은, 다중화하는 개개의 데이터는, 그 디코드 순서에 의거하는 비트열이 되어 있지만, 다중화되는 데이터 사이, 즉, 영상, 음성, 자막의 사이는 반드시 재생 순서에 의거하여 비트열이 형성되어 있는 것이 아니다. 이는 다중화된 MPEG 시스템 스트림의 디코더 모델(일반적으로 System Target Decoder 또는 STD로 불리는 (도 3의 d단))이 다중화를 해제한 후에 개개의 엘리멘트리 스트림에 대응하는 디코더 버퍼를 가지고, 디코드 타이밍까지 일시적으로 데이터를 축적하는 것에 유래한다. 예를 들면 DVD-Video에서 규정되는 디코더 버퍼는, 개개의 엘레멘터리 스트림마다 사이즈가 다르고, 영상에 대해서는, 232KB, 음성에 대해서는 4KB, 자막에 대해서는 52KB를 각각 가진다.

즉, 영상 데이터와 나란히 다중화되어 있는 자막 데이터가 반드시 동일 타이밍으로 디코드 혹은 재생되는 것이 아니다.

한편, 차세대 DVD 규격으로서 BD(Blu-ray Disc)가 있다.

DVD에서는, 표준 화질(Standard Definition 화질)의 영상에 대한, 패킷 전송(DVD-Video 규격)이나 아날로그 방송의 기록(DVD Video Recording 규격)을 목적으로 해 왔지만, BD에서는, 고정밀 화질(High Definition 화질)의 디지털 방송을 그대로 기록(Blu-Ray Disc Rewritable 규격, 이하 BD-RE)할 수 있다.

그러나, BD-RE 규격은 널리 디지털 방송의 기록을 목적으로 하기 때문에, 특수 재생의 지원 정보 등이 최적화되어 있지 않다. 장래적으로, 고정밀 영상을 디지털 방송보다 높은 레이트로 패킷 전송시키는 것을 생각하면(BD-ROM 규격), 비통상 재생시에도 사용자에게 스트레스를 주지 않는 구조가 필요하게 된다.

또, BD에서의 동화상의 부호화 방식의 하나로서 MPEG-4 AVC(Advanced Video Coding)가 채용되어 있다. MPEG-4 AVC란, ISO/IEC(국제 표준화 기구 국제 전기 표준 회의)의 JTC1/SC29/WG11와 ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)가 공동으로 책정한 고압축율의 차세대 부호화 방식이다.

일반적으로 동화상의 부호화에서는, 시간 방향 및 공간 방향의 장황성을 절감함으로써 정보량의 압축을 행한다. 그래서 시간적인 장황성의 절감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽쳐를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 실행해, 얻어진 예측 화상과 부호화 대상 픽쳐의 차분값에 대해 부호화를 실행한다. 여기에서, 픽쳐란 한 장의 화면을 나타내는 용어이고, 프로그레시브 화상에서는 프레임을 의미하고, 인터레이스 화상에서는 프레임 혹은 필드를 의미한다. 여기에서, 인터레이스 화상이란, 1개의 프레임이 시각이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는, 1개의 프레임을 프레임대로 처리하거나 2개의 필드로서 처리하거나 프레임 내의 블록마다 프레임 구조 또는 필드 구조로서 처리하거나 할 수 있다.

참조 화상을 가지지 않고 화면 내 예측 부호화를 실행하는 것을 I픽쳐라고 부른다. 또, 1장의 픽쳐만을 참조하여 화면간 예측 부호화를 실행하는 것을 P픽쳐라고 부른다. 또, 동시에 2장의 픽쳐를 참조하여 화면간 예측 부호화를 실행할 수 있는 것을 B픽쳐라고 부른다. B픽쳐는 표시 시간이 전방 혹은 후방으로부터 임의의 조합으로서 2장의 픽쳐를 참조하는 것이 가능하다. 참조 화상(참조 픽쳐)은 부호화 및 복호화의 기본 단위인 블록마다 지정할 수 있지만, 부호화를 실행한 비트 스트림 중에 먼저 기술되는 쪽의 참조 픽쳐를 제1 참조 픽쳐, 나중에 기술되는 쪽을 제2 참조 픽쳐로서 구별한다. 다만, 이러한 픽쳐를 부호화 및 복호화한 경우의 조건으로서 참조하는 픽쳐가 이미 부호화 및 복호화되어 있을 필요가 있다.

부호화하는 화상으로부터, 화면내 예측, 혹은 화면간 예측으로부터 얻어진 예측 신호를 뺀 잔차 신호는, 주파수 변환하여 양자화한 후에, 가변장 부호화되고 부호화 스트림으로서 출력된다. MPEG-4 AVC에는, 가변장 부호화의 방식으로서 CAVLC(Context-Adaptive Variable Length Coding: 콘텍스트 적응형 가변장 부호화)와 CABAC(Context-Adaptive Binary Arithmetic Coding)콘텍스트 적응형 2치 산술 부호화)의 2종류가 있고, 픽쳐 단위로 전환할 수 있다. 여기에서, 콘텍스트 적응형이란, 주위의 상황에 따라 효율이 좋은 부호화 방식을 적응적으로 선택하는 방식이다.

다음으로, 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트림 및 그러한 스트림을 수신한 복호 장치에서의 복호 처리에 대해 설명한다. 여기에서는, 2가지의 예, 즉, 가변장 부호화 방식(CAVLC/CABAC)이 혼재할 수 있는 제1예와, 픽쳐 내 픽쳐에 대해 휘도 키에 의한 투과 처리를 실행할 때에 이용되는 휘도의 임계값이 혼재할 수 있는 제2예를 설명한다.

우선, 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트림의 제1예, 즉, 가변장 부호화 방식(CAVLC/CABAC)이 혼재할 수 있는 예에 대해 설명한다. 도 4는, MPEG-4 AVC의 스트림에서, 랜덤 액세스 가능한 단위를 구성하는 픽쳐에 적용되는 가변장 부호화의 방식을 나타내는 예이다. 여기에서, MPEG-4 AVC에서는, MPEG-2 비디오의 GOP(Group of Pictures)에 상당하는 개념은 없지만 다른 픽쳐에 의존하지 않고 복호화할 수 있는 특별한 픽쳐 단위로 데이터를 분할하면 GOP에 상당하는 랜덤 액세스 가능한 단위를 구성할 수 있고, 이를 랜덤 액세스 단위(RAU)라고 부르기로 한다. 도 4에 나타낸 바와 같이, 가변장 부호화의 방식으로서 CABAC, 혹은 CAVLC의 적용 여부가 픽쳐 단위로 전환된다.

다음에, CABAC와 CAVLC는 가변장 복호시의 처리가 다르기 때문에, 도 5A~도 5C를 참조하여 각각의 가변장 복호 처리에 대해 설명한다. 도 5A는, CABAC에 의해 가변장 부호화된 데이터의 복호 처리인 CABAD(Context-Adaptive Binary Arithmetic Decoding: 콘텍스트 적응형 2치 산술 복호)와 CAVLC에 의해 가변장 부호화된 데이터의 복호 처리인 CAVLD(Context-Adaptive Variable Length Decoding: 콘텍스트 적응형 가변장 복호)를 실행하는 화상 복호화 장치의 블록도를 나타낸다.

CABAD를 수반하는 화상 복호화 처리는 다음과 같이 행해진다. 우선, CABAC가 적용된 부호화 데이터 Vin이 스트림 버퍼(5001)에 입력된다. 이어서, 산술 복호부(5002)는, 스트림 버퍼로부터 부호화 데이터 Vr을 읽어내어 산술 복호를 실행해, 2치 데이터 Bin1을 2치 데이터 버퍼(5003)에 입력한다. 2치 데이터 복호 처리부(5004)는, 2치 데이터 버퍼(5003)에서 2치 데이터 Bin2를 취득해, 2치 데이터를 복호하고, 복호 후의 2치 데이터 Din1을 화소 복원부(5005)에 입력한다. 화소 복원부(5005)는, 2치 복호 데이터 Din1에 대해 역양자화, 역변환, 및 동작 보상 등을 실행해, 화소를 복원하고, 복호 데이터 Vout을 출력한다. 도 5B는, CABAC가 적용된 부호화 데이터를 복호 개시로부터, 화소 복원 처리를 실시할 때까지의 동작을 나타내는 플로우차트이다. 우선, 단계 5001에서, CABAC가 적용된 부호화 데이터 Vin을 산술 복호하고, 2치 데이터를 생성한다. 다음에, 단계 S5002에서, 1이상의 픽쳐 등, 소정의 데이터 단위 분의 2치 데이터가 구비되었는지 판정하고, 구비되었을 때에는 단계 S5003으로 진행되고, 구비되어 있지 않을 경우에는 단계 S5001의 처리를 반복한다. 여기에서, 2치 데이터의 버퍼링을 실행하는 것은, CABAC에서는, 픽쳐 혹은 매크로 블록당의 2치 데이터의 부호량이 현저하게 커질 때가 있고, 그에 수반하여 산술 복호의 처리 부하도 현저하게 증가할 수 있기 때문에, 최악의 경우라도 중단이 없는 재생을 실현하기 위해서는, 미리 일정량의 산술 복호 처리를 실행해 둘 필요가 있기 때문이다. 단계 S5003에서는, 2치 데이터를 복호하고, 단계 S5004에서 화소 복원 처리를 실시한다. 이와 같이, CABAD에서는, 단계 S5001 및 단계 S5002에서 소정의 데이터 단위 분의 2치 데이터가 구비될 때까지 화소 복원 처리를 개시할 수 없기 때문에, 복호 개시시에 지연이 발생한다.

CAVLD를 수반하는 화상 복호화 처리는 다음과 같이 행해진다. 우선, CAVLC가 적용된 부호화 데이터 Vin이 스트림 버퍼(5001)에 입력된다. 이어서, CAVLD부(5006)는, 가변장 복호 처리를 실행해, VLD 복호 데이터 Din2를 화소 복원부(5005)에 입력한다. 화소 복원부(5005)는, 역양자화, 역변환, 및 동작 보상 등을 실행하고, 화소를 복원해, 복호 데이터 Vout을 출력한다. 도 5C는, CAVLC가 적용된 부호화 데이터를 복호 개시하고, 화소 복원 처리를 실시할 때까지의 동작을 나타내는 플로우차트이다. 우선, 단계 S5005에서 CAVLD를 실행하고, 이어서, 단계 S5004에서 화소 복원 처리를 실시한다. 이와 같이, CAVLD에서는, CABAD와는 다르고, 화소 복원 처리를 개시하기 전에, 소정의 데이터 단위 분의 데이터가 구비될 때까지 기다릴 필요가 없음과 더불어, 2치 데이터 버퍼(5003)와 같은, 가변장 복호 처리에서의 중간 버퍼를 가질 필요가 없다.

도 6은, 도 4의 예처럼, 스트림의 도중에 가변장 부호화의 방식이 전환되는 스트림을 복호하는, 종래의 복호 장치의 동작을 나타내는 플로우차트이다. 또한, 본 명세서에서, 복호 장치 및 복호 방법은, 각각, 동화상 재생 장치 및 동화상 재생 방법의 일례이다.

우선, 단계 S5101에서, 픽쳐에 적용된 가변장 부호화 방식을 나타낸 정보를 취득하고, 단계 S5102로 진행된다. 단계 S5102에서는, 복호순으로 직전의 픽쳐와 현 픽쳐에서 가변장 부호화의 방식이 전환되었는지 판정한다. CABAD와 CAVLD는, 가변장 복호 처리에서의 버퍼의 관리 방법이 다르기 때문에, 가변장 부호화의 방식이 전환되었을 때에는, 단계 S5103으로 진행되고 버퍼 관리의 전환 처리를 실행해, 가 변장 부호화의 방식이 전환되어 있지 않았으면 단계 S5104로 진행된다. 단계 S5104에서 가변장 부호화 방식이 CAVLC인지 판정하고, CAVLC이라면 단계 S5105로 진행되어 CAVLD 처리를 실행하고, CABAC일 때는 단계 S5106으로 진행된다. 단계 S5106에서는, 복호순으로 직전의 픽쳐와 현 픽쳐에서 가변장 부호화의 방식이 전환되었는지 판정하고, 전환되었을 때는 단계 S5107로 진행되고, 도 5의 단계 S5001과 단계 S5002로 나타낸 바와 같이, 소정의 데이터 단위분의 2치 데이터가 구비될 때까지 산술 복호를 실행하고, 2치 데이터를 복호한다. 단계 S5106에서 가변장 부호화의 방식이 전환되지 않았다고 판정되었을 때에는, 단계 S5108로 진행되고, 통상의 CABAD 처리를 실행한다. 여기에서, 통상의 CABAD 처리란, CAVLC로부터 CABAC로 전환한다, 혹은 CABAC가 적용된 스트림의 복호를 개시할 때에 필요했던 2치 데이터의 버퍼링을 실행하지 않는 처리이다. 마지막으로, 단계 S5109에서 화소 복원 처리를 실시한다.

다음에, 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트림의 제2 예, 즉, 픽쳐 내 픽쳐에서 휘도 키에 의한 투과 처리를 실행할 때에 사용되는 휘도의 임계값(동화상의 속성)이 혼재할 수 있는 예에 대해 설명한다. BD-ROM 등의 패킷 미디어에서는, 본편 영상에 오버레이하고 디렉터즈·컷(감독에 의한 해설 영상) 등, 본편과는 다른 영상을 표시하는 애플리케이션이 있고, 이러한 애플리케이션을 픽쳐 내 픽쳐라고 부른다. 도 7은, 픽쳐 내 픽쳐를 설명하는 도면이다. 도 7(a)은 화상의 표시 플레인을 나타내고, 플레인2가 플레인1에 오버레이하여 표시된다. 도 7(b)과 도 7(c)은, 각각, 플레인1과 플레인2에 표시하는 화상을 나타내 고, 플레인2의 표시 화상이 플레인1의 표시 화상에 오버레이하여 표시된다(도 7(d)). 픽쳐 내 픽쳐의 경우에서는, 플레인1에 표시되는 것이 본편 영상, 플레인2에 표시되는 것이 본편과는 다른 영상이 된다. 여기에서, 플레인2에 표시되는 영상을 그대로 오버레이하게 되면, 플레인1의 화상이 완전히 숨어지기 때문에, 플레인2의 화상에는 휘도 키에 의한 투과 처리가 행해진다. 이하에, 휘도 키에 의한 투과 처리에 대해 설명한다. 투과 처리에서는, 화상 내의 각 화소의 휘도값에 따라 당해 화소를 투과하여 표시할지 안할지를 전환한다.

구체적으로는, 다음과 같이 된다.

1. 휘도값이 0 이상이고, 소정의 임계값 YL 이하일 경우, 당해 화소는 완전히 투과(투과율이 1)로 한다.

2. 휘도값이 소정의 임계값 YL를 초과할 경우, 당해 화소는 투과하지 않고(투과율이 0), 휘도값에 나타내도록 표시한다.

도 7(c)에서, 검은 칠의 영역은 휘도값이 상기 소정의 임계값 YL 이하이고, 그 다른 영역은, 휘도값이 상기 소정의 임계값 YL을 초과하는 것으로 하면, 도 7(d)에 나타낸 바와 같이, 플레인2의 화상을 플레인1에 오버레이할 때에, 검은 칠의 영역은 투과시키고, 그 이외의 영역은 투과시키지 않고 표시한다. 즉, 플레인2의 화상 중, 휘도가 임계값 YL을 초과하는 영역(화소)만이, 플레인1의 화상에 오버레이되고 표시된다. 이에 의해, 플레인2은, 휘도 레벨의 임계값에 따라 전경과 배경으로 분리되고, 전경만이 플레인1에 오버레이되어 표시되고 픽쳐 내 픽쳐가 실현된다.

[특허 문헌 1: 일본국 특허 공개 2000-228656호 공보]

[비특허 문헌 1: Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Co㎜ittee Draft 1 Revision 6, 2005.7.13]

[발명이 해결하려고 하는 과제]

이상과 같이 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트림을 수신한 복호 장치는, 복호 처리에서 전환 처리가 필요로 되기 때문에, 처리 부하가 커진다는 문제가 있다. 도 8은, 종래의 다중화 장치에 의해 생성된 종래의 기록 매체에서 휘도 키에 의한 투과 처리를 실현할 때의 과제에 대해 설명하는 도면이다. 도 8은, 휘도 키에 의한 투과 처리를 실시하는 영상이 연속 재생되는 구간을 나타내고, 구간 1, 구간 2, 구간 3이 순으로 재생된다. 여기에서, 투과율을 1로 하고 투과하여 표시하는 화소에서의 휘도값의 임계값이, 구간 1에서는 20, 구간 2에서는 40, 구간 3에서는 30이 되어 있기 때문에, 구간의 전환에서, 투과하여 표시하는 화소에서의 휘도값의 임계값을 변경할 필요가 있다. 휘도값의 임계값이 변경되면, 플레인을 합성할 때의 동작의 변경이 필요하게 되고, 동작의 변경에 수반하는 지연이 발생한다. 이 결과, 중단되지 않게 재생되어야 할 각 구간의 전환 부분에서, 재생이 중단된다는 과제가 있다.

이와 같이, 종래의 화상 부호화 방식에 의해 생성된 스트림이 다중화된 종래의 기록 매체를 재생할 때에는, 재생 구간마다 휘도 키의 임계값이 변경되기 때문에, 상기 임계값의 전환에 수반하고, 재생시에서의 휘도값의 임계값 처리에서 지연이 발생한다는 과제가 있다.

본 발명은, 재생시의 처리 부하를 증대시키지 않고 재생 중단을 발생시키지 않는 기록 매체, 동화상 부호화 방법, 동화상 부호화 장치, 동화상 기록 방법, 동화상 재생 방법, 동화상 재생 장치 및 동화상 재생 시스템을 제공하는 것을 목적으로 한다.

[과제를 해결하기 위한 수단]

본 발명은, 이상의 과제를 해결하기 위해 이루어진 것이다.

본 발명에 관련되는 동화상 부호화 방법은, 연속 재생의 대상이 되는 구간(연속 재생 구간)에서는, 부호화 방식(혹은, 동화상의 속성)을 전환하지 않고 동화상을 부호화해 둠과 더불어, 그 구간에서는 부호화 방식이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성해 두는 것을 특징으로 한다.

보다 구체적으로는, 픽쳐 내 픽쳐의 경우에 대응한 발명으로서 본 발명에 관련되는 동화상 부호화 방법은, 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 방법으로서, 상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고 상기 동화상 부호화 방법은, 상기 영상 스트림 중, 부분 구간의 모임이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정 단계와, 상기 연속 재생 구간 결정 단계에서 결정된 연속 재생 구간에서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에서의 상기 제1 및 제2 동화상을 부호화하는 부호화 단계와, 상기 연속 재생 구간에서 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성 단계와, 상기 부호화 단계에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성 단계에서 작성된 관리 정보를 결합하여 출력하는 결합 단계를 포함하는 것을 특징으로 한다.

또, 본 발명에 관련되는 동화상 부호화 장치는, 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 장치로서, 상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고, 상기 동화상 부호화 장치는, 상기 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정부와, 상기 연속 재생 구간 결정부에서 결정된 연속 재생 구간에서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에서의 상기 제1 및 제2 동화상을 부호화하는 부호화부와, 상기 연속 재생 구간에서는 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성부와, 상기 부호화부에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성부에서 작성된 관리 정보를 결합하여 출력하는 결합부를 구비하는 것을 특징으로 한다.

또, 본 발명에 관련되는 동화상 기록 방법은, 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하고 기록 매체에 기록하는 동화상 기록 방법으로서, 상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고 상기 동화상 기록 방법은, 상기 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정 단계와, 상기 연속 재생 구간 결정 단계에서 결정된 연속 재생 구간에서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에서의 상기 제1 및 제2 동화상을 부호화하는 부호화 단계와, 상기 연속 재생 구간에서는 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성 단계와, 상기 부호화 단계에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성 단계에서 작성된 관리 정보를 결합하여 기록 매체에 기록하는 결합 단계를 포함하는 것을 특징으로 한다.

또, 본 발명에 관련되는 기록 매체는, 컴퓨터 판독 가능한 데이터가 기록된 기록 매체로서, 상기 데이터에는, 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림 및 상기 영상 스트림을 관리하는 정보인 관리 정보가 포함되고, 상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고 상기 영상 스트림에서는, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간에서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에서의 상기 제1 및 제2 동화상이 부호화되어 있고, 상기 관리 정보에는 상기 연속 재생 구간에서는 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는 것을 특징으로 한다.

또, 본 발명에 관련되는 동화상 재생 방법은, 부호화된 제1 및 제2 동화상을 포함하는 영상 스트림을 복호화하고, 상기 제2 동화상을 상기 제1 동화상에 오버레이하여 표시하는 동화상 재생 방법으로서, 상기 영상 스트림에 대응하는 관리 정보를 취득하여, 취득된 관리 정보를 해석하는 관리 정보 처리 단계와, 상기 관리 정보 처리 단계에서의 해석에 따라, 상기 제1 및 제2 동화상을 복호화하는 복호화 단계와 복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시 단계를 포함하고, 상기 관리 정보 처리 단계에서는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고, 상기 표시 단계에서는, 상기 관리 정보 처리 단계에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에서의 임계값과 같은 값의 임계값을 이용하여, 현 부분 구간에서의 상기 오버레이 표시를 하는 것을 특징으로 한다.

또, 본 발명에 관련되는 동화상 재생 장치는, 부호화된 제1 및 제2 동화상을 포함하는 영상 스트림을 복호화하고, 상기 제2 동화상을 상기 제1 동화상에 오버레이하여 표시하는 동화상 재생 장치이고, 상기 영상 스트림에 대응하는 관리 정보를 취득하고, 취득한 관리 정보를 해석하는 관리 정보 처리부와, 상기 관리 정보 처리부에 의한 해석에 따라, 상기 제1 및 제2 동화상을 복호화하는 복호화부와, 복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시부를 구비하고, 상기 관리 정보 처리부는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고 상기 표시부는, 상기 관리 정보 처리부에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에서의 임계값과 같은 값의 임계값을 이용하여, 현 부분 구간에서의 상기 오버레이 표시를 하는 것을 특징으로 한다.

또, 본 발명에 관련되는 동화상 재생 시스템은, 상기 기록 매체와, 상기 기록 매체에 기록된 데이터를 읽어내어 재생하는 동화상 재생 장치를 구비하는 동화상 재생 시스템으로서, 상기 동화상 재생 장치는, 상기 기록 매체로부터 관리 정보를 읽어내어 해석하는 관리 정보 처리부와, 상기 관리 정보 처리부에 의한 해석에 따라, 상기 기록 매체로부터 상기 제1 및 제2 동화상을 읽어내어 복호화하는 복호화부와, 복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시부를 구비하고, 상기 관리 정보 처리부는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고, 상기 표시부는 상기 관리 정보 처리부에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에서의 임계값과 같은 값의 임계값을 이용하여, 현 부분 구간에서의 상기 오버레이 표시를 하는 것을 특징으로 한다.

또한, 본 발명은, 이상과 같은 동화상 부호화 방법, 동화상 부호화 장치, 동화상 기록 방법, 기록 매체, 동화상 재생 방법, 동화상 재생 장치 및 동화상 재생 시스템으로서 실현될 수 있을 뿐만 아니라, 상기 각 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램으로서 실현되거나 그 프로그램이 기록된 DVD 등의 컴퓨터 판독 가능한 기록 매체로서 실현되거나 상기 각 장치가 LSI 등의 반도체 집적 회로로서 실현되어도 좋다.

[발명의 효과]

이상과 같이, 본 발명의 동화상 부호화 방법 등에 의하면, 연속 재생의 대상이 되는 구간에서는, 부호화 방식(혹은, 동화상의 속성)을 전환하지 않고 동화상이 부호화됨과 더불어, 그 구간에서는 부호화 방식이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보가 작성된다. 이에 의해, 이러한 데이터 구조의 동화상 및 관리 정보를 받은 (혹은, 기록 매체로부터 읽어낸) 재생 장치는, 부호화 방식 혹은 동화상의 속성의 전환를 감시하는 처리가 불필요해지고, 처리 부하가 경감된다.

즉, 픽쳐 내 픽쳐에 대해서는, 연속 재생 구간 내의 동화상의 부호화 데이터에서, 각 화소를 투과하고 표시할지 안할지의 판정에 이용하는 휘도값의 임계값을 고정으로 함으로써, 임계값의 전환에 기인하는 재생시의 지연을 없애고, 심리스한 재생을 실현할 수 있다. 이 때문에, 동화상, 그래픽스, 혹은 정지화 등에 동화상을 오버레이하여 표시시키는 패킷 미디어, 전송 애플리케이션 등의 재생 품질을 향상할 수 있다. 또, 상기 애플리케이션을 실현하는 재생 장치의 처리 부하를 경감할 수 있으므로 그 실용적 가치가 높다.

도 1은 DVD의 구성도이다.

도 2는 하이라이트의 구성도이다.

도 3은 DVD에서의 다중화의 예를 나타낸 도면이다.

도 4는 종래의 MPEG-4 AVC 스트림에서 픽쳐 단위로 적용되는 가변장 부호화 방식의 예를 나타낸 도면이다.

도 5A는 CABAC와 CAVLC가 적용된 부호화 스트림을 복호하는 복호 장치의 구성을 나타내는 블록도이다.

도 5B는 CABAC가 적용된 부호화 스트림을 복호하는 동작을 나타내는 플로우차트이다.

도 5C는 CAVLC가 적용된 부호화 스트림을 복호하는 동작을 나타내는 플로우차트이다.

도 6은 종래의 복호 장치의 동작을 나타내는 플로우차트이다.

도 7은 픽쳐 내 픽쳐에서의 표시예를 설명하는 도면이다.

도 8은 휘도 키의 임계값이 연속 재생 구간 내에서 전환하는 것에 기인하는 과제를 설명하는 도면이다.

도 9는 실시 형태 1의 기록 매체에 저장되는 MPEG-4 AVC 스트림에서 픽쳐 단위로 적용되는 가변장 부호화의 방식의 예를 나타낸 도면이다.

도 10은 기록 매체에서, 가변장 부호화의 방식이 고정인 단위를 나타낸 플래그 정보의 저장예를 나타낸 도면이다.

도 11은 기록 매체를 재생하는 복호 장치의 동작을 나타내는 플로우차트이다.

도 12는 다중화 장치의 구성을 나타낸 블록도이다.

도 13은 다중화 장치의 동작을 나타낸 플로우차트이다.

도 14는 도 13 중의 S5201의 구체적인 예를 나타낸 플로우차트이다.

도 15는 도 13 중의 S5202의 구체적인 예를 나타낸 플로우차트이다.

도 16은 도 13 중의 S5204 및 S5205의 다른 구체적인 예를 나타낸 플로우차트이다.

도 17은 도 13 중의 S5202의 구체적인 예를 나타낸 플로우차트이다.

도 18은 BD의 데이터 계층도이다.

도 19는 BD 상의 논리 공간의 구성도이다.

도 20은 BD 플레이어의 개요 블록도이다.

도 21은 BD 플레이어의 구성 블록도이다.

도 22는 BD의 애플리케이션 공간의 설명도이다.

도 23은 MPEG 스트림(VOB)의 구성도이다.

도 24는 팩의 구성도이다.

도 25는 AV 스트림과 플레이어 구성의 관계를 설명하는 도면이다.

도 26은, 트랙 버퍼로의 AV 데이터 연속 공급 모델도이다.

도 27은, VOB 정보 파일 구성도이다.

도 28은, 타임 맵의 설명도이다.

도 29는, 플레이 리스트 파일의 구성도이다.

도 30은, 플레이 리스트에 대응하는 프로그램 파일의 구성도이다.

도 31은, BD 디스크 전체 관리 정보 파일의 구성도이다.

도 32는, 글로벌 이벤트 핸들러를 기록하는 파일의 구성도이다.

도 33은, 타임 이벤트의 예를 설명하는 도면이다.

도 34는, 사용자 이벤트의 예를 설명하는 도면이다.

도 35는, 글로벌 이벤트 핸들러의 예를 설명하는 도면이다.

도 36은, 가상 머신의 구성도이다.

도 37은, 플레이어 변수 테이블의 도면이다.

도 38은, 이벤트 핸들러(타임 이벤트)의 예를 나타낸 도면이다.

도 39는, 이벤트 핸들러(사용자 이벤트)의 예를 나타낸 도면이다.

도 40은, 플레이어의 기본 처리의 플로우차트이다.

도 41은, 플레이 리스트 재생 처리의 플로우차트이다.

도 42는, 이벤트 처리의 플로우차트이다.

도 43은, 자막 처리의 플로우차트이다.

도 44는, 휘도 키의 임계값을 연속 재생 구간 내 고정으로 한 예를 설명하는 도면이다.

도 45는, 심리스 재생 구간에서 휘도 키의 값을 고정으로 하는 것을 설명하는 도면이다.

도 46은, 휘도 키의 임계값이 고정인 것을 보증하는 플래그를 설명하는 도면이다.

도 47은, 본 발명의 기록 매체에서의 픽쳐 내 픽쳐 동작을 설명하는 도면이 다.

도 48은, 프라이머리·비디오와 세컨더리·비디오의 다중화에 대해 설명하는 도면이다.

도 49는, 본 발명의 실시 형태 2의 픽쳐 내 픽쳐 동작을 실현하는 다중화 방법의 동작을 나타내는 플로우차트이다.

도 50은, 본 발명의 실시 형태 2의 픽쳐 내 픽쳐 동작을 실현하는 다중화 방법에서, 관리 정보를 생성하는 동작을 설명하는 플로우차트이다.

도 51은, 본 발명의 실시 형태 2의 다중화 장치의 구성을 나타내는 블록도이다.

도 52는, 픽쳐 내 픽쳐의 메타 정보에 저장되는 표시 속성 정보의 예를 나타낸 도면이다.

도 53은, 다중화 장치(5200)에 의해 생성되는 관리 정보의 데이터 구조를 나타내는 도면이고, 도 53(a)는, 관리 정보의 하나인 플레이 리스트의 데이터 요소를 나타내고, 도 53(b)는, 심리스 접속되는 재생 구간을 나타내는 플레이 리스트의 예를 나타낸다.

도 54는, 본 발명의 실시 형태 2의 픽쳐 내 픽쳐 동작을 실시하는 플레이어의 동작을 나타내는 플로우차트이다.

도 55A는, 실시 형태 3에 있어서의 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내는 도면이다.

도 55B는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디 스크를 나타내는 도면이다.

도 55C는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 실시하기 위한 구성을 나타내는 도면이다.

[도면의 주요 부분에 대한 부호의 설명]

104, 201 BD 디스크

202 광픽업

203 프로그램 기록 메모리

204 관리 정보 기록 메모리

205 AV기록 메모리

206 프로그램 처리부

207 관리 정보 처리부

208 프레젠테이션 처리부

209 이미지 플레인

210 비디오 플레인

211 합성 처리부

301 프로그램 기록 메모리

302 프로그램 프로세서

303 UOP 매니저

304 관리 정보 기록 메모리

305 시나리오 프로세서

306 프레젠테이션 컨트롤러

307 클록

308 이미지 메모리

309 트랙 버퍼

310 디멀티플렉서

311 이미지 프로세서

312 비디오 프로세서

313 사운드 프로세서

314 이미지 플레인

315 비디오 플레인

316 합성 처리부

317 드라이브 컨트롤러

S101 디스크 삽입 단계

S102 BD.INFO 판독 입력 단계

S103 BD. PROG 판독 입력 단계

S104 퍼스트 이벤트 생성 단계

S105 이벤트 핸들러 실행 단계

S201 UOP 접수 판정 단계

S202 UOP 이벤트 생성 단계

S203 메뉴 콜 판정 단계

S204 이벤트 생성 단계

S205 이벤트 핸들러 실행 단계

S301 플레이 리스트 재생 개시 단계

S302 플레이 리스트 정보(XXX.PL) 판독 입력 단계

S303 플레이 리스트 프로그램(XXX.PROG) 판독 입력 단계

S304 셀 재생 개시 단계

S305 AV 재생 개시 단계

S401 AV 재생 개시 단계

S402 VOB 정보(YYY. VOBI) 판독 입력 단계

S403 VOB(YYY. VOB) 판독 입력 단계

S404 VOB 재생 개시 단계

S405 VOB 재생 종료 단계

S406 다음 셀 존재 판정 단계

S501 플레이 리스트 재생 개시 단계

S502 플레이 리스트 재생 종료 판정 단계

S503 타임 이벤트 시각 판정 단계

S504 이벤트 생성 단계

S505 이벤트 핸들러 실행 단계

S601 플레이 리스트 재생 개시 단계

S602 플레이 리스트 재생 종료 판정 단계

S603 UOP 접수 판정 단계

S604 UOP 이벤트 생성 단계

S605 메뉴 콜 판정 단계

S606 사용자 이벤트 유효기간 판정 단계

S607 이벤트 생성 단계

S608 이벤트 핸들러 실행 단계

S701 플레이 리스트 재생 개시 단계

S702 플레이 리스트 재생 종료 판정 단계

S703 자막 묘화 개시 판정 단계

S704 자막 묘화 단계

S705 자막 표시 종료 판정 단계

S706 자막 소거 단계

본 발명에 관련되는 동화상 부호화 방법은, 연속 재생의 대상이 되는 구간(연속 재생 구간)에서는, 부호화 방식(혹은, 동화상의 속성)을 전환하지 않고 동화상을 부호화해 두는 것과 더불어, 그 구간에서 부호화 방식이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성해 두는 것을 특징으로 한다.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하면서 설명한다.

<실시 형태 1>

우선, 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트 림의 제1예 즉 가변장 부호화 방식(CAVLC/CABAC)이 혼재할 수 있는 예에 대해서, 본 발명의 제1 실시 형태로서 설명한다.

본 실시 형태에서는, BD-ROM 등의 패킷 미디어 등에서, 동화상의 부호화 데이터를 복호할 때에, 가변장 부호화 방식이 전환함으로써 복호 동작의 지연, 또, 동시에 필요한 버퍼 관리 방법의 전환에 수반하는 처리 부하의 증가를 억제할 수 있는 기록 매체, 및 그 재생 장치에 대해 설명한다. 여기에서, 동화상의 부호화 방식은 MPEG-4 AVC로 하지만, 스트림의 도중에 가변장 부호화 방식을 전환할 수 있는 다른 부호화 방식이라도 좋다.

본 실시 형태의 기록 매체에 저장되는 MPEG-4 AVC 스트림에서는, 가변장 부호화의 방식을 전환할 수 있는 단위가 제약됨과 더불어, 전환 단위가 제약되어 있는 것, 혹은 제약된 전환 단위를 나타내는 정보가 관리 정보에 저장된다.

도 9는, MPEG-4 AVC의 스트림에서의, 가변장 부호화 방식의 전환 단위의 제약예를 나타낸다. BD-ROM 등의 패킷 미디어에서는, 플레이 리스트 등에 의해, 동화상의 부호화 데이터를 연속하여 재생하는 단위(이후, 연속 재생 단위라고 부른다)가 나타내어지므로, 연속 재생 단위에서 가변장 부호화 방식을 고정으로 하면, 연속하여 재생되는 구간에서, 가변장 부호화 방식의 전환에 수반하는 복호 동작의 지연이나, 버퍼 관리 방법의 전환에 의한 처리 부하의 증가는 발생하지 않는다. 따라서, 본 실시 형태에서는, 연속 재생 단위에서 가변장 부호화 방식을 고정으로 한다. 도 9(a)와 도 9(b)는, 각각, 연속 재생 단위에서 가변장 부호화의 방식을 CAVLC만, CABAC만 제한한 예를 나타낸다. 또한, 연속하여 재생되는 클립의 접속 조 건에는 심리스 접속과, 비심리스 접속의 2종류가 있다. 여기에서 접속이란, 동일 클립 내의 복수의 구간을 접속하는 경우를 포함하는 것으로 한다. 비심리스 접속에서는, 예를 들면, 오픈 GOP에의 접속시와 같이 복호 동작에 갭이 발생할 때가 있기 때문에, 가변장 부호화 방식의 전환도 허용하기로 하고, 심리스 접속되는 연속 재생 단위에서 가변장 부호화의 방식을 고정으로 해도 된다.

또한, 클립이나 랜덤 액세스 단위(RAU) 등 연속 재생 단위와는 다른 단위에서 가변장 부호화의 방식을 고정으로 해도 된다. 도 9(c)와 도 9(d)는, 클립 단위로 고정으로 한 예, 도 9(e)는 랜덤 액세스 단위로 고정으로 한 예를 나타낸다.

다음에, 관리 정보에서는, MPEG-4 AVC의 스트림에서, 가변장 부호화 방식의 전환 단위가 제약되어 있는 것을 나타내는 플래그 정보가 저장된다. 여기에서는, 부호화 방식의 식별 정보를 플래그로서 사용한다. 도 10은, BD-ROM에서의 플래그의 저장예를 나타낸다. BD-ROM에서는, 플레이 리스트로부터 참조되는 각 클립의 부호화 방식은, 관리 정보 내의 Stream Coding Info로 불리는 영역에 저장되기 때문에, 여기에서 부호화 방식이 MPEG-4 AVC인 것이 나타낼 때에는, 연속 재생 단위에서 가변장 부호화의 방식을 고정으로 한다. 또한, 가변장 부호화의 방식이 CABAC일지 CAVLC일지를 별도로 표시해도 된다.

또한, 가변장 부호화 방식의 전환 단위가 제약되어 있는 것을 나타내는 플래그를 별도로 규정하고 저장해도 되고, 또한, 전환 단위를 나타내는 정보를 저장해도 된다. 또, 이들의 정보는, MPEG-4 AVC의 스트림 내에 저장해도 된다. 예를 들면, 랜덤 액세스 단위 내의 픽쳐에서 가변장 부호화의 방식이 고정인 것을 나타내 는 정보를, 랜덤 액세스 단위의 선두 픽쳐에서의 SEI(Supplemental Enhancement Information), 혹은 Unspecified의 타입을 가지는 NAL(Network Abstraction Layer) 유니트에 저장할 수 있다.

또한, MPEG-4 AVC에서는, 픽쳐 단위의 초기화 정보를 나타내는 PPS(Picture ㎩rameter Set) 내의 entropy_coding_mode_flag에서, 가변장 부호화의 방식이 CAVLC일지 CABAC일지가 나타낸다. 따라서, 일정한 구간에서 가변장 부호화의 방식이 고정일 때는, 당해 구간에서의 픽쳐가 참조하는 PPS에서, entropy_coding_mode_flag의 필드값이 고정이 된다. MPEG-4 AVC에서는, 복호순으로 소정의 구간에 존재하는 픽쳐에서 참조되지 않는 PPS를, 상기 소정의 구간에 저장하는 것도 허용되지만, 구간 내의 픽쳐로부터 참조되지 않는 PPS에서의 entropy_coding_mode_flag의 필드값에 대해서는 특별히 제한할 필요는 없다. 예를 들면, 랜덤 액세스 단위 RAU 내의 픽쳐가 참조하는 PPS는, 모두 랜덤 액세스 단위 RAU 내에 존재하는 것이 보증되지만, 랜덤 액세스 단위 RAU 내의 픽쳐로부터 참조되지 않는 PPS가 랜덤 액세스 단위 내에 존재해도 된다. 이 때, 참조되지 않는 PPS는 복호에 영향을 받지 않기 때문에, entropy_coding_mode_flag의 필드값에 대해서는 제한하지 않아도 된다. 다만, 소정 구간에 포함되는 PPS에서의 entropy_coding_mode_flag의 필드값을 하나의 값으로 정하는 것이 취급이 간단하기 때문에, 참조되지 않는 PPS도 포함하여 필드값을 고정으로 해도 된다.

도 11은, 본 실시 형태의 기록 매체에서의 연속 재생 단위의 복호 동작을 나타내는 플로우차트이다. 연속 재생 단위에서는 가변장 부호화의 방식이 고정이기 때문에, 도 6의 종래의 복호 동작과는 달리, 복호 도중에의 2치 데이터의 버퍼링, 및 버퍼 관리 방법의 전환은 불필요하게 된다. 각 단계의 동작에 대해서는, 도 6에서 동일 부호를 첨부한 단계와 동일하기 때문에, 설명을 생략한다.

또한, 신규의 부호화 방식으로서 현재, SMPTE(The Society of Motion Picture and Television Engineers)에서 VC-1(비특허 문헌 1)의 규격이 책정중이다. VC-1에서는, 매크로 블록(16×16 화소의 크기를 가지는 단위)의 부호화 방법을 나타내는 여러 가지의 플래그가 정의되고 있다. 플래그로서는 예를 들면, 스킵 매크로 블록인지 아닌지, 필드 모드/프레임 모드의 어느 쪽인지, 다이렉트 모드 매크로 블록인지 아닌지 등이 있다.

확장된 부호화 툴의 하나에, 비트 플레인 부호화가 있다. 비트 플레인 부호화는, 상기의 매크로 블록의 부호화 방법을 나타내는 플래그를 나타낼 때에 이용된다. 비트 플레인 부호화에서는, 이러한 플래그를 1픽쳐분 정리하고, 픽쳐 헤더로 나타낼 수 있다. 일반적으로 인접하는 매크로 블록은 상관이 높기 때문에, 플래그에도 상관이 높아진다. 따라서, 인접하는 복수의 매크로 블록의 플래그를 정리하여 부호화함으로써, 플래그를 표현하는 부호량을 삭감할 수 있다.

비트 플레인 부호화에서는, 7종류의 부호화 방법이 규정되어 있다. 그 중 하나는 매크로 블록헤더로 각 플래그를 부호화하는 방법이고, 이 방법은 로우 모드(RAW MODE)로 불리고, MPEG-2 비디오 방식이나 MPEG-4 비주얼 방식과 같은 방법이 된다. 나머지의 6개의 방법은, 1픽쳐 분의 플래그를 정리하여 부호화하는 방법이고, 인접하는 매크로 블록의 플래그를 어떻게 정리해 부호화함에 따라 다른 방법 이 정의되어 있다. 이 6개의 방법으로서는, 예를 들면, 좌우에 인접하는 2개의 매크로 블록의 플래그를 정리하여 부호화하는 방법, 수평 방향으로 늘어선 1열의 매크로 블록의 플래그가 모두 「0」이면 그것을 1비트의 「0」으로 나타내고, 1열의 매크로 블록의 플래그에 1개라도 「1」이 있으면 각 플래그를 그대로 부호화하는 방법 등이 있다.

비트 플레인 부호화에서 이 7종류의 어느 방법을 이용할지는, 플래그마다 독립하여, 픽쳐 단위로 변경할 수 있다.

여기에서, 비트 플레인 부호화에서, 매크로 블록 헤더로 각 플래그를 부호화 방법만을 사용할 경우를 모드 1, 1픽쳐 분의 플래그를 정리하고 부호화하는 방법만을 사용할 경우를 모드 2로 하면, 모드 1과 모드 2는 복호시의 동작이 다르기 때문에, 모드의 전환 부분에서 처리의 부하가 증대하고, 지연이 발생할 때가 있다. 그래서, 상기 가변장 부호화의 전환 단위를 제약한 것과 마찬가지로, 비트 플레인 부호화에 대해서도 모드 1과 모드 2의 전환 단위를 제약해도 좋다. 예를 들면, 연속 재생 단위, 혹은 심리스 접속되는 연속 재생 단위에서, 모드를 고정으로 한다. 또, 비트 플레인 부호화의 모드가 소정의 단위에서 고정인 것을 나타내는 플래그 정보를 관리 정보에 포함해도 좋다. 예를 들면, StreamCodingInfo에 의해 나타내어지는 부호화 방식을 플래그 정보로서 사용하고, 부호화 방식이 VC-1로 나타내어질 때에는 소정의 단위에서 비트 플레인 부호화의 모드를 고정인 것으로 할 수 있다.

또한, 매크로 블록 헤더로 각 플래그를 부호화하는 방법과 1픽쳐 분의 플래그를 정리하고 부호화하는 방법을 같이 사용할 수 있는 경우를 모드 3으로 하면, VC-1이 사용되는 환경에 따라, 모드 1과 모드 3을 구사하는 경우가 있다. 예를 들면, 처리 능력이 낮은 단말 전용에는 모드 1을 사용하고, 처리 능력이 높은 단말 전용에는 모드 3을 사용할 수 있다. 이러한 경우에서는, 소정의 재생 단위에서 모드 1, 혹은 모드 3의 어느 한 쪽에 고정하는 것이 유효하다. 또한, 모드 1, 혹은 모드 3의 어느 한 쪽에 고정되어 있는 것을 나타내는 플래그 정보, 혹은, 어느 모드에 고정되어 있는지를 나타내는 정보를, 관리 정보, 혹은 부호화 스트림에 저장할 수 있다. 또한, 모드 2와 모드 3을 구분해서 사용해도 된다.

도 12는, 본 실시 형태의 다중화 방법을 실현하는 다중화 장치(5100)의 구성을 나타낸 블록도이다. 다중화 장치(5100)는, 전환 단위 결정부(5101), 전환 정보 생성부(5102), 부호화부(5103), 시스템 다중화부(5104), 관리 정보 작성부(5105), 결합부(5106)를 구비한다. 이하에, 각부의 동작에 대해 설명한다.

전환 단위 결정부(5101)는, 가변장 부호화의 방식이 전환되는 단위를 결정하고, 결정된 전환 단위 Unit를 전환 정보 생성부(5102), 및 부호화부(5103)에 입력한다. 전환 단위는 미리 정해져 있는 것으로 하지만, 외부로부터 설정할 수 있도록 해도 좋다. 전환 정보 생성부(5102)는, 전환 단위 Unit에 의거하여, 가변장 부호화를 전환 가능한 단위를 나타내는 전환 정보 SwInf를 생성하고, 관리 정보 작성부(5105)에 입력한다. 부호화부(5103)는, 전환 단위 Unit의 제약을 만족하도록 각 클립의 데이터를 부호화하고, 부호화 데이터 Cdata1을 시스템 다중화부(5104)에 입력한다. 시스템 다중화부(5104)는, 부호화 데이터 Cdata1을 시스템 다중화하고, 스트림 정보 Strinf1을 관리 정보 작성부(5105)에 입력하고, 다중화 데이터 Mdata1을 결합부(5106)에 입력한다. BD-ROM에서는 시스템 다중화의 방식으로서 소스 패킷이라고 불리는, MPEG-2의 트랜스포트 스트림에 4바이트의 헤더를 부가한 방식이 이용된다. 또, 스트림 정보 Strlnf1은, 타임 맵 등, 다중화 데이터 Mdata1에 대한 관리 정보를 생성하기 위한 정보를 포함한다. 관리 정보 작성부(5105)는, 스트림 정보 StrInf1에 의거하여 생성된 타임 맵 및 전환 정보 SwInf 등을 포함하는 관리 정보 CtrlInf1을 생성하여, 결합부(5106)에 입력한다. 결합부(5106)는, 관리 정보 CtrlInf1과 다중화 데이터 Mdata1을 결합하여 기록 데이터 Dout1로서 출력한다.

또한, 오서링 툴 등으로 데이터를 작성할 때는, 부호화 데이터의 생성과, 시스템 다중화 혹은 관리 정보의 작성을 다른 장치에서 실행할 때가 있지만, 그런 경우라도, 각 장치의 동작은 다중화 장치(5100)에서의 각부와 동일하게 하면 좋다.

도 13은, 본 실시 형태에서의 기록 매체에 저장된 다중화 데이터를 작성하기 위한 다중화 방법의 동작을 나타내는 플로우차트이다. 본 실시 형태의 다중화 방법은, 가변장 부호화의 방식이 전환되는 단위를 결정하는 단계(단계 S5201), 결정한 단위에 의거하여 클립을 부호화하는 단계(단계 S5202), 및 가변장 부호화의 전환 단위를 나타내는 플래그 정보를 생성하는 단계(단계 S5204)를 구비하는 점에 대해, 종래의 다중화 방법과 다르다.

우선, 단계 S5201에서, 가변장 부호화의 방식이 전환되는 단위를 결정한다. 즉, 연속 재생 단위, 클립, 혹은 랜덤 액세스 단위의 어느 단위로 전환 가능한지를 결정한다. 이어서, 단계 S5202에서는, 단계 S5201에서 결정된 전환 단위에 의거하여 MPEG-4 AVC의 클립의 데이터를 부호화한다. 단계 S5203에서는, 최종 클립의 부 호화가 종료했는지 아닌지를 판정하고, 종료했다고 판정되었을 때에는 단계 S5204로 진행되고, 종료하지 않았다고 판정되면 단계 S5202로 돌아가 클립의 부호화를 반복한다. 단계 S5204에서는, 가변장 부호화의 전환 단위를 나타내는 플래그 정보를 생성하여, 단계 S5205로 진행된다. 단계 S5205에서는, 단계 S5204에서 생성한 플래그 정보를 포함하는 관리 정보를 작성하여, 관리 정보와 클립의 데이터를 다중화하여 출력한다.

도 14는, 도 13 중의 가변장 부호의 방식을 전환할 수 있는 단위를 결정하는 단계(S5201)의 구체적인 예를 나타내는 플로우차트이다. 동 도에서는, 가변장 부호의 방식을 전환할 수 있는 최소 단위를 도 9(c), 도 9(d)에 나타낸 클립으로 하고 있다. 여기에서, 클립이란, 기록 매체 상에서는 AV 데이터의 파일로서 저장되고 예를 들면, MPEG-4 AVC의 하나의 스트림이나, VC-1의 하나의 스트림을 저장한 하나의 파일을 나타낸다. 또, 클립은, 트랜스포트 스트림에서는, TS 패킷의 식별자에 의해 특정되는 스트림을 나타낸다.

도 14에서, 전환 단위 결정부(5101)는, 부호화 대상의 픽쳐가 클립의 개시 픽쳐인지 아닌지를 판정하고(S5201a), 개시 픽쳐가 아닐 경우 즉, 클립의 도중의 픽쳐인 경우에는, 당해 클립의 부호화에서는 가변장 부호의 방식을 전환 불가로 결정한다(S5201f).

개시 픽쳐일 경우, 전환 단위 결정부(5101)는, 개시 픽쳐의 클립이, 부호화완료 직전의 클립과 심리스 접속되는지 아닌지를 판정하고(S5201b), 심리스 접속된 경우에는, 개시 픽쳐의 클립의 부호화에서는 가변장 부호의 방식을 전환 불가로 결 정한다(S5201f).

심리스 접속되지 않을 경우, 전환 단위 결정부(5101)는, 개시 픽쳐의 클립이 멀티 앵글을 구성하는 앵글에 대응하는 클립인지 아닌지를 판정하고(S5201c), 당해 앵글에 대응하는 클립일 경우에는 개시 픽쳐의 클립의 부호화에서는, 당해 멀티 앵글을 구성하는 앵글간에서는 가변장 부호의 방식을 전환 불가로 결정한다(S5201f). 여기에서, 각 앵글에 심리스하게 접속할 수 있는 심리스·멀티 앵글에 대해서는, 각 앵글의 가변장 부호화의 방식은, 멀티 앵글 구간의 직전의 클립과 동일한 방식으로 결정된다. 한편, 각 앵글에 심리스에 접속할 수 있는 것이 보증되지 않는 논심리스·멀티 앵글에서는 각 앵글에서 가변장 부호화의 방식이 동일하면, 당해 방식이 멀티 앵글 구간의 직전의 클립과 달라도 된다.

또, 전환 단위 결정부(5101)는, 부호화 대상의 픽쳐가 클립의 개시 피크값이고, S5201b~S5201c의 어느 것도 해당하지 않을 경우(No일 경우)에는, 개시 픽쳐의 클립의 가변장 부호화 방식을, 부호화되기 직전의 클립에 대해 절환 가능하다고 결정한다(S5201e).

이와 같이 도 14의 플로우차트에서는, 전환 단위 결정부(5101)에서 전환되지 않는다고 결정되는 클립은, (a) 트랜스포트 스트림의 패킷 식별자에 의해 특정되는 클립, (b) 심리스 접속의 대상이 되는 복수의 클립, (c) 멀티 앵글을 구성하는 각 앵글에 대응하는 복수의 클립이라고 결정된다. 또한, S5201a~S5201c의 판정은, 어느 순서로 실행해도 된다. 또한, 멀티 앵글의 경우에 대해서도, 심리스·멀티 앵글에서만, 가변장 부호화 방식을 전환 불가능하다고 해도 된다. 또, 클립은 파일명 등 패킷 식별자와 다른 정보에 의해 식별해도 된다. 또, 도 14에서 가변장 부호의 방식을 전환되는 최소 단위가 도 9(c), 도 9(d)에 나타낸 클립인 경우를 설명했지만, 도 9(e)와 같은 RAU를 최소 단위로 해도 좋다. 그 경우, 도중의 「클립」을 「RAU」로 판독 변환 처리를 실행하면 된다.

도 15는, 도 13 중의 클립 부호화 단계 S5202의 구체적인 예를 나타내는 플로우차트이다. 도 15에서는, MPEG-4 AVC의 부호화를 행하는 경우를 나타낸다. 동 도에서, 부호화부(5103)는, 클립의 부호화 개시에 앞서 당해 클립의 가변장 부호의 방식을 전환 가능한지 아닌지를 판정한다(S5202a). 이 판정은, 도 14에서의 결정에 따른다. 부호화부(5103)는, 전환 가능하다고 판정되었을 경우에는 당해 클립의 가변장 부호화 방식을 임의로 결정하고(S5202b), 전환 가능하지 않다고 판정되었을 경우에는 당해 클립의 가변장 부호화 방식을 서로 심리스 접속되기 직전의, 혹은 동일한 멀티 앵글을 구성하는 다른 클립과 같은 방식으로 결정한다(S5202c). 또한, 부호화부(5103)는, 결정된 가변장 부호화 방식을 나타내는 플래그를 픽쳐 파라미터 세트 PPS에 설정하고(S5202d), 결정된 가변장 부호화 방식에 따라 당해 클립을 부호화한다(S5202e). 이 플래그는, MPEG4-AVC에서는, entoropy_coding_mode_flag라고 불린다.

이와 같이, 부호화부(5103)는, 전환 가능하지 않다고 판정된 연속 재생 구간의 클립에 대해 가변장 부호화의 방식을 전환하지 않고, 동화상을 부호화하는 것에 부호화 데이터 Cdata1을 생성한다.

도 16은, 도 13 중의 플래그 정보 생성 단계(S5204) 및 관리 정보 생성 단 계(S5205)의 구체적인 예를 나타내는 플로우차트이다.

동 도에서 전환 정보 생성부(5102)는, 부호화부(5103)에 의해 부호화된 클립이, 가변장 부호화 방식을 전환 가능하다고 판정된 클립인지 아닌지를 판정하고(S5204a), 전환 가능하다고 판정된 클립일 경우에는, 가변장 부호화의 방식이 고정이 아닌 것을 나타내는 플래그 정보를 생성하고, 당해 클립에 대응시켜 플래그 정보를 메모리의 워크 영역에 축적하고(S5204b), 전환 가능하다고 판정된 클립이 아닐 경우에는, 가변장 부호화의 방식이 고정인 것을 나타내는 플래그 정보를 생성하고, 당해 클립에 대응시켜 플래그 정보를 메모리의 워크 영역으로 축적한다(S5204c). 또한, 전환 정보 생성부(5102)는, 당해 클립이, 부호화부(5103)에 의해 부호화된 마지막 클립인지 아닌지를 판정하고(S5204d), 마지막 클립이 아니면 상기 S5204a~S5204c를 반복하고, 마지막 클립이면 메모리의 워크 영역에 축적된 플래그 정보를 전환 정보 SwInf로서 관리 정보 작성부(5105)에 출력한다.

또한, 관리 정보 작성부(5105)는, 플레이 리스트를 포함하는 관리 정보를 생성하고(S5205a), 전환 정보 SwInf를 참조해, 플레이 리스트에 포함되는 플레이 아이템에 가변장 부호화의 방식이 고정인 것을 나타내는 플래그 정보를 부가한다(S5205b). 또한, 플래그 정보는, 직전의 플레이 아이템에 의해 참조되는 재생 구간과 가변장 부호화의 방식이 동일한지 아닌지를 나타낸 것이라도 좋다. 여기에서, 플레이 리스트는, 1개 이상의 플레이어 아이템의 재생 순서를 나타낸다. 플레이 아이템은, 재생해야 하는 클립을 나타낸 정보이고, 1개의 클립의 전부 또는 일부를 재생 구간으로서 나타낸다. 또, 상기 플래그 정보는, 플레이 아이템에 부가되어 있 는 다른 파라미터와 겸용해도 된다. 그 경우, 예를 들면, 클립이 심리스 접속되는 것을 의미하는 파라미터(예를 들면 "connection_condition=5")를 상기 플래그 정보와 겸용할 수 있다. 왜냐하면, 도 14에서, 전환되지 않는다고 결정되는 연속 재생 구간(가변장 부호화의 방식이 고정인 구간)은, (a) 트랜스 포트 스트림의 패킷 식별자에 의해 특정되는 클립, (b) 심리스 접속의 대상이 되는 복수의 클립, (c) 멀티 앵글을 구성하는 각 앵글에 대응하는 복수의 클립이고, 이 중 (b)는 심리스 접속이 전제이기 때문이다. 또, 멀티 앵글 구간인지 아닌지는, "is_multi_angle"이라고 불리는 플래그에 의해 나타낼 수 있기 때문에, 본 플래그를 가변장 부호화의 방식이 고정인 것을 나타내는 플래그와 겸용해도 된다. 이에 의해, 관리 정보의 데이터량을 삭감할 수 있다.

도 17은, 도 13 중의 클립 부호화 단계(S5202)의 다른 구체적인 예를 나타내는 플로우차트이다. 도 17에서는, VC-1의 부호화를 실시하는 경우를 나타낸다. 동 도에서, 부호화부(5103)는, 클립의 부호화 개시에 앞서 당해 클립의 가변장 부호의 방식을, 로우 모드와 그 이외의 모드 사이에서 전환 가능한지 아닌지를 판정한다(S5202a). 이 판정은, 도 14에서의 결정에 따른다. 부호화부(5103)는, 전환 가능하다고 판정할 경우에는 당해 클립의 비트 플레인 부호화의 방식을 임의로 결정하고(S5202f), 전환 가능하지 않다고 판정되었을 경우에는 당해 클립의 비트 플레인 부호화 방식을 직전의 클립과 같은 방식으로 결정한다(S5202g). 부호화부(5103)는, 결정된 비트 플레인 부호화 방식이 로우 모드(RAW MODE)인지 그 이외의 방식인지를 판정한다(S5202h). 부호화부(5103)는, 모드를 나타내는 정보를 픽쳐 단위로 부가하 고, 로우 모드(RAW MODE)라고 판정되었을 경우, 매크로 블록 MB 마다의 소정의 정보를 각 매크로 블록에서 부호화하고(S5202i), 로우 모드(RAW MODE)가 아니라고 판정되었을 경우, 매크로 블록 MB 마다의 소정의 정보를 픽쳐의 선두로 정리해서 설정하고, 당해 클립을 부호화한다(S5202j). 또한, 상기 모드를 나타내는 정보는, VC-1에서는 IMODE라고 불리는 필드에 의해 나타내어진다.

이와 같이, 부호화부(5103)는, 전환 가능하지 않다고 판정된 연속 재생 구간의 클립에 대해 비트 플레인 부호화의 방식을 전환하지 않고, 동화상을 부호화함으로써 부호화 데이터 Cdata1을 생성한다.

또한, 상기 플레이 리스트는 광디스크에서의 사용에 한정되는 것이 아니고, 네트워크 경유로 스트림을 수신할 때에, 우선 플레이 리스트를 수신하여 해석하고, 수신하는 스트림을 결정한 후에, 실제의 스트림의 수신을 개시하는 사용법도 가능하다. 또, 스트림을 RTP(Real-time Transport Protocol)의 패킷이나 TS패킷 등에 패킷화하여 IP(Internet Protocol)망에 전송할 때에도, 재생 제어 정보로서 예를 들면 SDP(Session Description Protocol) 등에 의해, 재생 구간에서 가변장 부호화의 방식이 고정인지 아닌지를 나타내도 된다.

이하에, 본 실시 형태에 관련되는 동화상 부호화 방법에 의해 생성된 데이터를 저장한 BD-ROM 디스크의 데이터 구조 및 당해 디스크를 재생하는 플레이어의 구성에 대해 나타낸다.

<디스크 상의 논리 데이터 구조>

도 18은 BD-ROM의 구성, 특히 디스크 매체인 BD디스크(104)와, 디스크에 기 록되어 있는 데이터(101, 102, 103)의 구성을 나타내는 도면이다. BD디스크(104)에 기록되는 데이터는 AV 데이터(103)와 AV 데이터에 관한 관리 정보 및 AV재생 시퀀스 등의 BD관리 정보(102)와, 인터랙티브를 실현하는 BD재생 프로그램(101)이다. 본 실시 형태에서는, 설명의 형편 상, 영화의 AV컨텐츠를 재생하기 위한 AV애플리케이션을 주목적으로 한 BD디스크를 설명하지만, 다른 용도로서 이용해도 물론 마찬가지다.

도 19는, 상술한 BD디스크에 기록되어 있는 논리 데이터의 디렉토리·파일 구성을 나타낸 도면이다. BD디스크는, 다른 광디스크, 예를 들면 DVD나CD 등과 마찬가지로 그 내주로부터 외주를 향해 나사 형상으로 기록 영역을 가지고, 내주의 리드·인과 외주의 리드·아웃 사이에 논리 데이터를 기록할 수 있는 논리 어드레스 공간을 가진다. 또, 리드·인의 내측에는 BCA(Burst Cutting Area)로 불리는 드라이브로 밖에 읽어낼 수 없는 특별한 영역이 있다. 이 영역은 애플리케이션으로부터 읽어낼 수 없기 때문에, 예를 들면 저작권 보호 기술 등으로 이용될 때가 있다.

논리 어드레스 공간에는, 파일 시스템 정보(볼륨)를 선두로 영상 데이터 등의 애플리케이션 데이터가 기록되어 있다. 파일 시스템이란 종래 기술에서 설명한 바와 같이, UDF나 ISO9660 등의 것이고, 통상의 PC와 같이 기록되어 있는 논리 데이터를 디렉토리, 파일 구조를 사용하여 읽어내는 것이 가능하게 되어 있다.

본 실시예일 경우, BD디스크 상의 디렉토리, 파일 구조는, 루트 디렉토리(ROOT) 바로 밑에 BDVIDEO 디렉토리가 놓여져 있다. 이 디렉토리는 BD로 취급되는 AV컨텐츠나 관리 정보 등의 데이터(도 18에서 설명한 101, 102, 103)가 저장되 어 있는 디렉토리다.

BDVIDEO 디렉토리 아래는, 다음의 7종류의 파일이 기록되어 있다.

BD, INFO(파일명 고정)

「BD관리 정보」의 하나이고, BD디스크 전체에 관한 정보를 기록한 파일이다. BD 플레이어는 처음에 이 파일을 판독한다.

BD. PROG(파일명 고정)

「BD재생 프로그램」의 하나이고, BD디스크 전체에 관련되는 재생 제어 정보를 기록한 파일이다.

XXX, PL(「XXX」는 가변, 확장자 「PL」은 고정)

「BD관리 정보」의 하나이고, 시나리오(재생 시퀀스)인 플레이 리스트 정보를 기록한 파일이다. 플레이 리스트마다 하나의 파일을 가진다.

XXX, PROG(「XXX」는 가변, 확장자「PROG」는 고정)

「BD재생 프로그램」의 하나이고, 상술한 플레이 리스트마다의 재생 제어 정보를 기록한 파일이다. 플레이 리스트와의 대응은 파일 바디명(「XXX」가 일치한다)에 의해 식별된다.

YYY. VOB(「YYY」는 가변, 확장자「VOB」는 고정)

「AV 데이터」의 하나이고, VOB(종래예에서 설명한 VOB와 같음)를 기록한 파일이다. VOB마다 하나의 파일을 가진다.

YYY. VOBI(「YYY」는 가변, 확장자「VOBI」는 고정)

「BD관리 정보」의 하나이고, AV 데이터인 VOB에 관련되는 스트림 관리 정보 를 기록한 파일이다. VOB와의 대응은 파일 바디명(「YYY」가 일치함)에 의해 식별된다.

ZZZ. PNG(「ZZZ」는 가변, 확장자「PNG」는 고정)

「AV 데이터」의 하나이고, 자막 및 메뉴를 구성하기 위한 이미지 데이터 PNG(W3C에 의해 표준화된 화상 포맷이고 「핑」이라고 읽음)를 기록한 파일이다. 하나의 PNG 이미지마다 하나의 파일을 가진다.

<플레이어의 구성>

다음에, 상술한 BD디스크를 재생하는 플레이어의 구성에 대해 도 20 및 도 21을 이용하여 설명한다.

도 20은, 플레이어의 대략 기능 구성을 나타낸 블록도이다.

BD디스크(201) 상의 데이터는, 광픽업(202)을 통해 읽어내게 된다. 읽어낸 데이터는 각각의 데이터의 종류에 따라 전용의 메모리에 전송된다. BD재생 프로그램(「BD. PROG」 또는 「XXX. PROG」파일의 내용)은 프로그램 기록 메모리(203)에, BD관리 정보(「BD.INFO」, 「XXX. PL」 또는 「YYY. VOBI」)는 관리 정보 기록 메모리(204)에, AV 데이터(「YYY. VOB」 또는 「ZZZ. PNG」)는 AV기록 메모리(205)에 각각 전송된다.

프로그램 기록 메모리(203)에 기록된 BD재생 프로그램은 프로그램 처리부(206)에 의해, 관리 정보 기록 메모리(204)에 기록된 BD관리 정보는 관리 정보 처리부(207)에 의해, 또는, AV기록 메모리(205)에 기록된 AV 데이터는 프레젠테이션 처리부(208)에 의해 각각 처리된다.

프로그램 처리부(206)는, 관리 정보 처리부(207)로부터 재생하는 플레이 리스트의 정보나 프로그램의 실행 타이밍 등의 이벤트 정보를 받아 프로그램의 처리를 실행한다. 또, 프로그램에서는 재생하는 플레이 리스트를 동적으로 바꾸는 것이 가능하고, 이 경우는 관리 정보 처리부(207)에 대해 플레이 리스트의 재생 명령을 보내는 것으로 실현된다. 프로그램 처리부(206)는, 사용자로부터의 이벤트, 즉, 리모컨 키로부터의 요청을 받아 사용자 이벤트에 대응하는 프로그램이 있을 경우는, 그것을 실행한다.

관리 정보 처리부(207)는, 프로그램 처리부(206)의 지시를 받아 대응하는 플레이 리스트 및 플레이 리스트에 대응한 VOB의 관리 정보를 해석하고, 프레젠테이션 처리부(208)에 대상이 되는 AV 데이터의 재생을 지시한다. 또, 관리 정보 처리부(207)는, 프레젠테이션 처리부(208)로부터 기준 시각 정보를 받아, 시각 정보에 의거하여 프레젠테이션 처리부(208)에 AV 데이터 재생의 정지 지시를 실행하고, 또, 프로그램 처리부(206)에 대해 프로그램 실행 타이밍을 나타내는 이벤트를 생성한다.

프레젠테이션 처리부(208)는, 영상, 음성, 자막/이미지(정지화)의 각각에 대응하는 디코더를 가지고, 관리 정보 처리부(207)로부터의 지시를 따라, AV 데이터의 디코드 및 출력을 실행한다. 영상 데이터, 자막/이미지의 경우는, 디코드 후에 각각의 전용 플레인, 비디오 플레인(210) 및 이미지 플레인(209)에 묘화되고 합성 처리부(211)에 의해 영상의 합성 처리를 하고 TV 등의 표시 디바이스에 출력된다.

이와 같이 도 20에 나타낸 바와 같이, BD 플레이어는 도 18에서 나타낸 BD디 스크에 기록되어 있는 데이터 구성에 의거한 기기 구성이 되어 있다.

도 21은 상술한 플레이어 구성을 상세화한 블록도이다. 도 21에서는, AV기록 메모리(205)는 이미지 메모리(308)와 트랙버퍼(309)에, 프로그램 처리부(206)는 프로그램 프로세서(302)와 UOP 매니저(303)에, 관리 정보 처리부(207)는 시나리오 프로세서(305)와 프레젠테이션 컨트롤러(306)에, 프레젠테이션 처리부(208)는 클록(307), 디멀티플렉서(310), 이미지 프로세서(311), 비디오 프로세서(312)와 사운드 프로세서(313)에 각각 대응/전개되어 있다.

BD디스크(201)로부터 읽어낸 VOB 데이터(MPEG 스트림)는 트랙버퍼(309)에, 이미지 데이터(PNG)는 이미지 메모리(308)에 각각 기록된다. 디멀티플렉서(310)가 클록(307)의 시각에 의거하여, 트랙 버퍼(309)에 기록된 VOB데이터를 뽑아내고, 영상 데이터를 비디오 프로세서(312)에 음성 데이터를 사운드 프로세서(313)에 각각 보낸다. 비디오 프로세서(312) 및 사운드 프로세서(313)는 각각 MPEG 시스템 규격으로 정해진 대로, 디코더 버퍼와 디코더로 각각 구성되어 있다. 즉, 디멀티플렉서(310)로부터 이송되는 영상, 음성 각각의 데이터는, 각각의 디코더 버퍼에 일시적으로 기록되고 클록(307)에 따라 개개의 디코더로 디코드 처리된다.

이미지 메모리(308)에 기록된 PNG는, 다음의 2개의 처리 방법이 있다.

이미지 데이터가 자막용일 경우는, 프레젠테이션 컨트롤러(306)에 의해 디코드 타이밍이 지시된다. 클록(307)으로부터의 시각 정보를 시나리오 프로세서(305)가 일단 받고, 적절한 자막 표시를 실행할 수 있도록, 자막 표시 시각(개시 및 종료)이 되면 프레젠테이션 컨트롤러(306)에 대해 자막의 표시, 비표시의 지시를 낸 다. 프레젠테이션 컨트롤러(306)로부터 디코드/표시의 지시를 받은 이미지 프로세서(311)는 대응하는 PNG 데이터를 이미지 메모리(308)로부터 뽑아내, 디코드하고, 이미지 플레인(314)에 묘화한다.

다음에, 이미지 데이터가 메뉴용일 경우는, 프로그램 프로세서(302)에 의해 디코드 타이밍이 지시된다. 프로그램 프로세서(302)가 언제 이미지의 디코드를 지시할지는, 프로그램 프로세서(302)가 처리하는 BD프로그램에 의한 것이고 일률적으로 정해지지 않는다.

이미지 데이터 및 영상 데이터는, 도 20에서 설명한 바와 같이 각각 디코드 후에 이미지 플레인(314), 비디오 플레인(315)에 출력되고, 합성 처리부(316)에 의해 합성 후 출력된다.

BD디스크(201)로부터 읽어내게 된 관리 정보(시나리오, AV관리 정보)는, 관리 정보 기록 메모리(304)에 저장되지만, 시나리오 정보(「BD.INFO」 및 「XXX. PL」)는 시나리오 프로세서(305)에 판독 입력 처리된다. 또, AV관리 정보(「YYY, VOBI」)는 프레젠테이션 컨트롤러(306)에 의해 읽어내게 되어 처리된다.

시나리오 프로세서(305)는, 플레이 리스트의 정보를 해석하고, 플레이 리스트에 의해 참조되어 있는 VOB와 그 재생 위치를 프레젠테이션 컨트롤러(306)에 지시하고, 프레젠테이션 컨트롤러(306)는 대상이 되는 VOB의 관리 정보(「YYY. VOBI」)를 해석하고, 대상이 되는 VOB를 읽어내도록 드라이브 컨트롤러(317)에 지시를 낸다.

드라이브 컨트롤러(317)는 프레젠테이션 컨트롤러(306)의 지시에 따라, 광픽 업을 이동시켜, 대상이 되는 AV 데이터의 판독을 실행한다. 읽어내게 된 AV 데이터는, 상술한 바와 같이 이미지 메모리(308)는 트랙 버퍼(309)로 읽어내게 된다.

또, 시나리오 프로세서(305)는, 클록(307)의 시각을 감시하고, 관리 정보로 설정되어 있는 타이밍으로 이벤트를 프로그램 프로세서(302)에 던진다.

프로그램 기록 메모리(301)에 기록된 BD프로그램(「BD. PROG」 또는 「XXX. PROG」)은, 프로그램 프로세서(302)에 의해 실행 처리된다. 프로그램 프로세서(302)가 BD프로그램을 처리하는 것은, 시나리오 프로세서(305)로부터 이벤트를 보내 온 경우나, UOP 매니저(303)로부터 이벤트를 보내 온 경우이다. UOP 매니저(303)는, 사용자로부터 리모컨 키에 의해 요청을 보내 온 경우에, 프로그램 프로세서(302)에 대한 이벤트를 생성한다.

<애플리케이션 공간>

도 22는, BD의 애플리케이션 공간을 나타낸 도면이다.

BD의 애플리케이션 공간에서는, 플레이 리스트(PlayList)가 하나의 재생 단위로 되어 있다. 플레이 리스트는 셀(Cell)의 연결이고, 연결의 순서에 의해 결정되는 재생 시퀀스인 정적인 시나리오와 프로그램에 의해 기술되는 동적인 시나리오를 가진다. 프로그램에 의한 동적인 시나리오가 없는 한, 플레이 리스트는 개개의 셀을 순서대로 재생할 뿐이고, 또, 모든 셀의 재생을 종료한 시점에서 플레이 리스트의 재생은 종료한다. 한편, 프로그램은, 플레이 리스트를 넘어서의 재생 기술이나, 사용자 선택 또는 플레이어 상태에 의해 재생하는 대상을 동적으로 바뀌는 것이 가능하다. 전형적인 예로서는 메뉴를 들 수 있다. BD일 경우, 메뉴란 사용자의 선택에 의해 재생하는 시나리오라고 정의할 수 있고, 프로그램에 의해 플레이 리스트를 동적으로 선택하는 것이다.

여기에서, 언급하는 프로그램이란, 시간 이벤트 또는 사용자 이벤트에 의해 실행되는 이벤트 핸들러가 하는 것이다.

시간 이벤트는, 플레이 리스트 중에 매입된 시각 정보에 의거하여 생성되는 이벤트이다. 도 21에서 설명한 시나리오 프로세서(305)로부터 프로그램 프로세서(302)에 보내지는 이벤트가 이에 상당한다. 시간 이벤트가 발행되면, 프로그램 프로세서(302)는 ID에 의해 대응시킬 수 있는 이벤트 핸들러를 실행 처리한다. 상술한 대로, 실행되는 프로그램이 다른 플레이 리스트의 재생을 지시하는 것이 가능하고, 이 경우에는, 현재 재생되어 있는 플레이 리스트의 재생은 중지되고, 지정된 플레이 리스트의 재생으로 천이된다.

사용자 이벤트는, 사용자의 리모컨 키 조작에 의해 생성되는 이벤트이다. 사용자 이벤트는 크게 2개의 타입으로 나눌 수 있다. 첫번째는, 커서 키(「상」「하」「좌」「우」키) 또는 「결정」키의 조작에 의해 생성되는 메뉴 선택의 이벤트이다. 메뉴 선택의 이벤트에 대응하는 이벤트 핸들러는 플레이 리스트 내의 한정된 기간만 유효하고(플레이 리스트의 정보로서 개개의 이벤트 핸들러의 유효 기간이 설정되어 있음), 리모컨의 「상」「하」「좌」「우」키 또는 「결정」키를 눌렸을 때에 유효한 이벤트 핸들러를 검색하고, 유효한 이벤트 핸들러가 있을 경우는 당해 이벤트 핸들러가 실행 처리된다. 다른 경우는, 메뉴 선택의 이벤트는 무시되게 된다

두번째의 사용자 이벤트는, 「메뉴」키의 조작에 의해 생성되는 메뉴 호출의 이벤트이다. 메뉴 호출의 이벤트가 생성되면, 글로벌 이베트 핸들러가 호출된다. 글로벌 이벤트 핸들러는 플레이 리스트에 의존하지 않고, 항상 유효한 이벤트 핸들러가다. 이 기능을 사용함으로써, DVD의 메뉴 콜(타이틀 재생 중에 음성, 자막 메뉴 등을 호출하고, 음성 또는 자막을 변경 후에 중단하고 지점으로부터의 타이틀 재생을 실행하는 기능 등)을 실장할 수 있다.

플레이 리스트에서 정적 시나리오를 구성하는 단위인 셀(Cell)은 VOB(MPEG 스트림)의 전부 또는 일부의 재생 구간을 참조한 것이다. 셀은 VOB 내의 재생 구간을 개시, 종료 시각의 정보로서 가진다. 개개의 VOB와 한 쌍이 되어 있는 VOB 관리 정보(VOBI)는, 그 내부에 데이터의 재생 시각에 대응한 기록 어드레스의 테이불 정보인 타임맵(Time Map 또는 TMAP)을 가지고, 이 타임맵에 의해 상술한 VOB의 재생, 종료 시각을 VOB 내(즉, 대상이 되는 파일 「YYY. VOB」내)에서의 판독 개시 어드레스 및 종료 어드레스를 도출하는 것이 가능하다. 또한, 타임맵의 자세한 것은 후술한다.

<VOB의 상세>

도 23은, 본 실시예에서 사용하는 MPEG 스트림(VOB)의 구성도이다.

도 23에 나타낸 바와 같이, VOB는 복수의 VOBU(Video Object Unit)에 의해 구성되어 있다. VOBU는, MPEG 비디오 스트림에서 언급하는 GOP(Group Of Pictures)를 기준으로 하여, 음성 데이터도 포함한 다중화 스트림으로서의 하나의 재생 단위이다. VOBU는 1.0초 이하의 비디오 재생 시간을 가지고, 통상은 0.5초 정도의 재생 시간을 가진다.

VOBU 선두의 TS패킷(MPEG-2 Transport Stream Packet)은, 시퀀스 헤더와 그에 이어지는 GOP 헤더와 I픽쳐(Intra-coded)를 저장하고, 이 I픽쳐로부터의 복호가 개시 가능하도록 되어 있다. 또, 이 VOBU 선두의 I픽쳐의 선두를 포함하는 TS패킷의 어드레스(개시 어드레스)와, 이 개시 어드레스로부터 I픽쳐의 최후를 포함하는 TS패킷까지의 어드레스(종료 어드레스)와, 이 I픽쳐의 재생 개시 시각(PTS)을 타임맵으로 관리한다. 따라서, 타임맵의 엔트리는 VOBU 선두의 TS패킷마다 주어져 있다.

VOBU는, 그 내부에 비디오 패킷(V_PKT)과 오디오 패킷(A_PKT)을 가진다. 각 패킷은 188바이트이고, 도 23에 도시하지 않지만, 각 TS패킷의 직전에는, 그 TS패킷의 상대적인 디코더 공급 개시 시각인 ATS(Arrival Time Stamp)가 부여되어 있다.

ATS를 각 TS패킷마다 부여하는 것은, 이 TS스트림의 시스템 레이트가 고정 레이트가 아니고, 가변 레이트이기 때문이다. 일반적으로 시스템 레이트를 고정으로 할 경우에는 NULL 패킷이라고 불리는 더미의 TS패킷을 삽입하게 되지만, 한정된 기록 용량 중에 고화질로 기록하기 위해서는, 가변 레이트가 적합하고 BD에서는 ATS가 부여된 TS스트림으로서 기록되어 있다.

도 24는, TS패킷의 구성을 나타낸 도면이다.

도 24에 나타낸 바와 같이, TS패킷은, TS패킷 헤더와 적용 필드와 페이로드부로 구성된다. TS패킷 헤더에는 PID(Packet Identifier)가 저장되고, 이에 의해, TS패킷이 어떠한 정보를 저장하고 있는지 식별된다. 적용 필드에는 PCR(Program Clock Reference)이 저장된다. PCR은 스트림을 디코드하는 기기의 기준 클록(System Time Clock, STC라고 부른다)의 참조값이다. 기기는 전형적으로는 PCR의 타이밍에 시스템 스트림을 디멀티플렉스하고, 비디오 스트림 등의 각종 스트림을 재구축한다. 페이로드에는 PES 패킷이 저장된다.

PES 패킷 헤더에는, DTS(Decoding Time Stamp)와 PTS(Presentation Time Stamp)가 저장된다. DTS는 당해 PES 패킷에 저장되는 픽쳐/오디오 프레임의 디코드 타이밍을 나타내고, PTS는 영상 음성 출력 등의 프리젠테이션 타이밍을 나타낸다. 비디오 데이터 및 오디오 데이터와 같은 엘리멘터리 데이터는, PES 패킷 페이로드(PES Packet Payload)라고 불리는 패킷(PES Packet)의 데이터 저장 영역에 선두로부터 순차적으로 들어간다. PES 패킷 헤더에는, 페이로드에 저장되어 있는 데이터가 어느 스트림인지 식별하기 위한 ID(stream id)도 기록되어 있다.

TS스트림의 상세한 것에 대해서는 ISO/IEC13818-1로 규정되어 있고, BD로 특징적인 것은 ATS를 각 TS패킷 마다 부여한 것이다.

<VOB의 인터리브 기록>

다음에 도 25 및 도 26을 이용하여 VOB 파일의 인터리브 기록에 대해 설명한다.

도 25 상단은, 상술한 플레이어 구성도의 일부이다. 도면대로, BD디스크 상의 데이터는, 광픽업을 통해 VOB 즉 MPEG 스트림이면 트랙버퍼로 입력되고, PNG 즉, 이미지 데이터이면 이미지 메모리로 입력된다.

트랙 버퍼는 FIFO이고, 입력된 VOB의 데이터는 입력된 순서로 디멀티플렉서로 보내진다. 이 때, 상술한 ATS에 따라 개개의 TS패킷은 트랙버퍼로부터 추출되고, 디멀티플렉서를 통해 비디오 프로세서 또는 사운드 프로세서로 데이터가 보내진다. 한편, 이미지 데이터일 경우는, 어느 이미지를 묘화할지는 프레젠테이션 컨트롤러에 의해 지시된다. 또, 묘화에 사용한 이미지 데이터는, 자막용 이미지 데이터일 경우는 동시에 이미지 메모리로부터 삭제되지만, 메뉴용의 이미지 데이터일 경우는, 그 메뉴 묘화 중은 이미지 메모리 내에 그대로 남겨진다. 이는 메뉴의 묘화는 사용자 조작에 의존하고, 사용자의 조작에 추종하고 메뉴의 일부분을 재표시 혹은 다른 이미지로 치환할 때가 있고, 그 때에 재표시되는 부분의 이미지 데이터를 쉽게 디코드하기 위한 것이다.

도 25 하단은, BD디스크 상에서의 VOB 파일 및 PNG 파일의 인터리브 기록을 나타내는 도면이다. 일반적으로 ROM, 예를 들면 CD-ROM이나 DVD-ROM일 경우, 일련의 연속 재생 단위가 되는 AV 데이터는 연속 기록되어 있다. 이는, 연속 기록되어 있는 한, 드라이브는 순차적으로 데이터를 읽어내고, 디코더로 보내지기만 하면 되지만 연속 데이터가 분단되어 디스크 상에 이산 배치되어 있을 경우는, 개개의 연속재생 구간 사이에서 시크 조작이 들어가게 되고, 그 동안 데이터의 판독이 멈추게 되고, 데이터의 공급이 멈출 가능성이 있기 때문이다. BD의 경우도 마찬가지로 VOB파일은 연속 영역에 기록할 수 있는 것이 바람직하지만, 예를 들면 자막 데이터처럼 VOB에 기록되어 있는 영상 데이터와 동기하여 재생되는 데이터가 있고, VOB 파일과 마찬가지로 자막 데이터도 어떠한 방법에 의해 BD디스크로부터 읽어내는 것 이 필요하게 된다.

자막 데이터의 판독 방법의 일수단으로서 VOB의 재생 개시 전에 일괄적으로 자막용의 이미지 데이터(PNG 파일)를 읽어내는 방법이 있다. 그렇지만, 이 경우에는 대량의 메모리가 필요하게 되어, 비현실적이다.

그래서, VOB 파일을 여러 개의 블록으로 나누고, 이미지 데이터와 인터리브 기록하는 방식을 사용한다. 도 25 하단은 그 인터리브 기록을 설명한 도면이다.

VOB 파일과 이미지 데이터를 적절히 인터리브 배치함으로써, 상술한 바와 같은 일시 기록 메모리 없이, 필요한 타이밍으로 이미지 데이터를 이미지 메모리에 저장하는 것이 가능하게 된다. 그렇지만 이미지 데이터를 읽어낼 때에는, VOB데이터의 판독 입력은 당연하지만 정지하게 된다.

도 26은, 이 문제를 해결하는 트랙버퍼를 사용한 VOB 데이터 연속 공급 모델을 설명하는 도면이다.

이미 설명한 바와 같이, VOB의 데이터는, 일단 트랙버퍼에 축적된다. 트랙버퍼로의 데이터 입력 레이트(Va)와 트랙버퍼로부터의 데이터 출력 레이트(Vb) 사이에 차이(Va＞Vb)를 설정하면, BD디스크로부터 데이터를 계속 읽어내는 한, 트랙버퍼의 데이터 축적량은 증가하게 된다.

도 26의 상단에 기록한 바와 같이 VOB의 일연속 기록 영역이 논리 어드레스의 "a1"로부터 "a2"까지 계속되는 것으로 한다. "a2"로부터 "a3" 사이는, 이미지 데이터가 기록되어 있고, VOB 데이터의 판독을 실행할 수 없는 구간으로 한다.

도 26의 하단은, 트랙버퍼의 내부를 나타낸 도면이다. 가로축이 시간, 세로 축이 트랙버퍼 내부에 축적되어 있는 데이터량을 나타내고 있다. 시각 "t1"이 VOB의 일연속기록 영역의 개시점인 "a1"의 판독을 개시한 시각을 나타내고 있다. 이 시각 이후, 트랙버퍼에는 레이트 Va-Vb에서 데이터가 축적되어 간다. 이 레이트는 당연히 트랙버퍼의 입출력 레이트의 차이이다. 시각 "t2"는 일연속 기록 영역의 종료점인 "a2"의 데이터를 판독 입력하는 시각이다. 즉, 시각 "t1"로부터 "t2" 사이의 레이트 Va-Vb로 트랙버퍼 내는 데이터량이 증가해 가고, 시각 "t2"에서의 데이터 축적량 B(t2)는 아래 식으로 구할 수 있다.

B(t2)=(Va-Vb)×(t2-t1) (식 1)

이후, BD디스크 상의 어드레스 "a3"까지는 이미지 데이터가 계속되기 때문에, 트랙버퍼에의 입력은 0이 되고, 출력 레이트인 "-Vb"로 트랙 버퍼 내의 데이터량은 감소하게 된다. 이는 판독 위치 "a3"까지, 시각에서는 "t3"까지 된다.

여기에서, 중요한 것은, 시각 "t3"보다 전에 트랙버퍼에 축적되어 있는 데이터량이 0이 되면, 디코더에 공급하는 VOB의 데이터가 없어지게 되고, VOB의 재생이 스톱하게 되는 가능성이 있다. 그렇지만, 시각 "t3"에서 트랙버퍼에 데이터가 남아 있을 경우에는, VOB의 재생이 스톱하지 않고 연속할 수 있는 것을 의미한다.

이 조건은 아래 식으로 나타낼 수 있다.

B(t2)≥Vb×(t3-t2) (식 2)

즉, 식 2를 만족하도록 이미지 데이터(비VOB 데이터)의 배치를 결정하면 된다.

<내비게이션 데이터 구조>

도 27로부터 도 33을 이용하고 BD의 내비게이션 데이터(BD 관리 정보)구조에 대해 설명한다.

도 27은, VOB 관리 정보 파일("YYY. VOBI")의 내부 구조를 나타낸 도면이다.

VOB 관리 정보는, 당해 VOB의 스트림 속성 정보(Attribute)와 타임맵을 가진다. 스트림 속성은, 비디오 속성(Video), 오디오 속성(Audio＃0~Audio＃m) 개개에 가지는 구성이 된다. 특히 오디오 스트림일 경우는, VOB가 복수개의 오디오 스트림을 동시에 가질 수 있으므로, 오디오 스트림수(Number)에 의해, 데이터 필드의 유무를 나타낸다.

하기는 비디오 속성(Video)이 가지는 필드와 각각이 가질 수 있는 값이다.

압축 방식(Coding):

MPEG1

MPEG2

MPEG4

MPEG4-AVC(Advanced Video Coding)

해상도(Resolution):

1920×1080

1440×1080

1280×720

720×480

720×565

어스펙트비(Aspect):

4:3

16:9

프레임 레이트(Framerate)；

60

59.94(60/1.001)

50

30

29.97(30/1.001)

25

24

23.976(24/1.001)

하기는 오디오 속성(Audio)이 가지는 필드와 각각이 가질 수 있는 값이다.

압축 방식(Coding):

AC3

MPEG1

MPEG2

LPCM

채널수(Ch):

1~8

언어 속성(Language):

타임맵(TMAP)은 VOBU마다의 정보를 가지는 테이블이고, 당해 VOB가 가지는 VOBU수(Number)와 각 VOBU 정보(VOBU＃1~VOBU＃n)를 가진다. 개개의 VOBU 정보는, VOBU 선두 TS패킷(1픽쳐 개시)의 어드레스 I_start와, 그 I픽쳐의 종료 어드레스까지의 오프셋 어드레스(I_end), 및 그 I픽쳐의 재생 개시 시각(PTS)으로 구성된다.

또한, I_end의 값은 오프셋값, 즉 I픽쳐의 사이즈를 가지도록 하는 것이 아니라, 실제의 I픽쳐의 종료 어드레스를 가지도록 해도 된다.

도 28은 VOBU 정보의 상세를 설명하는 도면이다.

널리 알려져 있듯이, MPEG 비디오 스트림은 고화질 기록하기 위해 가변 비트 레이트 압축될 때가 있고, 그 재생 시간과 데이터 사이즈 사이에 단순한 상관은 없다. 반대로, 음성의 압축 규격인 AC3은 고정 비트 레이트로의 압축을 실행하기 때문에, 시간과 어드레스의 관계는 1차식으로 구할 수 있다. 그렇지만 MPEG 비디오 데이터일 경우는, 개개의 프레임은 고정의 표시 시간, 예를 들면 NTSC의 경우는 1프레임은 1/29.97초의 표시 시간을 가지지만, 개개의 프레임의 압축 후의 데이터 사이즈는 그림의 특성이나 압축에 사용한 픽쳐 타입, 이른바 I/P/B 픽쳐에 의해 데이터 사이즈는 크게 바뀐다. 따라서, MPEG 비디오일 경우는, 시간과 어드레스의 관계는 일차식의 형태로 표현하는 것은 불가능하다.

당연한 것으로서 MPEG 비디오 데이터를 다중화하고 있는 MPEG 시스템 스트림, 즉, VOB도 시간과 데이터 사이즈를 1차식의 형태로 표현하는 것은 불가능하다. 이 때문에 VOB 내에서의 시간과 어드레스의 관계를 연결하는 것이 타임맵(TMAP)이 다.

이와 같이 하여, 어떤 시각 정보가 주어졌을 경우, 우선 당해 시각이 어느 VOBU에 속하는 지를 검색(VOBU마다의 PTS를 추적)하여, 당해 시각의 직전의 PTS를 TMAP에 가지는 VOBU에 가서(I_Start로 지정된 어드레스), VOBU 선두의 I픽쳐로부터 복호를 개시하고, 당해 시각의 픽쳐로부터 표시를 개시한다.

다음에 도 29를 사용하여, 플레이 리스트 정보("XXX. PL")의 내부 구조를 설명한다.

플레이 리스트 정보는, 셀 리스트(CellList)와 이벤트 리스트(EventList)로 구성되어 있다.

셀 리스트(CellList)는, 플레이 리스트 내의 재생 셀 시퀀스이고, 본 리스트의 기술 순서로 셀이 재생되게 된다. 셀 리스트(CellList)의 내용은, 셀의 수(Number)와 각 셀 정보(Cell＃1~Cell＃N)이다.

셀 정보(CEL1＃)는, VOB 파일명(VOBName), 당해 VOB 내에서의 개시 시각(LN) 및 종료 시각(Out)과, 자막 테이블(SubtitleTable)을 가진다. 개시 시각(In) 및 종료 시각(Out)은, 각각 당해 VOB 내에서의 프레임 번호로 표현되고, 상술한 타임맵을 사용함으로써 재생에 필요한 VOB 데이터의 어드레스를 얻는 것이 가능하다.

자막 테이블(SubtitleTable)은, 당해 VOB와 동기 재생되는 자막 정보를 가지는 테이불이다. 자막은 음성과 같이 복수의 언어를 가질 수 있고, 자막 테이블(SubtitleTable)은, 최초의 정보인 언어수(Number)와 그에 계속되는 개개의 언어마다의 테이블(Language＃1~Language＃k)로 구성되어 있다.

각 언어의 테이블(Language＃)은, 언어 정보(Lang)와, 개개에 표시되는 자막의 자막 정보수(Number)와, 개개에 표시되는 자막의 자막 정보(Speech＃1~Speech＃j)로 구성되고, 자막 정보(Speech＃)는 대응하는 이미지 데이터 파일명(Name), 자막 표시 개시 시각(In) 및 자막 표시 종료 시각(Out)과, 자막의 표시 위치(Position)로 구성되어 있다.

이벤트 리스트(EventList)는, 당해 플레이 리스트 내에서 발생하는 이벤트를 정의한 테이불이다. 이벤트 리스트는, 이벤트수(Number)에 이어 개개의 이벤트(Event＃1~Event＃m)로 구성되고, 개개의 이벤트(Event＃)는, 이벤트의 종류(Type), 이벤트의 ID(ID), 이벤트 발생 시각(Time)과 유효 기간(Duration)으로 구성되어 있다.

도 30은, 개개의 플레이 리스트마다의 이벤트 핸들러(시간 이벤트와 메뉴 선택용의 사용자 이벤트)를 가지는 이벤트 핸들러 테이블("XXX. PROG")이다.

이벤트 핸들러 테이블은, 정의되어 있는 이벤트 핸들러/프로그램수(Number)와 개개의 이벤트 핸들러/프로그램(Program＃1~Program＃n)을 가진다. 각 이벤트 핸들러/프로그램(Program＃) 내의 기술은, 이벤트 핸들러 개시의 정의(＜event_handler＞태그)와 상술한 이벤트의 ID와 쌍이 되는 이벤트 핸들러의 ID(ID)를 가지고, 그 후에 당해 프로그램도 Function에 계속되는 괄호"{" 와 "}" 사이에 기술한다. 상술의 "XXX, PL"의 이벤트 리스트(EventList)에 저장된 이벤트(Event＃1~Event＃m)는 "XXX. PROG"의 이벤트 핸들러의 ID(ID)를 이용하여 특정된다.

다음에 도 31을 이용하여 BD디스크 전체에 관한 정보("BD. INFO")의 내부 구 조를 설명한다.

BD디스크 전체 정보는, 타이틀 리스트(TitleList)와 글로벌 이벤트용의 이벤트 테이불(EventList)로 구성되어 있다.

타이틀 리스트(TitleList)는, 디스크 내의 타이틀수(Number)와, 이에 이어지는 각 타이틀 정보(Title＃1~Title＃n)로 구성되어 있다. 개개의 타이틀 정보(Title＃)는, 타이틀에 포함되는 플레이 리스트의 테이블(PLTable)과 타이틀 내의 챕터 리스트(ChapterList)를 포함한다. 플레이 리스트의 테이블(PLTable)은 타이틀 내의 플레이 리스트의 수(Number)와 플레이 리스트명(Name) 즉, 플레이 리스트의 파일명을 가진다.

챕터 리스트(ChapterList)는, 당해 타이틀에 포함되는 챕터수(Number)와 개개의 챕터 정보(Chapter＃1~Chapter＃n)로 구성되고, 개개의 챕터 정보(Chapter＃)는 당해 챕터가 포함하는 셀의 테이블(CellTable)을 가지고, 셀의 테이블(CellTable)은 셀수(Number)와 개개의 셀의 엔트리 정보(CellEntry＃1~CellEntry＃k)로 구성되어 있다. 셀의 엔트리 정보(CellEntry＃)는 당해 셀을 포함하는 플레이 리스트명과, 플레이 리스트 내에서의 셀 번호에 의해 기술되어 있다.

이벤트 리스트(EventList)는, 글로벌 이벤트의 수(Number)와 개개의 글로벌 이벤트의 정보를 가진다. 여기에서, 주의해야 할 것은, 최초로 정의되는 글로벌 이벤트는 퍼스트 이벤트(FirstEvent)라고 불리고 BD디스크가 플레이어에 삽입되었을 때, 최초로 불리는 이벤트이다. 글로벌 이벤트용 이벤트 정보는 이벤트 타입(Type)과 이벤트의 ID(ID)만을 가진다.

도 32는, 글로벌 이벤트 핸들러의 프로그램의 테이블("BD, PROG")이다

본 테이블은, 도 30에서 설명한 이벤트 핸들러 테이블과 동일한 내용이다.

<이벤트 발생의 메커니즘>

도 33으로부터 도 35를 사용하여 이벤트 발생의 메카니즘에 대해 설명한다.

도 33은 타임 이벤트의 예이다.

상술한 바와 같이, 타임 이벤트는 플레이 리스트 정보("XXX. PL")의 이벤트 리스트(EventList)로 정의된다. 타임 이벤트로서 정의되어 있는 이벤트, 즉, 이벤트 타입(Type)이 "TimeEvent"일 경우, 이벤트 생성 시각("t1")이 된 시점에서, ID"Ex1"을 가지는 타임 이벤트가 시나리오 프로세서에서 프로그램 프로세서에 대해 올려진다. 프로그램 프로세서는, 이벤트ID "Ex1"을 가지는 이벤트 핸들러를 찾고, 대상의 이벤트 핸들러를 실행 처리한다. 예를 들면, 본 실시예의 경우에서는, 2개의 버튼 이미지의 묘화를 실행하는 등을 실행할 수 있다.

도 34는 메뉴 조작을 실시하는 사용자 이벤트의 예이다.

상술한 바와 같이, 메뉴 조작을 실시하는 사용자 이벤트도 플레이 리스트 정보("XXX, PL")의 이벤트 리스트(EventList)로 정의된다. 사용자 이벤트로서 정의되는 이벤트, 즉, 이벤트 타입(Type)이 "UserEvent"일 경우, 이벤트 생성 시각("t1") 시점에서, 당해 사용자 이벤트가 준비가 된다. 이 때, 이벤트 자신은 아직도 생성되고 있지 않다. 당해 이벤트는, 유효 기간 정보(Duration)로 기입되는 기간 준비 상태에 있다.

도 34에 나타낸 것같이, 사용자가 리모컨 키의 「상」「하」「좌」「우」키 또는 「결정」키를 눌렀을 경우, 먼저 UOP 이벤트가 UOP 매니저에 의해 생성되고, 프로그램 프로세서에 올려진다. 프로그램 프로세서는, 시나리오 프로세서에 대해 UOP이벤트를 흘리고, 시나리오 프로세서는 UOP 이벤트를 받았을 시각에 유효한 사용자 이벤트가 존재하는 지를 검색하고, 대상이 되는 사용자 이벤트가 있었을 경우는, 사용자 이벤트를 생성하여, 프로그램 프로세서에 들어올린다. 프로그램 프로세서에서는, 이벤트ID "Ev1"을 가지는 이벤트 핸들러를 찾고, 대상의 이벤트 핸들러를 실행 처리한다. 예를 들면, 본 실시예의 경우에서는, 플레이 리스트 ＃2의 재생을 개시한다.

생성되는 사용자 이벤트에는, 어느 리모컨 키가 사용자에 의해 눌려졌는지에 대한 정보는 포함되지 않는다. 선택된 리모컨 키의 정보는, UOP 이벤트에 의해 프로그램 프로세서에 전해지고, 가상 플레이어가 가지는 레지스터 SPRM(8)에 기록 유지된다. 이벤트 핸들러의 프로그램은, 이 레지스터의 값을 조사하여 분기 처리를 실행하는 것이 가능하다.

도 35는 글로벌 이벤트의 예이다.

상술한 대로, 글로벌 이벤트는 BD디스크 전체에 관한 정보("BD.INFO")의 이벤트 리스트(EventList)로 정의된다. 글로벌 이벤트로서 정의되는 이벤트, 즉, 이벤트 타입(Type)이"GlobalEvent"일 경우, 사용자의 리모컨 키 조작이 있었을 경우에만 이벤트가 생성된다.

사용자가 "메뉴"를 눌렀을 경우, 먼저 UOP 이벤트가 UOP 매니저에 의해 생성되어 프로그램 프로세서에 올려진다. 프로그램 프로세서는, 시나리오 프로세서에 대해 UOP 이벤트를 흘리고, 시나리오 프로세서는, 해당하는 글로벌 이벤트를 생성하여, 프로그램 프로세서로 보낸다. 프로그램 프로세서에서는, 이벤트ID "menu"를 가지는 이벤트 핸들러를 찾고, 대상의 이벤트 핸들러를 실행 처리한다. 예를 들면, 본 실시예일 경우에서는 플레이 리스트＃3의 재생을 개시한다.

본 실시예에서는, 단순히 "메뉴"키라고 부르지만, DVD와 같이 복수의 메뉴 키가 있어도 괜찮다. 각 메뉴 키에 대응하는 ID를 각각 정의함으로써 대응하는 것이 가능하다.

<가상 플레이어 머신>

도 36을 이용해 프로그램 프로세서의 기능 구성을 설명한다.

프로그램 프로세서는, 내부에 가상 플레이어 머신을 가지는 처리 모듈이다. 가상 플레이어 머신은 BD로 정의된 기능 모델이고, 각 BD 플레이어의 실장에는 의존하지 않는 것이다. 즉, 어느 BD 플레이어에 대해서도 같은 기능을 실행할 수 있는 것을 보증한다.

가상 플레이어 머신은 크고 2개의 기능을 가지고 있다. 프로그래밍 함수와 플레이어 변수(레지스터)이다. 프로그래밍 함수는, JAVA(등록 상표) Script을 베이스로 하여, 이하에 기재하는 기능을 BD고유 함수로 정의한다.

링크 함수: 현재의 재생을 정지하고, 지정하는 플레이 리스트, 셀, 시각부터의 재생을 개시한다

Link(PL＃, Cell＃, time)

PL＃: 플레이 리스트명

Cell＃: 셀 번호

time: 셀 내에서의 재생 개시 시각

PNG 묘화 함수: 지정 PNG 데이터를 이미지 플레인에 묘화한다

Draw(File, X, Y)

File: PNG 파일명

X: X좌표 위치

Y: Y좌표 위치

이미지 플레인 클리어 함수: 이미지 플레인의 지정 영역을 클리어한다

Clear(X, Y, W, H)

X: X좌표 위치

Y: Y좌표 위치

W: X방향 폭

H: Y방향 폭

플레이어 변수는, 플레이어 상태를 나타내는 시스템 파라미터(SPRM)와 일반 용도로서 사용가능한 제네럴 파라미터(GPRM)가 있다.

도 37은 시스템 파라미터(SPRM)의 일람이다.

SPRM(0): 언어 코드

SPRM(1): 음성 스트림 번호

SPRM(2): 자막 스트림 번호

SPRM(3): 앵글 번호

SPRM(4): 타이틀 번호

SPRM(5): 챕터 번호

SPRM(6): 프로그램 번호

SPRM(7): 셀 번호

SPRM(8): 선택 키 정보

SPRM(9): 내비게이션 타이머

SPRM(10): 재생 시각 정보

SPRM(11): 가라오케용 믹싱 모드

SPRM(12): 패런털(parental)용 나라 정보

SPRM(13): 패런털 레벨

SPRM(14): 플레이어 설정값(비디오)

SPRM(15): 플레이어 설정값(오디오)

SPRM(16): 음성 스트림용 언어 코드

SPRM(17): 음성 스트림용 언어 코드(확장)

SPRM(18): 자막 스트림용 언어 코드

SPRM(19): 자막 스트림용 언어 코드(확장)

SPRM(20): 플레이어 리젼 코드

SPRM(21): 예비

SPRM(22): 예비

SPRM(23): 재생 상태

SPRM(24): 예비

SPRM(25): 예비

SPRM(26): 예비

SPRM(27): 예비

SPRM(28): 예비

SPRM(29): 예비

SPRM(30): 예비

SPRM(31): 예비

또한, 본 실시예에서는, 가상 플레이어의 프로그래밍 함수를 Java(등록 상표) Script 베이스로 했지만, Java(등록 상표) Script이 아니라, Unix(등록 상표) OS 등에서 사용되는 B-Shell이나, Perl Script 등 다른 프로그래밍 함수라도 상관없고, 환언하면, 본 발명은 JAVA(등록 상표) Script으로 한정되는 것이 아니다.

<프로그램의 예>

도 38 및 도 39는, 이벤트 핸들러에서의 프로그램의 예이다.

도 38은, 2개의 선택 버튼을 가진 메뉴의 예이다.

셀(PlayList＃1. Cell＃1) 선두에서 타임 이벤트를 사용해 도 38 좌측의 프로그램이 실행된다. 여기에서는, 최초로 제네럴 파라미터의 하나인 GPRM(0)에 "1"이 세트되어 있다. GPRM(0)은, 당해 프로그램 중에서, 선택되어 있는 버튼을 식별하는데 사용된다. 최초 상태에서는, 좌측으로 배치하는 버튼(1)이 선택되어 있는 것을 초기값으로 가지게 되어 있다.

다음에, PNG의 묘화를 묘화 함수인 Draw를 사용해 버튼 1, 버튼 2 각각에 대해 실행한다. 버튼 1은, 좌표(10, 200)를 기점(좌단)으로 PNG 이미지 "1 black. png"를 묘화한다. 버튼 2는, 좌표(330, 200)를 기점(좌단)으로 PNG 이미지 "2 white. png"를 묘화한다.

또, 본 셀 최후에는 타임 이벤트를 사용해 도 38 우측의 프로그램이 실행된다. 여기에서는, Link 함수를 사용해 당해 셀의 선두로부터 재차 재생하도록 지정한다.

도 39는, 메뉴 선택의 사용자 이벤트의 이벤트 핸들러의 예이다.

「좌」키, 「우」키, 「결정」키 어느 쪽 리모컨 키가 눌려진 경우 각각에 대응하는 프로그램이 이벤트 핸들러에 쓰여져 있다. 사용자가 리모컨 키를 누른 경우, 도 34에서 설명한 바와 같이, 사용자 이벤트가 생성되고, 도 39의 이벤트 핸들러가 기동하게 된다. 본 이벤트 핸들러에서는, 선택 버튼을 식별하는 GPRM(0)의 값과 선택된 리모컨 키를 식별하는 SPRM(8)를 사용해 분기 처리를 실행한다.

조건 1) 버튼(1)이 선택되어 있고, 또한 선택 키가 「우」키일 경우

GPRM(0)을 2로 재설정하고, 선택 상태에 있는 버튼을 오른쪽 버튼(2)으로 변경한다.

버튼(1), 버튼(2)의 이미지를 각각 다시 쓴다.

조건 2) 선택 키가 「결정(OK)」일 경우, 버튼 1이 선택되어 있을 경우 플레이 리스트＃2의 재생을 개시한다.

조건 3) 선택 키가 「결정(OK)」일 경우, 버튼 2가 선택되어 있을 경우 플레 이 리스트＃3의 재생을 개시한다.

상기와 같이 하여 실행 처리가 실행된다.

<플레이어 처리 플로우>

다음에 도 40에서 도 43을 이용해 플레이어에서의 처리 플로우를 설명한다.

도 40은, AV재생까지의 기본 처리 플로우이다.

도 40(a)에 나타낸 바와 같이, BD디스크를 삽입하면(S101), BD 플레이어는 BD.INFO 파일의 판독 입력과 해석(S102), BD. PROG의 판독 입력(S103)을 실행한다. BD.INFO 및 BD.PROG는 모두 관리 정보 기록 메모리에 일단 저장되고, 시나리오 프로세서에 의해 해석된다.

이어서, 시나리오 프로세서는, BD.INFO 파일 내의 퍼스트 이벤트(FirstEvent) 정보에 따라, 최초의 이벤트를 생성한다(S104). 생성된 퍼스트 이벤트는, 프로그램 프로세서에서 접수되고, 당해 이벤트에 대응하는 이벤트 핸들러를 실행 처리한다(S105).

퍼스트 이벤트에 대응하는 이벤트 핸들러에는, 최초로 재생해야 할 플레이 리스트 정보가 기록되어 있는 것이 기대된다. 만일, 플레이 리스트 재생이 지시되어 있지 않을 경우에는, 도 40(b)에 나타낸 바와 같이, 플레이어는 아무것도 재생하지 않고, 사용자 이벤트 접수를 계속 대기하게만 된다(S201). BD 플레이어는 사용자로부터의 리모컨 조작을 접수하면, UOP 매니저는 프로그램 프로세서에 대해 UOP이벤트를 시작한다(S202).

프로그램 프로세서는, UOP 이벤트가 메뉴 키인지 판별하고(S203), 메뉴 키일 경우는, 시나리오 프로세서에 UOP 이벤트를 흘리고, 시나리오 프로세서가 사용자 이벤트를 생성한다(S204). 프로그램 프로세서는 생성된 사용자 이벤트에 대응하는 이벤트 핸들러를 실행 처리한다(S205).

도 41은, PL재생 개시로부터 VOB 재생 개시까지의 처리 플로우이다.

상술한 바와 같이, 퍼스트 이벤트 핸들러 또는 글로벌 이벤트 핸들러에 의해 플레이 리스트 재생이 개시된다(S301). 시나리오 프로세서는, 재생 대상의 플레이 리스트 재생에 필요한 정보로서 플레이 리스트 정보"XXX. PL"의 판독 입력과 해석(S302), 플레이 리스트에 대응하는 프로그램 정보"XXX, PROG"의 판독 입력을 실행한다(S303). 이어서 시나리오 프로세서는, 플레이 리스트에 등록되어 있는 셀 정보에 근거하여 셀의 재생을 지시한다(S304). 셀 재생은, 시나리오 프로세서로부터 프레젠테이션 컨트롤러에 대해 요구가 나오는 것을 의미하고, 프레젠테이션 컨트롤러는 AV재생을 개시한다(S305).

AV재생의 개시(S401)를 개시하면, 프레젠테이션 컨트롤러는 재생하는 셀에 대응하는 VOB의 정보 파일(YYY. VOBI)을 판독 입력 및 해석한다(S402). 프레젠테이션 컨트롤러는, 타임맵을 사용해 재생 개시하는 VOBU와 그 어드레스를 특정하고, 드라이브 컨트롤러에 판독 어드레스를 지시하고, 드라이브 컨트롤러는 대상이 되는 VOB 데이터를 읽어내고(S403), VOB 데이터가 디코더로 보내지고 재생이 개시된다(S404).

VOB 재생은, 당해 VOB의 재생 구간이 종료할 때까지 계속되고(S405), 종료하면 다음의 셀 재생 개시 단계 S304로 이행한다. 다음에 셀이 없을 경우는, 재생이 정지한다(S406).

도 42는, AV재생 개시 후부터의 이벤트 처리 플로우이다.

BD 플레이어는 이벤트 드리븐 형의 플레이어 모델이다. 플레이 리스트의 재생을 개시하면, 타임 이벤트계, 사용자 이벤트계, 자막 표시계의 이벤트 처리 프로세스가 각각 기동되어, 평행하게 이벤트 처리를 실행하게 된다.

S500계의 처리(도 42(a))는, 타임 이벤트계의 처리 플로우이다.

플레이 리스트 재생 개시 후(S501), 플레이 리스트 재생이 종료했는지 확인하는 단계 S502를 거치고, 시나리오 프로세서는, 타임 이벤트 발생 시각이 되었는지 확인한다(S503). 타임 이벤트 발생시각이 되어 있을 경우에는, 시나리오 프로세서는 타임 이벤트를 생성하고(S504), 프로그램 프로세서가 타임 이벤트를 접수하여 이벤트 핸들러를 실행 처리한다(S505).

단계 S503에서 타임 이벤트 발생시각이 되어 있지 않을 경우, 또는, 단계 S505에서 이벤트 핸들러 실행 처리 후는 재차 단계 S502로 돌아가, 상술한 처리를 반복한다. 또, 단계 S502에서 플레이 리스트 재생이 종료한 것이 확인되면, 타임 이벤트계의 처리는 강제적으로 종료한다.

S600계의 처리(도 42(b))는, 사용자 이벤트계의 처리 플로우이다.

플레이 리스트 재생 개시 후(S601), 플레이 리스트 재생 종료 확인 단계(S602)를 거쳐, UOP 접수 확인 단계의 처리로 이행한다(S603). UOP의 접수가 있었을 경우, UOP 매니저는 UOP 이벤트를 생성하고(S604), UOP 이벤트를 접수한 프로그램 프로세서는 UOP 이벤트가 메뉴콜인지 확인하고(S605), 메뉴콜이었을 경우는, 프로그램 프로세서는 시나리오 프로세서에 이벤트를 생성시키고(S607), 프로그램 프로세서는 이벤트 핸들러를 실행 처리한다(S608).

단계 S605에서 UOP 이벤트가 메뉴 콜에서 없다고 판단되었을 경우, UOP 이벤트는 커서 키 또는 「결정」키에 의한 이벤트인 것을 나타낸다. 이 경우, 현재 시각이 사용자 이벤트 유효 기간 내인지를 시나리오 프로세서가 판단하고(S606), 유효 기간 내인 경우에는, 시나리오 프로세서가 사용자 이벤트를 생성하고(S607), 프로그램 프로세서가 대상의 이벤트 핸들러를 실행 처리한다(S608).

단계 S603에서 UOP 접수가 없을 경우, 단계 S606에서 현재 시각이 사용자 이벤트 유효 기간에 없을 경우, 또는, 단계 S608에서 이벤트 핸들러 실행 처리 후는 재차 단계 S602로 돌아가, 상술한 처리를 반복한다. 또, 단계 S602에서 플레이 리스트 재생이 종료한 것이 확인되면, 사용자 이벤트계의 처리는 강제적으로 종료한다.

도 43은 자막 처리의 플로우이다.

플레이 리스트 재생 개시 후(S701), 플레이 리스트 재생 종료 확인 단계(S702)를 거쳐, 자막 묘화 개시 시각 확인 단계으로 이행한다(S703). 자막 묘화 개시 시각일 경우, 시나리오 프로세서는 프레젠테이션 컨트롤러에 자막 묘화를 지시하고, 프레젠테이션 컨트롤러는 이미지 프로세서에 자막 묘화를 지시한다(S704). 단계 S703에서 자막 묘화 개시 시각에서 없다고 판단되었을 경우, 자막 표시 종료시각인지 확인한다(S705). 자막 표시 종료 시각이라고 판단되었을 경우는, 프레젠테이션 컨트롤러가 이미지 프로세서에 자막 소거 지시를 실행하고, 묘화되어 있는 자막을 이미지 플레인으로부터 소거한다(S706).

자막 묘화 단계 S704 종료 후, 자막 소거 단계 S706 종료 후, 또는, 자막 표시 종료 시각 확인 단계 S705에서 당해 시각이 아닌 것이 판단되었을 경우, 단계 S702로 돌아가, 상술한 처리를 반복한다. 또, 단계 S702에서 플레이 리스트 재생이 종료한 것이 확인되면, 자막 표시계의 처리는 강제적으로 종료한다.

<실시 형태 2>

다음에, 다른 부호화 방식(혹은, 다른 속성의 동화상)이 혼재할 수 있는 스트림의 제2예, 즉, 픽쳐 내 픽쳐에서 휘도 키에 의한 투과 처리를 실행할 때에 사용되는 휘도의 임계값(동화상의 속성)이 혼재할 수 있는 예에 대해, 본 발명의 제2 실시 형태로서 설명한다.

본 실시 형태에서는, BD-ROM 등의 패킷 미디어 등에서, 픽쳐 내 픽쳐에 의한 재생시에, 투과 처리를 실행할지 아닐지를 나타내는 휘도값의 임계값이 전환됨으로써 재생 동작의 지연을 해소할 수 있는 기록 매체, 다중화 방법, 다중화 장치, 및 그 재생 장치에 대해 설명한다.

본 실시 형태의 기록 매체에서는, 휘도 키에 의한 투과 처리를 실시하는 스트림에서는, 연속 재생의 단위에서, 화상 표시시에 투과 처리할지 아닐지를 판정하는 휘도값의 임계값이 제약되어 있는 것, 혹은, 제약되어 있는 것을 나타내는 정보가 관리 정보에 저장된다.

본 실시 형태의 기록 매체, 다중화 방법, 다중화 장치, 및 재생 장치는, 실시 형태 1에서의 기록 매체의 데이터 구조, 및, 다중화 방법 혹은 재생 장치에서의 동작과 구성 요소의 기본 부분을 같게 하기 위해, 이하에서는 본 실시 형태에 특징적인 부분에서만 설명한다.

도 44는, 본 실시 형태의 기록 매체에 저장되는 스트림에서의 휘도 키의 임계값의 예를 나타낸다. 도 44의 예에서는, 심리스하게 접속되는 각 구간에서의 휘도 키의 임계값이 모두 20으로 고정되기 때문에, 휘도 키의 임계값의 전환에 수반하는 지연이 발생하지 않고, 심리스 접속을 실현할 수 있다.

또, 본 실시 형태의 기록 매체에서는, 심리스하게 접속되는 재생 구간에서의 휘도 키에 관한 정보가, 관리 정보에 저장된다. 도 45는, 휘도 키에 관한 정보를, 픽쳐 내 픽쳐의 메타 정보의 일부로서 저장하는 예를 나타낸다. 도 45(a)는, 휘도 키가 유효한지 아닌지를 나타내는 플래그 정보 luma_key_valid에 대해 나타낸다. 휘도 키가 유효(luma_key_valid가 1)하면, 휘도 키의 임계값에 의거하여 화상을 투과 처리해 표시하고, 휘도 키가 유효하지 않으면(luma_key_valid가 0), 투과 처리를 하지 않고 표시한다. 도시한 바와 같이, 심리스하게 접속되는 각 재생 구간에서는, luma_key_valid의 값은 고정이 된다. 즉, 심리스하게 접속되는 각 재생 구간에서는, 휘도 키가 유효한지, 아닌지 어느 한 쪽으로 고정된다. 도 45(b)는, 휘도 키를 적용할 때에, 투과하여 표시한다고 결정하는 휘도값의 임계값luma_key_upper_limit에 대해 나타낸다. 예를 들면, luma_key_upper_limit이 20이면, 휘도값이 20 이하의 화소는 투과하여 표시하고, 휘도값이 20을 초과하는 화소에 대해서는 투과하지 않고 표시한다. 도중에 나타낸 바와 같이, 심리스하게 접속되는 각 재생 구간에서는, luma_key_upper_limit의 값은 동일해진다. 여기에서, luma_key_upper_limit의 정보는, 휘도 키가 유효한 경우에 참조되기 때문에, 휘도 키가 유효한 경우에만, 휘도 키의 임계값을 나타내는 정보를 설정해도 된다.

휘도 키에 의한 투과 처리를 실시하는 플레이어에서는, 휘도 키의 임계값이 고정인 것이 보증되어 있다면, 휘도 키의 임계값 처리에서의 임계값의 변경이 불필요하기 때문에, 미리 휘도 키의 임계값이 고정이라고 판정할 수 있는 것이 바람직하다. 도 46은, 휘도 키의 임계값이 고정인 것을 보증하는 플래그에 대해 설명하는 도면이다. 도 46의 예에서는, 휘도 키의 임계값이 고정인 것을 나타내는 플래그 정보 luma_key_fixed_flag가, 각 재생 구간의 속성 정보의 일부로서 저장된다. luma_key_fixed_flag는, 당해 재생 구간에서의 휘도 키의 임계값이, 직전의 재생 구간에서의 휘도 키의 임계값과 동일한지 아닌지를 나타낸다. 도 46(a)는, 휘도 키의 임계값이 고정인 것을 나타내는 (luma_key_fixed_flag가 1) 예이다. 이 예에서는, 각 재생 구간은 심리스하게 접속되고, 그들 재생 구간에서는 휘도 키의 임계값이 고정인 것이 보증된다. 도 46(b)은, 휘도 키의 임계값이 고정인 것이 보증되지 않는(luma_key_fixed_flag가 0) 예이다. 각 재생 구간은 심리스 접속의 대상이 아니고, 각 재생 구간에서 휘도 키의 임계값은 가변이다. 또한, luma_key_fixed_flag는, 연속하여 재생되는 구간 전체에 대해 설정해도 되고, 연속 재생 구간을 구성하는 각 재생 구간에 대해 설정해도 된다. 또한, 각 재생 구간에 대해 설정할 때는, 각 재생 구간은 플레이 아이템에 의해 지정되는 재생 구간을 나타내는 것으로서, 재생 구간 내에서 휘도 키의 임계값이 고정인지 아닌지를, 플레이 아이템 단위로 설정되는 재생 정보에 포함해도 된다. 여기에서, 휘도 키의 임계값이 고정인지 아 닌지는, 현 플레이 아이템과 직전의 플레이 아이템에 의해 지정되는 재생 구간이 심리스 접속할 수 있을지 아닐지를 나타내는 정보 등과 겸용하여 하나의 플래그로 정리해도 된다. 또, 휘도 키가 적용될지 아닐지를 나타내는 정보에 대해서도 마찬가지로 저장할 수 있다.

여기에서, 심리스 접속에는, 실시 형태 1과 같은 종류가 있고, 다른 앵글의 스트림에 심리스하게 접속할 수 있는 심리스·멀티 앵글 등도 포함된다. 심리스·멀티 앵글에서는, 각 앵글에서, 휘도 키가 유효한지 아닌지, 혹은 휘도 키의 임계값이 동일하게 된다. 또, 심리스 접속의 종류로서는, (1) 접속의 전후에서 MPEG-2 시스템 규격에서의 STC(System Time Clock) 등의 기준 클록의 값이 연속하지 않는 경우(타입 1의 심리스 접속)와, (2) 접속의 전후에서 MPEG-2 시스템 규격에서의 STC(System Time Clock) 등의 기준 클록의 값이 연속하는 경우(타입 2의 심리스 접속), 등 복수의 종류가 있다. 따라서, 타입 1의 심리스 접속인지 아닌지, 혹은, 타입 2의 심리스 접속인지 아닌지를 나타내는 정보에 의해 심리스 접속되는 것이 나타내어진다면, 이들 정보에 의해, 연속하는 2개의 재생 구간에서 휘도 키의 임계값이 고정이라고 나타낼 수 있다.

도 47은, 픽쳐 내 픽쳐에서, 휘도 키를 적용하는 예에 대해 설명한다. 픽쳐 내 픽쳐에서는, 프라이머리·비디오라고 불리는 주영상에, 세컨더리·비디오라고 불리는 부영상이 오버레이되어 표시된다. 이 때, 세컨더리·비디오에 대해 휘도 키에 의한 투과 처리가 유효하면, 투과 처리가 실시되고, 유효하지 않으면 투과 처리는 실시되지 않는다. 도 47(a)은, 비디오의 표시 플레인을 나타내고, 도 47(b)과 도 47(c)에 나타낸 바와 같이, 플레인1이 프라이머리·비디오의 표시용, 플레인2이 세컨더리·비디오의 표시용이다. 도 47(d)에 나타낸 바와 같이, 세컨더리·비디오를 프라이머리·비디오에 오버레이하여 표시한다. 이 예에서는, 도 47(c)에 나타낸 검은 칠의 부분이 휘도 키에 의한 투과 처리에 의해 투과하여 표시된다. 세컨더리·비디오로서는, 복수의 스트림을 전환 가능하지만, 도 47(e), 도 47(f), 도 47(g)에서는, 2개의 세컨더리·비디오가 존재하는 예에 대해 나타내고, 도 47(e)은, 프라이머리·비디오에서의 각 재생 구간의 표시의 타임 라인, 도 47(f)은, 제1 세컨더리·비디오에서의 각 재생 구간의 표시 타임 라인, 도 47(g)은, 제2 세컨더리·비디오에서의 각 재생 구간의 표시 타임 라인을 나타낸다. 예를 들면, 도 47(f)에서 구간 1-1과 구간 1-2가 심리스 접속된다고 하면(도중 (1)), 구간 1-1과 구간 1-2에서는, 휘도 키에 투과 처리가 유효한지 아닌지 및 유효한 경우에는 휘도 키의 임계값이 각각 동일하게 된다. 또, 제1 세컨더리·비디오에서의 구간 1-2로부터, 제2 세컨더리·스트림에서의 구간 2-3에의 접속이 심리스 접속이라고 하면(도중 (2)), 구간 1-2와 구간 2-3에서도 휘도 키에 관련하는 정보가 동일하게 된다. 또한, 각 재생 구간의 접속 부분 이외에서의 접속(도중 3)의 연속성을 확보하기 위해, 구간 1-3과 구간 2-3 사이에도 휘도 키에 관련하는 정보를 동일하게 해도 된다.

다음에, 프라이머리·비디오와 세컨더리·비디오는 트랜스포트 스트림 등에 다중화하여 기록되지만, 도 48은 다중화의 방법에 대해 나타낸다. 도 48(a)은, 프라이머리·비디오와 세컨더리·비디오를 동일한 트랜스포트 스트림에 다중화한 예 이고, 도 48(b)은, 프라이머리·비디오와 세컨더리·비디오를 다른 트랜스포트 스트림에 다중화한 예이다. 이와 같이, 프라이머리·비디오와 세컨더리·비디오는, 동일한 트랜스포트 스트림에 다중화해도 되고, 다른 트랜스포트 스트림에 다중화해도 된다.

도 49는, 본 실시 형태에서의 기록 매체에 저장된 다중화 데이터를 작성하기 위한 다중화 방법의 동작을 나타내는 플로우차트이다. 본 실시 형태의 다중화 방법은, 휘도 키를 유효로 할지 안할지에 대해 전환 가능한 단위를 결정하는 단계(단계 S5301), 결정된 단위에 의거하여 클립의 동화상을 부호화하는 단계(단계 S5302), 소정의 재생 구간마다 휘도 키에 관한 플래그 정보를 생성하는 단계(단계 S5304) 및 단계 S5304에서 생성된 휘도 키에 관한 플래그 정보를 포함하는 관리 정보를 생성하는 단계(S5305)를 구비하는 점에서, 종래의 다중화 방법과 다르다.

즉, 본 실시 형태에서의 다중화 방법은, 제1 동화상과, 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 방법으로서, 영상 스트림 중, 부분 구간의 집합이고 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하고, 당해 연속 재생 구간에서는, 휘도 키가 유효한지 아닌지, 또는, 휘도 키에 의한 투과 처리에 이용되는 임계값의 어느 한쪽 또는 양쪽에 의해 정의되는 휘도 키 속성이 고정이 되도록 각 재생 구간의 영상 스트림을 부호화하는 단계(S5301~S5303)와, 하나 혹은 복수의 재생 구간마다에 상기 휘도 키 속성을 생성하는 단계(S5304)와 연속 재생 구간에서 상기 휘도 키 속성이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 단계(S5305)를 포함한 다. 이하, 이러한 단계를 상세하게 설명한다.

우선, 단계 S5301에서, 휘도 키를 유효로 할지 아닐지를 전환할 수 있는 단위를 결정한다. 즉, 연속 재생 단위, 클립, 혹은 랜덤 액세스 단위의 어느 단위로 전환 가능한지 결정한다. 이이서, 단계 S5302에서는, 단계 S5301에서 결정한 전환 단위에 의거하여 클립의 데이터를 부호화한다. 또한, 단계 S5301에서는, 휘도 키의 임계값을 전환할지 아닐지에 대해서도 판정하고, 판정 결과에 의거하여, 단계 S5302에 대해 클립의 데이터를 부호화해도 된다. 단계 S5303에서는, 최종 클립의 부호화가 종료했는지 아닌지를 판정하고, 종료했다고 판정되었을 때에는 단계 S5304로 진행하고, 종료하지 않았다고 판정되면 단계 S5302로 돌아가 클립의 부호화를 반복한다. 단계 S5304에서는, 소정의 재생 구간마다 휘도 키에 관한 속성 정보를 작성하여, 단계 S5305로 진행된다. 소정의 재생 구간은 플레이 리스트에 의해 지정되는 재생 구간으로 하지만, 클립, 혹은 랜덤 액세스 단위로 해도 된다. 단계 S5305에서는, 단계 S5304에서 생성된 속성 정보를 포함하는 관리 정보를 작성하고, 관리 정보와 클립의 데이터를 다중화하고 출력한다. 여기에서, 연속하는 2개의 재생 구간이 심리스 접속할 수 있을지 아닐지를 나타내는 정보를 관리 정보에 포함해도 된다. 심리스 접속되는 각 재생 구간에서는, 휘도 키를 유효로 할지 아닐지는 고정으로 하기 때문에, 단계 S5301에서는, 심리스 접속되는 각 재생 구간에서는, 휘도 키를 유효로 할지 아닐지는 전환 불가능하다고 결정한다. 또한, 단계 S5302에서는, 심리스 접속되는 각 재생 구간에서, 휘도 키를 유효로 할 경우는, 휘도 키의 투과 처리를 실행할 때의 임계값이 동일하게 되도록 부호화한다. 또한, 단계 S5301 에서 휘도 키를 유효로 할지 아닐지를 전환할 수 있는 단위의 결정을 할 때의 상세한 동작에 대해서는, 도 14에 나타낸 본 실시 형태 1의 다중화 방법과 같은 동작을 적용할 수 있다.

도 50은, 도 49 중의 플래그 정보 생성 단계(S5304) 및 관리 정보 생성 단계 S5305의 구체적인 예를 나타내는 플로우차트이다. 단계 S5304a에서는, 부호화된 클립이, 휘도 키의 유효와 무효를 전환 가능하다고 판정된 클립인지 아닌지를 판정하고, 전환 가능하다고 판정된 클립일 경우에는, 휘도 키가 유효한지 아닌지가 고정이 아닌 것을 나타내는 플래그 정보를 생성하고, 당해 클립에 대응시키는 플래그 정보를 메모리의 워크 영역에 축적하고(S5304b), 전환 가능하다고 판정된 클립이 아닐 경우에는, 휘도 키가 유효한지 아닌지가 고정인 것을 나타내는 플래그 정보를 생성하고, 당해 클립에 대응시키고 플래그 정보를 메모리의 워크 영역에 축적한다(S5304c). 여기에서, 플래그 정보는, 플레이 아이템에 의해 지정되는 재생 구간 등 소정의 재생 구간마다, 휘도 키가 유효한지 아닌지를 나타내는 정보와, 휘도 키가 유효한 경우에는, 휘도 키의 임계값을 포함한다. 단계 S5304d에서는, 당해 클립이, 부호화된 마지막 클립인지 아닌지를 판정하고, 마지막 클립이 아니면 상기 S5304a~S5304c를 반복하고, 마지막 클립이면 단계 S5304e로 진행된다. 단계 S5304e에서는, 플레이 아이템마다의 휘도 키에 관한 정보를 포함하는 픽쳐 내 픽쳐용의 메타 정보를 생성하고, 단계 S5305f에서는, 픽쳐 내 픽쳐용의 메타 정보와 플레이 리스트, 및 랜덤 액세스에 필요한 정보 등을 포함하는 관리 정보를 생성한다. 플레이 리스트에는, 연속하는 2개의 재생 구간이 심리스 접속 가능한지 아닌지 및 심리 스 접속의 타입을 나타내는 정보를 포함한다.

또한, 관리 정보 내에는, 세컨더리·비디오의 트랜스포트 스트림 혹은 부호화 스트림을 식별하는 인덱스 정보가 포함되기 때문에, 인덱스 번호에 의해 세컨더리·비디오라고 나타내는 트랜스포트 스트림 혹은 부호화 스트림에 대해서만, 관리 정보 내에 휘도 키에 관한 정보를 포함해도 된다.

또, 상기에서는 픽쳐 내 픽쳐 동작의 세컨더리·비디오에서의 휘도 키에 의거한 투과 처리에 대해 서술했지만, 본 발명은 이에 한정되는 것이 아니고, 복수의 표시 플레인이 존재할 경우에, 소정의 플레인보다 앞에 표시되는 플레인에서의 화상의 표시 전반에 적용할 수 있다. 예를 들면, 정지화나 컴퓨터·그래픽스 등에, 정지화나 동화상을 오버레이하여 표시하는 것이 가능하다. 또한, 다른 표시 플레인에 표시되는 복수의 화상에 대해, 휘도 키에 의한 투과 처리를 실시해도 된다.

또, 휘도 키의 임계값 등에 따라, 반투과 등 0과1 이외의 투과율로서 표시하는 것으로 해도 된다.

픽쳐 내 픽쳐에서, 휘도 키에 의한 투과 처리와는 다른 재생 동작에 대해 제약해도 된다. 예를 들면, 심리스 접속되는 재생 구간에 걸쳐 고속 재생이나 역재생 등의 특수 재생을 실행할 때에, 세컨더리·비디오를 표시할지 아닐지를 고정해도 된다. 즉, 특수 재생시에는, 세컨더리·비디오를 항상 표시한다, 또는, 표시하지 않는, 어느 한 쪽에 고정한다. 또, 특수 재생시에 세컨더리·비디오를 표시할 때에는, 휘도 키의 임계값을 고정으로 하는 등, 휘도 키에 의한 투과 처리와 특수 재생을 관련시켜도 된다. 그 때, 특수 재생시에서의 세컨더리·비디오의 표시의 유무를 나타내는 플래그 정보의 값을 고정으로 한다, 혹은, 당해 플래그 값이 고정인 것을 나타내는 플래그 정보 등의 플래그 정보에 의해, 픽쳐 내 픽쳐에서의 특수 재생시의 제약을 보증해도 된다.

또한, 프라이머리·비디오와 세컨더리·비디오의 부호화 방식은, 예를 들면 MPEG-4 AVC, MPEG-2 비디오, VC-1 등이 가능하다. 여기에서, 프라이머리·비디오가 MPEG-4 AVC이면, 세컨더리·비디오도 MPEG-4 AVC로 하는 등, 플레이어에 대응하는 조합을 삭감하기 위해 프라이머리·비디오와 세컨더리·비디오의 부호화 방식의 조합을 제약해도 된다.

도 51은, 본 실시 형태의 다중화 방법을 실시하는 다중화 장치(5200)의 구성을 나타내는 블록도이다. 다중화 장치(5200)는, 제1 동화상과, 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 장치의 일례이고, 전환 단위 결정부(5201), 전환 정보 생성부(5202), 부호화부(5203), 시스템 다중화부(5204), 관리 정보 작성부(5205), 결합부(5206)를 구비한다. 여기에서, 오바레이에서는, 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 제1 동화상에 오버레이된다. 이하에, 각부의 동작에 대해 설명한다.

전환 단위 결정부(5201)는, 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 처리부이고, 여기에서는, 휘도 키를 전환 가능한 단위를 결정하고, 결정된 전환 단위 Unit2를 전환 정보 생성부(5202) 및 부호화부(5203)로 입력한다. 전환 단위는 미리 정해진 것으로 하지만, 외부로부터 설정할 수 있도록 해도 된다.

전환 정보 생성부(5202)는, 전환 단위 Unit2에 의거해, 플레이 리스트에 의해 지정되는 재생 단위마다의 휘도 키의 속성 정보를 나타내는 휘도 키 정보 LumaInf2를 생성하고, 관리 정보 작성부(5205)에 입력한다. 예를 들면, 연속 재생 구간에서는, 상기 임계값이 고정인 것을 나타내는 플래그 정보를 생성한다.

또한, 전환 정보 생성부(5202)는, 오버레이에서의 각종 표시 처리를 지정하는 복수의 표시 속성 정보를 생성하지만, 그 복수의 표시 속성 정보의 생성에서, 복수의 표시 속성 정보 중, 연속 재생 구간을 구성하는 복수의 부분 구간에서 내용이 전환하는 표시 속성 정보의 개수가 미리 정해진 일정값 이하가 되도록, 표시 속성 정보를 생성한다. 구체적으로는, 도 52에 나타낸 바와 같이, 전환 정보 생성부5202는, 픽쳐 내 픽쳐의 메타 정보로서 (ⅰ) 상기 임계값, 즉, 휘도 키 적용 시에 투과율이 1로 인정하는 휘도값의 임계값이 직전의 재생 구간과 현재의 재생 구간과 동일한지(1) 아닌지(O)를 나타내는 플래그, 혹은 휘도 키의 임계값, (ⅱ) 프라이머리·비디오 화상에 오버레이하는 세컨더리·비디오 화상의 표시 위치가 직전의 재생 구간과 현재의 재생 구간에서 동일한지(1) 아닌지(0)를 나타내는 플래그, 혹은 표시 위치의 좌표 정보 및 (ⅲ) 프라이머리·비디오 화상에 오버레이하는 세컨더리·비디오 화상의 스케일링(확대율)이 직전의 재생 구간과 현재의 재생 구간에서 동일한지(1) 아닌지(0)를 나타내는 플래그, 혹은 스케일링 방법을 지정하는 정보 등의 표시 속성 정보를 생성하지만, 그 복수의 표시 속성 정보의 생성에서는, 복수의 표시 속성 정보 중, 전환 가능한 표시 속성 정보의 개수가 미리 정해진 일정값(예 를 들면, 2개) 이하가 되도록, 표시 속성 정보를 생성한다. 이 제약에 의해, 연속 재생 구간에서 값이 전환하는 표시 속성 정보의 개수가 일정수 이하에 억제되는 것이 보증되고, 재생 장치에서의 전환 처리에 수반하는 처리 부하가 경감된다.

부호화부(5203)는, 전환 단위 결정부(5201)와 결정된 연속 재생 구간에서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 연속 재생 구간을 구성하는 복수의 부분 구간에서의 제1 및 제2 동화상을 부호화하는 처리부이고, 여기에서는, 전환 단위 Unit2의 제약을 만족하도록 각 클립의 데이터를 부호화하고, 부호화 데이터 Cdata2를 시스템 다중화부(5204)에 입력한다. 구체적으로는, 부호화부(5203)는, 연속 재생 구간에서는, 제2 동화상 중 오버레이하는 화상 영역의 휘도가 상기 임대값을 초과하고, 또한, 오버레이하지 않는 (투과 처리를 실시함) 화상 영역의 휘도가 상기 임계값 이하가 되도록 제2 동화상을 구성하는 화소의 휘도값을 보정(계수를 곱하거나 오프세트 값을 가산하는 등)한다.

또한, 부호화부(5203)는, 전환 단위 결정부(5201)에서 결정된 연속 재생 구간뿐만 아니라, 디코더 모델에 따라 심리스하게 접속되는 복수의 부분 구간에서도, 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 복수의 부분 구간에서의 제1 및 제2 동화상을 부호화해도 된다. 즉, 상술한 디코더 모델에서는, 2개의 부분 구간이 심리스하게 접속되지 않으면 안 되는 경우가 규정되어 있으므로, 이와 같은 2개의 부분 구간에서는, 미리, 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 제1 및 제2 동화상을 부호화해 두는 것이 바람직하다.

시스템 다중화부(5204)는, 부호화 데이터 Cdata2를 시스템 다중화하고, 스트 림 정보 StrInf2를 관리 정보 작성부(5205)에 입력하고, 다중화 데이터 Mdata2를 결합부(5206)에 입력한다. BD-ROM에서는 시스템 다중화의 방식으로서 소스 패킷이라고 불리는, MPEG-2의 트랜스포트 스트림에 4바이트의 헤더를 부가한 방식이 이용된다. 또, 스트림 정보 StrInf2는, 타임맵 등, 다중화 데이터 Mdata2에 대한 관리 정보를 생성하기 위한 정보를 포함한다. 또한, 시스템 다중화부(5204)는, 연속 재생 구간을 구성하는 복수의 부분 구간이, 트랜스포트 스트림의 패킷 식별자에 의해 특정되도록, 다중화를 해도 된다. 이에 의해, 상기 임계값이 고정되어 있는 클립이 패킷 식별자에 의해 특정될 수 있다.

관리 정보 작성부(5205)는, 전환 정보 생성부(5202)로부터의 지시에 따라, 연속 재생 구간에서는 상기 임계값이 고정인 것을 나타내는 플래그 정보나 상기 표시 속성 정보를 포함하는 관리 정보를 작성하는 처리부의 일례이고, 여기에서는, 스트림 정보 StrInf2에 의거하여 생성된 타임맵, 및 휘도 키 정보 LumaInf2 등을 포함하는 관리 정보 CtrlInf2를 생성하여, 결합부(5206)에 입력한다.

결합부(5206)는, 부호화부(5203)에서 부호화된 제1 및 제2 동화상과 관리 정보 작성부(5205)에서 작성된 관리 정보를 결합하여 출력하는 처리부이고, 여기에서는, 관리 정보 CtrInf2와 다중화 데이터 Mdata2를 결합하여 기록 데이터 Dout2로서 출력한다.

이상과 같이 구성된 다중화 장치(5200)는, 도 49, 도 50에 나타나는 플로우차트에 따른 다중화 동작을 하고, 그 결과, 도 44~도 48에 나타낸 관리 정보나 부호화 스트림을 생성한다.

도 53은, 이 다중화 장치(5200)에 의해 생성되는 관리 정보의 데이터 구조를 나타낸 도면이다. 도 53(a)은, 관리 정보의 하나인 플레이 리스트의 데이터 요소를 나타내고, 도 53(b)은, 심리스 접속되는 (Connection Condition=5의) 재생 구간을 나타내는 플레이 리스트의 예를 나타낸다. 다중화 장치(5200)는, 도 53(a)에 나타낸 바와 같이, 플레이 리스트로서「플레이 아이템」, 「서브 플레이 아이템」 및 「픽쳐 내 픽쳐의 메타 정보」를 작성한다. 여기에서, 「플레이 아이템」은, 도 53(b)에 나타낸 바와 같이, 프라이머리·비디오에서의 각 재생 구간의 정보(클립에서의 재생 개시 시각과 재생 종료시각 등)나 재생 구간 사이의 접속 조건 등을 나타내고, 「서브 플레이 아이템」은, 세컨더리·비디오에서의 각 재생 구간의 정보(클립에서의 재생 개시 시각과 재생 종료시각 등)나 재생 구간 사이의 접속 조건 등을 나타내고, 「픽쳐 내 픽쳐의 메타 정보」는, 픽쳐 내 픽쳐를 재생할 때의, 세컨더리·비디오의 표시 속성 정보(휘도 키, 표시 위치, 스케일링 등)을 나타낸다. 또한, 플레이 아이템 및 서브 플레이 아이템에 대응하는 프라이머리·비디오의 클립은, 플레이 아이템의 인덱스 번호에 의해 관련시킨다.

이와 같이, 다중화 장치(5200)는, 상기 임계값이 고정인 것을 나타내는 플래그 정보를, 연속 재생 구간을 구성하는 복수의 부분 구간(도면 중의 「재생 구간」) 각각이 대응하는 재생 정보(도면 중의 「메타 정보」)로서 생성한다. 구체적으로는, 그 플래그 정보를, 플레이 리스트에 포함되는 플레이 아이템에 대응하는 재생 정보(도면 중의 「메타 정보」)로서 생성한다.

또한, 오서링 툴 등으로 데이터를 작성할 때는, 부호화 데이터의 생성과, 시 스템 다중화 혹은 관리 정보의 작성을 별도의 장치로 실행할 때가 있지만, 그러한 경우에도, 각 장치의 동작은 다중화 장치(5200)에서의 각부와 동일하게 하면 된다.

또, 이 다중화 장치(5200)는, 부호화 스트림을 생성하는 동화상 부호화 장치로서 적용될 뿐만 아니라, BD 등의 광디스크, SD(Secure Digital) 카드 등의 플래시 메모리, 혹은 하드 디스크 등의 기록 매체에 부호화 스트림을 기록하는 동화상 기록 장치로서 적용될 수 있다. 그 때문에, 다중화 장치(5200)가 구비하는 출력단인 결합부(5206)가, 부호화부(5203)에서 부호화된 제1 및 제2 동화상과 관리 정보 작성부(5205)에서 작성된 관리 정보를 결합하여 기록 매체에 기록한다는 기록 기능을 구비하면 된다. 이러한 동화상 기록 장치(혹은, 동화상 기록 방법)에 의해, 본 명세서에 개시되어 있는 기록 매체가 작성된다.

도 54는, 본 실시 형태에서의 기록 매체에 저장된 다중화 데이터를 재생하는 플레이어(동화상 재생장치)에서, 재생 구간의 전환시에, 휘도 키에 의한 투과 처리를 실시하는 동작을 나타내는 플로우차트이다.

우선, 단계 S5401에서, 플레이어는, 플레이 아이템에 의해 지정되는 현재의 재생 구간과 다음의 재생 구간이 심리스 접속될지 아닐지를 판정하고, 심리스 접속 된다고 판정되면 단계 S5405로 진행되고, 심리스 접속되지 않는다고 판정되면 단계 S5402로 진행된다. 구체적인 판단예로서 플레이어는, 영상 스트림에 대응하는 관리 정보를 취득하고, 취득된 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단한다(S5401). 관리 정보에 플래그 정보가 포함될 경우에는, 현 재생 구간과 다음 재생 구간은 심리스하게 접속된다고 판단하 고(S5401에서 yes), 한편, 관리 정보에 플래그 정보가 포함되지 않는 경우에는, 현 재생 구간과 다음 재생 구간은 심리스하게 접속되지 않는다고 판단한다(S5401에서 no).

단계 S5402에서는, 플레이어는, 다음의 재생 구간에서 휘도 키가 유효한지 아닌지를 판정하고, 휘도 키가 유효하다고 판정되면 단계 S5403으로 진행되고, 휘도 키가 유효하지 않다고 판정되면 단계 S5406으로 진행된다. 단계 S5403에서는, 휘도 키의 임계값을 취득하고, 단계 S5404에서는, 단계 S5403에서 취득한 임계값에 의거하여, 세컨더리·비디오에 대해 투과 처리를 실시한다.

단계 S5405에서는, 플레이어는, 현재의 재생 구간과 동일한 조건(상기 임계값이 동일)에 의거하여 세컨더리·비디오에 대해 투과 처리를 실시한다. 구체적으로는, 세컨더리·비디오 중, 휘도가 상기 임계값 이하의 화소에 대해서는 완전히 투과시키는 처리를 실시하다. 이 때, 현재의 재생 구간에서 휘도 키가 유효하지 않으면, 세컨더리·비디오에 대한 투과 처리는 행해지지 않는다.

단계 S5406에서는, 플레이어는, 단계 S5404 또는 단계 S5405의 출력 결과, 혹은, 단계 S5402에서 휘도 키가 유효하지 않다고 판정되었을 경우에는 투과 처리를 실시하지 않는 세컨더리·비디오의 복호 결과를, 프라이머리·비디오에 오버레이하여 표시한다.

또한, 도 54에서 설명한 동작은, 본 실시 형태 1의 도 20 및 도 21에서 설명한 BD디스크를 재생하는 플레이어에서 실현될 수 있다. 예를 들면, 도 20의 프레젠테이션 처리부(208)에서 휘도 키의 투과 처리를 실행한다.

또, 플레이어는 소정의 재생 순서에 따라, 재생하는 플레이 아이템의 순서를 결정해도 된다. 예를 들면, 복수 플레이 아이템의 연속 재생시에는, 휘도 키의 임계값이 일정하게 되는 플레이 아이템을 우선적으로 선택한다. 이 때, 리모컨 동작 등으로 사용자로부터 특정 플레이 아이템의 재생 요구가 있었을 경우에는, 휘도 키의 임계값이 다른 플레이 아이템을 연속 재생해도 된다. 또한, 본 실시 형태 2의 다중화 방법 및 다중화 장치는, 소정의 재생 순서로 연속 재생되는 플레이 아이템 사이에는 휘도 키의 임계값이 일정하게 되도록 해도 된다. 여기에서, 하나의 플레이 아이템은 하나의 재생 단위에 대응한다.

<실시 형태 3>

또한, 상기 각 실시 형태에서 나타낸 기록 매체, 그 재생 방법 및 기록 방법을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기록 매체에 기록하도록 함으로써, 상기 각 실시 형태로 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능하게 된다.

도 55A~도 55C는, 상기 각 실시 형태의 재생 방법 및 기록 방법을, 플렉시블 디스크 등의 기록 매체에 기록된 프로그램을 이용하여, 컴퓨터 시스템에 실시할 경우의 설명도이다.

도 55B는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 나타내고, 도 55A는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타낸다. 플렉시블 디스크 FD는 케이스 F 내에 내장되고, 그 디스크의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해 복수의 트랙 Tr이 형성되고, 각 트 랙은 각도 방향으로 16의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크 FD 상에 할당된 영역에, 상기 프로그램이 기록되어 있다.

또, 도 55C는, 플렉시블 디스크 FD에 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 재생 방법 및 기록 방법을 실현하는 상기 프로그램을 플렉서블 디스크 FD에 기록할 경우는, 컴퓨터 시스템 Cs로부터 상기 프로그램을 플렉시블 디스크 드라이브 FDD를 통해 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 재생 방법 및 기록 방법을 실현하는 재생 방법 및 기록 방법을 컴퓨터 시스템 중에 구축할 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어내어, 컴퓨터 시스템으로 전송한다.

또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용해 설명했지만, 광디스크를 이용해도 똑같이 실행할 수 있다. 또, 기록 매체는 이에 한정되지 않고, IC카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이라면 똑같이 실시할 수 있다.

또한, 도 12, 도 20, 도 21, 도 25, 도 51 등에 나타낸 블록도의 각 기능 블록은 전형적으로는 집적 회로 장치인 LSI로서 실현된다. 이 LSI는 1칩화되어도 좋고, 복수 칩화되어도 좋다(예를 들면 메모리 이외의 기능 블록이 1칩화되어 있어도 된다.). 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템LSI, 슈퍼LSI, 울트라 LSI라고 호칭될 때도 있다.

집적회로화의 수법은 LSI에 한정되는 것이 아니라, 전용 회로 또는 범용 프 로세서에서 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서(Reconfigurable processor)를 이용해도 된다.

또한 반도체 기술의 진보 또는 파생하는 별도 기술에 의해 LSI에 치환되는 집적 회로화의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 실행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.

또, 각 기능 블록 중, 데이터를 저장하는 유니트만 1칩화하지 않고, 본 실시 형태의 기록 매체와 같이 별도로 구성해도 된다.

이상, 본 발명에 관련되는 동화상 부호화 방법 등에 대해, 실시 형태 1 및 2에 의거하여 설명했지만, 본 발명은, 이러한 실시 형태로 한정되는 것이 아니다. 이러한 실시 형태에 대해 당업자가 아이디어대로 변경을 실시하여 실현되는 다른 형태나, 실시 형태에서의 각 구성 요소를 임의로 조합하여 실현되는 다른 형태 등도 본 발명에 포함된다.

또한, 도 12, 도 20, 도 21, 도 25, 도 51 등에 나타낸 블록도의 각 기능 블록 및 도 11, 도 13~도 17, 도 40~도 43, 도 49, 도 50, 도 54 등에서 나타낸 플로우차트에서, 중심적인 부분은 프로세서 및 프로그램에 의해서도 실현된다.

이와 같이, 상기 실시 형태로 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

본 발명에 관련되는 동화상 부호화 방법은, 관리 정보에 의해 나타내어지는 연속 재생 단위를 구성하는 동화상의 부호화 데이터에서, 화소를 투과하여 표시할지 아닐지를 휘도값에 의해 판정할 때의 임계값을 고정으로 함으로써, 임계값의 전환에 기인하는 복호시의 지연 없이 심리스하게 재생을 실현할 수 있기 때문에, 동화상, 그래픽스, 혹은 정지화 등에 동화상을 오버레이하여 표시시키는 패킷 미디어, 혹은 전송 애플리케이션 등에 적합하고 예를 들면, 동화상 인코딩용 LSI, 무비 카메라, 동화상 레코더, 동화상 기록 기능이 있는 TV, 컴퓨터 프로그램 등에 이용할 수 있다.

Claims (19)

1. 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 방법으로서,

   상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고,

   상기 동화상 부호화 방법은,

   상기 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정 단계와,

   상기 연속 재생 구간 결정 단계에서 결정된 연속 재생 구간에 있어서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에 있어서의 상기 제1 및 제2 동화상을 부호화하는 부호화 단계와,

   상기 연속 재생 구간에 있어서는 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성 단계와,

   상기 부호화 단계에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성 단계에서 작성된 관리 정보를 결합하여 출력하는 결합 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
2. 청구항 1에 있어서,

   상기 관리 정보 작성 단계에서는, 상기 플래그 정보에 추가해, 상기 임계값을 나타내는 정보를 포함하는 관리 정보를 작성하는 것을 특징으로 하는 동화상 부호화 방법.
3. 청구항 1에 있어서,

   상기 동화상 부호화 방법은, 상기 부호화 단계에서 부호화된 제1 및 제2 동화상을 트랜스포트 스트림으로서 다중화하는 다중화 단계를 더 포함하고,

   상기 다중화 단계에서는, 상기 연속 재생 구간을 구성하는 복수의 부분 구간이, 트랜스포트 스트림의 패킷 식별자에 의해 특정되도록, 상기 다중화를 하는 것을 특징으로 하는 동화상 부호화 방법.
4. 청구항 1에 있어서,

   상기 연속 재생 구간 결정 단계에서는, 심리스 접속의 대상이 되는 부분 구간의 집합을, 상기 연속 재생 구간으로서 결정하는 것을 특징으로 하는 동화상 부호화 방법.
5. 청구항 4에 있어서,

   상기 관리 정보 작성 단계에서는, 상기 플래그 정보로서, 상기 연속 재생 구간에 있어서는 상기 임계값이 고정인 것 및 상기 연속 재생 구간을 구성하는 복수의 부분 구간이 심리스하게 접속되는 것을 겸용하여 나타내는 플래그 정보를 생성 하는 것을 특징으로 하는 동화상 부호화 방법.
6. 청구항 1에 있어서,

   상기 연속 재생 구간 결정 단계에서는, 심리스한 멀티 앵글을 구성하는 각 앵글에 대응하는 부분 구간의 집합을, 상기 연속 재생 구간으로서 결정하는 것을 특징으로 하는 동화상 부호화 방법.
7. 청구항 1에 있어서,

   상기 연속 재생 구간 결정 단계에서는, 논(non)심리스한 멀티 앵글을 구성하는 각 앵글에 대응하는 부분 구간의 집합을, 상기 연속 재생 구간으로서 결정하는 것을 특징으로 하는 동화상 부호화 방법.
8. 청구항 1에 있어서,

   상기 관리 정보 작성 단계에서는, 상기 플래그 정보를, 상기 연속 재생 구간을 구성하는 복수의 부분 구간 각각에 대응하는 재생 정보로서 생성하는 것을 특징으로 하는 동화상 부호화 방법.
9. 청구항 8에 있어서,

   상기 관리 정보 작성 단계에서는, 상기 플래그 정보를, 플레이 리스트에 포함되는 플레이 아이템에 대응하는 재생 정보로서 생성하고,

   상기 플레이 리스트는, 하나 이상의 플레이 아이템의 재생 순서를, 상기 연속 재생 구간으로서, 지정하는 정보이고,

   상기 플레이 아이템은, 재생해야 할 하나의 클립의 전부 또는 일부를, 상기 부분 구간으로서 지정하는 정보인 것을 특징으로 하는 동화상 부호화 방법.
10. 청구항 9에 있어서,

    상기 관리 정보 작성 단계에서는, 상기 플래그 정보를, 상기 플레이 아이템에 대응하여 설치되는 재생 정보인 픽쳐 내 픽쳐의 메타 정보로서 생성하는 것을 특징으로 하는 동화상 부호화 방법.
11. 청구항 1에 있어서,

    상기 관리 정보 작성 단계에서는, 상기 오버레이에 있어서의 각종 표시 처리를 지정하는 복수의 표시 속성 정보를 생성하고, 상기 복수의 표시 속성 정보의 생성에 있어서는, 상기 복수의 표시 속성 정보 중, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에 있어서 내용이 전환되는 표시 속성 정보의 개수가 미리 정해진 일정값 이하가 되도록, 상기 표시 속성 정보를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
12. 청구항 1에 있어서,

    상기 부호화 단계에서는, 디코더 모델에 따라 심리스하게 접속되는 복수의 부분 구간에 있어서는, 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 복수의 부분 구간에 있어서의 상기 제1 및 제2 동화상을 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
13. 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하는 동화상 부호화 장치로서,

    상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고,

    상기 동화상 부호화 장치는,

    상기 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정부와,

    상기 연속 재생 구간 결정부에서 결정된 연속 재생 구간에 있어서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에 있어서의 상기 제1 및 제2 동화상을 부호화하는 부호화부와,

    상기 연속 재생 구간에 있어서는 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성부와,

    상기 부호화부에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성부에서 작성된 관리 정보를 결합하여 출력하는 결합부를 구비하는 것을 특징으로 하는 동화상 부호화 장치.
14. 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림을 부호화하여 기록 매체에 기록하는 동화상 기록 방법으로서,

    상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고,

    상기 동화상 기록 방법은,

    상기 영상 스트림 중, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간을 결정하는 연속 재생 구간 결정 단계와,

    상기 연속 재생 구간 결정 단계에서 결정된 연속 재생 구간에 있어서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에 있어서의 상기 제1 및 제2 동화상을 부호화하는 부호화 단계와,

    상기 연속 재생 구간에 있어서는 상기 임계값이 고정인 것을 나타내는 플래그 정보를 포함하는 관리 정보를 작성하는 관리 정보 작성 단계와,

    상기 부호화 단계에서 부호화된 상기 제1 및 제2 동화상과 상기 관리 정보 작성 단계에서 작성된 관리 정보를 결합하여 기록 매체에 기록하는 결합 단계를 포함하는 것을 특징으로 하는 동화상 기록 방법.
15. 컴퓨터 판독 가능한 데이터가 기록된 기록 매체로서,

    상기 데이터에는, 제1 동화상과, 상기 제1 동화상에 오버레이하기 위한 제2 동화상을 포함하는 영상 스트림 및 상기 영상 스트림을 관리하는 정보인 관리 정보 가 포함되고,

    상기 오버레이에서는, 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만이 상기 제1 동화상에 오버레이되고,

    상기 영상 스트림에서는, 부분 구간의 집합이고, 연속 재생의 대상이 되는 구간인 연속 재생 구간에 있어서는 상기 임계값을 변경하지 않는다는 제약을 만족하도록, 상기 연속 재생 구간을 구성하는 복수의 부분 구간에 있어서의 상기 제1 및 제2 동화상이 부호화되어 있고,

    상기 관리 정보에는, 상기 연속 재생 구간에 있어서는 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는 것을 특징으로 하는 기록 매체.
16. 부호화된 제1 및 제2 동화상을 포함하는 영상 스트림을 복호화하고, 상기 제2 동화상을 상기 제1 동화상에 오버레이하여 표시하는 동화상 재생 방법으로서,

    상기 영상 스트림에 대응하는 관리 정보를 취득하고, 취득한 관리 정보를 해석하는 관리 정보 처리 단계와,

    상기 관리 정보 처리 단계에서의 해석에 따라, 상기 제1 및 제2 동화상을 복호화하는 복호화 단계와,

    복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시 단계를 포함하고,

    상기 관리 정보 처리 단계에서는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고,

    상기 표시 단계에서는, 상기 관리 정보 처리 단계에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에 있어서의 임계값과 같은 값의 임계값을 이용하여, 현 부분 구간에 있어서의 상기 오버레이 표시를 하는 것을 특징으로 하는 동화상 재생 방법.
17. 청구항 16에 있어서,

    상기 표시 단계에서는, 상기 제2 동화상 중, 상기 임계값 미만의 화소에 대해서는 완전히 투과시켜 표시시킴으로써 상기 오버레이 표시를 하는 것을 특징으로 하는 동화상 재생 방법.
18. 부호화된 제1 및 제2 동화상을 포함하는 영상 스트림을 복호화하고, 상기 제2 동화상을 상기 제1 동화상에 오버레이하여 표시하는 동화상 재생 장치로서,

    상기 영상 스트림에 대응하는 관리 정보를 취득하고, 취득한 관리 정보를 해석하는 관리 정보 처리부와,

    상기 관리 정보 처리부에 의한 해석에 따라, 상기 제1 및 제2 동화상을 복호화하는 복호화부와,

    복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시부를 구비하고,

    상기 관리 정보 처리부는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고,

    상기 표시부는, 상기 관리 정보 처리부에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에 있어서의 임계값과 같은 값의 임계값을 이용하여, 현 부분 구간에 있어서의 상기 오버레이 표시를 하는 것을 특징으로 하는 동화상 재생 장치.
19. 청구항 15에 기재된 기록 매체와, 상기 기록 매체에 기록된 데이터를 읽어내어 재생하는 동화상 재생 장치를 구비하는 동화상 재생 시스템으로서,

    상기 동화상 재생 장치는,

    상기 기록 매체로부터 관리 정보를 읽어내어 해석하는 관리 정보 처리부와,

    상기 관리 정보 처리부에 의한 해석에 따라, 상기 기록 매체로부터 상기 제1 및 제2 동화상을 읽어내어 복호화하는 복호화부와,

    복호화된 상기 제2 동화상 중, 미리 정해진 임계값을 초과하는 휘도를 가지는 화상 영역만을, 복호화된 상기 제1 동화상에 오버레이하여 표시하는 표시부를 구비하고,

    상기 관리 정보 처리부는, 상기 관리 정보에, 상기 임계값이 고정인 것을 나타내는 플래그 정보가 포함되는지 아닌지를 판단하고,

    상기 표시부는, 상기 관리 정보 처리부에서 상기 관리 정보에 상기 플래그 정보가 포함된다고 판단되었을 경우에, 직전의 부분 구간에 있어서의 임계값과 같 은 값의 임계값을 이용하여, 현 부분 구간에 있어서의 상기 오버레이 표시를 하는 것을 특징으로 하는 동화상 재생 시스템.

Images