KR20140014346A - 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치 - Google Patents

기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치 Download PDF

Info

Publication number
KR20140014346A
KR20140014346A KR20117002406A KR20117002406A KR20140014346A KR 20140014346 A KR20140014346 A KR 20140014346A KR 20117002406 A KR20117002406 A KR 20117002406A KR 20117002406 A KR20117002406 A KR 20117002406A KR 20140014346 A KR20140014346 A KR 20140014346A
Authority
KR
South Korea
Prior art keywords
stream
data
view
graphics
sub
Prior art date
Application number
KR20117002406A
Other languages
English (en)
Inventor
다다마사 도마
다카히로 니시
다이지 사사키
히로시 야하타
도모키 오가와
와타루 이케다
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20140014346A publication Critical patent/KR20140014346A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Abstract

BD-ROM 디스크에는 메인 뷰와 서브 뷰의 비디오 스트림의 쌍, 그래픽스 스트림 및 플레이리스트 정보가 기록되어 있다. 서브 뷰 비디오 스트림에는 메타 데이터가 각 GOP에 배치되어 있다. 메타 데이터는 오프셋 식별자와 오프셋 정보 사이의 대응 표를 포함한다. 각 오프셋 정보는 GOP 내의 각 픽처에 대한 오프셋 제어를 규정한다. 오프셋 제어는 그래픽스 플레인에 수평좌표의 좌측방향과 우측방향의 각 오프셋을 부여하여 메인 뷰와 서브 뷰의 각 비디오 플레인에 합성하는 처리이다. 플레이리스트 정보는 재생구간별로 스트림 선택테이블을 포함한다. 스트림 선택테이블에서는 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 하나의 오프셋 식별자가 스트림 번호에 더 할당되어 있다.

Description

기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치{RECORDING MEDIUM, REPRODUCING DEVICE, ENCODING DEVICE, INTEGRATED CIRCUIT, AND REPRODUCTION OUTPUT DEVICE}
본 발명은 입체 시 영상, 즉, 3차원(3D) 영상의 재생기술에 관한 것으로, 특히 기록매체 상에서의 스트림 데이터의 구조에 관한 것이다.
최근, 3D 영상에 대한 일반적인 관심이 높아지고 있다. 예를 들어 유원지에서는 3D 영상을 이용한 어트랙션(attraction)이 인기를 끌고 있다. 또, 전국 각지에서 3D 영상의 영화를 상영하는 영화관이 증가하고 있다. 이와 같은 3D 영상에 대한 관심이 높아짐에 따라서 3D 영상을 각 가정에서도 재생 가능하게 하기 위한 기술의 개발이 진행되고 있다. 그 기술에서는 3D 영상 콘텐츠를 고화질인 상태로 광 디스크 등의 휴대형 기록매체에 기록할 것이 요구된다. 또, 2D 재생장치에 대한 그 기록매체의 호환성이 요구된다. 즉, 그 기록매체에 기록된 3D 영상 콘텐츠로부터 2D 재생장치는 2D 영상을 재생할 수 있고, 3D 재생장치는 3D 영상을 재생할 수 있는 것이 바람직하다. 여기서, 「2D 재생장치」는 평면 시 영상, 즉 2차원(2D) 영상만을 재생할 수 있는 종래의 재생장치를 의미하고, 「3D 재생장치」는 3D 영상을 재생할 수 있는 재생장치를 의미한다. 또, 본 명세서에서는 3D 재생장치가 종래의 2D 영상도 재생할 수 있는 경우를 상정한다.
도 113은 3D 영상 콘텐츠가 기록된 광 디스크에 대하여 2D 재생장치에 대한 호환성을 확보하기 위한 기술을 나타내는 모식도이다(예를 들어 특허문헌 1 참조). 광 디스크(PDS)에는 2종류의 비디오 스트림이 저장되어 있다. 일방은 2D/레프트 뷰 비디오 스트림이고, 타방은 라이트 뷰 비디오 스트림이다. 「2D/레프트 뷰 비디오 스트림」은 3D 영상의 재생에서는 시청자의 왼쪽 눈에 보이게 하는 2D 영상, 즉 「레프트 뷰」를 나타내고, 2D 영상의 재생에서는 그 2D 영상 그 자체를 나타낸다. 「라이트 뷰 비디오 스트림」은 3D 영상의 재생에서 시청자의 오른쪽 눈에 보이게 하는 2D 영상, 즉 「라이트 뷰」를 나타낸다. 좌우의 비디오 스트림 사이에서는 프레임 레이트는 동일하지만, 프레임의 표시시기는 프레임 주기의 절반만큼 어긋나 있다. 예를 들어 각 비디오 스트림의 프레임 레이트가 1초간에 24프레임일 때 2D/레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림의 각 프레임이 1/48초마다 교호로 표시된다.
각 비디오 스트림은 도 113에 나타내는 것과 같이 광 디스크(PDS)상에서는 복수의 익스텐트 EX1A-C, EX2A-C로 분할되어 있다. 각 익스텐트는 GOP(그룹 오브 픽처)를 1 이상 포함하고, 광 디스크 드라이브에 의해 일괄해서 판독된다. 이하, 2D/레프트 뷰 비디오 스트림에 속하는 익스텐트를 「2D/레프트 뷰 익스텐트」라고 하고, 라이트 뷰 비디오 스트림에 속하는 익스텐트를 「라이트 뷰 익스텐트」라고 한다. 2D/레프트 뷰 익스텐트 EX1A-C와 라이트 뷰 익스텐트 EX2A-C는 교호로 광 디스크(PDS)의 트랙(TRC)상에 배치되어 있다. 인접하는 2개의 익스텐트 EX1A+EX2A, EX1B+EX2B, EX1C+EX2C 사이에서는 재생시간이 동일하다. 이와 같은 익스텐트의 배치를 「인터리브 배치」라고 한다. 인터리브 배치로 기록된 익스텐트 군은 이하에 설명하는 것과 같이 3D 영상의 재생과 2D 영상의 재생의 양쪽에서 이용된다.
2D 재생장치(PL2)에서는 광 디스크 드라이브 DD1이 광 디스크(PDS) 상의 익스텐트 중 2D/레프트 뷰 익스텐트 EX1A-C만을 선두에서부터 차례로 판독하는 한편, 라이트 뷰 익스텐트 EX2A-C의 판독을 스킵한다. 또, 영상 디코더 VDC가 광 디스크 드라이브 DD2에 의해 판독된 익스텐트를 순차 영상프레임 VFL로 복호한다. 이에 의해 표시장치(DS2)에는 레프트 뷰만이 표시되므로 시청자에게는 통상의 2D 영상이 보인다.
3D 재생장치(PL3)에서는 광 디스크 드라이브(DD3)가 광 디스크(PDS)에서 2D/레프트 뷰 익스텐트와 라이트 뷰 익스텐트를 교호로, 부호로 나타내면 EX1A, EX2A, EX1B, EX2B, EX1C, EX2C의 순으로 판독한다. 또, 판독된 각 익스텐트에서 2D/레프트 뷰 비디오 스트림은 좌 영상 디코더(VDL)에 보내지고, 라이트 뷰 비디오 스트림은 우 영상 디코더(VDR)에 보내진다. 각 영상 디코더 VDL, VDR는 교호로 각 비디오 스트림을 영상프레임 VFL, VFR로 복호한다. 이에 의해 표시장치 DS3에는 레프트 뷰와 라이트 뷰가 교호로 표시된다. 한편, 셔터 안경 SHG는 좌우의 렌즈를 표시장치(DS3)에 의한 화면의 전환에 동기하여 교호로 불투명하게 한다. 따라서, 셔터 안경(SHG)을 쓴 시청자에게는 표시장치(DS3)에 표시된 영상이 3D 영상으로 보인다.
광 디스크에 한정하지 않고, 기록매체에 3D 영상 콘텐츠를 저장할 때에는 상기와 같이 익스텐트의 인터리브 배치를 이용한다. 이에 의해 그 기록매체를 2D 영상의 재생과 3D 영상의 재생의 양쪽에서 이용할 수 있다.
특허문헌 1 : 일본국 특허 제 3935507호 공보
영상 콘텐츠는 일반적으로 비디오 스트림 외에 자막 및 대화화면 등의 그래픽스 영상을 나타내는 그래픽스 스트림을 포함한다. 3D 영상 콘텐츠로부터 재생되는 영상에서는 이들 그래픽스 영상도 3차원화 된다. 여기서, 이 3차원화의 수법에는 2 플레인 모드와 1 플레인+오프셋 모드가 있다. 2 플레인 모드의 3D 영상 콘텐츠는 레프트 뷰와 라이트 뷰의 각 그래픽스 영상을 나타내는 그래픽스 스트림의 쌍를 포함한다. 2 플레인 모드의 재생장치는 각 그래픽스 스트림으로부터 개별로 레프트 뷰와 라이트 뷰의 그래픽스 플레인을 생성한다. 1 플레인+오프셋 모드의 3D 영상 콘텐츠는 2D 그래픽스 영상을 나타내는 그래픽스 스트림과 그에 대한 오프셋정보를 포함한다. 1 플레인+오프셋 모드의 재생장치는 먼저 그래픽스 스트림에서 하나의 그래픽스 플레인을 생성하고, 다음에 오프셋 정보에 따라서 그 그래픽스 플레인에 수평방향의 오프셋을 부여한다. 이에 의해 그 그래픽스 스트림으로부터 레프트 뷰와 라이트 뷰의 그래픽스 플레인의 쌍이 생성된다. 어느 모드에서도 표시장치의 화면에는 레프트 뷰와 라이트 뷰의 그래픽스 영상이 교호로 표시된다. 그 결과, 시청자에게는 이들 그래픽스 영상이 3D 영상으로 보인다.
종래의 3D 영상 콘텐츠의 데이터구조에서는 1 플레인+오프셋 모드의 콘텐츠는 그래픽스 스트림과 오프셋 정보를 별도의 파일로서 포함한다. 그 경우, 1 플레인+오프셋 모드의 재생장치는 이들 파일을 개별로 처리하여 얻어진 데이터에 의거하여 레프트 뷰와 라이트 뷰의 그래픽스 영상의 쌍을 재생한다. 여기서, 이들 그래픽스 영상의 재생품질을 더 향상시키기 위해서는 그래픽스 스트림과 오프셋 정보 사이의 대응관계가 더 확실히 유지되지 않으면 안 된다. 그러나 각 파일의 처리는 서로 비 동기로 이루어진다. 한편, 그래픽스 영상과 오프셋 정보는 일반적으로 프레임 주기로 변경된다. 또, 하나의 신에는 그래픽스 영상이 일반적으로 복수 존재한다. 따라서, 그래픽스 스트림과 오프셋 정보를 별개의 파일로 포함하는 데이터구조에서는 이들 사이의 대응관계를 더 확실히 유지하기는 어렵다. 그 결과, 3D 그래픽스 영상의 재생품질을 더 향상시키는 것은 곤란하다.
또한, 1 플레인+오프셋 모드의 재생장치의 내장 메모리에는 오프셋 정보를 저장한 파일을 전개하는데 충분한 용량이 필요하다. 그러나 그래픽스 스트림 1개당 오프셋 정보의 총량은 크므로, 3D 영상 콘텐츠가 다양한 그래픽스 스트림을 포함하는 경우 상기의 파일 사이즈는 급격하게 증대한다. 그 결과, 내장 메모리의 용량을 더 삭감하는 것은 곤란하다.
1 플레인+오프셋 모드의 재생장치가 하나의 그래픽스 플레인에 큰 오프셋을 부여하여 한 쌍의 그래픽스 플레인을 생성하는 경우, 그 쌍의 일방의 좌단부 또는 우단부에 타방의 우단부 또는 좌단부에는 포함되지 않는 영역이 발생할 수 있다. 또, 실제의 3D 영상 콘텐츠가 나타내는 레프트 뷰와 라이트 뷰에서는 일반적으로 시야가 어긋나 있으므로, 일방의 주연부(周緣部)에 타방의 주연부에는 포함되지 않는 영역이 발생할 수 있다. 이들 영역은 시청자의 한쪽 눈에 밖에 보이지 않으므로 시청자에게 위화감을 줄 위험성이 있다. 그 결과, 3D 영상의 화질을 더 향상시키는 것은 곤란하다.
한편, 콘텐츠 공급자 사이에서는 다음과 같은 3D 영상 콘텐츠에 대한 요망이 높아지고 있다: 그 콘텐츠에서는 2D 영상에 중첩되는 그래픽스 영상만이 3차원화 되어 있다. 그러나 종래의 3D 영상기술에서는 그러한 콘텐츠는 상정되어 있지 않다. 따라서, 재생장치에 이와 같은 콘텐츠로부터 3D 영상을 충분한 고화질로 재생시키는 것은 곤란하다.
본 발명의 목적은 상기의 문제점을 해결하는 것에 있으며, 특히 재생장치에 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생시킬 수 있는 기록매체를 제공하는 것에 있다.
본 발명의 제 1 관점에 의한 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 그래픽스 스트림 및 플레이리스트 정보가 기록되어 있다. 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함한다. 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함한다. 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함한다. 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되고, 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되며, 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사된다. 메타 데이터는 서브 뷰 비디오 스트림을 구성하는 GOP별로 배치되고, 복수의 오프셋 정보와 각 오프셋 정보에 대응하는 오프셋 식별자를 포함한다. 복수의 오프셋 정보는 GOP를 구성하는 복수의 픽처에 대한 오프셋 제어를 규정하는 제어정보이다. 오프셋 제어는 그래픽스 플레인에 수평좌표의 좌 방향과 우 방향의 각 오프셋을 부여하고, 메인 뷰 비디오 플레인과 서브 뷰 비디오 플레인의 각각에 합성하는 처리이다. 플레이리스트 정보는 재생구간정보를 적어도 1개 포함한다. 각 재생구간정보는 하나의 재생구간의 개시 위치와 종료 위치를 나타내는 정보 및 그 재생구간에 대한 스트림 선택테이블을 포함한다. 스트림 선택테이블은 그 재생구간에서의 재생이 허가된 스트림 데이터의 패킷 식별자와 스트림 번호 사이의 대응 표이다. 또한, 스트림 선택테이블에서 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 복수의 오프셋 식별자 중 하나가 그 스트림 번호에 할당되어 있다.
본 발명의 제 2 관점에 의한 기록매체에는 메인 뷰 비디오 스트림과 서브 뷰 비디오 스트림이 기록되어 있다. 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함한다. 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함한다. 메타 데이터는 메인 뷰 픽처와 서브 뷰 픽처로 구성되는 입체 시 영상의 레프트 뷰 픽처와 라이트 뷰 픽처에 대하여 각각이 나타내는 영상의 시야가 중첩되는 공통영역을 특정하기 위한 정보를 포함한다.
본 발명의 제 3 관점에 의한 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림 및 그래픽스 스트림이 기록되어 있다. 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함한다. 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함한다. 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함한다. 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되고, 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되며, 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사된다. 메타 데이터는 그래픽스 플레인의 유효영역을 규정하는 정보를 포함한다. 여기서, 「유효영역」이란 그래픽스 플레인 중에서 실제로 화면에 표시되는 영역을 의미한다.
본 발명의 제 4 관점에 의한 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 메인 뷰 그래픽스 스트림 및 서브 뷰 그래픽스 스트림이 기록되어 있다. 메인 뷰 비디오 스트림은 평면 시 영상을 구성하는 메인 뷰 픽처를 포함한다. 메인 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 메인 뷰를 구성하는 그래픽스 데이터를 포함한다. 서브 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 서브 뷰를 구성하는 그래픽스 데이터를 포함한다. 서브 뷰 비디오 스트림은 메인 뷰 픽처를 구성하는 평면 시 영상과 동일한 평면 시 영상을 구성하는 픽처를 포함한다.
본 발명의 제 1 관점에 의한 기록매체는 재생장치에 서브 뷰 비디오 스트림의 복호처리와 병행하여 메타 데이터로부터 오프셋 정보를 판독하게 할 수 있다. 따라서, 재생장치에 그래픽스 스트림과 오프셋 정보 사이의 대응관계를 더 확실히 유지시킬 수 있다. 그 결과, 재생장치에 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생시킬 수 있다.
본 발명의 제 2 관점에 의한 기록매체는 재생장치에 서브 뷰 비디오 스트림의 복호처리와 병행하여 각 비디오 플레인을 처리시켜서 공통영역 이외의 영역을 숨길 수가 있다. 그 결과, 재생장치에 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생시킬 수 있다.
본 발명의 제 3 관점에 의한 기록매체는 재생장치에 서브 뷰 비디오 스트림의 복호처리와 병행하여 그래픽스 플레인을 처리시켜서 그 유효영역을 적절히 표시시킬 수 있다. 그 결과, 재생장치에 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생시킬 수 있다.
본 발명의 제 4 관점에 의한 기록매체에서는 서브 뷰 비디오 스트림이 나타내는 평면 시 영상은 메인 뷰 비디오 스트림이 나타내는 평면 시 영상과 동일하다. 따라서, 3D 재생장치가 그 기록매체에 대하여 통상의 재생동작을 실행하면 비디오 스트림에서는 2D 영상이 재생되는 동시에 그래픽스 스트림에서는 3D 그래픽스 영상이 재생된다. 이렇게 해서 재생장치에 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생시킬 수 있다.
도 1은 본 발명의 실시형태 1에 의한 기록매체를 사용하는 홈시어터시스템을 나타내는 모식도이다.
도 2는 도 1에 나타내는 BD-ROM 디스크(101) 상의 데이터구조를 나타내는 모식도이다.
도 3(a)은 도 2에 나타내는 BD-ROM 디스크(101) 상의 메인 TS에 다중화된 엘리멘터리 스트림의 일람표이고, (b)는 BD-ROM 디스크(101) 상의 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이며, (c)는 BD-ROM 디스크(101) 상의 텍스트 자막 스트림에 다중화된 엘리멘터리 스트림의 일람표이다.
도 4는 다중화 스트림 데이터(400) 내에서의 TS 패킷의 배치를 나타내는 모식도이다.
도 5(a)는 TS헤더(501H)의 데이터구조를 나타내는 모식도이고, (b)는 다중화 스트림 데이터를 구성하는 TS 패킷 열의 형식을 나타내는 모식도이며, (c)는 다중화 스트림 데이터의 TS 패킷 열로 구성된 소스 패킷 열의 형식을 나타내는 모식도이고, (d)는 일련의 소스 패킷(502)이 연속적으로 기록된 BD-ROM 디스크(101)의 볼륨영역(202B)상의 섹터 군의 모식도이다.
도 6은 비디오 스트림에 포함되는 3매의 픽처(601, 602, 603)를 표시시간 순으로 나타내는 모식도이다.
도 7은 베이스 뷰 비디오 스트림(701)과 라이트 뷰 비디오 스트림(702)의 픽처를 표시시간 순으로 나타내는 모식도이다.
도 8은 비디오 스트림(800)의 데이터구조의 상세를 나타내는 모식도이다.
도 9는 베이스 뷰 비디오 스트림(910)과 디펜던트 뷰 비디오 스트림(920)의 각각에 포함되는 VAU 사이에서의 헤더의 참조관계를 나타내는 모식도이다.
도 10은 PES 패킷 열(1002)과 비디오 스트림(1001)의 저장방법의 상세를 나타내는 모식도이다.
도 11은 베이스 뷰 비디오 스트림(1101)과 디펜던트 뷰 비디오 스트림(1102)의 각 픽처에 할당된 PTS와 DTS 사이의 관계를 나타내는 모식도이다.
도 12(a)는 도 8에 나타내는 각 보충 데이터(831D, 832D)가 포함하는 복호스위치정보(1250)의 데이터구조를 나타내는 모식도이고, (b)는 베이스 뷰 비디오 스트림(1201)과 디펜던트 뷰 비디오 스트림(1202)의 각 픽처에 할당된 복호카운터의 일 예(1210, 1220)를 나타내는 모식도이며, (c)는 그 복호카운터의 다른 예(1230, 1240)를 나타내는 모식도이다.
도 13은 디펜던트 뷰 비디오 스트림(1300)이 포함하는 오프셋 메타 데이터 (1310)의 데이터구조를 나타내는 모식도이다.
도 14는 도 13에 나타내는 오프셋 메타 데이터(offset_metadata)(1310)의 서식(Syntax)을 나타내는 표이다.
도 15(a), (b)는 PG 플레인(1510)과 IG 플레인(1520)에 대한 오프셋 제어를 나타내는 모식도이고, (c)는 (a), (b)에 나타나 있는 그래픽스 플레인이 나타내는 2D 그래픽스 영상으로부터 시청자(1530)에게 지각되는 3D 그래픽스 영상을 나타내는 모식도이다.
도 16(a), (b)는 오프셋 시퀀스의 구체적인 예를 나타내는 그래프이고, (c)는 (a), (b)에 나타내는 오프셋 시퀀스에 따라서 재현되는 3D 그래픽스 영상을 나타내는 모식도이다.
도 17은 텍스트 자막 스트림(1700)의 데이터구조를 나타내는 모식도이다.
도 18은 PMT(1810)의 데이터구조를 나타내는 모식도이다.
도 19는 도 2에 나타내는 BD-ROM 디스크(101) 상에서의 다중화 스트림 데이터의 물리적인 배치를 나타내는 모식도이다.
도 20 (a)은 어느 BD-ROM 디스크 상에 개별로서 연속해서 기록된 메인 TS(2001)와 서브 TS(2002)의 배치를 나타내는 모식도이고, (b)는 본 발명의 실시형태 1에 의한 BD-ROM 디스크(101) 상에 교호로 기록된 디펜던트 뷰 데이터블록 D[0], D[1], D[2], …와 베이스 뷰 데이터블록 B[0], B[1], B[2], …의 배치를 나타내는 모식도이며, (c)는 인터리브 배치로 기록된 디펜던트 뷰 데이터블록 군 D[n]과 베이스 뷰 데이터블록 군 B[n]의 각 익스텐트 ATC 시간의 일 예를 나타내는 모식도이고(n=0, 1, 2), (d)는 각 익스텐트 ATC 시간의 다른 예를 나타내는 모식도이다.
도 21은 도 19에 나타내는 익스텐트 블록 군(1901-1903)에 대한 2D 재생모드에서의 재생경로(2101)와 L/R 모드에서의 재생경로(2102)를 나타내는 모식도이다.
도 22는 도 2에 나타내는 제 1 클립정보파일(01000.clpi)(231)의 데이터구조를 나타내는 모식도이다.
도 23(a)은 도 22에 나타내는 엔트리 맵(2230)의 데이터구조를 나타내는 모식도이고, (b)는 파일 2D(241)에 속하는 소스 패킷 군(2310) 중 엔트리 맵(2230)에 의해 각 EP_ID2305에 대응되어 있는 것을 나타내는 모식도이며, (c)는 그 소스 패킷 군(2310)에 대응하는 BD-ROM 디스크(101) 상의 데이터블록 군 D[n], B[n](n=0, 1, 2, 3, …)를 나타내는 모식도이다.
도 24(a)는 도 22에 나타내는 익스텐트 기점(2242)의 데이터구조를 나타내는 모식도이고, (b)는 제 2 클립정보파일(02000.clpi)(232)에 포함되는 익스텐트 기점(2420)의 데이터구조를 나타내는 모식도이며, (c)는 3D 재생모드의 재생장치(102)에 의해 제 1 파일 SS(244A)로부터 추출된 베이스 뷰 데이터블록 B[0], B[1], B[2], …를 나타내는 모식도이며, (d)는 파일 DEP(02000.m2ts)(242)에 속하는 디펜던트 뷰 익스텐트 EXT2[0], EXT2[1], …과 익스텐트 기점(2420)이 나타내는 SPN(2422) 사이의 대응관계를 나타내는 모식도이고, (e)는 제 1 파일 SS(244A)에 속하는 익스텐트 SS EXTSS[0]와 BD-ROM 디스크(101) 상의 익스텐트 블록 사이의 대응관계를 나타내는 모식도이다.
도 25는 도 2에 나타내는 BD-ROM 디스크(101) 상에 기록된 하나의 익스텐트 블록(2500)과, 파일 2D(2510), 파일 베이스(2511), 파일 DEP(2512) 및 파일 SS(2520)의 각 익스텐트 군 사이의 대응관계를 나타내는 모식도이다.
도 26은 베이스 뷰 비디오 스트림(2610)과 디펜던트 뷰 비디오 스트림(2620)으로 설정된 엔트리포인트의 예를 나타내는 모식도이다.
도 27은 도 2에 나타내는 2D 플레이리스트 파일(221)의 데이터구조를 나타내는 모식도이다.
도 28은 도 27에 나타내는 PI#N(N=1, 2, 3, …)의 데이터구조를 나타내는 모식도이다.
도 29(a), (b)는 각각 CC(2904)가 “5”,“6”일 때 접속대상의 2개의 재생구간(2901, 2902) 사이의 관계를 나타내는 모식도이다.
도 30은 도 2에 나타내는 2D 플레이리스트 파일(00001.mpls)(221)이 나타내는 PTS와 파일 2D(01000.m2ts)(241)로부터 재생되는 부분 사이의 대응관계를 나타내는 모식도이다.
도 31은 도 2에 나타내는 3D 플레이리스트 파일(222)의 데이터구조를 나타내는 모식도이다.
도 32는 도 31에 나타내는 3D 플레이리스트 파일의 메인 패스(3101)가 포함하는 STN 테이블(3205)을 나타내는 모식도이다.
도 33은 도 31에 나타내는 STN 테이블 SS(3130)의 데이터구조를 나타내는 모식도이다.
도 34는 도 2에 나타내는 3D 플레이리스트 파일(00002.mpls)(222)이 나타내는 PTS와 제 1 파일 SS(01000.ssif)(244A)로부터 재생되는 부분 사이의 대응관계를 나타내는 모식도이다.
도 35는 도 2에 나타내는 인덱스 파일(index.bdmv)(211)의 데이터구조를 나타내는 모식도이다.
도 36은 도 1에 나타내는 재생장치(102)가 재생대상의 플레이리스트 파일을 선택하는 처리의 플로차트이다.
도 37은 2D 재생장치(3700)의 기능 블록도이다.
도 38은 SPRM의 일람표이다.
도 39는 도 37에 나타내는 재생제어부(3735)에 의한 2D 플레이리스트 재생처리의 플로차트이다.
도 40은 도 37에 나타내는 시스템 타깃 디코더(3725)의 기능 블록도이다.
도 41은 3D 재생장치(4100)의 기능 블록도이다.
도 42는 SPRM(27)과 SPRM(28)의 데이터구조를 나타내는 표이다.
도 43은 도 41에 나타내는 재생제어부(4135)에 의한 3D 플레이리스트 재생처리의 플로차트이다.
도 44는 도 41에 나타내는 시스템 타깃 디코더(4125)의 기능 블록도이다.
도 45는 도 41에 나타내는 플레인 가산부(4126)의 기능 블록도이다.
도 46은 도 45에 나타내는 각 크로핑 처리부(4531-4534)에 의한 오프셋 제어의 플로차트이다.
도 47은 도 45에 나타내는 제 2 크로핑 처리부(4532)에 의한 오프셋 제어로 가공되는 PG 플레인 데이터를 나타내는 모식도이다.
도 48은 하나의 스트림 데이터에 대하여 오프셋 보정치가 복수 설정된 STN 테이블(4805)을 나타내는 모식도이다.
도 49는 도 1에 나타내는 표시장치(103)의 화면 사이즈에 의거하는 오프셋 보정치의 선택처리의 플로차트이다.
도 50은 도 41에 나타내는 재생제어부(4135)에 의한 그래픽스 플레인에 부여되어야 할 오프셋의 조정처리의 플로차트이다.
도 51은 서브 패스를 복수 포함하는 3D 플레이리스트 파일(5100)의 데이터구조 및 그것에 의해 참조되는 파일 2D(5110)와 2개의 파일 DEP(5121, 5122)의 데이터구조를 나타내는 모식도이다.
도 52는 3D 플레이리스트 파일(5200)이 포함하는 참조 오프셋 ID를 나타내는 모식도이다.
도 53(a)은 정지화상만을 나타내는 디펜던트 뷰 비디오 스트림(5300)의 데이터구조를 나타내는 모식도이고, (b)는 이와 같은 3D 플레이리스트 파일을 따라서 재생되는 레프트 뷰 비디오 플레인의 열(5321), 라이트 뷰 비디오 플레인의 열(5322) 및 그래픽스 플레인의 열(5330)을 나타내는 모식도이다.
도 54(a)는 보완함수를 이용하는 오프셋 메타 데이터(5400)의 데이터구조를 나타내는 모식도이고, (b)는 보완함수를 구성하는 요소의 종류를 나타내는 그래프이며, (c)는 (a)에 나타내는 오프셋 시퀀스 ID=0, 1, 2의 각 오프셋 시퀀스로부터 3D 재생장치에 의해 산정된 오프셋 값을 나타내는 그래프이다.
도 55(a), (b), (c)는 각각 하나의 텍스트 자막 스트림 내에서 연속하는 텍스트 데이터 엔트리 #1, #2, #3가 나타내는 문자 열(5501, 5502, 5503), 각 텍스트 데이터 엔트리가 복호 되었을 때에 비트 맵 버퍼에 저장되는 캐시데이터(5511, 5512, 5513)를 나타내는 모식도이다.
도 56(a)은 3D 영상을 촬영하는 한 쌍의 비디오 카메라(CML, CMR)의 수평 화각(HAL, HAR)를 모식적으로 나타내는 평면도이고, (b)는 좌측의 비디오 카메라(CML)로 촬영된 레프트 뷰(LV)를 나타내는 모식도이며, (c)는 우측의 비디오 카메라(CMR)로 촬영된 라이트 뷰(RV)를 나타내는 모식도이며, (d), (e)는 각각 시차 영상 생성부(4510)에 의해 가공된 좌측 영상 플레인이 나타내는 레프트 뷰(LV)와 우측 영상 플레인이 나타내는 라이트 뷰(RV)를 나타내는 모식도이다.
도 57(a)은 3D 영상을 촬영하는 한 쌍의 비디오 카메라(CML, CMR)의 수직 화각 VAL, VAR을 모식적으로 나타내는 평면도이고, (b)는 좌측의 비디오 카메라(CML)로 촬영된 레프트 뷰(LV)와 우측의 비디오 카메라(CMR)로 촬영된 라이트 뷰(RV)를 나타내는 모식도이며, (c)는 도 45에 나타내는 시차 영상 생성부(4510)에 의해 가공된 좌측 영상 플레인이 나타내는 레프트 뷰(LV)와 우측 영상 플레인이 나타내는 라이트 뷰(RV)를 나타내는 모식도이다.
도 58(a)은 그래픽스 플레인(GPL)이 나타내는 그래픽스 영상의 일 예를 나타내는 모식도이고, (b), (c)는 각각 그래픽스 플레인(GPL)에 우측방향과 좌측방향의 오프셋을 부여한 경우를 나타내는 모식도이며, (d), (e)는 각각 우측방향과 좌측방향의 오프셋이 부여된 그래픽스 플레인(GP1, GP2)이 나타내는 그래픽스 영상을 나타내는 모식도이다.
도 59는 BD-ROM 디스크 상의 PG 스트림, IG 스트림 및 텍스트 자막 스트림에서 재생되는 그래픽스 플레인 및 재생장치에 의해 생성되는 그래픽스 플레인에 대하여 그래픽스 부품의 배치에 관한 조건을 나타내는 모식도이다.
도 60은 실시형태 2에서의 재생출력장치의 일 예를 나타내는 구성도이다.
도 61(a)은 BD-ROM 디스크(101) 상의 제 1 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이고, (b)는 BD-ROM 디스크(101) 상의 제 2 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이다.
도 62는 실시형태 2에 의한 STN 테이블 SS(3130)의 데이터구조를 나타내는 모식도이다.
도 63은 실시형태 2에 의한 시스템 타깃 디코더(6225)의 기능 블록도이다.
도 64는 2 플레인 모드의 플레인 가산부(6226)의 부분적인 기능 블록도이다.
도 65는 베이스 뷰 비디오 스트림(6401)과 라이트 뷰 비디오 스트림(6402)의 픽처를 표시시간 순으로 나타내는 모식도이다.
도 66은 의사 2D 재생구간 내의 라이트 뷰 픽처 군을 MVC에 따라서 부호화할 때의 슬라이스 헤더와 슬라이스 데이터의 서식(Syntax)을 나타내는 표이다.
도 67은 3D 재생구간과 의사 2D 재생구간의 양쪽을 구성하는 파일 2D(6610)와 파일 DEP(6620)의 쌍 및 각 재생구간을 규정하는 2종류의 3D 플레이리스트 파일(6630, 6640)을 나타내는 모식도이다.
도 68은 3D 재생구간을 구성하는 파일 2D(6710)와 파일 DEP #1(6721)의 쌍, 그 파일 2D(6710)와의 조합으로 의사 2D 재생구간을 구성하는 파일 DEP #2(6722) 및 각 재생구간을 규정하는 3D 플레이리스트 파일(6730)을 나타내는 모식도이다.
도 69는 3D 재생모드의 재생장치(102)가 3D 플레이리스트 파일(6730)에 따라서 재생하는 비디오 플레인의 열(6810)과 PG 플레인의 열(6820)을 나타내는 모식도이다.
도 70은 3D 재생장치가 연속 재생구간 중의 통상 2D 재생구간의 유무에 의해 동작 모드를 선택하는 처리의 플로차트이다.
도 71은 더빙 재생 기능을 갖는 3D 재생장치가 연속 재생구간 중의 통상 2D 재생구간의 유무에 의해 동작 모드를 선택하는 처리의 플로차트이다.
도 72(a)는 1 플레인+오프셋 모드에서의 3D 그래픽스 영상의 재생 중에 팝업메뉴가 표시될 때의 비디오 플레인의 열(7110), IG/이미지 플레인의 열(7120) 및 PG 플레인의 열(7130)을 나타내는 모식도이고, (b)는 2 플레인 모드에서의 3D 그래픽스 영상의 재생 중에 팝업메뉴가 표시될 때의 비디오 플레인의 열(7110), IG/이미지 플레인의 열(7120) 및 PG 플레인의 열(7140)의 일 예를 나타내는 모식도이며, (c)는 그 다른 예를 나타내는 모식도이다.
도 73(a), (b), (c)는 B-D 표시 모드와 B-B 표시 모드에서의 그래픽스 부품의 표시위치의 차를 나타내는 모식도이고, (d), (e), (f)는 각각 (a), (b), (c)에 나타내는 B-B 표시 모드에서의 그래픽스 부품의 변위를 보상하는 처리를 나타내는 모식도이다.
도 74는 본 발명의 실시형태 4에 의한 기록장치(7300)의 기능 블록도이다.
도 75는 도 74에 나타내는 기록장치(7300)를 이용하여 BD-ROM 디스크에 영화 콘텐츠를 기록하는 방법의 플로차트이다.
도 76은 도 74에 나타내는 비디오 인코더(7302)와 다중화 처리부(7306)의 기능 블록도이다.
도 77은 도 76에 나타내는 부호화부(7502)에 의한 비디오 프레임 열의 부호화 처리의 플로차트이다.
도 78은 비디오 프레임 열로 구성되어야 할 재생구간의 종류를 결정하는 처리의 플로차트이다.
도 79(a), (b)는 3D 영상의 한 신의 표시에 이용되는 레프트 뷰와 라이트 뷰의 각 픽처를 나타내는 모식도이고, (c)는 도 76에 나타내는 프레임 깊이정보 생성부(7505)에 의해 그 픽처로부터 산출된 깊이정보를 나타내는 모식도이다.
도 80은 인접하는 데이터블록 간에 익스텐트 ATC 시간을 일치시키는 방법을 나타내는 모식도이다.
도 81은 2D/3D 재생장치를 집적회로를 이용하여 실현한 구성 예이다.
도 82는 스트림 처리부의 대표적인 구성을 나타내는 기능 블록도이다.
도 83은 스위칭부가 DMAC일 경우의 스위칭부(53) 주변의 개념도이다.
도 84는 AV 출력부의 대표적인 구성을 나타내는 기능 블록도이다.
도 85는 AV 출력부 또는 재생장치의 데이터 출력부분을 상세하게 나타내는 구성 예이다.
도 86은 집적회로에서의 제어 버스 및 데이터 버스의 배치를 나타내는 도면이다.
도 87은 집적회로에서의 제어 버스 및 데이터 버스의 배치를 나타내는 도면이다.
도 88은 표시장치를 집적회로를 이용하여 실현한 구성 예이다.
도 89는 표시장치에서의 AV 출력부의 대표적인 구성을 나타내는 기능 블록도이다.
도 90은 화상 중첩부에서의 화상중첩처리의 개념도이다.
도 91은 화상 중첩부에서의 화상중첩처리의 개념도이다.
도 92는 화상 중첩부에서의 화상중첩처리의 개념도이다.
도 93은 화상 중첩부에서의 화상중첩처리의 개념도이다.
도 94는 재생장치에서의 동작순서를 간단하게 나타내는 플로차트이다.
도 95는 재생장치에서의 동작순서를 상세하게 나타내는 플로차트이다.
도 96(a)-(c)는 시차 영상을 이용하는 방법에 의한 3D 영상(입체 시 영상)의 재생원리를 설명하기 위한 모식도이다.
도 97은 2D 영상(MVW)과 깊이 맵(DPH)의 조합으로부터 레프트 뷰(LVW)와 라이트 뷰(RVW)를 구성하는 예를 나타내는 모식도이다.
도 98은 2D 재생모드의 재생장치(102) 내의 재생처리 계통을 나타내는 블록도이다.
도 99(a)는 2D 재생모드에서의 동작 중 도 98에 나타내는 리드 버퍼(3721)에 축적되는 데이터량(DA)의 변화를 나타내는 그래프이며, 재생 대상의 익스텐트 블록(8310)과 2D 재생모드에서의 재생경로(8320) 사이의 대응관계를 나타내는 모식도이다.
도 100은 BD-ROM 디스크에 관한 점프거리 SJUMP와 최대 점프시간 TJUMP _ MAX 사이의 대응 표의 일 예이다.
도 101은 3D 재생모드의 재생장치(102) 내의 재생처리계통을 나타내는 블록도이다.
도 102(a), (b)는 하나의 익스텐트 블록으로부터 3D 영상이 심리스로 재생될 때 도 101에 나타내는 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화를 나타내는 그래프이고, (c)는 그 익스텐트 블록(8610)과 3D 재생모드에서의 재생경로(8620) 사이의 대응관계를 나타내는 모식도이다.
도 103(a)은 M번째 (정수 M는 2 이상이다)와 (M+1)번째의 익스텐트 블록의 쌍(8701, 8702)에서 연속해서 3D 영상이 심리스로 재생될 때 도 101에 나타내는 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화 및 이들의 합 DA1+DA2의 변화를 나타내는 그래프 군이며, (b)는 이들 익스텐트 블록(8701, 8702)과 3D 재생모드에서의 재생경로(8720) 사이의 대응관계를 나타내는 모식도이다.
도 104(a), (b)는 도 103(b)에 나타내는 2개의 익스텐트 블록(8701, 8702)으로부터 연속해서 3D 영상이 심리스로 재생될 때 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화를 나타내는 그래프이다.
도 105는 BD-ROM 디스크(101)의 층 경계(LB)의 전후에 기록된 데이터블록 군의 물리적인 배치의 제 1 예를 나타내는 모식도이다.
도 106은 도 105에 나타내는 배치 1의 데이터블록 군에 대한 2D 재생모드에서의 재생경로(9010)와 3D 재생모드에서의 재생경로(9020)를 나타내는 모식도이다.
도 107은 BD-ROM 디스크(101)의 층 경계(LB)의 전후에 기록된 데이터블록 군의 물리적인 배치의 제 2 예를 나타내는 모식도이다.
도 108은 도 107에 나타내는 배치 2의 데이터블록 군에 대한 2D 재생모드에서의 재생경로(9210)와 3D 재생모드에서의 재생경로(9220)를 나타내는 모식도이다.
도 109는 파일 베이스(9301)와 파일 DEP(9302)의 각 익스텐트 EXT1[k], EXT2[k](정수 k는 0 이상이다)에 대하여 설정된 엔트리포인트(9310, 9320)를 나타내는 모식도이다.
도 110 (a)은 인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 간에 익스텐트 ATC 시간이 다르고, 또한 비디오 스트림의 재생시간이 다를 때의 재생경로를 나타내는 모식도이며, (b)는 인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 간에 비디오 스트림의 재생시간이 동일할 때의 재생경로를 나타내는 모식도이다.
도 111(a)은 멀티앵글에 대응하는 다중화 스트림 데이터의 재생경로를 나타내는 모식도이고, (b)는 BD-ROM 디스크 상에 기록된 데이터블록 군(9501)과, 이들에 대한 L/R 모드에서의 재생경로(9502)를 나타내는 모식도이며, (c)는 앵글별 스트림 데이터 Ak, Bk, Ck를 구성하는 익스텐트 블록을 나타내는 모식도이다.
도 112는 멀티앵글 기간을 구성하는 데이터블록 군(9601) 및 이들에 대한 2D 재생모드에서의 재생경로(9610)와 L/R 모드에서의 재생경로(9620)를 나타내는 모식도이다.
도 113은 3D 영상 콘텐츠가 기록된 광 디스크에 대하여 2D 재생장치에 대한 호환성을 확보하기 위한 기술을 나타내는 모식도이다.
이하, 본 발명의 가장 바람직한 실시형태에 관한 기록매체 및 재생장치에 대하여 도면을 참조하면서 설명한다.
《실시형태 1》
도 1은 본 발명의 실시형태 1에 의한 기록매체를 사용하는 홈시어터 시스템을 나타내는 모식도이다. 이 홈시어터 시스템은 시차 영상을 이용한 3D 영상(입체 시 영상)의 재생방식을 채용하고, 특히 표시 방식으로 계시 분리방식을 채용하고 있다(상세는《보충》참조). 도 1을 참조하면, 이 홈시어터 시스템은 기록매체(101)를 재생 대상으로 하며, 재생장치(102), 표시장치(103), 셔터 안경(104) 및 리모컨(105)을 포함한다.
기록매체(101)는 판독전용 블루레이 디스크(등록상표)(BD:Blu-ray Disc), 즉 BD-ROM 디스크이다. 기록매체(101)는 그 외의 휴대형 기록매체, 예를 들어 DVD 등의 다른 방식에 의한 광 디스크, 리무버블 하드디스크 드라이브(HDD), 또는 SD 메모리 카드 등의 반도체 메모리장치라도 좋다. 그 기록매체, 즉 BD-ROM 디스크(101)는 3D 영상에 의한 영화 콘텐츠를 저장하고 있다. 이 콘텐츠는 그 3D 영상의 레프트 뷰와 라이트 뷰의 각각을 나타내는 비디오 스트림을 포함한다. 그 콘텐츠는 그 3D 영상의 깊이 맵을 나타내는 비디오 스트림을 더 포함하고 있어도 좋다. 이들 비디오 스트림은 후술하는 것과 같이 데이터블록 단위로 BD-ROM 디스크(101) 상에 배치되고, 후술하는 파일 구조를 이용하여 액세스 된다. 레프트 뷰 또는 라이트 뷰를 나타내는 비디오 스트림은 2D 재생장치와 3D 재생장치의 각각에 의해 그 콘텐츠를 2D 영상으로 재생하는데 이용된다. 한편, 레프트 뷰와 라이트 뷰의 각각을 나타내는 비디오 스트림의 쌍, 또는 레프트 뷰 또는 라이트 뷰중 어느 하나와 깊이 맵의 각각을 나타내는 비디오 스트림의 쌍은 3D 재생장치에 의해 그 콘텐츠를 3D 영상으로 재생하는데 이용된다.
재생장치(102)는 BD-ROM 드라이브(121)를 탑재하고 있다. BD-ROM 드라이브(121)는 BD-ROM 방식에 준거하는 광 디스크 드라이브이다. 재생장치(102)는 BD-ROM 드라이브(121)를 이용하여 BD-ROM 디스크(101)로부터 콘텐츠를 판독한다. 또, 재생장치(102)는 그 콘텐츠를 영상데이터/음성데이터에 복호한다. 여기서, 재생장치(102)는 3D 재생장치이며, 그 콘텐츠를 2D 영상과 3D 영상의 어느 것으로도 재생 가능하다. 이하, 2D 영상과 3D 영상의 각각을 재생할 때의 재생장치(102)의 동작 모드를 「2D 재생모드」, 「3D 재생모드」라고 한다. 2D 재생모드에서는 영상데이터는 레프트 뷰 또는 라이트 뷰의 어느 일방의 영상프레임을 포함한다. 3D 재생모드에서는 영상데이터는 레프트 뷰와 라이트 뷰의 양쪽의 영상프레임을 포함한다.
3D 재생모드는 레프트/라이트(L/R) 모드와 깊이 모드로 더 구분된다. 「L/R모드」에서는 레프트 뷰와 라이트 뷰의 각각을 나타내는 비디오 스트림의 조합으로부터 레프트 뷰와 라이트 뷰의 영상프레임의 쌍이 재생된다. 「깊이 모드」에서는 레프트 뷰 또는 라이트 뷰중 어느 하나와 깊이 맵의 각각을 나타내는 비디오 스트림의 조합으로부터 레프트 뷰와 라이트 뷰의 영상프레임의 쌍이 재생된다. 재생장치(102)는 L/R 모드를 구비한다. 재생장치(102)는 깊이 모드를 더 구비하고 있어도 좋다.
재생장치(102)는 HDMI(High-Definition Multimedia Interface) 케이블(122)로 표시장치(103)에 접속되어 있다. 재생장치(102)는 영상데이터/음성데이터를 HDMI 방식의 영상 신호/음성 신호로 변환하고, HDMI 케이블(122)을 통해서 표시장치(103)에 전송한다. 2D 재생모드에서는 영상 신호에는 레프트 뷰 또는 라이트 뷰의 어느 일방의 영상프레임이 다중화되어 있다. 3D 재생모드에서는 영상 신호에는 레프트 뷰와 라이트 뷰의 양쪽의 영상프레임이 시분할로 다중화되어 있다. 또, 재생장치(102)는 HDMI 케이블(122)을 통해서 표시장치(103) 사이에 CEC 메시지를 교환한다. 이에 의해 재생장치(102)는 3D 영상의 재생에 대응 가능한가 여부를 표시장치(103)에 문의할 수 있다.
표시장치(103)는 액정 디스플레이이다. 표시장치(103)는 그 외에 플라스마 디스플레이 및 유기 EL 디스플레이 등, 다른 방식의 플랫 패널 디스플레이 또는 프로젝터라도 좋다. 표시장치(103)는 영상 신호에 따라서 화면(131)상에 영상을 표시하고, 음성 신호에 따라서 내장의 스피커로부터 음성을 발생시킨다. 표시장치(103)는 3D 영상의 재생에 대응 가능하다. 2D 영상의 재생시, 화면(131)상에는 레프트 뷰 또는 라이트 뷰의 어느 일방이 표시된다. 3D 영상의 재생시, 화면(131)상에는 레프트 뷰와 라이트 뷰가 교호로 표시된다.
표시장치(103)는 좌우 신호 송신부(132)를 포함한다. 좌우 신호 송신부(132)는 좌우 신호(LR)를 적외선 또는 무선으로 셔터 안경(104)에 송출한다. 좌우 신호(LR)는 현시점에서 화면(131)에 표시되는 영상이 레프트 뷰와 라이트 뷰 중 어느 것인지를 나타낸다. 3D 영상의 재생시, 표시장치(103)는 영상 신호에 부수하는 제어 신호로부터 레프트 뷰 프레임과 라이트 뷰 프레임을 식별함으로써 프레임의 전환을 검지한다. 또, 표시장치(103)는 좌우 신호 송신부(132)에 검지된 프레임의 전환에 동기하여 좌우 신호(LR)를 변화시킨다.
셔터 안경(104)은 2매의 액정표시패널(141L, 141R)과 좌우 신호 수신부(142)를 포함한다. 각 액정표시패널(141L, 141R)은 좌우의 각 렌즈 부분을 구성하고 있다. 좌우 신호 수신부(142)는 좌우 신호(LR)를 수신하고, 그 변화에 따라서 좌우의 액정표시패널(141L, 141R)에 신호를 보낸다. 각 액정표시패널(141L, 141R)은 그 신호에 따라서 광을 그 전체에서 동일하게 투과시키거나 또는 차단한다. 특히 좌우 신호(LR)가 레프트 뷰의 표시를 나타낼 때 왼쪽 눈 측의 액정표시패널(141L)은 광을 투과시키고, 오른쪽 눈 측의 액정표시패널(141R)은 광을 차단한다. 좌우 신호(LR)가 라이트 뷰의 표시를 나타낼 때는 그 역이다. 이와 같이 2매의 액정표시패널(141L, 141R)은 프레임의 전환과 동기하여 교호로 광을 투과시킨다. 그 결과, 시청자가 셔터 안경(104)을 쓰고 화면(131)을 보았을 때 레프트 뷰는 그 시청자의 왼쪽 눈에만 비치고, 라이트 뷰는 그 오른쪽 눈에만 비친다. 그때 그 시청자에게는 각 눈에 비치는 영상 간의 차이가 동일한 입체에 대한 양안 시차로 지각되므로 그 영상이 입체적으로 보인다.
리모컨(105)은 조작부와 송신부를 포함한다. 조작부는 복수의 버튼을 포함한다. 각 버튼은 전원의 온 오프 또는 BD-ROM 디스크(101)의 재생 개시 또는 정지 등, 재생장치(102) 또는 표시장치(103)의 각 기능에 대응되어 있다. 조작부는 사용자에 의한 각 버튼의 눌림을 검출하고, 그 버튼의 식별정보를 신호로 송신부에 전한다. 송신부는 그 신호를 적외선 또는 무선에 의한 신호 IR로 변환하여 재생장치(102) 또는 표시장치(103)에 송출한다. 한편, 재생장치(102)와 표시장치(103)는 각각 그 신호 IR을 수신하고, 그 신호 IR이 나타내는 버튼을 특정하여, 그 버튼에 대응된 기능을 실행한다. 이렇게 하여 사용자는 재생장치(102) 또는 표시장치(103)를 원격 조작할 수 있다.
<BD-ROM 디스크 상의 데이터구조>
도 2는 BD-ROM 디스크(101) 상의 데이터구조를 나타내는 모식도이다. 도 2를 참조하면, BD-ROM 디스크(101) 상의 데이터 기록영역의 최 내주부에는 BCA(Burst Cutting Area)(201)가 설치되어 있다. BCA에 대해서는 BD-ROM 드라이브(121)에 의한 액세스만이 허가되고, 애플리케이션 프로그램에 의한 액세스는 금지된다. 이에 의해 BCA(201)는 저작권 보호기술에 이용된다. BCA(201)보다 바깥쪽의 데이터 기록영역에서는 내주로부터 외주에 걸쳐서 트랙이 나선 형상으로 연장되어 있다. 도 2에는 트랙(202)이 모식적으로 횡 방향으로 연장되어서 묘사되어 있다. 그 좌측은 디스크(101)의 내주부를 나타내고, 우측은 외주부를 나타낸다. 도 2에 나타내는 것과 같이 트랙(202)은 내주로부터 순으로 리드인 영역(202A), 볼륨 영역(202B) 및 리드아웃 영역(202c)를 포함한다. 리드인 영역(202A)은 BCA(201)의 바로 외주 측에 설치되어 있다. 리드인 영역(202A)은 볼륨 영역(202B)에 기록된 데이터 사이즈 및 물리어드레스 등, BD-ROM 드라이브(121)에 의한 볼륨 영역(202B)으로의 액세스에 필요한 정보를 포함한다. 리드 아웃 영역(202C)은 데이터 기록영역의 최 외주부에 설치되고, 볼륨 영역(202B)의 종단(終端)을 나타낸다. 볼륨 영역(202b)는 영상 및 음성 등의 애플리케이션 데이터를 포함한다.
볼륨 영역(202b)는 「섹터」라고 불리는 소 영역(202D)으로 분할되어 있다. 섹터 사이즈는 공통이며, 예를 들어 2048바이트이다. 각 섹터(202D)에는 볼륨 영역(202B)의 선단으로부터 순서대로 일련번호가 할당되어 있다. 이 일련번호는 논리블록번호(LBN)라고 불리며, BD-ROM 디스크(101) 상의 논리어드레스에 이용된다. BD-ROM 디스크(101)로부터의 데이터의 판독에서는 수신처의 섹터의 LBN이 지정됨으로써 판독 대상의 데이터가 특정된다. 이렇게 하여 볼륨 영역(202b)는 섹터 단위로 액세스 가능하다. 또, BD-ROM 디스크(101) 상에서는 논리어드레스가 물리어드레스와 실질적으로 동일하다. 특히 LBN이 연속하고 있는 영역에서는 물리어드레스도 실질적으로서 연속하고 있다. 따라서, BD-ROM 드라이브(121)는 LBN이 연속하고 있는 섹터로부터 데이터를 그 광 픽업에 시크를 실시하게 하는 일 없이 연속해서 판독할 수 있다.
볼륨 영역(202B)에 기록된 데이터는 소정의 파일 시스템으로 관리된다. 그 파일 시스템으로는 UDF(Universal Disc Format)가 채용되고 있다. 그 파일 시스템은 그 외에 ISO9660라도 좋다. 그 파일 시스템에 따라서 볼륨 영역(202B)에 기록된 데이터는 디렉터리/파일 형식으로 표현된다(상세는《보충》참조). 즉, 이들 데이터는 디렉터리 단위 또는 파일 단위로 액세스 가능하다.
≪BD-ROM 디스크 상의 디렉터리/파일 구조≫
도 2는 BD-ROM 디스크(101)의 볼륨 영역(202B)에 저장된 데이터의 디렉터리/파일 구조를 나타낸다. 도 2를 참조하면, 이 디렉터리/파일 구조에서는 루트(ROOT) 디렉터리(203)의 아래에 BD무비(BDMV:BD Movie) 디렉터리(210)가 배치되어 있다. BDMV 디렉터리(210)의 아래에는 인덱스 파일(index.bdmv)(211)과 무비 오브젝트 파일(MovieObject.bdmv)(212)이 배치되어 있다.
인덱스 파일(211)은 BD-ROM 디스크(101)에 기록된 콘텐츠의 전체를 관리하기 위한 정보이다. 그 정보는 특히 그 콘텐츠를 재생장치(102)에 인식시키기 위한 정보 및 인덱스 테이블을 포함한다. 인덱스 테이블은 그 콘텐츠를 구성하는 타이틀과 재생장치(102)의 동작을 제어하기 위한 프로그램 간의 대응 표이다. 그 프로그램을 「오브젝트」라고 한다. 오브젝트의 종류에는 무비 오브젝트와 BD-J(BD Java(등록상표)) 오브젝트가 있다.
무비 오브젝트 파일(212)은 일반적으로 복수의 무비 오브젝트를 포함한다. 각 무비 오브젝트는 내비게이션 커멘드의 열을 포함한다. 내비게이션 커멘드는 일반적인 DVD 플레이어에 의한 재생처리와 동일한 재생처리를 재생장치(102)에 실행시키기 위한 제어 지령이다. 내비게이션 커멘드의 종류에는 예를 들어 타이틀에 대응하는 플레이리스트 파일의 판독 명령, 플레이리스트 파일이 나타내는 AV 스트림 파일의 재생 명령 및 다른 타이틀로의 천이 명령이 있다. 내비게이션 커멘드는 인터프리터형 언어로 기술되고, 재생장치(102)에 포함된 인터프리터, 즉 작업 제어 프로그램에 의해 해독되어 그 제어부에 원하는 작업을 실행시킨다. 내비게이션 커멘드는 오피코드와 오퍼랜드로 이루어진다. 오피코드는 타이틀의 분기와 재생 및 연산 등, 재생장치(102)에 실행시켜야 할 조작의 종류를 나타낸다. 오퍼랜드는 타이틀 번호 등, 그 조작의 대상의 식별정보를 나타낸다. 재생장치(102)의 제어부는 예를 들어 사용자의 조작에 따라서 각 무비 오브젝트를 호출하고, 그 무비 오브젝트에 포함되는 내비게이션 커멘드를 열의 순으로 실행한다. 이에 의해 재생장치(102)는 일반적인 DVD 플레이어와 마찬가지로 먼저 표시장치(103)에 메뉴를 표시하고 사용자에게 커멘드를 선택하게 한다. 재생장치(102)는 다음에, 선택된 커멘드에 따라서 타이틀의 재생 개시/정지 및 다른 타이틀로의 전환 등, 재생되는 영상의 진행을 동적으로 변화시킨다.
도 2를 또 참조하면, BDMV 디렉터리(210)의 아래에는 플레이리스트(PLAYLIST) 디렉터리(220), 클립 정보(CLIPINF) 디렉터리(230), 스트림(STREAM) 디렉터리(240), BD-J 오브젝트(BDJO:BD Java Object) 디렉터리(250), Java 아카이브(JAR:Java Archive) 디렉터리(260) 및 보조 데이터(AUXDATA:Auxiliary Data) 디렉터리(270)가 배치되어 있다.
STREAM 디렉터리(240)의 아래에는 3종류의 AV 스트림 파일(01000.m2ts)(241), (02000.m2ts)(242), (03000.m2ts)(243) 및 입체 시 인터리브 파일(SSIF:Stereoscopic Interleaved File) 디렉터리(244)가 배치되어 있다. SSIF 디렉터리(244)의 아래에는 2종류의 AV 스트림 파일(01000.ssif)(244A), (02000.ssif)(244B)가 배치되어 있다.
「AV 스트림 파일」은 BD-ROM 디스크(101) 상에 기록된 영상 콘텐츠의 본체 중 파일 시스템이 정하는 파일 형식으로 이루어진 것을 말한다. 여기서, 영상 콘텐츠의 본체와는 일반적으로 영상·음성·자막 등을 나타내는 각종 스트림 데이터, 즉 엘리멘터리 스트림이 다중화된 스트림 데이터를 의미한다. 이 다중화 스트림 데이터는 메인 트랜스포트 스트림(TS), 서브 TS 및 텍스트 자막 스트림의 3종류로 대별된다.
「메인 TS」는 프라이머리 비디오 스트림으로 베이스 뷰 비디오 스트림을 포함하는 다중화 스트림 데이터를 말한다. 「베이스 뷰 비디오 스트림」은 단독으로 재생 가능하며, 2D 영상을 나타내는 비디오 스트림을 말한다. 이 2D 영상을 「베이스 뷰」 또는 「메인 뷰」라고 한다.
「서브 TS」는 프라이머리 비디오 스트림으로 디펜던트 뷰 비디오 스트림을 포함하는 다중화 스트림 데이터를 말한다. 「디펜던트 뷰 비디오 스트림」은 그 재생에 베이스 뷰 비디오 스트림을 필요로 하고, 그 베이스 뷰 비디오 스트림과의 조합에 의해 3D 영상을 나타내는 비디오 스트림을 말한다. 디펜던트 뷰 비디오 스트림의 종류에는 라이트 뷰 비디오 스트림, 레프트 뷰 비디오 스트림 및 깊이 맵 스트림이 있다. 「라이트 뷰 비디오 스트림」은 베이스 뷰가 3D 영상의 레프트 뷰 일 때 그 3D 영상의 라이트 뷰를 나타내는 비디오 스트림이다. 「레프트 뷰 비디오 스트림」은 그 역이다. 「깊이 맵 스트림」은 베이스 뷰가 가상적인 2D 화면으로의 3D 영상의 투영일 때 그 3D 영상의 깊이 맵을 나타내는 스트림 데이터이다. 특히 베이스 뷰가 3D 영상의 레프트 뷰일 때 이용되는 깊이 맵 스트림을 「레프트 뷰 깊이 맵 스트림」이라고 하고, 베이스 뷰가 라이트 뷰일 때 이용되는 깊이 맵 스트림을 「라이트 뷰 깊이 맵 스트림」이라고 한다. 디펜던트 뷰 비디오 스트림이 나타내는 2D 영상 또는 깊이 맵을 「디펜던트 뷰」또는 「서브 뷰」라고 한다.
「텍스트 자막 스트림」(textST(SubTitle) stream)은 소정의 언어로 기술된 영화의 자막을 텍스트 문자 열로 나타내는 스트림 데이터를 말한다. 「텍스트 문자 열」은 자막에 포함되는 각 문자를 특정의 부호(캐릭터 코드)로 나타내는 데이터 열이다. 텍스트 자막 스트림은 다른 TS와는 달리 하나의 엘리멘터리 스트림만을 포함한다.
AV 스트림 파일은 내장의 다중화 스트림 데이터의 종류에 의해 파일 2D, 파일 디펜던트(이하, 파일 DEP라고 한다), 텍스트 자막 파일 및 인터리브 파일(이하, 파일 SS라고 한다)의 4종류로 구분할 수 있다. 「파일 2D」는 2D 재생모드에서의 2D 영상의 재생에 이용되는 AV 스트림 파일로서 메인 TS를 포함하는 것을 말한다. 「파일 DEP」는 서브 TS를 포함하는 AV 스트림 파일을 말한다. 「텍스트 자막 파일」은 텍스트 자막 스트림을 포함하는 AV 스트림 파일을 말한다. 「파일 SS」는 동일한 3D 영상을 나타내는 메인 TS와 서브 TS의 쌍을 포함하는 AV 스트림 파일을 말한다. 파일 SS는 특히 메인 TS를 어느 파일 2D와 공유하고, 서브 TS를 어느 파일 DEP와 공유한다. 즉, BD-ROM 디스크(101)의 파일 시스템에서는 메인 TS는 파일 SS와 파일 2D의 어느 것과도 액세스 가능하고, 서브 TS는 파일 SS와 파일 DEP의 어느 것과도 액세스 가능하다. 이와 같이 BD-ROM 디스크(101) 상에 기록된 일련의 데이터를 다른 파일에 공유시켜서 어느 파일로도 액세스 가능하게 하는 구조를 「파일의 크로스 링크」라고 한다.
도 2에 나타내는 예에서는 제 1 AV 스트림 파일(01000.m2ts)(241)은 파일 2D 이고, 제 2 AV 스트림 파일(02000.m2ts)(242)은 파일 DEP이며, 제 3 AV 스트림 파일(03000.m2ts)(243)은 텍스트 자막 파일이다. 이와 같이 파일 2D , 파일 DEP 및 텍스트 자막 파일은 STREAM 디렉터리(240)의 아래에 배치된다. 제 1 AV 스트림 파일 즉 파일 2D(241)가 포함하는 베이스 뷰 비디오 스트림은 3D 영상의 레프트 뷰를 나타낸다. 제 2 AV 스트림 파일 즉 파일 DEP(242)가 포함하는 디펜던트 뷰 비디오 스트림은 라이트 뷰 비디오 스트림과 깊이 맵 스트림의 양쪽을 포함한다.
또한, 도 2에 나타내는 예에서는 제 4 AV 스트림 파일(01000.ssif)(244A)과 제 5 AV 스트림 파일(02000.ssif)(244b)는 모두 파일 SS이다. 이와 같이 파일 SS는 SSIF 디렉터리(244)의 아래에 놓인다. 제 4 AV 스트림 파일, 즉 제 1 파일 SS(244A)는 파일 2D(241)와는 메인 TS, 특히 베이스 뷰 비디오 스트림을 공유하고, 파일 DEP(242)와는 서브 TS, 특히 라이트 뷰 비디오 스트림을 공유한다. 제 5 AV 스트림 파일, 즉 제 2 파일 SS(244B)는 파일 2D(241)와는 메인 TS, 특히 베이스 뷰 비디오 스트림을 공유하고, 파일 DEP(242)와는 서브 TS, 특히 깊이 맵 스트림을 공유한다.
CLIPINF 디렉터리(230)에는 3종류의 클립정보파일(01000.clpi)(231), (02000.clpi)(232), (03000.clpi)(233)이 배치되어 있다. 「클립정보파일」은 파일 2D, 파일 DEP 및 텍스트 자막 파일에 일 대 일로 대응되는 파일이며, 특히 각 파일의 엔트리 맵을 포함하는 것을 말한다. 「엔트리 맵」은 각 파일이 나타내는 신 또는 자막의 표시시간과, 그 신 또는 자막이 기록된 각 파일 내의 어드레스 사이의 대응 표이다. 클립정보파일 중 파일 2D에 대응되어 있는 것을 「2D 클립정보파일」이라고 하고, 파일 DEP에 대응되어 있는 것을 「디펜던트 뷰 클립정보파일」이라고 한다. 도 2에 나타내는 예에서는 제 1 클립정보파일(01000.clpi)(231)은 2D 클립정보파일이고, 파일 2D(241)에 대응되어 있다. 제 2 클립정보파일(02000.clpi)(232)은 디펜던트 뷰 클립정보파일이며, 파일 DEP(242)에 대응되어 있다. 제 3 클립정보파일(03000.clpi)(233)은 텍스트 자막 파일(243)에 대응되어 있다.
PLAYLIST 디렉터리(220)에는 3종류의 플레이리스트 파일(00001.mpls)(221), (00002.mpls)(222), (00003.mpls)(223)이 배치되어 있다. 「플레이리스트 파일」은 AV 스트림 파일의 재생경로, 즉 AV 스트림 파일의 재생대상의 부분과 그 재생순서를 규정하는 파일을 말한다. 플레이리스트 파일의 종류에는 2D 플레이리스트 파일과 3D 플레이리스트 파일이 있다. 「2D 플레이리스트 파일」은 파일 2D의 재생경로를 규정한다. 「3D 플레이리스트 파일」은 2D 재생모드의 재생장치에 대해서는 파일 2D의 재생경로를 규정하고, 3D 재생모드의 재생장치에 대해서는 파일 SS의 재생경로를 규정한다. 도 2에 나타내는 예에서는 제 1 플레이리스트 파일(00001.mpls)(221)은 2D 플레이리스트 파일이며, 파일 2D(241)의 재생경로를 규정한다. 제 2 플레이리스트 파일(00002.mpls)(222)은 3D 플레이리스트 파일이며, 2D 재생모드의 재생장치에 대해서는 파일 2D(241)의 재생경로를 규정하고, L/R 모드의 3D 재생장치에 대해서는 제 1 파일 SS(244A)의 재생경로를 규정한다. 제 3 플레이리스트 파일(00003.mpls)(223)은 3D 플레이리스트 파일이며, 2D 재생모드의 재생장치에 대해서는 파일 2D(241)의 재생경로를 규정하고, 깊이 모드의 3D 재생장치에 대해서는 제 2 파일 SS(244B)의 재생경로를 규정한다.
BDJO 디렉터리(250)에는 BD-J 오브젝트 파일(XXXXX.bdjo)(251)이 배치되어 있다. BD-J 오브젝트 파일(251)은 BD-J 오브젝트를 1개 포함한다. BD-J 오브젝트는 바이트 코드 프로그램이며, 재생장치(102)에 탑재된 Java 가상 머신에 타이틀의 재생처리 및 그래픽스 영상의 묘사 처리를 실행시킨다. BD-J 오브젝트는 Java 언어 등의 컴파일러형 언어로 기술되어 있다. BD-J 오브젝트는 애플리케이션 관리 테이블과 참조대상의 플레이리스트 파일의 식별정보를 포함한다. 「애플리케이션 관리 테이블」은 Java 가상 머신에 실행시켜야 할 Java 애플리케이션 프로그램과 그 실행 시기, 즉 라이프 사이클과의 대응 표이다. 「참조대상의 플레이리스트 파일의 식별정보」는 재생 대상의 타이틀에 대응하는 플레이리스트 파일을 식별하기 위한 정보이다. Java 가상 머신은 사용자의 조작 또는 애플리케이션 프로그램에 따라서 각 BD-J 오브젝트를 호출하고, 그 BD-J 오브젝트에 포함되는 애플리케이션 관리 테이블에 따라서 Java 애플리케이션 프로그램을 실행한다. 이에 의해 재생장치(102)는 재생되는 각 타이틀의 영상의 진행을 동적으로 변화시키거나 또는 표시장치(103)에 그래픽스 영상을 타이틀의 영상과는 독립적으로 표시시킨다.
JAR 디렉터리(260)에는 JAR 파일(YYYYY.jar)(261)이 배치되어 있다. JAR 파일(261)은 BD-J 오브젝트가 나타내는 애플리케이션 관리 테이블에 따라서 실행되어야 할 Java 애플리케이션 프로그램의 본체를 일반적으로 복수 포함한다. 「Java 애플리케이션 프로그램」은 BD-J 오브젝트와 마찬가지로 Java 언어 등의 컴파일러형 언어로 기술된 바이트 코드 프로그램이다. Java 애플리케이션 프로그램의 종류에는 Java 가상 머신에 타이틀의 재생처리를 실행시키는 것 및 Java 가상 머신에 그래픽스 영상의 묘사 처리를 실행시키는 것이 포함된다. JAR 파일(261)은 Java 아카이브 파일이며, 재생장치(102)에 판독된 때에 그 내부의 메모리에 전개된다. 이에 의해 그 메모리 중에 Java 애플리케이션 프로그램이 저장된다.
AUXDATA 디렉터리(270)에는 폰트 세트(11111.oft)(271)가 배치되어 있다. 폰트 세트(271)는 텍스트 자막 스트림에 관한 폰트 정보를 포함한다. 폰트 정보는 캐릭터 코드별로 글자체를 나타내는 래스터 데이터(raster data)를 포함한다. 캐릭터 코드는 예를 들어 숫자, 알파벳, 오십음의 각 문자에 할당되어 있다. 폰트 세트는 글자체와 언어의 종류별로 구성되며, 예를 들어 OpenType 폰트를 포함한다.
≪다중화 스트림 데이터의 구조≫
도 3(a)은 BD-ROM 디스크(101) 상의 메인 TS에 다중화된 엘리멘터리 스트림의 일람표이다. 메인 TS는 MPEG-2 트랜스포트 스트림(TS) 형식의 디지털 스트림이고, 도 2에 나타내는 파일 2D(241)에 포함된다. 도 3(a)을 참조하면, 메인 TS는 프라이머리 비디오 스트림(301), 프라이머리 오디오 스트림(302A, 302B) 및 프레젠테이션 그래픽스(PG) 스트림(303A, 303B)을 포함한다. 메인 TS는 그 외에 인터랙티브 그래픽스(IG) 스트림(304), 세컨더리 오디오 스트림(305) 및 세컨더리 비디오 스트림(306)을 포함해도 좋다.
프라이머리 비디오 스트림(301)은 영화의 주 영상을 나타내고, 세컨더리 비디오 스트림(306)은 부 영상을 나타낸다. 여기서, 주 영상이란 영화의 본편의 영상 등, 콘텐츠의 주요한 영상을 의미하며, 예를 들어 화면 전체에 표시되는 것을 가리킨다. 한편, 부 영상이란 예를 들어 주 영상 중에 작은 화면으로 표시되는 영상과 같이, 픽처 인 픽처 방식을 이용하여 주 영상과 동시에 화면에 표시되는 영상을 의미한다. 프라이머리 비디오 스트림(301)과 세컨더리 비디오 스트림(306)은 모두 베이스 뷰 비디오 스트림이다. 각 비디오 스트림(301, 306)은 MPEG-2, MPEG-4 AVC, 또는 SMPTE VC-1 등의 동화상 압축 부호화방식으로 부호화되어 있다.
프라이머리 오디오 스트림(302A, 302b)는 영화의 주 음성을 나타낸다. 여기서, 2개의 프라이머리 오디오 스트림(302A, 302B) 사이에서는 언어가 다르다. 세컨더리 오디오 스트림(305)은 대화 화면의 조작에 수반하는 효과음 등, 주 음성과 중첩되어야 할(믹싱되어야 할) 부 음성을 나타낸다. 각 오디오 스트림(302A, 302B, 305)은 AC-3, 돌비 디지털 플러스(Dolby Digital Plus: 「돌비 디지털」은 등록상표), MLP(Meridian Lossless Packing:등록상표), DTS(Digital Theater System:등록상표), DTS-HD, 또는 리니어 PCM(Pulse Code Modulation) 등의 방식으로 부호화되어 있다.
각 PG 스트림(303A, 303b)는 그래픽스에 의한 자막 등, 프라이머리 비디오 스트림(301)이 나타내는 영상에 중첩해서 표시되어야 할 그래픽스 영상을 나타낸다. 2개의 PG 스트림(303A, 303B) 사이에서는 예를 들어 자막의 언어가 다르다. IG 스트림(304)은 표시장치(103)의 화면(131)상에 대화 화면을 구성하기 위한 그래픽스 사용자 인터페이스(GUI) 용의 그래픽스 부품 및 그 배치를 나타낸다.
엘리멘터리 스트림(301-306)은 패킷 식별자(PID)에 의해 식별된다. PID의 할당은 예를 들어 다음과 같다. 하나의 메인 TS는 프라이머리 비디오 스트림을 한 개만 포함하므로 프라이머리 비디오 스트림(301)에는 16진수치 0x1011이 할당된다. 하나의 메인 TS에 다른 엘리멘터리 스트림이 종류별로 최대 32개까지 다중화가 가능할 때 프라이머리 오디오 스트림(302A, 302B)에는 0x1100에서 0x111F까지 중중 어느 하나가 할당된다. PG 스트림(303A, 303B)에는 0x1200에서 0x121F까지 중중 어느 하나가 할당된다. IG 스트림(304)에는 0x1400에서 0x141F까지 중중 어느 하나가 할당된다. 세컨더리 오디오 스트림(305)에는 0x1A00에서 0x1A1F까지 중중 어느 하나가 할당된다. 세컨더리 비디오 스트림(306)에는 0x1B00에서 0x1B1F까지 중중 어느 하나가 할당된다.
도 3(b)는 BD-ROM 디스크(101) 상의 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이다. 서브 TS는 MPEG-2 TS형식의 다중화 스트림 데이터이며, 도 2에 나타내는 파일 DEP(242)에 포함된다. 도 3(b)을 참조하면, 서브 TS는 2개의 프라이머리 비디오 스트림(311R, 311D)을 포함한다. 그 일방(311R)은 라이트 뷰 비디오 스트림이고, 타방(311D)은 깊이 맵 스트림이다. 그 라이트 뷰 비디오 스트림(311R)은 메인 TS 내의 프라이머리 비디오 스트림(301)이 3D 영상의 레프트 뷰를 나타낼 때 그 3D 영상의 라이트 뷰를 나타낸다. 그 깊이 맵 스트림(311D)은 메인 TS 내의 프라이머리 비디오 스트림(301)과의 조합으로 3D 영상을 나타낸다. 서브 TS는 그 외에 세컨더리 비디오 스트림(312R, 312D)을 포함해도 좋다. 그 일방(312R)은 라이트 뷰 비디오 스트림이고, 타방(312D)은 깊이 맵 스트림이다. 그 라이트 뷰 비디오 스트림(312R)은 메인 TS 내의 세컨더리 비디오 스트림(306)이 3D 영상의 레프트 뷰를 나타낼 때 그 3D 영상의 라이트 뷰를 나타낸다. 그 깊이 맵 스트림(312D)은 메인 TS 내의 세컨더리 비디오 스트림(306)과의 조합으로 3D 영상을 나타낸다.
엘리멘터리 스트림 311R, …, 312D에 대한 PID의 할당은 예를 들어 다음과 같다. 프라이머리 비디오 스트림(311R, 311D)에는 각각 0x1012, 0x1013가 할당된다. 하나의 서브 TS에 다른 엘리멘터리 스트림이 종류별로 최대 32개까지 다중화가 가능할 때 세컨더리 비디오 스트림(312R, 312D)에는 0x1B20에서 0x1B3F까지 중중 어느 하나가 할당된다.
도 3(c)은 BD-ROM 디스크(101) 상의 텍스트 자막 스트림에 다중화된 엘리멘터리 스트림의 일람표이다. 텍스트 자막 스트림은 MPEG-2 TS형식의 스트림 데이터이다. 도 3(c)에 나타내는 것과 같이 텍스트 자막 스트림은 단일의 엘리멘터리 스트림(321)만을 포함한다. 그 엘리멘터리 스트림(321)에 대해서는 PID로 일정치 0x1800가 할당된다.
도 4는 다중화 스트림 데이터(400) 내에서의 TS 패킷의 배치를 나타내는 모식도이다. 이 패킷 구조는 메인 TS와 서브 TS에서 공통이다. 또, 텍스트 자막 스트림의 패킷 구조에 대해서는 후술한다. 다중화 스트림 데이터(400) 내에서는 각 엘리멘터리 스트림(401, 402, 403, 404)은 TS 패킷 421, 422, 423, 424의 열로 변환되어 있다. 예를 들어 비디오 스트림(401)에서는 먼저 각 프레임(401A) 또는 각 필드가 하나의 PES(Packetized Elementary Stream) 패킷(411)으로 변환된다. 다음에, 각 PES 패킷(411)이 일반적으로 복수의 TS 패킷(421)으로 변환된다. 마찬가지로 오디오 스트림(402), PG 스트림(403) 및 IG 스트림(404)은 각각 일단 PES 패킷(412, 413, 414)의 열로 변환된 후, TS 패킷(422, 423, 424)의 열로 변환된다. 최후에, 각 엘리멘터리 스트림(401, 402, 403, 404)으로부터 얻어진 TS 패킷(421, 422, 423, 424)이 한 개의 스트림 데이터(400)에 시분할로 다중화된다.
도 5(b)는 다중화 스트림 데이터를 구성하는 TS 패킷 열의 형식을 나타내는 모식도이다. 각 TS 패킷(501)은 188바이트 길이의 패킷이다. 도 5(b)를 참조하면, 각 TS 패킷(501)은 TS 페이로드(501P)와 어뎁테이션(adaptation) 필드(이하, AD필드라고 한다)(501A)의 적어도 어느 하나 및 TS헤더(501H)를 포함한다. TS 페이로드(501P)와 AD필드(501A)는 양쪽을 합쳐서 184바이트 길이의 데이터 영역이다. TS 페이로드(501P)는 PES 패킷의 저장영역으로 이용된다. 도 4에 나타내는 PES 패킷(411-414)은 각각 일반적으로 복수의 부분으로 분할되고, 각 부분이 다른 TS 페이로드(501P)에 저장된다. AD필드(501A)는 TS 페이로드(501P)의 데이터량이 184바이트에 미치지 못할 때에 스터핑 바이트(stuffing bytes)(즉, 더미 데이터)를 저장하기 위한 영역이다. AD필드(501A)는 그 외에 TS 패킷(501)이 예를 들어 후술하는 PCR일 때 그 정보의 저장영역으로 이용된다. TS헤더(501H)는 4바이트 길이의 데이터 영역이다.
도 5(a)는 TS헤더(501H)의 데이터구조를 나타내는 모식도이다. 도 5(a)를 참조하면, TS헤더(501H)는 TS 우선도(transport_priority)(511), PID(512) 및 AD필드제어(adaptation_field_control)(513)을 포함한다. PID(512)는 동일한 TS 패킷(501) 내의 TS 페이로드(501P)에 저장된 데이터가 속하는 엘리멘터리 스트림의 PID를 나타낸다. TS 우선도(511)는 PID(512)가 나타내는 값이 공통되는 TS 패킷 군 중에서의 TS 패킷(501)의 우선도를 나타낸다. AD 필드제어(513)는 TS 패킷(501) 내에서의 AD필드(501A)와 TS 페이로드(501P)의 각각의 유무를 나타낸다. 예를 들어 AD 필드제어(513)가 “1”을 나타낼 때 TS 패킷(501)은 AD필드(501A)를 포함하지 않고, TS 페이로드(501P)를 포함한다. AD 필드제어(513)가 “2”를 나타낼 때에는 그 역이다. AD 필드제어(513)가 “3”을 나타낼 때 TS 패킷(501)은 AD필드(501A)와 TS 페이로드(501P)의 양쪽을 포함한다.
도 5(c)는 다중화 스트림 데이터의 TS 패킷 열로 구성된 소스 패킷 열의 형식을 나타내는 모식도이다. 도 5(c)를 참조하면, 각 소스 패킷(502)은 192바이트 길이의 패킷이며, 도 5(b)에 나타내는 TS 패킷(501)의 1개와 4바이트 길이의 헤더(TP_Extra_Header)(502H)를 포함한다. TS 패킷(501)이 BD-ROM 디스크(101)에 기록될 때 그 TS 패킷(501)에 헤더(502H)가 부여됨으로써 소스 패킷(502)은 구성된다. 헤더(502H)는 ATS(Arrival_Time_Stamp)를 포함한다. 「ATS」는 시각 정보이며, 재생장치(102)에 의해 다음과 같이 이용된다 : 소스 패킷(502)이 BD-ROM 디스크(101)로부터 재생장치(102) 내의 시스템 타깃 디코더에 보내졌을 때 그 소스 패킷(502)으로부터 TS 패킷(502P)이 추출되어 시스템 타깃 디코더 내의 PID 필터에 전송된다. 그 헤더(502H) 내의 ATS는 그 전송이 개시되어야 할 시각을 나타낸다. 여기서, 「시스템 타깃 디코더」는 다중화 스트림 데이터로부터 엘리멘터리 스트림을 분리하여 개별로 복호하는 장치를 말한다. 시스템 타깃 디코더와 그에 따른 ATS의 이용의 상세에 대하여는 후술한다.
도 5(d)는 일련의 소스 패킷(502)이 연속적으로 기록된 BD-ROM 디스크(101)의 볼륨 영역(202B) 상의 섹터 군의 모식도이다. 도 5(d)를 참조하면, 일련의 소스 패킷(502)은 32개씩, 3개의 연속하는 섹터(521, 522, 523)에 기록되어 있다. 이는 32개의 소스 패킷의 데이터량 192바이트×32=6144바이트가 3개의 섹터의 합계 사이즈 2048바이트×3=6144바이트와 같은 것에 기인한다. 이와 같이 3개의 연속하는 섹터 521, 522, 523에 기록된 32개의 소스 패킷(502)을 「얼라인드 유닛(Aligned Unit)」(520)이라고 한다. 재생장치(102)는 BD-ROM 디스크(101)로부터 소스 패킷(502)을 얼라인드 유닛(520)별로, 즉 32개씩 판독한다. 섹터 군(521, 522, 523, …)은 선두에서부터 순서대로 32개씩으로 분할되며, 각각이 하나의 오류정정부호(ECC) 블록(530)을 구성하고 있다. BD-ROM 드라이브(121)는 ECC 블록(530)별로 오류정정 처리를 실행한다.
≪비디오 스트림의 데이터구조≫
비디오 스트림에 포함되는 각 픽처는 1 프레임 또는 1 필드를 나타내고, MPEG-2 또는 MPEG-4 AVC 등의 동화상 압축 부호화방식에 의해 압축되어 있다. 그 압축에는 픽처의 공간 방향 및 시간 방향에서의 용장성(冗長性)이 이용된다. 여기서, 공간 방향에서의 용장성만을 이용하는 픽처의 부호화를 「픽처 내 부호화」라고 한다. 한편, 시간 방향에서의 용장성, 즉, 표시 순서가 연속하는 복수의 픽처 간에서의 데이터의 근사성을 이용하는 픽처의 부호화를 「픽처 간 예측 부호화」라고 한다. 픽처 간 예측 부호화에서는 먼저 부호화 대상의 픽처에 대하여 표시시간이 앞 또는 뒤에 있는 다른 픽처가 참조 픽처로 설정된다. 다음에, 부호화 대상의 픽처와 그 참조 픽처 사이에 모션 벡터가 검출되고, 그것을 이용하여 참조 픽처에 대한 모션 보상(motion compensation)이 이루어진다. 또, 모션 보상에 의해 얻어진 픽처와 부호화 대상의 픽처 사이의 차분치가 요구되며, 그 차분치로부터 공간 방향에서의 용장성이 제거된다. 이렇게 해서 각 픽처의 데이터량이 압축된다.
도 6은 비디오 스트림에 포함되는 3매의 픽처(601, 602, 603)을 표시시간 순으로 나타내는 모식도이다. 도 6을 참조하면, 각 픽처(601, 602, 603)는 일반적으로 복수의 슬라이스(611, …, 621, 622, 623, …, 631, …)로 분할되어 있다. 「슬라이스」는 일반적으로 수평 방향으로 나열된 복수의 매크로 블록으로 구성된 띠 형상 영역이다. 「매크로 블록」은 16×16 등, 소정 사이즈의 화소 매트릭스이다. 여기서, 도 6에는 나타내지 않았으나, 하나의 슬라이스가 2행 이상의 매크로 블록으로 구성되어 있어도 좋다. 상기의 부호화방식에서는 픽처가 슬라이스별로 압축된다. 압축 후의 슬라이스는 I슬라이스, P슬라이스, B슬라이스의 3종류로 나눌 수 있다. 「I(Intra) 슬라이스」(621)은 픽처 내 부호화에 의해 압축된 슬라이스를 말한다. 「P(Predictive) 슬라이스」(622)는 픽처 간 예측 부호화에 의해 압축된 슬라이스이며, 표시시간이 그것보다 앞인 한 장의 픽처(601)가 참조 픽처로 이용된 것을 말한다. 「B(Bidirectionally Predivtive) 슬라이스」(623)는 픽처 간 예측 부호화에 의해 압축된 슬라이스이며, 표시시간이 그것보다 앞 또는 뒤에 있는 2매의 픽처(601, 603)가 참조 픽처로 이용된 것을 말한다. 도 6에서는 P슬라이스(622)와 B슬라이스(623)의 참조 처가 화살표로 표시되어 있다. MPEG-4 AVC에서는 도 6에 나타내는 것과 같이 하나의 픽처(602)가 다른 종류의 슬라이스를 포함해도 좋다. 한편, MPEG-2에서는 하나의 픽처는 동일한 종류의 슬라이스 밖에 포함하지 않는다.
이하의 설명에서는 편의상 부호화방식으로 관계없이 하나의 픽처가 동일한 종류의 슬라이스밖에 포함하지 않는 경우를 상정한다. 그 경우, 압축 후의 픽처는 슬라이스의 종류에 따라서 I픽처, P픽처, B픽처의 3종류로 구분할 수 있다. 또, B픽처 중 다른 픽처에 대한 픽처 간 예측 부호화로 참조 픽처로 이용되는 것을 특히 「Br(reference B) 픽처」라고 한다.
도 7은 베이스 뷰 비디오 스트림(701)과 라이트 뷰 비디오 스트림(702)의 픽처를 표시시간 순으로 나타내는 모식도이다. 도 7을 참조하면, 베이스 뷰 비디오 스트림(701)은 픽처(710, 711, 712, …, 719)(이하, 베이스 뷰 픽처라고 한다)를 포함하고, 라이트 뷰 비디오 스트림(702)은 픽처(720, 721, 722, …, 729)(이하, 라이트 뷰 픽처라고 한다)를 포함한다. 베이스 뷰 픽처(710-719)는 일반적으로 복수의 GOP(731, 732)로 분할되어 있다. 「GOP」는 I픽처를 선두로 하는 복수 장이 연속하는 픽처의 열을 말한다. GOP는 일반적으로 I픽처 외에 P픽처와 B픽처를 포함한다.
도 7에 나타내는 예에서는 각 GOP(731, 732) 내의 베이스 뷰 픽처가 이하의 순으로 압축된다. 제 1 GOP(731)에서는 먼저 선두의 베이스 뷰 픽처가 I0 픽처(710)에 압축된다. 여기서, 아래 첨자의 숫자는 각 픽처에 표시시간 순으로 할당된 일련번호를 나타낸다. 다음에, 4번째의 베이스 뷰 픽처가 I0 픽처(710)를 참조 픽처로 P3 픽처(713)에 압축된다. 여기서, 도 7에 나타내는 각 화살표는 선단의 픽처가 후단의 픽처에 대한 참조 픽처임을 나타낸다. 이어서, 2, 3번째의 베이스 뷰 픽처가 I0 픽처(710)와 P3 픽처(713)를 참조 픽처로 해서 각각 Br1 픽처(711), Br2 픽처(712)에 압축된다. 또, 7번째의 베이스 뷰 픽처가 P3 픽처(713)를 참조 픽처로 P6 픽처(716)에 압축된다. 이어서, 4, 5번째의 베이스 뷰 픽처가 P3 픽처(713)와 P6 픽처(716)를 참조 픽처로 각각 Br4 픽처(714), Br5 픽처(715)에 압축된다. 마찬가지로 제 2 GOP(732)에서는 먼저 선두의 베이스 뷰 픽처가 I7 픽처(717)에 압축된다. 다음에, 3번째의 베이스 뷰 픽처가 I7 픽처(717)을 참조 픽처로 P9 픽처(719)에 압축된다. 이어서, 2번째의 베이스 뷰 픽처가 I7 픽처(717)와 P9 픽처(719)를 참조 픽처로 Br8 픽처(718)에 압축된다.
베이스 뷰 비디오 스트림(701)에서는 각 GOP(731, 732)가 그 선두에 I픽처를 반드시 포함하므로 베이스 뷰 픽처는 GOP별로 복호 가능하다. 예를 들어 제 1 GOP(731)에서는 먼저 I0 픽처(710)가 단독으로 복호된다. 다음에, 복호 후의 I0 픽처(710)를 이용하여 P3 픽처(713)가 복호 된다. 이어서, 복호 후의 I0 픽처(710)와 P3 픽처(713)를 이용하여 Br1 픽처(711)와 Br2 픽처(712)가 복호된다. 후속하는 픽처 군 714, 715, …도 이와 같이 복호된다. 이렇게 해서 베이스 뷰 비디오 스트림(701)은 단독으로 복호 가능하고, 또 GOP 단위에서의 랜덤 액세스가 가능하다.
도 7을 또 참조하면, 라이트 뷰 픽처(720-729)는 픽처 간 예측 부호화로 압축되어 있다. 그러나 그 부호화 방법은 베이스 뷰 픽처(710-719)의 부호화 방법과는 달리 영상의 시간 방향에서의 용장성에 더하여 좌우의 영상 간의 용장성도 이용한다. 구체적으로는 각 라이트 뷰 픽처(720-729)의 참조 픽처가 도 7에 화살표로 나타내는 것과 같이 라이트 뷰 비디오 스트림(702)으로부터 뿐만이 아니라, 베이스 뷰 비디오 스트림(701)으로부터도 선택된다. 특히 각 라이트 뷰 픽처(720-729)와 그 참조 픽처로 선택된 베이스 뷰 픽처는 표시시각이 실질적으로 동일하다. 이들 픽처는 3D 영상의 동일한 신의 라이트 뷰와 레프트 뷰의 쌍, 즉 시차 영상을 나타낸다. 이와 같이 라이트 뷰 픽처(720-729)는 베이스 뷰 픽처(710-719)와 일 대 일로 대응한다. 특히 이들 픽처 간에서는 GOP 구조가 공통이다.
도 7에 나타내는 예에서는 먼저 제 1 GOP(731) 내의 선두의 라이트 뷰 픽처가 베이스 뷰 비디오 스트림(701) 내의 I0 픽처(710)를 참조 픽처로 P0 픽처(720)에 압축된다. 이들 픽처(710, 720)는 3D 영상의 선두 프레임의 레프트 뷰와 라이트 뷰를 나타낸다. 다음에, 4번째의 라이트 뷰 픽처가 P0 픽처(720)와 베이스 뷰 비디오 스트림(701) 내의 P3 픽처(713)를 참조 픽처로 P3 픽처(723)에 압축된다. 이어서, 2번째의 라이트 뷰 픽처가 P0 픽처(720)와 P3 픽처(723)에 더하여 베이스 뷰 비디오 스트림(701) 내의 Br1 픽처(711)를 참조 픽처로 B1 픽처(721)에 압축된다. 마찬가지로 3번째의 라이트 뷰 픽처가 P0 픽처(720)와 P3 픽처(730)에 더하여 베이스 뷰 비디오 스트림(701) 내의 Br2 픽처(712)를 참조 픽처로 B2 픽처(722)에 압축된다. 이후의 라이트 뷰 픽처(724-729)에 대해서도 마찬가지로 그 라이트 뷰 픽처와 표시시각이 실질적으로 동일한 베이스 뷰 픽처가 참조 픽처로 이용된다.
상기와 같은 좌우의 영상 간의 상관관계를 이용한 동화상 압축 부호화방식으로는 MVC(Multiview Video Coding)라 불리는 MPEG-4 AVC/H.264의 수정규격이 알려져 있다. MVC는 ISO/IEC MPEG와 ITU-T VCEG의 공동 프로젝트인 JVT(Joint Video Team)에 의해 2008년 7월에 책정된 것이며, 복수의 시점으로부터 보이는 영상을 종합해서 부호화하기 위한 규격이다. MVC에서는 영상 간 예측 부호화에 영상의 시간 방향에서의 유사성뿐만이 아니라, 시점이 다른 영상 간의 유사성도 이용된다. 그 예측 부호화에서는 각 시점에서 본 영상을 개별로 압축하는 예측 부호화보다 영상의 압축률이 높다.
상기와 같이, 각 라이트 뷰 픽처(720-729)의 압축에는 베이스 뷰 픽처가 참조 픽처로 이용된다. 따라서, 베이스 뷰 비디오 스트림(701)과는 달리 라이트 뷰 비디오 스트림(702)을 단독으로 복호 할 수는 없다. 그러나 시차 영상 간의 차이는 일반적으로 적으며, 즉 레프트 뷰와 라이트 뷰 사이의 상관은 높다. 따라서, 라이트 뷰 픽처는 일반적으로 베이스 뷰 픽처보다 압축률이 현저하게 높고, 즉 데이터량이 현저하게 작다.
깊이 맵 스트림에 포함되는 깊이 맵은 베이스 뷰 픽처(710-719)와 일 대 일로 대응하고, 그 베이스 뷰 픽처가 나타내는 2D 영상에 대한 깊이 맵을 나타낸다. 각 깊이 맵은 베이스 뷰 픽처(710-719)와 마찬가지로 MPEG-2 또는 MPEG-4 AVC 등의 동화상 압축 부호화방식에 의해 압축되어 있다. 특히 그 부호화방식에서는 픽처 간 예측 부호화가 이용된다. 즉, 각 깊이 맵이 다른 깊이 맵을 참조 픽처로 이용하여 압축된다. 또, 깊이 맵 스트림은 베이스 뷰 비디오 스트림(701)과 마찬가지로GOP 단위로 분할되며, 각 GOP가 그 선두에 I픽처를 반드시 포함한다. 따라서, 깊이 맵은 GOP별로 복호 가능하다. 단, 깊이 맵 자체는 2D 영상의 각부의 깊이를 화소별로 나타내는 정보에 지나지 않기 때문에 깊이 맵 스트림을 단독으로 영상의 재생에 이용할 수는 없다.
예를 들어 도 3(b)에 나타내는 2개의 프라이머리 비디오 스트림(311R, 311D)과 같이, 동일한 베이스 뷰 비디오 스트림에 대응하는 라이트 뷰 비디오 스트림과 깊이 맵 스트림은 동일한 부호화방식으로 압축되어 있다. 예를 들어 라이트 뷰 비디오 스트림이 MVC의 포맷으로 부호화되어 있을 때 깊이 맵 스트림도 MVC의 포맷으로 부호화되어 있다. 그 경우, 재생장치(102)는 3D 영상의 재생시 부호화방식을 일정하게 유지한 채로 L/R모드와 깊이 모드의 전환을 원활하게 실현할 수 있다.
도 8은 비디오 스트림(800)의 데이터구조의 상세를 나타내는 모식도이다. 이 데이터구조는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림으로 실질적으로 공통이다. 도 8을 참조하면, 비디오 스트림(800)은 일반적으로 복수의 비디오 시퀀스 #1,#2, …로 구성되어 있다. 「비디오 시퀀스」는 하나의 GOP(810)를 구성하는 픽처 군(811, 812, 813, 814, …)에 개별로 헤더 등의 부가정보를 조합한 것이다. 이 부가정보와 각 픽처의 조합을 「비디오 액세스 유닛(VAU)」라고 한다. 즉, 각 GOP(810, 820)에서는 픽처마다 하나의 VAU#1, #2, …가 구성되어 있다. 각 픽처는 VAU 단위로 비디오 스트림(800)으로부터 판독이 가능하다.
또, 도 8은 베이스 뷰 비디오 스트림 내에서 각 비디오 시퀀스의 선단에 위치하는 VAU#1(831)의 구조를 나타낸다. VAU#1(831)은 액세스 유닛(AU) 식별코드(831A), 시퀀스 헤더(831B), 픽처 헤더(831C), 보충 데이터(831D) 및 압축 픽처 데이터(831E)를 포함한다. 두 번째 이후의 VAU#2는 시퀀스 헤더(831B)를 포함하지 않는 점을 제외하고 VAU#1(831)과 동일한 구조이다. AU 식별코드(831A)는 VAU#1(831)의 선단을 나타내는 소정의 부호이다. 시퀀스 헤더(831B)는 GOP 헤더라고도 하고, VAU#1(831)을 포함한 비디오 시퀀스#1의 식별번호를 포함한다. 시퀀스 헤더(831B)는 또 GOP(810)의 전체에서 공통되는 정보, 예를 들어 해상도, 프레임 레이트, 어스펙트 비 및 비트레이트를 포함한다. 픽처 헤더(831C)는 자신에게 고유의 식별번호, 비디오 시퀀스#1의 식별번호 및 픽처의 복호에 필요한 정보, 예를 들어 부호화방식의 종류를 나타낸다. 보충 데이터(831D)는 픽처의 복호 이외에 관한 부가적인 정보, 예를 들어 클로즈드 캡션을 나타내는 문자 정보, GOP 구조에 관한 정보 및 타임코드정보를 포함한다. 보충 데이터(831D)는 특히 복호스위치정보를 포함한다(상세는 후술한다). 압축 픽처 데이터(831E)는 베이스 뷰 픽처를 포함한다. VAU#1(831)은 그 외에 필요에 따라서, 패딩 데이터(831F), 시퀀스 종단코드(831G) 및 스트림 종단코드(831H)중 어느 하나 또는 모두를 포함해도 좋다. 패딩 데이터(831F)는 더미 데이터이다. 그 사이즈를 압축 픽처 데이터(831E) 사이즈에 맞춰서 조절함으로써 VAU#1(831)의 비트레이트를 소정치로 유지할 수 있다. 시퀀스 종단코드(831G)는 VAU#1(831)이 비디오 시퀀스#1의 후단에 위치하는 것을 나타낸다. 스트림 종단코드(831H)는 베이스 뷰 비디오 스트림(800)의 후단을 나타낸다.
또, 도 8은 디펜던트 뷰 비디오 스트림 내에서 각 비디오 시퀀스의 선단에 위치하는 VAU#1(832)의 구조도 나타낸다. VAU#1(832)는 서브 AU 식별코드(832A), 서브 시퀀스 헤더(832B), 픽처 헤더(832C), 보충 데이터(832D) 및 압축 픽처 데이터(832E)를 포함한다. 두 번째 이후의 VAU#2는 서브 시퀀스 헤더(832B)를 포함하지 않는 점을 제외하고 VAU#1(832)와 동일한 구조이다. 서브 AU 식별코드(832A)는 VAU#1(832)의 선단을 나타내는 소정의 부호이다. 서브 시퀀스 헤더(832B)는 VAU#1(832)를 포함하는 비디오 시퀀스#1의 식별번호를 포함한다. 서브 시퀀스 헤더(832B)는 또 GOP(810)의 전체에서 공통되는 정보, 예를 들어 해상도, 프레임 레이트, 어스펙트 비 및 비트레이트를 포함한다. 특히 이들 값은 베이스 뷰 비디오 스트림의 대응하는 GOP에 대하여 설정된 값, 즉 VAU#1(831)의 시퀀스 헤더(831B)가 나타내는 값과 같다. 픽처 헤더(832C)는 자신에게 고유의 식별번호, 비디오 시퀀스#1의 식별번호 및, 픽처의 복호에 필요한 정보, 예를 들어 부호화방식의 종류를 나타낸다. 보충 데이터(832D)는 픽처의 복호 이외에 관한 부가적인 정보, 예를 들어 클로즈드 캡션을 나타내는 문자 정보, GOP 구조에 관한 정보 및 타임코드정보를 포함한다. 보충 데이터(832D)는 특히 복호스위치정보에 더하여 오프셋 메타 데이터를 포함한다(상세는 후술한다). 압축 픽처 데이터(832E)는 디펜던트 뷰 픽처를 포함한다. VAU#1(832)는 그 외에 필요에 따라서, 패딩 데이터(832F), 시퀀스 종단코드(832G) 및 스트림 종단코드(832H)중 어느 하나 또는 모두를 포함해도 좋다. 패딩 데이터(832F)는 더미 데이터이다. 그 사이즈를 압축 픽처 데이터(832E) 사이즈에 맞춰서 조절함으로써 VAU#1(832)의 비트레이트를 소정치로 유지할 수 있다. 시퀀스 종단코드(832G)는 VAU#1(832)가 비디오 시퀀스#1의 후단에 위치하는 것을 나타낸다. 스트림 종단코드(832H)는 디펜던트 뷰 비디오 스트림(800)의 후단을 나타낸다.
VAU의 각부의 구체적인 내용은 비디오 스트림(800)의 부호화방식마다 다르다. 예를 들어 그 부호화방식이 MPEG-4 AVC 또는 MVC일 때 도 8에 나타내는 VAU의 각부는 하나의 NAL(Network Abstraction Layer) 유닛으로 구성된다. 구체적으로는 AU 식별코드(831A), 시퀀스 헤더(831B), 픽처 헤더(831C), 보충 데이터(831D), 압축 픽처 데이터(831E), 패딩 데이터(831F), 시퀀스 종단코드(831G) 및 스트림 종단코드(831H)는 각각 AU 딜리미터(Access Unit Delimiter), SPS(시퀀스 파라미터 세트), PPS(픽처 파라미터 세트), SEI(Supplemental Enhancement Information), 뷰 콤퍼넌트, 필러 데이터(Filler Data), 엔드 오브 시퀀스(End of Sequence) 및 엔드 오브 스트림(End of Stream)에 상당한다.
도 9는 베이스 뷰 비디오 스트림(910)과 디펜던트 뷰 비디오 스트림(920)의 각각에 포함되는 VAU 사이에서의 헤더의 참조관계를 나타내는 모식도이다. 도 9를 참조하면, 베이스 뷰 비디오 스트림(910)에서는 선두의 픽처 BPIC가 슬라이스#1-#K(정수 K는 1 이상이다)로 분할되어 VAU의 압축 픽처 데이터(911)에 저장되어 있다. 각 슬라이스#1-#K에는 슬라이스 헤더(912)가 부여되어 있다. 각 슬라이스#1-#K의 참조 처의 픽처를 나타내는 식별정보, 즉 참조 픽처번호는 그 슬라이스의 슬라이스 헤더(912)에 저장되어 있다. 이에 의해 각 슬라이스 헤더가 나타내는 참조 픽처번호로부터 그 참조 처의 베이스 뷰 픽처를 특정할 수 있다. 슬라이스 헤더(912)는 동일한 VAU 내의 픽처 헤더(913)의 식별번호(예를 들어 PPS 번호)를 더 포함한다. 이에 의해 도 9에 점선의 화살표로 나타내는 것과 같이 각 슬라이스 헤더가 나타내는 식별번호로부터 그 참조 처의 픽처 헤더(913)를 특정할 수 있다. 다른 픽처도 마찬가지로 슬라이스#1-#L(정수 L는 1 이상이다)로 분할되어 다른 VAU의 압축 픽처 데이터(914)에 저장되어 있다. 각 슬라이스#1-#L에 부여된 슬라이스 헤더는 동일한 VAU 내의 픽처 헤더(915)의 식별번호를 포함한다. 이에 의해 도 9에 점선의 화살표로 나타내는 것과 같이 각 슬라이스 헤더가 나타내는 식별번호로부터 그 참조 처의 픽처 헤더(915)를 특정할 수 있다. 또, 각 픽처 헤더(913, 915)는 동일한 비디오 시퀀스 내의 시퀀스 헤더(916)의 번호(예를 들어 SPS 번호)를 포함한다. 이에 의해 도 9에 일점 쇄선의 화살표로 나타내는 것과 같이 각 픽처 헤더(913, 915)가 나타내는 식별번호로부터 그 참조 처의 시퀀스 헤더(916)를 특정할 수 있다.
또, 도 9를 참조하면, 디펜던트 뷰 비디오 스트림(920)에서도 마찬가지로 선두의 픽처 DPIC가 슬라이스#1-#K로 분할되어서 VAU의 압축 픽처 데이터(921)에 저장되어 있다. 각 슬라이스#1-#K에 부여된 슬라이스 헤더(922)는 참조 픽처번호를 포함한다. 그 참조 픽처번호로부터 그 슬라이스가 참조하는 베이스 뷰 픽처와 디펜던트 뷰 픽처를 특정할 수 있다. 각 슬라이스 헤더는 동일한 VAU 내의 픽처 헤더(923)의 식별번호를 더 포함한다. 이에 의해 도 9에 점선의 화살표로 나타내는 것과 같이 각 슬라이스 헤더(922)가 나타내는 식별번호로부터 그 참조 처의 픽처 헤더(923)을 특정할 수 있다. 다른 픽처도 마찬가지로 슬라이스#1-#L로 분할되어서 다른 VAU의 압축 픽처 데이터(924)에 저장되어 있다. 각 슬라이스#1-#L에 부여된 슬라이스 헤더는 참조 픽처번호와 동일한 VAU 내의 픽처 헤더(925)의 식별번호를 포함한다. 이에 의해 도 9에 점선의 화살표로 나타내는 것과 같이 각 슬라이스 헤더(922)가 나타내는 식별번호로부터 그 참조 처의 픽처 헤더(925)를 특정할 수 있다. 또, 각 픽처 헤더(923, 925)는 동일한 비디오 시퀀스 내의 서브 시퀀스 헤더(926)의 번호를 포함한다. 이에 의해 도 9에 일점 쇄선의 화살표로 나타내는 것과 같이 각 픽처 헤더(923, 925)가 나타내는 식별번호로부터 그 참조 처의 서브 시퀀스 헤더(926)를 특정할 수 있다.
도 10은 PES 패킷 열(1002)로의 비디오 스트림(1001)의 저장방법의 상세를 나타내는 모식도이다. 이 저장방법은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림에서 공통이다. 도 10을 참조하면, 실제의 비디오 스트림(1001)에서는 픽처가 표시시간 순이 아니라 부호화 순으로 다중화되고 있다. 예를 들어 베이스 뷰 비디오 스트림의 VAU에는 도 10에 나타내는 것과 같이 선두에서부터 순서대로 I0 픽처(1010), P3 픽처(1011), B1 픽처(1012), B2 픽처(1013, …)가 저장되어 있다. 여기서, 아래 첨자의 숫자는 각 픽처에 표시시간 순으로 할당된 일련번호를 나타낸다. P3 픽처(1011)의 부호화에는 I0 픽처(1010)가 참조 픽처로 이용되고, B1 픽처(1012)와 B2 픽처(1013)의 각 부호화에는 I0 픽처(1010)와 P3 픽처(1011)가 참조 픽처로 이용된다. 이들 VAU가 하나씩 다른 PES 패킷(1020, 1021, 1022, 1023, …)에 저장된다. 각 PES 패킷(1020, …)은 PES 페이로드(1020P)와 PES 헤더(1020H)를 포함한다. VAU는 PES 페이로드(1020P)에 저장된다. 한편, PES 헤더(1020H)는 동일한 PES 패킷(1020)의 PES 페이로드(1020P)에 저장된 픽처의 표시시각, 즉 PTS(Presentation Time-Stamp) 및 그 픽처의 복호 시각, 즉 DTS(Decoding Time-Stamp)를 포함한다.
도 10에 나타내는 비디오 스트림(1001)과 마찬가지로 도 3, 4에 나타내는 다른 엘리멘터리 스트림도 일련의 PES 패킷의 각 PES 페이로드에 저장된다. 또, 각 PES 패킷의 PES 헤더는 그 PES 패킷의 PES 페이로드에 저장된 데이터의 PTS를 포함한다.
도 11은 베이스 뷰 비디오 스트림(1101)과 디펜던트 뷰 비디오 스트림(1102)의 각 픽처에 할당된 PTS와 DTS 사이의 관계를 나타내는 모식도이다. 도 11을 참조하면, 양 비디오 스트림(1101, 1102) 사이에서는 3D 영상의 동일한 프레임 또는 필드를 나타내는 한 쌍의 픽처에 대하여 동일한 PTS 및 동일한 DTS가 할당되어 있다. 예를 들어 3D 영상의 선두의 프레임 또는 필드는 베이스 뷰 비디오 스트림(1101)의 I1 픽처(1111)와 디펜던트 뷰 비디오 스트림(1102)의 P1 픽처(1121)의 조합으로 재현된다. 따라서, 이들 픽처의 쌍(1111, 1121)에서는 PTS가 동일하고, 또한 DTS가 동일하다. 여기서, 아래 첨자의 숫자는 각 픽처에 DTS의 순으로 할당된 일련번호를 나타낸다. 또, 디펜던트 뷰 비디오 스트림(1102)이 깊이 맵 스트림일 때 P1 픽처(1121)는 I1 픽처(1111)에 대한 깊이 맵을 나타내는 I픽처로 치환된다. 마찬가지로 각 비디오 스트림(1101, 1102)의 2번째의 픽처, 즉, P2 픽처(1112, 1122)의 쌍에서는 PTS가 동일하고, 또한 DTS가 동일하다. 각 비디오 스트림(1101, 1102)의 3번째의 픽처, 즉 Br3 픽처(1113)와 B3 픽처(1123)의 쌍에서는 PTS와 DTS가 모두 공통이다. Br4 픽처(1114)와 B4 픽처(1124)의 쌍에서도 마찬가지이다.
베이스 뷰 비디오 스트림(1101)와 디펜던트 뷰 비디오 스트림(1102) 사이에서 PTS가 동일하고, 또한 DTS가 동일한 픽처를 포함하는 VAU의 쌍을 「3D VAU」라고 한다. 도 11에 나타내는 PTS와 DTS의 할당에 의해, 3D 재생모드의 재생장치(102) 내의 디코더에 베이스 뷰 비디오 스트림(1101)과 디펜던트 뷰 비디오 스트림(1102)을 3D VAU 단위로 병렬로 처리시키는 것을 용이하게 할 수 있다. 이에 의해 3D 영상이 동일한 프레임 또는 필드를 나타내는 한 쌍의 픽처가 디코더에 의해 확실히 병렬로 처리된다. 또, 각 GOP의 선두의 3D VAU에서는 시퀀스 헤더가 동일한 해상도, 동일한 프레임 레이트 및 동일한 어스펙트 비를 포함한다. 특히 그 프레임 레이트는 2D 재생모드에서 베이스 뷰 비디오 스트림(1101)이 단독으로 복호될 때의 값과 같다.
[복호스위치정보]
도 12(a)는 도 8에 나타내는 각 보충 데이터(831D, 832D)가 포함하는 복호스위치정보(1250)의 데이터구조를 나타내는 모식도이다. 여기서, 보충 데이터(831D, 832D)는 특히 MPEG-4 AVC, MVC에서는 NAL 유닛의 일종인 “SEI”에 상당한다. 복호스위치정보(1250)는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 양쪽에서 각 VAU의 보충 데이터(831D, 832D)에 포함된다. 복호스위치정보(1250)는 재생장치(102) 내의 디코더에 다음에 복호해야 할 VAU를 용이하게 특정시키기 위한 정보이다. 여기서, 그 디코더는 후술하는 것과 같이, 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림을 VAU 단위로 교호로 복호한다. 그때 그 디코더는 일반적으로 각 VAU에 부여된 DTS가 나타내는 시각에 맞춰서 다음에 복호 해야 할 VAU를 특정한다. 그러나 디코더의 종류에는 DTS를 무시하고 VAU를 순차 계속해서 복호하는 것도 많다. 그러한 디코더에 있어서 각 VAU가 DTS에 더하여 복호스위치정보(1250)를 포함하는 것은 바람직하다.
도 12(a)를 참조하면, 복호스위치정보(1250)는 다음 액세스 유닛 타입(1251), 다음 액세스 유닛 사이즈(1252) 및 복호카운터(1253)를 포함한다. 다음 액세스 유닛 타입(1251)은 다음에 복호되어야 할 VAU가 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 어느 것에 속하는지를 나타낸다. 예를 들어 다음 액세스 유닛 타입(1251)의 값이 “1”일 때는 다음에 복호되어야 할 VAU는 베이스 뷰 비디오 스트림에 속하고, “2”일 때는 디펜던트 뷰 비디오 스트림에 속한다. 다음 액세스 유닛 타입(1251)의 값이 “0”일 때는 현재의 VAU가 복호 대상의 스트림의 후단에 위치하고, 다음에 복호되어야 할 VAU가 존재하지 않는다. 다음 액세스 유닛 사이즈(1252)는 다음에 복호되어야 할 VAU 사이즈를 나타낸다. 재생장치(102) 내의 디코더는 다음 액세스 유닛 사이즈(1252)를 참조함으로써 VAU의 구조 자체를 해석하는 일 없이 그 사이즈를 특정할 수 있다. 따라서, 디코더는 버퍼로부터 VAU를 용이하게 추출할 수 있다. 복호카운터(1253)는 그것이 속하는 VAU가 복호되어야 할 차례를 나타낸다. 그 차례는 베이스 뷰 비디오 스트림 내의 I픽처를 포함하는 VAU로부터 셀 수 있다.
도 12(b)는 베이스 뷰 비디오 스트림(1201)과 디펜던트 뷰 비디오 스트림(1202)의 각 픽처에 할당된 복호카운터의 일 예(1210, 1220)를 나타내는 모식도이다. 도 12(b)를 참조하면, 복호카운터(1210, 1220)는 양 비디오 스트림 1201, 1202 사이에서 교호로 증가된다. 예를 들어 베이스 뷰 비디오 스트림(1201) 내의 I픽처를 포함한 VAU(1211)에 대하여 복호카운터(1210)로 “1”이 할당된다. 다음에 복호되어야 할 디펜던트 뷰 비디오 스트림(1202) 내의 P픽처를 포함한 VAU(1221)에 대하여 복호카운터(1220)로 “2”가 할당된다. 또, 그 다음에 복호되어야 할 베이스 뷰 비디오 스트림(1201) 내의 P픽처를 포함한 VAU(1212)에 대하여 복호카운터(1210)로“3”이 할당된다. 그 할당에 의해 어떤 문제가 원인으로 재생장치(102) 내의 디코더가 어느 하나의 VAU를 판독하지 못한 경우라도 그것에 의해 결락(缺落)한 픽처를 디코더는 복호카운터(1210, 1220)로부터 즉시 특정할 수 있다. 따라서, 디코더는 에러 처리를 적절하면서도 신속하게 실행할 수 있다.
도 12(b)에 나타내는 예에서는 베이스 뷰 비디오 스트림(1201)의 3번째의 VAU(1213)의 판독에 에러가 발생하여 Br픽처가 결락되어 있다. 그러나 디코더는 디펜던트 뷰 비디오 스트림(1202)의 2번째의 VAU(1222)에 포함되는 P픽처의 복호 처리로, 그 VAU(1222)로부터 복호카운터(1220)를 판독하여 보유하고 있다. 따라서, 디코더는 다음에 처리해야 할 VAU의 복호카운터(1210)를 예측할 수 있다. 구체적으로는 그 P픽처를 포함한 VAU(1222) 내의 복호카운터(1220)는 “4”이므로, 다음에 판독되어야 할 VAU의 복호카운터(1210)는 “5”라고 예측된다. 그러나 실제로는 다음에 판독된 VAU는 베이스 뷰 비디오 스트림(1201)의 4번째의 VAU(1214)였으므로 그 복호카운터(1210)는 “7”이다. 이것으로부터 디코더는 VAU를 1개 판독하지 않았음을 검출할 수 있다. 따라서, 디코더는 다음의 에러 처리를 실행할 수 있다 :「디펜던트 뷰 비디오 스트림(1202)의 3번째의 VAU(1223)로부터 추출된 B픽처에 대해서는 참조해야 할 Br픽처가 결락되어 있으므로 복호 처리를 스킵한다」. 이와 같이 디코더는 복호 처리마다 복호카운터(1210, 1220)를 체크한다. 이에 의해 디코더는 VAU의 판독 에러를 신속하게 검출할 수 있고, 또한 적절한 에러 처리를 신속하게 실행할 수 있다. 그 결과, 재생 영상으로의 노이즈의 혼입을 방지할 수 있다.
도 12(c)는 베이스 뷰 비디오 스트림(1201)과 디펜던트 뷰 비디오 스트림(1202)의 각 픽처에 할당된 복호카운터의 다른 예(1230, 1240)를 나타내는 모식도이다. 도 12(c)를 참조하면, 복호카운터(1230, 1240)는 각 비디오 스트림(1201, 1202)에서 따로따로 증가된다. 따라서, 복호카운터(1230, 1240)는 동일한 3D VAU에 속하는 한 쌍의 픽처 간에서 동일하다. 그 경우, 디코더는 베이스 뷰 비디오 스트림(1201)의 VAU를 1개 복호한 시점에서는 다음과 같이 예측할 수 있다 : 「그 복호카운터(1230)가 다음에 복호되어야 할 디펜던트 뷰 비디오 스트림(1202)의 VAU의 복호카운터(1240)와 같다」. 한편, 디코더는 디펜던트 뷰 비디오 스트림(1202)의 VAU를 1개 복호한 시점에서는 다음과 같이 예측할 수 있다 : 「그 복호카운터(1240)에 1을 더한 값이 다음에 복호되어야 할 베이스 뷰 비디오 스트림(1201)의 VAU의 복호카운터(1230)와 같다」. 따라서, 디코더는 어느 시점에서도 복호카운터(1230, 1240)로부터 VAU의 판독 에러를 신속하게 검출할 수 있고, 또한 적절한 에러 처리를 신속하게 실행할 수 있다. 그 결과, 재생 영상으로의 노이즈의 혼입을 방지할 수 있다.
[오프셋 메타 데이터]
도 13은 디펜던트 뷰 비디오 스트림(1300)이 포함하는 오프셋 메타 데이터 (1310)의 데이터구조를 나타내는 모식도이다. 도 14는 그 오프셋 메타 데이터(offset_metadata)(1310)의 서식(Syntax)을 나타내는 표이다. 도 13을 참조하면, 오프셋 메타 데이터(1310)는 각 비디오 시퀀스(즉, 각 GOP)의 선단에 위치하는 VAU#1의 보충 데이터(1301)에 저장되어 있다. 도 13, 14를 참조하면, 오프셋 메타 데이터(1310)는 오프셋 시퀀스 ID(offset_sequence_id)(1311)와 오프셋 시퀀스(offset_sequence)(1312) 사이의 대응 표를 포함한다.
오프셋 시퀀스 ID(1311)는 오프셋 시퀀스(1312)에 차례로 할당된 일련번호 0, 1, 2, …, M이다. 정수 M는 1 이상이며, 오프셋 시퀀스(1312)의 총수(number_of_offset_sequence)를 나타낸다. 각 비디오 시퀀스로부터 재생되는 비디오 플레인에 합성되어야 할 그래픽스 플레인에는 오프셋 시퀀스 ID(1311)가 할당된다. 이에 의해 각 그래픽스 플레인에 오프셋 시퀀스(1312)가 대응된다.
여기서, 「비디오 플레인」이란 비디오 시퀀스가 포함하는 픽처로부터 생성되는 플레인 데이터를 말한다. 「그래픽스 플레인」이란 2D 그래픽스 영상을 나타내는 그래픽스 데이터, 또는 텍스트 자막 스트림이 포함하는 텍스트 문자 열에서 생성되는 플레인 데이터를 말한다. 「플레인 데이터」란 화소 데이터의 이차원 배열이며, 그 배열 사이즈는 영상프레임의 해상도와 같다. 1세트의 화소 데이터는 색 좌표치와 α값(불투명도)의 조합으로 이루어진다. 색 좌표치는 RGB치 또는 YCrCb치로 나타낸다. 그래픽스 플레인의 종류에는 PG 플레인, IG 플레인, 이미지 플레인 및 온 스크린 디스플레이(OSD) 플레인이 포함된다. PG 플레인은 메인 TS 내의 PG 스트림 또는 텍스트 자막 스트림에서 생성된다. IG 플레인은 메인 TS 내의 IG 스트림에서 생성된다. 이미지 플레인은 BD-J 오브젝트에 따라서 생성된다. OSD 플레인은 재생장치(102)의 펌웨어에 따라서 생성된다.
각 오프셋 시퀀스(1312)는 프레임 번호(1321)와 오프셋 정보(1322, 1323)의 대응 표이다. 프레임 번호(1321)는 하나의 비디오 시퀀스(예를 들어 비디오 시퀀스#1)가 나타내는 프레임 #1, #2, …, #N에 표시 순으로 할당된 일련번호 1, 2, …, N이다. 도 14에서는 프레임 번호(1321)는 정수치 변수 i로 나타내고 있다. 정수 N은 1 이상이며, 그 비디오 시퀀스가 포함하는 프레임의 총수(number_of_displayed_frames_in_GOP)를 나타낸다. 각 오프셋 정보 1322, 1323은 하나의 그래픽스 플레인에 대한 오프셋 제어를 규정하는 제어정보이다.
여기서, 「오프셋 제어」란 그래픽스 플레인에 수평좌표의 좌측방향과 우측방향의 각 오프셋을 부여하여 베이스 뷰 비디오 플레인과 디펜던트 뷰 비디오 플레인의 각각에 합성하는 처리를 말한다. 「그래픽스 플레인에 수평 방향의 오프셋을 부여한다」란 그 그래픽스 플레인 내에서 각 화소 데이터를 수평 방향으로 변위시키는 것을 말한다. 이에 의해 하나의 그래픽스 플레인으로부터 레프트 뷰와 라이트 뷰를 나타내는 그래픽스 플레인의 쌍이 생성된다. 그 쌍으로부터 재생되는 2D 그래픽스 영상의 각부의 표시위치는 원래의 표시위치에서 좌우로 어긋나 있다. 그러한 변위가 시청자에게 양안 시차로 착각됨으로써 레프트 뷰와 라이트 뷰의 쌍이 그 시청자에게는 하나의 3D 그래픽스 영상으로 보인다.
오프셋은 방향과 크기로 정해진다. 따라서, 도 13, 14에 나타내는 것과 같이, 각 오프셋 정보는 오프셋 방향(Plane_offset_direction)(1322)과 오프셋 값(Plane_offset_value)(1323)을 포함한다. 오프셋 방향(1322)은 3D 그래픽스 영상의 깊이가 화면보다 앞인지 안쪽인지를 나타낸다. 오프셋 방향(1322)의 값에 의해, 원래의 2D 그래픽스 영상의 표시위치에 대한 레프트 뷰와 라이트 뷰의 각 표시위치의 방향이 왼쪽 또는 오른쪽으로 정해진다. 오프셋 값(1323)은 원래의 2D 그래픽스 영상의 표시위치와 레프트 뷰와 라이트 뷰의 각 표시위치와 사이의 거리를 수평방향의 화소 수로 나타낸다.
도 15(a), (b)는 PG 플레인(1510)과 IG 플레인(1520)에 대한 오프셋 제어를 나타내는 모식도이다. 이들 오프셋 제어에서는 레프트 뷰 비디오 플레인(1501)과 라이트 뷰 비디오 플레인(1502)의 각각에 2종류의 그래픽스 플레인(1510, 1520)이 합성된다. 여기서, 「레프트 뷰/라이트 뷰 비디오 플레인」이란 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 조합으로부터 생성되는 레프트 뷰/라이트 뷰를 나타내는 비디오 플레인을 말한다. 이하의 설명에서는 PG 플레인(1510)이 나타내는 자막(1511)을 화면보다 앞에 표시하고, IG 플레인(1520)이 나타내는 버튼(1521)을 화면보다 안쪽에 표시하는 경우를 상정한다.
도 15(a)를 참조하면, PG 플레인(1510)에는 우측방향의 오프셋이 부여된다. 구체적으로는 먼저 PG 플레인(1510) 내의 각 화소 데이터의 위치가 레프트 뷰 비디오 플레인(1501) 내의 대응하는 화소 데이터의 위치에서 오프셋 값에 동일한 화소 수 SFP만큼 오른쪽으로(가상적으로) 이동한다. 다음에, 레프트 뷰 비디오 플레인(1501)의 범위보다 우측으로(가상적으로) 돌출되어 있는 PG 플레인(1510)의 우단(右端)의 띠 형상 영역(1512)을 「잘라낸다」. 즉, 그 영역(1512)의 화소 데이터 군을 파기한다. 한편, PG 플레인(1510)의 좌단에 투명한 띠 형상 영역(1513)을 추가한다. 그 띠 형상 영역(1513)의 폭은 우단의 띠 형상 영역(1512)의 폭, 즉 오프셋 값 SFP와 같다. 이렇게 해서 PG 플레인(1510)으로부터 레프트 뷰를 나타내는 PG 플레인이 생성되고, 레프트 뷰 비디오 플레인(1501)에 합성된다. 특히 그 레프트 뷰 PG 플레인에서는 자막(1511)의 표시위치가 원래의 표시위치보다 오른쪽으로 오프셋 값 SFP만큼 어긋나 있다.
한편, IG 플레인(1520)에는 좌측방향의 오프셋이 부여된다. 구체적으로는 먼저 IG 플레인(1520) 내의 각 화소 데이터의 위치가 레프트 뷰 비디오 플레인(1501) 내의 대응하는 화소 데이터의 위치로부터 오프셋 값과 동일한 화소 수 SFI만큼 왼쪽으로(가상적으로) 이동한다. 다음에, 레프트 뷰 비디오 플레인(1510)의 범위보다 좌측으로(가상적으로) 돌출되어 있는 IG 플레인(1520)의 좌단의 띠 형상 영역(1522)을 잘라낸다. 한편, IG 플레인(1520)의 우단에 투명한 띠 형상 영역(1523)을 추가한다. 그 띠 형상 영역(1523)의 폭은 좌단의 띠 형상 영역(1522)의 폭, 즉 오프셋 값 SFI와 같다. 이렇게 해서 IG 플레인(1520)으로부터 레프트 뷰를 나타내는 IG 플레인이 생성되고, 레프트 뷰 비디오 플레인(1501)에 합성된다. 특히 그 레프트 뷰 IG 플레인에서는 버튼(1521)의 표시위치가 원래의 표시위치보다 왼쪽으로 오프셋 값 SFI만큼 어긋나 있다.
도 15(b)를 참조하면, PG 플레인(1510)에는 좌측방향의 오프셋이 부여되고, IG 플레인(1520)에는 우측방향의 오프셋이 부여된다. 즉, 상기의 조작을 PG 플레인(1510)과 IG 플레인(1520)에서 반대로 하면 좋다. 그 결과, 각 플레인 데이터(1510, 1520)로부터 라이트 뷰를 나타내는 플레인 데이터가 생성되고, 라이트 뷰 비디오 플레인(1520)에 합성된다. 특히 라이트 뷰 PG 플레인에서는 자막(1511)의 표시위치가 원래의 표시위치보다 왼쪽으로 오프셋 값 SFP만큼 어긋나 있다. 한편, 라이트 뷰 IG 플레인에서는 버튼(1521)의 표시위치가 원래의 표시위치보다 오른쪽으로 오프셋 값 SFI만큼 어긋나 있다.
도 15(c)는 (a), (b)에 나타내는 그래픽스 플레인이 나타내는 2D 그래픽스 영상으로부터 시청자(1530)에 지각되는 3D 그래픽스 영상을 나타내는 모식도이다. 이들 그래픽스 플레인이 나타내는 2D 그래픽스 영상이 화면(1540)에 교호로 표시될 때 시청자(1530)에게는 도 15(c)에 나타내는 것과 같이 자막(1531)은 화면(1540)보다 앞으로 보이고, 버튼(1532)은 화면(1540)보다 안쪽으로 보인다. 각 3D 그래픽스 영상(1531, 1532)과 화면(1540) 사이의 거리는 오프셋 값 SFP, SFI에 의해 조절 가능하다.
도 16(a), (b)는 오프셋 시퀀스의 구체적인 예를 나타내는 그래프이다. 각 그래프에서는 오프셋 방향이 화면보다 앞을 나타낼 때 오프셋 값이 정(正)이다. 도 16(a)은 도 16(b) 중 최초의 GOP, GOP1의 표시기간에서의 그래프를 확대한 것이다. 도 16(a)을 참조하면, 계단 형상의 그래프(1601)는 오프셋 시퀀스 ID=0의 오프셋 시퀀스, 즉 오프셋 시퀀스[0]의 오프셋 값을 나타낸다. 한편, 수평인 그래프(1602)는 오프셋 시퀀스 ID=1의 오프셋 시퀀스, 즉 오프셋 시퀀스[1]의 오프셋 값을 나타낸다. 오프셋 시퀀스[0]의 오프셋 값(1601)은 최초의 GOP의 표시기간 GOP1에서는 프레임 FR1, FR2, FR3, …, FR15, …의 순으로 계단 형상으로 증가하고 있다. 도 16(b)을 참조하면, 그 오프셋 값(1601)의 계단 형상의 증가는 두 번째 이후의 각 GOP의 표시기간 GOP2, GOP3, …, GOP40, …이라도 동일하게 계속된다. 1프레임당의 증가량이 충분히 작으므로 도 16(b)에서는 오프셋 값(1601)이 선형으로서 연속적으로 증가하고 있는 것처럼 보인다. 한편, 오프셋 시퀀스[1]의 오프셋 값(1602)은 최초의 GOP의 표시기간 GOP1에서는 부(負)의 일정치로 유지되고 있다. 도 16(b)을 참조하면, 그 오프셋 값(1602)은 40번째의 GOP의 표시기간 GOP(40)의 종료시에 정의 값으로 급증한다. 이와 같이 오프셋 값은 불연속으로 변화해도 좋다.
도 16(c)은 도 16의(a), (b)에 나타내는 오프셋 시퀀스에 따라서 재현되는 3D 그래픽스 영상을 나타내는 모식도이다. 자막의 3D 영상(1603)이 오프셋 시퀀스[0]에 따라서 표시될 때 그 3D 영상(1603)은 화면(1604)의 바로 앞에서부터 서서히 돌출되는 것처럼 보인다. 한편, 버튼의 3D 영상(1605)이 오프셋 시퀀스[1]에 따라서 표시될 때 그 3D 영상(1605)은 화면(1604)보다 안쪽에 고정되어 있는 상태에서 갑자기 화면(1604)보다 앞으로 돌출되는 것처럼 보인다. 이와 같이 프레임 단위에서의 오프셋 값의 증감의 패턴을 오프셋 시퀀스별로 다양하게 변화시킨다. 이에 의해 복수의 3D 그래픽스 영상에 대하여 개개의 깊이의 변화를 다양하게 표현할 수 있다.
≪PG 스트림의 데이터구조≫
도 4를 다시 참조하면, PG 스트림(403)은 복수의 기능 세그먼트를 포함한다. 이들 기능 세그먼트는 표시 제어 세그먼트(Presentation Control Segment:PCS), 팰릿 정의 세그먼트(Pallet Define Segment:PDS), 윈도 정의 세그먼트(Window Define Segment:WDS) 및 오브젝트 정의 세그먼트(Object Define Segment:ODS)를 포함한다. PCS는 그래픽스 스트림에서의 표시 단위(디스플레이 세트)의 상세와 함께 그래픽스 오브젝트를 이용한 화면 구성을 규정한다. 그 화면 구성의 종류에는 컷인/아웃(Cut-In/Out), 페이드인/아웃(Fade-In/Out), 색 변화(Color Change), 스크롤(Scroll), 와이프 인/아웃(Wipe-In/Out)이 포함된다. PCS에 의해 화면 구성을 규정함으로써 「어느 자막을 서서히 소거하면서 다음의 자막을 표시시킨다」라고 하는 표시 효과를 실현할 수 있다. PDS는 화소 코드와 색 좌표치(예를 들어 휘도 Y, 적색 차 Cr, 청색 차 Cb, 불투명도α) 사이의 대응관계를 규정한다. WDS는 그래픽스 플레인 내의 직사각형 영역, 즉 윈도우를 규정한다. ODS는 화소 코드와 런렝스를 이용하여 런렝스 압축이 실시된 그래픽스 오브젝트를 정의한다.
≪IG 스트림의 데이터구조≫
또, 도 4를 참조하면, IG 스트림(404)은 대화구성 세그먼트(Interactive Composition Segment:ICS), PDS 및 ODS를 포함한다. PDS와 ODS는 PG 스트림(403)에 포함되는 것과 동일한 기능 세그먼트이다. 특히 ODS가 포함하는 그래픽스 오브젝트는 버튼 및 팝업메뉴 등 대화화면을 구성하는 GUI용 그래픽스 부품을 나타낸다. ICS는 이들 그래픽스 오브젝트를 이용한 대화조작을 규정한다. 구체적으로는 ICS는 버튼 및 팝업메뉴 등 사용자 조작에 따라서 상태가 변화하는 그래픽스 오브젝트의 각각에 대하여 취할 수 있는 상태, 즉, 노멀, 셀렉티드 및 액티브의 각 상태를 규정한다. ICS는 버튼 정보를 더 포함한다. 버튼 정보는 사용자가 버튼 등에 대하여 확정 조작을 한을 때에 재생장치의 실행해야 할 커멘드를 포함한다.
≪텍스트 자막 스트림의 데이터구조≫
도 17은 텍스트 자막 스트림(1700)의 데이터구조를 나타내는 모식도이다. 텍스트 자막 스트림(1700)은 복수의 텍스트 데이터 엔트리(1710)를 포함한다. 각 텍스트 데이터 엔트리(1710)는 스타일 정보(1711)와 텍스트 정보(1712)의 쌍으로 구성되어 있다. 텍스트 정보(1712)는 표시 대상의 텍스트 문자 열을 나타낸다. 스타일 정보(1711)는 PTS(1701), 표시위치(1702), 폰트 ID(1703), 표시 스타일(1704) 및 폰트 사이즈(1705)를 포함한다. PTS(1701)는 동일한 쌍의 텍스트 정보(1712)가 나타내는 텍스트 문자 열의 표시시각을 나타낸다. 표시위치(1702)는 그래픽스 플레인에서의 그 텍스트 문자 열의 표시위치를 나타낸다. 폰트 ID(1703)는 그 텍스트 문자 열을 그래픽스 플레인에 묘사할 때에 참조되어야 할 폰트 세트의 식별정보이다. 표시 스타일(1704)은 굵은 글씨, 이탤릭체 등, 그 텍스트 문자 열을 표시할 때의 글자체를 나타낸다. 폰트 사이즈(1705)는 그 텍스트 문자 열을 표시할 때의 문자의 크기를 나타낸다.
≪AV스트림 파일에 포함되는 그 외의 TS 패킷≫
AV스트림 파일에 포함되는 TS 패킷의 종류에는 도 3에 나타내는 엘리멘터리 스트림으로부터 변환된 것 이외에도 PAT(Program Association Table), PMT(Program Map Table) 및 PCR(Program Clock Reference)가 있다. PCR, PMT 및 PAT는 유럽 디지털 방송규격으로 정해진 것이며, 본래는 하나의 프로그램을 구성하는 퍼셜 트랜스포트 스트림을 규정하는 역할을 갖는다. PCR, PMT 및 PAT를 이용함으로써 AV스트림 파일도 그 퍼셜 트랜스포트 스트림과 동일하게 규정된다. 구체적으로는 PAT는 동일한 AV스트림 파일에 포함되는 PMT의 PID를 나타낸다. PAT 자신의 PID는 0이다. PMT는 동일한 AV스트림 파일에 포함되는 영상·음성·자막 등을 나타내는 각 엘리멘터리 스트림의 PID와 그 속성정보를 포함한다. PMT는 그 AV스트림 파일에 관한 각종 디스크립터(기술자라고도 한다)를 더 포함한다. 디스크립터에는 특히 그 AV스트림 파일의 카피의 허가/금지를 나타내는 카피 컨트롤정보가 포함된다. PCR는 자신에게 할당된 ATS에 대응시켜야 할 STC(System Time Clock)의 값을 나타내는 정보를 포함한다. 여기서, 「STC」는 재생장치(102) 내의 디코더에 의해 PTS 및 DTS의 기준으로 이용되는 클록이다. 그 디코더는 PCR을 이용하여 ATC에 STC를 동기시킨다.
도 18은 PMT(1810)의 데이터구조를 나타내는 모식도이다. PMT(1810)는 PMT 헤더(1801), 디스크립터(1802) 및 스트림 정보(1803)를 포함한다. PMT 헤더(1801)는 PMT(1810)에 포함되는 데이터의 길이 등을 나타낸다. 각 디스크립터(1802)는 PMT(1810)를 포함하는 AV스트림 파일의 전체에 관한 디스크립터이다. 앞에서 설명한 카피 컨트롤정보는 디스크립터(1802)의 1개에 포함된다. 스트림 정보(1803)는 AV스트림 파일에 포함되는 각 엘리멘터리 스트림에 관한 정보이며, 하나씩 다른 엘리멘터리 스트림에 할당되어 있다. 각 스트림 정보(1803)는 스트림 타입(1831), PID(1832) 및 스트림 디스크립터(1833)를 포함한다. 스트림 타입(1831)은 그 엘리멘터리 스트림의 압축에 이용된 코덱의 식별정보 등을 포함한다. PID(1832)는 그 엘리멘터리 스트림의 PID를 나타낸다. 스트림 디스크립터(1833)는 그 엘리멘터리 스트림의 속성정보, 예를 들어 프레임 레이트 및 어스펙트 비를 포함한다.
PCR, PMT 및 PAT를 이용함으로써 재생장치(102) 내의 디코더에 AV스트림 파일을 유럽 디지털 방송규격에 준거한 퍼셜 트랜스포트 스트림과 동일하게 처리시킬 수 있다. 이에 의해 BD-ROM 디스크(101)용의 재생장치와 유럽 디지털 방송규격에 준거한 단말장치 사이의 호환성을 확보할 수 있다.
≪다중화 스트림 데이터의 인터리브 배치≫
3D 영상의 심리스 재생에는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 BD-ROM 디스크(101) 상에서의 물리적인 배치가 중요하다. 여기서, 「심리스 재생」은 다중화 스트림 데이터로부터 영상과 음성을 중단되는 일 없이 매끄럽게 재생하는 것을 말한다.
도 19는 BD-ROM 디스크(101) 상에서의 다중화 스트림 데이터의 물리적인 배치를 나타내는 모식도이다. 도 19를 참조하면, 다중화 스트림 데이터는 복수의 데이터블록 D[n], B[n](n=0, 1, 2, 3, …)로 분할되어서 BD-ROM 디스크(101) 상에 배치되어 있다. 여기서, 「데이터블록」은 BD-ROM 디스크(101) 상의 연속영역, 즉 물리적으로서 연속하는 복수의 섹터에 기록된 일련의 데이터를 말한다. BD-ROM 디스크(101)에서는 물리어드레스가 논리어드레스와 실질적으로 동일하므로 각 데이터블록 내에서는 LBN도 연속하고 있다. 따라서, BD-ROM 드라이브(121)는 하나의 데이터블록을 광 픽업에 시크를 실시하게 하는 일 없이 연속해서 판독할 수 있다. 이하, 메인 TS에 속하는 데이터블록 B[n]을 「베이스 뷰 데이터블록」이라고 하고, 서브 TS에 속하는 데이터블록 D[n]을 「디펜던트 뷰 데이터블록」이라고 한다. 특히 라이트 뷰 비디오 스트림을 포함하는 데이터블록을 「라이트 뷰 데이터블록」이라고 하고, 깊이 맵 스트림을 포함하는 데이터블록을 「깊이 맵 데이터블록」이라고 한다.
각 데이터블록 B[n], D[n]은 BD-ROM 디스크(101)의 파일 시스템에서는 파일 2D 또는 파일 DEP 내의 하나의 익스텐트로 액세스 가능하다. 즉, 각 데이터블록의 논리어드레스는 파일 2D 또는 파일 DEP의 파일 엔트리로부터 알 수 있다(상세는《보충》 참조).
도 19에 나타내는 예에서는 파일 2D(01000.m2ts)(241)의 파일 엔트리(1910)가 베이스 뷰 데이터블록 B[n]의 각 사이즈와 그 선단의 LBN을 나타낸다. 따라서, 각 베이스 뷰 데이터블록 B[n]은 파일 2D(241)의 익스텐트 EXT2D[n]으로 액세스 가능하다. 이하, 파일 2D(241)에 속하는 익스텐트 EXT2D[n]을 「2D 익스텐트」라고 한다. 한편, 파일 DEP(02000.m2ts)(242)의 파일 엔트리(1920)가 디펜던트 뷰 데이터블록 D[n]의 각 사이즈와 그 선단의 LBN을 나타낸다. 따라서, 각 디펜던트 뷰 데이터블록 D[n]은 디펜던트 뷰 데이터블록이며, 파일 DEP(242)의 익스텐트 EXT2[n]으로 액세스 가능하다. 이하, 파일 DEP(242)에 속하는 익스텐트 EXT2[n]을「디펜던트 뷰 익스텐트」라고 한다.
도 19를 참조하면, 데이터블록 군은 BD-ROM 디스크(101) 상의 트럭에 따라서 연속적으로 기록되어 있다. 또, 베이스 뷰 데이터블록 B[n]과 디펜던트 뷰 데이터블록 D[n]은 하나씩 교호로 배치되어 있다. 이러한 데이터블록 군의 배치를 「인터리브 배치」라고 한다. 특히 인터리브 배치로 기록된 일련의 데이터블록 군을 「익스텐트 블록」이라고 한다. 도 19에는 3개의 익스텐트 블록(1901, 1902, 1903)이 도시되어 있다. 최초의 2개의 익스텐트 블록(1901, 1902)과 마찬가지로 익스텐트 블록 사이는 다중화 스트림 데이터 이외의 데이터 NAV의 기록영역에 의해 분리된다. 또, BD-ROM 디스크(101)가 다층 디스크인 경우, 즉 기록 층을 복수 포함하는 경우, 도 13에 나타내는 2번째와 3번째의 익스텐트 블록(1902, 1903)과 마찬가지로 익스텐트 블록 사이는 기록 층 간의 경계(LB)에 의해서도 분리된다. 이렇게 해서 일련의 다중화 스트림 데이터는 일반적으로 복수의 익스텐트 블록으로 분할되어서 배치되어 있다. 그 경우, 재생장치(102)가 그 다중화 스트림 데이터로부터 영상을 심리스로 재생하기 위해서는 각 익스텐트 블록으로부터 재생되는 영상을 심리스로 접속해야 한다. 이하, 이를 위해 재생장치(102)가 필요로 하는 처리를 「익스텐트 블록 간의 심리스 접속」이라고 한다.
각 익스텐트 블록(1901-1903)은 2종류의 데이터블록 D[n], B[n]의 각각을 같은 수씩 포함한다. 또, n번째의 인접하는 데이터블록의 쌍 D[n], B[n]에서는 익스텐트 ATC 시간이 동일하다. 여기서, 「ATC(Arrival Time Clock)」는 ATS의 기준이 되어야 할 클록을 의미한다. 또, 「익스텐트 ATC 시간」은 ATC의 값으로 정의되고, 하나의 익스텐트 내의 소스 패킷에 부여된 ATS의 범위, 즉, 그 익스텐트의 선두의 소스 패킷의 ATS로부터 다음의 익스텐트의 선두의 소스 패킷의 ATS까지의 시간 간격을 나타낸다. 즉, 익스텐트 ATC 시간은 그 익스텐트 내의 소스 패킷을 모두 재생장치(102) 내에서 리드 버퍼로부터 시스템 타깃 디코더에 전송하는데 필요한 시간과 같다. 여기서, 「리드 버퍼」는 재생장치(102) 내의 버퍼 메모리이며, BD-ROM 디스크(101)로부터 판독된 데이터블록을 시스템 타깃 디코더에 보낼 때까지 사이에 일시적으로 저장한다. 리드 버퍼의 상세에 대하여는 후술한다. 도 19에 나타내는 예에서는 3개의 익스텐트 블록(1901-1903)이 서로 심리스로 접속되므로, 데이터블록의 각 쌍 D[n], B[n](n=0, 1, 2, …)과 익스텐트 ATC 시간이 동일하다.
인접하는 데이터블록의 각 쌍 D[n], B[n]에서는 선두에 위치하는 VAU는 동일한 3D VAU에 속하고, 특히 동일한 3D 영상을 나타내는 GOP의 선두의 픽처를 포함한다. 예를 들어 각 라이트 뷰 데이터블록 D[n]의 선단은 라이트 뷰 비디오 스트림의 P픽처를 포함하고, 선두의 베이스 뷰 데이터블록 B[n]의 선단은 베이스 뷰 비디오 스트림의 I픽처를 포함한다. 그 라이트 뷰 비디오 스트림의 P픽처는 그 베이스 뷰 비디오 스트림의 I픽처가 나타내는 2D 영상을 레프트 뷰로 할 때의 라이트 뷰를 나타낸다. 특히 그 P픽처는 도 7에 나타내는 것과 같이 그 I픽처를 참조 픽처로 압축되어 있다. 따라서, 3D 재생모드의 재생장치(102)는 어느 데이터블록의 쌍 D[n], B[n]으로부터도 3D 영상의 재생을 개시할 수 있다. 즉, 인터럽트 재생(interrupt playback) 등 비디오 스트림의 랜덤 액세스를 필요로 하는 처리가 가능하다.
또, 인터리브 배치에서는 인접하는 데이터블록의 쌍 D[n], B[n] 중 디펜던트 뷰 데이터블록 D[n]이 베이스 뷰 데이터블록 B[n]보다 먼저 배치된다. 이는 디펜던트 뷰 데이터블록 D[n]이 베이스 뷰 데이터블록 B[n]보다 데이터량이 작은, 즉 비트레이트가 낮은 것에 따른다. 예를 들어 n번째의 라이트 뷰 데이터블록 D[n]에 포함되는 픽처는 n번째의 베이스 뷰 데이터블록 B[n]에 포함되는 픽처를 참조 픽처로 압축되어 있다. 따라서, 그 라이트 뷰 데이터블록 D[n] 사이즈 SEXT2[n]은 그 베이스 뷰 데이터블록 B[n] 사이즈 SEXT1[n] 이하이다 : SEXT2[n]≤SEXT1[n]. 한편, 깊이 맵의 화소당 데이터량, 즉 깊이 값의 비트 수는 일반적으로 베이스 뷰 픽처의 화소당 데이터량, 즉 색 좌표치와 α값의 비트수의 합보다 작다. 또, 도 3(a), (b)에 나타내는 것과 같이 메인 TS는 서브 TS와는 달리 프라이머리 비디오 스트림 외에도 프라이머리 오디오 스트림 등의 엘리멘터리 스트림을 포함한다. 따라서, 깊이 맵 데이터블록 사이즈 SEXT3[n]은 베이스 뷰 데이터블록 B[n] 사이즈 SEXT1[n] 이하이다 : SEXT3[n]≤SEXT1[n].
[다중화 스트림 데이터를 데이터블록으로 분할하는 의의]
재생장치(102)는 BD-ROM 디스크(101)에서 3D 영상을 심리스로 재생하기 위해서는 메인 TS와 서브 TS를 병렬로 처리해야 한다. 그러나 그 처리에 이용 가능한 리드 버퍼의 용량은 일반적으로 한정되어 있다. 특히 BD-ROM 디스크(101)에서 리드 버퍼에 연속해서 판독할 수 있는 데이터량에는 한계가 있다. 따라서, 재생장치(102)는 메인 TS와 서브 TS를 익스텐트 ATC 시간이 동일한 부분의 쌍으로 분할하여 판독하지 않으면 안 된다.
도 20 (a)은 어느 BD-ROM 디스크 상에 개별로서 연속해서 기록된 메인 TS(2001)와 서브 TS(2002)의 배치를 나타내는 모식도이다. 재생장치(102)가 이들 메인 TS(2001)와 서브 TS(2002)를 병렬로 처리할 때 도 20 (a)에 실선의 화살표 (1)-(4)로 나타내는 것과 같이 BD-ROM 드라이브(121)는 메인 TS(2001)와 서브 TS(2002)를 교호로 익스텐트 ATC 시간이 동일한 부분씩 판독한다. 그때 BD-ROM 드라이브(121)는 도 20 (a)에 점선의 화살표로 나타내는 것과 같이 판독처리의 도중에 BD-ROM 디스크 상의 판독 대상 영역을 크게 변화시키지 않으면 안 된다. 예를 들어 화살표(1)가 나타내는 메인 TS(2001)의 선단 부분이 판독된 때 BD-ROM 드라이브(121)는 광 픽업에 의한 판독동작을 일단 정지하고, BD-ROM 디스크의 회전속도를 올린다. 이에 의해 화살표(2)가 나타내는 서브 TS(2002)의 선단 부분이 기록된 BD-ROM 디스크 상의 섹터를 신속하게 광 픽업의 위치까지 이동시킨다. 이와 같이 광픽업에 판독동작을 일단 정지시키고, 그 사이에 다음의 판독 대상 영역 상에 광 픽업을 위치하게 하기 위한 조작을 「점프」라고 한다. 도 20 (a)에 나타내는 점선의 화살표는 판독처리의 도중에 필요한 각 점프의 범위를 나타낸다. 각 점프의 기간 중 광 픽업에 의한 판독처리는 정지하고, 디코더에 의한 복호 처리만이 진행한다. 도 20 (a)에 나타내는 예에서는 점프가 과대하므로 판독처리를 복호처리시간에 일치시키지가 어렵다. 그 결과, 심리스 재생을 확실히 지속하기가 어렵다.
도 20 (b)는 본 발명의 실시형태 1에 의한 BD-ROM 디스크(101) 상에 교호로 기록된 디펜던트 뷰 데이터블록 D[0], D[1], D[2], …와 베이스 뷰 데이터블록 B[0], B[1], B[2], …의 배치를 나타내는 모식도이다. 도 20 (b)을 참조하면, 메인 TS와 서브 TS는 각각 복수의 데이터블록으로 분할되어서 교호로 배치되어 있다. 그 경우, 재생장치(102)는 3D 영상의 재생시, 도 20 (b)에 화살표 (1)-(4)로 나타내는 것과 같이 데이터블록 D[0], B[0], D[1], B[1], …을 선두에서부터 차례로 판독한다. 그것만으로 재생장치(102)는 메인 TS와 서브 TS를 교호로 판독하는 것을 원활하게 실현할 수 있다. 특히 그 판독처리에서는 점프가 발생하지 않으므로 3D 영상의 심리스 재생이 확실하게 지속 가능하다.
[인접하는 데이터블록 간에 익스텐트 ATC 시간을 일치시키는 의의]
도 20 (c)은 인터리브 배치로 기록된 디펜던트 뷰 데이터블록 군 D[n]과 베이스 뷰 데이터블록 군 B[n]의 각 익스텐트 ATC 시간의 일 예를 나타내는 모식도이다(n=0, 1, 2). 도 20 (c)를 참조하면, 각 디펜던트 뷰 데이터블록 D[n]과 그 직후의 베이스 뷰 데이터블록 B[n]의 쌍에서는 익스텐트 ATC 시간이 동일하다. 예를 들어 선두의 데이터블록의 쌍 D[0], B[0]에서는 익스텐트 ATC 시간이 모두 1초로 동일하다. 따라서, 각 데이터블록 D[0], B[0]이 재생장치(102) 내의 리드 버퍼에 판독된 때 그 중의 모든 TS 패킷이 동일한 1초간에 리드 버퍼로부터 시스템 타깃 디코더에 보내진다. 마찬가지로 두 번째의 데이터블록의 쌍 D[1], B[1]에서는 익스텐트 ATC 시간이 모두 0.7초로 동일하므로 동일한 0.7초간에 각 데이터블록 내의 모든 TS 패킷이 리드 버퍼로부터 시스템 타깃 디코더에 보내진다.
도 20 (d)은 인터리브 배치로 기록된 디펜던트 뷰 데이터블록 군 D[n]과 베이스 뷰 데이터블록 군 B[n]의 각 익스텐트 ATC 시간의 다른 예를 나타내는 모식도이다. 도 20 (d)을 참조하면, 모든 데이터블록 D[n], B[n]에서 익스텐트 ATC 시간이 1초로 동일하다. 따라서, 각 데이터블록 D[n], B[n]이 재생장치(102) 내의 리드 버퍼에 판독된 때 어느 데이터블록에서도 동일한 1초간에 모든 TS 패킷이 리드 버퍼로부터 시스템 타깃 디코더에 보내진다.
상기와 같이, 디펜던트 뷰 데이터블록은 베이스 뷰 데이터블록보다 압축률이 높다. 따라서, 디펜던트 뷰 데이터블록의 복호 처리의 속도는 일반적으로 베이스 뷰 데이터블록의 복호 처리의 속도보다 낮다. 한편, 익스텐트 ATC 시간이 동일할 때 디펜던트 뷰 데이터블록은 베이스 뷰 데이터블록보다 데이터량이 작다. 따라서, 도 20 (c), (d)와 같이, 인접하는 데이터블록 간에 익스텐트 ATC 시간이 동일할 때 복호 대상의 데이터가 시스템 타깃 디코더에 공급되는 속도는 그 디코더의 처리 속도와 균형을 유지하기 쉽다. 즉, 시스템 타깃 디코더는 특히 인터럽트 재생에서도 베이스 뷰 데이터블록의 복호 처리와 디펜던트 뷰 데이터블록의 복호 처리를 용이하게 동기시킬 수 있다.
[데이터량이 작은 데이터블록을 앞에 두는 의의]
3D 재생모드의 재생장치(102)는 각 익스텐트 블록의 선두에 위치하는 데이터블록을 판독할 때 또는 재생개시위치의 데이터블록을 판독할 때 먼저 그 데이터블록을 모두 리드 버퍼에 판독한다. 그 사이, 그 데이터블록은 시스템 타깃 디코더에는 인계되지 않는다. 그 판독이 완료한 후, 재생장치(102)는 그 데이터블록을 다음의 데이터블록과 병렬로 시스템 타깃 디코더에 인계한다. 이 처리를 「프리로드」라고 한다.
프리로드의 기술적 의의는 다음과 같다. L/R 모드에서는 디펜던트 뷰 데이터블록의 복호에 베이스 뷰 데이터블록이 필요하다. 따라서, 복호 후의 데이터를 출력 처리까지 보유하기 위한 버퍼를 필요 최소한의 용량에 유지하기 위해서는 이들 데이터블록을 시스템 타깃 디코더에 동시에 공급하여 복호시키는 것이 바람직하다. 한편, 깊이 모드에서는 복호 후의 베이스 뷰 픽처와 깊이 맵의 쌍으로부터 시차 화상을 나타내는 비디오 플레인의 쌍을 생성하는 처리가 필요하다. 따라서, 복호 후의 데이터를 그 처리까지 보유하기 위한 버퍼를 필요 최소한의 용량으로 유지하기 위해서는 베이스 뷰 데이터블록과 깊이 맵 데이터블록을 시스템 타깃 디코더에 동시에 공급하여 복호시키는 것이 바람직하다. 그러므로, 프리로드에 의해 익스텐트 블록의 선두 또는 재생개시위치의 데이터블록의 전체를 미리 리드 버퍼에 판독해 둔다. 이에 의해 그 데이터블록과 후속하는 데이터블록을 리드 버퍼로부터 시스템 타깃 디코더에 동시에 전송하여 복호시킬 수 있다. 또, 이후의 데이터블록의 쌍도 시스템 타깃 디코더에 동시에 복호시킬 수 있다.
프리로드에서는 최초로 판독되는 데이터블록의 전체가 리드 버퍼에 축적된다. 따라서, 리드 버퍼에는 적어도, 그 데이터블록 사이즈와 같은 용량이 요구된다. 여기서, 리드 버퍼의 용량을 최소한으로 유지하기 위해서는 프리로드의 대상이 되는 데이터블록 사이즈를 가능한 한 축소해야 한다. 한편, 인터럽트 재생 등의 랜덤 액세스에서는 어느 데이터블록의 쌍도 재생개시위치에 선택될 수 있다. 그러므로, 어느 데이터블록의 쌍에서도 데이터량이 작은 쪽을 앞에 둔다. 이에 의해 리드 버퍼의 용량을 최소한으로 유지할 수 있다.
≪데이터블록에 대한 AV스트림 파일의 크로스 링크≫
도 19에 나타내는 데이터블록 군에 대하여 AV스트림 파일의 크로스 링크는 다음과 같이 실현된다. 제 1 파일 SS(01000.ssif)(244A)의 파일 엔트리(1940)는 각 익스텐트 블록(1901-1903)을 하나의 익스텐트로 간주하고 각 사이즈와 그 선단의 LBN을 나타낸다. 따라서, 각 익스텐트 블록(1901-1903)은 제 1 파일 SS(244A)의 익스텐트 EXTSS[0], EXTSS[1], EXTSS[2]로 액세스 가능하다. 이하, 제 1 파일 SS(244A)에 속하는 익스텐트 EXTSS[0], EXTSS[1], EXTSS[2]를 「익스텐트SS」라고 한다. 각 익스텐트 SS EXTSS[0], EXTSS[1], EXTSS[2]는 파일 2D(241)와는 베이스 뷰 데이터블록 B[n]을 공유하고, 파일 DEP(242)와는 디펜던트 뷰 데이터블록 D[n]을 공유한다.
≪익스텐트 블록 군에 대한 재생경로≫
도 21은 익스텐트 블록 군(1901-1903)에 대한 2D 재생모드에서의 재생경로(2101)를 나타내는 모식도이다. 2D 재생모드의 재생장치(102)는 파일 2D(241)를 재생한다. 따라서, 2D 재생모드에서의 재생경로(2101)가 나타내는 것과 같이 각 익스텐트 블록(1901-1903)으로부터 베이스 뷰 데이터블록 B[n](n=0, 1, 2, …)가 차례로 2D 익스텐트 EXT2D[0], EXT2D[1], EXT2D[2]로 판독된다. 구체적으로는 먼저 선두의 익스텐트 블록(1901)에서 선두의 베이스 뷰 데이터블록 B[0]이 판독되고, 그 직후의 디펜던트 뷰 데이터블록 D[0]의 판독이 최초의 점프 J2D1에 의해 스킵된다. 다음에 두 번째의 베이스 뷰 데이터블록 B[1]이 판독되고, 그 직후의 데이터 NAV와 디펜던트 뷰 데이터블록 D[1]의 판독이 2회째의 점프 JNAV에 의해 스킵된다. 이어서, 두 번째 이후의 익스텐트 블록(1902, 1903) 내에서도 마찬가지로 베이스 뷰 데이터블록의 판독과 점프가 반복된다.
두 번째의 익스텐트 블록(1902)과 3번째의 익스텐트 블록(1903) 사이에 생기는 점프 JLY는 층 경계(LB)를 넘는 롱 점프이다. 「롱 점프」는 점프 중에서도 시크 시간이 긴 것의 총칭이며, 구체적으로는 점프 거리가 소정의 임계값을 넘는 것을 말한다. 「점프 거리」는 점프기간 중에 판독 조작이 스킵되는 BD-ROM 디스크(101) 상의 영역의 길이를 말한다. 점프 거리는 통상 그 부분의 섹터 수로 나타낸다. 롱 점프의 정의에 이용되는 임계값은 BD-ROM의 규격에서는 예를 들어 40000 섹터로 규정되어 있다. 그러나 그 임계값은 BD-ROM 디스크의 종류와 BD-ROM 드라이브의 판독처리에 관한 성능에 의존한다. 롱 점프는 특히 포커스 점프와 트랙 점프를 포함한다. 「포커스 점프」는 기록 층의 전환에 수반하는 점프이며, 광 픽업의 초점거리를 변화시키는 처리를 포함한다. 「트랙 점프」는 광 픽업을 BD-ROM 디스크(101)의 반경 방향으로 이동시키는 처리를 포함한다.
도 21은 익스텐트 블록 군(1901-1903)에 대한 L/R 모드에서의 재생경로(2102)도 나타낸다. L/R 모드의 재생장치(102)는 제 1 파일 SS(244A)를 재생한다. 따라서, L/R 모드에서의 재생경로(2102)가 나타내는 것과 같이 각 익스텐트 블록(1901-1903)이 차례로 익스텐트 SS EXTSS[0], EXTSS[1], EXTSS[2]로 판독된다. 구체적으로는 먼저 선두의 익스텐트 블록(1901)에서 데이터블록 D[0], B[0], D[1], B[1]이 연속해서 판독되고, 그 직후의 데이터 NAV의 판독이 최초의 점프 JNAV에 의해 스킵된다. 다음에 두 번째의 익스텐트 블록(1902)에서 데이터블록 D[2], …, B[3]이 연속해서 판독된다. 그 직후에, 기록 층의 전환에 수반하는 롱 점프 JLY가 발생하고, 이어서, 3번째의 익스텐트 블록(1903)에서 데이터블록 D[4], B[4], …가 연속해서 판독된다.
익스텐트 블록(1901-1903)을 제 1 파일 SS(244A)의 익스텐트로 판독할 때 재생장치(102)는 제 1 파일 SS(244A)의 파일 엔트리(1940)로부터 각 익스텐트SSEXTSS[0], EXTSS[1], …의 선단의 LBN과 그 사이즈를 판독하여 BD-ROM 드라이브(121)에 인계한다. BD-ROM 드라이브(121)는 그 LBN로부터 그 사이즈의 데이터를 연속해서 판독한다. 이와 같은 처리는 데이터블록 군을 파일 DEP(242)와 파일 2D(241)의 각 익스텐트로 판독하는 처리보다 BD-ROM 드라이브(121)의 제어가 다음의 2점 (A), (B)에서 간단하다 : (A) 재생장치(102)는 1개소의 파일 엔트리를 이용하여 각 익스텐트를 차례로 참조하면 좋다 ; (B) 판독 대상의 익스텐트의 총수가 실질적으로 반감하므로 BD-ROM 드라이브(121)에 인계되어야 할 LBN과 사이즈의 쌍의 총수가 적다. 단, 재생장치(102)는 익스텐트 SS EXTSS[0], EXTSS[1], …을 판독한 후에 각각을 디펜던트 뷰 데이터블록과 베이스 뷰 데이터블록으로 분리하여 디코더에 인계하지 않으면 안 된다. 그 분리처리에는 클립정보파일이 이용된다. 그 상세에 대하여는 후술한다.
도 19에 나타내는 것과 같이 각 익스텐트 블록(1901-1903)의 실제의 판독에서는 BD-ROM 드라이브(121)는 각 데이터블록의 후단에서 다음의 데이터블록의 선단까지 사이에 제로 섹터 천이 J0를 실시한다. 「제로 섹터 천이」란 2개의 연속하는 데이터블록 사이에서의 광 픽업의 이동을 말한다. 제로 섹터 천이가 이루어지는 기간(이하, 제로 섹터 천이기간이라고 한다)에서는 광 픽업은 판독동작을 일단 정지하고 대기한다. 그 의미에서 제로 섹터 천이는 「점프 거리가 0 섹터와 같은 점프」라고도 간주할 수 있다. 제로 섹터 천이기간의 길이, 즉 제로 섹터 천이시간은 BD-ROM 디스크(101)의 회전에 의한 광 픽업의 위치의 이동 시간 외에 오류정정처리에 수반하는 오버헤드를 포함해도 좋다. 「오류정정처리에 수반하는 오버헤드」란 2개의 데이터블록의 경계가 ECC 블록의 경계와 일치하고 있지 않을 때 그 ECC 블록을 이용한 오류정정처리가 2회 이루어지는 것에 기인하는 여분의 시간을 말한다. 오류정정처리에는 하나의 ECC 블록의 전체가 필요하다. 따라서, 하나의 ECC 블록이 2개의 연속하는 데이터블록에 공유되어 있을 때 어느 데이터블록의 판독처리에서도 그 ECC 블록의 전체가 판독되어 오류정정처리에 이용된다. 그 결과, 이들 데이터블록을 1개 판독할 때마다 그 데이터블록 외에 최대 32 섹터의 여분의 데이터가 판독된다. 오류정정처리에 수반하는 오버헤드는 그 여분인 데이터의 판독 시간의 합계, 즉 32[섹터]×2048[바이트]×8[비트/바이트]×2[회]/판독 속도로 평가된다. 또, 각 데이터블록을 ECC 블록 단위로 구성함으로써 오류정정처리에 수반하는 오버헤드가 제로 섹터 천이시간부터 제외되어도 좋다.
≪클립정보파일≫
도 22는 제 1 클립정보파일(01000.clpi), 즉 2D 클립정보파일(231)의 데이터구조를 나타내는 모식도이다. 디펜던트 뷰 클립정보파일(02000.clpi)(232)과 텍스트 자막 스트림에 대응하는 클립정보파일(03000.clpi)(233)과도 동일한 데이터구조를 갖는다. 이하에서는 먼저 2D 클립정보파일(231)의 데이터구조를 예로 들어서 클립정보파일 전반에 공통되는 데이터구조를 설명한다. 그 후, 디펜던트 뷰 클립정보파일에 대하여 2D 클립정보파일과의 데이터구조상의 차이점을 설명한다.
도 22를 참조하면, 2D 클립정보파일(231)은 클립정보(2210), 스트림 속성정보(2220), 엔트리 맵(2230) 및 3D 메타데이터(2240)를 포함한다. 3D 메타데이터(2240)는 익스텐트 기점(2242)을 포함한다.
클립정보(2210)는 시스템 레이트(2211), 재생 개시시각(2212) 및 재생 종료시각(2213)을 포함한다. 시스템 레이트(2211)는 파일 2D(01000.m2ts)(241)에 대한 시스템 레이트를 규정한다. 여기서, 2D 재생모드의 재생장치(102)는 파일 2D(241)에 속하는 TS 패킷을 리드 버퍼로부터 시스템 타깃 디코더에 전송한다. 「시스템 레이트」는 그 전송속도의 상한치를 의미한다. 그 전송속도가 시스템 레이트 이하로 억제되도록 파일 2D(241)에서는 소스 패킷의 ATS의 간격이 설정되어 있다. 재생 개시시각(2212)은 파일 2D(241)의 선두의 VAU의 PTS, 예를 들어 선두의 영상프레임의 PTS를 나타낸다. 재생 종료시각(2212)은 파일 2D(241)의 후단의 VAU의 PTS로부터 소정 양 지연된 STC의 값, 예를 들어 최후의 영상프레임의 PTS에 1프레임당 재생시간을 더한 값을 나타낸다.
스트림 속성정보(2220)는 파일 2D(241)에 포함되는 각 엘리멘터리 스트림의 PID(2221)와 그 속성정보(2222) 사이의 대응 표이다. 속성정보(2222)는 비디오 스트림, 오디오 스트림, PG 스트림, 텍스트 자막 스트림 및 IG 스트림의 각각에서 다르다. 예를 들어 프라이머리 비디오 스트림의 PID0x1011에 대응된 속성정보는 그 비디오 스트림의 압축에 이용된 코덱의 종류, 그 비디오 스트림을 구성하는 각 픽처의 해상도, 어스펙트 비 및 프레임 레이트를 포함한다. 한편, 프라이머리 오디오 스트림의 PID0x1100에 대응된 속성정보는 그 오디오 스트림의 압축에 이용된 코덱의 종류, 그 오디오 스트림에 포함되는 채널 수, 언어 및 샘플링 주파수를 포함한다. 속성정보(2222)는 재생장치(102)에 의해 디코더의 초기화에 이용된다.
[엔트리 맵]
도 23(a)은 엔트리 맵(2230)의 데이터구조를 나타내는 모식도이다. 도 23(a)을 참조하면, 엔트리 맵(2230)은 테이블(2300)을 포함한다. 테이블(2300)은 메인 TS에 다중화된 비디오 스트림과 동일한 수이며, 각 비디오 스트림에 하나씩 할당되어 있다. 도 23(a)에서는 각 테이블(2300)이 할당 처의 비디오 스트림의 PID로 구별되어 있다. 각 테이블(2300)은 엔트리 맵 헤더(2301)와 엔트리포인트(2302)를 포함한다. 엔트리 맵 헤더(2301)는 그 테이블(2300)에 대응된 PID와, 그 테이블(2300)에 포함되는 엔트리포인트(2302)의 총수를 포함한다. 엔트리포인트(2302)는 PTS(2303)와 소스 패킷 번호(SPN)(2304)의 쌍을 하나씩 다른 엔트리포인트 ID(EP_ID)(2305)에 대응시킨다. PTS(2303)는 엔트리 맵 헤더(2301)가 나타내는 PID의 비디오 스트림에 포함되는 어느 하나의 I픽처의 PTS와 같다. SPN(2304)는 그 I픽처가 저장된 소스 패킷 군의 선두의 SPN과 같다. 「SPN」란 하나의 AV스트림 파일에 속하는 소스 패킷 군에 선두에서부터 순서대로 할당된 일련번호를 말한다. SPN은 그 AV스트림 파일 내에서의 각 소스 패킷의 어드레스로 이용된다. 2D 클립정보파일(231) 내의 엔트리 맵(2230)에서는 SPN은 파일 2D(241)에 속하는 소스 패킷 군, 즉 메인 TS를 구성하는 소스 패킷 군에 할당된 번호를 의미한다. 따라서, 엔트리포인트(2302)는 파일 2D(241)에 포함되는 각 I픽처의 PTS와 어드레스, 즉 SPN과 사이의 대응관계를 나타낸다.
엔트리포인트(2302)는 파일 2D(241) 내의 모든 I픽처에 대하여 설정되어 있지 않아도 좋다. 단, I픽처가 GOP의 선두에 위치하고, 또한 그 I픽처의 선두를 포함하는 TS 패킷이 2D 익스텐트의 선두에 위치할 때는 그 I픽처에는 엔트리포인트(2302)를 설정해야 한다.
도 23(b)는 파일 2D(241)에 속하는 소스 패킷 군(2310) 중 엔트리 맵(2230)에 의해 각 EP_ID(2305)에 대응되어 있는 것을 나타내는 모식도이다. 도 23(c)은 그 소스 패킷 군(2310)에 대응하는 BD-ROM 디스크(101) 상의 데이터블록 군 D[n], B[n](n=0, 1, 2, 3, …)를 나타내는 모식도이다. 재생장치(102)는 파일 2D(241)에서 2D 영상을 재생할 때 엔트리 맵(2230)을 이용하여 임의의 신을 나타내는 프레임의 PTS로부터 그 프레임을 포함하는 소스 패킷의 SPN을 특정한다. 구체적으로는 재생개시위치로 특정의 엔트리포인트의 PTS, 예를 들어 PTS=360000이 지정된 때 재생장치(102)는 먼저 엔트리 맵(2230)으로부터 그 PTS에 대응된 SPN=3200을 검색한다. 재생장치(102)는 다음에 그 SPN과 소스 패킷 1개당의 데이터량 192바이트와의 곱을 구하고, 또, 그 곱을 섹터 1개당의 데이터량 2048바이트로 나눈 때의 몫 SPN×192/2048을 구한다. 도 5(c), (d)로부터 이해되는 바와 같이, 그 값은 메인 TS 중 그 SPN이 할당된 소스 패킷보다 앞의 부분이 기록된 섹터의 총수와 같다. 도 23(b)에 나타내는 예에서는 그 값 3200×192/2048=300은 SPN이 0에서 3199까지의 소스 패킷 군(2311)이 기록된 섹터의 총수와 같다. 이어서, 재생장치(102)는 파일 2D(241)의 파일 엔트리를 참조하여 2D 익스텐트 군이 기록된 섹터 군의 선두에서부터 세어서 (상기의 총수+1)번째의 섹터의 LBN을 특정한다. 도 23(c)에 나타내는 예에서는 2D 익스텐트 EXT2D[0], EXT2D[1], EXT2D[2], …로 액세스 가능한 베이스 뷰 데이터블록 B[0], B[1], B[2], …가 기록된 섹터 군 중 선두에서부터 세어서 301번째의 섹터의 LBN가 특정된다. 재생장치(102)는 그 LBN을 BD-ROM 드라이브(121)에 지정한다. 이에 의해 그 LBN의 섹터로부터 순으로 베이스 뷰 데이터블록 군이 얼라인드 유닛 단위로 판독된다. 또, 재생장치(102)는 최초로 판독된 얼라인드 유닛으로부터 재생개시위치의 엔트리포인트가 나타내는 소스 패킷을 선택하고, 이들로부터 I픽처를 추출하여 복호한다. 그 이후, 후속하는 픽처는 먼저 복호 된 픽처를 이용하여 순차 복호된다. 이렇게 해서 재생장치(102)는 파일 2D(241)로부터 특정의 PTS 이후의 2D 영상을 재생할 수 있다.
또, 엔트리 맵(2230)은 빨리 감기 재생 및 되감기 재생 등의 특수재생의 효율적인 처리에 유리하다. 예를 들어 2D 재생모드의 재생장치(102)는 먼저 엔트리 맵(2230)을 참조하여 재생개시위치, 예를 들어 PTS=360000 이후의 PTS를 포함하는 엔트리포인트, EP_ID=2, 3, …에서 SPN=3200, 4800, …을 차례로 판독한다. 재생장치(102)는 다음에 파일 2D(241)의 파일 엔트리를 이용하여 각 SPN에 대응하는 섹터의 LBN을 특정한다. 재생장치(102)는 이어서 각 LBN을 BD-ROM 드라이브(121)에 지정한다. 이에 의해 각 LBN의 섹터로부터 얼라인드 유닛이 판독된다. 또, 재생장치(102)는 각 얼라인드 유닛으로부터 각 엔트리포인트가 나타내는 소스 패킷을 선택하고, 이들로부터 I픽처를 추출하여 복호한다. 이렇게 해서 재생장치(102)는 2D 익스텐트 군 EXT2D[n] 자체를 해석하는 일 없이 파일 2D(241)로부터 I픽처를 선택적으로 재생할 수 있다.
[익스텐트 기점]
도 24(a)는 익스텐트 기점(2242)의 데이터구조를 나타내는 모식도이다. 도 24(a)을 참조하면, 「익스텐트 기점(Extent_Start_Point)」(2242)은 베이스 뷰 익스텐트 ID(EXT1_ID)(2411)와 SPN(2412)를 포함한다. EXT1_ID(2411)는 제 1 파일 SS(01000.ssif)(244A)에 속하는 베이스 뷰 데이터블록에 선두에서부터 순서대로 할당된 일련번호이다. SPN(2412)는 각 EXT1_ID(2411)에 하나씩 할당되고, 그 EXT1_ID(2411)로 식별되는 베이스 뷰 데이터블록의 선단에 위치하는 소스 패킷의 SPN과 같다. 여기서, 그 SPN은 제 1 파일 SS(244A)에 속하는 베이스 뷰 데이터블록 군에 포함되는 소스 패킷에 선두에서부터 순서대로 할당된 일련번호이다.
도 19에 나타내는 익스텐트 블록(1901-1903)에서는 각 베이스 뷰 데이터블록 B[0], B[1], B[2], …는 파일 2D(241)와 제 1 파일 SS(244A)에 공유된다. 그러나 기록 층 간의 경계 등, 롱 점프의 필요한 개소에 배치된 데이터블록 군은 일반적으로서 파일 2D(241) 또는 제 1 파일 SS(244A)중 어느 하나에만 속하는 베이스 뷰 데이터블록을 포함한다(상세는《보충》 참조). 따라서, 익스텐트 기점(2242)이 나타내는 SPN(2412)는 파일 2D(241)에 속하는 2D 익스텐트의 선단에 위치하는 소스 패킷의 SPN과는 일반적으로 다르다.
도 24(b)는 제 2 클립정보파일(02000.clpi), 즉 디펜던트 뷰 클립정보파일(232)에 포함되는 익스텐트 기점(2420)의 데이터구조를 나타내는 모식도이다. 도 24(b)를 참조하면, 익스텐트 기점(2420)은 디펜던트 뷰 익스텐트ID(EXT2_ID)(2421)와 SPN(2422)를 포함한다. EXT2_ID(2421)는 제 1 파일 SS(244A)에 속하는 디펜던트 뷰 데이터블록에 선두에서부터 순서대로 할당된 일련번호이다. SPN(2422)는 각 EXT2_ID(2421)에 하나씩 할당되며, 그 EXT2_ID(2421)로 식별되는 디펜던트 뷰 데이터블록의 선단에 위치하는 소스 패킷의 SPN과 같다. 여기서, 그 SPN은 제 1 파일 SS(244A)에 속하는 디펜던트 뷰 데이터블록 군에 포함되는 소스 패킷에 선두에서부터 순서대로 할당된 일련번호이다.
도 24(d)는 파일 DEP(02000.m2ts)(242)에 속하는 디펜던트 뷰 익스텐트 EXT2[0], EXT2[1], …와, 익스텐트 기점(2420)이 나타내는 SPN(2422) 사이의 대응관계를 나타내는 모식도이다. 도 19에 나타내는 것과 같이 디펜던트 뷰 데이터블록은 파일 DEP(242)와 제 1 파일 SS(244A)에 공유된다. 따라서, 도 24(d)에 나타내는 것과 같이 익스텐트 기점(2420)이 나타내는 각 SPN(2422)는 각 디펜던트 뷰 익스텐트 EXT2[0], EXT2[1], …의 선단에 위치하는 소스 패킷의 SPN과 같다.
2D 클립정보파일(231)의 익스텐트 기점(2242)과 디펜던트 뷰 클립정보파일(232)의 익스텐트 기점(2420)은 이하에 설명한 것과 같이, 제 1 파일 SS(244A)에서 3D 영상이 재생될 때 각 익스텐트SS에 포함되는 데이터블록의 경계의 검출에 이용된다.
도 24(e)는 제 1 파일 SS(244A)에 속하는 익스텐트 SS EXTSS[0]와 BD-ROM 디스크(101) 상의 익스텐트 블록 사이의 대응관계를 나타내는 모식도이다. 도 24(e)를 참조하면, 그 익스텐트 블록은 인터리브 배치의 데이터블록 군 D[n], B[n](n=0, 1, 2, …)를 포함한다. 또, 이하의 설명은 그 외의 배치에서도 마찬가지로 성립한다. 그 익스텐트 블록은 하나의 익스텐트 SS EXTSS[0]으로 액세스 가능하다. 또, 그 익스텐트 SS EXTSS[0] 중에서 n번째의 베이스 뷰 데이터블록 B[n]에 포함되는 소스 패킷의 수는 익스텐트 기점(2242)에서 EXT1_ID=n+1, n의 각각에 대응하는 SPN간의 차 A(n+1)-AN과 같다. 여기서, A0=0으로 한다. 한편, 디펜던트 뷰 데이터블록 D[n+1]에 포함되는 소스 패킷의 수는 익스텐트 기점(2420)에서 EXT2_ID=n+1, n의 각각에 대응하는 SPN간의 차 B(n+1)-BN과 같다. 여기서, B0=0으로 한다.
3D 재생모드의 재생장치(102)는 제 1 파일 SS(244A)로부터 3D 영상을 재생할 때 각 클립정보파일(231, 232)의 엔트리 맵과 익스텐트 기점(2242, 2420)을 이용한다. 이에 의해 재생장치(102)는 임의의 씬의 라이트 뷰를 나타내는 프레임의 PTS로부터 그 프레임을 포함하는 디펜던트 뷰 데이터블록이 기록된 섹터의 LBN을 특정한다. 구체적으로는 재생장치(102)는 먼저 예를 들어 디펜던트 뷰 클립정보파일(232)의 엔트리 맵으로부터 그 PTS에 대응된 SPN을 검색한다. 만일, 그 SPN이 나타내는 소스 패킷이 파일 DEP(242)의 3번째의 디펜던트 뷰 익스텐트 EXT2[2], 즉 디펜던트 뷰 데이터블록 D[2]에 포함되는 경우를 상정한다. 재생장치(102)는 다음에 디펜던트 뷰 클립정보파일(232)의 익스텐트 기점(2420)이 나타내는 SPN(2422) 중에서 목표의 SPN 이하에서 최대의 것 “B2”와, 그것에 대응하는 EXT2_ID “2”를 검색한다. 이어서, 재생장치(102)는 2D 클립정보파일(231)의 익스텐트 기점(2242)으로부터 그 EXT2_ID “2”와 동일한 EXT1_ID에 대응하는 SPN(2412)의 값 “A2”를 검색한다. 또, 재생장치(102)는 검색된 SPN의 합 B2+A2를 구한다. 도 24(e)로부터 이해되는 것과 같이, 그 합 B2+A2는 익스텐트 SS EXTSS[0] 중에서 3번째의 디펜던트 뷰 데이터블록 D[2]보다 앞에 배치된 소스 패킷의 총수와 같다. 따라서, 그 합 B2+A2와 소스 패킷 1개당의 데이터량 192바이트의 곱을 섹터 1개당 데이터량 2048바이트로 나눈 때의 몫 (B2+A2)×192/2048은 익스텐트 SS EXTSS[0]의 선두에서부터 3번째의 디펜던트 뷰 데이터블록 D[2]의 직전까지의 섹터 수와 같다. 이 몫을 이용하여 제 1 파일 SS(244A)의 파일 엔트리를 참조하면, 그 디펜던트 뷰 데이터블록 D[2]의 선단이 기록된 섹터의 LBN을 특정할 수 있다.
재생장치(102)는 상기와 같이 LBN을 특정한 후, 그 LBN을 BD-ROM 드라이브(121)에 지정한다. 이에 의해 그 LBN의 섹터 이후에 기록된 익스텐트 SS EXTSS[0]의 부분, 즉, 3번째의 디펜던트 뷰 데이터블록 D[2]이후의 데이터블록 군 D[2], B[2], D[3], B[3], …가 얼라인드 유닛 단위로 판독된다.
또, 재생장치(102)는 익스텐트 기점(2242, 2420)을 이용하여 판독된 익스텐트 SS로부터 디펜던트 뷰 데이터블록과 베이스 뷰 데이터블록을 교호로 추출한다. 예를 들어 도 24(e)에 나타내는 익스텐트 SS EXTSS[0]으로부터 데이터블록 군 D[n], B[n](n=0, 1, 2, …)가 차례로 판독될 때를 상정한다. 재생장치(102)는 먼저 익스텐트 SS EXTSS[0]의 선두에서부터 B1개의 소스 패킷을 최초의 디펜던트 뷰 데이터블록 D[0]으로 추출한다. 다음에, 재생장치(102)는 B1번째의 소스 패킷과 그것에 이어지는 (A1-1)개의 소스 패킷의 합계 A1개의 소스 패킷을 최초의 베이스 뷰 데이터블록 B[0]으로 추출한다. 이어서, 재생장치(102)는 (B1+A1)번째의 소스 패킷과 그것에 이어지는 (B2-B1-1)개의 소스 패킷의 합계 (B2-B1)개의 소스 패킷을 두 번째의 디펜던트 뷰 데이터블록 D[1]으로 추출한다. 또, 재생장치(102)는 (A1+B2)번째의 소스 패킷과 그것에 이어지는 (A2-A1-1)개의 소스 패킷의 합계 (A2-A1)개의 소스 패킷을 두 번째의 베이스 뷰 데이터블록 B[1]으로 추출한다. 그 이후에도 재생장치(102)는 마찬가지로 판독되는 소스 패킷의 수로부터 익스텐트 SS 내의 데이터블록 간의 경계를 검출하여 디펜던트 뷰 데이터블록과 베이스 뷰 데이터블록을 교호로 추출한다. 추출된 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록은 병렬로 시스템 타깃 디코더에 인계되어 복호된다.
이렇게 해서 3D 재생모드의 재생장치(102)는 제 1 파일 SS(244A)로부터 특정의 PTS 이후의 3D 영상을 재생할 수 있다. 그 결과, 재생장치(102)는 BD-ROM 드라이브(121)의 제어에 관한 상기의 이점 (A), (B)를 실제로 누릴 수 있다.
≪파일 베이스≫
도 24(c)는 3D 재생모드의 재생장치(102)에 의해 제 1 파일 SS(244A)로부터 추출된 베이스 뷰 데이터블록 B[0], B[1], B[2], …를 나타내는 모식도이다. 도 24(c)를 참조하면, 이들 베이스 뷰 데이터블록 B[n](n=0, 1, 2, …)가 포함하는 소스 패킷 군에 선두에서부터 순서대로 SPN을 할당할 때 각 데이터블록 B[n]의 선단에 위치하는 소스 패킷의 SPN은 익스텐트 기점(2242)이 나타내는 SPN(2412)와 같다. 이들 베이스 뷰 데이터블록 군 B[n]과 같이, 익스텐트 기점을 이용하여 하나의 파일 SS로부터 추출되는 베이스 뷰 데이터블록 군을 「파일 베이스」라고 한다. 또, 파일 베이스에 포함되는 베이스 뷰 데이터블록을 「베이스 뷰 익스텐트」라고 한다. 도 24(e)에 나타내는 것과 같이 각 베이스 뷰 익스텐트 EXT1[0], EXT1[1], …은 클립정보파일 내의 익스텐트 기점(2242, 2420)에 의해 참조된다.
베이스 뷰 익스텐트 EXT1[n]은 2D 익스텐트 EXT2D[n]과 베이스 뷰 데이터블록 B[n]을 공유한다. 따라서, 파일 베이스는 파일 2D 와 동일한 메인 TS를 포함한다. 그러나 베이스 뷰 익스텐트 EXT1[n]은 2D 익스텐트 EXT2D[n]과는 달리 어느 파일의 파일 엔트리에 의해도 참조되지 않는다. 상기와 같이, 베이스 뷰 익스텐트 EXT1[n]은 클립정보파일 내의 익스텐트 기점을 이용하여 파일 SS 내의 익스텐트 SS EXTSS[·]로부터 추출된다. 이와 같이 파일 베이스는 본래의 파일과는 달리 파일 엔트리를 포함하지 않고, 또한, 베이스 뷰 익스텐트의 참조에 익스텐트 기점을 필요로 한다. 이러한 의미로 파일 베이스는 「가상적인 파일」이다. 특히 파일 베이스는 파일 시스템에서는 인식되지 않고, 도 2에 나타내는 디렉터리/파일 구조에는 나타나지 않는다.
도 25는 BD-ROM 디스크(101) 상에 기록된 하나의 익스텐트 블록(2500)과 파일 2D(2510), 파일 베이스(2511), 파일 DEP(2512) 및 파일 SS(2520)의 각 익스텐트 군 사이의 대응관계를 나타내는 모식도이다. 도 25를 참조하면, 익스텐트 블록(2500)은 디펜던트 뷰 데이터블록 D[n]과 베이스 뷰 데이터블록 B[n]을 포함한다(n=…, 0, 1, 2, 3, …). 베이스 뷰 데이터블록 B[n]은 2D 익스텐트 EXT2D[n]으로서 파일 2D(2510)에 속한다. 디펜던트 뷰 데이터블록 D[n]은 디펜던트 뷰 익스텐트 EXT2[n]으로서 파일 DEP(2512)에 속한다. 익스텐트 블록(2500)의 전체가 하나의 익스텐트 SS EXTSS[0]으로서 파일 SS(2520)에 속한다. 따라서, 익스텐트 SS EXTSS[0]은 2D 익스텐트 EXT2D[n]과는 베이스 뷰 데이터블록 B[n]을 공유하고, 디펜던트 뷰 익스텐트 EXT2[n]과는 디펜던트 뷰 데이터블록 D[n]을 공유한다. 익스텐트 SS EXTSS[0]은 재생장치(102)에 판독된 후, 디펜던트 뷰 데이터블록 D[n]과 베이스 뷰 데이터블록 B[n]으로 분리된다. 이들 베이스 뷰 데이터블록 B[n]은 베이스 뷰 익스텐트 EXT1[n]으로서 파일 베이스(2511)에 속한다. 익스텐트 SS EXTSS[0] 내에서의 베이스 뷰 익스텐트 EXT1[n]과 디펜던트 뷰 익스텐트 EXT2[n] 사이의 경계는 파일 2D(2510)와 파일 DEP(2512)의 각각에 대응된 클립정보파일 내의 익스텐트 기점을 이용하여 특정된다.
≪디펜던트 뷰 클립정보파일≫
디펜던트 뷰 클립정보파일은 도 22-24에 나타내는 2D 클립정보파일과 데이터구조가 동일하다. 따라서, 이하의 설명에서는 디펜던트 뷰 클립정보파일과 2D 클립정보파일 사이의 차이점에 대해서 설명하고, 동일한 점에 대한 설명은 상기의 설명을 원용한다.
디펜던트 뷰 클립정보파일은 2D 클립정보파일과는 주로 다음의 2점 (i), (ii)에서 다르다 : (i) 스트림 속성정보에 조건이 부과되어 있다 ; (ii) 엔트리포인트에 조건이 부과되어 있다.
(i) 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림이 L/R 모드의 재생장치(102)에 의해 3D 영상의 재생에 이용될 때 도 7에 나타내는 것과 같이 디펜던트 뷰 비디오 스트림은 베이스 뷰 비디오 스트림을 이용하여 압축되어 있다. 그때 디펜던트 뷰 비디오 스트림은 베이스 뷰 비디오 스트림과 비디오 스트림 속성이 동일하다. 여기서, 베이스 뷰 비디오 스트림에 관한 비디오 스트림 속성정보는 2D 클립정보파일의 스트림 속성정보(2220) 내에서 PID=0x1011에 대응되어 있다. 한편, 디펜던트 뷰 비디오 스트림에 관한 비디오 스트림 속성정보는 디펜던트 뷰 클립정보파일의 스트림 속성정보 내에서 PID=0x1012 또는 0x1013에 대응되어 있다. 따라서, 이들 비디오 스트림 속성정보 간에서는 도 22에 나타내는 각 항목, 즉, 코덱, 해상도, 어스펙트 비 및 프레임 레이트가 일치해야 한다. 코덱의 종류가 일치하고 있으면, 베이스 뷰 픽처와 디펜던트 뷰 픽처 사이에 부호화에서의 참조관계가 성립하므로 각 픽처를 복호 할 수 있다. 해상도, 어스펙트 비 및 프레임 레이트가 모두 일치하고 있으면, 좌우의 영상의 화면 표시를 동기 시킬 수 있다. 그러므로, 이들 영상을 3D 영상으로 시청자에게 위화감을 주는 일 없이 보일 수가 있다.
(ii) 디펜던트 뷰 클립정보파일의 엔트리 맵은 디펜던트 뷰 비디오 스트림에 할당된 테이블을 포함한다. 그 테이블은 도 23(a)에 나타내는 테이블(2300)과 마찬가지로 엔트리 맵 헤더와 엔트리포인트를 포함한다. 엔트리 맵 헤더는 대응하는 디펜던트 뷰 비디오 스트림의 PID, 즉 0x1012 또는 0x1013를 나타낸다. 각 엔트리포인트는 한 쌍의 PTS와 SPN을 하나의 EP_ID에 대응시키고 있다. 각 엔트리포인트의 PTS는 디펜던트 뷰 비디오 스트림에 포함되는 어느 하나의 GOP의 선두의 픽처의 PTS와 동일하다. 각 엔트리포인트의 SPN은 동일한 엔트리포인트에 속하는 PTS가 나타내는 픽처가 저장된 소스 패킷 군의 선두의 SPN과 같다. 여기서, SPN은 파일 DEP에 속하는 소스 패킷 군, 즉 서브 TS를 구성하는 소스 패킷 군에 선두에서부터 순서대로 할당된 일련번호를 의미한다. 각 엔트리포인트의 PTS는 2D 클립정보파일의 엔트리 맵 중 베이스 뷰 비디오 스트림에 할당된 테이블 내의 엔트리포인트의 PTS와 일치해야 한다. 즉, 동일한 3D VAU에 포함되는 한 쌍의 픽처의 일방을 포함하는 소스 패킷 군의 선두에 엔트리포인트가 설정되어 있을 때는 항상 타방을 포함하는 소스 패킷 군의 선두에도 엔트리포인트가 설정되어 있지 않으면 안 된다.
도 26은 베이스 뷰 비디오 스트림(2610)과 디펜던트 뷰 비디오 스트림(2620)으로 설정된 엔트리포인트의 예를 나타내는 모식도이다. 각 비디오 스트림(2610, 2620)에서는 선두에서부터 세어서 동일한 순번의 GOP가 동일한 재생기간의 영상을 나타낸다. 도 26을 참조하면, 베이스 뷰 비디오 스트림(2610)에서는 선두에서부터 세어서 홀수 번째에 위치하는 GOP#1, GOP#3, GOP#5의 각 선두에 엔트리포인트(2601B, 2603B, 2605B)가 설정되어 있다. 그와 함께, 디펜던트 뷰 비디오 스트림(2620)에서도 선두에서부터 세어서 홀수 번째에 위치하는 GOP#1, GOP#3, GOP#5의 각 선두에 엔트리포인트(2601D, 2603D, 2605D)가 설정되어 있다. 그 경우, 재생장치(102)는 예를 들어 GOP#3에서 3D 영상의 재생을 개시할 때 대응하는 엔트리포인트(2603B, 2603D)의 SPN으로부터 파일 SS 내의 재생개시위치의 SPN을 즉시 산정할 수 있다. 특히 엔트리포인트(2603B, 2603D)가 모두 데이터블록의 선단에 설정되어 있을 때, 도 24(e)로부터 이해되는 것과 같이 엔트리포인트(2603B, 2603D)의 SPN의 합이 파일 SS 내의 재생개시위치의 SPN과 같다. 도 24(e)의 설명에서 설명한 것과 같이, 그 소스 패킷의 수로부터는 파일 SS 내의 재생개시위치의 부분이 기록된 섹터의 LBN을 산정할 수 있다. 이렇게 해서 3D 영상의 재생에서도 인터럽트 재생 등, 비디오 스트림의 랜덤 액세스를 필요로 하는 처리의 응답속도를 향상시킬 수 있다.
≪2D 플레이리스트 파일≫
도 27은 2D 플레이리스트 파일의 데이터구조를 나타내는 모식도이다. 도 2에 나타내는 제 1 플레이리스트 파일(00001.mpls)(221)은 이 데이터구조를 갖는다. 도 27을 참조하면, 2D 플레이리스트 파일(221)은 메인 패스(2701)와 2개의 서브 패스(2702, 2703)를 포함한다.
메인 패스(2701)는 플레이아이템 정보(PI)의 배열이며, 파일 2D(241)의 주요한 재생경로, 즉 재생 대상의 부분과 그 재생순서를 규정한다. 각 PI는 고유의 플레이아이템 ID=#N(N=1, 2, 3, …)로 식별된다. 각 PI#N은 주요한 재생경로의 다른 재생구간을 한 쌍의 PTS로 규정한다. 그 쌍의 일방은 그 재생구간의 개시시각 (In-Time)을 나타내고, 타방은 종료시각 (Out-Time)을 나타낸다. 또, 메인 패스(2701) 내에서의 PI의 순서는 재생경로 내에서의 대응하는 재생구간의 순서를 나타낸다.
각 서브 패스(2702, 2703)는 서브 플레이아이템 정보(SUB_PI)의 배열이며, 파일 2D(241)의 주요한 재생경로에 병렬로 부수 가능한 재생경로를 규정한다. 그 재생경로는 파일 2D(241) 중 메인 패스(2701)가 나타내는 부분과는 다른 부분과 그 재생순서를 의미한다. 그 외에, 그 재생경로는 파일 2D(241)와는 다른 파일 2D 에 다중화된 스트림 데이터의 재생대상 부분과 그 재생순서를 의미해도 좋다. 그 재생경로가 의미하는 스트림 데이터는 메인 패스(2701)에 따라서 파일 2D(241)로부터 재생되는 2D 영상과 동시에 재생되어야 할 다른 2D 영상을 나타낸다. 그 다른 2D 영상은 예를 들어 픽처 인 픽처 방식에서의 부 영상, 브라우저 화면, 팝업메뉴, 또는 자막을 포함한다. 특히 텍스트 자막 파일에 대한 재생경로는 서브 패스에 의해 규정된다. 서브 패스(2702, 2703)에는 2D 플레이리스트 파일(221)로의 등록 순으로 일련번호“0”, “1”이 할당되어 있다. 그 일련번호는 서브 패스 ID로서 각 서브 패스(2702, 2703)의 식별에 이용된다. 각 서브 패스(2702, 2703)에서는 SUB_PI가 고유의 서브 플레이아이템 ID=#M(M=1, 2, 3, …)에 의해 식별된다. 각 SUB_PI#M는 재생경로가 다른 재생구간을 한 쌍의 PTS에서 규정한다. 그 쌍의 일방은 그 재생구간의 재생개시시각을 나타내고, 타방은 재생종료시각을 나타낸다. 또, 각 서브 패스(2702, 2703) 내에서의 SUB_PI의 순서는 재생경로 내에서의 대응하는 재생구간의 순서를 나타낸다.
도 28은 PI#N의 데이터구조를 나타내는 모식도이다. 도 28을 참조하면, PI#N은 참조클립정보(2801), 재생개시시각(In_Time)(2802), 재생종료시각(Out_Time) (2803), 커넥션 컨디션(2804) 및 스트림 선택테이블(이하, STN(Stream Number) 테이블이라고 한다)(2805)을 포함한다. 참조클립정보(2801)는 2D 클립정보파일(231)을 식별하기 위한 정보이다. 재생개시시각(2802)과 재생종료시각(2803)은 파일 2D(241)의 재생대상부분의 선단과 후단의 각 PTS를 나타낸다. 커넥션 컨디션(2804)은 재생개시시각(2802)과 재생종료시각(2803)에 의해 규정된 재생구간에서의 영상을 1개 앞의 PI#(N-1)에 의해 규정된 재생구간에서의 영상에 접속할 때의 조건을 규정한다. STN 테이블(2805)은 재생개시시각(2802)에서부터 재생종료시각(2803)까지 사이에 재생장치(102) 내의 디코더에 의해 파일 2D(241)로부터 선택 가능한 엘리멘터리 스트림의 일람표이다.
SUB_PI의 데이터구조는 도 28에 나타내는 PI의 데이터구조와 참조클립정보, 재생개시시각 및 재생종료시각을 포함하는 점에서 공통된다. 특히 SUB_PI의 재생개시시각과 재생종료시각은 PI의 그들과 동일한 시간 축 상의 값으로 나타낸다. 또, SUB_PI는 「SP 커넥션 컨디션」이라고 하는 필드를 포함한다. SP 커넥션 컨디션은 PI의 커넥션 컨디션과 동일한 의미를 갖는다.
[커넥션 컨디션]
커넥션 컨디션(이하, CC라고 한다)(2804)은 “1”, “5”, “6”의 3종류의 값을 취할 수 있다. CC(2804)가 “1”일 때 PI#N에 의해 규정되는 파일 2D(241)의 부분에서 재생되는 영상은 직전의 PI#(N-1)에 의해 규정되는 파일 2D(241)의 부분에서 재생되는 영상과는 반드시 심리스로 접속되지 않아도 좋다. 한편, CC(2804)가“5”또는“6”일 때 이들 양쪽의 영상이 반드시 심리스로 접속되지 않으면 안 된다.
도 29 (a), (b)는 각각 CC(2904)가 “5”, “6”일 때 접속대상의 2개의 재생구간(2901, 2902) 사이의 관계를 나타내는 모식도이다. 여기서, PI#(N-1)는 파일 2D(241)의 제 1 부분(2901)을 규정하고, PI#N은 파일 2D(241)의 제 2 부분(2902)을 규정한다. 도 29(a)를 참조하면, CC(2904)가 “5”일 때 2개의 PI#(N-1), PI#N 사이에서 STC가 중단되어 있어도 좋다. 즉, 제 1 부분(2901)의 후단의 PTS#1과 제 2 부분(2902)의 선단의 PTS#2는 불연속이라도 좋다. 단, 몇 개의 제약조건이 만족되지 않으면 된다. 예를 들어 제 1 부분(2901)에 이어서 제 2 부분(2902)을 디코더에 공급한 때에도 그 디코더가 복호 처리를 순조롭게 지속할 수 있도록 각 부분(2901, 2902)이 작성되어 있지 않으면 안 된다. 또, 제 1 부분(2901)에 포함되는 오디오 스트림의 최후의 프레임을 제 2 부분(2902)에 포함되는 오디오 스트림의 선두 프레임과 중복시키지 않으면 안 된다. 한편, 도 29(b)를 참조하면, CC(2904)가 “6”일 때 제 1 부분(2901)과 제 2 부분(2902)은 디코더의 복호 처리상 일련의 부분으로 취급할 수 있는 것이 아니면 안 된다. 즉, 제 1 부분(2901)과 제 2 부분(2902) 사이에서는 STC와 ATC가 모두 연속이 아니면 안 된다. 마찬가지로 SP 커넥션 컨디션이 “5” 또는“6”일 때 인접하는 2개의 SUB_PI에 의해 규정되는 파일 2D의 부분간에서는 STC와 ATC가 모두 연속이 아니면 안 된다.
[STN 테이블]
도 28을 다시 참조하면, STN 테이블(2805)은 스트림 등록정보의 배열이다. 「스트림 등록정보」란 재생개시시각(2802)에서 재생종료시각(2803)까지 사이에 메인 TS로부터 재생 대상으로 선택 가능한 엘리멘터리 스트림을 개별로 나타내는 정보이다. 스트림 번호(STN)(2806)는 스트림 등록정보에 개별로 할당된 일련번호이며, 재생장치(102)에 의해 각 엘리멘터리 스트림의 식별에 이용된다. 또, STN(2806)는 동일한 종류의 엘리멘터리 스트림 사이에서는 선택의 우선순위를 나타낸다. 스트림 등록정보는 스트림 엔트리(2809)와 스트림 속성정보(2810)를 포함한다. 스트림 엔트리(2809)는 스트림 패스 정보(2807)와 스트림 식별정보(2808)를 포함한다. 스트림 패스 정보(2807)는 선택 대상의 엘리멘터리 스트림이 속하는 파일 2D를 나타내는 정보이다. 예를 들어 스트림 패스 정보(2807)가 “메인 패스”를 나타낼 때 그 파일 2D는 참조클립정보(2801)가 나타내는 2D 클립정보파일에 대응하는 것이다. 한편, 스트림 패스 정보(2807)가 “서브 패스 ID=1”을 나타낼 때 선택 대상의 엘리멘터리 스트림이 속하는 파일 2D는 서브 패스 ID=1의 서브 패스에 포함되는 SUB_PI의 참조클립정보가 나타내는 2D 클립정보파일에 대응하는 것이다. 그 SUB_PI가 규정하는 재생개시시각 또는 재생종료시각중 어느 하나는 STN 테이블(2805)을 포함하는 PI가 규정하는 재생개시시각(2802)에서 재생종료시각(2803)까지의 기간에 포함된다. 스트림 식별정보(2808)는 스트림 패스 정보(2807)에 의해 특정되는 파일 2D에 다중화되어 있는 엘리멘터리 스트림의 PID를 나타낸다. 이 PID가 나타내는 엘리멘터리 스트림이 재생개시시각(2802)에서 재생종료시각(2803)까지 사이에 선택 가능하다. 스트림 속성정보(2810)는 각 엘리멘터리 스트림의 속성정보를 나타낸다. 예를 들어 오디오 스트림, PG 스트림, 텍스트 자막 스트림 및 IG 스트림의 각 속성정보는 언어의 종류를 나타낸다. 또, 텍스트 자막 스트림의 속성정보는 그 텍스트 문자 열의 묘사에 이용 가능한 폰트 세트를 규정한다.
[2D 플레이리스트 파일에 따른 2D 영상의 재생]
도 30은 2D 플레이리스트 파일(00001.mpls)(221)이 나타내는 PTS와 파일 2D(01000.m2ts)(241)로부터 재생되는 부분 사이의 대응관계를 나타내는 모식도이다. 도 30을 참조하면, 2D 플레이리스트 파일(221)의 메인 패스(2701)에서는 PI#1은 재생개시시각 IN1을 나타내는 PTS#1과 재생종료시각 OUT1을 나타내는 PTS#2를 규정한다. PI#1의 참조클립정보는 2D 클립정보파일(01000.clpi)(231)을 나타낸다. 재생장치(102)는 2D 플레이리스트 파일(221)에 따라서 2D 영상을 재생할 때 먼저 PI#1로부터 PTS#1, #2를 판독한다. 다음에, 재생장치(102)는 2D 클립정보파일(231)의 엔트리 맵을 참조하여 PTS#1, #2에 대응하는 파일 2D(241) 내의 SPN#1, #2를 검색한다. 이어서, 재생장치(102)는 SPN#1, #2로부터 각각에 대응하는 섹터 수를 산정한다. 또, 재생장치(102)는 이들 섹터 수와 파일 2D(241)의 파일 엔트리를 이용하여 재생 대상의 2D 익스텐트 군 EXT2D[0], …, EXT2D[n]이 기록된 섹터 군 P1의 선단의 LBN#1과 후단의 LBN#2를 특정한다. 섹터 수의 산정과 LBN의 특정은 도 23(b), (c)를 이용하여 설명한 것과 같다. 재생장치(102)는 최후에 LBN#1에서 LBN#2까지의 범위를 BD-ROM 드라이브(121)에 지정한다. 이에 의해 그 범위의 섹터 군 P1에서 2D 익스텐트 군 EXT2D[0], …, EXT2D[n]에 속하는 소스 패킷 군이 판독된다. 마찬가지로 PI#2가 나타내는 PTS#3, #4의 쌍은 먼저 2D 클립정보파일(231)의 엔트리 맵을 이용하여 SPN#3, #4의 쌍으로 변환된다. 다음에, 파일 2D(241)의 파일 엔트리를 이용하여 SPN#3, #4의 쌍이 LBN#3, #4의 쌍으로 변환된다. 또, LBN#3에서 LBN#4까지의 범위의 섹터 군 P2에서 2D 익스텐트 군에 속하는 소스 패킷 군이 판독된다. PI#3이 나타내는 PTS#5, #6의 쌍에서 SPN#5, #6의 쌍으로의 변환, SPN#5, #6의 쌍에서 LBN#5, #6의 쌍으로의 변환 및 LBN#5에서 LBN#6까지의 범위의 섹터 군 P3로부터의 소스 패킷 군의 판독도 마찬가지이다. 이렇게 해서 재생장치(102)는 2D 플레이리스트 파일(221)의 메인 패스(2701)에 따라서 파일 2D(241)에서 2D 영상을 재생할 수 있다.
2D 플레이리스트 파일(221)은 엔트리 마크(3001)를 포함해도 좋다. 엔트리 마크(3001)는 메인 패스(2701) 중 실제로 재생이 개시되어야 할 시점을 나타낸다. 예를 들어 도 30에 나타내는 것과 같이 PI#1에 대해서 복수의 엔트리 마크(3001)가 설정되어도 좋다. 엔트리 마크(3001)는 특히 선두검색 재생에서 재생개시위치의 검색에 이용된다. 예를 들어 2D 플레이리스트 파일(221)이 영화 타이틀의 재생경로를 규정할 때 엔트리 마크(3001)는 각 챕터의 선두에 부여된다. 이에 의해 재생장치(102)는 그 영화 타이틀을 챕터별로 재생할 수 있다.
≪3D 플레이리스트 파일≫
도 31은 3D 플레이리스트 파일의 데이터구조를 나타내는 모식도이다. 도 2에 나타내는 제 2 플레이리스트 파일(00002.mpls)(222)은 이 데이터구조를 갖는다. 제 2 플레이리스트 파일(00003.mpls)(223)도 마찬가지이다. 도 31을 참조하면, 3D 플레이리스트 파일(222)은 메인 패스(3101), 서브 패스(3102) 및 확장 데이터(3103)를 포함한다.
메인 패스(3101)는 도 3(a)에 나타내는 메인 TS의 재생경로를 규정한다. 따라서, 메인 패스(3101)는 도 27에 나타내는 2D 플레이리스트 파일(221)의 메인 패스(2701)와 실질적으로 동일하다. 즉, 2D 재생모드의 재생장치(102)는 3D 플레이리스트 파일(222)의 메인 패스(3101)에 따라서 파일 2D(241)에서 2D 영상을 재생할 수 있다. 한편, 메인 패스(3101)는 도 27에 나타내는 메인 패스(2701)와는 다음의 점에서 다르다 : 각 PI의 STN 테이블은 어느 하나의 그래픽스 스트림 또는 텍스트 자막 스트림의 PID에 하나의 STN을 대응시키고 있을 때에는 그 STN에 하나의 오프셋 시퀀스 ID를 더 할당하고 있다.
서브 패스(3102)는 도 3(b)에 나타내는 서브 TS의 재생경로, 즉 파일 DEP(242)의 재생경로를 규정한다. 그 외에, 서브 패스(3102)는 도 3(c)에 나타내는 텍스트 자막 스트림의 재생경로를 규정해도 좋다. 서브 패스(3102)의 데이터구조는 도 27에 나타내는 2D 플레이리스트 파일(241)의 서브 패스(2702, 2703)의 데이터구조와 동일하다. 따라서, 그 동일한 데이터구조의 상세, 특히 SUB_PI의 데이터구조의 상세에 대한 설명은 도 27을 이용한 설명을 원용한다.
서브 패스(3102)의 SUB_PI#N(N=1, 2, 3, …)은 메인 패스(3101)의 PI#N과 일 대 일로 대응한다. 또, 각 SUB_PI#N이 규정하는 재생개시시각과 재생종료시각은 각각 대응하는 PI#N이 규정하는 재생개시시각과 재생종료시각과 같다. 서브 패스(3102)는 서브 패스 타입(3110)을 더 포함한다. 「서브 패스 타입」은 일반적으로 메인 패스와 서브 패스 사이에서 재생처리가 동기해야할 것인지 여부를 나타낸다. 3D 플레이리스트 파일(222)에서는 특히 서브 패스 타입(3110)이 3D 재생모드의 종류, 즉 서브 패스(3102)에 따라서 재생되어야 할 디펜던트 뷰 비디오 스트림의 종류를 나타낸다. 도 31에서는 서브 패스 타입(3110)은 그 값이 「3D L/R」이므로 3D 재생모드가 L/R 모드일 것, 즉 라이트 뷰 비디오 스트림이 재생 대상임을 나타낸다. 한편, 서브 패스 타입(3110)은 그 값이 「3D 깊이」일 때 3D 재생모드가 깊이 모드일 것, 즉 깊이 맵 스트림이 재생 대상임을 나타낸다. 3D 재생모드의 재생장치(102)는 서브 패스 타입(3110)의 값이 「3D L/R」 또는 「3D 깊이」임을 검출한 때 메인 패스(3101)에 따른 재생처리와 서브 패스(3102)에 따른 재생처리를 동기 시킨다.
확장 데이터(3103)는 3D 재생모드의 재생장치(102)에 의해서만 해석되는 부분이며, 2D 재생모드의 재생장치(102)에는 무시된다. 확장 데이터(3103)는 특히 확장 스트림 선택테이블(3130)을 포함한다. 「확장 스트림 선택테이블(STN_table_SS)」(이하, STN 테이블 SS라고 한다)는 3D 재생모드에서 메인 패스(3101) 내의 각 PI가 나타내는 STN 테이블에 추가되어야 할 스트림 등록정보의 배열이다. 이 스트림 등록정보는 서브 TS로부터 재생 대상으로 선택 가능한 엘리멘터리 스트림을 나타낸다.
[STN 테이블]
도 32는 3D 플레이리스트 파일(222)의 메인 패스(3101)가 포함하는 STN 테이블(3205)을 나타내는 모식도이다. 도 32를 참조하면, STN(3206)=5, 6, …, 11이 할당된 스트림 식별정보(3208)가 PG 스트림, 텍스트 자막 스트림, 또는 IG 스트림의 PID를 나타낸다. 그 경우, STN(3206)=5, 6, …, 11이 할당된 스트림 속성정보(3210)는 참조 오프셋 ID(3201)와 오프셋 보정치(3202)를 더 포함한다.
파일 DEP(242)에서는 도 13에 나타내는 것과 같이 각 비디오 시퀀스의 VAU#1에 오프셋 메타 데이터 (1310)가 배치되어 있다. 참조 오프셋 ID(stream_ref_offset_id)(3201)는 그 오프셋 메타 데이터(1310)가 포함하는 오프셋 시퀀스 ID(1311) 중 어느 하나와 같다. 즉, 참조 오프셋 ID(3201)는 그 오프셋 메타 데이터(1310)가 포함하는 복수의 오프셋 시퀀스 중에서 STN(3206)=5, 6, …, 11의 각각에 대응되어야 할 오프셋 시퀀스를 규정한다.
오프셋 보정치(stream_offset_adjustment)(3202)는 참조 오프셋 ID(3201)가 규정하는 오프셋 시퀀스에 포함되는 각 오프셋 값에 더해져야 할 값을 나타낸다. 오프셋 보정치(3202)는 예를 들어 표시장치(103)의 화면 사이즈가 3D 영상 콘텐츠의 작성시에 상정되어 있는 사이즈와 크게 다른 경우, 재생장치(102)에 의해 각 오프셋 값에 더해진다. 이에 의해 레프트 뷰와 라이트 뷰의 2D 그래픽스 영상 간에서의 양안 시차가 적정한 범위에 포함된다.
[STN 테이블 SS]
도 33은 STN 테이블 SS(3130)의 데이터구조를 나타내는 모식도이다. 도 33을 참조하면, STN 테이블 SS(3130)는 스트림 등록정보 열 3301, 3302, 3303, …을 포함한다. 스트림 등록정보 열 3301, 3302, 3303, …은 메인 패스(3101) 내의 PI#1, #2, #3, …에 개별로 대응하고, 3D 재생모드의 재생장치(102)에 의해 대응하는 PI 내의 STN 테이블에 포함되는 스트림 등록정보 열과 조합되어서 이용된다. 각 PI에 대한 스트림 등록정보 열(3301)은 팝업기간의 오프셋(Fixed_offset_during_Popup)(3311)과 디펜던트 뷰 비디오 스트림의 스트림 등록정보 열(3312)을 포함한다.
팝업기간의 오프셋(3311)은 IG 스트림에서 팝업메뉴가 재생되는지 여부를 나타낸다. 3D 재생모드의 재생장치(102)는 그 오프셋(3311)의 값에 의해 비디오 플레인과 그래픽스 플레인의 각 표시 모드(presentation mode)를 바꾼다. 여기서, 비디오 플레인의 표시 모드에는 베이스 뷰(B)-디펜던트 뷰(D) 표시 모드와 B-B 표시 모드의 2종류가 있다. 그래픽스 플레인의 표시 모드에는 1 플레인+오프셋 모드와 1 플레인+제로 오프셋 모드의 2종류가 있다. 예를 들어 팝업기간의 오프셋(3311)의 값이 “0”일 때 IG 스트림에서는 팝업메뉴가 재생되지 않는다. 그때 비디오 플레인의 표시 모드로 B-D 표시 모드가 선택되고, 그래픽스 플레인의 표시 모드로 1 플레인+오프셋 모드가 선택된다. 한편, 팝업기간의 오프셋(3311)의 값이 “1”일 때 IG 스트림에서 팝업메뉴가 재생된다. 그때 비디오 플레인의 표시 모드로 B-B 표시 모드가 선택되고, 그래픽스 플레인의 표시 모드로 1 플레인+제로 오프셋 모드가 선택된다.
「B-D 표시 모드」에서는 재생장치(102)가 레프트 뷰와 라이트 뷰의 비디오 플레인을 교호로 출력한다. 따라서, 표시장치(103)의 화면에는 레프트 뷰와 라이트 뷰와의 프레임이 교호로 표시되므로 시청자에게는 그것들이 3D 영상으로 보인다. 「B-B 표시 모드」에서는 재생장치(102)가 동작 모드를 3D 재생모드로 유지한 채로(특히 프레임 레이트를 3D 재생시의 값, 예를 들어 48프레임/초로 유지한 채로), 베이스 뷰 비디오 스트림에서 복호된 플레인 데이터만을 1프레임당 2회씩 출력한다. 따라서, 표시장치(103)의 화면에는 레프트 뷰와 라이트 뷰중 어느 하나의 비디오 플레인 밖에 표시되지 않으므로 시청자에게는 이들이 2D 영상으로밖에 보이지 않는다.
「1 플레인+오프셋 모드」에서는 재생장치(102)가 오프셋 제어에 의해, 메인 TS 내의 그래픽스 스트림 또는 텍스트 자막 스트림에서 레프트 뷰와 라이트 뷰의 그래픽스 플레인의 쌍을 생성하여 교호로 출력한다. 이에 의해 표시장치(103)의 화면에는 레프트 뷰와 라이트 뷰의 그래픽스 플레인이 교호로 표시되므로, 시청자에게는 이들이 3D 그래픽스 영상으로 보인다. 「1 플레인+제로 오프셋 모드」에서는 재생장치(102)가 동작 모드를 3D 재생모드로 유지한 채로 오프셋 제어를 일시적으로 정지시키고, 메인 TS 내의 그래픽스 스트림 또는 텍스트 자막 스트림에서 복호 된 그래픽스 플레인을 1프레임당 2회씩 출력한다. 따라서, 표시장치(103)의 화면에는 레프트 뷰와 라이트 뷰중 어느 하나의 그래픽스 플레인 밖에 표시되지 않으므로 시청자에게는 이들이 2D 그래픽스 영상으로밖에 보이지 않는다.
3D 재생모드의 재생장치(102)는 PI별로 팝업기간의 오프셋(3311)을 참조하여 IG 스트림에서 팝업메뉴가 재생될 때는 B-B 표시 모드와 1 플레인+제로 오프셋 모드를 선택한다. 이에 의해 팝업메뉴가 표시되는 동안에 다른 3D 영상이 일시적으로 2D 영상으로 변경되므로 팝업메뉴의 시인성·조작성이 향상한다.
디펜던트 뷰 비디오 스트림의 스트림 등록정보 열(3312)은 서브 TS로부터 재생 대상으로 선택 가능한 디펜던트 뷰 비디오 스트림을 나타내는 스트림 등록정보를 포함한다. 이 스트림 등록정보 열(3312)은 대응하는 PI 내의 STN 테이블에 포함되는 스트림 등록정보 열 중 베이스 뷰 비디오 스트림을 나타내는 것과 조합되어서 이용된다. 3D 재생모드의 재생장치(102)는 STN 테이블 내중 어느 하나의 스트림 등록정보를 판독할 때 그 스트림 등록정보에 조합된 STN 테이블 SS 내의 스트림 등록정보 열도 자동으로 판독한다. 이에 의해 재생장치(102)는 2D 재생모드를 단지 3D 재생모드로 전환할 때 설정이 완료한 STN 및 언어 등의 스트림 속성을 동일하게 유지할 수 있다.
도 33을 참조하면, 디펜던트 뷰 비디오 스트림의 스트림 등록정보 열(3312)은 일반적으로 복수의 스트림 등록정보(SS_dependet_view_block)(3320)를 포함한다. 이들은 대응하는 PI 내의 스트림 등록정보 중 베이스 뷰 비디오 스트림을 나타내는 것과 동일한 수이다. 각 스트림 등록정보(3320)는 STN(3321), 스트림 엔트리(3322) 및 스트림 속성정보(3323)를 포함한다. STN(3321)는 스트림 등록정보(3320)에 개별적으로 할당된 일련번호이며, 대응하는 PI 내의 조합 대상의 스트림 등록정보의 STN과 같다. 스트림 엔트리(3322)는 서브 패스 ID 참조정보(ref_to_Subpath_id)(3331), 스트림 파일 참조정보(ref_to_subClip_entry_id)(3332) 및 PID(ref_to_stream_PID_subclip) (3333)를 포함한다. 서브 패스 ID 참조정보(3331)는 디펜던트 뷰 비디오 스트림의 재생경로를 규정하는 서브 패스의 서브 패스 ID를 나타낸다. 스트림 파일 참조정보(3332)는 그 디펜던트 뷰 비디오 스트림이 저장된 파일 DEP를 식별하기 위한 정보이다. PID(3333)는 그 디펜던트 뷰 비디오 스트림의 PID이다. 스트림 속성정보(3323)는 그 디펜던트 뷰 비디오 스트림의 속성, 예를 들어 프레임 레이트, 해상도 및 비디오 포맷을 포함한다. 특히 이들은 대응하는 PI 내의 조합 대상의 스트림 등록정보가 나타내는 베이스 뷰 비디오 스트림의 것과 공통이다.
[3D 플레이리스트 파일에 따른 3D 영상의 재생]
도 34는 3D 플레이리스트 파일(00002.mpls)(222)이 나타내는 PTS와 제 1 파일 SS(01000.ssif)(244A)로부터 재생되는 부분 사이의 대응관계를 나타내는 모식도이다. 도 34를 참조하면, 3D 플레이리스트 파일(222)의 메인 패스(3401)에서는 PI#1은 재생개시시각 IN1을 나타내는 PTS#1과 재생종료시각 OUT1을 나타내는 PTS#2를 규정한다. PI#1의 참조클립정보는 2D 클립정보파일(01000.clpi)(231)을 나타낸다. 한편, 서브 패스 타입이 「3D L/R」를 나타내는 서브 패스(3402)에서는 SUB_PI#1이 PI#1과 동일한 PTS#1, #2를 규정한다. SUB_PI#1의 참조클립정보는 디펜던트 뷰 클립정보파일(02000.clpi)(232)을 나타낸다.
재생장치(102)는 3D 플레이리스트 파일(222)에 따라서 3D 영상을 재생할 때 먼저 PI#1과 SUB_PI#1에서 PTS#1,#2를 판독한다. 다음에 재생장치(102)는 2D 클립정보파일(231)의 엔트리 맵을 참조하여 PTS#1, #2에 대응하는 파일 2D(241) 내의 SPN#1, #2를 검색한다. 그와 병행하여 재생장치(102)는 디펜던트 뷰 클립정보파일(232)의 엔트리 맵을 참조하여 PTS#1, #2에 대응하는 파일 DEP(242) 내의 SPN#11, #12를 검색한다. 이어서, 재생장치(102)는 도 24(e)의 설명에서 설명한 것과 같이, 각 클립정보파일(231, 232)의 익스텐트 기점(2242, 2420)을 이용하여 제 1 파일 SS(244A)의 선두에서부터 재생개시위치까지의 소스 패킷 수 SPN#21을 SPN#1, #11로부터 산정한다. 재생장치(102)는 마찬가지로 제 1 파일 SS(244A)의 선두에서부터 재생종료위치까지의 소스 패킷 수 SPN#22를 SPN#2, #12로부터 산정한다. 또, 재생장치(102)는 SPN#21, #22의 각각에 대응하는 섹터 수를 산정한다. 재생장치(102)는 이어서, 이들 섹터 수와 제 1 파일 SS(244A)의 파일 엔트리를 이용하여 재생 대상의 익스텐트 SS 군 EXTSS[0], …, EXTSS[n]이 기록된 섹터 군 P11의 선단의 LBN#1과 후단의 LBN#2를 특정한다. 섹터 수의 산정과 LBN의 특정은 도 24(e)의 설명에서 서술한 것과 같다. 재생장치(102)는 최후에 LBN#1에서 LBN#2까지의 범위를 BD-ROM 드라이브(121)에 지정한다. 이에 의해 그 범위의 섹터 군 P11에서 익스텐트 SS 군 EXTSS[0], …, EXTSS[n]에 속하는 소스 패킷 군이 판독된다. 마찬가지로 PI#2와 SUB_PI#2가 나타내는 PTS#3, #4의 쌍은 먼저 클립정보파일(231, 232)의 각 엔트리 맵을 이용하여 SPN#3, #4의 쌍과 SPN#13, #14의 쌍으로 변환된다. 다음에, SPN#3, #13으로부터는 제 1 파일 SS(244A)의 선두에서부터 재생개시위치까지의 소스 패킷 수SPN#23이 산정되고, SPN#4, #14로부터는 제 1 파일 SS(244A)의 선두에서부터 재생종료위치까지의 소스 패킷 수 SPN#24가 산정된다. 이어서, 제 1 파일 SS(244A)의 파일 엔트리를 이용하여 SPN#23, #24의 쌍이 LBN#3, #4의 쌍으로 변환된다. 또, LBN#3에서 LBN#4까지의 범위의 섹터 군 P12로부터 익스텐트 SS 군에 속하는 소스 패킷 군이 판독된다.
상기의 판독처리와 병행하여 재생장치(102)는 도 24(e)의 설명에서 설명한 것과 같이, 각 클립정보파일(231, 232)의 익스텐트 기점(2242, 2420)을 이용하여 각 익스텐트 SS로부터 베이스 뷰 익스텐트를 추출하고, 나머지의 디펜던트 뷰 익스텐트와 병렬로 복호한다. 이렇게 해서 재생장치(102)는 3D 플레이리스트 파일(222)에 따라서 제 1 파일 SS(244A)로부터 3D 영상을 재생할 수 있다.
≪인덱스 테이블≫
도 35는 도 2에 나타내는 인덱스 파일(index.bdmv)(211)의 데이터구조를 나타내는 모식도이다. 도 35를 참조하면, 인덱스 파일(211)은 인덱스 테이블(3510), 3D 존재 플래그(3520) 및 2D/3D 선호 플래그(3530)를 포함한다.
인덱스 테이블(3510)은 「퍼스트 플레이」(3501), 「탑 메뉴」(3502) 및 「타이틀 k」(3503)(k=1, 2, …, n:N은 1 이상의 정수)라고 하는 항목을 포함한다. 각 항목에는 무비 오브젝트 MVO-2D, MVO-3D, …, 또는 BD-J 오브젝트 BDJO-2D , BDJO-3D, … 중 어느 하나가 대응되어 있다. 사용자의 조작 또는 애플리케이션 프로그램에 의해 타이틀 또는 메뉴가 호출될 때마다 재생장치(102)의 제어부는 인덱스 테이블(3510)의 대응하는 항목을 참조한다. 또, 제어부는 그 항목에 대응되어 있는 오브젝트를 BD-ROM 디스크(101)로부터 호출하고, 그에 따라서 다양한 처리를 실행한다. 구체적으로는 항목 「퍼스트 플레이」(3501)에는 디스크(101)가 BD-ROM 드라이브(121)에 삽입되었을 때에 호출되어야 할 오브젝트가 지정되어 있다. 항목 「톱 메뉴」(3502)에는 예를 들어 사용자의 조작으로 「메뉴에 돌아간다」라고 하는 커멘드가 입력되었을 때에 표시장치(103)에 메뉴를 표시시키기 위한 오브젝트가 지정되어 있다. 항목 「타이틀 k」(3503)에는 디스크(101) 상의 콘텐츠를 구성하는 타이틀이 개별로 할당되어 있다. 예를 들어 사용자의 조작에 의해 재생 대상의 타이틀이 지정되었을 때 그 타이틀이 할당되어 있는 항목 「타이틀 k」에는 그 타이틀에 대응하는 AV스트림 파일로부터 영상을 재생하기 위한 오브젝트가 지정되어 있다.
도 35에 나타내는 예에서는 항목 「타이틀 1」과 항목 「타이틀 2」가 2D 영상의 타이틀에 할당되어 있다. 항목 「타이틀 1」에 대응되어 있는 무비 오브젝트 MVO-2D는 2D 플레이리스트 파일(00001.mpls)(221)을 이용한 2D 영상의 재생처리에 관한 명령 군을 포함한다. 재생장치(102)에 의해 항목 「타이틀 1」이 참조된 때 그 무비 오브젝트 MVO-2D에 따라서 2D 플레이리스트 파일(221)이 디스크(101)로부터 판독되고, 그것에 규정된 재생경로를 따라서 2D 영상의 재생처리가 실행된다. 항목 「타이틀 2」에 대응되어 있는 BD-J 오브젝트 BDJO-2D는 2D 플레이리스트 파일(221)을 이용한 2D 영상의 재생처리에 관한 애플리케이션 관리 테이블을 포함한다. 재생장치(102)에 의해 항목 「타이틀 2」가 참조된 때 그 BD-J 오브젝트 BDJO-2D 내의 애플리케이션 관리 테이블에 따라서 JAR 파일(261)로부터 Java 애플리케이션 프로그램이 호출되어서 실행된다. 이에 의해 2D 플레이리스트 파일(221)이 디스크(101)로부터 판독되고, 그것에 규정된 재생경로를 따라서 2D 영상의 재생처리가 실행된다.
또, 도 35에 나타내는 예에서는 항목 「타이틀 3」과 항목 「타이틀 4」가 3D 영상의 타이틀에 할당되어 있다. 항목 「타이틀 3」에 대응되어 있는 무비 오브젝트 MVO-3D는 2D 플레이리스트 파일(221)을 이용한 2D 영상의 재생처리에 관한 명령 군에 더하여 3D 플레이리스트 파일(00002.mpls)(222), (00003.mpls)(223)중 어느 하나를 이용한 3D 영상의 재생처리에 관한 명령 군을 포함한다. 항목 「타이틀 4」에 대응되어 있는 BD-J 오브젝트 BDJO-3D에서는 애플리케이션 관리 테이블이 2D 플레이리스트 파일(221)을 이용한 2D 영상의 재생처리에 관한 Java 애플리케이션 프로그램에 더하여, 3D 플레이리스트 파일(222, 223)중 어느 하나를 이용한 3D 영상의 재생처리에 관한 Java 애플리케이션 프로그램을 규정한다.
3D 존재 플래그(3520)는 BD-ROM 디스크(101)에 3D 영상 콘텐츠가 기록되어 있는가 여부를 나타내는 플래그이다. 재생장치(102)는 BD-ROM 드라이브(121)에 BD-ROM 디스크(101)가 삽입되었을 때 먼저 그 3D 존재 플래그(3520)를 체크한다. 3D 존재 플래그(3520)가 오프인 경우, 재생장치(102)는 3D 재생모드를 선택할 필요가 없다. 따라서, 재생장치(102)는 표시장치(103)에 대하여 HDMI 인증을 실시하는 일 없이 2D 재생모드로 신속하게 이행할 수 있다. 여기서, 「HDMI 인증」이란 재생장치(102)가 HDMI 케이블(122)을 통해서 표시장치(103) 사이에 CEC 메시지를 교환하고, 3D 영상의 재생에 대응 가능한가 여부 등을 표시장치(103)에 문의하는 처리를 말한다. HDMI 인증이 스킵됨으로써 BD-ROM 디스크(101)의 삽입에서 2D 영상의 재생 개시까지의 시간이 단축된다.
2D/3D 선호 플래그(3530)는 재생장치와 표시장치가 모두 2D 영상과 3D 영상의 어느 재생에도 대응 가능할 때 3D 영상의 재생을 우선으로 해야할지 여부를 지정하는 플래그이다. 2D/3D 선호 플래그(3530)는 콘텐츠 공급자에 의해 설정된다. 재생장치(102)는 BD-ROM 디스크(101)의 3D 존재 플래그(3520)가 온일 때 계속해서 2D/3D 선호 플래그(3530)를 또 체크한다. 2D/3D 선호 플래그(3530)가 온인 경우, 재생장치(102)는 사용자에게 재생모드를 선택시키는 일 없이 HDMI 인증을 실시하고, 그 결과에 의해 2D 재생모드와 3D 재생모드 중 하나로 동작한다. 즉, 재생장치(102)는 재생모드의 선택 화면을 표시하지 않는다. 따라서, HDMI 인증의 결과, 표시장치(103)가 3D 영상의 재생에 대응 가능하면, 재생장치(102)는 3D 재생모드로 기동할 수 있다. 이에 의해 프레임 레이트의 전환 등, 2D 재생모드에서 3D 재생모드로의 이행 처리에 기인하는 기동의 지연을 회피할 수 있다.
[3D 영상 타이틀의 선택시에서의 플레이리스트 파일의 선택]
도 35에 나타내는 예에서는 재생장치(102)는 인덱스 테이블(3510)의 항목 「타이틀 3」을 참조했을 때 무비 오브젝트 MVO-3D에 따라서 먼저 다음의 판별 처리를 실시한다 : (1) 3D 존재 플래그(3520)가 온인지 오프인지, (2) 재생장치(102) 자신이 3D 영상의 재생에 대응하고 있는가 여부, (3) 2D/3D 선호 플래그(3530)가 온인지 오프인지, (4) 사용자가 3D 재생모드를 선택하고 있는가 여부, (5) 표시장치(103)가 3D 영상의 재생에 대응하고 있는가 여부 및 (6) 재생장치(102)의 3D 재생모드가 L/R 모드와 깊이 모드의 어느 것인가. 재생장치(102)는 다음에 그들 판별 결과에 의해 어느 하나의 플레이리스트 파일(221-223)을 재생 대상으로 선택한다. 한편, 재생장치(102)는 항목 「타이틀 4」를 참조했을 때 BD-J 오브젝트 BDJO-3D 내의 애플리케이션 관리 테이블에 따라서 JAR 파일(261)로부터 Java 애플리케이션 프로그램을 호출하여 실행한다. 이에 의해 먼저 상기의 판별 처리 (1)-(6)이 이루어지고, 다음에 그 판별 결과에 의해 플레이리스트 파일의 선택이 이루어진다.
도 36은 상기의 판별 처리(1)-(6)를 이용하여 재생 대상의 플레이리스트 파일을 선택하는 처리의 플로차트이다. 여기서, 그 선택 처리의 전제로 재생장치(102)가 제 1 플래그와 제 2 플래그를 포함할 때를 상정한다. 제 1 플래그는 재생장치(102)가 3D 영상의 재생에 대응 가능한가 여부를 나타낸다. 예를 들어 제 1 플래그가 “0”일 때에는 재생장치(102)는 2D 영상의 재생에만 대응 가능하고, “1”일 때에는 3D 영상의 재생에도 대응 가능하다. 제 2 플래그는 3D 재생모드가 L/R모드와 깊이 모드의 어느 것인지를 나타낸다. 예를 들어 제 2 플래그가 “0”일 때에는 3D 재생모드는 L/R 모드이고, “1”일 때에는 깊이 모드이다. 또, 3D 존재 플래그(3520)와 2D/3D 선호 플래그(3530)의 각각이 온일 때의 값을 “1”로 하고, 오프일 때의 값을“0”으로 한다.
스텝 S3601에서는 재생장치(102)는 3D 존재 플래그(3520)의 값을 체크한다. 그 값이 “1”일 때 처리는 스텝 S3602로 진행된다. 그 값이 “0”일 때 처리는 스텝 S3607로 진행된다.
스텝 S3602에서는 재생장치(102)는 제 1 플래그의 값을 체크한다. 그 값이 “1”일 때 처리는 스텝 S3603로 진행된다. 그 값이 “0”일 때 처리는 스텝 S3607로 진행된다.
스텝 S3603에서는 재생장치(102)는 2D/3D 선호 플래그(3530)의 값을 체크한다. 그 값이 “0”일 때 처리는 스텝 S3604로 진행된다. 그 값이 “1”일 때 처리는 스텝 S3605로 진행된다.
스텝 S3604에서는 재생장치(102)는 표시장치(103)에 메뉴를 표시시키고, 사용자에게 2D 재생모드와 3D 재생모드 중 어느 하나를 선택하게 한다. 사용자가 리모컨(105) 등을 조작하여 3D 재생모드를 선택한 때 처리는 스텝 S3605로 진행되고, 2D 재생모드를 선택한 때 처리는 스텝 S3607로 진행된다.
스텝 S3605에서는 재생장치(102)는 HDMI 인증을 실시하고, 표시장치(103)가 3D 영상의 재생에 대응하고 있는가 여부를 체크한다. 구체적으로는 재생장치(102)는 HDMI 케이블(122)을 통해 표시장치(103) 사이에 CEC 메시지를 교환하고, 표시장치(103)가 3D 영상의 재생에 대응하고 있는가 여부를 표시장치(103)에 문의한다. 표시장치(103)가 3D 영상의 재생에 대응하고 있을 때 처리는 스텝 S3606으로 진행된다. 표시장치(103)가 3D 영상의 재생에 대응하고 있지 않을 때 처리는 스텝 S3607로 진행된다.
스텝 S3606에서는 재생장치(102)는 제 2 플래그의 값을 체크한다. 그 값이 “0”일 때 처리는 스텝 S3608로 진행된다. 그 값이 “1”일 때 처리는 스텝 S3609로 진행된다.
스텝 S3607에서는 재생장치(102)는 2D 플레이리스트 파일(221)을 재생 대상으로 선택한다. 또, 그때 재생장치(102)는 표시장치(103)에 3D 영상의 재생이 선택되지 않았던 이유를 표시시켜도 좋다. 그 후, 처리는 종료한다.
스텝 S3608에서는 재생장치(102)는 L/R 모드용의 3D 플레이리스트 파일(222)을 재생 대상으로 선택한다. 그 후, 처리는 종료한다.
스텝 S3609에서는 재생장치(102)는 깊이 모드용의 3D 플레이리스트 파일(222)을 재생 대상으로 선택한다. 그 후, 처리는 종료한다.
<2D 재생장치의 구성>
2D 재생모드의 재생장치(102)는 BD-ROM 디스크(101)에서 2D 영상 콘텐츠를 재생할 때 2D 재생장치로 동작한다. 도 37은 2D 재생장치(3700)의 기능 블록도이다. 도 37을 참조하면, 2D 재생장치(3700)는 BD-ROM 드라이브(3701), 재생부(3702) 및 제어부(3703)를 포함한다. 재생부(3702)는 리드 버퍼(3721), 프리로드 버퍼(3723), 폰트 버퍼(3724), 시스템 타깃 디코더(3725) 및 플레인 가산부(3726)를 포함한다. 제어부(3703)는 동적 시나리오 메모리(3731), 정적 시나리오 메모리(3732), 사용자 이벤트 처리부(3733), 프로그램 실행부(3734), 재생제어부(3735) 및 플레이어 변수 기억부(3736)를 포함한다. 재생부(3702)와 제어부(3703)는 서로 다른 집적회로에 탑재되어 있다. 그 외에 양자가 단일의 집적회로에 통합되어 있어도 좋다.
BD-ROM 드라이브(3701)는 내부에 BD-ROM 디스크(101)가 삽입되었을 때 그 디스크(101)에 레이저 광을 조사하고, 그 반사광의 변화를 검출한다. 또, 그 반사광의 광량의 변화로부터 디스크(101)에 기록된 데이터를 판독한다. 구체적으로는 BD-ROM 드라이브(3701)는 광 픽업, 즉 광학 헤드를 구비하고 있다. 그 광학 헤드는 반도체 레이저, 콜리메이터 렌즈, 빔 스플리터, 대물렌즈, 집광렌즈 및 광검출기를 포함한다. 반도체 레이저로부터 출사된 광 빔은 콜리메이터 렌즈, 빔 스플리터 및 대물렌즈를 순으로 지나서 디스크(101)의 기록 층에 모인다. 모인 광 빔은 그 기록 층에서 반사/회절된다. 그 반사/회절 광은 대물렌즈, 빔 스플리터 및 집광렌즈를 지나서 광 검출기에 모인다. 광검출기는 그 집광량에 따른 레벨의 재생신호를 생성한다. 또, 그 재생신호로부터 데이터가 복조된다.
BD-ROM 드라이브(3701)는 재생제어부(3735)로부터의 요구에 따라서 BD-ROM 디스크(101)에서 데이터를 판독한다. 그 데이터 중 파일 2D의 익스텐트, 즉 2D 익스텐트는 리드 버퍼(3721)에 전송되고, 텍스트 자막 파일은 프리로드 버퍼(3723)에 전송되며, 폰트 세트는 폰트 버퍼(3724)에 전송되고, 동적 시나리오 정보는 동적 시나리오 메모리(3731)에 전송되며, 정적 시나리오 정보는 정적 시나리오 메모리(3732)에 전송된다. 「동적 시나리오 정보」는 인덱스 파일, 무비 오브젝트 파일 및 BD-J 오브젝트 파일을 포함한다. 「정적 시나리오 정보」는 2D 플레이리스트 파일과 2D 클립정보파일을 포함한다.
리드 버퍼(3721), 프리로드 버퍼(3723), 폰트 버퍼(3724), 동적 시나리오 메모리(3731) 및 정적 시나리오 메모리(3732)는 모두 버퍼 메모리이다. 리드 버퍼(3721), 프리로드 버퍼(3723) 및 폰트 버퍼(3724)로는 재생부(3702) 내의 메모리소자가 이용되고, 동적 시나리오 메모리(3731) 및 정적 시나리오 메모리(3732)로는 제어부(3703) 내의 메모리소자가 이용된다. 그 외에, 단일의 메모리소자의 다른 영역이 이들 버퍼 메모리(3721-3723, 3731, 3732)의 일부 또는 전부로 이용되어도 좋다.
시스템 타깃 디코더(3725)는 리드 버퍼(3721)로부터 2D 익스텐트를 소스 패킷 단위로 판독하여 다중 분리 처리를 실시하고, 분리된 각 엘리멘터리 스트림에 대하여 복호 처리를 실시한다. 여기서, 각 엘리멘터리 스트림의 복호에 필요한 정보, 예를 들어 코덱의 종류 및 스트림의 속성은 미리 재생제어부(3735)로부터 시스템 타깃 디코더(3725)에 보내지고 있다. 또, 시스템 타깃 디코더(3725)는 복호 후의 프라이머리 비디오 스트림, 세컨더리 비디오 스트림, IG 스트림 및 PG 스트림을 각각 주 영상 플레인 데이터, 부 영상 플레인 데이터, IG 플레인 데이터 및 PG 플레인 데이터로 VAU 단위로 송출한다. 또, 시스템 타깃 디코더(3725)는 복호 후의 프라이머리 오디오 스트림과 세컨더리 오디오 스트림을 믹싱하여 표시장치(103)의 내장 스피커(103A) 등, 음성 출력장치에 송출한다. 한편, 시스템 타깃 디코더(3725)는 프리로드 버퍼(3723)로부터 텍스트 자막 스트림을 텍스트 데이터 엔트리 단위로 판독하고, 그것이 나타내는 텍스트 문자 열을 해석한다. 시스템 타깃 디코더(3725)는 이어서, 폰트 버퍼(3724)에 저장된 폰트 세트를 이용하여 그 텍스트 문자 열에 대응하는 비트 맵 데이터를 PG 플레인 데이터로 송출한다. 그 외에, 시스템 타깃 디코더(3725)는 프로그램 실행부(3734)로부터 그래픽스 데이터를 수신한다. 그 그래픽스 데이터는 메뉴 등의 GUI용 그래픽스 부품을 화면에 표시하기 위한 것이며, JPEG 또는 PNG 등의 래스터 데이터로 표현되고 있다. 시스템 타깃 디코더(3725)는 그 그래픽스 데이터를 처리하여 이미지 플레인 데이터로 송출한다. 또, 시스템 타깃 디코더(3725)의 상세에 대하여는 후술한다.
플레인 가산부(3726)는 시스템 타깃 디코더(3725)로부터 주 영상 플레인 데이터, 부 영상 플레인 데이터, IG 플레인 데이터, PG 플레인 데이터 및 이미지 플레인 데이터를 수신하고, 그들을 서로 중첩해서 하나의 영상프레임 또는 필드로 합성한다. 합성 후의 영상데이터는 표시장치(103)에 송출되어 그 화면에 표시된다.
사용자 이벤트 처리부(3733)는 리모컨(105) 또는 재생장치(102)의 프런트 패널을 통해 사용자의 조작을 검출하고, 그 조작의 종류에 따라서 프로그램 실행부(3734) 또는 재생제어부(3735)에 처리를 의뢰한다. 예를 들어 사용자가 리모컨(105)의 버튼을 눌러서 팝업메뉴의 표시를 지시한 때 사용자 이벤트 처리부(3733)는 그 눌림을 검출하여 그 버튼을 식별한다. 또, 사용자 이벤트 처리부(3733)는 프로그램 실행부(3734)에 그 버튼에 대응하는 커멘드의 실행, 즉 팝업메뉴의 표시 처리를 의뢰한다. 한편, 예를 들어 사용자가 리모컨(105)의 빨리 감기 또는 되감기 버튼을 눌렀을 때 사용자 이벤트 처리부(3733)는 그 눌림을 검출하여 그 버튼을 식별한다. 또, 사용자 이벤트 처리부(3733)는 또 재생제어부(3735)에 현재 재생 중의 플레이리스트의 빨리 감기 또는 되감기 처리를 의뢰한다.
프로그램 실행부(3734)는 프로세서이며, 동적 시나리오 메모리(3731)에 저장된 무비 오브젝트 파일 및 BD-J 오브젝트 파일로부터 프로그램을 판독하여 실행한다. 또, 프로그램 실행부(3734)는 각 프로그램에 따라서 다음의 제어를 실행한다 : (1) 재생제어부(3735)에 대하여 플레이리스트 재생처리를 명령한다 ; (2) 메뉴용 또는 게임용의 그래픽스 데이터를 PNG 또는 JPEG의 래스터 데이터로 생성하고, 그것을 시스템 타깃 디코더(3725)에 전송하여 다른 영상데이터에 합성시킨다. 이와 같은 제어의 구체적인 내용은 프로그램의 설계를 통해서 비교적 자유롭게 설계할 수 있다. 즉, 그러한 제어내용은 BD-ROM 디스크(101)의 오서링 공정 중 무비 오브젝트 파일 및 BD-J 오브젝트 파일의 프로그래밍 공정에 의해 정해진다.
재생제어부(3735)는 2D 익스텐트 및 인덱스 파일 등, 각종의 데이터를 BD-ROM 디스크(101)로부터 리드 버퍼(3721), 프리로드 버퍼(3723), 폰트 버퍼(3724), 동적 시나리오 메모리(3731) 및 정적 시나리오 메모리(3732)에 전송하는 처리를 제어한다. 그 제어에는 도 2에 나타내는 디렉터리/파일 구조를 관리하는 파일 시스템이 이용된다. 즉, 재생제어부(3735)는 파일 오픈용의 시스템 콜을 이용하여 BD-ROM 드라이브(3701)에 각종의 파일을 각 버퍼 메모리(3721-3723, 3731, 3732)에 전송시킨다. 여기서, 「파일 오픈」이란 다음의 일련의 처리를 말한다. 먼저 시스템 콜에 의해 파일 시스템에 검색 대상의 파일명이 부여되고, 그 파일명이 디렉터리/파일 구조로부터 검색된다. 그 검색에 성공한 때 재생제어부(3735) 내의 메모리에는 먼저 전송 대상의 파일의 파일 엔트리가 전송되고, 그 메모리 내에 FCB(File Control Block)가 생성된다. 그 후, 전송 대상의 파일의 파일 핸들이 파일 시스템에서 재생제어부(3735)에 되돌아온다. 이후, 재생제어부(3735)는 그 파일 핸들을 BD-ROM 드라이브(3701)에 제시함으로써 BD-ROM 드라이브(3701)에 그 전송대상의 파일을 BD-ROM 디스크(101)로부터 각 버퍼 메모리(3721-3723, 3731, 3732)에 전송시킬 수 있다.
재생제어부(3735)는 BD-ROM 드라이브(3701)와 시스템 타깃 디코더(3725)를 제어하여 파일 2D로부터 영상데이터와 음성데이터를 복호시킨다. 구체적으로는 재생제어부(3735)는 먼저 프로그램 실행부(3734)로부터의 명령, 또는 사용자 이벤트 처리부(3733)로부터의 의뢰에 따라서 정적 시나리오 메모리(3732)에서 2D 플레이리스트 파일을 판독하고 그 내용을 해석한다. 다음에, 재생제어부(3735)는 그 해석된 내용, 특히 재생경로에 따라서 BD-ROM 드라이브(3701)와 시스템 타깃 디코더(3725)에 재생 대상의 파일 2D를 지정하여, 그 판독처리 및 복호 처리를 지시한다. 이와 같은 플레이리스트 파일에 따른 재생처리를 「플레이리스트 재생처리」라고 한다. 재생경로에 텍스트 자막 스트림이 포함되는 경우, 재생제어부(3735)는 STN 테이블 내의 스트림 속성정보로부터 필요한 폰트 세트를 특정하고, 그들을 BD-ROM 디스크(101)로부터 폰트 버퍼(3724)에 미리 전송시킨다.
그 외에, 재생제어부(3735)는 정적 시나리오 정보를 이용하여 플레이어 변수 기억부(3736)에 각종의 플레이어 변수를 설정한다. 또, 재생제어부(3735)는 이들 플레이어 변수를 참조하여 시스템 타깃 디코더(3725)에 복호 대상의 엘리멘터리 스트림을 지정하고, 또한 각 엘리멘터리 스트림의 복호에 필요한 정보를 제공한다.
플레이어 변수 기억부(3736)는 플레이어 변수를 기억하기 위한 레지스터 군이다. 플레이어 변수의 종류에는 시스템 파라미터(SPRM)와 범용의 파라미터(GPRM)가 있다. SPRM는 재생장치(102)의 상태를 나타낸다. 도 38은 SPRM의 일람표이다. 각 SPRM에는 일련번호(3801)가 할당되고, 각 일련번호(3801)에 변수치(3802)가 개별로 대응되어 있다. 주된 SPRM의 내용은 이하와 같다. 여기서, 괄호 내의 숫자는 일련번호(3801)를 나타낸다.
SPRM(0) : 언어 코드
SPRM(1) : 프라이머리 오디오 스트림 번호
SPRM(2) : 자막 스트림 번호
SPRM(3) : 앵글 번호
SPRM(4) : 타이틀 번호
SPRM(5) : 챕터 번호
SPRM(6) : 프로그램 번호
SPRM(7) : 셀 번호
SPRM(8) : 선택 키 정보
SPRM(9) : 내비게이션 타이머
SPRM(10) : 재생시각정보
SPRM(11) : 가라오케용 믹싱 모드
SPRM(12) : 시청제한용 나라정보
SPRM(13) : 시청제한 레벨(Parental level)
SPRM(14) : 플레이어 설정치(비디오)
SPRM(15) : 플레이어 설정치(오디오)
SPRM(16) : 오디오 스트림용 언어코드
SPRM(17) : 오디오 스트림용 언어코드(확장)
SPRM(18) : 자막 스트림용 언어코드
SPRM(19) : 자막 스트림용 언어코드(확장)
SPRM(20) : 플레이어 리전 코드(Player region code)
SPRM(21) : 세컨더리 비디오 스트림 번호
SPRM(22) : 세컨더리 오디오 스트림 번호
SPRM(23) : 재생상태
SPRM(24) : 예비
SPRM(25) : 예비
SPRM(26) : 예비
SPRM(27) : 예비
SPRM(28) : 예비
SPRM(29) : 예비
SPRM(30) : 예비
SPRM(31) : 예비
SPRM(10)는 복호 처리 중의 픽처의 PTS를 나타내고, 그 픽처가 복호되어 주 영상 플레인 메모리에 기록될 때마다 갱신된다. 따라서, SPRM(10)를 참조하면, 현재의 재생 시점을 알 수 있다.
SPRM(13)의 시청제한 레벨은 소정의 제한 연령을 나타내고, BD-ROM 디스크(101)에 기록된 타이틀의 시청에 대한 시청제한 제어에 이용된다. SPRM(13)의 값은 재생장치(102)의 사용자에 의해 재생장치(102)의 OSD 등을 이용하여 설정된다. 여기서, 「시청제한 제어」란 시청자의 연령에 의해 타이틀의 시청을 제한하는 처리를 말한다. 재생장치(102)는 각 타이틀에 대한 시청제한 제어를 예를 들어 다음과 같이 실시한다. 재생장치(102)는 먼저 BD-ROM 디스크(101)로부터 그 타이틀의 시청이 허가된 시청자의 연령을 판독하고 SPRM(13)의 값과 비교한다. 그 연령이 SPRM(13)의 값 이상이면 재생장치(102)는 그 타이틀의 재생을 계속한다. 그 연령이 SPRM(13)의 값 미만이면 재생장치(102)는 그 타이틀의 재생을 정지한다.
SPRM(16)의 오디오 스트림용 언어코드 및 SPRM(18)의 자막 스트림용 언어코드는 재생장치(102)의 디폴트의 언어코드를 나타낸다. 이들은 재생장치(102)의 OSD 등을 이용하여 사용자에게 변경시킬 수도 있고, 프로그램 실행부(3734)를 통해서 애플리케이션 프로그램으로 변경시킬 수도 있다. 예를 들어 SPRM(16)가 「영어」를 나타내고 있을 때 재생제어부(3735)는 플레이리스트 재생처리에서, 먼저 현시점에서의 재생구간을 나타내는 PI, 즉 현재 PI가 포함하는 STN 테이블에서 「영어」의 언어코드를 포함하는 스트림 엔트리를 검색한다. 재생제어부(3735)는 다음에, 그 스트림 엔트리의 스트림 식별정보로부터 PID를 추출하여 시스템 타깃 디코더(3725)에 인계한다. 이에 의해 그 PID의 오디오 스트림이 시스템 타깃 디코더(3725)에 의해 선택되어 복호된다. 이러한 처리는 무비 오브젝트 파일 또는 BD-J 오브젝트 파일을 이용하여 재생제어부(3735)에 실행시킬 수 있다.
플레이어 변수는 재생처리 중 재생제어부(3735)에 의해 재생 상태의 변화에 따라서 갱신된다. 특히 SPRM(1), SPRM(2), SPRM(21) 및 SPRM(22)가 갱신된다. 이들은 순서대로 처리 중의 오디오 스트림, 자막 스트림, 세컨더리 비디오 스트림 및 세컨더리 오디오 스트림의 각 STN을 나타낸다. 예를 들어 프로그램 실행부(3734)에 의해 SPRM(1)가 변경되었을 때를 상정한다. 재생제어부(3735)는 먼저 변경 후의 SPRM(1)가 나타내는 STN을 이용하여 현재 PI 내의 STN 테이블에서 그 STN을 포함하는 스트림 엔트리를 검색한다. 다음에, 재생제어부(3735)는 그 스트림 엔트리 내의 스트림 식별정보로부터 PID를 추출하여 시스템 타깃 디코더(3725)에 인계한다. 이에 의해 그 PID의 오디오 스트림이 시스템 타깃 디코더(3725)에 의해 선택되어 복호된다. 이렇게 해서 재생 대상의 오디오 스트림이 전환된다. 마찬가지로 재생 대상의 자막 및 세컨더리 비디오 스트림을 전환할 수도 있다.
≪2D 플레이리스트 재생처리≫
도 39는 재생제어부(3735)에 의한 2D 플레이리스트 재생처리의 플로차트이다. 2D 플레이리스트 재생처리는 2D 플레이리스트 파일에 따른 플레이리스트 재생처리이며, 재생제어부(3735)가 정적 시나리오 메모리(3732)에서 2D 플레이리스트 파일을 판독함으로써 개시된다.
스텝 S3901에서는 재생제어부(3735)는 먼저 2D 플레이리스트 파일 내의 메인 패스로부터 PI를 1개 판독하고, 현재 PI로 설정한다. 재생제어부(3735)는 다음에, 그 현재 PI의 STN 테이블에서 재생 대상의 엘리멘터리 스트림의 PID를 선택하고, 또한 이들 복호에 필요한 속성정보를 특정한다. 선택된 PID와 속성정보는 시스템 타깃 디코더(3725)에 지시된다. 또, 재생제어부(3735)는 2D 플레이리스트 파일 내의 서브 패스로부터 현재 PI에 부수하는 SUB_PI를 특정한다. SUB_PI가 텍스트 자막 스트림의 재생구간을 규정하는 경우, 재생제어부(3735)는 STN 테이블 내의 스트림 속성정보로부터 필요한 폰트 세트를 특정하고, 그것을 BD-ROM 디스크(101)로부터 폰트 버퍼(3724)에 미리 전송시킨다. 그 후, 처리는 스텝 S3902로 진행된다.
스텝 S3902에서는 재생제어부(3735)는 현재 PI로부터 참조클립정보, 재생 개시시각 IN1을 나타내는 PTS#1 및 재생종료시각 OUT1을 나타내는 PTS#2를 판독한다. 그 참조클립정보로부터 재생 대상의 파일 2D 에 대응하는 2D 클립정보파일이 특정된다. 또, 현재 PI에 부수하는 SUB_PI가 존재할 때는 그것들로부터도 동일한 정보가 판독된다. 그 후, 처리는 스텝 S3903로 진행된다.
스텝 S3903에서는 재생제어부(3735)는 2D 클립정보파일의 엔트리 맵을 참조하여 PTS#1, #2에 대응하는 파일 2D 내의 SPN#1, #2를 검색한다. SUB_PI가 나타내는 PTS의 쌍도 마찬가지로 SPN의 쌍으로 변환된다. 그 후, 처리는 스텝 S3904로 진행된다.
스텝 S3904에서는 재생제어부(3735)는 SPN#1, #2로부터 각각에 대응하는 섹터 수를 산정한다. 구체적으로는 재생제어부(3735)는 먼저 SPN#1, #2의 각각과 소스 패킷 1개당의 데이터량 192바이트의 곱을 구한다. 재생제어부(3735)는 다음에, 각 곱을 섹터 1개당의 데이터량 2048바이트로 나누고 그 몫을 구한다:N1=SPN#1×192/2048, N2=SPN#2×192/2048. 몫 N1, N2는 메인 TS 중 SPN#1, #2의 각각이 할당된 소스 패킷보다 앞의 부분이 기록된 섹터의 총수와 같다. SUB_PI가 나타내는 PTS의 쌍으로부터 변환된 SPN의 쌍도 마찬가지로 섹터 수의 쌍으로 변환된다. 그 후, 처리는 스텝 S3905로 진행된다.
스텝 S3905에서는 재생제어부(3735)는 스텝 S3904에서 얻어진 섹터 수 N1, N2의 각각으로부터 재생 대상의 2D 익스텐트 군의 선단과 후단의 LBN을 특정한다. 구체적으로는 재생제어부(3735)는 재생 대상의 파일 2D의 파일 엔트리를 참조하여 2D 익스텐트 군이 기록된 섹터 군의 선두에서부터 세어서 (N1+1)번째의 섹터의 LBN=LBN#1과 (N2+1)번째의 섹터의 LBN=LBN#2를 특정한다. 또, 재생제어부(3735)는 LBN#1로부터 LBN#2까지의 범위를 BD-ROM 드라이브(121)에 지정한다. SUB_PI가 나타내는 PTS의 쌍으로부터 변환된 섹터 수의 쌍도 마찬가지로 LBN의 쌍으로 변환되어서 BD-ROM 드라이브(121)에 지정된다. 그 결과, 지정된 범위의 섹터 군으로부터 2D 익스텐트 군에 속하는 소스 패킷 군이 얼라인드 유닛 단위로 판독된다. 그 후, 처리는 스텝 S3906으로 진행된다.
스텝 S3906에서는 재생제어부(3735)는 메인 패스에 미처리의 PI가 남아 있는가 여부를 체크한다. 남아 있을 때는 처리가 스텝 S3901에서 반복된다. 남아 있지 않을 때는 처리가 종료한다.
≪시스템 타깃 디코더≫
도 40은 시스템 타깃 디코더(3725)의 기능 블록도이다. 도 40을 참조하면, 시스템 타깃 디코더(3725)는 소스 디 패킷다이저(4010), ATC 카운터(4020), 제 1의 27MHz 클록(4030), PID 필터(4040), STC 카운터(STC1)(4050), 제 2의 27MHz 클록(4060), 주 영상 디코더(4070), 부 영상 디코더(4071), PG 디코더(4072), IG 디코더(4073), 주 음성 디코더(4074), 부 음성 디코더(4075), 텍스트 자막 디코더(4076), 이미지 프로세서(4080), 주 영상 플레인 메모리(4090), 부 영상 플레인 메모리(4091), PG 플레인 메모리(4092), IG 플레인 메모리(4093), 이미지 플레인 메모리(4094) 및 음성 믹서(4095)를 포함한다.
소스 디 패킷다이저(4010)는 리드 버퍼(3721)로부터 소스 패킷을 판독하고, 그 중에서 TS 패킷을 인출하여 PID 필터(4040)에 송출한다. 소스 디 패킷다이저(4010)는 그 송출 시각을 각 소스 패킷의 ATS가 나타내는 시각에 맞춘다. 구체적으로는 소스 디 패킷다이저(4010)는 먼저 ATC 카운터(4020)가 생성하는 ATC의 값을 감시한다. 여기서, ATC의 값은 ATC 카운터(4020)에 의해 제 1의 27MHz 클록(4030)의 클록 신호의 펄스에 따라서 증가된다. 소스 디 패킷다이저(4010)는 다음에, ATC의 값이 소스 패킷의 ATS와 일치한 순간, 그 소스 패킷으로부터 인출된 TS 패킷을 PID 필터(4040)에 전송한다. 이와 같은 송출 시각의 조절에 의해, 소스 디 패킷다이저(4010)로부터 PID 필터(4040)로의 TS 패킷의 평균전송속도는 도 22에 나타내는 2D 클립정보파일(231) 내의 시스템 레이트(2211)ㄴ에서 규정되는 값 RTS를 넘지 않는다.
PID 필터(4040)은 먼저 소스 디 패킷다이저(4010)로부터 송출된 TS 패킷이 포함하는 PID를 감시한다. 그 PID가 재생제어부(3735)로부터 미리 지정된 PID에 일치한 때 PID 필터(4040)는 그 TS 패킷을 선택하고, 그 PID가 나타내는 엘리멘터리 스트림의 복호에 적합한 디코더(4070-4075)에 전송한다(단, 텍스트 자막 디코더(4076)는 제외하다). 예를 들어 PID가 0x1011일 때 그 TS 패킷은 주 영상 디코더(4070)에 전송된다. 한편, PID가 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F 및 0x1400-0x141F의 각 범위에 속할 때 TS 패킷은 각각 부 영상 디코더(4071), 주 음성 디코더(4074), 부 음성 디코더(4075), PG 디코더(4072) 및 IG 디코더(4073)에 전송된다.
또, PID 필터(4040)는 각 TS 패킷의 PID를 이용하여 그 TS 패킷 중에서 PCR을 검출한다. PID 필터(4040)는 그때 STC 카운터(4050)의 값을 소정치로 설정한다. 여기서, STC 카운터(4050)의 값은 제 2의 27MHz 클록(4060)의 클록 신호의 펄스에 따라서 증가된다. 또, STC 카운터(4050)에 설정되어야 할 값은 미리 재생제어부(3735)로부터 PID 필터(4040)에 지시되어 있다. 각 디코더(4070-4076)는 STC 카운터(4050)의 값을 STC로 이용한다. 구체적으로는 각 디코더(4070-4076)는 먼저 PID 필터(4040)로부터 수신한 TS 패킷을 PES 패킷에 재구성한다. 각 디코더(4070-4076)는 다음에, 그 PES 페이로드가 포함하는 데이터의 복호 처리의 시기를 그 PES 헤더에 포함되는 PTS 또는 DTS가 나타내는 시각에 따라서 조절한다.
주 영상 디코더(4070)는 도 40에 나타내는 것과 같이 트랜스포트 스트림 버퍼(TB:Transport Stream Buffer)(4001), 다중화 버퍼(MB:Multiplexing Buffer)(4002), 엘리멘터리 스트림 버퍼(EB:Elementary Stream Buffer)(4003), 압축 영상 디코더(DEC)(4004) 및 복호 픽처 버퍼(DPB:Decoded Picture Buffer)(4005)를 포함한다.
TB(4001), MB(4002) 및 EB(4003)는 모두 버퍼 메모리이며, 각각 주 영상 디코더(4070)에 내장된 메모리소자의 한 영역을 이용한다. 그 외에, 이들중 어느 하나 또는 모두가 다른 메모리소자로 분리되어 있어도 좋다. TB(4001)는 PID 필터(4040)로부터 수신된 TS 패킷을 그대로 축적한다. MB(4002)는 TB(4001)에 축적된 TS 패킷으로부터 복원된 PES 패킷을 축적한다. 또, TB(4001)로부터 MB(4002)에 TS 패킷이 전송될 때 그 TS 패킷으로부터 TS헤더가 제거된다. EB(4003)는 PES 패킷으로부터 부호화된 VAU를 추출하여 저장한다. 그 VAU에는 압축 픽처, 즉, I픽처, B픽처 및 P픽처가 저장되어 있다. 또, MB(4002)로부터 EB(4003)에 데이터가 전송될 때 그 PES 패킷으로부터 PES 헤더가 제거된다.
DEC(4004)는 압축 픽처의 복호 처리에 특화한 하드웨어 디코더이며, 특히 그 복호 처리의 가속기 기능을 구비한 LSI로 구성되어 있다. DEC(4004)는 EB(4003) 내의 각 VAU로부터 픽처를 원래의 PES 패킷에 포함되는 DTS가 나타내는 시각에 복호한다. DEC(4004)는 그 외에, 도 12에 나타내는 복호스위치정보(1250)를 이용하여 각 VAU로부터 픽처를 그 DTS에 관계없이 순차 복호해도 좋다. 그 복호 처리에서는 DEC(4004)는 미리 그 VAU의 헤더를 해석하여, 그 VAU 내에 저장된 압축 픽처의 압축 부호화방식과 스트림 속성을 특정하고, 그것들에 의한 복호 방법을 선택한다. 여기서, 그 압축 부호화방식은 예를 들어 MPEG-2, MPEG-4 AVC 및 VC1을 포함한다. 또, DEC(4004)는 복호된 비 압축의 픽처를 DPB(4005)에 전송한다.
DPB(4005)는 TB(4001), MB(4002) 및 EB(4003)와 동일한 버퍼 메모리이며, 주 영상 디코더(4070)에 내장된 메모리소자의 한 영역을 이용한다. DPB(4005)는 그 외에, 다른 버퍼 메모리(4001, 4002, 4003)와는 다른 메모리소자로 분리되어 있어도 좋다. DPB(4005)는 복호 후의 픽처를 일시적으로 보유한다. DEC(4004)에 의해 P픽처 또는 B픽처가 복호될 때 DPB(4005)는 DEC(4004)로부터의 지시에 따라서 보유하고 있는 복호 후의 픽처로부터 참조 픽처를 검색하여 DEC(4004)에 제공한다. 또, DPB(4005)는 보유하고 있는 각 픽처를 원래의 PES 패킷에 포함되는 PTS가 나타내는 시각에 주 영상 플레인 메모리(4090)에 기록한다.
부 영상 디코더(4071)는 주 영상 디코더(4070)와 동일한 구성을 포함한다. 부 영상 디코더(4071)은 먼저 PID 필터(4040)로부터 수신된 세컨더리 비디오 스트림의 TS 패킷을 비 압축의 픽처에 복호한다. 부 영상 디코더(4071)는 다음에, 그 PES 패킷에 포함되는 PTS가 나타내는 시각에 비 압축의 픽처를 부 영상 플레인 메모리(4091)에 기록한다.
PG 디코더(4072)는 PID 필터(4040)로부터 수신된 TS 패킷을 비 압축의 그래픽스 데이터에 복호하고, 그 PES 패킷에 포함되는 PTS가 나타내는 시각에 PG 플레인 메모리(4092)에 기록한다. 구체적으로는 PG디코더(4072)는 먼저 PG 스트림 내의 각 디스플레이 세트에 속하는 ODS를 그래픽스 오브젝트에 복호하고 오브젝트 버퍼에 기록한다. PG 디코더(4072)는 다음에, 그 그래픽스 오브젝트를 오브젝트 버퍼로부터 플레인 메모리에 기록한다. PG 디코더(4072)는 특히 파이프라인을 이용하여 그래픽스 오브젝트를 오브젝트 버퍼에 기록하는 처리와 다른 그래픽스 오브젝트를 오브젝트 버퍼로부터 플레인 메모리에 기록하는 처리를 동시에 실행한다. 이에 의해 PG 디코더(4072)는 주 영상 디코더(4070) 등, 다른 디코더와의 정밀한 동기를 유지할 수 있다.
IG 디코더(4073)는 PID 필터(4040)로부터 수신된 TS 패킷을 비 압축의 그래픽스 데이터에 복호하고, 그 PES 패킷에 포함되는 PTS가 나타내는 시각에 IG 플레인 메모리(4093)에 기록한다. 이러한 처리의 상세는 PG 디코더(4072)에 의한 것과 동일하다.
주 음성 디코더(4074)는 먼저 PID 필터(4040)로부터 수신된 TS 패킷을 내장의 버퍼에 축적한다. 주 음성 디코더(4074)는 다음에, 그 버퍼 내의 TS 패킷 군으로부터 TS 헤더와 PES 헤더를 제거하고, 나머지의 데이터를 비 압축의 LPCM 음성데이터에 복호한다. 또, 주 음성 디코더(4074)는 그 음성데이터를 원래의 PES 패킷에 포함되는 PTS가 나타내는 시각에 음성 믹서(4095)에 송출한다. 여기서, 주 음성 디코더(4074)는 TS 패킷에 포함되는 프라이머리 오디오 스트림의 압축 부호화방식 및 스트림 속성에 의해 압축 음성데이터의 복호방법을 선택한다. 그 압축 부호화방식은 예를 들어 AC-3 또는 DTS를 포함한다.
부 음성 디코더(4075)는 주 음성 디코더(4074)와 동일한 구성을 포함한다. 부 음성 디코더(4075)는 먼저 PID 필터(4040)로부터 수신된 세컨더리 오디오 스트림의 TS 패킷 군으로부터 PES 패킷을 복원하고, 그 PES 페이로드가 포함하는 데이터를 비 압축의 LPCM 음성데이터로 복호한다. 부 음성 디코더(4075)는 다음에, 그 PES 헤더가 포함하는 PTS가 나타내는 시각에 그 비 압축의 LPCM 음성데이터를 음성 믹서(4095)에 송출한다. 여기서, 부 음성 디코더(4075)는 TS 패킷에 포함되는 세컨더리 오디오 스트림의 압축 부호화방식 및 스트림 속성에 의해 압축 음성데이터의 복호 방법을 선택한다. 그 압축 부호화방식은 예를 들어 돌비 디지털 플러스 또는 DTS-HD LBR을 포함한다.
텍스트 자막 디코더(4076)는 도 40에 나타내는 것과 같이 텍스트 디코더(DEC)(4077)와 비트 맵 버퍼(4078)를 포함한다. DEC(4077)는 텍스트 문자 열의 복호 처리와 렌더링 처리에 특화한 하드웨어 디코더이며, 특히 이들 처리의 가속기 기능을 구비한 LSI로 구성되어 있다. DEC(4077)는 먼저 프리로드 버퍼(3723) 내의 텍스트 자막 스트림으로부터 각 텍스트 데이터 엔트리를 판독하고, 그 스타일 정보를 해석한다. DEC(4077)는 다음에, 그 스타일 정보에 따라서 폰트 버퍼(3724) 내의 폰트 세트를 이용함으로써 텍스트 정보를 비트 맵 데이터에 복호하여 비트 맵 버퍼(4078)에 기록한다. 비트 맵 버퍼(4078)는 텍스트 자막 디코더(4076)에 내장의 메모리소자의 한 역역을 이용한 버퍼 메모리이다. 비트 맵 버퍼(4078)는 각 텍스트 데이터 엔트리가 포함하는 PTS가 나타내는 시각에 대응하는 비트 맵 데이터를 PG 플레인 메모리(4092)에 전송한다.
여기서, 하나의 텍스트 데이터 엔트리가 nC자(정수 nC는 1 이상이다)의 텍스트 문자 열을 나타낼 때 DEC(4077)가 그 텍스트 데이터 엔트리로부터 비트 맵 데이터를 복호하여 PG 플레인 메모리(4092)에 기록하는데 필요로 하는 시간 Tprocess는 DEC(4077)에 의한 텍스트 문자의 렌더링 속도 Rred와 비트 맵 버퍼(4078)로부터 PG 플레인 메모리(4092)로의 데이터 전송속도 RtR을 이용하여 다음의 식으로 나타낸다:Tprocess=nC/Rred+nC/Rtr. 예를 들어 렌더링 속도 Rred와 데이터 전송속도 Rtr가 모두 20자/초일 때 20자(nC=20)를 PG 플레인 메모리(4092)에 기록하는데 필요로 하는 시간 Tprocess는 20/20+20/20=2초이다. 따라서, 상기의 식을 이용하여 시간 Tprocess를 예를 들어 2초 이하에 제한하면, 텍스트 데이터 엔트리 1개당의 데이터량을 제한할 수 있다. 이에 의해 텍스트 자막 디코더(4076)의 탑재을 용이하게 할 수 있다.
음성 믹서(4095)는 주 음성 디코더(4074)와 부 음성 디코더(4075)의 각각으로부터 비 압축의 음성데이터를 수신하고, 그들을 이용하여 믹싱을 실시한다. 또, 음성 믹서(4095)는 그 믹싱으로 얻어진 합성음을 표시장치(103)의 내장 스피커(103A) 등에 송출한다.
이미지 프로세서(4080)는 프로그램 실행부(3734)로부터 그래픽스 데이터, 즉 PNG 또는 JPEG의 래스터 데이터를 수신한다. 이미지 프로세서(4080)는 그때 그 그래픽스 데이터에 대한 렌더링 처리를 실시하고 이미지 플레인 메모리(4094)에 기록한다.
<3D 재생장치의 구성>
3D 재생모드의 재생장치(102)는 BD-ROM 디스크(101)에서 3D 영상 콘텐츠를 재생할 때 3D 재생장치로 동작한다. 그 구성의 기본부분은 도 37, 40에 나타내는 2D 재생장치의 구성과 동일하다. 따라서, 이하에서는 2D 재생장치의 구성으로부터의 확장 부분 및 변경 부분에 대하여 설명하고, 기본 부분의 상세에 대한 설명은 상기의 2D 재생장치에 대한 설명을 원용한다. 또, 2D 플레이리스트 재생처리에 이용되는 구성은 2D 재생장치의 구성과 동일하다. 따라서, 그 상세에 대한 설명도 상기의 2D 재생장치에 대한 설명을 원용한다. 이하의 설명에서는 3D 플레이리스트 파일에 따른 3D 영상의 재생처리, 즉 3D 플레이리스트 재생처리를 상정한다.
도 41은 3D 재생장치(4100)의 기능 블록도이다. 3D 재생장치(4100)는 BD-ROM 드라이브(4101), 재생부(4102) 및 제어부(4103)를 포함한다. 재생부(4102)는 스위치(4120), 제 1 리드 버퍼(4121), 제 2 리드 버퍼(4122), 프리로드 버퍼(4123), 폰트 버퍼(4124), 시스템 타깃 디코더(4125) 및 플레인 가산부(4126)를 포함한다. 제어부(4103)는 동적 시나리오 메모리(4131), 정적 시나리오 메모리(4132), 사용자 이벤트 처리부(4133), 프로그램 실행부(4134), 재생제어부(4135) 및 플레이어 변수 기억부(4136)를 포함한다. 재생부(4102)와 제어부(4103)는 서로 다른 집적회로에 탑재되어 있다. 그 외에, 양자가 단일의 집적회로에 통합되어 있어도 좋다. 특히 프리로드 버퍼(4123), 폰트 버퍼(4124), 동적 시나리오 메모리(4131), 정적 시나리오 메모리(4132), 사용자 이벤트 처리부(4133) 및 프로그램 실행부(4134)는 도 37에 나타내는 2D 재생장치 내의 것과 동일하다. 따라서, 이들의 상세에 대한 설명은 상기의 2D 재생장치에 대한 설명을 원용한다.
재생제어부(4135)는 3D 플레이리스트 재생처리를 프로그램 실행부(4134) 등에서 명해진 때 정적 시나리오 메모리(4132)에 저장된 3D 플레이리스트 파일로부터 PI를 차례로 판독하고 현재 PI로 설정한다. 재생제어부(4135)는 현재 PI를 설정할 때마다 먼저 그 STN 테이블과 그 3D 플레이리스트 파일 내의 STN 테이블 SS에 따라서 시스템 타깃 디코더(4125)와 플레인 가산부(4126)의 동작 조건을 설정한다. 구체적으로는 재생제어부(4135)는 복호 대상의 엘리멘터리 스트림의 PID를 선택하고, 그 엘리멘터리 스트림의 복호에 필요한 속성정보와 함께 시스템 타깃 디코더(4125)에 인계한다. 선택된 PID가 나타내는 엘리멘터리 스트림 중에 PG 스트림, IG 스트림, 또는 텍스트 자막 스트림이 포함되어 있는 경우, 재생제어부(4135)는 이들 스트림 데이터에 할당된 참조 오프셋 ID(3201)와 오프셋 보정치(3202)를 특정하고, 플레이어 변수 기억부(4136) 내의 SPRM(27)과 SPRM(28)의 각각에 설정한다. 또, 재생제어부(4135)는 STN 테이블 SS가 나타내는 팝업 기간의 오프셋(3311)에 의해 각 플레인 데이터의 표시 모드를 선택하고, 시스템 타깃 디코더(4125)와 플레인 가산부(4126)에 지시한다.
다음에, 재생제어부(4135)는 현재 PI에 따라서 도 24(e)의 설명에서 설명한 순서로 판독 대상의 익스텐트 SS가 기록된 섹터 군의 LBN의 범위를 BD-ROM 드라이브(4101)에 지시한다. 한편, 재생제어부(4135)는 정적 시나리오 메모리(4132)에 저장된 클립정보파일 내의 익스텐트 기점을 이용하여 각 익스텐트 SS 내의 데이터블록의 경계를 나타내는 정보를 생성한다. 그 정보는 예를 들어 그 익스텐트 SS의 선두에서부터 각 경계까지의 소스 패킷 수를 나타낸다. 또, 재생제어부(4135)는 그 정보를 스위치(4120)에 인계한다.
플레이어 변수 기억부(4136)는 2D 재생장치 내의 것(3736)과 마찬가지로 도 38에 나타내는 SPRM를 포함한다. 그러나 도 38과는 달리 SPRM(24)는 도 36에 나타내는 제 1 플래그를 포함하고, SPRM(25)는 제 2 플래그를 포함한다. 그 경우, SPRM(24)가“0”일 때는 재생장치(102)가 2D 영상의 재생에만 대응 가능하고, “1”일 때는 3D 영상의 재생에도 대응 가능하다. SPRM(25)이 “0”일 때는 재생장치(102)가 L/R 모드이며, “1”일 때는 깊이 모드이다.
또, 플레이어 변수 기억부(4136)에서는 도 38과는 달리 SPRM(27)은 각 그래픽스 플레인에 대한 참조 오프셋 ID의 저장영역을 포함하고, SPRM(28)은 각 그래픽스 플레인에 대한 오프셋 보정치의 저장영역을 포함한다. 도 42는 SPRM(27)과 SPRM(28)의 데이터구조를 나타내는 표이다. 도 42를 참조하면, SPRM(27)은 4종류의 참조 오프셋 ID(4210-4213)를 저장하는 영역을 포함한다. 이들 참조 오프셋 ID는 PG 플레인에 대한 것(PG_ref_offset_id)(4210), IG 플레인에 대한 것(IG_ref_offset_id)(4211), 부 영상 플레인에 대한 것(SV_ref_offset_id)(4212) 및 이미지 플레인에 대한 것(IM_ref_offset_id)(4213)이다. SPRM(28)은 4종류의 오프셋 보정치(4220-4223)를 저장하는 영역을 포함한다. 이들 오프셋 보정치는 PG 플레인에 대한 것 (PG_offset_adjustment)(4220), IG 플레인에 대한 것 (IG_offset_adjustment)(4221), 부 영상 플레인에 대한 것 (SV_offset_adjustment)(4222) 및 이미지 플레인에 대한 것 (IM_offset_adjustment)(4223)이다.
도 41을 다시 참조하면, BD-ROM 드라이브(4101)는 도 37에 나타내는 2D 재생장치 내의 것(3701)과 동일한 구성요소를 포함한다. BD-ROM 드라이브(4101)는 재생제어부(4135)로부터 LBN의 범위가 지시된 때 그 범위가 나타내는 BD-ROM 디스크(101) 상의 섹터 군으로부터 데이터를 판독한다. 특히 파일 SS의 익스텐트, 즉 익스텐트 SS에 속하는 소스 패킷 군은 BD-ROM 드라이브(4101)로부터 스위치(4120)에 전송된다. 여기서, 각 익스텐트 SS는 도 19에 나타내는 것과 같이, 베이스 뷰와 디펜던트 뷰의 데이터블록의 쌍을 1개 이상 포함한다. 이들 데이터블록은 다른 리드 버퍼(4121, 4122)에 병렬로 전송되지 않으면 안 된다. 따라서, BD-ROM 드라이브(4101)에는 2D 재생장치 내의 BD-ROM 드라이브(3701) 이상의 액세스 스피드가 요구된다.
스위치(4120)는 BD-ROM 드라이브(4101)로부터는 익스텐트 SS를 수신한다. 한편, 스위치(4120)는 재생제어부(4135)로부터는 그 익스텐트 SS에 포함되는 각 데이터블록의 경계를 나타내는 정보, 즉, 그 익스텐트 SS의 선두에서부터 각 경계까지의 소스 패킷 수를 수신한다. 또, 스위치(4120)는 그 정보를 이용하여 각 익스텐트 SS로부터 베이스 뷰 익스텐트를 추출하여 제 1 리드 버퍼(4121)에 송출하고, 디펜던트 뷰 익스텐트를 추출하여 제 2 리드 버퍼(4122)에 송출한다. 제 1 리드 버퍼(4121)와 제 2 리드 버퍼(4122)는 모두 재생부(4102) 내의 메모리소자를 이용한 버퍼 메모리이다. 특히 단일의 메모리소자 내의 다른 영역이 각 리드 버퍼(4121, 4122)로 이용된다. 그 외에, 다른 메모리소자가 개별로 각 리드 버퍼(4121, 4122)로 이용되어도 좋다. 제 1 리드 버퍼(4121)는 스위치(4120)로부터 베이스 뷰 익스텐트를 수신하고 저장한다. 제 2 리드 버퍼(4122)는 스위치(4120)로부터 디펜던트 뷰 익스텐트를 수신하고 저장한다.
시스템 타깃 디코더(4125)는 3D 플레이리스트 재생처리에서는 먼저 재생제어부(4135)로부터 복호 대상의 스트림 데이터의 PID와 그 복호에 필요한 속성정보를 수신한다. 시스템 타깃 디코더(4125)는 다음에, 제 1 리드 버퍼(4121)에 저장된 베이스 뷰 익스텐트와 제 2 리드 버퍼(4122)에 저장된 디펜던트 뷰 익스텐트에서 교호로 소스 패킷을 판독한다. 시스템 타깃 디코더(4125)는 이어서, 재생제어부(4135)로부터 수신된 PID가 나타내는 엘리멘터리 스트림을 각 소스 패킷으로부터 분리해서 복호한다. 또, 시스템 타깃 디코더(4125)는 복호 후의 엘리멘터리 스트림을 그 종류별로 내장의 플레인 메모리에 기록한다. 베이스 뷰 비디오 스트림은 좌 영상 플레인 메모리에 기록되고, 디펜던트 뷰 비디오 스트림은 우 영상 플레인 메모리에 기록된다. 한편, 세컨더리 비디오 스트림은 부 영상 플레인 메모리에 기록되고, IG 스트림은 IG 플레인 메모리에 기록되며, PG 스트림은 PG 플레인 메모리에 기록된다. 여기서, 세컨더리 비디오 스트림이 베이스 뷰와 디펜던트 뷰의 비디오 스트림의 쌍으로 이루어지는 경우, 부 영상 플레인 메모리는 레프트 뷰와 라이트 뷰의 양쪽의 플레인 데이터에 대해서 개별로 준비된다. 또, 시스템 타깃 디코더(4125)는 프리로드 버퍼(4123)로부터 각 텍스트 데이터 엔트리를 판독하고, 폰트 버퍼(4124)에 저장된 폰트 세트를 이용하여 그 텍스트 데이터 엔트리를 비트 맵 데이터에 복호하고 PG 플레인 메모리에 기록한다. 시스템 타깃 디코더(4125)는 그 외에, 프로그램 실행부(4134)로부터의 그래픽스 데이터, 예를 들어 JPEG 또는 PNG등의 래스터 데이터에 대하여 렌더링 처리를 하여 이미지 플레인 메모리에 기록한다.
시스템 타깃 디코더(4125)는 좌 영상 플레인 메모리와 우 영상 플레인 메모리로부터의 플레인 데이터의 출력 모드를 다음과 같이, B-D 표시 모드와 B-B 표시 모드중 어느 하나에 대응시킨다. 재생제어부(4135)에서 B-D 표시 모드가 지시된 때 시스템 타깃 디코더(4125)는 좌 영상 플레인 메모리와 우 영상 플레인 메모리로부터 교호로 플레인 데이터를 출력한다. 한편, 재생제어부(4135)에서 B-B 표시 모드가 지시된 때 시스템 타깃 디코더(4125)는 동작 모드를 3D 재생모드로 유지한 채로 좌 영상 플레인 메모리와 우 영상 플레인 메모리중 어느 하나에서만 플레인 데이터를 1프레임당 2회씩 출력한다.
재생제어부(4135)에서 1플레인+오프셋 모드가 지시된 때 시스템 타깃 디코더(4125)는 디펜던트 뷰 비디오 스트림에서 각 비디오 시퀀스의 선두의 VAU를 판독할 때마다 그 VAU로부터 오프셋 메타 데이터(1310)를 판독한다. 그 비디오 시퀀스의 재생구간에서는 시스템 타깃 디코더(4125)는 먼저 각 VAU와 함께 동일한 PES 패킷에 저장된 PTS와 그 VAU의 압축 픽처 데이터가 나타내는 프레임의 번호를 특정한다. 다음에, 시스템 타깃 디코더(4125)는 오프셋 메타 데이터로부터 그 프레임 번호에 대응된 오프셋 정보를 판독하고, 특정된 PTS가 나타내는 시각에 플레인 가산부(4126)에 송출한다.
플레인 가산부(4126)는 시스템 타깃 디코더(4125)로부터 각종 플레인 데이터를 수신하고, 그들을 서로 중첩해서 하나의 프레임 또는 필드로 합성한다. 특히 L/R 모드에서는 좌 영상 플레인 데이터는 레프트 뷰 비디오 플레인을 나타내고, 우 영상 플레인 데이터는 라이트 뷰 비디오 플레인을 나타낸다. 따라서, 플레인 가산부(4126)는 좌 영상 플레인 데이터에는 레프트 뷰를 나타내는 다른 플레인 데이터를 중첩하고, 우 영상 플레인 데이터에는 라이트 뷰를 나타내는 다른 플레인 데이터를 중첩한다. 한편, 깊이 모드에서는 우 영상 플레인 데이터는 좌 영상 플레인 데이터가 나타내는 비디오 플레인에 대한 깊이 맵을 나타낸다. 따라서, 플레인 가산부(4126)는 먼저 양쪽의 영상 플레인 데이터로부터 레프트 뷰와 라이트 뷰의 비디오 플레인 데이터의 쌍을 생성한다. 그 후, 플레인 가산부(4126)는 L/R 모드에서의 합성처리와 마찬가지로 합성처리를 실행한다.
플레인 가산부(4126)는 재생제어부(4135)로부터 부 영상 플레인, PG 플레인, IG 플레인, 또는 이미지 플레인의 표시 모드로 1 플레인+오프셋 모드 또는 1플레인+제로 오프셋 모드가 지시된 때 시스템 타깃 디코더(4125)로부터 수신된 플레인 데이터에 대하여 오프셋 제어를 한다. 이에 의해 각 플레인 데이터로부터 레프트 뷰와 라이트 뷰의 플레인 데이터의 쌍이 생성된다.
특히 1 플레인+오프셋 모드가 지시된 때 플레인 가산부(4126)는 먼저 플레이어 변수 기억부(4136) 내의 SPRM(27)으로부터 각 그래픽스 플레인에 대한 참조 오프셋 ID(4210-4213)을 판독한다. 다음에, 플레인 가산부(4126)는 시스템 타깃 디코더(4125)로부터 수신한 오프셋 정보를 참조하여 각 참조 오프셋 ID(4210-4213)이 나타내는 오프셋 시퀀스(1312)에 속하는 오프셋 정보, 즉 오프셋 방향(1322)과 오프셋 값(1323)의 쌍을 검색한다. 이어서, 플레인 가산부(4126)는 플레이어 변수 기억부(4136) 내의 SPRM(28)으로부터 각 그래픽스 플레인에 대한 오프셋 보정치(4220-4223)를 판독하고, 대응하는 오프셋 값에 더한다. 그 후, 플레인 가산부(4126)는 각 오프셋 값을 이용하여 대응하는 그래픽스 플레인에 대하여 오프셋 제어를 한다.
한편, 1 플레인+제로 오프셋 모드가 지시된 때 플레인 가산부(4126)는 SPRM(27), SPRM(28)의 어느 것도 참조하는 일 없이 각 그래픽스 플레인에 대한 오프셋 값을“0”으로 해서 오프셋 제어를 한다. 따라서, 동일한 플레인 데이터가 레프트 뷰와 라이트 뷰의 각각을 나타내는 그래픽스 플레인으로 반복하고, 다른 플레인 데이터에 합성된다.
≪3D 플레이리스트 재생처리≫
도 43은 재생제어부(4135)에 의한 3D 플레이리스트 재생처리의 플로차트이다. 3D 플레이리스트 재생처리는 재생제어부(4135)가 정적 시나리오 메모리(4132)에서 3D 플레이리스트 파일을 판독함으로써 개시된다.
스텝 S4301에서는 재생제어부(4135)는 먼저 3D 플레이리스트 파일 내의 메인 패스로부터 PI를 1개 판독하고, 현재의 PI로 설정한다. 재생제어부(4135)는 다음에, 그 현재 PI의 STN 테이블에서 재생 대상의 엘리멘터리 스트림의 PID를 선택하고, 또한, 이들의 복호에 필요한 속성정보를 특정한다. 또, 재생제어부(4135)는 3D 플레이리스트 파일 내의 STN 테이블 SS 중 현재 PI에 대응하는 것에서부터 재생 대상의 엘리멘터리 스트림으로 추가되어야 할 것의 PID를 선택하고, 또한, 이들의 복호에 필요한 속성정보를 특정한다. 선택된 PID와 속성정보는 시스템 타깃 디코더(4125)에 지시된다. 재생제어부(4135)는 그 외에, 3D 플레이리스트 파일 내의 서브 패스로부터 현재 PI와 동시에 참조되어야 할 SUB_PI를 특정하고, 현재의 SUB_PI로 설정한다. 그 후, 처리는 스텝 S4302로 진행된다.
스텝 S4302에서는 재생제어부(4135)는 STN 테이블 SS가 나타내는 팝업 기간의 오프셋에 의해 각 플레인 데이터의 표시 모드를 선택하고, 시스템 타깃 디코더(4125)와 플레인 가산부(4126)에 지시한다. 특히 팝업 기간의 오프셋의 값이 “0”일 때 비디오 플레인의 표시 모드로 B-D 표시 모드가 선택되고, 그래픽스 플레인의 표시 모드로 1 플레인+오프셋 모드가 선택된다. 한편, 팝업 기간의 오프셋의 값이 “1”일 때 비디오 플레인의 표시 모드로 B-B 표시 모드가 선택되고, 그래픽스 플레인의 표시 모드로 1 플레인+제로 오프셋 모드가 선택된다. 그 후, 처리는 스텝 S4303로 진행된다.
스텝 S4303에서는 그래픽스 플레인의 표시 모드로 1 플레인+오프셋 모드와 1 플레인+제로 오프셋 모드의 어느 것이 선택되었는지를 체크한다. 1 플레인+오프셋 모드가 선택된 경우, 처리는 스텝 S4304로 진행된다. 한편, 1 플레인+제로 오프셋 모드가 선택된 경우, 처리는 스텝 S4305로 진행된다.
스텝 S4304에서는 재생제어부(4135)는 현재 PI의 STN 테이블을 참조하여 선택된 PID가 나타내는 엘리멘터리 스트림 중에서 PG 스트림, IG 스트림, 또는 텍스트 자막 스트림을 검출한다. 또, 재생제어부(4135)는 이들 스트림 데이터에 할당된 참조 오프셋 ID와 오프셋 보정치를 특정하고, 플레이어 변수 기억부(4136) 내의 SPRM(27)과 SPRM(28)의 각각에 설정한다. 그 후, 처리는 스텝 S4305로 진행된다.
스텝 S4305에서는 재생제어부(4135)는 현재의 PI와 SUB_PI의 각각으로부터 참조클립정보, 재생 개시시각 IN1을 나타내는 PTS#1 및 재생종료시각 OUT1을 나타내는 PTS#2를 판독한다. 그 참조클립정보로부터 재생 대상의 파일 2D와 파일 DEP의 각각에 대응하는 클립정보파일이 특정된다. 그 후, 처리는 스텝 S4306으로 진행된다.
스텝 S4306에서는 재생제어부(4135)는 스텝 S4305에서 특정된 클립정보파일의 각 엔트리 맵을 참조하여 PTS#1, #2에 대응하는 파일 2D 내의 SPN#1, #2과 파일 DEP 내의 SPN#11, #12를 검색한다. 또, 재생제어부(4135)는 도 24를 이용하여 설명한 것처럼, 각 클립정보파일의 익스텐트 기점을 이용하여 파일 SS의 선두에서부터 재생개시위치까지의 소스 패킷 수 SPN#21을 SPN#1, #11로부터 산정하고, 파일 SS의 선두에서부터 재생종료위치까지의 소스 패킷 수 SPN#22를 SPN#2, #12로부터 산정한다. 구체적으로는 재생제어부(4135)는 먼저 2D 클립정보파일의 익스텐트 기점이 나타내는 SPN 중에서 SPN#1 이하에서 최대의 것 “Am”을 검색하고, 디펜던트 뷰 클립정보파일의 익스텐트 기점이 나타내는 SPN 중에서 SPN#11 이하에서 최대의 것“Bm”을 검색한다. 재생제어부(4135)는 이어서, 검색된 SPN의 합 Am+Bm을 구해서 SPN#21로 결정한다. 재생제어부(4135)는 다음에 2D 클립정보파일의 익스텐트 기점이 나타내는 SPN 중에서 SPN#2보다 크고, 또한 최소의 것“An”을 검색하고, 디펜던트 뷰 클립정보파일의 익스텐트 기점이 나타내는 SPN 중에서 SPN#12보다 크고, 또한 최소인 것 “Bn”을 검색한다. 재생제어부(4135)는 이어서, 검색된 SPN의 합 An+Bn을 구해서 SPN#22로 결정한다. 그 후, 처리는 스텝 S4307로 진행된다.
스텝 S4307에서는 재생제어부(4135)는 스텝 S4306에서 결정된 SPN#21, #22를 섹터 수의 쌍 N1, N2로 변환한다. 구체적으로는 재생제어부(4135)는 먼저 SPN#21과 소스 패킷 1개당의 데이터량 192바이트의 곱을 구한다. 다음에, 재생제어부(4135)는 그 곱을 섹터 1개당의 데이터량 2048바이트로 나눈 때의 몫 SPN#21×192/2048을 구한다. 이 몫은 파일 SS의 선두에서부터 재생개시위치의 직전까지의 섹터 수 N1과 같다. 마찬가지로 재생제어부(4135)는 SPN#22로부터 몫 SPN#22×192/2048을 구한다. 이 몫은 파일 SS의 선두에서부터 재생종료위치의 직전까지의 섹터 수 N2와 같다. 그 후, 처리는 스텝 S4308로 진행된다.
스텝 S4308에서는 재생제어부(4135)는 스텝 S4307에서 얻어진 섹터 수 N1, N2의 각각으로부터 재생 대상의 익스텐트 SS 군의 선단과 후단의 LBN을 특정한다. 구체적으로는 재생제어부(4135)는 재생 대상의 파일 SS의 파일 엔트리를 참조하여 익스텐트 SS 군이 기록된 섹터 군의 선두에서부터 세어서 (N1+1)번째의 섹터의 LBN=LBN#1과 (N2+1)번째의 섹터의 LBN=LBN#2를 특정한다. 또, 재생제어부(4135)는 LBN#1로부터 LBN#2까지의 범위를 BD-ROM 드라이브(4101)에 지정한다. 그 결과, 지정된 범위의 섹터 군에서 익스텐트 SS 군에 속하는 소스 패킷 군이 얼라인드 유닛 단위로 판독된다. 그 후, 처리는 스텝 S4309로 진행된다.
스텝 S4309에서는 재생제어부(4135)는 스텝 S4306에서 이용된 클립정보파일의 익스텐트 기점을 다시 이용하여 익스텐트 SS 군에 포함되는 디펜던트 뷰 데이터블록과 베이스 뷰 데이터블록 사이의 경계를 나타내는 정보(이하, 데이터블록 경계 정보라고 한다)를 생성하여 스위치(4120)에 송출한다. 구체적인 예로 재생개시위치를 나타내는 SPN#21이 각 익스텐트 기점이 나타내는 SPN의 합 An+Bn과 같고, 재생종료위치를 나타내는 SPN#22가 각 익스텐트 기점이 나타내는 SPN의 합 Am+Bm과 같을 때를 상정한다. 그때 재생제어부(4135)는 각 익스텐트 기점으로부터 SPN의 차의 열 A(n+1)-An, B(n+1)-Bn, A(n+2)-A(n+1), B(n+2)-B(n+1), …, Am-A(m-1), Bm-B(m-1)을 구하여, 데이터블록 경계정보로 스위치(4120)에 송출한다. 도 24(e)에 나타내는 것과 같이, 이 열은 익스텐트 SS에 포함되는 각 데이터블록의 소스 패킷 수를 나타낸다. 스위치(4120)는 BD-ROM 드라이브(4101)로부터 수신되는 익스텐트 SS의 소스 패킷 수를 0에서부터 카운트하고, 그 카운트가 데이터블록 경계정보가 나타내는 SPN의 차와 일치할 때마다 소스 패킷의 송출처를 2개의 리드 버퍼(4121, 4122) 간으로 전환하고, 또한 카운트를 0으로 리셋한다. 그 결과, 익스텐트 SS의 선두에서부터 {B(n+1)-Bn}개의 소스 패킷은 최초의 디펜던트 뷰 익스텐트로 제 2 리드 버퍼(4122)에 송출되며, 이어지는 {A(n+1)-An}개의 소스 패킷은 최초의 베이스 뷰 익스텐트로 제 1 리드 버퍼(4121)에 송출된다. 이후도 마찬가지로 스위치(4120)에 의해 수신되는 소스 패킷의 수가 데이터블록 경계정보가 나타내는 SPN의 차이와 일치할 때마다 익스텐트 SS로부터 디펜던트 뷰 익스텐트와 베이스 뷰 익스텐트가 교호로 추출된다.
스텝 S4310에서는 재생제어부(4135)는 메인 패스에 미처리의 PI가 남아 있는가 여부를 체크한다. 남아 있을 때는 처리가 스텝 S4301에서 반복된다. 남아 있지 않을 때는 처리가 종료한다.
≪시스템 타깃 디코더≫
도 44는 시스템 타깃 디코더(4125)의 기능 블록도이다. 도 44에 나타내는 구성요소는 도 40에 나타내는 2D 재생장치의 것(3724)과 리드 버퍼로부터 각 디코더로의 입력 계통이 이중화되어 있는 점에서 다르다. 한편, 주 음성 디코더, 부 음성 디코더, 텍스트 자막 디코더, 음성 믹서, 이미지 프로세서 및 각 플레인 메모리는 도 40에 나타내는 2D 재생장치의 것과 동일하다. 따라서, 이하에서는 도 44에 나타내는 구성요소 중 도 40에 나타내는 것과는 다른 것에 대하여 설명한다. 한편, 동일한 구성요소의 상세에 대한 설명은 도 40에 대한 설명을 원용한다. 또, 각 영상 디코더는 모두 동일한 구조를 가지므로 이하에서는 주 영상 디코더(4415)의 구조에 대하여 설명한다. 동일한 설명은 다른 영상 디코더의 구조에 대해서도 성립한다.
제 1 소스 디 패킷다이저(4411)는 제 1 리드 버퍼(4121)로부터 소스 패킷을 판독하고, 또 그 중에서 TS 패킷을 추출하여 제 1 PID 필터(4413)에 송출한다. 제 2 소스 디 패킷다이저(4412)는 제 2 리드 버퍼(4122)로부터 소스 패킷을 판독하고, 그 중에서 TS 패킷을 추출하여 제 2 PID 필터(4414)에 송출한다. 또, 각 소스 디 패킷다이저(4411, 4412)는 각 TS 패킷의 송출 시각을 각 소스 패킷의 ATS가 나타내는 시각에 맞춘다. 그 동기방법은 도 40에 나타내는 소스 디 패킷다이저(4010)에 의한 방법과 동일하다. 따라서, 그 상세에 대한 설명은 도 40에 대한 설명을 원용한다. 이와 같은 송출 시각의 조절에 의해, 제 1 소스 디 패킷다이저(4411)로부터 제 1 PID 필터(4413)로의 TS 패킷의 평균 전송속도 RTS1는 2D 클립정보파일이 나타내는 시스템 레이트를 넘지 않는다. 마찬가지로 제 2 소스 디 패킷다이저(4412)로부터 제 2 PID 필터(4414)로의 TS 패킷의 평균 전송속도 RTS2는 디펜던트 뷰 클립정보파일이 나타내는 시스템 레이트를 넘지 않는다.
제 1 PID 필터(4413)는 제 1 소스 디 패킷다이저(4411)로부터 TS 패킷을 수신할 때마다 그 PID를 선택 대상의 PID와 비교한다. 그 선택 대상의 PID는 재생제어부(4135)에 의해 미리 3D 플레이리스트 파일 내의 STN 테이블에 따라서 지정되어 있다. 양쪽의 PID가 일치한 때 제 1 PID 필터(4413)는 그 TS 패킷을 그 PID에 할당된 디코더에 전송한다. 예를 들어 PID가 0x1011일 때 그 TS 패킷은 주 영상 디코더(4415) 내의 TB(1)(4401)에 전송된다. 그 외에, PID가 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F 및 0x1400-0x141F의 각 범위에 속할 때 대응하는 TS 패킷은 각각 부 영상 디코더, 주 음성 디코더, 부 음성 디코더, PG 디코더 및 IG 디코더에 전송된다.
제 2 PID 필터(4414)는 제 2 소스 디 패킷다이저(4412)로부터 TS 패킷을 수신할 때마다 그 PID를 선택 대상의 PID와 비교한다. 그 선택 대상의 PID는 재생제어부(4135)에 의해 미리 3D 플레이리스트 파일 내의 STN 테이블 SS에 따라서 지정되어 있다. 양쪽의 PID가 일치한 때 제 2 PID 필터(4414)는 그 TS 패킷을 그 PID에 할당된 디코더에 전송한다. 예를 들어 PID가 0x1012 또는 0x1013일 때 그 TS 패킷은 주 영상 디코더(4415) 내의 TB(2)(4408)에 전송된다. 그 외에, PID가 0x1B20-0x1B3F, 0x1220-0x127F 및 0x1420-0x147F의 각 범위에 속할 때 대응하는 TS 패킷은 각각 부 영상 디코더, PG 디코더 및 IG 디코더에 전송된다.
주 영상 디코더(4415)는 TB(1)(4401), MB(1)(4402), EB(1)(4403), TB(2)(4408), MB(2)(4409), EB(2)(4410), 버퍼 스위치(4406), DEC(4404), DPB(4405) 및 픽처 스위치(4407)를 포함한다. TB(1)(4401), MB(1)(4402), EB(1)(4403), TB(2)(4408), MB(2)(4409), EB(2)(4410) 및 DPB(4405)는 모두 버퍼 메모리이다. 각 버퍼 메모리는 주 영상 디코더(4415)에 내장된 메모리소자의 한 영역을 이용한다. 그 외에, 이들 버퍼 메모리중 어느 하나 또는 모두가 다른 메모리소자로 분리되어 있어도 좋다.
TB(1)(4401)은 베이스 뷰 비디오 스트림을 포함한 TS 패킷을 제 1 PID 필터(4413)로부터 수신하고 그대로 축적한다. MB(1)(4402)는 TB(1)(4401)에 축적된 TS 패킷으로부터 PES 패킷을 복원하여 축적한다. 그때 각 TS 패킷에서 TS헤더가 제거된다. EB(1)(4403)은 MB(1)(4402)에 축적된 PES 패킷으로부터 부호화된 VAU를 추출하여 축적한다. 그때 각 PES 패킷에서 PES 헤더가 제거된다.
TB(2)(4408)은 디펜던트 뷰 비디오 스트림을 포함한 TS 패킷을 제 2 PID 필터(4414)로부터 수신하고 그대로 축적한다. MB(2)(4409)는 TB(2)(4408)에 축적된 TS 패킷으로부터 PES 패킷을 복원하여 축적한다. 그때 각 TS 패킷에서 TS헤더가 제거된다. EB(2)(4410)은 MB(2)(4409)에 축적된 PES 패킷으로부터 부호화된 VAU를 추출하여 축적한다. 그때 각 PES 패킷에서 PES 헤더가 제거된다.
버퍼 스위치(4406)는 EB(1)(4403)와 EB(2)(4410)의 각각에 축적된 VAU의 헤더를 DEC(4404)로부터의 요구에 따라서 전송한다. 또, 버퍼 스위치(4406)는 그 VAU의 압축 픽처 데이터를 원래의 PES 패킷에 포함되는 DTS가 나타내는 시각에 DEC(4404)에 전송한다. 여기서, 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림 사이에서는 동일한 3D VAU에 속하는 한 쌍의 픽처의 DTS가 동일하다. 따라서, 버퍼 스위치(4406)는 DTS의 동일한 한 쌍의 VAU 중 EB(1)(4403)에 축적된 쪽을 먼저 DEC(4404)에 전송한다. 그 외에, 버퍼 스위치(4406)는 그 VAU 내의 복호스위치정보(1250)를 DEC(4404)에 답신시켜도 좋다. 그 경우, 버퍼 스위치(4406)는 그 복호스위치정보를 사용하여 다음의 VAU를 EB(1)(4403)와 EB(2)(4410)의 어느 것에서 전송해야할 것인지를 결정할 수 있다.
DEC(4404)는 도 40에 나타내는 DEC(4004)와 마찬가지로 압축 픽처의 복호 처리에 특화한 하드웨어 디코더이며, 특히 그 복호 처리의 가속기 기능을 구비한 LSI로 구성되어 있다. DEC(4404)는 버퍼 스위치(4406)로부터 전송된 압축 픽처 데이터를 순차 복호한다. 그 복호 처리에서는 DEC(4404)는 미리 각 VAU의 헤더를 해석하고, 그 VAU 내에 저장된 압축 픽처의 압축 부호화방식과 스트림 속성을 특정하며, 이들에 따라서 복호방법을 선택한다. 여기서, 그 압축 부호화방식은 예를 들어 MPEG-2, MPEG-4 AVC, MVC 및 VC1을 포함한다. 또, DEC(4404)는 복호된 비 압축의 픽처를 DPB(4405)에 전송한다.
DEC(4404)는 그 외에, 디펜던트 뷰 비디오 스트림으로부터 각 비디오 시퀀스의 선두의 VAU를 판독할 때마다 그 VAU로부터 오프셋 메타 데이터를 판독한다. 그 비디오 시퀀스의 재생구간에서는 DEC(4404)는 먼저 각 VAU와 함께 동일한 PES 패킷에 저장된 PTS와 그 VAU의 압축 픽처 데이터가 나타내는 프레임의 번호를 특정한다. DEC(4404)는 다음에 오프셋 메타 데이터로부터 그 프레임 번호에 대응된 오프셋정보를 판독하고, 특정된 PTS가 나타내는 시각에 플레인 가산부(4126)에 송출한다.
DPB(4405)는 DEC(4404)에 의해 복호된 비 압축의 픽처를 일시적으로 보유한다. DEC(4404)가 P픽처 및 B픽처를 복호할 때 DPB(4405)는 DEC(4404)로부터의 요구에 따라서 보유되어 있는 비 압축의 픽처 중에서 참조 픽처를 검색하여 DEC(4404)에 제공한다.
픽처 스위치(4407)는 DPB(4405)로부터 비 압축의 각 픽처를 원래의 PES 패킷에 포함되는 PTS가 나타내는 시각에 좌 영상 플레인 메모리(4420)와 우 영상 플레인 메모리(4421)중 어느 하나에 기록한다. 여기서, 동일한 3D VAU에 속하는 베이스 뷰 픽처와 디펜던트 뷰 픽처는 PTS가 동일하다. 따라서, 픽처 스위치(4407)는 DPB(4405)에 보유된 PTS의 동일한 한 쌍의 픽처 중 베이스 뷰 픽처를 먼저 좌 영상 플레인 메모리(4420)에 기록하고, 이어서 디펜던트 뷰 픽처를 우 영상 플레인 메모리(4421)에 기록한다.
≪플레인 가산부≫
도 45는 플레인 가산부(4126)의 기능 블록도이다. 도 45를 참조하면, 플레인 가산부(4126)는 시차 영상 생성부(4510), 스위치(4520), 4개의 크로핑 처리부(4531-4534) 및 4개의 가산부(4541-4544)를 포함한다.
시차 영상 생성부(4510)는 시스템 타깃 디코더(4125)에서 좌 영상 플레인 데이터(4501)와 우 영상 플레인 데이터(4502)를 수신한다. L/R 모드의 재생장치(102)에서는 좌 영상 플레인 데이터(4501)는 레프트 뷰 비디오 플레인을 나타내, 우 영상 플레인 데이터(4502)는 라이트 뷰 비디오 플레인을 나타낸다. 그때 시차 영상 생성부(4510)는 각 비디오 플레인 데이터 4501, 4502를 그대로 스위치(4520)에 송출한다. 한편, 깊이 모드의 재생장치(102)에서는 좌 영상 플레인 데이터(4501)는 2D 영상의 비디오 플레인을 나타내고, 우 영상 플레인 데이터(4502)는 그 2D 영상에 대한 깊이 맵을 나타낸다. 그때 시차 영상 생성부(4510)는 먼저 그 깊이 맵으로부터 그 2D 영상의 각부의 양안 시차를 계산한다. 다음에, 시차 영상 생성부(4510)는 좌 영상 플레인 데이터(4501)를 가공하여 비디오 플레인에서의 그 2D 영상의 각부의 표시위치를 계산된 양안 시차에 의해 좌우로 이동시킨다. 이에 의해 레프트 뷰와 라이트 뷰를 나타내는 비디오 플레인의 쌍이 생성된다. 또, 시차 영상 생성부(4510)는 그 비디오 플레인의 쌍을 좌 영상과 우 영상의 플레인 데이터의 쌍으로 스위치(4520)에 송출한다.
스위치(4520)는 재생제어부(4135)로부터 B-D 표시 모드가 지시된 때 PTS의 동일한 좌 영상 플레인 데이터(4501)와 우 영상 플레인 데이터(4502)를 그 순으로 제 1 가산부(4541)에 송출한다. 스위치(4520)는 재생제어부(4135)로부터 B-B 표시 모드가 지시된 때 PTS의 동일한 좌 영상 플레인 데이터(4501)와 우 영상 플레인 데이터(4502)의 일방을 1프레임당 2회씩 제 1 가산부(4541)에 송출하고, 타방을 파기한다.
제 1 크로핑 처리부(4531)는 시차 영상 생성부(4510)와 스위치(4520)의 쌍과 동일한 구성을 입력부에 포함한다. 부 영상 플레인 데이터가 레프트 뷰와 라이트 뷰의 쌍인 경우에는 이들 구성이 이용된다. 특히 깊이 모드의 재생장치(102)에서는 부 영상 플레인 데이터의 쌍은 제 1 크로핑 처리부(4531) 내의 시차 영상 생성부에 의해 레프트 뷰와 라이트 뷰의 플레인 데이터의 쌍으로 변환된다. 재생제어부(4135)로부터 B-D 표시 모드가 지시된 때 레프트 뷰와 라이트 뷰의 플레인 데이터가 교호로 제 1 가산부(4541)에 송출된다. 한편, 재생제어부(4135)로부터 B-B 표시 모드가 지시된 때 레프트 뷰와 라이트 뷰의 플레인 데이터의 일방이 1프레임당 2회씩 제 1 가산부(4541)에 송출되고, 타방은 파기된다.
재생제어부(4135)에서 1 플레인+오프셋 모드가 지시된 때 제 1 크로핑 처리부(4531)는 부 영상 플레인 데이터(4503)에 대해서 오프셋 제어를 다음과 같이 실시한다. 제 1 크로핑 처리부(4531)는 먼저 시스템 타깃 디코더(4125)로부터 오프셋 정보(4507)를 수신한다. 그때 제 1 크로핑 처리부(4531)는 플레이어 변수 기억부(4136) 내의 SPRM(27)(4551)으로부터 부 영상 플레인에 대한 참조 오프셋 ID(SV_ref_offset_id)(4212)를 판독한다. 제 1 크로핑 처리부(4531)는 다음에, 그 참조 오프셋 ID가 나타내는 오프셋 시퀀스에 속하는 오프셋 정보를 시스템 타깃 디코더(4125)로부터 수신한 오프셋 정보(4507)로부터 검색한다. 이어서, 제 1 크로핑 처리부(4531)는 플레이어 변수 기억부(4136) 내의 SPRM(28)(4552)로부터 부 영상 플레인에 대한 오프셋 보정치(SV_offset_adjustment)(4222)를 판독하여 검색된 오프셋 값에 더한다. 그 후, 제 1 크로핑 처리부(4531)는 그 오프셋 값을 이용하여 부 영상 플레인 데이터(4503)에 대하여 오프셋 제어를 한다. 그 결과, 부 영상 플레인 데이터(4503)는 레프트 뷰와 라이트 뷰를 나타내는 한 쌍의 부 영상 플레인 데이터로 변환되어 교호로 송출된다.
여기서, SPRM(27)(4551)와 SPRM(28)(4552)의 각 값은 일반적으로 현재 PI가 전환될 때마다 재생제어부(4135)에 의해 갱신된다. 그 외에, 프로그램 실행부(4134)가 무비 오브젝트 또는 BD-J 오브젝트에 따라서 SPRM(27)(4551)와 SPRM(28)(4552)의 각 값을 설정해도 좋다.
한편, 재생제어부(4135)에서 1 플레인+제로 오프셋 모드가 지시된 때 제 1 크로핑 처리부(4531)는 오프셋 제어를 하지 않고 부 영상 플레인 데이터(4503)를 그대로 2회 반복하여 송출한다.
마찬가지로 제 2 크로핑 처리부(4532)는 PG 플레인에 대한 참조 오프셋 ID(PG_ref_offset_id)(4210)와 오프셋 보정치(PG_offset_adjustment)(4220)를 이용하여 PG 플레인 데이터(4504)에 대하여 오프셋 제어를 한다. 제 3 크로핑 처리부(4533)는 IG 플레인에 대한 참조 오프셋 ID(IG_ref_offset_id)(4211)와 오프셋 보정치(IG_offset_adjustment)(4221)를 이용하여 IG 플레인 데이터(4505)에 대하여 오프셋 제어를 한다. 제 4 크로핑 처리부(4534)는 이미지 플레인에 대한 참조 오프셋 ID(IM_ref_offset_id)(4213)와 오프셋 보정치(IM_offset_adjustment)(4223)를 이용하여 이미지 플레인 데이터(4506)에 대하여 오프셋 제어를 한다.
[오프셋 제어의 플로차트]
도 46은 각 크로핑 처리부 4531-4534에 의한 오프셋 제어의 플로차트이다. 각 크로핑 처리부 4531-4534는 시스템 타깃 디코더(4125)로부터 오프셋 정보(4507)를 수신했을 때에 오프셋 제어를 개시한다. 이하, 제 2 크로핑 처리부(4532)가 PG 플레인 데이터(4504)에 대하여 오프셋 제어를 실행하는 경우를 예로 든다. 다른 크로핑 처리부 4531, 4533, 4534는 각각 부 영상 플레인 데이터(4503), IG 플레인 데이터(4505) 및 이미지 플레인 데이터(4506)에 대하여 동일한 처리를 한다.
스텝 S4601에서는 제 2 크로핑 처리부(4532)는 먼저 시스템 타깃 디코더(4125)로부터 PG 플레인 데이터(4504)를 수신한다. 그때 제 2 크로핑 처리부(4532)는 SPRM(27)(4551)로부터 PG 플레인에 대한 참조 오프셋 ID(PG_ref_offset_id)(4210)을 판독한다. 제 2 크로핑 처리부(4531)는 다음에, 그 참조 오프셋 ID가 나타내는 오프셋 시퀀스에 속하는 오프셋 정보를 시스템 타깃 디코더(4125)로부터 수신한 오프셋 정보(4507)에서 검색한다. 그 후, 처리는 스텝 S4602로 진행된다.
스텝 S4602에서는 제 2 크로핑 처리부(4532)는 SPRM(28)(4552)로부터 PG 플레인에 대한 오프셋 보정치(PG_offset_adjustment)(4220)를 판독하고, 스텝 S4601에서 검색된 오프셋 값에 더한다. 그 후, 처리는 스텝 S4603로 진행된다.
스텝 S4603에서는 제 2 크로핑 처리부(4532)는 스위치(4520)에 의해 선택된 비디오 플레인 데이터가 레프트 뷰를 나타내는지 여부를 체크한다. 비디오 플레인 데이터가 레프트 뷰를 나타낼 때 처리는 스텝 S4604로 진행된다. 비디오 플레인 데이터가 라이트 뷰를 나타낼 때 처리는 스텝 S4605로 진행된다.
스텝 S4604에서는 제 2 크로핑 처리부(4532)는 검색된 오프셋 방향의 값을 체크한다. 이하에서는 다음의 경우를 상정한다 : 오프셋 방향의 값이 “0”일 때는 3D 그래픽스 영상의 깊이가 화면보다 앞이며, 오프셋 방향의 값이 “1”일 때는 안쪽이다. 그 경우, 오프셋 방향의 값이 “0”일 때 처리는 스텝 S4605로 진행된다. 오프셋 방향의 값이 “1”일 때 처리는 스텝 S4606으로 진행된다.
스텝 S4605에서는 제 2 크로핑 처리부(4532)는 PG 플레인 데이터(4504)에 우측방향의 오프셋을 부여한다. 즉, PG 플레인 데이터(4504)가 포함하는 각 화소 데이터의 위치를 오프셋 값만큼 오른쪽으로 이동시킨다. 그 후, 처리는 스텝 S4610로 진행된다.
스텝 S4606에서는 제 2 크로핑 처리부(4532)는 PG 플레인 데이터(4504)에 좌측방향의 오프셋을 부여한다. 즉, PG 플레인 데이터(4504)가 포함하는 각 화소 데이터의 위치를 오프셋 값만큼 왼쪽으로 이동시킨다. 그 후, 처리는 스텝 S4610로 진행된다.
스텝 S4607에서는 제 2 크로핑 처리부(4532)는 검색된 오프셋 방향의 값을 체크한다. 오프셋 방향의 값이 “0”일 때 처리는 스텝 S4608로 진행된다. 오프셋 방향의 값이 “1”일 때 처리는 스텝 S4609로 진행된다.
스텝 S4608에서는 스텝 S4605와는 반대로 제 2 크로핑 처리부(4532)는 PG 플레인 데이터(4504)에 왼족 방향의 오프셋을 부여한다. 즉, PG 플레인 데이터(4504)가 포함하는 각 화소 데이터의 위치를 오프셋 값만큼 왼쪽으로 이동시킨다. 그 후, 처리는 스텝 S4610로 진행된다.
스텝 S4609에서는 스텝 S4606와는 반대로 제 2 크로핑 처리부(4532)는 PG 플레인 데이터(4504)에 우측방향의 오프셋을 부여한다. 즉, PG 플레인 데이터(4504)가 포함하는 각 화소 데이터의 위치를 오프셋 값만큼 오른쪽으로 이동시킨다. 그 후, 처리는 스텝 S4610로 진행된다.
스텝 S4610에서는 제 2 크로핑 처리부(4532)는 처리 후의 PG 플레인 데이터(4504)를 제 3 크로핑 처리부(4534)에 송출한다. 그 후, 처리는 종료한다.
[오프셋 제어에 의한 플레인 데이터의 변화]
도 47은 제 2 크로핑 처리부(4532)에 의한 오프셋 제어로 가공되는 PG 플레인 데이터를 나타내는 모식도이다. 도 47을 참조하면, PG 플레인 데이터 GP는 자막“I Love you”를 나타내는 화소 데이터 군, 즉 자막 데이터 STL를 포함한다. 여기서, 오프셋 제어 전에서는 그 자막 데이터 STL은 PG 플레인 데이터 GP의 좌단에서 거리 D0에 위치한다.
제 2 크로핑 처리부(4532)는 PG 플레인 데이터 GP에 우측방향의 오프셋을 부여하는 경우, PG 플레인 데이터 GP 내의 각 화소 데이터의 위치를 원래의 위치에서 오프셋 값에 동일한 화소 수 OFS만큼 오른쪽으로 이동시킨다. 구체적으로는 제 2 크로핑 처리부(4532)는 먼저 크로핑 처리에 의해, PG 플레인 데이터 GP의 우단에서 오프셋 값에 동일한 폭 OFS의 띠 형상 영역(AR)1에 포함되는 화소 데이터를 제거한다. 제 2 크로핑 처리부(4532)는 다음에, PG 플레인 데이터 GP의 좌단에 화소 데이터를 부가하고, 폭 OFS의 띠 형상 영역(AL)1을 구성한다. 여기서, 그 영역(AL)1에 포함되는 화소 데이터는 투명하게 설정된다. 이렇게 해서 우측방향의 오프셋이 부여된 PG 플레인 데이터 RGP를 얻을 수 있다. 실제로 자막 데이터 STL은 그 PG 플레인 데이터 RGP의 좌단에서 거리 DR에 위치하며, 그 거리 DR는 원래의 거리 D0에 오프셋 값 OFS를 더한 값과 같다 : DR=D0+OFS.
반대로, PG 플레인 데이터 GP에 좌측방향의 오프셋을 부여하는 경우, 제 2 크로핑 처리부(4532)는 PG 플레인 데이터 GP 내의 각 화소 데이터의 위치를 원래의 위치에서 오프셋 값에 동일한 화소 수 OFS만큼 왼쪽으로 이동시킨다. 구체적으로는 제 2 크로핑 처리부(4532)는 먼저 크로핑 처리에 의해 PG 플레인 데이터 GP의 좌단에서 오프셋 값에 동일한 폭 OFS의 띠 형상 영역(AL)2에 포함되는 화소 데이터를 제거한다. 제 2 크로핑 처리부(4532)는 다음에, PG 플레인 데이터 GP의 우단에 화소 데이터를 부가하고, 폭 OFS의 띠 형상 영역(AR2)을 구성한다. 여기서, 그 영역(AR2)에 포함되는 화소 데이터는 투명하게 설정된다. 이렇게 해서 좌측방향의 오프셋이 부여된 PG 플레인 데이터 LGP를 얻을 수 있다. 실제로 자막 데이터 STL은 그 PG 플레인 데이터 LGP의 좌단에서 거리 DL에 위치하며, 그 거리 DL는 원래의 거리 D0로부터 오프셋 값 OFS를 뺀 값과 같다 : DL=D0-OFS.
도 45를 다시 참조하면, 제 1 가산부(4541)는 스위치(4520)로부터 비디오 플레인 데이터를 수신하고, 제 1 크로핑 처리부(4531)로부터 부 영상 플레인 데이터를 수신한다. 제 1 가산부(4541)는 그때 이들 비디오 플레인 데이터와 부 영상 플레인 데이터를 1세트씩 중첩해서 제 2 가산부(4542)에 인계한다. 제 2 가산부(4542)는 제 2 크로핑 처리부(4532)로부터 PG 플레인 데이터를 수신하고, 제 1 가산부(4541)로부터의 플레인 데이터에 중첩해서 제 3 가산부(4543)에 인계한다. 제 3 가산부(4543)는 제 3 크로핑 처리부(4533)로부터 IG 플레인 데이터를 수신하고, 제 2 가산부(4542)로부터의 플레인 데이터에 중첩해서 제 4 가산부(4544)에 인계한다. 제 4 가산부(4544)는 제 4 크로핑 처리부(4534)로부터 이미지 플레인 데이터를 수신하고, 제 3 가산부(4543)로부터의 플레인 데이터에 중첩해서 표시장치(103)에 송출한다. 여기서, 각 가산부(4541-4544)는 플레인 데이터의 중첩에α합성을 이용한다. 이렇게 해서 좌 영상 플레인 데이터(4501)와 우 영상 플레인 데이터(4502)의 각각에 도 45에 화살표(4500)로 나타내는 순서로 부 영상 플레인 데이터(4503), PG 플레인 데이터(4504), IG 플레인 데이터(4505) 및 이미지 플레인 데이터(4506)가 중첩된다. 그 결과, 각 플레인 데이터가 나타내는 영상은 표시장치(103)의 화면상에 좌 영상 플레인 또는 우 영상 플레인, 부 영상 플레인, IG 플레인, PG 플레인 및 이미지 플레인의 순으로 중첩된 것처럼 표시된다.
플레인 가산부(4524)는 상기의 처리 외에 4개의 가산부(4541-4544)에 의해 합성된 플레인 데이터의 출력 형식을 표시장치(103) 등, 그 데이터의 출력 처의 장치에 의한 3D 영상의 표시방식에 맞춰서 변환한다. 예를 들어 출력 처의 장치가 경시분리방식을 이용할 때 플레인 가산부(4524)는 합성 후의 플레인 데이터를 하나의 영상프레임 또는 필드로 송출한다. 한편, 출력 처의 장치가 렌티큘러 렌즈를 이용할 때 플레인 가산부(4524)는 내장의 버퍼 메모리를 이용하여 레프트 뷰와 라이트 뷰의 플레인 데이터의 쌍을 하나의 영상프레임 또는 필드로 합성해서 송출한다. 구체적으로는 플레인 가산부(4524)는 먼저 합성된 레프트 뷰 플레인 데이터를 일단 그 버퍼 메모리에 저장하고 보유한다. 이어서, 플레인 가산부(4524)는 라이트 뷰 플레인 데이터를 합성해서 버퍼 메모리에 보유된 레프트 뷰 플레인 데이터와 또 합성한다. 그 합성에서는 레프트 뷰와 라이트 뷰의 각 플레인 데이터가 세로 방향에 가늘고 긴 직사각형의 소 영역으로 분할되며, 각 소 영역이 하나의 프레임 또는 필드 안에 횡 방향으로 교호로 나열되어서 하나의 프레임 또는 필드로 재구성된다. 이렇게 해서 레프트 뷰와 라이트 뷰의 플레인 데이터의 쌍이 하나의 영상프레임 또는 필드에 합성된다. 플레인 가산부(4524)는 그 합성 후의 영상프레임 또는 필드를 출력 처의 장치에 송출한다.
<실시형태 1의 효과>
본 발명의 실시형태 1에 의한 BD-ROM 디스크(101)에서는 오프셋 메타 데이터가 디펜던트 뷰 비디오 스트림의 각 GOP의 선두에 놓여있다. 오프셋 메타 데이터는 복수의 오프셋 시퀀스에 개별로 오프셋 시퀀스 ID를 할당하고 있다. 한편, 3D 플레이리스트 파일에서는 각 재생구간에서의 STN 테이블이 복호 대상의 그래픽스/텍스트 스트림, 즉, PG 스트림, IG 스트림 및 텍스트 자막 스트림에 대하여 개별로 참조 오프셋 ID를 할당하고 있다. 이에 의해 1 플레인+오프셋 모드의 재생장치(102)는 디펜던트 뷰 비디오 스트림의 복호 처리와 병행하여 오프셋 메타 데이터로부터 오프셋 정보를 판독해서 그래픽스 플레인에 대한 오프셋 제어에 이용할 수 있다. 따라서, 재생장치(102)는 재생 대상의 그래픽스/텍스트 스트림이 복수라도 이들과 오프셋 정보 사이의 대응관계를 더 확실하게 유지할 수 있다. 그 결과, 재생장치(102)는 비디오 스트림이 나타내는 영상과 함께 3D 그래픽스 영상을 더 고화질로 재생할 수 있다. 또, 재생장치(102)에는 내장 메모리에 재생경로 전체에 대한 오프셋 정보를 미리 전개할 필요가 없다. 그 결과, 내장 메모리의 용량을 더 삭감하기가 용이하다.
<변형 예>
(1-A) 본 발명의 실시형태 1에 의한 L/R 모드에서는 베이스 뷰 비디오 스트림이 레프트 뷰를 나타내고, 디펜던트 뷰 비디오 스트림이 라이트 뷰를 나타낸다. 반대로, 베이스 뷰 비디오 스트림이 라이트 뷰를 나타내고, 디펜던트 뷰 비디오 스트림이 레프트 뷰를 나타내도 좋다.
(1-B) 본 발명의 실시형태 1에 의한 BD-ROM 디스크(101)에서는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림이 다른 TS에 다중화되어 있다. 그 외에, 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림이 하나의 TS에 다중화되어 있어도 좋다.
(1-C) 도 35에 나타내는 인덱스 파일(211)은 타이틀 전체에서 공통되는 3D 존재 플래그(3520)와 2D/3D 선호 플래그(3530)를 포함한다. 그 외에, 인덱스 파일이 타이틀별로 다른 3D 존재 플래그 또는 2D/3D 선호 플래그를 설정하고 있어도 좋다.
(1-D) 3D 영상의 AV스트림 파일에서는 도 18에 나타내는 PMT(1810)에 3D 영상의 재생방식에 관한 데이터가 추가되어도 좋다. 그 경우, PMT(1810)는 PMT 헤더(1801), 디스크립터(1802) 및 스트림 정보(1803)에 더하여 3D 디스크립터를 포함한다. 3D 디스크립터는 3D 영상의 재생방식에 관해서 AV스트림 파일 전체에 공통되는 정보이며, 특히 3D 방식 정보를 포함한다. 3D 방식 정보는 L/R 모드 또는 깊이 모드 등, 3D 영상의 AV스트림 파일의 재생 방식을 나타낸다. 각 스트림 정보(1803)는 스트림 타입(1831), PID(1832) 및 스트림 디스크립터(1833)에 더하여 3D 스트림 디스크립터를 포함한다. 3D 스트림 디스크립터는 AV스트림 파일에 포함되는 엘리멘터리 스트림별로 3D 영상의 재생방식에 관한 정보를 나타낸다. 특히 비디오 스트림의 3D 스트림 디스크립터는 3D 표시 타입을 포함한다. 3D 표시 타입은 그 비디오 스트림이 나타내는 영상을 L/R 모드로 표시할 때 그 영상이 레프트 뷰와 라이트 뷰의 어느 것인지를 나타낸다. 또, 3D 표시 타입은 그 비디오 스트림이 나타내는 영상을 깊이 모드로 표시할 때 그 영상이 2D 영상과 깊이 맵의 어느 것이지를 나타낸다. 이와 같이 PMT가 3D 영상의 재생방식에 관한 정보를 포함할 때 그 영상의 재생 계통은 AV스트림 파일만으로도 그 정보를 취득할 수 있다. 따라서, 그러한 데이터구조는 예를 들어 방송파로 3D 영상 콘텐츠를 반포하는 경우에 유효하다.
(1-E) 디펜던트 뷰 클립정보파일은 도 22에 나타내는 것과 같은 스트림 속성정보(2220) 중 디펜던트 뷰 비디오 스트림의 PID=0x1012, 0x1013에 할당된 비디오 스트림 속성정보에 소정의 플래그를 포함해도 좋다. 그 플래그가 온일 때는 디펜던트 뷰 비디오 스트림이 베이스 뷰 비디오 스트림을 참조하는 것임을 나타낸다. 또, 그 비디오 스트림 속성정보가 참조 처의 베이스 뷰 비디오 스트림에 관한 정보를 포함해도 좋다. 그 정보는 3D 영상 콘텐츠가 규정의 포맷대로 작성되어 있는가 여부를 소정의 툴로 검증할 경우에 비디오 스트림 간의 대응관계를 확인하는데 이용할 수가 있다.
(1-F) 본 발명의 실시형태 1에서는 클립정보파일에 포함되는 익스텐트 기점(2242, 2420)에서 베이스 뷰 익스텐트와 디펜던트 뷰 익스텐트의 각 사이즈를 산출할 수 있다. 그 외에, 각 익스텐트 사이즈의 일람표가 예를 들어 클립정보파일에 메타 데이터의 일부로 저장되어도 좋다.
(1-G) PG 스트림, IG 스트림 및 텍스트 자막 스트림의 각각에 대한 참조 오프셋 ID와 오프셋 보정치는 STN 테이블(3205)에 대신해서 STN 테이블 SS(3130)에 저장되어도 좋다. 그 외에, 그것들은 클립정보파일 내의 스트림 속성정보(2220)에 저장되어도 좋다. 또, 참조 오프셋 ID는 PG 스트림과 텍스트 자막 스트림의 각 자막 엔트리에 저장되어 있어도 좋고, IG 스트림의 각 페이지에 저장되어 있어도 좋다.
(1-H) 프로그램 실행부(4134)는 무비 오브젝트 또는 BD-J 오브젝트에 따라서 SPRM(27)(4551)과 SPRM(28)(4552)의 각 값을 설정해도 좋다. 즉, 재생장치(102)는 애플리케이션 프로그램에 참조 오프셋 ID와 오프셋 보정치를 설정시켜도 좋다. 또, 이와 같은 애플리케이션 프로그램은 인덱스 테이블(3510)의 항목 「퍼스트 플레이」(3501)에 대응되어 있는 오브젝트에 제한되어도 좋다.
(1-I) STN 테이블에서는 하나의 스트림 데이터에 대해서 오프셋 보정치가 복수 설정되어도 좋다. 도 48은 이와 같은 STN 테이블(4805)을 나타내는 모식도이다. 도 48을 참조하면, 스트림 속성(4810)은 PG 스트림(1)의 스트림 엔트리(4810)와 동일한 STN(4806)에 대응되어 있다. 그 스트림 속성(4810)은 하나의 참조 오프셋 ID(4800)와 함께 3종류의 오프셋 보정치#1-#3(4801-4803)을 포함한다. 이들 오프셋 보정치는 PG 스트림(1)으로부터 재생되는 그래픽스 플레인에 부여되어야 할 오프셋을 표시장치의 화면 사이즈에 의해 변화시키는데 이용된다. 여기서, 오프셋 보정치의 종류와 화면 사이즈 사이의 대응관계는 미리 규정되어 있는 경우를 상정한다. 구체적으로는 오프셋 보정치#1(4801), 오프셋 보정치#2(4802), 오프셋 보정치#3(4803)는 화면 사이즈가 0-33인치, 34-66인치 및 67인치 이상의 각 범위 내에 속할 때 이용된다. 각 오프셋 보정치(4801-4803)는 다음의 조건을 만족하도록 설정된다:그래픽스 플레인의 오프셋에 의해 생기는 레프트 뷰와 라이트 뷰의 그래픽스 영상간의 시차의 최대치가 일반적인 시청자의 동공 간 거리 이하(특히 시청자가 아이인 경우는 5cm 이하)이다. 그 조건이 만족하는 한, 그 시차는 시청자의 동공 간 거리를 넘지 않으므로 그 시청자에게 멀미(motion sickness)나 안정피로(eye strain)가 생길 위험성을 저감시킬 수 있다.
도 49는 표시장치(103)의 화면 사이즈에 의거한 오프셋 보정치의 선택처리의 플로차트이다. 재생장치(102)의 재생제어부(4135)는 현재 PI의 전환에 수반하여 하나의 스트림 데이터에 할당된 오프셋 보정치의 총수가 변경될 때마다 이하의 선택처리를 실시한다.
스텝 S4901에서는 재생제어부(4135)는 표시장치(103)의 화면 사이즈를 취득한다. 그때 필요하면 재생제어부(4135)는 HDMI 인증을 실시한다. 구체적으로는 재생제어부(4135)는 HDMI 케이블(122)을 통해서 표시장치(103) 사이에서 CEC 메시지를 교환하고, 표시장치(103)로부터 그 화면 사이즈를 나타내는 정보를 송신시킨다. 한편, 표시장치(103)의 화면 사이즈가 이미 플레이어 변수의 값으로 어느 하나의 SPRM 등에 보존되어 있을 때는 재생제어부(4135)는 플레이어 변수 기억부(4136)로부터 그 화면 사이즈를 판독한다. 그 후, 처리는 스텝 S4902로 진행된다.
스텝 S4902에서는 재생제어부(4135)는 표시장치(103)의 화면 사이즈가 0-33인치, 34-66인치 및 67인치 이상의 어느 범위 내에 속하는지를 판별한다. 화면 사이즈가 0-33인치, 34-66인치 및 67인치 이상의 각 범위 내에 속할 때 처리는 스텝 S4903, S4904, S4905로 진행된다.
스텝 S4903, S4904, S4905의 각각에서는 재생제어부(4135)는 오프셋 보정치#1(4801), 오프셋 보정치#2(4802), 오프셋 보정치#3(4803)를 선택하고, 그 종류를 나타내는 정보를 플레이어 변수로 플레이어 변수 기억부(4136)에 저장한다. 그 후, 처리는 종료한다. 이에 의해 오프셋 보정치의 선택처리가 다시 실행될 때까지 재생제어부(4135)는 각 STN 테이블에서 그 플레이어 변수가 나타내는 종류의 오프셋 보정치를 선택하고, 그 값에 SPRM(28)의 값을 갱신한다.
(1-J) 재생제어부(4135)는 그래픽스 플레인에게 부여되어야 할 오프셋을 시청자에게 조정시켜도 좋다. 도 50은 그 조정처리의 플로차트이다. 이 처리는 시청자가 리모컨(105) 또는 재생장치(102)의 프런트 패널을 조작해서 오프셋 보정치의 설정을 요구한 때 사용자 이벤트 처리부(4133)가 그 요구를 접수함으로써 개시된다.
스텝 S5001에서는 사용자 이벤트 처리부(4133)로부터의 요구에 따라서 재생제어부(4135)는 표시장치(103)에 오프셋을 조정하기 위한 조작 화면을 표시시킨다. 여기서, 그 조작 화면의 표시에는 재생장치(102)의 OSD가 이용된다. 특히 재생부(4102)는 조작 화면과 그래픽스 영상을 맞춰서 표시한다. 그 후, 처리는 스텝 S5002로 진행된다.
스텝 S5002에서는 재생제어부(4135)는 조작 화면을 이용하여 시청자에게 조정 대상의 그래픽스 플레인을 선택하게 한다. 구체적으로는 재생제어부(4135)는 조작 화면상의 메뉴에 선택 가능한 그래픽스 플레인의 일람을 표시하고, 원하는 항목을 시청자에게 리모컨(105)의 조작으로 선택하게 한다. 여기서, 각 항목에는 대응하는 오프셋 시퀀스 ID가 할당되어 있다. 소정의 시간 내에 어느 하나의 항목이 선택된 때 처리는 스텝 S5003로 진행된다. 한편, 소정의 시간 내에는 어느 항목도 선택되지 않았을 때 또는 리모컨(105)의 조작에 의해 처리의 중단이 시청자에 의해 지시된 때 처리는 종료한다.
스텝 S5003에서는 재생제어부(4135)는 먼저 선택된 오프셋 시퀀스 ID를 보존한다. 재생제어부(4135)는 다음에, 조작 화면을 이용하여 시청자에게 오프셋 값의 증감을 리모컨(105)의 조작으로 선택하게 한다. 오프셋 값의 증가가 선택된 때에는 처리는 스텝 S5004로 진행되고, 감소가 선택된 때에는 처리는 스텝 S5005로 진행된다. 한편, 소정의 시간 내에는 증감의 어느 것도 선택되지 않았을 때 또는 리모컨(105)의 조작에 의해 처리의 중단이 시청자에 의해 지시된 때 처리는 스텝 S5002에 돌아온다.
스텝 S5004, S5005의 각각에서는 재생제어부(4135)는 SPRM(28)를 갱신하고, 그것이 나타내는 오프셋 보정치(4220-4223) 중 보존된 오프셋 시퀀스 ID에 대응하는 것에 소정치를 더하거나 뺀다. 그 후, 처리는 스텝 S5003에 돌아온다.
스텝 S5003-5005의 루프가 반복되는 동안, 재생제어부(4135)는 재생부(4102)에 그래픽스 플레인의 재생처리를 계속시킨다. 여기서, 재생부(4102)는 조작 화면과 그래픽스 영상중 어느 하나의 앞에 표시되는 쪽을 반투명으로 하고, 또는 조작 화면을 그래픽스 영상보다 앞에 표시한다. 이에 의해 조작 화면이 표시되어도 그래픽스 영상은 보이므로 화면의 휘도 및 색조의 조정과 마찬가지로 시청자에게 오프셋 값의 증감의 효과를 바로 확인시킬 수 있다.
(1-K) 재생장치(102)는 사용자에게 동공 간 거리를 예비의 SPRM, 예를 들어 SPRM(32)에 등록시켜도 좋다. 그 경우, 레프트 뷰와 라이트 뷰의 그래픽스 영상 간에서의 시차의 최대치가 SPRM(32)에 등록된 값을 넘지 않도록 재생장치(102)는 오프셋 보정치를 조정할 수 있다. 구체적으로는 재생장치(102)는 시스템 타깃 디코더로부터 출력되는 각 오프셋 값에 대하여 다음의 연산을 실시하면 좋다. 재생장치(102)는 먼저 SPRM(32)의 값과 표시장치(103)의 화면의 폭(수평방향의 길이)과의 비를 구하고, 또 그 비와 표시장치(103)의 수평 화소 수의 곱을 구한다. 이 곱은 오프셋 제어에 의해 그래픽스 플레인에 부여해도 좋은 오프셋의 상한의 2배를 나타낸다. 재생장치(102)는 다음에, 각 오프셋 값의 2배를 그 곱과 비교한다. 어느 하나의 오프셋 값의 2배가 그 곱 이상일 때 재생장치(102)는 그 오프셋 값을 포함하는 오프셋 시퀀스의 ID를 특정하고, 그 ID가 나타내는 그래픽스 플레인에 대한 오프셋 보정치를 줄인다. 그때의 감소량은 오프셋 값의 2배와 상기의 곱과의 차의 절반 이상으로 설정되면 좋다. 이렇게 해서 레프트 뷰와 라이트 뷰의 그래픽스 영상 간에서의 시차의 최대치가 시청자의 동공 간 거리를 넘지 않으므로 그 시청자에게 멀미나 안정피로가 생길 위험성을 저감시킬 수 있다.
(1-L) 각 크로핑 처리부(4531-4534)는 SPRM(27)가 나타내는 참조 오프셋 ID(4210-4213)로 특정되는 오프셋 시퀀스를 오프셋 제어에 이용한다. 반대로, 각 크로핑 처리부(4531-4534)는 소정의 SPRM가 나타내는 오프셋 시퀀스 ID로 특정되는 오프셋 시퀀스를 오프셋 제어에는 이용하지 않도록 해도 좋다. 즉, 그 SPRM는 오프셋 제어에서 마스크 되어야 할 오프셋 시퀀스 ID(PG_ref_offset_id_mask, IG_ref_offset_id_mask, SV_ref_offset_id_mask, IM_ref_offset_id_mask)를 나타낸다. 그 경우, 각 크로핑 처리부(4531-4534)는 시스템 타깃 디코더(4125)로부터 수신한 오프셋 정보(4507) 중 마스크된 오프셋 시퀀스 ID 이외에 대응하는 것 중에서 최대의 오프셋 값을 포함하는 것을 선택해도 좋다. 이에 의해 부 영상 플레인, PG 플레인, IG 플레인 및 이미지 플레인의 각각의 나타내는 그래픽스 영상의 깊이를 용이하게 일치시킬 수 있다. 그 결과, 각 스트림 데이터의 작성의 자유도를 향상시킬 수 있다.
그 외에, 각 크로핑 처리부(4531-4534)는 오프셋 정보(4507) 중에 참조 오프셋 ID(4210-4213)을 검출할 수 없었던 경우에는 그 오프셋 정보(4507)가 포함하는 오프셋 값 중에서 최대의 것을 대용해도 좋다.
(1-M) 재생장치(102)가 OSD로 독자적인 메뉴를 표시할 때에는 그 메뉴의 2D 영상을 나타내는 그래픽스 플레인, 즉 OSD 플레인에 대해서 오프셋 제어를 실시해도 좋다. 그 경우, 재생장치(102)는 오프셋 정보로 그 메뉴의 표시시각에 시스템 타깃 디코더(4125)에 의해 송출된 오프셋 정보(4507) 중에서 오프셋 방향이 화면보다 앞이고, 또한 오프셋 값이 최대인 것을 선택해도 좋다. 이에 의해 그 메뉴를 자막 등, 3D 영상 콘텐츠로부터 재생되는 3D 그래픽스 영상의 어느 것보다도 앞에 표시할 수 있다.
그 외에, 재생장치(102)가 OSD 플레인에 대한 오프셋 정보를 미리 구비하고 있어도 좋다. 그 오프셋 정보에는 특정의 오프셋 시퀀스 ID, 예를 들어 offset_id=0을 할당할 수 있다. 또, 오프셋 시퀀스 ID=0의 오프셋 정보에 대해서는 다음의 조건 (1), (2)가 규정되어도 좋다: (1) 오프셋 방향은 화면보다 앞을 나타낸다. (2) 오프셋 값은 오프셋 시퀀스 ID≠0의 오프셋 정보 중 프레임 번호가 동일하고, 또한 오프셋 방향이 화면보다 앞인 것 중에서 최대의 오프셋 값과 같다. 이 규정에 의해, 재생장치(102)는 시스템 타깃 디코더(4125)에 의해 송출된 오프셋 정보(4507) 중에서는 오프셋 정보를 선택하지 않아도 되기 때문에 OSD 플레인에 대한 오프셋 제어를 간단하게 할 수 있다. 또, 각 크로핑 처리부(4531-4534)는 시스템 타깃 디코더(4125)로부터 수신한 오프셋 정보(4507) 중에 SPRM(27)가 나타내는 참조 오프셋 ID(4210-4213)을 검출할 수 없었던 경우에 오프셋 시퀀스 ID=0의 오프셋정보를 대용해도 좋다.
(1-N) 도 31에 나타내는 3D 플레이리스트 파일(222)은 서브 패스를 1개 포함한다. 그 외에, 3D 플레이리스트 파일이 서브 패스를 복수 포함해도 좋다. 예를 들어 일방의 서브 패스의 서브 패스 타입이 「3D L/R」이고, 타방의 서브 패스의 서브 패스 타입이 「3D 깊이」라도 좋다. 그 3D 플레이리스트 파일에 따라서 3D 영상이 재생될 때 이들 2종류의 서브 패스가 전환됨으로써 재생장치(102)를 L/R 모드와 깊이 모드 사이에서 용이하게 전환할 수 있다. 특히 그 전환 처리는 3D 플레이리스트 파일 그 자체를 전환하는 처리보다 신속하게 실행할 수 있다.
복수의 디펜던트 뷰 비디오 스트림이 각각 공통의 베이스 뷰 비디오 스트림과의 조합으로 동일한 3D 영상을 표현해도 좋다. 단, 이들 디펜던트 뷰 비디오 스트림 사이에서는 동일한 신의 레프트 뷰와 라이트 뷰 사이의 시차가 다르다. 이들 디펜던트 뷰 비디오 스트림은 하나의 서브 TS에 다중화되어 있어도 좋고, 다른 서브 TS로 분리되어 있어도 좋다. 그 경우, 3D 플레이리스트 파일은 서브 패스를 복수 포함한다. 각 서브 패스는 다른 디펜던트 뷰 비디오 스트림을 참조한다. 그 3D 플레이리스트 파일에 따라서 3D 영상이 재생될 때 서브 패스가 전환됨으로써 재생장치(102)에 3D 영상의 깊이감을 용이하게 변화시킬 수 있다. 특히 그 처리는 3D 플레이리스트 파일 그 자체를 전환하는 처리보다 신속하게 실행할 수 있다.
도 51은 서브 패스를 복수 포함하는 3D 플레이리스트 파일(5100)의 데이터구조 및 그에 따라서 참조되는 파일 2D(5110)와 2개의 파일 DEP(5121, 5122)의 데이터구조를 나타내는 모식도이다. 파일 2D(5110)는 PID=0x1011의 베이스 뷰 비디오 스트림을 포함한다. 파일 DEP #1(5121)은 PID=0x1012의 디펜던트 뷰 비디오 스트림 #1을 포함한다. 파일 DEP #2(5122)는 PID=0x1013의 디펜던트 뷰 비디오 스트림 #2를 포함한다. 디펜던트 뷰 비디오 스트림 #1, #2는 각각 파일 2D(5110) 내의 베이스 뷰 비디오 스트림과의 조합으로 동일한 3D 영상을 표현한다. 그러나 디펜던트 뷰 비디오 스트림 #1, #2 사이에서는 동일한 신의 레프트 뷰와 라이트 뷰 사이의 시차가 다르다. 또, 오프셋 시퀀스 ID가 동일한 오프셋 시퀀스가 동일한 프레임 번호에 대하여 다른 오프셋 값을 규정한다.
한편, 3D 플레이리스트 파일(5100)은 메인 패스(5130)와 2개의 서브 패스(5131, 5132)를 포함한다. 메인 패스(5130)의 PI#1은 파일 2D(5110), 특히 베이스 뷰 비디오 스트림을 참조한다. 각 서브 패스 5131, 5132의 SUB_PI#1은 메인 패스(5130)의 PI#1과 재생시간이 공통이다. 서브 패스#1(5131)의 SUB_PI#1은 파일 DEP #1(5121), 특히 디펜던트 뷰 비디오 스트림 #1을 참조한다. 서브 패스#2(5132)의 SUB_PI#1은 파일 DEP #2(5122), 특히 디펜던트 뷰 비디오 스트림 #2를 참조한다.
그 3D 플레이리스트 파일(5100)을 이용한 3D 플레이리스트 재생처리에서는 재생장치(102)는 미리 사용자 또는 애플리케이션 프로그램에 재생 대상의 서브 패스를 선택시킨다. 그 외에, 재생장치(102)는 재생 대상의 서브 패스를 변형 예 (1-I)와 같이 표시장치(103)의 화면 사이즈에 의해 선택해도 좋고, 변형 예 (1-K)와 같이 시청자의 동공 간 거리를 이용해서 선택해도 좋다. 이와 같은 서브 패스의 선택 처리에 의해, 레프트 뷰와 라이트 뷰의 비디오 플레인 간의 시차를 용이하게 변화시킬 수 있다. 또, 디펜던트 뷰 비디오 스트림의 전환에 수반하여 오프셋 정보가 변화하므로 파일 2D(5110)가 포함하는 PG 스트림 또는 IG 스트림으로부터 재생되는 그래픽스 플레인의 오프셋이 변화한다. 이러한 결과, 3D 영상의 깊이감을 용이하게 변화시킬 수 있다.
재생장치(102)가 BD-Live(등록상표)에 대응하고 있는 경우, 그 기능을 이용하여 상기의 파일 DEP #1, #2중 어느 하나를 네트워크상의 서버장치로부터 다운로드해도 좋다. 여기서, 「BD-Live」란 재생장치가 애플리케이션 프로그램에 따라서 인터넷 등의 외부 네트워크로부터 새로운 디지털 콘텐츠를 다운로드하여 BD-ROM 디스크 상의 콘텐츠와 함께 재생하는 기능을 말한다. 새로운 디지털 콘텐츠는 특전영상 및 자막 등, BD-ROM 디스크 상의 콘텐츠에 대한 추가 콘텐츠 및 브라우저 화면 및 게임 등의 인터렉티브 콘텐츠를 포함한다. BD-Live를 이용하여 디펜던트 뷰 비디오 스트림을 갱신하면, BD-ROM 디스크 상에 기록이 완료된 3D 영상의 깊이감을 그 재생시로 변경하는 것이 실현 가능하다. 특히 오프셋 정보가 디펜던트 뷰 비디오 스트림에 저장되어 있으므로 새로운 파일 DEP를 다운 로드하는 것만으로 비디오 플레인과 그래픽스 플레인의 어느 것에 대해서도 레프트 뷰와 라이트 뷰 사이의 시차를 변경하는데 필요한 정보를 취득할 수 있다.
(1-O) 3D 플레이리스트 파일에 참조 오프셋 ID를 설정하는 경우, PI 간의 심리스 접속에 관해서 이하의 제약조건이 규정되어도 좋다.
도 52는 3D 플레이리스트 파일(5200)이 포함하는 참조 오프셋 ID를 나타내는 모식도이다. 도 52를 참조하면, 메인 패스(5210)의 PI#2에는 CC=5가 설정되어 있다. 따라서, PI#1과 PI#2의 각각이 규정하는 재생구간의 영상은 심리스로 접속되지 않으면 안 된다. 그 경우, PI#1과 PI#2에서는 참조 오프셋 ID의 값의 변경과 디펜던트 뷰 비디오 스트림에 포함되는 오프셋 시퀀스의 총수, 즉 엔트리 수의 변경이 모두 금지된다. 또, 오프셋 보정치의 변경과 그 엔트리 수의 변경이 모두 금지되어도 좋다.
이 제약조건은 구체적으로는 다음과 같다. PI#1이 포함하는 STN 테이블#1에서는 PG 스트림(1), PG 스트림(2), 텍스트 자막 스트림, …, IG 스트림(1)에 각각 참조 오프셋 ID#1=1, 참조 오프셋 ID#2=3, 참조 오프셋 ID#3=2, …, 참조 오프셋 ID#M=6이 할당되어 있다. 여기서, 정수 M는 STN 테이블#1에 등록된 디펜던트 뷰 비디오 스트림에 포함되는 오프셋 시퀀스의 총수 X보다 작은 값이 아니면 안 된다 : M<X. 또, PI#2가 포함하는 STN 테이블#2에서도 PG 스트림(1), PG 스트림(2), 텍스트 자막 스트림, …, IG 스트림(1)에 각각 참조 오프셋 ID#1=1, 참조 오프셋 ID#2=3, 참조 오프셋 ID#3=2, …, 참조 오프셋 ID#M=6이 할당되지 않으면 안 된다. 또, STN 테이블#2에 등록된 디펜던트 뷰 비디오 스트림에 포함되는 오프셋 시퀀스의 총수는 STN 테이블#1에 등록된 디펜던트 뷰 비디오 스트림에 포함되는 오프셋 시퀀스의 총수X와 동일하지 않으면 안 된다. 이와 같이 CC=5 등, 심리스 접속이 설정된 플레이 아이템 간에서는 참조 오프셋 ID의 값 및 참조 처의 디펜던트 뷰 비디오 스트림에 포함되는 오프셋 시퀀스의 총수가 모두 변경되어서는 안 된다.
이 제약조건에 의해, 재생장치(102)는 현재 PI를 PI#1에서 PI#2로 변경할 때 SPRM(27)의 갱신처리를 스킵할 수 있다. 따라서, 심리스 접속에 관한 처리의 부담이 경감되므로 그 처리의 신뢰성을 더 향상시킬 수 있다. 그 결과, 3D 영상의 화질을 더 향상시킬 수 있다.
또, 도 52를 참조하면, 메인 패스(5210)의 PI#K에는 CC=1이 설정되어 있다. 여기서, 정수 K는 3 이상이다. 따라서, PI#K가 규정하는 재생구간의 영상은 직전의 PI#(K-1)가 규정하는 재생구간의 영상과 반드시 심리스로 접속되지 않아도 좋다. 그 경우, PI#K가 포함하는 STN 테이블#K에서는 그 전의 PI가 포함하는 STN 테이블의 내용에 관계없이 참조 오프셋 ID와 오프셋 보정치를 자유롭게 설정할 수 있다. 또, 재생장치(102)는 PI#K을 현재 PI로 설정하는 시점에서 SPRM(27)과 SPRM(28)를 리셋할 수 있다.
(1-P) 영상 콘텐츠에는 예를 들어 가라오케에서 가사의 표시에 이용되는 것과 같이, 정지화상에 자막 등의 그래픽스 영상이 중첩해서 표시되고, 또한 그 그래픽스 영상만이 빈번하게 갱신되는 것이 있다. 그러한 콘텐츠가 3D 영상 콘텐츠로 형성되어 있는 경우, 오프셋 메타 데이터가 배치된 VAU는 시퀀스 종단코드를 더 포함한다. 재생장치(102)는 그러한 VAU을 복호한 때는 그 오프셋 메타 데이터로부터 얻어진 오프셋 정보를 보유하고, 새로운 오프셋 메타 데이터를 포함하는 VAU가 복호될 때까지 변경하지 않는다.
도 53(a)은 정지화상만을 나타내는 디펜던트 뷰 비디오 스트림(5300)의 데이터구조를 나타내는 모식도이다. 디펜던트 뷰 비디오 스트림(5300)의 각 VAU은 하나의 정지화상을 나타낸다. 그 경우, 각 VAU의 후단에는 시퀀스 종단코드(5303, 5304)가 배치되어 있다. 한편, 각 VAU의 보충 데이터(5301, 5302)에는 오프셋 메타 데이터(5311,5312)가 배치되어 있다. VAU#1의 오프셋 메타 데이터(5311)는 오프셋 시퀀스 ID=0의 오프셋 시퀀스[0]를 포함한다. 그 오프셋 시퀀스[0]는 프레임 #1의 오프셋정보만을 포함한다. 마찬가지로 VAU#2의 오프셋 메타 데이터(5312)에서는 오프셋 시퀀스[0]는 프레임 #1의 오프셋 정보만을 포함한다.
여기서, 3D 플레이리스트 파일이 다음의 사항 (1),(2)을 규정하고 있는 경우를 상정한다 : (1)디펜던트 뷰 비디오 스트림(5300)의 각 VAU가 나타내는 정지화상을 10초 간격으로 전환한다. (2) 각 정지화상에 그래픽스 스트림이 나타내는 그래픽스 영상을 중첩해서 표시한다. 도 53(b)는 그러한 3D 플레이리스트 파일을 따라서 재생되는 레프트 뷰 비디오 플레인의 열(5321), 라이트 뷰 비디오 플레인의 열(5322) 및 그래픽스 플레인의 열(5330)을 나타내는 모식도이다. 도 53(b)에서는 정지화상이 전환된 시점의 각 비디오 플레인이 사선으로 나타나고 있다. 레프트 뷰 비디오 플레인의 열(5321)에서는 최초의 비디오 플레인(5341)이 나타내는 정지화상이 최초의 10초의 기간(5361)에 반복해서 재생되고, 다음의 비디오 플레인(5351)이 나타내는 정지화상이 다음의 10초의 기간(5371)에 반복해서 재생된다. 라이트 뷰 비디오 플레인의 열(5322)에서는 최초의 비디오 플레인(5342)이 나타내는 정지화상이 최초의 10초의 기간(5362)에 반복해서 재생되고, 다음의 비디오 플레인(5352)이 나타내는 정지화상이 다음의 10초의 기간(5372)에 반복해서 재생된다.
재생장치(102)는 디펜던트 뷰 비디오 스트림(5300)의 VAU#1을 복호 한 때 그 오프셋 메타 데이터(5311)로부터 프레임 #1의 오프셋 정보(오프셋 방향=화면보다 안쪽, 오프셋 값=10픽셀)을 판독한다. 또, 재생장치(102)는 그 시퀀스 종단코드(5303)를 검출한다. 그때 재생장치(102)는 프레임 #1의 오프셋정보를 보유한다. 이에 의해 최초의 10초의 기간(5361)에서는 그래픽스 플레인의 열(5330)에 부여되는 오프셋이 보유된 오프셋 정보에서 정해지는 것으로 일정하게 유지된다. 즉, 그래픽스 영상의 깊이가 일정하게 유지된다.
VAU#1의 복호로부터 10초간이 경과한 때 재생장치(102)는 VAU#2를 복호한다. 재생장치(102)는 그때 그 오프셋 메타 데이터(5312)로부터 프레임 #1의 새로운 오프셋 정보(오프셋 방향=화면보다 앞, 오프셋 값=5픽셀)을 판독한다. 또, 재생장치(102)는 그 시퀀스 종단코드(5304)를 검출한다. 그때 재생장치(102)는 프레임 #1의 오프셋 정보를 보유한다. 이에 의해 다음의 10초의 기간(5371)에서는 그래픽스 플레인의 열(5330)에 부여되는 오프셋이 새롭게 보유된 오프셋 정보에서 정해지는 것으로 변경된 후, 일정하게 유지된다. 즉, 그래픽스 영상이 새로운 깊이로 일정하게 유지된다.
이와 같이 VAU가 시퀀스 종단코드를 포함할 때는 재생장치(102)에 기존의 오프셋 정보를 그대로 보유시킨다. 이에 의해 비디오 스트림이 정지화상만으로부터 구성되어 있는 경우에도 재생장치(102)에 그래픽스 플레인에 대한 오프셋 제어를 확실하게 계속시킬 수 있다.
(1-Q) 오프셋 메타 데이터는 디펜던트 뷰 비디오 스트림에 대신하여 베이스 뷰 비디오 스트림에 저장되어도 좋다. 그 경우에도 오프셋 메타 데이터는 바람직하게는 각 비디오 시퀀스의 선두에 위치하는 VAU 내의 보충 데이터에 저장된다. 또, 3D 플레이리스트 파일은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 어느 것이 오프셋 메타 데이터를 포함하는가를 나타내는 플래그를 구비하고 있어도 좋다. 이에 의해 각 스트림 데이터의 작성의 자유도를 향상시킬 수 있다. 또, 그 플래그에 대해서는 「CC=5, 6에 의해 심리스로 접속되는 PI 간에서는 변경을 금지한다」라고 규정되어도 좋다.
(1-R) 오프셋 메타 데이터는 각 비디오 시퀀스(즉, 각 GOP)의 선두뿐만이 아니라, 각 VAU(즉, 각 프레임 또는 필드)에 저장되어도 좋다. 그 외에, 콘텐츠별로 오프셋 메타 데이터의 간격이 임의의 값으로, 예를 들어 3프레임 이상으로 설정되어도 좋다. 그 경우, 바람직하게는 각 비디오 시퀀스의 선두 VAU에는 반드시 오프셋 메타 데이터가 저장되고, 또한 그 직전의 오프셋 메타 데이터와의 간격이 3프레임 이상이 되도록 제한된다. 이에 의해 재생장치에 오프셋 정보의 변경처리를 인터럽트 재생처리와 확실하게 병행시킬 수 있다.
(1-S) 오프셋 메타 데이터는 비디오 스트림에 저장되는 대신에 독립적인 스트림 데이터로 메인TS 또는 서브TS에 다중화되어 있어도 좋다. 그 경우, 오프셋 메타 데이터에는 고유의 PID가 할당된다. 시스템 타깃 디코더는 그 PID를 이용하여 오프셋 메타 데이터를 다른 스트림 데이터로부터 분리한다. 그 외에, 오프셋 메타 데이터는 텍스트 자막 스트림과 마찬가지로 먼저 전용의 버퍼에 프리로드 되고, 그 후, 재생처리를 수신해도 좋다. 그 경우, 오프셋 메타 데이터는 일정한 프레임 간격으로 저장된다. 이에 의해 오프셋 메타 데이터에 대해서는 PTS가 불필요하므로 PES 헤더의 데이터량이 삭감된다. 그 결과, 프리로드용의 버퍼의 용량을 절약할 수 있다.
그 외에, 오프셋 메타 데이터는 VAU의 보충 데이터에 저장되는 대신에 비디오 워터마크(video watermark)를 이용하여 비디오 스트림에 매입되어도 좋다. 또, 오프셋 메타 데이터는 오디오 워터마크를 이용하여 오디오 스트림에 매입되어도 좋다.
(1-T) 오프셋 메타 데이터에서는 각 오프셋 시퀀스가 프레임별로 오프셋 값을 규정하는데 대신해, 표시 시간마다 오프셋 값의 경시변화를 나타내는 함수, 즉 보완함수를 규정해도 좋다. 그 경우, 3D 재생장치는 표시 시간마다 보완함수를 이용하여 그 표시 시간에 포함되는 각 프레임에서의 오프셋 값을 산정한다.
도 54(a)는 보완함수를 이용하는 오프셋 메타 데이터(5400)의 데이터구조를 나타내는 모식도이다. 도 54(a)를 참조하면, 오프셋 메타 데이터(5400)는 오프셋 시퀀스 ID(5410)와 오프셋 시퀀스(5420)의 대응 표를 포함한다. 오프셋 시퀀스(5420)는 기점 오프셋 값(offset_start)(5421), 종점 오프셋 값(offset_end)(5422), 오프셋 함수 ID(offset_func_id)(5423) 및 오프셋 시간간격(offset_duration)(5424)을 포함한다. 오프셋 메타 데이터(5400)가 디펜던트 뷰 비디오 스트림 내의 하나의 비디오 시퀀스에 저장되어 있을 때 기점 오프셋 값(5421)은 그 비디오 시퀀스가 나타내는 최초의 프레임에서의 오프셋 값을 나타낸다. 종점 오프셋 값(5422)은 다음의 비디오 시퀀스가 나타내는 최초의 프레임에서의 오프셋 값을 나타낸다. 오프셋 함수 ID(5423)는 보완함수의 종류를 규정한다. 그 보완함수의 종류는 그 비디오 시퀀스의 표시 시간에서의 오프셋 값의 변화의 형상을 나타낸다. 오프셋 시간 간격(5424)은 그 비디오 시퀀스의 표시 시간의 길이를 나타낸다.
도 54(b)는 보완함수를 구성하는 요소의 종류를 나타내는 그래프이다. 도 54(b)를 참조하면, x축은 표시 시간을 나타내고, y축은 오프셋 값을 나타낸다. 여기서, 오프셋 값의 부호는 3D 그래픽스 영상의 깊이가 화면보다 안쪽인지 앞인지로 정해진다. 보완함수의 구성요소로는 직선 형상 LNR, 볼록 형상 CVX 및 오목 형상 CCV의 3종류가 준비되어 있다. 직선 형상 LNR은 선형 함수 y=ax+b로 정의되고, 볼록 형상 CVX과 오목 형상 CCV는 2차 곡선 y=ax2+bx+c, 3차 곡선y=ax3+bx2+cx+d, 또는 감마 곡선 y=a(x+b)1/r+c로 정의된다. 여기서, 정수 a,b,c,d는 파라미터이며, 각 요소의 양단 A,B의 xy좌표, 즉, 표시시각과 그 시점에서의 오프셋 값의 쌍으로 정해진다. 한편, 정수 r는 따로 규정되어서 각 오프셋 시퀀스에 저장된다. 보완함수의 종류는 이들 요소 LNR, CVX, CCV의 단체, 또는 조합으로 정의된다.
도 54(c)는 도 54(a)에 나타내는 오프셋 시퀀스 ID=0,1,2의 각 오프셋 시퀀스로부터 3D 재생장치에 의해 산정된 오프셋 값을 나타내는 그래프이다. 도 54(c)를 참조하면, 그래프의 횡축은 각 오프셋 시퀀스가 저장된 비디오 시퀀스의 최초의 프레임이 표시된 시각으로부터의 경과시간을 나타낸다. 검은 원 A0, B0, A1, B1, A2, B2는 기점 오프셋 값(5421) 또는 종점 오프셋 값(5422) 중 어느 하나와 오프셋 시간 간격(5424)으로 규정되는 좌표를 나타낸다. 한 쌍의 검은 원 A0+B0, A1+B1, A2+B2 사이를 접속하는 실선의 그래프 GR0, GR1, GR2는 오프셋 함수 ID(5423)로 규정된 보완함수의 종류와 양단의 검은 원 A0+B0, A1+B1, A2+B2의 좌표치로 결정된 보완함수를 나타낸다. 오프셋 시퀀스 ID=0의 오프셋 시퀀스에서는 오프셋 함수 ID(5423)가 「직선」을 나타내므로 양단의 검은 원 A0, B0 사이가 직선 형상 LNR의 그래프#0 GR0와 접속된다. 오프셋 시퀀스 ID=1의 오프셋 시퀀스에서는 오프셋 함수 ID(5423)가 「곡선#1」을 나타내므로 양단의 검은 원 A1, B1 사이가 단일한 볼록 형상 CVX의 그래프#1 GR1과 접속된다. 오프셋 시퀀스 ID=2의 오프셋 시퀀스에서는 오프셋 함수 ID(5423)가 「곡선#2」을 나타내므로 양단의 검은 원 A2, B2 사이가 볼록 형상 CVX과 오목 형상 CCV의 조합으로 이루어지는 그래프#2 GR2와 접속된다. 흰색 원은 각 그래프 GR0, GR1, GR2가 나타내는 보완함수를 이용하여 3D 재생장치에 의해 산정된 각 프레임의 표시시각과 그 프레임에서의 오프셋 값의 쌍을 나타낸다. 이들 그래프 GR0, GR1, GR2로부터 용이하게 이해되는 것과 같이, 기점 오프셋 값(5421), 종점 오프셋 값(5422), 오프셋 함수 ID(5423) 및 오프셋 시간간격(5424)의 조합만으로도 다양한 오프셋 값의 변화, 즉 3D 그래픽스 영상의 깊이의 변화를 표현할 수 있다. 따라서, 3D 그래픽스 영상의 표현력을 해치는 일 없이 오프셋 메타 데이터 전체 사이즈를 삭감할 수 있다.
(1-U) 도 40에 나타내는 텍스트 자막 디코더(4076)에서는 텍스트 디코더(DEC)(4077)에 의해 이미 복호된 비트 맵 데이터를 저장하는 비트 맵 버퍼(4078) 내의 영역이 캐시로 이용되어도 좋다. 이에 의해 텍스트 자막 디코더(4076)에 의한 PG 플레인 메모리(4092)에 대한 렌더링 처리를 고속화할 수 있다.
도 55(a),(b),(c)는 각각 하나의 텍스트 자막 스트림 내에서 연속하는 텍스트 데이터 엔트리 #1, #2, #3가 나타내는 문자 열(5501, 5502, 5503)과 각 텍스트 데이터 엔트리가 복호 된 때에 비트 맵 버퍼에 저장되는 캐시데이터(5511, 5512, 5513)를 나타내는 모식도이다.
도 55(a)를 참조하면, 텍스트 데이터 엔트리 #1이 나타내는 최초의 문자 열(5501)은 “Hello, Good Morning.”이다. 그 문자 수 nC는 18과 같다 : nC=18. 여기서, 콤마와 피리어드는 각각 하나의 문자이다. 그러나 최초의 문자 열(5501)은 소문자 “l”, “n”을 2개씩 포함하고, 소문자 “o”을 3개 포함하며, 그 외의 문자를 하나씩 포함한다. 그 경우, DEC(4077)는 최초의 “l”, “n”, “o”와 그 외의 문자를 비트 맵 데이터로 변환하여 비트 맵 버퍼(4078)에 기록하고, 두 번째 이후의 “l”, “n”, “o”에 대한 렌더링 처리를 스킵한다. 그 결과,DEC(4077)가 실제로 비트 맵 데이터로 변환하는 문자 수, 즉 렌더링 수 nR는 13이다 : nR=13. 한편, 텍스트 데이터 엔트리 #1이 복호 된 때의 캐시 데이터 #1(5511)는 다른 문자를 하나씩 나타낸다. 비트 맵 버퍼(4078)는 캐시 데이터 #1(5511)로부터 PG 플레인 메모리(4092)에“l”과 “n”을 2회씩 전송하고, “o”을 3회 전송하며, 남은 문자를 1회씩 전송한다. 즉, 비트 맵 버퍼(4078)로부터 PG 플레인 메모리(4092)로의 전송 횟수 nT는 최초의 문자 열(5501)의 문자 수 nC와 같다 : nT=nC=18.
도 55(b)를 참조하면, 텍스트 데이터 엔트리 #2가 나타내는 두 번째의 문자 열(5502)은“Nice to meet you.”이다. 그 문자 수 nC는 14와 같다 : nC=14. 그러나 두 번째의 문자 열(5502) 중 소문자“i”, “e”, “o” 및 피리어드의 비트 맵 데이터는 이미 캐시 데이터 #1(5511)에 포함된다. 또, 두 번째의 문자 열(5502)은 소문자“t”을 2개 포함한다. 그 경우, DEC(4077)는 “i”, “e”, “o”, 피리어드 및 두 번째의“t”에 대한 렌더링 처리를 스킵하고, 최초의“t”와 그 외의 문자를 비트 맵 데이터로 변환하여 비트 맵 버퍼(4078)에 기록한다. 그 결과, 렌더링 수 nR는 6이다 : nR=6. 한편, 텍스트 데이터 엔트리 #2가 복호 된 때의 캐시 데이터 #2(5512)에는 캐시 데이터 #1(5511)가 포함하지 않는 문자의 비트 맵 데이터만이 추가된다. 비트 맵 버퍼(4078)는 캐시 데이터 #2(5512)로부터 PG 플레인 메모리(4092)에 “e”을 3회 전송하고, “t”와“o”을 2회씩 전송하며, 두 번째의 문자 열(5502) 내의 다른 문자를 1회씩 전송한다. 즉, 비트 맵 버퍼(4078)로부터 PG 플레인 메모리(4092)로의 전송횟수 nT는 두 번째의 문자 열(5502)의 문자 수 nC와 같다 : nT=nC=14.
도 55(c)를 참조하면, 텍스트 데이터 엔트리 #3가 나타내는 3번째의 문자 열(5503)은“Nice to meet you, too.”이다. 그 문자 수 nC는 18과 같다 : nC=18. 그러나 3번째의 문자 열(5502)에 포함되는 문자의 비트 맵 데이터는 모두 이미 캐시 데이터 #2(5512)에 포함된다. 그 경우, DEC(4077)는 3번째의 문자 열(5503)의 전체에 대한 렌더링 처리를 스킵한다. 즉, 렌더링 수 nR는 0이다 : nR=0. 한편, 텍스트 데이터 엔트리 #3가 복호 된 때의 캐시 데이터 #3(5513)은 캐시 데이터 #2(5512)와 동일하다. 비트 맵 버퍼(4078)는 캐시 데이터 #3(5513)으로부터 PG 플레인 메모리(4092)에 “e”와“t”을 3회씩 전송하고, “o”을 4회 전송하며, 3번째의 문자 열(5503)에 포함되는 다른 문자를 1회씩 전송한다. 즉, 비트 맵 버퍼(4078)로부터 PG 플레인 메모리(4092)로의 전송횟수 nT는 3번째의 문자 열(5503)의 문자 수 nC와 같다 : nT=nC=18.
상기로부터 명백한 것과 같이, 비트 맵 버퍼(4078)에 저장되어 있는 비트 맵 데이터를 캐시 데이터로 이용함으로써 텍스트 문자의 렌더링 처리에 대한 DEC(4077)의 부담을 경감할 수 있다. 그 결과, 문자 열을 PG 플레인에 묘사하는데 필요로 하는 시간을 단축할 수 있다. 실제로 하나의 텍스트 데이터 엔트리가 nC자(정수 nC는 1 이상인)의 텍스트 문자 열을 나타낼 때 DEC(4077)가 그 텍스트 데이터 엔트리로부터 비트 맵 데이터를 복호하여 PG 플레인 메모리(4092)에 기록하는데 필요로 하는 시간 Tprocess은 렌더링 수 nR, 렌더링 속도 Rred 및 비트 맵 버퍼(4078)로부터 PG 플레인 메모리(4092)로의 데이터 전송속도 RtR을 이용하여 다음의 식으로 나타낸다 : Tprocess=nR/Rred+nC/Rtr. 렌더링 수 nR는 명백하게 문자 수 nC 이하이므로(nR≤nC), 캐시의 이용은 시간 Tprocess을 단축시킨다. 예를 들어 렌더링 속도 Rred와 데이터 전송속도 Rtr가 모두 20자/초일 때 20자(nC=20)를 PG 플레인 메모리(4092)에 기록하는데 필요로 하는 시간 Tprocess은 nR/20+20/20=(nR/20+1)초이다. 따라서, 렌더링 수 nR=20일 때는 시간 Tprocess가 2초인데 비해, 렌더링 수 nR=10일 때는 시간Tprocess가 1.5초이며, 렌더링 수 nR=0일 때는 시간 Tprocess가 1초이다. 이와 같이 렌더링 수가 작을수록, 즉 재이용되는 캐시 데이터의 수가 많을수록 시간 Tprocess은 단축된다.
여기서, 도 17에 나타내는 각 텍스트 데이터 엔트리(1710)에 스타일 정보(1711)가 직전의 텍스트 데이터 엔트리의 것에서 갱신되고 있는가 여부를 나타내는 플래그가 설치되어 있어도 좋다. 스타일 정보(1711)가 갱신되고 있는 경우, 그 텍스트 데이터 엔트리(1710)가 포함하는 텍스트 정보(1712)가 나타내는 문자의 비트 맵 데이터가 캐시에 포함되어 있을 가능성은 작다. 따라서, DEC(4077)는 그 플래그의 값에 의해 캐시 데이터 중에서 비트 맵 데이터를 찾아야할 것인지 여부를 판단할 수 있다.
또, 캐시에서는 비트 맵 데이터가 퍼스트-인/퍼스트-아웃 방식(FIFO)으로 처리되어도 좋다. 그 외에, 각 텍스트 데이터 엔트리(1710) 내의 텍스트 정보(1712)에 캐시의 우선도를 나타내는 데이터가 저장되어도 좋고, 각 텍스트 데이터 엔트리(1710)에 그 텍스트 정보(1712)가 나타내는 문자 열의 비트 맵 데이터를 캐시에 저장해야할지 여부를 나타내는 플래그가 설치되어 있어도 좋다. 그 플래그를 이용하여 사용빈도가 낮은 문자 열의 비트 맵 데이터가 캐시에 보존되지 않도록 할 수 있다.
《실시형태 2》
본 발명의 실시형태 2에 의한 BD-ROM 디스크와 재생장치는 레프트 뷰와 라이트 뷰 사이의 「어긋남(misalignment)」이 시청자에게 위화감을 줄 위험성을 회피할 수 있다. 그 점을 제외하고 실시형태 2에 의한 BD-ROM 디스크와 재생장치는 실시형태 1에 의한 것과 구성 및 기능이 동일하다. 따라서, 이하에서는 실시형태 2에 의한 BD-ROM 디스크와 재생장치 중 실시형태 1에 의한 것으로부터의 변경부분 및 확장부분에 대하여 설명한다. 실시형태 1에 의한 BD-ROM 디스크와 재생장치와 동일한 부분에 대해서는 상기의 실시형태 1에 대한 설명을 원용한다.
<레프트 뷰와 라이트 뷰 사이의 수평방향이 어긋남>
도 56(a)은 3D 영상을 촬영하는 한 쌍의 비디오 카메라(CML, CMR)의 수평 화각(HAL, HAR)를 모식적으로 나타내는 평면도이다. 도 56(a)을 참조하면, 한 쌍의 비디오 카메라(CML, CMR)는 수평방향으로 나열되어 있다. 좌측의 비디오 카메라(CML)는 레프트 뷰를 촬영하고, 우측의 비디오 카메라(CMR)는 라이트 뷰를 촬영한다. 이들 비디오 카메라(CML, CMR)의 수평 화각(HAL, HAR)은 크기는 동일하지만, 위치는 다르다. 따라서, 좌측의 비디오 카메라(CML)의 수평 화각(HAL)에만 포함되는 영역(AL)과 우측의 비디오 카메라(CMR)의 수평 화각(HAR)에만 포함되는 영역(AR)이 발생한다. 양쪽의 수평 화각(HAL, HAR)의 공통부분에 위치하는 피사체(OBC)는 어느 비디오 카메라(CML, CMR)에도 비친다. 그러나 좌측의 비디오 카메라(CML)의 수평 화각(HAL)에만 포함되는 영역(AL)에 위치하는 피사체(OBL)는 좌측의 비디오 카메라(CML)에밖에 비치지 않고, 우측의 비디오 카메라(CMR)의 수평 화각(HAR)에만 포함되는 영역(AR)에 위치하는 피사체 OBR는 우측의 비디오 카메라(CMR)에 밖에 비치지 않는다.
도 56(b)는 좌측의 비디오 카메라(CML)로 촬영된 레프트 뷰(LV)를 나타내는 모식도이며, 도 56(c)은 우측의 비디오 카메라(CMR)로 촬영된 라이트 뷰(RV)를 나타내는 모식도이다. 도 56(b), (c)를 참조하면, 좌측의 비디오 카메라(CML)의 수평 화각(HAL)에만 포함되는 영역(AL)은 레프트 뷰(LV)에 그 좌단에 따라서 연장되고 있는 띠 형상 영역으로 포함된다. 그러나 그 띠 형상 영역(AL)은 라이트 뷰(RV)에는 포함되지 않는다. 한편, 우측의 비디오 카메라(CMR)의 수평 화각(HAR)에만 포함되는 영역(AR)는 라이트 뷰(RV)에 그 우단에 따라서 연장되고 있는 띠 형상 영역으로 포함된다. 그러나 그 띠 형상 영역(AR)은 레프트 뷰(LV)에는 포함되지 않는다. 따라서, 도 56(a)에 나타내는 3개의 피사체 OBL, OBC, OBR 중 우측의 피사체(OBR)는 레프트 뷰(LV)에는 포함되지 않고, 좌측의 피사체(OBL)는 라이트 뷰(RV)에는 포함되지 않는다. 그 결과, 좌측의 피사체(OBL)는 시청자의 왼쪽 눈에밖에 비치지 않고, 우측의 피사체(OBR)는 오른쪽 눈에밖에 비치지 않는다. 그 경우, 레프트 뷰(LV)와 라이트 뷰(RV)는 시청자에게 위화감을 줄 위험성이 있다.
실시형태 2에 의한 BD-ROM 디스크에서는 레프트 뷰(LV)와 라이트 뷰(RV)의 각 프레임에 포함되는 상기의 띠 형상 영역(AL, AR)의 폭(WDH)을 나타내는 정보가 디펜던트 뷰 비디오 스트림에 저장되어 있다. 그 저장 장소는 도 13에 나타내는 오프셋 메타 데이터(1310)의 저장 장소, 즉, 각 비디오 시퀀스의 선두에 위치하는 VAU의 보충 데이터(1301)이다. 한편, 실시형태 2에 의한 재생장치에서는 도 41에 나타내는 시스템 타깃 디코더(4125)가 디펜던트 뷰 비디오 스트림으로부터 상기의 띠 형상 영역(AL, AR)의 폭(WDH)을 나타내는 정보를 판독한다. 또, 시스템 타깃 디코더(4125)는 그 정보를 도 45에 나타내는 오프셋 정보(4507)과 함께 플레인 가산부(4126)에 전한다. 플레인 가산부(4126)에서는 시차 영상 생성부(4510)가 그 정보를 이용하여 좌 영상 플레인과 우 영상 플레인을 가공하고, 상기의 띠 형상 영역(AL, AR)을 배경색 또는 흑색으로 동일하게 전부 칠한다. 즉, 각 띠 형상 영역(AL, AR)에 포함되는 화소 데이터를 동일한 배경색 또는 흑색의 데이터로 재기록한다.
도 56(d), (e)는 각각 시차 영상 생성부(4510)에 의해 가공된 좌 영상 플레인이 나타내는 레프트 뷰(LV)와 우 영상 플레인이 나타내는 라이트 뷰(RV)를 나타내는 모식도이다. 도 56(d)을 참조하면, 좌측의 비디오 카메라(CML)의 수평 화각(HAL)에만 포함되는 영역(AL)은 폭(WDH)의 흑색 띠(BL)로 숨겨져 있다. 한편, 도 56(e)을 참조하면, 우측의 비디오 카메라(CMR)의 수평 화각(HAR)에만 포함되는 영역(AR)은 폭(WDH)의 흑색 띠(BR)로 숨겨져 있다. 이들의 결과, 시청자의 각 눈에는 레프트 뷰(LV)와 라이트 뷰(RV)에서 공통되는 영역밖에 비치지 않으므로 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
또, 시차 영상 생성부(4510)는 도 47에 나타내는 크로핑 처리와 마찬가지로 좌 영상 플레인과 우 영상 플레인의 각각으로부터 상기의 띠 형상 영역(AL, AR) 중 외측의 절반의 영역에 포함되는 화소 데이터를 제거해도 좋다. 그 경우, 시차 영상 생성부(4510)는 각 띠 형상 영역(AL, AR)의 나머지 절반의 영역을 배경색 또는 흑색으로 동일하게 전부 칠하는 동시에, 그 반대 측의 단부에 각 띠 형상 영역(AL, AR)의 절반의 폭의 배경색 또는 흑색의 띠 형상 영역을 부가한다. 이에 의해 시청자의 어느 눈에도 레프트 뷰(LV)와 라이트 뷰(RV)에서 공통되는 영역이 나타내는 영상이 화면의 중앙에 비치고, 배경색 또는 흑색의 띠가 화면의 양단에 비친다. 그 결과, 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
그 외에, 시차 영상 생성부(4510)는 좌 영상 플레인과 우 영상 플레인을 다음과 같이 처리해도 좋다. 시차 영상 생성부(4510)는 먼저 도 47에 나타내는 크로핑 처리와 마찬가지로 각 영상 플레인으로부터 상기의 띠 형상 영역(AL, AR) 내의 화소 데이터를 제거한다. 시차 영상 생성부(4510)는 다음에, 스캘링 처리에 의해 나머지의 영역 내의 화소 데이터로부터 각 영상 플레인을 재구성한다. 이에 의해 나머지의 영역이 나타내는 영상이 프레임 전체에 확대 표시된다. 그 결과, 시청자의 각 눈에는 레프트 뷰(LV)와 라이트 뷰(RV)에서 공통되는 영역밖에 비치지 않으므로 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
또, 레프트 뷰와 라이트 뷰 사이의 수평방향의 어긋남은 단일의 카메라로 촬영된 평면 시 영상에서 입체 시 영상을 생성하는 경우, 즉 2D/3D 변환을 실시하는 경우에도 일어날 수 있다. 그러나 이 경우도 상기와 마찬가지로 어긋남을 숨길 수 있다. 즉, 좌 영상 픽처 데이터(좌 영상 플레인)와 우 영상 픽처 데이터(우 영상 플레인)의 각각으로부터 일부의 화소 데이터가 삭제되고, 삭제된 개소에 다른 화소 데이터가 설정되거나, 또는 나머지의 화소 데이터가 픽처(플레인) 전체에 확대되어도 좋다.
<레프트 뷰와 라이트 뷰 사이의 수직 방향이 어긋남>
도 57(a)은 3D 영상을 촬영하는 한 쌍의 비디오 카메라(CML, CMR)의 수직 화각(VAL, VAR)을 모식적으로 나타내는 평면도이다. 도 57(a)을 참조하면, 이들 비디오 카메라(CML, CMR)의 수직 화각(VAL, VAR)은 크기는 동일하지만 위치는 다르다. 따라서, 좌측의 비디오 카메라(CML)의 수직 화각(VAL)에만 포함되는 영역(AT)과 우측의 비디오 카메라(CMR)의 수직 화각(VAR)에만 포함되는 영역(AB)이 발생한다. 양쪽의 수직 화각(VAL, VAR)의 공통 부분에 위치하는 피사체(OBJ)는 어느 비디오 카메라(CML, CMR)에도 비친다. 그러나 좌측의 비디오 카메라(CML)의 수직 화각(VAL)에만 포함되는 영역(AT)에 위치하는 피사체는 좌측의 비디오 카메라(CML)에밖에 비치지 않고, 우측의 비디오 카메라(CMR)의 수직 화각(VAR)에만 포함되는 영역(AB)에 위치하는 피사체는 우측의 비디오 카메라(CMR)에밖에 비치지 않는다.
도 57(b)는 좌측의 비디오 카메라(CML)로 촬영된 레프트 뷰(LV)와 우측의 비디오 카메라(CMR)로 촬영된 라이트 뷰(RV)를 나타내는 모식도이다. 도 57(b)을 참조하면, 좌측의 비디오 카메라(CML)의 수직 화각(VAL)에만 포함되는 영역(AT)은 레프트 뷰(LV)에 그 상단을 따라서 연장되고 있는 띠 형상 영역으로 포함된다. 그러나 그 띠 형상 영역(AT)은 라이트 뷰(RV)에는 포함되지 않는다. 한편, 우측의 비디오 카메라(CMR)의 수직 화각(VAR)에만 포함되는 영역(Ab)는 라이트 뷰(RV)에 그 하단을 따라서 연장되고 있는 띠 형상 영역으로 포함된다. 그러나 그 띠 형상 영역(Ab)는 레프트 뷰(LV)에는 포함되지 않는다. 또, 띠 형상 영역(AT, AB)의 위치는 레프트 뷰(LV)와 라이트 뷰(RV)에서 역의 경우도 있다. 이와 같이 레프트 뷰(LV)와 라이트 뷰(RV)에서 상기의 띠 형상 영역(AT, AB)의 유무가 다른 경우, 도 57(a)에 나타내는 피사체(OBJ)의 수직 방향의 위치는 레프트 뷰(LV)와 라이트 뷰(RV)에서 띠 형상 영역(AT, AB)의 높이(HGT)만큼 어긋난다. 그 결과, 시청자의 왼쪽 눈에 비치는 피사체(OBJ)와 오른쪽 눈에 비치는 피사체(OBJ)는 수직 방향의 위치가 다르므로 그 시청자에게 위화감을 줄 위험성이 있다.
실시형태 2에 의한 BD-ROM 디스크에서는 레프트 뷰(LV)와 라이트 뷰(RV)의 각 프레임에 포함되는 상기의 띠 형상 영역(AT, AB)의 높이(HGT)를 나타내는 정보가 디펜던트 뷰 비디오 스트림에 저장되어 있다. 그 저장 장소는 도 13에 나타내는 오프셋 메타 데이터(1310)의 저장 장소, 즉, 각 비디오 시퀀스의 선두에 위치하는 VAU의 보충 데이터(1301)이다. 한편, 실시형태 2에 의한 재생장치에서는 도 41에 나타내는 시스템 타깃 디코더(4125)가 디펜던트 뷰 비디오 스트림으로부터 상기의 띠 형상 영역(AT, AB)의 높이(HGT)를 나타내는 정보를 판독한다. 또, 시스템 타깃 디코더(4125)는 그 정보를 오프셋 정보(4507)과 함께 플레인 가산부(4126)에 전한다.
플레인 가산부(4126)에서는 시차 영상 생성부(4510)가 상기의 띠 형상 영역(AT, AB)의 높이(HGT)를 이용하여 좌 영상 플레인과 우 영상 플레인을 다음의 순서로 가공한다. 시차 영상 생성부(4510)는 먼저 좌 영상 플레인 내의 화소 데이터의 위치를 아래 방향으로 높이(HGT)의 절반(HGT/2)만큼 이동시키고, 우 영상 플레인 내의 화소 데이터의 위치를 위 방향으로 높이(HGT)의 절반(HGT/2)만큼 이동시킨다. 이에 의해 각 영상 플레인 중 상기의 띠 형상 영역(AT, AB) 이외의 영역이 나타내는 영상과 화면에서 수직 방향의 중심이 일치한다. 한편, 좌 영상 플레인에서는 상단에서 띠 형상 영역(AT)의 상반분(上半分)이 제거되고, 하단에서 높이 HDT/2의 띠 형상 영역에 빈 영역이 발생한다. 우 영상 플레인에서는 하단에서 띠 형상 영역(AB)의 하반분(下半分)이 제거되고, 상단에서 높이 HDT/2의 띠 형상 영역에 빈 영역이 발생한다. 시차 영상 생성부(4510)는 다음에, 각 띠 형상 영역을 배경색 또는 흑색으로 동일하게 전부 칠한다. 즉, 각 띠 형상 영역에 포함되는 화소 데이터를 동일한 배경색 또는 흑색의 데이터로 재기록한다.
도 57(c)은 시차 영상 생성부(4510)에 의해 가공된 좌 영상 플레인이 나타내는 레프트 뷰(LV)와 우 영상 플레인이 나타내는 라이트 뷰(RV)를 나타내는 모식도이다. 도 57(c)를 참조하면, 레프트 뷰(LV)와 라이트 뷰(RV)는 수직 방향의 중심 위치가 일치하고 있다. 따라서, 도 57(a)에 나타내는 피사체(OBJ)의 수직 방향의 위치는 레프트 뷰(LV)와 라이트 뷰(RV)에서 동일하다. 한편, 레프트 뷰(LV)의 상단에서는 좌측의 비디오 카메라(CML)의 수직 화각(VAL)에만 포함되는 영역(AT)이 높이(HGT/2)의 흑색 띠(BT)로 숨겨지고, 라이트 뷰(RV)의 하단에서는 우측의 비디오 카메라(CMR)의 수직 화각(VAR)에만 포함되는 영역(AB)가 높이(HGT/2)의 흑색 띠(BB)로 숨겨져 있다. 또, 레프트 뷰(LV)의 하단에는 높이(HGT/2)의 흑색 띠(BB)가 부가되고, 라이트 뷰(RV)의 상단에는 높이(HGT/2)의 흑색 띠(BT)가 부가되어 있다. 이러한 결과, 시청자의 각 눈에는 레프트 뷰(LV)와 라이트 뷰(RV)에서 공통되는 영역밖에 비치지 않고, 또한 각 눈에 비치는 피사체의 수직 방향의 위치가 일치한다. 이렇게 해서 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
그 외에, 시차 영상 생성부(4510)는 좌 영상 플레인과 우 영상 플레인을 다음과 같이 처리해도 좋다. 플레인 가산부(4126)는 먼저 도 47에 나타내는 크로핑 처리와 마찬가지로 각 영상 플레인으로부터 상기의 띠 형상 영역(AT, AB) 내의 화소 데이터를 제거한다. 시차 영상 생성부(4510)는 다음에, 스켈링 처리에 의해 나머지의 영역 내의 화소 데이터로부터 각 영상 플레인을 재구성한다. 이에 의해 나머지의 영역이 나타내는 영상이 프레임 전체에 확대 표시되므로 시청자의 각 눈에는 레프트 뷰(LV)와 라이트 뷰(RV)에서 공통되는 영역밖에 비치지 않는다. 또, 각 눈에 비치는 피사체의 수직 방향의 위치가 일치한다. 이렇게 해서 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
<레프트 뷰와 라이트 뷰 사이의 그래픽스 영상의 어긋남>
1 플레인+오프셋 모드의 재생장치가 하나의 그래픽스 플레인에 큰 오프셋을 부여하여 한 쌍의 그래픽스 플레인을 생성하는 경우, 그 쌍의 일방의 좌단부 또는 우단부에, 타방의 우단부 또는 좌단부에는 포함되지 않는 영역이 발생할 수 있다.
도 58(a)은 그래픽스 플레인(GPL)이 나타내는 그래픽스 영상의 일 예를 나타내는 모식도이다. 도 58(a)을 참조하면, 그 그래픽스 플레인(GPL)은 3종류의 그래픽스 부품 OB1, OB2, OB3를 나타낸다. 특히 좌측의 그래픽스 부품(OB1)의 좌단은 그래픽스 플레인(GPL)의 좌단에서 거리 D1에 위치하고, 우측의 그래픽스 부품(OB3)의 우단은 그래픽스 플레인(GPL)의 우단에서 거리 D3에 위치한다. 도 58(b), (c)는 각각 그래픽스 플레인(GPL)에 우측방향과 좌측방향의 오프셋을 부여한 경우를 나타내는 모식도이다. 도 58(b)을 참조하면, 도 47과 마찬가지로 그래픽스 플레인(GPL)의 우단에서는 오프셋 값과 동일한 폭(OFS)의 띠 형상 영역(AR1)이 제거되고, 좌단에는 폭(OFS)의 투명한 띠 형상 영역(AL1)이 부가되어 있다. 이에 의해 각 그래픽스 부품(OB1-OB3)의 수평방향의 위치가 원래의 위치로부터 오프셋 값과 동일한 거리(OFS)만큼 오른쪽으로 이동하고 있다. 한편, 도 58(b)을 참조하면, 도 47과 마찬가지로 그래픽스 플레인(GPL)의 좌단에서는 폭(OFS)의 띠 형상 영역(AL2)이 제거되고, 우단에는 폭(OFS)의 투명한 띠 형상 영역(AR2)이 부가되어 있다. 이에 의해 각 그래픽스 부품(OB1-OB3)의 수평방향의 위치가 원래의 위치로부터 거리(OFS)만큼 왼쪽으로 이동하고 있다.
또, 도 58(b), (c)를 참조하면, 오프셋 값과 같은 거리(OFS)는 좌측의 그래픽스 부품(OB1)의 좌단과 그래픽스 플레인(GPL)의 좌단 사이의 거리(D1)보다 크고, 우측의 그래픽스 부품(OB3)의 우단과 그래픽스 플레인(GPL)의 우단 사이의 거리(D3)보다 크다. 따라서, 우측방향의 오프셋이 부여된 그래픽스 플레인(GP1)에서는 우측의 그래픽스 부품(OB3)의 우단의 일부(MP3)가 떨어지고, 좌측방향의 오프셋이 부여된 그래픽스 플레인(GP2)에서는 좌측의 그래픽스 부품(OB1)의 좌단의 일부(MP1)가 떨어져 있다. 그러나 좌측의 그래픽스 부품(OB1)의 결락 부분(MP1)은 우측방향의 오프셋이 부여된 그래픽스 플레인(GP1)에는 포함되고, 우측의 그래픽스 부품(OB3)의 결락 부분(MP3)은 좌측방향의 오프셋이 부여된 그래픽스 플레인(GP2)에는 포함된다. 그 결과, 이들 결락 부분 MP1, MP3은 시청자의 한쪽 눈에 밖에 비치지 않으므로 시청자에게 위화감을 줄 위험성이 있다.
실시형태 2에 의한 BD-ROM 디스크에서는 도 13에 나타내는 것과 같이 오프셋 메타 데이터(1310)가 디펜던트 뷰 비디오 스트림 내의 각 비디오 시퀀스의 선두에 저장되어 있다. 한편, 실시형태 2에 의한 재생장치에서는 도 41에 나타내는 시스템 타깃 디코더(4125)가 디펜던트 뷰 비디오 스트림으로부터 오프셋 메타 데이터를 판독하고, 도 45에 나타내는 오프셋 정보(4507)로 플레인 가산부(4126)에 전한다. 플레인 가산부(4126)에서는 도 45에 나타내는 각 크로핑 처리부(4531-4534)가 그 오프셋 정보(4507)를 이용하여 그래픽스 플레인(GPL)에 대한 오프셋 제어를 한다. 그때 각 크로핑 처리부(4531-4534)는 그래픽스 플레인(GPL)의 좌단 또는 우단을 따라서 연장하고 있는 오프셋 값과 같은 폭의 띠 형상 영역을 절취한다. 즉, 그 띠 형상 영역 내의 화소 데이터를 투명색의 데이터로 재기록한다. 도 58(b), (c)에는 절취 대상의 띠 형상 영역 AS1, AS2가 나타나 있다. 우측방향의 오프셋이 부여된 그래픽스 플레인(GP1)에서는 절취 대상의 띠 형상 영역(AS1)이 좌측의 그래픽스 부품(OB1)의 결락 부분(MP1)을 포함한다. 좌측방향의 오프셋이 부여된 그래픽스 플레인(GP2)에서는 절취 대상의 띠 형상 영역(AS2)이 우측의 그래픽스 부품(OB3)의 결락 부분(MP3)을 포함한다.
도 58(d), (e)는 각각 우측방향과 좌측방향의 오프셋이 부여된 그래픽스 플레인(GP1, GP2)이 나타내는 그래픽스 영상을 나타내는 모식도이다. 도 58(d), (e)를 참조하면, 이들 그래픽스 플레인(GP1, GP2)에서는 3종류의 그래픽스 부품 OB1-OB3의 형상이 일치하고 있다. 그 결과, 시청자의 각 눈에는 공통의 그래픽스 영상밖에 비치지 않는다. 이렇게 해서 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다.
그 외에, BD-ROM 디스크 상의 PG 스트림, IG 스트림 및 텍스트 자막 스트림에서 재생되는 그래픽스 플레인 및 재생장치에 의해 생성되는 그래픽스 플레인에 대하여 그래픽스 부품의 배치에 관한 다음의 조건이 규정되어도 좋다. 도 59는 그 조건을 나타내는 모식도이다. 도 59를 참조하면, 그래픽스 플레인(GPL)에는 왼쪽 윗 부분을 원점(0,0)으로 하는 xy직교좌표가 설정되어 있다. x좌표와 y좌표는 각각 그래픽스 플레인(GPL)의 수평좌표와 수직 좌표이다. 여기서, 그래픽스 플레인(GPL)의 오른쪽 아래 부분의 좌표를 (TWD, THG)로 한다. 그 xy좌표를 이용하여 상기의 조건은 다음과 같이 규정된다:각 프레임에서 그래픽스 부품 OB1, OB2, OB3은 다음의 4점 (OFS,0), (TWD-OFS,0), (TWD-OFS,THG), (OFS,THG)를 정점으로 하는 직사각형 영역 내에 배치되지 않으면 안 된다. 즉, 그래픽스 플레인(GPL)의 좌단과 우단의 각각에 따라서 연장되고 있는 폭(OFS)의 띠 형상 영역(AL, AR)에서는 그래픽스 부품의 배치가 금지된다. 도 58(b), (c)로부터 명백한 것과 같이, 이들 띠 형상 영역(AL, AR)은 오프셋 제어에 의해 절취된다. 따라서, 이들 띠 형상 영역(AL, AR)으로의 오프셋 부품의 배치가 금지되어 있으면, 그래픽스 플레인(GPL)에 오프셋이 부여된 후에도 그래픽스 부품의 형상에 변화는 없다. 그 결과, 시청자의 각 눈에는 공통의 그래픽스 영상밖에 비치지 않으므로 그 시청자에게 위화감을 줄 위험성을 회피할 수 있다. 또, 이와 같이 그래픽스 부품의 배치가 제한되어 있는 경우에서도 도 58에 나타내는 것과 같이 표시장치에 출력되는 그래픽스 데이터로부터는 원래의 그래픽스 데이터의 일부가 삭제된다.
실시형태 2에서는 재생장치(102)가 도 56-58의 각각에 나타내는 일련의 처리를 실시한다. 그 외에, 표시장치(103)가 이들 처리를 실시해도 좋다. 도 60은 재생장치(102) 또는 표시장치(103)에 포함되어 있는 상기의 처리를 실행하는 기능부의 블록도이다. 도 60을 참조하면, 그 기능부는 수신부(1), 스트림 처리부(2), 신호처리부(3) 및 출력부(4)를 구비하고 있다. 수신부(1)는 BD-ROM 디스크, 반도체 메모리장치, 외부 네트워크 및 방송파 등의 각종 매체로부터 다중화 스트림 데이터를 수신하고, 스트림 처리부(2)에 인계한다. 스트림 처리부(2)는 그 다중화 스트림 데이터로부터 영상, 음성, 그래픽스 등, 각종의 데이터를 분리하여 신호처리부(3)에 인계한다. 신호처리부(3)는 이들 데이터를 개별로 복호해서 출력부(4)에 인계한다. 출력부(4)는 복호된 각 데이터를 소정의 형식으로 변환해서 출력한다. 출력부(4)의 출력은 HDMI 방식 등의 영상 신호/음성 신호라도 좋고, 영상/음성 그 자체라도 좋다.
《실시형태 3》
본 발명의 실시형태 3에 의한 BD-ROM 디스크는 PG 스트림과 IG 스트림에 대해서도 베이스 뷰와 디펜던트 뷰의 쌍을 포함한다. 한편, 본 발명의 실시형태 3에 의한 재생장치는 2 플레인 모드를 구비한다. 「2 플레인 모드」는 그래픽스 플레인의 표시 모드의 하나이다. 서브 TS가 베이스 뷰와 디펜던트 뷰의 그래픽스 스트림을 모두 포함할 때 2 플레인 모드의 재생장치는 각 그래픽스 스트림으로부터 레프트 뷰와 라이트 뷰의 그래픽스 플레인 데이터를 복호하여 교호로 출력한다. 이에 의해 이들 그래픽스 스트림으로부터 3D 그래픽스 영상을 재생할 수 있다. 이러한 점을 제외하고 실시형태 3에 의한 BD-ROM 디스크와 재생장치는 실시형태 1에 의한 것과 구성 및 기능이 동일하다. 따라서, 이하에서는 실시형태 3에 의한 BD-ROM 디스크와 재생장치 중 실시형태 1에 의한 것으로부터의 변경 부분 및 확장 부분에 대하여 설명한다. 실시형태 1에 의한 BD-ROM 디스크와 재생장치와 동일한 부분에 대해서는 상기의 실시형태 1에 대한 설명을 원용한다.
<서브 TS의 데이터구조>
도 61(a)은 BD-ROM 디스크(101) 상의 제 1 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이다. 제 1 서브 TS는 MPEG-2 TS형식의 다중화 스트림 데이터이며, 파일 DEP에 포함된다. 도 61(a)을 참조하면, 제 1 서브 TS는 프라이머리 비디오 스트림(6011), 레프트 뷰 PG 스트림(6012A, 6012B), 라이트 뷰 PG 스트림(6013A, 6013B), 레프트 뷰 IG 스트림(6014), 라이트 뷰 IG 스트림(6015) 및 세컨더리 비디오 스트림(6016)을 포함한다. 프라이머리 비디오 스트림(6011)은 라이트 뷰 비디오 스트림이며, 도 3(a)에 나타내는 메인 TS 내의 프라이머리 비디오 스트림(301)이 3D 영상의 레프트 뷰를 나타낼 때 그 3D 영상의 라이트 뷰를 나타낸다. 레프트 뷰와 라이트 뷰의 PG 스트림의 쌍 6012A+6013A, 6012B+6013B는 자막 등의 그래픽스 영상을 3D 영상으로 표시할 때에 그 레프트 뷰와 라이트 뷰의 쌍을 나타낸다. 레프트 뷰와 라이트 뷰의 IG 스트림의 쌍(6014, 6015)은 대화 화면의 그래픽스 영상을 3D 영상으로 표시할 때에 그 레프트 뷰와 라이트 뷰의 쌍을 나타낸다. 세컨더리 비디오 스트림(6016)은 라이트 뷰 비디오 스트림이며, 메인 TS 내의 세컨더리 비디오 스트림(306)이 3D 영상의 레프트 뷰를 나타낼 때 그 3D 영상의 라이트 뷰를 나타낸다.
엘리멘터리 스트림(6011-6016)에 대한 PID의 할당은 예를 들어 다음과 같다. 프라이머리 비디오 스트림(6011)에는 0x1012가 할당된다. 하나의 서브 TS에 다른 엘리멘터리 스트림이 종류별로 최대 32개까지 다중화 가능할 때 레프트 뷰 PG 스트림(6012A, 6012B)에는 0x1220에서 0x123F까지중 어느 하나가 할당되고, 라이트 뷰 PG 스트림(6013A, 6013B)에는 0x1240에서 0x125F까지중 어느 하나가 할당된다. 레프트 뷰 IG 스트림(6014)에는 0x1420에서 0x143F까지중 어느 하나가 할당되고, 라이트 뷰 IG 스트림(6015)에는 0x1440에서 0x145F까지중 어느 하나가 할당된다. 세컨더리 비디오 스트림(6016)에는 0x1B20에서 0x1B3F까지중 어느 하나가 할당된다.
도 61(b)는 BD-ROM 디스크(101) 상의 제 2 서브 TS에 다중화된 엘리멘터리 스트림의 일람표이다. 제 2 서브 TS는 MPEG-2 TS형식의 다중화 스트림 데이터이며, 제 1 서브 TS와는 다른 파일 DEP에 포함된다. 그 외에, 제 2 서브 TS는 제 1 서브 TS와 동일한 파일 DEP에 다중화되어 있어도 좋다. 도 61(b)을 참조하면, 제 2 서브 TS는 프라이머리 비디오 스트림(6021), 깊이 맵 PG 스트림(6023A, 6023B), 깊이 맵 IG 스트림(6024) 및 세컨더리 비디오 스트림(6026)을 포함한다. 프라이머리 비디오 스트림(6021)은 깊이 맵 스트림이며, 메인 TS 내의 프라이머리 비디오 스트림(301)과의 조합으로 3D 영상을 나타낸다. 깊이 맵 PG 스트림(6023A, 6023b)는 메인 TS 내의 PG 스트림(323A, 323B)이 나타내는 2D 영상이 가상적인 2D 화면에 대한 3D 영상의 투영으로 이용될 때 그 3D 영상의 깊이 맵을 나타내는 PG 스트림으로 이용된다. 깊이 맵 IG 스트림(6024)은 메인 TS 내의 IG 스트림(304)이 나타내는 2D 영상이 가상적인 2D 화면에 대한 3D 영상의 투영으로 이용될 때 그 3D 영상의 깊이 맵을 나타내는 IG 스트림으로 이용된다. 세컨더리 비디오 스트림(6026)은 깊이 맵 스트림이며, 메인 TS 내의 세컨더리 비디오 스트림(306)과의 조합으로 3D 영상을 나타낸다.
엘리멘터리 스트림(6021-6026)에 대한 PID의 할당은 예를 들어 다음과 같다. 프라이머리 비디오 스트림(6021)에는 0x1013가 할당된다. 하나의 서브 TS에 다른 엘리멘터리 스트림이 종류별로 최대 32개까지 다중화 가능할 때 깊이 맵 PG 스트림(6023A, 6023B)에는 0x1260에서 0x127F까지중 어느 하나가 할당된다. 깊이 맵 IG 스트림(6024)에는 0x1460에서 0x147F까지중 어느 하나가 할당된다. 세컨더리 비디오 스트림(6026)에는 0x1B40에서 0x1B5F까지중 어느 하나가 할당된다.
<STN 테이블 SS의 데이터구조>
도 62는 STN 테이블 SS(3130)의 데이터구조를 나타내는 모식도이다. 도 62를 참조하면, STN 테이블 SS(3130) 내의 각 스트림 등록정보 열 3301, 3302, 3303, …은 팝업 기간의 오프셋(3311)과 디펜던트 뷰 비디오 스트림의 스트림 등록정보 열(3312) 외에, PG 스트림의 스트림 등록정보 열(6113)과 IG 스트림의 스트림 등록정보 열(6114)을 포함한다.
PG 스트림의 스트림 등록정보 열(6113)은 서브 TS에서 재생 대상으로 선택 가능한 PG 스트림을 나타내는 스트림 등록정보를 포함한다. IG 스트림의 스트림 등록정보 열(6114)은 서브 TS에서 재생 대상으로 선택 가능한 IG 스트림을 나타내는 스트림 등록정보를 포함한다. 이들 스트림 등록정보 열 6113, 6114는 각각 대응하는 PI 내의 STN 테이블에 포함되는 스트림 등록정보 열 중 PG 스트림 및 IG 스트림을 나타내는 것과 조합되어서 이용된다. 3D 재생모드의 재생장치(102)는 STN 테이블 내중 어느 하나의 스트림 등록정보를 판독할 때 그 스트림 등록정보에 조합된 STN 테이블 SS 내의 스트림 등록정보 열도 자동으로 판독한다. 이에 의해 재생장치(102)는 2D 재생모드를 단지 3D 재생모드로 전환할 때 설정이 완료된 STN 및 언어 등의 스트림 속성을 동일하게 유지할 수 있다.
또, 도 62를 참조하면, PG 스트림의 스트림 등록정보 열(6113)은 일반적으로 복수의 스트림 등록정보(6131)를 포함한다. 이들은 대응하는 PI 내에 포함되는 PG 스트림의 스트림 등록정보와 동일한 수이다. IG 스트림의 스트림 등록정보 열(6114)도 동일한 스트림 등록정보를 포함한다. 이들은 대응하는 PI 내에 포함되는 IG 스트림의 스트림 등록정보와 동일한 수이다.
각 스트림 등록정보(6131)는 STN(6141), 입체 시 플래그(is_SS_PG)(6142), 베이스 뷰 스트림 엔트리(stream_entry_for_base_view))(6143), 디펜던트 뷰 스트림 엔트리(stream_entry_for_depentdent_view)(6144) 및 스트림 속성정보(6145)를 포함한다. STN(6141)는 스트림 등록정보(6131)에 개별로 할당된 일련번호이며, 대응하는 PI 내의 조합 대상의 스트림 등록정보의 STN과 같다. 입체 시 플래그(6142)는 BD-ROM 디스크(101)에 베이스 뷰와 디펜던트 뷰의 PG 스트림이 모두 포함되어 있는가 여부를 나타낸다. 입체 시 플래그(6142)가 온일 때 서브 TS에 양쪽의 PG 스트림이 포함되어 있다. 따라서, 베이스 뷰 스트림 엔트리(6143), 디펜던트 뷰 스트림 엔트리(6144) 및 스트림 속성정보(6145)의 어느 필드도 재생장치에 의해 판독된다. 입체 시 플래그(6142)가 오프일 때 이들 필드(6143-6145)는 모두 재생장치에 무시된다. 베이스 뷰 스트림 엔트리(6143)와 디펜던트 뷰 스트림 엔트리(6144)는 모두 서브 패스 ID 참조정보(6121), 스트림 파일참조정보(6122) 및 PID(6123)를 포함한다. 서브 패스 ID 참조정보(6121)는 베이스 뷰와 디펜던트 뷰의 각 PG 스트림의 재생경로를 규정하는 서브 패스의 서브 패스 ID를 나타낸다. 스트림 파일참조정보(6122)는 각 PG 스트림이 저장된 파일 DEP를 식별하기 위한 정보이다. PID(6123)는 각 PG 스트림의 PID이다. 스트림 속성정보(6145)는 각 PG 스트림의 속성, 예를 들어 언어의 종류를 포함한다.
<시스템 타깃 디코더>
도 63은 시스템 타깃 디코더(6225)의 기능 블록도이다. 도 63을 참조하면, PG 디코더(6201)는 도 41에 나타내는 시스템 타깃 디코더(4125) 내의 것과 달리 2 플레인 모드에 대응 가능하다. 구체적으로는 PG 디코더(6201)는 베이스 뷰 PG 디코더(6211)와 디펜던트 뷰 PG 디코더(6212)를 포함한다. 베이스 뷰 PG 디코더(6211)는 도 3(a)에 나타내는 메인 TS 내의 PG 스트림(303A, 303B)에 더하여, 도 61(a)에 나타내는 제 1 서브 TS 내의 레프트 뷰 PG 스트림(6012A, 6012B)을 플레인 데이터에 복호한다. 디펜던트 뷰 PG 디코더(6212)는 도 61(a)에 나타내는 제 1 서브 TS 내의 라이트 뷰 PG 스트림(6013A, 6013B) 및 도 61(b)에 나타내는 제 2 서브 TS 내의 깊이 맵 PG 스트림(6023A, 6023B)을 플레인 데이터에 복호한다. 부 영상 디코더와 IG 디코더 모두 동일한 한 쌍의 디코더를 포함한다. 또, 시스템 타깃 디코더(6225)는 한 쌍의 PG 플레인 메모리(6221, 6222)를 포함한다. 베이스 뷰 PG 디코더(6211)는 플레인 데이터를 왼쪽 PG 플레인 메모리(6221)에 기록하고, 디펜던트 뷰 PG 디코더(6212)는 플레인 데이터를 오른쪽 PG 플레인 메모리(6222)에 기록한다. IG 플레인 메모리와 이미지 플레인 메모리 모두 동일한 구성이다. 또, 시스템 타깃 디코더(6225)는 그래픽스 플레인 메모리로부터의 플레인 데이터의 출력을 2 플레인 모드, 1 플레인+오프셋 모드 및 1 플레인+제로 오프셋 모드의 각각에 대응시킨다. 특히 재생제어부(4135)에서 2 플레인 모드가 지시된 때 시스템 타깃 디코더(6225)는 한 쌍의 PG 플레인 메모리(6221, 6222)으로부터 플레인 가산부(6226)에 플레인 데이터를 교호로 송출한다.
<플레인 가산부>
도 64는 2 플레인 모드의 플레인 가산부(6226)의 부분적인 기능 블록도이다. 도 64를 참조하면, 플레인 가산부(6226)는 도 45에 나타내는 것(4126)과 마찬가지로 시차 영상 생성부(4510), 스위치(4520) 및 가산부(4541, 4542)를 포함한다. 또, 플레인 가산부(6226)는 PG 플레인 데이터(6304, 6305)의 입력부에 제 2 시차 영상 생성부(6310)와 제 2 스위치(6320)를 포함한다. 동일한 구성은 부 영상 플레인 데이터, IG 플레인 데이터 및 이미지 플레인 데이터의 각 입력부에도 포함된다.
제 2 시차 영상 생성부(6310)는 시스템 타깃 디코더(6225)로부터 왼쪽 PG 플레인 데이터(6304)와 오른쪽 PG 플레인 데이터(6305)를 수신한다. L/R 모드의 재생장치(102)에서는 왼쪽 PG 플레인 데이터(6304)는 레프트 뷰 PG 플레인을 나타내고, 오른쪽 PG 플레인 데이터(6305)는 라이트 뷰 PG 플레인을 나타낸다. 그때 제 2 시차 영상 생성부(6310)는 각 플레인 데이터(6304, 6305)를 그대로 제 2 스위치(6320)에 송출한다. 한편, 깊이 모드의 재생장치(102)에서는 왼쪽 PG 플레인 데이터(6304)는 2D 그래픽스 영상의 PG 플레인을 나타내고, 오른쪽 PG 플레인 데이터(6305)는 그 2D 그래픽스 영상에 대한 깊이 맵을 나타낸다. 그때 제 2 시차 영상 생성부(6310)는 먼저 그 깊이 맵으로부터 그 2D 그래픽스 영상의 각부의 양안 시차를 계산한다. 제 2 시차 영상 생성부(6310)는 다음에, 왼쪽 PG 플레인 데이터(6304)를 가공하여 PG 플레인에서의 그 2D 그래픽스 영상의 각부의 표시위치를 계산된 양안 시차에 따라서 좌우로 이동시킨다. 이에 의해 레프트 뷰와 라이트 뷰를 나타내는 PG 플레인의 쌍이 생성된다. 또, 제 2 시차 영상 생성부(6310)는 그 PG 플레인의 쌍을 제 2 스위치(6320)에 송출한다.
제 2 스위치(6320)는 PTS가 동일한 왼쪽 PG 플레인 데이터(6304)와 오른쪽 PG 플레인 데이터(6305)를 그 순으로 제 2 가산부(4542)에 송출한다. 제 2 가산부(4542)는 제 2 스위치(6320)로부터 PG 플레인 데이터를 수신하고, 제 1 가산부(4541)로부터의 플레인 데이터에 중첩해서 제 3 가산부(4543)에 인계한다. 그 결과, 좌 영상 플레인 데이터(6301)에는 레프트 뷰 PG 플레인이 중첩되고, 우 영상 플레인 데이터(6302)에는 라이트 뷰 PG 플레인이 중첩된다.
<2D 영상과 3D 그래픽스 영상의 합성>
실시형태 3에 의한 재생장치는 상기의 구성을 이용하여 2 플레인 모드를 실현한다. 이에 의해 그 재생장치는 3D 영상에 3D 그래픽스 영상을 중첩해서 표시할 수 있다. 또, 실시형태 3에 의한 BD-ROM 디스크와 재생장치는 이하에 설명하는 것과 같이, 2D 영상에 3D 그래픽스 영상을 중첩해서 표시할 수도 있다.
도 65는 베이스 뷰 비디오 스트림(6401)과 라이트 뷰 비디오 스트림(6402)의의 픽처를 표시시간 순으로 나타내는 모식도이다. 도 65를 참조하면, 베이스 뷰 비디오 스트림(6401)은 베이스 뷰 픽처 6410, 6411, 6412, …, 6419를 포함하고, 라이트 뷰 비디오 스트림(6402)은 라이트 뷰 픽처(6420, 6421, 6422, …, 6429)를 포함한다. 이들 픽처(6410-6419, 6420-6429)는 3개의 재생구간(6431, 6432, 6433)을 구성하고 있다.
최초의 재생구간(6431)과 3번째의 재생구간(6433)은 「3D 재생구간」이며, 3D 영상을 나타낸다. 각 3D 재생구간(6431, 6433) 내의 픽처 군은 도 7에 나타내는 픽처 군과 마찬가지로 MVC 등의 다 시점 부호화방식으로 압축되어 있다. 즉, 각 베이스 뷰 픽처(6410-6413, 6417-6419)는 동일한 3D 재생구간 내의 다른 베이스 뷰 픽처를 참조 픽처로 이용해서 압축되어 있다. 한편, 각 라이트 뷰 픽처(6420-6423, 6427-6429)는 동일한 3D 재생구간 내의 다른 라이트 뷰 픽처에 더하여 동일한 3D VAU에 속하는 베이스 뷰 픽처(6410-6413, 6417-6419)를 참조 픽처로 이용해서 압축되어 있다.
두 번째의 재생구간(6432)은 「의사 2D 재생구간」이며, 라이트 뷰 픽처 군을 포함함에도 불구하고 2D 영상을 나타낸다. 의사 2D 재생구간(6432) 내의 픽처 군은 MVC 등의 다 시점 부호화방식으로 압축되어 있다. 특히 각 베이스 뷰 픽처(6414-6416)는 동일한 의사 2D 재생구간 내의 다른 베이스 뷰 픽처를 참조 픽처로 이용해서 압축되어 있다. 그러나 각 라이트 뷰 픽처(6424-6426)는 동일한 3D VAU에 속하는 베이스 뷰 픽처(6414-6416)가 그 자신을 참조 픽처로 이용해서 압축된 것이다. 이에 의해 각 라이트 뷰 픽처는 동일한 3D VAU에 속하는 베이스 뷰 픽처와 동일한 2D 영상을 나타낸다. 즉, 레프트 뷰와 라이트 뷰 사이에 시차는 없다. 따라서, 의사 2D 재생구간에서는 3D 재생모드에서도 2D 영상밖에 재생되지 않는다. 또, 압축 후의 라이트 뷰 픽처 군의 데이터량은 매우 작다.
도 66은 의사 2D 재생구간 내의 라이트 뷰 픽처 군을 MVC에 따라서 부호화할 때의 슬라이스 헤더와 슬라이스 데이터의 서식(Syntax)을 나타내는 표이다. 여기서, P슬라이스는 도 65에 나타내는 제 4 라이트 뷰 픽처 “P4”(6423)와 제 7 라이트 뷰 픽처“P7”(6426)에 포함된다. 한편, B슬라이스는 도 65에 나타내는 제 5 라이트 뷰 픽처“B5”(6424)와 제 6 라이트 뷰 픽처“B6”(6425)에 포함된다. 도 66을 참조하면, 슬라이스 헤더에 기재된“ref_pic_list_modification_flag_l0 (또는 l1)=1”, “modification_of_pic_nums_idc=5”, “abs_diff_view_idx_minus1=0”, “ref_pic_list_modification_flag_l0 (또는 l1)=3”의 4행은 1세트로 다음의 것을 규정한다:그 슬라이스의 참조 픽처를 나타내는 인덱스가 동일한 3D VAU에 속하는 베이스 뷰 픽처의 인덱스=0이다. P슬라이스의 참조 픽처는 한 장이므로 그 슬라이스 헤더는 상기의 4행을 1세트 포함한다. B슬라이스의 참조 픽처는 2매이므로 그 슬라이스 헤더는 상기의 4행을 2세트 포함한다. 한편, 슬라이스 데이터에 기재된 2행은 P슬라이스와 B슬라이스의 어느 것으로도 다음의 2개의 사항 (i), (ii)를 규정한다 : (i) 슬라이스 내의 매크로 블록을 CAVLC(가변 길이 부호화)로 부호화할 때에는 파라미터“mb_skip_run”의 값을 그 슬라이스 내의 매크로 블록의 총수에 동일하게 설정한다. (ii) 슬라이스 내의 매크로 블록을 CABAC(산술 부호화)로 부호화할 때에는 플래그“mb_skip_flag”를 그 슬라이스 내의 매크로 블록의 총수와 동일한 횟수만큼 반복해서 설정한다. 이 규정은 슬라이스 내의 모든 매크로 블록의 타입이 「스킵」임을 의미한다. 즉, 압축 후의 라이트 뷰 픽처는 실질적으로 슬라이스 데이터를 포함하지 않을 것 및 그 복호 시에는 참조 픽처가 그 라이트 뷰 픽처로 카피되면 좋음을 나타낸다. 이와 같이 MVC에서는 의사 2D 재생구간 내의 각 베이스 뷰 픽처의 카피가 동일한 3D VAU에 속하는 라이트 뷰 픽처로 부호화되어 있음을 매우 작은 데이터량으로 표현할 수 있다.
도 67은 3D 재생구간과 의사 2D 재생구간의 양쪽을 구성하는 파일 2D(6610)와 파일 DEP(6620)의 쌍 및, 각 재생구간을 규정하는 2종류의 3D 플레이리스트 파일(6630, 6640)을 나타내는 모식도이다.
파일 2D(6610)가 포함하는 프라이머리 비디오 스트림(PID=0x1011)은 3D 재생구간과 의사 2D 재생구간의 양쪽에 공통되는 베이스 뷰 비디오 스트림이다. 파일 DEP(6620)는 2종류의 프라이머리 비디오 스트림(PID=0x1012, 0x1013)을 포함한다. 그 일방(PID=0x1012)은 베이스 뷰 비디오 스트림과 함께 3D 재생구간을 구성하는 디펜던트 뷰 비디오 스트림이다. 타방(PID=0x1013)은 베이스 뷰 비디오 스트림과 함께 의사 2D 재생구간을 구성하는 디펜던트 뷰 비디오 스트림이다. 즉, PID=0x1013의 프라이머리 비디오 스트림은 베이스 뷰 비디오 스트림 내의 각 픽처를 참조 픽처로 그 자신을 압축한 것이다. 또, 파일 DEP(6620)는 레프트 뷰 PG 스트림(PID=0x1220)과 라이트 뷰 PG 스트림(PID=0x1240)의 쌍을 포함한다. 각 PG 스트림은 3D 그래픽스 영상의 레프트 뷰와 라이트 뷰를 나타낸다.
3D 플레이리스트 파일 #1(6630)이 규정하는 재생경로는 3D 재생구간으로 이루어진다. 구체적으로는 메인 패스(6631)에서는 PI#1이 파일 2D(6610) 내의 베이스 뷰 비디오 스트림(PID=0x1011)의 재생구간을 규정한다. 한편, 서브 패스 타입 6633=3D L/R의 서브 패스(6632)에서는 SUB_PI#1이 파일 DEP(6620) 내의 디펜던트 뷰 비디오 스트림(PID=0x1012)과 PG 스트림의 쌍(PID=0x1220, 0x1240)의 각 재생구간을 규정한다. 여기서, SUB_PI#1은 PI#1과 동일한 재생개시시각 및 동일한 재생종료시각을 규정한다.
3D 플레이리스트 파일 #2(6640)이 규정하는 재생경로는 의사 2D 재생구간으로 이루어진다. 구체적으로는 메인 패스(6641)에서는 PI#1이 파일 2D(6610) 내의 베이스 뷰 비디오 스트림(PID=0x1011)의 재생구간을 규정한다. 한편, 서브 패스 타입 6643=3D L/R의 서브 패스(6642)에서는 SUB_PI#1이 파일 DEP(6620) 내의 디펜던트 뷰 비디오 스트림(PID=0x1013)과 PG 스트림의 쌍(PID=0x1220, 0x1240)의 각 재생구간을 규정한다. 여기서, SUB_PI#1은 PI#1과 동일한 재생개시시각 및 동일한 재생종료시각을 규정한다.
3D 재생모드의 재생장치(102)가 3D 플레이리스트 파일 #1(6630)을 이용하여 3D 플레이리스트 재생처리를 실행할 때 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림(PID=0x1012)의 조합으로부터 재생되는 3D 영상에 PG 스트림의 쌍(PID=0x1220, 0x1240)으로부터 재생되는 3D 그래픽스 영상이 중첩해서 표시된다. 한편, 3D 재생모드의 재생장치(102)가 3D 플레이리스트 파일 #2(6640)를 이용하여 3D 플레이리스트 재생처리를 실행할 때 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림(PID=0x1013)의 조합으로부터 재생되는 2D 영상에 PG 스트림의 쌍(PID=0x1220, 0x1240)으로부터 재생되는 3D 그래픽스 영상이 중첩해서 표시된다. 이렇게 해서 재생장치(102)에 3D 플레이리스트 파일을 전환하게 함으로써 3D 그래픽스 영상이 합성되어야 할 3D 영상을 2D 영상으로 변경시킬 수 있다.
도 68은 3D 재생구간을 구성하는 파일 2D(6710)와 파일 DEP #1(6721)의 쌍, 그 파일 2D(6710)의 조합으로 의사 2D 재생구간을 구성하는 파일 DEP #2(6722) 및 각 재생구간을 규정하는 3D 플레이리스트 파일(6730)을 나타내는 모식도이다.
파일 2D(6710)가 포함하는 프라이머리 비디오 스트림(PID=0x1011)은 3D 재생구간과 의사 2D 재생구간의 양쪽에 공통되는 베이스 뷰 비디오 스트림이다. 파일 DEP #1(6721)이 포함하는 프라이머리 비디오 스트림(PID=0x1012)은 베이스 뷰 비디오 스트림과 함께 3D 재생구간을 구성하는 디펜던트 뷰 비디오 스트림이다. 파일 DEP #2(6722)가 포함하는 프라이머리 비디오 스트림(PID=0x1013)은 베이스 뷰 비디오 스트림과 함께 의사 2D 재생구간을 구성하는 디펜던트 뷰 비디오 스트림이다. 즉, PID=0x1013의 프라이머리 비디오 스트림은 베이스 뷰 비디오 스트림 내의 각 픽처를 참조 픽처로 그 자신을 압축한 것이다. 또, 각 파일 DEP 6721, 6722는 레프트 뷰 PG 스트림(PID=0x1220)과 라이트 뷰 PG 스트림(PID=0x1240)의 쌍을 포함한다. 각 PG 스트림은 3D 그래픽스 영상의 레프트 뷰와 라이트 뷰를 나타낸다.
3D 플레이리스트 파일(6730)이 규정하는 재생경로는 3D 재생구간과 의사 2D 재생구간을 모두 포함한다. 구체적으로는 메인 패스(6731)에서는 PI#1, PI#2 및 PI#3이 파일 2D(6710) 내의 베이스 뷰 비디오 스트림(PID=0x1011)이 다른 재생구간을 규정한다. 한편, 서브 패스 타입 6733=3D L/R의 서브 패스(6732)에서는 SUB_PI#1과 SUB_PI#3이 파일 DEP #1(6721) 내의 디펜던트 뷰 비디오 스트림(PID=0x1012)과 PG 스트림의 쌍(PID=0x1220, 0x1240)의 각 재생구간을 규정한다. 또, SUB_PI#2가 파일 DEP #3(6722) 내의 디펜던트 뷰 비디오 스트림(PID=0x1013)과 PG 스트림의 쌍(PID=0x1220, 0x1240)의 각 재생구간을 규정한다. 여기서, SUB_PI#N은 PI#N과 동일한 재생개시시각 및 동일한 재생종료시각을 규정한다(N=1, 2, 3). 따라서, PI#1과 SUB_PI#1의 쌍 및 PI#3과 SUB_PI#3의 쌍은 3D 재생구간을 규정하고, PI#2과 SUB_PI#2는 의사 2D 재생구간을 규정한다. 또, PI#2와 PI#3은 CC의 값이 “5”로 설정되고, 또한, SUB_PI#2와 SUB_PI#3은 SPCC의 값이 “5”로 설정되어 있다. 즉, 이들 재생구간을 심리스로 접속해야 하는 것이 규정되어 있다.
도 69는 3D 재생모드의 재생장치(102)가 3D 플레이리스트 파일(6730)에 따라서 재생하는 비디오 플레인의 열(6810)과 PG 플레인의 열(6820)을 나타내는 모식도이다. 도 69를 참조하면, 각 열 6810, 6820은 표시시간 순으로 3개의 그룹 6811-6813, 6821-6823을 포함한다.
제 1 그룹(6811, 6821)은 PI#1과 SUB_PI#1의 쌍으로 규정되는 최초의 3D 재생구간 P3D1을 구성한다. 즉, 비디오 플레인의 제 1 그룹(6811)은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림(PID=0x1012)의 조합으로 재생되는 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함한다. 한편, PG 플레인의 제 1 그룹(6821)은 PG 스트림의 쌍(PID=0x1220, 0x1240)으로부터 재생되는 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 따라서, 최초의 3D 재생구간 P3D1에서는 비디오 플레인의 제 1 그룹(6811)이 나타내는 3D 영상에 PG 플레인의 제 1 그룹(6821)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
제 2 그룹(6811, 6821)은 PI#2와 SUB_PI#3의 쌍으로 규정되는 의사 2D 재생구간 PPS2D를 구성한다. 즉, 비디오 플레인의 제 2 그룹(6812)은 베이스 뷰 비디오 스트림에서 재생되는 2D 영상의 비디오 플레인 2D와, 디펜던트 뷰 비디오 스트림(PID=0x1013)으로부터 재생되는 그 비디오 플레인 2D의 카피를 교호로 포함한다. 한편, PG 플레인의 제 2 그룹(6822)은 PG 스트림의 쌍(PID=0x1220, 0x1240)으로부터 재생되는 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 따라서, 의사 2D 재생구간 PPS2D에서는 비디오 플레인의 제 2 그룹(6812)이 나타내는 2D 영상에 PG 플레인의 제 2 그룹(6822)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
제 3 그룹(6813, 6823)은 PI#3과 SUB_PI#3의 쌍으로 규정되는 두 번째의 3D 재생구간 P3D2를 구성한다. 즉, 비디오 플레인의 제 3 그룹(6813)은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림(PID=0x1012)의 조합으로부터 재생되는 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함한다. 한편, PG 플레인의 제 3 그룹(6823)은 PG 스트림의 쌍(PID=0x1220, 0x1240)으로부터 재생되는 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 따라서, 두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 제 3 그룹(6813)이 나타내는 3D 영상에 PG 플레인의 제 3 그룹(6823)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
상기와 같이, 재생장치(102)에 일련의 3D 플레이리스트 재생처리 중에서 재생구간의 전환과 함께, 3D 영상과 3D 그래픽스 영상의 합성 영상을 2D 영상과 3D 그래픽스 영상의 합성 영상으로 변경시킬 수 있다. 여기서, 3D 재생구간과 의사 2D 재생구간에서는 비디오 스트림의 데이터구조 자체는 변하지 않으므로 재생장치(102)는 어느 재생구간에서도 3D 재생모드에서의 통상의 동작을 계속하면 좋다. 특히 도 68에 나타내는 것과 같이 CC=5, SPCC=5가 설정되어 있으면, 3D 재생구간과 의사 2D 재생구간 사이라도 영상을 심리스로 접속시킬 수 있다.
<변형 예>
(3-A) 도 68에 나타내는 것과 같이 각 PI가 시점 부호화 플래그를 포함해도 좋다. 「시점 부호화 플래그」는 그 PI가 규정하는 재생구간이 3D 재생구간과 의사 2D 재생구간의 어느 것인지를 나타낸다. 예를 들어 시점 부호화 플래그의 값이 “0”인 경우는 그 재생구간이 3D 재생구간임을 나타내고, “1”인 경우는 의사 2D 재생구간임을 나타낸다. 도 67에 나타내는 것과 같은 예에서는 각 3D 플레이리스트 파일이 시점 부호화 플래그를 포함해도 좋다. 또, 시점 부호화 플래그는 MVC 등에 의한 비디오 스트림, 또는 다중화 스트림 데이터를 이루는 TS 중에 보조정보로 저장되어도 좋다. 예를 들어 MVC에 의한 비디오 스트림에서는 NAL 유닛의 헤더, SEI, 또는 도 8에 나타내는 디펜던트 뷰 비디오 스트림 내의 VAU(832)의 서브 AU 식별코드(832A)가 저장 장소로 이용 가능하다. 그 외에, 시점 부호화 플래그를 저장하기 위한 새로운 NAL 유닛이 정의되어도 좋다. 한편, TS에서는 TS 패킷의 헤더 또는 디스크립터, 특히 MVC에 의한 비트레이트 등의 속성정보를 포함한 디스크립터가 시점 부호화 플래그의 저장 장소로 이용 가능하다.
(3-B) 3D 플레이리스트 파일이 규정하는 재생경로는 3D 재생구간과 의사 2D 재생구간에 더하여 통상의 2D 영상의 재생구간(이하, 통상 2D 재생구간이라고 한다)를 포함해도 좋다. 통상 2D 재생구간에는 서브 TS, 특히 디펜던트 뷰 비디오 스트림이 포함되지 않으므로 재생장치는 메인 TS만으로 2D 재생모드에서 2D 영상을 재생한다. 그 경우, 3D 영상 콘텐츠에는 2D 영상의 재생구간이 의사 2D 재생구간과 통상 2D 재생구간의 어느 것인지를 나타내는 정보가 저장되어도 좋다. 예를 들어 PI에 포함되는 시점 부호화 플래그의 값이 “2”인 경우는 그 PI가 규정하는 재생구간이 통상 2D 재생구간임을 나타낸다.
(3-C) 「광 디스크, 메모리 카드, 또는 HDD 등의 기억장치에 기록된 영상 콘텐츠, 방송되는 프로그램, 또는 특정의 폴더 등에 저장된 AV스트림 파일 중에 시점 부호화 플래그가 다른 재생구간이 존재하는지 여부」를 나타내는 정보가 설정되어도 좋다. 특히 프로그램에 대해서는 그 정보를 프로그램 정보를 저장하는 디스크립터, 또는 프로그램을 구성하는 비디오 스트림의 속성을 나타내는 디스크립터에 저장할 수 있다. 예를 들어 그 정보는 플레이리스트 파일이 규정하는 재생경로의 다음과 같은 속성을 나타낸다 : (1) 그 재생경로는 3D 재생구간만을 포함한다, (2) 그 재생경로는 3D 재생구간을 적어도 하나 포함한다, (3) 그 재생경로에는 의사 2D 재생구간과 통상 2D 재생구간이 혼재한다. 재생장치는 그 정보가 나타내는 재생경로의 속성에 맞춰서 동작 모드를 선택함으로써 그 선택 처리를 간단하게 할 수 있다.
(3-D) 「재생구간의 영상이 3D 영상과 2D 영상의 어느 것인지」를 나타내는 정보가 3D 영상 콘텐츠로 설정되어 있는 경우, 그 정보가 시점 부호화 플래그 대신에 이용되어도 좋다. 구체적으로는 「재생구간의 영상이 3D 영상이다」를 그 정보가 나타내는 경우, 그 재생구간은 3D 재생구간이다. 한편, 「재생구간의 영상이 2D 영상이다」를 그 정보가 나타내는 경우, 그 재생구간은 의사 2D 재생구간과 통상 2D 재생구간중 어느 하나이다. 또, 「그 재생구간이 의사 2D 재생구간과 통상 2D 재생구간의 어느 것인가」를 판별하기 위해서는 예를 들어 비디오 스트림 또는 다중화 스트림 데이터에 저장된 「영상의 시점 수를 나타내는 정보」가 이용되면 좋다. 시점 수=2의 경우, 재생구간은 의사 2D 재생구간이며, 시점 수=1의 경우, 재생구간은 통상 2D 재생구간이다. 그 외에, 영상 콘텐츠, 특히 그 관리정보에 저장된 「콘텐츠의 부호화방식을 나타내는 정보」가 이용되어도 좋다. 구체적으로는 부호화방식이 MVC 등의 다 시점 부호화방식이면 재생구간은 의사 2D 재생구간이며, MPEG-4 AVC 등의 단일 시점 부호화방식이면 재생구간은 통상 2D 재생구간이다.
(3-E) 재생장치(102)가 BD-Live(등록상표)에 대응하고 있는 경우, 베이스 뷰 비디오 스트림은 BD-ROM 디스크로부터 판독하고, 디펜던트 뷰 비디오 스트림은 네트워크상의 서버 장치 등의 다른 기기로부터 다운로드해도 좋다. 그 경우, 재생장치는 BD-ROM 디스크 상의 영상 콘텐츠가 구비하고 있는 시점 부호화 플래그를 참조하여 그 영상 콘텐츠의 재생경로의 속성을 체크해도 좋다. 특히 그 재생경로에 3D 재생구간과 통상 2D 재생구간이 혼재하고, 또한 의사 2D 재생구간이 포함되어 있지않은 경우, 재생장치는 통상 2D 재생구간을 의사 2D 재생구간으로 치환한 새로운 콘텐츠, 또는 통상 2D 재생구간의 데이터로부터 의사 2D 재생구간의 데이터를 생성하는데 필요한 차분 데이터를 네트워크상의 서버 장치 등으로부터 다운로드해도 좋다. 이에 의해 재생장치는 그 영상 콘텐츠의 전체를 동일한 동작 모드로 재생할 수 있다.
(3-F) 도 70은 3D 재생장치가 연속 재생구간 중의 통상 2D 재생구간의 유무에 의해 동작 모드를 선택하는 처리의 플로차트이다. 이 처리는 플레이리스트 재생처리에서 재생경로 중의 각 연속 재생구간의 처리가 개시될 때마다 이루어진다. 여기서, 「연속 재생구간」이란, 재생경로 중의 재생구간 중 영상이 심리스로서 연속 재생되어야 할 1 이상의 재생구간을 말한다.
스텝 S6901에서는 재생장치(102)에서는 재생제어부(4135)가 플레이리스트 파일 등으로부터 재생경로의 속성을 체크함으로써 처리 대상의 연속 재생구간이 통상 2D 재생구간을 포함하는지 여부를 판별한다. 그 연속 재생구간이 통상 2D 재생구간을 포함하는 경우는 처리가 스텝 S6902로 진행되고, 포함하지 않는 경우는 처리가 스텝 S6905로 진행된다.
스텝 S6902에서는 재생제어부(4135)는 처리 대상의 연속 재생구간이 통상 2D 재생구간 이외의 재생구간을 포함하는지 여부를 판별한다. 그 연속 재생구간이 통상 2D 재생구간 이외의 재생구간을 포함하는 경우는 처리가 스텝 S6903로 진행되고, 포함하지 않는 경우는 처리가 스텝 S6904로 진행된다.
스텝 S6903에서는 처리 대상의 연속 재생구간에는 통상 2D 재생구간과 다른 재생구간이 혼재한다. 따라서, 재생장치(102)는 2D 재생모드를 선택한다. 그 후, 2D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다. 특히 3D 재생구간과 의사 2D 재생구간은 「스킵 재생」이 이루어진다. 즉, BD-ROM 디스크(101)로부터 메인 TS를 포함한 데이터블록이 판독되는 한편, 서브 TS를 포함한 데이터블록의 판독은 점프에 의해 스킵된다. 이에 의해 연속 재생구간의 전체는 2D 재생모드에서의 프레임 레이트, 예를 들어 1/24초에 재생된다.
스텝 S6904에서는 처리 대상의 연속 재생구간은 통상 2D 재생구간밖에 포함하지 않는다. 따라서, 재생장치(102)는 2D 재생모드를 선택한다. 그 후, 2D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다.
스텝 S6905에서는 처리 대상의 연속 재생구간은 3D 재생구간과 의사 2D 재생구간밖에 포함하지 않는다. 따라서, 재생장치(102)는 3D 재생모드를 선택한다. 그 후, 3D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다. 이에 의해 도 69에 나타내는 것과 같이 3D 재생구간에서의 3D 영상과 3D 그래픽스 영상의 합성 영또 및 의사 2D 재생구간에서의 2D 영상과 3D 그래픽스 영상의 합성 영상이 심리스로 접속된다.
(3-G) 도 71은 더빙 재생 기능을 갖는 3D 재생장치가 연속 재생구간 중의 통상 2D 재생구간의 유무에 의해 동작 모드를 선택하는 처리의 플로차트이다. 이 처리는 플레이리스트 재생처리에서 재생경로 중의 각 연속 재생구간의 처리가 개시될 때마다 이루어진다. 여기서, 「더빙 재생 기능」이란 B-B 표시 모드를 이용하여 2D 영상을 나타내는 스트림 데이터를 재생하는 기능을 말한다. 더빙 재생에서는 영상은 3D 재생모드에서의 프레임 레이트, 예를 들어 1/48초에 재생된다. 그러나 동일한 프레임이 2회씩 표시되므로 프레임의 실제의 변화는 2D 재생모드에서의 프레임 레이트, 예를 들어 1/24초에 표현된다.
스텝 S7001에서는 재생장치(102)에서는 재생제어부(4135)가 플레이리스트 파일 등으로부터 재생경로의 속성을 체크함으로써 처리 대상의 연속 재생구간이 통상 2D 재생구간을 포함하는지 여부를 판별한다. 그 연속 재생구간이 통상 2D 재생구간을 포함하는 경우는 처리가 스텝 S7002로 진행되고, 포함하지 않는 경우는 처리가 스텝 S7005로 진행된다.
스텝 S7002에서는 재생제어부(4135)는 처리 대상의 연속 재생구간이 통상 2D 재생구간 이외의 재생구간을 포함하는지 여부를 판별한다. 그 연속 재생구간이 통상 2D 재생구간 이외의 재생구간을 포함하는 경우는 처리가 스텝 S7003로 진행되고, 그 이외의 재생구간을 포함하지 않는 경우는 처리가 스텝 S7004로 진행된다.
스텝 S7003에서는 처리 대상의 연속 재생구간에는 통상 2D 재생구간과 다른 재생구간이 혼재한다. 따라서, 재생장치(102)는 3D 재생모드를 선택하고, 특히 통상 2D 재생구간에 대해서는 B-B 표시 모드를 선택한다. 그 후, 3D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다. 이에 의해 통상 2D 재생구간에서는 더빙 재생이 이루어진다. 그러므로, 영상은 연속 재생구간의 전체에서 심리스로 재생된다.
스텝 S7004에서는 처리 대상의 연속 재생구간은 2D 재생구간밖에 포함하지 않는다. 따라서, 재생장치(102)는 2D 재생모드를 선택한다. 그 후, 2D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다.
스텝 S7005에서는 처리 대상의 연속 재생구간은 3D 재생구간과 의사 2D 재생구간밖에 포함하지 않는다. 따라서, 재생장치(102)는 3D 재생모드를 선택한다. 그 후, 3D 재생모드에 의한 연속 재생구간의 재생처리가 개시된다. 이에 의해 3D 재생구간에서의 3D 영상과 3D 그래픽스 영상의 합성 영상 및 의사 2D 재생구간에서의 2D 영상과 3D 그래픽스 영상의 합성 영상이 심리스로 접속된다.
(3-H) 3D 재생모드의 재생장치(102)는 팝업메뉴를 화면에 표시하는 기간, 즉 팝업기간에서는 이하와 같이 해서 다른 3D 영상을 2D 영상으로 변경한다. 이에 의해 팝업메뉴의 시인성 및 조작성이 향상한다. 여기서, 팝업메뉴의 표시에는 IG 스트림으로부터 복호된 IG 플레인, 또는 BD-J 오브젝트에 따라서 묘사된 이미지 플레인이 이용된다.
도 72(a)는 1 플레인+오프셋 모드에서의 3D 그래픽스 영상의 재생 중에 팝업메뉴가 표시될 때의 비디오 플레인의 열(7110), IG/이미지 플레인의 열(7120) 및 PG 플레인의 열(7130)을 나타내는 모식도이다. 도 72(a)를 참조하면, 2개의 3D 재생구간 P3D1, P3D2 사이에 팝업 기간 PPOP가 삽입되어 있다. 이에 의해 비디오 플레인의 열(7110)과 PG 플레인의 열(7130)은 각각 3개의 그룹 7111-7113, 7131-7133로 분할된다.
최초의 3D 재생구간 P3D1에서는 비디오 플레인의 표시 모드는 B-D 표시 모드로 설정되고, PG 플레인의 표시 모드는 1 플레인+오프셋 모드로 설정된다. 이에 의해 비디오 플레인의 제 1 그룹(7111)은 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함하고, PG 플레인의 제 1 그룹(7131)은 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 여기서, 레프트 뷰와 라이트 뷰의 PG 플레인의 각 쌍은 오프셋 제어에 의해 하나의 PG 플레인에서 생성되며, 대응하는 비디오 플레인에 합성된다. 이렇게 해서 최초의 3D 재생구간 P3D1에서는 비디오 플레인의 제 1 그룹(7111)이 나타내는 3D 영상에 PG 플레인의 제 1 그룹(7131)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
팝업기간 PPOP에서는 IG/이미지 플레인의 열(7120)이 1 플레인+오프셋 모드 또는 2 플레인 모드로 재생된다. 이에 의해 그 열(7120)은 레프트 뷰와 라이트 뷰의 IG/이미지 플레인 L, R을 교호로 포함한다. 한편, 비디오 플레인의 표시 모드는 B-B 표시 모드로 변경되고, PG 플레인의 표시 모드는 1 플레인+제로 오프셋 모드로 변경된다. 이에 의해 비디오 플레인의 제 2 그룹(7112)은 레프트 뷰의 비디오 플레인 L를 2매씩 포함하고, PG 플레인의 제 2 그룹(7132)은 오프셋 값=0의 PG 플레인 C를 2매씩 포함한다. 이렇게 해서 팝업기간 PPOP에서는 비디오 플레인의 제 2 그룹(7112)이 나타내는 2D 영상에 PG 플레인의 제 2 그룹(7132)이 나타내는 2D 그래픽스 영상과 IG/이미지 플레인의 열(7120)이 나타내는 3D 영상의 팝업메뉴가 중첩해서 표시된다.
두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 표시 모드는 B-B 표시 모드에 되돌려지고, PG 플레인의 표시 모드는 1 플레인+오프셋 모드로 되돌려진다. 이에 의해 비디오 플레인의 제 3 그룹(7113)은 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함하고, PG 플레인의 제 3 그룹(7133)은 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 이렇게 해서 두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 제 3 그룹(7113)이 나타내는 3D 영상에 PG 플레인의 제 3 그룹(7133)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
도 72(b)는 2 플레인 모드에서의 3D 그래픽스 영상의 재생 중에 팝업메뉴가 표시될 때의 비디오 플레인의 열(7110), IG/이미지 플레인의 열(7120) 및 PG 플레인의 열(7140)의 일 예를 나타내는 모식도이다. 도 72(b)를 참조하면, 2개의 3D 재생구간 P3D1, P3D2 사이에 팝업기간 PPOP가 삽입되어 있다. 이에 의해 비디오 플레인의 열(7110)과 PG 플레인의 열(7140)은 각각 3개의 그룹 7111-7113, 7141-7143로 분할된다.
최초의 3D 재생구간 P3D1에서는 비디오 플레인의 표시 모드는 B-D 표시 모드로 설정되고, PG 플레인의 표시 모드는 2 플레인 모드로 설정된다. 이에 의해 비디오 플레인의 제 1 그룹(7111)은 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함하고, PG 플레인의 제 1 그룹(7141)은 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 여기서, 레프트 뷰와 라이트 뷰의 각 PG 플레인은 다른 PG 스트림으로부터 생성된다. 이렇게 해서 최초의 3D 재생구간 P3D1에서는 비디오 플레인의 제 1 그룹(7111)이 나타내는 3D 영상에 PG 플레인의 제 1 그룹(7141)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
팝업기간 PPOP에서는 IG/이미지 플레인의 열(7120)이 1 플레인+오프셋 모드 또는 2 플레인 모드로 재생된다. 이에 의해 그 열(7120)은 레프트 뷰와 라이트 뷰의 IG/이미지 플레인 L, R을 교호로 포함한다. 한편, 비디오 플레인과 PG 플레인의 각 표시 모드는 B-B 표시 모드로 변경된다. 이에 의해 비디오 플레인의 제 2 그룹(7112)은 레프트 뷰의 비디오 플레인 L를 2매씩 포함하고, PG 플레인의 제 2 그룹(7142)은 레프트 뷰의 PG 플레인 L를 2매씩 포함한다. 이렇게 해서 팝업기간 PPOP에서는 비디오 플레인의 제 2 그룹(7112)이 나타내는 2D 영상에 PG 플레인의 제 2 그룹(7142)이 나타내는 2D 그래픽스 영상과 IG/이미지 플레인의 열(7120)이 나타내는 3D 영상의 팝업메뉴가 중첩해서 표시된다.
두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 표시 모드는 B-B 표시 모드에 되돌려지고, PG 플레인의 표시 모드는 2 플레인 모드에 되돌려진다. 이에 의해 비디오 플레인의 제 3 그룹(7113)은 레프트 뷰와 라이트 뷰의 비디오 플레인 L, R을 교호로 포함하고, PG 플레인의 제 3 그룹(7143)은 레프트 뷰와 라이트 뷰의 PG 플레인 L, R을 교호로 포함한다. 이렇게 해서 두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 제 3 그룹(7113)이 나타내는 3D 영상에 PG 플레인의 제 3 그룹(7143)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
도 72(c)는 2 플레인 모드에서의 3D 그래픽스 영상의 재생 중에 팝업메뉴가 표시될 때의 비디오 플레인의 열(7110), IG/이미지 플레인의 열(7120) 및 PG 플레인의 열(7150)의 다른 예를 나타내는 모식도이다. 도 72(c)를 참조하면, 도 72(b) 와 달리 팝업기간 PPOP에 PG 플레인이 표시되지 않는다. 그 외의 점에 대해서는 도 72(c)에 나타내는 각 플레인의 열은 도 72(b)에 나타내는 것과 같다.
최초의 3D 재생구간 P3D1에서는 비디오 플레인의 제 1 그룹(7111)과 PG 플레인의 제 1 그룹(7151)은 레프트 뷰와 라이트 뷰의 각 플레인 L, R을 교호로 포함하므로 비디오 플레인의 제 1 그룹(7111)이 나타내는 3D 영상에 PG 플레인의 제 1 그룹(7151)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
팝업기간 PPOP에서는 IG/이미지 플레인의 열(7120)은 레프트 뷰와 라이트 뷰의 IG/이미지 플레인 L, R을 교호로 포함하고, 비디오 플레인의 제 2 그룹(7112)은 레프트 뷰의 비디오 플레인 L를 2매씩 포함한다. 한편, PG 플레인의 묘사처리는 계속되지만, 그 출력 처리는 중단된다. 이에 의해 PG 플레인의 제 2 그룹(7152)은 파기된다. 이렇게 해서 팝업기간 PPOP에서는 비디오 플레인의 제 2 그룹(7112)이 나타내는 2D 영상에 IG/이미지 플레인의 열(7120)이 나타내는 3D 영상의 팝업메뉴가 중첩해서 표시된다. 한편, PG 플레인의 제 2 그룹(7152)이 나타내는 3D 그래픽스 영상은 표시되지 않는다.
두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 표시 모드는 B-B 표시 모드에 되돌려지고, PG 플레인의 표시 모드는 2 플레인 모드에 되돌려진다. 이에 의해 비디오 플레인의 제 3 그룹(7113)과 PG 플레인의 제 3 그룹(7153)은 레프트 뷰와 라이트 뷰의 각 플레인 L, R을 교호로 포함한다. 이렇게 해서 두 번째의 3D 재생구간 P3D2에서는 비디오 플레인의 제 3 그룹(7113)이 나타내는 3D 영상에 PG 플레인의 제 3 그룹(7153)이 나타내는 3D 그래픽스 영상이 중첩해서 표시된다.
이상과 같이 해서, 팝업메뉴가 표시되는 동안 다른 3D 영상이 일시적으로 2D 영상으로 변경된다. 특히 PG 플레인의 표시 모드의 변경은 오프셋 값의 변경 또는 출력 플레인의 변경에 의해 실현되므로 그 처리 시간이 짧다. 따라서, 3D 영상과 2D 영상의 변경을 심리스로 실현할 수 있다.
또, 표시 모드의 변경에 필요로 하는 처리 시간이 충분히 짧은 경우, 그 변경에 수반하여 영상이 중단되어도 좋은 경우, 또는 3대의 PG디코더가 메인 TS 내의 PG 스트림과 서브 TS 내의 한 쌍의 PG 스트림을 병렬로 재생하는 경우, 팝업메뉴의 온/오프에 맞춰서 PG 플레인의 표시 모드가 1 플레인+(제로) 오프셋 모드와 2 플레인 모드 사이에서 전환되어도 좋다.
(3-I) 2 플레인 모드의 재생장치(102)는 오프셋 메타 데이터를 이용하여 레프트 뷰와 라이트 뷰의 각 그래픽스 플레인에 대해서 오프셋 제어를 더 실시해도 좋다. 이에 의해 2 플레인 모드에서도 1 플레인+오프셋 모드와 마찬가지로 3D 그래픽스 영상의 깊이를 조정할 수 있다.
특히 도 72(b)과 같이, 팝업기간에 B-B 표시 모드를 이용하여 팝업메뉴 이외의 3D 그래픽스 영상을 2D 그래픽스 영상으로 변경하는 경우를 상정한다. 도 73(a), (b), (c)는 B-D 표시 모드와 B-B 표시 모드에서의 그래픽스 부품의 표시위치의 차이를 나타내는 모식도이다. 도 73(a)-(c)를 참조하면, 화면 SCR 내의 점선은 B-D 표시 모드에서의 그래픽스 부품의 표시위치 GOB0를 나타내고, 실선은 B-B 표시 모드에서의 그래픽스 부품의 표시위치 GOB1-3을 나타낸다. 도 73(a), (b), (c)에 나타내는 B-B 표시 모드에서의 각 표시위치 GOB1, GOB2, GOB3과 B-D 표시 모드에서의 표시위치 GOB0 사이의 수평거리 OFS1, OFS2, OFS3은 그 순으로 작다: OFS1<OFS2<OFS3. 그래픽스 영상이 도 73(a),(b),(c)의 순으로 표시될 때 B-D 표시 모드에서는 그래픽스 부품의 3D 영상이 화면 SCR에 대해서 수직인 방향으로 이동하는 것처럼 보인다. 한편, B-B 표시 모드에서는 그래픽스 부품의 2D 영상이 화면 SCR상을 좌측방향으로 이동하는 것처럼 보인다. 이와 같은 이동 방향의 차이는 시청자에게 위화감을 줄 위험성이 있으므로 재생장치(102)는 오프셋 제어를 이하와 같이 이용해서 B-B 표시 모드에서의 그래픽스 영상의 표시위치를 일정하게 유지한다.
도 73(d),(e),(f)는 각각 도 73(a),(b),(c)에 나타내는 B-B 표시 모드에서의 그래픽스 부품의 변위를 보상하는 처리를 나타내는 모식도이다. 도 73(d)-(f)을 참조하면, 화면 SCR 내의 점선은 그래픽스 부품의 보상 전의 표시위치 GOB1-3를 나타내고, 실선은 보상 후의 표시위치 GOB0를 나타낸다. 도 73(a),(b),(c)에 나타내는 B-B 표시 모드와 B-D 표시 모드에서의 표시위치 간의 수평거리 OFS1, OFS2, OFS3은 각 그래픽스 영상에 부여된 오프셋의 크기와 같다. 따라서, 그래픽스 영상이 도 73(a),(b),(c)의 순으로 표시될 때 각 그래픽스 영상을 나타내는 그래픽스 플레인에 대한 오프셋 값 OFS1, OFS2, OFS3은 동일한 순으로 작다:OFS1<OFS2<OFS3. 그 경우, 재생장치(102)는 먼저 최초의 오프셋 값 OFS1에 대한 2번째, 3번째의 각 오프셋 값 OFS2,OFS3의 초과분 OFS2-OFS1,OFS3-OFS1을 구해서 역 오프셋 값 RV1,RV2로 설정한다:RV1=OFS2-OFS1,RV2=OFS3-OFS1. 재생장치(102)는 다음에, 각 그래픽스 플레인에 대한 오프셋 제어를 이용하여 각 그래픽스 영상의 표시위치를 역 오프셋 값RV1, RV2만큼 최초의 표시위치 GOB1의 방향으로 되돌린다. 이에 의해 각 그래픽스 영상의 표시위치는 실질적으로 최초의 표시위치 GOB1에 동일하게 유지된다. 이렇게 해서 B-D 표시 모드로부터 B-B 표시 모드로의 이행이 시청자에게 위화감을 주는 것을 회피할 수 있다.
《실시형태 4》
이하, 본 발명의 실시형태 4로 본 발명의 실시형태 1-3에 의한 기록매체의 기록장치 및 기록방법에 대하여 설명한다. 그 기록장치는 이른바 오서링 장치라 불리는 것이다. 오서링 장치는 통상 반포용의 영화 콘텐츠의 제작 스튜디오에 설치되고, 오서링 스태프에 의해 사용된다. 기록장치는 오서링 스태프의 조작에 따라서 먼저 영화 콘텐츠를 소정의 압축 부호화방식으로 AV스트림 파일로 변환한다. 기록장치는 다음에 시나리오를 생성한다. 「시나리오」는 영화 콘텐츠에 포함되는 각 타이틀의 재생방법을 규정한 정보이며, 구체적으로는 상기의 동적 시나리오 정보 및 정적 시나리오 정보를 포함한다. 기록장치는 이어서, AV스트림 파일 및 시나리오로부터 BD-ROM 디스크용의 볼륨 이미지를 생성한다. 기록장치는 마지막으로 그 볼륨 이미지를 기록매체에 기록한다.
도 74는 그 기록장치(7300)의 기능 블록도이다. 도 74를 참조하면, 그 기록장치(7300)는 데이터 베이스부(7301), 비디오 인코더(7302), 소재 제작부(7303), 시나리오 생성부(7304), BD 프로그램 제작부(7305), 다중화 처리부(7306) 및 포맷 처리부(7307)를 포함한다.
데이터 베이스부(7301)는 기록장치에 내장의 불휘발성 기억장치이며, 특히HDD이다. 데이터 베이스부(7301)는 그 외에 기록장치에 외부에 부착된 HDD라도 좋고, 기록장치에 내장되거나 또는 외부에 부착된 불휘발성 반도체 메모리장치라도 좋다.
비디오 인코더(7302)는 비 압축의 비트 맵 데이터 등의 영상데이터를 오서링 스태프로부터 접수하고, MPEG-4 AVC, MVC, 또는 MPEG-2 등의 압축 부호화방식으로 압축한다. 이에 의해 주 영상의 데이터는 프라이머리 비디오 스트림으로 변환되고, 부 영상의 데이터는 세컨더리 비디오 스트림으로 변환된다. 특히 3D 영상의 데이터는 MVC 등의 다 시점 부호화방식을 이용해서 도 7에 나타내는 것과 같은 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 쌍으로 변환된다. 즉, 레프트 뷰를 나타내는 비디오 프레임의 열은 그 자신의 픽처 간에서의 예측 부호화에 의해 베이스 뷰 비디오 스트림으로 변환된다. 한편, 라이트 뷰를 나타내는 비디오 프레임의 열은 그 자신의 픽처 뿐만이 아니라 베이스 뷰 픽처 사이의 예측 부호화에 의해 디펜던트 뷰 비디오 스트림으로 변환된다. 또, 라이트 뷰를 나타내는 비디오 프레임의 열이 베이스 뷰 비디오 스트림으로 변환되고, 레프트 뷰를 나타내는 비디오 프레임의 열이 디펜던트 뷰 비디오 스트림으로 변환되어도 좋다. 변환 후의 각 비디오 스트림(7312)은 데이터 베이스부(7301)에 보존된다.
또, 비디오 인코더(7302)는 2D 영상의 데이터를 부호화할 때에 오서링 스태프로부터 「3D 그래픽스 영상을 나타내는 그래픽스 데이터가 그 2D 영상의 데이터에 다중화되는 것」을 나타내는 정보를 접수한다. 그 경우, 비디오 인코더(7302)는 그 2D 영상의 데이터로부터 의사 2D 재생구간을 구성하는 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 쌍을 생성한다. 즉, 비디오 인코더(7302)는 먼저 그 2D 영상의 데이터를 베이스 뷰 비디오 스트림으로 변환한다. 비디오 인코더(7302)는 다음에, 도 65에 나타내는 의사 2D 재생구간(6432) 내의 디펜던트 뷰 픽처 군과 같이 2D 영상의 데이터가 포함하는 각 픽처를 참조 픽처로 그 픽처 자신을 부호화해서 디펜던트 뷰 픽처로 변환한다. 변환 후의 각 비디오 스트림(7312)은 데이터 베이스부(7301)에 보존된다. 또, 비디오 인코더(7302)는 생성된 베이스 뷰 비디오 스트림과 디펜던트 뷰 비디오 스트림의 쌍에 관한 시점 부호화 정보(VCI)를 생성한다. 「시점 부호화 정보」는 그 비디오 스트림의 쌍이 3D 재생구간과 의사 2D 재생구간의 어느 것을 구성하는지를 나타낸다. 생성된 시점 부호화 정보(VCI)는 다중화 처리부(7306)에 송출된다.
또, 비디오 인코더(7302)는 2D 영상의 데이터로부터 세컨더리 비디오 스트림을 부호화할 때에, 오서링 스태프의 조작에 따라서 부 영상 플레인에 대한 오프셋 정보(7310)를 작성해도 좋다. 작성된 오프셋 정보(7310)는 데이터 베이스부(7301)에 보존된다.
그 외에, 비디오 인코더(7302)는 픽처 간 예측 부호화의 처리과정에서 레프트 뷰와 라이트 뷰 사이에서의 각 이미지의 모션 벡터(motion vectors)를 검출하고, 그것들로부터 3D 영상 내의 각 이미지의 깊이정보를 산출한다. 비디오 인코더(7302)는 그 깊이정보를 이용하여 레프트 뷰 또는 라이트 뷰에 대한 깊이 맵을 생성해도 좋다. 그 경우, 비디오 인코더(7302)는 레프트 뷰 또는 라이트 뷰의 스트림 데이터와 깊이 맵 스트림의 각각을 그 자신이 포함하는 픽처 간에서의 예측 부호화를 이용하여 베이스 뷰 비디오 스트림과 깊이 맵 스트림으로 변환한다. 변환 후의 각 비디오 스트림(7312)은 데이터 베이스부(7301)에 보존된다.
또, 비디오 인코더(7302)는 그 깊이정보를 이용해서 도 56(b),(c)에 나타내는 레프트 뷰(LV)와 라이트 뷰(RV)의 일방에 밖에 포함되지 않는 수직방향의 띠 형상 영역(AL, AR)의 폭(WDH) 및 도 57(b),(c)에 나타내는 레프트 뷰(LV)와 라이트 뷰(RV)의 일방에 밖에 포함되지 않는 수평방향의 띠 형상 영역(AT, AB)의 높이(HGT)를 산정한다. 산정된 폭(WDH)과 높이(HGT)를 나타내는 정보(이하, 마스크 영역정보라고 한다)(7311)는 데이터 베이스부(7301)에 보존된다.
소재 제작부(7303)는 비디오 스트림 이외의 엘리멘터리 스트림, 예를 들어 오디오 스트림(7313), PG 스트림(7314),IG 스트림(7315) 및 텍스트 자막 스트림(7316)을 작성해서 데이터 베이스부(7301)에 보존한다. 예를 들어 소재 제작부(7303)는 오서링 스태프로부터 비 압축의 LPCM 음성데이터를 접수하고, 그것을AC-3 등의 압축 부호화방식으로 부호화해서 오디오 스트림(7313)으로 변환한다. 소재 제작부(7303)는 그 외에 오서링 스태프로부터 자막정보파일을 접수하고, 그에 따라서 PG 스트림(7314) 또는 텍스트 자막 스트림(7316)을 작성한다. 자막정보파일은 자막을 나타내는 이미지 데이터 또는 텍스트 데이터, 그 자막의 표시시기 및 그 자막에 부가되어야 할 페이드 인/페이드 아웃 등의 시각효과를 규정한다. 또, 소재 제작부(7303)는 오서링 스태프로부터 비트 맵 데이터와 메뉴 파일을 접수하여 그것들에 따라서 IG 스트림(7315)을 작성한다. 비트 맵 데이터는 메뉴의 이미지를 나타낸다. 메뉴 파일은 그 메뉴에 배치되는 각 버튼 상태의 천이 및 각 버튼에 부가되어야 할 시각효과를 규정한다.
또, 소재 제작부(7303)는 오서링 스태프의 조작에 따라서 PG 스트림(7314), IG 스트림(7315) 및 텍스트 자막 스트림(7316)의 각각에 대한 오프셋 정보(7310)를 작성한다. 그 경우, 소재 제작부(7303)는 비디오 인코더(7302)에 의해 생성된 깊이정보(DPI)를 이용해도 좋다. 작성된 오프셋 정보(7310)는 데이터 베이스부(7301)에 보존된다.
시나리오 생성부(7304)는 오서링 스태프로부터 GUI 경유로 접수된 지시에 따라서 BD-ROM 시나리오 데이터(7317)를 작성하고, 데이터 베이스부(7301)에 보존한다. BD-ROM 시나리오 데이터(7317)는 데이터 베이스부(7301)에 보존된 각 엘리멘터리 스트림(7312-7316)의 재생방법을 규정한다. BD-ROM 시나리오 데이터(7317)는 도 2에 나타내는 파일 군 중 인덱스 파일(211), 무비 오브젝트 파일(212) 및 플레이리스트 파일(221-223)을 포함한다. 또, 시나리오 생성부(7304)는 파라미터 파일(PRF)을 작성해서 다중화 처리부(7306)에 송출한다. 파라미터 파일(PRF)은 데이터 베이스부(7301)에 보존된 엘리멘터리 스트림(7312-7316) 중에서 메인TS와 서브TS의 각각에 다중화되어야 할 스트림 데이터를 규정한다.
BD 프로그램 제작부(7305)는 오서링 스태프에 대하여 BD-J 오브젝트 및 Java 애플리케이션 프로그램의 프로그래밍 환경을 제공한다. BD 프로그램 제작부(7305)는 GUI을 통해서 사용자로부터의 요구를 접수하고, 그 요구에 따라서 각 프로그램의 소스코드를 작성한다. 또, BD 프로그램 제작부(7305)는 BD-J 오브젝트로부터 BD-J 오브젝트 파일(251)을 작성하고, Java 애플리케이션 프로그램을 JAR 파일(261)에 압축한다. 이들 프로그램 파일 군(BDP)은 포맷 처리부(7307)에 송출된다.
여기서, BD-J 오브젝트가 다음과 같이 프로그래밍 되는 경우를 상정한다: BD-J 오브젝트는 도 41에 나타내는 프로그램 실행부(4134)에 GUI용의 그래픽스 데이터를 시스템 타깃 디코더(4125)에 송출시킨다. 또, BD-J 오브젝트는 시스템 타깃 디코더(4125)에 그 그래픽스 데이터를 이미지 플레인 데이터로 처리시키고, 플레인 가산부(4126)에 이미지 플레인 데이터를 1 플레인+오프셋 모드로 송출시킨다. 그 경우, BD 프로그램 제작부(7305)는 이미지 플레인에 대한 오프셋 정보(7310)를 작성해서 데이터 베이스부(7301)에 보존한다. 여기서, BD 프로그램 제작부(7305)는 오프셋 정보(7310)의 작성에 비디오 인코더(7302)에 의해 생성된 깊이정보(DPI)를 이용해도 좋다.
다중화 처리부(7306)는 파라미터 파일(PRF)에 따라서 데이터 베이스부(7301)에 보존되어 있는 각 엘리멘터리 스트림(7312-7316)을 MPEG-2 TS형식의 스트림 파일에 다중화한다(단, 텍스트 자막 스트림(7316)은 단독으로서 파일화된다). 구체적으로는 도 4에 나타내는 것과 같이 각 엘리멘터리 스트림(7312-7315)이 소스 패킷 열로 변환되고, 각 열의 소스 패킷이 일렬로 종합되어서 하나의 다중화 스트림 데이터를 구성한다. 이렇게 해서 메인TS와 서브TS가 작성된다. 이들 다중화 스트림 데이터(MSD)는 포맷 처리부(7307)에 송출된다.
또, 다중화 처리부(7306)는 데이터 베이스부(7301)에 보존되어 있는 오프셋 정보(7310)에 의거하여, 도 13, 14에 나타내는 오프셋 메타 데이터(1310)를 작성한다. 작성된 오프셋 메타 데이터(1310)는 도 13에 나타내는 것과 같이 디펜던트 뷰 비디오 스트림 내에 저장된다. 그때 데이터 베이스부(7301)에 보존되어 있는 마스크 영역정보(7311)는 오프셋 메타 데이터와 함께, 디펜던트 뷰 비디오 스트림 내에 저장된다. 또, 각 그래픽스 플레인이 나타내는 3D 그래픽스 영상이 다른 그래픽스 플레인이 나타내는 3D 그래픽스 영상과 동일한 시 방향(visual direction)으로 중첩되서 표시되지 않도록 다중화 처리부(7306)는 각 그래픽스 데이터를 가공해서 좌우의 각 영상프레임 내에서의 그래픽스 부품의 배치를 조정해도 좋다. 또, 각 3D 그래픽스 영상의 깊이가 서로 중첩되지 않도록 다중화 처리부(7306)는 각 영상프레임에 대한 오프셋 값을 조정해도 좋다.
다중화 처리부(7306)는 그 외에 2D 클립정보파일과 디펜던트 뷰 클립정보파일을 작성한다. 구체적으로는 다중화 처리부(7306)는 먼저 파일 2D와 파일 DEP의 각각에 대하여 엔트리 맵과 익스텐트 기점의 일람표를 작성한다. 그때 다중화 처리부(7306)는 2D 익스텐트, 베이스 뷰 익스텐트, 디펜던트 뷰 익스텐트 및 익스텐트 SS의 배치를 설계한다. 또, 다중화 처리부(7306)는 메인TS과 서브TS의 각각에 다중화되어야 할 각 엘리멘터리 스트림으로부터 속성정보를 추출한다. 다중화 처리부(7306)는 이어서, 엔트리 맵, 익스텐트 기점의 일람표 및 속성정보로부터 각 클립정보파일(CLI)을 작성하고, 포맷 처리부(7307)에 송출한다.
포맷 처리부(7307)는 데이터 베이스부(7301)에 보존된 BD-ROM 시나리오 데이터(7317), BD 프로그램 제작부(7305)에 의해 제작된 BD-J 오브젝트 파일 등의 프로그램 파일 군(BDP) 및 다중화 처리부(7306)에 의해 생성된 다중화 스트림 데이터(MSD)와 클립정보파일(CLI)로부터 도 2에 나타내는 디렉터리 구조의 BD-ROM 디스크 이미지(7320)를 작성한다. 그 디렉터리 구조에서는 파일 시스템으로 UDF가 이용된다.
포맷 처리부(7307)는 파일 2D, 파일 DEP 및 파일 SS의 각 파일 엔트리를 작성할 때 2D 클립정보파일과 디펜던트 뷰 클립정보파일의 각각에 포함되는 엔트리 맵과 3D 메타데이터를 참조한다. 이에 의해 각 엔트리포인트와 각 익스텐트 기점의 SPN이 각 할당 기술자의 작성에 이용된다. 특히 도 19에 나타내는 것과 같은 인터리브 배치가 표현되도록, 각 할당 기술자가 나타내야 할 LBN의 값과 익스텐트 사이즈가 결정된다. 그 결과, 각 베이스 뷰 데이터블록은 파일 SS와 파일 2D에 공유되고, 각 디펜던트 뷰 데이터블록은 파일 SS와 파일 DEP에 공유된다.
또, 포맷 처리부(7307)는 시점 부호화 정보(VCI)에 의거하여 3D 플레이리스트 파일을 치환하여 메인 패스 내의 각 PI에 도 68에 나타내는 것과 같은 시점 부호화 플래그를 설정한다.
<BD-ROM 디스크 이미지의 기록방법>
도 75는 도 74에 나타내는 기록장치(7300)를 이용하여 BD-ROM 디스크에 영화 콘텐츠를 기록하는 방법의 플로차트이다. 이 방법은 예를 들어 기록장치(7300)의 전원투입에 의해 개시된다.
스텝 S7401에서는 BD-ROM 디스크에 기록되어야 할 엘리멘터리 스트림, 프로그램 및 시나리오 데이터가 작성된다. 즉, 비디오 인코더(7302)는 비디오 스트림(7312)을 작성한다. 소재 제작부(7303)는 오디오 스트림(7313), PG 스트림(7314), IG 스트림(7315) 및 텍스트 자막 스트림(7316)을 작성한다. 시나리오 생성부(7304)는 BD-ROM 시나리오 데이터(7317)를 작성한다. 작성된 이들 데이터(7312-7317)는 데이터 베이스부(7301)에 보존된다. 한편, 비디오 인코더(7302)는 오프셋 정보(7310)와 마스크 영역정보(7311)를 작성해서 데이터 베이스부(7301)에 보존하고, 시점 부호화 정보(VCI)를 작성해서 포맷 처리부(7307)에 송출한다. 소재 제작부(7303)는 오프셋 정보(7310)를 작성해서 데이터 베이스부(7301)에 보존한다. 시나리오 생성부(7304)는 파라미터 파일(PRF)를 작성해서 다중화 처리부(7306)에 송출한다. BD 프로그램 제작부(7305)는 BD-J 오브젝트 파일과 JAR 파일을 포함하는 프로그램 파일 군(BDP) 작성해서 포맷 처리부(7307)에 송출하고, 오프셋 정보(7310)를 작성해서 데이터 베이스부(7301)에 보존한다. 그 후, 처리는 스텝 S7402로 진행된다.
스텝 S7402에서는 다중화 처리부(7306)는 데이터 베이스부(7301)에 보존된 오프셋 정보(7310)에 의거하여 오프셋 메타 데이터를 작성한다. 작성된 오프셋 메타 데이터는 마스크 영역정보(7311)과 함께, 디펜던트 뷰 비디오 스트림 내에 저장된다. 그 후, 처리는 스텝 S7403로 진행된다.
스텝 S7403에서는 다중화 처리부(7306)는 파라미터 파일(PRF)에 따라서 데이터 베이스부(7301)로부터 각 엘리멘터리 스트림(7312-7316)을 판독해서 MPEG2-TS 형식의 스트림 파일에 다중화한다. 그 후, 처리는 스텝 S7404로 진행된다.
스텝 S7404에서는 다중화 처리부(7306)는 2D 클립정보파일과 디펜던트 뷰 클립정보파일을 작성한다. 특히 엔트리 맵과 익스텐트 기점의 작성에서는 인접하는 데이터블록 간에 익스텐트 ATC 시간이 일치된다. 또, 2D 익스텐트, 베이스 뷰 익스텐트, 디펜던트 뷰 익스텐트 및 익스텐트 SS 사이즈가 소정의 조건을 만족하도록 설계된다. 그 후, 처리는 스텝 S7405로 진행된다.
스텝 S7405에서는 포맷 처리부(7307)는 BD-ROM 시나리오 데이터(7317), 프로그램 파일 군(BDP), 다중화 스트림 데이터(MDS) 및 클립정보파일(CLI)로부터 BD-ROM 디스크 이미지(7320)를 작성한다. 그때 포맷 처리부(7307)는 시점 부호화 정보(VCI)에 의거하여 3D 플레이리스트 파일에 시점 부호화 플래그를 설정한다. 그 후, 처리는 스텝 S7406으로 진행된다.
스텝 S7406에서는 BD-ROM 디스크 이미지(7320)가 BD-ROM 프레스용 데이터로 변환된다. 또, 이 데이터는 BD-ROM 디스크의 원반에 기록된다. 그 후, 처리는 스텝 S7407로 진행된다.
스텝 S7407에서는 스텝 S7406에서 얻어진 원반을 프레스 공정에 이용하여 BD-ROM 디스크(101)의 대량생산을 실시한다. 이렇게 해서 처리가 종료한다.
<비디오 인코더>
도 76은 비디오 인코더(7302)와 다중화 처리부(7306)의 기능 블록도이다. 도 76을 참조하면, 비디오 인코더(7302)는 스위치(7501), 부호화부(7502), 시점 부호화방식 선택부(7503), 시점 부호화 정보 생성부(7504), 프레임 깊이정보 생성부(7505) 및 마스크 영역정보 생성부(7506)를 포함한다. 다중화 처리부(7306)는 시스템 다중화부(7511)과 관리 정보 생성부(7512)를 포함한다.
스위치(7501)는 3D 비디오 카메라 등의 외부기기로부터 레프트 뷰와 라이트 뷰의 각각을 나타내는 비디오 프레임 L, R의 열을 수신한다. 스위치(7501)는 그때 시점 부호화방식 선택부(7503)로부터의 지시에 따라서 부호화부(7502)에 송출해야 할 비디오 프레임을 선택한다. 구체적으로는 그 지시가 「3D 재생구간」을 나타낼 때 스위치(7501)는 레프트 뷰와 라이트 뷰의 비디오 프레임을 교호로 부호화부(7502)에 송출한다. 한편, 그 지시가 「의사 2D 재생구간」 또는 「통상 2D 재생구간」을 나타낼 때 스위치(7501)는 레프트 뷰의 비디오 프레임만을 부호화부(7502)에 송출한다.
부호화부(7502)는 시점 부호화방식 선택부(7503)로부터의 지시에 따라서 스위치(7501)로부터 비디오 프레임을 수신하고, MVC 등의 다 시점 부호화방식, 또는 MPEG-4 AVC 등의 단일 시점 부호화방식으로 압축한다. 부호화부(7502)는 그때 시점 부호화방식 선택부(7503)로부터 지시된 재생구간의 종류에 의해 시점 부호화방식을 선택한다.
도 77은 부호화부(7502)에 의한 비디오 프레임 열의 부호화 처리의 플로차트이다. 이 처리는 부호화부(7502)가 시점 부호화방식 선택부(7503)로부터 비디오 프레임 열의 부호화 처리가 지시된 때에 개시된다.
스텝 S7601에서는 부호화부(7502)는 시점 부호화방식 선택부(7503)로부터 지시된 재생구간의 종류를 판별한다. 그 종류가 「3D 재생구간」, 「의사 2D 재생구간」 및 「통상 2D 재생구간」의 각각일 때 처리는 스텝 S7602, S7603 및 S7604로 진행된다.
스텝 S7602에서는 부호화부(7502)는 다 시점 부호화방식을 선택한다. 즉, 부호화부(7502)는 레프트 뷰를 나타내는 비디오 프레임 L의 열을 그 자신이 포함하는 픽처 간에서의 예측 부호화에 의해 베이스 뷰 비디오 스트림으로 변환한다. 한편, 부호화부(7502)는 라이트 뷰를 나타내는 비디오 프레임 R의 열을 그 자신이 포함하는 픽처 사이뿐만이 아니라 베이스 뷰 픽처와 사이의 예측 부호화에 의해 디펜던트 뷰 비디오 스트림으로 변환한다. 그 후, 처리는 스텝 S7605로 진행된다.
스텝 S7603에서는 부호화부(7502)는 다 시점 부호화방식을 선택한다. 단, 부호화 대상의 재생구간은 「의사 2D 재생구간」이므로 스위치(7501)로부터는 레프트 뷰의 비디오 프레임 L의 열 밖에 수신되지 않는다. 부호화부(7502)는 그 비디오 프레임 열을 그 자신이 포함하는 픽처 간에서의 예측 부호화에 의해 베이스 뷰 비디오 스트림으로 변환한다. 한편, 부호화부(7502)는 그 비디오 프레임 열이 포함하는 각 픽처를 참조 픽처로 그 픽처 자신을 부호화한다. 이에 의해 그 비디오 프레임 열은 디펜던트 뷰 비디오 스트림으로 변환된다. 그 후, 처리는 스텝 S7605로 진행된다.
스텝 S7604에서는 부호화부(7502)는 단일 시점 부호화방식을 선택한다. 부호화부(7502)는 스위치(7501)로부터 수신된 비디오 프레임 열을 그 자신이 포함하는 픽처 간에서의 예측 부호화에 의해 베이스 뷰 비디오 스트림으로 변환한다. 한편, 부호화부(7502)는 디펜던트 뷰 비디오 스트림을 생성하지 않는다. 그 후, 처리는 스텝 S7605로 진행된다.
스텝 S7605에서는 부호화부(7502)는 시점 부호화방식 선택부(7503)로부터 부호화 처리의 속행이 지시되어 있는가 여부를 체크한다. 그 속행이 지시된 때에는 처리는 스텝 S7601에서 반복되고, 지시되지 않을 때에는 처리는 종료한다.
시점 부호화방식 선택부(7503)는 스위치(7501)에 의해 수신되는 비디오 프레임 열에서 연속해서 구성되어야 할 1 이상의 재생구간(이하, 연속 재생구간이라고 한다)에 관한 정보를 오서링 스태프로부터 접수한다. 그 정보는 특히 「각 재생구간이 3D 재생구간과 2D 재생구간의 어느 것인가」 및 「각 재생구간이 3D 그래픽스 영상의 재생구간(이하, 3D 그래픽스 재생구간이라고 한다)과 중복되는지 여부」를 나타낸다. 시점 부호화방식 선택부(7503)는 그 정보에 따라서 「비디오 프레임 열로 구성해야 할 재생구간이 3D 재생구간, 의사 2D 재생구간 및 통상 2D 재생구간의 어느 것인지」를 결정한다. 또, 시점 부호화방식 선택부(7503)는 각 재생구간을 구성해야 할 비디오 프레임 열이 스위치(7501)에 의해 수신되는 기간에 맞춰서 그 재생구간의 종류를 스위치(7501)와 부호화부(7502)에 대하여 지시한다.
도 78은 비디오 프레임 열로 구성되어야 할 재생구간의 종류를 결정하는 처리의 플로차트이다. 이 처리는 시점 부호화방식 선택부(7503)가 연속 재생구간에 관한 정보를 오서링 스태프로부터 접수한 때에 개시된다.
스텝 S7701에서는 시점 부호화방식 선택부(7503)는 연속 재생구간에 관한 정보로부터 「연속 재생구간이 3D 재생구간을 포함하는지 여부」를 판단한다. 연속 재생구간이 3D 재생구간을 포함하는 경우, 처리는 스텝 S7702로 진행된다. 연속 재생구간이 3D 재생구간을 포함하지 않는 경우, 즉 연속 재생구간의 전체가 2D 재생구간인 경우, 처리는 스텝 S7705로 진행된다.
스텝 S7702에서는 시점 부호화방식 선택부(7503)는 연속 재생구간에 관한 정보로부터 「연속 재생구간이 2D 재생구간을 포함하는지 여부」를 판단한다. 연속 재생구간이 2D 재생구간을 포함하는 경우, 처리는 스텝 S7703로 진행된다. 연속 재생구간이 2D 재생구간을 포함하지 않는 경우, 즉 연속 재생구간의 전체가 3D 재생구간인 경우, 처리는 스텝 S7704로 진행된다.
스텝 S7703에서는 연속 재생구간에 2D 재생구간과 3D 재생구간이 혼재한다. 따라서, 시점 부호화방식 선택부(7503)는 연속 재생구간 중 2D 재생구간을 의사 2D 재생구간으로 결정하고, 나머지의 재생구간을 3D 재생구간으로 결정한다. 그 후, 처리는 종료한다.
스텝 S7704에서는 시점 부호화방식 선택부(7503)는 연속 재생구간의 전체를 3D 재생구간으로 결정한다. 그 후, 처리는 종료한다.
스텝 S7705에서는 시점 부호화방식 선택부(7503)는 연속 재생구간에 관한 정보로부터 「연속 재생구간이 3D 그래픽스 재생구간과 중복하는 재생구간을 포함하는지 여부」를 판단한다. 연속 재생구간이 그러한 재생구간을 포함하는 경우, 처리는 스텝 S7706으로 진행된다. 연속 재생구간이 그러한 재생구간을 포함하지 않는 경우, 처리는 스텝 S7707로 진행된다.
스텝 S7706에서는 연속 재생구간의 적어도 일부에서 2D 영상에 3D 그래픽스 영상이 합성된다. 따라서, 시점 부호화방식 선택부(7503)는 연속 재생구간의 전체를 의사 2D 재생구간으로 결정한다. 그 외에, 연속 재생구간 중 3D 그래픽스 재생구간과 중복하는 2D 재생구간은 의사 2D 재생구간으로 결정되고, 나머지의 2D 재생구간은 통상 2D 재생구간으로 결정되어도 좋다. 그 후, 처리는 종료한다.
스텝 S7707에서는 시점 부호화방식 선택부(7503)는 연속 재생구간의 전체를 통상 2D 재생구간으로 결정한다. 그 후, 처리는 종료한다.
도 76을 다시 참조하면, 시점 부호화 정보 생성부(7504)는 시점 부호화방식 선택부(7503)의 지시에 의거하여 시점 부호화 정보(VCI)를 생성한다. 그 시점 부호화 정보(VCI)는 부호화부(7502)에 의해 부호화된 비디오 스트림이 구성하는 각 재생구간에 시점 부호화방식 선택부(7503)가 지시하는 재생구간의 종류를 대응시키고 있다. 또, 시점 부호화 정보 생성부(7504)는 부호화부(7502)가 2D 영상의 비디오 프레임 열로부터 세컨더리 비디오 스트림을 부호화할 때 오서링 스태프의 조작에 따라서 부 영상 플레인에 대한 오프셋 정보(OFS)를 작성해도 좋다.
프레임 깊이정보 생성부(7505)는 부호화부(7502)로부터 레프트 뷰와 라이트 뷰 사이에서의 각 이미지의 모션 벡터(VCT)를 검출하고, 그것들로부터 3D 영상 내의 각 이미지의 깊이정보를 산출한다. 도 79(a), (b)는 3D 영상의 한 신의 표시에 이용되는 레프트 뷰와 라이트 뷰의 각 픽처를 나타내는 모식도이며, (c)는 프레임 깊이정보 생성부(7505)에 의해 이들 픽처로부터 산출된 깊이정보를 나타내는 모식도이다.
부호화부(7502)는 레프트 뷰와 라이트 뷰의 각 픽처의 압축에 이들 픽처 간의 용장성(冗長性)을 이용한다. 즉, 부호화부(7502)는 압축 전의 양 픽처를 8×8 또는 16×16의 화소 매트릭스별로, 즉 매크로 블록별로 비교해서 양 픽처 간에서의 각 이미지의 모션 벡터를 검출한다. 구체적으로는 도 79(a), (b)에 나타내는 것과 같이 먼저 레프트 뷰 픽처(7801)와 라이트 뷰 픽처(7802)는 각각 매크로 블록(7803)의 매트릭스로 분할된다. 다음에, 양 픽처(7801, 7802) 간에 이미지 데이터가 매크로 블록(7803)별로 비교되고. 그 결과로부터 각 이미지의 모션 벡터가 검출된다. 예를 들어 「집」의 이미지(7804)를 나타내는 영역은 양 픽처 7801, 7802 간에 실질적으로 동일하다. 따라서, 이들 영역으로부터는 모션 벡터가 검출되지 않는다. 한편, 「원」의 이미지(7805)를 나타내는 영역은 양 픽처 7801, 7802 간에 다르므로 이들 영역으로부터는 그 이미지(7805)의 모션 벡터가 검출된다.
부호화부(7502)는 검출된 모션 벡터를 각 픽처 7801, 7802의 압축에 이용한다. 한편, 프레임 깊이정보 생성부(7505)는 그 모션 벡터(VCT)를 「집」의 이미지(7804) 및 「원」의 이미지(7805) 등, 각 이미지의 양안 시차의 계산에 이용한다. 또, 프레임 깊이정보 생성부(7505)는 각 이미지의 양안 시차로부터 그 이미지의 깊이를 산출한다. 각 이미지의 깊이를 나타내는 정보는 도 79(c)에 나타내는 것과 같이 각 픽처 7801, 7802의 매크로 블록의 매트릭스와 동일한 사이즈의 매트릭스(7806)에 정리된다. 이 매트릭스(7806) 내의 블록(7807)은 각 픽처 7801, 7802 내의 매크로 블록(7803)과 일 대 일로 대응한다. 각 블록(7807)은 대응하는 매크로 블록(7803)이 나타내는 이미지의 깊이를 예를 들어 8비트의 심도로 나타낸다. 도 79에 나타내는 예에서는 「원」의 이미지(7805)의 깊이가 매트릭스(7806)의 영역(7808) 내의 각 블록에 기록된다. 그 영역(7808)은 그 이미지(7805)를 나타내는 각 픽처 7801, 7802 내의 영역의 전체에 대응한다.
또, 프레임 깊이정보 생성부(7505)는 그 깊이정보를 이용하여 레프트 뷰 또는 라이트 뷰에 대한 깊이 맵(DPM)을 생성해도 좋다. 그 경우, 부호화부(7502)는 레프트 뷰 또는 라이트 뷰의 비디오 프레임 열과 그 깊이 맵(DPM)의 열을 베이스 뷰 비디오 스트림과 깊이 맵 스트림에 부호화한다.
마스크 영역정보 생성부(7506)는 프레임 깊이정보 생성부(7505)에 의해 검출된 모션 벡터(VCT)를 이용하여 마스크 영역정보(MSK)를 생성한다. 실제로 레프트 뷰와 라이트 뷰의 일방의 주연부에 밖에 포함되지 않는 수직방향 또는 수평방향의 띠 형상 영역에 이미지가 포함되어 있으면, 그 이미지의 모션 벡터가 레프트 뷰에서 라이트 뷰로, 또는 그 역으로의 프레임 아웃을 나타내는 것으로 검출된다. 따라서, 마스크 영역정보 생성부(7506)는 그 모션 벡터로부터 각 띠 형상 영역의 폭 또는 높이를 산정할 수 있다.
<다중화 처리부>
시스템 다중화부(7511)는 파라미터 파일(PRF)에 따라, 부호화부(7502)에 의해 부호화된 비디오 스트림(VST)를 다른 엘리멘터리 스트림(7313-7316)과 함께 한 개의 다중화 스트림 데이터(MSD)에 다중화한다. 또, 시스템 다중화부(7511)는 오프셋 정보(OFS, 7310)에 의거하여 오프셋 메타 데이터를 작성하고, 마스크 영역정보(MSK)와 함께 디펜던트 뷰 비디오 스트림 내에 저장한다. 시스템 다중화부(7511)는 그 외에 다중화 스트림 데이터(MSD) 내의 랜덤 액세스 포인트의 위치 및 재생 개시/종료시각 등의 관리정보(MNG)를 관리 정보 생성부(7512)에 송출한다.
관리 정보 생성부(7512)는 그 관리정보(MNG)를 이용하여 2D 클립정보파일과 디펜던트 뷰 클립정보파일을 이하의 순서 (I)-(IV)로 작성한다: (I) 파일 2D 와 파일 DEP의 각각에 대하여, 도 23에 나타내는 엔트리 맵(2230)이 생성된다. (II) 각 파일의 엔트리 맵을 이용해서 도 24(a), (b)에 나타내는 익스텐트 기점(2242, 2420)이 작성된다. 그때 인접하는 데이터블록 간에 익스텐트 ATC 시간이 일치된다. 또, 2D 익스텐트, 베이스 뷰 익스텐트, 디펜던트 뷰 익스텐트 및 익스텐트 SS의 각 사이즈가 소정의 조건을 만족하도록 설계된다(이들 조건에 대해서는《보충》 참조). (III) 메인 TS와 서브 TS의 각각에 다중화되어야 할 각 엘리멘터리 스트림으로부터 도 22에 나타내는 스트림 속성정보(2220)가 추출된다. (IV) 도 22에 나타내는 것과 같이 엔트리 맵(2230), 3D 메타데이터(2240) 및 스트림 속성정보(2220)의 조합이 클립정보(2210)에 대응된다. 이렇게 해서 각 클립정보파일(CLI)이 작성되어서 포맷 처리부(7307)에 송출된다.
도 80은 인접하는 데이터블록 간에 익스텐트 ATC 시간을 일치시키는 방법을 나타내는 모식도이다. 먼저 베이스 뷰 데이터블록에 저장되는 소스 패킷(이하, SP1라고 한다)과 디펜던트 뷰 데이터블록에 저장되는 소스 패킷(이하, SP2라고 한다)에는 동일한 ATC 시간 축에 ATS가 부여된다. 도 80을 참조하면, 직사각형(7910, 7920)은 각각 SP1#p(p=0, 1, 2, 3, …, k, k+1, …,i, i+1)와 SP2#q(q=0, 1, 2, 3, …, m, m+1, …,j)를 나타낸다. 이들 직사각형(7910, 7920)은 ATC의 시간 축 방향으로 각 소스 패킷의 ATS의 순으로 나열되어 있다. 각 직사각형(7910, 7920)의 선두의 위치는 그 소스 패킷의 ATS의 값을 나타낸다. 각 직사각형(7910, 7920)의 길이(AT1)는 3D 재생장치가 1개의 소스 패킷을 리드 버퍼로부터 시스템 타깃 디코더에 전송하는데 필요로 하는 시간을 나타낸다.
SP1#0의 ATSA1에서 익스텐트 ATC 시간 TEXT가 경과할 때까지의 기간에 리드 버퍼에서 시스템 타깃 디코더에 전송되는 SP1, 즉 SP1#0, 1, 2, …,k는 n번째의 베이스 뷰 익스텐트 EXT1[n]으로 하나의 베이스 뷰 데이터블록에 저장된다. 마찬가지로 SP1#(k+1)의 ATSA3에서 익스텐트 ATC 시간 TEXT가 경과할 때까지의 기간에 리드 버퍼에서 시스템 타깃 디코더에 전송되는 SP1, 즉 SP1#(k+1), …,i는 (n+1)번째의 베이스 뷰 익스텐트 EXT1[n+1]로 다음의 베이스 뷰 데이터블록에 저장된다.
한편, n번째의 디펜던트 뷰 익스텐트 EXT2[n]으로 하나의 디펜던트 뷰 데이터블록에 저장되어야 할 SP2는 다음과 같이 선택된다. 먼저 SP1#0의 ATSA1과 익스텐트 ATC 시간 TEXT의 합, 즉, (n+1)번째의 베이스 뷰 익스텐트 EXT1[n+1]의 선두에 위치하는 SP1#(k+1)의 ATSA3=A1+TEXT가 요구된다. 다음에, SP1#0의 ATSA1에서 SP1#(k+1)의 ATSA3까지의 기간에 리드 버퍼에서 시스템 타깃 디코더로의 전송이 개시되는 SP2, 즉 SP2#0, 1, 2, …,m이 선택된다. 따라서, 선두의 SP2, 즉 SP2#0의 ATSA2는 반드시 선두의 SP1, 즉 SP1#0의 ATSA1 이상이다 : A2≥A1. 또, SP2#0-m의 ATS는 모두 SP1#(k+1)의 ATSA3 미만이다. 여기서, 최후의 SP2, 즉 SP#m의 전송완료는 SP1#(k+1)의 ATSA3 이후라도 좋다.
마찬가지로 (n+1)번째의 디펜던트 뷰 익스텐트 EXT2[n+1]로 하나의 디펜던트 뷰 데이터블록에 저장되어야 할 SP2는 다음과 같이 선택된다. 먼저 (n+2)번째의 베이스 뷰 익스텐트의 선두에 위치하는 SP1#(i+1)의 ATSA5=A3+TEXT가 요구된다. 다음에, SP1#(k+1)의 ATSA3에서 SP1#(i+1)의 ATSA5까지의 기간에 리드 버퍼에서 시스템 타깃 디코더로의 전송이 개시되는 SP2, 즉 SP2#(m+1)-j가 선택된다. 따라서, 선두의 SP2, 즉 SP2#(m+1)의 ATSA4는 반드시 선두의 SP1, 즉 SP1#(k+1)의 ATSA3 이상이다 :A4≥A3. 또, SP2#(m+1)-j의 ATS는 모두 SP1#(i+1)의 ATSA5 미만이다.
《실시형태 5》
본 실시형태에서는 앞에서 설명한 실시형태에서 설명한 구조의 데이터를 재생하는 재생장치에 관해서 집적회로(3)를 이용하여 실현한 구성 예(도 81)에 대하여 설명한다.
매체 IF부(1)는 매체로부터 데이터를 수신하고(판독하고) 집적회로(3)에 전송한다. 또, 매체 IF부(1)는 앞에서 설명한 실시형태에서 설명한 구조의 데이터를 매체로부터 수신한다. 매체 IF부(1)는 예를 들어 매체가 광 디스크나 하드 디스크인 경우는 디스크 드라이브, 매체가 SD카드나 USB 메모리 등의 반도체 메모리인 경우는 카드 IF, 매체가 CATV 등을 포함하는 방송파의 경우는 CAN 튜너나 Si튜너, 매체가 이더넷(ethernet)(등록상표), 무선 LAN, 무선 공중회선 등의 네트워크의 경우는 네트워크 IF 등이다.
메모리(2)는 매체로부터 수신한(판독한) 데이터를 일단 저장하거나, 또는 집적회로(3)에서의 처리 도중의 데이터를 일시적으로 저장하는 메모리로, 예를 들어 SDRAM(Synchronous Dynamic Random Access Memory), DDRx SDRAM(Double-Date-Rate x Synchronous Dynamic Random Access Memory;x=1, 2,3, …) 등이 이용된다. 또, 메모리(2)는 임의의 개수로 구비되어 있으면 좋고, 필요에 따라서 단수라도 복수라도 상관없다.
집적회로(3)는 매체 IF부(1)로부터 전송된 데이터에 대하여 영상·음성 처리를 실행하는 시스템 LSI로, 주 제어부(6), 스트림 처리부(5), 신호처리부(7), 메모리 제어부(9), AV 출력부(8) 등으로 구성된다.
주 제어부(6)는 타이머 기능이나 인터럽트 기능을 갖는 프로세서 코어를 갖고, 프로세서 코어는 프로그램 메모리 등에 저장된 프로그램에 따라서 집적회로(3) 전체의 제어를 한다. 또, 프로그램 메모리 등에는 미리 OS 등의 기본 소프트가 저장되어 있다.
스트림 처리부(5)는 주 제어부(6)의 제어하에 매체로부터 매체 IF부(1) 경유로 전송된 데이터를 수신하고, 집적회로(3) 내의 데이터버스를 경유하여 메모리(2)에 저장하거나, 또는 수신한 데이터를 영상계 데이터, 음성계 데이터로 분리한다. 앞에서 설명한 것과 같이, 매체상의 데이터는 레프트 뷰 비디오 스트림을 포함하는 2D/레프트 뷰 AV스트림 파일과 라이트 뷰 비디오 스트림을 포함하는 라이트 뷰 AV스트림 파일이 몇 개의 익스텐트로 분할된 상태로 교호로 배치된 것이다. 따라서, 주 제어부(6)는 집적회로(3)가 레프트 뷰 AV스트림 파일을 포함하는 왼쪽 눈 용 데이터를 수신한 경우는 메모리(2)의 제 1 영역에 데이터가 저장되도록, 라이트 뷰 비디오 스트림을 포함하는 오른쪽 눈 용 데이터를 수신한 경우는 메모리(2)의 제 2 영역에 데이터가 저장되도록 제어한다. 여기서, 왼쪽 눈 용 데이터는 왼쪽 눈 용 익스텐트에 속해 있고, 오른쪽 눈 용 데이터는 오른쪽 눈 용 익스텐트에 속해 있다. 또, 메모리(2)에서의 제 1, 제 2 영역은 단일의 메모리가 논리적으로 영역 분할된 것이라도 좋고, 물리적으로 다른 메모리라도 좋다. 또, 실시형태 5에서는 레프트 뷰 비디오 스트림을 포함하는 왼쪽 눈 용 데이터를 메인 뷰 데이터로 하고, 라이트 뷰 비디오 스트림을 포함하는 오른쪽 눈 용 데이터를 서브 뷰 데이터로 설명을 계속하지만, 오른쪽 눈 용 데이터가 메인 뷰 데이터, 왼쪽 눈 용 데이터가 서브 뷰 데이터라도 상관없다.
신호처리부(7)는 주 제어부(6)의 제어하에 스트림 처리부(5)가 분리한 영상계 데이터, 음성계 데이터를 적절한 방법으로 디코드한다. 영상계 데이터는 MPEG-2, MPEG-4 AVC, MPEG4-MVC, SMPTE VC-1 등의 방식을 사용하여 부호화 기록되어 있다. 음성계 데이터는 돌비 AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, 리니어 PCM 등의 방식으로 압축·부호화 기록되고 있다. 신호처리부(7)는 이들에 대응한 방식으로 디코드를 실시한다. 또, 신호처리부(7)의 모델은 예를 들어 실시형태 1의 도 44에서의 각종 디코더에 해당된다. 또, 신호처리부(7)는 라이트 뷰 비디오 스트림 중에 포함되는 메타 데이터를 추출하고, AV 출력부(8)에 통지한다. 또, 앞에서 설명한 것과 같이, 메타 데이터는 라이트 뷰 비디오 스트림을 구성하는 GOP별로 배치되어 있으며, 복수의 오프셋 정보와 그에 대한 오프셋 식별자를 포함한다.
메모리 제어부(9)는 집적회로(3) 내의 각 기능 블록에서 메모리(2)h의 액세스를 조정한다.
AV 출력부(8)는 주 제어부(6)의 제어하에 신호처리부(7)에서 디코드 된 영상계 데이터를 중첩하고, 영상계 데이터에 포맷 변환 등을 실시하여 집적회로(3)의 밖에 출력한다.
도 82는 스트림 처리부(5)의 대표적인 구성을 나타내는 기능 블록도이다. 스트림 처리부(5)는 디바이스 스트림 IF부(51), 다중 분리부(52), 스위칭부(53) 등을 구비한다.
디바이스 스트림 IF부(51)는 매체 IF부(1)와 집적회로(3) 사이의 데이터 전송용 인터페이스이다. 예를 들어 매체가 광 디스크나 하드 디스크인 경우는 SATA(Serial Advanced Technology Attachment), ATAPI(Advanced Technology Attachment Packet Interface), PATA(Parallel Advanced Technology Attachment), 매체가 SD카드나 USB 메모리 등의 반도체 메모리의 경우는 카드 IF, 매체가 CATV 등을 포함하는 방송파 등의 경우는 튜너 IF, 매체가 이더넷, 무선 LAN, 무선 공중회선 등의 네트워크의 경우는 네트워크 IF 등이 디바이스 스트림 IF부(51)에 상당한다. 또, 매체의 종류에 따라서는 디바이스 스트림 IF부(51)가 매체 IF부(1)의 기능의 일부를 대신해도 상관없고, 매체 IF부(1)가 집적회로(3)에 내장되고 있어도 상관없다.
다중 분리부(52)는 매체로부터 전송된 영상·음성을 포함하는 재생 데이터로부터 영상계 데이터와 음성계 데이터를 분리한다. 앞에서 설명한 각 익스텐트는 영상·음성·PG(자막)·IG(메뉴) 등의 각 소스 패킷으로 구성되어 있다. 단, 서브 뷰 데이터는 음성을 포함하지 않는 경우도 있다. 각 익스텐트는 각 소스 패킷에 포함되어 있는 PID(식별자)에 따라서 영상계·음성계의 각 TS 패킷으로 분리되어서 신호처리부(7)에 전송된다. 처리가 완료된 데이터는 직접, 또는 일단 메모리(2)에 저장된 후에 신호처리부(7)에 전송된다. 또, 다중 분리부(52)의 모델은 예를 들어 실시형태 1의 도 44에서의 소스 디 패킷다이저, PID 필터에 해당된다.
스위칭부(53)는 디바이스 스트림 IF부(51)가 왼쪽 눈 용 데이터를 수신한 때는 메모리(2)의 제 1 영역에 저장되도록, 오른쪽 눈 용 데이터를 수신한 때는 메모리(2)의 제 2 영역에 저장되도록 출력 처(저장 처)를 전환한다. 여기서, 스위칭부(53)는 예를 들어 DMAC(Direct Memory Access Controller)이다. 도 83은 스위칭부(53)가 DMAC이었을 경우의 스위칭부(53) 주변의 개념도이다. DMAC는 주 제어부(6)의 제어하에 디바이스 스트림 IF부가 수신한 데이터와 그 데이터 저장 처 어드레스를 메모리 제어부(9)에 송신한다. 구체적으로는 디바이스 스트림 IF부가 왼쪽 눈 용 데이터를 수신한 때는 어드레스 1(제 1 저장영역)을, 오른쪽 눈 용 데이터를 수신한 때는 어드레스 2(제 2 저장영역)를 메모리 제어부(9)에 송신함으로써 수신 데이터에 의해 그 출력 처(저장 처)를 전환하고 있다. 메모리 제어부(9)는 DMAC로부터 보내진 저장 처 어드레스에 따라서 메모리(2)에 데이터를 저장한다. 또, 주 제어부(6) 대신에 스위칭부(53)를 제어하는 전용의 회로를 설치해도 상관없다.
여기에서는 스트림 처리부(5)의 대표적인 구성으로 디바이스 스트림 IF부(51), 다중 분리부(52), 스위칭부(53)에 대하여 설명했으나, 수신한 암호화 데이터나 키 데이터 등을 복호하는 암호 엔진부, 매체와 재생장치 사이의 기기인증 프로토콜 등의 실행제어나 비밀키를 보유하는 시큐어 관리부, 다이렉트 메모리 액세스용의 컨트롤러 등을 스트림 처리부(5)가 더 구비하고 있어도 좋다. 지금까지는 매체로부터 수신한 데이터를 메모리(2)에 저장할 때 스위칭부(53)가 왼쪽 눈 용 데이터·오른쪽 눈 용 데이터인지에 의해서 저장 처를 전환하는 경우에 대하여 설명해 왔으나, 매체로부터 수신한 데이터를 일단 메모리(2)에 저장한 후, 다중 분리부(52)에 데이터를 전송할 때 왼쪽 눈 용 데이터·오른쪽 눈 용 데이터를 분리해도 좋다.
도 84는 AV 출력부(8)의 대표적인 구성을 나타내는 기능 블록도이다. AV 출력부(8)는 화상 중첩부(86), 비디오 출력 포맷 변환부(87) 및 오디오 비디오 출력 IF부(88)을 구비한다.
화상 중첩부(81)는 디코드 된 영상계의 데이터를 중첩한다. 구체적으로는 레프트 뷰 비디오 데이터 또는 라이트 뷰 비디오 데이터에, PG(자막), IG(메뉴)를 픽처 단위로 중첩한다. 화상 중첩부(81)의 모델은 예를 들어 실시형태 1의 도 45에 나타내고 있다. 도 90은 화상중첩처리에서의 메모리(2)와 각 플레인 사이의 관계를 나타내는 도면이다. 메모리(2)는 디코드가 완료된 데이터이며, 각 플레인에 묘사되는 데이터를 저장하는 영역, 즉, 레프트 뷰에 대응하는 플레인 데이터 저장영역, 라이트 뷰에 대응하는 플레인 데이터 저장영역, 그래픽스에 대응하는 플레인 데이터 저장영역을 구비한다. 여기서, 플레인은 메모리(2) 중의 영역이기도 하고, 가상적인 공간이기도 하다.
도 91과 도 92는 화상 중첩의 개념도이다. 화상 중첩부(81)는 스트림 선택테이블 중의 오프셋 식별자를 이용하여 신호처리부(7)로부터 통지된 메타 데이터 중에서 해당하는 오프셋 정보를 검색하고, 그 오프셋 정보에 의거하여 그래픽스 플레인에 오프셋을 부여하여 영상 플레인과의 중첩 처리를 실시한다. 레프트 뷰 플레인과 중첩할 때는 그래픽스 플레인에는 +X의 오프셋을 부여하여 중첩하고(왼쪽을 나타내는 도면), 라이트 뷰 플레인과 중첩할 때는 그래픽스 플레인에는 ―X의 오프셋을 부여하여 중첩한다(오른쪽을 나타내는 도면). 여기서, 값 X는 오프셋 값이며, 화소 수로 나타낸다. 구체적으로는 도 91에서는 그래픽스 플레인을 지면상 오른쪽으로 오프셋 값 X만큼 평행이동시킨 것을 레프트 뷰 플레인과 중첩한다. 한편, 도 92에서는 그래픽스 플레인을 지면상 왼쪽으로 오프셋 값 X만큼 평행이동시킨 것을 라이트 뷰 플레인과 중첩한다. 이때 도시하고 있는 것과 같이 지면 상 좌우 방향의 좌표가 동일한 화소 데이터끼리를 중첩하고, 중첩 후의 데이터를 메모리(2)의 화상 중첩 후 데이터 저장영역에 저장한다.
도 93은 화상 중첩의 다른 방법을 나타내는 개념도이다. 또, 메모리(2)는 오프셋이 완료한 그래픽스에 대응하는 플레인 데이터 저장영역(레프트 뷰 중첩용, 라이트 뷰 중첩용)을 구비하고 있다. 레프트 뷰 플레인, 라이트 뷰 플레인과 중첩되는 데이터가 메모리(2)에 미리 준비되고, 화상 중첩부(81)가 메모리(2)로부터 필요한 데이터를 판독해서 중첩하며, 중첩 후의 데이터가 메모리(2)의 화상 중첩 후 데이터 저장영역에 저장된다.
또, 실시형태 3과 같이, 그래픽스 플레인을 레프트 뷰 중첩용과 라이트 뷰 중첩용의 2매을 준비하고, 각각에 오프셋 값을 부여하여 중첩 처리를 실행하는 방법(2 플레인 모드)도 있다. 앞에서 설명한 것과 같이, 2D 영상과 3D 그래픽스 영상의 합성도 가능하다. 그때는 디코드 후의 평면 시 영상을 구성하는 픽처 데이터(메인 뷰 데이터 군에 유래)와 디코드 후의 메인 뷰를 구성하는 그래픽스 데이터가 중첩되고, 디코드 후의 평면 시 영상을 구성하는 픽처 데이터(서브 뷰 데이터 군에 유래)와 디코드 후의 서브 뷰를 구성하는 그래픽스 데이터가 중첩된다.
비디오 출력 포맷 변환부(82)는 디코드 된 영상계 데이터에 대하여 확대 또는 축소하는 리사이즈 처리, 주사방식을 프로그래시브 방식 및 인터레이스 방식의 일방에서 타방으로 변환하는 IP 변환처리, 노이즈를 제거하는 노이즈 리덕션 처리(noise reduction), 프레임 레이트를 변환하는 프레임 레이트 변환처리 등을 필요에 따라서 실시한다.
오디오 비디오 출력 IF부(83)는 화상 중첩이나 포맷 변환된 영상계 데이터와 디코드 된 음성계 데이터에 대해서 데이터 송신형식에 맞춰서 인코드 등을 실시한다. 또, 후술하는 것과 같이, 오디오 비디오 출력 IF부(83)의 일부는 집적회로(3)의 밖에 구비되어도 상관없다.
도 85는 AV 출력부(8) 또는 재생장치의 데이터 출력부를 보다 상세하게 나타내는 구성 예이다. 실시형태 5에 의한 집적회로(3) 및 재생장치는 복수의 영상계 데이터, 음성계 데이터의 데이터 송신형식에 대응하고 있다. 도 84에서의 오디오 비디오 출력 IF부(83)는 아날로그 비디오 출력 IF부(83a), 아날로그 오디오 출력 IF부(83c), 디지털 오디오 출력 IF부(83b)를 구비하고 있다.
아날로그 비디오 출력 IF부(83a)는 화상중첩처리나 출력 포맷 변환처리된 영상계 데이터를 아날로그 영상신호형식으로 변환 및 인코드해서 출력한다. 예를 들어 NTSC, PAL, SECAM의 3방식중 어느 하나에 대응한 콤퍼지트 비디오 인코더, S 영상신호(Y/C 분리)용 인코더, 콤포넌트 영상 신호용 인코더, 또는 DAC(D/A 컨버터)가 아날로그 비디오 출력 IF부(83a)에 해당된다.
디지털 오디오 비디오 출력 IF부(83b)는 디코드 된 음성계 데이터와 화상중첩처리나 출력 포맷 변환된 영상계 데이터를 일체화하고, 또 암호화한 후, 데이터 송신 규격에 맞춰서 인코드해서 출력한다. 예를 들어 HDMI(High-Definition Multimedia InterFace)가 디지털 오디오 비디오 출력 IF부(83b)에 해당된다.
아날로그 오디오 출력 IF부(83c)는 디코드 된 음성계 데이터를 D/A 변환하여 아날로그 음성데이터를 출력한다. 오디오 DAC 등이 아날로그 오디오 출력 IF부(83c)에 해당된다.
이들 영상계 데이터 및 음성계 데이터의 송신형식은 표시장치·스피커(4)가 서포트하는 데이터 수신장치(데이터 입력 단자)에 의존하거나, 또는 사용자의 선택에 의해 전환 가능하다. 또, 단일의 송신 형식만이 아니라 복수의 송신 형식으로 병행해서 동일한 콘텐츠에 대응한 데이터를 송신하는 것도 가능하다.
여기에서는 AV 출력부(8)의 대표적인 구성으로 화상 중첩부(81), 비디오 출력 포맷 변환부(82), 오디오 비디오 출력 IF부(83)에 대하여 설명했으나, 필터 처리, 화면 합성, 곡선 묘사, 3D 표시 등의 그래픽스 처리를 실행하는 그래픽스 엔진부 등을 더 구비하고 있어도 좋다.
이상이 실시형태 5에 의한 재생장치의 구성에 대한 설명이다. 또, 집적회로(3)에는 앞에서 설명한 기능블록의 전부가 내장되어 있지 않아도 좋다. 반대로, 도 81의 메모리(2)가 집적회로(3)에 내장되어 있어도 좋다. 또, 실시형태 5에서는 주 제어부(6)와 신호처리부(7)는 다른 기능 블록으로 설명되어 왔으나, 주 제어부(6)가 신호처리부(7)의 처리의 일부를 실시해도 상관없다.
표시장치를 예를 들어 도 88에 나타내는 것과 같이 구성하고, 실시형태 5에 의한 재생장치의 처리를 표시장치에 실시하게 해도 상관없다. 그때 매체 IF부(1)가 수신한 데이터는 집적회로(3)에 의해 신호 처리되고, 처리된 영상계 데이터는 표시 구동부(10)를 경유하여 표시패널(11)을 통해서 출력되며, 처리된 음성계 데이터는 스피커(12)를 통해서 출력된다. 여기서, AV 출력부(8)는 예를 들어 도 89와 같이 구성되어도 좋다. 그 경우, 집적회로(3)의 내부 또는 외부의 오디오 출력 IF부(94) 및 비디오 출력 IF부(89)를 통해서 데이터 전송을 한다. 또, 오디오 출력 IF부(94) 및 비디오 출력 IF부(89)의 각각이 복수 구비되어 있어도 좋고, 비디오와 오디오에서 공통의 IF부가 구비되어 있어도 좋다.
집적회로(3)에서는 제어 버스나 데이터 버스는 각 처리 블록의 처리 순서나 처리 내용에 맞춰서 임의로 배치된다. 데이터 버스는 각 처리 블록끼리를, 예를 들어 도 86과 같이 직접 연결해서 좋고, 도 87과 같이 메모리(2)(메모리 제어부(9))를 개재하여 연결해도 좋다.
집적회로(3)는 복수의 칩을 하나의 패키지로 밀봉하여 외관상 하나의 LSI로 한 다중 칩 모듈이라도 상관없다. 또, LSI 제조 후에 프로그램 가능한 FPGA(Field Programmable Gate Array)나 LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블 프로세서(reconfigurable processor)가 집적회로(3)로 이용되어도 좋다.
다음에, 이상과 같이 구성된 재생장치의 동작에 대하여 설명한다. 도 94는 매체로부터 데이터를 수신하고(판독하고) 디코드한 후에 영상신호 및 음성신호로 출력하는 재생동작순서를 간단하게 나타내는 플로차트이다.
스텝 S1 : 매체로부터 데이터를 수신한다(판독한다)(매체 IF부(1), 스트림 처리부(5)).
스텝 S2 : 스텝 S1에서 수신된(판독된) 데이터로부터 각종 데이터(영상계 데이터·음성계 데이터)를 분리한다(스트림 처리부(5)).
스텝 S3 : 스텝 S2에서 분리된 각종 데이터를 적절한 형식으로 디코드한다(신호처리부(7)).
스텝 S4 : 스텝 S3에서 디코드 된 영상계 데이터에 대하여 중첩처리를 실시한다(AV 출력부(8)).
스텝 S6 : 스텝 S2~S5에서 처리된 영상계 데이터 및 음성계 데이터를 출력한다(AV 출력부(8)).
도 95는 더 상세하게 재생동작순서를 나타내는 플로차트이다. 각 동작 및 처리는 주 제어부(6)의 제어하에 이루어진다.
스텝 S101 : 스트림 처리부(5)의 디바이스 스트림 IF부(51)는 매체 IF부(1)를 통해 매체로부터 재생 대상의 데이터를 재생하기 위해서 필요한 데이터(플레이리스트 파일, 클립정보파일 등)를 수신하고(판독하고) 메모리(2)에 저장한다(매체 IF부(1), 디바이스 IF부(51), 메모리 제어부(9), 메모리(2)).
스텝 S102 : 주 제어부(6)는 수신된 클립정보파일에 포함되는 스트림 속성정보로부터 매체에 저장되어 있는 영상데이터 및 음성데이터의 압축형식을 식별하고, 대응하는 디코드 처리를 할 수 있도록 신호처리부(7)의 초기화를 실시한다(주 제어부(6)).
스텝 S103 : 스트림 처리부(5)의 디바이스 스트림 IF부(51)는 매체 IF부(1)를 통해 매체로부터 영상·음성 등의 재생대상의 데이터를 수신하고(판독하고), 스위칭부(53), 메모리 제어부(9)를 경유하여 메모리(2)에 저장한다. 또, 데이터는 익스텐트 단위로 수신되고(판독되고), 왼쪽 눈 용 데이터는 제 1 영역에 저장되고, 오른쪽 눈 용 데이터는 제 2 영역에 저장된다. 이들 저장 처의 전환은 스위칭부(53)가 주 제어부(6)의 제어에 따라서 실행한다(매체 IF부(1), 디바이스 IF부(51), 주 제어부(6), 스위칭부(53), 메모리 제어부(9), 메모리(2)).
스텝 S104 : 메모리(2)에 저장된 스트림 데이터는 스트림 처리부(5)의 다중 분리부(52)에 전송된다. 다중 분리부(52)는 그 스트림 데이터를 구성하는 각 소스 패킷에 포함되는 PID로부터 그 스트림 데이터가 영상계(주 영상, 부 영상, PG(자막), IG(메뉴))와 음성계(음성, 부 음성)의 어느 것인지를 식별하고, 그 스트림 데이터를 TS 패킷 단위로 신호처리부(7) 내의 대응하는 디코더에 전송한다(다중 분리부(52)).
스텝 S105 : 신호처리부(7) 내의 각 디코더는 전송된 TS 패킷을 적절한 방식으로 디코드한다(신호처리부(7)).
스텝 S106 : 신호처리부(7)에서 디코드 된 영상계 데이터 중 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림에 대응하는 데이터를 표시장치(4)에 맞춰서 리사이즈한다(비디오 출력 포맷 변환부(82)).
스텝 S107 : 스텝 S106에서 리사이즈된 비디오 스트림과 PG(자막)·IG(메뉴)가 중첩된다(화상 중첩부(81)).
스텝 S108 : 스텝 S107에서 중첩된 영상데이터에 대하여 IP변환을 실시하여 주사방식을 변환한다(비디오 출력 포맷 변환부(82)).
스텝 S109 : 지금까지의 처리를 수신한 영상계 데이터 및 음성계 데이터에 대하여 인코드나 D/A 변환 등을 표시장치·스피커(4)의 데이터 출력방식, 또는 표시장치·스피커(4)로의 데이터 송신방식에 따라서 실시한다. 예를 들어 영상계 데이터·음성계 데이터를 각각 아날로그 또는 디지털 출력에 대응하기 위한 처리를 실시한다. 영상계 데이터의 아날로그 출력으로는 콤퍼지트 영상신호, S 영상신호, 또는 콤퍼넌트 영상신호 등이 지원되고 있다. 영상계·음성계 데이터의 디지털 출력으로는 HDMI가 지원되고 있다(오디오 비디오 출력 IF부(83)).
스텝 S110 : 스텝 S109에서 처리된 영상계 데이터 및 음성계 데이터를 표시장치·스피커(4)에 송신하고, 대응하는 영상 및 음성을 출력시킨다(오디오 비디오 출력 IF부(83), 표시장치·스피커(4)).
이상이 실시형태 5에 의한 재생장치의 동작순서의 설명이다. 또, 각 처리를 종료할 때마다 일단 그 처리결과를 메모리(2)에 저장해도 상관없다. 도 88의 표시장치로 재생처리를 한 경우도 그 동작순서는 기본적으로는 상기의 것과 동일하다. 그 경우, 도 81의 재생장치의 각 기능블록에 대응하는 기능블록이 동일한 처리를 한다. 또, 상기의 동작순서에서는 비디오 출력 포맷 변환부(82)에서 리사이즈 처리 및 IP 변환처리가 이루어지고 있으나, 필요에 따라서 그러한 처리는 생략되어도 상관없고, 다른 처리(노이즈 리덕션 처리, 프레임 레이트 변환처리 등)가 이루어져도 상관없다. 또, 가능한 한에 있어서 상기의 동작순서가 변경되어도 상관없다.
《보충》]
<3D 영상의 재생방법의 원리>
3D 영상의 재생방법은 홀로그래피 기술(holographic technique)을 이용하는 방법과 시차 영상을 이용하는 방법의 2개로 대별된다.
홀로그래피 기술을 이용하는 방법의 특징은 현실의 입체적인 물체로부터 인간의 시각에 부여되는 광학적인 정보와 거의 완전히 동일한 정보를 시청자의 시각에 부여함으로써 그 시청자에게 영상 중의 물체를 입체적으로 보이게 하는 점에 있다. 그러나 이 방법을 동화상 표시에 이용하는 기술은 이론상 확립되고는 있다. 그러나 그 동화상 표시에 필요한 방대한 연산을 실시간으로 처리 가능한 컴퓨터 및, 1mm 근처 수천 개라고 하는 초 고해상도의 표시장치는 모두 현재의 기술에서는 아직 실현이 매우 어렵다. 따라서, 이 방법을 상업용으로 실용화하는 목표는 현시점에서는 거의 세워져 있지 않다.
「시차 영상」이란 하나의 신을 보는 시청자의 각 눈에 비치는 2D 영상의 쌍, 즉 레프트 뷰와 라이트 뷰의 쌍을 말한다. 시차 영상을 이용하는 방법의 특징은 하나의 신의 레프트 뷰와 라이트 뷰를 시청자의 각 눈에만 보이도록 재생함으로써 그 시청자에게 그 신을 입체적으로 보이게 하는 점에 있다.
도 96(a)-(c)는 시차 영상을 이용하는 방법에 의한 3D 영상(입체 시 영상)의 재생원리를 설명하기 위한 모식도이다. 도 96(a)은 시청자(VWR)가 얼굴의 정면에 놓인 입방체(CBC)를 보고 있는 광경의 표면도이다. 도 96(b), (c)는 각각 그때에 시청자(VWR)의 왼쪽 눈(LEY), 오른쪽 눈(REY)에 보이는 입방체(CBC)의 외관을 2D 영상으로 나타내는 모식도이다. 도 96(b), (c)를 비교하면 명백한 것과 같이, 각 눈에 보이는 입방체(CBC)의 외관은 조금 다르다. 이 외관의 차이, 즉 양안 시차로부터 시청자(VWR)는 입방체(CBC)를 입체적으로 인식할 수 있다. 따라서, 시차 영상을 이용하는 방법에서는 먼저 하나의 씬, 예를 들어 도 96(a)에 나타내는 입방체(CBC)에 대하여 시점이 다른 좌우의 2D 영상, 예를 들어 도 96(b)에 나타내는 입방체(CBC)의 레프트 뷰 및 도 96(c)에 나타내는 그 라이트 뷰를 준비한다. 여기서, 각 시점의 위치는 시청자(VWR)의 양안 시차로부터 결정된다. 다음에, 각 2D 영상을 시청자(VWR)의 각각의 눈에만 보이도록 재생한다. 이에 의해 시청자(VWR)에게는 화면에 재생되는 그 씬, 즉 입방체(CBC)의 영상이 입체적으로 보인다. 이와 같이 시차 영상을 이용하는 방법은 홀로그래피 기술을 이용하는 방법과는 달리 단지 2개의 시점으로 보이는 2D 영상을 준비하는 것만으로 좋은 점에서 유리하다.
시차 영상을 이용하는 방법에 대해서는 그것을 구체화하기 위한 방식이 다양하게 제안되어 있다. 이들 방식은 좌우의 2D 영상을 시청자의 각각의 눈에 어떻게 보이게 하는가 하는 관점에서부터, 경시분리방식, 렌티큘러 렌즈를 이용하는 방식 및 2색 분리방식 등으로 나눌 수 있다.
계시 분리방식에서는 화면에 좌우의 2D 영상을 일정 시간씩 교호로 표시하는 한편, 시청자에게 셔터 안경을 통해서 화면을 관찰시킨다. 여기서, 셔터 안경은 각 렌즈가 예를 들어 액정 패널로 형성되어 있다. 각 렌즈는 화면상의 2D 영상의 전환에 동기하여 교호로 광을 그 전체에서 동일하게 투과시키거나 또는 차단한다. 즉, 각 렌즈는 시청자의 눈을 주기적으로 막는 셔터로 기능한다. 더 상세하게 설명하면, 화면상에 좌 영상이 표시되는 기간에서는 셔터 안경은 좌측의 렌즈에는 광을 투과시키고, 우측의 렌즈에는 광을 차단시킨다. 반대로, 화면상에 우 영상이 표시되어 있는 기간에서는 셔터 안경은 우측의 렌즈에는 광을 투과시키고, 좌측의 렌즈에는 광을 차단시킨다. 이에 의해 시청자의 눈에는 좌우의 영상의 잔상이 겹쳐서 하나의 3D 영상으로 보인다.
경시분리방식에서는 상기와 같이, 좌우의 영상을 일정 주기로 교호로 표시한다. 예를 들어 2D 영상의 재생에서 1초당 24매의 영상프레임이 표시될 때 3D 영상의 재생에서는 좌우의 영상을 맞춰서 1초당 48매의 영상프레임이 표시된다. 따라서, 이 방식에는 화면의 재기록을 빠르게 실행할 수 있는 표시장치가 매우 적합하다.
렌티큘러 렌즈를 이용하는 방식에서는 좌우의 각 영상프레임을 세로 방향으로 가늘고 긴 직사각형의 소 영역으로 분할하고, 하나의 화면 안에 좌우의 영상프레임의 각 소 영역을 횡 방향으로 교호로 나열하여 동시에 표시한다. 여기서, 화면의 표면은 렌티큘러 렌즈로 덮여 있다. 렌티큘러 렌즈는 가늘고 긴 볼록한 렌즈(hog-backed lense)를 복수 평행하게 나열하여 한 장의 시트 형상으로 한 것이다. 각 볼록한 렌즈는 화면의 표면을 세로 방향으로 연장하고 있다. 렌티큘러 렌즈를 통해서 상기 좌우의 영상프레임을 시청자에게 보이게 할 때 좌 영상프레임의 표시영역으로부터의 광은 시청자의 왼쪽 눈에만 결상하고, 우 영상프레임의 표시영역으로부터의 광은 오른쪽 눈에만 결상하도록 할 수 있다. 이렇게 해서 좌우의 눈에 비치는 영상 간에서의 양안 시차에 의해 시청자에게는 3D 영상이 보인다. 또, 이 방식에서는 렌티큘러 렌즈에 대신하여 동일한 기능을 갖는 액정소자 등의 다른 광학부품이 이용되어도 좋다. 그 외에, 예를 들어 좌 영상프레임의 표시영역에는 종(縱) 편광의 필터를 설치하고, 우 영상프레임의 표시영역에는 횡(橫) 편광의 필터를 설치해도 좋다. 그때 시청자에게는 편광 안경을 통해서 화면을 보게 한다. 여기서, 그 편광 안경에서는 좌측의 렌즈에 종 편광 필터가 설치되고, 또한 우측의 렌즈에 옆 편광 필터가 설치되어 있다. 따라서, 좌우의 영상이 시청자의 각각의 눈에만 보이므로 시청자에게 3D 영상을 보이게 할 수 있다.
시차 영상을 이용하는 방법에서는 3D 영상 콘텐츠가 처음부터 좌우의 영상의 조합으로 구성되어 있는 경우 외에 2D 영상과 깊이 맵의 조합으로 구성되어 있어도 좋다. 그 2D 영상은 재생 대상의 3D 영상으로부터 가상적인 2D 화면으로의 투영을 나타내, 깊이 맵은 그 2D 화면에 대한 그 3D 영상의 각부의 깊이를 화소별로 나타낸다. 3D 영상 콘텐츠가 2D 영상과 깊이 맵의 조합으로 구성되어 있을 때 3D 재생장치 또는 표시장치는 먼저 이들 조합으로부터 좌우의 영상을 구성하고, 다음에 이들 영상으로부터 상기의 방식중 어느 하나로 3D 영상을 재현한다.
도 97은 2D 영상(MVW)과 깊이 맵(DPH)의 조합으로부터 레프트 뷰(LVW)와 라이트 뷰(RVW)를 구성하는 예를 나타내는 모식도이다. 도 97을 참조하면, 2D 영상(MVW)에서는 배경(BGV) 중에 원판(DSC)이 표시되어 있다. 깊이 맵(DPH)은 그 2D 영상(MVW) 내의 각부의 깊이를 화소별로 나타낸다. 그 깊이 맵(DPH)에 의하면, 2D 영상(MVW) 중 원판(DSC)의 표시 영역 DA1의 깊이가 화면보다 앞이고, 또한 배경(BGV)의 표시 영역 DA2의 깊이가 화면보다 안쪽이다. 재생장치 내에서는 시차 영상 생성부(PDG)가 먼저 깊이 맵(DPH)이 나타내는 각부의 깊이로부터 2D 영상(MVW) 내의 각부의 양안 시차를 계산한다. 시차 영상 생성부(PDG)는 다음에, 2D 영상(MVW) 내의 각부의 표시위치를 계산된 양안 시차에 따라서 좌우로 이동시켜서 레프트 뷰(LV)W와 라이트 뷰(RV)W를 구성한다. 도 97에 나타내는 예에서는 시차 영상 생성부(PDG)는 2D 영상(MVW) 내의 원판(DSC)의 표시위치에 대하여 레프트 뷰(LVW) 내의 원판(DSL)의 표시위치를 그 양안 시차의 절반 S1만큼 오른쪽으로 이동시키고, 라이트 뷰(RVW) 내의 원판(DSR)의 표시위치를 그 양안 시차의 절반 S1만큼 왼쪽으로 이동시킨다. 이에 의해 시청자에게는 원판(DSC)이 화면보다 앞으로 보인다. 한편, 시차 영상 생성부(PDG)는 2D 영상(MVW) 내의 배경(BGV)의 표시위치에 대하여 레프트 뷰(LVW) 내의 배경(BGL)의 표시위치를 그 양안 시차의 절반 S2만큼 왼쪽으로 이동시키고, 라이트 뷰(RVW) 내의 배경(BGR)의 표시위치를 그 양안 시차의 절반 S2만큼 오른쪽으로 이동시킨다. 이에 의해 시청자에게는 배경(BGV)이 화면보다 안쪽으로 보인다.
시차 영상을 이용하는 방법에 의한 3D 영상의 재생 시스템은 영화관 및 유원지의 어트랙션 등에서 이용되는 것에 대해서는 이미 확립되어서 일반적으로 사용되고 있다. 따라서, 그 방법은 3D 영상을 재생 가능한 홈시어터 시스템의 실용화에도 유효하다. 본 발명의 실시형태에서는 시차 영상을 이용하는 방법 중 계시 분리방식 또는 편광 안경을 이용한 방식을 상정한다. 단, 본 발명은 이들 방식과는 다른 방식에 대해서도 이들이 시차 영상을 이용하고 있는 한 적용 가능하다. 그것은 상기의 실시형태의 설명으로부터 당업자에게는 명백하다.
<BD-ROM 디스크 상의 파일 시스템>
BD-ROM 디스크(101)의 파일 시스템으로 UDF가 이용될 때 도 2에 나타내는 볼륨 영역(202b)는 일반적으로 복수의 디렉터리, 파일 세트 기술자 및 종단 기술자의 각각이 기록된 영역을 포함한다. 「디렉터리」는 동일한 디렉터리를 구성하는 데이터 군이다. 「파일 세트 기술자」는 루트 디렉터리의 파일 엔트리가 기록되어 있는 섹터의 LBN을 나타낸다. 「종단 기술자」는 파일 세트 기술자의 기록영역의 종단을 나타낸다.
각 디렉터리는 공통의 데이터구조를 갖는다. 각 디렉터리는 특히 파일 엔트리, 디렉터리 파일 및 하위 파일 군을 포함한다.
「파일 엔트리」는 기술자 태그, ICB(Information Control Block) 태그 및 할당 기술자를 포함한다. 「기술자 태그」는 그 기술자 태그를 포함한 데이터의 종류가 파일 엔트리임을 나타낸다. 예를 들어 기술자 태그의 값이 “261”일 때 그 데이터의 종류는 파일 엔트리이다. 「ICB 태그」는 그 파일 엔트리 자신의 속성정보를 나타낸다. 「할당 기술자」는 동일한 디렉터리에 속하는 디렉터리 파일이 기록된 섹터의 LBN을 나타낸다.
「디렉터리 파일」은 하위 디렉터리의 파일 식별 기술자와 하위 파일의 파일 식별 기술자를 일반적으로 복수씩 포함한다. 「하위 디렉터리의 파일 식별 기술자」는 그 디렉터리의 아래에 놓인 하위 디렉터리에 액세스하기 위한 정보이다. 이 파일 식별 기술자는 그 하위 디렉터리의 식별정보, 디렉터리 명의 길이, 파일 엔트리 어드레스 및 디렉터리 명 그 자체를 포함한다. 특히 파일 엔트리 어드레스는 그 하위 디렉터리의 파일 엔트리가 기록된 섹터의 LBN을 나타낸다. 「하위 파일의 파일 식별 기술자」는 그 디렉터리의 아래에 놓인 하위 파일에 액세스하기 위한 정보이다. 이 파일 식별 기술자는 그 하위 파일의 식별정보, 파일명의 길이, 파일 엔트리 어드레스 및 파일명 그 자체를 포함한다. 특히 파일 엔트리 어드레스는 그 하위 파일의 파일 엔트리가 기록된 섹터의 LBN을 나타낸다. 「하위 파일의 파일 엔트리」는 후술하는 것과 같이, 하위 파일의 본체를 구성하는 데이터의 어드레스 정보를 포함한다.
파일 세트 기술자와 하위 디렉터리/파일의 파일 식별 기술자를 차례로 더듬어 가면, 볼륨 영역(202B)에 기록된 임의의 디렉터리/파일의 파일 엔트리에 액세스 할 수 있다. 구체적으로는 먼저 파일 세트 기술자로부터 루트 디렉터리의 파일 엔트리가 특정되고, 그 파일 엔트리 내의 할당 기술자로부터 루트 디렉터리의 디렉터리 파일이 특정된다. 다음에, 그 디렉터리 파일로부터 루트 디렉터리 아래의 디렉터리의 파일 식별 기술자가 검출되고. 그 중의 파일 엔트리 어드레스로부터 그 디렉터리의 파일 엔트리가 특정된다. 또, 그 파일 엔트리 내의 할당 기술자로부터 그 디렉터리의 디렉터리 파일이 특정된다. 이어서, 그 디렉터리 파일 중 하위 디렉터리 또는 하위 파일의 파일 식별 기술자 내의 파일 엔트리 어드레스로부터 그 하위 디렉터리 또는 하위 파일의 파일 엔트리가 특정된다.
「하위 파일」은 각각 익스텐트와 파일 엔트리를 포함한다. 「익스텐트」는 일반적으로 복수이며, 각각 디스크 상의 논리어드레스, 즉 LBN이 연속하고 있는 데이터 열이다. 익스텐트의 전체가 하위 파일의 본체를 구성한다. 「파일 엔트리」는 기술자 태그, ICB 태그 및 할당 기술자를 포함한다. 「기술자 태그」는 그 기술자 태그를 포함하는 데이터의 종류가 파일 엔트리임을 나타낸다. 「ICB 태그」는 그 파일 엔트리 자신의 속성정보를 나타낸다. 「할당 기술자」는 각 익스텐트에 대하여 하나씩 설치되고, 볼륨 영역(202B) 상에서의 각 익스텐트의 배치, 구체적으로는 각 익스텐트 사이즈와 그 선단의 LBN을 나타낸다. 따라서, 각 할당 기술자를 참조함으로써 각 익스텐트에 액세스할 수 있다. 그 외에, 각 할당 기술자의 상위 2 비트는 그 할당 기술자가 나타내는 LBN의 섹터에 익스텐트가 실제로 기록되어 있는가 여부를 나타낸다. 즉, 그 상위 2비트가“0”일 때 그 섹터에는 익스텐트가 할당이 완료되고, 또한 기록이 완료되었음을 나타내고, “1”일 때 그 섹터에 익스텐트가 할당이 완료되었으나 미기록임을 나타낸다.
UDF를 이용한 상기의 파일 시스템과 마찬가지로 볼륨 영역(202B)에 대한 파일 시스템에서는 일반적으로 볼륨 영역(202B)에 기록된 각 파일이 복수의 익스텐트로 분할되고 있을 때 상기의 할당 기술자와 같이, 각 익스텐트의 배치를 나타내는 정보가 볼륨 영역(202B)에 아울러 기록된다. 그 정보를 참조함으로써 각 익스텐트의 배치, 특히 그 논리어드레스를 알 수 있다.
<데이터블록과 익스텐트 블록 사이즈>
도 19에 나타내는 것과 같이 BD-ROM 디스크(101) 상의 다중화 스트림 데이터는 디펜던트 뷰 데이터블록 D[n]과 베이스 뷰 데이터블록 B[n]으로 분할되어서 배치되어 있다(n=0, 1, 2, 3, …). 또, 이들 데이터블록 군 D[n], B[n]은 트랙에 따라서 인터리브 배치로서 연속적으로 기록됨으로써 복수의 익스텐트 블록(1901-1903)을 구성하고 있다. 이들 익스텐트 블록(1901-1903)으로부터 2D 영상과 3D 영상의 어느 것을 심리스로 재생하기 위해서는 각 데이터블록과 각 익스텐트 블록(1901-1903) 사이즈는 재생장치(102)의 성능에 의거한 이하의 조건을 만족하면 좋다.
≪2D 재생모드의 성능에 의거한 조건≫
도 98은 2D 재생모드의 재생장치(102) 내의 재생처리계통을 나타내는 블록도이다. 도 98을 참조하면, 그 재생처리계통은 도 37에 나타내는 BD-ROM 드라이브(3701), 리드 버퍼(3721) 및 시스템 타깃 디코더(3725)를 포함한다. BD-ROM 드라이브(3701)는 BD-ROM 디스크(101)로부터 2D 익스텐트를 판독하고, 판독 속도 RUD54로 리드 버퍼(3721)에 전송한다. 시스템 타깃 디코더(3725)는 리드 버퍼(3721) 내에 축적된 각 2D 익스텐트로부터 소스 패킷을 평균 전송속도 REXT2D로 판독하고, 영상데이터(VD)와 음성데이터(AD)에 복호한다.
평균 전송속도 REXT2D는 시스템 타깃 디코더(3725)가 각 소스 패킷으로부터 TS 패킷을 추출하는 처리의 평균속도의 192/188배와 같고, 일반적으로 2D 익스텐트별로 다르다. 평균 전송속도 REXT2D의 최대치 RMAX2D는 파일 2D에 대한 시스템 레이트 RTS의 192/188배와 같다. 여기서, 계수 192/188은 소스 패킷과 TS 패킷 사이의 바이트수의 비와 같다. 평균 전송속도 REXT2D는 통상 비트/초로 나타내며, 구체적으로는 비트 단위로 나타내는 2D 익스텐트 사이즈를 익스텐트 ATC 시간으로 나눈 때의 값과 같다. 「비트 단위로 나타내는 익스텐트 사이즈」는 그 익스텐트 내의 소스 패킷 수와 소스 패킷 1개당 비트수(=192[바이트]×8[비트/바이트])의 곱과 같다.
판독 속도 RUD54는 통상 비트/초로 나타내고, 평균 전송속도 REXT2D의 최고치 RMAX2D보다 높은 값, 예를 들어 54Mbps로 설정된다: RUD54>RMAX2D. 이에 의해 BD-ROM 드라이브(3701)가 BD-ROM 디스크(101)로부터 하나의 2D 익스텐트를 판독하고 있는 동안 시스템 타깃 디코더(3725)의 복호처리에 수반하는 리드 버퍼(3721)의 언더 플로가 방지된다.
도 99(a)는 2D 재생모드에서의 동작 중 리드 버퍼(3721)에 축적되는 데이터량(DA)의 변화를 나타내는 그래프이다. 도 99(b)는 재생 대상의 익스텐트 블록(8310)과 2D 재생모드에서의 재생경로(8320) 사이의 대응관계를 나타내는 모식도이다. 도 99(b)를 참조하면, 재생경로(8320)에 따라서 익스텐트 블록(8310) 내의 각 베이스 뷰 데이터블록 B[n](n=0, 1, 2, …)가 하나의 2D 익스텐트 EXT2D[n]으로 BD-ROM 디스크(101)로부터 리드 버퍼(3721)에 판독된다. 도 99(a)를 참조하면, 각 2D 익스텐트 EXT2D[n]의 판독기간 PR2D[n]에서는 축적 데이터량(DA)는 판독 속도 RUD54와 평균 전송속도 REXT2D[n] 사이의 차 RUD54-REXT2D[n]과 같은 속도로 증가한다.
BD-ROM 드라이브(8301)에 의한 판독/전송동작은 실제로는 도 99(a)의 그래프로부터 시사되는 연속적인 것이 아니라 단속적인 것이다. 이에 의해 각 2D 익스텐트의 판독기간 PR2D[n]에 축적 데이터량(DA)이 리드 버퍼(3721)의 용량을 넘는 것, 즉 리드 버퍼(3721)의 오버플로가 방지된다. 즉, 도 99(a)의 그래프는 실제로는 계단 형상인 증감을 직선적인 증감으로 근사적으로 나타내는 것이다.
한편, 2개의 연속하는 2D 익스텐트 EXT2D[n-1], EXT2D[n] 사이에서는 점프 J2D[n]이 발생한다. 그 점프 기간 PJ2D[n]에서는 디펜던트 뷰 데이터블록 D[n]의 판독이 스킵되므로 BD-ROM 디스크(101)로부터의 데이터의 판독이 정지한다. 따라서, 점프 기간 PJ2D[n]에서는 축적 데이터량(DA)는 평균 전송속도 REXT2D[n]으로 감소한다.
도 99(b)에 나타내는 익스텐트 블록(8310)에서 2D 영상을 심리스로 재생하기 위해서는 이하의 조건 [1],[2]가 만족되면 좋다.
[1] 각 점프 기간 PJ2D[n]에서는 리드 버퍼(3721)로부터 시스템 타깃 디코더(3725)로의 데이터 공급을 지속시켜서 그 디코더(3725)에 연속적인 출력을 확보시키지 않으면 안 된다. 여기에는 다음의 조건이 만족되면 좋다: 각 2D 익스텐트 EXT2D[n] 사이즈 SEXT2D[n]은 그 판독기간 PR2D[n]에서 다음의 점프 기간 PJ2D[n+1]에 걸쳐서 리드 버퍼(3721)로부터 시스템 타깃 디코더(3725)에 전송되는 데이터량과 같다. 그 경우, 도 99(a)에 나타내는 것과 같이 축적 데이터량(DA)는 그 점프 기간 PJ2D[n+1]의 종료시, 그 판독기간 PR2D[n]의 개시시에서의 양을 밑돌지 않는다. 즉, 각 점프 기간 PJ2D[n]에서는 리드 버퍼(3721)로부터 시스템 타깃 디코더(3725)로의 데이터 공급이 지속하고, 특히 리드 버퍼(3721)는 언더플로를 일으키지 않는다. 여기서, 판독기간 PR2D[n]의 길이는 2D 익스텐트 EXT2D[n] 사이즈 SEXT2D[n]을 판독속도 RUD54로 나눈 값 SEXT2D[n]/RUD54와 같다. 따라서, 각 2D 익스텐트 EXT2D[n] 사이즈 SEXT2D[n]은 다음의 식(1)의 우변에서 나타내는 최소 익스텐트 사이즈 이상이면 좋다:
Figure pct00001
식 (1)에서는 점프 시간 TJUMP -2D[n]은 점프 기간 PJ2D[n]의 길이이며, 초 단위로 나타낸다. 한편, 판독 속도 RUD54와 평균 전송속도 REXT2D는 모두 비트/초에 나타낸다. 따라서, 식 (1)에서는 평균 전송속도 REXT2D를 수 「8」로 나누고, 2D 익스텐트 사이즈 SEXT2D[n]의 단위를 비트에서 바이트로 변환하고 있다. 즉, 2D 익스텐트 사이즈 SEXT2D[n]은 바이트 단위로 나타낸다. 함수 CEIL()는 괄호 내의 수치의 소수점 이하의 끝수를 올리는 조작을 의미한다.
[2] 리드 버퍼(3721)의 용량은 유한하므로 점프 시간 TJUMP -2D[n]의 최대치는 제한된다. 즉, 점프 기간 PJ2D[n]의 직전에 축적 데이터량(DA)가 리드 버퍼(3721)의 용량에 가득해도 점프 시간 TJUMP -2D[n]이 지나치게 길면, 점프 기간 PJ2D[n] 중에 축적 데이터량(DA)가 0에 달하여 리드 버퍼(3721)의 언더플로가 생길 위험성이 있다. 이하, BD-ROM 디스크(101)에서 리드 버퍼(3721)로의 데이터 공급이 끊어져 있는 상태로 축적 데이터량(DA)가 리드 버퍼(3721)의 용량으로부터 0에 도달할 때까지의 시간, 즉, 심리스 재생을 보증할 수 있는 점프 시간 TJUMP -2D의 최대치를 「최대 점프 시간 TJUMP _ MAX」라고 한다.
광 디스크의 규격에서는 통상 점프 거리와 최대 점프 시간 사이의 관계가 광 디스크 드라이브의 액세스 스피드 등으로 결정되어 있다. 도 100은 BD-ROM 디스크에 관한 점프 거리 SJUMP와 최대 점프 시간 TJUMP _ MAX 사이의 대응 표의 일 예이다. 도 100을 참조하면, 점프 거리 SJUMP는 섹터 단위로 나타내고, 최대 점프 시간 TJUMP _ MAX는 m초 단위로 나타내고 있다. 1섹터는 2048바이트와 같다. 점프 거리 SJUMP가 0섹터, 1-10000섹터, 10001-20000섹터, 20001-40000섹터, 40001섹터-1/10스트로크 및 1/10스트로크 이상의 각 범위에 속할 때 최대 점프 시간 TJUMP _ MAX는 각각 0m초, 250m초, 300m초, 350m초, 700m초 및 1400m초이다. 점프 거리 SJUMP가 0 섹터와 같을 때의 최대 점프 시간 TJUMP _ MAX는 제로 섹터 천이시간 TJUMP0와 같다. 단, 도 100의 예에서는 제로 섹터 천이시간 TJUMP0는 0 m초로 간주하고 있다.
이상으로부터 식 (1)에 대입되어야 할 점프 시간 TJUMP -2D[n]은 BD-ROM 디스크의 규격에 의해 점프 거리별로 규정된 최대 점프 시간 TJUMP _ MAX이다. 구체적으로는 도 100의 표에서 2D 익스텐트 EXT2D[n-1], EXT2D[n]간에서의 점프 거리 SJUMP, 즉, n번째의 2D 익스텐트 EXT2D[n]의 후단에서 (n+1)번째의 2D 익스텐트 EXT2D[n+1]의 선단까지의 섹터 수에 대응하는 최대 점프 시간 TJUMP _ MAX이 점프 시간 TJUMP -2D[n]으로 식 (1)에 대입된다.
2개의 2D 익스텐트 EXT2D[n], EXT2D[n+1]간의 점프 J2D[n]에서는 그 점프 시간 TJUMP -2D[n]이 최대 점프 시간 TJUMP _ MAX에 제한되므로 그 점프 거리 SJUMP, 즉 2개의 2D 익스텐트 EXT2D[n], EXT2D[n+1]의 간격도 제한된다. 이 점프 거리 SJUMP의 최대치와 같이, 점프 시간 TJUMP가 최대 점프 시간 TJUMP _ MAX에 동일할 때에서의 점프 거리 SJUMP를 「최대 점프 거리 SJUMP _ MAX」라고 한다. 2D 영상의 심리스 재생에는 2D 익스텐트 사이즈가 식 (1)을 만족하는 것에 더하여 2D 익스텐트의 간격이 최대 점프 거리 SJUMP_MAX 이하인 것이 필요하다.
각 익스텐트 블록 내에서는 2D 익스텐트의 간격은 디펜던트 뷰 데이터블록 사이즈와 같다. 따라서, 그 사이즈가 최대 점프 거리 SJUMP _ MAX 이하로 제한된다. 구체적으로는 2D 익스텐트간의 최대 점프 시간 TJUMP _ MAX가 도 100에 규정된 최소치 250초로 제한될 때 그 2D 익스텐트의 간격, 즉 디펜던트 뷰 데이터블록 사이즈는 대응하는 최대 점프 거리 SJUMP _ MAX=10000 섹터 이하로 제한된다.
다른 기록 층에 배치된 2개의 익스텐트 블록 간을 심리스로 접속할 때 앞의 익스텐트 블록의 후단에 위치하는 n번째의 2D 익스텐트 EXT2D[n]으로부터 뒤의 익스텐트 블록의 선단에 위치하는 (n+1)번째의 2D 익스텐트 EXT2D[n+1]까지 롱 점프가 발생한다. 그 롱 점프는 포커스 점프 등, 기록 층의 전환조작을 수반한다. 따라서, 그 롱 점프에 필요한 시간은 도 100의 표에 규정된 최대 점프 시간 TJUMP _ MAX에 더하여 기록 층의 전환 조작에 필요로 하는 시간, 즉 「층 전환 시간」을 더 포함한다. 「층 전환 시간」은 예를 들어 350m초이다. 그 결과, n번째의 2D 익스텐트 EXT2D[n] 사이즈가 만족해야할 할 식 (1)에서는 점프 시간 TJUMP -2D[n]은 2개의 파라미터 TJ[n], TL[n]의 합으로 정해진다: TJUMP -2D[n]=TJ[n]+TL[n]. 제 1 파라미터 TJ[n]은 BD-ROM 디스크의 규격에 의해 롱 점프의 점프 거리 SJUMP에 대하여 규정된 최대 점프 시간 TJUMP _ MAX를 나타낸다. 그 최대 점프 시간 TJUMP _ MAX는 도 100의 표에서 n번째의 2D 익스텐트 EXT2D[n]의 후단에서 (n+1)번째의 2D 익스텐트 EXT2D[n+1]의 선단까지의 섹터 수에 대응된 값과 같다. 제 2 파라미터 TL[n]은 층 전환 시간, 예를 들어 350m초를 나타낸다. 따라서, 2개의 2D 익스텐트 EXT2D[n], EXT2D[n+1]의 간격은 도 100의 표에서 롱 점프의 최대 점프 시간 TJUMP _ MAX로부터 층 전환 시간을 뺀 값에 대응하는 최대 점프 거리 SJUMP _ MAX 이하로 제한된다.
≪3D 재생모드의 성능에 의거한 조건≫
도 101은 3D 재생모드의 재생장치(102) 내의 재생처리계통을 나타내는 블록도이다. 도 101을 참조하면, 그 재생처리계통은 도 41에 나타내는 BD-ROM 드라이브(4101), 스위치(4120), 한 쌍의 리드 버퍼(4121, 4122) 및 시스템 타깃 디코더(4125)를 포함한다. BD-ROM 드라이브(4101)는 BD-ROM 디스크(101)로부터 익스텐트 SS를 판독하고, 판독 속도 RUD72로 스위치(4120)에 전송한다. 스위치(4120)는 각 익스텐트 SS를 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록으로 분리한다. 베이스 뷰 데이터블록은 제 1 리드 버퍼(4121)에 저장되고, 디펜던트 뷰 데이터블록은 제 2 리드 버퍼(4122)에 저장된다. 시스템 타깃 디코더(4125)는 제 1 리드 버퍼(4121) 내의 각 베이스 뷰 데이터블록으로부터는 소스 패킷을 베이스 뷰 전송속도 REXT1로 판독하고, 제 2 리드 버퍼(4122) 내의 각 디펜던트 뷰 데이터블록으로부터는 소스 패킷을 디펜던트 뷰 전송속도 REXT2로 판독한다. 또, 시스템 타깃 디코더(4125)는 판독된 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록의 쌍을 영상데이터(VD)와 음성데이터(AD)에 복호한다.
베이스 뷰 전송속도 REXT1과 디펜던트 뷰 전송속도 REXT2는 각각 시스템 타깃 디코더(4125)가 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록의 각 소스 패킷으로부터 TS 패킷을 추출하는 처리의 평균속도의 192/188배와 같다. 베이스 뷰 전송속도 REXT1의 최고치 RMAX1는 파일 2D에 대한 시스템 레이트 RTS1의 192/188배와 같다. 디펜던트 뷰 전송속도 REXT2의 최고치 RMAX2는 파일 DEP에 대한 시스템 레이트 RTS2의 192/188배와 같다. 각 전송속도 REXT1, REXT2는 통상 비트/초에 나타내며, 구체적으로는 비트 단위로 나타내는 각 데이터블록 사이즈를 익스텐트 ATC 시간으로 나눈 때의 값과 같다. 익스텐트 ATC 시간은 그 데이터블록 내의 소스 패킷을 모두 리드 버퍼(4121, 4122)에서 시스템 타깃 디코더(4125)에 전송하는데 필요한 시간과 같다.
판독 속도 RUD72는 통상 비트/초로 나타내고, 전송속도 REXT1, REXT2의 어느 최고치 RMAX1, RMAX2보다 높은 값, 예를 들어 72Mbps로 설정된다: RUD72>RMAX1, RUD72>RMAX2. 이에 의해 BD-ROM 드라이브(4101)에 의해 BD-ROM 디스크(101)로부터 하나의 익스텐트 SS를 판독하고 있는 동안, 시스템 타깃 디코더(4125)의 복호 처리에 수반하는 각 리드 버퍼(4121, 4122)의 언더플로가 방지된다.
[익스텐트 블록 내에서의 심리스 접속]
도 102(a), (b)는 하나의 익스텐트 블록에서 3D 영상이 심리스로 재생될 때 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화를 나타내는 그래프이다. 도 102(c)는 그 익스텐트 블록(8610)과 3D 재생모드에서의 재생경로(8620) 사이의 대응관계를 나타내는 모식도이다. 도 102(c)를 참조하면, 재생경로(8620)에 따라서 익스텐트 블록(8610)의 전체가 하나의 익스텐트 SS로 일괄해서 판독된다. 그 후, 스위치(4120)에 의해 그 익스텐트 SS로부터 디펜던트 뷰 데이터블록 D[k]와 베이스 뷰 데이터블록 B[k]가 분리된다(k=…, n, n+1, n+2, …).
BD-ROM 드라이브(4101)에 의한 판독/전송동작은 실제로는 도 102(a), (b)의 각 그래프로부터 시사되는 연속적인 것이 아니라 단속적인 것이다. 이에 의해 각 데이터블록 D[k], B[k]의 판독기간 PRD[k], PRB[k]에서는 각 리드 버퍼(4121, 4122)의 오버플로가 방지된다. 즉, 도 102(a), (b)의 각 그래프는 실제로는 계단 형상인 증감을 직선적인 증감으로 근사적으로 나타내는 것이다.
도 102(a), (b)를 참조하면, n번째의 디펜던트 뷰 데이터블록 D[n]의 판독기간 PRD[n]에서는 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2는 판독 속도 RUD72와 디펜던트 뷰 전송속도 REXT2[n] 사이의 차 RUD72-REXT2[n]과 같은 속도로 증가하고, 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1는 베이스 뷰 전송속도 REXT1[n-1]로 감소한다. 도 102(c)를 참조하면, n번째의 디펜던트 뷰 데이터블록 D[n]에서 n번째의 베이스 뷰 데이터블록 B[n]까지는 제로 섹터 천이 J0[2n]이 발생한다. 도 102(a), (b)에 나타내는 것과 같이 제로 섹터 천이기간 PJ0[n]에서는 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1는 베이스 뷰 전송속도 REXT1[n-1]로 계속해서 감소하고, 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2는 디펜던트 뷰 전송속도 REXT2[n]으로 감소한다.
도 102(a), (b)를 더 참조하면, n번째의 베이스 뷰 데이터블록 B[n]의 판독기간 PRB[n]에서는 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1는 판독 속도 RUD72와 베이스 뷰 전송속도 REXT1[n] 사이의 차 RUD72-REXT1[n]과 같은 속도로 증가한다. 한편, 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2는 디펜던트 뷰 전송속도 REXT2[n]으로 계속해서 감소한다. 도 102(c)를 더 참조하면, 그 베이스 뷰 데이터블록 B[n]으로부터 다음의 디펜던트 뷰 데이터블록 D[n+1]까지는 제로 섹터 천이 J0[2n+1]이 발생한다. 도 102(a), (b)에 나타내는 것과 같이 제로 섹터 천이기간 PJ0[2n+1]에서는 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1는 베이스 뷰 전송속도 REXT1[n]으로 감소하고, 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2는 디펜던트 뷰 전송속도 REXT2[n]으로 계속해서 감소한다.
하나의 익스텐트 블록(8610)에서 3D 영상을 심리스로 재생하기 위해서는 이하의 조건 [3],[4]가 만족되면 좋다.
[3] n번째의 베이스 뷰 데이터블록 B[n] 사이즈 SEXT1[n]은 적어도 그 판독기간 PRB[n]으로부터 다음의 베이스 뷰 데이터블록 B[n+1]의 판독기간 PRB[n+1]의 직전까지, 제 1 리드 버퍼(4121)에서 시스템 타깃 디코더(4125)에 전송되는 데이터량과 같다. 그 경우, 도 102(a)에 나타내는 것과 같이 다음의 베이스 뷰 데이터블록 B[n+1]의 판독기간 PRB[n+1]의 직전에서는 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1이 n번째의 베이스 뷰 데이터블록 B[n]의 판독기간 PRB[n]의 직전에서의 양을 밑돌지 않는다. 여기서, n번째의 베이스 뷰 데이터블록 B[n]의 판독기간 PRB[n]의 길이는 그 베이스 뷰 데이터블록 B[n] 사이즈 SEXT1[n]을 판독속도 RUD72로 나눈 값 SEXT1[n]/RUD72와 같다. 한편, (n+1)번째의 디펜던트 뷰 데이터블록 D[n+1]의 판독기간 PRD[n+1]의 길이는 그 디펜던트 뷰 데이터블록 D[n+1] 사이즈 SEXT2[n+1]를 판독속도 RUD72로 나눈 값 SEXT2[n+1]/RUD72와 같다. 따라서, 그 베이스 뷰 데이터블록 B[n] 사이즈 SEXT1[n]은 다음의 식(2)의 우변에서 나타내는 최소 익스텐트 사이즈 이상이면 좋다:
Figure pct00002
[4] n번째의 디펜던트 뷰 데이터블록 D[n] 사이즈 SEXT2[n]은 적어도 그 판독기간 PRD[n]에서 다음의 디펜던트 뷰 데이터블록 D[n+1]의 판독기간 PRD[n+1]의 직전까지 제 2 리드 버퍼(4122)로부터 시스템 타깃 디코더(4125)에 전송되는 데이터량과 같다. 그 경우, 도 102(b)에 나타내는 것과 같이 다음의 디펜던트 뷰 데이터블록 D[n+1]의 판독기간 PRD[n+1]의 직전에서는 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2가 n번째의 디펜던트 뷰 데이터블록 D[n]의 판독기간 PRD[n]의 직전에서의 양을 밑돌지 않는다. 여기서, n번째의 디펜던트 뷰 데이터블록 D[n]의 판독기간 PRD[n]의 길이는 그 디펜던트 뷰 데이터블록 D[n] 사이즈 SEXT2[n]을 판독속도 RUD72로 나눈 값 SEXT2[n]/RUD72와 같다. 따라서, 그 디펜던트 뷰 데이터블록 D[n] 사이즈 SEXT2[n]은 다음의 식(3)의 우변에서 나타내는 최소 익스텐트 사이즈 이상이면 좋다:
Figure pct00003
[익스텐트 블록 간의 심리스 접속]
도 103(b)는 M번째 (정수 M는 2 이상이다)의 익스텐트 블록(8701)과 (M+1)번째의 익스텐트 블록(8702) 및 이들 익스텐트 블록(8701, 8702)과 3D 재생모드에서의 재생경로(8720) 사이의 대응관계를 나타내는 모식도이다. 도 103(b)을 참조하면, 2개의 익스텐트 블록(8701, 8702) 사이는 층 경계(LB) 또는 다른 데이터의 기록영역에 의해 분리되어 있다. 재생경로(8720)에 따라, 먼저 M번째의 익스텐트 블록(8701)의 전체가 M번째의 익스텐트 SS EXTSS[M]로 일괄해서 판독된다. 그 직후에 점프 J[M]가 발생한다. 이어서, (M+1)번째의 익스텐트 블록(8702)이 (M+1)번째의 익스텐트 SS EXTSS[M+1]로 일괄해서 판독된다.
도 103(a)은 2개의 익스텐트 블록 8701, 8702로부터 연속해서 3D 영상이 심리스로 재생될 때 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화 및 이들의 합 DA1+DA2의 변화를 나타내는 그래프 군이다. 도 103(a)에서는 일점 쇄선의 그래프는 제 1 리드 버퍼(4121)에 축적되는 데이터량(DA)1의 변화를 나타내고, 점선의 그래프는 제 2 리드 버퍼(4122)에 축적되는 데이터량(DA)2의 변화를 나타내며, 실선의 그래프는 양 데이터량의 합 DA1+DA2의 변화를 나타낸다. 여기서, 실선의 그래프는 데이터블록이 1개 판독될 때마다 생기는 작은 변화를 평균화하여 직선적으로 근사한 것이다. 또, 제로 섹터 천이시간 TJUMP0는“0초”로 간주하고 있다.
도 103(a)을 참조하면, M번째의 익스텐트 블록(8701)의 전체가 BD-ROM 디스크(101)에서 각 리드 버퍼(4121, 4122)에 판독되는 기간 PRBLK[M]에서는 어느 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)도 증대한다. 구체적으로는 M번째의 익스텐트 블록(8701) 전체의 판독기간 PRBLK[M] 중 축적 데이터량의 합 DA1+DA2는 판독속도 RUD72와 평균 전송속도 REXTSS[M] 사이의 차 RUD72-REXTSS[M]와 같은 속도로 증가한다. 그 평균 전송속도 REXTSS[M]는 M번째의 익스텐트 블록(8701) 전체 사이즈, 즉 M번째의 익스텐트 SS EXTSS[M] 사이즈 SEXTSS[M]를 그 익스텐트 ATC 시간 TEXTSS로 나눈 값으로 평가된다.
M번째의 익스텐트 블록(8701)의 후단의 베이스 뷰 데이터블록이 제 1 리드 버퍼(4121)에 판독된 시점에서 축적 데이터량의 합 DA1+DA2는 최대치에 달한다. 그 직후의 점프 J[M]의 기간 PJ[M]에서는 축적 데이터량의 합 DA1+DA2는 평균 전송속도 REXTSS[M]로 감소한다. 따라서, 축적 데이터량의 합 DA1+DA2의 최대치를 충분히 크게 조절함으로써 점프 J[M] 중에서의 양 리드 버퍼(4121, 4122)의 언더플로를 방지할 수 있다. 그 결과, 2개의 익스텐트 블록 8701, 8702를 심리스로 접속할 수 있다.
축적 데이터량의 합 DA1+DA2의 최대치는 M번째의 익스텐트 블록(8701) 사이즈로 정해진다. 따라서, M번째의 익스텐트 블록(8701)을 (M+1)번째의 익스텐트 블록(8702)에 심리스로 접속하기 위해서는 M번째의 익스텐트 블록(8701) 사이즈, 즉 M번째의 익스텐트 SS EXTSS[M] 사이즈 SEXTSS[M]가 다음의 조건 [5]를 만족하면 좋다.
[5] M번째의 익스텐트 블록(8701)의 선단에 위치하는 디펜던트 뷰 데이터블록 D의 판독기간 PRD[m]에서는 프리로드가 이루어진다(정수 m는 1 이상이다). 그 프리로드 기간 PRD[m]에서는 아직 그 디펜던트 뷰 데이터블록 D에 대응하는 베이스 뷰 데이터블록 B가 제 1 리드 버퍼(4121)에는 저장되어 있지 않으므로, 디펜던트 뷰 데이터블록 D를 제 2 리드 버퍼(4122)에서 시스템 타깃 디코더(4125)에 전송할 수 없다. 따라서, 그 프리로드 기간 PRD[m]에서는 그 직전의 점프 J[M-1]의 기간에 이어서 (M-1)번째의 익스텐트 블록의 데이터가 제 2 리드 버퍼(4122)에서 시스템 타깃 디코더(4125)에 전송되도록 해서 시스템 타깃 디코더(4125)로의 데이터 공급을 유지한다. 마찬가지로 (M+1)번째의 익스텐트 블록(8702)의 선단에 위치하는 디펜던트 뷰 데이터블록 D의 판독기간 PRD[n]에서도 프리로드가 이루어진다(정수 N은 m+1 이상이다). 따라서, 그 프리로드 기간 PRD[n]에서는 그 직전의 점프 J[M]의 기간에 이어서 M번째의 익스텐트 블록(8701)의 데이터가 제 2 리드 버퍼(4122)로부터 시스템 타깃 디코더(4125)에 전송 되도록 해서 시스템 타깃 디코더(4125)로의 데이터 공급을 유지한다. 그러므로, 점프 J[M] 중에서의 양 리드 버퍼(4121, 4122)의 언더플로를 방지하기 위해서는 M번째의 익스텐트 SS EXTSS[M]의 익스텐트 ATC 시간 TEXTSS가 적어도 M번째의 익스텐트 블록(8701)에서의 프리로드 기간 PRD[m]의 종료시점 T0에서 (M+1)번째의 익스텐트 블록(8702)에서의 프리로드 기간 PRD[n]의 종료시점 T1까지의 기간의 길이와 같으면 좋다. 즉, M번째의 익스텐트 SS EXTSS[M] 사이즈 SEXTSS[M]는 적어도 그 기간 T0-T1에 각 리드 버퍼(4121, 4122)로부터 시스템 타깃 디코더(4125)에 전송되는 데이터량의 합과 같으면 좋다.
도 103(a)에서 명백한 것과 같이, 기간 T0-T1의 길이는 M번째의 익스텐트 블록(8701)의 판독기간 PRBLK[M]의 길이, 점프 J[M]의 점프 시간 TJUMP[M] 및 익스텐트 블록(8701, 8702)간에서의 프리로드 기간 PRD[n], PRD[m]의 길이의 차 TDIFF[M]를 합한 값과 같다. 또, M번째의 익스텐트 블록(8701)의 판독기간 PRBLK[M]의 길이는 M번째의 익스텐트 SS EXTSS[M] 사이즈 SEXTSS[M]를 판독속도 RUD72로 나눈 값SEXTSS[M]/RUD72와 같다. 따라서, M번째의 익스텐트 SS EXTSS[M] 사이즈 SEXTSS[M]는 다음의 식 (4)의 우변에서 나타내는 최소 익스텐트 사이즈 이상이면 좋다:
Figure pct00004
여기서, 각 프리로드 기간 PRD[m], PRD[n]의 길이는 각 익스텐트 블록 8701, 8702의 선단에 위치하는 디펜던트 뷰 데이터블록 D 사이즈 SEXT2[m], SEXT2[n]을 판독속도 RUD72로 나눈 값 SEXT2[m]/RUD72, SEXT2[n]/RUD72와 같다. 따라서, 프리로드 기간 PRD[m], PRD[n]의 길이의 차 TDIFF는 이들 값의 차와 같다: TDIFF=SEXT2[n]/RUD72-SEXT2[m]/RUD72. 또, 식 (4)의 우변은 식 (1)-(3)의 우변과 마찬가지로 바이트 단위의 정수치로 나타내도 좋다.
또, 다중화 스트림 데이터의 복호처리를 다음과 같이 개선하는 경우에는 식 (4)의 우변에서 차 TDIFF를 0으로 간주해도 좋다. 먼저 다중화 스트림 데이터의 전체에서의 차 TDIFF의 최대치, 즉 차 TDIFF의 워스트 값을 미리 구해 둔다. 다음에, 그 다중화 스트림 데이터를 재생할 때 그 복호 처리의 개시시점을 그 판독의 개시시점보다 차 TDIFF의 워스트치와 동일한 시간만큼 늦춘다.
≪리드 버퍼의 용량을 삭감하기 위한 조건≫
도 104(a), (b)는 도 103(b)에 나타내는 2개의 익스텐트 블록(8701, 8702)으로부터 연속해서 3D 영상이 심리스로 재생될 때 각 리드 버퍼(4121, 4122)에 축적되는 데이터량(DA1, DA2)의 변화를 나타내는 그래프이다. 도 104(a)를 참조하면, M번째의 익스텐트 블록(8701)의 후단의 베이스 뷰 데이터블록 B[n-1]이 제 1 리드 버퍼(4121)에 판독된 시점에서 제 1 리드 버퍼(4121)의 축적 데이터량(DA)1는 극대치 DM1에 달한다. 또, 그 직후의 점프 J[M]의 기간 PJ[M]에서 (M+1)번째의 익스텐트 블록(8702)의 프리로드 기간 PRD[n]에 걸쳐서 축적 데이터량(DA)1는 베이스 뷰 전송속도 REXT1[n-1]로 감소한다. 따라서, 그 프리로드 기간 PRD[n]의 종료까지 축적 데이터량(DA)1이 0에 달하는 것을 방지하기 위해서는 축적 데이터량(DA)1의 극대치 DM1이 점프 기간 PJ[M]와 프리로드 기간 PRD[n]에서 제 1 리드 버퍼(4121)로부터 시스템 타깃 디코더(4125)에 전송되는 데이터량 이상이면 좋다. 즉, 축적 데이터량(DA)1의 극대치 DM1는 점프 기간 PJ[M]의 길이 TJUMP[M]와 프리로드 기간 PRD[n]의 길이 SEXT2[n]/RUD72의 합에 베이스 뷰 전송속도 REXT1[n-1]를 곱한 값 이상이면 좋다: DM1≥(TJUMP[M]+SEXT2[n]/RUD72)×REXT1[n-1]. 여기서, 점프 기간 PJ[M]의 길이 TJUMP[M]가 점프 J[M]의 최대 점프 시간 TJUMP _ MAX와 같고, 또한 베이스 뷰 전송속도 REXT1[n-1]이 최대치 RMAX1과 같을 때 축적 데이터량(DA)1의 극대치 DM1는 가장 크다. 따라서, 제 1 리드 버퍼(4121)에는 그때의 극대치 DM1 이상의 용량 RB1이 요구된다: RB1≥(TJUMP _ MAX+SEXT2[n]/RUD72)×REXT1.
한편, 도 104(b)를 참조하면, M번째의 익스텐트 블록(8701)의 후단의 베이스 뷰 데이터블록 B[n-1]의 판독이 개시된 시점에서 제 2 리드 버퍼(4122)의 축적 데이터량(DA)2는 극대치 DM2에 달한다. 또, 그 베이스 뷰 데이터블록 B[n-1]의 판독 기간에서 (M+1)번째의 익스텐트 블록(8702)의 프리로드 기간 PRD[n]에 걸쳐서 축적 데이터량(DA)2는 디펜던트 뷰 전송속도 REXT2[n-1]로 감소한다. 따라서, 그 프리로드 기간 PRD[n]의 종료까지 시스템 타깃 디코더(4125)로의 데이터 공급을 유지하기 위해서는 축적 데이터량(DA)2의 극대치 DM2가 베이스 뷰 데이터블록 B[n-1]의 판독기간, 점프 기간 PJ[M] 및 프리로드 기간 PRD[n]에서 제 2 리드 버퍼(4122)로부터 시스템 타깃 디코더(4125)에 전송되는 데이터량 이상이면 좋다. 즉, 축적 데이터량(DA)2의 극대치 DM2는 베이스 뷰 데이터블록 B[n-1]의 판독기간의 길이 SEXT1[n-1]/RUD72, 점프 기간 PJ[M]의 길이 TJUMP[M] 및 프리로드 기간 PRD[n]의 길이 SEXT2[n]/RUD72의 합에 디펜던트 뷰 전송속도 REXT2[n-1]를 곱한 값 이상이면 좋다: DM2≥(SEXT1[n-1]/RUD72+TJUMP[M]+SEXT2[n]/RUD72)×REXT2[n-1]. 여기서, 점프 기간 PJ[M]의 길이 TJUMP[M]가 점프 J[M]의 최대 점프 시간 TJUMP _ MAX와 같고, 또한 디펜던트 뷰 전송속도 REXT2[n-1]이 최대치 RMAX2와 같을 때 축적 데이터량(DA)2의 극대치 DM2는 가장 크다. 따라서, 제 2 리드 버퍼(4122)에는 그때의 극대치 DM2 이상의 용량 RB2가 요구된다: RB2≥(SEXT1[n-1]/RUD72+TJUMP _ MAX+SEXT2[n]/RUD72)×RMAX2. 또, 어느 디펜던트 뷰 데이터블록도 인터럽트 재생에 의해 최초로 판독되는 데이터블록이 될 수 있으므로 제 2 리드 버퍼(4122)의 용량 RB2는 어느 디펜던트 뷰 데이터블록 사이즈도 밑돌아서는 안 된다: RB2≥SEXT2[k](정수 k는 임의).
상기와 같이, 각 리드 버퍼(4121, 4122)의 용량 RB1, RB2의 하한치는 데이터블록 사이즈 SEXT1[k], SEXT2[k]로 정해진다. 따라서, 각 용량 RB1, RB2의 절약을 목적으로 각 데이터블록 사이즈 SEXT1[k], SEXT2[k]의 상한치, 즉 최대 익스텐트 사이즈를 이하의 조건 [6]으로 제한한다.
[6] 도 19에 나타내는 것과 같이 각 익스텐트 블록(1901-1903) 내의 베이스 뷰 데이터블록 B[k]는 파일 2D와 파일 SS에 공유되어 있다. 따라서, 베이스 뷰 데이터블록 B[k] 사이즈 SEXT1[k]는 식 (1)을 만족해야 한다. 한편, 제 1 리드 버퍼(4121)의 용량 RB1을 가능한 한 축소하려면 베이스 뷰 데이터블록 B[k] 사이즈 SEXT1[k]는 2D 익스텐트의 최소 익스텐트 사이즈의 하한치 이하이면 좋다. 즉, 그 사이즈 SEXT1[k]는 다음의 식 (5)의 우변에서 나타내는 최대 익스텐트 사이즈 이하이면 좋다:
Figure pct00005
여기서, 점프 시간 TJUMP -2_ MIN은 각 익스텐트 블록(1901-1903) 내에서 필요한 점프 시간의 최소치, 즉, 2D 익스텐트간의 최대 점프 시간 TJUMP _ MAX의 최소치이다. 구체적으로는 점프 시간 TJUMP -2D _ MIN은 도 100의 표에서 규정된 최소치 250초로 설정된다. 한편, 2D 익스텐트의 간격은 디펜던트 뷰 데이터블록 D[k] 사이즈 SEXT2[k]와 같다. 따라서, 점프 시간 TJUMP -2D_ MIN가 250초로 설정될 때 디펜던트 뷰 데이터블록 D[k] 사이즈 SEXT2[k]는 도 100의 표에서 최대 점프 시간 TJUMP _ MAX=250초에 대응된 최대 점프 거리 SJUMP _ MAX=10000 섹터 이하로 제한된다. 즉, 디펜던트 뷰 데이터블록의 최대 익스텐트 사이즈는 10000 섹터이다.
≪종합≫
복수의 익스텐트 블록에서 2D 영상과 3D 영상의 어느 것을 심리스로 재생하기 위해서는 상기의 조건 [1]-[6]이 모두 만족되면 좋다. 특히 각 데이터블록과 각 익스텐트 블록 사이즈는 다음의 조건 1-5을 만족하면 좋다.
조건 1: 2D 익스텐트 사이즈 SEXT2D는 식 (1)을 만족한다.
조건 2: 베이스 뷰 데이터블록 사이즈 SEXT1는 식 (2)을 만족한다.
조건 3: 디펜던트 뷰 데이터블록 사이즈 SEXT2는 식 (3)을 만족한다.
조건 4: 익스텐트 블록 사이즈 SEXTSS는 식 (4)을 만족한다.
조건 5: 베이스 뷰 데이터블록 사이즈 SEXT1는 식 (5)을 만족한다.
≪조건 1의 변형 예≫
도 21에 나타내는 2D 재생모드의 재생경로(2101)로부터 명백한 것과 같이, 2D 재생모드에서는 점프가 빈번하게 발생한다. 따라서, 심리스 재생을 더 확실하게 실시하기 위해서는 식 (1)의 우변에서 나타내는 2D 익스텐트의 최소 익스텐트 사이즈에 마진을 더 추가하는 것이 바람직하다. 그러나 그 마진의 추가에 의해 식 (5)가 변경되는 것은 회피되어야 한다. 이와 같이 마진을 추가하는 방법에는 다음의 3종류가 있다.
제 1 방법은 식 (1)의 우변의 분모에 포함되는 평균 전송속도 REXT2D를 그 최대치 RMAX로 치환함으로써 2D 익스텐트의 최소 익스텐트 사이즈에 마진을 추가한다. 즉, 조건 1은 2D 익스텐트 사이즈 SEXT2D가 식 (1)에 대신하여 다음의 식 (6)을 만족하는 것으로 변경된다:
Figure pct00006
제 2 방법은 2D 익스텐트의 익스텐트 ATC 시간을 ΔT초 연장함으로써 2D 익스텐트의 최소 익스텐트 사이즈에 마진을 추가한다. 즉, 조건 1은 2D 익스텐트 사이즈 SEXT2D가 식 (1)에 대신하여 다음의 식 (7A) 또는 (7B)을 만족하는 것으로 변경된다:
Figure pct00007
연장 시간 ΔT는 GOP의 길이, 또는 소정 시간당 재생 가능한 익스텐트 수의 상한으로부터 결정되어도 좋다. 예를 들어 GOP의 길이가 최대 1초이면 ΔT=1.0초로 설정된다. 한편, 소정 시간[초]당 재생 가능한 익스텐트 수의 상한이 n개이면 ΔT=소정 시간 /n[초]로 설정된다.
제 3 방법은 식 (1)의 우변에 포함되는 평균 전송속도 REXT2D를 모두 그 최대치 RMAX로 치환함으로써 2D 익스텐트의 최소 익스텐트 사이즈에 마진을 추가한다. 즉, 조건 1은 2D 익스텐트 사이즈 SEXT2D가 식 (1)에 대신하여 다음의 식 (8)을 만족하는 것으로 변경된다:
Figure pct00008
이 방법에서는 최소 익스텐트 사이즈에 더 큰 마진을 추가할 수 있다. 그러나 그 반면, 2D 익스텐트의 비트 레이트가 낮은 경우에도 그 사이즈를 충분히 크게 확보해야 한다. 따라서, 마진의 크기와 BD-ROM 디스크에 대한 데이터의 기록효율의 비교형량이 필요하다.
<층 경계의 전후에서의 재생경로의 분리>
도 21에서는 2D 재생모드에서의 재생경로(2101)와 3D 재생모드에서의 재생경로(2102)는 모두 층 경계(LB)를 넘기 위한 롱 점프 JLY의 직전에 동일한 베이스 뷰 데이터블록 B[3]을 통과한다. 즉, 그 베이스 뷰 데이터블록 B[3]은 2D 재생모드의 재생장치(102)로부터는 두 번째의 2D 익스텐트 EXT2D[1]로 판독되고, 3D 재생모드의 재생장치(102)로부터는 익스텐트 SS EXTSS[1] 내의 최후의 데이터블록으로 판독된다. 롱 점프 JLY 중에 시스템 타깃 디코더에 의해 처리되어야 할 데이터량은 2D 재생모드에서는 조건 1에 의해 그 베이스 뷰 데이터블록 B[3] 단체 사이즈로 확보된다. 한편, 3D 재생모드에서는 조건 4에 의해, 두 번째의 익스텐트 블록(1902) 전체 사이즈로 확보된다. 따라서, 조건 1에 의해 베이스 뷰 데이터블록 B[3]에 요구되는 최소 익스텐트 사이즈는 조건 2에 의한 최소 익스텐트 사이즈보다 일반적으로 크다. 그러므로, 제 1 리드 버퍼(4121)의 용량은 3D 재생모드에서의 심리스 재생에 필요 최소한의 값보다 크지 않으면 안 된다. 또, 그 베이스 뷰 데이터블록 B[3]과 그 직전에 위치하는 디펜던트 뷰 데이터블록 D[3]은 익스텐트 ATC 시간이 동일하다. 따라서, 그 디펜던트 뷰 데이터블록 D[3] 사이즈는 조건 2에 의해 그 데이터블록 D[3]에 요구되는 최소 익스텐트 사이즈보다 일반적으로 크다. 그러므로, 제 2 리드 버퍼(4122)의 용량은 3D 재생모드에서의 심리스 재생에 필요 최소한의 값보다 일반적으로 크다. 이와 같이 도 21에 나타내는 배치에서는 2개의 익스텐트 블록(1902, 1903) 간의 심리스 접속은 가능하나, 리드 버퍼(4121, 4122)의 용량이 충분히 크게 확보되지 않으면 안 된다.
롱 점프 JLY 중에서의 영상의 심리스 재생을 가능하게 한 채로 리드 버퍼(4121, 4122)의 용량을 더 삭감하기 위해서는 층 경계(LB) 등, 그 롱 점프 JLY의 필요한 위치의 전후에서 데이터블록 군의 배치를 인터리브 배치에서 변경하여 2D 재생모드와 3D 재생모드 사이에서 재생경로를 분리하면 좋다. 이와 같은 변경의 패턴에는 예를 들어 이하에 설명하는 2종류의 배치 1, 2가 있다. 배치 1, 2 모두 재생경로는 롱 점프 JLY의 직전에 동작 모드별로 다른 베이스 뷰 데이터블록을 통과한다. 그 결과, 후술하는 것과 같이 재생장치(102)에 리드 버퍼(4121, 4122)의 용량을 필요 최소한으로 유지시킨 채로 롱 점프 JLY 중에서의 영상의 심리스 재생을 용이하게 실현시킬 수 있다.
≪배치 1≫
도 105는 BD-ROM 디스크(101)의 층 경계(LB)의 전후에 기록된 데이터블록 군의 물리적인 배치의 제 1 예를 나타내는 모식도이다. 이하, 이 배치를 「배치 1」이라고 한다. 도 105를 참조하면, 층 경계(LB)의 앞에는 제 1 익스텐트 블록(8901)이 배치되고, 층 경계(LB)의 뒤에는 제 2 익스텐트 블록(8902)이 배치되어 있다. 각 익스텐트 블록(8901, 8902) 내에서는 디펜던트 뷰 데이터블록 D[n]과 베이스 뷰 데이터블록 B[n]이 인터리브 배치를 구성하고 있다(n=…, 0, 1, 2, 3, …). 특히 n번째의 데이터블록 쌍 D[n], B[n]에서는 익스텐트 ATC 시간이 동일하다. 또, 배치 1에서는 제 1 익스텐트 블록(8901)의 후단 B[1]과 층 경계(LB) 사이에 하나의 베이스 뷰 데이터블록 B[2]2D가 배치되어 있다. 그 베이스 뷰 데이터블록 B[2]2D는 제 2 익스텐트 블록(8902) 내의 선단의 베이스 뷰 데이터블록 B[2]SS와 비트 단위(bit-for-bit)로 일치한다. 이하, 전자 B[2]2D를 「2D 재생전용블록」이라고 하고, 후자 B[2]SS를 「SS 재생전용블록」이라고 한다.
도 105에 나타내는 베이스 뷰 데이터블록 중 SS 재생전용블록 B[2]SS 이외는 파일 2D(8910)의 익스텐트, 즉 2D 익스텐트 EXT2D[·]로 액세스 가능하다. 예를 들어 제 1 익스텐트 블록(8901) 내의 최후로부터 두 번째의 베이스 뷰 데이터블록 B[0], 최후의 베이스 뷰 데이터블록 B[1]과 2D 재생전용블록 B[2]2D의 쌍 B[1]+B[2]2D 및 제 2 익스텐트 블록(8902) 내의 두 번째의 베이스 뷰 데이터블록 B[3]은 각각 단일의 2D 익스텐트 EXT2D[0], EXT2D[1], EXT2D[2]로 액세스 가능하다. 한편, 도 105에 나타내는 디펜던트 뷰 데이터블록 D[n](n=…, 0, 1, 2, 3, …)는 각각 파일 DEP(8912)의 단일의 익스텐트, 즉 디펜던트 뷰 익스텐트 EXT2[n]으로 액세스 가능하다.
도 105에 나타내는 데이터블록 군에서는 AV스트림 파일의 크로스 링크가 다음과 같이 실현된다. 각 익스텐트 블록(8901, 8902)의 전체는 파일 SS(8920)의 단일의 익스텐트 EXTSS[0], EXTSS[1]로 액세스 가능하다. 따라서, 각 익스텐트 블록(8901, 8902) 내의 베이스 뷰 데이터블록 B[0], B[1], B[3]은 파일 2D(8910)와 파일 SS(8920)에 공유된다. 이에 대해, 2D 재생전용블록 B[2]2D는 층 경계(LB)의 직전에 위치하는 2D 익스텐트 EXT2D[1]의 일부로만 액세스 가능하다. 한편, SS 재생전용블록 B[2]SS는 층 경계(LB)의 직후의 익스텐트 SS EXTSS[1]의 일부로만 액세스 가능하다. 그러므로, 2D 재생전용블록 B[2]2D 이외의 베이스 뷰 데이터블록 B[0], B[1], B[2]SS, B[3]은 파일 베이스(8911)의 익스텐트, 즉 베이스 뷰 익스텐트 EXT1[n](n=0, 1, 2, 3)로 익스텐트 SS EXTSS[0], EXTSS[1]에서 추출 가능하다.
도 106은 도 105에 나타내는 배치 1의 데이터블록 군에 대한 2D 재생모드에서의 재생경로(9010)와 3D 재생모드에서의 재생경로(9020)를 나타내는 모식도이다.
2D 재생모드의 재생장치(102)는 파일 2D(8910)를 재생한다. 따라서, 2D 재생모드에서의 재생경로(9010)가 나타내는 것과 같이 먼저 제 1 익스텐트 블록(8901) 내의 최후에서 두 번째의 베이스 뷰 데이터블록 B[0]이 최초의 2D 익스텐트 EXT2D[0]로 판독되고, 그 직후의 디펜던트 뷰 데이터블록 D[1]의 판독이 최초의 점프 J2D1에 의해 스킵된다. 다음에, 제 1 익스텐트 블록(8901) 내의 최후의 베이스 뷰 데이터블록 B[1]과 그 직후의 2D 재생전용블록 B[2]2D의 쌍 B[1]+B[2]2D 가 두 번째의 2D 익스텐트 EXT2D[1]로서 연속해서 판독된다. 그 직후의 층 경계(LB)에서는 롱 점프 JLY가 발생하여 제 2 익스텐트 블록(8902)의 선단에 위치하는 3개의 데이터블록 D[2], B[2]SS, D[3]의 판독이 스킵된다. 이어서, 제 2 익스텐트 블록(8902) 내의 두 번째의 베이스 뷰 데이터블록 B[3]이 3번째의 2D 익스텐트 EXT2D[2]로 판독된다.
3D 재생모드의 재생장치(102)는 파일 SS(8920)를 재생한다. 따라서, 3D 재생모드에서의 재생경로(9020)가 나타내는 것과 같이 먼저 제 1 익스텐트 블록(8901)의 전체가 최초의 익스텐트 SS EXTSS[0]로서 연속해서 판독된다. 그 직후에 롱 점프 JLY가 발생하여 2D 재생전용블록 B[2]2D의 판독이 스킵된다. 이어서, 제 2 익스텐트 블록(8902)의 전체가 두 번째의 익스텐트 SS EXTSS[1]로서 연속해서 판독된다.
도 106에 나타내는 것과 같이 2D 재생모드에서는 2D 재생전용블록 B[2]2D는 판독되나, SS 재생전용블록 B[2]SS의 판독은 스킵된다. 반대로 3D 재생모드에서는 2D 재생전용블록 B[2]2D의 판독은 스킵되지만, SS 재생전용블록 B[2]SS는 판독된다. 그러나 양쪽의 데이터블록 B[2]2D, B[2]SS는 비트 단위로 일치하고 있으므로 어느 재생모드에서도 재생되는 베이스 뷰 비디오 프레임은 동일하다. 이와 같이 배치 1에서는 롱 점프 JLY의 전후에서 2D 재생모드에서의 재생경로(9010)와 3D 재생모드에서의 재생경로(9020)가 분리되어 있다. 따라서, 도 21에 나타내는 배치와 달리 층 경계(LB)의 직전에 위치하는 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]와 그 직전의 디펜던트 뷰 데이터블록 D[1] 사이즈 SEXT2[1]이 이하와 같이 따로따로 결정 가능하다.
그 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]은 베이스 뷰 데이터블록 B[1] 사이즈 SEXT1[1]과 2D 재생전용블록 B[2]2D 사이즈 S2D의 합 SEXT1[1]+S2D와 같다. 따라서, 2D 영상을 심리스로 재생하기 위해서는, 먼저 그 합 SEXT1[1]+S2D가 조건 1을 만족하면 좋다. 여기서, 식(1)의 우변에는 점프 시간 Tjump -2D로 롱 점프 JLY의 최대 점프 시간 Tjump_max가 대입된다. 다음에, 2D 재생전용블록 B[2]2D의 후단에서 제 2 익스텐트 블록(8902) 내의 최초의 2D 익스텐트 EXT2D[2]=B[3]까지의 섹터 수가 2D 재생장치의 능력에 맞춰서 규정된 롱 점프 JLY의 최대 점프 거리 Sjump _ max 이하이면 좋다.
한편, 3D 영상을 심리스로 재생하기 위해서는, 먼저 최초의 익스텐트 SS EXTSS[0]의 후단에 위치하는 디펜던트 뷰 데이터블록 D[1]과 베이스 뷰 데이터블록 B[1]의 각 사이즈 SEXT2[1], SEXT1[1]이 조건 3, 2를 만족하면 좋다. 여기서, 롱 점프 JLY의 발생에 관계없이 식(3), (2)의 각 우변에는 제로 섹터 천이시간 TJUMP0[2n+1], TJUMP0[2n+2]로 제로 섹터 천이시간의 전형적인 값이 대입되면 좋다. 다음에, 최초의 익스텐트 SS EXTSS[0] 사이즈가 조건 4를 만족하면 좋다. 또, 그 익스텐트 SS EXTSS[0]의 후단으로부터 다음의 익스텐트 SS EXTSS[1]의 선단까지의 섹터 수가 3D 재생장치의 능력에 맞춰서 규정된 롱 점프 JLY의 최대 점프 거리 Sjump _ max 이하이면 좋다.
층 경계(LB)의 직전에 위치하는 2D 익스텐트 EXT2D[1] 중 최초의 익스텐트 SS EXTSS[0]에 공유되는 것은 앞쪽에 위치하는 베이스 뷰 데이터블록 B[1] 뿐이다. 따라서, 2D 재생전용블록 B[2]2D 사이즈 S2D를 적절히 확대함으로써 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]=SEXT1[1]+S2D를 일정하게 유지한 채로 베이스 뷰 데이터블록 B[1] 사이즈 SEXT1[1]을 더 작게 제한할 수 있다. 그 경우, 그 베이스 뷰 데이터블록 B[1]의 익스텐트 ATC 시간이 단축된다. 그러므로, 그 직전에 위치하는 디펜던트 뷰 데이터블록 D[1] 사이즈 SEXT2[1]도 더 작게 제한할 수 있다.
SS 재생전용블록 B[2]SS는 2D 재생전용블록 B[2]2D와 비트 단위로 일치하고 있으므로, 2D 재생전용블록 B[2]2D 사이즈 S2D의 확대는 SS 재생전용블록 B[2]SS의 직전에 위치하는 디펜던트 뷰 데이터블록 D[2]의 사이즈를 확대시킨다. 그러나 그 사이즈는 도 21에 나타내는 층 경계(LB)의 직전에 위치하는 디펜던트 뷰 데이터블록 D[3] 사이즈보다는 충분히 작게 할 수 있다. 이렇게 해서 각 리드 버퍼(4121, 4122)의 용량을 3D 영상의 심리스 재생에 필요 최소한의 값에 더 접근시킬 수 있다. 그 결과, 배치 1에서는 재생장치(102) 내에 확보되어야 할 리드 버퍼의 용량을 필요 최소한으로 억제한 채로, 롱 점프 중에 2D 영상과 3D 영상의 어느 것을 심리스로 재생할 수 있도록 각 데이터블록 사이즈를 설계할 수 있다.
배치 1에서는 2D 재생전용블록 B[2]2D의 복제 데이터가 제 2의 익스텐트 블록(5202) 중에 단일의 SS 재생전용블록 B[2]SS로 배치되어 있다. 그 외에, 그 복제 데이터가 2개 이상의 SS 재생전용블록으로 분할되어서 배치되어도 좋다.
≪배치 2≫
도 107은 BD-ROM 디스크(101)의 층 경계(LB)의 전후에 기록된 데이터블록 군의 물리적인 배치의 제 2 예를 나타내는 모식도이다. 이하, 이 배치를 「배치 2」라고 한다. 도 107을 도 105와 비교하면, 배치 2는 배치 1과는 주로 SS 재생전용블록 B[2]SS, B[3]SS를 포함하는 익스텐트 블록(9102)이 층 경계(LB)의 직전에 배치되어 있는 점에서 다르다.
도 107을 참조하면, 층 경계(LB)의 앞에는 제 1 익스텐트 블록(9101), 2D 재생전용블록(B[2]+B[3])2D 및 제 2 익스텐트 블록(9102)이 차례로 배치되며, 층 경계(LB)의 뒤에는 제 3 익스텐트 블록(9103)이 배치되어 있다. 각 익스텐트 블록(9101-9103) 내에는 디펜던트 뷰 데이터블록 D[n]과 베이스 뷰 데이터블록 B[n]이 인터리브 배치를 구성하고 있다(n=…, 0, 1, 2, 3, 4, …). 특히 n번째의 데이터블록 쌍 D[n], B[n]에서는 익스텐트 ATC 시간이 동일하다. 제 2 익스텐트 블록(9102)에서는 제 1 익스텐트 블록(9101)의 후단에 위치하는 데이터블록 D[1], B[1]도, 제 3 익스텐트 블록(9103)의 선단에 위치하는 데이터블록 D[4], B[4]도 스트림 데이터의 내용이 연속하고 있다. 제 2 익스텐트 블록(9102)에 포함되는 베이스 뷰 데이터블록은 모두 SS 재생전용블록 B[2]SS, B[3]SS이며, 이들 전체 B[2]SS+B[3]SS는 그 앞에 위치하는 2D 재생전용블록(B[2]+B[3])2D와 비트 단위로 일치한다.
도 107에 나타내는 베이스 뷰 데이터블록 중 SS 재생전용블록 B[2]SS, B[3]SS 이외는 파일 2D(9110)의 익스텐트 EXT2D[0], EXT2D[1], EXT2D[2]로 액세스 가능하다. 특히 제 1 익스텐트 블록(9101) 내의 최후의 베이스 뷰 데이터블록 B[1]과 2D 재생전용블록(B[2]+B[3])2D의 쌍은 단일의 2D 익스텐트 EXT2D[1]로 액세스 가능하다. 또, 제 2 익스텐트 블록(9102) 이외의 익스텐트 블록(9101, 9103) 내의 베이스 뷰 데이터블록 B[0], B[1], B[4]는 파일 베이스(9111)의 익스텐트 EXT1[0], EXT1[1], EXT1[4]로 파일 SS(9120)의 익스텐트 EXTSS[0], EXTSS[1]로부터도 추출 가능하다. 이에 대해, 2D 재생전용블록(B[2]+B[3])2D는 2D 익스텐트 EXT2D[1]의 일부로만 액세스 가능하다. 한편, SS 재생전용블록 B[2]SS, B[3]SS는 각각 베이스 뷰 익스텐트 EXT1[2], EXT1[3]과 익스텐트 SS EXTSS[1]로부터 추출 가능하다.
도 108은 도 107에 나타내는 배치 2의 데이터블록 군에 대한 2D 재생모드에서의 재생경로(9210)와 3D 재생모드에서의 재생경로(9220)를 나타내는 모식도이다.
2D 재생모드의 재생장치(102)는 파일 2D(9110)를 재생한다. 따라서, 2D 재생모드에서의 재생경로(9210)가 나타내는 것과 같이 먼저 제 1 익스텐트 블록(9101) 내의 최후에서 두 번째의 베이스 뷰 데이터블록 B[0]이 최초의 2D 익스텐트 EXT2D[0]로 판독되고, 그 직후의 디펜던트 뷰 데이터블록 D[1]의 판독이 최초의 점프 J2D1에 의해 스킵된다. 다음에, 제 1 익스텐트 블록(9101) 내의 최후의 베이스 뷰 데이터블록 B[1]과 그 직후의 2D 재생전용블록(B[2]+B[3])2D의 쌍이 두 번째의 2D 익스텐트 EXT2D[1]로서 연속해서 판독된다. 그 직후에 롱 점프 JLY가 발생하여 제 2 익스텐트 블록(9102)의 판독 및 제 3 익스텐트 블록(9103)의 선단에 위치하는 디펜던트 뷰 데이터블록 D[4]의 판독이 스킵된다. 이어서, 제 3 익스텐트 블록(9103) 내의 최초의 베이스 뷰 데이터블록 B[4]이 3번째의 2D 익스텐트 EXT2D[2]로 판독된다.
3D 재생모드의 재생장치(102)는 파일 SS(9120)를 재생한다. 따라서, 3D 재생모드에서의 재생경로(9220)가 나타내는 것과 같이 먼저 제 1 익스텐트 블록(9101)의 전체가 제 1 익스텐트 SS EXTSS[0]로서 연속해서 판독된다. 그 직후에 점프 JEX가 발생하여 2D 재생전용블록(B[2]+B[3])2D의 판독이 스킵된다. 다음에, 제 2 익스텐트 블록(9102)의 전체가 제 2 익스텐트 SS EXTSS[1]로서 연속해서 판독된다. 그 직후에 층 경계(LB)를 넘기 위한 롱 점프 JLY가 발생한다. 이어서, 제 3 익스텐트 블록(9103)의 전체가 제 3 익스텐트 SS EXTSS[2]로서 연속해서 판독된다.
도 108에 나타내는 것과 같이, 2D 재생모드에서는 2D 재생전용블록(B[2]+B[3])2D는 판독되나, SS 재생전용블록 B[2]SS, B[3]SS의 판독은 스킵된다. 반대로 3D 재생모드에서는 2D 재생전용블록(B[2]+B[3])2D의 판독은 스킵되지만, SS 재생전용블록 B[2]SS, B[3]SS는 판독된다. 그러나 2D 재생전용블록(B[2]+B[3])2D와 SS 재생전용블록의 전체 B[2]SS+B[3]SS는 비트 단위로 일치하고 있으므로, 어느 재생모드에서도 재생되는 베이스 뷰 비디오 프레임은 동일하다. 이와 같이 배치 2에서는 롱 점프 JLY의 전후에 2D 재생모드에서의 재생경로(9210)와 3D 재생모드에서의 재생경로(9220)가 분리되어 있다. 따라서, 층 경계(LB)의 직전에 위치하는 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]와 그 직전의 디펜던트 뷰 데이터블록 D[1] 사이즈 SEXT2[1]이 이하와 같이 따로따로 결정 가능하다.
그 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]은 베이스 뷰 데이터블록 B[1] 사이즈 SEXT1[1]와 2D 재생전용블록(B[2]+B[3])2D 사이즈 S2D의 합 SEXT1[1]+S2D와 같다. 따라서, 2D 영상을 심리스로 재생하기 위해서는, 먼저 그 합 SEXT1[1]+S2D가 조건 1을 만족하면 좋다. 여기서, 식 (1)의 우변에는 점프 시간 Tjump -2D로 롱 점프 JLY의 최대 점프 시간 Tjump _ max가 대입된다. 다음에, 2D 재생전용블록(B[2]+B[3])2D의 후단으로부터 제 3 익스텐트 블록(9103) 내의 최초의 2D 익스텐트 EXT2D[2]=B[4]까지의 섹터 수가 2D 재생장치의 능력에 맞춰서 규정된 롱 점프 JLY의 최대 점프 거리 Sjump _ max 이하이면 좋다.
한편, 3D 영상을 심리스로 재생하기 위해서는 먼저 제 1 익스텐트SSEXTSS[0]의 후단에 위치하는 디펜던트 뷰 데이터블록 D[1]과 베이스 뷰 데이터블록 B[1]의 각 사이즈 SEXT2[1], SEXT1[1]이 조건 3, 2를 만족하면 좋다. 여기서, 점프 JEX의 발생에 관계없이 식 (3), (2)의 각 우변에는 제로 섹터 천이시간 TJUMP0[2n+1], TJUMP0[2n+2]로 제로 섹터 천이시간의 전형적인 값이 대입되면 좋다. 다음에, 제 2 익스텐트 SS EXTSS[1]의 후단에 위치하는 디펜던트 뷰 데이터블록 D[3]과 SS 재생전용블록 B[3]SS의 각 사이즈 SEXT2[3], SEXT1[3]이 조건 3, 2를 만족하면 좋다. 여기서, 롱 점프 JLY의 발생에 관계없이 식 (3), (2)의 각 우변에는 제로 섹터 천이시간 TJUMP0[2n+1], TJUMP0[2n+2]로 제로 섹터 천이시간의 전형적인 값이 대입되면 좋다.
2D 익스텐트 EXT2D[1] 중 익스텐트 SS EXTSS[1]에 공유되는 것은 앞쪽에 위치하는 베이스 뷰 데이터블록 B[1]뿐이다. 따라서, 2D 재생전용블록(B[2]+B[3])2D 사이즈 S2D를 적절히 확대함으로써 2D 익스텐트 EXT2D[1] 사이즈 SEXT2D[1]=SEXT1[1]+S2D를 일정하게 유지한 채로, 베이스 뷰 데이터블록 B[1] 사이즈 SEXT1[1]을 더 작게 제한할 수 있다. 이에 수반하여 그 직전의 디펜던트 뷰 데이터블록 D[1] 사이즈 SEXT2[1]도 더 작게 제한할 수 있다.
여기서, 3D 재생전용블록의 전체 B[2]SS+B[3]SS는 2D 재생전용블록(B[2]+B[3])2D와 비트 단위로 일치하고 있다. 따라서, 2D 재생전용블록(B[2]+B[3])2D 사이즈 S2D가 확대하면, 각 3D 재생전용블록 B[2]SS, B[3]SS의 직전에 위치하는 디펜던트 뷰 데이터블록 D[2], D[3] 사이즈가 확대한다. 그러나 하나의 2D 재생전용블록(B[2]+B[3])2D에 대하여 3D 재생전용블록은 2개의 B[2]SS, B[3]SS로 분할되어 있다. 그 결과, 각 3D 재생전용블록 B[2]SS, B[3]SS 사이즈를 충분히 작게 할 수 있다. 이렇게 해서 각 리드 버퍼(4121, 4122)의 용량은 3D 영상의 심리스 재생에 필요 최소한의 값까지 더 삭감할 수 있다. 그 결과, 배치 2에서는 재생장치(102) 내에 확보되어야 할 리드 버퍼의 용량을 필요 최소한으로 억제한 채로, 2D 영상과 3D 영상의 어느 것을 심리스로 재생할 수 있도록 각 데이터블록 사이즈를 설계할 수 있다.
배치 2에서는 2D 재생전용블록(B[2]+B[3])2D의 복제 데이터가 2개의 SS 재생전용블록 B[2]SS, B[3]SS로 분할되어서 배치되어 있다. 그 외에, 그 복제 데이터가 단일의 SS 재생전용블록이어도 좋고, 또는 3개 이상의 SS 재생전용블록으로 분할되어서 배치되어도 좋다.
<익스텐트 페어 플래그>
도 109는 파일 베이스(9301)와 파일 DEP(9302)의 각 익스텐트 EXT1[k], EXT2[k](정수 k는 0 이상이다)에 대하여 설정된 엔트리포인트(9310, 9320)를 나타내는 모식도이다. 파일 베이스(9301)의 엔트리포인트(9310)는 2D 클립정보파일의 엔트리 맵으로 정의되고, 파일 DEP(9302)의 엔트리포인트(9320)는 디펜던트 뷰 클립정보파일의 엔트리 맵으로 정의된다. 각 엔트리포인트(9310, 9320)는 특히 익스텐트 페어 플래그를 포함한다. 「익스텐트 페어 플래그」는 파일 베이스(9301)의 엔트리포인트와 파일 DEP(9302)의 엔트리포인트가 동일한 PTS를 나타낼 때 각각의 설정된 익스텐트 EXT1[i], EXT2[j]가 각 파일(9301, 9302)의 선두에서부터 동일한 순서인지 여부(i=j 또는 i≠j)를 나타낸다. 도 109를 참조하면, (n+1)번째 (정수 N은 1 이상이다)의 베이스 뷰 익스텐트 EXT1[n]으로 설정된 최초의 엔트리포인트(9330)의 PTS는 (n-1)번째의 디펜던트 뷰 익스텐트 EXT2[n-1]로 설정된 최후의 엔트리포인트(9340)의 PTS와 같다. 따라서, 각 엔트리포인트(9330, 9340)의 익스텐트 페어 플래그의 값은 “0”으로 설정된다. 마찬가지로 (n+1)번째의 베이스 뷰 익스텐트 EXT1[n]으로 설정된 최후의 엔트리포인트(9331)의 PTS는 (n+1)번째의 디펜던트 뷰 익스텐트 EXT2[n+1]로 설정된 최초의 엔트리포인트(9341)의 PTS와 같다. 따라서, 각 엔트리포인트(9331, 9341)의 익스텐트 페어 플래그의 값은 “0”으로 설정된다. 그 외의 엔트리포인트(9310, 9320)는 PTS가 동일할 때는 설정 처의 익스텐트 EXT1[·], EXT2[·]의 순서도 동일하므로 익스텐트 페어 플래그의 값은 “1”로 설정된다.
3D 재생모드의 재생장치(102)는 인터럽트 재생을 개시할 때 재생개시위치의 엔트리포인트의 익스텐트 페어 플래그를 참조하여 그 값이 “1”인 경우에 그 엔트리포인트로부터 실제로 재생을 개시한다. 그 값이 “0”인 경우에는 그 엔트리포인트의 전후로부터 익스텐트 페어 플래그의 값이 “1”인 다른 엔트리포인트를 찾아서, 그 다른 엔트리포인트로부터 재생을 개시한다. 이렇게 해서 n번째의 디펜던트 뷰 익스텐트 EXT2[n]이 확실히 n번째의 베이스 뷰 익스텐트 EXT1[n]보다 먼저 판독된다. 그 결과, 인터럽트 재생처리를 간단하게 할 수 있다.
익스텐트 페어 플래그=0의 엔트리포인트의 간격은 그것에 대응하는 표시 시간의 길이가 일정한 초 수 이하, 예를 들어 1 GOP당 표시시간 길이의 최대치의 2배 이하가 되도록 제한되어도 좋다. 이에 의해 인터럽트 재생의 개시시, 익스텐트 페어 플래그=1의 엔트리포인트의 탐색에 수반하는 재생개시까지의 대기 시간을 단축할 수 있다. 그 외에, 익스텐트 페어 플래그=0의 엔트리포인트의 다음의 엔트리포인트에서는 익스텐트 페어 플래그의 값이 “1”로 제한되어도 좋다. 또, 앵글 전환 플래그가 익스텐트 페어 플래그로 대용되어도 좋다. 여기서, 「앵글 전환 플래그」는 멀티앵글에 대응하는 콘텐츠에서 엔트리 맵 내에 준비된 플래그로, 다중화 스트림 데이터에서의 앵글의 전환위치를 나타낸다(멀티앵글에 대해서는 후술 참조).
<데이터블록 사이에서의 재생기간의 일치>
익스텐트 ATC 시간이 동일한 데이터블록의 쌍에서는 재생기간이 일치하고, 또한 비디오 스트림의 재생시간이 동일해도 좋다. 즉, 이들 데이터블록 간에 VAU의 수가 동일해도 좋다. 그 의의는 다음과 같다.
도 110 (a)은 인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 사이에서 익스텐트 ATC 시간이 다르고, 또한 비디오 스트림의 재생시간이 다를 때의 재생경로를 나타내는 모식도이다. 도 110 (a)을 참조하면, 선두의 베이스 뷰 데이터블록 B[0]의 재생시간은 4초간이며, 선두의 디펜던트 뷰 데이터블록 D[0]의 재생시간은 1초간이다. 여기서, 디펜던트 뷰 데이터블록 D[0]의 복호에 필요한 베이스 뷰 비디오 스트림의 부분은 그 디펜던트 뷰 데이터블록 D[0]과 동일한 재생시간을 갖는다. 따라서, 재생장치 내의 리드 버퍼의 용량을 절약하기 위해서는 도 110 (a)에 화살표 ARW1로 나타내는 것과 같이 재생장치에 베이스 뷰 데이터블록 B[0]과 디펜던트 뷰 데이터블록 D[0]을 교호로 동일한 재생시간씩, 예를 들어 1초간 씩 판독하게 하는 것이 바람직하다. 그러나 그 경우, 도 110 (a)에 점선으로 나타내는 것과 같이 판독처리의 도중에 점프가 발생한다. 그 결과, 판독처리를 복호 처리 시간에 일치시키기가 어려우므로 심리스 재생을 확실히 지속하기가 어렵다.
도 110 (b)는 인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 사이에서 비디오 스트림의 재생시간이 동일할 때의 재생경로를 나타내는 모식도이다. 도 110 (b)에 나타내는 것과 같이 인접하는 한 쌍의 데이터블록 사이에 비디오 스트림의 재생시간이 동일해도 좋다. 예를 들어 선두의 데이터블록 쌍 B[0], D[0]에서는 비디오 스트림의 재생시간이 모두 1초로 동일하고, 두 번째의 데이터블록 쌍 B[1], D[1]에서는 비디오 스트림의 재생시간이 모두 0.7초로 동일하다. 그 경우, 3D 재생모드의 재생장치는 도 110 (b)에 화살표 ARW2로 나타내는 것과 같이 데이터블록 B[0], D[0], B[1], D[1], …을 선두에서부터 차례로 판독한다. 그것만으로 재생장치는 메인 TS와 서브 TS를 교호로 동일한 재생시간씩 판독하는 것을 원활하게 실현할 수 있다. 특히 그 판독처리에서는 점프가 발생하지 않으므로 3D 영상의 심리스 재생이 확실하게 지속 가능하다.
실제로는 인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 사이에서 익스텐트 ATC 시간이 동일하면 판독처리에 점프를 발생시키는 일 없이 복호 처리의 동기를 유지할 수 있다. 따라서, 재생기간 또는 비디오 스트림의 재생시간이 동일하지 않아도 도 110 (b)에 나타내는 경우와 마찬가지로 재생장치는 데이터블록 군을 선두에서부터 차례로 판독하는 것만으로 3D 영상의 심리스 재생을 확실하게 지속할 수 있다.
인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 사이에서는 VAU중 어느 하나의 헤더의 수, 또는 PES 헤더의 수가 동일해도 좋다. 데이터블록 사이에서의 복호 처리의 동기에게는 이들 헤더가 이용된다. 따라서, 데이터블록 간에 헤더의 수가 동일하면 VAU 그 자체의 수가 동일하지 않아도 복호 처리의 동기를 유지하기는 비교적 용이하다. 또, VAU 그 자체의 수가 동일한 경우와 달리 VAU의 데이터가 모두 동일한 데이터블록 내에 다중화되어 있지 않아도 좋다. 그러므로, BD-ROM 디스크(101)의 오서링 공정에서 스트림 데이터의 다중화의 자유도가 높다.
인접하는 베이스 뷰 데이터블록과 디펜던트 뷰 데이터블록 사이에서는 엔트리포인트의 수가 동일해도 좋다. 도 109를 다시 참조하면, 익스텐트 페어 플래그=0의 엔트리포인트 9330, 9340, 9331, 9341을 제외하면, 파일 베이스(9301)와 파일 DEP(9302)에서는 선두에서부터 동일한 순서의 익스텐트 EXT1[k], EXT2[k]가 동일한 수의 엔트리포인트 9310, 9320을 포함한다. 2D 재생모드와 3D 재생모드에서는 점프의 유무는 다르다. 그러나 데이터블록 간에 엔트리포인트의 수가 동일할 때 재생시간도 실질적으로 동일하다. 따라서, 점프의 유무에 관계없이 복호 처리의 동기를 유지하기는 용이하다. 또, VAU 그 자체의 수가 동일한 경우와 달리 VAU의 데이터의 모두가 동일한 데이터블록 내에 다중화되어 있지 않아도 좋다. 그러므로, BD-ROM 디스크(101)의 오서링 공정에서 스트림 데이터의 다중화의 자유도가 높다.
<멀티앵글>
도 111(a)은 멀티앵글에 대응하는 다중화 스트림 데이터의 재생경로를 나타내는 모식도이다. 도 111(a)을 참조하면, 그 다중화 스트림 데이터에는 베이스 뷰, 라이트 뷰 및 깊이 맵의 3종류의 스트림 데이터 L, R, D가 다중화되어 있다. 예를 들어 L/R 모드에서는 베이스 뷰와 라이트 뷰의 스트림 데이터 L, R이 병렬로 재생된다. 또, 멀티앵글 기간 PANG로 재생되는 부분에는 앵글(시야각)별 스트림 데이터 Ak, Bk, Ck가 다중화되어 있다(k=0, 1, 2, …, n). 각 앵글의 스트림 데이터 Ak, Bk, Ck는 재생시간이 앵글 체인지 간격과 동일한 부분으로 분할되어 있다. 또, 각 부분 Ak, Bk, Ck에는 베이스 뷰, 라이트 뷰 및 깊이 맵의 각 스트림 데이터가 다중화되어 있다. 멀티앵글 기간 PANG에서는 사용자의 조작 또는 애플리케이션 프로그램의 지시에 따라서 앵글별 스트림 데이터(Ak, Bk, Ck) 사이에서 재생 대상을 전환할 수 있다.
도 111(b)는 BD-ROM 디스크 상에 기록된 데이터블록 군(9501)과, 이들에 대한 L/R 모드에서의 재생경로(9502)를 나타내는 모식도이다. 그 데이터블록 군(9501)은 도 111(a)에 나타내는 스트림 데이터 L, R, D, Ak, Bk, Ck를 포함한다. 도 111(b)을 참조하면, 그 데이터블록 군(9501)에서는 통상의 스트림 데이터 L, R, D에 더하여 앵글별 스트림 데이터 Ak, Bk, Ck가 인터리브 배치로 기록되어 있다. L/R 모드에서는 재생경로(9502)가 나타내는 것과 같이 라이트 뷰 데이터블록 R와 베이스 뷰 데이터블록 L은 판독되고, 깊이 맵 데이터블록 D의 판독은 점프에 의해 스킵된다. 또, 앵글별 스트림 데이터 Ak, Bk, Ck 중 선택된 것의 데이터블록 A0, B1, …, CN은 판독되며, 그 외의 데이터블록의 판독은 점프에 의해 스킵된다.
도 111(c)은 앵글별 스트림 데이터 Ak, Bk, Ck를 구성하는 익스텐트 블록을 나타내는 모식도이다. 도 111(c)를 참조하면, 각 앵글의 스트림 데이터 Ak, Bk, Ck에서는 3종류의 데이터블록 L, R, D가 인터리브 배치를 구성하고 있다. L/R 모드에서는 재생경로(9502)가 나타내는 것과 같이 앵글별 스트림 데이터 Ak, Bk, Ck 중 선택된 것 A0, B1, …, Cn로부터 라이트 뷰 데이터블록 R와 베이스 뷰 데이터블록 L가 판독된다. 한편, 다른 데이터블록의 판독은 점프에 의해 스킵된다.
또, 각 앵글의 스트림 데이터 Ak, Bk, Ck에서는 베이스 뷰, 라이트 뷰 및 깊이 맵의 각 스트림 데이터가 단일의 다중화 스트림 데이터에 포함되어 있어도 좋다. 단, 그 기록 레이트는 2D 재생장치로 재생 가능한 시스템 레이트의 범위에 억제되지 없으면 안 된다. 또, 그 다중화 스트림 데이터와 다른 3D 영상의 다중화 스트림 데이터 사이에서는 시스템 타깃 디코더에 전송되어야 할 스트림 데이터(TS)의 수가 다르다. 따라서, 3D 플레이리스트 파일 내의 각 PI는 재생대상의 TS의 수를 나타내는 플래그를 포함해도 좋다. 그 플래그를 이용하여 이들 다중화 스트림 데이터를 하나의 3D 플레이리스트 파일 중에서 전환할 수 있다. 3D 재생모드에서 2개의 TS를 재생대상으로 규정하는 PI에서는 그 플래그가 2TS를 나타낸다. 한편, 상기의 다중화 스트림 데이터와 같은 단일의 TS를 재생대상으로 규정하는 PI에서는 그 플래그가 1TS를 나타낸다. 3D 재생장치는 그 플래그의 값에 따라서 시스템 타깃 디코더의 설정을 전환할 수 있다. 또, 그 플래그는 커넥션 컨디션(CC)의 값으로 표현되어도 좋다. 예를 들어 CC가“7”을 나타낼 때는 2TS에서 1TS로의 이행을 나타내고, “8”을 나타낼 때는 1TS에서 2TS로의 이행을 나타낸다.
도 112는 멀티앵글 기간을 구성하는 데이터블록 군(9601) 및 이들에 대한 2D 재생모드에서의 재생경로(9610)와 L/R 모드에서의 재생경로(9620)를 나타내는 모식도이다. 도 112를 참조하면, 그 데이터블록 군(9601)은 3종류의 앵글 체인지 구간 ANG1#k, ANG2#k, ANG3#k(k=1, 2, …, 6, 7)의 인터리브 배치로 이루어진다. 「앵글 체인지 구간」은 하나의 앵글에서 본 영상의 스트림 데이터가 연속해서 저장된 일련의 데이터블록 군을 말한다. 종류가 다른 앵글 체인지 구간에서는 영상의 앵글이 다르다. 각 종류의 k번째의 앵글 체인지 구간 ANG1#k, ANG2#k, ANG3#k는 서로 인접한다. 각 앵글 체인지 구간 ANGm#k(m=1, 2, 3)는 하나의 익스텐트 블록으로 이루어지고, 즉 하나의 익스텐트 SS EXTSS[k]로 참조된다(k=10, 11, …, 23). 이에 의해 복수의 앵글 체인지 구간이 하나의 익스텐트 SS EXTSS[k]를 구성하는 경우보다 리드 버퍼의 용량을 삭감할 수 있다. 또, 각 익스텐트 블록은 디펜던트 뷰 데이터블록 R와 베이스 뷰 데이터블록 L를 하나씩 포함한다. 이들 데이터블록의 쌍 R, L는 n번째의 디펜던트 뷰 익스텐트 EXT2[n]과 n번째의 베이스 뷰 익스텐트 EXT1[n]의 쌍으로 참조된다(정수 N은 0 이상이다).
각 익스텐트 블록 사이즈는 조건 1-4을 만족한다. 특히 조건 1에서 고려되어야 할 점프는 2D 재생모드에서의 재생경로(9610)가 나타내는 다른 앵글 체인지 구간의 판독을 스킵하기 위한 점프 JANG -2D이다. 한편, 조건 4에서 고려되어야 할 점프는 L/R 모드에서의 재생경로(9620)가 나타내는 다른 앵글 체인지 구간의 판독을 스킵하기 위한 점프 JANG - LR이다. 각 재생경로(9610, 9620)가 나타내는 것과 같이 어느 점프 JANG -2D, JANG - LR도 일반적으로 앵글의 전환, 즉 판독 대상의 앵글 체인지 구간의 종류의 전환을 포함한다.
도 112를 더 참조하면, 각 앵글 체인지 구간은 베이스 뷰 데이터블록 L를 1개 포함한다. 따라서, 베이스 뷰 익스텐트 EXT1[·]의 익스텐트 ATC 시간은 앵글 체인지 구간의 길이의 최대치 TANG 이하로 제한된다. 예를 들어 앵글의 전환을 표시시간 2초당 1회의 비율로 실행 가능하게 하기 위해서는 앵글 체인지 구간의 길이의 최대치 TANG를 2초간으로 제한해야 한다. 그 결과, 베이스 뷰 익스텐트 EXT1[·]의 익스텐트 ATC 시간은 2초 이하로 제한된다. 그러므로, 조건 5는 베이스 뷰 익스텐트 사이즈 SEXT1이 식 (5)에 대신하여 다음의 식(9)을 만족하는 것으로 변경된다:
Figure pct00009
<방송, 통신회로를 경유한 데이터 배신(配信)>
본 발명의 실시형태에 의한 기록매체는 광 디스크 외에, 예를 들어 SD메모리 카드를 포함하는 휴대성 반도체 메모리장치 등, 패키지 미디어로 이용 가능한 리모트 미디어 전반을 포함한다. 또, 상기의 실시형태의 설명에서는 미리 데이터가 기록된 광 디스크, 즉, BD-ROM 또는 DVD-ROM 등의 기존의 판독전용의 광 디스크를 예로 들고 있다. 그러나 본 발명의 실시형태는 이에 한정되는 것은 아니다. 예를 들어 방송으로 또는 네트워크 경유로 배신된 3D 영상의 콘텐츠를 단말장치에 의해 BD-RE 또는 DVD-RAM 등의 기존의 기록 가능한 광 디스크에 기록할 때 실시형태 1에 의한 익스텐트의 배치가 이용되어도 좋다. 여기서, 그 단말장치는 재생장치에 포함되어 있어도 좋고, 재생장치와는 다른 장치여도 좋다.
<반도체 메모리 카드의 재생>
본 발명의 실시형태에 의한 기록매체로 광 디스크에 대신하여 반도체 메모리 카드를 이용했을 때의 재생장치의 데이터 판독부에 대하여 설명한다.
재생장치 중 광 디스크로부터 데이터를 판독하고는 부분은 예를 들어 광 디스크 드라이브에 의해 구성된다. 이에 대해, 반도체 메모리 카드로부터 데이터를 판독하는 부분은 전용의 인터페이스(I/F)로 구성된다. 더 상세하게는 재생장치에 카드 슬롯이 설치되고, 그 내부에 상기의 I/F가 탑재된다. 그 카드 슬롯에 반도체 메모리 카드가 삽입될 때 그 I/F를 통해서 그 반도체 메모리 카드가 재생장치와 상기적으로 접속된다. 또, 반도체 메모리 카드로부터 데이터가 그 I/F를 통해서 재생장치에 판독된다.
<BD-ROM 디스크 상의 데이터에 대한 저작권 보호기술>
여기서, 이후의 보충사항의 전제로 BD-ROM 디스크에 기록되어 있는 데이터의 저작권을 보호하기 위한 구조에 대하여 설명한다.
BD-ROM 디스크에 기록된 데이터의 일부가 예를 들어 저작권의 보호 또는 데이터의 비닉성(秘匿性)의 향상의 관점에서 암호화되어 있는 경우가 있다. 그 암호화 데이터는 예를 들어 비디오 스트림, 오디오 스트림, 또는 그 외의 스트림을 포함한다. 그 경우, 암호화 데이터는 이하와 같이 해독된다.
재생장치에는 미리 BD-ROM 디스크 상의 암호화 데이터를 해독하기 위한 「키」의 생성에 필요한 데이터의 일부, 즉 디바이스 키가 기억되어 있다. 한편, BD-ROM 디스크에는 그 「키」의 생성에 필요한 데이터의 다른 일부, 즉 MKB(미디어 키 블록)와 그 「키」자체의 암호화 데이터, 즉 암호화 타이틀 키가 기록되어 있다. 디바이스 키, MKB 및 암호화 타이틀 키는 서로 대응되며, 또 도 2에 나타내는 BD-ROM 디스크(101) 상의 BCA(201)에 기록된 특정의 ID, 즉 볼륨 ID에도 대응되어 있다. 디바이스 키, MKB, 암호화 타이틀 키 및 볼륨 ID의 조합이 정당하지 않으면, 암호화 데이터의 해독은 할 수 없다. 즉, 이들 조합이 정당한 경우에만 상기의 「키」, 즉 타이틀 키가 생성된다. 구체적으로는 먼저 디바이스 키, MKB 및 볼륨 ID를 이용하여 암호화 타이틀 키가 복호된다. 그것에 따라서 타이틀 키를 도출할 수 있었을 때에만 그 타이틀 키를 상기의 「키」로 이용하여 암호화 데이터를 해독할 수 있다.
BD-ROM 디스크 상의 암호화 데이터를 재생장치에 의해 재생하려고 해도 예를 들어 그 BD-ROM 디스크 상의 암호화 타이틀 키, MKB 및 볼륨 ID에 미리 대응된 디바이스 키가 그 재생장치 내에 기억되어 있지 않으면 그 암호화 데이터를 재생할 수 없다. 왜냐하면, 그 암호화 데이터의 해독에 필요한 키, 즉 타이틀 키는 MKB, 디바이스 키 및 볼륨 ID의 정당한 조합으로 암호화 타이틀 키를 복호하지 않으면 도출할 수 없기 때문이다.
BD-ROM 디스크에 기록되어야 할 비디오 스트림과 오디오 스트림의 적어도 어느 하나의 저작권을 보호하기 위해서는 먼저 보호 대상의 스트림을 타이틀 키로 암호화하여 BD-ROM 디스크에 기록한다. 다음에, MKB, 디바이스 키 및 볼륨 ID의 조합으로부터 키를 생성하고, 그 키로 상기의 타이틀 키를 암호화하여 암호화 타이틀 키로 변환한다. 또, MKB, 볼륨 ID 및 암호화 타이틀 키를 BD-ROM 디스크에 기록한다. 그 BD-ROM 디스크에서는 상술한 키의 생성에 이용된 디바이스 키를 구비한 재생장치로밖에 암호화된 비디오 스트림 및/또는 오디오 스트림을 디코더로 복호 할 수 없다. 이렇게 해서 BD-ROM 디스크에 기록된 데이터의 저작권을 보호할 수 있다.
이상에서 설명한 BD-ROM 디스크에서의 데이터의 저작권 보호의 구조는 BD-ROM 디스크 이외에도 적용 가능하다. 예를 들어 판독기입 가능한 반도체 메모리장치, 특히 SD카드 등의 휴대성 반도체 메모리 카드에도 적용 가능하다.
<전자배신을 이용한 기록매체로의 데이터 기록>
전자배신을 이용하여 본 발명의 실시형태에 의한 재생장치에 3D 영상의 AV스트림 파일 등의 데이터(이하, 배신 데이터라고 한다)를 전달하고, 또 그 재생장치에 그 배신 데이터를 반도체 메모리 카드에 기록시키는 처리에 대하여 이하에 설명한다. 또, 이하의 동작은 상기의 재생장치에 대신하여 그 처리에 특화한 단말장치에 의해 이루어져도 좋다. 또, 기록 처의 반도체 메모리 카드가 SD메모리 카드인 경우를 상정한다.
재생장치는 상기와 같이 카드 슬롯을 구비하고 있다. 그 카드 슬롯에는 SD메모리 카드가 삽입되어 있다. 이 상태에서 재생장치는 먼저 네트워크상의 배신 서버에 배신 데이터의 송신요구를 송출한다. 이때 재생장치는 SD메모리 카드로부터 그 식별정보를 판독하여, 그 식별정보를 송신요구와 함께 배신 서버에 송출한다. SD메모리 카드의 식별정보는 예를 들어 그 SD메모리 카드 고유의 식별번호, 더 구체적으로는 그 SD메모리 카드의 일련번호이다. 이 식별정보는 상술한 볼륨 ID로 이용된다.
배신 서버에는 배신 데이터가 저장되어 있다. 그 배신 데이터 중 비디오 스트림 및/또는 오디오 스트림 등, 암호화에 의한 보호의 필요한 데이터는 소정의 타이틀 키를 이용하여 암호화되어 있다. 그 암호화 데이터는 동일한 타이틀 키로 복호가 가능하다.
배신 서버는 재생장치와 공통의 비밀키로 디바이스 키를 보유하고 있다. 또, 배신 서버는 SD메모리 카드와 공통의 MKB를 보유하고 있다. 배신 서버는 재생장치로부터 배신 데이터의 송신요구와 SD메모리 카드의 식별정보를 접수한 때 먼저 디바이스 키, MKB 및 그 식별정보로부터 키를 생성하고, 그 키로 타이틀 키를 암호화하여 암호화 타이틀 키를 생성한다.
배신 서버는 다음에 공개키 정보를 생성한다. 그 공개키 정보는 예를 들어 상술한 MKB, 암호화 타이틀 키, 서명정보, SD메모리 카드의 식별번호 및 디바이스 리스트를 포함한다. 서명 정보는 예를 들어 공개키 정보의 해시치를 포함한다. 디바이스 리스트는 무효로 해야 할 디바이스, 즉, 배신 데이터 중의 암호화 데이터를 부정하게 재생할 위험성이 있는 디바이스의 리스트이다. 그 리스트에는 예를 들어 재생장치의 디바이스 키, 재생장치의 식별번호, 재생장치에 내장된 디코더 등, 각종 부품의 식별번호, 또는 기능(프로그램)이 특정되어 있다.
또. 배신 서버는 배신 데이터와 공개키 정보를 재생장치에 송출한다. 재생장치는 그들을 수신하여 카드 슬롯 내의 전용 I/F를 통해 SD메모리 카드에 기록한다.
SD메모리 카드에 기록된 배신 데이터 중 암호화 데이터는 예를 들어 공개키 정보를 이하와 같이 이용하여 복호된다. 먼저 공개키 정보의 인증으로 다음의 3종류의 체크 (1)-(3)를 한다. 또, 그것들은 어떠한 순서로 이루어져도 좋다.
(1) 공개키 정보에 포함되는 SD메모리 카드의 식별정보가 카드 슬롯에 삽입되어 있는 SD메모리 카드에 기억되어 있는 식별번호와 일치하는지 여부.
(2) 공개키 정보로부터 산출되는 해시치가 서명 정보에 포함되는 해시치와 일치하는지 여부.
(3) 공개키 정보가 나타내는 디바이스 리스트로부터 당해 재생장치가 제외되어 있는가 여부. 구체적으로는 디바이스 리스트로부터 당해 재생장치의 디바이스 키가 제외되고 있는가 여부.
상술한 체크 (1)-(3)중 어느 하나의 결과가 부정적일 때 재생장치는 암호화 데이터의 복호처리를 중지한다. 반대로, 상술한 체크 (1)-(3)의 모든 결과가 긍정적일 때 재생장치는 공개키 정보의 정당성을 인정하고, 디바이스 키, MKB 및 SD메모리 카드의 식별정보를 이용하여 공개키 정보 내의 암호화 타이틀 키를 타이틀 키에 복호한다. 또, 재생장치는 그 타이틀 키를 이용하여 암호화 데이터를 예를 들어 비디오 스트림 및/또는 오디오 스트림으로 복호한다.
이상의 구조에는 다음의 이점이 있다. 전자 배신시에 이미 부정사용의 위험성이 있는 재생장치, 부품 및 기능(프로그램) 등이 알려져 있는 경우, 이들 식별정보가 디바이스 리스트에 열거되고, 공개키 정보의 일부로 배신된다. 한편, 배신 데이터를 요구한 재생장치는 반드시 그 디바이스 리스트 내의 식별정보를 그 재생장치 및 그 부품 등의 식별정보와 비교해야 한다. 이에 의해 그 재생장치 또는 그 부품 등이 디바이스 리스트에 나타나 있으면, 비록, SD메모리 카드의 식별번호, MKB, 암호화 타이틀 키 및 디바이스 키의 조합이 정당해도 그 재생장치는 공개키 정보를 배신 데이터 내의 암호화 데이터의 복호에는 이용할 수 없다. 이렇게 해서 배신 데이터의 부정사용을 효과적으로 억제할 수 있다.
반도체 메모리 카드의 식별정보는 반도체 메모리 카드 내의 기록영역 중 특히 비닉성이 높은 기록영역에 저장하는 것이 바람직하다. 왜냐하면, 만일 그 식별정보, 예를 들어 SD메모리 카드에서는 그 일련번호가 부정하게 개찬된 경우, SD메모리 카드의 불법복제가 용이하게 실행 가능하게 되어 버리기 때문이다. 즉, 그 개찬의 결과, 동일한 식별정보를 갖는 반도체 메모리 카드가 복수 존재하게 되면, 상술한 체크(1)에서는 정규품과 위법한 복제품의 식별을 할 수 없게 되기 때문이다. 따라서, 반도체 메모리 카드의 식별정보는 비닉성이 높은 기록영역에 기록하여 부정한 개찬으로부터 보호되지 않으면 안 된다.
반도체 메모리 카드 내에 이와 같은 비닉성이 높은 기록영역을 구성하는 수단은 예를 들어 다음과 같다. 먼저 통상의 데이터용의 기록영역(이하, 제 1 기록영역이라고 한다)에서 전기적으로 분리된 다른 기록영역(이하, 제 2 기록영역이라고 한다)이 설치된다. 다음에, 제 2 기록영역으로의 액세스 전용의 제어회로가 반도체 메모리 카드 내에 설치된다. 이에 의해 제 2 기록영역에는 그 제어회로를 개재해서만 액세스가 가능하도록 한다. 예를 들어 제 2 기록영역에는 암호화된 데이터만이 기록되고, 그 암호화된 데이터를 복호하기 위한 회로가 제어회로 내에 포함된다. 이에 의해 제 2 기록영역 내의 데이터로의 액세스는 그 데이터를 제어회로에 복호시키지 않으면 불가능하다. 그 외에, 제 2 기록영역 내의 각 데이터의 어드레스를 제어회로에만 보유시켜도 좋다. 그 경우, 제 2 기록영역 내의 데이터의 어드레스는 제어회로에밖에 특정할 수 없다.
반도체 메모리 카드의 식별정보가 제 2 기록영역에 기록되었을 경우, 재생장치상에서 동작하는 애플리케이션 프로그램은 전자 배신을 이용하여 배신 서버로부터 데이터를 취득하여 반도체 메모리 카드에 기록하는 경우, 다음과 같은 처리를 실시한다. 먼저 그 애플리케이션 프로그램은 메모리 카드 I/F를 개재하여 상기의 제어회로에 대하여 제 2 기록영역에 기록된 반도체 메모리 카드의 식별정보로의 액세스 요구를 발행한다. 제어회로는 그 요구에 따라서 먼저 제 2 기록영역으로부터 그 식별정보를 판독한다. 제어회로는 다음에, 메모리 카드 I/F를 개재하여 상기의 애플리케이션 프로그램에 그 식별정보를 보낸다. 그 애플리케이션 프로그램은 그 후, 그 식별정보와 함께 배신 데이터의 송신요구를 배신 서버에 송출한다. 또, 애플리케이션 프로그램은 그 요구에 따라서 배신 서버로부터 수신되는 공개키 정보와 배신 데이터를 메모리 카드 I/F를 개재하여 반도체 메모리 카드 내의 제 1 기록영역에 기록한다.
또, 상기의 애플리케이션 프로그램은 반도체 메모리 카드 내의 제어회로에 대하여 상기의 액세스 요구를 발행하기 전에, 그 애플리케이션 프로그램 자체의 개찬의 유무를 체크하는 것이 바람직하다. 그 체크에는 예를 들어 X.509에 준거한 디지털 증명서가 이용되어도 좋다. 또, 배신 데이터는 상기와 같이, 반도체 메모리 카드 내의 제 1 기록영역에 기록되면 좋고, 그 배신 데이터로의 액세스는 반도체 메모리 카드 내의 제어회로에 의해 제어되지 않아도 좋다.
<실시간 리코딩에의 적용>
본 발명의 실시형태 4에서는 AV스트림 파일 및 플레이리스트 파일은 오서링 시스템에서의 프리리코딩 기술에 의해 BD-ROM 디스크에 기록되어서 사용자에게 공급되는 것을 전제로 하였다. 그러나 AV스트림 파일 및 플레이리스트 파일은 실시간 리코딩에 의해, BD-RE 디스크, BD-R 디스크, 하드 디스크, 또는 반도체 메모리 카드 등의 기록가능한 기록매체(이하, BD-RE 디스크 등이라고 한다)에 기록되어서 사용자에게 공급되는 것이어도 좋다. 그 경우, AV스트림 파일은 아날로그 입력신호를 기록장치가 실시간으로 복호함으로써 얻어진 트랜스포트 스트림이라도 좋다. 그 외에, 기록장치가 디지털 입력한 트랜스포트 스트림을 퍼셜화함으로써 얻어지는 트랜스포트 스트림이라도 좋다.
실시간 리코딩을 실행하는 기록장치는 비디오 인코더, 오디오 인코더, 멀티플렉서 및 소스 패킷다이저를 포함한다. 비디오 인코더는 비디오 신호를 부호화하여 비디오 스트림으로 변환한다. 오디오 인코더는 오디오 신호를 부호화하여 오디오 스트림으로 변환한다. 멀티플렉서는 비디오 스트림과 오디오 스트림을 다중화하여 MPEG2-TS형식의 디지털 스트림으로 변환한다. 소스 패킷다이저는 MPEG2-TS형식의 디지털 스트림 내의 TS 패킷을 소스 패킷으로 변환한다. 기록장치는 각 소스 패킷을 AV스트림 파일에 저장하고, BD-RE 디스크 등에 기록한다.
AV스트림 파일의 기록처리와 병행하여 기록장치의 제어부는 클립정보파일과 플레이리스트 파일을 메모리 상에서 생성하여 BD-RE 디스크 등에 기록한다. 구체적으로는 사용자에 의해 녹화 처리가 요구된 때 제어부는 먼저 AV스트림 파일에 맞춰서 클립정보파일을 생성하여 BD-RE 디스크 등에 기록한다. 그 경우, 외부로부터 수신되는 트랜스포트 스트림으로부터 비디오 스트림 내의 하나의 GOP의 선두가 검출될 때마다, 또는 비디오 인코더에 의해 비디오 스트림 내의 하나의 GOP가 생성될 때마다 제어부는 그 GOP의 선두에 위치하는 I픽처의 PTS와 그 GOP의 선두가 저장된 소스 패킷의 SPN을 취득한다. 또, 제어부는 그 PTS와 SPN과의 쌍을 하나의 엔트리포인트로 클립정보파일의 엔트리 맵에 추기한다. 여기서, 그 엔트리포인트에는 「is_angle_change 플래그」가 추가된다. is_angle_change 플래그는 그 GOP의 선두가 IDR 픽처일 때는“온”으로 설정되고, 그 GOP의 선두가 IDR 픽처는 아닐 때는“오프”로 설정된다. 또, 클립정보파일 내에는 스트림 속성정보가 기록대상의 스트림의 속성에 따라서 설정된다. 이렇게 해서 AV스트림 파일과 클립정보파일이 BD-RE 디스크 등에 기록된 후, 제어부는 그 클립정보파일 내의 엔트리 맵을 이용하여 플레이리스트 파일을 생성하고, BD-RE 디스크 등에 기록한다.
<매니지드 카피>
또, 본 발명의 실시형태에 의한 재생장치는 매니지드 카피에 의해 BD-ROM 디스크(101) 상의 디지털 스트림을 다른 기록매체에 기록해도 좋다. 「매니지드 카피」는 BD-ROM 디스크 등의 판독전용 기록매체로부터 기록 가능한 기록매체에 디지털 스트림, 플레이리스트 파일, 클립정보파일 및 애플리케이션 프로그램을 카피하는 것을 서버와의 통신에 의한 인증이 성공한 경우에만 허가하기 위한 기술을 말한다. 그 기록 가능한 기록매체는 BD-R, BD-RE, DVD-R, DVD-RW 및 DVD-RAM 등의 기록 가능한 광 디스크, 하드 디스크 및 SD메모리 카드, 메모리 스틱(등록상표), 콤팩트 플래시(등록상표), 스마트미디어(등록상표) 및 멀티미디어 카드(등록상표) 등의 휴대성 반도체 메모리장치를 포함한다. 매니지드 카피는 판독전용 기록매체에 기록된 데이터의 백업 횟수의 제한 및 백업 처리에 대한 과금을 가능하게 한다.
BD-ROM 디스크로부터 BD-R 디스크 또는 BD-RE 디스크로의 매니지드 카피가 이루어지는 경우, 양 디스크의 기록용량이 동일할 때는 카피 원의 디스크에 기록된 비트 스트림이 그대로 차례로 카피되면 좋다.
매니지드 카피가 이종(異種)의 기록매체 간에 이루어질 때는 트랜스 코드가 필요하다. 「트랜스 코드」란, 카피 원의 디스크에 기록되어 있는 디지털 스트림을 카피 처의 기록매체의 애플리케이션 포맷에 적합하게 하기 위한 처리를 말한다. 트랜스 코드는 예를 들어 MPEG2-TS형식에서 MPEG2 프로그램 스트림 형식으로 변환하는 처리 및 비디오 스트림과 오디오 스트림의 각각에 할당되어 있는 비트레이트를 낮게 해서 재부호화하는 처리를 포함한다. 트랜스 코드에서는 상술한 실시간 리코딩에 의해 AV스트림 파일, 클립정보파일 및 플레이리스트 파일이 생성되지 않으면 안 된다.
<데이터구조의 기술방법>
본 발명의 실시형태에 의한 데이터구조 중 「소정 형의 정보가 복수 존재한다」라고 하는 반복구조는 for문에 제어 변수의 초기치와 반복조건을 기술함으로써 정의된다. 또, 「소정의 조건이 성립할 때에 소정의 정보가 정의된다」라고 하는 데이터구조는 if문에 그 조건과 그 조건의 성립시에 설정되어야 할 변수를 기술함으로써 정의된다. 이와 같이 실시형태에 의한 데이터구조는 고급 프로그래밍 언어에 의해 기술된다. 따라서, 그 데이터구조는 「구문 분석」, 「최적화」, 「자원 할당」 및 「코드 생성」이라고 하는 컴파일러에 의한 번역 과정을 거쳐서, 컴퓨터에 의해 판독 가능한 코드로 변환되어서 기록매체에 기록된다. 고급 프로그래밍 언어에서의 기술에 의해, 그 데이터구조는 오브젝트 지향언어에서의 클래스 구조체의 메소드 이외의 부분, 구체적으로는 그 클래스 구조체에서의 배열형의 멤버 변수로 취급되어서 프로그램의 일부를 이룬다. 즉, 그 데이터구조는 프로그램과 실질적으로 동등하다. 따라서, 그 데이터구조는 컴퓨터 관련의 발명으로 보호를 받아야 한다.
<재생 프로그램에 의한 플레이리스트 파일, 클립정보파일의 관리>
플레이리스트 파일과 AV스트림 파일이 기록매체에 기록될 때 그 기록매체에는 재생 프로그램이 실행형식의 파일로 기록된다. 재생 프로그램은 컴퓨터에 플레이리스트 파일에 따라서 AV스트림 파일을 재생시킨다. 재생 프로그램은 기록매체로부터 컴퓨터 내의 메모리장치에 로드된 후, 그 컴퓨터에 의해 실행된다. 그 로드 처리는 컴파일 처리 또는 링크 처리를 포함한다. 이러한 처리에 의해, 재생 프로그램은 메모리장치 내에서는 복수의 섹션으로 분할된다. 이들 섹션은 text 섹션, data 섹션, bss 섹션 및 stack 섹션을 포함한다. text 섹션은 재생 프로그램의 코드 열, 변수의 초기치 및 재기록 불가의 데이터를 포함한다. data 섹션은 초기치를 갖는 변수 및 재기록 가능한 데이터를 포함한다. data 섹션은 특히 기록매체 상에 기록된 수시로 액세스 되는 파일을 포함한다. bss 섹션은 초기치를 갖지 않는 변수를 포함한다. bss 섹션 내의 데이터는 text 섹션 내의 코드가 나타내는 명령에 따라서 참조된다. 컴파일 처리 또는 링크 처리에서는 컴퓨터 내의 RAM에 bss 섹션용의 영역이 확보된다. stack 섹션은 필요에 따라서 일시적으로 확보되는 메모리 영역이다. 재생 프로그램에 의한 각 처리에서는 로컬 변수가 일시적으로 사용된다. stack 섹션은 이러한 로컬 변수를 포함한다. 프로그램의 실행이 개시될 때 bss 섹션 내의 변수는 제로로 초기화되고, stack 섹션에는 필요한 메모리 영역이 확보된다.
플레이리스트 파일 및 클립정보파일은 상술한 것과 같이, 기록매체 상에서는 이미 컴퓨터에 의해 판독 가능한 코드로 변환되어 있다. 따라서, 이들 파일은 재생 프로그램의 실행시, text 섹션 내의 「재기록 불가의 데이터」, 또는 data 섹션 내의 「수시로 액세스 되는 파일」로 관리된다. 즉, 플레이리스트 파일 및 클립정보파일은 재생 프로그램의 실행시에 그 구성요소 중에 포함된다. 그러므로, 플레이리스트 파일 및 클립정보파일은 재생 프로그램에서 단순한 데이터의 제시를 넘은 역할을 담당한다.
본 발명은 입체 시 영상의 재생기술에 관한 것으로, 상기와 같이 기록매체 상에 기록된 데이터블록과 익스텐트 블록 사이즈의 하한을 명확하게 정의한다. 이와 같이 본 발명은 분명하게 산업상 이용 가능하다.
1300 디펜던트 뷰 비디오 스트림
1301 보충 데이터
1310 오프셋 메타 데이터
1311 오프셋 시퀀스 ID
1312 오프셋 시퀀스
1321 프레임 번호
1322 오프셋 방향
1323 오프셋 값

Claims (25)

  1. 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 그래픽스 스트림 및 플레이리스트 정보가 기록된 기록매체로,
    상기 메인 뷰 비디오 스트림은 입체 시 영상(stereoscopic video images)의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하고,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하며,
    상기 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함하고,
    상기 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사(rendering)되며,
    상기 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되고,
    상기 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사되며,
    상기 메타 데이터는 상기 서브 뷰 비디오 스트림을 구성하는 그룹 오브 픽처(GOP) 별로 배치되고 있고, 복수의 오프셋 정보와 상기 복수의 오프셋 정보에 대응하는 복수의 오프셋 식별자를 포함하며,
    상기 복수의 오프셋 정보는 GOP를 구성하는 복수의 픽처에 대한 오프셋 제어를 규정하는 제어정보이며,
    상기 오프셋 제어는 상기 그래픽스 플레인에 수평좌표의 좌측방향과 우측방향의 각 오프셋을 부여하여 메인 뷰 비디오 플레인과 서브 뷰 비디오 플레인의 각각에 합성하는 처리이며,
    상기 플레이리스트 정보는 재생구간정보를 적어도 1개 포함하고,
    각 재생구간 정보는 하나의 재생구간의 개시위치와 종료위치를 나타내는 정보 및 상기 재생구간에 대한 스트림 선택테이블을 포함하며,
    상기 스트림 선택테이블은 상기 재생구간에서의 재생이 허가된 스트림 데이터의 패킷 식별자와 스트림 번호 사이의 대응 표이고,
    상기 스트림 선택테이블에서 상기 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 상기 복수의 오프셋 식별자 중 1개가 당해 스트림 번호에 더 할당되어 있는 기록매체.
  2. 제 1 항에 있어서,
    상기 메타 데이터는 상기 서브 뷰 비디오 스트림을 구성하는 각 GOP의 선두에 배치되고, 상기 메타 데이터가 포함하는 오프셋 정보에 포함되는 오프셋 값의 수는 당해 GOP가 나타내는 프레임의 수와 동일한 기록매체.
  3. 제 1 항에 있어서,
    상기 스트림 선택테이블에서 상기 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 오프셋 보정치가 당해 스트림 번호에 더 할당되어 있고,
    상기 오프셋 보정치는 상기 그래픽스 스트림의 스트림 번호에 할당된 오프셋 식별자에 대응된 오프셋 정보의 보정에 이용되는 기록매체.
  4. 제 1 항에 있어서,
    2개의 재생구간이 심리스로 접속되어야 한다는 것을 상기 플레이리스트 정보가 규정할 때에는 상기 2개의 재생구간의 각각에 대한 스트림 선택테이블 사이에서 오프셋 식별자는 공통인 기록매체.
  5. 메인 뷰 비디오 스트림과 서브 뷰 비디오 스트림이 기록된 기록매체로,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하고,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하며,
    상기 메타 데이터는 상기 메인 뷰 픽처와 상기 서브 뷰 픽처로 구성되는 입체 시 영상의 레프트 뷰 픽처와 라이트 뷰 픽처에 대해서 각각이 나타내는 영상의 시야가 중첩되는 공통영역을 특정하기 위한 정보를 포함하는 기록매체.
  6. 제 5 항에 있어서,
    상기 레프트 뷰 픽처와 상기 라이트 뷰 픽처 각각으로부터 상기 공통영역을 제외한 영역은 상기 레프트 뷰 픽처의 좌단에 따라서 연장하고 있는 띠 형상 영역과 상기 라이트 뷰 픽처의 우단에 따라서 연장하고 있는 띠 형상 영역을 포함하고,
    상기 정보는 각 띠 형상 영역의 폭을 나타내는 기록매체.
  7. 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림 및 그래픽스 스트림이 기록된 기록매체로,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하고,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하며,
    상기 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함하고,
    상기 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되며,
    상기 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되고,
    상기 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사되며,
    상기 메타 데이터는 상기 그래픽스 플레인의 유효영역을 규정하는 정보를 포함하는 기록매체.
  8. 제 7 항에 있어서,
    상기 정보는 당해 그래픽스 플레인의 좌단과 우단의 각각에 따라서 연장하고 있는 2개의 띠 형상 영역의 폭을 나타내는 기록매체.
  9. 제 8 항에 있어서,
    상기 2개의 띠 형상 영역은 상기 그래픽스 플레인으로부터 절취되어야 할 영역인 기록매체.
  10. 제 8 항에 있어서,
    상기 2개의 띠 형상 영역은 그래픽스의 배치가 금지된 영역인 기록매체.
  11. 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 메인 뷰 그래픽스 스트림 및 서브 뷰 그래픽스 스트림이 기록된 기록매체로,
    상기 메인 뷰 비디오 스트림은 평면 시 영상을 구성하는 메인 뷰 픽처를 포함하고,
    상기 메인 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 메인 뷰를 구성하는 그래픽스 데이터를 포함하며,
    상기 서브 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 서브 뷰를 구성하는 그래픽스 데이터를 포함하고,
    상기 서브 뷰 비디오 스트림은 상기 메인 뷰 픽처가 구성하는 평면 시 영상과 동일한 평면 시 영상을 구성하는 픽처를 포함하는 기록매체.
  12. 기록매체로부터 영상을 재생하기 위한 재생장치로,
    상기 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 그래픽스 스트림 및 플레이리스트 정보가 기록되고,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하며,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하고,
    상기 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함하며,
    상기 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되고,
    상기 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되며,
    상기 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사되고,
    상기 메타 데이터는 상기 서브 뷰 비디오 스트림을 구성하는 그룹 오브 픽처(GOP) 별로 배치되어 있으며, 복수의 오프셋 정보와 상기 복수의 오프셋 정보에 대응하는 복수의 오프셋 식별자를 포함하고,
    상기 복수의 오프셋 정보는 GOP를 구성하는 복수의 픽처에 대한 오프셋 제어를 규정하는 제어정보이며,
    상기 오프셋 제어는 상기 그래픽스 플레인에 수평좌표의 좌측방향과 우측방향의 각 오프셋을 부여하여 메인 뷰 비디오 플레인과 서브 뷰 비디오 플레인의 각각에 합성하는 처리이며,
    상기 플레이리스트 정보는 재생구간정보를 적어도 1개 포함하고,
    각 재생구간정보는 하나의 재생구간의 개시위치와 종료위치를 나타내는 정보 및 상기 재생구간에 대한 스트림 선택테이블을 포함하며,
    상기 스트림 선택테이블은 상기 재생구간에서의 재생이 허가된 스트림 데이터의 패킷 식별자와 스트림 번호 사이의 대응 표이고,
    상기 스트림 선택테이블에서 상기 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 상기 복수의 오프셋 식별자의 1개가 당해 스트림 번호에 더 할당되어 있으며,
    상기 기록매체로부터 데이터를 판독하는 판독부와,
    상기 판독부에 의해 판독된 플레이리스트 정보로부터 재생구간정보를 차례로 해독하고, 재생구간별로 복호 대상의 스트림 데이터의 패킷 식별자와 오프셋 식별자를 선택하며, 상기 선택된 스트림 번호에 대응하는 패킷 식별자가 나타내는 스트림 데이터를 상기 판독부에 의해 판독된 스트림 데이터로부터 분리하여 비디오 플레인과 그래픽스 플레인 중 적어도 어느 하나로 복호하여, 상기 서브 뷰 비디오 스트림으로부터는 상기 메타 데이터를 추출하는 복호부와,
    상기 선택된 스트림 번호에 대응하는 오프셋 식별자를 이용하여 상기 복호부에 의해 추출된 메타 데이터로부터 오프셋 정보를 검색하고, 당해 오프셋 정보에 따라서 상기 그래픽스 플레인에 대하여 오프셋 제어를 실행하는 플레인 합성부를 구비한 재생장치.
  13. 제 12 항에 있어서,
    상기 서브 뷰 비디오 스트림의 종단에 위치하는 GOP로부터 영상이 재생된 시점에서부터 다음 GOP로부터 메타 데이터가 추출되는 시점까지 상기 플레인 합성부는 당해 GOP로부터 추출된 메타 데이터가 포함하는 오프셋 정보를 유지하는 재생장치.
  14. 기록매체로부터 영상을 재생하기 위한 재생장치로,
    상기 기록매체에는 메인 뷰 비디오 스트림과 서브 뷰 비디오 스트림이 기록되고,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하고,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하며,
    상기 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되고,
    상기 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되며,
    상기 메타 데이터는 상기 메인 뷰 픽처와 상기 서브 뷰 픽처로 구성되는 입체 시 영상의 레프트 뷰 픽처와 라이트 뷰 픽처에 대하여 각각이 나타내는 영상의 시야가 중첩되는 공통영역을 특정하기 위한 정보를 포함하고,
    상기 기록매체로부터 메인 뷰 비디오 스트림과 서브 뷰 비디오 스트림을 판독하는 판독부와,
    상기 판독부에 의해 판독된 메인 뷰 비디오 스트림과 서브 뷰 비디오 스트림을 각 비디오 플레인에 복호하여, 상기 서브 뷰 비디오 스트림에서 상기 메타 데이터를 추출하는 복호부와,
    상기 메타 데이터가 포함하는 정보를 기초로 각 비디오 플레인을 가공하여 상기 레프트 뷰 픽처와 상기 라이트 뷰 픽처에서 상기 공통영역을 제외한 영역을 숨기는 플레인 가공부를 구비한 재생장치.
  15. 제 14 항에 있어서,
    상기 플레인 가공부는 각 비디오 플레인에 있어서 상기 레프트 뷰 픽처와 상기 라이트 뷰 픽처에서 상기 공통영역을 제외한 영역을 배경색 또는 흑색으로 하는 재생장치.
  16. 제 15 항에 있어서,
    상기 플레인 가공부는 상기 공통영역을 각 비디오 플레인의 중앙으로 시프트 시키는 재생장치.
  17. 제 14 항에 있어서,
    상기 플레인 가공부는 각 비디오 플레인에 대한 크로핑 처리에 의해서 상기 레프트 뷰 픽처와 상기 라이트 뷰 픽처에서 상기 공통영역을 제외한 영역을 절취하여 상기 공통영역을 확대하는 재생장치.
  18. 기록매체로부터 영상을 재생하기 위한 재생장치로,
    상기 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림 및 그래픽스 스트림이 기록되고,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 메인 뷰 픽처를 포함하며,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 서브 뷰 픽처와 메타 데이터를 포함하고,
    상기 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함하며,
    상기 메인 뷰 픽처는 재생될 때에 메인 뷰 비디오 플레인에 묘사되고,
    상기 서브 뷰 픽처는 재생될 때에 서브 뷰 비디오 플레인에 묘사되며,
    상기 그래픽스 데이터는 재생될 때에 그래픽스 플레인에 묘사되고,
    상기 메타 데이터는 상기 그래픽스 플레인의 유효영역을 규정하는 정보를 포함하며,
    상기 정보는 당해 그래픽스 플레인의 좌단과 우단의 각각에 따라서 연장하고 있는 2개의 띠 형상 영역의 폭을 나타내고,
    상기 기록매체로부터 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림 및 그래픽스 스트림을 판독하는 판독부와,
    상기 판독부에 의해 판독된 스트림 데이터를 비디오 플레인과 그래픽스 플레인의 각각에 복호하여, 상기 서브 뷰 비디오 스트림으로부터 상기 메타 데이터를 추출하는 복호부와,
    상기 복호부에 의해 추출된 메타 데이터로부터 상기 그래픽스 플레인의 유효영역을 규정하는 정보를 추출하고, 상기 정보에 따라서 상기 그래픽스 플레인의 좌단과 우단의 양쪽에서 띠 형상 영역을 절취하는 플레인 합성부를 구비한 재생장치.
  19. 기록매체로부터 영상을 재생하기 위한 재생장치로,
    상기 기록매체에는 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 메인 뷰 그래픽스 스트림 및 서브 뷰 그래픽스 스트림이 기록되어 있고,
    상기 메인 뷰 비디오 스트림은 평면 시 영상을 구성하는 메인 뷰 픽처를 포함하며,
    상기 메인 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 메인 뷰를 구성하는 그래픽스 데이터를 포함하고,
    상기 서브 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 서브 뷰를 구성하는 그래픽스 데이터를 포함하며,
    상기 서브 뷰 비디오 스트림은 상기 메인 뷰 픽처가 구성하는 평면 시 영상과 동일한 평면 시 영상을 구성하는 픽처를 포함하고,
    상기 기록매체로부터 상기 메인 뷰 비디오 스트림, 상기 서브 뷰 비디오 스트림, 상기 메인 뷰 그래픽스 스트림 및 상기 서브 뷰 그래픽스 스트림을 판독하는 판독부와,
    상기 판독부에 의해 판독된 스트림을 복호하는 복호부와,
    상기 복호부에 의해 복호된 평면 시 영상과 입체 시 그래픽스 영상을 중첩하는 중첩부를 구비한 재생장치.
  20. 입체 시 영상과 평면 시 영상을 일련의 픽처 데이터로 부호화하는 부호화장치로,
    입체 시 영상을 부호화할 때는 일방의 시점(視點)의 영상을 메인 뷰 픽처 데이터로 부호화하고, 타방의 시점의 영상을 상기 메인 뷰 픽처 데이터를 참조하여 서브 뷰 픽처 데이터로 부호화하며,
    평면 시 영상을 부호화할 때에는 평면 시 영상을 메인 뷰 픽처 데이터로 부호화하고, 상기 평면 시 영상을 상기 메인 뷰 픽처 데이터를 참조하여 서브 뷰 픽처 데이터로 부호화하는 부호화장치.
  21. 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 그래픽스 스트림과 플레이리스트 정보가 기록된 기록매체로부터 수신한 데이터에 대하여 영상신호처리를 하는 반도체 집적회로로,
    상기 메인 뷰 비디오 스트림은 입체 시 영상의 메인 뷰를 구성하는 픽처 데이터를 포함하고,
    상기 서브 뷰 비디오 스트림은 입체 시 영상의 서브 뷰를 구성하는 픽처 데이터와 메타 데이터를 포함하며,
    상기 그래픽스 스트림은 평면 시 그래픽스 영상을 구성하는 그래픽스 데이터를 포함하고,
    상기 메인 뷰 비디오 스트림은 메인 뷰 트랜스포트 스트림에 다중화된 후, 복수의 메인 뷰 데이터 군으로 분할되며,
    상기 서브 뷰 비디오 스트림은 서브 뷰 트랜스포트 스트림에 다중화된 후, 복수의 서브 뷰 데이터 군으로 분할되고,
    상기 메인 뷰 데이터 군과 서브 뷰 데이터 군은 교호로 배치되어서 기록되어 있으며,
    상기 그래픽스 스트림은 상기 메인 뷰 트랜스포트 스트림 및 상기 서브 뷰 트랜스포트 스트림의 어느 일방 혹은 양방에 다중화되어 있고, 상기 메인 뷰 데이터 군과 상기 서브 뷰 데이터 군의 적어도 하나는 상기 그래픽스 데이터를 포함하며,
    상기 그래픽스 데이터가 묘사된 플레인에는 수평좌표의 + 방향 및 - 방향의 각 오프셋이 부여되고, 또 상기 메인 뷰를 구성하는 픽처 데이터와 상기 서브 뷰를 구성하는 픽처 데이터가 각각 중첩되며,
    상기 메타 데이터는 상기 서브 뷰 비디오 스트림을 구성하는 그룹 오브 픽처(GOP) 별로 배치되어 있고, 복수의 오프셋 정보와 상기 복수의 오프셋 정보에 대응하는 복수의 오프셋 식별자를 포함하며,
    상기 복수의 오프셋 정보는 GOP를 구성하는 복수의 픽처에 대한 오프셋 제어를 규정하는 제어정보이며, 상기 그래픽스 플레인의 오프셋 값을 화소 수로 나타내는 정보를 포함하고,
    상기 플레이리스트 정보는 재생구간정보를 적어도 1개 포함하며,
    각 재생구간정보는 하나의 재생구간의 개시위치와 종료위치를 나타내는 정보 및 상기 재생구간에 대한 스트림 선택테이블을 포함하고,
    상기 스트림 선택테이블은 상기 재생구간에서의 재생이 허가된 스트림의 패킷 식별자와 스트림 번호 사이의 대응 표이며,
    상기 스트림 선택테이블에서 상기 그래픽스 스트림의 패킷 식별자에 스트림 번호가 대응되어 있는 경우에는 당해 스트림 번호에 상기 복수의 오프셋 식별자 중 하나가 할당되어 있고,
    상기 반도체 집적회로는
    상기 기록매체로부터 데이터를 수신하여 상기 반도체 집적회로의 내부 또는 외부에 설치된 메모리에 일단 저장한 후, 상기 픽처 데이터와 상기 그래픽스 데이터로 다중분리하는 스트림 처리부와,
    상기 픽처 데이터와 상기 그래픽스 데이터를 각각 디코드하는 신호처리부와,
    디코드 된 상기 픽처 데이터와 상기 그래픽스 데이터를 중첩하여 출력하는 AV 출력부를 구비하고 있으며,
    상기 스트림 처리부는 수신한 상기 데이터의 저장 처를 상기 메모리 내의 제 1 영역과 제 2 영역 사이에서 전환하는 스위칭부를 구비하고,
    상기 주 제어부는 상기 메인 뷰 데이터 군에 속해 있는 데이터를 상기 제 1 영역에 저장하도록 상기 스위칭부를 제어하고, 상기 서브 뷰 데이터 군에 속해 있는 데이터를 상기 제 2 영역에 저장하도록 상기 스위칭부를 제어하며,
    상기 AV 출력부는 상기 디코드 된 픽처 데이터와 그래픽스 데이터를 중첩하는 화상 중첩부를 구비하고 있고,
    상기 신호처리부는,
    상기 디코드 된 픽처 데이터 중 상기 메인 뷰 데이터 군에 속해 있는 데이터를 메인 뷰 비디오 플레인에 대응하는 상기 메모리 내의 제 3 영역에 저장하고,
    상기 서브 뷰 데이터 군에 속해 있는 데이터를 서브 뷰 비디오 플레인에 대응하는 상기 메모리 내의 제 4 영역에 저장하며,
    상기 디코드 된 그래픽스 데이터를 그래픽스 플레인에 대응하는 상기 메모리 내의 제 5 영역에 저장하고,
    상기 신호처리부는 상기 서브 뷰 비디오 스트림으로부터 상기 메타 데이터를 추출하여 상기 화상 중첩부에 통지하며,
    상기 화상 중첩부는 상기 스트림 선택테이블에서의 오프셋 식별자를 이용하여 상기 메타 데이터 중에서 오프셋 정보를 검색하고, 당해 오프셋 정보에 의거하여 상기 그래픽스 플레인에 수평좌표의 + 방향 및 - 방향의 각 오프셋을 부여하여 상기 메인 뷰 비디오 플레인 및 상기 서브 뷰 비디오 플레인을 각각 중첩하는 것을 특징으로 하는 반도체 집적회로.
  22. 일련의 영상프레임 데이터로 구성되는 영상 스트림과 일련의 음성프레임 데이터로 구성되는 음성 스트림이 다중화된 스트림을 수신하여, 수신된 상기 스트림으로부터 입체 시 영상을 재생 및 출력하는 재생출력장치로,
    상기 스트림을 수신하는 수신부와,
    상기 수신된 스트림으로부터 영상데이터와 음성데이터를 분리하는 스트림 처리부와,
    상기 영상데이터와 상기 음성데이터를 각각 일련의 영상프레임 데이터와 일련의 음성프레임 데이터로 디코드하는 신호처리부와,
    디코드 된 상기 일련의 영상프레임 데이터와 일련의 음성프레임 데이터를 출력하는 출력부를 구비하고,
    입체 시 영상을 출력할 때는 상기 일련의 영상프레임 데이터에서 일부의 화소 데이터를 제거하는 것을 특징으로 하는 재생출력장치.
  23. 제 22 항에 있어서,
    상기 일부의 화소 데이터는 각 영상프레임의 양단의 띠 형상 영역에 위치하는 화소 데이터를 포함하는 것을 특징으로 하는 재생출력장치.
  24. 일련의 영상프레임 데이터로 구성되는 영상 스트림과 그래픽스 데이터로 구성되는 그래픽스 스트림이 다중화된 스트림을 수신하여, 수신된 상기 스트림으로부터 입체 시 영상을 재생 및 출력하는 재생출력장치로,
    상기 스트림을 수신하는 수신부와,
    상기 수신된 스트림으로부터 영상데이터와 그래픽스 데이터를 분리하는 스트림 처리부와,
    상기 영상데이터를 일련의 영상프레임 데이터로 디코드하고, 상기 그래픽스 데이터를 디코드하는 신호처리부와,
    디코드 된 상기 일련의 영상프레임 데이터에 디코드 된 상기 그래픽스 데이터를 중첩하여 출력하는 출력부를 구비하고,
    디코드 된 상기 그래픽스 데이터에서 일부를 제거하는 것을 특징으로 하는 재생출력장치.
  25. 메인 뷰 비디오 스트림, 서브 뷰 비디오 스트림, 메인 뷰 그래픽스 스트림 및 서브 뷰 그래픽스 스트림이 기록된 기록매체로부터 수신한 데이터에 대하여 영상신호처리를 실행하는 반도체 집적회로로,
    상기 메인 뷰 비디오 스트림은 평면 시 영상을 구성하는 픽처 데이터를 포함하고,
    상기 서브 뷰 비디오 스트림은 상기 평면 시 영상과 동일한 평면 시 영상을 구성하는 픽처 데이터를 포함하며,
    상기 메인 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 메인 뷰를 구성하는 메인 뷰 그래픽스 데이터를 포함하고,
    상기 서브 뷰 그래픽스 스트림은 입체 시 그래픽스 영상의 서브 뷰를 구성하는 서브 뷰 그래픽스 데이터를 포함하며,
    상기 메인 뷰 비디오 스트림은 메인 뷰 트랜스포트 스트림에 다중화된 후, 복수의 메인 뷰 데이터 군으로 분할되고,
    상기 서브 뷰 비디오 스트림은 서브 뷰 트랜스포트 스트림에 다중화된 후, 복수의 서브 뷰 데이터 군으로 분할되며,
    상기 메인 뷰 데이터 군과 상기 서브 뷰 데이터 군은 교호로 배치되어 기록되어 있고,
    상기 메인 뷰 그래픽스 스트림은 상기 메인 뷰 트랜스포트 스트림 및 상기 서브 뷰 트랜스포트 스트림의 어느 일방 또는 양방에 다중화되어 있고,
    상기 서브 뷰 그래픽스 스트림은 상기 메인 뷰 트랜스포트 스트림 및 상기 서브 뷰 트랜스포트 스트림의 어느 일방 또는 양방에 다중화되어 있으며,
    상기 메인 뷰 데이터 군과 상기 서브 뷰 데이터 군의 적어도 어느 하나는 상기 메인 뷰 그래픽스 데이터와 상기 서브 뷰 그래픽스 데이터의 어느 일방 또는 양방을 포함하고,
    상기 반도체 집적회로는,
    상기 기록매체로부터 상기 메인 뷰 데이터 군과 상기 서브 뷰 데이터 군이 교호로 배치된 데이터를 수신하여 상기 반도체 집적회로의 내부 또는 외부에 설치된 메모리에 일단 저장한 후, 상기 픽처 데이터와 상기 그래픽스 데이터로 다중 분리하는 스트림 처리부와,
    상기 메인 뷰 데이터 군에 속해 있는 픽처 데이터, 상기 서브 뷰 데이터 군에 속하는 픽처 데이터, 상기 메인 뷰 그래픽스 데이터, 상기 서브 뷰 그래픽스 데이터를 각각 디코드하는 신호처리부와,
    디코드 된 상기 메인 뷰 데이터 군에 속해 있는 픽처 데이터, 상기 서브 뷰 데이터 군에 속하는 픽처 데이터, 상기 메인 뷰 그래픽스 데이터 및 상기 서브 뷰 그래픽스 데이터를 중첩하여 출력하는 AV 출력부를 구비하고 있고,
    상기 스트림 처리부는 수신한 상기 데이터의 저장 처를 상기 메모리 내의 제 1 영역과 제 2 영역 사이에서 전환하는 스위칭부를 구비하고 있으며,
    상기 주 제어부는 상기 메인 뷰 데이터 군에 속해 있는 픽처 데이터를 상기 메모리 내의 제 1 영역에 저장하도록 상기 스위칭부를 제어하고, 상기 서브 뷰 데이터 군에 속해 있는 픽처 데이터를 상기 메모리 내의 제 2 영역에 저장하도록 상기 스위칭부를 제어하며,
    상기 AV 출력부는 디코드 된 상기 메인 뷰 데이터 군에 속해 있는 픽처 데이터와 상기 메인 뷰 그래픽스 데이터를 중첩하고, 디코드 된 상기 서브 뷰 데이터 군에 속해 있는 픽처 데이터와 상기 서브 뷰 그래픽스 데이터를 중첩하는 화상 중첩부를 구비하고 있는 것을 특징으로 하는 반도체 집적회로.
KR20117002406A 2009-05-19 2010-05-17 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치 KR20140014346A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009120850 2009-05-19
JPJP-P-2009-120850 2009-05-19
JPJP-P-2009-126912 2009-05-26
JP2009126912 2009-05-26
PCT/JP2010/003319 WO2010134316A1 (ja) 2009-05-19 2010-05-17 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置

Publications (1)

Publication Number Publication Date
KR20140014346A true KR20140014346A (ko) 2014-02-06

Family

ID=43126009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20117002406A KR20140014346A (ko) 2009-05-19 2010-05-17 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치

Country Status (11)

Country Link
US (2) US8208790B2 (ko)
EP (1) EP2434769B1 (ko)
JP (6) JP4714307B2 (ko)
KR (1) KR20140014346A (ko)
CN (1) CN102113334B (ko)
BR (1) BRPI1004002A2 (ko)
MX (1) MX2011000947A (ko)
RU (1) RU2533300C2 (ko)
TW (1) TW201127021A (ko)
WO (1) WO2010134316A1 (ko)
ZA (1) ZA201100663B (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8749409B2 (en) * 2006-08-25 2014-06-10 Sony Computer Entertainment Inc. Entropy decoding methods and apparatus using most probable and least probable signal cases
JP4947389B2 (ja) 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
KR20120104485A (ko) * 2009-07-10 2012-09-21 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법
JP5371727B2 (ja) * 2009-12-16 2013-12-18 キヤノン株式会社 立体映像処理装置及び立体映像処理装置の制御方法
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
JP2011254239A (ja) * 2010-06-01 2011-12-15 Sony Corp 記録装置、再生装置、記録再生システム、記録媒体およびプログラム
EP2579583B1 (en) * 2010-06-02 2017-09-27 Hitachi Maxell, Ltd. Reception device, display control method, transmission device, and transmission method
KR20120017649A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5356342B2 (ja) * 2010-09-16 2013-12-04 株式会社ソニー・コンピュータエンタテインメント 動画像処理装置および動画像処理方法
KR20120029690A (ko) * 2010-09-17 2012-03-27 삼성전자주식회사 디스플레이 장치 및 그 영상 처리 방법
US9888232B2 (en) * 2011-01-17 2018-02-06 Sony Corporation 3D motion picture processing device
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US8913104B2 (en) * 2011-05-24 2014-12-16 Bose Corporation Audio synchronization for two dimensional and three dimensional video signals
JP2013005163A (ja) * 2011-06-15 2013-01-07 Panasonic Corp 立体視対応映像表示装置及び方法
JP5860634B2 (ja) * 2011-08-23 2016-02-16 任天堂株式会社 情報処理システム、情報処理方法、サーバプログラム、サーバ装置、および、サーバシステム
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
US9538177B2 (en) * 2011-10-31 2017-01-03 Mediatek Inc. Apparatus and method for buffering context arrays referenced for performing entropy decoding upon multi-tile encoded picture and related entropy decoder
JPWO2013099289A1 (ja) * 2011-12-28 2015-04-30 パナソニック株式会社 再生装置、送信装置、再生方法及び送信方法
TW201337577A (zh) * 2012-02-20 2013-09-16 Compal Electronics Inc 資料傳輸方法、系統及使用該方法的電子裝置
KR20140049832A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 블루레이 디스크와 이를 재생하기 위한 블루레이 디스크 재생 장치 및 그 자막 표시 방법
WO2014069920A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Recording medium, reproducing device for providing service based on data of recording medium, and method thereof
US8826346B1 (en) * 2013-03-15 2014-09-02 General Instrument Corporation Methods of implementing trickplay
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN104102857B (zh) * 2014-07-17 2017-02-15 浪潮电子信息产业股份有限公司 一种windows系统下的可执行文件全生命周期安全管理系统
EP4280598A3 (en) * 2014-09-12 2024-02-21 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
WO2016132482A1 (ja) * 2015-02-18 2016-08-25 三菱電機株式会社 再生装置及び再生方法
US10417003B1 (en) 2015-08-31 2019-09-17 Ambarella, Inc. Data unit synchronization between chained pipelines
US10649028B2 (en) 2016-01-05 2020-05-12 International Business Machines Corporation Logic built in self test circuitry for use in an integrated circuit with scan chains
US10088524B2 (en) 2016-01-05 2018-10-02 International Business Machines Corporation Logic built in self test circuitry for use in an integrated circuit with scan chains
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer
EP3293981A1 (en) 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
CN106600573B (zh) * 2016-12-27 2020-07-14 宁波视睿迪光电有限公司 一种图像处理方法
EP3649776A4 (en) 2017-07-03 2020-11-04 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2019199040A1 (ko) * 2018-04-10 2019-10-17 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
WO2019203207A1 (ja) * 2018-04-19 2019-10-24 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US11369874B2 (en) * 2020-04-29 2022-06-28 Lenovo (Singapore) Pte. Ltd. Rendering video game on display device using GPU in display device and video game data from second device
GB2595696B (en) 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming
CN112380378B (zh) * 2020-11-17 2022-09-02 北京字跳网络技术有限公司 歌词特效展示方法、装置、电子设备及计算机可读介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269657B2 (ja) * 1992-05-07 2002-03-25 日本電信電話株式会社 両眼立体視装置
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6502199B2 (en) 1995-09-29 2002-12-31 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
KR100348922B1 (ko) 1996-02-28 2002-11-18 마쯔시다덴기산교 가부시키가이샤 고해상도및입체영상기록용광디스크,광디스크재생장치및광디스크기록장치
KR100354418B1 (ko) 1996-12-04 2002-09-28 마쯔시다덴기산교 가부시키가이샤 고해상도 및 입체 영상 기록용 광디스크, 광디스크 재생 장치,및 광디스크 기록 장치
EP1708487B1 (en) 1997-08-29 2013-05-08 Panasonic Corporation Method and apparatus for reading a high-resolution optical video disc
JP3643557B2 (ja) * 2001-12-28 2005-04-27 株式会社東芝 記録再生装置
EP1516328B1 (en) * 2002-06-21 2013-11-13 LG Electronics, Inc. Recording medium having data structure for managing reproduction of video data recorded thereon
JP2004274091A (ja) * 2003-01-15 2004-09-30 Sharp Corp 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JP2004248212A (ja) * 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP4393151B2 (ja) * 2003-10-01 2010-01-06 シャープ株式会社 画像データ表示装置
JP2005123775A (ja) 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
DE602005023285D1 (de) 2004-03-26 2010-10-14 Lg Electronics Inc Speichermedium,verfahren, und gerät zum wiedergeben von untertiteldatenströmen
KR20060047266A (ko) 2004-04-26 2006-05-18 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP4608953B2 (ja) 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
DE602005023449D1 (de) * 2004-06-18 2010-10-21 Panasonic Corp Wiedergabeeinrichtung, programm und wiedergabeverfahren
JP4575129B2 (ja) * 2004-12-02 2010-11-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体
US20100091012A1 (en) * 2006-09-28 2010-04-15 Koninklijke Philips Electronics N.V. 3 menu display
JP2010510558A (ja) * 2006-10-11 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元グラフィックスのデータの作成
AR064274A1 (es) 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
JP4291862B2 (ja) * 2007-07-04 2009-07-08 稔 稲葉 立体テレビジョンシステム及び立体テレビジョン受像機
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4946874B2 (ja) 2008-01-09 2012-06-06 ソニー株式会社 再生装置および再生方法
US8508582B2 (en) * 2008-07-25 2013-08-13 Koninklijke Philips N.V. 3D display handling of subtitles
BRPI1001265A2 (pt) * 2009-02-19 2016-02-16 Panasonic Corp meio de gravação, dispositivo de reprodução, circuito integrado
JP4919122B2 (ja) * 2009-04-03 2012-04-18 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device

Also Published As

Publication number Publication date
CN102113334A (zh) 2011-06-29
WO2010134316A1 (ja) 2010-11-25
JP5432194B2 (ja) 2014-03-05
US20110129198A1 (en) 2011-06-02
JP2011135597A (ja) 2011-07-07
JP2011166762A (ja) 2011-08-25
JP4714307B2 (ja) 2011-06-29
EP2434769A4 (en) 2013-11-06
US20120189274A1 (en) 2012-07-26
EP2434769B1 (en) 2016-08-10
TW201127021A (en) 2011-08-01
BRPI1004002A2 (pt) 2018-06-19
US8208790B2 (en) 2012-06-26
JPWO2010134316A1 (ja) 2012-11-08
RU2533300C2 (ru) 2014-11-20
ZA201100663B (en) 2012-04-25
JP5596585B2 (ja) 2014-09-24
JP2011166763A (ja) 2011-08-25
JP5547668B2 (ja) 2014-07-16
JP5491427B2 (ja) 2014-05-14
JP2011135596A (ja) 2011-07-07
US8699853B2 (en) 2014-04-15
MX2011000947A (es) 2011-03-02
JP2011172219A (ja) 2011-09-01
EP2434769A1 (en) 2012-03-28
RU2011103171A (ru) 2013-06-27
CN102113334B (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5491427B2 (ja) 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
JP5451656B2 (ja) 記録媒体、再生装置、及び集積回路
US8290338B2 (en) Recording medium, playback device, encoding device, integrated circuit, and playback output device
JP5551654B2 (ja) 半導体集積回路
JP5457299B2 (ja) 記録媒体、再生装置、及び集積回路
WO2010113454A1 (ja) 記録媒体、再生装置、及び集積回路
KR20110126516A (ko) 기록매체, 재생장치 및 집적회로
KR20110132546A (ko) 기록매체, 재생장치 및 집적회로

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid