KR20130044220A - 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20130044220A
KR20130044220A KR1020127025414A KR20127025414A KR20130044220A KR 20130044220 A KR20130044220 A KR 20130044220A KR 1020127025414 A KR1020127025414 A KR 1020127025414A KR 20127025414 A KR20127025414 A KR 20127025414A KR 20130044220 A KR20130044220 A KR 20130044220A
Authority
KR
South Korea
Prior art keywords
information
image
data
file
dimensional image
Prior art date
Application number
KR1020127025414A
Other languages
English (en)
Inventor
도시야 하마다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130044220A publication Critical patent/KR20130044220A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/10611—3D video data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

기록 미디어에 기록된 3차원 화상의 구성 프레임에 관한 속성 정보를 용이하게 취득 가능하게 한 데이터 기록 재생 구성을 실현한다. 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록한다. 부호화 방식이 프레임 시퀀셜 방식인 경우, 각 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 기록하고, 부호화 방식이 L 화상 또는 R 화상 프레임 중 어느 한쪽을 복호 시에 참조하는 뷰간 참조형 부호화 방식인 경우, LR 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 기록한다. 이러한 구성에 의해, 재생 장치는 재생 대상 데이터의 해석을 행함 없이 프레임 속성을 판정할 수 있다.

Description

정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은, 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램에 관한 것이다. 더욱 상세하게는, 디스크나 플래시 메모리 등의 기록 미디어를 이용한 3차원 화상(3D 화상)의 데이터 기록 처리 또는 데이터 재생 처리를 실행하는 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램에 관한 것이다.
요즘, 3차원 화상(3D 화상)을 표시 가능하게 한 텔레비전 등의 표시 장치나, 3차원 화상(3D 화상)을 기록 가능하게 한 비디오 카메라, 스틸 카메라 등이 개발되어 이용되고 있다. 3D 화상은 서로 다른 시점에서의 촬영 화상, 즉 좌안용 화상과 우안용 화상을 이용해서 표시 처리가 행해진다. 따라서, 3차원 화상을 미디어에 기록하는 경우는, 좌안용 화상과 우안용 화상의 1조의 화상을 기록하는 것이 필요하며, 재생 처리시에는 이들 1조의 화상을 이용해서 재생을 행하게 된다.
3차원 화상 데이터의 기록 혹은 전송시에 행해지는 부호화 방식에는 다양한 방식이 있다. 예를 들어, 대표적인 방식으로서,
프레임 시퀀셜(Frame Sequential) 방식,
사이드 바이 사이드(Side by Side) 방식,
톱 앤드 보텀(Top & Bottom) 방식,
이러한 방식이 알려져 있다.
프레임 시퀀셜(Frame Sequential) 방식은, 좌안용 화상(L 화상)과 우안용 화상(R 화상)의 프레임을 L, R, L, R, …로 교대로 기록/전송하는 부호화 방식이다.
사이드 바이 사이드(Side by Side) 방식은, LR 화상을 1 프레임 화상 중의 좌우로 분할해서 기록/전송하는 부호화 방식이다.
톱 앤드 보텀(Top & Bottom) 방식은, LR 화상을 1 프레임 화상 중의 상하로 분할해서 기록/전송하는 부호화 방식이다.
현행은 이러한 다양한 방식이 혼재되어 이용되고 있다. 예를 들어, 텔레비전 방송용으로 임의의 방송국이 배신하고 있는 3D 콘텐츠는 사이드 바이 사이드 방식이다. 또한, 임의의 비디오 카메라에 의한 기록 방식은 프레임 시퀀셜 방식이다. 이러한 다양한 방식이 혼재하고 있는 현 상황에서는, 예를 들어 녹화 재생기에 데이터를 기록하는 경우, 각각의 방식을 판별하기 위한 정보나 각 방식에 대응한 제어 정보나 속성 정보를 기록하는 것이 필요해진다. 또한 재생시에는 각 방식을 판별해서 각 방식에 따른 제어 정보나 속성 정보를 이용하여 재생하는 것이 필요하다. 그러나, 현행의 미디어에 대한 영상 기록이나 재생 규격에는, 이러한 다양한 3차원 화상 방식의 제어 정보나 속성 정보의 기록 영역이 설정되어 있지 않은 것이 존재한다는 문제가 있다.
예를 들어, 영상의 기록 재생 어플리케이션 규격(포맷)으로서 BDMV나 BDAV 규격(포맷)이 있다. 이들 어플리케이션 규격은, 주로 BD(Blu-ray Disc(등록 상표))를 이용한 데이터 기록 재생 어플리케이션 규격으로서 책정된 것이다. 또한, BD 규격에 대해서는 예를 들어 특허문헌 1(일본 특허 공개 제2002-158972호 공보), 특허문헌 2(일본 특허 공개 제2007-179671호 공보)에 기재가 있다. 또한, BDMV나 BDAV는, 주로 BD를 이용한 데이터 기록 재생의 어플리케이션 규격이지만, 이들 규격은 BD에 한하지 않고, 플래시 메모리 등, 그 밖의 BD 이외의 미디어를 이용한 데이터 기록 재생에도 적용 가능하다.
BDMV는, 예를 들어 영화 콘텐츠 등을 미리 기록한 BD-ROM용으로 개발된 어플리케이션 규격이며, 주로, 패키지 콘텐츠 등의 재기입 불가능한 BD-ROM에서 널리 사용되고 있다. BDMV는, 유저 조작에 따라서 재생을 제어하는 프로그램으로서의 내비게이터 커맨드나 BD-J를 디스크에 저장하여, 콘텐츠 제작자가 의도한 다양한 인터랙티브(interactive) 기능을 제공할 수 있다는 특징이 있다. 또한 그래픽과 버튼으로 구성한 메뉴 화면을 이용한 기록 재생을 할 수 있다는 특징이 있다.
BDMV 규격은, 상술한 바와 같이 주로 영화 콘텐츠 등을 미리 기록한 BD-ROM용의 어플리케이션 규격이며, 콘텐츠 제작자의 의도에 따른 콘텐츠의 기록 재생이 가능하도록 콘텐츠 고유의 다양한 제어 정보나 속성 정보를 기록할 수 있는 사양으로 되어 있다. 3차원 화상의 기록 재생에 반드시 필요한 제어 정보나 속성 정보에 대해서도 BDMV 규격에 따라 기록 가능하며, 이미, 3D 콘텐츠가 기록된 BDMV 규격 대응의 디스크가 유저에게 제공되어 있다.
또한, 2009년 12월에, BDA(Blu-ray Disc Association)는, BD 대응의 3차원 화상 기록 재생 방식에 관한 블루레이 3D(Blu-ray 3D)의 사양을 최종 결정했음을 발표하여, 소비자가 가정에서 3D 체험을 즐기는 환경이 갖춰지고 있다. 이 사양에 대해서는, 비특허 문헌 1 [http://www.blu-raydisc.com/jp/Press/PressRelease.html]에 기재되어 있다. 이 사양은, 판독 전용 미디어인 BD-ROM에 3D 콘텐츠를 저장 가능하게 한 확장된 BDMV 규격이며, "BD-ROM Part3 ver2.4"로서 규정되어 있다.
한편, BDAV는, 주로 재기입 가능한 BD-RE형 디스크나, 1회만 기록 가능한 BD-R형 디스크 등을 이용한 데이터 기록 재생 처리에 적용할 것을 목적으로 해서 개발된 규격이다. BDAV는, 예를 들어 유저가 비디오 카메라 등으로 촬영한 영상을 BD-RE형 디스크나 BD-R형 디스크에 기록해서 재생할 때에 이용된다. 혹은, 비디오 레코더 등에 텔레비전 방송을 기록해서 재생하는데 이용된다. 그러나, BDAV 규격은 유저에 의한 용이한 데이터의 기록을 가능하게 하기 때문에, 복잡한 제어 정보의 기록이나 재생에는 부적합하다는 특징이 있다. 예를 들어, BDMV에 비교하면 인터랙티브 기능이나 콘텐츠 기록 재생을 위한 다양한 제어를 실현하기 위한 기능이 적다는 특징이 있다.
상술한 바와 같이 BD-ROM용의 BDMV 규격은 3차원 화상의 기록 재생이 가능하지만, 현행의 BDAV 규격은 3차원 화상 콘텐츠를 기록하여 재생하는데 필요한 정보의 기록 영역이 규정되어 있지 않다. 또한, BD-ROM 용도가 아닌, 재기입 가능한 기록 매체나 1회만 기록 가능한 기록 매체를 이용한 데이터 기록 재생 어플리케이션 규격이며, BDMV 규격이라고도 불리는 BD-RE Part3 ver 3.x에서도, BDAV 규격과 마찬가지로, 3차원 화상 콘텐츠를 기록하여 재생하는데 필요한 정보의 기록 영역이 규정되어 있지 않다.
따라서, 3차원 화상을 촬영 가능한 카메라에 의해 촬영된 3차원 화상 데이터를 BDAV 규격으로 기록해도, 3차원 화상의 재생에 필요한 데이터가 상실되어, 3차원 화상의 재생을 할 수 없게 될 가능성이 있다. 마찬가지로, 방송파로서 수신하는 3차원 화상 콘텐츠를 BD 레코더 등에 의해 BDAV 규격으로 기록해도 3차원 화상의 재생에 필요한 데이터가 상실되어, 3차원 화상의 재생을 할 수 없게 된다는 문제가 발생할 가능성이 있었다.
일본 특허 공개 제2002-158972호 공보 일본 특허 공개 제2007-179671호 공보
http://www.blu-raydisc.com/jp/Press/PressRelease.html
본 발명은, 예를 들어 상술한 상황을 감안하여 이루어진 것이며, 3차원 화상의 기록 재생에 필요한 정보의 기록이나, 이들 정보를 이용한 3차원 화상의 재생을 실현하는 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일 실시 형태에서는, 예를 들어 BDAV 규격 등, 3차원 화상의 기록 재생에 반드시 필요한 정보의 기록 영역이 규정되어 있지 않은 규격을 적용한 데이터 기록 재생 처리에서, 3차원 화상의 기록이나 재생을 가능하게 하는 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
기록 미디어에 대한 데이터 기록 처리를 행하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행하고, 상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함하여 기록하는 정보 처리 장치에 있다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 데이터 처리부는, 상기 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 상기 속성 정보로서 상기 관리 정보 파일에 기록하는 처리를 실행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 데이터 처리부는, 상기 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우, L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 상기 속성 정보로서 상기 관리 정보 파일에 기록하는 처리를 실행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 데이터 처리부는, 또한 상기 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 상기 속성 정보에 포함해서 상기 관리 정보 파일에 기록한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 데이터 처리부는,
(a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
(b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위로 상기 속성 정보를 기록한다.
또한, 본 발명의 제2 측면은,
기록 미디어로부터의 데이터 재생 처리를 행하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독하고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득하고, 취득한 속성 정보에 따라서 복호 처리를 행하는, 정보 처리 장치에 있다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 상기 속성 정보는 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 포함하고, 상기 데이터 처리부는, 상기 관리 정보 파일로부터 상기 프레임 식별 데이터를 판독하고, 판독한 프레임 식별 데이터에 따라서 좌안용 화상(L 화상)과 우안용 화상(R 화상)을 정확하게 판별한 복호 처리를 실행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우, 상기 속성 정보는, L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 포함하고, 상기 데이터 처리부는, 상기 관리 정보 파일로부터 상기 베이스 화상 식별 데이터를 판독하고, 판독한 베이스 화상 식별 데이터에 따라서 베이스 뷰를 정확하게 판별한 복호 처리를 실행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 속성 정보는, 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 포함하고, 상기 데이터 처리부는, 상기 3차원 화상 구성 정보에 기초하여, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식을 판별한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에서, 상기 속성 정보는,
(a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
(b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 기록되고,
상기 데이터 처리부는,
플레이 리스트 파일, 이어서 클립 정보 파일의 순으로 재생 대상 데이터에 따라서 선택되는 관리 정보 파일로부터 관리 데이터 단위의 속성 정보를 판독한다.
또한, 본 발명의 제3 측면은,
화상 데이터를 기록한 정보 기록 매체로서,
재생 대상으로 되는 콘텐츠로서 3차원 화상 데이터를 저장한 스트림 파일과,
상기 콘텐츠의 관리 정보를 저장한 계층화 구성을 갖는 관리 정보 파일을 기록 데이터로서 갖고,
계층화된 상기 관리 정보 파일의 각각은, 기록 콘텐츠에 포함되는 3차원 화상의 속성 정보로서, 상기 3차원 화상의 구성 프레임에 관한 속성 정보를 저장하고,
상기 콘텐츠를 재생하는 재생 장치가, 관리 정보 파일의 계층에 따라서 상기 속성 정보를 순차 참조함으로써, 정보 기록 매체의 기록 콘텐츠에 포함되는 3차원 화상의 구성 프레임에 관한 속성을 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 해석 가능하게 한 구성을 갖는 정보 기록 매체에 있다.
또한, 본 발명의 정보 기록 매체의 일 실시 형태에서, 상기 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 상기 속성 정보는 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 포함하고, 상기 재생 장치가, 상기 관리 정보 파일로부터 상기 프레임 식별 데이터를 판독하고, 판독한 프레임 식별 데이터에 따라서 좌안용 화상(L 화상)과 우안용 화상(R 화상)을 정확하게 판별한 복호 처리를 실행 가능하게 하였다.
또한, 본 발명의 정보 기록 매체의 일 실시 형태에서, 상기 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우, 상기 속성 정보는 L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 포함하고, 상기 재생 장치가, 상기 관리 정보 파일로부터 상기 베이스 화상 식별 데이터를 판독하고, 판독한 베이스 화상 식별 데이터에 따라서 베이스 뷰를 정확하게 판별한 복호 처리를 실행 가능하게 하였다.
또한, 본 발명의 정보 기록 매체의 일 실시 형태에서, 상기 속성 정보는 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 포함하고, 상기 재생 장치가, 상기 3차원 화상 구성 정보에 기초하여, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식을 판별 가능하게 하였다.
또한, 본 발명의 정보 기록 매체의 일 실시 형태에서, 상기 속성 정보는,
(a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
(b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 기록되고,
상기 재생 장치가, 먼저 플레이 리스트 파일, 이어서 클립 정보 파일의 순으로 재생 대상 데이터에 따라서 선택되는 관리 정보 파일로부터 상기 속성 정보를 판독하고, 각 관리 정보 파일을 관리하는 데이터 단위로 3차원 화상의 구성 프레임에 관한 속성을 해석 가능하게 하였다.
또한, 본 발명의 제4 측면은,
정보 처리 장치에서 기록 미디어에 대한 데이터 기록 처리를 실행하는 정보 처리 방법으로서,
데이터 처리부가, 기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행하고,
상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함해서 기록하는 정보 처리 방법에 있다.
또한, 본 발명의 제5 측면은,
정보 처리 장치에서 기록 미디어로부터의 데이터 재생 처리를 실행하는 정보 처리 방법으로서,
데이터 처리부가, 기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독하고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득하고, 취득한 속성 정보에 따라서 복호 처리를 행하는 정보 처리 방법에 있다.
또한, 본 발명의 제6 측면은,
정보 처리 장치에서 기록 미디어에 대한 데이터 기록 처리를 실행시키는 프로그램으로서,
데이터 처리부에, 기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행시키고,
상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함해서 기록하는 처리를 실행시키는 프로그램에 있다.
또한, 본 발명의 제7 측면은,
정보 처리 장치에서 기록 미디어로부터의 데이터 재생 처리를 실행시키는 프로그램으로서,
데이터 처리부에, 기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독시키고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득시켜서, 취득한 속성 정보에 따라서 복호 처리를 행하게 하는 프로그램에 있다.
또한, 본 발명의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대해 예를 들어 기억 매체에 의해 제공되는 프로그램이다. 이러한 프로그램을 정보 처리 장치나 컴퓨터·시스템상의 프로그램 실행부에서 실행함으로써 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한되지는 않는다.
본 발명의 일 실시예에 의하면, 기록 미디어에 기록된 3차원 화상의 구성 프레임에 관한 속성 정보를 용이하게 취득 가능하게 한 데이터 기록 재생 구성을 실현한다. 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록한다. 부호화 방식이 프레임 시퀀셜 방식인 경우, 각 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 기록하고, 부호화 방식이 L 화상 또는 R 화상 프레임 중 어느 한쪽을 복호 시에 참조하는 뷰간 참조형 부호화 방식인 경우, LR 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 기록한다. 이러한 구성에 의해, 재생 장치는 재생 대상 데이터의 해석을 행함 없이 프레임 속성을 판정할 수 있다.
도 1은 3차원 화상의 부호화 방식에 대해서 설명하는 도면이다.
도 2는 3차원 화상의 부호화 방식에 대해서 설명하는 도면이다.
도 3은 BDAV 규격에 따라서 미디어에 기록되는 데이터 기록 구성인 BDAV 디렉토리에 대해 설명하는 도면이다.
도 4는 BDAV 규격에 포함되는 관리 정보인 데이터베이스 파일(인포 파일 [info.bdav]) 내지 클립 정보 파일)에 기초한 데이터 관리 구성에 대해 설명하는 도면이다.
도 5는 플레이 리스트와 재생 패스 정보(플레이 아이템)와, 클립 정보 파일과 클립 AV 스트림 파일의 대응 관계에 대해 설명하는 도면이다.
도 6은 BDAV 규격에서의 관리 정보 파일(데이터베이스 파일)로서 정의되어 있는 인포 파일 [info.bdav]의 구문을 나타내는 도면이다.
도 7은 인포 파일 [info.bdav]의 메이커 프라이빗 데이터 영역의 구문을 설명하는 도면이다.
도 8은 인포 파일 [info.bdav]의 메이커 프라이빗 데이터 영역의 메이커 ID[maker_ ID] 기록 영역, 메이커 모델 코드 기록 영역의 기록예를 도시하는 도면이다.
도 9는 인포 파일 [info.bdav]의 메이커 프라이빗 데이터 영역의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보에 대해 설명하는 도면이다.
도 10은 인포 파일 [info.bdav]의 메이커 프라이빗 데이터 영역의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 11은 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록의 데이터에 대해서 설명하는 도면이다.
도 12는 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 13은 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 14는 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 15는 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 16은 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 17은 메인 패스와 서브 패스의 이용 형태에 대해서 설명하는 도면이다.
도 18은 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 19는 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록에 기록되는 데이터의 구체예를 도시하는 도면이다.
도 20은 플레이 리스트 파일의 구문을 나타내는 도면이다.
도 21은 서브 패스(서브 플레이 아이템) 정보 기록 영역(142)의 기록 데이터의 상세 구문을 나타내는 도면이다.
도 22는 플레이 리스트 파일의 서브 패스(서브 플레이 아이템) 정보 기록 영역의 기록 데이터의 구체예에 대해서 설명하는 도면이다.
도 23은 클립 정보 파일의 구문을 나타내는 도면이다.
도 24는 클립 정보 파일의 ProgramInfo와, 프로그램 시퀀스(program_sequence)에 대해서 설명하는 도면이다.
도 25는 클립 정보 파일의 ProgramInfo의 구문을 나타내는 도면이다.
도 26은 클립 정보 파일의 CPI의 구문을 나타내는 도면이다.
도 27은 클립 정보 파일의 CPI에 기록되는 EP맵에 대해서 설명하는 도면이다.
도 28은 클립 정보 파일의 CPI에 기록되는 EP맵에 대해서 설명하는 도면이다.
도 29는 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보(multiview_video_info)의 구체예에 대해서 설명하는 도면이다.
도 30은 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 31은 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 32는 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 33은 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 34는 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 35는 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 36은 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보의 구체예를 도시하는 도면이다.
도 37은 정보 처리 장치가 실행하는 콘텐츠의 기록 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 38은 정보 처리 장치가 실행하는 클립 정보 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 39는 정보 처리 장치가 실행하는 클립 정보 파일에 대한 3차원 화상 정보로서의 프레임 0 화상 식별 플래그와, 베이스 화상 식별 플래그의 기록/갱신 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 40은 정보 처리 장치가 실행하는 플레이 리스트 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 41은 정보 처리 장치가 실행하는 콘텐츠의 추기(追記) 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 42는 정보 처리 장치가 실행하는 콘텐츠의 편집 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 43은 정보 처리 장치가 실행하는 콘텐츠의 재생 처리 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 44는 본 발명의 일 실시예에 관한 정보 처리 장치의 구성예에 대해서 설명하는 도면이다.
이하, 도면을 참조하면서 본 발명의 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램의 상세에 대해서 설명한다. 설명은, 이하의 항목에 따라서 행한다.
1. 기록 미디어를 이용한 기록 재생 처리의 대상이 되는 3차원 화상의 소스 및 3차원 화상의 부호화 방식에 관한 개요
2. BDAV 규격의 개요
3. 3차원 화상 정보의 기록 처리 및 기록된 3차원 화상 정보를 이용한 재생 처리에 대해서
3-1. 관리 정보 파일(데이터베이스 파일)을 이용한 3차원 화상 정보의 기록 처리와 이용 처리에 대해서
3-1-a. 인포 파일에 3차원 화상 정보를 기록하는 예
3-1-b. 플레이 리스트 파일에 3차원 화상 정보를 기록하는 예
3-1-c. 플레이 리스트 파일의 재생 패스 정보(서브 플레이 아이템 정보)에 3차원 화상 정보를 기록하는 예
3-1-d. 클립 정보 파일에 3차원 화상 정보를 기록하는 예
4. 정보 처리 장치가 실행하는 처리 시퀀스에 대해서
4-1. 콘텐츠의 기록 처리 시퀀스
4-2. 클립 정보 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스
4-3. 클립 정보 파일에 대한 3차원 화상 정보로서의 프레임 0 화상 식별 플래그와, 베이스 화상 식별 플래그의 기록/갱신 처리 시퀀스
4-4. 플레이 리스트 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스
4-5. 콘텐츠의 추기 처리 시퀀스
4-6. 콘텐츠의 편집 처리 시퀀스
4-7. 콘텐츠의 재생 처리 시퀀스
5. 정보 처리 장치의 구성예에 대해서
[1. 기록 미디어를 이용한 기록 재생 처리의 대상이 되는 3차원 화상의 소스 및 3차원 화상의 부호화 방식에 관한 개요]
우선, 예를 들어 BD(Blu-ray Disc(등록 상표))나 플래시 메모리 등, 다양한 기록 미디어에 기록 가능한 3차원 화상의 제공원으로서의 소스 및 현재 이용되고 있는 3차원 화상의 부호화 방식에 관한 개요를 설명한다.
기록 미디어에 기록 가능한 3차원 화상의 제공 주체로는 예를 들어 이하와 같은 제공 주체가 있다.
(1) 텔레비전국 등의 방송 사업자가 제공하는 방송 콘텐츠
(2) 비디오 카메라의 촬영 콘텐츠
(3) 인터넷 등의 통신 네트워크를 통해 제공되는 인터넷 배신 콘텐츠
예를 들어 이들 3차원 화상 콘텐츠가 기록 미디어(BD, 플래시 메모리 등)에 대한 기록 콘텐츠가 된다.
3차원 화상의 기록 혹은 전송 처리시에는, 소정의 포맷에 따른 부호화 처리가 이루어진다. 3차원 화상의 부호화 방식의 예에 대해서 설명한다.
도 1, 도 2를 참조하여 3차원 화상의 부호화 방식의 이하의 5개의 방식에 대해서 설명한다.
(1) 사이드 바이 사이드 방식
(2) 톱 앤드 보텀 방식
(3) 프레임 시퀀셜 방식
(4) 뷰간 참조 유 스트림 방식(1 또는 2 스트림)(MVC)
(5) 뷰간 참조 무 2 스트림 방식
(1) 사이드 바이 사이드(Side by Side) 방식은, LR 화상을 1 프레임 화상 중의 좌우로 분할해서 기록/전송하는 부호화 방식이다. 또한, L 화상은 좌안용 화상, R 화상은 우안용 화상을 의미한다.
(2) 톱 앤드 보텀(Top & Bottom) 방식은, LR 화상을 1 프레임 화상 중의 상하로 분할해서 기록/전송하는 부호화 방식이다.
(3) 프레임 시퀀셜(Frame Sequential) 방식은, 좌안용 화상(L 화상)과 우안용 화상(R 화상)의 프레임을 L, R, L, R, …로 교대로 기록/전송하는 부호화 방식이다.
(4) 뷰간 참조 유 스트림 방식(1 또는 2 스트림)(MVC:Multi View Coding)은, L 화상과 R 화상 중 어느 한쪽을 복호 처리에서 참조되는 참조 화상으로서 설정한 베이스 뷰, 다른 쪽을 복호 처리에서 참조 화상을 참조하여 복호를 행하는 논베이스 뷰로서 설정한 방식이다. 도면에 나타내는 화살표는, 각 화상의 복호시에 참조 대상이 되는 화상을 나타내는 화살표다. 도면에 나타내는 예는, L 화상을 베이스 뷰, R 화상을 논베이스 뷰로 한 예이다. 이 방식에서는, L 화상과 R 화상을 각각 개별적인 스트림으로 한 2 스트림 방식과, L 화상과 R 화상을 혼합한 1개의 스트림으로서 설정한 1 스트림 방식이 있다.
(5) 뷰간 참조 무 2 스트림 방식은, L 화상과 R 화상을, 각각 개별적인 스트림으로 한 2 스트림 방식이며, L 화상의 복호에는 L 화상만을 참조하고, R 화상의 복호에는 R 화상만을 참조하는 구성으로, L에서 R 또는 R에서 L의 뷰간 참조를 필요로 하지 않는 방식이다.
3차원 화상의 부호화 방식에는, 이렇게 다양한 부호화 방식이 존재하며, 방송 콘텐츠, 비디오 기록 콘텐츠 등에서 이용되는 방식은 통일되어 있지 않은 것이 현 상황이다. 따라서, 3차원 화상을 예를 들어 미디어에 기록하는 경우에는, 이들 방식을 판별 가능한 정보를 기록함과 함께, 방식에 따른 다양한 제어 정보나 속성 정보를 기록하는 것이 필요하며, 또한 재생시에는, 미디어에 기록된 3차원 화상의 부호화 방식 정보를 판독한 방식에 따른 복호 처리를 실행하는 것이 필요하다.
[2. BDAV 규격의 개요]
다음으로, 예를 들어 BD(Blu-ray Disc(등록 상표)) 등의 기록 미디어를 이용한 데이터 기록 재생의 규격(포맷)인 BDAV 규격의 개요에 대해서 설명한다.
상술한 바와 같이, 주로 BD(Blu-ray Disc(등록 상표))를 이용한 데이터 기록 재생의 어플리케이션 규격으로서 BDMV 규격 및 BDAV 규격이 있다. 또한, 이들 규격은 BD에 한하지 않고, 플래시 메모리 등, 그 밖의 미디어를 이용한 데이터 기록 재생에도 적용 가능한 규격이다.
BDMV는, 예를 들어 영화 콘텐츠 등을 미리 기록한 BD-ROM용으로 개발된 어플리케이션 규격이다.
BDAV는 재기입 가능한 BD-RE나, 1회만 기록 가능한 BD-R에서 이용할 것을 목적으로 개발된 어플리케이션 규격이다.
도 3을 참조하여, BDAV 규격에 따라 미디어에 기록되는 데이터 기록 구성인 BDAV 디렉토리에 대해서 설명한다. 또한, BDAV 규격에도 다양한 버전이 있지만, 이하에서 설명하는 BDAV 규격은 BD-RE 2.1 규격에 대응한 것이다. 도 3에 도시한 바와 같이, 루트 [Root] 디렉토리 하에 디렉토리 [BDAV]가 놓인다.
디렉토리 [BDAV]의 바로 아래에,
인포 파일 [info.bdav],
메뉴 파일 [menu.tidx], [menu.tdt1/tdt2]
마크 파일 [mark.tidx], [mark.tdt1/tdt2]가 기록된다.
또한, BDAV 디렉토리 [BDAV]의 하위 디렉토리로서,
플레이 리스트 디렉토리 [PLAYLIST],
클립 정보 디렉토리 [CLIPINF],
스트림 디렉토리 [STREAM]이 설정된다.
플레이 리스트 디렉토리 [PLAYLIST]에 플레이 리스트 파일 [xxxxx.mpls]가 설정되고, 클립 정보 디렉토리 [CLIPINF]에 클립 정보 파일 [xxxxx.clpi]가 설정되고, 스트림 디렉토리 [STREAM]에 AV 스트림 파일 [xxxxx.m2ts]가 설정된다.
인포 파일 [info.bdav]는, BDAV 규격에 따른 파일이며, 디스크 전체를 관리하는 파일로서, 플레이 리스트의 테이블을 갖는 파일이다. 한편, 인덱스 파일은, BDMV 규격에 따른 파일이며, 마찬가지로 디스크 전체를 관리하는 파일이고, 무비 오브젝트의 테이블을 갖는 파일이다. 이 무비 오브젝트로부터 플레이 리스트 파일이 지정되기 때문에, 인덱스 파일은, 간접적으로 플레이 리스트를 지정하는 파일이다. 또한, 인포 파일과 인덱스 파일은 디스크 전체를 관리하는 파일이라는 점에서 공통적이다. 그 때문에, BDMV 형식에서 다종의 3D 데이터를 기록할 필요가 있는 경우에는, 하기에 설명하는 BDAV 형식에서의 추가와 마찬가지로, 인포 파일 대신에 인덱스 파일에 기록하면 된다.
메뉴 파일 [menu.tidx], [menu.tdt1/tdt2]는, 각 AV 스트림 파일의 대표 화상의 썸네일 화상을 저장한다. [menu.tidx]가 썸네일 관리 정보를 저장하고, [menu.tdt1/tdt2]가 썸네일 화상을 저장하고 있다.
BDAV 규격에서는, BDMV 규격과는 달리, 다양한 정보를 갖는 메뉴의 작성 기능이 없어, 예를 들어 유저가 촬영한 영상의 선두 화상을 썸네일로서 표시하는 간이적인 메뉴 표시를 행하는 설정으로 하고 있다. 메뉴 파일 [menu.tidx], [menu.tdt1/tdt2]는 이를 위한 썸네일 화상을 관리, 저장하고 있다.
마크 파일 [mark.tidx], [mark.tdt1/tdt2]는, 유저의 촬영 화상(AV 스트림 파일)에 대한 편집 처리 등에서 설정한 인덱스 정보인 마크 위치에 대응하는 썸네일 화상을 관리, 저장하고 있는 파일이다. [mark.tidx]가 썸네일 관리 정보를 저장하고, [mark.tdt1/tdt2]가 썸네일 화상을 저장하고 있다.
플레이 리스트 디렉토리 [PLAYLIST]에 플레이 리스트 파일 [xxxxx.mpls]가 설정되고, 클립 정보 디렉토리 [CLIPINF]에 클립 정보 파일 [xxxxx.clpi]가 설정되고, 스트림 디렉토리 [STREAM]에 클립 AV 스트림 파일 [xxxxx.m2ts]가 설정된다.
인포 파일 내지 클립 정보 파일은 클립 AV 스트림 파일에 저장된 데이터의 재생에 적용하는 관리 정보 파일이다. 이들 관리 정보 파일은 데이터베이스 파일 또는 데이터베이스라고도 불린다.
인포 파일은, 미디어 전체의 기록 데이터에 관한 관리 정보 파일이다. 인포 파일에는, 상술한 바와 같이 플레이 리스트의 테이블을 기록하고 있다. 미디어(정보 기록 매체)를 기록 재생 장치에 장전했을 때에는 우선 인포 파일이 판독되어, 인포 파일의 기술 정보에 따라서 타이틀을 포함하는 메뉴가 표시된다. 유저는 메뉴 상의 타이틀을 선택해서 선택적인 콘텐츠 재생을 행할 수 있다.
플레이 리스트 디렉토리 [PLAYLIST]에 기록되는 플레이 리스트 파일 [xxxxx.mpls]는, 유저에게 보여주는 타이틀에 대응해서 준비되며, 적어도 1 이상의 재생 패스 정보(플레이 아이템)로 구성되는 재생 리스트다. 각 재생 패스 정보(플레이 아이템)는, 클립에 대한 재생 개시점(IN점)과 재생 종료점(OUT점)을 갖는 재생 구간 지정 정보이다. 예를 들어 복수의 플레이 리스트의 복수의 재생 패스 정보(플레이 아이템)를 시간축 상에 배열함으로써, 각각의 재생 구간의 재생 순서를 지정할 수 있다.
클립 정보 디렉토리 [CLIPINF]에 기록되는 클립 정보 파일 [xxxxx.clpi]는, 스트림 디렉토리 [STREAM]에 기록되는 AV 스트림 파일 [xxxxx.m2ts]에 대응해서 설정된다. 클립 정보 파일은, 실제의 스트림을 재생하는데 필요한 스트림에 관한 정보가 기재된 파일이다.
스트림 디렉토리 [STREAM]에 기록되는 AV 스트림 파일 [xxxxx.m2ts]는, 다양한 부호화 방식으로 부호화된 화상 데이터를 포함하는 스트림이 저장되어 있는 파일이다. 또한, AV 스트림 파일 [xxxxx.m2ts]는 클립 AV 스트림 파일이라고도 불린다. 3차원 화상 데이터도 이 AV 스트림 파일(=클립 AV 스트림 파일) 내에 저장된다.
또한, 클립 정보 디렉토리 [CLIPINF]에 기록되는 클립 정보 파일 [xxxxx.clpi]와 AV 스트림 파일을 함께 클립이라고 총칭하는 경우가 있다.
상술한 바와 같이, 인포 파일 내지 클립 정보 파일은 클립 AV 스트림 파일에 저장된 데이터의 재생에 적용하는 관리 정보 파일이다. 이 관리 정보 파일은, 인포 파일의 하위에 1 이상의 플레이 리스트 파일, 플레이 리스트 파일의 하위에 1 이상의 클립 정보 파일이 설정된 계층 구성을 갖는다. 즉, 복수의 서로 다른 관리 정보 파일이 계층화된 설정으로 되어 있다. 본 발명의 구성에서는, 이들 계층화된 관리 정보 파일의 각각에 3차원 화상 정보를 기록하여, 미디어로부터의 콘텐츠 재생시에는, 이들 계층화된 관리 정보 파일로부터 순차적으로 3차원 화상 정보를 판독해서 이용한다.
재생 장치는, 예를 들어 인포 파일, 플레이 리스트 파일, 클립 정보 파일의 순서대로 3차원 화상 정보를 판독해서 재생 대상 콘텐츠에 3차원 화상이 포함되는지의 여부, 혹은 3차원 화상의 부호화 형태 등의 상세 정보를 취득해서 이용한다. 또한, 이 처리에 대해서는 후단에서 설명한다.
도 4를 참조하여, BDAV 규격에 포함되는 관리 정보인 데이터베이스 파일(인포 파일 내지 클립 정보 파일)에 기초한 데이터 관리 구성에 대해서 설명한다. 도 4는, 클립 AV 스트림, 클립 정보(Clip Information), 클립, 플레이 아이템, 플레이 리스트, 인포 파일의 관계를 나타내는 UML(Unified Modeling Language)도이다.
인포 파일은, 예를 들어 BDAV 대응 콘텐츠를 기록한 디스크 등의 미디어에 하나만 존재한다. 재생 장치는, 우선, 인포 파일을 판독하고, 인포에 포함되는 플레이 리스트 파일의 테이블에 기초하여 메뉴 정보 등을 표시시킬 수 있다. 표시된 메뉴에는, 디스크에 기록한 콘텐츠에 대응하는 플레이 리스트 등의 리스트가 제시되며, 유저는, 타이틀을 지정해서 콘텐츠를 재생할 수 있다. 또한, 콘텐츠 실체 데이터는 클립 AV 스트림 파일에 저장되어 있다.
인포 파일에 기초하여 유저에게 제시되는 메뉴에 대한 유저의 지정 정보는, 플레이 리스트(PlayList)나 플레이 리스트 내의 재생 패스 정보(플레이 아이템)의 지정 처리가 된다. 플레이 리스트는 상술한 바와 같이, 재생 구간 지정 정보가 되는 재생 패스 정보(플레이 아이템)를 갖는다.
재생 패스 정보(플레이 아이템)에는,
메인 패스(메인 플레이 아이템(PlayItem))
서브 패스(서브 플레이 아이템(SubPlayItem))
이들 2종류가 존재한다.
이들 메인 패스(메인 플레이 아이템), 서브 패스(서브 플레이 아이템)의 각각은, 개별적으로 임의의 1개의 클립(Clip)에 대응되어 있다.
메인 패스(메인 플레이 아이템)나, 서브 패스(서브 플레이 아이템)는, 재생 개시점(IN time)과 재생 종료점(OUT time)의 지정 정보를 갖는다. 이들 재생 개시점(IN time)과 재생 종료점(OUT time)의 지정 정보는, 클립에 1 대 1로 대응되는 클립 AV 스트림 파일에 포함되는 콘텐츠의 재생 구간 지정 정보로서 이용된다.
이와 같이, 인포에 기초하여 유저에게 제시되는 메뉴에 포함되는 타이틀의 지정 정보가 플레이 리스트나 플레이 아이템의 선택 정보로서 이용되고, 선택된 재생 패스 정보(플레이 아이템)로 설정된 재생 개시점(IN time)과 재생 종료점(OUT time)에 따라서 재생 구간이 결정되며, 결정한 재생 구간에 따라서 클립인 클립 정보 파일 및 클립 AV 스트림 파일이 선택되어 재생이 실행된다. 도 4에 도시하는 구조를 정의함으로써, 클립 AV 스트림 파일을 변경하지 않고, 임의의 부분만을 재생하는 비파괴의 재생 순서 지정을 행하는 것이 가능해진다.
플레이 리스트와, 플레이 리스트에 포함되는 재생 패스 정보(플레이 아이템), 또한 재생 패스 정보(플레이 아이템)에 의해 재생 개시/종료점이 지정되는 클립 정보 파일, 클립 정보 파일과 1 대 1로 대응된 재생 콘텐츠를 저장한 클립 AV 스트림 파일의 대응 관계에 대해서, 도 5를 참조하여 설명한다.
도 5에는, 플레이 리스트와, 플레이 리스트에 포함되는 재생 패스 정보(플레이 아이템), 또한 재생 패스 정보(플레이 아이템)에 의해 재생 개시/종료점이 지정되는 클립 정보 파일, 클립 정보 파일을 나타내고 있다. 또한, 클립 AV 스트림 파일(Clip AV stream)과 그 부속 정보인 클립 정보 파일(Clip Informatoion)은, 1개의 오브젝트라고 생각하고, 이들 세트를 클립(Clip)이라고 칭한다.
앞서 설명한 바와 같이, 플레이 리스트에는,
메인 패스(메인 플레이 아이템(PlayItem))
서브 패스(서브 플레이 아이템(SubPlayItem))가 포함된다. 이것들은, 각각이 재생 개시점(IN time)과 재생 종료점(OUT time)의 지정 정보를 갖는다. 도 5에 도시하는, 메인 패스(메인 플레이 아이템(PlayItem))와, 서브 패스(서브 플레이 아이템(SubPlayItem))로부터 클립 정보 파일(Clip Informatoion)을 향한 화살표 11이 재생 개시점(IN time)과 재생 종료점(OUT time)의 지정 정보에 대응한다.
이들 재생 개시점(IN time)과 재생 종료점(OUT time)의 지정 정보는, 클립 정보 파일에 1 대 1로 대응되는 클립 AV 스트림 파일에 포함되는 콘텐츠의 재생 구간 지정 정보로서 이용된다.
[3. 3차원 화상 정보의 기록 처리 및 기록된 3차원 화상 정보를 이용한 재생 처리에 대해서]
다음으로, 3차원 화상 정보의 기록 처리 및 기록된 3차원 화상 정보를 이용한 재생 처리에 대해서 설명한다. 예를 들어, 상술한 BDAV 규격 등, 기존의 데이터 기록 재생 규격(포맷)의 대부분은, 3차원 화상에 관한 속성 정보를 기록하는 영역을 정의하지 않은 경우가 많다. 이러한 포맷에 따라서 3차원 화상을 기록해도 2차원 화상과 마찬가지로 기록되어, 재생시에 통상의 2차원 화상으로서 재생될 가능성이 있다. 이하에서는, 이러한 문제를 해결하기 위해서, 기록 미디어에 3차원 화상을 기록하는 경우, 기록 화상이 3차원 화상인지의 여부의 정보나, 3차원 화상의 부호화 형태 정보, 또한 3차원 화상의 기록이나 재생에 적용하는 제어 정보 등을 포함하는 다양한 속성 정보를 기록하여, 재생시에 이들의 속성 정보를 참조함으로써 3차원 화상을 정확하게 재생 가능하게 한 구성에 대해서 설명한다.
본 발명의 구성은, 계층화된 관리 정보 파일의 각각에 3차원 화상의 속성 정보인 3차원 화상 정보를 기록한다. 각 관리 정보 파일에는 각 파일의 관리 데이터 단위의 속성 정보가 기록된다. 미디어로부터의 콘텐츠 재생시에는, 이들 계층화된 관리 정보 파일로부터 순차적으로 3차원 화상 정보를 판독하여, 각 관리 정보 파일의 관리 데이터 단위의 속성을 인식하는 것이 가능하게 되어, 각 데이터 단위로 정확한 3차원 화상의 복호, 재생 처리가 실현된다.
또한, 3차원 화상을 기록하는 미디어는, 예를 들어 BD(Blu-ray Disc(등록 상표))나 플래시 메모리 등 다양한 미디어가 이용 가능하다. 본 발명은 특정한 기록 미디어에 한하지 않고, 다양한 미디어를 이용한 기록 재생 처리에 적용할 수 있다.
또한, 이하에서는, 3차원 화상에 관한 정보의 기록 영역의 정의가 없는 기록 재생 포맷으로서 BDAV 규격(포맷)을 예로서 설명하지만, 이것은 일례이며, 본 발명은 BDAV 규격에 한하지 않고, 그 밖의 규격에 대해서도 적용 가능하다.
(3-1. 관리 정보 파일(데이터베이스 파일)을 이용한 3차원 화상 정보의 기록 처리와 이용 처리에 대해서)
우선, BD(Blu-ray Disc(등록 상표)) 등의 디스크나 플래시 메모리 등, 다양한 기록 미디어를 이용한 콘텐츠 기록 재생에서, 관리 정보 파일(데이터베이스 파일)에 3차원 화상 정보를 기록하는 처리와 이용 처리에 대해서 설명한다.
앞서 설명한 바와 같이, BDAV 규격에서는 미디어에 대한 콘텐츠 기록시에, 실체 데이터로서의 콘텐츠는 AV 스트림 파일에 저장되어 기록된다. 또한, 기록 콘텐츠의 관리 정보로서 관리 정보 파일(데이터베이스 파일)이 기록된다. 관리 정보 파일(데이터베이스 파일)에는 이하의 파일이 포함된다.
(a) 인포 파일 [info.bdav]
(b) 플레이 리스트 파일
(c) 클립 정보 파일
이하에서 설명하는 예는, 이들 데이터베이스 파일에 3차원 화상 정보를 기록하여, 재생시에 이용하는 처리예이다.
(3-1-a. 인포 파일에 3차원 화상 정보를 기록하는 예)
우선, 인포 파일 [info.bdav])에 3차원 화상 정보를 기록하는 예에 대해서 설명한다.
도 6에, BDAV 규격에서의 관리 정보 파일(데이터베이스 파일)로서 정의되어 있는 인포 파일 [info.bdav]의 구문을 나타낸다.
또한, 이하의 설명에서는, BDAV 규격에서 정의되어 있는 다양한 관리 정보에 관한 구문에 대해 도면을 참조하여 설명한다. 미디어에 대한 데이터 기록을 실행하는 정보 처리 장치는, 콘텐츠 기록 처리시에 이하에서 설명하는 구문으로 이루어지는 관리 정보를 생성해서 기록하는 처리를 행한다. 또한, 정보 처리 장치가, 기록 완료된 콘텐츠의 편집 등의 처리를 실행해서 기록 콘텐츠를 변경한 경우도, 변경과 아울러 관리 정보의 갱신이 실행되게 된다. 또한, 콘텐츠를 기록한 미디어로부터 데이터 재생을 실행하는 정보 처리 장치는, 구문에 따라서 재생 대상 콘텐츠인 부호화 스트림을 해석해서 복호 처리를 실행하여 재생 데이터를 생성한다.
또한, 이하의 각 도면에 나타내는 구문에는, 좌측에서부터 구문 항목(Syntax), 비트 길이(No. of bits) 및 그 타입·전송 순서를 나타내는 니모닉(Mnemonic)을 요소로서 나타내고 있다.
도 6에 나타내는 인포 파일 [info.bdav]는, 도면에 도시한 바와 같이 주로 이하의 3개의 오브젝트로 구성된다.
UI 정보 [UIAppInfoBDAV ()](101),
플레이 리스트 정보 [TableOfPlayLists ()](102),
메이커 프라이빗 데이터 영역 [MakersPrivateData ()](103),
이들 오브젝트이다.
인포 파일 [info.bdav]는, 플레이 리스트의 지정 정보를 갖는다.
상기 정보 중, UI 정보 [UIAppInfoBDAV ()](101)는, 예를 들어 콘텐츠 타이틀 등을 포함하는 메뉴 정보의 표시에 관한 정보를 기록한 영역이다.
플레이 리스트 정보 [TableOfPlayLists ()](102)는 타이틀에 대응하는 콘텐츠를 재생하기 위한 플레이 리스트 정보를 기록한 영역이다.
메이커 프라이빗 데이터 영역 [MakersPrivateData ()](103)은, 예를 들어 재생 기기 등의 정보 처리 장치의 제공 메이커가 자유로운 정보를 기록할 수 있는 영역이다. 예를 들어, 기록 재생 장치의 메이커가, 기록 재생 장치에서 실행하는 각사의 특별한 어플리케이션을 위한 정보 등을 자유롭게 기록할 수 있는 영역으로서 설정되어 있다. 또한, [MakersPrivateData ()](103)는, 각 메이커가 개별적으로 프라이빗 데이터를 삽입할 수 있는 설정으로 되어 있다.
메이커 프라이빗 데이터 영역(103)의 구문을 도 7에 나타낸다.
도 7에 도시한 바와 같이, 메이커 프라이빗 데이터 영역 [MakersPrivateData ()](103)에는,
메이커 ID [maker_ ID] 기록 영역(111)
메이커 모델 코드 [maker_model_code] 기록 영역(112)
데이터 블록 [data_block] 기록 영역(113)
이들 데이터 기록 영역이 포함된다.
우선, 이들 데이터 기록 영역의 일반적인 이용 형태에 대해서 설명한다.
메이커 ID [maker_ ID] 기록 영역(111)은, 메이커 프라이빗 데이터를 기록한 메이커의 식별 정보 기록 영역이다. 예를 들어 A사의 기록 재생 장치가 콘텐츠 기록을 실행하여 A사의 장치 고유의 어플리케이션에 적용하는 파라미터를 기록하는 경우 등에는, A사가 설정한 ID를 기록하고, 메이커 프라이빗 데이터의 실제 데이터 기록 영역에 파라미터를 기록하는 처리가 행해진다.
메이커 모델 코드 [maker_model_code] 기록 영역(112)은, 그 메이커 프라이빗 데이터를 기록한 장치의 제품 식별 정보 등의 코드이다.
데이터 블록 [data_block] 기록 영역(113)이 메이커 프라이빗 데이터의 실제 데이터 기록 영역이 된다.
본 실시예에서는, 도 7에 나타내는
메이커 ID [maker_ ID] 기록 영역(111)
메이커 모델 코드 [maker_model_code] 기록 영역(112)
데이터 블록 [data_block] 기록 영역(113)
이들 데이터 기록 영역을 이용해서 3차원 화상 정보(multiview_video_info)를 기록한다.
또한, 데이터 블록 [data_block] 기록 영역(113)에는, 메이커 고유의 다양한 정보가 기록된다. 그 일부로서 3차원 화상 정보(multiview_video_info)가 기록되게 된다.
각 기록 정보에 따라서, 메이커 ID [maker_ ID], 메이커 모델 코드 [maker_model_code], 데이터 블록 [data_block], 이들 3개의 세트가 설정 가능해진다.
따라서, 데이터 블록 [data_block] 기록 영역(113)에 3차원 화상에 대한 속성 정보나 제어 정보를 기록하는 경우, 우선, 데이터 블록 [data_block] 기록 영역(113)에 기록된 정보가, 3차원 화상 정보(multiview_video_info)인지의 여부에 대한 인덱스 정보를,
메이커 ID [maker_ ID] 기록 영역(111)
메이커 모델 코드 [maker_model_code] 기록 영역(112)
이들 필드에 기록한다. 구체적인 데이터 기록 형태의 일례를 도 8에 나타낸다.
메이커 ID [maker_ ID] 기록 영역(111)에는, 데이터 블록에 기록된 메이커 프라이빗 데이터가 3차원 화상 정보인지의 여부의 식별 정보를 기록한다.
예를 들어, 도 8에 도시한 바와 같이, 메이커 ID [maker_ ID] 기록 영역(111)에, 미리 정의된 3차원 화상 정보(multiview_video_info)에 대응하는 ID 정보 [0x2000]이 기록되어 있는 경우, 이하의 데이터 블록에 기록된 정보가 3차원 화상 정보(multiview_video_info)인 것을 나타낸다.
또한, 메이커 모델 코드 [maker_model_code] 기록 영역(112)에는, 데이터 블록에 기록된 3차원 화상 정보의 버전 정보를 기록한다. 도 8에 나타내는 예에서는, [0x0100]이 3차원 화상 정보의 버전 정보이다.
도 7에 나타내는 데이터 블록 [data_block] 기록 영역(113)에 기록되는 3차원 화상 정보(multiview_video_info)의 구체예를 도 9에 나타낸다.
3차원 화상 정보(multiview_video_info)에는, 도 9에 도시한 바와 같이 플래그 정보 [Index_multiview_video_flag](115)가 기록된다.
플래그 정보(115)는, 미디어에 기록된 콘텐츠에서의 BDAV 디렉토리 하의 설정 콘텐츠(이 인포 파일에 의한 관리 대상 콘텐츠)에 3차원 화상이 포함되는지의 여부에 대한 정보를 설정한 플래그이다.
플래그 정보(115)의 구체예를 도 10에 도시한다.
플래그의 값=0: 관리 대상 디렉토리 하에는 2D 콘텐츠만 포함되고, 3D 콘텐츠는 포함되지 않는다.
플래그의 값=1: 관리 대상 디렉토리 하에 3D 콘텐츠가 포함되어 있을 가능성이 있다.
이렇게 플래그=0/1 중 어느 하나의 정보가 설정되어, 0인 경우에는, 관리 대상 디렉토리 하에는 2D 콘텐츠만 포함되고, 3D 콘텐츠는 포함되지 않는다. 1인 경우에는, 관리 대상 디렉토리 하에 3D 콘텐츠가 포함되어 있을 가능성이 있다.
이들 정보를 판별 가능하게 하고 있다.
이러한 플래그 정보를 인포 파일에 포함함으로써, 예를 들어 재생 장치는 인포 파일을 이용하여, 미디어에 저장된 콘텐츠 타이틀을 포함하는 메뉴 표시를 행하는 경우, 플래그 정보에 기초하여 각 타이틀 대응의 콘텐츠에 3차원 화상이 포함되는지의 여부의 정보를 유저에게 제시할 수 있다.
예를 들어,
타이틀 A: 3차원 화상을 포함합니다.
타이틀 B: 2차원 화상입니다.
타이틀 C: 3차원 화상을 포함합니다.
:
이러한 메뉴 표시가 가능해진다.
또한, 콘텐츠 기록을 행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는 경우, 이 플래그=1로 세팅하고, 기록 콘텐츠에 3차원 화상이 포함되지 않는 경우, 이 플래그=0으로 세팅한 인포 파일을 생성해서 기록한다. 또한, 그 후, 기록 데이터에 대한 편집이나 삭제를 행한 경우, 플래그의 값은, 클립을 확인해서 3D 콘텐츠가 없어졌으면 0으로 세팅한다는 갱신 처리를 실행한다.
(3-1-b. 플레이 리스트 파일에 3차원 화상 정보를 기록하는 예)
다음으로, 플레이 리스트 파일에 3차원 화상 정보를 기록하는 예에 대해서 설명한다. 상술한 예는, 인포 파일 [info.bdav])의 메이커 프라이빗 데이터 영역에 3차원 화상 정보를 기록하는 예에 대해서 설명했다.
플레이 리스트 파일은, 앞서 도 4, 도 5를 참조하여 설명한 바와 같이, 인포 파일 [info.bdav]를 사용한 타이틀 표시 메뉴에서 선택된 타이틀에 대응하여 선택되는 플레이 리스트를 저장한 파일이다. 도 5를 참조하여 설명한 바와 같이, 플레이 리스트에는, 클립에 대한 재생 개시점(IN점)과 재생 종료점(OUT점)을 갖는 재생 구간 지정 정보를 갖는 재생 패스 정보(플레이 아이템)를 저장하고 있다.
미디어에는 복수의 타이틀 각각에 대응된 복수의 플레이 리스트 파일이 존재한다. 이들 플레이 리스트 파일의 각각에도, 인포 파일 [info.bdav]와 마찬가지로 메이커 프라이빗 데이터 영역이 설정되어 있다. 즉, 예를 들어 기록 재생 기기 등의 정보 처리 장치의 제공 메이커가 자유로운 정보를 기록할 수 있는 영역이다.
본 예는, 이 플레이 리스트 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보(multiview_video_info)를 기록하는 예이다.
또한, 플레이 리스트 파일의 메이커 프라이빗 데이터 영역에도, 도 7에 나타낸 인포 파일과 마찬가지로,
메이커 ID [maker_ ID] 기록 영역
메이커 모델 코드 [maker_model_code] 기록 영역
데이터 블록 [data_block] 기록 영역
이들 데이터 기록 영역이 설정된다.
플레이 리스트 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보(multiview_video_info)를 기록하는 경우, 플레이 리스트 파일의 메이커 ID 기록 영역에는 데이터 블록에 기록된 데이터가 3차원 화상 정보인지의 여부의 식별 정보를 기록한다. 마찬가지로 플레이 리스트 파일의 메이커 모델 코드 [maker_model_code] 기록 영역에는, 데이터 블록에 기록된 3차원 화상 정보의 버전 정보를 기록한다. 이것들은 도 8을 참조하여 설명한 인포 파일의 경우와 마찬가지의 기록 구성이다.
다음으로, 도 11을 참조하여 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보(multiview_video_info)의 구체예에 대해서 설명한다.
플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에는, 도 11에 도시한 바와 같이 이하의 정보가 기록된다.
3차원 화상 플래그 [PlayList_multiview_video_flag](121),
3차원 화상 구성 정보 [PlayList_multiview_video_configuration](122),
프레임 0 화상 식별 플래그 [PlayList_frame0_is_Left_flag](123),
베이스 화상 식별 플래그 [PlayList_base_view_is_Left_flag](124),
메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag](125),
부호화 형태 식별 플래그 [PlayList_use_entropy_coding_mode_flag](126),
화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag](127),
이들 정보가, 각 플레이 리스트 파일에 기록되는 3차원 화상 정보이다.
이것들은 각 플레이 리스트 파일에 의해 지정되는 재생 대상 콘텐츠에 관한 관리 정보이며, 플레이 리스트 파일에 포함되는 재생 패스 정보(플레이 아이템)에 의해 규정되는 재생 지정 구간의 콘텐츠에 대응해서 설정되는 정보가 된다.
따라서, 재생 대상 콘텐츠가 상이한 플레이 리스트 파일에는 서로 다른 정보가 기록된다.
콘텐츠 기록을 행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는지의 여부를 판별하고, 판별 정보에 따라서 플레이 리스트 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 도 11에 도시하는 3차원 화상 정보를 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트 파일에 기록된 정보를 적용함으로써 정확한 3차원 화상 재생을 실행할 수 있다.
도 11에 도시하는 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 각 정보의 상세예에 대해서, 도 12 이하를 참조하여 설명한다.
(3차원 화상 플래그 [PlayList_multiview_video_flag](121))
우선, 3차원 화상 플래그(121)의 구체예에 대해서 도 12를 참조하여 설명한다.
3차원 화상 플래그(121)는, 플레이 리스트의 관리 대상 데이터에 3차원 화상이 포함될 가능성이 있는지 여부를 나타내는 3차원 화상 식별 데이터다. 도 12 에 도시한 바와 같이,
3차원 화상 플래그의 값=0: 이 플레이 리스트의 재생 대상 콘텐츠에는 2D 콘텐츠만 포함되고, 3D 콘텐츠는 포함되지 않는다.
3차원 화상 플래그의 값=1: 이 플레이 리스트의 재생 대상 콘텐츠에는 3D 콘텐츠가 포함되어 있을 가능성이 있다.
이와 같이 플래그=0/1 중 어느 하나의 정보를 기록한다.
또한, 본 예에서는, 플레이 리스트에 포함되는 재생 패스(플레이 아이템) 단위에서는 3차원 화상 정보를 가지고 있지 않은 예로서 설명하고 있지만, 플레이 리스트의 하위 구분인 플레이 아이템 단위의 정보로는, 후술하는 클립 정보 파일의 프로그램 시퀀스(program_sequence)마다 설정하는 3차원 화상 정보를 이용할 수 있다.
또한, 1개의 플레이 리스트에 대응하는 기록 콘텐츠가, 플레이 아이템 단위에서 2D 화상과 3D 화상이 혼재할 가능성이 있다. 이 경우는, 플래그 설정은, 이하의 설정으로 한다.
3차원 화상 플래그의 값=1: 이 플레이 리스트의 재생 대상 콘텐츠에는 3D 콘텐츠가 포함되어 있을 가능성이 있다.
이 설정으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는지의 여부를 판별하고, 판별 정보에 따라서 상기 플래그를 기록한다.
콘텐츠 재생을 실행하는 장치는, 플래그의 값을 참조하여, 이 플레이 리스트를 이용해서 재생되는 콘텐츠에 3차원 화상이 포함되는지의 여부를 식별할 수 있다.
(3차원 화상 구성 정보 [PlayList_multiview_video_configuration](122))
다음으로, 3차원 화상 구성 정보(122)의 구체예에 대해서 도 13을 참조하여 설명한다.
3차원 화상 구성 정보(122)는, 이 플레이 리스트에 의해 재생되는 콘텐츠인 3차원 화상의 부호화 형태 정보를 기록하는 영역으로서 설정된다.
구체적으로는, 도 13에 도시한 바와 같이 이하의 설정이다.
값=3: 사이드 바이 사이드 방식(side by side)
값=4: 톱 앤드 보텀 방식(top and bottom)
값=5: 프레임 시퀀셜 방식(frame sequential)
값=30: MVC 부호화 2 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)
값=31: MVC 부호화 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)
값=32: MVC 부호화 1 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)
값=40: 독립 2 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)(MVC 부호화가 아님)
값=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)(MVC 부호화가 아님)
이러한 부호화 구성 정보를 기록한다.
또한, 플레이 리스트 내의 3D 콘텐츠의 종별을 알 수 없을 경우, 혹은, 플레이 리스트 내에서 3D 콘텐츠의 종별이 혼재하고 있는 경우에는, 20(no information)으로 한다.
값=3의 사이드 바이 사이드 방식은, 도 1의 (1)에 나타내는 부호화 방식에 대응한다.
값=4의 톱 앤드 보텀 방식은, 도 1의 (2)에 나타내는 부호화 방식에 대응한다.
값=5의 프레임 시퀀셜 방식은, 도 1의 (3)에 나타내는 부호화 방식에 대응한다.
값 30 내지 32의 MVC 부호화 방식은, 도 2의 (4)에 나타내는 부호화 방식에 대응한다.
이 경우는, 엘리멘터리 스트림이 1 또는 2, 시스템 스트림이 1 또는 2인 경우로 분류되어 있다.
값 40 내지 41의 부호화 방식은, 도 2의 (5)에 나타내는 부호화 방식에 대응한다.
이 경우는 엘리멘터리 스트림이 2, 시스템 스트림이 1 또는 2인 경우로 분류되어 있다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는 경우, 그 부호화 형태 정보에 따라서 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 상기의 값을 참조하여, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 부호화 형태를 식별하고, 식별 정보에 대응한 복호 처리를 실행할 수 있다.
(프레임 0 화상 식별 플래그 [PlayList_frame0_is_Left_flag](123))
다음으로, 프레임 0 화상 식별 플래그(123)의 구체예에 대해서 도 14를 참조하여 설명한다.
프레임 0 화상 식별 플래그(123)는, 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식(도 1의 (3) 참조)의 경우에 기록되어, 재생시에 이용되는 정보이다. 즉, 도 13을 참조하여 설명한 3차원 화상 구성 정보=5인 경우에 이용된다.
도 1의 (3)에 도시한 바와 같이 프레임 시퀀셜 방식의 경우, 좌안용 화상(L 화상)과 우안용 화상(R 화상)이 교대하는 프레임으로서 설정된다.
예를 들어,
프레임 0이 좌안용 화상(L 화상)
프레임 1이 우안용 화상(R 화상), 혹은,
프레임 0이 우안용 화상(R 화상)
프레임 1이 좌안용 화상(L 화상)
이들의 조합 중 어느 하나가 된다.
재생하는 경우, 예를 들어 표시 장치에는, L 화상과 R 화상이 교대로 표시되고, 그 표시에 맞춰서 예를 들어, 유저가 장착한 셔터식 안경의 셔터의 개폐가 실행된다.
이 처리에 의해, L 화상은 유저의 좌안에 의해서만 관찰되고, R 화상은 우안에 의해서만 관찰되어 정확한 깊이감을 얻을 수 있다.
그러나, L 화상과 R 화상의 혼동이 발생하면, 표시부에 L 화상이 표시되어 있는 타이밍에 셔터식 안경의 우안이 오픈하고, R 화상이 표시되어 있는 타이밍에 셔터식 안경의 좌안이 오픈한다는 완전히 반대의 설정에서의 표시 처리가 이루어질 가능성이 있다. 이러한 표시 제어가 실행되게 되면 정확한 입체감을 갖는 3차원 화상의 관찰을 할 수 없게 된다.
이러한 사태를 방지하기 위한 정보가, 도 14에 도시하는 프레임 0 화상 식별 플래그(123)이다. 즉,
프레임 0이 좌안용 화상(L 화상)인가,
프레임 0이 우안용 화상(R 화상)인가,
이들 중 어느 것인지의 정보를 기록하는 영역이다.
구체적으로는 , 예를 들어 도 14에 도시한 바와 같이,
값=2: 프레임 0이 우안용 화상(R 화상)이다.
값=3: 프레임 0이 좌안용 화상(L 화상)이다.
이들 정보를 기록한다.
또한, 플레이 리스트 내에서, 프레임 0과 L/R의 대응이 혼재하고 있을 경우, 혹은, 대응 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가 프레임 시퀀셜 방식인 경우, 프레임 정보에 따라서 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여, 프레임 0이 L 화상인지 R 화상인지를 정확하게 판별해서 LR 화상의 정확한 재생 표시를 행할 수 있다.
(베이스 화상 식별 플래그 [PlayList_base_view_is_Left_flag](124))
다음으로, 도 15를 참조하여 베이스 화상 식별 플래그(124)의 구체예에 대해서 설명한다.
베이스 화상 식별 플래그(124)는, 3차원 화상의 부호화 방식이 MVC 부호화 방식(도 2의 (4) 참조)의 경우에 기록되어, 재생시에 이용되는 정보이다. 즉, 도 13을 참조하여 설명한 3차원 화상 구성 정보=30 내지 33인 경우에 이용된다.
도 2의 (4)를 참조하여 설명한 MVC 부호화 방식에서는 L 화상과 R 화상의 사이에서 참조 부호화 처리가 이루어지는 경우가 있다. 뷰간 참조에 의한 부호화가 행해진 경우는, LR 중 어느 하나를 베이스 뷰(기본 화상)로 하고, 베이스 뷰를 참조함으로써 다른 쪽의 화상의 복호가 행해진다.
베이스 화상 식별 플래그(124)는, 이 베이스 뷰가 L 화상인지 R 화상인지를 나타내는 값이다. 구체적으로는 , 예를 들어 도 15에 도시한 바와 같이,
값=2: 베이스 뷰는 우안용 화상(R 화상)이다.
값=3: 베이스 뷰는 좌안용 화상(L 화상)이다.
이들 정보를 기록한다.
또한, 플레이 리스트 내에서, 베이스 뷰와 L/R의 대응이 혼재하고 있을 경우, 혹은, 대응 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)인 경우, 베이스 뷰 정보에 따라서 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 베이스 뷰가 LR 중 어느 화상인지를 판별해서 LR 화상을 정확하게 복호하여 표시할 수 있다.
(메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag](125))
다음으로, 도 16을 참조하여, 메인 패스 화상 식별 플래그(125)의 구체예에 대해서 설명한다.
메인 패스 화상 식별 플래그(125)는, 도 2의 (5)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 무의 독립 스트림(2 스트림)(MVC가 아님)], 이 부호화 방식이면서 또한, 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 13을 참조하여 설명한 3차원 화상 구성 정보=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)
이 설정의 경우에 이용된다.
이 메인 패스 화상 식별 플래그(125)는, 플레이 리스트에 설정되는 2개의 이하의 패스, 즉,
메인 패스(메인 플레이 아이템)
서브 패스(서브 플레이 아이템)
이들 2개의 패스의 각각이 L 화상, R 화상 중 어느 하나에 대응하는지를 나타내기 위한 정보가 기록된다.
구체적으로는, 예를 들어 도 16에 도시한 바와 같이,
값=2: 메인 패스는 우안용 화상(R 화상)이다.
값=3: 메인 패스는 좌안용 화상(L 화상)이다.
이들 정보를 기록한다.
또한, 플레이 리스트 내에서, 메인 패스와 L/R의 대응이 혼재하고 있을 경우, 혹은, 대응의 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, 도 13을 참조하여 설명한 3차원 화상 구성 정보=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)인 경우, 작성 또는 갱신하는 플레이 리스트의 설정에 따라서 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 메인 패스와 서브 패스가 각각 LR 화상 중 어느 화상의 재생 패스인지를 정확하게 판별 가능하게 되어, LR 화상을 정확하게 복호해서 표시할 수 있다.
메인 패스와 서브 패스의 이용 형태에 대해서, 도 17을 참조하여 설명한다.
도 17에는 1개의 플레이 리스트(130)를 나타내고 있다. 플레이 리스트(130)는,
메인 패스(메인 플레이 아이템)(131),
서브 패스(서브 플레이 아이템)(132),
를 갖고 있다.
메인 패스(메인 플레이 아이템)(131)는, 클립 a(135)에 대한 재생 개시점(IN_time)과 재생 종료점(OUT_time)을 유지하고, 클립 a(135)에 대응된 AV 스트림을 재생한다.
서브 패스(서브 플레이 아이템)(132)는, 클립 b(136)에 대한 재생 개시점(IN_time)과 재생 종료점(OUT_time)을 유지하고, 클립 b(136)에 대응된 AV 스트림을 재생한다.
이러한 설정의 경우, 메인 패스와 서브 패스가 LR 화상 중 어디에 대응하는지의 패턴으로서 이하의 2개의 패턴이 있다.
(a) 패턴 1
메인 패스에 의해 지정되는 클립이 L 화상 재생 클립,
서브 패스에 의해 지정되는 클립이 R 화상 재생 클립,
(b) 패턴 2
메인 패스에 의해 지정되는 클립이 R 화상 재생 클립,
서브 패스에 의해 지정되는 클립이 L 화상 재생 클립,
이 패턴 1 또는 패턴 2가 있다.
이러한 설정으로 함으로써, L 화상과 R 화상을 1개의 플레이 리스트 내의 메인 패스(메인 플레이 아이템)(131)와, 서브 패스(서브 플레이 아이템)(132)를 이용해서 3차원 화상 재생을 실행할 수 있다.
그러나, 재생 장치는, 메인 패스와 서브 패스가 LR 화상 중 어느 쪽에 대응하는지를 모르면, 정확한 3차원 화상 표시를 실행할 수 없다. 도 16에 나타내는 메인 패스 화상 식별 플래그(125)는, 메인 패스가 L 화상 대응인지 R 화상 대응인지를 나타내는 플래그이며, 재생 장치는, 이들 정보를 참조하여 LR 화상을 정확하게 복호하여 표시할 수 있다.
(부호화 형태 식별 플래그 [PlayList_use_entropy_coding_mode_flag](126))
다음으로, 도 18을 참조하여, 부호화 형태 식별 플래그(126)의 구체예에 대해서 설명한다.
부호화 형태 식별 플래그(126)는, 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)], 이 부호화 방식의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 13을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 이용된다.
부호화 형태 식별 플래그(126)는, 부호화 처리로서 엔트로피 부호화 모드(entropy coding mode)를 사용한 부호화 처리를 실행하고 있는지 여부를 나타내는 식별 플래그이다.
또한, 엔트로피 부호화 모드(entropy coding mode)를 이용한 부호화 처리란, 구체적으로는, 예를 들어 CABAC(Context-based Adaptive Binary Arithmetic Coding)를 이용한 부호화 처리다.
엔트로피 부호화 모드(entropy coding mode)를 이용하지 않는 부호화 처리란, 구체적으로는, 예를 들어 CAVLC(Context-based Adaptive Variable Length Coding)를 이용한 부호화 처리다.
구체적으로는, 예를 들어 도 18에 도시한 바와 같이,
값=1: 엔트로피 부호화 모드(entropy coding mode)를 이용하지 않고 있다.
값=2: 엔트로피 부호화 모드(entropy coding mode)를 이용하고 있을 가능성이 있다.
이들 정보를 기록한다.
또한, 플레이 리스트로부터 재생되는 비디오 스트림에 대한 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)인 경우, 부호화 처리가 엔트로피 부호화 모드를 적용하고 있는지 여부에 따라서 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 부호화 형태를 알아, LR 화상을 정확하게 복호해서 표시할 수 있다.
또한, 예를 들어 재생 장치는, 엔트로피 부호화 모드(entropy coding mode)인 CAVLC 부호화 데이터의 복호를 실행할 수 없는 장치인 경우가 있다. 이러한 경우에는, 부호화 형태 식별 플래그(126)의 설정 정보에 기초하여, 3차원 화상의 복호 재생 처리를 중지하고, L 화상만 또는 R 화상만의 재생에 의한 2차원 화상의 재생을 행하는 처리도 실행할 수 있다. 이 플래그가 없으면, 재생 장치는 자기의 재생 가능한 부호화 형태로 부호화되어 있는지 여부를 식별할 수 없기 때문에, 복호 처리를 개시하게 되어, 결과적으로 처리 에러가 발생하게 된다.
(화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag](127))
다음으로, 도 19를 참조하여, 화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag](127)에 대해서 설명한다.
화상간 참조 식별 플래그(127)도, 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)], 이 부호화 방식의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 13을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 이용된다.
화상간 참조 식별 플래그(127)는, 도 13을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 뷰간 참조가 실행된 부호화가 행해지고 있는지 여부를 나타내는 정보이다. 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)]의 설정에 따른 부호화 처리에서도, 실제로는, L 화상과 R 화상의 사이의 참조 처리가 실행되지 않는 경우도 존재한다.
구체적으로는, 1개의 플레이 리스트에 대하여 재생 콘텐츠로서 이용되는 부호화 데이터가,
L 화상과 R 화상의 사이의 참조가 없는 부호화 데이터만,
L 화상과 R 화상의 사이의 참조가 있는 부호화 데이터가 포함되는,
이들 부호화 데이터가 있다.
이들 2종류의 데이터의 식별을 가능하게 한 플래그가 화상간 참조 식별 플래그(127)로서 설정된다.
구체적으로는, 예를 들어 도 19에 도시한 바와 같이,
값=1: 뷰간 참조 없음
값=2: 뷰간 참조가 포함될 가능성이 있다.
이들 정보가 설정된다.
또한, 플레이 리스트로부터 재생되는 비디오 스트림에 관한 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)인 경우, 부호화 처리에서 뷰간 참조가 실행되어 있는지 여부에 따라 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 부호화 형태를 알아, LR 화상을 정확하게 복호해서 표시할 수 있다.
(3-1-c. 플레이 리스트 파일의 재생 패스 정보(서브 플레이 아이템 정보)에 3차원 화상 정보를 기록하는 예)
다음으로, 플레이 리스트 파일의 재생 패스 정보(서브 플레이 아이템 정보)에 3차원 화상 정보를 기록하는 예에 대해서 설명한다.
도 20은, 플레이 리스트 파일의 구문을 나타내는 도면이다. 플레이 리스트 파일은, 우선 도 4, 도 5를 참조하여 설명한 바와 같이, 인포 파일을 사용한 타이틀 표시 메뉴로부터 선택된 타이틀에 대응해서 선택되는 플레이 리스트를 저장한 파일이다. 도 5를 참조하여 설명한 바와 같이, 플레이 리스트에는, 클립에 대한 재생 개시점(IN점)과 재생 종료점(OUT점)을 갖는 재생 구간 지정 정보를 갖는 재생 패스 정보(플레이 아이템)를 저장하고 있다.
재생 패스 정보(플레이 아이템)에는,
메인 패스(메인 플레이 아이템(PlayItem))
서브 패스(서브 플레이 아이템(SubPlayItem))
이들 2종류가 존재한다.
이들 메인 패스(메인 플레이 아이템), 서브 패스(서브 플레이 아이템)의 각각은, 개별적으로 임의의 1개의 클립(Clip)에 대응되어 있다.
3차원 화상의 부호화 형태가, 도 13을 참조하여 설명한 3차원 화상 구성 정보=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)인 경우, 도 16, 도 17을 참조하여 설명한 바와 같이, 플레이 리스트에 포함되는 메인 패스(플레이 아이템)와 서브 패스(서브 플레이 아이템)의 각각이 L 화상과 R 화상의 재생 패스로서 설정된다.
즉, (a) 패턴 1
메인 패스에 의해 지정되는 클립이 L 화상 재생 클립,
서브 패스에 의해 지정되는 클립이 R 화상 재생 클립,
(b) 패턴 2
메인 패스에 의해 지정되는 클립이 R 화상 재생 클립,
서브 패스에 의해 지정되는 클립이 L 화상 재생 클립,
이 패턴 1 또는 패턴 2의 설정으로 화상이 기록된다.
어느 설정으로 기록되었는지에 대해서는, 앞서 도 13, 도 16을 참조하여 설명한 바와 같이, 메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag](125)에 기록되어, 재생시에는 이 플래그를 참조하여 식별할 수 있다.
그러나, 예를 들어 비디오 카메라로 화상을 촬영하여 미디어에 기록하는 경우, 플레이 리스트에 설정되는 메인 패스(플레이 아이템)와 서브 패스(서브 플레이 아이템)의 조합이, 3차원 화상을 구성하는 L 화상과 R 화상의 조합이라고는 한정할 수 없다.
예를 들어, 메인 패스(플레이 아이템)를 통상의 2차원 화상 데이터의 재생용 패스
서브 패스(서브 플레이 아이템)를 에프터 레코딩용의 음성 데이터용의 재생 패스
이러한 설정으로 하는 경우도 있다.
그 밖에, 메인 패스와 서브 패스의 이용 형태로는,
와이드 화상과 망원 화상 각각의 화상 재생 패스,
전경 화상과, 부분 확대 화상 각각의 화상 재생 패스, 포커스 위치가 상이한 2개의 화상의 재생 패스,
이러한 상이한 화상의 재생 패스의 조합과 같은 설정이 가능하다.
이렇게 메인 패스(플레이 아이템)는, 메인의 화상 데이터용의 재생 패스 정보로서 이용되지만, 서브 패스(서브 플레이 아이템)의 이용 형태는 다양한 형태가 된다. 따라서, 재생시에는 서브 패스의 이용 형태를 판별해서 재생을 행하는 것이 필요하다.
이를 위한 정보로서, 플레이 리스트 파일의 재생 패스 정보(서브 플레이 아이템 정보)에 3차원 화상 정보를 기록한다.
도 20에 나타내는 플레이 리스트 파일의 구문에는, 플레이 리스트에 포함되는 메인 패스(플레이 아이템)와 서브 패스(서브 플레이 아이템)의 고유 정보를 기록하는 영역이 설정된다.
메인 패스(플레이 아이템) 정보 기록 영역(141),
서브 패스(서브 플레이 아이템) 정보 기록 영역(142),
이들 정보 기록 영역이다.
서브 패스(서브 플레이 아이템) 정보 기록 영역(142)의 기록 데이터의 상세 구문을 도 21에 나타낸다. 도 21 에 도시한 바와 같이, 서브 패스(서브 플레이 아이템) 정보 기록 영역(142)에는,
서브 패스(서브 플레이 아이템) 타입 정보 기록 영역(145)이 설정된다.
본 처리 예에서는, 이 서브 패스(서브 플레이 아이템) 타입 정보 기록 영역(145)에 서브 패스(서브 플레이 아이템)가 3차원 화상을 구성하는 LR 화상 중 어느 한쪽을 재생하기 위한 서브 패스(서브 플레이 아이템)인지의 여부를 식별하는 서브 패스 이용 타입 식별값을 설정한다. 예를 들어, 도 22에 나타내는 값이다.
도 22에 나타내는 예에서는, 서브 패스 이용 타입 식별값의 설정은 이하와 같다.
값=1: 음성 스트림용의 재생 패스
값=2: 3차원 화상의 구성 화상(LR 화상)의 1쪽의 화상 재생 패스
이러한 값을 설정한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 3차원 화상이, 1개의 플레이 리스트 내의 메인 패스(플레이 아이템)와 서브 패스(서브 플레이 아이템)를 각각 LR 화상의 재생 패스로서 이용하는 경우, 상기의 값(2)을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 플레이 리스트를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 서브 패스가 3차원 화상을 구성하는 LR 화상의 한쪽 화상의 재생 패스인 것을 확인해서 LR 화상을 정확하게 복호하여 표시할 수 있다.
또한, BDAV 규격에서는, 1개의 플레이 리스트 내의 메인 패스(플레이 아이템)에 대하여 서브 패스(서브 플레이 아이템)를 하나만 부가할 수 있다. 서브 패스(서브 플레이 아이템)는, 메인 패스(플레이 아이템)의 시간축상, 전체 혹은 일부분에만 설정할 수 있다. 그때, 서브 패스(서브 플레이 아이템)는 메인 패스 중의 복수의 플레이 아이템의 경계에 걸치는 형태로 설정해도 좋다.
(3-1-d. 클립 정보 파일에 3차원 화상 정보를 기록하는 예)
다음으로, 클립 정보 파일에 3차원 화상 정보를 기록하는 예에 대해서 설명한다.
앞서 도 3 등을 참조하여 설명한 바와 같이, 클립 정보 디렉토리 [CLIPINF]에 기록되는 클립 정보 파일 [xxxxx.clpi]는, 스트림 디렉토리 [STREAM]에 기록되는 AV 스트림 파일 [xxxxx.m2ts]에 대응해서 1 대 1의 대응으로 설정된다. 클립 정보 파일은, 실제의 스트림을 재생하는데 필요한 스트림에 관한 정보가 기재된 파일이다.
앞서, 인포 파일과 플레이 리스트 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보를 기록하는 예에 대해서 설명했다.
클립 정보 파일에도 플레이 리스트 파일이나 인포 파일과 마찬가지로, 메이커 프라이빗 데이터 영역이 설정된다. 즉, 예를 들어 기록 재생 기기 등의 정보 처리 장치의 제공 메이커가 자유로운 정보를 기록할 수 있는 영역이다.
본 예는, 이 클립 정보 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보(multiview_video_info)를 기록하는 예이다.
클립 정보 파일의 구문을 도 23에 나타낸다. 클립 정보 파일은, 도 23에 도시한 바와 같이 6개의 오브젝트로 구성된다. 그것은,
ClipInfo ()(201),
SequenceInfo ()(202),
ProgramInfo ()(203),
CPI ()(204),
ClipMark ()(205) 및
MakersPrivateData ()(206)이다.
ClipInfo ()(201)는, 클립 정보 파일에 대응하는 AV 스트림 파일의 속성 정보를 기록한다.
SequenceInfo ()(202)에 대해서 설명한다.
MPEG-2 트랜스포트 스트림 중에서 STC(System Time Clock(기준 시간))의 불연속점(시스템 타임 베이스의 불연속점)을 포함하지 않는 시간 구간을 STC_sequence라고 칭하고, Clip 중에서, STC_sequence는 stc_id의 값에 의해 특정된다. 동일한 STC_sequence 중에서 동일한 STC의 값은, 결코 나타나지 않는다. 따라서, 동일한 STC_sequence 중에서 동일한 PTS(Presentation Time Stamp(동기 재생을 위한 시간 정보))의 값도 또한 결코 나타나지 않는다. AV 스트림이, N(N>0)개의 STC 불연속점을 포함하는 경우, Clip의 시스템 타임 베이스는, (N+1)개의 STC_sequence로 분할된다.
SequenceInfo는, STC의 불연속(시스템 타임 베이스의 불연속)이 발생하는 장소의 어드레스를 기록한다.
ProgramInfo ()(203)에 대해서 설명한다. 도 24를 참조하여 설명한다. 클립 정보 파일에 의해 재생되는 재생 구간이나 시간 구간이며, 이하의 특징을 갖는 재생 구간을 프로그램 시퀀스(program_sequence)라고 칭한다.
PCR_PID(Program Clock Reference Packet ID)의 값이 변하지 않는다.
비디오 엘리멘터리 스트림의 수가 변화하지 않는다.
각각의 비디오 스트림에 관한 PID의 값과 그 VideoCodingInfo에 의해 정의되는 부호화 정보가 변화하지 않는다.
오디오 엘리멘터리 스트림의 수가 변화하지 않는다.
각각의 오디오 스트림에 관한 PID의 값과 그 AudioCodingInfo에 의해 정의되는 부호화 정보가 변화하지 않는다.
프로그램 시퀀스(program_sequence)는, 동일한 시각에서 단 하나의 시스템 타임 베이스를 갖고, 동일한 시각에서 단 하나의 PMT(Program Map Table)를 갖는다.
MPEG 데이터를 구성하는 트랜스포트 스트림(TS)은 복수의 프로그램을 포함하고, 스트림에 포함되어 있는 프로그램과 그 프로그램을 구성하고 있는 영상이나 음성 스트림 등의 프로그램의 요소와의 관계를 나타내는 테이블 정보가 복수 규정되어 있다. 테이블 정보는 PSI(Program Specific Information)라고 불리며, PAT (Program Association Table), PMT(Program Map Table) 등 복수의 테이블이 포함된다. PAT에는 프로그램 번호에 대응한 PMT의 PID 등이 기술되며, PMT에는 대응하는 프로그램에 포함되는 영상, 음성, 부가 데이터 및 PCR의 PID가 기술된다. PAT와 PMT를 참조함으로써 스트림 중에서 원하는 프로그램을 구성하는 TS 패킷을 취출할 수 있다.
ProgramInfo ()는, 프로그램 시퀀스(program_sequence)가 개시하는 장소의 어드레스를 기록한다. SPN_program_sequence_start가, 그 어드레스를 나타낸다. SPN은 소스 패킷 번호다.
또한, 프로그램 시퀀스(program_sequence)의 경계와, STC_sequence의 경계는 반드시 일치하지는 않는다. 또한, 플레이 아이템(PlayItem)이 갖는 재생 개시점(IN_time)과 재생 종료점(OUT_time)은, 동일한 STC_sequence 상에 있을 필요가 있지만, 프로그램 시퀀스(program_sequence)에 대해서는 그러한 제한은 없다. 즉, 일반적으로는, 임의의 플레이 아이템(PlayItem)이 갖는 재생 개시점(IN_time)과 재생 종료점(OUT_time)이, 서로 다른 프로그램 시퀀스(program_sequence) 상에 존재하는 경우가 있다.
도 25는, ProgramInfo의 구문을 나타내는 도면이다.
num_of_program_sequences는, 클립 정보 파일 내의 프로그램 시퀀스(program_sequence)의 수를 나타낸다.
SPN_program_sequence_start [i]는, AV 스트림 파일 상에서 프로그램 시퀀스가 개시하는 장소의 상대 어드레스이다.
program_map_PID [i]는, 프로그램 시퀀스(program_sequence)에 유효한 PMT의 PID를 나타낸다. num_of_streams_in_ps [i]는, 프로그램 시퀀스(program_sequence)에 존재하는 스트림의 수를 나타낸다.
num_of_groups [i]는, 프로그램 시퀀스(program_sequence)가 재생될 때의 스트림의 조합 수를 나타낸다.
다음으로, 도 23에 나타낸 구문 중의 CPI(Characteristic Point Information)(204)에 대해서 설명한다. 도 26은, CPI의 구문을 나타내는 도면이다.
CPI는, AV 스트림 중 시간 정보와 그 파일 중 어드레스를 관련짓기 위한 데이터를 기록한다. 구체적으로는, 엔트리 포인트 맵(EP맵(EP_map))(210)을 기록한다.
도 27, 도 28을 참조하여 EP맵(210)에 대해서 설명한다. 도 27에 도시한 바와 같이, EP맵(EP_map)(210)은, 클립 정보 파일에 포함되는 데이터다. EP맵은, 예를 들어 랜덤 액세스 개시 가능한 포인트(엔트리 포인트)가 되는 MPEG 데이터의 기준 데이터로서의 I 픽처 위치의 검출 정보를 갖는다. I 픽처 위치의 검출 처리에 대해서 도 28을 참조하여 설명한다. 도 28의 (a)는 클립 AV 스트림을 나타내고, 각 직사각형은 192 바이트 소스 패킷을 나타내고 있다. 각 소스 패킷에는 타임 스탬프가 설정되어 재생 처리 시간이 규정되어 있다.
도 28의 (b)에, 소스 패킷 No.(X1)의 상세 구성을 나타낸다. 1개의 소스 패킷은, TP_extra 헤더와 트랜스포트 패킷에 의해 구성되고, 트랜스포트 패킷에는, 각종 헤더 정보와, MPEG 데이터의 실체로서의 I-PICH~의 데이터에 의해 구성된다.
도 28의 (c)에 나타내는 클립 정보 파일에는, 상술한 바와 같이 EP맵이 포함된다. EP맵에는, 도면에 도시한 바와 같이, [PTS_EP start], [SPN_EP start], [I_end_position_offset]의 각 데이터가 포함된다. 각 데이터의 의미는 이하와 같다.
PTS_EP_start: 시퀀스 헤더를 포함하는 source packet에 대응하는 타임 스탬프(프리젠테이션 타임 스탬프).
SPN_EP_start: 시퀀스 헤더를 포함하는 source packet의 선두 어드레스.
I_end_position_offset: 시퀀스 헤더를 포함하는 source packet으로부터, I 픽처의 종료를 포함하는 source packet의 오프셋
이들의 데이터 관계를 나타내는 것이 도 28의 (d)이다.
즉, 도 28의 (b)에 도시한 바와 같이, 소스 패킷에 포함되는 데이터의 구성이 규정되어 있고, 도 28의 (c)에 나타내는 [PTS_EP start], [SPN_EP start], [I_end_position_offset]의 각 데이터를 EP맵으로부터 구함으로써, 이들 데이터에 기초하여, 소스 패킷 중의 I 픽처 위치를 구할 수 있게 된다. 재생 장치는, EP맵으로부터 I 픽처의 위치를 구함으로써, 임의의 위치에서의 재생 처리를 행할 수 있다.
다음으로, 도 23에 나타낸 구문 중의 ClipMark(205)에 대해서 설명한다.
ClipMark(205)는, 클립에 대한 마크 정보이며, ClipMark 중에 스토어된다. 이 마크는, 기록기(기록 재생 장치(1))에 의해 설정되는 것이며, 유저에 의해 설정되는 것이 아니다.
다음으로, 도 23에 나타낸 구문 중의 MakersPrivateData ()(206)에 대해 설명한다.
클립 정보 파일에도 플레이 리스트 파일이나 인포 파일과 마찬가지로, 메이커 프라이빗 데이터 영역이 설정된다. 즉, 예를 들어 기록 재생 기기 등의 정보 처리 장치의 제공 메이커가 자유로운 정보를 기록할 수 있는 영역이다.
본 예는, 이 클립 정보 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보(multiview_video_info)를 기록하는 예이다.
또한, 클립 정보 파일의 메이커 프라이빗 데이터 영역에도, 도 7에 나타낸 인포 파일과 마찬가지로,
메이커 ID [maker_ ID] 기록 영역
메이커 모델 코드 [maker_model_code] 기록 영역
데이터 블록 [data_block] 기록 영역
이들 데이터 기록 영역이 설정된다.
클립 정보 파일의 메이커 프라이빗 데이터 영역에 3차원 화상 정보(multiview_video_info)를 기록하는 경우, 클립 정보 파일의 메이커 ID 기록 영역에는 데이터 블록에 기록된 데이터가 3차원 화상 정보인지의 여부의 식별 정보를 기록한다. 마찬가지로 클립 정보 파일의 메이커 모델 코드 [maker_model_code] 기록 영역에는, 데이터 블록에 기록된 3차원 화상 정보의 버전 정보를 기록한다. 이것들은 도 8을 참조하여 설명한 인포 파일의 경우와 마찬가지의 기록 구성이다.
도 29를 참조하여 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보(multiview_video_info)의 구체예에 대해서 설명한다.
클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에는, 도 29에 도시한 바와 같이, 예를 들어 이하의 정보가 기록된다.
프로그램 시퀀스수 (number_of_program_sequences)(220)
3차원 화상 플래그 [ClipInfo_multiview_video_flag](221),
3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration](222),
프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag](223),
베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag](224),
클립 대응 화상 식별 플래그 [ClipInfo_this_clip _is_Left_flag](225),
부호화 형태 식별 플래그 [ClipInfo_use_entropy_coding_mode_flag](226),
화상간 참조 식별 플래그 [ClipInfo_use_inter-view_prediction_flag](227),
이들 정보가, 각 클립 정보 파일에 기록된다.
프로그램 시퀀스수(number_of_program_sequences)(220)는, 클립 정보 파일에 포함되는 프로그램 시퀀스의 수다. 클립 정보 파일에는 1 이상의 프로그램 시퀀스가 포함된다. 프로그램 시퀀스는, 앞서 도 24 등을 참조하여 설명한 바와 같이, 비디오 엘리멘터리 스트림의 수나 부호화 정보가 불변 등, 큰 처리의 전환이 없는 콘텐츠 재생 시간 구간이며, 클립 정보 파일에 1 대 1로 대응된 AV 스트림 파일의 전체 재생 구간의 분할 재생 구간에 대응한다. 즉, 플레이 리스트의 재생 패스(플레이 아이템)에 의해 지정되는 재생 개시점(IN_time)과 재생 종료점(OUT_time)간에는 복수의 프로그램 시퀀스가 설정 가능하다.
도 29에 나타내는 3차원 화상 플래그(221) 내지 화상간 참조 식별 플래그(227)는, 앞서 도 11을 참조하여 설명한 플레이 리스트 파일의 3차원 화상 정보를 유지하는 정보이다. 이들 3차원 화상 정보는, 프로그램 시퀀스 단위로 기록되게 된다.
따라서, 서로 다른 프로그램 시퀀스에 대응하는 3차원 화상 정보는 상이한 정보가 되는 경우가 있다.
콘텐츠 기록을 행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는지의 여부를 판별하고, 판별 정보에 따라서 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 프로그램 시퀀스 단위로, 도 29에 나타내는 각종 3차원 화상 정보를 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보 파일에 기록된 정보를 프로그램 시퀀스 단위로 적용함으로써 정확한 3차원 화상 재생을 실행할 수 있다.
도 29에 나타내는 클립 정보 파일의 메이커 프라이빗 데이터 영역 내의 데이터 블록 [data_block] 기록 영역에 기록되는 3차원 화상 정보, 즉, 3차원 화상 플래그(221) 내지 화상간 참조 식별 플래그(227), 이들 각 정보의 상세예에 대해서, 도 30 이하를 참조하여 설명한다. 또한, 상술한 바와 같이, 이들 정보는 프로그램 시퀀스 단위로 개별적으로 기록된다.
(3차원 화상 플래그 [ClipInfo_multiview_video_flag](221))
우선, 3차원 화상 플래그(221)의 구체예에 대해서 도 30을 참조하여 설명한다.
3차원 화상 플래그의 값=0: 이 클립 정보의 프로그램 시퀀스의 재생 대상 콘텐츠에는 2D 콘텐츠만 포함되고, 3D 콘텐츠는 포함되지 않는다.
3차원 화상 플래그의 값=1: 이 클립 정보의 프로그램 시퀀스의 재생 대상 콘텐츠에는 3D 콘텐츠가 포함되어 있을 가능성이 있다.
이와 같이 플래그=0/1 중 어느 하나의 정보를 기록한다.
또한, 콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는지의 여부를 판별하고, 판별 정보에 따라서 상기의 플래그를 기록한다. 이 처리는, 클립 정보 파일에 설정되는 프로그램 시퀀스 각각에 대응해서 실행된다.
콘텐츠 재생을 실행하는 장치는, 클립 정보 파일의 프로그램 시퀀스 단위로 플래그의 값을 참조하여, 프로그램 시퀀스 단위로 콘텐츠에 3차원 화상이 포함되는지의 여부를 식별할 수 있다.
(3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration](222))
다음으로, 3차원 화상 구성 정보(222)의 구체예에 대해서 도 31을 참조하여 설명한다.
3차원 화상 구성 정보(222)는, 이 클립 정보에 의해 재생되는 콘텐츠인 3차원 화상의 부호화 형태 정보를 기록하는 영역으로서 설정된다.
구체적으로는, 도 31에 도시한 바와 같이 이하의 설정이다.
값=3: 사이드 바이 사이드 방식(side by side)
값=4: 톱 앤드 보텀 방식(top and bottom)
값=5: 프레임 시퀀셜 방식(frame sequential)
값=30: MVC 부호화 2 엘리멘터리 스트림/1 시스템 스트림(클립은 MVC 부호화된 2개의 엘리멘터리 스트림을 포함함)
값=31: MVC 부호화 2 엘리멘터리 스트림/2 시스템 스트림(클립은 MVC 부호화된 2개의 엘리멘터리 스트림 중 한쪽을 포함함)
값=32: MVC 부호화 1 엘리멘터리 스트림/1 시스템 스트림
값=40: 독립 2 엘리멘터리 스트림/1 시스템 스트림(클립은 MVC 부호화와 상이한 부호화가 이루어진 2개의 엘리멘터리 스트림을 포함함)
값=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(클립은 MVC 부호화와 상이한 부호화가 이루어진 2개의 엘리멘터리 스트림 중 한쪽을 포함함)
이러한 부호화 구성 정보를 기록한다.
단, 프로그램 시퀀스(program sequence) 내에서, 3D 콘텐츠의 종별이 혼재하고 있거나, 혹은 불분명한 경우에는, 20(no information)으로 한다.
값=3의 사이드 바이 사이드 방식은, 도 1의 (1)에 나타내는 부호화 방식에 대응한다.
값=4의 톱 앤드 보텀 방식은, 도 1의 (2)에 나타내는 부호화 방식에 대응한다.
값=5의 프레임 시퀀셜 방식은, 도 1의 (3)에 나타내는 부호화 방식에 대응한다.
값 30 내지 33의 MVC 부호화 방식은, 도 2의 (4)에 나타내는 부호화 방식에 대응한다.
이 경우는, 엘리멘터리 스트림이 1 또는 2, 시스템 스트림이 1 또는 2인 경우로 분류되어 있다.
값 40 내지 41의 부호화 방식은, 도 2의 (5)에 나타내는 부호화 방식에 대응한다.
이 경우도 엘리멘터리 스트림이 2, 시스템 스트림이 1 또는 2인 경우로 분류되어 있다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되는 경우, 그 부호화 형태 정보에 따라서 상기의 값을 기록한다. 이 처리는, 클립 정보 파일에 설정되는 프로그램 시퀀스 각각에 대응해서 실행된다.
또한, 3D 콘텐츠의 종별이 변화할 때마다 프로그램 시퀀스(program sequence)를 나누어서 기록하고, 1개의 프로그램 시퀀스(program sequence)를 1개의 부호화 형태로 한 설정에서의 3차원 화상 기록을 실행한다.
콘텐츠 재생을 실행하는 장치는, 상기의 값을 참조하여, 이 클립 정보를 이용해서 재생되는 콘텐츠의 부호화 형태를 식별하고, 식별 정보에 대응한 복호 처리를 실행할 수 있다. 프로그램 시퀀스 단위로 3차원 화상의 부호화 형태를 판별하고, 그 형태에 따른 복호를 실행할 수 있다.
(프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag](223))
다음으로, 프레임 0 화상 식별 플래그(223)의 구체예에 대해서 도 32를 참조하여 설명한다.
프레임 0 화상 식별 플래그(223)는, 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식(도 1의 (3) 참조)의 경우에 기록되어, 재생시에 이용되는 정보이다. 즉, 도 31을 참조하여 설명한 3차원 화상 구성 정보=5인 경우에 이용된다.
앞서 설명한 바와 같이, 도 1의 (3)에 도시한 바와 같이 프레임 시퀀셜 방식의 경우, 좌안용 화상(L 화상)과 우안용 화상(R 화상)이 교대하는 프레임으로서 설정된다.
예를 들어, 프레임 0이 좌안용 화상(L 화상)
프레임 1이 우안용 화상(R 화상)
혹은, 프레임 0이 우안용 화상(R 화상)
프레임 1이 좌안용 화상(L 화상)
이들의 조합 중 어느 하나가 된다.
L 화상은 유저의 좌안에 의해서만 관찰되고, R 화상은 우안에 의해서만 관찰되면, 정확한 깊이감을 얻을 수 있다. LR 화상의 표시 시퀀스를 정확하게 설정하기 위한 정보가, 도 32에 나타내는 프레임 0 화상 식별 플래그(223)이다.
구체적으로는, 예를 들어 도 32에 도시한 바와 같이,
값=2: 프레임 0이 우안용 화상(R 화상)이다.
값=3: 프레임 0이 좌안용 화상(L 화상)이다.
이들 정보를 기록한다.
단, 프레임 0이 L/R 중 어느 쪽에 대응하는지, 그 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, 프레임 시퀀셜 방식인 경우, 프레임 정보에 따라서 상기의 값을 기록한다. 이 처리는, 클립 정보 파일에 설정되는 프로그램 시퀀스 각각에 대응해서 실행된다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여, 프레임 0이 L 화상인지 R 화상인지를 정확하게 판별해서 LR 화상의 정확한 재생 표시를 행할 수 있다. 재생 장치는, 프로그램 시퀀스 단위로 판별을 실행해서 판별 정보에 따른 복호 처리를 실행할 수 있다.
(베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag](224))
다음으로, 도 33을 참조하여, 베이스 화상 식별 플래그(224)의 구체예에 대해서 설명한다.
베이스 화상 식별 플래그(224)는, 3차원 화상의 부호화 방식이 MVC 부호화 방식(도 2의 (4) 참조)의 경우에 기록되어, 재생시에 이용되는 정보이다. 즉, 도 31을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 경우에 이용된다.
도 2의 (4)를 참조하여 설명한 MVC 부호화 방식에서는 L 화상과 R 화상 사이에서 참조 부호화 처리가 이루어지는 경우가 있다. 뷰간 참조에 의한 부호화가 행해진 경우는, LR 중 어느 하나를 베이스 뷰(기본 화상)로 해서, 베이스 뷰를 참조함으로써 다른 쪽의 화상의 복호가 행해진다.
베이스 화상 식별 플래그(224)는, 이 베이스 뷰가 L 화상인지 R 화상인지를 나타내는 값이다. 구체적으로는, 예를 들어 도 33에 도시한 바와 같이,
값=2: 베이스 뷰는 우안용 화상(R 화상)이다.
값=3: 베이스 뷰는 좌안용 화상(L 화상)이다.
이들 정보를 기록한다.
단, 베이스 뷰가 L/R 중 어느 쪽에 대응하는지, 그 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)의 경우, 베이스 뷰 정보에 따라서 상기의 값을 기록한다. 기록 처리는, 프로그램 시퀀스 단위로 실행한다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조해서 베이스 뷰가 LR 중 어느 화상인지를 판별하여 LR 화상을 정확하게 복호해서 표시할 수 있다. 프로그램 시퀀스 단위로 정보를 취득하여 처리를 전환하는 것이 가능해진다.
(클립 대응 화상 식별 플래그 [ClipInfo_this_Clip_is_Left_flag](225))
다음으로, 도 34를 참조하여, 클립 대응 화상 식별 플래그(225)의 구체예에 대해서 설명한다.
클립 대응 화상 식별 플래그(225)는, 도 2의 (5)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 무의 독립 스트림(2 스트림)(MVC가 아님)], 이 부호화 방식이면서 또한, 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 31을 참조하여 설명한 3차원 화상 구성 정보=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(클립은 MVC 부호화와 상이한 부호화가 이루어진 2개의 엘리멘터리 스트림을 포함함)
이 설정의 경우에 이용된다.
이 클립 대응 화상 식별 플래그(225)는, 이 클립이, 3차원 화상을 구성하는 좌안용 화상(L 화상) 대응의 클립인지 우안용 화상(R 화상) 대응의 클립인지를 나타내는 정보이다. 또한 이 정보는 프로그램 시퀀스 단위의 정보로서 설정된다.
구체적으로는, 예를 들어 도 34에 도시한 바와 같이,
값=2: 당해 클립이 우안용 화상(R 화상) 대응 클립이며, 페어가 되는 다른 쪽의 클립이 좌안용 화상(L 화상) 대응 클립이다.
값=3: 당해 클립이 좌안용 화상(L 화상) 대응 클립이며, 페어가 되는 다른 쪽의 클립이 우안용 화상(R 화상) 대응 클립이다.
즉, 클립 대응 화상 식별 플래그(225)는, 값=3일 때, 당해 클립이 L 화상(Left view)이며, 페어가 되는 또 한쪽의 클립이 R 화상(Right view)인 것을 나타낸다. 또한, 값=2일 때, 당해 클립이 R 화상(Right view)이며, 페어가 되는 또 한쪽의 클립이 L 화상(Left view)인 것을 나타낸다.
또한, 클립의 프로그램 시퀀스 대응의 콘텐츠가 L/R 중 어느 쪽에 대응하는지, 그 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, 도 31을 참조하여 설명한 3차원 화상 구성 정보=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림인 경우, 작성 또는 갱신하는 클립 정보의 설정에 따라서 상기의 값을 기록한다. 기록 처리는, 프로그램 시퀀스 단위로 실행한다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조해서 메인 패스와 서브 패스가 각각 LR 화상 중 어느 화상의 재생 패스인지를 정확하게 판별 가능하게 되어, LR 화상을 정확하게 복호해서 표시할 수 있다. 프로그램 시퀀스 단위로 정보를 취득해서 처리를 전환하는 것이 가능해진다.
(부호화 형태 식별 플래그 [ClipInfo_use_entropy_coding_mode_flag](226))
다음으로, 도 35를 참조하여, 부호화 형태 식별 플래그(226)의 구체예에 대해서 설명한다.
부호화 형태 식별 플래그(226)는, 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)], 이 부호화 방식의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 31을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 이용된다.
부호화 형태 식별 플래그(226)는, 부호화 처리로서 엔트로피 부호화 모드(entropy coding mode)를 사용한 부호화 처리를 실행하고 있는지 여부를 나타내는 식별 플래그이다.
또한, 엔트로피 부호화 모드(entropy coding mode)를 이용한 부호화 처리란, 앞서 설명한 바와 같이, 구체적으로는, 예를 들어 CABAC(Context-based Adaptive Binary Arithmetic Coding)를 이용한 부호화 처리다.
엔트로피 부호화 모드(entropy coding mode)를 이용하지 않는 부호화 처리란, 구체적으로는, 예를 들어 CAVLC(Context-based Adaptive Variable Length Coding)를 이용한 부호화 처리다.
구체적으로는, 예를 들어 도 35에 도시한 바와 같이,
값=1: 엔트로피 부호화 모드(entropy coding mode)를 이용하지 않고 있다.
값=2: 엔트로피 부호화 모드(entropy coding mode)를 이용하고 있을 가능성이 있다.
이들 정보를 기록한다.
또한, 클립 정보의 프로그램 시퀀스 대응의 부호화 데이터의 부호화에 관한 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)인 경우, 부호화 처리가 엔트로피 부호화 모드를 적용하고 있는지 여부에 따라서 상기의 값을 기록한다. 기록 처리는, 프로그램 시퀀스 단위로 실행한다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 부호화 형태를 알아, LR 화상을 정확하게 복호해서 표시할 수 있다. 프로그램 시퀀스 단위로 정보를 취득해서 처리를 전환하는 것이 가능해진다.
또한, 예를 들어 재생 장치는, 엔트로피 부호화 모드(entropy coding mode)인 CAVLC 부호화 데이터의 복호를 실행할 수 없는 장치인 경우가 있다. 이러한 경우에는, 부호화 형태 식별 플래그(226)의 설정 정보에 기초하여, 3차원 화상의 복호 재생 처리를 중지하고, L 화상만 또는 R 화상만의 재생에 의한 2차원 화상의 재생을 행하는 처리도 실행할 수 있다. 이 플래그가 없으면, 재생 장치는 자기의 재생 가능한 부호화 형태로 부호화되어 있는지 여부를 식별할 수 없기 때문에, 복호 처리를 개시하게 되어, 결과적으로 처리 에러가 발생하게 된다.
(화상간 참조 식별 플래그 [ClipInfo_use_inter-view_prediction_flag](227))
다음으로, 도 36을 참조하여, 화상간 참조 식별 플래그 [ClipInfo_use_inter-view_prediction_flag](227)에 대해서 설명한다.
화상간 참조 식별 플래그(227)도, 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)], 이 부호화 방식의 경우에 이용되는 플래그를 기록한다.
구체적으로는, 도 31을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 이용된다.
화상간 참조 식별 플래그(227)는, 도 31을 참조하여 설명한 3차원 화상 구성 정보=30 내지 32의 설정의 경우에 뷰간 참조가 실행된 부호화가 행해지고 있는지 여부를 나타내는 정보이다. 도 2의 (4)를 참조하여 설명한 부호화 방식, 즉, [뷰(view)간 참조 유 스트림(MVC)]의 설정을 따른 부호화 처리에서도, 실제로는, L 화상과 R 화상의 사이의 참조 처리가 실행되지 않는 경우도 존재한다.
구체적으로는, 1개의 클립 정보의 프로그램 시퀀스 대응의 재생 콘텐츠인 부호화 데이터가,
L 화상과 R 화상의 사이의 참조가 없는 부호화 데이터만,
L 화상과 R 화상의 사이의 참조가 있는 부호화 데이터가 포함되는,
이들 부호화 데이터가 있다.
이들 2종류의 데이터의 식별을 가능하게 한 플래그가 화상간 참조 식별 플래그(227)로서 설정된다.
구체적으로는, 예를 들어 도 36에 도시한 바와 같이,
값=1: 뷰간 참조 무
값=2: 뷰간 참조가 포함될 가능성이 있다
이들 정보가 설정된다.
단, 클립 정보의 프로그램 시퀀스 대응의 부호화 데이터의 부호화에 관한 정보를 취득할 수 없는 경우는, 0(no information)으로 한다.
콘텐츠 기록을 실행하는 장치는, 기록 콘텐츠에 3차원 화상이 포함되고, 그 부호화 형태가, MVC 부호화 방식(도 2의 (4) 참조)인 경우, 부호화 처리에서 뷰간 참조가 실행되어 있는지 여부에 따라 상기의 값을 기록한다.
콘텐츠 재생을 실행하는 장치는, 이 클립 정보를 이용해서 재생되는 콘텐츠의 복호 처리시에, 상기의 값을 참조하여 부호화 형태를 알아, LR 화상을 정확하게 복호해서 표시할 수 있다.
[4. 정보 처리 장치가 실행하는 처리 시퀀스에 대해서]
다음으로, 도 37 이하의 흐름도를 참조하여 정보 처리 장치가 실행하는 처리 시퀀스에 대해서 설명한다. 또한, 이하의 플로우에서 설명하는 처리는, 정보 처리 장치의 데이터 처리부에서 실행된다. 데이터 처리부는 프로그램 실행 기능을 갖는 CPU를 갖는다. 예를 들어 메모리에 기록된 프로그램에 따라서 일련의 처리가 실행된다.
(4-1. 콘텐츠의 기록 처리 시퀀스)
우선, 미디어에 대한 데이터 기록 처리 시퀀스에 대해서 도 37에 나타내는 흐름도를 참조하여 설명한다. 또한, 이 처리는, 기록 데이터가 3차원 화상 콘텐츠를 포함하는 경우의 처리다.
스텝 S101 내지 S103에서, 정보 처리 장치가 예를 들어 촬영 처리에 의해 취득 또는 외부로부터 입력한 3차원 화상 콘텐츠의 화상(비디오) 엘리멘터리 스트림의 수와, 트랜스포트 스트림수를 확인한다. 이들 정보는, 스텝 S101에서, 입력 데이터에 설정된 속성 정보(메타데이터) 등으로부터 취득하거나, 혹은 입력 스트림의 해석에 의해 취득한다.
또한, 엘리멘터리 스트림은, 화상의 인코드 직후의 데이터 스트림이며, 트랜스포트 스트림은, 타임 스탬프 등, 다른 데이터, 예를 들어 음성 정보 등과의 동기용 데이터를 설정한 스트림 데이터이며, 엘리멘터리 스트림을 다중화한 트랜스포트 스트림에 기초하여 MPEG 데이터 파일(예를 들어 m2ts 파일)을 생성해서 미디어에 기록하는 처리가 실행된다.
3차원 화상을 기록하는 경우, L 화상과 R 화상을 개별적인 엘리멘터리 스트림으로 하는 경우와, 1개의 엘리멘터리 스트림으로 하는 경우가 있다.
또한, L 화상과 R 화상이 1개의 엘리멘터리 스트림에 설정되어 있는 경우는, 그 1개의 엘리멘터리 스트림으로부터 1개의 트랜스포트 스트림이 생성된다. L 화상과 R 화상이 개별적인 엘리멘터리 스트림에 설정되어 있는 경우는, 이들 개별적인 2개의 트랜스포트 스트림으로 하는 경우와, 2개의 엘리멘터리 스트림을 통합해서 1개의 트랜스포트 스트림으로 하는 경우가 있다. 이것들은, 예를 들어 앞서 도 1, 도 2를 참조하여 설명한 부호화 형태 등에 의해 결정된다.
또한, 3차원 화상의 부호화 방식이, 예를 들어 특정한 방송국이나 특정한 기종의 장치 등, 입력 소스에 따라서 미리 결정되어 있는 경우에는, 이들 입력 소스에 따른 테이블 등을 유지하고, 이 테이블을 참조하는 처리에 의해 입력 데이터의 형태를 판별하는 구성으로 해도 좋다.
스텝 S102에서, 화상(비디오) 엘리멘터리 스트림의 수가 1인지 2인지를 판정하여, 1인 경우에는 스텝 S121로 진행하고, 2인 경우에는 스텝 S103으로 진행한다.
스텝 S103에서는, 트랜스포트 스트림의 수가 1인지 2인지를 판정하여, 1인 경우에는 스텝 S121로 진행하고, 2인 경우에는 스텝 S111로 진행한다.
스텝 S111로 진행하는 경우에는, 3차원 화상을 구성하는 L 화상과 R 화상이 개별적인, 즉 2개의 트랜스포트 스트림으로서 설정되어 있는 경우이다.
한편, 스텝 S121로 진행하는 경우에는, 3차원 화상을 구성하는 L 화상과 R 화상이 1개의 트랜스포트 스트림으로서 설정되어 있는 경우이다.
우선, 스텝 S111 이하의 처리에 대해서 설명한다. 즉, 3차원 화상을 구성하는 L 화상과 R 화상이 개별적인, 즉 2개의 트랜스포트 스트림으로서 설정되어 있는 경우의 처리다.
스텝 S111에서는, 2개의 입력 스트림을 해석하고, 엔트리 포인트 맵을 작성하면서 2개의 입력 스트림을 각각의 AV 스트림 파일(MPEG-2 트랜스포트 스트림(m2ts) 파일)로서 기록한다. 즉, 2개의 클립을 작성한다. 또한 여기서, 클립이란 콘텐츠 실체를 저장한 AV 스트림 파일과, 관리 정보 파일로서의 클립 정보 파일로 이루어지는 1조의 파일의 세트를 의미한다.
스텝 S112에서는, 2개의 클립 대응의 m2ts 파일마다 이하의 처리를 행한다.
3D 콘텐츠 부분을 나타내는 프로그램 시퀀스를 작성한다.
클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하고, 엔트리 포인트 맵(EP맵)과 함께 클립 정보 파일에 기록한다.
앞서 설명한 바와 같이, 클립 정보 파일에는, 클립을 구분한 재생 구분 단위로서의 프로그램 시퀀스(program_sequence) 단위로 정보가 기록된다. 프로그램 시퀀스는, 동일한 시각에서 단 하나의 시스템 타임 베이스를 갖고, 동일한 시각에서 단 하나의 PMT(Program Map Table)를 갖는다.
또한, 도 23, 도 26 내지 도 28을 참조하여 설명한 바와 같이 클립 정보 파일에는, 예를 들어 랜덤 재생시 등의 재생 개시점으로서의 I 픽처 위치 정보 등을 기록한 엔트리 포인트 맵(EP맵)이 기록된다.
스텝 S112에서는, LR 각 화상 대응의 클립의 각각에 대해서 클립 정보 파일을 작성한다. 또한, 이 처리시에는, 프로그램 시퀀스 단위로 클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하는 것 외에, 3차원 화상 정보를 기록하는 처리를 행한다.
또한, 이 처리의 상세에 대해서는, 후단에서 도 38 및 도 39에 나타내는 흐름도를 참조하여 설명한다.
다음의 스텝 S113 내지 S115의 처리는 플레이 리스트 파일에 관한 처리다.
우선, 스텝 S113에서는, 제1 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(플레이 아이템(PlayItem))를 생성한다.
또한, 3차원 화상 콘텐츠의 구성 스트림으로서의 LR 화상 중 어느 한쪽의 화상 대응의 클립을 제1 클립으로 하고, 다른 쪽의 화상 대응의 클립을 제2 클립으로 한다.
스텝 S114에서는, 제2 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(서브 플레이 아이템(SubPlayItem))를 생성한다.
스텝 S115에서는, 메인 패스(플레이 아이템(PlayItem))와 서브 패스(서브 플레이 아이템(SubPlayItem))로 구성되는 플레이 리스트를 작성한다. 또한, 3차원 화상 콘텐츠가 포함되는 플레이 리스트인 것을 나타내는 플레이 리스트 파일의 3차원 화상 플래그 [Playlist_multiview_video_flag]를 [1]로 설정한다.
또한, 플레이 리스트 파일의 작성시에는, 3차원 화상 플래그 이외의 3차원 화상 정보에 대해서도 기록 화상에 따른 값을 설정하는 처리를 실행한다. 이 상세 처리에 대해서는, 후단에서 도 40에 나타내는 흐름도를 참조하여 설명한다.
마지막으로, 스텝 S131에서, 인포 파일을 갱신한다. 이 처리시에, 인포 파일에 기록되는 3차원 화상 정보에, 3D 콘텐츠가 포함되는 것을 나타내는 3차원 화상 플래그 [Index_multiview_video_flag]를 [1]로 설정하는 처리를 행한다.
다음으로, 스텝 S121 이하의 처리에 대해서 설명한다. 즉, 3차원 화상을 구성하는 L 화상과 R 화상이 함께 1개의 트랜스포트 스트림으로서 설정되어 있는 경우의 처리다.
스텝 S121에서는, 1개의 입력 스트림을 해석하고, 엔트리 포인트 맵을 작성하면서 입력 스트림을 1개의 AV 스트림 파일(MPEG-2 트랜스포트 스트림(m2ts) 파일)로서 기록한다. 즉, 1개의 클립을 작성한다. 클립은 콘텐츠 실체를 저장한 AV 스트림 파일과, 관리 정보 파일로서의 클립 정보 파일로 이루어지는 1조의 파일의 세트를 의미한다.
스텝 S122에서는, 클립 대응의 m2ts 파일에 대하여 이하의 처리를 행한다.
3D 콘텐츠 부분을 나타내는 프로그램 시퀀스를 작성한다.
클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하고, 엔트리 포인트 맵(EP맵)과 함께 클립 정보 파일에 기록한다.
또한, 이 처리시에는, 프로그램 시퀀스 단위로 클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하는 것 외에, 3차원 화상 정보를 기록하는 처리를 행한다. 이 처리의 상세에 대해서는, 후단에서 도 38 및 도 39에 나타내는 흐름도를 참조하여 설명한다.
다음의 스텝 S123 내지 S124의 처리는 플레이 리스트 파일에 관한 처리다.
우선, 스텝 S123에서는, 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(플레이 아이템(PlayItem))를 생성한다.
또한, 이 경우, 클립은 LR 화상 모두 1개의 클립에 저장되어 있고, 생성하는 패스 정보는 메인 패스(플레이 아이템)만이며, 3차원 화상용의 서브 패스(서브 플레이 아이템)는 생성되지 않는다.
스텝 S124에서는, 메인 패스(플레이 아이템(PlayItem))로 구성되는 플레이 리스트를 작성한다. 또한, 3차원 화상 콘텐츠가 포함되는 플레이 리스트인 것을 나타내는 플레이 리스트 파일의 3차원 화상 플래그 [Playlist_multiview_video_flag]를 [1]로 설정한다.
또한, 플레이 리스트 파일의 작성시에는, 3차원 화상 플래그 이외의 3차원 화상 정보에 대해서도 기록 화상에 따른 값을 설정하는 처리를 실행한다. 이 상세 처리에 대해서는, 후단에서 도 40에 나타내는 흐름도를 참조하여 설명한다.
마지막으로, 스텝 S131에서 인포 파일을 갱신한다. 이 처리시에, 인포 파일에 기록되는 3차원 화상 정보에, 3D 콘텐츠가 포함되는 것을 나타내는 3차원 화상 플래그 [Index_multiview_video_flag]를 [1]로 설정하는 처리를 행한다.
(4-2. 클립 정보 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스)
다음으로, 도 38에 나타내는 흐름도를 참조하여, 클립 정보 파일의 3차원 화상 정보의 기록 또는 갱신 처리 시퀀스에 대해서 설명한다.
이 처리는, 도 37에 나타내는 플로우 중의 스텝 S112 및 스텝 S122의 상세 처리를 나타내는 플로우이다.
우선, 스텝 S151에서, 클립 내의 처리 대상으로 하는 프로그램 시퀀스를 선택한다.
다음으로, 스텝 S152에서, 선택한 프로그램 시퀀스에 대응하는 콘텐츠는 3D 콘텐츠를 포함하는지의 여부를 판정한다. 포함하는 경우는 스텝 S153으로 진행하고, 포함하지 않은 경우는 스텝 S154로 진행한다.
포함하지 않는 경우는, 스텝 S154로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [0]으로 설정한다. 즉, 프로그램 시퀀스 대응의 콘텐츠에는 3차원 화상이 포함되지 않는 것을 나타내는 플래그를 설정한다. 그 후, 스텝 S156으로 진행한다.
한편, 스텝 S152에서, 선택한 프로그램 시퀀스에 대응하는 콘텐츠는 3D 콘텐츠를 포함한다고 판정한 경우에는, 스텝 S153으로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정한다. 즉, 프로그램 시퀀스 대응의 콘텐츠에는 3차원 화상이 포함되는 것을 나타내는 플래그를 설정한다.
또한, 스텝 S155로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 그 밖의 3차원 화상 정보의 기록 처리를 실행한다. 즉, 앞서 도 29를 참조하여 설명한 이하의 3차원 화상 정보에 대한 값 설정 처리를 행한다.
3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration]
프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag]
베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]
클립 대응 화상 식별 플래그 [ClipInfo_this_Clip_is_Left_flag]
부호화 형태 식별 플래그 [ClipInfo_use_entropy_coding_mode_flag]
화상간 참조 식별 플래그 [ClipInfo_use_inter-view_prediction_flag]
이들 설정값을 기록/갱신 데이터에 따라 설정하는 처리를 행한다.
또한, 이들 정보는, 기록하는 3차원 화상의 부호화 형태 등의 정보에 따라서 설정하게 된다.
이들 처리 후, 스텝 S156으로 진행한다. 스텝 S156에서는, 클립에 설정된 프로그램 시퀀스 모두에 대한 처리가 종료되었는지의 여부를 판정하고, 미종료 프로그램 시퀀스가 있는 경우에는, 스텝 S151 이하의 처리를 미종료 프로그램 시퀀스에 대하여 실행한다.
스텝 S156에서, 클립에 설정된 프로그램 시퀀스 모두에 대한 처리가 종료했다고 판정한 경우에는, 처리를 종료한다.
(4-3. 클립 정보 파일에 대한 3차원 화상 정보로서의 프레임 0 화상 식별 플래그와, 베이스 화상 식별 플래그의 기록/갱신 처리 시퀀스)
다음으로, 클립 정보 파일에 기록되는 3차원 화상 정보 중의 이하의 정보, 즉,
프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag]
베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]
이들 정보의 기록 시퀀스에 대해서 도 39에 나타내는 흐름도를 참조하여 설명한다.
우선, 스텝 S161에서, 클립 내의 처리 대상으로 하는 프로그램 시퀀스를 선택한다.
다음으로, 스텝 S162에서, 선택한 프로그램 시퀀스에 대응하는 3차원 화상 정보로부터, 3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration]을 취득하고, 설정값이 [5]인지의 여부를 판정한다. 즉, 부호화 방식이 프레임 시퀀셜 방식인지의 여부를 판정한다.
프레임 0 화상 식별 플래그는, 재생 장치에서는, 프레임 시퀀셜 방식인 경우에만 참조되는 값이며, 기록 처리시에도, 기록 화상이 프레임 시퀀셜 방식인 경우에만 유효 정보의 기록이 실행된다.
스텝 S162에서, 3차원 화상 구성 정보의 설정값이 [5]라고 판정한 경우에는, 스텝 S163으로 진행하고, [5]가 아니라고 판정한 경우에는, 스텝 S167로 진행한다.
스텝 S162에서, 3차원 화상 구성 정보의 설정값이 [5]라고 판정한 경우에는, 스텝 S163에서, 화상(비디오) 엘리멘터리 스트림 중의 메타데이터, 예를 들어 SEI(Supplemental Enhancement Information) 혹은 유저 데이터(user data)를 해석하여, 프레임 0의 화상이 L/R 화상 중 어느 쪽에 대응하는지를 판정한다.
스텝 S164에서, 프레임 0의 화상이 L 화상이라고 판정한 경우에는, 스텝 S166으로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag]의 설정값을 [3](프레임 0=L 화상을 나타낸다)으로 설정한다.
한편, 스텝 S164에서, 프레임 0의 화상이 R 화상이라고 판정한 경우에는, 스텝 S165로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag]의 설정값을 [2](프레임 0=R 화상을 나타낸다)로 설정한다.
이들 처리의 완료 후에, 스텝 S167로 진행한다.
스텝 S167에서는, 선택한 프로그램 시퀀스에 대응하는 3차원 화상 정보로부터, 3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration]을 취득하고, 설정값이 [30] 또는 [31] 또는 [32]인지의 여부를 판정한다. 즉, 부호화 방식이 뷰간 참조를 실행하고 있을 가능성이 있는 부호화 방식인지의 여부를 판정한다.
베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]는, 재생 장치에서는, 뷰간 참조를 실행하고 있을 가능성이 있는 부호화 방식인 경우에만 참조되는 값이며, 기록 처리시에도, 기록 화상이 뷰간 참조를 실행하고 있을 가능성이 있는 부호화 방식인 경우에만 유효 정보의 기록이 실행된다.
스텝 S167에서, 3차원 화상 구성 정보의 설정값이 [30] 또는 [31] 또는 [32]라고 판정한 경우에는, 스텝 S168로 진행하고, [30] 또는 [31] 또는 [32]가 아니라고 판정한 경우에는, 스텝 S172로 진행한다.
스텝 S167에서, 3차원 화상 구성 정보의 설정값이 [30] 또는 [31] 또는 [32]라고 판정한 경우에는, 스텝 S168에서, 화상(비디오) 엘리멘터리 스트림 중의 메타데이터, 예를 들어 SEI(Supplemental Enhancement Information) 혹은 유저 데이터(user data)를 해석하여, 베이스 뷰의 화상이 L/R 화상 중 어느 쪽에 대응하는지를 판정한다.
스텝 S169에서, 베이스 뷰 화상이 L 화상이라고 판정한 경우에는, 스텝 S171로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]의 설정값을 [3](베이스 뷰=L 화상을 나타낸다)에 설정한다.
한편, 스텝 S169에서, 베이스 뷰 화상이 R 화상이라고 판정한 경우에는, 스텝 S170으로 진행하여, 클립 정보 파일의 프로그램 시퀀스 대응의 베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]의 설정값을 [2](베이스 뷰=R 화상을 나타낸다)에 설정한다.
이들 처리 후, 스텝 S172로 진행한다. 스텝 S172에서는, 클립에 설정된 프로그램 시퀀스 모두에 대한 처리가 종료되었는지의 여부를 판정하고, 미종료 프로그램 시퀀스가 있는 경우에는, 스텝 S161 이하의 처리를 미종료 프로그램 시퀀스에 대하여 실행한다.
스텝 S172에서, 클립에 설정된 프로그램 시퀀스 모두에 대한 처리가 종료했다고 판정한 경우에는, 처리를 종료한다.
(4-4. 플레이 리스트 파일에 대한 3차원 화상 정보의 기록/갱신 처리 시퀀스)
다음으로, 도 40에 나타내는 흐름도를 참조하여, 플레이 리스트 파일의 3차원 화상 정보의 기록 또는 갱신 처리 시퀀스에 대해서 설명한다.
이 처리는, 도 37에 나타내는 플로우 중의 스텝 S115 및 스텝 S124의 상세 처리를 나타내는 플로우이다.
우선, 스텝 S181에서, 처리 대상으로 하고 있는 플레이 리스트에 대응하는 콘텐츠가 3D 콘텐츠를 포함하는지의 여부를 판정한다. 포함하는 경우는 스텝 S182로 진행하고, 포함하지 않은 경우는 스텝 S183으로 진행한다.
포함하지 않은 경우는, 스텝 S183으로 진행하여, 플레이 리스트 파일의 3차원 화상 플래그 [PlayList_multiview_video_flag]를 [0]으로 설정한다. 즉, 플레이 리스트 대응의 콘텐츠에는 3차원 화상이 포함되지 않는 것을 나타내는 플래그를 설정하고, 처리를 종료한다.
한편, 스텝 S181에서, 처리 대상의 플레이 리스트에 대응하는 콘텐츠는 3D 콘텐츠를 포함하는 것으로 판정한 경우에는, 스텝 S182로 진행하여, 플레이 리스트 파일의 프로그램 시퀀스 대응의 3차원 화상 플래그 [PlayList_multiview_video_flag]를 [1]로 설정한다. 즉, 플레이 리스트 대응의 콘텐츠에는 3차원 화상이 포함되는 것을 나타내는 플래그를 설정한다.
또한, 스텝 S184로 진행하여, 플레이 리스트 파일의 그 밖의 3차원 화상 정보의 기록 처리를 실행한다. 즉, 앞서 도 11을 참조하여 설명한 이하의 3차원 화상 정보에 관한 값 설정 처리를 행한다.
3차원 화상 구성 정보 [PlayList_multiview_video_configuration]
프레임 0 화상 식별 플래그 [PlayList_frame0_is_Left_flag]
베이스 화상 식별 플래그 [PlayList_base_view_is_Left_flag]
메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag]
부호화 형태 식별 플래그 [PlayList_use_entropy_coding_mode_flag]
화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag]
이들 설정값을 기록/갱신 데이터에 따라서 설정하는 처리를 행한다.
또한, 이들 정보는, 기록하는 3차원 화상의 부호화 형태 등의 정보에 따라서 설정하게 된다.
이들 처리 후, 처리를 종료한다.
(4-5. 콘텐츠의 추기 처리 시퀀스)
다음으로, 도 41을 참조하여, 3차원 화상의 추기 처리의 시퀀스에 대해서 설명한다.
즉, 이미 미디어에 기록 완료된 콘텐츠가 있고, 그 기록 완료된 콘텐츠에 대응하는 플레이 리스트가 미디어 상에 존재하는 경우에, 이 기존 플레이 리스트에 대응하는 새로운 콘텐츠를 추가 기록하는 경우의 처리 시퀀스이다.
우선, 스텝 S201에서, 기존 플레이 리스트에 대한 3D 콘텐츠의 추가 기록의 실행 지시를 입력한다. 예를 들어 비디오 카메라 등에서, 촬영 화상의 추가 기록을 행하는 유저로부터의 지시 정보 등을 입력한다.
스텝 S202 이하의 처리는, 앞서 도 37을 참조하여 설명한 처리와 유사한 처리가 된다.
스텝 S202 내지 S204에서, 정보 처리 장치가 예를 들어 촬영 처리에 의해 취득 또는 외부로부터 입력한 3차원 화상 콘텐츠의 화상(비디오) 엘리멘터리 스트림의 수와, 트랜스포트 스트림수를 확인한다. 이들 정보는, 스텝 S202에서, 입력 데이터에 설정된 속성 정보(메타데이터) 등으로부터 취득하거나, 혹은 입력 스트림의 해석에 의해 취득한다.
스텝 S203에서, 화상(비디오) 엘리멘터리 스트림의 수가 1인지 2인지를 판정하여, 1인 경우에는 스텝 S121로 진행하고, 2인 경우에는 스텝 S204로 진행한다.
스텝 S204에서는, 트랜스포트 스트림의 수가 1인지 2인지를 판정하여, 1인 경우에는 스텝 S221로 진행하고, 2인 경우에는 스텝 S211로 진행한다.
스텝 S211로 진행하는 경우에는, 3차원 화상을 구성하는 L 화상과 R 화상이 개별적인, 즉 2개의 트랜스포트 스트림으로서 설정되어 있는 경우이다.
한편, 스텝 S221로 진행하는 경우에는, 3차원 화상을 구성하는 L 화상과 R 화상이 1개의 트랜스포트 스트림으로서 설정되어 있는 경우이다.
우선, 스텝 S211 이하의 처리에 대해서 설명한다. 즉, 3차원 화상을 구성하는 L 화상과 R 화상이 개별적인, 즉 2개의 트랜스포트 스트림으로서 설정되어 있는 경우의 처리다.
스텝 S211에서는, 2개의 입력 스트림을 해석하여, 엔트리 포인트 맵을 작성하면서 2개의 입력 스트림을 각각의 AV 스트림 파일(MPEG-2 트랜스포트 스트림(m2ts) 파일)로서 기록한다. 즉, 2개의 클립을 작성한다. 또한 여기서, 클립이란 콘텐츠 실체를 저장한 AV 스트림 파일과, 관리 정보 파일로서의 클립 정보 파일로 이루어지는 1조의 파일의 세트를 의미한다.
스텝 S212에서는, 2개의 클립 대응의 m2ts 파일마다 이하의 처리를 행한다.
3D 콘텐츠 부분을 나타내는 프로그램 시퀀스를 작성한다.
클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하고, 엔트리 포인트 맵(EP맵)과 함께 클립 정보 파일에 기록한다.
스텝 S212에서는, LR 각 화상 대응의 클립의 각각에 대해서 클립 정보 파일을 작성한다. 또한, 이 처리시에는, 프로그램 시퀀스 단위로 클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하는 것 외에, 3차원 화상 정보를 기록하는 처리를 행한다. 또한, 이 스텝에서는, 앞서 도 38 및 도 39에 나타내는 흐름도를 참조하여 설명한 처리가 실행된다.
다음의 스텝 S213 내지 S215의 처리는 플레이 리스트 파일에 관한 처리다.
우선, 스텝 S213에서는, 제1 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(플레이 아이템(PlayItem))를 생성한다.
또한, 3차원 화상 콘텐츠의 구성 스트림으로서의 LR 화상 중 어느 한쪽의 화상 대응의 클립을 제1 클립으로 하고, 다른 쪽의 화상 대응의 클립을 제2 클립으로 한다.
스텝 S214에서는, 제2 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(서브 플레이 아이템(SubPlayItem))를 생성한다.
스텝 S215에서는, 추기 대상의 플레이 리스트에 메인 패스(플레이 아이템(PlayItem))와 서브 패스(서브 플레이 아이템(SubPlayItem))를 추가한다. 또한, 3차원 화상 콘텐츠가 포함되는 플레이 리스트인 것을 나타내는 플레이 리스트 파일의 3차원 화상 플래그 [Playlist_multiview_video_flag]를 [1]로 설정한다.
또한, 플레이 리스트 파일의 갱신시에는, 3차원 화상 플래그 이외의 3차원 화상 정보에 대해서도 기록 화상에 따른 값을 설정하는 처리를 실행한다. 이 상세 처리는, 앞서 도 40에 나타내는 흐름도를 참조하여 설명한 바와 같다.
마지막으로, 스텝 S231에서 인포 파일을 갱신한다. 이 처리시에, 인포 파일에 기록되는 3차원 화상 정보에, 3D 콘텐츠가 포함되는 것을 나타내는 3차원 화상 플래그 [Index_multiview_video_flag]를 [1]로 설정하는 처리를 행한다.
다음으로, 스텝 S221 이하의 처리에 대해서 설명한다. 즉, 3차원 화상을 구성하는 L 화상과 R 화상이 함께 1개의 트랜스포트 스트림으로서 설정되어 있는 경우의 처리다.
스텝 S221에서는, 1개의 입력 스트림을 해석하고, 엔트리 포인트 맵을 작성하면서 입력 스트림을 1개의 AV 스트림 파일(MPEG-2 트랜스포트 스트림(m2ts) 파일)로서 기록한다. 즉, 1개의 클립을 작성한다. 클립은 콘텐츠 실체를 저장한 AV 스트림 파일과, 관리 정보 파일로서의 클립 정보 파일로 이루어지는 1조의 파일의 세트를 의미한다.
스텝 S222에서는, 클립 대응의 m2ts 파일에 대하여 이하의 처리를 행한다.
3D 콘텐츠 부분을 나타내는 프로그램 시퀀스를 작성한다.
클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하고, 엔트리 포인트 맵(EP맵)과 함께 클립 정보 파일에 기록한다.
또한, 이 처리시에는, 프로그램 시퀀스 단위로 클립 정보 파일의 3차원 화상 플래그 [ClipInfo_multiview_video_flag]를 [1]로 설정하는 것 외에, 3차원 화상 정보를 기록하는 처리를 행한다. 이 처리의 상세에 대해서는, 앞서 도 38 및 도 39에 나타내는 흐름도를 참조하여 설명한 바와 같다.
다음의 스텝 S223 내지 S224의 처리는 플레이 리스트 파일에 관한 처리다.
우선, 스텝 S223에서는, 클립에 대하여, 3D 콘텐츠가 포함되는 클립의 위치를 참조하는 재생 패스 정보(플레이 아이템(PlayItem))를 생성한다.
또한, 이 경우, 클립은 LR 화상 모두 1개의 클립에 저장되어 있고, 생성하는 패스 정보는 메인 패스(플레이 아이템)만이며, 3차원 화상용의 서브 패스(서브 플레이 아이템)는 생성되지 않는다.
스텝 S224에서는, 추기 대상의 플레이 리스트에, 추기 콘텐츠에 대응하는 재생 패스 정보로서의 메인 패스(플레이 아이템(PlayItem))를 작성한다. 또한, 3차원 화상 콘텐츠가 포함되는 플레이 리스트인 것을 나타내는 플레이 리스트 파일의 3차원 화상 플래그 [Playlist_multiview_video_flag]를 [1]로 설정한다.
또한, 플레이 리스트 파일의 갱신시에는, 3차원 화상 플래그 이외의 3차원 화상 정보에 대해서도 기록 화상에 따른 값을 설정하는 처리를 실행한다. 이 상세 처리는, 앞서 도 40에 나타내는 흐름도를 참조하여 설명한 바와 같다.
마지막으로, 스텝 S231에서 인포 파일을 갱신한다. 이 처리시에, 인포 파일에 기록되는 3차원 화상 정보에, 3D 콘텐츠가 포함되는 것을 나타내는 3차원 화상 플래그 [Index_multiview_video_flag]를 [1]로 설정하는 처리를 행한다.
(4-6. 콘텐츠의 편집 처리 시퀀스)
다음으로, 정보 처리 장치가 실행하는 데이터 편집 처리의 시퀀스에 대해서 도 42에 나타내는 흐름도를 참조하여 설명한다.
도 42에 나타내는 플로우는, 미디어에 기록 완료된 3차원 화상 콘텐츠를 삭제하는 편집 처리를 행한 경우의 처리 시퀀스를 설명하는 플로우이다.
우선, 스텝 S301에서, 유저로부터의 콘텐츠 삭제 지시 입력을 검출한다. 이 콘텐츠 삭제는, 규정의 삭제 단위로 행해지게 된다. 구체적으로는, 플레이 리스트에 설정된 재생 패스 정보인 플레이 아이템 단위로 실행된다.
스텝 S302에서는, 삭제 지정된 플레이 아이템이 참조하는 클립(클립 정보 파일과 AV 스트림 파일)의 지정 부분을 삭제한다.
스텝 S303에서는, 삭제 지정된 플레이 아이템을 삭제한다.
다음으로, 스텝 S304에서, 플레이 아이템 삭제를 실행한 플레이 리스트 내에 잔존하는 플레이 아이템이 참조하는 클립에 3차원 화상 플래그 [ClipInfo_multiview_video_flag]=1이 설정된 프로그램 시퀀스가 있는지 여부를 판정한다. 즉, 삭제 처리 후에 클립 중에 잔존하는 프로그램 시퀀스의 3차원 화상 정보로서, 3차원 화상이 포함되어 있는 것을 나타내는 3차원 화상 플래그=1을 갖는 프로그램 시퀀스가 있는지 여부를 판정한다.
어떤 경우에는, 스텝 S306으로 진행하여, 편집 대상의 플레이 리스트의 3차원 화상 플래그 [Playlist_multiview_video_flag]의 설정값을 [1]인 상태 그대로 유지한다. 즉, 삭제 처리 후의 플레이 리스트의 재생 대상 콘텐츠에 3차원 화상이 포함되어 있는 것을 나타내는 3차원 화상 플래그=1을 그대로 유지한다.
한편, 스텝 S304에서, 플레이 아이템 삭제를 실행한 플레이 리스트 내에 잔존하는 플레이 아이템이 참조하는 클립에 3차원 화상 플래그 [ClipInfo_multiview_video_flag]=1이 설정된 프로그램 시퀀스가 없다고 판정한 경우에는, 스텝 S305로 진행한다.
스텝 S305에서는, 편집 대상의 플레이 리스트의 3차원 화상 플래그 [Playlist_multiview_video_flag]의 설정값을 [1]에서 [0]으로 변경한다. 즉, 삭제 처리 후의 플레이 리스트의 재생 대상 콘텐츠에 3차원 화상이 포함되어 있지 않은 것을 나타내는 3차원 화상 플래그=0을 설정한다.
그 후, 스텝 S307에서, 편집 대상 플레이 리스트를 설정한 디렉토리(예를 들어 도 3에 도시하는 BDAV 디렉토리) 하에 설정된 모든 플레이 리스트 중에 3차원 화상 플래그 [Playlist_multiview_video_flag]의 설정값이 [1]로 되어 있는 플레이 리스트가 있는지 여부를 판정한다. 즉, 3차원 화상을 포함하는 것을 나타내는 플래그를 설정한 플레이 리스트가 남아있는지 여부를 판정한다. 남아있는 경우에는 스텝 S309로 진행하고, 남아있지 않은 경우에는 스텝 S308로 진행한다.
남아 있다고 판정한 경우에는, 스텝 S309에서, 편집 대상의 플레이 리스트를 포함하는 디렉토리의 인포 파일의 3차원 화상 플래그 [Index_multiview_video_flag]의 설정값 [1]을 변경하지 않고 유지한다. 즉, 인포 파일의 관리하의 콘텐츠에 3차원 화상이 포함되는 것을 나타내는 플래그의 값을 그대로 유지한다.
한편, 스텝 S307에서, 편집 대상 플레이 리스트를 설정한 디렉토리 하의 플레이 리스트에 3차원 화상 플래그=1의 플레이 리스트가 없다고 판정한 경우에는, 스텝 S308에서, 편집 대상의 플레이 리스트를 포함하는 디렉토리의 인포 파일의 3차원 화상 플래그 [Index_multiview_video_flag]의 설정값 [1]을 [0]으로 변경한다. 즉, 인포 파일의 관리하의 콘텐츠에 3차원 화상이 포함되지 않는 것을 나타내는 플래그의 값을 설정한다.
(4-7. 콘텐츠의 재생 처리 시퀀스)
다음으로, 도 43에 나타내는 흐름도를 참조하여, 정보 처리 장치의 콘텐츠 재생 처리 시퀀스에 대해서 설명한다.
우선, 스텝 S401에서, 정보 처리 장치가 재생 지시 입력을 검출한다. 또한, 콘텐츠 재생 지시는, 예를 들어 초기 표시 메뉴에 대한 유저에 의한 재생 지시 입력 등에 의해 실행된다.
다음으로, 정보 처리 장치는 스텝 S402에서, 인포 파일의 3차원 화상 플래그 [Index_multiview_video_flag]=1인지의 여부를 판정한다.
3차원 화상 플래그=1인 경우에는, 인포 파일이 관리 대상으로 하고 있는 콘텐츠 중에 3차원 화상이 포함되어 있는 것을 나타낸다. 이 경우는, 스텝 S411로 진행한다.
한편, 3차원 화상 플래그=0인 경우에는, 인포 파일이 관리 대상으로 하고 있는 콘텐츠 중에 3차원 화상이 포함되어 있지 않은 것을 나타낸다. 이 경우는, 스텝 S403으로 진행한다.
우선, 스텝 S403 이하의 처리에 대해서 설명한다. 즉 3차원 화상 플래그=0인 경우이며, 인포 파일이 관리 대상으로 하고 있는 콘텐츠 중에 3차원 화상이 포함되어 있지 않은 경우의 처리다.
이 경우는, 스텝 S403에서, 재생 장치(플레이어) 내부의 플레인 구성, 즉 재생 처리 구성을 2차원 화상의 재생 처리를 실행하는 설정으로 하고, 또한 비디오 출력을 2차원 화상의 출력 설정으로 하는 처리를 행한다.
다음으로 스텝 S404에서, 표시부에 타이틀의 리스트를 표시하고, 유저의 입력을 받아 타이틀(플레이 리스트)의 재생을 개시한다. 혹은 타이틀의 자동 재생을 개시한다. 또한, 타이틀 리스트 표시는, 인포 파일이 갖는 데이터를 이용해서 행해진다. 타이틀 리스트에 대하여 유저가 특정한 타이틀을 지정함으로써, 그 지정 타이틀의 재생이 개시된다. 또한, 유저의 지정 유무에 관계없이, 미리 디폴트로 규정된 타이틀 대응 콘텐츠를 재생하는 설정으로 하고 있는 경우에는, 그 콘텐츠가 재생되게 된다.
다음으로, 스텝 S405에서, 유저에 의해 지정된 콘텐츠, 혹은 미리 규정된 콘텐츠의 재생이 실행된다. 이 경우는, 인포 파일 관리화의 콘텐츠에 3D 콘텐츠는 포함되지 않기 때문에, 2D 콘텐츠의 재생 처리가 행해진다.
스텝 S406에서, 재생 종료 지시를 검출하지 않는 경우에는, 스텝 S404 이하의 처리가 반복되어, 콘텐츠 재생이 계속된다. 스텝 S406에서, 재생 종료 지시를 검출한 경우는 처리를 종료한다.
다음으로, 스텝 S411 이하의 처리에 대해서 설명한다. 즉 3차원 화상 플래그=1인 경우이며, 인포 파일이 관리 대상으로 하고 있는 콘텐츠 중에 3차원 화상이 포함되어 있는 경우의 처리다.
이 경우는, 스텝 S411에서, 재생 장치(플레이어) 내부의 플레인 구성, 즉 재생 처리 구성을 3차원 화상의 재생 처리를 실행하는 설정으로 하고, 또한 비디오 출력을 3차원 화상의 출력 설정으로 하는 처리를 행한다.
다음으로 스텝 S412에서, 타이틀의 리스트를 표시하고, 유저의 입력을 받아 타이틀(플레이 리스트)의 재생을 개시한다. 혹은 타이틀의 자동 재생을 개시한다. 또한, 타이틀 리스트 표시는, 인포 파일이 갖는 데이터를 이용해서 행해진다. 타이틀 리스트에 대하여 유저가 특정한 타이틀을 지정함으로써, 그 지정 타이틀의 재생이 개시된다. 또한, 유저의 지정 유무에 관계없이, 미리 디폴트로 규정된 타이틀 대응 콘텐츠를 재생하는 설정으로 하고 있는 경우에는, 그 콘텐츠가 재생되게 된다.
다음으로 스텝 S413에서, 재생 타이틀에 대응하는 플레이 리스트 파일에 설정된 3차원 화상 정보를 취득한다. 즉, 앞서 도 11 등을 참조하여 설명한 이하의 정보이다.
3차원 화상 플래그 [PlayList_multiview_video_flag],
3차원 화상 구성 정보 [PlayList_multiview_video_configuration],
프레임 0 화상 식별 플래그 [PlayList_frame0_is_Left_flag],
베이스 화상 식별 플래그 [PlayList_base_view_is_Left_flag],
메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag],
부호화 형태 식별 플래그 [PlayList_use_entropy_coding_mode_flag],
화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag],
또한, 재생 장치는, 우선, 3차원 화상 플래그 [PlayList_multiview_video_flag]와, 3차원 화상 구성 정보 [PlayList_multiview_video_configuration]를 참조한다.
3차원 화상 구성 정보에는, 앞서 도 13을 참조하여 설명한 부호화 형태 정보가 기록되어 있다. 재생 장치는, 우선, 이 3차원 화상 구성 정보에 기초하여, 자장치에서 재생 실행할 수 있는 부호화 데이터인지의 여부를 판정한다.
앞서 도 13을 참조하여 설명한 바와 같이, 3차원 화상 구성 정보에는, 기록 화상인 3차원 화상이 이하의 어느 부호화 형태로 기록되어 있는지의 정보가 설정되어 있다.
값=3: 사이드 바이 사이드 방식(side by side)
값=4: 톱 앤드 보텀 방식(top and bottom)
값=5: 프레임 시퀀셜 방식(frame sequential)
값=30: MVC 부호화 2 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)
값=31: MVC 부호화 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)
값=32: MVC 부호화 1 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)
값=40: 독립 2 엘리멘터리 스트림/1 시스템 스트림(1 클립 AV 스트림)(MVC 부호화가 아님)
값=41: 독립 2 엘리멘터리 스트림/2 시스템 스트림(2 클립 AV 스트림)(MVC 부호화가 아님)
재생 장치는, 이 3차원 화상 구성 정보에 기초하여, 자장치에서 재생 실행할 수 있는 부호화 데이터인지의 여부를 판정한다.
또한, 3차원 화상 구성 정보=30 내지 32의 설정의 경우에는, 또한, 부호화 형태 식별 플래그를 참조하여 자장치에서 재생 실행할 수 있는 부호화 데이터인지의 여부를 판정한다.
즉, 부호화 형태 식별 플래그는, 앞서 도 18을 참조하여 설명한 바와 같이, 부호화 처리로서 엔트로피 부호화 모드(entropy coding mode)를 사용한 부호화 처리를 실행하고 있는지 여부를 나타내는 식별 플래그이다.
엔트로피 부호화 모드(entropy coding mode)를 이용한 부호화 처리란, 구체적으로는, 예를 들어 CABAC(Context-based Adaptive Binary Arithmetic Coding)를 이용한 부호화 처리다.
엔트로피 부호화 모드(entropy coding mode)를 이용하지 않는 부호화 처리란, 구체적으로는, 예를 들어 CAVLC(Context-based Adaptive Variable Length Coding)를 이용한 부호화 처리다.
재생 장치는, 3차원 화상 구성 정보=30 내지 32의 설정의 경우에는, 또한, 부호화 형태 식별 플래그를 참조하여 자장치에서 재생 실행할 수 있는 부호화 데이터인지의 여부를 판정한다.
스텝 S414에서, 자장치에서의 재생 처리를 실행할 수 없는 부호화 데이터라고 판정한 경우에는, 스텝 S415로 진행하여, 3차원 화상을 적용해서 2차원 화상의 재생 처리를 실행한다. 이 처리는 예외적인 처리이며, 예를 들어 L 화상만을 재생 데이터로서 이용한 재생 처리 등이 실행되게 된다.
한편, 스텝 S414에서, 자장치에서의 재생 처리를 실행할 수 있는 부호화 데이터라고 판정한 경우에는, 스텝 S416으로 진행하여, 미원 화상의 재생 처리를 실행한다. 또한, 이 재생 처리에서는, 플레이 리스트 파일 및 클립 정보 파일에 설정된 3차원 화상 정보를 참조하여, 참조 정보에 대응하는 최적의 처리를 실행해서 재생 처리를 행하게 된다.
또한, 클립 정보 파일에는 프로그램 시퀀스 단위로 3차원 화상 정보가 설정되어 있고, 프로그램 시퀀스의 전환이 실행되는 경우에는, 참조하는 3차원 화상 정보도 전환해서 처리를 실행한다.
스텝 S417에서, 재생 종료 지시를 검출하지 않는 경우에는, 스텝 S412 이하의 처리가 반복되어, 콘텐츠 재생이 계속된다. 스텝 S417에서, 재생 종료 지시를 검출한 경우는, 처리를 종료한다.
또한, 스텝 S404나 스텝 S412에서 실행하는 타이틀 리스트의 표시 처리시에는, 예를 들어 인포 파일이나 플레이 리스트 파일 등의 관리 정보 파일에 포함되는 3차원 화상 식별 플래그에 기초하는 판정 정보, 즉, 3차원 화상이 포함될 가능성이 있는지 여부의 판정 정보를 표시부에 표시하는 처리를 행하는 구성으로 해도 좋다.
예를 들어, 기록 미디어 전체에 저장된 콘텐츠에 3차원 화상이 포함될 가능성이 있는지 여부의 판정 정보에 대해서는, 인포 파일의 3차원 화상 식별 플래그에 기초하는 판정 정보를 표시하고, 기록 미디어에 기록된 콘텐츠의 타이틀 단위로 3차원 화상이 포함될 가능성이 있는지 여부에 대해서는, 플레이 리스트 파일의 3차원 화상 식별 플래그에 기초하는 판정 정보를 표시하는 처리가 가능하다. 유저는 이 표시에 의해, 미디어 전체, 혹은 각 타이틀 단위로 3차원 화상의 유무를 판정할 수 있다.
[5. 정보 처리 장치의 구성예에 대해서]
다음으로, 상술한 기록 재생 처리를 실행하는 정보 처리 장치의 구성예에 대해서 도 44를 참조하여 설명한다. 도 44는, 본 발명의 일 실시예에 관한 정보 처리 장치(400)의 구성예를 도시하는 블록도이다. 정보 처리 장치(400)는, 미디어(410)에 대한 데이터 기록 또는 데이터 재생 중 적어도 어느 하나의 처리를 행하는 장치이다. 구체적으로는 예를 들어, 기록 재생 장치, 플레이어 장치, 레코더 장치, 비디오 카메라, PC 등의 장치이다.
또한, 도 44에는 미디어(410)로서 디스크형 미디어를 나타내고 있지만, 미디어는 디스크형 미디어에 한하지 않고, 플래시 메모리 등의 미디어라도 좋다.
정보 처리 장치(400)는, 도 44에 도시한 바와 같이, 데이터 처리부(기록 재생 처리부)(401), 메모리(402), 입력부(403), 출력부(404), 미디어 인터페이스(405), 로컬 기억부(406)를 갖는다.
데이터 처리부(401)는, 다양한 데이터 처리 프로그램을 실행하는 프로그램 실행 기능을 갖는 CPU를 갖는다. 예를 들어 데이터 기록 재생 처리를 행하는 어플리케이션 프로그램을 실행한다. 예를 들어, 도 37 내지 도 43에 나타내는 흐름도에 따른 처리 등을 실행한다.
메모리(402)는, RAM, ROM 등으로 구성되며, 데이터 처리부(401)에서 실행하는 어플리케이션 프로그램 등의 저장 영역으로서 이용된다. 또한 메모리(402)는, 어플리케이션용의 파라미터, 워크 영역으로서도 이용되고, 또한, 미디어 기록 데이터의 버퍼 영역 등으로서도 이용된다.
입력부(403)는, 예를 들어 유저의 조작부이며, 데이터 기록 또는 재생 지시의 입력 등, 다양한 입력이 행해진다. 또한, 입력부(403)에는 리모콘도 포함되고, 리모콘 조작 정보의 입력도 가능하다. 출력부(404)는, 디스플레이, 스피커 등으로 구성되는 화상이나 음성의 출력부이다.
미디어 인터페이스(405)는, 미디어(410)를 이용한 데이터 기록, 재생 처리에 적용되는 인터페이스다. 데이터 처리부(401)의 요구에 따라, 데이터를 미디어(410)에 기입하고, 또한 미디어(410)로부터의 데이터 판독 처리 등을 행한다.
로컬 기억부(406)는 예를 들어 하드 디스크 등에 의해 구성된다. 예를 들어 콘텐츠 외의 각종 데이터나, 프로그램의 기록 영역으로서 이용된다.
이상, 특정한 실시예를 참조하면서 본 발명에 대해 자세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별적으로 실행되어도 좋다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한되지는 않는다.
[산업상 이용 가능성]
이상, 설명한 바와 같이, 본 발명의 일 실시예에 의하면, 기록 미디어에 기록된 3차원 화상의 구성 프레임에 관한 속성 정보를 용이하게 취득 가능하게 한 데이터 기록 재생 구성을 실현한다. 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록한다. 부호화 방식이 프레임 시퀀셜 방식인 경우, 각 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 기록하고, 부호화 방식이 L 화상 또는 R 화상 프레임 중 어느 한쪽을 복호 시에 참조하는 뷰간 참조형 부호화 방식인 경우, LR 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 기록한다. 이러한 구성에 의해, 재생 장치는 재생 대상 데이터의 해석을 행함 없이 프레임 속성을 판정할 수 있다.
101 : UI 정보 [UIAppInfoBDAV ()]
102 : 플레이 리스트 정보 [TableOfPlayLists ()]
103 : 메이커 프라이빗 데이터 영역 [MakersPrivateData ()]
111 : 메이커 ID [maker_ ID] 기록 영역
112 : 메이커 모델 코드 [maker_model_code] 기록 영역
113 : 데이터 블록 [data_block] 기록 영역
115 : 플래그 정보 [Index_multiview_video_flag]
121 : 3차원 화상 플래그 [PlayList_multiview_video_flag]
122 : 차원 화상 구성 정보 [PlayList_multiview_video_configuration]
123 : 프레임 0 화상 식별 플래그 [PlayList_frame0_is_Left_flag]
124 : 베이스 화상 식별 플래그 [PlayList_base_view_is_Left_flag]
125 : 메인 패스 화상 식별 플래그 [PlayList_MainPath_is_Left_flag]
126 : 부호화 형태 식별 플래그 [PlayList_use_entropy_coding_mode_flag]
127 : 화상간 참조 식별 플래그 [PlayList_use_inter-view_prediction_flag]
130 : 플레이 리스트
131 : 메인 패스(메인 플레이 아이템)
132 : 서브 패스(서브 플레이 아이템)
135 : 클립 a 136 : 클립 b
141 : 메인 패스(플레이 아이템) 정보 기록 영역
142 : 서브 패스(서브 플레이 아이템) 정보 기록 영역
145 : 서브 패스(서브 플레이 아이템) 타입 정보 기록 영역
201 : ClipInfo 202 : SequenceInfo
203 : ProgramInfo 204 : CPI
205 : ClipMark 206 : MakersPrivateData
210 : EP맵
220 : 프로그램 시퀀스수 (number_of_program_sequences)
221 : 3차원 화상 플래그 [ClipInfo_multiview_video_flag]
222 : 3차원 화상 구성 정보 [ClipInfo_multiview_video_configuration]
223 : 프레임 0 화상 식별 플래그 [ClipInfo_frame0_is_Left_flag]
224 : 베이스 화상 식별 플래그 [ClipInfo_base_view_is_Left_flag]
225 : 클립 대응 화상 식별 플래그 [ClipInfo_this_Clip_is_Left_flag]
226 : 부호화 형태 식별 플래그 [ClipInfo_use_entropy_coding_mode_flag]
227 : 화상간 참조 식별 플래그 [ClipInfo_use_inter-view_prediction_flag]
400 : 정보 처리 장치
401 : 데이터 처리부(기록 재생 처리부)
402 : 메모리 403 : 입력부
404 : 출력부 405 : 미디어 인터페이스
406 : 로컬 기억부 410 : 미디어

Claims (19)

  1. 정보 처리 장치로서,
    기록 미디어에 대한 데이터 기록 처리를 행하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행하고,
    상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함해서 기록하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 상기 속성 정보로서 상기 관리 정보 파일에 기록하는 처리를 실행하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우,
    L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 상기 속성 정보로서 상기 관리 정보 파일에 기록하는 처리를 실행하는, 정보 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 데이터 처리부는,
    또한 상기 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 상기 속성 정보에 포함해서 상기 관리 정보 파일에 기록하는, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 데이터 처리부는,
    (a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
    (b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
    상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위로 상기 속성 정보를 기록하는, 정보 처리 장치.
  6. 정보 처리 장치로서,
    기록 미디어로부터의 데이터 재생 처리를 행하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독하고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득하고, 취득한 속성 정보에 따라서 복호 처리를 행하는, 정보 처리 장치.
  7. 제6항에 있어서,
    상기 기록 미디어에 기록된 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 상기 속성 정보는 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 포함하고,
    상기 데이터 처리부는,
    상기 관리 정보 파일로부터 상기 프레임 식별 데이터를 판독하고, 판독한 프레임 식별 데이터에 따라서 좌안용 화상(L 화상)과 우안용 화상(R 화상)을 정확하게 판별한 복호 처리를 실행하는, 정보 처리 장치.
  8. 제6항에 있어서,
    상기 기록 미디어에 기록된 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우, 상기 속성 정보는, L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 포함하고,
    상기 데이터 처리부는,
    상기 관리 정보 파일로부터 상기 베이스 화상 식별 데이터를 판독하고, 판독한 베이스 화상 식별 데이터에 따라서 베이스 뷰를 정확하게 판별한 복호 처리를 실행하는, 정보 처리 장치.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 속성 정보는, 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 포함하고,
    상기 데이터 처리부는,
    상기 3차원 화상 구성 정보에 기초하여, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식을 판별하는, 정보 처리 장치.
  10. 제6항에 있어서,
    상기 속성 정보는,
    (a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
    (b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
    상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 기록되고,
    상기 데이터 처리부는,
    플레이 리스트 파일, 이어서 클립 정보 파일의 순으로 재생 대상 데이터에 따라서 선택되는 관리 정보 파일로부터 관리 데이터 단위의 속성 정보를 판독하는, 정보 처리 장치.
  11. 화상 데이터를 기록한 정보 기록 매체로서,
    재생 대상으로 되는 콘텐츠로서 3차원 화상 데이터를 저장한 스트림 파일과,
    상기 콘텐츠의 관리 정보를 저장한 계층화 구성을 갖는 관리 정보 파일을 기록 데이터로서 갖고,
    계층화된 상기 관리 정보 파일의 각각은, 기록 콘텐츠에 포함되는 3차원 화상의 속성 정보로서, 상기 3차원 화상의 구성 프레임에 관한 속성 정보를 저장하고,
    상기 콘텐츠를 재생하는 재생 장치가, 관리 정보 파일의 계층에 따라서 상기 속성 정보를 순차 참조함으로써, 정보 기록 매체의 기록 콘텐츠에 포함되는 3차원 화상의 구성 프레임에 관한 속성을 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 해석 가능하게 한 구성을 갖는, 정보 기록 매체.
  12. 제11항에 있어서,
    상기 3차원 화상의 부호화 방식이 프레임 시퀀셜 방식인 경우, 상기 속성 정보는 3차원 화상을 구성하는 프레임이 좌안용 화상(L 화상)인지 우안용 화상(R 화상)인지를 나타내는 프레임 식별 데이터를 포함하고,
    상기 재생 장치가, 상기 관리 정보 파일로부터 상기 프레임 식별 데이터를 판독하고, 판독한 프레임 식별 데이터에 따라서 좌안용 화상(L 화상)과 우안용 화상(R 화상)을 정확하게 판별한 복호 처리를 실행 가능하게 한, 정보 기록 매체.
  13. 제11항에 있어서,
    상기 3차원 화상의 부호화 방식이 좌안용 화상(L 화상) 프레임 또는 우안용 화상(R 화상) 프레임 중 어느 한쪽을 복호 시의 참조 화상인 베이스 화상으로 한 뷰간 참조형 부호화 방식인 경우, 상기 속성 정보는 L 화상과 R 화상 중 어느 것이 베이스 화상인지를 나타내는 베이스 화상 식별 데이터를 포함하고,
    상기 재생 장치가, 상기 관리 정보 파일로부터 상기 베이스 화상 식별 데이터를 판독하고, 판독한 베이스 화상 식별 데이터에 따라서 베이스 뷰를 정확하게 판별한 복호 처리를 실행 가능하게 한, 정보 기록 매체.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 속성 정보는 3차원 화상의 부호화 방식을 나타내는 3차원 화상 구성 정보를 포함하고,
    상기 재생 장치가, 상기 3차원 화상 구성 정보에 기초하여, 상기 기록 미디어에 기록된 3차원 화상의 부호화 방식을 판별 가능하게 한, 정보 기록 매체.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 속성 정보는,
    (a) 화상 데이터의 저장 파일인 스트림 파일에 대응지어서 설정되는 클립 정보 파일,
    (b) 상기 클립 정보 파일에 대한 재생 구간 지정 정보를 갖는 플레이 리스트 파일,
    상기 (a) ~ (b)에 나타내는 관리 정보 파일의 각각에 기록되고,
    상기 재생 장치가, 먼저 플레이 리스트 파일, 이어서 클립 정보 파일의 순으로 재생 대상 데이터에 따라서 선택되는 관리 정보 파일로부터 상기 속성 정보를 판독하고, 각 관리 정보 파일을 관리하는 데이터 단위로 3차원 화상의 구성 프레임에 관한 속성을 해석 가능하게 한, 정보 기록 매체.
  16. 정보 처리 장치에서 기록 미디어에 대한 데이터 기록 처리를 실행하는 정보 처리 방법으로서,
    데이터 처리부가, 기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행하고,
    상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함해서 기록하는, 정보 처리 방법.
  17. 정보 처리 장치에서 기록 미디어로부터의 데이터 재생 처리를 실행하는 정보 처리 방법으로서,
    데이터 처리부가, 기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독하고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득하고, 취득한 속성 정보에 따라서 복호 처리를 행하는, 정보 처리 방법.
  18. 정보 처리 장치에서 기록 미디어에 대한 데이터 기록 처리를 실행시키는 프로그램으로서,
    데이터 처리부에, 기록 미디어에 대한 데이터 기록 처리 시에, 기록 데이터에 포함되는 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각에 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 기록하는 처리를 실행시키고,
    상기 속성 정보에 3차원 화상의 구성 프레임에 관한 속성 정보를 포함해서 기록하는 처리를 실행시키는, 프로그램.
  19. 정보 처리 장치에서 기록 미디어로부터의 데이터 재생 처리를 실행시키는 프로그램으로서,
    데이터 처리부에, 기록 미디어로부터의 데이터 재생 처리 시에, 기록 미디어에 기록된 부호화된 3차원 화상의 속성 정보를 계층화된 관리 정보 파일의 각각으로부터 순차 판독시키고, 각 관리 정보 파일의 관리 데이터 단위의 속성으로서 3차원 화상의 구성 프레임에 관한 속성 정보를 취득시켜서, 취득한 속성 정보에 따라서 복호 처리를 행하게 하는, 프로그램.
KR1020127025414A 2010-04-08 2011-03-28 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램 KR20130044220A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010089446A JP5494152B2 (ja) 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JPJP-P-2010-089446 2010-04-08
PCT/JP2011/057535 WO2011125573A1 (ja) 2010-04-08 2011-03-28 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20130044220A true KR20130044220A (ko) 2013-05-02

Family

ID=44762524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127025414A KR20130044220A (ko) 2010-04-08 2011-03-28 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US8774606B2 (ko)
EP (1) EP2557800A4 (ko)
JP (1) JP5494152B2 (ko)
KR (1) KR20130044220A (ko)
CN (1) CN102918848A (ko)
TW (1) TW201206156A (ko)
WO (1) WO2011125573A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442241B (zh) * 2013-08-14 2015-11-25 京东方科技集团股份有限公司 一种3d显示方法和3d显示装置
CN106161583B (zh) * 2015-05-12 2020-02-21 华为技术有限公司 一种块确认帧的传输方法及设备
JP6645473B2 (ja) * 2017-05-02 2020-02-14 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4599740B2 (ja) 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP4972933B2 (ja) 2005-12-28 2012-07-11 ソニー株式会社 データ構造、記録装置、記録方法、記録プログラム、再生装置、再生方法および再生プログラム
JP4492588B2 (ja) * 2006-06-13 2010-06-30 株式会社日立製作所 データ表示方法、再生装置、記録装置
JP4462325B2 (ja) * 2007-10-25 2010-05-12 ソニー株式会社 データ変換方法、およびデータ変換装置、データ記録装置、データ再生装置、並びにコンピュータ・プログラム
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
CN102017640B (zh) 2008-05-01 2012-11-28 松下电器产业株式会社 再现装置、集成电路与再现方法
WO2010038409A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 再生装置、記録媒体、及び集積回路
EP2395772A3 (en) * 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device

Also Published As

Publication number Publication date
WO2011125573A1 (ja) 2011-10-13
EP2557800A1 (en) 2013-02-13
TW201206156A (en) 2012-02-01
US20130022334A1 (en) 2013-01-24
US8774606B2 (en) 2014-07-08
EP2557800A4 (en) 2014-04-30
JP5494152B2 (ja) 2014-05-14
JP2011223246A (ja) 2011-11-04
CN102918848A (zh) 2013-02-06

Similar Documents

Publication Publication Date Title
JP5577805B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CA2816434C (en) Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format
CN102160389B (zh) 再现装置、集成电路、记录介质
CN102547359A (zh) 再现装置、集成电路
JP5601006B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5494152B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
TWI459798B (zh) Information processing devices, information processing methods and non-temporary computer-readable media
RU2625519C2 (ru) Устройство обработки информации, способ обработки информации, программа и носитель записи
KR20130066569A (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid