JP4527808B2 - 3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法 - Google Patents

3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法 Download PDF

Info

Publication number
JP4527808B2
JP4527808B2 JP2009549981A JP2009549981A JP4527808B2 JP 4527808 B2 JP4527808 B2 JP 4527808B2 JP 2009549981 A JP2009549981 A JP 2009549981A JP 2009549981 A JP2009549981 A JP 2009549981A JP 4527808 B2 JP4527808 B2 JP 4527808B2
Authority
JP
Japan
Prior art keywords
pictures
group
video
video stream
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009549981A
Other languages
English (en)
Other versions
JPWO2009090868A1 (ja
Inventor
智輝 小川
洋 矢羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4527808B2 publication Critical patent/JP4527808B2/ja
Publication of JPWO2009090868A1 publication Critical patent/JPWO2009090868A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【技術分野】
【0001】
本発明は、3D映像を記録媒体に記録する際のアプリケーションフォーマットに関する。
【背景技術】
【0002】
近年、Blu−ray DiscやHD DVDと呼ばれる次世代DVD規格が策定され、ユーザにとって高精細及び高音質な光ディスクが一般的になりつつある。
これらのディスクが記録できる動画の画質に関して、これまでのDVDがSD(Standard Definition)であるのに対して、Blu−ray Discでは最大1920x1080であるHD(High Definition)まで扱えるためより高画質の映像を格納することができる。
【0003】
ところで近年、DVDなどパッケージメディアの伸張に伴い、映画館の入場者数が減少する傾向にあり、米国や日本では映画館の入場者数を回復させるために、立体映画(3D映画)を楽しめる映画館の設置を推し進めている。これには、近年の映画の多くがCG(Computer Graphics)を用いて製作されるため比較的容易に3D用の映像を作成できる環境が整ってきたことも一因として挙げられる。
【0004】
このような背景の下、前述のBlu−ray DiscやHD DVDのような次世代DVDにおいても、そのディスクに収めるコンテンツの3D化は、今後多くのユーザに望まれることになると思われる。次世代DVDに関する先行技術としては、特許文献1に記載のものがある。
【先行技術文献】
【特許文献1】
国際公開第2005−119675号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、映画館では3Dコンテンツを開始から終了まで上映するだけで問題ないが、光ディスクとして家庭内に3Dを導入するためには再生だけでは不十分であり、ユーザの使い勝手を考えると、従来と同様にランダムアクセス等も保障する必要がある。家庭内で3Dを実現する方法として、視差画像(両眼視差に応じた二本のビデオストリーム)を用いる方法が考えられるが、その場合には、ランダムアクセスを保障するために、ランダムアクセスの際に二本のビデオストリームの同期をどのようにとるのかが問題となる。二本のビデオストリームの同期がとれなければ、ランダムアクセスが可能な任意の時刻から再生が開始される際、一方のビデオストリームに関しては正しくデコードすることができても、他方のビデオストリームに関しては再生に必要なデータがデコーダに供給されずデコードすることができない、といった期間が発生し得る。その結果、当該期間においては視差画像を用いた立体視が不可能になる場合がある。
【0006】
本発明は、3D映像でのランダムアクセスを保障する記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の一実施態様である記録媒体は、デジタルストリームが記録されている領域と、マップ情報が記録されている領域とを含み、マップ情報は、デジタルストリームが記録されている領域におけるエントリアドレスを、エントリ時刻と対応付けて示す情報であり、デジタルストリームが記録されている領域のうち、エントリアドレスで指示される位置以降の領域には、第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャのペアが存在しており、第1グループ・オブ・ピクチャは、デジタルストリームの時間軸において、エントリ時刻から再生されるべき動画像を表し、第2グループ・オブ・ピクチャは、動画像の立体視をユーザに行わせる場合、第1グループ・オブ・ピクチャと共に再生されるべき動画像を表すことを特徴とする。
【発明の効果】
【0008】
上記課題を解決するための手段に記載の構成により、デジタルストリームの時間軸における任意のエントリ時刻から再生を開始する場合も、当該エントリ時刻に対応するエントリアドレスで指示される位置以降のデジタルストリームの記録領域には、第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャのペアが存在しているため、動画像の立体視を確実にユーザに行わせることができる。したがって、ユーザは家庭で手軽に3D映像を見て楽しむことができる。
【0009】
ここで、第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャは、複数のパケットに分割された状態で、多重化されており、第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のものの記録位置は、第2グループ・オブ・ピクチャを分割することで得られた複数のパケットの先頭のものの記録位置よりも、デジタルストリーム上で先行しており、マップ情報におけるエントリアドレスは、第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のもののパケット番号を用いて表現されているとしてもよい。
【0010】
エントリ時刻には、第1グループ・オブ・ピクチャの先頭を示すエントリアドレスが対応付けられているので、そのエントリアドレスに従い、記録媒体からパケットを読み出していけば、余分なデータを送り込むことなく、確実に第1グループ・オブ・ピクチャをビデオデコーダに送り込むことができる。よって、デジタルストリームに対するランダムアクセスにおいては、ユーザの思いのままのエントリ時刻からの立体視を即座に実現することができる。
【0011】
ここで、前記第2グループ・オブ・ピクチャを分割することで得られた複数のパケットは何れも、前記第1グループ・オブ・ピクチャのエントリアドレスの直後のエントリアドレスより前に存在するとしてもよい。
エントリアドレス(i)にて指示されているパケット(m)から、エントリアドレス(i+1)にて指示されているパケット(n)の直前のパケット(n−1)までを読み出すことで、ビデオデコーダには必ず、完結した第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャのペアが送り込まれることが保証される。マップ情報を参照してランダムアクセスを行う場合に、立体視を実現する、完結した第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャのペアが、ビデオデコーダに送り込まれることが保証されるので、ビデオデコーダは、ユーザのスキップに即応した高速動作を実現することができる。
【図面の簡単な説明】
【0012】
【図1】視差画像を用いた立体視の原理図である。
【図2】BD−ROMの構成を示す図である。
【図3】ファイル(XXX.M2TS)に格納されるAVクリップの構成の一例を示す図である。
【図4】AVクリップとPLとの関係を示す図である。
【図5】クリップ情報ファイルに格納されるAVクリップの管理情報の一例を示す図である。
【図6】左目用ビデオストリームを構成する複数のピクチャに割り当てられるPTSと、右目用ビデオストリームを構成する複数のピクチャに割り当てられるPTSとの関係を示す図である。
【図7】ピクチャの参照関係を示す図である。
【図8】左目用ビデオストリームと右目用ビデオストリームとの多重化の一例を模式的に示す図である。
【図9】左目用ビデオストリームと右目用ビデオストリームとの多重化の別の例を模式的に示す図である。
【図10】各ビデオストリームがAVクリップにおいてどのように多重化されているかを模式的に示す図である。
【図11】再生装置2000の構成を示すブロック図である。
【図12】ビデオデコーダ2302によるビデオデコード処理を示すフローチャートである。
【図13】ホームシアターシステムの構成を示す図である。
【図14】記録装置40の内部構成を示すブロック図である。
【図15】3Dに対応したビデオのエレメンタリストリームをどのように効率的に生成するかを示す図である。
【図16】3D対応フラグを含むインデックステーブルの構成を示す図である。
【図17】STREAMディレクトリに格納されるAVクリップの構成の一例を示す図である。
【図18】左目用ビデオストリームと右目用ビデオストリームとを別々のデジタルストリームとした場合のプレイリストの構造を示す図である。
【図19】実際に物体を見る際の目の焦点と立体視を行う際の目の焦点との違いを示す図である。
【図20】サブパスが複数ある場合のプレイリスト情報を示す図である。
【図21】2D映像の再生においてユーザがディスプレイに表示されている物体を視聴している様子を示す図である。
【図22】3D映像の再生において物体がディスプレイからユーザの側に飛び出して見える様子を示す図である。
【図23】各サブクリップにオーディオデータ、字幕、及びメニューを対応付けたテーブルを示す図である。
【図24】3D表示可能かをディスプレイに問い合わせる問い合わせ処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本発明の実施の形態を説明する。
(実施の形態1)
1.立体視の原理
まず、家庭用ディスプレイでの立体視の原理を説明する。立体視を実現する方法は、ホログラフィ技術を用いる方法と視差画像(両眼視差に応じた二本のビデオストリーム)を用いる方法とに大別できる。
【0014】
ホログラフィ技術を用いる方法では、人間が通常、物体を認識するのと全く同じように、物体を立体として再現することができる。ただし、動画生成に関しては、技術的な理論は確立しているものの、ホログラフィ用の動画をリアルタイムで生成するための膨大な演算を行うコンピュータ、及び1mmの間に数千本の線を引けるだけの解像度を持ったディスプレイデバイスが必要となる。したがって、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどないのが実情である。
【0015】
一方、視差画像を用いる方法では、右目用の映像と左目用の映像とをそれぞれ用意し、右目には右目用の映像だけが、左目には左目用の映像だけが入るようにすることで立体視を実現することができる。図1は、視差画像を用いた立体視の原理図である。図1(a)は、ユーザが前方にある、比較的小さな立方体を見ている様子を上から見た図であり、図1(b)は、左目でその立方体を見た場合の立方体の見え方を示しており、図1(c)は、右目でその立方体を見た場合の立方体の見え方を示している。図1(b)、(c)に示すように、左右の目では異なる角度の映像が捉えられる。左右の目で捉えた異なる角度の像を脳で合成することにより、立体視は実現される。
【0016】
この方法のメリットは、右目用と左目用の2つの視点の映像を準備するだけで立体視を実現できることにあり、左右のそれぞれの目に対応した映像を、いかにして対応した目にだけ見せることができるかという観点から、いくつかの技術が実用化されている。
ひとつは、継時分離方式と呼ばれるもので、この方式では、左目用の映像と右目用の映像とが交互にディスプレイ上に表示される。ユーザは、継時型ステレオ眼鏡(液晶シャッター付)を通して表示された映像を見ると、目の残像反応により、左目用の映像と右目用の映像とを重ね合わせ、立体映像として認識することができる。より詳細には、左目用の映像がディスプレイ上に表示されている瞬間には、継時型ステレオ眼鏡は、左目に対応する液晶シャッターを透過状態にし、右目に対応する液晶シャッターを遮光状態にする。右目用の映像がディスプレイ上に表示されている瞬間には、先ほどとは逆に、右目に対応する液晶シャッターを透過状態にし、左目に対応する液晶シャッターを遮光状態にする。これにより、左右のそれぞれの目に対応した映像を、対応した目にだけ見せることができる。
【0017】
このように継時分離方式では、左右の映像を時間軸方向で交互に表示させるために、例えば、通常の2次元の映画であれば、1秒間に24枚の映像を表示させるのに対して、左右の映像を合わせて1秒間に48枚の映像を表示させる必要がある。したがって、一画面の書き換えを比較的早く行えるディスプレイにおいて、この方式は好適である。
他の技術としては、レンチキュラーレンズを用いるものがある。継時分離方式では、左右の映像を時間軸方向で交互にディスプレイ上に表示させていたのに対して、一画面中の縦方向に左目用のピクチャと右目用のピクチャとを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズを貼り合わせる。ユーザが、レンチキュラーレンズを通してディスプレイ上に表示された映像を見ると、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像する。左右の目に視差のあるピクチャを見せることができるので、ユーザは、ディスプレイ上に表示された映像を、立体映像として認識することができる。なお、レンチキュラーレンズに限らず、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。また、左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、ユーザは、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを通してディスプレイを見ることによっても、表示された映像を立体映像として認識することができる。
【0018】
上述した視差画像を用いた立体視は、既に遊園地の遊具などで一般的に使用されており、技術的にも確立されているため、家庭における実用化に最も近いものと言える。なお、視差画像を用いた立体視のための方法は、この他にも2色分離方式など、様々な技術が提案されている。
本実施の形態では、継時分離方式及び偏光メガネ方式を例として用いて説明するが、視差画像を用いる限りこれら2方式に限定するものではない。
2.ユーザに立体視を行わせるための視差画像(以下、「3D映像」ともいう)を格納するためのデータ構造
次に、本発明に係る記録媒体であるBD−ROMにおいて3D映像を格納するためのデータ構造について説明する。
【0019】
図2は、BD−ROMの構成を示す図である。本図の第4段目にBD−ROMを示し、第3段目にBD−ROM上のトラックを示す。本図のトラックは、BD−ROMの内周から外周にかけて螺旋状に形成されているトラックを横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD−ROMの応用層フォーマット(アプリケーションフォーマット)を表現すると、図中の第1段目のようになる。本図に示すようにBD−ROMには、ROOTディレクトリの直下にBDMVディレクトリがあり、BDMVディレクトリの配下には、インデックスファイル(index.bdmv)、PLAYLISTディレクトリ、CLIPINFOディレクトリ、STREAMディレクトリ、及びPROGRAMディレクトリが存在する。
【0020】
インデックスファイル(index.bdmv)には、タイトル構成を示すインデックステーブルが格納される。タイトルとは、再生の単位であり、例えば、一つ目のタイトルとして映画本編、2つ目のタイトルとしてディレクターズカット、3つ目のタイトルとしてボーナスコンテンツが記録される。ユーザは、再生装置に付属しているリモコン等を用いて”タイトルN番の再生”のように、再生するタイトルを指定する事ができる。
【0021】
STREAMディレクトリには、映像や音声といったAVコンテンツが多重化されたAVクリップを格納したファイル(XXX.M2TS)が格納される。図3は、ファイル(XXX.M2TS)に格納されるAVクリップの構成の一例を示す図である。図3に示すように、ファイル(XXX.M2TS)には、左目用のビデオストリーム及び右目用のビデオストリーム等が多重化された、MPEG−2トランスポートストリーム形式のデジタルストリームが格納される。ここで、左目用のビデオストリームとは、2D映像として再生されるビデオストリームであるとともに、動画像の立体視をユーザに行わせる(3D映像として再生される)場合には左目用の映像として再生されるビデオストリームである。右目用のビデオストリームとは、動画像の立体視をユーザに行わせる場合に、左目用のビデオストリームと共に再生されるビデオストリームである。また、図3に示すように、左目用ビデオストリームには、PIDとして0x1011が割り当てられており、右目用ビデオストリームには、左目用ビデオストリームのPIDと異なる0x1012が割り当てられている。これにより、各ビデオストリームを識別することが可能となる。各ビデオストリームは、MPEG−2、MPEG−4 AVC、SMPTE VC−1等の方式で圧縮符号化され記録されている。オーディオストリームは、ドルビーAC−3、Dolby Digital Plus、MLP、DTS、DTS−HD、リニアPCMの等の方式で圧縮符号化され記録されている。
【0022】
PLAYLISTディレクトリには、AVクリップにおける論理的な再生経路(PL)を定義したプレイリスト情報を格納したプレイリストファイル(YYY.MPLS)が格納される。図4は、AVクリップとPLとの関係を示す図である。図4に示すように、プレイリスト情報は、1つ以上のプレイアイテム(PI)情報から構成され、各プレイアイテム情報は、AVクリップに対する再生区間を示す。各プレイアイテム情報はそれぞれ、プレイアイテムIDで識別され、プレイリスト内で再生されるべき順序で記述されている。
【0023】
また、プレイリスト情報は、再生開始点を示すエントリマークを含んでいる。エントリマークは、プレイアイテム情報で定義される再生区間内に対して付与することができ、図4に示すように、プレイアイテム情報に対して再生開始点となりうる位置に付けられ、頭出し再生に利用される。例えば、映画タイトルにおいて、エントリマークをチャプタの先頭となる位置に付与することで、チャプタ再生を行うことが可能である。なお、ここでは、一連のプレイアイテム情報の再生経路をメインパスと定義する。
【0024】
CLIPINFOディレクトリには、AVクリップの管理情報を格納したクリップ情報ファイル(XXX.CLPI)が格納される。図5は、クリップ情報ファイルに格納されるAVクリップの管理情報の一例を示す図である。図5に示すように、AVクリップの管理情報は、AVクリップと1対1に対応し、クリップ情報、ストリーム属性情報、及びエントリマップから構成される。
【0025】
エントリマップには、エントリマップヘッダ情報と、左目用ビデオストリームを構成する各GOP(Group of Pictures)の先頭の表示時刻を示すPTS(Presentation Time−Stamp)とAVクリップにおいて当該GOPの先頭位置を示すSPN(Source Packet Number)とのペアを示すテーブル情報と、ビデオストリーム(副映像)に関するテーブル情報とが記載されている。ここでは、テーブルの1つの行で示される、対となるPTSとSPNの情報をエントリポイントと呼ぶことにする。また、先頭を0としてエントリポイント毎にインクリメントした値をエントリポイントID(以下「EP_ID」とも示す)と呼ぶことにする。
【0026】
また、エントリマップヘッダ情報には、左目用ビデオストリームのPIDやエントリポイント数などの情報が格納される。
このエントリマップを参照することにより、再生装置は、再生開始点が時刻で指定された場合に、時刻情報をアドレス情報に変換して、ビデオストリームの時間軸上の任意の地点に対応するAVクリップ上のパケット位置を特定することができる。
【0027】
PROGRAMディレクトリには、動的なシナリオを定義するためのプログラムが格納されたBDプログラムファイル(AAA.PROG)が格納される。
BD−ROMでは、コマンドナビゲーションと呼ばれる独自仕様のインタープリタ方式のプログラムが使われるが、言語方式は本発明の本質ではないため、JavaやJavaScripのような汎用のプログラミング言語で記述されたプログラムであっても構わない。このプログラムにより再生されるプレイリストが指定される。
3.左目用ビデオストリーム及び右目用ビデオストリームのPTS
続いて、動画像の立体視をユーザに行わせるための、左目用ビデオストリーム及び右目用ビデオストリームのPTSについて説明する。
【0028】
図6は、左目用ビデオストリームを構成する複数のピクチャに割り当てられる表示時刻(PTS)と、右目用ビデオストリームを構成する複数のピクチャに割り当てられる表示時刻(PTS)との関係を示す図である。左目用ビデオストリームを構成する各ピクチャは、右目用ビデオストリームを構成するピクチャと1対1で対応し(例えば、図6に示すピクチャL1とピクチャR1とが対応)、対応関係を有する左目用ピクチャ及び右目用ピクチャにおいて左目用ピクチャの方が先に表示されるよう、PTSが設定されている。また、左目用ピクチャのPTS及び右目用ピクチャのPTSは、時間軸上で交互になるように設定される。これは、ピクチャ間予測符合化の参照関係にある左目用ピクチャと右目映像ピクチャとの表示順が交互になるよう各PTSを設定することで実現できる。
【0029】
ピクチャ間予測符合化の参照関係にある左目用ピクチャと右目映像ピクチャについて説明する。右目用ビデオストリームは、時間方向の冗長性を利用したピクチャ間予測符号化に加えて、視点間の冗長性を利用したピクチャ間予測符号化によって圧縮されている。つまり、右目用ビデオストリームのピクチャは、左目用ビデオストリームの対応するピクチャを参照して圧縮されている。これは、左目用ビデオストリーム及び右目用ビデオストリームは、視点が異なるものの被写体は共通であるため映像の相関が大きく、視点間のピクチャ間予測符号化を行うことで、右目用ビデオストリームのデータ量を左目用ビデオストリームのデータ量に比べて大幅に削減できるからである。
【0030】
図7は、ピクチャの参照関係を示す図である。図7に示すように、右目用ビデオストリームのPピクチャは、左目用ビデオストリームのIピクチャを参照し、右目用ビデオストリームのBピクチャは、左目用ビデオストリームのBrピクチャを参照し、右目用ビデオストリームのBピクチャは、左目用ビデオストリームのBrピクチャを参照し、右目用ビデオストリームのPピクチャは、左目用ビデオストリームのPピクチャを参照している。
【0031】
左目用ビデオストリームは、右目用ビデオストリームを参照していないため、左目用ビデオストリーム単体で再生することができる、すなわち2D映像として再生可能であるが、右目用ビデオストリームは、左目用ビデオストリームを参照しているため、右目用ビデオストリーム単体で再生することはできない。
図6に戻って、左目用ピクチャと当該左目用ピクチャに対応する右目用ピクチャとの間のPTSの時間間隔について説明する。継時分離方式で3D再生を行う際には、ある時刻(PTS)で表示される左目用ピクチャに対して、対応する右目用ピクチャのPTSは、以下の式を満たす間隔で設定される必要がある。
【0032】
PTS(右目用)=PTS(左目用)+1/(1秒当たりのフレーム数×2)
ここで、フレームレートが、例えば24pであれば、1秒間に24枚のピクチャを表示することを示している。よって、左目用のピクチャと当該左目用ピクチャに対応する右目用ピクチャとの間隔(表示遅延)は、1/48秒となる。
このように、左目用ピクチャと当該左目用ピクチャに対応する右目用ピクチャとは、表示遅延(1/48秒)だけずらして同期させる必要がある。
【0033】
したがって、左目用ビデオストリーム及び右目用ビデオストリームをトランスポートストリームとして多重化する際には、各ビデオストリームにおいて各GOP内の各ピクチャの表示時刻を示すPTS及び各ピクチャのデコード時刻を示すDTSに基づいて、左目用ピクチャと当該左目用ピクチャに対応する右目用ピクチャとが、近傍に配置されるよう多重化を行えばよい。
【0034】
このように多重化しておけば、トランスポートストリームの先頭から順に読み込んでいけば、必要な時刻に必要な左目用ピクチャと右目用ピクチャとを得ることができる。
ところで、スキップ操作や時間指定のジャンプ操作により、デジタルストリームの先頭からではなく、途中から再生が行われる場合がある。その場合、エントリマップにはGOP単位でエントリポイントが記載されているため、多重化の際には、左目用ビデオストリーム及び右目用ビデオストリームのGOP境界を考慮する必要がある。
4.左目用ビデオストリームと右目用ビデオストリームとの多重化
AVクリップへのランダムアクセスを考慮した、左目用ビデオストリームと右目用ビデオストリームとの多重化をどのように行うのかについて説明する。
【0035】
まず、左目用ビデオストリーム及び右目用ビデオストリームのGOPの時間的間隔は、等しくなるよう設定され、左目用ビデオストリームの各GOPは、右目用ビデオストリームのGOPと一対一で対応している必要がある。こうすることで、左目用ビデオストリーム及び右目用ビデオストリームをGOP単位で同期させることが可能となる。
また、エントリマップは、図5に示すように、左目用ビデオストリームに対して設定されているので、エントリマップにおける時刻情報(PTS)は、左目用ビデオストリームの各GOPの先頭ピクチャの再生開始時刻を示し、アドレス情報(SPN)は、AVクリップにおいて左目用ビデオストリームの各GOPの先頭パケットのアドレスを示している。再生装置は、AVクリップにおいてこのアドレスに示される位置からデータを読み出すため、右目用ビデオストリームのGOPは、対応する左目用ビデオストリームのGOPを構成する先頭パケットより後方に配置される必要がある。
【0036】
図8は、左目用ビデオストリームと右目用ビデオストリームとの多重化の一例を模式的に示す図である。図8に示すように、左目用ビデオストリーム及び右目用ビデオストリームをGOP単位で、左目用ビデオストリームのGOPが、対応する右目用ビデオストリームのGOPより先行する形態で、多重化させる。
これにより、例えば、図8において、左目用ビデオストリームのLGOP2から再生を開始する場合、LGOP2を構成する先頭パケットから再生を開始すれば、左目用ビデオストリームのLGOP2に対応する右目用ビデオストリームのRGOP2も不足なく読み込まれるため、再生開始時から、左目用ビデオストリームと右目用ビデオストリームとを3D映像として再生することができる。
【0037】
このように、多重化の際に、左目用ビデオストリームと右目用ビデオストリームのGOPの時間的間隔を同じにしておき、必ず左目用ビデオストリームのGOP先頭を、対応する右目用ビデオストリームのGOP先頭よりも前方に配置する、という制限を加えることにより、エントリマップに記載されたどの時刻から再生したとしても、3D映像として再生することを保障することができる。
【0038】
次に、左目用ビデオストリームと右目用ビデオストリームとの多重化の別の例について説明する。図9は、左目用ビデオストリームと右目用ビデオストリームとの多重化の別の例を模式的に示す図である。図8及び9において、多重化の際に必ず左目用ビデオストリームのGOP先頭を、対応する右目用ビデオストリームのGOP先頭よりも前方に配置するという点は共通である。ただし、図8では、左目用GOPと当該左目用GOPに対応する右目用GOPとの配置終了位置については制限がなかったのに対し、図9では、左目用GOPの先頭パケットと、当該左目用GOPの終端パケットとの間に、当該左目用GOPに対応する右目用GOPを配置している点で異なる。これにより、AVクリップを左目用ビデオストリームのGOP境界で切断する際、右目用ビデオストリームのGOPを切断することなく、切断することが可能となる。
【0039】
図10は、左目用GOPの先頭パケットと、当該左目用GOPの終端パケットとの間に、当該左目用GOPに対応する右目用GOPを配置する際に、各ビデオストリームがAVクリップにおいてどのように多重化されているかを模式的に示す図である。
まず、複数のビデオフレームからなる左目用ビデオストリームを、PESパケット列に変換し、TSパケット列に変換する。同様に、複数のビデオフレームからなる右目用ビデオストリームをPESパケット列に変換し、TSパケット列に変換する。
【0040】
図10に示すように、左目用ビデオストリームと右目用ビデオストリームとを多重化する際には、まず、左目用ビデオストリームの先頭GOP(LGOP1)の先頭パケット(L11)が配置される。パケット(L11)配置位置以降であって、LGOP1の終端パケット(L16)の前方に、LGOP1に対応する右目用ビデオストリームのGOP(RGOP1)の各パケット(R11、R12、R13)が配置される。LGOP1の終端パケット(L16)に続いて、左目用ビデオストリームの次のGOP(LGOP2)の先頭パケット(L21)が配置され、先ほどと同様に、LGOP2の終端パケット(L26)の前方に、LGOP2に対応する右目用ビデオストリームのGOP(RGOP2)の各パケット(R21、R22、R23)が配置される。このように左目用ビデオストリーム及び右目用ビデオストリームを多重化することにより、左目用ビデオストリームのGOP境界で切断する際に右目用ビデオストリームのGOPが切断されないことを保障するデジタルストリームが生成される。
5.再生装置
続いて、3D映像を格納しているBD−ROM1000を再生する再生装置について説明する。図11は、再生装置2000の構成を示すブロック図である。図11に示すように、再生装置2000は、BD−ROMドライブ2100、トラックバッファ2200、システムターゲットデコーダ2300、プレーン加算部2400、プログラムメモリ2500、管理情報メモリ2600、プログラム実行部2700、再生制御部2800、及びユーザイベント処理部2900を含んで構成される。
【0041】
BD−ROMドライブ2100は、再生制御部2800から入力される読み出し要求に基づいてBD−ROM1000からデータを読み出す。BD−ROM1000から読み出されたAVクリップはトラックバッファ2200に、管理情報(インデックスファイル、プレイリストファイル、及びクリップ情報ファイル)は管理情報メモリ2600に、BDプログラムファイルはプログラムメモリ2500に、それぞれ転送される。
【0042】
トラックバッファ2200は、BD−ROMドライブ2100から入力されるAVクリップを格納するメモリ等で構成されたバッファである。
システムターゲットデコーダ2300は、トラックバッファ2200に格納されているAVクリップに対して多重分離処理を行い、ストリームのデコード処理を行う。AVクリップに含まれるストリームのデコードに必要な、コーデック種類やストリーム属性等の情報は、再生制御部2800から転送される。
【0043】
システムターゲットデコーダ2300は、具体的には、デマルチプレクサ2301、ビデオデコーダ2302、左目用ビデオプレーン2303、右目用ビデオプレーン2304、サブビデオデコーダ2305、サブビデオプレーン2306、プレゼンテーショングラフィックスデコーダ(PGデコーダ)2307、プレゼンテーショングラフィックスプレーン(PGプレーン)2308、インタラクティブグラフィックスプレーンデコーダ(IGデコーダ)2309、インタラクティブグラフィックスプレーン(IGプレーン)2310、イメージプロセッサ2311、イメージプレーン2312、及びオーディオデコーダ2313を含んで構成される。
【0044】
デマルチプレクサ2301は、トラックバッファ2200に格納されているTSパケットを取り出し、取り出したTSパケットからPESパケットを得る。TSパケットに含まれるPID(パケット識別子)に基づいて当該PESパケットをビデオデコーダ2302、サブビデオデコーダ2305、PGデコーダ2307、IGデコーダ2309、及びオーディオデコーダ2313の何れかに出力する。具体的には、取り出したTSパケットから得られたPESパケットは、当該TSパケットに含まれるPIDが0x1011及び0x1012である場合にはビデオデコーダ2302に、PIDが0x1B00である場合にはサブビデオデコーダ2305に、PIDが0x1100及び0x1101である場合にはオーディオデコーダ2313に、PIDが0x1200及び0x1201である場合にはPGデコーダ2307に、PIDが0x1400である場合にはIGデコーダ2309に、それぞれ転送される。
【0045】
ビデオデコーダ2302は、デマルチプレクサ2301から入力されるPESパケットを復号して非圧縮形式のピクチャを得て、左目用ビデオプレーン2303及び右目用ビデオプレーン2304の何れかに書き込む。ここで、ビデオデコーダ2302の動作について説明する。図12は、ビデオデコーダ2302によるビデオデコード処理を示すフローチャートである。ビデオデコーダ2302は、デマルチプレクサ2301からPESパケットを受信すると(ステップS101)、受信したPESパケットをデコードし非圧縮形式のピクチャを得る(ステップS102)。
【0046】
非圧縮形式のピクチャが左目用ビデオフレームを構成するものか、右目用ビデオストリームを構成するものかを判断する(ステップS103)。この判断は、例えば、デマルチプレクサ2301がPESパケットをビデオデコーダ2302に送信する際に、TSパケットに含まれるPIDに基づいて、当該PESパケットが左目用ビデオストリームに対応するか右目用ビデオストリームに対応するかを示すフラグを付加しておき、ビデオデコーダ2302が、当該フラグが左目用ビデオストリームに対応することを示しているか否か判定することにより行われる。
【0047】
非圧縮形式のピクチャが左目用ビデオフレームを構成するものであると判定すれば(ステップS103でYes)、当該ピクチャを左目用ビデオプレーン2303に書き込む(ステップS104)。
非圧縮形式のピクチャが右目用ビデオフレームを構成するものであると判定すれば(ステップS103でNo)、当該ピクチャを右目用ビデオプレーン2304に書き込む(ステップS105)。
【0048】
図11に戻って、左目用ビデオプレーン2303は、左目用の非圧縮形式のピクチャを格納しておくためのプレーンである。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモリ領域である。ビデオプレーンにおける解像度は1920×1080であり、このビデオプレーンに格納されたピクチャデータは、16ビットのYUV値で表現された画素データにより構成される。
【0049】
右目用ビデオプレーン2304は、右目用の非圧縮形式のピクチャを格納しておくためのプレーンである。
左目用ビデオプレーン2303及び右目用ビデオプレーン2304には、ビデオデコーダ2302によりビデオフレームのPTSのタイミングでピクチャが書き込まれる。
サブビデオデコーダ2305は、ビデオデコーダ2302と同様の構成を持ち、デマルチプレクサ2301から入力されるビデオフレームを復号し、表示時刻(PTS)のタイミングで、非圧縮形式のピクチャをサブビデオプレーン2306に書き出す。
【0050】
サブビデオプレーン2306は、副映像の非圧縮形式のピクチャを格納しておくためのプレーンである。
PGデコーダ2307は、デマルチプレクサ2301から入力されるプレゼンテーショングラフィックスストリームを復号し、表示時刻(PTS)のタイミングで、非圧縮形式のグラフィックスデータをPGプレーン2308に書き出す。
【0051】
PGプレーン2308は、グラフィックスデータを格納しておくためのプレーンである。
IGデコーダ2309は、デマルチプレクサ2301から入力されるインタラクティブグラフィックスストリームを復号し、表示時刻(PTS)のタイミングで、非圧縮形式のグラフィックスデータをIGプレーン2310に書き出す。
【0052】
IGプレーン2310は、グラフィックスデータを格納しておくためのプレーンである。
イメージプロセッサ2311は、プログラム実行部2700から入力されるグラフィックスデータ(PNG・JPEG)をデコードして、イメージプレーン2312に出力する。イメージプレーン2312のデコードタイミングは、グラフィックスデータがメニュー用データである場合には、プログラム実行部2700から指示され、グラフィックスデータが字幕用データである場合には、再生制御部2800から指示される。
【0053】
イメージプレーン2312は、グラフィックスデータ(PNG・JPEG)を格納しておくためのプレーンである。
オーディオデコーダ2313は、デマルチプレクサ2301から入力されたPESパケットを復号して、非圧縮形式のオーディオデータを出力する。
プレーン加算部2400は、左目用ビデオプレーン2303と右目用ビデオプレーン2304のうち、PTSのタイミングでピクチャが書き込まれたプレーンを選択して、選択したプレーン、サブビデオプレーン2306、PGプレーン2308、IGプレーン2310、及びイメージプレーン2312を瞬時に重畳することで映像信号を生成し、テレビ等のディスプレイに出力する。映像信号は、左目用ピクチャ及び右目用ピクチャの何れが重畳されたかを示すフラグを含む。
【0054】
プログラムメモリ2500は、BD−ROMドライブ2100から入力されるBDプログラムファイルを格納するメモリである。
管理情報メモリ2600は、BD−ROMドライブ2100から入力されるインデックステーブル、管理情報、及びプレイリスト情報を格納するメモリである。
プログラム実行部2700は、プログラムメモリ2500に格納されているBDプログラムファイルに格納されたプログラムを実行する。具体的には、ユーザイベント処理部2900から入力されるユーザイベントに基づいて再生制御部2700に対してプレイリスト再生を命令したり、システムターゲットデコーダ2300に対してメニューやゲームのグラフィックスのためのPNG・JPEGを転送したりする。
【0055】
再生制御部2800は、BD−ROMドライブ2100とシステムターゲットデコーダ2300とを制御して、AVクリップの再生を制御する機能を持つ。例えば、プログラム実行部2700から入力される再生命令に基づき、管理情報メモリ2600に格納されているプレイリスト情報を参照して、AVクリップの再生処理を制御する。また、ランダムアクセスの際には、管理情報メモリ2600に格納されているエントリマップに登録されている、時刻情報に対応するGOPの先頭位置を特定し、その位置から読み出すようBD−ROMドライブ2100に指示する。これにより、AVクリップを解析することなく効率的に処理を行うことができる。さらに、再生制御部2800は、再生装置における状態取得や状態設定を行う。
【0056】
ユーザイベント処理部2900は、リモコンや再生装置のフロントパネルに対するキー操作に応じて、その操作を示すユーザイベントをプログラム実行部2700に出力する。
以上が再生装置2000の構成である。
6.家庭内で3D映像を視聴するための構成
続いて、家庭内で3D映像を視聴するための構成について説明する。ユーザが、家庭内で3D映像を視聴するためには、上述したBD−ROMとBD−ROMを再生する再生装置2000の他、再生装置から出力される3D映像を表示可能なディスプレイと立体視用のメガネとが必要になる。図13は、BD−ROM1000、再生装置2000、ディスプレイ3000、立体視用のメガネ4000、及びリモコン5000を含んで構成されるホームシステムを示す図である。
【0057】
再生装置2000とディスプレイとは、例えば、HDMI(High−Definition Multimedia Interface)ケーブルで接続される。
ディスプレイ3000は、再生装置2000から時分割で入力される映像信号を表示する。再生装置2000から、左目用及び右目用の映像が交互に入力されるので、ディスプレイ3000は、左目用及び右目用の映像を時間軸方向に交互に表示することになる。
【0058】
2D映像を表示するディスプレイとの違いは、当該ディスプレイと比較して、左目用及び右目用の映像を交互に表示するために、画面の早い切り替えが必要であることである。例えば、多くの映画は、24p(1秒間に24フレーム表示)で撮影されるが、3D映像の場合には、1秒間に左目用の映像24フレームと、右目用の映像24フレームとを交互に表示する必要があるため、1秒間に48フレームの書き換えを行う必要がある。また、3D映像を表示中には、既存の民生用TVで行っているような輪郭強調処理などを行わない設定を持つこともある。これは、3D映像を視聴する際には、左目用の映像と右目用の映像との輪郭位置が重要であり、これが輪郭強調等により輪郭線が太くなったり、細くなったりすると、左右の映像のバランスが崩れ、十分な立体視ができないことがあるからである。
【0059】
また、ディスプレイ3000は、HDMIケーブルを介して入力された映像信号に含まれるフラグに基づいて、ディスプレイに表示されている映像が左目用かあるいは右目用かを示す制御信号を立体視用メガネ4000に送信する。
立体視用メガネ4000は、実施の形態1の立体視の原理で説明したように、継時分離方式にて3D映像を視聴する際に用いられ、液晶シャッターなどを用いた特殊なメガネである。立体視用メガネ4000は、ディスプレイ3000から送信される制御信号に基づいて、左目に対応する液晶シャッター及び右目に対応する液晶シャッターを透過状態にするか遮光状態にするかを切り替える。具体的には、ディスプレイから、左目用映像が表示されている旨を示す制御信号を受信した場合には、左目に対応する液晶シャッターを透過状態にし、右目に対応する液晶シャッターを遮光状態にする。右目用映像が表示されている旨を示す制御信号を受信した場合には、右目に対応する液晶シャッターを透過状態にし、左目に対応する液晶シャッターを遮光状態にする。
【0060】
以上のように本実施の形態によれば、デジタルストリームの時間軸における任意のPTSから再生を開始する場合も、当該PTSに対応するSPNで指示される位置以降のデジタルストリームの記録領域には、左目用ビデオストリームのGOP及び当該GOPに対応する右目用ビデオストリームのGOPが存在するため、動画像の立体視を確実にユーザに行わせることができる。
(実施の形態2)
本実施の形態では、本発明にかかる記録装置および記録方法を実施するための形態について説明する。
【0061】
記録装置は、映画コンテンツの頒布のために制作スタジオに設置され、MPEG規格に従い圧縮符号化されたデジタルストリーム及びどのように映画タイトルを再生するかを記したシナリオを生成し、これらのデータを含むBD−ROM向けのボリュームイメージを生成する。記録装置は、実施の形態1で説明した記録媒体を生成する。
図14は、記録装置40の内部構成を示すブロック図である。本図に示すように、記録装置40は、ビデオエンコーダ41、素材制作部42、シナリオ生成部43、BDプログラム制作部44、多重化処理部45、及びフォーマット処理部46を含んで構成される。
【0062】
ビデオエンコーダ41は、左目映像の非圧縮のビットマップなどの画像イメージと、右目映像の非圧縮のビットマップなどの画像イメージとを、MPEG4−AVCやMPEG2などの圧縮方式に従い符号化し、左目用ビデオストリームと右目用ビデオストリームとを作成する。その際、左目用ビデオストリーム及び右目用ビデオストリームのGOPの時間的間隔が等しくなるよう設定する。
【0063】
ここで、3Dに対応したビデオのエレメンタリストリームを効率的に生成する方法について説明する。
DVDやBD−ROMなどのパッケージメディア向けにビデオを圧縮する時、一般的なビデオ圧縮技術においては、前後のピクチャの似ている点を利用して圧縮することにより圧縮率を上げている。この時、前後のピクチャで似ている箇所を検索する作業のためにエンコードに多大な時間を要している。図15は、3Dに対応したビデオのエレメンタリストリームをどのように効率的に生成するかを示す図である。図15(a)は、ある時刻の左目用ピクチャを示す図であり、図15(b)は、図15(a)で示した映像の時刻の次の時刻における左目用ピクチャを示す図である。ビデオエンコーダ41は、図15(a)に示す左目用ピクチャに存在する立方体あるいは円を、図15(b)で示した左目用ピクチャ内で検索する。この時、左目用ピクチャのエンコード時において、最も大きな範囲を検索するには、図15(b)で示した画面全体を検索する必要がある。一般的なエンコード手順の場合には、右目用のビデオをエンコードする際も、左目用のビデオをエンコードする際の手順と同様の手順で行われる。すなわち、図15(b)で示したように、画面全体を検索する必要がある。
【0064】
このように、2D映像をエンコードする場合に比べて、3D映像(左目用ビデオフレーム列及び右目用ビデオフレーム列)をエンコードする場合には、各ビデオフレーム列を別々に圧縮する必要があるため、圧縮に要する時間が2倍かかる。
そこで、ビデオエンコーダ41は、左目用のビデオのエンコード時に、各探索対象がどちらの方向にどの程度動いたかをテーブルに記載しておく。これにより、左目用のピクチャに非常に似たピクチャである右目用のピクチャをエンコードする際には、テーブルを参照することにより、画面全体から探索する必要が無くなり、エンコード時間を短縮することができる。図15(c)は、各探索対象がどちらの方向にどの程度動いたかを記載したテーブルを示す図である。右目用のピクチャをエンコードする際には、図15(c)に示すテーブルを参照することで、探索範囲を絞ることができる。
【0065】
なお、ここでの説明では、簡単のために立方体や円などの図形を用いて説明したが、実際のエンコード時には、8x8や16x16等で決められた矩形領域毎に、図形の場合と同じように、移動方向や距離をテーブルに記載しておけばよい。
図14に戻って、素材制作部42は、オーディオストリーム、プレゼンテーショングラフィックスストリーム、及びインタラクティブグラフィックストリーム等の各ストリームを作成する。より詳細には、非圧縮のLinearPCM音声等を、AC3等の圧縮方式に従い符号化することでオーディオストリームを作成する。
【0066】
また、字幕イメージ、表示タイミング、及びフェードイン/フェードアウト等の字幕の効果を含む字幕情報ファイルを基にして、BD−ROM規格に準拠した字幕ストリームのフォーマットであるプレゼンテーショングラフィックスストリームを作成する。
さらに、メニューに使うビットマップイメージと、メニューに配置されるボタンの遷移や表示効果を記載したメニューファイルとを基にして、BD−ROM規格に準拠したメニュー画面のフォーマットであるインタラクティブグラフィックスストリームを作成する。
【0067】
シナリオ生成部43は、素材制作部42で作成した各ストリームの情報やユーザ操作にしたがって、BD−ROM規格に準拠したフォーマットでシナリオを作成する。ここで言うシナリオは、インデックスファイル、ムービーオブジェクトファイル、及びプレイリストファイル等のファイルである。
また、シナリオ生成部43は、多重化処理を実現するための、各AVクリップがどのストリームから構成されるかを記述したパラメータファイルを作成する。ここで、作成されるインデックスファイル、ムービーオブジェクトファイル、及びプレイリストファイル等のファイルは、実施の形態1で説明したデータ構造となる。
【0068】
BDプログラム制作部44は、BDプログラムファイルのプログラムをプログラミングする手段である。GUI等のユーザインターフェースを通じて、ユーザからの要求に従って、BDプログラムファイルのソースコードを作成し、BDプログラムを作成する。
多重化処理部45は、BD−ROMシナリオデータに記述されている左目用ビデオストリーム、右目用ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、及びインタラクティブグラフィックスストリーム等の複数のストリームを多重化して、MPEG2−TS形式のAVクリップを作成する。その際、左目用ビデオストリーム及び右目用ビデオストリームをGOP単位で、左目用ビデオストリームのGOPの先頭が、対応する右目用ビデオストリームのGOPより先行する形態で、多重化する。
【0069】
また、AVクリップの作成の際、AVクリップと対になるクリップ情報ファイルも同時に作成する。多重化処理部45によるクリップ情報ファイル内の生成は、以下の方法で行われる。多重化処理部45は、例えば、作成したAVクリップにおいて左目用ビデオストリームの各GOPの先頭パケットの格納位置と、当該GOPの先頭の表示時刻とを対応付けたエントリマップを生成し、生成したエントリマップと、AVクリップに含まれるストリーム毎の音声属性、映像属性などを示す属性情報とをペアにして、クリップ情報ファイルを作成する。クリップ情報ファイルの構成は、実施の形態1で説明したデータ構造となる。
【0070】
フォーマット処理部46は、シナリオ生成部43で生成したBD−ROMシナリオデータと、BDプログラム制作部44で制作したBDプログラムファイルと、多重化処理部45で生成したAVクリップやクリップ情報ファイルとを、BD−ROM規格に準拠したフォーマットで配置し、BD−ROM規格に準拠したファイルシステムであるUDFのフォーマットでディスクイメージを作成する。生成したディスクイメージをBD−ROMプレス用データに変換し、このデータに対してプレス工程を行うことで、BD−ROMの製造が可能となる。
(実施の形態3)
本実施の形態では、BD−ROMディスクに2D映像と3D映像とが混在している場合に関して説明する。BD−ROMディスクに収録されている映画コンテンツにおいて、全ての映像が3Dあるいは2Dのどちらかであれば、ユーザは、各ディスクに応じて前述の立体視専用メガネを装着するか否かを選択すればよいが、一つのディスクの中に2D映像と3D映像とが混在している場合には、ユーザは何らかのタイミングでメガネを装着したり、外したりする必要が出てくる。
【0071】
ユーザの視点に立つと、何の知らせもなく突然2D映像から3D映像、あるいは逆に3D映像から2D映像に切り替わると、メガネを装着したり、あるいは外したりするきっかけが非常に分かりづらい。
そこで、タイトル単位で2D映像及び3D映像の何れかを示す3D対応フラグを設け、タイトルが変更されると、変更後のタイトルが2D映像か3D映像かを3D対応フラグに基づいて判定し、判定結果をユーザに報知する。図16は、3D対応フラグを含むインデックステーブルの構成を示す図である。図16に示すように、タイトル毎に当該タイトル内の映像が2Dか3Dかを示す3D対応フラグが設けられている。タイトルの切り替えは、リモコンを用いたユーザ操作や、コマンド等により行われる。再生装置は、各タイトルに対応した3D対応フラグをタイトル遷移時に参照することで、OSD( On Screen Display)や音声案内等により、ユーザに対して立体視メガネの着脱のタイミングを報知することができる。これは、1つのタイトル内に2D映像と3D映像とが混在しないことを意味する。商用ディスクを作成する立場で考えると、2D映像か3D映像かをタイトル毎に明確に分けておくことで、ユーザにメガネの着脱を促すことを、再生装置に任せることができるというメリットがある。
【0072】
なお、ここでは2D映像か3D映像かを示す3D対応フラグをタイトル毎に設定するとしたが、プレイリスト、プレイアイテム、あるいはAVストリーム毎に3D対応フラグを設定してもよい。
<補足>
以上、本発明に係る記録媒体について、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られないことは勿論である。
(変形例1)
実施の形態1では、左目用ビデオストリームと右目用ビデオストリームとが一本のデジタルストリームに多重化されていたが、ここでは、左目用ビデオストリームと右目用ビデオストリームとを多重化せず、別々のデジタルストリームとして記録媒体に記録されている場合について説明する。
【0073】
まず、左目用ビデオストリームと右目用ビデオストリームとを別々のデジタルストリームとして記録媒体に記録した場合のAVクリップについて説明する。図17は、STREAMディレクトリに格納されるAVクリップの構成の一例を示す図である。
左目用のAVクリップは、右目用ビデオストリームを含まない点を除いて、図3で示したAVクリップと同様である。左目用のAVクリップには、左目用ビデオストリームが格納されており、左目用ビデオストリーム(主映像)は、2D映像を再生する再生装置では2D映像として、3D映像を再生可能な再生装置では、3D映像を再生する際の左目用の映像として再生されるビデオストリームである。
【0074】
右目用のAVクリップ(サブクリップ)には、右目用ビデオストリームが格納されている。右目用ビデオストリームは、3D映像を再生可能な再生装置において3D映像を再生する際の右目用の映像として、左目用のビデオストリームと共に再生されるビデオストリームである。
次に、左目用ビデオストリームと右目用ビデオストリームとを別々のデジタルストリームとして記録媒体に記録した場合のプレイリストの構造について説明する。プレイリスト情報は、一連のプレイアイテム情報の再生経路であるメインパスに加えて、1つ以上のサブプレイアイテム(SubPI)情報を有する。ここでは、メインパスと同期して再生される、一連のサブプレイアイテムの再生経路をサブパスと定義する。各サブプレイアイテム情報は、サブクリップに対する再生区間を示す。各サブプレイアイテム情報の再生区間は、メインパスと同じ時間軸で表される。
【0075】
図18は、左目用ビデオストリームと右目用ビデオストリームとを別々のデジタルストリームとした場合のプレイリストの構造を示す図である。2Dプレイリスト情報は、左目用ビデオストリームが2D映像として再生される場合のプレイリスト情報であり、3Dプレイリスト情報は、左目用ビデオストリーム及び右目用ビデオストリームが3D映像として再生される場合のプレイリスト情報である。図18に示すように、2Dプレイリスト情報及び3Dプレイリスト情報のメインパスは、左目用ビデオストリームを格納するAVクリップを参照している。3Dプレイリスト情報は、メインパスに加えて、サブパスを有する。サブパスは、右目用ビデオストリームを格納するサブクリップを参照しており、メインパスと時間軸上で同期するように設定される。この構造により、2Dプレイリスト情報及び3Dプレイリスト情報で、左目用ビデオストリームが格納されたAVクリップを共有することができ、3Dプレイリスト情報では、左目映像と右目映像とを時間軸上で同期させることができる。
【0076】
続いて、左目用ビデオストリームと右目用ビデオストリームとを別々のデジタルストリームとした場合のクリップ情報ファイルについて説明する。
左目用ビデオストリームと右目用ビデオストリームとは、別々のデジタルストリームであるので、それぞれのデジタルストリームに対してクリップ情報ファイルが存在する。基本的には、どちらのクリップ情報ファイルも実施の形態1で説明したクリップ情報ファイルと同様の構成である。したがって、右目用ビデオストリームに対しても、エントリマップが設定されることになる。右目用のエントリマップには、エントリマップヘッダ情報と、右目用ビデオストリームを構成する各GOPの先頭の表示時刻を示すPTSとサブクリップにおいて当該GOPの先頭位置を示すSPNとのペアを示すテーブル情報とが記載されている。テーブル情報における各エントリポイントには、AVクリップにおいて左目用ビデオストリームのエントリマップの各エントリポイントで指定されているPTSに、表示遅延(1/48)秒だけ加算した値であるPTSを持つ、サブクリップの右目用ビデオストリームのピクチャが登録される。これにより、ある時刻が指定された時に、再生装置は、当該時刻に対応する、右目用ビデオストリーム及び左目用ビデオストリームにおけるGOPの開始アドレスを取得することができる。
【0077】
続いて、BD−ROM上での物理的なファイル配置について説明する。左目用ビデオストリームを格納したAVクリップと、右目用ビデオストリームを格納したサブクリップとは、エクステント(例えば、GOP単位)に分割されてインタリーブに配置される。左目用ビデオストリームと右目用ビデオストリームのGOPの時間的間隔は同じにしておく。ここで例えば、エントリマップのエントリマップヘッダ情報に、左目用ビデオストリームのGOPと当該GOPに対応する右目用ビデオストリームのGOPのうち、どちらが先に配置されているかを示す先行フラグを設定する。これにより、再生装置は、先行フラグを参照することにより、左目用ビデオストリームのGOPと当該GOPに対応する右目用ビデオストリームのGOPのうち、どちらのGOPから読み出すべきかをBD−ROMドライブに指示することができる。すなわち、先行フラグが示すビデオストリームのGOPから読み出しを開始することができる。
【0078】
したがって、左目用ビデオストリームと右目用ビデオストリームとを多重化せず、別々のデジタルストリームとした場合であっても、再生装置により指示された再生開始位置以降には、左目用ビデオストリームのGOP及び当該GOPに対応する右目用ビデオストリームのGOPが存在するため、動画像の立体視を確実にユーザに行わせることができる。
(変形例2)
変形例1では、3Dプレイリスト情報はメインパスに加えて、一つのサブパスを有するとしたが、ここでは、3Dプレイリスト情報が複数のサブパスを含む場合について説明する。
【0079】
まず、ユーザが視差画像により立体視を行う際に感じる違和感について説明する。図19は、実際に物体を見る際の目の焦点と立体視を行う際の目の焦点との違いを示す図である。図19(b)は、ユーザが実際に物体を見ている様子を示す図である。図19(b)に示すように、左目15及び右目16の焦点は共に、物体17の位置に合っている。つまり、物体17を観察するユーザにとって、目の焦点が合っている位置と、物体17を認識している空間上の位置とは同じであることを意味している。
【0080】
これに対して、図19(a)は、ユーザが視差画像により立体視を行う様子を示す図であり、左目11及び右目12の焦点は、ディスプレイ14に合っているのに対して、立体視される映像13は、両眼でディスプレイを見る際に両眼とディスプレイとを結ぶ直線の交点となる位置に結像しているように、脳内で認識される。つまり、両眼の焦点はディスプレイ14上に合っているのに対して、3Dの物体13を認識している位置はディスプレイ14より飛び出した位置にある。この焦点位置と物体の認識位置との差が、視差画像によって3Dを認識した際の違和感や疲労感として感じられることになる。
【0081】
また、一般的には、実際に目の焦点が合っている位置(ディスプレイの位置)と、脳内で物体を3Dとして認識している位置との距離が大きいほど、違和感や疲労感が強く感じられることが知られている。
視差画像を用いた3D映像をユーザへの負荷を少なく実現する一つの方法は、物体の飛び出し距離(被写体を見る角度)が異なる複数の右目用ビデオストリームを、それぞれ別々のAVクリップとして記録媒体に記録しておき、ユーザに選択させるものである。つまり、3D映像の視聴に慣れたユーザ、あるいはより物体の飛び出しが強調され、臨場感を楽しみたいユーザ用のAVクリップと、3D映像の視聴に不慣れなユーザ向けにディスプレイからの飛び出しを抑え、3D視聴における違和感を軽減したAVクリップとを用意し、ユーザに適切に選択させればよい。
【0082】
図20は、サブパスが複数ある場合のプレイリスト情報を示す図である。図20に示すプレイリスト情報は、サブクリップ1群及びサブクリップ2群を参照し、これらは共に右目用ビデオストリームを格納しているが、被写体を見る角度(飛び出し距離)が異なるものである。各サブパスとメインパスとは同期しており、サブパスには、プレイリスト情報に登録される順にIDが振られ、サブパスIDとして、サブパスを識別するために使われる。
【0083】
サブパスID「0」のサブパスは、サブクリップ1群を参照し、サブパスID「1」のサブパスは、サブクリップ2群を参照する。このように、3Dプレイリスト情報が飛び出し具合の異なる複数のサブクリップを含み、ディスプレイ画面の大きさやユーザ操作に基づいて、左目用ビデオストリームを格納するメインパスと同期して再生するサブパスを切り替えることで、ユーザにとって快適な視差画像を用いて、立体映像を表示することが可能となる。
(変形例3)
変形例2では、3Dプレイリスト情報が複数のサブパスを含む場合について説明したが、ここでは、各サブクリップにオーディオデータ、字幕、及びメニューを組み合わせた場合について説明する。
【0084】
図21は、2D映像の再生においてユーザ21がディスプレイ23に表示されている物体22を視聴している様子を示す図である。このとき、物体22から音が出ている場合には、多くの映画においては、物体22の位置から音が出ているようにユーザ21に感じさせるために、複数のスピーカーから出る音の位相や音圧を調整して、あたかも物体22の場所から音が出ているように音を定位させることで、ビデオとオーディオとの組み合わせによる臨場感を演出している。
【0085】
これに対して、図22は、3D映像の再生において物体がディスプレイ33からユーザ31の側に飛び出して見える様子を示す図であり、左目用ビデオストリームでは物体が位置34に描画され、右目用ビデオストリームでは物体が位置35に描画されることで、ユーザ31には、物体が空間上の位置36にあるように認識され、飛び出して見える。この時、2D映像の再生の場合と同じ音を用いて位置32に物体からの音が定位した場合、ユーザ31は物体を位置36に認識しているにも関わらず、物体からの音が位置32から発しているように聞こえてしまう。
【0086】
そこで、ユーザが物体を認識している位置から音が聞こえるよう、被写体を見る角度が異なる複数の右目用ビデオストリームの各々に応じたオーディオデータを、当該右目用ビデオデータに対応付けて記憶しておく。
さらに、オーディオデータに加え、字幕やメニューに対しても同様に各右目用ビデオデータに対応付けて記憶しておく。3D映像の飛び出し具合に応じて、飛び出し具合が異なる(映像と、字幕あるいはメニューとの前後関係を壊さない)字幕及びメニューの組み合わせを記録しておくことで、異なる飛び出し具合のビデオデータに対応した字幕やメニューを表示することが可能となり、より臨場感を増すことが可能となる。
【0087】
図23は、各サブクリップにオーディオデータ、字幕、及びメニューを対応付けたテーブルを示す図である。図23に示すように、各サブクリップに応じたオーディオデータを記述したテーブルをプレイリスト内に保持することにより、サブクリップの切り替えに応じて、対応するオーディオデータも切り替えることが可能となる。
なお、上述のように、各サブクリップ対応したオーディオデータを用意することで、より臨場感及び3Dで表示される物体が発する音への定位感が増すようにするのではなく、3Dの臨場感に関与しない音、例えば背景音をオーディオストリームとしてAVクリップに入れておき、画面内の特定の物体や人物が発する音だけを2本目のオーディオストリームとしてAVクリップに入れておき、1本目のオーディオストリームと2本目のオーディオストリームとを同時にミキシングしながら再生することにより、各サブクリップに対応した音の定位を得るとしてもよい。これにより、2本目のオーディオストリームを、人の会話音やハエが飛ぶ音等、比較的簡単な音とすることで、より圧縮率の高いオーディオ圧縮方式を使え、複数のオーディオストリームを格納する際のデータ量を削減することができる。
(1)上記実施の形態1では、AVクリップは、左目用ビデオストリームに関するエントリマップを有し、左目用ビデオストリームの各GOPが、当該GOPに対応する、右目用ビデオストリームのGOPより先行する位置に配置されるとしたが、AVクリップが右目用ビデオストリームに関するエントリマップを有し、右目用ビデオストリームの各GOPが、当該GOPに対応する、左目用ビデオストリームのGOPより先行する位置に配置されるとしてもよい。
(2)上記実施の形態1では、再生装置は、左目用ビデオプレーンと右目用ビデオプレーンとを備える構成としたが、ビデオプレーンを一つだけ備えるとしてもよい。この場合、再生装置は、左目用ピクチャと右目用ピクチャとを交互にビデオプレーンに書き出す。
【0088】
また、再生装置は、ビデオデコーダを一つ備える構成としたが、左目用ビデオデコーダ及び右目用ビデオデコーダの二つのビデオデコーダを備えるとしてもよい。この場合、デマルチプレクサは、TSパケットに含まれるPIDに基づいてPESパケットを左目用ビデオデコーダ及び右目用ビデオデコーダの何れかに出力する。
(3)上記実施の形態1では、ある時刻PTSで表示される左目用ピクチャに対して、対応する右目用ピクチャのPTSは、PTS(左目用)+1/(1秒当たりのフレーム数×2)であるとしたが、右目用ピクチャのPTSは、対応する左目用ピクチャとその次の左目用ピクチャの間であればよい。
(4)上記実施の形態1では、AVクリップは、左目用ビデオストリームに関するエントリマップを有するとしたが、左目用ビデオストリーム及び右目用ビデオストリームのエントリマップを有するとしてもよい。右目用のエントリマップのテーブル情報において、各エントリポイントには、AVクリップのエントリマップの左目用ビデオストリームのエントリポイントで指定されているPTSに、表示遅延(1/48)だけ加算した値であるPTSが設定される。
【0089】
再生開始点が時刻で指定されると、再生制御部2800は、左目用エントリマップ及び右目用エントリマップにおいて、当該時刻に対応するアドレス情報のうちより前方に位置するアドレスから再生を開始する。これにより、指定した時刻の左目用GOP及び右目用GOPを先頭から読み出すことが可能となる。
このように再生装置のメモリに余裕があり、各エントリマップをメモリに読み出すことができれば、左目用ビデオストリーム及び右目用ビデオストリームを多重化する際に、格納位置関係を考慮せずに多重化することができる。
(5)上記実施の形態1では、図9、10において、左目用GOPの先頭パケットと、当該左目用GOPの終端パケットとの間に、当該左目用GOPに対応する右目用GOPを配置するとしたが、左目用GOPの先頭パケットと、次の左目用GOPの先頭パケットとの間に、当該右目用GOPを配置するとしてもよいし、次の左目用GOPの終端パケットまでに配置するとしてもよい。このように、左目用GOPと当該左目用GOPに対応する右目用の多重化の位置とを制限することで、AVデータへランダムアクセスが行われた際に、左目用GOP及び対応する右目用GOPの読み出しタイミングが大きくずれないことを保証することができる。
(6)上記実施の形態1では、3D映像を表示可能なディスプレイについて説明したが、実際には、2D映像しか表示できないディスプレイも存在する。その際、ユーザが、ディスプレイが3D再生に対応しているか否かを判断するのは困難である。そこで、ディスプレイが3D再生に対応しているか否かの判断を、ユーザが意識することなく、再生装置が行うことが望ましい。
【0090】
具体的には、例えば、以下のような方法で実現する。図24は、3D表示可能かをディスプレイに問い合わせる問い合わせ処理を示すフローチャートである。再生装置とディスプレイとはHDMIケーブルを介して接続されているものとする。まず、再生装置はディスプレイに対して、3Dに対応しているかどうかを問い合わせる(ステップS201)。3Dに対応しているかどうかの応答をディスプレイから受信すると(ステップS202でYes)、当該応答が、3Dに対応している旨を示すものか否かを判定する(ステップS203)。
【0091】
応答が、3Dに対応している旨を示すものである場合には(ステップS203でYes)、再生装置は、自装置内の所定メモリ内でディスプレイが3D表示可能であることを示す3D表示フラグを有効として設定し(ステップS204)、応答が、3Dに対応していない旨を示すものである場合(ステップS203でNo)、あるいはディスプレイから適切な応答が無い場合には(ステップS202でNo)、3D表示フラグを無効として設定する(ステップS205)。
【0092】
ここで、BDプログラムから3D表示フラグにアクセスできるようにしておくことで、再生装置に接続されているディスプレイが3Dに対応しているかどうかをBDプログラムによって判断することが可能となる。これにより、例えば3D表示フラグが有効な場合には、3D対応のタイトルを再生し、3D表示フラグが無効である場合には、2D対応のタイトルを再生するような制御が可能となる。
【0093】
また、3D表示フラグが有効である場合、再生装置が3D対応コンテンツをディスプレイに送信する際、3D対応コンテンツである旨を示す情報をヘッダ等に含ませてもよい。これにより、3D対応コンテンツをディスプレイが受け取った際には、ディスプレイ側で前述のように輪郭強調を行わないなどの特定の処理を削減あるいは軽減したり、3D視聴に適正な処理を加えたりすることが可能となる。
(7)上記実施の形態1では、継時分離方式及び偏光メガネ方式を例として用いて説明したが、レンチキュラーレンズを用いて立体視を実現する場合には、左目用ビデオストリームの各ピクチャと当該ピクチャに対応する右目用ビデオストリームのピクチャとを、同一のPTSになるよう設定し、一画面中の縦方向に左目用のピクチャと対応する右目用のピクチャとを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズを貼り合わせることで、ディスプレイ上に表示された映像を、立体映像として認識することができる。
(8)3D再生のためのプレイリストは、BD-Jアプリケーションによって再生されてもよい。BD-Jアプリケーションとは、Java2Micro_Edition(J2ME) Personal Basis Profile(PBP 1.0)と、Globally Excecutable MHP specification(GEM1.0.2)for package media targetsとをフル実装したプログラム実行部において、BD-Jタイトルを生存区間として起動されるJavaアプリケーションである。
【0094】
プログラム実行部は、Java(TM)(登録商標)仮想マシン、コンフィグレーション、プロファイルを含んで構成される。BD-Jアプリケーションは、プレイリスト情報を再生するJMFプレーヤインスタンスの生成をJava(TM)仮想マシンに命じることで、AV再生を開始させることができる。JMF(Java Media Frame work)プレーヤインスタンスとは、JMFプレーヤクラスを基にして仮想マシンのヒープメモリ上に生成される実際のデータのことである。
【0095】
また、プログラム実行部は、JFIF(JPEG)やPNG、その他のイメージデータを表示するためのスタンダードJavaライブラリを含む。このため、BD-Jアプリケーションは、GUIフレームワークを実現することができる。JavaアプリケーションにおけるGUIフレームワークは、GEM1.0.2にて規定されたHAViフレームワークを含み、GEM1.0.2におけるリモートコントロールナビゲーション機構を含む。
【0096】
これにより、BD-Jアプリケーションは、HAViフレームワークに基づくボタン表示、テキスト表示、オンライン表示(BBSの内容)といった表示を、動画像の表示と組み合わせた画面表示を実現することができ、リモートコントロールを用いて、この画面表示に対する操作を行うことができる。
上記実施の形態及び上記補足をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【0097】
本発明は、3D映像を格納する記録媒体に広く適用可能である。
【符号の説明】
【0098】
1000 BD−ROM
2000 再生装置
2100 BD−ROMドライブ
2200 トラックバッファ
2300 システムターゲットデコーダ
2301 デマルチプレクサ
2302 ビデオデコーダ
2303 左目用ビデオプレーン
2304 右家用ビデオプレーン
2305 サブビデオデコーダ
2306 サブビデオプレーン
2307 PGデコーダ
2308 PGプレーン
2309 IGデコーダ
2310 IGプレーン
2311 イメージプロセッサ
2312 イメージプレーン
2313 オーディオデコーダ
2400 プレーン加算部
2500 プログラムメモリ
2600 管理情報メモリ
2700 プログラム実行部
2800 再生制御部
2900 ユーザイベント処理部
3000 ディスプレイ
4000 立体視用メガネ
5000 リモコン
40 記録装置
41 ビデオエンコーダ
42 素材制作部
43 シナリオ生成部
44 BDプログラム制作部
45 多重化処理部
46 フォーマット処理部

Claims (8)

  1. 記録媒体であって、
    デジタルストリームが記録されている領域と、マップ情報が記録されている領域とを含み、
    前記デジタルストリームは、第1ビデオストリームと第2ビデオストリームとを含み、
    前記第2ビデオストリームは、前記第1ビデオストリームを参照して圧縮されており、
    前記第1ビデオストリームは、複数の第1グループ・オブ・ピクチャを含み、前記第2ビデオストリームは、複数の第2グループ・オブ・ピクチャを含み、
    マップ情報は、デジタルストリームが記録されている領域におけるエントリアドレスを、エントリ時刻と対応付けて示す情報であり、
    デジタルストリームが記録されている領域のうち、前記第1ビデオストリームに対応する各エントリアドレスで指示される位置以降の領域には、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャ及び前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャが存在しており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャは、デジタルストリームの時間軸において、前記各エントリアドレスに対応した各エントリ時刻から再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャは、動画像の立体視をユーザに行わせる場合、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャと共に再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャ及び前記第2グループ・オブ・ピクチャは、複数のパケットに分割された状態で、多重化されており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のものの記録位置は、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数のパケットの先頭のものの記録位置よりも、デジタルストリーム上で先行している
    ことを特徴とする記録媒体。
  2. 前記マップ情報におけるエントリアドレスは、第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のもののパケット番号を用いて表現されている
    ことを特徴とする請求項1記載の記録媒体。
  3. 前記第2グループ・オブ・ピクチャを分割することで得られた複数のパケットは何れも、前記第1グループ・オブ・ピクチャのエントリアドレスの直後のエントリアドレスより前に存在する
    ことを特徴とする請求項または記載の記録媒体。
  4. 前記第2グループ・オブ・ピクチャを分割することで得られた複数のパケットは何れも、前記第1グループ・オブ・ピクチャの終端パケットより前に存在する
    ことを特徴とする請求項または記載の記録媒体。
  5. 前記第1グループ・オブ・ピクチャの各ピクチャと前記第2グループ・オブ・ピクチャの各ピクチャとは、一対一で対応しており、
    前記第2グループ・オブ・ピクチャのうち所定ピクチャの表示時刻は、当該所定ピクチャに対応する、前記第1グループ・オブ・ピクチャにおけるピクチャの表示時刻に、1/(前記第1グループ・オブ・ピクチャのフレームレート×2)だけ加算した値である
    ことを特徴とする請求項1記載の記録媒体。
  6. デジタルストリームを生成する生成手段と、
    生成したデジタルストリームを記録媒体に記録する記録手段とを有し、
    前記デジタルストリームは、第1ビデオストリームと第2ビデオストリームとマップ情報とを含み、
    前記第1ビデオストリームは、デジタルストリームの時間軸において各エントリ時刻から再生されるべき動画像を表し、前記各エントリ時刻に対応した複数の第1グループ・オブ・ピクチャを含み、
    前記第2ビデオストリームは、動画像の立体視をユーザに行わせる場合、対応する前記第1グループ・オブ・ピクチャと共に再生されるべき動画像を表し、複数の第2グループ・オブ・ピクチャを含み、
    マップ情報は、デジタルストリームの記録領域内部におけるエントリアドレスを、エントリ時刻と対応付けて示す情報であり、
    前記生成手段は、前記第1ビデオストリームを参照して前記第2ビデオストリームを圧縮し、第1グループ・オブ・ピクチャ及び第2グループ・オブ・ピクチャを、複数のパケットに分割し、前記各エントリ時刻に対応する第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち先頭のものが、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数のパケットの先頭のものよりも、デジタルストリーム上で先行するよう多重化する
    ことを特徴とする記録装置。
  7. 記録媒体を再生する再生装置であって、
    前記記録媒体は、
    デジタルストリームが記録されている領域と、マップ情報が記録されている領域とを含み、
    前記デジタルストリームは、第1ビデオストリームと第2ビデオストリームとを含み、
    前記第2ビデオストリームは、前記第1ビデオストリームを参照して圧縮されており、
    前記第1ビデオストリームは、複数の第1グループ・オブ・ピクチャを含み、前記第2ビデオストリームは、複数の第2グループ・オブ・ピクチャを含み、
    マップ情報は、デジタルストリームが記録されている領域におけるエントリアドレスを、エントリ時刻と対応付けて示す情報であり、
    デジタルストリームが記録されている領域のうち、前記第1ビデオストリームに対応する各エントリアドレスで指示される位置以降の領域には、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャ及び前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャが存在しており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャは、デジタルストリームの時間軸において、前記各エントリアドレスに対応した各エントリ時刻から再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャは、動画像の立体視をユーザに行わせる場合、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャと共に再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャ及び前記第2グループ・オブ・ピクチャは、複数のパケットに分割された状態で、多重化されており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のものの記録位置は、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数のパケットの先頭のものの記録位置よりも、デジタルストリーム上で先行しており、
    前記再生装置は、
    各グループ・オブ・ピクチャをデコードして動画像を得るビデオデコーダと、
    前記第1グループ・オブ・ピクチャから得られた画像を格納するための第1ビデオプレーンと、
    前記第2グループ・オブ・ピクチャから得られた画像を格納するための第2ビデオプレーンと、
    第1ビデオプレーン及び第2ビデオプレーンに格納された画像を表示手段に出力する出力部とを備え、
    前記ビデオデコーダは、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャを分割することで得られた複数パケットのうち先頭のパケットを、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数パケットのうち先頭パケットよりも、先にデコードし、
    前記第1グループ・オブ・ピクチャをデコードした画像を第1ビデオプレーンに出力し、
    前記第2グループ・オブ・ピクチャをデコードした画像を第2ビデオプレーンに出力する
    ことを特徴とする再生装置。
  8. 記録媒体を再生する再生方法であって、
    前記記録媒体は、
    デジタルストリームが記録されている領域と、マップ情報が記録されている領域とを含み、
    前記デジタルストリームは、第1ビデオストリームと第2ビデオストリームとを含み、
    前記第2ビデオストリームは、前記第1ビデオストリームを参照して圧縮されており、
    前記第1ビデオストリームは、複数の第1グループ・オブ・ピクチャを含み、前記第2ビデオストリームは、複数の第2グループ・オブ・ピクチャを含み、
    マップ情報は、デジタルストリームが記録されている領域におけるエントリアドレスを、エントリ時刻と対応付けて示す情報であり、
    デジタルストリームが記録されている領域のうち、前記第1ビデオストリームに対応する各エントリアドレスで指示される位置以降の領域には、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャ及び前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャが存在しており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャは、デジタルストリームの時間軸において、前記各エントリアドレスに対応した各エントリ時刻から再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャは、動画像の立体視をユーザに行わせる場合、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャと共に再生されるべき動画像を表し、
    前記第1グループ・オブ・ピクチャ及び前記第2グループ・オブ・ピクチャは、複数のパケットに分割された状態で、多重化されており、
    前記各エントリアドレスに対応する第1グループ・オブ・ピクチャを分割することで得られた複数のパケットのうち、先頭のものの記録位置は、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数のパケットの先頭のものの記録位置よりも、デジタルストリーム上で先行しており、
    各グループ・オブ・ピクチャをデコードして動画像を得るビデオデコードステップと、
    前記第1グループ・オブ・ピクチャから得られた画像を格納するための第1ビデオプレーン及び前記第2グループ・オブ・ピクチャから得られた画像を格納するための第2ビデオプレーンに格納された画像を表示手段に出力する出力ステップとを備え、
    前記ビデオデコードステップは、前記各エントリアドレスに対応する第1グループ・オブ・ピクチャを分割することで得られた複数パケットのうち先頭のパケットを、前記第1グループ・オブ・ピクチャに対応する第2グループ・オブ・ピクチャを分割することで得られた複数パケットのうち先頭パケットよりも、先にデコードし、
    前記第1グループ・オブ・ピクチャをデコードした画像を第1ビデオプレーンに出力し、
    前記第2グループ・オブ・ピクチャをデコードした画像を第2ビデオプレーンに出力する
    ことを特徴とする再生方法。
JP2009549981A 2008-01-17 2009-01-14 3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法 Active JP4527808B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2181708P 2008-01-17 2008-01-17
US61/021,817 2008-01-17
PCT/JP2009/000109 WO2009090868A1 (ja) 2008-01-17 2009-01-14 3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法

Publications (2)

Publication Number Publication Date
JP4527808B2 true JP4527808B2 (ja) 2010-08-18
JPWO2009090868A1 JPWO2009090868A1 (ja) 2011-05-26

Family

ID=40885260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009549981A Active JP4527808B2 (ja) 2008-01-17 2009-01-14 3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法

Country Status (15)

Country Link
US (2) US8139930B2 (ja)
EP (1) EP2230844B1 (ja)
JP (1) JP4527808B2 (ja)
KR (1) KR20100096000A (ja)
CN (1) CN101682719B (ja)
AU (1) AU2009205250B2 (ja)
BR (1) BRPI0902887A2 (ja)
CA (1) CA2680696C (ja)
DK (1) DK2230844T3 (ja)
ES (1) ES2659717T3 (ja)
MX (1) MX2009009963A (ja)
MY (1) MY148196A (ja)
RU (1) RU2505870C2 (ja)
WO (1) WO2009090868A1 (ja)
ZA (1) ZA200905799B (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY158412A (en) 2008-07-25 2016-10-14 Koninkl Philips Electronics Nv 3d display handling of subtitles
US10742953B2 (en) 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
US8451320B1 (en) * 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
CA2749065C (en) * 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP5465523B2 (ja) * 2009-01-29 2014-04-09 三洋電機株式会社 立体画像表示システム
US8369693B2 (en) * 2009-03-27 2013-02-05 Dell Products L.P. Visual information storage methods and systems
JP4919122B2 (ja) 2009-04-03 2012-04-18 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4915458B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4962814B2 (ja) * 2009-04-03 2012-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4993224B2 (ja) 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
JP5400467B2 (ja) * 2009-05-01 2014-01-29 キヤノン株式会社 映像出力装置、その制御方法、及びプログラム
KR20120036790A (ko) 2009-06-11 2012-04-18 파나소닉 주식회사 재생장치, 집적회로, 기록매체
WO2010143439A1 (ja) * 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
CN102474603B (zh) 2009-07-04 2015-04-22 杜比实验室特许公司 帧兼容三维传输中全分辨率图形、菜单和字幕的支持
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Gnzo 送信装置及び送信方法
US8289374B2 (en) * 2009-08-25 2012-10-16 Disney Enterprises, Inc. Method and system for encoding and transmitting high definition 3-D multimedia content
JP2011055148A (ja) * 2009-08-31 2011-03-17 Toshiba Corp 映像合成装置、映像表示装置および映像合成方法
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법
JP5502436B2 (ja) 2009-11-27 2014-05-28 パナソニック株式会社 映像信号処理装置
JP2013042196A (ja) * 2009-12-21 2013-02-28 Panasonic Corp 再生装置
TWI404405B (zh) * 2009-12-25 2013-08-01 Mstar Semiconductor Inc 具有螢幕顯示功能之影像處理裝置及影像處理方法
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20110157302A1 (en) * 2009-12-30 2011-06-30 Ati Technologies Ulc Three-dimensional video display system with multi-stream sending/receiving operation
KR101626742B1 (ko) * 2009-12-31 2016-06-03 엘지디스플레이 주식회사 멀티 영상 표시 시스템
JP2011146831A (ja) * 2010-01-13 2011-07-28 Sony Corp 映像処理装置、映像制御方法及びコンピュータプログラム
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US8712173B2 (en) * 2010-03-12 2014-04-29 Mediatek Singapore Pte. Ltd. Methods for processing 2Nx2N block with N being positive integer greater than four under intra-prediction mode and related processing circuits thereof
MX2011012447A (es) * 2010-03-29 2011-12-16 Panasonic Corp Dispositivo de procesamiento de video.
JP5577805B2 (ja) * 2010-04-08 2014-08-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5374641B2 (ja) * 2010-04-20 2013-12-25 パナソニック株式会社 3d映像記録装置及び3d映像信号処理装置
US9118896B2 (en) 2010-04-21 2015-08-25 Hitachi Maxell, Ltd. Digital contents receiver, digital contents receiving method and digital contents transmitting and receiving method
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
JP5637750B2 (ja) * 2010-06-30 2014-12-10 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP5537290B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP5537289B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP5527727B2 (ja) * 2010-08-06 2014-06-25 日立コンシューマエレクトロニクス株式会社 映像表示システム及び表示装置
JP5496043B2 (ja) * 2010-09-30 2014-05-21 Necパーソナルコンピュータ株式会社 表示制御装置および表示制御方法
US8941724B2 (en) 2010-10-01 2015-01-27 Hitachi Maxell Ltd. Receiver
US20120113218A1 (en) * 2010-10-01 2012-05-10 Manabu Sasamoto Receiving apparatus and receiving method
US10424274B2 (en) 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
JP5452537B2 (ja) * 2011-04-04 2014-03-26 日立コンシューマエレクトロニクス株式会社 映像表示システム及び表示装置
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US8681170B2 (en) 2011-05-05 2014-03-25 Ati Technologies Ulc Apparatus and method for multi-streaming for more than three pixel component values
TWI501624B (zh) * 2011-05-13 2015-09-21 Innolux Corp 保密顯示系統、保密顯示器、保密顯示方法及保密眼鏡
TWI487381B (zh) * 2011-05-19 2015-06-01 Nat Univ Chung Cheng Predictive Coding Method for Multimedia Image Texture
JPWO2013099289A1 (ja) * 2011-12-28 2015-04-30 パナソニック株式会社 再生装置、送信装置、再生方法及び送信方法
WO2013149655A1 (en) * 2012-04-04 2013-10-10 Naxos Finance Sa System for generating and receiving a stereoscopic-2d backward compatible video stream, and method thereof
CN103428463B (zh) * 2012-05-19 2016-10-12 腾讯科技(深圳)有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Nttドコモ 動画像予測復号装置、方法及びプログラム
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US20150334382A1 (en) * 2012-12-26 2015-11-19 Yan Xu Method and apparatus for content presentation
US20140212115A1 (en) * 2013-01-31 2014-07-31 Hewlett Packard Development Company, L.P. Optical disc with three-dimensional viewing depth
US9858932B2 (en) 2013-07-08 2018-01-02 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
JP5903461B2 (ja) * 2014-06-06 2016-04-13 日立マクセル株式会社 送受信システムおよび送受信方法
JP5947866B2 (ja) * 2014-11-26 2016-07-06 日立マクセル株式会社 受信装置および受信方法
WO2016116974A1 (ja) * 2015-01-20 2016-07-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生制御方法、再生装置及び再生システム
JP6584916B2 (ja) * 2015-01-20 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生制御方法、再生装置及び再生システム
JP5947942B2 (ja) * 2015-03-27 2016-07-06 日立マクセル株式会社 送受信システムおよび送受信方法
JP5952454B2 (ja) * 2015-03-27 2016-07-13 日立マクセル株式会社 受信装置および受信方法
JP5952453B2 (ja) * 2015-03-27 2016-07-13 日立マクセル株式会社 受信装置および受信方法
JP6117410B2 (ja) * 2016-06-09 2017-04-19 日立マクセル株式会社 送受信システムおよび送受信方法
JP6117976B2 (ja) * 2016-06-09 2017-04-19 日立マクセル株式会社 受信装置および受信方法
JP2017143551A (ja) * 2017-03-22 2017-08-17 日立マクセル株式会社 受信装置および受信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997032437A1 (en) * 1996-02-28 1997-09-04 Matsushita Electric Industrial Co., Ltd. High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device
JP2000270347A (ja) * 1999-03-17 2000-09-29 Sharp Corp 記録装置、及び該記録装置を用いた監視システム
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2005295527A (ja) * 2004-03-10 2005-10-20 Matsushita Electric Ind Co Ltd オーサリングシステム、プログラム、オーサリング方法。
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922592B2 (ja) * 1995-09-29 2007-05-30 松下電器産業株式会社 記録方法
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
JP3948979B2 (ja) * 2002-02-18 2007-07-25 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
EP1746825B1 (en) * 2004-04-16 2011-06-08 Panasonic Corporation Recording medium, reproduction device, program
US8150232B2 (en) * 2004-09-03 2012-04-03 Panasonic Corporation Recording medium, recording device, program, and recording method
KR20070022580A (ko) * 2005-08-22 2007-02-27 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
WO2007049609A1 (ja) * 2005-10-27 2007-05-03 Matsushita Electric Industrial Co., Ltd. トランスポートストリーム生成装置およびこれを備えた記録装置、並びにトランスポートストリーム生成方法
JP5351039B2 (ja) * 2007-11-01 2013-11-27 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、及び記録方法
EP2234109B8 (en) * 2007-12-17 2016-06-01 Panasonic Intellectual Property Corporation of America Individual sales oriented recording medium, recording device, reproducing device and method for them

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997032437A1 (en) * 1996-02-28 1997-09-04 Matsushita Electric Industrial Co., Ltd. High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device
JP2000270347A (ja) * 1999-03-17 2000-09-29 Sharp Corp 記録装置、及び該記録装置を用いた監視システム
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2005295527A (ja) * 2004-03-10 2005-10-20 Matsushita Electric Ind Co Ltd オーサリングシステム、プログラム、オーサリング方法。
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置

Also Published As

Publication number Publication date
AU2009205250A2 (en) 2009-12-10
EP2230844A4 (en) 2014-07-30
JPWO2009090868A1 (ja) 2011-05-26
KR20100096000A (ko) 2010-09-01
ES2659717T3 (es) 2018-03-19
RU2505870C2 (ru) 2014-01-27
BRPI0902887A2 (pt) 2015-09-22
CA2680696C (en) 2016-04-05
EP2230844B1 (en) 2017-11-22
DK2230844T3 (en) 2018-01-02
WO2009090868A1 (ja) 2009-07-23
AU2009205250B2 (en) 2013-02-21
EP2230844A1 (en) 2010-09-22
RU2009134736A (ru) 2011-03-27
US20120141097A1 (en) 2012-06-07
US20090220213A1 (en) 2009-09-03
CA2680696A1 (en) 2009-07-23
CN101682719A (zh) 2010-03-24
ZA200905799B (en) 2011-10-26
CN101682719B (zh) 2013-01-30
AU2009205250A1 (en) 2009-07-23
MY148196A (en) 2013-03-15
MX2009009963A (es) 2009-10-08
US8139930B2 (en) 2012-03-20

Similar Documents

Publication Publication Date Title
JP4527808B2 (ja) 3d映像が記録された記録媒体、3d映像を記録する記録装置、並びに3d映像を再生する再生装置及び再生方法
US8565576B2 (en) Optical disc for reproducing stereoscopic video image
JP5480915B2 (ja) 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
JP5457465B2 (ja) 表示装置と方法、送信装置と方法、及び受信装置と方法
JP4993224B2 (ja) 再生装置および再生方法
US20100074594A1 (en) Stereoscopic video playback device and stereoscopic video display device
TWI517643B (zh) 三維隨時點播的進入點
TW201123847A (en) Recording medium, playback device, and integrated circuit
WO2010116895A1 (ja) 記録装置、記録方法、再生装置、再生方法、記録媒体、およびプログラム
JP4984184B2 (ja) 再生装置および再生方法
WO2012161077A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
JP4984194B2 (ja) 記録方法
JP4993233B2 (ja) 記録方法
JP4984192B2 (ja) 記録方法
JP2012100335A (ja) 再生装置、再生方法、および記録方法
JP2012120233A (ja) 再生装置、再生方法、および記録方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100603

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4527808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150