KR20100096000A - 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 기록하는 기록장치, 3ｄ 영상을 재생하는 재생장치 및 재생방법 - Google Patents

3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 기록하는 기록장치, 3ｄ 영상을 재생하는 재생장치 및 재생방법 Download PDF

Info

Publication number
KR20100096000A
KR20100096000A KR1020097017473A KR20097017473A KR20100096000A KR 20100096000 A KR20100096000 A KR 20100096000A KR 1020097017473 A KR1020097017473 A KR 1020097017473A KR 20097017473 A KR20097017473 A KR 20097017473A KR 20100096000 A KR20100096000 A KR 20100096000A
Authority
KR
South Korea
Prior art keywords
pictures
group
picture
video
video stream
Prior art date
Application number
KR1020097017473A
Other languages
English (en)
Inventor
도모키 오가와
히로시 야하타
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20100096000A publication Critical patent/KR20100096000A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Abstract

3D 영상에서의 랜덤 액세스를 가능하게 하는 기록매체를 제공한다. 기록매체는 디지털 스트림이 기록되어 있는 영역과 맵 정보가 기록되어 있는 영역을 포함하고, 맵 정보는 디지털 스트림이 기록되어 있는 영역에서의 엔트리 어드레스를 엔트리 시각과 대응시켜서 나타내는 정보이며, 디지털 스트림이 기록되어 있는 영역 중 엔트리 어드레스에서 지시되는 위치 이후의 영역에는 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처의 쌍이 존재하고 있고, 제 1 그룹 오브 픽처는 디지털 스트림의 시간 축에 있어서 엔트리 시각에서부터 재생될 동화상을 나타내며, 제 2 그룹 오브 픽처는 동화상의 입체시를 사용자에게 제공하는 경우에 제 1 그룹 오브 픽처와 함께 재생될 동화상을 나타내는 것을 특징으로 한다.
3D, 영상, 디지털 스트림, 맵 정보, 제 1, 제 2, 그룹 오브 픽처

Description

3Ｄ 영상이 기록된 기록매체, 3Ｄ 영상을 기록하는 기록장치, 3Ｄ 영상을 재생하는 재생장치 및 재생방법{RECORDING MEDIUM ON WHICH 3Ｄ VIDEO IS RECORDED, RECORDING MEDIUM FOR RECORDING 3Ｄ VIDEO, AND REPRODUCING DEVICE AND METHOD FOR REPRODUCING 3Ｄ VIDEO}
본 발명은 3D 영상을 기록매체에 기록할 때의 애플리케이션 포맷에 관한 것이다.
최근 Blu-ray Disc나 HD DVD라고 하는 차세대 DVD 규격이 책정되어서 사용자에게는 고 정세(精細) 및 고 음질의 광 디스크가 일반적으로 되어가고 있다.
이들 디스크가 기록할 수 있는 동화상의 화질에 관해서는, 지금까지의 DVD가 SD(Standard Definition)인데 비해서 Blu-ray Disc에서는 최대 1920×1080인 HD(High Definition)까지 취급할 수 있으므로 더 고 화질의 영상을 저장할 수 있다.
그런데 최근 DVD 등 패키지 미디어의 신장(伸張)에 수반하여 영화관의 입장자 수가 감소하는 경향이 있으며, 미국이나 일본에서는 영화관의 입장자 수를 회복시키기 위해서 입체영화(3D 영화)를 즐길 수 있는 영화관의 설치를 추진하고 있다. 이는 최근 영화의 대부분이 CG(Computer Graphics)를 이용하여 제작되므로 비교적 용이하게 3D용의 영상을 작성할 수 있는 환경이 갖추어지게 된 것도 하나의 원인으로 들 수 있다.
이와 같은 배경 하에서 앞에서 설명한 Blu-ray Disc나 HD DVD와 같은 차세대 DVD에서도 그 디스크에 포함되는 콘텐츠의 3D화는 이후 많은 사용자에게 요구될 것으로 생각된다. 차세대 DVD에 관한 선행기술로는 특허문헌 1에 기재된 것이 있다.
특허문헌 1 : 국제공개 제 2005-119675호
그런데 영화관에서는 3D 콘텐츠를 개시에서부터 종료까지 상영하는 것만으로 문제가 없으나, 광 디스크로서 가정 내에 3D를 도입하기 위해서는 재생만으로는 충분하지 않으며, 사용자의 유용성(usability)을 생각하면 종래와 마찬가지로 랜덤 액세스 등도 보장할 필요가 있다. 가정 내에서 3D를 실현하는 방법으로 시차 화상(양쪽 눈의 시차에 따른 2개의 비디오 스트림)을 이용하는 방법이 생각되나, 그러한 경우에는 랜덤 액세스를 보장하기 위해서 랜덤 액세스 시에 2개의 비디오 스트림의 동기를 어떻게 취할지가 문제가 된다. 2개의 비디오 스트림의 동기가 취해지지 않으면 랜덤 액세스가 가능한 임의의 시각에서부터 재생이 개시될 때에 일방(一方)의 비디오 스트림에 관해서는 정당하게 디코드할 수 있어도 타방(他方)의 비디오 스트림에 관해서는 재생에 필요한 데이터가 디코더에 공급되지 않아서 디코드 할 수 없는 기간이 발생할 수 있다. 그 결과, 당해 기간에서는 시차 화상을 이용한 입체시(立體視)가 불가능해지는 경우가 있다.
본 발명은 3D 영상에서의 랜덤 액세스를 보장하는 기록매체를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서 본 발명의 일 실시 예인 기록매체는, 디지털 스트림이 기록되어 있는 영역과 맵 정보가 기록되어 있는 영역을 포함하고, 맵 정보는 디지털 스트림이 기록되어 있는 영역에서의 엔트리 어드레스를 엔트리 시각과 대응시켜서 나타내는 정보이며, 디지털 스트림이 기록되어 있는 영역 중 엔트리 어드레스에서 지시되는 위치 이후의 영역에는 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처의 쌍이 존재하고 있으며, 제 1 그룹 오브 픽처는 디지털 스트림의 시간 축에 있어서 엔트리 시각에서부터 재생될 동화상을 나타내고, 제 2 그룹 오브 픽처는 동화상의 입체시를 사용자에게 제공하는 경우 제 1 그룹 오브 픽처와 함께 재생될 동화상을 나타내는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단에 기재된 구성에 의해서, 디지털 스트림의 시간 축에서의 임의의 엔트리 시각에서부터 재생을 개시하는 경우에도 당해 엔트리 시각에 대응하는 엔트리 어드레스에서 지시되는 위치 이후의 디지털 스트림의 기록영역에는 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처의 쌍이 존재하고 있으므로, 동화상의 입체시를 확실하게 사용자에게 제공할 수 있다. 따라서 사용자는 가정에서 손쉽게 3D 영상을 보고 즐길 수 있다.
여기서, 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처는 복수의 패킷으로 분할된 상태로 다중화되어 있고, 제 1 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷 중 선두의 것의 기록위치는 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷의 선두의 것의 기록위치보다도 디지털 스트림 상에서 선행하고 있으며, 맵 정보에서의 엔트리 어드레스는 제 1 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷 중 선두의 것의 패킷 번호를 이용하여 표현되어 있는 것이어도 좋다.
엔트리 시각에는 제 1 그룹 오브 픽처의 선두를 나타내는 엔트리 어드레스가 대응되어 있으므로, 그 엔트리 어드레스에 따라서 기록매체에서 패킷을 판독해 가면 여분의 데이터를 보낼 필요 없이 확실하게 제 1 그룹 오브 픽처를 비디오 디코더에 보낼 수 있다. 따라서, 디지털 스트림에 대한 랜덤 액세스에서는 사용자가 생각한 대로의 엔트리 시각으로부터의 입체시를 즉석에서 실현할 수 있다.
여기서, 상기 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷은 모두 상기 제 1 그룹 오브 픽처의 엔트리 어드레스의 직후의 엔트리 어드레스보다 앞에 존재하여도 좋다.
엔트리 어드레스 (ⅰ)에서 지시되어 있는 패킷 (m)에서 엔트리 어드레스 (ⅰ+1)에서 지시되어 있는 패킷 (n)의 직전의 패킷 (n-1)까지를 판독함으로써 비디오 디코더에는 반드시 완결된 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처의 쌍이 송출되는 것이 보증된다. 맵 정보를 참조하여 랜덤 액세스를 하는 경우에 입체시를 실현하는 완결된 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처의 쌍이 비디오 디코더에 송출되는 것이 보증되므로 비디오 디코더는 사용자의 스킵에 즉응한 고속동작을 실현할 수 있다.
도 1은 시차 화상을 이용한 입체시의 원리도이다.
도 2는 BD-ROM의 구성을 나타내는 도면이다.
도 3은 파일(XXX.M2TS)에 저장되는 AV 클립의 구성의 일 예를 나타내는 도면이다.
도 4는 AV 클립과 PL의 관계를 나타내는 도면이다.
도 5는 클립정보 파일에 저장되는 AV 클립의 관리정보의 일 예를 나타내는 도면이다.
도 6은 왼쪽 눈 용 비디오 스트림을 구성하는 복수의 픽처에 할당되는 PTS와 오른쪽 눈 용 비디오 스트림을 구성하는 복수의 픽처에 할당되는 PTS의 관계를 나타내는 도면이다.
도 7은 픽처의 참조관계를 나타내는 도면이다.
도 8은 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화의 일 예를 모식적으로 나타내는 도면이다.
도 9는 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화의 다른 예를 모식적으로 나타내는 도면이다.
도 10은 각 비디오 스트림이 AV 클립에서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
도 11은 재생장치(2000)의 구성을 나타내는 블록도이다.
도 12는 비디오 디코더(2302)에 의한 비디오 디코더의 처리를 나타내는 플로차트이다.
도 13은 홈시어터 시스템의 구성을 나타내는 도면이다.
도 14는 기록장치(40)의 내부구성을 나타내는 블록도이다.
도 15는 3D에 대응한 비디오의 엘리멘터리 스트림을 어떻게 효율적으로 생성할지를 나타내는 도면이다.
도 16은 3D 대응 플래그를 포함하는 인덱스 테이블의 구성을 나타내는 도면이다.
도 17은 STREAM 디렉터리에 저장되는 AV 클립의 구성의 일 예를 나타내는 도면이다.
도 18은 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 각각의 디지털 스트림으로 한 경우의 플레이리스트의 구조를 나타내는 도면이다.
도 19는 실제로 물체를 볼 때의 눈의 초점과 입체시를 할 때의 눈의 초점의 차이를 나타내는 도면이다.
도 20은 서브패스가 복수인 경우의 플레이리스트 정보를 나타내는 도면이다.
도 21은 2D 영상의 재생에서 사용자가 디스플레이에 표시되어 있는 물체를 시청하고 있는 모습을 나타내는 도면이다.
도 22는 3D 영상의 재생에서 물체가 디스플레이에서 사용자 측으로 돌출되게 보이는 모습을 나타내는 도면이다.
도 23은 각 서브 클립에 오디오 데이터, 자막 및 메뉴를 대응시킨 테이블을 나타내는 도면이다.
도 24는 3D 표시를 할 수 있는지를 디스플레이에 묻는 문의처리를 나타내는 플로차트이다.
(부호의 설명)
1000 BD-ROM
2000 재생장치
2100 BD-ROM 드라이브
2200 트랙 버퍼
2300 시스템 타깃 디코더
2301 디 멀티플렉서
2302 비디오 디코더
2303 왼쪽 눈 용 비디오 플레인
2304 오른쪽 눈 용 비디오 플레인
2305 서브 비디오 디코더
2306 서브 비디오 플레인
2307 PG 디코더
2308 PG 플레인
2309 IG 디코더
2310 IG 플레인
2311 이미지 프로세서
2312 이미지 플레인
2313 오디오 디코더
2400 플레인 가산부
2500 프로그램 메모리
2600 관리정보 메모리
2700 프로그램 실행부
2800 재생 제어부
2900 사용자 이벤트 처리부
3000 디스플레이
4000 입체시용 안경
5000 리모컨
40 기록장치
41 비디오 인코더
42 소재 제작부
43 시나리오 생성부
44 BD 프로그램 제작부
45 다중화 처리부
46 포맷 처리부
이하, 도면을 참조하면서 본 발명의 실시 예를 설명한다.
(실시 예 1)
1. 입체시의 원리
먼저, 가정용 디스플레이에서의 입체시의 원리를 설명한다. 입체시를 실현하는 방법은 홀로그래피기술(holography technology)을 이용하는 방법과 시차 화상 (양쪽 눈의 시차에 따른 2개의 비디오 스트림)을 이용하는 방법으로 대별된다.
홀로그래피기술을 이용하는 방법에서는 인간이 통상 물체를 인식하는 것과 완전히 동일하게 물체를 입체로 재현할 수 있다. 다만, 동화상의 생성에 관해서는 기술적인 이론은 확립하고 있으나, 홀로그래피용의 동화상을 실시간으로 생성하기 위한 방대한 연산을 하는 컴퓨터 및 1㎜ 사이에 수천 개의 선을 그릴 수 있을 만큼의 해상도를 갖는 디스플레이 디바이스가 필요하다. 따라서, 현재의 기술에서의 실현은 매우 어려우며, 상용으로 실용화되어 있는 예는 거의 없는 것이 실정이다.
한편, 시차 화상을 이용하는 방법에서는 오른쪽 눈 용의 영상과 왼쪽 눈 용의 영상을 각각 준비하고, 오른쪽 눈에는 오른쪽 눈 용의 영상만이, 왼쪽 눈에는 왼쪽 눈 용의 영상만이 들어가도록 함으로써 입체시를 실현할 수 있다. 도 1은 시차 화상을 이용한 입체시의 원리도이다. 도 1(a)은 사용자가 전방에 있는 비교적 작은 입방체를 보고 있는 모습을 위에서 본 도면이고, 도 1(b)은 왼쪽 눈으로 그 입방체를 본 경우의 입방체가 보이는 모습을 나타내고 있으며, 도 1(c)는 오른쪽 눈으로 그 입방체를 본 경우의 입방체가 보이는 모습을 나타내고 있다. 도 1(b), (c)에 나타낸 것과 같이 좌우의 눈에서는 다른 각도의 영상이 포착된다. 좌우의 눈에 포착된 다른 각도의 상을 뇌에서 합성함으로써 입체시가 실현된다.
이 방법의 이점은 오른쪽 눈 용과 왼쪽 눈 용의 2개의 시점의 영상을 준비하는 것만으로 입체시를 실현할 수 있다는 것에 있으며, 좌우의 각각의 눈에 대응한 영상을 어떻게 해서 대응하는 눈에만 보이게 할 수 있는가라는 관점에서 몇 개의 기술이 실용화되어 있다.
하나는 계시 분리방식(successive segregation method)이라고 하는 것으로, 이 방식에서는 왼쪽 눈 용의 영상과 오른쪽 눈 용의 영상이 교대로 디스플레이 상에 표시된다. 사용자가 계시형 스테레오 안경(액정 셔터 부착)을 통해서 표시된 영상을 보면 눈의 잔상반응에 의해서 왼쪽 눈 용의 영상과 오른쪽 눈 용의 영상을 중첩시켜서 입체영상으로 인식할 수 있다. 더 상세하게는, 왼쪽 눈 용의 영상이 디스플레이 상에 표시되고 있는 순간에는 계시형 스테레오 안경은 왼쪽 눈에 대응하는 액정 셔터를 투과상태로 하고 오른쪽 눈에 대응하는 액정 셔터를 차광상태로 한다. 오른쪽 눈 용의 영상이 디스플레이 상에 표시되고 있는 순간에는 앞에서와는 반대로 오른쪽 눈에 대응하는 액정 셔터를 투과상태로 하고 왼쪽 눈에 대응하는 액정 셔터를 차광상태로 한다. 이에 의해서 좌우의 각각의 눈에 대응한 영상을 대응한 눈에만 보이게 할 수 있다.
이와 같이 계시 분리방식에서는 좌우의 영상을 시간 축 방향으로 교호로 표시하기 위해서 예를 들어 통상의 2차원의 영화라면 1초 동안에 24장의 영상을 표시시키는데 비해서, 좌우의 영상을 합해서 1초 동안에 48장의 영상을 표시시킬 필요가 있다. 따라서 한 화면의 재기록(reewriting)을 비교적 빨리 행하는 디스플레이에서 이 방식은 바람직하다.
다른 기술로는 렌티큘러 렌즈(lenticular lens)를 이용한 것이 있다. 계시 분리방식에서는 좌우의 영상을 시간 축 방향으로 교대로 디스플레이 상에 표시시키고 있는데 비해서, 한 화면 중의 종 방향으로 왼쪽 눈 용의 픽처와 오른쪽 눈 용의 픽처를 동시에 교대로 배열하고, 디스플레이의 표면에 렌티큘러 렌즈를 부착한다. 사용자가 렌티큘러 렌즈를 통해서 디스플레이 상에 표시된 영상을 보면, 왼쪽 눈 용의 픽처를 구성하는 화소는 왼쪽 눈에만 결상하고, 오른쪽 눈 용의 픽처를 구성하는 화소는 오른쪽 눈에만 결상한다. 좌우의 눈에 시차가 있는 픽처를 보이게 할 수 있으므로 사용자는 디스플레이 상에 표시된 영상을 입체영상으로 인식할 수 있다. 또, 렌티큘러 렌즈에 한정되는 것은 않으며, 동일한 기능을 가지게 한 디바이스, 예를 들어 액정소자를 이용하여도 좋다. 또, 왼쪽 눈 용의 화소에는 종 편광의 필터를, 오른쪽 눈 용의 화소에는 횡 편광의 필터를 설치하고, 사용자는 왼쪽 눈 용에는 종 편광의 필터를, 오른쪽 눈 용에는 횡 편광의 필터를 설치한 편광안경을 통해서 디스플레이를 봄으로써 표시된 영상을 입체영상으로 인식할 수 있다.
상술한 시차 화상을 이용한 입체시는 이미 유원지의 놀이기구 등에서 일반적으로 사용되고 있으며, 기술적으로도 확립되어 있으므로, 가정에서의 실용화에 가장 가까운 것이라고 할 수 있다. 또, 시차 화상을 이용한 입체시를 위한 방법은 이 외에도 2색 분리방식 등 다양한 기술이 제안되어 있다.
본 실시 예에서는 계시 분리방식 및 편광안경방식을 예로 이용하여 설명하나, 시차 화상을 이용하는 한 이들 2가지 방식에 한정되는 것은 아니다.
2. 사용자에게 입체시를 제공하기 위한 시차 화상(이하, 「3D 영상」이라 한다)을 저장하기 위한 데이터 구조
다음에, 본 발명의 기록매체인 BD-ROM에서 3D 영상을 저장하기 위한 데이터 구조에 대하여 설명한다.
도 2는 BD-ROM의 구성을 나타내는 도면이다. 본 도면의 제 4 단째에 BD-ROM 을 나타내고, 제 3 단째에 BD-ROM 상의 트랙을 나타낸다. 본 도면의 트랙은 BD-ROM의 내주에서부터 외주에 걸쳐서 나선형상으로 형성되어 있는 트랙을 횡 방향으로 연장하여 묘사하고 있다. 이 트랙은 리드인 영역, 볼륨영역, 리드 아웃 영역으로 이루어진다. 본 도면의 볼륨영역은 물리 층, 파일 시스템 층, 응용 층이라고 하는 레이어 모델을 갖는다. 디렉터리 구조를 이용하여 BD-ROM의 응용 층의 포맷(애플리케이션 포맷)을 표현하면 도면 중의 제 1 단째와 같이 된다. 본 도면에 나타낸 것과 같이 BD-ROM에는 ROOT 디렉터리의 바로 아래에 BDMV 디렉터리가 있고, BDMV 디렉터리의 아래에는 인덱스 파일(index.bdmv), PLAYLIST 디렉터리, CLIPINFO 디렉터리, STREAM 디렉터리 및 PROGRAM 디렉터리가 존재한다.
인덱스 파일(index. bdmv)에는 타이틀 구성을 나타내는 인덱스 테이블이 저장된다. 타이틀은 재생의 단위이며, 예를 들어 첫 번째의 타이틀로 영화 본편, 두 번째의 타이틀로 디렉터즈 커트(director's cut), 세 번째의 타이틀로 보너스 콘텐츠가 기록된다. 사용자는 재생장치에 부속되어 있는 리모컨 등을 이용하여 "타이틀 N번의 재생"과 같이 재생할 타이틀을 지정할 수 있다.
STREAM 디렉터리에는 영상이나 음성이라고 하는 AV 콘텐츠가 다중화된 AV 클립을 저장한 파일(XXX.M2TS)이 저장된다. 도 3은 파일(XXX.M2TS)에 저장되는 AV 클립의 구성의 일 예를 나타내는 도면이다. 도 3에 나타낸 것과 같이, 파일(XXX.M2TS)에는 왼쪽 눈 용의 비디오 스트림 및 오른쪽 눈 용의 비디오 스트림 등이 다중화된 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이 저장된다. 여기서, 왼쪽 눈 용의 비디오 스트림은 2D 영상으로 재생되는 비디오 스트림인 동시에, 동화상의 입체시를 사용자에게 제공하는(3D 영상으로 재생된다) 경우에는 왼쪽 눈 용의 영상으로 재생되는 비디오 스트림이다. 오른쪽 눈 용의 비디오 스트림은 동화상의 입체시를 사용자에게 제공하는 경우에 왼쪽 눈 용의 비디오 스트림과 함께 재생되는 비디오 스트림이다. 또, 도 3에 나타낸 것과 같이, 왼쪽 눈 용의 비디오 스트림에는 PID로 0x1011가 할당되어 있고, 오른쪽 눈 용의 비디오 스트림에는 왼쪽 눈 용 비디오 스트림의 PID와 다른 0x1012가 할당되어 있다. 이에 의해서 각 비디오 스트림을 인식할 수 있게 된다. 각 비디오 스트림은 MPEG-2, MPEG-4 AVC, SMPTE VC-1 등의 방식으로 압축부호화되어서 기록되어 있다. 오디오 스트림은 돌비 AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, 리니어 PCM 등의 방식으로 압축부호화되어서 기록되어 있다.
PLAYLIST 디렉터리에는 AV 클립에서의 논리적인 재생경로(PL)를 정의한 플레이리스트 정보를 저장한 플레이리스트 파일(YYY.MPLS)이 저장된다. 도 4는 AV 클립과 PL의 관계를 나타내는 도면이다. 도 4에 나타낸 것과 같이, 플레이리스트 정보는 하나 이상의 플레이아이템(PI) 정보로 구성되며, 각 플레이아이템 정보는 AV 클립에 대한 재생구간을 나타낸다. 각 플레이아이템 정보는 각각 플레이아이템 ID에 의해서 식별되며, 플레이리스트 내에서 재생될 순서로 기술되어 있다.
또, 플레이리스트 정보는 재생개시 점을 나타내는 엔트리 마크를 포함하고 있다. 엔트리 마크는 플레이아이템 정보에서 정의되는 재생구간 내에 대하여 부여할 수 있고, 도 4에 나타낸 것과 같이 플레이아이템 정보에 대하여 재생개시 점이 될 수 있는 위치에 부여되며, 큐 재생(cue playback)에 이용된다. 예를 들어, 영화 타이틀에서 엔트리 마크를 챕터의 선두가 되는 위치에 부여함으로써 챕터 재생을 할 수 있다. 또, 여기에서는 일련의 플레이아이템 정보의 재생경로를 매인 패스로 정의한다.
CLIPINFO 디렉터리에는 AV 클립의 관리정보를 저장한 클립정보파일(XXX.CLPI)이 저장된다. 도 5는 클립정보파일에 저장되는 AV 클립의 관리정보의 일 예를 나타내는 도면이다. 도 5에 나타낸 것과 같이, AV 클립의 관리정보는 AV 클립과 1 대 1로 대응하며, 클립정보, 스트림 속성정보 및 엔트리 맵으로 구성된다.
엔트리 맵에는 엔트리 맵 헤더 정보와, 왼쪽 눈 용 비디오 스트림을 구성하는 각 GOP(Group of Pictures)의 선두의 표시시각을 나타내는 PTS(Presentation Time-Stamp)와 AV 클립에서 당해 GOP의 선두위치를 나타내는 SPN(Source Packet Number)의 쌍을 나타내는 테이블 정보와, 비디오 스트림(부 영상)에 관한 테이블 정보가 기재되어 있다. 여기에서는 테이블이 하나의 행으로 표시되는, 쌍이 되는 PTS와 SPN의 정보를 엔트리 포인트라고 부른다. 또, 선두를 0으로 하여 엔트리 포인트마다 증가(increment)시킨 값을 엔트리 포인트 ID(이하, 「EP_ID」라고도 한다)라 한다.
또, 엔트리 맵 헤더 정보에는 왼쪽 눈 용 비디오 스트림의 PID나 엔트리 포인트 수 등의 정보가 저장된다.
이 엔트리 맵을 참조함으로써 재생장치는 재생개시 점이 시각으로 지정된 경우에 시각정보를 어드레스 정보로 변환하여 비디오 스트림의 시간 축 상의 임의의 지점에 대응하는 AV 클립 상의 패킷 위치를 특정할 수 있다.
PROGRAM 디렉터리에는 동적인 시나리오를 정의하기 위한 프로그램이 저장된 BD 프로그램 파일(AAA. PROG)이 저장된다.
BD-ROM에서는 커맨트 내비게이션이라고 하는 독자 사양의 인터프리터 방식의 프로그램이 사용되나, 언어방식은 본 발명의 본질이 아니므로, Java(등록상표)나 JavaScript와 같은 범용의 프로그래밍 언어로 기술된 프로그램이라도 상관없다. 이 프로그램에 의해서 재생되는 플레이리스트가 지정된다.
3. 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 PTS
이어서, 동화상의 입체시를 사용자에게 제공하기 위한 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 PTS에 대하여 설명한다.
도 6은 왼쪽 눈 용 비디오 스트림을 구성하는 복수의 픽처에 할당되는 표시시각(PTS)과 오른쪽 눈 용 비디오 스트림을 구성하는 복수의 픽처에 할당되는 표시시각(PTS)의 관계를 나타내는 도면이다. 왼쪽 눈 용 비디오 스트림을 구성하는 각 픽처는 오른쪽 눈 용 비디오 스트림을 구성하는 픽처와 1 대 1로 대응하며(예를 들어, 도 6에 나타내는 픽처 L1과 픽처 R1이 대응), 대응관계를 갖는 왼쪽 눈 용 픽처 및 오른쪽 눈 용 픽처에서 왼쪽 눈 용 픽처 쪽이 앞에 표시되도록 PTS가 설정되어 있다. 또, 왼쪽 눈 용 픽처의 PTS 및 오른쪽 눈 용 픽처의 PTS는 시간 축 상에서 교호가 되도록 설정된다. 이는 픽처 간 예측 부호화의 참조관계에 있는 왼쪽 눈 용 픽처와 오른쪽 눈 영상 픽처의 표시 순서가 교호가 되도록 각 PTS를 설정함으로써 실현된다.
픽처 간 예측 부호화의 참조관계에 있는 왼쪽 눈 용 픽처와 오른쪽 눈 영상 픽처에 대하여 설명한다. 오른쪽 눈 용 비디오 스트림은 시간방향의 용장성(redundancy)을 이용한 픽처 간 예측 부호화에 더하여 시점 간의 용장성을 이용한 픽처 간 예측 부호화에 의해서 압축되어 있다. 즉, 오른쪽 눈 용 비디오 스트림의 픽처는 왼쪽 눈 용 비디오 스트림에 대응하는 픽처를 참조하여 압축되어 있다. 이는 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림은 시점(視點)은 다르나 피사체는 공통이므로 영상의 상관이 크며, 시점 간의 픽처 간 예측 부호화를 함으로써 오른쪽 눈 용 비디오 스트림의 데이터 양을 왼쪽 눈 용 비디오 스트림의 데이터 양에 비하여 대폭으로 삭감할 수 있기 때문이다.
도 7은 픽처의 참조관계를 나타내는 도면이다. 도 7에 나타낸 것과 같이 오른쪽 눈 용 비디오 스트림의 P0 픽처는 왼쪽 눈 용 비디오 스트림의 I0 픽처를 참조하고, 오른쪽 눈 용 비디오 스트림의 B1 픽처는 왼쪽 눈 용 비디오 스트림의 Br1 픽처를 참조하며, 오른쪽 눈 용 비디오 스트림의 B2 픽처는 왼쪽 눈 용 비디오 스트림의 Br2 픽처를 참조하고, 오른쪽 눈 용 비디오 스트림의 P3 픽처는 왼쪽 눈 용 비디오 스트림의 P3 픽처를 참조하고 있다.
왼쪽 눈 용 비디오 스트림은 오른쪽 눈 용 비디오 스트림을 참조하고 있지 않으므로 왼쪽 눈 용 비디오 스트림 단체(單體)로 재생할 수 있으나, 즉, 2D 영상으로 재생을 할 수 있으나, 오른쪽 눈 용 비디오 스트림은 왼쪽 눈 용 비디오 스트 림을 참조하고 있으므로 오른쪽 눈 용 비디오 스트림 단체로 재생할 수는 없다.
도 6으로 되돌아가서, 왼쪽 눈 용 픽처와 당해 왼쪽 눈 용 픽처에 대응하는 오른쪽 눈 용 픽처 사이의 PTS의 시간간격에 대하여 설명한다. 계시 분리방식으로 3D 재생을 할 때에는 어떤 시각(PTS)에서 표시되는 왼쪽 눈 용 픽처에 대하여 대응하는 오른쪽 눈 용 픽처의 PTS는 이하의 식을 만족하는 간격으로 설정될 필요가 있다.
PTS(오른쪽 눈 용)= PTS(왼쪽 눈 용)+1/ (1초당 프레임 수×2)
여기서, 프레임 레이트가 예를 들어 24p라면 1초 동안에 24장의 픽처를 표시하는 것을 나타내고 있다. 따라서, 왼쪽 눈 용의 픽처와 당해 왼쪽 눈 용 픽처에 대응하는 오른쪽 눈 용 픽처의 간격(표시지연)은 1/48초가 된다.
이와 같이, 왼쪽 눈 용 픽처와 당해 왼쪽 눈 용 픽처에 대응하는 오른쪽 눈 용 픽처는 표시지연(1/48초)만큼 어긋나게 동기시킬 필요가 있다.
따라서, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 트랜스포트 스트림으로 다중화할 때에는 각 비디오 스트림에서 각 GOP 내의 각 픽처의 표시시각을 나타내는 PTS 및 각 픽처의 디코드 시각을 나타내는 DTS에 의거하여 왼쪽 눈 용 픽처와 당해 왼쪽 눈 용 픽처에 대응하는 오른쪽 눈 용 픽처가 근방에 배치되도록 다중화하면 좋다.
이와 같이 다중화해 두면, 트랜스포트 스트림의 선두에서부터 순서대로 판독해 가면 필요한 시각에 필요한 왼쪽 눈 용 픽처와 오른쪽 눈 용 픽처를 얻을 수 있다.
그런데 스킵 조작이나 시간 지정의 점프 조작에 의해 디지털 스트림의 선두에서가 아니라 도중에서 재생이 이루어지는 경우가 있다. 그 경우, 엔트리 맵에는 GOP 단위로 엔트리 포인트가 기재되어 있으므로 다중화할 때에는 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 GOP 환경을 고려할 필요가 있다.
4. 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화
AV 클립에의 랜덤 액세스를 고려한 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화를 어떻게 할지에 대하여 설명한다.
먼저, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 GOP의 시간적 간격은 동일하게 되도록 설정되며, 왼쪽 눈 용 비디오 스트림의 각 GOP는 오른쪽 눈 용 비디오 스트림의 GOP와 1 대 1로 대응하고 있을 필요가 있다. 이렇게 함으로써 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 GOP 단위로 동기시킬 수 있게 된다.
또, 엔트리 맵은 도 5에 나타내는 것과 같이 왼쪽 눈 용 비디오 스트림에 대하여 설정되어 있으므로, 엔트리 맵에서의 시각정보(PTS)는 왼쪽 눈 용 비디오 스트림의 각 GOP의 선두 픽처의 재생개시시각을 나타내고, 어드레스 정보(SPN)는 AV 클립에서 왼쪽 눈 용 비디오 스트림의 각 GOP의 선두 패킷의 어드레스를 나타내고 있다. 재생장치는 AV 클립에서 이 어드레스에 나타내는 위치에서 데이터를 판독하므로 오른쪽 눈 용 비디오 스트림의 GOP는 대응하는 왼쪽 눈 용 비디오 스트림의 GOP를 구성하는 선두 패킷보다 후방에 배치될 필요가 있다.
도 8은 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화의 일 예를 모식적으로 나타내는 도면이다. 도 8에 나타낸 것과 같이, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 GOP 단위로, 또, 왼쪽 눈 용 비디오 스트림의 GOP가 대응하는 오른쪽 눈 용 비디오 스트림의 GOP보다 선행하는 형태로 다중화시킨다.
이에 의해서, 예를 들어 도 8에서 왼쪽 눈 용 비디오 스트림의 LGOP2에서부터 재생을 개시하는 경우, LGOP2를 구성하는 선두 패킷에서부터 재생을 개시하면 왼쪽 눈 용 비디오 스트림의 LGOP2에 대응하는 오른쪽 눈 용 비디오 스트림의 RGOP2도 부족 없이 판독되므로, 재생개시시부터 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 3D 영상으로 재생할 수 있다.
이와 같이, 다중화할 때에 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 GOP의 시간적 간격을 동일하게 해 두고, 반드시 왼쪽 눈 용 비디오 스트림의 GOP 선두를 대응하는 오른쪽 눈 용 비디오 스트림의 GOP 선두보다 전방에 배치한다고 하는 제한을 부가함으로써 엔트리 맵에 기재된 어느 시각에서 재생을 한다고 하더라도 3D 영상으로 재생하는 것을 보장할 수 있다.
다음에, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화의 다른 예에 대하여 설명한다. 도 9는 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 다중화의 다른 예를 모식적으로 나타내는 도면이다. 도 8 및 9에서, 다중화 시에 반드시 왼쪽 눈 용 비디오 스트림의 GOP 선두를 대응하는 오른쪽 눈 용 비디오 스트림의 GOP 선두보다도 전방에 배치한다고 하는 점은 공통된다. 단, 도 8에서는 왼쪽 눈 용 GOP와 당해 왼쪽 눈 용 GOP에 대응하는 오른쪽 눈 용 GOP 배치의 종료위치에 대해서는 제한이 없었던 것에 비해서 도 9에서는 왼쪽 눈 용 GOP의 선두 패킷과 당해 왼쪽 눈 용 GOP의 종단(終端) 패킷 사이에 당해 왼쪽 눈 용 GOP에 대응하는 오른쪽 눈 용 GOP를 배치하고 있는 점이 다르다. 이에 의해서, AV 클립을 왼쪽 눈 용 비디오 스트림의 GOP 경계에서 절단할 때에 오른쪽 눈 용 비디오 스트림의 GOP를 절단하지 않고도 절단할 수 있게 된다.
도 10은 왼쪽 눈 용 GOP의 선두 패킷과 당해 왼쪽 눈 용 GOP의 종단 패킷 사이에 당해 왼쪽 눈 용 GOP에 대응하는 오른쪽 눈 용 GOP를 배치할 때에 각 비디오 스트림이 AV 클립에서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
먼저, 복수의 비디오 프레임으로 이루어지는 왼쪽 눈 용 비디오 스트림을 PES 패킷 열로 변환하고, TS 패킷 열로 변환한다. 마찬가지로, 복수의 비디오 프레임으로 이루어지는 오른쪽 눈 용 비디오 스트림을 PES 패킷 열로 변환하고, TS 패킷 열로 변환한다.
도 10에 나타낸 것과 같이, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 다중화할 때에는 먼저 왼쪽 눈 용 비디오 스트림의 선두 GOP(LGOP1)의 선두 패킷(L11)이 배치된다. 패킷(L11) 배치 위치 이후로서 LGOP1의 종단 패킷(L16)의 전방에 LGOP1에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP(RGOP1)의 각 패킷(R11, R12, R13)이 배치된다. LGOP1의 종단 패킷(L16)에 이어서 왼쪽 눈 용 비디오 스트림의 다음의 GOP(LGOP2)의 선두 패킷(L21)이 배치되고, 앞에서와 마찬가지로 LGOP2의 종단 패킷(L26)의 전방에 LGOP2에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP(RGOP2)의 각 패킷(R21, R22, R23)이 배치된다. 이와 같이 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 다중화함으로써 왼쪽 눈 용 비디오 스트림의 GOP 경계에서 절단할 때에 오른쪽 눈 용 비디오 스트림의 GOP가 절단되지 않음을 보장하는 디지털 스트림이 생성된다.
5. 재생장치
이어서, 3D 영상을 저장하고 있는 BD-ROM(1000)을 재생하는 재생장치에 대하여 설명한다. 도 11은 재생장치(2000)의 구성을 나타내는 블록도이다. 도 11에 나타낸 것과 같이, 재생장치(2000)는 BD-ROM 드라이브(2100), 트랙 버퍼(2200), 시스템 타깃 디코더(2300), 플레인 가산부(2400), 프로그램 메모리(2500), 관리정보 메모리(2600), 프로그램 실행부(2700), 재생 제어부(2800), 및 사용자 이벤트 처리부(2900)를 포함하여 구성된다.
BD-ROM 드라이브(2100)는 재생 제어부(2800)로부터 입력되는 판독요구에 의거하여 BD-ROM(1000)에서 데이터를 판독한다. BD-ROM(1000)에서 판독된 AV 클립은 트랙 버퍼(2200)에, 관리정보(인덱스 파일, 플레이리스트 파일, 및 클립정보 파일)는 관리정보 메모리(2600)에, BD 프로그램 파일은 프로그램 메모리(2500)에 각각 전송된다.
트랙 버퍼(2200)는 BD-ROM 드라이브(2100)에서 입력되는 AV 클립을 저장하는 메모리 등으로 구성된 버퍼이다.
시스템 타깃 디코더(2300)는 트랙 버퍼(2200)에 저장되어 있는 AV 클립에 대하여 다중분리처리를 하고 스트림의 디코드 처리를 한다. AV 클립에 포함되는 스트림의 디코드에 필요한 코덱 정보나 스트림 속성 등의 정보는 재생 제어부(2800)에 서 전송된다.
시스템 타깃 디코더(2300)는 구체적으로는 디 멀티플렉서(2301), 비디오 디코더(2302), 왼쪽 눈 용 비디오 플레인(2303), 오른쪽 눈 용 비디오 플레인(2304), 서브 비디오 디코더(2305), 서브 비디오 플레인(2306), 프레젠테이션 그래픽스 디코더(PG 디코더)(2307), 프레젠테이션 그래픽스 플레인(PG 플레인)(2308), 인터렉티브 그래픽스 플레인 디코더(IG 디코더)(2309), 인터렉티브 그래픽스 플레인(IG 플레인)(2310), 이미지 프로세서(2311), 이미지 플레인(2312), 및 오디오 디코더(2313)를 포함하여 구성된다.
디 멀티플렉서(2301)는 트랙 버퍼(2200)에 저장되어 있는 TS 패킷을 인출하고, 인출한 TS 패킷으로부터 PES 패킷을 얻는다. TS 패킷에 포함되는 PID(패킷 식별자)에 의거하여 당해 PES 패킷을 비디오 디코더(2302), 서브 비디오 디코더(2305), PG 디코더(2307), IG 디코더(2309) 및 오디오 디코더(2313) 중 어느 하나에 출력한다. 구체적으로는 인출한 TS 패킷에서 얻은 PES 패킷은 당해 TS 패킷에 포함되는 PID가 0×1011 및 0×1012인 경우에는 비디오 디코더(2302)에, PID가 0×1B00인 경우에는 서브 비디오 디코더(2305)에, PID가 0×1100 및 0×1101인 경우에는 오디오 디코더(2313)에, PID가 0x1200 및 0x1201인 경우에는 PG 디코더(2307)에, PID가 0×1400인 경우에는 IG 디코더(2309)에 각각 전송된다.
비디오 디코더(2302)는 디 멀티플렉서(2301)에서 입력되는 PES 패킷을 복호하여 비 압축형식의 픽처를 얻어서, 왼쪽 눈 용 비디오 플레인(2303) 및 오른쪽 눈 용 비디오 플레인(2304) 중 어느 하나에 기록한다. 여기서, 비디오 디코더(2302)의 동작에 대하여 설명한다. 도 12는 비디오 디코더(2302)에 의한 비디오 디코드 처리를 나타내는 플로차트이다. 비디오 디코더(2302)는 디 멀티플렉서(2301)로부터 PES 패킷을 수신하면(스텝 S101) 수신한 PES 패킷을 디코드하여 비 압축형식의 픽처를 얻는다(스텝 S102).
비 압축형식의 픽처가 왼쪽 눈 용 비디오 프레임을 구성하는 것인지 오른쪽 눈 용 비디오 스트림을 구성하는 것인지를 판단한다(스텝 S103). 이 판단은 예를 들어 디 멀티플렉서(2301)가 PES 패킷을 비디오 디코더(2302)에 송신할 때에 TS 패킷에 포함되는 PID에 의거하여 당해 PES 패킷이 왼쪽 눈 용 비디오 스트림에 대응하는지 오른쪽 눈 용 비디오 스트림에 대응하는지를 나타내는 플래그를 부가해 두고, 비디오 디코더(2302)가 당해 플래그가 왼쪽 눈 용 비디오 스트림에 대응하고 있음을 나타내고 있는가 여부를 판정함으로써 이루어진다.
비 압축형식의 픽처가 왼쪽 눈 용 비디오 프레임을 구성하는 것이라고 판정하면(스텝 S103에서 Yes) 당해 픽처를 왼쪽 눈 용 비디오 플레인(2303)에 기록한다(스텝 S104).
비 압축형식의 픽처가 오른쪽 눈 용 비디오 프레임을 구성하는 것이라고 판정하면(스텝 S103에서 No) 당해 픽처를 오른쪽 눈 용 비디오 플레인(2304)에 기록한다(스텝 S105).
도 11로 되돌아가서, 왼쪽 눈 용 비디오 플레인(2303)은 왼쪽 눈 용 비 압축형식의 픽처를 저장해 두기 위한 플레인이다. 플레인은 재생장치에서 한 화면 분의 화소 데이터를 저장해 두기 위한 메모리 영역이다. 비디오 플레인에서의 해상도는 1920×1080이며, 이 비디오 플레인에 저장된 픽처 데이터는 16비트의 YUV 값으로 표현된 화소 데이터에 의해서 구성된다.
오른쪽 눈 용 비디오 플레인(2304)은 오른쪽 눈 용의 비 압축형식의 픽처를 저장해 두기 위한 플레인이다.
왼쪽 눈 용 비디오 플레인(2303) 및 오른쪽 눈 용 비디오 플레인(2304)에는 비디오 디코더(2302)에 의해서 비디오 프레임의 PTS의 타이밍에 픽처가 기록된다.
서브 비디오 디코더(2305)는 비디오 디코더(2302)와 동일한 구성을 가지며, 디 멀티플렉서(2301)에서 입력되는 비디오 프레임을 복호하여 표시시각(PTS)의 타이밍에 비 압축형식의 픽처를 서브 비디오 플레인(2306)에 기록한다.
서브 비디오 플레인(2306)은 부 영상의 비 압축형식의 픽처를 저장해 두기 위한 플레인이다.
PG 디코더(2307)는 디 멀티플렉서(2301)에서 입력되는 프레젠테이션 그래픽스 스트림을 복호하고, 표시시각(PTS)의 타이밍에 비 압축형식의 그래픽스 데이터를 PG 플레인(2308)에 기록한다.
PG 플레인(2308)은 그래픽스 데이터를 저장해 두기 위한 플레인이다.
IG 디코더(2309)는 디 멀티플렉서(2301)에서 입력되는 인터렉티브 그래픽스 스트림을 복호하고, 표시시각(PTS)의 타이밍에 비 압축형식의 그래픽스 데이터를 IG 플레인(2310)에 기록한다.
IG 플레인(2310)은 그래픽스 데이터를 저장해 두기 위한 플레인이다.
이미지 프로세서(2311)는 프로그램 실행부(2700)에서 입력되는 그래픽스 데 이터(PNG, JPEG)를 디코드하여 이미지 플레인(2312)에 출력한다. 이미지 플레인(2312)의 디코드 타이밍은 그래픽스 데이터가 메뉴용 데이터인 경우에는 프로그램 실행부(2700)에서 지시되고, 그래픽스 데이터가 자막용 데이터인 경우에는 재생 제어부(2800)에서 지시된다.
이미지 플레인(2312)은 그래픽스 데이터(PNG, JPEG)를 저장해 두기 위한 플레인이다.
오디오 디코더(2313)는 디 멀티플렉서(2301)에서 입력되는 PES 패킷을 복호하여 비 압축형식의 오디오 데이터를 출력한다.
플레인 가산부(2400)는 왼쪽 눈 용 비디오 플레인(2303)과 오른쪽 눈 용 비디오 플레인(2304) 중 PTS의 타이밍에 픽처가 기록된 플레인을 선택하고, 선택한 플레인, 서브 비디오 플레인(2306), PG 플레인(2308), IG 플레인(2310) 및 이미지 플레인(2312)을 순시에 중첩함으로써 영상신호를 생성하고, 텔레비전 등의 디스플레이에 출력한다. 영상신호는 왼쪽 눈 용 픽처 및 오른쪽 눈 용 픽처 중 어느 것이 중첩되었는가를 나타내는 플래그를 포함한다.
프로그램 메모리(2500)는 BD-ROM 드라이브(2100)에서 입력되는 BD 프로그램 파일을 저장하는 메모리이다.
관리정보 메모리(2600)는 BD-ROM 드라이브(2100)에서 입력되는 인덱스 테이블, 관리정보, 및 플레이리스트 정보를 저장하는 메모리이다.
프로그램 실행부(2700)는 프로그램 메모리(2500)에 저장되어 있는 BD 프로그램 파일에 저장된 프로그램을 실행한다. 구체적으로는 사용자 이벤트 처리부(2900) 에서 입력되는 사용자 이벤트에 의거하여 재생 제어부(2700)에 대하여 플레이리스트 재생을 명령하거나, 시스템 타깃 디코더(2300)에 대하여 메뉴나 게임의 그래픽스를 위한 PNG, JPEG를 전송한다.
재생 제어부(2800)는 BD-ROM 드라이브(2100)와 시스템 타깃 디코더(2300)를 제어하여 AV 클립의 재생을 제어하는 기능을 갖는다. 예를 들어, 프로그램 실행부(2700)에서 입력되는 재생명령에 의거하여 관리정보 메모리(2600)에 저장되어 있는 플레이리스트 정보를 참조하여 AV 클립의 재생처리를 제어한다. 또, 랜덤 액세스 시에는 관리정보 메모리(2600)에 저장되어 있는 엔트리 맵에 등록되어 있는 시각정보에 대응하는 GOP의 선두위치를 특정하고, 그 위치에서부터 판독하도록 BD-ROM 드라이브(2100)에 지시한다. 이에 의해서 AV 클립을 해석하지 않고 효율적으로 처리를 할 수 있다. 또, 재생 제어부(2800)는 재생장치에서의 상태취득이나 상태설정을 한다.
사용자 이벤트 처리부(2900)는 리모컨이나 재생장치의 프런트 패널에 대한 키 조작에 따라서 그 조작을 나타내는 사용자 이벤트를 프로그램 실행부(2700)에 출력한다.
이상이 재생장치(2000)의 구성이다.
6. 가정 내에서 3D 영상을 시청하기 위한 구성
이어서, 가정 내에서 3D 영상을 시청하기 위한 구성에 대하여 설명한다. 사용자가 가정 내에서 3D 영상을 시청하기 위해서는 상술한 BD-ROM과 BD-ROM을 재생하는 재생장치(2000) 외에도 재생장치에서 출력되는 3D 영상을 표시할 수 있는 디 스플레이와 입체시용 안경이 필요하다. 도 13은 BD-ROM(1000), 재생장치(2000), 디스플레이(3000), 입체시용 안경(40000) 및 리모컨(5000)을 포함해서 구성되는 홈 시스템을 나타내는 도면이다.
재생장치(2000)와 디스플레이는 예를 들어 HDMI(High-Definition Multimedia Interface) 케이블로 접속된다.
디스플레이(3000)는 재생장치(2000)로부터 시분할로 입력되는 영상신호를 표시한다. 재생장치(2000)로부터 왼쪽 눈 용 및 오른쪽 눈 용의 영상이 교호로 입력되므로 디스플레이(3000)는 왼쪽 눈 용 및 오른쪽 눈 용의 영상을 시간 축 방향으로 교호로 표시하게 된다.
2D 영상을 표시하는 디스플레이와의 차이는, 당해 디스플레이와 비교해서 왼쪽 눈 용 및 오른쪽 눈 용의 영상을 교호로 표시하기 위해서 화면의 빠른 절환(switching)이 필요하다는 것이다. 예를 들어, 대부분의 영화는 24p(1초 동안에 24프레임 표시)로 촬영되나, 3D 영상인 경우에는 1초 동안에 왼쪽 눈 용의 영상 24프레임과 오른쪽 눈 용의 영상 24프레임을 교호로 표시할 필요가 있으므로 1초 동안에 48프레임의 재기록을 할 필요가 있다. 또, 3D 영상을 표시하는 중에는 기존의 민생용 TV에서 하고 있는 것과 같은 윤곽 강조처리 등을 하지 않는 설정을 갖는 경우도 있다. 이는, 3D 영상을 시청할 때에는 왼쪽 눈 용의 영상과 오른쪽 눈 용의 영상의 윤곽위치가 중요하며, 이것이 윤곽 강조 등에 의해서 윤곽선이 두꺼워지거나 가늘어지거나 하면 좌우의 영상의 균형이 붕괴되어 충분한 입체시가 불가능한 경우가 있기 때문이다.
또, 디스플레이(3000)는 HDMI 케이블을 통해서 입력된 영상신호에 포함되는 플래그에 의거하여 디스플레이에 표시되어 있는 영상이 왼쪽 눈 용인지 오른쪽 눈 용인지를 나타내는 제어신호를 입체시용 안경(4000)에 송신한다.
입체시용 안경(4000)은 실시 예 1의 입체시의 원리에서 설명한 것과 같이 계시 분리방식으로 3D 영상을 시청할 때에 이용되며, 액정 셔터 등을 이용한 특수한 안경이다. 입체시용 안경(4000)은 디스플레이(3000)에서 송신되는 제어신호에 의거하여 왼쪽 눈에 대응하는 액정 셔터 및 오른쪽 눈에 대응하는 액정 셔터를 투과상태로 할지 차광상태로 할지를 절환한다. 구체적으로는, 디스플레이로부터 왼쪽 눈 용 영상이 표시되고 있다고 하는 취지를 나타내는 제어신호를 수신한 경우에는 왼쪽 눈에 대응하는 액정 셔터를 투과상태로 하고, 오른쪽 눈에 대응하는 액정 셔터를 차광상태로 한다. 오른쪽 눈 용 영상이 표시되고 있다고 하는 취지를 나타내는 제어신호를 수신한 경우에는 오른쪽 눈에 대응하는 액정 셔터를 투과상태로 하고, 왼쪽 눈에 대응하는 액정 셔터를 차광상태로 한다.
이상과 같이 본 실시 예에 의하면, 디지털 스트림의 시간 축에서의 임의의 PTS에서 재생을 개시하는 경우에도 당해 PTS에 대응하는 SPN에서 지시되는 위치 이후의 디지털 스트림의 기록영역에는 왼쪽 눈 용 비디오 스트림의 GOP 및 당해 GOP에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP가 존재하므로 동화상의 입체시를 확실하게 사용자에게 제공할 수 있다.
(실시 예 2)
본 실시 예에서는 본 발명의 기록장치 및 기록방법을 실시하기 위한 예에 대 하여 설명한다.
기록장치는 영화 콘텐츠의 반포를 위해서 제작 스튜디오에 설치되고, MPEG 규격에 따라서 압축부호화된 디지털 스트림 및 어떻게 영화 타이틀을 재생하는가를 기록한 시나리오를 생성하여, 이들 데이터를 포함하는 BD-ROM용 볼륨 이미지를 생성한다. 기록장치는 실시 예 1에서 설명한 기록매체를 생성한다.
도 14는 기록장치(40)의 내부 구성을 나타내는 블록도이다. 본 도면에 나타낸 것과 같이, 기록장치(40)는 비디오 인코더(41), 소재 제작부(42), 시나리오 생성부(43), BD 프로그램 제작부(44), 다중화 처리부(45) 및 포맷 처리부(46)를 포함해서 구성된다.
비디오 인코더(41)는 왼쪽 눈 영상의 비 압축의 비트맵 등의 화상 이미지와 오른쪽 눈 용 영상의 비 압축의 비트맵 등의 화상 이미지를 MPEG4-AVC나 MPEG2 등의 압축방식에 따라서 부호화하고, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 작성한다. 그때, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 GOP의 시간적 간격이 동일하게 되도록 설정한다.
여기서, 3D에 대응한 비디오의 엘리멘터리 스트림을 효율적으로 생성하는 방법에 대하여 설명한다.
DVD나 BD-ROM 등의 패키지 미디어용으로 비디오를 압축할 때에 일반적인 비디오 압축기술에서는 전후의 픽처의 유사점을 이용하여 압축함으로써 압축률을 높이고 있다. 이때, 전후의 픽처에서 유사한 개소를 검색하는 작업을 하기 위해서 인코드에 많은 시간을 요하고 있다. 도 15는 3D에 대응한 비디오의 엘리멘터리 스트 림을 어떻게 효율적으로 생성할지를 나타내는 도면이다. 도 15(a)는 어떤 시각의 왼쪽 눈 용 픽처를 나타내는 도면이고, 도 15(b)는 도 15(a)에서 나타낸 영상의 시각의 다음의 시각에서의 왼쪽 눈 용 픽처를 나타내는 도면이다. 비디오 인코더(41)는 도 15(a)에 나타내는 왼쪽 눈 용 픽처에 존재하는 입방체 또는 원을 도 15(b)에서 나타내는 왼쪽 눈 용 픽처 내에서 검색한다. 이때, 왼쪽 눈 용 픽처의 인코드 시에 가장 넓은 범위를 검색하기 위해서는 도 15(b)에서 나타낸 화면 전체를 검색할 필요가 있다. 일반적인 인코드 순서의 경우에는 오른쪽 눈 용의 비디오를 인코드할 때에도 왼쪽 눈 용의 비디오를 인코드할 때의 순서와 동일한 순서로 이루어진다. 즉, 도 15(b)에서 나타낸 것과 같이 화면 전체를 검색할 필요가 있다.
이와 같이 2D 영상을 인코드하는 경우에 비하여 3D 영상(왼쪽 눈 용 비디오 프레임 열 및 오른쪽 눈 용 비디오 프레임 열)을 인코드하는 경우에는 각 비디오 프레임 열을 따로따로 압축할 필요가 있으므로 압축에 요하는 시간이 2배 걸린다.
그래서, 비디오 인코더(41)는 왼쪽 눈 용의 비디오의 인코드 시에 각 탐색대상이 어느 방향으로 어느 정도 움직였는가를 테이블에 기재해 둔다. 이에 의해서, 왼쪽 눈 용의 픽처에 매우 유사한 픽처인 오른쪽 눈 용의 픽처를 인코드할 때에는 테이블을 참조함으로써 화면 전체에서 탐색할 필요가 없어져서 인코드 시간을 단축할 수 있다. 도 15(c)는 각 탐색대상이 어느 방향으로 어느 정도 움직였는가를 기재한 테이블을 나타내는 도면이다. 오른쪽 눈 용의 픽처를 인코드할 때에는 도 15(c)에 나타내는 테이블을 참조함으로써 탐색범위를 좁힐 수 있다.
또, 여기에서의 설명에서는 간단히 하기 위해서 입방체나 원 등의 도형을 이 용하여 설명하였으나, 실제 인코드 시에는 8x8이나 16x16 등으로 정해진 직사각형 영역마다 도형의 경우와 마찬가지로 이동방향이나 거리를 테이블에 기재해 두면 좋다.
도 14로 되돌아가서, 소재 제작부(42)는 오디오 스트림, 프레젠테이션 그래픽스 스트림 및 인터렉티브 그래픽스 스트림 등의 각 스트림을 작성한다. 더 상세하게는 비 압축의 LinearPCM 음성 등을 AC3 등의 압축방식에 따라서 부호화함으로써 오디오 스트림을 작성한다.
또, 자막 이미지, 표시 타이밍, 및 페이드 인(fade in)/페이드 아웃(fade out) 등의 자막의 효과를 포함한 자막정보파일을 기초로 해서 BD-ROM 규격에 준거한 자막 스트림의 포맷인 프레젠테이션 그래픽스 스트림을 작성한다.
또, 메뉴에 사용하는 비트맵 이미지와 메뉴에 배치되는 버튼의 천이나 표시효과를 기재한 메뉴 파일을 기초로 하여 BD-ROM 규격에 준거한 메뉴 화면의 포맷인 인터렉티브 그래픽스 스트림을 작성한다.
시나리오 생성부(43)는 소재 제작부(42)에서 작성한 각 스트림의 정보나 사용자 조작에 따라서 BD-ROM 규격에 준거한 포맷으로 시나리오를 작성한다. 여기서 말하는 시나리오는 인덱스 파일, 무비 오브젝트 파일 및 플레이리스트 파일 등의 파일이다.
또, 시나리오 생성부(43)는 다중화처리를 실현하기 위한 각 AV 클립이 어느 스트림에서 구성되는지를 기술한 파라미터 파일을 작성한다. 여기서, 작성되는 인덱스 파일, 무비 오브젝트 파일 및 플레이리스트 파일 등의 파일은 실시 예 1에서 설명한 데이터 구조가 된다.
BD 프로그램 제작부(44)는 BD 프로그램 파일의 프로그램을 프로그래밍하는 수단이다. GUI 등의 사용자 인터페이스를 통해서, 사용자로부터의 요구에 따라서 BD 프로그램 파일의 소스코드를 작성하고, BD 프로그램을 작성한다.
다중화 처리부(45)는 BD-ROM 시나리오 데이터에 기술되어 있는 왼쪽 눈 용 비디오 스트림, 오른쪽 눈 용 비디오 스트림, 오디오 스트림, 프레젠테이션 그래픽스 스트림 및 인터렉티브 그래픽스 스트림 등의 복수의 스트림을 다중화하여 MPEG2-TS 형식의 AV 클립을 작성한다. 그때, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 GOP 단위로, 왼쪽 눈 용 비디오 스트림의 GOP의 선두가 대응하는 오른쪽 눈 용 비디오 스트림의 GOP보다 선행하는 형태로 다중화한다.
또, AV 클립의 작성 시에 AV 클립과 쌍이 되는 클립정보 파일도 동시에 작성한다. 다중화 처리부(45)에 의한 클립정보 파일 내의 생성은 아래의 방법으로 이루어진다. 다중화 처리부(45)는 예를 들어 작성한 AV 클립에서 왼쪽 눈 용 비디오 스트림의 각 GOP의 선두 패킷의 저장위치와 당해 GOP의 선두의 표시시각을 대응시킨 엔트리 맵을 생성하고, 생성한 엔트리 맵과, AV 클립에 포함되는 스트림별 음성속성, 영상속성 등을 나타내는 속성정보를 쌍으로 하여 클립정보 파일을 작성한다. 클립정보 파일의 구성은 실시 예 1에서 설명한 데이터 구조가 된다.
포맷 처리부(46)는 시나리오 생성부(43)에서 생성한 BD-ROM 시나리오 데이터와, BD 프로그램 제작부(44)에서 제작한 BD 프로그램 파일과, 다중화 처리부(45)에서 생성한 AV 클립이나 클립정보 파일을 BD-ROM 규격에 준거한 포맷으로 배치하고, BD-ROM 규격에 준거한 파일 시스템인 UDF의 포맷으로 디스크 이미지를 작성한다. 생성한 디스크 이미지를 BD-ROM 프레스용 데이터로 변환하고, 이 데이터에 대하여 프레스 공정을 함으로써 BD-ROM의 제조가 가능해진다.
(실시 예 3)
본 실시 예에서는 BD-ROM 디스크에 2D 영상과 3D 영상이 혼재해 있는 경우에 관하여 설명한다. BD-ROM 디스크에 수록되어 있는 영화 콘텐츠에서 모든 영상이 3D 또는 2D의 어느 하나이면 사용자는 각 디스크에 따라서 앞에서 설명한 입체시 전용 안경을 장착할지 여부를 선택하면 되나, 하나의 디스크 중에 2D 영상과 3D 영상이 혼재해 있는 경우에는 사용자는 어떤 타이밍에 안경을 장착하거나 벗거나 할 필요가 있다.
사용자의 시점에 서면, 어떤 통보도 없이 갑자기 2D 영상에서 3D 영상, 또는 역으로 3D 영상에서 2D 영상으로 절환을 하면 안경을 장착하거나 또는 벗는 시기를 알기가 매우 어렵다.
그래서, 타이틀 단위로 2D 영상 및 3D 영상 중 하나를 나타내는 3D 대응 플래그를 설치하고, 타이틀이 변경되면 변경 후의 타이틀이 2D 영상인지 3D 영상인지를 3D 대응 플래그에 의거하여 판정하여, 판정결과를 사용자에게 통지한다. 도 16은 3D 대응 플래그를 포함하는 인덱스 테이블의 구성을 나타내는 도면이다. 도 16에 나타낸 것과 같이, 타이틀별로 당해 타이틀 내의 영상이 2D인지 3D인지를 나타내는 3D 대응 플래그가 설치되어 있다. 타이틀의 절환은 리모컨을 이용한 사용자 조작이나 커맨드 등에 의해서 이루어진다. 재생장치는 각 타이틀에 대응한 3D 대응 플래그를 타이틀 천이 시에 참조함으로써 OSD(On Screen Display)나 음성안내 등에 의해서 사용자에 대하여 입체시 안경의 착탈의 타이밍을 통지할 수 있다. 이는, 하나의 타이틀 내에 2D 영상과 3D 영상이 혼재하지 않음을 의미한다. 상용 디스크를 작성하는 입장에서 생각하면 2D 영상인지 3D 영상인지를 타이틀마다 명확하게 분류해 둠으로써 사용자에게 안경의 착탈을 촉구하는 것을 재생장치에 맡길 수 있다고 하는 이점이 있다.
또, 여기에서는 2D 영상인지 3D 영상인지를 나타내는 3D 대응 플래그를 타이틀마다 설정하는 것으로 하였으나, 플레이리스트, 플레이아이템, 또는 AV 스트림마다 3D 대응 플래그를 설정하여도 좋다.
<보충>
이상, 본 발명의 기록매체에 대하여 실시 예에 의거하여 설명하였으나, 본 발명은 상기의 실시 예에 한정되지 않음은 당연하다.
(변형 예 1)
실시 예 1에서는 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림이 하나의 디지털 스트림으로 다중화되어 있으나, 여기에서는 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 다중화시키지 않고 각각의 디지털 스트림으로 기록매체에 기록되어 있는 경우에 대하여 설명한다.
먼저, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 각각의 디지털 스트림으로 기록매체에 기록한 경우의 AV 클립에 대하여 설명한다. 도 17은 STREAM 디렉터리에 저장되는 AV 클립의 구성의 일 예를 나타내는 도면이다.
왼쪽 눈 용의 AV 클립은 오른쪽 눈 용 비디오 스트림을 포함하지 않는다는 점을 제외하고는 도 3에서 도시한 AV 클립과 동일하다. 왼쪽 눈 용의 AV 클립에는 왼쪽 눈 용 비디오 스트림이 저장되어 있고, 왼쪽 눈 용 비디오 스트림(주 영상)은 2D 영상을 재생하는 재생장치에서는 2D 영상으로, 3D 영상을 재생할 수 있는 재생장치에서는 3D 영상을 재생할 때의 왼쪽 눈 용의 영상으로 재생되는 비디오 스트림이다.
오른쪽 눈 용의 AV 클립(서브 클립)에는 오른쪽 눈 용 비디오 스트림이 저장되어 있다. 오른쪽 눈 용 비디오 스트림은 3D 영상을 재생할 수 있는 재생장치에서 3D 영상을 재생할 때의 오른쪽 눈 용의 영상으로, 왼쪽 눈 용의 비디오 스트림과 함께 재생되는 비디오 스트림이다.
다음에, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 각각의 디지털 스트림으로 기록매체에 기록한 경우의 플레이리스트의 구조에 대하여 설명한다. 플레이리스트 정보는 일련의 플레이아이템 정보의 재생경로인 메인패스에 더하여 하나 이상의 서브 플레이아이템(SubPI) 정보를 갖는다. 여기에서는 메인패스와 동기하여 재생되는 일련의 서브 플레이아이템의 재생경로를 서브패스로 정의한다. 각 서브 플레이아이템 정보는 서브 클립에 대한 재생구간을 나타낸다. 각 서브 플레이아이템 정보의 재생구간은 메인패스와 동일한 시간 축으로 나타낸다.
도 18은 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 각각의 디지털 스트림으로 한 경우의 플레이리스트의 구조를 나타내는 도면이다. 2D 플레이리스트 정보는 왼쪽 눈 용 비디오 스트림이 2D 영상으로 재생되는 경우의 플레이 리스트 정보이고, 3D 플레이리스트 정보는 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림이 3D 영상으로 재생되는 경우의 플레이리스트 정보이다. 도 18에 나타내는 것과 같이, 2D 플레이리스트 정보 및 3D 플레이리스트 정보의 메인패스는 왼쪽 눈 용 비디오 스트림을 저장하는 AV 클립을 참조하고 있다. 3D 플레이리스트 정보는 메인패스에 더하여 서브패스를 갖는다. 서브패스는 오른쪽 눈 용 비디오 스트림을 저정하는 서브 클립을 참조하고 있으며, 메인패스와 시간 축 상에서 동기하도록 설정된다. 이 구조에 의해서 2D 플레이리스트 정보 및 3D 플레이리스트 정보에서 왼쪽 눈 용 비디오 스트림이 저장된 AV 클립을 공유할 수 있으며, 3D 플레이리스트 정보에서는 왼쪽 눈 영상과 오른쪽 눈 영상을 시간 축 상에서 동기시킬 수 있다.
이어서, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 각각의 별개의 디지털 스트림으로 한 경우의 클립정보 파일에 대하여 설명한다.
왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림은 각각 별개의 디지털 스트림이므로 각각의 디지털 스트림에 대하여 클립정보 파일이 존재한다. 기본적으로는 어느 클립정보 파일도 실시 예 1에서 설명한 클립정보 파일과 동일한 구성이다. 따라서, 오른쪽 눈 용 비디오 스트림에 대해서도 엔트리 맵이 설정되게 된다. 오른쪽 눈 용 엔트리 맵에는 엔트리 맵 헤더 정보와, 오른쪽 눈 용 비디오 스트림을 구성하는 각 GOP의 선두의 표시시각을 나타내는 PTS와 서브 클립에서 당해 GOP의 선두위치를 나타내는 SPN의 쌍을 나타내는 테이블 정보가 기재되어 있다. 테이블 정보에서의 각 엔트리 포인트에는 AV 클립에서 왼쪽 눈 용 비디오 스트림의 엔트리 맵의 각 엔트리 포인트로 지정되어 있는 PTS에 표시지연 (1/48) 초만큼 가산한 값인 PTS를 갖는 서브 클립의 오른쪽 눈 용 비디오 스트림의 픽처가 등록된다. 이에 의해서, 어떤 시각이 지정된 때에 재생장치는 당해 시각에 대응하는 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림에서의 GOP의 개시 어드레스를 취득할 수 있다.
이어서, BD-ROM 상에서의 물리적인 파일 배치에 대하여 설명한다. 왼쪽 눈 용 비디오 스트림을 저장한 AV 클립과 오른쪽 눈 용 비디오 스트림을 저장한 서브 클립은 익스텐트(예를 들어, GOP 단위)로 분할되어서 인터리브에 배치된다. 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 GOP의 시간적 간격은 동일하게 해둔다. 여기서, 예를 들어 엔트리 맵의 엔트리 맵 헤더 정보에 왼쪽 눈 용 비디오 스트림의 GOP와 당해 GOP에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP 중 어느 쪽이 먼저 배치되어 있는지를 나타내는 선행 플래그를 설정한다. 이에 의해서 재생장치는 선행 플래그를 참조함으로써 왼쪽 눈 용 비디오 스트림의 GOP와 당해 GOP에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP 중 어느 GOP에서부터 판독해야하는가를 BD-ROM 드라이브에 지시할 수 있다. 즉, 선행 플래그가 나타내는 비디오 스트림의 GOP에서부터 판독을 개시할 수 있다.
따라서, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 다중화하지 않고 각각 별개의 디지털 스트림으로 한 경우라도 재생장치에 의해서 지시된 재생개시위치 이후에는 왼쪽 눈 용 비디오 스트림의 GOP 및 당해 GOP에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP가 존재하므로 동화상의 입체시를 확실하게 사용 자에게 제공할 수 있다.
(변형 예 2)
변형 예 1에서는 3D 플레이리스트 정보는 메인패스에 더하여 하나의 서브 패스를 갖는 것으로 하였으나, 여기에서는 3D 플레이리스트 정보가 복수의 서브패스를 포함하는 경우에 대하여 설명한다.
먼저, 사용자가 시차 화상에 의해서 입체시를 할 때에 느끼는 위화감에 대하여 설명한다. 도 19는 실제로 물체를 볼 때의 초점과 입체시를 할 때의 눈이 초점과의 차이를 나타내는 도면이다. 도 19(b)는 사용자가 실제로 물체를 보고 있는 모습을 나타내는 도면이다. 도 19(b)에 나타낸 것과 같이, 왼쪽 눈(15) 및 오른쪽 눈(16)의 초점은 모두 물체(17)의 위치에 일치하고 있다. 즉, 물체(17)를 관측하는 사용자에게 있어서 눈의 초점이 일치하고 있는 위치와 물체(17)를 인식하고 있는 공간상의 위치는 동일함을 의미하고 있다.
이에 대하여, 도 19(a)는 사용자가 시차 화상에 의해서 입체시를 하는 모습을 나타내는 도면이고, 왼쪽 눈(11) 및 오른쪽 눈(12)의 초점은 디스플레이(14)에 일치하고 있는데 비해, 입체시가 되는 영상(13)은 양쪽 눈에서 디스플레이를 볼 때에 양쪽 눈과 디스플레이를 연결하는 직선의 교점이 되는 위치에 결상하고 있는 것처럼 뇌 안에서 인식된다. 즉, 양쪽 눈의 초점은 디스플레이(14) 상에 일치하고 있는데 비해 3D의 물체(13)를 인식하고 있는 위치는 디스플레이(14)로부터 돌출한 위치에 있다. 이 초점위치와 물체의 인식위치의 차가 시차 화상에 의해서 3D를 인식한 때의 위화감이나 피로감으로 느껴지게 된다.
또, 일반적으로는, 실제로 눈의 초점이 일치하고 있는 위치(디스플레이의 위치)와 뇌 안에서 물체를 3D로 인식하고 있는 위치의 거리가 클수록 위화감이나 피로감이 강하게 느껴지게 되는 것으로 알려져 있다.
시차 화상을 이용한 3D 영상을 사용자에 대한 부하가 적게 실현하는 하나의 방법은 물체의 돌출거리(피사체를 보는 각도)가 다른 복수의 오른쪽 눈 용 비디오 스트림을 각각 다른 AV 클립으로 기록매체에 기록해 두고, 사용자에게 선택하게 하는 것이다. 즉, 3D 영상의 시청에 익숙한 사용자, 또는 더욱 물체의 돌출이 강조되어 현장감을 즐기고 싶은 사용자용의 AV 클립과, 3D 영상의 시청에 익숙하지 않은 사용자용으로 디스플레이로부터의 돌출을 억제하여 3D 시청에서의 위화감을 경감한 AV 클립을 준비하여, 사용자에게 적절하게 선택하게 하면 된다.
도 20은 서브패스가 복수인 경우의 플레이리스트 정보를 나타내는 도면이다. 도 20에 나타내는 플레이리스트 정보는 서브 클립 1군(群) 및 서브 클립 2군을 참조하며, 이들은 모두 오른쪽 눈 용 비디오 스트림을 저장하고 있으나, 피사체를 보는 각도(돌출거리)가 다른 것이다. 각 서브패스와 메인패스는 동기하고 있으며, 서브패스에는 플레이리스트 정보에 등록되는 순으로 ID가 할당되어, 서브패스 ID로서 서브패스를 식별하기 위해서 사용된다.
서브패스 ID 「0」의 서브패스는 서브 클립 1군을 참조하고, 서브패스 ID 「1」의 서브패스는 서브 클립 2군을 참조한다. 이와 같이 3D 플레이리스트 정보가 돌출상태가 다른 복수의 서브 클립을 포함하고, 디스플레이 화면의 크기나 사용자 조작에 의거하여 왼쪽 눈 용 비디오 스트림을 저장하는 메인패스와 동기하여 재생 하는 서브패스를 절환함으로써 사용자에게 있어서 쾌적한 시차 화상을 이용하여 입체영상을 표시하는 것이 가능해진다.
(변형 예 3)
변형 예 2에서는 3D 플레이리스트 정보가 복수의 서브패스를 포함하는 경우에 대하여 설명하였으나, 여기에서는 각 서브클립에 오디오 데이터, 자막 및 메뉴를 조합한 경우에 대하여 설명한다.
도 21은 2D 영상의 재생에서 사용자(21)가 디스플레이(23)에 표시되어 있는 물체(23)를 시청하고 있는 모습을 나타내는 도면이다. 이때, 물체(22)에서 음이 나오고 있는 경우에는 대부분의 영화에서는 물체(22)의 위치에서 음이 나오고 있는 것처럼 사용자(21)에게 느껴지도록 하기 위해서 복수의 스피커에서 나오는 음의 위상이나 음압을 조정해서 마치 물체(22)의 장소에서 음이 나오고 있는 것처럼 음을 정위(定位)시킴으로써 비디오와 오디오의 조합에 의한 현장감을 연출하고 있다.
이에 대하여, 도 22는 3D 영상의 재생에서 물체가 디스플레이(33)에서 사용자(31) 측으로 돌출되어 보이는 모습을 나타내는 도면으로, 왼쪽 눈 용 비디오 스트림에서는 물체가 위치 34에 묘사되고, 오른쪽 눈 용 비디오 스트림에서는 물체가 위치 35에 묘사됨으로써 사용자(31)에게는 물체가 공간상의 위치 36에 있도록 인식되어서 돌출되게 보인다. 이때, 2D 영상의 재생의 경우와 동일한 음을 이용하여 위치 32에 물체로부터의 음이 정위한 경우, 사용자(31)는 물체를 위치 36으로 인식하고 있음에도 불구하고 물체로부터의 음이 위치 32에서 나오는 것으로 들린다.
그래서, 사용자가 물체를 인식하고 있는 위치에서 음이 들릴 수 있도록, 피 사체를 보는 각도가 다른 복수의 오른쪽 눈 용 비디오 스트림의 각각에 따른 오디오 데이터를 당해 오른쪽 눈 용 비디오 데이터에 대응시켜서 기억해 둔다.
또, 오디오 데이터에 더하여 자막이나 메뉴에 대해서도 동일하게 각 오른쪽 눈 용 비디오 데이터에 대응시켜서 기억해 둔다. 3D 영상의 돌출상태에 따라서 돌출상태가 다른(영상과, 자막 또는 메뉴의 전후관계를 파괴하지 않는다) 자막 및 메뉴의 조합을 기록해 둠으로써 다른 돌출상태의 비디오 데이터에 대응한 자막이나 메뉴를 표시할 수 있게 되어서 더욱 현장감을 증가시킬 수 있게 된다.
도 23은 각 서브 클립에 오디오 데이터, 자막 및 메뉴를 대응시킨 테이블을 나타낸 도면이다. 도 23에 나타낸 것과 같이, 각 서브 클립에 따른 오디오 데이터를 기술한 테이블을 플레이리스트 내에 유지함으로써 서브 클립의 절환에 따라서 대응하는 오디오 데이터도 절환할 수 있게 된다.
또, 상술한 것과 같이, 각 서브 클립에 대응한 오디오 데이터를 준비함으로써 더욱 현장감 및 3D로 표시되는 물체가 발하는 음으로의 정위감이 증가하도록 하는 것이 아니라, 3D의 현장감에 관여하지 않는 음, 예를 들어 배경음을 오디오 스트림으로서 AV 클립에 넣어 두고, 화면 내의 특정한 물체나 인물이 발하는 음만을 2개째의 오디오 스트림으로서 AV 클립에 넣어두며, 1개째의 오디오 스트림과 2개째의 오디오 스트림을 동시에 믹싱하면서 재생함으로써 각 서브클립에 대응한 음의 정위를 얻어도 좋다. 이에 의해서, 2개째의 오디오 스트림을 사람의 대화음이나 파리 나는 소리 등 비교적 간단한 음으로 함으로써 더 압축률이 높은 오디오 압축방식을 사용하여 복수의 오디오 스트림을 저장할 때의 데이터량을 삭감할 수 있다.
(1) 상기 실시 예 1에서는 AV 클립은 왼쪽 눈 용 비디오 스트림에 관한 엔트리 맵을 가지며, 왼쪽 눈 용 비디오 스트림의 각 GOP가 당해 GOP에 대응하는 오른쪽 눈 용 비디오 스트림의 GOP보다 선행하는 위치에 배치되는 것으로 하였으나, AV 클립이 오른쪽 눈 용 비디오 스트림에 관한 엔트리 맵을 갖고, 오른쪽 눈 용 비디오 스트림의 각 GOP가 당해 GOP에 대응하는 왼쪽 눈 용 비디오 스트림의 GOP보다 선행하는 위치에 배치되어도 좋다.
(2) 상기 실시 예 1에서는 재생장치는 왼쪽 눈 용 비디오 플레인과 오른쪽 눈 용 비디오 플레인을 구비하는 구성으로 하였으나, 비디오 플레인을 하나만 구비하여도 좋다. 이 경우, 재생장치는 왼쪽 눈 용 픽처와 오른쪽 눈 용 픽처를 교호로 비디오 플레인에 기록한다.
또, 재생장치는 비디오 디코더를 하나 구비하는 구성으로 하였으나, 왼쪽 눈 용 비디오 디코더 및 오른쪽 눈 용 비디오 디코더의 2개의 비디오 디코더를 구비하여도 좋다. 이 경우, 디 멀티플렉서는 TS 패킷에 포함되는 PID에 의거하여 PES 패킷을 왼쪽 눈 용 비디오 디코더 및 오른쪽 눈 용 비디오 디코더 중 어느 하나에 출력한다.
(3) 상기 실시 예 1에서는 어떤 시각 PTS에서 표시되는 왼쪽 눈 용 픽처에 대하여 대응하는 오른쪽 눈 용 픽처의 PTS는 PTS(왼쪽 눈 용)+1/(1초당 프레임 수×2)인 것으로 하였으나, 오른쪽 눈 용 픽처의 PTS는 대응하는 왼쪽 눈 용 픽처와 그 다음의 왼쪽 눈 용 픽처 사이이면 좋다.
(4) 상기 실시 예 1에서는 AV 클립은 왼쪽 눈 용 비디오 스트림에 관한 엔트 리 맵을 갖는 것으로 하였으나, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림의 엔트리 맵을 갖는 것으로 하여도 좋다. 오른쪽 눈 용 엔트리 맵의 테이블 정보에서 각 엔트리 포인트에는 AV 클립의 엔트리 맵의 왼쪽 눈 용 비디오 스트림의 엔트리 포인트로 지정되어 있는 PTS에 표시지연 (1/48)만큼 가산한 값인 PTS가 설정된다.
재생개시 점이 시각으로 지정되면, 재생 제어부(2800)는 왼쪽 눈 용 엔트리 맵 및 오른쪽 눈 용 엔트리 맵에서 당해 시각에 대응하는 어드레스 정보 중 더 전방에 위치하는 어드레스에서 재생을 개시한다. 이에 의해서 지정한 시각의 왼쪽 눈 용 GOP 및 오른쪽 눈 용 GOP를 선두에서 판독할 수 있게 된다.
이와 같이, 재생장치의 메모리에 여유가 있고, 각 엔트리 맵을 메모리에 판독할 수 있으면 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 다중화할 때에 저장위치관계를 고려하지 않고 다중화할 수 있다.
(5) 상기 실시 예 1에서는 도 9, 10에서 왼쪽 눈 용 GOP의 선두 패킷과 당해 왼쪽 눈 용 GOP의 종단 패킷 사이에 당해 왼쪽 눈 용 GOP에 대응하는 오른쪽 눈 용 GOP를 배치하는 것으로 하였으나, 왼쪽 눈 용 GOP의 선두 패킷과 다음의 왼쪽 눈 용 GOP의 선두 패킷 사이에 당해 오른쪽 눈 용 GOP를 배치하는 것으로 하여도 좋고, 다음의 왼쪽 눈 용 GOP의 종단 패킷까지 배치하는 것으로 하여도 좋다. 이와 같이, 왼쪽 눈 용 GOP와 당해 왼쪽 눈 용 GOP에 대응하는 오른쪽 눈 용의 다중화의 위치를 제한함으로써 AV 데이터에 랜덤 액세스가 행해진 때에 왼쪽 눈 용 GOP 및 대응하는 오른쪽 눈 용 GOP의 판독 타이밍이 크게 어긋나지 않도록 보증할 수 있 다.
(6) 상기 실시 예 1에서는 3D 영상을 표시할 수 있는 디스플레이에 대하여 설명하였으나 실제로는 2D 영상밖에 표시할 수 없는 디스플레이도 존재한다. 그때, 사용자가 디스플레이가 3D 재생에 대응하고 있는지 여부를 판단하기는 어렵다. 그래서, 디스플레이가 3D 재생에 대응하고 있는지 여부의 판단을 사용자가 의식하지 않고 재생장치가 하는 것이 바람직하다.
구체적으로는 예를 들어 이하와 같은 방법으로 실현한다. 도 24는 3D 표시를 할 수 있는지를 디스플레이에 묻는 문의처리를 나타내는 플로차트이다. 재생장치와 디스플레이는 HDMI 케이블을 통해서 접속되어 있는 것으로 한다. 먼저, 재생장치는 디스플레이에 대하여 3D에 대응하고 있는지 여부를 묻는다(스텝 S201). 3D에 대응하고 있는지 여부의 응답을 디스플레이로부터 수신하면(스텝 S202에서 Yes) 당해 응답이 3D에 대응하고 있다고 하는 취지를 나타내는 것인지 여부를 판정한다(스텝 S203).
응답이 3D에 대응하고 있다고 하는 취지를 나타내는 것인 경우에는(스텝 S203에서 Yes) 재생장치는 자 장치(自裝置) 내의 소정 메모리 내에서 디스플레이가 3D 표시를 할 수 있는가를 나타내는 3D 표시 플래그를 유효로 설정하고(스텝 S204), 응답이 3D에 대응하고 있지 않다고 하는 취지를 나타내는 것인 경우(스텝 S203에서 No), 또는 디스플레이로부터 적절한 응답이 없는 경우에는(스텝 S202에서 No) 3D 표시 플래그를 무효로 설정한다(스텝 S205).
여기서, BD 프로그램에서 3D 표시 플래그에 액세스할 수 있도록 해 둠으로써 재생장치에 접속되어 있는 디스플레이가 3D에 대응하고 있는지 여부를 BD 프로그램에 의해서 판단할 수 있게 된다. 이에 의해서, 예를 들어 3D 표시 플래그가 유효한 경우에는 3D 대응의 타이틀을 재생하고, 3D 표시 플래그가 무효인 경우에는 2D 대응의 타이틀을 재생하도록 제어가 가능해진다.
또, 3D 표시 플래그가 유효인 경우에는 재생장치가 3D 대응 콘텐츠를 디스플레이에 송신할 때에 3D 대응 콘텐츠라고 하는 취지를 나타내는 정보를 헤더 등에 포함시켜도 좋다. 이에 의해 3D 대응 콘텐츠를 디스플레이가 수신한 때에는 디스플레이 측에서 앞에서 설명한 것과 같이 윤곽 강조를 하지 않는 등의 특정한 처리를 삭감 또는 경감하거나, 3D 시청에 적정한 처리를 부가하거나 할 수 있게 된다.
(7) 상기 실시 예 1에서는 계시 분리방식 및 편광안경방식을 예로 이용하여 설명하였으나, 렌티큘러 렌즈를 이용하여 입체시를 실현하는 경우에는 왼쪽 눈 용 비디오 스트림의 각 픽처와 당해 픽처에 대응하는 오른쪽 눈 용 비디오 스트림의 픽처를 동일한 PTS가 되도록 설정하고, 한 화면 중의 종 방향으로 왼쪽 눈 용의 픽처와 대응하는 오른쪽 눈 용의 픽처를 동시에 교호로 배열하며, 디스플레이 화면에 렌티큘러 렌즈를 부착함으로써 디스플레이 상에 표시된 영상을 입체영상으로 인식할 수 있다.
(8) 3D 재생을 위한 플레이리스트는 BD-J 애플리케이션에 의해서 재생되어도 좋다. BD-J 애플리케이션은 Java2Micro#Edition(J2ME) Personal Basis Profile(PBP1.0)와, Globally Excecutable MHP specification(GEM1.0.2) for package media targets를 풀 실장한 프로그램 실행부에서 BD-J 타이틀을 생존구간 으로 하여 기동되는 Java 애플리케이션이다.
프로그램 실행부는 Java(TM)(등록상표) 가상머신, 컨피규레이션, 프로파일을 포함하여 구성된다. BD-J 애플리케이션은 플레이리스트 정보를 재생하는 JMF 플레이어 인스턴스의 생성을 Java(TM) 가상머신에 명함으로써 AV 재생을 개시시킬 수 있다. JMF(Java Media Frame work) 플레이어 인스턴스는 JMF 플레이어 클래스를 기초로 하여 가상머신의 히프 메모리 상에 생성되는 실제 데이터를 말한다.
또, 프로그램 실행부는 JFIF(JPEG)나 PNG, 그 외의 이미지 데이터를 표시하기 위한 스탠다드 Java 라이브러리를 포함한다. 따라서, BD-J 애플리케이션은 GUI 프레임 워크를 실현할 수 있다. Java 애플리케이션에서의 GUI 프레임 워크는 GEM 1.0.2에서 규정된 HAVi 프레임 워크를 포함하고, GEM1.0.2에서의 리모트 컨트롤 내비게이션 기구를 포함한다.
이에 의해서 BD-J 애플리케이션은 HAVi 프레임 워크에 의거한 버튼 표시, 텍스트 표시, 온라인 표시(BBS의 내용)와 같은 표시를 동화상의 표시와 조합시킨 화면표시를 실현할 수 있으며, 리모트 컨트롤을 이용하여 이 화면표시에 대한 조작을 할 수 있다.
상기 실시 예 및 상기 보충을 각각 조합시키는 것으로 해도 좋다.
본 발명은 3D 영상을 저장하는 기록매체에 널리 적용이 가능하다.

Claims (8)

  1. 기록매체로,
    디지털 스트림이 기록되어 있는 영역과 맵 정보가 기록되어 있는 영역을 포함하고,
    맵 정보는 디지털 스트림이 기록되어 있는 영역에서의 엔트리 어드레스를 엔트리 시각과 대응시켜서 나타내는 정보이며,
    디지털 스트림이 기록되어 있는 영역 중 엔트리 어드레스에서 지시되는 위치 이후의 영역에는 제 1 그룹 오브 픽처(Group of Picture) 및 제 2 그룹 오브 픽처의 쌍이 존재하고 있고,
    제 1 그룹 오브 픽처는 디지털 스트림의 시간 축에 있어서 엔트리 시각에서부터 재생될 동화상을 나타내며,
    제 2 그룹 오브 픽처는 동화상의 입체시(stereoscopic view)를 사용자에게 제공하는 경우에 제 1 그룹 오브 픽처와 함께 재생될 동화상을 나타내는 것을 특징으로 하는 기록매체.
  2. 제 1 항에 있어서,
    제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처는 복수의 패킷으로 분할된 상태로 다중화되어 있고,
    제 1 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷 중 선두의 것의 기 록위치는 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷의 선두의 것의 기록위치보다도 디지털 스트림 상에서 선행하고 있으며,
    맵 정보에서의 엔트리 어드레스는 제 1 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷 중 선두의 것의 패킷 번호를 이용하여 표현되어 있는 것을 특징으로 하는 기록매체.
  3. 제 2 항에 있어서,
    상기 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷은 모두 상기 제 1 그룹 오브 픽처의 엔트리 어드레스의 직후의 엔트리 어드레스보다 앞에 존재하는 것을 특징으로 하는 기록매체.
  4. 제 2 항에 있어서,
    상기 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷은 모두 상기 제 1 그룹 오브 픽처의 종단 패킷보다 앞에 존재하는 것을 특징으로 하는 기록매체.
  5. 제 1 항에 있어서,
    상기 제 1 그룹 오브 픽처의 각 픽처와 상기 제 2 그룹 오브 픽처의 각 픽처는 1 대 1로 대응하고 있으며,
    상기 제 2 그룹 오브 픽처 중 소정 픽처의 표시시각은 당해 소정 픽처에 대 응하는 상기 제 1 그룹 오브 픽처에서의 픽처의 표시시각에 1/(상기 제 1 그룹 오브 픽처의 프레임 레이트×2)만큼 가산한 값인 것을 특징으로 하는 기록매체.
  6. 디지털 스트림을 생성하는 생성수단과,
    생성한 디지털 스트림을 기록매체에 기록하는 기록수단을 가지며,
    상기 디지털 스트림은 디지털 스트림의 시간 축에 있어서 엔트리 시각에서부터 재생될 동화상을 나타내는 제 1 그룹 오브 픽처와, 동화상의 입체시를 사용자에게 제공하는 경우에 제 1 그룹 오브 픽처와 함께 재생될 동화상을 나타내는 제 2 그룹 오브 픽처와, 맵 정보를 포함하고,
    맵 정보는 디지털 스트림의 기록영역 내부에서의 엔트리 어드레스를 엔트리 시각과 대응시켜서 나타내는 정보이며,
    상기 생성수단은 제 1 그룹 오브 픽처 및 제 2 그룹 오브 픽처를 복수의 패킷으로 분할하고, 제 1 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷 중 선두의 것이 제 2 그룹 오브 픽처를 분할함으로써 얻어진 복수의 패킷의 선두의 것보다도 디지털 스트림 상에서 선행하도록 다중화하는 것을 특징으로 하는 기록장치.
  7. 디지털 스트림의 시간 축에 있어서, 엔트리 시각에서부터 재생될 동화상인 제 1 그룹 오브 픽처와, 동화상의 입체시를 사용자에게 제공하는 경우에 제 1 그룹 오브 픽처와 함께 재생될 동화상인 제 2 그룹 오브 픽처가 복수의 패킷으로 분할된 상태로 다중화된 디지털 스트림에 대한 재생장치로,
    각 그룹 오브 픽처를 디코드하여 동화상을 얻는 비디오 디코더와,
    제 1 그룹 오브 픽처에서 얻어진 화상을 저장하기 위한 제 1 비디오 플레인과,
    제 2 그룹 오브 픽처에서 얻어진 화상을 저장하기 위한 제 2 비디오 플레인과,
    제 1 비디오 플레인 및 제 2 비디오 플레인에 저장된 화상을 교호로 표시수단에 출력하는 출력부를 구비하고,
    각 패킷은 당해 패킷에 포함되는 데이터가 상기 제 1 그룹 오브 픽처에 관한 것인지, 상기 제 2 그룹 오브 픽처에 관한 것인지를 나타내는 패킷 식별자를 포함하며,
    상기 비디오 디코더는 상기 패킷 식별자가 상기 제 1 그룹 오브 픽처에 관한 것임을 나타내는 경우에는 디코드한 화상을 제 1 비디오 플레인에 출력하고, 상기 패킷 식별자가 상기 제 2 그룹 오브 픽처에 관한 것임을 나타내는 경우에는 디코드한 화상을 제 2 비디오 플레인에 출력하는 것을 특징으로 하는 재생장치.
  8. 디지털 스트림의 시간 축에 있어서, 엔트리 시각에서부터 재생될 동화상인 제 1 그룹 오브 픽처와, 동화상의 입체시를 사용자에게 제공하는 경우에 제 1 그룹 오브 픽처와 함께 재생될 동화상인 제 2 그룹 오브 픽처가 복수의 패킷으로 분할된 상태로 다중화된 디지털 스트림에 대한 재생방법으로,
    각 그룹 오브 픽처를 디코드하여 동화상을 얻는 비디오 디코드 스텝과,
    제 1 그룹 오브 픽처에서 얻어진 화상을 저장하기 위한 제 1 비디오 플레인 및 제 2 그룹 오브 픽처에서 얻어진 화상을 저장하기 위한 제 2 비디오 플레인에 저장된 화상을 교호로 표시수단에 출력하는 출력스텝을 구비하며,
    각 패킷은 당해 패킷에 포함되는 데이터가 상기 제 1 그룹 오브 픽처에 관한 것인지, 상기 제 2 그룹 오브 픽처에 관한 것인지를 나타내는 패킷 식별자를 포함하고,
    상기 비디오 디코드 스텝은 상기 패킷 식별자가 상기 제 1 그룹 오브 픽처에 관한 것임을 나타내는 경우에는 디코드한 화상을 제 1 비디오 플레인에 출력하고, 상기 패킷 식별자가 상기 제 2 그룹 오브 픽처에 관한 것임을 나타내는 경우에는 디코드한 화상을 제 2 비디오 플레인에 출력하는 것을 특징으로 하는 재생방법.
KR1020097017473A 2008-01-17 2009-01-14 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 기록하는 기록장치, 3ｄ 영상을 재생하는 재생장치 및 재생방법 KR20100096000A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US2181708P 2008-01-17 2008-01-17
US61/021,817 2008-01-17

Publications (1)

Publication Number Publication Date
KR20100096000A true KR20100096000A (ko) 2010-09-01

Family

ID=40885260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017473A KR20100096000A (ko) 2008-01-17 2009-01-14 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 기록하는 기록장치, 3ｄ 영상을 재생하는 재생장치 및 재생방법

Country Status (15)

Country Link
US (2) US8139930B2 (ko)
EP (1) EP2230844B1 (ko)
JP (1) JP4527808B2 (ko)
KR (1) KR20100096000A (ko)
CN (1) CN101682719B (ko)
AU (1) AU2009205250B2 (ko)
BR (1) BRPI0902887A2 (ko)
CA (1) CA2680696C (ko)
DK (1) DK2230844T3 (ko)
ES (1) ES2659717T3 (ko)
MX (1) MX2009009963A (ko)
MY (1) MY148196A (ko)
RU (1) RU2505870C2 (ko)
WO (1) WO2009090868A1 (ko)
ZA (1) ZA200905799B (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454549B1 (en) 2008-07-25 2022-07-13 Koninklijke Philips N.V. 3d display handling of subtitles
US10742953B2 (en) 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
US8451320B1 (en) * 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
WO2010087574A2 (en) 2009-01-28 2010-08-05 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP5465523B2 (ja) * 2009-01-29 2014-04-09 三洋電機株式会社 立体画像表示システム
US8369693B2 (en) * 2009-03-27 2013-02-05 Dell Products L.P. Visual information storage methods and systems
JP4919122B2 (ja) 2009-04-03 2012-04-18 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4915458B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4962814B2 (ja) * 2009-04-03 2012-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4993224B2 (ja) 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
JP5400467B2 (ja) * 2009-05-01 2014-01-29 キヤノン株式会社 映像出力装置、その制御方法、及びプログラム
US8593511B2 (en) 2009-06-11 2013-11-26 Panasonic Corporation Playback device, integrated circuit, recording medium
WO2010143439A1 (ja) 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
CN102474603B (zh) 2009-07-04 2015-04-22 杜比实验室特许公司 帧兼容三维传输中全分辨率图形、菜单和字幕的支持
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
US8289374B2 (en) 2009-08-25 2012-10-16 Disney Enterprises, Inc. Method and system for encoding and transmitting high definition 3-D multimedia content
JP2011055148A (ja) * 2009-08-31 2011-03-17 Toshiba Corp 映像合成装置、映像表示装置および映像合成方法
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법
JP5502436B2 (ja) * 2009-11-27 2014-05-28 パナソニック株式会社 映像信号処理装置
JP2013042196A (ja) * 2009-12-21 2013-02-28 Panasonic Corp 再生装置
TWI404405B (zh) * 2009-12-25 2013-08-01 Mstar Semiconductor Inc 具有螢幕顯示功能之影像處理裝置及影像處理方法
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20110157302A1 (en) * 2009-12-30 2011-06-30 Ati Technologies Ulc Three-dimensional video display system with multi-stream sending/receiving operation
KR101626742B1 (ko) * 2009-12-31 2016-06-03 엘지디스플레이 주식회사 멀티 영상 표시 시스템
JP2011146831A (ja) * 2010-01-13 2011-07-28 Sony Corp 映像処理装置、映像制御方法及びコンピュータプログラム
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US8712173B2 (en) * 2010-03-12 2014-04-29 Mediatek Singapore Pte. Ltd. Methods for processing 2Nx2N block with N being positive integer greater than four under intra-prediction mode and related processing circuits thereof
JP5870272B2 (ja) * 2010-03-29 2016-02-24 パナソニックＩｐマネジメント株式会社 映像処理装置
JP5577805B2 (ja) * 2010-04-08 2014-08-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5374641B2 (ja) * 2010-04-20 2013-12-25 パナソニック株式会社 ３ｄ映像記録装置及び３ｄ映像信号処理装置
US9118896B2 (en) 2010-04-21 2015-08-25 Hitachi Maxell, Ltd. Digital contents receiver, digital contents receiving method and digital contents transmitting and receiving method
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
JP5637750B2 (ja) 2010-06-30 2014-12-10 日立コンシューマエレクトロニクス株式会社 記録装置／方法／媒体、再生装置／方法
JP5537290B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置／方法／媒体、再生装置／方法
JP5537289B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置／方法／媒体、再生装置／方法
JP5527727B2 (ja) * 2010-08-06 2014-06-25 日立コンシューマエレクトロニクス株式会社 映像表示システム及び表示装置
JP5496043B2 (ja) * 2010-09-30 2014-05-21 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置および表示制御方法
EP2437513A1 (en) * 2010-10-01 2012-04-04 Hitachi Consumer Electronics Co. Ltd. Receiver for 2D and 3D video content
US20120113218A1 (en) * 2010-10-01 2012-05-10 Manabu Sasamoto Receiving apparatus and receiving method
US10424274B2 (en) 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
JP5452537B2 (ja) * 2011-04-04 2014-03-26 日立コンシューマエレクトロニクス株式会社 映像表示システム及び表示装置
US9485494B1 (en) * 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US8681170B2 (en) 2011-05-05 2014-03-25 Ati Technologies Ulc Apparatus and method for multi-streaming for more than three pixel component values
TWI501624B (zh) * 2011-05-13 2015-09-21 Innolux Corp 保密顯示系統、保密顯示器、保密顯示方法及保密眼鏡
TWI487381B (zh) * 2011-05-19 2015-06-01 Nat Univ Chung Cheng Predictive Coding Method for Multimedia Image Texture
KR20140105367A (ko) * 2011-12-28 2014-09-01 파나소닉 주식회사 재생장치, 송신장치, 재생방법 및 송신방법
US20150085071A1 (en) * 2012-04-04 2015-03-26 Ruiz Rodriquez Ezequiel System for generating and receiving a stereoscopic 2d-backward-compatible video stream, and method thereof
CN103428463B (zh) * 2012-05-19 2016-10-12 腾讯科技（深圳）有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
WO2014100994A1 (en) * 2012-12-26 2014-07-03 Thomson Licensing Method and apparatus for content presentation
US20140212115A1 (en) * 2013-01-31 2014-07-31 Hewlett Packard Development Company, L.P. Optical disc with three-dimensional viewing depth
EP3020042B1 (en) 2013-07-08 2018-03-21 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
JP5903461B2 (ja) * 2014-06-06 2016-04-13 日立マクセル株式会社 送受信システムおよび送受信方法
JP5947866B2 (ja) * 2014-11-26 2016-07-06 日立マクセル株式会社 受信装置および受信方法
WO2016116974A1 (ja) * 2015-01-20 2016-07-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生制御方法、再生装置及び再生システム
JP6584916B2 (ja) * 2015-01-20 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 再生制御方法、再生装置及び再生システム
JP5947942B2 (ja) * 2015-03-27 2016-07-06 日立マクセル株式会社 送受信システムおよび送受信方法
JP5952453B2 (ja) * 2015-03-27 2016-07-13 日立マクセル株式会社 受信装置および受信方法
JP5952454B2 (ja) * 2015-03-27 2016-07-13 日立マクセル株式会社 受信装置および受信方法
JP6117976B2 (ja) * 2016-06-09 2017-04-19 日立マクセル株式会社 受信装置および受信方法
JP6117410B2 (ja) * 2016-06-09 2017-04-19 日立マクセル株式会社 送受信システムおよび送受信方法
JP2017143551A (ja) * 2017-03-22 2017-08-17 日立マクセル株式会社 受信装置および受信方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY110659A (en) * 1995-09-29 1998-11-30 Matsushita Electric Ind Co Ltd A method and an apparatus for interleaving bitstream to record thereof on a recording medium, and reproducing the interleaved bitstream therefrom
EP0888018B1 (en) * 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
JP2000270347A (ja) * 1999-03-17 2000-09-29 Sharp Corp 記録装置、及び該記録装置を用いた監視システム
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
JP3948979B2 (ja) * 2002-02-18 2007-07-25 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP4594766B2 (ja) * 2004-03-10 2010-12-08 パナソニック株式会社 オーサリングシステム、プログラム、オーサリング方法。
CN101815212B (zh) * 2004-04-16 2013-01-02 松下电器产业株式会社 重放装置以及记录方法
US8150232B2 (en) * 2004-09-03 2012-04-03 Panasonic Corporation Recording medium, recording device, program, and recording method
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
KR20070022580A (ko) * 2005-08-22 2007-02-27 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
JP4758997B2 (ja) * 2005-10-27 2011-08-31 パナソニック株式会社 トランスポートストリーム生成装置およびこれを備えた記録装置、並びにトランスポートストリーム生成方法
JP5351039B2 (ja) * 2007-11-01 2013-11-27 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、及び記録方法
EP2234109B8 (en) * 2007-12-17 2016-06-01 Panasonic Intellectual Property Corporation of America Individual sales oriented recording medium, recording device, reproducing device and method for them

Also Published As

Publication number Publication date
MX2009009963A (es) 2009-10-08
EP2230844A1 (en) 2010-09-22
RU2505870C2 (ru) 2014-01-27
CA2680696C (en) 2016-04-05
JP4527808B2 (ja) 2010-08-18
JPWO2009090868A1 (ja) 2011-05-26
US20090220213A1 (en) 2009-09-03
CA2680696A1 (en) 2009-07-23
ES2659717T3 (es) 2018-03-19
US8139930B2 (en) 2012-03-20
AU2009205250A1 (en) 2009-07-23
BRPI0902887A2 (pt) 2015-09-22
CN101682719A (zh) 2010-03-24
WO2009090868A1 (ja) 2009-07-23
AU2009205250B2 (en) 2013-02-21
EP2230844A4 (en) 2014-07-30
AU2009205250A2 (en) 2009-12-10
DK2230844T3 (en) 2018-01-02
MY148196A (en) 2013-03-15
EP2230844B1 (en) 2017-11-22
RU2009134736A (ru) 2011-03-27
US20120141097A1 (en) 2012-06-07
ZA200905799B (en) 2011-10-26
CN101682719B (zh) 2013-01-30

Similar Documents

Publication Publication Date Title
JP4527808B2 (ja) ３ｄ映像が記録された記録媒体、３ｄ映像を記録する記録装置、並びに３ｄ映像を再生する再生装置及び再生方法
US8503869B2 (en) Stereoscopic video playback device and stereoscopic video display device
JP5480915B2 (ja) 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
US8565576B2 (en) Optical disc for reproducing stereoscopic video image
JP5369952B2 (ja) 情報処理装置および情報処理方法
JP5191019B1 (ja) 再生装置、記録媒体、および情報処理方法
US8538234B2 (en) Display device and method, transmission device and method, and reception device and method
WO2010116998A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録媒体
WO2010116895A1 (ja) 記録装置、記録方法、再生装置、再生方法、記録媒体、およびプログラム
CA2725009C (en) Information processing apparatus, information processing method, program, and recording medium
JP2012130045A (ja) 記録方法
JP2012100335A (ja) 再生装置、再生方法、および記録方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application