KR20110074823A - 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치 - Google Patents

3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치 Download PDF

Info

Publication number
KR20110074823A
KR20110074823A KR1020107004132A KR20107004132A KR20110074823A KR 20110074823 A KR20110074823 A KR 20110074823A KR 1020107004132 A KR1020107004132 A KR 1020107004132A KR 20107004132 A KR20107004132 A KR 20107004132A KR 20110074823 A KR20110074823 A KR 20110074823A
Authority
KR
South Korea
Prior art keywords
stream
file
information
playback
video stream
Prior art date
Application number
KR1020107004132A
Other languages
English (en)
Inventor
와타루 이케다
도모키 오가와
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20110074823A publication Critical patent/KR20110074823A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/10611—3D video data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B2020/1218—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc
    • G11B2020/1224—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc extent, i.e. a set of sectors which numbers form a continuous ascending sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

기록매체에는 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림이 인터리브 형식의 트랜스 포트 스트림 파일로 변환되어서 기록되어 있다. 인터리브 형식의 트랜스 포트 스트림 파일은 파일 참조정보와 동일한 식별번호와 인터리브 형식의 트랜스 포트 스트림 파일이라는 취지는 나타내는 확장자에 의해서 특정된다. 인터리브 형식의 트랜스 포트 스트림 파일을 구성하는 익스텐트 중, 라이트 뷰 비디오 스트림 및 레프트 뷰 비디오 스트림에 해당하는 것은 파일 참조정보와 동일한 식별번호와, 트랜스 포트 스트림 파일이라는 취지를 나타내는 확장자에 의해서 통상 형식의 트랜스 포트 스트림 파일로 특정된다.

Description

3Ｄ 영상에 관한 기록매체, 재생장치, 시스템 ＬＳＩ, 재생방법, 안경 및 표시장치{RECORDING MEDIUM, PLAYBACK DEVICE, SYSTEM LSI, PLAYBACK METHOD, GLASSES, AND DISPLAY DEVICE FOR 3D IMAGES}
본 발명은 3D 영상 및 2D 영상의 기록기술의 기술분야에 속하는 발명이다.
2D 영상이란 표시장치의 표시화면을 X-Y 평면으로 파악하여, 이 X-Y 평면상의 화소에 의해 표현되는 화상이며, 평면 시 화상(planar image)이라고도 불린다.
대조적으로 3D 영상이란 표시장치의 화면에서의 X-Y 평면상의 화소에 Z축 방향의 깊이(depth)를 부가한 화상이다. 3D 영상은 왼쪽 눈으로 시청해야하는 레프트 뷰 영상과 오른쪽 눈으로 시청해야하는 라이트 뷰 영상을 함께 재생하여, 이들 레프트 뷰 영상, 라이트 뷰 영상으로 입체 시(立體 視) 효과를 발휘함으로써 사용자에 의한 시청에 제공된다. 3D 영상에서의 화소 중 정의 Z축 좌표를 갖는 것을 사용자는 표시장치의 화면보다 바로 앞에 있다고 느끼며, 부의 Z축 좌표를 갖는 것을 화면보다 안쪽에 존재한다고 느낀다.
광디스크에 3D 영상을 저장하는 경우에는 2D 영상이 저장된 광디스크만을 재생할 수 있는 재생장치(이하, 「2D 재생장치」라 한다)와의 재생 호환성이 요구된다. 3D 영상을 저장한 광디스크에 대해 2D 재생장치가 3D 영상을 2D 영상으로 재생할 수 없는 경우에는 동일한 콘텐츠에 대해 3D용 디스크와 2D용 디스크의 2종류를 제작해야 하므로 비용이 상승한다. 따라서 3D 영상이 저장된 광디스크는 2D 재생장치에서는 2D 영상으로 재생하고, 2D 영상과 3D 영상을 재생할 수 있는 재생장치(이하, 「2D/3D 재생장치」)에서는 2D 영상 또는 3D 영상으로 재생할 수 있을 것이 요구된다.
3D 영상이 저장된 광디스크에서의 재생 호환성을 확보하는 기술의 선행기술로는 이하의 특허문헌 1에 기재된 것이 있다.
특허문헌1:일본국특허제3935507호공보
입체 시 재생에서는 레프트 뷰의 비디오 스트림 및 라이트 뷰의 비디오 스트림을 기록매체에 기록하여 사용자에게 시청하게 할 필요가 있으나, 이들 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 어떤 형식으로 변환해 둘지가 문제가 된다. 일반적인 기록형식은 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 TS 패킷 레벨로 다중화하여 하나의 트랜스 포트 스트림으로 기록한다고 하는 것이나, 이 방법은 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림에 할당할 수 있는 비트 레이트가 저하되어 버린다. 따라서 화질의 저하가 발생할 수 있다.
비트 레이트의 저하를 피하기 위해서는 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 각각의 트랜스 포트 스트림 파일에 저장하고, 레프트 뷰 비디오 스트림을 광디스크로부터 공급하고, 라이트 뷰 비디오 스트림을 하드디스크로부터 공급한다고 하는 생각이 있다. 이 경우, 광디스크 및 하드디스크의 쌍방에서 TS 패킷을 공급할 수 있으므로 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림의 각각에 대하여 어느 정도의 비트 레이트를 확보할 수 있다. 그러나 이러한 생각은 레프트 뷰 비디오 스트림을 광디스크에 의해서 공급하고 라이트 뷰 비디오 스트림을 네트워크에서 공급하여, 이들을 조합해서 사용자에게 재생하게 한다고 하는 용도에는 적합하나, 하나의 광디스크에 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 저장할 수는 없다. 따라서 이러한 생각은 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 하나의 광디스크에 기록해서 하나의 상품으로 판매하거나, 점두(店頭)에서 임대하는 비즈니스 형태에는 적합하다고는 할 수 없으며, 영화작품 업계로부터는 그렇게 환영받지 못할 것으로 생각된다.
비트 레이트를 확보하면서 라이트 뷰 비디오 스트림, 레프트 뷰 비디오 스트림을 기록하는 방법에는, 소위 멀티앵글 재생에서 실현되어 있는 것과 같이, 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 하나의 인터리브 형식의 트랜스 포트 스트림 파일로 변환하여 광디스크에 기록한다고 하는 생각이 있다.
레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림을 인터리브 형식으로 변환하여 하나의 트랜스 포트 스트림 파일에 저장하는 저장형식에서는 레프트 뷰 비디오 스트림을 구성하는 익스텐트와 라이트 뷰 비디오 스트림을 구성하는 익스텐트로 Arrival Time Stamp(ATS)의 값이 연속으로 되어 있지 않으므로, 재생 시에는 ATS가 증가하고나서 감소하고 ATS가 증가하고나서 감소한다고 하는 불규칙적인 변화를 반복하게 된다. 이는, 통상의 비디오 스트림의 ATS의 변화, 즉, ATS가 단조 증가한다고 하는 변화와는 상이하므로, 2D 재생장치에 의해서 이러한 인터리브 형식의 트랜스 포트 스트림 파일이 2D 재생장치에 의한 재생에 제공된 경우에는 2D 재생장치의 정상동작을 보장할 수 없다고 하는 위험성이 있다.
본 발명의 목적은 3D 재생장치와 2D 재생장치의 쌍방에서 재생되는 것을 보장할 수 있는 기록매체를 제공하는 것이다.
상기 과제를 해결하기 위해서 본 발명의 기록매체는, 플레이리스트 정보와 스트림 파일이 기록된 기록매체로, 상기 플레이리스트 정보는 1 이상의 재생구간정보를 포함하고, 상기 재생구간정보는 비디오 스트림을 저장한 상기 스트림 파일을 지정하는 파일 참조정보를 포함하며, 상기 스트림 파일은 인터리브된 트랜스 포트 스트림 파일과 통상 형식의 트랜스 포트 스트림 파일이고, 상기 인터리브된 트랜스 포트 스트림 파일은 레프트 뷰 비디오 스트림을 저장한 트랜스 포트 스트림을 분할함으로써 얻어지는 복수의 분할부분 및 라이트 뷰 비디오 스트림을 저장한 트랜스 포트 스트림을 분할함으로써 얻어지는 복수의 분할부분 각각을 교호로 배치함으로써 구성되어 있으며, 상기 파일 참조정보와 동일한 식별번호와 인터리브 되어 있다고 하는 취지를 나타내는 확장자에 의해서 특정되고, 상기 통상 형식의 트랜스 포트 스트림 파일은 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 일방이며, 단독재생할 수 있는 베이스 뷰 비디오 스트림을 저장하고 있고, 상기 파일 참조정보와 동일한 식별번호와 통상 형식이라는 취지를 나타내는 확장자에 의해서 특정되는 것을 특징으로 한다.
본 발명에서는 인터리브 형식의 트랜스 포트 스트림 파일이 파일 참조정보와 동일한 식별번호와 인터리브 형식의 트랜스 포트 스트림 파일이라고 하는 취지를 나타내는 확장자에 의해서 특정되므로, 재생장치의 출력 모드가 입체 시 재생 모드로 되어 있는 경우, 플레이리스트 정보 내의 파일 참조정보와 인터리브 형식의 트랜스 포트 스트림 파일이라고 하는 취지를 나타내는 확장자로 식별되는 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트를 판독하여 재생에 제공하면, 출력 모드가 입체 시 재생 모드로 설정되어 있는 경우에 한하여 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트를 판독할 수 있다. 이에 의해 2D 재생장치에 의해서 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트가 판독되는 일은 없으므로, 인터리브 형식의 트랜스 포트 스트림의 독특한 ATS의 변화, 즉, ATS가 증가하고나서 감소하고, ATS가 증가하고나서 감소한다고 하는 불규칙적인 변화의 반복이 2D 재생장치의 오동작이나 불안정화를 초래하는 일은 없다.
그리고 어느 정해진 파일 참조정보가 기술된 플레이리스트 정보를 작성해 두면, 3D 재생시에 그 파일 참조정보의 파일명과 인터리브 형식의 트랜스 포트 스트림이라는 취지를 나타내는 확장자를 갖는 인터리브 형식의 스트림 파일이 판독되어서 재생되게 되어, 2D 재생시에 그 파일 참조정보의 파일명과 통상 형식의 트랜스 포트 스트림 파일이라는 취지를 나타내는 확장자를 갖는 트랜스 포트 스트림 파일이 판독되어서 재생되게 된다. 이렇게 함으로써 3D용 플레이리스트 정보, 2D용 플레이리스트 정보를 구분할 필요가 없으므로 편집의 수고가 줄어든다.
또, 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트 중, 베이스 뷰 비디오 스트림의 익스텐트는 플레이리스트 정보에 기술된 파일 참조정보와, 통상 형식의 트랜스 포트 스트림 파일이라는 취지를 나타내는 확장자를 이용함으로써 액세스할 수 있다. 인터리브 형식의 트랜스 포트 스트림 파일과는 별개로 평면 시를 위한 트랜스 포트 스트림을 기록하지 않아도 3D 재생장치에서의 입체 시, 2D 재생장치에서의 평면 시의 쌍방을 실현할 수 있으므로 BD-ROM 1장에 3D의 영화작품을 기록해서 사용자에게 공급할 수 있게 된다. 인터리브 형식의 트랜스 포트 스트림 파일과는 별개로 평면 시를 위한 트랜스 포트 스트림 파일을 기록할 필요가 없으므로 3D 영상을 위한 기록매체와 2D 영상을 위한 기록매체를 함께 판매할 필요가 없으며, 3D 영상을 위한 기록매체와 2D 영상을 위한 기록매체를 각각의 상품으로 판매할 필요도 없다. 유통비용이나 소매점, 도매점에서의 재고관리 비용의 증대를 초래하는 일도 없으므로 영화작품 업계는 기존의 2D 영상의 영화작품을 바꾸지 않고 취급할 수 있다.
도 1은 기록매체, 재생장치, 표시장치, 안경의 사용행위에 대한 예를 나타내는 도면이다.
도 2는 사용자의 얼굴을 왼쪽에 묘사하고, 오른쪽에 대상물인 공룡의 골격을 나타내는 동화상을 묘사한 도면이다.
도 3은 입체 시를 위한 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림의 내부 구성의 일 예를 나타내는 도면이다.
도 4는 다층화된 광디스크의 내부 구성을 나타낸다.
도 5는 파일시스템을 전제로 한 광디스크의 애플리케이션 포맷을 나타내는 도면이다.
도 6은 기록방법의 처리순서를 나타내는 플로차트이다.
도 7은 PES 패킷 열에 비디오 스트림이 어떻게 저장되고, TS 패킷 및 소스 패킷으로 변환되는지를 나타낸다.
도 8은 AV 클립이 어떻게 다중화되는지를 모식적으로 나타내는 도면이다.
도 9는 기록방법에 의해서 얻어진 익스텐트의 내부 구성을 나타낸다.
도 10은 익스텐트와 트랜스 포트 스트림 파일의 대응관계를 나타내는 도면이다.
도 11은 인터리브 형식의 트랜스 포트 스트림 파일과, 레프트 뷰의 트랜스 포트 스트림 파일을 커플링(coupling)하는 방법에 대하여 나타내고 있다.
도 12는 AV 파일 기록단계(行程)의 처리순서를 나타내는 플로차트이다.
도 13은 클립정보 파일의 내부 구성을 나타내는 도면이다.
도 14는 클립정보 파일에서의 스트림 속성정보를 나타내는 도면이다.
도 15는 클립정보 파일에서의 엔트리 맵 테이블을 나타내는 도면이다.
도 16은 엔트리 맵에 의한 엔트리 포인트의 등록을 나타낸다.
도 17은 2D 플레이아이템과 3D 플레이아이템의 혼재가 발생하지 않은 플레이리스트를 나타낸다.
도 18은 도 17의 3D 플레이리스트에 서브패스를 더 부가한 플레이리스트를 나타낸다.
도 19는 플레이리스트 정보의 데이터 구조를 나타내는 도면이다.
도 20은 서브패스정보 테이블의 내부 구성을 나타내는 도면이다.
도 21은 레프트 뷰, 라이트 뷰에 대하여 어떤 재생구간이 정의되어 있는가를 나타낸다.
도 22는 스트림 선택 테이블을 나타낸다.
도 23은 도 17의 3D 플레이리스트에 레프트 뷰/라이트 뷰 식별정보를 부가한 도면이다.
도 24는 레프트 뷰 화상, 라이트 뷰 화상과, 센터 화상이 각각 구성되어 있는 2개의 플레이리스트 정보를 나타낸다.
도 25는 2D/3D 재생장치의 구성을 나타내고 있다.
도 26은 시스템 타깃 디코더(4) 및 플레인 메모리 세트(5a)의 내부 구성을 나타내는 도면이다.
도 27은 플레인 합성부(5b)의 내부 구성을 나타내는 도면이다.
도 28은 PG 플레인의 합성방법을 나타내는 도면이다.
도 29는 오프셋 값을 사용해서 크로핑하여 중첩한 후에 사용자에게 어떻게 표시되는가를 모식적으로 나타내는 도면이다.
도 30은 레지스터 세트(10)의 내부 구성 및 재생제어엔진(7b)의 내부 구성을 나타내는 도면이다.
도 31은 출력 모드의 선택 모델의 상태천이를 나타내는 도면이다.
도 32는 Initialization의 처리순서를 나타내는 플로차트이다.
도 33은 Procedure when playback condition is changed의 처리순서를 나타내는 플로차트이다.
도 34는 스트림 선택과정의 처리순서를 나타내는 플로차트이다.
도 35는 플레이리스트의 재생순서를 나타내는 플로차트이다.
도 36은 재생제어엔진의 상태가 정지 중에서 3D 플레이리스트로 절환된 경우, BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
도 37은 재생제어엔진의 상태가 2D 플레이리스트 재생에서 3D 플레이리스트 재생으로 절환된 경우, BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
도 38은 재생제어엔진에 의한 3D 플레이리스트의 재생 중에 대상이 되는 스트림이 절환된 경우, BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
도 39는 표시장치(300), 3D 안경(400)의 내부 구성을 나타내는 도면이다.
도 40은 3D 모드에서의 표시내용과, 안경의 레프트 뷰의 상태 및 라이트 뷰의 상태를 나타낸다.
도 41은 좌우의 셔터를 절환하는 것이 아니라 2개의 안경의 셔터를 절환하는 경우의 멀티 채널 모드에서의 표시내용과, 레프트 뷰의 상태와 라이트 뷰의 상태를 나타낸다.
도 42는 재생장치와 표시장치의 접속상태를 나타내는 도면이다.
도 43은 좌우의 차를 나타내는 화소 수와, 표시장치의 화면상의 거리의 관계를 나타낸다.
도 44는 비디오 스트림과 PG 스트림을 조합한 경우의 조합정보의 기술 예이다.
도 45는 스트림 조합 정보에 따른 재생장치의 스트림 선택의 처리순서를 나타내는 플로차트이다.
도 46은 복수의 3D 방식을 망라할 수 있는 PSR의 비트 할당을 나타내는 도면이다.
도 47은 표시장치가 대응하고 있는 3D 표시방식을 플레이어 세팅 레지스터에 반영시키는 도면이다.
도 48은 인덱스 테이블과 무비 오브젝트의 관계를 나타내고 있다.
도 49는 스트림 선택의 처리순서를 나타내는 플로차트이다.
도 50은 기록매체의 내부 구성을 나타내는 도면이다.
(제 1 실시 예)
도면을 참조하면서 상기 과제해결수단을 구비한 기록매체 및 재생장치의 실시 예에 대하여 설명한다. 먼저, 입체 시의 원리에 대하여 간단히 설명한다.
일반적으로 오른쪽 눈과 왼쪽 눈은 그 위치의 차에 기인하여 오른쪽 눈에서 보이는 상과 왼쪽 눈에서 보이는 상에는 보이는 방식에 약간의 차가 있다. 이 차를 이용하여 인간은 눈에 보이는 상을 입체로 인식할 수 있는 것이다. 입체표시를 하는 경우에는 인간의 시차(視差)를 이용하여 평면의 화상이 마치 입체로 보일 수 있도록 하고 있다.
구체적으로는, 평면표시의 화상에서 오른쪽 눈 용의 화상과 왼쪽 눈 용의 화상에는 인간의 시차에 상당하는 보이는 방식의 차에 상당하는 정도의 차가 있으며, 이들 화상을 짧은 시간간격으로 교호로 번갈아서 표시함으로써 마치 입체적인 표시가 이루어지고 있는 것처럼 보이는 것이다.
이 짧은 시간간격이라고 하는 것은 상술한 교호로 번갈아서 표시하는 표시에 의해서 인간이 입체적으로 보인다고 착각할 정도의 시간이면 된다. 입체 시의 실현법으로는 홀로그래피 기술을 이용하는 방법과 시차 화상(視差 畵像)을 이용하는 방식이 있다.
먼저, 첫 번째의 홀로그래피 기술의 특징으로는 인간이 통상 물체를 인식하는 것과 완전히 동일하게 물체를 입체로 재현할 수 있으나, 동화상 생성에 관해서는 기술적인 이론은 확립되어 있지만, 홀로그래피용의 동화상을 실시간으로 생성하는 방대한 연산량을 수반하는 컴퓨터 및 1㎜ 사이에 수천 개의 선을 그을 수 있을 정도의 해상도를 갖는 표시장치가 필요하나 현재의 기술에서의 실현은 매우 어려우며, 상용으로 실용화되어 있는 예는 거의 없다.
두 번째는 시차 화상을 이용한 방식이다. 이 방식의 이점은 고작 오른쪽 눈 용과 왼쪽 눈 용의 2개의 시점의 영상을 준비하는 것만으로 입체 시를 실현할 수 있는 점에 있으며, 기술적으로는 좌우의 각각의 눈에 대응한 그림을 어떻게 해서 대응하는 눈에만 보이게 할 수 있을지의 관점에서 계시 분리방식(sequential segregation method)을 비롯한 몇 개의 기술이 실용화되어 있다.
계시 분리방식은 왼쪽 눈 용 영상 및 오른쪽 눈 용 영상을 시간 축 방향으로 교호로 표시하게 하고, 눈의 잔상반응에 의해서 좌우의 신(scene)을 뇌 안에서 중첩시켜서 입체영상으로 인식하게 하는 방법이다.
도 1 (a)는 기록매체, 재생장치, 표시장치, 안경의 사용행위에 대한 예를 나타내는 도면이다. 본 도면에 나타내는 것과 같이 기록매체의 일 예인 BD-ROM(100) 및 재생장치(200)는 텔레비전(300), 3D 안경(400), 리모컨(500)과 함께 홈시어터 시스템을 구성하고, 사용자에 의한 사용에 제공된다.
BD-ROM(100)은 상기 홈시어터 시스템에 예를 들어 영화작품을 공급한다.
재생장치(200)는 텔레비전(300)과 접속되며, BD-ROM(100)을 재생한다.
텔레비전(300)은 영화작품의 재생 영상을 표시하거나 메뉴 등을 표시함으로써 대화적인 조작환경을 사용자에게 제공한다. 본 실시 예의 표시장치(300)는 3D 안경(400)을 사용자가 착용함으로써 입체 시를 실현하는 것이나, 표시장치(300)가 렌티큘러 방식의 것이면 3D 안경(400)은 필요하지 않게 된다. 렌티큘러 방식의 표시장치(300)는 화면 중의 종 방향으로 왼쪽 눈 용의 픽처와 오른쪽 눈 용의 픽처를 동시에 교호로 배열하여, 표시장치의 화면 표시에 렌티큘러 렌즈(lenticular lenz)라고 불리는 볼록한 렌즈를 통해서 왼쪽 눈 용의 픽처를 구성하는 화소는 왼쪽 눈에만 결상하고 오른쪽 눈 용의 픽처를 구성하는 화소는 오른쪽 눈에만 결상하도록 함으로써 좌우의 눈에 시차가 있는 픽처를 보이도록 해서 입체 시를 실현한다.
3D 안경(400)은 액정셔터를 구비하고, 계시 분리방식 또는 편광안경방식에 의한 시차 화상을 사용자에게 시청하게 한다. 시차 화상은 오른쪽 눈으로 들어가는 영상과 왼쪽 눈으로 들어가는 영상으로 구성되는 한 세트의 영상이며, 각각의 눈에 대응한 픽처만이 사용자의 눈으로 들어가도록 해서 입체 시를 행하게 한다. 도 1 (b)는 왼쪽 눈 용 영상의 표시시를 나타낸다. 화면상에 왼쪽 눈 용의 영상이 표시되고 있는 순간에 상술한 3D 안경(400)은 왼쪽 눈에 대응하는 액정셔터를 투과로 하고 오른쪽 눈에 대응하는 액정 셔터는 차광한다. 동 도면 (c)는 오른쪽 눈 용 영상의 표시시를 나타낸다. 화면상에 오른쪽 눈 용의 영상이 표시되고 있는 순간에 조금 전과는 역으로 오른쪽 눈에 대응하는 액정 셔터를 투광으로 하고 왼쪽 눈에 대응하는 액정 셔터를 차광한다.
리모컨(500)은 계층화된 GUI에 대한 조작을 사용자로부터 접수하는 기기이며, 이러한 조작 접수를 위해 리모컨(500)은 GUI를 구성하는 메뉴를 호출하는 메뉴 키, 메뉴를 구성하는 GUI 부품의 포커스를 이동시키는 화살표 키, 메뉴를 구성하는 GUI 부품에 대하여 확정조작을 하는 결정 키, 계층화된 메뉴를 더 상위의 것으로 돌려보내기 위한 복귀 키, 수치 키를 구비한다.
이상이 기록매체 및 재생장치의 사용형태에 대한 설명이다.
본 실시 예에서는 입체 시에 사용하는 시차 화상을 정보기록매체에 저장하는 방법을 설명한다.
시차 화상방식은 오른쪽 눈으로 들어가는 영상과 왼쪽 눈으로 들어가는 영상을 각각 준비하고, 각각의 눈에 대응한 픽처만이 들어가도록 해서 입체 시를 하는 방법이다. 도 2는 사용자의 얼굴을 왼쪽에 묘사하고 오른쪽에는 대상물인 공룡의 골격을 왼쪽 눈에서 본 경우의 예와, 대상물인 공룡의 골격을 오른쪽 눈에서 본 경우의 예를 나타내고 있다. 오른쪽 눈 및 왼쪽 눈의 투광, 차광이 반복되면, 사용자의 뇌 안에서는 눈의 잔상반응에 의해서 좌우의 신의 중첩이 이루어져서 얼굴 중앙의 연장선상에 입체영상이 존재하는 것으로 인식할 수 있다.
시차 화상 중 왼쪽 눈으로 들어가는 화상을 왼쪽 눈 화상(L화상)이라 하고 오른쪽 눈으로 들어가는 화상을 오른쪽 눈 화상(R화상)이라고 한다. 그리고 각각의 픽처가 L화상으로 되어있는 동화상을 레프트 뷰 비디오라 하고 각각의 픽처가 R화상으로 되어 있는 동화상을 라이트 뷰 비디오라 한다. 그리고 레프트 뷰 비디오, 라이트 뷰 비디오를 디지털화하여 압축 부호화함으로써 얻어지는 비디오 스트림을 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림이라고 한다.
도 3은 입체 시를 위한 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림의 내부 구성의 일 예를 나타내는 도면이다.
동 도면의 제 2 단째는 레프트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 스트림에는 픽처 데이터 I1, P2, Br3, Br4, P5, Br6, Br7, P9라고 하는 픽처 데이터가 포함되어 있다. 이들 픽처 데이터는 Decode Time Stamp(DTS)에 따라서 디코드 된다. 제 1 단째는 왼쪽 눈 화상을 나타낸다. 그렇게 해서 디코드 된 픽처 데이터 I1, P2, Br3, Br4. P5, Br6, Br7, P9를 PTS에 따라서 I1, Br3, Br4, P2, Br6, Br7, P5의 순서로 재생함으로써 왼쪽 눈 화상이 재생되게 된다. 동 도면에서 참조 픽처를 갖지 않고 부호화 대상 픽처만을 이용하여 픽처 내 예측부호화를 하는 픽처를 I 픽처라 한다. 픽처는 프레임 및 필드의 양쪽을 포함하는 하나의 부호화의 단위이다.
또, 이미 처리가 완료된 1매의 픽처를 참조하여 픽처 간 예측부호화를 하는 픽처를 P 픽처라 하고, 이미 처리가 완료된 2매의 픽처를 동시에 참조하여 픽처 간 예측부호화를 하는 픽처를 B 픽처라 하며, B 픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br 픽처라 한다. 또, 프레임 구조인 경우의 프레임, 필드 구조의 필드를 여기에서는 비디오 액세스 유닛이라고 한다.
제 4 단째는 레프트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 레프트 뷰 비디오 스트림은 P1, P2, B3, B4, P5, B6, B7, P8이라고 하는 픽처 데이터가 포함되어 있다. 이들 픽처 데이터는 DTS에 따라서 디코드 된다. 제 3 단째는 오른쪽 눈 화상을 나타낸다. 그렇게 디코드 된 픽처 데이터 P1, P2, B3, B4, P5, B6, B7, P8을 PTS에 따라서 P1, B3, B4, P2, B6, B7, P5의 순서로 재생함으로써 오른쪽 눈 화상이 재생되게 된다.
제 5 단째는 3D 안경(400)의 상태를 어떻게 변화시키는지를 나타낸다. 이 제 5 단째에 나타낸 것과 같이, 왼쪽 눈 화상의 시청시에는 오른쪽 눈의 셔터를 닫고, 오른쪽 눈 화상의 시청시에는 왼쪽 눈의 셔터를 닫고 있음을 알 수 있다.
이들 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림은 시간방향의 상관특성을 이용한 픽처 간 예측부호화에 더하여 시점 간의 상관특성을 이용한 픽처 간 예측부호화에 의해서 압축되어 있다. 라이트 뷰 비디오 스트림의 픽처는 레프트 뷰 비디오 스트림의 동일한 표시시각의 픽처를 참조하여 압축되어 있다.
예를 들어, 라이트 뷰 비디오 스트림의 선두 P 픽처는 레프트 뷰 비디오 스트림의 I 픽처를 참조하고, 라이트 뷰 비디오 스트림의 B 픽처는 레프트 뷰 비디오 스트림의 Br 픽처를 참조하며, 라이트 뷰 비디오 스트림의 두 번째의 P 픽처는 레프트 뷰 비디오 스트림의 P 픽처를 참조하고 있다.
이와 같은 시점 간의 상관특성을 이용한 비디오 압축의 방법으로는 Multi view Video Coding(MVC)이라 불리는 MPEG-4 AVC/H.264의 수정 규격이 있다. ISO/IEC MPEG과 ITU-T VCEG의 공동 프로젝트인 Joint Video Team(JVT)은 2008년 7월에 Multiview Video Coding(MVC)라 불리는 MPEG-4 AVC/H.264의 수정규격의 특정을 완료하였다. MVC는 복수 시점의 영상을 종합하여 부호화하는 규격이고, 영상의 시간방향의 유사성뿐만 아니라 시점 간의 유사성도 예측부호화에 이용함으로써 복수 시점의 독립한 압축에 비하여 압축효율을 향상시키고 있다.
그리고 MVC에 의해서 압축 부호화된 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 단체(單體)로 복호화가 가능해지는 것을 "베이스 뷰 비디오 스트림"이라고 한다. 또, 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 베이스 뷰 비디오 스트림을 구성하는 각각의 픽처 데이터와의 프레임 간 상관특성에 의거하여 압축 부호화되어 있으며 베이스 뷰 비디오 스트림이 복호된 후에 복호가 가능해지는 비디오 스트림을 "디펜던트 뷰 스트림(dependent-view stream)"이라고 한다.
다음에, 기록매체를 만들기 위한 형태, 즉 기록매체의 생산행위의 형태에 대하여 설명한다.
도 4는 다층화된 광디스크의 내부 구성을 나타낸다.
제 1 단째는 다층화된 광디스크인 BD-ROM을 나타내고, 제 2 단째는 각 기록 층 상에 존재하는 나선 트랙을 수평방향으로 연장하여 묘사한 도면이다. 이들 기록 층에서의 나선 트랙은 하나의 연속하는 볼륨영역으로 취급된다. 볼륨영역은 최 내주에 위치하는 리드인, 최 외주에 위치하는 리드 아웃, 이 사이에 존재하는 제 1 기록 층의 기록영역, 제 2 기록 층의 기록영역, 제 3 기록 층의 기록영역으로 구성된다. 이들 제 1 기록 층의 기록영역, 제 2 기록 층의 기록영역, 제 3 기록 층의 기록영역은 하나의 연속하는 논리어드레스 공간을 구성한다.
볼륨영역은 선두에서부터 광디스크를 액세스하는 단위로 일련번호가 할당되어 있으며, 이 번호를 논리어드레스라고 부른다. 광디스크로부터의 데이터의 판독은 논리어드레스를 지정함으로써 행한다. 여기서, 논리어드레스가 연속하고 있는 섹터는 광디스크 상의 물리적인 배치에서도 연속하고 있다. 즉, 논리어드레스가 연속하고 있는 섹터의 데이터는 씨크를 하지 않고 판독할 수 있다. 한편, 기록 층의 경계와 같이 연속적인 판독이 불가능한 부분에 대해서는 논리어드레스가 연속하고 있지 않은 것으로 한다.
볼륨영역은 리드인 영역의 직후에 파일시스템 관리정보가 기록되어 있고, 이에 이어서 파일시스템 관리정보에 의해 관리되는 파티션 영역이 존재한다. 파일시스템은 디스크 상의 데이터를 디렉터리 또는 파일이라 불리는 단위로 표현하는 구조이며, BD-ROM(100)의 경우에는 UDF(Universal Disc Format)에 의해서 기록된다. 평소 사용하고 있는 PC(퍼스널 컴퓨터)의 경우에도 FAT 또는 NTFS라고 불리는 파일시스템을 통함으로써 디렉터리나 파일이라고 하는 구조로 하드디스크에 기록된 데이터가 컴퓨터상에 표현되어 유용성을 높이고 있다. 이 파일시스템에 의해서 통상의 PC와 동일하게 기록되어 있는 논리데이터를 디렉터리, 파일 구조를 사용하여 판독할 수 있게 되어 있다.
파일시스템상에서 액세스 가능한 파일 중 비디오 스트림 및 오디오 스트림을 다중화함으로써 얻어진 AV 스트림을 저장하고 있는 파일을 "AV 파일"이라고 한다. 한편, AV 스트림 이외의 일반적인 데이터를 저장하고 있는 파일을 "비 AV 파일"이라고 한다.
비디오 스트림, 오디오 스트림을 비롯한 Packtized Elementary 스트림(PES 스트림)이 TS 패킷으로 변환된 후에 다중화되어 있으므로 AV 스트림이 트랜스 포트 스트림 형식으로 되어 있는 AV 파일을 「트랜스 포트 스트림 파일」이라고 한다.
이와 달리, 비디오 스트림, 오디오 스트림을 비롯한 PES 스트림이 팩 열(pack sequence)로 변환된 후에 다중화되어 있으므로 AV 스트림이 시스템 스트림 형식으로 되어 있는 AV 파일을 「시스템 스트림 파일」이라고 한다.
BD-ROM, BD-RE, BD-R에 기록되는 AV 파일은 전자의 트랜스 포트 스트림 파일이다. DVD-Video, DVD-RW, DVD-R, DVD-RAM에 기록되는 AV 파일은 후자의 시스템 스트림 파일이며, Video Object라고도 불린다.
제 4 단째는 파일시스템에 의해 관리되는 파일시스템영역에서의 영역할당을 나타낸다. 파일시스템영역 중 내주 측에는 비 AV 데이터 기록영역이 존재한다. 비 AV 데이터 기록영역의 직후에는 AV 데이터 기록영역이 존재한다. 제 5 단째는 이들 비 AV 데이터 기록영역 및 AV 데이터 기록영역의 기록내용을 나타낸다. AV 데이터 기록영역에는 AV 파일을 구성하는 익스텐트가 존재한다. 비 AV 데이터 기록영역에는 AV 파일 이외의 비 AV 파일을 구성하는 익스텐트가 존재한다.
도 5는 파일시스템을 전제로 한 광디스크의 애플리케이션 포맷을 나타내는 도면이다.
BDMV 디렉터리는 BD-ROM에서 취급하는 AV 콘텐츠나 관리정보 등의 데이터가 기록되어 있는 디렉터리이다. BDMV 디렉터리의 바로 아래에는 「PLAYLIST 디렉터리」, 「CLIPINF 디렉터리」, 「STREAM 디렉터리」, 「BDJO 디렉터리」, 「JAR 디렉터리」라고 불리는 5개의 서브 디렉터리가 존재하고, BDMV 디렉터리에는 「index.bdmv」, 「MovieObject.bdmv」의 2종류의 파일이 배치되어 있다.
「index.bdmv(파일 명 고정)」은 BD-ROM에서 재생이 가능해지는 복수 타이틀의 타이틀 번호와, 각각의 타이틀을 규정하는 프로그램 파일, 즉, BD-J 오브젝트 또는 무비 오브젝트와의 대응관계를 나타내는 인덱스 테이블을 저장하고 있다. 인덱스 테이블은 BD-ROM 전체에 관한 관리정보이고, 재생장치로의 디스크 삽입 후에 index.bdmv가 최초로 판독됨으로써 재생장치에서 디스크가 고유하게 인식된다. 인덱스 테이블은 BD-ROM에 저장되는 모든 타이틀, 톱 메뉴, FirstPlay라고 하는 타이틀 구성을 정의하는 최상위 층의 테이블이다. 인덱스 테이블에는 일반 타이틀, 톱 메뉴 타이틀, FirstPlay 타이틀에서 최초로 실행되는 프로그램 파일이 지정되어 있다. BD-ROM의 재생장치는 타이틀 또는 메뉴가 호출될 때마다 인덱스 테이블을 참조해서 소정의 프로그램 파일을 실행한다. 여기서, FirstPlay 타이틀은 콘텐츠 공급자에 의해서 설정되는 것으로, 디스크 투입 시에 자동으로 실행되는 프로그램 파일이 설정되어 있다. 또, 톱 메뉴 타이틀은 리모컨에 의한 사용자 조작으로 「메뉴로 돌아간다」라고 하는 커맨드가 실행될 때에 호출되는 무비 오브젝트, BD-J 오브젝트가 지정되어 있다. 입체 시에 관한 정보로 Index.bdmv는 Initial_output_mode 정보를 갖는다. 이 Initial_output_mode 정보는 Index.bdmv가 로드된 경우 재생장치의 출력 모드의 초기상태가 어때야 하는지를 규정하는 정보이며, 제작자 측이 희망하는 출력 모드를 이 Initial_output_mode 정보에 규정해 둘 수 있다.
「MovieObject.bdmv(파일 명 고정)」은 하나 이상의 무비 오브젝트를 저장하고 있다. 무비 오브젝트는 커맨드 인터프리터를 제어주체로 한 동작 모드(HDMV 모드)에서 재생장치가 행할 제어순서를 규정하는 프로그램 파일이며, 하나 이상의 커맨드와, GUI에 대한 메뉴 콜, 타이틀 콜이 사용자에 의해서 이루어진 경우에 이들 콜을 마스크 하는가 여부를 규정하는 마스크 플래그를 포함한다.
「BDJO 디렉터리」에는 확장자 bdjo가 부여된 프로그램 파일(xxxxx.bdjo[ "xxxxx"는 가변, 확장자 "bdjo"는 고정])이 존재한다. 이 프로그램 파일은 바이트코드 인터프리터인 Java(등록상표) 가상 머신을 제어주체로 한 동작모드(BD-J 모드)에서 재생장치가 행할 제어순서를 규정하는 BD-J 오브젝트를 저장하고 있다. 이 BD-J 오브젝트는 「애플리케이션 관리테이블」을 포함한다. BD-J 오브젝트 내의 「애플리케이션 관리테이블」은 타이틀을 생존구간으로 한 애플리케이션 시그널링을 재생장치에 행하게 하기 위한 테이블이다. 애플리케이션 관리테이블은 BD-J 오브젝트에 대응하는 타이틀이 현재 타이틀이 된 때에 동작시킬 애플리케이션을 특정하는 『애플리케이션 식별자』와 『제어코드』를 포함한다. 애플리케이션 관리테이블에 의해서 생존구간이 규정되는 BD-J 애플리케이션을 특히 『BD-J 애플리케이션』이라고 한다. 제어코드는 AutoRun으로 설정된 경우에는 이 애플리케이션을 히프 메모리에 로드한 후에 자동으로 기동하는 취지를 나타내고, Present로 설정된 경우에는 이 애플리케이션을 히프 메모리에 로드한 후에 다른 애플리케이션으로부터의 콜을 기다려서 기동한다는 취지를 나타낸다. 한편, BD-J 애플리케이션 중에는 타이틀이 종료하였다고 하더라도 그 동작이 종료하지 않은 애플리케이션이 있다. 이러한 애플리케이션을 "타이틀 언바운더리 애플리케이션"이라고 한다.
이 Java(등록상표) 애플리케이션의 실체에 해당하는 것이 BDMV 디렉터리 바로 아래의 JAR 디렉터리에 저장된 Java(등록상표) 아카이브 파일(YYYYY.jar)이다.
애플리케이션은 예를 들어 Java(등록상표) 애플리케이션이고, 가상 머신의 히프 영역(워크 메모리라고도 불린다)에 로드된 하나 이상의 xlet 프로그램으로 이루어진다. 이 워크 메모리에 로드된 xlet 프로그램 및 데이터로 애플리케이션이 구성되게 된다.
「PLAYLIST 디렉터리」에는 확장자 mpls가 부여된 플레이리스트 정보 파일(xxxxx.mpls["xxxxx"는 가변, 확장자 "mpls"는 고정])이 존재한다.
"플레이리스트"는 AV 스트림의 시간 축 상에서 재생구간을 규정하는 동시에, 이 재생구간끼리의 재생순서를 논리적으로 지정함으로써 규정되는 재생경로이며, 복수의 AV 스트림 중 어느 것을 어느 부분만큼 재생해서 어떤 순서로 신을 전개해갈지를 규정하는 역할을 한다. 플레이리스트 정보 파일은 이러한 플레이리스트의 "유형"을 정의하는 플레이리스트 정보를 저장하고 있다. 재생제어를 위한 Java(TM) 애플리케이션이 이 플레이리스트 정보를 재생하는 JMF 플레이어 인스턴스의 생성을 Java(TM) 가상 머신에 명함으로써 AV 재생을 개시시킬 수 있다. JMF(Java Media Frame work) 플레이어 인스턴스는 JMF 플레이어 클래스를 기초로 해서 가상 머신의 히프 메모리 상에 생성되는 실제의 데이터를 말한다.
「CLIPINF 디렉터리」에는 확장자 clpi가 부여된 클립정보 파일(xxxxx.clpi["xxxxx"는 가변, 확장자 "clpi"는 고정])이 존재한다.
이상의 디렉터리에 존재하는 파일을 구성하는 익스텐트는 비 AV 데이터 영역에 기록된다.
「STREAM 디렉터리」는 트랜스 포트 스트림 파일을 저장하고 있는 디렉터리이고, 본 디렉터리에는 xxxxx.m2ts(["xxxxx"는 가변, 확장자 "m2ts"는 고정])이라고 하는 형식으로 트랜스 포트 스트림 파일이 저장된다.
STREAM 디렉터리에서의 트랜스 포트 스트림 파일은 AV 클립을 저장하고 있다. "AV 클립"이란 AV 스트림의 "부분(piece)"이며, 비디오 스트림, 오디오 스트림, 그래픽스 스트림 등 복수 종별의 PES 스트림의 분할부분을 저장한 패킷의 집합체로, 타임 스탬프가 연속하고 있고, 어느 일정기간의 심리스한 AV 재생을 가능하게 하는 것을 말한다. AV 클립은 1초, 5초, 1분 등, 장단에 관계없이 시간 축 상에서 어느 한정된 시간의 재생을 보장하는 것이라면 충분하다.
또, AV 클립은 복수 종별의 PES 스트림을 관리 및 제어하기 위한 정보로, 유럽 디지털 방송규격에 규정된 패킷 관리정보(PCR, PMT, PAT)를 구비하고 있다.
PCR(Program#Clock#Reference)은 ATS의 시간 축인 ATC(Arrival Time Clock)와 PTS·DTS의 시간 축인 STC(System Time Clock)의 동기를 취하기 위해서 그 PCR 패킷이 디코더에 전송되는 ATS에 대응하는 STC 시간의 정보를 갖는다.
PMT(Program_map_table)는 트랜스 포트 스트림 파일 중에 포함되는 영상, 음성, 그래픽스 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성정보를 가지며, 또, AV 클립에 관한 각종 디스크립터를 갖는다. 디스크립터에는 트랜스 포트 스트림 파일의 복제의 허가 및 불허가를 지시하는 복제 컨트롤 정보 등이 있다.
PMT의 선두에는 그 PMT에 포함되는 데이터의 길이 등을 기록한 PMT 헤더가 배치된다. 그 뒤에는 AV 클립에 관한 디스크립터가 복수 배치된다. 상술한 복제 컨트롤 정보 등이 디스크립터로 기재된다. 디스크립터의 뒤에는 트랜스 포트 스트림 파일에 포함되는 각 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보는 스트림의 압축 코덱 등을 식별하기 위해서 스트림 타입, 스트림의 PID, 스트림의 속성정보(프레임 레이트, 어스펙트비 등)가 기재된 스트림 디스크립터로 구성된다. 스트림 디스크립터는 AV 클립에 존재하는 스트림의 수만큼 존재한다.
PAT(Program Association Table)는 AV 클립 중에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID 배열로 등록된다.
이들 PCR, PMT, PAT는 유럽 디지털 방송규격에서 한 개의 방송 프로그램(Program)을 구성하는 퍼셜 트랜스 포트 스트림을 규정하는 역할을 하며, 재생장치는 유럽 디지털 방송규격에서 한 개의 방송 프로그램을 구성하는 퍼셜 트랜스 포트 스트림을 취급하는가와 같이, AV 클립을 디코더에 의한 처리에 제공할 수 있다. 이는 유럽 디지털 방송규격의 단말장치와 BD-ROM 재생장치의 호환성을 의도한 것이다.
또, AV 클립 중, 레프트 뷰 비디오 스트림의 분할부분을 저장한 패킷, 레프트 뷰 용의 그래픽스 스트림의 분할부분을 저장한 패킷, 이들과 함께 재생될 오디오 스트림의 분할부분을 저장한 패킷 등, 레프트 뷰 재생을 위한 복수 종별의 PES 스트림의 분할부분을 저장한 패킷의 집합체로, 타임 스탬프가 연속하고 있으며, 어느 일정기간의 심리스한 AV 재생을 보장하는 것을 "레프트 뷰 AV 클립"이라고 한다. 이 레프트 뷰 AV 클립이 베이스 뷰 비디오 스트림을 포함하고 평면 시 재생을 가능하게 하는 것이면, 당해 레프트 뷰 AV 클립은 "2D/레프트 뷰 AV 클립"이라고 불린다. 또, 이후의 설명에서는 특별히 언급하지 않는 한 레프트 뷰 비디오 스트림이 베이스 뷰 비디오 스트림이고, 레프트 뷰 비디오 스트림을 포함하는 레프트 뷰 AV 클립은 2D/레프트 뷰 AV 클립이라고 한다.
또, AV 클립 중, 라이트 뷰 비디오 스트림의 분할부분을 저장한 소스 패킷, 라이트 뷰 용의 그래픽스 스트림의 분할부분을 저장한 소스 패킷, 이들과 함께 재생될 오디오 스트림의 분할부분을 저장한 소스 패킷 등, 라이트 뷰 재생을 위한 복수 종별의 PES 스트림의 분할부분을 저장한 패킷의 집합체로, 타임 스탬프가 연속해 있고, 어느 일정기간의 연속재생을 보장하는 것을 "라이트 뷰 AV 클립"이라고 한다.
CLIPINF 디렉터리에 저장되는 클립정보 파일은 레프트 뷰 AV 클립 또는 라이트 뷰 AV 클립이 어떤 패킷의 집합체인가 등, AV 클립의 상세를 각각의 AV 클립별로 나타낸 정보이고, 대응하는 AV 클립의 재생에 앞서 메모리에 판독되어, 그 AV 클립의 재생이 계속되고 있는 동안 재생장치 내에서 참조에 제공되는 정보이다.
이상이 기록매체의 내부 구성에 대한 설명이다. 이어서, 도 4 및 도 5에 나타낸 기록매체의 제작방법, 즉 기록방법의 형태에 대하여 설명한다.
본 실시 예의 기록방법은 상술한 것과 같은 AV 파일, 비 AV 파일을 실시간으로 작성하여 AV 데이터 기록영역, 비 AV 데이터 기록영역에 직접 기록한다고 하는 리얼타임 리코딩 뿐만 아니라, 볼륨영역에 기록할 비트 스트림의 전체 상을 사전에 작성하여 이 비트 스트림을 기초로 원반 디스크를 작성하고, 이 원반 디스크를 프레스함으로써 광디스크를 양산한다고 하는 프리 포맷 리코딩도 포함한다. 본 실시 예의 기록매체는 리얼타임 리코딩에 의한 기록방법 및 프리 포매팅 리코딩에 의한 기록방법에 의해서도 특정되는 것이기도 하다.
도 6은 기록방법의 처리순서를 나타내는 플로차트이다.
스텝 S301은 BD-ROM의 타이틀 구조를 결정하는 단계이다. 이에 의해서 타이틀구조 정보가 작성된다. 타이틀구조 정보는 본 구조를 이용하여 BD-ROM에서의 재생단위의 관계, 예를 들어 타이틀, 무비 오브젝트, BD-J 오브젝트, 플레이리스트 간의 관계를 규정하는 정보이다. 구체적으로 말하면, 타이틀구조 정보는 제작하려고하는 BD-ROM의 「디스크 명」에 대응하는 노드, 그 BD-ROM에서 Index.bdmv에서 재생이 가능해지는 「타이틀」에 대응하는 노드, 그 타이틀을 구성하는 「무비 오브젝트 및 BD-J 오브젝트」에 대응하는 노드, 당해 무비 오브젝트 및 BD-J 오브젝트에서 재생되는 「플레이리스트」의 노드를 규정하고, 이들 노드를 에지(변)에서 연결함으로써 타이틀, 무비 오브젝트, BD-J 오브젝트, 플레이리스트 간의 관계를 규정한다.
스텝 S302는 타이틀에 이용하는 동화상, 음성, 정지화상, 자막정보의 임포트하는 단계이다.
스텝 S303은 GUI를 경유한 사용자 조작에 따른 편집처리를 타이틀구조 정보에 시행함으로써 BD-ROM 시나리오 데이터를 작성하는 단계이다. 여기서, BD-ROM 시나리오 데이터는 AV 스트림의 재생 시에 타이틀 단위에서의 재생을 재생장치에 행하게 하는 정보이며, BD-ROM에서는 인덱스 테이블, 무비 오브젝트, 플레이리스트로 정의되어 있는 정보가 시나리오에 해당한다. BD-ROM 시나리오 데이터에는 스트림을 구성하는 소재정보, 재생구간, 재생경로를 나타내는 정보, 메뉴화면 배치, 메뉴로부터의 천이정보 등을 포함한다.
스텝 S304는 인코드 단계이며, BD-ROM 시나리오 데이터에 의거하여 인코드를 행하여 PES 스트림을 얻는다.
스텝 S305는 BD-ROM 시나리오 데이터에 따른 다중화 단계이며, 이 단계에 의해서 PES 스트림을 다중화하여 AV 클립을 얻는다.
스텝 S306에서는 BD-ROM으로의 기록을 위한 데이터 베이스를 얻는다. 여기에서의 데이터 베이스는 상술한 BD-ROM에서 정의되는 인덱스 테이블, 무비 오브젝트, 플레이리스트, BD-J 오브젝트 등의 총칭이다.
스텝 S307에서는 Java(TM) 프로그램, 다중화 단계에서 얻어진 AV 클립, BD-ROM 데이터 베이스를 입력으로 하여 BD-ROM에 준거한 파일시스템 포맷으로 AV 파일, 비 AV 파일을 작성한다.
스텝 S308은 BD-ROM에 기록될 데이터 중 비 AV 파일의 기록단계이고, 스텝 S309는 AV 파일의 기록단계이다.
스텝 S305의 다중화 단계는 비디오 스트림, 오디오 스트림, 그래픽스 스트림을 PES 스트림으로 변환한 후에 트랜스 포트 스트림으로 변환하는 제 1 변환단계, 트랜스 포트 스트림을 구성하는 각각의 TS 패킷을 소스 패킷으로 변환하는 제 2 변환단계를 포함하고, 동화상, 음성, 그래픽스를 구성하는 소스 패킷 열을 다중화하는 것이다.
스텝 S309의 AV 파일 기록단계는 소스 패킷 열을 AV 파일의 익스텐트로 하여 기록매체의 연속영역에 기록하는 것이다.
기록의 대상이 되는 스트림은 아래와 같다.
·비디오 스트림
비디오 스트림은 영화의 프라이머리 비디오 및 세컨더리 비디오를 나타낸다. 여기서, 프라이머리 비디오는 픽처 인 픽처에서 친 화상으로 표시되는 통상의 영상을 나타내고, 세컨더리 비디오는 픽처 인 픽처에서 소 화면으로 표시되는 영상을 말한다. 프라이머리 비디오에는 레프트 뷰 비디오, 라이트 뷰 비디오의 2종류가 있으며, 세컨더리 비디오에도 레프트 뷰 비디오, 라이트 뷰 비디오의 2종류가 있다.
비디오 스트림은 상술한 MVC 외에 MPEG-2, MPEG-4AVC, 또는 SMPTE VC-1 등의 방식을 사용하여 부호화 기록되어 있다.
·오디오 스트림
오디오 스트림은 영화의 주 음성부분을 나타낸다. 오디오 스트림은 돌비 AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD 또는 리니어 PCM 등의 방식으로 압축 및 부호화 기록되어 있다. 오디오 스트림에는 프라이머리 오디오 스트림, 세컨더리 오디오 스트림의 2종류가 있다. 프라이머리 오디오 스트림은 믹싱 재생을 하는 경우에 주 음성이 될 오디오 스트림이고, 세컨더리 오디오 스트림은 믹싱 재생을 하는 경우에 부 음성이 될 오디오 스트림이다.
·Presentation Graphics 스트림
Presentation Graphics 스트림(PG 스트림)은 영화의 자막이나 캐릭터 등 픽처와 치밀하게 동기해야 할 그래픽스를 나타내는 그래픽스 스트림이며, 영어, 일본어, 프랑스어와 같이 복수 언어에 대한 스트림이 존재한다.
PG 스트림은 PCS(Presentation Control Segment), PDS(Pallet Define Segment), WDS(Window Define Segment), ODS(Object Define Segment)라고 하는 일련의 기능 세그먼트로 이루어진다. ODS(Object Define Segment)는 자막인 그래픽스 오브젝트를 정의하는 기능 세그먼트이다.
WDS(Window Define Segment)는 화면에서의 그래픽스 오브젝트의 비트량을 정의하는 기능 세그먼트이고, PDS(Pallet Define Segment)는 그래픽스 오브젝트의 묘사시의 발색(發色)을 규정하는 기능 세그먼트이다. PCS(Presentation Control Segment)는 자막표시에서의 페이지 제어를 규정하는 기능 세그먼트이다. 이러한 페이지 제어에는 Cut-In/Out, Fade-In/Out, Color Change, Scroll, Wipe-In/Out과 같은 것이 있으며, PCS에 의한 페이지 제어를 수반함으로써 어느 자막을 서서히 소거하면서 다음 자막을 표시시킨다고 하는 표시효과의 실현이 가능해진다.
그래픽스 스트림의 재생에서 그래픽스 디코더는 어느 표시단위에 속하는 ODS를 디코드하여 그래픽스 오브젝트를 오브젝트 버퍼에 기록하는 처리와, 선행 표시단위에 속하는 ODS를 디코드함으로써 얻어진 그래픽스 오브젝트를 플레인 메모리에 기록하는 처리를 파이프라인으로 실행하고, 하드웨어를 풀 구동함으로써 상술한 것과 같은 치밀한 동기를 실현한다.
트랜스 포트 스트림 파일에 다중화되지는 않으나 자막을 나타내는 스트림에는 PG 스트림 외에 텍스트 자막(textST) 스트림과 같은 것이 있다. textST 스트림은 자막의 내용을 캐릭터 코드로 나타낸 스트림이다. 이 PG 스트림과 textST 스트림의 세트는 BD-ROM 규격에서 "PGTextST 스트림"이라고 한다.
·Interactive Graphics 스트림
Interactive Graphics 스트림(IG 스트림)은 리모컨을 통한 대화제어를 실현하는 그래픽스 스트림이다. IG 스트림에 의해 정의되는 대화제어는 DVD 재생장치상의 대화제어와 호환성이 있는 대화제어이다. 이러한 IG 스트림은 ICS(Interactive Composition Segment), PDS(Palette Difinition Segment), ODS(Object Definition Segment)라고 불리는 기능 세그먼트로 이루어진다. ODS(Object Definition Segment)는 그래픽스 오브젝트를 정의하는 기능 세그먼트이다. 이 그래픽스 오브젝트가 복수 모여서 대화 화면상의 버튼이 묘사된다. PDS(Palette Difinition Segment)는 그래픽스 오브젝트의 묘사시의 발색을 규정하는 기능 세그먼트이다. ICS(Interactive Composition Segment)는 사용자 조작에 따라서 버튼의 상태를 변화시킨다고 하는 상태변화를 실현하는 기능 세그먼트이다. ICS는 버튼에 대하여 확정조작이 이루어진 때에 실행할 버튼 커맨드를 포함한다. 인터렉티브 그래픽스 스트림은 화면상에 GUI 부품을 배치함으로써 작성되는 대화화면을 나타내고 있다.
도 7 (a)는 PES 패킷 열에 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 동 도면에서의 제 1 단째는 비디오 스트림의 비디오 프레임 열을 나타낸다. 제 2 단째는 PES 패킷 열을 나타낸다. 제 3 단째는 이들 PES 패킷 열을 변환함으로써 얻어지는 TS 패킷 열을 나타낸다. 동 도면의 화살표 yy1, yy2, yy3, yy4에 나타낸 것과 같이, 비디오 스트림에서의 복수의 Video Presentation Unit인 I 픽처, B 픽처, P 픽처는 픽처별로 분할되며, PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지며, PES 헤더에는 픽처의 표시시각인 PTS(Presentation Time-Stamp)나 픽처의 복호시각인 DTS(Decoding Time-Stamp)가 저장된다.
<TS 패킷 열>
도 7(b)은 AV 클립에 최종적으로 기록되는 TS 패킷의 형식을 나타내고 있다. 제 1 단째는 TS 패킷 열을 나타내고, 제 2 단째는 소스 패킷 열을 나타낸다. 제 3 단째는 AV 클립을 나타낸다.
제 1 단째에 나타낸 것과 같이, TS 패킷은 스트림을 식별하는 PID 등의 정보를 갖는 4Byte의 「TS 헤더」와 데이터를 저장하는 184Byte의 「TS 페이로드」로 구분되는 고정 길이의 패킷이며, 앞에서 설명한 PES 패킷은 분할되어서 TS 페이로드에 저장된다.
제 2 단째에 의하면, TS 패킷에는 4Byte의 TP_Extra_Header가 부여되고, 192Byte의 소스 패킷으로 변환된 상태에서 AV 클립에 기록된다. TP_Extra_Header에는 ATS(Arrival_Time_Stamp) 등의 정보가 기재된다. ATS는 당해 TS 패킷의 PID 필터로의 전송개시시각을 나타낸다. AV 클립에는 제 3 단째에 나타낸 것과 같이 소스 패킷이 배열되게 되며, AV 클립의 선두에서부터 증가하는 번호는 SPN(소스 패킷 넘버)라 불린다.
<AV 클립에서의 다중화>
도 8은 레프트 뷰 AV 클립이 어떻게 다중화되는지를 모식적으로 나타내는 도면이다. 먼저, 레프트 뷰 비디오 스트림 및 오디오 스트림을(제 1 단째) 각각 PES 패킷 열로 변환하고(제 2 단째), 소스 패킷 열로 변환한다(제 3 단째). 마찬가지로 레프트 뷰 프레젠테이션 그래픽스 스트림 및 레프트 뷰 인터렉티브 그래픽스(제 7 단째)를 각각 PES 패킷 열로 변환하고(제 6 단째), 소스 패킷 열로 다시 변환한다(제 5 단째). 이렇게 얻어진 비디오, 오디오, 그래픽스를 구성하는 소스 패킷을 그 ATS의 순서로 배열해간다. 이는 소스 패킷은 그 ATS에 따라 리드 버퍼에 판독되어야 하기 때문이다. 이렇게 ATS에 따라서 소스 패킷이 배열되면 레프트 뷰 AV 클립이 얻어지게 된다. 이 레프트 뷰 AV 클립은 리드 버퍼가 언더 플로 하지 않는 사이즈로 정해져 있으며, 기록매체로의 기록의 대상이 된다.
Arrival Time Clock(ATC) 시간 축에서 ATS가 연속하고 있는 소스 패킷의 집합을 ATC 시퀀스라고 하고, System Time Clock(STC) 시간 축에서 디코드 타임 스탬프(DTS), 프레젠테이션 타임 스탬프(PTS)가 연속하고 있는 소스 패킷의 집합을 STC 시퀀스라 한다.
도 9는 기록방법에 의해서 얻어진 익스텐트를 나타낸다. 제 1 단째는 AV 파일을 구성하는 익스텐트 EXT_L[i], EXT_L[i+1], EXT_R[i], EXT_R[i+1]을 나타낸다.
제 2 단째는 각 익스텐트 내에 속하는 소스 패킷 열을 나타낸다.
이 제 1 단째에서의 익스텐트는 라이트 뷰 AV 클립을 구성하는 소스 패킷의 그룹과, 레프트 뷰 AV 클립을 구성하는 소스 패킷의 그룹을 인터리브 배치한 것이다. 동 도면에서의 인터리브 배치는 라이트 뷰 AV 클립을 구성하는 소스 패킷 집합과 레프트 뷰 AV 클립을 구성하는 소스 패킷 집합이 한 개의 익스텐트로 "라이트 뷰", "레프트 뷰", "라이트 뷰", "레프트 뷰"……와 같은 규칙성을 갖고 기록되어 있는 것이다.
여기서, 괄호 내의 변수 i, i+1은 몇 번째의 익스텐트로서 재생되는지를 나타낸다. 이 기법에서 보면 변수 i에 의해서 지시되는 2개의 익스텐트, 즉, EXT_L[i], EXT_R[i]는 동시에 재생되며, 변수 i+1에 의해서 지시되는 2개의 익스텐트, 즉, EXT_L[i+1], EXT_R[i+1]은 동시에 재생됨을 알 수 있다.
익스텐트 EXT_L[i]의 사이즈를 SEXT_L[i]라 하고, EXT_R[i]의 사이즈를 SEXT_R[i]라 한다.
이들 SEXT_L, SEXT_R의 사이즈를 어떻게 정할지에 대하여 설명한다. 여기에서의 익스텐트는 재생장치에서 라이트 뷰 용 리드 버퍼, 레프트 뷰 용 리드 버퍼라고 하는 2개의 버퍼에 교호로 판독되어서 비디오 디코더에 제공된다. 그렇게 하면 SEXT_L, SEXT_R의 사이즈는 라이트 뷰 용 리드 버퍼 및 레프트 뷰 용 리드 버퍼를 버퍼 풀로 하는 시간을 고려하여 정할 필요가 있다. 즉, 라이트 뷰 용 리드 버퍼로의 전송 레이트를 Rmax1로 하면,
라이트 뷰 용 리드 버퍼=Rmax1×"점프를 수반하면서 레프트 뷰 용 리드 버퍼를 풀로 하는 시간"
이라고 하는 관계를 만족하도록 라이트 뷰 용 리드 버퍼의 용량을 정하지 않으면 안 된다. 여기서, 점프는 디스크 시크와 동일한 의미이다. 왜냐하면, BD-ROM에서 기록에 확보할 수 있는 연속영역은 유한하며, 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림은 반드시 인접해서 기록된다고는 할 수 없고, 산재된 영역에 기록되는 경우도 있을 수 있기 때문이다.
이어서, "점프를 수반하면서 레프트 뷰 용 리드 버퍼를 풀로 하는 시간"에 대하여 생각한다. 레프트 뷰 용 리드 버퍼에서의 TS 패킷 축적은 Rud-Rmax2라고 하는 전송 레이트로 이루어진다. 이는, 레프트 뷰 용 리드 버퍼로부터의 출력 레이트 Rmax2와, 레프트 뷰 용 리드 버퍼로의 입력 레이트 Rud와의 차분을 의미한다. 그렇게 하면 레프트 뷰 용 리드 버퍼를 풀로 하는 시간은 RB2/(Rud-Rmax2)가 된다.
레프트 뷰 용 리드 버퍼에 데이터를 판독할 때에는 라이트 뷰 AV 클립에서 레프트 뷰 AV 클립으로의 점프 시간(Tjump)과 레프트 뷰 AV 클립에서 라이트 뷰 AV 클립으로의 점프 시간(Tjump)을 고려할 필요가 있으므로,
레프트 뷰 용 리드 버퍼의 축적에는 (2×Tjump+RB2/(Rud-Rmax2))라고 하는 시간이 필요해진다.
라이트 뷰 용 리드 버퍼의 전송 레이트를 Rmax1로 하면, 상술한 레프트 뷰 용 리드 버퍼의 축적시간에서 Rmax1라고 하는 전송 레이트로 라이트 뷰 용 리드 버퍼 내의 모든 소스 패킷은 출력되지 않으면 안 되므로, 라이트 뷰 용 리드 버퍼의 사이즈 RB1은,
RB1 ≥ Rmax1×[2×Tjump+RB2/(Rud-Rmax2)]
가 된다.
동일한 순서로 레프트 뷰 용 리드 버퍼의 용량 RB2를 구하면,
RB2 ≥ Rmax2×[2×Tjump+RB1/(Rud-Rmax1)]
이 된다.
라이트 뷰 용 리드 버퍼, 레프트 뷰 용 리드 버퍼의 메모리 사이즈의 구체적인 값으로는 1.5Mbyte 이하이고, 본 실시 예에서 익스텐트 사이즈 SEXT_R, SEXT_L은 이 라이트 뷰 용 리드 버퍼, 레프트 뷰 용 리드 버퍼의 사이즈와 동일한 사이즈이거나, 또는 이에 거의 동일한 사이즈로 설정되어 있다. 이상이 레프트 뷰 AV 클립, 라이트 뷰 AV 클립의 기록방법에 대한 설명이다. 이어서, 레프트 뷰 AV 클립 및 라이트 뷰 AV 클립의 내부 구성에 대하여 설명한다. 도 9의 제 1 단째를 참조하면서 익스텐트 EXT_R[i], 익스텐트 EXT_L[i]의 내부 구성에 대하여 설명한다.
익스텐트 EXT_L[i]는 이하의 소스 패킷에 의해서 구성되어 있다.
0x0100의 패킷 ID를 갖는 소스 패킷은 PMT를 구성하고, 0x1001의 패킷 ID를 갖는 TS 패킷은 PCR을 구성한다.
0x1011의 패킷 ID를 갖는 소스 패킷은 레프트 뷰 비디오 스트림,
0x1220~123F의 패킷 ID를 갖는 소스 패킷은 레프트 뷰 PG 스트림,
0x1420~143F의 패킷 ID를 갖는 소스 패킷은 레프트 뷰 IG 스트림,
0x1100에서 0x111F까지의 PID를 갖는 소스 패킷은 오디오 스트림을 구성한다.
익스텐트 EXT_R[i]는 이하의 소스 패킷에 의해서 구성되어 있다.
0x1012의 TS 패킷은 라이트 뷰 비디오 스트림을 구성하고, 0x1240~125F의 소스 패킷은 라이트 뷰 PG 스트림을 구성하며, 0x1440~145F의 소스 패킷은 라이트 뷰 IG 스트림을 구성한다.
(볼륨영역에서의 익스텐트의 위치부여)
익스텐트는 파티션 영역에서 물리적으로 연속하는 복수의 섹터 상에 형성된다. 파티션 영역은 「파일 세트 기술자가 기록된 영역」, 「종단(終端) 기술자가 기록된 영역」, 「ROOT 디렉터리 영역」, 「BDMV 디렉터리 영역」, 「JAR 디렉터리 영역」, 「BDJO 디렉터리 영역」, 「PLAYLIST 디렉터리 영역」, 「CLIPINF 디렉터리 영역」, 「STREAM 디렉터리 영역」으로 구성되며, 파일시스템에 의해서 액세스 되는 영역을 말한다. 이후, 이들 영역에 대하여 설명한다.
「파일 세트 기술자」는 디렉터리 영역 중, ROOT 디렉터리의 파일 엔트리가 기록되어 있는 섹터를 가리키는 논리블록 번호(LBN)를 포함한다. 「종단 기술자」는 파일 세트 기술자의 종단을 나타낸다.
다음에, 디렉터리 영역의 상세에 대하여 설명한다. 상술한 것과 같은 복수의 디렉터리 영역은 모두 공통된 내부 구성을 갖는다. 즉, 「디렉터리 영역」은 「파일 엔트리」, 「디렉터리 파일」,「하위 파일에 대한 파일 기록영역」으로 구성된다.
「파일 엔트리」는 「기술자 택」, 「ICB 택」, 「할당 기술자(allocation descriptor)」를 포함한다.
「기술자 택」은 자신이 파일 엔트리라는 취지를 나타내는 택이다.
「ICB 택」은 파일 엔트리 자신에 관한 속성정보를 나타낸다.
「할당 기술자」는 디렉터리 파일의 기록위치를 나타내는 논리블록 번호(LBN)를 포함한다. 이상이 파일 엔트리에 대한 설명이다. 이어서, 디렉터리 파일의 상세에 대하여 설명한다.
「디렉터리 파일」은 「하위 디렉터리에 대한 파일식별 기술자」와 「하위 파일의 파일식별 기술자」를 포함한다.
「하위 디렉터리의 파일식별 기술자」는 자신의 아래에 있는 하위 디렉터리를 액세스하기 위한 참조정보이고, 그 하위 디렉터리를 나타내는 식별정보, 그 하위 디렉터리의 디렉터리 명의 길이, 하위 디렉터리의 파일 엔트리가 어느 논리블록 번호에 기록되어 있는가를 나타내는 파일 엔트리 어드레스와, 그 하위 디렉터리의 디렉터리 명으로 구성된다.
「하위 파일의 파일식별 기술자」는 자신의 아래에 있는 파일을 액세스하기 위한 참조정보이고, 그 하위 파일을 나타내는 식별정보, 그 하위 파일 명의 길이, 하위 파일에 대한 파일 엔트리가 어느 논리블록 번호에 기록되어 있는지를 나타내는 파일 엔트리 어드레스와, 하위 파일의 파일 명으로 구성된다.
이들 디렉터리의 디렉터리 파일에서의 파일식별 기술자에는 하위 디렉터리 및 하위 파일의 파일 엔트리가 어느 논리 블록에 기록되어 있는지가 나타나 있으므로, 이 파일식별 기술자를 따라서 올라가면 ROOT 디렉터리의 파일 엔트리에서부터 BDMV 디렉터리의 파일 엔트리에 도달할 수 있다. 또, BDMV 디렉터리의 파일 엔트리에서부터 PLAYLIST 디렉터리의 파일 엔트리에 도달할 수 있다. 마찬가지로, JAR 디렉터리, BDJO 디렉터리, CLIPINF 디렉터리, STREAM 디렉터리의 파일 엔트리에도 도달할 수 있다.
「하위 파일의 파일 기록영역」은 어떤 디렉터리의 아래에 있는 하위 파일의 실체가 기록되어 있는 영역이며, 당해 하위 파일에 대한 「파일 엔트리」와 하나 이상의 「익스텐트」가 기록되어 있다.
「파일 엔트리」는 「기술자 택」, 「ICB 택」, 「할당 기술자」를 포함한다.
「기술자 택」은 자신이 파일 엔트리라는 취지를 나타내는 택이다. 택에는 파일 엔트리 기술자, 스페이스 비트 맵 기술자 등의 종별이 있으나, 파일 엔트리의 경우에는 식별자 택으로 파일 엔트리를 나타내는 "261"이 기술된다.
「ICB 택」은 파일 엔트리 자신에 관한 속성정보를 나타낸다.
「할당 기술자」는 어느 디렉터리의 아래에 있는 하위 파일을 구성하는 익스텐트의 기록위치를 나타내는 논리블록 번호(LBN)를 포함한다. 할당 기술자는 익스텐트 길이를 나타내는 데이터와 익스텐트의 기록위치를 나타내는 논리블록 번호를 포함한다. 단, 익스텐트 길이를 나타내는 데이터의 상위 2 비트는 "0"으로 설정됨으로써 할당 완료이면서 기록 완료 익스텐트라는 취지를 나타내고, "1"로 설정됨으로써 할당 완료이면서 미기록 익스텐트라는 취지를 나타낸다. "0"으로 설정됨으로써 할당 식별자의 다음의 익스텐트임을 나타낸다. 어느 디렉터리의 하위에 있는 하위 파일이 복수의 익스텐트로 분할되어 있는 경우에는 파일 엔트리는 익스텐트별로 복수의 할당 기술자를 갖게 된다.
상술한 것과 같은 파일 엔트리의 할당 식별자를 참조함으로써 플레이리스트정보 파일, 클립정보 파일, 트랜스 포트 스트림 파일, BD-J 오브젝트 파일, JAR 아카이브 파일을 구성하는 익스텐트의 어드레스를 얻을 수 있다.
본원의 주안이 되는 트랜스 포트 스트림 파일은 그 파일이 귀속하는 디렉터리의 디렉터리 영역 내에 존재하는 파일 기록영역을 말하며, 디렉터리 파일에서의 파일식별 기술자 및 파일 엔트리에서의 할당 식별자를 따라감으로써 액세스할 수 있다.
상술한 것과 같은 AV 스트림, Index.bdmv, JAR 파일, BD-J 오브젝트는 파일 구조, 디렉터리 구조에 따라서 BD-ROM에 기록되어 있으므로 재생장치는 파일 오픈을 위한 시스템 콜을 행함으로써 이들을 메모리에 판독할 수 있다.
파일 오픈이란 시스템 콜 시에 부여된 파일 명에 의해서 디렉터리를 검색하여, 파일이 존재하면 FCB(File Control Block)을 확보하고, 파일 핸들의 번호를 되돌리는 처리를 말한다. FCB는 목적으로 하는 파일의 디렉터리 엔트리의 내용이 메모리 상에 복제됨으로써 생성된다. 그리고 이 파일 오픈 시에 확장자가 m2ts인 트랜스 포트 스트림 파일은 STREAM 디렉터리를 이용한 파일 패스에 의해서 특정된다. 확장자가 ssif인 트랜스 포트 스트림 파일은 STREAM 디렉터리와 SSIF 디렉터리를 이용한 파일패스에 의해서 특정되게 된다. 이들은 STREAM 디렉터리, SSIF 디렉터리에 배치되어 있기 때문이다.
상술한 것과 같은 파일 구조에서, 도 9에 나타낸 익스텐트가 어떻게 취급되는지에 대하여 설명한다.
도 10은 익스텐트와 트랜스 포트 스트림 파일의 대응관계를 나타내는 도면이다.
제 1 단째는 통상의 트랜스 포트 스트림 형식의 트랜스 포트 스트림 파일인 00001.m2ts, 00002.m2ts를 나타내고, 제 2 단째는 라이트 뷰의 익스텐트, 레프트 뷰의 익스텐트를 나타낸다. 제 3 단째는 인터리브 형식의 트랜스 포트 스트림 파일인 00001.ssif를 나타낸다.
점선 화살표 h1, h2, h3, h4는 익스텐트 EXT_L[i], EXT_L[i]가 어느 파일에 귀속되어 있는가의 할당 식별자에 의한 귀속관계를 나타낸다. 화살표 h1, h2에 나타내는 귀속관계에 의하면 익스텐트 EXT_L[i], EXT_L[i+1]은 00001.m2ts의 익스텐트로 등록되어 있음을 알 수 있다.
화살표 h3, h4에 나타내는 귀속관계에 의하면 익스텐트 EXT_R[i], EXT_R[i+1]은 00002.m2ts의 익스텐트로 등록되어 있음을 알 수 있다.
화살표 h5, h6, h7, h8에 나타내는 귀속관계에 의하면 익스텐트 EXT_R[i], EXT_L[i], EXT_R[i+1], EXT_L[i+1]은 00001.ssif의 익스텐트로 등록되어 있음을 알 수 있다. 이상과 같이, 익스텐트 EXT_L[i], EXT_L[i+1]은 00001.ssif에 귀속하는 동시에 00001.m2ts에 귀속한다고 하는 2중성을 갖고 있음을 알 수 있다. 이 "ssif"라고 하는 확장자는 StereoScopic Interleave File의 머리글자를 취한 것이며, 입체 시 재생을 위해서 인터리브 형식으로 되어 있음을 나타낸다.
도 11은 대응하는 레프트 뷰 AV 클립과 라이트 뷰 AV 클립을 커플링 하는 방법에 대하여 나타내고 있다.
동 도면 (a)는 트랜스 포트 스트림 파일이 어떤 익스텐트에 의해서 구성되어 있는가를 나타낸다.
이들 중 익스텐트 EXT_L[i], EXT_L[i+1]은 2D 영상으로 재생되는 것이다.
3D 영상을 포함하는 BD-ROM이라고 하더라도 모든 재생장치가 3D 재생방식에 대응하고 있다고는 할 수 없으므로 2D에서의 재생이 지원되는 것이 바람직하다. 단, 2D 재생에만 대응하는 재생장치는 3D에서 확장된 데이터 구조 등은 판별할 수 없다. 2D 재생장치는 종래의 2D 재생방식 그대로의 판별방법으로 2D 플레이리스트 및 2D의 AV 클립에만 액세스 되어야 할 필요가 있으므로, 레프트 뷰 비디오 스트림에 대해서는 2D 방식의 재생장치가 인식할 수 있는 파일형식으로 저장되어 있다.
1번째 방법은 레프트 뷰는 2D 재생에서도 이용할 수 있도록 2D 재생방식과 동일한 파일 명을 사용하고, 인터리브 형식의 트랜스 포트 스트림 파일은 확장자를 바꾸는 방법이다. 동 도면 (b)에서의 00001.m2ts, 및 00001.ssif는 일방은 2D 방식, 타방은 3D 방식이면서 동일한 파일 명 "00001"에 의해서 커플링 되어 있다.
플레이리스트는 레프트 뷰의 AV 클립밖에 참조하지 않으므로 기존의 2D 재생장치에서는 2D용의 AV 클립밖에 재생하지 않는다. 3D 대응의 재생장치는 플레이리스트는 레프트 뷰가 들어간 AV 클립밖에 참조하고 있지 않으나, 동일한 식별번호를 가지며 확장자만 다른 파일이 존재하는 경우에는 그 파일을 발견해 내서 3D 영상을 위한 인터리브 형식의 트랜스 포트 스트림 파일이라고 판단하여 레프트 뷰와 라이트 뷰를 출력한다.
2번째 방법은 폴더를 구분하는 방법이다. 레프트 뷰는 기존의 폴더 명(예: STREAM)을 갖는 폴더 내에 저장해 두나, 확장인 레프트 뷰는 3D 특유의 이름을 갖는 폴더(예:SSIF)에 동일한 파일 명 『00001』로 저장해 둔다. 플레이리스트가 파일을 참조할 때 2D 재생장치에서는 「STREAM」폴더 내의 파일만을 참조하나, 3D 재생장치의 경우에는 「STREAM」과 「SSIF」폴더 중에서 동일한 이름의 파일을 동시에 참조함으로써 레프트 뷰와 라이트 뷰를 관련지을 수 있게 된다.
3번째 방법은 식별번호에 의한 것이다. 레프트 뷰의 식별번호가 "00001"인 경우, 라이트 뷰의 식별번호는 이 레프트 뷰의 식별번호에 "1"을 가산한 번호, 즉 "00002"라고 하는 식별번호를 부여하는 등, 일정한 규칙에 따라서 관련부여를 하는 방법이다. 이 예에서는 레프트 뷰의 식별번호에 "1"을 가산한 것을 라이트 뷰의 식별번호로 하였으나, 레프트 뷰의 식별번호에 "10000"을 가산한 것을 라이트 뷰의 식별번호로 채용하여도 좋다.
이 예에서는 기존의 2D 재생장치가 재생하는 영상은 레프트 뷰라고 기재하고 있으나, 실제로는 어느 쪽이라도 좋으며, 또, 플레이리스트 내에 어느 영상이 규정영상으로 재생되어 있는지 식별하기 위한 정보가 있어도 좋다.
커플링 방식을 실현하는 경우에는 재생장치 측이 커플링 되어 있는 파일을 발견하기 위한 구조가 필요하며, 상술한 것과 같은 규칙이 부여된 파일을 발견하여 플레이리스트에서 참조되어 있지 않은 파일도 재생하는 구조가 필요하다. 이들 방법을 이용하는 경우에는 3D 대응 재생장치에 상기의 구조가 필요하나, 2D 영상과 3D 영상으로 플레이리스트를 구분할 필요가 없어서 종래로부터 보급되어 있는 2D 재생장치로 안전하게 동작시키는 것도 가능해진다.
이상이 AV 클립을 저장한 트랜스 포트 스트림 파일에 대한 설명이다. 이어서, 상술한 것과 같은 트랜스 포트 스트림 파일을 어떻게 해서 기록매체에 기록할지, 즉 AV 파일을 AV 데이터 영역에 기록하기 위한 단계(AV 파일 기록단계)의 상세에 대하여 설명하다.
도 12는 AV 파일 기록단계의 처리순서를 나타내는 플로차트이다.
스텝 S401에서 xxxxx.ssif를 구축하고 기록장치의 메모리 상에 파일 엔트리를 작성한다. 스텝 S402는 비어 있는 연속 섹터 영역을 확보하였는지 여부의 판정이며, 확보되었으면 스텝 S403~스텝 S408을 실행한다. 확보할 수 없는 경우에는 스텝 S409에서 예외 처리를 한 후에 기록방법을 종료한다.
스텝 S403~스텝 S408은 스텝 S407이 No로 판정될 때까지 스텝 S403~스텝 S406, 스텝 S408의 처리를 반복하는 루프를 구성하고 있다.
스텝 S403에서 비어 있는 연속 섹터 영역에 레프트 뷰 AV 클립을 구성하는 소스 패킷 열을 SEXT_L[i]에만 기록하고, 스텝 S404에서 소스 패킷 열이 기록된 선두 어드레스 및 연속 길이를 나타내는 할당 식별자를 파일 엔트리에 추기하여 익스텐트로 등록한다.
스텝 S405에서 비어 있는 연속 섹터 영역에 라이트 뷰 AV 클립을 구성하는 소스 패킷 열을 SEXT_R[i]에만 기록하고, 스텝 S406에서 소스 패킷 열이 기록된 선두 어드레스 및 연속 길이를 나타내는 할당 식별자를 파일 엔트리에 추기하여 익스텐트로 등록한다.
스텝 S407은 루프의 종료조건을 규정하는 것으로, 라이트 뷰 AV 클립, 레프트 뷰 AV 클립에 기록되지 않은 소스 패킷이 존재하는가 여부의 판정을 한다. 존재하면 스텝 S408로 이행하여 루프를 계속한다. 존재하지 않으면 스텝 S410으로 이행한다.
스텝 S408은 연속 섹터 영역이 존재하는지 여부의 판정이며, 존재하면 스텝 S403으로 이행하고, 존재하지 않으면 스텝 S402로 복귀한다.
스텝 S410에서는 xxxxx.ssif를 닫고 파일 엔트리를 기록매체에 기록한다. 스텝 S411에서는 xxxxx.m2ts를 구축하고 메모리에 xxxxx.m2ts의 파일 엔트리를 생성한다. 스텝 S412에서는 레프트 뷰 AV 클립, 라이트 뷰 AV 클립 중 베이스 뷰 비디오 스트림을 포함하는 것의 익스텐트의 선두 어드레스 및 연속 길이를 나타내는 할당 기술자를 xxxxx.m2ts의 파일 엔트리에 추기한다. 스텝 S412에서는 xxxxx.m2ts를 닫고, 파일 엔트리를 기록한다.
이상이 AV 파일의 기록단계에 대한 설명이다. 이어서, 클립정보 파일에 대하여 설명한다.
<클립정보 파일>
도 13은 클립정보 파일의 내부 구성을 나타내는 도면이다. 클립정보 파일은 본 도면에 나타내는 것과 같이 AV 클립의 관리정보이며, AV 클립과 1 대 1로 대응하고 있다. 인출 선 ch1은 클립정보 파일의 내부 구성을 클로즈업해서 나타내고 있다. 이 인출 선에 나타낸 것과 같이, 클립정보 파일은 「클립정보」, 「스트림 속성정보」, 「엔트리 맵 테이블」, 「3D 메타데이터」로 구성된다.
클립정보는 인출 선 ch2에 나타낸 것과 같이 「시스템 레이트」, 「재생개시시간」, 「재생종료시각」으로 구성되어 있다. 시스템 레이트는 AV 클립을 구성하는 TS 패킷을 후술하는 시스템 타깃 디코더의 PID 필터에 전송하기 위한 최대 전송 레이트를 나타낸다. AV 클립 중에 포함되는 ATS의 간격은 시스템 레이트 이하가 되도록 설정되어 있다. 재생개시시간은 AV 클립의 선두의 비디오 프레임의 PTS이며, 재생종료시간은 AV 클립의 종단의 비디오 프레임의 PTS에 1프레임 분의 재생간격을 합한 것이 설정된다.
도 14는 클립정보 파일에서의 스트림 속성정보를 나타내는 도면이다.
도면 중의 인출 선 ah1은 스트림 속성정보의 내부 구성을 클로즈업해서 나타내고 있다.
이 인출 선에 나타낸 것과 같이, PID=0x1011의 TS 패킷에 의해서 구성되는 레프트 뷰 비디오 스트림의 스트림 속성정보, PID=0x1012의 TS 패킷에 의해서 구성되는 라이트 뷰 비디오 스트림의 스트림 속성정보, PID=0x1100, PID=0x1101의 TS 패킷에 의해서 구성되는 오디오 스트림의 스트림 속성정보, PID=0x1220, 0x1221의 TS 패킷에 의해서 구성되는 PG 스트림의 스트림 속성정보와 같이 복수 종별의 소스 패킷에 의해서 구성되는 PES 스트림이 어떤 속성을 갖고 있는지가 이 스트림 속성정보에 나타나 있다. 이 인출 선 ah1에 나타낸 것과 같이 AV 클립에 포함되는 각 스트림에 대한 속성정보가 PID별로 등록된다.
도 15는 클립정보 파일에서의 엔트리 맵 테이블을 나타내는 도면이다.
동 도면 (a)는 엔트리 맵 테이블의 개략 구성을 나타낸다. 인출 선 eh1은 엔트리 맵 테이블의 내부 구성을 클로즈업해서 나타내고 있다. 이 인출 선에 나타낸 것과 같이, 엔트리 맵 테이블은 『엔트리 맵 헤더 정보』, 『익스텐트 개시 타입』, 『PID=0x1011에 대한 엔트리 맵』,『PID=0x1012에 대한 엔트리 맵』, 『PID=0x1220에 대한 엔트리 맵』, 『PID=0x1221에 대한 엔트리 맵』을 포함한다.
『엔트리 맵 헤더 정보』는 엔트리 맵이 가리키는 비디오 스트림의 PID나 엔트리 포인트 수 등의 정보가 저장된다.
『익스텐트 개시 타입』은 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 어느 익스텐트부터 먼저 익스텐트가 배치되어 있는가를 나타낸다.
『PID=0x1011에 대한 엔트리 맵』,『PID=0x1012에 대한 엔트리 맵』,『PID=0x1220에 대한 엔트리 맵』, 『PID=0x1221에 대한 엔트리 맵』은 복수 종별의 소스 패킷에 의해서 구성되는 PES 스트림의 각각에 대한 엔트리 맵이다. 엔트리 맵에서 한 쌍이 되는 PTS와 SPN의 정보를 "엔트리 포인트"라 한다. 또, 선두를 "0"으로 해서 각 엔트리 포인트별로 증가한 값을 엔트리 포인트 ID(이하, EP_ID)라 한다. 이 엔트리 맵을 이용함으로써 재생기는 비디오 스트림의 시간 축 상의 임의의 지점에 대응하는 소스 패킷 위치를 특정할 수 있게 된다. 예를 들어, 빨리 감기, 되감기의 특수 재생시에는 엔트리 맵에 등록되는 I픽처를 특정하여 선택해서 재생함으로써 AV 클립을 해석하지 않고 효율적으로 처리를 할 수 있다. 또, 엔트리 맵은 AV 클립 내에 다중화되는 각 비디오 스트림별로 만들어지며, PID에 의해 관리된다.
인출 선 eh2는 PID=1011의 엔트리 맵의 내부 구성을 클로즈업해서 나타내고 있다. EP_ID=0에 대응하는 엔트리 포인트, EP_ID=1에 대응하는 엔트리 포인트, EP_ID=2에 대응하는 엔트리 포인트, EP_ID=3에 대응하는 엔트리 포인트로 구성된다. EP_ID=0에 대응하는 엔트리 포인트는 온으로 설정된 is_angle_change 플래그와, SPN=3과, PTS=80000의 대응관계를 나타낸다. EP_ID=1에 대응하는 엔트리 포인트는 오프로 설정된 is_angle_change 플래그와, SPN=1500와, PTS=270000의 대응관계를 나타낸다.
EP_ID=2에 대응하는 엔트리 포인트는 오프로 설정된 is_angle_change 플래그와, SPN=3200과, PTS=360000의 대응관계를 나타낸다. EP_ID=3에 대응하는 엔트리 포인트는 오프로 설정된 is_angle_change 플래그와, SPN=4800과, PTS=450000의 대응관계를 나타낸다. is_angle_change 플래그는 그 엔트리 포인트에서 독립해서 복호할 수 있는지 여부를 나타내는 플래그이다. 비디오 스트림이 MVC 또는 MPEG4-AVC로 부호화되어 있으며, 엔트리 포인트에 IDR 픽처가 존재하는 경우 이 플래그는 온으로 설정된다. 엔트리 포인트에 Non-IDR 픽처가 존재하는 경우 이 플래그는 오프로 설정된다.
동 도면 (b)는 (a)에 나타낸 PID=1011의 TS 패킷에 대응하는 엔트리 맵 내의 복수의 엔트리 맵에 의해서 어느 소스 패킷이 지시되는가를 나타낸다. EP_ID=0에 대응하는 엔트리 맵은 SPN=3을 가리키고 있으며, 이 소스 패킷 번호를 PTS=80000과 대응시키고 있다. EP_ID=1에 대응하는 엔트리 맵은 SPN=1500을 가리키고 있으며, 이 소스 패킷 번호를 PTS=270000에 대응시키고 있다.
EP_ID=2에 대응하는 엔트리 맵은 SPN=3200의 소스 패킷을 가리키고 있으며, 이 소스 패킷 번호를 PTS=360000에 대응시키고 있다. EP_ID=3에 대응하는 엔트리 맵은 SPN=4800의 소스 패킷을 가리키고 있으며, 이 소스 패킷 번호를 PTS=450000과 대응시키고 있다.
도 16은 엔트리 맵에 의한 엔트리 포인트의 등록을 나타낸다 제 1 단째는 STC 시퀀스에 의해 규정되는 시간 축을 나타낸다. 제 2 단째는 클립정보에서의 엔트리 맵을 나타낸다. 제 3 단째는 STC 시퀀스를 구성하는 소스 패킷 열을 나타낸다. 엔트리 맵이 ATC 시퀀스 중 =n1의 소스 패킷을 지정하고 있는 경우 이 엔트리 맵의 PTS에는 STC 시퀀스에서의 PTS=t1로 설정해 둔다. 그렇게 하면 PTS=t1이라고 하는 시점을 이용하여 ATC 시퀀스에서의 =n1에서부터의 랜덤 액세스를 재생장치에 실행시킬 수 있다. 또, 엔트리 맵이 ATC 시퀀스 중 =n21의 소스 패킷을 지정하고 있는 경우 이 엔트리 맵의 PTS에는 STC 시퀀스에서의 PTS=t21로 설정해 둔다. 그렇게 하면 PTS=t21이라고 하는 시점을 이용하여 ATC 시퀀스에서의 =n21로부터의 랜덤 액세스를 재생장치에 실행시킬 수 있다.
이 엔트리 맵을 이용함으로써 재생기는 비디오 스트림의 시간 축 상의 임의의 지점에 대응하는 AV 클립의 파일위치를 특정할 수 있다. 예를 들어, 빨리 감기, 되감기의 특수재생 시에는 엔트리 맵에 등록되는 I픽처를 특정하여 선택해서 재생함으로써 AV 클립을 해석하지 않고 효율적으로 처리를 할 수 있다.
이상이 엔트리 맵 테이블에 대한 설명이다. 이어서, 3D 메타데이터의 상세에 대하여 설명한다.
3D 메타데이터란 입체 시 재생에 필요한 다양한 정보를 규정한 메타데이터 군이며, 복수의 오프셋 엔트리를 포함한다. 각각의 오프셋 엔트리는 복수의 PID, 복수의 표시시각에 대응되어 있다. 그리고 어떤 PID의 PES 스트림을 재생할 때, 그 PES 스트림의 복수의 표시시각에서 어느 정도의 오프셋을 이용하여 입체 시를 실현해야 하는지를 PID별 및 표시시각별로 규정할 수 있도록 되어 있다.
이상이 클립정보 파일에 대한 설명이다. 이어서, 플레이리스트 정보의 상세에 대하여 설명한다.
디코더나 표시 플레인의 구성이 다르므로 2D 재생, 3D 재생의 스위칭을 심리스로 행하기는 어렵다. 따라서, 심리스 스위칭이 발생할 가능성이 있는 플레이아이템 사이에서 2D와 3D의 스위칭을 하기는 어렵다.
도 17은 2D 플레이아이템과 3D 플레이아이템의 혼재가 발생하고 있지 않은 플레이리스트를 나타낸다. 혼재를 없앰으로써 재생장치의 재생환경의 스위칭이 발생하지 않도록 하고 있다. 동 도면의 플레이리스트는 「메인패스」와 하나 이상의 「서브패스」로 구성된다.
「메인패스」는 하나 이상의 플레이아이템으로 구성된다. 도면 중의 예에서는 플레이아이템 #1, #2, #3으로 구성되어 있음을 알 수 있다.
「서브패스」는 메인패스와 함께 재생되는 일련의 재생경로를 나타내며, 플레이리스트에 등록되는 순서로 ID(서브패스 ID)가 할당된다. 서브패스 ID는 서브패스를 식별하기 위해서 사용된다. 서브패스에는 메인패스의 재생에 동기하여 재생되는 동기형, 메인패스의 재생에 비 동기로 재생 가능한 비 동기형이 있으며, 그 타입은 서브패스 타입으로 기록된다. 서브플레이아이템은 하나 이상의 서브 플레이아이템 정보로 구성된다.
또, 「플레이아이템」은 스트림 선택 테이블을 포함한다. 스트림 선택 테이블은 플레이아이템 및 서브 플레이아이템에서 재생이 허가되어 있는 엘리멘터리 스트림의 스트림 번호를 나타내는 정보이다. 플레이리스트 정보, 플레이아이템 정보, 서브 플레이아이템 정보, 스트림 선택 테이블의 상세에 대해서는 후술하는 실시 예에서 설명한다.
「AV 클립#1, #2, #3」은 2D 영상으로 재생되는 AV 클립인 동시에 3D 영상으로 재생할 때에는 레프트 뷰로 재생되는 AV 클립이다.
「AV 클립#4, #5, #6」은 3D 영상으로 재생할 때에는 라이트 뷰로 재생되는 AV 클립이다.
2D 플레이리스트의 메인패스는 레프트 뷰 AV 클립을 저장하는 AV 클립#1, #2, #3을 부호 rf1, 2, 3으로 나타내는 것과 같이 참조하고 있다.
3D 플레이리스트는 레프트 뷰 AV 클립을 부호 rf4, rf5, rf6에 나타내는 것과 같이 참조하고 있는 플레이아이템을 포함하는 메인패스와 함께 라이트 뷰를 저장하기 위한 서브패스가 준비되며, 이 서브패스가 라이트 뷰를 저장하는 AV 클립#4, #5, #6을 부호 rf7, 8, 9에 나타내는 것과 같이 참조하고 있다. 이 서브패스는 메인패스와 시간 축 상에서 동기 하도록 설정된다. 이 구조에 의해 2D 플레이리스트와 3D 플레이리스트에서 레프트 뷰가 저장된 AV 클립을 공유할 수 있으며, 3D 플레이리스트에서는 레프트 뷰와 라이트 뷰를 시간 축 상에서 동기시켜서 관련을 부여할 수 있다.
동 도면의 3D 플레이리스트, 2D 플레이리스트는 모두 플레이아이템 정보 #1~#3이 공통인 AV 클립인 AV 클립 #1~#3을 참조하고 있으므로, 이들 3D 플레이리스트, 2D 플레이리스트를 정의하는 플레이리스트 정보를 기술할 때에는 공통의 기술로 충분하다(부호 df1, df2 참조). 따라서, 이 3D 플레이리스트를 실현하는 플레이리스트 정보를 기술해 두면 재생장치의 출력 모드가 입체 시 출력 모드일 때에는 3D 플레이리스트로 기능을 하고, 재생장치의 출력 모드가 2D 출력 모드일 때에는 2D 플레이리스트로 기능을 하게 된다. 동 도면의 2D 플레이리스트, 3D 플레이리스트는 하나의 플레이리스트 정보를 기술해 둠으로써 이것을 해석하는 재생장치의 출력 모드에 따라서 2D 플레이리스트, 3D 플레이리스트로 해석되므로, 편집을 하는 사람의 수고를 경감할 수 있다.
도 18은 도 17의 3D 플레이리스트에 서브패스를 하나 더 부가한 플레이리스트를 나타낸다. 도 17의 플레이리스트는 서브패스 ID=0의 서브패스만을 구비하고 있었던 것에 비해 도 18의 플레이리스트에서의 2번째의 서브패스는 서브패스ID"=1"에 의해서 식별되는 것이며, AV 클립 #7, #8, #9를 참조하고 있다. 2 이상의 서브패스정보를 설치함으로써 정의되는 복수의 라이트 뷰는 오른쪽 눈에서 피사체를 보는 각도가 다른 복수의 라이트 뷰이며, AV 클립 군이 그 각도의 수만큼 준비되어 있어서 각도마다 서브패스를 설치하고 있다.
도 18의 예에서는 AV 클립 #1, #2, #3과 AV 클립 #4, #5, #6은 모두 라이트 뷰를 저장하고 있으나, 오른쪽 눈에서 피사체를 보는 각도가 다르다. 서브패스 ID가 「0」인 서브패스는 AV 클립 #4, #5, #6을 부호 rf7, 8, 9에 나타낸 것과 같이 참조하며, 서브패스 ID가 「1」인 서브패스는 AV 클립 #7, 8, 9를 부호 rf10, rf11, rf12에 나타낸 것과 같이 참조한다. 표시장치의 화면의 크기나 사용자로부터의 기호에 의거하여 레프트 뷰를 저장하는 메인패스와 동기하여 재생하는 서브패스를 스위칭함으로써 사용자에게는 쾌적한 시차 화상을 이용하여 입체영상을 표시할 수 있게 된다.
이 3D 플레이리스트를 실현하는 플레이리스트 정보에 대해서도, 재생장치의 출력 모드가 입체 시 출력 모드일 때에는 3D 플레이리스트로서 기능을 하고, 재생장치의 출력 모드가 2D 출력 모드일 때에는 2D 플레이리스트로서 기능을 하게 된다. 도 18의 2D 플레이리스트, 3D 플레이리스트는 하나의 플레이리스트 정보를 기술해 두면 이를 해석하는 재생장치의 출력 모드에 따라서 2D 플레이리스트, 3D 플레이리스트로 해석되어서 적절하게 최적의 출력 모드가 이루어지므로 편집을 하는 사람이 수고를 경감할 수 있다.
도 19는 플레이리스트 정보의 데이터 구조를 나타내는 도면이고, 동 도면에서 인출 선 mp1에 나타낸 것과 같이 플레이리스트 정보는 「메인패스정보」, 「서브패스정보 테이블」, 「익스텐션 데이터」, 「마크정보」를 포함한다.
우선 먼저, 메인패스정보에 대하여 설명한다. 인출 선 mp1은 메인패스정보의 내부 구성을 클로즈업해서 나타내고 있다. MainPath는 화살표 mp1으로 나타내는 것과 같이 복수의 PlayItem 정보 #1……#N으로부터 정의된다. PlayItem 정보는 MainPath를 구성하는 하나의 논리적인 재생구간을 정의한다. PlayItem 정보의 구성은 인출 선 mp2에 의해서 클로즈업되어 있다. 이 인출 선에 나타내는 것과 같이 PlayItem 정보는 재생구간의 IN점 및 Out점이 속하는 AV 클립의 재생구간정보의 파일 명을 나타내는 『Clip_Information_file_name』과, AV 클립의 부호화 방식을 나타내는 『Clip_codec_identifier』과, PlayItem이 멀티앵글을 구성하는지 여부를 나타내는 『is_mulit_angle』과, 이 PlayItem(현재 PlayItem)과 그 하나 앞의 PlayItem(previousPlayItem)의 접속상태를 나타내는 『connection_condition』과, 이 PlayItem이 대상으로 하고 있는 STC_Sequence를 고유하게 나타내는 『ref_to_STC_id[0]』과, 재생구간의 시작점을 나타내는 시간정보 『In_time』과, 재생구간의 종료점을 나타내는 시간정보 『Out_time』과, 이 PlayItem에서 마스크 할 사용자 오퍼레이션이 어느 것인가를 나타내는 『UO_mask_table』과, 『STN_table』과, 『레프트 뷰/라이트 뷰 식별정보』와, 『multi_clip_entry』로 구성된다.
이하, 『STN_table』, 『레프트 뷰/라이트 뷰 식별정보』, 『multi_clip_entry』에 대하여 설명한다.
『STN_table(Stream Number_table)』은 패킷 ID를 포함하는 스트림 엔트리 및 스트림 속성의 세트에 논리적인 스트림 번호를 할당하는 테이블이다. STN_table에서의 스트림 엔트리 및 스트림 속성의 세트의 순서는 대응하는 스트림의 우선순위를 나타낸다. 이 STN_table은 2D 재생을 위한 것이며, 3D 재생을 위한 STN_table은 따로 존재한다.
『레프트 뷰/라이트 뷰 식별정보』는 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림 중 어느 쪽이 베이스 뷰 비디오 스트림인가를 지정하는 베이스 뷰 비디오 스트림 지정정보이고, 0이면 레프트 뷰 비디오 스트림이 베이스 뷰 비디오 스트림이라는 것을 나타내고, 1이면 라이트 뷰 비디오 스트림이 베이스 뷰 비디오 스트림이라는 것을 나타낸다.
『connection_condition』은 전방의 플레이아이템과 접속 타입을 나타내고 있다. 플레이아이템의 connection_condition이 「1」인 경우에는 플레이아이템이 가리키는 AV 클립은 그 플레이아이템의 앞의 플레이아이템이 가리키는 AV 클립과 심리스 접속이 보증되지 않음을 나타낸다. 플레이아이템의 connection_condition이 「5」나 「6」인 경우에는 플레이아이템이 가리키는 AV 클립은 그 플레이아이템의 앞의 플레이아이템이 가리키는 AV 클립과 심리스 접속되는 것이 보증된다.
connection_condition이 「5」인 경우에는 플레이아이템 사이에서 STC의 연속성이 도중에 끊어져 있어도 좋으며, 즉, 접속 전의 플레이아이템의 AV 클립 종단의 비디오 표시시각보다도 접속 후 플레이아이템의 AV 클립 선두의 비디오 표시시각 개시시각은 불연속이라도 좋다. 단, 접속 전 플레이아이템의 AV 클립을 후술하는 시스템 타깃 디코더의 PID 필터에 입력한 후에 이어서 접속 후 플레이아이템의 AV 클립을 시스템 타깃 디코더의 PID 필터에 입력해서 재생한 때에 시스템 타깃 디코더의 디코드가 파탄되지 않도록 AV 클립을 작성할 필요가 있다. 또, 접속 전 플레이아이템의 AV 클립의 오디오의 종단 프레임과 접속 후 플레이아이템의 오디오의 선두 프레임은 재생시간 축에서 중첩되지 않으면 안 되는 등의 제약조건이 있다.
또, connection_condition이 「6」인 경우에는 접속 전 플레이아이템의 AV 클립과 접속 후 플레이아이템의 AV 클립을 결합한 때에 1개의 AV 클립으로 재생되지 않으면 안 된다. 즉, 접속 전 플레이아이템의 AV 클립과 접속 후 플레이아이템의 AV 클립 사이에서 STC는 연속하고, 또 ATC도 연속한다.
『Multi_clip_entries』는 플레이아이템으로 멀티앵글 구간을 형성하는 경우에 각각의 앵글 영상을 나타내는 AV 클립이 어느 것인지를 특정하기 위한 정보이다.
이상이 메인패스 정보에 대한 설명이다. 이어서, 서브패스정보 테이블의 상세에 대하여 설명한다.
도 20은 서브패스정보 테이블의 내부 구성을 나타내는 도면이다. 인출 선 su1은 서브패스정보의 내부 구성을 클로즈업해서 나타내고 있다. 인출 선 su1에 나타낸 것과 같이, 서브패스정보 테이블은 복수의 서브패스정보 1, 2, 3 … m을 포함한다. 이들 서브패스정보는 하나의 클래스 구조체에서 파생한 복수의 인스턴스이며, 그 내부 구성은 공통된 것이 된다. 인출 선 su2는 Subpath 정보의 공통된 내부 구성을 클로즈업해서 나타내고 있다. 이 인출 선에 나타낸 것과 같이, 각 Subpath 정보는 서브패스의 유형을 나타내는 SubPath_type과 하나 이상의 서브 플레이아이템 정보(…서브 플레이아이템 정보#1~VOB#m…)를 포함한다. 인출 선 su3은 SubPlayItem의 내부 구성을 클로즈업해서 나타내고 있다. 이 인출 선에 나타낸 것과 같이, 서브 플레이아이템 정보는 『Clip_information_file_name』, 『Clip_codec_identifier』, 『ref_to_STC_id[0]』, 『SubPlayItem_In_Time』, 『SubPlayItem_Out_time』, 『sync_PlayItem_id』,『sync_start_PTS_of_PlayItem』으로 이루어진다. 이하, SubPlayItem의 내부 구성에 대하여 설명한다.
『Clip_information_file_name』은 클립 정보의 파일 명을 기술함으로써 SubPlayItem에 대응하는 SubClip를 고유하게 지정하는 정보이다.
『Clip_codec_identifier』는 AV 클립의 부호화 방식을 나타낸다.
『ref_to_STC_id[0]』는 이 SubPlayItem이 대상으로 하고 있는 STC_Sequence를 고유하게 나타낸다.
『SubPlayItem_In_Time』은 SubClip의 재생시간 축 상에서의 SubPlayItem의 시작점을 나타내는 정보이다.
『SubPlayItem_Out_time』은 SubClip의 재생시간 축 상에서의 SubPlayItem의 종료점을 나타내는 정보이다.
『sync_PlayItem_id』는 MainPath를 구성하는 PlayItem 중 본 SubPlayItem이 동기해야 하는 것을 고유하게 지정하는 정보이다. SubPlayItem_In_time은 이 Sync_PlyItem_id에서 지정된 PlayItem의 재생시간 축 상에 존재한다.
『sync_start_PTS_of_PlayItem』은 sync_PlayItem_id에서 지정된 PlayItem의 재생시간 축 상에서 SubPlayItem_In_Time에서 지정된 SubPlayItem의 시작점이 어디에 존재하는가를 45㎑의 시간 정밀도로 나타낸다.
도 21은 레프트 뷰, 라이트 뷰에 대하여 어떤 재생구간이 정의되어 있는가를 나타낸다. 동 도면은 도 16을 베이스로 하여 작도되어 있으며, 이 베이스가 되는 도면의 제 2 단째의 시간 축에 PlayItem의 In_Time 및 Out_Time을 묘사하고 있다. 제 1 단째의 시간 축에 SubPlayItem의 In_Time 및 Out_Time을 묘사하고 있다. 제 3 단째에서 제 5 단째는 도 16의 제 3 단째에서 제 5 단째와 동일하다. 레프트 뷰, 라이트 뷰의 I픽처는 시간 축에서 동일한 시점이 된다. 이상이 플레이리스트 정보의 데이터 구조에 대한 설명이다.
이상이 서브패스정보에 대한 설명이다. 이어서, 엔트리마크 정보의 상세에 대하여 설명한다.
엔트리마크 정보는 플레이아이템에서 정의되는 재생구간 내에 대하여 부여할 수 있고, 플레이아이템에 대하여 재생 개시점이 될 수 있는 위치에 부여되며, 선두검색 재생에 이용된다. 예를 들어, 영화 타이틀에서 엔트리마크를 챕터의 선두가 되는 위치에 부여함으로써 챕터 재생을 할 수 있다.
이상이 엔트리마크 정보에 대한 설명이다. 이어서, 익스텐션 데이터의 상세에 대하여 설명한다.
익스텐션 데이터는 2D 플레이리스트와 호환되지 않는 3D 플레이리스트 특유의 확장부분이며, 여기에 STN_table_SS#1~#N이 저장된다. STN_table_SS는 각각이 복수의 플레이아이템 정보의 각각에 대응하며, 3D 재생용의 스트림 엔트리 및 스트림 속성의 세트에 논리적인 스트림 번호를 할당하는 테이블이다. STN_table_SS에서의 스트림 엔트리 및 스트림 속성의 세트의 순서는 대응하는 스트림의 우선순위를 나타낸다. 플레이아이템 정보 내의 STN_table과 익스텐션 데이터 내의 STN_table_SS를 조합함으로써 스트림 선택 테이블이 구성되게 된다.
이어서, 상술한 PlayItem 정보의 내부 구성 중 스트림 선택 테이블의 상세에 대하여 설명한다.
도 22 (a)는 스트림 선택 테이블을 나타낸다. 스트림 선택 테이블은 복수의 스트림 엔트리로 구성된다. 이 스트림 엔트리는 도면 중의 괄호 기호 "}"에 나타내는 것과 같이 STN_table 내에서 정의되는 것과 STN_table_SS 내에서 정의되는 것이 있다.
STN_table의 스트림 엔트리에는 2D 출력 모드의 설정 시에 재생이 가능해지는 2D용의 음성/PG/IG가 등록된다. 따라서, STN_table 중에는 2D 비디오 스트림 엔트리 군, 2D 오디오 스트림 엔트리 군, 2D PG 스트림 엔트리 군, 2DIG 스트림 엔트리 군이 존재하고 있으며, 이들 스트림 군 중에 비디오 스트림, 오디오 스트림, PG 스트림, IG 스트림의 패킷 식별자를 기술할 수 있다.
STN_table_SS의 스트림 엔트리에는 입체 시 재생모드의 설정시에 재생이 가능해지는 3D용의 음성/PG/IG가 등록된다. 따라서, STN_table_SS 중에는 3D 비디오 스트림 엔트리 군, 3D 오디오 스트림 엔트리 군, 3DPG 스트림 엔트리 군, 3DIG 스트림 엔트리 군, 스트림 조합 정보가 존재하고 있으며, 이들 스트림 엔트리 군 중에 비디오 스트림, 오디오 스트림, PG 스트림, IG 스트림의 패킷 식별자를 기술할 수 있다.
동 도면 (b)는 스트림 엔트리의 공통 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이 스트림 선택 테이블에서의 스트림 엔트리는 『스트림 선택번호』, 『스트림 패스정보』, 『스트림 식별정보』로 구성된다.
『스트림 선택번호』는 스트림 선택 테이블에 포함되는 스트림 엔트리 1의 선두에서부터 순서대로 증가가 되는 번호이며, 재생장치에서의 스트림 식별을 위해서 이용된다.
『스트림 패스 정보』는 스트림 식별정보에 의해서 표시되는 스트림이 어느 AV 클립에 다중화되어 있는가를 나타내는 정보이며, 예를 들어, "메인패스"이면 해당하는 플레이아이템의 AV 클립을 나타내고, "서브패스 ID=1"이면 그 서브패스 ID가 나타내는 서브패스에서 해당하는 플레이아이템의 재생구간에 대응하는 서브 플레이아이템의 AV 클립을 나타낸다.
『스트림 식별정보』는 PID 등의 정보이며, 참조하는 AV 클립에 다중화되어 있는 스트림을 나타낸다. 또, 스트림 엔트리에는 각 스트림의 속성정보도 동시에 기록되어 있다. 여기서, 속성정보는 각 스트림의 성질을 나타내는 정보로, 예를 들어 오디오, 프레젠테이션 그래픽스, 인터렉티브 그래픽스인 경우에는 언어속성 등이 포함된다.
STN_table_SS에서 레프트 뷰 비디오 스트림의 스트림 엔트리와 라이트 뷰 비디오 스트림의 스트림 엔트리에서는 예를 들어 프레임 레이트나 해상도, 비디오 포맷 등은 동일한 값이 된다. 스트림 엔트리에는 레프트 뷰 비디오 스트림인지, 라이트 뷰 비디오 스트림인지를 알 수 있는 플래그가 준비되는 경우가 있다.
이상이 스트림 선택 테이블에 대한 설명이다. 이어서, 레프트 뷰/라이트 뷰 식별정보의 상세에 대하여 설명한다.
지금까지의 기재는 레프트 뷰 용을 메인으로 하여, 2D 표시인 경우에는 레프트 뷰가 표시됨을 전제로 설명하고 있으나, 라이트 뷰가 메인이라도 좋다. 플레이리스트에 왼쪽 눈/라이트 뷰의 어느 쪽이 메인인가, 2D인 경우 표시되는가를 판별하는 정보에 따라서 베이스 뷰 비디오 스트림으로 한다. 그 판별정보가 레프트 뷰/라이트 뷰 식별정보이다.
일반적으로 스튜디오에서는 레프트 뷰 비디오를 2D 영상으로 작성하는 것으로 생각되나, 그 중에는 라이트 뷰를 2D 영상으로 작성하는 쪽이 좋다고 생각할지도 모른다. 그와 같은 가능성이 존재하므로, 레프트 뷰 및 라이트 뷰 중 어느 쪽을 베이스 뷰로 설정하는가를 나타내는 레프트 뷰/라이트 뷰 식별정보를 플레이아이템 정보마다 설정할 수 있도록 하고 있다.
도 23은 도 17의 3D 플레이리스트에 레프트 뷰/라이트 뷰 식별정보를 부가한 도면이다. 이 정보에 의해서 라이트 뷰 비디오 스트림이 베이스 뷰 비디오 스트림으로 지정되어 있는 경우에는, 가령 라이트 뷰가 서브패스정보에 의해서 지정되어 있다고 하더라도 이러한 라이트 뷰 비디오 스트림을 비디오 디코더에 먼저 투입하여 비 압축의 픽처 데이터를 얻는다. 그리고 이 라이트 뷰 비디오 스트림을 디코드함으로써 얻어진 비 압축의 픽처 데이터에 의거하여 모션 보상(motion compensation)을 한다. 이렇게 해서 어느 쪽을 베이스 뷰로 할 수 있는가의 선택에 유연성을 가지게 한다.
각 스트림과 레프트 뷰/라이트 뷰의 식별정보는 표시장치로의 출력에 사용할 수 있으며, 표시장치 측은 각각 2개의 스트림을 구별하기 위해서 이용한다. 셔터방식의 안경을 사용하는 경우 등에서는 플레이아이템이 참조하는 메인 영상이 레프트 뷰인지 라이트 뷰인지 알 수 없으면 안경과 표시장치의 표시를 동기할 수 없으므로, 레프트 뷰를 표시하고 있을 때에는 셔터방식 안경의 왼쪽 눈 측의 광을 투과하고, 라이트 뷰를 표시하고 있을 때에는 셔터방식 안경의 오른쪽 눈 측의 광을 투과하도록 안경에 스위칭신호를 보내고 있다.
또, 렌티큘러와 같이 표시장치의 화면에 프리즘을 내장한 나안(裸眼) 입체 시 방식에서도 레프트 뷰와 라이트 뷰의 구별은 필요하므로 이 정보를 이용하여 구별을 한다.
이상이 레프트 뷰/라이트 뷰 식별정보에 대한 설명이다. 이 레프트 뷰/라이트 뷰 식별정보는 시차 화상 중 레프트 뷰 또는 라이트 뷰의 어느 쪽이 평면 시 영상으로 재생되는 것을 전제로 하고 있다. 그러나 시차 화상의 내용에 따라서는 이와 같이 평면 시 화상으로 이용하는 것에 적합하지 않은 경우가 있다.
이하, 평면 시 화상으로 이용하기에 적합하지 않은 레프트 뷰 화상, 라이트 뷰 화상에 대하여 설명한다.
도 24는 레프트 뷰 화상, 라이트 뷰 화상과 센터 화상이 따로 구성되어 있는 2개의 플레이리스트 정보를 나타낸다. 도면 중의 우측 하단은 영상 중의 공룡이 사용자의 눈 앞까지 다가오는 것과 같은 화면효과를 노리고 있는 입체 시 화상을 나타낸다. 이 입체 시 화상은 그 위에 기재되어 있는 것과 같이 L화상, R화상에 의해서 구성된다. 튀어나오는 효과(jumping-out-of-screen effect)가 큰 입체 시 화상을 구성하는 L화상, R화상은 튀어나오도록 나타나는 화상 중의 대상(본 도면에는 공룡)을 측면에서 표시하게 되어 있다. 이들 중 레프트 뷰 비디오 스트림을 평면 시 용의 비디오 스트림으로 사용하는 경우에는 횡 방향으로 긴 물체가 가로놓인 것처럼 보여서 이상해져 버린다. 그래서 2D 모드로 설정되어 있는 경우에는 센터 화상을 나타내는 비디오 스트림을 지정하는 플레이리스트 정보를 현재 플레이리스트로 선택하도록 한다.
본 도면에서 00005.mpls는 튀어나오는 정도가 큰 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림을 메인패스정보 및 서브패스정보로서 지정하고 있다.
00003.mpls는 센터 화상의 비디오 스트림을 메인패스에 의해서 지정하고 있다. 그리고 본 도면 좌측 상단의 무비 오브젝트는 재생장치에서의 3D 재생의 능력(3D-capability)에 따라서 00005.mpls, 00003.mpls 중 어느 쪽을 선택해서 재생하도록 기술되어 있다(도면 중의 if문).
이상이 기록매체의 실시행위 및 기록방법의 실시행위에 대한 설명이다. 이어서, 재생장치의 상세에 대하여 설명한다.
도 25는 2D/3D 재생장치의 구성을 나타내고 있다. 2D/3D 재생장치는 BD 드라이브(1), 리드 버퍼(2a), 리드 버퍼(2b), 스위치(3), 시스템 타깃 디코더(4), 플레인 메모리 세트(5a), 플레인 합성부(5b), HDMI 송수신부(6), 재생제어부(7), 관리정보 메모리(9), 레지스터 세트(10), 프로그램 실행부(11), 프로그램 메모리(12), HDMV 모듈(13), BD-J 플랫폼(14), 미들웨어(15), 모드 관리 모듈(16), 사용자 이벤트 처리부(17), 로컬 스토리지(18), 불휘발성 메모리(19)로 구성되어 있다.
BD-ROM 드라이브(1)는 2D 재생장치와 마찬가지로 재생제어부(7)로부터의 요구를 기초로 BD-ROM 디스크에서 데이터를 판독하나, BD-ROM 디스크에서 판독된 AV 클립은 리드 버퍼 2a나 리드 버퍼 2b에 전송된다.
3D 영상을 재생할 때에는 재생제어부(7)로부터는 2D/레프트 뷰 AV 클립과 라이트 뷰 AV 클립을 익스텐트 단위로 교호로 판독하는 취지를 지시하는 판독요구가 전송된다. BD-ROM 드라이브(1)는 2D/레프트 뷰 AV 클립을 구성하는 익스텐트를 리드 버퍼 2a에 판독하고, 라이트 뷰 AV 클립을 구성하는 익스텐트를 리드 버퍼 2b에 판독한다. 3D 영상을 재생할 때에는 2D/레프트 뷰 AV 클립과 라이트 뷰 AV 클립의 양방을 동시에 판독할 필요가 있으므로 2D 재생장치의 BD-ROM 드라이브 이상의 스피드 성능이 요구된다.
리드 버퍼 2a는 BD-ROM 드라이브(1)가 판독한 2D/레프트 뷰 AV 클립의 데이터를 저장하는 듀얼 포트 메모리(dual-port memory) 등으로 구성된 버퍼이다.
리드 버퍼 2b는 BD-ROM 드라이브(1)가 판독한 라이트 뷰 AV 클립의 데이터를 저장하는 듀얼 포트 메모리 등으로 구성된 버퍼이다.
스위치(3)는 리드 버퍼에 대한 데이터 입력 원을 BD-ROM 드라이브(1) 또는 로컬 스토리지(18) 중 어느 하나로 스위칭하기 위한 스위치이다.
시스템 타깃 디코더(4)는 리드 버퍼 2a에 판독된 소스 패킷과 리드 버퍼 2b에 판독된 소스 패킷에 대하여 다중분리처리를 하여 스트림의 디코드 처리를 한다.
플레인 메모리 세트(5a)는 복수의 플레인 메모리로 구성된다. 플레인 메모리에는 레프트 뷰 비디오 플레인, 라이트 뷰 비디오 플레인, 세컨더리 비디오 플레인, 인터렉티브 그래픽스 플레인(IG 플레인), 프레젠테이션 그래픽스 플레인(PG 플레인)과 같은 것이 있다.
플레인 합성부(5b)는 레프트 뷰 비디오 플레인, 라이트 뷰 비디오 플레인, 세컨더리 비디오 플레인, IG 플레인, PG 플레인, GFX 플레인을 순시에 중첩하여 TV 등의 화면에 표시한다. 이 표시시에 플레인 합성부(5)는 세컨더리 비디오 플레인, PG 플레인, IG 플레인을 3D 메타데이터를 사용하여 왼쪽 눈 용과 오른쪽 눈 용으로 교호로 크로핑하여 레프트 뷰 비디오 플레인 또는 라이트 뷰 비디오 플레인과 합성한다. 합성 후의 영상은 GFX 플레인의 중첩처리로 전송된다.
플레인 합성부(5)는 IG 플레인에서의 그래픽스를 API에서 지정된 오프셋 정보를 사용하여 왼쪽 눈과 오른쪽 눈 용으로 교호로 크로핑하여, 레프트 뷰 비디오 플레인 또는 라이트 뷰 비디오 플레인과 세컨더리 비디오 플레인과 PG 플레인과 IG 플레인이 중첩된 이미지를 텔레비전에 출력한다.
텔레비전 등에 출력하는 경우에는 3D의 방식에 맞춘 출력을 한다. 셔터 안경을 이용하여 교호로 왼쪽 눈 이미지, 오른쪽 눈 이미지를 재생할 필요가 있는 경우에는 그대로 출력하고, 예를 들어 렌티큘러의 텔레비전에 출력하는 경우에는 임시 버퍼를 준비하여, 먼저 전송되는 왼쪽 눈 이미지를 임시 버퍼에 저장하여, 오른쪽 눈 이미지가 전송된 후에 동시에 출력한다.
HDMI 송수신부(6)는 예를 들어 HDMI 규격(HDMI : High Definition Multimedia Interface)에 준거한 인터페이스를 포함하며, 재생장치와 HDMI 접속하는 장치(본 예에서는 텔레비전(300))와 HDMI 규격에 준거하도록 송수신을 하는 것이며, 비디오에 저장된 픽처 데이터와 오디오 디코더(9)에 의해서 디코드 된 비 압축의 오디오 데이터를 HDMI 송수신부(6)를 통해서 텔레비전(300)에 전송한다. 텔레비전(300)은 예를 들어 입체 시 표시에 대응하고 있는가에 관한 정보, 평면표시가 가능한 해상도에 관한 정보, 입체표시가 가능한 해상도에 관한 정보를 보유하고 있으며, 재생장치에서 HDMI 송수신부(6)를 통해서 요구가 있으면 텔레비전(300)은 요구된 필요한 정보(예를 들어, 입체 시 표시에 대응하고 있는가에 관한 정보, 평면 시 표시가 가능한 해상도에 관한 정보, 입체표시가 가능한 해상도에 관한 정보)를 재생장치에 통지한다. 이와 같이, HDMI 송수신부(6)를 개재함으로써 텔레비전(300)이 입체 시 표시에 대응하고 있는가 여부의 정보를 텔레비전(300)으로부터 취득할 수 있다.
재생제어부(7)는 재생엔진(7a), 재생제어엔진(7b)을 포함하고, 3D 플레이리스트의 재생이 프로그램 실행부(11) 등으로부터 명령이 되면 3D 플레이리스트 중에서 재생대상이 되는 플레이아이템의 2D/레프트 뷰 AV 클립을 특정하고, 그 플레이아이템과 동기하여 재생되는 3D용의 서브패스의 서브 플레이아이템의 라이트 뷰 AV 클립을 특정한다. 그 후, 대응하는 클립정보 파일의 엔트리 맵을 해석하여, 어느 쪽의 익스텐트부터 먼저 익스텐트가 배치되어 있는가를 나타내는 익스텐트 개시 타입에 의거하여, 재생개시지점에서부터 2D/레프트 뷰 AV 클립의 익스텐트와 라이트 뷰 AV 클립의 익스텐트를 교호로 판독하도록 BD-ROM 드라이브(1)에 요구한다. 재생을 개시할 때에는 최초의 익스텐트를 리드 버퍼 2a나 리드 버퍼 2b에 완전히 판독한 후에 리드 버퍼 2a와 리드 버퍼 2b로부터 시스템 타깃 디코더(4)에 전송을 개시한다. 또, 재생제어부(7)는 3D 플레이리스트를 재생하는 경우에는 3D/레프트 뷰 AV 클립에 대응하는 클립정보 파일에 포함되는 3D 메타데이터를 플레인 합성부(5)에 통지한다.
재생엔진 7a는 AV 재생기능을 실행한다. AV 재생기능은 DVD 재생장치, CD 재생장치로부터 답습한 기능 군이며, 재생개시, 재생정지, 일시정지, 일시정지의 해제, 정지화상기능의 해제, 재생속도를 즉치 값으로 지정한 빨리 감기, 재생속도를 즉치 값으로 지정한 되감기, 음성 전환, 세컨더리 비디오용의 픽처 데이터 전환, 앵글전환과 같은 처리이다.
재생제어엔진 7b는 HDMV 모드의 동작주체인 커맨드 인터프리터, BD-J 모드의 동작주체인 Java 플랫폼으로부터의 함수 호출에 따라서 플레이리스트의 재생기능을 실행한다. 플레이리스트 재생기능은 상술한 AV 재생기능 중 재생개시나 재생정지를 현재 플레이리스트를 구성하는 현재 플레이리스트 정보, 현재 클립정보에 따라서 실행하는 것을 말한다.
관리정보 메모리(9)는 현재 플레이리스트 정보나 현재 클립 정보를 저장해두기 위한 메모리이다. 현재 플레이리스트 정보란 BD-ROM 또는 빌트인 미디어 드라이브, 리무버블 미디어 드라이브에서부터 액세스할 수 있는 복수의 플레이리스트 정보 중 현재 처리대상으로 되어 있는 것을 말한다. 현재 클립정보란 BD-ROM 또는 빌트인 미디어 드라이브, 리무버블 미디어 드라이브에서부터 액세스할 수 있는 복수의 클립정보 중 현재 처리대상으로 되어 있는 것을 말한다.
재생상태/설정 레지스터(Player Status/Setting Register) 세트(10)는 플레이리스트의 재생상태를 저장하는 재생상태 레지스터, 재생장치에서의 컨피규레이션을 나타내는 컨피규레이션 정보를 저장하는 재생설정 레지스터, 콘텐츠가 이용하는 임의의 정보를 저장할 수 있는 범용 레지스터를 포함하는 레지스터의 집합이다. 플레이리스트의 재생상태는 플레이리스트에 기재되어 있는 각종 AV 데이터 정보 중 어느 AV 데이터를 이용하고 있는가, 플레이리스트의 어느 위치(시각)를 재생하고 있는가 등의 상태를 나타낸다.
플레이리스트의 재생상태가 변화한 때에는 재생제어엔진(14)이 레지스터 세트(10)에 대하여 그 내용을 저장한다. 또, HDMV 모드의 동작주체인 커맨드 인터프리터 또는 BD-J 모드의 동작주체인 Java 플랫폼이 실행하고 있는 애플리케이션으로부터 이 지시에 의해서 애플리케이션이 지정한 값을 저장하거나 저장된 값을 애플리케이션에 인계할 수 있다.
프로그램 실행부(11)는 BD 프로그램 파일에 저장된 프로그램을 실행하는 프로세서이다. 저장된 프로그램에 따라서 동작을 하여 다음과 같은 제어를 한다. (1) 재생제어부(7)에 대하여 플레이리스트 재생을 명령한다. (2) 시스템 타깃 디코더에 대하여 메뉴나 게임의 그래픽스를 위한 PNG·JPEG를 전송하여 화면에 표시한다. 이들은 프로그램의 작성에 따라서 자유롭게 실행할 수 있으며, 어떻게 제어할지는 편집공정에 의한 BD-J 애플리케이션의 프로그래밍 공정에 의해서 결정한다.
프로그램 메모리(12)는 현재 동작시나리오를 저장해 두고, HDMV 모드의 동작주체인 HDMV 모듈, BD-J 모드의 동작주체인 Java 플랫폼에 의한 처리에 제공하는 메모리이다. 현재 동작시나리오는 BD-ROM에 기록되어 있는 Index.bdmv, BD-J 오브젝트, 무비 오브젝트 중 현재 실행대상으로 되어 있는 것을 말한다. 또, 동작시나리오 메모리(12)는 히프 메모리를 포함한다.
히프 메모리는 시스템 애플리케이션의 바이트코드, BD-J 애플리케이션의 바이트코드, 시스템 애플리케이션이 이용하는 시스템 파라미터, BD-J 애플리케이션이 이용하는 애플리케이션 파라미터가 배치되는 스택 영역이다.
HDMV 모듈(13)은 HDMV 모드의 동작주체가 되는 DVD 가상 플레이어이며, HDMV 모드의 실행주체가 된다. 본 모듈은 커맨드 인터프리터를 구비하고, 무비 오브젝트를 구성하는 내비게이션 커맨드를 해독해서 실행함으로써 HDMV 모드의 제어를 실행한다. 내비게이션 커맨드는 DVD-Video와 유사한 신택스(syntax)로 기술되어 있으므로 이러한 내비게이션 커맨드를 실행함으로써 DVD-Video와 같은 재생제어를 실현할 수 있다.
BD-J 플랫폼(14)은 BD-J 모드의 동작주체인 Java 플랫폼이며, Java2 Micro_Edition(J2ME) Personal Basis Profile(PBP1.0)와, Globally Executable MHP specification(GEM1.0.2) for package media targets를 풀 실장하고 있으며, 클래스 로더, 바이트코드 인터프리터, 애플리케이션 매니저로 구성된다.
클래스 로더는 시스템 애플리케이션의 하나이며, JAR 아카이브 파일에 존재하는 클래스 파일에서 바이트코드를 판독하여 히프 메모리(31)에 저장함으로써 BD-J 애플리케이션의 로드를 한다.
바이트코드 인터프리터는 소위 Java 가상 머신이며, 히프 메모리에 저장되어 있는 BD-J 애플리케이션을 구성하는 바이트코드, 시스템 애플리케이션을 구성하는 바이트코드를 네이티브 코드로 변환하여 MPU가 실행하도록 한다.
애플리케이션 매니저는 시스템 애플리케이션의 하나이며, BD-J 오브젝트 내의 애플리케이션 관리테이블에 의거하여 BD-J 애플리케이션을 기동하거나 BD-J 애플리케이션을 종료하거나 하는 등, BD-J 애플리케이션의 애플리케이션 시그널링을 한다. 이상으로 BD-J 플랫폼부의 내부 구성에 대한 설명을 마친다.
미들웨어(15)는 내장 소프트웨어를 위한 오퍼레이팅 시스템이며, 커늘(kernel), 디바이스 드라이버로 구성된다. 커늘은 BD-J 애플리케이션으로부터의 애플리케이션 프로그래밍 인터페이스(API)의 콜에 따라서 재생장치 특유의 기능을 BD-J 애플리케이션에 제공한다. 또, 할당신호에 의해서 인터럽트 핸들러부를 기동하는 등의 하드웨어 제어를 실현한다.
모드 관리 모듈(16)은 BD-ROM 또는 빌트인 미디어 드라이브, 리무버블 미디어 드라이브로부터 판독된 Index.bdmv를 보유하고, 모드 관리 및 분기제어를 한다. 모드 관리 모듈에 의한 모드 관리는 동적 시나리오를 BD-J 플랫폼(22), HDMV 모듈 중 어느 것에 실행시키는가 라고 하는 모듈의 할당이다.
사용자 이벤트 처리부(17)는 리모컨을 통한 사용자 조작에 응답해서 프로그램 실행부(16)나 재생제어부(7)에 처리의 실행을 의뢰한다. 예를 들어, 리모컨에서 버튼을 누른 경우에는 그 버튼에 포함되는 커맨드를 실행하도록 프로그램 실행부(6)에 의뢰한다. 예를 들어, 리모컨에서 빨리 감기, 되감기 버튼이 눌러진 경우에는 재생제어부(7)에 현재 재생하고 있는 플레이리스트의 AV 클립에 대한 빨리 감기, 되감기 처리의 실행을 명령한다.
로컬 스토리지(18)는 하드디스크를 액세스하기 위한 빌트인 미디어 드라이브, 반도체 메모리카드를 액세스하기 위한 리무버블 미디어 드라이브를 구비하고, 다운로드된 추가 콘텐츠나 애플리케이션이 사용하는 데이터 등의 보존에 이용된다. 추가 콘텐츠의 보존영역은 BD-ROM마다 구분되어 있으며, 또, 애플리케이션이 데이터의 유지에 사용할 수 있는 영역은 애플리케이션별로 구분되어 있다.
불휘발성 메모리(19)는 판독 가능한 메모리 등의 기록매체이며, 전원이 공급되지 않아도 기록내용을 보유할 수 있는 매체, 예를 들어 플래시 메모리, FeRAM 등이다. 이는 레지스터 세트(10)에서의 기억내용의 백업에 이용된다.
다음에, 시스템 타깃 디코더(4) 및 플레인 메모리 세트(5a)의 내부 구성에 대하여 설명한다. 도 26은 시스템 타깃 디코더(4) 및 플레인 메모리 세트(5a)의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이 시스템 타깃 디코더(4) 및 플레인 메모리 세트(5a)는 ATC 카운터(21), 소스 디패킷타이저(22), PID 필터(23), STC 카운터(24), ATC 카운터(25), 소스 디패킷타이저(26), PID 필터(27), 프라이머리 비디오 디코더(31), 레프트 뷰 비디오 플레인(32), 라이트 뷰 비디오 플레인(33), 세컨더리 비디오 디코더(34), 세컨더리 비디오 플레인(35), PG 디코더(36), PG 플레인(37), IG 디코더(38), IG 플레인(39), 프라이머리 오디오 디코더(40), 세컨더리 오디오 디코더(41), 믹서(42), 렌더링 엔진(43), GFX 플레인(44)으로 구성된다.
ATC 카운터(21)는 Arrival Time Clock(ATC)을 생성하여 재생장치 내의 동작 타이밍을 조정한다.
소스 디패킷타이저(22)는 리드 버퍼(2a)에 소스 패킷이 축적된 경우에 ATC 카운터가 생성하는 ATC 값과 소스 패킷의 ATS 값이 동일하게 된 순간에 AV 클립의 기록 레이트에 따라서 그 TS 패킷만을 PID 필터에 전송한다. 이 전송 시에 각 소스 패킷의 ATS에 따라서 디코더로의 입력시각을 조정한다.
PID 필터(23)는 소스 디패킷타이저(22)에서 출력된 TS 패킷 중 TS 패킷의 PID가 재생에 필요한 PID에 일치하는 것을 PID에 따라서 프라이머리 비디오 디코더(31), 세컨더리 비디오 디코더(34), IG 디코더(38), PG 디코더(36), 프라이머리 오디오 디코더(40), 세컨더리 오디오 디코더(41)에 전송한다.
STC 카운터(24)는 System Time Clock(STC)을 생성하여 각 디코더의 동작 타이밍을 조정한다.
ATC 카운터(25)는 Arrival Time Clock(ATC)을 생성하여 재생장치 내의 동작 타이밍을 조정한다.
소스 디패킷타이저(26)는 리드 버퍼(2ab)에 소스 패킷이 축적된 경우에 ATC 카운터가 생성하는 ATC 값과 소스 패킷의 ATC 값이 동일하게 된 순간에 AV 클립의 시스템 레이트에 따라서 그 TS 패킷만을 PID 필터에 전송한다. 이 전송 시에 각 소스 패킷의 ATS에 따라서 디코더로의 입력시각을 조정한다.
PID 필터(27)는 소스 디패킷타이저(26)에서 출력된 TS 패킷 중 TS 패킷의 PID가 현재 플레이아이템의 스트림 선택 테이블에 기재된 PID에 일치하는 것을 PID에 따라서 프라이머리 비디오 디코더에 전송한다.
프라이머리 비디오 디코더(31)는 레프트 뷰 비디오 스트림을 디코드하여 디코드 결과인 비 압축의 비디오 프레임을 바이트 코드 인터프리터(32)에 기록한다.
레프트 뷰 비디오 플레인(32)은 예를 들어 1920×2160(1280×1440)라는 해상도에 의해서 픽처 데이터를 저장할 수 있는 플레인 메모리이다.
라이트 뷰 비디오 플레인(33)은 예를 들어 1920×2160(1280×1440)라는 해상도에 의해서 픽처 데이터를 저장할 수 있는 플레인 메모리이다.
세컨더리 비디오 디코더(34)는 프라이머리 비디오 디코더와 동일한 구성을 가지며, 입력되는 세컨더리 비디오 스트림의 디코드를 하여 표시시각(PTS)의 타이밍에 픽처를 세컨더리 비디오 플레인에 기록한다.
세컨더리 비디오 플레인(35)은 시스템 타깃 디코더(4)에서 세컨더리 비디오 스트림이 디코드 된 세컨더리 비디오용의 픽터 데이터용 데이터가 출력된다.
PG 디코더(36)는 소스 디패킷타이저로부터 입력되는 복수의 TS 패킷에서 프레젠테이션 그래픽스 스트림을 추출하여 디코드하여, 비 압축의 그래픽스 데이터를 표시시각(PTS)의 타이밍에 PG 플레인에 기록한다.
PG 플레인(37)에는 프레젠테이션 그래픽스 스트림을 디코드함으로써 얻어진 비 압축의 그래픽스 오브젝트가 저장된다.
IG 디코더(38)는 소스 패킷다이저로부터 입력되는 복수의 TS 패킷에서 인터렉티브 그래픽스 스트림을 추출하여 디코드하여, 비 압축의 그래픽스 오브젝트를 표시시각(PTS)의 타이밍에 IG 플레인에 기록한다.
IG 플레인(39)에는 인터렉티브 그래픽스 스트림을 디코드함으로써 얻어진 그래픽스 데이터가 저장된다.
프라이머리 오디오 디코더(40)는 프라이머리 오디오 스트림을 디코드한다.
세컨더리 오디오 디코더(41)는 세컨더리 오디오 스트림을 디코드한다.
믹서(42)는 프라이머리 오디오 디코더(40)의 디코드 결과와 세컨더리 오디오 디코더(41)의 디코드 결과를 합성한다.
랜더링 엔진(43)은 JPEG, PNG 등 BD-J 애플리케이션이 메뉴 묘사에 이용하는 그래픽스 데이터를 디코드한다.
GFX 플레인(44)은 JPEG, PNG 등의 그래픽스 데이터가 디코드 된 후에 기록되는 플레인 메모리이다.
다음에, 프라이머리 비디오 디코더(31)의 내부 구성에 대하여 설명한다. 프라이머리 비디오 디코더(31)는 TB(51), MB(52), EB(53), TB(54), MB(55), EB(56), 비디오 디코더(57), 버퍼 스위치(58), DPB(59), 픽처 스위치(60)로 구성된다.
Transport Buffer(TB)(51)는 레프트 뷰 비디오 스트림을 포함하는 TS 패킷이 PID 필터(23)에서 출력된 때에 TS 패킷 상태로 일단 축적되는 버퍼이다.
Multiplexed Buffer(MB)(52)는 TB에서 EB로 비디오 스트림을 출력할 때에 일단 PES 패킷을 축적해두기 위한 버퍼이다. TB에서 MB에 데이터가 전송될 때 TS 패킷의 TS 헤더는 제거된다.
Elementary Buffer(EB)(53)는 부호화 상태에 있는 비디오 액세스 유닛이 저장되는 버퍼이다. MB에서 EB에 데이터가 전송될 때에 PES 헤더가 제거된다.
Transport Buffer(TB)(54)는 라이트 뷰 비디오 스트림을 포함하는 TS 패킷이 PID 필터에서 출력된 때에 TS 패킷 상태로 일단 축적되는 버퍼이다.
Multiplexed Buffer(MB)(55)는 TB에서 EB에 비디오 스트림을 출력할 때, 일단 PES 패킷을 축적해두기 위한 버퍼이다. TB에서 MB에 데이터가 전송될 때 TS 패킷의 TS 헤더는 제거된다.
Elementaly Buffer(EB)(56)는 부호화 상태에 있는 비디오 액세스 유닛이 저장되는 버퍼이다. MB에서 EB에 데이터가 전송될 때에 PES 헤더가 제거된다.
비디오 디코더(57)는 비디오 엘리멘터리 스트림의 각각의 비디오 액세스 유닛을 소정의 복호시각(DTS)에 디코드함으로써 프레임/필드 화상을 작성한다. AV 클립에 다중화되는 비디오 스트림의 압축 부호화 형식에는 MPEG2, MPEG4AVC, VC1 등이 있으므로 스트림의 속성에 따라서 비디오 디코더(57)의 디코드 방법은 선택된다. 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터를 디코드할 때 비디오 디코더(57)는 미래방향 또는 과거방향으로 존재하는 픽처 데이터를 참조 픽처로 이용하여 모션 보상을 한다. 그리고 디펜던트 뷰 비디오 스트림을 구성하는 각각의 픽처 데이터의 디코드 시에 비디오 디코더(57)는 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터를 참조 픽처로 이용하여 모션 보상을 한다. 이와 같이 픽처 데이터가 디코드 되면, 비디오 디코더(57)는 디코드 된 프레임/필드 화상을 DPB(59)에 전송하고, 표시시각(PTS)의 타이밍에 대응하는 프레임/필드 화상을 픽처 스위치에 전송한다.
버퍼 스위치(58)는 비디오 디코더(57)가 비디오 액세스 유닛을 디코드할 때에 취득한 디코드 스위치 정보를 사용하여 다음의 액세스 유닛을 EB(53), EB(56) 중 어느 쪽에서 인출할지를 결정하며, EB(53)와 EB(56)에 축적된 픽처를 비디오 액세스 유닛에 할당된 복호시각(DTS)의 타이밍에 비디오 디코더(57)에 전송한다. 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림의 DTS는 시간 축 상에서 픽처 단위로 교호로 오도록 설정되어 있으므로, 예를 들어 DTS를 무시하여 앞당겨서 디코드하는 경우에는 픽처 단위로 비디오 액세스 유닛을 비디오 디코더(57)에 전송하는 것이 바람직하다.
Decoded Picture Buffer(DPB)(59)는 복호된 프레임/필드 화상을 일시적으로 보유해두는 버퍼이다. 비디오 디코더(57)가 픽처 간 예측부호화된 P 픽처나 B 픽처 등의 비디오 액세스 유닛을 디코드할 때 이미 디코드 된 픽처를 참조하기 위해서 이용한다.
픽처 스위치(60)는 비디오 디코더(57)에서 전송된 디코드가 완료된 프레임/필드 화상을 비디오 플레인에 기록하는 경우, 그 기록 처를 레프트 뷰 비디오 플레인, 라이트 뷰 비디오 플레인으로 전환한다. 레프트 뷰의 스트림인 경우에는 비 압축의 픽처 데이터가 레피트 뷰 비디오 플레인에, 라이트 뷰의 스트림인 경우에는 비 압축의 픽처 데이터가 라이트 뷰 비디오 플레인에 순시에 기록된다.
도 27은 플레인 합성부의 내부 구성을 나타내는 도면이다. 3D 메타데이터에 의거하여 플레인에 저장되어 있는 비 압축 픽처 데이터, 그래픽스 데이터를 크로핑하는 크로핑부(61a, b, c)와, 프로그램 API에 의거하여 플레인에 저장되어 있는 비 압축 그래픽스 데이터를 크로핑하는 크로핑부(61d)와, 출력내용을 레프트 뷰 비디오 플레인과 라이트 뷰 비디오 플레인으로 전환하는 스위치(62)와, 플레인끼리의 합성을 하는 가산부(63, 64, 65, 66)로 구성된다.
플레인 메모리에는 레프트 뷰 비디오 플레인, 라이트 뷰 비디오 플레인, 세컨더리 비디오 플레인, IG 플레인, PG 플레인, GFX 플레인이 있으며, 이들은 레프트 뷰 비디오 플레인, 라이트 뷰 비디오 플레인, 세컨더리 비디오 플레인, IG 플레인, PG 플레인, GFX 플레인의 순으로 배열되어 있다. 레프트 뷰 비디오 플레인과 라이트 뷰 비디오 플레인에는 시스템 타깃 디코더(4)로부터 PTS의 타이밍에 영상 데이터가 기록된다. 플레인 합성부(5)는 레프트 뷰 비디오 플레인과 라이트 뷰 비디오 플레인 중 PTS의 타이밍에 영상 데이터가 기록된 쪽의 플레인을 선택하여 세컨더리 비디오 플레인, PG 플레인, IG 플레인과의 중첩처리에 전송된다.
이들 플레인 메모리 각각은 레프트 뷰와 라이트 뷰에 각각 다른 내용이 저장됨으로써 입체 시의 실현이 가능해진다. 그러나, 레프트 뷰에서의 저장내용과 라이트 뷰에서의 저장내용이 동일하더라도, 플레인 메모리에서의 화소의 좌표를 레프트 뷰와 라이트 뷰로 각각 변화시키면 의사적(擬似的)인 입체 시를 실현할 수 있다. 상술한 것과 같은 플레인 메모리 중 PG 플레인은 플레인 메모리에서의 화소의 좌표를 변화시킴으로써 입체 시를 실현하고 있다. 이하, PG 플레인에서의 입체 시의 실현방법에 대하여 설명한다.
도 28은 PG 플레인의 합성방법을 나타내는 도면이다.
플레인 합성의 방법을 도 28의 PG 플레인의 예를 이용하여 설명한다. 플레인 합성부(5)는 3D 메타데이터 내에 존재하는 오프셋 엔트리 중 현재 재생되고 있는 프레젠테이션 그래픽스의 PID에 대응하는 것 중에서 현재의 표시시각에 대응하는 오프셋 값을 취득한다. 그리고 플레인 합성부(5)는 중첩하는 영상 플레인이 레프트 뷰 비디오 플레인의 경우에는 PG 플레인에 저장되어 있는 화상 데이터의 좌표를 +오프셋 값만큼 X축의 양의 방향으로 기울인다. 그리고 레프트 뷰 비디오 플레인에 돌출하지 않도록 PG 플레인을 크로핑한 후 다른 플레인과의 합성에 제공한다(도 28의 상단 참조).
플레인 합성부(5)는 중첩하는 영상 플레인이 라이트 뷰 비디오 플레인인 경우에는 PG 플레인을 오프셋 값만큼 X축의 음의 방향으로 기울이고, 레프트 뷰 비디오 플레인에 돌출하지 않도록 PG 플레인을 크로핑한 후에 중첩한다(도 28의 하단 탐조). IG 플레인, 세컨더리 비디오 플레인도 마찬가지로 처리를 한다.
도 29는 오프셋 값을 사용하여 크로핑해서 중첩한 후에 사용자에게 어떻게 표시되는지를 모식적으로 나타낸 도면이다. 오프셋 값을 사용하여 플레인을 기울여서 크로핑하면, 왼쪽 눈과 오른쪽 눈 용에 시차 화상을 만들 수 있으므로 평면의 이미지에 대하여 심도를 부여할 수 있게 된다. 이러한 심도가 존재하면 사용자는 평면 이미지가 표시장치의 화면에서 부상한 것과 같은 표현이 가능하다.
이상이 플레인 합성에 대한 설명이다. 이어서, 레지스터 세트(10)의 내부 구성 및 재생제어엔진(7b)의 상세에 대하여 설명한다.
도 30은 레지스터 세트(10)의 내부 구성 및 재생제어엔진(7b)의 내부 구성을 나타내는 도면이다.
동 도면의 좌측에는 레지스터 세트(10)의 내부 구성을 나타내고 있다. 우측에는 재생제어엔진(7b)의 내부 구성을 나타내고 있다.
PSR에 저장되어 있는 이들 저장 값은 무비 오브젝트 및 BD-J 애플리케이션에 의해서 적절하게 참조되고, 또, 무비 오브젝트 및 BD-J 애플리케이션에 의한 갱신을 받는다. 이와 같이 PSR의 저장 값은 무비 오브젝트 및 BD-J 애플리케이션에 의해서 참조되는 파라미터이므로 시스템 파라미터라고도 불린다.
먼저, PRS 중 대표적인 것에 대하여 설명한다.
PSR1는 오디오 스트림을 위한 스트림 번호 레지스터이며, 현재의 오디오 스트림 번호를 저장한다.
PSR2는 PG 스트림을 위한 스트림 번호 레지스터이며, 현재의 PG 스트림 번호를 저장한다.
PSR4는 1~100의 값으로 설정됨으로써 현재의 타이틀 번호를 나타낸다.
PSR5는 1~999의 값으로 설정됨으로써 현재의 챕터 번호를 나타내며, 0xFFFF로 설정됨으로써 재생장치에서 챕터 번호가 무효임을 나타낸다.
PSR6은 0~999의 값으로 설정됨으로써 현재 플레이리스트의 번호를 나타낸다.
PSR7은 0~255의 값으로 설정됨으로써 현재 플레이아이템의 번호를 나타낸다.
PSR8은 0~0xFFFFFFFF의 값으로 설정됨으로써 45㎑의 시간 정밀도를 이용하여 현재의 재생시점(현재 PTM)을 나타낸다. 이상이 PSR에 대한 설명이다.
PSR10은 IG 스트림을 위한 스트림 번호 레지스터이며, 현재의 IG 스트림 번호를 저장한다.
PSR21은 사용자가 입체 시 재생을 실행하는 것을 의도하고 있는가 여부를 나타낸다.
PSR22는 출력 모드 값을 나타낸다.
PSR23은 "Display Capability for 3D"의 설정이다. 이는 재생장치의 접속상대인 표시장치에 입체 시 재생을 실행하는 능력이 존재하는지 여부를 나타낸다.
PSR24는 "Player Capability for 3D"의 설정이다. 이는 재생장치의 입체 시 재생을 실행하는 능력이 존재하는지 여부를 나타낸다.
한편, 재생제어엔진(7b)의 내부에는 레지스터 세트(10)에서의 PSR4, PSR6, PSR21, PSR23, PSR24와 관리정보 메모리(9)에서의 현재 플레이리스트 정보의 스트림 선택 테이블을 참조하여 현재 플레이리스트에서의 출력 모드를 고유하게 정하는 프로시저 실행부(8)를 구비하고 있다. PSR24에서의 Player Capability for 3D는 재생장치의 3D 재생에 관한 능력 전반을 의미하는 것이므로 "3D-Capability"로 간단하게 표기하는 경우가 있다.
PSR23은 출력 모드를 규정하는 것이며, 그 상태천이의 선택 모델은 도 31에 나타낸 것과 같이 규정되어 있다.
도 31은 출력 모드의 선택 모델의 상태천이를 나타내는 도면이다. 이 선택 모델에는 2개의 일반적인 상태가 존재한다. 타원은 이 일반적인 상태, 즉, 출력 모드 값이 취할 수 있는 값인 "Invalid", "valid"를 모식적으로 묘사한 것이다. Invalid는 출력 모드가 유효하며, Valid는 출력 모드가 무효하다는 취지를 나타낸다.
일반적인 상태는 상태천이가 일어나지 않는 한 유지된다. 상태천이는 플레이리스트 재생의 개시, 내비게이션 커맨드나 BD-J 애플리케이션에 의해서 요구된 출력모드 변화, BD-J 타이틀로의 점프가 있다. 상태천이가 발생한 때 바람직한 출력 모드를 획득하기 위한 프로시저가 실행된다.
도면 중의 화살표 jm1, jm2, jm3, …… jm12는 상태천이의 트리거가 되는 사상을 모식적으로 나타낸다. 동 도면에서의 상태천이에는 이하의 것이 있다.
『Load a disc』는 BD-ROM이 장전된 상태를 의미한다.
『Start Presentation』은 HDMV 모드에서 플레이리스트의 재생개시(start Playlist playback)을 의미한다. BD-J 모드에서는 BD-J 타이틀로의 분기를 의미한다. 왜냐하면, BD-J 모드에서는 BD-J 타이틀로 분기한 경우에는 반드시 플레이리스트의 재생이 개시된다고는 할 수 없기 때문이다.
『Jump to BD-J title』은 BD-J 타이틀로의 분기를 의미한다. 구체적으로는 인덱스 테이블에서 BD-J 애플리케이션에 대응된 타이틀(BD-J 타이틀)이 현재타이틀이 되는 것을 말한다.
『Start Playlist Playback』은 어느 플레이리스트를 의미하는 플레이리스트 번호가 PSR에 설정되고, 플레이리스트 정보가 현재 플레이리스트 정보로 판독되는 것을 말한다.
『Change output Mode』는 BD-J 애플리케이션이 API를 콜 함으로써 출력 모드를 변화하는 것을 말한다.
『Terminate presentation』은 HDMV 모드인 경우에는 플레이리스트의 재생이 종료하는 것을 말하고, BD-J 모드인 경우에는 BD-J 타이틀로부터 인덱스 테이블에서 무비 오브젝트에 대응된 타이틀(HDMV 타이틀)로 점프하는 것을 말한다.
디스크가 로드된 때 출력 모드의 상태는 일시적인 상태 "Initialization" 으로 천이한다. 출력 모드 셀렉션의 상태는 일시적으로 "Initialization state"로 천이한 후에 invalid state로 천이한다.
Output Mode Selection의 상태는 재생개시(Start Presentation)가 활성화될 때까지 Invalid로 유지된다. HDMV 모드에서 "Start Presentation"은 플레이리스트의 재생이 개시되었음을 의미한다. BD-J 모드에서 "Start Presentation"은 BD-J 타이틀의 재생이 개시되고 BD-J 애플리케이션이 어떤 동작을 개시했음을 의미한다. 반드시 플레이리스트의 재생이 개시되었음을 의미하는 것은 아니다.
Start Presentation이 활성화된 때에 출력 모드는 일시적인 상태인 "Procedure when playback condition is changed"로 천이한다.
출력 모드는 Procedure when playback condition is changed의 결과에 따라서 Valid로 천이한다. 출력 모드가 유효하고 Start Presentation이 종료하면 상태는 Invalid로 천이한다.
무비 오브젝트에서의 내비게이션 커맨드는 콘텐츠 공급자가 바람직한 출력 모드로 설정하기 위해서 플레이리스트 재생의 개시에 앞서서 실행되지 않으면 안 된다. 무비 오브젝트에서의 내비게이션 커맨드가 실행된 때 이 모델에서는 Invalid가 된다.
도 32는 Initialization의 처리순서를 나타내는 플로차트이다.
스텝 S1은 디스크 언바운드(disc unbound)의 BD-J 애플리케이션이 동작 중인지 여부의 판정이고, 스텝 S2는 PSR23에서의 Stereoscopic Display Capability가 "Capability 있음"을 나타내며, Index.bdmv에서의 Initial_output_mode 정보가 "입체 시 출력 모드"를 나타내는가 여부의 판정이다.
스텝 S1이 Yes이면 스텝 S3에서 현재의 출력 모드를 유지한다. 스텝 S1이 No이고 스텝 S2가 Yes이면 스텝 S4에서 PSR22를 입체 시 출력 모드로 설정한다. 스텝 S1이 No이고 스텝 S2가 NO이면 스텝 S5에서 PER22에서의 출력 모드를 2D 출력 모드로 설정한다.
도 33은 Procedure when playback condition is changed의 처리순서를 나타내는 플로차트이다. 스텝 S11은 PER22에서의 출력 모드는 2D 출력 모드인지 여부의 판정이며, 스텝 S13은 PSR23에서의 Stereoscopic Display Capability가 "Capability 있음"을 나타내고, 또한 플레이리스트에 STN_table_SS가 존재하는지 여부의 판정이다.
스텝 S11이 Yes이면 스텝 S12에서 현재 출력 모드를 변화시키지 않는다. 스텝 S11이 No이고 스텝 S13이 Yes라도 현재 출력 모드를 변화시키지 않는다(스텝 S12). 스텝 S11이 No이고 스텝 S13이 Yes이면 현재 출력 모드를 2D 출력 모드로 변화시킨다(스텝 S14).
플레이리스트의 재생을 개시할 때에 유의할 점은 각각의 플레이아이템에서 재생이 가능한 PES 스트림이 각각의 플레이아이템에서의 스트림 선택 테이블로 규정되어 있는 점이다. 따라서, 현재 플레이아이템의 재생을 개시할 때에 우선 먼저 현재 플레이아이템의 스트림 선택 테이블에서 재생이 허가되어 있는 PES 스트림 중에서 플레이아이템의 재생에 최적의 것을 선택할 필요가 있다. 이 선택의 순서는 "스트림 선택 프로시저"라고 한다.
도 34는 스트림 선택 프로시저의 처리순서를 나타내는 플로차트이다. 스텝 S21은 재생장치의 표시방식이 2D인지 여부를 판정하는 판정 스텝이고, 판정결과가 Yes이면 현재 플레이아이템 정보 내의 2D용 STN_table을 현재 STN_table로 설정한다(스텝 S22). 판정결과가 No이면 플레이리스트 정보의 익스텐션 데이터에 존재하는 STN_table_SS 중 현재 플레이아이템 정보에 대응하는 것을 현재 STN_Table로 설정한다. 이후 스텝 S24~스텝 S33의 처리를 실행한다. 스텝 S24~스텝 S33은 프라이머리 비디오 스트림, IG 스트림, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림의 각각에 대하여 스텝 S26~스텝 S33의 처리를 반복하는 것이다. 스텝 S26은 현재 STN_table에서의 스트림 x에 대응하는 STN_table 엔트리 수가 0인지 여부의 판정이고, 스텝 S27은 현재 스트림에서의 스트림 x에 대응하는 스트림 엔트리 수가 스트림 번호 레지스터에 저장되어 있는 스트림 번호 이상인지를 판정하는 판정 스텝이다.
스텝 S26, 스텝 S27 중 어느 하나가 Yes이면 스텝 S33에서 스트림 번호 레지스터에 저장되어 있는 스트림 번호를 유지한다.
스텝 S26, 스텝 S27 모두가 No이면 현재 STN_table에 등록되어 있는 PES 스트림이 복수의 조건 중 어느 것을 만족하는지를 판정하고(스텝 S28), 만족한다고 판정된 조건의 조합이 동일해지는 PES 스트림이 복수 존재하는가 여부를 판정한다(스텝 S29).
조건을 만족하는 PES 스트림이 유일한 경우에는 조건을 만족하는 하나의 PES 스트림을 선택한다(스텝 S30).
조건을 만족하는 PES 스트림이 복수 존재하는 경우에는 동일한 조건을 만족한다고 판정된 PES 스트림 중 현재 STN_table에서의 우선순위가 가장 높은 것을 선택한다(스텝 S31). 이렇게 PES 스트림을 선택하면 선택한 PES 스트림의 스트림 엔트리에 대응하는 스트림 번호를 PSR에서의 스트림 번호 레지스터에 기록한다(스텝 S32).
이상의 과정을 거쳐서 출력 모드가 확정되고, 또 현재 플레이아이템에서의 재생할 PES 스트림이 확정되면 현재 플레이아이템의 재생을 개시할 필요가 있으나, 현재 플레이아이템 재생의 처리순서는 Procedure when playback condition is changed에 의해서 확정한 출력 모드에 따른 것이 된다. 출력 모드에 따른 플레이아이템의 재생순서를 도 35를 참조하면서 설명한다.
도 35는 플레이아이템의 재생순서를 나타내는 플로차트이다.
스텝 S41은 현재 출력 모드가 3D 출력 모드인지 여부의 판정이며, 현재 출력 모드가 2D 출력 모드이면 스텝 S42에서 현재 플레이아이템 번호를 "1"로 초기화한 후에 스텝 S43~스텝 S48의 루프로 이행한다.
이 루프는 현재 플레이아이템에 대하여 스텝 S43~스텝 S46의 처리를 실행하고, 현재 플레이아이템 번호를 증가시킨다고 하는 처리(스텝 S48)를 현재 플레이아이템 번호가 최종이 될 때까지 반복하는 것이다(스텝 S47에서 Yes). 스텝 S43~스텝 S46의 내용은 이하와 같다.
스텝 S43에서 현재 플레이아이템의 Clip_information_file_name에 기술되어 있는 「XXXXX」와 확장자 「m2ts」로 지정되어 있는 트랜스 포트 스트림 파일을 오픈하고, 스텝 S44에서 비디오 스트림의 패킷 ID에 대응하는 엔트리 맵을 이용하여 현재 PlayItem.In_Time 및 현재 PlayItem.Out_Time을 Start_SPN[i] 및 End_SPN[i]으로 변환한다.
스텝 S45에서는 패킷 ID[i]의 TS패킷[i]을 Start_SPN[i]에서 End_SPN[i]까지 판독하기 위한 판독범위[i]에 속하는 익스텐트를 특정하고, 스텝 S46에서 판독범위[i]에 속하는 익스텐트를 연속적으로 판독하도록 BD-ROM 드라이브에 지시한다.
현재 출력 모드가 입체 시 출력 모드이면 스텝 S49에서 현재 플레이아이템 번호를 "1"로 초기화한 후에 스텝 S50~스텝 S60의 루프로 이행한다.
이 루프는 현재 플레이아이템에 대하여 스텝 S50~스텝 S58의 처리를 실행하고 현재 플레이아이템 번호를 증가시킨다고 하는 처리(스텝 S60)를 현재 플레이아이템 번호가 최종이 될 때까지 반복하는 것이다(스텝 S59에서 Yes). 스텝 S50~스텝 S58의 내용은 이하와 같다.
스텝 S50에서 현재 플레이아이템의 Clip_Information_file_name에 기술되어 있는 「XXXXX」와 확장자 「ssif」로 지정되어 있는 트랜스 포트 스트림 파일을 오픈하고, 스텝 S51에서 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림 중 현재 플레이아이템 정보의 레프트 뷰/라이트 뷰 식별정보에 의해서 지정되어 있는 것을 베이스 뷰 비디오 스트림으로 한다. 그 이외의 것을 디펜던트 뷰 스트림으로 한다.
스텝 S52에서 베이스 뷰 비디오 스트림의 패킷 ID에 대응하는 엔트리 맵을 이용하여 현재 PlayItem.In_Time 및 현재 PlayItem.Out_Time을 Start_SPN[i] 및 End_SPN[i]로 변환한다.
스텝 S53에서는 디펜던트 뷰 스트림에 대응하는 SubPlayItem을 특정하고, 디펜던트 뷰 스트림의 패킷 ID[j]에 대응하는 엔트리 맵[j]을 이용하여 특정된 SubPlayItemIn_Time, SubPlayItemOut_Time을 Start_SPN[j], End_SPN[j]으로 변환한다(스텝 S54).
패킷 ID[i]의 TS패킷[i]을 Start_SPN[i]에서 End_SPN[i]까지 판독하기 위한 판독범위[j]에 속하는 익스텐트를 특정하고(스텝 S55), 패킷 ID[j]의 TS패킷[j]을 Start_SPN[j]에서 End_SPN[j]까지 판독하기 위한 판독범위에 속하는 익스텐트를 특정한다(스텝 S56). 그리고 스텝 S57에서 판독범위[i],[j]에 속하는 익스텐트를 어드레스의 오름순으로 정렬하고, 스텝 S58에서 정렬된 어드레스를 이용하여 판독범위 [i], [j]에 속하는 익스텐트를 연속적으로 판독하도록 드라이브에 지시한다.
HDMV 모드에서는 플레이리스트의 재생이 정지해 있으면 화면에는 아무것도 나타나지 않으나, BD-J 모드에서는 플레이리스트의 재생이 정지해 있어도 BD-J 애플리케이션이 화면 묘사를 할 수 있으므로, 어떤 화면이 표시되어 있을 가능성이 있다. 여기서, 만약 재생제어엔진 측에서 입체 시가 실현되어 있으나 BD-J 애플리케이션에 의한 화면 묘사가 평면 시인 상태에서는 부정합이 일어난다. 왜냐하면, 재생제어엔진 측에서 입체 시가 실현되고 있는데 반해 BD-J 애플리케이션에 의한 화면 묘사가 평면 시인 상태에서는 부정합이 일어나기 때문이다.
플레이리스트의 재생이 개시되면 그 플레이리스트가 2D인지 3D 영상인지에 따라서 메뉴나 그래픽스를 3D로 변환하거나 2D로 변환할 필요가 있으므로, 본 실시 예에서는 미들웨어가 BD-J 애플리케이션에 이벤트를 출력하여 입체 시를 위한 화면 묘사를 촉진하도록 하고 있다.
2D 영상과 3D 영상이 바꾸는 타이밍을 디스크 상에 기록하고, 재생장치에서 동작하고 있는 프로그램에 알리기 위한 구조에 대하여 설명한다.
도 31의 상태천이에서는 BD-J 타이틀에서 플레이리스트의 재생이 개시된 때에 Procedure when playback condition is changed가 실행되었으나, 이 BD-J 타이틀의 재생 중에 플레이리스트의 재생이 개시된 경우에는 어떤 방법에 의해서 플레이리스트 재생의 개시를 BD-J 애플리케이션에 통지해야 한다. 이 통지를 어떻게 할지를 기술한 것이 도 36이다.
도 36은 재생제어엔진의 상태가 "정지 중"에서 "3D 플레이리스트 재생 중"으로 바뀐 경우에 BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
제 1 단째는 BD-J 애플리케이션에 의해서 묘사된 GUI를 나타낸다. 제 3 단째는 재생제어엔진의 상태를 나타낸다. 제 2 단째는 미들웨어에서 BD-J 애플리케이션에 출력되는 HScreenConfiguration 이벤트를 나타낸다.
제 3 단째에 의하면 재생제어엔진의 상태는 『정지 중→ 3D 플레이리스트 재생 → 정지 중』과 같이 천이하고 있음을 알 수 있다. 이 중, 정지 중에서 3D 플레이리스트 재생으로 천이한 타이밍, 3D 플레이리스트 재생에서 정지 중으로 천이한 타이밍에 3D 개시를 나타내는 HScreenConfiguration 이벤트가 출력되고, 정지 중에서 3D 플레이리스트 재생으로 천이한 타이밍에도 3D 종료를 나타내는 HScreenConfiguration 이벤트가 출력되고 있음을 알 수 있다.
제 1 단째에서 재생제어엔진의 정지 중에는 BD-J 애플리케이션에 의해서 묘사되는 GUI는 2D용의 GUI임을 알 수 있다. 한편, 3D 플레이리스트의 재생 중에 BD-J 애플리케이션에 의해서 묘사되는 GUI는 3D용의 GUI임을 알 수 있다. 이는, 상기 이벤트 출력에 따라서 BD-J 애플리케이션이 GUI의 묘사 전환을 하였기 때문이다.
다음에, 재생제어엔진(7b)이 재생을 정지하고 있는 것이 아니라 2D 플레이리스트의 재생을 이미 개시하고 있고, 그 재생의 도중에서 재생의 대상이 되는 플레이리스트가 전환된다고 하는 경우를 상정한다. 도 37은 재생제어엔진의 상태가 2D 플레이리스트 재생에서 3D 플레이리스트 재생으로 전환된 경우에 BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
제 1 단째는 BD-J 애플리케이션에 의해서 묘사된 GUI를 나타낸다. 제 3 단째는 재생제어엔진의 상태를 나타낸다. 제 2 단째는 미들웨어에서 BD-J 애플리케이션에 출력되는 HScreenConfiguration 이벤트를 나타낸다.
제 3 단째에 의하면, 재생제어엔진의 상태는 2D 플레이리스트 재생 → 3D 플레이리스트 재생 → 2D 플레이리스트 재생과 같이 천이해감을 알 수 있다. 이 중, 2D 플레이리스트 재생에서 3D 플레이리스트 재생으로 천이한 타이밍에 3D 개시를 나타내는 HScreenConfiguration 이벤트가 출력되고, 3D 플레이리스트 재생에서 2D 플레이리스트 재생으로 천이한 타이밍에도 3D 종료를 나타내는 HScreenConfiguration 이벤트가 출력되고 있음을 알 수 있다.
제 1 단째에서 재생제어엔진에 의한 2D 플레이리스트의 재생 중에 BD-J 애플리케이션에 의해서 묘사되는 GUI는 2D용의 GUI임을 알 수 있다. 한편, 3D 플레이리스트의 재생 중에 BD-J 애플리케이션에 의해서 묘사되는 GUI는 3D용의 GUI임을 알 수 있다. 이것도 상기 이벤트 출력에 따라서 BD-J 애플리케이션이 GU의 묘사 전환을 하였기 때문이다.
다음에, 재생제어엔진에 의한 3D 플레이리스트의 재생 중에 사용자가 자막전환, 음성전환의 조작을 재생장치에 실행한다고 하는 경우를 상정하여 이하를 실행한다. 재생대상이 되는 스트림이 전환하게 된다. 이하, 이 스트림 전환의 사례에 대해서 도 38을 참조하면서 설명한다.
도 38은 재생제어엔진에 의한 3D 플레이리스트의 재생 중에 대상이 되는 스트림이 전환된 경우에 BD-J 애플리케이션에 어떤 이벤트가 출력되는지를 나타내는 도면이다.
제 1 단째는 BD-J 애플리케이션에 의해서 묘사된 GUI를 나타낸다. 제 3 단째는 재생제어엔진의 상태를 나타낸다. 제 2 단째는 미들웨어에서 BD-J 애플리케이션에 출력되는 HScreenConfiguration 이벤트를 나타낸다.
제3 단째에 의하면, 재생제어엔진의 상태는 3D 플레이리스트 재생이나 그 도중에 스트림의 전환이 이루어져 있음을 알 수 있다. 이 중, 스트림이 다른 것으로 변화한 타이밍 및 스트림이 원래의 것으로 되돌아간 타이밍에 HScreenConfiguration 이벤트가 출력되고 있음을 알 수 있다.
제 1 단째에서 재생제어엔진에 의한 2D 플레이리스트의 재생 중에 BD-J 애플리케이션에 의해서 묘사되는 GUI는 2D용의 GUI임을 알 수 있다. 한편, 3D 플레이리스트의 재생 중에 BD-J 애플리케이션에 의해서 묘사되는 GUI는 3D용의 GUI임을 알 수 있다.
플레이아이템이나 플레이리스트, 또는 사용자가 스트림 전환을 한 타이밍으로, 3D 영상의 재생이 개시된 경우, 또는 종료한 경우에 이벤트를 출력함으로써 2D/3D가 전환되는 타이밍을 검출하여 적절한 메뉴·그래픽스로 전환시킨다.
이상과 같이 본 실시 예에 의하면 재생장치의 출력 모드가 입체 시 재생 모드로 되어 있는 경우, 플레이리스트 정보 내의 Clip_Information_file_name과 인터리브 형식의 트랜스 포트 스트림 파일이라는 취지를 나타내는 확장자 「ssif」에 의해 식별되는 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트를 판독하여 재생에 제공함으로써, 출력 모드가 입체 시 재생 모드로 설정되어 있는 경우에 한하여 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트를 판독할 수 있다. 이에 의해서, 2D 재생장치에 의해서 인터리브 형식의 트랜스 포트 스트림 파일의 익스텐트가 판독되는 일은 없으므로, 인터리브 형식의 트랜스 포트 스트림의 독특한 ATS의 변화, 즉 ATS가 증가하고나서 감소하고, ATS가 증가하고나서 감소한다고 하는 불규칙적 변화의 반복이 2D 재생장치의 오동작이나 불안정화를 초래하는 일은 없다.
그리고, 어느 정해진 파일 참조정보가 기술된 플레이리스트 정보를 작성해 두면, 3D 재생시에 그 파일 참조정보의 파일 명과 인터리브 형식의 트랜스 포트 스트림이라는 취지를 나타내는 확장자를 갖는 인터리브 형식의 스트림 파일이 판독되어서 재생되게 되며, 2D 재생시에 그 파일 참조정보의 파일 명과 통상 형식의 트랜스 포트 스트림 파일이라는 취지를 나타내는 확장자를 갖는 트랜스 포트 스트림 파일이 판독되어서 재생되게 된다. 이렇게 함으로써 3D용 플레이리스트 정보, 2D용 플레이리스트 정보를 구분할 필요가 없으므로 편집의 수고가 줄어든다. 이러한 편집의 수고의 감소에 의해 3D의 재생이 가능한 영화작품의 충실화를 도모할 수 있다.
(제 2 실시 예)
본 실시 예에서는 표시장치(300), 3D 안경(400)이 어떤 기능을 가지며, 그 내부 구성이 어떤 것인가를 도 39를 참조하면서 설명한다.
도 39 (a)는 표시장치(300)의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 표시장치(300)는 튜너(71), HDMI 송수신부(72), 메시지 기억부(73), 표시제어부(74), 표시소자(75), 무선송신부(76)로 구성된다.
튜너(71)는 지상파 디지털 방송, 위성 디지털 방송에서 송신된 멀티채널 트랜스 포트 스트림을 수신하여 복조한다. 이때 튜너(71)는 복수의 채널을 동시에 선국해서 비 압축의 픽처를 출력할 수도 있다.
HDMI 송수신부(72)는 HDMI를 통해서 재생장치에서 송신되는 비 압축이고 합성이 완료된 픽처 데이터를 수신한다.
메시지 기억부(73)는 픽처에 대신해서 표시할 경고 메시지를 기억하고 있다.
표시제어부(74)는 튜너(71)에 의한 복조에 의해 얻어진 비 압축의 픽처, HDMI를 통해서 재생장치에서 전송된 비 압축이면서 합성이 이루어진 픽처를 표시에 제공한다. 표시 시에 표시제어부(74)는 1/120초, 1/140초라고 하는 시간 정밀도로 표시기간을 전환할 수 있으며, 이 정밀도로 예를 들어 1/24초라고 하는 표시기간을 1/48초, 1/72초, 1/92초와 같이 더 작은 표시기간으로 세분화할 수 있다.
표시 패널(75)은 액정표시소자, 플라스마 발광소자, 유기 EL소자를 구동함으로써 화소의 발광을 행하는 디바이스이며, 표시제어부(74)에 의한 제어하에 비 압축의 픽처 데이터의 표시를 한다.
무선 송신부(76)는 적외선 통신방식, 무선 LAN 방식에 의해 3D 안경(400)을 제어한다. 구체적으로는 3D 모드 및 멀티채널 모드 각각에서, 표시기간의 선두에서 3D 안경(400)의 상태천이를 촉진하는 동기신호를 송신한다. 이러한 신호의 송신에 의해서 레프트 뷰의 기간에서는 투광상태로 천이하고, 라이트 뷰의 기간에서는 차광상태로 천이하며, 레프트 뷰의 기간에서는 다시 투광상태로 천이시킨다고 하는 제어를 반복한다. 이에 의해 도 1 (b) (c)와 같은 변화를 할 수 있게 된다.
본 실시 예에서는 3D 모드에서의 처리로 표시제어부(74)는 1/24초라고 하는 표시기간을 1/72초의 시간 길이를 갖는 3개의 표시기간(표시기간 1/3, 2/3, 3/3)으로 분할하고, 이 3개의 표시기간 1/3, 2/3, 3/3의 각각에 각각의 표시내용을 표시한다. 첫 번째의 표시기간 1/3의 표시내용은 레프트 뷰, 두 번째의 표시기간 2/3의 표시내용은 라이트 뷰, 그리고 세 번째의 표시기간 3/3의 내용에는 경고화면과 같이 한다. 이들 기간의 선두에서 안경에 대하여 동기신호를 송신하고, 레프트 뷰 및 라이트 뷰의 상태천이를 행하게 한다.
멀티채널 모드의 처리로 표시장치(300)는 복수의 채널을 시분할로 복조한다. 그리고 표시제어부(74)는 1/24초라고 하는 표시기간을 1/24초의 시간 길이를 갖는 2개의 표시기간(표시기간 1/2, 2/2)으로 분할하고, 이 2개의 표시기간 1/2, 2/2의 각각에 각각의 표시내용을 표시한다. 첫 번째의 표시기간 1/2의 표시내용은 채널 1, 2번째의 표시기간 1/2의 표시내용은 채널 2와 같이 한다. 그리고 각각의 채널의 표시기간이 도래하면 그 채널의 시청을 희망하고 있는 사용자의 상태를 투광상태로 천이시키고, 다른 채널의 시청을 희망하고 있는 사용자의 안경의 상태를 차광상태로 천이시킨다.
도 39 (b)는 3D 안경(400)의 내부 구성을 나타내는 도면이다.
상태천이의 트리거가 되는 동기신호를 표시장치(300)로부터 수신하는 무선 수신부(81)와, 액정 셔터의 상태를 투광상태 또는 차광상태로 천이시키는 상태 제어부(82)와, 액정 셔터(83, 84)를 구비한다.
안경의 동작 모드에도 3D 모드와 멀티채널 모드가 존재한다.
3D 모드에서 안경은 투광상태, 차광상태 외에 차단-차광상태를 구비한다. 차단-차광상태는 레프트 뷰 및 라이트 뷰 쌍방이 모두 닫혀 있는 상태이다.
멀티채널 모드에서 안경은 레프트 뷰 및 라이트 뷰의 쌍방이 열려있는 투광-투광상태와 레프트 뷰 및 라이트 뷰의 쌍방이 닫혀 있는 차단-차광상태로 천이한다.
입체 시 표시를 실현하는 경우, 본 실시 예에서는 안경의 라이트 뷰, 레프트 뷰를 단순히 전환하는 것이 아니라, 3D 안경을 이미 장착하고 있는 사용자에게는 3D 안경(400)의 장착을 촉구하는 경고화면이 보이지 않게 하는 배려가 필요해진다. 경고화면을 장착이 완료된 사용자에게 보이지 않도록 3D 안경(400)을 어떻게 제어해야 하는가를 도 40을 참조하면서 설명한다.
도 40은 3D 모드에서의 표시내용과 안경의 레프트 뷰의 상태 및 라이트 뷰의 상태를 나타낸다. 제 1 단째는 재생시간 축에서의 표시기간을 나타내고, 제 2 단째는 표시장치의 표시내용을 나타낸다. 제 3 단째는 안경의 라이트 뷰, 레프트 뷰의 상태를 나타낸다. 1/24초 중 최초의 1/72초의 표시기간 1/3에서는 레프트 뷰 화상이 표시장치에 표시되어 있고, 안경의 레프트 뷰가 투광상태, 라이트 뷰가 차광상태로 되어 있다. 이어지는 표시기간 2/3에서는 라이트 뷰 화상이 표시장치에 표시되어 있고, 안경의 레프트 뷰가 차광상태, 라이트 뷰가 투광상태로 되어 있다. 최후의 표시기간 3/3에서는 표시장치가 장착을 촉구하는 경고화면으로 되어 있고, 안경의 레프트 뷰 및 라이트 뷰가 차광상태로 되어 있음을 알 수 있다.
1/24초의 표시기간을 분할함으로써 얻어진 3개의 1/72초의 표시기간 중 마지막 표시기간 3/3에서 안경을 장착한 사용자는 화면에 표시되고 있는 경고 영상을 볼 수 없다. 「3D 안경을 써 주세요」라고 표시하면 3D 안경을 쓰지 않은 사람에게는 3D 안경을 쓰기를 촉구하는 메시지가 보이나, 이미 3D 안경을 쓰고 있는 사람에게는 보이지 않는다고 하는, 상황에 따른 메시지가 표시되게 된다.
멀티채널 표시를 실행하는 경우, 표시장치는 좌우의 셔터를 전환하는 것이 아니라 2개의 안경의 셔터를 전환하다고 하는 독특한 제어를 실현한다. 이 독특한 제어를 도 41을 참조하면서 설명한다.
도 41은 좌우의 셔터를 전환하는 것이 아니라 2개의 안경의 셔터를 전환하는 경우의 3D 모드에서의 표시내용과 레프트 뷰의 상태 및 라이트 뷰의 상태를 나타낸다. 제 1 단째는 재생시간 축에서의 표시기간을 나타내고 제 2 단째는 표시장치의 표시내용을 나타낸다. 제 3 단째는 안경의 R, L의 상태를 나타낸다.
1/24초의 표시기간 중 표시기간 1/2에서 사용자 1이 장착하고 있는 안경은 투광-투광상태가 되어서 사용자 1은 채널 1(ch1)을 시청할 수 있다.
사용자 2가 장착하고 있는 안경은 차광-차광상태가 되어서 사용자 2는 채널 1(ch1)을 시청할 수 없다.
표시기간 2/2에서 사용자 1이 장착하고 있는 안경은 차광-차광상태가 되어서 사용자 2는 채널 2(ch2)를 시청할 수 없다. 사용자 2가 장착하고 있는 안경은 투광-투광상태가 되어서 사용자 2는 채널 2(ch2)를 시청할 수 있다. 이와 같은 사용법으로 하면 하나의 화면에서 두 사람이 각각 다른 채널을 동시에 볼 수 있다.
3D 안경을 이미 장착하고 있으므로, 안경에 내장된 이어폰을 사용하면 영상과 음성을 완전하게 독립시킬 수도 있으며, 거실 등에서의 채널권 다툼의 회피, 하나의 화면에서 대전 게임을 하는 등 응용범위는 확대된다. 또, 스텝을 증가시킴에 따라서 3채널이나 더 많은 채널을 하나의 화면에서 볼 수 있게 된다.
이상과 같이 본 실시 예에 의하면, 표시장치를 시청하고 있는 사용자가 복수 명인 경우에 각 사용자가 3D 안경(400)을 착용함으로써 각 사용자는 자기가 좋아하는 채널을 시청할 수 있게 된다. 사용자의 사람 수만큼 표시장치를 준비하지 않아도 사용자는 좋아하는 프로그램을 볼 수 있으므로 사용자 집의 거실을 유효하게 이용할 수 있다.
(제 3 실시 예)
본 실시 예는 재생장치와 표시장치의 니고시에이션(negotiation)에 관한 실시 예이다. 사용자의 댁내에서의 홈시어터 시스템의 구축사정에는 각각의 가정마다 독특한 점이 있으며, 재생장치가 표시장치와 접속된 때, 접속상대가 되는 표시장치와 니고시에이션을 하여 어느 플레이리스트를 재생에 제공할지를 선택할 필요가 있다.
본 실시 예에서는 3D에 대응한 디지털 출력과 종래의 표시장치에도 출력할 수 있다는 점을 고려한 아날로그 출력을 동시에 출력하는 경우의 개량을 설명한다.
3D 영상을 저장한 BD-ROM이라고 하더라도 종래로부터 존재하며 보급 대수가 많은 2D 재생장치에서도 정상적으로 재생되는 것을 생각할 필요가 있다. 제 1 실시 예에서 설명한 것과 같이, BD-ROM 상의 프로그램으로 제어하는 방법도 있으나, 프로그램의 버그 등에 의해서 선택을 잘못한 경우에 부적절한 영상이 재생되어서 시청자의 건강을 해치거나, 과잉의 부하가 걸림에 따라 재생장치가 파손되어버릴 가능성도 있으므로, 부적절한 재생이 이루어지지 않는 구조가 필요하다.
2D TV와의 접속시에 대하여 설명한다.
애당초 종래의 아날로그 방식에서는 3D 영상에 대응하고 있지 않으므로 3D 영상은 출력할 수 없다. 재생장치가 3D 영상을 재생할 때에는 아날로그 출력에 「3D 영상 재생 중입니다. 3D 대응의 디스플레이로 보십시오」등의 메시지를 표시하여, 사용자가 잘못된 단자에 접속하거나 대응하고 있지 않은 표시장치에 접속하고 있음을 알리기 위한 메시지를 표시한다. 그 후, 접속되어 있는 표시장치가 2D 표시장치인 경우에는 자동으로 2D 플레이리스트로 재생을 전환하는 것이 바람직하다.
다음에, 2D 표시장치와 3D 표시장치가 재생장치에 동시에 접속되어 있어서 이들 표시장치에 영상신호를 동시에 출력하는 경우에 대하여 설명한다. 재생장치에 2D 표시장치와 3D 표시장치가 접속되어 있고, 동시에 출력하고 있는 경우에는 2D 표시장치 측에 3D 영상의 레프트 뷰나 라이트 뷰 중 어느 하나만을 출력한다.
복수의 표시장치에 플레이리스트의 재생결과인 영상신호를 동시에 출력할 때에 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림 중 어느 쪽을 아날로그용으로 출력할지를 규정하는 정보를 2D 출력 우선 영상정보라 한다. 이 정보를 플레이리스트에 미리 설치해 두고, 현재 플레이리스트에서의 2D 출력 우선 영상정보에 따라서 2D 표시장치, 3D 표시장치에 동시에 영상신호를 출력한다. 이렇게 함으로써 2D와 3D용의 영상을 동시에 디코드하거나 2D와 3D용의 플레이리스트를 독립해서 취급하지 않아도 동시에 2개의 표시장치에 출력할 수 있게 된다.
마찬가지로, OSD(시스템 내장 메뉴) 표시를 하는 경우에는 3D 표시장치에는 3D 대응의 OSD 표시를 하나, 아날로그 출력과 같이 2D 밖에 대응하지 않는 출력에는 전용의 2D 영상, 또는 레프트 뷰 만/라이트 뷰 만을 출력한다.
3D용의 출력과 2D용의 출력이 곤란한 경우에는 리모컨에 부 표시부를 설치하여, 그 쪽에 표시하는 것이 바람직하다.
이들을 도 42를 참조하면서 구체적으로 설명한다. 도 42는 재생장치와 표시장치의 접속상태를 나타내는 도면이다. 상측은 아날로그 접속되는 표시장치를 나타낸다. 좌측 하단에 디지털 접속되는 3D 대응의 표시장치(300)를 나타내고 우측 하단에 디지털 접속되는 2D 표시장치(302)를 나타낸다.
재생장치가 3D 표시장치와 2D 표시장치에 동시에 접속된 경우에는 이들 표시장치와 니고시에이션을 시도한다. 그리고 상대 측 표시장치와의 접속이 아날로그 접속에 의한 것이어서 니고시에이션을 할 수 없다고 판명되면 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림 중 2D 출력 우선 영상정보에 표시되는 것을 재생한다. 이렇게 함으로써 접속상대인 표시장치와 아날로그 접속된 경우에 편집 담당자가 의도한 플레이리스트를 재생에 제공할 수 있다.
한편, 쌍방의 표시장치와의 접속이 디지털 접속에 의한 것이고, 니고시에이션이 성공한 경우에는 상대 측이 3D 표시장치인지 2D 표시장치인지를 판정한다. 니고시에이션의 결과 상대 측이 2D 표시장치인 것으로 판명되면, 도면 중의 화살표 mg1에 나타낸 것과 같이 화면 내용의 천이를 2D 표시장치가 행하도록 한다.
화살표 mg1은 2D 표시장치의 화면 내용의 천이를 나타낸다. 디지털 접속인 경우에는 「3D 영상의 재생 중입니다. 3D 표시장치로 시청하세요」라는 메시지를 표시한 후, 2D 영상을 표시한다.
또, 니고시에이션에 있어서는 복수의 라이트 뷰를 전환할 필요가 있다. 복수의 라이트 뷰를 전환하는 이유로는 표시장치의 화면의 크기의 차이가 있다. 왼쪽 눈과 오른쪽 눈의 간격은 개인의 개체 차가 있어도 대략은 동일하나, 표시장치는 20인치의 것이 있는가 하면 150인치의 것도 있다. 50인치의 표시장치를 상정하여 눈과 눈의 간격이 6.5㎝로 만들어진 영상도 150㎝의 표시장치에서는 3배인 19.5㎝의 눈의 간격이 되어버려서 3D 영상으로 인식하기가 어려워진다. 따라서, 다양한 사이즈의 표시장치에서 레프트 뷰와 라이트 뷰의 차이가 6,5㎝가 되는 레프트 뷰와 라이트 뷰의 세트를 저장해 두면, 표시장치에 맞춰서 비디오 스트림을 선택함으로써 최적의 레프트 뷰 비디오 스트림/라이트 뷰 비디오 스트림의 조합을 선택할 수 있다.
표시장치에는 150인치, 50인치와 같은 다양한 사이즈가 있고, 가사 좌우의 화소 수가 동일해도, 이들 표시장치에서의 화면상의 거리는 달라짐을 도 43을 참조하면서 설명한다.
도 43은 좌우의 차를 나타내는 화소 수와 표시장치의 화면상의 거리의 관계를 나타낸다.
좌측은 좌우의 오프셋이 다른 라이트 뷰 픽처와 레프트 뷰 픽처의 세트를 나타낸다.
중단은 50인치 표시장치에서의 거리를 나타내고, 우측은 150인치 표시장치에서의 거리를 나타낸다. 좌우의 차가 50화소인 경우, 50인치 표시장치상에서의 거리는 2.0㎝가 되고 150인치 표시장치상에서의 거리는 6.0㎝가 된다.
좌우의 차가 100화소인 경우, 50인치 표시장치상에서의 거리는 4.0㎝가 되고 150인치 표시장치상에서의 거리는 12.0㎝가 된다.
좌우의 차가 150화소인 경우, 50인치 표시장치상에서의 거리는 6.0㎝가 되고 150인치 표시장치상에서의 거리는 18.0㎝가 된다.
50인치 표시장치에서는 6.0㎝가 최적이 되고, 150인치 표시장치에서도 6.0㎝가 최적이 되므로, 3D Stream Depth ChangeUO, 3D Stream Depth Change 커맨드에 의해 화면상에서 표시되는 거리를 조정한다.
도 43에서 설명한 표시장치의 화면 사이즈를 취득하는 방법을 이용하여 프로그램이 자동으로 최적의 왼쪽 눈/라이트 뷰의 조합을 선택할 수 있으면 사용자가 화면 사이즈에 신경을 쓰지 않고도 최적의 스트림이 자동 선택되게 된다.
복수의 화면 사이즈에 대응한 깊이에 대한 감(感)/심도가 다른 스트림이 복수 기록되어 있는 경우에 로컬 스토리지의 화소 차가 다른 스트림을 기록매체에 기록해 두고, 이들 스트림을 선택하기 위한 UO나 커맨드를 이용함으로써 사용자 자신이 깊이에 대한 감/심도를 선택할 수도 있다.
이상과 같이 본 실시 예에 의하면 재생장치가 표시장치와 접속된 때에 표시장치와의 관계에서 더 최적의 재생출력이 이루어지는 것이 보장된다.
(제 4 실시 예)
본 실시 예는 입체 시를 실행함에 있어서 비디오 스트림과 함께 어떤 PG 스트림, IG 스트림을 선택해야 하는가에 대한 개량을 실현한다.
2D 재생장치에서 재생되는 영상은 2D 영상이며, 대응하는 자막이나 메뉴 화상이 3D이다. 이에 대하여, 3D 재생장치에서 재생되는 영상은 3D 영상이며, 대응하는 자막이나 메뉴 화상도 3D인 것이 바람직하다. 3D 영상에 대하여 2D의 PG나 IG가 표시된 경우에는 전후 관계가 의도하지 않은 것이 되며, 사용자가 정상으로 공간인식을 할 수 없어서 최악의 경우에는 건강을 해치기 때문이다.
또, 3D 재생장치라고 하더라도 사용자가 2D 영상을 선택하는 것은 자유이나, 그 경우 대응하는 자막이나 메뉴 화상도 자동으로 2D로 전환되어야 한다.
2D 영상과 관련하는 자막 등의 조합, 3D 영상과 관련하는 자막 등의 조합은 프로그램에 의해 선택하여도 좋으나, 데이터로서 관련부여를 해둠으로써 재생장치가 자동으로 부적절한 조합을 배제할 수 있게 된다. 그 구조에 대하여 설명한다.
제 1 실시 예에서 설명한 것과 같이, 3D 대응의 플레이리스트는 스트림 선택 테이블을 2D용의 STN_table과 3D 재생용의 STN_table_SS로 구분하여 관리한다. 그리고 2D 재생에서밖에 이용할 수 없는 영상/음성/PG/IG의 스트림 등록과 3D에서 이용하는 영상/음성/PG/IG의 스트림 등록은 다른 엔트리 군에 등록한다. 2D 영상을 선택하고 있는 경우에는 3D용으로 준비된 음성/PG/IG는 선택할 수 없다. 또, 마찬가지로 3D 영상을 선택하고 있는 경우에는 2D용으로 준비된 음성/PG/IG는 선택할 수 없다.
관리테이블을 더 분할하여, 레프트 뷰와 라이트 뷰, 이들과 관련을 갖는 자막/메뉴 화상의 스트림 등록을 각각 관리할 수도 있다.
2D용으로 작성된 PG 스트림과 3D용으로 작성된 PG 스트림에서는 깊이의 유무, 위치나 각도에 차이가 있으므로, 입체 시를 위한 비디오 스트림의 재생시에 2D PG 스트림이 선택되어서 3D 비디오 스트림과 함께 재생되는 것은 편집자에게 있어서는 어떻게든 피하고 싶은 것이다.
이것을 피하기 위해서 도입된 것이 STN_table_SS에서의 스트림 조합정보이다. 도 44는 비디오 스트림과 PG 스트림을 조합하는 경우의 스트림 조합 정보의 기술 예이다.
본 도면 (a)에 나타낸 것과 같이, 스트림 선택 테이블에서의 스트림 조합정보에는 비디오 스트림의 스트림 번호=1과 PG 스트림의 스트림 번호"=1", "2"의 조합이 허용되어 있음을 알 수 있다.
비디오 스트림의 스트림 번호=2에는 PG 스트림의 스트림 번호"=1", "2"와의 조합이 허용되어 있음을 알 수 있다. 비디오 스트림의 스트림 번호=3에는 PG 스트림의 스트림 번호=3, 4와의 조합이 허용되어 있음을 알 수 있다. 비디오 스트림의 스트림 번호=4에는 PG 스트림의 스트림 번호=3과의 조합이 허용되어 있음을 알 수 있다.
도 44 (b)는 그 조합정보에서 규정되는 비디오 스트림, PG 스트림 간에 허용되는 조합을 모식적으로 나타낸다.
본 도면 좌측의 비디오 스트림은 스트림 1, 2, 3, 4의 스트림 번호에 의해서 특정되는 비디오 스트림을 나타낸다. 이들 중 스트림 1, 2의 스트림 번호에 의해서 특정되는 비디오 스트림은 2D용이고, 스트림 3, 4의 스트림 번호에 의해서 특정되는 비디오 스트림은 3D용임을 알 수 있다.
동 도면 좌측의 PG 스트림은 스트림 1, 2, 3, 4의 스트림 번호에 의해서 특정되는 PG 스트림을 나타낸다. 이들 중 스트림 1, 2의 스트림 번호에 의해서 특정되는 PG 스트림은 2D용이고, 스트림 3, 4의 스트림 번호에 의해서 특정되는 PG 스트림은 3D용임을 알 수 있다.
비디오 스트림 및 PG 스트림 간의 실선 kw1, 2, 3…은 스트림 조합정보에 의해서 허용되는 조합을 모식적으로 나타낸다. 이 실선으로 모식적으로 나타낸 것과 같이 2D와 3D의 영상/자막을 조합할 수는 없다. 또, 조합 가능한 스트림끼리인 경우에도 의도적으로 생략할 수 있다.
PG 스트림과 비디오 스트림의 조합은 스트림 조합정보에 미리 규정되어 있으므로, 이 스트림 조합정보에 따라서 PG 스트림을 선택하면, 어떤 비디오 스트림이 선택된 때에 이 선택된 비디오 스트림에 대해서 최적의 PG 스트림이 선택되는 것이 보장되게 된다.
도 45는 스트림 조합정보에 따른 재생장치의 스트림 선택의 처리순서를 나타내는 플로차트이다. 사용자가 스트림을 선택할 때, 또는 플레이아이템 경계와 같이 스트림의 구성이 변화할 가능성이 있을 때에 본 도면에서 나타내는 스트림 선택처리가 실행되며, 비디오 스트림과 PG 스트림은 스트림 조합정보에 등록된 조합에 합치시킨다.
스텝 S71에서 비디오 스트림 번호를 취득하고, 스텝 S72에서 PG 스트림을 취득한다. 스텝 S73은 비디오 스트림과 PG 스트림의 조합이 스트림 조합정보에 등록되어 있는가 여부의 판정이며, 만약 등록되어 있으면 스텝 S74에서 그 스트림 조합정보대로 재생한다. 등록되어 있지 않으면 스텝 S75에서 스트림 조합정보에서 비디오 스트림과의 조합이 등록되어 있는 다른 PG 스트림을 선택해서 재생한다.
(제 5 실시 예)
제 1 실시 예의 모두에 설명한 것과 같이 입체 시에는 다양한 원리가 있으며, 시장에서 유통되고 있는 제품은 다양한 3D 방식에 대응하고 있다고 생각된다. 3D의 재생방식에는 여러 가지 방식이 존재하며, 또, 방식에 따라 표시장치 측의 대응·비 대응도 다르므로 재생장치의 시스템 파라미터는 복수의 방식을 표현할 수 있는 형식이 바람직하다. 여기에서는 3D의 재생방식으로 2 화면의 비디오를 독립해서 전송하는 2 화면 스테레오 재생방식, 사이드 바이 사이드 방식, 횡 방향 2배 방식, 2D+깊이정보방식(depth information system) 등을 예로 들고 있으나, 그 외에 표시장치가 대응할 수 있는 방식이 있는 경우에는 대응하는 방식의 실행 여부를 식별할 수 있도록 PSR의 비트 할당을 규정한다.
도 46은 복수의 3D 방식을 망라할 수 있는 PSR 비트 할당을 나타내는 도면이다.
동 도면에서의 PSR24는 4비트(b3, b2, b1, b0)로 이루어지며, 최상위 비트 b3에서 최하위 비트 b0까지의 각각의 비트에는 각각 대응하는 3D 재생방식이 관련이 지워져 있다. 재생장치가 이 3D 재생방식에 대응하고 있는 경우에는 대응하는 비트가 「1」로 설정되고, 대응하고 있지 않은 경우에는 대응하는 비트가 「0」으로 설정된다. PSR24의 전체 비트가 「0」일 때에는 재생장치는 2D 재생장치이고, 어느 하나 또는 몇 개의 비트가 「1」일 때에는 대응한 방식의 2D/3D 재생장치임을 나타낸다.
PSR24에서의 최상위 비트 b3부터 최하위 비트 b0까지의 비트는 2 화면 스테레오 재생, 사이드 바이 사이드 방식, 횡 방향 2배 방식, 2D-깊이정보방식의 각각의 3D 표시장식을 지원할 수 있는가 여부를 나타낸다.
2 화면 스테레오 재생방식은 지금까지의 실시 예에서 설명한 방식이다.
사이드 바이 사이드 방식은 1920×1080과 같은 해상도를 960×1080과 960×1080으로 구분하고, 이들 각각에 레프트 뷰, 라이트 뷰를 표시하게 하는 방식을 말한다.
횡 방향 2배 방식은 1920×1080이라는 해상도를 3840×1080이라는 해상도로 하여, 이 중 1920×1080의 해상도 부분에 레프트 뷰를 할당하고 1920×1080의 해상도 부분에 라이트 뷰를 할당하는 방식이다.
2D-깊이정보방식은 2D 영상과 그레이 스케일 화상(gray-scale image)으로 입체 시를 실현하는 방식이다. 그레이 스케일 화상은 2치화 화소로 이루어진다. 2치화 화소의 휘도는 2D 영상에서의 각 화소의 깊이를 나타낸다. 이 2치화 화소의 휘도에 따라서 2D 영상에서의 각 화소의 깊이를 작성하여 입체 시 화상을 구축한다.
플레이어 세팅 레지스터의 값을 BD-ROM 상의 BD-J 애플리케이션에서 액세스하는 경우에는 재생장치의 시스템 프로퍼티(system property)로서 액세스할 수도 있다.
표시장치와 재생장치가 HDMI와 같이 표시장치의 성능 및 대응방식을 재생장치에 송신할 수 있는 전송방식에 의해서 접속되어 있는 경우에는 재생장치의 성능만이 아니라 표시장치의 대응방식도 감안하여 PSR24에 자동으로 설정한다. 이 경우, 동일한 재생장치라도 접속되는 표시장치에 따라서 PSR24의 값은 변화한다.
표시장치의 성능을 전송할 수 없는 경우에는 사용자가 수동으로 설정하는 것이 바람직하다.
표시장치에서 대응방식을 취득할 수 있는 경우에는, 단순한 대응방식 외에 표시장치의 사이즈, 해상도, 표시장치의 화면에서 시청하는 사람까지의 거리 등 3D 재생에 영향을 주는 정보를 취득하여 PSR24에 저장해 둠으로써 뒤에서 설명하는 프로그램에 의한 최적의 재생방식의 선택에 활용할 수도 있다.
3D의 대응상황이 1비트로 표현할 수 없는 경우가 있다. 이 경우에는 복수의 비트를 사용해야 한다. 영상의 사이즈가 1920×1080까지는 대응을 할 수 있으나 그 이상의 해상도의 경우에는 디코더의 성능부족 등에 의해서 재생할 수 없는 것으로 상정되는 경우, 2비트를 이용하여 비 대응을 「00b」, 1920×1080까지의 대응을 「01b」, 그 이상의 사이즈에 대응하는 것을 「10b」등으로 표현하면 더 상세하게 대응상황을 시스템 파라미터를 이용하여 표현할 수 있다.
복수의 3D 방식을 망라할 수 있도록 PSR24에 비트 할당을 규정해 두면 재생장치에 접속되는 표시장치가 어떤 3D 방식의 것이라도 표시장치에 입체 시 재생을 행하게 할 수 있다. 도 47은 표시장치가 대응하고 있는 3D 재생방식을 재생장치 세팅 레지스터에 반영시키는 도면이다. 지금까지 설명한 3D 재생능력을 나타내는 3D-Capability의 시스템 파라미터를 이용하면 2D 재생장치가 3D 비디오 스트림을 선택하는 것을 금지하는 처리도 가능하다. 사용자, 프로그램, 혹은 플레이아이템의 선두에서, 비디오 스트림을 선택할 때에 선택하려고 하는 스트림이 3D 비디오 스트림인 경우에 플레이어 세팅 레지스터에 저장된 재생장치의 대응 3D 방식을 확인하고, 스트림 선택 테이블로부터 선택하려고 하는 스트림의 정보를 취득함으로써, 선택하는 스트림이 재생장치에서 재생 가능한지 여부를 판별할 수 있다.
2D 재생장치에서는 3D 영상을 재생할 수 없으므로 이 처리에 의해서 선택 자체가 발생하지 않으며, 부적절한 영상이 화면에 표시되는 것을 방지할 수 있다.
앞의 실시 예에서 설명한, 표시장치가 대응하고 있는 3D 방식을 자동으로 취득하는 구조와 조합하면 접속되어 있는 표시장치가 대응한 3D 방식의 스트림이나 2D 스트림 밖에 선택할 수 없게 되며, 부적절한 영상이 화면에 표시되는 것을 방지할 수 있다.
이러한 처리를 실현하는 경우의 프로그램의 처리내용에 대하여 설명한다.
사용자로부터 타이틀이 선택되어서 실행된 BD 프로그램 파일은 프로그램 중에서 재생장치가 3D 영상재생에 대응하고 있는가, 대응하고 있는 경우에 사용자가 3D 영상재생을 선택하고 있는가를 조사하여 재생할 플레이리스트를 선택한다.
3D 재생방식을 복수 상정하는 경우에는 각각 대응하는 방식의 플레이리스트를 준비해 두고, 재생장치가 BD-ROM에 저장된 플레이리스트에 대응하고 있는 경우에는 대응한 3D 플레이리스트를 선택하고, 대응하지 않는 경우에는 2D 플레이리스트를 선택한다.
FirstPlay 타이틀을 어떻게 구성할지에 대하여 설명한다.
FirstPlay 타이틀을 구성하는 플레이리스트, 즉 디스크 삽입 시에 먼저 최초로 재생되는 플레이리스트는 안전을 위해서 반드시 어느 재생장치에서도 재생되는 2D 영상으로 구성해야 한다.
BD-ROM에 저장되어 있는 프로그램은 편집 측이 작성하는 것이며, 복수의 3D 형식에 재생장치가 대응하고 있는 경우에는 어느 3D 재생방식을 우선적으로 선택할지는 편집 측의 의사에 의존한다.
3D 플레이리스트의 선택에 대하여 설명한다.
예를 들어, 3D 방식 1이 2 화면 스테레오 재생방식, 3D 방식 2가 사이드 바이 사이드 방식이고, 재생장치가 사이드 바이 사이드 방식에만 대응하고 있는 경우, 프로그램은 그 재생장치에서 재생 가능한 사이드 바이 사이드 방식의 3D 플레이리스트 005.MPLS를 선택해서 재생한다.
Index.bdmv와 프로그램의 관계에 대하여 설명한다.
도 47에 나타낸 것과 같이 3D 재생방식을 재생장치 세팅 레지스터에 반영시키면, BD-ROM에서의 프로그램을 동작시킴으로써 편집 담당자는 재생장치 및 표시장치에 있어서 최적의 3D 방식을 재생장치 세팅 레지스터에 설정할 수 있다. 이와 같은 3D 재생방식의 선택을 실현하는 경우, 인덱스 테이블과 BD 프로그램 파일은 이하에 나타낸 것과 같이 설정해 둘 필요가 있다.
도 48은 인덱스 파일(Index.bdmv)과 프로그램 파일의 관계를 나타내고 있다.
동 도면 좌측은 인덱스 테이블과 당해 인덱스 테이블의 해독 주체인 모드 관리 모듈(16)을 나타낸다. 상술한 것과 같이 인덱스 테이블에는 FirstPlay 타이틀, 톱 메뉴, 타이틀 1, 2, 3의 각각에 대응하는 엔트리가 존재한다.
동 도면의 우측은 재생장치에서의 출력 모드의 설정에 따라서 선택적으로 재생될 4개의 플레이리스트 파일을 나타낸다.
4개의 플레이리스트 파일에는 2D 영상을 재생하는 경로가 기재된 00001.mpls, 00003.mpls와, 3D 방식 1에 의한 재생경로가 기재된 00004.mpls와, 3D 방식 2에 의한 재생경로가 기재된 00005.mpls가 존재한다.
동 도면의 한가운데에는 무비 오브젝트 1, 2와 같은 2개의 무비 오브젝트가 기재되어 있다.
무비 오브젝트 1은 00001.mpls의 재생을 명한다. 이 00001.mpls는 2D 플레이리스트를 정의하는 것이다. 왜냐하면, FirstPlay 타이틀에서 재생될 플레이리스트는 어떤 출력 모드에서도 반드시 재생될 필요가 있기 때문이다.
무비 오브젝트 2는 PSR24에 표시되는 3D-Capability가 3D 방식 1이면 00004.mpls의 재생을 명하고, 3D-Capability가 3D 방식 2이면 00005.mpls의 재생을 명하며, 3D-Capability가 어떤 3D 방식에도 합치하지 않으면 00003.mpls의 재생을 명한다. 도면 중의 화살표 pp1, pp2, pp3은 무비 오브젝트에 의한 플레이리스트의 재생지시를 모식적으로 나타낸다.
도면 중의 화살표 my1, my2는 이들 무비 오브젝트가 HDMV 모듈(13)에 의한 해독에 제공됨을 나타낸다. HDMV 모듈(13)이 이들 무비 오브젝트를 실행함으로써 재생장치에서의 Capability에 따라서 상술한 것과 같은 3개의 플레이리스트 파일이 선택적으로 재생에 제공됨을 알 수 있다.
스트림 조합정보에 비디오 스트림과 조합할 수 있는 PG 스트림이 미리 규정되어 있으면 스트림 선택의 처리순서는 도 49의 플로차트에 따른 것이 된다.
도 49는 스트림 선택의 처리순서를 나타내는 플로차트이다. 스텝 S81에서 재생장치의 대응 3D 방식을 취득하고, 스텝 S82에서 스트림 선택 테이블을 취득한다. 스텝 S83에서는 재생장치가 대응하는 3D 방식과 선택하려고 하는 스트림이 합치하고 있는가 여부를 판정하여, 스텝 S83의 판정결과가 Yes이면 스텝 S84에서 선택을 허가한다. 스텝 S83의 판정결과가 No이면 스텝 S85에서 선택을 허가하지 않는다.
(제 6 실시 예)
본 실시 예에서는 제 1 실시 예에서 설명한 기록방법을 실시하기 위한 기록장치에 대하여 설명한다.
리얼타임 리코딩 기술에 의해서 기록방법을 실현하는 경우, 당해 기록방법을 실행하는 기록장치는 실시간으로 AV 클립을 작성하여 BD-RE 또는 BD-R, 하드디스크, 반도체 메모리카드에 기록한다.
이 경우, AV 클립은 아날로그 입력신호를 기록장치가 실시간 인코드함으로써 얻어지는 트랜스 포트 스트림이라도 좋고, 기록장치가 디지털 입력한 트랜스 포트 스트림을 세분화함으로써 얻어지는 트랜스 포트 스트림이라도 좋다.
리얼타임 리코딩을 실행하는 기록장치는 비디오 신호를 인코드하여 비디오 스트림을 얻는 비디오 인코더와, 오디오 신호를 인코드하여 오디오 스트림을 얻는 오디오 인코더와, 비디오 스트림과 오디오 스트림 등을 다중화하여 MPEG2-TS 형식의 디지털 스트림을 얻는 멀티플렉서와, MPEG2-TS 형식의 디지털 스트림을 구성하는 TS 패킷을 소스 패킷으로 변환하는 소스 패킷다이저를 구비하며, 소스 패킷 형식으로 변환된 MPEG2 디지털 스트림을 AV 클립 파일에 저장하여 BD-RE, BD-R 등에 기록한다. 디지털 스트림의 기록과 동시에 기록장치의 제어부는 메모리 상에서 클립정보나 플레이리스트 정보를 생성하는 처리를 한다. 구체적으로는, 사용자에 의해서 기록처리가 요구된 때에 제어부는 AV 클립파일 및 클립정보 파일을 BD-RE, BD-R 상에 구축한다.
그리고 장치 외부로부터 입력되는 트랜스 포트 스트림으로부터 비디오 스트림에서의 GOP의 선두위치가 검출되거나 인코더에 의해서 비디오 스트림의 GOP가 생성되면, 기록장치의 제어부는 이 GOP에서 선두에 위치하는 인트라 픽처(intra picture)의 PTS와 이 GOP의 선두부분을 저장한 소스 패킷의 패킷 번호를 취득하여, 이 PTS 및 패킷번호의 세트를 EP_PTS 엔트리 및 EP_SPN 엔트리의 세트로 하여 클립정보 파일의 엔트리 맵에 추기한다. 이후, GOP가 생성될 때마다 EP_PTS 엔트리 및 EP_SPN 엔트리의 세트를 클립정보 파일의 엔트리 맵에 추기해 간다. 이때, GOP의 선두가 IDR 픽처인 경우에는 "온"으로 설정된 is_angle_change 플래그를 EP_PTS 엔트리 및 EP_SPN 엔트리의 세트에 추기한다. GOP의 선두가 IDR 픽처가 아닌 경우에는 "오프"로 설정된 is_angle_change 플래그를 EP_PTS 엔트리 및 EP_SPN 엔트리의 세트에 추기한다.
또, 클립정보 파일에서의 스트림의 속성정보에 대해서는 기록될 스트림의 속성에 따라서 설정한다. 이상과 같이 하여 AV 클립, 클립정보가 생성되어서 BD-RE, BD-R에 기록되면, 이 클립정보 내의 엔트리 맵을 통해서 재생경로를 정의하는 플레이리스트 정보를 생성하여 BD-RE, BD-R에 기록한다. 이와 같은 처리를 리얼타임 리코딩 기술로 실행함으로써 AV 클립-클립정보-플레이리스트 정보와 같은 계층구조를 BD-RE, BD-R 상에서 얻을 수 있다.
이상이 리얼타임 리코딩에 의한 기록방법을 실행하는 기록장치이다. 이어서, 프리포맷 리코딩에 의한 기록방법을 실행하는 기록장치에 대하여 설명한다.
여기서 설명하는 기록장치는 영화 콘텐츠의 반포를 위해서 제작 스튜디오에 설치되고 편집자의 사용에 제공된다. 편집자로부터의 조작에 따라서 MPEG 규격에 따라 압축 부호화된 디지털 스트림 및 어떻게 영화 타이틀을 재생할지를 기술한 시나리오를 생성하고, 이들 데이터를 포함한 BD-ROM용 볼륨 비트 스트림을 생성한다고 하는 것이 본 발명의 기록장치의 사용형태이다.
도 50은 기록장치의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이 본 발명의 기록장치는 비디오 인코더(501), 소재 제작부(502), 시나리오 생성부(503), BD 프로그램 제작부(504), 다중화 처리부(505), 포맷 처리부(506)에 의해서 구성된다.
비디오 인코더(501)는 레프트 뷰의 비 압축의 비트맵 등의 화상 이미지와 라이트 뷰의 비 압축의 비트 맵 등의 화상 이미지로부터 MPEG4-AVC나 MPEG2 등의 압축방식에 따라서 부호화하여 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림을 작성한다. 이때, 라이트 뷰 비디오 스트림은 레프트 뷰 비디오 스트림의 표시시각에 대응하는 프레임과 픽처 간 예측부호화에 의해서 부호화한다. 이 픽처 간 예측부호화의 처리 과정에서 레프트 뷰의 이미지와 라이트 뷰의 이미지의 모션 벡터(motion vector)로부터 3D 영상 시의 깊이 정보를 추출하고, 프레임 깊이 정보저장부(501a)에 기록한다. 비디오 인코더(501)는 픽처 간의 상관특성을 이용한 화상압축을 하기 위해 8×8이나 16×16의 매크로 블록(macro block) 단위로 모션 벡터를 추출하여 화상압축을 한다.
매크로 블록에서의 모션 벡터를 추출하는 처리에서 배경에 집이 존재하고 전경에 사람이 존재하는 동화상을 모션 벡터 추출의 대상으로 한다. 이 경우, 왼쪽 눈 화상과 오른쪽 눈 화상으로 픽처 간 예측을 한다. 그렇게 하면 「집」의 이미지의 개소에는 모션 벡터가 검출되지 않으나 「사람」의 개소에서는 모션 벡터가 검출된다.
검출된 모션 벡터를 추출하여 3D 영상을 표시할 때의 프레임 단위의 깊이정보를 작성한다. 깊이정보(depth information)는 예를 들어 8비트의 심도를 갖는 프레임의 해상도와 동일한 이미지를 채용하는 것을 생각할 수 있다.
소재 제작부(502)는 오디오 스트림, 프레젠테이션 그래픽스 스트림, 인터렉티브 그래픽스 스트림 등의 각 스트림을 작성하여 오디오 스트림 저장부(502a), 프레젠테이션 그래픽스 스트림 저장부(502b), 인터렉티브 그래픽스 스트림 저장부(502c)에 기록한다.
오디오 스트림의 작성 시에 소재 제작부(502)는 비 압축의 LinearPCM 음성 등을 AC3 등의 압축방식에 따라서 부호화함으로써 오디오 스트림을 작성한다. 그 외에도 소재 제작부(502)는 자막 이미지와 표시 타이밍, 및 페이드 인/페이드 아웃 등의 자막의 효과를 포함한 자막정보 파일을 기초로 BD-ROM 규격에 준거한 PG 스트림의 포맷인 프레젠테이션 그래픽스 스트림을 작성한다. 소재 제작부(502)는 메뉴에 사용하는 비트맵 이미지와 메뉴에 배치되는 버튼의 천이나 표시효과를 기재한 메뉴 파일을 기초로 하여 BD-ROM 규격에 준거한 메뉴 화면의 포맷인 인터렉티브 그래픽스 스트림을 작성한다.
시나리오 생성부(503)는 소재 제작부(502)에서 작성한 각 스트림의 정보나 편집 스택으로부터의 GUI를 경유한 조작에 따라서 BD-ROM 포맷으로 시나리오를 작성한다. 여기서 말하는 시나리오는 인덱스 파일, 무비 오브젝트 파일, 플레이리스트 파일 등의 파일이 거기에 해당한다. 또, 시나리오 생성부(503)는 다중화 처리를 실현하기 위한 각 AV 클립이 어느 스트림으로부터 구성되는지를 기술한 파라미터 파일을 작성한다. 여기서 작성되는 인덱스 파일, 무비 오브젝트 파일, 플레이리스트 파일 등의 파일은 제 1 실시 예 및 제 2 실시 예에서 설명한 데이터 구조가 된다.
BD 프로그램 제작부(504)는 GUI 등의 사용자 인터페이스를 통해서 사용자로부터의 요구에 따라서 BD 프로그램 파일의 소스코드를 작성하여 BD 프로그램을 작성한다. 이때, BD 프로그램 파일이 프로그램이 GFX 플레인의 깊이를 설정하기 위해서 비디오 인코더(501)가 출력한 깊이정보를 이용할 수 있다.
다중화 처리부(505)는 BD-ROM 시나리오 데이터에 기술되어 있는 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림, 비디오, 오디오, 자막, 버튼 등의 복수의 스트림을 다중화하여 MPEG2-TS 형식의 AV 클립을 작성한다. 이때, AV 클립과 쌍이 되는 클립정보 파일도 동시에 작성한다.
다중화 처리부(505)는 스스로 생성한 엔트리 맵과, AV 클립에 포함되는 스트림별 음성속성, 영상속성 등을 나타내는 속성정보를 쌍으로 하여 클립정보 파일을 작성한다. 클립정보 파일의 구성은 지금까지의 각 실시 예에서 설명한 데이터 구조가 된다.
포맷 처리부(506)는 시나리오 생성부(503)에서 생성한 BD-ROM 시나리오 데이터와, BD 프로그램 제작부(504)에서 제작한 BD 프로그램 파일, 다중화 처리부(505)에서 생성한 AV 클립이나 클립정보 파일, BD-ROM 규격에 준거한 포맷으로 파일이나 디렉터리를 배치하여, BD-ROM 규격에 준거한 파일시스템인 UDF의 포맷으로 디스크 이미지를 작성한다.
또, 이때, 비디오 인코더(501)가 출력한 깊이정보를 이용하여 PG, IG, 세컨더리 비디오 스트림의 3D 메타데이터를 작성한다. 3D 영상의 물체와 중첩되지 않도록 이미지의 화면상의 배치를 자동으로 설정하거나, 깊이가 중첩되지 않도록 오프셋 값을 조정한다. 이렇게 하여 작성된 디스크 이미지의 파일 레이아웃은 실시 예 1, 2에서 설명한 파일 레이아웃의 데이터 구조로 설정한다. 생성한 디스크 이미지를 BD-ROM 프레스용 데이터로 변환하고, 이 데이터에 대하여 프레스 공정으로 행함으로써 BD-ROM의 제조가 가능해진다.
(매니지드 카피(managed copy)를 실현하는 기록장치로서의 실시)
기록장치는 매니지드 카피에 의해서 디지털 스트림에 기록하는 것이라도 좋다.
매니지드 카피란, BD-ROM 등의 판독전용 기록매체에 기록되어 있는 디지털 스트림이나 플레이리스트 정보, 클립정보, 애플리케이션 프로그램을 다른 광디스크(BD-R, BD-RE, DVD-R, DVD-RW, DVD-RAM 등)나 하드디스크, 리무버블 미디어(SD 메모리카드, 메모리 스틱, 콤팩트 플래시(등록상표), 스마트 미디어, 멀티미디어 카드 등)등의 판독 기록이 가능한 기록매체에 카피할 때에, 서버와 통신을 하여 인증이 이루어져서, 허가된 상태에서만 카피를 실행 가능하게 하는 기술이다. 이 기술에 의해서 백업 회수를 제한하거나 과금된 상태에서만 백업을 허가하는 등의 제어를 할 수 있다.
BD-ROM에서 BD-R, BD-RE로의 카피를 실현하는 경우, 카피 원(copy source)과 카피 처(copy destination)에서 기록용량이 동일하면 매니지드 카피에서는 카피 원이 되는 BD-ROM에서의 비트 스트림을 최 내주에서 최 외주까지 순차 카피해 가는 동작으로 충분하다.
매니지드 카피가 이종매체 간의 카피를 상정한 것이라면 트랜스 코드가 필요해진다. 여기서, "트랜스 코드"란 BD-ROM에 기록되어 있는 디지털 스트림의 형식을 MPEG2 트랜스 포트 스트림 형식에서 MPEG2 프로그램 스트림 형식 등으로 변환하거나, 비디오 스트림 및 오디오 스트림에 할당되어 있는 비트 레이트를 낮게 하여 재 인코드함으로써 디지털 스트림을 카피 처 미디어의 애플리케이션 포맷에 적합하게 하는 처리를 말한다. 이러한 트랜스 코드에 있어서는 상술한 리얼타임 리코딩 처리를 행함으로써 AV 클립, Clip 정보, 플레이리스트 정보를 얻을 필요가 있다.
(비고)
이상, 본원의 출원시점에서 출원인이 알 수 있는 가장 바람직한 실시형태에 대하여 설명하였으나, 이하에 설명하는 기술적 토픽에 대해서는 개량이나 변경실시를 더 부가할 수 있다. 각 실시 예에서 설명한 것과 같이 실시하거나 이들의 개량 및 변경을 시행할지 여부는 모두 임의적이며, 실시하는 사람의 주관에 의한 것임에 유의하기 바란다.
(입체 시 방식)
제 1 실시 예에서 설명의 전제로 한 시차 화상방식은 좌우의 영상을 시간 축 방향으로 교호로 표시시키기 위해서, 예를 들어 통상의 2차원의 영화이면 1초에 24장의 영상을 표시시키는 것에 대해서, 좌우의 영상을 합쳐서 1초에 48장의 영상을 표시시킬 필요가 있다. 따라서, 이 방식에서는 한 화면의 재기록이 비교적 빠른 표시장치에서 적합하다. 이 시차 화상을 이용한 입체 시는 이미 유원지 등의 놀이기구 등에서 일반적으로 사용되고 있으며, 기술적으로도 확립되어 있으므로, 가정에서의 실용화에 가장 가까운 것이라고 할 수 있다. 시차 화상을 이용한 입체 시를 위한 방법은 이들 외에도 2색 분리방식 등 다양한 기술이 제안되어 있다. 본 실시 예에서는 계시 분리방식 또는 편광안경방식을 예로 설명하였으나, 시차 화상을 이용하는 한 이들 2가지 방식에 한정하는 것은 아니다.
표시장치(300)에 대해서도 렌티큘러 렌즈뿐 아니라 동일한 기능을 지닌 디바이스, 예를 들어 액정소자를 이용하여도 좋다. 또, 왼쪽 눈 용의 화소에는 종(縱) 편광의 필터를, 오른쪽 눈 용의 화소에는 횡(橫) 편광의 필터를 설치하고, 시청자는 왼쪽 눈 용에는 종 편광, 오른쪽 눈 용에는 횡 편광의 필터를 설치한 편광 안경을 이용하여 표시장치의 화면을 봄으로써 입체 시를 실현시켜도 좋다.
(3D 영상을 저장하기 위한 Index.bdmv의 데이터 구조)
플레이리스트가 아니라 인덱스 파일을 2D 재생장치와 3D 대응 재생장치에서 구별하여, 2D 재생장치에서는 재생 개시시에 「Index.bdmv」를 참조하나 3D 재생장치에서는 「Index.3dmv」를 선택하게 하는 방법도 취할 수 있다.
(복수의 스트림을 취급하기 위한 데이터 구조)
복수의 스트림이 있는 경우, 상기와 같이 서브패스정보를 사용하여도 좋고 멀티앵글을 위한 multi_clip_entries를 사용하여도 좋다. multi_clip_entries를 사용하는 경우, 표시장치의 화면 사이즈에 맞춰서 스트림을 선택한 후에는 잘못해서 다른 화면 사이즈용의 스트림으로 전환되지 않도록 앵글변경의 UO를 금지하는 것이 바람직하다.
(레프트 뷰, 라이트 뷰의 적용대상)
레프트 뷰와 라이트 뷰를 준비하는 것은 본편에 관한 비디오 스트림뿐만 아니라 썸 네일 화상에 적용하는 것도 가능하다. 비디오 스트림인 경우와 마찬가지로 2D 재생장치에서는 종래의 2D용 썸 네일을 표시하나, 3D 재생장치에서는 3D용으로 준비된 왼쪽 눈 썸 네일과 오른쪽 눈 썸 네일을 3D 표시방식에 맞춰서 출력한다.
마찬가지로 메뉴 화상이나 챕터 서치용의 신 별 썸 네일 화상, 신 별 축소화면에도 응용하는 것이 가능하다.
(기록 층의 구성)
BD-ROM의 각 기록 층에는 입체 시/평면 시의 공용영역, 입체 시 전용영역, 평면 시 전용영역을 설치하는 것이 바람직하다.
입체 시/평면 시 공용영역은 입체 시 영상의 재생시와 평면 시 영상의 재생시의 양쪽에서 액세스 되는 영역으로, 베이스 뷰 비디오 스트림 파일에 속하는 복수의 익스텐트와 디펜던트 뷰 스트림을 저장한 파일에 속하는 복수의 익스텐트가 교호로 배치되어서 기록된 연속영역이다.
입체 시 전용영역 및 평면 시 전용영역은 입체 시/평면 시 공용영역에 후속해 있으며, 기록 층의 경계 직전에 존재한다.
입체 시 전용영역은 입체 시 출력 모드의 재생 중에 발생하는 롱 점프의 직전에 액세스 되는 영역으로, 입체 시/평면 시 공용영역에 기록된 베이스 뷰 비디오 스트림 파일에 속하는 익스텐트에 후속하는 익스텐트와 입체 시/평면 시 공용영역에 기록된 디펜던트 뷰 비디오 스트림 파일에 속하는 익스텐트에 후속하는 익스텐트가 교호로 배치되어서 기록된 영역이다.
평면 시 전용영역은 2D 출력 모드의 재생 중에 발생하는 롱 점프의 직전에 액세스 되는 영역으로, 입체 시 전용영역에 기록된 베이스 뷰 비디오 스트림 파일에 속하는 익스텐트의 복제물이 기록된 영역이다.
(프로그램의 실시 예)
각 실시 예에서 설명한 애플리케이션 프로그램은 이하와 같이 해서 제작할 수 있다. 우선 먼저, 소프트웨어 개발자는 프로그래밍 언어를 이용하여 각 플로차트나 기능적인 구성요소를 실현하는 소스 프로그램을 기술한다. 이 기술 시에 소프트웨어 개발자는 프로그래밍 언어의 구문에 따라서 클래스 구조체나 변수, 배열변수, 외부함수의 콜을 이용하여 각 플로차트나 기능적인 구성요소를 구현하는 소스 프로그램을 기술한다.
기술된 소스 프로그램은 파일로서 컴파일러에 주어진다. 컴파일러는 이들 소스 프로그램을 번역해서 오브젝트 프로그램을 생성한다.
컴파일러에 의한 번역은 구문해석, 최적화, 자원할당, 코드생성과 같은 과정으로 이루어진다. 구문해석에서는 소스 프로그램의 자구해석, 구문해석 및 의미해석을 하여 소스 프로그램을 중간 프로그램으로 변환한다. 최적화에서는 중간 프로그램에 대하여 기본 블록화, 제어 플로 해석, 데이터 플로 해석과 같은 작업을 한다. 자원할당에서는 타깃이 되는 프로세서의 명령세트에의 적합화를 도모하기 위해서 중간 프로그램 중의 변수를 타깃이 되는 프로세서의 프로세서가 가지고 있는 레지스터 또는 메모리에 할당한다. 코드생성에서는 중간 프로그램 내의 각 중간명령을 프로그램 코드로 변환하여 오브젝트 프로그램을 얻는다.
여기서 생성된 오브젝트 프로그램은 각 실시 예에서 설명한 플로차트의 각 스텝이나 기능적 구성요소의 각각의 순서를 컴퓨터에 실행시키는 하나 이상의 프로그램 코드로 구성된다. 여기서, 프로그램 코드는 프로세서의 네이티브 코드, JAVA(등록상표) 바이트 코드와 같이 다양한 종류가 있다. 프로그램 코드에 의한 각 스텝의 실현에는 다양한 형태가 있다. 외부함수를 이용하여 각 스텝을 실현할 수 있는 경우, 이 외부함수를 콜 하는 콜 문이 프로그램 코드가 된다. 또, 하나의 스텝을 실현하는 프로그램 코드가 각각의 오브젝트 프로그램에 귀속하는 경우도 있다. 명령 종(種)이 제한되어 있는 RISC 프로세서에서는 산술 연산명령이나 논리 연산명령, 분기명령 등을 조합함으로써 플로차트의 각 스텝을 실현하여도 좋다.
오브젝트 프로그램이 생성되면 프로그래머는 이들에 대하여 링커를 기동한다. 링커는 이들의 오브젝트 프로그램이나 관련하는 라이브러리 프로그램을 메모리 공간에 할당하고, 이들을 하나로 결합하여 로드 모듈을 생성한다. 이렇게 생성되는 로드 모듈은 컴퓨터에 의한 판독을 전제로 한 것이며, 각 플로차트에 나타낸 처리순서나 기능적인 구성요소의 처리순서를 컴퓨터에 실행시키는 것이다. 이러한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 사용자에게 제공하여도 좋다.
(데이터 구조의 기술방법)
상술한 것과 같은 데이터 구조 중에서, 어느 정해진 형태의 정보가 복수 존재한다고 하는 반복 구조는 for문에 제어변수의 초기값과 반복 조건을 설정함으로써 정의할 수 있다. Do While 문을 사용해도 좋다.
또, 소정의 조건이 성립할 때에 어느 정해진 정보를 정의한다고 하는 임의적인 데이터 구조는 if문에, 그 성립할 조건과 조건성립 시에 설정할 변수를 if문을 이용하여 기술할 수 있다. 이 기술에는 switch문, case문을 이용하여도 좋다.
이와 같이, 각 실시 예에서 설명한 데이터 구조는 고급 프로그래밍 언어의 문법에 의해서 기술할 수 있으므로, 각 실시 예에서 설명한 데이터 구조는 구문해석, 최적화, 자원할당, 코드 생성과 같은 컴파일러에 의한 번역과정을 거쳐서 상기 프로그램과 마찬가지로 컴퓨터가 판독할 수 있는 컴퓨터 코드로 변환된 상태에서 기록매체에 기록된다. 이렇게 해서 고급 프로그래밍 언어에 의해서 기술된 데이터 구조는 오브젝트 지향언어에서는 클래스 구조체의 메소드 이외의 부분, 즉, 클래스 구조체에서의 배열형의 멤버 변수로 취급되며, 프로그램의 일부를 이룬다. 즉, 각 실시 예의 데이터 구조는 컴퓨터 코드로 변환되어서 컴퓨터 판독이 가능한 기록매체에 기록되며, 프로그램의 멤버 변수가 된다. 이러한 취급이 이루어지므로 지금까지 설명한 데이터 구조는 실질적으로는 프로그램과 동일한 것이다.
(광디스크의 재생)
BD-ROM 드라이브는 반도체 레이저, 콜리메이트 렌즈(collimate lens), 빔 스플리터, 대물렌즈, 편광렌즈, 광 검출기를 갖는 광학 헤드를 구비한다. 반도체 레이저에서 출사된 광 빔은 콜리메이트 렌즈, 빔 스플리터, 대물렌즈를 통해서 광디스크의 정보 면에 집광된다.
집광된 광 빔은 광디스크 상에서 반사/회절되며, 대물렌즈, 빔 스플리터, 편광렌즈를 통해서 광 검출기에 집광된다. 광 검출기에서 집광된 광의 광량에 따라서 재생신호를 생성한다.
(기록매체의 변형)
각 실시 예에서의 기록매체는 광디스크, 반도체 메모리카드 등 패키지 미디어 전반을 포함하고 있다. 본 실시 예의 기록매체는 미리 필요한 데이터가 기록된 광디스크(예를 들어, BD-ROM, DVD-ROM 등의 기존의 판독 가능한 광디스크)를 예로 설명을 하였으나, 이에 한정될 필요는 없으며, 예를 들어, 방송 또는 네트워크를 경유해서 배신(配信)된 본 발명의 실시 예에 필요한 데이터를 포함한 3D 콘텐츠를 광디스크에 기록하는 기능을 갖는 단말장치(예를 들어, 상기에 기재된 기능은 재생장치에 포함되어 있어도 좋고 재생장치와는 별개의 다른 장치라도 좋다)를 이용하여 기록을 할 수 있는 디스크(예를 들어, BD-RE, DVD-RAM 등의 기존의 기록이 가능한 광디스크)에 기록하고, 이 기록한 광디스크를 본 발명의 재생장치에 적용하여도 본 발명의 실시는 가능하다.
(반도체 메모리카드 기록장치 및 재생장치의 실시 예)
각 실시 예에서 설명한 데이터 구조를 반도체 메모리에 기록하는 기록장치 및 재생하는 재생장치의 실시 예에 대하여 설명한다.
먼저, 전제가 되는 기술로 BD-ROM에 기록되어 있는 데이터의 저작권 보호의 구조에 대하여 설명한다.
BD-ROM에 기록된 데이터 중, 예를 들어 저작권의 보호, 데이터의 비닉성의 향상의 관점에서 데이터의 일부가 필요에 따라서 암호화되어 있는 경우가 있다.
예를 들어, BD-ROM에 기록된 데이터 중 암호화되어 있는 데이터는 예를 들어 비디오 스트림에 대응하는 데이터, 오디오 스트림에 대응하는 데이터, 또는 이들을 포함하는 스트림에 대응하는 데이터이다.
이하, BD-ROM에 기록된 데이터 중 암호화되어 있는 데이터의 해독에 대하여 설명한다.
반도체 메모리카드 재생장치에서는 BD-ROM 내의 암호화된 데이터를 해독하기 위해서 필요한 키에 대응하는 데이터(예를 들어, 디바이스 키)가 미리 재생장치에 기억되어 있다.
한편, BD-ROM에는 암호화된 데이터를 해독하기 위해서 필요한 키에 대응하는 데이터(예를 들어, 상술한 디바이스 키에 대응하는 MKB(미디어 키 블록))와, 암호화된 데이터를 해독하기 위한 키 자체를 암호화한 데이터(예를 들어, 상술한 디바이스 키 및 MKB에 대응하는 암호화 타이틀 키)가 기록되어 있다. 여기서, 디바이스 키, MKB, 및 암호화 타이틀 키는 쌍으로 되어 있으며, 또한 BD-ROM 상의 통상 카피할 수 없는 영역(BCA라고 하는 영역)에 기록된 식별자(예를 들어, 볼륨ID)와 대응이 부여되어 있다. 이 조합이 정당하지 않으면, 암호의 해독을 할 수 없는 것으로 한다. 조합이 정당한 경우에만 암호해독에 필요한 키(예를 들어, 상술한 디바이스 키, MKB 및 볼륨ID를 기초로 암호화 타이틀 키를 복호하여 얻어지는 타이틀 키)를 도출할 수 있으며, 이 암호해독에 필요한 키를 이용하여 암호화된 데이터의 해독이 가능해진다.
장전된 BD-ROM을 재생장치에서 재생하는 경우, 예를 들어 BD-ROM 내의 암호화 타이틀 키 및 MKB와 쌍으로 되어 있는(또는 대응하는) 디바이스 키가 재생장치 내에 없으면 암호화된 데이터는 재생이 되지 않는다. 왜냐하면, 암호화된 데이터의 해독에 필요한 키(타이틀 키)는 키 자체가 암호화되어서(암호화 타이틀 키) BD-ROM 상에 기록되어 있으며, MKB와 디바이스 키의 조합이 정당하지 않으면 암호의 해독에 필요한 키를 도출할 수 없기 때문이다.
역으로, 암호화 타이틀 키, MKB, 디바이스 키 및 볼륨ID의 조합이 정당하면, 예를 들어 상술한 암호해독에 필요한 키(디바이스 키, MKB 및 볼륨ID를 기초로 암호화 타이틀 키를 복호해서 얻어지는 타이틀 키)를 이용하여 비디오 스트림이 디코더에 의해 디코드 되며, 오디오 스트림이 오디오 디코더에 의해 디코드 되도록 재생장치는 구성되어 있다.
이상이 BD-ROM에 기록되어 있는 데이터의 저작권 보호의 구조이나, 이 구조는 BD-ROM에 반드시 한정되는 것은 아니며, 예를 들어 판독/기록 가능한 반도체 메모리(예를 들어, SD 카드 등의 휴대성을 갖는 반도체 메모리카드)에 적용한 경우에도 실시가 가능하다.
반도체 메모리카드 재생장치의 재생순서에 대하여 설명한다. 광디스크에서는 예를 들어 광디스크 드라이브를 통해서 데이터를 판독하도록 구성하고 있는데 비해, 반도체 메모리카드를 이용한 경우에는 반도체 메모리카드 내의 데이터를 판독하기 위한 I/F를 통해서 데이터를 판독하도록 구성하면 좋다.
더 상세하게는, 재생장치의 슬롯(도시생략)에 반도체 메모리카드가 삽입되면 반도체 메모리카드 I/F를 경유해서 재생장치와 반도체 메모리카드가 전기적으로 접속된다. 반도체 메모리카드에 기록된 데이터는 반도체 메모리카드 I/F를 통해서 판독하도록 구성하면 좋다.
(수신장치로서의 실시 예)
각 실시 예에서 설명한 재생장치는 본 실시 예에서 설명한 데이터에 상응하는 데이터(배신 데이터)를 전자배신 서비스의 배신 서버에서 수신하여 반도체 메모리카드에 기록하는 단말장치로 실현할 수 있다.
이러한 단말장치는 각 실시 예에서 설명한 재생장치가 그러한 동작을 할 수 있도록 구성되어 있어도 좋고, 본 실시 예의 재생장치와는 별개로 반도체 메모리에 배신 데이터를 기억하는 전용 단말장치에서 행하는 형태라도 좋다. 여기에서는 재생장치가 행하는 예에 대하여 설명한다. 또, 기록 처의 반도체 메모리로 SD 카드를 예로 설명한다.
재생장치가 구비하는 슬롯에 삽입된 SD 메모리카드에 배신 데이터를 기록하는 경우, 먼저, 배신 데이터를 축적하는 배신 서버(도시생략)에 배신 데이터의 송신을 요구한다. 이때, 재생장치는 삽입한 SD 메모리카드를 고유하게 식별하기 위한 식별정보(예를 들어, 각각의 SD 메모리카드 고유의 식별번호, 더 구체적으로는, 예를 들어 SD 메모리카드의 시리얼 번호 등)을 SD 메모리카드에서 판독하고, 판독한 식별정보를 배신요구와 함께 배신 서버에 송신한다.
이 SD 메모리카드를 고유하게 식별하기 위한 식별정보는 예를 들어 상술한 볼륨 ID에 상당한다.
한편, 배신 서버에서는 배신하는 데이터 중 필요한 데이터(예를 들어, 비디오 스트림, 오디오 스트림 등)가 암호해독에 필요한 키(예를 들어, 타이틀 키)를 이용하여 암호의 해제를 할 수 있도록 암호화가 이루어져서 서버상에 저장되어 있다.
예를 들어 배신 서버는 비밀키를 보유하고 있으며, 반도체 메모리카드의 고유의 식별번호 각각에 대하여 다른 공개키 정보가 동적으로 생성되도록 구성되어 있다.
또, 배신 서버는 암호화된 데이터의 해독에 필요한 키(타이틀 키) 자신에 대하여 암호화를 할 수 있도록 구성되어 있다(즉, 암호화 타이틀 키를 생성할 수 있도록 구성되어 있다).
생성되는 공개키 정보는 예를 들어 상술한 MKB, 볼륨ID 및 암호화 타이틀 키에 상당하는 정보를 포함한다. 암호화된 데이터는 예를 들어 반도체 메모리 고유의 식별번호, 후술하는 공개키 정보에 포함되는 공개기 본체 및 재생장치에 미리 기록된 디바이스 키의 조합이 정당하면, 암호해독에 필요한 키(예를 들어, 디바이스 키, MKB 및 반도체 메모리 고유의 식별번호를 기초로 암호화 타이틀 키를 복호해서 얻어지는 타이틀 키)가 얻어지며, 이 얻어진 암호해독에 필요한 키(타이틀 키)를 이용하여 암호화된 데이터의 해독을 할 수 있다.
다음에, 재생장치는 수신한 공개키 정보와 배신 데이터를 슬롯에 삽입한 반도체 메모리카드의 기록영역에 기록한다.
다음에, 반도체 메모리카드의 기록영역에 기록한 공개키 정보와 배신 데이터에 포함되는 데이터 중 암호화한 데이터를 복호하여 재생하는 방법의 일 예에 대하여 설명한다.
수신한 공개키 정보는 예를 들어 공개키 본체(예를 들어, 상술한 MKB 및 암호화 타이틀 키), 서명정보, 반도체 메모리카드의 고유의 식별번호 및 무효로 할 디바이스에 관한 정보를 나타내는 디바이스 리스트가 기록되어 있다.
서명정보에는 예를 들어 공개키 정보의 해시 값을 포함한다.
디바이스 리스트에는 예를 들어, 부정하게 재생이 이루어질 가능성이 있는 디바이스에 관한 정보가 기재되어 있다. 이는 예를 들어 재생장치에 미리 기록된 디바이스 키, 재생장치의 식별번호, 또는 재생장치가 구비하는 디코더의 식별번호와 같이 부정하게 재생될 가능성이 있는 장치, 장치에 포함되는 부품, 또는 기능(프로그램)과 같은 것을 고유하게 특정하기 위한 정보이다.
반도체 메모리카드의 기록영역에 기록한 배신 데이터 중 암호화된 데이터의 재생에 관하여 설명한다.
먼저, 공개키 본체를 이용하여 암호화한 데이터를 복호하기 전에 복호 키 본체를 기능시켜도 좋을지 여부에 관한 체크를 한다.
구체적으로는,
(1) 공개키 정보에 포함되는 반도체 메모리 고유의 식별정보와 반도체 메모리카드에 미리 기억되어 있는 고유의 식별번호가 일치하는가 여부의 체크
(2) 재생장치 내에서 산출한 공개키 정보의 해시 값과 서명정보에 포함되는 해시 값이 일치하는가 여부의 체크
(3) 공개키 정보에 포함되는 디바이스 리스트에 표시되는 정보에 의거하여 재생을 하는 재생장치가 부정한 재생이 가능한지 여부의 체크(예를 들어, 공개키 정보에 포함되는 디바이스 리스트에 표시되는 디바이스 키와, 재생장치에 미리 기억된 디바이스 키가 일치하는가 여부의 체크)
를 한다. 이들 체크를 하는 순서는 어떤 순서로 하여도 좋다.
상술한 (1)~(3)의 체크에서 공개키 정보에 포함되는 반도체 메모리 고유의 식별정보와 반도체 메모리에 미리 기억되어 있는 고유의 식별번호가 일치하지 않거나, 재생장치 내에서 산출한 공개키 정보의 해시 값과 서명정보에 포함되는 해시 값이 일치하지 않거나, 또는 재생을 하는 재생장치가 부정하게 재생될 가능성이 있다고 판단되거나 중 어느 하나를 만족하면 재생장치는 암호화된 데이터의 해독이 이루어지지 않도록 제어한다.
또, 공개키 정보에 포함되는 반도체 메모리카드의 고유의 식별정보와 반도체 메모리카드에 미리 기억되어 있는 고유의 식별번호가 일치하고, 또한 재생장치 내에서 산출한 공개키 정보의 해시 값과 서명정보에 포함되는 해시 값이 일치하며, 또한 재생을 하는 재생장치가 부정하게 재생될 가능성이 없다고 판단하면 반도체 메모리 고유의 식별번호, 공개키 정보에 포함되는 공개키 본체, 및 재생장치에 미리 기록된 디바이스 키의 조합이 정당하다고 판단하여 암호해독에 필요한 키(디바이스 키, MKB 및 반도체 메모리 고유의 식별번호를 기초로 암호화 타이틀 키를 복호해서 얻어지는 타이틀 키)를 이용하여 암호화된 데이터의 해독을 한다.
예를 들어, 암호화된 데이터가 비디오 스트림, 오디오 스트림인 경우, 비디오 디코더는 상술한 암호해독에 필요한 키(암호화 타이틀 키를 복호해서 얻어지는 타이틀 키)를 이용하여 비디오 스트림을 복호하며(디코드하며), 오디오 디코더는 상술한 암호해독에 필요한 키를 이용하여 오디오 스트림을 복호한다(디코드한다).
이와 같이 구성함으로써 전자배신 시에 부정하게 이용될 가능성이 있는 재생장치, 부품, 기능(프로그램) 등을 알고 있는 경우, 이들을 식별하기 위한 정보를 디바이스 리스트에 표시하여 배신하도록 하면, 재생장치 측이 디바이스 리스트에 표시되어 있는 것을 포함하는 경우에는 공개키 정보(공개키 본체)를 이용한 복호를 억제할 수 있도록 할 수 있으므로, 반도체 메모리 고유의 식별번호, 공개키 정보에 포함되는 공개키 본체, 및 재생장치에 미리 기록된 디바이스 키의 조합이 설사 정당하더라도 암호화된 데이터의 해독이 이루어지지 않도록 제어할 수 있으므로, 부정한 장치상에서의 배신 데이터의 이용을 억제할 수 있게 된다.
또, 반도체 메모리카드에 미리 기록되어 있는 반도체 메모리카드의 고유의 식별자는 비닉성이 높은 기록영역에 저장하는 구성을 채용하는 것이 바람직하다. 왜냐하면, 반도체 메모리카드에 미리 기록되어 있는 고유의 식별번호(예를 들어, SD 메모리카드를 예로 하면, SD 메모리카드의 시리얼 번호 등)는 개찬이 이루어지면 위법카피가 용이하게 된다. 왜냐하면, 복수의 반도체 메모리카드에는 각각 다른 고유의 식별번호가 할당되어 있으나, 이 고유의 식별번호가 동일하게 되도록 개찬이 이루어져 버리면 상술한 (1)의 판정이 의미를 잃어서 개찬이 이루어진 수에 상당하는 위법 카피가 이루어져 버릴 가능성이 있기 때문이다.
따라서, 반도체 메모리카드의 고유의 식별번호와 같은 정보는 비닉성이 높은 기록영역에 기록하는 구성을 채용하는 것이 바람직하다.
이와 같은 구성을 실현하기 위해서, 예를 들어 반도체 메모리카드는 반도체 메모리카드의 고유의 식별자와 같은 비닉성이 높은 데이터를 기록하기 위한 기록영역을 통상의 데이터를 저장하는 기록영역(제 1 기록영역이라고 한다)과는 다른 기록영역(제 2 기록영역이라 한다)에 설치할 것, 및 이 제 2 기록영역으로의 액세스를 하기 위한 제어회로를 설치하는 동시에, 제 2 기록영역으로의 액세스에는 제어회로를 통해서만 액세스할 수 있는 구성으로 한다.
예를 들어, 제 2 기록영역에 기록되어 있는 데이터는 암호화가 이루어져서 기록되어 있으며, 제어회로는 예를 들어 암호화된 데이터를 복호하기 위한 회로가 포함되어 있다. 제어회로에 제 2 기록영역으로의 데이터의 액세스가 있는 경우에는 암호를 복호하고, 복호한 데이터를 되돌리도록 구성하면 좋다. 또는, 제어회로는 제 2 기록영역에 기록되어 있는 데이터의 저장장소의 정보를 보유하고 있으며, 데이터의 액세스의 요구가 있으면 대응하는 데이터의 저장장소를 특정하고, 특정한 저장장소에서 판독한 데이터를 되돌리는 구성으로 하여도 좋다.
재생장치상에서 동작하는 애플리케이션으로, 전자배신을 이용하여 반도체 메모리카드에 기록을 요구하는 애플리케이션은 메모리카드 I/F를 통해서 제어회로에 제 2 기록영역에 기록된 데이터(예를 들어, 반도체 메모리 고유의 식별번호)로의 액세스 요구를 발행하면, 요구를 받은 제어회로는 제 2 기록영역에 기록된 데이터를 판독하여 재생장치상에서 동작하는 애플리케이션으로 되돌린다. 이 반도체 메모리카드의 고유의 식별번호와 함께 필요한 데이터의 배신요구를 배신 서버에 요구하고, 배신 서버로부터 송신되는 공개키 정보 및 대응하는 배신 데이터를 제 1 기록영역에 기록하도록 구성하면 좋다.
또, 재생장치상에서 동작하는 애플리케이션으로, 전자배신을 이용하여 반도체 메모리카드에 기록을 요구하는 애플리케이션은 메모리카드 I/F를 통해서 제어회로에 제 2 기록영역에 기록된 데이터(예를 들어, 반도체 메모리 고유의 식별번호)로의 액세스 요구를 발행하기 전에 애플리케이션의 개찬이 되어 있지 않은지를 사전에 체크하는 것이 바람직하다. 개찬의 체크에는 예를 들어 기존의 X.509 사양에 준거한 디지털 증명서를 이용한 체크 등을 이용하여도 좋다.
또, 반도체 메모리카드의 제 1 기록영역에 기록된 배신 데이터로의 액세스는 반도체 메모리카드가 갖는 제어회로를 통해서 액세스할 필요는 반드시 없다.
(시스템 LSI)
재생장치의 내부 구성 중 시스템 타깃 디코더나 재생제어부(7), 프로그램 실행부(11) 등 로직 소자를 중심으로 한 부분은 시스템 LSI로 구성하는 것이 바람직하다
시스템 LSI는 고밀도 기판상에 베어 칩을 실장하고 패키징한 것을 말한다. 복수 개의 베어 칩을 고밀도 기판상에 실장하고 패키징함으로써 마치 하나의 LSI와 같은 외형구조를 복수 개의 베어 칩에 가지게 한 것도 시스템 LSI에 포함된다(이와 같은 시스템 LSI는 멀티 칩 모듈이라고 불린다).
여기서 패키지의 종별에 착안하면, 시스템 LSI는 QFP(Quad Flat Package), PGA(Pin Grid Array)라는 종별이 있다. QFP는 패키지의 4 측면에 핀이 부착된 시스템 LSI이다. PGA는 저면 전체에 많은 핀이 부착된 시스템 LSI이다.
이들 핀은 다른 회로와의 인터페이스로서의 역할을 담당하고 있다. 시스템 LSI에서의 핀에는 이러한 인터페이스의 역할이 존재하므로, 시스템 LSI에서의 이들 핀에 다른 회로를 접속함으로써 시스템 LSI는 재생장치(200)의 중핵으로서의 역할을 담당한다.
이러한 시스템 LSI는 재생장치(102)는 물론, TV, 게임기, 컴퓨터, 원 세그먼트 휴대전화 등 영상재생을 취급하는 다양한 기기에 포함할 수 있어서 본 발명의 용도를 크게 확대할 수 있다.
시스템 LSI의 아키텍처(architecture)는 Uniphier 아키텍처에 준거하는 것이 바람직하다.
Uniphier 아키텍처에 준거한 시스템 LSI는 이하의 회로블록으로 구성된다.
· 데이터 병렬 프로세서(DPP)
이는 복수의 요소 프로세서가 동일하게 동작하는 SIMD형 프로세서로, 각 요소 프로세서에 내장되어 있는 연산기를 하나의 명령으로 동시에 동작시킴으로써 픽처를 구성하는 복수 화소에 대한 디코드 처리의 병렬화를 도모한다.
· 명령 병렬 프로세서(IPP)
이는 명령 RAM, 명령 캐시, 데이터 RAM, 데이터 캐시로 이루어지는 「Local Memory Controller」, 명령 페치부(fetch unit), 디코더, 실행 유닛, 레지스터 파일로 이루어지는 「Processing unit부」, 복수의 애플리케이션의 병렬실행을 Processing Unit부가 행하게 하는 「Virtual Multi Processor Unit부」로 구성된다.
· MPU 블록
이는 ARM 코어, 외부 버스 인터페이스(Bus Control Unit:BCU), DMA 컨트롤러, 타이머, 벡터 인터럽트 컨트롤러라고 하는 주변회로, UART, GPIO(General Purpose Input Output), 동기 시리얼 인터페이스 등 주변 인터페이스로 구성된다.
· 스트림 I/O블록
이는 USB 인터페이스나 ATA Packet 인터페이스를 통해서 외부 버스 상에 접속된 드라이브 장치, 하드디스크 드라이브 장치, SD 메모리카드 드라이브 장치와의 데이터 입출력을 한다.
· AV I/O블록
이는 오디오 입출력, 비디오 입출력, OSD 컨트롤러로 구성되고, 텔레비전, AV앰프와의 데이터 입출력을 한다.
· 메모리 제어블록
이것은 외부 버스를 통해서 접속된 SD-RAM의 판독을 실현하는 블록으로, 각 블록 사이의 내부접속을 제어하는 내부 버스 접속부, 시스템 LSI 외부에 접속된 SD-RAM과의 데이터 전송을 하는 액세스 제어부, 각 블록으로부터의 SD-RAM의 액세스 요구를 조정하는 액세스 스케줄부로 이루어진다.
구체적인 생산순서의 상세는 이하와 같이 된다. 먼저, 각 실시 예에서 설명한 구성도를 기초로 시스템 LSI로 할 부분의 회로도를 작성하고, 회로소자나 IC, LSI를 이용하여 구성도에서의 구성요소를 구현한다.
그렇게 하여 각 구성요소를 구현해가면, 회로소자나 IC, LSI 사이를 접속하는 버스나 그 주변회로, 외부와의 인터페이스 등을 규정한다. 또한, 접속선, 전원 라인, 그라운드 라인(ground line), 클록 신호 선 등도 규정해간다. 이 규정에 있어서, LSI의 스펙을 고려하여 각 구성요소의 동작 타이밍을 조정하거나 각 구성요소에 필요한 밴드 깊이를 보증하는 등의 조정을 추가하면서 회로도를 완성시켜 간다.
회로도가 완성하면 실장설계를 한다. 실장설계란 회로설계에 의해 작성된 회로도 상의 부품(회로소자나 IC, LSI)을 기판상의 어디에 배치할지 또는 회로도 상의 접속 선을 기판상에 어떻게 배치할지를 결정하는 기판 레이아웃 작성작업이다.
이렇게 실장설계가 이루어지고, 기판상의 레이아웃이 확정하면, 실장설계결과를 CAM 데이터로 변환하여 NC공작기계 등의 설비에 출력한다. NC공작기계는 이 CAM 데이터를 기초로 SoC실장이나 SiP실장을 한다. Soc(System on chip) 실장은 1 칩 상에 복수의 회로를 인쇄하는 기술이다. Sip(System in Package) 실장은 복수의 칩을 수지 등으로 하나의 패키지로 하는 기술이다. 이상의 과정을 거쳐서 본 발명에 관한 시스템 LSI는 각 실시 예에서 설명한 재생장치(200)의 내부 구성도를 기초로 만들 수 있다.
또, 상술한 것과 같이 하여 생산되는 집적회로는 집적도의 차이에 따라서 IC, LSI, 슈퍼 LSI, 울트라 LSI로 호칭이 되는 경우도 있다.
FPGA를 이용하여 시스템 LSI를 실현한 경우에는, 다수의 로직 엘리먼트(logic element)가 격자형으로 배치되어 있고, LUT(Look Up Table)에 기재되어 있는 입출력의 조합에 의거하여 종·횡의 배선을 연결함으로써 각 실시 예에서 설명한 하드웨어 구성을 실현할 수 있다. LUT는 SRAM에 기억되어 있고, 이러한 SRAM의 내용은 전원 단에 의해 소멸하므로, 이러한 FPGA의 이용시에는 구성 정보(config information)의 정의에 의해 각 실시 예에서 설명한 하드웨어 구성을 실현하는 LUT를 SRAM에 기록하게 할 필요가 있다.
본 실시 예는 미들웨어와 시스템 LSI에 대응하는 하드웨어, 시스템 LSI 이외의 하드웨어, 미들웨어에 대한 인터페이스의 부분, 미들웨어와 시스템 LSI의 인터페이스 부분, 미들웨어와 시스템 LSI 이외의 필요한 하드웨어로의 인터페이스 부분, 사용자 인터페이스의 부분으로 실현하고, 이들을 포함해서 재생장치를 구성한 때, 각각이 연계하여 동작함으로써 특유의 기능이 제공되게 된다.
미들웨어에 대한 인터페이스 및 미들웨어와 시스템 LSI의 인터페이스를 적절히 정의함으로써 재생장치의 사용자 인터페이스 부분, 미들웨어 부분, 시스템 LSI 부분을 각각 독립해서 병행해서 개발할 수 있으며, 더 효율 좋게 개발할 수 있게 된다. 또, 각각의 인터페이스의 절단 방법에는 다양한 절단법이 있다.
본 발명의 정보기록매체는 3D 영상을 저장하고 있으나, 2D 영상을 재생하는 장치와 3D 영상을 재생하는 장치 중 어느 장치에서도 재생할 수 있으므로, 호환성을 의식하지 않고 클러스터 #3D 영상을 저장한 영화 타이틀 등의 동화상 콘텐츠를 시장에 공급할 수 있고, 영화시장이나 민생기기 시장을 활성화시킬 수 있다. 따라서, 본 발명의 기록매체, 재생장치는 영화산업이나 민생기기산업에서 높은 이용가능성을 갖는다.
100 BD-ROM
200 재생장치
300 텔레비전
400 3D 안경
500 리모컨
1 BD 드라이브
2a, b 리드 버퍼
4 시스템 타깃 디코더
5b 플레인 메모리 세트
5b 플레인 합성부
6 HDMI 송수신부
7 재생제어부
9 관리정보 메모리
10 레지스터 세트
11 프로그램 실행부
12 프로그램 메모리
13 HDMV 모듈
14 BD-J 플랫폼
15 미들웨어
16 모드관리 모듈
17 사용자 이벤트 처리부
18 로컬 스토리지
19 불휘발성 메모리
23 PID 필터
27 PID 필터
31 프라이머리 비디오 디코더
32 레프트 뷰 비디오 플레인
33 라이트 뷰 비디오 플레인
34 세컨더리 비디오 디코더
35 세컨더리 비디오 플레인
36 PG 디코더
37 PG 플레인
38 IG 디코더
39 IG 플레인
40 프라이머리 오디오 디코더
41 세컨더리 오디오 디코더
42 믹서

Claims (17)

  1. 플레이리스트 정보와 스트림 파일이 기록된 기록매체로,
    상기 플레이리스트 정보는 하나 이상의 재생구간정보를 포함하고,
    상기 재생구간정보는,
    비디오 스트림을 저장한 상기 스트림 파일을 지정하는 파일 참조정보를 포함하며,
    상기 스트림 파일은 인터리브된 트랜스 포트 스트림 파일과 통상 형식의 트랜스 포트 스트림 파일이며,
    상기 인터리브된 트랜스 포트 스트림 파일은 레프트 뷰 비디오 스트림을 저장한 트랜스 포트 스트림을 분할함으로써 얻어지는 복수의 분할부분, 및 라이트 뷰 비디오 스트림을 저장한 트랜스 포트 스트림을 분할함으로써 얻어지는 복수의 분할부분의 각각을 교호로 배치함으로써 구성되어 있고, 상기 파일 참조정보와 동일한 식별번호와 인터리브 되어 있다는 취지를 나타내는 확장자에 의해서 특정되며,
    상기 통상 형식의 트랜스 포트 스트림 파일은 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 일방이며, 단독 재생할 수 있는 베이스 뷰 비디오 스트림을 저장하고 있고, 상기 파일 참조정보와 동일한 식별번호와 통상 형식이라는 취지를 나타내는 확장자에 의해서 특정되는 것을 특징으로 하는 기록매체.
  2. 제 1 항에 있어서,
    상기 기록매체는 스트림 파일용 디렉터리와 인터리브 파일용 디렉터리를 포함하고,
    상기 통상 형식의 트랜스 포트 스트림 파일은 상기 스트림 파일용 디렉터리에 저장되며,
    상기 인터리브된 트랜스 포트 스트림 파일은 상기 인터리브 파일용 디렉터리에 저장되는 것을 특징으로 하는 기록매체.
  3. 플레이리스트 정보에 따라서 비디오 스트림을 재생하는 재생장치로,
    상기 플레이리스트 정보에서의 파일 참조정보에 의해 특정되는 트랜스 포트 스트림 파일을 기록매체에서 판독하는 판독수단과,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터의 공급을 받아서 디코드하여 비 압축의 픽쳐 데이터를 얻는 디코더와,
    자기(自機)의 출력 모드를 저장하고 있는 모드 레지스터와,
    상기 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하는 출력수단을 구비하고,
    상기 판독수단은,
    출력 모드가 평면 시(平面 視) 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 트랜스 포트 스트림 형식을 나타내는 확장자에 의해서 특정되는 통상 형식의 트랜스 포트 스트림 파일을 판독하며,
    출력 모드가 입체 시(立體 視) 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 인터리브 되어 있음을 나타내는 확장자에 의해서 특정되는 인터리브된 트랜스 포트 스트림 파일을 판독하는 것을 특징으로 하는 재생장치.
  4. 제 3 항에 있어서,
    상기 재생장치는,
    사용자 설정을 나타내는 레지스터와,
    접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터(capability register)와,
    복수의 조건이 성립하는가 여부를 판정하여, 복수의 조건이 성립한 경우에 출력 모드를 입체 시 출력 모드로 설정하는 설정수단을 구비하고,
    상기 복수의 조건 중 제 1 조건은 상기 사용자 설정을 나타내는 레지스터가 사용자가 입체 시 재생을 희망한다는 취지를 나타내고 있다고 하는 조건이며,
    상기 복수의 조건 중 제 2 조건은 상기 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터가 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있음을 나타내고 있다고 하는 조건이고,
    상기 제 1 조건 및 상기 제 2 조건이 성립하는 경우에 상기 출력 모드를 입체 시 출력 모드로 설정하는 것을 특징으로 하는 재생장치.
  5. 제 4 항에 있어서,
    상기 재생장치의 동작 모드에는 커맨드 인터프리터가 동작 주체가 되는 제 1 모드와 바이트 코드 인터프리터가 동작 주체가 되는 제 2 모드가 있으며,
    제 2 모드의 설정 중에 출력 모드의 스위칭이 발생한 때에 바이트 코드 인터프리터에 의해서 실행되는 바이트 코드 애플리케이션에 이벤트를 통지하는 것을 특징으로 하는 재생장치.
  6. 플레이리스트 정보에서의 파일 참조정보에 의해 특정되는 트랜스 포트 스트림 파일을 기록매체로부터 판독하는 드라이브 장치와 함께 재생장치에 내장(embedded)할 수 있는 시스템 LSI로,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터의 공급을 받아서 디코드하여 비 압축의 픽처 데이터를 얻는 디코더와,
    자기의 출력 모드를 저장하고 있는 모드 레지스터와,
    상기 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하도록 재생장치의 제어를 하는 제어수단을 구비하고,
    상기 제어수단은,
    출력 모드가 평면 시 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 트랜스 포트 스트림 형식을 나타내는 확장자에 의해서 특정되는 통상 형식의 트랜스 포트 스트림 파일을 판독하고,
    출력 모드가 입체 시 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 인터리브 되어 있음을 나타내는 확장자에 의해서 특정되는 인터리브된 트랜스 포트 스트림 파일을 판독하도록 드라이브 장치를 제어하는 것을 특징으로 하는 시스템 LSI.
  7. 제 6 항에 있어서,
    상기 시스템 LSI는,
    사용자 설정을 나타내는 레지스터와,
    접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터를 구비하고,
    상기 제어수단은 복수의 조건이 성립하는지 여부를 판정하여, 복수의 조건이 성립한 경우에 출력 모드를 입체 시 출력 모드로 설정하고,
    상기 복수의 조건 중 제 1 조건은 상기 사용자 설정을 나타내는 레지스터가 사용자가 입체 시 재생을 희망한다는 취지를 나타내고 있다고 하는 조건이며,
    상기 복수의 조건 중 제 2 조건은 상기 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터가 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있음을 나타내고 있다는 조건이고,
    상기 제 1 조건 및 제 2 조건이 성립하는 경우에 상기 출력 모드를 입체 시 출력 모드로 설정하는 것을 특징으로 하는 시스템 LSI.
  8. 플레이리스트 정보에 따라서 비디오 스트림을 재생하는 처리를 컴퓨터상에서 실행하는 재생방법으로,
    상기 플레이리스트 정보에서의 파일 참조정보에 의해 특정되는 트랜스 포트 스트림 파일을 기록매체에서 판독하는 판독 스텝과,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터의 공급을 받아서 디코드하여 비 압축의 픽처 데이터를 얻는 디코드 스텝과,
    컴퓨터에서의 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하는 출력 스텝을 가지며,
    상기 판독 스텝은,
    출력 모드가 평면 시 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 트랜스 포트 스트림 형식을 나타내는 확장자에 의해서 특정되는 통상 형식의 트랜스 포트 스트림 파일을 판독하고,
    출력 모드가 입체 시 출력 모드인 경우에는, 상기 플레이리스트 정보에서의 파일 참조정보와, 인터리브 되어 있음을 나타내는 확장자에 의해서 특정되는 인터리브된 트랜스 포트 스트림 파일을 판독하는 것을 특징으로 하는 재생방법.
  9. 제 8 항에 있어서,
    상기 컴퓨터는,
    사용자 설정을 나타내는 레지스터와,
    접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터를 가지고,
    상기 재생방법은,
    복수의 조건이 성립하는가 여부를 판정하여, 복수의 조건이 성립한 경우에 출력 모드를 입체 시 출력 모드로 설정하는 설정 스텝을 가지며,
    상기 복수의 조건 중 제 1 조건은 상기 사용자 설정을 나타내는 레지스터가 사용자가 입체 시 재생을 희망한다는 취지를 나타내고 있다고 하는 조건이고,
    상기 복수의 조건 중 제 2 조건은 상기 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있는가 여부를 나타내는 케이퍼빌리티 레지스터가 접속되어 있는 표시장치가 입체 시 재생에 대응하고 있음을 나타내고 있다고 하는 조건이며,
    상기 제 1 조건 및 제 2 조건이 성립하는 경우에는 상기 출력 모드를 입체 시 출력 모드로 설정하는 것을 특징으로 하는 재생방법.
  10. 플레이리스트 정보와 스트림 파일이 기록된 기록매체로,
    상기 플레이리스트 정보는 하나 이상의 재생구간정보를 포함하고,
    상기 재생구간정보는,
    상기 스트림 파일을 지정하는 파일 참조정보와,
    재생 가능한 비디오 스트림을 나타내는 스트림 허가 테이블과 베이스 뷰 지정정보를 포함하며,
    상기 비디오 스트림에는 입체 시 재생을 가능하게 하는 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림이 있고,
    상기 베이스 뷰 지정정보는 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 쪽이 단독으로 평면 시 재생을 할 수 있는 베이스 뷰 비디오 스트림인가를 나타내는 것을 특징으로 하는 기록매체.
  11. 플레이리스트 정보에 따라서 비디오 스트림을 재생하는 재생장치로,
    상기 플레이리스트 정보에서의 파일 참조정보에 의해서 특정되는 트랜스 포트 스트림 파일을 판독하는 판독수단과,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터의 공급을 받아서 디코드하여 비 압축의 픽처 데이터를 얻는 디코더와,
    자기의 출력 모드를 저장하고 있는 모드 레지스터와,
    상기 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하는 출력수단을 구비하고,
    상기 비디오 스트림에는 입체 시 재생을 가능하게 하는 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림이 있으며,
    상기 베이스 뷰 지정정보는 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 쪽이 단독으로 평면 시 재생을 할 수 있는 베이스 뷰 비디오 스트림인가를 나타내고,
    상기 디코더는,
    평면 시 재생을 하는 경우에는 상기 베이스 뷰 지정정보에 의해서 표시되는 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터의 디코드를 하는 것을 특징으로 하는 재생장치.
  12. 플레이리스트 정보에서의 파일 참조정보에 의해 특정되는 트랜스 포트 스트림 파일을 판독하는 드라이브와 함께 재생장치에 내장할 수 있는 집적회로로,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터의 공급을 받아서 디코드하여 비 압축의 픽처 데이터를 얻는 디코더와,
    자기의 출력 모드를 저장하고 있는 모드 레지스터와,
    상기 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하도록 제어하는 제어수단을 구비하고,
    상기 비디오 스트림에는 입체 시 재생을 가능하게 하는 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림이 있으며,
    상기 베이스 뷰 지정정보는 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 쪽이 단독으로 평면 시 재생을 할 수 있는 베이스 뷰 비디오 스트림인가를 나타내고,
    상기 디코더는,
    평면 시 재생을 하는 경우에는 상기 베이스 뷰 지정정보에 의해서 표시되는 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터의 디코드를 하는 것을 특징으로 하는 집적회로.
  13. 플레이리스트 정보에 따라서 비디오 스트림을 재생하는 처리를 컴퓨터상에서 실행하는 재생방법으로,
    상기 플레이리스트 정보에서의 파일 참조정보에 의해 특정되는 트랜스 포트 스트림 파일을 판독하는 판독 스텝과,
    판독된 트랜스 포트 스트림 파일에 저장되어 있는 비디오 스트림에 포함되는 압축 픽처 데이터에의 공급을 받아서 디코드하여 비 압축의 픽처 데이터를 얻는 디코드 스텝과,
    컴퓨터에서의 모드 레지스터에 저장되어 있는 출력 모드에 따라서 디코더에 의해서 얻어진 비 압축의 픽처 데이터를 출력하는 출력 스텝을 가지며,
    상기 비디오 스트림에는 입체 시 재생을 가능하게 하는 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림이 있고,
    상기 베이스 뷰 지정정보는 상기 레프트 뷰 비디오 스트림 및 상기 라이트 뷰 비디오 스트림 중 어느 쪽이 단독으로 평면 시 재생을 할 수 있는 베이스 뷰 비디오 스트림인가를 나타내고,
    상기 디코드 스텝은,
    평면 시 재생을 하는 경우에는 상기 베이스 뷰 지정정보에 의해서 표시되는 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터의 디코드를 하는 것을 특징으로 하는 재생방법.
  14. 입체 시 용의 안경을 착용한 사용자에게 시청시키기 위한 화상표시를 소정의 표시기간 내에 실행하는 표시장치로,
    상기 표시기간은,
    사용자가 착용한 안경의 레프트 뷰가 투광상태로 되어 있고 라이트 뷰가 차광상태로 되어 있는 제 1 표시기간, 사용자가 착용한 안경의 라이트 뷰가 투광상태로 되어 있고 레프트 뷰가 차광상태로 되어 있는 제 2 표시기간, 사용자가 착용한 안경의 레프트 뷰 및 라이트 뷰 쌍방이 차광상태로 되어 있는 제 3 표시기간이 있고,
    상기 제 3 표시기간에서의 표시내용은 안경을 착용하고 있지 않은 사용자에 대한 메시지를 포함하는 것을 특징으로 하는 표시장치.
  15. 표시장치를 시청할 때 사용자가 착용하는 안경으로,
    시청 대상이 되는 표시장치의 표시기간은,
    레프트 뷰가 표시되는 제 1 표시기간, 라이트 뷰가 표시되는 제 2 표시기간, 안경을 장착하고 있지 않은 사용자에 대한 메시지가 표시되는 제 3 표시기간이 있고,
    상기 제 3 표시기간에서 레프트 뷰 및 라이트 뷰의 상태를 모두 차광상태로 설정하는 것을 특징으로 하는 안경.
  16. 멀티채널의 표시를 하는 표시장치를 시청할 때 사용자가 착용하는 안경으로,
    멀티채널 중 특정 채널의 표시기간은 그 특정 채널에 할당된 사용자에 할당된 안경의 상태를 투광상태로 설정하고,
    특정 채널 이외의 표시기간은 그 특정 채널에 할당된 사용자에 할당된 안경의 상태를 차광상태로 설정하는 것을 특징으로 하는 안경.
  17. 안경을 원격(remote)으로 제어하는 표시장치로,
    멀티채널 중 특정 채널의 표시기간은 그 특정 채널에 할당된 사용자에 할당된 안경의 상태를 투광상태로 설정하고,
    특정 채널 이외의 표시기간은 그 특정 채널에 할당된 사용자에 할당된 안경의 상태를 차광상태로 설정하는 것을 특징으로 하는 표시장치.
KR1020107004132A 2008-09-30 2009-09-14 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치 KR20110074823A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10131608P 2008-09-30 2008-09-30
US61/101,316 2008-09-30

Publications (1)

Publication Number Publication Date
KR20110074823A true KR20110074823A (ko) 2011-07-04

Family

ID=42073150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107004132A KR20110074823A (ko) 2008-09-30 2009-09-14 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치

Country Status (12)

Country Link
US (3) US8089507B2 (ko)
EP (4) EP2355533A4 (ko)
JP (4) JP4564107B2 (ko)
KR (1) KR20110074823A (ko)
CN (2) CN101911713B (ko)
BR (1) BRPI0904620A2 (ko)
CA (1) CA2691727C (ko)
MX (1) MX2010002097A (ko)
MY (1) MY151243A (ko)
RU (1) RU2502214C2 (ko)
TW (1) TW201031207A (ko)
WO (1) WO2010038365A1 (ko)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100184509A1 (en) * 2007-06-29 2010-07-22 Sylla Craig J Initializing and authenticating wagering game machines
KR100942142B1 (ko) * 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
KR20100040563A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 방송 표시장치 및 그의 2차원 영상 표시 방법
KR20110095128A (ko) * 2008-11-18 2011-08-24 파나소닉 주식회사 특수재생을 고려한 재생장치, 집적회로, 재생방법
US8606076B2 (en) * 2008-11-24 2013-12-10 Koninklijke Philips N.V. 3D video reproduction matching the output format to the 3D processing ability of a display
US8933987B2 (en) * 2008-12-01 2015-01-13 Sharp Kabushiki Kaisha Content reproducing apparatus and recording medium for switching graphics and video images from 2D to 3D
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
WO2010084849A1 (ja) * 2009-01-22 2010-07-29 日本電気株式会社 立体映像鑑賞システム、表示システム、光シャッタおよび立体映像鑑賞方法
CN104618708B (zh) 2009-01-28 2017-07-07 Lg电子株式会社 广播接收机及其视频数据处理方法
JP5465523B2 (ja) * 2009-01-29 2014-04-09 三洋電機株式会社 立体画像表示システム
US8284236B2 (en) 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
US8723927B2 (en) * 2009-03-31 2014-05-13 Daniel Rosen Subtitling stereographic imagery
JP2010245761A (ja) * 2009-04-03 2010-10-28 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP4915457B2 (ja) 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
JP4962525B2 (ja) 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4984194B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 記録方法
JP5407500B2 (ja) * 2009-04-08 2014-02-05 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
WO2010119549A1 (ja) * 2009-04-16 2010-10-21 株式会社 東芝 コンテンツデータ再生システム、及び記録装置
CN102415101B (zh) * 2009-04-27 2014-07-16 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法
DE102009019051B4 (de) * 2009-04-28 2011-07-07 Giesecke & Devrient GmbH, 81677 Speichermedium mit Verschlüsselungseinrichtung
JP5400467B2 (ja) * 2009-05-01 2014-01-29 キヤノン株式会社 映像出力装置、その制御方法、及びプログラム
RU2538307C2 (ru) * 2009-05-12 2015-01-10 Сони Корпорейшн Структура данных и носитель данных, воспроизводящее устройство, способ воспроизведения, программа и носитель для хранения программы
JP2011041249A (ja) * 2009-05-12 2011-02-24 Sony Corp データ構造および記録媒体、並びに、再生装置、再生方法、プログラム、およびプログラム格納媒体
SG175863A1 (en) * 2009-05-18 2011-12-29 Koninkl Philips Electronics Nv Entry points for 3d trickplay
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
EP2448272A4 (en) * 2009-06-23 2017-04-26 LG Electronics Inc. 3d image providing device, display device, and method thereof
JP5273478B2 (ja) * 2009-07-07 2013-08-28 ソニー株式会社 映像表示装置および映像表示システム
CA2770861A1 (en) * 2009-08-12 2011-02-17 Lg Electronics Inc. Method for diagnosing 3d state information, and broadcast receiver
JP2011082666A (ja) * 2009-10-05 2011-04-21 Sony Corp 信号伝送方法、信号送信装置及び信号受信装置
US20110080948A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for 3d video decoding using a tier system framework
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5588144B2 (ja) * 2009-10-14 2014-09-10 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP2011107589A (ja) * 2009-11-20 2011-06-02 Sony Corp 立体表示装置
US9414041B2 (en) * 2009-11-23 2016-08-09 Samsung Electronics Co., Ltd. Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same
US20110126160A1 (en) * 2009-11-23 2011-05-26 Samsung Electronics Co., Ltd. Method of providing 3d image and 3d display apparatus using the same
JP4723682B2 (ja) * 2009-11-30 2011-07-13 シャープ株式会社 表示制御装置、表示制御方法、表示制御プログラム、コンピュータ読み取り可能な記録媒体、上記表示制御装置を備えた記録再生装置、音声出力装置、及び音声出力装置を備えた記録再生装置
EP2334088A1 (en) * 2009-12-14 2011-06-15 Koninklijke Philips Electronics N.V. Generating a 3D video signal
US20110157302A1 (en) * 2009-12-30 2011-06-30 Ati Technologies Ulc Three-dimensional video display system with multi-stream sending/receiving operation
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
JP2011146828A (ja) * 2010-01-13 2011-07-28 Sony Corp データ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラム
US9179138B2 (en) * 2010-02-10 2015-11-03 Lg Electronics Inc. Image display method and apparatus
JP2013080987A (ja) * 2010-02-15 2013-05-02 Panasonic Corp 立体映像表示装置
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
JP5577805B2 (ja) * 2010-04-08 2014-08-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2011223248A (ja) * 2010-04-08 2011-11-04 Sony Corp 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5494152B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US8842170B2 (en) 2010-06-01 2014-09-23 Intel Corporation Method and apparaus for making intelligent use of active space in frame packing format
JP2011254239A (ja) * 2010-06-01 2011-12-15 Sony Corp 記録装置、再生装置、記録再生システム、記録媒体およびプログラム
CN102280943B (zh) * 2010-06-11 2013-10-16 深圳Tcl新技术有限公司 立体眼镜无线供电系统
TWI533662B (zh) 2010-06-24 2016-05-11 晨星半導體股份有限公司 顯示裝置與相關的眼鏡
JP2012018727A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012023488A (ja) * 2010-07-13 2012-02-02 Ntt Docomo Inc 画像処理装置、画像処理方法、表示装置及びプログラム
US8688679B2 (en) * 2010-07-20 2014-04-01 Smartek21, Llc Computer-implemented system and method for providing searchable online media content
WO2012011525A1 (ja) * 2010-07-21 2012-01-26 株式会社プランネット・アソシエイツ 三次元ビデオストリームへの映像変換方法
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
JP2012039337A (ja) * 2010-08-06 2012-02-23 Hitachi Consumer Electronics Co Ltd 映像表示システム及び再生装置
JP5568404B2 (ja) * 2010-08-06 2014-08-06 日立コンシューマエレクトロニクス株式会社 映像表示システム及び再生装置
KR20120017649A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20120020477A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 입체영상표시장치 및 그 구동 방법
WO2012031406A1 (zh) * 2010-09-10 2012-03-15 青岛海信信芯科技有限公司 3d电视界面的显示方法和装置
JP5730524B2 (ja) * 2010-10-01 2015-06-10 日立マクセル株式会社 受信装置、および、受信方法
JP2012080309A (ja) * 2010-10-01 2012-04-19 Hitachi Consumer Electronics Co Ltd コンテンツ受信機
CN102447959A (zh) 2010-10-01 2012-05-09 日立民用电子株式会社 接收机
JP5550520B2 (ja) * 2010-10-20 2014-07-16 日立コンシューマエレクトロニクス株式会社 再生装置及び再生方法
EP2635033A1 (en) * 2010-10-25 2013-09-04 Panasonic Corporation Encoding method, display device, decoding method
US8610759B2 (en) * 2010-10-26 2013-12-17 Verizon Patent And Licensing Inc. Methods and systems for presenting adjunct content during a presentation of a media content instance
JP2012100181A (ja) * 2010-11-05 2012-05-24 Hitachi Consumer Electronics Co Ltd 映像出力装置、映像出力方法、受信装置および受信方法
CN102469319A (zh) * 2010-11-10 2012-05-23 康佳集团股份有限公司 三维菜单生成方法及三维显示装置
US20120120050A1 (en) * 2010-11-12 2012-05-17 Nokia Corporation Dual-mode two-dimensional/three-dimensional display
JP5527730B2 (ja) * 2010-11-15 2014-06-25 日立コンシューマエレクトロニクス株式会社 再生装置
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
KR20120058702A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
JP5955851B2 (ja) * 2010-12-03 2016-07-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像データの転送
US9584798B2 (en) 2010-12-09 2017-02-28 Google Technology Holdings LLC Method and apparatus for managing 3D video content
FR2970613B1 (fr) * 2011-01-13 2013-01-18 Alcatel Lucent Procede de fourniture a un observateur de donnees relatives a au moins un utilisateur d'un operateur de telecommunication ou de services internet dans un reseau
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
JP2012178783A (ja) * 2011-02-28 2012-09-13 Sony Corp 画像表示システム、表示装置、並びにシャッター眼鏡
WO2012123981A1 (ja) * 2011-03-11 2012-09-20 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
WO2012123982A1 (ja) * 2011-03-11 2012-09-20 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JPWO2012127837A1 (ja) * 2011-03-18 2014-07-24 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
JP5452537B2 (ja) * 2011-04-04 2014-03-26 日立コンシューマエレクトロニクス株式会社 映像表示システム及び表示装置
US8681170B2 (en) * 2011-05-05 2014-03-25 Ati Technologies Ulc Apparatus and method for multi-streaming for more than three pixel component values
WO2012160812A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路
JP5679578B2 (ja) * 2011-08-05 2015-03-04 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
JP5507014B2 (ja) * 2011-08-10 2014-05-28 富士フイルム株式会社 動体検出装置及び方法
JP5129376B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置および映像処理方法
US9185398B2 (en) 2011-09-22 2015-11-10 Google Technology Holdings LLC Method and apparatus for providing three-dimensional content
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP4984193B2 (ja) * 2012-02-01 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
US20130243079A1 (en) * 2012-03-19 2013-09-19 Nokia Siemens Networks Oy Storage and processing savings when adapting video bit rate to link speed
WO2013141666A1 (ko) * 2012-03-23 2013-09-26 (주)휴맥스 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
US20150089564A1 (en) * 2012-04-23 2015-03-26 Lg Electronics Inc. Signal processing device and method for 3d service
CN102780896A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种流媒体素材支持3d技术的方法
TWI507032B (zh) * 2012-06-21 2015-11-01 Top Victory Invest Ltd And a display method and a device for preventing the display of the abnormality of the screen display
US20130342689A1 (en) * 2012-06-25 2013-12-26 Intel Corporation Video analytics test system
JP6167906B2 (ja) * 2012-07-19 2017-07-26 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN104081767A (zh) * 2012-09-27 2014-10-01 索尼公司 发送装置、发送方法、接收装置和接收方法
WO2014054925A1 (en) * 2012-10-04 2014-04-10 Samsung Electronics Co., Ltd. Apparatus for reproducing recording medium and method thereof
JP2013055682A (ja) * 2012-10-31 2013-03-21 Toshiba Corp 映像処理装置および映像処理方法
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US8872983B2 (en) * 2012-12-27 2014-10-28 Kabushiki Kaisha Toshiba Information processing apparatus and display processing method
US20140212115A1 (en) * 2013-01-31 2014-07-31 Hewlett Packard Development Company, L.P. Optical disc with three-dimensional viewing depth
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
KR20140120156A (ko) * 2013-04-02 2014-10-13 삼성전자주식회사 사용성이 향상된 모바일 디바이스를 위한 3차원 그래픽 데이터 생성 방법 및 이를 이용한 응용 개발 환경
CA2909006C (en) * 2013-04-08 2022-07-26 Thomson Licensing Method for encoding and method for decoding a look-up table and corresponding devices
US9817626B2 (en) 2013-07-25 2017-11-14 Empire Technology Development Llc Composite display with multiple imaging properties
TW201506445A (zh) * 2013-08-01 2015-02-16 Hon Hai Prec Ind Co Ltd 顯示系統及顯示系統的顯示方法
TWI587706B (zh) * 2014-06-04 2017-06-11 佳世達科技股份有限公司 顯示器及其控制方法
CN110364189B (zh) * 2014-09-10 2021-03-23 松下电器（美国）知识产权公司 再现装置以及再现方法
WO2016039172A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体
US9866757B2 (en) 2014-10-27 2018-01-09 Wichita State University Computer program, system, and method for observation and communication for mobile settings, mobile applications, and wearable mobile devices
CN105573491B (zh) * 2015-11-13 2018-09-07 广东顺德中山大学卡内基梅隆大学国际联合研究院 裸眼3d私隐式虚拟人机交互系统及方法
CN106980579B (zh) 2016-09-30 2020-08-14 阿里巴巴集团控股有限公司 一种图片加载方法及装置
CN108235144B (zh) * 2016-12-22 2021-02-19 阿里巴巴（中国）有限公司 播放内容获取方法、装置及计算设备
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置
JP6555628B1 (ja) * 2017-08-30 2019-08-07 パナソニックＩｐマネジメント株式会社 記録方法、及び、記録装置
CN107680556B (zh) * 2017-11-03 2019-08-02 深圳市华星光电半导体显示技术有限公司 一种显示器节能方法、装置及显示器
US20210084282A1 (en) 2018-01-12 2021-03-18 Sony Corporation Information processing apparatus and method
KR102445544B1 (ko) 2018-04-02 2022-09-21 삼성전자 주식회사 전자장치, 그 제어방법 및 기록매체
US11100119B2 (en) * 2018-05-04 2021-08-24 Sap Se Determining data structures for spatial data based on spatial data statistics
CN110866793A (zh) * 2018-08-27 2020-03-06 阿里健康信息技术有限公司 虚拟对象展示、生成和提供方法
CN110427363B (zh) * 2019-01-11 2023-04-11 中国铁路西安局集团有限公司 基于关系型数据库的铁路信号设备图像信息转换存储方法
JP7242389B2 (ja) 2019-04-11 2023-03-20 株式会社東芝 パケット生成装置および方法

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5661518A (en) * 1994-11-03 1997-08-26 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6484266B2 (en) * 1995-09-29 2002-11-19 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
EP2101495B1 (en) * 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
CN1183780C (zh) * 1996-12-04 2005-01-05 松下电器产业株式会社 光盘再现设备及光盘记录方法
US6188442B1 (en) * 1997-08-01 2001-02-13 International Business Machines Corporation Multiviewer display system for television monitors
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
CN1223187C (zh) * 1997-08-29 2005-10-12 松下电器产业株式会社 记录高质量图像或标准图像的光盘及其记录和再生装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US5963371A (en) * 1998-02-04 1999-10-05 Intel Corporation Method of displaying private data to collocated users
US6448952B1 (en) 1999-01-26 2002-09-10 Denso Corporation Stereoscopic image display device
JP2001045524A (ja) * 1999-01-26 2001-02-16 Denso Corp 立体表示装置
US6795863B1 (en) * 1999-08-10 2004-09-21 Intline.Com, Inc. System, device and method for combining streaming video with e-mail
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
US6859840B2 (en) * 2001-01-29 2005-02-22 Kasenna, Inc. Prefix caching for media objects
EP1501316A4 (en) * 2002-04-25 2009-01-21 Sharp Kk METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION
JP2004128769A (ja) 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP2259582B1 (en) * 2003-07-03 2012-05-30 Panasonic Corporation Reproduction apparatus, reproduction method, recording medium, recording apparatus and recording method.
KR100608051B1 (ko) 2003-07-07 2006-08-02 삼성전자주식회사 멀티앵글 데이터를 기록한 정보저장매체, 그 기록방법 및재생장치
JP4988340B2 (ja) * 2003-07-07 2012-08-01 サムスン エレクトロニクス カンパニー リミテッド マルチアングルデータを記録した情報記録媒体、その記録方法及び再生装置
KR20050049924A (ko) 2003-11-24 2005-05-27 엘지전자 주식회사 고밀도 광디스크의 플레이리스트 구성방법, 관리방법 및재생방법과 기록재생장치
KR20050066264A (ko) * 2003-12-26 2005-06-30 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
JP2005227424A (ja) * 2004-02-12 2005-08-25 Nakagawa Kenkyusho:Kk 表示システム
WO2005112476A1 (en) * 2004-03-08 2005-11-24 Robert Gibson Multi-play theatre
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
RU2378722C2 (ru) * 2004-03-26 2010-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Носитель записи, способ и устройство для воспроизведения потоков текстовых субтитров
JP2005286366A (ja) 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd ファイル分割結合方法、並びに装置
CN101854507B (zh) 2004-04-07 2012-04-18 松下电器产业株式会社 信息记录装置和信息转换方法
JP4617773B2 (ja) * 2004-08-23 2011-01-26 ソニー株式会社 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources
JP2006186768A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 画像表示装置及び方法
KR101268327B1 (ko) * 2005-04-07 2013-05-28 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
JP4630150B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 立体画像記録装置及びプログラム
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
JP2007074578A (ja) 2005-09-08 2007-03-22 Casio Comput Co Ltd 画像処理装置、撮影装置、及びプログラム
KR100667823B1 (ko) * 2005-10-13 2007-01-11 삼성전자주식회사 멀티 채널 영상 시스템
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
WO2007067020A1 (en) * 2005-12-09 2007-06-14 Electronics And Telecommunications Research Institute System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
WO2007117485A2 (en) * 2006-04-03 2007-10-18 Sony Computer Entertainment Inc. Screen sharing method and apparatus
US8305488B2 (en) * 2006-05-10 2012-11-06 Universal City Studios Llc Time-sliced multiplexed image display
JP4857895B2 (ja) 2006-05-10 2012-01-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR101362941B1 (ko) * 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
DE102006055641B4 (de) 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
US8717348B2 (en) * 2006-12-22 2014-05-06 Texas Instruments Incorporated System and method for synchronizing a viewing device
US8565584B2 (en) 2007-02-02 2013-10-22 Sony Corporation Editing apparatus and editing method
JP4289403B2 (ja) * 2007-02-02 2009-07-01 ソニー株式会社 編集装置及び編集方法
JP5100746B2 (ja) * 2007-03-22 2012-12-19 三菱電機株式会社 映像再生装置および映像再生方法
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
US8384764B2 (en) * 2007-12-20 2013-02-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치

Also Published As

Publication number Publication date
RU2502214C2 (ru) 2013-12-20
US20120275765A1 (en) 2012-11-01
MX2010002097A (es) 2010-08-02
EP2482564A3 (en) 2013-09-25
US20120062711A1 (en) 2012-03-15
JP2012044687A (ja) 2012-03-01
JP4733772B2 (ja) 2011-07-27
EP2482564A2 (en) 2012-08-01
EP2395770A2 (en) 2011-12-14
US20100208042A1 (en) 2010-08-19
CN101911713B (zh) 2014-01-08
EP2395770A3 (en) 2013-09-25
EP2355533A4 (en) 2013-09-18
US9344703B2 (en) 2016-05-17
EP2355533A1 (en) 2011-08-10
BRPI0904620A2 (pt) 2020-08-18
CN102355590A (zh) 2012-02-15
TW201031207A (en) 2010-08-16
MY151243A (en) 2014-04-30
EP2395772A3 (en) 2013-09-18
US8089507B2 (en) 2012-01-03
JP4564107B2 (ja) 2010-10-20
CA2691727C (en) 2016-10-04
JP4923162B2 (ja) 2012-04-25
CN102355590B (zh) 2014-11-12
JPWO2010038365A1 (ja) 2012-02-23
CA2691727A1 (en) 2010-03-30
CN101911713A (zh) 2010-12-08
EP2395772A2 (en) 2011-12-14
WO2010038365A1 (ja) 2010-04-08
JP2010213267A (ja) 2010-09-24
JP2010233211A (ja) 2010-10-14
RU2010107209A (ru) 2011-09-10

Similar Documents

Publication Publication Date Title
JP4733772B2 (ja) 記録媒体、再生装置、集積回路、再生方法、記録方法、記録媒体再生システム
JP4701312B2 (ja) 記録媒体、再生装置、記録方法、記録媒体再生システム
JP5291026B2 (ja) ３ｄ映像を再生する再生装置、および配信装置
JP5027952B2 (ja) 受信装置
WO2010038409A1 (ja) 再生装置、記録媒体、及び集積回路
WO2010095381A1 (ja) 記録媒体、再生装置、集積回路
WO2010095410A1 (ja) 記録媒体、再生装置、集積回路
KR20120036790A (ko) 재생장치, 집적회로, 기록매체
KR20120036791A (ko) 3ｄ 영상을 재생하기 위한 정보기록매체 및 재생장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application