TWI395464B - A recording medium, a reproducing apparatus, and an integrated circuit - Google Patents

A recording medium, a reproducing apparatus, and an integrated circuit Download PDF

Info

Publication number
TWI395464B
TWI395464B TW099109397A TW99109397A TWI395464B TW I395464 B TWI395464 B TW I395464B TW 099109397 A TW099109397 A TW 099109397A TW 99109397 A TW99109397 A TW 99109397A TW I395464 B TWI395464 B TW I395464B
Authority
TW
Taiwan
Prior art keywords
stream
view
block
file
data
Prior art date
Application number
TW099109397A
Other languages
English (en)
Other versions
TW201123847A (en
Inventor
Taiji Sasaki
Hiroshi Yahata
Wataru Ikeda
Tomoki Ogawa
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201123847A publication Critical patent/TW201123847A/zh
Application granted granted Critical
Publication of TWI395464B publication Critical patent/TWI395464B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1251Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10592Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/106113D video data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10685Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control input interface, i.e. the way data enter the buffer, e.g. by informing the sender that the buffer is busy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10694Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10814Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer underrun
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B2020/10935Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B2020/1218Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc
    • G11B2020/1224Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc extent, i.e. a set of sectors which numbers form a continuous ascending sequence
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1289Formatting of user data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

記錄媒體、再生裝置、及積體電路 發明領域
本發明係有關於立體視影像─即3維(3D)影像─之再生技術,尤其係有關於在記錄媒體上之串流資料的檔案結構。
發明背景
近年來,對於3D影像的普遍關心逐漸地在提高。例如在遊樂園中利用3D影像的遊樂設施廣受歡迎。又,在全國各地播放3D影像電影的電影院逐漸地在增加。伴隨著前述對3D影像的關心之提高,用以在各家庭中可再生3D影像的技術開發亦一直在進步。在其技術中,要求以高畫質原貌將3D影像內容記錄於光碟等可攜性記錄媒體。再者,亦要求前述記錄媒體對2D再生裝置的相容性。換言之,期望從已記錄在其記錄媒體的3D影像內容,2D再生裝置可再生2D影像,而3D再生裝置可再生3D影像。在此,「2D再生裝置」意指平面視影像,即僅可再生2D影像的習知再生裝置,而「3D再生裝置」意指可再生3D影像的再生裝置。此外,本說明書中,虛擬3D再生裝置亦可再生習知2D影像之情況。
第84圖係顯示關於已記錄有3D影像內容之光碟,為了確保對於2D再生裝置之相容性的技術之示意圖(例如參考專利文獻1)。光碟7601中儲存有兩種視頻串流。其中一種為2D/左視視頻串流,另一種為右視視頻串流。「2D/左視視頻串流」係在3D影像的再生中使視聽者的左眼看到2D影像,即呈現「左視」,在2D影像的再生中則呈現其2D影像本身。「右視視頻串流」係在3D影像的再生中使視聽者的右眼看到2D影像,即呈現「右視」。在左右視頻串流之間,訊框速率雖相等但訊框的顯示時期則錯開僅訊框周期的一半。例如,當各視頻串流的訊框速率為1秒鐘24訊框時,2D/左視視頻串流與右視視頻串流之各訊框會以每1/48秒交互顯示。
各視頻串流如第84圖所示,係在光碟6701上分割成複數個延伸區(extent)7602A-C、7603A-C。各延伸區包含GOP(group of pictures:圖片群)一群以上,而由光碟驅動機來總括讀出。以下,屬於2D/左視視頻串流的延伸區稱為「2D/左視延伸區」,屬於右視視頻串流的延伸區稱為「右視延伸區」。2D/左視延伸區7602A-C與右視延伸區7603A-C交互地配置在光碟7601的磁軌7601A上。在相鄰近的兩個延伸區7602A-7603A、7602B-7603B、7602C-7603C之間,再生時間相等。該種延伸區的配置稱為「交插(interleave)配置」。在交插配置所記錄之延伸區群,如以下所述係由3D影像的再生與2D影像的再生雙方利用。
2D再生裝置7604中,於光碟7601上的延伸區當中,光碟驅動機7604A僅從前頭依序讀出2D/左視延伸區7602A-C,而另外略過右視延伸區7603A-C的讀出。接著,影像解碼器7604B將以光碟驅動機7604A所讀出之延伸區依序往影像訊框7606L解碼。藉此,由於在顯示裝置7607僅顯示左視,因此視聽者可看見平常的2D影像。
3D再生裝置7605中,光碟驅動機7605A從光碟7601若交互地以符號呈現2D/左視延伸區與右視延伸區,係依7602A、7603A、7602B、7603B、7602C、7603C之順序讀出。接著,從已讀出之各延伸區將2D/左視視頻串流送往左影像解碼器7605L,而將右視視頻串流送往右影像解碼器7605R。各影像解碼器7605L、7605R係交互地將各視頻串流解碼至影像訊框7606L、7606R。藉此,於顯示裝置7608中會交互地顯示左視與右視。另一方面,快門眼鏡7609使左右透鏡與顯示裝置7608的畫面切換同步而交互地成為不透明。因此,戴上快門眼鏡7609之視聽者可看見已顯示在顯示裝置7608之影像呈3D影像。
不限於光碟,當將3D影像內容儲存於記錄媒體時,如上述利用延伸區的交插配置。藉此,可將其記錄媒體利用於2D影像的再生與3D影像的再生兩者。
先前技術文獻
專利文獻
專利文獻1:日本專利第3935507號公報
發明概要
如第84圖所顯示,從交插配置的延伸區群再生2D影像時,光碟驅動機7605A係以每右視延伸區7603A-C之記錄 區域進行「跳越」,而略過來自其記錄區域之資料的讀出。跳越期間中,不會從光碟驅動機7604A供給資料至2D再生裝置7604內之緩衝器,因此已蓄積在其緩衝器之資料會隨著影像解碼器7604B之處理而減少。於是,為了無縫再生2D影像,各2D/左視延伸區7602A-C的資料量(即大小)必須夠大到可防止跳越期間的緩衝器欠位。
從同延伸區群再生3D影像時,在讀出2D/左視延伸區7602A-C的期間中,不會讀出右視延伸區7603A-C。因此,在前述期間中,已積蓄於3D再生裝置7605內緩衝器的右視延伸區7603A-C的資料會隨著右影像解碼器7605R之處理而減少。反之,在讀出右視延伸區7603A-C的期間中,已積蓄於緩衝器之2D/左視延伸區7602A-C的資料會隨著左影像解碼器7605L之處理而減少。因此,為了無縫再生3D影像,左右各延伸區7602A-C、7603A-C的大小,必須夠大到可在其中一方的延伸區之讀出期間的途中,防止緩衝器內另一方的延伸區之資料枯竭。
再者,為了有效利用記錄媒體上的資料區域,亦有在途中分割一連串的串流資料之記錄區域,而將其它資料夾雜其之間並加以記錄會比較好的情況。此外,光碟亦有所謂如雙層光碟之類,包含複數記錄層者。在如前述光碟中,有可能會產生將一連串的串流資料橫跨二層來記錄的情況。前述情況下,當從一連串的串流資料再生影像時,光碟驅動機係以跳越略過其它資料的讀出、或切換記錄層。不論其跳越,而欲無縫再生影像時,延伸區的大小必須夠大到可防止跳越期間之緩衝器欠位、或任一延伸區之資料枯竭。
本發明之目的在於提供一種記錄媒體及再生裝置,前述記錄媒體係串流資料配置成當再生裝置再生平面視影像與立體視影像之任一者時,亦不會在其再生裝置內之緩衝器產生欠位者;前述再生裝置係可從前述記錄媒體無縫再生平面視影像與立體視影像之任一者。
於本發明實施形態的記錄媒體中記錄有主視串流與子視串流。主視串流係利用於平面視影像的再生。子視串流係與其主視串流組合而利用於立體視影像的再生。在其記錄媒體上,主視串流係分割成複數個主視資料塊而配置,而子視串流係分割成複數個子視資料塊而配置。該等資料塊包含複數延伸區塊(extent block)。延伸區塊係主視資料塊與子視資料塊交互連續配置的資料,當立體視影像再生時作為一個延伸區來參考。各延伸區塊的大小係以如下之值為下限:在立體視影像的再生中,在從其延伸區塊到下一個延伸區塊產生跳越之情況下,從其跳越開始到讀出下一個延伸區塊內的前頭資料塊為止,再生裝置的緩衝器不產生欠位之值。
本發明實施形態的再生裝置係包含:讀出部、開關部、第1讀取緩衝器、第2讀取緩衝器、及解碼部。讀出部,係從本發明實施形態之前述記錄媒體讀出延伸區塊者。開關部係從前述延伸區塊抽出主視串流與子視串流者。第1讀取緩衝器係儲存已由開關部抽出之主視串流者。第2讀取緩衝器係儲存已由開關部抽出之子視串流者。解碼部係從各讀取緩衝器讀出各串流並加以解碼者。解碼部解碼一個延伸區塊內之全部資料塊所需要的時間(t)係以下三個時間(t1、t2、t3)之合計以上,前述時間(t1)係讀出部讀出一個延伸區塊內之前頭資料塊以外之資料塊所需要的時間;前述時間(t2)係讀出部從讀取完一個延伸區塊之終端到開始讀取下一個延伸區塊之前頭為止所需要的時間;而前述時間(t3)則係讀出部讀出下一個延伸區塊內之前頭資料塊所需要的時間。
本發明實施形態的前述記錄媒體中,由於各延伸區塊之大小的下限很明確,因此易於適當地設計其大小。其結果,從前述記錄媒體再生平面視影像與立體視影像之任一者時,亦可容易地將串流資料配置於前述記錄媒體上,以使再生裝置內的緩衝器不會產生欠位。
本發明實施形態的前述再生裝置中,解碼部解碼一個延伸區塊內之全部資料塊所需要的時間,超過讀出部從開始讀出前述延伸區塊內之第二項資料塊到讀出下一個延伸區塊內之前頭資料塊所需要的時間。藉此,前述再生裝置在從二個延伸區塊持續再生影像時,由於使緩衝器不會產生欠位,因此可從該等延伸區塊無縫再生影像。
圖式的簡單說明
第1圖係顯示使用本發明實施形態1之記錄媒體之家庭戲院系統的示意圖。
第2圖係顯示第1圖所示之BD-ROM光碟101上之資料結構的示意圖。
第3圖(a)、(b)、(c)係分別多工為第1圖所示之BD-ROM光碟101上之主TS、第1子TS、第2子TS之基本流(element ary stream)的一覽表。
第4圖係顯示在多工串流資料400內之TS封包之配置的示意圖。
第5圖(b)係顯示構成在第4圖所示之多工串流資料之TS封包列之形式的示意圖。(a)係顯示在(b)所示之TS標題501H之資料結構的示意圖。(c)係顯示從(b)所示之TS封包列所構成之來源封包列之形式的示意圖。(d)係連續記錄有(c)所示之一連串的來源封包之BD-ROM光碟101的容量區域202B上之扇區群的示意圖。
第6圖係依顯示時間順序顯示基視視頻串流601與右視視頻串流602之圖片(picture)的示意圖。
第7圖係依顯示時間順序顯示基視視頻串流601與深度圖(depth map)串流701之圖片的示意圖。
第8圖係顯示視頻串流800之詳細資料結構的示意圖。
第9圖係顯示視頻串流901朝PES封包列902之詳細儲存方法的示意圖。
第10圖係顯示已分配至基視視頻串流1001與附屬視視頻串流1002之各圖片的PTS與DTS之間關係的示意圖。
第11圖係顯示在第8圖所示之補充資料831D之資料結構的示意圖。
第12圖(a)、(b)係分別顯示已分配至基視視頻串流1201與附屬視視頻串流1202之各圖片的解碼計數器之不同範例的示意圖。
第13圖係顯示第3圖所示之主TS、與第1子TS或第2子TS之任一者在BD-ROM光碟101上之物理性配置的示意圖。
第14圖(a)係顯示已個別地連續記錄在某BD-ROM光碟上之主TS1401與子TS1402之配置的示意圖。(b)係顯示已交互記錄在本發明實施形態1之BD-ROM光碟101上的附屬視資料塊D[0]、D[1]、D[2]、…與基視資料塊B[0]、B[1]、B[2]、…之配置的示意圖。
第15圖(a)、(b)係分別顯示已以交插配置記錄的附屬視資料塊群D[n]與基視資料塊群B[n]之各延伸區ATC時間之不同範例的示意圖(n=0、1、2)。
第16圖係顯示在2D再生模式對延伸區塊群1301-1303之再生路徑1601,與L/R模式之再生路徑1602的示意圖。
第17圖係顯示2D再生模式之再生裝置102內的再生處理系統的方塊圖。
第18圖(a)係顯示在2D再生模式的動作中,積蓄於第17圖所示之讀取緩衝器1721之資料量DA之變化的圖表。(b)係顯示再生對象的延伸區塊1810與在2D再生模式之再生路徑1820之間對應關係的示意圖。
第19圖係關於BD-ROM光碟之跳越距離SJUMP 與最大跳越時間TJUMP_MAX 間的對應表之一例。
第20圖係顯示3D再生模式之再生裝置102內之再生處理系統的方塊圖。
第21圖(a)、(b)係顯示從一個延伸區塊無縫再生3D影像時,積蓄於第20圖所示之各讀取緩衝器2021、2022的資料量DA1、DA2之變化的圖表。(c)係顯示其延伸區塊2110與3D再生模式之再生路徑2120之間對應關係的示意圖。
第22圖(a)係顯示當從複數延伸區塊連續無縫再生3D影像時,積蓄於第20圖之各讀取緩衝器2021、2022的資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。(b)係顯示第M項(整數M為2以上)延伸區塊2201與第(M+1)項延伸區塊2202、及該等二個延伸區塊2201、2202與3D再生模式之再生路徑2220之間對應關係的示意圖。
第23圖係顯示PMT2310之資料結構的示意圖。
第24圖係顯示在第2圖所示之第1剪輯資訊檔案(01000.clpi)─即2D剪輯資訊檔案231─之資料結構的示意圖。
第25圖(a)係顯示在第24圖所示之入口圖(entry map)2430之資料結構的示意圖。(b)係在第2圖所示之屬於檔案2D241之來源封包群2510當中,在(a)所示之由入口圖2430而對各EP_ID2505所對應者的示意圖。(c)係顯示對應於其來源封包群2510之BD-ROM光碟101上之資料塊群D[n]、B[n](n=0、1、2、3、…)的示意圖。
第26圖(a)係顯示在第24圖所示之偏移表(offset table)2441之資料結構的示意圖。(b)係顯示在(a)所示之偏移入口(offset entry)之有效區間的示意圖。
第27圖(a)係顯示在第24圖所示之延伸區起點2442之資料結構的示意圖。(b)係顯示包含於第2圖所示之第2剪輯資訊檔案(02000.clpi)─即右視剪輯資訊檔案232─之延伸區起點2720之資料結構的示意圖。(c)係呈現藉由L/R模式之再生裝置102從第1檔案SS244A所抽出之基視資料塊B[0]、B[1]、B[2]、…的示意圖。(d)係呈現屬於第1檔案DEP(02000.m2ts)242之右視延伸區EXT2[0]、EXT2[1]、…、與延伸區起點2720顯示之SPN2722之間對應關係的示意圖。(e)係顯示屬於第1檔案SS244A之延伸區SSEXTSS[0]與BD-ROM光碟101上之延伸區塊之間對應關係的示意圖。
第28圖係顯示已記錄於BD-ROM光碟101上之一個延伸區塊2800、檔案2D2810、檔案庫2811、檔案DEP2812、及檔案SS2820之各延伸區群之間對應關係的示意圖。
第29圖係顯示已設定於基視視頻串流2910與附屬視視頻串流2920之入口點之範例的示意圖。
第30圖係顯示2D播放清單檔案之資料結構的示意圖。
第31圖係顯示在第30圖所示之PI#N之資料結構的示意圖。
第32圖(a)、(b)係分別顯示在第31圖所示之連接狀態3104為"5"、"6"時連接對象之二個再生區間3201、3202間之關係的示意圖。
第33圖係顯示2D播放清單檔案(00001.mpls)221顯示之PTS、與從檔案2D(01000.m2ts)241所再生的部分之間之對應關係的示意圖。
第34圖係顯示3D播放清單檔案之資料結構的示意圖。
第35圖係顯示在第34圖所示之STN表SS3430之資料結構的示意圖。
第36圖(a)、(b)、(c)係分別顯示在第35圖所示之附屬視視頻串流之串流註冊資訊列3512、PG串流之串流註冊資訊列3513、與IG串流之串流註冊資訊列3514之資料結構的示意圖。
第37圖係顯示3D播放清單檔案(00002.mpls)222顯示之PTS、與從第1檔案SS(01000.ssif)244A所再生的部分間之對應關係的示意圖。
第38圖係顯示在第2圖所示之索引檔案(index.Bdmv)211內之索引表3810的示意圖。
第39圖係當已選擇3D影像標題時所進行的再生對象之播放清單檔案之選擇處理的流程圖。
第40圖係2D再生裝置4000的功能方塊圖。
第41圖係已記憶於第40圖所示之播放器變數記憶部4036之SPRM的一覽表。
第42圖係在第40圖所示之再生控制部4035之2D播放清單再生處理的流程圖。
第43圖係在第40圖所示之系統目標解碼器4023的功能方塊圖。
第44圖係3D再生裝置4400的功能方塊圖。
第45圖係再生控制部4435之3D播放清單再生處理的流程圖。
第46圖係在第44圖所示之系統目標解碼器4423的功能方塊圖。
第47圖係在第44圖所示之平面加算部4424的功能方塊圖。
第48圖係在第47圖所示之各修剪(cropping)處理部4731-4734之修剪處理的流程圖。
第49圖(a)、(b)係顯示第2修剪處理部4732之修剪處理的示意圖。
第50圖(a)、(b)、(c)係分別顯示第49圖(a)、(b)所示之左視與右視之PG平面資料呈現之2D影像─即左視與右視之PG平面、及從該等由視聽者所知覺之3D影像的示意圖。
第51圖(a)係顯示已記錄於層邊界LB(layers boundary)前後之延伸區塊5101、5102的示意圖。(b)係顯示對於延伸區塊5101、5102之2D再生模式之再生路徑5130與3D再生模式之再生路徑5140的示意圖。
第52圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後的資料塊群之配置1的示意圖。
第53圖係顯示對於第52圖所示之配置1的資料塊群之,2D再生模式中之再生路徑5310與3D再生模式中之再生路徑5320的示意圖。
第54圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後之資料塊群之配置2的示意圖。
第55圖係顯示對於第54圖所示之配置2的資料塊群之,2D再生模式中之再生路徑5510與3D再生模式中之再生路徑5520的示意圖。
第56圖係顯示從第54圖所示之延伸區塊5401-5403連續無縫再生3D影像時,積蓄於各讀取緩衝器4421、4422之資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。
第57圖係顯示已配置於BD-ROM光碟101上之三種資料塊Dn、Rn、Ln(n=0、1、2、…)、與參考各資料塊之AV串流檔案之間對應關係的示意圖。
第58圖係顯示對於在第57圖所示之超延伸區塊5700之2D再生模式、L/R模式、及超解像模式之各個中的再生路徑5801、5802、5803的示意圖。
第59圖(a)係顯示在2D再生模式的動作中,積蓄於讀取緩衝器1721之資料量DA之變化的圖表。(b)係顯示再生對象之超延伸區塊5910與2D再生模式中之再生路徑5920之間對應關係的示意圖。
第60圖(a)、(b)係顯示當L/R模式之再生裝置從超延伸區塊6010無縫再生3D影像時,積蓄於各讀取緩衝器2021、2022之資料量DA1、DA2之變化的圖表。(c)係顯示前述超延伸區塊6010與L/R模式中之再生路徑6020之間對應關係的示意圖。
第61圖係顯示超解像模式再生裝置內之再生處理系統的方塊圖。
第62圖(a)、(b)、(c)係顯示從一個超延伸區塊無縫再生3D影像時,積蓄於第61圖所示之各讀取緩衝器6121、6122、6123之資料量DA1、DA2、DA3之變化的圖表。(d)係顯示前述超延伸區塊6210與超解像模式中之再生路徑6220之間對應關係的示意圖。
第63圖(a)係顯示從二個相異超延伸區塊6301、6302連續無縫再生3D影像時,積蓄於第61圖所示之各讀取緩衝器6121、6122、6133之資料量DA1、DA2、DA3之變化、及該等和DA1+DA2+DA3之變化的圖表群。(b)係顯示該等二個超延伸區塊6301、6302與超解像模式中之再生路徑6320之間對應關係的示意圖。
第64圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後的三種資料塊群之配置的示意圖。
第65圖係超解像模式之再生裝置6500的功能方塊圖。
第66圖係在第65圖所示之系統目標解碼器6524的功能方塊圖。
第67圖(a)係顯示在相鄰接之基視資料塊與附屬視資料塊之間,延伸區ATC時間不同,且視頻串流之再生時間不同時之再生路徑的示意圖。(b)係顯示相鄰接之基視資料塊與附屬視資料塊之間,視頻串流之再生時間相等時之再生路徑的示意圖。
第68圖係顯示在超延伸區塊之中相鄰接之基視資料塊與附屬視資料塊之對,在包含相同數量的入口點之情況下的入口點與資料塊群之間對應關係的示意圖。
第69圖(a)係顯示對應於多角度(multi-angle)之多工串流資料之再生路徑的示意圖。(b)係已記錄於BD-ROM光碟上之資料塊群6901與對於該等之L/R模式中之再生路徑6902的示意圖。(c)係顯示構成角度別之串流資料Ak、Bk、Ck之超延伸區塊的示意圖。
第70圖係顯示本發明實施形態2之記錄裝置之內部架構的方塊圖。
第71圖(a)、(b)係顯示利用於顯示3D影像一場景之左影像圖片與右影像圖片的示意圖。(c)係由第70圖所示之視頻編碼器7001從該等圖片所算出之深度資訊的示意圖。
第72圖係顯示在相鄰接之資料塊間使延伸區ATC時間一致之方法的示意圖。
第73圖係利用第70圖所示之記錄裝置來將電影內容往BD-ROM光碟記錄之方法的流程圖。
第74圖係本發明實施形態3之積體電路3的功能方塊圖。
第75圖係顯示在第74圖所示之串流處理部5之代表性結構的功能方塊圖。
第76圖係顯示在第75圖所示之切換部53為DMAC時之周邊結構的示意圖。
第77圖係顯示在第74圖所示之AV輸出部8之代表性結構的功能方塊圖。
第78圖係顯示與第77圖所示之包含AV輸出部8的再生裝置102之資料輸出相關部分的詳細示意圖。
第79圖係顯示在第74圖所示之積體電路3內之控制路徑及資料路徑之佈局範例(a)、(b)的示意圖。
第80圖係已利用第74圖所示之積體電路3的再生裝置102之再生處理的流程圖。
第81圖係顯示在第80圖所示之各步驟S1-5之詳細的流程圖。
第82圖(a)-(c)係用以說明使用視差影像之方法的3D影像之再生原理的示意圖。
第83圖係顯示從2D影像7501與深度圖7502之組合來構成左視7503L與右視7503R之範例的示意圖。
第84圖係顯示關於已記錄有3D影像內容之光碟,用以確保對於2D再生裝置之相容性之技術的示意圖。
第85圖係顯示在第34圖所示之二個連續PI所規定之檔案2D的各部分、對應SUB_PI所規定之檔案DEP的各部分、該等部分所屬之檔案SS的各部分、及由各檔案所參考之延伸區塊之對應關係的示意圖。
用以實施發明的形態
以下,邊參考圖式邊來說明有關本發明之最佳實施形態之記錄媒體及再生裝置。
《第1實施形態》
第1圖係顯示使用本發明實施形態1之記錄媒體之家庭戲院系統的示意圖。該家庭戲院系統係採用已使用視差影像之3D影像(立體視影像)的再生方式,尤其採用相繼分離方式來作為顯示方式(詳細參考<補充>)。如參考第1圖,該家庭戲院系統係以記錄媒體101作為再生對象,包含再生裝置102、顯示裝置103、快門眼鏡104、及搖控器105。
記錄媒體101係讀出專用藍光光碟®(BD:Blu-ray Disc),即為BD-ROM光碟。記錄媒體101亦可為其它可攜性記錄媒體,例如:DVD等其它方式之光碟、可拆卸硬碟驅動機(HDD:Hard Disk Drive)、或SD記憶體卡片等之半導體記憶體裝置。前述記錄媒體-即BD-ROM光碟101-係儲存有3D影像之電影內容。該內容包含呈現各個前述3D影像之左視與右視的視頻串流。再者,前述內容亦可包含呈現前述3D影像之深度圖的視頻串流。該等視頻串流如後述係以資料塊單位而配置於BD-ROM光碟101上,並利用後述之檔案結構來存取。呈現左視或右視之視頻串流係由各個2D再生裝置與3D再生裝置利用來再生前述內容作為2D影像。另一方面,呈現各個左視與右視之視頻串流對、或呈現各個左視或右視之任一者與深度圖之視頻串流對,係由3D再生裝置利用來再生前述內容作為3D影像。
再生裝置102裝有BD-ROM驅動機121。BD-ROM驅動機121係準據BD-ROM方式之光碟驅動機。再生裝置102係利用BD-ROM驅動機121從BD-ROM光碟101讀入內容。再生裝置102再將前述內容解碼成影像資料/聲音資料。在此,再生裝置102為3D再生裝置,可將前述內容再生作為2D影像與3D影像之任一者。以下,將分別再生2D影像與3D影像時的再生裝置102之動作模式稱為「2D再生模式」、與「3D再生模式」。在2D再生模式中,影像資料包含左視或右視之任一者的影像訊框。而在3D再生模式中,影 像資料包含左視與右視之兩者的影像訊框。
再者,3D再生模式可分成左/右(L/R)模式與深度模式。「L/R模式」中,從分別呈現左視與右視之視頻串流的組合,可再生左視與右視之影像訊框對。「深度模式」中,則從分別呈現左視或右視之任一者與深度圖之視頻串流的組合,可再生左視與右視之影像訊框對。再生裝置102具備L/R模式。再者,再生裝置102亦可具備深度模式。
再生裝置102係以HDMI(High-Definition Multimedia Interface:高清晰度多媒體介面)電纜122與顯示裝置103相連接。再生裝置102將影像資料/聲音資料變換成HDMI方式的影像訊號/聲音訊號,通過HDMI電纜122而往顯示裝置103傳送。2D再生模式中,係將左視或右視之任一方的影像訊框多工成影像訊號。而3D再生模式中,係將左視與右視兩者的影像訊框以分時(time-sharing)來多工成影像訊號。接著,再生裝置102通過HDMI電纜122在顯示裝置103之間交換CEC訊息。藉此,再生裝置102可向顯示裝置103詢問可否對應於3D影像的再生。
顯示裝置103係液晶顯示器。顯示裝置103亦可為其它電漿顯示器及有機EL顯示器等,亦可為其它方式的平板顯示器或投影機。顯示裝置103係依照影像訊號在畫面131上呈現影像,並依照聲音訊號從內建喇叭使聲音產生。顯示裝置103可對應於3D影像的再生。在2D影像再生時,於畫面131上可呈現左視或右視之任一者。而在3D影像再生時,於畫面131上可交互呈現左視或右視。
顯示裝置103包含左右訊號發訊部132。左右訊號發訊部132係以紅外線或無線將左右訊號LR往快門眼鏡104送出。左右訊號LR係顯示在目前呈現於畫面131上的影像為左視或右視之任一者。在3D影像再生時,顯示裝置103係藉由從附隨在影像訊號之控制訊號來識別左視訊框與右視訊框,而檢測訊框的切換。接著,顯示裝置103會使左右訊號發訊部132與所檢測的訊框之切換同步來改變左右訊號LR。
快門眼鏡104包含二片液晶顯示屏141L、141R與左右訊號接收部142。各液晶顯示屏141L、141R構成有左右之各透鏡部分。左右訊號接收部142係接收左右訊號LR,並依其變化將訊號送往左右的液晶顯示屏141L、141R。各液晶顯示屏141L、141R依照其訊號使光以其整體統一地透過或遮斷。尤其在左右訊號LR顯示左視的顯示時,左眼側的液晶顯示屏141L係使光透過,而右眼側的液晶顯示屏141R係將光遮斷。在左右訊號LR顯示右視的顯示時則為其相反。如此一來,二片液晶顯示屏141L、141R係與訊框的切換同步而交互地使光透過。其結果係當視聽者戴著快門眼鏡104觀看畫面131時,左視僅映照到視聽者的左眼,而右視僅映照到視聽者的右眼。屆時,對前述視聽者而言,由於會將映照到各眼的影像間之差異,知覺為對於相同立體物體的兩眼視差,因此可看見其影像呈立體。
搖控器105包含操作部與發訊部。操作部包含複數個按鈕。各按鈕與電源開關、BD-ROM光碟101之再生開始或 停止等、或者再生裝置102或顯示裝置103的各功能相對應。操作部檢測出來自使用者對各按鈕的按壓,並將其按鈕的識別資訊以訊號往發訊部傳送。發訊部將其訊號變換為來自紅外線或無線的訊號IR,並往再生裝置102或顯示裝置103送出。另一方面,再生裝置102與顯示裝置103分別接收其訊號IR,並特定其訊號IR所示之按鈕來執行與其按鈕相對應之功能。如此一來,使用者可遠端操作再生裝置102或顯示裝置103。
<BD-ROM光碟上之資料結構>
第2圖係顯示BD-ROM光碟101上之資料結構的示意圖。如參考第2圖,BD-ROM光碟101上之資料記錄區域的最內周部設置有BCA(Burst Cutting Area:脈衝切割區)201。對於BCA僅允許來自BD-ROM驅動機121之存取,且禁止來自應用程式之存取。藉此,BCA201可利用於著作權保護技術。在比BCA201外側的資料記錄區域,磁軌係從內圍朝向外圍以螺旋狀在延伸。第2圖中,磁軌202係示意地描繪成朝横向拉伸。其左側係呈現光碟101的內圍部,而右側係呈現外圍部。如第2圖所示,磁軌202從內圍依序包含有:寫入區域202A、容量區域202B、及讀出區域202C。寫入區域202A設置在BCA201的正外圍側。寫入區域202A包含已記錄於容量區域202B之資料的大小及物理位址等、與對BD-ROM驅動機121之容量區域202B的存取所需之資訊。讀出區域202C係設置在資料記錄區域之最外圍部並顯示容量區域202B之終端。容量區域202B包含影像及聲音等的應用 軟體資料。
容量區域202B係分割成稱為「扇區(sector)」之小區域202D。扇區的大小皆相同,例如為2048位元組。各扇區202D從容量區域202B之前端開始依序編有流水號。此流水號稱為邏輯塊號碼(LBN:logical block number),係利用於BD-ROM光碟101上的邏輯位址。在來自BD-ROM光碟101的資料讀出中,可藉由指定目標扇區之LBN來特定讀出對象的資料。如此一來,容量區域202B可以扇區單位來存取。再者,在BD-ROM光碟101上,邏輯位址實質上相當於物理位址。尤其,在LBN呈連續的區域中,物理位址亦實質上呈連續。因此,BD-ROM驅動機121可不需使其光學讀頭(optical pickup)進行搜尋地從LBN呈連續之扇區將資料連續讀出。
已記錄於容量區域202B之資料係以預定的檔案系統來管理。前述檔案系統採用乃UDF(Universal Disc Format:通用光碟格式)。前述檔案系統其它亦可為ISO9660。依循前述檔案系統,已記錄於容量區域202B之資料可以目錄/檔案形式來呈現(詳細參考<補充>)。換言之,該等資料可以目錄單位或檔案單位來存取。
《BD-ROM光碟上之目錄/檔案結構》
再者,第2圖係顯示已儲存於BD-ROM光碟101之容量區域202B之資料的目錄/檔案結構。如參考第3圖,此目錄/檔案結構中,於根(ROOT)目錄203的正下方設置有BD電影(BDMV:BD Movie)目錄210。而於BDMV目錄210的正下 方設置有索引檔案(index.bdmv)211與電影物件檔案(Movie Object.bdmv)212。
索引檔案211係用以管理已記錄於BD-ROM光碟101之內容整體的資訊。其資訊尤其包含有用以使再生裝置102辨識其內容的資訊、及索引表。索引表係程式間的對應表,用以控制構成其內容之標題、與再生裝置102之動作。前述程式稱為「物件」。物件的種類有電影物件與BD-J(BD Java®)物件。
電影物件檔案212一般包含有複數電影物件。各電影物件包含有導航指令之列。導航指令係控制指令,用以使再生裝置102執行與一般DVD播放器之再生處理同樣的再生處理。導航指令的種類有例如:對應於標題之播放清單檔案的讀出命令、播放清單檔案所示之AV串流檔案的再生命令、及往別的標題的變遷命令。導航指令係以翻譯器型語言來記述,藉由已組裝於再生裝置102之翻譯器-即工作控制程式-來解讀而使其控制部執行所期望的工作。導航指令係由運算碼與運算元所形成。運算碼係顯示標題之分岐與再生及演算等應使再生裝置102執行之操作種類。運算元係顯示標題號碼等其操作對象之識別資訊。再生裝置102的控制部係如依照使用者操作叫出各電影物件,並依列之順序執行包含於其電影物件之導航指令。藉此,再生裝置102與一般DVD播放器一樣,首先於顯示裝置103顯示選單使使用者選擇指令。接著,再生裝置102會依照已選擇之指令,來動態地改變標題之再生開始/停止、及向別的標題之切換等所再生之影像的進行。
再如參考第2圖,BDMV目錄210的正下方設置有播放清單(PLAYLIST)目錄220、剪輯資訊(CLIPINF)目錄230、串流(STREAM)目錄240、BD-J物件(BDJO:BD Java Object)目錄250、及Java壓縮(JAR:Java Archive)目錄260。
STREAM目錄240的正下方設置有三種AV串流檔案:(01000.m2ts)241、(02000.m2ts)242、(03000.m2ts)243、及立體視交錯檔案(SSIF:Stereoscopic Interleaved File)目錄244。SSIF目錄244的正下方設置有二種AV串流檔案:(01000.ssif)244A、(02000.ssif)244B。
「AV串流檔案」意指已記錄於BD-ROM光碟101上之影像內容的實體當中,已整理成檔案系統所規定之檔案形式者。在此,影像內容的實體係意指一般呈現影像、聲音、字幕等之各種串流資料,即已將基本流多工之串流資料。該多工串流資料係依照內建的主要視頻串流(primary video stream)之種類可大致類別為主傳輸流(TS:transport stream)與子TS。「主TS」意指作為主要視頻串流包含基視視頻串流之多工串流資料。「基視視頻串流」意指可單獨再生並呈現2D影像之視頻串流。而,基視亦稱為「主視」。「子TS」意指作為主要視頻串流包含附屬視視頻串流之多工串流資料。「附屬視視頻串流」意指其再生需要基視視頻串流,並與其基視視頻串流之組合來呈現3D影像之視頻串流。而,附屬視亦稱為「子視」。附屬視視頻串流的種類有右視視頻串流、左視視頻串流、及深度圖串流。當藉由L/R模式之再生裝置利用基視視頻串流所呈現之2D影像來作為3D影像之左視時,「右視視頻串流」係作為呈現其3D影像之右視的視頻串流而利用。「左視視頻串流」乃其相反。而當藉由深度模式之再生裝置利用基視視頻串流所呈現之2D影像作為對虛擬2D畫面之3D影像的投影時,「深度圖串流」係作為呈現其3D影像之深度圖串流資料而利用。尤其,將利用於前述基視視頻串流呈現左視時的深度圖串流稱為「左視深度圖串流」,而將利用於前述基視視頻串流呈現右視時的深度圖串流稱為「右視深度圖串流」。
AV串流檔案依內建之多工串流資料種類,可分成檔案2D、檔案附屬(以下簡稱為檔案DEP)、及交錯檔案(以下簡稱為檔案SS)三種。「檔案2D」意指利用於2D再生模式中之2D影像再生的AV串流檔案,且包含主TS者。「檔案DEP」意指包含子TS之AV串流檔案。「檔案SS」意指包含呈現同樣3D影像之主TS與子TS之對的AV串流檔案。尤其,檔案SS將其主TS與任一的檔案2D分享,並將其子TS與任一的檔案DEP分享。換言之,BD-ROM光碟101之檔案系統中,主TS可作為檔案SS與檔案2D之任一者來存取,而子TS可作為檔案SS與檔案DEP之任一者來存取。如此一來,使已記錄於BD-ROM光碟101上之一連串的資料與不同的檔案分享,而可作為任一的檔案來存取之結構稱為「檔案之交叉連接(cross-link)」。
在第2圖所示之範例中,第1AV串流檔案(01000.m2ts)241為檔案2D、第2AV串流檔案(02000.m2ts)242與第3AV串流檔案(03000.m2ts)243皆為檔案DEP。如此一來,檔案2D與檔案DEP係設置於STREAM目錄240的正下方。第1AV串流檔案─即檔案2D241所包含之基視視頻串流─係呈現3D影像之左視。第2AV串流檔案─即第1檔案DEP242所包含之附屬視視頻串流─係右視視頻串流。第3AV串流檔案─即第2檔案DEP243所包含之附屬視視頻串流─係深度圖串流。
再者,在第2圖所示之範例中,第4AV串流檔案(01000.ssif)244A與第5AV串流檔案(02000.ssif)244B皆為檔案SS。如此一來,檔案SS設置於SSIF目錄244之正下方。第4AV串流檔案─即第1檔案SS244A─與檔案2D241分享主TS(尤其是基視視頻串流),而與第1檔案DEP242分享子TS(尤其是右視視頻串流)。第5AV串流檔案─即第2檔案SS244B─與檔案2D241分享主TS(尤其是基視視頻串流),而與第2檔案DEP243分享TS(尤其是深度圖串流)。
CLIPINF目錄230設置有三種剪輯資訊檔案:(01000.clpi)231、(02000.clpi)232、(03000.clpi)233。「剪輯資訊檔案」係與檔案2D及檔案DEP以一對一相對應的檔案,尤指包含各檔案之入口圖者。「入口圖」係檔案2D或檔案DEP所呈現之各場景的顯示時間與其場景所記錄之各檔案內位址之間的對應表。剪輯資訊檔案當中,與檔案2D所對應者稱為「2D剪輯資訊檔案」,而與檔案DEP所對應者稱為「附屬視剪輯資訊檔案」。再者,當檔案DEP包含右視視頻串流時,對應之附屬視剪輯資訊檔案稱為「右視剪輯資訊檔案」。當檔案DEP包含深度圖串流時,對應之附屬視剪輯資訊檔案稱為「深度圖剪輯資訊檔案」。在第2圖所示之範例中,第1剪輯資訊檔案(01000.clpi)231係2D剪輯資訊檔案,對應於檔案2D241。第2剪輯資訊檔案(02000.clpi)232係右視剪輯資訊檔案,對應於第1檔案DEP242。第3剪輯資訊檔案(03000.clpi)233係深度圖剪輯資訊檔案,對應於第2檔案DEP243。
PLAYLIST目錄220設置有三種播放清單檔案:(00001.mpls)221、(00002.mpls)222、(00003.mpls)223。「播放清單檔案」意指規定AV串流檔案的再生路徑─即AV串流檔案之再生對象的部分與其再生順序─之檔案。播放清單檔案的種類有2D播放清單檔案與3D播放清單檔案。「2D播放清單檔案」係規定檔案2D的再生路徑。「3D播放清單檔案」係對於2D再生模式之再生裝置規定檔案2D的再生路徑,而對於3D再生模式之再生裝置規定檔案SS的再生路徑。在第2圖所示之範例中,第1播放清單檔案(00001.mpls)221係2D播放清單檔案,規定檔案2D241的再生路徑。第2播放清單檔案(00002.mpls)222係3D播放清單檔案,對於2D再生模式之再生裝置規定檔案2D241的再生路徑,而對於L/R模式之再生裝置規定第1檔案SS244A的再生路徑。第3播放清單檔案(00003.mpls)223係3D播放清單檔案,對於2D再生模式之再生裝置規定檔案2D241的再生路徑,而對於深度模式之再生裝置規定第2檔案SS244B的再生路徑。
在BDJO目錄250設置有BD-J物件檔案(XXXXX.bdjo)251。BD-J物件檔案251係包含一個BD-J物件。BD-J物件為位元組碼程式,係使已組裝於再生裝置102之Java虛擬機器執行標題之再生處理及圖形影像之描繪處理。BD-J物件係以Java語言等編譯語言(compiled language)來記述。BD-J物件包含應用軟體管理表與參考對象之播放清單檔案之識別資訊。「應用軟體管理表」係應使Java虛擬機器執行之Java應用程式與其執行時期-即生命週期-之對應表。「參考對象之播放清單檔案的識別資訊」係用以識別對應於再生對象標題之播放清單檔案的資訊。Java虛擬機器係依照使用者操作或應用程式叫出各BD-J物件,並依照包含於其BD-J物件之應用軟體管理表來執行Java應用程式。藉此,再生裝置102會使可再生之各標題影像之進行呈動態變化,或使顯示裝置103顯示圖形影像與標題之影像呈獨立。
在JAR目錄260設置有JAR檔案(YYYYY.jar)261。JAR檔案261一般複數包含應依照BD-J物件顯示之應用軟體管理表來執行之Java應用程式之本體。「Java應用程式」與BD-J物件同樣係已以Java語言等編譯語言記述之位元組碼程式。Java應用程式之種類含有使Java虛擬機器執行標題之再生處理者、及使Java虛擬機器執行圖形影像之描繪處理者。JAR檔案261為Java壓縮檔案,係於已寫入再生裝置102時以其內部的記憶體而展開。藉此,在其記憶體中儲存有 Java應用程式。
《多工串流資料的結構》
第3圖(a)係已多工於BD-ROM光碟101上之主TS之基本流的一覽表。主TS係MPEG-2傳輸流(TS)形式之數位串流,包含在第2圖所示之檔案2D241。如參考第3圖(a),主TS包含主要視頻串流301與主要聲頻串流302A、302B。主TS其它亦可包含:演示圖形(PG)串流303A、303B、交互圖形(IG)串流304、次要聲頻串流305,及次要視頻串流306。
主要視頻串流301呈現電影的主影像,而次要視頻串流306呈現副影像。在此,主影像意指電影主要故事之影像等內容的主要影像,例如係指顯示於畫面整體者。另一方面,副影像意指例如於主影像中以小畫面顯示之影像,利用圖中圖(picture in picture)方式與主影像同時顯現於畫面之影像。主要視頻串流301與次要視頻串流306皆為基視視頻串流。各視頻串流301、306係以MPEG-2、MPEG-4 AVC、或SMPTE VC-1等動畫壓縮編碼方式來編碼。
主要聲頻串流302A、302B係呈現電影之主音訊。在此,兩個主要聲頻串流302A、302B之間的語言不同。次要聲頻串流305係呈現伴隨於對話畫面之操作的音效等應與主音訊重疊(應混合)之副音訊。各聲頻串流302A、302B、305係以AC-3、杜比數位®Plus(Dolby Digital Plus)、MLP®(Meridian Lossless Packing)、DTS®(Digital Theater Sy stem:數位電影院系統)、DTS-HD、或線性PCM(Pulse Code Modulation:脈衝碼調變)等的方式來編碼。
各PG串流303A、303B係呈現來自圖形之字幕等應與主要視頻串流301所呈現之影像重疊顯示之圖形影像。在兩個PG串流303A、303B之間乃例如字幕的語言不同。IG串流304係呈現用以於顯示裝置103之畫面131上構成對話畫面的圖形使用者介面(GUI)用之圖形零件及其配置。
基本流301-306係藉由封包識別碼(PID)來識別。PID之分配例如同下列。由於一個主TS僅包含一條主要視頻串流,因此於主要視頻串流301會分配16進位數0×1011。當於一個主TS依每種類最大可多工其它基本流達32條時,於主要聲頻串流302A、302B可分配到從0×1100到0×111F之任一者。於PG串流303A、303B可分配到從0×1200到0×12IF之任一者。於IG串流304可分配到從0×1400到0×141F之任一者。於次要聲頻串流305可分配到從0×1A00到0×1A1F之任一者。於次要視頻串流306可分配到從0×1B00到0×1B1F之任一者。
第3圖(b)係已多工於BD-ROM光碟101上之第1子TS之基本流的一覽表。第1子TS係MPEG-2 TS形式之多工串流資料,包含於第2圖所示之第1檔案DEP242。如參考第3圖(b),第1子TS包含主要視頻串流311。第1子TS其它亦可包含左視PG串流312A、312B、右視PG串流313A、313B、左視IG串流314、右視IG串流315、及次要視頻串流316。主要視頻串流311為右視視頻串流,當主 TS內之主要視頻串流301呈現3D影像的左視時,乃呈現其3D影像的右視。當將字幕等圖形影像作為3D影像顯示時,左視與右視的PG串流對312A+313A、312B+313B係呈現其左視與右視之對。當將對話畫面之圖形影像作為3D影像顯示時,左視與右視的IG串流對314、315係呈現其左視與右視之對。次要視頻串流316為右視視頻串流,當主TS內之次要視頻串流306呈現3D影像的左視時,乃呈現其3D影像的右視。
對於主要視頻串流311-316之PID的分配例如同下述。於主要視頻串流311會分配到0×1012。當於一個子TS依種類別最大可多工其它基本流達32條時,於左視PG串流312A、312B可分配到從0×1220到0×123F之任一者,而於右視PG串流313A、313B可分配到從0×1240到0×125F之任一者。於左視IG串流314可分配到從0×1420到0×143F之任一者,而於右視IG串流315可分配到從0×1440到0×145F之任一者。於次要視頻串流316可分配到從0×1B20到0×1B3F之任一者。
第3圖(c)係已多工於BD-ROM光碟101上之第2子TS之基本流的一覽表。第2子TS係MPEG-2TS形式之多工串流資料,包含於第2圖所示之第2檔案DEP243。如參考第3圖(c),第2子TS包含主要視頻串流321。第2子TS其它亦可包含深度圖PG串流323A、323B、深度圖IG串流324、及次要視頻串流326。主要視頻串流321係深度圖串流,以與主TS內之主要視頻串流301的組合來呈現3 D影像。深度圖PG串流323A、323B係在利用主TS內之PG串流323A、323B呈現之2D影像來作為對虛擬2D畫面之3D影像的投影時,作為呈現其3D影像之深度圖的PG串流而利用。於利用主TS內之IG串流304所呈現的2D影像來作為投射到虛擬2D畫面的3D影像時,深度圖IG串流324係利用為呈現其3D影像之深度圖的IG串流。次要視頻串流326係深度圖串流,以與主TS內之次要視頻串流306的組合來呈現3D影像。
對於基本流321-326之PID的分配例如同下述。於主要視頻串流321可分配到0×1013。當一個子TS依種類別最大可多工其它基本流達32條時,於深度圖PG串流323A、323B可分配到從0×1260到0×127F之任一者。於深度圖IG串流324可分配到從0×1460到0×147F之任一者。於次要視頻串流326可分配到從0×1B40到0×1B5F之任一者。
第4圖係顯示在多工串流資料400內之TS封包配置的示意圖。此封包結構在主TS與子TS上為共通。在多工串流資料400內,各基本流401、402、403、404係變換成TS封包421、422、423、424之列。例如在視頻串流401,首先將各訊框401A或各場(field)變換成一個PES(Packetized Elementary Stream:分封化基本流)封包411。其次,一般會將各PES封包411變換成複數TS封包421。同樣地,一旦將聲頻串流402、PG串流403、及IG串流404分別變換成PES封包412、413、414之列後,可變換成TS封包422、423、424之列。最後,將從各基本流401、402、403、 404所得之TS封包421、422、423、424以分時多工成一條串流資料400。
第5圖(b)係顯示構成多工串流資料之TS封包列之形式的示意圖。各TS封包501係188位元組長的封包。如參考第5圖(b),各TS封包501包含TS酬載(payload)501P與適應場(adaptation field;以下簡稱為AD場)501A之至少其中任一者、及TS標題501H。TS酬載501P與AD場501A係將兩者合併為184位元組長的資料區域。TS酬載501P係作為PES封包的儲存區域而利用。一般將第4圖所示之PES封包411-414分別分割成複數個部分,並將各部分儲存於不同的TS酬載501P。AD場501A係在TS酬載501P之資料量未滿184位元組時用以儲存填充位元組(Stuffing byte,即虛擬資料)之區域。此外,當TS封包501為例如後述之PCR時,AD場501A係,作為其資訊之儲存區域來利用。TS標題501H係4位元組長的資料區域。
第5圖(a)係顯示TS標題501H之資料結構的示意圖。如參考第5圖(a),TS標題501H包含TS優先度(transport_priority)511、PID512、及AD場控制(adaptation_field_control)513。PID512係顯示已儲存於相同TS封包501內之TS酬載501P資料的所屬之基本流的PID。TS優先度511係顯示在PID512所示之值為共同之TS封包群之中的TS封包501之優先度。AD場控制513係顯示在TS封包501內之AD場501A與TS酬載501P之個別的有無。例如當AD場控制513顯示"1"時,TS封包501不包含AD場501A,而包含TS酬載501P。當AD場控制513顯示"2"時則為其相反。當AD場控制513顯示"3"時,TS封包501包含AD場501A與TS酬載501P兩者。
第5圖(c)係顯示由多工串流資料之TS封包列所構成之來源封包列之形式的示意圖。如參考第5圖(c),各來源封包502係192位元組長的封包,包含一個第5圖(b)所示之TS封包501與4位元組長之標題(TP_Extra_Header)502H。當將TS封包501記錄於BD-ROM光碟101時,藉由將標題502H賦予其TS封包501來構成來源封包502。標題502H包含ATS(Arrival_Time_Stamp:到達時間印戳)。「ATS」係時間資訊,可利用如下:當將來源封包502從BD-ROM光碟101送往再生裝置102內之系統目標解碼器時,從其來源封包502抽出TS封包502P並往系統目標解碼器內之PID過濾器傳送。其標題502H內之ATS會顯示其傳送應開始之時問。在此,「系統目標解碼器」係指將多工串流資料依每基本流解碼的裝置。關於系統目標解碼器及其本身之ATS的利用之詳細如後述。
第5圖(d)係顯示已連續記錄一連串的來源封包502之BD-ROM光碟101的容量區域202B上之扇區群的示意圖。如參考第5圖(d),一連串的來源封包502係每32個記錄在三個連續扇區521、522、523。此乃因為32個來源封包的資料量192位元組×32=6144位元組,等於三個扇區之合計大小2048位元組×3=6144位元組。如此一來,已記錄於三個連續扇區521、522、523之32個來源封包502稱為「聯合單元(Alig ned Unit)」520。再生裝置102係從BD-ROM光碟101將來源封包502以每聯合單元520─即每32個─來讀出。扇區群521、522、523、…係可從前頭依序分割成每32個,且每32個各分別構成有一個錯誤更正碼(ECC:error-correcting code)塊530。BD-ROM驅動機121係依每ECC塊530進行錯誤更正處理。
《視頻串流的資料結構》
第6圖係依顯示時間順序顯示基視視頻串流601與右視視頻串流602之圖片的示意圖。如參考第6圖,基視視頻串流601包含圖片610、611、612、…、619(以下稱為基視圖片),而右視視頻串流602包含圖片620、621、622、…、629(以下稱為右視圖片)。各圖片610-619、620-629呈現一訊框或一場,以MPEG-2或MPEG-4 AVC等動畫壓縮編碼方式來壓縮。
上述編碼方式之各圖片的壓縮係利用其圖片的空間方向及時間方向之冗長性。在此,將僅利用在空間方向之冗長性的圖片編碼稱為「圖片內編碼」。另一方面,將利用在時間方向的冗長性─即在顯示順序連續之複數圖片間的資料相似性─之圖片編碼,稱為「圖片間預測編碼」。在圖片間預測編碼中,首先對編碼對象之圖片設定顯示時間為前或後之別的圖片來作為參考圖片。接著,在編碼對象圖片與其參考圖片之間檢測出移動向量,並利用其進行移動補償。接下來,求出移動補償後之圖片與編碼對象圖片之間的差分值,並從其差分值除去在空間方向之冗長性。如此一來,可壓縮各圖片的資料量。
如參考第6圖,基視圖片610-619一般分割成複數個GOP631、632。「GOP」係指以I(Intra)圖片為前頭之數張連續圖片之列。「I圖片」係指藉由圖片內編碼所壓縮之圖片。GOP一般除I圖片以外,還包含P(Predictive)圖片與B(Bidirectionally Predivtive)圖片。「P圖片」係藉由圖片間預測編碼所壓縮之圖片,意指利用一張顯示時間較其為前之I圖或其它P圖片來作為參考圖片者。「B圖片」係藉由圖片間預測編碼所壓縮之圖片,意指利用兩張顯示時間較其為前或後之I圖片或P圖片來作為參考圖片者。B圖片當中,將在對於其它圖片之圖片間預測編碼中作為參考圖片而利用者尤稱為「Br(referenceB)圖片」。
在第6圖所示之範例中,依以下順序壓縮各GOP631、632內之基視圖片。第1GOP631中,首先將前頭的基視圖片壓縮成I0 圖片610。在此,下標的數字係顯示依顯示時間順序分配到各圖片之流水號。其次,第4項之基視圖片將I0 圖片610作為參考圖片而壓縮成P3 圖片613。在此,第6圖所示之各箭頭係表示前端圖片為對於後端圖片之參考圖片。接下來,第2、3項之基視圖片將I0 圖片610與P3 圖片613作為參考圖片而分別壓縮成Br1 圖片611、Br2 圖片612。再者,第7項之基視圖片係將P3 圖片613作為參考圖片而壓縮成P6 圖片616。接下來,第4、5項之基視圖片係將P3 圖片613與P6 圖片616作為參考圖片分別壓縮成Br4 圖片614、Br5 圖片615。同樣地,第2GOP632中,首 先將前頭的基視圖片壓縮成I7 圖片617。其次第3項之基視圖片將I7 圖片617作為參考圖片而壓縮成P9 圖片619。接下來,第2項號之基視圖片將I7 圖片617與P9 圖片619作為參考圖片而壓縮成Br8 圖片618。
由於在基視視頻串流601中各GOP631、632必包含其前頭之I圖片,因此基視圖片可依每GOP解碼。例如,第1GOP631中,首先將I0 圖片610單獨解碼。其次,利用解碼後的I0 圖片610來解碼P3 圖片613。接下來,利用解碼後的I0 圖片610與P3 圖片613來解碼Br1 圖片611與Br2 圖片612。後續之圖片群614、615、…可同樣地解碼。如此一來,基視視頻串流601可單獨解碼,亦可進一步以GOP單位來隨機存取。
如再參考第6圖,右視圖片620-629係以圖片間預測編碼來壓縮著。但,其編碼方法與基視圖片610-619的編碼方法不同,除在影像之時間方向的冗長性以外,亦利用左右影像間的冗長性。具體而言,各右視圖片620-629之參考圖片如第6圖之箭頭所示,不僅可從右視視頻串流602選擇,亦可從基視視頻串流601選擇。尤其各右視圖片620-629與作為其參考圖片所選擇之基視圖片的顯示時間實質上相等。該等圖片係呈現3D影像之同場景之右視與左視之對,即視差影像。如此一來,右視圖片620-629與基視圖片610-619以一對一相對應。尤其在該等圖片間,GOP結構為共通。
在第6圖所示之範例中,首先第1GOP631內之前頭右 視圖片將基視視頻串流601內之I0 圖片610作為參考圖片而壓縮成P0 圖片620。該等圖片610、620係呈現3D影像之前頭訊框的左視與右視。其次,第4項之右視圖片將P0 圖片620與基視視頻串流601內之P3 圖片613作為參考圖片而壓縮成P3 圖片623。接下來,第2項之右視圖片除了將P0 圖片620與P3 圖片623,還將基視視頻串流601內之Br1 圖片611作為參考圖片而壓縮成B1 圖片621。同樣地,第3項之右視圖片除了將P0 圖片620與P3 圖片630,還將基視視頻串流601內之Br2 圖片612作為參考圖片而壓縮成B2 圖片622。對於以後的右視圖片624-629亦同樣,係利用其右視圖片與顯示時間實質上相等之基視圖片來作為參考圖片。
作為已利用如上述之左右影像間的相關關係的動畫壓縮編碼方式,眾知有稱為MVC(Multiview Video Coding:多視視訊編碼)之MPEG-4 AVC/H.264之修正規格。MVC係由ISO/IEC MPEG與ITU-T VCEG之共同計畫-JVT(Joint Video Team:聯合視頻編碼組)於2008年7月所籌劃制定者,用以整合可從複數視點觀看之影像並加以編碼之規格。在MVC中,於影像間預測編碼不僅利用影像在時間方向之相似性,亦利用視點相異之影像間的相似性。在前述預測編碼中,影像的壓縮率較將從各視點所看到之影像個別壓縮的預測編碼為高。
同上述,於各右視圖片620-629之壓縮係利用基視圖片作為參考圖片。因此,與基視視頻串流601相異,無法 將右視視頻串流602單獨解碼。但,一般視差影像間僅有些微的差異,即左視與右視之間的相關很高。因此,一般右視圖片的壓縮率明顯地較基視圖片的壓縮率為高,換言之資料量明顯較小。
第7圖係依時間順序顯示基視視頻串流601與深度圖串流701之圖片的示意圖。如參考第7圖,基視視頻串流601與第6圖所示者相同。因此,關於其詳細之說明爰用關於第6圖之說明。另一方面,深度圖串流701包含深度圖710、711、712、…、719。深度圖710-719與基視圖片610-619一對一相對應,係呈現對於各基視圖片顯示之一訊框或一場2D影像的深度圖。
各深度圖710-719與基視圖片610-619相同係藉由MPEG-2或MPEG-4 AVC等動畫壓縮編碼方式而壓縮。尤其在前述編碼方式係利用圖片間預測編碼。換言之,各深度圖係利用其它深度圖作為參考圖片而壓縮。在第7圖所示之範例中,首先將對應於第1GOP631之深度圖群的前頭壓縮成I0 圖片710。在此,下標的數字係顯示依顯示時間順序分配到各圖片之流水號。其次,第4項之基視圖片將I0 圖片710作為參考圖片而壓縮成P3 圖片713。在此,第7圖所示之各箭頭係表示前端圖片為對於後端圖片之參考圖片。接下來,第2、3項之深度圖將I0 圖片710與P3 圖片713作為參考圖片而分別壓縮成B1 圖片711、B2 圖片712。再者,第7項之深度圖將P3 圖片713作為參考圖片而壓縮成P6 圖片716。接下來,第4、5項之深度圖將P3 圖片713與P6 圖片716作為參考圖片而分別壓縮成B4 圖片714、B5 圖片715。同樣地,在對應於第2GOP632之深度圖群,首先將前頭深度圖壓縮成I7 圖片717,其次第3項之深度圖將I7 圖片717作為參考圖片而壓縮成P9 圖片719。接下來,第2項之深度圖將I7 圖片717與P9 圖片719作為參考圖片而壓縮成B8 圖片718。
深度圖串流701係與基視視頻串流601同樣分割成GOP單位,且各GOP在其前頭必包含I圖片。因此,深度圖可依每GOP來解碼。例如,首先將I0 圖片710單獨解碼,其次利用解碼後之10 圖片710來解碼P3 圖片713。接下來,利用解碼後之I0 圖片710與P3 圖片713來解碼B1 圖片711與B2 圖片712。後續之圖片群714、715、…亦同樣地來解碼。如此一來,深度圖串流701可單獨解碼。但,由於深度圖本身僅是將2D影像之各部深度以像素別呈現之資訊,因此無法將深度圖串流701單獨地利用於影像的再生。
右視視頻串流602與深度圖串流701係以相同編碼方式來壓縮。例如,當右視視頻串流602以MVC之格式來編碼時,深度圖串流701亦以MVC之格式來編碼。屆時,再生裝置102可於3D影像再生時,將編碼方式維持一定的原狀來順利地實現L/R模式與深度模式之切換。
第8圖係顯示視頻串流800之詳細資料結構的示意圖。此資料結構實質上與基視視頻串流601及附屬視視頻串流602、701共通。如參考第8圖,視頻串流800一般係由複數個視頻順序(sequence)# 1、# 2、…所構成。「視頻 順序」係已將標題等附加資訊個別地組合於構成一個GOP810之圖片群811、812、813、814、…者。此附加資訊與各圖片之組合稱為「視頻存取單元(VAU)」。即,在各GOP810、820每圖片各構成有一個VAU # 1、# 2、…。各圖片係可以VAU單位從視頻串流800來讀出。
再者,第8圖係顯示在基視視頻串流內,位於各視頻順序之前端的VAU # 1831之結構。VAU # 1831包含存取單元(AU)識別碼831A、順序標題831B、圖片標題831C、補充資料831D、及壓縮圖片資料831E。第二項以後之VAU # 2除去不包含順序標題831B之點外,與VAU # 1831為同樣結構。AU識別碼831A係顯示VAU # 1831之前端的預定符號。順序標題831B亦稱為GOP標題,包含含有VAU # 1831之視頻順序# 1的識別號碼。順序標題831B更包含在GOP810全體共通的資訊,例如:解析度、訊框速率、縱橫比(aspect ratio)、及位元速率。圖片標題831C係顯示固有的識別號碼、視頻順序# 1之識別號碼、及圖片解碼所需之資訊,例如編碼方式的種類。補充資料831D包含關於圖片解碼以外之附加資訊,例如:顯示閉合標題(closed caption)之文字資訊、關於GOP結構之資訊、及時間碼資訊。補充資料831D尤其包含後述的解碼開關資訊。壓縮圖片資料831E包含基視圖片。VAU # 1831其它視必要亦可包含填充資料(padding data)831F、順序終端碼831G、及串流終端碼831H之任一者或全部。填充資料831F係虛擬資料。藉由將其大小配合壓縮圖片資料831E之大小來調 節,可維持VAU # 1831之位元速率於預定值。順序終端碼831G顯示VAU # 1831位於視頻順序# 1之後端。串流終端碼831H則顯示基視視頻串流800之後端。
又,第8圖亦顯示在附屬視視頻串流內位於各視頻順序之前端之VAU # 1832的結構。VAU # 1832包含子順序標題832B、圖片標題832C、補充資料832D、及壓縮圖片資料832E。第二項以後之VAU # 2除去不包含子順序標題832B之點外,與VAU # 1832為同樣結構。子順序標題832B包含含有VAU # 1832之視頻順序# 1的識別號碼。子順序標題832B更包含在GOP810全體共通的資訊,例如:解析度、訊框速率、縱橫比、及位元速率。尤其該等值等於對於與基視視頻串流對應之GOP所設定之值,即VAU # 1831之順序標題831B顯示之值。圖片標題832C顯示固有的識別號碼、視頻順序# 1之識別號碼、及圖片解碼所需之資訊、例如編碼方式的種類。補充資料832D包含關於圖片解碼以外之附加資訊,例如:顯示閉合標題之文字資訊、關於GOP結構之資訊、及時間碼資訊。補充資料832D尤其包含後述的解碼開關資訊。壓縮圖片資料832E包含基視圖片。VAU # 1932其它視必要亦可包含填充資料832F、順序終端碼832G、及串流終端碼832H之任一者或全部。填充資料832F係虛擬資料。藉由將其大小配合壓縮圖片資料832E之大小來調節,可維持VAU # 1832之位元速率於預定值。順序終端碼832G顯示VAU # 1832位於視頻順序# 1之後端。串流終端碼832H則顯示附屬視頻串流800之後端。
VAU之各部具體內容依視頻串流800之每編碼方式而不同。例如,其編碼方式為MPEG-4 AVC時,第8圖所示之VAU的各部係由一個NAL(Network Abstraction Layer:網路抽象層)單元所構成。具體而言,AU識別碼831A、順序標題831B、圖片標題831C、補充資料831D、壓縮圖片資料831E、填充資料831F、順序終端碼831G、及串流終端碼831H分別相當於AU限定器(Access Unit Delimiter)、SPS(Sequence Parameter Set:順序參數組)、PPS(Picture Parameter Set:圖片參數組)、SEI(Supplemental Enhancement Information:補充增強資訊)、視組件(view component)、填充符資料(Filler Data)、序列結束(End of Sequence)、及串流結束(End of Stream)。
第9圖係顯示視頻串流901朝PES封包列902之詳細儲存方法的示意圖。此儲存方法在基視視頻串流與附屬視視頻串流為共通。如參考第9圖,在實際的視頻串流901中,圖片並非依顯示時間順序而係依編碼順序而多工。例如如第9圖所示,於基視視頻串流之VAU從前頭依序儲存有I0 圖片910、P3 圖片911、B1 圖片912、B2 圖片913、…。在此,下標的數字係顯示依顯示時間順序分配到各圖片之流水號。P3 圖片911之編碼利用I0 圖片910作為參考圖片,B1 圖片912與B2 圖片913之各編碼則利用I0 圖片910與P3圖片911作為參考圖片。該等VAU會一個一個儲存於不同的PES封包920、921、922、923、…。各PES封包920、…包含PES酬載920P與PES標題920H。VAU係儲存於PE S酬載920P。另一方面,PES標題920H包含已儲存於相同PES封包920之PES酬載920P之圖片的顯示時間(即PTS=Presentation Time-Stamp:顯示時戳),及其圖片的解碼時間(即DTS=Decoding Time-Stamp:解碼時戳)。
與第9圖所示之視頻串流901相同,第3圖、第4圖所示之其它基本流亦儲存於一連串的PES封包之各PES酬載。再者,各PES封包之PES標題包含已儲存於前述PES封包之PES酬載的資料之PTS。
第10圖係顯示已分配至基視視頻串流1001與附屬視視頻串流1002之各圖片的.PTS與DTS之間關係的示意圖。如參考第10圖,在兩視頻串流1001、1002之間,對於呈現3D影像之同訊框或同場之一對圖片係分配有同PTS及同DTS。例如,3D影像之前頭的訊框或場係從基視視頻串流1001之I1 圖片1011與附屬視視頻串流1002之P1 圖片1021之組合而再現。因此,在該等圖片對1011、1021中PTS相等且DTS亦相等。在此,下標的數字係顯示依DTS之順序分配到各圖片之流水號。又,附屬視視頻串流1002為深度圖串流時,P1 圖片1021會置換成呈現深度圖對I1 圖片1011的I圖片。同樣地,在各視頻串流1001、1002之第2項圖片-即在P2 圖片1012、1022之對-PTS相等且DTS亦相等。在各視頻串流1001、1002的第3項圖片-即在Br3圖片1013與B3 圖片1023之對-PTS與DTS皆共通。且在Br4 圖片1014與B4 圖片1024之對亦相同。
在基視視頻串流1001與附屬視視頻串流1002之間, 包含PTS相等且DTS亦相等之圖片的VAU之對稱為「3D‧VAU」。藉由第10圖所示之PTS與DTS的分配,可易使3D再生模式之再生裝置102內的解碼器以3D‧VAU單位來平行地處理基視視頻串流1001與附屬視視頻串流1002。藉此,呈現3D影像之同訊框或同場的一對圖片可由解碼器確實地平行處理。再者,在各GOP之前頭3D‧VAU中,順序標題包含同解析度、同訊框速率、及同縱橫比。尤其前述訊框速率等於在2D再生模式中將基視視頻串流1001單獨解碼時之值。
第11圖係顯示在第8圖所示之補充資料831D之資料結構的示意圖。補充資料831D尤其在MPEG-4 AVC係相當於NAL單元之一種"SEI"。如參考第11圖,補充資料831D包含解碼開關資訊1101。解碼開關資訊1101在基視視頻串流與附屬視視頻串流之雙方於在各VAU所包含。解碼開關資訊1101係用以使再生裝置102內之解碼器易於特定下一個應解碼之VAU的資訊。在此,其解碼器如後述係以VAU單位交互地解碼基視視頻串流與附屬視視頻串流。屆時,其解碼器一般係配合已賦予各VAU之DTS顯示之時間,來特定下依個應解碼之VAU。但,解碼器的種類亦有許多係忽視DTS而將VAU依序持續解碼者。對於這樣的解碼器,各VAU外加DTS還包含解碼開關資訊1101為宜。
如參考第11圖,解碼開關資訊1101包含次存取單元型1111、次存取單元大小1112、及解碼計數器1113。次存取單元型1111係顯示下一個應解碼之VAU係屬於基視視頻串流與附屬視視頻串流之何者。例如,當次存取單元型1111之值為"1"時,下一個應解碼之VAU屬於基視視頻串流,當為"2"時乃屬於附屬視視頻串流。當次存取單元型1111之值為"0"時,現在的VAU係位於解碼對象串流之後端,而不存在下一個應解碼之VAU。次存取單元大小1112係顯示下一個應解碼之VAU的大小。再生裝置102內之解碼器藉由參考次存取單元大小1112,可不需解析VAU之結構本身來特定其大小。因此,解碼器可容易地從緩衝器抽出VAU。解碼計數器1113係顯示應將其所屬之VAU解碼之順序。其順序係從包含基視視頻串流內之1圖片之VAU開始數起。
第12圖(a)係顯示已分配至基視視頻串流1201與附屬視視頻串流1202之各圖片的解碼計數器之一例1210、1220的示意圖。如參考第12圖(a),解碼計數器1210、1220可在兩視頻串流1201、1202之間交互地增量。例如,對於包含基視視頻串流1201內之I圖片的VAU1211,作為解碼計數器1210可分配到"1"。對於包含下一個應解碼之附屬視視頻串流1202內之P圖片的VAU1221,作為解碼計數器1220可分配到"2"。對於包含再下一個應解碼之基視視頻串流1201內之P圖片的VAU1212,作為解碼計數器1210可分配到"3"。藉由前述分配,即便因某種錯誤而致使再生裝置102內之解碼器誤讀任一個VAU時,解碼器亦可立即從解碼計數器1210、1220特定因其所缺少之圖片。因此,解碼器可適當且迅速地執行錯誤處理。
第12圖(a)所示之範例中,基視視頻串流1201之第3項VAU1213之讀入發生錯誤,而缺少了Br圖片。但,解碼器依附屬視視頻串流1202之第2項VAU1222所含之P圖片的解碼處理,而保持了從其VAU1222讀出解碼計數器1220。因此,解碼器可預測下一個應處理之VAU的解碼計數器1210。具體而言,由於包含前述P圖片之VAU1222內的解碼計數器1220為"4",因此可預測下一個應讀入之VAU的解碼計數器1210為"5"。但,實際上,下一個已讀入之VAU係基視視頻串流1201的第4項VAU1214,因此其解碼計數器1210為"7"。藉此,解碼器可檢測出已誤讀一個VAU。因此,解碼器可執行下列之錯誤處理:「關於已從附屬視視頻串流1202之第3項VAU1223抽出之B圖片,由於缺少了應參考之Br圖片,因此略過解碼處理」。如此一來,解碼器係在每次解碼處理時檢查解碼計數器1210、1220。藉此,解碼器可迅速地檢測出VAU的讀入錯誤,且可迅速地執行適當的錯誤處理。其結果可達到防止雜音混入再生影像。
第12圖(b)係顯示已分配至基視視頻串流1201與附屬視視頻串流1202之各圖片的解碼計數器之另一例1230、1240的示意圖。如參考第12圖(b),解碼計數器1230、1240係在各視頻串流1201、1202分別來增量。因此,解碼計數器1230、1240在同一3D‧VAU所屬之一對圖片間乃相等。屆時,解碼器在已將一個基視視頻串流1201之VAU解碼之時間點,可預測如下:「其解碼計數器1230等於下一個應解碼之附屬視視頻串流1202之VAU的解碼計數器1240」。另一方面,解碼器在已將一個附屬視視頻串流1202之VAU解碼之時間點,可預測如下:「將其解碼計數器1240加上1之值等於下一個應解碼之基視視頻串流1201之VAU的解碼計數器1230」。因此,解碼器在任何時間點皆可從解碼計數器1230、1240迅速地檢測出VAU的讀入錯誤,且可迅速地執行適當的錯誤處理。其結果可達到防止雜音混入再生影像。
《多工串流資料的交插配置》
對3D影像之無縫再生而言,基視視頻串流與附屬視視頻串流在BD-ROM光碟101上的物理性配置極為重要。在此,「無縫再生」意指從多工串流資料使影像與聲音無間斷且滑順地再生。
第13圖係顯示第3圖所示之主TS、與第1子TS或第2子TS之任一者在BD-ROM光碟101上之物理性配置的示意圖。如參考第13圖,將各TS分割成複數個資料塊D[n]、B[n](n=0、1、2、3、…),並配置於BD-ROM光碟101上。在此,「資料塊」意指已記錄於BD-ROM光碟101上之連續區域-即物理上連續的複數扇區-之一連串的資料。BD-ROM光碟101中,物理位址實質上等於邏輯位址,因此LBN在各資料塊內亦呈連續。因此,BD-ROM驅動機121可不需使光學讀頭進行搜尋而連續讀出一個資料塊。以下,屬於主TS之資料塊B[n]稱為「基視資料塊」,屬於子TS之資料塊D[n]稱為「附屬視資料塊」。尤其,屬於第1子TS之資料塊稱為「右視資料塊」,而屬於第2子TS之資料塊稱為「深度圖資料塊」。
各資料塊B[n]、D[n]在BD-ROM光碟101之檔案系統中可作為檔案2D或檔案DEP內之一個延伸區來存取。換言之,各資料塊之邏輯位址可從檔案2D或檔案DEP的檔案入口獲知(詳細參考<補充>)。
在第13圖所示之範例中檔案2D(01000.m2ts)241之檔案入口1310會顯示基視資料塊B[n]之各大小與其前端之LBN。因此,各基視資料塊B[n]可作為檔案2D241之延伸區EXT2D[n]來存取。以下,屬於檔案2D241之延伸區EXT2D[n]稱為「2D延伸區」。另一方面,第1檔案DEP(02000.m2ts)242之檔案入口1320會顯示附屬視資料塊D[n]之各大小及其前端的LBN。因此,各附屬視資料塊D[n]為右視資料塊,可作為第1檔案DEP242之延伸區EXT2[n]來存取。以下,屬於第1檔案DEP242之延伸區EXT2[n]稱為「右視延伸區」。在附屬視資料塊D[n]為深度圖資料塊之情況亦同樣,各深度圖資料塊可作為第2檔案DEP(03000.m2ts)243的延伸區來存取。以下,屬於第2檔案DEP243之延伸區稱為「深度圖延伸區」。再者,如右視延伸區與深度圖延伸區,屬於任一檔案DEP之延伸區總稱為「附屬視延伸區」。
如參考第13圖,資料塊群係沿著BD-ROM光碟101上之磁軌來連續地記錄。再者,基視資料塊B[n]與附屬視資料塊D[n]係一個個交互地配置。此種資料塊群之配置稱為「交插配置」。尤其,以交插配置所記錄之一連串的資料塊群稱為「延伸區塊」。第13圖顯示有三個延伸區塊1301、1302、1303。如第13圖所示之延伸區塊1301、1302,延伸區塊之間係由多工串流資料以外之資料NAV的記錄區域而分離。又,當BD-ROM光碟101為多層光碟-即包含複數個記錄層-時,如第13圖所示之延伸區塊1302、1303,延伸區塊之間亦係由記錄層間的邊界LB而分離。如此一來,一連串的多工串流資料一般係分割成複數延伸區塊而配置。屆時,再生裝置102若欲從其多工串流資料無縫地再生影像,就必須將從各延伸區塊所再生之影像無縫地連接。以下,再生裝置102為此而所需之處理稱為「延伸區塊間之無縫連結」。
在本發明實施形態1之延伸區塊1301-1303中,二種資料塊D[n]、B[n]之數量分別相等。再者,在第n項之相鄰接的資料塊對D[n]、B[n]中,延伸區ATC時間相等。在此,「ATC(Arrival Time Clock:到達時間鐘)」意指應作為ATS之基準的時鐘。又,「延伸區ATC時間」係以ATC之值而定義,乃呈現已賦予於一個延伸區內之來源封包的ATS範圍-即從其延伸區之前頭來源封包之ATS到下一個延伸區之前頭來源封包之ATS-的時間間隔。換言之,延伸區ATC時間等於,在再生裝置102內將其延伸區內之來源封包全部從讀取緩衝器傳送到系統目標解碼器所需之時間。在此,「讀取緩衝器」係再生裝置102內之緩衝記憶體,乃在將已從BD-ROM光碟101讀出之資料塊送到系統目標解碼器之期間,暫時地儲存前述資料塊。關於讀取緩衝器之詳細如後述。第13圖所示之範例中,由於三個延伸區塊1301-1303相互無縫地連結,因此在資料塊之各對D[n]、B[n](n=0、1、2、…)中,延伸區ATC時間相等。
在相鄰接之資料塊的各對D[n]、B[n]中,位於前頭之VAU屬於同3D‧VAU,尤其包含呈現同3D影像之GOP的前頭圖片。例如第13圖中,各右視資料塊D[n]的前端包含右視視頻串流的P圖片,且前頭基視資料塊B[n]的前端包含基視視頻串流的I圖片。其右視視頻串流的P圖片係呈現將其基視視頻串流之I圖片所呈現之2D影像作為左視時的右視。尤其如第6圖所示,其P圖片係將其I圖片作為參考圖片而壓縮。因此,3D再生模式之再生裝置102從任一資料塊對D[n]、B[n]皆可開始3D影像的再生。換言之,可進行跳越再生等,需要視頻串流之隨機存取的處理。
再者,本發明實施形態1之交插配置中,相鄰接之資料塊對D[n]、B[n]當中,附屬視資料塊D[n]較基視資料塊B[n]配置在先。那是因為附屬視資料塊D[n]較基視資料塊B[n]資料量小,即位元速率較低所致。例如第13圖中,包含於第n項之右視資料塊D[n]的圖片,如第6圖所示係將包含於第n項之基視資料塊B[n]的圖片作為參考圖片而壓縮。因此,其右視資料塊D[n]之大小SEXT2 [n]係在其基視資料塊B[n]之大小SEXT1 [n]以下:SEXT2 [n]≦ SEXT1 [n]。另一方面,深度圖之每像素資料量-即深度值之位元數,一般小於基視圖片之每像素資料量-即色座標值與α值(不透明度)之位元數和。再者,如第3圖(a)、(c)所示,主TS不同於第2子TS,除主要視頻串流以外還包含主要聲頻串流等的基本流。因此,深度圖資料塊之大小SEXT3 [n]係在基視資料塊B[n]之大小SEXT1 [n]以下:SEXT3 [n]≦SEXT1 [n]。
《將多工串流資料分割成資料塊之意義》
再生裝置102欲從BD-ROM光碟101無縫再生3D影像必須將主TS與子TS平行處理。但,其處理可利用之讀取緩衝器的容量一般而言受有限制。尤其,可連續從BD-ROM光碟101讀入到讀取緩衝器之資料量有其界限。因此,再生裝置102必須將主TS與子TS分割成延伸區ATC時間相等的部分對來讀出。
第14圖(a)係顯示已個別地連續計錄在某BD-ROM光碟上之主TS1401與子TS1402之配置的示意圖。再生裝置102將該等主TS1401與子TS1402平行處理時,如第14圖(a)以實線箭頭(1)-(4)所示,BD-ROM驅動機121係以延伸區ATC時間相等之部分一一交互地讀出主TS1401與子TS1402。屆時,BD-ROM驅動機121如第14圖(a)以虛線箭頭所示,在讀出處理的途中必須使BD-ROM光碟上之讀出對象區域大幅改變。例如當讀出箭頭(1)顯示之主TS1401的前端部分時,BD-ROM驅動機121會暫時停止光學讀頭之讀出動作,來提高BD-ROM光碟的旋轉速度。藉此,使已記錄箭頭(2)顯示之子TS1402的前端部分之BD-ROM光碟上的扇區迅速地移動至光學讀頭的位置。如此一來,使光學讀頭暫時停止讀出動作,並將用以於其間將光學讀頭往下一個讀出對象區域定位之操作稱為「跳越」。第14圖(a)所示之虛線箭頭係顯示在讀出處理的途中所需要的各跳越範圍。各跳越期間中,光學讀頭之讀出處理會停止,而僅進行解碼器之解碼處理。第14圖(a)所示之範例中,由於跳越過大,因此難以使讀出處理配合解碼處理。其結果造成難以確實地持續無縫再生。
第14圖(b)係顯示已交互記錄在本發明實施形態1之BD-ROM光碟101上的附屬視資料塊D[0]、D[1]、D[2]、…與基視資料塊B[0]、B[1]、B[2]、…之配置的示意圖。如參考第14圖(b),主TS與子TS係分別分割成複數資料塊而交互配置。屆時,再生裝置102於再生3D影像時,如第14圖(b)以箭頭(1)-(4)所示,係從前頭依序讀出資料塊D[0]、B[0]、D[1]、B[1]、…。僅此即可使再生裝置102順利地實現將主TS與子TS交互地讀出。尤其在其讀出處理中不會發生跳越,因此可確實地持續3D影像之無縫再生。
[在相鄰接之資料塊間使延伸區ATC時間一致的意義]
在第15圖(a)係顯示已以交插配置記錄的附屬視資料塊群D[n]與基視資料塊群B[n]之各延伸區ATC時間之一例的示意圖(n=0、1、2)。如參考第15圖(a),在各附屬視資料塊D[n]與其正後方之基視資料塊B[n]之對中,延伸區ATC時間相等。例如在前頭資料塊之對D[0]、B[0]中,延伸區ATC時間皆等於1秒。因此,當已將各資料塊D[0]、B[0]讀入再生裝置102內之讀取緩衝器時,其當中所有的TS封包皆可在同1秒鐘從讀取緩衝器送往系統目標解碼器。同樣地,在第二項資料塊之對D[1]、B[1]中,延伸區ATC時間皆等於0.7秒,因此各資料塊內之所有的TS封包可在同0.7秒鐘從讀取緩衝器送往系統目標解碼器。
在第15圖(b)係顯示已以交插配置記錄的附屬視資料塊群D[n]與基視資料塊群B[n]之各延伸區ATC時間之另一例的示意圖。如參考第15圖(b),在所有的資料塊D[n]、B[n]中,延伸區ATC時間等於1秒。因此,當已將各資料塊D[n]、B[n]讀入再生裝置102內之讀取緩衝器時,任一資料塊皆可在同1秒鐘將所有的TS封包從讀取緩衝器送往系統目標解碼器。
同上述,附屬視資料塊較基視資料塊壓縮率為高。因此,附屬視資料塊之解碼處理速度一般較基視資料塊之解碼處理速度低。另一方面,當延伸區ATC時間相等時,附屬視資料塊較基視資料塊資料量為小。因此,如第15圖(a)、(b),在相鄰接之資料塊間,當延伸區ATC時間相等時,將解碼對象之資料供給至系統目標解碼器之速度,容易與其解碼器之處理速度保持均衡。換言之,系統目標解碼器─尤其在跳越再生中─亦可容易地使基視資料塊之解碼處理與附屬視資料塊之解碼處理同步。
[將資料量小的資料塊配置在先之意義]
3D再生模式之再生裝置102在讀出位於各延伸區塊1301-1303之前頭的資料塊時,或在讀出再生開始位置之資料塊時,首先係將其資料塊全部讀入讀取緩衝器。其間,其資料塊不會交予系統目標解碼器。在其讀入完成之後,再生裝置102才將其資料塊與下一個資料塊平行地交予系統目標解碼器。此種處理稱為「預載(preload)」。
預載的技術上意義如下。首先在L/R模式中,附屬視資料塊之解碼需要基視資料塊。因此,為了將用以使解碼後之資料保持到輸出處理為止的緩衝器,維持在必要最小限度之容量,宜將該等資料塊同時供給至系統目標解碼器來使其解碼。另一方面,在深度模式中,需要從解碼後之基視圖片與深度圖片之對生成呈現視差影像之視頻平面之對的處理。因此,為了將用以使解碼後之資料保持到其處理為止的緩衝器,維持在必要最小限度之容量,宜將基視資料塊與深度圖資料塊同時供給至系統目標解碼器來使其解碼。故,藉由預載預先將延伸區塊的前頭或再生開始位置之資料塊全體讀入讀取緩衝器。藉此,可使其資料塊與後續之資料塊同時從讀取緩衝器傳送到系統目標解碼器來解碼。再者,亦可使以後的資料塊之對同時於系統目標解碼器來解碼。
預載中,最初讀出的資料塊全體會積蓄於讀取緩衝器。因此,讀取緩衝器至少需要等於其資料塊之大小的容量。在此,為了將讀取緩衝器之容量維持在最小限度,應盡可能縮小作為預載對象之資料塊的大小。另一方面,在跳越再生等之隨機存取中,任一資料塊之對皆可能選擇為再生開始位置。故,在任一資料塊之對中,皆將資料量小的一方配置在先。藉此,可將讀取緩衝器之容量維持在最小限度。
《對於資料塊之AV串流檔案的交叉連接》
對於第13圖所示之資料塊群,AV串流檔案之交叉連接可實現如下。第1檔案SS(01000.ssif)244A之檔案入口1340係將各延伸區塊1301-1303視為一個延伸區來顯示各大小及其前端之LBN。因此,各延伸區塊1301-1303可作為第1檔案SS244A之延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]來存取。以下,屬於第1檔案SS244A之延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]稱為「延伸區SS」。各延伸區SSEXTSS[0]、EXTSS[1]、EXTSS[2]係與檔案2D241分享基視資料塊B[n],並與第1檔案DEP242分享右視資料塊D[n]。
《對於延伸區塊群之再生路徑》
第16圖係顯示在2D再生模式對延伸區塊群1301-1303之再生路徑1601的示意圖。2D再生模式之再生裝置102會再生檔案2D241。因此,同在2D再生模式中之再生路徑1601顯示,可從各延伸區塊1301-1303依序讀出基視資料塊B[n](n=0、1、2、…)作為2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]。具體而言,首先從前頭的延伸區塊1301讀出前頭的基視資料塊B[0],並以最初的跳越J2D 1來略過緊接著其後之右視資料塊D[0]的讀出。其次,讀出第二項基視資料塊B[1],並以第二次的跳越JNAV 來略過緊接著其後之資料NAV與右視資料塊D[1]的讀出。接下來,在第二項以後之延伸區塊1302、1303內亦同樣地反覆基視資料塊的讀出與跳越。
在第二項延伸區塊1302與第三項延伸區塊1303之間所生之跳越JLY 係越過層邊界LB之遠跳(long jump)。「遠跳」係在跳越當中屬搜尋時間長者之總稱,具體上意指跳越距離超過預定臨界值(threshold)者。「跳越距離」意指於跳越期間中略過讀出操作之BD-ROM光碟101上之區域的長度。跳越距離一般係以其部分之扇區數來呈現。而利用於遠跳定義的臨界值係在BD-ROM之規格中規定成例如40000扇區。但,其臨界值依賴BD-ROM光碟之種類,與BD-ROM驅動機之讀出處理相關性能。遠跳尤其包含焦點跳越(focus jump)與軌跡跳越(track jump)。「焦點跳越」係伴隨著記錄層之切換的跳越,包含使光學讀頭之焦點距離變化的處理。「軌跡跳越」包含使光學讀頭往BD-ROM光碟101之半径方向移動的處理。
第16圖亦顯示在L/R模式對延伸區塊群1301-1303之再生路徑1602。L/R模式之再生裝置102會再生第1檔案SS244A。因此,同在L/R模式中之再生路徑1602顯示,可依序讀出各延伸區塊1301-1303作為延伸區SSEXTSS[0]、EXTSS[1]、EXTSS[2]。具體而言,首先從前頭的延伸區塊1301連續讀出資料塊D[0]、B[0]、D[1]、B[1],並以最初的跳越JNAV 略過緊接著其後之資料NAV的讀出。其次從第二項延伸區塊1302連續讀出資料塊D[2]、…、B[3]。緊接著其後,會產生伴隨著記錄層之切換的遠跳JLY ,接下來從第三項延伸區塊1303連續讀出資料塊D[4]、B[4]、…。
將延伸區塊1301-1303作為第1檔案SS244A之延伸區來讀入時,再生裝置102係從第1檔案SS244A之檔案入口1340來讀出各延伸區SSEXTSS[0]、EXTSS[1]、…之前端之LBN與其大小並交予BD-ROM驅動機121。BD-ROM驅動機121係從其LBN連續讀出其大小之資料。在下列(A)、(B)二點中,該等處理的BD-ROM驅動機121之控制較將資料塊群作為第1檔案DEP242與檔案2D241之各延伸區來讀入之處理的BD-ROM驅動機121之控制為簡単:(A)再生裝置102利用一處的檔案入口依序參考各延伸區即可;(B)讀入對象之延伸區的總數實質上係減半,因此應交予BD-ROM驅動機121之LBN與大小之對的總數很少。但,再生裝置102讀入延伸區SSEXTSS[0]、EXTSS[1]、…後,必須分別分離成右視資料塊與基視資料塊並交予解碼器。前述分離處理可利用剪輯資訊檔案。關於其詳細如後述。
如第13圖所示,在各延伸區塊1301-1303之實際讀出中,BD-ROM驅動機121係於從各資料塊的後端到下一個資料塊的前端為止之期間進行零扇區遷移J0 。「零扇區遷移」意指在兩個連續資料塊之間的光學讀頭之移動。在進行零扇區遷移之期間(以下稱零扇區遷移期間),光學讀頭會暫時停止讀出動作並待機。在其涵義下,零扇區遷移亦可視為「跳越距離等於0扇區之跳越」。零扇區遷移期間之長度-即零扇區遷移時間,除來自BD-ROM光碟101之旋轉的光學讀頭之位置移動時間以外,亦可包含伴隨著錯誤更正處理之附加時間(overhead)。「伴隨著錯誤更正處理之附加時間」意指當二個資料塊之邊界與ECC塊的邊界不一致時,因進行二次已採用其ECC塊之錯誤更正處理而起之多餘的時間。錯誤更正處理需要一個ECC塊全體。因此,當一個ECC塊由二個連續資料塊所共享時,在任一資料塊的讀出處理中,會讀出其ECC塊全體來利用於錯誤更正處理。其結果,每當讀出該等資料塊之一者時,除其資料塊以外,還會讀出最大32扇區的多餘資料。伴隨著錯誤更正處理之附加時間係以合計其多餘資料之讀出時間─即以32[扇區]×2048[位元組]×8[位元/位元組]×2[次]/讀出速度─來評估。此外,亦可藉由以ECC塊單位構成各資料塊來使伴隨著錯誤更正處理之附加時間從零扇區遷移時間除去。
《資料塊與延伸區塊之大小》
如第13圖所示,為了從已相互分離之複數延伸區塊1301-1303將2D影像與3D影像皆無縫再生,各資料塊與各延伸區塊1301-1303之大小滿足以下基於再生裝置102性能之條件即可。
[基於2D再生模式性能之條件]
第17圖係顯示2D再生模式之再生裝置102內的再生處理系統的方塊圖。如參考第17圖,其再生處理系統包含:BD-ROM驅動機121、讀取緩衝器1721、及系統目標解碼器1723。BD-ROM驅動機121係從BD-ROM光碟101讀出2D延伸區,以讀出速度RUD54 傳送到讀取緩衝器1721。讀取緩衝器1721係內建於再生裝置102之緩衝記憶體,乃從BD-ROM驅動機121接收並積蓄2D延伸區。系統目標解碼器1723係從已積蓄於讀取緩衝器1721內之各2D延伸區以平均傳送速度REXT2D 讀出來源封包,並解碼成影像資料VD與聲音資料AD。
平均傳送速度REXT2D 等於系統目標解碼器1723從各來源封包抽出TS封包之處理的平均速度之192/188倍,且一般依每2D延伸區而不同。平均傳送速度REXT2D 之最大值RMAX2D 等於對於檔案2D之系統速率RYS 的192/188倍。在此,「系統速率」意指來自系統目標解碼器1723之上述處理最高速度。又,係數192/188等於來源封包與TS封包之間的位元組數之比。平均傳送速度REXT2D 通常以位元/秒呈現,具體上等於將以位元單位所呈現之2D延伸區的大小除以延伸區ATC時間後之值。「以位元單位所呈現之延伸區的大小」等於其延伸區內之來源封包數與每一個來源封包的位元數(=192[位元組]×8[位元/位元組])之乘積。
在平均傳送速度REXT2D 之評估中作為正確計算延伸區ATC時間之目的,亦可使各2D延伸區之大小與來源封包長度之某一定的倍數一致。再者,任一2D延伸區包含較其倍數更多的來源封包時,其2D延伸區之延伸區ATC時間亦可計算如下:首先,從來源封包的總數減去其倍數,並將其差乘上每一個來源封包的傳送時間(=188×8/系統速率)。其次,將其乘積加上相當於上述倍數之延伸區ATC時間。將其和決定作為上述2D延伸區之延伸區ATC時間。此外,延伸區ATC時間亦可計算如下:首先,對一個2D延伸區,求出從其前頭來源封包的ATS到最後一個來源封包的ATS之時間間隔。其次,將其時間間隔加上每一個來源封包的傳送時間。將其和決定作為其2D延伸區之延伸區ATC時間。此種情況下,由於延伸區ATC時間之計算不需要參考下一個延伸區,因此可簡化其計算。而,在上述延伸區ATC時間的計算中,必須考慮ATS會發生環繞(wrap around)的情况。
讀出速度RUD54 通常以位元/秒表示,設定在比平均傳送速度RExT2D 之最高值RMAX2D 更高之值,例如54Mbps:RUD54 >RMAX2D 。藉此,BD-ROM驅動機121正在從BD-ROM光碟101讀出一個2D延伸區之期間,可防止伴隨著系統目標解碼器1723之解碼處理的讀取緩衝器1721之欠位。
第18圖(a)係顯示在2D再生模式的動作中,積蓄於讀取緩衝器1721之資料量DA之變化的圖表。第18圖(b)係顯示再生對象的延伸區塊1810與在2D再生模式之再生路徑1820之間對應關係的示意圖。如參考第18圖(b),延伸區塊1810包含交插配置之基視資料塊群B[n]與附屬視資料塊群D[n](n=…、0、1、2、…)。依照再生路徑1820,將各基視資料塊B[n]作為一個2D延伸區EXT2D[n]從BD-ROM光碟101向讀取緩衝器1721讀出。如參考第18圖(a),在各基視資料塊B[n],即在各2D延伸區EXT2D[n]之讀出期間PR2D [n],積蓄資料量DA係以等於讀出速度RUD54 與平均傳送速度REXT2D [n]之間的差RUD54 -REXT2D [n]之速度增加。
來自BD-ROM驅動機121之讀出/傳送動作實際上不是從第18圖(a)之圖表所示意之連續者,而係斷續者。藉此,可於各2D延伸區之讀出期間PR2D [n]防止積蓄之資料量DA超過讀取緩衝器1721的容量,即可防止讀取緩衝器1721之溢流(overflow)。換言之,第18圖(a)之圖表實際上係將階梯狀之增減作成近似線性增減而呈現者。
另一方面,在兩個連續2D延伸區EXT2D[n-1]、EXT2D[n]之間會產生跳越J2D [n]。在其跳越期間PJ2D [n],由於會略過附屬視資料塊D[n]之讀出,因此從BD-ROM光碟101之資料的讀出會停止。因此,在跳越期間PJ2D [n],積蓄資料量DA會以平均傳送速度REXT2D [n]減少。
為了從第18圖(b)所示之延伸區塊1810無縫再生2D影像,滿足以下條件[1]、[2]即可。
[1]在各跳越期間PJ2D [n],必須持續從讀取緩衝器1721供給資料至系統目標解碼器1723,並確保其解碼器1723之連續輸出。為此僅需滿足下列條件即可:各2D延伸區EXT2D[n]之大小SEXT2D [n]等於從其讀出期間PR2D [n]跨越到下一個跳越期間PJ2D [n+1],從讀取緩衝器1721傳送至系統目標解碼器1723之資料量。屆時,如第18圖(a)所示,積蓄資料量DA在其跳越期間PJ2D [n+1]結束時,不會低於其讀出期間PR2D [n]之開始時的量。換言之,在各跳越期間PJ2D [n],從讀取緩衝器1721到系統目標解碼器1723之資料供應會持續,尤其讀取緩衝器1721不會產生欠位。在此,讀出期間PR2D [n]之長度等於將2D延伸區EXT2D[n]之大小SEXT2D [n]除以讀出速度RUD54 之值SEXT2D [n]/RUD54 。因此,各2D延伸區EXT2D[n]之大小SEXT2D [n]滿足下式(1)即可:
[數1]
在式(1)中,跳越時間TJUMP-2D [n]係跳越期間PJ2D [n]的長度,以秒單位表示。另一方面,讀出速度RUD54 與平均傳送速度REXT2D 均以位元/秒表示。因此,在式(1)中將平均傳送速度REXT2D 除以數字「8」,且將2D延伸區之大小SEXT2D [n]的單位從位元變換到位元組。換言之,2D延伸區之大小SEXT2D [n]係以位元組單位表示。函數CEIL()意指將括弧內之數值的小數點以下尾數去掉之操作。以下,以式(1)之右邊所表示之大小稱為「2D延伸區之最小延伸區大小」。
[2]由於讀取緩衝器1721之容量有限,因此跳越時間TJUMP-2D [n]之最大值受到限制。換言之,積蓄於跳越期間PJ2D [n]正前方的資料量DA,即使當讀取緩衝器1721之容量滿量,若跳越時間TJUMP-2D [n]過長,則於跳越期間PJ2D [n]中積蓄資料量DA會達到0,因此有發生讀取緩衝器1721之欠位的危險性。以下,將從BD-ROM光碟101到讀取緩衝器1721之資料供給中斷的狀態下積蓄資料量DA從讀取緩衝器1721之容量到達0為止的時間,即可保證無縫再生的跳越時間TJUMP-2D 之最大值稱為「最大跳越時間TJUMP_ MAX」。
光碟規格中,一般跳越距離與最大跳越時間之間的關係乃從光碟驅動機之存取速度等來決定。第19圖係關於BD-ROM光碟之跳越距離SJUMP 與最大跳越時間TJUMP_MAX 間的對應表之一例。如參考第19圖,跳越距離SJUMP 係以扇區單位表示,最大跳越時間TJUMP_MAX 係以m秒單位表示。1扇區等於2048位元組。當跳越距離SJUMP 屬於0扇區、1-10000扇區、10001-20000扇區、20001-40000扇區、40001扇區-1/10衝程(stroke)、及1/10衝程以上之各範圍時,最大跳越時間TJUMP_MAX 分別為0m秒、250m秒、300m秒、350m秒、700m秒、及1400m秒。跳越距離SJUMP 等於0扇區時的最大跳越時間TJUMP_MAX 等於零扇區遷移時間TJUMP0 。但,第19圖之範例中零扇區遷移時間TJUMP0 乃視為"0"。
從以上之情況,應代入式(1)之跳越時間TJUMP-2D [n]係已依照BD-ROM光碟之規格依不同跳越距離所規定之最大跳越時間TJUMP_MAX 。具體而言,在第19圖之表中,在2D延伸區EXT2D[n-1]、EXT2D[n]間之跳越距離SJUMP ─即對應於從第n項2D延伸區EXT2D[n]的後端到第(n+1)項2D延伸區EXT2D[n+1]的前端為止之扇區數的最大跳越時間TJUMP_MAX -─作為跳越時間TJUMP-2D [n]而代入式(1)。
在兩個2D延伸區EXT2D[n]、EXT2D[n+1]間之跳越J2D [n]中,由於其跳越時間TJUMP-2D [n]受到最大跳越時間TJUMP_MAX 限制,因此其跳越距離SJUMP ─即兩個2D延伸區EXT2D[n]、EXT2D[n+1]之間隔─亦受到限制。例如將跳越時間TJUMP-2D [n]限制在最大跳越時間TJUMP_MAX =700m秒以下時,兩個2D延伸區EXT2D[n]、EXT2D[n+1]間之跳越距離SJUMP 最大可允許到1/10衝程(=約1.2GB)。如該跳越距離SJUMP 之最大值,跳越時間TJUMP 等於最大跳越時間TJUMP_MAX 時的跳越距離SJUMP 稱為「最大跳越距離SJUMP_MAX 」。2D影像之無縫再生除需要2D延伸區之大小滿足式(1)以外,還需要2D延伸區之間隔在最大跳越距離SJUMP_MAX 以下。
將已配置於不同記錄層之兩個延伸區塊間無縫地連接時,從位於前面之延伸區塊的後端第n項2D延伸區EXT2D[n]到位於後面之延伸區塊的前端第(n+1)項2D延伸區EXT2D[n+1]為止會發生遠跳。其遠跳係伴隨焦點跳越等記錄層的切換操作。因此,其遠跳所需之時間除已規定在第19圖之表的最大跳越時間TJUMP_MAX 以外,更包含記錄層之切換操作所需要的時間,即「層切換時間」。「層切換時間」例如為350m秒。其結果,在第n項2D延伸區EXT2D[n]之大小應滿足之式(1)中,跳越時間TJUMP-2D [n]係由兩個參數TJ[n]、TL[n]之和來決定:TJUMP-2D [n]=TJ[n]+TL[n]。第1參數TJ[n]係表示由BD-ROM光碟之規格依不同跳越距離所規定之最大跳越時間TJUMP_MAX 。第1參數TJ[n]例如在第19圖之表中係等於從第n項2D延伸區EXT2D[n]的後端到第(n+1)項2D延伸區EXT2D[n+1]的前端為止之扇區數,即對應於遠跳之跳越距離SJUMP 的最大跳越時間TJUMP_MAX 。第2參數TL[n]為層切換時間,例如表示350m秒。另一方面,兩個2D延伸區EXT2D[n]、EXT2D[n+1]之間隔─即兩個延伸區塊之間隔─係設定在對應於第1參數TJ[n]之最大跳越距離SJUMP_MAX 以下。例如當將跳越時間TJUMP-2D [n]限制在最大跳越時間TJUMP-MAX =700m秒以下時,兩個2D延伸區EXT2D[n]、EXT2D[n+1]間之最大跳越距離SJUMP_MAX 為40000扇區(=約78.1MB)。
[基於3D再生模式性能之條件]
第20圖係顯示3D再生模式之再生裝置102內之再生處理系統的方塊圖。如參考第20圖,其再生處理系統包含BD-ROM驅動機121、開關2020、一對讀取緩衝器2021、2022、及系統目標解碼器2023。BD-ROM驅動機121係從BD-ROM光碟101讀出延伸區SS,且以讀出速度RUD72 來往開關2020傳送。開關2020係將各延伸區SS分離成基視資料塊與附屬視資料塊。關於其分離處理之詳細如後述。基視資料塊係往第1讀取緩衝器2021儲存,而附屬視資料塊係往第2讀取緩衝器2022儲存。各讀取緩衝器2021、2022係內建於再生裝置102之緩衝記憶體,從BD-ROM驅動機121接收資料塊並予以積蓄。第2讀取緩衝器2022內之積蓄資料在L/R模式為右視資料塊,而在深度模式為深度圖資料塊。系統目標解碼器2023係從已積蓄於第1讀取緩衝器2021內之各基視資料塊以第1平均傳送速度REXT1 來讀出來源封包。L/R模式之系統目標解碼器2023係從已積蓄於第2讀取緩衝器2022內之各右視資料塊以第2平均傳送速度REXT2 來讀出來源封包。深度模式之系統目標解碼器2023係從已積蓄於第2讀取緩衝器2022內之各深度圖資料塊以第3平均傳送速度REXT3 來讀出來源封包。系統目標解碼器2023更將已讀出之基視資料塊與附屬視資料塊之對解碼成影像資料VD與聲音資料AD。
第1平均傳送速度REXT1 稱為「基視傳送速度」。基視傳送速度REXT1 等於系統目標解碼器2023從基視資料塊內之各來源封包抽出TS封包的處理平均速度之192/188倍。基視傳送速度REXT1 一般係以每基視資料塊而不同。基視傳送速度REXT1 之最高值RMAX1 等於對於檔案2D之系統速率RTS1 的192/188倍。基視傳送速度REXT1 一般係以位元/秒表示,具體上等於將以位元單位表示之基視資料塊之大小除以延伸區ATC時間後之值。延伸區ATC時間等於將其基視資料塊內之來源封包全部從第1讀取緩衝器2021傳送到系統目標解碼器2023所需要的時間。
第2平均傳送速度REXT2 稱為「右視傳送速度」,第3平均傳送速度REXT3 稱為「深度圖傳送速度」。再者,該等傳送速度REXT2 、REXT3 總稱為「附屬視傳送速度」。任一附屬視傳送速度REXT2 、REXT3 皆等於系統目標解碼器2023從附屬視資料塊內之各來源封包抽出TS封包的處理平均速度之192/188倍。任一附屬視傳送速度REXT2 、REXT3 一般亦皆因每附屬視資料塊而不同。右視傳送速度REXT2 之最高值RMAX2 等於對於第1檔案DEP之系統速率RTS2 的192/188倍,而深度圖傳送速度REXT3 之最高值RMAX3 等於對於第2檔案DEP之系統速率RTS3 的192/188倍。各附屬視傳送速度REXT2 、REXT3 一般係以位元/秒表示,具體上等於將已以位元單位表示之附屬視資料塊之大小除以延伸區ATC時間後之值。延伸區ATC時間等於將各附屬視資料塊內之來源封包全部從第2讀取緩衝器2022傳送到系統目標解碼器2023所需要的時間。
讀出速度RUD72 通常係以位元/秒表示,並設定在較第1、2、3平均傳送速度REXT1 、REXT2 、REXT3 之任一最高值RMAX1 、RMAX2 、RMAX3 更高之值,例如72Mbps:RUD72 >RMAX1 、RUD72 >RMAX2 、RUD72 >RMAX3 。藉此,在由BD-ROM驅動機121正從BD-ROM光碟101讀出一個延伸區SS之期間,可防止伴隨系統目標解碼器2023之解碼處理的各讀取緩衝器2021、2022之欠位。
第21圖(a)、(b)係顯示從一個延伸區塊2110無縫再生3D影像時,積蓄於各讀取緩衝器2021、2022的資料量DA1、DA2之變化的圖表。第21圖(c)係顯示其延伸區塊2110與3D再生模式之再生路徑2120之間對應關係的示意圖。如參考第21圖(c),其延伸區塊2110係與第18圖(b)所示者1810同樣的交插配置之資料塊群D[k]、B[k](k=…、n-1、n、n+1、n+2、…)。依照再生路徑2120,將延伸區塊2110全體總括讀出作為一個延伸區SS。其後,藉由開關2020從其延伸區SS將附屬視資料塊與基視資料塊分離。
BD-ROM驅動機121之讀出/傳送動作實際上不是從第21圖(a)、(b)的各圖表所示意之連續者,而係斷續者。藉此,在各資料塊D[n]、B[n]之讀出期間PRD [n]、PRB [n]中,可防止各讀取緩衝器2021、2022之溢流。換言之,第21圖(a)、(b)的各圖表實際上係將階梯狀之增減作成近似線性增減而呈現者。
如參考第21圖(a)、(b),在第n項附屬視資料塊D[n]之讀出期間PRD [n],第2讀取緩衝器2022之積蓄資料量DA2係以等於讀出速度RUD72 與附屬視傳送速度REXTm [n](m=2或3)之間的差RUD72 -REXTm [n]之速度增加,而第1讀取緩衝器2021之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]減少。如參考第21圖(c),從第n項附屬視資料塊D[n]到第n項基視資料塊B[n]會產生零扇區遷移J0 [2n]。如第21圖(a)、(b)所示,在零扇區遷移期間PJ0 [n],第1讀取緩衝器2021之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]來持續減少,而第2讀取緩衝器2022之積蓄資料量DA2係以附屬視傳送速度REXTm [n]減少。
再如參考第21圖(a)、(b),第n項基視資料塊B[n]之讀出期間PRB [n],第1讀取緩衝器2021之積蓄資料量DA1係以等於讀出速度RUD72 與基視傳送速度REXT1 [n]之間的差RUD72 -REXT1 [n]之速度增加。另一方面,第2讀取緩衝器2022之積蓄資料量DA2係以附屬視傳送速度REXTm [n]來持續減少。再如參考第21圖(c),從其基視資料塊B[n]到下一個附屬視資料塊D[n+1]為止會產生零扇區遷移J0 [2n+1]。如第21圖(a)、(b)所示,在零扇區遷移期間PJ0 [2n+1],第1讀取緩衝器4021之積蓄資料量DA1係以基視傳送速度REXT1 [n]減少,而第2讀取緩衝器4022之積蓄資料量DA2係以附屬視傳送速度REXTm [n]來持續減少。
欲從一個延伸區塊2110無縫再生3D影像時,滿足以下條件[3]、[4]、[5]、[6]即可。此外,在以下說明為了方便,虛擬L/R模式。因此,附屬視資料塊D[n]為右視資料塊。但,以下說明對於深度模式亦同樣成立。例如,將右視資料塊之大小換讀成深度圖資料塊之大小,而將右視傳送速度換讀成深度圖傳送速度即可。
[3]第n項基視資料塊B[n]之大小SEXT1 [n]至少在從其讀出期間PRB [n]到下一個基視資料塊B[n+1]之讀出期間PRB [n+1]的瞬間前為止,等於從第1讀取緩衝器2021傳送至系統目標解碼器2023之資料量。屆時,如第21圖(a)所示,在下一個基視資料塊B[n+1]之讀出期間PRB [n+1]的瞬間前,第1讀取緩衝器2021之積蓄資料量DA1不會低於第n項基視資料塊B[n]之讀出期間PRB [n]的瞬間前的量。在此,第n項基視資料塊B[n]之讀出期間PRB [n]的長度等於將其基視資料塊B[n]之大小SEXT1 [n]除以讀出速度RUD72 之值SEXT1 [n]/RUD72 。另一方面,第(n+1)項附屬視資料塊D[n+1]之讀出期間PRD [n+1]的長度等於將其附屬視資料塊D[n+1]之大小SEXT2 [n+1]除以讀出速度RUD72 之值SEXT2 [n+1]/RUD72 。因此,其基視資料塊B[n]之大小SEXT1 [n]滿足下式(2)即可:
[數2]
以下,式(2)右邊所呈現之大小稱為「基視資料塊之最小延伸區大小」。此外,當基視資料塊位於延伸區塊2110的後端時,其資料塊之大小不滿足式(2)亦可。
[4]第n項附屬視資料塊D[n]之大小SEXT2 [n]至少在從其讀出期間PRD [n]到下一個附屬視資料塊D[n+1]之讀出期間PRD [n+1]的瞬間前為止,等於從第2讀取緩衝器2022傳送至系統目標解碼器2023之資料量。屆時,如第21圖(b)所示,在下一個附屬視資料塊D[n+1]之讀出期間PRD [n+1]的瞬間前,第2讀取緩衝器2022之積蓄資料量DA2不會低於第n項附屬視資料塊D[n]之讀出期間PRD [n]的瞬間前的量。在此,第n項附屬視資料塊D[n]之讀出期間PRD [n]的長度等於將其附屬視資料塊D[n]之大小SEXT2 [n]除以讀出速度RUD72 之值SEXT2 [n]/RUD72 。因此,其附屬視資料塊D[n]之大小SEXT2 [n]滿足下式(3)即可:
[數3]
以下,式(3)右邊所表示之大小稱為「附屬視資料塊之最小延伸區大小」。
[5]如第13圖所示,延伸區塊2101內之基視資料塊B[n]係由檔案2D與檔案SS共享。因此,基視資料塊B[n]之大小SEXT1 [n]應滿足式(1)。在此,欲將第1讀取緩衝器2021之容量盡可能縮小,則基視資料塊B[n]之大小SEXT1 [n]在2D延伸區之最小延伸區大小之下限值以下即可。換言之,其大小SEXT1 [n]滿足下式(4):
在此,跳越時間TJUMP-2D_MIN 係從延伸區塊2101再生2D影像時所需要的跳越時間之最小值,例如為199m秒。
[6]在第n項資料塊之對D[n]、B[n]中延伸區ATC時間TEXT [n]相等。另一方面,延伸區ATC時間TEXT [n]等於將資料塊D[n]、B[n]之大小SEXTm [n](m=1、2、3)除以平均傳送速度REXTm [n]之值:TEXT [n]=SEXTm [n]/REXTm [n]。因此,資料塊D[n]、B[n]之大小SEXTm [n]滿足下式(5):
第22圖(a)係顯示當從複數延伸區塊連續無縫再生3D影像時,積蓄於各讀取緩衝器2021、2022的資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。第22圖(b)係顯示第M項(整數M為2以上)延伸區塊2201與第(M+1)項延伸區塊2202、及該等延伸區塊2201、2202與3D再生模式之再生路徑2220之間對應關係的示意圖。如參考第22圖(b),各延伸區塊2201、2202係從與第18圖(b) 所示者1810同樣的交插配置之附屬視資料塊群D與基視資料塊群B所構成。兩個相鄰接之延伸區塊2201、2202之間係由層邊界LB或其它資料的記錄區域而分離。依照再生路徑2220,首先將第M項延伸區塊2201全體作為第M項延伸區SSEXTSS[M]來總括讀出。緊接著發生跳越J[M]。接下來,將第2延伸區塊2202作為第(M+1)項延伸區SSEXTSS[M+1]來總括讀出。
第22圖(a)中,一點鏈線圖表係顯示第1讀取緩衝器2021所積蓄之資料量DA1的變化,虛線圖表係顯示第2讀取緩衝器2022所積蓄之資料量DA2的變化,實線圖表係顯示兩資料量之和DA1+DA2的變化。在此,其和DA1+DA2實際上係隨每讀出一個資料塊而細微地變化。但,實線圖表係平均其細微變化而近似於直線者。再者,若將零扇區遷移時間TJUMP0 與一個延伸區塊全體之讀出期間PRBLK [M]的長度比較,乃可充分忽視,因此在第22圖(a)中零扇區遷移時間TJUMP0 視為"0"。
如參考第22圖,在將第M項延伸區塊2201全體從BD-ROM光碟101讀取到各讀取緩衝器2021、2022之期間PRBLK [M],任一讀取緩衝器2021、2022所積蓄之資料量DA1、DA2亦會增大。具體而言,第M項延伸區塊2201全體的讀出期間PRBLK [M]中,積蓄資料量之和DA1+DA2係以等於讀出速度RUD72 與平均傳送速度REXTSS [M]之間的差RUD72 -REXTSS [M]之速度增加。其平均傳送速度REXTSS [M]係作為將第M項延伸區塊2201全體之大小-即第M項延伸區SSEXTSS[M]之大小SEXTSS [M]─除以其延伸區ATC時間TEXTSS 之值來評估。前述積蓄資料量DA1、DA2之增大可藉由將各資料塊D、B之大小設計成最小延伸區大小以上來實現。
在已將第M項延伸區塊2201的後端基視資料塊讀入第1讀取緩衝器2021之時間點,積蓄資料量之和DA1+DA2達到最大值。在緊接其後之跳越J[M]之期間PJ[M],積蓄資料量之和DA1+DA2係以平均傳送速度REXTSS [M]減少。因此,藉由充分地大幅調節積蓄資料量之和DA1+DA2之最大值,可防止在跳越J[M]中之兩讀取緩衝器2021、2022之欠位。其結果,可達到無縫連接兩個延伸區塊2201、2202。
積蓄資料量之和DA1+DA2之最大值係以第M項延伸區塊2201之大小而決定。因此,欲將第M項延伸區塊2201無縫連接到第(M+1)項延伸區塊2202,祇要第M項延伸區塊2201之大小─即第M項延伸區SSEXTSS[M]之大小SEXTSS [M]─滿足下列條件[7]即可。
[7]在位於第M項延伸區塊2201之前端的附屬視資料塊D之讀出期間PRD [m],會進行預載(整數m為1以上)。在其預載期間PRD [m],由於對應於其附屬視資料塊D之基視資料塊B尚未被儲存於第1讀取緩衝器2021,因此無法將附屬視資料塊D從第2讀取緩衝器2022傳送到系統目標解碼器2023。因此,在其預載期間PRD [m],必須接續其正前方之跳越J[M-1]之期間將第(M-1)項延伸區塊的資料從第2讀取緩衝器2022傳送到系統目標解碼器2023。藉此,可維持向系統目標解碼器2023之資料供給。同樣地,在位於第(M+1)項延伸區塊2202之前端的附屬視資料塊D之讀出期間PRD [n]亦可進行預載(整數n為m+1以上)。因此,在其預載期間PRD [n],必須接續其正前方之跳越J[M]之期間持續將第M項延伸區塊2201之資料從第2讀取緩衝器2022傳送到系統目標解碼器2023。藉此,可維持向系統目標解碼器2023之資料供給。
同上述,在第M項延伸區塊2201之預載期間PRD [m],必須將第(M-1)項延伸區塊之資料從第2讀取緩衝器2022傳送到系統目標解碼器2023,而在第(M+1)項延伸區塊2202之預載期間PRD [n],必須將第M項延伸區塊之資料從第2讀取緩衝器2022傳送到系統目標解碼器2023。因此,為了防止在跳越J[M]中之兩讀取緩衝器2021、2022之欠位,第M項延伸區SSEXTSS[M]之延伸區ATC時間TEXTSS 至少必須等於從在第M項延伸區塊2201之預載期間PRD [m]的結束時間點T0到在第(M+1)項延伸區塊2202之預載期間PRD [n]的結束時間點T1為止之期間的長度。換言之,第M項延伸區SSEXTSS[M]之大小SEXTSS [M]至少等於在其期間T0-T1從各讀取緩衝器2021、2022傳送到系統目標解碼器2023的資料量之和即可。
同從第22圖(a)可明瞭,期間T0-T1之長度等於從第M項延伸區塊2201之讀出期間PRBLK [M]減去前頭附屬視資料塊D之讀出期間PRD [m]之長度t1 、跳越J[M]之跳越時間TJUMP [M]=t2 、及第(M+1)項延伸區塊2201的前頭附屬視資料塊D之讀出期間PRD [n]之長度t3 的總和t1 +t2 +t3 。換言之,期間T0-T1之長度等於將第M項延伸區塊2201之讀出期間PRBLK [M]之長度、跳越J[M]之跳越時間TJUMP [M]、及延伸區塊2201、2202間之預載期間PRD [n]、PRD [m]之長度差TDIFF [M]相加之值。此外,第M項延伸區塊2201之讀出期間PRBLK [M]之長度等於將第M項延伸區SSEXTSS[M]之大小SEXTSS [M]除以讀出速度RUD72 之值SEXTSS [M]/RUD72 。因此,第M項延伸區SSEXTSS[M]之大小SEXTSS [M]滿足下式(6)即可:
在此,各預載期間PRD [m]、PRD [n]之長度等於將位於各延伸區塊2201、2202之前端的附屬視資料塊D之大小SEXT2 [m]、SEXT2 [n]除以讀出速度RUD72 之值SEXT2 [m]/RUD72 、SEXT2 [n]/RUD72 。因此,預載期間PRD [m]、PRD [n]之長度差TDIFF 等於該等值之差:TDIFF =SEXT2 [n]/RUD72 -SEXT2 [m]/RUD72 。以下,以式(6)右邊所表示之大小稱為「延伸區SS之最小延伸區大小」。此外,式(6)右邊與式(1)-(4)右邊同樣,可以位元組單位之整數值表示。
[總結]
為了從複數延伸區塊將2D影像與3D影像皆無縫地再 生,祇要滿足上述條件[1]-[7]全部即可。尤其,各資料塊與各延伸區塊之大小祇要滿足下列條件1-4即可。
條件1:2D延伸區之大小SEXT2D 滿足式(1)。
條件2:基視資料塊之大小SEXT1 滿足式(2)。
條件3:附屬視資料塊之大小SEXT2 滿足式(3)。
條件4:延伸區塊之大小SEXTSS 滿足式(4)。
如此一來,在本發明實施形態1之BD-ROM光碟101中,除各資料塊之大小的下限值以外,各延伸區塊之大小的下限值亦很明確,因此易於適當地設計其大小。藉此,從其BD-ROM光碟101再生3D影像之際,可易於不使再生裝置102內之讀取緩衝器2021、2022發生欠位。尤其在條件4中反映了在應無縫連接之延伸區塊間的預載期間之長度差。藉此,要確實地實現該等延伸區塊間之無縫連接是很容易的。
《包含於AV串流檔案之其它TS封包》
包含於AV串流檔案之TS封包的種類除從第3圖所示之基本流所變換者以外,還有PAT(Program Association Table:程式相聯表)、PMT(Program Map Table:程式映射表)、及PCR(Program ClockReference:程式時序參考)。PCR、PMT、及PAT係以歐洲數位播放規格所決定者,本來持有規定構成一個節目之部分傳輸流(partial transport stream)之功用。利用PCR、PMT、及PAT可使AV串流檔案亦與其部分傳輸流同樣地來規定。具體而言,PAT係顯示包含於同AV串流檔案之PMT的PID。PAT本身之PID為0。PMT係顯示包含含於同AV串流檔案之呈現影像、聲音、字幕等各基本流的PID及其屬性資訊。PMT更包含關於其AV串流檔案之各種描述符(descriptor;亦稱記述碼)。描述符尤其包含有顯示其AV串流檔案之複製的許可/禁止之複製控制資訊。PCR包含顯示應對應於已分配至本身之ATS的STC(System Time Clock:系統時間時鐘)之值的資訊。在此,「STC」係藉由再生裝置102內之解碼器利用於作為PTS及DTS之基準的時鐘。其解碼器係利用PCR來使STC與ATC同步。
第23圖係顯示PMT2310之資料結構的示意圖。PMT2310包含PMT標題2301、描述符2302、及串流資訊2303。PMT標題2301係顯示包含於PMT2310之資料的長度等。各描述符2302係關於包含PMT2310之AV串流檔案全體的描述符。前述複製控制資訊係包含於描述符2302之一。串流資訊2303係關於包含於AV串流檔案之各基本流的資訊,且一個個分配在不同的基本流。各串流資訊2303包含串流型2331、PID2332、及串流描述符2333。串流型2331包含已利用於其基本流之壓縮的編解碼器(codec)之識別資訊等。PID2332係顯示其基本流之PID。串流描述符2333包含其基本流之屬性資訊,例如訊框速率及縱橫比。
藉由利用PCR、PMT、及PAT可使再生裝置102內之解碼器將AV串流檔案同樣地以歐洲數位廣播規格為準據之部分傳輸流來處理。藉此,可確保BD-ROM光碟101用之再生裝置與以歐洲數位廣播規格為準據之終端裝置之間的相容性。
《剪輯資訊檔案》
第24圖係顯示第1剪輯資訊檔案(01000.clpi)-即2D剪輯資訊檔案231-之資料結構的示意圖。附屬視剪輯資訊檔案(02000.clpi、03000.clpi)232、233亦有同樣的資料結構。以下,首先將與剪輯資訊檔案全面共通之資料結構以2D剪輯資訊檔案231之資料結構為例予以說明。其後,說明關於2D剪輯資訊檔案與附屬視剪輯資訊檔案之資料結構上之不同點。
如參考第24圖,2D剪輯資訊檔案231包含剪輯資訊2410、串流屬性資訊2420、入口圖2430、及3D元資料(metadata)2440。3D元資料2440包含偏移表2441與延伸區起點2442。
剪輯資訊2410如第24圖所示包含系統速率2411、再生開始時間2412、及再生結束時間2413。系統速率2411係規定對於檔案2D(01000.m2ts)241之系統速率RTS 。如第17圖所示,2D再生模式之再生裝置102係將屬於檔案2D241之"TS封包"從讀取緩衝器1721傳送到系統目標解碼器1723。在檔案2D241,設定有來源封包之ATS的間隔,來使TS封包之傳送速度可抑制在系統速率RTS 以下。再生開始時間2412係顯示檔案2D241之前頭VAU之PTS,例如前頭影像訊框之PTS。再生結束時間2412係顯示從檔案2D241之後端VAU之PTS延遲預定量之STC之值,例如最後影像訊框之PTS加上每一訊框之再生時間之值。
串流屬性資訊2420如第24圖所示係包含於檔案2D241之各基本流的PID2421與其屬性資訊2422之間的對應表。屬性資訊2422在各個視頻串流、聲頻串流、PG串流、及IG串流中不同。例如已對應於主要視頻串流之PID0×1011的屬性資訊包含已利用於其視頻串流之壓縮的編解碼器種類、構成其視頻串流的各圖片解析度、縱橫比、及訊框速率。另一方面,已對應於主要聲頻串流之PID0×1100之屬性資訊包含已利用於其聲頻串流之壓縮的編解碼器種類、包含於其聲頻串流之頻道數、語言、及樣本頻率。屬性資訊2422係由再生裝置102來利用於解碼器的初始化。
[入口圖]
第25圖(a)係顯示入口圖2430之資料結構的示意圖。如參考第25圖(a),入口圖2430包含表2500。表2500與已多工至主TS之視頻串流同數,乃一個個地分配在各視頻串流。第25圖(a)中,各表2500係以分配對象之視頻串流的PID來區別。各表2500包含入口圖標題2501與入口點2502。入口圖標題2501包含已對應於其表2500之PID、與包含於其表2500之入口點2502的總數。入口點2502係將PTS2503與來源封包號碼(SPN)2504之對一個個地對應於不同的入口點ID(EP_ID)2505。PTS2503等於包含於入口圖標題2501所示之PID之視頻串流的任一I圖片之PTS。SPN2504等於其I圖片所儲存之來源封包群的前頭SPN。「SPN」意指在屬於一個AV串流檔案之來源封包群,從前頭依序所分配之流水號。SPN係利用來作為在其AV串流檔案內之各來源封包的位址。在2D剪輯資訊檔案231內之入口圖2430中,SPN意指屬於檔案2D241之來源封包群─即構成主TS之來源封包群─所分配之號碼。因此,入口點2502係呈現包含於檔案2D241之各I圖片的PTS與位址,即與SPN之間的對應關係。
對於檔案2D241內之所有I圖片,未有設定入口點2502亦可。但,當I圖片位於GOP之前頭,且當包含其I圖片之前頭的TS封包位於2D延伸區之前頭時,其I圖片必須設定入口點2502。
第25圖(b)係顯示屬於檔案2D241之來源封包群2510當中,由入口圖2430而對各EP_ID2505所對應者的示意圖。第25圖(c)係顯示對應於其來源封包群2510之BD-ROM光碟101上之資料塊群D[n]、B[n](n=0、1、2、3、…)的示意圖。再生裝置102從檔案2D241再生2D影像時,係利用入口圖2430而從呈現任意場景之訊框的PTS,特定包含其訊框之來源封包的SPN。具體而言,在已指定特定的入口點之PTS─例如PTS=360000─作為再生開始位置時,再生裝置102首先從入口圖2430搜尋已對應於其PTS之SPN=3200。接著,再生裝置102求出其SPN與每一個來源封包的資料量192位元組之乘積,再將其乘積除以每一扇區之資料量2048位元組後的商SPN×192/2048。同從第5圖(b)、(c)可理解,其值於主TS當中等於扇區之總數,前述扇區記錄有較已分到其SPN之來源封包為前的部分。在第25圖(b)所示之範例中,其值3200×192/2048=300等於記錄有SPN從0到3199之來源封包群2511的扇區總數。接下來,再生裝置102參考檔案2D241的檔案入口,來特定從記錄有2D延伸區群之扇區群的前頭起算第(上述總數+1)項之扇區的LBN。第25圖(c)所示之範例中,記錄有可存取作為2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]、…之基視資料塊B[0]、B[1]、B[2]、…的扇區群當中,係特定從前頭起算第301項之扇區的LBN。再生裝置102將其LBN指定於BD-ROM驅動機。藉此,從其LBN的扇區依序以聯合單元單位讀出基視資料塊群。再者,再生裝置102從最初被讀出之聯合單元選擇再生開始位置之入口點顯示之來源封包,並從該等抽出I圖片來加以解碼。爾後,後續之圖片係利用已先解碼之圖片來依序解碼。如此一來,再生裝置102可從檔案2D241再生特定之PTS以後的2D影像。
再者,入口圖2430對快送再生及倒帶再生等特殊再生的效率處理係有利的。例如2D再生模式之再生裝置102首先參考入口圖2430,而從再生開始位置─例如包含PTS=360000以後之PTS的入口點EP_ID=2、3、…依序讀出SPN=3200、4800、…。其次再生裝置102係利用檔案2D241之檔案入口來特定對應於各SPN之扇區的LBN。接下來再生裝置102將各LBN指定於BD-ROM驅動機121。藉此,從各LBN之扇區可讀出聯合單元。再生裝置102再從各聯合單元選擇各入口點顯示之來源封包,並從該等抽出I圖片來加以解碼。如此一來,再生裝置102無需解析2D延伸區群EXT2D[n]本身,而可從檔案2D241選擇性地再生I圖片。
[偏移表]
第26圖(a)係顯示偏移表2441之資料結構的示意圖。偏移表2441係利用於3D再生模式之再生裝置102之修剪處理的資訊。「修剪處理」意指從呈現2D影像之資料來生成呈現左視與右視的平面資料之對的處理。「平面資料」意指像素資料之二次元配列,其配列大小等於影像訊框之解析度。一組像素資料係由色座標值與α值之組合而成。色座標值係以RGB值或YCrCb值表示。修剪處理之對象包含有主TS內之PG串流、IG串流、及從各個次要視頻串流所生成之平面資料、還有依照BD-J物件所生成之圖像(image)平面資料。修剪處理係使平面資料內之各像素資料的位置往水平方向變化。因此,在藉由修剪處理所得之平面資料之對,左視與右視之各顯示位置會從原來的2D影像之顯示位置朝左右錯開。由於視聽者將該等變位知覺為兩眼視差,因此其視聽者可將左視與右視之對看成為一個3D影像。
如參考第26圖(a),偏移表2441係依PG串流、IG串流、及次要視頻串流之PID別而包含表2610。各表2610係PTS2601與偏移值2602之對應表。PTS2601係呈現從PG串流、IG串流、及次要視頻串流所生成之各平面資料的顯示時間。偏移值2602係將經由修剪處理之各像素資料的水平方向之變位量以附有符號之像素數所呈現者。例如,正符號係呈現向右之變位,而負符號為其相反。偏移值2602之符號係依3D影像之深度比畫面更前面或更後面而決定。以下,PTS2601與偏移值2602之對2603稱為「偏移入口」。
第26圖(b)係顯示偏移入口之有效區間的示意圖。各偏移入口之有效區間係在以STC可計量之時間中,從其偏移入口之PTS顯示之時間到下一個偏移入口之PTS顯示之時間為止的期間。當平面資料之PTS屬於某偏移入口之有效區間時,在修剪處理中其平面資料內之像素資料的顯示位置會依其偏移入口之偏移值來變化。第26圖(a)所示之範例中,偏移入口#1之PTS為180000,偏移入口#2之PTS為270000,偏移入口#3之PTS為360000。屆時,如第26圖(b)所示,偏移入口#1之偏移值"+5"在從180000到270000為止之STC範圍2604有效,而偏移入口#2之偏移值"+3"在從270000到360000為止之STC範圍2605有效。
[延伸區起點]
第27圖(a)係顯示延伸區起點2442之資料結構的示意圖。如參考第27圖(a),「延伸區起點(Extent_Start_Point)」2442包含基視延伸區ID(EXT1_ID)2711與SPN2712。EXT1_ID2711係於屬於第1檔案SS(01000.ssif)244A之各基視資料塊中,從前頭依序所分配之流水號。SPN2712係一個個被分配至各EXT1_ID2711,等於位於以其EXT1_ID2711所識別之基視資料塊之前端的來源封包之SPN。在此,其SPN係於屬於第1檔案SS244A之基視資料塊群所包含的各來源封包中,從前頭依序所分配之流水號。
在第13圖所示之延伸區塊1301-1303,各基視資料塊B[0]、B[1]、B[2]、…係由檔案2D241與第1檔案SS244A共享。但,記錄層間之邊界等已配置於需要遠跳之箇所的資料塊群一般包含僅屬於檔案2D241或第1檔案SS244A之其中任一者的基視資料塊(詳細參考變形例[E])。因此,延伸區起點2442顯示之SPN2712一般與位在屬於檔案2D241之2D延伸區前端的來源封包之SPN不同。
第27圖(b)係顯示包含於第2剪輯資訊檔案(02000.clpi)─即右視剪輯資訊檔案232─之延伸區起點2720之資料結構的示意圖。如參考第27圖(b),延伸區起點2720包含右視延伸區ID(EXT2_ID)2721與SPN2722。EXT2_ID2721係於屬於第1檔案SS244A之各右視資料塊,從前頭依序所分配之流水號。SPN2722係一個個被分配至各EXT2_ID2721,等於位在以其EXT2_ID2721所識別之右視資料塊之前端的來源封包之SPN。在此,其SPN係於包含在屬於第1檔案SS244A之右視資料塊群的各來源封包,從前頭依序所分配之流水號。
第27圖(d)係呈現屬於第1檔案DEP(02000.m2ts)242之右視延伸區EXT2[0]、EXT2[1]、…、與延伸區起點2720顯示之SPN2722之間對應關係的示意圖。如第13圖所示,右視資料塊係由第1檔案DEP242與第1檔案SS244A共享。因此,如第27圖(d)所示,延伸區起點2720顯示之各SPN2722等於位於各右視延伸區EXT2[0]、EXT2[1]、…之前端的來源封包之SPN。
2D剪輯資訊檔案231之延伸區起點2442與右視剪輯資訊檔案232之延伸區起點2720,如以下說明係在從第1檔案SS244A再生3D影像時,利用於各延伸區SS所包含之資料塊的邊界檢測。
第27圖(e)係顯示屬於第1檔案SS244A之延伸區SSEXTSS[0]與BD-ROM光碟101上之延伸區塊之間對應關係的示意圖。如參考第27圖(e),其延伸區塊包含交插配置之資料塊群D[n]、B[n](n=0、1、2、…)。此外,在以下的說明對於其它配置亦同樣成立。其延伸區塊可作為一個延伸區SSEXTSS[0]來存取。再者,在其延伸區SSEXTSS[0]之中,包含於第n項基視資料塊B[n]之來源封包的數量等於在延伸區起點2442中對應於各個EXT1_ID=n+1、n的SPN間之差A(n+1)-An。在此,設A0=0。另一方面,包含於右視資料塊D[n+1]之來源封包的數量等於在延伸區起點2720中對應於各個EXT2_ID=n+1、n的SPN間之差B(n+1)-Bn。在此,設B0=0。
L/R模式之再生裝置102在從第1檔案SS244A再生3D影像時,係利用各剪輯資訊檔案231、232之入口圖與延伸區起點2442、2720。藉此,再生裝置102係從呈現任意場景之右視的訊框之PTS來特定扇區之LBN,前述扇區記錄有包含其訊框之右視資料塊。具體而言,再生裝置102首先例如從右視剪輯資訊檔案232之入口圖,搜尋已對應於其PTS之SPN。假設,虛擬其SPN顯示之來源封包包含 於第1檔案DEP242之第3項右視延伸區EXT2[2]-即右視資料塊D[2]-之情況。其次,再生裝置102係從右視剪輯資訊檔案232之延伸區起點2720顯示之SPN2722中,搜尋目標之SPN以下之最大者"B2"、與對應於其之EXT2_ID"2"。接下來,再生裝置102係從2D剪輯資訊檔案231之延伸區起點2442搜尋對應於等於其EXT2_ID"2"之EXT1_ID的SPN2712之值"A2"。再者,再生裝置102求出已搜尋之SPN之和B2+A2。如從第27圖(e)可理解,其和B2+A2等於在延伸區SSEXTSS[0]之中已配置於比第3項右視資料塊D[2]更前面之來源封包的總數。因此,將其和B2+A2與每一個來源封包之資料量192位元組之乘積,除以每一個扇區之資料量2048位元組時的商(B2+A2)×192/2048,係等於從延伸區SSEXTSS[0]之前頭到第3項右視資料塊D[2]之瞬間前為止的扇區數。利用該商並參考第1檔案SS244A之檔案入口即可特定扇區之LBN,前述扇區記錄有其右視資料塊D[2]之前端。
再生裝置102如上述在特定了LBN之後,將其LBN指定於BD-ROM驅動機121。藉此,可依聯合單元單位來讀出在其LBN之扇區以後所記錄之延伸區SSEXTSS[0]的部分-即第3項右視資料塊D[2]以後之資料塊群D[2]、B[2]、D[3]、B[3]、…。
再者,再生裝置102利用延伸區起點2442、2720,從已讀出之延伸區SS交互地抽出附屬視資料塊與基視資料塊。例如,虛擬從第27圖(e)所示之延伸區SSEXTSS[0]依序讀出資料塊群D[n]、B[n](n=0、1、2、…)之情況。再生裝置102首先從延伸區SSEXTSS[0]之前頭將B1個來源封包抽出作為最初的附屬視資料塊D[0]。其次,再生裝置102將第B1項來源封包與接續其之(A1-1)個來源封包-計A1個來源封包抽出作為最初的基視資料塊B[0]。接下來,再生裝置102將第(B1+A1)項來源封包與接續其之(B2-B1-1)個來源封包-計(B2-B1)個來源封包抽出作為第二項附屬視資料塊D[1]。再來,再生裝置102將第(A1+B2)項來源封包與接續其之(A2-A1-1)個來源封包-計(A2-A1)個來源封包抽出作為第二項基視資料塊B[1]。自此以後,再生裝置102亦同樣地從被讀出之來源封包的數量來檢測延伸區SS內之資料塊間的邊界,並交互地抽出附屬視與基視之各資料塊。已抽出之基視資料塊與右視資料塊係並行地交予系統目標解碼器來解碼。
如此一來,L/R模式之再生裝置102可從第1檔案SS244A再生特定PTS以後的3D影像。其結果,再生裝置102可實際地享受關於BD-ROM驅動機121之控制的上述優點(A)、(B)。
《檔案庫(file base)》
第27圖(c)係呈現藉由L/R模式之再生裝置102從第1檔案SS244A所抽出之基視資料塊B[0]、B[1]、B[2]、…的示意圖。如參考第27圖(c),當已從前頭依序將SPN分配到該等基視資料塊B[n](n=0、1、2、…)所含之來源封包群時,位於各資料塊B[n]之前端的來源封包之SPN係等於延伸區起點2442顯示之SPN2712。如該等基視資料塊群B[n],利用延伸區起點而從一個檔案SS所抽出之基視資料塊群稱為「檔案庫」。再者,包含於檔案庫之基視資料塊稱為「基視延伸區」。如第27圖(c)所示,各基視延伸區EXT1[0]、EXT1[1]、…係由剪輯資訊檔案內之延伸區起點2442、2720所參考。
基視延伸區EXT1[n]共有2D延伸區EXT2D[n]與基視資料塊B[n]。因此,檔案庫含有與檔案2D同樣的主TS。但,基視延伸區EXT1[n]與2D延伸區EXT2D[n]不同,無法藉由任何檔案的檔案入口來參考。同上述,基視延伸區EXT1[n]係利用剪輯資訊檔案內之延伸區起點而從檔案SS內之延伸區SSEXTSS[‧]來抽出。如此一來,檔案庫與本來的檔案相異,並不包含檔案入口,且對於基視延伸區之參考需要延伸區起點。在該等意涵上,檔案庫係「虛擬檔案」。尤其檔案庫無法在檔案系統上被辨識,且不會出現在第2圖所示之目錄/檔案結構中。
第28圖係顯示已記錄於BD─ROM光碟101上之一個延伸區塊2800、檔案2D2810、檔案庫2811、檔案DEP2812、及檔案SS2820之各延伸區群之間對應關係的示意圖。如參考第28圖,延伸區塊2800包含附屬視資料塊D[n]與基視資料塊B[n](n=…、0、1、2、3、…)。基視資料塊B[n]係作為2D延伸區EXT2D[n]而屬於檔案2D2810。附屬視資料塊D[n]係作為附屬視延伸區EXT2[n]而屬於檔案DEP2812。延伸區塊2800全體係作為一個延伸區SSEXTSS[0]而屬於檔案SS2820。因此,延伸區SSEXTSS[0]係與2D延伸區EXT2D[n]分享基視資料塊B[n],且與附屬視延伸區EXT2[n]分享附屬視資料塊D[n]。延伸區SSEXTSS[0]在被讀入再生裝置102後,會被分離成附屬視資料塊D[n]與基視資料塊B[n]。該等基視資料塊B[n]係作為基視延伸區EXT1[n]而屬於檔案庫2811。在延伸區SSEXTSS[0]內之基視延伸區EXT1[n]與附屬視延伸區EXT2[n]之間的邊界,係利用分別已對應於檔案2D2810與檔案DEP2812之剪輯資訊檔案內之延伸區起點來特定。
《附屬視剪輯資訊檔案》
附屬視剪輯資訊檔案的資料結構與第24圖至第27圖所示之2D剪輯資訊檔案的資料結構相同。因此,在以下說明中,僅提及附屬視剪輯資訊檔案與2D剪輯資訊檔案之間的相異點,有關相同點之說明則爰用上述說明。
附屬視剪輯資訊檔案與2D剪輯資訊檔案主要在下列三點(i)、(ii)、(iii)不同:(i)於串流屬性資訊課有條件;(ii)於入口點課有條件;(iii)3D元資料不包含偏移表。
(i)當基視視頻串流與附屬視視頻串流係由L/R模式之再生裝置102而利用於3D影像之再生者時,同第6圖所示,附屬視視頻串流為利用基視視頻串流而被壓縮。屆時,附屬視視頻串流之視頻串流屬性等於基視視頻串流之視頻串流屬性。在此,關於基視視頻串流之視頻串流屬性資訊係在2D剪輯資訊檔案之串流屬性資訊2420內對應於PID=0×1011。另一方面,關於附屬視視頻串流之視頻串流屬性資訊係在附屬視剪輯資訊檔案之串流屬性資訊內對應於PID=0×1012或0×1013。因此,在該等視頻串流屬性資訊間,第24圖所示之各項目-即編解碼器、解析度、縱橫比、及訊框速率-必須一致。若編解碼器之種類一致,則於基視圖片與附屬視圖片之間在編碼上的參照關係便會成立,因此可解碼各圖片。若解析度、縱橫比、及訊框速率皆一致,則可使左右影像的畫面顯示同步。故,可將該等影像作為3D影像來使視聽者觀看而不會感到異樣。
(ii)附屬視剪輯資訊檔案之入口圖包含已分配於附屬視視頻串流之表。其表與第25圖(a)所示之表2500同樣包含入口圖標題與入口點。入口圖標題係顯示對應之附屬視視頻串流之PID,即0×1012或0×1013。各入口點係將一對之PTS與SPN對應於一個EP_ID。各入口點之PTS等於包含於附屬視視頻串流的任一GOP前頭之圖片的PTS。各入口點之SPN等於來源封包群之前頭的SPN,前述來源封包群儲存有屬於同入口點之PTS顯示之圖片。在此,SPN意指於屬於檔案DEP之來源封包群-即構成子TS之來源封包群-從前頭依序所分配之流水號。2D剪輯資訊檔案之入口圖當中,各入口點之PTS必須與基視視頻串流所分配之表內的入口點之PTS一致。換言之,在包含同3D‧VAU所包含之一對圖片之一者的來源封包群之前頭設定有入口點時,經常在包含另一者之來源封包群之前頭亦必須設定有入口點。
第29圖係顯示已設定於基視視頻串流2910與附屬視視頻串流2920之入口點之範例的示意圖。在各視頻串流2910、2920中,從前頭起算同順序之GOP係呈現同再生期間之影像。如參考第29圖,在基視視頻串流2910中,從前頭起算位於第奇數項的GOP#1、GOP#3、GOP#5之各前頭,設定有入口點2901B、2903B、2905B。連同上述,亦在附屬視視頻串流2920中,從前頭起算位於第奇數項的GOP#1、GOP#3、GOP#5之各前頭,設定有入口點2901D、2903D、2905D。屆時,再生裝置102例如從GOP#3開始3D影像之再生時,從對應之入口點2903B、2903D之SPN可立即計算檔案SS內之再生開始位置之SPN。尤其當入口點2903B、2903D皆設定於資料塊之前端時,同從第27圖(e)可理解,入口點2903B、2903D之SPN之和會等於檔案SS內之再生開始位置之SPN。同第27圖(e)之說明所述,從其來源封包的數量可計算扇區之LBN,前述扇區記錄有檔案SS內之再生開始位置的一部分。如此一來,在3D影像的再生中亦可使跳越再生等需要隨機存取視頻串流之處理的回應速度提升。
《2D播放清單檔案》
第30圖係顯示2D播放清單檔案之資料結構的示意圖。第2圖所示之第1播放清單檔案(00001.mpls)221持有該資料結構。如參考第30圖,2D播放清單檔案221包含主通路3001與二個子通路3002、3003。
主通路3001係放映項目資訊(PI)之配列,為規定檔案2D241之主要再生路徑,即再生對象之部分與其再生順序。各PI係以固有的放映項目ID=#N(N=1、2、3、…)來識別。各PI#N係以一對PTS來規定主要再生路徑之相異再生區間。其一對之其中一方係呈現其再生區間之開始時間(In-Time),另一方係呈現結束時間(Out-Time)。再者,在主通路3001內之PI順序係呈現對應之再生區間的再生路徑內之順序。
各子通路3002、3003係子放映項目資訊(SUB_PI)之配列,為規定可並列附隨於檔案2D241之主要再生路徑的再生路徑。其再生路徑意指與主通路3001呈現之檔案2D241的部分為不同的部分、或已多工於別的檔案2D之串流資料的部分及其再生順序。其串流資料係呈現依照主通路3001而應與從檔案2D241所再生之2D影像同時再生之別的2D影像。其別的2D影像包含例如:在圖中圖方式之副影像、瀏覽器畫面、彈出選單(Popup menu)、或字幕。子通路3002、3003依2D播放清單檔案221之註冊順序編有流水號"0"、"1"。其流水號係利用於各子通路3002、3003之識別來作為子通路ID。在各子通路3002、3003,各SUB_PI係以固有的子放映項目ID=#M(M=1、2、3、…)加以識別。各SUB_PI#M係以一對PTS來規定再生路徑之不同的再生區間。其對之其中一方係呈現其再生區間之再生開始時間,而另一方係呈現再生結束時間。再者,在各子通路3002、3003內之SUB_PI的順序係以對應之再生區間的再生路徑內之順序來呈現。
第31圖係顯示PI#N之資料結構的示意圖。如參考第31圖,PI#N包含參考剪輯資訊3101、再生開始時間(In_Time)3102、再生結束時間(Out_Time)3103、連接狀態(connection condition)3104、及串流選擇表(以下簡稱為STN(Stream Number)表)3105。參考剪輯資訊3101係用以識別2D剪輯資訊檔案231之資訊。再生開始時間3102與再生結束時間3103係顯示檔案2D241之再生對象部分之前端與後端之各PTS。連接狀態3104係規定將藉由再生開始時間3102與再生結束時間3103所規定之再生區間的影像,連接到由前一個PI#(N-1)所規定之再生區間之影像時的條件。STN表3105係呈現從再生開始時間3102到再生結束時間3103之間,由再生裝置102內之解碼器可從檔案2D241選擇的基本流之選單。
SUB_PI之資料結構與第31圖所示之PI之資料結構,在包含參考剪輯資訊、再生開始時間、及再生結束時間之點上為共通。尤其,SUB_PI之再生開始時間與再生結束時間係以與PI之再生開始時間與再生結束時間為同時間軸上之值來表示。SUB_PI更包含稱為「SP連接狀態」之場。SP連接狀態與PI之連接狀態持有相同意義。
[連接狀態]
連接狀態(以下簡稱CC)3104例如取得"1"、"5"、"6"之三種值。CC3104為"1"時,從由PI#N所規定之檔案2D241之部分所再生的影像不一定必須與從由上一個PI#(N-1)所規定之檔案2D241之部分所再生的影像無縫連接亦可。另一方面,CC3104為"5"或"6"時,該等兩者之影像一定得無縫連接。
第32圖(a)、(b)係分別顯示CC3104為"5"、"6"時連接對象之二個再生區間3201、3202之間關係的示意圖。在此,PI#(N-1)係規定檔案2D241之第1部分3201,而PI#N係規定檔案2D241之第2部分3202。如參考第32圖(a),CC3104為"5"時,在二個PI#(N-1)、PI#N之間STC亦可中斷。換言之,第1部分3201之後端PTS#1與第2部分3202之前端PTS#2亦可不連續。但,必須滿足幾項限制條件。例如,接續第1部分3201將第2部分3202供給到解碼器時,亦必須作成各部分3201、3202來使其解碼器可順利地持續解碼處理。再者,必須將第1部分3201所包含之聲頻串流的最後訊框與第2部分3202所包含之聲頻串流的前頭訊框重複。另一方面,如參考第32圖(b),CC3104為"6"時,第1部分3201與第2部分3202在解碼器的解碼處理上必須是可作為一連串之部分來處理者。換言之,在第1部分3201與第2部分3202之間STC與ATC皆須為連續。同樣地,SP連接狀態為"5"或"6"時,在由相鄰接之二個SUB_PI所規定之檔案2D的部分間,STC與ATC皆須為連續。
[STN表]
如再參考第31圖,STN表3105係串流註冊資訊之配列。所謂「串流註冊資訊」係從再生開始時間3102到再生結束時間3103之間,個別顯示可從主TS選擇作為再生對象之基本流的資訊。串流號碼(STN)3106係串流註冊資訊個別已分到的流水號,可藉由再生裝置102利用於各基本流之識別。再者,STN3106在同種類之基本流之間係呈現選擇的優先順位。串流註冊資訊包含串流入口3109與串流屬性資訊3110。串流入口3109包含串流通路資訊3107與串流識別資訊3108。串流通路資訊3107係顯示選擇對象之基本流所屬的檔案2D資訊。例如串流通路資訊3107顯示"主通路"時,其檔案2D係對應於參考剪輯資訊3101顯示之2D剪輯資訊檔案者。另一方面,串流通路資訊3107顯示"子通路ID=1"時,選擇對象之基本流所屬的檔案2D係對應於子通路ID=1之子通路所包含的SUB_PI之參考剪輯資訊顯示之2D剪輯資訊檔案者。其SUB_PI所規定的再生開始時間或再生結束時間之任一者,係包含於含有STN表3105之PI所規定的從再生開始時間3102到再生結束時間3103為止之期間。串流識別資訊3108係顯示已多工成由串流通路資訊3107所特定之檔案2D的基本流之PID。此PID顯示之基本流可從再生開始時間3102到再生結束時間3103為止之間來選擇。串流屬性資訊3110係呈現各基本流的屬性資訊。例如,聲頻串流、PG串流、及IG串流之各屬性資訊係顯示語言的種類。
[依照2D播放清單檔案之2D影像之再生]
第33圖係顯示2D播放清單檔案(00001.mpls)221顯示之PTS與從檔案2D(01000.m2ts)241所再生之部分之間對應關係的示意圖。如參考第33圖,在2D播放清單檔案221之主通路3001中,PI#1係規定顯示再生開始時間IN1之PTS#1、與顯示再生結束時間OUT1之PTS#2。PI#1之參考剪輯資訊係顯示2D剪輯資訊檔案(01000.clpi)231。再生裝置102依照2D播放清單檔案221來再生2D影像時,首先從PI#1讀出PTS#1、#2。其次,再生裝置102參考2D剪輯資訊檔案231之入口圖,來搜尋對應於PTS#1、#2之檔案2D241內的SPN#1、#2。接下來,再生裝置102從SPN#1、#2來計算個別所對應之扇區數。再生裝置102再利用該等扇區數與檔案2D241之檔案入口,來特定扇區群P1之前端LBN#1與後端LBN#2,前述扇區群P1記錄有再生對象之2D延伸區群EXT2D[0]、…、EXT2D[n]。所謂扇區數之計算與LBN之特定係同於使用第25圖(b)、(c)所說明者。最後,再生裝置102將從LBN#1到LBN#2為止之範圍指定至BD-ROM驅動機121。藉此,可從其範圍之扇區群P1讀出屬於2D延伸區群EXT2D[0]、…、EXT2D[n]之來源封包群。同樣地,PI#2顯示之PTS#3、#4之對首先利用2D剪輯資訊檔案231之入口圖來變換為SPN#3、#4之對。其次,利用檔案2D241之檔案入口來將SPN#3、#4之對變換為LBN#3、#4之對。再者,從自LBN#3到LBN#4為止之範圍的扇區群P2讀出屬於2D延伸區群之來源封包群。而從PI#3顯示之PTS#5、#6之對變換成SPN#5、#6之對、從SPN#5、#6之對變換成LBN#5、#6之對、及從自LBN#5到LBN#6為止之範圍的扇區群P3讀出來源封包群亦相同。如此一來,再生裝置102可依照2D播放清單檔案221之主通路3001從檔案2D241再生2D影像。
2D播放清單檔案221亦可包含入口標記3301。入口標記3301於主通路3001當中,係顯示實際再生應開始之時間點。例如如第33圖所示,對於PI#1 亦可設定複數個入口標記3301。入口標記3301尤其在標題再生中,係利用於搜尋再生開始位置。例如於2D播放清單檔案221規定電影標題之再生路徑時,入口標記3301係附在各章節之前頭。藉此,再生裝置102可將其電影標題依每章節來再生。
《3D播放清單檔案》
第34圖係顯示3D播放清單檔案之資料結構的示意圖。第2圖所示之第2播放清單檔案(00002.mpls)222持有該資料結構。第2播放清單檔案(00003.mpls)223亦相同。如參考第31圖,3D播放清單檔案222包含主通路3401、子通路3402、及擴充資料3403。
主通路3401係規定第3圖(a)所示之主TS的再生路徑。因此,主通路3401等於第30圖所示之2D播放清單檔案221之主通路3001。2D再生模式之再生裝置102可依照3D播放清單檔案222之主通路3001從檔案2D241再生2D影像。
子通路3402係規定第3圖(b)、(c)所示之子TS再生路徑,即第1檔案DEP242或第2檔案DEP243之其中任一者之再生路徑。子通路3402資料結構與第30圖所示之2D播放清單檔案241之子通路3002、3003之資料結構相同。因此,其相同資料結構之詳細,尤其關於SUB_PI之資料結構之詳細說明爰用使用第30圖之說明。
子通路3402之SUB-PI#N(N=1、2、3、…)係與主通路3401之PI#N呈一對一對應。再者,各SUB_PI#N規定之再生開始時間與再生結束時間個別等於對應之PI#N所規定的再生開始時間與再生結束時間。子通路3402此外還包含子通路型3410。「子通路型」一般會顯示主通路與子通路之間再生處理是否同步。在3D播放清單檔案222中,尤以子通路型3410會顯示3D再生模式之種類--即應依照子通路3402所再生之附屬視視頻串流之種類。第34圖中,由於子通路型3410其值為「3D‧L/R」,因此顯示3D再生模式為L/R模式-即右視視頻串流為再生對象。另一方面,當子通路型3410其值為「3D深度」時,係顯示3D再生模式為深度模式-即深度圖串流為再生對象。當3D再生模式之再生裝置102檢測出子通路型3410之值為「3D‧L/R」或「3D深度」時,會使依循了主通路3401之再生處理與依循了子通路3402之再生處理同步。
第85圖係顯示二個連續PI所規定之檔案2D的各部分、對應SUB_PI所規定之檔案DEP的各部分、該等部分所屬之檔案SS的各部分、及由各檔案所參考之延伸區塊之對應關係的示意圖。第85圖中,整數N為1以上,而整數k為0以上。整數k、n、q、s依其順序為大。整數m比整數k大1,整數p比整數n大1,且整數r比整數q大1,即:m=k+1、p=n+1、r=q+1。如參考第85圖,PI#(N-1)係規定檔案2D8510之第1部分8511,而PI#N係規定檔案2D8510之第2部分8512。對應於PI#(N-1)之SUB_PI#(N-1)係規定檔案DEP8520之第1部分8521,而對應於PI#N之SUB_PI#N係規定檔案DEP8520之第2部分8522。各檔案8510、8520之第1部分8511、8521屬於檔案SS8530之第1部分8531,而各檔案8510、8520之第2部分8512、8522則屬於檔案SS8530之第2部分8532。具體而言,例如檔案2D8510之第1部分8511內的2D延伸區EXT2D[0]、‧‧‧、EXT2D[k]係共享檔案SS8530之第1部分8531內的延伸區SSEXTSS[0]與延伸區塊8501內的基視資料塊B[0]、‧‧‧、B[k](整數k為0以上)。另一方面,檔案DEP8520之第1部分8521內的附屬視延伸區EXT2[0]、‧‧‧、EXT2[k]則共享檔案SS8530之第1部分8531內的延伸區SSEXTSS[0]與延伸區塊8501內的附屬視資料塊D[0]、‧‧‧、D[k]。
PI#N之連接狀態(CC)為"5"或"6"時,檔案2D8510之第1部分8511與第2部分8512係呈無縫連結。再者,對應之SUB_PI#N之SPCC亦為"5"或"6"。因此,檔案DEP8520之第1部分8521與第2部分8522係呈無縫連結。屆時,在檔案SS8530之第1部分8531內,祇要除去前頭延伸區塊8501之第二項以後的延伸區塊8502可滿足上述條件4即可。在此,前頭延伸區塊8501與第二項延伸區塊8502之間的無縫連結,例如將前頭延伸區塊8501內的前頭附屬視資料塊D[0]設計成足夠的大小便可容易地實現。另一方面,在檔案SS8530之第2部分8532內,祇要除去最後的延伸區塊8504之倒數第二項之延伸區塊8503可滿足上述條件4即可。
擴充資料3403係僅由3D再生模式之再生裝置102所解釋之部分,而為2D再生模式之再生裝置102所忽視。擴充資料3403特別包含擴充串流選擇表3430。在3D再生模式中,「擴充串流選擇表(STN_table_SS)」(以下簡稱為STN表SS)係應追加於主通路3401內之各PI顯示的STN表之串流註冊資訊之配列。該串流註冊資訊係顯示可從子TS選擇作為再生對象之基本流。
第35圖係顯示STN表SS3430之資料結構的示意圖。如參考第35圖,STN表SS3430包含串流註冊資訊列3501、3502、3503、…。串流註冊資訊列3501、3502、3503、…分別對應於主通路3401內之PI#1、#2、#3、…,且由3D再生模式之再生裝置102與對應之PI內之STN表所包含的串流註冊資訊列組合而利用。對於各PI之串流註冊資訊列3501含有彈出期間之偏移(Fixed_offset_during_Popup)3511、附屬視視頻串流之串流註冊資訊列3512、PG串流之串流註冊資訊列3513、及IG串流之串流註冊資訊列3514。
彈出期間之偏移3511係顯示從IG串流是否可再生彈出選單。3D再生模式之再生裝置102依其偏移3511之數值來改變視頻平面與PG平面的顯示模式(presentation mode)。在此,視頻平面的顯示模式有基視(B)-附屬視(D)顯示模式與B-B顯示模式二種。PG平面與IG平面之各顯示模式則有2平面模式、1平面+偏移模式、及1平面+零偏移模式三種。例如,彈出期間之偏移3511之值為"0"時,從IG串流很容易再生彈出選單。屆時,作為視頻平面之顯示模式會選擇B-D顯示模式,而作為PG平面之顯示模式則會選擇2平面模式或1平面+偏移模式。另一方面,彈出期間之偏移3511之值為"1"時,從IG串流可再生彈出選單。屆時,作為視頻平面之顯示模式會選擇B-B顯示模式,而作為PG平面之顯示模式則會選擇1平面+零偏移模式。
在「B-D顯示模式」中,再生裝置102交互地輸出從左視與右視之視頻串流所解碼之平面資料。因此,顯示裝置103的畫面中可交互顯示視頻平面所呈現之左視與右視的訊框,因此視聽者可將該等視為3D影像。在「B-B顯示模式」中,再生裝置102係將動作模式維持在3D再生模式的狀態下(特別是將訊框速率維持在3D再生時之值-例如48訊框/秒-的狀態下),僅將已從基視視頻串流解碼之平面資料依每訊框各二次來輸出。因此,顯示裝置103的畫面中,就視頻平面僅可顯示左視與右視之其中任一訊框,因此視聽者僅會將該等視為2D影像。
在「2平面模式」中,子TS包含左視與右視之圖形串流兩者時,再生裝置102係從各圖形串流將左視與右視之圖形平面資料解碼且交互地輸出。在「1平面+偏移模式」中,再生裝置102由修剪處理,從主TS內之圖形串流來生成左視與右視之平面資料之對並加以交互輸出。在任一模式中,顯示裝置103的畫面中皆可交互地顯示左視與右視之PG平面,因此視聽者可將該等視為3D影像。在「1平 面+零偏移模式」中,再生裝置102將動作模式維持在3D再生模式的狀態下,使修剪處理暫時停止,而將已從主TS內之圖形串流解碼之平面資料依每訊框各二次來輸出。因此,顯示裝置103的畫面中,僅可顯示左視與右視之其中任一PG平面,因此視聽者僅會將該等視為2D影像。
3D再生模式之再生裝置102係依每PI參考彈出期間之偏移3511,當可從IG串流再生彈出選單時,選擇B-B顯示模式與1平面+零偏移模式。藉此,在彈出選單顯示期間,其它的3D影像會暫時變更為2D影像,因而提升彈出選單之可見性(visibility)、操作性。
附屬視視頻串流之串流註冊資訊列3512、PG串流之串流註冊資訊列3513、及IG串流之串流註冊資訊列3514係分別包含可從子TS選擇作為再生對象之附屬視視頻串流、PG串流、及IG串流。該等串流註冊資訊列3512、3513、3514於對應之PI內的STN表所包含的串流註冊資訊列當中,分別係與顯示基視視頻串流、PG串流、及IG串流者組合而所利用。3D再生模式之再生裝置102,在讀出STN表內之任一串流註冊資訊時,亦會自動讀出其串流註冊資訊所組合之STN表SS內的串流註冊資訊列。藉此,再生裝置102在單純將2D再生模式切換至3D再生模式時,可將設定完成之STN、及語言等串流屬性維持呈同一。
第36圖(a)係顯示附屬視視頻串流之串流註冊資訊列3512之資料結構的示意圖。如參考第36圖(a),該串流註冊資訊列3512一般包含複數個串流註冊資訊(SS_dependet_vi ew_block)3601。該等於對應之PI內之串流註冊資訊當中,與顯示基視視頻串流者為同數。各串流註冊資訊3601包含STN3611、串流入口3612、及串流屬性資訊3613。STN3611係個別已分配到串流註冊資訊3601之流水號,與對應之PI內之組合對象的串流註冊資訊之STN相等。串流入口3612包含子通路ID參考資訊(ref_to_Subpath_id)3621、串流檔案參考資訊(ref_to_subClip_entry_id)3622、及PID(ref_to_stream_PID_subclip)3623。子通路ID參考資訊3621係顯示規定附屬視視頻串流之再生路徑的子通路之子通路ID。串流檔案參考資訊3622係用以識別儲存有其附屬視視頻串流之檔案DEP的資訊。PID3623係其附屬視視頻串流之PID。串流屬性資訊3613包含其附屬視視頻串流之屬性,例如:訊框速率、解像度、及視頻格式。尤其,該等與對應之PI內之組合對象的串流註冊資訊所顯示的基視視頻串流者共通。
第36圖(b)係顯示PG串流之串流註冊資訊列3513之資料結構的示意圖。如參考第36圖(b),該串流註冊資訊列3513一般包含複數個串流註冊資訊3631。該等於對應之PI內之串流註冊資訊當中,與顯示PG串流者為同數。各串流註冊資訊3631包含STN3641、立體視旗標(is_SS_PG)3642、基視串流入口(stream_entry_for_base_view)3643、附屬視串流入口(stream_entry_for_depentdent_view)3644、及串流屬性資訊3645。STN3641係已個別分配到串流註冊資訊3631之流水號,與對應之PI內之組合對象的串流註冊資訊 之STN相等。立體視旗標3642係顯示於BD-ROM光碟101是否包含有基視與附屬視,如左視與右視之PG串流兩者。當立體視旗標3642為「開」時,子TS包含有兩者的PG串流。因此,基視串流入口3643、附屬視串流入口3644、及串流屬性資訊3645之中任一場皆可由再生裝置來讀出。當立體視旗標3642為「關」時,該等場3643-3645皆會為再生裝置所忽視。基視串流入口3643與附屬視串流入口3644兩者皆包含子通路ID參考資訊、串流檔案參考資訊、及PID。子通路ID參考資訊係顯示規定基視與附屬視之各PG串流的再生路徑之子通路之子通路ID。串流檔案參考資訊係用以識別已儲存有各PG串流之檔案DEP的資訊。PID則為各PG串流的PID。串流屬性資訊3645包含各PG串流的屬性,例如語言種類。
第36圖(c)係顯示IG串流之串流註冊資訊列3514之資料結構的示意圖。如參考第36圖(c),該串流註冊資訊列3514一般含有複數個串流註冊資訊3651。該等於對應之PI內之串流註冊資訊當中,與顯示IG串流者為同數。各串流註冊資訊3651包含STN3661、立體視旗標(is_SS_IG)3662、基視串流入口3663、附屬視串流入口3664、及串流屬性資訊3665。STN3661係已個別分配到串流註冊資訊3651之流水號,與對應之PI內之組合對象的串流註冊資訊之STN相等。立體視旗標3662係顯示於BD-ROM光碟101是否包含有基視與附屬視,如左視與右視之IG串流兩者。當立體視旗標3662為「開」時,子TS包含有兩者的IG串流。因此,基視串流入口3663、附屬視串流入口3664、及串流屬性資訊3665之其中任一場皆可由再生裝置讀出。當立體視旗標3662為「關」時,該等場3663-3665皆會由再生裝置所忽視。基視串流入口3663與附屬視串流入口3664皆包含子通路ID參考資訊、串流檔案參考資訊、及PID。子通路ID參考資訊係顯示規定基視與附屬視之各IG串流的再生路徑之子通路的子通路ID。串流檔案參考資訊係用以識別儲存有各IG串流之檔案DEP的資訊。PID則係各IG串流之PID。串流屬性資訊3665包含各IG串流之屬性,例如語言種類。
[依循3D播放清單檔案之3D影像再生]
第37圖係顯示3D播放清單檔案(00002.mpls)222顯示之PTS、與從第1檔案SS(01000.ssif)244A所再生的部分間之對應關係的示意圖。如參考第37圖,在3D播放清單檔案222的主通路3701中,PI#1係規定顯示再生開始時間IN1之PTS#1、與顯示再生結束時間OUT1之PTS#2。PI#1的參考剪輯資訊則顯示2D剪輯資訊檔案(01000.clpi)231。另一方面,在子通路型顯示「3D‧L/R」之子通路3702中,SUB_PI#1係規定與PI#1相同之PTS#1、#2。SUB_PI#1的參考剪輯資訊則顯示右視剪輯資訊檔案(02000.clpi)232。
當再生裝置102依循3D播放清單檔案222來再生3D影像時,首先從PI#1與SUB_PI#1讀出PTS#1、#2。其次,再生裝置102參考2D剪輯資訊檔案231之入口圖來搜尋與PTS#1、#2對應之檔案2D241內的SPN#1、#2。與上述平行進行,再生裝置102參考右視剪輯資訊檔案232的入口圖來搜尋與PTS#1、#2對應之第1檔案DEP242內之SPN#11、#12。接下來,再生裝置102如在第27圖(e)之說明所述,利用各剪輯資訊檔案231、232的延伸區起點2442、2720,從SPN#1、#11R計算從第1檔案SS244A之前頭到再生開始位置為止之來源封包數SPN#21。同樣地,再生裝置102從SPN#2、#12計算從第1檔案SS244A之前頭到再生結束位置為止之來源封包數SPN#22。再生裝置102再進一步計算分別對應於SPN#21、#22之扇區數。接下來,再生裝置102利用該等扇區數與第1檔案SS244A之檔案入口,來特定記錄有再生對象之延伸區SS群EXTSS[0]、…、EXTSS[n]之扇區群P11的前端LBN#1與後端LBN#2。扇區數之計算與LBN之特定與第27圖(e)之說明中所述者相同。最後,再生裝置102將從LBN#1到LBN#2為止之範圍指定至BD-ROM驅動機121。藉此,可從其範圍之扇區群P11讀出屬於延伸區SS群EXTSS[0]、…、EXTSS[n]之來源封包群。同樣地,PI#2與SUB_PI#2顯示之PTS#3、#4之對,首先利用剪輯資訊檔案231、232之各入口圖來變換成SPN#3、#4之對與SPN#13、#14之對。接著,從SPN#3、#13計算從第1檔案SS244A前頭到再生開始位置為止之來源封包數SPN#23,而從SPN#4、#14計算從第1檔案SS244A前頭到再生結束位置為止之來源封包數SPN#24。接下來,利用第1檔案SS244A之檔案入口,將SPN#23、#24之對變換為LBN#3、#4之對。再進一步,由從LBN#3到LBN#4為止之範圍的扇區群P12讀出屬於延伸區SS群之來源封包群。
與上述讀出處理平行進行,再生裝置102如在第27圖(e)之說明中所述,係利用各剪輯資訊檔案231、232之延伸區起點2442、2720,從各延伸區SS抽出基視延伸區,並與剩餘的右視延伸區來平行地解碼。如此一來,再生裝置102可依循3D播放清單檔案222從第1檔案SS244A再生3D影像。
《索引表》
第38圖係顯示第2圖所示之索引檔案(index.bdmv)211內之索引表3810的示意圖。如參考第38圖,索引表3810包含「第一播放」3801、「頂端選單」3802、及「標題k」3803(k=1、2、…、n:n為1以上之整數)之項目。各項目對應有電影物件MVO-2D、MVO-3D、…、或BD-J物件BDJO-2D、BDJO-3D、…之其中任一項。每當由使用者操作或應用程式呼叫出標題或選單時,再生裝置102之控制部係參考索引表3810對應之項目。控制部進一步從BD-ROM光碟101呼叫出對應於其項目之物件,並依其來執行各種處理。具體而言,於項目「第一播放」3801指定有當光碟101已插入BD-ROM驅動機121時所應呼叫出的物件。於項目「頂端選單」3802則指定有例如用以當以使用者操作輸入「回到選單」之指令時,使選單顯示到顯示裝置103之物件。於項目「標題k」3803則個別分配有構成光碟101上內容之標題。例如當由使用者操作指定再生對象之標題時,於分配有其標題之項目「標題k」指定有用以從對應於其標題之AV串流檔案來再生影像之物件。
第38圖所示之範例中,於2D影像之標題分配有項目「標題1」與項目「標題2」。對應於項目「標題1」之電影物件MVO─2D包含一命令群,其係關於已使用2D播放清單檔案(00001.mpls)221之2D影像的再生處理。當項目「標題1」由再生裝置102所參考時,依循其電影物件MVO─2D,從光碟101讀出2D播放清單檔案221,並依照其所規定之再生路徑執行2D影像之再生處理。對應於項目「標題2」之BD-J物件BDJO-2D則包含一應用軟體管理表,其係關於已使用2D播放清單檔案221之2D影像的再生處理。當項目「標題2」由再生裝置102所參考時,依循其BD─J物件BDJO─2D內之應用軟體管理表,從JAR檔案261叫出Java應用程式並加以執行。藉此,可從光碟101讀出2D播放清單檔案221,並依照其所規定之再生路徑來執行2D影像之再生處理。
再者第38圖所示之範例中,於3D影像標題之分配有項目「標題3」與項目「標題4」。對應於項目「標題3」之電影物件MVO─3D除含有關於已使用2D播放清單檔案221之2D影像的再生處理之命令群外,還含有關於已使用3D播放清單檔案(00002.mpls)222、(00003.mpls)223之任一項之3D影像的再生處理之命令群。對應於項目「標題4」之BD-J物件BDJO-3D中,應用軟體管理表除了規定已使用2D播放清單檔案221之2D影像的再生處理之相關Java應用程式外,還規定已使用3D播放清單檔案222、223之任一項之3D影像的再生處理之相關Java應用程式。
當項目「標題3」由再生裝置102所參考時,依循電影物件MVO-3D,首先會進行下列四種判別處理:(1)再生裝置102本身是否有對應於3D影像再生;(2)使用者是否有選擇3D影像再生;(3)顯示裝置103是否有對應於3D影像再生;及(4)再生裝置102之3D影像再生模式是否為L/R模式或深度模式之其中任一者。接著,依照該等判別結果將任一播放清單檔案221-223作為再生對象來選擇。當項目「標題4」由再生裝置102所參考時,依循BD-J物件BDJO-3D內之應用軟體管理表從JAR檔案261叫出Java應用程式並加以執行。藉此,首先會進行上述判別處理,接著會進行選擇已應對其判別結果之播放清單檔案。
[在選擇3D影像標題時的播放清單檔案之選擇]
第39圖係當已選擇3D影像標題時所進行的再生對象之播放清單檔案之選擇處理的流程圖。第38圖所示之索引表3810中,當參考項目「標題3」時,係依循電影物件MVO-3D來執行其選擇處理,而當參考項目「標題4」時,則是依循BD-J物件BDJO-3D所規定之Java應用程式來執行其選擇處理。
在此,以其選擇處理為前提,虛擬再生裝置102包含第1旗標與第2旗標之情況。當第1旗標為"0"時,再生裝置102僅可對應2D影像再生,當為"1"時則亦可對應3D影像再生。當第2旗標為"0"時,再生裝置102為L/R模式,當為"1"時則為深度模式。
步驟S3901中,再生裝置102會檢查第1旗標之值。當其值為"0"時,處理進入步驟S3905。當其值為"1"時,處理則進入步驟S3902。
步驟S3902中,再生裝置102使顯示裝置103顯示選單,並讓使用者選擇2D影像或3D影像之任一項再生。當使用者操作搖控器105等而選擇了2D影像再生時,處理進入步驟S3905,當選擇了3D影像再生時則處理進入步驟S3903。
步驟S3903中,再生裝置102會檢查顯示裝置103是否有對應於3D影像再生。具體而言,再生裝置102係透過HDMI纜線122與顯示裝置103之間交換CEC訊息,並向顯示裝置103咨詢顯示裝置103是否有對應於3D影像再生。當顯示裝置103有對應於3D影像再生時,處理進入步驟S3904。當顯示裝置103沒有對應於3D影像再生時,處理則進入步驟S3905。
步驟S3904中,再生裝置102會檢查第2旗標之值。當其值為"0"時,處理進入步驟S3906。當其值為"1"時,處理則進入步驟S3907。
步驟S3905中,再生裝置102將2D播放清單檔案221作為再生對象來選擇。而屆時,再生裝置102亦可使顯示裝置103顯示沒有選擇3D影像再生之理由。其後,處理結束。
步驟S3906中,再生裝置102將L/R模式用之3D播放清單檔案222作為再生對象來選擇。其後,處理結束。
步驟S3907中,再生裝置102將深度模式用之3D播放清單檔案223作為再生對象來選擇。其後,處理結束。
<2D再生裝置之構成>
2D再生模式之再生裝置102從BD-ROM光碟101再生2D影像內容時係作為2D再生裝置來操作。第40圖係2D再生裝置4000的功能區塊圖。如參考第40圖,2D再生裝置4000包含BD-ROM驅動機4001、再生部4002、及控制部4003。再生部4002包含讀取緩衝器4021、系統目標解碼器4023、及平面加算部4024。控制部4003包含動態情節記憶體4031、靜態情節記憶體4032、使用者事件處理部4033、程式執行部4034、再生控制部4035、及播放器變數記憶部4036。再生部4002與控制部4003相互安裝於不同的積體電路。此外,兩者亦可合併成單一積體電路。
BD-ROM驅動機4001於內部插入BD-ROM光碟101時,將雷射光照射至其光碟101來檢測其反射光之變化。再者,從其反射光之光量變化來讀取已記錄在光碟101之資料。具體而言,BD-ROM驅動機4001具有光學讀頭,即光學頭。其光學頭包含半導體雷射、視準儀透鏡、分光器、對物透鏡、集光透鏡、及光檢測器。從半導體雷射所射出之光速依序透過視準儀透鏡、分光器、及對物透鏡而集結於光碟101之記錄層。所集結之光速可由其記錄層反射/繞射。其反射/繞射光透過對物透鏡、分光器、及集光透鏡而集結於光檢測器。光檢測器係生成因應其集光量之強弱的再生訊號。再者,資料可從其再生訊號解調(demodulate)。
BD-ROM驅動機4001依照來自再生控制部4035的要求,從BD-ROM光碟101讀出資料。其資料當中,檔案2D之延伸區,即2D延伸區係往讀取緩衝器4021傳送,動態情節資訊係往動態情節記憶體4031傳送,而靜態情節資訊係往靜態情節記憶體4032傳送。「動態情節資訊」包含索引檔案、電影物件檔案、及BD-J物件檔案。「靜態情節資訊」則包含2D播放清單檔案與2D剪輯資訊檔案。
讀取緩衝器4021、動態情節記憶體4031、及靜態情節記憶體4032皆為緩衝記憶體。作為讀取緩衝器4021係利用再生部4002內之記憶體元件,而作為動態情節記憶體4031及靜態情節記憶體4032則係利用控制部4003內之記憶體元件。此外,單一記憶體元件之相異區域亦可作為該等緩衝記憶體4021、4031、4032之一部分或全部來利用。讀取緩衝器4021係儲存2D延伸區,動態情節記憶體4031係儲存動態情節資訊,而靜態情節記憶體4032係儲存靜態情節資訊。
系統目標解碼器4023從讀取緩衝器4021以來源封包單位來讀出2D延伸區並進行解多工處理,並進一步對已解多工之各基本流進行解碼處理。在此,各基本流解碼所需之資訊,例如編解碼器之種類及串流屬性會事先從再生控制部4035送往系統目標解碼器4023。系統目標解碼器4023進一步會將解碼後的主要視頻串流、次要視頻串流、IG串流、及PG串流分別作為主影像平面資料、副影像平面資料、IG平面資料、及PG平面資料以VAU單位來送出。另一方面,系統目標解碼器4023會將解碼後的主要聲頻串流與次要聲頻串流予以混音並往顯示裝置103之內建喇叭103A等聲音輸出裝置來送出。此外,系統目標解碼器4023係從程式執行部4034接收圖形資料。其圖形資料係用以將GUI用選單等之圖形顯示於畫面者,並以JPEG或PNG等光柵資料表現。系統目標解碼器4023處理其圖形資料並將之作為圖像平面資料來送出。而,關於系統目標解碼器4023之詳細如後述。
平面加算部4024從系統目標解碼器4023接收主影像平面資料、副影像平面資料、IG平面資料、PG平面資料、及圖像平面資料,並將該等相互重疊合成為一個影像訊框或場。合成後之影像資料係往顯示裝置103送出並顯示於其畫面。
使用者事件處理部4033係透過搖控器105或再生裝置102之前面板來檢測使用者操作,並應其操作種類來對程式執行部4034或再生控制部4035進行處理要求。例如當使用者按壓了搖控器105的按鈕並指示彈出選單之顯示時,使用者事件處理部4033會檢測其按壓並識別其按鈕。使用者事件處理部4033進一步向程式執行部4034要求執行對應其按鈕之指令,即彈出選單的顯示處理。另一方面,例 如當使用者按壓了搖控器105的快送或倒帶按鈕時,使用者事件處理部4033會檢測其按壓並識別其按鈕。使用者事件處理部4033進一步向再生控制部4035要求現在再生中之播放清單的快送或倒帶處理。
程式執行部4034為處理器,係從動態情節記憶體4031所儲存之電影物件檔案及BD-J物件檔案來讀出程式並加以執行。程式執行部4034還會依照各程式執行下列控制:(1)對再生控制部4035下令播放清單再生處理;(2)將選單用或遊戲用的圖形資料作為PNG或JPEG光柵資料來生成,並將其往系統目標解碼器4023傳送來使其它影像資料合成。該等控制的具體內容可透過程式設計為較自由地設計。換言之,前述控制內容於BD-ROM光碟101之編製步驟當中,係由電影物件檔案及BD-J物件檔案的程式設計步驟來決定。
再生控制部4035係控制將2D延伸區及索引檔案等各種資料從BD-ROM光碟101傳往讀取緩衝器4021、動態情節記憶體4031、及靜態情節記憶體4032之處理。其控制係利用管理第2圖所示之目錄/檔案結構的檔案系統。換言之,再生控制部4035利用檔案開啟用之系統呼叫,使BD-ROM驅動機4001將各種檔案傳往各緩衝記憶體4021、4031、4032。在此,「檔案開啟」意指下列之一連串處理。首先,由系統呼叫對檔案系統賦予搜尋對象的檔案名,並從目錄/檔案結構搜尋其檔案名。當其搜尋成功時,於再生控制部4035內之記憶體首先會將傳送對象檔案之檔案入口加以傳送,並於其記憶體內生成FCB(File Control Block:檔案控制塊)。其後,傳送對象檔案之檔案處置會從檔案系統退回到再生控制部4035。以後,再生控制部4035可藉由將其檔案處置提示至BD-ROM驅動機4001,而使BD-ROM驅動機4001將其傳送對象檔案從BD-ROM光碟101傳送到各緩衝記憶體4021、4031、4032。
再生控制部4035控制BD-ROM驅動機4001與系統目標解碼器4023,並從檔案2D使影像資料與聲音資料解碼。具體而言,再生控制部4035首先依照來自程式執行部4034之命令、或依照來自使用者事件處理部4033之要求,從靜態情節記憶體4032讀出2D播放清單檔案並解釋其內容。再生控制部4035接著依循其所解釋之內容─尤其是再生路徑,於BD-ROM驅動機4001與系統目標解碼器4023指定再生對象之檔案2D,並指示其讀出處理及解碼處理。依循該種播放清單檔案之再生處理稱為「播放清單再生處理」。此外,再生控制部4035利用靜態情節資訊,於播放器變數記憶部4036設定各種播放器變數。再生控制部4035還會參考該等播放器變數,於系統目標解碼器4023指定解碼對象之基本流,且提供各基本流之解碼所需要的資訊。
播放器變數記憶部4036係用以記憶播放器變數之暫存器(register)組。播放器變數的種類有系統參數(SPRM)與廣義參數(GPRM)。SPRM係顯示再生裝置102之狀態。第41圖為SPRM之一覽表。各SPRM編有流水號4101,且各流水號4101個別對應有變數值4102。主要的SPRM內容如下。在此,括弧內數字表示流水號4101。
SPRM(0):語言碼
SPRM(1):主要聲頻串流號碼
SPRM(2):字幕串流號碼
SPRM(3):角度號碼
SPRM(4):標題號碼
SPRM(5):章節號碼
SPRM(6):程式號碼
SPRM(7):室號碼
SPRM(8):選擇鍵資訊
SPRM(9):導航計時器
SPRM(10):再生時間資訊
SPRM(11):伴唱機用混音模式
SPRM(12):家長用國家資訊
SPRM(13):家長級(parental level)
SPRM(14):播放器設定值(視頻)
SPRM(15):播放器設定值(聲頻)
SPRM(16):聲頻串流用語言碼
SPRM(17):聲頻串流用語言碼(擴充)
SPRM(18):字幕串流用語言碼
SPRM(19):字幕串流用語言碼(擴充)
SPRM(20):播放器區域碼
SPRM(21):次要視頻串流號碼
SPRM(22):次要聲頻串流號碼
SPRM(23):再生狀態
SPRM(24):預備
SPRM(25):預備
SPRM(26):預備
SPRM(27):預備
SPRM(28):預備
SPRM(29):預備
SPRM(30):預備
SPRM(31):預備
SPRM(10)係顯示解碼處理中圖片之PTS,且在每當解碼其圖片並寫入主影像平面記憶體時加以更新。因此,無須參考SPRM(10)亦可知道現在的再生時間點。
SPRM(16)之聲頻串流用語言碼及SPRM(18)之字幕串流用語言碼係顯示再生裝置102之預設語言碼。該等可利用再生裝置102之OSD(on screen display:螢幕顯示)等來使使用者變更,亦可透過程式執行部4034來使應用程式變更。例如當SPRM(16)正顯示「英語」時,再生控制部4035在播放清單再生處理中,首先從現行PI內之STN表搜尋包含「英語」之語言碼的串流入口。再生控制部4035接著從該串流入口之串流識別資訊抽出PID,並交予系統目標解碼器4023。藉此,其PID之聲頻串流會由系統目標解碼器4023選擇並加以解碼。該等處理可利用電影物件檔案或BD-J物件檔案來使再生控制部4035執行。
播放器變數於再生處理中,由再生控制部4035依照再生狀態的變化來更新。尤其會更新SPRM(1)、SPRM(2)、SPRM(21)、及SPRM(22)。該等依序顯示處理中之聲頻串流、字幕串流、次要視頻串流、及次要聲頻串流之各STN。例如,假想由程式執行部4034變更SPRM(1)後之情形。再生控制部4035首先利用變更後SPRM(1)顯示之STN,從再生處理中之PI內的STN表搜尋含有其STN之串流入口。再生控制部4035接著從其串流入口內之串流識別資訊抽出PID,並交予系統目標解碼器4023。藉此,其PID之聲頻串流會由系統目標解碼器4023選擇並加以解碼。如此一來,可切換再生對象之聲頻串流。同樣地亦可切換再生對象之字幕及次要視頻串流。
《2D播放清單再生處理》
第42圖係再生控制部4035之2D播放清單再生處理的流程圖。2D播放清單再生處理係依循2D播放清單檔案之播放清單再生處理,乃藉由再生控制部4035從靜態情節記憶體4032讀出2D播放清單檔案而開始。
步驟S4201中,再生控制部4035首先從2D播放清單檔案內之主通路讀出一個PI來設定為現行PI。再生控制部4035接著從其現行PI之STN表選擇再生對象之基本流的PID,且特定該等解碼所需之屬性資訊。所選擇之PID與屬性資訊係對系統目標解碼器4023指示。再生控制部4035更進一步從2D播放清單檔案內之子通路來特定隨附於現行PI之SUB_PI。其後,處理進入步驟S4202。
步驟S4202中,再生控制部4035從現行PI讀出顯式參考剪輯資訊、再生開始時間IN1之PTS#1,及顯示再生結束時間OUT1之PTS#2。從其參考剪輯資訊可特定與再生對象之檔案2D對應之2D剪輯資訊檔案。再者,當隨附於現行PI之SUB_PI存在時,亦可從該等讀出同樣的資訊。其後,處理進入步驟S4203。
步驟S4203中,再生控制部4035參考2D剪輯資訊檔案之入口圖,搜尋與PTS#1、#2對應之檔案2D內之SPN#1、#2。SUB_PI顯示之PTS之對亦同樣地可變換為SPN之對。其後,處理進入步驟S4204。
步驟S4204中,再生控制部4035從SPN#1、#2計算分別與其對應之扇區數。具體而言,首先,再生控制部4035求出個別的SPN#1、#2與每一個來源封包之資料量192位元組之乘積。接著,再生控制部4035將各乘積除以每一個扇區之資料量2048位元組來求其商:N1=SPN#1×192/2048、N2=SPN#2×192/2048。商N1、N2於主TS當中,SPN#1、#2分別與扇區之總數相等,前述扇區記錄有比所分配之來源封包還要前面的部分。從SUB_PI顯示之PTS之對所變換的SPN之對亦同樣地可變換成扇區數之對。其後,處理進入步驟S4205。
步驟S4205中,再生控制部4035分別從在步驟S4204中所得到之扇區數N1、N2來特定再生對象之2D延伸區群之前端與後端之LBN。具體而言,再生控制部4035參考再生對象之檔案2D的檔案入口,來特定從記錄有2D延伸區群之扇區群的前頭起算第(N1+1)項扇區之LBN=LBN#1、與第(N2+1)項扇區之LBN=LBN#2。再生控制部4035進一步於BD-ROM驅動機121指定從LBN#1到LBN#2為止之範圍。從SUB_PI顯示之PTS之對所變換之扇區數之對,亦同樣地可變換為LBN之對並指定於BD-ROM驅動機121。其結果,從所指定之範圍的扇區群可以聯合單元單位來讀出屬於2D延伸區群之來源封包群。其後,處理進入步驟S4206。
步驟S4206中,再生控制部4035會檢查主通路是否殘留有未處理之PI。當有殘留時,處理從步驟S4201開始反覆。當無殘留時,處理結束。
《系統目標解碼器》
第43圖係系統目標解碼器4023的功能區塊圖。如參考第43圖,系統目標解碼器4023包含來源拆包器(source depacketizer)4310、ATC計數器4320、第一27MHz時鐘4330、PID過濾器4340、STC計數器(STC1)4350、第二27MHz時鐘4360、主影像解碼器4370、副影像解碼器4371、PG解碼器4372、IG解碼器4373、主音訊解碼器4374、副音訊解碼器4375、圖像處理機4380、主影像平面記憶體4390、副影像平面記憶體4391、PG平面記憶體4392、IG平面記憶體4393、圖像平面記憶體4394、及聲音混音器4395。
來源拆包器4310從讀取緩衝器4021讀出來源封包,並從其中取出TS封包送往PID過濾器4340。來源拆包器4310進一步使其送出時間配合各來源封包之ATS顯示之時間。具體而言,來源拆包器4310首先監視ATC計數器4320生成之ATC值。在此,ATC值係由ATC計數器4320依照第一27MHz時鐘4330之時鐘訊號的脈衝而增量。來源拆包器4310接著在ATC值與來源封包之ATS達一致之瞬間,將從其來源封包所取出之TS封包往PID過濾器4340傳送。藉由前述送出時間之調節,從來源拆包器4310往PID過濾器4340之TS封包的平均傳送速度不會超過如第24圖所示之系統速率2411中所規定的數值RTs
PID過濾器4340首先監視從來源拆包器4310所送出之TS封包所包含的PID。當其PID與已從再生控制部4035預先指定之PID一致時,PID過濾器4340會選擇其TS封包,並往其PID顯示之基本流之解碼所適合的解碼器4370-4375傳送。例如PID為0×1011時,其TS封包會往主影像解碼器4370傳送。另一方面,當PID屬於0×1B00-0×1B1F、0×1100-0×111F、0×1A00-0×1A1F、0×1200-0×121F、及0×1400-0×141F之各範圍時,TS封包會分別往副影像解碼器4371、主音訊解碼器4374、副音訊解碼器4375、PG解碼器4372、及IG解碼器4373傳送。
再者,PID過濾器4340利用各TS封包之PID來從其TS封包中檢測PCR。PID過濾器4340屆時係將STC計數器4350之值設定為預定值。在此,STC計數器4350之值係依照第二27MHz時鐘4360之時鐘訊號脈衝而增量。又,應設定於STC計數器4350之值係預先從再生控制部4035指定好在PID過濾器4340。各解碼器4370-4375利用STC計數器4350之值為STC。換言之,將對於從PID過濾器4340所送出之TS封包的解碼處理時期,依循包含於其TS封包之PTS或DTS的顯示時間來調節。
主影像解碼器4370如第43圖所示,包含傳輸流緩衝器(TB:Transport Stream Buffer)4301、多工緩衝器(MB:Multiplexing Buffer)4302、基本流緩衝器(EB:Elementary Stream Buffer)4303、壓縮影像解碼器(DEC)4304、及解碼圖片緩衝器(DPB:Decoded Picture Buffer)4305。
TB4301、MB4302、及EB4303皆為緩衝記憶體,分別利用內建於主影像解碼器4370之記憶體元件的一區域。此外,該等中之任一者或全部亦可分離為相異的記憶體元件。TB4301將從PID過濾器4340所接收之TS封包原封不動地積蓄。而MB4302係從已積蓄於TB4301之TS封包,積蓄已復原之PES封包。猶,當從TB4301將TS封包往MB4302傳送時,可從其TS封包除去TS標題。EB4303係從PES封包抽出已編碼之VAU並加以儲存。其VAU儲存有壓縮圖片,即I圖片、B圖片、及P圖片。而,當從MB4302將資料往EB4303傳送時,可從其PES封包除去PES標題。
DEC4304係專作壓縮圖片之解碼處理的硬體解碼器,尤其係以備有其解碼處理之加速器功能的LSI所構成。DEC4304從EB4303內之各VAU,將圖片解碼成包含於原TS封包之DTS的顯示時間。DEC4304此外亦可利用第11圖所示之解碼開關資訊1101,不論其DTS而從各VAU來依序解碼圖片。其解碼處理中,DEC4304係預先解析其VAU標題,並特定其VAU內所儲存之壓縮圖片的壓縮編碼方式與串流屬性,且依照該等選擇解碼方法。在此,其壓縮編碼方式包含例如MPEG-2、MPEG-4 AVC、及VC1。再者,DEC4304將已解碼之非壓縮圖片往DPB4305傳送。
DPB4305為與TB4301、MB4302、及EB4303相同之緩衝記憶體,係利用在內建於主影像解碼器4370之記憶體元件的一區域。DPB4305此外亦可分離為與其它緩衝記憶體4301、4302、4303相異之記憶體元件。DPB4305會暫時保留解碼後之圖片。當由DEC4304將P圖片或B圖片解碼時,DPB4305係依照來自DEC4304的指示,從保留中的解碼後圖片搜尋參考圖片並提供至DEC4304。DPB4305進一步將保留中的各圖片,依包含於原TS封包之PTS的顯示時間,寫入主影像平面記憶體4390。
副影像解碼器4371包含與主影像解碼器4370同樣的構成。副影像解碼器4371首先將從PID過濾器4340所接收之次要視頻串流之TS封包解碼成非壓縮圖片。副影像解碼器4371接著依包含於其TS封包之PTS的顯示時間,將非壓縮圖片寫入副影像平面記憶體4391。
PG解碼器4372將從PID過濾器4340所接收之TS封包解碼成非壓縮圖形資料,並依包含於其TS封包之PTS的顯示時間寫入PG平面記憶體4392。
IG解碼器4373將從PID過濾器4340所接收之TS封 包解碼成非壓縮圖形資料,並依包含於其TS封包之PTS的顯示時間寫入IG平面記憶體4393。
首先,主音訊解碼器4374將從PID過濾器4340所接收之TS封包儲存於內建緩衝器。接著,主音訊解碼器4374從其緩衝器內之各TS封包除去TS標題與PES標題,並將剩餘的資料解碼成非壓縮LPCM聲音資料。再者,主音訊解碼器4374將其聲音資料依包含於原TS封包之PTS的顯示時間,送往聲音混音器4395。主音訊解碼器4374依照包含於TS封包之主要聲頻串流之壓縮編碼方式及串流屬性,來選擇壓縮聲音資料的解碼方法。在此,其壓縮編碼方式包含如AC-3或DTS。
副音訊解碼器4375包含與主音訊解碼器4374同樣的構成。首先,副音訊解碼器4375將從PID過濾器4340所接收之次要聲頻串流之TS封包解碼成非壓縮LPCM聲音資料。接著,副音訊解碼器4375依包含於其TS封包之PTS的顯示時間,將非壓縮LPCM聲音資料送往聲音混音器4395。副音訊解碼器4375依照包含於TS封包之次要聲頻串流的壓縮編碼方式及串流屬性,來選擇壓縮聲音資料之解碼方法。在此,其壓縮編碼方式包含如杜比數位Plus或DTS-HD LBR。
聲音混音器4395分別從主音訊解碼器4374與副音訊解碼器4375接收非壓縮聲音資料,並使用該等來進行混音。聲音混音器4395進一步將以其混音所得之合成音送往顯示裝置103之內建喇叭103A等。
圖像處理機4380從程式執行部4034接收圖形資料,即PNG或JPEG之光柵資料。屆時,圖像處理機4380會進行對其圖形資料之成像處理(rendering processing)並寫入圖像平面記憶體4394。
<3D再生裝置之構成>
3D再生模式之再生裝置102在從BD-ROM光碟101再生3D影像內容時,係作為3D再生裝置來操作。其構成之基本部分與第40圖、第43圖所示之2D再生裝置之構成相同。因此,以下對來自2D再生裝置之構成的擴充部分及變更部分加以說明,而關於基本部分之詳細說明則爰用上述關於2D再生裝置之說明。又,2D播放清單再生處理所利用之構成係與2D再生裝置之構成相同。因此,關於其詳細之說明亦爰用上述關於2D再生裝置之說明。以下說明中,假想依循3D播放清單檔案之3D影像的再生處理,即3D播放清單再生處理。
第44圖係3D再生裝置4400的功能區塊圖。3D再生裝置4400包含BD-ROM驅動機4401、再生部4402、及控制部4403。再生部4402包含開關4420、第1讀取緩衝器4421、第2讀取緩衝器4422、系統目標解碼器4423、及平面加算部4424。控制部4403包含動態情節記憶體4431、靜態情節記憶體4432、使用者事件處理部4433、程式執行部4434、再生控制部4435、及播放器變數記憶部4436。再生部4402與控制部4403係組裝於相互不同的積體電路。此外,兩者亦可整合於單一積體電路。尤其,動態情節記憶體4431、靜態情節記憶體4432、使用者事件處理部4433、及程式執行部4434係與第40圖所示之2D再生裝置內者相同。因此,關於該等詳細之說明爰用上述關於2D再生裝置之說明。
BD-ROM驅動機4401包含與第40圖所示之2D再生裝置內者4001相同的構成要素。BD-ROM驅動機4401從再生控制部4435受到LBN之範圍指示時,係從其範圍顯示之BD-ROM光碟101上的扇區群讀出資料。尤其屬於檔案SS之延伸區-即延伸區SS-之來源封包群係從BD-ROM驅動機4401往開關4420傳送。在此,各延伸區SS同第13圖所示,包含一對以上的基視與附屬視之資料塊之對。該等資料塊必須平行地往不同的讀取緩衝器4421、4422傳送。因此,BD-ROM驅動機4401需要大於2D再生裝置內之BD-ROM驅動機4001以上的存取速度。
開關4420係從BD-ROM驅動機4401接收延伸區SS。另一方面,開關4420從再生控制部4435則係接收顯示包含於其延伸區SS之各資料塊之邊界的資訊。其資訊係顯示如從其延伸區SS之前頭到各邊界為止之來源封包數。再生控制部4435基於剪輯資訊檔案內之延伸區起點來生成其資訊。開關4420進一步利用其資訊,從各延伸區SS抽出基視延伸區並送往第1讀取緩衝器4421。另一方面,開關4420將剩餘的附屬視延伸區送往第2讀取緩衝器4422。
第1讀取緩衝器4421與第2讀取緩衝器4422皆係已利用再生部4402內之記憶體元件的緩衝記憶體。尤其單一記憶體元件內的不同區域乃作為各讀取緩衝器4421、4422來利用。此外,不同記憶體元件亦可個別作為各讀取緩衝器4421、4422來利用。第1讀取緩衝器4421從開關4420接收基視延伸區並加以儲存。第2讀取緩衝器4422則從開關4420接收附屬視延伸區並加以儲存。
系統目標解碼器4423首先從第1讀取緩衝器4421所儲存之基視延伸區,與第2讀取緩衝器4422所儲存之附屬視延伸區交互地讀出來源封包。接著,系統目標解碼器4423由解多工處理從各來源封包解多工基本流,並進一步從已解多工者中,將從再生控制部4435所指示之PID的顯示物解碼。接下來,系統目標解碼器4423將解碼後之基本流依其種類別寫入內建平面記憶體。基視視頻串流係寫入左影像平面記憶體,而附屬視視頻串流係寫入右影像平面記憶體。另一方面,次要視頻串流係寫入副影像平面記憶體,IG串流係寫入IG平面記憶體,而PG串流則係寫入PG平面記憶體。在此,當視頻串流以外的串流資料從基視與附屬視之串流資料之對形成時,對應之平面記憶體係個別對左視與右視兩者之平面資料而準備。此外,系統目標解碼器4423會對來自程式執行部4434之圖形資料─例如JPEG或PNG等光柵資料─進行成像處理,並寫入圖像平面記憶體。
系統目標解碼器4423係使來自左影像與右影像之各平面記憶體之平面資料的輸出,如下分別對應於B─D顯示模式與B─B顯示模式。當從再生控制部4435指示B─D顯示模式時,系統目標解碼器4423係從左影像與右影像之各平面記憶體交互地輸出平面資料。另一方面,當從再生控制部4435指示B-B顯示模式時,系統目標解碼器4423係將動作模式維持在3D再生模式的狀態下,僅從左影像與右影像之任一平面記憶體將平面資料依每訊框各二次來輸出。
再者,系統目標解碼器4423使來自圖形平面記憶體之圖形平面資料的輸出,如下分別對應於2平面模式、1平面+偏移模式、及1平面+零偏移模式。在此,圖形平面記憶體包含PG平面記憶體、IG平面記憶體、及圖像平面記憶體。當從再生控制部4435指示2平面模式時,系統目標解碼器4423係從各圖形平面記憶體將左視與右視之圖形平面資料交互地輸出。而當從再生控制部4435指示1平面+偏移模式或1平面+零偏移模式時,系統目標解碼器4423係將動作模式維持在3D再生模式的狀態下,從各圖形平面記憶體輸出圖形平面資料。再者,當從再生控制部4435指示1平面+偏移模式時,系統目標解碼器4423係將由再生控制部4435所指定之偏移值交予平面加算部4424。另一方面,當從再生控制部4435指示1平面+零偏移模式時,系統目標解碼器4423係將"0"作為偏移值交予平面加算部4424。
當再生控制部4435從程式執行部4434等受到3D播放清單再生處理指令時,首先會參考靜態情節記憶體4432所儲存之3D播放清單檔案。再生控制部4435接著會依循其3D播放清單檔案,以第27圖(e)說明所述之順序,向BD-ROM驅動機4401指示記錄有讀出對象之3D延伸區的扇區群之LBN範圍。另一方面,再生控制部4435會利用靜態情節記憶體4405所儲存之剪輯資訊檔案內的延伸區起點,來生成顯示各3D延伸區所包含之資料塊邊界的資訊。其資訊可從再生控制部4435送往開關4420。
再生控制部4435此外會利用3D播放清單檔案內之STN表與STN表SS,來控制系統目標解碼器4423與平面加算部4424之動作條件。例如,選擇再生對象之基本流的PID並交予系統目標解碼器4403。又,STN表SS當中,會依照彈出期間之偏移3511來選擇各平面之顯示模式,並向系統目標解碼器4423與平面加算部4424指示。
播放器變數記憶部4436與2D再生裝置內者4036相同,包含第41圖所示之SPRM。但,在第41圖中為預備之SPRM(24)-(32)之其中任二者,個別包含第39圖所示之第1旗標與第2旗標。例如,SPRM(24)包含第1旗標,而SPRM(25)包含第2旗標。屆時,SPRM(24)為"0"時,再生裝置102僅可對應2D影像之再生,而為"1"時則亦可對應3D影像之再生。SPRM(25)為"0"時,再生裝置102為L/R模式,而為"1"時則為深度模式。
平面加算部4424係從系統目標解碼器4423接收各種平面資料,並將該等相互重疊合成為一個訊框或場。尤其在L/R模式中,左影像平面資料係呈現左視視頻平面,而右影像平面資料係呈現右視視頻平面。因此,平面加算部4 424於左影像平面資料,會將其它平面資料當中呈現左視者重疊,而於右影像平面資料則將呈現右視者重疊。另一方面,在深度模式中,右影像平面資料係呈現深度圖,該深度圖係對於左影像平面資料呈現之視頻平面者。因此,平面加算部4424首先從兩者影像平面資料生成左視與右視之視頻平面資料之對。其後,平面加算部4424會與L/R模式中之合成處理同樣進行合成處理。
當平面加算部4424從再生控制部4435作為副影像平面、PG平面、IG平面、或圖像平面之顯示模式而受到1平面+偏移模式或1平面+零偏移模式指示時,會對從系統目標解碼器4423所接收之平面資料進行修剪處理。藉此,可生成左視與右視之平面資料之對。尤其在受到1平面+偏移模式指示時,在其修剪處理中係利用從系統目標解碼器4403或程式執行部4434所指示的偏移值。另一方面,在受到1平面+零偏移模式指示時,在其修剪處理中偏移值係設定為"0"。因此,相同的平面資料係作為呈現左視與右視者而反覆輸出。其後,平面加算部4424會與L/R模式中之合成處理同樣進行合成處理。合成後之訊框或場會送往顯示裝置103並顯示於其畫面。
《3D播放清單再生處理》
第45圖係再生控制部4435之3D播放清單再生處理的流程圖。3D播放清單再生處理係依循3D播放清單檔案之播放清單再生處理,乃藉由再生控制部4435從靜態情節記憶體4432讀出3D播放清單檔案而開始。
步驟S4501中,再生控制部4435首先從3D播放清單檔案內之主通路,讀出一個PI並設定為現行PI。接著,再生控制部4435從其現行PI之STN表,選擇再生對象之基本流的PID,且特定該等解碼所需之屬性資訊。再者,再生控制部4435於3D播放清單檔案內之STN表SS3430當中,從對應於現行PI者來選擇作為再生對象之基本流應追加者之PID,且特定該等解碼所需之屬性資訊。所選擇之PID與屬性資訊係受系統目標解碼器4423指示。再生控制部4435此外會從3D播放清單檔案內之子通路,來特定應與現行PI同時參考的SUB_PI並設定為現行SUB_PI。其後,處理進入步驟S4502。
步驟S4502中,再生控制部4435從現行PI與SUB_PI分別讀出顯示參考剪輯資訊、再生開始時間IN1之PTS#1,及顯示再生結束時間OUT1之PTS#2。從其參考剪輯資訊特定分別對應於再生對象之檔案2D及檔案DEP的剪輯資訊檔案。其後,處理進入步驟S4503。
步驟S4503中,再生控制部4435如第37圖說明所述,乃參考步驟S4502中所特定之剪輯資訊檔案的各入口圖,來搜尋對應於PTS#1、#2之檔案2D內的SPN#1、#2,與檔案DEP內的SPN#11、#12。再者,再生控制部4435如第27圖(e)說明所述,係利用各剪輯資訊檔案之延伸區起點,從SPN#1、#11計算從檔案SS前頭到再生開始位置為止之來源封包數SPN#21,並從SPN#2、#12計算從檔案SS前頭到再生結束位置為止之來源封包數SPN#22。具體而言,再生控制部4435首先從2D剪輯資訊檔案之延伸區起點顯示的SPN中,搜尋SPN#1以下且最大者"Am",並從附屬視剪輯資訊檔案之延伸區起點顯示之SPN中,搜尋SPN#11以下且最大者"Bm"。接下來,再生控制部4435求出所搜尋之SPN之和Am+Bm並決定為SPN#21。再生控制部4435接著從2D剪輯資訊檔案之延伸區起點顯示之SPN中,搜尋較SPN#2為大且最小者"An",並從附屬視剪輯資訊檔案之延伸區起點顯示之SPN中,搜尋較SPN#12為大且最小者"Bn"。再生控制部4435接著求出所搜尋之SPN之和An+Bn並決定為SPN#22。其後,處理進入步驟S4504。
步驟S4504中,再生控制部4435將步驟S4503中所決定之SPN#21、#22變換為扇區數之對N1、N2。具體而言,再生控制部4435首先求出SPN#21與每一個來源封包之資料量192位元組的乘積。再生控制部4435接著求出將其乘積除以每一個扇區之資料量2048位元組之商SPN#21×192/2048。該商與從檔案SS前頭到再生開始位置的瞬間前為止的扇區數N1相等。同樣地,再生控制部4435從SPN#22求出商SPN#22×192/2048。該商與從檔案SS前頭到再生結束位置的瞬間前為止的扇區數N2相等。其後,處理進入步驟S4505。
步驟S4505中,再生控制部4435分別從步驟S4504中所得之扇區數N1、N2,特定再生對象之延伸區SS群的前端與後端之LBN。具體而言,再生控制部4435參考再生對象之檔案SS之檔案入口,來特定從記錄有延伸區SS群之扇區群前頭起算第(N1+1)項扇區的LBN=LBN # 1,與第(N2+1)項扇區的LBN=LBN # 2。再者,再生控制部4435將從LBN # 1到LBN # 2為止之範圍指定於BD-ROM驅動機121。其結果,從所指定之範圍的扇區群以聯合單元單位來讀出屬於延伸區SS群之來源封包群。其後,處理進入步驟S4506。
步驟S4506中,再生控制部4435利用步驟S4503中所利用之剪輯資訊檔案的延伸區起點,來生成顯示延伸區SS群所包含之附屬視資料塊與基視資料塊之間的邊界資訊(以下稱為資料塊邊界資訊)並送往開關4420。作為具體例,假想顯示再生開始位置之SPN # 21等於各延伸區起點顯示之SPN之和An+Bn,而顯示再生結束位置之SPN # 22等於各延伸區起點顯示之SPN之和Am+Bm的情況。屆時,再生控制部4435從各延伸區起點求出SPN差之列:A(n+1)-An、B(n+1)-Bn、A(n+2)-A(n+1)、B(n+2)-B(n+1)、…、Am-A(m-1)、Bm-B(m-1),並作為資料塊邊界資訊送往開關4420。同第27圖(e)所示,該列係顯示包含於延伸區SS之各資料塊的來源封包數。開關4420將從BD-ROM驅動機4401所接收之延伸區SS之來源封包數從0開始計算,每當其計算與資料塊邊界資訊顯示之SPN差一致時,在兩個讀取緩衝器4421、4422間切換來源封包之送出對象,並將計算重設為0。其結果,從延伸區SS前頭開始{B(n+1)-Bn}個的來源封包係作為最初之附屬視延伸區而送往第2讀取 緩衝器4422,接續之{A(n+1)-An}個的來源封包則係作為最初之基視延伸區而送往第1讀取緩衝器4421。爾後亦同樣地,每當由開關4420所接收之來源封包數與資料塊邊界資訊顯示之SPN差一致時,可從延伸區SS交互地抽出附屬視與基視之各延伸區。
步驟S4507中,再生控制部4435會檢查主通路是否殘留有未處理之PI。當有殘留時,處理從步驟S4501開始反覆。當無殘留時,處理結束。
《系統目標解碼器》
第46圖係系統目標解碼器4423的功能區塊圖。第46圖所示之構成要素與第40圖所示之2D再生裝置者4023在以下二點上相異:(1)從讀取緩衝器到各解碼器之輸入系統為雙重化,並且(2)主影像解碼器可對應3D再生模式,而副影像解碼器、PG解碼器、及IG解碼器可對應2平面模式。換言之,該等影像解碼器皆可交互解碼基視視頻串流與附屬視視頻串流。另一方面,主音訊解碼器、副音訊解碼器、聲音混音器、圖像處理機、及各平面記憶體與第46圖所示之2D再生裝置者相同。因此,以下於第46圖所示之構成要素中,對與第40圖所示者為相異者加以說明,關於同樣者之詳細說明則爰用第40圖之說明。再者,各影像解碼器皆具有同樣的結構,因此以下對主影像解碼器4615之結構加以說明。同樣的說明對其它影像解碼器之結構亦成立。
第1來源拆包器4611係從第1讀取緩衝器4421讀出來源封包,再從其中抽出TS封包並送往第1PID過濾器4613。第2來源拆包器4612係從第2讀取緩衝器4422讀出來源封包,再從其中抽出TS封包並送往第2PID過濾器4614。再者,各來源拆包器4611、4612使各TS封包之送出時間配合各來源封包之ATS的顯示時間。其同步方法與第43圖所示之來源拆包器4310之方法相同。因此,關於其詳細說明爰用對第43圖之說明。藉由調節前述送出時間,從第1來源拆包器4611往第1PID過濾器4613之TS封包的平均傳送速度RTS1 不會超過2D剪輯資訊檔案顯示之系統速率。同樣地,從第2來源拆包器4612往第2PID過濾器4614之TS封包的平均傳送速度RTS2 亦不會超過附屬視剪輯資訊檔案顯示之系統速率。
第1PID過濾器4613每當從第1來源拆包器4611接收TS封包時,會將其PID與選擇對象之PID比較。其選擇對象之PID係藉由再生控制部4635預先依循3D播放清單檔案內之STN表而所指定。當兩者PID一致時,第1PID過濾器4613會將其TS封包往已分配於其PID之解碼器傳送。例如,PID為0×1011時,其TS封包會往主影像解碼器4615內之TB(1)4101傳送。此外,PID屬於0×1B00-0×1B1F、0×1100-0×111F、0×1A00-0×1A1F、0×1200-0×121F、及0×1400-0×141F之各範圍時,對應之TS封包會分別往副影像解碼器、主音訊解碼器、副音訊解碼器、PG解碼器、及IG解碼器傳送。
第2PID過濾器4614每當從第2來源拆包器4612接收TS封包時,會將其PID與選擇對象之PID比較。其選擇對象之PID係藉由再生控制部4635預先依循3D播放清單檔案內之STN表SS而所指定。當兩者PID一致時,第2PID過濾器4614會將其TS封包往已分配於其PID之解碼器傳送。例如,PID為0×1012或0×1013時,其TS封包會往主影像解碼器4615內之TB(2)4608傳送。此外,PID屬於0×1B20-0×1B3F、0×1220-0×127F、及0×1420-0×147F之各範圍時,對應之TS封包會分別往副影像解碼器、PG解碼器、及IG解碼器傳送。
主影像解碼器4615包含TB(1)4601、MB(1)4602、EB(1)4603、TB(2)4608、MB(2)4609、EB(2)4610、緩衝開關4606、DEC4604、DPB4605、及圖片開關4607。TB(1)4601、MB(1)4602、EB(1)4603、TB(2)4608、MB(2)4609、EB(2)4610、及DPB4605皆為緩衝記憶體。各緩衝記憶體係利用已內建於主影像解碼器4615之記憶體元件之一區域。此外,該等緩衝記憶體中之任一者或全部亦可分離為相異的記憶體元件。
TB(1)4601將包含基視視頻串流之TS封包從第1PID過濾器4613接收並原封不動地積蓄。MB(1)4602係從已積蓄於TB(1)4601之TS封包復原PES封包並加以積蓄。屆時,可從各TS封包除去TS標題。EB(1)4603係從已積蓄於MB(1)4602之PES封包抽出已編碼之VAU並加以積蓄。屆時,可從各PES封包除去PES標題。
TB(2)4608將包含附屬視視頻串流之TS封包從第2PID過濾器4614接收並原封不動地積蓄。MB(2)4609係從已積蓄於TB(2)4608之TS封包復原PES封包並加以積蓄。屆時,可從各TS封包除去TS標題。EB(2)4610係從已積蓄於MB(2)4609之PES封包抽出已編碼之VAU並加以積蓄。屆時,可從各PES封包除去PES標題。
緩衝開關4606係將分別已積蓄於EB(1)4603與EB(2)4610之VAU標題依照來自DEC4604的要求來傳送。再者,緩衝開關4606將其VAU壓縮圖片資料依包含於原TS封包之DTS的顯示時間往DEC4604傳送。在此,基視視頻串流與附屬視視頻串流之間,屬於同3D‧VAU之一對圖片的DTS會相等。因此,DTS相等之一對VAU當中,緩衝開關4606會將已積蓄於EB(1)4603之一方先往DEC4604傳送。此外,緩衝開關4606亦可使其VAU內之解碼開關資訊1101傳回DEC4604。屆時,緩衝開關4606會使用其解碼開關資訊1101,來決定下一個VAU應從EB(1)4603或EB(2)4610之其中何者傳送。
DEC4604與第43圖所示之DEC4304同樣係專作壓縮圖片解碼處理之硬體解碼器,尤其是以具備有其解碼處理之加速器功能的LSI所構成。DEC4604係依序將已從緩衝開關4606所傳送之壓縮圖片資料解碼。其解碼處理中,DEC4604係預先解析各VAU標題,並特定已儲存於其VAU內之壓縮圖片的壓縮編碼方式與串流屬性,且依照該等來選擇解碼方法。在此,其壓縮編碼方式包含例如MPEG-2、MPEG-4AVC、及VC1。DEC4604進一步會將已解碼之非壓縮圖片往DPB4605傳送。
DPB4605會暫時保留已解碼之非壓縮圖片。當DEC4604將P圖片及B圖片解碼時,DPB4605會依照來自DEC4604的要求,從保留中的非壓縮圖片當中搜尋參考圖片並供予DEC4604。
圖片開關4607係從DPB4605將非壓縮的各圖片依包含於原TS封包之PTS的顯示時間,寫入左影像平面記憶體4620與右影像平面記憶體4621之其中任一者。在此,屬於同3D‧VAU之基視圖片與附屬視圖片中PTS乃相等。因此,已保留於DPB4605之PTS相等的一對圖片當中,圖片開關4607先將基視圖片寫入左影像平面記憶體4620,接著將附屬視圖寫入右影像平面記憶體4621。
《平面加算部》
第47圖係平面加算部4424的功能區塊圖。如參考第47圖,平面加算部4424包含視差影像生成部4710、開關4720、四個修剪處理部4731─4734、及四個加算部4741─4744。
視差影像生成部4710係從系統目標解碼器4423接收左影像平面資料4701與右影像平面資料4702。L/R模式之再生裝置102中,左影像平面資料4701係呈現左視視頻平面,而右影像平面資料4702係呈現右視視頻平面。屆時,視差影像生成部4710將各視頻平面資料4701、4702原封不動地送往開關4720。另一方面,深度模式之再生裝置102中,左影像平面資料4701係呈現2D影像之視頻平面,而右影像平面資料4702係呈現對其2D影像之深度圖。屆時,視差影像生成部4710首先從其深度圖推算其2D影像之各部兩眼視差。接著,視差影像生成部4710將左影像平面資料4701加工,並使視頻平面之其2D影像之各部顯示位置,依照已計算之兩眼視差來左右移動。藉此,可生成呈現左視與右視之視頻平面對。再者,視差影像生成部4710將其視頻平面之對往開關4720送出作為左影像與右影像之平面資料之對。
開關4720從再生控制部4435受B-D顯示模式指示時,會將PTS相等之左影像平面資料4701與右影像平面資料4702,依其順序往第1加算部4741送出。開關4720從再生控制部4435受B-B顯示模式指示時,會將PTS相等之左影像平面資料4701與右影像平面資料4702之其中一者,依每訊框各二次地往第1加算部4741送出,並丟棄另外一者。
各修剪處理部4731-4734包含與視差影像生成部4710及開關4720之對同樣的構成。在2平面模式係利用該等構成。尤其在深度模式之再生裝置102中,來自系統目標解碼器4423之各平面資料,會藉由各修剪處理部4731-4734內之視差影像生成部而變換為左視與右視之平面資料之對。當從再生控制部4435受B-D顯示模式指示時,左視與右視之平面資料係交互地往各加算部4741-4744送出。另一方面,當從再生控制部4435受B-B顯示模式指示時,左視與右視之平面資料之其中一者係依每訊框各二 次地往各加算部4741-4744送出,並丟棄另外一者。
1平面+偏移模式中,第1修剪處理部4731係從系統目標解碼器4423接收偏移值4751,並利用其來對副影像平面資料4703進行修剪處理。藉此,其副影像平面資料4703可變換為呈現左視與右視之一對副影像平面資料並交互地送出。另一方面,1平面+零偏移模式中,其副影像平面資料4703係反覆二次地來送出。同樣地,第2修剪處理部4732係對PG平面資料4704進行修剪處理,而第3修剪處理部4733係對IG平面資料4705進行修剪處理。
圖像平面資料4706係已將已從程式執行部4434傳送到系統目標解碼器4423之圖形資料,藉由系統目標解碼器4423而解碼者。其圖形資料為JPEG或PNG等光柵資料,係呈現選單等之GUI用圖形零件。第4修剪處理部4734與其它修剪處理部4731-4733同樣進行對圖像平面資料4706之修剪處理。惟,第4修剪處理部4734與其它修剪處理部4731-4733相異,係從程式API4752-而非從系統目標解碼器4423-接受偏移值。在此,程式API4752係藉由程式執行部4434來執行。藉此,算出相當於圖形資料呈現之圖像深度的偏移值,並交予第4修剪處理部4734。
第48圖係各修剪處理部4731-4734之修剪處理的流程圖。各修剪處理部4731-4734係於接收到處理對象之平面資料時開始其修剪處理。以下,例舉第2修剪處理部4732對PG平面資料4704進行修剪處理之情況。而其它修剪處理部4731、4733、4734係分別對副影像平面資料4703、IG平面資料4705、及圖像平面資料4706進行同樣的處理。再者,當偏移值符號為正時,令「各平面資料呈現之3D影像深度比畫面前面」。
步驟S4801中,第2修剪處理部4732首先從偏移值4751之中搜尋已分配至PG平面者。接著,第2修剪處理部4732檢查已由開關4720選擇之視頻平面資料是否呈現左視。當視頻平面資料呈現左視時,處理進入步驟S4802。當視頻平面資料呈現右視時,處理進入步驟S4803。
步驟S4802中,第2修剪處理部4732使PG平面資料4704顯示之各圖形影像的顯示位置依偏移值向右變化。在此,當其偏移值符號為負時,使其顯示位置向左變化。又,由於1平面+零偏移模式中偏移值為"0",因此可原封不動地維持原本的PG平面資料4704。其後,處理進入步驟S4804。
步驟S4803中,第2修剪處理部4732使PG平面資料4704顯示之各圖形影像的顯示位置依偏移值向左變化。在此,當其偏移值符號為負時,使其顯示位置向右變化。又,由於1平面+零偏移模式中偏移值為"0",因此可原封不動地維持原本的PG平面資料4704。其後,處理進入步驟S4804。
步驟S4804中,第2修剪處理部4732將處理後的PG平面資料4704往第3修剪處理部4734送出。其後,處理結束。
第49圖(a)、(b)係顯示第2修剪處理部4732之修剪處理的示意圖。第49圖(a)、(b)係分別呈現基於正偏移值從PG平面資料4704所生成之左視與右視的PG平面資料4902L、4902R。在此,當PG平面資料4704呈現之3D影像深度比畫面前面時,令偏移值符號為正。
如參考第49圖(a),第2修剪處理部4732首先使PG平面資料4704內之各像素資料的位置從原本的位置依與偏移值相等之像素數4901L來向右變化。當偏移值符號為負時使向左變化。接著,第2修剪處理部4732會除去從PG平面資料4704的原本範圍向右(或左)超出之像素資料群4902L。藉此,剩餘的像素資料群4904L可作為左視PG平面資料來輸出。
如參考第49圖(b),第2修剪處理部4732首先使PG平面資料4704內之各像素資料的位置從原本的位置依與偏移值相等之像素數4901R來向左變化。當偏移值符號為負時使向右變化。接著,第2修剪處理部4732會除去從PG平面資料4704的原本範圍向左(或右)超出之像素資料群4902R。藉此,剩餘的像素資料群4904R可作為右視PG平面資料來輸出。
第50圖(a)、(b)、(c)係分別顯示第49圖(a)、(b)所示之左視與右視之PG平面資料呈現之2D影像─即左視與右視之PG平面、及從該等由視聽者所知覺之3D影像的示意圖。如參考第50圖(a),左視PG平面5001L係從畫面5002的範圍依偏移值4901L來向右變位。其結果,左視PG平面5001L內字幕的2D影像5003會看起來較原本的位置依偏移值4901L來向右變位。如參考第50圖(b),右視PG平面5001R反之,係從畫面5002的範圍依偏移值4901R來向左變位。其結果,右視PG平面5001R內字幕的2D影像5003會看起來較原本的位置依偏移值4901R來向左變位。在畫面5002交互地顯示該等PG平面5001L、5001R時,如第50圖(c)所示,對視聽者5004而言,字幕之3D影像5005會看起來比畫面5002前面。屆時的3D影像5005與畫面5002間之距離可藉由偏移值4901L、4901R來調節。在使PG平面資料4904內之各像素資料之位置與第50圖(a)、(b)所示之方向呈相反變化時,對視聽者5004而言字幕之3D影像5005會看起來比畫面5002後面。
如此一來,在1平面+偏移模式中可利用限幅(clipping)處理,從一個平面資料生成左視與右視之平面資料之對。藉此,僅從一個平面資料亦可顯示視差影像。換言之,可對平面圖像賦予深度感。尤其可使視聽者將其平面圖像看成宛如從畫面浮出,亦可看成宛如往畫面後方沉入。而,由於在1平面+零偏移模式中偏移值為"0",因此可原封不動地維持平面圖像。
如再參考第47圖,第1加算部4741係從開關4720接收視頻平面資料,且從第1修剪處理部4731接收副影像平面資料。屆時,第1加算部4741會將該等視頻平面資料與副影像平面資料一組一組地重疊並交予第2加算部4742。第2加算部4742係從第2修剪處理部4732接收PG平面資料,並與來自第1加算部4741之平面資料重疊而交予第3 加算部4743。第3加算部4743係從第3修剪處理部4733接收IG平面資料,並與來自第2加算部4742之平面資料重疊而交予第4加算部4744。第4加算部4744係從第4修剪處理部4734接收圖像平面資料,並與來自第3加算部4743之平面資料重疊而往顯示裝置103送出。其結果,左影像平面資料4701與右影像平面資料4702分別以第47圖箭頭4700所示之順序,與副影像平面資料4703、PG平面資料4704、IG平面資料4705、及圖像平面資料4706重疊。藉由該等合成處理,各平面資料顯示之影像在顯示裝置103的畫面上會依左影像平面或右影像平面、副影像平面、IG平面、PG平面、及圖像平面之順序顯示呈重疊。
平面加算部4724除上述處理以外,還將由四個加算部4741-4744所合成之平面資料的輸出形式配合3D影像的顯示方式來變換,前述3D影像係來自顯示裝置103等,其資料輸出對象的裝置。例如輸出對象之裝置係利用隨時間相繼分離方式時,平面加算部4724會將合成後平面資料作為一影像訊框或場來送出。另一方面,輸出對象之裝置係利用扁豆狀透鏡(lenticular lens)時,平面加算部4724會利用內建緩衝記憶體,將左視與右視之平面資料之對合成為一影像訊框或場來送出。具體而言,平面加算部4724係將已先合成的左視平面資料暫時儲存於其緩衝記憶體並加以保留。接著,平面加算部4724將右視平面資料合成,再與已保留於緩衝記憶體之左視平面資料合成。其合成中,左視與右視之各平面資料於垂直方向分割成細長之短冊形小區域,各小區域於一個訊框或場之中交互排列於橫向方向,再構成為一個訊框或場。如此一來,左視與右視之平面資料之對可合成為一影像訊框或場。平面加算部4724將其合成後影像訊框或場往輸出對象之裝置送出。
<變形例>
(A)本發明之實施形態1中,基視視頻串流係呈現左視,而附屬視視頻串流係呈現右視。反之,基視視頻串流呈現右視而附屬視視頻串流呈現左視亦可。
(B)3D影像之AV串流檔案中,於第23圖所示之PMT2310追加3D描述符亦可。3D描述符係關於3D影像再生方式中AV串流檔案全體共通之資訊,尤其包含3D方式資訊。3D方式資訊係顯示L/R模式或深度模式等3D影像之AV串流檔案之再生方式。再者,亦可在各串流資訊2303追加3D串流描述符。3D串流描述符依照包含於AV串流檔案之基本流之區別來顯示關於3D影像再生方式之資訊。尤其,視頻串流之3D串流描述符包含3D顯示型。當3D顯示型將其視頻串流所示之影像以L/R模式來顯示時,其影像係顯示為左視與右視之何者。又當3D顯示型將其視頻串流所示之影像以深度模式來顯示時,其影像係顯示為2D影像與深度圖之何者。如此一來,當PMT2310包含關於3D影像再生方式之資訊時,其影像再生系統僅從AV串流檔案即可取得其資訊。因此,這種資料結構例如以廣播波發布3D影像內容時有效。
(C)第26圖(a)所示之偏移表2441依PID之別而包含偏移入口2603表2610。偏移表此外亦可依平面之別而包含偏移入口表。屆時,可簡化3D再生裝置之偏移表的解析處理。再者,配合平面合成處理相關的3D再生裝置之性能,亦可對偏移入口之有效區間的長度設定例如1秒鐘之下限。
(D)第34圖所示之3D播放清單檔案包含一個顯示子TS之再生路徑的子通路。此外,3D播放清單檔案亦可包含複數個顯示不同子TS之再生路徑的子通路。例如,其中一方子通路的子通路型為「3D‧L/R」,而另一方子通路的子通路型為「3D深度」亦可。依循其3D播放清單檔案來再生3D影像時,可藉由在該等二種子通路間切換再生對象之子通路,使再生裝置102容易在L/R模式與深度模式之間切換。尤其,其切換處理比切換3D播放清單檔案本身之處理,可快速地實現。
3D播放清單檔案亦可包含複數個子通路型相等的子通路。例如,當對於同場景之兩眼視差相異的3D影像,以右視對共通左視之差異來表現時,在每個相異右視視頻串流會將相異檔案DEP記錄於BD-ROM光碟101。另一方面,3D播放清單檔案包含複數個子通路型為「3D‧L/R」之子通路。該等子通路係個別規定相異檔案DEP之再生路徑。此外,對於一個檔案2D,深度圖串流包含有二種類以上亦可。屆時,3D播放清單檔案係包含複數個子通路型為「3D深度」之子通路。該等子通路係個別規定包含各深度圖串流之檔案DEP之再生路徑。依循前述3D播放清單檔案來再生3D影像時,再生對象之子通路可例如依使用者操作而快速地切換,因此可使其兩眼視差變化而不會造成3D影像實質上斷斷續續。藉此,可簡單地讓使用者選擇所期望之兩眼視差的3D影像。
(E)在層邊界前後之再生路徑的分離
第51圖(a)係顯示已記錄於層邊界LB前後之延伸區塊5101、5102的示意圖。如參考第51圖(a),位於層邊界LB前面的第1延伸區塊5101包含附屬視資料塊群…、D[0]、D[1],及基視資料塊群…、B[0]、B[1]。另一方面,位於層邊界LB後面的第2延伸區塊5102包含附屬視資料塊群D[2]、D[3]、…,及基視資料塊群B[2]、B[3]、…。位於第1延伸區塊5101後端之資料塊之對D[1]、B[1],與位於第2延伸區塊5102前端之資料塊之對D[2]、B[2]之間,各串流資料內容係連續一起。為了無縫連結該等之間,將各資料塊與第1延伸區塊5101之大小滿足上述條件1-4即可。
如參考第51圖(a),各資料塊可作為檔案2D5110、檔案DEP5112、及檔案SS5120之其中任一延伸區來存取。尤其,基視資料塊B[n](n=…、0、1、2、3、…)為檔案2D5110與檔案SS5120所分享。此情況下,2D再生模式之再生裝置102會再生檔案2D5110,而3D再生模式之再生裝置102會再生檔案SS5120。因此,基視資料塊B[n]亦可從任一再生模式之再生裝置102來存取。
第51圖(b)係顯示對於延伸區塊5101、5102之2D再生模式之再生路徑5130與3D再生模式中之再生路徑5140的示意圖。如參考第51圖(b),再生路徑5130、5140皆係在遠跳JLY 的瞬間前通過第1延伸區塊5101內最後的基視資料塊B[1]。換言之,其基視資料塊B[1]係從2D再生模式之再生裝置102作為第二項2D延伸區EXT2D[1]來讀出,而從3D再生模式之再生裝置102則作為延伸區SSEXTSS[0]內最後的資料塊來讀出。因此,為使再生裝置102在遠跳JLY 前後皆可無縫地再生2D影像與3D影像,其基視資料塊B[1]作為2D延伸區EXT2D[1]滿足條件1,且作為基視延伸區EXT1[1]滿足條件2即可。
遠跳JLY 中應由系統目標解碼器處理之資料量,在2D再生模式中係可藉由條件1以其基視資料塊B[1]單體之大小來確保。另一方面,在3D再生模式中係可藉由條件4以第1延伸區塊5101全體之大小來確保。因此,藉由條件1對基視資料塊B[1]所要求之最小延伸區大小minSEXT2D [1],一般比藉由條件2之最小延伸區大小minSEXT1 [1]來得大。故,第1讀取緩衝器4421之容量必須比3D再生模式中之無縫再生必要最小限度之值來得大。再者,其基視資料塊B[1]與位於其正前方之附屬視資料塊D[1]中,延伸區ATC時間相等。因此,其附屬視資料塊D[1]之大小SEXT2 [1],一般比藉由條件2對其資料塊D[1]所要求之最小延伸區大小minSEXT2 [1]來得大。故,第2讀取緩衝器4422之容量一般比3D再生模式中之無縫再生必要最小限度之值來得大。如此一來,在第51圖(a)所示之配置中,二個延伸區塊5101、5102間的無縫連結是可行,但讀取緩衝器4421、4422之容量必須確保夠大。
為了在遠跳JLY 中之無縫再生影像可行的狀態下,更加削減讀取緩衝器4421、4422之容量,則在層邊界LB等需要其遠跳JLY 之位置前後,將資料塊群之配置從交插配置變更,並在2D再生模式與3D再生模式之間分離再生路徑即可。前述變更模式有例如以下所述之二種配置1、2。配置1、2中,再生路徑皆係在遠跳JLY 的瞬間前,依每個動作模式通過不同的基視資料塊。其結果,同後述係使再生裝置102將讀取緩衝器4421、4422之容量維持在必要最小限度的情況下,使遠跳JLY 中之影像的無縫再生可簡單地實現。
(E-1)配置1
第52圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後的資料塊群之物理性配置第1例的示意圖。以下,該配置稱為「配置1」。如參考第52圖,層邊界LB前方配置有第1延伸區塊5201,而層邊界LB後方配置有第2延伸區塊5202。各延伸區塊5201、5202內,附屬視資料塊D[n]與基視資料塊B[n]構成為交插配置(n=…、0、1、2、3、…)。尤其,第n項資料塊之對D[n]、B[n]中,延伸區ATC時間相等。再者,配置1中第1延伸區塊5201之後端B[1]與層邊界LB之間配置有一個基視資料塊B[2]2D 。其基視資料塊B[2]2D 與第2延伸區塊5202內之前端基視資料塊B[2]SS 在位元單位(bit-for-bit)上一致。以下,前者B[2]2D 稱為「2D再生專用塊」,後者B[2]SS 稱為「SS再生專用塊」。
第52圖所示之基視資料塊當中,除SS再生專用塊B[2]SS 以外,可作為檔案2D5210之延伸區─即2D延伸區EXT2D[‧]─來存取。例如第1延伸區塊5201內之倒數第二項基視資料塊B[0]、最後基視資料塊B[1]與2D再生專用塊B[2]2D 之對B[1]+B[2]2D 、及第2延伸區塊5202內之第二項基視資料塊B[3]可分別作為單一的2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]來存取。另一方面,第52圖所示之附屬視資料塊D[n](n=…、0、1、2、3、…)可分別作為檔案DEP5212之單一延伸區─即附屬視延伸區EXT2[n]─來存取。
第52圖所示之資料塊群中,AV串流檔案之交叉連接可如下述而實現。各延伸區塊5201、5202之全體可作為檔案SS5220之單一延伸區EXTSS[0]、EXTSS[1]來存取。因此,各延伸區塊5201、5202內之基視資料塊B[0]、B[1]、B[3]係由檔案2D5210與檔案SS5220所分享。相對於前述,2D再生專用塊B[2]2D 僅可作為位於層邊界LB正前方之2D延伸區EXT2D[1]的一部分來存取。另一方面,SS再生專用塊B[2]SS 僅可作為層邊界LB正後方之延伸區SSEXTSS[1]的一部份來存取。故,2D再生專用塊B[2]2D 以外的基視資料塊B[0]、B[1]、B[2]SS 、B[3]可作為檔案庫5211之延伸區─即基視延伸區EXT1[n](n=0、1、2、3)─從延伸區SSEXTSS[0]、EXTSS[1]來抽出。
第53圖係顯示對於第52圖所示之配置1的資料塊群之,2D再生模式中之再生路徑5310與3D再生模式中之再生路徑5320的示意圖。
2D再生模式之再生裝置102係再生檔案2D5210。因此,同2D再生模式中之再生路徑5310顯示,首先讀取第1延伸區塊5201內倒數第二項基視資料塊B[0]來作為最初的2D延伸區EXT2D[0],並以最初的跳越J2D 1略過其正後方的附屬視資料塊D[1]之讀出。接著,連續讀出第1延伸區塊5210內之最後基視資料塊B[1]與其正後方的2D再生專用塊B[2]2D 之對B[1]+B[2]2D ,來作為第二項2D延伸區EXT2D[1]。在其正後方的層邊界LB中會產生遠跳JLY ,略過位於第2延伸區塊5202前端之三個資料塊D[2]、B[2]SS 、D[3]之讀出。接下來,讀出第2延伸區塊5202內之第二項基視資料塊B[3]來作為第三項2D延伸區EXT2D[2]。
3D再生模式之再生裝置102係再生檔案SS5220。因此,同3D再生模式中之再生路徑5320顯示,首先連續讀出第1延伸區塊5201全體來作為最初的延伸區SSEXTSS[0]。其後立即產生遠跳JLY ,略過2D再生專用塊B[2]2D 之讀出。接下來,連續讀出第2延伸區塊5202全體來作為第二項延伸區SSEXTSS[1]。
如第53圖所示,在2D再生模式中,雖可讀出2D再生專用塊B[2]2D ,但會略過SS再生專用塊B[2]SS 之讀出。反之在3D再生模式中,係略過2D再生專用塊B[2]2D 之讀出而可讀出SS再生專用塊B[2]SS 。但,兩者之資料塊B[2]2D 、B[2]SS 在位元單位上一致,因此在任一再生模式所再生之基視視頻訊框皆相等。如此一來,在配置1中在遠跳JLY 前後,2D再生模式中之再生路徑5310與3D再生模式中之再生路徑5320係分離的。因此,與第51圖(a)所示之配置相異,位於層邊界LB正前方之2D延伸區EXT2D[1]之大小SEXT2D [1]與其正前方之附屬視資料塊D[1]之大小SEXT2 [1]可如下個別地決定。
其2D延伸區EXT2D[1]之大小SEXT2D [1]等於基視資料塊B[1]之大小SEXT1 [1]與2D再生專用塊B[2]2D 之大小S2D 之和SEXT1 [1]+S2D 。因此,為了無縫再生2D影像,首先其和SEXT1 [1]+S2D 滿足條件1即可。在此,式(1)之右邊代入遠跳JLY 之最大跳越時間Tjump_max 來作為跳越時間Tjump-2D 。接著,從2D再生專用塊B[2]2D 後端到第2延伸區塊5202內之最初2D延伸區EXT2D[2]=B[3]為止之扇區數,在配合2D再生裝置能力所規定之遠跳JLY 之最大跳越距離Sjump_max 以下即可。
另一方面,為了無縫再生3D影像,首先位於最初延伸區SSEXTSS[0]後端的附屬視資料塊D[1]與基視資料塊B[1]之各大小SEXT2 [1]、SEXT1 [1]滿足條件3、2即可。在此,不論遠跳JLY 之產生,於式(3)、(2)之各右邊代入零扇區遷移時間之典型值,來作為零扇區遷移時間TJUMP0 [2n+1]、TJUMP0 [2n+2]即可。接著,最初延伸區SSEXTSS[0]之大小滿足條件4即可。再者,從其延伸區SSEXTSS[0]後端到下一個延伸區SSEXTSS[1]前端為止之扇區數,在配合3D再生裝置能力所規定之遠跳JLY 之最大跳越距離Sjump_max 以下即可。
位於層邊界LB正前方之2D延伸區EXT2D[1]當中,由最初延伸區SSEXTSS[0]所分享者,僅有位於前側之基視資料塊B[1]。因此,藉由適當擴充2D再生專用塊B[2]2D 之大小S2D ,可將2D延伸區EXT2D[1]之大小SEXT2D [1]=SEXT1 [1]+S2D 維持在一定的情況下,將基視資料塊B[1]之大小SEXT1 [1]限制得更小。屆時,其基視資料塊B[1]之延伸區ATC時間可短縮。故,亦可將位於其正前方之附屬視資料塊D[1]之大小SEXT2 [1]限制得更小。
在此,SS再生專用塊B[2]SS 與2D再生專用塊B[2]2D 在位元單位上一致,因此2D再生專用塊B[2]2D 之大小S2D 的擴大,將使位於SS再生專用塊B[2]SS 正前方之附屬視資料塊D[2]之大小擴大。但,其大小可較第51圖(a)所示之位於層邊界LB正前方之附屬視資料塊D[1]之大小還要來得小。如此一來,可使3D再生模式之再生裝置102內所應確保之讀取緩衝器4421、4422之容量,進一步地接近3D影像無縫再生必要最小限度之值。其結果,在配置1中,可將應確保於再生裝置102內之讀取緩衝器的容量抑制在必要最小限度之狀態下,設計各資料塊之大小來使2D影像與3D影像皆無縫地再生於遠跳中。
在配置1中,配置有2D再生專用塊B[2]2D 之複製資料來作為第2延伸區塊5202中單一SS再生專用塊B[2]SS 。此外,其複製資料亦可分割成二個以上之SS再生專用塊而配置。
(E─2)配置2
第54圖係顯示已記錄於BD─ROM光碟101之層邊界LB前後之資料塊群之物理性配置第2例的示意圖。以下,該配置稱為「配置2」。如將第54圖與第52圖比較,配置2與配置1主要在包含SS再生專用塊B[2]SS 、B[3]SS 之延伸區塊5402為配置於層邊界LB之正前方之一點上不同。
如參考第54圖,於層邊界LB之前,依序配置有第1延伸區塊5401、2D再生專用塊(B[2]+B[3])2D 、及第2延伸區塊5402,而於層邊界LB之後則配置有第3延伸區塊5203。在各延伸區塊5201、5202、5203內,附屬視資料塊D[n]與基視資料塊B[n]構成有交插配置(n=…、0、1、2、3、4、...)。尤其在第n項資料塊之對D[n]、B[n]中,延伸區ATC時間相等。在第2延伸區塊5402中,位於第1延伸區塊5401後端之資料塊D[1]、B[1],及位於第3延伸區塊5403前端之資料塊D[4]、B[4],各串流資料內容皆連續一起。包含於第2延伸區塊5402之基視資料塊皆為SS再生專用塊B[2]SS 、B[3]SS ,該等全體B[2]SS +B[3]SS 與位於其前面之2D再生專用塊(B[2]+B[3])2D 在位元單位上一致。
第54圖所示之基視資料塊當中,除SS再生專用塊B[2]SS 、B[3]SS 以外,可作為檔案2D5410之延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]來存取。尤其第1延伸區塊5401內之最後基視資料塊B[1]與2D再生專用塊(B[2]+B[3])2D 之對B[1]+(B[2]+B[3])2D 可作為單一2D延伸區EXT2D[1]來存取。再者,除第2延伸區塊5402以外之延伸區塊5401、5403內之基視資料塊B[0]、B[1]、B[4],可作為檔案庫5411之延伸區EXT1[0]、EXT1[1]、EXT1[4]從檔案SS5420之延伸區EXTSS[0]、EXTSS[1]抽出。相對地,2D再生專用塊(B[2]+B[3])2D 僅可作為2D延伸區EXT2D[1]之一部分來存取。另一方面,SS再生專用塊B[2]SS 、B[3]SS 分別可作為基視延伸區EXT1[2]、EXT1[3]從延伸區SSEXTSS[1]抽出。
第55圖係顯示對於第54圖所示之配置2的資料塊群之,2D再生模式中之再生路徑5510與3D再生模式中之再生路徑5520的示意圖。
2D再生模式之再生裝置102係再生檔案2D5410。因此,同2D再生模式中之再生路徑5510顯示,首先讀出第1延伸區塊5401內之倒數第二項基視資料塊B[0],來作為最初之2D延伸區EXT2D[0],並由最初的跳越J2D 1略過其正後方之附屬視資料塊D[1]之讀出。接著,連續讀出第1延伸區塊5401內之最後基視資料塊B[1]與其正後方之2D再生專用塊(B[2]+B[3])2D 之對B[1]+(B[2]+B[3])2D 來作為第二項2D延伸區EXT2D[1]。其後立即產生遠跳JLY ,並略過第2延伸區塊5402之讀出,及位於第3延伸區塊5403前端之附屬視資料塊D[4]之讀出。接下來,讀出第3延伸區塊5403內之最初基視資料塊B[4]來作為第三項2D延伸區EXT2D[2]。
3D再生模式之再生裝置102係再生檔案SS5420。因此,同3D再生模式中之再生路徑5520顯示,首先連續讀出第1延伸區塊5401全體來作為第1延伸區SSEXTSS[0]。其後立即產生跳越JEX ,並略過2D再生專用塊(B[2]+B[3])2D 之讀出。接著,連續讀出第2延伸區塊5402全體來作為第2延伸區SSEXTSS[1]。其後立即產生用以超越層邊界LB之遠跳JLY 。接下來,連續讀出第3延伸區塊5403全體來作為第3延伸區SSEXTSS[2]。
同第55圖所示,2D再生模式中雖可讀出2D再生專用塊(B[2]+B[3])2D ,但會略過SS再生專用塊B[2]SS 、B[3]SS 之讀出。反之3D再生模式中,雖可略過2D再生專用塊(B[2]+B[3])2D 之讀出,但會讀取SS再生專用塊B[2]SS 、B[3]SS 。但,2D再生專用塊(B[2]+B[3])2D 與SS再生專用塊全體B[2]SS +B[3]SS 在位元單位上一致,因此在任一再生模式中所再生之基視視頻訊框皆相等。如此一來,配置2中在遠跳JLY 前後,2D再生模式中之再生路徑5510與3D再生模式中之再生路徑5520係分離的。因此,位於層邊界LB正前方之2D延伸區EXT2D[1]之大小SEXT2D [1]與其正前方之附屬視資料塊D[1]之大小SEXT2 [1]可如下個別決定。
其2D延伸區EXT2D[1]之大小SEXT2D [1],等於基視資料塊B[1]之大小SEXT1 [1]與2D再生專用塊(B[2]+B[3])2D 之大小S2D 之和SEXT1 [1]+S2D 。因此,為了無縫再生2D影像,首先其和SEXT1 [1]+S2D 滿足條件1即可。在此,於式(1)右邊代入遠跳JLY 之最大跳越時間Tjump_max 來作為跳越時間Tjump_2D 。接著,從2D再生專用塊(B[2]+B[3])2D 後端到第3延伸區塊5403內之最初2D延伸區EXT2D[2]=B[4]為止之扇區數,在配合於2D再生裝置能力所規定之遠跳JLY 之最大跳越距離Sjump_max 以下即可。
另一方面,為了無縫再生3D影像,首先位於第1延伸區SSEXTSS[0]後端之附屬視資料塊D[1]與基視資料塊B[1]之各大小SEXT2 [1]、SEXT1 [1]滿足條件3、2即可。在此,不論跳越JEX 之產生,於式(3)、(2)之各右邊代入零扇區遷移時間之典型值來作為零扇區遷移時間TJUMP0 [2n+1]、TJUMP0 [2n+2]即可。接著,位於第2延伸區SSEXTSS[1]後端之附屬視資料塊D[3]與SS再生專用塊B[3]SS 之各大小SEXT2 [3]、SEXT1 [3]滿足條件3、2即可。在此,不論遠跳JLY 之產生,於式(3)、(2)之各右邊代入零扇區遷移時間之典型值來作為零扇區遷移時間TJUMP0 [2n+1]、TJUMP0 [2n+2]即可。
2D延伸區EXT2D[1]當中,由延伸區SSEXTSS[1]所分享者乃僅有位於前側之基視資料塊B[1]。因此,可藉由適當擴大2D再生專用塊(B[2]+B[3])2D 之大小S2D ,將2D延伸區EXT2D[1]之大小SEXT2D [1]=SEXT1 [1]+S2D 維持在一定之情況下,將基視資料塊B[1]之大小SEXT1 [1]限制得更小。隨此,亦可將其正前方之附屬視資料塊D[1]之大小SEXT2 [1]限制得更小。
在此,3D再生專用塊全體B[2]SS +B[3]SS 與2D再生專用塊(B[2]+B[3])2D 在位元單位上一致。因此,若2D再生專用塊(B[2]+B[3])2D 之大小S2D 擴大,則位於各3D再生專用塊B[2]SS 、B[3]SS 正前方之附屬視資料塊D[2]、D[3]之大小便擴大。但,對於一個2D再生專用塊(B[2]+B[3])2D ,3D再生專用塊係分割成二個B[2]SS 、B[3]SS 。其結果,可將各3D再生專用塊B[2]SS 、B[3]SS 之大小作得夠小。如此一來,各讀取緩衝器4421、4422之容量可再削減到3D影像無縫再生必要最小限度之值。
再者,為了無縫再生3D影像,使第1延伸區SSEXTSS[0]之大小SEXTSS [0]與第2延伸區SSEXTSS[1]之大小SEXTSS [1],取代條件4而分別滿足以下所述之條件A1、A2即可。
第56圖係顯示從延伸區塊5401-5403連續無縫再生3D影像時,積蓄於各讀取緩衝器4421、4422之資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。第56圖中,一點鏈線圖表係顯示積蓄於第1讀取緩衝器4421之資料量DA1的變化,而虛線圖表係顯示積蓄於第2讀取緩衝器4422之資料量DA2的變化,且實線圖表係顯示兩資料量之和DA1+DA2的變化。在此,其和DA1+DA2實際上係隨每讀出一個資料塊而細微地變化。但,實線圖表係平均其細微變化而近似於直線者。再者,若將零扇區遷移時間TJUMP0 與一個延伸區塊全體之讀出期間PRBLK [0]之長度比較,乃可充分忽視,因此在第56圖中零扇區遷移時間TJUMP0 視為"0"。
如參考第56圖,在讀出第1延伸區塊5401之期間PRBLK [0],積蓄資料量之和DA1+DA2係以等於讀出速度RUD72 與平均傳送速度REXTSS [0]之間的差RUD72 -REXTSS [0]之速度增加。在此,其平均傳送速度REXTSS [0]係作為第1延伸區塊5401全體之大小-即延伸區SSEXTSS[0]之大小SEXTSS [0]-除以其延伸區ATC時間TEXTSS [0]之值來評估。將第1延伸區塊5401之後端基視資料塊B[1]讀入第1讀取緩衝器4421後立刻產生跳越JEX ,並略過2D再生專用塊(B[2]+B[3])2D 之讀出。在跳越JEX 期間PJEX ,積蓄資料量之和DA1+DA2係以平均傳送速度REXTSS [0]減少。接下來,在讀出第2延伸區塊5402之期間PRBLK [1],積蓄資料量之和DA1+DA2係以等於讀出速度RUD72 與平均傳送速度REXTSS [1]之間的差RUD72 -REXTSS [1]之速度增加。在此,其平均傳送速度REXTSS [1]係作為第2延伸區塊5402全體之大小─即延伸區SSEXTSS[1]之大小SEXTSS [1]─除以其延伸區ATC時間TEXTSS [1]之值來評估。將第2延伸區塊5402之後端SS再生專用塊B[3]SS 讀入第1讀取緩衝器4421後立即產生遠跳JLY 。在其期間PJLY ,積蓄資料量之和DA1+DA2係以平均傳送速度REXTSS [1]減少。在此,積蓄資料量之和DA1+DA2係至少在跳越JEX 之瞬間前與遠跳JLY 之瞬間前之任一者中達到最大值。藉由將其最大值調節到足夠大,可在跳越JEX 之期間PJEX 與遠跳JLY 之期間PJLY 兩者,防止讀取緩衝器4421、4422之欠位。其結果,可無縫連結三個延伸區塊5401、5402、5403。
積蓄資料量之和DA1+DA2之最大值係決定於位於各跳越JEX 、JLY 前方之延伸區塊5401、5402之大小。因此,為了無縫連結三個延伸區塊5401-5403,僅需前二個延伸區塊5401、5402之大小滿足以下條件即可。
位於各延伸區塊5401、5402、5403前端之附屬視資料塊D[0]、D[2]、D[4]之讀出期間PRD [0]、PRD [2]、PRD [4]中進行預載。因此,首先為了防止跳越JEX 中之兩讀取緩衝器4421、4422之欠位,第1延伸區SSEXTSS[0]之延伸區ATC時間TEXTSS [0]至少與從第1延伸區塊5401中之預載期間PRD [0]之結束時間點T0到第2延伸區塊5402中之預載期間PRD [2]之結束時間點T1為止的期間之長度相等即可。如從第56圖可知,期間T0-T1之長度等於第1延伸區塊5401之讀出期間PRBLK [0]之長度SEXTSS [0]/RUD72 ,加上跳越JEX 之跳越時間TJUMP-EX ,及延伸區塊5401、5402間之預載期間PRD [0]、PRD [2]之長度差TDIFF [0]=SEXT2 [2]/RUD72 -SEXT2 [0]/RUD72 之值。因此,第1延伸區SSEXTSS[0]之大小SEXTSS [0]滿足下式(7)即可:
[數7]
其次,為了防止遠跳JLY 中之兩讀取緩衝器4421、4422之欠位,第1延伸區SSEXTSS[0]與第2延伸區SSEXTSS[1]之延伸區ATC時間之和TEXTSS [0]+TEXTSS [1]至少等於從第1延伸區塊5401中之預載期間PRD [0]之結束時間點T0,到第3延伸區塊5403中之預載期間PRD [4]之結束時間點T2為止之期間長度即可。如從第56圖可知,期間T0-T2之長度等於,期間T0-T1之長度加上第2延伸區塊5402之讀出期間PRBLK [1]之長度SEXTSS [1]/RUD72 、遠跳JLY 之跳越時間TJUMP-LY 、及延伸區塊5402、5403間之預載期間PRD [2]、PRD[4]之長度差TDIFF [1]=SEXT2 [4]/RUD72 -SEXT2 [2]/RUD72 之值。因此,二個延伸區SSEXTSS[0]、EXTSS[1]之大小SEXTSS [0]、SEXTSS [1]滿足下式(8)即可:
[數8]
在此,3D再生專用塊全體B[2]SS +B[3]SS 與2D再生專用塊(B[2]+B[3])2D 在位元單位上一致。因此,在有效利用BD-ROM光碟101上之記錄區域一點而言,第2延伸區SSEXTSS[1]之大小SEXTSS [1]為必要最小限度為佳。同時滿足式(7)、(8),且可用以將第2延伸區SSEXTSS[1]之大小SEXTSS [1]抑制在最小限度之條件為以下A1、A2:條件A1係「第1延伸區SSEXTSS[0]之大小SEXTSS [0]滿足下式(9)」者;條件A2係「第2延伸區SSEXTSS[1]之大小SEXTSS [1]滿足下式(10)」者。
[數9]
此外,從第1延伸區SSEXTSS[0]後端到第2延伸區SSEXTSS[1]前端為止之扇區數,在配合3D再生裝置能力所規定之跳越JEX 之最大跳越距離Sjump_max 以下即可。同樣地,從第2延伸區SSEXTSS[1]後端到第3延伸區SSEXTSS[2]前端為止之扇區數,在配合3D再生裝置能力所規定之遠跳JLY 之最大跳越距離Sjump_max 以下即可。
如此一來,在配置2中,可將應確保於再生裝置102內之讀取緩衝器容量抑制在必要最小限度之情況下,設計各資料塊之大小來使2D影像與3D影像之任一者可無縫地再生。
配置2中,2D再生專用塊(B[2]+B[3])2D 之複製資料係分割成二個SS再生專用塊B[2]SS 、B[3]SS 所配置。此外,其複製資料亦可為單一SS再生專用塊,或亦可分割成三個以上之SS再生專用塊而配置。
(F)超延伸區塊
第13圖所示之延伸區塊1301、1302、1303中,二種資料塊D[n]、B[n](n=0、1、2、3、…)構成交插配置。此外,一種基視資料塊與二種以上之附屬視資料塊亦可構成交插配置。
第57圖係顯示已配置於BD-ROM光碟101上之三種資料塊Dn、Rn、Ln(n=0、1、2、…)、與參考各資料塊之AV串流檔案之間對應關係的示意圖。如參考第57圖,三種資料塊Dn、Rn、Ln係沿著BD-ROM光碟101上之磁軌一個個交互地連續配置。基視資料塊Ln包含主TS,尤其主要視頻串流係呈現3D影像之左視。右視資料塊Rn包含第1子TS,尤其主要視頻串流係呈現3D影像之右視。深度圖資料塊Dn包含第2子TS,尤其主要視頻串流係呈現3D影像之左視的深度圖。相鄰接之三種資料塊Dn、Rn、Ln間,延伸區ATC時間相等。再者,在延伸區ATC時間相等之資料塊的各組合中,資料塊係依資料量小之順序排列。換言之,係依深度圖資料塊Dn、右視資料塊Rn、及基視資料塊Ln之順序排列。以下,該種配置之資料塊群Dn、Rn、Ln稱為「超延伸區塊」5700。
各基視資料塊Ln可作為檔案2D5710之一個延伸區-即2D延伸區EXT2D[n]─來存取。各右視資料塊Rn可作為第1檔案DEP5712之一個延伸區─即右視延伸區EXT2[n]─來存取。各深度圖資料塊Dn可作為第2檔案DEP5713之一個延伸區-即深度圖延伸區EXT3[n]─來存取。再者,相鄰接之右視資料塊Rn與基視資料塊Ln之各對係構成一個延伸區塊,而可作為檔案SS5720之一個延伸區─即延伸區SSEXTSS[n]─來存取。尤其,位於各資料塊Rn、Ln前頭之VAU屬於同3D‧VAU。且,一連串的超延伸區塊5700全體可作為全新的AV串流檔案5730之一個延伸區EXTSP[0]來存取。換言之,可從其全新AV串流檔案5730之檔案入口瞭解超延伸區塊5700前頭之LBN與其全體大小。以下,該檔案5730稱為「檔案超(SP)」,其延伸區EXTSP[0]稱為「延伸區SP」。
(F-1)對於超延伸區塊之再生路徑
第58圖係顯示對於超延伸區塊5700之2D再生模式、L/R模式、及超模式之各個中的再生路徑5801、5802、5803的示意圖。在此,「超模式」意指一種3D再生模式,係可利用檔案SP來快速切換L/R模式與深度模式之動作模式。第1圖所示之再生裝置102係可對應於超模式者亦可。
2D再生模式之再生裝置102係再生檔案2D5710。因此,同2D再生模式中之再生路徑5801顯示,基視資料塊Ln(n=…、0、1、2、…)係從超延伸區塊5800依序作為2D延伸區EXT2D[n]來讀出。另一方面,深度圖資料塊Dn與右視資料塊Rn之讀出係由跳越J2D n而略過。
L/R模式之再生裝置102係再生檔案SS5720。因此,同L/R模式中之再生路徑5802顯示,各延伸區塊Rn+Ln係從超延伸區塊5800依序作為延伸區SSEXTSS[n]來讀出。另一方面,深度圖資料塊Dn之讀出係由跳越JLR n而略過。
超模式之再生裝置102係再生檔案SP5730。因此,同超模式中之再生路徑5803顯示,超延伸區塊5800全體係作為一個延伸區SPEXTSP[0]來連續讀出。在此,在其再生路徑5803中,與第16圖所示之3D再生模式中之再生路徑1602相同,從各資料塊後端到下一個資料塊前端為止之間進行零扇區遷移亦可。
當將超延伸區塊5700作為延伸區SPEXTSP[0]來讀入時,再生裝置102係從檔案SP5730之檔案入口讀出其延伸區SPEXTSS[0]前端之LBN與其大小,並交予BD-ROM驅動機。BD-ROM驅動機係從其LBN依序連續讀出其大小資料。該等處理與利用檔案SS來讀入資料塊群之處理相同,BD-ROM驅動機之控制在以下二點(A)、(B)而言很簡單:(A)再生裝置102僅需利用一處的檔案入口來依序參考各延伸區即可;(B)由於讀入對象之延伸區的總數很少,因此應交予BD-ROM驅動機之LBN與大小之對的總數很少。
超模式之再生裝置102係在讀入延伸區SPEXTSP[0]後,從其將三種資料塊分離並個別積蓄於讀取緩衝器。如此一來,三種資料塊在再生裝置102內可維持可往解碼器供給之狀態。其結果,再生裝置102可快速地切換L/R模式與深度模式。在此,資料塊之分離處理係利用剪輯資訊檔案內之延伸區起點。具體而言,首先對應於檔案2D5710之2D剪輯資訊檔案、對應於第1檔案DEP5712之右視剪輯資訊檔案、及對應於第2檔案DEP5713之深度圖剪輯資訊檔案分別包含與第27圖(a)、(b)所示之延伸區起點同樣的延伸區起點。接著,藉由以與第27圖(e)所示之方法同樣的方法來利用該等延伸區起點,可從延伸區SPEXTSP[0]抽出檔案庫5711之延伸區─即基視延伸區EXT1[n]、右視延伸區EXT2[n]、及深度圖延伸區EXT3[n]。
(F-2)資料塊之大小
為了從超延伸區塊5700將2D影像與3D影像之任一者無縫再生,資料塊Dn、Rn、Ln、延伸區塊Rn+Ln、及超延伸區塊5700之個別大小滿足以下基於再生裝置102性能之條件即可。
[基於2D再生模式性能之條件]
假想第17圖所示之再生處理系統來作為2D再生模式之再生裝置。第59圖(a)係顯示在2D再生模式的動作中,積蓄於讀取緩衝器1721之資料量DA之變化的圖表。第59圖(b)係顯示再生對象之超延伸區塊5910與2D再生模式中之再生路徑5920之間對應關係的示意圖。如參考第59圖(b),從超延伸區塊5910係依循再生路徑5920,從BD-ROM光碟101讀出各基視資料塊Ln到讀取緩衝器1721來作為一個2D延伸區EXT2D[n]。如參考第59圖(a),在各2D延伸區EXT2D[n]之讀出期間PR2D [n]中,積蓄資料量DA係以等於讀出速度RUD54 與平均傳送速度REXT2D [n]之間的差RUD54 -REXT2D [n]的速度增加。另一方面,二個連續2D延伸區EXT2D[n-1]、EXT2D[n]之間會產生跳越J2D [n]。在其跳越期間PJ2D [n]會略過附屬視資料塊Dn、Rn之讀出,因此積蓄資料量DA係以平均傳送速度REXT2D [n]來減少。故,為了從超延伸區塊5910無縫再生2D影像,首先滿足上述條件1即可。換言之,各2D延伸區EXT2D[n]之大小SEXT2D [n]滿足式(1)即可:
[數10]
在此,應代入式(1)之跳越時間TJUMP-2D [n]係以二個參數TJ[n]、TL[n]之和決定:TJUMP-2D [n]=TJ[n]+TL[n]。例如在第19圖之表中,第1參數TJ[n]等於從第n項2D延伸區EXT2D[n]後端到第(n+1)項2D延伸區EXT2D[n+1]前端為止之扇區數,即對應於跳越J2D [n]之跳越距離SJUMP 之最大跳越時間TJUMP_MAX 。第2參數TL[n]於2D延伸區EXT2D[n]、EXT2D[n+1]間,若無層邊界LB即呈現0,若有則層切換時間即呈現如350m秒。
其次,二個2D延伸區EXT2D[n]、EXT2D[n+1]之間隔在對應於第1參數TJ[n]之最大跳越距離SJUMP_MAX 以下即可。
[基於3D再生模式性能之條件]
假想第20圖所示之再生處理系統來作為3D再生模式之再生裝置。第60圖(a)、(b)係顯示當L/R模式之再生裝置從超延伸區塊6010無縫再生3D影像時,積蓄於各讀取緩衝器2021、2022之資料量DA1、DA2之變化的圖表。第60圖(c)係顯示前述超延伸區塊6010與L/R模式中之再生路徑6020之間對應關係的示意圖。而,以下說明對深度模式亦同樣成立。例如,將右視資料塊Rk之大小換讀成深度圖資料塊Dk之大小,且將右視傳送速度REXT2 [k]換讀成深度圖傳送速度REXT3 [k]即可。
如參考第60圖(c),相鄰接之右視資料塊Rk與基視資料塊Lk之各對(k=...、n、n+1、n+2、…)構成一個延伸區塊Rk+Lk。從超延伸區塊6010係依循再生路徑6020,從BD-ROM光碟101涵括讀取各延伸區塊Rk+Lk到開關2020來作為一個延伸區SSEXTSS[k]。再者,以開關2020從各延伸區SSEXTSS[k]分離右視延伸區Rk與基視延伸區Lk,並交互地往各讀取緩衝器2021、2022送出。如參考第60圖(a)、(b),在右視延伸區EXT2[k]之讀出期間PRD [k]中,第1讀取緩衝器2021之積蓄資料量DA1係以基視傳送速度REXT1 [k]減少,而第2讀取緩衝器2022之積蓄資料量DA2係以等於讀出速度RUD72 與右視傳送速度REXT2 [k]之間的差RUD72 -REXT2 [k]的速度增加。反之,在基視延伸區EXT1[k]之讀出期間PRB [k]中,第1讀取緩衝器2021之積蓄資料量DA1係以等於讀出速度RUD72 與基視傳送速度REXT1 [k]之間的差RUD72 -REXT1 [k]的速度增加,而第2讀取緩衝器2022之積蓄資料量DA2係以右視傳送速度REXT2 [k]減少。
另一方面,相鄰接之延伸區SSEXTSS[n]、EXTSS[n+1]之間會產生跳越JLR [n]。跳越期間PJLR [n]會略過深度圖資料塊D(n+1)之讀出,因此積蓄資料量DA1、DA2係以平均傳送速度REXT1 [n]、REXT12 [n]減少。
為了從各延伸區SSEXTSS[n]無縫再生3D影像,滿足上述條件2─4即可。換言之,各基視延伸區EXT1[n]之大小SEXT1 [n]滿足式(2)、各右視延伸區EXT2[n]之大小SEXT2 [n]滿足式(3)、而各延伸區SSEXTSS[n]之大小SEXTSS [n]滿足式(6):
[數11]
在此,應代入式(6)右邊之跳越時間TJUMP [n]等於如在第19圖之表中,從第n項延伸區SSEXTSS[n]後端到第(n+1)項延伸區SSEXTSS[n+1]前端為止之扇區數,即對應於跳越JLR [n]之跳越距離SJUMP 之最大跳越時間TJUMP_MAX 。再者,變數TDIFF [n]等於預載期間PRR [n]、PRR [n+1]之長度差:TDIFF [n]=SEXT2 [n+1]/RUD72 -SEXT2 [n]/RUD72
此外,為了儘可能縮小第1讀取緩衝器2021之容量,基視資料塊Ln之大小SEXT1 [n]在2D延伸區EXT2D[n]之最小延伸區大小之下限值以下即可。換言之,其大小SEXT1 [n]滿足式(4):
[數12]
又,第n項資料塊之組合Dn、Rn、Ln中,延伸區ATC時間相等,因此各資料塊Dn、Rn、Ln之大小SEXTm [n](m=3、2、1)滿足式(5):
[數13]
[基於超模式性能之條件]
第61圖係顯示超模式之再生裝置內之再生處理系統的方塊圖。如參考第61圖,其再生處理系統包含BD-ROM驅動機6101、開關6120、三個讀取緩衝器6121、6122、6123、及系統目標解碼器6124。BD-ROM驅動機6101係從BD-ROM光碟101讀出延伸區SP,且以讀出速度RUD108 往開關6120傳送。開關6120係參考延伸區起點將各延伸區SP分離成三種資料塊Dn、Rn、Ln。基視資料塊Ln係儲存到第1讀取緩衝器6121,右視資料塊Rn係儲存到第2讀取緩衝器6122,而深度圖資料塊Dn係儲存到第3讀取緩衝器6123。各讀取緩衝器6121、6122、6123係內建於再生裝置之緩衝記憶體,並從BD-ROM驅動機6101接收資料塊加以積蓄。系統目標解碼器6124係從已積蓄於第1讀取緩衝器6121內之各基視資料塊,以基視傳送速度REXT1 讀出來源封包。系統目標解碼器6124係從已積蓄於第2讀取緩衝器6122內之各右視資料塊,以右視傳送速度REXT2 讀出來源封包。系統目標解碼器6124係從已積蓄於第3讀取緩衝器6123內之各深度圖資料塊,以深度圖傳送速度REXT3 讀出來源封包。再者,系統目標解碼器6124係將已讀出之資料塊組合解碼成影像資料VD與聲音資料AD。
讀出速度RUD10872 通常以位元/秒表示,乃設定成較任一平均傳送速度REXT1 、REXT2 、REXT3 之最高值RMAX1 、RMAX2 、RMAX3 為高之值,如108Mbps:RUD108 >RMAX1 、RUD108 >RMAX2 、RUD108 >RMAX3 。藉此,藉由BD-ROM驅動機6101正從BD-ROM光碟101讀出一個延伸區SP期間,可防止伴隨系統目標解碼器6124之解碼處理的各讀取緩衝器6121、6122、6123之欠位。
第62圖(a)、(b)、(c)係顯示從一個超延伸區塊無縫再生3D影像時,積蓄於各讀取緩衝器6121、6122、6123之資料量DA1、DA2、DA3之變化的圖表。第62圖(d)係顯示前述超延伸區塊6210與超模式中之再生路徑6220之間對應關係的示意圖。而,第62圖(a)-(c)之各圖表係實際上將階梯形之增減呈現為近似線性之增減者。
如參考第62圖(a)-(c),第n項深度圖資料塊Dn之讀出期間PRD [n]中,第3讀取緩衝器6123之積蓄資料量DA3係以等於讀出速度RUD108 與深度圖傳送速度REXT3 [n]之間的差RUD108 -REXT3 [n]的速度增加,第1讀取緩衝器6121之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]減少,而第2讀取緩衝器6122之積蓄資料量DA2係以右視傳送速度REXT2 [n-1]減少。如參考第62圖(d),從第n項深度圖資料塊Dn到第n項右視資料塊Rn為止,會產生零扇區遷移J0 [3n]。如第62圖(a)-(c)所示,零扇區遷移期間PJ0 [3n]中,第1讀取緩衝器6121之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]減少,第2讀取緩衝器6122之積蓄資料量DA2係以右視傳送速度REXT2 [n-1]減少,而第3讀取緩衝器6123之積蓄資料量DA3係以深度圖傳送速度REXT3 [n]減少。
如再參考第62圖(a)-(c),第n項右視資料塊Rn之讀出期間PRR [n]中,第2讀取緩衝器6122之積蓄資料量DA2係以等於讀出速度RUD108 與深度圖傳送速度REXT2 [n]之間的差RU D108 -REXT2 [n]的速度增加,第3讀取緩衝器6123之積蓄資料量DA3係以深度圖傳送速度REXT1 [n]減少,而第1讀取緩衝器6121之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]減少。如參考第62圖(d),從第n項右視資料塊Rn到第n項基視資料塊Ln為止,會產生零扇區遷移J0 [3n+1]。如第62圖(a)-(c)所示,零扇區遷移期間PJ0 [3n+1]中,第1讀取緩衝器6121之積蓄資料量DA1係以基視傳送速度REXT1 [n-1]減少,第2讀取緩衝器6122之積蓄資料量DA2係以右視傳送速度REXT2 [n]減少,而第3讀取緩衝器6123之積蓄資料量DA3係以深度圖傳送速度REXT3 [n]減少。
如參考第62圖(a)-(c),第n項基視資料塊Ln之讀出期間PRL [n]中,第1讀取緩衝器6121之積蓄資料量DA1係以等於讀出速度RUD108 與基視傳送速度REXT1 [n]之間的差RUD108 -REXT1 [n]的速度增加,第2讀取緩衝器6122之積蓄資料量DA2係以右視傳送速度REXT2 [n]減少,而第3讀取緩衝器6123之積蓄資料量DA3係以深度圖傳送速度REXT1 [n]減少。如參考第62圖(d),從第n項基視資料塊Ln到第(n+1)項深度圖資料塊D(n+1)為止,會產生零扇區遷移J0 [3n+2]。如第62圖(a)-(c)所示,零扇區遷移期間PJ0 [3n+2]中,第1讀取緩衝器6121之積蓄資料量DA1係以基視傳送速度REXT1 [n]減少,第2讀取緩衝器6122之積蓄資料量DA2係以右視傳送速度REXT2 [n]減少,而第3讀取緩衝器6123之積蓄資料量DA3係以深度圖傳送速度REXT1 [n]減少。
為了使超模式之再生裝置從超延伸區塊6210無縫再生3D影像,滿足以下條件即可。
第n項基視資料塊Ln之大小SEXT1 [n]係至少從其讀出期間PRL [n]到下一個基視資料塊L(n+1)之讀出期間PRL [n+1]的瞬間前為止,等於從第1讀取緩衝器6121往系統目標解碼器6124傳送的資料量。屆時,如第62圖(a)所示,在下一個基視資料塊L(n+1)之讀出期間PRL [n+1]的瞬間前,第1讀取緩衝器6121之積蓄資料量DA1不會低於第n項基視資料塊Ln之讀出期間PRL [n]的瞬間前為止之量。在此,第n項基視資料塊Ln之讀出期間PRL [n]的長度係等於將其基視資料塊Ln之大小SEXT1 [n]除以讀出速度RUD108 之值SEXT1 [n]/RUD108 。另一方面,第(n+1)項附屬視資料塊D(n+1)、R(n+1)之讀出期間PRD [n+1]、PRR [n+1]的長度係等於將其資料塊D(n+1)、R(n+1)之大小SEXT2 [n+1]、SEXT3 [n+1]除以讀出速度RUD108 之值SEXT2 [n+1]/RUD108 、SEXT3 [n+1]/RUD108 。因此,基視資料塊Ln之大小SEXT1 [n]滿足下式(11)即可:
[數14]
同樣地,第n項右視資料塊Rn之大小SEXT2 [n]與深度圖資料塊Dn之大小SEXT3 [n]分別滿足下式(12)、(13)即可:
[數15]
而,式(11)-(13)中各零扇區遷移時間TJUMP0 [‧]係置換成典型值TJUMP 0。
第63圖(a)係顯示從二個相異超延伸區塊6301、6302連續無縫再生3D影像時,積蓄於各讀取緩衝器6121、6122、6133之資料量DA1、DA2、DA3之變化、及該等和DA1+DA2+DA3之變化的圖表群。第63圖(b)係顯示該等二個超延伸區塊6301、6302與超模式中之再生路徑6320之間對應關係的示意圖。如參考第63圖(b),各超延伸區塊6301、6302係從交插配置之資料塊群Dk、Rk、Lk(k=0、…、N-2、N-1、N、…)所構成。在此,整數N係表示前述超延伸區塊6301包含之基視資料塊總數。二個超延伸區塊6301、6302係以層邊界LB而分離。依循再生路徑6320,首先前述超延伸區塊6301全體係作為一個延伸區SPEXTSP[0]而涵括讀出。其後立刻會產生伴隨層切換之遠跳JLY 。接下來,下一個超延伸區塊6302係作為另一個延伸區SPEXTSP[1]而涵括讀出。
第63圖(a)中,一點鏈線圖表係顯示積蓄於第1讀取緩衝器6121之資料量DA1的變化,點線圖表係顯示積蓄於第2讀取緩衝器6122之資料量DA2的變化,而虛線圖表係顯示積蓄於第3讀取緩衝器6123之資料量DA3的變化,且實線圖表係顯示該等三種資料量之和DA1+DA2+DA3的變化。在此,其和DA1+DA2+DA3係實際上隨每讀出一個資料塊而細微地變化。但,實線圖表係平均其細微變化而近似於直線者。再者,若將零扇區遷移時間TJUMPO 與一個超延伸區塊全體之讀出期間PRSBLK [0]的長度比較,乃可充份忽視,因此在第63圖(a)中零扇區遷移時間TJUMPO 視為"0"。
如參考第63圖(a),在將一個超延伸區塊6301全體從BD-ROM光碟101讀出到各讀取緩衝器6121、6122、6123之期間PRSBLK [0]中,各積蓄資料量DA1、DA2、DA3會增大。具體而言,超延伸區塊6301全體之讀出期間PRSBLK [0]中,積蓄資料量之和DA1+DA2+DA3係以等於讀出速度RUD108 與平均傳送速度REXTSP [0]之間的差RUD108 -REXTSP [0]的速度增加。其平均傳送速度REXTSP [0]係作為將其超延伸區塊6301全體之大小-即延伸區SPEXTSP[0]之大小SEXTSP [0]-除以其延伸區ATC時間TEXTSP 之值來評估。前述積蓄資料量DA1、DA2、DA3之增大係可藉由將各資料塊Dn、Rn、Ln之大小設計成最小延伸區大小以上而實現。
在將超延伸區塊6301後端之基視資料塊L(N-1)讀入第1讀取緩衝器6121之時間點上,積蓄資料量之和DA1+DA2+DA3達最大值。在其瞬間後的遠跳JLY 之期間PJLY ,積蓄資料量之和DA1+DA2+DA3係以平均傳送速度REXTSP [0]減少。因此,藉由將積蓄資料量之和DA1+DA2+DA3之最大值調節得夠大時,可防止遠跳JLY 中之各讀取緩衝器6121-6123之欠位。其結果,可達到無縫連結二個超延伸區塊6301、6302。
積蓄資料量之和DA1+DA2+DA3之最大值係以前述超延伸區塊6301之大小決定。因此,為了無縫連結二個超延伸區塊6301、6302,前述超延伸區塊6301之大小-即延伸區SPEXTSP[0]之大小SEXTSP [0]-滿足以下條件即可。
在位於各超延伸區塊6301、6302前端之附屬視資料塊之對D0+R0、DN+RN之讀出期間PRD [0]+PRR [0]、PRD [N]+PRR [N]中,會進行預載。因此,為了防止遠跳JLY 中之各讀取緩衝器6121-6123之欠位,前述延伸區SPEXTSP[0]之延伸區ATC時間TEXTSP 至少等於從前述超延伸區塊6301中之預載期間PRD [0]+PRR [0]之結束時間點T10,到下一個超延伸區塊6302中之預載期間PRD [N]+PRR [N]之結束時間點T11為止之期間的長度即可。換言之,前述延伸區SPEXTSP[0]之大小SEXTSP [0]係至少等於在其期間T10-T11從各讀取緩衝器6121-6123往系統目標解碼器6124傳送之資料量和即可。
如同從第63圖(a)可明瞭,期間T10-T11之長度係等於前述超延伸區塊6301之讀出期間PRSBLK [0]之長度,加上遠跳JLY 之跳越時間TJUMP-LY ,及超延伸區塊6301、63()2間之預載期間PRD [0]+PRR [0]、PRD [N]+PRR [N]之長度差TDIFF 之值。再者,其讀出期間PRSBLK [0]之長度係等於將前述延伸區SPEXTSP[0]之大小SEXTSP [0]除以讀出速度RUD108 之值SEXTSP [0]/RUD108 。因此,前述延伸區SPEXTSP[0]之大小SEXTSP [0]滿足下式(14)即可:
[數16]
在此,各預載期間PRD [0]+PRR [0]、PRD [N]+PRR [N]之長度係等於將位於各超延伸區塊6301、6302前端之附屬視資料塊之對D0+R0、DN+RN之大小SEXT3 [0]+SEXT2 [0]、SEXT3 [N]+SEXT2 [N]除以讀出速度RUD108 之值(SEXT3 [0]+SEXT2 [0])/RUD108 、(SEXT3 [N]+SEXT2 [N])/RUD108 。因此,預載期間PRD [0]+PRR [0]、PRD [N]+PRR [N]之長度差TDIFF 係等於該等值之差:TDIFF =(SEXT3 [N]+SEXT2 [N])/RUD108 -(SEXT3 [0]+SEXT2 [0])/RUD108 。以下,式(14)右邊所表示之大小稱為「延伸區SP之最小延伸區大小」。
[彙整]
為了從複數超延伸區塊將2D影像與3D影像之任一者皆無縫再生,滿足上述所有的條件即可。尤其,資料塊、延伸區塊、及超延伸區塊之各大小滿足下列條件1-8即可。
條件1:2D延伸區之大小SEXT2D 滿足式(1)。
條件2:基視資料塊之大小SEXT1 滿足式(2)。
條件3:附屬視資料塊之大小SEXT2 、SEXT3 滿足式(3)。
條件4:延伸區塊之大小SEXTSS 滿足式(6)。
條件5:基視資料塊之大小SEXT1 滿足式(11)。
條件6:右視資料塊之大小SEXT2 滿足式(12)。
條件7:深度圖資料塊之大小SEXT3 滿足式(13)。
條件8:超延伸區塊之大小SEXTSP 滿足式(14)。
(F-3)在層邊界前後之再生路徑的分離
同上述,為了影像之無縫再生,超延伸區塊滿足條件1-8即可。其乃僅須將各資料塊之大小充分地擴大即可實現。但,與第51圖(a)所示之配置相同,必須確保讀取緩衝器之容量夠大。
為了在將伴隨層切換等之遠跳中的影像之無縫再生維持在可行之狀態下,而更進一步削減讀取緩衝器之容量,僅須在層邊界等其遠跳所需之位置前後,將再生路徑依再生裝置之動作模式別來分離即可。為了達成前者,在其位置前後將資料塊群之配置從交插配置變更即可。
第64圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後之三種資料塊群之配置的示意圖。如參考第64圖,層邊界LB之前,依序配置有第1超延伸區塊6401、2D再生專用塊L22D 、SS再生專用塊R2SS 、L2SS 、及第2超延伸區塊6402。另一方面,層邊界LB之後則配置有第3超延伸區塊6403。在各超延伸區塊6401-6403內,三種資料塊Dn、Rn、Ln構成有交插配置(n=…、0、1、2、3、…)。尤其在第n項資料塊之組Dn、Rn、Ln中,延伸區ATC時間相等。再者,各組中資料塊係依深度圖資料塊Dn、右視資料塊Rn、及基視資料塊Ln之順序排列。第2超延伸區塊6402中,位於第1超延伸區塊6401後端之資料塊D1、R1、L1,與位於第3超延伸區塊6403前端之資料塊D4、R4、L4,其中各串流資料之內容皆連續一起。包含於第2超延伸區塊6402之右視資料塊R2SP 與基視資料塊L2SP 皆為SP再生專用塊。2D再生專用塊L22D 、SS再生專用塊L2SS 、及SP再生專用塊L2SP 彼此在位元單位上一致,而SS再生專用塊R2SS 與SP再生專用塊R2SP 則彼此在位元單位上一致。
如再參考第64圖,除SS再生專用塊L2SS 與SP再生專用塊L2SP 外,基視資料塊係可作為檔案2D6410之延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]來存取。尤其,第1超延伸區塊6401內之最後基視資料塊L1與2D再生專用塊L22D 之對L1+L[2]2D 係可作為單一2D延伸區EXT2D[1]來存取。另一方面,除SP再生專用塊R2SP 以外之右視資料塊,係可作為第1檔案DEP6412之延伸區EXT2[0]、EXT2[1]、EXT2[2]、EXT2[3]來存取。再者,除SP再生專用塊R2SP 、L2SP 外,相鄰接之右視資料塊與基視資料塊之對R0+L0、R1+L1、R2SS +L2SS 、R3+L3係可作為檔案SS6420之延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]來存取。屆時,除2D再生專用塊L22D 與SP再生專用塊L2SP 外,基視資料塊L0、L1、L2SS 、L3係可作為第1檔案庫6411之延伸區EXT1[0]、EXT1[1]、EXT1[2]、EXT1[3],從延伸區SSEXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]抽出。
此外,深度圖資料塊Dn係可作為第2檔案DEP6413之延伸區EXT3[n]來存取。再者,除2D再生專用塊L22D 與SS再生專用塊R2SS 、L2SS 外,各超延伸區塊6401-6403全體係可作為檔案SP6430之延伸區EXTSP[0]、EXTSP[1]、EXTSP[2]來存取。屆時,除2D再生專用塊L22D 與SS再生專用塊L2SS 外,基視資料塊L0、L1、L2SP 、L3係可作為第2檔案庫6421之延伸區EXT1[0]、EXT1[1]、EXT1[2]、EXT1[3],從延伸區SPEXTSP[0]、EXTSP[1]、EXTSP[2]抽出。同樣地,除SS再生專用塊R2SS 以外之右視資料塊R0、R1、R2SP、R3,係可作為第3檔案DEP6422之延伸區EXT2[0]、EXT2[1]、EXT2[2]、EXT2[3],從延伸區SPEXTSP[0]、EXTSP[1]、EXTSP[2]抽出。在此,第2檔案庫6421與第3檔案DEP6422皆與第1檔案庫6411同樣為「虛擬檔案」。換言之,該等檔案6421、6422係皆不被檔案系統識別,亦不會出現在第2圖所示之目錄/檔案結構。第2檔案庫6421之各延伸區EXT1[n]及第3檔案DEP6422之各延伸區EXT2[n]與基視延伸區相同係由剪輯資訊檔案內之延伸區起點來參考。
2D再生模式之再生裝置係再生檔案2D6410。因此,第1超延伸區塊6401內之基視資料塊L0、L1、2D再生專用塊L22D 、及第3超延伸區塊6403內之基視資料塊L3係作為2D延伸區EXT2D[n]來讀出,而其它資料塊之讀出係由跳越而略過。故,為了2D影像之無縫再生,該等2D延伸區EXT2D[n]滿足條件1即可。
L/R模式之再生裝置係再生檔案SS6420。因此,除SP再生專用塊R2SP 、L2SP 外,相鄰接之右視資料塊與基視資料塊之對R0+L0、R1+L1、R2SS +L2SS 、R3+L3係作為延伸區SSEXTSS[n]而連續讀出。另一方面,其它資料塊之讀出係由跳越而略過。故,為了3D影像之無縫再生,包含於該等延伸區SSEXTSS[n]之各資料塊滿足條件2、3,且各延伸區SS EXTSS[n]全體滿足條件4即可。
超模式之再生裝置係再生檔案SP6430。因此,各超延伸區塊6401-6403全體係作為延伸區SPEXTSP[n]而連續讀出,而其它資料塊之讀出係由跳越而略過。故,為了3D影像之無縫再生,包含於該等延伸區SPEXTSP[n]之各資料塊滿足條件5-7,且各延伸區SPEXTSP[n]全體滿足條件8即可。
如同從第64圖可明瞭,再生路徑係分別以2D再生模式、L/R模式、及超模式於層邊界LB之瞬間前,通過相異之基視資料塊L22D 、L2SS 、L2SP 。在此,該等資料塊L22D 、L2SS 、L2SP 彼此在位元單位上一致,因此在任一再生模式所再生之基視視頻訊框皆相等。如此一來,再生路徑在伴隨於層切換之遠跳的瞬間前皆已呈分離。因此,可很容易地設計各資料塊大小來同時滿足無縫再生所需之條件1-8。
(F-4)超模式之再生裝置的構成
0470作為超模式再生裝置所需之構成之基本部分與第44圖、第46圖所顯示之3D再生裝置之構成相同。因此,以下就來自3D再生裝置之構成之擴充部分及變更部分加以說明,關於基本部分之詳細說明爰用關於上述3D再生裝置之說明。
第65圖係超模式之再生裝置6500的功能方塊圖。再生裝置6500包含BD-ROM驅動機6501、再生部6502、及控制部6503。再生部6502包含開關6520、第1讀取緩衝器6521、第2讀取緩衝器6522、第3讀取緩衝器6523、系統目標解碼 器6524、及平面加算部6524。控制部6503包含動態情節記憶體6531、靜態情節記憶體6532、使用者事件處理部6533、程式執行部6534、再生控制部6535、及播放器變數記憶部6536。再生部6502與控制部6503彼此組裝於不同的積體電路。此外,兩者亦可整合於單一積體電路。尤其,控制部6503與第44圖所示之3D再生裝置內者相同。因此,關於其詳細說明爰用關於上述3D再生裝置之說明。
BD-ROM驅動機6501包含與第44圖所示之3D再生裝置內者4401同樣的構成要素。當BD-ROM驅動機6501受到從再生控制部6535指示LBN之範圍時,係從其範圍顯示之BD-ROM光碟101上之扇區群讀出資料。尤其分別屬於延伸區SS與延伸區SP之來源封包群,係從BD-ROM驅動機6501往開關6520傳送。在此,各延伸區SP係如同第57圖所示,包含一組以上之三種資料塊組。該等資料塊必須往不同的讀取緩衝器6521-6523平行傳送。因此,BD-ROM驅動機6501需要有3D再生裝置內之BD-ROM驅動機4401以上的存取速度。
開關6520從BD-ROM驅動機6501係接收延伸區SS或延伸區SP。另一方面,開關6520從再生控制部6535則係接收顯示各資料塊之境界的資訊,前述各資料塊係包含於前述延伸區SS或延伸區SP。前述資訊係顯示例如從其延伸區SS或延伸區SP前頭到各境界為止之來源封包數。再生控制部6535係基於剪輯資訊檔案內之延伸區起點來生成其資訊。再者,開關6520係利用其資訊,從各延伸區SS或延伸區SP 抽出基視延伸區並往第1讀取緩衝器6521送出。同樣地,開關6520係將右視延伸區往第2讀取緩衝器6522送出,並將深度圖延伸區往第3讀取緩衝器6523送出。
讀取緩衝器6521-6523皆係已利用再生部6502內之記憶體元件之緩衝記憶體。尤其單一記憶體元件內之相異區域係作為各讀取緩衝器6521-6523來利用。此外,不同的記憶體元件亦可個別作為各讀取緩衝器6521-6523來利用。
L/R模式之系統目標解碼器6524係首先從已儲存於第1讀取緩衝器6521之基視延伸區,與已儲存於第2讀取緩衝器6522之右視延伸區交互地讀出來源封包。另一方面,深度模式之系統目標解碼器6524係首先從已儲存於第1讀取緩衝器6521之基視延伸區,與已儲存於第3讀取緩衝器6523之深度圖延伸區交互地讀出來源封包。接著,各模式之系統目標解碼器6524係由解多工處理從各來源封包解多工基本流,再從已解多工者中將從再生控制部6535所指示之PID顯示者解碼。接下來,系統目標解碼器6524係將解碼後之基本流依其種類別寫入內建平面記憶體。尤其,基視視頻串流係寫入左影像平面記憶體,右視視頻串流係寫入右影像平面記憶體,而深度圖串流係寫入深度平面。其它基本流則寫入專用的平面記憶體,或送到聲音混音器。系統目標解碼器6524此外係對來自程式執行部6534之圖形資料進行成像處理並寫入圖像平面記憶體。
系統目標解碼器6524與第44圖所示者相同,可分別對 應於B-D顯示模式/B-B顯示模式,及2平面模式/1平面+偏移模式/1平面+零偏移模式。因此,關於其詳細說明爰用第44圖所示者之說明。
平面加算部6525係從系統目標解碼器6524接收各種平面資料,並將該等彼此重疊來合成為一個訊框或場。尤其其它平面資料當中,L/R模式之平面加算部6525係對左影像平面資料重疊呈現左視者,而對右影像平面資料重疊呈現右視者。另一方面,深度模式之平面加算部6525係首先從左影像平面資料與深度圖平面資料生成左視與右視之視頻平面資料之對。其後,平面加算部6525係與L/R模式中之合成處理一樣,進行合成處理。
平面加算部6525從再生控制部6535受有1平面+偏移模式或1平面+零偏移模式指示作為副影像平面、PG平面、IG平面、或圖像平面顯示模式時,係對從系統目標解碼器6524所接收之平面資料進行修剪處理。藉此,可生成左視與右視之平面資料之對。有關其修剪處理之詳細說明爰用有關第44圖所示者之說明。其後,平面加算部6525係與L/R模式中之合成處理一樣,進行合成處理。合成後之訊框或場係往顯示裝置103送出,並顯示於其畫面。
第66圖係系統目標解碼器6524的功能方塊圖。第66圖所示之構成要素與第46圖所示之3D再生裝置者4423於下列二點不同:(1)從讀取緩衝器往各解碼器之輸入系統呈三重化,且(2)增設有深度圖解碼器6613。另一方面,其它解碼器群、聲音混音器、圖像處理機、及平面記憶體群與第46 圖所示之3D再生裝置者相同。因此,以下,就來自第3讀取緩衝器6523之輸入系統6611、6612與深度圖解碼器6613加以說明,有關其它同構成要素之詳細說明爰用有關第46圖之說明。
第3來源拆包器6611係從第3讀取緩衝器6523讀出來源封包,再從其中抽出TS封包並往第3PID過濾器6612送出。再者,第3來源拆包器6611使各TS封包之送出時間配合各來源封包之ATS顯示時間。前述同步與第46圖所示之來源拆包器的同步一樣,可藉由以第3ATC計數器來計數27MHz時鐘所生成之時鐘脈衝數而實現。
每當第3PID過濾器6612從第3來源拆包器6611接收TS封包時,會將其PID與選擇對象之PID作比較。其選擇對象之PID係由再生控制部6535預先依循3D播放清單檔案內之STN表而指定。當兩者之PID一致時,第3PID過濾器6612會將其TS封包往已分配於其PID之解碼器傳送。例如,當PID為0×1013時,其TS封包會往深度圖解碼器6613內之TB(1)6601傳送。此外,當PID屬於0×1B20-0×1B3F、0×1220-0×127F、及0×1420-0×147F之各範圍時,對應之TS封包會分別往副影像解碼器、PG解碼器、及IG解碼器傳送。
在此,深度圖串流除了有呈現左視深度圖之基本流以外,還會多工成呈現右視深度圖之基本流的情況。以下,稱前者為「左視深度圖串流」,稱後者為「右視深度圖串流」。屆時,左視與右視之各深度圖串流會分配不同的PID。第3PID過濾器6612會將包含各深度圖串流之TS封包的送出 對象依其PID來變更。藉此,包含左視深度圖串流之TS封包會往深度圖解碼器6613內之TB(1)6601傳送,而包含右視深度圖串流之TS封包會往TB(2)6608傳送。再者,右視深度圖係依循MVC等編碼方式,將左視深度圖作為參考圖片來利用並壓縮。因此,深度圖解碼器6613之左視與右視之各深度圖串流的解碼,與來自主影像解碼器之基視與附屬視之各視頻串流的解碼,可同樣地進行。
深度圖解碼器6613與主影像解碼器同樣包含TB(1)6601、MB(1)6602、EB(1)6603、TB(2)6608、MB(2)6609、EB(2)6610、緩衝開關6606、DEC6604、DPB6605、及圖片開關6607。TB(1)6601、MB(1)6602、EB(1)6603、TB(2)6608、MB(2)6609、EB(2)6610、及DPB6605皆為緩衝記憶體。各緩衝記憶體係利用已內建於深度圖解碼器6613之記憶體元件之一區域。此外,該等緩衝記憶體之任一者或全部亦可分離成不同的記憶體元件。
TB(1)6601係將包含左視深度圖串流之TS封包,從第3PID過濾器6612接收並原封不動地積蓄。MB(1)6602係從已積蓄於TB(1)6601之TS封包復原PES封包並加以積蓄。屆時,可從各TS封包除去TS標題。EB(1)6603係從已積蓄於MB(1)6602之PES封包抽出編碼過的深度圖並加以積蓄。屆時,可從各PES封包除去PES標題。
TB(2)6608係將包含右視深度圖串流之TS封包,從第3PID過濾器6612接收並原封不動地積蓄。MB(2)6609係從已積蓄於TB(2)6608之TS封包復原PES封包並加以積蓄。屆時,可從各TS封包除去TS標題。EB(2)6610係從已積蓄於MB(2)6609之PES封包抽出編碼過的深度圖並加以積蓄。屆時,可從各PES封包除去PES標題。
緩衝開關6606係將分別已積蓄於EB(1)6603與EB(2)6610之深度圖標題依照來自DEC6604的要求來傳送。接著,緩衝開關6606將其深度圖依包含於原TS封包之DTS顯示時間往DEC6604傳送。在此,在左視與右視之深度圖串流間,DTS相等者正構成對。在深度圖之編碼時,各對之其中一者會作為另一者之參考圖片而利用。因此,緩衝開關6606於DTS相等之一對深度圖當中,會將已積蓄於EB(1)6603之一方先往DEC6604傳送。
DEC6604係專作深度圖之解碼處理的硬體解碼器,尤其係以已具備其解碼處理之加速器功能的LSI所構成。DEC6604係將從緩衝開關6606所傳送之深度圖依序解碼。其解碼處理中,DEC6604會預先解析各深度圖之標題,並特定其深度圖之壓縮編碼方式與屬性後,依該等來選擇解碼方法。接著,DEC6604會將已解碼之非壓縮深度圖往DPB6605傳送。
DPB6605會暫時保留已解碼之非壓縮深度圖。當DEC6604解碼P圖片及B圖片時,DPB6605係因應來自DEC6604的要求,從所保持之非壓縮深度圖中搜尋參考圖片並提供予DEC6604。
圖片開關6607係從DPB6605將非壓縮之各深度圖依包含於原TS封包之PTS的顯示時間,寫入左深度平面記憶體6620與右深度平面記憶體6621之其中任一者。在此,在左視與右視之深度圖之對中,PTS相等。因此,圖片開關6607係於已保持於DPB6605之PTS相等的一對深度圖當中,將左視深度圖先寫入左深度平面記憶體6620,接著將右視深度圖寫入右深度平面記憶體6621。深度模式之平面加算部6525從左影像平面記憶體讀出視頻平面時,會同時讀出左深度平面記憶體6520內之深度圖。另一方面,平面加算部6525從右影像平面記憶體讀出視頻平面時,會同時讀出右深度平面記憶體6521內之深度圖。
(G)再者,在第15圖所示之交插配置的資料塊群中,延伸區ATC時間相等之資料塊之對中,再生期間會一致,且視頻串流之再生時間亦可相等。換言之,在該等資料塊間,VAU的數量或圖片的數量亦可相等。其意義如同下述。
第67圖(a)係顯示在相鄰接之基視資料塊與附屬視資料塊之間,延伸區ATC時間不同,且視頻串流之再生時間不同時之再生路徑的示意圖。如參考第67圖(a),前頭基視資料塊B[0]之再生時間為4秒鐘,而前頭附屬視資料塊D[0]之再生時間為1秒鐘。在此,解碼附屬視資料塊D[0]所需之基視視頻串流的部分係與其附屬視資料塊D[0]具有一樣的再生時間。因此,為了節省再生裝置內之讀取緩衝器容量,如第67圖(a)中箭頭6710所示,於再生裝置將基視資料塊B[0]與附屬視資料塊D[0]交互地以一樣的再生時間─例如以各1秒鐘─來讀入為宜。但,屆時,如第67圖(a)虛線所示,在讀出處理途中會產生跳越。其結果,很難使讀出處理趕上解碼處理,因此難以確實地持續無縫再生。
第67圖(b)係顯示相鄰接之基視資料塊與附屬視資料塊之間,視頻串流之再生時間相等時之再生路徑的示意圖。在本發明實施形態1之BD-ROM光碟101上,如第67圖(b)所示,在相鄰接之一對資料塊之間,視頻串流之再生時間相等亦可。例如,前頭資料塊之對B[0]、D[0]中,視頻串流之再生時間同樣等於1秒,而第二項資料塊之對B[1]、D[1]中,視頻串流之再生時間同樣等於0.7秒。屆時,3D再生模式之再生裝置如第67圖(b)箭頭6720所示,係從前頭依序讀出資料塊B[0]、D[0]、B[1]、D[1]、…。僅需如此,再生裝置便可順利地實現將主TS與子TS交互地以一樣的再生時間來讀出。尤其在其讀出處理不會產生跳越,因此可確實地持續3D影像之無縫再生。
實際上,若相鄰接之基視資料塊與附屬視資料塊之間延伸區ATC時間相等,便不會使讀出處理產生跳越,而可維持解碼處理之同步。因此,即便再生期間或視頻串流之再生時間不相等,與第67圖(b)所示之情況相同,再生裝置僅需從前頭依序讀出資料塊群,便可確實地持續3D影像之無縫再生。
相鄰接之基視資料塊與附屬視資料塊之間,VAU之任一標題數量或PES標題數量相等亦可。資料塊間之解碼處理之同步可利用該等標題。因此,若資料塊間標題數量相等,則即便VAU本身之數量不相等,仍可較容易地來維持解碼處理之同步。再者,與VAU本身之數量相等之情況相異,VAU之資料亦無需全部在同一個資料塊內多工。故,在BD-ROM光碟101之編製過程中,串流資料之多工自由度很高。
相鄰接之基視資料塊與附屬視資料塊之間,入口點之數量相等亦可。第68圖係顯示將其條件適用於超延伸區塊之情況下之入口點與資料塊群之間對應關係的示意圖。如參考第68圖,檔案2D241之延伸區EXT2D[n](n=0、1、2、…)係參考基視資料塊Ln,第1檔案DEP242之右視延伸區EXT2[n]係參考右視資料塊Rn,而第2檔案DEP243之深度圖延伸區EXT3[n]係參考深度圖資料塊Dn。第68圖中,各入口點係以三角形6801、6802、6803顯示,而各延伸區包含之入口點的數量則以數字顯示。三個檔案241、242、243之間,從前頭同樣順序之延伸區EXT2D[n]、EXT2[n]、EXT3[n]包含同樣數量之入口點6801、6802、6803。從超延伸區塊Dn、Rn、Ln再生3D影像時,在L/R模式中係以每深度圖資料塊Dn即產生跳越,而在深度模式中係以每右視資料塊Rn產生跳越。另一方面,在超模式中,資料塊間不會產生跳越。如此一來,因應再生模式,跳越之有無會有不同。但,當在資料塊間入口點之數量相等時,再生時間亦實質上相等。因此,不論跳越之有無,皆可容易地維持解碼處理之同步。再者,與VAU本身之數量相等之情況相異,VAU之資料亦無需全部在同一個資料塊內多工。故,在BD-ROM光碟101之編製過程中,串流資料之多工自由度很高。
(H)多角
第69圖(a)係顯示對應於多角之多工串流資料之再生路徑的示意圖。如參考第69圖(a),於其多工串流資料係多工有基視、右視、及深度圖之三種串流資料L、R、D。例如L/R模式中可平行再生基視與右視之串流資料L、R。再者,在多角之再生期間TANG 中所再生之部分係多工有依角度別之串流資料Ak、Bk、Ck(k=0、1、2、…、n)。各角度之串流資料Ak、Bk、Ck係將再生時間分割成與角度改變間隔相等之部分。再者,各部分Ak、Bk、Ck係多工有基視、右視、及深度圖之各串流資料。在多角期間TANG ,可依照使用者的操作或應用程式的指示,在依角度別之串流資料Ak、Bk、Ck之間切換再生對象。
第69圖(b)係顯示已記錄於BD-ROM光碟上之資料塊群6901,與對於該等之L/R模式中之再生路徑6902的示意圖。其資料塊群6901包含第69圖(a)所示之串流資料L、R、D、Ak、Bk、Ck。如參考第69圖(b),在其資料塊群6901中,除通常的串流資料L、R、D以外,還交插配置地記錄有依角度別的串流資料Ak、Bk、Ck。L/R模式中,如再生路徑6902顯示,可讀出右視資料塊R與基視資料塊L,而深度圖資料塊D之讀出則會由跳越而略過。再者,依角度別之串流資料Ak、Bk、Ck當中,可讀出已選擇者之資料塊A0、B1、…、Cn,而其它資料塊之讀出則會由跳越而略過。
第69圖(c)係顯示構成依角度別之串流資料Ak、Bk、Ck之超延伸區塊的示意圖。如參考第69圖(c),在各角度之串流資料Ak、Bk、Ck中,三種資料塊L、R、D構成有交插配 置。L/R模式中,如再生路徑6902顯示,依角度別之串流資料Ak、Bk、Ck當中,可從已選擇者A0、B1、…、Cn讀出右視資料塊R與基視資料塊L。另一方面,其它資料塊之讀出會由跳越而略過。相對地,超模式中,可從已選擇之角度的串流資料A0、B1、…、Cn連續讀出所有的資料塊。另一方面,其它角度之串流資料的讀出會由跳越而略過。此外,不論選擇之有無,亦可將所有的角度之串流資料讀出。
而,各角度之串流資料Ak、Bk、Ck中,基視、右視、及深度圖之各串流資料亦可收納於單一多工串流資料。但,其記錄速率係必須以2D再生裝置抑制在可再生的系統速率之範圍。又,在其多工串流資料與其它3D影像之多工串流資料之間,應傳送到系統目標解碼器之串流資料(TS)的數量不同。因此,各放映項目資訊(PI)包含顯示再生對象TS數量之旗標亦可。利用其旗標,可將該等多工串流資料在一個播放清單檔案中來切換。在3D再生模式將2個TS作為再生對象來規定之PI中,其旗標係表示2TS。另一方面,在將如上述多工串流資料之單一TS作為再生對象來規定之PI中,其旗標係表示1TS。3D再生裝置係依照其旗標之值而可切換系統目標解碼器之設定。再者,其旗標亦可以連接狀態(CC)之值來表現。例如,CC為顯示"7"時表示從2TS往1TS之移動,為顯示"8"時則表示從1TS往2TS之移動。
《實施形態2》
以下,本發明實施形態2就本發明實施形態1之記錄媒體之記錄裝置及記錄方法加以說明。其記錄裝置係所謂編 製裝置者。編製裝置通常係設置於公開使用之電影內容的製作播音室,由編製幕僚人員來使用。記錄裝置係依編製幕僚人員操作,首先將電影內容變換為遵照MPEG規格之壓縮編碼方式的數位串流,即AV串流檔案。接著,記錄裝置會生成情節。「情節」係規定包含於電影內容之各標題再生方法的資訊,具體上包含上述動態情節資訊及靜態情節資訊。接下來,記錄裝置從上述數位串流及情節生成用於BD-ROM光碟之音量圖像或更新配套元件。最後,記錄裝置利用實施形態1之延伸區的配置,來將音量圖像記錄於記錄媒體。
第70圖係顯示其記錄裝置之內部構成的方塊圖。如參考第70圖,其記錄裝置包含視頻編碼器7001、素材製作部7002、情節生成部7003、BD程式製作部7004、多工處理部7005、格式處理部7006、及資料庫部7007。
資料庫部7007係內建於記錄裝置之不揮發性記憶裝置,尤指硬碟驅動機(HDD)。此外,資料庫部7007可以係外設於記錄裝置之HDD,亦可係內建於或外設於記錄裝置之不揮発性半導體記憶體裝置。
視頻編碼器7001係從編製幕僚人員接收非壓縮位元圖資料等之影像資料後,以MPEG-4 AVC或MPEG-2等壓縮編碼方式將其壓縮。藉此,主影像資料會變換為主要視頻串流,而副影像資料會變換為次要視頻串流。尤其,3D影像資料會變換為基視視頻串流與附屬視視頻串流。如第6圖所示,視頻編碼器7001係將左視視頻串流以其本身的圖 片間之預測編碼來變換為基視視頻串流,並將右視視頻串流以其本身的圖片及與基視圖片間的預測編碼來變換為附屬視視頻串流。而,右視視頻串流亦可變換為基視視頻串流。再者,左視視頻串流亦可變換為附屬視視頻串流。
再者,視頻編碼器7001係在該圖片間預測編碼的處理過程中,檢測左影像與右影像間的各圖像之動作向量,並從該等算出3D影像內各圖像之深度資訊。已算出之各圖像深度資訊會整理至訊框深度資訊7010,並保存於資料庫部7007。此外,視頻編碼器7001亦可利用其深度資訊7010來生成對於左影像或右影像之深度圖。屆時,視頻編碼器7001會如第7圖所示,將左影像或右影像之串流資料與深度圖串流,各別以其本身之圖片間的預測編碼來變換為基視視頻串流與深度圖串流。變換後之各串流7011會保存在資料庫部7007。
第71圖(a)、(b)係顯示利用於顯示3D影像之一場景之左影像圖片與右影像圖片的示意圖,(c)係顯示由視頻編碼器7001從該等圖片所算出之深度資訊的示意圖。
首先,視頻編碼器7001係利用左右圖片間之冗長性來壓縮各圖片。屆時,視頻編碼器7001會將壓縮前之左右圖片每8×8或16×16之像素矩陣-即每巨塊(macro block)-比較,來檢測兩圖片間之各圖像的動作向量。具體而言,如第71圖(a)、(b)所示,首先將左影像圖片7101與右影像圖片7102分別分割成巨塊7103之矩陣。接著,在兩圖片7101、7102間依巨塊7103來比較圖像資料,並從其結果檢測出各圖像之動作向量。例如呈現「家」的圖像7104之區域在兩圖片7101、7102間實質上相等。因此,從該等區域無法檢測出動作向量。另一方面,呈現「球」的圖像7105之區域在兩圖片7101、7102間實質上相異。因此,從該等區域可檢測出呈現「球」的圖像7105之變位的動作向量。
接著,視頻編碼器7001除將已檢測之動作向量利用於各圖片7101、7102之壓縮,還會利用於計算各圖像資料7104、7105呈現之影像的兩眼視差。從這樣獲得之兩眼視差,視頻編碼器7001再進一步算出「家」及「球」的圖像7104、7105等各圖像之「深度」。呈現各圖像深度的資訊如第71圖(c)所示,係整理於矩陣7106,前述矩陣7106係與各圖片7101、7102之巨塊矩陣同大小。第70圖所示之訊框深度資訊7010包含該矩陣7106。該矩陣7106內之區塊7107與各圖片7101、7102內之巨塊7103呈一對一對應。各區塊7107係以如8位元之深度來呈現對應之巨塊7103所呈現的圖像深度。在第71圖所示之範例中,「球」的圖像7105之深度係記錄於矩陣7106之區域7108內的各區塊。其區域7108係對應於呈現其圖像7105之各圖片7101、7102內的區域全體。
如再參考第70圖,素材製作部7002係製成視頻串流以外之基本流,例如:聲頻串流7012、PG串流7013、及IG串流7014,並保存於資料庫部7007。例如,素材製作部7002從編製幕僚人員接收非壓縮LPCM聲音資料,並以AC-3等壓縮編碼方式將其編碼且變換為聲頻串流7012。此外,素材製作部7002從編製幕僚人員接收字幕資訊檔案,並依循其製成PG串流7013。字幕資訊檔案係規定呈現字幕之圖像資料、其字幕之顯示時期、及應附加於其字幕之淡入/淡出(fade in/fade out)等之視覺效果。再者,素材製作部8802從編製幕僚人員接收位元圖資料與選單檔案,並依循該等製成IG串流7014。位元圖資料係呈現選單之圖像。選單檔案係規定配置於其選單之各按鈕狀態的遷移,及應加注於各按鈕之視覺效果。
情節生成部7003係依循從編製幕僚人員經由GUI所接受之指示,製成BD-ROM情節資料7015,並保存於資料庫部7007。BD-ROM情節資料7015係規定已保存於資料庫部7007之各基本流7011-7014的再生方法。BD-ROM情節資料7015包含第2圖所示之檔案群當中,索引檔案211、電影物件檔案212、及播放清單檔案221-223。再者,情節生成部7003係製成參數檔案7016後,往多工處理部7005送出。參數檔案7016係從已保存於資料庫部7007之基本流7011-7014中,規定應個別多工於主TS與子TS之串流資料。
BD程式製作部7004係對編製幕僚人員提供BD-J物件及Java應用程式之程式設計環境。BD程式製作部7004係透過GUI接收來自使用者的要求,並依其要求來製成各程式的來源碼。接著,BD程式製作部7004從BD-J物件製成BD-J物件檔案251,並將Java應用程式壓縮至JAR檔案261。該等檔案251、261係往格式處理部7006送出。
在此,假想將BD-J物件程式設計成如下之情況:BD-J物件令第40圖、第44圖所示之程式執行部4034、4434將用於GUI之圖形資料往系統目標解碼器4023、4423送出。再者,BD-J物件令系統目標解碼器4023、4423將其圖形資料作為圖像平面資料處理。屆時,BD程式製作部7004可利用已保存於資料庫部7007之訊框深度資訊7010,於BD-J物件設定對於圖像平面資料之偏移值。
多工處理部7005係依參數檔案7016將資料庫部7007所保存之各基本流7011-7014多工成MPEG2-TS形式的串流檔案。具體上如第4圖所示,各基本流7011-7014變換為來源封包列,而各列之來源封包彙整於一列,並構成一條多工串流資料。如此一來,可製成主TS與子TS。
與其處理並行,多工處理部7005會以下列順序來製成2D剪輯資訊檔案與附屬視剪輯資訊檔案。首先,就個別的檔案2D與檔案DEP生成第25圖所示之入口圖2430。接著,利用各檔案之入口圖製成第27圖所示之延伸區起點2442。屆時,在相鄰接之資料塊間,延伸區ATC時間會一致。再者,設計2D延伸區之大小以滿足條件1,設計基視延伸區之大小以滿足條件2,設計附屬視延伸區之大小以滿足條件3,且設計延伸區SS之大小以滿足條件4。接下來,從應分別多工於主TS與子TS之各基本流抽出第24圖所示之串流屬性資訊。再進一步如第24圖所示,將入口圖、3D元資料、及串流屬性資訊之組合對應到剪輯資訊。
第72圖係顯示在相鄰接之資料塊間使延伸區ATC時間一致之方法的示意圖。如參考第72圖,矩形7210、7220係分別表示應儲存於基視資料塊之來源封包SP1 # n(n=0、1、 2、3、…、k)、與應儲存於附屬視資料塊之來源封包SP2 # m(m=0、1、2、3、…、j)。該等矩形7210、7220係依各來源封包之ATS順序排列在ATC之時間軸方向。各矩形7210、7220之前頭位置係表示其來源封包之ATS值。而各矩形7210、7220之長度AT1係表示3D再生裝置將一個來源封包從讀取緩衝器往系統目標解碼器傳送之所需時間。
矩形群7210呈現之來源封包群SP1 # n係儲存於一個基視資料塊B[i]。屆時,應儲存於對應之附屬視資料塊D[i]之來源封包群SP2 # m會選擇如下。首先,求出基視資料塊B[i]之延伸區ATC時間TEXT ,與位於其前頭之SP1#0之ATS(EXT1[i]_STARTATC)A1。其ATSA1稱為第1ATS。接著,求出延伸區ATC時間TEXT 與第1ATSA1之和,即位於下一個基視資料塊B[i+1]前頭之SP1 #(k+1)之ATS(EXT1[i]_ENDATC)A2=A1+TEXT 。其ATSA2稱為第2ATS。接下來,其它矩形群7220呈現之來源封包群SP2 # m當中,從讀取緩衝器往系統目標解碼器的傳送期間係與從第1ATSA1到第2ATSA2為止之期間重複,且其傳送期間到第2ATSA2為止結束者-即SP2 # 0、1、2、…、j-會被選擇。此外,其傳送期間與從第1ATSA1到第2ATSA2為止之期間重複,且其傳送期間自第1ATSA1以後開始者-即SP2 # 1、2、…、j、j+1-被選擇亦可。從如此所選擇之來源封包群會構成附屬視資料塊D[i]。
格式處理部7006係從藉由已保存於資料庫部7007之BD-ROM情節資料7015、BD程式製作部7004所製作之BD -J物件檔案等程式檔案群、及藉由多工處理部7005所生成之多工串流資料與剪輯資訊檔案,來製成第2圖所示之目錄結構之BD-ROM光碟圖像7020。在其目錄結構中,係利用UDF來作為檔案系統。
格式處理部7006在製成檔案2D、檔案DEP、及檔案SS之各檔案入口時,係參考個別包含於2D剪輯資訊檔案與附屬視剪輯資訊檔案之入口圖與3D元資料。藉此,各入口點與各延伸區起點之SPN可利用在各分配描述符之製成。尤其,如第13圖所示之交插配置所表現,可決定各分配描述符應呈現之LBN值與延伸區之大小。其結果,各基視資料塊係由檔案SS與檔案2D分享,而各附屬視資料塊係由檔案SS與檔案DEP分享。另一方面,在遠跳所需之處所中,例如配置1、2之任一者所表現,製成分配描述符亦可。尤其,基視資料塊之一部分係作為2D再生專用塊由檔案2D內之分配描述符來參考,而其一部分之複製資料係作為SS再生專用塊由檔案SS之分配描述符來參考。
此外,格式處理部7006係利用已保存於資料庫部7007之訊框深度資訊7010,將第26圖(a)所示之偏移表就個別的次要視頻串流7011、PG串流7013、及IG串流7014來製成。再者,格式處理部7006將偏移表儲存於2D剪輯資訊檔案之3D元資料內。在此,為了使各串流呈現之3D影像不與其它串流呈現之3D影像重疊在同視覺方向來呈現,左右之各影像訊框內中之圖像資料配置會自動調整。再者,為了不使各串流呈現之3D影像的深度彼此重疊,對於各影像訊框之 偏移值會自動調整。
第73圖係利用第70圖所示之記錄裝置來將電影內容往BD-ROM光碟記錄之方法的流程圖。該方法例如由記錄裝置之電源投入開始。
步驟S7301中,係製成應記錄於BD-ROM光碟之基本流、程式、及情節資料。換言之,視頻編碼器7001係生成訊框深度資訊7010與視頻串流7011。素材製作部7002係製成聲頻串流7012、PG串流7013、及IG串流7014。情節生成部7003係製成BD-ROM情節資料7015。已製成之該等資料係保存於資料庫部7007。另一方面,情節生成部7003係進一步製成參數檔案7016並往多工處理部7005送出。此外,BD程式製作部7004係製成BD-J物件檔案與JAR檔案並往格式處理部7006送出。其後,處理進入步驟S7302。
步驟S7302中,多工處理部7005係依循參數檔案7016,從資料庫部7007讀出各基本流7011-7014,並多工成MPEG2-TS形式之串流檔案。其後,處理進入步驟S7303。
步驟S7303中,多工處理部7005係製成2D剪輯資訊檔案與附屬視剪輯資訊檔案。尤其,在入口圖與延伸區起點之製成中,在相鄰接之資料塊間,延伸區ATC時間會一致。再者,設計2D延伸區之大小以滿足條件1,設計基視延伸區之大小以滿足條件2,設計附屬視延伸區之大小以滿足條件3,並設計延伸區SS之大小以滿足條件4。其後,處理進入步驟S7304。
步驟S7304中,格式處理部7006係從藉由已保存於資料庫部7007之BD-ROM情節資料7015、BD程式製作部7004所製作的程式檔案群,及藉由多工處理部7005所生成之多工串流資料與剪輯資訊檔案,來製成第2圖所示之目錄結構之BD-ROM光碟圖像7020。屆時,格式處理部7006係利用訊框深度資訊7010,分別就次要視頻串流7011、PG串流7013、及IG串流7014製成偏移表,並儲存於2D剪輯資訊檔案之3D元資料內。其後,處理進入步驟S7305。
步驟S7305中,以格式處理部7006所生成之BD-ROM光碟圖像7020會變換為BD-ROM壓製用資料。接著,該資料會記錄於BD-ROM光碟原盤。其後,處理進入步驟S7306。
步驟S7306中,將在步驟S7305中所得之原盤利用於壓製過程,來大量生產BD-ROM光碟101。如此一來,處理結束。
《實施形態3》
第74圖係本發明實施形態3之積體電路3的功能方塊圖。如參考第74圖,積體電路3係組裝為實施形態1之再生裝置102。在此,再生裝置102除了積體電路3以外,還包含媒體介面(IF)部1、記憶體部2、及輸出端子10。
媒體IF部1係從外部媒體ME接收或讀出資料,並傳送至積體電路3。尤其,該資料係與實施形態1之BD-ROM光碟101上之資料同結構。媒體ME之種類包含光碟及硬碟等光碟記錄媒體、SD卡片及USB記憶體等半導體記憶體、CATV等廣播波、還有乙太網路(Ethernet)、無線LAN、及無線公共線路等網路。媒體IF部1配合媒體ME之種類,包含光碟驅動機、卡片IF、CAN調諧器、SI調諧器、及網路IF。
記憶體部2係暫時儲存由媒體IF部1從媒體ME所接收或所讀出之資料,及由積體電路3處理到一半的資料。作為記憶體部2可使用SDRAM(Synchronous Dynamic Random Access Memory:同步動態隨機存取記憶體),及DDRx SD RAM(Doub1e-Data-Rate x Synchronous Dynamic Random Access Memory: x=1、2、3、…:雙倍資料速率x同步動態隨機存取記憶體:x=1、2、3、…)等。記憶體部2係單一記憶體元件。此外,記憶體部2亦可包含複數個記憶體元件。
積體電路3係系統LSI,對從媒體IF部1所傳送之資料施以影像聲音處理。如參考第74圖,積體電路3包含主控制部6、串流處理部5、訊號處理部7、記憶體控制部9、及AV輸出部8。
主控制部6包含處理程式核心與程式記憶體。處理程式核心具有計時器功能與擠進功能。程式記憶體係儲存OS等基本軟體。處理程式核心係依循已儲存於程式記憶體等之程式來控制積體電路3全體。
串流處理部5係在主控制部6之控制下從媒體ME接收經由媒體IF部1所傳送之資料。接著,串流處理部5係使其巳接收之資料通過積體電路3內之資料路徑,來儲存於記憶體部2。此外,串流處理部5係從已接收之資料將影像系資料與聲音系資料分離。在此,同前述,從媒體ME所接收之資料包含實施形態1之結構資料。屆時,「影像系資料」包含主要視頻串流、次要視頻串流、PG串流、及IG串流。而「聲音系資料」包含主要聲頻串流與次要聲頻串流。尤其在實施形態1之結構資料中,主視資料與子視資料係分別分割成複數延伸區,且該等交互配置而構成一連串的延伸區塊。當串流處理部5收到延伸區塊時,依循主控制部6之控制從其延伸區塊抽出主視資料,來儲存於記憶體部2內之第1區域,且抽出子視資料來儲存於記憶體部2內之第2區域。主視資料包含左視視頻串流,而子視資料包含右視視頻串流。相反亦可。又,主視與子視之組合為2D影像與其深度圖之組合亦可。記憶體部2內之第1區域與第2區域意指將單一記憶體元件之區域論理上分割而成者。此外,各區域在物理上包含在不同的記憶體元件亦可。
由串流處理部5所分離之影像系資料與聲音系資料係分別以編碼來壓縮。影像系資料之編碼方式的種類包含MPEG-2、MPEG-4 AVC、MPEG4-MVC、及SMPTE VC-1等。聲音系資料之編碼方式的種類則包含杜比AC-3、杜比數位Plus、MLP、DTS、DTS-HD、及線性PCM等。訊號處理部7係在主控制部6之控制下,以適合個別編碼方式之方法來將影像系資料與聲音系資料解碼。訊號處理部7係相當於如第46圖所示之各種解碼器。
訊號處理部7用來解碼一個延伸區塊內之全部資料塊所需要的時間(t)係合計下列三個時間(t1,t2,t3)以上:媒體IF部1於一個延伸區塊當中,讀出除去前頭資料塊之資料 塊所需要的時間(t1);媒體IF部1從讀取完一個延伸區塊之終端到開始讀取下一個延伸區塊之前頭為止所需要的時間(t2);及媒體IF部1讀出下一個延伸區塊內之前頭資料塊所需要的時間(t3)。
記憶體控制部9係調停從積體電路3內之各功能塊5-8到記憶體部2之存取。
AV輸出部8係在主控制部6之控制下,將由訊號處理部7所解碼之影像系資料與聲音系資料分別加工成適當形式,並通過個別的輸出端子10往顯示裝置103與其內建喇叭輸出。其加工種類包含影像系資料之重疊處理、各資料之格式變換、及聲音系資料之混音等。
第75圖係顯示串流處理部5之代表性構成的功能方塊圖。如參考第75圖,串流處理部5係具備裝置串流IF部51、解多工部52、及切換部53。
裝置串流IF部51係在媒體IF部1與積體電路3內之其它功能塊6-9之間進行資料傳送的介面。例如當媒體ME為光碟或硬碟時,裝置串流IF部51包含SATA(Serial Advanced Technology Attachment:序列先進技術附件)、ATAPI(Advanced Technology Attachment Packet Interface:進階技術附件分封介面)、或PATA(Parallel Advanced Technology Attachment:並列先進技術附件)。當媒體ME為SD卡片及USB記憶體等半導體記憶體時,裝置串流IF部51包含卡片IF。當媒體ME為CATV等廣播波時,裝置串流IF部51包含調諧器IF。當媒體ME為乙太網路®、無線LAN、及無線公共線 路等網路時,裝置串流IF部51包含網路IF。在此,藉由媒體ME之種類,裝置串流IF部51取代媒體IF部1來使其一部分功能實現亦可。反之,當將媒體IF部1內建於積體電路3之情況,省略裝置串流IF部51亦可。
解多工部52係從記憶體控制部9接收從媒體ME傳送至記憶體部2之資料,並從其資料將影像系資料與聲音系資料分離。在此,包含於實施形態1之結構資料的各延伸區如第4圖所示,係由視頻串流、聲頻串流、PG串流、及IG串流等來源封包所構成。但,亦有子視資料未包含聲頻串流之情況。解多工部52係從各來源封包讀取PID,並依循其PID將來源封包群分別成影像系TS封包VTS 與聲音系TS封包ATS 。已分別之TS封包VTS 、ATS 係直接或暫時儲存於記憶體部2後,而傳送至訊號處理部7。解多工部52係相當於如第46圖所示之來源拆包器4611、4612、及PID過濾器4613、4614。
切換部53係依照由裝置串流IF部51所接收之資料種類來切換其輸出對象。例如,當裝置串流IF部51收到主視資料時,會將其資料之儲存去處切換至記憶體部2之第1區域。另一方面,當裝置串流IF部51收到子視資料時,會將其資料之儲存去處切換至記憶體部2之第2區域。
切換部53係如DMAC(Direct Memory Access Controller:直接記憶存取控制器)。第76圖係顯示前述情況下之切換部53周邊結構的示意圖。DMAC53係在主控制部6之控制下,將由裝置串流IF部51所收到之資料與其資料之儲存去 處位址對記憶體控制部9發訊。具體而言,當裝置串流IF部51收到主視資料MD時,DMAC53會連同主視資料MD將位址1AD1發訊。在此,「位址1」AD1係顯示記憶體部2內之第1儲存區域21之前頭位址AD1的資料。另一方面,當裝置串流IF部51收到子視資料SD時,DMAC53會連同子視資料SD將發訊位址2AD2發訊。在此,「位址2」AD2係顯示記憶體部2內之第2儲存區域22之前頭位址AD2的資料。如此一來,DMAC53係依照藉由裝置串流IF部51所接收之資料種類來切換其輸出對象,尤其是往記憶體部2內之儲存去處。記憶體控制部9係將從DMAC53所收到之主視資料MD與子視資料SD分別儲存於同時所收到的位址AD1、AD2顯示之記憶體部2內之區域21、22。
主控制部6在控制切換部53之儲存去處的切換時,係利用剪輯資訊檔案內之延伸區起點。在此,其剪輯資訊檔案會比主視資料MD與子視資料SD之任一者還要先被接收,且會被儲存到記憶體部2。尤其,主控制部6係利用檔案庫來辨識由裝置串流IF部51所收到的資料為主視資料MD。另一方面,主控制部6係利用檔案DEP來辨識由裝置串流IF部51所收到的資料為子視資料。接著,主控制部6係依照其所辨識之結果朝切換部53發送控制訊號CS,來使資料之儲存去處切換。而,切換部53亦可由不同於主控制部6的其它專用控制電路來控制。
串流處理部5除第75圖所示之功能塊51、52、53以外,亦可進一步具備密碼引擎部、保全管理部、及用於直接記憶體存取之控制器。密碼引擎部係將由裝置串流IF部51所收到的加密資料及鍵資料等解碼。保全管理部持有秘密鍵,乃利用其在媒體ME與再生裝置102之間進行機器認證協定等執行控制。
上述範例中,當從媒體ME所收到之資料儲存於記憶體部2時,係依其資料為主視資料MD與子視資料SD之其中一者來切換其儲存去處。此外,從媒體ME所收到之資料不論其種類,皆暫時儲存於記憶體部2內之同一區域,其後從記憶體部2往解多工部52傳送時,分成主視資料MD與子視資料SD亦可。
第77圖係顯示AV輸出部8之代表性構成的功能方塊圖。如參考第77圖,AV輸出部8係具備影像重疊部81、視頻輸出格式變換部82、及聲頻視頻輸出IF部83。
影像重疊部81係將藉由訊號處理部7所解碼之影像系資料VP、PG、IG彼此重疊。具體而言,影像重疊部81首先係從視頻輸出格式變換部82接收處理後左視或右視之視頻平面資料VP,並從訊號處理部7接收解碼後PG平面資料PG與IG平面資料IG。接著,影像重疊部81將PG平面資料PG與IG平面資料IG以圖片單位重疊於視頻平面資料VP。影像重疊部81係相當於如第44圖、第46圖、第47圖所示之平面加算部4424。
視頻輸出格式變換部82係從訊號處理部7接收解碼後視頻平面資料VP,並從影像重疊部81接收重疊後影像系資料VP/PG/IG。再者,視頻輸出格式變換部82對該等影像系資料VP、VP/PG/IG視需要進行各種處理。其處理種類包含重調大小(resize)處理、IP變換處理、雜音降低處理、及訊框速率變換處理。重調大小處理係擴大/縮小影像大小之處理。IP變換處理係在連續掃描方式(progressive)與隔行掃描方式(interlace)之間變換掃描方式之處理。雜音降低處理係從影像除去雜音之處理。訊框速率變換處理係變換訊框速率之處理。視頻輸出格式變換部82係將處理後視頻平面資料VP往影像重疊部81送出,或將處理後影像系資料VS往聲頻視頻輸出IF部83送出。
聲頻視頻輸出IF部83係從視頻輸出格式變換部82接收影像系資料VS,並從訊號處理部7接收解碼後聲音系資料AS。接著,聲頻視頻輸出IF部83對已收到之資料VS、AS進行符合於資料發訊形式之編碼等處理。在此,如後述,聲頻視頻輸出IF部83之一部分亦可設於積體電路3之外部。
第78圖係顯示包含AV輸出部8的再生裝置102之資料輸出相關部分的詳細示意圖。如參考第78圖,聲頻視頻輸出IF部83包含類比視頻輸出IF部83a、數位視頻聲頻輸出IF部83b、及類比聲頻輸出IF部83c。藉此,積體電路3及再生裝置102同以下所述,可對應於複數種類的影像系資料與聲音系資料之資料發訊方式。
類比視頻輸出IF部83a係從視頻輸出格式變換部82接收影像系資料VS,並將其資料VS變換/編碼成類比影像訊號形式之資料VD來輸出。類比視頻輸出IF部83a包含如對應於NTSC、PAL、及SECAM之任一方式的合成視頻編碼器、S影像訊號(Y/C分離)用編碼器、組件影像訊號用編碼器、還有D/A轉換器(DAC)等。
數位視頻聲頻輸出IF部83b係從訊號處理部7接收解碼後聲音系資料AS,並從視頻輸出格式變換部82接收影像系資料VS。接著,數位視頻聲頻輸出IF部83b將該等資料AS、VS呈一體加密。其後,數位視頻聲頻輸出IF部83b將加密資料SVA配合資料發訊規格來編碼並輸出。數位視頻聲頻輸出IF部83b係相當於如HDMI等。
類比聲頻輸出IF部83c係從訊號處理部7接收解碼後聲音系資料AS,並藉由D/A變換來變換為類比聲音資料AD而輸出。類比聲頻輸出IF部83c係相當於如聲頻DAC。
上述影像系資料及聲音系資料的發訊形式可配合顯示裝置103/喇叭103A所具備之資料接收裝置/資料輸入端子之種類來切換,又亦可由使用者選擇來切換。再者,再生裝置102不僅可將同內容之資料以單一發訊形式發訊,亦可以複數發訊形式來平行發訊。
AV輸出部8除第77圖、第78圖所示之功能塊81、82、83以外,亦可進一步具備圖形引擎部。圖形引擎部係對由訊號處理部7所解碼之資料進行過濾器處理、畫面合成處理、曲線描繪處理、及3D顯示處理等圖形處理。
積體電路3係內建第74圖、第75圖、第77圖、及第78圖所示之上述功能塊。但,其並非必需,一部分的功能塊外加於積體電路3亦可。又,與第74圖所示之構成不同,記憶體部2亦可內建於積體電路3。再者,主控制部6與訊號處理 部7係非完全已分離的功能塊亦可,例如主控制部6進行一部分的訊號處理部7之處理亦可。
連接積體電路3內之功能塊間之控制路徑及資料路徑的佈局,係配合各功能塊之處理順序及內容而加以選擇即可。第79圖係顯示積體電路3內之控制路徑及資料路徑之佈局範例(a)、(b)的示意圖。如參考第79圖(a),控制路徑11與資料路徑12係皆配置成使各功能塊5-9與其它所有功能塊直接連結。此外,如第79圖(b)所示,資料路徑13亦可配置成使各功能塊5-8僅與記憶體控制部9直接連結。屆時,各功能塊5-8係透過記憶體控制部9,再進一步透過記憶體部2將資料往其它功能塊傳送。
積體電路3不是已組裝成單一晶片之LSI,而是多晶片模組亦可。屆時,構成積體電路3之複數晶片係密封成一個封包,因此積體電路3看起來為單一LSI。此外,積體電路3亦可利用FPGA(Field Programmable Gate Array:現場可程式閘陣列)或可重組態處理器(Reconfigurable Processor)而構成。FPGA係於製造後可程式之LSI。可重組態處理器係可再構成內部電路室間之連結,及各電路室之設定的LSI。
<已利用積體電路3的再生裝置102之再生處理>
第80圖係已利用積體電路3的再生裝置102之再生處理的流程圖。其再生處理係於光碟驅動機插入光碟等,媒體IF部1已連接成可於媒體ME接收資料時開始。其再生處理中,再生裝置102係從媒體ME接收資料並加以解碼。其後,再生裝置102將解碼後資料作為影像訊號及聲音訊號來輸出。
步驟S1中,媒體IF部1係從媒體ME接收或讀出資料並往串流處理部5傳送。其後,處理進入步驟S2。
步驟S2中,串流處理部5係將在步驟S1中所接收或所讀出之資料分離為影像系資料與聲音系資料。其後,處理進入步驟S3。
步驟S3中,訊號處理部7係將在步驟S2中由串流處理部5所分離之各資料,依適合其編碼方式之方法來解碼。其後,處理進入步驟S4。
步驟S4中,AV輸出部8係對在步驟S3中由訊號處理部7所解碼之影像系資料進行重疊處理。其後,處理進入步驟S5。
步驟S5中,AV輸出部8係輸出在步驟S2-4中所處理之影像系資料及聲音系資料。其後,處理進入步驟S6。
步驟S6中,主控制部6判斷是否應繼續進行再生處理。在殘留有應藉由媒體IF部1從媒體ME全新接收或讀出之資料等的情況下,處理從步驟S1開始反覆。另一方面,在因光碟從光碟驅動機取出或從使用者下達再生停止等,而使媒體IF部1結束來自媒體ME之資料接收或讀出的情況下,處理結束。
第81圖係顯示第80圖所示之各步驟S1-6之詳細的流程圖。第81圖所示之各步驟S101-110係在主控制部6之控制下進行。步驟S101主要相當於步驟S1之詳細,步驟S102-104主要相當於步驟S2之詳細,步驟S105主要相當於步驟S3之詳細,步驟S106-108主要相當於步驟S4之詳細,而步驟S109、S110主要相當於步驟S5之詳細。
步驟S101中,裝置串流IF部51係通過媒體IF部1從媒體ME接收或讀出其資料之再生所需的資料,前述資料之再生所需的資料係優先於再生對象之資料,例如:播放清單檔案及剪輯資訊檔案。接著,裝置串流IF部51透過記憶體控制部9將其資料儲存於記憶體部2。其後,處理進入步驟S102。
步驟S102中,主控制部6係從包含於剪輯資訊檔案之串流屬性資訊,辨識媒體ME所儲存之影像資料與聲音資料的個別編碼方式。再者,主控制部6進行訊號處理部7之初始化,以使已辨識之編碼方式所對應之解碼處理可執行。其後,處理進入步驟S103。
步驟S103中,裝置串流IF部51係通過媒體IF部1從媒體ME接收或讀出再生對象之影像資料與聲音資料。尤其,該等資料係以延伸區單位而接收或讀出。接著,裝置串流IF部51將該等資料經由切換部53與記憶體控制部9來儲存於記憶體部2。尤其,當已收到或已讀出主視資料時,主控制部6會控制切換部53,並使其資料之儲存去處切換到記憶體部2內之第1區域。另一方面,當已收到或已讀出子視資料時,主控制部6會控制切換部53,使其資料之儲存去處切換到記憶體部2內之第2區域。其後,處理進入步驟S104。
步驟S104中,已儲存於記憶體部2之資料係往串流處理部5內之解多工部52傳送。解多工部52首先從構成其資料之各來源封包讀取PID。接著,解多工部52依循其PID來辨識包含於其來源封包之TS封包為影像系資料或聲音系資料之何者。接下來,解多工部52依循識別結果,將各TS封包往訊號處理部7內的對應解碼器傳送。其後,處理進入步驟S105。
步驟S105中,在訊號處理部7內各解碼器係以適當方法來解碼已傳送之TS封包。其後,處理進入步驟S106。
步驟S106中,在訊號處理部7中已解碼之左視視頻串流及右視視頻串流之各圖片,係送往視頻輸出格式變換部82。視頻輸出格式變換部82將該等圖片配合顯示裝置103之解析度來重調大小。其後,處理進入步驟S107。
步驟S107中,影像重疊部81係從視頻輸出格式變換部82接收在步驟S106中已重調大小之圖片所形成之視頻平面資料。另一方面,影像重疊部81係從訊號處理部7接收解碼後PG平面資料與IG平面資料。接著,影像重疊部81將該等平面資料重疊。其後,處理進入步驟S108。
步驟S108中,視頻輸出格式變換部82係從影像重疊部81接收在步驟S107中已重疊之平面資料。接著,視頻輸出格式變換部82對其平面資料進行IP變換。其後,處理進入步驟S109。
步驟S109中,聲頻視頻輸出IF部83係從視頻輸出格式變換部82接收在步驟S108已受IP變換的影像系資料,並從訊號處理部7接受解碼後聲音系資料。接著,聲頻視頻輸出IF部83對該等資料依循顯示裝置103/喇叭103A之資料輸出 方式、或往個別之資料發訊方式,來進行編碼處理及D/A變換等。藉此,影像系資料與聲音系資料可分別變換為類比輸出形式或數位輸出形式。例如,類比輸出形式之影像系資料包含合成影像訊號、S影像訊號、及組件影像訊號等。又,數位輸出形式之影像系資料/聲音系資料包含HDMI等。其後,處理進入步驟S110。
步驟S110中,聲頻視頻輸出IF部83係將在步驟S109中已處理之影像系資料及聲音系資料往顯示裝置103/喇叭103A發訊。其後,處理進入步驟S6。而,在步驟S6中,爰用上述說明。
上述各步驟中,每當處理資料時將其結果暫時儲存於記憶體部2亦可。又,步驟S106及S108中來自視頻輸出格式變換部82之重調大小處理及IP變換處理,視必要省略亦可。再者,加上該等處理或取代該等處理而進行雜音降低處理及訊框速率變換處理等其它處理亦可。還有,有關可變更處理順序者,變更處理順序亦可。
<補充>
《3D影像的再生方法之原理》
3D影像之再生方法可大致區分為二種:使用全像術(holography)的方法與使用視差影像的方法。
使用全像術的方法之特徴在於藉由賦予視聽者的視覺與來自現實立體物體賦予人類視覺的光學資訊大致完全一樣的資訊,而使前述視聽者可看見影像中物體呈立體。雖然,將該方法利用於動畫呈現之技術在理論上既已確立。 但,其動畫呈現所需要的可即時處理龐大演算之電腦,及每1mm數千條之超高解析度顯示裝置兩者,以現今技術而言尚難以實現。因此,將該方法作為商業用途而實用化之目標,在目前仍幾乎未成立。
「視差影像」意指映入觀看一個場景的視聽者之各眼的2D影像之對,即左視與右視之對。使用視差影像方法的特徴在於藉由再生一個場景之左視與右視,來僅讓視聽者各眼觀看,而使該視聽者看到其場景呈立體。
第82圖(a)-(c)係用以說明使用視差影像之方法的3D影像(立體視影像)之再生原理的示意圖。第82圖(a)係當視聽者7401正在觀看設置於臉部正前方之立方體7402時的光景之俯視圖。第82圖(b)、(c)係分別顯示將當時可視於視聽者7401之左眼7401L、右眼7401R之立方體7402的外觀作為2D影像的示意圖。如同比較第82圖(b)、(c)即可明瞭,可視於各眼之立方體7402之外觀有些微差異。從該外觀差異-即兩眼視差,視聽者7401可立體地辨識立方體7402。因此,使用視差影像的方法中,首先係對一個場景-例如第82圖(a)所示之立方體7402-準備視點相異的左右2D影像,如第82圖(b)所示之立方體7402之左視,及第82圖(c)所示之其右視。在此,各視點之位置係從視聽者7401之兩眼視差來決定。接著,使僅可見於視聽者7401之個別單眼來再生各2D影像。藉此,視聽者7401可看見再生於畫面的其場景-即立方體7402之影像-呈立體。如此一來,使用視差影像的方法與使用全像術的方法相異,在僅需準備可從不過二個 視點來觀看的2D影像即可之一點上,可謂有利。
關於使用視差影像的方法,已多方提出使其具體化的方式。從如何使視聽者的個別單眼觀看左右2D影像之觀點看來,該等方式可區分為隨時間相繼分離方式、使用扁豆狀透鏡之方式、及二色分離方式等。
隨時間相繼分離方式中,係將左右2D影像每隔一定時間交互地呈現於畫面,此外還使視聽者透過快門眼鏡來觀察畫面。在此,快門眼鏡係例如以液晶面板而形成有各透鏡。各透鏡與畫面上的2D影像切換同步,並交互地使光以其全體一同透過、或遮斷。換言之,各透鏡係作用為周期性遮擋視聽者之眼的快門。更詳細來說,在畫面上呈現左影像的期間,快門眼鏡係使光透過左側透鏡,而使光遮斷右側透鏡。反之,在畫面上呈現右影像的期間,快門眼鏡係使光透過右側透鏡,而使光遮斷左側透鏡。藉此,視聽者之眼會有左右影像之殘像重疊,而看到一個3D影像。
隨時間相繼分離方式中,同上述係將左右影像以一定周期交互地呈現。例如當在2D影像再生中呈現每1秒24張的影像訊框時,則在3D影像再生中係使左右影像加起來呈現每1秒48張的影像訊框。因此,該方式適合適用於可快速執行畫面之重寫的顯示裝置。
使用扁豆狀透鏡的方式中,將左右之各影像訊框於縱向分割成細長短冊形的小區域,並於一個畫面之中將左右影像訊框之各小區域交互地排列於橫向來同時呈現。在此,畫面之表面係以扁豆狀透鏡所覆蓋。扁豆狀透鏡係將 細長平凸透鏡複數平行排列而作成一張薄片狀者。各平凸透鏡係將畫面之表面往縱向延長。當使視聽者透過扁豆狀透鏡觀看上述左右影像訊框時,來自左影像訊框之顯示區域的光係僅可結像於視聽者之左眼,而來自右影像訊框之顯示區域的光係僅可結像於右眼。如此一來,藉由映入左右眼之影像間的兩眼視差,視聽者可看見3D影像。而,該方式中,除了扁豆狀透鏡,亦可利用具有同功能的液晶元件等其它光學構件。此外,例如亦可於左影像訊框的顯示區域設置縱偏光過濾器,而於右影像訊框的顯示區域設置横偏光過濾器。屆時,可使視聽者透過偏光眼鏡觀看畫面。在此,其偏光眼鏡中,於左側透鏡設置有縱偏光過濾器,且於右側透鏡設置有横偏光過濾器。因此,左右影像僅可由視聽者之個別單眼看見,故而可使視聽者看見3D影像。
使用視差影像的方法中,3D影像內容除了從最初以左右影像之組合而構成的情況以外,亦可以2D影像與深度圖之組合所構成。其2D影像係呈現從再生對象之3D影像到虛擬2D畫面的投射,而深度圖係以像素別呈現對其2D畫面之其3D影像的各部深度。當3D影像內容係以2D影像與深度圖之組合所構成時,3D再生裝置或顯示裝置係首先從該等組合構成左右影像,接著從該等影像以上述方式之任一者來重現3D影像。
第83圖係顯示從2D影像7501與深度圖7502之組合來構成左視7503L與右視7503R之範例的示意圖。如參考第83圖,2D影像7501中於背景7512中顯示有圓板7511。深度圖7 502係將其2D影像7501內之各部深度依每像素顯示。依據其深度圖7502,2D影像7501當中,圓板7511的顯示區域7521之深度較畫面在前,且背景7512的顯示區域7522之深度較畫面在後。在再生裝置102內,視差影像生成部7500係首先從深度圖7502顯示之各部深度來計算2D影像7501內的各部兩眼視差。接著,視差影像生成部7500使2D影像7501內的各部顯示位置依照已計算的兩眼視差往左右移動,來構成左視7503L與右視7503R。第83圖所示之範例中,視差影像生成部7500係對2D影像7501內之圓板7511的顯示位置,使左視7503L內之圓板7531L的顯示位置往右移動僅其兩眼視差的一半S1,而使右視7503R內之圓板7531R的顯示位置往左移動僅其兩眼視差的一半S1。藉此,視聽者可看見圓板7511較畫面在前。另一方面,視差影像生成部7500係對2D影像7501內之背景7512的顯示位置,使左視7503L內之背景7532L的顯示位置往左移動僅其兩眼視差的一半S2,且使右視7503R內之背景7532R的顯示位置往右移動僅其兩眼視差的一半S2。藉此,視聽者可看見背景7512較畫面在後。
使用視差影像方法的3D影像再生系統,對於在電影院及遊樂園之遊樂設施等所利用者既已確立且普遍地使用。因此,其方法對可再生3D影像之家庭戲院系統的實用化亦有助益。本發明之實施形態中,使用視差影像的方法當中係假想隨時間相繼分離方式或採用偏光眼鏡之方式。但,本發明對於與該等方式相異的其它方式,祇要該等係使用視差影像皆可適用。其從上述實施形態的說明,對熟知此項技藝之人士而言應顯而易見。
《BD-ROM光碟上之檔案系統》
利用UDF作為BD-ROM光碟101之檔案系統時,第2圖所示之容量區域202B一般包含複數個目錄、檔案組描述符、及記錄有個別的終端描述符之區域。「目錄」係構成同目錄之資料群。「檔案組描述符」係顯示記錄有根目錄檔案入口之扇區LBN。「終端描述符」係顯示檔案組描述符之記錄區域的終端。
各目錄持有共通的資料結構。尤其,各目錄包含檔案入口、目錄檔案、及下位檔案群。
「檔案入口」包含描述符標籤、ICB(Information Cont rol Block:資訊控制塊)標籤、及分配描述符。「描述符標籤」係顯示包含其描述符標籤之資料種類為檔案入口者。例如,當描述符標籤之值為"261"時,其資料種類為檔案入口。「ICB標籤」係顯示其檔案入口本身之屬性資訊。「分配描述符」係顯示記錄有屬於同目錄之目錄檔案的扇區LBN。
「目錄檔案」一般包含複數個下位目錄之檔案識別描述符與複數個下位檔案之檔案識別描述符。「下位目錄之檔案識別描述符」係用以存取已配置在其目錄正下方之下位目錄的資訊。該檔案識別描述符包含其下位目錄之識別資訊、目錄名之長度、檔案入口位址、及目錄名本身。尤其檔案入口位址係顯示記錄有其下位目錄之檔案入口的扇區LBN。「下位檔案之檔案識別描述符」係用以存取已配置在其目錄正下方之下位檔案的資訊。該檔案識別描述符包含其下位檔案之識別資訊、檔案名之長度、檔案入口位址、及檔案名本身。尤其檔案入口位址係顯示記錄有其下位檔案之檔案入口的扇區LBN。「下位檔案之檔案入口」同後述係包含構成下位檔案之實體的資料位址資訊。
依序追蹤檔案組描述符與下位目錄/檔案之檔案識別描述符,即可存取已記錄在容量區域202B之任意的目錄/檔案之檔案入口。具體而言,首先從檔案組描述符特定根目錄之檔案入口,並從其檔案入口內之分配描述符特定根目錄之目錄檔案。接著,從其目錄檔案檢測根目錄正下方的目錄之檔案識別描述符,並從其中的檔案入口位址特定其目錄之檔案入口。接下來,從其檔案入口內之分配描述符特定其目錄之目錄檔案。然後,於其目錄檔案當中,從下位目錄或下位檔案之檔案識別描述符內之檔案入口位址,特定其下位目錄或下位檔案之檔案入口。
「下位檔案」分別包含延伸區與檔案入口。「延伸區」一般為複數個,各自係光碟上之論理位址─即LBN─連續一起的資料列。延伸區全體構成下位檔案之實體。「檔案入口」包含描述符標籤、ICB標籤、及分配描述符。「描述符標籤」係顯示包含其描述符標籤之資料種類為檔案入口。「ICB標籤」係顯示其檔案入口本身之屬性資訊。「分配描述符」係對各延伸區一個個所設置,並係顯示在容量區域202B上之各延伸區之配置─具體上為各延伸區之大小與其前端LBN。因此,藉由參考各分配描述符,可存取各延伸區。此外,各分配描述符之上位2位元係顯示於其分配描述符顯示之LBN的扇區是否實際記錄有延伸區。換言之,當其上位2位元為"0"時係顯示其扇區乃已分配完成且記錄完成有延伸區,當為"1"時係顯示其扇區乃已分配完成但尚未記錄有延伸區。
與已利用UDF之上述檔案系統一樣,在對於容量區域202B之檔案系統中一般而言,當已記錄於容量區域202B之各檔案分割成複數個延伸區時,如上述分配描述符,係將顯示各延伸區配置的資訊與容量區域202B合併一起記錄。由參考其資訊可了解各延伸區之配置-尤其是其論理位址。
《經由廣播、通信電路之資料發訊》
本發明實施形態1之記錄媒體除光碟以外,還包含如包含SD記憶體卡片之可攜性半導體記憶體裝置等,可作為封包媒體利用之可拆卸媒體全面。又,實施形態1之說明中舉例有預先已記錄有資料的光碟,即BD-ROM或DVD-ROM等既存之讀出專用光碟。但,本發明之實施形態並不限於該等。例如當將以廣播或經由網路所發訊之3D影像內容,藉由終端裝置寫入BD-RE或DVD-RAM等既存之可寫入光碟時,亦可利用實施形態1之延伸區配置。在此,其終端裝置可組裝於再生裝置,亦可為與再生裝置不同的裝置。
《半導體記憶體卡片的再生》
作為本發明實施形態1之記錄媒體,對於取代光碟而使用半導體記憶體卡片時的再生裝置之資料讀出部加以說 明。
再生裝置當中,從光碟讀出資料的部分係例如由光碟驅動機而構成。相對地,從半導體記憶體卡片讀出資料之部分係以專用介面(I/F)所構成。較詳細而言,係將卡片插槽設置於再生裝置,並於其內部組裝上述I/F。當將半導體記憶體卡片挿入其卡片插槽時,透過其I/F可使其半導體記憶體卡片與再生裝置通電。再者,從半導體記憶體卡片透過其I/F將資料讀出至再生裝置。
《對於BD-ROM光碟上之資料著作權保護技術》
在此,作為以後補充事項之前提,對用於保護記錄於BD-ROM光碟之資料著作權之機制加以說明。
例如從保護著作權或提升資料機密性的觀點看來,有加密一部分已記錄於BD-ROM光碟之資料的情況。其加密資料包含例如:視頻串流、聲頻串流、或其它串流。屆時,加密資料可如下述來解讀。
於再生裝置預先記憶有用以解讀BD-ROM光碟上加密資料的「鍵」生成所需要的資料之一部分-即裝置鍵。另一方面,於BD-ROM光碟記錄有前述「鍵」生成所需要的資料之另一部分-即MKB(Media Key Block:媒體鎖區塊),與其「鍵」本身的加密資料-即加密標題鍵。裝置鍵、MKB、及加密標題鍵係彼此相對應,更與已寫入第2圖所示之BD-ROM光碟101上之BCA201的特定ID-即音量ID-相對應。若裝置鍵、MKB、加密標題鍵、及音量ID之組合不正確,則無法解讀加密資料。換言之,祇有在該等組合正確的情況下,可生成上述「鍵」─即標題鍵。具體而言,首先利用裝置鍵、MKB、及音量ID來解碼加密標題鍵。藉其,祇有在成功導出標題鍵時,可將該標題鍵用為上述「鍵」來解讀加密資料。
欲藉由再生裝置來再生BD-ROM光碟上之加密資料時,例如若其再生裝置內未記憶有已預先對應於其BD-ROM光碟上之加密標題鍵、MKB、及音量ID之裝置鍵,便無法再生其加密資料。原因在於若未以MKB、裝置鍵、及音量ID之正確組合來解碼加密標題鍵,便無法導出解讀其加密資料所需之鍵─即標題鍵。
為了保護應記錄於BD-ROM光碟之視頻串流與聲頻串流之至少其中一者的著作權,首先將保護對象之串流以標題鍵加密並記錄於BD-ROM光碟。接著,從MKB、裝置鍵、及音量ID之組合來生成鍵,並以其鍵來加密上述標題鍵,並變換為加密標題鍵。接下來,將MKB、音量ID、及加密標題鍵記錄於BD-ROM光碟。從其BD-ROM光碟,僅可在備有已利用於上述鍵生成的裝置鍵之再生裝置中,以解碼器來解碼加密過的視頻串流及/或聲頻串流。如此一來,可保護已記錄於BD-ROM光碟之資料著作權。
以上所述之在BD-ROM光碟中的資料著作權保護之機制亦可適用於BD-ROM光碟以外。例如亦可適用於可讀可寫的半導體記憶體裝置,尤其是SD卡片等可攜性半導體記憶體卡片。
《對已利用電子發訊之記錄媒體的資料記錄》
以下,就利用電子發訊對本發明實施形態1之再生裝置傳達3D影像之AV串流檔案等資料(以下稱為發訊資料),還有使其再生裝置將其發訊資料記錄到半導體記憶體卡片之處理加以說明。而,以下操作係以專作其處理之終端裝置取代上述再生裝置來進行亦可。又,假想記錄對象之半導體記憶體卡片為SD記憶體卡片之情況。
再生裝置同上述係備有卡片插槽。其卡片插槽插有SD記憶體卡片。在該狀態下,再生裝置係首先對網路上的發訊伺服器送出發訊資料的發訊要求。此時,再生裝置係從SD記憶體卡片讀出其識別資訊,並將其識別資訊連同發訊要求往發訊伺服器送出。SD記憶體卡片之識別資訊係例如其SD記憶體卡片固有的識別號碼,較具體而言係其SD記憶體卡片之連續號碼。該識別資訊係作為音量ID來利用。
發訊伺服器儲存有發訊資料。其發訊資料當中,視頻串流及/或聲頻串流等,需要加密保護之資料係使用預定的標題鍵施以加密。其加密資料可以同標題鍵來解碼。
發訊伺服器持有裝置鍵來作為與再生裝置共通的機密鎖。再者,發訊伺服器持有與SD記憶體卡片共通的MKB。當發訊伺服器從再生裝置收到發訊資料之發訊要求與SD記憶體卡片之識別資訊時,首先從裝置鍵、MKB、及其識別資訊生成鍵,並以其鍵加密標題鍵來生成加密標題鍵。
接著,發訊伺服器生成公開鍵資訊。該公開鍵資訊包含例如:上述MKB、加密標題鍵、署名資訊、SD記憶體卡片之識別號碼、及裝置清單。署名資訊包含如公開鍵資訊之散列值(hash)。裝置清單係應作為無効之裝置,即有將發訊資料中的加密資料不正當再生之危險性的裝置之清單。其清單特定有例如:再生裝置之裝置鍵、再生裝置之識別號碼、內建於再生裝置之解碼器等,各種構件的識別號碼、或功能(程式)。
再者,發訊伺服器係將發訊資料與公開鍵資訊往再生裝置送出。再生裝置係接收該等,並透過卡片插槽內的專用I/F而記錄於SD記憶體卡片。
已記錄於SD記憶體卡片之發訊資料當中,加密資料係如下利用公開鍵資訊來解碼。首先,進行以下三種檢查(1)-(3)來作為公開鍵資訊的認證。而,該等可以任意的順序進行。
(1)包含於公開鍵資訊之SD記憶體卡片的識別資訊是否與插入在卡片插槽之SD記憶體卡片所記憶的識別號碼一致?
(2)從公開鍵資訊算出的散列值是否與包含於署名資訊之散列值一致?
(3)從公開鍵資訊顯示之裝置清單是否有排除該再生裝置?具體而言,從裝置清單是否有排除該再生裝置之裝置鍵?
當上述檢查(1)-(3)之任一結果為否定時,再生裝置會中止加密資料的解碼處理。反之,當上述檢查(1)-(3)的所有結果皆為肯定時,再生裝置會認定公開鍵資訊之正當性,並利用裝置鍵、MKB、及SD記憶體卡片之識別資訊來將公開鍵資訊內之加密標題鍵解碼至標題鍵。接著,再生裝置係使用其標題鍵將加密資料解碼至例如視頻串流及/或聲頻串流。
以上機制有以下優點。當電子發訊時已知有不當使用之危險性的再生裝置、構件、及功能(程式)等情況時,該等識別資訊會舉列至裝置清單來作為公開鍵資訊的一部分而發訊。另一方面,已要求發訊資料之再生裝置係必須將其裝置清單內之識別資訊與其再生裝置及其構件等的識別資訊對照。藉此,若其再生裝置或其構件等有顯示在裝置清單上,則即便SD記憶體卡片之識別號碼、MKB、加密標題鍵、及裝置鍵的組合正確,其再生裝置亦無法將公開鍵資訊利用來解碼發訊資料內之加密資料。如此一來,可有效地抑制發訊資料的不當使用。
半導體記憶體卡片內之記錄區域當中,半導體記憶體卡片之識別資訊係特別儲存在隱密性高的記錄區域。原因在於,萬一其識別資訊如在SD記憶體卡片中有不當竄改其連續號碼的情況時,就變得可輕易地執行SD記憶體卡片之違法複製。換言之,其竄改結果,若變成持有同一識別資訊之半導體記憶體卡片有複數存在時,以上述檢查(1)便無法識別正規品與違法複製品。因此,半導體記憶體卡片之識別資訊必須記錄於隱密性高的記錄區域,以從不當竄改來加以保護。
於半導體記憶體卡片內構成該種隱密性高的記錄區域之手段,係例如同下述。首先,設置已從平常用於資料的記錄區域(以下稱為第1記錄區域)斷電的其它記錄區域(以下稱為第2記錄區域)。接著,將專門對第2記錄區域存取的控制電路設置於半導體記憶體卡片內。藉此,可令對第2記錄區域係僅可透過其控制電路來存取。例如,於第2記錄區域係僅記錄已加密資料,而用以解碼其已加密資料的電路係僅安裝於控制電路內。藉此,對第2記錄區域內的資料存取係若未使控制電路解碼其資料便不可行。此外,亦可使第2記錄區域內之各資料位址僅保有在控制電路。屆時,第2記錄區域內之資料位址僅可由控制電路來特定。
在半導體記憶體卡片之識別資訊已記錄於第2記錄區域之情況下,當在再生裝置上操作之應用程式係利用電子發訊從發訊伺服器取得資料並記錄於半導體記憶體卡片時,進行下述處理。首先,其應用程式係透過記憶體卡片I/F對上述控制電路發行對已記錄於第2記錄區域之半導體記憶體卡片之識別資訊的存取要求。控制電路係依照其要求,首先從第2記錄區域讀出識別資訊。接著,控制電路透過記憶體卡片I/F,對上述應用程式傳送其識別資訊。其後,其應用程式係連同其識別資訊將發訊資料之發信要求往發訊伺服器送出。應用程式再依照其要求,將從發訊伺服器所接收之公開鍵資訊與發訊資料透過記憶體卡片I/F來記錄於半導體記憶體卡片內之第1記錄區域。
而,上述應用程式對於半導體記憶體卡片內之控制電路發行上述存取要求以前,宜檢查其應用程式本身竄改之有無。其檢查例如利用準據X.509之數位證明書亦可。又, 發訊資料同上述,記錄於半導體記憶體卡片內之第1記錄區域即可,而對其發訊資料之存取係不由半導體記憶體卡片內之控制電路控制亦可。
《對即時錄影(real time recoding)之適用》
本發明實施形態2中,AV串流檔案及播放清單檔案係以藉由在編製系統之預錄技術,記錄於BD-ROM光碟來供給使用者為前提。但,AV串流檔案及播放清單檔案係藉由即時錄影,而記錄於BD-RE光碟、BD-R光碟、硬碟、或半導體記憶體卡片等可讀可寫之記錄媒體(以下簡稱為BD-RE光碟等)來供給使用者之物亦可。屆時,AV串流檔案亦可係藉由記錄裝置將類比輸入訊號即時解碼所得之傳輸流。此外,亦可係記錄裝置將已數位輸入之傳輸流局部化所得之傳輸流。
執行即時錄影之記錄裝置包含視頻編碼器、聲頻編碼器、多工器、及來源封包器(source packetizer)。視頻編碼器係編碼視頻訊號並變換為視頻串流。聲頻編碼器係編碼聲頻訊號並變換為聲頻串流。多工器係將視頻串流與聲頻串流多工並變換為MPEG2-TS形式的數位串流。來源封包器係將MPEG2-TS形式的數位串流內之TS封包變換為來源封包。記錄裝置係將各來源封包儲存於AV串流檔案並寫入BD-RE光碟等。
與AV串流檔案之寫入處理並行,記錄裝置之控制部係在記憶體上生成剪輯資訊檔案與播放清單檔案,並寫入BD-RE光碟等。具體而言,當由使用者要求錄影處理時,控 制部首先係配合AV串流檔案來生成剪輯資訊檔案並寫入BD-RE光碟等。屆時,每當從來自外部所接收之傳輸流檢測視頻串流內之一個GOP前頭時、或每當由視頻編碼器生成視頻串流內之一個GOP時,控制部會取得位於其GOP前頭之I圖片之PTS,與已儲存有其GOP前頭之來源封包的SPN。接著,控制部將其PTS與SPN之對作為一個入口點,追加記錄於剪輯資訊檔案之入口圖。在此,其入口點會追加記錄「is_angle_change旗標」。is_angle_change旗標中,當其GOP前頭為IDR圖片時設定為"開",當其GOP前頭不是IDR圖片時則設定為"關"。接下來,於剪輯資訊檔案內將串流屬性資訊依記錄對象之串流屬性來設定。如此一來,將AV串流檔案與剪輯資訊檔案寫入BD-RE光碟等後,控制部係利用其剪輯資訊檔案內之入口圖來生成播放清單檔案並寫入BD-RE光碟等。
《管理複製》
再者,本發明實施形態1之再生裝置係藉由管理複製將BD-ROM光碟101上的數位串流寫入其它記錄媒體亦可。「管理複製」意指用以僅在與伺服器之通信認證成功的情況下,許可將數位串流、播放清單檔案、剪輯資訊檔案、及應用程式,從BD-ROM光碟等讀出專用記錄媒體複製到可寫入記錄媒體的技術。前述可寫入記錄媒體包含BD-R、BD-RE、DVD-R、DVD-RW、及DVD-RAM等可寫入光碟、硬碟、還有SD記憶體卡片、記憶條®(Memory Stick)、CompactFlash®、SmartMedia®、及MultiMediaCard ®等可攜性半導體記憶體裝置。管理複製係可對已記錄於讀出專用記錄媒體之資料的支援(backup)次數之限制、及支援處理予以課金。
當從BD-ROM光碟對BD-R光碟或BD-RE光碟進行管理複製時,當兩光碟之記錄容量相等時,將已記錄於複製對象光碟之位元串流原封不動地依序複製即可。
在不同種的記錄媒體間進行管理複製時,需要轉移碼。「轉移碼」意指用以使已記錄於複製對象光碟之數位串流,適合複製對象記錄媒體之應用程式格式的處理。轉移碼包含例如:從MPEG2-TS形式變換為MPEG2程式串流形式之處理,以及使個別分配於視頻串流與聲頻串流之位元速率降低,並重新編碼之處理。轉移碼中必須藉由上述即時錄影來生成AV串流檔案、剪輯資訊檔案、及播放清單檔案。
《資料結構之記述方法》
本發明實施形態1之資料結構當中,「複數存有預定型資訊」之反覆結構,係藉由對for文記述控制變數之初始值與反覆條件所定義。又,「當預定條件成立時,即定義預定資訊」之資料結構,係藉由對If文記述其條件與其條件成立時所應設定之變數所定義。如此一來,實施形態1之資料結構係可藉由高級程式設計語言而記述。因此,其資料結構係經由「構文解析」、「最適化」、「資源分配」、及「碼生成」等之程式編製器的翻譯過程,以電腦變換為可讀取的碼,來記錄於記錄媒體。因以高級程式設計語言來記述,其資料結構係在物件導向語言(object oriented language)中之類別(class)結構體之方法(method)以外的部分,具體上係用來作為在其類別結構體中之配列型成員變數,而成為程式的一部分。換言之,其資料結構實質上同等於程式。因此,其資料結構作為電腦相關發明係應受保護。
《再生程式之播放清單檔案、剪輯資訊檔案的管理》
播放清單檔案與AV串流檔案記錄於記錄媒體時,於其記錄媒體係記錄再生程式來作為執行形式的檔案。再生程式係在電腦內依循播放清單檔案,使AV串流檔案再生。再生程式係從記錄媒體裝載至電腦內的記憶體裝置後,藉由其電腦來執行。其裝載處理包含編譯(compile)處理或連線(link)處理。由該等處理,再生程式會在記憶體裝置內分割成複數節(sections)。該等部包含text節、data節、bss節、及stack節。text節包含再生程式之碼列、變數之初始值、及不可重寫之資料。data節包含持有初始值之變數、及可重寫之資料。data節特別包含已記錄於記錄媒體上且可隨時存取之檔案。bss節包含不持有初始值之變數。bss節內之資料係依照text節內之碼所顯示的命令而參考。編譯處理或連線處理中係在電腦內的RAM確保bss節用的區域。stack節係視必要暫時確保之記憶體區域。再生程式之各處理中,會暫時使用局部變數(local variable)。stack節包含該等局部變數。當程式執行開始時,bss節內的變數係以零來初始化,並於stack節確保所需要的記憶體區域。
播放清單檔案及剪輯資訊檔案同上述,係在記錄媒體上已由電腦變換為可讀取之碼。因此,該等檔案於再生程式執行時,係作為text節內的「不可重寫之資料」,或data節內的「可隨時存取之檔案」來管理。換言之,播放清單檔案及剪輯資訊檔案係在再生程式執行時,安裝於其構成要素中。故,播放清單檔案及剪輯資訊檔案係在再生程式中,達致超過單為資料提示的功能。
產業上的利用可能性
本發明係關於立體視影像之再生技術,同上述明確地定義已記錄於記錄媒體上之資料塊與延伸區塊之大小的下限。如此一來,本發明很明確地可利用在產業上。
1...媒體IF部
2...記憶體部
3...積體電路
5...串流處理部
6...主控制部
7...訊號處理部
8...AV輸出部
9...記憶體控制部
10...輸出端子
11...控制路徑
12、13...資料路徑
21、22、7108...區域
51...串流IF部
52...解多工部
53...切換部
81...影像重疊部
82...視頻輸出格式變換部
83...聲頻視頻輸出IF部
83a...類比視頻輸出IF部
83b...數位視頻聲頻輸出IF部
83c...類比聲頻輸出IF部
101...記錄媒體
102...再生裝置
103、7608、7607...顯示裝置
104、7609...快門眼鏡
105...搖控器
121、4001、4401、6101、6501...BD-ROM驅動機
122...HDMI電纜
131、5002...畫面
132...左右訊號發訊部
141R、141L...液晶顯示屏
142...左右訊號接收部
201...BCA(脈衝切割區)
202、7601A...磁軌
202A...寫入區域
202B...容量區域
202C...讀出區域
202D、521、522、523...扇區
203...根目錄
210...BDMV目錄
211...索引檔案
212...電影物件檔案
220...播放清單(PLAYLIST)目錄
221...第1播放清單檔案、2D播放清單檔案
222...第2播放清單檔案、3D播放清單檔案
223...第3播放清單檔案
230...剪輯資訊(CLIPINF)目錄
231...第1剪輯資訊檔案
232...第2剪輯資訊檔案、右視剪輯資訊檔案
233...第3剪輯資訊檔案
240...串流(STREAM)目錄
241、2810、5110、5210、5410、5710、6410、8510...第1AV串流檔案、檔案2D
242、5712、6412...第2AV串流檔案、第1檔案DEP
243、5713、6413...第3AV串流檔案、第2檔案DEP
244...立體視交錯檔案(SSIF)目錄
244A...第4AV串流檔案、第1檔案SS
244B...第5AV串流檔案、第2檔案SS
250...BD-J物件(BDJO)目錄
251...BD-J物件檔案
260...Java壓縮目錄、JAR目錄
261...JAR檔案
301...主要視頻串流
302A、302B...主要聲頻串流
303A、303B...演示圖形(PG)串流
304...交互圖形(IG)串流
305...次要聲頻串流
306、7011...次要視頻串流
311...主要視頻串流
312A、312B...左視PG串流
313A、313B...右視PG串流
314...左視IG串流
315...右視IG串流
316...次要視頻串流
321...主要視頻串流
323A、323B...深度圖PG串流
324...深度圖IG串流
326...次要視頻串流
400、Ak、Bk、Ck...串流資料
401、901...視頻串流
401A...訊框
402、7012...聲頻串流
403、7013...PG串流
404、7014...IG串流
411~414、920~923...PES封包
421~424、501、502P...TS封包
501A...AD(適應)場
501H...TS標題
501P...TS酬載
502、A1、A2、A3、B1、B2、B3...來源封包
502H...標題(TP_Extra_Header)
511...TS優先度(transport_priority)
512、2332、2421、3623...PID(封包識別碼)
513...AD場控制(adaptation_field_control)
520...聯合單元
530...錯誤更正碼(ECC)塊
601、1001、1201、2910...基視視頻串流
602...右視視頻串流
610、710、910...I0 圖片
610~619...基視圖片
611...Br1 圖片
612...Br2 圖片
613、623、630、713、911...P3 圖片
614...Br4 圖片
615...Br5 圖片
616、626、716...P6 圖片
617、717...I7 圖片
618...Br8 圖片
619、629、719...P9 圖片
620~629...右視圖片
620...P0 圖片
621、711、912...B1 圖片
622、712、913...B2 圖片
624、714...B4 圖片
625、715...B5 圖片
627...P7 圖片
628、718...B8 圖片
631...第1GOP
632...第2GOP
701...深度圖串流
710~719、7502...深度圖
800、901...視頻串流
810、820...GOP(以I圖片為前頭之數張連續圖片之列)
811~814...圖片群
831、832...VAU#1
831A...存取單元(AU)識別碼
831B...順序標題
831C、832C...圖片標題
831D、832D...補充資料
831E、832E...壓縮圖片資料
831F、832F...填充資料
831G、832G...順序終端碼
831H、832H...串流終端碼
832B...子順序標題
902...PES封包列
902H...PES標題
902P...PES酬載
1002、1202、2920...附屬視視頻串流
1011...I1 圖片
1012、1022...P2 圖片
1013...Br3 圖片
1014...Br4 圖片
1021...P1 圖片
1023...B3 圖片
1024...B4 圖片
1101...解碼開關資訊
1111...次存取單元型
1112...次存取單元大小
1113、1210、1220、1230、1240...解碼計數器
1211...I圖片的VAU
1212、1221、1222...P圖片的VAU
1213...缺少Br圖片的VAU
1214...Br圖片的VAU
1223、1224...B圖片的VAU
1301~1303、1810、2101、2110、2800、5101、5102、5201、5202、5401~5403、8501、8502、8503、8504...延伸區塊
1310、1320、1340...檔案入口
1401...主TS
1402...子TS
1601、1820、5130、5310、5510、5801、5920...2D再生模式之再生路徑
1602、5802、6020、6902...L/R模式之再生路徑
1721...讀取緩衝器
1723、2023、4023、4423、6524...系統目標解碼器
2020、4420、4720、6120、6520...開關
2021、4021、4421、6121、6521...第1讀取緩衝器
2022、4022、4422、6122、6522...第2讀取緩衝器
2120、2220、5320、5140、5520...3D再生模式之再生路徑
2201...第M項延伸區塊
2202...第(M+1)項延伸區塊
2301...PMT標題
2302...描述符
2303...串流資訊
2310...PMT(程式映射表)
2331...串流型
2333...串流描述符
2410...剪輯資訊
2411...系統速率
2412、IN1...再生開始時間
2413、OUT1...再生結束時間
2420、3110、3613、3665...串流屬性資訊
2422...屬性資訊
2430...入口圖
2440...3D元資料
2441...偏移表
2442、2720...延伸區起點
2500、2610...表
2501...入口圖標題
2502、2901B、2903B、2905B、2901D、2903D、2905D、6801、6802、6803...入口點
2503、2601...PTS(顯示時戳)
2504、2712、2722...來源封包號碼(SPN)
2505...入口點ID(EP_ID)
2510、2511、SP2#j、SP1#k、SP2#m、SP1#n...來源封包群
2602、4751、4901L...偏移值
2603...偏移入口
2604、2605...STC範圍
2711...基視延伸區ID(EXT1_ID)
2721...右視延伸區ID(EXT2_ID)
2811、5111、5211、5411、5711...檔案庫
2812、5112、5212、5412、8520...檔案DEP
2820、5120、5220、5420、5720、6420、8530...檔案SS
3001、3401、3701...主通路
3002、3003、3402、3702...子通路
3101...參考剪輯資訊
3102...再生開始時間(In_Time)
3103...再生結束時間(Out_Time)
3104...連接狀態(CC)
3105...串流選擇表(STN表)
3106、3611、3641、3661...串流號碼(STN)
3107...串流通路資訊
3108...串流識別資訊
3109、3612...串流入口
3201、8511...檔案2D之第1部分
3202、8512...檔案2D之第2部分
3301...入口標記
3403...擴充資料
3410...子通路型
3430...STN表SS
3501、3502、3503...串流註冊資訊列
3511...彈出期間之偏移(Fixed_offset_during_Popup)
3512...附屬視視頻串流之串流註冊資訊列
3513...PG串流之串流註冊資訊列
3514...IG串流之串流註冊資訊列
3601、3631、3645、3651...串流註冊資訊(SS_dependet_view_block)
3621...子通路ID參考資訊(ref_to_Subpath_id)
3622...串流檔案參考資訊(ref_to_subClip_entry_id)
3642...立體視旗標(is_SS_PG)
3643、3663...基視串流入口(stream_entry_for_base_view)
3644、3664...附屬視串流入口(stream_entry_for_depentdent_view)
3662...立體視旗標(is_SS_IG)
3801...第一播放
3802...頂端選單
3803...標題k
3810...索引表
4000、7604...2D再生裝置
4002、4402、6502...再生部
4003、4403、6503...控制部
4024、4424、6525...平面加算部
4031、4431、6531...動態情節記憶體
4032、4432、6532...靜態情節記憶體
4033、4433、6533...使用者事件處理部
4034、4434、6534...程式執行部
4035、4435、6535...再生控制部
4036、4436、6536...播放器變數記憶部
4101...流水號
4102...變數值
4301...傳輸流緩衝器(TB)
4302...多工緩衝器(MB)
4303...基本流緩衝器(EB)
4304、4604、6604...壓縮影像解碼器(DEC)
4305、4605、6605...解碼圖片緩衝器(DPB)
4310...來源拆包器
4320...ATC計數器
4330...第一27MHz時鐘
4340...PID過濾器
4350...STC計數器
4360...第二27MHz時鐘
4370、4615...主影像解碼器
4371...副影像解碼器
4372...PG解碼器
4373...IG解碼器
4374...主音訊解碼器
4375...副音訊解碼器
4380...圖像處理機
4390...主影像平面記憶體
4391...副影像平面記憶體
4392...PG平面記憶體
4393...IG平面記憶體
4394...圖像平面記憶體
4395...聲音混音器
4400、7605...3D再生裝置
4601、6601...TB(1)
4602、6602...MB(1)
4603、6603...EB(1)
4606、6606...緩衝開關
4607、6607...圖片開關
4608、6608...TB(2)
4609、6609...MB(2)
4610、6610...EB(2)
4611...第1來源拆包器
4612...第2來源拆包器
4613...第1PID過濾器
4614...第2PID過濾器
4620...左影像平面記憶體
4621...右影像平面記憶體
4700、6710、6720...箭頭
4701...左影像平面資料
4702...右影像平面資料
4703...副影像平面資料
4704、PG...PG平面資料
4705、IG...IG平面資料
4706...圖像平面資料
4710、7500...視差影像生成部
4731...第1修剪處理部
4732...第2修剪處理部
4733...第3修剪處理部
4734...第4修剪處理部
4741...第1加算部
4742...第2加算部
4743...第3加算部
4744...第4加算部
4752...程式API(附件分封介面)
4901R...像素數
4902L...PG平面資料向左超出之像素資料群
4902R...PG平面資料向右超出之像素資料群
4904R、4904L...剩餘的像素資料群
5001L...左視PG平面
5001R...右視PG平面
5003...字幕的2D影像
5004、7401...視聽者
5005...字幕的3D影像
5700、5910、6010、6210、6301、6302...超延伸區塊
5730、6430...檔案SP
5803、6220、6320...超模式之再生路徑
6123、6523...第3讀取緩衝器
6401...第1超延伸區塊
6402...第2超延伸區塊
6403...第3超延伸區塊
6411...第1檔案庫
6421...第2檔案庫
6422...第3檔案DEP
6500...超解像模式之再生裝置
6611、6612...輸入系統
6613...深度圖解碼器
6620...左深度平面記憶體
6621...右深度平面記憶體
6901、D[k]、B[k]...資料塊群
7001...視頻編碼器
7002...素材製作部
7003...情節生成部
7004...BD程式製作部
7005...多工處理部
7006...格式處理部
7007...資料庫部
7010...訊框深度資訊
7015...BD-ROM情節資料
7016...參數檔案
7020...BD-ROM光碟圖像
7101...左影像圖片
7102...右影像圖片
7103...巨塊
7104...「家」的圖像
7105...「球」的圖像
7106...矩陣
7107...區塊
7210、7220...矩形
7401L...左眼
7401R...右眼
7402...立方體
7501...2D影像
7503L...左視
7503R...右視
7511、7531L、7531R...圓板
7512、7532L、7532R...背景
7521...圓板的顯示區域
7522...背景的顯示區域
7601...光碟
7602A、B、C...2D/左視延伸區
7603A、B、C...右視延伸區
7604A、7605A...光碟驅動機
7604B...影像解碼器
7605L...左影像解碼器
7605R...右影像解碼器
7606L、7606R...影像訊框
8521...檔案DEP之第1部分
8522...檔案DEP之第2部分
8531...檔案SS之第1部分
8532...檔案SS之第2部分
D...深度圖串流資料
L...基視串流資料
R...右視串流資料
AD...聲音資料
VD...影像資料
VP...視頻平面資料
AS...聲音系資料
VS...影像系資料
MD...主視資料
SD...子視資料
NAV...資料
DA...資料量
DA1...積蓄於第1讀取緩衝器之資料量
DA2...積蓄於第2讀取緩衝器之資料量
DA3...積蓄於第3讀取緩衝器之積蓄資料量
ATS ...聲音系TS封包
VTS ...影像系TS封包
SPN#21、SPN#22、SPN#24...來源封包數
ME...外部媒體
BDJO...BD-J物件
MVO...電影物件
PI...放映項目資訊
SUB_PI...子放映項目資訊
CS...控制訊號
IR...訊號
LR...左右訊號
LB...邊界
AD1...位址1
AD2...位址2
AT1...長度
ATC...到達時間鐘
DTS...解碼時戳
PCR...程式時序參考
STC...系統時間時鐘
LBN...邏輯塊號碼
VAU...視頻存取單元
SVA...加密資料
ATSA1...第1ATS
ATSA2...第2ATS
B[2]SS 、B[3]SS ...SS再生專用塊
(B[2]+B[3])2D ...2D再生專用塊
B...基視資料塊
B[n]...基視資料塊群
D...附屬視資料塊
D[n]...附屬視資料塊群
Dn...深度圖資料塊
Ln...基視資料塊
Rn...右視資料塊
B...B圖片
Br...Br圖片
I...I圖片
P...P圖片
GOP...圖片群
EXT1[]...基視延伸區
EXT2[]...右視延伸區
EXT2D[]...2D延伸區
EXTSP...延伸區SP
EXTSS[]...延伸區SS
EXTSS[M]...第M項延伸區SS
EXTSS[M+1]...第(M+1)項延伸區SS
J[M-1]、J[M]...延伸區塊間的跳越
J0 ...零扇區遷移
J2D []...跳越
J2D 1...最初的跳越
JEX ...跳越
JLY ...遠跳
JNAv ...第二次的跳越
PJ[M]...延伸區塊間的跳越期間
PJ0 ...零扇區遷移期間
PJ2D [n]...跳越期間
PJ2D [n+1]...下一個跳越期間
PJEX ...跳越期間
PJLR ...跳越期間
SJUMP_MAX ...最大跳越距離
SJUMP ...跳越距離
TJUMP_MAX ...最大跳越時間
TJUMP0 ...零扇區遷移時間
TJUMP-2D [n]...跳越時間
TJUMP-2D_MIN ...從延伸區塊再生2D影像時所需要的跳越時間之最小值
P1、P2、P3、P11、P12...扇區群
PR2D [n]...2D延伸區EXT2D[n]之讀出期間
PRB [n]...第n項基視資料塊B[n]之讀出期間
PRR [n]...第n項右視資料塊Rn之讀出期間
PRB [n+1]...第(n+1)項基視資料塊B[n+1]之讀出期間
PRD [n+1]...第(n+1)項附屬視資料塊D[n+1]之讀出期間
PRBLK [M]...第M項延伸區塊之讀出期間
PRBLK [M+1]...第(M+1)項延伸區塊之讀出期間
PRD [m]...第M項延伸區塊之預載期間
PRD [n]...第(M+1)項延伸區塊之預載期間
REXTSS [M]...第M項延伸區塊全體的平均傳送速度
PRL 、PRR ...預載期間
PRSBLK ...超延伸區塊全體之讀出期間
REXT1 ...基視傳送速度、第1平均傳送速度
REXT2 ...附屬視傳送速度、右視傳送速度、第2平均傳送速度
REXT3 ...附屬視傳送速度、深度圖傳送速度、第3平均傳送速度
REXT2D ...平均傳送速度
REXTm [n]...附屬視傳送速度
RMAX1 ...基視傳送速度REXT1 之最高值
RMAX2 ...右視傳送速度REXT2 之最高值
RMAX3 ...深度圖傳送速度REXT3 之最高值
RTS ...TS封包的平均傳送速度、系統速率
RTS1 ...檔案2D之系統速率
RTS2 ...第1檔案DEP之系統速率
RTS3 ...第2檔案DEP之系統速率
RUD54 ...2D延伸區的讀出速度
RUD72 ...延伸區SS的讀出速度
RUD108 ...延伸區SP的讀出速度
S2D ...2D再生專用塊之大小
SEXT1 ...基視資料塊之大小
SEXT2 ...附屬視資料塊之大小
SEXT2D ...2D延伸區之大小
SEXTSS ...延伸區SS之大小
SEXTm [n]...資料塊D[n]、B[n]之大小
SEXTSS [M]...第M項延伸區塊之大小
SEXT1 [n]...第n項基視資料塊B[n]之大小
SEXT2 [n]...第n項附屬視資料塊D[n]之大小
SEXT2 [n+1]...第(n+1)項附屬視資料塊D[n+1]之大小
T0...第M項延伸區塊之預載期間的結束時間點
T1...第(M+1)項延伸區塊之預載期間的結束時間點
T10...預載期間PRD [0]+PRR [0]之結束時間點
T11...預載期間PRD [N]+PRR [N]之結束時間點
TANG ...多角之再生期間
TDIFF ...預載期間PRD [m]、PRD [n]之長度差
TEXT ‧‧‧延伸區ATC時間
TEXTSP ‧‧‧超延伸區塊之延伸區ATC時間
TEXTSS ‧‧‧延伸區SS之延伸區ATC時間
S1‧‧‧左(右)視內之圓板的顯示位置往右(左)移動僅其兩眼視差的一半
S2‧‧‧右(左)視內之背景的顯示位置往右(左)移動僅其兩眼視差的一半
# 1、# 2‧‧‧順序
第1圖係顯示使用本發明實施形態1之記錄媒體之家庭戲院系統的示意圖。
第2圖係顯示第1圖所示之BD-ROM光碟101上之資料結構的示意圖。
第3圖(a)、(b)、(c)係分別多工為第1圖所示之BD-ROM光碟101上之主TS、第1子TS、第2子TS之基本流的一覽表。
第4圖係顯示在多工串流資料400內之TS封包之配置的示意圖。
第5圖(b)係顯示構成在第4圖所示之多工串流資料之TS封包列之形式的示意圖。(a)係顯示在(b)所示之TS標題501H之資料結構的示意圖。(c)係顯示從(b)所示之TS封包列所構成之來源封包列之形式的示意圖。(d)係連續記錄有(c)所示之一連串的來源封包之BD-ROM光碟101的容量區域202B上之扇區群的示意圖。
第6圖係依顯示時間順序顯示基視視頻串流601與右視視頻串流602之圖片的示意圖。
第7圖係依顯示時間順序顯示基視視頻串流601與深度圖串流701之圖片的示意圖。
第8圖係顯示視頻串流800之詳細資料結構的示意圖。
第9圖係顯示視頻串流901朝PES封包列902之詳細儲存方法的示意圖。
第10圖係顯示已分配至基視視頻串流1001與附屬視視頻串流1002之各圖片的PTS與DTS之間關係的示意圖。
第11圖係顯示在第8圖所示之補充資料831D之資料結構的示意圖。
第12圖(a)、(b)係分別顯示已分配至基視視頻串流1201與附屬視視頻串流1202之各圖片的解碼計數器之不同範例的示意圖。
第13圖係顯示第3圖所示之主TS、與第1子TS或第2子TS之任一者在BD-ROM光碟101上之物理性配置的示意圖。
第14圖(a)係顯示已個別地連續記錄在某BD-ROM光碟上之主TS1401與子TS1402之配置的示意圖。(b)係顯示已交互記錄在本發明實施形態1之BD-ROM光碟101上的附屬視資料塊D[0]、D[1]、D[2]、…與基視資料塊B[0]、B[1]、B[2]、…之配置的示意圖。
第15圖(a)、(b)係分別顯示已以交插配置記錄的附屬視資料塊群D[n]與基視資料塊群B[n]之各延伸區ATC時間之不同範例的示意圖(n=0、1、2)。
第16圖係顯示在2D再生模式對延伸區塊群1301-1303之再生路徑1601,與L/R模式之再生路徑1602的示意圖。
第17圖係顯示2D再生模式之再生裝置102內的再生處理系統的方塊圖。
第18圖(a)係顯示在2D再生模式的動作中,積蓄於第17圖所示之讀取緩衝器1721之資料量DA之變化的圖表。(b)係顯示再生對象的延伸區塊1810與在2D再生模式之再生路徑1820之間對應關係的示意圖。
第19圖係關於BD-ROM光碟之跳越距離SJUMP 與最大跳越時間TJUMP_MAX 間的對應表之一例。
第20圖係顯示3D再生模式之再生裝置102內之再生處理系統的方塊圖。
第21圖(a)、(b)係顯示從一個延伸區塊無縫再生3D影像時,積蓄於第20圖所示之各讀取緩衝器2021、2022的資料量DA1、DA2之變化的圖表。(c)係顯示其延伸區塊2110與3D再生模式之再生路徑2120之間對應關係的示意圖。
第22圖(a)係顯示當從複數延伸區塊連續無縫再生3D影像時,積蓄於第20圖之各讀取緩衝器2021、2022的資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。(b)係顯示第M項(整數M為2以上)延伸區塊2201與第(M+1)項延伸區塊2202、及該等二個延伸區塊2201、2202與3D再生模式之再生路徑2220之間對應關係的示意圖。
第23圖係顯示PMT2310之資料結構的示意圖。
第24圖係顯示在第2圖所示之第1剪輯資訊檔案(01000.clpi)─即2D剪輯資訊檔案231─之資料結構的示意圖。
第25圖(a)係顯示在第24圖所示之入口圖(entry map)2430之資料結構的示意圖。(b)係在第2圖所示之屬於檔案2D241之來源封包群2510當中,在(a)所示之由入口圖2430而對各EP_ID2505所對應者的示意圖。(c)係顯示對應於其來源封包群2510之BD-ROM光碟101上之資料塊群D[n]、B[n](n=0、1、2、3、…)的示意圖。
第26圖(a)係顯示在第24圖所示之偏移表(offset table)2441之資料結構的示意圖。(b)係顯示在(a)所示之偏移入口(offset entry)之有效區間的示意圖。
第27圖(a)係顯示在第24圖所示之延伸區起點2442之資料結構的示意圖。(b)係顯示包含於第2圖所示之第2剪輯資訊檔案(02000.clpi)─即右視剪輯資訊檔案232─之延伸區起點2720之資料結構的示意圖。(c)係呈現藉由L/R模式之再生裝置102從第1檔案SS244A所抽出之基視資料塊B[0]、B[1]、B[2]、…的示意圖。(d)係呈現屬於第1檔案DEP(02000.m2ts)242之右視延伸區EXT2[0]、EXT2[1]、…、與延伸區起點2720顯示之SPN2722之間對應關係的示意圖。(e)係顯示屬於第1檔案SS244A之延伸區SSEXTSS[0]與BD-ROM光碟101上之延伸區塊之間對應關係的示意圖。
第28圖係顯示已記錄於BD-ROM光碟101上之一個延伸區塊2800、檔案2D2810、檔案庫2811、檔案DEP2812、及檔案SS2820之各延伸區群之間對應關係的示意圖。
第29圖係顯示已設定於基視視頻串流2910與附屬視視頻串流2920之入口點之範例的示意圖。
第30圖係顯示2D播放清單檔案之資料結構的示意圖。
第31圖係顯示在第30圖所示之PI#N之資料結構的示意圖。
第32圖(a)、(b)係分別顯示在第31圖所示之連接狀態3104為"5"、"6"時連接對象之二個再生區間3201、3202間之關係的示意圖。
第33圖係顯示2D播放清單檔案(00001.mpls)221顯示之PTS、與從檔案2D(01000.m2ts)241所再生的部分之間之對應關係的示意圖。
第34圖係顯示3D播放清單檔案之資料結構的示意圖。
第35圖係顯示在第34圖所示之STN表SS3430之資料結構的示意圖。
第36圖(a)、(b)、(c)係分別顯示在第35圖所示之附屬視視頻串流之串流註冊資訊列3512、PG串流之串流註冊資訊列3513、與IG串流之串流註冊資訊列3514之資料結構的示意圖。
第37圖係顯示3D播放清單檔案(00002.mpls)222顯示之PTS、與從第1檔案SS(01000.ssif)244A所再生的部分間之對應關係的示意圖。
第38圖係顯示在第2圖所示之索引檔案(index.Bdmv)211內之索引表3810的示意圖。
第39圖係當已選擇3D影像標題時所進行的再生對象之播放清單檔案之選擇處理的流程圖。
第40圖係2D再生裝置4000的功能方塊圖。
第41圖係已記憶於第40圖所示之播放器變數記憶部4036之SPRM的一覽表。
第42圖係在第40圖所示之再生控制部4035之2D播放清單再生處理的流程圖。
第43圖係在第40圖所示之系統目標解碼器4023的功能方塊圖。
第44圖係3D再生裝置4400的功能方塊圖。
第45圖係再生控制部4435之3D播放清單再生處理的流程圖。
第46圖係在第44圖所示之系統目標解碼器4423的功能方塊圖。
第47圖係在第44圖所示之平面加算部4424的功能方塊圖。
第48圖係在第47圖所示之各修剪處理部4731-4734之修剪處理的流程圖。
第49圖(a)、(b)係顯示第2修剪處理部4732之修剪處理的示意圖。
第50圖(a)、(b)、(c)係分別顯示第49圖(a)、(b)所示之左視與右視之PG平面資料呈現之2D影像─即左視與右視之PG平面、及從該等由視聽者所知覺之3D影像的示意圖。
第51圖(a)係顯示已記錄於層邊界LB(layers boundary)前後之延伸區塊5101、5102的示意圖。(b)係顯示對於延伸區塊5101、5102之2D再生模式之再生路徑5130與3D再生模式之再生路徑5140的示意圖。
第52圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後的資料塊群之配置1的示意圖。
第53圖係顯示對於第52圖所示之配置1的資料塊群之,2D再生模式中之再生路徑5310與3D再生模式中之再生路徑5320的示意圖。
第54圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後之資料塊群之配置2的示意圖。
第55圖係顯示對於第54圖所示之配置2的資料塊群之,2D再生模式中之再生路徑5510與3D再生模式中之再生路徑5520的示意圖。
第56圖係顯示從第54圖所示之延伸區塊5401-5403連續無縫再生3D影像時,積蓄於各讀取緩衝器4421、4422之資料量DA1、DA2之變化、及該等和DA1+DA2之變化的圖表群。
第57圖係顯示已配置於BD-ROM光碟101上之三種資料塊Dn、Rn、Ln(n=0、1、2、…)、與參考各資料塊之AV串流檔案之間對應關係的示意圖。
第58圖係顯示對於在第57圖所示之超延伸區塊5700之2D再生模式、L/R模式、及超解像模式之各個中的再生路徑5801、5802、5803的示意圖。
第59圖(a)係顯示在2D再生模式的動作中,積蓄於讀取緩衝器1721之資料量DA之變化的圖表。(b)係顯示再生對象之超延伸區塊5910與2D再生模式中之再生路徑5920之間對應關係的示意圖。
第60圖(a)、(b)係顯示當L/R模式之再生裝置從超延伸區塊6010無縫再生3D影像時,積蓄於各讀取緩衝器2021、2022之資料量DA1、DA2之變化的圖表。(c)係顯示前述超延伸區塊6010與L/R模式中之再生路徑6020之間對應關係的示意圖。
第61圖係顯示超解像模式再生裝置內之再生處理系統的方塊圖。
第62圖(a)、(b)、(c)係顯示從一個超延伸區塊無縫再生3D影像時,積蓄於第61圖所示之各讀取緩衝器6121、6122、6123之資料量DA1、DA2、DA3之變化的圖表。(d)係顯示前述超延伸區塊6210與超解像模式中之再生路徑6220之間對應關係的示意圖。
第63圖(a)係顯示從二個相異超延伸區塊6301、6302連續無縫再生3D影像時,積蓄於第61圖所示之各讀取緩衝器6121、6122、6133之資料量DA1、DA2、DA3之變化、及該等和DA1+DA2+DA3之變化的圖表群。(b)係顯示該等二個超延伸區塊6301、6302與超解像模式中之再生路徑6320之間對應關係的示意圖。
第64圖係顯示已記錄於BD-ROM光碟101之層邊界LB前後的三種資料塊群之配置的示意圖。
第65圖係超解像模式之再生裝置6500的功能方塊圖。
第66圖係在第65圖所示之系統目標解碼器6524的功能方塊圖。
第67圖(a)係顯示在相鄰接之基視資料塊與附屬視資料塊之間,延伸區ATC時間不同,且視頻串流之再生時間不同時之再生路徑的示意圖。(b)係顯示相鄰接之基視資料塊與附屬視資料塊之間,視頻串流之再生時間相等時之再生路徑的示意圖。
第68圖係顯示在超延伸區塊之中相鄰接之基視資料塊與附屬視資料塊之對,在包含相同數量的入口點之情況下的入口點與資料塊群之間對應關係的示意圖。
第69圖(a)係顯示對應於多角度之多工串流資料之再生路徑的示意圖。(b)係已記錄於BD-ROM光碟上之資料塊群6901與對於該等之L/R模式中之再生路徑6902的示意圖。(c)係顯示構成角度別之串流資料Ak、Bk、Ck之超延伸區塊的示意圖。
第70圖係顯示本發明實施形態2之記錄裝置之內部架構的方塊圖。
第71圖(a)、(b)係顯示利用於顯示3D影像一幕之左影像圖片與右影像圖片的示意圖。(c)係由第70圖所示之視頻編碼器7001從該等圖片所算出之深度資訊的示意圖。
第72圖係顯示在相鄰接之資料塊間使延伸區ATC時間一致之方法的示意圖。
第73圖係利用第70圖所示之記錄裝置來將電影內容往BD-ROM光碟記錄之方法的流程圖。
第74圖係本發明實施形態3之積體電路3的功能方塊圖。
第75圖係顯示在第74圖所示之串流處理部5之代表性結構的功能方塊圖。
第76圖係顯示在第75圖所示之切換部53為DMAC時之周邊結構的示意圖。
第77圖係顯示在第74圖所示之AV輸出部8之代表性結構的功能方塊圖。
第78圖係顯示與第77圖所示之包含AV輸出部8的再生裝置102之資料輸出相關部分的詳細示意圖。
第79圖係顯示在第74圖所示之積體電路3內之控制路徑及資料路徑之佈局範例(a)、(b)的示意圖。
第80圖係已利用第74圖所示之積體電路3的再生裝置102之再生處理的流程圖。
第81圖係顯示在第80圖所示之各步驟S1-5之詳細的流程圖。
第82圖(a)-(c)係用以說明使用視差影像之方法的3D影像之再生原理的示意圖。
第83圖係顯示從2D影像7501與深度圖7502之組合來構成左視7503L與右視7503R之範例的示意圖。
第84圖係顯示關於已記錄有3D影像內容之光碟,用以確保對於2D再生裝置之相容性之技術的示意圖。
第85圖係顯示在第34圖所示之二個連續PI所規定之檔案2D的各部分、對應SUB_PI所規定之檔案DEP的各部分、該等部分所屬之檔案SS的各部分、及由各檔案所參考之延伸區塊之對應關係的示意圖。
101‧‧‧BD-ROM光碟
102‧‧‧再生裝置
103‧‧‧顯示裝置
104‧‧‧快門眼鏡
105‧‧‧搖控器
121‧‧‧BD-ROM驅動機
122‧‧‧HDMI電纜
131‧‧‧畫面
132‧‧‧左右訊號發訊部
141R‧‧‧液晶顯示屏
141L‧‧‧液晶顯示屏
142‧‧‧左右訊號接收部
LR‧‧‧左右訊號
IR‧‧‧訊號

Claims (3)

  1. 一種再生裝置,係用以從記錄媒體再生影像者,於前述記錄媒體記錄有:主視(mainview)串流,係利用於平面視影像的再生者;及子視(subview)串流,係與前述主視串流組合且利用於立體視影像的再生者;前述子視串流係參考前述主視串流而編碼,前述主視串流係分割成複數個主視資料塊而配置,前述子視串流係分割成複數個子視資料塊而配置,又,構成有複數延伸區塊(extent block),該延伸區塊係主視資料塊與子視資料塊交互連續配置之資料,且於立體視影像再生時,作為一個延伸區來參考者,且,各延伸區塊內之前頭資料塊係子視資料塊,又,前述再生裝置包含有:讀出部,係從前述記錄媒體讀出延伸區塊者;開關部,係從由前述讀出部所讀出之延伸區塊抽出主視串流與子視串流者;第1讀取緩衝器,係儲存已由前述開關部抽出之主視串流者;第2讀取緩衝器,係儲存已由前述開關部抽出之子視串流者;及解碼部,係從前述第1讀取緩衝器讀出主視串流並加以解碼,且從前述第2讀取緩衝器讀出子視串流並加以解 碼者;前述解碼部解碼一個延伸區塊內之全部資料塊所需要的時間(t)係如下時間之合計(t1 +t2 +t3 )以上,前述時間(t1 )係前述讀出部讀出前述一個延伸區塊內之前頭資料塊以外之資料塊所需要的時間;前述時間(t2 )係前述讀出部從讀取完前述一個延伸區塊之終端到開始讀取下一個延伸區塊之前頭為止所需要的時間;而前述時間(t3 )則係前述讀出部讀出前述下一個延伸區塊內之前頭資料塊所需要的時間。
  2. 如申請專利範圍第1項之再生裝置,其中在立體視影像的再生中,在前述讀出部讀取完前述一個延伸區塊之終端到將前述下一個延伸區塊內之前頭資料塊全部讀出為止之間,不使前述第1讀取緩衝器與前述第2讀取緩衝器產生欠位(underflow)。
  3. 一種記錄媒體再生系統,係包含有:記錄媒體,係記錄有主視串流與子視串流者,前述主視串流係利用於平面視影像之再生者,而前述子視串流係與前述主視串流組合且利用於立體視影像之再生者;及再生裝置,係再生前述記錄媒體者;在前述記錄媒體中,前述子視串流係參考前述主視串流而編碼,前述主視串流係分割成複數個主視資料塊而配置,前述子視串流係分割成複數個子視資料塊而配置,又,構成有複數延伸區塊,該延伸區塊係主視資料塊 與子視資料塊交互連續配置之資料,且於立體視影像再生時,作為一延伸區來參考者,且,各延伸區塊內的前頭資料塊係子視資料塊,又,令第n項(n為1以上之整數)之延伸區塊從前述記錄媒體往讀取緩衝器係以速度Rud 來讀出,而從前述讀取緩衝器往解碼器係以平均速度REXTSS [n]來傳送,令從前述第n項之延伸區塊到第(n+1)項之延伸區塊為止之跳越需要時間Tjump [n],且令將前述第(n+1)項之延伸區塊的前頭資料塊全部讀出所需要之時間,減去將前述第n項之延伸區塊的前頭資料塊全部讀出所需要之時間的差為TDIFF [n],則前述第n項之延伸區塊的大小SEXTSS [n]之下限係表示為下列數式之右邊: 又,前述再生裝置具有:讀出部,係從前述記錄媒體讀出延伸區塊者;開關部,係從由前述讀出部所讀出之延伸區塊抽出主視串流與子視串流者;第1讀取緩衝器,係儲存已由前述開關部抽出之主視串流者;第2讀取緩衝器,係儲存已由前述開關部抽出之子視串流者;及 解碼部,係從前述第1讀取緩衝器讀出主視串流並加以解碼,且從前述第2讀取緩衝器讀出子視串流並加以解碼者;前述解碼部解碼一個延伸區塊內之全部資料塊所需要的時間(t)係如下時間之合計(t1 +t2 +t3 )以上,前述時間(t1 )係前述讀出部讀出前述一個延伸區塊內之前頭資料塊以外之資料塊所需要的時間;前述時間(t2 )係前述讀出部從讀取完前述一個延伸區塊之終端到開始讀取下一個延伸區塊之前頭為止所需要的時間;而前述時間(t3 )則係前述讀出部讀出前述下一個延伸區塊內之前頭資料塊所需要的時間。
TW099109397A 2009-03-30 2010-03-29 A recording medium, a reproducing apparatus, and an integrated circuit TWI395464B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009083137 2009-03-30

Publications (2)

Publication Number Publication Date
TW201123847A TW201123847A (en) 2011-07-01
TWI395464B true TWI395464B (zh) 2013-05-01

Family

ID=42935960

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099109397A TWI395464B (zh) 2009-03-30 2010-03-29 A recording medium, a reproducing apparatus, and an integrated circuit

Country Status (12)

Country Link
US (1) US20110008024A1 (zh)
EP (1) EP2416581A4 (zh)
JP (2) JP4642939B2 (zh)
KR (1) KR20120003794A (zh)
CN (1) CN102027750B (zh)
BR (1) BRPI1001255A2 (zh)
CA (1) CA2714859C (zh)
MX (1) MX2010010662A (zh)
RU (1) RU2525751C2 (zh)
TW (1) TWI395464B (zh)
WO (1) WO2010116659A1 (zh)
ZA (1) ZA201006665B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4993224B2 (ja) 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP4984187B2 (ja) * 2009-06-22 2012-07-25 ソニー株式会社 記録方法
JP4984181B2 (ja) 2009-06-22 2012-07-25 ソニー株式会社 再生装置および再生方法
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
WO2012147365A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 記録媒体、再生装置、及び記録装置
US8437622B2 (en) * 2011-08-23 2013-05-07 Echostar Technologies L.L.C. Altering presentation of received content based on use of closed captioning elements as reference locations
US9357159B2 (en) 2011-08-23 2016-05-31 Echostar Technologies L.L.C. Grouping and presenting content
US8447170B2 (en) 2011-08-23 2013-05-21 Echostar Technologies L.L.C. Automatically recording supplemental content
US9185331B2 (en) 2011-08-23 2015-11-10 Echostar Technologies L.L.C. Storing multiple instances of content
JP4993233B2 (ja) * 2012-01-26 2012-08-08 ソニー株式会社 記録方法
JP4993234B2 (ja) * 2012-01-26 2012-08-08 ソニー株式会社 再生装置、再生方法、および記録方法
US9489981B2 (en) 2012-03-15 2016-11-08 Echostar Technologies L.L.C. Successive initialization of television channel recording
CN104247413B (zh) * 2012-04-23 2017-12-29 Lg 电子株式会社 用于3d服务的信号处理设备和方法
US8793724B2 (en) 2012-11-08 2014-07-29 Eldon Technology Limited Image domain compliance
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
CN104867508B (zh) * 2014-02-26 2018-12-11 腾讯科技(深圳)有限公司 一种声音文件连续播放的方法和装置
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN107005624B (zh) 2014-12-14 2021-10-01 深圳市大疆创新科技有限公司 处理视频的方法、系统、终端、装置、处理器和存储介质
US9756378B2 (en) 2015-01-07 2017-09-05 Echostar Technologies L.L.C. Single file PVR per service ID
US9426543B1 (en) * 2015-12-18 2016-08-23 Vuclip (Singapore) Pte. Ltd. Server-based video stitching
CN112148677A (zh) * 2020-09-11 2020-12-29 上海七牛信息技术有限公司 一种面向嵌入式音视频设备的文件定位方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030137904A1 (en) * 2002-01-18 2003-07-24 Funai Electric Co., Ltd. Information reproducing apparatus
TW200703270A (en) * 2005-03-15 2007-01-16 Toshiba Kk Information storage medium, information reproducing apparatus, information reproducing method, and network communication system
TW200709187A (en) * 2005-03-15 2007-03-01 Toshiba Kk Information reproducing method and information reproducing apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5603012A (en) * 1992-06-30 1997-02-11 Discovision Associates Start code detector
WO1995013564A1 (en) * 1993-11-09 1995-05-18 Eric Martin White Method and apparatus for visualizing two-dimensional motion picture images in three dimensions
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
EP2259588B1 (en) 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
US6925250B1 (en) * 1997-08-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
JP2000270347A (ja) * 1999-03-17 2000-09-29 Sharp Corp 記録装置、及び該記録装置を用いた監視システム
EP1494472B1 (en) * 2002-04-10 2014-08-06 Sony Corporation Data recording device and method, program storage medium, and program
EP1783769A4 (en) * 2005-02-18 2011-11-30 Panasonic Corp CONTINUOUS REPRODUCTION DEVICE AND CONTINUOUS POWER SUPPLY DEVICE
TWI398858B (zh) * 2005-08-09 2013-06-11 Panasonic Corp 記錄媒體及播放裝置
BRPI0603676B1 (pt) * 2005-08-31 2019-01-15 Sony Corp dispositivo de processamento de informação para realizar reprodução de vídeo em alta velocidade, meio de gravação de informação não transitório, estrutura de dados, dispositivo de fabricação de meio de gravação de informação, método de processamento de informação, método para fabricar meio de gravação de informação, e, mídia legível por computador
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
RU2315439C1 (ru) * 2006-07-03 2008-01-20 Борис Иванович Волков Система объемной видеозаписи и воспроизведения
CN102510464B (zh) * 2008-09-17 2015-04-22 松下电器产业株式会社 记录方法、再现装置和集成电路
CN102124746B (zh) * 2008-12-26 2014-01-15 松下电器产业株式会社 记录介质、再现装置、及集成电路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030137904A1 (en) * 2002-01-18 2003-07-24 Funai Electric Co., Ltd. Information reproducing apparatus
TW200703270A (en) * 2005-03-15 2007-01-16 Toshiba Kk Information storage medium, information reproducing apparatus, information reproducing method, and network communication system
TW200709187A (en) * 2005-03-15 2007-03-01 Toshiba Kk Information reproducing method and information reproducing apparatus
US20080298219A1 (en) * 2005-03-15 2008-12-04 Yoichiro Yamagata Information storage medium, information reproducing apparatus, information reproducing method, and network communication system

Also Published As

Publication number Publication date
JP2010267380A (ja) 2010-11-25
US20110008024A1 (en) 2011-01-13
JP4642939B2 (ja) 2011-03-02
EP2416581A4 (en) 2014-03-12
EP2416581A1 (en) 2012-02-08
MX2010010662A (es) 2010-11-30
CN102027750A (zh) 2011-04-20
CN102027750B (zh) 2012-08-29
WO2010116659A1 (ja) 2010-10-14
KR20120003794A (ko) 2012-01-11
ZA201006665B (en) 2012-01-25
JP5457299B2 (ja) 2014-04-02
CA2714859A1 (en) 2010-09-30
BRPI1001255A2 (pt) 2020-11-17
RU2525751C2 (ru) 2014-08-20
TW201123847A (en) 2011-07-01
CA2714859C (en) 2016-10-11
JPWO2010116659A1 (ja) 2012-10-18

Similar Documents

Publication Publication Date Title
TWI395464B (zh) A recording medium, a reproducing apparatus, and an integrated circuit
TWI453736B (zh) A reproducing apparatus, a recording method, and a recording medium reproducing system
JP5390485B2 (ja) 半導体集積回路
JP5491427B2 (ja) 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
US8139925B2 (en) Recording medium, playback device, and integrated circuit
WO2010113454A1 (ja) 記録媒体、再生装置、及び集積回路
WO2010089995A1 (ja) 記録媒体、再生装置、及び集積回路
JP5385217B2 (ja) 記録媒体、再生装置、及び集積回路
WO2010100875A1 (ja) 記録媒体、再生装置、及び集積回路
WO2010098134A1 (ja) 記録媒体、再生装置、及び集積回路

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees