TWI428016B - A playback device, a playback method, and a recording method - Google Patents
A playback device, a playback method, and a recording method Download PDFInfo
- Publication number
- TWI428016B TWI428016B TW99110152A TW99110152A TWI428016B TW I428016 B TWI428016 B TW I428016B TW 99110152 A TW99110152 A TW 99110152A TW 99110152 A TW99110152 A TW 99110152A TW I428016 B TWI428016 B TW I428016B
- Authority
- TW
- Taiwan
- Prior art keywords
- stream
- data
- view video
- screen
- picture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000001419 dependent effect Effects 0.000 claims description 272
- 239000000872 buffer Substances 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 35
- 230000002194 synthesizing effect Effects 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 229920002120 photoresistant polymer Polymers 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 229920000069 polyphenylene sulfide Polymers 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005323 electroforming Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001094 photothermal spectroscopy Methods 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004528 spin coating Methods 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/213—Read-only discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明係關於一種記錄裝置、記錄方法、播放裝置、播放方法、程式及記錄媒體,尤其係關於一種可確保以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流(stream)與擴展串流的同步之記錄裝置、記錄方法、播放裝置、播放方法、程式及記錄媒體。
作為電影等之內容,二維圖像之內容為主流,但是最近,可實現立體視覺(stereoscopic vision)之立體視覺圖像之內容備受關注。
顯示立體視覺圖像時,需要專用設備,作為此種立體視覺用設備,例如有NHK(Nippon Hoso Kyokai,日本廣播公司)所開發之IP(Integral Photography,集成攝影)立體圖像系統。
立體視覺圖像之圖像資料包含複數個視點之圖像資料(自複數個視點所拍攝之圖像之圖像資料),視點數量多,且可實現所謂的「全像電視」,即可自多個方向觀察被攝體,視點覆蓋範圍廣。
立體視覺圖像中視點數量最少者係視點數量為2個視點之立體圖像(所謂3D(3 Dimension,三維)圖像)。立體圖像之圖像資料包含以左眼觀察之圖像即左側圖像資料、及以右眼觀察之圖像即右側圖像資料。
另一方面,電影等之高解像度圖像之內容的資料量較多,因此為記錄如此大資料量之內容,必需有大容量之記錄媒體。
作為此種大容量之記錄媒體,有BD(Blu-Ray(註冊商標))-ROM(Read Only Memory,唯讀記憶體)等Blu-Ray(註冊商標)Disc(磁碟)(以下亦稱為BD)(參照專利文獻1)。
[專利文獻1]日本專利特開2005-348314號公報
然而,於BD之標準中,並未規定在BD中以何種方式記錄並且播放包含立體圖像之立體視覺圖像之圖像資料。
例如,立體圖像之圖像資料包含左側圖像資料之串流與右側圖像資料之串流的兩條資料串流。因此,必需預先以可確保同步播放之方式將該兩條資料串流記錄於BD中。
本發明係鑒於上述狀況開發而成者,其可確保以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與基本串流的同步。
本發明之一觀點之記錄裝置包括編碼機構,該編碼機構係當將以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流分別包含於不同之傳送串流中而記錄於記錄媒體時,於儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR(Program Clock Reference,節目時鐘參考)為基準的相同之DTS(Decoding Time Stamp,解碼時間戳記),且於儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之PTS(Presentation Time Stamp,顯示時間戳記),而進行編碼。
本發明之一觀點之記錄方法包括下述步驟:當將以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流分別包含於不同之傳送串流中而記錄於記錄媒體時,於儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之DTS,且於儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之PTS,而進行編碼。
本發明之一觀點之程式係使電腦執行包含如下步驟之處理:當將以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流分別包含於不同之傳送串流中而記錄於記錄媒體時,於儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之DTS,且於儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之PTS,而進行編碼。
本發明之一觀點之記錄媒體,係於儲存構成以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流的第1畫面與構成擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定有以相同之PCR為基準的相同之DTS,於儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定有以相同之PCR為基準的相同之PTS,且記錄有上述基本串流與上述擴展串流者。
本發明之另一觀點之播放裝置包括解碼機構,該解碼機構係獲取記錄於記錄媒體中且各不相同之傳送串流中所含之、以特定編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流,並根據儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之、以相同PCR為基準的相同DTS進行解碼,且根據儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之以相同PCR為基準的相同PTS,輸出解碼結果之資料。
本發明之另一觀點之播放方法包括下述步驟:獲取記錄於記錄媒體中且各不相同之傳送串流中所含之、以特定編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流;根據儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之、以相同PCR為基準的相同DTS進行解碼;以及根據儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之以相同PCR為基準的相同PTS,輸出解碼結果之資料。
本發明之另一側面之程式係使電腦執行包含如下步驟之處理:獲取記錄於記錄媒體中且各不相同之傳送串流中所含之、以特定編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流;根據儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之、以相同PCR為基準的相同DTS進行解碼;以及根據儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之以相同PCR為基準的相同PTS,輸出解碼結果之資料。
於本發明之一觀點中,當將以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流分別包含於不同之傳送串流中而記錄於記錄媒體時,於儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之DTS,且於儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中,設定以相同之PCR為基準的相同之PTS,而進行編碼。
於本發明之另一觀點中,獲取記錄媒體所記錄之分別包含於不同之傳送串流中之以特定編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流,並根據儲存構成上述基本串流之第1畫面與構成上述擴展串流之第2畫面中之、按解碼順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之以相同PCR為基準的相同DTS,進行解碼,且根據儲存按顯示順序處於相同位置之上述第1畫面與上述第2畫面之各自資料的封包中所設定之以相同PCR為基準的相同PTS,輸出解碼結果之資料。
根據本發明,可確保以特定之編碼方式對複數個影像資料進行編碼而獲得之基本串流與擴展串流的同步。
圖1係表示包含應用有本發明之播放裝置1之播放系統之構成例的圖。
如圖1所示,該播放系統係藉由以HDMI(High Definition Multimedia Interface,高清晰度多媒體介面)纜線等連接播放裝置1與顯示裝置3而構成。於播放裝置1中安裝有BD等光碟2。
於光碟2中記錄有為顯示視點數量為2個之立體圖像(所謂3D圖像)所必需之串流。
播放裝置1係與光碟2中所記錄之串流之3D播放對應的播放器。播放裝置1播放光碟2中所記錄之串流,並使經播放而獲得之3D圖像顯示於包括電視接收器等之顯示裝置3。關於聲音,亦係同樣地藉由播放裝置1而播放,且自設置於顯示裝置3之揚聲器等輸出。
作為3D圖像之顯示方式已提出有各種方式。此處,作為3D圖像之顯示方式,係採用以下類型1之顯示方式與類型2之顯示方式。
類型1之顯示方式係由以左眼觀察之圖像(L圖像)之資料、與以右眼觀察之圖像(R圖像)之資料構成3D圖像資料,並交替顯示L圖像與R圖像,藉此顯示3D圖像之方式。
類型2之顯示方式係顯示使用源圖像資料與Depth(深度)資料而產生之L圖像與R圖像,藉此顯示3D圖像的方式,該源圖像係成為產生3D圖像之來源之圖像。類型2之顯示方式中所使用之3D圖像資料包括源圖像資料、及可藉由提供至源圖像而產生L圖像與R圖像之Depth資料。
類型1之顯示方式係視聽時需要眼鏡之顯示方式。類型2之顯示方式係無眼鏡即可視聽3D圖像之顯示方式。
於光碟2中記錄有可藉由類型1與2中之任一顯示方式顯示3D圖像之串流。
作為用以將此種串流記錄於光碟2之編碼方式,例如可採用H.264 AVC(Advanced Video Coding,高級視訊編碼)/MVC(Multi-view Video coding,多視點視訊編碼)。
於H.264 AVC/MVC中,定義有被稱為Base view video(基本視點視訊)之圖像串流與被稱為Dependent view video(擴展視點視訊)之圖像串流。以下,適當地將H.264 AVC/MVC簡稱為MVC。
圖2係表示攝影之例的圖。
如圖2所示,以相同被攝體為對象,藉由L圖像用之相機與R圖像用之相機進行攝影。將藉由L圖像用之相機與R圖像用之相機而拍攝之影像之基本串流輸入至MVC編碼器。
圖3係表示MVC編碼器之構成例的方塊圖。
如圖3所示,MVC編碼器11包括H.264/AVC編碼器21、H.264/AVC解碼器22、Depth計算部23、Dependent view video編碼器24、以及多工器25。
藉由L圖像用之相機而拍攝之影像#1之串流被輸入至H.264/AVC編碼器21與Depth計算部23。又,藉由R圖像用之相機所拍攝之影像#2之串流被輸入至Depth計算部23與Dependent view video編碼器24。亦可將影像#2之串流輸入至H.264/AVC編碼器21與Depth計算部23,將影像#1之串流輸入至Depth計算部23與Dependent view video編碼器24。
H.264/AVC編碼器21將影像#1之串流編碼為例如H.264 AVC/High Profile(高級規範)視訊串流。H.264/AVC編碼器21將經編碼而獲得之AVC視訊串流作為Base view video串流輸出至H.264/AVC解碼器22與多工器25。
H.264/AVC解碼器22對自H.264/AVC編碼器21所供給之AVC視訊串流進行解碼,並將經解碼而獲得之影像#1之串流輸出至Dependent view video編碼器24。
Depth計算部23根據影像#1之串流與影像#2之串流而計算Depth,並將計算出之Depth之資料輸出至多工器25。
Dependent view video編碼器24對自H.264/AVC解碼器22所供給之影像#1之串流與自外部輸入之影像#2之串流進行編碼,輸出Dependent view video串流。
於Base view video中,不允許將其他串流作為參照圖像之預測編碼,但如圖4所示,於Dependent view video中,允許將Base view video作為參照圖像之預測編碼。例如於將L圖像作為Base view video,並且將R圖像作為Dependent view video而進行編碼之情形時,其結果所獲得之Dependent view video串流之資料量較Base view video串流之資料量變少。
再者,由於係以H.264/AVC進行編碼,因此對Base view video進行時間方向之預測。又,關於Dependent view video,亦係進行view間之預測與時間方向之預測。為對Dependent view video進行解碼,必需先結束編碼時作為參照目標之相對應之Base view video的解碼。
Dependent view video編碼器24將亦使用此種view間之預測進行編碼所獲得之Dependent view video串流輸出至多工器25。
多工器25將自H.264/AVC編碼器21所供給之Base view video串流、自Depth計算部23所供給之Dependent view video串流(Depth之資料)、以及自Dependent view video編碼器24所供給之Dependent view video串流,多工化為例如MPEG2 TS(motion picture experts group2 Transport Stream,動畫專家群2傳送串流)。Base view video串流與Dependent view video串流有時被多工化於1條MPEG2 TS中,亦有時包含於不同之MPEG2 TS中。
多工器25輸出所產生之TS(MPEG2 TS)。自多工器25所輸出之TS與其他管理資料一併由記錄裝置記錄於光碟2中,並以記錄於光碟2中之形式被提供至播放裝置1。
於必需區分類型1之顯示方式中與Base view video一併使用之Dependent view video、及類型2之顯示方式中與Base view video一併使用之Dependent view video(Depth)之情形時,將前者稱為D1 view video,將後者稱為D2 view video。
又,將使用Base view video與D1 view video而進行之、利用類型1之顯示方式之3D播放稱為B-D1播放。將使用Base view video與D2 view video而進行之、利用類型2之顯示方式之3D播放稱為B-D2播放。
播放裝置1根據使用者之指示等而進行B-D1播放時,自光碟2讀取Base view video串流與D1 view video串流進行播放。
又,播放裝置1進行B-D2播放時,自光碟2讀取Base view video串流與D2 view video串流進行播放。
進而,播放裝置1進行通常之2D圖像之播放時,自光碟2僅讀取Base view video串流進行播放。
Base view video串流係以H.264/AVC進行編碼之AVC視訊串流,故而只要為與BD之格式對應之播放器,即可播放該Base view video串流而顯示2D圖像。
以下,主要對Dependent view video為D1 view video之情形進行說明。當僅稱為Dependent view video時,係表示D1 view video。關於D2 view video,亦與D1 view video同樣地記錄於光碟2中加以播放。
圖5係表示TS之構成例的圖。
於圖5之Main TS(Main Transport Stream,主傳送串流)中,多工有Base view video、Dependent view video、Primary audio(主音訊)、Base PG(Base Presentation Graphic,基本表達圖形)、Dependent PG(Dependent Presentation Graphic,擴展表達圖形)、Base IG(Base Interactive Graphic,基本交互圖形)、Dependent IG(Dependent Interactive Graphic,擴展交互圖形)之各串流。如此,亦存在Dependent view video串流與Base view video串流一併包含於Main TS中之情形。
於光碟2中記錄有Main TS與Sub TS(Sub Transport Stream,子傳送串流)。Main TS係至少包含Base view video串流之TS。Sub TS係包含Base view video串流以外之串流,且與Main TS一併使用之TS。
對於下述PG、IG,亦準備有Base view與Dependent view之各串流,以能夠與視訊同樣地以3D進行顯示。
對各個串流進行解碼而獲得之PG、IG之Base view的平面係與對Base view video串流進行解碼而獲得之Base view video之平面合成而顯示。同樣地,PG、IG之Dependent view之平面係與對Dependent view video串流進行解碼而獲得之Dependent view video之平面合成而顯示。
例如,當Base view video串流為L圖像之串流,Dependent view video串流為R圖像之串流時,關於PG、IG,其Base view之串流亦成為L圖像之圖形之串流。又,Dependent view之PG串流、IG串流成為R圖像之圖形之串流。
另一方面,當Base view video串流為R圖像之串流,Dependent view video串流為L圖像之串流時,關於PG、IG,其Base view之串流亦成為R圖像之圖形之串流。又,Dependent view之PG串流、IG串流成為L圖像之圖形之串流。
圖6係表示TS之另一構成例的圖。
於圖6之Main TS中,多工有Base view video、Dependent view video之各串流。
另一方面,於Sub TS中,多工有Primary audio、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
如此,亦存在將視訊串流多工化於Main TS中,將PG、IG之串流等多工化於Sub TS中之情形。
圖7係表示TS之進而另一構成例的圖。
於圖7A之Main TS中,多工有Base view video、Primary audio、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
另一方面,於Sub TS中包含有Dependent view video串流。
如此,亦存在Dependent view video串流包含於與Base view video串流不同之TS中之情形。
於圖7B之Main TS中,多工有Base view video、Primary audio、PG、IG之各串流。另一方面,於Sub TS中,多工有Dependent view video、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
Main TS中所包含之PG、IG係2D播放用之串流。Sub TS中所包含之串流係3D播放用之串流。
如此,亦可使2D播放與3D播放中不共用PG之串流與IG之串流。
如上所述,存在Base view video串流與Dependent view video串流包含於不同之MPEG2 TS中之情形。以下說明將Base view video串流與Dependent view video串流包含於不同之MPEG2 TS中進行記錄時之優點。
例如考慮可多工化為1條MPEG2 TS之位元率受到限制之情形。於此情形時,當將Base view video串流與Dependent view video串流兩者包含於1條MPEG2 TS中時,為滿足該限制,必需降低各串流之位元率。其結果為畫質下降。
藉由包含於各自不同之MPEG2 TS中,無需降低位元率,且可不使畫質下降。
圖8係表示利用播放裝置1之AV(Audio Vedio,視訊音訊)串流之管理之例的圖。
如圖8所示,AV串流之管理係使用PlayList(播放清單)與Clip(片斷)之兩層來進行。AV串流有時不僅記錄於光碟2中,而且記錄於播放裝置1之局部儲存器(local storage)中。
此處,將1個AV串流與隨附於其之資訊Clip Information(片斷資訊)之對(pair)視作1個目標(object),將該等目標總稱為Clip。以下,將儲存有AV串流之檔案稱為AV串流檔案。又,亦將儲存有Clip Information之檔案稱為Clip Information檔案。
AV串流係於時間軸上展開,各Clip之存取點主要係按照時間戳記於PlayList中予以指定。Clip Information檔案係用以查找應開始AV串流中之解碼之位址等。
PlayList係AV串流之播放區間之集合。AV串流中之1個播放區間稱為PlayItem(播放項目)。PlayItem係以時間軸上之播放區間之IN(入)點與OUT(出)點之對來表示。如圖8所示,PlayList包含1個或複數個PlayItem。
圖8之自左側起第1個PlayList包括兩個PlayItem,藉由該兩個PlayItem,分別參照左側之Clip中所包含之AV串流之前半部分與後半部分。
自左側起第2個PlayList包括一個PlayItem,藉由該一個PlayItem,參照右側之Clip中所包含之AV串流整體。
自左側起第3個PlayList包括兩個PlayItem,藉由該兩個PlayItem,分別參照左側之Clip中所包含之AV串流之某部分、及右側之Clip中所包含之AV串流之某部分。
例如,於藉由磁碟導航程式指定自左側起第1個PlayList中所含之左側PlayItem作為播放位置之情形時,進行該PlayItem所參照之左側之Clip中所包含的AV串流之前半部分之播放。如此,PlayList係用作用以管理AV串流之播放之播放管理資訊。
於PlayList中,將由1個以上之PlayItem之排列所形成的播放路徑稱為主路徑(Main Path)。
又,於PlayList中,將與Main Path平行且由1個以上之SubPlayItem(子播放項目)之排列所形成的播放路徑稱為子路徑(Sub Path)。
圖9係表示Main Path與Sub Path之結構的圖。
PlayList可具有1個Main Path與1個以上之Sub Path。
上述Base view video串流係作為構成Main Path之PlayItem所參照之串流加以管理。又,Dependent view video串流係作為構成Sub Path之SubPlayItem所參照之串流加以管理。
圖9之PlayList包含由3個PlayItem之排列所形成之1個Main Path與3個Sub Path。
於構成Main Path之PlayItem中,自開頭起依次分別設定ID(Identification,標識符)。於Sub Path中,亦係自開頭起依次設定Subpath_id=0、Subpath_id=1、及Subpath_id=2之ID。
於圖9之例中,於Subpath_id=0之Sub Path中包含1個SubPlayItem,於Subpath_id=1之Sub Path中包含2個SubPlayItem。又,於Subpath_id=2之Sub Path中包含1個SubPlayItem。
於1個PlayItem所參照之Clip AV串流中至少包含視訊串流(主圖像資料)。
又,於Clip AV串流中,以與Clip AV串流中所含之視訊串流相同之時序(同步)播放之音訊串流可含有1個以上,亦可不含有。
於Clip AV串流中,與Clip AV串流中所含之視訊串流同步播放之位元映射之字幕資料(PG(Presentation Graphic))之串流可含有1個以上,亦可不含有。
於Clip AV串流中,與Clip AV串流檔案中所含之視訊串流同步播放之IG(Interactive Graphic)之串流可含有1個以上,亦可不含有。IG之串流係用以顯示由使用者操作之按鈕等之圖形。
於1個PlayItem所參照之Clip AV串流中,多工有視訊串流、及與該視訊串流同步播放之0個以上之音訊串流、0個以上之PG串流、以及0個以上之IG串流。
又,1個SubPlayItem係參照與PlayItem所參照之Clip AV串流不同之串流(其他串流)之視訊串流、音訊串流或PG串流等。
關於此種使用有PlayList、PlayItem、SubPlayItem之AV串流之管理,例如記載於日本專利特開2008-252740號公報、日本專利特開2005-348314號公報中。
圖10係表示光碟2中所記錄之檔案之管理結構之例的圖。
如圖10所示,檔案係藉由目錄結構分級地管理。於光碟2上作成有1個root(根)目錄。root目錄之下成為由1個記錄播放系統所管理之範圍。
於root目錄下設置BDMV目錄。
於BDMV目錄之下緊接著儲存設定有「Index.bdmv」之名稱之檔案即Index檔案、及設定有「MovieObject.bdmv」之名稱之檔案即MovieObject檔案。
於BDMV目錄之下設有BACKUP目錄、PLAYLIST目錄、CLIPINF目錄、STREAM目錄等。
於PLAYLIST目錄中儲存描述PlayList之PlayList檔案。於各PlayList檔案中設定使5位數之數字與擴展名「.mpls」組合而成之名稱。於圖10所示之1個PlayList檔案中設定「00000.mpls」之檔案名。
於CLIPINF目錄中儲存Clip Information檔案。於各Clip Information檔案中係設定使5位數之數字與擴展名「.clpi」組合而成之名稱。
於圖10之3個Clip Information檔案中,分別設定有「00001.clpi」、「00002.clpi」、「00003.clpi」之檔案名。以下,適當地將Clip Information檔案稱為clpi檔案。
例如,「00001.clpi」之clpi檔案係描述與Base view video之Clip相關之資訊的檔案。
「00002.clpi」之clpi檔案係描述與D2 view video之Clip相關之資訊的檔案。
「00003.clpi」之clpi檔案係描述與Dl view video之Clip相關之資訊的檔案。
於STREAM目錄中儲存串流檔案。於各串流檔案中設定使5位數之數字與擴展名「.m2ts」組合而成之名稱、或者使5位數之數字與擴展名「.ilvt」組合而成之名稱。以下,適當地將設定有擴展名「.m2ts」之檔案稱為m2ts檔案。又,將設定有擴展名「.ilvt」之檔案稱為ilvt檔案。
「00001.m2ts」之m2ts檔案係2D播放用之檔案,藉由指定該檔案,讀取Base view video串流。
「00002.m2ts」之m2ts檔案係D2 view video串流之檔案,「00003.m2ts」之m2ts檔案係D1 view video串流之檔案。
「10000.ilvt」之ilvt檔案係B-D1播放用之檔案,藉由指定該檔案,讀取Base view video串流與D1 view video串流。
「20000.ilvt」之ilvt檔案係B-D2播放用之檔案,藉由指定該檔案,讀取Base view video串流與D2 view video串流。
除圖10所示者以外,於BDMV目錄之下,亦設置儲存音訊串流之檔案的目錄等。
圖11係表示PlayList檔案之語法的圖。
PlayList檔案係儲存於圖10之PLAYLIST目錄中設定有擴展名「.mpls」之檔案。
圖11之type_indicator表示「xxxxx.mpls」之檔案種類。
version_number表示「xxxx.mpls」之版本編號。version_number包含4位數之數字。例如,於3D播放用之PlayList檔案中設定表示其為「3D Spec version」之「0240」。
PlayList_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示PlayList()之開頭位址。
PlayListMark_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示PlayListMark()之開頭位址。
ExtensionData_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示ExtensionData()之開頭位址。
於ExtensionData_start_address之後包含160 bit(位元)之reserved_for_future_use。
於AppInfoPlayList()中儲存播放限制等的與PlayList之播放控制相關之參數。
於PlayList()中儲存與Main Path或Sub Path等相關之參數。關於PlayList()之內容將於後文敍述。
於PlayListMark()中儲存PlayList之標記資訊,即,指示章跳躍(chapter jump)等之使用者操作或命令等中之作為跳躍目的地(跳躍點)之標記之相關資訊。
於ExtensionData()中可插入私有資料。
圖12係表示PlayList檔案之描述之具體例的圖。
如圖12所示,於PlayList檔案中描述2bit之3D_PL_type與1 bit之view_type。
3D_PL_type係表示PlayList之種類。
view_type係表示藉由PlayList而管理播放之Base view video串流為L圖像(L view)之串流還是為R圖像(R view)之串流。
圖13係表示3D_PL_type之值之含義的圖。
3D_PL_type之值之00係表示其為2D播放用之PlayList。
3D_PL_type之值之01表示其為3D播放中之B-D1播放用之PlayList。
3D_PL_type之值之10表示其為3D播放中之B-D2播放用之PlayList。
例如,於3D_PL_type之值為01或10之情形時,於PlayList檔案之ExtenstionData()中登錄3DPlayList資訊。例如,登錄與自光碟2讀取Base view video串流與Dependent view video串流相關之資訊作為3DPlayList資訊。
圖14係表示view_type之值之含義的圖。
view_type之值之0於進行3D播放之情形時,係表示Base view video串流為L view之串流。於進行2D播放之情形時,係表示Base view video串流為AVC視訊串流。
view_type之值之1係表示Base view video串流為R view之串流。
藉由在PlayList檔案中描述view_type,播放裝置1可識別出Base view video串流為L view之串流還是為R view之串流。
例如,於經由HDMI纜線將視訊信號輸出至顯示裝置3之情形時,一般認為播放裝置1需要將L view之信號與R view之信號分別加以區分後輸出。
藉由設法使得可識別出Base view video串流為L view之串流還是為R view之串流,播放裝置1可將L view之信號與R view之信號加以區分後輸出。
圖15係表示圖11之PlayList()之語法的圖。
length係表示自該length場之後至PlayList()之最後為止之位元組數之32位元的無符號整數。即,length係表示自reserved_for_future_use起至PlayList之最後為止之位元組數。
於length之後準備16位元之reserved_for_future_use。
number_of_PlayItems係表示位於PlayList中之PlayItem之數量的16位元之場。於圖9之例之情形時,PlayItem之數量為3。PlayItem_id之值係按照PlayList中PlayItem()所出現之順序依次自0開始分配。例如,分配圖9之PlayItem_id=0、1、2。
number_of_SubPathss係表示位於PlayList中之Sub Path之數量的16位元之場。於圖9之例之情形時,Sub Path之數量為3。SubPath_id之值係按照PlayList中SubPath()所出現之順序依次自0開始分配。例如,分配圖9之Subpath_id=0、1、2。於其後之for語句中,參照相當於PlayItem之數量的PlayItem(),且參照相當於Sub Path之數量的SubPath()。
圖16係表示圖15之SubPath()之語法的圖。
length係表示自該length場之後至Sub Path()之最後為止之位元組數的32位元之無符號整數。即,length表示自reserved_for_future_use至PlayList之最後為止之位元組數。
於length之後準備16位元之reserved_for_future_use。
SubPath-type係表示Sub Path之應用程式之種類的8位元之場。SubPath_type係用於例如表示Sub Path為音訊、為位元映射字幕、或為文本字幕等之種類之情形時。
於SubPath_type之後準備15位元之reserved_for_future_use。
is_repeat_SubPath係指定Sub Path之播放方法之1位元之場,其表示於Main Path之播放期間重複進行Sub Path之播放,或者僅進行1次Sub Path之播放。例如,用於Main Path所參照之Clip與Sub Path所參照之Clip之播放時序不同之情形時(將Main Path用作靜態圖像之放映路徑,將Sub Path用作作為BGM(Background Music,背景音樂)之音訊路徑之情形時等)。
於Is_repeat_SubPath之後準備8位元之reserved_for_future_use。
number_of_SubPlayItems係表示位於1個 Sub Path中之SubPlayItem的數量(入口數)之8位元之場。例如,圖9之SubPath_id=0之SubPlayItem的number_of_SubPlayItems為1,SubPath_id=1之SubPlayItem之number_of_SubPlayItems為2。於其後之for語句中,參照相當於SubPlayItem之數量的SubPlayItem()。
圖17係表示圖16之SubPlayItem(i)之語法的圖。
length係表示自該length場之後至Sub playItem()之最後為止之位元組數的16位元之無符號整數。
圖17之SubPlayItem(i)係分為SubPlayItem參照1個Clip之情形與參照複數個Clip之情形而加以描述。
就SubPlayItem參照1個Clip之情形進行說明。
Clip_Information_file_name[0]係表示所參照之Clip。
Clip_codec_identifier[0]係表示Clip之編解碼方式。於Clip_codec_identifier[0]之後包含reserved_for_future_use。
is_multi_Clip_entries係表示有無多個Clip(片斷)登錄之旗標。於設立有is_multi_Clip_entries之旗標之情形時,參照SubPlayItem參照複數個Clip之情形時之語法。
ref_to_STC_id[0]係與STC(System Time Clock,系統時鐘)非連續點(系統時基之非連續點)相關之資訊。
SubPlayItem_IN_time係表示Sub Path之播放區間之開始位置,SubPlayItem_OUT_time係表示結束位置。
sync_PlayItem_id與sync_start_PTS_of_PlayItem表示在Main Path之時間軸上Sub Path開始播放之時刻。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItem被共用於SubPlayItem所參照之Clip中。
就「if(is_multi_Clip_entries==1b」,且SubPlayItem參照複數個Clip之情形進行說明。
num_of_Clip_entries係表示所參照之Clip之數量。Clip_Information_file_name[SubClip_entry_id]之數量係指定除Clip_Information_file_name[0]以外之Clip之數量。
Clip_codec_identifier[Sub Clip_entry_id]表示Clip之編解碼方式。
ref_to_STC_id[SubClip_entry_id]係與STC非連續點(系統時基之非連續點)相關之資訊。於ref_to_STC_id[SubClip_entry_id]之後包含reserved_for_future_use。
圖18係表示圖15之PlayItem()之語法的圖。
length係表示自該length場之後至PlayItem()之最後為止之位元組數的16位元之無符號整數。
Clip_Information_file_name[0]係表示PlayItem所參照之Clip之Clip Information檔案之名稱。再者,於包含Clip之mt2s檔案之檔案名、及與其對應之Clip Information檔案之檔案名中包含相同之5位數之數字。
Clip_codec_identifier[0]係表示Clip之編解碼方式。於Clip_codec_identifier[0]之後包含reserved_for_future_use。於reserved_for_future_use之後包含is_multi_angle、connection_condition。
ref_to_STC_id[0]係與STC非連續點(系統時基之非連續點)相關之資訊。
IN_time係表示PlayItem之播放區間之開始位置,OUT_time係表示結束位置。
於OUT_time之後包含UO_mask_table()、PlayItem_random_access_mode、still_mode。
於STN_table()中包含對象之PlayItem所參照之AV串流的資訊。又,當存在與對象之PlayItem相關聯而播放之Sub Path時,亦包含構成該Sub Path之SubPlayItem所參照之AV串流的資訊。
圖19係表示圖18之STN_table()之語法的圖。
STN_table()係作為PlayItem之屬性而設定。
length係表示自該length場之後至STN_table()之最後為止之位元組數的16位元之無符號整數。於length之後準備16位元之reserved_for_future_use。
number_of_video_stream_entries係表示在STN_table()中登入(登錄)之提供video_stream_id之串流的數量。
video_stream_id係用以識別視訊串流之資訊。例如,藉由該video_stream_id而特別指定Base view video串流。
關於Dependent view video串流之ID,可於STN_table()內定義,亦可於Base view video串流之ID上加上特定值等而藉由計算加以求出。
video_stream_number係用於視訊切換之使用者可見之視訊串流編號。
number_of_audio_stream_entries係表示在STN_table()中登入之提供audio_stream_id之第1個音訊串流的串流之數量。audio_stream_id係用以識別音訊串流之資訊,audio_stream_number係用於聲音切換之使用者可見之音訊串流編號。
number_of_audio_stream2_entries表示在STN_table()中登入之提供audio_stream_id2之第2個音訊串流的串流之數量。audio-stream_id2係用以識別音訊串流之資訊,audio_stream_number係用於聲音切換之使用者可見之音訊串流編號。於該例中,係形成為可切換播放之聲音。
number_of_PG_txtST_stream_entries係表示在STN_table()中登入之提供PG_txtST_stream_id之串流的數量。其中,登入對位元映像字幕進行運行長度編碼而成之PG串流與文本字幕檔案(txtST)。PG_txtST_stream_id係用以識別字幕串流之資訊,PG_txtST_stream_number係用於字幕切換之使用者可見之字幕串流編號。
number_of_IG_stream_entries係表示在STN_table()中登入之提供IG_stream_id之串流的數量。其中,登入IG串流。IG_stream_id係用以識別IG串流之資訊,IG_stream_number係用於圖形切換之使用者可見之圖形串流編號。
Main TS、Sub TS之ID亦登錄於STN_table()中。該ID為TS之ID而並非基本串流之內容,係描述於stream_attribute()中。
圖20係表示播放裝置1之構成例的方塊圖。
控制器51執行預先準備之控制程式,控制播放裝置1之整體動作。
例如,控制器51控制磁碟驅動器52,讀取3D播放用之PlayList檔案。又,控制器51根據STN_table中所登錄之ID讀取Main TS與SubTS,並供給至解碼部56。
磁碟驅動器52根據控制器51之控制自光碟2讀取資料,並將所讀取之資料輸出至控制器51、記憶體53、或解碼部56。
記憶體53適當地記憶控制器51執行各種處理時所需要之資料等。
局部儲存器54包含例如HDD(Hard Disk Drive,硬碟驅動器)。於局部儲存器54中,記錄自伺服器72下載之Dependent view video串流等。局部儲存器54中所記錄之串流亦可適當地供給至解碼部56。
網際網路介面55根據來自控制器51之控制,經由網路71而與伺服器72進行通訊,並將自伺服器72所下載之資料供給至局部儲存器54。
自伺服器72下載使記錄於光碟2中之資料更新之資料。設法使得可一併使用所下載之Dependent view video串流與記錄於光碟2中之Base view video串流,藉此可實現與光碟2之內容不同之內容的3D播放。當已下載Dependent view video串流時,PlayList之內容亦可適當地更新。
解碼部56對自磁碟驅動器52或局部儲存器54所供給之串流進行解碼,並將所獲得之視訊信號輸出至顯示裝置3。音訊信號亦經由特定路徑輸出至顯示裝置3。
操作輸入部57包含按鈕、按鍵、觸控面板、旋控鈕、滑鼠等輸入設備、及接收自特定之遙控器所傳送之紅外線等信號的接收部。操作輸入部57檢測出使用者之操作,並將表示所檢測出之操作之內容的信號供給至控制器51。
圖21係表示解碼部56之構成例的圖。
於圖21中表示有進行視訊信號之處理之構成。於解碼部56中,亦進行音訊信號之解碼處理。將音訊信號作為對象而進行之解碼處理之結果為,經由未圖示之路徑輸出至顯示裝置3。
PID(Proportional Intergral Derivative,比例-積分-微分)濾波器101根據構成TS之封包之PID或串流之ID等,識別自磁碟驅動器52或局部儲存器54所供給的TS為Main TS還是為Sub TS。PID濾波器101將Main TS輸出至緩衝器102,並將Sub TS輸出至緩衝器103。
PID濾波器104依次讀取緩衝器102中所記憶之Main TS之封包,並根據PID進行分配。
例如,PID濾波器104將構成Main TS中所包含之Base view video串流之封包輸出至B video緩衝器106,並將構成Dependent view video串流之封包輸出至交換器107。
又,PID濾波器104將構成Main TS中所包含之Base IG串流之封包輸出至交換器114,並將構成Dependent IG串流之封包輸出至交換器118。
PID濾波器104將構成Main TS中所包含之Base PG串流之封包輸出至交換器122,並將構成Dependent PG串流之封包輸出至交換器126。
如參照圖5所說明般,存在將Base view video、Dependent view video、Base PG、Dependent PG、Base IG、Dependent IG之各串流多工化於Main TS中之情形。
PID濾波器105依次讀取緩衝器103中所記憶之Sub TS之封包,並根據PID進行分配。
例如,PID濾波器105將構成Sub TS中所包含之Dependent view video串流之封包輸出至交換器107。
又,PID濾波器105將構成Sub TS中所包含之Base IG串流之封包輸出至交換器114,並將構成Dependent IG串流之封包輸出至交換器118。
PID濾波器105將構成Sub TS中所包含之Base PG串流之封包輸出至交換器122,並將構成Dependent PG串流之封包輸出至交換器126。
如參照圖7所說明般,存在Dependent view video串流包含於Sub TS中之情形。又,如參照圖6所說明般,存在將Base PG、Dependent PG、Base IG、Dependent IG之各串流多工化於Sub TS中之情形。
交換器107將自PID濾波器104或PID濾波器105所供給之構成Dependent view video串流之封包輸出至D video緩衝器108。
交換器109依據規定解碼時序之時刻資訊依次讀取B video緩衝器106中所記憶之Base view video之封包、及D video緩衝器108中所記憶之Dependent view video之封包。於儲存有Base view video之某畫面之資料的封包、及儲存有與其對應之Dependent view video之畫面之資料的封包中,例如設定有相同之時刻資訊。
交換器109將自B video緩衝器106或D video緩衝器108讀取之封包輸出至視訊解碼器110。
視訊解碼器110對自交換器109所供給之封包進行解碼,並將藉由解碼而獲得之Base view video或Dependent view video之資料輸出至交換器111。
交換器111將對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112,並將對Dependent view video之封包進行解碼而獲得之資料輸出至D video平面產生部113。
B video平面產生部112根據自交換器111所供給之資料產生Base view video之平面,並將其輸出至合成部130。
D video平面產生部113根據自交換器111所供給之資料產生Dependent view video之平面,並輸出至合成部130。
交換器114將自PID濾波器104或PID濾波器105所供給之構成Base IG串流之封包輸出至BIG緩衝器115。
B IG解碼器116對B IG緩衝器115中所記憶之構成Base IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B IG平面產生部117。
B IG平面產生部117根據自B IG解碼器116所供給之資料產生Base IG之平面,並將其輸出至合成部130。
交換器118將自PID濾波器104或PID濾波器105所供給之構成Dependent IG串流之封包輸出至D IG緩衝器119。
D IG解碼器120對D IG緩衝器119中所記憶之構成Dependent IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D IG平面產生部121。
D IG平面產生部121根據自D IG解碼器120所供給之資料產生Dependent IG之平面,並將其輸出至合成部130。
交換器122將自PID濾波器104或PID濾波器105所供給之構成Base PG串流之封包輸出至B PG緩衝器123。
B PG解碼器124對B PG緩衝器123中所記憶之構成Base PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B PG平面產生部125。
B PG平面產生部125根據自B PG解碼器124所供給之資料產生Base PG之平面,並將其輸出至合成部130。
交換器126將自PID濾波器104或PID濾波器105所供給之構成Dependent PG串流之封包輸出至D PG緩衝器127。
D PG解碼器128對D PG緩衝器127中所記憶之構成Dependent PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D PG平面產生部129。
DPG平面產生部129根據自DPG解碼器128所供給之資料產生Dependent PG之平面,並將其輸出至合成部130。
合成部130藉由將自B video平面產生部112所供給之Base view video之平面、自B IG平面產生部117所供給之Base IG之平面、以及自BPG平面產生部125所供給之Base PG之平面以特定順序重疊而合成,產生Base view之平面。
又,合成部130藉由將自D video平面產生部113所供給之Dependent view video之平面、自D IG平面產生部121所供給之Dependent IG之平面、以及自D PG平面產生部129所供給之Dependent PG之平面以特定順序重疊而合成,產生Dependent view之平面。
合成部130輸出Base view之平面與Dependent view之平面之資料。將自合成部130所輸出之視訊資料輸出至顯示裝置3,並使Base view之平面與Dependent view之平面交替地顯示,藉此進行3D顯示。
此處,就圖21所示之構成中之解碼器及其周邊之構成進行說明。
圖22係表示進行視訊串流之處理之構成的圖。
於圖22中,對與圖21所示之構成相同之構成標附相同之符號。於圖22中,表示有PID濾波器104、B video緩衝器106、交換器107、D video緩衝器108、交換器109、視訊解碼器110、以及DPB(Decoded Picture Buffer,已解碼畫面緩衝器)151。圖21中雖未圖示,但於視訊解碼器110之後段設置有記憶已解碼之畫面之資料的DPB 151。
PID濾波器104將構成Main TS中所包含之Base view video串流之封包輸出至B video緩衝器106,並將構成Dependent view video串流之封包輸出至交換器107。
例如,於構成Base view video串流之封包中,將PID=0作為PID之固定值進行分配。又,於構成Dependent view video串流之封包中,將0以外之固定值作為PID進行分配。
PID濾波器104將標頭中描述有PID=0之封包輸出至B video緩衝器106,並將標頭中描述有0以外之PID之封包輸出至交換器107。
輸出至B video緩衝器106中之封包係經由TB(Transport Buffer,傳送緩衝器)1
、MB(Multiplexing Buffer,多工緩衝器)1
記憶於VSB1
中。於VSB1
中記憶Base view video之基本串流之資料。
對於交換器107,不僅供給自PID濾波器104所輸出之封包,而且藉由圖21之PID濾波器105亦供給構成自Sub TS所提取之Dependent view video串流的封包。
交換器107於自PID濾波器104供給有構成Dependent view video串流之封包之情形時,將其輸出至D video緩衝器108。
又,交換器107於自PID濾波器105供給有構成Dependent view video串流之封包之情形時,將其輸出至D video緩衝器108。
輸出至D video緩衝器108之封包係經由TB2
、MB2
記憶於VSB2
中。於VSB2
中記憶Dependent view video之基本串流之資料。
交換器109依次讀取B video緩衝器106之VSB1
中所記憶之Base view video的封包、以及D video緩衝器108之VSB2
中所記憶之Dependent view video的封包,並輸出至視訊解碼器110。
例如,交換器109以輸出某時刻之Base view video之封包後立即輸出與其相同時刻之Dependent view video之封包的方式,向視訊解碼器110中連續地輸出相同時刻之Base view video之封包與Dependent view video之封包。
於儲存有Base view video之某畫面之資料的封包、及儲存有與其對應之Dependent view video之畫面之資料的封包中,設定有於其編碼時已確保PCR(Program Clock Reference,節目時鐘參考)同步之相同時刻資訊。即使於Base view video串流與Dependent view video串流分別包含於不同之TS中之情形時,於儲存有相對應之畫面之資料的封包中亦設定相同時刻資訊。
時刻資訊係DTS(Decoding Time Stamp,解碼時間戳記)、PTS(Presentation Time Stamp,顯示時間戳記),其設定於各PES(Packetized Elementary Stream,封包化之基本串流)封包中。
即,於將各個串流之畫面按編碼順序/解碼順序排列時位於相同時刻之Base view video之畫面與Dependent view video之畫面成為相對應的畫面。於儲存某Base view video之畫面之資料的PES封包、以及儲存按解碼順序與該畫面相對應之Dependent view video之畫面之資料的PES封包中,設定有相同之DTS。
又,於將各個串流之畫面按顯示順序排列時位於相同時刻之Base view video的畫面與Dependent view video之畫面亦成為相對應的畫面。於儲存某Base view video之畫面之資料的PES封包、以及儲存按顯示順序與該畫面對應之Dependent view video之畫面之資料的PES封包中,設定有相同之PTS。
於如下所述般Base view video串流之GOP(Group Of Pictures,畫面群)結構與Dependent view video串流之GOP結構為相同結構之情形時,按解碼順序相對應之畫面成為顯示順序亦相對應之畫面。
在以串列進行封包之傳送時,以某個時序自B video緩衝器106之VSB1
所讀取之封包的DTS1
、以於隨後之時序自D video緩衝器108之VSB2
所讀取之封包的DTS2
如圖22所示,成為表示相同時刻者。
交換器109將自B video緩衝器106之VSB1
所讀取之Base view video的封包、或自D video緩衝器108之VSB2
所讀取之Dependent view video的封包輸出至視訊解碼器110。
視訊解碼器110對自交換器109所供給之封包依次進行解碼,並使經解碼而獲得之Base view video之畫面之資料、或Dependent view video之畫面之資料記憶於DPB151中。
DPB151中所記憶之已解碼之畫面的資料係以特定之時序由交換器111讀取。又,DPB151中所記憶之已解碼之畫面的資料係藉由視訊解碼器110用於其他畫面之預測。
在以串列進行資料之傳送時,以某個時序所輸出之Base view video之畫面之資料的PTS與以隨後之時序所輸出之Dependent view video之畫面之資料的PTS成為表示相同時刻者。
Base view video串流與Dependent view video串流有時如參照圖5等所說明般多工化於1條TS中,有時如參照圖7所說明般分別包含於不同之TS中。
藉由安裝圖22之解碼器模型,播放裝置1於 Base view video串流與Dependent view video串流多工化於1條TS中之情形時、以及分別包含於不同之TS中之情形時均可應對。
例如,於如圖23所示僅假設供給1條TS之狀況之情形時、將Base view video串流與Dependent view video串流分別包含於不同之TS中之情形時等,則無法應對。
又,根據圖22之解碼器模型,由於具有相同之DTS,因此即使於Base view video串流與Dependent view video串流包含於不同之TS中之情形時,亦能以正確之時序將封包供給至視訊解碼器110。
亦可將Base view video用之解碼器與Dependent view video用之解碼器分別並列設置。於此情形時,對Base view video用之解碼器與Dependent view video用之解碼器,分別以相同之時序供給相同時刻之封包。
圖24係表示進行視訊串流之處理之另一構成的圖。
於圖24中,除圖22之構成以外,亦表示有交換器111、L video平面產生部161、以及R video平面產生部162。又,PID濾波器105亦表示於交換器107之前段。關於重複之說明予以適當省略。
L video平面產生部161係產生L view video之平面者,其係替換圖21之B video平面產生部112而設置。
R video平面產生部162係產生R view video之平面者,其係替換圖21之D video平面產生部113而設置。
於該例中,交換器111需要識別並輸出L view之視訊資料與R view之視訊資料。
即,交換器111需要識別出對Base view video之封包進行解碼而獲得之資料為L view與R view中之何者之視訊資料。
又,交換器111需要識別出對Dependent view video之封包進行解碼而獲得之資料為L view與R view中之何者之視訊資料。
為識別L view與R view,係使用參照圖12與圖14所說明之view_type。例如,控制器51將PlayList檔案中所描述之view_type輸出至交換器111。
於view_type之值為0之情形時,交換器111將DPB151中所記憶之資料中,對由PID=0所識別之Base view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。如上所述,view_type之值之0係表示Base view video串流為L view之串流。
於此情形時,交換器111將對由0以外之PID所識別之Dependent view video之封包進行解碼而獲得的資料輸出至R video平面產生部162。
另一方面,於view_type之值為1之情形時,交換器111將DPB151中所記憶之資料中,對由PID=0所識別之Base view video之封包進行解碼而獲得的資料輸出至R video平面產生部162。view_type之值之1係表示Base view video串流為R view之串流。
於此情形時,交換器111將對由0以外之PID所識別之Dependent view video之封包進行解碼而獲得的資料輸出至L video平面產生部161。
L video平面產生部161根據自交換器111所供給之資料產生L view video之平面,並將其輸出至合成部130。
R video平面產生部162根據自交換器111所供給之資料產生R view video之平面,並將其輸出至合成部130。
於以H.264 AVC/MVC進行有編碼之Base view video、Dependent view video之基本串流內,不存在表示其為L view或為R view的資訊(場)。
因此,藉由將view_type預先設定於PlayList檔案中,記錄裝置可使播放裝置1識別出Base view video串流與Dependent view video串流分別為L view與R view中之何者之串流。
播放裝置1可識別出Base view video串流與Dependent view video串流分別為L view與R view中之何者之串流,並對應於識別結果切換輸出目的地。
於對IG、PG之平面亦分別準備有L view與R view之情形時,因可區分視訊串流之L view與R view,故播放裝置1可容易地進行L view彼此、R view彼此之平面之合成。
如上所述,於經由HDMI纜線輸出視訊信號之情形時,要求將L view之信號與R view之信號分別區分之後加以輸出,播放裝置1可應對該要求。
亦可不根據PID而根據view_id,進行對DPB151中所記憶之Base view video之封包進行解碼而獲得的資料與對Dependent view video之封包進行解碼而獲得之資料的識別。
於以H.264 AVC/MVC進行編碼時,於構成編碼結果之串流之Access Unit(存取單元)中設定view_id。根據view_id,可識別出各Access Unit為哪一個view component之單元。
圖25係表示Access Unit之例的圖。
圖25之Access Unit#1係包含Base view video之資料之單元。Access Unit#2係包含Dependent view video之資料之單元。Access Unit係以可按照畫面單位進行存取之方式,對例如1個畫面之資料加以匯總之單元。
藉由以H.264 AVC/MVC進行編碼,將Base view video與Dependent view video之各畫面之資料儲存於上述Access Unit中。於以H.264 AVC/MVC進行編碼時,如Access Unit#2內所示般,於各個view component中附加MVC標頭。MVC標頭中包含view_id。
於圖25之例之情形時,關於Access Unit#2,可根據view_id識別出儲存於該Access Unit中之view component為Dependent view video。
另一方面,如圖25所示,於Access Unit#1中所儲存之view component即Base view video中並未附加MVC標頭。
如上所述,Base view video串流係亦用於2D播放之資料。因此,為確保與其之相容性,於Base view video中於編碼時未附加MVC標頭。或者,將曾經附加之MVC標頭去除。關於利用記錄裝置而進行之編碼將於後文說明。
播放裝置1中,關於未附加MVC標頭之view component,其view_id為0,以使view component識別為Base view video之方式進行定義(設定)。對於Dependent view video,於編碼時設定0以外之值作為view_id。
藉此,播放裝置1可根據識別為0之view_id識別出Base view video,並可根據實際所設定之0以外之view_id識別出Dependent view video。
於圖24之交換器111中,亦可設為根據如上所述之view_id,進行對Base view video之封包進行解碼而獲得之資料與對Dependent view video之封包進行解碼而獲得之資料的識別。
圖26係表示進行視訊串流之處理之進而另一構成的圖。
於圖26之例中,替換圖24之L video平面產生部161而設有B video平面產生部112,且替換R video平面產生部162而設有D video平面產生部113。於B video平面產生部112與D video平面產生部113之後段設有交換器171。於圖26所示之構成中,亦根據view_type切換資料之輸出目的地。
交換器111將DPB151中所記憶之資料中,對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112。又,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至D video平面產生部113。
如上所述,對Base view video之封包進行解碼而獲得之資料與對Dependent view video之封包進行解碼而獲得之資料,係根據PID或view_id而識別。
B video平面產生部112根據自交換器111所供給之資料產生Base view video之平面,並將其輸出。
D video平面產生部113根據自交換器111所供給之資料產生Dependent view video之平面,並將其輸出。
自控制器51對交換器171供給PlayList檔案中所描述之view_type。
於view_type之值為0之情形時,交換器171將自B video平面產生部112所供給之Base view video之平面作為L view video之平面輸出至合成部130。view_type之值之0係表示Base view video串流為L view之串流。
又,於此情形時,交換器171將自D video平面產生部113所供給之Dependent view video之平面作為R view video之平面輸出至合成部130。
另一方面,於view_type之值為1之情形時,交換器171將自D video平面產生部113所供給之Dependent view video之平面作為L view video之平面輸出至合成部130。view_type之值之1係表示Base view video串流為R view之串流。
又,於此情形時,交換器171將自B video平面產生部112所供給之Base view video之平面作為R view video之平面輸出至合成部130。
藉由圖26之構成,播放裝置1亦可識別出L view與R view,並根據識別結果而切換輸出目的地。
圖27係表示圖21所示之構成中之合成部130與其前段之構成的圖。
於圖27中,亦對與圖21所示之構成相同之構成標附相同之符號。
對交換器181,輸入構成Main TS或Sub TS中所包含之IG串流之封包。於輸入至交換器181中之構成IG串流之封包中包含Base view之封包與Dependent view之封包。
對交換器182,輸入構成Main TS或Sub TS中所包含之PG串流之封包。於輸入至交換器182中之構成PG串流之封包中包含Base view之封包與Dependent view之封包。
如參照圖5等所說明般,關於IG、PG,亦準備有用以進行3D顯示之Base view之串流與Dependent view之串流。
藉由將Base view之IG與Base view video合成而顯示,並將Dependent view之IG與Dependent view video合成而顯示,使用者將不僅看到3D之視訊,而且看到3D之按鈕或圖符等。
又,藉由將Base view之PG與Base view video合成而顯示,並將Dependent view之PG與Dependent view video合成而顯示,使用者不僅看到3D之視訊,而且看到3D之字幕文本等。
交換器181將構成Base IG串流之封包輸出至B IG解碼器116,並將構成Dependent IG串流之封包輸出至D IG解碼器120。交換器181具有圖21之交換器114與交換器118之功能。於圖27中,已省略各緩衝器之圖示。
B IG解碼器116對自交換器181所供給之構成Base IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B IG平面產生部117。
B IG平面產生部117根據自B IG解碼器116所供給之資料而產生Base IG之平面,並將其輸出至合成部130。
D IG解碼器120對自交換器181所供給之構成Dependent IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D IG平面產生部121。亦可設為利用1個解碼器對Base IG串流與Dependent IG串流進行解碼。
D IG平面產生部121根據自D IG解碼器120所供給之資料而產生Dependent IG之平面,並將其輸出至合成部130。
交換器182將構成Base PG串流之封包輸出至B PG解碼器124,並將構成Dependent PG串流之封包輸出至D PG解碼器128。交換器182具有圖21之交換器122與交換器126之功能。
B PG解碼器124對自交換器182所供給之構成Base PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B PG平面產生部125。
B PG平面產生部125根據自B PG解碼器124所供給之資料而產生Base PG之平面,並將其輸出至合成部130。
D PG解碼器128對自交換器182所供給之構成Dependent PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D PG平面產生部129。亦可設為利用1個解碼器對Base PG串流與Dependent PG串流進行解碼。
D PG平面產生部129根據自D PG解碼器128所供給之資料而產生Dependent PG之平面,並將其輸出至合成部130。
視訊解碼器110對自交換器109(圖22等)所供給之封包依次進行解碼,並將經解碼而獲得之Base view video之資料或Dependent view video之資料輸出至交換器111。
交換器111將對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112,並將對Dependent view video之封包進行解碼而獲得之資料輸出至D video平面產生部113。
B video平面產生部112根據自交換器111所供給之資料而產生Base view video之平面,並將其輸出。
D video平面產生部113根據自交換器111所供給之資料而產生Dependent view video之平面,並將其輸出。
合成部130包括加法部191至194、及交換器195。
加法部191以使自DPG平面產生部129所供給之Dependent PG之平面重疊於自D video平面產生部113所供給之Dependent view video之平面上之方式進行合成,並將合成結果輸出至加法部193。對自DPG平面產生部129供給至加法部191之Dependent PG之平面實施色彩資訊的轉換處理(CLUT(Color Look Up Table,色彩查找表)處理)。
加法部192以使自BPG平面產生部125所供給之Base PG之平面重疊於自B video平面產生部112所供給之Base view video之平面上之方式進行合成,並將合成結果輸出至加法部194。對自BPG平面產生部125供給至加法部192之Base PG之平面實施色彩資訊的轉換處理或使用偏移值之修正處理。
加法部193以使自DIG平面產生部121所供給之Dependent IG之平面重疊於由加法部191所獲得之合成結果上之方式進行合成,並輸出合成結果作為Dependent view 之平面。對自DIG平面產生部121供給至加法部193之Dependent IG之平面實施色彩資訊的轉換處理。
加法部194以使自BIG平面產生部117所供給之Base IG之平面重疊於由加法部192所產生之合成結果上之方式進行合成,並輸出合成結果作為Base view之平面。對自D IG平面產生部121供給至加法部194之Base IG之平面實施色彩資訊的轉換處理或使用有偏移值之修正處理。
根據以上述方式產生之Base view之平面與Dependent view之平面而顯示之圖像,成為於前面可看見按鈕或圖符,於其下(縱深方向)可看見字幕文本,於字幕文本下可看見視訊之圖像。
交換器195於view_type之值為0之情形時,輸出Base view之平面作為L view之平面,並輸出Dependent view之平面作為R view之平面。自控制器51將view_type供給至交換器195。
又,交換器195於view_type之值為1之情形時,輸出Base view之平面作為R view之平面,並輸出Dependent view之平面作為L view之平面。所供給之平面中之哪一平面為Base view之平面、哪一平面為Dependent view之平面,係根據PID或view_id予以識別。
如此,於播放裝置1中進行Base view之平面彼此、Dependent view之平面彼此、video、IG、PG之各平面之合成。
於video、IG、PG之所有平面之合成結束之階段,根據view_type,判斷將Base view之平面彼此加以合成之結果為L view還是為R view,並分別輸出R view之平面與L view之平面。
又,於video、IG、PG之所有平面之合成結束之階段,根據view_type,判斷將Dependent view之平面彼此加以合成之結果為L view還是為R view,並分別輸出R view之平面與L view之平面。
圖28係表示合成部130與其前段之構成的圖。
圖28所示之構成中,對與圖27所示之構成相同之構成標附相同之符號。於圖28中,合成部130之構成與圖27之構成不同。又,交換器111之動作與圖27之交換器111之動作不同。替換B video平面產生部112而設有L video平面產生部161,且替換D video平面產生部113而設有R video平面產生部162。對於重複之說明予以省略。
自控制器51對交換器111與合成部130之交換器201及交換器202供給相同之view_type之值。
與圖24之交換器111同樣地,交換器111根據view_type,切換對Base view video之封包進行解碼而獲得之資料、以及對Dependent view video之封包進行解碼而獲得之資料的輸出目的地。
例如,於view_type之值為0之情形時,交換器111將對Base view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。於此情形時,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。
另一方面,於view_type之值為1之情形時,交換器111將對Base view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。於此情形時,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。
L video平面產生部161根據自交換器111所供給之資料產生L view video之平面,並將其輸出至合成部130。
R video平面產生部162根據自交換器111所供給之資料產生R view video之平面,並將其輸出至合成部130。
合成部130包括交換器201、交換器202、及加法部203至206。
交換器201根據view_type,切換自B IG平面產生部117所供給之Base IG之平面與自D IG平面產生部121所供給之Dependent IG之平面的輸出目的地。
例如,於view_type之值為0之情形時,交換器201將自B IG平面產生部117所供給之Base IG之平面作為L view之平面輸出至加法部206。於此情形時,交換器201將自D IG平面產生部121所供給之Dependent IG之平面作為R view之平面輸出至加法部205。
另一方面,於view_type之值為1之情形時,交換器201將自D IG平面產生部121所供給之Dependent IG之平面作為L view之平面輸出至加法部206。於此情形時,交換器201將自B IG平面產生部117所供給之Base IG之平面作為R view之平面輸出至加法部205。
交換器202根據view_type,切換自B PG平面產生部125所供給之Base PG之平面與自D PG平面產生部129所供給之Dependent PG之平面的輸出目的地。
例如,於view_type之值為0之情形時,交換器202將自B PG平面產生部125所供給之Base PG之平面作為L view之平面輸出至加法部204。於此情形時,交換器202將自D PG平面產生部129所供給之Dependent PG之平面作為R view之平面輸出至加法部203。
另一方面,於view_type之值為1之情形時,交換器202將自D PG平面產生部129所供給之Dependent PG之平面作為L view之平面輸出至加法部204。於此情形時,交換器202將自B PG平面產生部125所供給之Base PG之平面作為R view之平面輸出至加法部203。
加法部203以使自交換器202所供給之R view之PG之平面重疊於自R video平面產生部162所供給之R view video之平面上之方式進行合成,並將合成結果輸出至加法部205。
加法部204以使自交換器202所供給之L view之PG之平面重疊於自L video平面產生部161所供給之L view video之平面上之方式進行合成,並將合成結果輸出至加法部206。
加法部205以使自交換器201所供給之R view之IG之平面重疊於由加法部203所獲得之合成結果之平面上之方式進行合成,並輸出合成結果作為R view之平面。
加法部206以使自交換器201所供給之L view之IG之平面重疊於由加法部204所獲得之合成結果之平面上之方式進行合成,並輸出合成結果作為L view之平面。
如此,於播放裝置1中,關於video、IG、PG之各自之Base view之平面與Dependent view之平面,在與其他平面之合成前,判斷哪一平面為L view或為R view。
於進行該判斷之後,以合成L view之平面彼此、R view之平面彼此之方式進行video、IG、PG之各平面之合成。
圖29係表示軟體製作處理部301之構成例的方塊圖。
視訊編碼器311具有與圖3之MVC編碼器11相同之構成。視訊編碼器311依照H.264 AVC/MVC對複數個影像資料進行編碼,藉此產生Base view video串流與Dependent view video串流,並將其等輸出至緩衝器312。
例如,視訊編碼器311於編碼時,以相同之PCR為基準設定DTS、PTS。即,視訊編碼器311於儲存某Base view video之畫面之資料的PES封包、以及儲存按解碼順序與該畫面相對應之Dependent view video之畫面之資料的PES封包中設定相同之DTS。
又,視訊編碼器311於儲存某Base view video之畫面之資料的PES封包、以及儲存按顯示順序與該畫面相對應之Dependent view video之畫面之資料的PES封包設定相同之PTS。
如下所述,視訊編碼器311於按解碼順序相對應之Base view video之畫面與Base view video之畫面中,分別設定相同之資訊作為與解碼相關之輔助資訊即附加資訊。
進而,如下所述,視訊編碼器311於按解碼順序相對應之Base view video之畫面與Base view video之畫面中,分別設定相同之值作為表示畫面之輸出順序的POC(Picture Order Count,畫面序列號)之值。
又,如下所述,視訊編碼器311以使Base view video串流之GOP結構與Dependent view video串流之GOP結構一致之方式進行編碼。
音訊編碼器313對所輸入之音訊串流進行編碼,並將所獲得之資料輸出至緩衝器314。對音訊編碼器313,一併輸入Base view video、Dependent view video串流以及記錄於碟片中之音訊串流。
資料編碼器315對PlayList檔案等之視訊、音訊以外之上述各種資料進行編碼,並將經編碼而獲得之資料輸出至緩衝器316。
資料編碼器315根據視訊編碼器311之編碼,於PlayList檔案中設定表示Base view video串流為L view之串流還是為R view之串流的view_type。亦可不設定Base view video串流之種類,而設定表示Dependent view video串流為L view之串流還是為R view之串流的資訊。
又,資料編碼器315將下述EP_map分別設定於Base view video串流之Clip Information檔案、以及Dependent view video串流之Clip Information檔案中。作為解碼開始位置而設定於EP_map中之Base view video串流之畫面與Dependent view video串流之畫面成為相對應的畫面。
多工部317將各個緩衝器中所記憶之視訊資料、音訊資料、以及串流以外之資料與同步信號一併進行多工化,並輸出至糾錯編碼部318。
糾錯編碼部318將糾錯用之編碼附加於藉由多工部317而多工化之資料。
調變部319對自糾錯編碼部318所供給之資料實施調變,並將其輸出。調變部319之輸出成為可於播放裝置1中播放之光碟2中所記錄的軟體。
將具有此種構成之軟體製作處理部301設置於記錄裝置中。
圖30係表示包含軟體製作處理部301之構成之例的圖。
亦有將圖30所示之構成之一部分設置於記錄裝置內之情形。
藉由軟體製作處理部301所產生之記錄信號係於母盤前期製作處理部331中實施母盤製作處理,產生可記錄於光碟2中之格式之信號。所產生之信號被供給至母盤記錄部333。
於記錄用母盤製作部332中準備包含玻璃等而製成之母盤,於其上塗佈包含光阻劑等之記錄材料。藉此,製作記錄用母盤。
於母盤記錄部333中,對應於自母盤前期製作處理部331所供給之記錄信號而使雷射光束調變,並將其照射於母盤上之光阻劑。藉此,使母盤上之光阻劑對應於記錄信號而曝光。其後,對該母盤進行顯影,而使母盤上出現訊坑。
於金屬母盤製作部334中,對母盤實施電鑄等處理,製作轉印有玻璃母盤上之訊坑之金屬母盤。利用該金屬母盤進而製作金屬壓模,將其作為成形用模具。
於成形處理部335中,利用射出等將PMMA(polymethyl methacrylate,聚甲基丙烯酸甲酯)或PC(polycarbonate,聚碳酸酯)等材料注入至成形用模具中,並使其固定化。或者,於金屬壓模上塗佈2P(紫外線固化樹脂)等後,照射紫外線而使其固化。藉此,可將金屬壓模上之訊坑轉印至包含樹脂之印模上。
於成膜處理部336中,藉由蒸鍍或濺鍍等而於印模上形成反射膜。或者,藉由旋塗而於印模上形成反射膜。
於後加工處理部337中,對該磁碟實施內外徑之加工,並實施使2片磁碟貼合等之必要處理。進而,貼附標籤或安裝盤芯後,將其插入至匣盒中。如此,記錄有可藉由播放裝置1播放之資料之光碟2製作完成。
於作為光碟2之規格之BD-ROM規格中,如上所述,係藉由採用H.264 AVC/MVC Profile而實現3D影像之編碼。
又,於BD-ROM規格中,係將Base view video串流設為L view之影像之串流,將Dependent view video串流設為R view之影像之串流。
藉由將Base view video編碼為H.264 AVC/High Profile視訊串流,於先前之播放器或僅支持2D播放之播放器中,亦可播放支援3D之磁碟之光碟2。即,可確保向下相容性(backward compatibility)。
具體而言,於H.264 AVC/MVC非對應解碼器中亦可僅解碼(播放)Base view video之串流。即,Base view video串流成為即使於既有之2D之BD播放器中,亦必定可播放之串流。
又,藉由在2D播放與3D播放中共通地使用Base view video串流,可減輕製作時之負荷。於製作側,關於AV串流,除先前進行之作業以外,只要準備Dependent view video串流,便可製作3D對應之磁碟。
圖31係表示記錄裝置中所設置之3D video TS產生部之構成例的圖。
圖31之3D video TS產生部包括MVC編碼器401、MVC標頭去除部402、以及多工器403。如參照圖2所說明般,將所拍攝之L view之影像#1之資料與R view之影像#2之資料輸入至MVC編碼器401中。
與圖3之MVC編碼器11同樣地,MVC編碼器401係以H.264/AVC對L view之影像#1之資料進行編碼,並輸出經編碼而獲得之AVC視訊資料作為Base view video串流。又,MVC編碼器401根據L view之影像#1之資料與R view之影像#2之資料產生Dependent view video串流,並將其輸出。
自MVC編碼器401所輸出之Base view video串流包含儲存有Base view video之各畫面之資料的Access Unit。又,自MVC編碼器401所輸出之Dependent view video串流包含儲存有Dependent view video之各畫面之資料的Access Unit。
於構成Base view video串流之各Access Unit與構成Dependent view video串流之各Access Unit中,包含描述有用以識別所儲存之view component之view_id的MVC標頭。
作為Dependent view video之MVC標頭中所描述之view_id的值,係使用1以上之固定值。於圖32、圖33之例中亦相同。
即,MVC編碼器401與圖3之MVC編碼器11不同,係以附加有MVC標頭之形式產生並輸出Base view video與Dependent view video之各串流的編碼器。於圖3之MVC編碼器11中,僅於以H.264 AVC/MVC進行編碼之Dependent view video中附加有MVC標頭。
自MVC編碼器401所輸出之Base view video串流被供給至MVC標頭去除部402,Dependent view video串流被供給至多工器403。
MVC標頭去除部402去除構成Base view video串流之各Access Unit中所包含之MVC標頭。MVC標頭去除部402將包含已去除MVC標頭之Access Unit的Base view video串流輸出至多工器403。
多工器403產生包含自MVC標頭去除部402所供給之Base view video串流、以及自MVC編碼器401所供給之Dependent view video串流的TS,並加以輸出。於圖31之例中,係分別輸出包含Base view video串流之TS與包含Dependent view video串流之TS,但亦存在如上所述般多工化於相同之TS加以輸出之情形。
如此,根據安裝之方式,亦可考慮將L view之影像與R view之影像作為輸入,輸出帶有MVC標頭之Base view video與Dependent view video之各串流的MVC編碼器。
再者,亦可如圖3所示般使圖31所示之構成整體包含於MVC編碼器中。關於圖32、圖33所示之構成亦相同。
圖32係表示記錄裝置中所設置之3D video TS產生部之另一構成例的圖。
圖32之3D video TS產生部包括混合處理部411、MVC編碼器412、解多工部413、MVC標頭去除部414、以及多工器415。L view之影像#1之資料與R view之影像#2之資料係輸入至混合處理部411中。
混合處理部411將L view之各畫面與R view之各畫面按編碼順序排列。Dependent view video之各畫面係參照所對應之Base view video之畫面進行編碼,因此按編碼順序排列之結果為L view之畫面與R view之畫面交替地排列。
混合處理部411將按編碼順序排列之L view之畫面與R view之畫面輸出至MVC編碼器412。
MVC編碼器412以H.264 AVC/MVC對自混合處理部411所供給之各畫面進行編碼,並將經編碼而獲得之串流輸出至解多工部413。於自MVC編碼器412所輸出之串流中,多工化有Base view video串流與Dependent view video串流。
自MVC編碼器412所輸出之串流中所包含之Base view video串流包含儲存有Base view video之各畫面之資料的Access Unit。又,自MVC編碼器412所輸出之串流中所包含之Dependent view video串流包含儲存有Dependent view video之各畫面之資料的Access Unit。
於構成Base view video串流之各Access Unit與構成Dependent view video串流之各Access Unit中,包含描述有用以識別所儲存之view component之view_id的MVC標頭。
解多工部413將自MVC編碼器412所供給之串流中經多工化之Base view video串流與Dependent view video串流解多工,並加以輸出。自解多工部413所輸出之Base view video串流被供給至MVC標頭去除部414,Dependent view video串流被供給至多工器415。
MVC標頭去除部414去除構成自解多工部413所供給之Base view video串流之各Access Unit中所包含的MVC標頭。MVC標頭去除部414將包含已去除MVC標頭之Access Unit之Base view video串流輸出至多工器415。
多工器415產生包含自MVC標頭去除部414所供給之Base view video串流、以及自解多工部413所供給之Dependent view video串流的TS,並加以輸出。
圖33係表示記錄裝置中所設置之3D video TS產生部之進而另一構成例的圖。
圖33之3D video TS產生部包括AVC編碼器421、MVC編碼器422、以及多工器423。L view之影像#1之資料係輸入至AVC編碼器421中,R view之影像#2之資料係輸入至MVC編碼器422中。
AVC編碼器421以H.264 AVC/MVC對L view之影像#1之資料進行編碼,並將經編碼而獲得之AVC視訊串流作為Base view video串流輸出至MVC編碼器422與多工器423。於構成自AVC編碼器421所輸出之Base view video串流之各Access Unit中未包含MVC標頭。
MVC編碼器422對自AVC編碼器421所供給之Base view video串流(AVC視訊串流)進行解碼,產生L view之影像#1之資料。
又,MVC編碼器422根據經解碼而獲得之L view之影像#1之資料與自外部輸入之R view之影像#2之資料產生Dependent view video串流,並將其輸出至多工器423。於構成自MVC編碼器422所輸出之Dependent view video串流之各Access Unit中包含MVC標頭。
多工器423產生包含自AVC編碼器421所供給之Base view video串流與自MVC編碼器422所供給之Dependent view video串流的TS,並加以輸出。
圖33之AVC編碼器421具有圖3之H.264/AVC編碼器21之功能,MVC編碼器422具有圖3之H.264/AVC解碼器22與Dependent view video編碼器24之功能。又,多工器423具有圖3之多工器25之功能。
藉由將具有此種構成之3D video TS產生部設置於記錄裝置內,可禁止對於儲存Base view video之資料之Access Unit的MVC標頭之編碼。又,可使儲存Dependent view video之資料之Access Unit中包含設定有1以上之view_id的MVC標頭。
圖34係表示對Access Unit進行解碼之播放裝置1側之構成的圖。
於圖34中,表示有參照圖22等所說明之交換器109與視訊解碼器110。自緩衝器中讀取包含Base view video之資料之Access Unit#1與包含Dependent view video之資料之Access Unit#2,供給至交換器109。
由於係參照Base view video進行編碼,故而為正確地對Dependent view video進行解碼,首先需要預先對所對應之Base view video進行解碼。
於H.264/MVC標準中,解碼器側係利用MVC標頭中所包含之view_id而計算各Access Unit之解碼順序。又,於Base view video中,規定於其編碼時始終將最小值設定為view_id之值。解碼器自包含設定有最小之view_id之MVC標頭之Access Unit開始解碼,藉此可按正確順序對Base view video與Dependent view video進行解碼。
然而,於供給至播放裝置1之視訊解碼器110之儲存有Base view video的Access Unit中,禁止MVC標頭之編碼。
因此,於播放裝置1中,關於無MVC標頭之Access Unit中所儲存之view component,係以識別為其view_id為0之方式進行定義。
藉此,播放裝置1可根據識別為0之view_id識別Base view video,且可根據實際上所設定之0以外之view_id識別Dependent view video。
圖34之交換器109首先將識別為最小值0被設定為view_id之Access Unit#1輸出至視訊解碼器110,進行解碼。
又,交換器109於Access Unit#1之解碼結束後,使大於0之固定值Y被設定為view_id之Access Unit#2輸出至視訊解碼器110,進行解碼。Access Unit#2中所儲存之Dependent view video之畫面係與Access Unit#1中所儲存之Base view video之畫面對應的畫面。
如此,藉由禁止對於儲存有Base view video之Access Unit之MVC標頭的編碼,可使光碟2中所記錄之Base view video串流成為於先前之播放器中亦可播放之串流。
於已確定如於先前之播放器中亦可播放之串流之條件作為將BD-ROM規格擴展而成之BD-ROM 3D標準之Base view video串流的條件時,亦可滿足該條件。
例如,如圖35所示,於預先在Base view video與Dependent view video中分別附加MVC標頭,自Base view video起首先進行解碼之情形時,該Base view video成為於先前之播放器中無法播放者。對於先前之播放器所搭載之H.264/AVC解碼器而言,MVC標頭為未定義之資料。於輸入有此種未定義之資料之情形時,有的解碼器無法忽視該未定義之資料,從而存在處理失敗之虞。
再者,於圖35中,Base view video之view_id為X,Dependent view video之view_id為大於X之Y。
又,即使於已禁止MVC標頭之編碼之情形時,藉由以將Base view video之view_id視作0之方式進行定義,亦可於播放裝置1中先進行Base view video之解碼,其後進行所對應之Dependent view video之解碼。即,可按正確之順序進行解碼。
關於GOP結構
於H.264/AVC標準中,未定義MPEG-2視訊標準中之GOP(Group Of Pictures)結構。
因此,於處理H.264/AVC視訊串流之BD-ROM規格中,定義有H.264/AVC視訊串流之GOP結構,以實現隨機存取等之利用有GOP結構之各種功能。
於以H.264 AVC/MVC進行編碼而獲得之視訊串流即Base view video串流與Dependent view video串流中,亦與H.264/AVC視訊串流同樣地不存在GOP結構之定義。
Base view video串流為H.264/AVC視訊串流。因此,Base view video串流之GOP結構成為與BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構相同的結構。
關於Dependent view video串流之GOP結構,亦係定義為與Base view video串流之GOP結構、即BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構相同的結構。
BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構具有如下特徵。
(1)Open GOP/Closed GOP結構
圖36係表示Closed GOP結構之圖。
圖36之各畫面係構成H.264/AVC視訊串流之畫面。於Closed GOP中包含IDR(Instantaneous Decoding Refresh,瞬間解碼重新更新)畫面。
IDR畫面為I畫面,其係於包含IDR畫面之GOP內最先被解碼。於IDR畫面之解碼時,參照畫面緩衝器(圖22之DPB151)之狀態、至此為止所管理之訊框編號或POC(Picture Order Count)等之與解碼相關的所有資訊被重置。
如圖36所示,於作為Closed GOP之當前GOP中,禁止上述當前GOP之畫面中之按顯示順序較IDR畫面更靠前(以前)的畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較IDR畫面更靠後(以後)的畫面越過IDR畫面而參照前一個GOP之畫面。於H.264/AVC中,亦允許自按顯示順序位於I畫面之後之P畫面起,參照較該I畫面更靠前之畫面。
圖37係表示Open GOP結構之圖。
如圖37所示,於作為Open GOP之當前GOP中,允許上述當前GOP之畫面中之按顯示順序較non-IDR I畫面(非IDR畫面之I畫面)更靠前之畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較non-IDR I畫面更靠後之畫面越過non-IDR I畫面而參照前一個GOP之畫面。
(2)於GOP之開頭之Access Unit中,必定對SPS(Sequence Parameter Set,序列參數集)、PPS(Picture Parameter Set,畫面參數集)進行編碼。
SPS(Sequence Parameter Set)係包含與序列整體之編碼相關之資訊之序列的標頭資訊。於某序列之解碼時,首先需要包含序列之識別資訊等之SPS。PPS(Picture Parameter Set)係包含與畫面整體之編碼相關之資訊之畫面的標頭資訊。
(3)於GOP之開頭之Access Unit中,可對最多30個PPS進行編碼。當於開頭之Access Unit中編碼有複數個PPS時,各PPS之id(pic_parameter_set_id)不能一樣。
(4)於GOP之開頭以外之Access Unit中,可對最多1個PPS進行編碼。
(1)要求I‧P‧B畫面為分別僅包含I‧P‧B片層之畫面。
(2)要求按顯示順序位於參照畫面(I或P畫面)前一個之B畫面必定按編碼順序於上述參照畫面之後立即進行編碼。
(3)要求參照畫面(I或P畫面)之編碼順序與顯示順序得到維持(為相同)。
(4)禁止自P畫面起參照B畫面。
(5)當按編碼順序,非參照B畫面(B1)位於非參照畫面(B2)之前時,要求顯示順序亦為B1在前。
非參照B畫面係不被按編碼順序位於後面之其他畫面所參照之B畫面。
(6)參照B畫面可參照按顯示順序前一個或後一個之參照畫面(I或P畫面)。
(7)非參照B畫面可參照按顯示順序前一個或後一個之參照畫面(I或P畫面)、或者參照參照B畫面。
(8)要求使連續之B畫面之數量最多為3個。
GOP內之最大訊框及場數如圖38所示,係根據視訊之框率而規定。
如圖38所示,例如於以框率為29.97個訊框/秒進行交錯顯示之情形時,能夠以1 GOP之畫面顯示之最大場數為60。又,於以框率為59.94個訊框/秒進行漸進顯示之情形時,能夠以1 GOP之畫面顯示之最大訊框數為60。
將具有如上所述之特徵之GOP結構亦定義為Dependent view video串流之GOP結構。
又,規定使Base view video串流之某GOP之結構與所對應之Dependent view video串流之GOP的結構一致,作為限制。
圖39表示以上述方式定義之Base view video串流或Dependent view video串流之Closed GOP結構。
如圖39所示,於作為Closed GOP之當前GOP中,禁止上述當前GOP之畫面中之按顯示順序較IDR畫面或錨畫面更靠前(以前)的畫面參照前一個GOP之畫面。關於錨畫面將於後文說明。
又,禁止當前GOP之畫面中之按顯示順序較IDR畫面或錨畫面更靠後(以後)的畫面越過IDR畫面或錨畫面而參照前一個GOP之畫面。
圖40係表示Base view video串流或Dependent view video串流之Open GOP結構之圖。
如圖40所示,於作為Open GOP之當前GOP中,允許該當前GOP之畫面中之按顯示順序較non-IDR錨畫面(非IDR畫面之錨畫面)更靠前之畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較non-IDR錨畫面更靠後之畫面越過non-IDR錨畫面而參照前一個GOP之畫面。
藉由以上述方式定義GOP結構,例如Base view video串流之某GOP與對應之Dependent view video串流之GOP之間為Open GOP,還是為Closed GOP之類的串流結構之特徵成為一致。
又,如與Base view video之非參照B畫面對應之Dependent view video的畫面必定成為非參照B畫面般,畫面之參照結構之特徵亦成為一致。
進而,於Base view video串流之某GOP與對應之Dependent view video串流之GOP之間,訊框數、場數亦成為一致。
如此,藉由將Dependent view video串流之GOP結構定義為與Base view video串流之GOP結構相同之結構,可使串流間之相對應之GOP彼此具有相同的特徵。
又,即使於如自串流之中途進行解碼之情形時,亦可順利地進行解碼。自串流之中途之解碼係例如於隨時點播或隨機存取時進行。
於如訊框數不同般,串流間之相對應之GOP彼此之結構不同之情形時,有可能會產生其中一串流可正常地播放,而另一串流無法播放之情形,但該情形可得到防止。
於使串流間之相對應之GOP彼此之結構不同而自串流之中途開始解碼之情形時,亦有可能產生於Dependent view video之解碼所必需之Base view video之畫面未被解碼之情形。於此情形時,作為結果,無法對Dependent view video之畫面進行解碼,從而無法進行3D顯示。又,根據安裝之方法,存在Base view video之圖像亦無法輸出之可能,但該等不良情況亦可避免。
藉由利用Base view video串流與Dependent view video串流之GOP結構,可於EP_map中設定隨機存取或隨時點播時之解碼之開始位置。EP_map係包含於Clip Information檔案中。
作為於EP_map中可設定為解碼開始位置之畫面之限制,規定有如下2個。
1.將可設定於Dependent view video串流中之位置,作為繼SubsetSPS之後配置之錨畫面的位置、或繼SubsetSPS之後配置之IDR畫面的位置。
錨畫面係由H.264 AVC/MVC所規定之畫面,且係於時間方向上不進行參照,而進行view間之參照加以編碼之Dependent view video串流之畫面。
2.於將Dependent view video串流之某畫面作為解碼開始位置而設定於EP_map中之情形時,所對應之Base view video串流之畫面亦作為解碼開始位置設定於EP_map中。
圖41係表示滿足上述兩個限制之EP_map中所設定之解碼開始位置之例的圖。
於圖41中,按解碼順序表示有構成Base view video串流之畫面以及構成Dependent view video串流之畫面。
Dependent view video串流之畫面中之標附顏色而表示之畫面P1
為錨畫面或IDR畫面。於包含畫面P1
之資料之Access Unit之前一個Access Unit中包含SubsetSPS。
於圖41之例中,如由中空箭頭#11所示般,畫面P1
係於Dependent view video串流之EP_map中設定為解碼開始位置。
與畫面P1
對應之Base view video串流之畫面即畫面P11
為IDR畫面。如由中空箭頭#12所示般,作為IDR畫面之畫面P11
亦係於Base view video串流之EP_map中設定為解碼開始位置。
於因指示隨機存取或隨時點播,而自畫面P1
與畫面P11
開始解碼之情形時,首先進行畫面P11
之解碼。由於係IDR畫面,故可不參照其他畫面而對畫面P11
進行解碼。
當畫面P11
之解碼結束時,接下來對畫面P1
進行解碼。於畫面P1
之解碼時參照已解碼之畫面P11
。由於為錨畫面或IDR畫面,因此只要畫面P11
之解碼結束,便可進行畫面P1
之解碼。
其後,按Base view video之畫面P1
之下一個畫面、Dependent view video之畫面P11
之下一個畫面、…之順序進行解碼。
由於相對應之GOP之結構相同,且自相對應之位置開始解碼,因此無論就Base view video還是就Dependent view video而言,均可順利地對EP_map中所設定之畫面以後的畫面進行解碼。藉此可實現隨機存取。
圖41之排列於較沿垂直方向表示之虛線更靠左側之畫面成為未解碼之畫面。
圖42係表示於不定義Dependent view video之GOP結構之情形時所產生之問題的圖。
於圖42之例中,標附顏色而表示之Base view video之IDR畫面即畫面P21
係作為解碼開始位置而設定於EP_map中。
於自Base view video之畫面P21
開始解碼之情形時,係考慮與畫面P21
對應之Dependent view video之畫面即畫面P31
並非錨畫面的情形。於未定義GOP結構之情形時,不保證與Base view video之IDR畫面對應之Dependent view video的畫面為IDR畫面或錨畫面。
於此情形時,即使於Base view video之畫面P21
之解碼結束時,亦無法對畫面P31
進行解碼。於畫面P31
之解碼時亦需要時間方向之參照,但較沿垂直方向表示之虛線更靠左側(按解碼順序為前面)之畫面未被解碼。
由於無法對畫面P31
進行解碼,因此亦無法對參照畫面P31
之Dependent view video之其他畫面進行解碼。
藉由預先定義Dependent view video串流之GOP結構,可避免此種情況。
不僅對於Base view video,而且對於Dependent view video亦於EP_map中預先設定解碼開始位置,藉此播放裝置1可容易地特別指定解碼之開始位置。
於僅將Base view video之某畫面作為解碼開始位置而預先設定於EP_map中之情形時,播放裝置1必需藉由計算而特別指定與解碼開始位置之畫面對應之Dependent view video之畫面,從而處理會變得複雜。
即使相對應之Base view video與Dependent view video之畫面彼此具有相同的DTS/PTS,當視訊之位元率不同時,亦無法達到使TS中之位元組排列一致之程度,因此於該情形時處理變得複雜。
圖43係表示進行以包含Base view video串流與Dependent view video串流之MVC串流為對象之隨機存取或隨時點播時成為必需的畫面查找之概念之圖。
如圖43所示,於進行隨機存取或隨時點播時,查找non-IDR錨畫面或IDR畫面,而確定解碼開始位置。
此處,對EP_map進行說明。對將Base view video之解碼開始位置設定於EP_map中之情形進行說明,但關於Dependent view video之解碼開始位置,亦同樣地將其設定於Dependent view video之EP_map中。
圖44係表示光碟2上所記錄之AV串流之結構的圖。
包含Base view video串流之TS係包含具有6144個位元組之尺寸之整數個對準單元(Aligned Unit)。
對準單元包含32個源包(Source Packet)。源包具有192個位元組。1個源包包含4個位元組之傳送封包額外標頭(TP_extra header)與188個位元組之傳送封包(Transport Packet)。
Base view video之資料被封包化為MPEG2 PES封包。於PES封包之資料部附加PES封包標頭而形成PES封包。於PES封包標頭中包含特別指定PES封包所傳送之基本串流之種類的串流ID。
PES封包進而被封包化為傳送封包。即,將PES封包分割成傳送封包之有效負載之尺寸,於有效負載中附加傳送封包標頭而形成傳送封包。傳送封包標頭包含有效負載中所儲存之資料之識別資訊即PID。
再者,於源包中,將Clip AV串流之開頭設為例如0,對每個源包賦予逐個地增加1之源包編號。又,對準單元係自源包之第1個位元組開始。
EP_map係用以當供給有Clip之存取點之時間戳記時,檢索應於Clip AV串流檔案中開始資料之讀取的資料位址。EP_map係自基本串流及傳送串流中提取之登入點之清單。
EP_map具有用以在AV串流中檢索應開始解碼之登入點之位址資訊。EP_map中之1個EP資料係由PTS、以及與PTS對應之Access Unit之AV串流中的位址所組成之對所構成。於AVC/H.264中,1個Access Unit中儲存1個畫面份之資料。
圖45係表示Clip AV串流之例之圖。
圖45之Clip AV串流係包含以PID=x識別之源包之視訊串流(Base view video串流)。視訊串流對於每個源包,藉由源包內之傳送封包之標頭中所包含的PID加以區分。
於圖45中,對視訊串流之源包中之包含IDR畫面之開頭位元組的源包標附有顏色。未標附顏色之四角表示包含未成為隨機存取點之資料的源包、或包含其他串流之資料之源包。
例如,包含以PID=x而區分之視訊串流之可隨機存取之IDR畫面之開頭位元組的源包編號為X1的源包,於Clip AV串流之時間軸上係配置於PTS=pts(x1)之位置。
同樣地,將其次包含可隨機存取之IDR畫面之開頭位元組的源包設為源包編號為X2之源包,配置於PTS=pts(x2)之位置。
圖46係概念性地表示與圖45之Clip AV串流對應之EP_map之例的圖。
如圖46所示,EP_map係包含stream_PID、PTS_EP_start、以及SPN_EP_start。
stream_PID係表示傳送視訊串流之傳送封包之PID。
PTS_EP_start係表示自可隨機存取之IDR畫面起開始之Access Unit之PTS。
SPN_EP_start係表示包含藉由PTS_EP_start之值而參照之Access Unit之第1位元組之源包的位址。
將視訊串流之PID儲存於stream_PID中,產生表示PTS_EP_start與SPN_EP_start之對應關係之表格資訊EP_map_for_one_stream_PID()。
例如,於PID=x之視訊串流之EP_map_for_one_stream_PID[0]中,分別對應地描述PTS=pts(x1)與源包編號X1、PTS=pts(x2)與源包編號X2、…、PTS=pts(xk)與源包編號Xk。
關於多工化於相同之Clip AV串流中之各個視訊串流,亦產生此種表格。將包含所產生之表格之EP_map儲存於與該Clip AV串流對應之Clip Information檔案中。
圖47係表示SPN_EP_start所指之源包之資料結構之例的圖。
如上所述,源包係以於188個位元組之傳送封包中附加有4個位元組之標頭的形式而構成。傳送封包部分包含標頭部(TP header)與有效負載部。SPN_EP_start表示包含自IDR畫面起開始之Access Unit之第1位元組之源包的源包編號。
於AVC/H.264中,Access Unit即畫面係自AU定界符(Access Unit Delimiter,存取單元定界符)起開始。於AU定界符之後接有SPS與PPS。於其後,儲存IDR畫面之片層之資料的開頭部分或整體。
位於傳送封包之TP標頭處之payload_unit_start_indicator的值為1,係表示自該傳送封包之有效負載起開始新的PES封包。自該源包起開始Access Unit。
針對Base view video串流與Dependent view video串流,分別準備此種EP_map。
於構成Base view video串流與Dependent view video串流之各畫面中,在編碼時設定有POC(Picture Order Count)。POC係表示畫面之顯示順序之值。
於AVC/H.264中,將POC規定為「A variable having a value that is non-decreasing with increasing picture position in output order relative to the previous IDR picture in decoding order or relative to the previous picture containing the memory management control operation that marks all reference pictures as「unused for reference」。」。
於編碼時,Base view video串流之畫面中所設定之POC與Dependent view video串流之畫面中所設定之POC係加以統一運用。
例如,於按Base view video串流之顯示順序在第1個畫面中設定POC=1,其後,逐次地將值增加1而於各畫面中設定POC。
又,於按Dependent view video串流之顯示順序在第1個畫面中設定與Base view video串流之第1個畫面中所設定者相同之POC=1,其後,逐次地將值增加1而於各畫面中設定POC。
如上所述,Base view video串流之GOP結構與Dependent view video串流之GOP結構相同,因此於Base view video串流與Dependent view video串流之各畫面中,按顯示順序相對應之畫面彼此係設定相同之POC。
藉此,播放裝置1可將設定有相同之POC之view component作為按顯示順序相對應之view component來處理。
例如,播放裝置1可將Base view video串流之畫面中之設定有POC=1的畫面、以及Dependent view video串流之畫面中之設定有POC=1的畫面作為相對應之畫面來處理。
又,於構成Base view video串流與Dependent view video串流之各畫面中設定有Picture Timing SEI(Supplemental Enhancement Information,補充增強資訊)。SEI係由H.264/AVC所規定之包含與解碼相關之輔助資訊的附加資訊。
作為SEI中之一個的Picture Timing SEI中,包含編碼時之自CPB(Coded Picture Buffer,編碼畫面緩衝器)之讀取時刻、解碼時之自DPB(圖22之DPB151)之讀取時刻等時刻資訊。又,包含顯示時刻之資訊、畫面結構之資訊等。
於編碼時,Base view video串流之畫面中所設定之Picture Timing SEI與Dependent view video串流之畫面中所設定之Picture Timing SEI係加以統一運用。
例如,當於按Base view video串流之編碼順序為第1個畫面中將T1設定為自CPB之讀取時刻時,於按Dependent view video串流之編碼順序為第1個畫面中亦將T1設定為自CPB之讀取時刻。
即,於Base view video串流與Dependent view video串流之各畫面中,按編碼順序或解碼順序相對應之畫面彼此係設定相同內容之Picture Timing SEI。
藉此,播放裝置1可將設定有相同之Picture Timing SEI之view component作為按解碼順序相對應之view component來處理。
POC、Picture Timing SEI係包含於Base view video與Dependent view video之基本串流中者,在播放裝置1中被視訊解碼器110所參照。
視訊解碼器110可根據基本串流中所包含之資訊,識別出對應之view component。又,視訊解碼器110能夠以根據Picture Timing SEI成為正確之解碼順序,且根據POC成為正確之顯示順序之方式進行解碼處理。
由於為識別出對應之view component,不需要參照PlayList等,故可對付System Layer(系統層)或其以上之Layer(層)中產生有問題之情形。又,亦可實現不依賴於產生有問題之Layer之解碼器安裝。
上述一系列處理可藉由硬體執行,亦可藉由軟體執行。於藉由軟體執行一系列處理之情形時,構成該軟體之程式係自程式記錄媒體安裝至專用硬體中所組裝之電腦、或通用之個人電腦等中。
圖48係表示利用程式執行上述一系列處理之電腦的硬體之構成例的方塊圖。
CPU(Central Processing Unit,中央處理單元)501、ROM(Read Only Memory,唯讀記憶體)502、RAM(Random Access Memory,隨機存取記憶體)503係藉由匯流排504而相互連接。
於匯流排504上進而連接有輸入輸出介面505。於輸入輸出介面505上連接有包含鍵盤、滑鼠等之輸入部506,包含顯示器、揚聲器等之輸出部507。又,於匯流排504上,連接包含硬碟或非揮發性之記憶體等之記憶部508、包含網路介面等之通訊部509、驅動可移除式媒體511之驅動器510。
於以上述方式構成之電腦中,CPU 501將例如儲存部508中所儲存之程式經由輸入輸出介面505及匯流排504加載至RAM 503中加以執行,藉此進行上述一系列之處理。
CPU 501所執行之程式例如記錄於可移除式媒體511中,或者經由區域網路、網際網路、數位廣播之類的有線或無線之傳送媒體而提供,並安裝於儲存部508中。
再者,電腦所執行之程式可為依照本說明書中所說明之順序以時間序列進行處理之程式,亦可為並列地或以進行有調用時等之必要時序進行處理之程式。
本發明之實施形態並不限定於上述實施形態,可於不脫離本發明之主旨之範圍內進行各種變更。
1...播放裝置
2...光碟
3...顯示裝置
11...MVC編碼器
21...H.264/AVC編碼器
22...H.264/AVC解碼器
23...Depth計算部
24...Dependent view video編碼器
25...多工器
51...控制器
52...磁碟驅動器
53...記憶體
54...局部儲存器
55...網際網路介面
56...解碼部
57...操作輸入部
圖1係表示包含應用有本發明之播放裝置之播放系統之構成例的圖。
圖2係表示攝影之例的圖。
圖3係表示MVC編碼器之構成例的方塊圖。
圖4係表示參照圖像之例的圖。
圖5係表示TS之構成例的圖。
圖6係表示TS之另一構成例的圖。
圖7A、B係表示TS之進而另一構成例的圖。
圖8係表示AV串流之管理之例的圖。
圖9係表示Main Path與Sub Path之結構的圖。
圖10係表示光碟中所記錄之檔案之管理結構之例的圖。
圖11係表示PlayList檔案之語法的圖。
圖12係表示圖11中之reserved_for_future_use之用法之例的圖。
圖13係表示3D_PL_type之值之含義的圖。
圖14係表示view_type之值之含義的圖。
圖15係表示圖11之PlayList()之語法的圖。
圖16係表示圖15之SubPath()之語法的圖。
圖17係表示圖16之SubPlayItem(i)之語法的圖。
圖18係表示圖15之PlayItem()之語法的圖。
圖19係表示圖18之STN_table()之語法的圖。
圖20係表示播放裝置之構成例的方塊圖。
圖21係表示圖20之解碼部之構成例的圖。
圖22係表示進行視訊串流之處理之構成的圖。
圖23係表示進行視訊串流之處理之構成的圖。
圖24係表示進行視訊串流之處理之另一構成的圖。
圖25係表示Access Unit之例的圖。
圖26係表示進行視訊串流之處理之進而另一構成的圖。
圖27係表示合成部與其前段之構成的圖。
圖28係表示合成部與其前段之構成的另一圖。
圖29係表示軟體製作處理部之構成例的方塊圖。
圖30係表示包含軟體製作處理部之各構成之例的圖。
圖31係表示記錄裝置中所設置之3D video TS產生部之構成例的圖。
圖32係表示記錄裝置中所設置之3D video TS產生部之另一構成例的圖。
圖33係表示記錄裝置中所設置之3D video TS產生部之進而另一構成例的圖。
圖34係表示對Access Unit進行解碼之播放裝置側之構成的圖。
圖35係表示解碼處理之圖。
圖36係表示Closed GOP結構之圖。
圖37係表示Open GOP結構之圖。
圖38係表示GOP內之最大訊框及場數之圖。
圖39係表示Closed GOP結構之圖。
圖40係表示Open GOP結構之圖。
圖41係表示EP_map中所設定之解碼開始位置之例的圖。
圖42係表示於未定義Dependent view video之GOP結構之情形時所產生之問題的圖。
圖43係表示畫面查找之概念之圖。
圖44係表示光碟上所記錄之AV串流之結構的圖。
圖45係表示Clip AV串流之例之圖。
圖46係概念性地表示與圖45之Clip AV串流對應之EP_map的圖。
圖47係表示SPN_EP_start所指之源包之資料結構之例的圖。
圖48係表示電腦之硬體之構成例的方塊圖。
104‧‧‧PID濾波器
106‧‧‧B video緩衝器
107、109‧‧‧交換器
108‧‧‧D video緩衝器
110‧‧‧視訊解碼器
151‧‧‧DPB
Claims (9)
- 一種播放裝置,其包括:讀取部,其係自記錄媒體讀取第1傳送串流及第2傳送串流,上述第1傳送串流包含以H.264 AVC/MVC對複數個影像資料進行編碼而獲得之Base view video串流,即未附加包含view之ID之MVC標頭之畫面資料之串流,上述第2傳送串流包含以H.264 AVC/MVC對上述複數個影像資料進行編碼而獲得之Dependent view video串流,即附加有包含上述ID之上述MVC標頭之畫面資料之串流;第1緩衝器,其係記憶儲存有第1畫面之資料之封包,該第1畫面之資料構成包含於上述第1傳送串流之上述Base view video串流;第2緩衝器,其係記憶儲存有第2畫面之資料之封包,該第2畫面之資料構成包含於上述第2傳送串流之上述Dependent view video串流;選擇部,其係將儲存有設定了以相同PCR為基準的相同DTS之上述第1畫面及上述第2畫面之資料之封包分別從上述第1緩衝器及上述第2緩衝器讀出;及解碼部,其係對從上述第1緩衝器讀出之儲存有未附加上述MVC標頭之上述第1畫面之資料之封包進行解碼,將上述第1畫面解碼後,對從上述第2緩衝器讀出之儲存有附加了上述MVC標頭之上述第2畫面之資料之封包進行解碼。
- 如請求項1之播放裝置,其進一步包括: 第1解多工部,其係根據分配為固定值之第1PID,從自上述記錄媒體讀取之上述第1傳送串流將構成上述Base view video串流之封包解多工;及第2解多工部,其係根據分配為固定值之第2PID,從自上述記錄媒體讀取之上述第2傳送串流將構成上述Dependent view video串流之封包解多工;且上述第1緩衝器記憶儲存有上述第1畫面之資料之封包,上述第1畫面之資料構成藉由上述第1解多工部解多工後之上述Base view video串流;上述第2緩衝器記憶儲存有上述第2畫面之資料之封包,上述第2畫面之資料構成藉由上述第2解多工部解多工後之上述Dependent view video串流。
- 如請求項2之播放裝置,其進一步包括:第3緩衝器,其係記憶解碼而得到之構成上述Base view video串流之上述第1畫面之資料及構成上述Dependent view video串流之上述第2畫面之資料;及輸出部,其係將記憶於上述第3緩衝器之上述第1畫面之資料作為左眼用及右眼用中之一方之畫面之資料而輸出,將記憶於上述第3緩衝器之上述第2畫面之資料作為左眼用及右眼用中之另一方之畫面之資料而輸出。
- 一種播放方法,其包括下述步驟:自記錄媒體讀取第1傳送串流及第2傳送串流,上述第1傳送串流包含以H.264 AVC/MVC對複數個影像資料進行編碼而獲得之Base view video串流,即未附加包含 view之ID之MVC標頭之畫面資料之串流,上述第2傳送串流包含以H.264 AVC/MVC對上述複數個影像資料進行編碼而獲得之Dependent view video串流,即附加有包含上述ID之上述MVC標頭之畫面資料之串流;將儲存有第1畫面之資料之封包記憶於第1緩衝器,該第1畫面之資料構成包含於上述第1傳送串流之上述Base view video串流;將儲存有第2畫面之資料之封包記憶於第2緩衝器,該第2畫面之資料構成包含於上述第2傳送串流之上述Dependent view video串流;將儲存有設定了以相同PCR為基準的相同DTS之上述第1畫面及上述第2畫面之資料之封包分別從上述第1緩衝器及上述第2緩衝器讀出;對從上述第1緩衝器讀出之儲存有未附加上述MVC標頭之上述第1畫面之資料之封包進行解碼;及將上述第1畫面解碼後,對從上述第2緩衝器讀出之儲存有附加了上述MVC標頭之上述第2畫面之資料之封包進行解碼。
- 一種記錄方法,其包括下述步驟:藉由以H.264 AVC/MVC將複數個影像資料作為對象進行編碼,產生Base view video串流即未附加包含view之ID之MVC標頭之畫面資料之串流、及Dependent view video串流即附加有包含上述ID之上述MVC標頭之畫面資料之中流;及 將在儲存對應畫面之資料之封包設定有以相同PCR為基準的相同DTS之第1傳送串流及第2傳送串流記錄於記錄媒體,上述第1傳送串流包含上述Base view video串流,上述第2傳送串流包含上述Dependent view video串流。
- 一種播放裝置,其包括:讀取部,其係自記錄媒體讀取第1傳送串流及第2傳送串流,上述第1傳送串流包含以H.264 AVC/MVC對複數個影像資料進行編碼而獲得之Base view video串流,即未附加包含view之ID之MVC標頭之畫面資料之串流,上述第2傳送串流包含以H.264 AVC/MVC對上述複數個影像資料進行編碼而獲得之Dependent view video串流,即附加有包含上述ID之上述MVC標頭之畫面資料之串流;第1緩衝器,其係記憶儲存有第1畫面之資料之封包,該第1畫面之資料構成包含於上述第1傳送串流之上述Base view video串流;第2緩衝器,其係記憶儲存有第2畫面之資料之封包,該第2畫面之資料構成包含於上述第2傳送串流之上述Dependent view video串流;選擇部,其係將儲存有按解碼順序處於相同位置之上述第1畫面及上述第2畫面之資料之封包分別從上述第1緩衝器及上述第2緩衝器讀出;解碼部,其係對從上述第1緩衝器讀出之儲存有未附加上述MVC標頭之上述第1畫面之資料之封包進行解 碼,將上述第1畫面解碼後,對從上述第2緩衝器讀出之儲存有附加了上述MVC標頭之上述第2畫面之資料之封包進行解碼;第3緩衝器,其係記憶解碼而得到之上述第1畫面之資料及上述第2畫面之資料;及輸出部,其係根據於儲存有上述第1畫面及上述第2畫面之各自之資料之封包所設定之以相同PCR為基準的相同PTS,將記憶於上述第3緩衝器之上述第1畫面之資料及上述第2畫面之資料讀取而輸出。
- 如請求項6之播放裝置,其進一步包括:第1解多工部,其係根據分配為固定值之第1PID,從自上述記錄媒體讀取之上述第1傳送串流將構成上述Base view video串流之封包解多工;及第2解多工部,其係根據分配為固定值之第2PID,從自上述記錄媒體讀取之上述第2傳送串流將構成上述Dependent view video串流之封包解多工;且上述第1緩衝器記憶儲存有上述第1畫面之資料之封包,上述第1畫面之資料構成藉由上述第1解多工部解多工後之上述Base view video串流;上述第2緩衝器記憶儲存有上述第2畫面之資料之封包,上述第2畫面之資料構成藉由上述第2解多工部解多工後之上述Dependent view video串流。
- 一種播放方法,其包括下述步驟:自記錄媒體讀取第1傳送串流及第2傳送串流,上述第 1傳送串流包含以H.264 AVC/MVC對複數個影像資料進行編碼而獲得之Base view video串流,即未附加包含view之ID之MVC標頭之畫面資料之串流,上述第2傳送串流包含以H.264 AVC/MVC對上述複數個影像資料進行編碼而獲得之Dependent view video串流,即附加有包含上述ID之上述MVC標頭之畫面資料之串流;將儲存有第1畫面之資料之封包記憶於第1緩衝器,該第1畫面之資料構成包含於上述第1傳送串流之上述Base view video串流;將儲存有第2畫面之資料之封包記憶於第2緩衝器,該第2畫面之資料構成包含於上述第2傳送串流之上述Dependent view video串流;將儲存有按解碼順序處於相同位置之上述第1畫面及上述第2畫面之資料之封包分別從上述第1緩衝器及上述第2緩衝器讀出;對從上述第1緩衝器讀出之儲存有未附加上述MVC標頭之上述第1畫面之資料之封包進行解碼;將上述第1畫面解碼後,對從上述第2緩衝器讀出之儲存有附加了上述MVC標頭之上述第2畫面之資料之封包進行解碼;將解碼而得到之上述第1畫面之資料及上述第2畫面之資料記憶於第3緩衝器;及根據於儲存有上述第1畫面及上述第2畫面之各自之資料之封包所設定之以相同PCR為基準的相同PTS,將記 憶於上述第3緩衝器之上述第1畫面之資料及上述第2畫面之資料讀取而輸出。
- 一種記錄方法,其包括下述步驟:藉由以H.264 AVC/MVC將複數個影像資料作為對象進行編碼,產生Base view video串流即未附加包含view之ID之MVC標頭之畫面資料之串流、及Dependent view video串流即附加有包含上述ID之上述MVC標頭之畫面資料之串流;及將在儲存對應畫面之資料之封包設定有以相同PCR為基準的相同PTS之包含上述Base view video串流之第1傳送串流,及包含上述Dependent view video串流之第2傳送串流記錄於記錄媒體。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009094257A JP4993224B2 (ja) | 2009-04-08 | 2009-04-08 | 再生装置および再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201119388A TW201119388A (en) | 2011-06-01 |
TWI428016B true TWI428016B (zh) | 2014-02-21 |
Family
ID=42936281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW99110152A TWI428016B (zh) | 2009-04-08 | 2010-04-01 | A playback device, a playback method, and a recording method |
Country Status (7)
Country | Link |
---|---|
US (1) | US8792780B2 (zh) |
EP (1) | EP2285130A4 (zh) |
JP (1) | JP4993224B2 (zh) |
CN (3) | CN102047674B (zh) |
HK (1) | HK1157546A1 (zh) |
TW (1) | TWI428016B (zh) |
WO (1) | WO2010116998A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4993224B2 (ja) * | 2009-04-08 | 2012-08-08 | ソニー株式会社 | 再生装置および再生方法 |
CN105791861B (zh) | 2009-04-20 | 2018-12-04 | 杜比实验室特许公司 | 定向内插和数据后处理 |
KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
EP2781103A1 (en) * | 2011-11-14 | 2014-09-24 | Motorola Mobility LLC | Association of mvc stereoscopic views to left or right eye display for 3dtv |
KR20140099146A (ko) * | 2013-02-01 | 2014-08-11 | 한국전자통신연구원 | 다중 영상 기반 방송 서비스를 위한 다중 영상의 기준 pcr 결정 방법 및 그 장치 |
CN105991586B (zh) * | 2015-02-13 | 2019-04-26 | 上海交通大学 | 一种异构网络下的多媒体时钟协调同步方法 |
CN107872671B (zh) * | 2016-09-26 | 2022-01-14 | 华为技术有限公司 | 一种图片编码方法及终端 |
US10554711B2 (en) * | 2016-09-29 | 2020-02-04 | Cisco Technology, Inc. | Packet placement for scalable video coding schemes |
CN109194985B (zh) * | 2018-11-19 | 2021-03-26 | 上海高骏精视信息技术有限公司 | 一种音视频以太网传输方法及其系统 |
US10728443B1 (en) | 2019-03-27 | 2020-07-28 | On Time Staffing Inc. | Automatic camera angle switching to create combined audiovisual file |
US10963841B2 (en) | 2019-03-27 | 2021-03-30 | On Time Staffing Inc. | Employment candidate empathy scoring system |
JP7349815B2 (ja) * | 2019-05-16 | 2023-09-25 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
US11127232B2 (en) | 2019-11-26 | 2021-09-21 | On Time Staffing Inc. | Multi-camera, multi-sensor panel data extraction system and method |
US11023735B1 (en) | 2020-04-02 | 2021-06-01 | On Time Staffing, Inc. | Automatic versioning of video presentations |
US11144882B1 (en) | 2020-09-18 | 2021-10-12 | On Time Staffing Inc. | Systems and methods for evaluating actions over a computer network and establishing live network connections |
US11727040B2 (en) | 2021-08-06 | 2023-08-15 | On Time Staffing, Inc. | Monitoring third-party forum contributions to improve searching through time-to-live data assignments |
US11423071B1 (en) | 2021-08-31 | 2022-08-23 | On Time Staffing, Inc. | Candidate data ranking method using previously selected candidate data |
US11907652B2 (en) | 2022-06-02 | 2024-02-20 | On Time Staffing, Inc. | User interface and systems for document creation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
US20020126844A1 (en) * | 1996-04-03 | 2002-09-12 | Rix Simon Paul Ashley | Method for providing a secure communication between two devices and application of this method |
US6510519B2 (en) * | 1995-04-03 | 2003-01-21 | Scientific-Atlanta, Inc. | Conditional access system |
TW591623B (en) * | 2000-03-31 | 2004-06-11 | Koninkl Philips Electronics Nv | Methods and apparatus for editing digital video recordings and recordings made by such methods |
TW200416670A (en) * | 2002-09-26 | 2004-09-01 | Koninkl Philips Electronics Nv | Multiple stream readout |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1021048A3 (en) * | 1999-01-14 | 2002-10-02 | Kabushiki Kaisha Toshiba | Digital video recording system and its recording medium |
WO2000055854A1 (fr) * | 1999-03-17 | 2000-09-21 | Kabushiki Kaisha Toshiba | Procede d'enregistrement de donnees en fluxet de leur structure |
EP1134702A3 (en) * | 2000-03-14 | 2003-10-29 | Samsung Electronics Co., Ltd. | Method for processing nodes in 3D scene and apparatus thereof |
JP3583977B2 (ja) * | 2000-07-07 | 2004-11-04 | 三洋電機株式会社 | デジタルビデオ再生装置 |
JP3789794B2 (ja) * | 2001-09-26 | 2006-06-28 | 三洋電機株式会社 | 立体画像処理方法、装置、およびシステム |
KR100397511B1 (ko) * | 2001-11-21 | 2003-09-13 | 한국전자통신연구원 | 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법 |
JP4224690B2 (ja) * | 2002-12-27 | 2009-02-18 | ソニー株式会社 | 記録方法、記録装置、再生方法、再生装置および撮像装置 |
KR100585966B1 (ko) | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
JP4608953B2 (ja) | 2004-06-07 | 2011-01-12 | ソニー株式会社 | データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体 |
KR100657322B1 (ko) | 2005-07-02 | 2006-12-14 | 삼성전자주식회사 | 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치 |
JP4886689B2 (ja) * | 2005-07-15 | 2012-02-29 | パナソニック株式会社 | パケット送信装置 |
CN101026725B (zh) * | 2005-07-15 | 2010-09-29 | 索尼株式会社 | 再现设备及再现方法 |
CN100583977C (zh) * | 2005-09-27 | 2010-01-20 | 韩国电子通信研究院 | 用于高质量视频服务的传送和接收数字多媒体广播的设备 |
ZA200805337B (en) * | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
CN101371584B (zh) * | 2006-01-09 | 2011-12-14 | 汤姆森特许公司 | 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置 |
US8767836B2 (en) * | 2006-03-27 | 2014-07-01 | Nokia Corporation | Picture delimiter in scalable video coding |
JP2008252740A (ja) | 2007-03-30 | 2008-10-16 | Sony Corp | リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体 |
WO2008140190A1 (en) * | 2007-05-14 | 2008-11-20 | Samsung Electronics Co, . Ltd. | Method and apparatus for encoding and decoding multi-view image |
EP2230844B1 (en) * | 2008-01-17 | 2017-11-22 | Panasonic Intellectual Property Management Co., Ltd. | Recording medium on which 3d video is recorded, recording apparatus for recording 3d video, and reproducing device and method for reproducing 3d video |
EP2416581A4 (en) * | 2009-03-30 | 2014-03-12 | Panasonic Corp | RECORDING MEDIUM, PLAYING DEVICE AND INTEGRATED CIRCUIT |
JP4993224B2 (ja) * | 2009-04-08 | 2012-08-08 | ソニー株式会社 | 再生装置および再生方法 |
US8290338B2 (en) * | 2009-05-27 | 2012-10-16 | Panasonic Corporation | Recording medium, playback device, encoding device, integrated circuit, and playback output device |
-
2009
- 2009-04-08 JP JP2009094257A patent/JP4993224B2/ja active Active
-
2010
- 2010-04-01 TW TW99110152A patent/TWI428016B/zh not_active IP Right Cessation
- 2010-04-06 EP EP10761697.1A patent/EP2285130A4/en not_active Withdrawn
- 2010-04-06 WO PCT/JP2010/056237 patent/WO2010116998A1/ja active Application Filing
- 2010-04-06 CN CN201080001745.XA patent/CN102047674B/zh not_active Expired - Fee Related
- 2010-04-06 CN CN201210564089.5A patent/CN103079081B/zh not_active Expired - Fee Related
- 2010-04-06 CN CN201210564595.4A patent/CN103079082B/zh not_active Expired - Fee Related
- 2010-04-06 US US12/995,639 patent/US8792780B2/en active Active
-
2011
- 2011-11-01 HK HK11111733.6A patent/HK1157546A1/zh not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6510519B2 (en) * | 1995-04-03 | 2003-01-21 | Scientific-Atlanta, Inc. | Conditional access system |
US20020126844A1 (en) * | 1996-04-03 | 2002-09-12 | Rix Simon Paul Ashley | Method for providing a secure communication between two devices and application of this method |
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
TW591623B (en) * | 2000-03-31 | 2004-06-11 | Koninkl Philips Electronics Nv | Methods and apparatus for editing digital video recordings and recordings made by such methods |
TW200416670A (en) * | 2002-09-26 | 2004-09-01 | Koninkl Philips Electronics Nv | Multiple stream readout |
Also Published As
Publication number | Publication date |
---|---|
JP2010245969A (ja) | 2010-10-28 |
HK1157546A1 (zh) | 2012-06-29 |
WO2010116998A1 (ja) | 2010-10-14 |
CN103079081B (zh) | 2015-12-02 |
CN102047674A (zh) | 2011-05-04 |
EP2285130A1 (en) | 2011-02-16 |
CN103079082B (zh) | 2016-02-10 |
CN102047674B (zh) | 2016-01-20 |
CN103079081A (zh) | 2013-05-01 |
US8792780B2 (en) | 2014-07-29 |
CN103079082A (zh) | 2013-05-01 |
EP2285130A4 (en) | 2013-07-03 |
JP4993224B2 (ja) | 2012-08-08 |
US20120087641A1 (en) | 2012-04-12 |
TW201119388A (en) | 2011-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI428016B (zh) | A playback device, a playback method, and a recording method | |
TWI516092B (zh) | A playback device, a playback method, and a recording method | |
TWI458337B (zh) | Information processing apparatus, information processing method, reproducing apparatus, and reproducing method | |
JP5267886B2 (ja) | 再生装置、記録媒体、および情報処理方法 | |
TWI444042B (zh) | A recording apparatus, recording method, reproducing apparatus, reproducing method, recording medium and program | |
JP2010245970A (ja) | 再生装置、再生方法、およびプログラム | |
TWI444034B (zh) | Reproducing apparatus and reproducing method | |
JP4984192B2 (ja) | 記録方法 | |
JP4984193B2 (ja) | 再生装置、再生方法、および記録方法 | |
JP4993234B2 (ja) | 再生装置、再生方法、および記録方法 | |
JP4993233B2 (ja) | 記録方法 | |
JP4985883B2 (ja) | 再生装置、再生方法、および記録方法 | |
JP4993044B2 (ja) | 再生装置、再生方法、および記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |