TWI533664B - A playback device, a playback method, and a recording method - Google Patents

A playback device, a playback method, and a recording method Download PDF

Info

Publication number
TWI533664B
TWI533664B TW102138960A TW102138960A TWI533664B TW I533664 B TWI533664 B TW I533664B TW 102138960 A TW102138960 A TW 102138960A TW 102138960 A TW102138960 A TW 102138960A TW I533664 B TWI533664 B TW I533664B
Authority
TW
Taiwan
Prior art keywords
stream
unit
view video
picture
video stream
Prior art date
Application number
TW102138960A
Other languages
English (en)
Other versions
TW201408039A (zh
Inventor
Shinobu Hattori
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201408039A publication Critical patent/TW201408039A/zh
Application granted granted Critical
Publication of TWI533664B publication Critical patent/TWI533664B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1289Formatting of user data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

播放裝置、播放方法、及記錄方法
本發明係關於一種記錄裝置、記錄方法、播放裝置、播放方法、程式、及記錄媒體,尤其係關於一種可對例如以H.264 AVC/MVC規範標準進行編碼而獲得之Dependent view video之串流之GOP結構進行定義並記錄於BD等之記錄媒體中的記錄裝置、記錄方法、播放裝置、播放方法、程式、及記錄媒體。
作為電影等之內容,二維圖像之內容為主流,但是最近,可實現立體視覺(stereoscopic vision)之立體視覺圖像之內容備受關注。
顯示立體視覺圖像時,需要專用設備,作為此種立體視覺用設備,例如有NHK(Nippon Hoso Kyokai,日本廣播公司)所開發之IP(Integral Photography,集成攝影)立體圖像系統。
立體視覺圖像之圖像資料包含複數個視點之圖像資料(自複數個視點所拍攝之圖像之圖像資料),視點數量多,且可實現所謂的「全像電視」,即可自多個方向觀察被攝體,視點覆蓋範圍廣。
立體視覺圖像中視點數量最少者係視點數量為2個視點之立體圖像(所謂3D(3 Dimension,三維)圖像)。立體圖像之圖像資料包含以左眼觀察之圖像即左側圖像資料、及以右眼觀察之圖像即右側圖像資料。
另一方面,電影等之高解像度圖像之內容的資料量較多,因此為記錄如此大資料量之內容,必需有大容量之記錄媒體。
作為此種大容量之記錄媒體,有BD(Blu-Ray(註冊商標))-ROM(Read Only Memory,唯讀記憶體)等Blu-Ray(註冊商標)Disc(磁碟)(以下亦稱為BD)(參照專利文獻1)。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本專利特開2005-348314號公報
然而,於BD之標準中,並未規定在BD中以何種方式記錄並且播放包含立體圖像之立體視覺圖像之圖像資料。
例如,立體圖像之圖像資料包括左側圖像資料之串流與右側圖像資料之串流的兩條資料串流。因此,若不對該兩條資料串流之GOP結構亦進行定義而使其等一致,則有時會發生故障。
本發明係鑒於上述狀況開發而成者,使得可對例如以H.264 AVC/MVC規範標準進行編碼而獲得之Dependent view video之串流之GOP結構進行定義並記錄於BD等之記錄媒體中。
本發明之第1觀點之記錄裝置包括:編碼機構,其係以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼,並輸出經編碼而獲得之串流作為與基本串流一併用於3D圖像之顯示的擴展串流;作成機構,其作成使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應的第1表格資訊;以及記錄機構,其係將上述擴展串流與上述第1表格資訊記錄於記錄媒體中。
本發明可進而設置封包化機構,其係將上述擴展串流分割成各個特定尺寸之封包。此時,可於上述作成機構中作成以上述封包單位表示上述擴展串流上之位置之上述第1表格資訊,且於上述記錄機構中將已封包化之上述擴展串流記錄於上述記錄媒體中。
本發明可於上述編碼機構中,進而以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對其他視訊串流進行編碼,並輸出經編碼而獲得之串流作為上述基本串流。
本發明可於上述作成機構中,進而作成使上述基本串流之上述可獨立解碼之畫面之顯示時刻與上述基本串流上之位置相對應的第2表格資訊;且於上述記錄機構中,進而使上述基本串流與上述第2表格資訊記錄於上述記錄媒體中。
本發明可於上述作成機構中作成上述第1表格資訊,其包括使大概時刻與上述擴展串流上之位置相對應之第1子表格、及使詳細時刻與上述擴展串流上之位置相對應之第2子表格。
本發明可於上述編碼機構中根據H.264 AVC/MVC規範規格進行編碼,使得上述擴展串流之上述可獨立解碼之畫面為Anchor(錨)畫面。
本發明可於上述編碼機構中,根據H.264 AVC/MVC規範標準進行編碼,使得上述基本串流之上述可獨立解碼之畫面為I畫面,且上述擴展串流之上述可獨立解碼之畫面為與上述I畫面對應之Anchor畫面。
本發明可進而設置多工機構,其係將上述基本串流與上述擴展串流多工化為相同之串流,或者分別與其他資料一併多工化為不同之串流。
本發明之第1觀點之記錄方法包括下述步驟:以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼,並輸出經編碼而獲得之串流作為與基本串流一併用於3D圖像之顯示的擴展串流;作成使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應的表格資訊;以及將上述擴展串流與上述表格資訊記錄於記錄媒體中。
本發明之第1觀點之程式係使電腦執行包含如下步驟之處理,該步驟包括:以自可獨立解碼之畫面起至按解碼順序以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序較上述可獨立解碼之畫面以後之畫面,對視訊串流進行編碼,並輸出經編碼而獲得之串流作為與基本串流一併用於3D圖像之顯示的擴展串流;作成使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應的表格資訊;以及將上述擴展串流與上述表格資訊記錄於記錄媒體中。
本發明之第2觀點之播放裝置包括:讀取機構,其係自記錄有擴展串流及第1表格資訊之記錄媒體中讀取資料者,上述擴展串流係藉由以自可獨立解碼之畫面起至按解碼順序以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼而產生,且與基本串流一併用於3D圖像之顯示,上述第1表格資訊係使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應;以及解碼機構,其係根據上述第1表格資訊,自對應於特定時刻之位置起對自上述記錄媒體中讀取之上述擴展串流進行解碼。
本發明可根據上述第1表格資訊進行對上述擴展串流之隨機存取。
本發明可於上述讀取機構中,進而自上述記錄媒體中讀取基本串流及第2表格資訊,上述基本串流係藉由自可獨立解碼之畫面起至按解碼順序以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序較上述可獨立解碼之畫面以後之畫面,對其他視訊串流進行編碼而產生,上述第2表格資訊係使上述擴展串流之上述可獨立解碼之畫面之顯示時刻與上述基本串流上之位置相對應;且於上述解碼機構中,根據上述第2表格資訊,自對應於特定時刻之位置起對自上述記錄媒體中讀取之上述基本串流進行解碼。
本發明可使上述擴展串流係以每個特定尺寸之封包加以分割而記錄於上述記錄媒體中,於上述第1表格資訊中,由上述封包單位表示上述擴展串流上之位置。
本發明可使上述第1表格資訊包括使大概時刻與上述擴展串流上之位置相對應之第1子表格、及使詳細時刻與上述擴展串流上之位置相對應之第2子表格。此時,可進而設置控制機構,其係根據所指定之播放時刻,自上述第1子表格資訊檢索上述大概時刻,並根據所檢索出之上述大概時刻,自上述第2子表格檢索上述詳細時刻,利用所檢索出之上述詳細時刻,求出與上述播放時刻對應之上述擴展串流之解碼位置。
本發明可使上述擴展串流為藉由根據H.264 AVC/MVC規範標準進行編碼而獲得之串流,且上述擴展串流之上述可獨立解碼之畫面為Anchor畫面。
本發明可使上述擴展串流與上述基本串流分別為藉由根據H.264 AVC/MVC規範標準進行編碼而獲得之串流,且上述基本串流之上述 可獨立解碼之畫面為I畫面,上述擴展串流之上述可獨立解碼之畫面為與上述I畫面對應之Anchor畫面。
本發明可設為於上述記錄媒體中,將上述基本串流與上述擴展串流多工為於相同之串流,或者分別與其他資料一併多工化為不同之串流而記錄。
本發明之第2觀點之播放方法包括下述步驟:自記錄有擴展串流及表格資訊之記錄媒體中讀取資料,上述擴展串流係藉由以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼而產生,且與基本串流一併用於3D圖像之顯示,上述第1表格資訊係使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應;以及根據上述表格資訊,自對應於特定時刻對應之位置起對自上述記錄媒體中讀取之上述擴展串流進行解碼。
本發明之第2觀點之程式係使電腦執行包含如下步驟之處理:自記錄有擴展串流及表格資訊之記錄媒體中讀取資料,上述擴展串流係藉由以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼而產生,且與基本串流一併用於3D圖像之顯示,上述第1表格資訊係使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應;以及根據上述表格資訊,自對應於特定時刻之位置起對自上述記錄媒體中讀取之上述擴展串流進行解碼。
本發明之第3觀點之記錄媒體為記錄有:擴展串流,其係藉由以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫 面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼而產生,且與基本串流一併用於3D圖像之顯示;第1表格資訊,其係使上述擴展串流之上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應者;上述基本串流,其係藉由自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對其他視訊串流進行編碼而產生;以及第2表格資訊,其係使上述基本串流之上述可獨立解碼之畫面之顯示時刻與上述基本串流上之位置相對應者。
於本發明之第1觀點中,係以自可獨立解碼之畫面起至按解碼順序為以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序為較上述可獨立解碼之畫面以後之畫面,藉此對視訊串流進行編碼,並輸出經編碼而獲得之串流作為與基本串流一併用於3D圖像之顯示的擴展串流。又,作成使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應的表格資訊,將上述擴展串流與上述表格資訊記錄於記錄媒體中。
於本發明之第2觀點中,係自記錄有擴展串流及表格資訊之記錄媒體中讀取資料,上述擴展串流係藉由以自可獨立解碼之畫面起至按解碼順序以後之下一個可獨立解碼之畫面之前一個畫面為止之集合為單位,禁止根據較該單位以前之單位內之畫面預測該單位內之按顯示順序較上述可獨立解碼之畫面以後之畫面,對視訊串流進行編碼而產生,且與基本串流一併用於3D圖像之顯示,上述第1表格資訊係使上述可獨立解碼之畫面之顯示時刻與上述擴展串流上之位置相對應。 又,根據上述表格資訊,自對應於特定時刻之位置起對自上述記錄媒體中讀取之上述擴展串流進行解碼。
根據本發明,可對例如以H.264 AVC/MVC規範標準進行編碼而獲得之Dependent view video之串流之GOP結構進行定義而記錄於BD等之記錄媒體中。
1‧‧‧播放裝置
2‧‧‧光碟
3‧‧‧顯示裝置
11‧‧‧MVC編碼器
21‧‧‧H.264/AVC編碼器
22‧‧‧H.264/AVC解碼器
23‧‧‧Depth計算部
24‧‧‧Dependent view video編碼器
25‧‧‧多工器
51‧‧‧控制器
52‧‧‧光碟驅動器
53‧‧‧記憶體
54‧‧‧局部儲存器
55‧‧‧網際網路介面
56‧‧‧解碼部
57‧‧‧操作輸入部
圖1係表示包含應用有本發明之播放裝置之播放系統之構成例的圖。
圖2係表示攝影之例的圖。
圖3係表示MVC編碼器之構成例的方塊圖。
圖4係表示參照圖像之例的圖。
圖5係表示TS之構成例的圖。
圖6係表示TS之另一構成例的圖。
圖7A、7B係表示TS之進而另一構成例的圖。
圖8係表示AV串流之管理之例的圖。
圖9係表示Main Path與Sub Path之結構的圖。
圖10係表示光碟中所記錄之檔案之管理結構之例的圖。
圖11係表示PlayList檔案之語法的圖。
圖12係表示圖11中之reserved_for_future_use之用法之例的圖。
圖13係表示3D_PL_type之值之含義的圖。
圖14係表示view_type之值之含義的圖。
圖15係表示圖11之PlayList()之語法的圖。
圖16係表示圖15之SubPath()之語法的圖。
圖17係表示圖16之SubPlayItem(i)之語法的圖。
圖18係表示圖15之PlayItem()之語法的圖。
圖19係表示圖18之STN_table()之語法的圖。
圖20係表示播放裝置之構成例的方塊圖。
圖21係表示圖20之解碼部之構成例的圖。
圖22係表示進行視訊串流之處理之構成的圖。
圖23係表示進行視訊串流之處理之構成的圖。
圖24係表示進行視訊串流之處理之另一構成的圖。
圖25係表示Access Unit之例的圖。
圖26係表示進行視訊串流之處理之進而另一構成的圖。
圖27係表示合成部與其前段之構成的圖。
圖28係表示合成部與其前段之構成的另一圖。
圖29係表示軟體製作處理部之構成例的方塊圖。
圖30係表示包含軟體製作處理部之各構成之例的圖。
圖31係表示記錄裝置中所設置之3D video TS產生部之構成例的圖。
圖32係表示記錄裝置中所設置之3D video TS產生部之另一構成例的圖。
圖33係表示記錄裝置中所設置之3D video TS產生部之進而另一構成例的圖。
圖34係表示對Access Unit進行解碼之播放裝置側之構成的圖。
圖35係表示解碼處理之圖。
圖36係表示Closed GOP結構之圖。
圖37係表示Open GOP結構之圖。
圖38係表示GOP內之最大訊框及場數之圖。
圖39係表示Closed GOP結構之圖。
圖40係表示Open GOP結構之圖。
圖41係表示EP_map中所設定之解碼開始位置之例的圖。
圖42係表示於不定義Dependent view video之GOP結構之情形時所產生之問題的圖。
圖43係表示畫面查找之概念之圖。
圖44係表示光碟上所記錄之AV串流之結構的圖。
圖45係表示Clip AV串流之例的圖。
圖46係概念性地表示圖45之Clip AV串流所對應之EP_map的圖。
圖47係表示SPN_EP_start所指之源包之資料結構之例的圖。
圖48係表示EP_map中所包含之子表格的圖。
圖49係表示入口PTS_EP_coarse及入口PTS_EP_fine之格式之例的圖。
圖50係表示入口SPN_EP_coarse及入口SPN_EP_fine之格式之例的圖。
圖51係表示Access Unit之構成的圖。
圖52係表示記錄裝置之構成例的方塊圖。
圖53係表示圖52之MVC編碼器之構成例的方塊圖。
圖54係說明記錄裝置之記錄處理的流程圖。
圖55係說明圖54之步驟S2中所進行之編碼處理的流程圖。
圖56係表示播放裝置之構成例的方塊圖。
圖57係表示圖56之MVC解碼器之構成例的方塊圖。
圖58係說明播放裝置之播放處理的流程圖。
圖59係說明圖58之步驟S32中所進行之解碼處理的流程圖。
圖60係說明圖58之步驟S32中所進行之解碼處理的繼圖59之後的流程圖。
圖61係說明播放裝置之隨機存取播放處理的流程圖。
圖62A、62B係表示Base view video串流與Dependent view video串流之狀態的圖。
圖63係表示Base view video串流中之HRD parameters之編碼位置之例的圖。
圖64係表示在圖63所示之位置對HRD parameters進行有編碼之情形時之描述形式的圖。
圖65係表示Base view video串流中之max_dec_frame_ buffering之編碼位置之例的圖。
圖66係表示在圖65所示之位置對max_dec_frame_ buffering進行有編碼之情形時之描述形式的圖。
圖67係表示Dependent view video串流中之HRD parameters之編碼位置之例的圖。
圖68係表示在圖67所示之位置對HRD parameters進行有編碼之情形時之描述形式的圖。
圖69係表示在圖67所示之位置對HRD parameters進行有編碼之情形時之另一描述形式的圖。
圖70係表示Dependent view video串流中之max_dec_frame_buffering之編碼位置之例的圖。
圖71係表示在圖70所示之位置對max_dec_ frame_buffering進行有編碼之情形時之描述形式的圖。
圖72係表示在圖70所示之位置對max_dec_frame_ buffering進行有編碼之情形時之另一描述形式的圖。
圖73係說明記錄裝置之記錄處理的流程圖。
圖74係說明播放裝置之播放處理的流程圖。
圖75係表示參數設定之例的圖。
圖76係表示參數設定之另一例的圖。
圖77係表示MVC解碼器之另一構成例的方塊圖。
圖78係表示參數設定之進而另一例的圖。
圖79係表示參數設定之例的圖。
圖80係表示參數設定之另一例的圖。
圖81係表示參數設定之進而另一例的圖。
圖82係表示驗證裝置之圖。
圖83係表示HRD之功能構成的圖。
圖84係表示驗證之例的圖。
圖85係表示驗證之另一例的圖。
圖86係表示view_type之描述之例的圖。
圖87係表示view_type之描述之另一例的圖。
圖88係表示電腦之硬體之構成例的方塊圖。
<第1實施形態>
[播放系統之構成例]
圖1係表示包含應用有本發明之播放裝置1之播放系統之構成例的圖。
如圖1所示,該播放系統係藉由以HDMI(High Definition Multimedia Interface,高清晰度多媒體介面)纜線等連接播放裝置1與顯示裝置3而構成。於播放裝置1中安裝有BD等光碟2。
於光碟2中記錄有為顯示視點數量為2個之立體圖像(所謂3D圖像)所必需之串流。
播放裝置1係與光碟2中所記錄之串流之3D播放對應的播放器。播放裝置1播放光碟2中所記錄之串流,並使經播放而獲得之3D圖像顯示於包括電視接收器等之顯示裝置3。關於聲音,亦係同樣地藉由播放裝置1而播放,且自設置於顯示裝置3之揚聲器等輸出。
作為3D圖像之顯示方式已提出有各種方式。此處,作為3D圖像之顯示方式,係採用以下類型1之顯示方式與類型2之顯示方式。
類型1之顯示方式係由以左眼觀察之圖像(L圖像)之資料、與以右眼觀察之圖像(R圖像)之資料構成3D圖像資料,並交替顯示L圖像與R圖像,藉此顯示3D圖像之方式。
類型2之顯示方式係顯示使用源圖像資料與Depth(深度)資料而產生之L圖像與R圖像,藉此顯示3D圖像的方式,該源圖像係成為產生3D圖像之來源之圖像。類型2之顯示方式中所使用之3D圖像資料包括源圖像資料、及可藉由提供至源圖像而產生L圖像與R圖像之Depth資料。
類型1之顯示方式係視聽時需要眼鏡之顯示方式。類型2之顯示方式係無眼鏡即可視聽3D圖像之顯示方式。
於光碟2中記錄有可藉由類型1與2中之任一顯示方式顯示3D圖像之串流。
作為用以將此種串流記錄於光碟2之編碼方式,例如可採用H.264 AVC(Advanced Video Coding,高級視訊編碼)/MVC(Multi-view Video coding,多視點視訊編碼)規範標準。
[H.264 AVC/MVC Profile]
於H.264 AVC/MVC規範標準中,定義有被稱為Base view video(基本視點視訊)之圖像串流與被稱為Dependent view video(擴展視點視訊)之圖像串流。以下,適當地將H.264 AVC/MVC規範標準簡稱為MVC。
圖2係表示攝影之例的圖。
如圖2所示,以相同被攝體為對象,藉由L圖像用之相機與R圖像用之相機進行攝影。將藉由L圖像用之相機與R圖像用之相機而拍攝之影像之基本串流輸入至MVC編碼器。
圖3係表示MVC編碼器之構成例的方塊圖。
如圖3所示,MVC編碼器11包括H.264/AVC編碼器21、 H.264/AVC解碼器22、Depth計算部23、Dependent view video編碼器24、以及多工器25。
藉由L圖像用之相機而拍攝之影像#1之串流被輸入至H.264/AVC編碼器21與Depth計算部23。又,藉由R圖像用之相機所拍攝之影像#2之串流被輸入至Depth計算部23與Dependent view video編碼器24。亦可將影像#2之串流輸入至H.264/AVC編碼器21與Depth計算部23,將影像#1之串流輸入至Depth計算部23與Dependent view video編碼器24。
H.264/AVC編碼器21將影像#1之串流編碼為例如H.264 AVC/High Profile(高級規範)視訊串流。H.264/AVC編碼器21將經編碼而獲得之AVC視訊串流作為Base view video串流輸出至H.264/AVC解碼器22與多工器25。
H.264/AVC解碼器22對自H.264/AVC編碼器21所供給之AVC視訊串流進行解碼,並將經解碼而獲得之影像#1之串流輸出至Dependent view video編碼器24。
Depth計算部23根據影像#1之串流與影像#2之串流而計算Depth,並將計算出之Depth之資料輸出至多工器25。
Dependent view video編碼器24對自H.264/AVC解碼器22所供給之影像#1之串流與自外部輸入之影像#2之串流進行編碼,輸出Dependent view video串流。
於Base view video中,不允許將其他串流作為參照圖像之預測編碼,但如圖4所示,於Dependent view video中,允許將Base view video作為參照圖像之預測編碼。例如於將L圖像作為Base view video,並且將R圖像作為Dependent view video而進行編碼之情形時,其結果所獲得之Dependent view video串流之資料量較Base view video串流之資料量變少。
再者,由於係以H.264/AVC進行編碼,因此對Base view video進行時間方向之預測。又,關於Dependent view video,亦係進行view間之預測與時間方向之預測。為對Dependent view video進行解碼,必需先結束編碼時作為參照目標之相對應之Base view video的解碼。
Dependent view video編碼器24將亦使用此種view間之預測進行編碼而獲得之Dependent view video串流輸出至多工器25。
多工器25將自H.264/AVC編碼器21所供給之Base view video串流、自Depth計算部23所供給之Dependent view video串流(Depth之資料)、以及自Dependent view video編碼器24所供給之Dependent view video串流,多工化為例如MPEG2 TS(motion picture experts group2 Transport Stream,動畫專家群2傳送串流)。Base view video串流與Dependent view video串流有時被多工化於1條MPEG2 TS中,亦有時包含於不同之MPEG2 TS中。
多工器25輸出所產生之TS(MPEG2 TS)。自多工器25所輸出之TS與其他管理資料一併由記錄裝置記錄於光碟2中,並以記錄於光碟2中之形式被供給至播放裝置1。
於必需區分類型1之顯示方式中與Base view video一併使用之Dependent view video、及類型2之顯示方式中與Base view video一併使用之Dependent view video(Depth)之情形時,將前者稱為D1 view video,將後者稱為D2 view video。
又,將使用Base view video與D1 view video而進行之、利用類型1之顯示方式之3D播放稱為B-D1播放。將使用Base view video與D2 view video而進行之、利用類型2之顯示方式之3D播放稱為B-D2播放。
播放裝置1根據使用者之指示等而進行B-D1播放時,自光碟2讀取Base view video串流與D1 view video串流進行播放。
又,播放裝置1進行B-D2播放時,自光碟2讀取Base view video串流與D2 view video串流進行播放。
進而,播放裝置1進行通常之2D圖像之播放時,自光碟2僅讀取Base view video串流進行播放。
Base view video串流係以H.264/AVC進行編碼之AVC視訊串流,故而只要為與BD之格式對應之播放器,即可播放該Base view video串流而顯示2D圖像。
以下,主要對Dependent view video為D1 view video之情形進行說明。當僅稱為Dependent view video時,係表示D1 view video。關於D2 view video,亦與D1 view video同樣地記錄於光碟2中加以播放。
[TS之構成例]
圖5係表示TS之構成例的圖。
於圖5之Main TS(Main Transport Stream,主傳送串流)中,多工有Base view video、Dependent view video、Primary audio(主音訊)、Base PG(Base Presentation Graphic,基本表達圖形)、Dependent PG(Dependent Presentation Graphic,擴展表達圖形)、Base IG(Base Interactive Graphic,基本交互圖形)、Dependent IG(Dependent Interactive Graphic,擴展交互圖形)之各串流。如此,亦存在Dependent view video串流與Base view video串流一併包含於Main TS中之情形。
於光碟2中記錄有Main TS與Sub TS(Sub Transport Stream,子傳送串流)。Main TS係至少包含Base view video串流之TS。Sub TS係包含Base view video串流以外之串流,且與Main TS一併使用之TS。
對於下述PG、IG,亦準備有Base view與Dependent view之各串流,以能夠與視訊同樣地以3D進行顯示。
對各個串流進行解碼而獲得之PG、IG之Base view的平面係與對 Base view video串流進行解碼而獲得之Base view video之平面合成而顯示。同樣地,PG、IG之Dependent view之平面係與對Dependent view video串流進行解碼而獲得之Dependent view video之平面合成而顯示。
例如,當Base view video串流為L圖像之串流,Dependent view video串流為R圖像之串流時,關於PG、IG,其Base view之串流亦成為L圖像之圖形之串流。又,Dependent view之PG串流、IG串流成為R圖像之圖形之串流。
另一方面,當Base view video串流為R圖像之串流,Dependent view video串流為L圖像之串流時,關於PG、IG,其Base view之串流亦成為R圖像之圖形之串流。又,Dependent view之PG串流、IG串流成為L圖像之圖形之串流。
圖6係表示TS之另一構成例的圖。
於圖6之Main TS中,多工有Base view video、Dependent view video之各串流。
另一方面,於Sub TS中,多工有Primary audio、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
如此,亦存在將視訊串流多工化於Main TS中,將PG、IG之串流等多工化於Sub TS中之情形。
圖7係表示TS之進而另一構成例的圖。
於圖7A之Main TS中,多工有Base view video、Primary audio、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
另一方面,於Sub TS中包含有Dependent view video串流。
如此,亦存在Dependent view video串流與Base view video串流包含於不同之TS中之情形。
於圖7B之Main TS中,多工有Base view video、Primary audio、 PG、IG之各串流。另一方面,於Sub TS中,多工有Dependent view video、Base PG、Dependent PG、Base IG、Dependent IG之各串流。
Main TS中所包含之PG、IG係2D播放用之串流。Sub TS中所包含之串流係3D播放用之串流。
如此,亦可使2D播放與3D播放中不共用PG之串流與IG之串流。
如上所述,存在Base view video串流與Dependent view video串流包含於不同之MPEG2 TS中之情形。以下說明將Base view video串流與Dependent view video串流包含於不同之MPEG2 TS中進行記錄時之優點。
例如考慮可多工化為1條MPEG2 TS之位元率受到限制之情形。於此情形時,當將Base view video串流與Dependent view video串流兩者包含於1條MPEG2 TS中時,為滿足該限制,必需降低各串流之位元率。其結果為畫質下降。
藉由包含於各自不同之MPEG2 TS中,無需降低位元率,且可不使畫質下降。
[應用格式]
圖8係表示利用播放裝置1之AV(Audio Vedio,視訊音訊)串流之管理之例的圖。
如圖8所示,AV串流之管理係使用PlayList(播放清單)與Clip(片斷)之兩層來進行。AV串流有時不僅記錄於光碟2中,而且記錄於播放裝置1之局部儲存器(local storage)中。
此處,將1個AV串流與隨附於其之資訊Clip Information(片斷資訊)之對(pair)視作1個目標(object),將該等目標總稱為Clip。以下,將儲存有AV串流之檔案稱為AV串流檔案。又,亦將儲存有Clip Information之檔案稱為Clip Information檔案。
AV串流係於時間軸上展開,各Clip之存取點主要係按照時間戳 記於PlayList中予以指定。Clip Information檔案係用以查找應開始AV串流中之解碼之位址等。
PlayList係AV串流之播放區間之集合。AV串流中之1個播放區間稱為PlayItem(播放項目)。PlayItem係以時間軸上之播放區間之IN(入)點與OUT(出)點之對來表示。如圖8所示,PlayList包含1個或複數個PlayItem。
圖8之自左側起第1個PlayList包括兩個PlayItem,藉由該兩個PlayItem,分別參照左側之Clip中所包含之AV串流之前半部分與後半部分。
自左側起第2個PlayList包括一個PlayItem,藉由該一個PlayItem,參照右側之Clip中所包含之AV串流整體。
自左側起第3個PlayList包括兩個PlayItem,藉由該兩個PlayItem,分別參照左側之Clip中所包含之AV串流之某部分、及右側之Clip中所包含之AV串流之某部分。
例如,於藉由磁碟導航程式指定自左側起第1個PlayList中所含之左側PlayItem作為播放位置之情形時,進行該PlayItem所參照之左側之Clip中所包含的AV串流之前半部分之播放。如此,PlayList係用作用以管理AV串流之播放之播放管理資訊。
於PlayList中,將由1個以上之PlayItem之排列所形成的播放路徑稱為主路徑(Main Path)。
又,於PlayList中,將與Main Path平行且由1個以上之SubPlayItem(子播放項目)之排列所形成的播放路徑稱為子路徑(Sub Path)。
圖9係表示Main Path與Sub Path之結構的圖。
PlayList可具有1個Main Path與1個以上之Sub Path。
上述Base view video串流係作為構成Main Path之PlayItem所參照 之串流加以管理。又,Dependent view video串流係作為構成Sub Path之SubPlayItem所參照之串流加以管理。
圖9之PlayList包含由3個PlayItem之排列所形成之1個Main Path與3個Sub Path。
於構成Main Path之PlayItem中,自開頭起依次分別設定ID(Identification,標識符)。於Sub Path中,亦係自開頭起依次設定Subpath_id=0、Subpath_id=1、及Subpath_id=2之ID。
於圖9之例中,於Subpath_id=0之Sub Path中包含1個SubPlayItem,於Subpath_id=1之Sub Path中包含2個SubPlayItem。又,於Subpath_id=2之Sub Path中包含1個SubPlayItem。
於1個PlayItem所參照之Clip AV串流中至少包含視訊串流(主圖像資料)。
又,於Clip AV串流中,以與Clip AV串流中所含之視訊串流相同之時序(同步)播放之音訊串流可含有1個以上,亦可不含有。
於Clip AV串流中,與Clip AV串流中所含之視訊串流同步播放之位元映射之字幕資料(PG(Presentation Graphic))之串流可含有1個以上,亦可不含有。
於Clip AV串流中,與Clip AV串流檔案中所含之視訊串流同步播放之IG(Interactive Graphic)之串流可含有1個以上,亦可不含有。IG之串流係用以顯示由使用者操作之按鈕等之圖形。
於1個PlayItem所參照之Clip AV串流中,多工有視訊串流、及與該視訊串流同步播放之0個以上之音訊串流、0個以上之PG串流、以及0個以上之IG串流。
又,1個SubPlayItem係參照與PlayItem所參照之Clip AV串流不同之串流(其他串流)之視訊串流、音訊串流、或PG串流等。
關於使用有此種PlayList、PlayItem、SubPlayItem之AV串流之管 理,例如記載於日本專利特開2008-252740號公報、日本專利特開2005-348314號公報中。
[目錄結構]
圖10係表示光碟2中所記錄之檔案之管理結構之例的圖。
如圖10所示,檔案係藉由目錄結構而分級地管理。於光碟2上製成1個root(根)目錄。root目錄之下成為由1個記錄播放系統所管理之範圍。
於root目錄下設置BDMV目錄。
於BDMV目錄之下緊接著儲存設定有「Index.bdmv」之名稱之檔案即Index檔案、及設定有「MovieObject.bdmv」之名稱之檔案即MovieObject檔案。
於BDMV目錄之下設置BACKUP目錄、PLAYLIST目錄、CLIPINF目錄、STREAM目錄等。
於PLAYLIST目錄中儲存描述PlayList之PlayList檔案。於各PlayList檔案中設定使5位數之數字與擴展名「.mpls」組合而成之名稱。於圖10所示之1個PlayList檔案中設定有「00000.mpls」之檔案名。
於CLIPINF目錄中儲存Clip Information檔案。於各Clip Information檔案中設定使5位數之數字與擴展名「.clpi」組合而成之名稱。
於圖10之3個Clip Information檔案中,分別設定有「00001.clpi」、「00002.clpi」、「00003.clpi」之檔案名。以下,適當地將Clip Information檔案稱為clpi檔案。
例如,「00001.clpi」之clpi檔案係描述與Base view video之Clip相關之資訊的檔案。
「00002.clpi」之clpi檔案係描述與D2 view video之Clip相關之資 訊的檔案。
「00003.clpi」之clpi檔案係描述與D1 view video之Clip相關之資訊的檔案。
於STREAM目錄中儲存串流檔案。於各串流檔案中設定使5位數之數字與擴展名「.m2ts」組合而成之名稱、或者使5位數之數字與擴展名「.ilvt」組合而成之名稱。以下,適當地將設定有擴展名「.m2ts」之檔案稱為m2ts檔案。又,將設定有擴展名「.ilvt」之檔案稱為ilvt檔案。
「00001.m2ts」之m2ts檔案係2D播放用之檔案,藉由指定該檔案,讀取Base view video串流。
「00002.m2ts」之m2ts檔案係D2 view video串流之檔案,「00003.m2ts」之m2ts檔案係D1 view video串流之檔案。
「10000.ilvt」之ilvt檔案係B-D1播放用之檔案,藉由指定該檔案,讀取Base view video串流與D1 view video串流。
「20000.ilvt」之ilvt檔案係B-D2播放用之檔案,藉由指定該檔案,讀取Base view video串流與D2 view video串流。
除圖10所示者以外,於BDMV目錄之下亦設置儲存音訊串流之檔案的目錄等。
[各資料之語法]
圖11係表示PlayList檔案之語法的圖。
PlayList檔案係儲存於圖10之PLAYLIST目錄中設定有擴展名「.mpls」之檔案。
圖11之type_indicator表示「xxxxx.mpls」之檔案種類。
version_number表示「xxxx.mpls」之版本編號。version_number包含4位數之數字。例如,於3D播放用之PlayList檔案中設定表示其為「3D Spec version」之「0240」。
PlayList_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示PlayList()之開頭位址。
PlayListMark_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示PlayListMark()之開頭位址。
ExtensionData_start_address係以自PlayList檔案之開頭位元組起之相對位元組數為單位,表示ExtensionData()之開頭位址。
於ExtensionData_start_address之後包含160bit(位元)之reserved_for_future_use。
於AppInfoPlayList()中儲存播放限制等的與PlayList之播放控制相關之參數。
於PlayList()中儲存與Main Path或Sub Path等相關之參數。關於PlayList()之內容將於下文敍述。
於PlayListMark()中,儲存PlayList之標記資訊,即,指示章跳躍(chapter jump)等之使用者操作或命令等中之作為跳躍目的地(跳躍點)之標記之相關資訊。
於ExtensionData()中可插入私有資料。
圖12係表示PlayList檔案之描述之具體例的圖。
如圖12所示,於PlayList檔案中描述有2bit之3D_PL_type與1bit之view_type。view_type例如係描述於圖11之AppInfoPlayList()。
3D_PL_type係表示PlayList之種類。
view_type係表示藉由PlayList而管理播放之Base view video串流為L圖像(L view)之串流還是為R圖像(R view)之串流。
圖13係表示3D_PL_type之值之含義的圖。
3D_PL_type之值之00係表示其為2D播放用之PlayList。
3D_PL_type之值之01係表示其為3D播放中之B-D1播放用之PlayList。
3D_PL_type之值之10係表示其為3D播放中之B-D2播放用之PlayList。
例如,於3D_PL_type之值為01或10時,於PlayList檔案之ExtenstionData()中登錄3DPlayList資訊。例如,登錄與Base view video串流及Dependent view video串流之自光碟2讀取相關的資訊作為3DPlayList資訊。
圖14係表示view_type之值之含義的圖。
view_type之值之0於進行3D播放之情形時,係表示Base view video串流為L view之串流。於進行2D播放之情形時,係表示Base view video串流為AVC視訊串流。
view_type之值之1係表示Base view video串流為R view之串流。
藉由在PlayList檔案中描述view_type,播放裝置1可識別出Base view video串流為L view之串流還是為R view之串流。
例如,於經由HDMI纜線將視訊信號輸出至顯示裝置3之情形時,一般認為播放裝置1需要將L view之信號與R view之信號分別加以區分後輸出。
藉由設法使得可識別出Base view video串流為L view之串流還是為R view之串流,播放裝置1可將L view之信號與R view之信號加以區分後輸出。
圖15係表示圖11之PlayList()之語法的圖。
length係表示自該length場之後至PlayList()之最後為止之位元組數的32位元之無符號整數。即,length係表示自reserved_for_future_use起至PlayList之最後為止之位元組數。
於length之後準備16位元之reserved_for_future_use。
number_of_PlayItems係表示位於PlayList中之PlayItem之數量的16位元之場。於圖9之例之情形時,PlayItem之數量為3。PlayItem_id 之值係按照PlayList中PlayItem()所出現之順序依次自0開始分配。例如,分配圖9之PlayItem_id=0、1、2。
number_of_SubPaths係表示位於PlayList中之Sub Path之數量的16位元之場。於圖9之例之情形時,Sub Path之數量為3。SubPath_id之值係按照PlayList中SubPath()所出現之順序依次自0開始分配。例如,分配圖9之Subpath_id=0、1、2。於其後之for語句中,參照相當於PlayItem之數量的PlayItem(),且參照相當於Sub Path之數量的SubPath()。
圖16係表示圖15之SubPath()之語法的圖。
length係表示自該length場之後至Sub Path()之最後為止之位元組數的32位元之無符號整數。即,length係表示自reserved_for_future_use至PlayList之最後為止之位元組數。
於length之後準備16位元之reserved_for_future_use。
SubPath-type係表示Sub Path之應用程式之種類的8位元之場。SubPath_type係用於例如表示Sub Path為音訊、為位元映射字幕、或為文本字幕等之種類之情形時。
於SubPath_type之後準備15位元之reserved_for_ future_use。
is_repeat_SubPath係指定Sub Path之播放方法之1位元之場,其表示於Main Path之播放期間重複進行Sub Path之播放,或者僅進行1次Sub Path之播放。例如,用於Main Path所參照之Clip與Sub Path所參照之Clip之播放時序不同之情形時(將Main Path用作靜態圖像之放映路徑,將Sub Path用作作為BGM(Background Music,背景音樂)之音訊路徑之情形時等)。
於Is_repeat_SubPath之後準備8位元之reserved_for_ future_use。
number_of_SubPlayItems係表示位於1個Sub Path中之SubPlayItem的數量(入口數)之8位元之場。例如,圖9之SubPath_id=0之 SubPlayItem的number_of_SubPlayItems為1,SubPath_id=1之SubPlayItem之number_of_SubPlayItems為2。於其後之for語句中,參照相當於SubPlayItem之數量的SubPlayItem()。
圖17係表示圖16之SubPlayItem(i)之語法的圖。
length係表示自該length場之後至Sub playItem()之最後為止之位元組數的16位元之無符號整數。
圖17之SubPlayItem(i)係分為SubPlayItem參照1個Clip之情形與參照複數個Clip之情形而加以描述。
就SubPlayItem參照1個Clip之情形進行說明。
Clip_Information_file_name[0]係表示所參照之Clip。
Clip_codec_identifier[0]係表示Clip之編解碼方式。於Clip_codec_identifier[0]之後包含reserved_for_future_use。
is_multi_Clip_entries係表示有無多個Clip(片斷)登錄之旗標。於設立有is_multi_Clip_entries之旗標之情形時,參照SubPlayItem參照複數個Clip之情形之語法。
ref_to_STC_id[0]係與STC(System Time Clock,系統時鐘)非連續點(系統時基之非連續點)相關之資訊。
SubPlayItem_IN_time係表示Sub Path之播放區間之開始位置,SubPlayItem_OUT_time係表示結束位置。
sync_PlayItem_id與sync_start_PTS_of_PlayItem係表示在Main Path之時間軸上Sub Path開始播放之時刻。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItem被共用於SubPlayItem所參照之Clip中。
就「if(is_multi_Clip_entries==1b」,且SubPlayItem參照複數個Clip之情形進行說明。
num_of_Clip_entries係表示所參照之Clip之數量。Clip_Information_file_name[SubClip_entry_id]之數量指定除Clip_Information_file_name[0]以外之Clip之數量。
Clip_codec_identifier[SubClip_entry_id]係表示Clip之編解碼方式。
ref_to_STC__id[SubClip_entry_id]係與STC非連續點(系統時基之非連續點)相關之資訊。於ref_to_STC_id[SubClip_entry_id]之後包含reserved_for_future_use。
圖18係表示圖15之PlayItem()之語法的圖。
length係表示自該length場之後至PlayItem()之最後為止之位元組數的16位元之無符號整數。
Clip_Information_file_name[o]係表示PlayItem所參照之Clip之Clip Information檔案的名稱。再者,於包含Clip之mt2s檔案之檔案名、及與其對應之Clip Information檔案之檔案名中,包含相同之5位數之數字。
Clip_codec_identifier[0]係表示Clip之編解碼方式。於Clip_codec_identifier[0]之後包含reserved_for_future_use。於reserved_for_future_use之後包含is_multi_angle、connection_condition。
ref_to_STC_id[0]係與STC非連續點(系統時基之非連續點)相關之資訊。
IN_time係表示PlayItem之播放區間之開始位置,OUT_time係表示結束位置。
於OUT_time之後包含UO_mask_table()、PlayItem_random_access_mode、still_mode。
於STN_table()中包含對象之PlayItem所參照之AV串流的資訊。 又,當存在與對象之PlayItem相關聯而播放之Sub Path時,亦包含構成該Sub Path之SubPlayItem所參照之AV串流的資訊。
圖19係表示圖18之STN_table()之語法的圖。
STN_table()係作為PlayItem之屬性而設定。
length係表示自該length場之後至STN_table()之最後為止之位元組數的16位元之無符號整數。於length之後準備16位元之reserved_for_future_use。
number_of_video_stream_entries係表示在STN_table()中登入(登錄)之提供video_stream_id之串流的數量。
video_stream_id係用以識別視訊串流之資訊。例如,藉由該video_stream_id而特別指定Base view video串流。
關於Dependent view video串流之ID,可於STN_table()內定義,亦可於Base view video串流之ID上加上特定值等而藉由計算加以求出。
video_stream_number係用於視訊切換之使用者可見之視訊串流編號。
number_of_audio_stream_entries係表示在STN_table()中登入之提供audio_stream_id之第1個音訊串流之串流的數量。audio_stream_id係用以識別音訊串流之資訊,audio_stream_number係用以聲音切換之使用者可見之音訊串流編號。
number_of_audio_stream2_entries表示STN_table()中登入之提供audio_stream_id2之第2個音訊串流之串流的數量。audio_stream_id2係用以識別音訊串流之資訊,audio_stream_number係用於聲音切換之使用者可見之音訊串流編號。於該例中,可切換所播放之聲音。
number_of_PG_txtST_stream_entries係表示在STN_table()中登入之提供PG_txtST_stream_id之串流的數量。其中,登入對位元映像字 幕進行運行長度編碼而成之PG串流與文本字幕檔案(txtST)。PG_txtST_stream_id係用以識別字幕串流之資訊,PG_txtST_stream_number係用於字幕切換之使用者可見之字幕串流編號。
number_of_IG_stream_entries係表示在STN_table()中登入之提供IG_stream_id之串流的數量。其中登入IG串流。IG_stream_id係用以識別IG串流之資訊,IG_stream_number係用於圖形切換之使用者可見之圖形串流編號。
Main TS、Sub TS之ID亦登錄於STN_table()中。該ID為TS之ID而並非基本串流之內容,係描述於stream_attribute()中。
[播放裝置1之構成例]
圖20係表示播放裝置1之構成例的方塊圖。
控制器51執行預先準備之控制程式,控制播放裝置1之整體動作。
例如,控制器51控制磁碟驅動器52,讀取3D播放用之PlayList檔案。又,控制器51根據STN_table中所登錄之ID讀取Main TS與SubTS,並供給至解碼部56。
磁碟驅動器52根據控制器51之控制自光碟2讀取資料,並將所讀取之資料輸出至控制器51、記憶體53、或解碼部56。
記憶體53適當地記憶控制器51執行各種處理時所需要之資料等。
局部儲存器54包含例如HDD(Hard Disk Drive,硬碟驅動器)。於局部儲存器54中,記錄自伺服器72下載之Dependent view video串流等。局部儲存器54中所記錄之串流亦可適當地供給至解碼部56。
網際網路介面55依據來自控制器51之控制,經由網路71而與伺服器72進行通信,將自伺服器72下載之資料供給至局部儲存器54。
自伺服器72下載使記錄於光碟2中之資料更新之資料。設法使得可一併使用所下載之Dependent view video串流與記錄於光碟2中之Base view video串流,藉此可實現與光碟2之內容不同之內容的3D播放。當已下載Dependent view video串流時,PlayList之內容亦可適當地更新。
解碼部56對自磁碟驅動器52或局部儲存器54所供給之串流進行解碼,並將所獲得之視訊信號輸出至顯示裝置3。音訊信號亦經由特定之路徑輸出至顯示裝置3。
操作輸入部57包含按鈕、按鍵、觸控面板、滾輪、滑鼠等輸入設備及接收自特定之遙控器所傳送之紅外線等信號的接收部。操作輸入部57檢測出使用者之操作,並將表示所檢測出之操作之內容的信號供給至控制器51。
圖21係表示解碼部56之構成例的圖。
於圖21中表示有進行視訊信號之處理之構成。於解碼部56中,亦進行音訊信號之解碼處理。將音訊信號作為對象而進行之解碼處理之結果為,經由未圖示之路徑輸出至顯示裝置3。
PID(Proportional Intergral Derivative,比例-積分-微分)濾波器101根據構成TS之封包之PID或串流之ID等,識別自磁碟驅動器52或局部儲存器54所供給的TS為Main TS還是為Sub TS。PID濾波器101將Main TS輸出至緩衝器102,並將Sub TS輸出至緩衝器103。
PID濾波器104依次讀取緩衝器102中所記憶之Main TS之封包,並根據PID進行分配。
例如,PID濾波器104將構成Main TS中所包含之Base view video串流之封包輸出至B video緩衝器106,並將構成Dependent view video串流之封包輸出至交換器107。
又,PID濾波器104將構成Main TS中所包含之Base IG串流之封包 輸出至交換器114,並將構成Dependent IG串流之封包輸出至交換器118。
PID濾波器104將構成Main TS中所包含之Base PG串流之封包輸出至交換器122,並將構成Dependent PG串流之封包輸出至交換器126。
如參照圖5所說明般,存在將Base view video、Dependent view video、Base PG、Dependent PG、Base IG、Dependent IG之各串流多工化於Main TS中之情形。
PID濾波器105依次讀取緩衝器103中所記憶之Sub TS之封包,並根據PID進行分配。
例如,PID濾波器105將構成Sub TS中所包含之Dependent view video串流之封包輸出至交換器107。
又,PID濾波器105將構成Sub TS中所包含之Base IG串流之封包輸出至交換器114,並將構成Dependent IG串流之封包輸出至交換器118。
PID濾波器105將構成Sub TS中所包含之Base PG串流之封包輸出至交換器122,並將構成Dependent PG串流之封包輸出至交換器126。
如參照圖7所說明般,存在將Dependent view video串流包含於Sub TS中之情形。又,如參照圖6所說明般,存在將Base PG、Dependent PG、Base IG、Dependent IG之各串流多工化於Sub TS中之情形。
交換器107將自PID濾波器104或PID濾波器105所供給之構成Dependent view video串流之封包輸出至D video緩衝器108。
交換器109依據規定解碼時序之時刻資訊依次讀取B video緩衝器106中所記憶之Base view video之封包、及D video緩衝器108中所記憶之Dependent view video之封包。於儲存有Base view video之某畫面之 資料的封包、及儲存有與其對應之Dependent view video之畫面之資料的封包中,例如設定有相同之時刻資訊。
交換器109將自B video緩衝器106或D video緩衝器108所讀取之封包輸出至視訊解碼器110。
視訊解碼器110對自交換器109所供給之封包進行解碼,並將藉由解碼而獲得之Base view video或Dependent view video之資料輸出至交換器111。
交換器111將對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112,並將對Dependent view video之封包進行解碼而獲得之資料輸出至D video平面產生部113。
B video平面產生部112根據自交換器111所供給之資料產生Base view video之平面,並將其輸出至合成部130。
D video平面產生部113根據自交換器111所供給之資料產生Dependent view video之平面,並將其輸出至合成部130。
交換器114將自PID濾波器104或PID濾波器105所供給之構成Base IG串流之封包輸出至B IG緩衝器115。
B IG解碼器116對B IG緩衝器115中所記憶之構成Base IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B IG平面產生部117。
B IG平面產生部117根據自B IG解碼器116所供給之資料產生Base IG之平面,並將其輸出至合成部130。
交換器118將自PID濾波器104或PID濾波器105所供給之構成Dependent IG串流之封包輸出至D IG緩衝器119。
D IG解碼器120對D IG緩衝器119中所記憶之構成Dependent IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D IG平面產生部121。
D IG平面產生部121根據自D IG解碼器120所供給之資料產生Dependent IG之平面,並將其輸出至合成部130。
交換器122將自PID濾波器104或PID濾波器105所供給之構成Base PG串流之封包輸出至B PG緩衝器123。
B PG解碼器124對B PG緩衝器123中所記憶之構成Base PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B PG平面產生部125。
B PG平面產生部125根據自B PG解碼器124所供給之資料產生Base PG之平面,並將其輸出至合成部130。
交換器126將自PID濾波器104或PID濾波器105所供給之構成Dependent PG串流之封包輸出至D PG緩衝器127。
D PG解碼器128對D PG緩衝器127中所記憶之構成Dependent PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D PG平面產生部129。
D PG平面產生部129根據自D PG解碼器128所供給之資料產生Dependent PG之平面,並將其輸出至合成部130。
合成部130藉由將自B video平面產生部112所供給之Base view video之平面、自B IG平面產生部117所供給之Base IG之平面、以及自B PG平面產生部125所供給之Base PG之平面以特定順序重疊而合成,產生Base view之平面。
又,合成部130藉由將自D video平面產生部113所供給之Dependent view video之平面、自D IG平面產生部121所供給之Dependent IG之平面、以及自D PG平面產生部129所供給之Dependent PG之平面以特定順序重疊而合成,產生Dependent view之平面。
合成部130輸出Base view之平面與Dependent view之平面之資料。將自合成部130所輸出之視訊資料輸出至顯示裝置3,並使Base view之平面與Dependent view之平面交替地顯示,藉此進行3D顯示。
[T-STD(Transport stream-System.Target Decoder,傳送串流系統目標解碼器)之第1例]
此處,就圖21所示之構成中之解碼器及其周邊之構成進行說明。
圖22係表示進行視訊串流之處理之構成的圖。
於圖22中,對與圖21所示之構成相同之構成標附相同之符號。於圖22中,表示有PID濾波器104、B video緩衝器106、交換器107、D video緩衝器108、交換器109、視訊解碼器110、及DPB(Decoded Picture Buffer,已解碼畫面緩衝器)151。圖21中雖未圖示,但於視訊解碼器110之後段設置有記憶已解碼之畫面之資料的DPB151。
PID濾波器104將構成Main TS中所包含之Base view video串流之封包輸出至B video緩衝器106,並將構成Dependent view video串流之封包輸出至交換器107。
例如,於構成Base view video串流之封包中,將PID=0作為PID之固定值進行分配。又,於構成Dependent view video串流之封包中,將0以外之固定值作為PID進行分配。
PID濾波器104將標頭中描述有PID=0之封包輸出至B video緩衝器106,並將標頭中描述有0以外之PID之封包輸出至交換器107。
輸出至B video緩衝器106中之封包係經由TB(Transport Buffer,傳送緩衝器)1、MB(Multiplexing Buffer,多工緩衝器)1記憶於VSB1中。於VSB1中記憶Base view video之基本串流之資料。
對於交換器107,不僅供給自PID濾波器104所輸出之封包,而且藉由圖21之PID濾波器105亦供給構成自Sub TS所提取之Dependent view video串流的封包。
交換器107於自PID濾波器104供給有構成Dependent view video串 流之封包時,將其輸出至D video緩衝器108。
又,交換器107於自PID濾波器105供給有構成Dependent view video串流之封包時,將其輸出至D video緩衝器108。
輸出至D video緩衝器108之封包係經由TB2、MB2記憶於VSB2中。於VSB2中記憶Dependent view video之基本串流之資料。
交換器109依次讀取B video緩衝器106之VSB1中所記憶之Base view video的封包、及D video緩衝器108之VSB2中所記憶之Dependent view video的封包,並輸出至視訊解碼器110。
例如,交換器109以輸出某時刻之Base view video之封包後立即輸出與其相同時刻之Dependent view video之封包的方式,向視訊解碼器110中連續地輸出相同時刻之Base view video之封包與Dependent view video之封包。
於儲存有Base view video之某畫面之資料的封包、及儲存有與其對應之Dependent view video之畫面之資料的封包中,設定有於其編碼時已確保PCR(Program Clock Reference,節目時鐘參考)同步之相同時刻資訊。即使於Base view video串流與Dependent view video串流分別包含於不同之TS中之情形時,於儲存有相對應之畫面之資料的封包中亦設定相同時刻資訊。
時刻資訊係DTS(Decoding Time Stamp,解碼時間戳記)、PTS(Presentation Time Stamp,顯示時間戳記),其設定於各PES(Packetized Elementary Stream,封包化之基本串流)封包中。
即,於將各個串流之畫面按編碼順序/解碼順序排列時位於相同時刻之Base view video之畫面與Dependent view video之畫面成為相對應的畫面。於儲存某Base view video之畫面之資料的PES封包、以及儲存按解碼順序與該畫面相對應之Dependent view video之畫面之資料的PES封包中,設定有相同之DTS。
又,於將各個串流之畫面按顯示順序排列時位於相同時刻之Base view video的畫面與Dependent view video之畫面亦成為相對應的畫面。於儲存某Base view video之畫面之資料的PES封包、以及儲存按顯示順序與該畫面對應之Dependent view video之畫面之資料的PES封包中,設定有相同之PTS。
於如下所述般Base view video串流之GOP(Group Of Pictures,畫面群)結構與Dependent view video串流之GOP結構為相同結構之情形時,按解碼順序相對應之畫面成為顯示順序亦相對應之畫面。
在以串列進行封包之傳送時,以某個時序自B video緩衝器106之VSB1所讀取之封包的DTS1、與以隨後之時序自D video緩衝器108之VSB2所讀取之封包的DTS2如圖22所示,成為表示相同時刻者。
交換器109將自B video緩衝器106之VSB1所讀取之Base view video的封包、或自D video緩衝器108之VSB2所讀取之Dependent view video的封包輸出至視訊解碼器110。
視訊解碼器110對自交換器109所供給之封包依次進行解碼,並使經解碼而獲得之Base view video之畫面之資料、或Dependent view video之畫面之資料記憶於DPB151中。
DPB151中所記憶之已解碼之畫面的資料係以特定之時序由交換器111讀取。又,DPB151中所記憶之已解碼之畫面的資料係藉由視訊解碼器110用於其他畫面之預測。
在以串列進行資料之傳送時,以某個時序所輸出之Base view video之畫面之資料的PTS與以隨後之時序所輸出之Dependent view video之畫面之資料的PTS成為表示相同時刻者。
Base view video串流與Dependent view video串流有時如參照圖5等所說明般多工化於1條TS中,有時如參照圖7所說明般分別包含於不同之TS中。
藉由安裝圖22之解碼器模型,播放裝置1於Base view video串流與Dependent view video串流多工化於1條TS中之情形時、以及分別包含於不同之TS中之情形時均可應對。
例如,於如圖23所示僅假設供給1條TS之狀況之情形時、將Base view video串流與Dependent view video串流分別包含於不同之TS中之情形時等,則無法應對。
又,根據圖22之解碼器模型,由於具有相同之DTS,因此即使於Base view video串流與Dependent view video串流包含於不同之TS中之情形時,亦能以正確之時序將封包供給至視訊解碼器110。
亦可將Base view video用之解碼器與Dependent view video用之解碼器分別並列設置。於此情形時,對Base view video用之解碼器與Dependent view video用之解碼器,分別以相同之時序供給相同時刻之封包。
[第2例]
圖24係表示進行視訊串流之處理之另一構成的圖。
於圖24中,除圖22之構成以外,亦表示有交換器111、L video平面產生部161、以及R video平面產生部162。又,PID濾波器105亦表示於交換器107之前段。關於重複之說明予以適當省略。
L video平面產生部161係產生L view video之平面者,其係替換圖21之B video平面產生部112而設置。
R video平面產生部162係產生R view video之平面者,其係替換圖21之D video平面產生部113而設置。
於該例中,交換器111需要識別並輸出L view之視訊資料與R view之視訊資料。
即,交換器111需要識別出對Base view video之封包進行解碼而獲得之資料為L view與R view中之何者之視訊資料。
又,交換器111需要識別出對Dependent view video之封包進行解碼而獲得之資料為L view與R view中之何者之視訊資料。
為識別L view與R view,係使用參照圖12與圖14所說明之view_type。例如,控制器51將PlayList檔案中所描述之view_type輸出至交換器111。
於view_type之值為0之情形時,交換器111將DPB151中所記憶之資料中,對由PID=0所識別之Base view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。如上所述,view_type之值之0係表示Base view video串流為L view之串流。
於此情形時,交換器111將對由0以外之PID所識別之Dependent view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。
另一方面,於view_type之值為1之情形時,交換器111將DPB151中所記憶之資料中,對由PID=0所識別之Base view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。view_type之值之1係表示Base view video串流為R view之串流。
於此情形時,交換器111將對由0以外之PID所識別之Dependent view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。
L video平面產生部161根據自交換器111所供給之資料產生L view video之平面,並將其輸出至合成部130。
R video平面產生部162根據自交換器111所供給之資料產生R view video之平面,並將其輸出至合成部130。
於以H.264 AVC/MVC規範標準進行有編碼之Base view video、Dependent view video之基本串流內,不存在表示其為L view或為R view的資訊(場)。
因此,藉由將view_type預先設定於PlayList檔案中,記錄裝置可使播放裝置1識別出Base view video串流與Dependent view video串流分別為L view與R view中之何者之串流。
播放裝置1可識別Base view video串流與Dependent view video串流分別為L view與R view中之何者之串流,並對應於識別結果切換輸出目的地。
於對IG、PG之平面亦分別準備有L view與R view之情形時,因可區分視訊串流之L view與R view,故播放裝置1可容易地進行L view彼此、R view彼此之平面之合成。
如上所述,於經由HDMI纜線輸出視訊信號之情形時,要求將L view之信號與R view之信號分別區分之後加以輸出,播放裝置1可應對該要求。
亦可不根據PID而根據view_id,進行對DPB151中所記憶之Base view video之封包進行解碼而獲得的資料與對Dependent view video之封包進行解碼而獲得之資料的識別。
於以H.264 AVC/MVC規範標準進行解碼時,於構成編碼結果之串流的Access Unit(存取單元)中設定view_id。根據view_id,可識別出各Access Unit為哪一個view component之單元。
圖25係表示Access Unit之例的圖。
圖25之Access Unit#1係包含Base view video之資料之單元。Dependent Unit#2係包含Dependent view video之資料之單元。Access Unit(於Dependent view之情形時為Dependent Unit)係以可按照畫面單位進行存取之方式,對例如1個畫面之資料加以匯總之單元。
藉由以H.264 AVC/MVC規範標準進行編碼,將Base view video與Dependent view video之各畫面之資料儲存於上述單元中。於以H.264 AVC/MVC規範標準進行解碼時,如Dependent Unit#2內所示,於各個 view component中附加MVC標頭。MVC標頭中包含view_id。
於圖25之例之情形時,關於Dependent Unit#2,可根據view_id識別出儲存於該單元中之view component為Dependent view video。
另一方面,如圖25所示,於Access Unit#1中所儲存之view component即Base view video中並未附加MVC標頭。
如上所述,Base view video串流係亦用於2D播放之資料。因此,為確保與其之相容性,於Base view video中於編碼時未附加MVC標頭。或者,將曾經附加之MVC標頭去除。關於利用記錄裝置而進行之編碼將於後文說明。
播放裝置1中,關於未附加MVC標頭之view component,係以其view_id為0,則將view component識別為Base view video之方式進行定義(設定)。對於Dependent view video,於編碼時將0以外之值設定為view_id。
藉此,播放裝置1可根據識別為0之view_id識別出Base view video,並可根據實際所設定之0以外之view_id識別出Dependent view video。
於圖24之交換器111中,亦可設為根據如上所述之view_id,進行Base view video之封包進行解碼而獲得之資料與對Dependent view video之封包進行解碼而獲得之資料的識別。
[第3例]
圖26係表示進行視訊串流之處理之進而另一構成的圖。
於圖26之例中,替換圖24之L video平面產生部161而設有B video平面產生部112,且替換R video平面產生部162而設有D video平面產生部113。於B video平面產生部112與D video平面產生部113之後段設有交換器171。於圖26所示之構成中,亦根據view_type切換資料之輸出目的地。
交換器111將DPB151中所記憶之資料中,對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112。又,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至D video平面產生部113。
如上所述,對Base view video之封包進行解碼而獲得之資料與對Dependent view video之封包進行解碼而獲得之資料,係根據PID或view_id而識別。
B video平面產生部112根據自交換器111所供給之資料產生Base view video之平面,並將其輸出。
D video平面產生部113根據自交換器111所供給之資料產生Dependent view video之平面,並將其輸出。
自控制器51對交換器171供給PlayList檔案中所描述之view_type。
於view_type之值為0之情形時,交換器171將自B video平面產生部112所供給之Base view video之平面作為L view video之平面輸出至合成部130。view_type之值之0係表示Base view video串流為L view之串流。
又,於此情形時,交換器171將自D video平面產生部113所供給之Dependent view video之平面作為R view video之平面輸出至合成部130。
另一方面,於view_type之值為1之情形時,交換器171將自D video平面產生部113所供給之Dependent view video之平面作為L view video之平面輸出至合成部130。view_type之值之1係表示Base view video串流為R view之串流。
又,於此情形時,交換器171將自B video平面產生部112所供給之Base view video之平面作為R view video之平面輸出至合成部130。
藉由圖26之構成,播放裝置1亦可識別L view與R view,並根據識別結果切換輸出目的地。
[平面合成模型之第1例]
圖27係表示圖21所示之構成中之合成部130與其前段之構成的圖。
於圖27中,亦對與圖21所示之構成相同之構成標附相同符號。
對交換器181,輸入構成Main TS或Sub TS中所包含之IG串流之封包。於輸入至交換器181中之構成IG串流之封包中包含Base view之封包與Dependent view之封包。
對交換器182,輸入構成Main TS或Sub TS中所包含之PG串流之封包。於輸入至交換器182中之構成PG串流之封包中包含Base view之封包與Dependent view之封包。
如參照圖5等所說明般,關於IG、PG,亦準備有用以進行3D顯示之Base view之串流與Dependent view之串流。
藉由將Base view之IG與Base view video合成而顯示,並將Dependent view之IG與Dependent view video合成而顯示,使用者不僅看到3D之視訊,而且看到3D之按鈕或圖符等。
又,藉由將Base view之PG與Base view video合成而顯示,並將Dependent view之PG與Dependent view video合成而顯示,使用者不僅看到3D之視訊,而且看到3D之字幕文本等。
交換器181將構成Base IG串流之封包輸出至B IG解碼器116,並將構成Dependent IG串流之封包輸出至D IG解碼器120。交換器181具有圖21之交換器114與交換器118之功能。於圖27中,已省略各緩衝器之圖示。
B IG解碼器116對自交換器181所供給之構成Base IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B IG平面產生部117。
B IG平面產生部117根據自B IG解碼器116所供給之資料產生Base IG之平面,並將其輸出至合成部130。
D IG解碼器120對自交換器181所供給之構成Dependent IG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D IG平面產生部121。亦可設為利用1個解碼器對Base IG串流與Dependent IG串流進行解碼。
D IG平面產生部121根據自D IG解碼器120所供給之資料產生Dependent IG之平面,並將其輸出至合成部130。
交換器182將構成Base PG串流之封包輸出至B PG解碼器124,並將構成Dependent PG串流之封包輸出至D PG解碼器128。交換器182具有圖21之交換器122與交換器126之功能。
B PG解碼器124對自交換器182所供給之構成Base PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至B PG平面產生部125。
B PG平面產生部125根據自B PG解碼器124所供給之資料產生Base PG之平面,並將其輸出至合成部130。
D PG解碼器128對自交換器182所供給之構成Dependent PG串流之封包進行解碼,並將經解碼而獲得之資料輸出至D PG平面產生部129。亦可設為利用1個解碼器對Base PG串流與Dependent PG串流進行解碼。
D PG平面產生部129根據自D PG解碼器128所供給之資料產生Dependent PG之平面,並將其輸出至合成部130。
視訊解碼器110對自交換器109(圖22等)所供給之封包依次進行解碼,並將經解碼而獲得之Base view video之資料或Dependent view video之資料輸出至交換器111。
交換器111將對Base view video之封包進行解碼而獲得之資料輸出至B video平面產生部112,並將對Dependent view video之封包進行 解碼而獲得之資料輸出至D video平面產生部113。
B video平面產生部112根據自交換器111所供給之資料產生Base view video之平面,並將其輸出。
D video平面產生部113根據自交換器111所供給之資料產生Dependent view video之平面,並將其輸出。
合成部130包括加法部191至194、及交換器195。
加法部191以將自D PG平面產生部129所供給之Dependent PG之平面重疊於自D video平面產生部113所供給之Dependent view video之平面上之方式進行合成,並將合成結果輸出至加法部193。對自D PG平面產生部129供給至加法部191之Dependent PG之平面實施色彩資訊的轉換處理(CLUT(Color Look Up Table,彩色圖形查表)處理)。
加法部192以使自B PG平面產生部125所供給之Base PG之平面重疊於自B video平面產生部112所供給之Base view video之平面上之方式進行合成,並將合成結果輸出至加法部194。對自B PG平面產生部125供給至加法部192之Base PG之平面實施色彩資訊的轉換處理或使用有偏移值之修正處理。
加法部193以使自D IG平面產生部121所供給之Dependent IG之平面重疊於由加法部191所獲得之合成結果上之方式進行合成,並輸出合成結果作為Dependent view之平面。對自D IG平面產生部121供給至加法部193之Dependent IG之平面實施色彩資訊的轉換處理。
加法部194以使自B IG平面產生部117所供給之Base IG之平面重疊於由加法部192所獲得之合成結果上之方式進行合成,並輸出合成結果作為Base view之平面。對自D IG平面產生部121供給至加法部194之Base IG之平面實施色彩資訊的轉換處理或使用有偏移值之修正處理。
根據以上述方式產生之Base view之平面與Dependent view之平面 而顯示之圖像,成為於前面可看見按鈕或圖符,於其下(縱深方向)可看見字幕文本,於字幕文本下可看見視訊之圖像。
交換器195於view_type之值為0之情形時,輸出Base view之平面作為L view之平面,並輸出Dependent view之平面作為R view之平面。自控制器51將view_type供給至交換器195。
又,交換器195於view_type之值為1之情形時,輸出Base view之平面作為R view之平面,並輸出Dependent view之平面作為L view之平面。所供給之平面中之哪一平面為Base view之平面、哪一平面為Dependent view之平面,係根據PID或view_id予以識別。
如此,於播放裝置1中進行Base view之平面彼此,Dependent view之平面彼此,video、IG、PG之各平面之合成。
於video、IG、PG之所有平面之合成結束之階段,根據view_type,判斷將Base view之平面彼此加以合成之結果為L view還是為R view,並分別輸出R view之平面與L view之平面。
又,於video、IG、PG之所有平面之合成結束之階段,根據view_type,判斷將Dependent view之平面彼此加以合成之結果為L view還是為R view,並分別輸出R view之平面與L view之平面。
[第2例]
圖28係表示合成部130與其前段之構成的圖。
圖28所示之構成之中,對與圖27所示之構成相同之構成標附相同之符號。於圖28中,合成部130之構成與圖27之構成不同。又,交換器111之動作與圖27之交換器111之動作不同。替換B video平面產生部112而設有L video平面產生部161,且替換D video平面產生部113而設有R video平面產生部162。對於重複之說明予以省略。
自控制器51對交換器111與合成部130之交換器201及交換器202供給相同之view_type之值。
與圖24之交換器111同樣地,交換器111根據view_type,切換對Base view video之封包進行解碼而獲得之資料、以及對Dependent view video之封包進行解碼而獲得之資料的輸出目的地。
例如,於view_type之值為0之情形時,交換器111將對Base view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。於此情形時,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。
另一方面,於view_type之值為1之情形時,交換器111將對Base view video之封包進行解碼而獲得之資料輸出至R video平面產生部162。於此情形時,交換器111將對Dependent view video之封包進行解碼而獲得之資料輸出至L video平面產生部161。
L video平面產生部161根據自交換器111所供給之資料產生L view video之平面,並將其輸出至合成部130。
R video平面產生部162根據自交換器111所供給之資料產生R view video之平面,並將其輸出至合成部130。
合成部130包括交換器201、交換器202、及加法部203至206。
交換器201根據view_type切換自B IG平面產生部117所供給之Base IG之平面與自D IG平面產生部121所供給之Dependent IG之平面的輸出目的地。
例如,於view_type之值為0之情形時,交換器201將自B IG平面產生部117所供給之Base IG之平面作為L view之平面輸出至加法部206。於此情形時,交換器201將自D IG平面產生部121所供給之Dependent IG之平面作為R view之平面輸出至加法部205。
另一方面,於view_type之值為1之情形時,交換器201將自D IG平面產生部121所供給之Dependent IG之平面作為L view之平面輸出至加法部206。於此情形時,交換器201將自B IG平面產生部117所供給 之Base IG之平面作為R view之平面輸出至加法部205。
交換器202根據view_type,切換自B PG平面產生部125所供給之Base PG之平面與自D PG平面產生部129所供給之Dependent PG之平面的輸出目的地。
例如,於view_type之值為0之情形時,交換器202將自B PG平面產生部125所供給之Base PG之平面作為L view之平面輸出至加法部204。於此情形時,交換器202將自D PG平面產生部129所供給之Dependent PG之平面作為R view之平面輸出至加法部203。
另一方面,於view_type之值為1之情形時,交換器202將自D PG平面產生部129所供給之Dependent PG之平面作為L view之平面輸出至加法部204。於此情形時,交換器202將自B PG平面產生部125所供給之Base PG之平面作為R view之平面輸出至加法部203。
加法部203以使自交換器202所供給之R view之PG之平面重疊於自R video平面產生部162所供給之R view video之平面上之方式進行合成,並將合成結果輸出至加法部205。
加法部204以使自交換器202所供給之L view之PG之平面重疊於自L video平面產生部161所供給之L view video之平面上之方式進行合成,並將合成結果輸出至加法部206。
加法部205以使自交換器201所供給之R view之IG之平面重疊於由加法部203所獲得之合成結果之平面上之方式進行合成,並輸出合成結果作為R view之平面。
加法部206以使自交換器201所供給之L view之IG之平面重疊於由加法部204所獲得之合成結果之平面上之方式進行合成,並輸出合成結果作為L view之平面。
如此,於播放裝置1中,關於video、IG、PG之各自之Base view之平面與Dependent view之平面,在與其他平面之合成前,判斷哪一 平面為L view或為R view。
於進行上述判斷後,以合成L view之平面彼此、R view之平面彼此的方式進行video、IG、PG之各平面之合成。
[記錄裝置之構成例]
圖29係表示軟體製作處理部301之構成例的方塊圖。
視訊編碼器311具有與圖3之MVC編碼器11相同之構成。視訊編碼器311以H.264 AVC/MVC規範標準對複數個影像資料進行編碼,藉此產生Base view video串流與Dependent view video串流,並輸出至緩衝器312。
例如,視訊編碼器311於編碼時,以相同之PCR為基準設定DTS、PTS。即,視訊編碼器311於儲存某Base view video之畫面之資料的PES封包、及儲存以解碼順序與該畫面對應之Dependent view video之畫面之資料的PES封包中,設定相同之DTS。
又,視訊編碼器311於儲存某Base view video之畫面之資料的PES封包、及儲存以顯示順序與該畫面對應之Dependent view video之畫面之資料的PES封包中,設定相同之PTS。
如下所述,視訊編碼器311於按解碼順序相對應之Base view video之畫面與Base view video之畫面中,分別設定相同之資訊作為與解碼相關之輔助資訊即附加資訊。
進而,如下所述,視訊編碼器311於按解碼順序相對應之Base view video之畫面與Base view video之畫面中,分別設定相同之值作為表示畫面之輸出順序的POC(Picture Order Count,畫面序列號)之值。
又,如下所述,視訊編碼器311以使Base view video串流之GOP結構與Dependent view video串流之GOP結構一致之方式進行編碼。
音訊編碼器313對所輸入之音訊串流進行編碼,並將所獲得之資 料輸出至緩衝器314。對音訊編碼器313,一併輸入Base view video、Dependent view video串流以及記錄於磁碟中之音訊串流。
資料編碼器315對PlayList檔案等之視訊、音訊以外之上述各種資料進行編碼,並將經編碼而獲得之資料輸出至緩衝器316。
資料編碼器315根據視訊編碼器311之編碼,於PlayList檔案中設定表示Base view video串流為L view之串流還是為R view之串流的view_type。亦可不設定Base view video串流之種類,而設定表示Dependent view video串流為L view之串流還是為R view之串流的資訊。
又,資料編碼器315將下述EP_map分別設定於Base view video串流之Clip Information檔案、及Dependent view video串流之Clip Information檔案中。作為解碼開始位置而設定於EP_map中之Base view video串流之畫面與Dependent view video串流之畫面成為相對應的畫面。
多工部317將各個緩衝器中所記憶之視訊資料、音訊資料、以及串流以外之資料與同步信號一併進行多工,並輸出至糾錯編碼部318。
糾錯編碼部318將糾錯用之編碼附加於藉由多工部317而多工化之資料。
調變部319對自糾錯編碼部318所供給之資料實施調變,並將其輸出。調變部319之輸出成為可於播放裝置1中播放之光碟2中所記錄之軟體。
將具有此種構成之軟體製作處理部301設置於記錄裝置中。
圖30係表示包含軟體製作處理部301之構成之例的圖。
亦有將圖30所示之構成之一部分設置於記錄裝置內之情形。
藉由軟體製作處理部301所產生之記錄信號係於母盤前期製作處 理部331中實施母盤製作處理,產生應記錄於光碟2中之格式之信號。所產生之信號被供給至母盤記錄部333。
於記錄用母盤製作部332中準備包含玻璃等而製成之母盤,於其上塗佈包含光阻劑等之記錄材料。藉此,製作記錄用母盤。
於母盤記錄部333中,對應於自母盤前期製作處理部331所供給之記錄信號而使雷射光束調變,並將其照射至母盤上之光阻劑。藉此,使母盤上之光阻劑對應於記錄信號而曝光。其後,對該母盤進行顯影,而使母盤上出現訊坑。
於金屬母盤製作部334中,對母盤實施電鑄等處理,製作轉印有玻璃母盤上之訊坑之金屬母盤。利用該金屬母盤,進而製作金屬壓模,並將其作為成形用模具。
於成形處理部335中,利用射出等將PMMA(polymethyl methacrylate,聚甲基丙烯酸甲酯)或PC(polycarbonate,聚碳酸酯)等材料注入至成形用模具中,並使其固定化。或者,於金屬壓模上塗佈2P(紫外線固化樹脂)等後,照射紫外線而使其固化。藉此,可將金屬壓模上之訊坑轉印至包含樹脂之印模上。
於成膜處理部336中,藉由蒸鍍或濺鍍等而於印模上形成反射膜。或者,藉由旋塗而於印模上形成反射膜。
於後加工處理部337中,對該磁碟實施內外徑之加工,並實施使2片磁碟貼合等之必要處理。進而,貼附標籤或安裝盤芯後,將其插入至匣盒中。如此,記錄有可藉由播放裝置1播放之資料之光碟2製作完成。匣盒
<第2實施形態>
[H.264 AVC/MVC Profile視訊串流之運用1]
於作為光碟2之規格之BD-ROM規格中,如上所述,係採用H.264 AVC/MVC Profile而實現3D影像之編碼。
又,於BD-ROM規格中,係將Base view video串流設為L view之影像之串流,將Dependent view video串流設為R view之影像之串流。
藉由將Base view video編碼為H.264 AVC/High Profile視訊串流,於先前之播放器或僅支持2D播放之播放器中,亦可播放支援3D之磁碟的光碟2。即,可確保向下相容性(backward compatibility)。
具體而言,於H.264 AVC/MVC非對應解碼器中亦可僅解碼(播放)Base view video之串流。即,Base view video串流成為即使於既有之2D之BD播放器中,亦必定可播放之串流。
又,藉由在2D播放與3D播放中共通地使用Base view video串流,可減輕製作時之負荷。於製作側,關於AV串流,除先前進行之作業以外,只要準備Dependent view video串流,便可製作3D對應之磁碟。
圖31係表示記錄裝置中所設置之3D video TS產生部之構成例的圖。
圖31之3D video TS產生部包括MVC編碼器401、MVC標頭去除部402、以及多工器403。如參照圖2所說明般,將所拍攝之L view之影像#1之資料與R view之影像#2之資料輸入至MVC編碼器401中。
與圖3之MVC編碼器11同樣地,MVC編碼器401係以H.264/AVC對L view之影像#1之資料進行編碼,並輸出經編碼而獲得之AVC視訊資料作為Base view video串流。又,MVC編碼器401根據L view之影像#1之資料與R view之影像#2之資料產生Dependent view video串流,並將其輸出。
自MVC編碼器401所輸出之Base view video串流包含儲存有Base view video之各畫面之資料的Access Unit。又,自MVC編碼器401所輸出之Dependent view video串流包含儲存有Dependent view video之各畫面之資料的Dependent Unit。
於構成Base view video串流之各Access Unit與構成Dependent view video串流之各Dependent Unit中,包含描述有用以識別所儲存之view component之view_id的MVC標頭。
作為Dependent view video之MVC標頭中所描述之view_id之值,可使用1以上之固定值。於圖32、圖33之例中亦相同。
即,MVC編碼器401與圖3之MVC編碼器11不同,其係以附加有MVC標頭之形式而產生並輸出Base view video與Dependent view video之各串流的編碼器。於圖3之MVC編碼器11中,僅於以H.264 AVC/MVC規範標準進行編碼之Dependent view video中附加有MVC標頭。
自MVC編碼器401所輸出之Base view video串流被供給至MVC標頭去除部402,Dependent view video串流被供給至多工器403。
MVC標頭去除部402去除構成Base view video串流之各Access Unit中所包含之MVC標頭。MVC標頭去除部402將包含已去除MVC標頭之Access Unit的Base view video串流輸出至多工器403。
多工器403產生包含自MVC標頭去除部402所供給之Base view video串流、以及自MVC編碼器401所供給之Dependent view video串流的TS,並加以輸出。於圖31之例中,係分別輸出包含Base view video串流之TS與包含Dependent view video串流之TS,但亦存在如上所述般多工化於相同之TS加以輸出之情形。
如此,根據安裝之方式,亦可考慮將L view之影像與R view之影像作為輸入,並輸出帶有MVC標頭之Base view video與Dependent view video之各串流的MVC編碼器。
再者,亦可如圖3所示般使圖31所示之構成整體包含於MVC編碼器中。關於圖32、圖33所示之構成亦相同。
圖32係表示記錄裝置中所設置之3D video TS產生部之另一構成 例的圖。
圖32之3D video TS產生部包括混合處理部411、MVC編碼器412、解多工部413、MVC標頭去除部414、以及多工器415。L view之影像#1之資料與R view之影像#2之資料係輸入至混合處理部411中。
混合處理部411將L view之各畫面與R view之各畫面按編碼順序排列。Dependent view video之各畫面係參照所對應之Base view video之畫面進行編碼,因此按編碼順序排列之結果為L view之畫面與R view之畫面交替地排列。
混合處理部411將按編碼順序排列之L view之畫面與R view之畫面輸出至MVC編碼器412。
MVC編碼器412以H.264 AVC/MVC規範標準對自混合處理部411所供給之各畫面進行編碼,並將經編碼而獲得之串流輸出至解多工部413。於自MVC編碼器412所輸出之串流中,多工化有Base view video串流與Dependent view video串流。
自MVC編碼器412所輸出之串流中所包含之Base view video串流包含儲存有Base view video之各畫面之資料的Access Unit。又,自MVC編碼器412所輸出之串流中所包含之Dependent view video串流包含儲存有Dependent view video之各畫面之資料的Dependent Unit。
於構成Base view video串流之各Access Unit與構成Dependent view video串流之各Dependent Unit中,包含描述有用以識別所儲存之view component之view_id的MVC標頭。
解多工部413將自MVC編碼器412所供給之串流中經多工化之Base view video串流與Dependent view video串流解多工,並加以輸出。自解多工部413所輸出之Base view video串流被供給至MVC標頭去除部414,Dependent view video串流被供給至多工器415。
MVC標頭去除部414去除構成自解多工部413所供給之Base view video串流的各Access Unit中所包含之MVC標頭。MVC標頭去除部414將包含已去除MVC標頭之Access Unit的Base view video串流輸出至多工器415。
多工器415產生包含自MVC標頭去除部414所供給之Base view video串流、以及自解多工部413所供給之Dependent view video串流的TS,並加以輸出。
圖33係表示記錄裝置中所設置之3D video TS產生部之進而另一構成例的圖。
圖33之3D video TS產生部包括AVC編碼器421、MVC編碼器422、以及多工器423。L view之影像#1之資料係輸入至AVC編碼器421中,R view之影像#2之資料係輸入至MVC編碼器422中。
AVC編碼器421以H.264/AVC對L view之影像#1之資料進行編碼,並將經編碼而獲得之AVC視訊串流作為Base view video串流輸出至MVC編碼器422與多工器423。於構成自AVC編碼器421所輸出之Base view video串流的各Access Unit中未包含MVC標頭。
MVC編碼器422對自AVC編碼器421所供給之Base view video串流(AVC視訊串流)進行解碼,產生L view之影像#1之資料。
又,MVC編碼器422根據經解碼而獲得之L view之影像#1之資料與自外部所輸入之R view之影像#2之資料產生Dependent view video串流,並將其輸出至多工器423。於構成自MVC編碼器422所輸出之Dependent view video串流的各Dependent Unit中包含有MVC標頭。
多工器423產生包含自AVC編碼器421所供給之Base view video串流與自MVC編碼器422所供給之Dependent view video串流的TS,並將其輸出。
圖33之AVC編碼器421具有圖3之H.264/AVC編碼器21之功能,MVC編碼器422具有圖3之H.264/AVC解碼器22與Dependent view video 編碼器24之功能。又,多工器423具有圖3之多工器25之功能。
藉由將具有此種構成之3D video TS產生部設置於記錄裝置內,可禁止對於儲存Base view video之資料之Access Unit的MVC標頭之編碼。又,可使儲存Dependent view video之資料之Dependent Unit中包含設定有1以上之view_id的MVC標頭。
圖34係表示對Access Unit進行解碼之播放裝置1側之構成的圖。
於圖34中表示參照圖22等所說明之交換器109與視訊解碼器110。自緩衝器中讀取包含Base view video之資料之Access Unit#1與包含Dependent view video之資料之Dependent Unit#2,供給至交換器109。
由於係參照Base view video進行編碼,故而為正確地對Dependent view video進行解碼,首先需要預先對所對應之Base view video進行解碼。
於H.264/MVC規範標準中,解碼器側利用MVC標頭中所包含之view_id計算出各單元之解碼順序。又,於Base view video中規定於其解碼時始終將最小值設定為view_id之值。解碼器自包含設定有最小之view_id之MVC標頭的單元開始解碼,藉此可按正確之順序對Base view video與Dependent view video進行解碼。
然而,於供給至播放裝置1之視訊解碼器110之儲存有Base view video的Access Unit中禁止MVC標頭之編碼。
因此,於播放裝置1中,關於無MVC標頭之Access Unit中所儲存之view component,係以識別為其view_id為0之方式進行定義。
藉此,播放裝置1可根據識別為0之view_id識別Base view video,且可根據實際上所設定之0以外之view_id識別Dependent view video。
圖34之交換器109首先將識別為最小值0被設定為view_id之Access Unit#1輸出至視訊解碼器110,進行解碼。
又,交換器109於Access Unit#1之解碼結束後,使大於0之固定值 Y被設定為view_id之單元即Dependent Unit#2輸出至視訊解碼器110,進行解碼。Dependent Unit#2中所儲存之Dependent view video之畫面係與Access Unit#1中所儲存之Base view video之畫面對應的畫面。
如此,藉由禁止對於儲存有Base view video之Access Unit之MVC標頭的編碼,可使光碟2中所記錄之Base view video串流成為於先前之播放器中亦可播放之串流。
於已確定如於先前之播放器中亦可播放之串流之條件作為將BD-ROM規格擴展而成之BD-ROM 3D標準之Base view video串流的條件時,亦可滿足該條件。
例如,如圖35所示,於預先在Base view video與Dependent view video中分別附加MVC標頭,自Base view video起首先進行解碼之情形時,該Base view video成為於先前之播放器中無法播放者。對於先前之播放器所搭載之H.264/AVC解碼器而言,MVC標頭為未定義之資料。於輸入有此種未定義之資料之情形時,有的解碼器無法忽視該未定義之資料,從而存在處理失敗之虞。
再者,於圖35中,Base view video之view_id為X,Dependent view video之view_id為大於X之Y。
又,即使於已禁止MVC標頭之編碼之情形時,藉由以將Base view video之view_id視作0之方式進行定義,亦可於播放裝置1中先進行Base view video之解碼,其後進行所對應之Dependent view video之解碼。即,可按正確之順序進行解碼。
[運用2]
關於GOP結構
於H.264/AVC標準中,未定義MPEG-2視訊標準中之GOP(Group Of Pictures)結構。
因此,於處理H.264/AVC視訊串流之BD-ROM規格中,定義有 H.264/AVC視訊串流之GOP結構,以實現隨機存取等之利用有GOP結構之各種功能。
於以H.264 AVC/MVC進行編碼而獲得之視訊串流即Base view video串流與Dependent view video串流中,亦與H.264/AVC視訊串流同樣地不存在GOP結構之定義。
Base view video串流為H.264/AVC視訊串流。因此,Base view video串流之GOP結構成為與BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構相同的結構。
關於Dependent view video串流之GOP結構,亦係定義為與Base view video串流之GOP結構、即BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構相同的結構。
BD-ROM規格中所定義之H.264/AVC視訊串流之GOP結構具有如下特徵。
1.關於串流結構之特徵
(1)Open GOP/Closed GOP結構
圖36係表示Closed GOP結構之圖。
圖36之各畫面係構成H.264/AVC視訊串流之畫面。於Closed GOP中包含IDR(Instantaneous Decoding Refresh,瞬間解碼重新更新)畫面。
IDR畫面為I畫面,其係於包含IDR畫面之GOP內最先被解碼。於IDR畫面之解碼時,參照畫面緩衝器(圖22之DPB151)之狀態、至此為止所管理之訊框編號或POC(Picture Order Count)等之與解碼相關的所有資訊被重置。
如圖36所示,於作為Closed GOP之當前GOP中,禁止上述當前GOP之畫面中之按顯示順序較IDR畫面更靠前(以前)的畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較IDR畫面更靠後(以後)的畫面越過IDR畫面而參照前一個GOP之畫面。於H.264/AVC中,亦允許自按顯示順序位於I畫面之後之P畫面起,參照較該I畫面更靠前之畫面。
圖37係表示Open GOP結構之圖。
如圖37所示,於作為Open GOP之當前GOP中,允許上述當前GOP之畫面中之按顯示順序較non-IDR I畫面(非IDR畫面之I畫面)更靠前之畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較non-IDR I畫面更靠後之畫面越過non-IDR I畫面而參照前一個GOP之畫面。
(2)於GOP之開頭之Access Unit中,必定對SPS(Sequence Parameter Set,序列參數集)、PPS(Picture Parameter Set,畫面參數集)進行編碼。
SPS(Sequence Parameter Set)係包含與序列整體之編碼相關之資訊之序列的標頭資訊。於某序列之解碼時,首先需要包含序列之識別資訊等之SPS。PPS(Picture Parameter Set)係包含與畫面整體之編碼相關之資訊之畫面的標頭資訊。
(3)於GOP之開頭之Access Unit中,可對最多30個PPS進行編碼。當於開頭之Access Unit中對編碼有複數個PPS之情形時,各PPS之id(pic_parameter_set_id)不能一樣。
(4)於GOP之開頭以外之Access Unit中,可對最多1個PPS進行編碼。
2.關於參照結構之特徵
(1)要求I.P.B畫面為分別僅包含I.P.B片層之畫面。
(2)要求按顯示順序位於參照畫面(I或P畫面)前一個之B畫面必定按編碼順序於上述參照畫面之後立即進行編碼。
(3)要求參照畫面(I或P畫面)之編碼順序與顯示順序得到維持(為相同)。
(4)禁止自P畫面起參照B畫面。
(5)按編碼順序,當非參照B畫面(B1)位於非參照畫面(B2)之前時,要求顯示順序亦為B1在前。
非參照B畫面係不被按編碼順序位於後面之其他畫面參照之B畫面。
(6)參照B畫面可參照按顯示順序前一個或後一個之參照畫面(I或P畫面)。
(7)非參照B畫面可參照按顯示順序前一個或後一個之參照畫面(I或P畫面)、或者參照B畫面。
(8)要求使連續之B畫面之數量最多為3個。
3.關於GOP內之最大訊框及場數之特徵
GOP內之最大訊框及場數如圖38所示,係根據視訊之框率而規定。
如圖38所示,例如於以框率為29.97個訊框/秒進行交錯顯示之情形時,能夠以1 GOP之畫面顯示之最大場數為60。又,於以框率為59.94個訊框/秒進行漸進顯示之情形時,能夠以1 GOP之畫面顯示之最大訊框數為60。
將具有如上所述之特徵之GOP結構亦定義為Dependent view video串流之GOP結構。
又,規定使Base view video串流之某GOP之結構與所對應之Dependent view video串流之GOP的結構一致,作為限制。
圖39表示以上述方式定義之Base view video串流或Dependent view video串流之Closed GOP結構。
如圖39所示,於作為Closed GOP之當前GOP中,禁止上述當前 GOP之畫面中之按顯示順序較IDR畫面或錨畫面更靠前(以前)的畫面參照前一個GOP之畫面。關於錨畫面將於後文說明。
又,禁止當前GOP之畫面中之按顯示順序較IDR畫面或錨畫面更靠後(以後)的畫面越過IDR畫面或錨畫面而參照前一個GOP之畫面。
圖40係表示Base view video串流或Dependent view video串流之Open GOP結構之圖。
如圖40所示,於作為Open GOP之當前GOP中,允許該當前GOP之畫面中之按顯示順序較non-IDR錨畫面(非IDR畫面之錨畫面)更靠前之畫面參照前一個GOP之畫面。
又,禁止當前GOP之畫面中之按顯示順序較non-IDR錨畫面更靠後之畫面越過non-IDR錨畫面而參照前一個GOP之畫面。
藉由以上述方式定義GOP結構,例如Base view video串流之某GOP與對應之Dependent view video串流之GOP之間為Open GOP,還是為Closed GOP之類的串流結構之特徵成為一致。
又,如與Base view video之非參照B畫面對應之Dependent view video的畫面必定成為非參照B畫面般,畫面之參照結構之特徵亦成為一致。
進而,於Base view video串流之某GOP與對應之Dependent view video串流之GOP之間,訊框數、場數亦成為一致。
如此,藉由將Dependent view video串流之GOP結構定義為與Base view video串流之GOP結構相同之結構,可使串流間之相對應之GOP彼此具有相同的特徵。
又,即使於如自串流之中途進行解碼之情形時,亦可順利地進行解碼。自串流之中途之解碼係例如於隨時點播或隨機存取時進行。
於如訊框數不同般,串流間之相對應之GOP彼此之結構不同之情形時,有可能會產生其中一串流可正常地播放,而另一串流無法播放 之情形,但該情形可得到防止。
於使串流間之相對應之GOP彼此之結構不同而自串流之中途開始解碼之情形時,亦有可能產生於Dependent view video之解碼所必需之Base view video之畫面未被解碼之情形。於此情形時,作為結果,無法對Dependent view video之畫面進行解碼,從而無法進行3D顯示。又,根據安裝之方法,存在Base view video之圖像亦無法輸出之可能,但該等不良情況亦可避免。
[EP_map]
藉由利用Base view video串流與Dependent view video串流之GOP結構,可於EP_map中設定隨機存取或隨時點播時之解碼之開始位置。EP_map係包含於Clip Information檔案中。
作為於EP_map中可設定為解碼開始位置之畫面之限制,規定有如下2個。
1.將可設定於Dependent view video串流中之位置,作為繼SubsetSPS之後配置之錨畫面的位置、或繼SubsetSPS之後配置之IDR畫面的位置。
錨畫面係由H.264 AVC/MVC規範標準所規定之畫面,且係於時間方向上不進行參照,而進行view間之參照加以編碼之Dependent view video串流之畫面。
2.於將Dependent view video串流之某畫面作為解碼開始位置而設定於EP_map中之情形時,所對應之Base view video串流之畫面亦作為解碼開始位置設定於EP_map中。
圖41係表示滿足上述2個限制之EP_map中所設定之解碼開始位置之例的圖。
於圖41中,按解碼順序表示有構成Base view video串流之畫面以及構成Dependent view video串流之畫面。
Dependent view video串流之畫面中之標附顏色而表示之畫面P1為錨畫面或IDR畫面。於包含畫面P1之資料的Access Unit中包含SubsetSPS。
於圖41之例中,如由中空箭頭#11所示般,畫面P1係於Dependent view video串流之EP_map中設定為解碼開始位置。
與畫面P1對應之Base view video串流之畫面即畫面P11為IDR畫面。如由中空箭頭#12所示般,作為IDR畫面之畫面P11亦係於Base view video串流之EP_map中設定為解碼開始位置。
於因指示隨機存取或隨時點播,而自畫面P1與畫面P11開始解碼之情形時,首先進行畫面P11之解碼。由於係IDR畫面,故可不參照其他畫面而對畫面P11進行解碼。
當畫面P11之解碼結束時,接下來對畫面P1進行解碼。於畫面P1之解碼時參照已解碼之畫面P11。由於為錨畫面或IDR畫面,因此只要畫面P11之解碼結束,便可進行畫面P1之解碼。
其後,按Base view video之畫面P1之下一個畫面、Dependent view video之畫面P11之下一個畫面、...之順序進行解碼。
由於相對應之GOP之結構相同,且自相對應之位置開始解碼,因此無論就Base view video還是就Dependent view video而言,均可順利地對EP_map中所設定之畫面以後的畫面進行解碼。藉此可實現隨機存取。
圖41之排列於較沿垂直方向表示之虛線更靠左側之畫面成為未解碼之畫面。
圖42係表示於不定義Dependent view video之GOP結構之情形時所產生之問題的圖。
於圖42之例中,標附顏色而表示之Base view video之IDR畫面即畫面P21係作為解碼開始位置而設定於EP_map中。
於自Base view video之畫面P21開始解碼之情形時,係考慮與畫面P21對應之Dependent view video之畫面即畫面P31並非錨畫面的情形。於未定義GOP結構之情形時,不保證與Base view video之IDR畫面對應之Dependent view video的畫面為IDR畫面或錨畫面。
於此情形時,即使於Base view video之畫面P21之解碼結束時,亦無法對畫面P31進行解碼。於畫面P31之解碼時亦需要時間方向之參照,但較沿垂直方向表示之虛線更靠左側(按解碼順序為前面)之畫面未被解碼。
由於無法對畫面P31進行解碼,因此亦無法對參照畫面P31之Dependent view video之其他畫面進行解碼。
藉由預先定義Dependent view video串流之GOP結構,可避免上述情況。
不僅對於Base view video,而且對於Dependent view video亦於EP_map中預先設定解碼開始位置,藉此播放裝置1可容易地特別指定解碼之開始位置。
於僅將Base view video之某畫面作為解碼開始位置而預先設定於EP_map中之情形時,播放裝置1必需藉由計算而特別指定與解碼開始位置之畫面對應之Dependent view video之畫面,從而處理會變得複雜。
即使相對應之Base view video與Dependent view video之畫面彼此具有相同的DTS/PTS,當視訊之位元率不同時,亦無法達到使TS中之位元組排列一致之程度,因此於該情形時處理變得複雜。
圖43係表示進行以包含Base view video串流與Dependent view video串流之MVC串流為對象之隨機存取或隨時點播時成為必需的畫面查找之概念之圖。
如圖43所示,於進行隨機存取或隨時點播時,查找non-IDR錨畫 面或IDR畫面,而確定解碼開始位置。
此處,對EP_map進行說明。對將Base view video之解碼開始位置設定於EP_map中之情形進行說明,但關於Dependent view video之解碼開始位置,亦同樣地將其設定於Dependent view video之EP_map中。
圖44係表示光碟2上所記錄之AV串流之結構的圖。
包含Base view video串流之TS包括具有6144個位元組之尺寸之整數個對準單元(Aligned Unit)。
對準單元包含32個源包(Source Packet)。源包具有192個位元組。1個源包包含4個位元組之傳送封包額外標頭(TP_extra header)與188個位元組之傳送封包(Transport Packet)。
Base view video之資料被封包化為MPEG2 PES封包。於PES封包之資料部附加PES封包標頭而形成PES封包。於PES封包標頭中包含特別指定PES封包所傳送之基本串流之種類的串流ID。
PES封包進而被封包化為傳送封包。即,將PES封包分割成傳送封包之有效負載之尺寸,於有效負載中附加傳送封包標頭而形成傳送封包。傳送封包標頭包含有效負載中所儲存之資料之識別資訊即PID。
再者,於源包中,將Clip AV串流之開頭設為例如0,對每個源包賦予逐個地增加1之源包編號。又,對準單元係自源包之第1個位元組開始。
EP_map係用以當供給有Clip之存取點之時間戳記時,檢索應於Clip AV串流檔案中開始資料之讀取的資料位址。EP_map係自基本串流及傳送串流中提取之登入點之清單。
EP_map具有用以在AV串流中檢索應開始解碼之登入點之位址資訊。EP_map中之1個EP資料係由PTS、以及與PTS對應之Access Unit 之AV串流中的位址所組成之對所構成。於AVC/H.264中,1個Access Unit中儲存1個畫面份之資料。
圖45係表示Clip AV串流之例的圖。
圖45之Clip AV串流係包含以PID=x識別之源包之視訊串流(Base view video串流)。視訊串流對於每個源包,藉由源包內之傳送封包之標頭中所包含的PID加以區分。
於圖45中,對視訊串流之源包中之包含IDR畫面之開頭位元組的源包標附有顏色。未標附顏色之四角表示包含未成為隨機存取點之資料的源包、或包含其他串流之資料之源包。
例如,包含以PID=x而區分之視訊串流之可隨機存取之IDR畫面之開頭位元組的源包編號為X1的源包,於Clip AV串流之時間軸上係配置於PTS=pts(x1)之位置。
同樣地,將其次包含可隨機存取之IDR畫面之開頭位元組的源包設為源包編號為X2之源包,配置於PTS=pts(x2)之位置。
圖46係概念性地表示圖45之Clip AV串流所對應之EP_map之例的圖。
如圖46所示,EP_map包括stream_PID、PTS_EP_start、及SPN_EP_start。
stream_PID係表示傳送視訊串流之傳送封包的PID。
PTS_EP_start係表示自可隨機存取之IDR畫面起開始之Access Unit之PTS。
SPN_EP_start係表示包含藉由PTS_EP_start之值而參照之Access Unit之第1位元組的源包之位址。
將視訊串流之PID儲存於stream_PID中,產生表示PTS_EP_start與SPN_EP_start之對應關係的表格資訊EP_map_for_one_stream_PID()。
例如,於PID=x之視訊串流之EP_map_for_one_stream_ PID[0]中,分別對應地描述PTS=pts(x1)與源包編號X1、PTS=pts(x2)與源包編號X2、...、PTS=pts(xk)與源包編號Xk。
關於多工化於相同之Clip AV串流中之各個視訊串流,亦產生此種表格。將包含所產生之表格之EP_map儲存於與該Clip AV串流對應之Clip Information檔案中。
圖47係表示SPN_EP_start所指之源包之資料結構之例的圖。
如上所述,源包係以於188個位元組之傳送封包中附加有4個位元組之標頭的形式而構成。傳送封包部分包含標頭部(TP header)與有效負載部。SPN_EP_start表示包含自IDR畫面起開始之Access Unit之第1位元組之源包的源包編號。
於AVC/H.264中,Access Unit即畫面係自AU定界符(Access Unit Delimiter,存取單元定界符)起開始。於AU定界符之後接有SPS與PPS。於其後,儲存IDR畫面之片層之資料的開頭部分或整體。
位於傳送封包之TP標頭處之payload_unit_start_indicator的值為1,係表示自該傳送封包之有效負載起開始新的PES封包。自該源包起開始Access Unit。
針對Base view video串流與Dependent view video串流,分別準備此種EP_map。
圖48係表示EP_map中所包含之子表格的圖。
如圖48所示,EP_map被分成作為子表格之EP_coarse與EP_fine。子表格EP_coarse係用以按照較大之單位進行檢索之表格,子表格EP_fine係用以按照更精密之單位進行檢索之表格。
如圖48所示,子表格EP_fine係使入口PTS_EP_fine與入口SPN_EP_fine相對應之表格。於子表格內,對於各入口,例如使最上行為「0」以升序賦予入口編號。於子表格EP_fine中,將入口 PTS_EP_fine與入口SPN_EP_fine相加之資料寬度設為4個位元組。
子表格EP_coarse係使入口ref_to_EP_fine_id、入口PTS_EP_coarse及入口SPN_EP_coarse相對應之表格。使入口ref_to_EP_fine_id、入口PTS_EP_coarse及入口SPN_EP_coarse相加之資料寬度為8個位元組。
子表格EP_fine之入口包括入口PTS_EP_start及入口SPN_EP_start之各自之LSB(Least Significant Bit,最低有效位元)側之位元資訊。又,子表格EP_coarse之入口包括入口PTS_EP_start及入口SPN_EP_start之各自之MSB(Most Significant Bit,最高有效位元)側之位元資訊、以及與其對應之子表格EP_fine之表格中之入口編號。該入口編號係具有自相同之資料PTS_EP_start中所取出之LSB側之位元資訊的子表格EP_fine中之入口之編號。
圖49係表示入口PTS_EP_coarse及入口PTS_EP_fine之格式之例的圖。
入口PTS_EP_start係資料長度為33位元之值。若將MSB之位元設為第32位元,將LSB之位元設為第0位元,則於入口PTS_EP_coarse中係使用自入口PTS_EP_start之第32位元至第19位元為止的14個位元。藉由入口PTS_EP_coarse,能夠以5.8秒,在26.5小時為止之範圍內檢索解像度。
又,於入口PTS_EP_fine中係使用自入口PTS_EP_start之第19位元至第9位元為止的11個位元。藉由入口PTS_EP_fine,能夠以5.7毫秒在11.5秒為止之範圍內檢索解像度。再者,第19位元於入口PTS_EP_coarse與入口PTS_EP_fine中被共通地使用。又,不使用自LSB側之第0位元至第8位元為止的9個位元。
圖50係表示入口SPN_EP_coarse及入口SPN_EP_fine之格式之例的圖。
入口SPN_EP_start係資料長度為32位元之值。若將MSB之位元設為第31位元,將LSB之位元設為第0位元,則於入口SPN_EP_coarse中係使用自入口SPN_EP_start之第31位元至第0位元為止的所有位元。
又,於入口SPN_EP_fine中係使用自入口SPN_EP_start之第16位元至第0位元為止的17個位元。
關於使用EP_coarse與EP_fine而進行之隨機存取時之讀取開始位址之確定方式將於後文敍述。關於EP_map,亦記載於例如日本專利特開2005-348314號公報中。
[運用3]
解碼時,作為Dependent view video串流之畫面之POC(Picture Order Count)之值,使用與對應之Base view video串流之畫面之POC之值相同的值。POC係表示AVC/H.264標準中所規定之畫面之顯示順序的值,在解碼時藉由計算而求出。
例如,藉由計算而求出Base view video串流之畫面之POC之值,按由所求出之值表示之順序,自解碼器輸出Base view video串流之畫面。又,於輸出Base view video串流之畫面之同時,輸出對應之Dependent view video串流之畫面。藉此,實質上,將與Base view video串流之畫面之POC之值相同之值用作Dependent view video串流之畫面之POC之值。
又,於構成Base view video串流與Dependent view video串流之各畫面之資料中附加SEI(Supplemental Enhancement Information,補充增強資訊)。SEI係由H.264/AVC所規定之包含與解碼相關之輔助資訊的附加資訊。
於作為SEI中之一個的Picture Timing SEI(畫面時序SEI)中,包含解碼時之自CPB(Coded Picture Buffer,編碼畫面緩衝器)之讀取時刻、自DPB之讀取時刻等時刻資訊。又,包含顯示時刻之資訊、畫面 結構之資訊等。
圖51係表示Access Unit之構成的圖。
如圖51所示,包含Base view video串流之1個畫面資料的Base view video之Access Unit、與包含Dependent view video串流之1個畫面資料的Dependent view video之Dependent Unit具有相同構成。1個單元包括表示各單元之邊界的定界符、SPS、PPS、SEI、及畫面資料。
於編碼時,將Base view video串流之畫面中所附加之Picture Timing SEI與Dependent view video串流之畫面中所附加之Picture Timing SEI統一運用。
例如,當按Base view video串流之編碼順序為第1個的畫面中附加有表示自CPB之讀取時刻為T1的Picture Timing SEI時,按Dependent view video串流之編碼順序為第1個的畫面中亦附加表示自CPB之讀取時刻為T1的Picture Timing SEI。
即,於Base view video串流與Dependent view video串流之各畫面中,對於按編碼順序或解碼順序相對應之畫面彼此附加相同內容之Picture Timing SEI。
藉此,播放裝置1可將附加有相同Picture Timing SEI之view component作為按解碼順序相對應之view component來處理。
Picture Timing SEI係Base view video與Dependent view video之基本串流中所含者,在播放裝置1中被視訊解碼器110所參照。
視訊解碼器110可根據基本串流中所包含之資訊,識別出對應之view component。又,視訊解碼器110可根據Picture Timing SEI以正確之解碼順序進行解碼處理。
由於不需要為識別對應之view component而參照PlayList等,故可處理System Layer(系統層)或其以上之Layer(層)中產生有問題之情形。又,亦可實現不依賴於產生問題之Layer之解碼器安裝。
[記錄裝置之構成]
圖52係表示依據上述運用進行編碼,將Base view video串流與Dependent view video串流記錄於記錄媒體中之記錄裝置之構成例的方塊圖。
於圖52之記錄裝置501中,產生Base view video串流,並且產生D1 view video之串流作為Dependent view video串流。即,於記錄裝置501中,不產生如參照圖3而說明之Depth之資訊。
如圖52所示,記錄裝置501包括資訊產生部511、MVC編碼器512、及記錄部513。資訊產生部511對應於上述圖29之資料編碼器315,MVC編碼器512對應於圖29之視訊編碼器311。L圖像資料與R圖像資料被輸入至MVC編碼器512。
資訊產生部511產生資料庫資訊,該資料庫資訊包括播放清單檔案、包含Base view video用之EP_map的Clip Information檔案、及包含Dependent view video用之EP_map的Clip Information檔案。藉由資訊產生部511之資料庫資訊之產生,係依據使用者(內容製作者)對記錄裝置501之輸入而進行。資訊產生部511將所產生之資料庫資訊輸出至記錄部513。
又,資訊產生部511產生附加於Base view video之各畫面中的圖51之SPS、PPS、SEI等Base view video用之附加資訊、及附加於Dependent view video之各畫面中的SPS、PPS、SEI等Dependent view video用之附加資訊。藉由資訊產生部511而產生之Base view video用之附加資訊與Dependent view video用之附加資訊中分別包含Picture Timing SEI。資訊產生部511將所產生之附加資訊輸出至MVC編碼器512。
MVC編碼器512依據H.264 AVC/MVC規範標準對L圖像資料與R圖像資料進行編碼,產生對L圖像資料進行編碼而獲得之Base view video之各畫面之資料、及對R圖像資料進行編碼而獲得之Dependent view video之各畫面之資料。
又,MVC編碼器512於Base view video之各畫面之資料中附加由資訊產生部511所產生之Base view video用之附加資訊,藉此產生Base view video串流。同樣地,MVC編碼器512於Dependent view video之各畫面之資料中附加由資訊產生部511所產生之Dependent view video用之附加資訊,藉此產生Dependent view video串流。
MVC編碼器512將所產生之Base view video串流與Dependent view video串流輸出至記錄部513。
記錄部513將自資訊產生部511所供給之資料庫資訊、及自MVC編碼器512所供給之Base view video串流與Dependent view video串流記錄於BD等記錄媒體中。藉由記錄部513而記錄有資料之記錄媒體係例如作為上述光碟2而提供至播放側之裝置。
再者,於記錄部513中,在記錄Base view video串流與Dependent view video串流之前,進行各種處理。例如進行如下處理:將Base view video串流與Dependent view video串流多工化於相同之TS中,或分別與其他資料一併多工化於不同之TS中的處理;自Base view video之Access Unit中去除MVC標頭的處理;將Base view video串流與Dependent view video串流分割成源包的封包化處理等。
圖53係表示圖52之MVC編碼器512之構成例的方塊圖。
如圖53所示,MVC編碼器512包括Base view video編碼器521與Dependent view video編碼器522。L圖像資料被輸入至Base view video編碼器521與Dependent view video編碼器522,R圖像資料被輸入至Dependent view video編碼器522。亦可將R圖像資料輸入至Base view video編碼器521,編碼為Base view video。
Base view video編碼器521例如依據H.264 AVC標準對L圖像資料 進行編碼。又,Base view video編碼器521於經編碼而獲得之各畫面中附加Base view video用之附加資訊,作為Base view video串流加以輸出。
Dependent view video編碼器522適當地參照L圖像資料,依據H.264 AVC/MVC規範標準對R圖像資料進行編碼。又,Dependent view video編碼器522於經編碼而獲得之各畫面中附加Dependent view video用之附加資訊,作為Dependent view video串流加以輸出。
[記錄裝置之動作]
此處,參照圖54之流程圖,對記錄裝置501之記錄處理進行說明。
於步驟S1中,資訊產生部511產生包含播放清單檔案與Clip Information檔案之資料庫資訊、及附加於L圖像資料與R圖像之各自之畫面中的附加資訊。
於步驟S2中,藉由MVC編碼器512進行編碼處理。將藉由編碼處理而產生之Base view video串流與Dependent view video串流供給至記錄部513。
於步驟S3中,記錄部513使藉由資訊產生部511而產生之資料庫資訊、及藉由MVC編碼器512而產生之Base view video串流與Dependent view video串流記錄於記錄媒體中。其後,處理結束。
其次,參照圖55之流程圖,對圖54之步驟S2中所進行之編碼處理進行說明。
於步驟S11中,Base view video編碼器521選擇所輸入之L圖像中之1個畫面(1訊框)作為編碼對象之畫面。
於步驟S12中,判定Base view video編碼器521是否將編碼對象之L圖像編碼為I畫面或IDR畫面。於設定有構成1 GOP之畫面之數量、1GOP中所包含之I畫面或IDR畫面之數量等編碼條件時,編碼對象之L 圖像之畫面類型例如係根據按編碼順序排列時之畫面之位置而確定。
當於步驟S12中判定為編碼為I畫面或IDR畫面之情形時,於步驟S13中,Base view video編碼器521將編碼對象之L圖像之畫面類型確定為I畫面或IDR畫面。
於步驟S14中,Dependent view video編碼器522於所輸入之R圖像中,檢測出與步驟S13中將畫面類型確定為I畫面或IDR畫面之L圖像對應的1個畫面。如上所述,於按顯示順序、編碼順序排列有各畫面時,處於相同時刻、相同位置之L圖像與R圖像成為相對應的畫面。
於步驟S15中,Dependent view video編碼器522將所檢測出之R圖像之畫面類型確定為Anchor(錨)畫面。
另一方面,當於步驟S12中判定為不將編碼對象之L圖像編碼為I畫面或IDR畫面之情形時,於步驟S16中,Base view video編碼器521根據編碼對象之L圖像之位置確定畫面類型。
於步驟S17中,Dependent view video編碼器522於所輸入之R圖像中,檢測出與步驟S16中已確定畫面類型之L圖像對應的1個畫面。
於步驟S18中,Dependent view video編碼器522將當前被選擇為編碼對象之L圖像之接下來可能輸出的類型確定為所檢測出之R圖像之畫面類型。
於步驟S19中,Base view video編碼器521依據所確定之畫面類型對編碼對象之L圖像進行編碼。又,Dependent view video編碼器522依據所確定之畫面類型對步驟S14或S17中所檢測出之R圖像進行編碼。
於步驟S20中,Base view video編碼器521將附加資訊附加於經編碼而獲得之Base view video之畫面中。又,Dependent view video編碼器522將附加資訊附加於經編碼而獲得之Dependent view video之畫面中。
於步驟S21中,Base view video編碼器521判定當前選擇為編碼對象之L圖像是否為最後畫面。
當於步驟S21中判定為當前選擇為編碼對象之L圖像並非為最後畫面之情形時,返回至步驟S11,切換編碼對象之畫面,重複上述處理。當於步驟S21中判定為當前所選擇之L圖像為最後畫面之情形時,返回至圖54之步驟S2,進行以後的處理。
藉由上述處理,能夠以編碼後之Base view video串流、Dependent view video串流中GOP結構成為相同之方式對L圖像之資料與R圖像之資料進行編碼。
又,能夠於Base view video之畫面與對應之Dependent view video之畫面中分別附加相同內容之附加資訊。
[播放裝置之構成]
圖56係表示使藉由記錄裝置501而記錄有資料之記錄媒體播放之播放裝置之構成例的方塊圖。
如圖56所示,播放裝置502包括獲取部531、控制部532、MVC解碼器533、及輸出部534。獲取部531對應於例如與圖20之磁碟驅動器52,控制部532對應於圖20之控制器51。MVC解碼器533對應於圖20之解碼部56之一部分構成。
獲取部531依據控制部532之控制,自藉由記錄裝置501而記錄資料且安裝於播放裝置502中之記錄媒體讀取資料。獲取部531將自記錄媒體所讀取之資料庫資訊輸出至控制部532,並將Base view video串流與Dependent view video串流輸出至MVC解碼器533。
控制部532控制自記錄媒體之資料之讀取等的播放裝置502之整體動作。
例如,控制部532藉由控制獲取部531而使其自記錄媒體讀取,來獲取資料庫資訊。又,控制部532於被指示播放包含於所獲取之資 料庫資訊中之3D播放用之播放清單(圖13之3D_PL_type之值為01的播放清單)時,將播放清單中所描述之串流ID等資訊供給至獲取部531,並自記錄媒體讀取Base view video串流與Dependent view video串流。 控制部532控制MVC解碼器533,而使Base view video串流與Dependent view video串流解碼。
MVC解碼器533依據控制部532之控制,對Base view video串流與Dependent view video串流進行解碼。MVC解碼器533將對Base view video串流與Dependent view video串流進行經解碼而獲得之資料輸出至輸出部534。例如,MVC解碼器533依據view_type(圖14),將對Base view video串流進行經解碼而獲得之資料作為L圖像資料,將對Dependent view video串流進行經解碼而獲得之資料作為R圖像資料,分別加以輸出。
輸出部534將自MVC解碼器533所供給之L圖像資料與R圖像資料輸出至顯示器,顯示L圖像與R圖像。
圖57係表示MVC解碼器533之構成例的方塊圖。
如圖57所示,MVC解碼器533包括CPB541、解碼器542、及DPB543。CPB541包含圖22之B video緩衝器106與D video緩衝器108。解碼器542對應於圖22之視訊解碼器110,DPB543對應於圖22之DPB151。雖已省略圖示,但於CPB541與解碼器542之間亦設置有與圖22之交換器109對應之電路。
CPB541記憶自獲取部531所供給之Base view video串流之資料與Dependent view video串流之資料。CPB541中所記憶之Base view video串流之資料係以構成1個Access Unit之資料之單位,由解碼器542讀取。CPB541中所記憶之Dependent view video串流之資料亦係同樣地,以構成1個Dependent Unit之資料之單位,由解碼器542讀取。
解碼器542對自CPB541所讀取之資料進行解碼,並將經解碼而獲 得之Base view video、Dependent view video之各畫面之資料輸出至DPB543。
DPB543記憶自解碼器542所供給之資料。DPB543中所記憶之Base view video、Dependent view video之各畫面之資料,在對按解碼順序後面的畫面進行解碼時,被解碼器542所適當地參照。DPB543中所記憶之各畫面之資料係依據由Picture Timing SEI表示之各畫面之顯示時刻等而輸出。
[播放裝置之動作]
此處,參照圖58之流程圖,對播放裝置502之播放處理進行說明。
再者,於圖58中,以進行Base view video串流之處理後進行Dependent view video串流之處理之方式表示有各步驟,但Base view video串流之處理與Dependent view video串流之處理可適當地同時進行。關於與Base view video串流及Dependent view video串流之處理相關的其他流程圖亦相同。
於步驟S31中,獲取部531自安裝於播放裝置502中之記錄媒體讀取資料。獲取部531將所讀取之資料庫資訊輸出至控制部532,並將Base view video串流之資料與Dependent view video串流之資料輸出至MVC解碼器533。
於步驟S32中,MVC解碼器533進行解碼處理。
於步驟S33中,輸出部534將自MVC解碼器533所供給之L圖像資料與R圖像資料輸出至顯示器,顯示L圖像與R圖像。其後,處理結束。
其次,參照圖59及圖60之流程圖,對圖58之步驟S32中所進行之解碼處理進行說明。
於步驟S41中,CPB541記憶Base view video串流之資料與 Dependent view video串流之資料。CPB541中所記憶之資料係藉由控制部532適當地讀取。
於步驟S42中,控制部532參照CPB541中所記憶之資料,檢測出Base view video串流之Access Unit之邊界。Access Unit之邊界之檢測係藉由例如檢測Access Unit定界符而進行。自某位置之邊界至下一個邊界為止之資料成為1個Access Unit之資料。於1個Access Unit之資料中,包含Base view video之1個畫面之資料、及附加於其中之附加資訊。
於步驟S43中,控制部532判定在檢測出邊界之Base view video之1個Access Unit中是否編碼有(含有)Picture Timing SEI。
當於步驟S43中判定為編碼有Picture Timing SEI之情形時,於步驟S44中,控制部532讀取Picture Timing SEI。
於步驟S45中,控制部532配合所讀取之Picture Timing SEI中所描述之提取時刻(讀取時刻),將檢測出邊界之1個Access Unit之資料中的Base view video之畫面資料自CPB541供給至解碼器542。
另一方面,當於步驟S43中判定為未編碼有Picture Timing SEI之情形時,於步驟S46中,控制部532配合系統資訊(DTS),將檢測出邊界之1個Access Unit之資料中的Base view video之畫面資料自CPB541供給至解碼器542。
於步驟S47中,解碼器542對自CPB541所供給之資料進行解碼。於Base view video之畫面之解碼時,適當地參照DPB543中所記憶之已解碼之畫面。
於步驟S48中,DPB543記憶藉由解碼而獲得之Base view video之畫面之資料。
於步驟S49中,控制部532計算經解碼之Base view video之畫面之POC,並加以記憶。
於步驟S50中,控制部532檢測出Dependent view video串流之Dependent Unit之邊界,並檢測出在步驟S42中檢測出邊界之Base view video串流之Access Unit所對應的Dependent view video串流之Dependent Unit。
於步驟S51中,控制部532判定在檢測出邊界之Dependent view video之1個Dependent Unit中是否編碼有Picture Timing SEI。
當於步驟S51中判定為編碼有Picture Timing SEI之情形時,於步驟S52中,控制部532讀取Picture Timing SEI。
於步驟S53中,控制部532配合所讀取之Picture Timing SEI中所描述之提取時刻,將檢測出邊界之1個Dependent Unit之資料中的Dependent view video之畫面資料自CPB541供給至解碼器542。
另一方面,當於步驟S51中判定Picture Timing SEI未經編碼之情形時,於步驟S54中,控制部532配合系統資訊,將檢測出邊界之1個Dependent Unit之資料中的Dependent view video之畫面之資料自CPB541供給至解碼器542。
再者,當Base view video用之解碼器與Dependent view video用之解碼器分別設置於MVC解碼器533中時,將CPB541中所記憶之Dependent view video之畫面之資料,以與Base view video之畫面之資料自CPB541被供給至Base view video用之解碼器的時序相同之時序,供給至Dependent view video用之解碼器。
於步驟S55中,解碼器542對自CPB541所供給之資料進行解碼。於Dependent view video之畫面之解碼時,適當地參照DPB543中所記憶之已解碼之Base view video之畫面、及Dependent view video之畫面。
於步驟S56中,DPB543記憶藉由解碼而獲得之Dependent view video之畫面之資料。藉由重複上述處理,於DPB543中記憶已計算出 POC之值的複數個Base view video之畫面及對應之Dependent view video之畫面。對於Dependent view video之畫面並不進行POC之值之計算。
於步驟S57中,控制部532使DPB543中所記憶之Base view video之畫面中POC之值最小的畫面自DPB543輸出,並且以相同時序使對應之Dependent view video之畫面自DPB543輸出。將自DPB543所輸出之畫面供給至輸出部534。
於Base view video之畫面中附加有Picture Timing SEI之情形時,該畫面之輸出係配合Picture Timing SEI中所描述之顯示時刻進行。另一方面,於未附加Picture Timing SEI之情形時,係配合由系統資訊(PTS)所表示之顯示時刻來進行。
於步驟S58中,控制部532判定Base view video與Dependent view video之所有畫面之輸出是否結束。控制部532於步驟S58中判定為所有畫面之輸出未結束時,返回至步驟S41,重複進行上述處理。於步驟S58中判定為所有畫面之輸出結束時,返回至圖58之步驟S32,進行其後之處理。
藉由上述處理,能夠以GOP結構變得相同之方式進行編碼,並且能夠對在各畫面中附加有相同附加資訊之Base view video串流與Dependent view video串流進行解碼。
其次,參照圖61之流程圖,對使用EP_map而進行之播放裝置502之隨機存取播放之處理進行說明。
於步驟S71中,控制部532控制獲取部531,讀取Base view video串流之Clip與Dependent view video串流之Clip之各自之Clip Information檔案。又,控制部532獲取Base view video用之EP_map與Dependent view video用之EP_map。如上所述,關於EP_map,分別準備Base view video用之EP_map與Dependent view video用之EP_map。
於步驟S72中,控制部532根據使用者之操作等而獲取表示隨機存取播放之開始時刻的PTS。例如,當自選單畫面選擇設定於視訊串流中之章節時,獲取所選擇之章節之PTS。
於步驟S73中,控制部532根據Base view video用之EP_map,特別指定與所獲取之播放開始時刻之PTS對應之SPN_EP_start所表示的源包編號。又,控制部532讀取記錄有藉由所特別指定之源包編號而識別出之源包的記錄媒體上之位址,並將其設定為開始位址。
例如,根據構成PTS之32位元中之MSB側之14位元,以作為Base view video用之EP_map之子表格的EP_coarse為對象進行檢索,並特別指定PTS_EP_coarse及對應之ref_to_EP_fine_id、SPN_EP_coarse。又,根據所特別指定之ref_to_EP_fine_id,以EP_fine為對象進行檢索,並特別指定與自LSB側之第10位元算起的11位元之值對應的入口PTS_EP_fine。
特別指定與PTS_EP_fine對應之SPN_EP_coarse所表示的源包編號,讀取記錄有藉由源包編號而識別出之源包之位址,將其確定為開始位址。各個源包之記錄媒體上之位址係藉由對記錄媒體中所記錄之資料進行管理的檔案系統而特別指定。
於步驟S74中,控制部532根據Dependent view video用之EP_map,特別指定與所獲取之播放開始時刻之PTS對應之SPN_EP_start所表示的源包編號。與PTS對應之SPN_EP_start所表示的源包編號之特別指定,亦係使用構成Dependent view video用之EP_map之子表格來進行。又,控制部532讀取記錄有藉由所特別指定之源包編號而識別出之源包的記錄媒體上之位址,將其設定為開始位址。
於步驟S75中,獲取部531自步驟S73中所設定之讀取開始位址起,開始讀取構成Base view video串流之各源包之資料。又,獲取部 531自步驟S74中所設定之讀取開始位址起,開始讀取構成Dependent view video串流之各源包之資料。
所讀取之Base view video串流之資料與Dependent view video串流之資料被供給至MVC解碼器533。藉由進行參照圖59、圖60而說明之處理,進行自使用者所指定之播放開始位置開始之解碼。
於步驟S76中,控制部532判定其次是否進行查找,即,是否已指示自其他位置開始隨機存取播放,當判定為已指示時,重複進行步驟S71以後之處理。
當於步驟S76中判定為未指示自其他位置開始隨機播放之情形時,處理結束。
[緩衝控制資訊]
如上所述,於H.264 AVC/MVC規範標準中,對成為基礎之視訊串流即Base view video串流、及以Base view video串流為基礎進行編碼、解碼之視訊串流即Dependent view video串流進行有定義。
於H.264 AVC/MVC規範標準中,容許Base view video串流與Dependent view video串流作為1條視訊串流而存在,亦容許其等分別作為獨立之視訊串流而存在。
圖62A係表示Base view video串流與Dependent view video串流作為1條視訊串流而存在之狀態的圖。
於圖62A之例中,分別以每個特定之區間而分割Base view video串流整體與Dependent view video串流整體,以各區間混在一起之方式構成1條基本串流。於圖62A中,標附「B」文字而表示之區間係表示Base view video串流之區間,標附「D」文字而表示之區間係表示Dependent view video串流之區間。
圖62B係表示Base view video串流與Dependent view video串流分別作為獨立之視訊串流而存在之狀態的圖。
於BD-ROM 3D標準中,如圖62B所示,要求Base view video串流與Dependent view video串流分別作為獨立之基本串流而記錄於磁碟上。又,要求Base view video串流係以H.264/AVC標準進行編碼之串流。上述限制係用以實現利用不與3D播放對應之BD播放器僅播放Base view video串流(2D播放)。
因此,於BD-ROM 3D標準中,為於僅播放以H.264/AVC標準進行編碼之Base view video串流之情形時,或一併播放Base view video串流與Dependent view video串流之情形時,均可正確地進行播放,必需預先於記錄裝置側對串流進行編碼。具體而言,必需預先以不會產生緩衝器下溢或溢流之方式進行編碼。
於H.264/AVC標準中,為防止產生緩衝器下溢等,可將兩種緩衝控制資訊編碼於串流中。於BD-ROM 3D標準中,亦必需假設僅Base view video串流之解碼、及Base view video串流與Dependent view video串流一併之解碼,將緩衝控制資訊預先編碼於串流中。
然而,於與BD-ROM 3D標準對應之播放裝置中,存在利用1個解碼器對Base view video串流與Dependent view video串流進行解碼者、及利用Base view video用與Dependent view video用之2個解碼器進行解碼者。於BD-ROM 3D標準中尚未規定至解碼器之數量。
因此,於BD-ROM 3D標準中,為於利用1個解碼器進行解碼之情形時,或利用2個解碼器進行解碼之情形時均可正確地進行播放,必需預先於記錄裝置側將緩衝控制資訊編碼於串流中。
藉由上述,於記錄裝置中以如下方式編碼緩衝控制資訊。
1.於Base view video串流中,對用以實現於僅播放Base view video串流之情形時可正確地進行播放之值進行編碼。
2.於Dependent view video串流中,對用以實現於利用獨立解碼器(Dependent view video用之解碼器)播放Dependent view video串流之情 形時可正確地進行播放之值進行編碼。
3.於Dependent view video串流中,對用以實現於利用1個解碼器一併播放Base view video串流與Dependent view video串流之情形時可正確地進行播放之值進行編碼。
[編碼位置之具體例]
於Base view video串流與Dependent view video串流中,作為緩衝控制資訊,編碼HRD(Hypothetical Reference Decoder,假想參考解碼)parameters(參數)與max_dec_frame_buffering。
HRD parameters包含表示自CPB對於解碼器的輸入之最大位元率的資訊。亦可設為包含表示對於CPB的輸入之最大位元率的資訊、表示CPB之緩衝器尺寸的資訊、及表示HRD是否為CBR(Constant Bit Rate,固定位元率)的旗標。
max_dec_frame_buffering係表示可記憶於DPB中之畫面(參照畫面)之最大個數的資訊。
圖63係表示Base view video串流中之HRD parameters之編碼位置之例的圖。
如圖63所示,HRD parameters係編碼為構成Base view video串流之各Access Unit中所包含的SPS之1個資訊。於圖63之例中,係編碼為SPS中所包含的VUI(Video Usability Information,視訊可用資訊)之1個資訊。
圖63之HRD parameters係表示在僅播放Base view video串流時對解碼器的輸入之最大位元率。在將CPB與解碼器之間之匯流排用於僅Base view video串流之資料的傳送時,該傳送率被限制為由HRD parameters表示之位元率以下。
再者,圖63之AUD對應於參照圖51而說明之AU定界符,Slices(片層)對應於圖63之Access Unit中所包含之1個畫面之資料。
圖64係表示在圖63所示之位置上編碼有HRD parameters之情形時之seq_parameter_set_data()(SPS)之描述形式的圖。
如圖64所示,hrd_parameters()(HRD parameters)係描述於seq_parameter_set_data()中之vui_parameters()(UVI)之中。
圖65係表示Base view video串流中之max_dec_frame_buffering之編碼位置之例的圖。
如圖65所示,max_dec_frame_buffering亦係編碼為包含於構成Base view video串流之各Access Unit中的SPS之1個資訊。於圖65之例中,係編碼為包含於SPS中的VUI之1個資訊。
圖65之max_dec_frame_buffering係表示在僅播放Base view video串流時之可記憶於DPB中之畫面之最大個數。在將1個DPB用於僅Base view video串流之已解碼的畫面之記憶時,將DPB中所記憶之畫面個數限制為由max_dec_frame_buffering表示之個數以下。
圖66係表示在圖65所示之位置上編碼有max_dec_frame_buffering之情形時之seq_parameter_set_data()之描述形式的圖。
如圖66所示,max_dec_frame_buffering係描述於seq_parameter_set_data()中之vui_parameters()之中。
以下,適當地將如圖63所示編碼於Base view video串流中之HRD parameters稱為第1 HRD parameters。又,將如圖65所示編碼於Base view video串流中之max_dec_frame_ buffering稱為第1 max_dec_frame_buffering。
圖67係表示Dependent view video串流中之HRD parameters之編碼位置之例的圖。
如圖67所示,HRD parameters係編碼為構成Dependent view video串流之各Dependent Unit中所包含的SubsetSPS之1個資訊。於圖67之例中,係編碼為包含於SubsetSPS中的SPS之1個資訊。
編碼為SPS之1個資訊之HRD parameters係表示在利用獨立解碼器播放Dependent view video串流時對Dependent view video用之解碼器的輸入之最大位元率。在將CPB與獨立解碼器之間之匯流排用於僅Dependent view video串流之資料的傳送時,該傳送率被限制為由HRD parameters表示之位元率以下。
圖68係表示將HRD parameters編碼為SPS之1個資訊之情形時之subset_seq_parameter_set_data()(SubsetSPS)之描述形式的圖。SubsetSPS係將H.264/AVC之SPS加以擴展之參數之描述,包含表示視點間之依存關係的資訊等。
如圖68所示,hrd_parameters()係描述於subset_seq_parameter_setdata()中之seq_parameter_set_data()中之vui_parameters()之中。
於圖67之例中,將HRD parameters亦編碼為包含於SubsetSPS中的MVC VUI Ext之1個資訊。
編碼為MVC VUI Ext之1個資訊之HRD parameters係表示在利用1個解碼器一併播放Base view video串流與Dependent view video串流時對解碼器的輸入之最大位元率。在將CPB與1個解碼器之間之匯流排用於Base view video串流之資料與Dependent view video串流之資料的傳送時,該傳送率被限制為由HRD parameters表示之位元率以下。
圖69係表示將HRD parameters編碼為MVC VUI Ext之1個資訊之情形時之subset_seq_parameter_set_data()之描述形式的圖。
如圖69所示,hrd_parameters()係描述於subset_seq_parameter_set_data()中之mvc_vui_parameters_extension()(MVC VUI Ext)中。
以下,適當地將如圖67所示作為SPS之1個資訊編碼於Dependent view video串流中之HRD parameters(圖67之左側)稱為第2 HRD parameters。又,將作為MVC VUI Ext之1個資訊編碼於Dependent view video串流中之HRD parameters(圖67之右側)稱為第3 HRD parameters。
圖70係表示Dependent view video串流中之max_dec_frame_buffering之編碼位置之例的圖。
如圖70所示,max_dec_frame_buffering係編碼為構成Dependent view video串流之各Dependent Unit中所包含的SubsetSPS之1個資訊。於圖70之例中,係編碼為包含於SubsetSPS中的SPS之1個資訊。
編碼為SPS之1個資訊之max_dec_frame_buffering係表示利用獨立解碼器播放Dependent view video串流時可記憶於DPB中之畫面之最大個數。在將1個DPB用於僅Dependent view video串流之已解碼之畫面之記憶時,將DPB中所記憶之畫面個數限制為由max_dec_frame_buffering表示之個數以下。
圖71係表示將max_dec_frame_buffering編碼為SPS之1個資訊之情形時之subset_seq_parameter_set_data()之描述形式的圖。
如圖71所示,max_dec_frame_buffering係描述於subset_seq_parameter_set_data()中之seq_parameter_set_data()中之vui_parameters()之中。
於圖70之例中,將max_dec_frame_buffering亦編碼為SEI之1個資訊。
編碼為SEI之1個資訊之max_dec_frame_buffering係表示利用1個解碼器一併播放Base view video串流與Dependent view video串流時可記憶於DPB中之畫面之最大個數。在將1個DPB用於Base view video串流之已解碼之畫面與Dependent view video串流之已解碼之畫面的記憶時,將DPB中所記憶之畫面個數限制為由max_dec_frame_buffering表示之個數以下。
圖72係表示將max_dec_frame_buffering編碼為SEI之1個資訊之情形時之sei_message()(SEI)之描述形式的圖。
如圖72所示,max_dec_frame_buffering係描述於sei_message()中之view_scalability_info()(View scalability information SEI,視點可分級資訊SEI)中。
以下,適當地將如圖70所示作為SPS之1個資訊編碼於Dependent view video串流中之max_dec_frame_buffering(圖70之左側)稱為第2 max_dec_frame_buffering。又,將作為SEI之1個資訊編碼於Dependent view video串流中之max_dec_frame_buffering(圖70之右側)稱為第3 max_dec_frame_buffering。
如上所述,於Base view video串流與Dependent view video串流中,對HRD parameters與max_dec_frame_buffering各進行3種編碼。
[裝置之構成]
將包含緩衝控制資訊之資料記錄於BD中之記錄裝置具有與圖52所示之記錄裝置501相同之構成。又,播放BD中所記錄之資料之播放裝置具有與圖56所示之播放裝置502相同之構成。
以下,作為進行使用有緩衝控制資訊之處理的記錄裝置與播放裝置之構成,引用圖52、圖56之構成進行說明。關於與上述說明重複之說明,適當地予以省略。
記錄裝置501之資訊產生部511產生包含播放清單檔案與Clip Information檔案之資料庫資訊,並且產生Base view video用之附加資訊、及Dependent view video用之附加資訊。於Base view video用之附加資訊中包含第1 HRD parameters、及第1 max_dec_frame_buffering。又,於Dependent view video用之附加資訊中包含第2、第3 HRD parameters、及第2、第3 max_dec_frame_buffering。
資訊產生部511將所產生之資料庫資訊輸出至記錄部513,並將附 加資訊輸出至MVC編碼器512。
MVC編碼器512依據H.264 AVC/MVC規範標準對L圖像資料與R圖像資料進行編碼,並產生對L圖像資料進行編碼而獲得之Base view video之各畫面之資料、及對R圖像資料進行編碼而獲得之Dependent view video之各畫面之資料。
又,MVC編碼器512於Base view video之各畫面之資料中附加由資訊產生部511產生之Base view video用之附加資訊,藉此產生Base view video串流。於Base view video串流中,於圖63所示之位置上編碼有第1 HRD parameters,於圖65所示之位置上編碼有第1 max_dec_frame_buffering。
同樣地,MVC編碼器512於Dependent view video之各畫面之資料中附加由資訊產生部511產生之Dependent view video用之附加資訊,藉此產生Dependent view video串流。於Dependent view video串流中,於圖67所示之位置上編碼有第2、第3 HRD parameters,於圖70所示之位置上編碼有第2、第3 max_dec_frame_buffering。
MVC編碼器512將所產生之Base view video串流與Dependent view video串流輸出至記錄部513。
記錄部513將自資訊產生部511所供給之資料庫資訊、及自MVC編碼器512所供給之Base view video串流與Dependent view video串流記錄於BD中。藉由記錄部513而記錄有資料之BD被供給至播放裝置502。
播放裝置502之獲取部531自藉由記錄裝置501而記錄資料且安裝於播放裝置502中之BD讀取資料。獲取部531將自BD所讀取之資料庫資訊輸出至控制部532,並將Base view video串流與Dependent view video串流輸出至MVC解碼器533。
控制部532控制自記錄媒體讀取資料等的播放裝置502之整體動 作。
例如,控制部532於僅播放Base view video串流之情形時,自Base view video串流讀取第1 HRD parameters與第1 max_dec_frame_buffering。控制部532根據所讀取之資訊,控制利用MVC解碼器533而進行之Base view video串流之解碼。
又,控制部532於播放(3D播放)Base view video串流與Dependent view video串流之情形時,當MVC解碼器533具有1個解碼器時,自Dependent view video串流讀取第3 HRD parameters及第3 max_dec_frame_buffering。控制部532根據所讀取之資訊,控制利用MVC解碼器533而進行之Base view video串流與Dependent view video串流之解碼。
MVC解碼器533依據控制部532之控制,僅對Base view video串流、或Base view video串流與Dependent view video串流進行解碼。MVC解碼器533將經解碼而獲得之資料輸出至輸出部534。
輸出部534將自MVC解碼器533所供給之圖像輸出至顯示器,並顯示2D圖像或3D圖像。
[裝置之動作]
此處,參照圖73之流程圖,對記錄裝置501之記錄處理進行說明。
於步驟S101中,資訊產生部511產生資料庫資訊、及附加於Base view video與Dependent view video之各自之畫面中的包含緩衝控制資訊之附加資訊。
於步驟S102中,藉由MVC編碼器512進行編碼處理。此處,進行與參照圖55所說明之處理相同之處理。藉由步驟S101而產生之緩衝控制資訊被附加於Base view video與Dependent view video之各畫面中。藉由編碼處理而產生之Base view video串流與Dependent view video串 流被供給至記錄部513。
於步驟S103中,記錄部513將藉由資訊產生部511而產生之資料庫資訊、及藉由MVC編碼器512而產生之Base view video串流與Dependent view video串流記錄於BD中。其後,處理結束。
其次,參照圖74之流程圖,對播放裝置502之播放處理進行說明。
於步驟S111中,獲取部531自安裝於播放裝置502中之BD中讀取資料。獲取部531將所讀取之資料庫資訊輸出至控制部532,例如於進行3D播放之情形時,將Base view video串流之資料與Dependent view video串流之資料輸出至MVC解碼器533。
於步驟S112中,控制部532從自BD讀取而供給之串流之資料中讀取緩衝控制資訊,於MVC解碼器533中設定參數。如下所述,成為緩衝控制資訊之讀取源之串流將根據自BD所讀取之串流,或根據MVC解碼器533之構成而改變。
於步驟S113中,MVC解碼器533依據由控制部532所設定之參數,進行參照圖59、圖60所說明之解碼處理。
於步驟S114中,輸出部534將藉由MVC解碼器533進行解碼處理而獲得之圖像資料輸出至顯示器。其後,處理結束。
[參數設定之具體例]
說明使用緩衝控制資訊而進行之參數設定之具體例。
此處,使得僅播放Base view video串流之情形時對解碼器的輸入之最大位元率為40Mbps。又,利用獨立解碼器播放Dependent view video串流之情形時對Dependent view video用之解碼器的輸入之最大位元率設為40Mbp。利用1個解碼器一併播放Base view video串流與Dependent view video串流之情形時對解碼器的輸入之最大位元率設為60Mbps。
於此情形時,於記錄裝置501中,作為第1 HRD parameters之值、第2 HRD parameters之值,均係編碼表示40Mbps之值。作為第3 HRD parameters之值,係編碼表示60Mbps之值。
又,僅播放Base view video串流之情形時之可記憶於DPB中之畫面之最大個數設為4個。利用獨立解碼器播放Dependent view video串流之情形時之可記憶於DPB中之畫面之最大個數設為4個。利用1個解碼器一併播放Base view video串流與Dependent view video串流之情形時之可記憶於DPB中之畫面之最大個數設為6個。
於此情形時,於記錄裝置501中,作為第1 max_dec_frame_buffering之值、第2 max_dec_frame_buffering之值,均係編碼表示4個之值。作為第3 max_dec_frame_buffering之值,係編碼表示6個之值。
圖75係表示於具有1個解碼器之MVC解碼器533中,僅對Base view video串流進行解碼之情形之例的圖。
於此情形時,如圖75所示,藉由控制部532而讀取編碼於Base view video串流中之第1 HRD parameters與第1 max_dec_frame_buffering。於Base view video串流上標附斜線而表示之緩衝控制資訊D1係表示第1 HRD parameters與第1 max_dec_frame_buffering。
又,藉由控制部532,將自CPB541對解碼器542的輸入之最大位元率根據第1 HRD parameters設定為40Mbps。例如,藉由將CPB541與解碼器542之間之匯流排之頻寬確保為僅40Mbps,而設定最大位元率。
進而,藉由控制部532,將可記憶於DPB543中之畫面之最大個數根據第1 max_dec_frame_buffering設定為4個。例如,藉由確保DPB543之記憶區域中可記憶僅4個已解碼畫面的區域,而設定可記憶 之畫面之最大個數。
藉此,如於記錄側所假設般,使用1個解碼器進行Base view video串流之解碼。只要以可在限制之範圍內進行解碼之方式於記錄側對Base view video串流進行編碼,即可防止播放側之緩衝器失敗。
圖76係表示於具有1個解碼器之MVC解碼器533中對Base view video串流與Dependent view video串流進行解碼之情形之例的圖。
於此情形時,如圖76所示,藉由控制部532而讀取編碼於Dependent view video串流中之第3 HRD parameters與第3 max_dec_frame_buffering。於Dependent view video串流上標附斜線而表示之緩衝控制資訊D2係表示第2 HRD parameters與第2 max_dec_frame_buffering。又,緩衝控制資訊D3係表示第3 HRD parameters與第3 max_dec_frame_buffering。
又,藉由控制部532,將自CPB541對解碼器542的輸入之最大位元率根據第3 HRD parameters設定為60Mbps。
進而,藉由控制部532,將可記憶於DPB543中之畫面之最大個數根據第3 max_dec_frame_buffering設定為6個。
藉此,如於記錄側所假設般,進行Base view video串流與Dependent view video串流之解碼。只要以可在限制之範圍內進行解碼之方式於記錄側對Base view video串流與Dependent view video串流進行編碼,即可防止播放側之緩衝器失敗。
圖77係表示MVC解碼器533之另一構成例的方塊圖。
對圖77所示之構成中與圖57所示之構成相同之構成標附相同之符號。對於重複之說明予以適當省略。
於圖77之例中,設置有解碼器542-1與解碼器542-2兩個解碼器。解碼器542-1係Base view video用之解碼器,解碼器542-2係Dependent view video用之解碼器。
CPB541中所記憶之Base view video串流之資料係以構成1個Access Unit之資料之單位藉由解碼器542-1加以讀取。又,CPB541中所記憶之Dependent view video串流係以構成1個Dependent Unit之資料之單位藉由解碼器542-2加以讀取。
解碼器542-1對自CPB541所讀取之資料進行解碼,並將經解碼而獲得之Base view video之各畫面之資料輸出至DPB543。
解碼器542-2對自CPB541所讀取之資料進行解碼,並將經解碼而獲得之Dependent view video之各畫面之資料輸出至DPB543。
如此,對MVC解碼器533具有2個解碼器之情形進行說明。
圖78係表示於具有2個解碼器之MVC解碼器533中僅對Base view video串流進行解碼之情形之例的圖。
於此情形時,如圖78所示,藉由控制部532而讀取編碼於Base view video串流中之第1 HRD parameters與第1 max_dec_frame_buffering。
又,藉由控制部532,將自CPB541對解碼器542的輸入之最大位元率根據第1 HRD parameters設定為40Mbps。
進而,藉由控制部532,將可記憶於DPB543中之畫面之最大個數根據第1 max_dec_frame_buffering設定為4個。
於圖78中,以虛線表示解碼器542-2係表示於解碼器542-2中未進行處理。
圖79係表示於具有2個解碼器之MVC解碼器533中對Base view video串流與Dependent view video串流進行解碼之情形之例的圖。
於此情形時,如圖79所示,藉由控制部532而讀取編碼於Base view video串流中之第1 HRD parameters及編碼於Dependent view video串流中之第2 HRD parameters與第3 max_dec_frame_buffering。
又,藉由控制部532,將自CPB541對解碼器542-1的輸入之最大 位元率根據第1 HRD parameters設定為40Mbps,且將自CPB541對解碼器542-2的輸入之最大位元率根據第2 HRD parameters設定為40Mbps。
進而,藉由控制部532,將可記憶於DPB543中之畫面之最大個數根據第3 max_dec_frame__buffering設定為6個。DPB543於Base view video與Dependent view video中被共通地使用,因此,使用第3 max_dec_framebuffering作為用以設定可記憶於DPB543中之畫面之最大個數的參數。
圖80係表示於具有2個解碼器之MVC解碼器533中對Base view video串流與Dependent view video串流進行解碼之情形之另一例的圖。
於圖80之MVC解碼器533中,關於CPB541與DPB543,亦係分別設置有Base view video用者與Dependent view video用者。
於此情形時,如圖80所示,藉由控制部532而讀取編碼於Base view video串流中之第1 HRD parameters與第1 max_dec_frame_buffering。又,藉由控制部532而讀取編碼於Dependent view video串流中之第2 HRD parameters與第2 max_dec_frame_buffering。
藉由控制部532,將自Base view video用之CPB即CPB541-1對解碼器542-1的輸入之最大位元率根據第1 HRD parameters設定為40Mbps。又,使自Dependent view video用之CPB即CPB541-2對解碼器542-2的輸入之最大位元率根據第2 HRD parameters設定為40Mbps。
進而,藉由控制部532,將可記憶於Base view video用之DPB即DPB543-1中之畫面之最大個數根據第1 max_dec_frame_buffering設定為4個。又,將可記憶於Dependent view video用之DPB即DPB543-2中之畫面之最大個數根據第2 max_dec_frame_buffering設定為4個。
圖81係表示於具有2個解碼器之MVC解碼器533中對Base view video串流與Dependent view video串流進行解碼之情形之進而另一例的圖。
於圖81之MVC解碼器533中,關於CPB,設置有Base view video用者與Dependent view video用者,但DPB於Base view video與Dependent view video中被共通地使用。又,Base view video用之CPB即CPB541-1與解碼器542-1之間之資料的傳送、Dependent view video用之CPB即CPB541-2與解碼器542-2之間之資料的傳送係經由相同匯流排而進行。
於此情形時,如圖81所示,藉由控制部532而讀取編碼於Dependent view video串流中之第3 HRD parameters與第3 max_dec_frame_buffering。
又,藉由控制部532,將CPB541-1與解碼器542-1之間之資料傳送、及CPB541-2與解碼器542-2之間之資料傳送所使用的匯流排之最大位元率,根據第3 HRD parameters設定為60Mbps。
進而,藉由控制部532,將可記憶於DPB543中之畫面之最大個數根據第3 max_dec_frame_buffering設定為6個。
[驗證裝置]
圖82係表示驗證藉由記錄裝置501而記錄於BD中之視訊串流是否可於播放裝置502中正確地播放之驗證裝置的圖。
圖82之驗證裝置551包括電腦。對驗證裝置551輸入自BD所讀取之視訊串流。
於作為視訊串流而輸入至驗證裝置551之Base view video串流中,編碼有第1 HRD parameters與第1 max_dec_ frame_buffering。又,於Dependent view video串流中,編碼有第2、第3 HRD parameters及第2、第3 max_dec_frame_ buffering。
於驗證裝置551中,藉由CPU(Central Processing Unit,中央處理單元)而執行特定之程式,藉此實現控制部551A。控制部551A驗證所輸入之視訊串流是否可於播放裝置502中正確地播放,並輸出表示驗證結果之資訊。驗證結果例如顯示於顯示器中,由使用驗證裝置551進行驗證之使用者進行確認。
又,於驗證裝置551中,藉由CPU而執行特定之程式,藉此實現HRD(Hypothetical Reference Decoder)。HRD係虛擬地再現播放裝置502之MVC解碼器533者。圖83表示HRD之功能構成。
如圖83所示,HRD561包括CPB571、解碼器572及DPB573。
CPB571記憶所輸入之Base view video串流之資料與Dependent view video串流之資料。CPB571中所記憶之Base view video串流之資料係以構成1個Access Unit之資料之單位藉由解碼器572加以讀取。 CPB571中所記憶之Dependent view video串流之資料亦係同樣地以構成1個Dependent Unit之資料之單位藉由解碼器572加以讀取。
解碼器572對自CPB571所讀取之資料進行解碼,並將經解碼而獲得之Base view video、Dependent view video之各畫面之資料輸出至DPB573。
DPB573記憶自解碼器573所供給之資料。DPB573中所記憶之Base view video、Dependent view video之各畫面之資料係依據由Picture Timing SEI表示之各畫面之顯示時刻等而輸出。
對驗證之具體例進行說明。
與上述例同樣地,作為第1、第2、第3 HRD parameters之值,分別編碼有表示40Mbps、40Mbps、60Mbps之值。又,作為第1、第2、第3 max_dec_frame_buffering之值,分別編碼有表示4個、4個、6個之值。
圖83係表示僅對Base view video串流進行解碼之情形之例的圖。
於此情形時,如圖83所示,藉由控制部551A而讀取編碼於Base view video串流中之第1 HRD parameters與第1 max_dec_frame_buffering。
又,藉由控制部551A,將自CPB571對解碼器572的輸入之最大位元率根據第1 HRD parameters設定為40Mbps。進而,藉由控制部551A,將可記憶於DPB573中之畫面之最大個數根據第1 max_dec_frame_buffering設定為4個。
於此狀態下,藉由控制部551A來驗證是否可正確地進行Base view video串流之解碼,並輸出表示驗證結果之資訊。當判斷為可正確地進行解碼時,所輸入之Base view video串流成為可基於編碼於其中之第1 HRD parameters與第1 max_dec_frame_buffering,如參照圖75、圖78、圖80所說明般正確地播放之串流。
圖84係表示利用Dependent view video用之解碼器僅對Dependent view video串流進行解碼之情形之例的圖。
於此情形時,如圖84所示,藉由控制部551A而讀取編碼於Dependent view video串流中之第2 HRD parameters與第2 max_dec_frame_buffering。
又,藉由控制部551A,將自CPB571對解碼器572的輸入之最大位元率根據第2 HRD parameters設定為40Mbps。進而,藉由控制部551A,將可記憶於DPB573中之畫面之最大個數根據第2 max_dec_frame_buffering設定為4個。
於此狀態下,藉由控制部551A來驗證是否可正確地進行Dependent view video串流之解碼,並輸出表示驗證結果之資訊。當判斷為可正確地進行解碼時,所輸入之Dependent view video串流成為可基於編碼於其中之第2 HRD parameters與第2 max_dec_frame_buffering,如參照圖80所說明般利用Dependent view video用之解碼器而正確地播放之串流。
再者,為對Dependent view video串流進行解碼,需要Base view video串流。對圖84之解碼器572亦適當輸入Base view video串流之已解碼之畫面資料,用於Dependent view video串流之解碼。
圖85係表示利用1個解碼器對Base view video串流與Dependent view video串流進行解碼之情形之例的圖。
於此情形時,如圖85所示,藉由控制部551A而讀取編碼於Dependent view video串流中之第3 HRD parameters與第3 max_dec_frame_buffering。
又,藉由控制部551A,將自CPB571對解碼器572的輸入之最大位元率根據第3 HRD parameters設定為60Mbps。
進而,藉由控制部551A,將可記憶於DPB573中之畫面之最大個數根據第3 max_dec_frame_buffering設定為6個。
於此狀態下,藉由控制部551A來驗證是否可正確地進行Base view video串流與Dependent view video串流之解碼,並輸出表示驗證結果之資訊。當判斷為可正確地進行解碼時,所輸入之Base view video串流與Dependent view video串流成為可基於第3 HRD parameters與第3 max_dec_ frame_buffering,如參照圖76所說明般正確地播放之串流。
[view_type之位置]
於上述中,係如參照圖12所說明般,將表示Base view video串流為L圖像之串流還是為R圖像之串流的view_type描述於PlayList中,但亦可設為描述於其他位置。
例如,亦可考慮將Base view video串流與Dependent view video串流多工化於相同之TS中或各不相同之TS中,並經由廣播波或網路進行傳送。於此情形時,view_type例如描述於作為傳送控制資訊之 PSI(Program Specific Information,節目特定資訊)中、或者Base view video串流或Dependent view video串流(基本串流)中。
圖86係表示於PSI(Program Specific Information)中所包含之PMT(Program Map Table,節目映射表)中描述view_type之情形之例的圖。
如圖86所示,重新定義MVC_video_stream_descriptor()作為MVC用之descriptor(描述符),亦可於MVC_video_ stream_descriptor()之中描述view_type。再者,分配例如65作為descriptor_tag之值。
於接收到TS之播放裝置1中,根據PMT中所描述之view_type之值,判斷多工化於TS中之Base view video串流為L圖像之串流還是為R圖像之串流,並進行切換解碼結果之資料之輸出目的地等的參照圖24、圖26所說明之處理。
亦可不描述於PMT之中,而描述於SIT(Selection Information Table,選擇資訊表)等其他位置。
圖87係表示於基本串流中描述view_type之情形之例的圖。
如圖87所示,亦可設為於SEI中之MVC_video_stream_ info()之中描述view_type。如上所述,SEI係附加於構成Base view video串流與Dependent view video串流之各畫面之資料中的附加資訊。包含view_type之SEI係附加於Base view video串流與Dependent view video串流中之至少任一個串流之各畫面中。
於已讀取SEI之播放裝置1中,根據SEI中所描述之view_type之值,判斷Base view video串流為L圖像之串流還是為R圖像之串流,並進行切換解碼結果之資料之輸出目的地等的參照圖24、圖26所說明之處理。
上述一系列處理可藉由硬體而執行,亦可藉由軟體而執行。於藉由軟體而執行一系列處理之情形時,構成該軟體之程式係自程式記 錄媒體安裝至專用硬體中所組裝之電腦、或通用之個人電腦等中。
圖88係表示藉由程式而執行上述一系列處理之電腦的硬體之構成例的方塊圖。
CPU(Central Processing Unit)701、ROM(Read Only Memory,唯讀記憶體)702、RAM(Random Access Memory,隨機存取記憶體)703係藉由匯流排704而相互連接。
於匯流排704上進而連接有輸入輸出介面705。於輸入輸出介面705上連接包括鍵盤、滑鼠等之輸入部706,及包括顯示器、揚聲器等之輸出部707。又,於匯流排704上連接包括硬碟或非揮發性記憶體等之記憶部708、包括網路介面等之通信部709、及驅動可移動媒體711之驅動器710。
於以如上方式而構成之電腦中,CPU701例如將記憶部708中所記憶之程式經由輸入輸出介面705及匯流排704加載至RAM703加以執行,藉此進行上述一系列處理。
CPU701所執行之程式例如記錄於可移動媒體711中,或者經由區域網路、網際網路、數位廣播等有線或無線之傳送媒體而提供,並被安裝於記憶部708中。
再者,電腦所執行之程式可為按照本說明書中所說明之順序以時間序列進行處理之程式,亦可為並列地或以進行有調用時等之必要的時序進行處理之程式。
本發明之實施形態並不限定於上述實施形態,可於不脫離本發明之主旨之範圍內進行各種變更。

Claims (5)

  1. 一種播放裝置,其包括:讀取部,其係自記錄媒體讀取:基本串流,其係以自I畫面起至按解碼順序為以後之下一個I畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以後之畫面,並允許從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以前之畫面,而藉由H.264 AVC/MVC對自2個視點拍攝之第1視訊串流及第2視訊串流中之第1視訊串流進行編碼而得到者,擴展串流,其係以自Anchor畫面起至按解碼順序為以後之下一個Anchor畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以後之畫面,並允許從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以前之畫面,而藉由H.264 AVC/MVC對上述第2視訊串流進行編碼而得到者,第1表格資訊,其係使上述I畫面之顯示時刻與上述基本串流上之位置相對應,及第2表格資訊,其係使上述Anchor畫面之顯示時刻與上述擴展串流上之位置相對應;及解碼部,其係對自上述記錄媒體讀取之上述基本串流,根據上述第1表格資訊而從特定之I畫面起進行解碼,對上述擴展串流,根據上述第2表格資訊而從顯示時刻與上述特定之I畫面相同之Anchor畫面起進行解碼。
  2. 如請求項1之播放裝置,其進一步包括:第1解多工部,其係根據分配為固定值之第1PID,從自上述記錄媒體讀取之第1傳輸串流將構成上述基本串流之封包解多工;第2解多工部,其係根據分配為固定值之第2PID,從自上述記錄媒體讀取之第2傳輸串流將構成上述擴展串流之封包解多工;第1緩衝器,其係記憶藉由上述第1解多工部所解多工之上述基本串流之封包;及第2緩衝器,其係記憶藉由上述第2解多工部所解多工之上述擴展串流之封包;且上述解碼部係對封包記憶於上述第1緩衝器之上述基本串流進行解碼,對封包記憶於上述第2緩衝器之上述擴展串流進行解碼。
  3. 如請求項2之播放裝置,其進一步包括:第3緩衝器,其係記憶解碼而得到之構成上述基本串流之各畫面之資料及構成上述擴展串流之各畫面之資料;及輸出部,其係將記憶於上述第3緩衝器之構成上述基本串流之各畫面之資料作為左眼用及右眼用中之一方之畫面之資料而輸出,將記憶於上述第3緩衝器之構成上述擴展串流之各畫面之資料作為左眼用及右眼用中之另一方之畫面之資料而輸出。
  4. 一種播放方法,其包含以下之步驟:自記錄媒體讀取:基本串流,其係以自I畫面起至按解碼順序為以後之下一個I畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以後之畫面,並允許從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以前之畫面,而藉由 H.264 AVC/MVC對自2個視點拍攝之第1視訊串流及第2視訊串流中之第1視訊串流進行編碼而得到者,擴展串流,其係以自Anchor畫面起至按解碼順序為以後之下一個Anchor畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以後之畫面,並允許從據較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以前之畫面,而藉由H.264 AVC/MVC對上述第2視訊串流進行編碼而得到者,第1表格資訊,其係使上述I畫面之顯示時刻與上述基本串流上之位置相對應,及第2表格資訊,其係使上述Anchor畫面之顯示時刻與上述擴展串流上之位置相對應;對自上述記錄媒體讀取之上述基本串流,根據上述第1表格資訊而從特定之I畫面起進行解碼;及對上述擴展串流,根據上述第2表格資訊而從顯示時刻與上述特定之I畫面相同之Anchor畫面起進行解碼。
  5. 一種記錄方法,其包含以下之步驟:產生:基本串流,其係以自I畫面起至按解碼順序為以後之下一個I畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以後之畫面,並允許從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述I畫面以前之畫面,而藉由H.264 AVC/MVC對自2個視點拍攝之第1視訊串流及第2視訊串流中之第1視訊串流進行編碼而得到者, 擴展串流,其係以自Anchor畫面起至按解碼順序為以後之下一個Anchor畫面之前一個畫面為止之集合為單位,禁止從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以後之畫面,並允許從較該單位以前之單位內之畫面來預測該單位內之按顯示順序為較上述Anchor畫面以前之畫面,而藉由H.264 AVC/MVC對上述第2視訊串流進行編碼而得到者,第1表格資訊,其係與上述基本串流一起被讀取,藉由播放裝置用於上述基本串流之解碼者,且該第1表格資訊係使上述I畫面之顯示時刻與串流上之位置相對應者,及第2表格資訊,其係與上述擴展串流一起被讀取,藉由上述播放裝置用於上述擴展串流之解碼者,且該第2表格資訊係使上述Anchor畫面之顯示時刻與串流上之位置相對應;及將所產生之上述基本串流、上述擴展串流、上述第1表格資訊及上述第2表格資訊記錄於記錄媒體。
TW102138960A 2009-04-08 2010-04-01 A playback device, a playback method, and a recording method TWI533664B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009094255 2009-04-08
JP2010065111A JP4957823B2 (ja) 2009-04-08 2010-03-19 再生装置および再生方法

Publications (2)

Publication Number Publication Date
TW201408039A TW201408039A (zh) 2014-02-16
TWI533664B true TWI533664B (zh) 2016-05-11

Family

ID=42936240

Family Applications (3)

Application Number Title Priority Date Filing Date
TW99110153A TWI444035B (zh) 2009-04-08 2010-04-01 Video recording method, a video playback apparatus and video playback method
TW102140962A TWI516092B (zh) 2009-04-08 2010-04-01 A playback device, a playback method, and a recording method
TW102138960A TWI533664B (zh) 2009-04-08 2010-04-01 A playback device, a playback method, and a recording method

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW99110153A TWI444035B (zh) 2009-04-08 2010-04-01 Video recording method, a video playback apparatus and video playback method
TW102140962A TWI516092B (zh) 2009-04-08 2010-04-01 A playback device, a playback method, and a recording method

Country Status (8)

Country Link
US (1) US8457474B2 (zh)
EP (1) EP2285128B1 (zh)
JP (1) JP4957823B2 (zh)
KR (1) KR20120006432A (zh)
CN (6) CN102611866B (zh)
HK (1) HK1157547A1 (zh)
TW (3) TWI444035B (zh)
WO (1) WO2010116956A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
US8948247B2 (en) * 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
WO2012098890A1 (ja) * 2011-01-21 2012-07-26 パナソニック株式会社 動画像符号化装置および動画像符号化方法
JP2012249137A (ja) * 2011-05-30 2012-12-13 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
WO2013048311A1 (en) * 2011-09-27 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Decoders and methods thereof for managing pictures in video decoding process
MX341068B (es) 2012-04-23 2016-08-05 Panasonic Ip Corp America Método de codificacion de imágenes, método de decodificacion de imágenes, aparato de codificacion de imágenes, aparato de decodificacion de imágenes y aparato de codificacion y decoficación de imágenes.
EP2858350A4 (en) * 2012-07-06 2016-05-04 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILAYER VIDEO DICTIONING FOR DIRECT ACCESS AND METHOD AND DEVICE FOR MULTILAYER VIDEO DECODING FOR DIRECT ACCESS
WO2014042034A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
US10390047B2 (en) * 2015-01-09 2019-08-20 Sony Corporation Image processing apparatus and image processing method for controlling the granularity in trick play
JP6555628B1 (ja) * 2017-08-30 2019-08-07 パナソニックIpマネジメント株式会社 記録方法、及び、記録装置
JP7349815B2 (ja) * 2019-05-16 2023-09-25 キヤノン株式会社 撮像装置及びその制御方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101495B1 (en) * 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
CN1183780C (zh) * 1996-12-04 2005-01-05 松下电器产业株式会社 光盘再现设备及光盘记录方法
JP2002232844A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報記録媒体、録画装置及び方法、再生装置及び方法並びにプログラム記憶媒体
JP4224690B2 (ja) * 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
CN100590728C (zh) * 2003-08-12 2010-02-17 日本先锋公司 信息记录介质、记录装置及方法、重放装置
JP4608953B2 (ja) * 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
JP4872253B2 (ja) * 2004-10-12 2012-02-08 ソニー株式会社 多重化装置、多重化方法、プログラム、および記録媒体
EP2144248B1 (en) * 2005-08-09 2019-01-30 Panasonic Intellectual Property Management Co., Ltd. Recording medium and playback apparatus
US7856148B2 (en) * 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
JP4715633B2 (ja) * 2006-05-19 2011-07-06 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2008217851A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報記録媒体、情報記録方法、情報再生方法、情報記録装置、情報再生装置
JP2008252740A (ja) * 2007-03-30 2008-10-16 Sony Corp リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体
CN101355698A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码框架
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
JP5545478B2 (ja) * 2010-06-23 2014-07-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
EP2285128A1 (en) 2011-02-16
JP2010263614A (ja) 2010-11-18
JP4957823B2 (ja) 2012-06-20
KR20120006432A (ko) 2012-01-18
HK1157547A1 (zh) 2012-06-29
US8457474B2 (en) 2013-06-04
EP2285128B1 (en) 2016-07-20
US20110103765A1 (en) 2011-05-05
CN102611866B (zh) 2016-09-28
CN103179417B (zh) 2014-12-31
CN102047672B (zh) 2016-03-09
CN103179419B (zh) 2015-11-18
CN102047672A (zh) 2011-05-04
WO2010116956A1 (ja) 2010-10-14
TW201408040A (zh) 2014-02-16
CN103179420A (zh) 2013-06-26
TW201408039A (zh) 2014-02-16
TWI444035B (zh) 2014-07-01
CN103179420B (zh) 2015-12-09
CN103179417A (zh) 2013-06-26
CN102611866A (zh) 2012-07-25
CN103179418B (zh) 2015-10-14
EP2285128A4 (en) 2013-07-03
CN103179418A (zh) 2013-06-26
TW201127018A (en) 2011-08-01
CN103179419A (zh) 2013-06-26
TWI516092B (zh) 2016-01-01

Similar Documents

Publication Publication Date Title
TWI533664B (zh) A playback device, a playback method, and a recording method
TWI428016B (zh) A playback device, a playback method, and a recording method
TWI458337B (zh) Information processing apparatus, information processing method, reproducing apparatus, and reproducing method
TWI532362B (zh) A playback device, a recording medium, and an information processing method
TWI444042B (zh) A recording apparatus, recording method, reproducing apparatus, reproducing method, recording medium and program
JP2010245970A (ja) 再生装置、再生方法、およびプログラム
JP4985882B2 (ja) 記録方法
JP4993044B2 (ja) 再生装置、再生方法、および記録方法
JP4984192B2 (ja) 記録方法
JP4993234B2 (ja) 再生装置、再生方法、および記録方法
JP4984193B2 (ja) 再生装置、再生方法、および記録方法
JP4993233B2 (ja) 記録方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees