TWI453736B - A reproducing apparatus, a recording method, and a recording medium reproducing system - Google Patents
A reproducing apparatus, a recording method, and a recording medium reproducing system Download PDFInfo
- Publication number
- TWI453736B TWI453736B TW099122676A TW99122676A TWI453736B TW I453736 B TWI453736 B TW I453736B TW 099122676 A TW099122676 A TW 099122676A TW 99122676 A TW99122676 A TW 99122676A TW I453736 B TWI453736 B TW I453736B
- Authority
- TW
- Taiwan
- Prior art keywords
- stream
- file
- view
- data
- picture
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
- G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
- G11B2020/10611—3D video data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明係關於立體視覺影像,亦即關於3次元(3D)影像之再生技術,尤其關於記錄媒體上之串流資料的構造。
近年來,一般對於3D影像的關注升高。例如在遊樂園,利用3D影像的設施受到歡迎。又,全國各地上映3D影像電影的電影院增加。隨著對於該類3D影像的關注升高,用以亦可在各家庭再生3D影像的技術開發正在進展。對該技術要求將3D影像內容維持高畫質而記錄於光碟片等可搬性記錄媒體。進而要求該記錄媒體對於2D再生裝置之相容性。亦即,期望從記錄於該記錄媒體之3D記錄內容,2D再生裝置可再生2D影像,3D再生裝置可再生3D影像。在此,「2D再生裝置」係意味僅可再生平面視覺影像,亦即僅可再生2次元(2D)影像之以往的再生裝置,「3D再生裝置」係意味可再生3D影像之再生裝置。再者,本說明書係設想3D再生裝置亦可再生以往的2D影像的情況。
第109圖係針對記錄有3D影像內容之光碟片,表示用以確保對於2D再生裝置之相容性之技術之模式圖(參考例如專利文獻1)。於光碟片PDS儲存有二種視訊串流。一者為2D/左視圖視訊串流,另一者為右視圖視訊串流。「2D/左視圖視訊串流」係於3D影像再生中,讓收視者的左眼觀看之2D影像,亦即表現「左視圖」,於2D影像再生中表現該2D影像本身。「右視圖視訊串流」係於3D影像再生中,讓收視者的右眼觀看之2D影像,亦即表現「右視圖」。於左右的視訊串流間,訊框率雖相等,但訊框之顯示時期僅錯開訊框週期的一半。例如各視訊串流之訊框率為1秒鐘24訊框時,則每1/48秒交替顯示2D/左視圖視訊串流與右視圖視訊串流之各訊框。
如第109圖所示,各視訊串流係於光碟片PDS上,分割為複數個延伸區EX1A-C、EX2A-C。各延伸區包含1以上之GOP(圖片群組),由光碟片驅動器成批讀出。以下稱屬於2D/左視圖視訊串流之延伸區為「2D/左視圖延伸區」,稱屬於右視圖視訊串流之延伸區為「右視圖延伸區」。2D/左視圖延伸區EX1A-C與右視圖延伸區EX2A-C係交替配置於光碟片PDS之磁軌TRC上。於相鄰接的2個延伸區EX1A+EX2A、EX1B+EX2B、EX1C+EX2C之間,再生時間相等。此類延伸區的配置稱為「交插配置」。如以下所述,以交插配置所記錄的延伸區群係利用於3D影像再生及2D影像再生雙方。
於2D再生裝置PL2,光碟片驅動器DD2僅將光碟片PDS上之延伸區中之2D/左視圖延伸區EX1A-C,從開頭依序讀出,而另一方面跳過右視圖延伸區EX2A-C之讀出。影像解碼器VDC進而將藉由光碟片驅動器DD2所讀出的延伸區,依次解碼為影像訊框VFL。藉其,於顯示裝置DS2僅顯示左視圖,因此對收視者而言看似一般的2D影像。
於3D再生裝置PL3,光碟片驅動器DD3從光碟片PDS,交替讀出2D/左視圖延伸區與右視圖延伸區,若以符號表示,則依EX1A、EX2A、EX1B、EX2B、EX1C、EX2C的順序讀出。進而從已讀出的各延伸區,2D/左視圖視訊串流被送往左影像解碼器VDL,右視圖視訊串流被送往右影像解碼器VDR。各影像解碼器VDL、VDR交替將各視訊串流解碼為影像訊框VFL、VFR。藉其,於顯示裝置DS3交替顯示左視圖與右視圖。另,快門眼鏡SHG係與顯示裝置DS3之畫面切換同步而使得左右鏡片交替成為不透明。因此,對於戴著快門眼鏡SHG的收視者而言,顯示於顯示裝置DS3之影像看似3D影像。
不限於光碟片,於記錄媒體儲存3D影像內容時,亦如上述利用延伸區之交插配置。藉其可於2D影像再生與3D影像再生雙方利用該記錄媒體。
專利文獻1:日本專利第3935507號公報
影像內容一般除了視訊串流以外,還包含表現字幕及對話畫面等圖形影像之圖形串流。從3D影像內容再生之影像中,其等圖像影像亦受到3次元化。在此,該3次元化的手法包括2截面模式及1截面+偏移模式。2截面模式之3D影像內容包含表現左視圖與右視圖之各圖形影像之圖形串流之配對。2截面模式之再生裝置係從各圖形串流,個別地生成左視圖與右視圖之圖形截面。1截面+偏移模式之3D影像內容包含:表現2D圖形影像之圖形串流、及對於其之偏移資訊。1截面+偏移模式之再生裝置首先從圖形串流生成1個圖形截面,接著按照偏移資訊,對該圖形截面給予水平方向之偏移(offset)。藉其,從該圖形串流生成左視圖與右視圖之圖形截面之配對。任一模式均於顯示裝置之畫面,交替顯示左視圖與右視圖之圖形影像。其結果,對收視者而言,其等圖形影像看似3D影像。
於3D影像內容中,作為別的檔案而嵌入有圖形串流及偏移資訊時,1截面+偏移模式之再生裝置係個別處理其等檔案,根據所獲得的資料來再生左視圖與右視圖之圖形影像之配對。在此,圖形影像與偏移資訊一般以訊框週期而變更。然而,每當訊框顯示時即載入儲存有偏移資訊之檔案而解析,會具有「來不及處理而無法正確顯示影像」的風險。因此,若欲令處理確實與訊框週期同步,須預先於記憶體上展開偏移資訊。該情況下,由於每1個圖形串流之偏移資訊總量甚大,因此展開收納有偏移資訊之檔案所需要的內建記憶體之容量不得不變大。又,於1個場景存在有複數個圖形影像時,內建記憶體需要更大容量。如此,於3D影像內容中,作為別的檔案而嵌入有圖形串流及偏移資訊時,難以進一步刪減內建記憶體之容量。
以消除上述問題點為目的,偏移資訊係以例如GOP間隔而儲存於視訊串流中。藉其,再生裝置內之解碼器可一面解碼視訊串流,一面從該視訊串流擷取偏移資訊。其結果,再生裝置可確實維持圖形串流與偏移資訊之間之對應關係。而且,內建記憶體若具有足以展開例如每1GOP之偏移資訊之容量即可。因此,可容易使得對應包含各式各樣圖形串流之3D影像內容、與進一步刪減內建記憶體之容量同時成立。
在此,可設想各種於再生裝置內之解碼器,安裝從視訊串流擷取偏移資訊之功能之具體機構。例如可設想於視訊串流之解碼處理專用之硬體,嵌入該功能之機構,或設想以有別於該硬體之其他硬體或軟體來實現之機構。然而,不宜依其等機構別而變更視訊串流或偏移資訊之資料構造。
本發明之目的在於解決上述問題點,尤其在於提供一種記錄媒體,係於安裝於再生裝置而從視訊串流擷取偏移資訊之功能之各種態樣下,以能夠共通利用之資料構造,一體地記錄視訊串流與偏移資訊者。
於依據本發明之記錄媒體,記錄有主視圖視訊串流、子視圖視訊串流及圖形串流。主視圖視訊串流包含主視圖圖片,該主視圖圖片係構成立體視覺影像之主視圖者。子視圖視訊串流包含子視圖圖片及元資料,該子視圖圖片係構成立體視覺影像之子視圖者。圖形串流包含圖形資料,該圖形資料係構成平面視覺圖形影像者。主視圖圖片係於再生時,描繪於主視圖視訊截面;子視圖圖片係於再生時,描繪於子視圖視訊截面;圖形資料係於再生時,描繪於圖形截面。元資料係配置於構成子視圖視訊串流之每一GOP,包含偏移資訊。偏移資訊係規定對於構成GOP之複數個圖片之偏移控制之控制資訊。偏移控制係如下之處理:對圖形截面給予水平座標之左方及右方之各偏移,分別合成至主視圖視訊截面及子視圖視訊截面。子視圖視訊串流係受到多工而成為傳輸串流(TS)。構成TS之TS封包之標頭包含TS優先度旗標,該TS優先度旗標係表示該TS封包之優先度者。包含元資料之TS封包之TS優先度旗標係與包含子視圖圖片之TS封包之TS優先度旗標不同值。
依據本發明之記錄媒體可令再生裝置之解碼部,按照TS優先度旗標之值來分離包含元資料之TS封包與包含子視圖圖片之TS封包。因此,於該解碼部,亦可各別安裝從包含元資料之TS封包擷取偏移資訊之功能部、與從包含子視圖圖片之TS封包擷取非壓縮圖片之功能部。該情況下,其等功能部之具體態樣可互為獨立地設計。另,於其等功能部被一體化之解碼部,無論TS優先度旗標之值為何,均令該一體化之功能部處理所有包含子視圖視訊串流之TS封包即可。如此,依據本發明之記錄媒體係可於安裝於再生裝置而從視訊串流擷取偏移資訊之功能之各種態樣下,以能夠共通利用之資料構造,一體地記錄視訊串流與偏移資訊。
第1圖係表示使用依據本發明之實施形態1之記錄媒體之家庭劇院系統之模式圖。
第2圖係表示第1圖所示之BD-ROM碟片101上之資料構造之模式圖。
第3(a)、(b)圖係受到多工而成為BD-ROM碟片上之主TS及子TS之各者之基本串流之一覽表。
第4圖係表示多工串流資料400內之TS封包之配置之模式圖。
第5(a)圖係表示TS標頭501H之資料構造之模式圖。(b)係表示構成多工串流資料之TS封包501串之形式之模式圖。(c)係表示由多工串流資料之TS封包串所構成的來源封包502串之形式之模式圖。(d)係連續記錄有一連串之來源封包502之BD-ROM碟片之冊區域上之磁區群之模式圖。
第6圖係表示PG串流600之資料構造之模式圖。
第7圖係依顯示時間順序表示基礎視圖視訊串流701及右視圖視訊串流702之圖片之模式圖。
第8圖係表示視訊串流800之資料構造之詳細之模式圖。
第9圖係表示對PES封包串902之視訊串流901之儲存方法之詳細之模式圖。
第10圖係表示分派給基礎視圖視訊串流1001及相依視圖視訊串流1002之各圖片之PTS及DTS之間之關係之模式圖。
第11圖係表示相依視圖視訊串流1100所含之偏移元資料1110之資料構造之模式圖。
第12圖係表示第11圖所示之偏移元資料1110之語法(Syntax)之表。
第13(a)、(b)圖係表示對於PG截面1310及IG截面1320之偏移控制之模式圖。(c)係表示收視者1330從(a)、(b)所示之圖形截面所表現的2D圖形影像所知覺到的3D圖形影像之模式圖。
第14(a)、(b)圖係表示偏移序列之具體例之圖。(c)係表示按照(a)、(b)所示之偏移序列所重現的3D圖形影像之模式圖。
第15圖係表示儲存有相依視圖視訊串流內之VAU#11500之PES封包1510、及從該PES封包1510生成之TS封包串1520之模式圖。
第16圖係表示分別屬於第15圖之第1群組1521及第2群組1522之TS封包表示相同TS優先度之值時之TS封包串1620之模式圖。
第17(a)圖係表示解碼切換器資訊1750之資料構造之模式圖。(b)、(c)係表示分派給基礎視圖視訊串流1701及相依視圖視訊串流1702之各圖片之解碼計數器之例1710、1720、1730、1740之模式圖。
第18圖係表示PMT1810之資料構造之模式圖。
第19圖係表示BD-ROM碟片101上之多工串流資料之物理性配置之模式圖。
第20(a)圖係表示於BD-ROM碟片上個別地連續記錄之主TS2001及子TS2002之配置之模式圖。(b)係表示交替記錄於依據本發明之實施形態1之BD-ROM碟片101上之相依視圖資料塊D[0]、D[1]、D[2]、…與基礎視圖塊B[0]、B[1]、B[2]、…之配置之模式圖。(c)、(d)係分別表示以交插配置記錄之相依視圖資料塊群D[n]及基礎視圖資料塊群B[n]之各延伸區ATC時間之例之模式圖(n=0、1、2)。
第21圖係表示對於延伸區塊群1901-1903在2D再生模式及L/R模式下之各再生路徑2101、2102之模式圖。
第22圖係表示2D剪輯資訊檔案(01000.clpi)231之資料構造之模式圖。
第23(a)圖係表示分錄圖2230之資料構造之模式圖。(b)係表示屬於檔案2D241之來源封包群2310中,藉由分錄圖2230而與各EP_ID2305建立對應者之模式圖。(c)係表示對應於該來源封包群2310之BD-ROM碟片上之資料塊群D[n]、B[n](n=0、1、2、3、…)之模式圖。
第24(a)圖係表示第22圖所示之延伸區起點2242之資料構造之模式圖。(b)係表示包含於相依視圖剪輯資訊檔案(02000.clpi)232之延伸區起點2420之資料構造之模式圖。(c)係表示由3D再生模式之再生裝置102從檔案SS244A所擷取到的基礎視圖資料塊B[0]、B[1]、B[2]、…之模式圖。(d)係表示屬於檔案DEP(02000.m2ts)242之相依視圖延伸區EXT2[0]、EXT2[1]、…與表示延伸區起點2420之SPN2422之間之對應關係之模式圖。(e)係表示屬於檔案SS244A之延伸區SSEXTSS[0]與BD-ROM碟片上之延伸區塊之間之對應關係之模式圖。
第25圖係表示記錄於BD-ROM碟片上之1個延伸區塊2500、檔案2D2510、檔案庫2511、檔案DEP2512及檔案SS2520之各延伸區群之間之對應關係之模式圖。
第26圖係表示設定於基礎視圖視訊串流2610及相依視圖視訊串流2620之分錄點之例之模式圖。
第27圖係表示2D播放串列檔案之資料構造之模式圖。
第28圖係表示第27圖所示之PI#N之資料構造之模式圖。
第29(a)、(b)圖係分別表示在CC為“5”、“6”時,連接對象之2個再生區間2901、2902之間之關係之模式圖。
第30圖係表示從2D播放串列檔案(00001.mpls)221所示之PTS與從檔案2D(01000.m2ts)241所再生的部分之間之對應關係之模式圖。
第31圖係表示3D播放串列檔案之資料構造之模式圖。
第32圖係表示包含第31圖所示之3D播放串列檔案222之主路徑3101之STN表3205之模式圖。
第33圖係表示第31圖所示之STN表SS3130之資料構造之模式圖。
第34圖係表示從3D播放串列檔案(00002.mpls)222所示之PTS與從檔案SS(01000.ssif)244A所再生的部分之間之對應關係之模式圖。
第35圖係表示第2圖所示之索引檔案(index.bdmv)211之資料構造之模式圖。
第36圖係表示第1圖所示之再生裝置102利用6種辨別處理來選擇再生對象之播放串列檔案之處理之流程圖。
第37圖係2D再生裝置3700之功能方塊圖。
第38圖係第37圖所示之播放器變數記憶部3736所含之系統參數(SPRM)之一覽表。
第39圖係表示由第37圖所示之再生控制部3735所進行的2D播放串列再生處理之流程圖。
第40圖係表示第37圖所示之系統目標解碼器3725之功能方塊圖。
第41(a)圖係第40圖所示之PG解碼器4072從PG串流內之1個資料分錄解碼圖形物件之處理之流程圖。(b)-(e)係表示按照該處理而變化之圖形物件之模式圖。
第42圖係3D再生裝置4200之功能方塊圖。
第43圖係第42圖所示之播放器變數記憶部4236所含之SPRM(27)及SPRM(28)之資料構造之表。
第44圖係由第42圖所示之再生控制部4235所進行的3D播放串列再生處理之流程圖。
第45圖係表示第42圖所示之系統目標解碼器4225以第1機構安裝有偏移元資料之擷取功能時之功能方塊圖。
第46圖係表示第42圖所示之系統目標解碼器4225以第2機構安裝有偏移元資料之擷取功能時之視訊串流之處理系統之功能方塊圖。
第47圖係表示第42圖所示之截面加算部4226之功能方塊圖。
第48圖係表示由第47圖所示之各修剪處理部4731-4734所進行的偏移控制之流程圖。
第49(b)圖係表示以藉由第2修剪處理部4632所進行的偏移控制而加工前之PG截面資料GP之模式圖。(a)、(c)係分別表示被給予向右偏移之PG截面資料RGP及被給予向左偏移之PG截面資料LGP之模式圖。
第50圖係表示儲存有相依視圖視訊串流內之VAU#15000之PES封包5010、及從該PES封包5010生成之TS封包串5020之模式圖。
第51圖係表示從第50圖所示之TS封包串5020擷取偏移元資料之系統目標解碼器5125內之視訊串流之處理系統之功能方塊圖。
第52(a)圖係表示利用互補函數之偏移元資料5200之資料構造之模式圖。(b)係表示構成互補函數之要素種類之圖。(c)係表示從(a)所示之偏移序列ID=0、1、2之各偏移序列,由3D再生裝置所算定的偏移值之圖。
第53圖係表示包含複數子路徑之3D播放串列檔案5300之資料構造,及受其參考之檔案2D5310與2個檔案DEP5321、5122之資料構造之模式圖。
第54圖係表示對於1個串流資料設定有複數個偏移修正值之STN表5400之模式圖。
第55(a)-(c)圖係表示於32英吋、50英吋及100英吋之各畫面SCA、SCB、SCC所顯示的左視圖與右視圖之間之視差PRA、PRB、PRC之模式圖。
第56(a)圖係表示畫面尺寸與輸出偏移修正值之間之對應表之模式圖。(b)係表示畫面尺寸與輸出偏移修正值之間之函數之圖。
第57圖係表示輸出偏移修正所必需的3D再生裝置之要素之功能方塊圖。
第58(a)圖係僅表現靜止圖像之相依視圖視訊串流5800之資料構造之模式圖。(b)係表示按照該類3D播放串列檔案而再生之左視圖視訊截面串5821、右視圖視訊截面串5822及圖形截面串5830之模式圖。
第59圖係進行補償左視圖與右視圖之間之偏離之處理之顯示裝置103之功能方塊圖。
第60(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之水平視角HAL、HAR之俯視圖。(b)、(c)係分別表示以左側之攝影機CML所拍攝的左視圖LV、及以右側之攝影機CMR所拍攝的右視圖RV之模式圖。(d)、(e)係分別表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。
第61(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之垂直視角VAL、VAR之俯視圖。(b)係表示以左側之攝影機CML所拍攝的左視圖LV、及以右側之攝影機CMR所拍攝的右視圖RV之模式圖。(c)係表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。
第62(a)圖係表示圖形截面GPL所表現的圖形影像之一例之模式圖。(b)、(c)係分別表示對圖形截面GPL給予向右及向左之偏移之處理之模式圖。(d)、(e)係分別表示被給予向右及向左之偏移之圖形截面GP1、GP2所表現的圖形影像之模式圖。
第63圖係表示對於從BD-ROM碟片上之PG串流或IG串流再生之圖形截面、以及由再生裝置生成之圖形截面所規定關於圖形元件配置之條件之模式圖。
第64(a1)、(a2)圖係均表示相同之黑邊(letter box)顯示之畫面之模式圖。(b)、(c)係分別表示對主影像截面,向上及向下給予131畫素(pixel)之偏移時之各畫面之模式圖。(d)係表示對主影像截面,向上給予51畫素之偏移時之畫面之模式圖。
第65圖係表示視訊移位所必需的再生裝置內之構成之功能方塊圖。
第66(a)圖係表示SPRM(32)及SPRM(33)之各資料構造之表。(b)係表示黑邊顯示之影像內容之播放串列檔案內之STN表之模式圖。
第67(a)-(c)圖係分別表示由上移模式、保持模式及下移模式之視訊移位部6501所處理的主影像截面VPA、VPB、VPC之模式圖。(d)-(f)係分別表示由上移模式、保持模式及下移模式之第2修剪處理部4632所處理的PG截面PGD、PGE、PGF之模式圖。(g)-(i)係分別表示由上移模式、保持模式及下移模式之第2加算部4642所合成的截面資料PLG、PLH、PLI之模式圖。
第68(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之其他例之模式圖。(b)係表示(a)所示之STN表之包含視訊移位模式6812之複數串流屬性資訊6803之登錄順序之模式圖。
第69圖係表示視訊移位所必需的再生裝置內之構成之其他例之功能方塊圖。
第70(a)圖係表示播放器變數記憶部4236內之SPRM(37)之資料構造之模式圖。(b)係表示於PG串流所表現的字幕之背景色設定為無色透明時,顯示於畫面SCR之影像IMG及字幕SUB之模式圖。(c)係表示於字幕之背景色設定為儲存在SPRM(37)之色彩座標值時,顯示於畫面SCR之影像IMG及字幕SUB之模式圖。
第71(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之進一步之其他例之模式圖。(b)係表示視訊移位所必需的再生裝置內之構成之進一步之其他例之功能方塊圖。
第72(a)圖係表示對應於保持模式之字幕SB1、SB2之模式圖。(b)係表示對應於下移模式之字幕SBD、SB2之模式圖。(c)係表示以保持模式顯示之字幕SB1之模式圖。(d)係於視訊上移動時字幕7110未登錄於STN表時,以上移模式顯示之字幕SB3之模式圖。
第73(a)、(b)圖係受到多工而成為BD-ROM碟片101上之第1子TS及第2子TS之基本串流之一覽表。
第74圖係表示依據實施形態2之STN表SS3130之資料構造之模式圖。
第75圖係表示依據實施形態2之系統目標解碼器7525之功能方塊圖。
第76圖係2截面模式之截面加算部7526之部分功能方塊圖。
第77(a)、(b)、(c)圖係表示2D‧PG串流所表現的左視圖圖形影像GOB0、及右視圖PG串流所表現的右視圖圖形影像GOB1-3之模式圖。(d)、(e)、(f)係分別表示對於(a)、(b)、(c)所示之左視圖圖形影像之偏移控制之模式圖。
第78圖係依據本發明之實施形態3之記錄裝置7800之功能方塊圖。
第79(a)、(b)圖係表示利用於顯示3D影像之一場景之左視圖及右視圖之各圖片之模式圖。(c)係表示由第78圖所示之視訊解碼器7802而從其等圖片所算出的景深資訊之模式圖。
第80圖係利用第78圖所示之記錄裝置7800對BD-ROM碟片記錄電影內容之方法之流程圖。
第81圖係表示在相鄰接的資料塊間對準延伸區ATC時間之方法之模式圖。
第82(a)-(c)圖係用以說明依據利用視差影像之方法之3D影像(立體視覺影像)之再生原理之模式圖。
第83圖係表示從2D影像MVW與深度圖DPH之組合構成左視圖LVW及右視圖RVW之例之模式圖。
第84圖係表示2D再生模式之再生裝置內之再生處理系統之方塊圖。
第85(a)圖係表示於第4圖所示之再生處理系統以2D再生模式動作之期間,累積於讀緩衝器3721之資料量DA之變化之圖。(b)係表示再生對象之延伸區塊8510與2D再生模式下之再生路徑8520之間之對應關係之模式圖。
第86圖係表示關於BD-ROM碟片之跳躍距離SJUMP
與最大跳躍時間TJUMP_MAX
之間之對應表之一例。
第87圖係表示3D再生模式之再生裝置內之再生處理系統之方塊圖。
第88(a)、(b)圖係表示從1個延伸區塊無縫再生3D影像時,累積於第87圖所示之RB14221、RB24222之資料量DA1、DA2之變化之圖。(c)係表示該延伸區塊8810與3D再生模式下之再生路徑8820之間之對應關係之模式圖。
第89(b)圖係表示第(M+1)個(整數M為1以上)延伸區塊8901與第(M+2)個延伸區塊8902,及其等延伸區塊8901、8902與3D再生模式下之再生路徑8920之間之對應關係之模式圖。(a)係表示從其等延伸區塊8901、8902連續地無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化,及其等之和DA1+DA2之變化之圖群。
第90(a)、(b)圖係表示從第89(b)圖所示之2個延伸區塊8901、8902連續地無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。
第91圖係表示3D再生模式之系統目標解碼器4225內所具備的視訊串流之處理系統之方塊圖。
第92(a)、(b)圖係分別表示限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]在延伸區單位之合計時之各傳輸速度REXT1
、REXT2
之時間性變化之圖。(c)係表示令(a)、(b)所示之基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
相加後之值之時間性變化之圖。
第93圖係表示於系統目標解碼器內,從來源解封包處理器往PID濾波器傳輸之TS封包與ATC時間之間之關係之模式圖。
第94(a)圖係針對1個延伸區配對,依基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之組合別來表示最大延伸區尺寸maxSEXT1
[n]、maxSEXT2
[n]之表。(b)係就位於配置在層交界LB後之延伸區塊9402開頭之延伸區配對EXT1[n]、EXT2[n],表示將基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前之情況之模式圖。
第95(a)、(b)圖係表示從第94(b)圖所示之2個延伸區塊9401、9402連續地無縫再生3D影像時,分別累積於RB1及RB2之資料量DA1、DA2之變化之圖。
第96(a)圖係表示位於延伸區塊中途之延伸區配對中,對於資料塊之順序逆轉之配置之延伸區起點之資料構造(語法)之模式圖。(b)係表示屬於檔案庫之基礎視圖延伸區EXT1[k](k=0、1、2、…)與表示延伸區起點之延伸區開始旗標之間之對應關係之模式圖。(c)係表示屬於檔案DEP之相依視圖延伸區EXT2[k]與延伸區開始旗標之間之對應關係之模式圖。(d)係表示屬於檔案SS之延伸區SSEXTSS[0]與BD-ROM碟片上之延伸區塊之間之對應關係之模式圖。
第97(c)圖係表示對RB14221所要求的容量最大之資料塊之配置之模式圖。(a)、(b)係表示從(c)所示之延伸區塊9701、9702連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。(f)圖係表示對RB24222所要求的容量最大之資料塊之配置之模式圖。(d)、(e)係表示從(f)所示之延伸區塊9703、9704連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。
第98(c)圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9810之模式圖。(a)、(b)係表示從(c)所示之延伸區塊9801連續地無縫再生3D影像時,RB14221、RB24222之各累積資料量DA1、DA2之變化之圖。
第99圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9900與AV串流檔案9910-9920之間之對應關係之模式圖。
第100圖係表示記錄於BD-ROM碟片之層交界LB前後之資料塊群之配置1之模式圖。
第101圖係表示對於第100圖所示之配置1之資料塊群在2D再生模式下之再生路徑A110及在3D再生模式下之再生路徑A120之模式圖。
第102圖係表示記錄於BD-ROM碟片之層交界LB前後之資料塊群之配置2之模式圖。
第103圖係表示對於第102圖所示之配置2之資料塊群在2D再生模式下之再生路徑A310及在3D再生模式下之再生路徑A320之模式圖。
第104圖係表示位於第103圖所示之第2延伸區塊A202後端之3D再生專用塊B[3]SS
之讀出時間SEXT1
[3]/RUD72
、與RB24222之容量下限之間之關係之圖。
第105圖係表示對於檔案庫A501及檔案DEPA502之各延伸區EXT1[k]、EXT2[k](整數k為0以上)所設定的分錄點A510、A520之模式圖。
第106(a)圖係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,延伸區ATC時間不同且視訊串流之再生時間不同時之再生路徑之模式圖。(b)係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,視訊串流之再生時間相等時之再生路徑之模式圖。
第107(a)圖係表示對應多角度之多工串流資料之再生路徑之模式圖。(b)係表示記錄於BD-ROM碟片上之資料塊群A701、及對於其等之L/R模式下之再生路徑A702之模式圖。(c)係表示構成角度別之串流資料Ak、Bk、Ck之延伸區塊之模式圖。
第108圖係表示構成多角度期間之資料塊群A801、及對於其等之2D再生模式下之再生路徑A810及L/R模式下之再生路徑A820之模式圖。
第109圖係針對記錄有3D影像內容之光碟片,表示用以確保對於2D再生裝置之相容性之技術之模式圖。
第110圖係利用依據本發明之實施形態4之積體電路3而實現之再生裝置之功能方塊圖。
第111圖係表示第110圖所示之串流處理部5之代表性構成之功能方塊圖。
第112圖係第110圖所示之切換部53為DMAC時之切換部53周邊之功能方塊圖。
第113圖係表示第110圖所示之AV輸出部8之代表性構成之功能方塊圖。
第114圖係表示圖像重疊處理之記憶體2之利用方法之一例之模式圖。
第115圖係表示利用第114圖所示之記憶體2,於左視圖截面重疊圖形截面之方法之模式圖。
第116圖係表示利用第114圖所示之記憶體2,於右視圖截面重疊圖形截面之方法之模式圖。
第117圖係表示圖像重疊處理之記憶體2之利用方法之其他例之模式圖。
第118圖係第113圖所示之AV輸出部8及再生裝置之資料輸出部之詳細之功能方塊圖。
第119(a)、(b)圖係針對第110圖所示之積體電路3,表示配置於其內部之控制匯流排及資料匯流排之布局例之模式圖。
第120圖係表示安裝於顯示裝置之依據實施形態4之積體電路及其周邊部之構成之功能方塊圖。
第121圖係第120圖所示之AV輸出部8之詳細之功能方塊圖。
第122圖係由利用第110圖所示之積體電路3之再生裝置所進行的再生處理之流程圖。
第123圖係表示第122圖所示之各步驟S1-6之詳細之流程圖。
以下,一面參考圖式,一面說明本發明之較佳實施形態之記錄媒體及再生裝置。
《實施形態1》
第1圖係表示使用依據本發明之實施形態1之記錄媒體之家庭劇院系統之模式圖。該家庭劇院系統係採用利用視差影像之3D影像(立體視覺影像)之再生方式,尤其作為顯示方式係採用連續分離方式(詳細參見《補充》)。參考第1圖,該家庭劇院系統係以記錄媒體101作為再生對象,且包含再生裝置102、顯示裝置103、快門眼鏡104及遙控器105。再生裝置102與顯示裝置103係如第1圖所示互為獨立之裝置。此外,再生裝置102與顯示裝置103被一體化亦可。
記錄媒體101為讀出專用藍光碟片(登錄商標)(BD:Blu-ray Disc),亦即BD-ROM碟片。記錄媒體101亦可為其他可搬性記錄媒體,例如DVD等利用其他方式之光碟片、可移除式硬碟(HDD)或SD記憶卡等半導體記憶裝置。該記錄媒體,亦即BD-ROM碟片101儲存3D影像之電影內容。該內容包含分別表現該3D影像之左視圖及右視圖之視訊串流。該內容亦可進一步包含表現該3D影像之深度圖之視訊串流。其等視訊串流係如後述,以資料塊單位配置於BD-ROM碟片101上,利用後述檔案構造來存取。表現左視圖或右視圖之視訊串流係分別由2D再生裝置及3D再生裝置,利用在將該內容作為2D影像而再生。另,分別表現左視圖及右視圖之視訊串流之配對、或分別表現左視圖或右視圖之某一者及深度圖之視訊串流之配對,係由3D再生裝置利用在將該內容作為3D影像而再生。
再生裝置102搭載有BD-ROM驅動器121。BD-ROM驅動器121係遵循BD-ROM方式之光碟片驅動器。再生裝置102係利用BD-ROM驅動器121,從BD-ROM碟片101載入內容。再生裝置102進一步將該內容解碼為影像資料/聲音資料。在此,再生裝置102為3D再生裝置,可將該內容作為2D影像及3D影像之任一者而再生。以下,分別再生2D影像及3D影像時之再生裝置102之動作模式稱為「2D再生模式」、「3D再生模式」。於2D再生模式,影像資料包含左視圖或右視圖之某一方之影像訊框。於3D再生模式,影像資料包含左視圖及右視圖雙方之影像訊框。
3再生模式進一步分成左/右(L/R)模式與深度模式。於「L/R模式」,從分別表現左視圖與右視圖之視訊串流之組合,再生左視圖與右視圖之影像訊框之配對。於「深度模式」,從分別表現左視圖或右視圖之某一者與深度圖之視訊串流之組合,再生左視圖與右視圖之影像訊框之配對。再生裝置102具備L/R模式。再生裝置102亦可進一步具備深度模式。
再生裝置102係以HDMI(High-Definition Multimedia Interface:高解像度多媒體介面)纜線122連接於顯示裝置103。再生裝置102係將影像資料/聲音資料轉換為HDMI方式之影像訊號/聲音訊號,並透過HDMI纜線122而傳送至顯示裝置103。於2D再生模式,影像訊號係左視圖或右視圖之某一方之影像訊號受到多工。於3D再生模式,影像訊號係左視圖及右視圖雙方之影像訊框採分時而受到多工。再生裝置102進一步透過HDMI纜線122而與顯示裝置103之間交換CEC訊息。藉此,再生裝置102可向顯示裝置103詢問是否可支援3D影像再生。
顯示裝置103為液晶顯示器。除此之外,顯示裝置103亦可為液晶顯示器及有機EL顯示器等其他方式之平面面板顯示器或投影機。顯示裝置103係按照影像訊號而於畫面131上顯示影像,按照聲音訊號而從內建之揚聲器產生聲音。顯示裝置103可支援3D影像再生。2D影像再生時,於畫面131上顯示左視圖或右視圖之某一方。3D影像再生時,於畫面131上交替顯示左視圖與右視圖。
顯示裝置103包含左右訊號發送部132。左右訊號發送部132係以紅外線或無線,將左右訊號LR發送往快門眼鏡104。左右訊號LR係表示在現時點,於畫面131所顯示的影像為左視圖與右視圖之何者。3D影像再生時,顯示裝置103係從附隨於影像訊號之控制訊號,識別左視圖訊框與右視圖訊框,藉此檢測訊框切換。顯示裝置103進一步令左右訊號發送部132,與檢測到之訊框切換同步而令左右訊號LR變化。
快門眼鏡104包含2片液晶顯示面板141L、141R及左右訊號接收部142。各液晶顯示面板141L、141R構成左右各鏡片部分。左右訊號接收部142接收左右訊號LR,因應其變化而對左右之液晶顯示面板141L、141R送出訊號。各液晶顯示面板141L、141R因應該訊號而令光線全體一樣地穿透或阻隔。尤其是左右訊號LR表示左視圖顯示時,左眼側之液晶顯示面板141L令光線穿透,右眼側之液晶顯示面板141R阻隔光線。左右訊號LR表示右視圖顯示時,則反之。如此,2片液晶顯示面板141L、141R係與訊框切換同步而交替令光線穿透。其結果,收視者戴著快門眼鏡104觀看畫面131時,左視圖僅映照於該收視者左眼,右視圖僅映照於其右眼。屆時,對該收視者而言,映照於各眼之影像間之差異會知覺作為對於相同立體之兩眼視差,因此該影像看似立體。
遙控器105包含操作部及發送部。操作部包含複數個按鈕。各按鈕係與電源開關、或BD-ROM碟片101之再生開始或結束等再生裝置102或顯示裝置103之各功能建立對應。操作部檢測到使用者按下各按鈕,以訊號向發送部傳出該按鈕之識別資訊。發送部將該訊號轉換為由紅外線或無線所發出的訊號IR,並往再生裝置102或顯示裝置103送出。另,再生裝置102或顯示裝置103分別接收該訊號IR,特定出該訊號IR所示之按鈕,執行被與該按鈕建立對應之功能。如此,使用者可遠距離操作再生裝置102或顯示裝置103。
<BD-ROM碟片上之資料構造>
第2圖係表示BD-ROM碟片101上之資料構造之模式圖。參考第2圖,於BD-ROM碟片101上之資料記錄區域之最內周部,設有BCA(Burst Cutting Area:刻盤區)201。對於BCA,僅許可由BD-ROM驅動器121進行存取,禁止由應用程式進行存取。藉此,BCA201利用於著作權保護技術。於較BCA201外側之資料記錄區域,磁軌從內周朝向外周呈螺旋狀地延伸。於第2圖,磁軌202係模式性地往橫向拉長而描繪。其左側表示碟片101之內周部,右側表示外周部。如第2圖所示,磁軌202係從內周依序包含引入區域202A、冊(volume)區域202B及引出區域202C。引入區域202A設置在緊鄰於BCA201之外周側。引入區域202A包含由BD-ROM驅動器121對冊區域202B進行存取所必需的資訊,諸如記錄於冊區域202B之資料之尺寸及物理位址等。引出區域202C設置於資料記錄區域之最外周,表示冊區域202B之終端。冊區域202B包含影像及聲音等應用資料。
冊區域202B分割成稱為「磁區」之小區域202D。磁區之尺寸為共通尺寸,例如2048位元組。各磁區202D係從冊區域202B之前端依序編上連號。該連號稱為邏輯塊號碼(LBN),利用於BD-ROM碟片101上之邏輯位址。從BD-ROM碟片101讀出資料時,藉由指定對方磁區之LBN而特定出讀出對象之資料。如此,冊區域202B能夠以磁區單位來存取。進而言之,於BD-ROM碟片101上,邏輯位址實質上與物理位址相等。尤其於LBN連續的區域,物理位址實質上亦連續。因此,BD-ROM驅動器121無須令其光拾取頭進行尋軌,即可從LBN連續的磁區讀出資料。
記錄於冊區域202B之資料係以特定檔案系統管理。該檔案系統係採用UDF(Universal Disc Format:通用碟片格式)。除此之外,該檔案系統亦可為ISO9660。按照該檔案系統,記錄於冊區域202B之資料係以目錄/檔案形式來表現(詳細參見《補充》)。亦即,其等資料能夠以目錄單位或檔案單位來存取。
《BD-ROM碟片上之目錄/檔案構造》
第2圖係進一步表示儲存於BD-ROM碟片101之冊區域202B之資料之目錄/檔案構造。參考第2圖,於該目錄/檔案構造中,於根(ROOT)目錄203底下放置有BD電影(BDMV:BD Movie)目錄210。於BDMV目錄210底下,放置有索引檔案(index.bdmv)211及電影物件檔案(MovieObject.bdmv)212。
索引檔案211係用以管理記錄於BD-ROM碟片101之內容全體之資訊。該資訊尤其包含用以令再生裝置102辨識該內容之資訊、及索引表。索引表係構成該內容之標題、與用以控制再生裝置102之動作之程式之間之對應表。該程式稱為「物件」。物件的種類包括電影物件及BD-J(BD Java(註冊商標))物件。
電影物件檔案212一般包含複數個電影物件。各電影物件包含導航指令串。導航指令係用以令再生裝置102,執行與一般的DVD播放器所進行的再生處理同樣之再生處理之控制指令。導航指令的種類包括例如對應於標題之播放串列檔案之讀出命令、播放串列檔案所示之AV串流檔案之再生命令、及往別的標題之轉移命令。導航指令係以解譯器型語言而描述,由嵌入於再生裝置102之解譯器,亦即由工作控制程式解讀,令其控制部執行所期望的工作。導航指令係由運算碼及運算元所組成。運算碼係表示標題之分支與再生及運算等,應令再生裝置102執行之操作之種類。運算元係表示標題號碼等該操作對象之識別資訊。再生裝置102之控制部係因應例如使用者的操作而叫出各電影物件,依指令串之順序執行該電影物件所含之導航指令。藉其,再生裝置102係與一般的DVD播放器同樣,首先於顯示裝置103顯示選單以令使用者選擇指令。再生裝置102接著因應選擇的指令,進行標題之再生開始/停止及往別的標題切換等,令再生影像之進行動態地變化。
進一步參考第2圖,放置有播放串列(PLAYLIST)目錄220、剪輯資訊(CLIPINF)目錄230、串流(STREAM)目錄240、BD-J物件(BDJO:BD Java物件)目錄250、Java歸檔檔案(JAR:Java Archive)目錄260及輔助資料(AUXDATA:Auxiliary)目錄270。
於STREAM目錄240底下,放置有3種AV串流檔案(01000.m2ts)241、(02000.m2ts)242、(03000.m2ts)243及立體視覺交插檔案(SSIF:Stereoscopic Interleaved File)目錄244。於SSIF目錄244底下,放置有2種AV串流檔案(01000.ssif)244A、(02000.ssif)244B。
「AV串流檔案」係指記錄於BD-ROM碟片101上之影像內容的主體中,備齊檔案系統所規定的檔案形式者。在此,影像內容的主體一般意味表現影像‧聲音‧字幕等之各種串流資料,亦即基本串流受到多工後之串流資料。多工串流資料大致區別為主傳輸串流(TS)與子TS。「主TS」係指包含基礎視圖視訊串流作為主要視訊串流之多工串流資料。「基礎視圖視訊串流」係指可單獨再生、表現2D影像之視訊串流。該2D影像稱為「基礎視圖」或「主視圖」。「子TS」係指包含相依視圖視訊串流作為主要視訊串流之多工串流資料。「相依視圖視訊串流」係於其再生時需要基礎視圖視訊串流,與該基礎視圖視訊串流組合以表現3D影像之視訊串流。相依視圖視訊串流之種類包括左視圖視訊串流、右視圖視訊串流及深度圖串流。「右視圖視訊串流」係於基礎視圖為3D影像之左視圖時,表現該3D影像之右視圖之視訊串流。「左視圖視訊串流」則與其相反。「深度圖串流」係於基礎視圖是3D影像對於虛擬的2D畫面之投影時,表現該3D影像之深度圖之串流資料。相依視圖視訊串流所表現的2D影像或深度圖,稱為「相依視圖」或「子視圖」。
AV串流檔案係依照內建的多工化串流資料之種類,區分為檔案2D、檔案相依(以下簡稱為檔案DEP)及交插檔案(以下簡稱為檔案SS)。「檔案2D」係指於2D再生模式下之2D影像再生所利用的AV串流檔案,包含主TS。「檔案DEP」係指包含子TS之AV串流檔案。「檔案SS」係指包含表現相同3D影像之主TS與子TS之配對之AV串流檔案。尤其是檔案SS係與某一檔案2D共有其主TS,與某一檔案DEP共有其子TS。亦即,於BD-ROM碟片101之檔案系統,主TS係作為檔案SS及檔案2D之任一者均可存取,子TS係作為檔案SS及檔案DEP之任一者均可存取。如此,令不同檔案共有記錄於BD-ROM碟片101上之一連串資料,作為任一檔案均可存取的機制稱為「檔案交聯」。
於第2圖所示之例中,第1AV串流檔案(01000.m2ts)241為檔案2D,第2AV串流檔案(02000.m2ts)242及第3AV串流檔案(03000.m2ts)243均為檔案DEP。如此,檔案2D及檔案DEP放置於STREAM目錄240底下。包含第1AV串流檔案,亦即包含檔案2D241之基礎視圖視訊串流係表現3D影像之左視圖。包含第2AV串流檔案,亦即包含檔案DEP242之相依視圖視訊串流包含右視圖視訊串流。包含第3AV串流檔案,亦即包含檔案DEP243之相依視圖視訊串流包含深度圖串流雙方。
於第2圖所示之例中,進而第4AV串流檔案(01000.ssif)244A及第5AV串流檔案(02000.ssif)244B均為檔案SS。如此,檔案SS放置於SSIF目錄244底下。第4AV串流檔案、亦即第1檔案SS244A係與檔案2D241共有主TS,尤其共有基礎視圖視訊串流,與檔案DEP242共有子TS,尤其共有右視圖視訊串流。第5AV串流檔案、亦即第2檔案SS244B係與第1檔案2D241共有主TS,尤其共有基礎視圖視訊串流,與第3檔案DEP243共有子TS,尤其共有深度圖串流。
於CLIPINF目錄230,放置有3種剪輯資訊檔案(01000.c1pi)231、(02000.c1pi)232、(03000.c1pi)233。「剪輯資訊檔案」係指檔案2D、檔案DEP及文本字幕檔案一對一地建立對應之檔案,尤其包含各檔案之分錄圖。「分錄圖」係各檔案所表現的場景或字幕之顯示時間、與記錄有該場景或字幕之各檔案內之位址之間之對應表。剪輯資訊檔案中,與檔案2D建立對應者稱為「2D剪輯資訊檔案」,與檔案DEP建立對應者稱為「相依視圖剪輯資訊檔案」。於第2圖所示之例中,第1剪輯資訊檔案(01000.c1pi)231為2D剪輯資訊檔案,與檔案2D241建立對應。第2剪輯資訊檔案(02000.c1pi)232及第3剪輯資訊檔案(03000.c1pi)233均為相依視圖剪輯資訊檔案,分別與第1檔案DEP242及第2檔案DEP243建立對應。
於PLAYLIST目錄220,放置有3種播放串列檔案(00001.mp1s)221、(00002.mp1s)222、(00003.mp1s)223。「播放串列檔案」係指AV串流檔案之再生路徑,亦即規定AV串流檔案之再生對象部分及其再生順序之檔案。播放串列檔案之種類包括2D播放串列檔案及3D播放串列檔案。「2D播放串列檔案」規定檔案2D之再生路徑。「3D播放串列檔案」係對於2D再生模式之再生裝置,規定檔案2D之再生路徑,對於3D再生模式之再生裝置,規定檔案SS之再生路徑。於第2圖所示之例中,第1播放串列檔案(00001.mp1s)221為2D(00001.mp1s)221,規定檔案2D241之再生路徑。第2播放串列檔案(00002.mp1s)222為3D播放串列檔案,對於2D再生模式之再生裝置,規定檔案2D241之再生路徑,對於L/R模式之3D再生裝置,規定第1檔案SS244A之再生路徑。第3播放串列檔案(00003.mpls)223為3D播放串列檔案,對於2D再生模式之再生裝置,規定檔案2D241之再生路徑,對於深度模式之3D再生裝置,規定第2檔案SS244B之再生路徑。
於BDJO目錄250,放置有BD-J物件檔案(XXXXX.bdjo)251。BD-J物件檔案251包含1個BD-J物件。BD-J物件係位元組碼程式,令安裝於再生裝置102之Java虛擬機器,執行標題之再生處理及圖形影像之描繪處理。BD-J物件係以Java語言等編譯器型語言所描述。BD-J物件包含應用程式管理表及參考對象之播放串列檔案之識別資訊。「應用程式管理表」係應令Java虛擬機器執行之Java應用程式、與其執行時期,亦即與生命週期之對應表。「參考對象之播放串列檔案之識別資訊」係用以識別對應於再生對象之標題之播放串列檔案之資訊。Java虛擬機器係按照使用者操作或應用程式而叫出各BD-J物件,按照該BD-J物件所含之應用程式管理表執行Java應用程式。藉其,再生裝置102係令再生之各標題之影像的進行動態地變化,或令顯示裝置103將圖形影像與標題的影像獨立地顯示。
於JAR目錄260,放置有JAR檔案(YYYYY.jar)261。JAR檔案261一般包含複數種Java應用程式之主體,係應按照BD-J物件所示之應用程式管理表來執行者。與BD-J物件檔案相同,「Java應用程式」係以Java語言等編譯器型語言所描述之位元組碼程式。Java應用程式之種類包含:令Java虛擬機器執行標題之再生處理者,及令Java虛擬機器執行圖形影像之描繪處理者。JAR檔案261為Java歸檔檔案,於載入於再生裝置102時,於其內部之記憶體展開。藉其,於該記憶體中儲存Java應用程式。
《多工串流資料之構造》
第3(a)圖係受到多工而成為BD-ROM碟片101上之主TS之基本串流之一覽表。主TS為MPEG-2傳輸串流(TS)形式之數位串流,包含於第2圖所示之檔案2D241。參考第3(a)圖,主TS包含:主要視訊串流301、主要音訊串流302A、302B及呈現圖形(PG)串流303A、303B。除此之外,主TS亦可包含互動圖形(IG)串流304、次要音訊串流305及次要視訊串流306。
主要視訊串流301係表現電影的主影像,次要視訊串流306係表現副影像。在此,主影像係意味電影正編之影像等內容之主要影像,其指例如顯示於畫面全體者。另,副影像係例如以小畫面顯示於主影像中之影像,意味利用子母畫面方式而與主影像同時顯示於畫面之影像。主要視訊串流301及次要視訊串流306均為基礎視圖視訊串流。各視訊串流301、306係以MPEG-2、MPEG-4 AVC或SMPTE VC-1等動畫壓縮編碼方式編碼。
主要音訊串流302A、302B係表現電影的主聲音。在此,於2個主要音訊串流302A、302B之間,語言不同。次要音訊串流305係表現伴隨於對話畫面操作之音效等,應與主聲音疊合(應混音)之副聲音。各音訊串流302A、302B、305係以AC-3、杜比數位Plus(Dolby Digital Plus:「杜比數位」為註冊商標)、MLP(Meridian Lossless Packing:註冊商標)、DTS(Digital Theater System:註冊商標)、DTS-HD、線性PCM(Pulse Code Modulation:脈衝碼調變)等方式編碼。
各PG串流303A、303B係表現由圖形所組成的字幕等,應重疊於主要視訊串流301所表現的影像而顯示之圖形影像。於2個PG串流303A、303B之間,例如字幕的語言不同。IG串流304係表現用以於顯示裝置103之畫面131上,構成對話畫面之圖形使用者介面(GUI)用之圖形元件及其配置。
基本串流301-306係藉由封包識別符(PID)來識別。PID的分派係例如以下。由於1個主TS僅包含1個主要視訊串流,因此對主要視訊串流301分派16進位值0×1011。對於1個主TS,可依種類最多多工而成為32個其他基本串流時,對主要音訊串流302A、302B分派0×1100至0×111F之某一者。對PG串流303A、303B,分派0×1200至0×121F之某一者。對IG串流304,分派0×1400至0×141F之某一者。對次要音訊串流305,分派0×1A00至0×1A1F之某一者。對次要視訊串流306,分派0×1B00至0×1B1F之某一者。
第3(b)圖係受到多工而成為BD-ROM碟片101上之子TS之基本串流之一覽表。子TS為MPEG-2TS形式之多工串流資料,包含於第2圖所示之檔案DEP242。參考第3(b)圖,子TS包含2個主要視訊串流311R、311D。其一之311R為右視圖視訊串流,另一之311D為深度圖串流。該右視圖視訊串流311R係主TS內之主要視訊串流301表現3D影像之左視圖時,表現該3D影像之右視圖。該深度圖串流311D係與主TS內之主要視訊串流301之組合來表現3D影像。除此之外,子TS亦可包含次要視訊串流311R、311D。其一之311R為右視圖視訊串流,另一之311D為深度圖串流。再者,其等主要視訊串流311R、311D亦可各別多工至不同之檔案DEP242、243。右視圖視訊串流311R係於主TS內之次要視訊串流306表現3D影像之左視圖時,表現該3D影像之右視圖。深度圖串流311D係與主TS內之次要視訊串流306之組合來表現3D影像。此外,子TS亦可包含次要視訊串流312R、312R。其一之312R為右視圖視訊串流,另一之312D為深度圖串流。該右視圖視訊串流312R係於主TS內之次要視訊串流306表現3D影像之左視圖時,表現該3D影像之右視圖。該深度圖串流312D係與主TS內之次要視訊串流306之組合來表現3D影像。
對於基本串流311R、…、312D之PID之分派係例如以下。對主要視訊串流311R、311D分別分派0×1012、0×1013。對於1個子TS,可依種類最多多工而成為32個其他基本串流時,對次要視訊串流312R、312D分派0×1B20至0×1B3F之某一者。
第4圖係表示多工串流資料400內之TS封包之配置之模式圖。該封包構造係於主TS與子TS為共通構造。於多工串流資料400內,各基本串流401、402、403、404轉換為TS封包421、422、423、424串。例如於視訊串流401,首先各訊框401A或各圖場轉換為1個PES(Packetized Elementary Stream:封包化基本串流)封包411。接著,各PES封包411一般轉換為複數個TS封包421。同樣地,音訊串流402、PG串流403及IG串流404分別暫且轉換為PES封包412、413、414之封包串後,再轉換為TS封包422、423、424串。最後,從各基本串流401、402、403、404所獲得的TS封包421、422、423、424係採分時而受到多工,成為1個串流資料400。
第5(b)圖係表示構成多工串流資料之TS封包串之形式之模式圖。各TS封包501為188位元組長之封包。參考第5(b)圖,各TS封包501包含:TS酬載區(payload)501P及適應性(adaptation)欄位(以下簡稱為AD欄位)501A之至少某一者、及TS標頭501H。TS酬載區501P及AD欄位501A係雙方合起來為184位元組長之資料區域。TS酬載區501P係利用作為PES封包之儲存區域。第4圖所示之PES封包411-414一般分別分割為複數個部分,各部分儲存於不同的TS酬載區501P。AD欄位501A係於TS酬載區501P之資料量少於184位元組時,用以儲存填塞位元組(亦即虛設資料)之區域。除此之外,AD欄位501A係於TS封包501為例如後述之PCR時,利用作為其資訊之儲存區域。TS標頭501H為4位元組長之資料區域。
第5(a)圖係表示TS標頭501H之資料構造之模式圖。參考第5(a)圖,TS標頭501H包含:TS優先度(transport_priority)511、PID512及AD欄位控制(adaptation_field_control)513。PID512係表示儲存於相同TS封包501內之TS酬載區501P之資料所屬的基本串流之PID。TS優先度511係表示PID512所示值為共通值之TS封包群中之TS封包501之優先度。AD欄位控制513係分別表示TS封包501內之AD欄位501A與TS酬載區501P之有無。例如AD欄位控制513表示“1”時,TS封包501不包含AD欄位501A而包含TS酬載區501P。AD欄位控制513表示“2”時,則反之。AD欄位控制513表示“3”時,TS封包501包含AD欄位501A及TS酬載區501P雙方。
第5(c)圖係表示由多工串流資料之TS封包串所構成的來源封包串之形式之模式圖。參考第5(c)圖,各來源封包502為192位元組長之封包,包含1個第5(b)圖所示之TS封包501及4位元組長之標頭(TP_Extra_Header)502H。TS封包501記錄於BD-ROM碟片101時,藉由對該TS封包501賦予標頭502H而構成來源封包502。標頭502H包含ATS(Arrival_Time_Stamp)。「ATS」為時刻資訊,由再生裝置102利用如下:來源封包502從BD-ROM碟片101送往再生裝置102內之系統目標解碼器時,從該來源封包502擷取TS封包502P,並往系統目標解碼器內之PID濾波器傳輸。該標頭502H內之ATS係表示應開始該傳輸之時刻。在此,「系統目標解碼器」係從多工串流資料分離出基本串流,並個別地予以解碼之裝置。關於系統目標解碼器及由其所進行的ATS之利用之詳細,會於後面敘述。
第5(d)係連續記錄有一連串之來源封包502之BD-ROM碟片101之冊區域202B上之磁區群之模式圖。參考第5(d)圖,一連串之來源封包502係每32個記錄於3個連續之磁區521、522、523。此係由於32個來源封包之資料量192位元組×32=6144位元組,等於3個磁區之合計尺寸2048位元組×3=6144位元組。如此,記錄於3個連續之磁區521、522、523之32個來源封包502稱為「對齊單元(Aligned Unit)」520。再生裝置102係從BD-ROM碟片101,就每對齊單元520讀出來源封包502,亦即各讀出32個。磁區群521、522、523、…係從開頭依序各分割為32個,各個構成1個錯誤訂正碼(ECC)塊530。BD-ROM驅動器121係就每ECC塊530進行錯誤訂正處理。
《PG串流之資料構造》
第6圖係表示PG串流600之資料構造之模式圖。參考第6圖,PG串流600包含複數個資料分錄#1、#2、…。各資料分錄係表示PG串流600之顯示單位(顯示集合),由使得再生裝置102構成1張圖形截面所必需的資料組成。在此,「視訊截面」係指從包含視訊序列之圖片所生成的截面資料。「圖形截面」係指從表現2D圖形影像之圖形資料所生成的截面資料。「截面資料」係像素資料之二次元排列,該排列之尺寸等於影像訊框之解像度。一組像素資料係由色彩座標值與α值(不透明度)之組合所組成。色彩座標值係以RGB值或YCrCb值來表示。圖形截面之種類包含:PG截面、IG截面及螢幕顯示(OSD)截面。PG截面係從主TS內之PG串流或文本字幕字幕串流所生成。IG截面係從主TS內之IG串流所生成。影像截面係按照BD-J物件所生成。OSD截面係按照再生裝置102之韌體所生成。
進一步參考第6圖,各資料分錄包含複數個功能區段。其等功能區段從開頭依序包含:顯示控制區段(Presentation Control Segment:PCS)、視窗定義區段(Window Define Segment:WDS)、色盤定義區段(Pallet Define Segment:PDS)及物件定義區段(Object Define Segment:ODS)。
WDS規定圖形截面內之矩陣區域,亦即視窗。具體而言,WDS包含:視窗ID611、視窗位置612及視窗尺寸613。視窗ID611為WDS之識別資訊(ID)。視窗位置612係表示視窗在圖形截面內之位置,例如視窗左上角之座標。視窗尺寸613係表示視窗高度及寬度。
PDS係規定特定種類之彩色ID與色彩座標值(例如亮度Y、紅色差Cr、藍色差Cb、不透明度α)之間之對應關係。具體而言,PDS包含色盤ID621及彩色查找表(CLUT)622。色盤621為PDS之ID。CLUT622係利用於圖形物件描繪之色彩之一覽表。於CLUT622可登錄256色,從0到255之彩色ID逐一分配給各色。再者,彩色ID=255固定分配給「無色透明」。
ODS一般係以複數個來表示1個圖形物件。「圖形物件」係以像素碼及彩色ID之間之對應關係來表現圖形圖像。圖形物件係於利用長度編碼方式壓縮後受到分割,並分配給各ODS。各ODS進一步包含物件ID,亦即圖形物件之ID。
PCS係表示屬於相同之資料分錄之顯示集合之詳細,尤其規定利用圖形物件之畫面構成。該畫面構成之種類包括:剪入/剪出(Cut-In/Out)、淡入/淡出(Fade-In/Out)、色彩變化(Color Change)、捲動(Scroll)及擦入/擦出(Wipe-In/Out)。具體而言,PCS包含:物件顯示位置601、修剪資訊602、參考視窗ID603、參考色盤604及參考物件ID605。物件顯示位置601係以WDS所規定的視窗內之座標,表示應顯示圖形物件之圖形截面內之位置,例如應顯示圖形物件之區域之左上角之座標。修剪資訊602係表示應藉由修剪處理而從圖形物件中剪出之矩形部分之範圍。該範圍係以例如左上角之座標、高度及寬度來規定。實際上可於物件顯示位置601所示之位置描繪該部分。參考視窗ID603、參考色盤604及參考物件ID605分別表示應於圖形物件之描繪處理中,受到參考之WDS、PDS及圖形物件之ID。內容提供者係利用PCS內之其等參數,向再生裝置102指示畫面構成。藉其,可令再生裝置102實現例如「逐漸抹除某字幕,同時令下個字幕顯示」之顯示效果。
《IG串流之資料構造》
進一步參考第4圖,IG串流404包含:對話構成區段(Interactive Composition Segment:ICS)、PDS及ODS。PDS及ODS係與PG串流403所含者為同樣的功能區段。尤其是ODS所含之圖形物件係表現按鈕及彈出式選單等構成對話畫面之GUI用圖形元件。ICS係規定利用其等圖形物件之對話操作。具體而言,ICS係規定針對按鈕及彈出式選單等,狀態因應使用者操作而變化之圖形物件之各者可能採取的狀態,亦即規定一般、選擇及有效之各狀態。ICS進一步包含按鈕資訊。按鈕資訊包含使用者對於按鈕等進行確定操作時,再生裝置所應執行的指令。
《視訊串流之資料構造》
視訊串流所含之各圖片係表現1訊框或1圖場,藉由MPEG-2或MPEG-4 AVC等動畫壓縮編碼方式而壓縮。該壓縮係利用圖片在空間方向或時間方向之冗餘。在此,僅利用空間方向之冗餘之圖片編碼稱為「圖片內編碼」。另,利用時間方向之冗餘,亦即利用顯示順序連續之複數個圖片間之資料近似性之圖片編碼,稱為「圖片間預測編碼」。於圖片間預測編碼中,首先對於編碼對象之圖片,設定顯示時間在前或後之別的圖片作為參考圖片。接著,於編碼對象之圖片與其參考圖片之間檢測移動向量,利用其來對於參考圖片進行移動補償。進一步求出藉由移動補償所獲得的圖片與編碼對象之圖片之間之差分值,從該差分值去除空間方向之冗餘。如此,壓縮各圖片之資料量。
第7圖係依顯示時間順序表示基礎視圖視訊串流701及右視圖視訊串流702之圖片之模式圖。參考第7圖,基礎視圖視訊串流701包含圖片710、711、712、…、719(以下稱為基礎視圖圖片),右視圖視訊串流702包含圖片720、721、722、…、729(以下稱為右視圖圖片)。基礎視圖圖片710-719一般分割為複數個GOP731、732。「GOP」係指以I圖片作為開頭之複數張連續的圖片串。GOP一般除了I圖片以外,還包含P圖片及B圖片。在此,「I(Intra)圖片」係指藉由圖片內編碼所壓縮的圖片。「P(Predictive)圖片」係指藉由圖片間預測編碼所壓縮的片段,利用顯示時間在其前之1張圖片作為參考圖片。「B(Bidirectionally Predivtive:雙向預測)圖片」係指藉由圖片間預測編碼所壓縮的片段,利用顯示時間在其前或後之2張圖片作為參考圖片。B圖片中,在對於其他圖片之圖片間預測編碼時作為參考圖片利用之圖片,特別稱為「Br(reference B)圖片」。
於第7圖所示之例中,各GOP731、732內之基礎視圖圖片係採以下順序壓縮。於第1GOP731,首先開頭之基礎視圖圖片壓縮為I0
圖片710。在此,下標的數字表示依顯示時間順序,對各圖片編上的連號。接著,第4個基礎視圖圖片係以I0
圖片710作為參考圖片而壓縮為P3
圖片713。在此,第7圖所示之各箭頭係表示前端圖片為對於後端圖片之參考圖片。接下來,第2、3個基礎視圖圖片係以I0
圖片710及P3
圖片713作為參考圖片,分別壓縮為Br1
圖片711及Br2
圖片712。進而第7個基礎視圖圖片係以P3
圖片713作為參考圖片而壓縮為P6
圖片716。接下來,第4、5個基礎視圖圖片係以P3
圖片713及P6
圖片716作為參考圖片,分別壓縮為Br4
圖片714及Br5
圖片715。同樣地,於第2GOP732,首先開頭之基礎視圖圖片壓縮為I7
圖片717。接著,第3個基礎視圖圖片係以I7
圖片717作為參考圖片而壓縮為P9
圖片719。接下來,第2個基礎視圖圖片係以I7
圖片717及P9
圖片719作為參考圖片而壓縮為Br8
圖片718。
於基礎視圖視訊串流701,由於各GOP必定於其開頭包含I圖片,因此基礎視圖圖片可就每GOP解碼。例如於第1GOP731,首先I0
圖片710單獨解碼。接著,利用解碼後之I0
圖片710解碼P3
圖片713。接下來,利用解碼後之I0
圖片710及P3
圖片713,解碼Br1
圖片711及Br2
圖片712。後續的圖片群714、715、…亦同樣地解碼。如此,基礎視圖視訊串流701可單獨解碼,進而可進行GOP單位之隨機存取。
進一步參考第7圖,右視圖圖片720-729係以圖片間預測編碼而壓縮。然而,該編碼方法係與基礎視圖圖片710-719之編碼方法不同,除了利用影像在時間方向之冗餘,亦利用左右影像間之冗餘。具體而言,如第7圖以箭頭所示,各右視圖圖片720-729之參考圖片不僅從右視圖視訊串流702選擇,亦從基礎視圖視訊串流701選擇。尤其各右視圖圖片720-729、與選擇作為其參考圖片之基礎視圖圖片係顯示時刻實質上相等。其等圖片表現3D影像之相同場景之右視圖與左視圖之配對,亦即表現視差影像。如此,右視圖圖片720-729係與基礎視圖圖片710-719一對一地對應。尤其在其等圖片間,GOP構造為共通構造。
於第7圖所示之例中,首先第1GOP731內之開頭之右視圖圖片係以基礎視圖視訊串流701內之I0
圖片710作為參考圖片,而壓縮為P0
圖片720。其等圖片710、720係表現3D影像之開頭訊框之左視圖與右視圖。接著,第4個右視圖圖片係以P0
圖片720、及基礎視圖視訊串流701內之P3
圖片713作為參考圖片而壓縮為P3
圖片723。接下來,第2個右視圖圖片係除了P0
圖片720及P3
圖片723以外,還以基礎視圖視訊串流701內之Br1
圖片711作為參考圖片而壓縮為B1
圖片721。同樣地,第3個右視圖圖片係除了P0
圖片720及P3
圖片730以外,還以基礎視圖視訊串流701內之Br2
圖片712作為參考圖片而壓縮為B2
圖片722。關於以後的右視圖圖片724-729亦相同,顯示時刻實質上與該右視圖圖片相等之基礎視圖圖片係利用作為參考圖片。
作為如上述利用左右影像間之相關關係之動畫壓縮編碼方式,據知有稱為MVC(Multiview Video Coding:多視圖視訊編碼)之MPEG-4 AVC/H.264之修正規格。MVC係由ISO/IEC MPEG及ITU-T VCEG之共同計畫,即JVT(共同視訊小組)於2008年7月制訂,係用以匯總從複數視點所見影像並予以編碼的規格。於MVC,對於影像間預測編碼不僅利用影像在時間方向之類似性,亦利用視點不同的影像間之類似性。於該預測編碼中,影像壓縮率比個別地壓縮從各視點所見影像之預測編碼更高。
如上述,各右視圖圖片720-729之壓縮係利用基礎視圖圖片作為參考圖片。因此,與基礎視圖視訊串流701不同,無法單獨解碼右視圖視訊串流702。然而,視差影像間一般差異些微,亦即左視圖與右視圖之間之相關甚高。因此,右視圖圖片一般壓縮率明顯高於基礎視圖圖片,亦即資料量明顯少。
深度圖串流所含之深度圖係與基礎視圖圖片710-719一對一地對應,表現對於該基礎視圖圖片所示之2D影像之深度圖。各深度圖係與基礎視圖圖片710-719相同,藉由MPEG-2或MPEG-4 AVC等動畫壓縮編碼方式而壓縮。尤其於其編碼方式中利用圖片間預測編碼。亦即,各深度圖係利用其他深度圖作為參考圖片而壓縮。深度圖串流進一步與基礎視圖視訊串流701同樣分割為GOP單位,各GOP必定於其開頭包含I圖片。因此,深度圖可就每GOP解碼。然而,深度圖本身僅是依像素別來表現2D影像各部之景深的資訊,因此無法將深度圖串流單獨利用於影像再生。
例如第3(b)圖所示之2個主要視訊串流311R、311D,對應於相同基礎視圖視訊串流之右視圖視訊串流及深度圖串流,係以相同編碼方式而壓縮。例如右視圖視訊串流以MVC的格式編碼時,深度圖串流亦以MVC的格式編碼。該情況下,再生裝置102係於3D影像再生時,可將編碼方式維持一定,順利地實現L/R模式與深度模式之切換。
第8圖係表示視訊串流800之資料構造之詳細之模式圖。該資料構造實質上於基礎視圖視訊串流及右視圖視訊串流為共通構造。參考第8圖,視訊串流800一般由複數個視訊序列#1、#2、…所構成。「視訊序列」係於構成1個GOP810之圖片群811、812、813、814、…,個別地組合標頭等附加資訊。該附加資訊與各圖片之組合稱為「視訊存取單元(VAU)」。亦即,於各GOP810、820,就每圖片構成1個VAU#1、#2、…。各圖片能夠以VAU為單位,從視訊串流800讀出。
第8圖進一步表示於基礎視圖視訊串流內,位於各視訊序列前端之VAU#1831之構造。VAU#1831包含:存取單元(AU)識別碼831A、序列標頭831B、圖片標頭831C、補充資料831D及壓縮圖片資料831E。除了不包含序列標頭831B之點以外,第2個以後之VAU#2係與VAU#1831為相同構造。AU識別碼831A係表示VAU#1831前端之特定碼。序列標頭831B亦稱為GOP標頭,包含視訊序列#1之識別號碼,而前述視訊序列#1包含VAU#1831。序列標頭831B進一步包含在GOP810全體為共通的資訊,例如解像度、訊框率、縱橫比及位元率。圖片標頭831C係表示本身固有的識別號碼、視訊序列#1之識別號碼、及圖片解碼所必需的資訊,例如編碼方式之種類。補充資料831D包含:關於圖片解碼以外之附加性資訊,例如表示隱藏字幕之文字資訊;關於GOP構造之資訊;及時間碼資訊。補充資料831D尤其包含解碼切換器資訊(詳細會於後面敘述)。壓縮圖片資料831E包含基礎視圖圖片。除此之外,VAU#1831亦可因應需要而包含填充資料831F、序列終端碼831G、及串流終端碼831H之某一者或全部。填充資料831F為虛設資料。藉由配合壓縮圖片資料831E的尺寸來調節其尺寸,可將VAU#1831之位元率維持在特定值。序列終端碼831G係表示VAU#1831位於視訊序列#1之後端。串流終端碼831H係表示基礎視圖視訊串流800之後端。
第8圖還表示於相依視圖視訊串流內,位於各視訊序列前端之VAU#1832之構造。VAU#1832包含:子AU識別碼832A、子序列標頭832B、圖片標頭832C、補充資料832D及壓縮圖片資料832E。除了不包含子序列標頭832B之點以外,第2個以後之VAU#2係與VAU#1832為相同構造。子AU識別碼832A係表示VAU#1832前端之特定碼。子序列標頭832B包含視訊序列#1之識別號碼,而前述視訊序列#1包含VAU#1832。子序列標頭832B進一步包含在GOP810全體為共通的資訊,例如解像度、訊框率、縱橫比及位元率。尤其其等值係對於基礎視圖視訊串流之相對應之GOP而設定之值,亦即與VAU#1831之序列標頭831B所示之值相等。圖片標頭832C係表示本身固有的識別號碼、視訊序列#1之識別號碼、及圖片解碼所必需的資訊,例如編碼方式之種類。補充資料832D包含:關於圖片解碼以外之附加性資訊,例如表示隱藏字幕之文字資訊;關於GOP構造之資訊;及時間碼資訊。補充資料832D除了包含解碼切換器資訊以外,還包含偏移元資料(詳細會於後面敘述)。在此,除了包含偏移元資料之832D以外,補充資料的種類還包含:關於圖片解碼以外之附加性資訊,例如表示隱藏字幕之文字資訊;關於GOP構造之資訊;時間碼資訊;及解碼切換器資訊。因此,VAU#1832係除了補充資料832D以外,亦可包含1個以上之其他補充資料。壓縮圖片資料832E包含相依視圖圖片。除此之外,VAU#1832亦可因應需要而包含填充資料832F、序列終端碼832G、及串流終端碼832H之某一者或全部。填充資料832F為虛設資料。藉由配合壓縮圖片資料832E的尺寸來調節其尺寸,可將VAU#1832之位元率維持在特定值。序列終端碼832G係表示VAU#1832位於視訊序列#1之後端。串流終端碼832H係表示基礎視圖視訊串流800之後端。
VAU各部之具體內容係依視訊串流800之編碼方式而不同。例如該編碼方式為MPEG-4 AVC或MVC時,第8圖所示之VAU各部係由1個NAL(Network Abstraction Layer:網路提取層)單元所構成。具體而言,AU識別碼831A、序列標頭831B、圖片標頭831C、補充資料831D、壓縮圖片資料831E、填充資料831F、序列終端碼831G、及串流終端碼831H係分別相當於AU定界符(Access Unit Delimiter:存取單元定界符)、SPS(序列參數集合)、PPS(圖片參數集合)、SEI(Supplemental Enhancement Information:補充增強資訊)、視圖組件填入資料(Filler Data)、序列結束(End of Sequence)及串流結束(End of Stream)。尤其於VAU#1832,包含偏移元資料之補充資料832D係由1個NAL單元所構成,該NAL單元不包含偏移元資料以外之資料。
第9圖係表示對PES封包串902之視訊串流901之儲存方法之詳細之模式圖。該儲存方法係於基礎視圖視訊串流及相依視圖視訊串流為共通方法。參考第9圖,於實際的視訊串流901,圖片並非依顯示時間順序而依編碼順序而受到多工。例如於基礎視圖視訊串流之VAU,如第9圖所示,從開頭依序儲存有I0
圖片910、P3
圖片911、B1
圖片912、B2
圖片913、…。在此,下標的數字表示依顯示時間順序,對各圖片編上的連號。於P3
圖片911之編碼,利用I0
圖片910作為參考圖片,於B1
圖片912及B2
圖片913之各編碼,利用I0
圖片910及P3
圖片911作為參考圖片。其等之VAU每1個逐一儲存於不同的PES封包920、921、922、923、…。各PES封包920、…包含PES酬載區920P及PES標頭920H。VAU儲存於PES酬載區920P。另,PES標頭920H包含:儲存於相同的PES封包920之PES酬載區920P之圖片之顯示時刻,亦即PTS(Presentation Time-Stamp:呈現時間戳記);及該圖片之解碼時刻,亦即DTS(Decoding Time-Stamp:解碼時間戳記)。
與第9圖所示之視訊串流901相同,第3、4圖所示之其他基本串流亦儲存於一連串之PES封包之各PES酬載區。進而各PES封包之PES標頭包含儲存於該PES封包之PES酬載區之資料之PTS。
第10圖係表示分派給基礎視圖視訊串流1001及相依視圖視訊串流1002之各圖片之PTS及DTS之間之關係之模式圖。參考第10圖,於兩視訊串流1001、1002之間,對於表現3D影像之相同訊框或圖場之1對圖片,分派相同的PTS及DTS。例如3D影像之開頭訊框或圖場係從基礎視圖視訊串流1001之I1
圖片1011與相依視圖視訊串流1002之P1
圖片1021之組合重現。因此,於其等圖片之配對1011、1021,PTS相等且DTS相等。在此,下標的數字表示依DTS的順序,對各圖片編上的連號。又,相依視圖視訊串流1002為深度圖串流時,P1
圖片1021係置換成表現對於I1
圖片1011之深度圖之I圖片。同樣地,於各視訊串流1001、1002之第2個圖片,亦即P2
圖片1012、1022之配對,PTS相等且DTS相等。於各視訊串流1001、1002之第3個圖片,亦即Br3
圖片1013與B3
圖片1023之配對,PTS及DTS均為共通。於Br4
圖片1014與B4
圖片1024之配對之配對亦同。
於基礎視圖視訊串流1001與深度圖視訊串流1002之間,包含PTS相等且DTS相等之圖片之VAU的配對稱為「3D‧VAU」。藉由第10圖所示之PTS與DTS之分派,可容易令3D再生模式之再生裝置102內之解碼器,以3D‧VAU為單位並行地處理基礎視圖視訊串流1001與相依視圖視訊串流1002。藉其,表現3D影像之相同訊框或圖場之1對圖片會由解碼器確實且並行地處理。進而言之,於各GOP開頭之3D‧VAU,序列標頭包含相同解像度、相同訊框率及相同縱橫比。尤其該訊框率係於2D再生模式下,等於基礎視圖視訊串流1001單獨解碼時之值。
[偏移元資料]
第11圖係表示相依視圖視訊串流1100所含之偏移元資料1110之資料構造之模式圖。第12圖係表示該偏移元資料(offset_metadata)1110之語法(Syntax)之表。參考第11圖,偏移元資料1110儲存於位在各視訊序列(亦即GOP)前端之VAU#1之補充資料1101。參考第11、12圖,偏移元資料1110包含:PTS1111、偏移序列ID(offset_sequence_id)1112及偏移序列(offset_sequence)1113。PTS1111係等於VAU#1內之壓縮圖片資料之訊框,亦即等於各GOP之最初訊框之PTS。
偏移序列ID1112係對偏移序列1113依次序所編上的連號0、1、2、…、M。整數M為1以上,表示偏移序列1113之總數(number_of_offset_sequence)。對於應合成於視訊截面之圖形截面,分派有偏移序列ID1112。藉其,偏移序列ID1113係與各圖形截面建立對應。在此,「視訊截面」係指由包含視訊序列之圖片所生成的截面資料,亦即像素資料之二次元排列。該排列之尺寸等於影像訊框之解像度。1組像素資料係由色彩座標值(RGB值或YCrCb值)與α值之組合所組成。
各偏移序列ID1113係訊框號碼1121與偏移資訊1122、1123之對應表。訊框號碼1121係對1個視訊序列(例如視訊序列#1)所表現的訊框#1、#2、…、#N,依顯示順序所編上的連號1、2、…、N。於第12圖,訊框號碼1121係以整數值變數i來表示。整數N為1以上,表示該偏移序列所含之訊框總數(number_of_displayed_frames_in_GOP)。各偏移資訊1122、1123係規定對於1個圖形截面之偏移控制之控制資訊。
「偏移控制」係指對圖形截面給予水平座標之右方及左方之偏移,分別與基礎視圖視訊截面及相依視圖視訊截面合成之處理。「對圖形截面給予水平方向之偏移」係指於該圖形截面內,令各像素資料往水平方向變位。藉其,從1個圖形截面,生成表現左視圖與右視圖之圖形截面之配對。從該配對所再生的2D圖形影像各部之顯示位置,係從原本的顯示位置往左右偏離。其等變位係由收視者錯覺為兩眼視差,左視圖與右視圖之配對藉此對該收視者而言看似1個3D圖形影像。
偏移係由方向及大小來決定。因此,如第11、12圖所示,各偏移資訊包含偏移方向(Plane_offset_direction)1122及偏移值(Plane_offset_value)1123。偏移方向1122係表示3D圖形影像之景深較畫面位於面前或深處。按照偏移方向1122的值,相對於原本的2D圖形影像之顯示位置,左視圖及右視圖之各顯示位置之方向係決定往左或右。偏移值1123係以水平方向之像素數,表示原本的2D圖形影像之顯示位置與左視圖及右視圖之各顯示位置之間之距離。
第13(a)、(b)圖係表示對於PG截面1310及IG截面1320之偏移控制之模式圖。於其等之偏移控制中,對於左視圖視訊截面1301及右視圖視訊截面1302,分別合成2種圖形截面1310、1320。在此,「左視圖/右視圖視訊截面」係從基礎視圖視訊串流與相依視圖視訊串流之組合所生成之表現左視圖/右視圖之視訊截面。於以下說明中,設想於較畫面位於面前而顯示PG截面1310所表現的字幕1311,於較畫面位於深處而顯示IG截面1320所表現的按鈕1321的情況。
參考第13(a)圖,對PG截面1310給予右方偏移。具體而言,首先PG截面1310內之各像素資料之位置,從左視圖視訊截面1301內之相對應之像素資料之位置,僅以等於偏移值之像素數SFP往右(虛擬地)移動。接著,「剪下」較左視圖視訊截面1301的範圍往右側(虛擬地)超出之PG截面1310之右端之帶狀區域1312。亦即,捨棄該區域1312之像素資料群。另,於PG截面1310之左端追加透明的帶狀區域1313。該帶狀區域1313之寬度等於右端之帶狀區域1312之寬度,亦即等於偏移值SFP。如此,從PG截面1310,生成表現左視圖之PG截面,並合成於左視圖視訊截面1301。尤其於該左視圖PG截面,字幕1311之顯示位置係較原本的顯示位置,僅以偏移值SFP往右偏離。
另,對IG截面1320給予左方偏移。具體而言,首先IG截面1320內之各像素資料之位置,從左視圖視訊截面1301內之相對應之像素資料之位置,僅以等於偏移值之像素數SFI往左(虛擬地)移動。接著,「剪下」較左視圖視訊截面1301的範圍往左側(虛擬地)超出之IG截面1320之左端之帶狀區域1322。另,於IG截面1320之右端追加透明的帶狀區域1323。該帶狀區域1323之寬度等於左端之帶狀區域1322之寬度,亦即等於偏移值SFI。如此,從IG截面1320,生成表現左視圖之IG截面,並合成於左視圖視訊截面1301。尤其於該左視圖IG截面,按鈕1321之顯示位置係較原本的顯示位置,僅以偏移值SFI往左偏離。
參考第13(b)圖,對PG截面1310給予左方偏移,對IG截面1320給予右方偏移。亦即,於PG截面1310及IG截面1320,相反進行上述操作即可。其結果,從各截面資料1310、1320,生成表現右視圖之截面資料,合成於右視圖視訊截面1320。尤其於右視圖PG截面,字幕1311之顯示位置係較原本的顯示位置,僅以偏移值SFP往左偏離。另,於右視圖IG截面,按鈕1321之顯示位置係較原本的顯示位置,僅以偏移值SFI往右偏離。
第13(c)圖係表示收視者1330從(a)、(b)所示之圖形截面所表現的2D圖形影像所知覺到的3D圖形影像之模式圖。於畫面1340交替顯示其等圖形截面所表現的2D圖形影像時,對收視者1330而言,如第13(c)圖所示,字幕1331看似較畫面1340位於面前,按鈕1332看似較畫面1340位於深處。各3D圖形影像1331、1332與畫面1340之間之距離可藉由偏移值SFP、SFI來調節。
第14(a)、(b)圖係表示偏移序列之具體例之圖。於各圖中,偏移方向表示較畫面位於面前時,偏移值為正。第14(a)圖係放大第14(b)圖中之最初的GOP,即GOP1之顯示期間之圖。參考第14(a)圖,階梯狀的圖1401係表示偏移序列ID=0之偏移序列,亦即表示偏移序列[0]之偏移值。另,水平的圖1402係表示偏移序列ID=1之偏移序列,亦即表示偏移序列[1]之偏移值。偏移序列[0]之偏移值1401係於最初之GOP之顯示期間GOP1,依訊框FR1、FR2、FR3、…、FR15、…的順序呈階梯狀增加。參考第14(b)圖,該偏移值1401之階梯狀增加係於第2個以後之各GOP之顯示期間GOP2、GOP3、…、GOP40、…亦同樣地繼續。每1訊框之增加量充分細微,因此於第14(b)圖,偏移值1401看似呈線性地連續增加。另,偏移序列[1]之偏移值1402係於最初之GOP之顯示期間GOP1,維持在負的一定值。參考第14(b)圖,該偏移值1402係於第40個GOP之顯示期間GOP40結束時,急增為正值。如此,偏移值亦可不連續地變化。
第14(c)圖係表示按照第14(a)、(b)圖所示之偏移序列所重現的3D圖形影像之模式圖。字幕之3D影像1403按照偏移序列[0]而顯示時,該3D影像1403看似從畫面1404面前慢慢跳出。另,按鈕之3D影像1405按照偏移序列[1]而顯示時,該3D影像1405看似從較畫面1404固定於深處之狀態,突然較畫面1404往面前跳出。如此,依每偏移序列,令訊框單位之偏移值之增減模式進行各種變化。藉其,可針對複數個3D圖形影像,多樣地表現各個景深的變化。
[偏移元資料與TS優先度之間之關係]
第15圖係表示儲存有相依視圖視訊串流內之VAU#11500之PES封包1510、及從該PES封包1510生成之TS封包串1520之模式圖。VAU#11500係與第8圖所示之VAU#1832同樣位於序列前端。因此,包含於VAU#11500之補充資料之至少1個1504係僅由偏移元資料1509所構成。於第15圖,以斜線部表示僅由偏移元資料1509所構成的補充資料1504。VAU#11500係儲存於PES封包1510之PES酬載區1512。該PES封包1510之PES標頭1511包含分派給VAU#11500內之壓縮圖片資料1505之DTS及PTS。PES封包1510係從開頭依序儲存於TS封包串1520。藉其,TS封包串1520從開頭依序分為3個群組1521、1522、1523。第1群組1521儲存有PES標頭1511、子AU識別碼1501、子序列標頭1502及圖片標頭1503。第2群組1522僅儲存只由偏移元資料1509所構成的補充資料1504。第3群組1513儲存有壓縮圖片資料1505、填充資料1506、序列終端碼1507及串流終端碼1508。在此,VAU#11500包含偏移元資料以外之補充資料時,其等補充資料儲存於第1群組1521或第3群組1513。位於第1群組1521後端之TS封包1530一般包含AD欄位1532。藉其,僅由偏移元資料1509所構成的補充資料1504不會混入於該TS酬載區1533。同樣地,位於第2群組1522後端之TS封包1550一般包含AD欄位1552。藉其,遑論壓縮圖片資料1505,僅由偏移元資料1509所構成的補充資料1504以外之資料亦不會混入於該TS酬載區1553。如此,僅由偏移元資料1509所構成的補充資料1504係僅儲存於屬於第2群組1522之TS封包1540、1550之TS酬載區1542、1553。另,壓縮資料1505係僅儲存於屬於第3群組1523之TS封包1560之TS酬載區1562。
進一步參考第15圖,於屬於第1群組1521之TS封包1530,TS標頭1531所示之TS優先度之值設定為“0”。同樣地,於屬於第3群組1523之TS封包1560,TS標頭1561所示之TS優先度之值設定為“0”。另,於屬於第2群組1522之TS封包1540、1550,TS標頭1541、1551所示之TS優先度之值設定為“1”。再者,值的設定亦可為相反。如此,屬於第2群組1522之TS封包之TS優先度之值係與屬於其他群組1521、1523之TS封包不同。因此,再生裝置102內之系統目標解碼器可利用TS優先度,容易地篩選屬於第2群組1522之TS封包。
與第15圖不同,屬於第1群組1521與第2群組1522之各群組之TS封包亦可表示相同之TS優先度之值。第16圖係表示該情況下之TS封包串1620之模式圖。與第15圖所示之TS封包串1520相同,TS封包串1620從開頭依序分為3個群組1621、1622、1623。第1群組1621儲存有PES標頭1511、子AU識別碼1501、子序列標頭1502及圖片標頭1503。第2群組1622僅儲存只由偏移元資料1509所構成的補充資料1504。第3群組1613儲存有壓縮圖片資料1505、填充資料1506、序列終端碼1507及串流終端碼1508。在此,VAU#11500包含偏移元資料以外之補充資料時,其等補充資料儲存於第1群組1621或第3群組1613。於第16圖,以斜線部表示僅由偏移元資料1509所構成的補充資料1504,以附黑點之區域,表示於PES封包1510內,較該補充資料配置於前之資料1511、1501-1503。於屬於第1群組1621與第2群組1622之各者之TS封包1630、1640、1650,TS標頭1631、1641、1651所示之TS優先度之值設定為“1”。另,於屬於第3群組1623之TS封包1660,TS標頭1661所示之TS優先度之值設定為“0”。再者,值的設定亦可為相反。該情況下,儲存有僅由偏移元資料1509所構成的補充資料1504之TS封包,係其TS優先度之值與儲存有壓縮圖片資料1505之TS封包不同。因此,再生裝置102內之系統目標解碼器可利用TS優先度,從儲存有壓縮圖片資料1505之TS封包群,容易地分離出僅由偏移元資料1509所構成的補充資料1504。
[解碼切換器資訊]
第17(a)圖係表示解碼切換器資訊1750之資料構造之模式圖。解碼切換器資訊1750係於第8圖所示之基礎視圖視訊串流及相依視圖視訊串流之各VAU,儲存於其補充資料。其中,於位在相依視圖視訊串流之各GOP開頭之VAU#1832,解碼切換器資訊1750儲存在有別於包含偏移元資料之補充資料832D之其他補充資料。補充資料831D、832D尤其於MPEG-4 AVC、MVC中,相當於NAL單元之一種“SEI”。解碼切換器資訊1750係用以令再生裝置102內之解碼器,容易特定出接著應解碼之VAU之資訊。在此,如後述,該解碼器係以VAU為單位,交替解碼基礎視圖視訊串流與相依視圖視訊串流。屆時,該解碼器一般係配合被賦予各VAU之DTS所示之時刻,特定出接著應解碼之VAU。然而,依解碼器種類,忽視DTS而依次繼續解碼VAU之解碼器亦甚多。對於該類解碼器而言,各VAU除了DTS以外,還宜包含解碼切換器資訊1750。
參考第17(a)圖,解碼切換器資訊1750包含:下一存取單元類型1751、下一存取單元尺寸1752及解碼計數器1753。下一存取單元類型1751係表示接著應解碼之VAU屬於基礎視圖視訊串流與相依視圖視訊串流之何者。例如下一存取單元類型1751之值為“1”時,接著應解碼之VAU屬於基礎視圖視訊串流,其為“2”時,接著應解碼之VAU屬於相依視圖視訊串流。下一存取單元類型1751之值為“0”時,現在的VAU位於解碼對象之串流後端,不存在接著應解碼之VAU。下一存取單元尺寸1752係表示接著應解碼之VAU之尺寸。再生裝置102內之解碼器係藉由參考下一存取單元尺寸1752,無須解析VAU之構造本身即可特定出其尺寸。因此,解碼器可從緩衝器容易地擷取VAU。解碼計數器1753係表示其所屬之VAU應受到解碼之次序。該次序係從包含基礎視圖視訊串流內之I圖片之VAU算起。
第17(b)圖係表示分派給基礎視圖視訊串流1701及相依視圖視訊串流1702之各圖片之解碼計數器之一例1710、1720之模式圖。參考第17(b)圖,解碼計數器1710、1720係於兩視訊串流1701、1702之間交替遞增。例如對於包含基礎視圖視訊串流1701內之I圖片之VAU1711,分派“1”作為解碼計數器1710。對於接著應解碼之包含相依視圖視訊串流1702內之P圖片之VAU1721,分派“2”作為解碼計數器1710。進而對於再接著應解碼之包含基礎視圖視訊串流1701內之P圖片之VAU1712,分派“3”作為解碼計數器1710。藉由該分派,即使於因某種故障,再生裝置102內之解碼器漏讀某一VAU時,解碼器可從解碼計數器1710、1720,立即特定出因其而欠缺的圖片。因此,解碼器可適當且迅速執行錯誤處理。
於第17(b)圖所示之例中,於基礎視圖視訊串流1701之第3個VAU1713之載入中發生錯誤,欠缺Br圖片。然而,解碼器係以相依視圖視訊串流1702之第2個VAU1722所含之P圖片之解碼處理,從該VAU1722讀出解碼計數器1720而保持。因此,解碼器可預測接著應處理之VAU之解碼計數器1710。具體而言,包含該P圖片之VAU1722內之解碼計數器1720為“4”,因此預測接著應處理之VAU之解碼計數器1710為“5”。然而,實際上接著載入之VAU為基礎視圖視訊串流1701之第4個VAU1714,因此其解碼計數器1710為“7”。由此,解碼器可檢測出漏讀1個VAU。因此,解碼器可執行以下之錯誤處理:「關於從相依視圖視訊串流1702之第3個VAU1723所擷取的B圖片,由於欠缺應參考之Br圖片,因此跳過解碼處理」。如此,解碼器係就每解碼處理檢查解碼計數器1710、1720。藉其,解碼器可迅速檢測VAU之載入錯誤,且可迅速執行適當的錯誤處理。其結果,可防止雜訊混入於再生影像。
第17(c)圖係表示分派給基礎視圖視訊串流1701及相依視圖視訊串流1702之各圖片之解碼計數器之其他例1730、1740之模式圖。參考第17(c)圖,解碼計數器1730、1740係於各視訊串流1701、1702個別地遞增。因此,解碼計數器1730、1740係於屬於相同3D‧VAU之1對圖片間相等。該情況下,解碼器係於解碼1個基礎視圖視訊串流1701之VAU的時點,可預測如下:「該解碼計數器1730等於接著應解碼之相依視圖視訊串流1702之VAU之解碼計數器1740」。另,解碼器係於解碼1個相依視圖視訊串流1702之VAU的時點,可預測如下:「於該解碼計數器1740加上1之後的值,等於接著應解碼之基礎視圖視訊串流1701之VAU之解碼計數器1730」。因此,解碼器於任一時點,均可從解碼計數器1730、1740迅速檢測VAU之載入錯誤,且迅速執行適當的錯誤處理。其結果,可防止雜訊混入於再生影像。
《AV串流檔案所含之其他TS封包》
AV串流檔案所含之TS封包之種類係除了轉換自第3圖所示之基本串流者以外,還包括PAT(Program Association Table:節目關聯表)、PMT(Program_map_table:節目對應表)及PCR(Program_Clock_Reference:節目時鐘參考)。PCR、PMT及PAT係由歐洲數位傳播規格所制訂,原本具有規定構成一個節目之部分傳輸串流的作用。藉由利用PCR、PMT及PAT,AV串流檔案亦與該部分傳輸串流同樣地受到規定。具體而言,PAT係表示相同的AV串流檔案所含之PMT之PID。PAT本身之PID為0。PMT包含相同的AV串流檔案所含、表現影像‧聲音‧字幕等之各基本串流之PID、及其屬性資訊。PMT進一步包含關於該AV串流檔案之各種描述符(亦稱descriptor)。於描述符,尤其包含表示許可/禁止該AV串流檔案之複製之複製控制資訊。PCR包含表示分派給本身、應令其與ATS相對應之STC(System Time Clock:系統時間時鐘)之值之資訊。在此,「STC」係由再生裝置102內之解碼器,利用作為PTS及DTS之基準之時鐘。該解碼器係利用PCR以令STC與ATC同步。
第18圖係表示PMT1810之資料構造之模式圖。PMT1810包含:PMT標頭1801、描述符1802及串流資訊1803。PMT標頭1801係表示PMT1810所含之資料的長度等。各描述符1802係關於包含PMT1810之AV串流檔案全體之描述符。前述複製控制資訊包含於描述符1802之一。串流資訊1803係關於AV串流檔案之各基本串流之資訊,被分派給每個不同的基本串流。各串流資訊1803包含:串流類型1831、PID1832及串流描述符1833。串流類型1831包含利用於壓縮該基本串流之代碼之識別資訊等。PID1832係表示該基本串流之PID。串流描述符1833包含該基本串流之屬性資訊,例如訊框率及縱橫比。
藉由利用PCR、PMT及PAT,可令再生裝置102內之解碼器,與依循歐洲數位傳播規則之部分傳輸串流同樣地處理AV串流檔案。藉其可確保BD-ROM碟片101用之再生裝置與依循歐洲數位傳播規則之終端裝置之間之相容性。
《多工串流資料之交插配置》
就3D影像之無縫再生而言,基礎視圖視訊串流及相依視圖視訊串流在BD-ROM碟片101之物理性配置甚為重要。在此,「無縫再生」係指從多工串流資料,不中斷且流暢地再生影像與聲音。
第19圖係表示BD-ROM碟片101上之多工串流資料之物理性配置之模式圖。參考第19圖,多工串流資料分割為複數個資料塊D[n]、B[n](n=0、1、2、3、…),並配置於BD-ROM碟片101上。在此,「資料塊」係指記錄在BD-ROM碟片101上之連續區域,亦即物理上連續之複數個磁區之一連串資料。於BD-ROM碟片101內,物理位址實質上與邏輯位址相等,因此於各資料塊內,LBN亦連續。因此,BD-ROM驅動器121係不令光拾取頭進行循軌,即可連續讀出1個資料塊。以下,屬於主TS之資料塊B[n]稱為「基礎視圖資料塊」,屬於子TS之資料塊D[n]稱為「相依視圖資料塊」。尤其包含右視圖視訊串流之資料塊稱為「右視圖資料塊」,包含深度圖串流之資料塊稱為「深度圖資料塊」。
各資料塊B[n]、D[n]係於BD-ROM碟片101之檔案系統中,可作為檔案2D或檔案DEP內之1個延伸區來存取。亦即,各資料塊之邏輯位址可從檔案2D或檔案DEP之檔案分錄得知(詳細參見《補充》)。
於第19圖所示之例中,檔案2D(01000.m2ts)241之檔案分錄1910係表示基礎視圖資料塊B[n]之各尺寸及其前端之LBN。因此,各基礎視圖資料塊B[n]可作為檔案2D241之延伸區EXT2D[n]來存取。以下,屬於檔案2D241之延伸區EXT2D[n]稱為「2D延伸區」。另,檔案DEP(02000.m2ts)242之檔案分錄1920係表示相依視圖資料塊D[n]之各尺寸及其前端之LBN。因此,各相依視圖資料塊D[n]為相依視圖資料塊,可作為檔案DEP242之延伸區EXT2[n]來存取。以下,屬於檔案DEP242之延伸區EXT2[n]稱為「相依視圖延伸區」。
參考第19圖,資料塊群係沿著BD-ROM碟片101上之磁軌連續地記錄。進而言之,基礎視圖資料塊B[n]與相依視圖資料塊D[n]係各1個交替配置。此類資料塊群之配置稱為「交插配置」。尤其以交插配置而記錄之一連串資料塊群,稱為「延伸區塊」。於第19圖表示3個延伸區塊1901、1902、1903。如最初2個延伸區塊1901、1902,延伸區塊之間係被多工串流資料以外之資料NAV之記錄區域所分離。又,BD-ROM碟片101為多層碟片時,亦即包含複數記錄層時,如第19圖所示之第2個及第3個延伸區塊1902、1903,延伸區塊之間亦被記錄層間之交界LB所分離。如此,一連串之多工串流資料一般分割為複數個延伸區塊而配置。該情況下,再生裝置102為了從該多工串流資料無縫再生影像,須將再生自各延伸區塊之影像無縫地連接。以下,再生裝置102為此所必需的處理稱為「延伸區塊間之無縫連接」。
各延伸區塊1901-1903各包含相同數目之2種資料塊D[n]、B[n]之各者。進而於第n個相鄰接之資料塊之配對D[n]、B[n],延伸區ATC時間相等。在此,「ATC(Arrival Time Clock:到達時間時鐘)」係意味應作為ATS之基準之時鐘。又,「延伸區ATC時間」係以ATC的值定義,表示被賦予1個延伸區內之來源封包之ATS之範圍,亦即從該延伸區開頭之來源封包之ATS到下一延伸區開頭之來源封包之ATS之時間間隔。亦即,延伸區ATC時間係等於將該延伸區內之來源封包全部,於再生裝置102內,從讀緩衝器傳送至系統目標解碼器所需要的時間。在此,「讀緩衝器」係再生裝置102內之緩衝器記憶體,在從BD-ROM碟片101讀出之資料塊送至系統目標解碼器為止的期間暫時儲存之。關於讀緩衝器之詳細會於後面敘述。於第19圖所示之例中,3個延伸區塊1901-1903相互無縫地連接,因此於資料塊之各配對D[n]、B[n](n=0、1、2、…),延伸區ATC時間相等。
於相鄰接之資料塊之各配對D[n]、B[n],位於開頭之VAU係屬於相同的3D‧VAU,尤其包含表現相同的3D影像之GOP之開頭的圖片。例如各右視圖資料塊D[n]之前端包含右視圖視訊串流之P圖片,開頭之基礎視圖資料塊B[n]之前端包含基礎視圖視訊串流之I圖片。該右視圖視訊串流之P圖片係表現設定該基礎視圖串流之I圖片所表現的2D影像作為左視圖時之右視圖。尤其該P圖片係如第7圖所示,壓縮該I圖片作為參考圖片。因此,3D再生模式之再生裝置102可從任一資料塊之配對D[n]、B[n]開始再生3D影像。亦即,可進行跳入再生等需要視訊串流之隨機存取的處理。相依視圖資料塊D[n]為深度圖資料塊的情況亦同。
於交插配置中,進一步相鄰接之資料塊之配對D[n]、B[n]中,相依視圖資料塊D[n]配置於較基礎視圖資料塊B[n]更前方。其係由於相依視圖資料塊D[n]之資料量小於基礎視圖資料塊B[n],亦即位元率低。例如右視圖資料塊D[n]所含圖片,係將第n個基礎視圖資料塊B[n]所含圖片作為參考圖片而壓縮。因此,該右視圖資料塊D[n]之尺寸SEXT2
[n]一般為該基礎視圖資料塊B[n]之尺寸SEXT1
[n]以下,即SEXT2
[n]≦SEXT1
[n]。另,深度圖之每像素之資料量,亦即景深值之位元數一般小於基礎視圖圖片之每像素之資料量,亦即色彩座標值與α值之位元數之和。進而言之,如第3(a)、(b)圖所示,主TS與子TS不同,除了主要視訊串流以外,還包含主要音訊串流等基本串流。因此,深度圖資料塊之尺寸SEXT3
[n]一般為基礎視圖資料塊B[n]之尺寸SEXT1
[n]以下:SEXT3
[n]≦SEXT1
[n]。
[多工串流資料分割為資料塊之意義]
再生裝置102為了從BD-ROM碟片101無縫再生3D影像,須並行處理主TS與子TS。然而,可利用於該處理之讀緩衝器的容量一般有限。尤其是可從BD-ROM碟片101對讀緩衝器連續載入之資料量有其限度。因此,再生裝置102須將主TS與子TS分割為延伸區ATC時間相等的部分之配對而讀出。
第20(a)圖係表示於某BD-ROM碟片上個別連續配置而記錄之主TS2001及子TS2002之配置之模式圖。再生裝置102並行處理其等主TS2001與子TS2002時,如第20(a)圖中以實線箭頭(1)-(4)所示,BD-ROM驅動器121係將主TS2001與子TS2002,交替逐一讀出延伸區ATC時間相等之部分。屆時,BD-ROM驅動器121係如第20(a)圖中以虛線箭頭所示,須於讀出處理中途大幅變化BD-ROM碟片上之讀出對象區域。例如箭頭(1)所示之主TS2001之前端部分被讀出時,BD-ROM驅動器121係暫時停止藉由光拾取頭所進行的讀出動作,提高BD-ROM碟片之旋轉速度。藉此,令記錄有箭頭(2)所示之子TS2002之前端部分之BD-ROM碟片上之磁區,迅速移動至光拾取頭之位置。如此,用以令光拾取頭暫時停止讀出動作,並於該期間,將光拾取頭對於下一讀出對象區域上定位之操作稱為「跳躍」。第20(a)圖所示之虛線箭頭係表示在讀出處理中途所必需的各跳躍之範圍。於各跳躍期間中,由光拾取頭所進行的讀出處理停止,僅由解碼器進行解碼處理。於第20(a)圖所示之例中,由於跳躍過大,因此難以使讀出處理趕上解碼處理。其結果,難以確實地持續進行無縫再生。
第20(b)圖係表示於依據本發明之實施形態1之BD-ROM碟片101上,交替記錄之相依視圖資料塊D[0]、D[1]、D[2]、…與基礎視圖資料塊B[0]、B[1]、B[2]、…之配置之模式圖。參考第20(b)圖,主TS與子TS分別分割為複數個資料塊而交替配置。該情況下,再生裝置102係於3D影像再生時,如第20(b)圖以箭頭(1)-(4)所示,從開頭依序讀出資料塊D[0]、B[0]、D[1]、B[1]、…。僅以此,再生裝置102即可順利地實現主TS與子TS之交替讀出。尤其在該讀出處理中不會產生跳躍,因此可確實地持續進行3D影像之無縫再生。
[延伸區ATC時間在相鄰接的資料塊間對準之意義]
第20(c)圖係表示以交插配置記錄之相依視圖資料群D[n]及基礎視圖資料群B[n]之各延伸區ATC時間之一例之模式圖(n=0、1、2)。參考第20(c)圖,於各相依視圖資料塊D[n]與緊接於其後之基礎視圖資料塊B[n]之配對,延伸區ATC時間相等。例如於開頭之資料塊之配對D[0]、B[0],延伸區ATC時間均等於1秒。因此,各資料塊D[0]、B[0]載入於再生裝置102內之讀緩衝器時,其中所有的TS封包同樣以1秒,從讀緩衝器送往系統目標解碼器。同樣地,於第2個資料塊之配對D[1]、B[1],延伸區ATC時間均等於0.7秒。因此,各資料塊內之TS封包同樣以0.7秒,從讀緩衝器送往系統目標解碼器。
第20(d)圖係表示以交插配置記錄之相依視圖資料群D[n]及基礎視圖資料群B[n]之各延伸區ATC時間之其他例之模式圖。參考第20(d)圖,於所有資料塊之配對D[n]、B[n],延伸區ATC時間均等於1秒。因此,各資料塊D[n]、B[n]載入於再生裝置102內之讀緩衝器時,於任一資料塊,所有TS封包均同樣以1秒,從讀緩衝器送往系統目標解碼器。
如上述,相依視圖資料塊之壓縮率高於基礎視圖資料塊。因此,相依視圖資料塊之解碼處理速度一般低於基礎視圖資料塊之解碼處理速度。另,延伸區ATC時間相等時,相依視圖資料塊之資料量小於基礎視圖資料塊。因此,如第20(c)、(d)圖所示,於相鄰接之資料塊間,延伸區ATC時間相等時,解碼對象之資料供給至系統目標解碼器之速度容易與該解碼器之處理速度取得均衡。亦即,尤其於跳入再生時,系統目標解碼器仍可容易令基礎視圖資料塊之解碼處理與相依視圖資料塊之解碼處理同步。
[資料量小之資料塊放置於前之意義]
3D再生模式之再生裝置102係於讀出位於開頭之資料塊時,或讀出再生開始位置之資料塊時,首先將該資料塊全部載入於讀緩衝器。該期間,該資料塊不交付給系統目標解碼器。該載入完成後,再生裝置102係將該資料塊與下一資料塊,並行地交付給系統目標解碼器。該處理稱為「預載」。
預載之技術性意義如下。於L/R模式下,相依視圖資料塊之解碼需要基礎視圖資料塊。因此,為了將用以保持解碼後之資料直到輸出處理為止之緩衝器,維持在所必需的最小限度容量,宜將其等資料塊同時供給至系統目標解碼器而解碼。另,於深度模式下,需要從解碼後之基礎視圖圖片與深度圖之配對,生成表現視差圖像之視訊截面之配對之處理。因此,為了將用以保持解碼後之資料直到該處理為止之緩衝器,維持在所必需的最小限度容量,宜將基礎視圖資料塊及相依視圖資料塊同時供給至系統目標解碼器而解碼。因此,藉由預載,預先於讀緩衝器,載入延伸區塊開頭或再生開始位置之資料塊全體。藉其,可從讀衝器,同時將該資料塊及後續的資料塊傳輸往系統目標解碼器而解碼。進而可令系統目標解碼器,同時解碼以後的資料塊之配對。
於預載中,最初所讀出的資料塊全體係累積於讀緩衝器。因此,對讀緩衝器至少要求與該資料塊之尺寸相等的容量。在此,為了將讀緩衝器之容量維持在最小限度,應儘可能縮小預載對象之資料塊之尺寸。另,於跳入再生等隨機存取,任一資料塊之配對均可能被選擇作再生開始位置。因此,任一資料塊之配對均將資料小的那方放置於前。藉其,可將讀緩衝器之容量維持在最小限度。
《對於資料塊之AV串流檔案之交聯》
對於第19圖所示之資料塊群,AV串流檔案之交聯係如下實現。檔案SS(01000.ssif)244A之檔案分錄1940,係將各延伸區塊1901-1903視為1個延伸區而表示各尺寸及其前端之LBN。因此,各延伸區塊1901-1903可作為檔案SS244A之延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]而存取。以下,屬於檔案SS244A之延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]稱為「延伸區SS」。各延伸區EXTSS[0]、EXTSS[1]、EXTSS[2]係與檔案2D241共有基礎視圖資料塊B[n],與檔案DEP242共有相依視圖資料塊D[n]。
《對於延伸區塊之再生路徑》
第21圖係表示對於延伸區塊群1901-1903在2D再生模式下之再生路徑2101之模式圖。2D再生模式之再生裝置102再生檔案2D241。因此,如2D再生模式下之再生路徑2101所示,從各延伸區塊1901-1903,按次序讀出基礎視圖資料塊B[n](n=0、1、2、…)作為2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]。具體而言,首先從開頭的延伸區塊1901,讀出開頭的基礎視圖資料塊B[0],緊接於其後之相依視圖資料塊D[0]之讀出係藉由最初的跳躍J2D
1而跳過。接著,讀出第2個基礎視圖資料塊B[1],緊接於其後之資料NAV及相依視圖資料塊D[1]之讀出係藉由第2次跳躍JNAV
而跳過。接下來,於第2個以後之延伸區塊1902、1903內,亦同樣重複基礎資料塊之讀出與跳躍。
於第2個延伸區塊1902與第2個延伸區塊1903之間所發生的跳躍JLY
,係超越層交界LB之長程跳躍。「長程跳躍」係指於跳躍中,尋軌時間長之跳躍的總稱,具體而言指跳躍距離超過特定臨限值之跳躍。「跳躍距離」係指於跳躍期間中,讀出操作被跳過之BD-ROM碟片101上之區域的長度。跳躍距離一般以該部分之磁區數表示。利用於定義長程跳躍之臨限值在BD-ROM規格中規定為40000磁區。然而,該臨限值係取決於BD-ROM碟片之種類、及關於BD-ROM驅動器之讀出處理之性能。長程跳躍尤其包含焦點跳躍及磁軌跳躍。「焦點跳躍」係伴隨於記錄層切換之跳躍,包含令光拾取頭之焦點距離變化之處理。「磁軌跳躍」包含令光拾取頭,往BD-ROM碟片101之半徑方向移動之處理。
第21圖亦表示對於延伸區塊群1901-1903在L/R再生模式下之再生路徑2102。L/R模式之再生裝置102再生第1檔案SS244A。因此,如L/R模式下之再生路徑2102所示,從各延伸區塊1901-1903,按次序讀出延伸區SSEXTSS[0]、EXTSS[1]、EXTSS[2]。具體而言,首先從開頭的延伸區塊1901,連續讀出資料塊D[0]、B[0]、D[1]、B[1],緊接於其後之資料NAV之讀出係藉由最初的跳躍JNAV
而跳過。接著,從第2個延伸區塊1902,連續讀出資料塊D[2]、…、B[3]。其後立即發生伴隨於記錄層切換之長程跳躍JLY
,接著從第3個延伸區塊1903,連續讀出資料塊D[4]、B[4]、…。
載入延伸區塊1901-1903作為檔案SS244A之延伸區時,再生裝置102係從檔案SS244A之檔案分錄1940,讀出各延伸區EXTSS[0]、EXTSS[1]、…前端之LBN及其尺寸,並交付給BD-ROM驅動器121。BD-ROM驅動器121係從該LBN連續讀出其尺寸之資料。比起將資料塊群作為檔案DEP242及檔案2D241之各延伸區載入之處理,該等處理係於以下兩點(A)、(B),在BD-ROM驅動器121的控制較為簡單。(A)再生裝置102利用1處檔案分錄按次序參考各延伸區即可;(B)載入對象之延伸區總數實質上減半,因此應交付給BD-ROM驅動器121之LBN及尺寸之配對總數較少。但再生裝置102須於載入延伸區EXTSS[0]、EXTSS[1]、…後,分別分離為相依視圖資料塊與基礎視圖資料塊而交付給解碼器。該分離處理係利用剪輯資訊檔案。關於其詳細會於後面敘述。
如第19圖所示,實際讀出各延伸區塊1901-1903時,BD-ROM驅動器121係從各資料塊之後端到下一資料塊之前端為止,進行零磁區變遷J0
。「零磁區變遷」係指2個連續之資料塊間之光拾取頭之移動。於進行零磁區變遷的期間(以下稱為零磁區變遷期間),光拾取頭暫時停止讀出動作而待機。就該含意而言,零磁區變遷亦可視為「跳躍距離等於0磁區之跳躍」。零磁區變遷期間之長度除了包含BD-ROM碟片101旋轉所造成的光拾取頭之位置移動時間以外,亦可包含伴隨於錯誤訂正處理之負擔。「伴隨於錯誤訂正處理之負擔」係指於2個資料塊之交界與ECC塊間之交界不一致時,起因於利用該ECC塊之錯誤訂正處理進行2次之多餘時間。錯誤訂正處理需要1個ECC塊全體。因此,1個ECC塊由2個連續的資料塊所共有時,於任一資料塊之讀出處理中,均讀出該ECC塊全體而利用於錯誤訂正處理。其結果,每當讀出1個其等資料塊時,除了該資料塊以外,還讀出最大32磁區之多餘資料。伴隨於錯誤訂正處理之負擔係以該多餘資料之合計讀出時間,亦即以32[磁區]×2048[位元組]×8[位元/位元組]×2[次]/讀出速度來評估。再者,藉由以ECC塊為單位而構成各資料塊,以便從零磁區變遷時間剔除伴隨於錯誤訂正處理之負擔。
《剪輯資訊檔案》
第22圖係表示第1剪輯資訊檔案(01000.clpi),亦即2D剪輯資訊檔案231之資料構造之模式圖。相依視圖剪輯資訊檔案(02000.clpi)232、(03000.clpi)233均具有同樣的資料構造。以下首先以2D剪輯資訊檔案231之資料構造為例,來說明剪輯資訊檔案整體所共通的資料構造。其後,針對相依視圖剪輯資訊檔案來說明其與2D剪輯資訊檔案之資料構造上之相異點。
參考第22圖,2D剪輯資訊檔案231包含剪輯資訊2210、串流屬性資訊2220、分錄圖2230及3D元資料2240。3D元資料2240包含延伸區起點2242。
剪輯資訊2210包含:系統率2211、再生開始時刻2212及再生結束時刻2213。系統率2211規定對於檔案2D(01000.m2ts)241之系統率。在此,2D再生模式之再生裝置102係從從讀緩衝器,將屬於檔案2D241之TS封包傳輸往系統目標解碼器。「系統率」意味其傳輸速度之上限值。於檔案2D241設定有來源封包之ATS之間隔,以便將該傳輸速度抑制在系統率以下。再生開始時刻2212係表示檔案2D241開頭之VAU之PTS,例如開頭的影像訊框之PTS。再生結束時刻2212係表示從檔案2D241後端之VAU之PTS延遲特定量之STC之值,例如於最後的影像訊框之PTS加上每1訊框之再生時間之值。
串流屬性資訊2220係檔案2D241所含之各基本串流之PID2221與其屬性資訊2222之間之對應表。屬性資訊2222係於視訊串流、音訊串流、PG串流及IG串流分別不同。例如被與主要視訊串流之PID0×1011建立對應之屬性資訊包含:利用於壓縮該視訊串流之代碼之種類、構成該視訊串流之各圖片之解像度、縱橫比及訊框率。另,被與主要音訊串流之PID0×1101建立對應之屬性資訊包含:利用於壓縮該音訊串流之代碼之種類、該音訊串流所含之頻道數、語言及取樣頻率。屬性資訊2222係由再生裝置102利用於解碼器之初始化。
[分錄圖]
第23(a)圖係表示分錄圖2230之資料構造之模式圖。參考第23(a)圖,分錄圖2230包含表2300。表2300係與受到多工而成為主TS之視訊串流相同數目,對各視訊串流各分派1個。於第23(a)圖,各表2300係以分配去處之視訊串流之PID來區別。各表2300包含分錄圖標頭2301及分錄點2302。分錄圖標頭2301包含:被與該表2300建立對應之PID、及該表2300所含之分錄點2302之總數。分錄點2302係將PTS2303與來源封包號碼(SPN)2304之配對,與個別不同之分錄點ID(EP_ID)2305建立對應。PTS2303係與包含於分錄圖標頭2301所示之PID之視訊串流之某一個I圖片之PTS相等。SPN2304係與儲存有該I圖片之來源封包群開頭之SPN相等。「SPN」係指對於屬於1個AV串流檔案之來源封包群,從開頭依序分派的連號。SPN係利用作為該AV串流檔案內之各來源封包之位址。於2D剪輯資訊檔案231內之分錄圖2230,SPN係意味屬於檔案2D241之來源封包群,亦即構成主TS之來源封包群之號碼。因此,分錄點2302係表示檔案2D541所含之各I圖片之PTS與位址,亦即與SPN之間之對應關係。
分錄點2302未對於檔案2D241內所有的I圖片設定亦可。但I圖片位於GOP之開頭,且包含該I圖片開頭之TS封包位於2D延伸區之開頭時,須對該I圖片設定分錄點2302。
第23(b)圖係表示屬於檔案2D241之來源封包群2310中,藉由分錄圖2230而對各EP_ID2305建立有對應者之模式圖。第23(c)圖係表示對應於該來源封包群2310之BD-ROM碟片101上之資料塊群D[n]、B[n](n=0、1、2、3、…)之模式圖。再生裝置102係在從檔案2D241再生2D影像時,利用分錄圖2230,從表現任意場景的訊框之PTS,特定出包含該訊框之來源封包之SPN。具體而言,再生裝置102係於作為再生開始位置被指定特定的分錄點之PTS,例如被指定PTS=360000時,首先從分錄圖2230搜尋對應於該PTS之SPN=3200。再生裝置102接著求出該SPN與每1個來源封包之資料量192位元組的積,進而求出以每1個磁區之資料量2048位元組,除以該積時之商、即SPN/192×2048。如從第5(c)、(d)圖可理解,其值係等於主TS中,記錄有包含早於被分派該SPN之來源封包之部分的磁區總數。於第23(b)圖所示之例中,該值3200×192/2048=300係等於記錄有SPN從0至3199之來源封包群2311之磁區總數。再生裝置102接下來參考檔案2D541之檔案分錄,特定出從記錄有2D延伸區群之磁區群開頭算起第(上述總數+1)個磁區之LBN。於第23(c)圖所示之例中,於可作為2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]、…存取的基礎視圖資料塊B[0]、B[1]、B[2]、…之磁區群中,特定出從開頭算起第301個磁區之LBN。再生裝置102係對BD-ROM驅動器121指定該LBN。藉其從該LBN之磁區,以對齊單元為單位依序讀出基礎視圖資料塊群。再生裝置102進一步從最初讀出之對齊單元,選擇再生開始位置之分錄點所示之來源封包,從其等擷取I圖片並予以解碼。其後,後續圖片係利用先前解碼的圖片依次解碼。如此,再生裝置102可從檔案2D241,再生特定的PTS以後之2D影像。
分錄圖2230進一步對於快轉再生及到帶再生等特殊再生之有效率處理有利。例如2D再生模式之再生裝置102首先參考分錄圖2230,按順序讀出再生位置,例如從包含PTS=360000以後之PTS之分錄點EP_ID=2、3、…按順序讀出SPN=3200、4800、…。再生裝置102接著利用檔案2D241之檔案分錄,特定出對應於各SPN之磁區之LBN。再生裝置102接下來向BD-ROM驅動器121指定各LBN。藉其從各LBN之磁區讀出對齊單元。再生裝置102進一步從各對齊單元,選擇表示各分錄點之來源封包,從其等擷取I圖片並予以解碼。如此,再生裝置102不解析2D延伸區群EXT2D[n]本身,即可選擇性地從檔案2D541再生I圖片。
[延伸區起點]
第24(a)圖係表示2D剪輯資訊所含之延伸區起點2242之資料構造之模式圖。參考第24(a)圖,「延伸區起點(Extent_Start_Point)」2242包含基礎視圖延伸區ID(EXT1_ID)2411及SPN2412。EXT1_ID2411係對屬於第1檔案SS(01000.ssif)244A之基礎視圖資料塊,從開頭依序分派的連號。SPN2412係對各EXT1_ID2411,各分派1個,等於位於以該EXT1_ID2411所識別的基礎視圖資料塊前端之來源封包之SPN。在此,該SPN係對屬於第1檔案SS244A之基礎視圖資料塊群所含之來源封包,從開頭依序分派的連號。
於第19圖所示之延伸區塊1901-1903,各基礎視圖資料塊B[0]、B[1]、B[2]、…係由檔案2D241及第1檔案SS244A所共有。然而,配置於記錄層間之交界等需要長程跳躍處之資料塊群,一般包含僅屬於檔案2D241或第1檔案SS244A之基礎視圖資料塊(詳細參見《補充》)。因此,延伸區起點2242所示之SPN2412,一般與屬於檔案2D241之2D延伸區前端之來源封包之SPN不同。
第24(b)圖係表示第2剪輯資訊檔案(02000.clpi),亦即相依視圖剪輯資訊檔案232所含之延伸區起點2420之資料構造之模式圖。參考第24(b)圖,延伸區起點2420包含相依視圖延伸區ID(EXT2_ID)2421及SPN2422。EXT2_ID2421係對屬於檔案SS244A之相依視圖資料塊,從開頭依序分派的連號。SPN2422係對各EXT2_ID2421,各分派1個,等於位於以該EXT2_ID2421所識別的相依視圖資料塊前端之來源封包之SPN。在此,該SPN係對屬於檔案SS244A之相依視圖資料塊群所含之各來源封包,從開頭依序分派的連號。
第24(d)圖係表示屬於檔案DEP(02000.m2ts)242之相依視圖延伸區EXT2[0]、EXT2[1]、…與表示延伸區起點2420之SPN2422之間之對應關係之模式圖。如第19圖所示,相依視圖資料塊亦由檔案DEP242及檔案SS244A所共有。因此,如第24(d)圖所示,延伸區起點2420所示之各SPN2422等於位於各相依視圖延伸區EXT2[0]、EXT2[1]、…前端之來源封包之SPN。
2D剪輯資訊檔案231之延伸區起點2242及相依視圖剪輯資訊檔案232之延伸區起點2420,係如以下所說明,於從檔案SS244A再生3D影像時,利用於檢測各延伸區SS所含之資料塊之交界。
第24(e)圖係表示屬於檔案SS244A之延伸區SSEXTSS[0]與BD-ROM碟片101上之延伸區塊之間之對應關係之模式圖。參考第24(e)圖,該延伸區塊包含交插配置之資料塊群D[n]、B[n](n=0、1、2、…)。再者,以下說明係於其他配置中亦同樣成立。該延伸區塊可作為1個延伸區SSEXTSS[0]來存取。進而於該延伸區SSEXTSS[0]中,第n個基礎視圖資料塊B[n]所含之來源封包數係於延伸區起點2242,等於與EXT1_ID=n+1、n之各者相對應之SPN間之差A(n+1)-An。在此,A0=0。另,相依視圖資料塊D[n+1]所含之來源封包數係於延伸區起點2420,等於與EXT2_ID=n+1、n之各者相對應之SPN間之差B(n+1)-Bn。在此,B0=0。
3D再生模式之再生裝置102係於從檔案SS244A再生3D影像時,利用各剪輯資訊檔案231、232之分錄圖及延伸區起點2242、2420。藉其,再生裝置102係從表現任意場景之右視圖之訊框之PTS,特定出記錄有包含該訊框之相依視圖資料塊之磁區之LBN。具體而言,再生裝置102首先從例如右視圖剪輯資訊檔案232之分錄圖,搜尋對應於該PTS之SPN。假定設想表示該SPN之來源封包包含於檔案DEP242之第3個右視圖延伸區EXT2[2],亦即包含於相依視圖資料塊D[2]的情況。再生裝置102係接著從相依視圖剪輯資訊檔案232之延伸區起點2420所示之SPN2422中,搜尋目標之SPN以下之最大者“B2”,及對應於其之EXT2_ID“2”。再生裝置102係接下來從2D剪輯資訊檔案231之延伸區起點2242,搜尋與等於該EXT2_ID“2”之EXT1_ID之SPN2412之值“A2”。再生裝置102進一步求出所搜尋到的SPN之和B2+A2。從第24(e)圖可理解,該和B2+A2係延伸區SSEXTSS[0]中,較第3個相依視圖資料塊D[2]配置於前之來源封包之總數。因此,以每1個磁區之資料量2048位元組,除以該和B2+A2與來源封包每1個之資料量192位元組之積時之商(B2+A2)×192/2048,係等於從延伸區SSEXTSS[0]開頭到緊接於第3個相依視圖資料塊D[2]前之磁區數。利用該商並參考檔案SS244A之檔案分錄,則可特定出記錄有該相依視圖資料塊D[2]前端之磁區之LBN。
再生裝置102係如上述特定出LBN後,向BD-ROM驅動器121指定該LBN。藉其以對齊單元為單位,讀出於該LBN之磁區以後所記錄的延伸區SSEXTSS[0]之部分,亦即第3個相依視圖資料塊D[2]以後之資料塊群D[2]、B[2]、D[3]、B[3]、…。
再生裝置102係進一步利用延伸區起點2242、2420,從已讀出之延伸區SS,交替擷取相依視圖資料塊與基礎視圖資料塊。例如設想從第24(e)圖所示之延伸區SSEXTSS[0],按次序讀出資料塊群D[n]、B[n](n=0、1、2、…)。再生裝置102係首先從延伸區SSEXTSS[0]開頭,擷取B1個來源封包作為最初的相依視圖資料塊D[0]。再生裝置102係接著擷取第B1個來源封包及接續於其之(A1-1)個來源封包之合計A1個來源封包,來作為最初的基礎視圖資料塊B[0]。再生裝置102係接著擷取第(B1+A1)個來源封包及接續於其之(B2-B1-1)個來源封包之合計(B2-B1)個來源封包,來作為第2個相依視圖資料塊D[1]。再生裝置102係進一步擷取第(A1+B2)個來源封包及接續於其之(A2-A1-1)個來源封包之合計(A2-A1)個來源封包,來作為第2個基礎視圖資料塊B[1]。其後,再生裝置102亦同樣從所讀出的來源封包數,檢測延伸區SS內之資料塊間之交界,交替擷取相依視圖資料塊與基礎視圖資料塊。所擷取的基礎視圖資料塊及相依視圖資料塊係並行地交付給系統目標解碼器而解碼。
如此,3D再生模式之再生裝置102可從檔案SS244A,再生特定PTS以後之3D影像。其結果,再生裝置102可實際享受到關於BD-ROM驅動器121之控制之上述優點(A)、(B)。
《檔案庫》
第24(c)圖係表示由3D再生模式之再生裝置102從檔案SS244A所擷取到的基礎視圖資料塊B[0]、B[1]、B[2]、…之模式圖。參考第24(c)圖,對其等基礎視圖資料塊B[n](n=0、1、2、…)所含之來源封包群,從開頭依序分派SPN時,位於各資料塊B[n]前端之來源封包之SPN等於延伸區起點2242所示之SPN2412。如其等基礎視圖資料塊B[n],利用延伸區起點而從1個檔案SS所擷取的基礎視圖資料塊群,稱為「檔案庫(file-base)」。進而言之,包含於檔案庫之基礎視圖資料塊稱為「基礎視圖延伸區」。如第24(e)圖所示,各基礎視圖延伸區EXT1[0]、EXT1[1]、…係受到剪輯資訊檔案內之延伸區起點2242、2420所參考。
基礎視圖延伸區EXT1[n]係與2D延伸區EXT2D[n]共有基礎視圖資料塊B[n]。因此,檔案庫係與檔案2D包含相同的主TS。然而,基礎視圖延伸區EXT1[n]係與2D延伸區EXT2D[n]不同,未受到任何檔案之檔案分錄所參考。如上述,基礎視圖延伸區EXT1[n]係利用剪輯資訊檔案內之延伸區起點,從檔案SS內之延伸區SSEXTSS[‧]擷取。如此,檔案庫係與原本的檔案不同,不包含檔案分錄,且參考基礎視圖延伸區時需要延伸區起點。就其等含意而言,檔案庫為「虛擬的檔案」。尤其是檔案庫在檔案系統中未受到辨識,不出現於第2圖所示之目錄/檔案構造。
第25圖係表示記錄於BD-ROM碟片101上之1個延伸區塊2500、檔案2D2510、檔案庫2511、檔案DEP2512及檔案SS2520之各延伸區群之間之對應關係之模式圖。參考第25圖,延伸區塊2500包含相依視圖資料塊D[n]及基礎視圖資料塊B[n](n=0、1、2、3、…)。基礎視圖資料塊B[n]係作為2D延伸區EXT2D[n]而屬於檔案2D2510。相依視圖資料塊D[n]係作為相依視圖延伸區EXT2[n]而屬於檔案DEP2512。延伸區塊2500全體係作為1個延伸區SSEXTSS[0]而屬於檔案SS2520。因此,延伸區SSEXTSS[0]係與2D延伸區EXT2D[n]共有基礎視圖資料塊B[n],與相依視圖延伸區EXT2[n]共有相依視圖資料塊D[n]。延伸區SSEXTSS[0]係於載入於再生裝置102後,分離為相依視圖資料塊D[n]與基礎視圖資料塊B[n]。其等基礎視圖資料塊B[n]係作為基礎視圖延伸區EXT1[n]而屬於檔案庫2511。延伸區SSEXTSS[0]內之基礎視圖延伸區EXT1[n]與相依視圖延伸區EXT2[n]之間之交界,係利用分別被與檔案2D2510與檔案DEP2512建立對應之剪輯資訊檔案內之延伸區起點來特定。
《相依視圖剪輯資訊檔案》
相依視圖剪輯資訊檔案之資料構造係與第22圖-第24圖所示之2D剪輯資訊檔案相同。因此,於以下說明中,提及相依視圖剪輯資訊檔案與2D剪輯資訊檔案之間之相異點,關於相同點的說明則沿用上述說明。
相依視圖剪輯資訊檔案係於以下兩點(i)、(ii)與2D剪輯資訊檔案不同:(i)串流屬性資訊被課以條件;及(ii)分錄點被課以條件。
(i)基礎視圖視訊串流及相依視圖視訊串流應由L/R模式之再生裝置102,利用於3D影像之再生時,如第7圖所示,相依視圖視訊串流係利用基礎視圖視訊串流而壓縮。屆時,相依視圖視訊串流之視訊串流屬性係與基礎視圖視訊串流相等。在此,關於基礎視圖視訊串流之視訊串流屬性資訊係於2D剪輯資訊檔案之串流屬性資訊2220內,被與PID=0×1011建立對應。另,關於相依視圖視訊串流之視訊串流屬性資訊係於相依視圖剪輯資訊檔案之串流屬性資訊內,被與PID=0×1012或0×1013建立對應。因此,於其等視訊串流屬性資訊間,第22圖所示之各項目,亦即代碼、解像度、縱橫比及訊框率須一致。若代碼種類一致,於基礎視圖圖片與相依視圖圖片之間,在編碼方面之參考關係會成立,因此可解碼各圖片。若解像度、縱橫比及訊框率均一致,則可令左右影像之畫面顯示同步。因此,可讓其等影像作為3D影像不會給予收視者不調和感而觀看。
(ii)相依視圖剪輯資訊檔案之分錄圖包含分派給相依視圖視訊串流的表。該表係與第23(a)圖所示之2300相同,包含分錄圖標頭及分錄點。分錄圖標頭係表示相對應之相依視圖視訊串流之PID,亦即0×1012或0×1013。各分錄點係將1對PTS及SPN,與1個EP_ID建立對應。各分錄點之PTS係與相依視圖視訊串流所含之某一GOP開頭之圖片之PTS相等。各分錄點之SPN係等於儲存有屬於相同分錄點之PTS所示之圖片之來源封包群開頭之SPN。在此,SPN係意味對於屬於檔案DEP之來源封包群,亦即構成子TS之來源封包群,從開頭依序分派之連號號碼。各分錄點之PTS須與2D剪輯資訊檔案之分錄圖中,被分派給基礎視圖視訊串流之表內之分錄點之PTS一致。亦即,於包含相同3D‧VAU所含之1對圖片之一方之來源封包群開頭,設定有分錄點時,於包含另一方之來源封包群開頭,須始終設定有分錄點。
第26圖係表示設定於基礎視圖視訊串流2610及相依視圖視訊串流2620之分錄點之例之模式圖。於各視訊串流2610、2620,從開頭算起相同順位的GOP表現相同再生期間之影像。參考第26圖,於基礎視圖視訊串流2610,於從開頭算起位於第奇數個之GOP#1、GOP#3、GOP#5之各開頭,設定有分錄點2601B、2603B、2605B。與其一併於相依視圖視訊串流2602,亦於從開頭算起位於第奇數個之GOP#1、GOP#3、GOP#5之各開頭,設定有分錄點2601D、2603D、2605D。該情況下,再生裝置102係於例如從GOP#3開始再生3D影像時,可從相對應之分錄點2603B、2603D之SPN,立即算出檔案SS內之再生開始位置之SPN。尤其於分錄點2603B、2603D均設定於資料塊前端時,如同從第24(e)圖可理解,分錄點2603B、2603D之SPN的和係等於從檔案SS內之再生開始位置之SPN。如同第24(e)圖之說明所述,從該來源封包數,可算出記錄有檔案SS內之再生開始位置部分之磁區之LBN。如此,即便於3D影像之再生中,仍可使得跳入再生等需要視訊串流隨機存取之處理之反應速度提升。
《2D播放串列檔案》
第27圖係表示2D播放串列檔案之資料構造之模式圖。第2圖所示之第1播放串列檔案(00001.mpls)221具有該構造。參考第27圖,2D播放串列檔案221包含主路徑2701及2個子路徑2702、2703。
主路徑2701係播放串列資訊(PI)的排列,規定檔案2D241之主要再生路徑,亦即規定再生對象部分及其再生順序。各PI係以固有的播放項目ID=#N(N=1、2、3、…)來識別。各PI#N係以1對PTS規定主要再生路徑之不同再生區間。該配對之一方表示該再生區間之開始時刻(In-Time:進入時間),另一方表示結束時刻(Out-Time:離開時間)。進而言之,主路徑2701內之PI的順序係表示所對應的再生區間在再生路徑內之順序。
各子路徑2702、2703係子播放項目(SUB_PI)之排列,規定可並排地隨附於檔案2D241之主要再生路徑之再生路徑。該再生路徑係意味檔案2D241中,有別於主路徑2701所表示的部分及其再生順序。此外,該再生路徑亦可意味受到多工而成為有別於檔案2D241之檔案2D之串流資料之再生對象部分及其再生順序。該再生路徑所意味的串流資料係表現與按照主路徑2701而從檔案2D241再生之2D影像,應同時再生之別的2D影像。該別的2D影像包含例如子母畫面方式之副影像、瀏覽器畫面、彈出式選單或字幕。尤其對於文本字幕檔案之再生路徑係由子路徑所規定。於子路徑2702、2703,於對於2D播放串列檔案221之登錄順序,編上連號號碼“0”、“1”。該連號號碼係作為子路徑ID而利用於各子路徑2702、2703之識別。於各子路徑2702、2703,各SUB_PI係以固有的子播放項目ID=#M(M=1、2、3、…)來識別。各SUB_PI#M係以1對PTS規定主要再生路徑之不同再生區間。該配對之一方表示該再生區間之開始時刻,另一方表示再生結束時刻。進而言之,各子路徑2702、2703內之SUB_PI的順序係表示所對應的再生區間在再生路徑內之順序。
第28圖係表示PI#N之資料構造之模式圖。參考第28圖,PI#N包含:參考剪輯資訊2801、再生開始時刻(In_Time:進入時間)2802、再生結束時刻(Out_Time:離開時間)2803、銜接條件2804及串流選擇表(以下簡寫為STN(Stream Number:串流號碼)表)2805。參考剪輯資訊2801係用以識別2D剪輯資訊檔案231之資訊。再生開始時刻2802及再生結束時刻2803係表示檔案2D541之再生對象部分之前端與後端之各PTS。銜接條件2804係規定將再生開始時刻2802及再生結束時刻2803所規定的再生區間內之影像,連接於前1個PI#(N-1)所規定的再生區間內之影像時之條件。STN表2805係表示從再生開始時刻2802到再生結束時刻2803之期間,可藉由再生裝置102內之解碼器從檔案2D541所選擇的基本串流之串列。
SUB_PI之資料構造係於包含參考剪輯資訊、再生開始時刻及再生結束時刻方面,與第28圖所示之PI之資料構造共通。尤其是SUB_PI之再生開始時刻及再生結束時刻係與PI之該等,以相同時間軸上的值表示。SUB_PI進一步包含「SP銜接條件」之欄位。SP銜接條件係與PI之銜接條件具有相同含意。
[銜接條件]
銜接條件(以下簡稱為CC)2804之值可取定“1”、“5”、“6”三種值。CC2804為“1”時,從PI#N所規定的檔案2D241之部分所再生的影像,未必要無縫地連接於從緊接於其前之PI#(N-1)所規定的檔案2D241所再生的影像。另,CC2804為“5”或“6”時,其等雙方影像務必須無縫地連接。
第29(a)、(b)圖係分別表示在CC2804為“5”、“6”時,連接對象之2個再生區間2901、2902之間之關係之模式圖。在此,PI#(N-1)規定檔案2D241之第1部分2901,PI#N規定檔案2D241之第2部分2902。參考第29(a)圖,CC2904為‘‘
5”時,2個PI#(N-1)、PI#N之間,STC中斷亦可。亦即,第1部分2901後端之PTS#1與第2部分2902前端之PTS#2不連續亦可。但須符合數個限制條件。例如即便是接續於第1部分2901而對解碼器提供第2部分2902時,為了使得該解碼器可順利持續進行解碼處理,須製作各部分2901、2902。進而言之,須使得第1部分2901所含之音訊串流之最後訊框,與第2部分2902所含之音訊串流之開頭訊框重複。另,參考第29(b)圖,CC2904為“6”時,第1部分2901與第2部分2902係於解碼器之解碼處理上,須作為一連串部分來處理。亦即,於第1部分2901與第2部分2902之間,STC及ATC均須為連續。同樣地,SP銜接條件為“5”或“6”時,由相鄰接之2個SUB_PI所規定的檔案2D之部分間,STC及ATC均須為連續。
[STN表]
參考第28圖,STN表2805為串流登錄資訊之排列。「串流登錄資訊」係個別地表示從再生開始時刻2802到再生結束時刻2803之間,從主TS可選擇作為再生對象之基本串流之資訊。串流號碼(STN)2806係個別地分派給串流登錄資訊之連號號碼,由再生裝置102利用於識別各基本串流。STN2806進一步於相同種類之基本串流間,表示選擇的優先順位。串流登錄資訊包含串流分錄2809及串流屬性資訊2810。串流分錄2809包含串流路徑資訊2807及串流識別資訊2808。串流路徑資訊2807係表示選擇對象之基本串流所屬之檔案2D之資訊。例如串流路徑資訊2807表示“主路徑”時,該檔案2D係對應於參考剪輯資訊2801所示之2D剪輯資訊檔案。另,串流路徑資訊2807表示“子路徑ID=1”時,選擇對象之基本串流所屬之檔案2D,係對應於包含於子路徑ID=1之子路徑之SUB_PI之參考剪輯資訊所示之2D剪輯資訊檔案。該SUB_PI所規定的再生開始時刻或再生結束時刻之任一者,均包含於包含STN表2805之PI所規定的再生開始時刻2802到再生結束時刻2803之期間。串流識別資訊2808係表示多工至由串流路徑資訊2807所規定之檔案2D之基本串流之PID。該PID所示之基本串流可於再生開始時刻2802到再生結束時刻2803之間選擇。串流屬性資訊2810表示各基本串流之屬性資訊。例如音訊串流、PG串流及IG串流之各屬性資訊係表示語言種類。
[按照2D播放串列檔案之2D影像的再生]
第30圖係表示從2D播放串列檔案(00001.mpls)221所示之PTS與從檔案2S(01000.m2ts)241所再生的部分之間之對應關係之模式圖。參考第30圖,於2D播放串列檔案221之主路徑2701,PI#N係規定表示再生開始時刻IN1之PTS#1、及表示再生結束時刻OUT1之PTS#2。PI#1之參考剪輯資訊2801係表示2D剪輯資訊檔案(01000.clpi)231。再生裝置102係於按照2D播放串列檔案221再生2D影像時,首先從PI#1讀出PTS#1、#2。再生裝置102係接著參考2D剪輯資訊檔案231之分錄圖,搜尋對應於PTS#1、#2之檔案2D241內之SPN#1、#2。再生裝置102係接下來從SPN#1、#2,算出對應於各者之磁區數。再生裝置102進一步利用其等磁區數、及檔案2D241之檔案分錄,特定出記錄有再生對象之2D延伸區群EXT2D[0]、…、EXT2D[n]之磁區群P1前端之LBN#1及後端之LBN#2。磁區數之算出及LBN之特定係按照利用第23(b)、(c)圖的說明。再生裝置102最後向BD-ROM驅動器121,指定從LBN#1到LBN#2之範圍。藉其從該範圍之磁區群P1,讀出屬於2D延伸區群EXT2D[0]、…、EXT2D[n]之來源封包群。同樣地,P1#2所示之PTS#3、#4之配對係首先利用2D剪輯資訊檔案231之分錄圖,轉換為SPN#3、#4之配對。接著,利用檔案2D241之檔案分錄,SPN#3、#4之配對被轉換為LBN#3、#4。進而從LBN#3至LBN#4之範圍內之磁區群P2,讀出屬於2D延伸區群之來源封包群。從PI#3所示之PTS#5、#6之配對轉換為SPN#5、#6之配對、從SPN#5、#6之配對轉換為LBN#5、#6之配對,及從LBN#5至LBN#6之範圍內之磁區群P3讀出來源封包群亦同理。如此,再生裝置102可按照2D播放串列檔案221之主路徑2701,從檔案2D241再生2D影像。
2D播放串列檔案221亦可包含分錄標記3001。分錄標記3001係表示主路徑2701中實際上應開始再生之時點。例如第30圖所示,對於PI#1設定複數個分錄標記3001亦可。分錄標記3001尤其於從頭再生中,利用於再生開始位置之搜尋。例如2D播放串列檔案221規定電影標題之再生路徑時,分錄標記3001被賦予各章節之開頭。藉其,再生裝置102可於各章節再生該電影標題。
《3D播放串列檔案》
第31圖係表示3D播放串列檔案之資料構造之模式圖。第2圖所示之第2播放串列檔案(00002.mpls)222具有該構造。第2播放串列檔案(00003.mpls)223亦同。參考第31圖,3D播放串列檔案222包含:主路徑3101、子路徑3102及延伸資料3103。
主路徑3101規定第3(a)圖所示之主TS之再生路徑。因此,主路徑3101實質上等於第27圖所示之2D播放串列檔案221之主路徑2701。亦即,2D再生模式之再生裝置102可按照3D播放串列檔案222之主路徑3101,從檔案2D241再生2D影像。另,主路徑3101係於以下點與第27圖所示之主路徑2701不同:各PI之STN表係於將1個STN,對某一圖形串流或文本字幕串流之PID建立對應時,進一步對該STN分派1個偏移序列ID。
子路徑3102係規定第3(b)圖所示之子TS之再生路徑,亦即檔案DEP242或243之再生路徑。子路徑3102之資料構造係與第27圖所示之2D播放串列檔案241之子路徑2702、2703之資料構造相同。因此,關於該相同資料構造之詳細,尤其是關於SUB_P1之資料構造之詳細的說明,係沿用利用第27圖所進行的說明。
子路徑3102之SUB_PI#N(N=1、2、3、…)係與主路徑3101之PI#N一對一地對應。進而言之,規定各SUB_PI#N之再生開始時刻及再生結束時刻,係分別等於規定相對應之PI#N之再生開始時刻及再生結束時刻。子路徑3102係於其上包含子路徑類型3121。「子路徑類型」一般表示於主路徑與子路徑之間,再生處理是否應同步。於3D播放串列檔案222,子路徑類型3121特別表示3D再生模式之種類,亦即按照子路徑3102所應再生的相依視圖視訊串流之種類。於第31圖,子路徑類型3110之值為「3D‧L/R」,因此表示3D再生模式為L/R模式,亦即右視圖視訊串流為再生對象。另,子路徑類型3110之值為「3D深度」時,表示3D再生模式為深度模式,亦即深度圖串流為再生對象。3D再生模式之再生裝置102係於檢測到子路徑類型3110之值為「3D‧L/R」或「3D深度」時,令按照主路徑3101之再生處理與按照子路徑3102之再生處理同步。
延伸資料3103係只由3D再生模式之再生裝置102解釋的部分,於2D再生模式之再生裝置102則予以忽視。延伸資料3103尤其包含延伸串流選擇表3130。「延伸串流選擇表(STN_table_SS)」(以下簡稱為STN表SS)係於3D再生模式中,應追加於主路徑3101內之各PI所示之STN表之串流登錄資訊之排列。該串流登錄資訊係表示可從子路徑S選擇作為再生對象之基本串流。
[STN表]
第32圖係表示包含3D播放串列檔案222之主路徑3101之STN表3205之模式圖。參考第32圖,被分派STN3206=5、6、…、11之串流識別資訊3208係表示PG串流或IG串流之PID。該情況下,被分派STN3206=5、6、…、11之串流屬性資訊3210進一步包含參考偏移ID3201及偏移修正值3202。
於檔案DEP242,如第11圖所示,於各視訊序列之VAU#1配置有偏移元資料1110。參考偏移ID(stream_ref_offset_id)3201等於該偏移元資料1110所含之偏移序列ID1112之某一者。亦即,參考偏移ID3201係規定於該偏移元資料1110所含之複數個偏移序列中,應被與STN3206=5、6、…、11之各者建立對應之偏移序列。
偏移修正值(stream_offset_adjustment)3202係表示應加在參考偏移ID3201所規定的偏移序列之各偏移值之值。偏移修正值3202係於例如顯示裝置103之畫面尺寸,與3D影像內容製作時所設想的尺寸大幅不同時,由再生裝置102加在各偏移值。藉其,左視圖與右視圖之2D圖形影像間之兩眼視差會收斂於適當範圍內。
[STN表SS]
第33圖係表示STN表SS3130之資料構造之模式圖。參考第33圖,STN表SS3130包含串流登錄資訊串3301、3302、3303、…。串流登錄資訊串3301、3302、3303、…係個別地對應主路徑3101內之PTS#1、#2、#3、…,由3D再生模式之再生裝置102,與相對應之PI內之STN表所含之串流登錄資訊串組合而利用。對於各PI之串流登錄資訊串3301包含:彈出期間之偏移(Fixed_offset_during_Popup:彈出期間固定偏移)3311、及相依視圖視訊串流之串流登錄資訊串3312。
彈出期間之偏移3311係表示是否從IG串流再生彈出式選單。3D再生模式之再生裝置102係按照該偏移3311的值,改變截面及PG截面之顯示模式(presentation mode:呈現模式)。在此,視訊截面之顯示模式包括:基礎視圖(B)-相依視圖(D)顯示模式及B-B顯示模式兩種。圖形截面之顯示模式包括1截面+偏移模式及1截面+零偏移模式兩種。例如彈出期間之偏移3311的值為“0”時,從IG模式不會再生彈出式選單。屆時,選擇B-D顯示模式作為視訊截面之顯示模式,選擇1截面+偏移模式作為圖形截面之顯示模式。另,彈出期間之偏移3311的值為“1”時,從IG串流再生彈出式選單。屆時,選擇B-B顯示模式作為視訊截面之顯示模式,選擇1截面+零偏移模式作為圖形截面之顯示模式。
於「B-D顯示模式」,再生裝置102交替輸出左視圖及右視圖之視訊截面。因此,於顯示裝置103的畫面,交替顯示左視圖與右視圖之截面,故對收視者而言,其等看似3D影像。於「B-B顯示模式」,再生裝置102係將動作模式維持在3D再生模式(尤其將訊框率維持在3D再生時的值,例如維持在48訊框/秒),同時於每訊框,僅將從基礎視圖視訊串流所解碼的截面資料各輸出2次。因此,於顯示裝置103的畫面,僅顯示左視圖與右視圖某一者之視訊截面,因此對收視者而言,其等僅看似2D影像。
於「1截面+偏移模式」,再生裝置102係藉由偏移控制,從主TS內之圖形串流或文本字幕串流,生成左視圖與右視圖之圖形截面之配對並交替輸出。藉其,於顯示裝置103的畫面,左視圖與右視圖之圖形截面交替顯示,因此對收視者而言,其等看似3D圖形影像。於「1截面+零偏移模式」,再生裝置102係將動作模式維持在3D再生模式,同時令偏移控制暫時停止,於每訊框,將從主TS內之圖形串流或文本字幕串流所解碼的圖形截面各輸出2次。因此,於顯示畫面103的畫面,僅顯示左視圖與右視圖某一者之圖形截面,因此對收視者而言,其等僅看似2D影像。
3D再生模式之再生裝置102係就各PI,參考彈出期間之偏移3311,從IG串流再生彈出選單時,選擇B-B顯示模式及1截面+零偏移模式。藉其,於顯示彈出式選單的期間,其他3D影像暫時變更為2D影像,因此彈出式選單之視認性‧操作性提升。
相依視圖視訊串流之串流登錄資訊串3312包含表示從子TS可選擇作為再生對象之相依視圖視訊串流之串流登錄資訊。該等串流登錄資訊串3312係分別與相對應之PI內之STN表所含之串流登錄資訊串中,表示基礎視圖視訊串流者組合而利用。3D再生模式之再生裝置102係於讀出STN表內之某一個串流登錄資訊時,亦自動讀出被與該串流登錄資訊組合的STN表SS內之串流登錄資訊串。藉其,再生裝置102係於單純將2D再生模式切換為3D再生模式時,可將設定完畢的STN及語言等之串流屬性維持在同一屬性。
參考第33圖,相依視圖視訊串流之串流登錄資訊串3312一般包含複數個串流登錄資訊(SS_dependet_view_block)3320。其等係與相對應之PI內之串流登錄資訊中,表示基礎視圖視訊串流者數目相同。各串流登錄資訊3320包含:STN3311、串流分錄3322及串流屬性資訊3323。STN3321係個別地分派給串流登錄資訊3320之連號,等於相對應之PI內之組合對象之串流登錄資訊之STN。串流分錄3322包含:子路徑ID參考資訊(ref_to_Subpath_id)3331、串流檔案參考資訊(ref_to_subClip_entry_id)3332及PID(ref_to_stream_PID_subclip)3333。子路徑ID參考資訊3331係表示規定相依視圖視訊串流之再生路徑之子路徑之子路徑ID。串流檔案參考資訊3332係用以識別儲存有該相依視圖視訊串流之檔案DEP之資訊。PID3333係該相依視圖視訊串流之PID。串流屬性資訊3323包含該相依視圖視訊串流之屬性,例如訊框率、解像度及視訊格式。尤其其等係與相對應之PI內之組合對象之串流登錄資訊所示之基礎視圖視訊串流共通。
[按照3D播放串列檔案之3D影像的再生]
第34圖係表示從3D播放串列檔案(00002.mpls)222所示之PTS與從檔案SS(01000.ssif)244A所再生的部分之間之對應關係之模式圖。參考第34圖,於3D播放串列檔案222之主路徑3401,PI#1係規定表示再生開始時刻IN1之PTS#1、及表示再生結束時刻OUT1之PTS#2。PI#1之參考剪輯資訊係表示2D剪輯資訊檔案(01000.clpi)231。另,於子路徑類型表示「3D‧L/R」之子路徑3402,SUB_PI#1係與PI#1同樣規定PTS#1、#2。SUB_PI#1之參考剪輯資訊係表示相依視圖剪輯資訊檔案(02000.clpi)232。
再生裝置102係於按照3D播放串列檔案222再生3D影像時,首先從PI#1及SUB_PI#1讀出PTS#1、#2。再生裝置102係接著參考2D剪輯資訊檔案231之分錄圖,搜尋對應於PTS#1、#2之檔案2D241內之SPN#1、#2。於其並行,再生裝置102係參考相依視圖剪輯資訊檔案232之分錄圖,搜尋對應於PTS#1、#2之檔案DEP242內之SPN#11、#12。再生裝置102係接下來如第24(e)圖之說明所述,利用各剪輯資訊檔案231、232之延伸區起點2242、2420,從SPN#1、#11,算出檔案SS244A之開頭到再生開始位置之來源封包數SPN#21。再生裝置102係同樣從SPN#2、#12,算出檔案SS244A之開頭到再生結束位置之來源封包數SPN#22。再生裝置102係進一步算出對應於SPN#21、#22之各者之磁區數。再生裝置102係接下來利用其等磁區數、及檔案SS244A之檔案分錄,特定出記錄有再生對象之延伸區SS群EXTSS[0]、…、EXTSS[n]之磁區群P11前端之LBN#1及後端之LBN#2。磁區數之算出及LBN之特定係與第24(e)圖的說明相同。再生裝置102最後向BD-ROM驅動器121,指定從LBN#1到LBN#2之範圍。藉其從該範圍之磁區群P11,讀出屬於3D延伸區SS群EXTSS[0]、…、EXTSS[n]之來源封包群。同樣地,P1#2及SUB_PI#2所示之PTS#3、#4之配對係首先利用剪輯資訊檔案231、232之各分錄圖,轉換為SPN#3、#4之配對及SPN#13、#14之配對。接著,從SPN#3、#13,算出第1檔案SS244A之開頭到再生開始位置之來源封包數SPN#23,從SPN#4、#14,算出檔案SS244A之開頭到再生結束位置之來源封包數SPN#24。接下來,利用檔案SS244A之檔案分錄,SPN#23、#24之配對轉換為LBN#3、#4之配對。進而從LBN#3至LBN#4之範圍內之磁區群P12,讀出屬於延伸區SS群之來源封包群。
與上述讀出處理並行,再生裝置102係如第24(e)圖之說明所述,利用各剪輯資訊檔案231、232之延伸區起點2242、2420,從各延伸區SS擷取基礎視圖延伸區,與剩餘的相依視圖延伸區並行解碼。如此,再生裝置102可按照3D播放串列檔案222,從檔案SS244A再生3D影像。
《索引表》
第35圖係表示第2圖所示之索引檔案(index.bdmv)211之資料構造之模式圖。參考第35圖,索引檔案211包含:索引表3510、3D存在旗標3520及2D/3D喜好旗標3530。
索引表3510包含以下項目:「最先播放」3501、「頂層選單」3502及「標題k」3503(k=1、2、…、n:n為1以上之整數)。各項目係被與電影物件MV0-2D、MV0-3D、…或BD-J物件BDJ0-2D、BDJ0-3D、…之某一者建立對應。每當藉由使用者操作或應用程式叫出標題或選單時,再生裝置102之控制部係參考索引表3510之相對應項目。控制部係進一步從BD-ROM碟片101,叫出被與該項目建立對應之物件,按照其執行各種處理。具體而言,於項目「最先播放」3501,碟片101被指定插入於BD-ROM驅動器121時應叫出的物件。於項目「頂層選單」3502,被指定例如由使用者操作輸入「返回選單」之指令時,用以令顯示裝置103顯示選單之物件。於項目「標題k」3503,個別分派有構成碟片101上之內容之標題。例如藉由使用者操作指定再生對象之標題時,於被分派該標題之項目「標題k」,被指定用以從對應於該標題之AV串流檔案再生影像之物件。
於第35圖所示之例中,項目「標題1」及項目「標題2」被分派給2D影像之標題。被與項目「標題1」建立對應之電影物件MV0-2D包含關於利用2D播放串列檔案(00001.mp1s)221之2D影像之再生處理之命令群。由再生裝置102參考項目「標題1」時,按照該電影物件MV0-2D,2D播放串列檔案221從碟片101讀出,並按照其所規定的再生路徑執行2D影像之再生處理。被與項目「標題2」建立對應之BD-J物件BDJ0-2D包含關於利用2D播放串列檔案221之2D影像之再生處理之應用程式管理表。由再生裝置102參考項目「標題2」時,按照該BD-J物件BDJ0-2D內之應用程式管理表,從JAR檔案261叫出Java應用程式而執行。藉其,從碟片101讀出2D播放串列檔案221,按照其所規定的再生路徑執行2D影像之再生處理。
於第35圖所示之例中,進一步項目「標題3」及項目「標題4」被分派給3D影像的標題。被與項目「標題3」建立對應之電影物件MV0-3D係除了關於利用2D播放串列檔案221之2D影像之再生處理之命令群以外,還包含關於利用3D播放串列檔案(00002.mp1s)222、(00003.mp1s)223之某一者之3D影像之再生處理之命令群。於被與項目「標題4」建立對應之BD-J物件BDJ0-3D,應用程式管理表係除了規定關於利用2D播放串列檔案221之2D影像之再生處理之Java應用程式以外,還規定關於利用3D播放串列檔案222、223之某一者之3D影像之再生處理之Java應用程式。
3D存在旗標3520係表示於BD-ROM碟片101,是否記錄有3D影像內容之旗標。再生裝置102係於BD-ROM驅動器121插入BD-ROM碟片101時,首先檢查該3D存在旗標3520。3D存在旗標3520關閉時,再生裝置102無須選擇3D再生模式。因此,再生裝置102不對於顯示裝置103進行HDMI認證,可迅速轉移到2D再生模式。在此,「HDMI認證」係指再生裝置102透過HDMI纜線122,與顯示裝置103之間交換CEC訊息,向顯示裝置103詢問是否支援3D影像再生等之處理。藉由跳過HDMI認證,以縮短插入BD-ROM碟片101到2D影像再生開始之時間。
2D/3D喜好旗標3530係於再生裝置及顯示裝置均可支援2D影像及3D影像任一者之再生時,指定是否應優先再生3D影像之旗標。2D/3D喜好旗標3530係由內容提供者設定。再生裝置102係於BD-ROM碟片101之3D存在旗標3520開啟時,接下來進一步檢查2D/3D喜好旗標3530。2D/3D喜好旗標3530開始時,再生裝置102係不令使用者選擇再生模式而進行HDMI認證,並依照其結果,以2D再生模式與3D再生模式之某一模式進行動作。亦即,再生裝置102不顯示再生模式之選擇畫面。因此,HDMI認證的結果,若顯示裝置103可支援3D影像再生,則再生裝置102能夠以3D再生模式啟動。藉其,可避免起因於訊框率切換等,從2D再生模式往3D再生模式之轉移處理之啟動延遲。
[3D影像標題選擇時之播放串列檔案的選擇]
於第35圖所示之例中,再生裝置102參考索引表3510之項目「標題3」時,按照電影物件MV0-3D,首先進行以下之辨別處理:(1)3D存在旗標3520開啟或關閉;(2)再生裝置102本身是否支援3D影像再生;(3)2D/3D喜好旗標3530開始或關閉;(4)使用者是否選擇3D影像再生;(5)顯示裝置103是否支援3D影像再生;及(6)再生裝置102之3D影像再生模式為L/R模式與深度模式之何者。接著,再生裝置102依照其等之辨別結果,選擇某一播放串列檔案221-223作為再生對象。另,再生裝置102參考項目「標題4」時,按照BD-J物件BDJ0-3D內之應用程式管理表,從JAR檔案261叫出Java應用程式而執行。藉其,首先進行上述辨別處理(1)-(6),接著依照其辨別結果進行播放串列檔案的選擇。
第36圖係表示利用上述辨別處理(1)-(6)選擇再生對象之播放串列檔案之處理之流程圖。在此,作為其選擇處理的前提,再生裝置102設想包含第1旗標及第2旗標時。第1旗標係表示再生裝置102是否可支援3D影像再生。例如第1旗標為“0”時,再生裝置102僅可支援2D影像再生,其為“1”時,亦可支援3D影像再生。第2旗標係表示3D再生模式為L/R模式與深度模式之何者。例如第2旗標為“0”時,3D再生模式為L/R模式,其為“1”時,則為深度模式。進而言之,3D存在旗標3520及2D/3D喜好旗標3530分別開啟時之值設為“1”,關閉時之值設為“0”。
於步驟S3601,再生裝置102檢查3D存在旗標3520的值。其值為“1”時,處理前進至步驟S3602。其值為“0”時,處理前進至步驟S3607。
於步驟S3602,再生裝置102檢查第1旗標之值。其值為“1”時,處理前進至步驟S3603。其值為“0”時,處理前進至步驟S3607。
於步驟S3603,再生裝置102檢查2D/3D喜好旗標3530之值。其值為“0”時,處理前進至步驟S3604。其值為“1”時,處理前進至步驟S3605。
於步驟S3604,再生裝置102係令顯示裝置103顯示選單,讓使用者選擇2D影像與3D影像之某一者。使用者操作遙控器105等而選擇3D再生模式時,處理前進至步驟S3605,選擇2D再生模式時,處理前進至步驟S3607。
於步驟S3605,再生裝置102進行HDMI認證,檢查顯示裝置103是否支援3D影像再生。具體而言,再生裝置102係透過HDMI纜線122,與顯示裝置103之間交換CEC訊息,向顯示裝置103詢問顯示裝置103是否支援3D影像再生。顯示裝置103支援3D影像再生時,處理前進至步驟S3606。顯示裝置103不支援3D影像再生時,處理前進至步驟S3607。
於步驟S3606,再生裝置102檢查第2旗標之值。其值為“0”時,處理前進至步驟S3608。其值為“1”時,處理前進至步驟S3609。
於步驟S3607,再生裝置102選擇2D播放串列檔案221作為再生對象。再者,屆時,再生裝置102亦可令顯示裝置103,顯示未選擇3D影像再生的理由。其後,處理結束。
於步驟S3608,再生裝置102選擇L/R模式用之3D播放串列檔案222作為再生對象。其後,處理結束。
於步驟S3609,再生裝置102選擇深度模式用之3D播放串列檔案223作為再生對象。其後,處理結束。
<2D再生裝置之構成>
2D再生模式之再生裝置102係於從BD-ROM碟片101再生2D影像內容時,作為2D再生裝置進行動作。第37圖係2D再生裝置3700之功能方塊圖。參考第37圖,2D再生裝置3700包含:BD-ROM驅動器3701、再生部3702及控制部3703。再生部3702包含:讀緩衝器3721、系統目標解碼器3725及截面加算部3726。控制部3703包含:動態情境記憶體3731、靜態情境記憶體3732、使用者事件處理部3733、程式執行部3734、再生控制部3735及播放器變數記憶部3736。再生部3702與控制部3703係安裝於互異的積體電路。此外,兩者亦可統合於單一的積體電路。
BD-ROM驅動器3701係於BD-ROM碟片101插入於內部時,於該碟片101照射雷射光,檢測其反射光的變化。進一步從該反射光光量的變化,讀取記錄於碟片101之資料。具體而言,BD-ROM驅動器3701具備光拾取頭,亦即具備光學頭。該光學頭包含:半導體雷射、準直透鏡、分光器、物鏡、聚光鏡及光檢測器。從半導體雷射射出之光束係依序通過準直透鏡、分光器及物鏡而聚集於碟片101之記錄層。所聚集的光束係由該記錄層反射/繞射。該反射/繞射光係通過物鏡、分光器及聚光鏡而聚集於光檢測器。光檢測器生成與其聚光量相應位準之再生訊號。進而從該再生訊號解調資料。
BD-ROM驅動器3701係按照來自再生控制部3735的要求,從BD-ROM碟片101讀出資料。該資料中之檔案2D之延伸區,亦即2D延伸區係傳輸至讀緩衝器3721,動態情境資訊傳輸至動態情境記憶體3731,靜態情境資訊傳輸至靜態情境記憶體3732。「動態情境資訊」包含:索引檔案、電影物件檔案及BD-J物件檔案。「靜態情境資訊」包含2D播放串列檔案及2D剪輯資訊檔案。
讀緩衝器3721、動態情境記憶體3731及靜態情境記憶體3732均為緩衝記憶體。作為讀緩衝器3721係利用再生部3702內之記憶體元件,作為動態情境記憶體3731及靜態情境記憶體3732係利用控制部3703內之記憶體元件。此外,單一記憶體元件之不同區域可利用作為其等緩衝記憶體3721、3731、3732之一部分或全部。
系統目標解碼器3725係從讀緩衝器3721,以來源封包為單位讀出2D延伸區,進行解多工處理,對於已分離的各基本串流進行解碼處理。在此,各基本串流的解碼所必需的資訊,例如代碼種類及串流屬性係預先從再生控制部3735傳輸至系統目標解碼器3725。系統目標解碼器3725進一步以VAU為單位,分別將解碼後之主要視訊串流、次要視訊串流、IG串流及PG串流,作為主影像截面資料、副影像截面資料、IG截面資料及PG截面資料而送出。又,系統目標解碼器3725係將解碼後之主要音訊串流與次要音訊串流混音,送出至顯示裝置103之內建揚聲器103A等聲音輸出裝置。此外,系統目標解碼器3725係從程式執行部3734接收圖形資料。該圖形資料係用以於畫面顯示GUI用圖形元件,以JPEG或PNG等網格資料來表現。系統目標解碼器3725係處理該圖形資料,作為影像截面資料送出。再者,關於系統目標解碼器3725之詳細會於後面敘述。
截面加算部3726係從系統目標解碼器3725,接收主影像截面資料、副影像截面資料、IG截面資料、PG截面資料及影像截面資料,將其等相互重疊而合成為1個影像訊框或圖場。合成後之影像資料送出至顯示裝置103,顯示於其畫面。
使用者事件處理部3733係透過遙控器105或再生裝置102之前面板來檢測使用者操作,因應該操作的種類,向程式執行部3734或再生控制部3735請求處理。例如使用者按下遙控器105之按鈕,執行彈出式選單之顯示時,使用者事件處理部3733係檢測該按下而識別該按鈕。使用者事件處理部3733進一步向程式執行部3734,請求執行對應於該按鈕之指令,亦即請求彈出式選單之顯示處理。另,例如使用者按下遙控器105之快轉或倒帶按鈕時,使用者事件處理部3733係檢測該按下而識別該按鈕。使用者事件處理部3733進一步向再生控制部3735,請求現在再生中之播放串列的快轉或倒帶處理。
程式執行部3734為處理器,從儲存於動態情境記憶體3731之電影物件檔案及BD-J物件檔案,讀出程式而執行。程式執行部3734進一步按照各程式進行如下控制:(1)對於再生控制部3735命令播放串列再生處理;及(2)將選單用或遊戲用之圖片資料生成作為PNG或JPEG之網格資料,將其傳輸至系統目標解碼器3725而合成於其他影像資料。其等控制之具體內容可透過程式的設計而較為自由地設計。亦即,其等控制內容係於BD-ROM碟片101之編輯步驟中,由電影物件檔案及BD-J物件檔案之程式化步驟來決定。
再生控制部3735係控制從BD-ROM碟片101,將2D延伸區及索引檔等各種資料,傳輸至讀緩衝器3721、動態情境記憶體3731及靜態情境記憶體3732之處理。該控制係利用管理第2圖所示之目錄/檔案構造之檔案系統。亦即,再生控制部3735係利用檔案開啟用之系統呼叫,令BD-ROM驅動器3701傳輸各種檔案至各緩衝器記憶體3721、3731、3732。在此,檔案開啟係指以下一連串處理。首先,藉由系統呼叫給予檔案系統搜尋對象的檔案名,從目錄/檔案構造搜尋該檔案名。該搜尋成功時,首先將傳輸對象檔案之檔案分錄,傳輸至再生控制部3735內之記憶體,於該記憶體內生成FCB(File Control Block:檔案控制塊)。其後,傳輸對象檔案之檔案處置係從檔案系統被送回再生控制部3735。以後,再生控制部3735係藉由向BD-ROM驅動器3701提示該檔案處置,可令BD-ROM驅動器3701,將該傳輸對象之檔案從BD-ROM碟片101傳輸至各緩衝器記憶體3721、3731、3732。
再生控制部3735係控制BD-ROM驅動器3701及系統目標解碼器3725,使其從檔案2D解碼影像資料及聲音資料。具體而言,再生控制部3735首先因應來自程式執行部3734之命令或來自使用者事件處理部3733之請求,從靜態情境記憶體3732讀出2D播放串列檔案並解釋其內容。再生控制部3735係接著按照該經解釋的內容,尤其按照再生路徑,向BD-ROM驅動器3701及系統目標解碼器3725指定再生對象之檔案2D,指示其讀出處理及解碼處理。該類按照播放串列檔案之再生處理稱為「播放串列再生」。
此外,再生控制部3735係利用靜態情境資訊,於播放器變數記憶部3736設定各種播放器變數。再生控制部3735係進一步參考其等播放器變數,向系統目標解碼器3725指定解碼對象之基本串流,且提供各基本串流解碼所必需的資訊。
播放器變數記憶部3736係用以記憶播放器變數之暫存器群。播放器變數的種類包括系統參數(SPRM)及泛用參數(GPRM)。SPRM係表示再生裝置102的狀態。第38圖為SPRM之一覽表。參考第38圖,各SPRM被編上連號3801,變數值3802被與各連號3801個別地建立對應。SPRM為例如64個,各者所示之含意如下。在此,括號內數字表示連號3801。
SPRM(0):語言碼
SPRM(1):主要音訊串流號碼
SPRM(2):字幕串流號碼
SPRM(3):角度號碼
SPRM(4):標題號碼
SPRM(5):章節號碼
SPRM(6):程式號碼
SPRM(7):單位格(cell)號碼
SPRM(8):選擇金鑰資訊
SPRM(9):導航計時器
SPRM(10):再生時刻資訊
SPRM(11):伴唱用混音模式
SPRM(12):家長控制用國別資訊
SPRM(13):家長控制等級
SPRM(14):播放器設定值(視訊)
SPRM(15):播放器設定值(音訊)
SPRM(16):音訊串流用語言碼
SPRM(17):音訊串流用語言碼(延伸)
SPRM(18):字幕串流用語言碼
SPRM(19):字幕串流用語言碼(延伸)
SPRM(20):播放器區碼
SPRM(21):次要視訊串流號碼
SPRM(22):次要音訊串流號碼
SPRM(23):再生狀態
SPRM(24)-SPRM(63):預備
SPRM(10)係表示解碼處理中之圖片之PTS,每當該圖片受到解碼並寫入於主影像截面記憶體時更新。因此,若參考SPRM(10),即可得知現在的再生時點。
SPRM(13)之家長控制等級係表示特定限制年齡,利用在對於記錄於BD-ROM碟片101之標題收視之家長控制。SPRM(13)之值係由再生裝置102之使用者,利用再生裝置102之OSD等而設定。在此,「家長控制」係指依照收視者年齡而限制標題收視之處理。再生裝置102係例如以下進行對於各標題之家長控制。再生裝置102首先從BD-ROM碟片101,讀出被許可收視該標題之收視者年齡,並與SPRM(13)比較。該年齡若為SPRM(13)之值以上,則再生裝置102繼續再生該標題。該年齡若小於SPRM(13)之值,則再生裝置102停止再生該標題。
SPRM(16)之音訊串流用語言碼及SPRM(18)之字幕串流用語言碼,係表示再生裝置102預設的語言碼。其等亦可利用再生裝置102之OSD等而令使用者變更,亦可透過程式執行部3734而令應用程式變更。例如SPRM(16)表示「英語」時,再生控制部3735係於播放串列再生處理中,首先從表示現在時點之再生區間之PI,亦即現PI所含之STN表,搜尋包含「英語」的語言碼之串流分錄。再生控制部3735接著從該串流分錄之串流識別資訊擷取PID,並交付給系統目標解碼器3725。藉其而由系統目標解碼器3725,選擇、解碼該PID之音訊串流。該等處理可利用電影物件檔案或BD-J物件檔案而令再生控制部3735執行。
再生控制部3735係於再生處理中,因應再生狀態的變化而更新播放器變數。尤其更新SPRM(1)、SPRM(2)、SPRM(21)及SPRM(22)。其等依序表示處理中之音訊串流、字幕串流、次要視訊串流及次要音訊串流之各STN。例如設想由程式執行部3734變更SPRM(1)時。再生控制部3735首先利用變更後之SPRM(1)所示之STN,從現PI內之STN表,搜尋包含該STN之串流分錄。再生控制部3735係接著從該串流分錄內之串流識別資訊,擷取PID並交付給系統目標解碼器3725。藉其,由系統目標解碼器3725選擇、解碼該PID之音訊串流。如此切換再生對象之音訊串流。同樣地,亦可切換再生對象之字幕及次要視訊串流。
《2D播放串列再生處理》
第39圖係表示由再生控制部3735所進行的2D播放串列再生處理之流程圖。2D播放串列再生處理係按照2D播放串列檔案之播放串列再生處理,藉由再生控制部3735從靜態情境記憶體3732讀出2D播放串列檔案而開始。
於步驟S3901,再生控制部3735首先從2D播放串列檔案內之主路徑,讀出1個PI,並設定作為現PI。再生控制部3735接著從該現PI之STN表,選擇再生對象之基本串流之PID,且特定出其等之解碼所必需的屬性資訊。所選擇的PID及屬性資訊係向系統目標解碼器3725指示。再生控制部3735進一步從2D播放串列檔案內之子路徑,特定出附隨於現PI之SUB_PI。其後,處理前進至步驟S3902。
於步驟S3902,再生控制部3735係從現PI,讀出參考剪輯資訊、表示再生開始時刻IN1之PTS#1及表示再生結束時刻OUT1之PTS#2。從該參考剪輯資訊,特定出對應於再生對象之檔案2D之2D剪輯資訊檔案。進一步於存在有附隨於現PI之SUB_PI時,從其等讀出同樣的資訊。其後,處理前進至步驟S3903。
於步驟S3903,再生控制部3735參考附隨於2D剪輯資訊檔案之分錄圖,搜尋對應於PTS#1、#2之檔案2D內之SPN#1、#2。SUB_PI所示之PTS亦同樣轉換為SPN之配對。其後,處理前進至步驟S3904。
於步驟S3904,再生控制部3735係從SPN#1、#2,算定對應於各者之磁區數。具體而言,再生控制部3735首先求出SPN#1、#2之各者與每1來源封包之資料量192位元組之積。再生控制部3735接著以每1磁區之資料量2048位元組除以各積而求出其商:N1=SPN#1×192/2048、N2=SPN#2×192/2048。商N1、N2係等於主TS中,記錄有早於被分派SPN#1、#2之各者之來源封包的部分之磁區總數。轉換自SUB_PI所示之PTS之SPN的配對亦同樣轉換為磁區數之配對。其後,處理前進至步驟S3905。
於步驟S3905,再生控制部3735係從步驟S3904所獲得的磁區數N1、N2之各者,特定出再生對象之2D延伸區群之前端及後端之LBN。具體而言,再生控制部3735係參考再生對象之2D檔案之檔案分錄,特定出從記錄有2D延伸區群之磁區群開頭算起之第(N1+1)個磁區之LBN=LBN#1、及第(N2+1)個磁區之LBN=LBN#2。再生控制部3735進一步向BD-ROM驅動器121,指定LBN#1到LBN#2之範圍。轉換自SUB_PI所示之PTS之配對之磁區數之配對亦同樣轉換為LBN之配對,並向BD-ROM驅動器121指定。其結果,從指定範圍之磁區群,以對準單元為單位讀出屬於2D延伸區群之來源封包群。其後,處理前進至步驟S3906。
於步驟S3906,再生控制部3735檢查在主路徑是否殘留有未處理之PI。有殘留時,從步驟S3901重複處理。未有殘留時,結束處理。
《系統目標解碼器》
第40圖係系統目標解碼器3725之功能方塊圖。參考第40圖,系統目標解碼器3725包含:來源解封包處理器4010、ATC計數器4020、第1之27MHz時鐘4030、PID濾波器4040、STC計數器(STC1)4050、第2之27MHz時鐘4060、主影像解碼器4070、副影像解碼器4071、PG解碼器4072、IG解碼器4073、主聲音解碼器4074、副聲音解碼器4075、影像處理器4080、主影像截面記憶體4090、副影像截面記憶體4091、PG截面記憶體4092、IG截面記憶體4093、影像截面記憶體4094及聲音混合器4095。
來源解封包處理器4010係從讀緩衝器3721讀出來源封包,從其中取出TS封包並送出至PID濾波器4040。來源解封包處理器4010係進一步令其送出時刻,配合各來源封包之ATS所示之時刻。具體而言,來源解封包處理器4010首先監視ATC計數器4020所生成的ATC之值。在此,ATC之值係由ATC計數器4020,因應第1之27MHz時鐘4030之時鐘訊號的脈衝而遞增。來源解封包處理器4010係於ATC之值與來源封包之ATS一致的瞬間,將取出自該來源封包之TS封包傳輸至PID濾波器4040。藉由該類送出時間之調節,從來源解封包處理器4010對PID濾波器4040之TS封包之平均傳輸速度,不會超過由表示於第22圖之2D剪輯資訊檔案231內之系統率2211所規定的值RTS
。
PID濾波器4040係首先監視從來源解封包處理器4010所送出的TS封包所含之PID。該PID與再生控制部3735預先指定之PID一致時,PID濾波器4040選擇該TS封包,傳輸至適合解碼該PID所示之基本串流之解碼器4070-4075。例如PID為0×1011時,該TS封包傳輸至主影像解碼器4070。另,PID屬於0×1B00-0×1B1F、0×1100-0×111F、0×1A00-0×1A1F、0×1200-1×121F及0×1400-0×141F之各範圍時,TS封包分別被傳輸至副影像解碼器4071、主聲音解碼器4074、副聲音解碼器4075、PG解碼器4072及IG解碼器4073。
PID濾波器4040進一步利用各TS封包之PID,從該TS封包中檢測PCR。屆時,PID濾波器4040係將STC計數器4050之值設定為特定值。在此,STC計數器4050之值係因應第2之27MHz時鐘4060之時鐘訊號之脈衝而遞增。又,應設定於STC計數器4050之值係預先從再生控制部3735指示PID濾波器4040。各解碼器4070-4075係利用STC計數器4050之值作為STC。具體而言,各解碼器4070-4075首先將收取自PID濾波器4040之TS封包,再構成為PES封包。各解碼器4070-4075接著按照該PES標頭所含之PTS或DTS所示之時刻,調節該PES酬載區所含資料之解碼處理之時期。
主影像解碼器4070係如第40圖所示包含:傳輸串流緩衝器(TB:Transport Stream Buffer)4001、多工緩衝器(MB:Multiplexing Buffer)4002、基本串流緩衝器(EB:Elementary Stream Buffer)4003、壓縮影像解碼器(DEC)4004及解碼圖片緩衝器(DPB:Decoded Picture Buffer)4005。
TB4001、MB4002及EB4003均為緩衝器記憶體,分別利用內建於主影像解碼器4070之記憶體元件之一部分。此外,其等之任一者或全部分離於不同記憶體元件亦可。TB4001係原樣累積接收自PID濾波器4040之TS封包。MB4002係累積從累積於TB4001之TS封包所復原的PES封包。再者,從TB4001往MB4002傳輸TS封包時,從該TS封包去除TS標頭。EB4003係從PES封包,擷取已編碼之VAU並儲存。於該VAU儲存有壓縮圖片,亦即儲存有1圖片、B圖片及P圖片。再者,資料從MB4002傳輸至EB4003時,從該PES封包去除PES標頭。
DEC4004係專為壓縮圖片之解碼處理之硬體解碼器,尤其以具備該解碼處理之加速器功能之LSI所構成。DEC4004係從EB4003內之各VAU,於原本的PES封包所含之DTS所示之時刻解碼圖片。此外,DEC4004亦可利用第12圖所示之解碼切換器資訊1250,從各VAU,將圖片無關於該DTS而依次解碼。於該解碼處理中,DEC4004預先解析該VAU之標頭,特定出儲存於該VAU內之壓縮圖片之壓縮編碼方式及串流屬性,按照其等來選擇解碼方法。在此,該壓縮編碼方式包含例如MPEG-2、MPEG-4AVC及VC1。DEC4004進一步將解碼後之非壓縮圖片傳輸至DPB4005。
DPB4005係與TB4001、MB4002及EB4003同樣為緩衝器記憶體,利用內建於主影像解碼器4070之記憶體元件之一區域。此外,DPB4005亦可分離為與其他緩衝器記憶體4001、4002、4003不同的記憶體元件。DPB4005暫時保持解碼後之圖片。由DEC4004解碼P圖片及B圖片時,DPB4005係因應來自DEC4004的指示,從所保持的解碼後圖片搜尋參考圖片,並提供給DEC4004。DPB4005進一步於原本的PES封包所含之PTS所示之時刻,將所保持的各圖片寫入於主影像截面記憶體4090。
副影像解碼器4071包含與主影像解碼器4070相同的構成。副影像解碼器4071係首先將接收自PID濾波器4040之次要視訊串流之TS封包,解碼為非壓縮的圖片。副影像解碼器4071係接著於該TS封包所含之PTS所示之時刻,將非壓縮的圖片寫入於副影像截面記憶體4091。
PG解碼器4072係將接收自PID濾波器4040之TS封包,解碼為非壓縮的圖片資料,於該PES封包所含之PTS所示之時刻,寫入於PG截面記憶體4092。
第41(a)圖係PG解碼器4072從PG串流內之1個資料分錄解碼圖形物件之處理之流程圖。該處理係於PG解碼器4072從PID濾波器4040,接收到構成第6圖所示之1個資料分錄之TS封包群時開始。第41(b)-(e)圖係表示按照該處理而變化之圖形物件之模式圖。
於步驟S4101,PG解碼器4072首先特定出具有與PCS內之參考物件ID605相同之物件ID之ODS。PG解碼器4072接著從特定出之ODS解碼圖形物件,並寫入於物件緩衝器。在此,「物件緩衝器」係內建於PG解碼器4072之緩衝記憶體。第41(b)圖所示之「微笑標記」FOB係表示寫入於物件緩衝器之圖形物件。
於步驟S4102,PG解碼器4072係按照PCS內之修剪資訊602進行修剪處理,從圖形物件剪出其一部分並寫入於物件緩衝器。於第41(c)圖,從微笑標記FOB之左右兩端部剪下帶狀區域LST、RST,剩餘部分OBJ寫入於物件緩衝器。
於步驟S4103,PG解碼器4072首先特定出具有與PCS內之參考視窗ID603相同之視窗ID之WDS。PG解碼器4072接著從特定出之WDS所示之視窗位置612、及PCS內之物件顯示位置601,決定圖形截面之圖形物件之顯示位置。於第41(d)圖,決定圖形截面GPL之視窗WIN之左上角之位置及圖形物件OBJ之左上角之位置DSP。
於步驟S4104,PG解碼器4072係將物件緩衝器內之圖形物件,寫入於步驟S4103所決定的顯示位置。屆時,PG解碼器4072係利用WDS所示之視窗尺寸613來決定圖形物件之描繪範圍。於第41(d)圖,圖形物件OBJ係於圖形截面GPL,從左上角之位置OSP在視窗WIN之範圍內寫入。
於步驟S4105,PG解碼器4072首先特定出具有與PCS內之參考色盤ID604相同之色盤ID之PDS。PG解碼器4072接著利用PDS內之CLUT622,決定圖形物件內之各像素資料所應表示之色彩座標。於第41(e)圖,決定圖形物件OBJ內之各像素之色彩。如此,完成1個資料分錄所含之圖形物件之描繪處理。步驟S4101-4105係執行到與該圖形物件包含於相同之PES封包之PTS所示之時刻為止。
IG解碼器4073係將接收自PID濾波器4040之TS封包,解碼為非壓縮的圖形物件。IG解碼器4073進一步於復原自其等TS封包之PES封包所含之PTS所示之時刻,將該非壓縮之圖形物件寫入於IG截面記憶體4093。其等處理之詳細係與PG解碼器4072所進行的處理相同。
主聲音解碼器4074係首先於內建的緩衝器,存放接收自PID濾波器4040之TS封包。主聲音解碼器4074接著從該緩衝器內之TS封包群,去除TS標頭及PES標頭,將剩餘的資料解碼為非壓縮的LPCM聲音資料。主聲音解碼器4074進一步於原本的PES封包所含之PTS所示之時刻,將該聲音資料送出至聲音混合器4095。在此,主聲音解碼器4074係選擇儲存於TS封包所含之主要音訊串流之壓縮編碼方式,及依照串流屬性選擇壓縮聲音資料之解碼方法。該壓縮編碼方式包含例如AC-3或DTS。
副聲音解碼器4075包含與主聲音解碼器4074同樣的構成。副聲音解碼器4075係首先將接收自PID濾波器4040之次要音訊串流之PES封包,將該PES酬載區所含之資料解碼為非壓縮的LPCM聲音資料。副聲音解碼器4075接著於該PES標頭所含之PTS所示之時刻,將該非壓縮的LPCM聲音資料送出至聲音混合器4095。在此,副聲音解碼器4075係選擇TS封包所含之次要音訊串流之壓縮編碼方式,及依照串流屬性選擇壓縮聲音資料之解碼方法。該壓縮編碼方式包含例如Dolby Digital Plus、DTS-HD LBR。
聲音混合器4095係分別從主聲音解碼器4074及副聲音解碼器4075,接收非壓縮的聲音資料,利用其等進行混音。聲音混合器4095進一步將由該混音所獲得的合成音,送出至顯示裝置103之內建揚聲器103A等。
影像處理器4080係從程式執行部3734接收圖形資料,亦即接收PNG或JPEG之網格資料。屆時,影像處理器4080係進行對於該圖形資料之轉列(rendering)處理,並寫入於影像截面記憶體4094。
<3D再生裝置之構成>
3D再生模式之再生裝置102係於從BD-ROM碟片101再生3D影像內容時,作為3D再生裝置進行動作。其構成之基本部分係與第37、40圖所示之2D再生裝置之構成相同。因此,以下說明從2D再生裝置之構成之擴充部分及變更部分,關於基本部分的詳細之說明,則沿用關於上述2D再生裝置之說明。又,利用於2D播放串列再生處理之構成係與2D再生裝置相同。因此,關於其詳細之說明,亦沿用關於上述2D再生裝置之說明。於以下說明設想按照3D播放串列檔案之3D影像之再生處理,亦即3D播放串列再生處理。
第42圖係3D再生裝置4200之功能方塊圖。3D再生裝置4200包含:BD-ROM驅動器4201、再生部4202及控制部4203。再生部4202包含:切換器4220、第1讀緩衝器(以下簡稱為RB1)4221、第2讀緩衝器(以下簡稱為RB2)4222、預載緩衝器4223、系統目標解碼器4225、截面加算部4226及HDMI通訊部4227。控制部4203包含:動態情境記憶體4231、靜態情境記憶體4232、使用者事件處理部4233、程式執行部4234、再生控制部4235及播放器變數記憶部4236。再生部4202與控制部4203係安裝於互異的積體電路。此外,兩者亦可統合於單一的積體電路。尤其是動態情境記憶體4231、靜態情境記憶體4232、使用者事件處理部4233及程式執行部4234係與第37圖所示之2D再生裝置相同。因此,關於其等的詳細之說明係沿用關於上述2D再生裝置之說明。
再生控制部4235係於被程式執行部4234等命令3D播放串列再生處理時,從儲存於靜態情境記憶體4232之3D播放串列檔案,按次序讀出PI而設定作為現PI。再生控制部4235係每當設定現PI時,首先按照該STN表及該3D播放串列檔案內之STN表SS,設定系統目標解碼器4225及截面加算部4226之動作條件。具體而言,再生控制部4235係選擇解碼對象之基本串流之PID,將其與該基本串流解碼所必需的屬性資訊一同交付給系統目標解碼器4225。於所選擇的PID所示之基本串流中包含PG串流或IG串流時,再生控制部4235進而特定出被分派給其等串流資料之參考偏移ID3201及偏移修正值3202,設定於播放器變數記憶部4236內之SPRM(27)及SPRM(28)之各者。又,再生控制部4235係按照STN表SS所示之彈出期間之偏移3311,選擇各截面資料之顯示模式,並向系統目標解碼器4225及截面加算部4226指示。
接著,再生控制部4235係按照現PI,採第24(e)圖之說明所述之程序,向BD-ROM驅動器4201指示記錄有讀出對象之延伸區SS之磁區群之LBN的範圍。另,再生控制部4235係利用儲存於靜態情境記憶體4232之剪輯資訊檔案內之延伸區起點,生成表示各延伸區SS內之資料塊群之交界之資訊。該資訊表示例如從該延伸區SS開頭到各交界之來源封包數。再生控制部4235進一步將該資訊交付給切換器4220。
播放器變數記憶部4236係與2D再生裝置內之物3736相同,包含第38圖所示SPRM。但與第38圖不同,SPRM(24)包含第36圖所示之第1旗標,SPRM(25)包含第2旗標。該情況下,SPRM(24)為“0”時,再生裝置102僅可支援2D影像再生,其為“1”時,亦可支援3D影像再生。SPRM(25)為“0”時,再生裝置102為L/R模式,其為“1”時,則為深度模式。進而言之,SPRM(25)為“2”時,再生裝置102為2D再生模式。
播放器變數記憶部4236進一步與第38圖不同,SPRM(27)包含對於各圖形截面之參考偏移ID之儲存區域,SPRM(28)包含對於各圖形截面之偏移修正值之儲存區域。第43圖係表示SPRM(27)及SPRM(28)之資料構造之表。參考第43圖,SPRM(27)包含儲存4種參考偏移ID4210-4213之區域。其等參考偏移ID係對於PG截面之參考偏移ID(PG_ref_offset_id)4310、對於IG截面之參考偏移ID(IG_ref_offset_id)4311、對於副影像截面之參考偏移ID(SV_ref_offset_id)4312、及對於影像截面之參考偏移ID(IM_ref_offset_id)4313。SPRM(28)包含儲存4種偏移修正值4320-4323之區域。其等偏移修正值係對於PG截面之偏移修正值(PG_offset_adjustment)4320、對於IG截面之偏移修正值(IG_offset_adjustment)4321、對於副影像截面偏移修正值(SV_offset_adjustment)4322、及對於影像截面之偏移修正值(IM_offset_adjustment)4323。
BD-ROM驅動器4201包含與第37圖所示之2D再生裝置內之3701同樣的構成要素。BD-ROM驅動器4201係於從再生控制部4235指示LBN之範圍時,從該範圍所示之BD-ROM碟片101上之磁區群讀出資料。尤其是檔案SS之延伸區,亦即屬於延伸區SS之來源封包群係從BD-ROM驅動器4201傳輸至切換器4220。在此,各延伸區SS係如第19圖所示,包含1個以上之基礎視圖與相依視圖之資料塊之配對。其等資料塊須並行地傳輸至不同的讀緩衝器4221、4222。因此,BD-ROM驅動器4201被要求2D再生裝置內之BD-ROM驅動器3701以上之存取速度。
切換器4220係從BD-ROM驅動器4201接收延伸區SS。另,切換器4220係從再生控制部4235,接收表示該延伸區SS所含之各資料塊之交界的資訊,亦即從該延伸區SS開頭至各交界之來源封包數。切換器4220進一步利用該資訊,從各延伸區SS擷取基礎視圖資料塊並送出至RB14221,並擷取相依視圖延伸區並送出至RB24222。
RB14221及RB24222均是利用再生部4220內之記憶體元件之緩衝器記憶體。尤其是單一記憶體內之不同區域被利用作為RB14221、RB24222。此外,不同記憶體元件亦可個別利用作為RB14221、RB24222。RB14221係從切換器4220,接收基礎視圖資料塊而儲存。RB24222係從切換器4220,接收相依視圖資料塊而儲存。
系統目標解碼器4225係於3D播放串列再生處理中,首先從再生控制部4235,接收解碼對象之串流資料之PID及其解碼所必需的屬性資訊。系統目標解碼器4225係接著從儲存於RB14221之基礎視圖延伸區、與儲存於RB24222之相依視圖延伸區交替讀出來源封包。系統目標解碼器4225接下來從各來源封包,分離出接收自再生控制部4235之PID所示之基本串流並予以解碼。系統目標解碼器4225進而將解碼後之基本串流,依其種類別寫入於內建的截面記憶體。基礎視圖串流寫入於左影像截面記憶體,相依視圖視訊串流寫入於右影像截面記憶體。另,次要視訊串流寫入於副影像截面記憶體,IG串流寫入於IG截面記憶體,PG串流寫入於PG截面記憶體。在此,次要視訊串流由基礎視圖與相依視圖之串流資料的配對所組成時,對於左視圖及右視圖雙方之截面資料,個別地準備副影像截面記憶體。此外,系統目標解碼器4225係對於來自程式執行部4234之圖形資料,例如JPEG或PNG等網格資料進行轉列處理,並寫入於影像截面記憶體。
系統目標解碼器4225係使得來自左影像截面記憶體與右影像截面記憶體之截面資料之輸出模式,如下與B-D顯示模式與B-B顯示模式之某一模式相對應。從再生控制部4235指示B-D顯示模式時,系統目標解碼器4225係從左影像截面記憶體與右影像截面記憶體,交替輸出截面資料。另,從再生控制部4235指示B-B顯示模式時,系統目標解碼器4225係將動作模式維持在3D再生模式,僅從左影像截面記憶體與右影像截面記憶體之某一者,於每一訊框各輸出截面資料2次。
從再生控制部4235指示1截面+偏移模式時,系統目標解碼器4225係每當從相依視圖串流,讀出各視訊序列開頭之VAU時,從該VAU讀出偏移元資料1310。於該視訊序列之再生區間,系統目標解碼器4225首先特定出與各VAU一同儲存於相同的PES封包之PTS、及該VAU之壓縮圖片資料所表現的訊框之號碼。系統目標解碼器4225接著從偏移元資料,讀出被與該訊框號碼建立對應之偏移資訊,於所特定出的PTS所示之時刻送出至截面加算部4226。
截面加算部4226係從系統目標解碼器4225接收各種截面資料,將其等相互重疊而合成為1個訊框或圖場。尤其於L/R模式下,左影像截面資料係表現左視圖視訊截面,右影像截面資料係表現右視圖視訊截面。因此,截面加算部4226係於左影像截面資料,重疊表現左視圖之其他截面資料,於右影像截面資料,重疊表現右視圖之其他截面資料。另,於深度模式下,右影像截面資料係表現對於左影像截面資料所表現的視訊截面之深度圖。因此,截面加算部4226首先從雙方的影像截面資料,生成左視圖與右視圖之視訊截面資料之配對。其後,截面加算部4226係與L/R模式下之合成處理同樣地進行合成處理。
從再生控制部4235指示1截面+偏移模式或1截面+零偏移模式,作為副影像截面、PG截面、IG截面或影像截面之顯示模式時,截面加算部4226係對於接收自系統目標解碼器4225之截面資料進行偏移處理。藉其,從各截面資料生成左視圖與右視圖之截面資料之配對。
尤其於指示1截面+偏移模式時,截面加算部4226首先從播放器變數記憶部4236內之SPRM(27),讀出對於各圖形截面之參考偏移ID4310-4313。截面加算部4226接著參考接收自系統目標解碼器4225之偏移資訊,搜尋各參考偏移ID4310-4313所示之屬於偏移序列1113之偏移資訊,亦即偏移方向1122與偏移值1123之配對。截面加算部4226接下來從播放器變數記憶部4236內之SPRM(28),讀出對於各圖形截面之偏移修正值4320-4323並加在相對應之偏移值。其後,截面加算部4226利用各偏移值,對於相對應之圖形截面進行偏移控制。
另,於指示1截面+零偏移模式時,截面加算部4226不參考SPRM(27)、SPRM(28)之任一者,將對於各圖形截面之偏移值設為“0”而進行偏移控制。因此,相同截面資料係作為表現左視圖與右視圖之各者之圖形截面而重複,並合成於其他截面資料。
HDMI通訊部4227係以HDMI纜線122而連接於顯示裝置103,透過HDMI纜線122而與顯示裝置103之間交換CEC訊息。藉其,HDMI通訊部4227係對於顯示裝置103進行HDMI認證,向顯示裝置103詢問是否可支援3D影像再生。
《3D播放串列再生處理》
第44圖係表示由再生控制部4235所進行的3D播放串列再生處理之流程圖。3D播放串列再生處理係藉由再生控制部4235從靜態情境記憶體4232讀出3D播放串列檔案而開始。
於步驟S4401,再生控制部4235首先從3D播放串列檔案內之主路徑,讀出1個PI,並設定作為現PI。再生控制部4235接著從該現PI之STN表,選擇再生對象之基本串流之PID,且特定出其等之解碼所必需的屬性資訊。再生控制部4235進一步從3D播放串列檔案內之STN表SS中對應於現PI者,選擇應作為再生對象之基本串流而追加者之PID,且特定出其等之解碼所必需的屬性資訊。所選擇的PID及屬性資訊係向系統目標解碼器4225指示。此外,再生控制部4235係從3D播放串列檔案內之子路徑,特定出應與現PI同時參考之SUB_PI而設定作為現SUB_PI。其後,處理前進至步驟S4402。
於步驟S4402,再生控制部4235係依照STN表SS所示之彈出期間之偏移,選擇各截面資料之顯示模式,並向系統目標解碼器4225及截面加算部4226指示。尤其於彈出期間之偏移值為“0”時,選擇B-D顯示模式作為視訊截面之顯示模式,並選擇1截面+偏移模式作為圖形截面之顯示模式。另,於彈出期間之偏移值為“1”時,選擇B-B顯示模式作為視訊截面之顯示模式,並選擇1截面+零偏移模式作為圖形截面之顯示模式。其後,處理前進至步驟S4403。
於步驟S4403,檢查作為圖形截面之顯示模式選擇1截面+偏移模式及1截面+零偏移模式之何者。選擇1截面+偏移模式時,處理前進至步驟S4404。另,選擇1截面+零偏移模式時,處理前進至步驟S4405。
於步驟S4404,再生控制部4235參考現PI之STN表,從所選擇的PID所示之基本串流中,檢測PG串流或IG串流。再生控制部4235進一步特定出分派給其等串流資料之參考偏移ID及偏移修正值,設定於播放器變數記憶部4236內之SPRM(27)及SPRM(28)之各者。其後,處理前進至步驟S4405。
於步驟S4405,再生控制部4235係從現PI及SUB_PI之各者,讀出參考剪輯資訊、表示再生開始時刻IN1之PTS#1及表示再生結束時刻OUT1之PTS#2。從該參考剪輯資訊,特定出對應於再生對象之檔案2D及檔案DEP之各者之剪輯資訊檔案。其後,處理前進至步驟S4406。
於步驟S4406,再生控制部4235參考步驟S4405所特定出的剪輯資訊檔案之各分錄圖,搜尋對應於PTS#1、#2之檔案2D內之SPN#1、#2及檔案DEP內之SPN#11、#12。如利用第24圖所說明,再生控制部4235進一步利用各剪輯資訊檔案之延伸區起點,從SPN#1、#11算出從檔案SS開頭到再生開始位置之來源封包數SPN#21,從SPN#2、#12算出從檔案SS開頭到再生結束位置之來源封包數SPN#22。具體而言,再生控制部4235首先從2D剪輯資訊檔案之延伸區起點所示之SPN中,搜尋SPN#1以下之最大者“Am”,從相依視圖剪輯資訊檔案之延伸區起點所示之SPN中,搜尋SPN#11以下之最大者“Bm”。再生控制部4235接下來求出所搜尋到的SPN之和Am+Bm,並決定作為SPN#21。再生控制部4235接著從2D剪輯資訊檔案之延伸區起點所示之SPN中,搜尋大於SPN#2且最小者“An”,從相依視圖剪輯資訊檔案之延伸區起點所示之SPN中,搜尋大於SPN#12且最小者“Bn”。再生控制部4235接下來求出所搜尋到的SPN之和An+Bn,並決定作為SPN#22。其後,處理前進至步驟S4407。
於步驟S4407,再生控制部4235將步驟S4406所決定的SPN#21、#22轉換為磁區數之配對N1、N2。具體而言,再生控制部4235首先求出SPN#21與來源封包每1個之資料量192位元組之積。再生控制部4235接著求出以每1磁區之資料量2048位元組除以該積之商SPN#21×192/2048。該商等於檔案SS開頭到再生開始位置前之磁區數N1。同樣地,再生控制部4235從SPN#22求出商SPN#22×192/2048。該商等於檔案SS開頭到再生結束位置前之磁區數N2。其後,處理前進至步驟S4408。
於步驟S4408,再生控制部4235係從步驟S4407所獲得的磁區數N1、N2之各者,特定出再生對象之延伸區SS群之前端及後端之LBN。具體而言,再生控制部4235係參考再生對象之檔案SS之檔案分錄,特定出從記錄有延伸區SS群之磁區群開頭算起之第(N1+1)個磁區之LBN=LBN#1、及第(N2+1)個磁區之LBN=LBN#2。再生控制部4235進一步向BD-ROM驅動器4201,指定LBN#1到LBN#2之範圍。其結果,從指定範圍之磁區群,以對準單元為單位讀出屬於延伸區SS群之來源封包群。其後,處理前進至步驟S4409。
於步驟S4409,再生控制部4235再度利用步驟S4406所利用的剪輯資訊檔案之延伸區起點,生成表示延伸區SS群所含相依視圖資料塊與基礎視圖資料塊之間之交界(以下稱為資料塊交界資訊),並送出至切換器4220。作為具體例係設想表示再生開始位置之SPN#21等於各延伸區起點所示之SPN之和An+Bn,表示再生結束位置之SPN#22等於各延伸區起點所示之SPN之和Am+Bm。屆時,再生控制部4235係從各延伸區起點,求出SPN之差串A(n+1)-An、B(n+1)-Bn、A(n+2)-A(n+1)、B(n+2)-B(n+1)、…、Am-A(m-1)、Bm-B(m-1),並作為資料塊交界資訊而送出至切換器4220。如第24(e)圖所示,該串係表示延伸區SS所含之各資料塊之來源封包數。切換器4220係從0開始,將接收自BD-ROM驅動器4201之延伸區SS之來源封包數予以計數,每當該計數與資料塊交界資訊所示之SPN之差一致時,於RB14221與RB24222之間切換來源封包之送出去處,且將計數重設為0。其結果,從延伸區SS開頭算起第{B(n+1)-Bn}個來源封包係作為最初之相依視圖延伸區,送出至RB24222,後續的第{A(n+1)-An}個來源封包係作為最初之基礎視圖延伸區,送出至RB14221。以後亦同樣每當由切換器4220所接收的來源封包數與資料塊交界資訊所示之SPN之差一致時,從延伸區SS交替擷取相依視圖資料塊與基礎視圖資料塊。
於步驟S4410,再生控制部4235檢查在主路徑是否殘留有未處理之PI。有殘留時,從步驟S4401重複處理。未有殘留時,結束處理。
《系統目標解碼器》
作為於系統目標解碼器4225安裝從相依視圖視訊串流擷取偏移元資料之功能之具體機構,可設想如下兩種。於第1機構,TS優先度濾波器及偏移元資料處理部係作為與主影像解碼器獨立之模組而安裝於系統目標解碼器4225。TS優先度濾波器按照TS優先度旗標之值,篩選包含偏移元資料之TS封包、及包含相依視圖圖片之TS封包。偏移元資料處理部係從包含偏移元資料之TS封包擷取偏移資訊。於第2機構,包含相依視圖視訊串流之TS封包係無論TS優先度旗標之值為何,均送至系統目標解碼器4225內之主影像解碼器。主影像解碼器係與相依視圖視訊串流之解碼處理並行,從相依視圖視訊串流擷取偏移資訊。
(第1機構)
第45圖係表示依據第1機構之系統目標解碼器4225之功能方塊圖。第45圖所示之構成要素與第40圖所示之2D再生裝置之3724不同點如下:(A)從讀緩衝器對各解碼器之輸入系統被雙重化;及(B)設置有TS優先度濾波器及偏移元資料處理部。另,主影像解碼器、副聲音解碼器、聲音混合器、影像處理器及各截面記憶體係與第40圖所示之2D再生裝置相同。因此,以下僅說明第45圖所示之構成要素中,與第40圖所示不同的構成要素。另,關於相同構成要素之詳細說明係沿用第40圖之說明。進而言之,由於各影像解碼器均具有相同構造,因此以下說明關於主影像解碼器4515的構造。同樣的說明就其他影像解碼器之構造亦成立。
第1來源解封包處理器4511係從RB14221讀出來源封包,進一步從其中取出TS封包並送出至第1PID濾波器4513。第2來源解封包處理器4512係從RB24222讀出來源封包,進一步從其中取出TS封包並送出至第2PID濾波器4514。各來源解封包處理器4511、4512係進一步令各TS封包之送出時刻配合各來源封包之ATS所示之時刻。其同步方法係與第40圖所示之來源解封包處理器4010所進行的方法相同,因此關於其詳細之說明係沿用關於第40圖之說明。藉由該類送出時刻的調節,從第1來源解封包處理器4511對第1PID濾波器4513之TS封包之平均傳輸速度,不會超過2D剪輯資訊檔案所示之系統率RTS1
。同樣地,從第2來源解封包處理器4512對第2PID濾波器4514之TS封包之平均傳輸速度,不會超過表示相依視圖剪輯資訊檔案所示之系統率RTS2
。
第1PID濾波器4513係每當從第1來源解封包處理器4511接收TS封包時,即比較該PID與選擇對象之PID。該選擇對象之PID係由再生控制部4235,預先按照3D播放串列檔案內之STN而指示。雙方之PID一致時,第1PID濾波器4513係將該TS封包,傳輸至被分配給該PID之解碼器。例如PID為0×1011時,該TS封包傳輸至主影像解碼器4515內之TB14501。此外,PID屬於0×1B00-0×1B1F、0×1100-0×111F、0×1A00-0×1A1F、0×1200-1×121F及0×1400-0×141F之各範圍時,相對應之TS封包分別被傳輸至副影像解碼器、主聲音解碼器、副聲音解碼器、PG解碼器及IG解碼器。
第2PID濾波器4514係每當從第2來源解封包處理器4512接收TS封包時,即比較該PID與選擇對象之PID。該選擇對象之PID係由再生控制部4235,預先按照3D播放串列檔案內之STN表SS而指示。具體而言,雙方之PID一致時,第2PID濾波器4514係將該TS封包,傳輸至被分配給該PID之解碼器。例如PID為0×1012或0×1013時,該TS封包傳輸至主影像解碼器4515。此外,PID屬於0×1B20-0×1B3F、0×1220-0×127F及0×1420-0×147F之各範圍時,相對應之TS封包分別被傳輸至副影像解碼器、PG解碼器及IG解碼器。
TS優先度濾波器4551係從第2PID濾波器4514接收TS封包,從各者之TS標頭501H讀出TS優先度511。在此,PID=0×1012或0×1013之TS封包從第2PID濾波器4514傳輸至TS優先度濾波器4551。亦即,其等TS封包儲存相依視圖視訊串流。
第15圖所示之TS封包串1520中,於第1群組1521及第3群組1523,TS優先度為“0”,於第2群組,TS優先度為“1”。TS優先度濾波器4551係從該TS封包串1520中,將TS優先度=0之TS封包傳輸至主影像解碼器4515內之TB24508,將TS優先度=1之TS封包傳輸至偏移元資料處理部4552。如第15圖所示,TS優先度=1之TS封包屬於第2群組1522,因此其TS酬載區僅包含只由偏移元資料1509所構成的補充資料1504。因此,相依視圖視訊串流內之VAU#1中,僅由偏移元資料1509所構成的補充資料被傳輸至偏移元資料處理部4552,剩餘亦包含其他補充資料,被傳輸至主影像解碼器4515。
第16圖所示之TS封包串1620中,於第1群組1621及第2群組1622,TS優先度為“1”,於第3群組,TS優先度為“0”。TS優先度濾波器4551係從該TS封包串1620中,將TS優先度=0之TS封包傳輸至主影像解碼器4515內之TB24508,將TS優先度=1之TS封包傳輸至TB24508及偏移元資料處理部4552雙方。因此,相依視圖視訊串流內之VAU#1被傳輸至偏移元資料處理部4552,另一方面,從子AU識別碼到補充資料亦被傳輸至偏移元資料處理部4552。
主影像解碼器4515包含:TB14501、MB14502、EB14503、TB24508、MB24509、EB24510、緩衝器切換器4506、DEC4504、DPB4505及圖片切換器4507。TB14501、MB14502、EB14503、TB24508、MB24509、EB24510及DPB4505均為緩衝器記憶體。各緩衝器記憶體分別利用內建於主影像解碼器4515之記憶體元件之一區域。此外,其等緩衝器記憶體之任一者或全部分離於不同記憶體元件亦可。
TB14501係從第1PID濾波器4513,接收包含基礎視圖視訊串流之TS封包並原樣累積。MB14502係累積從累積於TB14501之TS封包所復原的PES封包。屆時,從各TS封包去除TS標頭。EB14503係從累積於MB14502之PES封包,擷取已編碼之VAU並儲存。屆時,從各PES封包去除PES標頭。
TB24508係從TS優先度濾波器4551,接收包含相依視圖視訊串流之TS封包並原樣累積。MB24509係從累積於TB24508之TS封包,復原PES封包並累積。屆時,從各TS封包去除TS標頭。EB24510係從累積於MB24509之PES封包,擷取已編碼之VAU並儲存。屆時,從各PES封包去除PES標頭。
緩衝器切換器4506係因應來自DEC4504之要求,傳輸分別累積於EB14503及EB24510之VAU之標頭。緩衝器切換器4506進一步於原本的PES封包所含之DTS所示之時刻,將該VAU之壓縮圖片資料傳輸至DEC4504。在此,於基礎視圖視訊串流與相依視圖視訊串流之間,屬於相同之3D‧VAU之1對圖片之DTS相等。因此,緩衝器切換器4506係將DTS相等之1對VAU中之累積於EB(1)4503之一方先傳輸至DEC4504。此外,緩衝器切換器4506亦可對DEC4504,回送該VAU內之解碼切換器資訊1750。該情況下,緩衝器切換器4506可使用該解碼切換器資訊1750,決定下一VAU應從EB14503與EB24510之何者傳輸。
與第40圖所示之DEC4004相同,DEC4504係專為壓縮圖片之解碼處理之硬體解碼器,尤其以具備該解碼處理之加速器功能之LSI所構成。DEC4504係依次解碼傳輸自緩衝器切換器4506之壓縮圖片資料。於該解碼處理中,DEC4504預先解析該VAU之標頭,特定出儲存於該VAU內之壓縮圖片之壓縮編碼方式及串流屬性,按照其等來選擇解碼方法。在此,該壓縮編碼方式包含例如MPEG-2、MPEG-4 AVC及VC1。DEC4504進一步將解碼後之非壓縮圖片傳輸至DPB4505。
DPB4505暫時保持由DEC4504所解碼的非壓縮圖片。DEC4504解碼P圖片及B圖片時,DPB4505係因應來自DEC4504之要求,從所保持的非壓縮圖片中,搜尋參考圖片並提供給DEC4504。
圖片切換器4507係從DPB4505,於原本的TS封包所含之PTS所示之時刻,將非壓縮的各圖片寫入於左影像截面記憶體4520與右影像截面記憶體4521之某一者。在此,PTS係於屬於相同於的3D‧VAU之基礎視圖視訊串流與相依視圖視訊串流相等。因此,圖片切換器4507係將DPB4505所保持的PTS相等之1對圖片中之基礎視圖圖片先寫入於左影像截面記憶體4520,接下來將相依視圖圖片寫入於右影像截面記憶體4521。
偏移元資料處理部4552係與主影像解碼器4515安裝於相同晶片上,但作為不同於主影像解碼器4515之別的模組而構成。此外,偏移元資料處理部4552亦可不同於主影像解碼器4515而安裝於別的晶片上。進而言之,偏移元資料處理部4552作為專用硬體而構成,或藉由以軟體控制汎用硬體而實現均可。偏移元資料處理部4552解析從TS優先度濾波器4551傳輸之TS封包群,從儲存於其等之TS酬載區之補充資料讀出偏移元資料。
於第15圖所示之TS封包串1520,與VAU#1一同屬於相同PES封包之PES標頭,係儲存於傳輸至主影像解碼器4515之TS封包群。因此,偏移元資料處理部4552係從偏移元資料讀取VAU#1所表現之訊框之PTS。另,於第16圖所示之TS封包串1620,該PES標頭亦儲存於傳輸至偏移元資料處理部4552之TS封包群。因此,偏移元資料處理部4552係從該PES標頭及偏移元資料之任一者,讀取VAU#1所表現之訊框之PTS。
偏移元資料處理部4552係從該PTS所示之時刻開始,以訊框為週期,將訊框號碼從0逐一遞增1。偏移元資料處理部4552進一步與該遞增同步,從偏移元資料搜尋被與各訊框號碼建立對應之偏移資訊,並送出至截面加算部4226。在此,由於TS優先度濾波器4551,壓縮圖片資料均未從第15、16圖之任一圖所示之TS封包串1520、1620傳輸至偏移元資料處理部4552。偏移元資料處理部4552可不受壓縮圖片妨礙而確實管理偏移資訊。
(第2機構)
第46圖係表示依據第2機構之系統目標解碼器4225所含之視訊串流之處理系統之功能方塊圖。第46圖所示之系統目標解碼器4225係主影像解碼器4615內之DEC4604之功能與第45圖所示者不同。於第46圖,對與第45圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第45圖所示之要素之說明。
與第45圖所示之DEC4504相同,DEC4604係專為壓縮圖片之解碼處理之硬體解碼器,尤其以具備該解碼處理之加速器功能之LSI所構成。DEC4604係依次解碼傳輸自緩衝器切換器4506之壓縮圖片資料,將解碼後之非壓縮圖片傳輸至DPB4505。DEC4404係進一步每當從相依視圖視訊串流讀出各視訊序列開頭之VAU時,從該VAU讀出偏移元資料。於該視訊序列之再生區間,DEC4604首先特定出與各VAU一同儲存於相同的PES封包之PTS、及該VAU之壓縮圖片資料所表現的訊框之號碼。DEC4604接著從偏移元資料,讀出被與該訊框號碼建立對應之偏移資訊,於所特定出的PTS所示之時刻送出至截面加算部4226。
《截面加算部》
第47圖係表示截面加算部4226之功能方塊圖。參考第47圖,截面加算部4226包含:視差影像生成部4710、切換器4720、4個修剪處理部4731-4734及4個加算部4741-4744。
視差影像生成部4710係從系統目標解碼器4725,接收左影像截面資料4701與右影像截面資料4702。於L/R模式之再生裝置102,左影像截面資料4701表現左視圖視訊截面,右影像截面資料4702表現右視圖視訊截面。屆時,視差影像生成部4710係原樣將各視訊截面資料4701、4702送出至切換器4720。另,於深度模式之再生裝置102,左影像截面資料4701係表現2D影像之視訊截面,右影像截面資料4702係表現對於該2D影像之深度圖。屆時,視差影像生成部4710首先從該深度圖,計算該2D影像各部之兩眼視差。視差影像生成部4710係接著加工左影像截面資料4701,令視訊截面之該2D影像各部之顯示位置,因應所計算的兩眼視差而左右移動。藉其生成表現左視圖及右視圖之視訊截面之配對。視差影像生成部4710係進一步將該視訊截面之配對,作為左影像及右影像之截面資料之配對而送出至切換器4720。
切換器4720係於從再生控制部4235指示B-D顯示模式時,將PTS相等的左影像截面資料4701與右影像截面資料4702,以此順序送出至第1加算部4741。切換器4720係於從再生控制部4235指示B-B顯示模式時,將PTS相等的左影像截面資料4701與右影像截面資料4702之一方,於每訊框各送出2次至第1加算部4741,並將另一方捨棄。
第1修剪處理部4731係於輸入部,包含與視差影像生成部4710及切換器4720之配對同樣的構成。於副影像截面資料為左視圖與右視圖之配對時利用其等構成。尤其於深度模式之再生裝置102,副影像截面資料之配對係由第1修剪處理部4731內之視差影像生成部,轉換為左視圖與右視圖之截面資料之配對。從再生控制部4235指示B-D顯示模式時,將左視圖與右視圖之截面資料交替送出至第1加算部4741。另,於從再生控制部4235指示B-B顯示模式時,左視圖及右視圖之截面資料之一方係於每1訊框各送出2次至第1加算部4241,並將另一方捨棄。
從再生控制部4235指示1截面+偏移模式時,第1修剪處理部4731係對於副影像截面資料4703,如下進行偏移控制。第1修剪處理部4731首先從系統目標解碼器4225接收偏移資訊4707。屆時,第1修剪處理部4731係從播放器變數記憶部4236內之SPRM(27)4751,讀出對於副影像截面之參考偏移ID(SV_ref_offset_id)4312。第1修剪處理部4731接著從收取自系統目標解碼器4225之偏移資訊4707,搜尋屬於該參考偏移ID4312所示之偏移序列之偏移資訊。第1修剪處理部4731接下來從播放器變數記憶部4236內之SPRM(28)4752,讀出對於副影像截面偏移修正值(SV_offset_adjustment)4322並加在所搜尋到的偏移值。第1修剪處理部4731其後係利用該偏移值,對於副影像截面資料4703進行偏移控制。其結果,副影像截面資料4703係轉換為表現左視圖及右視圖之1對副影像截面資料而交替送出。
在此,SPRM(27)4751及SPRM(28)4752之各值一般係每當切換現PI時,由再生控制部4235予以更新。此外,程式執行部4234係按照電影物件或BD-J物件來設定SPRM(27)4751及SPRM(28)4752之各值亦可。
另,從再生控制部4235指示1截面+零偏移模式時,第1修剪處理部4731不進行偏移控制,直接將副影像截面資料4730重複送出2次。
同樣地,第2修剪處理部4732係利用對於PG截面之參考偏移ID(PG_ref_offset_id)4310及偏移修正值(PG_offset_adjustment)4320,來對於PG截面資料4704進行偏移控制。第3修剪處理部4733係利用對於IG截面之參考偏移ID(IG_ref_offset_id)4311及偏移修正值(IG_offset_adjustment)4321,來對於IG截面資料475進行偏移控制。第4修剪處理部4734係利用對於影像截面之參考偏移ID(IM_ref_offset_id)4313及偏移修正值(IM_offset_adjustment)4323,來對於影像截面資料4706進行偏移控制。
[偏移控制之流程圖]
第48圖係表示由各修剪處理部4731_4734所進行的偏移控制之流程圖。各修剪處理部4731-4734係於從系統目標解碼器4225接收到偏移資訊4707時,開始偏移控制。以下舉出第2修剪處理部4732對於PG截面資料4704進行偏移控制的情況為例。其他修剪處理部4731、4733、4734分別對於副影像截面資料4703、IG截面資料4705及影像截面資料4706進行同樣的處理。
於步驟S4801,第2修剪處理部4732首先從系統目標解碼器4225接收PG截面資料4704。屆時,第2修剪處理部4732係從SPRM(27)4751,讀出對於PG截面之參考偏移ID(PG_ref_offset_id)4310。第2修剪處理部4731接著從收取自系統目標解碼器4225之偏移資訊4707,搜尋屬於該參考偏移ID所示之偏移序列之偏移資訊。其後,處理前進至步驟S4802。
於步驟S4802,第2修剪處理部4732接下來從SPRM(28)4752,讀出對於PG截面之偏移修正值(PG_offset_adjustment)4320,並加在步驟S4801所搜尋到的偏移值。其後,處理前進至步驟S4803。
於步驟S4803,第2修剪處理部4732檢查由切換器4720所選擇的視訊截面資料是否表現左視圖。視訊截面表現左視圖時,處理前進至步驟S4804。視訊截面表現右視圖時,處理前進至步驟S4807。
於步驟S4804,第2修剪處理部4732檢查所搜尋到的偏移方向之值。以下設想如下情況:偏移方向之值為“0”時,3D圖形影像之景深較畫面位於面前,偏移方向之值為“1”時則位於深處。該情況下,偏移方向之值為“0”時,處理前進至步驟S4805。偏移方向之值為“1”時,處理前進至步驟S4806。
於步驟S4805,第2修剪處理部4732係對PG截面資料4704給予向右的偏移。亦即,令PG截面資料4704所含之各像素資料之位置,僅以偏移值往右移動。其後,處理前進至步驟S4810。
於步驟S4806,第2修剪處理部4732係對PG截面資料4704給予向左的偏移。亦即,令PG截面資料4704所含之各像素資料之位置,僅以偏移值往左移動。其後,處理前進至步驟S4810。
於步驟S4807,第2修剪處理部4732檢查所搜尋到的偏移方向之值。偏移方向之值為“0”時,處理前進至步驟S4808。偏移方向之值為“1”時,處理前進至步驟S4809。
於步驟S4808係與步驟S4805相反,第2修剪處理部4732係對PG截面資料4704給予向左的偏移。亦即,令PG截面資料4704所含之各像素資料之位置,僅以偏移值往左移動。其後,處理前進至步驟S4810。
於步驟S4809係與步驟S4806相反,第2修剪處理部4732係對PG截面資料4704給予向右的偏移。亦即,令PG截面資料4704所含之各像素資料之位置,僅以偏移值往右移動。其後,處理前進至步驟S4810。
於步驟4810,第2修剪處理部4732係將處理後之PG截面資料4704送出至第3修剪處理部4734。其後,處理結束。
[偏移控制所造成的截面資料之變化]
第49(b)圖係表示藉由第2修剪處理部4732所進行的偏移控制而加工之PG截面資料GP之模式圖。參考第49(b)圖,PG截面資料GP包含表現字幕“I Love you”之像素資料群,亦即包含字幕資料STL。該字幕資料STL位於從PG截面資料GP左端之距離D0。
第49(a)圖係表示被給予向右偏移之PG截面資料RGP之模式圖。參考第49(a)圖,第2修剪處理部4732對PG截面資料GP給予向右的偏移時,使得PG截面資料GP內之各像素資料之位置從原本的位置,向右僅移動等於偏移值之像素數OFS。具體而言,第2修剪處理部4732首先藉由修剪處理,從PG截面資料GP之右端,去除等於偏移值之寬度OFS之帶狀區域AR1所含之像素資料。第2修剪處理部4732接著於PG截面資料GP之左端,附加像素資料,構成寬度OFS之帶狀區域AL1。在此,該區域AL1所含之像素資料設定為透明。如此,獲得被給予向右的偏移之PG截面資料RGP。實際上,字幕資料STL位於從該PG截面資料RGP左端之距離DR,該距離DR等於對原本的距離D0加上偏移值OFS之值:DR=D0+OFS。
第49(c)圖係表示被給予向左偏移之PG截面資料LGP之模式圖。參考第49(c)圖,第2修剪處理部4732對PG截面資料GP給予向左的偏移時,使得PG截面資料GP內之各像素資料之位置從原本的位置,向左僅移動等於偏移值之像素數OFS。具體而言,第2修剪處理部4732首先藉由修剪處理,從PG截面資料GP之左端,去除等於偏移值之寬度OFS之帶狀區域AL2所含之像素資料。第2修剪處理部4732接著於PG截面資料GP之右端,附加像素資料,構成寬度OFS之帶狀區域AR2。在此,該區域AR2所含之像素資料設定為透明。如此,獲得被給予向左的偏移之PG截面資料LGP。實際上,字幕資料STL位於從該PG截面資料LGP左端之距離DL,該距離DL等於從原本的距離D0去除偏移值OFS之值:DL=D0-OFS。
再度參考第47圖,第1加算部4741首先從切換器4720接收視訊截面資料,從第1修剪處理部4731接收副影像截面資料。屆時,第1加算部4741重疊其等視訊截面資料與副影像截面資料之每1組,並交付給第2加算部4742。第2加算部4742係從第2修剪處理部4732接收PG截面資料,重疊於來自第1加算部4741之截面資料,並交付給第3加算部4743。第3加算部4743係從第3修剪處理部4733接收IG截面資料,重疊於來自第2加算部4742之截面資料,並交付給第4加算部4744。第4加算部4744係從第4修剪處理部4734接收影像截面資料,重疊於來自第3加算部4743之截面資料,並送出至顯示裝置103。在此,各加算部4741-4744係於重疊截面資料時利用α合成。如此,以第47圖中以箭頭4700所示之順序,分別於左影像截面資料4701及右影像截面資料4702,重疊副影像截面資料4703、PG截面資料4704、IG截面資料4705及影像截面資料4706。其結果,於各截面資料所示之影像係於顯示裝置103的畫面上,依左影像截面或右影像截面、副影像截面、IG截面、PG截面及影像截面的順序重疊而顯示。
截面加算部4724係除了上述處理以外,還配合顯示裝置103等該資料之輸出去處的裝置所進行的3D影像顯示方式,轉換由4個加算部4741-4744所合成的截面資料之輸出形式。例如輸出去處的裝置利用經時分離方式時,截面加算部4724係將合成後之截面資料,作為1個影像訊框或圖場而送出。另,輸出去處的裝置利用準直透鏡時,截面加算部4724係利用內建的緩衝器記憶體,將左視圖與右視圖之截面資料之配對,合成為1個影像訊框或圖場而送出。具體而言,截面加算部4724係於該緩衝器記憶體,暫且儲存保持先前所合成的左視圖截面資料。截面加算部4724接下來合成右視圖截面資料,並與保持於緩衝器記憶體之左視圖截面資料進一步合成。於該合成中,左視圖與右視圖之各截面資料被分隔為縱向細長的長條形小區域,各小區域在1個訊框或圖場中,於橫向交替排列,再構成為1個訊框或圖場。如此,左視圖與右視圖之截面資料之配對合成為1個影像訊框或圖場。截面加算部4724係將該合成後之影像訊框或圖場,送出至輸出去處的裝置。
<實施形態1之效果>
於依據本發明之實施形態1之BD-ROM碟片101,對於儲存有構成相依視圖視訊串流之各視訊序列開頭之VAU之TS封包串,如第15、16圖所示而分派TS優先度。尤其於儲存偏移元資料之TS封包群與儲存壓縮圖片資料之TS封包群,TS優先度之值不同。該情況下,於系統目標解碼器4225,藉由第45圖所示之第1機構與第46圖所示之第2機構之任一機構,來實現偏移元資料之擷取功能亦可。依據第1機構之系統目標解碼器4225可利用TS優先度,從其他TS封包容易地篩選儲存偏移元資料之TS封包。因此,主影像解碼器4515與偏移元資料處理部4552能夠以不同態樣來實現。尤其即便主影像解碼器4515以硬體構成,偏移元資料處理部4552無關於其而作為專用硬體而構成,亦仍可利用汎用硬體並藉由軟體來實現。另,於依據第2機構之系統目標解碼器4225,主影像解碼器4615可並行實現相依視圖視訊串流之解碼功能與偏移元資料之擷取功能雙方。因此,無論TS優先度為何,包含相依視圖視訊串流之TS封包全部均交付給主影像解碼器4615即可。如此,記錄於依據本發明之實施形態1之BD-ROM碟片101之相依視圖視訊串流及偏移元資料之資料構造,係系統目標解碼器4225為依據第1機構及第2機構之任一機構之構成,均可共通地利用。
<變形例>
(1-A)視訊串流
於依據本發明之實施形態1之L/R模式下,基礎視圖視訊串流表現左視圖,相依視圖視訊串流表現右視圖。相反地,基礎視圖視訊串流表現右視圖,相依視圖視訊串流表現左視圖亦可。
於依據本發明之實施形態1之BD-ROM碟片101,基礎視圖視訊串流與相依視圖視訊串流受到多工至不同的TS。此外,基礎視圖視訊串流與相依視圖視訊串流亦可多工至1個TS。
(1-B)偏移元資料
(1-B-1)偏移元資料亦可儲存於基礎視圖視訊串流,以取代儲存於相依視圖視訊串流。該情況下,偏移元資料宜儲存於位於各視訊序列開頭之VAU之補充資料。進而言之,3D播放串列檔案亦可具備表示基礎視圖視訊串流與相依視圖視訊串流之何者,包含偏移元資料之旗標。藉其,可提升各串流資料之製作自由度。又,對於該旗標,亦可規定作「於藉由CC=5、6而無縫連接之PI間禁止變更」。
(1-B-2)偏移元資料不僅儲存於各視訊序列(亦即各GOP),亦可儲存於各VAU(亦即各訊框或圖場)。此外,依各內容,偏移元資料之間隔設定為任意值,例如設定為3訊框以上亦可。該情況下,宜於各視訊序列開頭之VAU,務必儲存偏移元資料,且與緊鄰於其前之偏移元資料之間隔限制為3訊框以上。藉其,可令再生裝置將偏移資訊之變更處理,確實與跳入再生處理確實地並行。
(1-B-3)偏移元資料亦可作為獨立的串流資料,多工至主TS或子TS,以取代儲存於視訊串流。該情況下,對偏移元資料分派固有的PID。系統目標解碼器利用該PID,將偏移元資料從其他串流資料分離。此外,偏移元資料係首先預載到專用緩衝器,其後接受再生處理亦可。該情況下,關於偏移元資料,由於不需要PTS,因此刪減PES標頭之資料量。其結果,可節省預載用緩衝器之容量。
(1-B-4)偏移元資料亦可利用視訊浮水印而嵌入於視訊串流,以取代儲存於VAU之補充資料。進而言之,偏移元資料亦可利用音訊浮水印而嵌入於音訊串流。
(1-B-5)於依據本發明之實施形態1之子TS,如第15圖所示,位於第1群組1521與第2群組1522之各後端之TS封包1530、1550一般包含AD欄位1532、1522。藉其,3個群組1521-1523互被分離。此外,於相依視圖視訊串流內之VAU#11500,藉由調整填充資料1506之尺寸,以互為分離3個群組1521-1523亦可。
(1-B-6)包含偏移元資料之TS封包亦可由系統目標解碼器,按照PID以取代按照TS優先度來篩選。第50圖係表示儲存有相依視圖視訊串流內之VAU#15000之PES封包5010、及從該PES封包5010生成之TS封包串5020之模式圖。由於VAU#15000位於視訊序列前端,因此包含僅由偏移元資料50009所構成的補充資料5004。PES封包5010之PES酬載區5012儲存VAU#15000,該PES標頭5011包含分派給VAU#15000內之壓縮圖片資料5005之DTS及PTS。PES封包5010係從開頭依序儲存於TS封包串5020。藉其,TS封包串5020係從開頭依序分為3個群組5021、5022、5023。第1群組5021包含:PES標頭5011、子AU識別碼5001、子序列標頭5002及圖片標頭5003。第2群組5022包含僅由偏移元資料5009所構成的補充資料5004。第3群組5013包含:壓縮圖片資料5005、填充資料5006、序列終端碼5007及串列終端碼5008。於第50圖,以斜線部表示僅由偏移元資料5009所構成的補充資料5004,以附黑點之區域表示於PES封包5010內,較該補充資料配置於前之資料5011、5001-5003。與第15圖所示之TS封包串1520相同,位於第1群組5021及第2群組5022之各後端之TS封包5030、5050一般包含AD欄位5032、5052。藉其,3個群組5021-5032互為分離。於屬於第1群組5021及第3群組5023之各群組之TS封包5030、5060,任一TS標頭5031、5061均表示PID=0×1012。在此,於屬於第1群組5021之TS封包5030,TS標頭5031亦可表示PID=0×1022。另,於屬於第2群組5022之TS封包5040、5050,TS標頭5041、5051表示PID=0×1022。16進位值「0×1022」若是分派給其他基本串流之16進位值以外,則其為別的值亦可。如此,屬於第2群組5022之TS封包係其PID尤其與屬於第3群組5023之TS封包不同。因此,系統目標解碼器可利用PID,容易篩選屬於第2群組之TS封包。
系統目標解碼器係從第50圖所示之TS封包串5020,如以下擷取偏移元資料。第51圖係表示系統目標解碼器5125內之視訊串流之處理系統之功能方塊圖。第51圖所示之系統目標解碼器5125係與第45圖所示之4225不同,不包含TS優先度濾波器4551。其他要素則相同。於第51圖,對與第45圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第45圖所示之要素之說明。
第2PID濾波器4514係將PID=0×1012之TS封包傳輸至主影像解碼器4515內之TB24508,將PID=0×1022之TS封包傳輸至偏移元資料處理部4552。在此,PID=0×1022之TS封包亦可並行地傳輸至TB24508。如此,包含偏移元資料之TS封包係傳輸至偏移元資料處理部4552。
再者,從子TS篩選包含偏移元資料之TS封包時,亦可利用與TS優先度及PID之任一者均不同之別的資料。對於同業者而言,從上述實施形態可知,與TS優先度及PID相同,若是可依TS封包別設定不同值之資料,當然均可利用於上述篩選。
(1-B-7)依據本發明之實施形態1之偏移元資料1110係如第11圖所示,對各訊框給予偏移資訊。此外,視訊訊框表現交錯方式之訊框(例如60i)時,顯示單位為圖場而非訊框。該情況下,即便偏移元資料係將偏移資訊給予各圖場,仍可給予構成各訊框之圖場之配對。
(1-B-8)於依據本發明之實施形態1之偏移元資料,各偏移序列係依各訊框規定偏移值。此外,各偏移序列亦可依各顯示時間,規定表示偏移值之經時變化之函數,亦即規定互補函數。該情況下,3D再生裝置係依各顯示時間,利用互補函數來算出該顯示時間所含之各訊框之偏移值。
第52(a)圖係表示利用互補函數之偏移元資料5200之資料構造之模式圖。參考第52(a)圖,偏移元資料5200包含偏移序列ID5210及偏移序列5220之對應表。偏移序列5220包含:起點偏移值(offset_start)5221、終點偏移值(offset_end)5222、偏移函數ID(offset_func_id)5223及偏移時間間隔(offset_duration)5224。偏移元資料5200儲存於相依視圖視訊串流內之1個視訊序列時,起點偏移值5221係表示該視訊序列所表現的最初訊框之偏移值。終點偏移值5222係表示下一視訊序列所表現的最初訊框之偏移值。偏移函數ID5223規定互補函數之種類。該互補函數之種類係表示該視訊序列之顯示時間之偏移值的變化形狀。偏移時間間隔5224係表示該視訊序列之顯示時間之長度。
第52(b)圖係表示構成互補函數之要素種類之圖。參考第52(b)圖,x軸表示顯示時間,y軸表示偏移值。在此,偏移值的符號係由3D圖形影像之景深較畫面位於深處或面前來決定。作為互補函數之構成要素係準備有3種,即直線形狀LNR、凸形狀CVX及凹形狀CCV。直線形狀LNR係以線性函數y=ax+b來定義,凸形狀CVX及凹形狀CCV係以2次曲線y=ax2
+bx+c、3次曲線y=ax3
+bx2
+cx+d或迦瑪曲線y=a(x+b)1/r
+c來定義。在此,常數a、b、c、d為參數,以各要素兩端A、B之x、y座標,亦即顯示時刻及該時點之偏移值之配對來決定。另,常數r係另外規定,並儲存於各偏移序列。互補函數之種類係定義作其等要素LNR、CVX、CCV之單體或組合。
第54(c)圖係表示從第54(a)圖所示之偏移序列ID=0、1、2之各偏移序列,由3D再生裝置所算定的偏移值之圖。該圖的橫軸係表示從顯示儲存有各偏移序列之視訊序列的最初訊框之時刻開始之經過時間。黑圓點A0、B0、A1、B1、A2、B2之座標值係表示以起點偏移值5221或終點偏移值5222之某一點及偏移時間間隔5424規定。連接1對黑圓點A0+B0、A1+B1、A2+B2之間之實線圖GR0、GR1、GR2分別表示互補函數。各互補函數係由以偏移函數ID5223所規定的種類、及兩端之黑圓點A0+B0、A1+B1、A2+B2之座標值來決定。於偏移序列ID=0之偏移序列中,偏移函數ID5223表示「直線」,因此兩端之黑圓點A0、B0之間以直線形狀LNR之圖#0GR0連接。於偏移序列ID=1之偏移序列中,偏移函數ID5423表示「曲線#1」,因此兩端之黑圓點A1、B1之間以單一凸形狀CVX之圖#1GR1連接。於偏移序列ID=2之偏移序列中,偏移函數ID5423表示「曲線#2」,因此兩端之黑圓點A2、B2之間,以凸形狀CVX與凹形狀CCV之組合所組成的圖#2GR2連接。白圓點係表示各訊框之顯示時刻及該訊框之偏移值之配對。該偏移值係利用各圖GR0、GR1、GR2所示之互補函數,由3D再生裝置算出。如從該等圖GR0、GR1、GR2可容易理解,僅以起點偏移值5221、終點偏移值5222、偏移函數ID5223及偏移時間間隔5224之組合,亦可表現各式各樣的偏移值變化,亦即可表現3D圖形影像之景深變化。因此,可不損及3D圖形影像之表現力而刪減偏移元資料全體之尺寸。
(1-C)於3D影像之AV串流檔案,於第18圖所示之PMT1810追加關於3D影像之再生方式之資料亦可。該情況下,PMT1810係除了PMT標頭1801、描述符1802及串流資訊1803以外,還包含3D描述符。3D描述符係關於3D影像之再生方式,在AV串流檔案全體所共通的資訊,尤其包含3D方式資訊。3D方式資訊係表示L/R模式或深度模式等3D影像之AV串流檔案之再生方式。各串流資訊1803係除了串流類型1831、PID1832及串流描述符1833以外,還包含3D串流描述符。3D串流描述符係依AV串流檔案所含之基本串流別,而表示關於3D影像之再生方式之資訊。尤其視訊串流之3D串流描述符包含3D顯示類型。3D顯示類型係表示以L/R模式顯示該視訊串流所示之影像時,該影像為左視圖及右視圖之何者。3D顯示類型亦表示以深度圖模式顯示該視訊串流所示之影像時,該影像為2D影像及深度圖之何者。如此,PMT包含關於3D影像之再生方式之資訊時,該影像之再生系統僅從AV串流檔案亦可取得該資訊。因此,該類資料構造係於例如以傳播波發佈3D影像內容時有效。
(1-D)剪輯資訊檔案
相依視圖剪輯資訊檔案係於如第22圖所示之串流屬性資訊2220中,被分派給相依視圖視訊串流之PID=0×1012、0×1013之視訊串流屬性資訊,包含特定旗標亦可。該旗標開啟時,表示相依視圖視訊串流參考基礎視圖視訊串流。該視訊串流屬性資訊亦可進一步包含關於參考對象之基礎視圖視訊串流之資訊。該資訊係於依特定途徑,驗證3D影像內容是否如規定的格式製作時,可利用於確認視訊串流間之對應關係。
於本發明之實施形態1,從剪輯資訊檔案所含之延伸區起點2242、2420,可算出基礎視圖延伸區及相依視圖延伸區之各尺寸。此外,各延伸區之尺寸之一覽表亦可作為元資料之一部分而儲存於例如剪輯資訊檔案。
(1-E)播放串列檔案
(1-E-1)第31圖所示之3D播放串列檔案222包含1個子路徑。此外,3D播放串列檔案包含複數個子路徑亦可。例如一子路徑之子路徑類型為「3D‧L/R」,另一子路徑類型為「3D‧深度」亦可。按照該3D播放串列檔案再生3D影像時,藉由切換2種子路徑,可容易於L/R模式與深度模式之間切換再生裝置102。尤其該切換處理可較切換3D播放串列檔案本身之處理更迅速地執行。
複數個相依視圖視訊串流分別與共通的基礎視圖視訊串流組合,以表現相同的3D影像亦可。其中,於其等相依視圖視訊串流之間,相同場景之左視圖與右視圖之間之視差不同。其等相依視圖視訊串流受到多工而成為1個子TS,或分離為複數個子TS均可。該情況下,3D播放串列檔案包含複數個子路徑。各子路徑參考不同相依視圖視訊串流。按照該3D播放串列檔案再生3D影像時,藉由切換子路徑,可令再生裝置102容易變化3D影像之景深感。尤其該處理可較切換3D播放串列檔案本身之處理更迅速地執行。
第53圖係表示包含複數子路徑之3D播放串列檔案5300之資料構造,及受其參考之檔案2D5310與2個檔案DEP5321、5322之資料構造之模式圖。檔案2D5310包含PID=0×1011之基礎視圖視訊串流。檔案DEP#15321包含PID=0×1012之相依視圖視訊串流#1。檔案DEP#25322包含PID=0×1013之相依視圖視訊串流#2。相依視圖視訊串流#1、#2分別與檔案2D5310內之基礎視圖視訊串流組合,以表現相同的3D影像。然而,於相依視圖視訊串流#1、#2之間,相同場景之左視圖與右視圖之間之視差不同。進而言之,偏移序列ID相等之偏移序列係對於相同訊框號碼,規定不同偏移值。
另,3D播放串列檔案5300包含主路徑5330及2個子路徑5331、5332。主路徑5330之PI#1參考檔案2D5310,尤其參考基礎視圖視訊串流。各子路徑5331、5332之SUB_PI#1之再生時間係與主路徑5330之PI#1共通。子路徑#15331之SUB_PI#1參考檔案DEP#15321,尤其參考相依視圖視訊串流#1。子路徑#25332之SUB_PI#1參考檔案DEP#25322,尤其參考相依視圖視訊串流#2。主路徑5330之PI#2及各子路徑5331、5332之SUB_PI#2亦同理。
於利用該3D播放串列檔案5300之3D播放串列再生處理中,再生裝置102預先令使用者或應用程式選擇再生對象之子路徑。此外,再生裝置102利用顯示裝置103之畫面尺寸或收視者之瞳孔間距離,來選擇再生對象之子路徑亦可。藉由該類子路徑之選擇處理,可容易令左視圖與右視圖之視訊截面間之視差變化。進而言之,由於偏移資訊伴隨於相依視圖視訊串流之切換而變化,因此從檔案2D5310所含之PG串流或IG串流再生之圖形截面之偏移會變化。其等之結果,可容易令3D影像之景深感變化。
(1-E-2)於第31圖所示之3D播放串列檔案,基礎視圖視訊串流登錄於主路徑3101內之STN表3205,相依視圖視訊串流登錄於延伸資料3103內之STN表SS3130。此外,相依視圖視訊串流登錄於STN表亦可。該情況下,STN表包含表示所登錄的視訊串流是表現基礎視圖及相依視圖之何者之旗標亦可。
(1-E-3)於依據本發明之實施形態1之BD-ROM碟片101,各別記錄有2D播放串列檔案及3D播放串列檔案。此外,第31圖所示之子路徑3102係與延伸資料3103相同,記錄於僅受到3D再生模式之再生裝置102參考之區域。該情況下,未有子路徑3102令2D再生模式之再生裝置102誤動作之風險,因此可將3D播放串列檔案直接作為2D播放串列檔案利用。其結果,可簡化BD-ROM碟片之編輯。
(1-E-4)對於PG串流及IG串流之各者之參考偏移ID及偏移修正值,亦可儲存於STN表SS3130以取代儲存於STN表3205。此外,其等亦可儲存於剪輯資訊檔案內之串流屬性資訊2220。進而言之,參考偏移ID儲存於PG串流內之各資料分錄,或儲存於IG串流內之各分頁均可。
(1-E-5)於3D播放串列檔案設定參考偏移ID時,關於PI間之無縫連接設定以下限制條件亦可。例如第53圖所示之主路徑5330之PI#2設定有CC=5時,PI#1與PI#2之各者所規定的再生區間之影像須無縫地連接。該情況下,於PI#1與PI#2,禁止參考偏移ID之值之變更,及相依視圖視訊串流所含之偏移序列之總數,亦即分錄數之變更之任一者。進一步亦可禁止偏移修正值之變更及其分錄數之變更之任一者。藉由該限制條件,再生裝置102係於將現PI從PI#1變更為PI#2時,可跳過SPRM(27)之更新處理。因此,可減輕關於無縫連接之處理負擔,故可進一步提升該處理之可靠性。其結果,可令3D影像之畫質進一步提升。
(1-E-6)於STN表,亦可對於1個串流資料設定複數個偏移修正值。第54圖係表示該類STN表5400之模式圖。參考第54圖,於該STN表5400,PG串流1之串流分錄5402及串流屬性資訊5403被跟1個STN5401建立對應。該串流屬性5403包含1個參考偏移ID5410及3種偏移修正值#1-#35411-5413。其等偏移修正值係利用在令應給予再生自PG串流1之圖形截面之偏移,依照顯示裝置之畫面尺寸變化。
在此,偏移修正值之種類及畫面尺寸間之對應關係係設想預先規定的情況。具體而言,偏移修正值#15411、偏移修正值#25412、偏移修正值#35413係於畫面尺寸為0-33英吋、34-66英吋及67英吋以上之各範圍內時利用。各偏移修正值5411-5413設定為符合如下條件:由圖形截面之偏移所產生的左視圖與右視圖之圖形影像間之視差的最大值,在一般收視者之瞳孔間距離以下(尤其收視者為兒童時則為5cm以下)。只要符合該條件,由於該視差未超過收視者之瞳孔間距離,因此可減低該收視者發生影像暈眩或眼睛疲勞的風險。
再生裝置102之再生控制部4235係每當隨著現PI之切換,被分派給1個串流資料之偏移修正值之總數變更時,配合顯示裝置103之畫面尺寸來選擇實際應利用之偏移修正值。具體而言,若有需要,再生控制部4235會進行HDMI認證以取得顯示裝置103之畫面尺寸。再生控制部4235接著配合顯示裝置103之畫面尺寸屬於0-33英吋、34-66英吋及67英吋以上之何者的範圍內,來選擇偏移修正值#1-#35411-5413之某一者,將表示其種類之資訊作為播放器變數而儲存於播放器變數記憶部4236。藉其,直到再度執行偏移修正值之選擇處理為止,再生控制部4235係從各STN表,選擇該播放器變數所示種類之偏移修正值,將SPRM(28)之值更新為該值。
(1-F)第35圖所示之索引檔案211包含標題全體所共通的3D存在旗標3520及2D/3D喜好旗標3530。此外,索引檔案包含依標題別而不同的3D存在旗標或2D/3D喜好旗標亦可。
(1-G)SPRM(27)、SPRM(28)
(1-G-1)程式執行部4234亦可按照電影物件或BD-J物件來設定SPRM(27)及SPRM(28)之各值。亦即,再生裝置102令應用程式設定參考偏移ID及偏移修正值亦可。進而言之,該類應用程式亦可限制於與索引表3510之項目「最先播放」3501建立對應之物件。
(1-G-2)再生控制部4235亦可令收視者調整應給予圖形截面之偏移。第50圖係該調整處理之流程圖。該處理係藉由於收視者操作遙控器105或再生裝置102之前面板,要求設定偏移修正值時,首先,使用者事件處理部4233受理該要求並通知再生控制部4235。接著,再生控制部4235因應該要求,令顯示裝置103顯示用以調整偏移之操作畫面。在此,該操作畫面的顯示係利用再生裝置102之OSD。再生控制部4235進而利用該操作畫面,令收視者以遙控器103等之操作,選擇調整對象之圖形截面及偏移值之增減。再生控制部4235接下來係更新SPRM(28),於對應於所選擇的圖形截面之偏移修正值加上或減去特定值。再生控制部4235宜於該調整處理的期間,令再生部4202繼續圖形截面之再生處理。在此,再生部4220係使得操作畫面及圖形影像之某一者顯示於面前之一方成為半透明,或將操作畫面較圖形影像顯示於面前。藉其,即便顯示操作畫面,仍可觀看圖形影像,因此與畫面亮度及呈色的調整相同,可令收視者當場確認偏移值增減的效果。
(1-G-3)第47圖所示之各修剪處理部4731-4734係將以SPRM(27)所示之參考偏移ID所特定之偏移序列,利用於偏移控制。相反地,各修剪處理部4731-4734係將以特定SPRM所示之偏移序列ID所特定之偏移序列,不利用於偏移控制亦可。亦即,該SPRM係表示於偏移控制中應受到遮罩之偏移序列ID(PG_ref_offset_id_mask、IG_ref_offset_id_mask、SV_ref_offset_id_mask、IM_ref_offset_id_mask)。該情況下,各修剪處理部4731-4734係從自系統目標解碼器4225收取之偏移資訊4507中,對應於受到遮罩之偏移序列ID以外之偏移資訊中,選擇包含最大偏移值者亦可。藉其,可容易對齊副影像截面、PG截面、IG截面及影像截面之各者所表現的圖形影像之景深。其結果,可提升各串流資料之製作自由度。
(1-H)再生裝置102係於作為OSD而顯示獨自的選單時,對於表現該選單之2D影像之圖形截面,亦即對於OSD截面進行偏移控制亦可。該情況下,再生裝置102係於該選單之顯示時刻,由系統目標解碼器4225所送出的偏移資訊中,選擇偏移方向較畫面位於面前、且偏移值最大者作為偏移資訊亦可。藉其,可將該選單,顯示於較字幕等再生自3D影像內容之3D圖形影像之任一者更位於面前。
此外,再生裝置102亦可預先準備對於OSD截面之偏移資訊。對該偏移資訊,分派特定偏移序列ID之例如offset_id=0。進一步對於偏移序列ID=0之偏移資訊,規定如下條件(1)、(2)亦可:(1)偏移方向表示較畫面更位於面前。(2)偏移值等於偏移序列ID≠0之偏移資訊中,訊框號碼相等且偏移方向較畫面位於面前之偏移資訊中之最大偏移值。依據該規定,再生裝置102不從系統目標解碼器4225所送出的偏移資訊4507中,選擇偏移資訊亦可,因此可簡化對於OSD截面之偏移控制。又,各修剪處理部4731-4734在從系統目標解碼器4225所收取的偏移資訊4707中,未檢測到SPRM(27)所示之參考偏移ID時,取代使用偏移序列ID=0之偏移資訊亦可。
(1-I)於3D再生裝置,除了於SPRM(13)設定有家長控制等級以外,亦可於SPRM(30)設定3D家長控制等級。3D家長控制等級係表示特定限制年齡,利用在收視對於記錄於BD-ROM碟片101之3D影像標題之家長控制。與SPRM(13)之值相同,SPRM(30)係由3D再生裝置之使用者,利用3D再生裝置之OSD等而設定。3D再生裝置係例如以下進行對於3D影像標題之家長控制。3D再生裝置首先從BD-ROM碟片101,讀出在2D再生模式下許可收視該標題之收視者.年齡,並與SPRM(13)之值比較。該年齡若小於SPRM(13)之值,3D再生裝置則停止該標題之再生。該年齡若為SPRM(13)之值以上,3D再生裝置接下來則從BD-ROM碟片101,讀出在3D再生模式下許可收視該標題之收視者年齡,並與SPRM(30)之值比較。該年齡若為SPRM(30)之值以上,3D再生裝置係以3D再生模式再生該標題。該年齡若小於SPRM(30)之值且為SPRM(13)之值以上,則3D再生裝置係以2D再生模式再生該標題。如此,考慮因年齡所造成的瞳孔間距離之差異,可實現「令未滿一定年齡之兒童僅可將3D影像看作2D影像」等家長控制。該家長控制宜於第36圖所示之選擇再生對象之播放串列檔案之處理中,於判斷「顯示裝置支援3D影像」時,亦即於步驟S3605判斷「是」時進行。再者,於SPRM(30),設定表示3D再生模式之許可/禁止之值以取代限制年齡,3D再生裝置按照該值來判斷3D再生模式之有效/無效亦可。
(1-J)於3D再生裝置,表示「2D再生模式及3D再生模式之何者應優先」之值設定於SPRM(31)亦可。SPRM(31)之值係由3D再生裝置之使用者利用3D再生裝置之OSD等來設定。3D再生裝置係於第36圖所示之選擇再生對象之播放串列檔案之處理中,於步驟S3603參考2D/3D喜好旗標及SPRM(31)。其等均表示2D再生模式時,3D再生裝置選擇2D再生模式。2D/3D喜好旗標及SPRM(31)均表示3D再生模式時,3D再生裝置不顯示再生模式之選擇畫面而進行步驟S3605,亦即進行HDMI認證。其結果,若顯示裝置可支援3D影像再生,則3D再生裝置選擇3D再生模式。2D/3D喜好旗標與SPRM(31)表示不同再生模式時,3D再生裝置執行步驟S3604,亦即顯示再生模式之選擇畫面以令使用者選擇再生模式。此外,令應用程式選擇再生模式亦可。如此,即便於3D影像內容設定有2D/3D喜好旗標,仍可僅於該值所示之再生模式與SPRM(31)所示之再生模式,亦即與使用者預先設定之再生模式不一致時,讓使用者重新選擇再生模式。
BD-J物件等應用程式亦可參考SPRM(31)而選擇再生模式。進而言之,於第36圖所示之步驟S3604讓使用者選擇再生模式時,顯示於選擇畫面之選單之初始狀態亦可依據SPRM(31)之值來決定。例如SPRM(31)之值表示2D再生模式優先時,在令游標對準2D再生模式之選擇按鈕之狀態下,顯示選單,於表示3D再生模式優先時,在令游標對準3D再生模式之選擇按鈕之狀態下,顯示選單。此外,3D再生裝置具有管理父、母、兒童等複數使用者之帳戶之功能時,亦可配合現時點登入之使用者之帳戶來設定SPRM(31)之值。
SPRM(31)係除了表示「2D再生模式及3D再生模式之何者應優先」,亦可表示「應始終設定為2D再生模式及3D再生模式之何者」。SPRM(31)之值表示「應始終設定為2D再生模式」時,3D再生裝置係無論2D/3D喜好旗標之值為何,均始終選擇2D再生模式。該情況下,SPRM(25)之值設定為2D再生模式。SPRM(31)之值表示「應始終設定為3D再生模式」時,3D再生裝置係無論2D/3D喜好旗標之值為何,均不顯示再生模式之選擇畫面而進行HDMI認證。該情況下,SPRM(25)之值設定為3D再生模式(L/R模式或深度模式)。如此,即便於3D影像內容設定有2D/3D喜好旗標,仍可始終讓使用者預先設定之再生模式優先。
(1-K)再生裝置102亦可令使用者,於預備的SPRM之例如SPRM(32)登錄瞳孔間距離。該情況下,再生裝置102可調整偏移修正值,以使得左視圖與右視圖之圖形影像間之視差最大值不超過登錄於SPRM(32)之值。具體而言,再生裝置102針對從系統目標解碼器輸出之各偏移值,進行如下運算即可。再生裝置102首先求出SPRM(32)之值與顯示裝置103之畫面寬度(水平方向長度)之比,進一步求出該比與顯示裝置103之水平像素數之積。該積係表示藉由偏移控制給予圖形截面亦可之偏移值之上限之2倍。再生裝置102接著將各偏移值之2倍與該積比較。某一偏移值之2倍為該積以上時,再生裝置102特定出包含該偏移值之偏移序列之ID,減少對於該ID所示之圖形截面之偏移修正值。當時之減少量設定為偏移值之2倍與上述積之差之一般以上即可。如此,由於左視圖與右視圖之圖形影像間之視差最大值不會超過收視者之瞳孔間距離,因此可減低該收視者發生影像暈眩或眼睛疲勞的風險。
(1-L)輸出偏移修正
(1-L-1)於連續分離方式中,由於左視圖與右視圖之間之視差係以水平方向之像素數來表現,因此該視差之實際大小取決於顯示裝置之畫面尺寸,亦即像素大小。另,3D影像之景深感取決於該視差之實際大小。因此,於任一畫面尺寸,為了使得3D影像之景深感不損及該3D影像之魄力,且不讓收視者雙眼過於疲累,須配合畫面尺寸調整左視圖與右視圖之間之視差。作為該調節之方法之一,3D再生裝置係對於由截面加算部所合成的最終訊框資料進一步給予偏移。屆時之偏移給予方法係與藉由1截面+偏移模式,對圖形截面給予偏移之方向相同。如此,對於最終訊框資料進一步施加之偏移控制稱為「輸出偏移修正」。
第55(a)-(c)圖係表示於32英吋、50英吋及100英吋之各畫面SCA、SCB、SCC所顯示的左視圖與右視圖之間之視差PRA、PRB、PRC之模式圖。各圖中以實線所描繪之像LA1、LA2、LB、LC1、LC2係表示左視圖,以虛線所描繪之像RA1、RA2、RB、RC1、RC2係表示左視圖。在此,設想「於影像內容設定左視圖與右視圖之間之一視差,以使得該3D影像顯示於50英吋畫面時,其景深感最佳」的情況。參考第55(b)圖,表現該影像內容之3D影像顯示於50英吋之畫面SCB時,左視圖LB與右視圖RB之間之視差等於最佳值PRB。
於第55(a)圖中以細線描繪之左視圖LA1與右視圖RA1之間之視差DA,係等於描繪於第55(b)圖之左視圖LB與右視圖RB之間之視差PRB、及水平方向之像素數。另,32英吋之畫面SCA之像素小於50英吋之畫面SCB之像素。因此,從細線所描繪的左視圖LA1與右視圖RA1之間之視差DA產生的3D影像之景深感一般較最佳景深感微弱。該情況下,藉由輸出偏移修正,令左視圖與右視圖之間之視差增大特定修正值CRA之2倍。於第55(a)圖中以粗線描繪之左視圖LA2與右視圖RA2之間之視差PRA係表示輸出修正後之視差。如此,左視圖與右視圖之間之視差增大時,3D影像之景深感受到強調,因此不易損及該3D影像之魄力。
於第55(c)圖中以細線描繪之左視圖LC1與右視圖RC1之間之視差DC,係等於描繪於第55(b)圖之左視圖LB與右視圖RB之間之視差PRB、及水平方向之像素數。另,100英吋之畫面SCC之像素大於50英吋之畫面SCB之像素。因此,從細線所描繪的左視圖LC1與右視圖RC1之間之視差DC產生的3D影像之景深感一般較最佳景深感強烈。該情況下,藉由輸出偏移修正,令左視圖與右視圖之間之視差減少特定修正值CRC之2倍。於第55(c)圖中以粗線描繪之左視圖LC2與右視圖RC2之間之視差PRC係表示輸出修正後之視差。如此,左視圖與右視圖之間之視差增大時,3D影像之景深感受到抑制,因此收視者雙眼不易疲累。
如第55(a)、(c)圖所示之修正值CRA、CRC稱為「輸出偏移修正值」。影像內容係於索引檔案、剪輯串列檔案或剪輯資訊檔案中,儲存有畫面尺寸與輸出偏移修正值之間之對應表。第56(a)圖係表示該對應表之模式圖。參考第56(a)圖,輸出偏移修正值係就以10英吋為間隔表示之畫面尺寸之範圍別而設定。各輸出偏移修正值之大小表示水平方向之像素數,符號表示左視圖與右視圖之間之視差增減。再者,畫面尺寸之範圍為10英吋間隔以外亦可。該對應表係藉由規格或使用者來設定。進而言之,複數種對應表預先記錄於3D再生裝置,影像內容係以其識別符規定其再生所應利用的種類。
(1-L-2)3D再生裝置係於選擇輸出偏移修正值時,利用特定函數取代上述對應表亦可。第56(b)圖係表示該函數之圖。該圖之橫軸係以英吋表示畫面尺寸,縱軸係以附符號之像素數表示輸出偏移修正值。3D再生裝置係利用該圖所示之函數,從顯示裝置之畫面尺寸算出輸出偏移修正值。如該圖所示,畫面尺寸越小於50英吋,輸出偏移修正值決定為越大的正值,越大於50英吋,輸出偏移修正值決定為越大的負值。再者,畫面尺寸若為32英吋以下,則越小於50英吋,輸出偏移修正值實質上維持在一定的正值,若為103英吋以上,則實質上維持在一定的負值。
(1-L-3)影像內容包含其編輯時所設想的畫面尺寸之最佳值(assumed_TV_size_when_authoring),3D再生裝置根據該最佳值來決定輸出偏移修正值亦可。例如顯示裝置之畫面尺寸超過該最佳值時,3D再生裝置首先將3D影像之訊框尺寸縮小至該最佳值。3D再生裝置接著於各訊框周圍合成黑邊框,令該訊框與黑邊框之全體尺寸會與顯示裝置之畫面尺寸一致。3D再生裝置進一步調節輸出偏移修正值,令黑邊框內所顯示的左視圖與右視圖之間之視差大小,與在尺寸等於最佳值之畫面全體顯示左視圖及右視圖時之視差大小一致。藉其,可將3D影像之景深感維持在編輯時所設定的景深感。
(1-L-4)第57圖係表示輸出偏移修正所必需的3D再生裝置之要素之功能方塊圖。第57圖所示之3D再生裝置5700與第42圖所示之4200之不同點在於,其包含輸出偏移修正值適用部5701。其他要素則相同。於第57圖,對與第42圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第42圖所示之要素之說明。
播放器變數記憶部4236係於SPRM(35)儲存輸出偏移修正值。該輸出偏移修正值係根據HDMI通訊部4237藉由HDMI認證,從顯示裝置103取得之畫面尺寸,由再生控制部4235利用第56(a)或(b)圖所示之對應表或函數來決定。此外,BD-J物件等應用程式自動設定SPRM(35)之值,或利用GUI而令使用者設定亦可。
輸出偏移修正值適用部5701係利用SPRM(35)所示之輸出偏移修正值,對截面加算部4226所合成的左視圖及右視圖之各訊框資料給予偏移。由輸出偏移修正值適用部5701對於訊框資料所進行的輸出偏移修正值,係與第49圖所示之第2修剪處理部4732對於PG截面資料GP所進行的偏移控制相同。
(1-L-5)於SPRM(35)亦可儲存顯示裝置103之畫面尺寸以取代輸出偏移修正值。該情況下,輸出偏移修正值適用部5701係從第56(a)圖所示之對應表,搜尋被與SPRM(35)所示之畫面尺寸建立對應之輸出偏移修正值。
(1-L-6)播放器變數記憶部4236亦可進一步於SPRM(36)儲存輸出偏移修正值α。輸出偏移修正值α表示正的數值。輸出偏移修正值適用部5701係將SPRM(35)所示之輸出偏移修正值與SPRM(36)所示之輸出偏移修正值α之積,作為實際之輸出偏移修正值來利用。藉其,可使得依據輸出偏移修正值之3D影像之景深調節不僅取決於畫面尺寸,亦取決於收視者的年齡。例如收視者包含瞳孔間距離較大人短的幼兒時,於對於小畫面尺寸之輸出偏移修正中,輸出偏移修正值α設定小於1,於對於大畫面尺寸之輸出偏移修正中,輸出偏移修正值α設定大於1。藉其,無論畫面尺寸為何,均可減弱3D影像之景深感。
程式執行部4234或再生控制部4235亦可利用GUI或OSD,令使用者設定輸出偏移修正值α。該情況下,可設定之輸出偏移修正值α之大小係以例如「3D影像之景深感強」、「一般」、「微弱」之三階段來表現亦可。此外,輸出偏移修正值α亦可儲存於影像內容所含之視訊串流內之補充資料、PMT內之描述符或播放串列檔案之PI。藉其,可就視訊串流所表現的各場景,令輸出偏移修正值α變化。尤其於景深感強之場景,可設定一輸出偏移修正值α,使得輸出偏移修正值減少。
(1-L-7)亦可令輸出偏移修正值依據收視者與畫面間之距離來變化,以取代依據畫面尺寸而變化。進而言之,亦可令輸出偏移修正值α取決於該距離。該情況下,例如於第1圖所示之快門眼鏡104搭載距離感測器,令其測量從顯示裝置103之畫面131之距離。該距離隨時採無線,從快門眼鏡104傳達至顯示裝置103,進而從顯示裝置103透過HDMI傳達至再生裝置102。再生裝置102係利用該距離,選擇輸出偏移修正值或輸出偏移修正值α。
(1-L-8)顯示裝置103為投影器時,影像係藉由透鏡而放大並投影於螢幕上。因此,螢幕上之顯示區域尺寸係依據投影器與螢幕間之距離而變化。該情況下,第1方法係首先測量投影器與螢幕間之距離,接著從該距離及投影器之光學系統之特性,尤其從與投影光之擴散角之間之關係,算出顯示區域之尺寸。在此,該距離之測量係利用搭載於投影器之距離感測器。例如該距離感測器首先對於螢幕照射紅外線等雷射光,檢測來自該螢幕之反射光,並且測量從雷射光照射到反射光檢測之經過時間。距離感測器接著算出從該經過時間,算出投影器與螢幕之間之距離。於第2方法,投影器首先於螢幕投影線段等標準圖形,並且以OSD等,催促使用者測量該標準圖形在螢幕上之尺寸並輸入。投影器接著從收視者所輸入的標準圖形之尺寸,算出顯示區域之尺寸。
(1-M)於影像內容係例如在伴唱中利用於顯示歌詞,對靜止圖像重疊顯示字幕等之圖形影像,且僅頻繁更新該圖形影像。該類內容形成作為3D影像內容時,配置有偏移元資料之VAU進一步包含序列終端碼。再生裝置102係於解碼該類VAU時,保持從該偏移元資料所獲得的偏移資訊,直到解碼包含新的偏移元資料之VAU為止不予以變更。
第58(a)圖係僅表現靜止圖像之相依視圖視訊串流5800之資料構造之模式圖。基礎視圖視訊串流5800之各VAU係表現1個靜止圖像。該情況下,於各VAU後端,配置有序列終端碼5803、5804。另,於各VAU之補充資料5801、5802,配置有偏移元資料5811、5812。VAU#1之偏移元資料5811包含偏移序列ID=0之偏移序列[0]。該偏移序列[0]僅包含訊框#1之偏移資訊。同樣地,於VAU#2之偏移元資料5812,偏移序列[0]僅包含訊框#1之偏移資訊。
在此,設想3D播放串列檔案規定以下事項(1)、(2)的情況:(1)以10秒為間隔切換相依視圖視訊串流5800之各VAU所表現的靜止圖像。(2)於各靜止圖像,重疊顯示圖形串流所表現的圖形影像。第58(b)圖係表示按照該類3D播放串列檔案而再生之左視圖視訊截面串5821、右視圖視訊截面串5822及圖形截面串5830之模式圖。於第58(b)圖,以斜線表示切換靜止圖像之時點之各視訊截面。於左視圖視訊截面串5821,最初的視訊截面5841所示之靜止圖像係於最初10秒的期間5861重複再生,下一視訊截面5851所示之靜止圖像係於接著10秒的期間5871重複再生。於右視圖視訊截面串5822,最初的視訊截面5842所示之靜止圖像係於最初10秒的期間5862重複再生,下一視訊截面5852所示之靜止圖像係於接著10秒的期間5872重複再生。
再生裝置102係於解碼相依視圖視訊串流5800之VAU#1時,從該偏移元資料5811讀出訊框#1之偏移資訊。再生裝置102進一步檢測該序列終端碼5803。屆時,再生裝置102保持訊框#1之偏移資訊。藉其,於最初10秒的期間5861,給予圖形截面串5830之偏移係維持於所保持的偏移資訊所決定之一定的偏移。亦即,圖形影像之景深維持於一定。
從VAU#1之解碼經過10秒鐘時,再生裝置102解碼VAU#2。再生裝置102屆時係從該偏移元資料5812,讀出訊框#1之新偏移資訊。再生裝置102進一步檢測該序列終端碼5804。屆時,再生裝置102保持訊框#1之偏移資訊。藉其,於接著10秒的期間5871,給予圖形截面串5830之偏移係於變更為新保持之偏移資訊所決定之偏移後,維持於一定。亦即,圖形影像一定地維持於新的景深。
如此,VAU包含序列終端碼時,令再生裝置102原樣保持既有的偏移資訊。藉其,即便是視訊串流僅由靜止圖像構成時,仍可令再生裝置102確實繼續對於圖形截面之偏移控制。
(1-N)左視圖與右視圖之間之偏離補償
左視圖與右視圖之間會有發生「偏離」的情況。依據本發明之實施形態1之再生裝置102或顯示裝置103係利用以下所述之機構來補償該偏離。藉其,可避免該偏離對收視者給予不調和感之風險。
再生裝置102係於上述之偏離補償處理中,利用第42圖所示之功能部。另,顯示裝置103進行該補償處理亦可。第59圖係表示進行該補償處理之顯示裝置103之功能方塊圖。參考第59圖,顯示裝置103具備:接收部5901、串流處理部5902、訊號處理部5903及輸出部5904。接收部5901係除了從再生裝置102以外,還從BD-ROM碟片、半導體記憶裝置、外部網路及傳播波等各種媒體,接收多工串流資料,並交付給串流處理部5902。串流處理部5902係從該多工串流資料,分離出影像、聲音、圖形等各種資料,並交付給訊號處理部5903。訊號處理部5903係個別解碼其等資料,並交付給輸出部5904。輸出部5904係將已解碼之各資料轉換為特定形式。輸出部5904之輸出為影像/聲音本身。此外,HDMI方式等影像訊號/聲音訊號亦可。第59圖所示之要素5901、5902、5903及5904中,除了碟片驅動器、顯示面板及揚聲器等機械式部分以外,其他均安裝於一以上之積體電路。
(1-N-1)左視圖與右視圖之間之水平方向之偏離
第60(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之水平視角HAL、HAR之俯視圖。參考第60(a)圖,1對攝影機CML、CMR排列於水平方向。左側攝影機CML拍攝左視圖,右側攝影機CMR拍攝右視圖。其等攝影機CML、CMR之水平視角HAL、HAR之大小相等而位置不同。因此,產生僅包含於左側攝影機CML之水平視角HAL之區域AL、及僅包含於右側攝影機CMR之水平視角HAR之區域AR。位於雙方水平視角HAL、HAR之共通部分之被照體OBC亦映照於任一攝影機CML、CMR。然而,位於僅包含於左側攝影機CML之水平視角HAL之區域AL之被照體OBL僅映照於左側攝影機CML,位於僅包含於右側攝影機CMR之水平視角HAR之區域AR之被照體OBR僅映照於右側攝影機CMR。
第60(b)圖係表示以左側之攝影機CML所拍攝的左視圖LV之模式圖;第60(c)圖係表示以右側之攝影機CMR所拍攝的右視圖RV之模式圖。參考第60(b)、(c)圖,僅包含於左側攝影機CML之水平視角HAL之區域AL係作為沿著其左端延伸之帶狀區域,而包含於左視圖LV。然而,該帶狀區域AL不包含於右視圖RV。另,僅包含於右側攝影機CMR之水平視角HAR之區域AR係作為沿著其右端延伸之帶狀區域,而包含於右視圖RV。然而,該帶狀區域AR不包含於左視圖LV。因此,第60(a)圖所示之3個被照體OBL、OBC、OBR中,右側被照體OBR不包含於左視圖LV,左側被照體OBL不包含於右視圖RV。其結果,左側被照體OBL僅映照於收視者左眼,右側被照體OBR僅映照於右眼。該情況下,左視圖LV與右視圖RV會有對收視者給予不調和感之風險。
於BD-ROM碟片101,表示包含於左視圖LV與右視圖RV之各訊框之上述帶狀區域AL、AR之寬度WDH之資訊,儲存於相依視圖串流。其儲存處所係第11圖所示之偏移元資料1110之儲存處所,亦即位於各視訊序列開頭之VAU之補充資料1101。另,於再生裝置102,系統目標解碼器4225係從相依視圖視訊串流,讀出表示上述帶狀區域AL、AR之寬度WDH之資訊。系統目標解碼器4225進一步將該資訊,傳達給截面加算部4226內之視差影像生成部4710或顯示裝置103內之輸出部5904。顯示裝置103內之接收部5901從BD-ROM碟片等資訊媒體立即讀取3D影像內容時,上述資訊係由顯示裝置103內之訊號處理部5903,從相依視圖視訊串流讀出並傳達至輸出部5904。視差影像生成部4710或輸出部5904(以下簡稱為視差影像生成部4710等)係利用該資訊,加工左影像截面及右影像截面,以背景色或黑色,將上述帶狀區域AL、AR一樣地塗滿。亦即,各帶狀區域AL、AR所含之像素資料,重寫為一樣的背景色或黑色資料。
第60(d)、(e)圖係分別表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。參考第60(d)圖,僅包含於左側攝影機CML之水平視角HAL之區域AL係由寬度WDH之黑色帶BL所隱藏。另,參考第60(e)圖,僅包含於右側攝影機CMR之水平視角HAR之區域AR係由寬度WDH之黑色帶BR所隱藏。其等之結果,於收視者之各眼,僅映照左視圖LV及右視圖RV所共通的區域,因此可避免對該收視者給予不調和感之風險。
視差影像生成部4710進一步與第49圖所示之修剪處理相同,從左影像截面及右影像截面之各者,去除上述帶狀區域中包含於外側一半區域之像素資料。該情況下,視差影像生成部4710係以背景色或黑色,將各帶狀區域AL、AR剩餘的一半區域一樣地塗滿,並且於其相反側之端部,附加各帶狀區域AL、AR之一半寬度之背景色或黑色之帶狀區域。藉其,於收視者之任一眼,左視圖LV及右視圖RV之共通區域所示之影像映照於畫面中央,背景色或黑色帶映照於畫面兩端。其結果,可避免對該收視者給予不調和感之風險。
此外,視差影像生成部4710亦可如下處理左影像截面及右影像截面。視差影像生成部4710首先與第49圖所示之修剪處理相同,從各影像截面去除上述帶狀區域AL、AR內之像素資料。視差影像生成部4710接著藉由縮放處理,從剩餘區域內之像素資料再構成各影像截面。藉其,剩餘區域所示之影像放大顯示於訊框全體。其結果,於收視者之各眼,僅映照左視圖LV及右視圖RV所共通的區域,因此可避免對該收視者給予不調和感之風險。
(1-N-2)左視圖及右視圖之間之垂直方向之偏離
第57(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之垂直視角VAL、VAR之俯視圖。參考第61(a)圖,其等攝影機CML、CMR之垂直視角VAL、VAR之大小相等而位置不同。因此,產生僅包含於左側攝影機CML之垂直視角VAL之區域AT、及僅包含於右側攝影機CMR之垂直視角VAR之區域AB。位於雙方垂直視角VAL、VAR之共通部分之被照體OBJ亦映照於任一攝影機CML、CMR。然而,位於僅包含於左側攝影機CML之垂直視角VAL之區域AL之被照體僅映照於左側攝影機CML,位於僅包含於右側攝影機CMR之水平視角VAR之區域AB之被照體OBR僅映照於右側攝影機CMR。
第61(b)圖係表示以左側之攝影機CML所拍攝的左視圖LV之模式圖。參考第61(b)圖,僅包含於左側攝影機CML之垂直視角VAL之區域AT係作為沿著其上端延伸之帶狀區域,而包含於左視圖LV。然而,該帶狀區域AL不包含於右視圖RV。另,僅包含於右側攝影機CMR之垂直視角VAR之區域AB係作為沿著其下端延伸之帶狀區域,而包含於右視圖RV。然而,該帶狀區域AB不包含於左視圖LV。再者,帶狀區域AT、AB之位置可能於左視圖LV與右視圖RV為相反情況。如此,於左視圖LV與右視圖RV,上述帶狀區域AT、AB之有無不同時,第57(a)圖所示之被照體OBJ之垂直方向位置係於左視圖LV與右視圖RV,僅以帶狀區域AT、AB之高度HGT偏離。其結果,於映照於收視者左眼之被照體OBJ及映照於右眼之被照體OBJ,垂直方向的位置不同,因此會有對收視者給予不調和感之風險。
於BD-ROM碟片101,表示左視圖LV與右視圖RV之各訊框所含之上述帶狀區域AT、AB之高度HGT之資訊儲存於相依視圖視訊串流。其儲存處所係位於各視訊序列開頭之VAU之補充資料。但該補充資料係有別於包含第11圖所示之偏移元資料1110之修正資料。另,於再生裝置102,系統目標解碼器4225係從相依視圖視訊串流,讀出表示上述帶狀區域AT、AB之高度HGT之資訊。系統目標解碼器4225進一步將該資訊,傳達給截面加算部4226內之視差影像生成部4710或顯示裝置103內之輸出部5904。顯示裝置103內之接收部5901從BD-ROM碟片等資訊媒體立即讀取3D影像內容時,上述資訊係由顯示裝置103內之訊號處理部5903,從相依視圖視訊串流讀出並傳達至輸出部5904。
視差影像生成部4710或輸出部5904(以下簡稱為視差影像生成部4710等)係利用上述帶狀區域AT、AB之高度HGT,採如下程序加工左影像截面與右影像截面。視差影像生成部4710首先將左影像截面內之像素資料的位置朝下,令其僅移動高度HGT之一半HGT/2,將右影像截面內之像素資料的位置向上,令其僅移動高度HGT之一半HGT/2。藉其,各影像截面中,於上述帶狀區域AT、AB以外之區域所表現的影像及畫面,垂直方向之中心一致。另,於左影像截面,從上端去除帶狀區域AT之上半部分,於從下端到高度HDT/2之帶狀區域產生空白區域。於右影像截面,從下端去除帶狀區域AB之下半部分,從上端到高度HDT/2之帶狀區域產生空白區域。視差影像生成部4710接著以背景色或黑色,將各帶狀區域一樣地塗滿。亦即,各帶狀區域所含之像素資料,重寫為一樣的背景色或黑色資料。
第61(c)圖係分別表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。參考第61(c)圖,於左視圖LV與右視圖RV,垂直方向之中心位置一致。因此,第61(a)圖所示之被照體OBJ之垂直方向的位置係於左視圖LV與右視圖RV相等。另,於左視圖LV之上端,僅包含於左側攝影機CML之垂直視角VAL之區域AT係由高度HGT/2之黑色帶BT所隱藏,於右視圖RV之下端,僅包含於右側攝影機CMR之垂直視角VAR之區域AB係由高度HGT/2之黑色帶BB所隱藏。進而言之,於左視圖LV之下端附加有高度HGT/2之黑色帶BB,於右視圖RV之上端附加有高度HGT/2之黑色帶BT。其等之結果,於收視者之各眼,僅映照左視圖LV及右視圖RV所共通的區域,且映照於各眼之被照體之垂直方向的位置一致。如此,可避免對該收視者給予不調和感之風險。
此外,視差影像生成部4710亦可如下處理左影像截面及右影像截面。視差影像生成部4126首先與第49圖所示之修剪處理相同,從各影像截面去除上述帶狀區域AT、AB內之像素資料。視差影像生成部4710接著藉由縮放處理,從剩餘區域內之像素資料再構成各影像截面。藉其,剩餘區域所示之影像放大顯示於訊框全體,因此於收視者之各眼,僅映照左視圖LV及右視圖RV所共通的區域。而且,映照於各眼之被照體之垂直方向的位置一致。如此,可避免對該收視者給予不調和感之風險。
(1-N-3)左視圖與右視圖之間之圖形影像之偏離
1截面+偏移模式之再生裝置對1個圖形截面給予大偏離,以生成1對圖形截面時,可能於該配對之一左端部或右端部,產生不包含於另一右端部或左端部之區域。
第62(a)圖係表示圖形截面GPL所表現的圖形影像之一例之模式圖。參考第62(a)圖,該圖形截面GPL係表現3種圖形元件OB1、OB2、OB3。尤其左側圖形元件OB1之左端係從圖形截面GPL之左端,位於距離D1,右側圖形元件OB3之右端係從圖形截面GPL之右端,位於距離D3。第62(b)、(c)圖係分別表示對圖形截面GPL,給予向右及向左之偏移時之模式圖。參考第62(b)圖,與第49圖相同,從圖形截面GPL之右端,去除等於偏移值之寬度OFS之帶狀區域AR1,於左端附加寬度OFS之透明帶狀區域AL1。藉其,各圖形元件OB1-OB3之水平方向的位置係從原本位置,往右僅移動等於偏移值之距離OFS。另,參考第62(b)圖,從圖形截面GPL之左端,去除寬度OFS之帶狀區域AL2,於右端附加寬度OFS之透明帶狀區域AR2。藉其,各圖形元件OB1-OB3之水平方向的位置係從原本位置,往左僅移動距離OFS。
進一步參考第62(b)、(c)圖,等於偏移值之距離OFS係大於左側圖形元件OB1之左端與圖形截面GPL之左端之間之距離D1,並大於右側圖形元件OB3之右端與圖形截面GPL之右端之間之距離D3。因此,於被給予向右偏移之圖形截面GP1,欠缺右側圖形元件OB3右端之一部分MP3,於被給予向左偏移之圖形截面GP2,欠缺左側圖形元件OB1左端之一部分MP1。然而,左側圖形元件OB1之欠缺部分MP1包含於被給予向右偏移之圖形截面GP1,右側圖形元件OB3之欠缺部分MP3包含於被給予向左偏移之圖形截面GP2。其結果,其等欠缺部分MP1、MP3僅映照於收視者之單眼,因此有對收視者給予不調和感之風險。
於再生裝置102,截面加算部4226內之各修剪處理部4731-4734利用該偏移資訊4707,進行對於圖形截面GPL之偏移控制。屆時,各修剪處理部4731-4734進一步剪下沿著圖形截面GPL左端或右端延伸、寬度等於偏移值之帶狀區域。亦即,將該帶狀區域內之像素資料重寫為透明色之資料。各帶狀區域沿著圖形截面GPL之左端或右端延伸,該寬度等於偏移值。此外,顯示裝置103內之輸出部5904亦可從系統目標解碼器4225或顯示裝置103內之訊號處理部5903,收取偏移資訊,利用該偏移資訊,從圖形截面GPL之左端或右端剪下帶狀區域。於第62(b)、(c)圖表示剪下對象之帶狀區域AS1、AS2。於被給予向右偏移之圖形截面GP1,剪下對象之帶狀區域AS1包含左側圖形元件OB1之欠缺部分MP1。於被給予向左偏移之圖形截面GP2,剪下對象之帶狀區域AS2包含右側圖形元件OB3之欠缺部分MP3。
第62(d)、(e)圖係分別表示被給予向右及向左之偏移之圖形截面GP1、GP2所表現的圖形影像之模式圖。參考第62(d)、(e)圖,於其等圖形截面GP1、GP2,3種圖形元件OB1-OB3之形狀一致。其結果,於收視者之各眼,僅映共通的圖形影像。如此,可避免對該收視者給予不調和感之風險。
此外,對於從BD-ROM碟片上之PG串流或IG串流所再生的圖形截面,亦即由再生裝置102所生成的圖形截面,規定關於圖形元件配置之如下條件亦可。第63圖係表示該條件之模式圖。參考第63圖,於圖形截面GPL,設定有以左上角作為原點(0,0)之xy正交座標。x座標及y座標分別為圖形截面GPL之水平座標及垂直座標。在此,圖形截面GPL右下角之座標設為(TWD,THG)。利用該xy座標,上述條件規定如下:於各訊框,圖形元件OB1、OB2、OB3須配置在以如下四點(OFS,0)、(TWD-OFS,0)、(TWD-OFS,THG)、(OFS,THG)作為頂點之矩形區域內。亦即,分別沿著圖形截面GPL之左端及右端延伸之寬度OFS之帶狀區域AL、AR,禁止配置圖形元件。從第62(b)、(c)圖可得知,其等帶狀區域AL、AR係藉由偏移控制剪下。因此,若禁止對其等帶狀區域AL、AR配置偏移元件,即便對圖形截面GPL給予偏移後,圖形元件之形狀仍無變化。其結果,於收視者之各眼,僅映共通的圖形影像,因此可避免對該收視者給予不調和感之風險。
(1-O)黑邊(letter box)顯示
於影像內容編輯時所設想的畫面尺寸,係於數位電視播放用之全HD與電影所採用的「CinemaScope」(註冊商標)不同。相對於全HD之縱橫比為16:9(≒1.78:1),「CinemaScope」之縱橫比為2.35:1。因此,記錄於BD-ROM碟片之家庭用電影內容中,在各影像訊框之上下附加有水平方向之黑帶。藉其,將影像訊框與黑帶全體之縱橫比調節為16:9。該類顯示方式稱為「黑邊顯示」。
第64(a1)、(a2)圖均表示相同黑邊顯示之畫面之模式圖。參考第64(a1)、(a2)圖,畫面全體之解像度為1920畫素×10800畫素,縱橫比為16:9。另,影像之顯示區域DRG之解像度為1920畫素×818畫素,縱橫比為2.35:1。於顯示區域DRG之上下,高度131畫素之黑帶BT、BB延伸於水平方向。
該類黑邊顯示採用在顯示3D影像時,字幕不僅顯示於顯示區域DRG,還宜顯示於上下某一黑帶BT、BB。藉其,由於3D影像與字幕分離,因此即便任一者之景深為面前,均可讓收視者確實觀看雙方。然而,黑帶BT、BB之高度131畫素對於顯示字幕未必足夠。該情況下,於再生裝置102,截面加算部4226對主影像截面給予垂直方向之偏移。該偏移控制稱為「視訊移位」。視訊移位包括「保持(Keep)」、「上移(Up)」、「下移(Down)」三種類。於保持模式,對主影像截面不給予垂直方向之偏移。因此,於第64(a1)、(a2)圖所示之影像截面,任一黑帶BT、BB之高度均維持於131畫素。於上移模式,對主影像截面給予向上之偏移。第64(b)圖係表示對主影像截面,向上給予131畫素(pixel)之偏移時之畫面之模式圖。參考第64(b)圖,上側之黑帶BT被去除,下側之黑帶BB之高度增加2倍。於下移模式,對主影像截面給予向下之偏移。第64(c)圖係表示對主影像截面,向下給予131畫素之偏移時之畫面之模式圖。參考第64(c)圖,下側之黑帶BB被去除,上側之黑帶BT之高度增加2倍。如此,截面加算部4226係藉由以上移及下移之某一模式執行視訊移位,將上下某一黑帶BT、BB之高度增加至對於字幕顯示足夠的值。
垂直方向之偏移的大小亦可為131畫素以外。第64(d)圖係表示對主影像截面,向上給予51畫素之偏移時之畫面之模式圖。參考第64(d)圖,上側之黑帶BT之高度減至131-51=81畫素,下側之黑帶BB之高度增加至131+51=182畫素。以下設想偏移之大小為131畫素的情況。
第65圖係表示視訊移位所必需的再生裝置102內之構成之功能方塊圖。第65圖所示之構成與第47圖所示之構成,係於包含視訊移位部6501、SPRM(32)6502及SPRM(33)6503方面不同。此外均同。因此,於第65圖,對與第47圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第47圖所示之要素之說明。
SPRM(32)與SPRM(33)各別所示之值係藉由程式執行部4234,按照BD-J物件等應用程式或使用者透過GUI之指示而設定。SPRM(33)所示之值進一步由再生控制部4235,按照播放串列檔案而更新。
第66(a)圖係表示SPRM(32)及SPRM(33)之各資料構造之表。參考第66(a)圖,SPRM(32)儲存表示視訊移位模式(video_shift_mode)之參數。該參數係可對應於三種視訊移位模式而取得「0」、「1」、「2」之3個值。SPRM(33)儲存4種視訊上移動時移位值及視訊下移動時移位值之配對。其等移位值係由對於PG截面之配對(PG_shift_value_for_Up、PG_shift_value_for_Down)、對於IG截面之配對(IG_shift_value_for_Up、IG_shift_value_for_Down)、對於副影像截面之配對(SV_shift_value_for_Up、SV_shift_value_for_Down)及對於影像截面之配對(IM_shift_value_for_Up、IM_shift_value_for_Down)所組成。視訊上移動時移位值及視訊下移動時移位值係表示於向上及向下之各偏移被給予主影像截面時,應給予PG截面等之垂直方向之偏移的大小。
第66(b)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之模式圖。參考第66(b)圖,於STN表6600,PG串流1之串流分錄6602及串流屬性資訊6603係對1個STN6601建立對應。該串流屬性資訊6603包含:視訊上移動時移位值(PG_y_shift_value_for_Up)6610及視訊下移動時移位值(PG_y_shift_value_for_Down)6611。藉其,其等之移位值可就各PI設定。關於IG串流等其他串流資料,亦可同樣設定各移位值。再生控制部4235係從各PI內之STN表讀取移位值,以該值更新SPRM(33)所示之值。
視訊移位部6501係從切換器4720,交替接收左影像截面資料4701及右影像截面資料4702。視訊移位部6501係每當該接收時,參考播放器變數記憶部4236內之SPRM(32),以該值所示之視訊移位模式,對主影像截面給予垂直方向之偏移。其後,視訊移位部6501係將主影像截面送出至第2加算部4742。
第67(a)-(c)圖係分別表示由上移模式、保持模式及下移模式之視訊移位部6501所處理的主影像截面VPA、VPB、VPC之模式圖。SPRM(32)表示保持模式時,視訊移位部6501不對主影像截面給予垂直方向之偏移。藉其,如第67(b)圖所示,主影像截面VPB內之上下之黑帶BT、BB之高度維持於131畫素。SPRM(32)表示上移模式時,視訊移位部6501係與第49圖所示之修剪處理相同,首先從原本之主影像截面VPB之上端部,剪下高度131畫素之黑帶BT。視訊移位部6501接著如第67(a)圖所示,於主影像截面VPA之下端部,附加高度131畫素之黑帶AB。藉其,主影像截面中被剪下之黑帶BT以外所含之像素資料之位置係向上移動131畫素。另,下端部之黑帶BB+AB之高度增加至131×2=262畫素。SPRM(32)表示下移模式時,視訊移位部6501係從原本之主影像截面VPB之下端部,剪下高度131畫素之黑帶BB,如第67(c)圖所示,於主影像截面VPC之上端部,附加高度131畫素之黑帶AT。藉其,主影像截面中被剪下之黑帶以外所含之像素資料之位置係向下移動131畫素。另,上端部之黑帶BT+AT之高度增加至131×2=262畫素。
再度參考第65圖,第2修剪處理部4732係每當從系統目標解碼器4225接收PG截面資料4704時,參考SPRM(32)6502及SPRM(33)6503,按照其等之值,對PG截面4704給予垂直方向之偏移。進而若為1截面+偏移模式,第2修剪處理部4732係對PG截面4704給予水平方向之偏移。其後,第2修剪處理部4732係將PG截面4704送出至第2加算部4742。
第67(d)-(f)圖係分別表示由上移模式、保持模式及下移模式之第2修剪處理部4732所處理的PG截面PGD、PGE、PGF之模式圖。SPRM(32)6502表示保持模式時,第2修剪處理部4732不對PG截面PGE給予垂直方向之偏移。藉其,如第67(e)圖所示,PG截面PGE內之字幕SUB維持於原本的位置。SPRM(32)表示上移模式時,第2修剪處理部4732首先從SPRM(33)6503,讀出對於PG截面之視訊上移動時移位值(PG_shift_value_for_Up)a。第2修剪處理部4732接著與第49圖所示之修剪處理相同,對PG截面PGE給予大小等於視訊上移動時移位值a之向下之偏移。具體而言,第2修剪處理部4732首先從原本的PG截面PGE之下端部,剪下高度a畫素之帶狀區域SBE。第2修剪處理部4732接著如第67(d)圖所示,於PG截面PGE之上端部,附加高度a畫素之帶狀區域STD。藉其,字幕SUB之位置向下移動a畫素。SPRM(32)表示下移模式時,第2修剪處理部4732首先從SPRM(33)6503,讀出對於PG截面之視訊下移動時移位值(PG_shift_value_for_Down)b。第2修剪處理部4732接著與第49圖所示之修剪處理相同,對PG截面PGE給予大小等於視訊上移動時移位值b之向上之偏移。具體而言,第2修剪處理部4732首先從原本的PG截面PGE之上端部,剪下高度b畫素之帶狀區域STE。第2修剪處理部4732接著如第67(f)圖所示,於PG截面PGF之上端部,附加高度b畫素之帶狀區域SBF。藉其,字幕SUB之位置向上移動b畫素。
第2加算部4742係從第2修剪處理部4732接收PG截面資料,重疊於來自視訊移位部6501之主影像截面資料並交付給第3加算部4743。第67(g)-(i)圖係分別表示由上移模式、保持模式及下移模式之第2加算部4642所合成的截面資料PLG、PLH、PLI之模式圖。於保持模式下,如第67(h)圖所示,字幕SUB係與影像MVW重疊而顯示。於上移模式下,如第67(g)圖所示,字幕SUB顯示於較主影像MVW位於下方之黑帶BBG。此係藉由調節視訊上移動時移位值a而可實現。於下移模式下,如第67(i)圖所示,字幕SUB顯示於較主影像MVW位於上方之黑帶BTI。此係藉由調節視訊下移動時移位值b而可實現。
於黑邊顯示,在黑帶除了顯示PG截面所表現的字幕以外,亦可顯示IG截面所表現的對話畫面、副影像截面所表現的影像、或影像截面所表現的彈出式選單。其等情況下,亦可採與上述相同的方法來適當調節黑帶高度。
(1-O-1)第65圖所示之構成中,第2修剪處理部4732係從SPRM(33)6503讀出視訊上/下移動時移位值。此外,第2修剪處理部4732直接從播放串列檔案讀出視訊上/下移動時移位值亦可。
(1-O-2)第67(a)、(c)圖所示之黑帶BT、BB之高度為131畫素以外,或進一步為可變更均可。其值亦可按照應用程式或使用者而於播放器變數記憶部4236內之某一SPRM。
(1-O-3)於第67(d)、(f)圖,第2修剪處理部4732係令包含於PG截面PGE之幾乎全部像素資料之位置,往上下方向移動。此外,PG解碼器參考SPRM(33)6503來變更PCS所示之物件顯示位置亦可。例如PCS表示物件顯示位置=(x,y),且SPRM(33)6503表示視訊上移動時移位值=“a”時,PG解碼器係將物件顯示位置變更為座標(x,y+a)。藉其,與第67(d)圖所示之字幕SUB相同,PG串流所表現的圖形物件係較PCS所示之物件顯示位置顯示於下方。令圖形物件之顯示位置向上移動時亦同。再者,PCS亦可儲存視訊上/下移動時移位值。
(1-O-4)於上移模式及下移模式下,如第67(d)、(f)圖所示,剪下PG截面之上下。屆時,亦可預先將可配置圖形物件之區域限制在特定範圍,以使得圖形物件之上下不被剪下。作為具體例,設想PG截面之高度×寬度為HGT×WDH,視訊上移動時移位值為“a”,且視訊下移動時移位值為“b”的情況。參考第67(e)圖,於該情況下,圖形物件之配置限制在如下隻水平方向之帶狀區域內:左上角PUL之xy座標=(0,b),右下角PDR之xy座標=(WDH,HGT-a)。更正確而言,PG串流符合如下條件:(A)PCS所示之物件顯示位置為上述帶狀區域內;(B)假使圖形物件顯示於物件顯示位置時,該顯示範圍不超過上述帶狀區域之範圍;(C)WDS所示之視窗位置為上述帶狀區域內;及(D)假使視窗設定於視窗位置時,其範圍不超過上述帶狀區域之範圍。如此,可防止圖形物件之上下被剪下。
(1-O-5)第68(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之其他例之模式圖。參考第68(a)圖,於STN表6800,於1個STN6801,PG串流1之串流分錄6802與串流屬性資訊6803被建立對應。該串流屬性資訊6803除了包含視訊上/下移動時移位值6810、6811以外,還包含視訊移位模式6812。該情況下,再生裝置102亦可於視訊移位利用如下構成。
第69圖係表示視訊移位所必需的再生裝置102內之構成之其他例之功能方塊圖。於第69圖所示之構成與第65圖所示之構成係於視訊移位部6901及SPRM(34)6904不同。其以外均同。因此,於第69圖,對與第65圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第65圖所示之要素之說明。
如第66(a)圖所示,SPRM(32)表示視訊移位模式,SPRM(33)表示視訊上移動時移位值及視訊下移動時移位值。表示其等之參數值係由再生控制部4235,按照第68(a)圖所示之第68(a)圖所示之播放串列檔案內之STN表而更新。播放器變數記憶體4236進一步於SPRM(34),儲存以開啟/關閉表示是否進行視訊移位之旗標。該旗標之值係藉由程式執行部4234,按照應用程式或使用者而設定。視訊移位部6901係每當從切換器4702接收左影像截面資料4701與右影像截面資料4702之任一者時,首先參考SPRM(32),以該值所示之視訊移位模式,對主影像截面給予垂直方向之偏移。另,該旗標之值為“0”時,視訊移位部6901不進行視訊移位而將主影像截面送出至第2加算部4742。同樣地,第2修剪處理部4732係每當從系統目標解碼器4225接收PG截面資料4704時,首先參考SPRM(34)6904,決定是否對PG截面4704給予垂直方向之偏移。例如該旗標之值為“1”時,第2修剪處理部4732接下來參考SPRM(32)及SPRM(33),按照其等之值,對PG截面4704給予垂直方向之偏移。另,該旗標之值為“0”時,第2修剪處理部4732不對PG截面4704給予垂直方向之偏移。
(1-O-6)如第68(a)圖所示,包含視訊移位模式6812之串流屬性資訊6803有複數登錄於STN表時,登錄順序設定為視訊移位模式相等之串流屬性資訊連續。第68(b)圖係表示該登錄順序之模式圖。參考第68(b)圖,於STN表,於串流號碼(STN)5-13登錄有9種PG串流1-9之PID。PG串流1-3之視訊移位模式設定為保持模式,PG串流4、5之視訊移位模式設定為上移模式,PG串流6-9之視訊移位模式設定為下移模式。該情況下,對PG串流1-3分派連續3個STN=1-3,對PG串流4、5分派連續2個STN=4、5,對PG串流6-9分派連續4個STN=6-9。再生裝置102係每當由遙控器105通知字幕切換按鈕按下時,從PG串流1-9中,以第68(b)圖所示之登錄順序選擇應利用於字幕顯示之PG串流。在此,於該選擇操作的期間,由於影像及字幕之畫面顯示均繼續,因此於字幕切換按鈕按下時,影像及字幕之顯示位置均如常變化。然而,於STN表,如第68(b)圖所示,連續登錄有相同視訊移位模式之PG串流。因此,一般而言,於字幕切換按鈕按下複數次後,才首度變化影像及字幕之顯示位置。如此,由於變化的頻率受到抑制,因此可防止PG串流之選擇操作使得影像及字幕不易觀看。
(1-O-7)再生裝置102係於切換視訊移位模式時,利用淡入/淡出等視覺效果,令影像及字幕之顯示位置流暢地變化亦可。更宜令字幕顯示位置之變化慢於影像顯示位置之變化。藉其,可防止視訊移位模式之切換時所伴隨的影像及字幕之顯示位置的變化,對收視者給予不愉快感。
(1-O-8)於PG串流內之PDS,對彩色ID=255分派無色透明,於WDS,對視窗內之背景色分派彩色ID=255。因此,PG串流表現字幕時,該字幕之背景色設定為無色透明。第70(b)圖係表示於該情況下顯示於畫面SCR之影像IMG及字幕SUB之模式圖。參考第70(b)圖,於表示字幕SUB之顯示範圍之視窗WIN1,背景色為無色透明。因此,於該視窗WIN1內,影像IMG及字幕SUB重疊顯示。
另,再生裝置102亦可對彩色ID=255分派黑色等不透明色彩。第70(a)圖係表示播放器變數記憶部4236內之SPRM(37)之資料構造之模式圖。參考第70(a)圖,於SPRM(37)儲存有字幕之背景色之色彩座標值。該值係由程式執行部4234,按照應用程式或使用者而預先設定。於SPRM(37)設定色彩座標值時,系統目標解碼器4225內之PG解碼器係無論PDS所示之設定為何,均將該色彩座標值分派給彩色ID=255。第70(c)圖係表示於該情況下顯示於畫面SCR之影像IMG及字幕SUB之模式圖。在此,SPRM(37)所示之色彩座標值為黑色等不透明色彩。參考第70(c)圖,於表示字幕SUB之顯示範圍之視窗WIN2,背景色為該不透明色彩。因此,於該視窗WIN2內,影像IMG係由背景色所隱藏,僅顯示字幕SUB。如此,可讓收視者確實觀看影像及字幕。
(1-O-9)在切換視訊移位模式之同時,不僅可變更PG串流所表現的圖形影像之顯示位置,亦可變更PG串流本身。第71(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之進一步之其他例之模式圖。參考第71(a)圖,於STN表7100,PG串流1之串流分錄7102及串流屬性資訊7103係對1個STN7101建立對應。該串流屬性資訊7103包含視訊上移動時字幕7110及視訊下移動時字幕7111。視訊上移動時字幕7110及視訊下移動時字幕7111係表示於分別選擇上移模式及下移模式作為視訊移位模式時,所應選擇的PG串流之PID。視訊上移動時字幕7110及視訊下移動時字幕7111之各者所示之PG串流中,字幕之顯示位置起初即設定於主影像截面之下端部及上端部之各黑帶內。該情況下,再生裝置102亦可於視訊移位利用如下構成。
第71(b)圖係表示視訊移位所必需的再生裝置102內之構成之進一步之其他例之功能方塊圖。第71(b)圖所示之構成與第65圖所示之構成係於以下點不同:(A)每當切換視訊移位模式時,再生控制部7135向PG解碼器4072指示應重新選擇之PG串流之PID;(B)第2修剪處理部4732不對PG截面4704給予垂直方向之偏移;及(C)於播放器變數記憶部4236,未設定SPRM(33)及SPRM(34)亦可。除此以外均同。因此,於第71(b)圖,對與第65圖所示之要素相同之要素附上相同符號。進而關於其等同樣要素之詳細,則沿用關於第65圖所示之要素之說明。
SPRM(32)6502所示之視訊移位模式係由程式執行部4234,按照應用程式或使用者而變更。再生控制部7135係每當檢測到SPRM(32)6502之值變更時,則參考如第71(a)圖所示之STN表。藉其,再生控制部7135係從其中,搜尋對應於變更後之視訊移位模式之PG串流之PID並交付給PG解碼器4072。具體而言,SPRM(32)6502表示上移模式時,搜尋視訊上移動時字幕7110所示之PID,SPRM(32)6502表示下移模式時,搜尋視訊下移動時字幕7111所示之PID,SPRM(32)6502表示保持移模式時,搜尋串流分錄7102所示之PID。其結果,由PG解碼器4072所解碼的PG截面4704係表現對應於視訊移位模式之字幕。
第72(a)圖係表示對應於保持模式之字幕SB1、SB2之模式圖。第72(b)圖係表示對應於下模式之字幕SBD、SB2之模式圖。參考第72(a)圖,於保持模式下,於影像之顯示區域VP1之下端部,水平方向之字幕SB1係與影像重疊顯示,於右端部,垂直方向之字幕SB2係與影像重疊顯示。進而言之,於影像之顯示區域VP1之上下,顯示高度131畫素之黑帶BT、BB。參考第72(b)圖,於下移模式下,於影像之顯示區域VP2之上側,顯示高度262畫素之黑帶BT2。假使對PG截面給予垂直方向之偏移,令水平方向之字幕SB1之顯示位置往上側之黑帶BT2中移動時,垂直方向之字幕SB2之顯示位置SB20從畫面往上偏離。相對於此,視訊下移動時字幕7111所示之PG串流表現水平方向之字幕SBD,其顯示位置係預先於上側之黑帶BT2中設定。因此,再生控制部7135係將保持模式下表現水平方向之字幕SB1之PG串流,在下移模式下變更為視訊下移動時字幕7111所示之PG串流。另,再生控制部7135在下移模式下,亦直接利用保持模式下表現垂直方向之字幕SB2之PG串流。藉其,於保持模式下,如第72(b)圖所示,將水平方向之字幕SBD顯示於上側之黑帶BT2中,且可與保持模式下之字幕相同,將垂直方向之字幕SB2與影像重疊顯示於影像之顯示區域VP2之右端部。於上移模式下亦同。
視訊上移動時字幕7110、視訊下移動時字幕7111或串流分錄7102未登錄於STN表時,PG解碼器4072未由再生控制部7135指示新的PID,因此於該時點直接維持所保持的PID。該情況下,第2修剪處理部4732對PG截面4704給予垂直方向之偏移亦可。該偏移係與由視訊移位部4704,對主影像截面4701、4702所給予的偏移相等。第72(c)圖係表示以保持模式顯示之字幕SB1之模式圖。第72(d)圖係於視訊上移動時字幕7110未登錄於STN表時,以上模式顯示之字幕SB3之模式圖。參考第72(c)圖,於保持模式下,於影像之顯示區域VP1之下端部,字幕SB1係與影像重疊顯示。進而言之,於影像之顯示區域VP1之上下,顯示高度131像素之黑帶BT、BB。參考第72(d)圖,於上移模式下,於影像之顯示區域VP2之下側顯示有高度262畫素之黑帶BB2。假使字幕SB1之顯示位置維持於保持模式之位置時,該字幕SB1之下側重疊顯示於黑帶BB2。相對於此,第2修剪處理部4732對PG截面4704給予垂直方向之偏移時,上移模式之字幕SB3係與保持模式之字幕SB1相同,如第72(d)圖所示,可於影像之顯示區域VP2之下端部,遠離黑帶BB2而顯示。
《實施形態2》
依據本發明之實施形態2之BD-ROM碟片係針對PG串流及IG串流,亦包含基礎視圖與相依視圖之配對。另,依據本發明之實施形態之再生裝置具備2截面模式。「2截面模式」係圖形截面之顯示模式之一。子TS包含基礎視圖及相依視圖之圖形串流雙方時,2截面模式之再生裝置係從各圖形串流,解碼左視圖及右視圖之圖形截面資料並交替輸出。藉其,可從其等圖形串流再生3D圖形影像。除了其等點以外,依據實施形態2之BD-ROM碟片及再生裝置之構成及功能,係與依據實施形態1者相等。因此,以下說明關於依據實施形態2之BD-ROM碟片及再生裝置中,從依據實施形態1者之變更部分及擴充部分。關於與依據實施形態1之BD-ROM碟片及再生裝置同樣的部分,則沿用關於上述實施形態1之說明。
<子TS之資料構造>
第73(a)圖係受到多工而成為BD-ROM碟片101上之第1子TS之基本串流之一覽表。第1子TS為MPEG-2TS形式之多工串流資料,包含於檔案DEP。參考第73(a)圖,第1子TS包含:主要視訊串流7311、左視圖PG串流7312A、7312B、右視圖PG串流7313A、7313B、左視圖IG串流7314、右視圖IG串流7315及次要視訊串流7316。主要視訊串流7311係右視圖視訊串流,於第3(a)圖所示之主TS內之主要視訊串流301表現3D影像之左視圖時,表現該3D影像之右視圖。左視圖與右視圖之PG串流之配對7312A+7313A、7312A+7313B,係於將字幕等之圖形影像顯示作為3D影像時,表現其左視圖及右視圖之配對。左視圖與右視圖之IG串流之配對7314、7315係於將對話畫面之圖形影像顯示作為3D影像時,表現其左視圖及右視圖之配對。次要視訊串流7316係右視圖視訊串流,於主TS內之次要視訊串流306表現3D影像之左視圖時,表現該3D影像之右視圖。
對於基本串流7311-7316之PID的分派係例如以下。對主要視訊串流7311分派0×1012。對於1個子TS,可依種類別最多多工而成為32個其他基本串流時,對左視圖PG串流7312A、7312B分派0×1220至0×123F之某一者,對右視圖PG串流7313A、7313B分派0×1240至0×125F之某一者。對左視圖IG串流7314分派0×1420至0×143F之某一者,對右視圖IG串流7315分派0×1440至0×145F之某一者。對次要視訊串流7316分派0×1B20至0×1B3F之某一者。
第73(b)圖係受到多工而成為BD-ROM碟片101上之第2子TS之基本串流之一覽表。第2子TS為MPEG-2TS形式之多工串流資料,包含於與第1子TS不同之檔案DEP。此外,第2子TS亦可受到多工而成為與第1子TS相同之檔案DEP。參考第73(b)圖,第2子TS包含:主要視訊串流7321、深度圖PG串流7323A、7323B、深度圖IG串流7324及次要視訊串流7326。主要視訊串流7321係深度圖串流,與主TS內之主要視訊串流301之組合來表現3D影像。深度圖PG串流7323A、7323B係於表現主TS內之PG串流323A、323B之2D影像,被利用作為3D影像對虛擬2D畫面之投影時,利用作為表現該3D影像之深度圖之PG串流。深度圖IG串流7324係於表現主TS內之IG串流304之2D影像,被利用作為3D影像對虛擬2D畫面之投影時,利用作為表現該3D影像之深度圖之IG串流。次要視訊串流7326係深度圖串流,與主TS內之主要視訊串流306之組合來表現3D影像。
對於基本串流7321-7326之PID之分派係例如以下。對主要視訊串流7321分派0×1013。對於1個子TS,可依種類別最多多工而成為32個其他基本串流時,對深度圖PG串流7323A、7323B分派0×1260至0×127F之某一者。對深度圖IG串流7324分派0×1460至0×147F之某一者。對次要視訊串流7326分派0×1B40至0×1B5F之某一者。
<STN表SS之資料構造>
第74圖係表示依據本發明之實施形態2之STN表SS3130之資料構造之模式圖。參考第74圖,STN表SS3130內之各串流登錄資訊串3301、3302、3303、…係除了第33圖所示之彈出期間之偏移3311及相依視圖視訊串流之串流登錄資訊串3312以外,還包含PG串流之串流登錄資訊串7413及IG串流之串流登錄資訊串7414。
PG串流之串流登錄資訊串7413包含表示從子TS可選擇作為再生對象之PG串流之串流登錄資訊。IG串流之串流登錄資訊串7414包含表示從子TS可選擇作為再生對象之IG串流之串流登錄資訊。該等串流登錄資訊串7413、7414係分別與相對應之PI內之STN表所含之串流登錄資訊串中,表示PG串流及IG串流者組合而利用。3D再生模式之再生裝置102係於讀出STN表內之某一個串流登錄資訊時,亦自動讀出被與該串流登錄資訊組合的STN表SS內之串流登錄資訊串。藉其,再生裝置102係於單純將2D再生模式切換為3D再生模式時,可將設定完畢的STN及語言等之串流屬性維持在同一屬性。
進一步參考第74圖,PG串流之串流登錄資訊串7413一般包含複數個串流登錄資訊7431。其等係與相對應之PI內之串流登錄資訊中,表示基礎視圖視訊串流者數目相同。IG串流之串流登錄資訊串7414亦包含同樣的串流登錄資訊。其等係與相對應之PI所含之IG串流之串流登錄資訊數目相同。
各串流登錄資訊7431包含:STN7441、立體視覺旗標(is_SS_PG)7442、基礎視圖串流分錄(stream_entry_for_base_view)7443、相依視圖串流分錄(stream_entry_for_depentdent_view)7444及串流屬性資訊7445。STN7441係個別地分派給串流登錄資訊7431之連號,等於相對應之PI內之組合對象之串流登錄資訊之STN。立體視覺旗標7442係表示BD-ROM碟片101是否包含基礎視圖及相依視圖之PG串流雙方。立體視覺旗標7442開啟時,於子TS包含雙方之PG串流。因此,基礎視圖串流分錄7443、相依視圖串流分錄7444及串流屬性資訊7445之任一欄位亦由再生裝置讀出。立體視覺旗標7442關閉時,再生裝置忽視其等欄位7443-7445之任一者。基礎視圖串流分錄7443及相依視圖串流分錄7444均包含:子路徑ID參考資訊7421、串流檔案參考資訊7422及PID7423。子路徑ID參考資訊7421係表示規定基礎視圖及相依視圖之各PG串流之再生路徑之子路徑之子路徑ID。串流檔案參考資訊7422係用以識別儲存有各PG串流之檔案DEP之資訊。PID7423係各PG串流之PID。串流屬性資訊7445包含各PG串流之屬性,例如語言種類。
再者,PG串流之串流登錄資訊7431亦可儲存於STN表以取代儲存於STN表SS。該情況下,該串流登錄資訊7431儲存於主路徑TS內之PG串流之串流登錄資訊,尤其儲存於該串流屬性資訊。
<系統目標解碼器>
第75圖係表示依據實施形態2之系統目標解碼器7525之功能方塊圖。參考第75圖,PG解碼器7501係與第45圖所示之PG解碼器不同,可支援2截面模式。具體而言,PG解碼器7501包含基礎視圖PG解碼器7511及相依視圖PG解碼器7512。基礎視圖PG解碼器7511係除了解碼第3(a)圖所示之主TS內之PG串流303A、303B以外,還將第73(a)圖所示之第1子TA內之左視圖PG串流7512A、7512B解碼為截面資料。相依視圖PG解碼器7512係將第73(a)圖所示之第1子TS內之右視圖PG串流7313A、7313B,以及第73(b)圖所示之第2子TA內之深度圖PG串流7323A、7323B解碼為截面資料。副影像解碼器及IG解碼器均包含同樣1對解碼器。系統目標解碼器7525進一步包含1對PG截面記憶體7521、7522。基礎視圖PG解碼器7511係於左PG截面記憶體7521寫入截面資料,相依視圖PG解碼器7512係於右PG截面記憶體7522寫入截面資料。IG截面記憶體與影像截面記憶體均為同樣構成。系統目標解碼器7525進一步令來自圖形截面記憶體之截面資料的輸出,分別對應於2截面模式、1截面+偏移模式及1截面+零偏移模式。尤其從再生控制部7535指示2截面模式時,系統目標解碼器7525係從1對PG截面記憶體7521、7522,對截面加算部7526交替送出截面資料。
<截面加算部>
第76圖係2截面模式之截面加算部7526之部分功能方塊圖。參考第76圖,截面加算部7526係與第47圖所示之4226相同,包含視差影像生成部4710、切換器4720、第1加算部4741及第2加算部4742。截面加算部7526進一步於PG截面資料7504、7505之輸入部,包含第2視差影像生成部7610及第2切換器7620。同樣的構成亦包含於副影像截面資料、IG截面資料及影像截面資料之各輸入部。
第2視差影像生成部7610係從系統目標解碼器7525,接收左影像截面資料7604與右影像截面資料7605。於L/R模式之再生裝置102,左影像截面資料7604表現左視圖PG截面,右PG截面資料7605表現右視圖PG截面。屆時,第2視差影像生成部7610係原樣將各視訊截面資料7604、7605送出至第2切換器7620。另,於深度模式之再生裝置102,左PG截面資料7604係表現2D圖形影像之PG截面,右PG截面資料7605係表現對於該2D圖形影像之深度圖。屆時,第2視差影像生成部7610首先從該深度圖,計算該2D圖形影像各部之兩眼視差。第2視差影像生成部7610係接著加工左PG截面資料7604,令PG截面之該2D圖形影像各部之顯示位置,因應所計算的兩眼視差而左右移動。藉其生成表現左視圖及右視圖之PG截面之配對。第2視差影像生成部7610係進一步將該PG截面之配對送出至第2切換器7620。
第2切換器7620係將PTS相等的左PG截面資料7604與右PG截面資料7605,以此順序送出至第2修剪處理部4732。2截面模式之第2修剪處理部4732直接將各PG截面資料7604、7605送出至第2加算部4742。第2加算部4742係於來自第1加算部4741之截面資料,重疊各PG截面資料7604、7605並交付給第3加算部4743。其結果,於左影像截面資料7601重疊有左視圖PG截面,於右影像截面資料7602重疊有右視圖PG截面。
2截面模式之第2修剪處理部4732係與第47圖所示之1截面+偏移模式相同,利用偏移修正值,對各PG截面資料7604、7605給予水平方向之偏移亦可。藉其,可配合顯示裝置103之畫面尺寸微調3D圖形影像之景深感。此外,第2修剪處理部4732係與第65、69圖所示之1截面+偏移模式相同,利用視訊上/下移動時移位值,對各PG截面資料7604、7605給予垂直方向之偏移亦可。藉其,採黑邊顯示重現3D影像時,可於較3D影像位於上方或下方之黑帶上,重現字幕等之3D圖形影像。
<2截面模式下之偏移資訊之用途>
2截面模式之第2修剪處理部4732亦可利用偏移資訊4704,對於左視圖或右視圖之圖形截面進行偏移控制。該偏移控制具有以下所述優點。
於L/R模式下,取代第73(a)圖所示之第1子TS內之左視圖PG串流而利用主TS內之2D影像用PG串流(以下簡稱為2D‧PG串流),來作為左視圖PG截面資料亦可。亦即,於第74圖所示之基礎視圖串流分錄7443,子路徑ID參考資訊7421係表示主路徑,串流檔案參考資訊7422係表示儲存有2D‧PG串流之檔案2D。PID7423係表示2D‧PG串流之PID。該情況下,由於第1子TS不包含左視圖PG串流亦可,因此可刪減3D影像內容之資料量。然而,另一方面卻有3D圖像影像產生如下瑕疵之風險。
第77(a)、(b)、(c)圖係表示2D‧PG串流所表現的左視圖圖形影像GOB0、及右視圖PG串流所表現的右視圖圖形影像GOB1-3之模式圖。參考第77(a)-(c)圖,畫面SCR內之實線係表示左視圖圖形影像GOB0,虛線係表示GOB1-3。圖形影像間之距離Δ1、Δ2、Δ3係依第77(a)、(b)、(c)圖的順序而變小(Δ1<Δ2<Δ3),因此3D圖形影像與畫面SCR之景深差距小。因此,圖形影像之配對依第77(a)、(b)、(c)圖的順序顯示時,3D圖形影像看似從畫面SCR往面前跳出。左視圖圖形影像GOB0表現字幕時,該影像GOB0亦利用作為2D影像,因此其顯示位置係於第77(a)、(b)、(c)圖之間為固定。另,右視圖圖形影像GOB1-3之顯示位置係依第77(a)、(b)、(c)圖的順序往左移動。因此,圖形影像間之中心位置C1、C2、C3係依第77(a)、(b)、(c)圖的順序往左移動。亦即,字幕之3D圖形影像看似向左移動。該類字幕之移動會有給予收視者不調和感之風險。
2截面模式之第2修剪處理部4732如下利用按照偏移資訊之偏移控制,防止3D圖形影像在水平方向之移動。第77(d)、(e)、(f)圖係分別表示對於第77(a)、(b)、(c)圖所示之左視圖圖形影像之偏移控制之模式圖。參考第77(d)-(f)圖,畫面SCR內之實線係表示偏移控制後之左視圖圖形影像GOB4-6,細虛線係表示偏移控制前之左視圖圖形影像GOB0,粗虛線係表示右視圖圖形影像GOB1-3。第2修剪處理部4732係對於左視圖PG截面,按次序給予第77(d)、(e)、(f)圖鍾以箭頭所示之偏移OFS1、OFS2、OFS3。藉其,偏移控制後之左視圖圖形影像GOB4-6係較偏移控制前之GOB0往右移動。其結果,於第77(d)-(f)圖,圖形影像間之中心位置CO維持固定,因此3D圖形影像看似未往水平方向移動。如此,將2D.PG串流利用作為左視圖PG串流,可避免給予收視者不調和感之風險。
《實施形態3》
以下,作為本發明之實施形態,說明依據本發明之實施形態1、2之記錄媒體之記錄裝置及記錄方法。該記錄裝置係稱為所謂編輯裝置。編輯裝置一般設置於發行用電影內容之製作工作室,由編輯工作人員使用。記錄裝置係按照編輯工作人員的操作,首先以特定壓縮編碼方式,將電影內容轉換為AV串流檔案。記錄裝置係接著生成情境。「情境」係規定電影內容所含的各標題之再生方法的資訊,具體而言包含上述動態情境資訊及靜態情境資訊。記錄裝置接下來從AV串流檔案及情境,生成BD-ROM碟片用之冊影像。記錄裝置最後利用於記錄媒體記錄該冊影像。
第78圖係表示該記錄裝置7800之功能方塊圖。參考第78圖,該記錄裝置7800包含:資料庫部7801、視訊編碼器7802、素材製作部7803、情境生成部7804、BD程式製作部7805、多工處理部7806及格式處理部7807。
資料庫部7801係內建於記錄裝置之非揮發性記憶裝置,特別指HDD。此外,資料庫部7801為外附於記錄裝置之HDD,或內建於記錄裝置或外附之非揮發性半導體記憶體裝置均可。
視訊編碼器7802係從編輯工作人員,受理非壓縮之位元圖資料等影像資料,將其以MPEG-4 AVC、MVC或MPEG-2等壓縮編碼方式壓縮。藉其,主影像之資料轉換為主要視訊串流,副影像之資料轉換為次要視訊串流。尤其是3D影像之資料係利用MVC等多視點編碼方式,轉換為第7圖所示之基礎視圖串流及相依視圖串流。亦即,表現左視圖之視訊訊框串係藉由在其本身之圖片間之預測編碼而轉換為基礎視圖串流。另,表現右視圖之視訊訊框串不藉由在其本身之圖片,而是藉由與基礎視圖串流之圖片之間之預測編碼,轉換為相依視圖視訊串流。再者,表現右視圖之視訊訊框串轉換為基礎視圖視訊串流,表現左視圖之視訊訊框串轉換為相依視圖視訊串流亦可。轉換後之各視訊串流7812保存於資料庫部7801。
視訊編碼器7802係於圖片間預測編碼之處理過程中,檢測左視圖與右視圖之間之各影像之移動向量,從其等算出各3D影像之景深資訊。第79(a)、(b)圖係表示利用於顯示3D影像之一場景之左視圖及右視圖之各圖片之模式圖;(c)係表示由視訊編碼器7802而從其等圖片所算出的景深資訊之模式圖。
視訊編碼器7802係於壓縮左視圖與右視圖之各圖片時,利用其等圖片間之冗餘。亦即,視訊編碼器7802係就8×8或16×16之每像素矩陣,亦即就每巨集塊進行比較,檢測在兩圖片間之各影像之移動向量。具體而言,如第79(a)、(b)圖所示,首先左視圖圖片7901與右視圖圖片7902分別分割為巨集塊7903之矩陣。接著,於兩圖片7901、7902間,就每巨集塊7903比較影像資料,從其結果檢測各影像之移動向量。例如表現「家」的影像7904之區域係於兩圖片7901、7902間實質上相等。因此,從其等區域未檢測到移動向量。另,表現「球」的影像7905之區域係於兩圖片7901、7902間不同,因此從其等區域,檢測到該影像7805之移動向量。
視訊編碼器7802接著將檢測到之移動向量,利用於各圖片7901、7902的壓縮。另,視訊編碼器7802係將該移動向量,利用於表現「家」的影像7904及「球」的影像7905等各影像之兩眼視差的計算。視訊編碼器7802進一步從各影像之兩眼視差,算出該影像之景深。表現各影像景深之資訊係例如第79(c)圖所示,被整理成與各圖片7801、7802之巨集塊之矩陣相同尺寸之矩陣7906。該矩陣7806內之塊7907係與各圖片7901、7902內之巨集塊7903一對一地對應。各塊7907係以例如8位元的深度,表現相對應之巨集塊7903所表現影像之景深。於第79圖所示之例子中,「球」的影像7905之景深記錄於矩陣7906之區域7908內之各塊。該區域7908對應於表現該影像7905之各圖片7901、7902內之區域全體。
視訊編碼器7802利用該景深資訊,生成對於左視圖或右視圖之深度圖亦可。該情況下,視訊編碼器7802係將左視圖或右視圖之串流及深度圖串流,利用其本身所含之圖片間之預測編碼,轉換為基礎視圖視訊串流及深度圖串流。轉換後之各視訊串流7812保存於資料庫7801。
視訊編碼器7802進一步利用該景深資訊,算定僅有第60(b)、(c)圖所示之左視圖LV及右視圖RV之一方所含之垂直方向之帶狀區域AL、AR之寬度WDH,及僅有第61(b)、(c)圖所示之左視圖LV及右視圖RV之一方所含之水平方向之帶狀區域AT、AB之高度HGT。實際上其等帶狀區域若包含物體影像,則該影像之移動向量係被檢測作為表示從左視圖往右視圖,或其相反方向之出鏡。表示所算定的寬度WDH及高度HGT之資訊(以下稱為遮罩區域資訊)7811保存於資料庫部7801。
此外,視訊編碼器7802係於從2D影像之資料編碼次要視訊串流,按照編輯工作人員之操作,製作對於副影像截面之偏移資訊7810亦可。製作之偏移資訊7810保存於資料庫部7801。
素材製作部7803係製作視訊串流以外之基本串流,例如音訊串流7813、PG串流7814及IG串流7815,並保存於資料庫部7801。例如素材製作部7803係從編輯工作人員,受理非壓縮之LPCM聲音資料,將其以AC-3等壓縮編碼方式編碼,轉換為音訊串流7813。此外,素材製作部7803係從編輯工作人員,受理字幕資訊檔案,按照其製作PG串流7814。字幕資訊檔案係規定表現字幕之影像資料或文本資料、該字幕之顯示時期及應加於該字幕之淡入/淡出等視覺效果。素材製作部7803進一步從編輯工作人員,受理位元圖資料及選單檔案,按照其等製作IG串流7815。位元圖資料表示選單的影像。選單檔案係規定配置於該選單之各按鈕之狀態變遷、及應加在各按鈕之視覺效果。
素材製作部7803進一步按照編輯工作人員之操作,製作對於PG串流7814及IG串流7815各自之偏移資訊7810。該情況下,素材製作部7803亦可利用由視訊編碼器7802生成之景深資訊DPI,令3D圖形影像之景深配合3D影像之景深。其結果,於3D影像之景深依各訊框激烈變化時,素材製作部7803進一步採低通濾波器,處理利用景深資訊DPI而製作之偏移值串,以令各訊框之變化減低。如此做成之偏移資訊7810保存於資料庫部7801。
情境生成部7804係按照從編輯工作人員,經由GUI所受理的指示,製作BD-ROM情境資料7817,並保存於資料庫部7801。BD-ROM情境資料7817係規定保存於資料庫部7801之各基本串流7812-7816之再生方法。BD-ROM情境資料7817包含第2圖所示之檔案群中之索引檔案211、電影物件檔案212及播放串列檔案221-223。情境生成部7804進而製作參數檔案PRF並送出至多工處理部7806。參數檔案PRF係規定應從保存於資料庫部7801之基本串流7812-7816中,受到多工而成為主TS與子TS之各者之串流資料。
BD程式製作部7805係對於編輯工作人員,提供BD-J物件及Java應用程式之程式化環境。BD程式製作部7805係透過GUI而受理來自使用者的要求,按照該要求製作各程式之來源碼。BD程式製作部7805進一步從BD-J物件,製作BD-J物件檔案251,將Java應用程式壓縮為JAR檔案261。其等程式檔案群BDP係送出至格式處理部7807。
在此,設想BD-J物件如下程式化之情況:BD-J物件係令第42圖所示之程式執行部4134,將GUI用之圖形資料送出至系統目標解碼器4225。BD-J物件進而令系統目標解碼器4225,將該圖形資料作為影像截面資料處理,於1截面+偏移模式下,對截面加算部4226送出影像截面資料。該情況下,BD程式製作部7805係製作對於影像截面之偏移資訊7810,並保存於資料庫部7801。在此,BD程式製作部7305在製作偏移資訊7310時,亦可利用由視訊編碼器7802生成之景深資訊DPI。
多工處理部7806係按照參數檔案PRF,將保存於資料庫部7801之各基本串流7812-7815予以多工而成為MPEG2-TS形式之串流檔案。具體而言,如第4圖所示,各基本串流7812-7815轉換為1個來源封包串,接著各串之來源封包匯總為1個多工串流資料。如此製作主TS及子TS。其等之多工串流資料MSD送出至格式處理部7807。
多工處理部7806進一步根據保存於資料庫部7801之偏移資訊7810製作偏移元資料。做成之偏移元資料1110係如第11圖所示,儲存於相依視圖視訊串流內。屆時,保存於資料庫部7801之遮罩區域資訊7811係與偏移元資料一同儲存於相依視圖視訊串流。又,多工處理部7806亦可加工各圖形資料,調整左右各影像訊框內之圖形元件配置。藉其,多工處理部7806可防止各圖形截面所表現的3D圖形影像,不會重疊在與其他圖形截面所表現的3D圖形影像相同之視線方向。此外,多工處理部7806亦可調整對於各影像訊框之偏移值,使得各3D圖形影像可顯示於不同景深
多工處理部7806再採以下程序(I)-(IV)製作2D剪輯資訊檔案及相依視圖剪輯資訊檔案。(I)針對檔案2D及檔案DEP,分別生成第23圖所示之分錄圖2230。(II)利用各檔案之分錄圖,製作第24(a)、(b)圖所示之延伸區起點2242、2420。屆時,於相鄰接之資料塊間,對準延伸區ATC時間(參考後面敘述)。進而設計延伸區之配置,以使得2D延伸區、基礎視圖延伸區、相依視圖延伸區及延伸區SS之各尺寸符合特定條件(關於其等條件參見《補充》)。(III)擷取從應受到多工而成為主TS及子TS之各者之各基本串流,擷取第22圖所示之串流屬性資訊2220。(IV)如第22圖所示,將分錄圖2230、3D元資料2240及串流屬性資訊2220之組合,與剪輯資訊2210建立對應。如此,製作各剪輯資訊檔案CLI,並送出至格式處理部7307。
格式處理部7807係從保存於資料庫部7801之BD-ROM情境資料7817、由BD程式製作部7805所製作的BD-J物件檔案等程式檔案群BDP、及由多工處理部7806所生成的多工串流資料MSD及剪輯資訊檔案CLI,製作第2圖所示之目錄構造之BD-ROM碟片影像7820。該目錄構造係利用UDF作為檔案系統。
格式處理部7807係於製作檔案2D、檔案DEP及檔案SS之各檔案分錄時,參考2D剪輯資訊檔案及相依視圖剪輯資訊檔案各者所含之分錄圖及3D元資料。藉其,各分錄點及各延伸區起點之SPN被利用於各分配描述符之製作。尤其決定各分配描述符所應表示的LBN之值及延伸區尺寸,以表現如第19圖所示之交插配置。其結果,各基礎視圖資料塊係由檔案SS及檔案2D所共有,各相依視圖資料塊係由檔案DD及檔案DEP所共有。
<BD-ROM碟片影像之記錄方法>
第80圖係利用第78圖所示之記錄裝置7800對BD-ROM碟片記錄電影內容之方法之流程圖。該方法係藉由記錄裝置7800之電源導入而開始。
於步驟S8001,製作應對BD-ROM碟片記錄之基本串流程式及情境資料。亦即,視訊編碼器7802製作視訊串流7812。素材製作部7803製作音訊串流7813、PG串流7814及IG串流7815。情境生成部7804製作BD-ROM情境資料7817。做成之其等資料7812-7817保存於資料庫部7801。另,視訊編碼器7802製作偏移資訊7810及遮罩區域資訊7811,並保存於資料庫部7801。素材製作部7803製作偏移資訊7810,並保存於資料庫部7801。情境生成部7804製作元資料檔案PRF,送出至多工處理部7806。BD程式製作部7805製作包含BD-J物件檔案及JAR檔案之程式檔案群BDP,送出至格式處理部7807,製作偏移資訊7810,並保存於資料庫部7801。其後,處理前進至步驟S8002。
於步驟S8002,多工處理部7806係根據保存於資料庫部7801之偏移資訊7810,製作偏移元資料。做成之偏移元資料係與遮罩區域資訊7811一同儲存於相依視圖視訊串流內。其後,處理前進至步驟S8003。
於步驟S8003,多工處理部7806係按照參數檔案PRF,從資料庫部7801讀出各基本串流7812-7815,予以多工而成為MPEG2-TS形式之串流檔案。其後,處理前進至步驟S8004。
於步驟S8004,多工處理部7806製作2D剪輯資訊檔案及相依視圖剪輯資訊檔案。尤其於分錄圖及延伸區起點之製作中,在相鄰接的資料塊間對準延伸區ATC時間。進而言之,設計為2D延伸區、基礎視圖延伸區、相依視圖延伸區及延伸區SS之尺寸符合特定條件。其後,處理前進至步驟S8005。
於步驟S8005,格式處理部7807係從BD-ROM情境資料7817、程式檔案群BDP、多工串流資料MDS及剪輯資訊檔案CLI,製作BD-ROM碟片影像7820。其後,處理前進至步驟S8006。
於步驟S8006,BD-ROM碟片影像7820轉換為BD-ROM壓模用資料。進而該資料記錄於BD-ROM碟片之母盤。其後,處理前進至步驟S8007。
於步驟S8007,將步驟S8006所獲得的母盤利用於壓模步驟,進行BD-ROM碟片101之量產。如此,處理即結束。
<對準延伸區ATC時間之方法>
第81圖係表示在相鄰接的資料塊間對準延伸區ATC時間之方法之模式圖。首先,對儲存於基礎視圖資料塊之來源封包(以下簡稱為SP1)、及儲存於相依視圖資料塊之來源封包(以下簡稱為SP2),於相同ATC時間軸賦予ATS。參考第81圖,矩形8110、8120分別表示SP1#p(p=0、1、2、3、…、k、k+1、…、i、i+1)及SP2#q(q=0、1、2、3、…、m、m+1、…、j)。其等矩形8110、8120係於ATC時間軸方向,依各來源封包之ATC順序而排列。各矩形8110、8120開頭之位置表示該來源封包之ATS之值。各矩形8110、8120之長度AT1表示3D再生裝置將1個來源封包,從讀緩衝器傳輸至系統目標解碼器所需要的時間。
從SP1#1之ATSA1到經過延伸區ATC時間TEXT
之期間,從讀緩衝器傳輸至系統目標解碼器之SP1,亦即SP1#0、1、2、…、k係作為第(n+1)個基礎視圖延伸區EXT1[n]而儲存於1個基礎視圖資料塊。同樣地,從SP1#(k+1)之ATSA3到經過延伸區ATC時間TEXT
之期間,從讀緩衝器傳輸至系統目標解碼器之SP1,亦即SP1#(k+1)、…、i係作為第(n+2)個基礎視圖延伸區EXT1[n+1]而儲存於下一基礎視圖資料塊。
另,應作為第(n+1)個相依視圖延伸區EXT2[n]而儲存於1個相依視圖資料塊之SP2係如下選擇。首先,求出SP1#0之ATSA1與延伸區ATC時間TEXT
之和,亦即求出位於第(n+2)個基礎視圖延伸區EXT1[n+1]開頭之SP1#1(k+1)之ATSA3=A1+TEXT
。接著,選擇從SP1#0之ATSA1到SP1#(k+1)之ATSA3之期間,開始從讀緩衝器往系統目標解碼器之傳輸之SP2,亦即選擇SP2#0、1、2、…、m。因此,開頭的SP2,亦即SP2#0之ATSA2必定為開頭之SP1,亦即SP1#0之ATSA1以上:A2≧A1。進而言之,SP2#0-m之ATS全都小於SP1#(k+1)之ATSA3。在此,最後的SP2,亦即SP#m之傳輸完成亦可在SP1#(k+1)之ATSA3以後。
同樣地,應作為第(n+2)個相依視圖延伸區EXT2[n+1]而儲存於1個相依視圖資料塊之SP2係如下選擇。首先,求出位於第(n+3)個基礎視圖延伸區開頭之SP1#1(i+1)之ATSA5=A3+TEXT
。接著,選擇從SP1#(k+1)之ATSA3到SP1#(i+1)之ATSA5之期間,開始從讀緩衝器往系統目標解碼器之傳輸之SP2,亦即選擇SP2#(m+1)-j。因此,開頭的SP2,亦即SP2#(m+1)之ATSA4必定為開頭之SP1,亦即SP1#(k+1)之ATSA3以上:A4≧A3。進而言之,SP2#(m+1)-j之ATS全都小於SP1#(i+1)之ATSA5。
《實施形態4》
第110圖係利用依據本發明之實施形態4之積體電路3而實現之再生裝置之功能方塊圖。該再生裝置係再生前述實施形態所說明的構造之資料。
媒體IF部1係從媒體接收或讀出資料,並傳輸至積體電路3。在此,該資料包含前述實施形態中所說明的構造之資料。例如媒體為光碟片或硬碟時,媒體IF部1則為碟片驅動器。媒體為SD卡或USB記憶體等半導體記憶體時,媒體IF部1則為卡片IF。媒體為包含CATV等之傳播波時,媒體IF部1則為CAN調階器或Si調階器。媒體為Ethernet(註冊商標)、無線LAN、無線公共線路等網路時,媒體IF部1則為網路IF等。
記憶體2係暫時儲存接收(讀出)自媒體之資料,或暫時儲存積體電路3在處理中途之資料。作為記憶體2係使用SDRAM(Synchronous Dynamic Random Access Memory:同步動態隨機存取記憶體)、DDRx SDRAM(Double-Data-Ratex Synchronous Dynamic Random Access Memory:雙倍資料率同步動態隨機存取記憶體)等。再者,記憶體2具備任意個數即可,因應需要而為單一數目或複數個均無妨。
積體電路3係對於從媒體IF部傳輸的資料,施以影像‧聲音處理之系統LSI。積體電路3包含:主控制部6、串流處理部5、訊號處理部7、記憶體控制部9及AV輸出部8。
主控制部6具有程式記憶體及處理器核心。於程式記憶體,預先儲存有OS等基本軟體。處理器核心具有計時器功能或插入功能,按照儲存於程式記憶體等之程式,進行積體電路3全體的控制。
串流處理部5係於主控制部6之控制下,接收從媒體經由媒體IF部1而傳輸的資料,並經由積體電路3內之資料匯流排而儲存於記憶體2,或將所接收的資料分離為影像類資料、聲音類資料。如前述,2D/左視圖AV串流檔案包含左視圖視訊串流,右視圖AV串流檔案包含右視圖視訊串流。進而言之,媒體上之資料係於2D/左視圖AV串流檔案及右視圖AV串流分割為數個延伸區之狀態下交替配置。在此,媒體上之資料中,包含左視圖視訊串流之部分為左眼用資料,包含右視圖視訊串流之部分為右眼用資料。主控制部6係進行控制,以便於積體電路3接收到包含左眼用資料時,於記憶體2之第1區域儲存資料,於接收到右眼用資料時,於記憶體2之第2區域儲存資料。再者,記憶體2之第1、第2區域係單一記憶體在邏輯上受到區域分割之物,或物理上不同之記憶體均可。又,於實施形態4中,左眼用資料設為主視圖資料,左眼用資料設為主視圖資料而繼續說明,但右眼用資料為主視圖資料,左眼用資料為子視圖資料亦無妨。
訊號處理部7係於主控制部6的控制下,對於串流處理部5所分離的影像類資料、聲音類資料,以適當方式解碼。影像類資料係使用MPEG-2、MPEG-4 AVC、MPEG4-MVC、SMPTE VC-1等方式予以編碼記錄。聲音類資料係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、線性PCM等方式壓縮‧編碼記錄。訊號處理部7係以對應該等的方式解碼。再者,訊號處理部7的模型相當於例如第45圖所示之TS優先度濾波器與各種解碼器之組合,或相當於第46圖所示之各種解碼器均可。進而言之,訊號處理部7係從右視圖視訊串流中之元資料,並通知AV輸出部8。再者,如前述,元資料係依構成右視圖視訊串流之每GOP而配置,包含偏移資訊與偏移識別符之複數個配對。
訊號處理部7之模型相當於第45圖所示之TS優先度濾波器與各種解碼器之組合時,訊號處理部7首先監視右眼用資料所含之TS封包之TS優先度旗標,從其等之值篩選包含元資料之TS封包。訊號處理部7接著以不同模組,並行地進行以下處理:從包含圖片資料之TS封包,解碼非壓縮圖片資料之處理;及從包含元資料之TS封包,擷取元資料之處理。另,訊號處理部7之模型相當於第46圖所示之各種解碼器時,於訊號處理部7,無論TS優先度旗標為何,右眼用資料所含之TS封包均送到相同解碼器。該解碼器係進行從其等TS封包,解碼非壓縮圖片資料之處理,並且進行擷取元資料之處理。如此,若是前述實施形態所說明的構造之資料,訊號處理部7為任一模型均可良好地進行從該資料解碼非壓縮圖片資料之處理、及進行擷取元資料之處理。
記憶體控制部9係調停從積體電路3內之各功能方塊塊,對於記憶體2之存取。
AV輸出部8係於主控制部6的控制下,相互重疊訊號處理部7所解碼的影像類資料,對其等影像類資料進行格式轉換等,並往積體電路3外輸出。
第111圖係表示串流處理部5之代表性構成之功能方塊圖。串流處理部5具備:裝置串流IF部51、解多工部52及切換部53等。
裝置串流IF部51係媒體IF部1與積體電路3間之資料傳輸用介面,例如媒體為光碟片或硬碟時,裝置串流IF部51相當於SATA(Serial Advanced Technology Attachment:序列進階技術附加裝置)、ATAPI(Advanced Technology Attachment Packet Interface:進階技術附加封包介面)、PATA(Parallel Advanced Technology Attachment:並列進階技術附加裝置)。媒體為SD卡或USB記憶體等半導體記憶體時,裝置串流IF部51相當於卡片IF。媒體為包含CATV等之傳播波時,裝置串流IF部51相當於調階器IF。媒體為網際網路、無線LAN、無線公共線路等網路時,裝置串流IF部51相當於裝置串流IF部51。再者,視媒體的種類,裝置串流IF部51取代媒體IF部1之一部分功能,或相反地,媒體IF部1內建於積體電路3而利用作為裝置串流IF部51均無妨。
解多工部52係將傳送自媒體之包含影像‧聲音之再生資料,分離為影像類資料與聲音類資料。前述各延伸區係由影像‧聲音‧PG(字幕)‧IG(選單)等之各來源封包所構成。其中,子視圖資料有時不含聲音。各延伸區係按照各來源封包所含之PID(識別符),分離為影像類‧聲音類之各TS封包並傳輸至訊號處理部7。處理完畢之資料直接或暫且儲存於記憶體2之後,傳輸至訊號處理部7。再者,解多工部52的模型相當於例如實施形態1之第45圖之來源解封包處理器、PID濾波器。
切換部53係切換裝置串流IF部51所接收的資料之輸出去處或儲存去處。具體而言,裝置串流IF部51接收到左眼用資料時,切換部53係將該資料之輸出去處或儲存去處設為記憶體2內之第1區域,於接收到右眼用資料時,設為記憶體2內之第2區域。在此,切換部53為例如DMAC(Direct Memory Access Controll:直接記憶體存取控制器)。第112圖係切換部53為DMAC時之切換部53周邊之功能方塊圖。DMAC53係於主控制部6的控制下,對於記憶體控制部9,發送接收資料及儲存去處位址。接收資料係裝置串流IF部51所接收的資料,儲存去處位址係該接收資料之儲存去處之位址。具體而言,設想位址1為記憶體2內之第1區域之位址,位址2為第2區域之位址的情況。接收資料為左眼用資料時,DMAC53係對記憶體控制部9發送位址1,接收資料為右眼用資料時,發送位址2。記憶體控制部9係按照從DMAC53送來之儲存去處位址,於記憶體2儲存接收資料。如此,可依接收資料之種類切換其輸出去處或儲存去處。再者,取代主控制部6而設置控制切換部53之專用電路亦可。
在此,作為串流處理部5之代表性構成係說明裝置串流IF部51、多重分離部52及切換部53。但串流處理部5亦可進一步具備密碼引擎部、安全性管理部或控制器等。密碼引擎部係解碼所接收到的加密資料或鍵資料等。安全性管理部係保持秘密鍵,進行媒體與再生裝置之間之機器認證協定等之執行控制。又,到目前說明於記憶體2儲存從媒體所接收到的資料時,切換部53依該資料為左眼用資料或右眼用資料之何者,來切換該資料之儲存去處的情況。但暫且於記憶體2儲存接收自媒體的資料後,在對多重分離部52傳輸資料時,從該資料分成左眼用資料與右眼用資料亦可。
第113圖係表示AV輸出部8之代表性構成之功能方塊圖。AV輸出部8具備:圖像重疊部86、視訊輸出格式轉換部87及音訊‧視訊輸出IF部88等。
圖像重疊部81係重疊已解碼的影像類資料。具體而言,以圖片為單位,於左視圖視訊資料或右視圖視訊資料,重疊PG(字幕)及IG(選單)。圖像重疊部81之模型表示於例如第47圖所示。
第114圖係表示圖像重疊處理中之記憶體2之利用方法之一例之模式圖。記憶體2包含:對應於左視圖之截面資料儲存區域、對應於右視圖之截面資料儲存區域、對應於圖形之截面資料儲存區域及圖像重疊後資料儲存區域。各截面資料儲存區域係已解碼之資料描繪於相對應之截面前暫且儲存之區域。圖像重疊後資料儲存區域係圖形截面與左視圖截面或右視圖截面重疊後,儲存該資料之區域。在此,截面為記憶體2中之區域或虛擬的空間均可。
第115圖及第116圖係表示利用第114圖所示之記憶體2之圖像重疊處理之模式圖。圖像重疊部81首先根據訊號處理部7所擷取的元資料中所含之偏移資訊,對圖形截面給予偏移。圖像重疊部81接著於影像截面,重疊已被給予偏移之圖形截面。具體而言,於第115圖,對圖形截面給予+X之偏移,其後該圖形截面重疊於左視圖截面。另,於第116圖,對圖形截面給予-X之偏移,其後該圖形截面重疊於右視圖截面。在此,值X為偏移值,以像素數來表示。又,於其等重疊處理中,如各圖所示,合成水平方向之座標相同之像素資料彼此。重疊後之資料儲存於記憶體2內之圖像重疊後資料儲存區域。
第117圖係表示圖像重疊處理之記憶體2之利用方法之其他例之模式圖。記憶體2進一步具備「對應於偏移完畢圖形之截面資料儲存區域(左視圖重疊用、右視圖重疊用)」。已被給予偏移之圖形截面係於重疊於左視圖截面與右視圖截面之各截面前,暫且儲存於其等截面資料儲存區域。例如圖像重疊部81係對圖形截面給予+X之偏移,暫且儲存於「對應於偏移完畢圖形之截面資料儲存區域(左視圖重疊用)」。其後,圖像重疊部81係從該截面資料儲存區域讀出圖形截面,重疊於左視圖截面,將所獲得的結果儲存於圖像重疊後資料儲存區域。另,圖像重疊部81係對圖形截面給予-X之偏移,暫且儲存於「對應於偏移完畢圖形之截面資料儲存區域(右視圖重疊用)」。其後,圖像重疊部81係從該截面資料儲存區域讀出圖形截面,重疊於右視圖截面,將所獲得的結果儲存於圖像重疊後資料儲存區域。
視訊輸出格式轉換部82係對於解碼後或重疊後之影像類資料,因應需要而進行重調大小處理、IP轉換處理、雜訊減少處理或訊框率轉換處理等。重調大小處理係放大或縮小影像尺寸之處理。IP轉換處理係於漸近方式與交插方式之間轉換掃描方式之處理。雜訊減少處理係從影像去除雜訊之處理。訊框率轉換處理係轉換訊框率之處理。視訊輸出格式轉換部82係將處理後之資料,送出至圖像重疊部81或音訊‧視訊輸出IF部83。
音訊‧視訊輸出IF部83係以編碼處理等,將視訊輸出格式轉換部82所處理的影像類資料、及已解碼之聲音類資料轉換為特定資料發送形式。再者,如後述,音訊‧視訊輸出IF部83之一部分設於積體電路3外亦無妨。
第118圖係AV輸出部8及再生裝置之資料輸出部之詳細之功能方塊圖。AV輸出部8及再生裝置之資料輸出部係對應複數種資料發送形式。具體而言,如第118圖所示,音訊‧視訊輸出IF部83具備:類比視訊輸出IF部83a、類比音訊輸出IF部83c及數位‧音訊輸出IF部83b。
類比視訊輸出IF部83a係將視訊輸出格式轉換部82所處理的影像類資料,轉換為類比影像訊號形式而輸出。類比視訊輸出IF部83a包含例如對應NTSC、PAL、SECAM之某一方式之複合視訊解碼器、S影像訊號(Y/C分離)用編碼器、成分影像訊號用編碼器以及D/A轉換器(DAC)。
數位音訊‧視訊輸出IF部83b係將已解碼的聲音類資料、與視訊輸出格式轉換部82所處理的影像類資料予以一體化,進一步加密後。其後,數位‧音訊輸出IF部83b配合資料發送規格而編碼加密資料並輸出。例如第42圖所示之HDMI通訊部即相當於數位音訊‧視訊輸出IF部83b。
類比音訊輸出IF部83c係將已解碼的聲音類資料,予以D/A轉換而輸出類比聲音資料。音訊DAC等即相當於類比音訊輸出IF部83c。
AV輸出部8及再生裝置之資料輸出部可取決於顯示裝置‧揚聲器4所支援的資料接收裝置或資料輸入端子,來切換影像類資料及聲音類資料之發送形式。又,AV輸出部8及再生裝置之資料輸出部亦可讓使用者選擇其等之發送形式。進而言之,不僅採單一發送形式,亦可並行地採複數種發送形式來發送轉換自同一內容之資料。
在此,作為AV輸出部8之代表性構成,說明關於圖像重疊部81、視訊輸出格式轉換部82及音訊‧視訊輸出IF部83。但AV輸出部8亦可進一步具備圖形引擎部等。圖形引擎部係對於訊號處理部7所解碼的資料,進行濾波器處理、畫面合成、曲線描繪、3D顯示等圖形處理。
以上係關於實施形態4之再生裝置之構成的說明。再者,於積體電路3,未內建所有前述功能方塊亦可。相反地,記憶體2內建於積體電路3亦可。又,於實施形態4,說明主控制部6與訊號處理部7為相互獨立之功能方塊。但主控制部6進行訊號處理部7之一部分處理亦無妨。
連接積體電路3內之功能方塊間之控制匯流排及資料匯流排之布局,若配合各功能方塊之處理程序及內容而選擇即可。第119(a)、(b)圖係表示積體電路3內之控制匯流排及資料匯流排之布局例之模式圖。參考第119(a)圖,控制匯流排21及資料匯流排22均配置成令各功能方塊5-9直接連結於其他所有功能方塊。此外,如第119(b)圖所示,資料匯流排23亦可配置成令各功能方塊5-8僅直接連結於記憶體控制部9。該情況下,各功能方塊5-8係經由記憶體控制部9,進而經由記憶體9而將資料傳輸至其他功能方塊。
積體電路3亦可為多晶片模組以取代安裝於單一晶片之LSI。該情況下,構成積體電路3之複數個晶片密封於1個封裝體,因此積體電路3在外觀上為單一之LSI。此外,積體電路3亦可利用FPGA(Field Programmable Gate Array:現場可編程閘極陣列)或可重組處理器來構成。FPGA係於製造後可編程之LSI。可重組處理器係可連接內部之電路胞間,以及可再構成各電路胞之設定之LSI。
<積體電路3對顯示裝置之安裝>
於顯示裝置安裝與上述積體電路3同樣的積體電路,令該顯示裝置進行與依據實施形態4之再生裝置所進行的上述處理亦無妨。第120圖係表示安裝於該顯示裝置之積體電路及其周邊部之構成之功能方塊圖。參考第120圖,積體電路3係利用媒體IF部1及記憶體2,對於媒體IF部1所接收的資料,進行與上述訊號處理同樣的處理。由積體電路3所處理的影像類資料送往顯示驅動部10。顯示驅動部10按照該影像類資料來控制顯示面板11。其結果,該影像類資料放映於顯示面板11之畫面上而輸出。另,由積體電路3所處理的聲音類資料係透過揚聲器12作為聲音而輸出。
第121圖係第120圖所示之AV輸出部8之詳細之功能方塊圖。AV輸出部8係與第118圖所示不同,其具備視訊輸出IF部84及音訊輸出IF部85。視訊輸出IF部84及音訊輸出IF部85設置於積體電路3之內部與外部之任一者均可。視訊輸出IF部84係從視訊輸出格式轉換部82,對顯示驅動部10傳輸影像類資料。音訊輸出IF部85係從訊號處理部7,對揚聲器12傳輸聲音類資料。再者,亦可分別具備複數個視訊輸出IF部84及音訊輸出IF部85。又,視訊輸出IF部84及音訊輸出IF部85亦可被一體化。
<由利用積體電路3之再生裝置所進行的再生處理>
第122圖係由利用積體電路3之再生裝置所進行的再生處理之流程圖。該再生處理係於光碟片插入於碟片驅動器等,媒體IF部1連接於媒體而可接收資料時開始。於該再生處理中,再生裝置從媒體接收資料而解碼。其後,再生裝置係將解碼後之資料作為影像訊號及聲音訊號而輸出。
於步驟S1,媒體IF部1從媒體接收或讀出資料,並傳輸至串流處理部5。其後,處理前進至步驟S2。
於步驟S2,串流處理部5係從步驟S1接收到或讀出的資料,分離出影像類資料與聲音類資料。其後,處理前進至步驟S3。
於步驟S3,訊號處理部7係將步驟S2所分離的各種資料,以適合其編碼方式之方法解碼。訊號處理部7進一步與該解碼處理並行,從右眼用資料中擷取元資料,並通知AV輸出部8。在此,訊號處理部7亦可監視右眼用資料所含之TS封包之TS優先度旗標,篩選包含元資料之TS封包。有別於此,訊號處理部7亦可進行以下處理雙方:相同解碼器從TS封包解碼非壓縮圖片資料之處理;及擷取元資料之處理。其後,處理前進至步驟S4。
於步驟S4,AV輸出部8對於步驟S3所解碼的影像類資料,進行重疊處理。屆時,AV輸出部8係因應需要,從步驟S3所擷取的元資料搜尋偏移資訊而利用。其後,處理前進至步驟S5。
於步驟S5,AV輸出部8輸出步驟S2-4所處理的影像類資料及聲音類資料。其後,處理前進至步驟S6。
於步驟S6:主控制部6判斷是否繼續進行再生處理。殘留有應由媒體IF部1從媒體新接收或讀出之資料時,從步驟S1重複進行處理。另,由於光碟片從碟片驅動器取出,或由使用者指示停止再生等,媒體IF部1令從媒體之資料接收或讀出結束時,處理結束。
第123圖係表示第122圖所示之各步驟S1-6之詳細之流程圖。第122圖所示之各步驟S101-S110係於主控制部6的控制下進行。步驟S101-103主要相當於步驟S1的詳細,步驟S104主要相當於步驟S2的詳細,步驟S106-108主要相當於步驟S4的詳細,步驟S109、S110主要相當於步驟S5的詳細。
於步驟S101,裝置串流IF部51係透過媒體IF部1,早於再生對象之資料而從媒體,接收或讀出該資料之再生所必需的資料,例如播放串列檔案及剪輯資訊檔案。裝置串流IF部51進一步經由記憶體控制部9,將該資料儲存於記憶體2。其後,處理前進至步驟S102。
於步驟S102,主控制部6係從包含於剪輯資訊檔案之串流屬性資訊,識別儲存於媒體之影像資料及聲音資料之編碼方式。主控制部6進一步進行訊號處理部7之初始化,以便可進行對應於所識別之編碼方式之解碼處理。其後,處理前進至步驟S103。
於步驟S103,裝置串流IF部51係透過媒體IF部1,從媒體接收或讀出再生對象之影像資料及聲音資料。尤其其等資料係以延伸區為單位而接收或讀出。裝置串流IF部51進一步經由切換部53及記憶體控制部9,而於記憶體2儲存其等資料。尤其於接收或讀出左眼用資料時,主控制部6係控制切換部53,令左眼用資料之儲存去處切換為記憶體2內之第1區域。另,於接收或讀出右眼用資料時,主控制部6係控制切換部53,令右眼用資料之儲存去處切換為記憶體2內之第2區域。其後,處理前進至步驟S104。
於步驟S104,儲存於記憶體2之資料係傳輸至串流處理部5內之解多工部52。解多工部52首先從構成該資料之各來源封包,讀取PID。解多工部52接著按照該PID,識別該來源封包所含之TS封包為影像類資料或聲音類資料之何者。解多工部52進一步按照識別結果,將各封包傳輸至訊號處理部7內之相對應的解碼器。在此,解多工部52亦可監視右眼用資料所含之TS封包之TS優先度旗標,將包含元資料之TS封包送往有別於主影像解碼器之其他專用模組,亦即送往偏移元資料處理部。其後,處理前進至步驟S105。
於步驟S105,在訊號處理部7內,各解碼器係以適當方法解碼傳輸的TS封包。訊號處理部7進一步與該解碼處理並行,從右眼用資料中擷取元資料,並通知AV輸出部8。在此,該擷取處理係由有別於主影像解碼器之其他偏移元資料處理部進行,或由主影像解碼器同時與解碼處理進行均可。其後,處理前進至步驟S106。
於步驟S106,於訊號處理部7被解碼的左視圖視訊串流及右視圖視訊串流之各圖片,係送至視訊輸出格式轉換部82。視訊輸出格式轉換部82配合顯示裝置4之解像度,將其等圖片重調大小。其後,處理前進至步驟S107。
於步驟S107,圖像重疊部81係從視訊輸出格式轉換部82,接收於步驟S106重調大小之圖片所組成的視訊截面資料。另,圖像重疊部81係從訊號處理部7,接收解碼後之PG截面資料及IG截面資料。圖像重疊部81進一步相互重疊其等截面資料。其後,處理前進至步驟S108。
於步驟S108,視訊輸出格式轉換部82係從圖像重疊部81,接收於步驟S107重疊之截面資料。視訊輸出格式轉換部82進一步對於該截面資料進行IP轉換。其後,處理前進至步驟S109。
於步驟S109,音訊‧視訊輸出IF部83係從視訊輸出格式轉換部82,接收於步驟S108受過IP轉換之影像類資料,從訊號處理部7接受解碼後之聲音類資料。音訊‧視訊輸出IF部83進一步對於其等資料,按照顯示裝置‧揚聲器4之資料輸出方式或對各者之資料發送方式,進行編碼及D/A轉換等。藉其,影像類資料及聲音類資料分別轉換為類比輸出形式或數位輸出形式。例如類比輸出形式之影像類資料包含複合影像訊號、S影像訊號及成分影像訊號等。又,作為數位輸出形式係支援HDMI等。其後,處理前進至步驟S110。
於步驟S110,音訊‧視訊輸出IF部83係將步驟S109所處理的影像類資料及聲音類資料,發送至顯示裝置‧揚聲器4。其後,處理前進至步驟S6。再者,關於步驟S6則沿用上述說明。
於上述各步驟,每當結束處理時,即於記憶體2暫時儲存其結果亦可。又,步驟S106及S108中由視訊輸出格式轉換部82所進行的重調大小處理及IP轉換處理,亦可因應需要而省略。進而言之,除了其等處理以外,或取代其等處理而進行雜訊減少處理及訊框率轉換處理等其他處理。進而在許可的範圍內,變更處理程序亦可。
於第120圖所示之顯示裝置進行再生處理時,該再生處理之流程圖基本上與第122、123圖所示相同。第120、121圖所示之各功能方塊係與第110、113所示之各功能方塊同樣地進行動作。
《補充》
<3D影像之再生方法的原理>
3D影像之再生方法大致區別為兩種,即利用全像技術之方法與利用視差影像之方法。
利用全像技術之方法之特徵點在於,藉由對收視者之視覺,給予大致與現實的立體物體對人視覺所給予的光學性資訊相同之資訊,以讓該收視者立體地看到影像中之物體。然而,於動畫顯示利用該方法之技術在理論上雖已確立,但該動畫顯示所必需之可即時處理龐大運算之電腦、及每1mm數千條之超高解像度之顯示裝置,在現今技術下均非常難以實現。因此,現時點幾乎尚無將該方法作為商業用而實用化的預定。
「視差影像」係指映照於觀看1個場景之收視者各眼之2D影像之配對,亦即左視圖與右視圖之配對。利用視差影像之方法之特徵點在於,藉由將1個場景之左視圖與右視圖,採用僅使得收視者各眼看到之方式再生,以讓該收視者立體地觀看該場景。
第82(a)-(c)圖係用以說明依據利用視差影像之方法之3D影像(立體視覺影像)之再生原理之模式圖。第82(a)圖係收視者VWR觀看放置於臉正面之立方體CBC之情景之上視圖。第82(b)、(c)圖分別將當時收視者VWR之左眼LEY、右眼REY所看到的立方體CBC之外觀表示作為2D影像之模式圖。比較第82(b)、(c)圖可得知,各眼所看到的立方體CBC之外觀稍微不同。從該外觀的差距,亦即從兩眼視差,收視者VWR可立體地辨識立方體CBC。因此,於利用視差影像之方法中,首先對於1個場景,例如對於第82(a)圖之立方體CBC,準備視點不同之左右2D影像,例如準備第82(b)圖所示之立方體CBC之左視圖、及第82(c)圖所示之該右視圖。在此,各視點之位置係由收視者VWR之兩眼視差來決定。接著,採用僅讓收視者VWR之眼部各自看到各2D影像之方式進行再生。藉其,對收視者VWR而言,於畫面再生之該場景,亦即立方體CBC之影像看似立體。如此,利用視差影像之方法係與利用全像技術之方法不同,其有利點係在於最多僅準備從2個視點看到之2D影像即可。
關於利用視差影像的方法,已提案各式各樣將其具體化之方式。其等方式係從如何讓收視者之眼部各自看到左右2D影像的觀點,而分為連續分離方式、利用柱狀透鏡之方式及二色分離方式等。
於連續分離方式中,每特定時間在畫面交替顯示左右2D影像,另一方面令收視者透過快門眼鏡觀察畫面。在此,快門眼鏡係各透鏡由例如液晶面板所形成。各透鏡係與畫面上之2D影像切換同步,交替令光線於其全體一樣地穿透或遮斷。亦即,各透鏡係作為週期性地遮住收視者眼部之快門而發揮功能。更詳言之,於畫面上顯示左影像之期間,快門眼鏡令左側透鏡使光線穿透,令右側透鏡使光阻隔。相反地,於畫面上顯示右影像之期間,快門眼鏡令右側透鏡使光線穿透,令左側透鏡使光阻隔。藉其,對收視者眼部而言,左右影像之殘影重疊而看似1個3D影像。
於連續分離方式中,如上述,以一定週期交替顯示左右影像。例如於2D影像再生中,每1秒顯示24張影像訊框時,於3D影像再生中係左右影像合起來每1秒顯示48張。因此,可快速執行畫面重寫之顯示裝置較為適宜該方式。
於利用柱狀透鏡之方式中,將左右各影像訊框分割為縱向細長的長條形小區域,於1個畫面中,於橫向交替排列左右影像訊框之各小區域而同時顯示。在此,畫面的表面係以柱狀透鏡覆蓋。柱狀透鏡係平行排列複數個細長之半圓柱透鏡而成為1張片材狀之物。各半圓柱透鏡係於縱向延伸畫面表面。透過柱狀透鏡讓收視者觀看上述左右影像訊框時,來自左影像訊框之顯示區域之光線可僅於收視者左眼成像,來自右影像訊框之顯示區域之光線可僅於收視者右眼成像。如此,藉由映照於左右眼之影像間之兩眼視差,對收視者言而看似3D影像。再者,於該方式中,利用具有同樣功能之液晶元件等其他光學零件來取代柱狀透鏡亦可。此外,例如於左影像訊框之顯示區域設置縱偏光之濾光器,於右影像訊框之顯示區域設置橫偏光之濾光器亦可。屆時,可令收視者透過偏光眼鏡觀看畫面。在此,該偏光眼鏡係於左側透鏡設置縱偏光濾光器,且於右側透鏡設置橫偏光濾光器。因此,由於僅讓收視者之眼部各自看到左右影像,因此可讓收視者觀看3D影像。
於利用視差影像之方法中,除了3D影像內容從起先即由左右影像之組合構成的情況以外,由2D影像與深度圖之組合來構成亦可。該2D影像係表示從再生對象之3D影像對虛擬的2D畫面之投影,深度圖係依像素別表示該3D影像之各部對於該2D畫面之景深。3D影像內容由2D影像與深度圖之組合構成時,3D再生裝置或顯示裝置首先從其等之組合構成左右影像,接著從其等影像,採上述方式之某一方式重現3D影像。
第83圖係表示從2D影像MVW與深度圖DPH之組合構成左視圖LVW及右視圖RVW之例之模式圖。參考第83圖,於2D影像MVW,於背景BGV中顯示圓板DSC。深度圖DPH係依每像素表示該2D影像MVW內之各部之景深。若依據該深度圖DPH,圓板DSC之顯示區域DA1之景深係較畫面位於面前,且背景BGV之顯示區域DA2之景深係較畫面位於深處。於再生裝置內,視差影像生成部PDG首先從深度圖DPH所示各部之景深,計算2D影像MVW內之各部之兩眼視差。視差影像生成部PDG接著因應所計算的兩眼視差,令2D影像MVW內之各部之顯示位置往左右移動,構成左視圖LVW及右視圖RVW。於第83圖所示之例子中,視差影像生成部PDG係對於2D影像MVW內之圓板DSC之顯示位置,令左視圖LVW內之圓板DSL之顯示位置,僅以該兩眼視差之一半S1往右移動,令右視圖RVW內之圓板DSR之顯示位置,僅以該兩眼視差之一半S1往左移動。藉其,對收視者而言,圓板DSC看似較畫面位於面前。另,視差影像生成部PDG係對於2D影像MVW內之背景BGV之顯示位置,令左視圖LVW內之背景BGV之顯示位置,僅以該兩眼視差之一半S2往左移動,令右視圖RVW內之背景BGV之顯示位置,僅以該兩眼視差之一半S2往右移動。藉其,對收視者而言,背景BGV看似較畫面位於深處。
就利用電影院及遊樂園之設施等之3D影像之再生系統而言,依據利用視差影像之方法之3D影像之再生系統已經確立,並一般性地受到使用。因此,該方法亦對可再生3D影像之家庭劇院系統之實用化有效。於本發明之實施形態,設想利用視差影像之方法中之採用連續分離方式或偏光眼鏡之方式。但本發明對於與其等方式不同的其他方式,只要其等方式利用視差影像,則均可適用。從上述實施形態的說明來看,此對於同業者而言為理所當然。
<BD-ROM碟片上之檔案系統>
BD-ROM碟片101之檔案系統利用UDF時,第2圖所示之冊區域202B一般包含分別記錄有複數個目錄、檔案集合描述符及終端描述符之區域。「目錄」係構成相同目錄之資料群。「檔案集合描述符」係表示記錄有根目錄之檔案分錄之磁區之LBN。「終端描述符」係表示檔案集合描述符之記錄區域之終端。
各目錄具有共通的資料構造。各目錄尤其包含:檔案分錄、目錄檔案及低位檔案群。
「檔案分錄」包含:描述符標籤、ICB(1nformationControl Block:資訊控制塊)標籤及分配描述符。例如描述符之值為“261”時,該資料種類為檔案分錄。「ICB旗標」係表示該檔案分錄本身之屬性資訊。「分配描述符」係表示記錄有屬於相同目錄之目錄檔案之磁區之LBN。
「目錄檔案」一般包含複數個低位目錄之檔案識別描述符及低位檔案之檔案識別描述符。「低位目錄之檔案識別描述符」係用以存取放置於該目錄底下之低位目錄之資訊。該檔案識別描述符包含:該低位目錄之識別資訊、目錄名之長度、檔案分錄位址及目錄名本身。尤其檔案分錄位址係表示記錄有該低位目錄之檔案分錄之磁區之LBN。「低位檔案之檔案識別描述符」係用以存取放置於該目錄底下之低位檔案之資訊。該低位檔案之檔案識別描述符包含:該低位檔案之識別資訊、檔案名之長度、檔案分錄位址及檔案名本身。尤其檔案分錄位址係表示記錄有該低位檔案之檔案分錄之磁區之LBN。「低位檔案之檔案分錄」係如後述,包含構成低位檔案主體之資料之位址資訊。
若按順序追溯檔案集合描述符及低位目錄/檔案之檔案識別描述符,則可存取記錄於冊區域202B之任意目錄/檔案。具體而言,首先從檔案集合描述符特定出根目錄之檔案分錄,從該檔案分錄內之分配描述符特定出根目錄之目錄檔案。接著,從該目錄檔案檢測根目錄底下之目錄之檔案識別描述符,從其中之檔案分錄位址特定出該目錄之檔案分錄。進而從該檔案分錄內之分配描述符,特定出該目錄之目錄檔案。接下來,從該目錄檔案中之低位目錄或低位檔案之檔案識別描述符內之檔案分錄位址,特定出該低位目錄或低位檔案之檔案分錄。
「低位檔案」分別包含延伸區及檔案分錄。「延伸區」一般有複數個,分別為碟片上之邏輯位址,亦即LBN連續之資料串。延伸區全體構成低位檔案主體。「檔案分錄」包含描述符標籤、ICB標籤及分配描述符。「描述符標籤」係表示包含該描述符標籤之資料的種類為檔案分錄。「ICB標籤」係表示該檔案分錄本身之屬性資訊。「分配描述符」係對於各延伸區各設置1個,表示各延伸區在冊區域202B上之配置,具體而言表示各延伸區之尺寸及其前端之LBN。因此,藉由參考各分配描述符,可於各延伸區進行存取。此外,各分配描述符之高位2位元係表示於該分配描述符所示之LBN之磁區,是否實際記錄有延伸區。亦即,該高位2位元為“0”時,延伸區在該磁區已分配完畢且記錄完畢,其為“1”時,表示延伸區在該磁區已分配完畢但未記錄。
與利用UDF之上述檔案系統相同,在對於冊區域202B之檔案系統,一般而言,記錄於冊區域202B之各檔案分割為複數個延伸區時,如上述分配描述符,表示各延伸區配置之資訊一併記錄於冊區域202B。藉由參考該資訊,可得知各延伸區之配置,尤其可得知其邏輯位址。
<資料塊及延伸區塊之尺寸>
如第19圖所示,於BD-ROM碟片101上之多工串流資料分割為相依視圖資料塊D[n]與基礎視圖資料塊B[n]而配置(n=0、1、2、3、…)。其等資料塊群D[n]、B[n]進一步沿著磁軌採交插配置而連續記錄,藉此構成複數個延伸區塊1901-1903。為從該等延伸區塊1901-1903無縫再生2D影像及3D影像之任一者,各資料塊及各延伸區塊1901-1903之尺寸若符合根據再生裝置102之性能之以下條件即可。
《根據2D再生模式的性能之條件》
第84圖係表示2D再生模式之再生裝置102內之再生處理系統之模式圖。參考第84圖,該再生處理系統係包含第37圖所示之BD-ROM驅動器3701、讀緩衝器3702及系統目標解碼器3725。BD-ROM驅動器3701係從BD-ROM碟片101讀出2D延伸區,以讀出速度RUD54
傳輸至讀緩衝器3721。系統目標解碼器3725係從累積於讀緩衝器3721內之各2D延伸區,以平均傳輸速度REXT2D
讀出來源封包,並解碼為影像資料VD與聲音資料AD。
平均傳輸速度REXT2D
等於系統目標解碼器3725從各來源封包擷取TS封包之處理之平均速度之192/188倍,一般依各2D延伸區而不同。平均傳輸速度REXT2D
之最大值RMAX2D
等於對於檔案2D之系統率RTS
之192/188倍。在此,該系統率係如第37圖所示,規定於2D剪輯資訊檔案。又,係數192/188等於來源封包與TS封包之間之位元組數的比。平均傳輸速度REXT2D
一般以位元/秒來表示,具體而言,等於將以位元單位表示的2D延伸區之尺寸除以延伸區ATC時間時的值。「以位元單位表示的2D延伸區之尺寸」等於該延伸區內之來源封包數與來源封包每個之位元數(=192[位元組]×8[位元/位元組])的積。
讀出速度RUD54
一般以位元/秒來表示,設定為高於平均傳輸速度REXT2D
之最高值RMAX2D
之例如54Mbps:RUD54
>RMAX2D
。藉其,BD-ROM驅動器3701從BD-ROM碟片101讀出1個2D延伸區的期間,防止伴隨於系統目標解碼器3725之解碼處理之讀緩衝器3721之虧位。
第85(a)圖係表示於2D再生模式中,累積於讀緩衝器3721之資料量DA之變化之圖。第85(b)圖係表示再生對象之延伸區塊8510與2D再生模式下之再生路徑8520之間之對應關係之模式圖。參考第85(b)圖,按照再生路徑8520,延伸區塊8510內之各基礎視圖資料塊B[n](n=0、1、2、…)係作為1個2D延伸區EXT2D[n],從BD-ROM碟片101對讀緩衝器3721讀出。參考第85(a)圖,於各2D延伸區EXT2D[n]之讀出期間PR2D
[n],累積資料量DA係以等於讀出速度RUD54
與平均傳輸速度REXT2D
之間的差RUD54
-REXT2D
[n]之速度增加。另,於2個連續之2D延伸區EXT2D[n-1]、EXT2D[n]之間,發生跳躍J2D
[n]。於該跳躍期間PJ2D
[n],由於跳過相依視圖資料塊D[n]之讀出,因此從BD-ROM碟片101之資料讀出停止。因此,於跳躍期間PJ2D
[n],累積資料量DA係以平均傳輸速度REXT2D
[n]減少。
由BD-ROM驅動器3701所進行的讀出/傳輸動作實際上並非第85(a)圖之圖所暗示的連續性動作,其為間歇性動作。藉其,以防止於各2D延伸區之讀出期間PR2D
[n],累積資料量DA超過讀緩衝器3721的容量,亦即防止讀緩衝器3721之溢位。亦即,第85(a)圖之圖係將實際上呈階梯狀之增減,近似地表現作為直線增減。
若欲從第85(b)圖所示之延伸區塊8510無縫再生2D影像,則符合以下條件[1]、[2]即可。
[1]於各跳躍期間PJ2D
[n],須維持從讀緩衝器3721對於系統目標解碼器3725之資料供給,確保該解碼器3725之連續性輸出。此係符合如下條件即可:各2D延伸區EXT2D[n]之尺寸SEXT2D
[n]係從其讀出期間PR2D
[n]歷經下一跳躍期間PJ2D
[n+1],等於從讀緩衝器3721傳輸至系統目標解碼器3725之資料量。該情況下,如第85(a)圖所示,累積資料量DA係於該跳躍期間PJ2D
[n+1]之結束時,不會低於在該讀出期間PR2D
[n]開始時的量。亦即,於各跳躍期間PJ2D
[n],從讀緩衝器3721對系統目標解碼器3725持續供給資料,尤其於讀緩衝器3721不會發生虧位。在此,讀出期間PR2D
[n]之長度等於將2D延伸區EXT2D[n]之尺寸SEXT2D
[n]除以讀出速度RUD54
的值SEXT2D
[n]/RUD54
。因此,各2D延伸區EXT2D[n]之尺寸SEXT2D
[n]符合下式(1)之右邊所示之最小延伸區尺寸以上即可。
[數1]
於式(1),跳躍時間TJUMP-2D
[n]為跳躍期間PJ2D
[n]之長度,以秒單位來表示。另,讀出速度RUD54
及平均傳輸速度REXT2D
均以位元/秒來表示。因此,於式(1),將平均傳輸速度REXT2D
除以數字「8」,將2D延伸區之尺寸SEXT2D
[n]的單位從位元轉換為位元組。亦即,2D延伸區之尺寸SEXT2D
[n]以位元組單位來表示。函數CEIL()係意味將括弧內之數值之小數點以下的尾數予以進位之操作。
[2]讀緩衝器3721之容量有限,因此跳躍時間TJUMP-2D
[n]之最大值受限。亦即,於跳躍期間PJ2D
[n]前,累積資料量DA即使填滿讀緩衝器3721之容量,若跳躍時間TJUMO-2D
[n]過長,於跳躍期間PJ2D
[n]中,累積資料量DA達到0,有發生讀緩衝器3721虧位之風險。以下,於BD-ROM碟片101對讀緩衝器3721之資料供給中斷的狀態下,累積資料量DA從讀緩衝器3721之容量達到0之時間,亦即可保證無縫再生之跳躍時間TJUMP-2D
之最大值稱為「最大跳躍時間TJUMP_MAX
」。
於光碟片的規格中,一般而言,跳躍距離與最大跳躍時間之間之關係是由光碟片驅動器之存取速度等來決定。第86圖係關於BD-ROM碟片之跳躍距離SJUMP
與最大跳躍時間TJUMP_MAX
之間之對應表之一例。參考第86圖,跳躍距離SJUMP
係以磁區單位來表示,最大跳躍時間TJUMP_MAX
係以m秒為單位來表示。1磁區=2048位元組。跳躍距離SJUMP
屬於0磁區、1-10000磁區、10001-20000磁區、20001-40000磁區、40001磁區-1/10衝程及1/10衝程以上之各範圍時,最大跳躍時間TJUMP_
MAX
分別為0m秒、250m秒、300m秒、350m秒、700m秒及1400m秒。跳躍距離SJUMP
等於0磁區時之最大跳躍時間TJUMP_MAX
係等於零磁區變遷時間TJUMP0
。其中,於第86圖之例子中,零磁區變遷時間TJUMP0
視為0秒。
從以上可知,應代入式(1)之跳躍時間TJUMP-2D
[n]係由BD-ROM碟片之規格,依跳躍距離別所規定的最大跳躍時間TJUMP_
MAX
。具體而言,於第86圖之表中,對應於2D延伸區EXT2D[n-1]、EXT2D[n]間之跳躍距離SJUMP
,亦即對應於從第n個2D延伸區EXT2D[n]後端到第(n+1)個2D延伸區EXT2D[n+1]前端之磁區數之最大跳躍時間TJUMP_MAX
,係作為跳躍時間TJUMP-2D
[n]而代入式(1)。
於2個2D延伸區EXT2D[n]、EXT2D[n+1]間之跳躍J2D
[n],由於其跳躍時間TJUMP-2D
[n]限制在最大跳躍時間TJUMP_MAX
,因此其跳躍距離SJUMP
,亦即2個2D延伸區EXT2D[n]、EXT2D[n+1]之間隔亦受限。如該跳躍距離SJUMP
之最大值,將跳躍距離SJUMP
等於最大跳躍時間TJUMPMAX
時之跳躍距離SJUMP
稱為「最大跳躍距離SJUMP_MAX
」。於2D影像之無縫再生時,2D延伸區之間隔須為最大跳躍距離SJUMP_MAX
以下。
於各延伸區塊內,2D延伸區之間隔等於相依視圖資料塊之尺寸。因此,該尺寸限制在最大跳躍距離SJUMP_MAX
以下。具體而言,2D延伸區間之最大跳躍時間TJUMP_MAX
限制在第86圖所規定的最小值250秒時,該2D延伸區之間隔,亦即相依視圖資料塊之尺寸限制在相對應之最大跳躍距離SJUMP_MAX
=10000磁區以下。
無縫地連接配置於不同記錄層之2個延伸區塊間時,從位於前一延伸區塊後端之第n個2D延伸區EXT2D[n]到位於後續之延伸區塊前端之第(n+1)個2D延伸區EXT2D[n+1],發生長程跳躍。該長程跳躍伴隨有焦點跳躍等記錄層之切換操作。因此,該長程跳躍所必需的時間係除了第100圖之表所規定的最大跳躍時間TJUMP_MAX
以外,還進一步包含記錄層之切換操作所必需的時間,亦即「層切換時間」。「層切換時間」為例如350m秒。其結果,於第n個2D延伸區EXT2D[n]之尺寸所應符合的式(1)中,跳躍時間TJUMP-2D
[n]係由2個參數J[n]、TL[n]之和來決定:TJUMP-2D
[n]=TJ[n]+TL[n]。第1參數TJ[n]係由BD-ROM碟片之規格,對於長程跳躍之跳躍距離SJUMP
所規定的最大跳躍時間TJUMP_MAX
。該最大跳躍時間TJUMP_MAX
係於於第86圖之表中,等於被與從第n個2D延伸區EXT2D[n]後端到第(n+1)個2D延伸區EXT2D[n+1]前端之磁區數建立對應之磁區數之值。第2參數TL[n]係表示層切換時間之例如350m秒。因此,2個2D延伸區EXT2D[n]、EXT2D[n+1]之間隔係於第86圖之表中,限制在對應於從長程跳躍之最大跳躍時間TJUMP_MAX
除去層切換時間後之值之最大跳躍距離SJUMP_MAX
以下。
《根據3D再生模式的性能之條件》
第87圖係表示3D再生模式之再生裝置102內之再生處理系統之模式圖。參考第87圖,該再生處理系統係包含第42圖所示之BD-ROM驅動器4201、切換器4220、RB14221、RB24222及系統目標解碼器4225。BD-ROM驅動器4201係從BD-ROM碟片101讀出延伸區SS,以讀出速度RUD72
傳輸至切換器4220。切換器4220係將各延伸區SS分離為基礎視圖資料塊與相依視圖資料塊,基礎視圖資料塊儲存於RB14221,相依視圖資料塊儲存於RB24222。系統目標解碼器4225係從RB14221內之各基礎視圖資料塊,以基礎視圖傳輸速度REXT1
讀出來源封包,從RB24222內之各基礎視圖資料塊,以相依視圖傳輸速度REXT2
讀出來源封包。系統目標解碼器4225進一步將已讀出之基礎視圖資料塊及相依視圖資料塊之配對,解碼為影像資料VD與聲音資料AD。
基礎視圖傳輸速度REXT1
及相依視圖傳輸速度REXT2
係分別等於,系統目標解碼器4225從基礎視圖資料塊及相依視圖資料塊之各來源封包擷取TS封包之處理之平均速度之192/188倍。基礎視圖傳輸速度REXT1
之最高值RMAX1
等於對於檔案2D之系統率RTS1
之192/188倍。基礎視圖傳輸速度REXT1
之最高值RMAX2
等於對於檔案DEP之系統率RTS2
之192/188倍。各傳輸速度REXT1
、REXT2
一般以位元/秒來表示,具體而言,等於將以位元單位表示的各資料塊之尺寸除以延伸區ATC時間時的值。延伸區ATC時間係等於將資料塊內之來源封包,從RB14221或RB24222傳輸至系統目標解碼器4225所需要的時間。
讀出速度RUD72
一般以位元/秒來表示,設定為高於傳輸速度REXT1
、REXT2
之最高值RMAX1
、RMAX2
之例如72Mbps:RUD72
>RMAX1
、RUD72
>RMAX2
。藉其,BD-ROM驅動器4101從BD-ROM碟片101讀出1個延伸區SS的期間,防止伴隨於系統目標解碼器4125之解碼處理之RB14221及RB24222之虧位。
[延伸區塊內之無縫連接]
第88(a)、(b)圖係表示從1個延伸區塊無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。第88(c)圖係表示該延伸區塊8810與3D再生模式下之再生路徑8820之間之對應關係之模式圖。參考第88(c)圖,按照再生路徑8820,延伸區塊8810全體係作為1個延伸區而一次讀出。其後,由切換器4220,從該延伸區SS分離出相依視圖資料塊D[k]與基礎視圖資料塊B[k](k=…、n、n+1、n+2、…)。
由BD-ROM驅動器4101所進行的讀出/傳輸動作實際上並非第88(a)、(b)圖之各圖所暗示的連續性動作,其為間歇性動作。藉其,以防止於各資料塊D[k]、B[k]之讀出期間PRD
[k]、PRB
[k],RB14221、RB24222。亦即,第88(a)、(b)圖之各圖係將實際上呈階梯狀之增減,近似地表現作為直線增減。
參考第88(a)、(b)圖,於第(n+1)個相依視圖資料塊D[n]之讀出期間PRD
[n],RB24222之累積資料量DA2係以等於讀出速度RUD72
與相依視圖傳輸速度REXT2
[n]之間的差RUD72
-REXT2
[n]之速度增加,RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n-1]減少。參考第88(c)圖,從第n個相依視圖資料塊D[n]到第n個基礎視圖資料塊B[n],發生零磁區變遷J0
[2n]。如第88(a)、(b)圖所示,於零磁區變遷期間PJ0
[2n],RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n-1]持續減少,RB24222之累積資料量DA2係以相依視圖傳輸速度REXT1
[n]減少。
進一步參考第88(a)、(b)圖,於第(n+1)個基礎視圖資料塊B[n]之讀出期間PRB
[n],RB14221之累積資料量DA1係以等於讀出速度RUD72
與基礎視圖傳輸速度REXT1
[n]之間的差RUD72
-REXT1
[n]之速度增加。另,RB24222之累積資料量DA2係以相依視圖傳輸速度REXT2
[n]減少。進一步參考第88(c)圖,從該基礎視圖資料塊B[n]到下一基礎視圖資料塊D[n+1],發生零磁區變遷J0
[2n+1]。如第88(a)、(b)圖所示,於零磁區變遷期間PJ0
[2n+1],RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n]持續減少,RB24222之累積資料量DA2係以相依視圖傳輸速度REXT2
[n]持續減少。
若欲從1個延伸區塊8810無縫再生3D影像,則符合以下條件[3]、[4]即可。
[3]第(n+1)個基礎視圖資料塊B[n]之尺寸SEXT1
[n]係從其讀出期間PRB
[n]到下一基礎視圖資料塊B[n+1]之讀出期間PRB
[n+1]前,等於RB14221傳輸至系統目標解碼器4225之資料量。該情況下,如第88(a)圖所示,到下一基礎視圖資料塊B[n+1]之讀出期間PRB
[n+1]前,RB14221之累積資料量DA1不會低於在第n個基礎視圖資料塊B[n]之讀出期間PRB
[n]前的量。在此,第n個基礎視圖資料塊B[n]之讀出期間PRB
[n]之長度,等於將該基礎視圖資料塊B[n]之尺寸SEXT1
[n]除以讀出速度RUD72
的值SEXT1
[n]/RUD72
。另,第(n+2)個相依視圖資料塊D[n+1]之讀出期間PRD
[n+1]之長度,等於將該相依視圖資料塊D[n+1]之尺寸SEXT2
[n+1]除以讀出速度RUD72
的值SEXT2
[n+1]/RUD72
。因此,該基礎視圖資料塊B[n]之尺寸SEXT1
[n]符合下式(2)之右邊所示之最小延伸區尺寸以上即可。
[數2]
[4]第(n+1)個相依視圖資料塊D[n]之尺寸SEXT2
[n]係從其讀出期間PRD
[n]到下一基礎視圖資料塊D[n+1]之讀出期間PRD
[n+1]前,等於RB24222傳輸至系統目標解碼器4125之資料量。該情況下,如第88(b)圖所示,到下一相依視圖資料塊D[n+1]之讀出期間PRD
[n+1]前,RB24222之累積資料量DA2不會低於在第n個相依視圖資料塊D[n]之讀出期間PRD
[n]前的量。在此,第(n+1)個相依視圖資料塊D[n]之讀出期間PRD
[n]之長度,等於將該相依視圖資料塊D[n]之尺寸SEXT2
[n]除以讀出速度RUD72
的值SEXT2
[n]/RUD72
。因此,該相依視圖資料塊D[n]之尺寸SEXT2
[n]符合下式(3)之右邊所示之最小延伸區尺寸以上即可。
[數3]
[延伸區塊間之無縫連接]
第89(b)圖係表示第(M+1)個(整數M為1以上)延伸區塊8901與第(M+2)個延伸區塊8902,及其等延伸區塊8901、8902與3D再生模式下之再生路徑8920之間之對應關係之模式圖。參考第89(b)圖,2個延伸區塊8901、8902之間係由層交界LB或其他資料之記錄區域所分離。按照再生路徑8920,首先第(M+1)個延伸區塊8901全體係作為第(M+1)個延伸區SSEXTSS[M]而先被一次讀出。其後立即發生跳躍J[M]。接下來,第(M+2)個延伸區塊8902係作為第(M+2)個延伸區SSEXTSS[M+1]而一次讀出。
第89(a)圖係表示從2個延伸區塊8901、8902無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化,及其等之和DA1+DA2之變化之圖群。於第89(a)圖,1點短劃線之圖係表示累積於RB14221之資料量DA1之變化,虛線之圖係表示累積於RB24222之資料量DA2之變化,實線之圖係表示兩資料量之和DA1+DA2之變化。在此,實線之圖係將每讀出1個資料塊所發生的細微變化取得均值而予以直線地逼近。進而言之,零磁區變遷時間TJUMP0
視為“0秒”。
參考第89(a)圖,於第(M+1)個延伸區塊8901全體從BD-ROM碟片101對RB14221、RB24222讀出之期間PRBLK
[M],累積於其等之資料量DA1、DA2均增大。具體而言,於第(M+1)個延伸區塊8901全體之讀出期間PRBLK
[M]中,累積資料量之和DA1+DA2係以等於讀出速度RUD72
與平均傳輸速度REXTSS
[M]之間之差RUD72
-REXTSS
[M]之速度增加。該平均傳輸速度REXTSS
[M]係作為將第(M+1)個延伸區塊8901全體之尺寸,亦即將第(M+1)個延伸區SSEXTSS[M]之尺寸SEXTSS
[M]除以其延伸區ATC時間TEXTSS
之值來評估。
於第(M+1)個延伸區塊8901後端之基礎視圖資料塊載入於RB14221之時點,累積資料量之和DA1+DA2達到最大值。於其後之跳躍J[M]之期間PJ[M],累積資料量之和DA1+DA2係以平均傳輸速度REXTSS
[M]減少。因此,藉由將累積資料量之和DA1+DA2調節為充分大,可防止RB14221、RB24222之任一者在跳躍J[M]中虧位。其結果,可無縫地連接2個延伸區塊8901、8902。
累積資料量之和DA1+DA2之最大值係由第(M+1)個延伸區塊8901之尺寸來決定。因此,若欲將第(M+1)個延伸區塊8901無縫地連接於第(M+2)個延伸區塊8902,則第(M+1)個延伸區塊8901之尺寸,亦即第(M+1)個延伸區SSEXTSS[M]之尺寸SEXTSS
[M]符合如下條件[5]即可。
[5]於位於第(M+1)個延伸區塊8901前端之相依視圖資料塊D之讀出期間PRD
[m]進行預載(整數m為1以上)。於該預載期間PRD
[m],對應於該相依視圖資料塊D之基礎視圖資料塊B尚未儲存於RB14221,因此無法將相依視圖資料塊D從RB24222傳輸至系統目標解碼器4225。因此,於該預載期間PRD
[m],接續於緊接於其前之跳躍J[M-1]之期間,第M個延伸區塊之資料從RB24222傳輸至系統目標解碼器4225。藉其,維持對系統目標解碼器4225之資料供給。同樣地,於位於第(M+2)個延伸區塊8902前端之相依視圖資料塊D之讀出期間PRD
[n]亦進行預載(整數n為m+1以上)。因此,於該預載期間PRD
[n],接續於緊接於其前之跳躍J[M]之期間,第(M+1)個延伸區塊8901之資料從RB24222傳輸至系統目標解碼器4225。藉其,維持對系統目標解碼器4225之資料供給。因此,若欲維持RB14221、RB24222在跳躍J[M]中虧位,第(M+1)個延伸區SSEXTSS[M]之延伸區ATC時間TEXTSS
至少等於第(M+1)個延伸區塊8901之預載期間PRD
[m]之結束時點T0到第(M+2)個延伸區塊8902之預載期間PRD
[n]之結束時點T1之期間之長度即可。亦即,第(M+1)個延伸區SSEXTSS[M]之尺寸SEXTSS
[M]至少等於在該期間T0-T1,從RB14221及RB24222傳輸至系統目標解碼器4225之資料量之和即可。
如從第89(a)圖可知,期間T0-T1之長度等於加總第(M+1)個延伸區塊8901之讀出期間PRBLK
[M]、跳躍J[M]之跳躍時間TJUMP
[M]、及延伸區塊8901、8902間之預載期間PRD
[n]、PRD
[m]之長度差TDIFF
[M]之值。進而言之,第(M+1))個延伸區SSEXTSS[M]之讀出期間PRBLK
[M]之長度等於將第M個延伸區SSEXTSS[M]之尺寸SEXTSS
[M],除以讀出速度RUD72
之值SEXTSS
[M]/RUD72
之值。因此,第(M+1)個延伸區SSEXTSS[M]之尺寸SEXTSS
[M]若為下式(4)之右邊所示之最小延伸區尺寸以上即可。
[數4]
在此,各預載期間PRD
[n]、PRD
[m]之長度等於將位於各延伸區塊8901、8902前端之相依視圖資料塊D之尺寸SEXT2
[m]、SEXT2
[n],除以讀出速度RUD72
之值SEXT2
[m]/RUD72
、SEXT2
[n]/RUD72
。因此,預載期間PRD
[n]、PRD
[m]之長度差TDIFF
等於其等值之差:TDIFF=SEXT2
[n]/RUD72
-SEXT2
[m]/RUD72
。再者,式(4)之右邊亦可與式(1)-(3)之右邊同樣以位元組單元之整數值來表示。
又,如下處理多工串流資料之解碼處理時,於式(4)之右邊,將差TDIFF
視為0亦可。首先,預先求出多工串流資料全體之差TDIFF
之最大值,亦即差TDIFF
之最差值。接著,再生該多工串流資料時,令其解碼處理之開始時點較其讀出之開始時點,僅延後等於差TDIFF
之最差值之時間。
《用以刪減讀緩衝器容量之條件》
第90(a)、(b)圖係表示從第89(b)圖所示之2個延伸區塊8901、8902連續地再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。參考第90(a)圖,於第(M+1)個延伸區塊8901後端之基礎視圖資料塊B[n-1]載入於RB14221的時點,RB14221之累積資料量DA1達到極大值DM1。進而從緊接於其後之跳躍J[M]之期間PJ[M]歷經第(M+2)個延伸區塊8902之預載期間PRD
[n],累積資料量DA1係以基礎視圖傳輸速度REXT1
[n-1]減少。因此,若欲防止到該預載期間PRD
[n]結束前,累積資料量DA1達到0,則於跳躍期間PJ[M]及預載期間PRD
[n],累積資料量DA1之極大值DM1為RB14221傳輸至系統目標解碼器4225之資料量以上即可。亦即,累積資料量DA1之極大值DM1係對跳躍期間PJ[M]之長度SEXT2
[n]/RUD72
之和,乘以基礎視圖傳輸速度REXT1
[n-1]之值以上即可:DM1≧(TJUMP
[M]+SEXT2
[n]/RUD72
)×REXT1
[n-1]。在此,跳躍期間PJ[M]之長度TJUMP
[M]等於跳躍J[M]之最大跳躍時間TJUMP_MAX
,且等於基礎視圖傳輸速度REXT1
[n-1]等於最大值RMAX1
時,累積資料量DA1之極大值DM1亦最大。因此,對第1讀緩衝器4121要求當時之極大值DM1以上之容量RB1:RB1≧(TJUMP_MAX
+SEXT2
[n]/RUD72
)×RMAX1
。
另,參考第90(b)圖,於第(M+1)個延伸區塊8901後端之基礎視圖資料塊B[n-1]開始載入的時點,RB24222之累積資料量DA2達到極大值DM2。進而從該基礎視圖資料塊B[n-1]之讀出期間,歷經第(M+2)個延伸區塊8902之預載期間PRD
[n],累積資料量DA2係以相依視圖傳輸速度REXT2
[n-1]減少。因此,若欲防止到該預載期間PRD
[n]結束為止維持對系統目標解碼器4225之資料供給,則於基礎視圖資料塊B[n-1]之讀出期間、跳躍期間PJ[M]及預載期間PRD
[n],累積資料量DA2之極大值DM2為RB24222傳輸至系統目標解碼器4225之資料量以上即可。亦即,累積資料量DA2之極大值DM2係對基礎視圖資料塊B[n-1]之讀出期間之長度SEXT1
[n-1]/RUD72
、跳躍期間PJ[M]之長度TJUMP
[M]及預載期間PRD
[n]之長度SEXT2
[n]/RUD72
之和,乘以相依視圖傳輸速度REXT2
[n-1]之值以上之值即可:DM2≧(SEXT1
[n-1]/RUD72
+TJUMP
[M]+SEXT2
[n]/RUD72
)×REXT2
[n-1]。在此,跳躍期間PJ[M]之長度TJUMP
[M]等於跳躍J[M]之最大跳躍時間TJUMP_MAX
,且等於相依視圖傳輸速度REXT2
[n-1]等於最大值RMAX2
時,累積資料量DA2之極大值DM2亦最大。因此,對RB24222要求當時之極大值DM2以上之容量RB2:RB2≧(SEXT1
[n-1]/RUD72
+TJUMP_MAX
+SEXT2
[n]/RUD72
)×RMAX2
。而且,由於任一相依視圖資料塊均可能由於跳入再生而成為最先被載入之資料塊,因此RB24222之容量RB2不得低於任一相依視圖資料塊之尺寸:RB2≧SEXT2
[k](整數k任意)。
如上述,各讀緩衝器4121、4122之容量RB1、RB2之下限值係由資料塊之尺寸SEXT1
[k]、SEXT2
[k]來決定。因此,以節省各容量RB1、RB2為目的,將各資料塊之尺寸SEXT1
[k]、SEXT2
[k]之上限值,亦即將最大延伸區尺寸限制在以下條件[6]。
[6]如第19圖所示,各延伸區塊1901-1903內之基礎視圖資料塊B[k]係由檔案2D及檔案SS所共有。因此,基礎視圖資料塊B[k]之尺寸SEXT1
[k]應符合式(1)。另,若欲儘可能縮小RB14221之容量RB1,則基礎視圖資料塊B[k]之尺寸SEXT1
[k]為2D延伸區之最小延伸區尺寸之下限值以下即可。亦即,該尺寸SEXT1
[k]為下式(5)之右邊所示之最大延伸區尺寸以下即可。
[數5]
在此,2D延伸區之最小延伸區尺寸之下限值係以將式(1)右邊分母所含之平均傳輸速度REXT2D
,置換為該最高值RMAX2D
之形式來評估。跳躍時間TJUMP-2D_MIN
係於各延伸區塊1901-1903內所必需的跳躍時間之最小值,亦即2D延伸區間之最大跳躍時間TJUMP_MAX
之最小值。具體而言,跳躍時間TJUMP-2D_MIN
係設定為第86圖之表所規定的最小值250秒。另,2D延伸區之間隔等於相依視圖資料塊D[k]之尺寸SEXT2
[k]。因此,跳躍時間TJUMP-2D_MIN
設定為250秒時,相依視圖資料塊D[k]之尺寸SEXT2
[k]限制在於第86圖之表中,被與最大跳躍時間TJUMP_MAX
=250秒建立對應之最大跳躍距離SJUMP_MAX
=10000磁區以下。亦即,相依視圖資料塊之最大延伸區尺寸為10000磁區。
《總結》
若欲從複數個延伸區塊無縫再生2D影像及3D影像之任一者,則符合上述條件[1]-[6]全部即可。尤其各資料塊及各延伸區塊之尺寸符合如下條件1-5即可。
條件1:2D延伸區之尺寸SEXT2D
符合式(1)。
條件2:基礎視圖資料塊之尺寸SEXT1
符合式(2)。
條件3:相依視圖資料塊之尺寸SEXT2
符合式(3)。
條件4:延伸區塊之尺寸SEXTSS
符合式(4)。
條件5:基礎視圖資料塊之尺寸SEXT1
符合式(5)。
《條件1之變形例》
從第21圖所示之2D再生模式之再生路徑2101可知,於2D再生模式下頻繁地發生跳躍。因此,為了更確實執行無縫再生,宜於式(1)之右邊所示之2D延伸區之最小延伸區尺寸,進一步追加邊限(餘裕量)。然而,由於追加該邊限而變更條件5,亦即變更式(5),很有可能導致讀緩衝器之容量增大,因此應避免。不變更式(5)而追加邊限的方法有以下3種。
第1方法係將式(1)右邊分母所含之平均傳輸速度REXT2D
,置換為最大值RMAX2D
,藉此於2D延伸區之最小延伸區尺寸追加邊限。亦即,條件1變更為2D延伸區之尺寸SEXT2D
符合下式(6)以取代符合式(1)。
[數6]
在此,於式(5),利用將式(1)右邊分母所含之平均傳輸速度REXT2D
,置換為最大值RMAX2D
之表現式。因此,即便式(1)變更為式(6),式(5)仍不受變更。
第2方法係將2D延伸區之延伸區ATC時間延長ΔT秒,藉此於2D延伸區之最小延伸區尺寸追加邊限。亦即,條件1變更為2D延伸區之尺寸SEXT2D
符合下式(7A)或(7B)以取代符合式(1)。
[數7]
延長時間ΔT亦可從GOP之長度或每特定時間可再生之延伸區數之上限來決定。例如若GOP之長度最大為1秒,則設定為ΔT=1.0秒。另,若每特定時間[秒]可再生之延伸區數之上限為n個,則設定為ΔT=特定時間/n[秒]。
第3方法係將式(1)右邊所含之平均傳輸速度REXT2D
,置換為最大值RMAX
,藉此於2D延伸區之最小延伸區尺寸追加邊限。亦即,條件1變更為2D延伸區之尺寸SEXT2D
符合下式(8)以取代符合式(1)。
[數8]
於該方法中,可於最小延伸區尺寸追加更大的邊限。然而另一方面,即便於2D延伸區之位元率低時,仍須確保充分大的該尺寸。因此,須比較衡量邊限大小與對BD-ROM碟片之資料記錄效率。
再者,採用第2方法時,若令2D影像之無縫再生之進一步的確定性,優先於刪減讀緩衝器之容量亦可,則將式(5)變更為式(9)亦可。
[數9]
<串流資料之傳輸速度>
第91圖係表示3D再生模式之系統目標解碼器4225內所具備的視訊串流之處理系統之方塊圖。參考第91圖,該處理系統包含:第45圖所示之1對來源解封包處理器4511、4512、1對PID濾波器4513、4514及主影像解碼器4515。
第1來源解封包處理器4511係以基礎視圖傳輸速度REXT1
,從RB14221內之各基礎視圖資料塊讀出來源封包。第1來源解封包處理器4511進一步從該來源封包中,擷取TS封包並傳輸至第1PID濾波器4513。該傳輸之平均速度最高達到對於檔案2D之系統率RTS1
。因此,基礎視圖傳輸速度REXT1
之最高值RMAX1
等於該系統率RTS1
之192/188倍。第1PID濾波器4513係將包含基礎視圖串流之TS封包,送往主影像解碼器4515內之TB14501。TB14501係從該TS封包復原PES封包,以平均速度RX1
傳輸至MB14502。MB14502係從該PES封包擷取基礎視圖串流之VAU,以平均速度Rbx1
傳輸至EB14503。
第2來源解封包處理器4512係以相依視圖傳輸速度REXT2
,從RB24222內之各相依視圖資料塊讀出來源封包。第2來源解封包處理器4512進一步從該來源封包中,擷取TS封包並傳輸至第2PID濾波器4514。該傳輸之平均速度最高達到對於檔案DEP之系統率RTS2
。因此,相依視圖傳輸速度REXT2
之最高值RMAX2
等於該系統率RTS2
之192/188倍。第2PID濾波器4514係將包含相依視圖串流之TS封包,送往主影像解碼器4515內之TB24508。TB24508係從該TS封包復原PES封包,以平均速度RX2
傳輸至MB24509。MB24509係從該PES封包擷取相依視圖串流之VAU,以平均速度Rbx2
傳輸至EB24510。
分別累積於EB14503及EB24510之VAU係由緩衝器切換器4506,交替傳輸至DEC4504,並由DEC4504解碼為非壓縮圖片資料。在此,如第7圖所示,相依視圖圖片係參考基礎視圖圖片而受到壓縮。因而相依視圖串流之平均的位元率低於基礎視圖視訊串流。因此,對於檔案DEP之系統率RTS2
若設定低於對於檔案2D之系統率RTS1
即足夠。例如對於檔案2D之系統率RTS1
設定為45Mbps以下時,對於檔案DEP之系統率RTS2
設定為30Mbps以下即足夠:RTS1
≦45Mbps、RTS2
≦30Mbps。
在此,設想系統率RTS1
、RTS2
之合計限定為一定臨限值以下的情況。該臨限值設定為分派給系統目標解碼器4225之傳輸頻帶寬以下,等於例如60Mbps:RTS1
+RTS2
≦60Mbps。該情況下,當對於檔案2D之系統率RTS1
設定為45Mbps時,對於檔案DEP之系統率RTS2
則限制為15Mbps以下:RTS1
=45Mbps,RTS2
≦15Mbps。只要各視訊串流之位元率維持在平均的值,則對於系統率RTS1
、RTS2
之該類限制係對於效率良好地利用上述傳輸頻帶有利。然而,實際上會有相依視圖串流之位元率暫時超過基礎視圖視訊串流之位元率的情況。例如於表現自然風景的3D影像,基礎視圖(例如左視圖)的焦點突然偏離,僅有相依視圖(例如右視圖)的焦點對準時,發生該類位元率之逆轉。該情況下,即使基礎視圖傳輸速度REXT1
相當低於系統率RTS1
=45Mbps,相依視圖傳輸速度REXT2
仍無法超過系統率RTS2
≦15Mbps(正確來說為其192/188≒1.02倍,以下只要未有特別需要,該係數均視為1)。如此,系統率RTS1
、RTS2
之合計受到限制時,相依視圖傳輸速度REXT2
無法對應相依視圖視訊串流之位元率之暫時性上升。
為了實現該對應,限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]在延伸區單位之合計,以取代限制系統率RTS1
、RTS2
之合計即可:REXT1
[n]+REXT2
[n]≦60Mbps。該基礎視圖傳輸速度REXT1
[n]係傳輸包含檔案庫內之第(n+1)個延伸區EXT1[n]之來源封包時之平均值,該相依視圖傳輸速度REXT2
[n]係傳輸包含檔案DEP內之第(n+1)個延伸區EXT2[n]之來源封包時之平均值。第92(a)、(b)圖係分別表示該情況下之基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
之時間性變化之圖。參考第92(a)圖,基礎視圖傳輸速度REXT1
係於第1時刻T0,從最高值RMAX1
≒45Mbps急遽下降,從第1時刻到第2時刻T1之期間Tstr
中,停留於低位準=15Mbps。如第92(b)圖以實線之圖GR1所示,相依視圖傳輸速度REXT2
可對於基礎視圖傳輸速度REXT1
之變化相輔相成地變化。尤其於上述期間Tstr
,峰值P1可達到最高值RMAX2
≒30Mbps。如此,以延伸區單位限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之合計時,相依視圖傳輸速度REXT2
亦可對應相依視圖串流之位元率之暫時性上升。
為了將分派給系統目標解碼器4225之傳輸頻帶,更效率良好地利用在串流資料之傳輸,宜更高地設定對於檔案DEP之系統率RTS2
。第92(c)圖係表示令第92(a)、(b)圖所示之基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
相加後之值之時間性變化之圖。如第92(c)圖之實線圖GR3之凹陷CV所示,基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
之和係於第1時刻T0到第2時刻T1之期間Tstr
中,低於臨限值60Mbps。此係如第92(b)圖以實線圖GR1所示,因相依視圖傳輸速度REXT2
限制在對於檔案DEP之系統率RTS2
=30Mbps以下所致。如第92(a)圖所示,於該期間Tstr
,由於基礎視圖傳輸速度REXT1
降低至15Mbps,因此於傳輸頻帶寬至少留有等於該值與臨限值之間之差60-15=45Mbps之餘裕。因此,對於檔案DEP之系統率RTS2
宜設定在高於30Mbps之範圍,例如設定在45Mbps以下:RTS1
≦45Mbps、RTS2
≦45Mbps。於第92(b)、(c)圖,分別以虛線GR2、GR4表示該情況下之相依視圖傳輸速度REXT2
、及基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
之和。如第92(b)圖以虛線圖GR2所示,相依視圖傳輸速度REXT2
之峰值P2可超過30Mbps。其結果,如第92(c)圖以虛線圖GR4所示,基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
之和係於上述期間Tstr
中,維持在臨限值60Mbps附近。如此,可令上述傳輸頻帶之利用效率進一步提升。
但設定對於檔案DEP之系統率RTS2
與對於檔案2D之系統率RTS1
為相同程度高之值時,其等之合計RTS1
+RTS2
一般高於系統目標解碼器4225之傳輸頻帶。另,由於基礎視圖傳輸速度REXT1
[n]及相依視圖傳輸速度REXT2
[n]都是平均值,因此即便於其等之合計設定臨限值,仍不會限制傳輸速度之瞬間值之合計超過該臨限值。作為具體例可設想各系統率RTS1
、RTS2
設定為45Mbps,各延伸區之延伸區ATC時間為3秒,且於其前半之1.5秒鐘,傳輸速度之合計維持在30Mbps的情況。該情況下,於後半之1.5秒鐘,假設各傳輸速度上升至45Mbps,延伸區全體平均之傳輸速度仍抑制在60Mbps。因此,即便限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之合計為60Mbps以下,仍不會限制傳輸速度之瞬間值之合計上升至90Mbps。如此,僅限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之合計,系統目標解碼器4225之傳輸頻帶飽和的風險並非零。
以進一步使得系統目標解碼器4225之傳輸頻帶飽和之風險降低為目的,亦可進一步如下變更對於傳輸速度合計之限制。第93圖係表示於系統目標解碼器內,從來源解封包處理器往PID濾波器傳輸之TS封包與ATC時間之間之關係之模式圖。參考第93圖,上層之矩形9310係表示構成基礎視圖延伸區之TS封包,即TS1#p(p=1、2、3、…、k、k+1、k+2)之傳輸期間,下層之矩形9320係表示構成相依視圖延伸區之TS封包,即TS2#q(q=1、2、3、…、m-1、m、m+1)之傳輸期間。其等矩形9310、9320係於ATC之時間軸方向,依TS封包之傳輸順序排列。各矩形9310、9320開頭之位置係表示該TS封包之傳輸開始時間。各矩形9310、9320之長度AT1、AT2係表示1個TS封包從讀緩衝器,傳輸至系統目標解碼器所需要的時間。3D再生裝置係每當從來源解封包處理器開始傳輸1個TS封包時,設定以該傳輸開始時刻為起點之特定時間長,例如1秒鐘之視窗WIN1、WIN2、WIN3。3D再生裝置進一步於各視窗WIN1、WIN2、WIN3內,平均TS1與TS2之各傳輸速度,限制其等之平均值之合計為特定臨限值以下。於第93圖所示之例中,首先設定以TS1#0之傳輸開始時刻A1為起點之第1視窗WIN1,關於在其中傳輸之TS1#0-k及TS2#0-m,傳輸速度之合計限制在臨限值以下。同樣地,關於以TS2#0之傳輸開始時刻A2為起點之第2視窗WIN2中傳輸之TS1#0-(k+1)及TS2#0-m,傳輸速度之合計限制在臨限值以下,關於以TS1#1之傳輸開始時刻A3為起點之第3視窗WIN3中傳輸之TS1#1-(k+1)及TS2#0-(m+1),傳輸速度之合計限制在臨限值以下。如此,一面於每TS封包之傳輸時間,逐一錯開一定長度之視窗,一面將各視窗之平均傳輸速度之合計限制在特定臨限值以下。藉其,視窗越短,越減低系統目標解碼器4225之傳輸頻帶飽和的風險。
對於檔案DEP之系統率RTS2
設定與對於檔案庫之系統率RTS1
相同程度高時,設想相依視圖傳輸速度REXT2
亦上升至相同程度的情況。第(n+1)個相依視圖延伸區之傳輸速度REXT2
[n]如此上升時,由於對於傳輸速度合計之限制,對於第(n+1)個基礎視圖延伸區之傳輸速度REXT1
[n]係較最高值RMAX1
明顯降低。另,於最大延伸區尺寸之定義式(5),分母所含之平均傳輸速度REXT2D
係以該最高值RMAX2D
來評估。進而言之,第(n+1)個基礎視圖延伸區之延伸區ATC時間,係以該最大延伸區尺寸與基礎視圖傳輸速度REXT1
[n]之比所表示的值作為上限。因此,該上限明顯長於實際之延伸區ATC時間。由於在第(n+1)個基礎視圖延伸區及第(n+1)個相依視圖延伸區,其延伸區ATC時間為共通,因此該相依視圖延伸區之尺寸最大等於相依視圖傳輸速度REXT2
[n]與上述延伸區ATC時間之上限的積。該尺寸明顯大於無縫再生實際上所需要的值,因此妨礙進一步刪減RB2之容量。因此,對於檔案DEP之系統率RTS2
設定與對於檔案庫之系統率RTS1
相同程度高時,宜將對於最大延伸區尺寸之條件5,亦即將式(5)變更為下式(10):
[數10]
於式(10)之右邊,分母所含之傳輸速度係採用對於2D延伸區之平均傳輸速度之最高值RMAX2D
、或傳輸速度最高值之合計RMAX1
+RMAX2
與相依視圖傳輸速度REXT2
之間之差之某一較低的一方。在此,傳輸速度最高值之合計RMAX1
+RMAX2
等於系統率之合計RTS1
+RTS2
之192/188。因此,相依視圖傳輸速度REXT2
上升到與系統率相同程度時,以上述差評估最大延伸區尺寸。藉其,基礎視圖延伸區之延伸區ATC時間之上限抑制在接近實際之延伸ATC時間。因此,相依視圖延伸區之尺寸抑制在無縫再生實際上所需值程度。如此,可將RB2之容量維持在充分小。
<對於檔案DEP之系統率高時之資料塊之配置>
第94(a)圖係針對1個延伸區配對,依基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之組合別來表示最大延伸區尺寸maxSEXT1
[n]、maxSEXT2
[n]之表。在此,「延伸區配對」係指檔案庫所含之第(n+1)個基礎視圖延伸區、與檔案DEP所含之第(n+1)個相依視圖延伸區之配對(n=0、1、2、…)。最大延伸區尺寸maxSEXT1
[n]、maxSEXT2
[n]係利用式(5)所計算的值。如從式(5)包含2D再生模式之BD-ROM驅動器之讀出速度RUD54
可知,最大延伸區尺寸maxSEXT1
[n]、maxSEXT2
[n]取決於BD-ROM驅動器之性能。因此,第94(a)圖所示之值僅為一例。
參考第94(a)圖,基礎視圖傳輸速度REXT1
[n]為45Mbps,且相依視圖傳輸速度REXT2
[n]為15MbpS時,相依視圖延伸區之最大延伸區尺寸maxSEXT2
[n]為6MB。相反地,基礎視圖傳輸速度REXT1
[n]為15Mbps,且相依視圖傳輸速度REXT2
[n]為45Mbps時,相依視圖延伸區之最大延伸區尺寸maxSEXT2
[n]為8MB。如利用第90圖所說明,位於各延伸區塊開頭之相依視圖資料塊之尺寸越大,對讀緩衝區所要求的容量越大。因此,於延伸區塊之預載期間,若相依視圖傳輸速度REXT2
[n]上升,則相依視圖延伸區之最大延伸區尺寸maxSEXT2
[n]會增大,阻礙進一步刪減讀緩衝器之容量,因此不適宜。
因此,於位在延伸區開頭之延伸區配對EXT1[n]、EXT2[n],相依視圖傳輸速度REXT2
[n]超過基礎視圖傳輸速度REXT1
[n]時,將基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]之前。亦即,於該延伸區配對中,尺寸小的資料塊配置於尺寸大的資料塊前。藉其,可如以下將讀緩衝器之容量維持在較小。
第94(b)圖係就隔著層交界LB而配置之2個延伸區塊9401、9402,表示採用上述配置時之模式圖。參考第94(b)圖,於檔案庫9411與檔案DEP9412之間之延伸區配對中,第(n+1)個延伸區配對EXT1[n]、EXT2[n]配置於第M個延伸區塊9402開頭。於該延伸區配對,由於相依視圖傳輸速度REXT2
[n]高於基礎視圖傳輸速度REXT1
[n],因此相依視圖資料塊D[n]之尺寸大於基礎視圖資料塊B[n]。因此,於該延伸區配對,基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前。另,於第(n-1)個、第n個及第(n+2)個延伸區配對EXT1[k]、EXT2[k](k=n-2、n-1、n+1),相依視圖傳輸速度REXT2
[k]低於基礎視圖傳輸速度REXT1
[k],因起相依視圖傳輸速度REXT2
[k]之尺寸小於基礎視圖傳輸速度REXT1
[k]。因此,於其等延伸區配對,相依視圖資料塊D[k]配置於基礎視圖資料塊B[k]前。
第95(a)、(b)圖係表示從第94(b)圖所示之2個延伸區塊9401、9402連續地無縫再生3D影像時,分別累積於RB1及RB2之資料量DA1、DA2之變化之圖。實線圖G1P、G2P係表示於配置在第M個延伸區塊9402開頭之第(n+1)個延伸區配對EXT1[n]、EXT2[n],基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前時之累積資料量DA1、DA2之變化。虛線圖G1Q、G2Q係表示於該延伸區配對EXT1[n]、EXT2[n],相依視圖資料塊D[n]配置於基礎視圖資料塊B[n]前時之累積資料量DA1、DA2之變化。
參考第95(a)圖,於第(M-1)個延伸區塊9401後端之基礎視圖資料塊B[n-1]載入於RB1之時點,RB1之累積資料量DA1達到極大值DM10、DM11。進而從緊接於其後之跳躍期間PJ[M]歷經第M個延伸區塊9402之預載期間PRB
[n],累積資料量DA1係以基礎視圖傳輸速度REXT1
[n-1]減少。在此,於第(n+1)個延伸區配對EXT1[n]、EXT2[n],基礎視圖資料塊B[n]之尺寸小於相依視圖資料塊D[n]。因此,基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前時之預載期間PRB
[n]之長度SEXT1
[n]/RUD72
短於相反配置下之預載期間PRB
[n]之長度SEXT2[n]
/RUD72
。其結果,基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前時之累積資料量DA1之極大值DM11低於相反配置下之極大值DM10。
參考第95(b)圖,於第(M-1)個延伸區塊9401後端之基礎視圖資料塊B[n-1]開始載入之時點,RB2之累積資料量DA2達到極大值DM20、DM21。進而從該基礎視圖資料塊B[n-1]之讀出期間歷經第M個延伸區塊9402之預載期間PRB
[n]、PRD
[n],累積資料量DA2係以相依視圖傳輸速度REXT2
[n-1]減少。在此,基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前時之預載期間PRB
[n]之長度SEXT1
[n]/RUD72
短於相反配置下之預載期間PRD
[n]之長度SEXT2[n]
/RUD72
。其結果,基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前時之累積資料量DA2之極大值DM21低於相反配置下之極大值DM20。
如上述,於配置在延伸區塊開頭之延伸區配對中,將尺寸小的資料塊配置於尺寸大的資料塊前時,可將讀緩衝器之容量維持在較小。
同樣地,於配置在可進行跳入再生位置之延伸區配對中,尺寸小的資料塊亦配置於尺寸大的資料塊。藉其,可將讀緩衝器之容量維持在較小。該情況下,不限於延伸區塊開頭,即便於位在中途位置之延伸區配對中,資料塊的順序仍可逆轉。第96(a)圖係表示對於該類配置之延伸區起點之資料構造(語法)之模式圖。該延伸區起點(Extent_Start_Point)係與第24(a)、(b)圖所示之延伸區起點相同,分別對於檔案2D及檔案DEP設定。參考第96(a)圖,於該延伸區起點,對延伸區ID(extent_id)及SPN(SPN_extent_start)之各對分派1個延伸區開始旗標(is_located_first_extent_pair)。
第96(b)圖係表示屬於檔案庫之基礎視圖延伸區EXT1[k](k=0、1、2、…)與表示延伸區起點之延伸區開始旗標之間之對應關係之模式圖。第96(c)圖係表示屬於檔案DEP之相依視圖延伸區EXT2[k]與延伸區開始旗標之間之對應關係之模式圖。第96(d)圖係表示屬於檔案SS之延伸區SSEXTSS[0]與BD-ROM碟片上之延伸區塊之間之對應關係之模式圖。參考第96(b)、(c)圖,於延伸區ID相等之延伸區配對EXT1[k]、EXT2[k],延伸區開始旗標之值設定為相反。尤其是延伸區開始旗標之值為“1”的延伸區,其來源封包少於“0”的延伸區。參考第96(d)圖,延伸區開始旗標之值為“1”的延伸區配置於“0”的延伸區前。如此,延伸區開始旗標係表示延伸區配對EXT1[n]、EXT2[n]中,何個延伸區配置於前。因此,從延伸區開始旗標之值,可得知延伸區配對EXT1[n]、EXT2[n]中之資料塊配置。因而即便於延伸區配對間,資料塊的順序不同,再生控制部4235仍可利用延伸區起點,向切換器4220告知從各延伸區SS開頭到資料塊間之各交界之來源封包數。其結果,切換器4220可從延伸區SS,分離出基礎視圖延伸區與相依視圖延伸區。
於各延伸區配對中,資料塊的順序固定時,RB1與RB2之各容量之下限值係利用第90圖算出如下:RB1≧(TJUMP_MAX
+SEXT2
[n]/RUD72
)×RMAX1
、≧RB2≧max{(SEXT1
[n-1]/RUD72
+TJUMP_MAX
+SEXT2
[n]/RUD72
)×RMAX2
、SEXT2
[n]}。相對於其,於位在延伸區塊中途之延伸區配對中,資料塊的順序逆轉亦可時,RB1與EB2之各容量之下限值可變更如下。
第97(c)圖係表示對RB14221所要求的容量最大之資料塊之配置之模式圖。參考第97(c)圖,第(M-1)個延伸區塊9701與第M個延伸區塊9702係於其間隔著層交界LB而配置(整數M為2以上)。於第M個延伸區塊9702開頭配置第(n+1)個延伸區配對D[n]、B[n],尤其相依視圖資料塊D[n]配置於基礎視圖資料塊B[n]前(整數n為0以上)。另,於第(M-1)個延伸區9701後端配置第n個延伸區配對D[n-1]、B[n-1],尤其基礎視圖資料塊B[n-1]位於相依視圖資料塊D[n-1]前。
第97(a)、(b)圖係表示從(c)所示之延伸區塊9701、9702連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。參考第97(a)圖,第n個基礎視圖資料塊B[n-1]載入於RB14221之時點,RB14221之累積資料量DA1達到極大值DM1。由於從緊接於其後之相依視圖資料塊D[n-1]之讀出期間ΔT1,歷經越過層交界LB之長程跳躍之期間ΔT2及第M個延伸區塊9702之預載期間ΔT3,未於RB14221載入資料塊,因此該累積資料量DA1減少。於其等期間ΔT1-ΔT3,首先到第(n-1)個基礎視圖資料塊B[k](k=…、n-3、n-2)係以平均傳輸速度REXT1
[…、n-3、n-2]傳輸,接下來第n個基礎視圖資料塊B[n-1]係以平均傳輸速度REXT1
[n-1]傳輸。為了防止累積資料量DA1在預載期間ΔT3前達到0,於較其結束時點僅提早第n個基礎視圖資料塊B[n-1]之延伸區ATC時間TEXT1
[n-1]之時點,若累積資料量DA1至少等於該基礎視圖資料塊B[n-1]之尺寸SEXT1
[n-1]即可。因此,累積資料量DA1之極大值DM1若比該尺寸SEXT1
[n-1],大出於剩餘期間ΔT1+ΔT2+ΔT3-TEXT1
[n-1],從RB14221傳輸至系統目標解碼器4225之資料量REXT1
[…、n-3、n-2]×(ΔT1+ΔT2+ΔT3-TEXT1
[n-1])以上即可。亦即,對RB14221要求該極大值DM1以上之容量RB1:RB1≧SEXT1
[n-1]+REXT1
[…、n-3、n-2]×(ΔT1+ΔT2+ΔT3-TEXT1
[n-1])。在此,長程跳躍之時間ΔT2係以該長程跳躍之最大跳躍時間TMAX_MAX
來評估。
第97(f)圖係表示對RB24222所要求的容量最大之資料塊之配置之模式圖。參考第97(f)圖,第(N-1)個延伸區塊9703與第N個延伸區塊9704係於其間隔著層交界LB而配置(整數N為2以上)。於第N個延伸區塊9704開頭配置第(n+1)個延伸區配對D[n]、B[n],尤其相依視圖資料塊D[n]配置於基礎視圖資料塊B[n]後。另,於第(N-1)個延伸區9703後端配置第n個延伸區配對D[n-1]、B[n-1],尤其基礎視圖資料塊B[n-1]位於相依視圖資料塊D[n-1]後。
第97(d)、(e)圖係表示從第97(f)圖所示之延伸區塊9703、9704連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。參考第97(e)圖,第n個基礎視圖資料塊B[n-1]載入於RB14221之時點,RB24222之累積資料量DA2達到極大值DM2。由於從緊接於其後之基礎視圖資料塊B[n-1]之讀出期間ΔT4,歷經越過層交界LB之長程跳躍之期間ΔT5及第M個延伸區塊9702之預載期間ΔT6,未於RB24222載入資料塊,因此該累積資料量DA2減少。於其等期間ΔT4-ΔT6,首先到第(n-1)個相依視圖資料塊D[k](k=…、n-3、n-2)係以平均傳輸速度REXT2
[…、n-3、n-2]傳輸,接下來第n個相依視圖資料塊D[n-1]係以平均傳輸速度REXT2
[n-1]傳輸。為了防止累積資料量DΔ2在預載期間ΔT6前達到0,於較其結束時點僅提早第n個相依視圖資料塊D[n-1]之延伸區ATC時間TEXT2
[n-1]之時點,若累積資料量DA2至少等於該相依視圖資料塊D[n-1]之尺寸SEXT2
[n-1]即可。因此,累積資料量DA2之極大值DM2若比該尺寸SEXT1
[n-1],大出於剩餘期間ΔT4+ΔT5+ΔT6-TEXT2
[n-1],從RB24222傳輸至系統目標解碼器4225之資料量REXT2
[…、n-3、n-2]]×(ΔT4+ΔT5+ΔT6-TEXT2
[n-1])以上即可。亦即,對RB24222要求該極大值DM2以上之容量RB2:RB2≧SEXT2
[n-1]+REXT2
[…、n-3、n-2]×(ΔT4+ΔT5+ΔT6-TEXT2
[n-1])。在此,長程跳躍之時間ΔT5係以該長程跳躍之最大跳躍時間TJUMP_MAX
來評估。
於位在延伸區塊中途之延伸區配對中,資料塊的順序逆轉亦可時,進一步如下變更對於該延伸區配對之條件2、3,亦即變更式(2)、(3)。
第98(c)圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9810之模式圖。參考第98(c)圖,於第(n+2)個延伸區配對D[n+1]、B[n+1],相依視圖資料塊D[n+1]位於基礎視圖資料塊B[n]後。於其前後之延伸區配對D[n]、B[n]、D[n+1]、B[n+1],基礎視圖資料塊B[n]、B[n+1]位於相依視圖資料塊D[n]、D[n+1]後。
第98(a)、(b)圖係表示從第98(c)圖所示之延伸區塊9801連續地無縫再生3D影像時,RB14221、RB24222之各累積資料量DA1、DA2之變化之圖。在此,參考第98(a)、(b)圖,於第(n+1)個相依視圖資料塊D[n]之讀出期間PRD
[n],RB24222之累積資料量DA2係以等於讀出速度RUD72
與相依視圖傳輸速度REXT2
[n]之間之差RUD72
-REXT2
[n]的速度增加,RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n-1]減少。於第(n+1)個基礎視圖資料塊B[n]之讀出期間PRB
[n],RB14221之累積資料量DA1係以等於讀出速度RUD72
與基礎視圖傳輸速度REXT1
[n]之間之差RUD72
-REXT1
[n]的速度增加。另,RB24222之累積資料量DA2係以相依視圖傳輸速度REXT2
[n]減少。於第(n+2)個基礎視圖資料塊B[n+1]之讀出期間PRB
[n+1],RB14221之累積資料量DA1係以等於讀出速度RUD72
與基礎視圖傳輸速度REXT1
[n+1]之間之差RUD72
-REXT1
[n+1]的速度進而持續增加。另,RB24222之累積資料量DA2係以相依視圖傳輸速度REXT2
[n+1]進而持續減少。進而言之,於第(n+2)個相依視圖資料塊D[n+1]之讀出期間PRD
[n+1],RB24222之累積資料量DA2係以等於讀出速度RUD72
與相依視圖傳輸速度REXT2
[n+1]之間之差RUD72
-REXT2
[n+1]的速度增加,RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n]減少。接下來,於第(n+3)個相依視圖資料塊D[n+2]之讀出期間PRD
[n+2],RB24222之累積資料量DA2係以等於讀出速度RUD72
與相依視圖傳輸速度REXT2
[n+2]之間之差RUD72
-REXT2
[n+2]的速度進而持續增加,RB14221之累積資料量DA1係以基礎視圖傳輸速度REXT1
[n+1]持續減少。
此情況下,若欲從延伸區塊9810無縫再生3D影像,首先第(n+1)個相依視圖資料塊D[n]之延伸區ATC時間為從其讀出期間PRD
[n]之開始時點,到下一相依視圖資料塊D[n+1]之讀出期間PRD
[n+1]之開始時點之時間以上即可。接著,第(n+1)個及第(n+2)個基礎視圖資料塊B[n]、B[n+1]之延伸區ATC時間為從其等之讀出期間PRB
[n]、PRB
[n+1],到下一基礎視圖資料塊B[n+2]之讀出期間PRB
[n+2]之開始時點之時間以上即可。其等條件係於設想第n個延伸區配對中,延伸區B(EXTB)位於延伸區A(EXTA)前時,取代上述式(2)、(3)而以下式(2A)、(3A)來表示。
[數11]
在此,式(2A)係藉由將式(2)所含之基礎視圖資料塊B[n]之尺寸SEXT1
[n]、相依視圖資料塊D[n+1]之尺寸SEXT2
[n+1]及基礎視圖傳輸速度REXT1
[n],分別變更為延伸區A之尺寸SEXTA
[n]、延伸區B之尺寸SEXTB
[n+1]及對於延伸區A之平均傳輸速度REXTA
[n]而獲得。式(3A)係藉由將式(3)所含之基礎視圖資料塊B[n]之尺寸SEXT1
[n]、相依視圖資料塊D[n]之尺寸SEXT2
[n]及相依視圖傳輸速度REXT2
[n],分別變更為延伸區A之尺寸SEXTA
[n]、延伸區B之尺寸SEXTB
[n]及對於延伸區B之平均傳輸速度REXTB
[n]而獲得。再者,式(2A)、(3A)之任一者均將零磁區變遷時間之長度TJUMP0
視為0。
第99圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9900與AV串流檔案9910-9920之間之對應關係之模式圖。參考第99圖,於第3個延伸區配對D[2]、B[2],相依視圖資料塊D[2]位於基礎視圖資料塊B[2]後。於其他延伸區配對D[k]、B[k](k=0、1、3),基礎視圖資料塊B[k]位於相依視圖資料塊D[k]後。基礎視圖資料塊B[n](n=0、1、2、3、…)分別作為1個基礎視圖延伸區EXT1[n]而屬於檔案庫9911。相依視圖資料塊D[n]分別作為1個相依視圖延伸區EXT2[n]而屬於檔案庫9912。延伸區塊9900全體係作為1個延伸區SSEXTSS[0]而屬於檔案SS9920。基礎視圖資料塊B[n](n=0、1、2、3、…)進一步作為2D延伸區EXT2D[n]而屬於檔案2D9910。在此,2個連續的基礎視圖資料塊B[1]、B[2]係作為1個2D延伸區EXT2D[1]而受到參考。藉其,該2D延伸區EXT2D[1]之尺寸SEXT2D
[1]即便大於緊接於其後而配置之2個相依視圖資料塊D[2]、D[3]全體之尺寸SEXT2
[2]+SEXT2
[3],仍可符合式(1)。
<層交界前後之再生路徑的分離>
於第21圖,2D再生模式下之再生路徑2101及3D再生模式下之再生路徑2102均於即將用以越過層交界LB之長程跳躍JLY
前,通過相同的基礎視圖資料塊B[3]。亦即,該基礎視圖資料塊B[3]係由2D再生模式之再生裝置102,作為第2個2D延伸區EXT2D[1]而讀出,由3D再生模式之再生裝置102,作為延伸區SSEXTSS[1]內之最後資料塊而讀出。於長程跳躍JLY
中,應由系統目標解碼器處理之資料量係於2D再生模式下,依據條件1而由該基礎視圖資料塊B[3]單體之尺寸來確保。另,於3D再生模式下,依據條件4而由第2個延伸區塊1902全體之尺寸來確保。因此,依據條件1,基礎視圖資料塊B[3]所要求的最小延伸區尺寸一般小於依據條件2之最小延伸區尺寸。因此,RB14221之容量須大於3D再生模式下之無縫再生所必需之最小限度的值。進而言之,於該基礎視圖資料塊B[3]及位於其前之相依視圖資料塊D[3],延伸區ATC時間相等。因此,該相依視圖資料塊D[3]之尺寸係依據條件2,一般大於該資料塊D[3]所要求的最小延伸區尺寸。因此,RB24222之容量一般大於3D再生模式下之無縫再生所必需之最小限度的值。如此,於第21圖所示之配置,可實現2個延伸區塊1902、1903間之無縫連接,但須確保充分大之RB14221、RB24222之容量。
若欲實現長程跳躍JLY
中之影像之無縫再生,同時進一步刪減RB14221、RB24222之容量,則於層交界LB等需要該長程跳躍JLY
之位置前後,從交插配置變更資料塊群之配置,於2D再生模式與3D再生模式之間分離再生路徑即可。該類變更的模式包括例如以下所述之2種配置1、2。於配置1、2之任一配置,再生路徑均於即將長程跳躍JLY
前,依動作模式而通過不同的基礎視圖資料塊。其結果,如後述,可令再生裝置102將RB14221、RB24222之容量維持在所必需之最小限度,同時容易實現長程跳躍JLY
中之影像之無縫再生。
《配置1》
第100圖係表示記錄於BD-ROM碟片101之層交界LB前後之資料塊群之物理性配置之第1例之模式圖。參考第100圖,於層交界LB前配置第1延伸區塊A001,於層交界LB後配置第2延伸區塊A002。於各延伸區塊A001、A002內,基礎視圖資料塊B[n]與相依視圖資料塊D[n]構成交插配置(n=…、0、1、2、3、…)。尤其於第n個資料塊對D[n]、B[n],延伸區ATC時間相等。於配置1,進一步於第1延伸區塊A001之後端B[1]與層交界LB之間,配置有1個基礎視圖資料塊B[2]2D
。該基礎視圖資料塊B[2]2D
係位元單位(bit-for-bit)與第2延伸區塊8902內之前端之基礎視圖資料塊B[2]SS
一致。以下,前者B[2]2D
稱為「2D再生專用塊」,後者B[2]SS
稱為「SS再生專用塊」。
第100圖所示之基礎視圖資料塊中,除了SS再生專用塊B[2]SS
以外,均可作為檔案2DA010之延伸區,亦即作為2D延伸區EXT2D[‧]來存取。例如於第1延伸區塊A001內從最後算起第2個基礎視圖資料塊B[0]、最後的基礎視圖資料塊B[1]與2D再生專用塊B[2]2D
之配對B[1]+B[2]2D
、及第2延伸區塊A002內之第2個基礎視圖資料塊B[3],係可分別作為單一之2D延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]來存取。另,第100圖所示之相依視圖資料塊D[n](n=…、0、1、2、3、…)係可分別作為檔案DEPA012之單一延伸區,亦即作為相依視圖延伸區EXT2[n]來存取。
於第100圖所示之資料塊群,AV串流檔案之交聯係如下實現。各延伸區塊A001、A002全體可作為檔案SSA020之單一延伸區EXTSS[0]、EXTSS[1]來存取。因此,各延伸區塊A001、A002內之基礎視圖資料塊B[0]、B[2]、B[3]係由檔案2DA010及檔案SSA020所共有。相對於此,2D再生專用塊B[2]2D
僅可作為緊接於層交界LB前之2D延伸區EXT2D[1]之一部分來存取。另,SS再生專用塊B[2]SS
僅可作為緊接於層交界LB後之延伸區SSEXTSS[1]之一部分來存取。因此,2D再生專用塊B[2]2D
以外之基礎視圖資料塊B[0]、B[1]、B[2]SS
、B[3]可作為檔案庫A011之延伸區,亦即作為基礎視圖延伸區EXT1[n](n=0、1、2、3)而從延伸區EXTSS[0]、EXTSS[1]擷取。
第101圖係表示對於第100圖所示之配置1之資料塊群在2D再生模式下之再生路徑A110及在3D再生模式下之再生路徑A120之模式圖。2D再生模式之再生裝置102係再生檔案2DA010。因此,如2D再生模式下之再生路徑A110所示,首先從第1延伸區塊A001內之最後算起第2個基礎視圖資料塊B[0]係作為最初的2D延伸區EXT2D[0]而讀出,緊接於其後之相依視圖資料塊D[1]之讀出係由最初的跳躍J2D
1所跳過。接著,第1延伸區塊A001內之最後的基礎視圖資料塊B[1]與其後之2D再生專用塊B[2]2D
之配對B[1]+B[2]2D
,係作為第2個2D延伸區EXT2D[1]而連續讀出。於其後之層交界LB發生長程跳躍JLY
,跳過位於第2延伸區塊A002前端之3個資料塊D[2]、B[2]SS
、D[3]之讀出。接下來,第2延伸區塊8902內之第2個基礎視圖資料塊B[3]係作為第3個2D延伸區EXT2D[2]而讀出。另,3D再生模式之再生裝置102係再生檔案SSA020。因此,如3D再生模式下之再生路徑A120所示,首先從第1延伸區塊A001全體係作為最初的延伸區SSEXTSS[0]而連續讀出。於其後立即發生長程跳躍JLY
,跳過2D再生專用塊B[2]2D
之讀出。接下來,第2延伸區塊A002全體係作為第2個延伸區SSEXTSS[1]而讀出。
如第100圖所示,於2D再生模式下,讀出2D再生專用塊B[2]2D
而跳過SS再生專用塊B[2]SS
之讀出。相反地,於3D再生模式下,跳過2D再生專用塊B[2]2D
之讀出而讀出SS再生專用塊B[2]SS
。然而,由於雙方資料塊B[2]2D
、B[2]SS
在位元單位一致,因此於任一再生模式下,所再生的基礎視圖視訊訊框均相等。如此,於配置1,2D再生模式下之再生路徑A110與3D再生模式下之再生路徑A120係於長程跳躍JLY
前後分離。因此,與第21圖所示之配置不同,位於層交界LB前之2D延伸區EXT2D[1]之尺寸SEXT2D
[1]與其前之相依視圖資料塊D[1]之尺寸SEXT2
[1]可如以下個別地決定。
該2D延伸區EXT2D[1]之尺寸SEXT2D
[1]等於基礎視圖資料塊B[1]之尺寸SEXT1
[1]與2D再生專用塊B[2]2D
之尺寸S2D
之和SEXT1
[1]+S2D
。因此,若欲無縫再生2D影像,首先該SEXT1
[1]+S2D
符合條件1即可。在此,於式(1)之右邊,代入長程跳躍JLY
之最大跳躍時間Tjump_max
作為跳躍時間Tjump-2D
。接著,從2D再生專用塊B[2]2D
之後端到第2延伸區塊A002內之最初的2D延伸區EXT2D[2]=B[3]之磁區數,若為配合2D再生裝置之能力而規定之長程跳躍JLY
之最大跳躍距離Sjump_max
以下即可。
另,若欲無縫再生3D影像,首先位於最初的延伸區SSEXTSS[0]後端之相依視圖資料塊D[1]及基礎視圖資料塊B[1]之各尺寸SEXT2
[1]、SEXT1
[1]符合條件3、2即可。在此,無論是否發生長程跳躍JLY
,於式(3)、(2)之各右邊,代入零磁區變遷時間之典型值作為零磁區變遷時間TJUMP0
[2n+1]、TJUMP0
[2n+2]即可。進而言之,該延伸區SSEXTSS[0]後端到下一延伸區SSEXTSS[1]前端之磁區數若為配合3D再生裝置之能力而規定之長程跳躍JLY
之最大跳躍距離Sjump_maX
以下即可。
位於層交界LB前之2D延伸區EXT2D[1]中,由最初的延伸區SSEXTSS[0]所共有者僅有位於前側之基礎視圖資料塊B[1]。因此,藉由適當擴大2D再生專用塊B[2]2D
之尺寸S2D
,可將2D延伸區EXT2D[1]之尺寸SEXT2D
[1]=SEXT1
[1]+S2D
維持在一定,同時將基礎視圖資料塊B[1]之尺寸SEXT1
[1]限制在更小。該情況下,該基礎視圖資料塊B[1]之延伸區ATC時間會縮短。因此,可將緊接於其前之相依視圖資料塊D[1]之尺寸SEXT2
[1]亦限制在更小。
由於SS再生專用塊B[2]SS
係與2D再生專用塊B[2]2D
在位元單位一致,因此2D再生專用塊B[2]2D
之尺寸S2D
的擴大,係令位於SS再生專用塊B[2]SS
前之相依視圖資料塊D[2]之尺寸擴大。然而,該尺寸可充分小於第21圖所示位於層交界LB前之相依視圖資料塊D[3]之尺寸。如此,可令RB14221、RB24222之各容量,更接近3D影像之無縫再生所必需之最小限度的值。其結果,於配置1可設計各資料塊之尺寸,以便可將再生裝置102內所應確保的讀緩衝器之容量,抑制在所必需之最小限度,同時於長程跳躍中,亦可無縫再生2D影像與3D影像雙方。
於配置1,2D再生專用塊B[2]2D
之複製資料係於第1延伸區塊A001中,作為單一SS再生專用塊B[2]SS
而配置。此外,其複製資料分割為2個以上之SS再生專用塊而配置亦可。
《配置2》
第102圖係表示記錄於BD-ROM碟片101之層交界LB前後之資料塊群之物理性配置之第2例之模式圖。將第102圖與第100圖比較,配置2與配置1之不同點主要在於,包含SS再生專用塊B[2]SS
、S[3]SS
之延伸區塊A202配置在緊接於層交界LB前。
參考第102圖,於層交界LB前,按順序配置第1延伸區塊A201、2D再生專用塊(B[2]+B[3])2D
及第2延伸區塊A202,於層交界LB後配置第3延伸區塊A203。於各延伸區塊A201-A203內,相依視圖資料塊D[n]與基礎視圖資料塊B[n]構成交插配置(n=…、0、1、2、3、4、…)。尤其於第n個資料塊對D[n]、B[n],延伸區ATC時間相等。於第2延伸區塊A202,位於第1延伸區塊A201後端之資料塊D[1]、B[1]、位於第3延伸區塊A203前端之資料塊D[4]、B[4]均是串流資料之內容連續。第2延伸區塊A202所含之基礎視圖資料塊均為SS再生專用塊B[2]SS
、B[3]SS
,其等全體B[2]SS
+B[3]SS
係與位於其前之2D再生專用塊(B[2]+B[3])2D
在位元單位一致。
第102圖所示之基礎視圖資料塊中,除了SS再生專用塊B[2]SS
、B[3]SS
以外,均可作為檔案2DA210之延伸區EXT2D[0]、EXT2D[1]、EXT2D[2]來存取。尤其於第1延伸區塊A201內之最後的基礎視圖資料塊B[1]與2D再生專用塊(B[2]+B[3])2D
之配對,係可作為單一之2D延伸區EXT2D[1]來存取。進而言之,第2延伸區塊A202以外之延伸區塊A201、A203內之基礎視圖資料塊B[0]、B[1]、B[4]亦可作為檔案庫A211之延伸區EXT1[0]、EXT1[1]、EXT1[4],從檔案SSA220之延伸區EXTSS[0]、EXTSS[1]擷取。相對於此,2D再生專用塊(B[2]+B[3])2D
僅可作為2D延伸區EXT2D[1]之一部分來存取。另,SS再生專用塊B[2]SS
、B[3]SS
分別可作為基礎視圖延伸區EXT1[2]、EXT1[3],從延伸區SSEXTSS[1]擷取。
第103圖係表示對於第102圖所示之配置2之資料塊群在2D再生模式下之再生路徑A310及在3D再生模式下之再生路徑A320之模式圖。2D再生模式之再生裝置102係再生檔案2DA210。因此,如2D再生模式下之再生路徑A310所示,首先從第1延伸區塊A201內之最後算起第2個基礎視圖資料塊B[0]係作為最初的2D延伸區EXT2D[0]而讀出,緊接於其後之相依視圖資料塊D[1]之讀出係由最初的跳躍J2D
1所跳過。接著,第1延伸區塊A201內之最後的基礎視圖資料塊B[1]與其後之2D再生專用塊(B[2]+B[3])2D
之配對,係作為第2個2D延伸區EXT2D[1]而連續讀出。於其後之層交界LB發生長程跳躍JLY
,跳過位於第2延伸區塊A202之讀出、及位於第3延伸區塊A203前端之相依視圖資料塊D[4]之讀出。接下來,第3延伸區塊A203內之最初的基礎視圖資料塊B[4]係作為第3個2D延伸區EXT2D[2]而讀出。3D再生模式之再生裝置102係再生檔案SSA220。因此,如3D再生模式下之再生路徑A320所示,首先從第1延伸區塊A201全體係作為第1延伸區SSEXTSS[0]而連續讀出。於其後立即發生跳躍JEX
,跳過2D再生專用塊(B[2]+B[3])2D
之讀出。接下來,第2延伸區塊A202全體係作為第2個延伸區SSEXTSS[1]而連續讀出。於其後立即發生越過層交界LB之長程跳躍JLY
。接下來,第3延伸區塊A203全體係作為第3個延伸區SSEXTSS[2]而連續讀出。
如第103圖所示,於2D再生模式下,讀出2D再生專用塊(B[2]+B[3])2D
而跳過SS再生專用塊B[2]SS
、B[3]SS
之讀出。相反地,於3D再生模式下,跳過2D再生專用塊(B[2]+B[3])2D
之讀出而讀出SS再生專用塊B[2]SS
、B[3]SS
。然而,由於2D再生專用塊(B[2]+B[3])2D
及SS再生專用塊全體B[2]SS
+B[3]SS
在位元單位一致,因此於任一再生模式下,所再生的基礎視圖視訊訊框均相等。如此,於配置2,2D再生模式下之再生路徑A310與3D再生模式下之再生路徑A320係於長程跳躍JLY
前後分離。因此,位於層交界LB前之2D延伸區EXT2D[1]之尺寸SEXT2D
[1]與其前之相依視圖資料塊D[1]之尺寸SEXT2
[1]可如以下個別地決定。
該2D延伸區EXT2D[1]之尺寸SEXT2D
[1]等於基礎視圖資料塊B[1]之尺寸SEXT1
[1]與2D再生專用塊(B[2]+B[3])2D
之尺寸S2D
之和SEXT1
[1]+S2D
。因此,若欲無縫再生2D影像,首先該SEXT1
[1]+S2D
符合條件1即可。在此,於式(1)之右邊,代入長程跳躍JLY
之最大跳躍時間Tjump_max
作為跳躍時間Tjump-2D
。接著,從2D再生專用塊(B[2]+B[3])2D
之後端到第3延伸區塊A203內之最初的2D延伸區EXT2D[2]=B[4]之磁區數,若為配合2D再生裝置之能力而規定之長程跳躍JLY
之最大跳躍距離Sjump_max
以下即可。
另,若欲無縫再生3D影像,首先位於第1延伸區SSEXTSS[0]後端之相依視圖資料塊D[1]及基礎視圖資料塊B[1]之各尺寸SEXT2
[1]、SEXT1
[1]符合條件3、2即可。在此,無論是否發生跳躍JEX
,於式(3)、(2)之各右邊,代入零磁區變遷時間之典型值作為零磁區變遷時間TJUMP0
[2n+1]、TJU
MP0
[2n+2]即可。接著,位於第2延伸區SSEXTSS[1]後端之相依視圖資料塊D[3]與SS再生專用塊B[3]SS
之各尺寸SEXT2
[3]、SEXT1
[3]符合條件3、2即可。在此,無論是否發生跳躍JEX
,於式(3)、(2)之各右邊,代入零磁區變遷時間之典型值作為零磁區變遷時間TJUMP0
[2n+1]、TJUMP0
[2n+2]即可。
2D延伸區EXT2D[1]中,由延伸區SSEXTSS[1]所共有者僅有位於前側之基礎視圖資料塊B[1]。因此,藉由適當擴大2D再生專用塊(B[2]+B[3])2D
之尺寸S2D
,可將2D延伸區EXT2D[1]之尺寸SEXT2D
[1]=SEXT1
[1]+S2D
維持在一定,同時將基礎視圖資料塊B[1]之尺寸SEXT1
[1]限制在更小。伴隨於此,可將緊接於其前之相依視圖資料塊D[1]之尺寸SEXT2
[1]亦限制在更小。
在此,3D再生專用塊全體B[2]SS
+B[3]SS
係與2D再生專用塊(B[2]+B[3])2D
在位元單位一致,因此2D再生專用塊(B[2]+B[3])2D
之尺寸S2D
的擴大,係令位於各3D再生專用塊B[2]SS
、B[3]SS
前之相依視圖資料塊D[2]、D[3]之尺寸擴大。然而,對於1個2D再生專用塊(B[2]+B[3])2D
,3D再生專用塊分割為2個B[2]SS
、B[3]SS
。其結果,可充分縮小各3D再生專用塊B[2]SS
、B[3]SS
之尺寸。如此,RB14221、RB24222之各容量可進一步刪減至3D影像之無縫再生所必需之最小限度的值。其結果,於配置2可設計各資料塊之尺寸,以便可將再生裝置102內所應確保的讀緩衝器之容量,抑制在所必需之最小限度,同時可無縫再生2D影像與3D影像兩者。
如利用第90圖所說明,配置於位在長程跳躍前之延伸區塊後端之資料塊的尺寸越小,RB24222之容量下限越小。因此,配置2宜設計為符合以下2個條件。該情況下,於包含3D再生專用塊B[2]SS
、B[3]SS
之第2延伸區塊A202,各資料塊之尺寸充分小。其結果,可進一步減低RB24222之容量下限。
第1條件係於配置於第2延伸區塊A202前之2D再生專用塊(B[2]+B[3])2D
之尺寸設定上限。例如進一步參考第103圖,2D再生專用塊(B[2]+B[3])2D
之尺寸S2D
限制在20000磁區以下。該上限值取決於2D再生裝置之跳躍性能。第2條件係於3D再生專用塊B[2]SS
、B[3]SS
之延伸區ATC時間設定上限TEXT_3D_MAX
。亦即,3D再生專用塊B[2]SS
、B[3]SS
之尺寸係符合下式以取代符合式(1):SEXT1
[n]≦REXT1
[n]×TEXT_3D_MAX
。上限TEXT_3D_MAX
設定為例如0.5秒。
第104圖係表示位於第103圖所示之第2延伸區塊A202後端之3D再生專用塊B[3]SS
之讀出時間SEXT1
[3]/RUD72
、與RB24222之容量下限之間之關係之圖。參考第104圖,於3D再生專用塊B[3]SS
之載入開始之時點,RB24222之累積資料量DA2達到極大值DM2。該極大值DM2係於3D再生專用塊B[3]SS
之讀出期間之長度SEXT1
[3]/RUD72
、長程跳躍所需要的時間TLY
、及預載期間之長度SEXT2
[4]/RUD72
之和,乘以相依視圖傳輸速度REXT2
[3]之值以上:DM2≧SEXT1
[3]/RUD72
+TLY
+SEXT2
[4]/RUD72
)×REXT2
[3]。因此,假如3D再生專用塊B[3]SS
之尺寸為更大值SL
[3],則其讀出期間之長度SL
[3]/RUD72
會增大,因此如第104圖以虛線所示,RB24222之累積資料量DA2之極大值DM20會增大。因此,以上述2個條件將3D再生專用塊B[2]SS
、B[3]SS
之各尺寸限制在較小。藉其,可進一步減低RB24222之容量下限。
再者,若欲符合條件4,須將位於各延伸區塊開頭之資料塊之尺寸,亦即預載期間之長度確保在充分大。因此,關於位在延伸區開頭之3D再生專用塊,其延伸區ATC時間超過上限TEXT3DMAX
亦可。
配置2除了配置在緊接於層交界LB前以外,亦可設置於可開始跳入再生之位置。於第102圖,以三角形A230、A321、A232之頂點,表示可開始跳入再生之位置,亦即記錄有分錄點之BD-ROM碟片上位置。以白色三角形A230所示之分錄點係表示2D再生模式下之可開始跳入再生之位置。以黑色三角形A231、A232所示之分錄點係表示3D再生模式下之可開始跳入再生之位置。各個3D再生專用塊B[2]SS
、B[3]SS
之尺寸充分小於2D再生專用塊(B[2]+B[3])2D
,因此相對應之相依視圖資料塊D[2]、D[3]之尺寸亦充分小。其結果,於3D再生模式下之跳入再生時,從對分錄點A231、A232開始存取到開始解碼資料塊D[2]、B[2]SS
之所需時間短。亦即,3D再生模式下之跳入再生係啟動迅速。
於配置2,2D再生專用塊(B[2]+B[3])2D
之複製資料分割為2個SS再生專用塊B[2]SS
、B[3]SS
而配置。此外,其複製資料為單一SS再生專用塊或分割為3個以上之SS再生專用塊而配置均可。
<延伸區對偶旗標>
第105圖係表示對於檔案庫A501及檔案DEPA502之各延伸區EXT1[k]、EXT2[k](整數k為0以上)所設定的分錄點A510、A520之模式圖。檔案庫A501之分錄點A501係由2D剪輯資訊檔案之分錄圖定義,檔案DEPA502之分錄點A520係由相依視圖剪輯資訊檔案之分錄點定義。各分錄點A510、A520尤其包含延伸區對偶旗標。「延伸區對偶旗標」係於檔案庫A501之分錄點與檔案DEPA502之分錄點表示相同的PTS時,表示各自所設定的延伸區EXT1[i]、EXT2[i]是否從各檔案A501、A502之開頭即為相同順序(i=j或i≠j)。參考第105圖,設定於第(n+1)個(整數n為1以上)基礎視圖延伸區EXT1[n]之最初的分錄點A530之PTS,等於設定於第(n-1)個相依視圖延伸區EXT2[n-1]之最後的分錄點A540之PTS。因此,各分錄點A530、A540之延伸區對偶旗標之值設定為“0”。同樣地,設定於第(n+1)個基礎視圖延伸區EXT1[n]之最後的分錄點A531之PTS,等於設定於第(n+1)個相依視圖延伸區EXT2[n+1]之最後的分錄點A541之PTS。因此,各分錄點A531、A541之延伸區對偶旗標之值設定為“0”。其他分錄點A510、A520係PTS相等時,設定對象之延伸區EXT1[‧]、EXT2[‧]之順序亦相等,因此延伸區對偶旗標之值設定為“1”。
3D再生模式之再生裝置102係於開始跳入再生時,參考再生開始位置之分錄點之延伸區對偶旗標,其值為“1”時,從該分錄點實際開始再生。其值為“0”時,再生裝置102係從該分錄點前後,找尋延伸區對偶旗標之值為“1”之別的分錄點,從該別的分錄點開始再生。如此,第n個相依視圖延伸區EXT2[n]會確實比第n個基礎視圖延伸區EXT1[n]更早讀出。其結果,可簡化跳入再生處理。
延伸區對偶旗標=0之分錄點的間隔亦可限制為,對應於其之顯示時間之長度在一定秒數以下,例如每1GOP之顯示時間長之最大值之2倍以下。藉其,跳入再生開始時,可縮短伴隨於搜尋延伸區對偶旗標=1之分錄點到再生開始之等待時間。此外,於延伸區對偶旗標=0之分錄點之下一分錄點,延伸區對偶旗標之值限制為“1”亦可。又,角度切換旗標亦可代用作為延伸區對偶旗標。在此,「角度切換旗標」係表示在對應於多角度之內容中,於分錄圖內所準備的旗標,其表示多工串流資料之角度切換位置(關於多角度,參考後述)。
<資料塊間之再生期間一致>
於延伸區ATC時間相等之資料塊之配對,再生期間進而一致,且視訊串流之再生時間相等亦可。亦即,於其等資料塊間,VAU之數目相等亦可。其含意如下。
第106(a)圖係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,延伸區ATC時間不同且視訊串流之再生時間不同時之再生路徑之模式圖。參考第106(a)圖,開頭之基礎視圖資料塊B[0]之再生時間為4秒,開頭之相依視圖資料塊D[0]之再生時間為1秒。在此,相依視圖資料塊D[0]之解碼所必需的基礎視圖視訊串流的部分係與該相依視圖資料塊D[0]具有相同再生時間。因此,為了節省再生裝置內之讀緩衝器之容量,宜如第106(a)圖以箭頭ARW1所示,令再生裝置交替各以相同再生時間,例如各以1秒鐘載入基礎視圖資料塊B[0]與相依視圖資料塊D[0]。然而,該情況下,如第106(a)圖以虛線所示,於讀出處理的中途發生跳躍。其結果,難以令讀出處理趕上解碼處理,因此難以確實持續無縫再生。
第106(b)圖係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,視訊串流之再生時間相等時之再生路徑之模式圖。如第106(b)圖所示,於相鄰接之1對資料塊間,視訊串流之再生時間相等亦可。例如於開頭之資料塊對B[0]、D[0],視訊串流之再生時間均等於1秒,於第2個資料塊對B[1]、D[1],視訊串流之再生時間均等於0.7秒。該情況下,3D再生模式之再生裝置係如第106(b)圖以箭頭ARW2所示,從開頭依序讀出資料塊B[0]、D[0]、B[1]、D[1]、…。僅如此,再生裝置即可順利實現交替將主TS與子TS各以相同再生時間讀出。尤其於該讀出處理中不會發生跳躍,因此可確實地持續3D影像之無縫再生。
實際上,若於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,延伸區ATC時間相等,則可令讀出處理不發生跳躍,並維持解碼處理之同步。因此,即便再生時間或視訊串流之再生時間不相等,仍可與第106(b)圖所示之情況相同,再生裝置僅從開頭依序讀出資料塊群,即可確實地持續3D影像之無縫再生。
於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,VAU之某一者之標頭數或PES標頭數相等亦可。於資料塊間之解碼處理之同步,利用其等標頭。因此,於資料塊間,標頭數若相等,則VAU本身數目無論相等與否,均較容易維持解碼處理之同步。進而言之,與VAU本身數目相等的情況不同,VAU之資料無須全都於相同的資料塊內受到多工。因此,BD-ROM碟片101之編輯步驟中,串流資料之多工自由度高。
於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,分錄點之數目相等亦可。再度參考第105圖,延伸區對偶旗標=0之分錄點A530、A540、A531、A541除外,於檔案庫A501及檔案DEPA502,從開頭相同順序之延伸區EXT1[k]、EXT2[k]包含相同數目之分錄點A510、A520。於2D再生模式及3D再生模式,跳躍之有無並不同。然而,於資料塊間,分錄點之數目相等時,再生時間實質上亦相等。因此,無論有無跳躍,均容易維持解碼處理之同步。進而言之,與VAU本身數目相等的情況不同,VAU之資料無須全都於相同的資料塊內受到多工亦可。因此,BD-ROM碟片101之編輯步驟中,串流資料之多工自由度高。
<多角度>
第107(a)圖係表示對應多角度之多工串流資料之再生路徑之模式圖。參考第107(a)圖,於該多工串流資料中,基礎視圖、右視圖及深度圖3種串流資料L、R、D受到多工。例如於L/R模式下,基礎視圖與右視圖之串流資料L、R平行地再生。進而言之,於多角度期間PANG
再生的部分,角度別(視角)之串流資料Ak、Bk、Ck受到多工(k=0、1、2、…、n)。各角度之串流資料Ak、Bk、Ck分割為再生時間等於角度改變間隔之部分。各部分Ak、Bk、Ck進而受到多工而成為基礎視圖、右視圖及深度圖之各串流資料。於多角度期間PANG
,可因應使用者操作或應用程式指示,於角度別之串流資料Ak、Bk、Ck之間切換再生對象。
第107(b)圖係表示記錄於BD-ROM碟片上之資料塊群A701、及對於其等之L/R模式下之再生路徑A702之模式圖。該資料塊群A701包含第107(a)圖所示之串流資料L、R、D、Ak、Bk、Ck。參考第107(b)圖,於該資料塊群A701,除了一般的串流資料L、R、D以外,還以交插配置而記錄有角度別之串流資料Ak、Bk、Ck。於L/R模式下,如再生路徑A702所示,讀出右視圖資料塊R與基礎視圖資料塊L,深度圖資料塊D之讀出係由跳躍而跳過。進而言之,角度別之串流資料Ak、Bk、Ck中,讀出被選擇之資料塊A0、B1、…、Cn,其他資料塊之讀出係由跳躍而跳過。
第107(c)圖係表示構成角度別之串流資料Ak、Bk、Ck之延伸區塊之模式圖。參考第107(c)圖,於各角度之串流資料Ak、Bk、Ck,3種資料塊L、R、D構成交插配置。於L/R模式下,如再生路徑A702所示,角度別之串流資料Ak、Bk、Ck中,從被選擇之A0、B1、…、Cn讀出右視圖資料塊R與左視圖資料塊L。另,其他資料塊之讀出係由跳躍而跳過。
再者,於各角度之串流資料Ak、Bk、Ck,基礎視圖、右視圖及深度圖之各串流資料納入單一多工串流資料亦可。但於2D再生裝置,其記錄率須抑制在可再生之系統率的範圍內。又,於該多工串流資料與其他3D影像之多工串流資料間,應傳輸至系統目標解碼器之串流資料(TS)之數目不同。因此,3D播放串列檔案內之各PI亦可包含表示再生對象之TS數之旗標。利用該旗標,可於1個3D播放串列檔案中,切換其等多工串流資料。於3D再生模式下,於規定2個TS作為再生對象之PI,該旗標表示2TS。另,於規定如上述多工串流資料之單一TS作為再生對象之PI,該旗標表示1TS。3D再生裝置可因應該旗標值來切換系統目標解碼器之設定。該旗標進而以銜接條件(CC)之值來表現亦可。例如CC表示“7”時,表示從2TS往1TS轉移,表示“8”時,表示從1TS往2TS轉移。
第108圖係表示構成多角度期間之資料塊群A801、及對於其等之2D再生模式下之再生路徑A810及L/R模式下之再生路徑A820之模式圖。參考第108圖,該資料塊群A801係由3種角度改變區間ANG1#k、ANG2#k、ANG3#k(k=1、2、…、6、7)之交插配置所組成。「角度改變區間」係指從1個角度看到的影像之串流資料連續儲存之一連串資料塊群。於種類不同之角度改變區間,影像的角度不同。各種第k個角度改變區間ANG1#k、ANG2#k、ANG3#k相互鄰接。各角度改變區間ANGm#k(m=1、2、3)係由1個延伸區塊所組成,亦即作為1個延伸區SSEXTSS[k]而受到參考(k=10、11、…、23)。藉其,比起複數個角度改變區間構成1個延伸區SSEXTSS[k]的情況,可更刪減讀緩衝器之容量。進而言之,各延伸區塊各包含1個相依視圖資料塊R與基礎視圖資料塊L。其等資料塊之配對R、L係作為第n個相依視圖延伸區EXT2[n]與第n個基礎視圖延伸區EXT1[n]之配對而受到參考(整數n為0以上之整數)。
各延伸區塊之尺寸符合條件1-4。尤其應於條件1考慮之跳躍係2D再生模式下之再生路徑A810所示、用以跳過其他角度改變區間之讀出之跳躍JANG-2D
。另,應於條件4考慮之跳躍係L/R模式下之再生路徑A820所示、用以跳過其他角度改變區間之讀出之跳躍JANG-LR
。如各再生路徑A810、A820所示,任一跳躍JANG-2D
、JANG-LR
一般均包含角度切換,亦即包含讀出對象之角度改變區間之種類切換。
進一步參考第108圖,各角度改變區間包含1個基礎視圖資料塊L。因此,基礎視圖延伸區EXT1[‧]之延伸區ATC時間限制在角度改變區間之長度之最大值TANG
以下。例如若欲能夠以顯示時間每2秒1次的比率來執行角度切換,則須將角度改變區間之長度之最大值TANG
限制在2秒鐘。其結果,基礎視圖延伸區EXT1[‧]之延伸區ATC時間限制在2秒以下。因此,條件5變更為基礎視圖延伸區之尺寸SEXT1
符合下式(11)以取代符合式(5)。
[數12]
再者,取代式(5)之右邊而比較式(9)之右邊亦可。又,與式(7A)或(7B)所示對於2D延伸區之延伸區ATC時間之延長時間ΔT相同,角度改變區間之長度之最大值TANG
亦可從GOP之長度、或每特定時間可再生之延伸區數之上限來決定。進而言之,該延長時間ΔT在多角度下亦可設定為0。
<經由傳播、通訊線路之資料配送>
依據本發明之實施形態之記錄媒體除了光碟片以外,還包含可作為套裝媒體利用之可移除式媒體全體,例如包含SD記憶卡在內之可搬動性半導體記憶體裝置等。又,於上述實施形態的說明中,舉出預先記錄有資料之光碟,亦即BD-ROM或DVD-ROM等既有的讀出專用光碟片為例。然而,本發明之實施形態不限定於其等。例如藉由終端裝置,將傳播或經由網路而配送之3D影像的內容,寫入於BD-RE或DVD-RAM等既有的可寫入光碟片時,亦可利用依據實施形態1之延伸區配置。在此,該終端裝置組入於再生裝置,或有別於再生裝置而為另外的裝置均可。
<半導體記憶卡之再生>
作為依據本發明之實施形態之記錄媒體,說明關於取代光碟片而利用半導體記憶卡時之再生裝置之資料讀出部。
再生裝置中,從光碟片讀出資料的部分係由例如光碟片驅動器所構成。相對於此,從半導體記憶卡讀出資料的部分係由專用的介面(I/F)構成。更詳細而言,於再生裝置設有卡片插槽,於其內部安裝上述I/F。當於該卡片插槽插入半導體記憶卡時,透過該I/F,該半導體記憶卡與再生裝置電性地連接。進而從半導體記憶卡,透過該I/F而於再生裝置讀出資料。
<對於BD-ROM碟片上之資料之著作權保護技術>
在此,作為以下補充事項的前提,說明關於用以保護記錄於BD-ROM碟片之資料的著作權之機制。
例如從著作權保護、或資料隱密性提升的觀點考量,記錄於BD-ROM碟片之資料的一部分有時會受到加密。該加密資料包含例如視訊串流、音訊串流或其他串流。該情況下,加密資料係如以下解讀。
於再生裝置,預先記錄有生成用以解讀BD-ROM碟片上之加密資料之「鍵」所必需的一部分資料,亦即裝置金鑰。另,於BD-ROM碟片,記錄有生成該「鍵」所必需的資料之另一部分,亦即MKB(媒體金鑰塊),及該「鍵」本身之加密資料,亦即加密標題金鑰。裝置金鑰、MKB及加密標題金鑰係相互被建立對應,進而亦與寫入於第2圖所示之記錄媒體101上之BCA201之特定ID,亦即冊ID(Volume ID)建立對應。裝置金鑰、MKB、加密標題金鑰及冊ID之組合若不正確,則無法解讀加密資料。亦即,僅於該等之組合正確時,才會生成上述「鍵」,亦即標題鍵。具體而言,首先利用裝置金鑰、MKB及冊ID來將加密標題金鑰解碼。僅於藉其可導出標題金鑰時,可將該標題金鑰作為上述「鍵」使用而解讀加密資料。
即便欲藉由再生裝置,再生BD-ROM碟片上之加密資料,若例如於該再生裝置內,未記憶有預先與該BD-ROM碟片上之加密標題金鑰、MKB及冊ID建立對應之裝置金鑰,則無法再生該加密資料。此係由於解讀該加密資料所必需的鍵,亦即標題金鑰若未以MKB、加密標題金鑰及冊ID之正確組合來解碼加密標題金鑰,則無法導出。
為了保護應記錄於BD-ROM碟片之視訊串流及音訊串流之至少某一者之著作權,首先以標題金鑰,加密保護對象的串流,並記錄於BD-ROM碟片。接著,從MKB、加密標題金鑰及冊ID之組合生成鍵,以該鍵加密上述標題金鑰,並轉換為加密標題金鑰。進而於BD-ROM碟片,記錄MKB、冊ID及加密標題金鑰。從該BD-ROM碟片,僅以具備利用於上述鍵生成之裝置金鑰之再生裝置,才能夠以解碼器解碼受到加密之視訊串流及/或音訊串流。如此,可保護記錄於BD-ROM碟片之資料之著作權。
以上所述之BD-ROM碟片的資料之著作權保護機制,亦可適用於BD-ROM碟片以外。例如亦可適用於可讀寫之半導體記憶體裝置,尤其亦可適用於SD卡等可搬動半導體記憶卡。
<對於利用電子配送之記錄媒體之資料記錄>
以下說明關於利用電子配送,對依據本發明之實施形態之再生裝置,傳達3D影像之AV串流檔案等資料(以下稱為配送資料),進而令該再生裝置,於半導體記憶卡記錄該配送資料的處理。再者,以下動作亦可藉由專為該處理之終端裝置進行,以取代上述再生裝置。又,設想記錄去處之記憶卡為SD記憶卡的情況。
如上述,再生裝置具備卡片插槽,於該卡片插槽插入有SD記憶卡。於該狀態下,再生裝置首先對於網路上之配送伺服器,送出配送資料之發送要求。此時,再生裝置係從SD記憶卡讀出其識別資訊,將該識別資訊與配送要求一同送出至配送伺服器。SD記憶卡之識別資訊係例如該SD記憶卡固有的識別號碼,更具體而言係該SD記憶卡之序列號碼。該識別資訊係利用作為上述冊ID。
於配送伺服器儲存有配送資料。該配送資料中,視訊串流及/或音訊串流等需要藉由加密來保護之資料,係利用特定標題金鑰而加密。該加密資料能夠以相同的標題金鑰解碼。
配送伺服器係作為與再生裝置共通的秘密鍵而保持有裝置金鑰。配送伺服器進而保持有與SD記憶卡共通之MKB。配送伺服器係於從再生裝置,受理配送資料之發送要求及SD記憶卡之識別資訊時,首先從裝置金鑰、MKB及該識別資訊生成鍵,以該鍵加密標題金鑰而生成加密標題金鑰。
配送伺服器接著生成公開鍵資訊。該公開鍵資訊包含例如上述MKB、加密標題金鑰、簽名資訊、SD記憶卡之識別號碼及裝置串列。簽名資訊包含例如公開鍵資訊之散列值。裝置串列係應使其無效之裝置,亦即有不法再生配送資料中之加密資料之虞的裝置的串列。於該串列中,特定出例如再生裝置之裝置金鑰、再生裝置之識別號碼、內建於再生裝置之解碼器等各種零件之識別號碼或功能(程式)。
配送伺服器進一步將配送資料及公開鍵資訊送出至再生裝置。再生裝置係接收其等,並透過卡片插槽內之專用I/F而記錄於SD記憶卡。
記錄於SD記憶卡之配送資料中,加密資料係例如如下利用公開鍵資訊而被解碼。首先,作為公開鍵資訊認證,進行以下三種檢查(1)-(3)。再者,其等以任何順序進行均可。
(1)公開鍵資訊所含之SD記憶卡之識別資訊,是否與記憶在插入於卡片插槽之SD記憶卡之識別號碼一致。
(2)從公開鍵資訊算出的散列值,是否與包含於簽名資訊之散列值一致。
(3)該再生裝置是否被從公開鍵資訊所示之裝置串列中剔除。具體而言,該再生裝置之裝置金鑰是否被從裝置串列中剔除。
上述檢查(1)-(3)之某一者的結果為否定時,再生裝置終止加密資料之解碼處理。相反地,上述檢查(1)-(3)之所有結果均為肯定時,再生裝置認同公開鍵資訊之正當性,利用裝置金鑰、MKB及SD記憶卡之識別資訊,將公開鍵資訊內之加密標題金鑰解碼為標題金鑰。再生裝置進一步利用該標題金鑰,將加密資料之例如視訊串流及/或音訊串流解碼。
以上機制具有以下優點。於電子配送時,已經得知有不法使用之虞之再生裝置、零件及功能(程式)的情況下,該等之識別資訊被列舉於裝置串列,作為公開鍵資訊之一部分而配送。另,要求配送資料之再生裝置勢必須將該裝置串列內之識別資訊,與該再生裝置及該零件等之識別資訊核對。藉其,若該再生裝置或該零件等被出示於裝置串列,即便SD記憶卡之識別號碼、MKB、加密標題金鑰及裝置金鑰的組合正確,該再生裝置仍舊無法將公開鍵資訊,利用於配送資料內之加密資料的解碼。如此,可有效利用配送資料之不法使用。
半導體記憶卡之識別資訊宜儲存於半導體記憶卡內之記錄區域中,隱密性特別高的記錄區域。此係由於萬一該識別資訊,例如於SD記憶卡,其序列號碼受到不法竄改時,可容易執行SD記憶卡的違法複製。亦即,因該竄改的結果,存在有複數個具有同一識別資訊之半導體記憶卡時,以上述檢查(1),並無法識別正版品與違法的複製品。因此,半導體記憶卡須記錄於隱密性高之記錄區域,以保護其免受不法竄改。
於半導體記憶卡內,構成該類隱密性高的記錄區域之機構係例如以下。首先,設置與一般的資料用記錄區域(以下稱為第1記錄區域)電性地分離之別的記錄區域(以下稱為第2記錄區域)。接著,於半導體記憶卡內,設置對於第2記錄區域之存取專用控制電路。藉其以使得對於第2記錄區域,僅能經由該控制電路來存取。例如於第2記錄區域,僅記錄受到加密的資料,用以解碼該受到加密的資料之電路嵌入於控制電路內。藉其,對於第2記錄區域內之資料之存取,若未令控制電路解碼該資料則無法實現。此外,僅令控制電路保持第2記錄區域內之各資料之位址亦可。該情況下,第2記錄區域內之資料之位址僅可由控制電路來特定。
半導體記憶卡之識別資訊記錄於第2記錄區域時,於再生裝置上動作之應用程式係於利用電子配送,從配送伺服器取得資料而記錄於半導體記憶卡的情況下,進行如下處理。首先,該應用程式係經由記憶卡I/F,對於上述控制電路,發行對於記錄於第2記錄區域之半導體記憶卡之識別資訊之存取要求。控制電路回應該要求,首先從第2記錄區域讀出該識別資訊。控制電路接著經由記憶卡I/F,對上述應用程式送出該識別資訊。該應用程式其後係將配送資料之發送要求,與該識別資訊一同送出至配送伺服器。應用程式進一步回應該要求,將接收自配送伺服器之公開鍵資訊及配送資料,經由記憶卡I/F而記錄於半導體記憶卡內之第1記錄區域。
再者,上述應用程式宜在對於半導體記憶卡內之控制電路,發行上述存取要求前,檢查該應用程式本身有無竄改。該檢查亦可利用遵循例如X.509之數位證書。又,配送資料係如上述記錄於半導體記憶卡內之第1記錄區域即可,對於該配送資料的存取未受到半導體記憶卡內之控制電路限制亦可。
<對即時錄影之適用>
於本發明之實施形態,其前提在於:AV串流檔案及播放串列檔案係藉由編輯系統之預錄技術,記錄於BD-ROM碟片而提供給使用者。然而,AV串流檔案及播放串列檔案亦可藉由即時錄影,記錄於BD-RE碟片、BD-R碟片、硬碟或半導體記憶卡等可寫入的記錄媒體(以下簡稱為BD-RE碟片等)而提供給使用者。該情況下,AV串流檔案亦可為藉由記錄裝置,即時解碼類比輸入訊號而獲得的傳輸串流。此外,藉由將記錄裝置進行數位輸入之傳輸串流局部化而獲得的傳輸串流亦可。
執行即時錄影之記錄裝置包含:視訊編碼器、音訊編碼器、多工器及來源解封包處理器。視訊編碼器係編碼視訊訊號而轉換為視訊串流。音訊編碼器係編碼音訊訊號並轉換而音訊串流。多工器係將視訊串流及音訊串流予以多工,轉換為MPEG2-TS形式之數位串流。來源解封包處理器係將MPEG2-TS形式之數位串流內之TS封包,轉換為來源封包。記錄裝置係於AV串流檔案儲存各來源封包,寫入於BD-RE碟片等。
與AV串流檔案之寫入處理並行,記錄裝置之控制部係於記憶體上,生成剪輯資訊檔案及播放串列檔案,並寫入於BD-RE碟片。具體而言,由使用者要求錄影處理時,控制部首先配合AV串流檔案而生成剪輯資訊檔案,並寫入於BD-RE碟片等。該情況下,每當從接收自外部之傳輸串流,檢測到視訊串流內之1個GOP的開頭時,或每當由視訊編碼器生成視訊串流內之1個GOP時,控制部取得位於該GOP之開頭之I圖片之PTS及儲存有該GOP之開頭的來源封包之SPN。控制部進一步將該PTS與SPN之配對,作為1個分錄點而追加記錄於剪輯資訊檔案之分錄圖。在此,於該分錄點追加記錄「is_angle_change(角度改變)旗標」。角度改變旗標係於該GOP之開頭為IDR圖片時,設定為“開啟”,該GOP之開頭非IDR圖片時,設定為“關閉”。於剪輯資訊檔案內,進一步按照記錄對象之串流屬性記錄有串流屬性資訊。如此,AV串流檔案及剪輯資訊檔案寫入於BD-RE碟片等之後,控制部利用該剪輯資訊檔案內之分錄圖,生成播放串列檔案,並寫入於BD-RE碟片等。
《管理複製》
依據本發明之實施形態之再生裝置亦可進一步藉由管理複製,將BD-ROM碟片101上之數位串流寫入於其他記錄媒體。「管理複製」係指為了僅於利用與伺服器所進行的認證成功時,採許可從BD-ROM碟片等讀出專用記錄媒體,對於可寫入的記錄媒體,複製數位串流、播放串列檔案、剪輯資訊檔案及應用程式之技術。該可寫入的記錄媒體包含:BD-R、BD-RE、DVD-R、DVD-RW及DVD-RAM等可寫入的光碟片、硬碟以及SD記憶卡、MemoryStick(註冊商標)、CompactFlash(註冊商標)、SmartMedia(註冊商標)及MultiMediaCard(註冊商標)等可搬動半導體記憶裝置。管理複製可限制記錄於讀出專用記錄媒體之資料之備份次數,以及可對於備份處理收費。
從BD-ROM碟片對於BD-R碟片或BD-RE碟片進行管理複製時,兩碟片之記錄容量相等時,記錄於複製母體之碟片之位元串流直接按順序複製即可。
於不同種記錄媒體間進行管理複製時,需要轉碼。「轉碼」係指用以令記錄於複製母體之碟片之數位串流,適合於複製去處之記錄媒體之應用格式的處理。轉碼包含例如:從MPEG2-TS形式形式轉換為MPEG2程式串流形式之處理;及降低分派給視訊串流及音訊串流各自之位元率,重新予以編碼的處理。於轉碼中,須藉由上述即時錄影,生成AV串流檔案、剪輯資訊檔案及播放串列檔案。
<資料構造之描述方法>
依據本發明之實施形態之資料構造中,所謂「存在複數特定型資訊」之重複構造係藉由於語句「for」,描述控制變數之初始值及重複條件而定義。又,「特定條件成立時,定義特定資訊」之資料構造,係藉由於語句「if」,描述該條件及該條件成立時應設定的變數而定義。如此,依據實施形態之資料構造係藉由高級程式化語言而描述。因此,該資料構造係經過「句法解析」、「最佳化」、「資源分派」及「碼生成」之由編譯器所進行的翻譯過程,轉換為可由電腦讀取的碼,並記錄於記錄媒體。藉由採高級程式化語言的描述,該資料構造係作為物件指向語言之類別構造體之方法以外的部分,具體而言作為該類別構造體之排列型成員變數處置而構成程式的一部分。亦即,該資料構造係與程式實質上同等。因此,該資料構造係應作為電腦相關的發明而受到保護。
<藉由再生程式所進行的播放串列檔案、剪輯資訊檔案之管理>
播放串列檔案及AV串流檔案記錄於記錄媒體時,於該記錄媒體,再生程式係作為執行形式之檔案而記錄。再生程式係令電腦,按照播放串列檔案而再生AV串流檔案。再生程式從記錄媒體載入至電腦內之記憶裝置後,由該電腦來執行。該載入處理包含編譯處理或鏈結處理。藉由其等處理,再生程式係於記憶裝置內分割為複數個區段。其等區段包含:text(文本)區段、data(資料)區段、bss區段及stack(堆疊)區段。text區段包含:再生程式之碼串、變數之初始值及不可重寫的資料。data區段包含:具有初始值之變數及可重寫的資料。data區段尤其包含記錄於記錄媒體上之隨時存取的檔案。bss檔案包含不具初始值之變數。bss區段內之資料係因應text區段內之碼所示之命令而受到參考。於編譯處理或鏈結處理,在電腦內之RAM確保bss區段用之區域。stack區段係因應需要而暫時確保的記憶體區域。由再生程式所進行的各處理中,暫時使用局部變數。stack區段包含其等局部變數。當程式開始執行時,bss區段內之變數係以零初始化,於stack區段確保所必需的記憶體區域。
播放串列檔案及剪輯資訊檔案係如上述,於記錄媒體上已經轉換為可由電腦讀取的碼。因此,其等檔案係於再生程式執行時,作為text區段內之「不可重寫的資料」或data區段內之「隨時存取的檔案」來管理。亦即,播放串列檔案及剪輯資訊檔案係於再生程式執行時,嵌入於其構成要素中。因此,播放串列檔案及剪輯資訊檔案係於再生程式中,發揮超過單純提示資料的作用。
本發明係關於一種立體視覺影像之再生技術,如上述利用TS優先度旗標來識別TS封包。如此,本發明顯然可利用在產業上。
1...媒體IF部
2...記憶體
3...積體電路
5...串流處理部
6...主控制部
7...訊號處理部
8...AV輸出部
9...記憶體控制部
10...顯示驅動部
11...顯示面板
12...揚聲器
21...控制匯流排
22...資料匯流排
51...裝置串流IF部
52...解多工部
53...切換部
81...圖像重疊部
82...視訊輸出格式轉換部
83...音訊‧視訊輸出IF部
83a...類比視訊輸出IF部
83b...數位‧音訊輸出IF部
83c...類比音訊輸出IF部
84...視訊輸出IF部
85...音訊輸出IF部
101...記錄媒體
102...再生裝置
103...顯示裝置
104...快門眼鏡
105...遙控器
121...BD-ROM驅動器
122...HDMI纜線
131...畫面
132...左右訊號發送部
141L、141R...液晶顯示面板
142...左右訊號接收部
201...BCA
202...磁軌
202A...引入區域
202B...冊區域
202C...引出區域
202D...小區域
203...根目錄
210...BD電影目錄
211...索引檔案
212...電影物件檔案
220...播放串列目錄
221、222、223...播放串列檔案
230...剪輯資訊目錄
231、232、233...剪輯資訊檔案
240...串流目錄
241、242、243...AV串流檔案
241...檔案2D
242、243...檔案DEP
244...SSIF目錄
244A、244B...AV串流檔案
250...BD-J物件目錄
251...BD-J物件檔案
260...Java歸檔檔案目錄
261...JAR當案
270...輔助資料目錄
301...主要視訊串流
302A、302B...主要音訊串流
303A、303B...呈現圖形(PG)串流
304...互動圖形(IG)串流
305...次要音訊串流
306...次要視訊串流
311D、312D...深度圖串流
311R、312R...右視圖視訊串流
400...多工串流資料
401...視訊串流
401A...訊框
402...音訊串流
403...PG串流
404...IG串流
411-414...PES封包
421、422、423、424...TS封包
501...TS封包
501A...AD欄位
501H...TS標頭
501P...TS酬載區
502...來源封包
502H...標頭
502P...TS封包
511...TS優先度
512...PID
513...AD欄位控制
600...PG串流
601...物件顯示位置
602...修剪資訊
603...參考視窗ID
604...參考色盤
605...參考物件ID
611...視窗ID
612...視窗位置
613...視窗尺寸
621...色盤ID
622...彩色查找表(CLUT)
701...基礎視圖視訊串流
702...右視圖視訊串流
710-719...基礎視圖圖片
720-729...右視圖圖片
800...視訊串流
811、812、813、814...圖片群
810、820...GOP
831、832...VAU#1
831A...存取單元(AU)識別碼
831B...序列標頭
831C、832C...圖片標頭
831D、832D...補充資料
831E、832E...壓縮圖片資料
831F...填充資料
831G...序列終端碼
831H...串流終端碼
832A...子AU識別碼
832B...子序列標頭
832C...圖片標頭
901...視訊串流
902...PES封包串
920、921、922、923...PES封包
920P...PES酬載區
920H...PES標頭
1001...基礎視圖視訊串流
1002、1100...相依視圖視訊串流
1110...偏移元資料
1111...PTS
1112...偏移序列ID
1113...偏移序列
1121...訊框號碼
1122、1123...偏移資訊
1301...左視圖視訊截面
1302...右視圖視訊截面
1310...PG截面
1320...IG截面
1310、1320...圖形截面
1311...字幕
1312、1313、1322、1323...帶狀區域
1321...按鈕
1330...收視者
1331...字幕
1332...按鈕
1340...畫面
1401、1402...偏移值
1403、1405...3D影像
1404...畫面
1500...VAU#1
1501...子AU識別碼
1502...子序列標頭
1503...圖片標頭
1504...補充資料
1505...壓縮圖片資料
1506...填充資料
1507...序列終端碼
1508...串流終端碼
1510...PES封包
1511...PES標頭
1520、1620...TS封包串
1521、1522、1523、1621、1622、1623...群組
1530、1540、1550、1560...TS封包
1531、1541、1551...TS標頭
1532...AD欄位
1533、1562...TS酬載區
1552...AD欄位
1560...TS封包
1561...TS標頭
1630、1640、1650...TS封包
1631、1641、1651...TS標頭
1701、1702...視訊串流
1701...基礎視圖視訊串流
1702...相依視圖視訊串流
1721、1722...VAU
1750...解碼切換器資訊
1751...下一存取單元類型
1752...下一存取單元尺寸
1710、1720、1730、1740、1753...解碼計數器
1801...PMT標頭
1802...描述符
1803...串流資訊
1810...PMT
1831...串流類型
1832...PID
1833...串流描述符
1901-1903...延伸區塊
1910、1920、1940...檔案分錄
1920...檔案分錄
2001...主TS
2002...子TS
2102...再生路徑
2210...剪輯資訊
2211...系統率
2212...再生開始時刻
2213...再生結束時刻
2221...PID
2222...屬性資訊
2230...分錄圖
2242、2420...延伸區起點
2421...相依視圖延伸區ID(EXT2_ID)
2422...SPN
2300...表
2301...分錄圖標頭
2302...分錄點
2303...PTS
2304...來源封包號碼(SPN)
2305...分錄點ID(EP_ID)
2310...來源封包群
2411...基礎視圖延伸ID(EXT1_ID)
2412...SPN
2500...延伸區塊
2510...檔案2D
2511...檔案庫
2512...檔案DEP
2520...檔案SS
2610...基礎視圖視訊串流
2620...相依視圖視訊串流
2601B、2603B、2605B...分錄點
2601D、2603D、2605D...分錄點
2701...主路徑
2702、2703...子路徑
2801...參考剪輯資訊
2802...再生開始時刻
2803...再生結束時刻
2804...銜接條件
2805...STN表
2806...串流號碼(STN)
2807...串流路徑資訊
2808...串流識別資訊
2809...串流分錄
2901、2902...再生區間
3001...分錄標記
3101...主路徑
3102...子路巠
3103...延伸資料
3130...STN表SS
3205...STN表
3210...串流屬性資訊
3301、3302、3303...串流登錄資訊串
3311...彈出期間之偏移
3312...串流登錄資訊串
3320...串流登錄資訊
3322...串流分錄
3323...串流屬性資訊
3331...子路徑ID參考資訊
3332...串流檔案參考資訊
3333...PID
3401...主路徑
3402...子路巠
3510...索引表
3520...3D存在旗標
3700...2D再生裝置
3701...BD-ROM驅動器
3702...再生部
3703...控制部
3721...讀緩衝器
3725...系統目標解碼器
3726...截面加算部
3731...動態情境記憶體
3732...靜態情境記憶體
3733...使用者事件處理部
3734...程式執行部
3735...再生控制部
3736...播放器變數記憶部
4010...來源解封包處理器
4020...ATC計數器
4030...第1之27MHz時鐘
4040...PID濾波器
4050...STC計數器(STC1)
4060...第2之27MHz時鐘
4070...主影像解碼器
4071...副影像解碼器
4072...PG解碼器
4073...IG解碼器
4074...主聲音解碼器
4075...副聲音解碼器
4080...影像處理器
4090...主影像截面記憶體
4091...副影像截面記憶體
4092...PG截面記憶體
4093...IG截面記憶體
4094...影像截面記憶體
4095...聲音混合器
4200...3D再生裝置
4201...BD-ROM驅動器
4202...再生部
4203...控制部
4210-4213...參考偏移ID
4220...切換器
4221...RB1
4222...RB2
4225...系統目標解碼器
4226...截面加算部
4227...HDMI通訊部
4231...動態情境記憶體
4232...靜態情境記憶體
4233...使用者事件處理部
4234...程式執行部
4235...再生控制部
4236...播放器變數記憶部
4320-4323...偏移修正值
4501...TB1
4502...MB1
4503...EB1
4504...DEC
4505...DPB
4506...緩衝器切換器
4507...圖片切換器
4508...TB2
4509...MB2
4510...EB2
4511...第1來源解封包處理器
4512...第2來源解封包處理器
4513...第1PID濾波器
4514...第2PID濾波器
4515...主影像解碼器
4520...左影像截面記憶體
4521...右影像截面記憶體
4551...TS優先度濾波器
4552...偏移元資料處理部
4615...主影像解碼器
4604...DEC
4701...左影像截面資料
4702...右影像截面資料
4703...副影像截面資料
4704...PG截面資料
4705...IG截面資料
4706...影像截面資料
4710...視差影像生成部
4720...切換器
4731-4734...修剪處理部
4741-4744...加算部
5221...起點偏移值
5222...終點偏移值
5424...偏移時間間隔
5223...偏移函數ID
5700...3D再生裝置
5701...輸出偏移修正值適用部
5803、5804...序列終端碼
5801、5802...補充資料
5811、5812...偏移元資料
5901...接收部
5902...串流處理部
5903...訊號處理部
5904...輸出部
6501...視訊移位部
6502...SPRM(32)
6503...SPRM(33)
6800...STN表
6801...STN
6802...串流分錄
6803...串流屬性資訊
6810、6811...視訊上/下移動時移位值
6812...視訊移位模式
6904...SPRM(34)
7100...STN表
7101...STN
7102...串流分錄
7103...串流屬性資訊
7110...視訊上移動時字幕
7111...視訊下移動時字幕
7135...再生控制部
7311...主要視訊串流
7312A、7312B...左視圖PG串流
7313A、7313B...右視圖PG串流
7323A、7323B...深度圖PG串流
7314...左視圖IG串流
7315...右視圖IG串流
7316...次要視訊串流
7321...主要視訊串流
7323A、7323B...深度圖PG串流
7324...深度圖IG串流
7326...次要視訊串流
7413...PG串流之串流登錄資訊串
7414...IG串流之串流登錄資訊串
7421...子路徑ID參考資訊
7422...串流檔案參考資訊
7423...PID
7431...串流登錄資訊
7441...STN
7442...立體視覺旗標
7443...基礎視圖串流分錄
7444...相依視圖串流分錄
7445...串流屬性資訊
7501...PG解碼器
7511...基礎視圖PG解碼器
7512...相依視圖PG解碼器
7504、7505...PG截面資料
7521、7522...PG截面記憶體
7525...系統目標解碼器
7526...截面加算部
7535...再生控制部
7604、7605...視訊截面資料
7610...第2視差影像生成部
7620...第2切換器
7800...記錄裝置
7801...資料庫部
7802...視訊編碼器
7803...素材製作部
7804...情境生成部
7805...BD程式製作部
7806...多工處理部
7807...格式處理部
7812...視訊串流
7811...遮罩區域資訊
7810...偏移資訊
7812-7816...基本串流
7813...音訊串流
7814...PG串流
7815...IG串流
7817...BD-ROM情境資料
7820...BD-ROM碟片影像
7901...左視圖圖片
7902...右視圖圖片
7903...巨集塊
7904、7905...影像
7906...矩陣
8110、8120...矩形
8510、8810、8901、8902...延伸區塊
8520、8820、8920...再生路徑
9310、9320...矩形
9411...檔案庫
9412...檔案DEP
9701、9702、9703、9704、9810、9900...伸區塊
9910-9920...AV串流檔案
9911...檔案庫
9912...檔案DEP
A1、A2、A3...傳輸開始時刻
A001、A201...第1延伸區塊
A002、A202...第2延伸區塊
A203...第3延伸區塊
A010、A210...檔案2D
A011、A401...檔案庫
A012、A502...檔案DEP
A020、A220...檔案SS
A110、A120、A310、A320...再生路徑
A230、A231、A232、A510、A520、A530、A531、A540、A541...分錄點
A701、A801...資料塊群
A702、A810、A820...再生路巠
AD...聲音資料
Ak、Bk、Ck...串流資料
AL1、AL2、AR1、AR2...帶狀區域
AT1、AT2...長度
ANGm#k...角度改變區間
B[2]SS
...SS再生專用塊
BDP...程式檔案群
BGV...背景
BL、BR...黑色帶
BB、BBG、BT、BTI...黑帶
B[k]、B[n]...基礎視圖資料塊
CBC...立方體
CC...銜接條件
CLI...剪輯資訊檔案
CML、CMR...攝影機
CRA、CRC...修正值
D...深度圖資料塊
D0...距離
DA...累積資料量
DA1、DA2...累積資料量
DA1、DA2...顯示區域
DA、DC、PRB...視差
DD2、DD3...光碟片驅動器
DM10、DM11、DM20、DM21...極大值
DPH...深度圖
DPI...景深資訊
DRG...顯示區域
DS2、DS3...顯示裝置
DSC...圓板
DTS...解碼時間戳記
D[k]、D[n]...相依視圖資料塊
D[k]、B[k]...延伸區配對
EX1A-C、EX2A-C...延伸區
EXT1[k]、EXT2[k]...延伸區配對
EXT1[n]、EXT2[n]...延伸區配對
EXT1[n]...基礎視圖延伸區
EXT2[n]...相依視圖延伸區
EXT2D[n]...2D延伸區
EXT2D[0]、...、EXT2D[n]...2D延伸區群
EXTSS[0]、EXTSS[1]、EXTSS[2]...延伸區
FR1、FR2、FR3、FR15...訊框
GOB0...左視圖圖形影像
GOB1-3...右視圖圖形影像
GOP1、GOP2、GOP3、GOP4...顯示期間
GP、LGP、RGP...PG截面資料
GP1、GP2、GPL...圖形截面
HAL、HAR...水平視角
ICS...對話構成區段
IR...訊號
IMG...影像
J0
[2n]...零磁區變遷
J2D
[n]、J[M]、JLY
、JNAV
...跳躍
LA1、LB、LC1...左視圖
LB...層交界
L...左視圖資料塊
LEY...左眼
LR...左右訊號
LV、LVW...左視圖
maxSEXT1
[n]、maxSEXT2
[n]...最大延伸尺寸
MP1、MP3...欠缺部分
MSD...多工串流資料
MVW...2D影像、主影像
OB1、OB2、OB3...圖形元件
OBL...左側被照體
OBR...右側被照體
ODS...物件定義區段
OFS...偏移值
P1、P2...峰值
P1、P2、P3、P11、P12...磁區群
PANG
...多角度期間
PCS...顯示控制區段
PDS...色盤定義區段
PDG...視差影像生成部
PDS...光碟片
PJ0
[2n]...零磁區變遷期間
PJ2D
[n]...跳躍期間
PL2...2D再生裝置
PL3...3D再生裝置
PR2D
[n]、PRD
[k]、PRB
[k]、PRD
[n]、PRB
[n]...讀出期間
PRD
[n]、PRD
[m]、PRB
[n ...預載期間
PRF...參數檔案
PTS...呈現時間戳記
R...右視圖資料塊
RA1、RB、RC1...右視圖
REXT1
、REXT1
[n]...基礎視圖傳輸速度
REXT2
、REXT2
[n]...相依視圖傳輸速度
REXTSS
[M]...平均傳輸速度
REY...右眼
RTS1
、RTS2
...系統率
RV、RVW...右視圖
S1-S6、S101-S110、S3601-S3609、S3901-S3906、S4101-S4105、S4401-S4410、S8001-S8007、S4801-S4810...步驟
SB1、SB2、SBD...字幕
SCB、SCC...畫面
SEXT1
、SEXT2
、SEXT2D
、SEXTSS
、SEXTSS
、SEXT2D
[n]、SEXT1
[k]...尺寸
SFI、SFP...偏移值
SHG...快門眼鏡
SJUMP
...跳躍距離
SJUMP_MAX
...最大跳躍距離
SP1、SP2...來源封包
STL...字幕資料
SUB...字幕
T0...第1時刻
T1...第2時刻
TANG
...角度改變區間之長度之最大值
TEXT
...限延伸區ATC時間
TEXTSS
...延伸區ATC時間
TJUMP0
...零磁區變遷時間
TJUMP-2D
[n]、TJUMP
[M]...跳躍時間
TJUMP_MAX
...最大跳躍時間
TRC...磁軌
Tstr
...期間
VAL、VAR...垂直視角
VD...影像資料
VDL...左影像解碼器
VDR...右影像解碼器
VDC...影像解碼器
VFL、VFR...影像訊框
VP1、VP2...顯示區域
VPA、VPB、VPC...主影像截面
VWR...收視者
WIN1、WIN2、WIN3...視窗
WDS...視窗定義區段
ΔT...延長時間
ΔT1...讀出期間
ΔT2...長程跳躍之期間
ΔT3...預載期間
第1圖係表示使用依據本發明之實施形態1之記錄媒體之家庭劇院系統之模式圖。
第2圖係表示第1圖所示之BD-ROM碟片101上之資料構造之模式圖。
第3(a)、(b)圖係受到多工而成為BD-ROM碟片上之主TS及子TS之各者之基本串流之一覽表。
第4圖係表示多工串流資料400內之TS封包之配置之模式圖。
第5(a)圖係表示TS標頭501H之資料構造之模式圖。(b)係表示構成多工串流資料之TS封包501串之形式之模式圖。(c)係表示由多工串流資料之TS封包串所構成的來源封包502串之形式之模式圖。(d)係連續記錄有一連串之來源封包502之BD-ROM碟片之冊區域上之磁區群之模式圖。
第6圖係表示PG串流600之資料構造之模式圖。
第7圖係依顯示時間順序表示基礎視圖視訊串流701及右視圖視訊串流702之圖片之模式圖。
第8圖係表示視訊串流800之資料構造之詳細之模式圖。
第9圖係表示對PES封包串902之視訊串流901之儲存方法之詳細之模式圖。
第10圖係表示分派給基礎視圖視訊串流1001及相依視圖視訊串流1002之各圖片之PTS及DTS之間之關係之模式圖。
第11圖係表示相依視圖視訊串流1100所含之偏移元資料1110之資料構造之模式圖。
第12圖係表示第11圖所示之偏移元資料1110之語法(Syntax)之表。
第13(a)、(b)圖係表示對於PG截面1310及IG截面1320之偏移控制之模式圖。(c)係表示收視者1330從(a)、(b)所示之圖形截面所表現的2D圖形影像所知覺到的3D圖形影像之模式圖。
第14(a)、(b)圖係表示偏移序列之具體例之圖。(c)係表示按照(a)、(b)所示之偏移序列所重現的3D圖形影像之模式圖。
第15圖係表示儲存有相依視圖視訊串流內之VAU#11500之PES封包1510、及從該PES封包1510生成之TS封包串1520之模式圖。
第16圖係表示分別屬於第15圖之第1群組1521及第2群組1522之TS封包表示相同TS優先度之值時之TS封包串1620之模式圖。
第17(a)圖係表示解碼切換器資訊1750之資料構造之模式圖。(b)、(c)係表示分派給基礎視圖視訊串流1701及相依視圖視訊串流1702之各圖片之解碼計數器之例1710、1720、1730、1740之模式圖。
第18圖係表示PMT1810之資料構造之模式圖。
第19圖係表示BD-ROM碟片101上之多工串流資料之物理性配置之模式圖。
第20(a)圖係表示於BD-ROM碟片上個別地連續記錄之主TS2001及子TS2002之配置之模式圖。(b)係表示交替記錄於依據本發明之實施形態1之BD-ROM碟片101上之相依視圖資料塊D[0]、D[1]、D[2]、…與基礎視圖塊B[0]、B[1]、B[2]、…之配置之模式圖。(c)、(d)係分別表示以交插配置記錄之相依視圖資料塊群D[n]及基礎視圖資料塊群B[n]之各延伸區ATC時間之例之模式圖(n=0、1、2)。
第21圖係表示對於延伸區塊群1901-1903在2D再生模式及L/R模式下之各再生路徑2101、2102之模式圖。
第22圖係表示2D剪輯資訊檔案(01000.clpi)231之資料構造之模式圖。
第23(a)圖係表示分錄圖2230之資料構造之模式圖。(b)係表示屬於檔案2D241之來源封包群2310中,藉由分錄圖2230而與各EP_ID2305建立對應者之模式圖。(c)係表示對應於該來源封包群2310之BD-ROM碟片上之資料塊群D[n]、B[n](n=0、1、2、3、…)之模式圖。
第24(a)圖係表示第22圖所示之延伸區起點2242之資料構造之模式圖。(b)係表示包含於相依視圖剪輯資訊檔案(02000.clpi)232之延伸區起點2420之資料構造之模式圖。(c)係表示由3D再生模式之再生裝置102從檔案SS244A所擷取到的基礎視圖資料塊B[0]、B[1]、B[2]、…之模式圖。(d)係表示屬於檔案DEP(02000.m2ts)242之相依視圖延伸區EXT2[0]、EXT2[1]、…與表示延伸區起點2420之SPN2422之間之對應關係之模式圖。(e)係表示屬於檔案SS244A之延伸區SSEXTSS[0]與BD-ROM碟片上之延伸區塊之間之對應關係之模式圖。
第25圖係表示記錄於BD-ROM碟片上之1個延伸區塊2500、檔案2D2510、檔案庫2511、檔案DEP2512及檔案SS2520之各延伸區群之間之對應關係之模式圖。
第26圖係表示設定於基礎視圖視訊串流2610及相依視圖視訊串流2620之分錄點之例之模式圖。
第27圖係表示2D播放串列檔案之資料構造之模式圖。
第28圖係表示第27圖所示之PI#N之資料構造之模式圖。
第29(a)、(b)圖係分別表示在CC為“5”、“6”時,連接對象之2個再生區間2901、2902之間之關係之模式圖。
第30圖係表示從2D播放串列檔案(00001.mpls)221所示之PTS與從檔案2D(01000.m2ts)241所再生的部分之間之對應關係之模式圖。
第31圖係表示3D播放串列檔案之資料構造之模式圖。
第32圖係表示包含第31圖所示之3D播放串列檔案222之主路徑3101之STN表3205之模式圖。
第33圖係表示第31圖所示之STN表SS3130之資料構造之模式圖。
第34圖係表示從3D播放串列檔案(00002.mpls)222所示之PTS與從檔案SS(01000.ssif)244A所再生的部分之間之對應關係之模式圖。
第35圖係表示第2圖所示之索引檔案(index.bdmv)211之資料構造之模式圖。
第36圖係表示第1圖所示之再生裝置102利用6種辨別處理來選擇再生對象之播放串列檔案之處理之流程圖。
第37圖係2D再生裝置3700之功能方塊圖。
第38圖係第37圖所示之播放器變數記憶部3736所含之系統參數(SPRM)之一覽表。
第39圖係表示由第37圖所示之再生控制部3735所進行的2D播放串列再生處理之流程圖。
第40圖係表示第37圖所示之系統目標解碼器3725之功能方塊圖。
第41(a)圖係第40圖所示之PG解碼器4072從PG串流內之1個資料分錄解碼圖形物件之處理之流程圖。(b)-(e)係表示按照該處理而變化之圖形物件之模式圖。
第42圖係3D再生裝置4200之功能方塊圖。
第43圖係第42圖所示之播放器變數記憶部4236所含之SPRM(27)及SPRM(28)之資料構造之表。
第44圖係由第42圖所示之再生控制部4235所進行的3D播放串列再生處理之流程圖。
第45圖係表示第42圖所示之系統目標解碼器4225以第1機構安裝有偏移元資料之擷取功能時之功能方塊圖。
第46圖係表示第42圖所示之系統目標解碼器4225以第2機構安裝有偏移元資料之擷取功能時之視訊串流之處理系統之功能方塊圖。
第47圖係表示第42圖所示之截面加算部4226之功能方塊圖。
第48圖係表示由第47圖所示之各修剪處理部4731-4734所進行的偏移控制之流程圖。
第49(b)圖係表示以藉由第2修剪處理部4632所進行的偏移控制而加工前之PG截面資料GP之模式圖。(a)、(c)係分別表示被給予向右偏移之PG截面資料RGP及被給予向左偏移之PG截面資料LGP之模式圖。
第50圖係表示儲存有相依視圖視訊串流內之VAU#15000之PES封包5010、及從該PES封包5010生成之TS封包串5020之模式圖。
第51圖係表示從第50圖所示之TS封包串5020擷取偏移元資料之系統目標解碼器5125內之視訊串流之處理系統之功能方塊圖。
第52(a)圖係表示利用互補函數之偏移元資料5200之資料構造之模式圖。(b)係表示構成互補函數之要素種類之圖。(c)係表示從(a)所示之偏移序列ID=0、1、2之各偏移序列,由3D再生裝置所算定的偏移值之圖。
第53圖係表示包含複數子路徑之3D播放串列檔案5300之資料構造,及受其參考之檔案2D5310與2個檔案DEP5321、5122之資料構造之模式圖。
第54圖係表示對於1個串流資料設定有複數個偏移修正值之STN表5400之模式圖。
第55(a)-(c)圖係表示於32英吋、50英吋及100英吋之各畫面SCA、SCB、SCC所顯示的左視圖與右視圖之間之視差PRA、PRB、PRC之模式圖。
第56(a)圖係表示畫面尺寸與輸出偏移修正值之間之對應表之模式圖。(b)係表示畫面尺寸與輸出偏移修正值之間之函數之圖。
第57圖係表示輸出偏移修正所必需的3D再生裝置之要素之功能方塊圖。
第58(a)圖係僅表現靜止圖像之相依視圖視訊串流5800之資料構造之模式圖。(b)係表示按照該類3D播放串列檔案而再生之左視圖視訊截面串5821、右視圖視訊截面串5822及圖形截面串5830之模式圖。
第59圖係進行補償左視圖與右視圖之間之偏離之處理之顯示裝置103之功能方塊圖。
第60(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之水平視角HAL、HAR之俯視圖。(b)、(c)係分別表示以左側之攝影機CML所拍攝的左視圖LV、及以右側之攝影機CMR所拍攝的右視圖RV之模式圖。(d)、(e)係分別表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。
第61(a)圖係模式性地表示拍攝3D影像之1對攝影機CML、CMR之垂直視角VAL、VAR之俯視圖。(b)係表示以左側之攝影機CML所拍攝的左視圖LV、及以右側之攝影機CMR所拍攝的右視圖RV之模式圖。(c)係表示加工後之左影像截面所表現的左視圖LV、及加工後之右影像截面所表現的右視圖RV之模式圖。
第62(a)圖係表示圖形截面GPL所表現的圖形影像之一例之模式圖。(b)、(c)係分別表示對圖形截面GPL給予向右及向左之偏移之處理之模式圖。(d)、(e)係分別表示被給予向右及向左之偏移之圖形截面GP1、GP2所表現的圖形影像之模式圖。
第63圖係表示對於從BD-ROM碟片上之PG串流或IG串流再生之圖形截面、以及由再生裝置生成之圖形截面所規定關於圖形元件配置之條件之模式圖。
第64(a1)、(a2)圖係均表示相同之黑邊(letter box)顯示之畫面之模式圖。(b)、(c)係分別表示對主影像截面,向上及向下給予131畫素(pixel)之偏移時之各畫面之模式圖。(d)係表示對主影像截面,向上給予51畫素之偏移時之畫面之模式圖。
第65圖係表示視訊移位所必需的再生裝置內之構成之功能方塊圖。
第66(a)圖係表示SPRM(32)及SPRM(33)之各資料構造之表。(b)係表示黑邊顯示之影像內容之播放串列檔案內之STN表之模式圖。
第67(a)-(c)圖係分別表示由上移模式、保持模式及下移模式之視訊移位部6501所處理的主影像截面VPA、VPB、VPC之模式圖。(d)-(f)係分別表示由上移模式、保持模式及下移模式之第2修剪處理部4632所處理的PG截面PGD、PGE、PGF之模式圖。(g)-(i)係分別表示由上移模式、保持模式及下移模式之第2加算部4642所合成的截面資料PLG、PLH、PLI之模式圖。
第68(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之其他例之模式圖。(b)係表示(a)所示之STN表之包含視訊移位模式6812之複數串流屬性資訊6803之登錄順序之模式圖。
第69圖係表示視訊移位所必需的再生裝置內之構成之其他例之功能方塊圖。
第70(a)圖係表示播放器變數記憶部4236內之SPRM(37)之資料構造之模式圖。(b)係表示於PG串流所表現的字幕之背景色設定為無色透明時,顯示於畫面SCR之影像IMG及字幕SUB之模式圖。(c)係表示於字幕之背景色設定為儲存在SPRM(37)之色彩座標值時,顯示於畫面SCR之影像IMG及字幕SUB之模式圖。
第71(a)圖係表示黑邊顯示之影像內容之播放串列檔案內之STN表之進一步之其他例之模式圖。(b)係表示視訊移位所必需的再生裝置內之構成之進一步之其他例之功能方塊圖。
第72(a)圖係表示對應於保持模式之字幕SB1、SB2之模式圖。(b)係表示對應於下移模式之字幕SBD、SB2之模式圖。(c)係表示以保持模式顯示之字幕SB1之模式圖。(d)係於視訊上移動時字幕7110未登錄於STN表時,以上移模式顯示之字幕SB3之模式圖。
第73(a)、(b)圖係受到多工而成為BD-ROM碟片101上之第1子TS及第2子TS之基本串流之一覽表。
第74圖係表示依據實施形態2之STN表SS3130之資料構造之模式圖。
第75圖係表示依據實施形態2之系統目標解碼器7525之功能方塊圖。
第76圖係2截面模式之截面加算部7526之部分功能方塊圖。
第77(a)、(b)、(c)圖係表示2D‧PG串流所表現的左視圖圖形影像GOB0、及右視圖PG串流所表現的右視圖圖形影像GOB1-3之模式圖。(d)、(e)、(f)係分別表示對於(a)、(b)、(c)所示之左視圖圖形影像之偏移控制之模式圖。
第78圖係依據本發明之實施形態3之記錄裝置7800之功能方塊圖。
第79(a)、(b)圖係表示利用於顯示3D影像之一場景之左視圖及右視圖之各圖片之模式圖。(c)係表示由第78圖所示之視訊解碼器7802而從其等圖片所算出的景深資訊之模式圖。
第80圖係利用第78圖所示之記錄裝置7800對BD-ROM碟片記錄電影內容之方法之流程圖。
第81圖係表示在相鄰接的資料塊間對準延伸區ATC時間之方法之模式圖。
第82(a)-(c)圖係用以說明依據利用視差影像之方法之3D影像(立體視覺影像)之再生原理之模式圖。
第83圖係表示從2D影像MVW與深度圖DPH之組合構成左視圖LVW及右視圖RVW之例之模式圖。
第84圖係表示2D再生模式之再生裝置內之再生處理系統之方塊圖。
第85(a)圖係表示於第4圖所示之再生處理系統以2D再生模式動作之期間,累積於讀緩衝器3721之資料量DA之變化之圖。(b)係表示再生對象之延伸區塊8510與2D再生模式下之再生路徑8520之間之對應關係之模式圖。
第86圖係表示關於BD-ROM碟片之跳躍距離SJUMP
與最大跳躍時間TJUMP_MAX
之間之對應表之一例。
第87圖係表示3D再生模式之再生裝置內之再生處理系統之方塊圖。
第88(a)、(b)圖係表示從1個延伸區塊無縫再生3D影像時,累積於第87圖所示之RB14221、RB24222之資料量DA1、DA2之變化之圖。(c)係表示該延伸區塊8810與3D再生模式下之再生路徑8820之間之對應關係之模式圖。
第89(b)圖係表示第(M+1)個(整數M為1以上)延伸區塊8901與第(M+2)個延伸區塊8902,及其等延伸區塊8901、8902與3D再生模式下之再生路徑8920之間之對應關係之模式圖。(a)係表示從其等延伸區塊8901、8902連續地無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化,及其等之和DA1+DA2之變化之圖群。
第90(a)、(b)圖係表示從第89(b)圖所示之2個延伸區塊8901、8902連續地無縫再生3D影像時,累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。
第91圖係表示3D再生模式之系統目標解碼器4225內所具備的視訊串流之處理系統之方塊圖。
第92(a)、(b)圖係分別表示限制基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]在延伸區單位之合計時之各傳輸速度REXT1
、REXT2
之時間性變化之圖。(c)係表示令(a)、(b)所示之基礎視圖傳輸速度REXT1
與相依視圖傳輸速度REXT2
相加後之值之時間性變化之圖。
第93圖係表示於系統目標解碼器內,從來源解封包處理器往PID濾波器傳輸之TS封包與ATC時間之間之關係之模式圖。
第94(a)圖係針對1個延伸區配對,依基礎視圖傳輸速度REXT1
[n]與相依視圖傳輸速度REXT2
[n]之組合別來表示最大延伸區尺寸maxSEXT1
[n]、maxSEXT2
[n]之表。(b)係就位於配置在層交界LB後之延伸區塊9402開頭之延伸區配對EXT1[n]、EXT2[n],表示將基礎視圖資料塊B[n]配置於相依視圖資料塊D[n]前之情況之模式圖。
第95(a)、(b)圖係表示從第94(b)圖所示之2個延伸區塊9401、9402連續地無縫再生3D影像時,分別累積於RB1及RB2之資料量DA1、DA2之變化之圖。
第96(a)圖係表示位於延伸區塊中途之延伸區配對中,對於資料塊之順序逆轉之配置之延伸區起點之資料構造(語法)之模式圖。(b)係表示屬於檔案庫之基礎視圖延伸區EXT1[k](k=0、1、2、…)與表示延伸區起點之延伸區開始旗標之間之對應關係之模式圖。(c)係表示屬於檔案DEP之相依視圖延伸區EXT2[k]與延伸區開始旗標之間之對應關係之模式圖。(d)係表示屬於檔案SS之延伸區SSEXTSS[0]與BD-ROM碟片上之延伸區塊之間之對應關係之模式圖。
第97(c)圖係表示對RB14221所要求的容量最大之資料塊之配置之模式圖。(a)、(b)係表示從(c)所示之延伸區塊9701、9702連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。(f)圖係表示對RB24222所要求的容量最大之資料塊之配置之模式圖。(d)、(e)係表示從(f)所示之延伸區塊9703、9704連續地無縫再生3D影像時,分別累積於RB14221、RB24222之資料量DA1、DA2之變化之圖。
第98(c)圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9810之模式圖。(a)、(b)係表示從(c)所示之延伸區塊9801連續地無縫再生3D影像時,RB14221、RB24222之各累積資料量DA1、DA2之變化之圖。
第99圖係表示在中途包含資料塊之順序逆轉之延伸區配對之延伸區塊9900與AV串流檔案9910-9920之間之對應關係之模式圖。
第100圖係表示記錄於BD-ROM碟片之層交界LB前後之資料塊群之配置1之模式圖。
第101圖係表示對於第100圖所示之配置1之資料塊群在2D再生模式下之再生路徑A110及在3D再生模式下之再生路徑A120之模式圖。
第102圖係表示記錄於BD-ROM碟片之層交界LB前後之資料塊群之配置2之模式圖。
第103圖係表示對於第102圖所示之配置2之資料塊群在2D再生模式下之再生路徑A310及在3D再生模式下之再生路徑A320之模式圖。
第104圖係表示位於第103圖所示之第2延伸區塊A202後端之3D再生專用塊B[3]SS
之讀出時間SEXT1
[3]/RUD72
、與RB24222之容量下限之間之關係之圖。
第105圖係表示對於檔案庫A501及檔案DEPA502之各延伸區EXT1[k]、EXT2[k](整數k為0以上)所設定的分錄點A510、A520之模式圖。
第106(a)圖係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,延伸區ATC時間不同且視訊串流之再生時間不同時之再生路徑之模式圖。(b)係表示於相鄰接之基礎視圖資料塊與相依視圖資料塊之間,視訊串流之再生時間相等時之再生路徑之模式圖。
第107(a)圖係表示對應多角度之多工串流資料之再生路徑之模式圖。(b)係表示記錄於BD-ROM碟片上之資料塊群A701、及對於其等之L/R模式下之再生路徑A702之模式圖。(c)係表示構成角度別之串流資料Ak、Bk、Ck之延伸區塊之模式圖。
第108圖係表示構成多角度期間之資料塊群A801、及對於其等之2D再生模式下之再生路徑A810及L/R模式下之再生路徑A820之模式圖。
第109圖係針對記錄有3D影像內容之光碟片,表示用以確保對於2D再生裝置之相容性之技術之模式圖。
第110圖係利用依據本發明之實施形態4之積體電路3而實現之再生裝置之功能方塊圖。
第111圖係表示第110圖所示之串流處理部5之代表性構成之功能方塊圖。
第112圖係第110圖所示之切換部53為DMAC時之切換部53周邊之功能方塊圖。
第113圖係表示第110圖所示之AV輸出部8之代表性構成之功能方塊圖。
第114圖係表示圖像重疊處理之記憶體2之利用方法之一例之模式圖。
第115圖係表示利用第114圖所示之記憶體2,於左視圖截面重疊圖形截面之方法之模式圖。
第116圖係表示利用第114圖所示之記憶體2,於右視圖截面重疊圖形截面之方法之模式圖。
第117圖係表示圖像重疊處理之記憶體2之利用方法之其他例之模式圖。
第118圖係第113圖所示之AV輸出部8及再生裝置之資料輸出部之詳細之功能方塊圖。
第119(a)、(b)圖係針對第110圖所示之積體電路3,表示配置於其內部之控制匯流排及資料匯流排之布局例之模式圖。
第120圖係表示安裝於顯示裝置之依據實施形態4之積體電路及其周邊部之構成之功能方塊圖。
第121圖係第120圖所示之AV輸出部8之詳細之功能方塊圖。
第122圖係由利用第110圖所示之積體電路3之再生裝置所進行的再生處理之流程圖。
第123圖係表示第122圖所示之各步驟S1-6之詳細之流程圖。
101...記錄媒體
102...再生裝置
103...顯示裝置
104...快門眼鏡
105...遙控器
121...BD-ROM驅動器
122...HDMI纜線
131...畫面
132...左右訊號發送部
141L、141R...液晶顯示面板
142...左右訊號接收部
LR...左右訊號
IR...訊號
Claims (4)
- 一種再生裝置,係用以從記錄媒體再生影像者;於前述記錄媒體,記錄有主視圖視訊串流、子視圖視訊串流及圖形串流;前述主視圖視訊串流包含主視圖圖片,該主視圖圖片係構成立體視覺影像之主視圖者;前述子視圖視訊串流包含子視圖圖片及元資料,該子視圖圖片係構成立體視覺影像之子視圖者;前述圖形串流包含圖形資料,該圖形資料係構成平面視覺圖形影像者;前述主視圖圖片係於再生時,描繪於主視圖視訊截面;前述子視圖圖片係於再生時,描繪於子視圖視訊截面;前述圖形資料係於再生時,描繪於圖形截面;前述元資料係配置於前述子視圖視訊串流之每一圖片群組(GOP,group of picture),包含偏移資訊;前述偏移資訊係規定對於構成GOP之複數個圖片之偏移控制之控制資訊;前述偏移控制係如下之處理:對前述圖形截面給予水平座標之左方及右方之各偏移,分別合成至主視圖視訊截面及子視圖視訊截面;前述子視圖視訊串流係受到多工而成為傳輸串流(TS,transport stream); 構成前述TS之TS封包之標頭包含TS優先度旗標,該TS優先度旗標係表示該TS封包之優先度者;包含前述元資料之TS封包之TS優先度旗標係與包含前述子視圖圖片之TS封包之TS優先度旗標不同值;前述再生裝置具備:讀出部,係從前述記錄媒體讀出資料者;解碼部,係將由前述讀出部所讀出的串流資料,解碼至視訊截面及圖形截面之至少某一者;TS優先度濾波器部,係監視前述串流資料所含之TS封包之TS優先度旗標,擷取包含前述元資料之TS封包者;元資料處理部,係從由前述TS優先度濾波器部所擷取的TS封包,擷取元資料者;及截面合成部,係按照由前述元資料處理部所擷取的元資料所含之偏移資訊,對於前述圖形截面進行偏移控制者。
- 如申請專利範圍第1項之再生裝置,其中前述解碼部係解碼未由前述TS優先度濾波器部所擷取的TS封包。
- 一種記錄方法,係將視訊串流與圖形串流記錄於記錄媒體者,包含有以下步驟:生成主視圖視訊串流,該主視圖視訊串流包含主視圖圖片,該主視圖圖片係構成立體視覺影像之主視圖;生成子視圖視訊串流,該子視圖視訊串流包含子視 圖圖片及元資料,該子視圖圖片係構成立體視覺影像之子視圖;生成圖形串流,該圖形串流包含圖形資料,該圖形資料係構成平面視覺圖形影像;將前述主視圖視訊串流記錄於前述記錄媒體;將前述子視圖視訊串流記錄於前述記錄媒體;及將前述圖形串流記錄於前述記錄媒體;前述主視圖圖片係於再生時,描繪於主視圖視訊截面;前述子視圖圖片係於再生時,描繪於子視圖視訊截面;前述圖形資料係於再生時,描繪於圖形截面;前述元資料係配置於構成前述子視圖視訊串流之每一圖片群組(GOP),包含偏移資訊;前述偏移資訊係規定對於構成GOP之複數個圖片之偏移控制之控制資訊;前述偏移控制係如下之處理:對前述圖形截面給予水平座標之左方及右方之各偏移,分別合成至主視圖視訊截面及子視圖視訊截面;前述子視圖視訊串流係受到多工而成為傳輸串流(TS);構成前述TS之TS封包之標頭包含TS優先度旗標,該TS優先度旗標係表示該TS封包之優先度者;包含前述元資料之TS封包之TS優先度旗標係與包 含前述子視圖圖片之TS封包之TS優先度旗標不同值。
- 一種記錄媒體再生系統,係包含記錄有主視圖視訊串流、子視圖視訊串流及圖形串流之記錄媒體、及再生前述記錄媒體之再生裝置;前述主視圖視訊串流包含主視圖圖片,該主視圖圖片係構成立體視覺影像之主視圖者;前述子視圖視訊串流包含子視圖圖片及元資料,該子視圖圖片係構成立體視覺影像之子視圖者;前述圖形串流包含圖形資料,該圖形資料係構成平面視覺圖形影像者;前述主視圖圖片係於再生時,描繪於主視圖視訊截面;前述子視圖圖片係於再生時,描繪於子視圖視訊截面;前述圖形資料係於再生時,描繪於圖形截面;前述元資料係配置於構成前述子視圖視訊串流之每一圖片群組(GOP),包含偏移資訊;前述偏移資訊係規定對於構成GOP之複數個圖片之偏移控制之控制資訊;前述偏移控制係如下之處理:對前述圖形截面給予水平座標之左方及右方之各偏移,分別合成至主視圖視訊截面及子視圖視訊截面;前述子視圖視訊串流係受到多工而成為傳輸串流(TS); 構成前述TS之TS封包之標頭包含TS優先度旗標,該TS優先度旗標係表示該TS封包之優先度者;包含前述元資料之TS封包之TS優先度旗標係與包含前述子視圖圖片之TS封包之TS優先度旗標不同值;前述再生裝置具備:讀出部,係從前述記錄媒體讀出資料者;解碼部,係將由前述讀出部所讀出的串流資料,解碼至視訊截面及圖形截面之至少某一者;TS優先度濾波器部,係監視前述串流資料所含之TS封包之TS優先度旗標,擷取包含前述元資料之TS封包者;元資料處理部,係從由前述TS優先度濾波器部所擷取的TS封包,擷取元資料者;及截面合成部,係按照由前述元資料處理部所擷取的元資料所含之偏移資訊,對於前述圖形截面進行偏移控制者。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009164289 | 2009-07-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201118867A TW201118867A (en) | 2011-06-01 |
TWI453736B true TWI453736B (zh) | 2014-09-21 |
Family
ID=43429028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW099122676A TWI453736B (zh) | 2009-07-10 | 2010-07-09 | A reproducing apparatus, a recording method, and a recording medium reproducing system |
Country Status (13)
Country | Link |
---|---|
US (2) | US8150238B2 (zh) |
EP (1) | EP2453661B1 (zh) |
JP (2) | JP4676579B2 (zh) |
KR (1) | KR20120104485A (zh) |
CN (1) | CN102138335B (zh) |
BR (1) | BRPI1004221A2 (zh) |
DK (1) | DK2453661T3 (zh) |
ES (1) | ES2649556T3 (zh) |
MX (1) | MX2011002003A (zh) |
RU (1) | RU2541128C2 (zh) |
TW (1) | TWI453736B (zh) |
WO (1) | WO2011004600A1 (zh) |
ZA (1) | ZA201101480B (zh) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013888A1 (en) * | 2009-06-18 | 2011-01-20 | Taiji Sasaki | Information recording medium and playback device for playing back 3d images |
JP4957831B2 (ja) * | 2009-08-18 | 2012-06-20 | ソニー株式会社 | 再生装置および再生方法、並びに記録装置および記録方法 |
US8878913B2 (en) * | 2010-03-12 | 2014-11-04 | Sony Corporation | Extended command stream for closed caption disparity |
US9456204B2 (en) * | 2010-03-16 | 2016-09-27 | Universal Electronics Inc. | System and method for facilitating configuration of a controlling device via a 3D sync signal |
JP2011216937A (ja) * | 2010-03-31 | 2011-10-27 | Hitachi Consumer Electronics Co Ltd | 立体画像表示装置 |
JP5505637B2 (ja) * | 2010-06-24 | 2014-05-28 | ソニー株式会社 | 立体表示装置および立体表示装置の表示方法 |
KR101645465B1 (ko) * | 2010-07-23 | 2016-08-04 | 삼성전자주식회사 | 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 |
KR20120056929A (ko) * | 2010-09-20 | 2012-06-05 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US9143783B2 (en) * | 2011-01-19 | 2015-09-22 | Telefonaktiebolaget L M Ericsson (Publ) | Indicating bit stream subsets |
US20120224037A1 (en) * | 2011-03-02 | 2012-09-06 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort for graphical elements |
JP5355606B2 (ja) * | 2011-03-03 | 2013-11-27 | 日本電信電話株式会社 | ステレオ動画像符号化方法、装置およびプログラム |
JP5639007B2 (ja) * | 2011-05-17 | 2014-12-10 | 日本電信電話株式会社 | 3d映像視聴装置、3d映像視聴方法及び3d映像視聴プログラム |
US8923686B2 (en) * | 2011-05-20 | 2014-12-30 | Echostar Technologies L.L.C. | Dynamically configurable 3D display |
JP5914838B2 (ja) * | 2011-05-23 | 2016-05-11 | パナソニックIpマネジメント株式会社 | 画像表示装置 |
JP2012249019A (ja) * | 2011-05-26 | 2012-12-13 | Sony Corp | 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 |
WO2012164920A1 (ja) * | 2011-06-01 | 2012-12-06 | パナソニック株式会社 | 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路 |
JP6058257B2 (ja) | 2011-07-06 | 2017-01-11 | アイキューブド研究所株式会社 | 画像出力装置、画像出力方法、およびプログラム |
US20130046856A1 (en) * | 2011-08-15 | 2013-02-21 | Telefonaktiebolaget L M Ericsson (Publ) | Event-triggered streaming of windowed video content |
US9560334B2 (en) | 2011-09-08 | 2017-01-31 | Qualcomm Incorporated | Methods and apparatus for improved cropping of a stereoscopic image pair |
US9407897B2 (en) | 2011-09-30 | 2016-08-02 | Panasonic Intellectual Property Management Co., Ltd. | Video processing apparatus and video processing method |
JP2013110540A (ja) * | 2011-11-18 | 2013-06-06 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
WO2013100960A1 (en) * | 2011-12-28 | 2013-07-04 | Intel Corporation | Method of and apparatus for performing an objective video quality assessment using non-intrusive video frame tracking |
JPWO2013099289A1 (ja) * | 2011-12-28 | 2015-04-30 | パナソニック株式会社 | 再生装置、送信装置、再生方法及び送信方法 |
US9241167B2 (en) | 2012-02-17 | 2016-01-19 | Microsoft Technology Licensing, Llc | Metadata assisted video decoding |
JP5924108B2 (ja) | 2012-05-09 | 2016-05-25 | セイコーエプソン株式会社 | 画像表示装置及びシャッター装置 |
WO2014010955A1 (ko) * | 2012-07-11 | 2014-01-16 | 한국전자통신연구원 | Mpeg 데이터를 처리하는 방법 및 시스템 |
KR102147475B1 (ko) | 2012-07-11 | 2020-08-26 | 한국전자통신연구원 | Mpeg 데이터를 처리하는 방법 및 시스템 |
EP2699006A1 (en) * | 2012-08-16 | 2014-02-19 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | Pictures positioning on display elements |
JP6140416B2 (ja) * | 2012-10-10 | 2017-05-31 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 情報処理装置、情報処理方法およびプログラム |
JP6151010B2 (ja) * | 2012-11-29 | 2017-06-21 | 株式会社東芝 | 情報処理装置および表示制御方法 |
US20140212115A1 (en) * | 2013-01-31 | 2014-07-31 | Hewlett Packard Development Company, L.P. | Optical disc with three-dimensional viewing depth |
KR102095272B1 (ko) * | 2013-10-10 | 2020-04-01 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동 방법 |
TW201528775A (zh) | 2014-01-02 | 2015-07-16 | Ind Tech Res Inst | 景深圖校正方法及系統 |
JP2015136060A (ja) * | 2014-01-17 | 2015-07-27 | ソニー株式会社 | 通信装置、通信データ生成方法、および通信データ処理方法 |
JP2015136057A (ja) * | 2014-01-17 | 2015-07-27 | ソニー株式会社 | 通信装置、通信データ生成方法、および通信データ処理方法 |
US9348495B2 (en) | 2014-03-07 | 2016-05-24 | Sony Corporation | Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone |
JP6379636B2 (ja) | 2014-04-30 | 2018-08-29 | ソニー株式会社 | 情報処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
US10750198B2 (en) * | 2014-05-22 | 2020-08-18 | Qualcomm Incorporated | Maximum palette parameters in palette-based video coding |
CN114513617B (zh) | 2014-09-10 | 2024-04-09 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
JP6197771B2 (ja) * | 2014-09-25 | 2017-09-20 | 株式会社Jvcケンウッド | 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム |
JP2016081553A (ja) * | 2014-10-17 | 2016-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 記録媒体、再生方法、および再生装置 |
US10148933B2 (en) * | 2015-11-13 | 2018-12-04 | Vefxi Corporation | 3D system including rendering with shifted compensation |
US10225542B2 (en) * | 2015-11-13 | 2019-03-05 | Vefxi Corporation | 3D system including rendering with angular compensation |
US10122987B2 (en) * | 2015-11-13 | 2018-11-06 | Vefxi Corporation | 3D system including additional 2D to 3D conversion |
US10121280B2 (en) * | 2015-11-13 | 2018-11-06 | Vefxi Corporation | 3D system including rendering with three dimensional transformation |
CN107645647A (zh) * | 2017-09-21 | 2018-01-30 | 京信通信系统(中国)有限公司 | 一种多路音视频传输方法及装置 |
US10958958B2 (en) * | 2018-08-21 | 2021-03-23 | International Business Machines Corporation | Intelligent updating of media data in a computing environment |
JP7395901B2 (ja) * | 2019-09-19 | 2023-12-12 | ヤマハ株式会社 | コンテンツ制御装置、コンテンツ制御方法およびプログラム |
CN111147770B (zh) * | 2019-12-18 | 2023-07-07 | 广东保伦电子股份有限公司 | 一种多路视频窗口叠加显示方法、电子设备及存储介质 |
WO2021142601A1 (en) * | 2020-01-14 | 2021-07-22 | Citrix Systems, Inc. | Content resolution adjustment for passive display devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200630995A (en) * | 2004-12-02 | 2006-09-01 | Sony Corp | Reproduction apparatus, reproduction method, reporudction program, record medium, and data structure |
JP2007166651A (ja) * | 1996-02-28 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置 |
TW200735046A (en) * | 2005-04-22 | 2007-09-16 | Sony Corp | Recording device, recording method, reproducing device, reproducing method, program, and recording medium |
WO2008044191A2 (en) * | 2006-10-11 | 2008-04-17 | Koninklijke Philips Electronics N.V. | Creating three dimensional graphics data |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5325477A (en) * | 1991-12-02 | 1994-06-28 | Xerox Corporation | Method and apparatus for generating and displaying freeform strokes |
TW436777B (en) | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
US6484266B2 (en) | 1995-09-29 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
EP2175659B1 (en) | 1996-12-04 | 2012-11-14 | Panasonic Corporation | Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
US6925250B1 (en) | 1997-08-29 | 2005-08-02 | Matsushita Electric Industrial Co., Ltd. | Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator |
JP4481444B2 (ja) * | 2000-06-30 | 2010-06-16 | 株式会社東芝 | 画像符号化装置 |
US6760042B2 (en) * | 2000-09-15 | 2004-07-06 | International Business Machines Corporation | System and method of processing MPEG streams for storyboard and rights metadata insertion |
US20040017831A1 (en) * | 2002-04-05 | 2004-01-29 | Jian Shen | System and method for processing SI data from multiple input transport streams |
CN1757231B (zh) * | 2003-02-28 | 2013-06-05 | 松下电器产业株式会社 | 再现装置、记录方法和再现方法 |
US7426329B2 (en) | 2003-03-06 | 2008-09-16 | Microsoft Corporation | Systems and methods for receiving, storing, and rendering digital video, music, and pictures on a personal media player |
US7561779B2 (en) * | 2003-03-13 | 2009-07-14 | Panasonic Corporation | Video data processor having converting section for producing NTSC- or PAL-compliant synthetic video data |
RU2282946C2 (ru) * | 2003-12-25 | 2006-08-27 | Александр Александрович Сухов | Способ передачи визуальной информации |
CN1926872B (zh) * | 2004-02-06 | 2010-09-29 | 索尼株式会社 | 信息处理设备和信息处理方法 |
KR100561417B1 (ko) | 2004-02-09 | 2006-03-16 | 삼성전자주식회사 | Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치 |
KR100677129B1 (ko) * | 2004-09-03 | 2007-02-02 | 삼성전자주식회사 | 인터랙티브 그래픽 스트림을 기록한 저장 매체, 그 재생장치 및 재생 방법 |
US8068722B2 (en) * | 2004-10-07 | 2011-11-29 | Panasonic Corporation | Information storage medium, TS packet judgement apparatus, and data reproduction apparatus |
TWI393124B (zh) * | 2005-04-07 | 2013-04-11 | Panasonic Corp | A recording medium, a reproducing apparatus, a recording method, and a reproducing method |
US20090119706A1 (en) * | 2005-12-16 | 2009-05-07 | Stepframe Media, Inc. | Generation and Delivery of Stepped-Frame Content Via MPEG Transport Streams |
US8463019B2 (en) * | 2007-07-19 | 2013-06-11 | JVC Kenwood Corporation | Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method |
WO2009083863A1 (en) * | 2007-12-20 | 2009-07-09 | Koninklijke Philips Electronics N.V. | Playback and overlay of 3d graphics onto 3d video |
JP4792127B2 (ja) | 2008-07-24 | 2011-10-12 | パナソニック株式会社 | 立体視再生が可能な再生装置、再生方法、プログラム |
KR20140014346A (ko) * | 2009-05-19 | 2014-02-06 | 파나소닉 주식회사 | 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치 |
US8659592B2 (en) * | 2009-09-24 | 2014-02-25 | Shenzhen Tcl New Technology Ltd | 2D to 3D video conversion |
JP4481361B2 (ja) | 2009-10-08 | 2010-06-16 | 株式会社半導体エネルギー研究所 | 半導体装置 |
-
2010
- 2010-07-07 KR KR1020117004122A patent/KR20120104485A/ko not_active Application Discontinuation
- 2010-07-07 CN CN2010800024773A patent/CN102138335B/zh active Active
- 2010-07-07 ES ES10796911.5T patent/ES2649556T3/es active Active
- 2010-07-07 WO PCT/JP2010/004439 patent/WO2011004600A1/ja active Application Filing
- 2010-07-07 JP JP2010546127A patent/JP4676579B2/ja active Active
- 2010-07-07 DK DK10796911.5T patent/DK2453661T3/en active
- 2010-07-07 RU RU2011107253/08A patent/RU2541128C2/ru not_active IP Right Cessation
- 2010-07-07 MX MX2011002003A patent/MX2011002003A/es active IP Right Grant
- 2010-07-07 BR BRPI1004221-0A patent/BRPI1004221A2/pt not_active IP Right Cessation
- 2010-07-07 EP EP10796911.5A patent/EP2453661B1/en active Active
- 2010-07-09 TW TW099122676A patent/TWI453736B/zh not_active IP Right Cessation
-
2011
- 2011-01-20 JP JP2011010026A patent/JP5451656B2/ja not_active Expired - Fee Related
- 2011-02-22 US US13/031,780 patent/US8150238B2/en active Active
- 2011-02-24 ZA ZA2011/01480A patent/ZA201101480B/en unknown
-
2012
- 2012-02-17 US US13/399,196 patent/US8467664B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007166651A (ja) * | 1996-02-28 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置 |
TW200630995A (en) * | 2004-12-02 | 2006-09-01 | Sony Corp | Reproduction apparatus, reproduction method, reporudction program, record medium, and data structure |
TW200735046A (en) * | 2005-04-22 | 2007-09-16 | Sony Corp | Recording device, recording method, reproducing device, reproducing method, program, and recording medium |
WO2008044191A2 (en) * | 2006-10-11 | 2008-04-17 | Koninklijke Philips Electronics N.V. | Creating three dimensional graphics data |
Also Published As
Publication number | Publication date |
---|---|
EP2453661A1 (en) | 2012-05-16 |
WO2011004600A1 (ja) | 2011-01-13 |
US8150238B2 (en) | 2012-04-03 |
US20110142426A1 (en) | 2011-06-16 |
US20120147141A1 (en) | 2012-06-14 |
CN102138335B (zh) | 2013-02-06 |
JP4676579B2 (ja) | 2011-04-27 |
US8467664B2 (en) | 2013-06-18 |
MX2011002003A (es) | 2011-03-29 |
JPWO2011004600A1 (ja) | 2012-12-20 |
ES2649556T3 (es) | 2018-01-12 |
TW201118867A (en) | 2011-06-01 |
RU2011107253A (ru) | 2013-08-20 |
EP2453661B1 (en) | 2017-08-30 |
RU2541128C2 (ru) | 2015-02-10 |
ZA201101480B (en) | 2012-06-27 |
CN102138335A (zh) | 2011-07-27 |
JP5451656B2 (ja) | 2014-03-26 |
EP2453661A4 (en) | 2016-03-30 |
DK2453661T3 (en) | 2017-10-30 |
JP2011130468A (ja) | 2011-06-30 |
KR20120104485A (ko) | 2012-09-21 |
BRPI1004221A2 (pt) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI453736B (zh) | A reproducing apparatus, a recording method, and a recording medium reproducing system | |
JP5491427B2 (ja) | 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置 | |
JP5551654B2 (ja) | 半導体集積回路 | |
US8290338B2 (en) | Recording medium, playback device, encoding device, integrated circuit, and playback output device | |
US8270807B2 (en) | Recording medium, playback device, and integrated circuit | |
TWI395464B (zh) | A recording medium, a reproducing apparatus, and an integrated circuit | |
WO2010095443A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010113454A1 (ja) | 記録媒体、再生装置、及び集積回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |