200845724 九、發明說明： L發明所屑之技術領域】 技術領域 本發明係有關於一種可將包含複數業經編碼的圖像之 5編碼流與其他資訊多工化以生成多工資料之多工裝置以及 可將該多工資料反多工化之反多工裝置，且特別是有關於 一種可對應多角度播放等特殊播放之多工裝置以及反多工 裝置。
I：先前技術;J 10 背景技術 近年來，已開始迎接統合處理聲音、影像、其他像素 值之多媒體時代，並且採用以往的資訊媒體，亦即，可將 報紙、雜誌、電視、廣播、電話等資訊傳達給人們之裝置 作為多媒體的對象。一般所謂的多媒體係除了文字以外還 15包括同時賦予圖形、聲音、特別是影像等關聯性來表示者， 但在前述以往的資訊媒體作為多媒體之對象時，其必須條 件則為以數位形式表示該資訊。 然而’試著將前述各資訊媒體所具有的資訊量作為數 位資訊量估計時，文字的情形為相當於丨個字的資訊量卜2 20位元，相對於此，若為聲音時則為每1秒鐘64Kbits(電話品 貝），甚至於動晝必須為每1秒鐘1⑻Mbits(現行的電視接收 品質）以上的資訊量，而在現實上前述資訊媒體並不紙:以數 位形式直接處理該龐大的資訊。例如，雖然視訊電話已透 過具有64Kbits/s〜1 ·5Mbits/s的傳送速度之整合式服務數位 5 200845724 網路（ISDN : Integrated Services Digital Network)而實用 化，但是尚無法做到以ISDN直接傳送電視、照相機的影像。 因此，目前需要的是資訊的壓縮技術，例如視訊電話 的情形為使用ITU-T(總體電信聯合電信標準化部門）所建 5 議之H.261或H.263規格的動畫壓縮技術。又，利用MPEG-1 規格的資訊壓縮技術時，亦有可能將影像資訊與聲音資訊 一起放進一般的音樂用CD(光碟）中。 在此 ’ MPEG(動晝專家群：Moving Picture Experts Group)係指業經ISO/IEC(總體標準化機構總體電氣標準會 10議)標準化之動畫影像信號壓縮的總體規格，且MPEG-1為 動畫影像信號壓縮至1.5Mbps為止，即電視信號的資訊壓縮 至大致100分之1為止之規格。又，1^1^(^1規格係主要以傳 送速度品質為對象且可實現大致15Mbps程度之中度品 質，因此於欲達到更高畫值要求之規格化的訄1>£6_2中則實 15現了以2〜1501VIbPs播放動畫影像信號之τν品質。甚至目前 可藉由MPEG-1、MPEG_2及進行標準化之作業群(IS0/IEC JTC1/SC29/WG11) ’ 來達成提高MpEG1、MpEG-2的壓縮 率，並進一步做到以物件為單位進行編碼、解碼、操作， 且使可實現多媒體時代所需要的新機能之MpEG_4規格 2〇化。當初，MPEG-4之進行係以低位元率之編碼方法的標準 化為目標，而現在亦包含交錯影像與高位元率，且擴大到 更加通用的編碼。以後，預估可標準化MpEG_4 AVC(Advanced Vide。c〇ding ··先進視訊編碼），並使用於次 時代的光碟關連機器或者是針對攜帶型終端機的播放等， 6 200845724 以作為ISQ/IEC與ITU-T共同的更高壓縮率之次世代影像編 碼方式。 一般動晝影像之編碼係藉由削減時間 的冗餘性以進行資訊量的壓縮。因此，以肖= 5餘性為目的之畫面間預測編碼係參照前方或後方的圖像進 行以區塊為單位之移動檢測與預測影像製作，並對於所得 的預測影像與編碼對象圖像之差分值進行編碼。在此，圖 像係表示1個畫面之用語，遞增影像係指資料框，交錯影像 係指資料框或資料攔。在此，交錯影像係指由時間不同的2 10個資料欄構成1個資料框之影像。在交錯影像之編碼或解碼 處理中，可將1個資料框直接作為資料框處理，或作為2個 資料攔處理，或作為資料框内的每個區塊中之資料框結構 或資料欄結構處理。 將不具參照影像所進行之畫面内預測編碼者稱為j圖 15像。並將只參照1個圖像進行畫面間預測編碼者稱為p圖 像。又，將可同時參照2個圖像進行畫面間預測編碼者稱為 B圖像。B圖像可參照從顯示時間的前方或後方開始任意組 合的2個圖像。參照影像（參照圖像)可依照編碼與解碼的基 本單位之每個區塊來指定，並且將業經編碼的位元流中先 20 §己錄之參照圖像作為第1參照圖像、後記錄之參照圖像作為 第2參照圖像以區別。但是，使這些圖像編碼與解碼之條 件，係所參照的圖像必須已經編碼與解碼。 P圖像或B圖像之編碼係使用移動補償晝面間預測編 碼，且移動補償畫面間預測編碼係指在晝面間預測編碼時 200845724 適用私動補償之編碼方式。移動補償係指並非單純從參照 貝料框的像素值來預測，而是藉由檢測圖像内的各部分移 動里（以下稱為移動向量）且進行考慮到該移動 量之預測，以 提同預測精準度並且減少資料量之方式。例如，藉由檢測 5編碼對象圖像之移動向4，並編碼只有該移動向量分移位 的預測值與編碼對象圖像之間的預測殘餘，以減少資料 量。由於該方式於解碼時須要移動向量的資訊，因此移動 向Ϊ亦於編碼後記錄或傳送。移動向量係以巨集區塊為單 位進行檢測’具體而言，即藉由預先固定編碼對象圖像側 10的巨集區塊，且於探索範圍内移動參照圖像側的巨集區 塊，找出與基準區塊最相像的參照區塊位置，以檢測移動 向量。 第1圖係習知的MPEG-2之資料流的構成圖。 如第1圖所示，MPEG-2之資料流具有以下的階層結 15 構。資料流係由複數的GOP(圖像組：Group Of Picture)所構 成，且可透過以其作為編碼處理的基本單位來編輯或隨機 存取動晝影像。GOP係由複數的圖像所構成，且各圖像包 含有I圖像、P圖像或B圖像。且資料流、GOP及圖像更由顯 示各自單位的定界符之同步信號(sync)及成為與該單位共 2〇 通的資料之標頭(header)所構成。 第2圖係MPEG-2所使用的圖像間之預測結構例。 該圖中畫上斜線之圖像係用以被其他圖像參照之圖 像。且如第2(a)圖所示，MPEG-2可只參照顯示時間的前1 個I圖像或P圖像來預測編碼P圖像(P〇、P6、p9、p12、P15) ° 8 200845724 又，可參照顯示時間的前1個與後1個I圖像或P圖像來預測 編碼B圖像(B卜 B2、B4、B5、B7、B8、ΒΙΟ、Bll、B13、 B14、B16、B17、B19、B20)。再者，配置於資料流中的順 序亦業已決定’ I圖像及P圖像係依照顯示時間的順序配 5置，B圖像係依照配置於其下一個顯示的I圖像或p圖像的後 面之順序配置。GOP結構係如第2(b)圖所示，可將13到B14 之圖像匯集成1個GOP。 第3A圖與第3B圖係顯示在MPEG-2所使用的GOP結構 中，解碼順序與顯示順序以及從解碼後到顯示為止之延遲。 10 在此，MPEG-2為固定資料框率，且於解碼時同時表示 B圖像。如第3A圖與第3B圖所示，在MPEG-2中，從解碼GOP 的最前面圖像開始到GOP的顯現顯示順序中的最前面圖像 為止之延遲會成為最大之1資料框或2資料欄的顯示間隔。 以下，將從解碼GOP的最前面圖像開始到顯示GQp的最前 15面圖像為止之延遲稱為資料框延遲，且以1資料框（即2資料 欄）為單位來計算。DVD(數位化多功能光碟：Digital Versatile Disk)等光碟機係使用MPEG-2，且通常資料框延遲 係以固定1進行運用。又，降低以24Hz編碼之編碼流且以 60Hz顯示時延遲量會產生變化，且以依照編碼流的資料框 20率顯示之情形為基礎可決定延遲量，因此，於以下說明依 照編碼流的資料框率顯示之情形。 " 第4圖係MPEG_4 AVC之資料流的構成圖。在ΜρΕ〇_4 AVC中並沒有相當於GOP之概念，但在未依賴复 、/、to _像且 以可解碼之特殊圖像單位分割資料時，則可構成為相$於 9 200845724 GOP之可隨機存取的單位，因此，將它稱為隨機存取單位 RAU。 10 15 MPEG-4 AVC中的I圖像有IDR(立即解碼器更新： Instantaneous Decoder Refresh)圖像及非IDR圖像之二種工圖 像。IDR圖像係指可不參照解碼順序的IDR圖像前面之圖像 來解碼解碼順序的IDR圖像後面的所有圖像圖像，且相 當於MPEG-2之closed GOP的最前面I圖像。在非idr圖像之 I圖像中’解碼順序的I圖像後面之圖像亦可參照解碼順序的 該I圖像前面之圖像。藉由將非IDR圖像之〗圖像配置於隨機 存取單位RAU的最前面，且限制隨機存取單位RAU中的圖 像之預測結構，亦可構成像MPEG-2的openGOP之結構。 第5圖係MPEG-4 AVC中的圖像間之預測結構例。 在MPEG-4AVC中，由於預測結構具有彈性，因此，例 如，P2可參照18。在第5圖之例中，由於是先解碼18與!>2後 開始顯示，因此資料框延遲為2。如此，由於預測結構具有 彈性而在資料框延遲上沒有像MPEG-2之限制於最大1，且 資料框延遲隨著預測結構而不同。因此，無法使資料框延 遲以固定為1之方式進行播放。 DVD等之封包媒體具有選擇性地播放幾個相同資料流 的特定部分，或連續性地播放不同資料流，或一邊切換複 數不同角度的資料流一邊播放（多角度播放）等之特殊播放 機能。在實現這些機能之際，係以MPEG-2之GOP或MPEG-4 AVC之隨機存取單位rAu為基本。 第6圖係顯示在MPEG-2中切換播放的資料流之例子。 20 200845724 第6(a)、（b)、⑷圖係顯不包含於各個不同資料流之資料流 1、資料抓2、資料流3中的G〇p。在此，藉由接著 之後解碼GOP2·：!，可使播放的資料流從資料流丨切換至資 料流2。GOP1-1與GOP2-1的資料框延遲皆為卜因此顯示時 5不會產生間隙，且可於維持固定資料框率的同時播放。同 樣地’亦可藉由接著GOPl-ΐ之後解碼(3〇1>3-1以實現從資料 流1切換至資料流3。 以往，已有與這種動晝影像的編碼及多工化或解碼及 反多工化相關連之各種技術（參照如日本專利公開公報第 10 2003-18549號）。 第7圖係顯示可編碼且多工化動晝影像資料之習知多 工裝置之操作流程圖。 首先，多工裝置係在步驟S101與步驟S102中編碼丨個以 上之資料流。接著，多工裝置在步驟S1 〇3中製作管理資气， 15且該管理資訊包含有用以存取於步驟S101所製作的資料流 内之資訊，或顯示在多角度播放等特殊播放時所播放的資 料之資訊等，接著繼續步驟Si〇4。在步驟S104中，多工妒 置將管理資訊及資料流的資料多工化，並輸出多工資料。 第8圖係顯示習知多工裝置結構之方塊圖。 20 多工裝置8〇〇係設有編碼部11、記憶體12、管理資訊製 作部13及多工化部14。 編碼部11係將所輸入之動畫影像資料Vin編碼且儲存 編碼資料strln於記憶體12。 管理資訊製作部13係從記憶體12讀出編螞資料並讀作 200845724 為資料strOutl，且生成管理資訊base並輸出至多工化部 14。又，管理資訊base中未包含關於資料框延遲之資訊。 多工化部14係多工化管理資訊base、從記憶體12讀出 之讀出資料str0ut2、有別於使用者的設定資訊等之資料流 5 而取得之附加資訊adlnf，並輸出多工資料MuxDat。在此， 不需要時亦可不使用附加資訊adlnf。又，讀出資料str0ut2 亦可以MPEG-2 TS(傳輸流·· Transport Strean)或PS(程式 流·· Program Stream)等之方式，或應用程式所規定之方式 封包化後再多工化。例如，在BD(藍光碟片：Blu-rayDisc) 10規袼中’頃出資料strOut2稱為原始封包(s〇urce packet)，並 藉由附加4位元的標頭於MPEG-2 TS封包之方式多工化後 儲存。 第9A圖係顯示從多工裝置800輸出多工資料之結構例。 如第9A圖所示，多工資料中儲存有管理資訊與丨個以上 15的編碼流。再者，藉由將各個資料流當作1個以上的短片來 處理，可實現摘錄播放或多角度播放等多樣之播放方法。 在此，短片係表示在相同資料流的丨個以上之連續隨機存取 單位RAU中，i個以上之連續圖像，且短片亦可與資料流相 同。第9B圖與第9C圖係顯示播放例。第9β圖係顯示多角度 2〇播放之例子。當資料流1與資料細儲存不同角度的影像 時，可接著資料W的短川之後切換角度且播放資料流N 的短片N-2,並於短片N领放結束後再回來播放資料流卜 第9C圖係顯示摘錄播放之例子。在資料流^可藉 播 放短片Μ及短片1-M，按照順序播放代表場景等。 12 200845724
第ι〇圖係顯示從多工資料分離出編碼 知的反多謂置之操作流程圖。 +播放之S 首先，反多工裝置係在步驟S201中從多工資料分離出 管理資訊，且取得關於播放短片之資訊，再繼續步驟S204。 5關於短片之資訊包含有短片的開始時間或結束時間以及儲 存至短片内的編碼資料之資訊等。在步驟8204及步驟S205 中，反多工裝置在到達短片内的最終圖像前係依照順序解 碼、顯示短片内的圖像。在此，根據使用者的操作等指示 播放結束之際，係於指示有效的時點結束播放。 10 第11圖係顯示習知反多卫裝置900結構之方塊圖。 反多工裝置900係設有管理資訊分離部2卜短片資訊解 析部22、解碼部24及顯示部26。 管理資訊分離部21係從光碟等多工資料記錄媒體讀出 多工資料MuxDat，且解析管理資訊，並根據使用者之指示 15或事先決定之方法決定播放短片。然後，管理資訊分離部 21將關於決定的短片之資訊即短片資訊Clip輸出至短片資 訊解析部22。 短片資訊解析部22將存取至構成短片的圖像之存取資 訊acs輸出至解碼部24。解碼部24係根據存取資訊acs從多工 20資料記錄媒體讀出影像資料Vdat後解碼，並將解碼結果 dec〇ut輸出至顯示部26。顯示部26係從已達顯示時間之圖 像開始，按照順序顯示解碼結果。 而，MPEG-4 AVC係由於預測結構具有彈性，因此短片 的資料框延遲是可變的。然而，習知反多工裝置係在未考 13 200845724 慮短片的資料框延遲下切換短片，因此，會在切換資料框 延遲不同的短片時於圖像的顯示間隔上發生間隙。 第12圖係顯示從資料框延遲為1之短片切換到資料框 延遲為2之短片的例子。 5 第12(a)圖係顯示資料框延遲為1之資料流1的隨機存取 單位RAU1-1，第12(b)圖係顯示資料框延遲為2之資料流2 的隨機存取單位RAU2-1。在此，第12(c)圖係顯示於隨機存 取單位RAU1-1之後接著播放隨機存取單位rau2- 1時之解 碼與顯示時點。 10 隨機存取單位RAU1-1係資料框延遲為2，因此，在隨 機存取單位RAU1-1中的顯示順序最後之圖像P15的顯示時 間，進行隨機存取單位RAU2-1之最前面圖像即圖像18的解 碼。然而，隨機存取單位RAU2-1係資料框延遲為2,因此， 在解碼順序的第2個圖像即圖像P2之解碼時間時尚未開始 5顯示隨機存取單位RAU2-1之圖像。因此，在圖像P2的解碼 時間裡並不存在顯示圖像，結果在圖像p15與圖像B〇之間產 生顯示間隔的間隙。同樣地，在隨機存取單位RAU2-1之後 播放隨機存取單位RAU1-1時，為了連續顯示圖像而在解碼 間隔中產生間隙。即，顯示間隔重疊。以下，顯示間隔的 2〇間隙係包含在連接點上資料框延遲增加或減少的兩種情形 中，產生連接點上的不連續。 如此，習知多工裝置及反多工裝置係由於在切換資料 框延遲不同的短片之部分上無法維持固定資料框率之顯 示，而有造成使用者觀賞動晝影像時的不適感之問題。 14 200845724 因此，本發明係有鑑於上述問題而成者，且其目的為 提供-種即使於多角度播放等特殊播放時亦不會造成使用 者的不適感，且可使編碼流與其他資訊一起多工化並且生 成多工資料之多工裝置以及可反多工化該多工資料且播放 5 編碼流之反多工裝置。 t發明内容】 解決問題之手段 為了達成前述目的，本發明之多U係可使Η固或複 數個包含於每個可隨機存取複數業經編碼的圖像之存取單 ⑺位中而構成之編碼流與其他資訊一起多工化者，包含有： 編碼機構，係可生成前幻個或複數個編碼流，以於前述i 個或複數個編碼流所包含的前述存取單位當中之任音細 存取單位連續解碼之際，避免在前述兩存取單位的連接點 U上產生圖像間的間隙者；及多工機構，係可將前述編碼機 5構所生成之1個或複數個編碼流及前述其他資訊多工化 者/例如’ 述編碼機構係生成前述Η目或複數個編碼流， 依解碼順序解嗎最前面圖像開始到依顯示順序顯示最 月J面圖像為止之延遲量，在前述兩存取單位中分別相等。 2〇 藉此，生成編碼流使構成為特殊播放對象之2個存取單 位(如短片等）的延遲量（資料框延遲)相冑，因此，可於該等 子取單位連續解石馬之際，避免在該等存取單位的連接點上 產生圖像間的間隙，且維持固定的資料框率。即，可於特 $播放時無縫連接該等存取單位。結果，可消除使用者觀 、根據料存取單位之動畫影像時所造成的不適感。在 15 200845724 此’如以應用程式的運用規格決定 升疋延遲量時，則生成編碼 流使前述2健取單狀輯量符合該衫之延遲量。 又，前述多工裝置更包含有 β』生成關於珂述延遲量内 容的延遲資訊之延遲資訊生成機構， 傅且刖述多工裝置可將 5前述延遲資訊生成機構所生成之延遲次％夕 、遲貝矾多工化以作為前 述其他資訊。例如，前述延遲資訊 %貝成生成機構可生成顯示前 述延遲量之前述延遲資訊。並且，前述_資訊生成機# 可生成顯示可無縫連接前述兩存取單位之旗標以作為前述 延遲資訊。 1〇藉此，反多卫裝置可於延遲資訊（資料框延遲資訊)顯示 延遲量時，根據該延遲資訊來輕易地把握住2個存取單位之 延遲量，且在延遲資訊為旗標時，反多工裝置可藉由該旗 標輕易地把握住2個存取單位之延遲量相等。結果，可使反 多工裝置執行適當的反多工化處理。 15 又，前述編碼機構亦可生成前述1個或複數個編碼流， 以避免在前述複數個編碼流所包含的前述存取單位當中之 角度不同的2個存取單位的連接點上產生圖像間的間隙。 因此，由於2個存取單位的角度不同而可於該等存取單 位連續解碼之際，與前述相同地避免在該等存取單位的連 20接點上產生圖像間的間隙，且維持固定的資料框率。即， 該等存取單位形成為無縫·多角度者。結果，可消除使用 者觀賞根據該等角度不同的存取單位之動畫影像時所造成 的不適感。 又，為了達成前述目的，本發明之反多工裝置係可將 16 200845724 多工貧料反多工化者，且前述 欠 含於每個可隨射倾財 H豹㈣複數個包 %後要文菜經編碼的圖 構成之編碼流，及在前述存取單位各 取早位中而 中，關於從依解碼順序解碼最前面㈣開==取單位 顯示最前面圖像為止之延遲量内容的延=依顯示順序 多工裝置包含有··延遲資訊分離機構，係可財=槪 料分離出前述延遲資訊者； 月J 夕工貝 韦，夂播放機構，係可 延遲資訊分離機構分離出之延遲資 二:迷 單位並賴放者。 ^解^述兩存取 w因此’如生成編碼流使構成為特殊播放對象之2個存取 早位(如短片等）的延遲量相等時，可藉由於特殊播放時連續 解碼該2個存取單位並且播放，以避免在該等存取單位的連 接點上產生圖像間的間隙，且維持固定的資料框率。即， b 7無縫連接該等存取單位。結果，可紐制者觀賞根據 4等存取單位之動畫影像時所造成的不適感。並且，可於 如延遲資訊（資料框延遲資訊）顯示延遲量時，根據該延遲資 Λ來輕易地把握住2個存取單位之延遲量，且可在延遲資訊 為旗標時’藉由該旗標來輕易地把握住2個存取單位之延遲 里相等。結果，可進行更適當的反多工化處理。 又’為了達成前述目的，本發明之多工化方法係將動 息衫像編碼且與管理資訊一起多工化，該多工化方法包 3 ·生成1個以上的編碼流之編碼步驟；取得前述編碼流中 的貝料框延遲之步驟；製作含有可顯示前述取得的資料框 延遲資訊的管理資訊之管理資訊製作步驟；及將前述1個以 17 200845724 上之編碼流與前述管理資訊多工化之多工化步驟。且前述 編碼流係由1個以上的隨機存取單位所構成，而前述資料框 延遲係顯示在前述隨機存取單位中從依解碼順序解碼最A 面圖像開始到依顯示順序顯示最前面圖像為止之延遲，並 5 且前述編碼流中的前述資料框延遲是可變的。 又’前述管理資訊亦可包含前述1個以上的編碼流之前 述資料框延遲。 又’前述管理資訊亦可包含前述1個以上的編碼流中的 别述資料框延遲之最大值。 10 又’前述管理資訊亦可在前述1個以上的編碼流中的前 述資料框延遲相同之際，包含前述相同的資料框延遲以作 為與前述1個以上的編碼流共通之資料框延遲。 又’前述管理資訊亦可包含每個匯集前述丨個以上的隨 機存取單位之播放單位中的前述資料框延遲。 15 再者，本發明之反多工化方法可分離以前述多工方法 夕工化之多工資料並且播放，且該方法包含··資料框延遲 取得步驟’係於連續解碼互相不同的編碼流所包含的前述 隨機存取單位之際，取得播放的前述隨機存取單位所屬的 編碼流之資料框延遲；資料框延遲決定步驟，係根據前述 20取得的貢料框延遲決定播放時之資料框延遲；播放步驟， 係依照前述決定的資料框延遲播放前述隨機存取單位之圖 像。 又’前述資料框延遲決定步驟亦可藉由與前一個播放 的月ίι述隨機存取單位的資料框延遲相同之資料框延遲，播 18 200845724 放後續的前述隨機存取單位。 又，本發明不僅可實現前述多工裝置及反多工裝置、 或多工方法及反多工方法，亦可實現用於該多工裝置及反 多工裝置之程式、及儲存該程式之記憶媒體、或藉由該多 5 工裝置生成之多工資料。 如同上述，根據本發明，即使於特殊播放時亦可保證 以固定資料框率顯示，因此可消除對使用者造成的不適 感。並且特別是可提高封包媒體之播放品質，因此其實用 價值很高。 10 圖式之簡單說明 第1圖係MPEG-2之資料流結構圖。 第2(a)、（b)圖係MPEG-2之GOP結構圖。 第3A、B圖係MPEG-2中的資料框延遲之說明圖。 第4圖係MPEG-4AVC之資料流結構圖。 15 第5圖係顯示MPEG-4 AVC中的預測結構之例子。 第6(a)、（b)、（c)圖係顯示MPEG-4 AVC中的短片切換之 例子。 第7圖係顯示習知多工裝置之操作流程圖。 第8圖係顯示習知多工裝置結構之方塊圖。 20 第9A、B、C圖係顯示習知多工裝置的輸出資料之結構 例。 第10圖係顯示習知反多工裝置之操作流程圖。 第11圖係顯示習知反多工裝置結構之方塊圖。 第12(a)、（b)、（c)圖係顯示從習知多工裝置輸出之多工 19 200845724 資料於播放時的問題。 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。 第14圖係顯示本發明實施型態1的多工裝置結構之方 5 塊圖。 第15A〜E圖係顯示本發明實施型態1的多工裝置之輸 出資料結構例。 第16圖係顯示本發明實施型態2的多工裝置之操作流 程圖。 10 第17圖係顯示本發明實施型態2的多工裝置之方塊圖。 第18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。 第19圖係顯示於本發明實施型態3的反多工裝置中決 定播放時的資料框延遲之際的操作流程圖。 15 第20(a)〜(d)圖係顯示於本發明實施型態3的反多工裝 置中決定資料框延遲之際的操作例。 第21圖係顯示本發明實施型態3的反多工裝置之方塊 圖。 第22圖係HD-DVD之資料階層圖。 20 第23圖係HD-DVD上的邏輯空間之結構圖。 第24圖係VOB資訊檔案結構圖。 第25圖係時間對映表之說明圖。 第26圖係播放列表檔案之結構圖。 第27圖係與播放列表對應的程式檔案之結構圖。 20 200845724 第28圖係BD光碟全體管理資訊檔案之結構圖。 第29圖係記錄總體事件處理器的檔案之結構圖。 第30圖係HD-DVD播放器之概略方塊圖。 第31(a)、（b)、（c)圖係記錄有用以實現本發明的多工方 5 法及反多工方法之程式的記錄媒體結構圖。 I：實施方式3 實施發明之最佳型態 以下，參照圖式同時說明本發明之實施型態。 (實施型態1) 10 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。本多工裝置可輸出可顯示儲存於多工資料之編碼流 的資料框延遲資訊之多工資料。 首先，多工裝置在步驟S301中生成MPEG-4 AVC之編 碼流。在步驟S302中多工裝置取得於步驟S301所生成的編 15 碼流之資料框延遲後，繼續步驟S303。在步驟S303中，多 工裝置判定儲存於多工資料的所有編碼流是否已生成結 束，且在生成結束之前重複步驟S301與步驟S302之處理。 在步驟S304中多工裝置製作作為多工資料的管理資訊儲存 之資料框延遲資訊後，繼續步驟S305。在步驟S305中，多 20 工裝置製作習知的多工裝置所生成之資訊加上顯示資料框 延遲資訊之管理資訊。最後，多工裝置在步驟S306中，將 步驟S301所生成之編碼流及步驟S305所製作之管理資訊多 工化並且輸出多工資料。 第14圖係顯示本發明實施型態1的多工裝置結構之方 21 200845724 塊圖。 多工裳置100A係設有編碼部15、記憶㈣、管理資訊 製作部16、資料框延遲取得部17及多工化部18。 又將本實知型悲的多工裝置1〇〇A所具有的上述各構 5成元件當中相同於第8圖所示的習知多工裝置所具有之構 成兀件，附上與前述習知多工裝置相同的構成元件符號， 並省略其詳細說明。 編碼部15係將所輸人之動畫影像資料Vi η編碼且儲存 編碼資料strln於記憶體12，並且輸出編碼流strIni資料框 10 延遲frDly至資料框延遲取得部17。 資料框延遲取得部17係製作作為資料框延遲資訊儲存 於管理資訊中之延遲資訊dlylnf，並輸出至管理資訊製作部 16 〇 管理資訊製作部16係根據從記憶體12讀出的作為讀出 15 資料strOutl之編碼資料strln的解析結果，及延遲資訊dlyInf 生成管理資訊base，並輸出至多工化部18。 多工化部18係將管理資訊base、從記憶體12讀出之讀 出資料strOut2、有別於使用者的設定資訊等之編碼資料而 取得之附加資訊adlnf多工化，並輸出多工資料MuxDat。 20 又，亦可將編碼部15設定編碼時之資料框延遲限制在事先 規定值以下。 第15A圖〜第15E圖係顯示多工裝置100A輸出多工資料 之結構例。 如第15A圖所示，多工資料中顯示儲存於多工資料之短 22 200845724 片的資料框延遲資訊。在此，多工資料巾儲存有N個短片， 且各個貝料框延遲係從ddayl到ddayN。又，各短片可為顯 不同-編碼流中的不同區間之單位，亦可為各個不同編碼 流所屬之短片。 弟15B圖至第1圖係顯示資料框延遲資訊之儲存 例。在=15B圖中，各短片之資料框延遲係作為資料表資訊 '第15C圖係顯示短片的資料框延遲之最大值。而最大 σ表示儲存於多工資料的所有短片中的資料框延遲之最 大值，亦可表示隨著播放列表等連續播放的短片中的資料 10 =延遲之最大值。或者，亦可將事先規定值作為最大值。 第15D圖係、顯示在各短片中共通使用的資料框延遲值。可於 各短片之貧料框延遲為固定時顯示該值，亦可於各短片的 資料才ΙΚ遲非固疋時顯示播放時所使用之資料框延遲。第 15Ε圖係顯示各短片間的資料框延遲是否相同。例如，儲存 15可顯示資料框延遲是否相同之旗標資訊。又，亦可組合第 15Β圖到第15D圖所示之資訊並且使用。 又，亦可只顯示特定的短片之資料框延遲資訊。首先， 可以短片的播放方法作為基準，只顯示多角度播放或摘錄 播放等所使用的短片之資料框延遲資訊。又，亦可以短片 20的最财面隨機存取單位之屬性作為基準來設定。例如，規 ^腿圖像中進行角度的切換等之際，亦可只顯示短片的 最前面隨機存取單位為腿圖像之短片相關的資料框延遲 資訊。或者，亦可只在保證短片間可無縫連接之摘錄播放 時顯示資料框延遲資訊。 23 200845724 又，亦可不直接顯示各短片之資料框延遲資訊而顯示 儲存於多工資料的編碼流之資料框延遲資訊。此時，可藉 由賦予短片所屬的編碼流與顯示編碼流之資料框延遲的資 訊關連性’以顯不各短片之貨料框延遲。本方法可於同一 5編碼流的各短片之資料框延遲為固定時使用，亦可透過顯 示同一編碼流中含有的短片之資料框延遲最大值來使用。 又’在BD(藍光碟片：Blu_Ray Disc)或HD(高晝質： High Definition)-DVD等之應用程式規格中使資料框延遲 相同，或決定資料框延遲的最大值或規定值之際，資料框 10延遲資5孔係依據這些應用程式規格而顯示，因此亦可不作 為管理資訊儲存。 又，亦可於使用TS或RTP(即時傳輸協定：ReaMime
Transmission Pr〇tocol)等協定並藉由網路接收多工資料 時，取得作為播放控制資訊的資料框延遲資訊。例如，於 15通知播放控制資訊時使用SDP(會談敘述協定：
Description Protocol)的情形下，可於SDp中敘述資料框延Z 資訊。或者，亦可藉由於SMIL(同步多媒體整合語古Y Synch臟ized Μ祕media Ιη__η 等 語言中顯示資料框延遲資訊，以通知資料框延遲至播： 20端機。 狄終 又，資料框延遲資訊亦可依每個隨機存取單位而蒸 不。再者’亦可附加在隨機存取單位RAU中的最前面圖^ 中，以於編碼流内顯示資料框延遲資訊。 如此，本多工裝置輸出的多工資料係藉由管理資訊來 24 200845724 顯示資料框延遲資訊，因此，可藉由於播放多工資料時調 t貝料框延遲，以進行避免在短片减時產生顯示間隙之 播放。 (實施型態2) 5 第16圖係顯示本發明實施型態2的多工裝置之操作流 程圖。 首先，多工裝置在步驟S401中設定儲存於多工資料的 編碼流中共通使用之資料框延遲值。在步驟84〇2中，多工 裝置根據步驟S401所設定的資料框延遲編碼MPEG-4 AVC 10 之編碼流。在步驟S403中，多工裝置判定儲存於多工資料 的所有編碼流是否已生成結束，且在生成結束前重複進行 步驟S402之處理。在步驟S4〇4中多工裝置製作作為多工資 料的管理資訊儲存之資料框延遲資訊後，繼續步驟S405。 在步驟S405中，多工裝置製作顯示習知多工裝置所生成的 15 資訊之外再加上資料框延遲資訊之管理資訊。最後，多工 裝置在步驟S406中，將步驟S401所生成之編碼流及在步驟 S405製作之管理資訊多工化並且輸出多工資料。 第17圖係顯示本發明實施型態2中的多工裝置結構之 方塊圖。 20 多工裝置100B係設有資料框延遲決定部41、編碼部 42、記憶體12、管理資訊製作部16及多工化部18。 又，將本實施型態的多工裝置100B所具有的上述各構 成元件當中相同於第8圖所示的習知多工裝置所具有之構 成元件’附上與前述習知多工裝置相同之構成元件付號’ 25 200845724 並省略其詳細說明。 資料框延遲決定部41係決定編碼流之資料框延遲，並 將延遲貧訊dlylnf輸出至編碼部42及管理資訊製作部16。此 處所決定之資料框延遲可為依據應用程式規格等所事先決 5定之值，亦可為依據多工裝置紐用者之設定者。 編碼部42係根據延遲資訊dlylnf所示之資料框延遲編 碼輸入之動畫影像資料Vin且儲存編碼資料价^於記憶體 Ϊ2。即，該編碼部42可在連續解碼丨個或複數個編碼資料 strln所包含的存取單位〇編碼資料本身或短片）當中之特定2 10個存取單位時，使存取單位的資料框延遲一致且生成該“固 或複數個編碼資料strIn，以避免在這些存取單位的連接點 上生成圖像間的間隙。又，前述之「於解碼時，避免在連 接點上產生圖像間的間隙」的意思係相同於避免在圖像的 顯不間隔上產生間隙之意，即是指避免在圖像的解碼間隔 15 上產生重疊。 管理資訊製作部16係根據從記憶體12讀出的作為讀出 資料strOutl之編碼資料strln的解析結果，及延遲資訊diyInf 生成管理資訊base，並輸出至多工化部18。 多工化部18係將管理資訊base、從記憶體12讀出之讀 20出資料str〇ut2、有別於使用者的設定資訊等之編碼資料而 取得之附加資訊adlnf多工化，並輸出多工資料MuxDat。 又，在應用程式規格等之中事先規定資料框延遲時， 亦可為沒有資料框延遲決定部41的多工裝置100B之結構， 且編瑪部42係根據固定的資料框延遲進行編碼處理。當編 26 200845724 :流間的資料框延遲為固定時，即使未根據管理資訊顯示 貢料框延遲資訊亦可決定播放時之資料框延遲，因此，亦 可不在管理資訊中顯示資料框延遲資訊。 如此，本多工裝置輸出之多工資料，係儲存於多工資 5料的編碼流中的資料框延遲為固定，因此各短片中的資料 框延遲亦為固定，所以，即使在短片切換之際亦不須於播 放開始時調整資料框延遲，可實現無顯示間隙之播放。 又，在前述各實施型態中為資料框延遲可變之編碼方 式時，亦可使用MPEG-4AVC以外之編碼方式。 1〇 亚且，以欲在無縫連接或無縫·多角度等之下連續播 放=存取單位(編碼流或短片）為對象時，亦可使資料框延遲 定在此，無縫連接係指使相同或互異之編碼流所包含 的^數短片無縫連接。並且，無縫·多角度係指使複數編 b ^各自包含的不同角度之短片無縫連接並且角度可切 換。例如，可僅以從播放開始的30秒鐘為i個角度，且在3〇 ㈣6〇秒之間從複數角度選擇並且播放等。此時，顯示不 δ角度之各短片具有相同的資料框延遲。再者，在多角度 $放之際每個角度的資料框延遲不同時則播放品質不會一 因此，亦可不管是否可無縫且多角度播放，皆使每個 ~度的資料框延遲固定。又，亦可將複數編碼流作為無縫 建接或無縫·多角度之對象。 中又’在無縫連接或多角度播放時所使用的存取單位 可开乂成可不須參照解碼順序的前面存取單位内的圖像 I存取單位内的佐意圖像之條件。這種存取單位係相 27 200845724 當於戲G-2之closed G〇p或在mpecm Aw中以刪像 為最前面之隨機存取單位RAU。因此，在可只參照存取單 位内的圖像解碼該存取單位内的圖像之存取單位中，亦可 使資料框延遲為固定。 5 m述’以欲以無縫連接等連續播放之存取單 位為對象且資料框延遲為固定時，多工装置會在事前判斷 欲生成的存取早位是否構成為該無縫連接或無縫·多角度 之對象。然後，在判斷構成對象時，多工褒置則進行編: 處理使構成對象的存取單位之資料棍延遲相等，並生成編 10碼抓。例如，在2個編碼流構成為無縫連接等之對象時生成 後方的編碼流’使無縫連接的後方之編碼流的資料框延遲 與無缝連接的所方之編碼流的資料框延遲相等。 又’管理資訊base所含有的資料框延遲資訊，可相對 於構成無縫連接等對象之特定存取單位(編碼流或短片）顯 15示共通的資料框延遲，且該存取單位亦可為顯示可構成為 無缝連接或多角度播放等對象之旗標。這種旗標可在播放 列表或時間對映表(Timemap)巾作為齡連接屬性之資訊 儲存。 (實施型態3) 20 帛18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。本反多工裝置可輸入以實施型態1與實施型態之的 多工裝置製作之多工資料並且播放。 …首先，在步驟S501中，反多工裝置從多工資料分離出 管理資訊’並取得關於播放短片之資訊。欲播放的短片係 28 200845724 根據使用者的指示，或以管理資訊内的播放列表等事先決 定之播放順序而決定。 接著，在步驟S502中反多工裝置取得於步驟S501中決 定播放的短片之資料框延遲資訊，並繼續步驟S503。在步 5 驟S503中，反多工裝置根據在步驟S502所取得的資料框延 遲資訊以決定短片播放時的資料框延遲。 在步驟S504與步驟S505中，反多工裝置在到達短片内 的最終圖像前依照順序解碼、顯示短片内的圖像。在此， 根據使用者的操作等指示播放結束之際，係於指示有效的 10 時點結束播放。又，在步驟S501決定之於步驟S503中的資 料框延遲，亦可僅在切換至不同編碼流所屬的短片時進行。 第19圖係顯示於第18圖的步驟S503中決定播放時的資 料框延遲之際的操作流程圖。 首先，在步驟S601中，反多工裝置判定儲存於多工資 15 料中的編碼流之資料框延遲是否為固定，為固定時則繼續 步驟S603，而非固定時則繼續步驟S602。 在步驟S603中，反多工裝置決定以與多工資料内的編 碼流共通之資料框延遲播放。在步驟S602中，反多工裝置 判定連續播放短片的資料框延遲是否為固定，為固定時則 20 繼續步驟S604，而非固定時則繼續步驟S605。在步驟S604 中，反多工裝置決定根據播放時的最前面短片之資料框延 遲進行播放。在步驟S605中，反多工裝置決定調整播放時 的資料框延遲。而下述為可調整播放時的資料框延遲之方 法0 29 200845724 ι·在欲播放的短片中，使資料框延遲與最大的短片一 致 2.使與前一個播放短片的資料框延遲一致 3_使用事先決定的資料框延遲 5 第1個方法係於可事先決定欲播放的短片時特別有 效，而第2個方法係於根據使用者的指示等動態變更欲播放 的短片時特別有效。又，第3個方法係於可透過多工資料的 管理資訊或編碼流内的資訊或者是應用程式規格等，以取 得資料框延遲的最大值時有效。甚至 王於亦可使用以機器事 10 先決定之資料框延遲。 15 20 弟2_、⑷圖係分別顯示上述以個與第2個方法之例 子。在第2G刚中，反多工裝置係接著資料框延遲為i之短 片1後播放資料框延遲為2之短片2。此時，播放短片i之際 的資料框延遲為2。第20_係顯示使用者指示於播放資料 =延遲為2之短片2時，切換至資料框延遲^之短片】的例 合此時，短片1的資料框延遲雖原本為！，而反多工裝置 部g依照短片2的資料框延遲將資料 u , , m L 、+杧延遲當作為2地播放 ^片如同上述，可藉由決定:轉框_，崎避免在短 與短片2的切換位置上產生顯示間隔的間隙之播放。 資料=同貫二型態2之說明，在多工資料内的編· 貝科框延遲一致時，有未於多工資 3^心 訊的情形。於播魏種多工資料時，貧料框延遲資 理。並且，在步細3中、，定顯-布要步驟S502之處 ，通常亦只要依照播放時的最前面短片 際 ，㈣上I::::開始時的資料框延遲之 之資料框延遲即 30 200845724 可0 又，，在資料框延遲的最大值係以應用程式規格等規定 時，通常亦可依照前述規定之最大值播放。 第21圖係顯示實施型態3的反多工裝置結構之方塊圖。 5 ❹工裝置細係設有管理資訊分離部51、短片資訊解 析部52、資料框延遲決定部53、解碼部24及顯示㈣。 管理資訊分離部51係從光碟等多工資料記錄媒體讀出 多工資料MuxDat，且解析管理資訊，並依照使用者之二 或事先決定之方法決定播放短片。然後，管理資訊分離部 1〇 51將關於決定的短>{之f訊即短片f訊Qip輸出至短片資 訊解析部52。 ' 短片資訊解析部52將存取至構成短片的圖像之存取資 訊acs輸出至解碼部24。再者，短片資訊解析部52取得播放 紐片之延遲資訊dly並輸出至資料框延遲決定部％。 15 解碼部24係根據存取資訊acs從多工資料記錄媒體讀 出影像資料Vdat後解碼，並將解碼結果dec〇ut輸出至顯示 部54。 〜、 貧料框延遲決定部53係決定播放時之資料框延遲，並 將延遲T輪出至顯示部54。 〇 顯一 喊不部54係依照延遲Τ顯示圖像。又，如同實施型態2 '、月在多工資料内的編碼流之資料框延遲一致時，有 未於夕工資料内顯示資料框延遲資訊的情形。於播放這種 夕工貝料時，亦可為沒有資料框延遲決定部53之結構。 又於無縫連接或多角度播放存取單位之際，以播放 31 200845724 列表等所示的連續播放單位之資料框延遲為料，而 保證無縫連接等其他情形巾时賴財的資料框延遲為 可變之情形。此時’若多卫資料的管理資訊中未含有資料 5 10 框延遲之資訊，村於解碼部24取得存取單位之資料 遲，並將前述所取得之資料框延遲輸入至資料框延遲決定 部53。在此，於資料框延遲為固定之播放區間⑽依照播 放時的最前面存取單位之資料框延遲，而於資料框延遲為 :變之播放區間内則在資料框延遲蚁部中調整播放時的 貝料框延遲。X ’以上任—情形皆可適用與以應用程式規 格等決定之資料框延遲的最A值相同之資料框延遲。 (實施型態4) 多角度播放或摘錄播放等機能係在播放封包媒體之光 碟财特別重要。在此，說明將實施型態】及實施型態2的 多工裝置所輸出之多工資料記錄於次世代的光碟^即 15 BD(藍光碟片：Biu_ray Disc)中的例子。 首先，說明BD-ROM之記錄袼式化。 第22圖係顯示BD_R0M之結構，且特別是記錄於光碟 媒體之BD光碟及光碟中的資料之結構圖。記錄於肋光碟 104之資料為AV資料103、關於AV資料的管理資訊與^播 20放順序等之80管理資訊102、及可實現雙向對談之BD播放 程式101。在本實施型態中，為了說明上的方便而進行以用 來播放電影的AV内容之AV應用程式為重點的BD光碟之說 明，而作為其他用途使用時當然也是相同的。 第23圖係顯示記錄於前述BD光碟的邏輯資料之目錄 32 200845724 檔案結構。BD光碟係與其他光碟wDVD或cD等相同地具 有從其内周朝向外周形成螺旋狀之記錄領域，且於内周的 讀入及外周的讀出之間具有可記錄邏輯資料之邏輯位址空 間。又，在ό賣入的内側具有稱為队a(燒錄區：Burst Cutting 5 Area)的只能以驅動機讀取之特別領域。該領域係無法從應 用程式讀取，因此可使用於如著作權保護技術等。 邏輯位址空間中記錄有檔案系統資訊(檔案卷：v〇lume) 在最前面的影像資料等之應用程式資料。且檔案系統係指 如先前技術所說明之UDF或ISO9660等，且可使用目錄、檔 10案結構來讀取與一般PC相同地記錄之邏輯資料。 本實施例之情形係BD光碟上的目錄、檔案結構為 BDVIDEO目錄放置於根目錄(R〇〇T)的正下方。該目錄係儲 存有以BD處理的AV内容或管理資訊等資料（第22圖所說明 之 101、102、103)之目錄。 15 在BDVIDEO目錄的下面記錄有以下7種類之檔案。 • BD.INFO(檔名固定） 為「BD管理資訊」的一種，且為記錄關於BD光碟全體 的 > 机之稽案。BD播放杰'係於一開始讀出該槽宰。 • BD.PROG(檔名固定） 20 為「BD播放程式」的一種，且為記錄關於BD光碟全體 的播放控制資訊之檔案。 • XXX.PL(「XXX」可變，延伸檔名「pL」固定） 為「BD管理資訊」的一種，且為記錄場景（播放順序） 的播放列表資訊之檔案。於每個播放列表中具有丨個檔案。 33 200845724 • XXX.PROG(「XXX」可變，延伸稽名「PROG」固 定） 為「BD播放程式」的一種，且為記錄每個前述播放列 表的播放控制資訊之檔案。並藉由主檔名（「XXX」係一致） 5 來識別與播放列表之間的對應。 • ΥΥΥ·ν〇Β(「YYY」可變，延伸槽名「V0B」固定） 為「AV資料」的一種，且為記錄VOB(與習知例所說明 的VOB相同）之檔案。於每個VOB中具有1個檔案。 • YYY.VOBI(「ΥΥΥ」可變，延伸檔名「VOBI」固定） 10 為「BD管理資訊」的一種，且為記錄關於AV資料即 VOB的資料流管理資訊之檔案。並藉由主檔名（r γγγ」係 一致）來識別與VOB之間的對應。 • ZZZ.PNG(「ΖΖΖ」可變，延伸檔名「png」固定） 為「AV資料」的一種，且為記錄用以構成字幕及選項 15單的影像資料PNG(以W3C標準化之圖像格式，讀作r PING」) 之檔案。於每1個PNG影像中具有1個檔案。 以第24圖到第29圖說明BD的導航資料(bd管理資訊） 之結構。 第24圖係顯示v〇B管理資訊檔案（〃 ΥΥΥ·ν0Β]Γ )之内 2〇 部結構。 VOB管理資訊具有該V0B的資料流屬性資訊(Attribute) 及時間對映表(TMAP)。資料流屬性係構成為具有各個视訊 屬性(Video)、音頻屬性(Audio#0〜Audio#m)。且特別是音頻 流係由於VOB可同時具有複數條音頻流，因此可藉由音頻 34 200845724 流數(Number)來顯示有無資料欄。 以下為視訊屬性(Video)所具有的資料欄以及各自可具 有的值。 •壓縮方式(Coding): 5 MPEG1 MPEG2 MPEG4 MPEG4-AVC(Advanced Video Coding :先進視訊編碼） •解像度(Resolution): 10 1920x1080 1440x1080 1280x720 720x480 720x565 15 •寬高比(Aspect): 4:3 16 ： 9 資料框率(Framerate): 60 20 59.94(60/1.001) 50 30 29.97(30/1.001) 35 25 24 24200845724 23.976(27/1.001) 以下為音頻屬性(A u d i ο)所具有的資料欄以及各自可具 有的值。 5 •壓縮方式(Coding): AC3 MPEG1 MPEG2
LPCM 10 •頻道數(Ch): 1〜8 •語言屬性(Language): 時間對映表（TMAP)係具有每個VOBU的資訊之資料 表，且具有該VOB含有的VOBU數(Number)及各VOBU資訊 15 (VOBU#l〜VOBU#n)。各個VOBU資訊係由VOBU的最前面 TS封包(I圖像開始）之位址I_start、到達該I圖像的結束位址 之偏移位址(I_end)、及該I圖像之播放開始時間（PTS)所構 成。 弟25圖係VOBU貢訊之詳細說明圖。 2〇 如同眾所皆知地，MPEG視訊資料流係為了高畫質記錄 而以可變位元率壓縮，且該播放時間與資料大小之間的相 關性並不單純。相反地，聲音之壓縮規格AC3係以固定位 元率進行壓縮，因此，可透過一次式求得時間與位址之關 係。然而在MPEG視訊資料的情形中，各個資料框具有固定 36 200845724 的顯示時間，即如NTSC的情形時為丨個資料框具有1/29·97 秒的顯示時間，且各個資料框的壓縮後之資料大小會因圖 像的特性或壓縮所使用的圖像類型即所謂的Ι/ρ/Β圖像而使 資料大小的變化相當大。因此，在MPEG視訊的情形中不可 5能以一次式的形式表現時間與位址之關係。 當然，將MPEG視訊資料多工化之MPEg系統資料流以 一次式的形式表現，即亦將V0B與時間及資料大小一起以 一次式的形式表現亦是不可能的。因此，賦予VQB内的時 間與位址相關性的是時間對映表(TMAP)。 10 如此，於被提供某時間資訊時，首先檢索該時間是屬 於哪一個VOBU(按照每個VOBU之PTS進行），並使該時間 的前一個PTS跳進TMAP所持有的V0BU(I—start所指定之位 址），即從VOBU最前面的I圖像開始解碼，且從該時間的圖 像開始顯示。 15 接著以第26圖說明播放列表資訊(〃 XXX.PL〃）之内部 結構。 播放列表資訊係由資料格列表（CellList)及事件列表 (EventList)所構成。 資料格列表（CellList)係播放列表内的播放資料格順 20序，且依照本列表的敘述順序播放資料格。資料格列表 (CellList)的内容為資料格數(Number)及各資料格之資訊 (Cell#l〜Cell#n)。 資料格資訊（Cell#)具有V〇B檔案名（vOBName)、該 VOB内之開始時間（In)與結束時間（0ut)、及字幕資料表 37 200845724 (SubtitleTable)。開始時間（In)與結束時間（Out)係依照該 VOB内的各個資料框號碼顯現，且可藉由使用前述時間對 映表(TMAP)於播放時得到需要的VOB資料之位址。 字幕資料表（SubtitleTable)係具有可與該VOB同步播放 5 的字幕資訊之資料表。字幕可與聲音相同地具有複數語 言，且字幕資料表（SubtitleTable)的最初資訊亦是由語言數 (Number)與接續於其後之各個語言的資料表 (Language# 1 〜Language#k)所構成。 各語言之資料表（Language#)係由語言資訊(Lang)、各 10 個顯示的字幕之字幕資訊數(Number)、及各個顯示的字幕 之字幕資訊（Speech#l〜Speech#j)所構成，而字幕資訊 (Speech#)係由對應的影像資料檔案名（Name)、字幕顯示開 始時間（In)與字幕顯示結束時間（〇加）、及字幕之顯示位置 (Position)所構成。 15 事件列表（EventList)係定義該播放列表内所發生的事 件之資料表。事件列表由接續在事件數(Number)後面的各 個事件(Event#l〜Event#m)所構成，而各個事件(Event#)係由 事件之類型（Type)、事件之ID(ID)、事件發生時間（丁加^與 有效期間（Duration)所構成。 20 第2 7圖係具有各個播放列表的事件處理器（時間事 件、及選項單選擇用的使用者事件)之事件處理器資料表(„ XXX.PROG")。 事件處理器資料表具有定義之事件處理器/程式數 (Number)及各個事件處理哭 38 200845724 (Program#l〜Program#n)。各事件處理器/程式（pr〇gram#)内 的敘述具有事件處理器開始的定義（<event_han(jier>標 籤）’及與前述事件的ID成對之事件處理器之JDQD)，且其 後面之該程式亦接著Function後面敘述於括弧‘‘{，，與 5 }之間。儲存於前述ΧΧΧ·ΡΙ^的事件列表(EventList) 中的事件（Event#l〜Event#m)係使用夕xXX PR0Ge的事件 處理器之ID進行特定。 接著’以第28圖說明關於bd光碟全體的資訊（7/ BD.INFO”）之内部結構。 10 BD光碟全體資訊係由標題列表（TitleList)與總體事件 用的事件列表(EventList)所構成。 標題列表(TitleList)係由光碟内之標題數(Number)及接 續於其後之各標題資訊(Title#l〜Title#n)所構成。各個標題 資訊(Title#l)中包含有標題所含有的播放列表之資料表 15 (PLTable)及標題内之章節列表(ChapterList)。播放列表之資 料表(PLTable)具有標題内之播放列表數(Number)及播放列 表名（Name)、即播放列表之檔案名。 章節列表（ChapterList)係由該標題所包含的章節數 (Number)及各個章f卩資訊(Chapter#l〜Chapter#n)所構成，且 20各個章節資訊(Chapter#)具有該章節所包含的資料袼之資 料表(CellTable)，並且資料格之資料表(CeiiTabie)係由資料 格數（Number)及各個資料格的登錄資訊 (CellEntry#l〜CellEntry#k)所構成。資料格的登錄資訊 (CellEntry#)係以包含該資料格的播放列表名及播放列表内 39 200845724 的資料格號碼來敘述。 事件列表(EventList)具有總體事件數(Number)及各個 總體事件之資訊。在此應該注意的是，最初定義的總體事 件係稱為初始事件(FirstEvent)，即BD光碟插入播放器時最 5 初叫出之事件。總體事件用的事件資訊只具有事件類型 (Type)與事件之ID(ID)。 第29圖係總體事件處理器的程式之資料表（〃 BD.PROG")。本資料表係與第27圖所說明的事件處理器資 料表内容相同。 10 如同上述，在BD-ROM格式中將實施型態1與實施型態 2的多工裝置之輸出資料多工化之際，VOBU係由1個以上的 隨機存取單位RAU所構成，並依據播放列表來指定短片的 播放順序者。在此，資料框延遲資訊可依據BD管理資訊顯 示。例如，可儲存於播放列表的播放項目中，亦可儲存於 I5顯示EP對映料存取資訊之諸表巾。或者，亦可儲存於 顯示編碼資料流的屬性資訊之資料表中。更可在顯存 於多工資料的編碼流之資料框延遲的最大值，或顯示全編 碼流中共通的資料框延遲等之際，作為較各個編碼流的資 訊高階之資訊顯示。 20 順二 =::Γ㈣訊，先決定之 又 ’ ΕΡ對映表等存取資邱 φ . 、σ 了作為二進制資料儲存於資 枓表中，亦可gXML(可延伸 貝
甲‘不語言：Extensible Markin) Language)等之文字形式。 MarkuP 40 200845724 (實施型態5) 第30圖係顯示實施型態5之播放BD光碟的播放器之概 略機能結構的方塊圖。 BD光碟201上的資料係透過光學讀取器202讀取。並依 5 照各個資料種類將所讀取之資料轉送至專用的記憶體。分 別為BD播放程式（「BD.PROG」或「XXX.PROG」檔案之 内容）轉送至程式記錄記憶體203、BD管理資訊 (「BD.IFNO」、「XXX.PL」或「YYY.VOBI」）轉送至管理 資訊記憶體204、AV資料（「YYY.VOB」或「ZZZ.PNG」） 10 轉送至AV記錄記憶體205。 且分別為以程式處理部206處理記錄於程式記錄記憶 體203之BD播放程式、以管理資訊處理部207處理記錄於管 理資訊記憶體204之BD管理資訊、以顯示處理部208處理記 錄於AV記錄記憶體205之AV資料。 15 程式處理部206係進行接受從管理資訊處理部207播放 的播放列表之資訊或程式的執行時點等之事件資訊的程式 處理。又，可以程式動態改變播放之播放列表，且該情形 係透過對管理資訊處理部207發送播放列表之播放指令來 實現。而程式處理部206係在接受來自使用者之事件、即來 20自遙控裔按鍵之要求，且具有對應於使用者事件之程式時 進行執行。 官理貧訊處理部2〇7係接受程式處理部2〇6之指示，解 析對應之播放列表與對應於播放列表的v〇B之管理資訊， 並指不顯示處理部2〇8播放欲播放對象之AV資料。又，管 41 200845724 理資訊處理部207係從顯示處理部208接受基準時間資料， 並根據時間資訊指示顯示處理部208停止播放Av資料，典 且對於私式處理部206生成顯示程式執行時點之事件。 顯示處理部208係具有分別對應於影像、聲音、字茶/ 5〜像(靜止畫面）之解碼态，並依照管理資訊處理部207之指 示進行AV資料之解碼與輸出。影像資料、字幕/影像的情形 係於解碼後繪入各個專用平面、視訊平面21〇及影像平面 209上，再藉由合成處理部21丨進行影像之合成處理並輸出 至TV等之顯示裝置。 10 於多角度播放或摘錄播放時，顯示處理部208說明使用 者所要求的多角度播放或摘錄播放之操作，並通知管理資 訊處理部207關於角度切換點等之資訊。管理資訊處理部 207再根據播放短片的資料框延遲資料，決定播放時之資料 框延遲並通知顯示處理部208。 15 (實施型態6) 再者，藉由將用以實現前述各實施型態的多工方法與 反多工方法之程式記錄於軟碟等記錄媒體中，亦可在獨立 的包腦系統中簡單地執行前述各實施型態所示之處理。 第31圖係使用將前述各實施型態的多工方法與反多工 20方法，己錄於軟碟等記錄媒體中之程式，並藉由電腦系統執 行的情形之說明圖。 第31(b)圖係顯示從軟碟的正面視之的外觀、截面結構 及軚碟第3l(a)圖係顯示記錄媒體本體之軟碟的實體格式 之例子。軟碟FD係内藏於外殼？内，且該碟片的表面上從 42 200845724 外周朝向内周形成複數同心圓狀之軌道Tr， 谷執道沿著 角度方向为告1j成16個扇區§e。因此，儲存有前述 、 碟係在前述軟碟FD上所分配的扇區中記錄前述程式之幸人 又’第31(C)圖係顯示用以在軟碟FD上進行前述程式的 5記錄播放之結構。於軟碟FD中記錄可實現多工方、去與反夕 工方法之前述程式時，係透過軟碟驅動機從電腦系統&寫 入前述程式。並且，在電腦系統中建構以軟碟内的程式來 實現多工方法與反多工方法之多工方法以及反多二;法 時，係藉由軟碟驅動機從軟碟讀取程式，再轉送至電腦系 10 統。 、’、 又，在前述說明中已說明使用軟碟作為記錄媒體，而 同樣地亦可使用光碟來進行。並且，記錄媒體並不限定於 此，1C卡、ROMS等、只要為可記錄程式者亦同樣地可執 行。 以上，已根據前述各實施型態說明關於本發明之多工 裝置、反多工裝置以及BD光碟播放器等，而本發明並不限 定該等實施型態。在不脫離本發明之要旨的範圍内，於本 實施型態中進行該技術領域者所思及之變化例者亦包含於 本發明中。 當然，本發明亦包含如設有本實施型態的多工裳置之 光碟記錄裝置、動畫影像傳送裝置、數位電視播放之播放 裝置、Web伺服器、通信裝置、攜帶型資訊終端機等，或 設有本實施型態的反多工裝置之動畫影像接收裝置、數位 電視播放之接收裝置、通信裝置、攜帶型資訊終端機等。 43 200845724 又，方塊圖（第14圖、第17圖及第21圖等）之各機能區塊 亦可作為典型的積體電路LSI(大型積體電路：Large Scale Integration)實現。且各機能區塊可個別地單晶片化，亦可 以包含一部份或全體之方式單晶片化（如記憶體以外的機 5 能區塊亦可單晶片化）。 在此雖稱為LSI，然而亦可依照積體密度的不同稱為 1C(積體電路：integrated Circuit)、系統LSI(System LSI)、 特大型LSI(SuperLSI)、超大型LSI(UltraLSI)。 又，積體電路化之方法並不限定於LSI，亦可以專用電 10路或通用處理器來實現。在LSI製造後，亦可使用可進行程 式化之FPGA(現場可程式閘陣列：Field Programmable Gate Array)，或可再構成[SI内部的電路Cell的連接或設定 之可重組態·處理器。 甚至於在因半導體技術進步或衍生其他技術而進入取 15 RLSI的積體電路化之技術時，當然亦可使用該技術進行機 能區塊的積體化。且亦有可能適用於生物學的技術等。 又，亦可為只有各機能區塊中的可儲存成為編碼或解 碼對象的資料之方法不單晶片化並使其另外構成。 產業上之可利用性 2〇 本發明之多工方法及反多工方法可適用於所有的具有 多角度播放或摘錄播放等特殊播放機能之機器，且在將 MPEG-4 AVC的編碼流多工化之封包媒體的播放中特別有 效。 【圖式簡明】 44 200845724 第1圖係MPEG-2之資料流結構圖。 第2(a)、（b)圖係MPEG-2之GOP結構圖。 第3A、B圖係MPEG-2中的資料框延遲之說明圖。 第4圖係MPEG-4AVC之資料流結構圖。 5 第5圖係顯示MPEG-4 AVC中的預測結構之例子。 第6(a)、（b)、（c)圖係顯示MPEG-4 AVC中的短片切換之 例子。 第7圖係顯示習知多工裝置之操作流程圖。 第8圖係顯示習知多工裝置結構之方塊圖。 10 第9A、B、C圖係顯示習知多工裝置的輸出資料之結構 例。 第10圖係顯示習知反多工裝置之操作流程圖。 第11圖係顯示習知反多工裝置結構之方塊圖。 第12(a)、（b)、（c)圖係顯示從習知多工裝置輸出之多工 15 資料於播放時的問題。 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。 第14圖係顯示本發明實施型態1的多工裝置結構之方 塊圖。 20 第15A〜E圖係顯示本發明實施型態1的多工裝置之輸 出資料結構例。 第16圖係顯示本發明實施型態2的多工裝置之操作流 程圖。 第17圖係顯示本發明實施型態2的多工裝置之方塊圖。 45 200845724 第18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。 第19圖係顯示於本發明實施型態3的反多工裝置中決 定播放時的資料框延遲之際的操作流程圖。 5 第20(a)〜(d)圖係顯示於本發明實施型態3的反多工裝 置中決定資料框延遲之際的操作例。 第21圖係顯示本發明實施型態3的反多工裝置之方塊 圖。 第22圖係HD-DVD之資料階層圖。 10 第23圖係HD-DVD上的邏輯空間之結構圖。 第24圖係VOB資訊檔案結構圖。 第25圖係時間對映表之說明圖。 第26圖係播放列表檔案之結構圖。 第27圖係與播放列表對應的程式檔案之結構圖。 15 第28圖係BD光碟全體管理資訊檔案之結構圖。 第29圖係記錄總體事件處理器的檔案之結構圖。 第30圖係HD-DVD播放器之概略方塊圖。 第31(a)、（b)、（c)圖係記錄有用以實現本發明的多工方 法及反多工方法之程式的記錄媒體結構圖。 20 【主要元件符號說明】 800、100A、100B···多工裝置 14、18···多工化部 η、15、42··.編碼部 17…資料框延遲取得部 12…記憶體 41…資料框延遲決定部 13、16···管理資訊製作部 200、900…反多工裝置 46 200845724 21、51.··管理資訊分離部 202…光學讀取器 22、52…短片資訊解析部 203...程式記錄記憶體 24...解碼部 204…管理資訊記憶體 26、54...顯示部 206…程式處理部 53…資料框延遲決定部 207…管理資訊處理部 104...BD 光碟 208…顯示處理部 103...AV 資料 210...視訊平面 101... BD播放程式 209…影像平面 102... BD管理資訊 211…合成處理部 47