TW200952462A - Seamless switching between random access units multiplexed in a multi angle view multimedia stream - Google Patents

Seamless switching between random access units multiplexed in a multi angle view multimedia stream Download PDF

Info

Publication number
TW200952462A
TW200952462A TW98125210A TW98125210A TW200952462A TW 200952462 A TW200952462 A TW 200952462A TW 98125210 A TW98125210 A TW 98125210A TW 98125210 A TW98125210 A TW 98125210A TW 200952462 A TW200952462 A TW 200952462A
Authority
TW
Taiwan
Prior art keywords
image
data
information
delay
access units
Prior art date
Application number
TW98125210A
Other languages
English (en)
Other versions
TWI324012B (zh
Inventor
Tadamasa Toma
Tomoyuki Okada
Shinya Kadono
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW200952462A publication Critical patent/TW200952462A/zh
Application granted granted Critical
Publication of TWI324012B publication Critical patent/TWI324012B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)

Description

200952462 六、發明說明： 【發明所屬技術領織】 技術領域 本發明係有關於-種可將包含複數業經編瑪的圖像之 5 編碼流與其他資訊多工化以生成多工資料之多工裝置以及 可將該多工資料反多工化之反多工裝置，且特別是有關於 一種可對應多角度播放等特殊播放之多工骏置以及反多工 裝置。 C先前技術:j 10 背景技術 近年來，已開始迎接統合處理聲音、影像、其他像素 值之多媒體時代，並且採用以往的資訊媒體，亦即，可將 報紙、雜誌、電視、廣播、電話等資訊傳達給人們之裝置 作為多媒體的對象。一般所謂的多媒體係除了文字以外還 15包括同時賦予圖形、聲音、特別是影像等關聯性來表示者， 但在前述以往的資訊媒體作為多媒體之對象時，其必須條 件則為以數位形式表示該資訊。 然而’試著將前述各資訊媒體所具有的資訊量作為數 位資訊量估計時，文字的情形為相當於丨個字的資訊量卜2 20 位元，相對於此，若為聲音時則為每1秒鐘64Kbits(電話品 質）’甚至於動畫必須為每丨秒鐘1〇〇Mbits(現行的電視接收 品質）以上的資訊量’而在現實上前述資訊媒體並不能以數 位形式直接處理該龐大的資訊。例如，雖然視訊電話已透 過具有64Kbits/s〜1.5Mbits/s的傳送速度之整合式服務數位 200952462 網路（ISDN : Integrated Services Digital Network)而實用 化’但是尚無法做到以ISDN直接傳送電視、照相機的影像。 因此，目前需要的是資訊的壓縮技術，例如視訊電話 的情形為使用ITU-T(總體電信聯合電信標準化部門）所建 5 5義之H.261或H.263規格的動晝壓縮技術。又，利用MpEG l 規格的資訊壓縮技術時，亦有可能將影像資訊與聲音資訊 一起放進一般的音樂用CD(光碟）中。 在此 ’ MPEG(動畫專家群：Moving picture Experts Group)係指業經ISO/IEC(總體標準化機構總體電氣標準會 10議)標準化之動畫影像信號壓縮的總體規格，且MPEG-1為 動畫影像彳&號壓縮至1.5Mbps為止，即電視信號的資訊壓縮 至大致1〇〇分之1為止之規格。又，MPEG1規格係主要以傳 送速度品質為對象且可實現大致15Mbps程度之中度品 質，因此於欲達到更高畫值要求之規格化的MpEG_2中則實 15現了以2〜150MbPs播放動畫影像信號之TV品質。甚至目前 可藉由MPEG-1、MPEG-2及進行標準化之作業群(IS〇/mc JTC1/SC29/WG11)，來達成提高⑽阳」、MpEG 2的壓縮 率，並進-步做到以物件為單位進行編碼、解碼、操作， 且使可實現多媒體時代所f要的新機能之MpEG_4規格 2〇化“刀MPEG_4之進行係以低位元率之編碼方法的標準 化為目標’而現在亦包含交錯影像與高位元率且擴大到 更加通用的編碼。以後，預估可標準化MPEG-4 就(Advanced Video C〇ding :先進視訊編碼），並使用於次 時代的光碟關連機器或者是針對搞帶型終端機的播放等， 200952462 以作為ISO/IEC與ITU-T共同的更高屬编 碼方式。 、之次世代影像編 5 ❹ 10 15 ❹ 一般動畫影像之編碼係藉由削減時間方η 的冗餘性以進行資訊量刪。因此二肖·: = = 餘性為目的之畫面間預測編碼係參照 乃或4後方的圖傻;隹 行以區塊為單位之移動檢測與預測影像製作， 的預測影像與編碼對象圖像之差分值進行編碼 、4 像係表示丨個畫面之用語，遞增影像係指資料 係指貝料框或資料欄。在此，交錯影像係指由時間不同的2 個資料欄構成丨個㈣框之影像。錢錯影像之編碼或解碼 處理中’可將i個資料框直接作為資料框處理，或作為⑽ 資料欄處理’或作為資料框内的每個區塊中之資料框結構 或資料攔結構處理。 將不具參照影像所進行之畫面内預測編碼者稱為咽 像。並將只參照1個圖像進行晝面間預測編碼者稱為p圖 像。又，將可同時參照2_像進行畫面間預測編碼者稱為 圖像B圖像可參照從顯㈣間的前方紐方開始任意組 =2_像。參照影像(參照圖像)可依照編碼與解碼的基 單位之每個區塊來指定，並轉業經編碼的位元流中先 ^參照圖像作為扪參照圖像、後記錄之參照圖像作為 ^參照圖像以區別。但是，使這些圖像編碼與解碼之條 件，係所參照的圖像必須已經編竭與解碼。 p圖像或B圖像之編碼係使用移動補償畫面間預測編 移動㈣畫面間預測編碼係指在畫面間預測編瑪時 20 200952462 適用移動補償之編碼方式。移動補償係指並非單 資料框的像素值來預測，而是藉由檢測圖像内的各部八務、 動量(以下稱為移動向量)且進行考慮到該移動量之預^. 提高預測精準度並且減少資料量之方式。例如，藉由= 5編碼對象圖像之移動向量，並編碼只有該移動向量分敎 的預測值與編碼對象圖像之間的預測殘餘，以減少資料 量。由於該方式於解碼時須要移動向量的資訊因此移動 向量亦於編碼後記錄或傳送。移動向量係以巨集區塊為單 位進行檢測，具體而言，即藉由預先固定編碼對象圖像側 ❹ °的巨集區塊，且於探索範圍内移動參照圖像側的巨集區 塊，找出與基準區塊最相像的參照區塊位置，以檢測移動 向量。 第1圖係習知的MPEG-2之資料流的構成圖。 如第1圖所示’ MPEG-2之資料流具有以下的階層結 15 構。資料流係由複數的GOP(圖像組：Group Of Picture)所構 成’且可透過以其作為編碼處理的基本單位來編輯或隨機 存取動畫影像。GOP係由複數的圖像所構成，且各圖像包 〇 含有I圖像、P圖像或B圖像。且資料流、GOP及圖像更由顯 示各自單位的定界符之同步信號(sync)及成為與該單位共 20 通的資料之標頭(header)所構成。 第2圖係MPEG-2所使用的圖像間之預測結構例。 該圖中畫上斜線之圖像係用以被其他圖像參照之圖 像。且如第2(a)圖所示，MPEG-2可只參照顯不時間的前1 個1圖像或P圖像來預測編碼P圖像(P〇、P6、P9、P12、P15)。 6 200952462 又’可參照顯示時間的前丨個與後1個1圖像或p圖像來預測 編碼B圖像(Bl、B2、B4、B5、B7、B8、ΒΙΟ、Bll、B13、 B14、B16、B17、B19、B20)。再者，配置於資料流中的順 序亦業已決定’ I圖像及P圖像係依照顯示時間的順序配 5 置，B圖像係依照配置於其下一個顯示的〗圖像或p圖像的後 面之順序配置。GOP結構係如第2(b)圖所示，可將13到^14 之圖像匯集成1個GOP。 第3A圖與第3B圖係顯示在mpeG-2所使用的GOP結構 中，解碼順序與顯示順序以及從解碼後到顯示為止之延遲。 10 在此’ MPEG_2為固定資料框率，且於解碼時同時表示 B圖像。如第3A圖與第3B圖所示，在MPEG-2中，從解碼 GOP的最前面圖像開始到g〇p的顯現顯示順序中的最前面 圖像為止之延遲會成為最大之1資料框或2資料欄的顯示間 隔。以下’將從解碼GOP的最前面圖像開始到顯示g〇p的 15 最前面圖像為止之延遲稱為資料框延遲，且以1資料框（即2 資料欄）為單位來計算^ DVD(數位化多功能光碟：Digital Versatil e Disk)等光碟機係使用MPEG-2，且通常資料框延遲 係以固定1進行運用。又，降低以24Hz編碼之編碼流且以 60Hz顯示時延遲量會產生變化，且以依照編碼流的資料框 20 率顯示之情形為基礎可決定延遲量，因此，於以下說明依 照編碼流的資料框率顯示之情形。 第4圖係MPEG-4 AVC之資料流的構成圖。在MPEG4 AVC中並沒有相當於G〇P之概念，但在未依賴其他圖像且 以可解碼之特殊圖像單位分割資料時，則可構成為相當於 7 200952462 GOP之可隨機存取的單位，因此，將它稱為隨機存取單位 RAU。 MPEG-4 AVC中的I圖像有IDR(立即解碼器更新： Instantaneous Decoder Refresh)圖像及非 IDR 圖像之2種 I 圖 5 像。IDR圖像係指可不參照解碼順序的IDR圖像前面之圖像 來解碼解碼順序的IDR圖像後面的所有圖像圖像，且相 當於MPEG-2之closed GOP的最前面I圖像。在非IDR圖像之 I圖像中，解碼順序的I圖像後面之圖像亦可參照解碼順序的 該I圖像前面之圖像。藉由將非HDR圖像之I圖像配置於隨機 10 存取單位RAU的最前面，且限制隨機存取單位RAU中的圖 像之預測結構，亦可構成像MPEG-2的openGOP之結構。 第5圖係MPEG-4AVC中的圖像間之預測結構例。 在MPEG-4AVC中，由於預測結構具有彈性，因此，例 如，P2可參照18。在第5圖之例中，由於是先解碼18與P2後 15 開始顯示，因此資料框延遲為2。如此，由於預測結構具有 彈性而在資料框延遲上沒有像MPEG-2之限制於最大1，且 資料框延遲隨著預測結構而不同。因此，無法使資料框延 遲以固定為1之方式進行播放。 DVD等之封包媒體具有選擇性地播放幾個相同資料流 20 的特定部分’或連續性地播放不同資料流’或一邊切換複 數不同角度的資料流一邊播放（多角度播放）等之特殊播放 機能。在實現這些機能之際，係以MPEG-2之GOP或MPEG-4 AVC之隨機存取單位RAU為基本。 第6圖係顯示在MPEG-2中切換播放的資料流之例子。 200952462 第6(a)、（b)、（c)圖係顯示包含於各個不同資料流之資料流 1、資料流2、資料流3中的g〇p。在此，藉由接著GOP1-1 之後解碼GOP2-1，可使播放的資料流從資料流丨切換至資 料流2〇GOP1-1與g〇P2_1的資料框延遲皆為卜因此顯示時 5 不會產生間隙’且可於維持固定資料框率的同時播放。同 樣地，亦可藉由接著GOP1-1之後解碼GOP3-1以實現從資料 流1切換至資料流3。 Q 以往’已有與這種動畫影像的編碼及多工化或解碼及 反多工化相關連之各種技術（參照如日本專利公開公報第 10 2003-18549號）。 第7圖係顯示可編碼且多工化動畫影像資料之習知多 工裝置之操作流程圖。 首先’多工裝置係在步驟S101與步驟S102中編碼1個以 上之資料流。接著，多工裝置在步驟S103中製作管理資訊， 15 且該管理資訊包含有用以存取於步驟S101所製作的資料流 Q 内之資訊’或顯示在多角度播放等特殊播放時所播放的資 料之資訊等，接著繼續步驟S104。在步驟S104中，多工裝 置將管理資訊及資料流的資料多工化，並輸出多工資料。 第8圖係顯示習知多工裝置結構之方塊圖。 20 多工裝置800係設有編碼部11、記憶體12、管理資訊製 作部13及多工化部14。 編碼部11係將所輸入之動晝影像資料Vin編碼且儲存 編碼資料strln於記憶體12。 管理資訊製作部13係從記憶體12讀出編碼資料並讀作 200952462 為資料strOmi，且生成管理資訊base並輸出至多工化部 14。又，管理資訊base中未包含關於資料框延遲之資訊。 多工化部14係多工化管理資訊base、從記憶體12讀出 之讀出資料strOut2、有別於使用者的設定資訊等之資料流 5 而取得之附加資訊adInf，並輸出多工資料MuxDat。在此， 不需要時亦可不使用附加資訊adlnf。又，讀出資料strOut2 亦可以MPEG-2 TS(傳輸流：Transport Strean)或PS(程式 流：Program此⑶叫等之方式，或應用程式所規定之方式 封包化後再多工化。例如，在BD(藍光碟片：Blu rayDisc) 10規格中，讀出資料strOut2稱為原始封包(SourcePacket)，並 藉由附加4位元的標頭kMPEG_2 TS封包之方式多工化後 儲存。 第9A圖係顯示從多工裝置800輸出多工資料之結構例。 如第9A圖所示，多工資料中儲存有管理資訊與丨個以上 15的編碼流。再者，藉由將各個資料流當作1個以上的短片來 處理，可實現摘錄播放或多角度播放等多樣之播放方法。 在此，短片係表示在相同資料流的“固以上之連續隨機存取 單位RAU中，1個以上之連續圖像，且短片亦可與資料流相 同。第9B圖與第9C圖係顯示播放例。第犯圖係顯示多角度 20播放之例子。當資料流1與資料流N儲存不同角度的影像 時，可接著資料流工的短片Η之後切換角度且播放資料流N 的短片N-2,並於短片N_2播放結束後再回來播放資料流1。 第9C圖係顯示摘錄播放之例子。在資料流丨中可藉由選擇播 放短片1-1及短片，按照順序播放代表場景等。 10 200952462 第10圖係顯示從多工資料分離出編碼資料且播放之習 知的反多工裝置之操作流程圖。 5 ❹ 10 15 ❹ 20 首先’反多工裝置係在步驟咖中從多工資料分離出 管理資訊，且取得關於播放短片之資訊，再繼續步驟賴。 關於短片之資訊包含有短片的開始時間或結束時間以及儲 存至短片内的編碼資料之f崎。在步驟讓及步驟⑽ 中’反多卫裝置在到達短片内的最終圖像前係依照順序解 碼、顯示短片内的圖像。在此，根據使用者的操作等指示 播放結束之際，係於指示有效的時點結束播放。 第11圖係顯示習知反多:η装置_結構之方塊圖。 反多工裝置_係設有管理資訊分離部2卜短片資訊解 析部22、解碼部24及顯示部26。 管理資訊分離部2Η系從光碟等多工資料記錄媒體讀出 多工資料MuxDat，且解析管理資訊，並根據使用者之指示 或事先決定之方法決定職W。然後，_資訊分離部 21將關於決定的短片之資訊即短片資訊，輸出至短片資 訊解析部22。 短片資訊解析部22將存取至構成短片的圖像之存取資 訊acs輸出至解碼部24。解碼部24係根據存取資訊從多工 資料記錄媒體讀出影像資料Vdat後解碼，並將解碼結果 decOut輸出至顯示部26。顯示部26係從已達顯示時間之圖 像開始’按照順序顯示解碼結果。 而’MPEG-4AVC係由於預測結構具有彈性，因此短片 的資料框延遲是可變的。然而，習知反多工裝置係在未考 11 200952462 慮短片的資料框延遲下切換短片，因此，會在切換資料框 延遲不同的短片時於圖像的顯示間隔上發生間隙。 第u圖係顯示從資料框延遲為丨之短片切換到資料框 延遲為2之短片的例子。 。第12(a)圖係顯示資料框延遲為1之資料流1的隨機存取 單位RAU1-1 ’第12(b)圖係顯示資料框延遲為2之資料流2 的隨機存取單位RAU2]。在此，第12⑷圖係顯示於隨機存 取單位RAUM之後接著播放隨機存取單位RAU2-1時之解 碼與顯示時點。 〇 10 隨機存取單位raum係資料框延遲為卜因此，在隨 機存取單位RAU1-1中的顯示順序最後之圖像m的顯示時 間，進行隨機存取單位RAU2]之最前面圖像即圖像18的解 碼。然而，隨機存取單位RAU2]係資料框延遲為2，因此， 在解碼順序的第2個圖像即圖像以解碼時間時尚未開始 15顯示隨機存取單位⑽2·1之圖像。因此，在圖像P2的解碼 時間裡並不存在顯示圖像，結果在圖像⑴與圖像b〇之間產 生顯示間隔的間隙。同樣地’在隨機存取單位尺繼]之後 〇 播放隨機存取單位RAU1-laf，為了連續顯示圖像而在解碼 間隔中產生間隙。即，顯示間隔重叠。以下，顯示間隔的 2〇間隙係包含在連接點上資料框延遲增加或減少的兩種情形 中，產生連接點上的不連續。 如此，習知多工裝置及反多工裳置係由於在切換資料 框延料賴短片之部分上無法維持固定㈣框率之顯 不，而有造成使用者觀賞動畫影像時的不適感之問題。 12 200952462 因此’本發明係有齡上述問題而成者，且其目的為 徒供-種即使於多角度播放等特殊播放時亦不會造成使用 者的不舰’且可使編碼流與其他資訊—衫卫化並且生 成多工資料之多卫裝置以及可反多工化該多工資料且播放 5 編碼流之反多工裝置。 L 明内 3 解決問題之手段 為了達成前述目的，本發明之多讀置係可使丨個或複 數個編碼流與其他資訊一起多工者，前述編碼流係於每個 1〇可_存取时取單位巾包含複«經編制圖像而構 成，包含有：編碼機構，係可生成前述1個或複數個編碼 流，以於前述！個或複數個編碼流所包含的前述存取單位者 中之任意2個存取單位連續解碼之際，避免在前述兩存取: 位的連接點上產生圖像間的間隙者；及多工機構係可將 丨5前料碼韻所生紅丨個或魏㈣碼歧前述其他資 訊多工化者。例如，前述編碼機構係生成前述i個或複數個 編褐流，使從依解碼順序解碼最前面圖像開始到依顯示順 序顯示最前面圖像為止之延遲量’在前述兩存取單位中分 別相等。 '° #此’生成編碼流使構成為特殊播放對象之2個存取單 位(如短片等）的延遲量（資料框延遲)相#，因此，可於該等 存取單位連續解碼之際，避免在該等存取單位的連接點上 產生圖像間的間隙，且維持固定的資料框率。即，可於特 殊播放時無縫連接該等存取單位。結果，可消除使用者觀 13 200952462 賞根據該特取單位m彡像時所造成料適感。在 此，如以應用程式的運用規格決定延遲量時，則生成編碼 流使前述2個存取單位之延遲量符合該決定之延遲量。 又，前述多工裝置更包含有可生成關於前述延遲量内 5容的延遲資訊之延遲資訊生成機構，且前述多工裝置可將 前述延遲資訊生成機構所生成之延遲資訊多工化以作為前 述其他資訊。例如，前述延遲資訊生成機構可生成顯示前 述延遲量之前述延遲資訊。並且，前述延遲資訊生成機構 可生成顯不可無縫連接前述兩存取單位之旗標以作為前述 〇 10 延遲資訊。 藉此，反多工裝置可於延遲資訊(資料框延遲資訊)顯示 延遲量時’根據該延遲資訊來輕易地把握住2個存取單位之 延遲量，且在延遲資訊為旗標時，反多工裝置可藉由該旗 標輕易地把握住2個存取單位之延遲量相等。結果，可使反 15 多工裝置執行適當的反多工化處理。 又，前述編碼機構亦可生成前述〗個或複數個編碼流， 以避免在前述複數個編碼流所包含的前述存取軍位當中之 ❹ 角度不同的2個存取單位的連接點上產生圖像間的間;。 因此，由於2個存取單位的角度不同而可於該等存取單 2〇位連續解碼之際，與前述相同地避免在該等存取單位的連 接點上產生圖像間的間隙，且維持固定的資料框率。即， 該等存取單位形成為無縫.多角度者。結果，可消除使用 者觀賞根據該等角度不同的存取單位之動畫影像 的不適感。 14 200952462 又’為了達成前述目的，本發明之反多工裝置係可將 多工資料反多工化者，且前述多工資料具#1個或複數個編 碼流，前述蝙碼流係於每個可隨機存取之存取單位中包含 複數業經編碼的圖像而構成，及在前述存取單位當中的任 5意2個存取單位中，關於從依解碼順序解碼最前面圖像開始 到依顯示順序顯示最前面圖像為止之延遲量内容的延料 訊，又，該反多工裝置包含有：延遲資訊分離機構，係二 〇 從前述多工資料分離出前述延遲資訊者；及播放機構，係 可依照從前述延遲資訊分離機構分離出之延遲資訊連續解 10 碼前述兩存取單位並且播放者。 因此，如生成編碼流使構成為特殊播放對象之2個存取 單位(如短料）的延遲量相等時，可藉由於特殊播放時連續 解碼該2個存取單位並且播放，以避免在該等存取單位的連 接點上產生圖像間的間隙，且維持固定的資料框率。即， 15可無縫連接該等存取單位。結果，可消除使用者觀賞根據 ❹ 該等存取單位之動畫影像時所造成的不適感。並且，可於 如延遲資訊（資料框延遲資訊)顯示延遲量時，根據該延遲資 訊來輕易地把握住2個存取單位之延遲量，且可在延遲資訊 為旗標時，藉由該旗標來輕易地把握住2個存取單位之延遲 〇 量相等。結果，可進行更適當的反多工化處理。 又，為了達成刖述目的，本發明之多工化方法係將動 畫景;> 像編碼且與管理資訊_起多工化，該多工化方法包 含：生成1個以上的編碼流之編碼步驟；取得前述編碼流中 的資料框延遲之步驟；製作含有可顯示前述取得的資料框 15 200952462 5 15 20 夕^的管理資訊之管理資訊製作步驟；及將前述 編碼7流與前述管理資訊多工化之多工化步驟。且前述 延遲係顯由r的隨機存取單位所構成，而前述資料框 而隨 前述隨機存取單財從依解碼順序解瑪最前 並 a開始到依顯示順序顯示最前面圖像為止之延遲 剛述編碼流中的前述資料框延遲是可變的。 又 、 則述管理資訊亦可包含前述1個以上的編碼流之. 述資料框延遲。
a又，前述管理資訊亦可包含前述丨個以上的編碼流中 則述資料框延遲之最大值。 次又，前述管理資訊亦可在前述丨個以上的編碼流中的前 述資料框延遲相同之際’包含前述相同的資料框延遲以: 為與前述1個以上的編碼流共通之資料框延遲。 又，則述管理資訊亦可包含每個匯集前述丨個以上的隨 機存取單位之播放單位中的前述資料框延遲。 再者，本發明之反多工化方法可分離以前述多工方法
多工化之多工資料並且播放，且該方法包含：資料樞延遲 取得步驟，係於連續解碼互相不同的編碼流所包含的前述 隨機存取單位之際，取得播放的前述隨機存取單位所屬的 編碼流之資料框延遲；資料框延遲決定步驟，係根據前述 取得的資料框延遲決定播放時之資料框延遲；播放步驟， 係依照前述決定的資料框延遲播放前述隨機存取單位之圖 像0 又’前述資料框延遲決定步驟亦可藉由與前—個播放 16 200952462 的前述隨機存取單位的資料框延遲相同之資料框延遲播 放後續的前述隨機存取單位。 又，本發明不僅可實現前述多工裳置及反多工裝置、 或多工方法及反多工方法，亦可實現用於該多工裝置及反 5多工裝置之程式、及儲存該程式之記憶媒體、或藉由該多 工裝置生成之多工資料。 如同上述，根據本發明，即使於特殊播放時亦可保證 以固定資料框率顯示’因此可消除對使用者造成的不適 φ 纟。並域別是可提高封包舰之播放品質，因此其實用 1〇 價值很高。 圚式簡單說明 第1圖係MPEG-2之資料流結構圖。 第2(a)、（b)圖係MPEG-2之GOP結構圖。 第3A、B圖係MPEG-2中的資料框延遲之說明圖。 第4圖係MPEG-4AVC之資料流結構圖。 第5圖係顯示MPEG-4 AVC中的預測結構之例子。 q 第6(a)、（b)、（c)圖係顯示MPEG-4 AVC中的短片切換之 例子。 第7圖係顯示習知多工裝置之操作流程圖。 第8圖係顯示習知多工裝置結構之方塊圖。 第9A、B、C圖係顯示習知多工裝置的輸出資料之結構 例。 第10圖係顯示習知反多工裝置之操作流程圖。 第11圖係顯不習知反多工裝置結構之方塊圖。 17 200952462 第12(a)、（b)、（c)圖係顯示從習知多工裝置輸出之多工 資料於播放時的問題。 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。 5 第14圖係顯示本發明實施型態1的多工裝置結構之方 塊圖。 第15A〜E圖係顯示本發明實施型態1的多工裝置之輸 出資料結構例。 第16圖係顯示本發明實施型態2的多工裝置之操作流 10 程圖。 第17圖係顯示本發明實施型態2的多工裝置之方塊圖。 第18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。 第19圖係顯示於本發明實施型態3的反多工裝置中決 15 定播放時的資料框延遲之際的操作流程圖。 第20(a)〜(d)圖係顯示於本發明實施型態3的反多工裝 置中決定資料框延遲之際的操作例。 第21圖係顯示本發明實施型態3的反多工裝置之方塊 圖。 20 第22圖係HD-DVD之資料階層圖。 第23圖係HD-DVD上的邏輯空間之結構圖。 第24圖係VOB資訊檔案結構圖。 第25圖係時間對映表之說明圖。 第26圖係播放列表檔案之結構圖。 18 200952462 第27圖係與播放列表對應的程式檔案之結構圖。 第28圖係BD光碟全體管理資訊檔案之結構圖。 第29圖係記錄總體事件處理器的稽案之結構圖。 第30圖係HD-DVD播放器之概略方塊圖。 第31(a)、（b)、（c)圖係記錄有用以實現本發明的多工方 法及反多工方法之程式的記錄媒體結構圖。 【實施方式3 秦 實施發明之最佳型態 〇 以下，參照圖式同時說明本發明之實施型態。 10 (實施型態1) 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。本多工裝置可輸出可顯示儲存於多工資料之編碼流 的資料框延遲資訊之多工資料。 首先，多工裝置在步驟S301中生成MPEG-4 AVC之編 15碼流。在步驟幻02中多工襞置取得於步驟S301所生成的編 〇 碼流之資料框延遲後，繼續步驟S303。在步驟S303中，多 工裝置判定儲存於多工資料的所有編碼流是否已生成結 束，且在生成結東之前重複步驟S301與步驟S3〇2之處理。 扣在步驟S304中多工裝置製作作為多工資料的管理資訊儲存 〇之資料框延遲資訊後，繼續步驟S305。在步驟S3〇5中，多 工裝置製作習知的多工裝置所生成之資訊加上顯示資料框 延遲資訊之管理資訊。最後，多工裝置在步驟中，將 步驟S301所生成之編碼流及步驟83〇5所製作之管理資訊多 工化並且輸出多工資料。 19 200952462 第14圖係顯示本發明實施型態！的多工裝置結構之方 塊圖。 多工裝置100A係設有編碼部15、記憶體12、管理資訊 製作部16、資料框延遲取得部17及多工化部18。 5 x ’將本實施型態的多工裝置100A所具有的上述各構 成元件當中相同於第8圖所示的習知多工裝置所具有之構 成元件，附上與前述習知多工裝置相同的構成元件符號， 並省略其詳細說明。 編碼部15係將所輸入之動畫影像資料vin編碼且儲存 修 10 編碼資料strln於記憶體12，並且輸出編碼流价匕之資料框 延遲frDly至資料框延遲取得部17。 資料框延遲取得部17係製作作為資料框延遲資訊儲存 於管理資訊中之延遲資訊dlylnf，並輸出至管理資訊製作部 16 ° 15 管理資訊製作部16係根據從記憶體12讀出的作為讀出 資料strOutl之編碼資料strln的解析結果，及延遲資訊dlyInf 生成管理資訊base，並輸出至多工化部18。 多工化部18係將管理資訊base、從記憶體12讀出之讀 出資料strOut2、有別於使用者的設定資訊等之編碼資料而 20 取得之附加資訊adlnf多工化，並輸出多工資料MuxDat。 又，亦可將編碼部15設定編碼時之資料框延遲限制在事先 規定值以下。 第15A圖〜第15E圖係顯示多工裝置100A輸出多工資料 之結構例。 20 200952462 如第15A圖所示，多工f料中顯示儲存於多工資料之短 片的資料框延遲資訊。在此，多工資料中儲存朴個短片a 且各個資料框延遲係從delayl到delayN。又，各短片可為 不同-編碼流中的不同區間之單位 二顯 5 ❹ 10 15 ❹ 20 流所屬之短片。 W各個不同編竭 第15Β圖至第15D圖係顯示資料框延遲資訊之 例。在第15B圖中’各短片之資料框延遲係作為資料表資訊 儲存。第15C圖係顯示短片的資料框延遲之最大值。而最1 值可表示儲存於多卫資料的所有短片中的⑽框延遲之最 大值’亦可表线著播放列表等連_放雜片中 框延遲之最大值。或者，亦可將事纽定值作為最大值。 圖係顯不在各短片中共通使用的資料框延遲值。可於 各短片之資料框延遲為蚊咖示該值，亦可於各短片的 資料框延遲非固定軸雜放時所使狀資料框延遲。第 1沾圖係顯示各短片間的資料框延遲是否相同。例如， 可顯示資料框延遲是否相同之旗㈣訊。X ⑽圖又到第加圖所示之資訊並且使用。 …第 、又，亦可只顯示特定的短片之資料框延遲資訊。首先， ΙΓΓ的播放方法作為基準，只顯示多角度播放或摘錄 播放等所使㈣短片之資料框延遲資訊。X，亦可以短片 ㈣前面隨機存取單位之屬性作為基準來設定。例如，規 jIDR圖像中進行角度的切換等之際，亦可只顯示短片的 次刖面隨機存取單位為IDR圖像之短片相_資料 資訊。或者，亦 ^ >、在保證短片間可無縫連接之摘錄播放 21 200952462 時顯示資料框延遲資訊。 又，亦可不直接顯示各短片之資料框延遲資訊而顯示 儲存於多工資料的編碼流之資料框延遲資訊。此時，可藉 由賦予短片所屬的編碼流與顯示編碼流之資料框延遲的資 5 訊關連性，以顯示各短片之資料框延遲。本方法可於同一 編碼流的各短片之資料框延遲為固定時使用，亦可透過顯 示同一編碼流中含有的短片之資料框延遲最大值來使用。 又，在BD(藍光碟片：Blu-Ray Disc)或HD(高畫質： High Definition)-DVD等之應用程式規格中使資料框延遲 10 相同，或決定資料框延遲的最大值或規定值之際，資料框 延遲資訊係依據這些應用程式規格而顯示，因此亦可不作 為管理資訊儲存。 又，亦可於使用TS或RTP(即時傳輸協定：Reai_time Transmission Protocol)等協定並藉由網路接收多工資料 15 時，取得作為播放控制資訊的資料框延遲資訊。例如，於 通知播放控制資訊時使用SDP(會談敘述協定：Sessi〇n Description Protocol)的情形下，可於SDp中敘述資料框延遲 資訊。或者，亦可藉由於SMIL(同步多媒體整合語言： Synchronized MUltimedia Integrati〇n Language)等場景敘述 20語言中顯示資料框延遲資訊，以通知資料框延遲至播放終 端機。 、 又’資料框延遲資訊亦可依每個隨機存取單位而顯 不。再者’亦可附加在隨機存取單位RAU中的最前面圖像 中，以於編碼流内顯示資料框延遲資訊。 200952462 如此，本多工裝置輸出的多工資料係藉由管理資訊來 顯不資料框延遲資訊，因此，可藉由於播放多工資料時調 整資料框延遲，以進行避免在短片切換時產生顯示間隙之 播放。 、 5 (實施型態2) 第16圖係顯示本發明實施型態2的多工裝置之操作流 程圖。
首先，多工裝置在步驟S401中設定儲存於多工資料的 編碼流中共通使用之資料框延遲值。在步驟84〇2中，多工 10 裝置根據步驟S401所設定的資料框延遲編碼ΜΡΕ(3·4 AVC 之編碼流。在步驟S403中，多工裝置判定儲存於多工資料 的所有編碼流是否已生成結束，且在生成結束前重複進行 步驟S402之處理。在步驟S404中多工裝置製作作為多工資 料的管理資訊儲存之資料框延遲資訊後，繼續步驟S405。 15 在步驟S405中，多工裝置製作顯示習知多工裝置所生成的 資訊之外再加上資料框延遲資訊之管理資訊。最後，多工 裝置在步驟S406中，將步驟所生成之編碼流及在步驟 S405製作之管理資訊多工化並且輸出多工資料。 第17圖係顯示本發明實施型態2中的多工裝置結構之 20 方塊圖。 多工裝置100B係設有資料框延遲決定部41、編碼部 42、記憶體12、管理資訊製作部16及多工化部18。 又，將本實施型態的多工裝置100B所具有的上述各構 成元件當中相同於第8圖所示的習知多工裝置所具有之構 23 200952462 成元件，附上與前述習知多 並省略其詳細說明。 工裝置相同之構成元件符號， 5 資料框延遲決定部…係決定編碼流之資料框延遲， 處出至編碼部42及管理資訊製作部 ί所决疋之糾框延遲可為依據應靠式規格等所事先決 疋之值’亦可為依據多1置或使用者之設定者。 並 此 10 編碼部42係根據延遲資訊dlyInf所示之料 碼輸入之動畫影像且儲存編碼資料帅於記憶體 12。即’該編瑪部42可在連續解碼1個或複數個編碼資料 她所包含的存取單位(編碼資料本身或短片）當中之特定2 個存取單位時，使存取單位的f料框延遲—致且生成該㈣ 或複數個編碼料strIn，以避免在這些存取單位的連接點 上生成圖像間的間隙。又，前述之「於解碼時，避免在連 接點上產生圖像間的間隙」的意思係相同於避免在圖像的
15 顯不間隔上產生間隙之意，即是指避免在圖像的解碼間隔 上產生重疊。 管理資訊製作部16係根據從記憶體12讀出的作為讀出 資料strOutl之編碼資料strln的解析結果，及延遲資訊dlyInf 生成管理S sfLbase ’並輸出至多工化部18。 多工化部18係將管理資訊base、從記憶體12讀出之讀 出資料str〇ut2、有別於使用者的設定資訊等之編碼資料而 取得之附加資訊adlnf多工化’並輸出多工資料MuxDat。 又，在應用程式規格等之中事先規定資料框延遲時， 亦可為沒有資料框延遲決定部41的多工裝置ιοοΒ之結構，
24 200952462 且編碼部42係根據固定的資料框延遲進行編碼處理。當編 碼流間的資料框延遲為固定時，即使未根據管理資訊顯示 資料框延遲資訊亦可決定播放時之資料框延遲，因此，亦 可不在管理資訊中顯示資料框延遲資訊。 5 ❹ 10 15 Ο 20 如此’本多工裝置輸出之多工資料，係儲存於多工資 料的編碼流中的資料框延遲為固定，因此各短片中的資料 框延遲亦為固定’所以’即使在短片切換之際亦不須於播 放開始時調整資料框延遲’可實現無顯示間隙之播放。 又，在前述各實施型態中為資料框延遲可變之編碼方 式時，亦可使用MPEG-4AVC以外之編碼方式。 並且’以欲在無縫連接或無縫.多角度等之下連續播 放之存取單位(編碼流或短片）為對象時，亦可使資料框延遲 固疋。在此，無缝連接係指使相同或互異之編碼流所包含 的複數紐片無缝連接。並且，無缝·多角度係指使複數編 碼流各自包含的不同角度之短片無縫連接並且角度可切 換。例如，可僅以從播放開始的30秒鐘為1個角度，且在30 秒到60秒之間從複數角度選擇並且播放等。此時，顯示不 同角度之各短片具有相同的資料框延遲。再者，在多角度 播放之際每個角度的資料框延遲不同時則播放品質不會一 疋因此，亦可不管是否可無缝且多角度播放，皆使每個 角度的資料框延遲固定。又，亦可將複數編碼流作為無縫 連接或無縫.多角度之對象。 又在無縫連接或多角度播放時所使用的存取單位 可形成可不須參照解碼順序的前面存取單位内的圖像 25 200952462 地解碼存取單位内餘意圖像之條件。這種存取單 當於函㈣或在咖G_4AvctmDR^ 為最前面之隨機存取單位靡。因此，在可只參照存取單 5 15 20 位内的圖像解碼該存取單位_圖像之存取單財，亦可 使資料框延遲為固定。
如同上述，以欲以無縫連接等連續播放之存取單 位為對象Μ料框延遲為固定時，多工裝置會在事前判斷 欲生成的麵單位是否構成為該無縫連接或無縫.多角声 =象1後’在判斷構成對象時，多工裝置則進行編: 理使構成對象的存取單位之資料框延遲相等並生成編 " '幻如，在2個編碼流構成為無縫連接等之對象時生成 後^的編喝流，使無縫連接的後方之編碼流的資料框延遲 與無縫連接的前方之編碼流的資料框延遲相等。
又，皆理資訊base所含有的資料框延遲資訊，可相對 於^成無縫連接等對象之特定存取單位(編碼流或短片）顯 不共通的資料框延遲，且該存取單位亦可為顯示可構成為 ·’’、縫連接或多角度播放等對象之旗標。這種旗標可在播放 】表或時間對映表(Timemap)中作為顯示連接屬性之資訊 储存。 (實施型態3) 第18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。本反多工裝置可輸入以實施型態1與實施型態2的 多敦置製作之多工資料並且播放。 首先，在步驟S501中，反多工裝置從多1資料分離出 26 200952462 訊，並取得關於播放短狀資訊。欲播放的短片係 定之播Γ者的心，或外理=#訊_播放列表等事先決 疋之播放順序而決定。 5 〇 10 15 ❹ 20 接著’在步獅〇2中❹4置料於步驟娜中決 驟S5fnt^之詩框㈣資訊，並繼續步卿03。在步 遲:h，反多工裝置根據在步㈣02所取得的資料框延 貝訊以決定短片播放時的資料框延遲。 的最^獅4與步物5中，反多工裝置顧達短片内 根據使用Γ讀照順序解碼、顯示短片内的圖像。在此， t使用者的操作等指示播放結束之際，係於指示有效的 Z結束播放。又，在步驟S501決定之於步驟S503中的資 遲’亦可僅在切換至不同編碼流所屬的短片時進行。 第19_、顯稀糾㈣㈣咖巾決 枓框延遲之__流_。 資 首先，在步驟謝巾，反&裝置判定儲存於多 =的編碼流之資料框延遲是否為岐，為固定時則繼2 步驟S603 ’而非固定時難續步驟謹。 ^ 士在^S6Q3中，反多卫裝置決定以與多卫資料内的 瑪〜共通之資料框延遲播放。在步驟讓中，反多工裝置 ==短片的資料框延遲是否為固定，為固定時則 ===署而非固定時則繼續步驟細。在步驟⑽ 反多裝置決定根據播放時的最前面短片 遲崎播放。W料，W咖整播2 的貝枓框延遲。而下述為可調整播放時的資料框延遲之= 27 200952462 法。 i.在欲播放的短片中，使資料框延遲與最大的短片一 致 2·使與前一個播放短片的資料框延遲一致 5 3.使用事先決定的資料框延遲 第1個方法係於可事先決定欲播放的短片時特別有 效，而第2個方法係於根據使用者的指轉動態變更欲播放 的短片時特別有效。又，第3個方法係於可透過多工資料的 管理資訊或編碼流内的資訊或者是應用程式規格等，以取 10得資料框延遲的最大值時有效。甚至於亦可使用以機器事 先決定之資料框延遲。 第20(C)、⑷圖係分別顯示上述w個與第2個方法之例 子。在第20(c)圖中，反多工裝置係接著資料框延遲為ι之短 片後播放資料框延遲為2之短片2。此時，播放短片i之際 B的資料框延遲為2。第20_係顯示使用者指示於播放資料 框延遲為2之短片2時’切換至資料框延料丨之短片i的例 子。此時，短片1的資料框延遲雖原本為】，而反多工裝置 卻會依照短片2的資料框延遲將資龍延遲#作為2地播放 短片i。如同上述，可藉由決定資料植延遲，進行避免在短 20 W與短片2的切換位置上產生顯示間隔的間隙之播放。 又’如同實施型態2之說明，在多卫資料内的編碼流之 貝枓框延遲-致時，有未於多工資料内顯示資料框延遲資 訊的情形。於減這種多玉資料時Μ要步驟S502之處 理。並且，在步驟S503中決定顯示開始時的資料框延遲之 28 200952462 際，通常亦只要依照播放時的最前面短片之資料框延遲即 〇 又’在資料框延遲的最大值係以應用程式規格等規定 時，通常亦可依照前述規定之最大值播放。 5 ❹ 10 15 ❹ 20 第21圖係顯示實施型態3的反多工裝置結構之方塊圖。 反多工裝置200係設有管理資訊分離部51、短片資訊解 析部52、資料框延遲決定部53、解碼部24及顯示部54。 管理資訊分離部51係從光碟等多工資料記錄媒體讀出 多工資料MuxDat，且解析管理資訊，並依照使用者之指示 或事先決定之方法決定播放短片《然後，管理資訊分離部 51將關於決定的短片之資訊即短片資訊Clip輸出至短片資 訊解析部52。 短片資訊解析部52將存取至構成短片的圖像之存取資 sflacs輸出至解碼部24。再者，短片資訊解析部52取得播放 短片之延遲資訊dly並輸出至資料框延遲決定部53。 解碼部24係根據存取資訊acs從多工資料記錄媒體讀 出影像資料Vdat後解碼，並將解碼結果dec〇ut輸出至顯示 部54。 資料框延遲決定部53係決定播放時之資料框延遲，並 將延遲T輸出至顯示部54。 顯示部54係依照延遲T顯示圖像。又，如同實施型態2 之說明，在多工資料内的編碼流之資料框延遲一致時，有 未於多工資料内顯示資料框延遲資訊的情形。於播放這種 多工資料時，亦可為沒有資料框延遲決定部53之結構。 29 200952462 又’於無縫連接或多角度播放存取單位之際，以播放 列表等所示的連續播放單位之資料框延遲為固定，而在未 保證無縫連接等其他情形中則有連接點中的資料框延遲為 τ變之情形。此時’若多工資料的管理資訊中未含有資料 5框延遲之資訊，亦可於解碼部24取得存取單位之資料框延 遲，並將前述所取得之資料框延遲輸入至資料框延遲決定 部53。在此’於資料框延遲為固定之播放區間内係依照播 放時的最前面存取單位之資料框延遲，而於資料框延遲為 可變之播放區間内則在資料框延遲決定部中調整播放時的 1〇 θ料框延遲。又，以上任—情形皆可適用與以應用程式規 格等決定之資料框延遲的最大值相同之資料框延遲。 (實施型態4) 多角度播放或摘錄播放等機能係在播放封包媒體之光 碟機中特別重要。在此，說明將實施型態丨及實施型態2的 15多工裝置所輸出之多工資料記錄於次世代的光碟片即 BD(藍光碟片：Blu-rayDisc)中的例子。 首先’說明BD-ROM之記錄格式化。 第22圖係顯示BD_R0M之結構，且特別是記錄於光碟 媒體之BD光碟及光碟中的資料之結構圖。記錄mBd光碟 20⑴4之資料為AV資料103、關於AV資料的管理資訊與八¥播 放順序等之BD管理資訊102、及可實現雙向對談之BD播放 程式101。在本實施型態中，為了說明上的方便而進行以用 來播放電影的AV内容之AV應用程式為重點的bd光碟之說 明，而作為其他用途使用時當然也是相同的。 200952462 第23圖係顯示記錄於前述BD光碟的邏輯資料之目錄 檔案結構。BD光碟係與其他光碟如£)¥1)或(：：1)等相同地具 有從其内周朝向外周形成螺旋狀之記 5 ❹ 10 15 ❹ 20 錄領域，且於内周的 讀入及外周的讀出之間具有可記錄邏輯資料之邏輯位址空 間。又，在讀入的内侧具有稱為BCA(燒錄區 ：Burst Cutting
Area)的只能以驅動機讀取之特別領域。該領域係無法從應 用程式讀取，因此可使用於如著作權保護技術等。 邏輯位址空間中記錄有檔案系統資訊(檔案卷 • Volume) 在最前面的影像資料等之應用程式資料。且檔案系統係指 如先前技術所說明之UDF或ISO9660等，且可使用目錄、檔 案結構來讀取與一般PC相同地記錄之邏輯資料。 本實施例之情形係BD光碟上的目錄、檔案結構為 BDVIDEO目錄放置於根目錄(R〇〇T)的正下方。該目錄係儲 存有以BD處理的AV内容或管理資訊等資料（第22圖所說明 之 101、102、103)之目錄。 在BDVIDEO目錄的下面記錄有以下7種類之檔案。 • BD.INFO(檔名固定） 為「BD管理資訊」的一種，且為記錄關於BD光碟全體 的資訊之檔案。BD播放器係於一開始讀出該檔案。 .BD.PROG(檔名固定） 為「BD播放程式」的一種，且為記錄關於BD光碟全體 的播放控制資訊之檔案。 .XXX.PL(「XXX」可變，延伸檔名「PL」固定） 為「BD管理資訊」的一種，且為記錄場景（播放順序) 31 200952462 的播放列表資訊之檔案。於每個播放列表中具有1個檔案。 • XXX.PR〇G(「XXX」可變’延伸檔名rpR〇G」固 定） 為「BD播放程式」的一種，且為記錄每個前述播放列 5 表的播放控制資訊之檔案。並藉由主檔名（「XXX」係一致） 來識別與播放列表之間的對應。 .YYY.VOB(「YYY」可變，延伸檔名「v〇B」固定） 為「AV資料」的一種，且為記錄v〇B(與習知例所說明 的VOB相同）之標案。於每個VOB中具有1個檔案。 10 . YYY.VOBI(「YYY」可變，延伸檔名rv〇BI」固定） 為「BD管理資訊」的一種，且為記錄關於AV資料即 VOB的資料流管理資訊之檔案。並藉由主標名（「γγγ」係 一致）來識別與VOB之間的對應。 .ZZZ.PNG(「ZZZ」可變，延伸檔名「PNG」固定） 15 為「AV資料」的一種，且為記錄用以構成字幕及選項 單的影像資料PNG(以W3C標準化之圖像格式，讀作r ping」) 之檔案。於每1個PNG影像中具有1個檔案。 以第24圖到第29圖說明BD的導航資料(bd管理資訊） 之結構。 20 第24圖係顯示V〇B管理資訊檔案f γγγ.ν〇ΒΓ )之内 部結構。 VOB管理資訊具有該VOB的資料流屬性資訊(Attribute) 及時間對映表(ΤΜ AP)。資料流屬性係構成為具有各個視訊 屬性(Video)、音頻屬性(Audio#0〜Audio#m)。且特別是音頻 32 200952462 流係由於VOB可同時具有複數條音頻流，因此可藉由音頻 流數(Number)來顯示有無資料欄。 以下為視訊屬性(Video)所具有的資料欄以及各自可具 有的值。 5 .壓縮方式(Coding): MPEG1 MPEG2 MPEG4 MPEG4-AVC(Advanced Video Coding :先進視訊編碼） 10 .解像度(Resolution): 1920x1080 1440x1080 1280x720 720x480 15 720x565 •寬高比(Aspect): 4:3 16 ： 9 資料框率(Framerate): 20 60 59.94(60/1.001) 50 30 29.97(30/1.001) 33 25 200952462 24 23.976(27/1.001) 以下為音頻屬性(Audio)所具有的資料欄以及各自可具 有的值。 •壓縮方式(Coding): AC3 MPEG1 MPEG2 10 15 20
LPCM .頻道數(Ch): 1〜8 •語言屬性(Language): 時間對映表（TMAP)係具有每個VOBU的資訊之資料 表’且具有該VOB含有的VOBU數(Number)及各VOBU資訊 (VOBU#l〜VOBU#n)。各個VOBU資訊係由VOBU的最前面 TS封包(I圖像開始）之位址I_start、到達該丨圖像的結束位址 之偏移位址(I_end)、及該I圖像之播放開始時間（PTS)所構 成。 第25圖係VOBU資訊之詳細說明圖。 如同眾所皆知地’ MPEG視訊資料流係為了高畫質記錄 而以可變位元率壓縮，且該播放時間與資料大小之間的相 關性並不單純。相反地，聲音之壓縮規格AC3係以固定位 兀*率進行壓縮，因此，可透過一次式求得時間與位址之關 34 200952462 5 Ο 10 15 ❹ 20 係。然而在MPEG視訊資料的情形中，各個資料框具有固定 的顯示時間’即如NTSC的情形時為1個資料框具有1/29.97 移的顯示時間，且各個資料框的壓縮後之資料大小會因圖 像的特性或壓縮所使用的圖像類型即所謂的I/p/B圖像而使 資料大小的變化相當大。因此，在MPEG視訊的情形中不可 能以一次式的形式表現時間與位址之關係。 當然，將MPEG視訊資料多工化之MPEG系統資料流以 一次式的形式表現，即亦將VOB與時間及資料大小一起以 一次式的形式表現亦是不可能的。因此，賦予VOB内的時 間與位址相關性的是時間對映表(TMAP)。 如此，於被提供某時間資訊時，首先檢索該時間是屬 於哪一個VOBU(按照每個VOBU之PTS進行），並使該時間 的前一個PTS跳進TMAP所持有的VOBU(I_start所指定之位 址），即從VOBU最前面的I圖像開始解碼，且從該時間的圖 像開始顯示。 接著以第26圖說明播放列表資訊(〃 XXX.PI/ )之内部 結構。 播放列表資訊係由資料格列表（CellList)及事件列表 (EventList)所構成。 資料格列表（CellList)係播放列表内的播放資料格順 序，且依照本列表的敘述順序播放資料格。資料格列表 (CellList)的内容為資料格數(Number)及各資料格之資訊 (Cell#l〜Cell#n)。 資料格資訊(Cell#)具有VOB檔案名（VOBName)、該 35 200952462 VOB内之開始時間（In)與結束時間（〇ut)、及字幕資料表 (SubtitleTable)。開始時間（In)與結束時間（〇ut)係依照該 VOB内的各個資料框號碼顯現，且可藉由使用前述時間對 映表(TMAP)於播放時得到需要的v〇B資料之位址。 字幕資料表(SubtitleTable)係具有可與該VOB同步播放 的字幕資訊之資料表。字幕可與聲音相同地具有複數語 吕’且子幕資料表（SubtitleTable)的最初資訊亦是由語言數 (Number)與接績於其後之各個語言的資料表 (Language#l 〜Language#k)所構成。 © 各語言之資料表(Language#)係由語言資訊(Lang)、各 個顯示的字幕之字幕資訊數(Number)、及各個顯示的字幕 之字幕資訊（Speech#l~Speech#j)所構成，而字幕資訊 (Speech#)係由對應的影像資料檔案名（Name)、字幕顯示開 始時間（In)與字幕顯示結束時間（Out)、及字幕之顯示位置 15 (Position)所構成。 事件列表（EventList)係定義該播放列表内所發生的事 件之資料表。事件列表由接續在事件數(Number)後面的各 個事件(Event# 1 ~Event#m)所構成，而各個事件(Event#)係由 事件之類型(Type)、事件之ID(ID)、事件發生時間(Time)與 2〇 有效期間（Duration)所構成。 第27圖係具有各個播放列表的事件處理器（時間事 件、及選項單選擇用的使用者事件)之事件處理器資料表(〃 XXX.PROG")。 事件處理器資料表具有定義之事件處理器/程式數 36 200952462 5 ❹ 10 15 Ο 20 (Number)及各個事件處理器/程式 (Program# 1 〜Program#n)。各事件處理器/程式（Program#)内 的敘述具有事件處理器開始的定義（<event_handler>標 籤），及與前述事件的ID成對之事件處理器之ID(ID)，且其 後面之該程式亦接著Function後面敘述於括弧“ {”與 之間。儲存於前述"XXX.PL"的事件列表(EventList) 中的事件（Event#l〜Event#m)係使用"XXX.PRCKT的事件 處理器之ID進行特定。 接著，以第28圖說明關於BD光碟全體的資訊（〃 BD.INFCT )之内部結構。 BD光碟全體資訊係由標題列表（TitleList)與總體事件 用的事件列表(EventList)所構成。 標題列表(TitleList)係由光碟内之標題數(Number)及接 續於其後之各標題資訊(Title#l〜Title#n)所構成。各個標題 資訊(Title#l)中包含有標題所含有的播放列表之資料表 (PLTable)及標題内之章節列表(ChapterList)。播放列表之資 料表(PLTable)具有標題内之播放列表數(Number)及播放列 表名（Name)、即播放列表之構案名。 章節列表（ChapterList)係由該標題所包含的章節數 (Number)及各個章節資訊(Chapter#l〜Chapter#n)所構成，且 各個章節資訊(Chapter#)具有該章節所包含的資料格之資 料表(CellTable)，並且資料格之資料表(CellTable)係由資料 格數（Number)及各個資料格的登錄資訊 (CellEntry#l〜CellEntry#k)所構成。資料格的登錄資訊 37 200952462 (CellEntry#)係以包含該資料格的播放列表名及播放列表内 的資料格號碼來敘述。 5 15 20 事件列表(EventList)具有總體事件數(Number)及各個 總體事件之資訊。在此應該注意的是，最初定義的總體事 件係稱為初始事件(FirstEvent) ’即BD光碟插入播放器時最 初叫出之事件。總體事件用的事件資訊只具有事件類型 (Type)與事件之ID(ID)。 第29圖係總體事件處理器的程式之資料表（// BD.PR〇G〃）。本資料表係與第27圖所說明的事件處理器資 料表内容相同。 如同上述，在BD-ROM格式中將實施型態丨與實施型態 2的多工裝置之輸出資料多工化之際，ν〇Βυ係由丨個以上的 隨機存取單位RAU所構成，並依據播放列表來指定短片的 播放順序者。在此，資料框延遲資訊可依據BD管理資訊顯 示。例如，可儲存於播放列表的播放項目中，亦可儲存於 顯示EP對映表㈣取資訊之資料表中。或者，亦可儲存於 顯示編碼資料流的屬性資訊之資料表中。更可在顯示儲存 於多工資料的編碼流之資料框延遲的最大值 «中共通料料料料之際，作从各個編 訊咼階之資訊顯示。 又，亦可根據與播放列表不同之資訊，或事先決定之 順序來決定短片的播放順序。 、 又 料表中 EP對映表等存㈣訊可作為二進制資料儲存於資 ： Extensible Markup 38 200952462
Language)等之文字形式。 (實施型態5) 第30圖係顯示實施型態5之播放BD光碟的播放器之概 略機能結構的方塊圖。 5 BD光碟201上的資料係透過光學讀取器202讀取。並依 照各個資料種類將所讀取之資料轉送至專用的記憶體。分 別為BD播放程式（「BD.PROG」或「XXX.PROG」檔案之 内容）轉送至程式記錄記憶體203、BD管理資訊 © (「BD.IFNO」、「XXX.PL」或「YYY.VOBI」）轉送至管理 10 資訊記憶體204、AV資料（「YYY.VOB」或「ZZZ.PNG」） 轉送至AV記錄記憶體205。 且分別為以程式處理部206處理記錄於程式記錄記憶 體203之BD播放程式、以管理資訊處理部2〇7處理記錄於管 理資訊記憶體204之BD管理資訊、以顯示處理部2〇8處理記 15 錄於AV記錄記憶體205之AV資料。 程式處理部206係進行接受從管理資訊處理部207播放 〇 的播放列表之資訊或程式的執行時點等之事件資訊的程式 處理。又，可以程式動態改變播放之播放列表，且該情形 係透過對管理資訊處理部207發送播放列表之播放指令來 20 實現。而程式處理部206係在接受來自使用者之事件、即來 自遙控器按鍵之要求’且具有對應於使用者事件之程式時 進行執行。 管理資訊處理部207係接受程式處理部206之指示，解 析對應之播放列表與對應於播放列表的V0B之管理資訊， 39 200952462 並指示顯示處理部208播放欲播放對象之AV資料。又，管 理資訊處理部207係從顯示處理部208接受基準時間資料， 並根據時間資訊指示顯示處理部208停止播放^資料，並 且對於程式處理部206生成顯示程式執行時點之事件。 5 顯示處理部係具有分別對應於影像、聲音、字幕/ 影像(靜止畫面）之解碼器，並依照管理資訊處理部2〇7之指 示進行AV資料之解碼與輸出。影像資料、字幕/影像的情形 係於解碼後繪入各個專用平面、視訊平面21〇及影像平面 2〇9上，再藉由合成處理部211進行影像之合成處理並輸出 10 至TV等之顯示裝置。 於多角度播放或摘錄播放時，顯示處理部2〇8說明使用 者所要求的多角度播放或摘錄播放之操作，並通知管理資 訊處理部2G7關於角度城點等之資訊。管理資訊處理部 15 20
207再根據減短片的資料框延㈣料決定播放時之資料 框延遲並通知顯示處理部2〇8。 (實施型態6)
再者藉由將用以實現前述各實施型態的多工方法與 反多工方法之程式記錄於軟碟等記錄媒體中亦可在獨立 的電腦系統中簡單地執行前述各實施型態所示之處理。 第31圖係使用將前述各實施型態的多工方法與反多工 方法記錄於㈣等記錄_巾之料，並藉由電腦系統執 行的情形之說明圖。 40 200952462 之例子。軟碟FD係内藏於外殼W，且該碟 外周朝向内周形成複數同心圓狀之軌道h，且面上從 角度方向分贼16個扇區Se。因此，儲存 道沿著 5
10 15 Ο 碟係在前述軟碟FD上所分配的扇區中記錄前述程式式之軟 又’第31(c)圖係顯示用以在軟碟阳上進行前述程 記錄播放之結構。於軟碟FD中記錄可實現多卫方法與^的 工方法之前述程式時’係透過軟碟驅動機從電腦系統= 入則述程式。並且，在電腦系統中建構以軟碟内的程式來 實現多工方法與反多卫方法之多工方法以及反多工 時，係藉由軟碟驅動機從軟碟讀取程式，再轉送至電腦: 又，在前述說明中已說明使用軟碟作為記錄媒體，而 同樣地亦可制光縣騎。並且，記錄制並不限定於 / 1C卡、ROME等、只要為可記錄程式者亦同樣地可執 行。 以上，已根據前述各實施型態說明關於本發明之多工 I置、反多卫裝置以及BD光碟播放器等，而本發明並不限 定該等實施型態。在不脫離本發明之要旨的範圍内，於本 實施型態中進行該技術領域者所思及之變化例者亦包含於 本發明中。 當然，本發明亦包含如設有本實施型態的多工裝置之 光碟記錄裝置、動畫影像傳送裝置、數位電視播放之播玫 裝置、Web伺服器、通信裝置、攜帶型資訊終端機等，或 设有本實施型態的反多工裝置之動晝影像接收裝置、數位 20 200952462 電視播放之接收裝置、通信裝置、攜帶型資訊終端機等。 又，方塊圖（第14圖、第17圖及第21圖等）之各機能區塊 亦可作為典型的積體電路LSI(大型積體電路：Large Scale Integration)實現。且各機能區塊可個別地單晶片化，亦可 5 以包含一部份或全體之方式單晶片化（如記憶體以外的機 能區塊亦可單晶片化）。 在此雖稱為LSI，然而亦可依照積體密度的不同稱為 1C(積體電路：Integrated Circuit)、系統LSI(System LSI)、 特大型 LSI(Super LSI)、超大型 LSI(Ultra LSI)。 Ο 10 又，積體電路化之方法並不限定於LSI，亦可以專用電 路或通用處理器來實現。在LSI製造後，亦可使用可進行程 式化之FPGA(現場可程式閘陣列：Held Programmable Gate Array) ’或可再構成LSI内部的電路Cell的連接或設定 之可重組態.處理器。 15 甚至於在因半導體技術進步或衍生其他技術而進入取 代LSI的積體電路化之技術時，當然亦可使用該技術進行機 能區塊的積體化。且亦有可能適用於生物學的技術等。 〇 又’亦可為只有各機能區塊中的可儲存成為編峰或解 碼對象的資料之方法不單晶片化並使其另外構成。 20 產業上之可利用性 本發明之多1方法及反多工方法可適用於所有的具有 多角度播放或摘錄播放等特殊播放機能之機器，且在將 MPEG-4 AVC的編碼流多工化之封包媒體的播放中特別有 效。 42 200952462 t圖式簡單說明3 第1圖係MPEG-2之資料流結構圖。 第2(a)、（b)圖係MPEG-2之GOP結構圖。 第3A、B圖係MPEG-2中的資料框延遲之說明圖。 5 第4圖係MPEG-4 AVC之資料流結構圖。 第5圖係顯示MPEG-4 AVC中的預測結構之例子。 第6(a)、（b)、（c)圖係顯示MPEG-4 AVC中的短片切換之 例子。 第7圖係顯示習知多工裝置之操作流程圖。 10 第8圖係顯示習知多工裝置結構之方塊圖。 第9A、B、C圖係顯示習知多工裝置的輸出資料之結構 例0 第10圖係顯示習知反多工裝置之操作流程圖。 第11圖係顯示習知反多工裝置結構之方塊圖。 15 第12(a)、（b)、（c)圖係顯示從習知多工裝置輸出之多工 資料於播放時的問題。 第13圖係顯示本發明實施型態1的多工裝置之操作流 程圖。 第14圖係顯示本發明實施型態1的多工裝置結構之方 20 塊圖。 第15A〜E圖係顯示本發明實施型態1的多工裝置之輸 出資料結構例。 第16圖係顯示本發明實施型態2的多工裝置之操作流 程圖。 43 200952462 第17圖係顯示本發明實施型態2的多工裝置之方塊圖。 第18圖係顯示本發明實施型態3的反多工裝置之操作 流程圖。 第19圖係顯示於本發明實施型態3的反多工裝置中決 5定播放時的資料框延遲之際的操作流程圖。 第2〇(a)〜(d)圖係顯示於本發明實施型態3的反多工裝 置中決定資料框延遲之際的操作例。 第21圖係顯示本發明實施型態3的反多工裝置之方塊 圖。 10 第22圖係HD-DVD之資料階層圖。 第23圖係HD-DVD上的邏輯空間之結構圖。 第24圖係VOB資訊檔案結構圖。 第25圖係時間對映表之說明圖。 第26圖係播放列表檔案之結構圖。 15 第27圖係與播放列表對應的程式檔案之結構圖。 第28圖係BD光碟全體管理資訊檔案之結構圖。 第29圖係記錄總體事件處理器的檔案之結構圖。 第30圖係HD-DVD播放器之概略方塊圖。 第31(a)、（b)、（c)圖係記錄有用以實現本發明的多工方 20 法及反多工方法之程式的記錄媒體結構圖。 【主要元件符號說明】 800、100A、100B…多工裝置 13、16···管理資訊製作部 11、15、42…編碼部 14、18…多工化部 12〜§己憶體 17…資料框延遲取得部 200952462 41...資料框延遲決定部 102... BD管理資訊 200、900…反多工裝置 202…光學讀取器 21、51...管理資訊分離部 203...程式記錄記憶體 22、52...短片資訊解析部 204...管理資訊記憶體 24...解碼部 206...程式處理部 26、54...顯示部 207…管理資訊處理部 53...資料框延遲決定部 208…顯示處理部 104...BD 光碟 210...視訊平面 103...AV 資料 209…影像平面 101...BD播放程式 211...合成處理部
45 200952462 解碼時，於前述2個存取單位之各存取單位，使解碼順 序在前頭之圖像解碼後至顯示順序在前頭之圖像顯示 為止的延遲量為相等的狀態下，在前述2個存取單位之 連接點顯示之圖像間不產生間隙及重疊； 5 多工機構，係將包含顯示是否可將前述2個存取單 位無縫連接之旗標的前述其他資訊、與於前述編碼機構 業已生成之1個或複數個編碼流予以多工；及 記錄機構，係將於前述多工機構業已多工之多工資 料記錄於記錄媒體； 10 前述編碼機構將前述延遲量限制在預定之值以 下，並將就在第1存取單位之後解碼之第2存取單位中最 先解碼之圖像設為立即解碼器更新(IDR)圖像。 15 50

Claims (1)

  1. 200952462 七、申請專利範圓·· ^二種多卫裝置’係可使1個或複數個編碼流與其他資訊 起多工者’前述編碼流係於每個可隨機存取的存取單 4中含複數業經編碼之圖像而構成，且該多工裝置包 含有： 編碼機構，係生成前述i個或複數個編碼流，以於 連續將前述！個或複數個編碼流包含之前述存取單位中
    t意2個存取單位解碼時，於前述2個存取單位之各存取 早位，使解碼卿在前頭之圖像解碼後至㈣順序在前 頭之圖像顯示為止的延遲量為相等的狀態下，在前述2 存取單位之連接_示之时間不產生間隙及重 者；及 夕機構係將包含顯示是否可將前述2個存取單 位無縫連接之旗標的前述其他資訊’與前述編碼機構所 生成之1個或複數個編碼流予以多工者； 且剛述編碼機構將前述延遲量限制在預定之值以
    下’並將就在第哈取單位之後解碼之第2存取單位中最 2先解碼之圖像設為立即解碼器更新即幻圖像。 種多工方法，係可使1個或複數個編碼流與其他資訊 起多工者’則述編碼流係於每個可隨機存取的存取單 位中包含複數業經編碼之圖像而構成城多工方法包 含· 46 200952462 ' 解碼時，於前述2個存取單位之各存取單位，使解碼順 k 序在前頭之圖像解碼後至顯示順序在前頭之圖像顯示 為止的延遲量為相等的狀態下，在前述2個存取單位之 連接點顯示之圖像間不產生間隙及重叠；及 5 多工步驟，係將包含顯示是否可將前述2個存取單 位無縫連接之旗標的前述其他資訊，與前述編碼步驟所 生成之1個或複數個編碼流予以多工； 0 前述編碼步驟將前述延遲量限制在預定之值以 下，並將就在第1存取單位之後解碼之第2存取單位中最 10 先解碼之圖像設為立即解碼器更新(IDR)圖像。 3. —種反多工裝置，係可將多工資料予以反多工者，包含 有： 旗標分離機構，係可從多工資料分離旗標，該多工 資料包含有：於每個可隨機存取的存取單位中包含複數 15 業經編碼之圖像而構成之1個或複數個編碼流，與於連 〇 續將前述存取單位中任意2個存取單位解碼時，包含顯 示是否可將前述2個存取單位無縫連接之旗標的其他資 訊者； 決定機構，係於業經前述旗標分離機構分離之旗標 20 顯示可將前述2個存取單位無缝連接時，依據解碼延遲 決定再生前述2個存取單位者，前述解碼延遲顯示最先 再生之存取單位中最先解碼之圖像的解碼時刻，與前述 最先再生之存取單位中最先顯示之圖像的顯示時刻之 差分，；及 47 200952462 再生機構，係利用前述解碼延遲而連續將前述2個 存取單位解碼並再生者； 前述解碼延遲限制於預定之值以下，且就在第1；^ 取單位之後解碼之第2存取單位中最先解碼之圖像為立 即解碼器更新(IDR)圖像。 4·—種反多工方法’係可將多工資料予以反多工者包 含： I 旗標分離步驟，係可從多工資料分離旗標，該多工 資料包含有：於每個可隨機存取的存取單位中包含複數 業經編碼之圖像而構成之1個或複數個編碼流、與於連 續將前述存取單位中任意2個存取單位解碼時，包含顯 不是否可將前述2個存取單位無縫連接之旗標的其他資 訊； 決定步驟，係於業經前述旗標分離步驟分離之旗標 顯示可將前述2個存取單位無縫連接時，依據解碼延遲 決定再生前述2個存取單位，前述解碼延遲顯示最先再 生之存取單位中最先解碼之圖像的解碼時刻、與前述最 先再生之存取單位中最先顯示之圖像的顯示時刻之差 分；及 再生步驟，係利用前述解碼延遲而連續將前述2個 存取單位解碼並再生； 前述解碼延遲限制於預定之值以下，且就在第1存 取單位之後解碼之第2存取單位中最先解碼之圖像為立 即解碼器更新(IDR)圖像。 48 200952462 5.種對„己錄媒體§己錄之記錄方法，係可將^個或複數個 ^ 、編碼^與其㈣訊業經多卫之資料記錄於記錄媒體 者，前述編碼流係於每個可隨機存取的存取單位中包含 複數業經編碼之圖像而構成，且該記錄方法包含： 編碼步驟’係生成編碼流，以於連續將前述！個或 複數個編碼流包含之前述麵單位中㈣2個存取單位 解碼^於前述2個存取單位之各存取單位，使解碼順 〇 彳在前頭之圖像解碼後至顯示順序在前頭之圖像顯示 為止的延遲量為相等的狀態下，在前述2個存取單位之 10 連接點顯示之圖像間不產生間隙及重叠； 夕工步驟，係將包含顯示是否可將前述2個存取單 位無縫連接之旗標的前述其他資訊、與於前述編碼步驟 業已生成之1個或複數個編碼流予以多工；及 記錄步驟，係將於前述多工步驟業已多工之多工資 15 料記錄於記錄媒體； 〇 前述編碼步驟將前述延遲量限制在預定之值以 下，並將就在第1存取單位之後解碼之第2存取單位中最 先解碼之圖像設為立即解碼器更新(IDR)圖像。 6. 一種對記錄媒體記錄之記錄裝置，係可將〗個或複數個 2〇 編碼流與其他資訊業經多工之資料記錄於記錄媒體 者，該編碼流係於每個可隨機存取的存取單位中包含複 數業經編碼之圖像而構成，且該記錄裝置包含有： 編碼機構，係生成編碼流，以於連續將前述〗個或 複數個編碼流包含之前述存取單位中任意2個存取單位 49
TW98125210A 2004-06-02 2005-05-24 Seamless switching between random access units multiplexed in a multi angle view multimedia stream TW200952462A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004165030 2004-06-02

Publications (2)

Publication Number Publication Date
TW200952462A true TW200952462A (en) 2009-12-16
TWI324012B TWI324012B (zh) 2010-04-21

Family

ID=34971924

Family Applications (3)

Application Number Title Priority Date Filing Date
TW98125210A TW200952462A (en) 2004-06-02 2005-05-24 Seamless switching between random access units multiplexed in a multi angle view multimedia stream
TW97118474A TW200845724A (en) 2004-06-02 2005-05-24 Multiplexing apparatus and demultiplexing apparatus
TW094116866A TW200603614A (en) 2004-06-02 2005-05-24 Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW97118474A TW200845724A (en) 2004-06-02 2005-05-24 Multiplexing apparatus and demultiplexing apparatus
TW094116866A TW200603614A (en) 2004-06-02 2005-05-24 Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Country Status (12)

Country Link
US (4) US7526031B2 (zh)
EP (5) EP2180712A3 (zh)
JP (4) JP4071812B2 (zh)
KR (5) KR101097659B1 (zh)
CN (6) CN101594541B (zh)
AT (2) ATE469511T1 (zh)
CA (1) CA2555700C (zh)
DE (2) DE602005021563D1 (zh)
ES (2) ES2328714T3 (zh)
PL (1) PL2051532T3 (zh)
TW (3) TW200952462A (zh)
WO (1) WO2005120078A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2207183T3 (pl) * 2004-04-28 2012-09-28 Panasonic Corp Urządzenie do generowania strumienia ruchomego obrazu, urządzenie do kodowania ruchomego obrazu, urządzenie do multipleksowania ruchomego obrazu oraz urządzenie do dekodowania ruchomego obrazu
TW200952462A (en) * 2004-06-02 2009-12-16 Panasonic Corp Seamless switching between random access units multiplexed in a multi angle view multimedia stream
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
JP4494293B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494292B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494295B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494291B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494294B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP4889836B1 (ja) 2010-08-18 2012-03-07 パナソニック株式会社 ３ｄ符号化装置
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
JP5795525B2 (ja) * 2011-12-13 2015-10-14 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9578372B2 (en) * 2013-09-27 2017-02-21 Cisco Technology, Inc. Delay tolerant decoder
JP2015226305A (ja) * 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置
US9984653B1 (en) * 2015-02-11 2018-05-29 Synaptics Incorporated Method and device for reducing video latency
US10861435B2 (en) 2016-03-25 2020-12-08 Sharp Kabushiki Kaisha Systems and methods for signaling of information associated with audio content
JP6879344B2 (ja) * 2019-08-22 2021-06-02 三菱電機株式会社 復号装置
JP6825075B2 (ja) * 2019-12-27 2021-02-03 三菱電機株式会社 復号装置
JP7003308B2 (ja) * 2021-01-13 2022-01-20 三菱電機株式会社 復号装置
KR20220104326A (ko) 2021-01-18 2022-07-26 경상국립대학교산학협력단 박판 시편의 파괴 인성 평가 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996033573A1 (en) 1995-04-21 1996-10-24 Sony Corporation Device and method for coding moving image
JPH0927956A (ja) 1995-07-11 1997-01-28 Sony Corp 画像信号符号化方法及び画像信号符号化装置
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
JP4161379B2 (ja) 1996-04-12 2008-10-08 ソニー株式会社 復号装置および復号方法
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
KR100555164B1 (ko) * 1997-07-25 2006-03-03 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법
US6049569A (en) * 1997-12-09 2000-04-11 Philips Electronics N.A. Corporation Method and apparatus for encoding digital video bit streams with seamless splice points and method and apparatus for splicing such digital video bit streams
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP3837889B2 (ja) 1997-12-29 2006-10-25 ソニー株式会社 エンコード方法およびエンコード装置
JP4193224B2 (ja) 1998-02-18 2008-12-10 ソニー株式会社 動画像符号化装置及び方法並びに動画像復号装置及び方法
US6091776A (en) * 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
EP1034656A2 (en) * 1998-06-11 2000-09-13 Koninklijke Philips Electronics N.V. Trick play signal generation for a digital video recorder
US6252873B1 (en) * 1998-06-17 2001-06-26 Gregory O. Vines Method of ensuring a smooth transition between MPEG-2 transport streams
WO2000001160A2 (en) * 1998-06-29 2000-01-06 Limt Technology Ab Method and apparatus for splicing data streams
MXPA01000974A (es) * 1998-09-16 2002-06-04 Actv Inc Sistema de conmutacion de video sin restriccion de datos digitales comprimidos.
CN1110205C (zh) * 1998-12-15 2003-05-28 国家科学技术委员会高技术研究发展中心 并行解码的数字信源解码器
WO2000049803A1 (fr) * 1999-02-18 2000-08-24 Kabushiki Kaisha Toshiba Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes
US7088911B2 (en) * 2000-04-26 2006-08-08 Sony Corporation Recording apparatus and method, playback apparatus and method, and recording medium therefor
US8559797B2 (en) * 2000-10-10 2013-10-15 Broadcom Corporation System and method for personal video recording
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
CZ20031749A3 (cs) * 2001-01-16 2004-01-14 Matsushita Electric Industrial Co., Ltd. Médium pro záznam dat, zařízení pro záznam dat a způsob záznamu dat
JP3820155B2 (ja) 2001-01-16 2006-09-13 松下電器産業株式会社 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
US20030206596A1 (en) * 2002-05-03 2003-11-06 David Carver Multimedia content assembly
WO2004004357A1 (ja) * 2002-06-28 2004-01-08 Matsushita Electric Industrial Co., Ltd. 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP2004088736A (ja) 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
CN100533990C (zh) * 2002-08-21 2009-08-26 广州广晟数码技术有限公司 用于对多声道数字音频信号进行压缩编码的编码器
WO2004036579A1 (en) * 2002-10-15 2004-04-29 Samsung Electronics Co., Ltd. Information storage medium with data structure for multi-angle and apparatus therefor
JP2004165030A (ja) 2002-11-14 2004-06-10 Toyota Motor Corp 燃料電池
TW200952462A (en) * 2004-06-02 2009-12-16 Panasonic Corp Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Also Published As

Publication number Publication date
US20100046638A1 (en) 2010-02-25
EP2180712A2 (en) 2010-04-28
CN101707720A (zh) 2010-05-12
CA2555700A1 (en) 2005-12-15
JP2008301532A (ja) 2008-12-11
TWI324012B (zh) 2010-04-21
CN101707702B (zh) 2013-01-23
EP2180711A2 (en) 2010-04-28
EP1751988B1 (en) 2009-08-26
WO2005120078A1 (en) 2005-12-15
TW200845724A (en) 2008-11-16
CN101707702A (zh) 2010-05-12
ES2342448T3 (es) 2010-07-06
ATE469511T1 (de) 2010-06-15
KR20070026381A (ko) 2007-03-08
EP1751988A1 (en) 2007-02-14
KR101097598B1 (ko) 2011-12-22
JP2007336578A (ja) 2007-12-27
CN101594530A (zh) 2009-12-02
KR20100035719A (ko) 2010-04-06
JP2008502170A (ja) 2008-01-24
EP2051532B1 (en) 2010-05-26
CN101707703B (zh) 2013-11-06
US7856062B2 (en) 2010-12-21
JP4071812B2 (ja) 2008-04-02
JP4211947B2 (ja) 2009-01-21
US7526031B2 (en) 2009-04-28
CN100534199C (zh) 2009-08-26
US20100021139A1 (en) 2010-01-28
CN101707703A (zh) 2010-05-12
EP2180713A2 (en) 2010-04-28
DE602005016242D1 (de) 2009-10-08
KR101108423B1 (ko) 2012-01-30
EP2051532A1 (en) 2009-04-22
KR20100033443A (ko) 2010-03-29
US20090180758A1 (en) 2009-07-16
ES2328714T3 (es) 2009-11-17
TW200603614A (en) 2006-01-16
ATE441288T1 (de) 2009-09-15
JP4790776B2 (ja) 2011-10-12
KR20100033444A (ko) 2010-03-29
KR20100035720A (ko) 2010-04-06
EP2180712A3 (en) 2012-03-21
US8411759B2 (en) 2013-04-02
TWI323123B (zh) 2010-04-01
JP2008228354A (ja) 2008-09-25
CN101594541B (zh) 2011-08-03
KR101108350B1 (ko) 2012-01-25
KR101097659B1 (ko) 2011-12-22
PL2051532T3 (pl) 2010-10-29
US20070171976A1 (en) 2007-07-26
KR101158948B1 (ko) 2012-06-21
CN1965588A (zh) 2007-05-16
EP2180713A3 (en) 2012-03-21
DE602005021563D1 (de) 2010-07-08
CA2555700C (en) 2014-01-07
EP2180711A3 (en) 2012-03-21
CN101594530B (zh) 2011-08-03
CN101707720B (zh) 2013-01-23
CN101594541A (zh) 2009-12-02
TWI323602B (zh) 2010-04-11

Similar Documents

Publication Publication Date Title
TWI323602B (zh)
JP4212000B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2006050192A (ja) 多重化方法、情報記録媒体、およびデータ再生方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees