TWI395207B - 動畫串流產生裝置及方法、動畫解碼裝置及方法、在記錄媒體上記錄動畫串流之記錄方法及動畫解碼系統 - Google Patents
動畫串流產生裝置及方法、動畫解碼裝置及方法、在記錄媒體上記錄動畫串流之記錄方法及動畫解碼系統 Download PDFInfo
- Publication number
- TWI395207B TWI395207B TW98125882A TW98125882A TWI395207B TW I395207 B TWI395207 B TW I395207B TW 98125882 A TW98125882 A TW 98125882A TW 98125882 A TW98125882 A TW 98125882A TW I395207 B TWI395207 B TW I395207B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- picture
- information
- images
- random access
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 70
- 230000000153 supplemental effect Effects 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 83
- 238000007726 management method Methods 0.000 description 66
- 230000033001 locomotion Effects 0.000 description 29
- 239000013598 vector Substances 0.000 description 19
- 230000000694 effects Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 14
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 13
- 238000013139 quantization Methods 0.000 description 12
- 230000010365 information processing Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000037452 priming Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本發明係關於一種產生編碼動畫串流裝置以及其類似之裝置,尤其是關於一種產生串流之裝置及其類似裝置,而特技播放(例如,跳躍播放、變速播放、反向播放以及其類似者)可於其上被進行。
最近,多媒體時代已來到,其中聲音、圖像以及其他像素值被整合於一媒體,並且習見的資訊媒體,如類似於報紙、雜誌、TV、收音機以及電話的通訊工具被認為是多媒體目標。一般,多媒體不僅僅是一種文字,而同時也是圖示、聲音並且特別是圖像的同時表示之形式。為了處理上述之習見的資訊媒體為多媒體,需要數位地表示該資訊。
但是,直接數位地使用上述習見的資訊媒體以處理龐大數量的資訊是不切實際的,因為,當如數位資料量計算上述之各資訊媒體資料量時,每字元之資料量是1至2位元組而同時每秒聲音資料量是不少於64K位元(電話語音品質)且每秒動畫資料量是不少於100M位元(目前TV接收品質)。例如,由於64kbps至1.5Mbps發送速率的整合服務數位網路(ISDN),TV電話早已成為商業上實用,但是,仍不可能發送使用ISDN之TV攝影機之動畫。
那是為什麼資訊壓縮技術是必須的。例如,國際電信聯盟-電信標準化部門(ITU-T)推薦動畫壓縮技術標準H.261或H.263,以供使用於TV電話中。同時,使用MPEG-1標準之資訊壓縮技術,也可將影像資訊與聲音資訊一起儲存於一般之音樂CD(小型碟片)中。
此處,動畫專家團隊(MPEG)是數位地壓縮動畫信號之一國際標準,並且已被ISO/IEC(國際標準化機構/國際工程集團)所標準化。MPEG-1是一種標準,其壓縮動畫信號下至1.5Mbps,亦即,壓縮TV信號資訊至大約為百分之一。同時,滿足MPEG-1標準之品質是媒體位準,其可以大約為1.5Mbps之發送率而被實現。MPEG-2因此被標準化,以便滿足較高圖像品質的需要,並且其壓縮動畫信號為2至15Mbps。目前,工作團隊(ISO/IECJTC1/SC29/WG11),其將MPEG-1和MPEG-2標準化,已具有較高壓縮率的標準化MPEG-4。MPEG-4標準(i)達成較高於那些MPEG-1標準和MPEG-2標準的壓縮率,(ii)能夠依據物件接著物件方式而編碼、解碼且進行操作,並且(iii)實現這多媒體年代所必須的新功能。MPEG-4標準之啟始目的是標準化具有低位元率之圖像編碼方法,但是該目的被延伸至具有高位元率的交錯圖像之一般目的編碼方法。其後,ISO/IEC和ITU-T,組合地,將MPEG-4 AVC(先進視訊編碼)標準化作為具有高壓縮率之圖像下一代圖像編碼方法。這將預估地被使用於下一代光碟相關裝置中或用於機動式終端之廣播中。
一般,於動畫編碼中,資訊數量藉由減低時間和空間的冗餘量而被壓縮。於針對降低時間冗餘量的框間圖像預估編碼,移動估計以及預估圖像產生參考一前向圖像或一反向圖像而以區塊接區塊方式而被進行,且編碼被進行於該被獲得的預估圖像和該將被編碼的圖像之間的差量數值。在此,於此處被使用之“圖像”是代表一個圖像之稱呼。於一漸進式圖像中,一圖像表示一像框,但是於一交錯式圖像中,其表示一像框或一像場。上述之“交錯式圖像”表示一像框是由具有少量的時間遲滯量之二個像場所構成。於交錯式圖像之編碼和解碼處理程序中,可能處理如兩個像場之像框,或於像框中以各個區塊之像框接著像框方式或像場接著像場方式處理。
供用於進行框內預估編碼而不必參考任何參考圖像之圖像被稱為框內編碼圖像(I圖像)。同時,僅參考一組圖像以進行框間預估編碼之圖像被稱為預估性編碼圖像(P圖像)。同時,同時地參考二組參考圖像以進行框間預估編碼之圖像被稱為雙預估性編碼圖像(B圖像)。一組B圖像可參考顯示時二組被選擇作為之一前向圖像和一反向圖像的任意組合之圖像。此二組參考圖像可依據區塊接著區塊之方式被指定,該區塊是編碼和解碼之基本單元。那些參考圖像彼此如下所示地被區分:於編碼位元串流中早先所述之參考圖像被稱為第一參考圖像,且稍後所述之其他參考圖像被稱為第二參考圖像。注意到,此參考圖像必須已先前地被編碼或被解碼以便編碼或解碼P圖像和B圖像。
移動補償框間預估編碼被使用於P圖像和B圖像之編碼。移動補償框內預估編碼是移動補償被應用於其中之一種框內預估編碼方法。移動補償是利用估計各圖像區塊之移動數量(之後被稱為移動向量)以及利用考慮到該移動向量而進行預估編碼以改善預估精確性且降低資料量之方法。例如,資料量藉由估計將被編碼之圖像的移動向量以及藉由編碼在被移位各移動向量數量的各預估數值和各目前將被編碼之圖像之間的各預估殘餘值而被降低。於這方法之情況中,因為移動向量資訊是解碼所需要的,移動向量同時也被編碼,且被記錄或被發送。
移動向量依據巨區塊接巨區塊之方式而被估計。更明確地說,移動向量藉由固定將被編碼之圖像的巨區塊、移動在搜尋範圍內之參考圖像巨區塊、以及尋得最接近標準區塊之參考區塊的位置而被估計。
第1A和1B圖分別地是習見MPEG-2串流之結構圖。如於第1B圖之展示,MPEG-2串流具有如同將於下面被說明之階級體系結構。一串流是由一圖像族群(之後被稱為GOP)所構成。於編碼處理中使用GOP作為基本單元使得能夠編輯一動畫或進行一隨機存取。一GOP是由I圖像、P圖像以及B圖像所構成。一串流,一GOP以及一圖像進一步地包含指示單元邊界之同步信號(sync)以及指示共用於該單元中之資料的檔頭,該等單元於此處分別地是一串流、一GOP以及一圖像。
第2A和2B圖分別地展示指示如何進行被使用於MPEG-2中之框間圖像預估編碼的範例。圖形中對角陰影圖像是將被其他圖像所參考的那些圖像。如第2A圖之展示,於MPEG-2之預估編碼中,P圖像(P0、P6、P9、P12以及P15)可參考僅一個別的圖像,其被選擇以作為顯示時之一即時地前向I圖像或P圖像。同時,B圖像(B1、B2、B4、B5、B7、B8、B10、B11、B13、B14、B16、B17、B19、以及B20)可參考二組圖像,其被選擇以作為一即時地前向I圖像或P圖像以及一即時地反向I圖像或P圖像之組合。進一步地,將被安置於串流中之圖像順序被決定。I圖像和一P圖像以顯示時間順序被安置,並且各B圖像即時地被安置在將即時地在B圖像之後或即時地在一P圖像之後被顯示之一I圖像之後。如一GOP結構範例,如第2B圖之展示,自I3至B14之圖像被群集成為一個別的GOP。
第3A圖是一MPEG-4 AVC串流之結構圖。沒有等於MPEG-4 AVC中之一GOP的概念。但是,因為可依據一可被解碼之特別圖像而不必依據其他圖像利用切割資料而構成等於一GOP之隨機可存取單元,之後該單元將被稱為RAU(隨機存取單元)。換言之,一隨機存取單元RAU是一編碼圖像族群,其開始於可被解碼之一框內編碼圖像而不必取決於任何圖像。
接著,下面將說明存取單元,其是處理一串流之一基本單元(之後將簡單地被稱為AU)。AU是用以儲存等於一個圖像之編碼資料的單元,並且包含一參數集PS、分切資料以及其類似者。有二種型式之參數集PS。其中之一是圖像參數集PPS(此後簡單地被稱為PPS),其是等於各圖像檔頭之資料。另一者是序列參數集SPS(此後簡單地被稱為SPS),其是等於被包含於GOP之一單元中或更多的MPEG-2中之檔頭。一SPS包含最大數量的參考圖像、圖像大小以及其類似者。另一方面,一PPS包含一可變長度編碼型式、量化步驟之啟始數值、參考圖像數量以及其類似者。各個圖像被指定一確認符,指示上述之PPS和SPS何者被參考。同時,一像框數目FN是一辨識數目,其用以辨識被包含於分切資料中之圖像。注意到,一序列開始於一特別的圖像,在其中解碼需要的所有狀態被重置,將如下面之說明,並且其是由一群圖像所構成,該群圖像開始於一特別的圖像並且結束於被安置在即時地下一個特別圖像之前的一圖像。
於MPEG-4AVC中有二種型式之I圖像。它們是即時解碼器更新(IDR)以及其餘者。一IDR圖像是一種I圖像,其可依解碼順序解碼在IDR圖像之後被安置的所有圖像,而不必參考依解碼順序在IDR圖像之前被安置的圖像,換言之,其是一種I圖像,在其中解碼所需的狀態被重置。一IDR圖像對應至MPEG-2相關之GOP的頂部I圖像。MPEG-4AVC中之一序列開始於一IDR圖像。於I圖像不是一IDR圖像之情況中,依解碼順序被安置在I圖像之後的一圖像可能相關於依解碼順序被安置在I圖像之前的圖像。該分別的圖像型式將在下面被定義。一IDR圖像和一I圖像是僅由I分切圖像所構成之圖像。一P圖像是可以由P分切圖像和I分切圖像所構成之圖像。一B圖像是可以由B分切圖像、P分切圖像以及I分切圖像所構成之圖像。注意到,一IDR圖像之分切圖像被儲存於一NAL單元中,其型式是不同於其中非IDR圖像之分切圖像被儲存的NAL單元。此處,一NAL單元是一子圖像單兀。
於MPEG-4 AVC之一AU中,不僅是包含用於解碼所需之資料,同時也包含AU之增補資訊及邊緣資訊。此增補資訊被稱為增補強化資訊(SEI),並且其不是用於解碼分切資料之所需。所有的資料,例如,一參數集PS、分切資料、一SEI皆被儲存於網路提取層(NAL)單元中,亦即,NALU。一NAL單元是由一檔頭和一酬載所構成。一檔頭包含一個欄,其指示將被儲存之資料型式(此後稱為NAL單元型式)。NAL單元型式數值分別地對於資料型式,例如,一分切資料或一SEI而被定義。參考此NAL單元型式數值使能夠辨識將被儲存於NAL單元中之資料型式。NAL單元檔頭包含被稱為nal_ref_idc之欄。一nal_ref_idc欄被定義為一個2-位元欄並且依據NAL單元型式而採用0、1或更多之數值。例如,一SPS或PPS之NAL單元採用1或更多之數值。於此一分切之NAL單元情況中,供其他分切參考之一分切採用1或更多之數值,而不供參考之分切則採用0之數值。同時,SEI之NAL單元也經常採用0之數值。
一個或多個SEI訊息可被儲存於一SEI之NAL單元中。一SEI訊息是由一檔頭和一酬載所構成,並且將被儲存於該酬載中之資訊的型式藉由該檔頭中指示之一SEI訊息的型式而被辨識。此後,解碼一AU意指解碼一AU中之分切資料,並且顯示一AU意指顯示該AU中其分切資料之解碼結果。
此處,因為一NAL單元不包含用以辨識一NAL單元邊緣之資訊,可能在儲存一NAL單元之時增加邊緣資訊至各NAL單元之頂部作為一AU。當處理一MPEG-2傳輸串流(TS)或一MPEG-2節目串流(PS)中之一MPEG-4 AVC串流時,如所展示之3位元組的0x000001開始編碼前綴被添加至一NAL單元頂部。同時,也定義指示一AU邊緣之一NAL單元必須被塞進入一MPEG-2 TS或PS中之一AU頂部,此一AU被稱為存取單元定界符號。
習見地,各種類似於這相關動畫編碼之技術已經被提出(例如,參看專利文件1)。
專利文件1:日本公開專利序號2003-18549公告案。
第4圖是習見之動畫編碼裝置的方塊圖。
動畫編碼裝置1是一種裝置,其輸出一編碼串流Str,該串流Str,經由壓縮編碼,藉由轉換一將被輸入之輸入視訊信號Vin成為一可變長度編碼串流或其類似者之位元串流而被獲得。該動畫編碼裝置包含一預估結構決定單元PTYPE、一移動向量估計單元ME、一移動補償單元MC、一減算單元Sub、一正交轉換單元T、一量化單元Q、一反向量化單元IQ、一反向正交轉換單元IT、一加算單元Add、一圖像記憶體PicMem、一開關以及一可變長度編碼單元VLC。
輸入視訊信號Vin被輸進入減算單元Sub以及該移動向量估計單元ME。該減算單元Sub計算在該被輸入之輸入視訊信號Vin和預估圖像之間的差量數值,並且將其輸出至該正交轉換單元。該正交轉換單元T轉換該差量數值成為頻率係數,並且將其輸出至量化單元Q。該量化單元Q進行關於該被輸入之頻率係數的量化,並且輸出一量化數值Qcoef至該可變長度編碼單元。
反向量化單元IQ進行關於該量化數值Qcoef之反向量化以重建該頻率係數,並且將其輸出至該反向正交轉換單元IT。該反向正交轉換單元IT進行反向頻率轉換以轉換該頻率係數成為一像素差量數值,並且將其輸出至加算單元Add。該加算單元Add添加該像素差量數值至將自該移動補償單元MC被輸出之預估圖像以產生一被解碼之圖像。當該被解碼圖像之儲存被指示時,該開關SW被導通,並且該被解碼之圖像被儲存於該圖像記憶體PicMem中。
另一方面,該移動向量估計單元ME,於其中一輸入視訊信號Vin依據巨區塊接著巨區塊方式被輸入,搜尋被儲存於圖像記憶體PicMem中之該被解碼之圖像,並且估計最接近該輸入圖像信號之圖像區域,且因此決定指示該位置之移動向量MV。移動向量估計依據區塊接著區塊方式被進行,該區塊是一巨區塊之被分割部份。因為多數圖像可在這時被使用作為參考圖像,用以依據區塊接著區塊方式而指定將供參考之圖像的辨識數目(相對指標)是所需要的。其可能藉由計算被相對指標所指示之圖像數目而指定參考圖像,此圖像數目被指定至圖像記憶體PicMem之分別圖像中。
移動補償單元MC自被儲存於該圖像記憶體PicMem中之被解碼圖像選擇圖像區域,其是最佳之預估圖像。
預估結構決定單元Ptype指示該移動向量估計單元ME以及該於其中一隨機存取單元開始圖像RAUin指示該隨機存取單元RAU開始於目前圖像之情況中,移動補償單元MC以使用其圖像型式Ptype而如可隨機地存取之特別圖像的目標圖像上進行框內圖像編碼,並且指示該可變長度編碼單元VLC編碼該圖像型式Ptype。
可變長度編碼單元VLC依量化數值Qcoef、該相對指標Index、該圖像型式Ptype以及該移動向量MV以進行可變長度編碼而產生一編碼串流Str。
第5圖是習見的動畫解碼裝置2之方塊圖。這動畫解碼裝置2包含一可變長度解碼單元VLD、一圖像記憶體PicMem、一移動補償單元MC、一加算單元Add、一反向正交轉換單元IT以及一反向量化單元IQ。應注意到,於圖形中,這些處理單元,其進行相同於如第4圖展示之方塊圖的習見動畫編碼裝置中那些處理單元之操作,將被指定相同參考數目,並且它們之說明將被省略。
可變長度解碼單元VLD解碼一被編碼之串流Str,並且輸出量化數值Qcoef、相對指標Index、圖像型式Ptype以及移動向量MV。該量化數值Qcoef、該相對指標Index以及該移動向量MV分別地被輸進入圖像記憶體PicMem、移動補償單元MC以及反向量化單元IQ中,並且接著進行它們之解碼處理。此習見動畫編碼裝置之操作已使用第4圖方塊圖被說明。
隨機存取單元RAU展示解碼可被進行而開始於隨機存取單元中之頂部AU。但是,因習見的MPEG-4 AVC串流允許非常有彈性的預估結構,具有光碟或硬碟之儲存裝置不能在變速播放或反向播放時獲得用以決定將被解碼或被顯示之AU的資訊。
第6A和6B圖是AU之預估結構的範例。此處,一圖像被儲存於各AU中。第6A圖是被使用於一MPEG-2串流中之AU的預估結構。圖形中之對角陰影圖像是供其他AU參考的圖像。於MPEG-2中,P圖像(P4和P7)之AU可僅參考於被選擇作為顯示時即時地前向I圖像或P圖像之AU的個別AU而進行預估編碼。同時,B圖像(B1、B2、B3、B5以及B6)之AU也可僅參考被選擇作為顯示時即時地前向I圖像或P圖像以及即時地反向I圖像或P圖像之AU組合的二組AU而進行預估編碼。進一步地,將被安置於一串流中的圖像順序如下所示地被預定:一I圖像和P圖像之AU以顯示時間順序被安置;且各B圖像之AU即時地被安置在I圖像或即時地被安置在各B圖像之AU之後的該等P圖像之一圖像的AU之後。因此,解碼可以下面的三種方式被進行:(1)所有的圖像被解碼;(2)僅I圖像和P圖像之AU被解碼且被顯示;以及(3)僅I圖像之AU被解碼且被顯示。因此,下面三種型式的播放可容易地被進行,其使用:(1)正常播放,(2)媒體速度播放,以及(3)高速播放。
於MPEG-4 AVC中,其中B圖像之AU參考於B圖像之AU的預估可被進行。第6B圖是一MPEG-4 AVC串流中之預估結構範例,並且B圖像之AU(B1和B3)參考該B圖像之AU(B2)。於這範例中,下面四種解碼或顯示型式可被實現:(1)所有的圖像被解碼;(2)僅供參考之一I圖像、P圖像以及B圖像的AU被解碼且被顯示;(3)僅一I圖像和P圖像之AU被解碼且被顯示;(4)僅一I圖像之AU被解碼且被顯示。
此外,於該MPEG-4 AVC中,一P圖像之AU可參考B圖像之AU。如第7圖之展示,一P圖像(P7)之AU可參考B圖像之AU(B2)。於此情況中,一P圖像(P7)之AU可僅在B圖像之AU(B2)被解碼之後被解碼。因此,下面三種型式的解碼或顯示可被實現:(1)所有的圖像被解碼;(2)僅供參考之一I圖像、P圖像以及B圖像之AU被解碼且被顯示;(3)僅一I圖像之AU被解碼且被顯示。
以此方式,因各種預估結構被允許於MPEG-4AVC中,分切資料之分析和預估結構之判斷必須被達成,以便了解在AU之間的參考關係。這必須承受一個問題,將被解碼或被顯示之AU不能依據一法則被決定,該法則是依據在不同於MPEG-2情況中進行跳躍播放、變速播放以及反向播放時之播放速率而被預定的法則。
本發明之一目的是提供(i)一動畫串流產生裝置、一動畫編碼裝置以及一產生動畫串流之動畫多工裝置,該動畫串流可進行特技播放,例如,跳躍播放、變速播放以及反向播放,即使在類似於允許彈性預估結構之MPEG-4 AVC的編碼方法情況中亦然,以及(ii)一動畫解碼裝置和解碼此動畫串流之類似裝置。
為了達成上面說明之目的,本發明動畫串流產生裝置,產生包含構成一動畫之圖像的串流。該裝置包含:一增補資訊產生單元,其可操作以於一隨機存取單元基礎上,而產生在各隨機存取單元播放時供參考之增補資訊,各個隨機存取單元包含一個或多個圖像;以及一串流產生單元,其藉由添加該增補資訊至各對應的隨機存取單元而產生包含該被產生之增補資訊和該等圖像之串流。在各個隨機存取單元之頂部,安置一個不必依據任何圖像而被解碼之框內編碼圖像,並且該增補資訊包含當被包含於各隨機存取單元中之圖像以特技播放被重播時指定將被解碼之圖像的資訊。以此方式,在特技播放被進行於被包含於隨機存取單元中的圖像之情況中,各個隨機存取單元RAU包含指定將被解碼之圖像的資訊。參考在播放時之增補資訊使其可能立即決定特技播放所需要的圖像,而不必分析一複雜之預估結構。因此,可能進行特技播放,例如,變速播放以及反向播放,即使在類似於各種預估結構被允許的MPEG-4 AVC之編碼方法的情況中亦然。
此處,於本發明第一論點中,在動畫串流產生裝置中,特技播放包含下列各項之至少一項:跳躍播放;變速播放;以及反向播放。同時,於本發明第二論點中,在動畫串流產生裝置中,各圖像是由子圖像單元所構成,並且用以儲存該增補資訊進入第一子圖像單元之串流產生單元是不同於用以儲存各圖像之像素數值的第二子圖像單元。此時,於本發明第三論點中,最好是,於該動畫串流產生裝置中,各個隨機存取單元是一個或多個圖像,並且該串流產生單元儲存該增補資訊進入被包含於各個隨機存取單元之頂部圖像中。
注意到,於本發明第四論點中,在動畫串流產生裝置中,該增補資訊可包含指定以特定速率在各個隨機存取單元之播放時將被解碼之圖像的資訊。於本發明第四論點中,在動畫串流產生裝置中,該增補資訊可包含指示依據被重播之各隨機存取單元之圖像優先順序資訊。於本發明第四論點中,在動畫串流產生裝置中,該增補資訊可包含指示所有被包含於各個隨機存取單元中的圖像之圖像型式的資訊片段,該資訊片段以對應於圖像解碼順序之順序被置放。此處,於本發明第七論點中,在動畫串流產生裝置中,圖像型式包含:一I圖像,於其中框內編碼被進行;一P圖像,於其中框間編碼參考每區塊之一圖像而被進行,該區塊是編碼時的基本單元;一參考B圖像,於其中框間編碼參考每區塊之二圖像而被進行,該區塊是編碼時的基本單元,並且該參考B圖像是供另一圖像參考之圖像;以及一非參考B圖像,於其中框間編碼參考每區塊之二圖像而被進行,該區塊是編碼時的基本單元,並且該非參考B圖像是不供另一圖像所參考之圖像。
同時,於本發明第四論點中,於該動畫串流產生裝置中,該增補資訊也可包含指示被包含於各個隨機存取單元中所有圖像之圖像結構型式之資訊片段,該資訊片段以對應於圖像解碼順序之順序而被置放。此處,至少一像場結構和一像框結構被包含於各個圖像結構中。此外,於一圖像具有一像框結構之情況中,指示該圖像是否具有等於二個圖像之一顯示像場或該圖像是否具有等於三個圖像之一顯示像場的資訊可被包含於各該等圖像結構型式中。
同時,於本發明第十論點中,於該動畫串流產生裝置中,該圖像結構型式也可進一步地包含,於該圖像具有一像框結構之情況中,具有指示資訊之一像框結構,其中該資訊指示一圖像是否具有等於二個圖像之一顯示像場或該圖像是否具有等於三個圖像之一顯示像場。更明確地說,於本發明第一論點中,該動畫串流產生裝置可進一步地包含一序列參數集加算單元,其用以添加關於一個或多個圖像之一群參數的序列參數集至各個隨機存取單元中,於該裝置中,該序列開始於一特別圖像,在其中解碼所需的所有狀態被重置,並且結束於即時地被安置在下一個特別圖像之前的一圖像。以此方式,一序列參數集不僅可展示序列資訊,但同時也可被使用作為隨機存取單元之邊緣資訊。此處,一序列開始於一特別圖像,在其中解碼所需的所有狀態被重置,並且其是由多個圖像所構成,其是開始於一特別的圖像且結束於即時地被安置在下一個特別圖像之前的圖像。
注意到,本發明不僅可被實現為上述之動畫串流產生裝置,同時也可被實現為具有除了下列這些單元之外的編碼單元之動畫編碼裝置,這些單元如將一被編碼之串流封包化且將該被編碼之串流與增補資訊一起多工化的一動畫多工裝置,以及如一動畫解碼裝置,其解碼此一被編碼之串流且進行該被編碼之串流的特技播放。進一步地,本發明同時也可被實現如包含分別地對應至上述說明之各裝置中的處理單元之步驟的方法,如一將被電腦執行之程式,如藉由動畫串流產生裝置而被產生之一資料串流,如記錄媒體,例如,電腦-可讀取CD-ROM,並且進一步地,如半導體IC,例如,LSI。
如本發明上述之論點,將在特技播放時,例如,變速播放和反向播放,被解碼之AU,可藉由參考於隨機存取單元RAU之頂部AU中一特定NAL單元而被決定。因此,一具有傑出特技播放功能之動畫解碼裝置可容易地被實現,並且因此本發明是非常實用的。
關於建檔於2004年4月28日之日本專利申請序號2004-134212案的揭示,其所包含之說明、圖形以及申請專利範圍將整體地配合此處以為參考。
建檔於2004年6月2日之日本專利申請序號2004-165005案的揭示,其所包含之說明、圖形以及申請專利範圍將整體地配合此處以為參考。
建檔於2004年8月31日之日本專利申請序號2004-251871案的揭示,其所包含之說明、圖形以及申請專利範圍將整體地配合此處以為參考。
本發明這些以及其他目的、優點和特點將配合下面展示本發明特定實施例之相關附圖的說明而成為更明顯。於圖形中:
第1A和1B圖是分別地展示背景技術之MPEG-2串流結構的圖形;
第2A和2B圖是分別地展示背景技術之MPEG-2 GOP結構的圖形;
第3A和3B圖是分別地展示背景技術之MPEG-4串流結構的圖形;
第4圖是展示習見編碼裝置結構之方塊圖;
第5圖是展示習見解碼裝置結構之方塊圖;
第6A和6B圖是分別地展示習見MPEG-4 AVC串流之預估結構範例的圖形;
第7圖是展示習見MPEG-4 AVC串流之另一預估結構範例的圖形;
第8A和8B圖是分別地展示MPEG-4 AVC串流結構之圖形;
第9A至9D圖是展示隨機存取單元RAU中將被解碼之AU的第一範例圖形;
第10A至10D圖是展示隨機存取單元RAU中將被解碼之AU的第二範例圖形;
第11A至11C圖是展示隨機存取單元RAU中將被解碼之AU的第三範例圖形;
第12A至12F圖是展示指定在隨機存取單元RAU中將被解碼之AU的方法之範例圖形;
第13A圖是展示一指示變速播放資訊的列表之語法範例圖形,且第13B圖是展示一資料儲存單元之圖形;
第14圖是指示變速播放資訊之列表的延伸範例圖形;
第15A至15C圖是展示隨機存取單元RAU中I圖像和P圖像的AU作為變速播放資訊之範例圖形;
第16A至16C圖是在使用AU之優先順序作為變速播放資訊時其中緩衝器延遲時間被使用作為優先順序指示器之範例圖形;
第17A和17B圖是分別地展示共存於分別的RAU中之像框結構AU和像場結構AU的範例之圖形;第17C圖是一種圖形,其展示RAU中各AU之結構之第一映圖(RAU_map1)的語法範例;第17D圖是一種圖形,其展示第17B圖之RAU的RAU_map1;第17E圖是一種圖形,其展示關於第17B圖之隨機存取單元RAU的RAU_map;第17F圖是一種圖形,其展示一像場組對之各個像框或各個圖像的編碼型式之第二映圖(RAU_map2)之語法範例;
第18A圖至第18C圖是展示另一映圖範例作為播放資訊之圖形;
第19圖是用以指示隨機存取單元RAU中邊緣資訊之方法的圖形;
第20A圖和第20B圖是展示隨機存取單元RAU中之圖像的預估結構範例之圖形;
第21圖是展示本發明之動畫編碼裝置結構的方塊圖;
第22圖是一動畫編碼方法之流程圖;
第23圖是展示本發明一動畫多工裝置結構之方塊圖;
第24A圖和第24B圖是展示支援資訊HLP範例內容之圖形;
第25圖是展示一NAL單元範例之圖形,於其中,特技播放資訊被儲存於該支援資訊HLP中;
第26圖是展示動畫多工裝置操作之流程圖;
第27圖是展示本發明動畫解碼裝置結構之方塊圖;
第28圖是習見圖像解碼方法的流程圖;
第29圖是決定將以本發明動畫解碼方法被解碼之AU的流程圖;
第30圖是一種流程圖,其展示在將被解碼之AU不匹配於將以本發明動畫解碼方法被顯示之AU的情況中所被進行之處理;
第31圖是展示HD-DVD之資料階系的圖形;
第32圖是HD-DVD上之邏輯空間的結構圖;
第33圖是VOB資訊檔案之結構圖;
第34圖是時間映圖之圖形;
第35圖是播放列表檔案之結構圖;
第36圖是對應於播放列表之程式檔案的結構圖;
第37圖是展示整體BD碟片之管理資訊檔案的結構圖;
第38圖是用以記錄一廣域事件處理器之檔案的結構圖;
第39圖是展示HD-DVD播放器概要之方塊圖;以及
第40A至40C圖之圖形展示用以儲存實現本發明動畫編碼方法和動畫解碼方法之程式的記錄媒體。
下面將參考圖形而說明本發明之實施例。
首先,藉由本發明之動畫串流產生裝置、動畫編碼裝置以及動畫多工裝置而產生之AVC串流結構,換言之,將被輸入本發明動畫解碼裝置中之AVC串流,將被說明。
第8A圖和第8B圖分別地展示本發明AVC串流結構。注意到,將被添加至NAL單元頂部之邊緣資訊未被展示於圖形中。該AVC串流不同於被添加特技播放資訊之習見的AVC串流,該特技播放資訊指示將在特技播放(例如,跳躍播放、變速播放以及反向播放)時被解碼之AU。該特技播放資訊被儲存於用以儲存播放資訊之NAL單元中(第8A圖)。於MPEG-4 AVC中,在將被儲存資訊以及特定NAL單元之NAL單元型式之間的關係可藉由應用而被設定。更明確地說,數值0和24至31可被使用,並且這些NAL單元型式被稱為使用者可設定之NAL單元型式。結果,特技播放資訊被儲存於具有此類使用者可設定NAL單元型式之NAL單元中。此處,在其中特定NAL單元型式被保留以便儲存除了特技播放資訊之外的資訊之情況中,不同於該NAL單元型式的NAL單元型式被指定至該特技播放資訊。該特技播放資訊之NAL單元被儲存於隨機存取單元RAU之頂部AU中。此一NAL單元即時地被安置在一PPS NAL單元之後,如果其呈現的話,在一AU中,但是其可能被安置於另一位置中,只要該順序滿足MPEG-4AVC或另一標準之需要。同時,於不可能詮釋特技播放資訊之NAL單元的情況中,NAL單元之資料也可被躍過並且自下一個NAL單元頂部而重新開始解碼。因此,即使不能詮釋特技播放資訊之NAL單元的終端機亦可進行解碼處理而不至於失效。
注意到,此一特技播放資訊之NAL單元可能不被包含於隨機存取單元RAU之頂部AU中,但是可被包含於另一AU中,例如,最後的AU中。同時,此特技播放資訊之一NAL單元也可被包含於構成一隨機存取單元RAU之各個AU中。
第9圖至第11圖展示在變速播放時將被解碼之AU的範例。第9A圖展示AU之顯示順序。此處,該對角陰影之AU是供其他AU參考的那些AU,並且箭號展示被參考之圖像。負的參考數目被指定至將在I0之前被顯示的AU,並且正的參考數目被指定至將在B15之後被顯示的AU。第9B圖展示第9A圖所展示之AU的解碼順序,並且I0至B11構成一隨機存取單元RAU。此時,I0、-B14、P4、B2、P8、P6、P12以及B10被解碼,以便進行雙倍速度播放(第9C圖),而同時I0、P4、P8以及P12被解碼,以便進行四倍速度播放(第9D圖)。第9C和9D圖展示具有一*符號之AU,其將在雙重速度播放和四倍速度播放之時被解碼,並且這些資訊片段被儲存於特技播放資訊之NAL單元中。於第10A圖至第10D圖之範例中,依解碼順序自I0至B11之圖像構成一隨機存取單元RAU。此處,I0、-B13、P3、B1、P6、B4、P9、B7、P12以及B10被解碼,以便進行1.5倍速度播放,而同時I0、P3、P6、P9和P12被解碼,以便進行三倍速度播放。同時,於第11A至11C圖之範例中,I0、P3、P6、P9以及P12也被解碼,以便進行三倍的速度播放。
此處,播放速率是不需要精確的,因為它們被說明作為播放速率之引導。例如,於第11C圖之範例中,於所有AU被展示如將以三倍速度播放時被解碼之AU的情況中,該速度是自表示式:16÷5中所被獲得的3.2倍速度,換言之,其不是精確地為三倍速度。同時,在M倍速度之播放時,於被展示為特技播放資訊之播放速率是超過M之最小數值是N的情況中,其也可能將需以N倍速度播放時被解碼之AU解碼,並且決定其餘的AU應該依據解碼裝置之製作而如何被解碼。同時,其也可能於播放速率是快的情況中,安排高優先順序於需要被解碼之AU,並且依據該優先順序而決定將被解碼之AU。
注意到,一些AU,在變速播放時將被解碼之AU之中,可能不被顯示。例如,第N個AU在雙重速度播放時被顯示,但是第M個AU則不被顯示。在此時,於其中需要解碼第M個AU以便解碼第N個AU之情況中,第M個AU在雙重速度播放時被解碼,但是不被顯示。
接著,將參考第12A至12F圖以說明指定將在變速播放時被解碼之AU的方法。第12A至12F圖展示如第9圖指定之於相同隨機存取單元RAU中將被解碼的AU之範例。如第12D圖之展示,I0、-B14、P4、B2、P8、P6、P12、B10在雙倍速度播放時被解碼。當以隨機存取單元RAU之頂部AU開始計數AU時,這些AU是第一、第二、第五、第六、第九、第十、第十三以及第十四個AU。以此方式,可能藉由展示隨機存取單元RAU中之AU序數而唯一地指定將在變速播放時被解碼之AU。一存取單元定界符號無疑地藉由MPEG-2輸送串流(TS)而在多工化一AVC串流之時被置放於AU頂部。當在變速播放時獲得將被解碼之AU資料時,該存取單元定界符號依序地被搜尋以了解AU邊界。這尋找處理方法消除分析NAL單元之酬載,例如,分切資料,之需求,並且因此其是更容易的。
注意到,藉由決定供其他AU(例如,一1圖像和P圖像之AU)所參考的AU(此被參考之AU被稱為參考AU)在變速播放時間被解碼以及藉由指定隨機存取單元RAU中參考AU之序數,可能指定將被解碼之AU。於第12B圖之隨機存取單元RAU中,如第12C圖之展示,I0、-B14、P4、B2、P8、P6、P12、B10是參考AU。同時,在雙倍速度播放時,I0、-B14、P4、B2、P8、P6、P12、B10也被解碼,但是當依參考AU順序指示這些AU時,它們對應於第一、第二、第三、第四、第五、第六、第七和第八參考AU,如第12F圖之展示。一AU是否為一參考AU可藉由參考至分切部分中NAL單元檔頭的一特定欄而被判定。更明確地說,於nal_ref_idc欄之數值不是0之情況中,則AU是一參考AU。注意到,將被解碼之一參考AU可以依據一像框數目被指定,因為可依據一像框數目而辨識一參考AU。
進一步地,可能藉由指定等於自隨機存取單元RAU之頂部AU的開始位置至將被解碼之AU的開始位置之位元組長度之偏移數值而指定將被解碼之AU。例如,於第12A至12F圖中,於其中I0開始於遠離串流頂部10000位元組之位置並且P4開始於遠離P4有20000位元組位置之情況中,則於P4之偏移數值是自表示式:20000-10000被獲得的10000位元組。於其中一多工化之串流被使用於一MPEG-2 TS之情況中,可能指定包含一TS封裝封包或一PES封裝封包(被封包化之基本串流)的檔頭經常資訊之一偏移數值,或可能在藉由利用應用而進行資料填塞之時而指定包含這些的偏移數值。同時,也可能藉由一像框數FN而指定一AU。
注意到,於使用於MPEG-2 TS中被多工化之串流的情況中,可能依據TS封包數而指定AU,其是自(i)用以儲存供辨識包含將被解碼之AU頂部資料或隨機存取單元RAU頂部資料的一TS封包之索引數目和位址資訊的TS封包至(ii)目前之TS封包。此處,可能使用被用於藍碟(BD)的記錄格式之來源封包而取代TS封包上之資訊。來源封包藉由添加一包含TS封包時間資訊、複製控制資訊以及其類似者之4-位元組檔頭至TS封包而被獲得。
第13A圖是指示用於變速播放資訊之列表的語法範例。於該語法中,num_pic_in_RAU展示構成一隨機存取單元RAU之AU數目,num_speed展示將被解碼之AU的播放速率數目,play_speed展示播放速率,num_dec_pic展示以play_speed所展示之播放速率重播時將被解碼之AU數目,dec_pic展示於計數開始於隨機存取單元RAU中之頂部AU的AU情況中將被解碼之AU序數。第13B圖是一範例,其儲存在雙倍速度播放和四倍速度播放時,第9A至9D圖展示之隨機存取單元RAU中將被解碼之AU上的資訊。注意到,num_pic_in_RAU被使用依據將被解碼之AU數和隨機存取單元RAU中之AU總數而計算一確切的播放速率時間或於序列中以隨機存取單元RAU為基礎而躍過。但是,num_pic_in_RAU可以被省略,因為相同資訊可利用尋找隨機存取單元RAU之頂部AU而被獲得。同時,指示列表大小之欄也可被添加至該列表中。注意到,於第13A圖之語法範例中,將被解碼之AU的序數,自隨機存取單元RAU之頂部開始計數,直接地被展示,但是是否有需要解碼各個AU,則可能藉由導通或中斷對應於各個AU的位元而被展示。例如,一隨機存取單元RAU是由第9A至9D圖範例之16個AU所構成,當排定1位元至一個AU時則需要16位元。在四倍速度播放時,所展示之第一、第五、第九以及第十三個AU利用排定被表示為0b1000100010001000(0b展示一個二進位數)之16位元資訊而被解碼。此處,頂部位元和最後位元分別地對應至隨機存取單元RAU之頂部AU和最後AU。
注意到,第13A圖之語法範例中之列表大小是可變的。於構成一隨機存取單元RAU之AU數最大數值及num_speed最大數值被規定之情況中,該列表尺寸之最大數值被決定。結果,可能固定該列表尺寸於該被決定之最大數值,並且,於變速播放之資訊大小不達到該最大數值的情況中,可能進行填塞。以此方式固定列表尺寸,使得當獲得變速播放資訊時可經常獲得固定尺寸之資料,其能夠加速該資訊獲得處理程序。注意到,列表尺寸或用以儲存該列表之NAL單元大小被展示如管理資訊。同時,也可能預定用以儲存特技播放資訊之NAL單元大小,並且,於資訊不能被儲存於一個別的NAL單元之情況中,可能分別地儲存供用於變速播放之資訊進入多數的NAL單元中。在此時,填塞被進行於最後NAL單元的酬載上,因而NAL單元大小成為預定之大小。同時,一些預定的數值也被決定作為列表尺寸數值,並且指示預定列表尺寸數值的指標可被展示於列表中或使用其應用之管理資訊。
同時,也可能展示取代列表上所有以各播放速率將被解碼的AU之差量資訊。如在M(<N)倍速度播放時之資訊,除了將在N倍速度播放時被解碼的AU之外,僅需要將被解碼之AU被展示。於第13B圖範例中,除了將在四倍速度播放時被解碼的AU之外,因第二、第六、第十和第十四個AU在雙倍速度播放時被解碼,可能僅展示第二、第六、第十以及第十四個AU作為雙倍速度播放之資訊。
注意到,上面之說明展示需要在變速播放之時被解碼的AU,但是進一步地,可能展示指示需要被解碼之AU的顯示順序之資訊。例如,第9A至9D圖展示以雙倍速度播放和四倍速度播放時之資訊範例,但是此處是以三倍速率重播這隨機存取單元RAU之範例。在雙倍速度播放之時被顯示的顯示部份AU,除了在四倍速度播放時被顯示的AU之外,能夠實現三倍速度播放。此處,當考慮一種情況,其中當多於一個AU在四倍速度播放時被顯示的I0和P4之間被顯示時,供用於雙倍速度播放之資訊展示其候補者是-B14、B2、B6以及B10。但是,這四個AU之顯示順序僅可於其中分切之檔頭資訊被分析的情況中被獲得。此處,因顯示順序上之資訊展示僅-B14在I0和P4之間被顯示,可能決定-B14被解碼。第14圖是指示顯示順序上之一語法資訊之範例,並且其藉由添加顯示順序上之資訊至第13A圖之語法上被獲得。此處,pts_dts_flag展示將在播放速率被解碼之AU的解碼順序是否匹配於該等AU之顯示順序,並且僅於該解碼順序不匹配該顯示順序之情況中,顯示順序之資訊被展示於一display_order欄中。
注意到,在不利用變速播放資訊被展示之播放速率的播放情況中,可能依據終端機預定之規則而決定將被解碼之AU和將被顯示之AU。例如,於第9圖在三倍速度播放之範例情況中,除了將在四倍速度播放時被顯示的AU之外,可能顯示I0、B3、B6、B9以及P12,以取代顯示在雙倍速度播放時將被顯示之部份AU。此處,關於B圖像,參考AU之B圖像可以優先地被解碼或被顯示。
同時,有一種情況,其中特技播放,例如,變速播放,藉由僅重播一I圖像之AU或僅重播一I圖像和P圖像之AU而被實現。因此,一I圖像和P圖像之列表可以被儲存作為特技播放資訊。第15A至15C圖展示另一範例。此處,自I0至B14之圖像被包含於隨機存取單元RAU中,如第15B圖之展示,並且在那些之間,一I圖像和P圖像之AU是I0、P3、P6、P9、P12以及P15,如第15C圖之展示。因此,用以辨識I0、P3、P6、P9、P12以及P15之資訊被儲存。在此時,可能增加用以自一P圖像之AU辨認一I圖像之AU的資訊。同時,也可能展示用以彼此地辨認下面圖像的資訊,該等圖像包含:一I圖像、P圖像、供參考之B圖像(此後被稱為參考B圖像)、以及不供參考之B圖像(此後稱為非參考B圖像)。
進一步地,可能儲存分別的AU之優先序資訊作為特技播放資訊,並且依據在變速播放時的優先順序而解碼或顯示該等AU。可能使用圖像型式作為優先序資訊。例如,AU之優先序可以下面所列順序被指定:(i)一I圖像;(ii)P圖像;(iii)參考B圖像;以及(iv)非參考B圖像。同時,也可能以下面的方式設定其優先順序資訊:在一AU被解碼後時和該AU被顯示時之間的時間愈長,則優先序成為愈高。第16A至16C圖展示依據緩衝延遲時間而設定該優先順序之範例。第16A圖展示AU之預估結構,並且P3也供B7和P9所參考。在此時,於其中該隨機存取單元RAU是由自I0至B11之AU所構成之情況中(第16B圖),各AU之緩衝延遲時間是相同於第16C圖之展示。此處,該緩衝延遲時間依據像框數目被展示。例如,P3是被需要直至P9被解碼為止,並且該緩衝延遲時間必須是等於六個圖像。因此,解碼緩衝延遲時間是3或更多之AU亦即解碼所有的I圖像和P圖像,並且三倍速度播放被實現。此處,P3之緩衝延遲時間是較長於I0之緩衝延遲時間,但是可能增加一偏移數值至I圖像之AU,以便安置最高優先順序於I圖像之AU上。同時,也可能安置高的優先序於需要在高速播放時被解碼之AU上,並且使用需要在N倍速度播放時被解碼之AU中的N作為優先順序資訊。注意到,於其中一AU在其被解碼或被顯示之後是供其他AU所參考的情況中,可能展示在其中該AU被參考的期間之時間週期。
注意到,該特技播放資訊可被儲存於一SEI訊息中(第8B圖)。於此情況中,SEI訊息之型式被定義以供用於特技播放資訊,並且該特技播放資訊被儲存於被定義之型式的SEI訊息中。用於特技播放資訊之SEI訊息單獨地被儲存於SEI NAL單元中或與其他的SEI訊息一起被儲存。注意到,可能儲存特技播放資訊於user_data_registered_itu_t_t35 SEI訊息中或於user_data_unregistered SEI訊息中,其是用以儲存被使用者所定義之資訊的SEI訊息。在使用這些SEI之時,可能藉由添加被儲存之資訊的辨識資訊而展示將被儲存之特技播放資訊或SEI酬載部件中之特技播放資訊型式。
注意到,除了隨機存取單元RAU中頂部AU之外,亦可能儲存特技播放資訊於AU中。同時,也可能預定用以辨識需要在一特定播放速率的播放時被解碼之AU的數值並且增加對於各個AU被決定之數值。例如,關於將以N倍速度或較小之播放速率被解碼的AU,N被給予作為播放速率資訊。同時,也可能展示下列者於一分切部份的NAL單元之nal_ref_idc以及其類似者:一AU中之圖像結構,該結構是一像框結構或一像場結構,並且進一步地,於該圖像具有一像場結構之情況中,可能展示該像場型式,其是一頂部像場或一底部像場。例如,因於交錯顯示情況中需要輪流地顯示頂部像場和底部像場,需要的是,接著將被解碼之像場是否為頂部像場或底部像場,其可利用在高速播放時間躍過一些像場而容易地在解碼像場之時被判定。於像場型式可自NAL單元之檔頭被判定之情況中,則不需要分析該分切檔頭,並且用於此判斷所需要的處理數量可被降低。
注意到,指示構成一隨機存取單元RAU之各個AU是否為一像場或一像框的資訊可被儲存進入隨機存取單元RAU之頂部AU中。同時,也可容易地藉由儲存此資訊進入隨機存取單元之頂部AU而決定將在特技播放時被解碼之AU,即使於其中一像場結構和一像框結構共存之情況中亦然。第17A和17B圖是其中具有一像框結構之AU以及具有一像場結構之AU共存於隨機存取單元RAU中之範例,並且它們分別地展示AU之顯示順序和AU之解碼順序。下面的圖像也分別地被編碼作為像場組對:B2和B3;I4和P5;B9和B10;B11和 B12;P13和P14;B15和B16;B17和B18;以及P19和P20。同時,其他的AU被編碼作為具有一像框結構之AU。在此時,於僅重播一I圖像和P圖像之AU情況中,下列者可被解碼並且以下面列表的順序被重播:I4和P5之像場組對;P8之像框;P13和P14之像場組對;以及P19和P20之像場組對。但是,添加此資訊是有效益的,因為需要判斷各個AU是否為構成一像場組對之一個像場或各個AU是否為在決定將被解碼之AU時的一像框。
第17C圖是第一映圖(RAU_mapl)之語法範例,其指示隨機存取單元RAU中之一AU是否為一像框或一像場。構成一隨機存取單元之AU數目被展示於num_AU_in_RAU中,並且於各AU上之資訊依解碼順序被展示於下面迴路中。此處,frame_field_flag(像框_像場_旗幟)展示將被儲存於一AU中之圖像是否為一像框或一像場。同時,pic_type也展示於圖像編碼型式之資訊。可被展示之編碼型式包含:一I圖像;一IDR圖像;一P圖像;一參考B圖像;一非參考B圖像;以及其類似者。因此,可能藉由參考於這映圖而決定將在特技播放時被解碼之圖像。注意到,可能指示各I圖像和各P圖像是否供作參考。進一步地,可能指示供判斷是否預定需求被施加至預估結構之資訊。
第17D圖展示關於第17B圖之隨機存取單元RAU的RAU_mapl。此處,一I圖像、P圖像、參考B圖像、以及非參考B圖像之pic_type分別地是0、1、2以及3。此處,可能依據上列基礎而儲存指示圖像編碼型式之資訊,因為圖像依據像框接著像框方式而被重播,或在特技播放時依據像場組對接著像場組對方式而被重播。
第17F圖是依據像框接著像框方式或依據像場組對接著像場組對方式而指示圖像編碼型式的第二映圖(RAU_map2)之語法範例。此處,num_frame_in_RAU展示構成一隨機存取單元RAU之像框數目以及像場組對數目。同時,frame_falg也展示一圖像是否為一像框,並且於其是一像框之情況中,1被設定。在1被設定於frame_falg之情況中,像框編碼型式上之資訊以像框_型式被展示。在0被設定於frame_falg之情況中,換言之,該圖像是像場組對中之一個像場,構成該像場組對之各像場的編碼型式以field_pair_type(像場_組對_型式)被展示。
第17E圖展示關於第17B圖之隨機存取單元RAU的RAU_map2。於第17E圖中,指示一I圖像、P圖像、參考B圖像、以及非參考B圖像之像框_型式的數值分別地是0、1、2以及3。同時,field_pair_type依解碼順序展示各個像場之型式。像場型式是如下所示:I代表I圖像;P代表P圖像;Br代表參考B圖像;並且Bn代表非參考圖像。例如,在第一像場是一I圖像和第二像場是一P圖像之情況被展示為IP,並且在第一像場和第二像場是非參考B圖像之情況中其被展示為BnBn。此處,供用於指示IP、PP、PI、BrBr、BnBn以及其類似者之組合的數值先前地被設定。注意到,下面的資訊可被使用作為指示像場組對之編碼型式的資訊:關於像場組對是否包含一I圖像或一個或多個P圖像之資訊;關於像場組對是否包含一個或多個參考B圖像之資訊;以及關於像場組對是否包含一個或多個非參考B圖像之資訊。
例如,特技播放資訊可以是類似於第18A圖所展示之語法的隨機存取單元RAU的映圖。這映圖包含指示被包含於隨機存取單元RAU中各該等圖像之結構的picture_structure(圖像_結構)以及指示該圖像型式之picture_type(圖像_型式)。如第18B圖之展示,picture_structure展示各個圖像結構,亦即,一像場結構或一像框結構,以及其類似者。同時,也如第18C圖之展示,picture_type展示各個圖像之圖像型式,亦即,一I圖像,一參考B圖像,一非參考B圖像,和一P圖像。以此方式,接收這映圖之動畫解碼裝置可容易地辨識AU,特技播放藉由參考於這映圖而被進行於其上。作為一範例,除了一I圖像和P圖像之外,可能以高速播放而僅解碼和重播一I圖像和P圖像或參考B圖像。
注意到,於其中指示圖像結構,例如,被包含於構成一隨機存取單元RAU之一AU中的3-2拉降之資訊之情況中,可能包含指示上述說明之第一或第二映圖中的圖像結構之資訊。例如,可能展示是否各個圖像具有等於三個圖像之顯示像場或各個圖像具有等於二個圖像之顯示像場。進一步地,於其中具有等於三個圖像之顯示像場之情況中,可能展示指示該第一像場是否重複地被顯示之資訊或指示該第一像場是否為一頂部像場的資訊。同時,於其中具有等效於二組圖像之顯示像場之情況中,可能展示該第一像場是否為一頂部像場之資訊。此處,於MPEG-4 AVC中,是否具有一圖像結構,例如,3-2拉降之一圖像,可藉由使用下列二情況被展示,(i)一序列參數集(SPS)之pic_struct_present_flag或(ii)以該AVC時序以及依MPEG-2系統標準被定義之HRD描述符號中picture_to_display_conversion_flag和其類似者。進一步地,各個圖像之結構利用一圖像時序SEI之一pic_struct欄而被展示。因此,可能僅於其中一pic_struct欄具有一特定數值(例如,一圖像具有等於三圖像之顯示像場)之情況中藉由設定旗幟而展示圖像結構。換言之,指示關於各個圖像之下面三種資訊型式是有效,(i)於其中跳躍播放是在一隨機存取單元RAU中間被進行的情況中以及(ii)在決定將在特定時間被顯示之像場或一像場被儲存於其中之像框時。其可以說是在決定將在變速播放期間被顯示之圖像之相同情況。該三組型式資訊是:
(i)像場
(ii)像框(其在不使用3-2拉降時被使用,或其同時也在使用3-2拉降時被使用。於後面情況中,像框具有等於二組圖像顯示像場。)
(iii)像框,其在使用3-2拉降時,具有等於三組圖像之顯示像場。
注意到,這些資訊之型式可以第18A圖展示之RAU映圖的picture_structure(圖像_結構)被指示。
以此方式構成RAU之分別圖像的圖像型式而指示列表資訊,使得可能容易地決定在進行特技播放(例如,變速播放、跳躍播放、以及反向播放)時將被解碼或被顯示之圖像。這於下面的情況中尤其是有效的:
(i)其中僅一I圖像和P圖像被重播;
(ii)於高速播放中一I圖像、P圖像、以及參考B圖像被進行;以及
(iii)於其中如預估結構之需求被置放之圖像依據圖像型式被辨識,需要在特技播放時被解碼之圖像被選擇,並且該被選擇之圖像以特技播放方式被重播。
進一步地,可能儲存特技播放資訊之一原定數值於一區域中,其是不同於AVC串流,例如,在應用位準之管理資訊,並且包含特技播放資訊於一隨機存取單元RAU中,其僅發生於其中特技播放資訊是不同於利用原定數值所展示之特技播放資訊之情況中。
關於變速播放之特技播放資訊已於上面敘述,但是可能在反向播放時使用相似資訊作為增補資訊。於所有被顯示的圖像可被儲存於記憶體之情況中,可能在反向播放時一次完成解碼,用以解碼所需的處理負載可被降低。考慮以第9A至9D圖範例中所列順序P12、P8、P4和I0而進行反向播放之情況,在這些四個AU的所有解碼結果被儲存之情況中,可能一次以這順序而解碼I0、P4、P8以及P12並且進行反向播放。因此,可能依據在N倍速度播放時將被解碼或被顯示之AU數目而判斷該等AU所有被解碼的資料是否可被儲存,並且依據該判斷結果而決定在進行反向播放時將被顯示之該等AU。
同樣地,特技播放資訊可在跳躍播放時被使用作為增補資訊。此處,跳躍播放意指動畫之快速向前並且於隨機判定之位置開始進行動畫之正常播放。使用此增補資訊決定被快速向前之圖像,即使在跳躍播放時,亦使得可能決定跳躍播放被開始之圖像。
注意到,構成一隨機存取單元之各AU所參考的該AU可直接地被展示於特技播放資訊。於其中有多數參考AU之情況中,它們所有皆被展示。此處,在一參考AU屬於一隨機存取單元之情況中,其中該隨機存取單元不同於包含參考於該參考AU之一AU的隨機存取單元,則該AU可以下面特定的方式被指示:該隨機存取單元之第M個AU被安置在N個隨機存取單元之前或在其之後,或該AU可以下面簡單的方式被指示:屬於被安置在N個隨機存取單元之前或在其之後的隨機存取單元之AU。注意到,在計數參考於該參考AU之AU的情況中,可能依參考AU的解碼順序而展示序數數碼。在這時,AU依據下面各方式之其一而被計數:所有的AU;參考AU;一特定圖像型式(例如,I、P以及B)之AU。同時,也可能展示各個AU可能依解碼順序僅參考於之前和在其之後高至N個AU之AU。注意到,於依解碼順序參考於不被包含在之前和在其之後高至N個AU之一AU時,則可能增加指示該事實之資訊。
注意到,可能以相似方式使用上面說明之特技播放資訊於多工格式,例如,MP4,於其中NAL單元之尺寸被使用而取代使用一開始編碼字首作為NAL單元之邊緣資訊。
注意到,在接收和記錄使用一MPEG-2TS(輸送串流)封包或一RTP(即時傳輸協定)被封包化之編碼串流時,一封包損失發生。以此方式,於記錄在一封包損失發生之環境中所被接收的資料之情況中,可能儲存因為封包損失而指示串流中之資料被遺失的資訊,進入一編碼串流作為增補資訊,或作為管理資訊。可能藉由嵌入指示串流資料是否遺失或用以通知該遺失部分之一特別的錯誤通知碼之旗幟資訊而展示因為封包遺失之一資料遺失。注意到,當在資料被遺失時進行錯誤隱藏處理之情況中,可能儲存指示該存在/不存在之辨識資訊或錯誤隱藏處理方法。
上面已說明用以在特技播放時決定將被解碼或被顯示AU的特技播放資訊。此處,將參考第19圖而說明能夠引動隨機存取單元RAU之邊緣檢測的資料結構。
於隨機存取單元RAU之頂部AU中,將供構成一隨機存取單元RAU之AU所參考的SPS之NAL單元經常被儲存。另一方面,於MPEG-4 AVC標準中,可依解碼順序而儲存將依解碼順序供第N個AU所參考的SPS之NAL單元進入任意地選自第N個AU或被安置在第N個AU之前的AU間之一AU中。此NAL單元被儲存,因而當在通訊或廣播發送一串流之時,因為封包損失而SPS之NAL單元被遺失的情況中,一SPS之NAL單元可重複地被發送。但是,下面的法則對於儲存應用之使用是有效的。僅供利用所有隨機存取單元RAU的AU所參考的SPS之一個別的NAL單元被儲存進入隨機存取單元RAU之頂部AU,並且該SPS之NAL單元不被儲存進入隨機存取單元之下面的AU中。實行這事使得可能保證該AU是隨機存取單元RAU之頂部AU,如果其包含一SPS之NAL單元。該隨機存取單元RAU之開始可藉由尋找該SPS之NAL單元而被發現。一串流之管理資訊,例如,一時間映圖不保證提供關於所有隨機存取單元RAU的存取資訊。因此,例如,於進行被安置於存取資訊不被提供的隨機存取單元RAU中間之圖像的跳躍播放之情況中,對於各個隨機存取單元RAU之開始位置可藉由尋找一串流中一SPS之NAL單元而被獲得,其是特別有效的。
此處,於其中隨機存取單元RAU之頂部AU是一IDR圖像一組AU之情況中,該隨機存取單元RAU之AU不參考於早先依解碼順序被安置之隨機存取單元RAU中的AU。這隨機存取單元RAU之型式被稱為關閉-型式之隨機存取單元RAU。另一方面,於其中一隨機存取單元RAU之頂部AU是為不是一IDR圖像之一I圖像的AU之情況中,該隨機存取單元RAU之AU可參考於早先依解碼順序被安置的隨機存取單元RAU中之AU。這隨機存取單元RAU型式被稱為開放-型式隨機存取單元RAU。在當於一光碟或其類似者中之播放期間被切換角度時,切換自關閉-型式隨機存取單元RAU被進行。因此,關於一隨機存取單元RAU是否為一開放型式或一關閉型式之判斷可於該隨機存取單元RAU之頂部部份中被達成是有效的。例如,可能展示用以判斷該型式之旗幟資訊,亦即,於一SPS之NAL單元的一nal_ref_idc欄中之一打開型式或一關閉型式。當nal_ref_idc之數值在一SPS之NAL單元中被定義為1或更多時,高階位元是經常被設定為1且旗幟資訊藉由低階位元被展示。注意到,一隨機存取單元RAU中之一AU可不用參考於早先依解碼順序被安置之隨機存取單元RAU中之一AU,即使於其中該頂部AU是不為一IDR之一I圖像的AU之情況亦然。這型式之隨機存取單元RAU可以被考慮為一關閉-型式隨機存取單元RAU。注意到,旗幟資訊可使用除了nal_ref_idc之外的欄被展示。
注意到,可能依據除了僅將被儲存於隨機存取單元RAU之頂部AU中的一SPS外之NAL單元而指定隨機存取單元RAU之開始位置。同時,可能使用各個隨機存取單元RAU之nal_ref_idc欄而展示型式,亦即,各個隨機存取單元RAU之開放型式或關閉型式。
最後,第20A和20B圖展示構成一隨機存取單元RAU的AU之預估結構的範例。第20A圖以一顯示順序而展示該AU位置,並且第20B圖依該解碼順序而展示該等AU位置。如圖形之展示,B1和B2是在隨機存取單元RAU之頂部AU的I3之前被顯示,其可參考於將在I3之後被顯示的AU。圖形中,B1參考於P6。此處,為了保證I3及下面顯示順序的圖像之AU可正確地被解碼,禁止I3和下面顯示順序的圖像之AU在該顯示順序的I3之前參考於AU。
第21圖是實現本發明動畫編碼方法之動畫編碼裝置100的方塊圖。這動畫編碼裝置100產生一編碼串流,其被展示於第8圖至第20圖,其中動畫可使用特技播放(例如,跳躍播放、變速播放、以及反向播放)被重播。除了第4圖展示之習見的動畫編碼裝置1單元之外,該動畫編碼裝置100還包含一特技播放資訊產生單元TrickPlay。注意到,圖形中,進行如第4圖方塊圖展示之習見動畫編碼裝置的處理單元之相同操作的處理單元被指定相同的參考數目,並且它們之說明將被省略。
特技播放資訊產生單元Trick Play是一單元範例,其依據包含一個或多個圖像之隨機存取單元,而在重播隨機存取單元時產生將被供參考之增補資訊。該特技播放資訊產生單元Trick Play,依據圖像型式P型式(Ptype)而產生特技播放資訊,並且將該特技播放資訊通知至可變長度編碼單元VLC。
該可變長度編碼單元VLC是一串流產生單元範例,其藉由添加該被產生之增補資訊至各個對應的隨機存取單元而產生包含增補資訊和圖像之串流。該可變長度編碼單元VLC編碼且安置該NAL單元以供儲存特技播放資訊於隨機存取單元RAU之頂部AU中。
第22圖是一流程圖,其展示第21圖所展示之動畫編碼裝置100(主要為該特技播放資訊產生單元Trick Play)如何進行包含特技播放資訊之編碼串流的產生步驟,亦即,本發明之動畫編碼方法流程圖。
首先,於步驟10中,動畫編碼裝置100判斷將被編碼之AU是否為隨機存取單元RAU之頂部AU。於其是頂部AU之情況,前進至步驟11,同時於其不是頂部AU之情況,前進至步驟12。於步驟11中,該動畫編碼裝置100進行用以產生隨機存取單元RAU之特技播放資訊的啟始處理,並且同時,其也確保用以儲存該特技播放資訊進入隨機存取單元RAU之頂部AU的區域。於步驟12中,該動畫編碼裝置100編碼AU資料,並且接著前進至步驟13。於步驟13中,該動畫編碼裝置100獲得在產生特技播放資訊時所需要的資訊。此資訊是:AU之圖像型式,亦即,一I圖像、一P圖像、一參考B圖像,或一非參考B圖像;或是否需要在進行N倍數速度播放時解碼該AU。在那之後,該動畫編碼裝置100前進至步驟14。於步驟14中,該動畫編碼裝置100判斷該AU是否為該隨機存取單元RAU之最後的AU。於其是最後的AU之情況,該動畫編碼裝置100前進至步驟15,而同時於其不是最後的AU之情況,其前進至步驟16。於步驟15中,動畫編碼裝置100決定特技播放資訊,產生用以儲存該特技播放資訊之NAL單元,且儲存該被產生之NAL單元進入於步驟11中被確保的區域。在完成步驟15之處理程序後,動畫編碼裝置100前進至步驟16。於步驟16中,該動畫編碼裝置100判斷接著是否將有一AU被編碼。於有一AU將被編碼之情況,其重複步驟10以及下面的步驟,同時於沒有AU將被編碼之情況,其完成該處理程序。此處,在步驟16中,當動畫編碼裝置100判斷沒有AU將被編碼之情況,其儲存最後的隨機存取單元RAU之特技播放資訊,並且接著完成該處理程序。
例如,當動畫編碼裝置100產生第18A圖展示之特技播放資訊時,其於13步驟中獲得下面各項:圖像型式;該圖像是否具有一像場結構或該圖像是否具有一像框結構;或/及在關於3-2拉降之資訊被包含於編碼串流中的情況,指示該圖像之顯示像場的資訊是否等於二組圖像或等效於三組圖像。於步驟15中,該動畫編碼裝置100依一解碼順序設定該隨機存取單元RAU中所有圖像的圖像_結構和圖像_型式。
注意到,於用於儲存特技播放資訊之NAL單元的大小不是在開始隨機存取單元RAU之頂部AU的編碼時已知的情況中,於步驟11中,用於確保儲存該特技播放資訊之區域的處理將被省略。於此情況中,在步驟15中,該被產生而用以儲存特技播放資訊之NAL單元被塞進入頂部AU中。
同時,儲存或不儲存特技播放資訊也可依據編碼串流而被切換。特別是,於構成一隨機存取單元的AU間之預估結構藉由應用被描述之情況中,可能決定特技播放資訊不被儲存。例如,於其中一編碼串流具有如於一MPEG-2串流之情況的相同預估結構情況中,不需要儲存特技播放資訊。這是因為可能決定在特技播放時需要被解碼之AU而不需特技播放資訊。注意到,此切換可以在一隨機存取單元RAU基礎上被進行。
第23圖是方塊圖,其展示本發明動畫多工裝置108之結構。這動畫多工裝置108輸入動畫資料、編碼該動畫資料以產生MPEG-4 AVC串流、多工化具有該存取資訊之串流為該等AU(其構成該串流以及包含用以決定在特技播放時所進行之操作的增補資訊之管理資訊)、並且記錄該被多工化之串流。該動畫多工裝置108包含一串流屬性決定單元101、一編碼單元102、一管理資訊產生單元103、一多工單元106以及一儲存單元107。此處,該編碼單元102具有一功能供用於添加特技播放資訊於第21圖展示之動畫編碼裝置100中。
該串流屬性決定單元101決定關於在編碼一MPEG-4 AVC串流時被進行之特技播放的需求,並且將它們輸出至編碼單元102以及該播放支援資訊產生單元105作為屬性資訊TYPE。此處,關於特技播放之需求包含資訊,其指示:供用於構成一隨機存取單元之需求是否被施加至一MPEG-4 AVC串流;在變速播放或反向播放時將被解碼或被顯示之AU的資訊是否被包含於該串流中;在AU間之預估結構上的需求是否被設定。該串流屬性決定單元101進一步地輸出用以產生管理資訊(例如,壓縮格式或解析度)所需的資訊之一般管理資訊,至一般管理資訊產生單元104。該編碼單元102依據該屬性資訊TYPE而編碼該被輸入之視訊資料成為MPEG-4 AVC串流,輸出該被編碼之資料至該多工單元106,並且輸出該串流中之存取資訊至一般管理資訊產生單元104。此處,於其中該屬性資訊TYPE展示供指示將在變速播放或反向播放時被解碼或被顯示之AU的資訊不被包含於該串流之情況中,則特技播放資訊不被包含於該編碼串流中。注意到,該存取資訊指示存取該串流的基本單元之存取單元資訊,並且包含存取單元中之頂部AU之開始位址、顯示時間以及類似者。一般管理資訊產生單元104依據該存取資訊以及一般管理資訊而產生在存取一串流時供參考之列表資料以及儲存屬性資訊(例如,壓縮格式)之列表資料,並且輸出該列表資料至多工單元106作為管理資訊INFO。播放支援資訊產生單元105產生支援資訊HLP,其依據該被輸入之屬性資訊型式而指示該串流是否具有一隨機存取結構,並且輸出該支援資訊HLP至多工單元106。該多工單元106產生經由編碼單元102被輸入之編碼資料、管理資訊INFO、以及藉由多工化該支援資訊HLP之多工化資料,並且接著輸出它們至儲存單元107。儲存單元107記錄經由多工單元106被輸入之該多工化資料於記錄媒體中,例如,一光碟、一硬碟以及一記憶體。注意到,該編碼單元102可將MPEG-4 AVC串流封包化為,例如,一MPEG-2 TS(輸送串流)或一MPEG-2 PS(程式串流),並且接著輸出該被封包化之MPEG-2 TS或PS。同時,該編碼單元102也可使用應用的格式(例如,BD)而封包化該串流。
注意到,該管理資訊內容不需取決於該特技播放資訊是否被儲存於編碼串流中。在此時,支援資訊HLP可被省略。同時,該動畫多工裝置108也可能具有該結構,而不需播放支援資訊產生單元105。
第24A和24B圖展示藉由支援資訊HLP所展示之資訊範例。該支援資訊HLP包含直接地指示如第24A圖展示之串流資訊的方法,以及指示該串流是否滿足特定應用標準所描述的需求,如第24B圖之展示。
第24A圖展示如下面關於一串流的資訊:關於串流是否具有一隨機存取結構之資訊;關於在被儲存於一AU中的圖像間之預估結構上是否有需求之資訊;以及關於是否有資訊指示在特技播放時將被解碼或被顯示之AU的資訊。
此處,關於在特技播放時將被解碼或被顯示之AU的資訊可直接地指示將被解碼或被顯示之AU或指示在解碼或顯示時之優先順序。例如,其可被指示,依據一隨機存取單元基礎而將被解碼或被顯示之AU的資訊被儲存於具有藉由應用、一SEI訊息或其類似者所描述之一特別NAL單元型式的一NAL單元中。注意到,可能指示是否有指示在構成一隨機存取單元之AU間的預估結構之資訊。同時,關於在特技播放時將被解碼或被顯示之AU的資訊也可依據一個或多個隨機存取單元基礎被添加至構成隨機存取單元之各個AU。
進一步地,於其中指示將被解碼或被顯示之AU的資訊被儲存進入具有一特別型式的NAL單元之情況中,可能展示該NAL單元之NAL單元型式。於第25圖範例中,在該支援資訊HLP中,關於將在特技播放時被解碼或被顯示之AU的資訊被包含於NAL單元中,其NAL單元型式是0。在此時,可能藉由解多工其NAL單元型式是0之NAL單元而自該串流之AU資料獲得關於該特技播放之資訊。於其中關於特技播放使用一SEI訊息被儲存之資訊之情況中,可能指示用以辨識該SEI訊息之資訊。
同時,關於預估結構上之需求,也可能指示一個或多個預定需求是否被滿足,或可能指示下面分別的需求是否獨立地被滿足:
(i)關於一I圖像和P圖像之AU,其解碼順序應該匹配該顯示順序;
(ii)一P圖像之AU不能參考B圖像之AU;
(iii)在一隨機存取單元中依顯示順序地在頂部AU之後的AU僅可參考被包含於隨機存取單元中之AU;並且
(iv)各個AU僅可參考依解碼順序之前和之後被置放高至N個之AU。於此情況中,所有的AU一起地被計算或AU依據一參考AU基礎被計算,並且N之值可被展示於支援資訊HLP中。
注意到,於MPEG-4 AVC中,可能使用,在解碼之後,用以移除區塊失真之過濾處理(解方塊效應)被進行之圖像作為參考圖像,以便改進圖像品質,並且可能使用在該解方塊效應之前的該等圖像,作為用以顯示之圖像。於此情況中,該動畫解碼裝置需要在該解方塊效應之前以及其之後保持該圖像資料。因此,可能儲存,指示是否有需要在該供顯示使用之解方塊效應之前保持該等圖像的資訊於該支援資訊HLP中。該MPEG-4 AVC標準定義用以儲存參考圖像或將被顯示之圖像作為解碼結果所需的緩衝器(DPB:被解碼之圖像緩衝器)最大尺寸。
因此,藉由一具有最大尺寸之DPB緩衝器或一具有應用所描述的最大尺寸之緩衝器,可能指示解碼處理是否可被進行而不會失敗,即使於儲存供用於參考圖像顯示之圖像的情況中亦然。注意到,為了在參考圖像之解方塊效應前儲存該等圖像,除了如DPB所需要的大小之外,可能使用位元組數量或像框數量,以指示需要被確保之緩衝器尺寸。此處,解方塊效應是否於各個圖像上被進行可自串流中之資訊或串流之外的資訊(例如,管理資訊)被獲得。於獲得串流中之資訊的情況中,例如,其可自一SEI被獲得。進一步地,於解碼一MPEG-4 AVC串流之情況中,可能依據可被使用於解碼單元和上述資訊中之緩衝器尺寸而判定在參考圖像之解方塊效應前該等圖像是否可被使用於顯示或可能不被判定,並且接著可決定如何顯示該等圖像。
注意到,所有的資訊或部份資訊可被包含作為支援資訊HLP。同時,也可能依據預定情況而包含必需的資訊,例如,包含僅於其中不需要關於預估結構之情況中關於特技播放資訊之存在或不存在的資訊。同時,除了上述資訊之外的資訊也可被包含於該支援資訊HLP中。
第24B圖不直接地指示關於串流結構之資訊,但是指示一串流是否滿足藉由藍碟標準(BD-ROM)標準或用以儲存高清晰度圖像於DVD中之高清晰度(HD)DVD標準而定之串流結構的需求。同時,也於其中多數的模式被定義為應用標準(例如,BD-ROM標準或其類似者)中之串流需求之情況中,則指示被應用之模式的資訊可被儲存。例如,下面的模式被使用:指示沒有需求之模式1;指示該串流具有一隨機存取結構並且包含用以指定在特技播放時將被解碼之AU資訊的模式2;以及其類似者。注意到,可指示該串流是否滿足通訊服務(例如,下載或串流、或廣播標準)中的前述需求。
注意到,可能指示第24A圖所展示和第24B圖所展示之資訊。同時,也於習知之串流滿足特定應用標準需求的情況中,可藉由轉換串流結構成為用以指示如第24A圖展示之直接說明的格式而儲存該應用標準之需求,以取代指示該串流是否滿足該應用標準。
注意到,可能儲存指示在特技播放時將被解碼或被顯示之AU的資訊作為管理資訊。同時,也於其中支援資訊HLP之內容於串流中被切換的情況中,支援資訊HLP可依據部份-接-部份基礎被指示。
第26圖是流程圖,其展示動畫多工裝置108之操作。於步驟51中,串流屬性決定單元101依據使用者設定或預定情況而決定屬性資訊型式。於步驟52中,編碼單元102依據該屬性資訊型式而編碼一串流。於步驟53中,該播放支援資訊產生單元105依據該屬性資訊型式而產生支援資訊HLP。結果,於步驟54中,編碼單元102依據編碼串流之一存取單元而產生存取資訊,並且一般管理資訊產生單元104藉由添加該存取資訊至其他必需之資訊(一般管理資訊)而產生管理資訊INFO。於步驟55中,多工單元106多工化一串流、支援資訊HLP以及管理資訊INFO。於步驟56中,儲存單元107記錄該被多工化之資料。注意到,步驟53可以在步驟52之前,或在步驟54之後被進行。
注意到,編碼單元102可以儲存於支援資訊HLP中所展示之資訊成為一串流。於此情況中,於支援資訊HLP中被展示之資訊被儲存進入用以儲存特技播放之NAL單元中。例如,於其中P圖像不參考B圖像之情況中,可能在變速播放之時僅解碼一I圖像和P圖像。因此,指示是否僅一I圖像和P圖像可被解碼和被顯示之旗幟資訊被儲存。同時,也有一情況,其中在變速播放時將被解碼之一些AU不能自應該供分別的AU所參考之AU而獲得一SPS或一PPS。那是其中供一P圖像所參考之PPS僅被儲存於僅解碼一I圖像和P圖像情況中之B圖像的AU中之情況。於此情況中,需要自B圖像之AU以獲得用以解碼P圖像所需要的PPS。因此,可能包含旗幟資訊,該資訊指示供將在變速播放時被解碼之各AU所參考的SPS或PPS是否可確實自將在變速播放時被解碼之其他AU的一AU而被獲得。執行這處理,使得其可進行操作,例如,僅於一旗幟不被設定之情況中,自將不在變速播放時被解碼之圖像AU檢測一SPS或一PPS之操作。同時,在當其僅展示一I圖像和P圖像可被解碼且被顯示之時,其同時也可能藉由解碼B圖像(特別是供其他圖像參考的參考B圖像)而調整播放速率。
同時,也可能儲存該旗幟資訊進入另一NAL單元之檔頭中,例如,一SPS、一PPS或一切片部分,以取代使用以儲存特技播放之任何NAL單元。例如,於其中供構成隨機存取單元RAU之AU所參考的一SPS被儲存進入該隨機存取單元RAU之頂部AU之情況中,一SPS的NAL單元之nal_ref_idc欄可指示旗幟資訊。當nal_ref_idc數值於一SPS之NAL單元中被定義為1或更多時,可能永遠設定高階位元為1並且以低階位元指示旗幟資訊。
注意到,支援資訊HLP之內容可被儲存進入一串流或管理資訊中,或其兩者中。例如,於其中支援資訊HLP內容被固定於一串流之情況中,該內容可被展示於管理資訊中,而於其中內容是可變的情況中,該內容可以一串流形式被展示。同時,也可能儲存指示該支援資訊HLP是否被固定或不在管理資訊中之旗幟資訊。同時,於其中支援資訊HLP以一應用標準形式(例如,一BD-ROM或一RAM)被預定之情況中,或於其中支援資訊HLP藉由通訊或廣播而分別地被提供之情況中,則支援資訊HLP可能不被儲存。
第27圖是實現本發明動畫解碼方法之動畫解碼裝置200方塊圖。這動畫解碼裝置200重播第8A和8B圖至第20圖所展示之編碼串流。其不僅可進行正常播放,同時也進行特技播放,例如,跳躍播放、變速播放以及反向播放。除了第5圖展示之習見的解碼裝置2單元之外,動畫解碼裝置200進一步地包含一串流抽取單元EXT及一AU解碼選擇單元AUsel。注意到,進行相同於第5圖方塊圖所展示之習見解碼裝置2之分別處理單元的操作之處理單元被指定相同之參考數目並且它們之說明將被省略。
AU解碼選擇單元AUsel,依據自外部輸入之一特技播放指令,以決定依據於可變長度解碼單元VLD中被解碼之特技播放資訊GrpInf而需要被解碼之AU。此處,指示特技播放之特技播放指令自該AU解碼選擇單元AUSel被輸入。進一步地,該AU解碼選擇單元AUsel通知串流抽取單元EXT關於指示該AU是被判定為需要被解碼之AU的資訊DecAU。該串流抽取單元EXT僅抽取對應至利用該AU解碼選擇單元AUsel而被判定為需要被解碼之AU的AU之串流,並且接著發送該串流至該可變長度解碼單元VLD。
第28圖是一流程圖,其展示第27圖展示之動畫解碼裝置200(主要是AU解碼選擇單元AUsel)如何在進行特技播放時進行包含特技播放資訊之串流的解碼步驟,亦即,為本發明動畫解碼方法之流程圖。
首先,於步驟20中,該AU解碼選擇單元AUsel藉由檢測該串流中之一SPS或其類似者而判斷該AU是否為隨機存取單元RAU之頂部AU。於其中該AU是頂部AU之情況中,其前進至步驟21,而同時於其中該AU不是頂部AU之情況中,其前進至步驟22。此處,隨機存取單元RAU之開始位置可自管理資訊(例如,時間映圖)而被獲得。尤其是於其中在跳躍播放時之播放開始位置被決定之情況中,或僅隨機存取單元RAU之頂部圖像被選擇並且高速播放於該被選擇之頂部圖像上被進行之情況中,可能決定參考至該時間映圖之隨機存取單元RAU的開始位置。於步驟21中,該AU解碼選擇單元AUsel自該AU資料而獲得該特技播放資訊、分析該AU資料並且在抵達步驟22之前決定將被解碼之AU。於步驟22中,該AU解碼選擇單元AUsel判斷該AU是否為於步驟21中被決定作為將被解碼之AU的AU。於其是該被決定之AU的情況中,該動畫解碼裝置200於步驟23中解碼該AU,而同時於其不是被決定之AU情況中,其前進至步驟24。於步驟24中,該動畫解碼裝置200判斷其是否保持任何將被解碼之AU。於其中有一AU之情況中,該動畫解碼裝置200重複步驟20和下面步驟之處理程序,而同時於其中沒有AU之情況中,其完成該處理程序。注意到,可能省略步驟21和步驟22之處理程序,或省略步驟21中之決定處理程序,並且輸出指示在正常播放時所有被解碼AU之資訊,於其中所有的AU依序地被解碼並且被顯示。
第29圖是指示於步驟21中之該處理程序(該AU解碼選擇單元AUsel之處理程序)的流程圖。首先,該AU解碼選擇單元AUsel藉由尋找AU資料中之開始碼前綴資訊而檢測構成一AU之NAL單元之開始位置,於步驟30中開始於頂部位元組,並且前進至步驟31。注意到,可能搜尋開始於不是AU資料之頂部位元組之一開始碼前綴資訊,而是開始於另一位置,例如,一存取單元定界符號之末尾位置。於步驟31中,該AU解碼選擇單元AUsel獲得NAL單元之NAL單元型式,並且前進至步驟32。於步驟32中,該AU解碼選擇單元AUsel判斷於步驟31中被獲得之NAL單元型式是否為用以儲存特技播放資訊之NAL單元型式。於其中特技播放資訊被儲存之情況中,其前進至步驟33,而於其中特技播放資訊不被儲存之情況中,其重複步驟30以及下面的步驟之處理程序。此處,於其中特技播放資訊被儲存於SEI訊息中之情況中,該AU解碼選擇單元AUsel首先獲得該SEI之NAL單元,並且進一步地,其判斷用以儲存該特技播放資訊之SEI訊息是否被包含於該NAL單元中。於步驟33中,該AU解碼選擇單元AUsel獲得特技播放資訊,並且其前進至步驟34。於步驟34中,該AU解碼選擇單元AUsel決定需要在進行一指定之特技播放操作時被解碼之圖像。例如,假設雙倍速度播放被指定。於其中特技播放資訊指示可能藉由僅解碼和重播一I圖像、P圖像以及參考B圖像而實現雙倍速度播放之情況中,其判定這三組型式圖像被解碼且被重播。注意到,於其中特技播放資訊不在自步驟30至步驟32之隨機存取單元RAU頂部圖像的處理程序中被檢測之情況中,該等圖像需要被解碼,以便進行依據預定方法被決定之指定的特技播放操作。作為一範例,可藉由參考於指示存取單元定界符號中一圖像之圖像型式欄,或藉由檢查NAL單元之檔頭的nal_ref_idc而判斷圖像是否為一參考圖像。例如,可藉由參考於指示圖像型式之欄以及nal_ref_idc兩者而辨認參考B圖像與非參考B圖像。
第30圖是流程圖,其指示於所有被解碼的AU不是經常被顯示之情況中的處理程序(AU解碼選擇單元AUsel之處理程序)。用以進行相同於第28圖流程圖步驟之處理程序的步驟被指定相同之參考數目,並且它們之說明將被省略。於步驟41中,AU解碼選擇單元AUsel獲得且分析特技播放資訊,決定一指定特技播放操作中將被解碼之AU以及將被顯示之AU,並且其前進至步驟42。於步驟42中,該AU解碼選擇單元AUsel判斷將被解碼之AU是否完全地匹配將被顯示之AU。於其中有一完全匹配之情況,其前進至步驟22,而於其中沒有完全匹配之情況,其前進至步驟43。於步驟43中,該AU解碼選擇單元AUsel輸出將被顯示之AU的列表資訊,並且其前進至步驟22。該被輸出的AU之列表資訊被使用於用以決定來自被解碼的AU中將被顯示之AU的步驟(未被展示於圖形中)。
注意到,於MPEG-4 AVC中,可能使用在解碼之後過濾處理(解方塊效應)於該等圖像上被進行以移除區塊失真之圖像作為參考圖像,以便改進圖像品質,並且可能使用在解方塊效應之前的圖像作為顯示之圖像。於此情況中,動畫解碼裝置200需要在該解方塊效應之前和之後保持圖像資料。此處,於動畫解碼裝置200具有可儲存等於四組圖像的解碼後資料之記憶體情況中,於其在解方塊效應之前和之後儲存該圖像資料進入記憶體中之情況中,該記憶體需要儲存等於二組圖像之資料,以便在參考圖像的解方塊效應之前保持圖像。但是,如上所述,在反向播放時需要儘可能多地保持圖像於一記憶體中。於動畫解碼裝置200同時也使用在解方塊效應之後的圖像供顯示所用之情況中,其可保持四組圖像資料於一記憶體中,因為不需要儲存在解方塊效應前之圖像。因此,顯示在解方塊效應之前圖像以便改進在標準方向播放時圖像品質並且在反向播放時顯示解方塊效應之後圖像使得可能保持更多圖像於一記憶體中,並且降低在反向播放時的處理數量。例如,於第15A至15C圖之範例中,其展示作為特技播放資訊之一I圖像和P圖像之AU列表,四組圖像的所有資料可在反向播放時被保持於一記憶體中,而同時下面之二組圖像的集合:I0和P3;P3和P6;以及P6和P9,其是任意地選自I0、P3、P6以及P9之間,可在正常方向播放時在相同時間被保持於記憶體中。
特技播放功能於重播一封裝媒體之光碟裝置中尤其是重要的。此處,下面接著將說明記錄上述之特技播放資訊進入下一代光碟之藍碟(BD)的範例。
首先,將說明一BD-ROM之記錄格式。
第31圖是一圖形,其指示BD-ROM之結構,尤其是碟片媒體之BD藍碟114的結構,以及被儲存於該碟片中之資料111、112以及113。被儲存於該BD碟片114中之資料包含AV資料113、BD管理資訊112(例如,關於該AV資料和AV重播序列之管理資訊)、以及一實現互動作用的BD播放程式111。此處,為方便起見,該BD碟片之說明將集中於供用於重播影片音訊和視覺內容之AV應用上,但是相似之說明可被用於其他使用上。
第32圖是展示被儲存於上述BD碟片中之邏輯資料目錄檔案結構的圖形。一BD碟片具有自其之內徑至其之外徑之記錄區域,其類似於,例如,DVD、CD以及其類似者,並且具有邏輯位址空間以供在內徑的讀入和在外徑的讀出之間儲存邏輯資料。同時,在讀入內部,也有一特別的區域,其僅可藉由被稱為燒錄區(BCA)之驅動而被讀出。因這區域不能自應用中被讀出時,其可被使用於,例如,複製權利保護技術。
檔案系統資訊(容積)被儲存於邏輯位址空間頂部中,並且應用資料,例如,視訊資料同時也被儲存在那裡。如於背景技術中之說明,一檔案系統是,例如,UDF或ISO9660,並且其能夠於類似一般PC之情況中使用一目錄結構或一檔案結構而讀取出被儲存之邏輯資料。
於這實施例中,作為BD碟片上之目錄結構和檔案結構,該BDVIDEO目錄即時地被安置在一徑由目錄(ROOT)之下。這目錄是儲存資料例如,於BD中被處理之AV內容或管理資訊(已於第32圖中被說明之101、102以及103)之目錄。
在BDVIDEO目錄之下,下面七個檔案被記錄。
(i)BD.INFO(檔案名稱被固定),其是“BD管理資訊”之一部分並且是儲存關於全部BD碟片之資訊的檔案。BD播放機首先讀出這檔案。
(ii)BD.PROG(檔案名稱被固定),其是“BD播放程式”之一並且是儲存關於全部BD碟片之播放控制資訊的檔案。
(iii)XXX.PL(“XXX”是可變的,並且該延伸部分“PL”被固定),其是“BD管理資訊”之一部分並且是儲存情節(播放序列)之播放列表資訊的檔案。各個播放列表具有一檔案。
(iv)XXX.PROG(“XXX”是可變的,並且該延伸部分“PROG”被固定),其是“BD播放程式”之一並且是儲存依據播放列表被備妥之播放控制資訊的檔案。對應的播放列表依據檔案個體名稱(依據一“XXX”之匹配)而被辨識。
(v)YYY.VOB(“YYY”是可變的,和該延伸部分“VOB”被固定),其是“AV資料”之一並且是儲存VOB(相同於背景技術中所說明之VOB)的檔案。各個VOB具有一檔案。
(vi)YYY.VOBI(“YYY”是可變的,且該延伸部分“VOBI”被固定),其是“BD管理資訊”之一部分並且是儲存關於為AV資料之VOB的串流管理資訊之檔案。該對應的播放列表依據一檔案個體名稱(依據“YYY”之一匹配)被辨識。
(vii)ZZZ.PNG(“ZZZ”是可變的,並且該延伸部分“PNG”被固定),其是“AV資料”之一並且是儲存用以構成子標題和選單之影像資料PNG(其是利用W3C被標準化之一圖像格式並且被稱為“ping”)的檔案。各個PNG影像具有一檔案。
BD導航資料(BD管理資訊)之結構將參考第33圖至第38圖而被說明。
第33圖是展示VOB管理資訊檔案(“YYY.VOBI”)之內部結構的圖形。該VOB管理資訊具有VOB之串流屬性資訊(Attribute)以及一時間映圖(TMAP)。該串流屬性分別地具有視訊屬性(Video)以及音訊屬性(Audio#0至Audio#m)。尤其是於音訊串流之情況中,因一VOB在相同時間具有多數音訊串流,資料欄之存在或不存在利用音訊串流數目(Number)被指示。
下面是分別地被儲存於欄中之視訊屬性(Video)以及分別欄可具有的數值。
(i)壓縮格式(編碼);MPEG-1;MPEG-2;MPEG-4;以及MPEG-4 AVC(先進視訊編碼)。
(ii)解析度:1920×1080;1440×1080;1280×720;720×480;以及720×565。
(iii)長寬比率(Aspect):4比3;以及16比9。
(iv)像框率(Framerate):60;59.94(60/1.001);50;30;29。97(30/1.001);25;24;以及23.976(24/1.001)。
下面是分別地被儲存於欄中之音訊屬性(Audio)以及該分別欄可具有的數值。
(i)壓縮格式(編碼);AC3;MPEG-1;MPEG-2;以及LPCM。
(ii)頻道數(Ch);1至8
(iii)語言屬性(語言):
時間映圖(TMAP)是用以依據VOBU而儲存資訊之列表,並且具有VOB所具有之VOBU數目以及VOBU資訊之分別的片段(VOBU#1至VOBU#n)。該VOBU資訊之分別的片段包含一VOBU之頂部TS封包的位址(I圖像之開始位址)之I_開始(I_start)、和一關於I圖像之結束位址的偏移位址(I_end)、以及I圖像之播放開始時間(PTS)。
第34圖是展示VOBU資訊之詳細說明的圖形。如廣泛地所習知,因變量位元率壓縮可被進行於MPEG視訊串流上以便記錄高品質之視訊串流,在播放時間和資料大小之間沒有比例性。另一方面,因一固定之位元率壓縮被進行於一音訊壓縮標準之AC3中,在時間和位址之間的關係可自一主要的表示式被獲得。但是,於MPEG視訊資料之情況中,各個像框具有一固定之顯示時間,例如,於NTSC之情況中,一像框具有1/29.97秒的顯示時間,但是在壓縮各個像框之後的資料大小,依據影像特點、或被使用於壓縮中之圖像型式(例如,I圖像、P圖像或B圖像)而大大地改變。因此,於一MPEG視訊串流之情況中,其是不可能使用一主要表示式代表在時間和位址之間的關係。
可被預期,不可能使用在其中MPEG視訊資料被多工化之一MPEG系統串流,亦即,一VOB,中主要表示式代表在時間和資料大小之間的關係。因此,一時間映圖(TMAP)連結時間與VOB中之位址。
以此方式,於其中給予時間資訊之情況中,時間所屬之VOBU首先被搜尋(依序地利用VOBU的PTS),即時地在此時之前的PTS跳躍進入TMAP具有之VOBU中(利用I_start被指定之位址),解碼開始於VOBU之頂部I圖像,並且顯示開始於對應至該時間之圖像。
接著,將參考第35圖說明播放列表資訊(“XXX.PL”)之內部結構。該播放列表資訊包含一胞元列表(CellList)以及一事件列表(EventList)。
該胞元列表(CellList)是播放列表中之一播放胞元序列,並且該等胞元依這列表中指示之說明順序而被重播。胞元列表(CellList)之內容是胞元數目(Number)以及各個胞元(胞元#1至胞元#n)之資訊。
胞元資訊(Cell#)具有一VOB檔案名稱(VOBName)、VOB中之開始時間(In)和結束時間(Out)、以及子標題(SubtitleTable)。開始時間(In)和結束時間(Out)被表示為各個VOB中之像框數。可藉由使用上述之時間映圖(TMAP)而獲得供播放所需要的VOB資料位址。
該子標題列表(SubtitleTable)是一列表,其儲存與VOB同步被重播之子標題資訊。相同於音訊之情況,多數語言被包含於子標題中。該子標題列表(SubtitleTable)之第一資訊包含語言數目(Number)以及下面依據語言基礎被備妥的列表(Language#1至Language#k)。
各語言列表(Language#)包含語言資訊(Lang),將分別地被顯示之子標題的子標題資訊片段數目(Number)、以及將分別地被顯示之子標題的子標題資訊(Speech#1至Speech#j)。該子標題資訊(Speech#)包含一影像資料檔案名稱(Name)、子標題顯示開始時間(In)、子標題顯示結束時間(Out)以及一子標題顯示位置(Position)。
事件列表(EventList)是定義發生於播放列表中之各事件的列表。該事件列表包含事件數目(Number)和分別的事件(Event#1至Event#m)。各個事件(Event#)包含一事件型式(Type)、一事件ID(ID)、一事件發生時間(Time)以及一事件持續(Duration)。
第36圖是一事件管理器列表(“XXX.PROG”),其具有依據播放列表被備妥之事件管理器(其是用於選單選擇之時間事件以及使用者事件)。該事件管理器列表包含被定義之事件管理器/程式之數目(Number)以及分別事件管理器/程式(Program#1至Program#n)。各個事件管理器/程式(Program#)之內容是一事件管理器(<event_handler>tag)和與早先說明的事件ID成對之事件管理器ID(ID)之定義,並且接著是,說明於跟隨函數(Function)之“{}”中之程式。被儲存於早先說明之“XXX.PL”的事件列表(EventList)中之事件(Event#1至Event#m)使用“XXX.PROG”事件管理器之一ID(ID)被指定。
接著,關於該全部BD碟片之資訊(“BD.INFO”)的內部結構將參考第37圖被說明。關於全部BD碟片之資訊包含一標題列表(TitleList)和用於總體事件的一事件列表(EventList)。
標題列表(TitleList)包含碟片標題數目(Number)以及接在標題數目之後的標題資訊(Title#1至Title#n)片段。該分別的標題資訊(Title#)片段包含被包含於標題中之一播放列表(PLTable)以及該標題中之一章節列表(ChapterList)。該播放列表(PLTable)包含該標題中之播放列表數目(Number)以及為播放列表檔案名稱之播放列表名稱(Name)。
章節列表(ChapterList)包含被包含於標題中之章節數目(Number)以及章節資訊(Chapter#1至Chapter#n)之片段。章節資訊(Chapter#)之各個片段包含被包含於章節中之一胞元列表(CellTable),並且該胞元列表(CellTable)包含胞元數目(Number)以及胞元項目資訊(CellEntry#1至CellEntry#k)之片段。該胞元項目資訊(CellEntry#)包含有含該等胞元之播放列表名稱以及該播放列表中之胞元數目。
事件列表(EventList)包含總體事件數目(Number)以及總體事件資訊之片段。應注意到,首先被定義之總體被稱為第一事件(FirstEvent),並且是被稱為在BD碟片被塞進入播放機之後的第一事件。對於總體事件之事件資訊僅具有一事件型式(Type)和一事件ID(ID)。
第38圖是總體事件管理器程式(“BD.PROG”)之列表。這列表之內容是相同於上述第36圖之事件管理器列表的內容。
於以上述所提之BD-ROM格式而儲存上述特技播放資訊之情況中,考慮一包含一個或多個隨機存取單元RAU之VOBU,並且特技播放資訊被包含於VOBU頂部AU中。注意到,於該MPEG-4 AVC中,其包含有特技播放資訊被儲存於其中之NAL單元。
注意到,特技播放資訊可被儲存於BD管理資訊中。例如,可能利用延伸VOB管理資訊之時間映圖而儲存依據VOBU被備妥之特技播放資訊。同時,也可能定義用以儲存該特技播放資訊之新的映圖。
同時,也可能儲存該特技播放資訊進入VOBU或BD管理資訊中。
同時,也可能僅儲存該特技播放資訊原定值進入該BD管理資訊中,並且僅於其中關於VOBU之特技播放資訊是不同於該原定數值之情況中,可能儲存該特技播放資訊進入VOBU中。
同時,也可能儲存一組或多組片段特技播放資訊之其中一組進入該BD管理資訊作為一般在串流之間的資訊。該VOBU可參考於被儲存在該BD管理資訊中之特技播放資訊片段之間的特技播放資訊之一片段。於此情況中,供VOBU所參考之特技播放資訊的索引資訊被儲存進入VOBU單元或該VOBU之管理資訊中。
第39圖概略地展示播放第31圖展示之BD碟片和其類似者的播放機之功能結構方塊圖。BD碟片201上之資料經由光學拾取器202被讀取。該被讀取之資料依據其分別之資料型式被發送至一專用的記憶體。該BD播放程式(“BD.PROG”或“XXX.PROG”之內容)被發送至一程式記憶體203。同時,該BD管理資訊(“BD.INFO”,“XXX.PL”或“YYY.VOBI”)被發送至管理資訊記憶體204。同時,該AV資料(“YYY.VOB”或“ZZZ.PNG”)也被發送至一AV記憶體205。
被記錄於程式記憶體203中之BD播放程式被程式處理單元206所處理。同時,被記錄於管理資訊記憶體204中之BD管理資訊也被管理資訊處理單元207所處理。同時,被記錄於AV記憶體205中之AV資料也被呈現處理單元208所處理。
程式處理單元206接收將利用管理資訊處理單元207被播放之播放列表的資訊以及事件資訊(例如,程式執行時序),並且進行該程式之處理。同時,可能動態地改變將利用該程式被播放之播放列表。這可藉由發送播放列表之播放指令至管理資訊處理單元207而被實現。程式處理單元206自使用者接收一事件,換言之,經由遠處控制器而接收一要求,並且於其中有對應至該使用者事件的一程式之情況中,其執行該程式。
管理資訊處理單元207自程式處理單元206接收一指令、分析該播放列表和對應至該播放列表的VOB之管理資訊、並且指示該呈現處理單元208播放該目標AV資料。同時,該管理資訊處理單元207也自該呈現處理單元208接收標準時間資訊、依據時間資訊以指示該呈現處理單元208停止播放該AV資料。同時,該管理資訊處理單元207也產生一事件以通知程式處理單元206有關該程式之執行時序。
呈現處理單元208具有一編碼器,其可分別地處理視訊、音訊、子標題/影像(靜態圖像)。其依據來自管理資訊處理單元207之指令而解碼且輸出該AV資料。於視訊資料、和子標題/影像之情況中,它們被解碼且接著於分別的專用平面(亦即,視訊平面210和影像平面209)中被產生。在那之後,綜合處理單元211進行視訊之綜合處理,並且輸出該視訊至一顯示裝置,例如,TV。
在特技播放(例如,跳躍播放、可變速播放以及反向播放)之時,該呈現處理單元208詮釋使用者所要求之特技播放操作,並且通知管理資訊處理單元207關於該資訊(例如,播放速率)。該管理資訊處理單元207分析被儲存於VOBU頂部AU中之特技播放資訊並且決定將被解碼和被顯示之AU,因而被使用者所指定之特技播放操作可確實被進行。注意到,該管理資訊處理單元207可獲得該特技播放資訊,將它輸出至該呈現處理單元208並且決定呈現處理單元208中將被解碼之AU和將被顯示之AU。
注意到,一獨立電腦系統可容易地執行這實施例所展示之處理程序,其藉由記錄用以實現這實施例中所展示之動畫編碼方法和動畫解碼方法的程式進入一記錄媒體(例如,軟碟)中而執行該處理程序。
第40A至40C圖是展示電腦系統如何使用被記錄於記錄媒體(例如,軟碟)中之程式以執行這實施例之動畫編碼方法和動畫解碼方法。
第40A圖展示作為記錄媒體之軟碟的實際格式之範例。第40B圖展示一軟碟和前視圖以及軟碟外觀之截面圖。軟碟(FD)被包含於一框盒F中,多數個軌線(Tr)同軸地自碟片外徑進入內徑地被形成於碟片表面上,並且各個軌線於角度方向被分割成為16區段(Se)。因此,於儲存上述程式之軟碟的情況中,該程式被記錄於於軟碟(FD)上被分配供其儲存之區域中。
同時,第40C圖展示供用於記錄和播放在軟碟上之程式的結構。於重編碼上面用於實現動畫編碼方法和動畫解碼方法之程式於軟碟FD上之情況中,一電腦系統Cs經由一軟碟驅動器而將該程式寫入於軟碟上。同時,於使用軟碟中之程式以構成上面用於實現該動畫編碼方法和該動畫解碼方法之動畫編碼裝置和動畫解碼裝置的情況中,該程式自該軟碟經由軟碟驅動器被讀取,並且被傳送至該電腦系統。
注意到,上面已說明使用軟碟作為記錄媒體,但是程式可被記錄於光碟上。同時,記錄媒體也不受此限制,只要其可記錄該程式之其他的記錄媒體(例如,一IC卡、一ROM卡匣)亦可被使用。
至目前為止,本發明之動畫串流產生裝置、動畫編碼裝置、動畫多工裝置以及動畫解碼裝置已依據實施例而被說明,但是本發明是不受限制於這實施例。熟習本技術者應明白,依據這實施例本發明將可包含許多變化,並且此等變化皆在本發明主題範圍之內。
例如,本發明這實施例包含下列裝置:(i)一動畫串流產生裝置;具有動畫編碼裝置和動畫解碼裝置之一者的一光碟記錄裝置;一動畫傳送裝置;一數位電視廣播發送裝置;一網路伺服器;一通訊裝置;一移動式資訊終端機;及其類似者;以及(ii)具有動畫解碼裝置之動畫接收裝置;一數位電視廣播接收裝置;一通訊裝置;一移動式資訊終端機;以及其類似者。
注意到,第21圖、第23圖、第27圖以及第39圖所展示之分別的功能方塊一般被實現而作為LSI,其是一大尺度積體電路。各功能方塊可被構成於一個別的晶片,或功能方塊之一部份或全部可被整合於一單一晶片(例如,除了記憶體之外的功能方塊可被構成於一單一晶片)。該積體電路於此被稱為LSI,但是其亦可依據該整合位準而被稱為IC、系統LSI、特級LSI、或超級LSI。同時,形成它們於積體電路之方法也是不受限制於將它們形成於LSI之方法,其可藉由專用電路或一般的處理器而被實現。同時,也可能使用(i)一可重組處理器,於其中電路胞元之連接或設定可被重組,或使用(ii)一可程控之FPGA(場可程式閘陣列),在將它們形成於一LSI之後。進一步地,當半導體技術進一步地被發展或任何衍生技術出現時,其中將它們形成於一積體電路以取代將它們形成於一LSI之技術出現之情況中,則功能方塊將可使用這樣的新技術而形成於一積體電路。生物技術應用是很可能地。同時,在分別的功能方塊之中,將被編碼或被解碼之圖像資料所儲存之一儲存單元(一圖像記憶體)可分別地被組態,以取代被包含於一個別晶片中。
雖然,僅本發明一實施例範例被詳細地說明,熟習本技術者應明白,本發明實施例範例可有許多的修改,而不脫離本發明之新穎技術和優點。因此,所有此等修改將被包含於本發明範圍之內。
本發明是可應用於,例如:一動畫串流產生裝置,其產生以特技播放被播放之動畫;一動畫編碼裝置,其藉由編碼而產生將以特技播放被播放之動畫;一動畫多工裝置,其藉由封包多工化而產生將以特技播放被播放之動畫;以及一動畫解碼裝置,其以特技播放播放該動畫,並且尤其是,作為構成一系統之裝置,該系統是用以使用一特技播放模式(例如,可變速播放和反向播放)而播放MPEG-4 AVC串流,此一裝置是,例如,一光碟相關裝置,其是特技播放功能一般所聚焦之裝置。
1...動畫編碼裝置
2...動畫解碼裝置
100...動畫編碼裝置
101...串流屬性決定單元
102...編碼單元
103...管理資訊產生單元
104...一般管理資訊產生單元
105...播放支援資訊產生單元
106...多工單元
107...儲存單元
108...動畫多工裝置
111...BD播放程式
112...BD管理資訊(情節,AV管理資訊)
113...AV資料(MPEG/PNG)
114...BD碟片
200...動畫解碼裝置
201...BD碟片
202...光學檢選機
203...程式記錄記憶體
204...管理資訊記錄記憶體
205...AV記錄記憶體
206...程式處理單元
207...管理資訊處理單元
208...呈現處理單元
209...影像平面
210...視訊平面
211...綜合處理單元
第1A和1B圖是分別地展示背景技術之MPEG-2串流結構的圖形;
第2A和2B圖是分別地展示背景技術之MPEG-2 GOP結構的圖形;
第3A和3B圖是分別地展示背景技術之MPEG-4串流結構的圖形;
第4圖是展示習見編碼裝置結構之方塊圖;
第5圖是展示習見解碼裝置結構之方塊圖;
第6A和6B圖是分別地展示習見MPEG-4 AVC串流之預估結構範例的圖形;
第7圖是展示習見MPEG-4 AVC串流之另一預估結構範例的圖形;
第8A和8B圖是分別地展示MPEG-4 AVC串流結構之圖形;
第9A至9D圖是展示隨機存取單元RAU中將被解碼之AU的第一範例圖形;
第10A至10D圖是展示隨機存取單元RAU中將被解碼之AU的第二範例圖形;
第11A至11C圖是展示隨機存取單元RAU中將被解碼之AU的第三範例圖形;
第12A至12F圖是展示指定在隨機存取單元RAU中將被解碼之AU的方法之範例圖形;
第13A圖是展示一指示變速播放資訊的列表之語法範例圖形,且第13B圖是展示一資料儲存單元之圖形;
第14圖是指示變速播放資訊之列表的延伸範例圖形;
第15A至15C圖是展示隨機存取單元RAU中I圖像和P圖像的AU作為變速播放資訊之範例圖形;
第16A至16C圖是在使用AU之優先順序作為變速播放資訊時其中緩衝器延遲時間被使用作為優先順序指示器之範例圖形;
第17A和17B圖是分別地展示共存於分別的RAU中之像框結構AU和像場結構AU的範例之圖形;第17C圖是一種圖形,其展示RAU中各AU之結構之第一映圖(RAU_map1)的語法範例;第17D圖是一種圖形,其展示第17B圖之RAU的RAU_map1;第17E圖是一種圖形,其展示關於第17B圖之隨機存取單元RAU的RAU_map;第17F圖是一種圖形,其展示一像場組對之各個像框或各個圖像的編碼型式之第二映圖(RAU_map2)之語法範例;
第18A圖至第18C圖是展示另一映圖範例作為播放資訊之圖形;
第19圖是用以指示隨機存取單元RAU中邊緣資訊之方法的圖形;
第20A圖和第20B圖是展示隨機存取單元RAU中之圖像的預估結構範例之圖形;
第21圖是展示本發明之動畫編碼裝置結構的方塊圖;
第22圖是一動畫編碼方法之流程圖;
第23圖是展示本發明一動畫多工裝置結構之方塊圖;
第24A圖和第24B圖是展示支援資訊HLP範例內容之圖形;
第25圖是展示一NAL單元範例之圖形,於其中,特技播放資訊被儲存於該支援資訊HLP中;
第26圖是展示動畫多工裝置操作之流程圖;
第27圖是展示本發明動畫解碼裝置結構之方塊圖;
第28圖是習見圖像解碼方法的流程圖;
第29圖是決定將以本發明動畫解碼方法被解碼之AU的流程圖;
第30圖是一種流程圖,其展示在將被解碼之AU不匹配於將以本發明動畫解碼方法被顯示之AU的情況中所被進行之處理;
第31圖是展示HD-DVD之資料階系的圖形;
第32圖是HD-DVD上之邏輯空間的結構圖;
第33圖是VOB資訊檔案之結構圖;
第34圖是時間映圖之圖形;
第35圖是播放列表檔案之結構圖;
第36圖是對應於播放列表之程式檔案的結構圖;
第37圖是展示整體BD碟片之管理資訊檔案的結構圖;
第38圖是用以記錄一廣域事件處理器之檔案的結構圖;
第39圖是展示HD-DVD播放器概要之方塊圖;以及
第40A至40C圖之圖形展示用以儲存實現本發明動畫編碼方法和動畫解碼方法之程式的記錄媒體。
100...動畫編碼裝置
RAUin...隨機存取單元開始圖像
Vin...輸入視訊信號
TrickPlay...特技播放資訊產生單元
Str...編碼串流
PTYPE...預估結構決定單元
ME...移動向量估計單元
MV...移動向量
MC...移動補償單元
Sub...減算單元
Add...加算單元
T...正交轉換單元
IT...反向正交轉換單元
Q...量化單元
IQ...反向量化單元
Qcoef.,量化數值
PicMem...圖像記憶體
SW...開關
VLC..,可變長度編碼單元
Ptype..,圖像型式
Index..,相對指標
Map...映圖
Claims (6)
- 一種動畫串流產生裝置,係用以產生包含一由數個圖像製成之隨機存取單元之一動畫串流,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像,該動畫串流產生裝置包括:一編碼單元,係組構以將包含於該隨機存取單元之增補資訊編碼,該增補資訊係為該等數個圖像各自的圖像型式資訊的片段,且該等圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置;及一產生單元,係組構以藉由將該經編碼的增補資訊添加至該I圖像而產生一動畫串流,其中該等數個圖像各自的該圖像型式資訊指出下列之一者:執行畫面內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照。
- 一種動畫串流產生方法,係用於產生包含一由數個圖像製成之隨機存取單元之一動畫串流,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像,該動畫串流產生方法包括:將包含於該隨機存取單元之增補資訊編碼,該增補資訊係為該等數個圖像各自的圖像型式資訊的片段,且該等圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置;及藉由將該經編碼的增補資訊添加至該I圖像而產生一動畫串流,其中該等數個圖像各自的該圖像型式資訊指出下列之一者:執行畫面內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照。
- 一種動畫解碼裝置,係用以將包含一由數個圖像製成之隨機存取單元之一動畫串流予以解碼及播放該經解碼的動畫串流,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像,該動畫解碼裝置包括:一指示取得單元,係組構以取得一指出應被執行的特技播放指示;一分析單元,係組構以藉由解多工自該I圖像之增補資訊來分析每一隨機存取單元之該增補資訊,該增補資訊係包含於該隨機存取單元中且該圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置;一播放圖像規格單元,係組構以根據該分析單元所執行的分析之一結果,在包含於該隨機存取單元的圖像之中,指定該特技播放所需的數個圖像;及一解碼單元,係組構以將該播放圖像規格單元所指定之該等圖像解碼及播放該經解碼的圖像,其中該等數個圖像各自的該圖像型式資訊指出下列之一者:執行畫面內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照。
- 一種動畫解碼方法,係用於將包含一由數個圖像製成之隨機存取單元之一動畫串流予以解碼及播放該經解碼的動畫串流,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像,該動畫解碼方法包括:取得一指出應被執行的特技播放指示;藉由解多工自該I圖像之增補資訊來分析每一隨機存取單元之該增補資訊,該增補資訊係包含於該隨機存取單元中且該圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置;根據該分析單元所執行的分析之一結果指定該特技播放所需的數個圖像,該等圖像係包含於該隨機存取單元的圖像之中;及將該播放圖像規格單元所指定之該等圖像解碼及播放該經解碼的圖像,其中該等數個圖像各自的該圖像型式資訊指出下列之一者:執行畫面內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照。
- 一種記錄方法,係用於將包含一由數個圖像製成之隨機存取單元之一動畫串流記錄到一記錄媒體之上,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像,該記錄方法包括:將包含於該隨機存取單元之增補資訊編碼,該增補資訊係為該等數個圖像各自的圖像型式資訊的片段,且該等圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置;藉由將該經編碼的增補資訊添加至該I圖像而產生一動畫串流;及將該動畫串流記錄到該記錄媒體之上,其中該等數個圖像各自的該圖像型式資訊指出下列之一者:執行畫面內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照。
- 一種動畫串流解碼系統,其包括:一記錄媒體,係組構以儲存包含一由數個圖像製成之隨機存取單元之一動畫串流,該等數個圖像包含一在解碼順序中為一起始圖像之I圖像;及一從該記錄媒體讀出該動畫串流且將該動畫串流解碼之動畫解碼裝置,其中該動畫串流係記錄在該記錄媒體之上,包含於該隨機存取單元之增補資訊係添加至該I圖像,該增補資訊係為該等數個圖像各自的圖像型式資訊的片段,且該等圖像型式資訊的片段被依一對應於該等數個圖像之該解碼順序放置,及該等數個圖像各自的該圖像型式資訊指出下列之一者:執行框內編碼之一I圖像;對編碼之一基本單元之每一區塊參照1幀圖像執行畫面間編碼之一P圖像;對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一參照B圖像,且該參照B圖像可被其他圖像參照;及對編碼之一基本單元之每一區塊參照2幀圖像執行畫面間編碼之一非參照B圖像,且該非參照B圖像無法被其他圖像參照,其中該動畫解碼裝置包含:一指示取得單元,係組構以取得一指出應被執行的特技播放指示;一分析單元,係組構以藉由解多工自該I圖像之該增補資訊來分析每一隨機存取單元之該增補資訊;一播放圖像規格單元,係組構以根據該分析單元所執行的分析之一結果,在包含於該隨機存取單元的圖像之中,指定該特技播放所需的數個圖像;及一解碼單元,係組構以將該播放圖像規格單元所指定之該等圖像解碼及播放該經解碼的圖像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134212 | 2004-04-28 | ||
JP2004165005 | 2004-06-02 | ||
JP2004251871 | 2004-08-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200949824A TW200949824A (en) | 2009-12-01 |
TWI395207B true TWI395207B (zh) | 2013-05-01 |
Family
ID=34971443
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW98125882A TWI395207B (zh) | 2004-04-28 | 2005-04-27 | 動畫串流產生裝置及方法、動畫解碼裝置及方法、在記錄媒體上記錄動畫串流之記錄方法及動畫解碼系統 |
TW94113458A TWI324338B (en) | 2004-04-28 | 2005-04-27 | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW94113458A TWI324338B (en) | 2004-04-28 | 2005-04-27 | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
Country Status (13)
Country | Link |
---|---|
US (5) | US7843994B2 (zh) |
EP (8) | EP2207181B1 (zh) |
JP (5) | JP4071811B2 (zh) |
KR (1) | KR101148765B1 (zh) |
CN (5) | CN101697575B (zh) |
AT (7) | ATE555475T1 (zh) |
CA (2) | CA2811897C (zh) |
DE (2) | DE602005021926D1 (zh) |
ES (7) | ES2383652T3 (zh) |
MY (2) | MY144441A (zh) |
PL (6) | PL2182519T3 (zh) |
TW (2) | TWI395207B (zh) |
WO (1) | WO2005106875A1 (zh) |
Families Citing this family (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4002878B2 (ja) * | 2003-01-17 | 2007-11-07 | 松下電器産業株式会社 | 画像符号化方法 |
US8514938B2 (en) | 2004-10-07 | 2013-08-20 | Hewlett-Packard Development Company L.P. | Picture coding apparatus for a still picture sequence and picture decoding apparatus for a still picture sequence |
ES2339587T3 (es) * | 2005-01-10 | 2010-05-21 | Panasonic Corporation | Aparato de codificacion de imagenes y aparato de decodificacion de imagenes. |
JP2006211274A (ja) * | 2005-01-27 | 2006-08-10 | Toshiba Corp | 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法 |
KR100770704B1 (ko) | 2005-08-04 | 2007-10-29 | 삼성전자주식회사 | 픽쳐 스킵 방법 및 장치 |
NZ566935A (en) | 2005-09-27 | 2010-02-26 | Qualcomm Inc | Methods and apparatus for service acquisition |
US8229983B2 (en) | 2005-09-27 | 2012-07-24 | Qualcomm Incorporated | Channel switch frame |
EP1952627A1 (en) * | 2005-11-03 | 2008-08-06 | Thomson Licensing | Digital video recording device and method |
US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
US9516326B1 (en) * | 2005-12-09 | 2016-12-06 | Nvidia Corporation | Method for rotating macro-blocks of a frame of a video stream |
FR2894739A1 (fr) * | 2005-12-12 | 2007-06-15 | Thomson Licensing Sa | Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video |
JP4736918B2 (ja) * | 2006-04-11 | 2011-07-27 | パナソニック株式会社 | デジタル再生装置または再生プログラム |
US8699583B2 (en) * | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
US20080068993A1 (en) * | 2006-09-08 | 2008-03-20 | Edgeware Ab | Method and an apparatus for data streaming |
US8826345B2 (en) * | 2006-09-08 | 2014-09-02 | Edgeware Ab | Method and an apparatus for data streaming |
US20080062869A1 (en) * | 2006-09-08 | 2008-03-13 | Edgeware Ab | Method and an apparatus for data streaming |
JP4947349B2 (ja) * | 2006-11-10 | 2012-06-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8873932B2 (en) | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
US20090180546A1 (en) | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
IN2014MN01853A (zh) | 2006-11-14 | 2015-07-03 | Qualcomm Inc | |
CA2669153A1 (en) | 2006-11-15 | 2008-05-22 | Qualcomm Incorporated | Systems and methods for applications using channel switch frames |
CN101622879B (zh) | 2007-01-18 | 2012-05-23 | 诺基亚公司 | 以rtp净荷格式传输sei消息 |
KR101396364B1 (ko) * | 2007-01-24 | 2014-05-19 | 삼성전자주식회사 | 컨텐츠를 저장한 정보저장매체, 재생 방법 및 장치 |
US7995640B2 (en) * | 2007-04-30 | 2011-08-09 | Texas Instruments Incorporated | Dynamic interpolation location |
JP2008294638A (ja) * | 2007-05-23 | 2008-12-04 | Sony Corp | 伝送システム、記録装置、伝送方法、記録方法、およびプログラム |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
KR100951008B1 (ko) * | 2007-12-17 | 2010-04-02 | 한국전자통신연구원 | 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템 |
JP5170708B2 (ja) * | 2008-01-24 | 2013-03-27 | 日本電気株式会社 | 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
JP4577409B2 (ja) * | 2008-06-10 | 2010-11-10 | ソニー株式会社 | 再生装置、再生方法、プログラム、及び、データ構造 |
WO2009152450A1 (en) * | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
WO2009158550A2 (en) * | 2008-06-25 | 2009-12-30 | Cisco Technology, Inc. | Support for blocking trick mode operations |
EP2356812B1 (en) | 2008-11-12 | 2015-06-10 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
FR2940737A1 (fr) * | 2008-12-31 | 2010-07-02 | Thomson Licensing | Generation de flux de paquets de donnees video contenant des informations d'acceleration pour le decodage |
MX2010007649A (es) * | 2009-01-19 | 2010-08-13 | Panasonic Corp | Metodo de codificacion, metodo de decodificacion, aparato de codificacion, aparato de decodificacion, programa y circuito integrado. |
US8326131B2 (en) | 2009-02-20 | 2012-12-04 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US9300969B2 (en) | 2009-09-09 | 2016-03-29 | Apple Inc. | Video storage |
US20110129202A1 (en) * | 2009-12-01 | 2011-06-02 | Divx, Llc | System and method for determining bit stream compatibility |
TWI410135B (zh) * | 2009-12-08 | 2013-09-21 | Alticast Corp | 在數位廣播系統中傳送/接收傳輸流的裝置與方法 |
US20110176611A1 (en) * | 2010-01-15 | 2011-07-21 | Yu-Wen Huang | Methods for decoder-side motion vector derivation |
US8254453B2 (en) * | 2010-01-20 | 2012-08-28 | Himax Media Solutions, Inc. | Multi-format video decoder and related decoding method |
JP5387430B2 (ja) * | 2010-01-28 | 2014-01-15 | 株式会社Jvcケンウッド | 動画像再生装置、動画像再生方法、及び、プログラム |
US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
US8259808B2 (en) * | 2010-03-25 | 2012-09-04 | Mediatek Inc. | Low complexity video decoder |
EP3703369B1 (en) | 2010-04-13 | 2024-07-24 | GE Video Compression, LLC | Sample region merging |
CN106067983B (zh) | 2010-04-13 | 2019-07-12 | Ge视频压缩有限责任公司 | 解码数据流的方法、生成数据流的方法及解码器 |
CN106231337B (zh) | 2010-04-13 | 2020-06-19 | Ge视频压缩有限责任公司 | 解码器、解码方法、编码器以及编码方法 |
BR122020008249B1 (pt) | 2010-04-13 | 2021-02-17 | Ge Video Compression, Llc | herança em amostra de arranjo em subdivisão multitree |
JP5805991B2 (ja) * | 2010-05-07 | 2015-11-10 | トムソン ライセンシングThomson Licensing | ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム |
JP2011259110A (ja) * | 2010-06-07 | 2011-12-22 | Panasonic Corp | 動画再生方法および動画再生装置 |
JP2012018727A (ja) * | 2010-07-08 | 2012-01-26 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP5589654B2 (ja) * | 2010-08-04 | 2014-09-17 | 三菱電機株式会社 | 映像音声再生装置、および映像音声再生方法 |
KR102030977B1 (ko) | 2011-02-22 | 2019-10-10 | 타지반 투 엘엘씨 | 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치 |
CA2807545C (en) | 2011-02-22 | 2018-04-10 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
US9516379B2 (en) | 2011-03-08 | 2016-12-06 | Qualcomm Incorporated | Buffer management in video codecs |
KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
JP5341952B2 (ja) | 2011-05-30 | 2013-11-13 | 株式会社東芝 | ビデオサーバ及びデータ収録再生方法 |
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
US8743969B2 (en) | 2011-06-23 | 2014-06-03 | Panasonic Corporation | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
WO2012176464A1 (ja) | 2011-06-24 | 2012-12-27 | パナソニック株式会社 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置 |
KR102062283B1 (ko) | 2011-06-24 | 2020-01-03 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
CA2842646C (en) | 2011-06-27 | 2018-09-04 | Panasonic Corporation | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
CN106878724B (zh) | 2011-06-28 | 2020-06-05 | 太阳专利托管公司 | 图像编码解码装置 |
MX2013010892A (es) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
CA2837537C (en) | 2011-06-30 | 2019-04-02 | Panasonic Corporation | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
MX337078B (es) * | 2011-07-02 | 2016-02-11 | Samsung Electronics Co Ltd | Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video. |
US8767824B2 (en) | 2011-07-11 | 2014-07-01 | Sharp Kabushiki Kaisha | Video decoder parallelization for tiles |
CA2838575C (en) | 2011-07-11 | 2018-06-12 | Panasonic Corporation | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
EP3843394B1 (en) | 2011-07-19 | 2024-04-03 | Tagivan Ii Llc | Coding method |
CN103369314B (zh) * | 2012-04-01 | 2018-02-16 | 中兴通讯股份有限公司 | 帧场信息的编码方法及解码方法、编码器和解码器 |
KR102094503B1 (ko) * | 2012-04-15 | 2020-03-30 | 삼성전자주식회사 | 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치 |
US9979958B2 (en) | 2012-04-20 | 2018-05-22 | Qualcomm Incorporated | Decoded picture buffer processing for random access point pictures in video sequences |
KR102167096B1 (ko) * | 2012-09-13 | 2020-10-16 | 엘지전자 주식회사 | 영상 부호화/복호화 방법 및 장치 |
US8989508B2 (en) * | 2012-09-28 | 2015-03-24 | Sharp Kabushiki Kaisha | Electronic device for signaling a sub-picture buffer parameter |
EP3038365B1 (en) * | 2013-08-22 | 2021-01-13 | Sony Corporation | Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device |
KR101792518B1 (ko) * | 2013-12-16 | 2017-11-02 | 엘지전자 주식회사 | 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법 |
JP6224522B2 (ja) * | 2014-05-22 | 2017-11-01 | 日本電信電話株式会社 | 映像配信装置、映像配信方法及び映像配信プログラム |
US9838697B2 (en) | 2014-06-25 | 2017-12-05 | Qualcomm Incorporated | Multi-layer video coding |
KR101528269B1 (ko) * | 2014-09-04 | 2015-06-16 | (주)브레인키즈 | 동영상 재생 방법 |
CN106105221B (zh) * | 2015-01-09 | 2021-05-04 | 索尼公司 | 图像处理设备、图像处理方法以及记录介质 |
KR101868203B1 (ko) * | 2015-01-28 | 2018-07-20 | 한국전자통신연구원 | 스트림 처리 방법 및 장치 |
WO2017047399A1 (ja) * | 2015-09-15 | 2017-03-23 | ソニー株式会社 | 受信装置および方法、送信装置および方法 |
CN106792078A (zh) * | 2016-07-12 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频处理方法及装置 |
US10412383B2 (en) * | 2017-08-15 | 2019-09-10 | Google Llc | Compressing groups of video frames using reversed ordering |
TWI659647B (zh) * | 2017-11-21 | 2019-05-11 | 晶睿通訊股份有限公司 | 影像播放設備及其影像播放方法 |
TWI665663B (zh) * | 2018-08-22 | 2019-07-11 | 張維中 | 影音倒轉播放裝置與系統及其方法 |
CN109618186B (zh) * | 2018-11-15 | 2021-01-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种采用fpga实现的h264/avc视频辅助增强信息封装电路 |
KR20220100710A (ko) * | 2019-12-23 | 2022-07-15 | 엘지전자 주식회사 | Nal 유닛 타입 기반 영상 또는 비디오 코딩 |
US11792432B2 (en) * | 2020-02-24 | 2023-10-17 | Tencent America LLC | Techniques for signaling and identifying access unit boundaries |
KR20220156831A (ko) | 2020-03-20 | 2022-11-28 | 바이트댄스 아이엔씨 | 서브픽처의 레퍼런스 픽처 목록에 대한 제약 |
BR112022021342A2 (pt) | 2020-04-20 | 2022-12-13 | Bytedance Inc | Método de processamento de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador |
KR20230019845A (ko) | 2020-06-08 | 2023-02-09 | 바이트댄스 아이엔씨 | 코딩된 비디오 픽처에서 슬라이스 카운트의 제약들 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0756281A2 (en) * | 1995-07-28 | 1997-01-29 | Sony Corporation | Data coding/decoding method and apparatus and coded data recording medium |
JP2003009085A (ja) * | 2001-06-20 | 2003-01-10 | Mitsubishi Electric Corp | デジタル信号記録装置および方法、デジタル信号再生装置および方法 |
TW200405285A (en) * | 2002-04-02 | 2004-04-01 | Sony Corp | Data recording device and method, data playing device and method, information recording medium, program storage medium and program |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX9504123A (es) * | 1994-02-28 | 1997-04-30 | Sony Corp | Metodo y aparato de registro de datos, medio de registro de datos, y metodo y aparato de reproduccion de datos. |
JP3365109B2 (ja) * | 1994-12-28 | 2003-01-08 | ソニー株式会社 | データ再生装置及びデータ再生方法 |
JP3604186B2 (ja) | 1995-02-16 | 2004-12-22 | 三菱電機株式会社 | 記録媒体の記録方法及び再生方法 |
JP3329979B2 (ja) * | 1995-02-24 | 2002-09-30 | 株式会社日立製作所 | 光ディスク及び光ディスク再生装置 |
JPH08280009A (ja) | 1995-04-06 | 1996-10-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置および光ディスク |
JP3146937B2 (ja) * | 1995-07-13 | 2001-03-19 | 日本ビクター株式会社 | 高能率符号化された動画像情報から早送り,早戻し画像を再生する再生方法 |
US5757435A (en) * | 1995-12-08 | 1998-05-26 | C-Cube Microsystems, Inc. | MPEG-2 inverse telecine circuit |
JP4434326B2 (ja) | 1997-03-19 | 2010-03-17 | ソニー株式会社 | 映像再生方法及び映像再生装置 |
US6480665B1 (en) * | 1997-08-21 | 2002-11-12 | Sony Corporation | Disc recording method and device, disc reproducing method and device, and recording medium |
CA2289958C (en) * | 1998-11-19 | 2003-01-21 | Tomoyuki Okada | Information recording medium, apparatus and method for recording or reproducing data thereof |
JP2000354224A (ja) * | 1999-01-01 | 2000-12-19 | Hitachi Ltd | 画像データ記録方法および光ディスク再生方法 |
JP3805985B2 (ja) * | 1999-02-18 | 2006-08-09 | 株式会社東芝 | ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置 |
WO2001026375A1 (en) * | 1999-10-07 | 2001-04-12 | Thomson Licensing S.A. | Trick play signal generation for a digital video recorder |
EP1148727A1 (en) * | 2000-04-05 | 2001-10-24 | THOMSON multimedia | Method and device for decoding a digital video stream in a digital video system using dummy header insertion |
JP3820155B2 (ja) | 2001-01-16 | 2006-09-13 | 松下電器産業株式会社 | 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体 |
KR100863652B1 (ko) * | 2001-01-16 | 2008-10-15 | 마츠시타 덴끼 산교 가부시키가이샤 | 정보기록장치, 정보기록방법 및 기록매체 |
US20030044166A1 (en) * | 2001-08-31 | 2003-03-06 | Stmicroelectronics, Inc. | System for multiplexing video data streams in a digital video recorder and method of operating the same |
US7218635B2 (en) * | 2001-08-31 | 2007-05-15 | Stmicroelectronics, Inc. | Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith |
US6707984B2 (en) | 2001-10-31 | 2004-03-16 | Thomson Licensing S.A. | Changing a playback speed for video presentation recorded in a modified film format |
US8406301B2 (en) * | 2002-07-15 | 2013-03-26 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
US7903742B2 (en) | 2002-07-15 | 2011-03-08 | Thomson Licensing | Adaptive weighting of reference pictures in video decoding |
US7376186B2 (en) * | 2002-07-15 | 2008-05-20 | Thomson Licensing | Motion estimation with weighting prediction |
JP4477295B2 (ja) | 2002-10-10 | 2010-06-09 | 古河電気工業株式会社 | 自動車ワイヤハーネス用アルミ電線 |
JP3975889B2 (ja) | 2002-11-13 | 2007-09-12 | 松下電器産業株式会社 | 照光つまみ及びその製造方法 |
JP3718499B2 (ja) * | 2002-11-29 | 2005-11-24 | シャープ株式会社 | 動画像記録方法 |
JP4318478B2 (ja) | 2002-12-27 | 2009-08-26 | 原子燃料工業株式会社 | 沸騰水型軽水炉用燃料集合体 |
WO2004066635A1 (ja) * | 2003-01-17 | 2004-08-05 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法および動画像復号化方法 |
JP2003303476A (ja) | 2003-03-03 | 2003-10-24 | Pioneer Electronic Corp | 情報記録媒体、その記録装置及び記録方法並びにその再生装置及び再生方法 |
US8351514B2 (en) * | 2004-01-16 | 2013-01-08 | General Instrument Corporation | Method, protocol, and apparatus for transporting advanced video coding content |
US8391672B2 (en) * | 2004-02-06 | 2013-03-05 | Panasonic Corporation | Recording medium, reproduction device, program, and reproduction method |
TW200845724A (en) * | 2004-06-02 | 2008-11-16 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
-
2005
- 2005-04-25 AT AT10159158T patent/ATE555475T1/de active
- 2005-04-25 EP EP20100159158 patent/EP2207181B1/en not_active Not-in-force
- 2005-04-25 AT AT10159160T patent/ATE555477T1/de active
- 2005-04-25 EP EP20100151438 patent/EP2182519B1/en not_active Not-in-force
- 2005-04-25 PL PL10151438T patent/PL2182519T3/pl unknown
- 2005-04-25 AT AT05736693T patent/ATE443327T1/de not_active IP Right Cessation
- 2005-04-25 EP EP20100159159 patent/EP2207182B1/en not_active Not-in-force
- 2005-04-25 PL PL10159158T patent/PL2207181T3/pl unknown
- 2005-04-25 EP EP20100151443 patent/EP2182520B1/en not_active Not-in-force
- 2005-04-25 AT AT10159159T patent/ATE555476T1/de active
- 2005-04-25 US US10/586,442 patent/US7843994B2/en active Active
- 2005-04-25 EP EP20080158372 patent/EP1968063B1/en active Active
- 2005-04-25 PL PL10159159T patent/PL2207182T3/pl unknown
- 2005-04-25 EP EP05736693A patent/EP1743338B1/en active Active
- 2005-04-25 PL PL10159160T patent/PL2207183T3/pl unknown
- 2005-04-25 PL PL05736693T patent/PL1743338T3/pl unknown
- 2005-04-25 DE DE200560021926 patent/DE602005021926D1/de active Active
- 2005-04-25 EP EP20100151451 patent/EP2182521A1/en not_active Withdrawn
- 2005-04-25 ES ES10151438T patent/ES2383652T3/es active Active
- 2005-04-25 CN CN2009102076625A patent/CN101697575B/zh not_active Expired - Fee Related
- 2005-04-25 CN CN200910207663XA patent/CN101778235B/zh not_active Expired - Fee Related
- 2005-04-25 PL PL10151443T patent/PL2182520T3/pl unknown
- 2005-04-25 DE DE602005016663T patent/DE602005016663D1/de active Active
- 2005-04-25 ES ES10151443T patent/ES2383654T3/es active Active
- 2005-04-25 AT AT10151438T patent/ATE555473T1/de active
- 2005-04-25 ES ES10159158T patent/ES2388397T3/es active Active
- 2005-04-25 ES ES10159159T patent/ES2383655T3/es active Active
- 2005-04-25 CA CA 2811897 patent/CA2811897C/en active Active
- 2005-04-25 KR KR1020067009657A patent/KR101148765B1/ko active IP Right Grant
- 2005-04-25 ES ES08158372T patent/ES2347385T3/es active Active
- 2005-04-25 AT AT10151443T patent/ATE555474T1/de active
- 2005-04-25 CN CN200910207661A patent/CN101707723A/zh active Pending
- 2005-04-25 AT AT08158372T patent/ATE471562T1/de not_active IP Right Cessation
- 2005-04-25 CA CA2542266A patent/CA2542266C/en active Active
- 2005-04-25 ES ES05736693T patent/ES2330864T3/es active Active
- 2005-04-25 WO PCT/JP2005/008319 patent/WO2005106875A1/en not_active Application Discontinuation
- 2005-04-25 EP EP20100159160 patent/EP2207183B8/en not_active Not-in-force
- 2005-04-25 CN CN2009102076644A patent/CN101697576B/zh not_active Expired - Fee Related
- 2005-04-25 CN CN2005800135722A patent/CN1950907B/zh active Active
- 2005-04-25 ES ES10159160T patent/ES2383656T3/es active Active
- 2005-04-25 JP JP2006515497A patent/JP4071811B2/ja active Active
- 2005-04-27 TW TW98125882A patent/TWI395207B/zh not_active IP Right Cessation
- 2005-04-27 MY MYPI20051862 patent/MY144441A/en unknown
- 2005-04-27 TW TW94113458A patent/TWI324338B/zh active
- 2005-04-27 MY MYPI20101994 patent/MY145551A/en unknown
-
2007
- 2007-06-27 JP JP2007169798A patent/JP4614991B2/ja not_active Expired - Fee Related
- 2007-10-31 US US11/980,487 patent/US8130843B2/en not_active Expired - Fee Related
- 2007-10-31 US US11/980,486 patent/US7809060B2/en active Active
- 2007-10-31 US US11/980,615 patent/US8254447B2/en not_active Expired - Fee Related
- 2007-10-31 US US11/980,530 patent/US8254446B2/en not_active Expired - Fee Related
-
2008
- 2008-06-09 JP JP2008150176A patent/JP4185567B1/ja not_active Expired - Fee Related
-
2009
- 2009-10-30 JP JP2009251461A patent/JP4763824B2/ja not_active Expired - Fee Related
-
2010
- 2010-08-31 JP JP2010195100A patent/JP4910065B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0756281A2 (en) * | 1995-07-28 | 1997-01-29 | Sony Corporation | Data coding/decoding method and apparatus and coded data recording medium |
JP2003009085A (ja) * | 2001-06-20 | 2003-01-10 | Mitsubishi Electric Corp | デジタル信号記録装置および方法、デジタル信号再生装置および方法 |
TW200405285A (en) * | 2002-04-02 | 2004-04-01 | Sony Corp | Data recording device and method, data playing device and method, information recording medium, program storage medium and program |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI395207B (zh) | 動畫串流產生裝置及方法、動畫解碼裝置及方法、在記錄媒體上記錄動畫串流之記錄方法及動畫解碼系統 | |
JP4138840B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、および記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |