TWI387350B - A dynamic image stream processing method and apparatus, a motion picture playback apparatus using the aforementioned method and apparatus, and a moving image transmission apparatus - Google Patents

A dynamic image stream processing method and apparatus, a motion picture playback apparatus using the aforementioned method and apparatus, and a moving image transmission apparatus Download PDF

Info

Publication number
TWI387350B
TWI387350B TW98102816A TW98102816A TWI387350B TW I387350 B TWI387350 B TW I387350B TW 98102816 A TW98102816 A TW 98102816A TW 98102816 A TW98102816 A TW 98102816A TW I387350 B TWI387350 B TW I387350B
Authority
TW
Taiwan
Prior art keywords
bit stream
stream
frame
bit
image data
Prior art date
Application number
TW98102816A
Other languages
English (en)
Other versions
TW200948089A (en
Inventor
Tatsuji Moriyoshi
Original Assignee
Nec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp filed Critical Nec Corp
Publication of TW200948089A publication Critical patent/TW200948089A/zh
Application granted granted Critical
Publication of TWI387350B publication Critical patent/TWI387350B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

動態圖像串流處理方法及裝置、應用前述方法和裝置之動態圖像播放裝置以及動態圖像傳送裝置
本發明係關於動態圖像串流處理方法及裝置、應用前述方法和裝置之動態圖像播放裝置以及動態圖像傳送裝置。本發明特別適用於執行快速播放或快速逆播放等的特殊播放時。
ITU(International Telecommunication Union)標準化之H.261、H.263作為將動態圖像信號以低位元率、高壓縮率且高畫質編碼以產生編碼資料，或將已編碼的動態圖像解碼的技術。另外，被廣泛使用做為ISO(International Organization for Standardization)的MPEG-1、MPEG-2、MPEG-4等國際標準規格。
再者，近年來出現ITU和ISO進行共同規格化的H.245(非專利文獻1)。已知該H.264和過去的動態圖像編碼化技術相比，更能夠提高壓縮效率及提高畫質。
這些動態圖像編碼技術中，為了有效率地壓縮動態圖像信號，利用各訊框的時間上的關連的訊框間預測編碼技術被廣泛使用。訊框間預測編碼，係從已經編碼的訊框之動態圖像信號預測目前的訊框之圖像信號，將預測的信號和目前的信號之間的預測誤差信號加以編碼。因為在一般的動態圖像中，時間上相近的訊框的圖像信號之間存在高度相關，所以該技術能有效提高壓縮效率。
MPEG-1、MPEG-2、MPEG-4、H.264等的動態圖像編碼技術中，係組合未使用訊框間預測編碼的I圖框(picture)(訊框內編碼圖像)、利用從已編碼之1枚訊框得到的訊框間預測編碼的P圖框(單向預測編碼圖像)、利用從已編碼之2枚訊框得到的訊框間預測編碼的B圖框(雙向預測編碼圖像)，而將動態圖像編碼。
在解碼時，I圖框可以用1個訊框解碼，而P圖框、B圖框解碼時，因為需要有使用訊框間預測之預測所使用之圖像資料，所以不能僅以單獨1個訊框解碼。
第1圖中顯示動態圖像編碼方式中圖框構成之例。各個四角形表示1個訊框，其下方表示圖框種類及顯示順序(例如B5表示顯示順序為第5的訊框係編碼為B圖框)。如此，將性質相異的I圖框、P圖框、B圖框適當地組合以執行動態圖像的編碼。
第1圖中顯示動態圖像編碼方式中圖框構成之一例。如第1圖所示，將已編碼的動態圖像串流快速播放、快速逆播放等的特殊播放情況下，僅抽出可以從位元串流中單獨解碼之I圖框的位元串流以執行播放。
第2圖顯示能夠得到快速播放位元串流、以及快速逆播放位元串流的動作例。第3圖為執行快速播放及快速逆播放的裝置的構成圖。如第3圖所示，位元串流輸入串流抽出部101。串流抽出部101從輸入的位元串流中僅抽出I圖框的位元串流，並供應給串流重排部102。串流重排部102依據需要重排接收到的I圖框的位元串流，並將之輸出到外部。
用第2圖之例來說明，在快速播放的情況下，第2圖上部所示之由串流抽出部101從位元串流中僅依序抽出I圖框的位元串流，並將之並排構成位元串流，藉此，得到第2圖左下部所示之快速播放位元串流。在快速播放的情況下，僅執行I圖框的抽出，並不進行在串流重排部102之重排處理。
另外，在快速逆播放的情況下，同樣以串流抽出部101從位元串流中僅抽出I圖框，用串流重排部102將其顯示順序重排為相反順序並輸出。藉此，得到如第2圖右下部之快速逆播放位元串流。
例如，在專利文獻1中發展出上述方法，揭露僅抽出顯示所必要之最少的I圖框，以產生快速播放用串流的技術。專利文獻1的方法，也可以用於近年被規格化的H.264動態圖像編碼技術所編碼之位元串流的特殊播放。但是，相較於MPEG-1、MPEG-2、MPEG-4等的編碼標準，H.642的編碼之自由度較高，有時會無法適用MPEG-1、MPEG-2、MPEG-4。以下說明其內容。
和MPEG-1、MPEG-2、MPEG-4的編碼標準不同，在H.264中，僅以1個片段(slice)構成並可單獨解碼的圖框分為2類：IDR(Instantaneous Decoding Refresh)圖框及I圖框。在IDR圖框中執行解碼器的內部狀態重設動作，能夠和MPEG-2等的編碼標準的I圖框一樣可以完全單獨解碼。
另一方面，H.264的I圖框其圖像資料本身可以單獨解碼，但是，標頭部的解碼則需要有過去的圖框的資訊。因此，特殊播放中僅利用IDR圖框是比較簡便的方式。以下，在本案說明書中，只要沒有特別指定，IDR圖框、I圖框分別為H.264方式中的IDR圖框、I圖框。
在此，依據編碼器的動作，按照提高編碼效率等的目的，產生IDR圖框枚數少，I圖框枚數多的位元串流。在此情況下，僅利用IDR的特殊播放中能夠利用的圖框之枚數少，無法實現流暢的動作。
第4圖顯示僅利用IDR的高速播放位元串流的動作例。第4圖的上部表示原來的位元串流，第4圖的下部表示快速播放位元串流。在此例中，原來的位元串流中，每6個訊框包含圖像資料本身可以單獨播放的圖框(IDR或I)。其中，IDR圖框相隔18個訊框。其他為I圖框。
如第4圖所示，僅使用IDR就不使用圖像資料本身能夠單獨解碼的I圖框，因此，18個訊框中只有1個訊框不能用於特殊播放，快速播放位元串流的動作的流暢性變差。但是，在特殊播放中也使用(非IDR)I圖框的情況下，如上述，標頭部的資訊(圖框號碼、輸出順序、訊框緩衝管理資訊等)的解碼必須要過去的圖框資料。因此，若將IDR及I抽出並重排，則會產生無法將標頭部正常地解碼，圖框的輸出順序被弄亂，得到解碼裝置判斷為錯誤的解碼結果等的問題。
例如，slice_header()中存在的frame_num規定為，每個參考圖框地增1，但是，當抽出並重排IDR及I時，鄰接的參考圖框之間frame_num的值有時會增加2以上，也可能會被解碼裝置判斷為錯誤。
為了避免上述狀況，考慮執行下述解碼動作之技術：解碼裝置具有特殊播放用的動作模式，特殊播放模式時，忽略標頭部的輸出順序資訊或解碼錯誤，直接將解碼的圖像資料以解碼的順序輸出。
專利文獻1：特開平05-344494號公報
非專利文獻1:ITU-T REcommendation H.264[Advanced video coding fro generic audiovisual services],2005年3月
如上述在解碼裝置中具備特殊播放用的動作模式的技術中，能夠實現除了IDR圖框之外還利用I圖框的順暢的快速播放、快速逆播放等的特殊播放。但是，該技術為在解碼裝置加入新的功能，所以，使用該技術的解碼裝置，以及不使用該技術的解碼裝置中，即使輸入同樣的位元串流，其解碼結果也會大不相同。
MPEG-1、MPEG-2、MPEG-4、H.264等的國際標準規格的動態圖像編碼技術中嚴密規定了解碼裝置的動作，只要輸入同樣的位元串流，並為依據規格的解碼裝置，不論是哪一個製造者製造的解碼裝置都保證能夠得到幾乎相同或完全相同的解碼結果。此點為國際標準規格的動態圖像編碼技術之一大優點。因此，在解碼裝置加入標準規格之外的功能之技術，就某些利用目的而言是不利的。
再者，將規格外的功能加入解碼裝置，則會發生解碼裝置的構成就變複雜，設置或製造的難度變高，費用增加等的問題。動態圖像的編碼裝置和解碼裝置中，通常多是利用解碼裝置，所以，解碼裝置的構成變複雜的影響很大。
本發明的例示的目的為，提供動態圖像串流處理方法及裝置、應用前述方法和裝置之動態圖像播放裝置以及動態圖像傳送裝置，其不變更解碼裝置，並能夠實線快速播放或快速逆播放等的特殊播放。
本發明例示的動態圖像串流處理裝置，其包括：抽出部，從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一圖框的位元串流，以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流；變換部，將該抽出部抽出的該第二位元串流變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
再者，本發明例示的動態圖像串流處理裝置，其包括：抽出部，從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流、以及編碼參數組之位元串流；記憶部，儲存上述被抽出的編碼參數組；產生部，變更上述被儲存的編碼參數組，調整圖像資料部以外的位元長變化，以產生編碼參數組；變換部，將該抽出部抽出的該第二位元串流，依據該產生部產生的編碼參數組，變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
再者，本發明例示的動態圖像播放裝置，其包括：上述的動態圖像串流處理裝置；執行動態圖像編碼後的位元串流之解碼的動態圖像解碼裝置；位元串流切換裝置，切換以使得在一般播放時將輸入位元串流供應給該動態圖像解碼裝置，在快速播放或快速逆播放之特殊播放時將輸入位元串流供應給該動態圖像串流處理裝置，將該動態圖像串流處理裝置處理後的位元串流供應給該動態圖像解碼裝置；動態圖像顯示裝置，顯示該動態圖像解碼裝置的解碼圖像。
再者，本發明例示的儲存媒體，其儲存：動態圖像編碼後的位元串流；請求項1至6中任一項所記載的動態圖像串流處理裝置中被處理之特殊播放用位元串流；具有建立上述位元串流以及該特殊播放用位元串流的關連之資料的管理表。
再者，本發明例示的動態圖像傳送裝置，其包括：上述之儲存媒體；位元串流切換裝置，在一般播放時從該儲存媒體讀取該位元串流，在特殊播放時，參照該管理表，讀取和該位元串流相關連的特殊播放用位元串流；位元串流傳送裝置，將該位元串流切換裝置讀取之位元串流傳送到收訊終端。
再者，本發明例示的圖像串流處理方法，其包括：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流，以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流；將抽出的該第二位元串流變換為可以單獨解碼之圖框的第三位元串流；將抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
再者，本發明例示的圖像串流處理方法，其包括：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流、以及編碼參數組之位元串流；儲存上述被抽出的編碼參數組；變更上述被儲存的編碼參數組，調整圖像資料部以外的位元長變化，以產生編碼參數組；將該抽出部抽出的該第二位元串流，依據該產生部產生的編碼參數組，變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
本案係基於2008年1月24日申請之特願2008-013703號主張優先權。並且，特願2008-013703號之內容包含於本案之說明書的內容中。
依據本發明，能夠實現動作更順暢之快速播放、快速逆播放等的特殊播放。其原因在於，用習知方式雖然能夠單獨解碼圖像資料部，但是標頭部無法單獨解碼之圖框無法用於特殊播放，相對於此，在本發明中將此種圖框變換為可以完全單獨解碼之圖框並用於特殊播放。特殊播放用位元串流輸入一般的解碼裝置就可以解碼，所以，將特殊播放用串流輸入不具有用以實現特殊播放的追加功能的一般的解碼裝置並將之解碼，藉此，能夠實現比過去動作更順暢之快速播放、快速逆播放等的特殊播放。
下文依據圖式，詳細說明本發明用以實施之例示型態。在以下之實施型態中，以H.264方式之例來說明。
(第一實施型態)
參照第5～9圖說明本發明之第一實施型態。第5圖為本發明第一實施型態的動態圖像串流處理裝置構成之構成圖，第6及7圖為表示動作程序的流程圖，第8及9圖為用以說明動作之概要的圖。
首先，在本實施型態中，如第5圖所示，具有切換部202、串流變換部203，此點和第3圖的構成不同。第5圖的串流抽出部201、串流重排部204，分別對應於第3圖的串流抽出部101、串流重排部104。串流重排部204，在快速播放的情況下，依抽出的順序排列並輸出，在快速逆播放的情況下，則以相反於抽出順序的順序排列並輸出。因此，串流重排部204為產生並輸出快速播放用位元串流，或者快速逆播放位元串流的位元串流輸出部。
切換部202，依據從串流抽出部201供應的串流為IDR圖框或I圖框來進行切換。亦即，若為IDR圖框，則將串流直接供應給串流重排部204，若為I圖框，則將串流供應給串流變換部203。串流變換部203將輸入的I圖框的串流變換為IDR圖框。
關於I圖框及IDR圖框，係如在背景技術之說明。亦即，IDR圖框和MPEG-2等的習知的編碼標準的I圖框一樣，可以完全地單獨解碼。H.264的I圖框，其圖像資料本身可以單獨解碼，但是標頭部的解碼則需要過去的圖框的資訊。亦即，在H.264方式中，IDR圖框其圖像資料部可以單獨解碼，而I圖框之圖像資料不可以單獨解碼，但其圖像資料部以外則無法單獨解碼。
繼之，使用第6圖說明動作。當處理開始時(步驟S1001)，首先，串流抽出部201讀取輸入的位元串流(動態圖像編碼後的位元串流)，判斷在圖像資料部中是否包含可以單獨解碼的圖框(在H.264中為IDR圖框或I圖框)(步驟S1002)。在H.264的情況下，例如，可以依據slice_header()的slice_type來判斷其編碼種類。在不存在IDR圖框或I圖框的情況下，執行步驟S1007，結束動作。
在存在IDR圖框或I圖框的情況下，串流抽出部201抽出IDR圖框或I圖框的串流，並將之供應給切換部202(步驟S1003)。切換部202依據輸入的串流為IDR圖框或I圖框來切換其接續(步驟S1004)。在IDR圖框的情況下，直接將串流供應給串流重排部204(步驟S1006)。在I圖框的情況下，則將串流供應給串流變換部203。
串流變換部203將輸入的I圖框的串流變換為IDR圖框(步驟S1005)，變換結果的IDR圖框的串流則供應給串流重排部204。串流重排部204對輸入的串流依據需要執行重排處理並輸出該串流(步驟S1006)。繼之，回到步驟S1002，從輸入的位元串流搜尋IDR圖框或I圖框。若不存在IDR圖框或I圖框，則在步驟S1007結束處理。
所謂串流重排部204的依據需要執行的重排處理，如第9圖所示，在快速播放的情況下，依據抽出的順序排列IDR圖框，以得到快速播放用位元串流。在快速逆播放的情況下，將之重排為和第9圖相反的順序以得到快速逆播放位元串流。
串流變換部203如上述般，將輸入的I圖框的串流變換為IDR圖框。使用第7及8圖詳細說明此動作。第7圖為顯示該動作的流程圖，第8圖為說明該動作之圖。處理係從第7圖的步驟S1101開始。
H.264方式的情況下，較標頭部(slice_header())上位之IDR圖框及I圖框中的串流語法不同，所以執行必要的改寫(步驟S1102)。
具體言之，為下述之(1)～(5)之方法。
(1)nal_unit()之nal_ref_idc變更為5，
(2)slice_header()中追加idr_pic_id，
(3)slice_header()的frame_num變更為0，
(4)變更相關的編碼，使slice_header()的POC(Picture Order Count)的值為0，
(5)dec_ref_pic_marking()的內容變更為IDR圖框的語法。例如，執行改寫，以使得no_output_of_prior_pics_flag=0,long_term_reference_flag=0。
圖像資料部(slice_data())的串流的內容在IDR圖框及I圖框並無不同，因此，不需要改寫內容。但是，在H.264方式中，針對特定的編碼，規定其開頭位置或終端位置必須要有位元組邊界(位元組對準位置)。例如，slice_data()中的pcm_sample_luma之開頭必須有位元組對準位置，rbsp_trailing_bits()的末端也必須有位元組對準位置。
但是，因為標頭部的改寫之內容，slice_header()的位元長有時會改變，在此情況下，後續的slice_data()以後的位元串流會有slice_header()的位元長變化量之位元位置改變。其結果為，具有位元組對準規定的編碼之位元位置也會改變，而無法滿足位元組對準的規定。
第8圖顯示此動作之例。第8圖的橫軸表示位元串流中的位元位置，小刻度為1位元單位，大刻度則表示8位元單位的位置。在此例中，變換前的標頭部係到第8圖之第2位元組的第5位元，後面則接續圖像資料部。在圖像資料部中，黑色三角形表示之處具有位元組對準規定之編碼。執行該串流的標頭部的改寫的結果為，在標頭部變長4個位元的情況下，如第8圖所示，變換後的串流整個向後挪移4位元，其結果為，應該位元組對準編碼的位置偏離對準位置，變成違反規格的串流。
為了避免此一問題，對圖像資料部執行熵編碼(在H.264為CAVLC或CABAC)的解碼，依據需要一邊執行用於位元組對準規約整合的修正，同時再次執行熵編碼(步驟S1103)。例如，在pcm_sample_luma的情況下，增減其之前的pcm_alignment_zero_bit之數，使得在再次熵編碼時滿足位元組對準規約。
另外，例如，增減cabac_alignment_one_bit的位元數，rbsp_alignment_zero_bit的位元數。對於圖像資料部，僅藉由執行此種用於位元組對準整合之串流整形處理，結束由I圖框到IDR圖框的變換(步驟S1104)。再者，雖為了簡單而省略其說明，上述的變換處理係對於圖框中所包含的全部片段執行。
繼之，使用第9圖，說明輸入和第4圖相同的串流之情況的動作例。第4圖所示動作中，在產生快速播放串流時僅使用IDR，因此，在本例中僅利用2個圖框，而有損於動作的流暢度。
第9圖顯示本實施型態的動作例之圖。第9圖上部為原來的位元串流，第9圖的下部表示快速播放位元串流。本實施型態的動作例中，如第9圖所示，高速播放串流中，除了2個IDR圖框(IDR0，IDR18)之外，也使用輸入位元串流之I圖框(I6，I12)。使用I圖框時，在串流變換部203將I圖框變換為IDR圖框(IDR6，IDR12)之後，再予利用。藉此，能夠用於快速播放的圖框數量增加，能夠實現更流暢的特殊播放。
在本實施型態中，抽出IDR圖框及I圖框之串流，將I圖框變換為IDR圖框之後，再用於特殊播放位元串流之產生。藉此，能夠將多於背景技術中利用的張數之圖框用於特殊播放。再者，只有IDR圖框(包含從I圖框變換後的)用於特殊播放，所以，各圖框可以完全單獨解碼，即使執行重排也能夠得到依據規格之正確的位元串流。藉此，能夠提供動態圖像串流處理裝置及方法，其無須變更解碼裝置，而能夠實現更流暢之快速播放、快速逆播放等的特殊播放。
(第二實施型態)
繼之，說明本發明的第二實施型態。第10圖為表示第二實施型態之動作程序的流程圖。本實施型態的動態圖像串流處理裝置的構成和第一實施型態的構成相同。整體的處理之流程圖也和第6圖的流程圖相同。和第一實施型態不同之處在於，串流變換部203的變換處理。第10圖顯示串流變換部203的動作。
首先，從第10圖的步驟S1201開始處理。繼之，決定較標頭部上位的改寫(步驟S1202)之後因為改寫造成之標頭部的位元長變化是否為8的倍數(步驟S1203)。在本實施型態中0也視為8的倍數。在以下之實施型態中也是如此。
為8的倍數的情況下，圖像資料部的串流的位元位置的偏移為8的倍數，因此，圖像資料部的各編碼沒有位元組對準的偏移。因此，不需要對圖像資料部再做處理(在S1207結束)，直接將輸入的串流輸出。
另一方面，標頭部的位元長變化不是8的倍數的情況下，判斷圖像資料部的開頭是否有用於位元組對準整合之位元(步驟S1204)。存在的情況下，調整其位元數，使位元組對準整合(步驟S1206)。在H.264的情況下，在熵編碼時使用CABAC時，圖像資料部(slice_data())的開頭有用以整合位元組對準的cabac_alignment_one_bit，所以，調整該cabac_alignment_one_bit的位元數，使位元組對準整合。
在此，藉由使位元組對準整合，可以保證在此之後的圖像資料部的串流不會發生位元組對準位置偏移，所以，不需要進一步的處理，直接將輸入的串流輸出。另一方面，在熵編碼時不是使用CABAC的情況下(圖像資料部的開頭處沒有對準位元)，和第一實施型態一樣，執行圖像資料部的熵編碼的解碼和再編碼(步驟S1205)。
在本實施型態中，I圖框變換成IDR圖框時，標頭部的位元長變化為8的倍數的情況下，不進行處理。再者，不是8的倍數的情況下，於熵編碼中使用CABAC的情況下，不執行熵編碼的解碼和再編碼，執行更簡單的處理。
藉此，能夠解決位元組對準的問題。第一實施型態中，常執行計算負荷大的熵編碼的解碼和再編碼的處理，但是，在本實施型態中，儘可能不執行該處理，能夠以更小的計算負荷來實現快速播放、快速逆播放等的特殊播放。
(第三實施型態)
繼之，說明本發明的第三實施型態。第11圖為表示第三實施型態之動作程序的流程圖。本實施型態的動態圖像串流處理裝置的構成和第一、第二實施型態的構成相同。整體的處理之流程圖也和第6圖的第一實施型態的流程圖相同。和第一、第二實施型態不同之處在於，串流變換部203的變換處理。第11圖顯示串流變換部203的動作。
首先，第11圖的步驟S1301～步驟S1303的處理和第二實施型態的流程圖(第10圖)中的步驟S1201～步驟S1203一樣。但是，在步驟S1303之標頭部的位元長變化不是8的倍數時的處理有所不同。
在此情況下，本實施型態中藉由變更標頭部(slice_header())的編碼的一部份，進行調整以使得標頭部的位元長變化為8的倍數(步驟S1304)。例如，IDR圖框的slice_header()的編碼idr_pic_id之值可以在0～65535的範圍內變動，使位元長依據其值以2位元單位變化。
藉此，標頭部的位元長變化為2、4、6位元的情況下，藉由適當選擇idr_pic_id的值，將位元長再以2位元單位進行調整，而能夠使標頭部的位元長變化為8的倍數。繼之，再次判斷標頭部的位元長變化是否為8的倍數(步驟S1305)，在8的倍數之情況下，就不再進行變換處理。在步驟S1304的調整之後，也不能使位元長變化為8的倍數時的處理(步驟S1306～步驟S1308)，和第二實施型態的流程圖(第10圖)的步驟S1204～步驟S1206相同。
在本實施型態中，將I圖框變換為IDR圖框時，標頭部的位元長變化不是8的倍數時，調整標頭部的編碼之值，嘗試使位元長變化為8的倍數。藉此，減少必須進行計算負荷大的熵編碼的解碼和再編碼的處理的情況，而能夠以更小的計算負荷實現快速播放、快速逆播放等的特殊播放。
(第四實施型態)
繼之，使用第12、13、14圖說明本發明之第四實施型態。第12圖為本實施型態的動態圖像串流處理裝置構成之方塊圖，第13及14圖為表示本實施型態的動作程序的流程圖。
首先，第12圖所示之串流抽出部301、切換部302、串流重排部303、串流變換部305，分別對應於第5圖的串流抽出部201、切換部202、串流重排部204、串流變換部203。其功能相同。但是，切換部302在如後述之編碼參數組的串流的情況下，將抽出的串流供應給編碼參數組記憶部304。
在本實施型態中，和第一實施型態不同之處在於加入了編碼參數組記憶部304及串流產生部306。編碼參數組記憶部304儲存所供應的串流。
繼之，使用第13圖說明動作。當處理開始(步驟S1401)，串流抽出部301讀取輸入的位元串流(動態圖像編碼後的位元串流)，判斷圖像資料部是否包含可以單獨解碼的圖框(在H.264中為IDR或I圖框)(步驟S1402)。
在不存在IDR圖框或I圖框的情況下，執行步驟S1408，結束動作。在存在IDR圖框或I圖框的情況下，串流抽出部301抽出IDR圖框或I圖框的串流(步驟S1403)。在此，除了IDR或I圖框之外，也抽出編碼參數組的串流。編碼參數組係為集合了圖框解碼所必須的各種參數群，例如，在H.264的情況下，為seq_parameter_set_rbsp(),pic_parameter_set_rbsp()。
抽出的串流被供應給切換部302。切換部302依據輸入的串流的種類(IDR圖框、I圖框、或編碼參數組)來切換其接續(步驟S1404)。在IDR圖框的情況下，直接將串流供應給串流重排部303。在I圖框的情況下，將串流供應給串流變換部305。在編碼參數組的情況下，則供應給編碼參數組記憶部304。編碼參數組記憶部304儲存輸入的串流(步驟S1407)。
串流變換部305將輸入的I圖框的串流變換為IDR圖框(步驟S1405)，變換結果的IDR圖框的串流則供應給串流重排部303。在變換時，依據需要讀取儲存於編碼參數組記憶部304的編碼參數組，並將之供應給串流產生部306，連同在串流產生部306產生之串流，一起供應給串流重排部303。
串流重排部303，和上述的實施型態一樣，依據需要對輸入的串流執行重排處理，並輸出串流(步驟S1406)。繼之，回到步驟S1402，從輸入的位元串流尋找下一個IDR或I圖框。在步驟S1408結束處理。
串流變換部305將輸入的I圖框的串流變換為IDR圖框，茲使用第14圖說明其動作。標頭部變更(步驟S1502)及標頭部的位元長變化判斷(步驟S1503)的處理和第三實施型態(第11圖)的步驟S1302、S1303一樣。在本實施型態中，標頭部的位元長變化不是8的倍數的情況下，調整標頭部(slice_header())及編碼參數組(S1504)。繼之，結束處理(S1505)。
需要調整的位元數為偶數的情況下，和第三實施型態(第11圖)的步驟S1304一樣，能夠以slice_header()的編碼值的變更來進行調整。但是，需要調整的位元數為奇數的情況下，光是用這個方法無法進行調整。在此種情況下，例如，藉由變更slice_header()的frame_num的位元長來進行調整。
frame_num的位元長係以seq_parameter_set_rbsp()的編碼log2_max_frame_num_minus4之值來決定。因此，在需要調整frame_num的位元長的情況下，從編碼參數組記憶部304讀取使用中的seq_parameter_set_rbsp()及pic_parameter_set_rbsp()，在串流產生部306產生已變更log2_max_frame_num_minus4之值的seq_parameter_set_rbsp()及參照其的pic_parameter_set_rbsp()。
log2_max_frame_num_minus4以外的編碼之值使用變更前的就可以了。再者，也可以依據需要變更seq_parameter_set_id,pic_parameter_set_id等的編碼。串流變換部305，參照在串流產生部306產生的seq_parameter_set_rbsp()及pic_parameter_set_rbsp()，改寫slice_header()。
例如，整體為，藉由變更log2_max_frame_num_minus4用於奇數位元數的調整，剩下的偶數位元數的調整則藉由idr_pic_id的變更來執行的處理，標頭部的位元長變化不論是怎樣的值都能夠調整成8的倍數。藉由此調整處理，圖像資料部的位元組對準位置不會發生偏移，因此，就圖像資料部而言，可以直接將輸入的串流輸出。
第15圖顯示如上述之串流變換部305或串流產生部306等的動作。在第15圖中顯示：將輸入到串流抽出部301的動態圖像編碼後的位元串流，以及供應給串流重排部303的位元串流。第15圖中的SPS、PPS分別表示seq_parameter_set_rbsp()及pic_parameter_set_rbsp()。在第15圖的例中，輸入位元串流的PPS參照SPS，而IDR0、I6、I12等的圖框參照PPS。
在本實施型態中，SPS、PPS係儲存於編碼參數組記憶部304中。在產生快速播放位元串流時，如第15圖所示，在串流變換部305中，I16圖框及I12圖框分別被變換為IDR6圖框及IDR12圖框。
在此變換時，必須調整slice_header()的frame_num的位元長的情況下，從編碼參數組記憶部304讀取SPS及PPS。繼之，在串流產生部306，產生變更了log2_max_frame_num_minus4之值的seq_parameter_set_rbsp()(SPS’)及參照其的pic_parameter_set_rbsp()(PPS’)。
如第15圖所示在串流變換部305變換為IDR6及IDR12圖框時，藉由變更log2_max_frame_num_minus4之值，將該圖框的圖像資料以外的位元長(位元長變化)變更為8的倍數。
串流變換部305參照在串流產生部306產生之SPS’及PPS’改寫slice_header()，同時輸出IDR6及IDR12。SPS’、PPS’及IDR6、IDR12連同IDR0一起供應給串流重排部303，被使用於在執行如快速播放或快速逆播放等的情況之快速播放位元串流中。
在本實施型態中，I圖框變換為IDR圖框時，產生依據需要變更其值之編碼參數組，將標頭部的位元長變化調整為8的倍數。藉此，提供動態圖像串流處理裝置及方法，其不論標頭部的位元長變化為何值，都能夠將之調整為8的倍數，無須執行計算負荷大的熵編碼的解碼和再編碼的處理，能夠以更小的計算負荷來實現快速播放、快速逆播放等的特殊播放。
(第五實施型態)
繼之，說明本發明的第五實施型態的動態圖像播放裝置。第16圖為第五實施型態的構成之方塊圖。動態圖像串流處理裝置402為第一到第四實施型態中任一者所說明之動態圖像串流處理裝置。位元串流切換裝置401在一般播放時將輸入的位元串流直接供應給動態圖像解碼裝置403。在快速播放、快速逆播放等的特殊播放時，將輸入的位元串流供應給動態圖像串流處理裝置402，將從動態圖像串流處理裝置402的輸出位元串流供應給動態圖像解碼裝置403。
動態圖像串流處理裝置402對於輸入的位元串流，執行如上述之第一到第四實施型態所說明之產生特殊播放用位元串流的處理，並輸出處理結果的位元串流。動態圖像解碼裝置403執行輸入的位元串流的解碼處理，並將解碼結果的圖像供應給動態圖像顯示裝置404。動態圖像顯示裝置404將輸入的圖像顯示輸出到例如CRT或液晶顯示器等的顯示部。
在本實施型態中，一般播放時將輸入的位元串流直接供應給動態圖像解碼裝置403，在快速播放、快速逆播放等的特殊播放時，在動態圖像串流處理裝置402產生快速播放、快速逆播放等的特殊播放用串流並將之供應給動態圖像解碼裝置403。藉此，提供動態圖像播放裝置，其不需要將用於特殊播放的新的功能外加於動態圖像解碼裝置，而能夠實現快速播放、快速逆播放等的特殊播放。
(第六實施型態)
繼之，使用第17、18、19圖說明本發明之第六實施型態。第17圖為第六實施型態的構成之方塊圖，第18及19圖為第六實施型態的管理表之例。
儲存媒體501儲存動態圖像編碼後的位元串流511、及將位元串流511輸入第一～第四實施型態中任一者的動態圖像串流處理裝置所產生的快速播放、快速逆播放等的特殊播放用的特殊播放用位元串流512。並具有記錄位元串流511和特殊播放用位元串流512的關連資訊的管理表513。元件502為位元串流切換裝置，元件503為位元串流傳送裝置。
管理表513中儲存可切換位元串流511和特殊播放用位元串流512的資訊。管理表513的簡單例子如第18圖所示。在第18圖的例中，藉由分別將儲存了位元串流511和特殊播放用位元串流512的檔案名稱對應儲存，而使得可以切換串流。再者，亦考慮儲存如第19圖所示之資訊。
在第19圖的例中，除了與分別儲存了位元串流和特殊播放用串流(快速播放用位元串流及快速逆播放位元串流)的檔案名稱對應儲存之外，還儲存特殊播放用串流的各圖框所對應的位元串流511的時標(time stamp)。藉由儲存此種資訊，動作從一般播放切換到特殊播放，或從特殊播放切換到一般播放時，能夠接續播放位置的時標而自然地切換動作。
位元串流切換裝置502在一般播放時，從儲存媒體501讀取位元串流511，並將之供應給位元串流傳送裝置503。快速播放、快速逆播放等的特殊播放時，參照管理表513，讀出對應於位元串流511的特殊播放用位元串流512，並將之供應給位元串流傳送裝置503。位元串流傳送裝置503將輸入的位元串流送到電腦網路等的傳送路徑給特定的收訊終端。
在本實施型態中，一般的位元串流和特殊播放用位元串流係關連地儲存，在一般播放時將一般的位元串流傳送給收訊終端，在特殊播放時相所關連的特殊播放用位元串流傳送給收訊終端。藉此，提供動態圖像播放裝置，其不需要將用於特殊播放的新的功能外加於動態圖像解碼裝置，而能夠實現快速播放、快速逆播放等的特殊播放。
再者，在上述說明的各實施型態中，雖係針對依據H.264動態圖像編碼方式的應用來說明，但本發明並非僅限於此應用，也可以適用於包含可以完全單獨解碼的圖框、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的動態圖像編碼方式。
再者，在從I圖框到IDR圖框的變換中，雖是針對log2_max_frame_num_minus4，idr_pic_id的值變更的例來進行說明，但是變更的方法當然並非以此為限。
例如，也可考慮變更log2_max_pic_order_cnt_lsb_minus4或pic_parameter_set_id的值，來調整標頭部的位元長變換的方法等。再者，雖是以快速播放或快速逆播放的情況作為特殊播放的例來進行說明，本發明之播放方式並不以此為限。例如，本發明的方式亦適用於播放清單播放或向別的位元串流的播放位置移動等。
以上說明之本發明也可以藉由電腦從儲存媒體讀取並執行程式來實現。亦即，如上述的本發明也可以藉由軟體來實現。
以軟體構成動態圖像串流處理裝置的情況下，在硬碟等的記憶部儲存記載了第5或12圖所示之動態圖像串流處理裝置的功能的程式，作為控制部的CPU依據程式執行處理(控制)，藉此，能夠實現利用者資訊提示系統的功能。
第20圖為構成本實施型態的動態圖像串流處理裝置的電腦之構成例之方塊圖。
在硬碟等的磁碟裝置1101儲存記載了第5或12圖所示之動態圖像串流處理裝置的功能的程式。在實現第5圖所示之動態圖像串流處理裝置的功能的情況下，在磁碟裝置1101中，還儲存了輸入串流抽出部201的位元串流、串流抽出部201抽出的位元串流、串流變換部203被變換的位元串流。在實現第12圖所示之動態圖像串流處理裝置的功能的情況下，磁碟裝置1101也有編碼參數組記憶部304的功能。由CPU1103執行實現動態圖像串流處理裝置的功能之程式。元件1105為資料匯流排等的匯流排、元件1102為儲存CPU1103的資訊處理所需之資料的DRAM等的記憶體。I/O裝置1104為將加工後的位元串流輸出到外部的通訊部。
再者，上述的程式(亦稱之為程式產品)可以儲存於FD(flopy disk)、CDROM、DVD、快閃記憶體等的電腦可讀取的資料儲存媒體。在第20圖中，雖是使用磁碟裝置作為記憶部，使電腦的磁碟裝置讀取儲存於FD(flopy disk)、CDROM、DVD、快閃記憶體等的電腦可讀取的資料儲存媒體的程式，並執行處理，就可以發揮動態圖像串流處理裝置的功能。
以上雖已針對本發明之代表實施型態說明，但本發明係由本案申請專利範圍所界定，能夠不脫離其精神及主要特徵而以其他各種型態實施。因此，上述之各實施型態僅為例示，不應被限定地解釋。本發明的範圍係依據申請專利範圍所示，並不限於說明書或摘要之記載。再者，屬於申請專利範圍的均等範圍的變形或變更均屬本發明之範圍內。
101．．．串流抽出部
102．．．串流重排部
201．．．串流抽出部
202．．．切換部
203．．．串流變換部
204．．．串流重排
301．．．串流抽出部
302．．．切換部
303．．．串流重排部
304．．．編碼參數組記憶部
305．．．串流變換部
306．．．串流產生部
401．．．位元串流切換裝置
402．．．動態圖像串流處理裝置
403．．．動態圖像解碼裝置
404．．．動態圖像顯示裝置
501．．．儲存媒體
502．．．位元串流切換裝置
503．．．位元串流傳送裝置
511．．．位元串流
512．．．特殊播放用位元串流
513．．．管理表
1101．．．磁碟裝置
1102．．．記憶體
1103．．．CPU
1104．．．I/O裝置
1105．．．匯流排
第1圖顯示動態圖像編碼的圖框構成之例的示意圖。
第2圖顯示說明背景技術方式的動作例之圖。
第3圖顯示背景技術方式的構成之方塊圖。
第4圖顯示說明背景技術方式的動作例之圖。
第5圖為本發明第一實施型態的構成之方塊圖。
第6圖為第一實施型態的處理程序之流程圖。
第7圖為I圖框變換為IDR圖框之變換處理程序的流程圖。
第8圖為說明第一實施型態的動作之圖。
第9圖為說明第一實施型態的位元串流變換為高速播放位元串流之動作的圖。
第10圖為本發明第二實施型態的處理程序之流程圖。
第11圖為本發明第三實施型態的處理程序之流程圖。
第12圖為本發明第四實施型態的構成之方塊圖。
第13圖為第四實施型態的處理程序之流程圖。
第14圖為第四實施型態之I圖框變換為IDR圖框之變換處理程序的流程圖。
第15圖為說明第四實施型態的動作之圖。
第16圖為本發明第五實施型態的構成之方塊圖。
第17圖為本發明第六實施型態的構成之方塊圖。
第18圖為第六實施型態的管理表之例的示意圖。
第19圖為第六實施型態的管理表之例的示意圖。
第20圖為構成本實施型態的動態圖像串流處理裝置的電腦之構成之例的方塊圖。

Claims (13)

  1. 一種動態圖像串流處理裝置，其包括：抽出部，從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流，以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流；變換部，將該抽出部抽出的該第二位元串流變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該圖框的第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
  2. 如申請專利範圍第1項所述之動態圖像串流處理裝置，該變換部，變更該第二位元串流之該圖像資料部以外的部分的內容，以將之變換為該第三位元串流。
  3. 如申請專利範圍第2項所述之動態圖像串流處理裝置，該變換部，將該第二位元串流變換為該第三位元串流時，在該圖像資料部以外的部分的位元長變化不是8的倍數的情況下，將該圖像資料部解碼，不改變圖像的內容，再度將該圖像資料部編碼，使其符合位元組對準(byte alignment)規定。
  4. 如申請專利範圍第2項所述之動態圖像串流處理裝置，該變換部，變更該圖像資料部以外的部分的內容，以使得該第二位元串流的圖像資料部以外的部分之位元長變化為8的倍數。
  5. 一種動態圖像串流處理裝置，其包括：抽出部，從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流、以及編碼參數組之位元串流；記憶部，儲存上述被抽出的編碼參數組；產生部，變更上述被儲存的編碼參數組，調整圖像資料部以外的位元長變化，以產生編碼參數組；變換部，將該抽出部抽出的該第二位元串流，依據該產生部產生的編碼參數組，變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
  6. 如申請專利範圍第5項所述之動態圖像串流處理裝置，該產生部，將該被儲存之編碼參數組變更為圖像資料部以外的位元長變化為8的倍數之編碼參數組；該變換部，將該第二位元串流變換為該第三位元串流時，依據上述已產生的編碼參數組，變換以使得該圖像資料部以外的位元長變化為8的倍數。
  7. 一種動態圖像播放裝置，其包括：如申請專利範圍第1~6項中任一項所述的動態圖像串流處理裝置；執行動態圖像編碼後的位元串流之解碼的動態圖像解 碼裝置；位元串流切換裝置，切換以使得在一般播放時將輸入位元串流供應給該動態圖像解碼裝置，在快速播放或快速逆播放之特殊播放時將輸入位元串流供應給該動態圖像串流處理裝置，將該動態圖像串流處理裝置處理後的位元串流供應給該動態圖像解碼裝置；動態圖像顯示裝置，顯示該動態圖像解碼裝置的解碼圖像。
  8. 一種儲存媒體，其儲存：動態圖像編碼後的位元串流；申請專利範圍第1~6項中任一項所述的動態圖像串流處理裝置中被處理之特殊播放用位元串流；具有建立上述位元串流以及該特殊播放用位元串流的關連之資料的管理表。
  9. 一種動態圖像傳送裝置，其包括：申請專利範圍第8項所述之儲存媒體；位元串流切換裝置，在一般播放時從該儲存媒體讀取該位元串流，在特殊播放時，參照該管理表，讀取和該位元串流相關連的特殊播放用位元串流；位元串流傳送裝置，將該位元串流切換裝置讀取之位元串流傳送到收訊終端。
  10. 一種圖像串流處理方法，其包括：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流，以及圖像資料部可以單獨解碼但 除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流；將抽出的該第二位元串流變換為可以單獨解碼之圖框的第三位元串流；將抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
  11. 一種圖像串流處理方法，其包括：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流、以及編碼參數組之位元串流；儲存上述被抽出的編碼參數組；變更上述被儲存的編碼參數組，調整圖像資料部以外的位元長變化，以產生編碼參數組；將該抽出部抽出的該第二位元串流，依據該產生部產生的編碼參數組，變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
  12. 一種電腦程式產品，其儲存一程式，經由電腦載入該程式，其使電腦執行下列步驟：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流，以及圖像資料部可以單獨解碼但 除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流；將抽出的該第二位元串流變換為可以單獨解碼之圖框的第三位元串流；將抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
  13. 一種電腦程式產品，其儲存一程式，經由電腦載入該程式，其使電腦執行下列步驟：從動態圖像編碼後之位元串流中，抽出可以單獨解碼之圖框的第一位元串流、以及圖像資料部可以單獨解碼但除了該圖像資料部以外無法單獨解碼之圖框的第二位元串流、以及編碼參數組之位元串流；將上述被抽出的編碼參數組儲存於記憶部；變更上述被儲存的編碼參數組，調整圖像資料部以外的位元長變化，以產生編碼參數組；將該抽出部抽出的該第二位元串流，依據該產生部產生的編碼參數組，變換為可以單獨解碼之圖框的第三位元串流；將該抽出部抽出的該第一位元串流，以及該第三位元串流，依據抽出的順序或與抽出順序相反的順序排列並輸出。
TW98102816A 2008-01-24 2009-01-23 A dynamic image stream processing method and apparatus, a motion picture playback apparatus using the aforementioned method and apparatus, and a moving image transmission apparatus TWI387350B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008013703 2008-01-24

Publications (2)

Publication Number Publication Date
TW200948089A TW200948089A (en) 2009-11-16
TWI387350B true TWI387350B (zh) 2013-02-21

Family

ID=40901153

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98102816A TWI387350B (zh) 2008-01-24 2009-01-23 A dynamic image stream processing method and apparatus, a motion picture playback apparatus using the aforementioned method and apparatus, and a moving image transmission apparatus

Country Status (5)

Country Link
US (1) US8731065B2 (zh)
EP (1) EP2249567A4 (zh)
JP (1) JP5170708B2 (zh)
TW (1) TWI387350B (zh)
WO (1) WO2009093647A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
MX2014000048A (es) * 2011-07-02 2014-04-30 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
JP5685683B2 (ja) 2011-10-28 2015-03-18 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法
EP2713624A1 (en) * 2012-09-20 2014-04-02 Advanced Digital Broadcast S.A. Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
CA2968855C (en) * 2014-11-25 2021-08-24 Arris Enterprises Llc Filler detection during trickplay
EP3313065A4 (en) * 2015-06-16 2018-11-14 LG Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1161097A1 (en) * 2000-05-29 2001-12-05 Sony Corporation MPEG decoder
EP1187489A1 (en) * 2000-04-14 2002-03-13 Sony Corporation Decoder and decoding method, recorded medium, and program
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
TW200701794A (en) * 2005-01-12 2007-01-01 Nokia Corp Inter-layer coefficient coding for scalable video coding
TW200721844A (en) * 2005-07-15 2007-06-01 Sony Electronics Inc Scalable video coding (SVC) file format

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628446B2 (ja) 1987-06-12 1994-04-13 日本電気株式会社 圧縮記録画像の再生方式
JPH05344494A (ja) 1992-06-10 1993-12-24 Ricoh Co Ltd Ｍｐｅｇ動画像の早送り再生方式
JP3330797B2 (ja) 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
JP3852366B2 (ja) 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9161078B2 (en) * 2002-08-14 2015-10-13 Arris Technology, Inc. Methods and apparatus for reducing tune-time delay in a television appliance with personal versatile recorder capabilities
JP4324844B2 (ja) 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
EP1496707A1 (en) 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
EP1993284B1 (en) 2004-06-02 2013-07-03 Panasonic Corporation Picture coding apparatus and picture decoding apparatus
ATE511314T1 (de) * 2004-08-31 2011-06-15 Panasonic Corp Verfahren und vorrichtung zur kodierung bewegter bilder
JP2006101323A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US7412149B2 (en) 2004-10-28 2008-08-12 Bitband Technologies, Ltd. Trick mode generation in video streaming
JP2006157855A (ja) 2004-11-04 2006-06-15 Matsushita Electric Ind Co Ltd 情報記録媒体、画像符号化方法、および画像復号方法
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
US8712169B2 (en) * 2005-08-26 2014-04-29 Thomson Licensing Transcoded images for improved trick play
JP2007158788A (ja) 2005-12-06 2007-06-21 Sharp Corp テレビジョン放送受信装置及び時刻情報差替方法
EP1827009A1 (en) * 2006-02-28 2007-08-29 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder for an improved zapping service for mobile video reception
KR101142379B1 (ko) * 2007-02-14 2012-05-18 삼성전자주식회사 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1187489A1 (en) * 2000-04-14 2002-03-13 Sony Corporation Decoder and decoding method, recorded medium, and program
EP1161097A1 (en) * 2000-05-29 2001-12-05 Sony Corporation MPEG decoder
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
TW200701794A (en) * 2005-01-12 2007-01-01 Nokia Corp Inter-layer coefficient coding for scalable video coding
TW200721844A (en) * 2005-07-15 2007-06-01 Sony Electronics Inc Scalable video coding (SVC) file format

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jin-Hwan Jeong, et al, Trick Play Method for HD H.264 Set-Top Box, Int. Conf. on Consumer Electronics 2008 Digest of Technical Papers, 2008.01.09., pp.1~2. *

Also Published As

Publication number Publication date
JP5170708B2 (ja) 2013-03-27
US20100290537A1 (en) 2010-11-18
EP2249567A4 (en) 2012-12-12
EP2249567A1 (en) 2010-11-10
WO2009093647A1 (ja) 2009-07-30
TW200948089A (en) 2009-11-16
JPWO2009093647A1 (ja) 2011-05-26
US8731065B2 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
TWI387350B (zh) A dynamic image stream processing method and apparatus, a motion picture playback apparatus using the aforementioned method and apparatus, and a moving image transmission apparatus
JP6486421B2 (ja) ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置
JP4769717B2 (ja) 画像復号化方法
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
JP6059219B2 (ja) ビデオ符号化及び復号化における待ち時間の低減
KR100908062B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
JP7376544B2 (ja) 符号化映像における動作点エンティティグループの信号通知
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
US9210430B2 (en) Reference picture set signaling and restriction on an electronic device
KR20170030521A (ko) 독립 랜덤 액세스 포인트 화상
JP2023157974A (ja) Ｖｖｃ画像アイテムへの動作点情報特性の関連付け
CN114205625B (zh) 媒体文件中图像过渡的过渡期
JP2024501685A (ja) クロスランダムアクセスポイント信号通知拡張
CN117834916A (zh) 访问单元中图片信息的信令
Sjöberg et al. HEVC high-level syntax
US9516330B2 (en) Virtual field buffer based decoding
JP5136546B2 (ja) 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム
TWI495299B (zh) 利用音視頻橋接管理節能網路的方法和系統
BR112015016254B1 (pt) Método realizado por um dispositivo de computação, mídia legível por computador e dispositivo de computação
JP2015065528A (ja) 画像編集装置、画像編集方法及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees