TWI572195B - 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（五） - Google Patents

視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（五） Download PDF

Info

Publication number
TWI572195B
TWI572195B TW105109878A TW105109878A TWI572195B TW I572195 B TWI572195 B TW I572195B TW 105109878 A TW105109878 A TW 105109878A TW 105109878 A TW105109878 A TW 105109878A TW I572195 B TWI572195 B TW I572195B
Authority
TW
Taiwan
Prior art keywords
image
decoding
encoded video
video
encoding
Prior art date
Application number
TW105109878A
Other languages
English (en)
Other versions
TW201628413A (zh
Inventor
數井君彥
島田智史
小山純平
Original Assignee
富士通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通股份有限公司 filed Critical 富士通股份有限公司
Publication of TW201628413A publication Critical patent/TW201628413A/zh
Application granted granted Critical
Publication of TWI572195B publication Critical patent/TWI572195B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法(五) 發明領域
此處討論之實施例係有關於可編輯視頻資料而不解碼該視頻資料的視頻編碼裝置及視頻編碼方法，及也係有關於解碼藉此種視頻編碼裝置編碼的視頻資料之視頻解碼裝置及視頻解碼方法。
發明背景
大致上，用以表示視頻資料的資料量為極大。據此，處理此種視頻資料的裝置在發送該視頻資料至另一裝置之前或儲存該視頻資料至另一裝置之前藉編碼而壓縮該視頻資料。由國際標準組織/國際電工委員會(ISO/IEC)修訂的編碼標準諸如MPEG-2(動畫專家群階段2)、MPEG-4、及H.264 MPEG-4進階視頻編碼(MPEG-4 AVC/H.264)乃今日廣為人使用的典型視頻編碼標準。
此種編碼標準採用碼際方法，其不僅使用得自本身的資訊同時也使用其前方及後方的資訊而編碼一圖像；及採用碼內方法其係只使用含在欲編碼的該圖像之資訊而 編碼一圖像。碼際方法使用三型圖像，稱作為碼內圖像(I圖像)、一般從過去圖像預測的正向預測圖像(P圖像)、及一般從過去及未來二圖像預測的雙向預測圖像(B圖像)。
一般而言，藉碼際編碼的一圖像或區塊的碼量係小於藉碼內編碼的一圖像或區塊的碼量。藉此方式，取決於選用的編碼模型，在同一個視頻序列內部，碼量依各圖像而各異。同理，取決於選用的編碼模型，在同一個圖像內部，碼量依各區塊而各異。因此，為了使得含編碼視頻的資料串流欲以恆定傳輸速率傳輸，即便碼量隨時間而異亦復如此，緩衝資料串流的傳輸緩衝器係設在傳輸端，及緩衝資料串流的接收緩衝器係設在接收端。
MPEG-2及MPEG-4 AVC/H.264各自在理想化視頻解碼裝置中界定接收緩衝器的表現，分別係稱作為視頻緩衝驗證器(VBV)或編碼圖像緩衝器(CPB)。為求方便，理想化視頻解碼裝置將於後文簡稱為理想化解碼器。載明理想化解碼器執行瞬時解碼，其編碼耗用零時間。例如，日本特許公開案第2003-179938號揭示有關視頻緩衝驗證器(VBV)的視頻編碼器控制方法。
為了讓理想化解碼器內的接收緩衝器不會溢位或欠位，視頻編碼器控制碼量以保證當該理想化解碼器解碼一給定圖像時，解碼該給定圖像所需的全部資料皆為接收緩衝器所可使用。
當該視頻編碼器係以恆定傳輸速率傳輸一編碼視頻資料串流時，若解碼圖像需要的資料傳輸直至該圖像 欲藉視頻解碼器解碼與顯示時尚未完成，則接收緩衝器可能欠位。換言之，接收緩衝器欠位係指一種情況，其中解碼圖像需要的資料傳輸在視頻解碼器的接收緩衝器尚不可得。當發生此種情況時，視頻解碼器無法執行解碼，發生圖框跳掉。
有鑑於此，視頻解碼器顯示達距其接收時間的規定時間顯示該顯示串流的圖像，故可進行解碼而不會造成接收緩衝器欠位。如前述，載明在零時間完成解碼。結果，若輸入視頻編碼器的第i個圖像的輸入時間為t(i)，及於理想解碼器的第i個圖像的解碼時間為tr(i)，則該圖像準備顯示的最早時間係與tr(i)相同。由於針對任何圖像該圖像顯示週期{t(i+1)-t(i)}係等於{tr(i+1)-tr(i)}，解碼時間tr(i)係給定為tr(i)=t(i)+dly，亦即距輸入時間t(i)的時間延遲達固定時間dly。如此，表示視頻編碼器至時間tr(i)時必須完成全部解碼所需資料傳輸至該接收緩衝器。
參考圖1，將描述接收緩衝器如何操作。於圖1中，橫座標表示時間，及縱座標表示接收緩衝器的緩衝器占用。實線線圖100描繪緩衝器占用呈時間之函數。
接收緩衝器的緩衝器占用係以與載明的傳輸速率同步速率恢復，用以解碼各個圖像的資料係在該圖像的解碼時間從該緩衝器取回。第i個圖像的資料始於在時間at(i)輸入接收緩衝器，第i個圖像的最末資料係在時間ft(i)輸入。理想解碼器係在時間tr(i)完成第i個圖像的解碼，如此第i個圖像係在時間tr(i)準備顯示。但若資料串流含有B圖 像，則由於圖像重新排序(改變編碼順序)，第i個圖像的實際顯示時間變得比tr(i)更遲。
描述在MPEG-4 AVC/H.264中各個圖像的解碼時間及顯示時間之方法容後詳述。
於MPEG-4 AVC/H.264中，非與像素的解碼直接相關的補充資訊係描述於補充加強資訊(SEI)訊息。定義數十個SEI訊息型別，各個型別係藉payloadType參數識別。SEI係附接至各個圖像。
BPSEI(緩衝週期補充增強資訊(SEI))作為一型SEI，係附接至自容式圖像，亦即無任何過去圖像可被解碼的一圖像(通常I圖像)。一參數InitialCpbRemovalDelay係描述於BPSEI。該InitialCpbRemovalDelay參數指示該BPSEI附接的圖像之第一位元到達該接收緩衝器的抵達時間與該BPSEI附接的圖像之解碼時間間之差。該差值的解析度為90kHz。第一圖像的解碼時間tr(0)乃該編碼視頻資料的第一位元到達視頻解碼器的抵達時間(該時間標示為0)；亦即解碼時間為距時間at(0)延遲達等於InitialCpbRemovalDelay÷90,000[秒]的時間量。
概略言之，作為一型SEI的PTSEI(圖像時間SEI)係附接至各個圖像。參數CpbRemovalDelay及DpbOutputDelay係描述於PTSEI。CpbRemovalDelay參數指示緊接前方的BPSEI附接的圖像之解碼時間與PTSEI附接的圖像的解碼時間間之差。DpbOutputDelay參數指示PTSEI附接的圖像的解碼時間與該圖像的顯示時間間之差。此等 差值的解析度為一個欄位圖像區間。據此，當該圖像為一圖框時，參數CpbRemovalDelay及DpbOutputDelay各自之值係為2的倍數。
該第二及後續圖像各自的解碼時間tr(i)係從第一圖像的解碼時間tr(0)延遲達等於tc*CpbRemovalDelay(i)[秒]的時間量。CpbRemovalDelay(i)乃附接至該第i個圖像的CpbRemovalDelay。另一方面，tc為圖像間時間間隔[秒]；例如以29.97Hz漸進式視頻為例，tc係為1001/60000。
各個圖像包括BPSEI附接的圖像的顯示時間係從tr(i)延遲達等於tc*DpbOutputDelay(i)的時間量。DpbOutputDelay(i)為附接至第i個圖像的DpbOutputDelay。換言之，於時間tr(0)之後，各個圖像係在等於tc的整數倍數時間解碼與顯示。
取決於視頻資料的目的，編碼視頻可經編輯。編輯視頻資料涉及將編碼視頻資料劃分成較小份，及剪接而產生新的編碼視頻資料串流。舉例言之，另一視頻串流(例如廣告)插入該目前廣播視頻串流(亦即剪接)乃編輯的一例。
當編輯圖框間預測編碼視頻時，特別以碼際編碼圖像為例，編碼圖像本身無法正確地解碼。據此，當在一期望的圖像位置剪接二編碼視頻資料串流時，編碼視頻資料編輯機器首先解碼欲剪接的該等二編碼視頻資料串流，及然後根據逐一解碼圖像為基礎而剪接，及其後再度編碼已剪接的視頻資料。
但因再度編碼可能極為煩瑣，更明確言之，以即時處理諸如剪接為例，常見限制剪接點，直接藉消除再度編碼的需要而編碼該編碼視頻資料。當無需再度編碼而藉編輯剪接二編碼視頻資料串流時，時間上在下游端欲剪接的編碼視頻資料串流之該第一圖像須為I圖像。此外，時間上在下游端欲剪接的編碼視頻資料串流之該GOP結構係限於所謂封閉式GOP結構，其中在起始I圖像後方的全部圖像皆可被解碼而不必參照時間上在該起始I圖像後方的任何圖像。利用此種配置，藉在期望的剪接點剪接，可能正確地解碼在下游端已剪接的編碼視頻資料串流之起始I圖像後方的全部圖像。
但因封閉式GOP結構的編碼效率係低於非封閉式GOP結構，故可採用非封閉式GOP結構。於該種情況下，在剪接點之後，緊接在該起始I圖像後方的若干圖像未經正確地解碼，但因此等圖像係於顯示順序中在起始I圖像前方，故若不顯示則無問題。因此作為一般規範，在該時間上在前的編碼視頻資料串流之最末圖像顯示後，視頻解碼器執行處理諸如凍結顯示，藉此遮罩未能正確地解碼的該等圖像之顯示。
於先前技術中，即便當圖框間預測編碼視頻資料編輯而未經再度編碼時，標頭資訊也經編輯而使得剪接在一起的二編碼視頻資料串流間不會產生歧異。舉例言之，於MPEG-4 AVC/H.264中，POC(圖像順序計數)及FrameNum係附接至截割片標頭以維持圖像間時間關係，及識別參考 圖像。POC指示該圖像的相對顯示順序。FrameNum為每次該參考圖像出現在編碼視頻時遞增1之值。由於在該已剪接的二編碼視頻資料串流間之POC值及FrameNum值須為連續，故有需要編輯在該時間上在前的編碼視頻資料串流之下游端欲剪接的該編碼視頻資料串流的全部POC值及FrameNum值。
另一方面，非專利文件JCTVC-I1003，「高效率視頻編碼(HEVC)文字規格工作稿本7」，2012年5月ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視頻編碼的聯合合作團隊揭示的方法中已經捨棄FrameNum，原因在於已經介紹識別參考圖像的新穎方法。此外，因下游端已剪接的編碼視頻資料之第一圖像的POC值相對於上游端已剪接的編碼視頻資料串流須具有連續性，故無需編輯截割片標頭。於如上非專利文件揭示的方法中，已經介紹CRA(淨隨機存取)圖像、BLA(斷鏈接存取)圖像、及TFD(加標籤以捨棄)圖像作為除了MPEG-4 AVC/H.264定義的IDR(瞬時解碼再新)圖像外的新圖像型別。
於此等圖像中，CRA圖像及BLA圖像皆為自容式圖像，亦即不參照任何其它圖像的圖像，故在CRA圖像或BLA圖像之後的圖像可正確地解碼。當視頻解碼器始於CRA圖像開始解碼時，例如可正確地解碼緊接在CRA圖像後方的TFD圖像以外的任何後續圖像。
TFD圖像為緊接在CRA圖像或BLA圖像之後的出現的圖像，參照在時間順序中及在解碼順序中出現在比 CRA圖像或BLA圖像更早的圖像。以遵照MPEG-2的非封閉式GOP結構為例，在該GOP頭端緊接在該I圖像後方的複數個B圖像各自係相對應於TFD圖像。
由於編碼視頻資料編輯的結果出現BLA圖像。在該已剪接的二編碼視頻資料串流中，在下游端剪接的該編碼視頻資料串流通常係始於一CRA圖像，但若此CRA圖像出現在已剪接的編碼視頻資料的半途，則其圖像型別係從CRA圖像改成BLA圖像。於如上非專利文件揭示的方法中，當出現BLA圖像時，許可POC值變非連續性。又，緊接在此BLA圖像後方的TFD圖像無法從在該已剪接的編碼視頻資料中的任一點正確地解碼，原因在於欲參照的該圖像已從該已剪接的編碼視頻資料喪失。因此，視頻編碼器可從該編碼視頻資料中刪除在下游端欲被剪接的編碼視頻資料串流頭端的該BLA圖像後方的任何TFD圖像。
發明概要
於前述非專利文件中揭示的方法中，如同於MPEG-4 AVC/H.264中，各個編碼圖像的解碼時間及顯示時間係藉運用參數InitialCpbRemovalDelay、CpbRemovalDelay、DpbOutputDelay及決定。當剪接二編碼視頻資料串流時，在該剪接點後方的該圖像之參數CpbRemovalDelay及DpbOutputDelay須經校正為適當值以確保跨該剪接點的連續視頻解碼與顯示。
更明確言之，視頻編碼器或視頻解碼器須根據在 該時間上在前的編碼視頻資料串流中的該最末BPSEI附接的圖像之後的圖像數目，校正在該下游端剪接的該編碼視頻資料串流頭部的該CRA圖像之CpbRemovalDelay值。此外，該視頻編碼器或該視頻解碼器遞增該CpbRemovalDelay值以確保CPB緩衝器連續性。又復，當丟棄在下游端欲剪接的該編碼視頻資料串流中之該TFD圖像時，該視頻編碼器或視頻解碼器須校正在該被丟棄的TFD圖像之後欲解碼的該圖像之CpbRemovalDelay值及在該剪接點之後該第一CRA圖像的DpbOutputDelay值。
如此，於如上非專利文件揭示的方法中，仍然存在有當執行剪接二編碼視頻資料串流的編輯操作時校正PTSEI內容的需要。
因此，本發明之一目的係提出一種行動視頻編碼裝置及行動視頻解碼裝置，其可確保連續視頻解碼方法及顯示方法，而當剪接二圖框間預測編碼視頻資料串流時，無需編碼該原先編碼視頻資料的標頭中之參數。
依據一個實施例，提出一種藉圖框間預測編碼以編碼視頻資料的視頻編碼裝置。該視頻編碼裝置包括：一編碼控制單元其獲得解碼延遲校正資訊及顯示延遲校正資訊用以確保即便於該視頻資料的編碼順序中，一或多個圖像比可潛在地剪接至其它編碼視頻資料的一尾端的一第一圖像已經丟棄更遲地，於該編碼視頻資料中的該第一圖像及後續圖像可藉一視頻解碼裝置連續地解碼與顯示；及一圖像編碼單元其編碼含在該視頻資料中的各個圖像及附接 該解碼延遲校正資訊及該顯示延遲校正資訊至該編碼視頻資料。
依據另一個實施例，提出一種解碼藉圖框間預測編碼而編碼的視頻資料之視頻解碼裝置。該視頻解碼裝置包括：一圖像解碼/顯示時間決定單元其當該編碼視頻資料含有：指示該編碼視頻資料已經藉剪接第二編碼視頻資料至第一編碼視頻資料之一尾端而產生的資訊；指示於編碼順序中，比在該第二編碼視頻資料中，於該第一編碼視頻資料與該第二編碼視頻資料剪接的一剪接點後方之一起始編碼圖像更遲的一或多個編碼圖像已經被丟棄的資訊；校正在該起始編碼圖像後方的一圖像之一解碼延遲的解碼延遲校正資訊；及校正該起始編碼圖像之一顯示延遲的顯示延遲校正資訊時，根據該顯示延遲校正資訊而校正該起始編碼圖像的該顯示延遲，同時當校正中，也根據該解碼延遲校正資訊而校正接在該起始編碼圖像後方的該圖像之該解碼延遲。
1‧‧‧視頻編碼裝置
2‧‧‧視頻解碼裝置
11、21‧‧‧控制單元
12‧‧‧編碼控制單元
13‧‧‧圖像編碼單元
14‧‧‧剪接點識別資訊處理單元
15‧‧‧資料剪接單元
22‧‧‧標頭資訊分析單元
23‧‧‧圖像解碼/顯示時間決定單元
24‧‧‧圖像解碼單元
25‧‧‧圖框記憶體
100‧‧‧電腦、實線線圖
101‧‧‧使用者介面單元
102‧‧‧通訊介面單元
103‧‧‧儲存單元
104‧‧‧儲存媒體存取裝置
105‧‧‧處理器
106‧‧‧儲存媒體
201‧‧‧圖像編碼結構
202‧‧‧解碼順序
203、303、305、1103、1105、1106、1203、1205、1206、1303、1305、1306‧‧‧區塊陣列
301、1101、1201、1301‧‧‧第一編碼視頻資料串流
302、1102、1202、1302‧‧‧第二編碼視頻資料串流
304、1104、1204、1304‧‧‧剪接編碼視頻資料
400、1400‧‧‧資料結構
410-415、1010-1015、1410-1415、1510-1515、1610-1612、1614-1616‧‧‧網路摘取層(NAL)單元
420、1020、1420、1520、1620‧‧‧標頭NUH
431‧‧‧解碼延遲校正資訊AltCpbRemovalDelayOffset欄位
432‧‧‧顯示延遲校正資訊AltDpbOutputDelay欄位
1000‧‧‧圖像的資料結構
1416、1516、1613‧‧‧編輯點SEI(EPSEI)NAL單元
S101-S108、S201-S211、S301-S313‧‧‧步驟
圖1為略圖示例說明一接收緩衝器的該緩衝器占用與該顯示時間間之關係。
圖2為略圖示例說明含在視頻資料中的各個圖像之該顯示順序及解碼順序與該等個別圖像之該解碼延遲及顯示延遲值間之關係。
圖3為略圖闡明當二編碼視頻資料串流係經剪接時，在該剪接點之後的該等圖像的該解碼延遲及顯示延遲值。
圖4為略圖闡明依據第一實施例於編碼視頻中之一個圖像的資料結構。
圖5為依據第一實施例一視頻編碼裝置之簡化方塊圖。
圖6為依據第一實施例一視頻編碼方法之操作流程圖。
圖7為依據第一實施例一視頻編輯方法之操作流程圖。
圖8為依據第一實施例一視頻解碼裝置之簡化方塊圖。
圖9為依據第一實施例一視頻解碼方法之操作流程圖。
圖10為略圖闡明依據第二實施例於編碼視頻中之一個圖像的資料結構。
圖11為略圖闡明當二編碼視頻資料串流剪接時且當於該剪接點上游的該已剪接的編碼視頻資料串流中，於顯示順序中在該剪接點前方的圖像已經被丟棄時，在該剪接點後方之該等圖像之該解碼延遲及顯示延遲值。
圖12為略圖闡明當於該剪接點下游的該已剪接的編碼視頻資料串流中欲重新排序的圖像數目係小於於該剪接點上游的該已剪接的編碼視頻資料串流中欲重新排序的圖像數目時，在該剪接點後方之該等圖像之該解碼延遲及顯示延遲值。
圖13為略圖闡明當於該剪接點上游的該已剪接的編碼視頻資料串流中欲重新排序的圖像數目係小於於該剪接點下游的該已剪接的編碼視頻資料串流中欲重新排序的圖像數目時，在該剪接點後方之該等圖像之該解碼延遲及顯示延遲值。
圖14為略圖闡明依據第五實施例於編碼視頻中之一個 圖像的資料結構。
圖15為略圖闡明依據第六實施例於編碼視頻中之一個圖像的資料結構。
圖16為略圖闡明依據第七實施例於編碼視頻中之一個圖像的資料結構。
圖17為略圖示例說明一電腦的組態，依據前述實施例或其修改例中之任一者，該電腦藉執行一電腦程式用以體現在視頻編碼裝置或視頻解碼裝置中各項單元的功能而操作為視頻編碼裝置或視頻解碼裝置。
較佳實施例之詳細說明
將於後文參考附圖描述依據多個實施例的視頻編碼裝置及視頻解碼裝置。當未經解碼而剪接二編碼視頻資料串流時，視頻編碼裝置計算欲用於校正參數，指示出現在該剪接點後方的各個圖像之解碼時間及顯示時間之數值，及加總出現在該剪接點後方的各個圖像的標頭資訊中之該等值。藉此方式，視頻編碼裝置免除當剪接二編碼視頻資料串流時於該原先編碼視頻資料的標頭中的參數之編輯需要。
於本實施例中，該圖像為一圖框。但該圖像可非僅限於一圖框，反而可為一欄位。一圖框係指在該視頻資料中的一個完整靜像，而一欄位係指從一個圖框只擷取在奇編號行或偶編號行的資料所得的一靜像。該編碼視頻資料可為彩色視頻資料或單色視頻資料。
首先，參考圖2，將取一個圖像編碼結構為例，說明依據第一實施例圖像解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay之值。
於圖2中，作為該圖像編碼結構的一個實施例之該圖像編碼結構201含有複數個圖像。在該圖像編碼結構201中的各個區塊表示一個圖像。該區塊所載有的相對應於各個圖像之兩個字符中，左方屬於字母的字符指示施加至該圖像的編碼模型。字符I、P、及B分別地表示I圖像、P圖像、及B圖像。各個區塊中所載有的兩個字符中，右方數字指示輸入至該視頻編碼裝置的輸入順序。該輸入順序係與其中該圖像從該視頻解碼裝置輸出的順序相符。圖像編碼結構201上方描繪的各個箭頭指示欲藉正向圖框預測編碼的一圖像所參照的該參考圖像。舉例言之，一圖像P4係指比該圖像P4更早出現的一圖像I0。另一方面，圖像編碼結構201下方描繪的各個箭頭指示欲藉反向圖框預測編碼的一圖像所參照的該參考圖像。舉例言之，一圖像B2係指比該圖像B2更晚出現的一圖像P4。
呈示在該圖像編碼結構201下方的該圖像順序乃圖像編碼結構201中所含該等圖像的解碼順序202。在該解碼順序202中的各個區塊表示一個圖像，且如同於圖像編碼結構201之情況下，於該區塊所載字符指示編碼模型及輸入該視頻編碼裝置的輸入順序。解碼順序202係與由視頻編碼裝置執行的編碼順序相符。
於該解碼順序202中，BPSEI係附接至下方載有 標示「BPSEI」的各個圖像。於該具體實施例中，BPSEI係附接至每個I圖像。換言之，針對每個I圖像，定義InitialCpbRemovalDelay參數，該參數指示該I圖像的第一位元抵達該接收緩衝器至該I圖像的解碼時間間之差值。
呈示在該解碼順序202下方的一區塊陣列203指示附接至各個圖像的PTSEI所載的CpbRemovalDelay值及DpbOutputDelay值。在該區塊陣列203的上列中的各個區塊載有針對位在該區塊正上方的解碼順序202中的該相對應圖像之CpbRemovalDelay值。同理，在該區塊陣列203的下列中的各個區塊載有針對位在該區塊正上方的解碼順序202中的該相對應圖像之DpbOutputDelay值。CpbRemovalDelay係相對應於在BPSEI附接的該等圖像中於該編碼順序中從該最近圖像所計數的編碼順序。舉例言之，圖像P8係為從圖像I0計數的該編碼順序中的第五圖像。於本實施例中，由於各個圖像為一圖框，及該圖像間時間區間tc為以欄位為單位表示之值，圖像P8的CpbRemovalDelay值係給定為10(=5*2)。
另一方面，DpbOutputDelay載明該顯示延遲，顯示延遲乃視頻解碼裝置所需以以正確順序循序地輸出該等圖像。舉例言之，圖像P4的DpbOutputDelay值為10。此乃正確地顯示圖像B1所需的延遲，圖像B1其在輸入順序與在視頻編碼裝置中的編碼順序間之差為最大。換言之，由於圖像B1係在圖像P4解碼後以二圖像間的延遲解碼，故圖像P4的顯示時間必須從圖像B1變成準備妥顯示的最早時間， 亦即當圖像B1被解碼時的時間進一步延遲3圖像時間。因圖像P4的解碼時間與顯示時間間之差係等於5圖像時間，且因tc係以欄位為單位表示，故DpbOutputDelay值給定為10。
其次，參考圖3，將對數值作解說，當剪接二編碼視頻資料串流時，在該剪接點下游剪接的該編碼視頻資料串流中各個圖像的解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay可取用以消除在該等二編碼視頻資料串流的剪接點之前及之後的解碼延遲及顯示延遲中的任何不一致。
在該剪接點上游剪接的該第一編碼視頻資料串流301中的各個區塊表示一個圖像，及載於該區塊中的字符指示編碼模型及輸入視頻編碼裝置的順序，如同圖2。於該具體實施例中，第一編碼視頻資料串流301的編碼結構係與圖2中描繪的編碼結構201相同。
於該具體實施例中，第二編碼視頻資料串流302係在緊接於該第一編碼視頻資料串流的最末圖像B15之後剪接。又於第二編碼視頻資料串流302中，各個圖像表示一個圖像，及載於該區塊的字符指示編碼模型及輸入視頻編碼裝置的順序。第二編碼視頻資料串流302的編碼結構也係與圖2中描繪的編碼結構201相同。於該具體實施例中，在第二編碼視頻資料串流302中的圖像I72與隨後圖像剪接，因而接在第一編碼視頻資料串流中的圖像B15後方。
呈示在第二編碼視頻資料串流302下方的一區塊陣列303指示附接至第二編碼視頻資料串流302的各個圖像 的PTSEI所載的解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay值。在該區塊陣列303上列中的各個區塊載有針對在該第二編碼視頻資料串流302中位在該區塊正上方的該相對應圖像的解碼延遲CpbRemovalDelay值。同理，在該區塊陣列303下列中的各個區塊載有針對在該第二編碼視頻資料串流302中位在該區塊正上方的該相對應圖像的顯示延遲DpbOutputDelay值。
藉剪接第一及第二編碼視頻資料串流301及302所產生的剪接編碼視頻資料304係描繪在區塊陣列303下方。於該具體實施例中，於該第二編碼視頻資料串流302中的圖像B67及於編碼順序中在該圖像B67前方的圖像並不含在剪接編碼視頻資料304中。又復，圖像B70、B69、及B71各自係指於編碼順序中在該圖像I72前方的編碼圖像I68。結果，當該資料係在圖像I72剪接時，圖像B70、B69、及B71將變成無法正確地重製。因此，當剪接該資料時，圖像B70、B69、及B71被丟棄。但圖像B70、B69、及B71可不被丟棄，而可保有於剪接編碼視頻資料中。
一區塊陣列305指示在該剪接編碼視頻資料304中的該等圖像I72、P76、B74、B73、及B75推定具有的解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值。在該區塊陣列305上列中的各個區塊載有針對在該剪接編碼視頻資料304中位在該區塊正上方的該相對應圖像的解碼延遲CpbRemovalDelay值。同理，在該區塊陣列305下列中的各個區塊載有針對在該剪接編碼視頻資料304中位 在該區塊正上方的該相對應圖像的顯示延遲DpbOutputDelay值。在剪接後，圖像I72的解碼延遲CpbRemovalDelay須變成匹配相對於圖像I12的編碼圖像間隔，圖像I12為具有緊接前方的BPSEI的該圖像；於該具體實施例中，圖像I72為於編碼順序中從該圖像I12計數的第八個圖像，因此，解碼延遲CpbRemovalDelay係給定為16。圖像I72的顯示延遲DpbOutputDelay也須經校正，使得比圖像I72更遲欲被解碼的圖像I73能被正確地顯示。在該等圖像B70、B69、及B71被丟棄之前與之後的圖像I72之顯示延遲DpbOutputDelay值為不同。在該等圖像B70、B69、及B71被丟棄之後的顯示延遲DpbOutputDelay值係相對應於比圖像B69更晚輸入視頻編碼裝置但比圖像B69更早編碼的圖像數目。於該具體實施例中，有兩個此種圖像亦即圖像I72及B70，故圖像I72的顯示延遲DpbOutputDelay值係給定為4。
在該等圖像B70、B69、及B71被丟棄之前與之後，圖像B76、B74、B73、及B75各自的解碼延遲CpbRemovalDelay值也相異。在該等圖像B70、B69、及B71被丟棄之後，圖像B76、B74、B73、及B75各自的解碼延遲CpbRemovalDelay值係等於從在該等圖像被丟棄之前的解碼延遲CpbRemovalDelay值中扣除被丟棄圖像數目的相對應值。於該具體實施例中，藉從個別信號的解碼延遲CpbRemovalDelay的原先值中減6，圖像B76、B74、B73、及B75的解碼延遲CpbRemovalDelay值分別地給定為2、4、6、及8。圖像B76、B74、B73、及B75各自的顯示延遲 DpbOutputDelay值維持不變。又復，針對比較將變成該剪接編碼視頻資料中的該第一CRA圖像的該圖像更晚輸入的任何圖像，解碼延遲CpbRemovalDelay或顯示延遲DpbOutputDelay皆無需校正。
如前文描述，當二編碼視頻資料串流係被剪接在一起時，針對在該剪接點下游的剪接編碼視頻資料串流中所含的部分圖像，出現一項需要：在解碼時校正解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值。於本實施例中，並非校正在剪接前在原先編碼視頻資料所含的受影響圖像的解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值，視頻編碼裝置在該編碼視頻資料的標頭加上參數，當該視頻解碼裝置解碼該剪接編碼視頻資料時，該等參數可用以將解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值改變成適當值。
其次，參考圖4，將描述依據第一實施例的該編碼視頻資料之結構，該等資料含有可用以將解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值改變成適當值的參數。
如圖4描繪，一個圖像的資料結構400含有六種網路摘取層(NAL)單元410至415。此等NAL單元410至415各自符合MPEG-4 AVC/H.264中定義的NAL單元，及非專利文件JCTVC-I1003中揭示的方法，「高效率視頻編碼(HEVC)文字規格工作稿本7」，2012年5月ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視頻編碼的聯合合作團隊。標頭NUH 420係附接至各個NAL單元。標頭NUH 420含有一NalUnitType欄位，指示NAL單元的型別。當NalUnitType為4時，本標頭所附接的圖像為一自容式CRA圖像，緊接其後出現一TFD圖像，該TFD圖像係指在時間順序上及在解碼順序上在該CRA圖像之前的一圖像。當NalUnitType為5時，本標頭所附接的圖像為一CRA圖像，緊接其後不出現一TFD圖像。當NalUnitType為6時，本標頭所附接的圖像為一自容式BLA圖像，該BLA圖像係緊接在剪接點之後，及緊接其後為一TFD圖像。當NalUnitType為7時，本標頭所附接的圖像為一BLA圖像，緊接其後不出現一TFD圖像。各個圖像的NalUnitType值無需限於前述特定值，反而可設定為某個其它適當值。
NAL單元容後詳述。
NAL單元410乃一定界符(DELIM)NAL單元，指示一圖像邊界。
NAL單元411為一序列參數集合(SPS)NAL單元，其載有該整個編碼視頻序列所共用的一參數集合。NAL單元411係附接至一自容式圖像。
NAL單元412為一圖像參數集合(PPS)NAL單元，其載有複數個編碼圖像所共用的一參數集合。PPS NAL單元412係附接至一自容式圖像，及偶爾可附接至其它型別的圖像。
NAL單元413為一BPSEI NAL單元，其只附接至一自容式圖像。於本實施例中，由視頻解碼裝置用以校正 出現在該剪接點之後的各個圖像的解碼延遲及顯示延遲之該等參數係加在此NAL單元413。
NAL單元414為一PTSEI NAL單元，其係附接至每個圖像。
NAL單元415為一剪接(SLICE)NAL單元，其為編碼圖像物質。
依據本實施例BPSEI NAL單元413含有數目(N+1)的InitialCpbRemovalDelay/InitialCpbRemovalDelayOffset欄位對(於該處N為不小於0的整數)，及接在此等欄位對之後的一RapCpbParamsPresentFlag欄位。當RapCpbParamsPresentFlag為1時，欲用以校正該解碼延遲的一解碼延遲校正資訊AltCpbRemovalDelayOffset欄位431及一欲用以校正該顯示延遲的一顯示延遲校正資訊AltDpbOutputDelay欄位432也含在該BPSEI NAL單元413內。另一方面，當RapCpbParamsPresentFlag為0時，解碼延遲校正資訊AltCpbRemovalDelayOffset欄位431及顯示延遲的一顯示延遲校正資訊AltDpbOutputDelay欄位432皆係不含在該BPSEI NAL單元413內。有關解碼延遲校正資訊AltCpbRemovalDelayOffset欄位431及顯示延遲校正資訊AltDpbOutputDelay欄位432如何決定與使用的敘述容後詳述。
為何有多於一對InitialCpbRemovalDelay/InitialCpbRemovalDelayOffset欄位對的理由係為了描述InitialCpbRemovalDelay參數及InitialCpbRemovalDelayOffset參數適合用於於該處編碼位元串流係以(N+1)個不同位元 率傳輸的情況。InitialCpbRemovalDelayOffset參數定義在該視頻編碼裝置中的第一圖像之編碼完成時間與該編碼圖像資料傳輸給該視頻解碼裝置的起始時間間之差。
PTSEI NAL單元414含有一解碼延遲CpbRemovalDelay欄位及一DpbOutputDelay欄位。此等欄位之定義可與在稍早引述的非專利文件或於MPEG-4 AVC/H.264中揭示的方法中給定的定義相同。
圖5為依據第一實施例該視頻編碼裝置之簡化方塊圖。該視頻編碼裝置1包括一控制單元11、一編碼控制單元12、一圖像編碼單元13、一剪接點識別資訊處理單元14、及一資料剪接單元15。組成視頻編碼裝置1的此等單元各自係體現為在視頻編碼裝置1上的一分開電路。另外，組成視頻編碼裝置1的此等單元可在視頻編碼裝置1上體現為單一積體電路形式，體現個別單元的功能的該等電路係集積在該顆IC上。又復，組成視頻編碼裝置1的此等單元可為功能模組，係藉給合於該視頻編碼裝置1的一處理器上執行一電腦程式而予體現。
當編碼視頻資料時或當編輯該編碼視頻資料時，控制單元11控制視頻編碼裝置1的各個標示單元的操作。舉例言之，根據該編碼視頻資料需要的重製影像品質、壓縮比等，控制單元11決定施加至欲編碼的視頻資料之GOP結構等。然後，控制單元11發訊該GOP結構等給該編碼控制單元12。
首先，將敘述編碼該視訊位元串流的視頻編碼方 法。該視頻編碼方法係使用編碼控制單元12及圖像編碼單元13進行。
根據從控制單元11發訊的GOP結構，針對各個圖像，編碼控制單元12決定編碼順序、編碼模型(例如內編碼、正向預測、或雙向預測)等。然後，根據各個圖像的該編碼模型、GOP結構內部位置等，編碼控制單元12決定CRA圖像插入間隔、在編碼時欲重新排序的圖像數目、及最大顯示延遲。在圖2例示說明的實施例中，CRA圖像插入間隔為12，欲重新排序的圖像數目為2，及最大顯示延遲為5。編碼控制單元12根據此等值而產生各個圖像的標頭資訊。
舉例言之，若該圖像型別為I圖像(CRA圖像)，其係未參考任何其它圖像而編碼，及若該圖像並非該編碼視頻資料的起始圖像，則當該欲重新排序的圖像數目係不小於1時，編碼控制單元12設定在該圖像的各個截割片的NUH 420中的NalUnitType為4，指示該圖像係緊接著一TFD圖像。另一方面，當該欲重新排序的圖像數目係為0時，編碼控制單元12設定在該圖像的各個截割片的NUH 420中的NalUnitType為5，指示該圖像係不緊接著一TFD圖像。在該編碼視頻資料的起始圖像的各個截割片的NUH 420中的NalUnitType為8(IDR圖像)。又復，當該欲重新排序的圖像數目係不小於1時，編碼控制單元12設定非參考圖像的NalUnitType為2(TFD圖像)，該圖像係緊接在CRA圖像之後，且係指就解碼順序及顯示順序二者而言比CRA圖像更早的一圖像。至於其它圖像，編碼控制單元12設定 NalUnitType為1。
編碼控制單元12通知該圖像編碼單元13已經設定在欲編碼的該圖像之各個截割片的標頭NUH 420中的NalUnitType值。又復，編碼控制單元12獲得在得自該圖像預測結構的各個圖像的PTSEI中的解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay，如圖2所示，及據此通知圖像編碼單元13。
當在該圖像之各個截割片的NUH 420中的NalUnitType為8、4、或5時，編碼控制單元12附接BPSEI至該圖像。然後，當NalUnitType為8或5時，編碼控制單元12設定RapCpbParamsPresentFlag為0。另一方面，當NalUnitType為4時，編碼控制單元12設定RapCpbParamsPresentFlag為1。
又復，編碼控制單元12設定顯示延遲校正資訊AltDpbOutputDelay參數值，其係用以校正顯示延遲，等於該欲重新排序的圖像數目的兩倍，亦即在編碼順序中接在CRA圖像後方與出現在解碼順序中最早圖像的顯示時間及CRA圖像的顯示時間間之圖像數目的兩倍。然後，編碼控制單元12設定解碼延遲校正資訊AltCpbRemovalDelayOffset參數值，其係用以校正解碼延遲，等於緊接在CRA圖像後方的TFD圖像數目的兩倍。
針對各個圖像，編碼控制單元12發訊圖像的編碼模型及標頭資訊給圖像編碼單元13，及簽發一指令以編碼該圖像。
應答於來自編碼控制單元12的指令，圖像編碼單元13藉採用圖框間預測編碼的視頻編碼方法中之一者而以特定編碼模型編碼該圖像。圖像編碼單元13所採用的視頻編碼方法例如可為MPEG-4 AVC/H.264或MPEG-2。圖像編碼單元13儲存含有各個編碼圖像的該編碼視頻資料於一儲存單元(圖中未顯示)。
其次，將描述剪接二編碼視頻資料串流時執行的編輯方法。該編輯方法係使用剪接點識別資訊處理單元14及資料剪接單元15進行。
剪接點識別資訊處理單元14透過一使用者介面單元(圖中未顯示)例如從一儲存單元(圖中未顯示)讀出該二編碼視頻資料串流。然後，根據外部施加的控制信號(圖中未顯示)，剪接點識別資訊處理單元14識別該等編碼視頻資料串流中之另一者下游欲作時間剪接的該第二編碼視頻資料串流中的剪接點起始圖像。該外部控制信號例如載明從該第二編碼視頻資料串流起點算起的編碼圖像數目；及剪接點識別資訊處理單元14例如取在此編碼圖像數目內部的最新CRA圖像作為剪接點圖像。
針對所識別的剪接點CRA圖像，若該圖像的截割片的NalUnitType為4，則剪接點識別資訊處理單元14將該NalUnitType值改成7，指示該圖像為BLA圖像，不緊接著一TFD圖像。又復，剪接點識別資訊處理單元14供給剪接點CRA圖像及在該第二編碼視頻資料串流中的其隨後圖像給該資料剪接單元15，及同時，簽發一指令以丟棄緊接在該 剪接點CRA圖像之後的該TFD圖像。
針對所識別的剪接點CRA圖像，若該圖像的截割片的NalUnitType為5，則剪接點識別資訊處理單元14將該NalUnitType值改成7，指示該圖像為BLA圖像，不緊接著一TFD圖像。又復，剪接點識別資訊處理單元14供給剪接點CRA圖像及在該第二編碼視頻資料串流中的其隨後圖像給該資料剪接單元15。但於此種情況下，剪接點識別資訊處理單元14並不簽發一指令以丟棄緊接在該剪接點CRA圖像之後的該TFD圖像。
資料剪接單元15從該剪接點識別資訊處理單元14接收第二編碼視頻資料串流，及將其剪接至在該剪接點上游時間上剪接的該第一編碼視頻資料串流之尾端。此時，資料剪接單元15從第二編碼視頻資料串流丟棄緊接在其起始圖像後方且無法正確地重製的TFD圖像。然後，資料剪接單元15將經由該等第一及第二編碼視頻資料串流剪接在一起所產生的該剪接編碼視頻資料儲存於儲存單元(圖中未顯示)。
圖6為一操作流程圖，示例說明依據第一實施例由該視頻編碼裝置執行的視頻編碼方法。視頻編碼裝置1根據圖6之操作流程圖編碼欲編碼的整個視訊序列。
在開始針對整個序列的編碼處理之前，例如藉控制單元11決定圖像預測結構，諸如GOP結構(步驟S101)。所決定的圖像預測結構係發訊給編碼控制單元12。
然後，根據圖像預測結構、目標圖像距視頻資料 起點的位置等，編碼控制單元12決定欲施用的編碼模型以編碼該目標圖像，及產生欲編碼的目標圖像之標頭資訊(步驟S102)。
其次，編碼控制單元12決定於該目標圖像的截割片NUH中的NalUnitType是否為4或5或8，或無其中之任一者(步驟S103)。當NalUnitType為4時，目標圖像為CRA圖像，接著為一TFD圖像。當含有此一目標圖像作為起始圖像的該編碼視頻資料串流係在另一個編碼視頻資料串流的下游端截割時，出現一項需要：在視頻解碼處理期間需校正此一目標圖像及其隨後圖像的解碼延遲值及顯示延遲值。因此，編碼控制單元12設定在附接至此目標圖像的BPSEI中的RapCpbParamsPresentFlag為1(步驟S104)。然後，編碼控制單元12設定用以校正顯示延遲的該顯示延遲校正資訊AltDpbOutputDelay值係等於欲重新排序的圖像數目的兩倍。又復，編碼控制單元12設定用以校正解碼延遲的該解碼延遲校正資訊AltCpbRemovalDelayOffset值係等於緊接該CRA圖像後方的TFD圖像數目的兩倍(步驟S105)。
另一方面，當NalUnitType為5或8時，該目標圖像為附接BPSEI圖像，但此目標圖像後方不接著TFD圖像。因此，編碼控制單元12設定附接至此目標圖像的BPSEI中的RapCpbParamsPresentFlag為0(步驟S106)。當NalUnitType既非4也非5或8時，此目標圖像係非為附接BPSEI圖像。據此，編碼控制單元12不設定RapCpbParamsPresentFlag。
於步驟S105或S106之後，或若於步驟S103中 NalUnitType既非4也非5，則編碼控制單元12供給該目標圖像資料連同該圖像的編碼模型型別及標頭資訊給圖像編碼單元13。然後，圖像編碼單元13根據該編碼模型及標頭資訊編碼目標圖像，及將該標頭資訊附接至該編碼圖像的資料(步驟S107)。
其後，控制單元11決定在該視頻序列中是否仍有任何圖像有待編碼(步驟S108)。若仍有任何圖像有待編碼(步驟S108為是)，則控制單元11從步驟S102開始進行處理以編碼下個目標圖像。另一方面，若不再有任何圖像有待編碼(步驟S108為否)，則控制單元11結束編碼處理。
圖7為一操作流程圖示例說明依據第一實施例由視頻編碼裝置執行的視頻編輯處理。
剪接點識別資訊處理單元14循序地從儲存單元(圖中未顯示)讀取出編碼圖像，直到在該剪接點上游欲剪接的第一編碼視頻資料串流中的該剪接點(步驟S201)。又復，剪接點識別資訊處理單元14循序地從儲存單元(圖中未顯示)讀取出在該剪接點下游欲剪接的第二編碼視頻資料串流中的該剪接點後方的該等編碼圖像(步驟S202)。其次，針對從第二編碼視頻資料串流讀取出的該起始CRA圖像，剪接點識別資訊處理單元14改變在各個截割片NUH中的NalUnitType值為指示BLA圖像之值，及供給起始CRA圖像給資料剪接單元15(步驟S203)。又，剪接點識別資訊處理單元14決定NalUnitType的原先值是否為4，亦即是否有任何TFD圖像(步驟S204)。若該NalUnitType的原先值為4(步驟 S204為是)，則有一TFD圖像接在起始CRA圖像(在剪接後係為BLA圖像)後方。因此，剪接點識別資訊處理單元14設定一TFD丟棄旗標為1(步驟S205)。另一方面，若該NalUnitType的原先值係非為4(步驟S204為否)，則無TFD圖像接在起始CRA圖像後方。因此，剪接點識別資訊處理單元14設定該TFD丟棄旗標為0(步驟S206)。
在步驟S205或S206之後，剪接點識別資訊處理單元14供給該第二編碼視頻資料串流的該起始CRA圖像及其後續圖像至該資料剪接單元15。然後，資料剪接單元15剪接在該第一編碼視頻資料串流的該剪接點下游端上的該起始CRA圖像，亦即BLA圖像(步驟S207)。
其後，資料剪接單元15前進至該第二編碼視頻資料串流中，在剪接至第一編碼視頻資料串流的該圖像後方或在丟棄圖像後方的下個目標圖像。然後，資料剪接單元15決定在此目標圖像的各個截割片NUH中NalUnitType是否為2(亦即該圖像是否為TFD圖像)及該TFD丟棄旗標是否為1(步驟S208)。
若NalUnitType為2，且若TFD丟棄旗標為1(步驟S208為是)，則資料剪接單元15丟棄此一目標圖像(步驟S209)。另一方面，若NalUnitType非為2，或若TFD丟棄旗標為0(步驟S208為否)，則資料剪接單元15將此一目標圖像加在剪接編碼視頻資料尾端，及設定該TFD丟棄旗標為0(步驟S210)。
在步驟S209或S210之後，資料剪接單元15決定在 該目標圖像後方是否有任何額外圖像(步驟S211)。若有任何額外後續圖像(步驟S211為是)，則資料剪接單元15返回步驟S208以重複前述處理。另一方面，若無任何額外後續圖像(步驟S211為否)，則資料剪接單元15結束視頻編輯處理。
其次，將說明依據第一實施例解碼由視頻編碼裝置1編碼或編輯的該編碼視頻資料之視頻解碼裝置。
圖8為依據本發明之一實施例該視頻解碼裝置之簡化方塊圖。該視頻解碼裝置2包括一控制單元21、一標頭資訊分析單元22、一圖像解碼/顯示時間決定單元23、一圖像解碼單元24、及一圖框記憶體25。組成該視頻解碼裝置2的此等單元各自係體現為在該視頻解碼裝置2上的一分開電路。另外，組成該視頻解碼裝置2的此等單元可在該視頻解碼裝置2上以單一積體電路形式體現，在該IC上集積體現個別單元的功能之電路。又復，組成該視頻解碼裝置2的此等單元可為藉由在結合於該視頻解碼裝置2內的一處理器上執行電腦程式而體現的功能模組。
控制單元21控制當解碼該編碼視頻資料時該視頻解碼裝置2的各個指定單元的操作。
標頭資訊分析單元22分析編碼視頻資料的標頭資訊，及發送決定圖像解碼及顯示時間所需參數給圖像解碼/顯示時間決定單元23，該等參數例如各個圖像的NalUnitType，載於BPSEI的AltDpbOutputDelay及AltCpbRemovalDelayOffset，及載於PTSEI的CpbRemovalDelay及DpbOutputDelay。
從該標頭資訊分析單元22接收參數的圖像解碼/顯示時間決定單元23檢查欲解碼的目標圖像之截割片NUH。當載於NUH的NalUnitType值為6或7時，圖像解碼/顯示時間決定單元23決定該欲解碼的圖像為一BLA圖像。
當該欲解碼的圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23使用以下述方式算出的值作為BLA圖像的解碼延遲CpbRemovalDelay，而非使用載於附接至該BLA圖像的PTSEI中的CpbRemovalDelay值。
該圖像解碼/顯示時間決定單元23計數從該BLA圖像前方的最晚近附接至BPSEI圖像緊接其後的該圖像直至緊接在該BLA圖像前方的該圖像之圖像數目A。其次，該圖像解碼/顯示時間決定單元23檢驗載於附接至緊接在該BLA圖像前方的該圖像的該PTSEI中的CpbRemovalDelay值B。然後，圖像解碼/顯示時間決定單元23計算該BLA圖像的解碼延遲CpbRemovalDelay值為A*(B/(A-1))。
當該欲解碼的圖像為一BLA圖像，其NalUnitType為7，指示該BLA圖像後方緊接有一TFD圖像時，該圖像解碼/顯示時間決定單元23更進一步查核附接至該BLA圖像的旗標RapCpbParamsPresentFlag。當RapCpbParamsPresentFlag值為1時，該圖像解碼/顯示時間決定單元23決定緊接在該BLA圖像後方的該TFD圖像已經被丟棄，及以下述方式校正該BLA圖像的該顯示延遲DpbOutputDelay、及從緊接在該BLA圖像後方的該圖像(非TFD圖像)至下個BPSEI附接的圖像之每個隨後圖像的解碼 延遲CpbRemovalDelay。
該圖像解碼/顯示時間決定單元23使用附接至該BLA圖像的BPSEI中載有的AltDpbOutputDelay作為該BLA圖像的顯示延遲DpbOutputDelay，而非使用附接至該BLA圖像的BPSEI中載有的DpbOutputDelay。又復，圖像解碼/顯示時間決定單元23藉從附接至隨後圖像的PTSEI中載有的CpbRemovalDelay值中扣除附接至該BLA圖像的BPSEI中載有的AltCpbRemovalDelayOffset值，而校正從緊接在該BLA圖像後方的該圖像至下個BPSEI附接的圖像之每個後續圖像的解碼延遲CpbRemovalDelay。
針對前述圖像以外的任何其它圖像，圖像解碼/顯示時間決定單元23藉直接取附接至該圖像的PTSEI中載有的CpbRemovalDelay值及DpbOutputDelay值而決定該圖像的解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay。
圖像解碼/顯示時間決定單元23根據前述解碼延遲CpbRemovalDelay而決定各個圖像的解碼時間，且在所決定的解碼時間簽發一解碼指令給該圖像解碼單元24。又復，圖像解碼/顯示時間決定單元23根據前述顯示延遲DpbOutputDelay而決定各個圖像的顯示時間，且在所決定的顯示時間簽發一顯示指令給該圖框記憶體25。
當接收到針對該目標圖像的解碼指令時，圖像解碼單元24藉使用儲存於該圖框記憶體25的一參考圖像而解碼該目標圖像。然後，圖像解碼單元24將該已解碼圖像儲 存於圖框記憶體25。圖像解碼單元24係藉採用與該視頻編碼裝置1中的該圖像編碼單元所採用的相同編碼方法而執行解碼。
該圖框記憶體25儲存該解碼圖像。又復，該圖框記憶體25輸出該解碼圖像給該圖像解碼單元24以呈示一參考圖像給一隨後欲解碼的圖像。圖框記憶體25也根據接收自該圖像解碼/顯示時間決定單元23的顯示指令而輸出該解碼圖像給一顯示單元(圖中未顯示)。
圖9為一操作流程圖，示例說明依據第一實施例由該視頻解碼裝置執行的視頻解碼處理。該視頻解碼裝置2解碼根據圖9之流程圖欲解碼的整個視頻序列。
在開始整個序列的解碼處理之前，該控制單元21初始化變數「cnt」及「flag」為0(步驟S301)。變數「cnt」表示從該BPSEI附接的圖像至下個BPSEI附接的圖像的圖像數目。變數「flag」係為一變數，其指示該圖像是否為一非BLA圖像，其CpbRemovalDelay需要校正。
其次，該標頭資訊分析單元22分析欲解碼的該目標圖像之標頭資訊，及傳送決定該顯示時間所需參數給圖像解碼/顯示時間決定單元23(步驟S302)。圖像解碼/顯示時間決定單元23決定該變數「flag」是否為0，或在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值是否為6或7，亦即該欲解碼的圖像是否為BLA圖像(步驟S303)。若該變數flag為1，且若在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值既非6也非7(步驟S303為否)，該圖像解 碼/顯示時間決定單元23藉使用解碼延遲校正資訊AltCpbRemovalDelayOffset而校正該欲解碼的圖像(本例中為非BLA圖像)之解碼延遲CpbRemovalDelay(步驟S304)。
在步驟S304之後，或若於步驟S303決定變數「flag」為0，或NalUnitType為6或7(步驟S303為是)，圖像解碼/顯示時間決定單元23決定該欲解碼的圖像是否為BPSEI附接的圖像(步驟S305)。
若該欲解碼的圖像係為一BPSEI附接的圖像(步驟S305為是)，則圖像解碼/顯示時間決定單元23拷貝變數「cnt」值至一變數「d」，及復置變數「cnt」及「flag」二者為0(步驟S306)。若該欲解碼的圖像係非為一BPSEI附接的圖像(步驟S305為否)，則圖像解碼/顯示時間決定單元23遞增變數「cnt」值1(步驟S307)。
步驟S306或S307之後，圖像解碼/顯示時間決定單元23決定在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值是否為6或7(步驟S308)。若在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值係為6或7(步驟S308為是)，則該欲解碼的圖像為一BLA圖像。然後，圖像解碼/顯示時間決定單元23根據變數「d」值校正該圖像的解碼延遲CpbRemovalDelay(步驟S309)。
其次，該圖像解碼/顯示時間決定單元23決定在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值是否為7且在附接至該欲解碼圖像的BPSEI中的RapCpbParamsPresentFlag值是否為1(步驟S310)。若在該欲 解碼的圖像之截割片標頭NUH中的該NalUnitType值為7，且若在附接至該欲解碼圖像的BPSEI中的RapCpbParamsPresentFlag值為1(步驟S310為是)，則圖像解碼/顯示時間決定單元23設定變數「flag」值為1，同時校正該BLA圖像的顯示延遲DpbOutputDelay至該顯示延遲校正資訊AltDpbOutputDelay(步驟S311)。
步驟S311之後，或若於步驟S308決定在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值既非為6也非7(步驟S308為否)，或若於步驟S310決定在該欲解碼的圖像之截割片標頭NUH中的該NalUnitType值係非為7且在附接至該欲解碼圖像的BPSEI中的RapCpbParamsPresentFlag值係為0(步驟S310為否)，則圖像解碼/顯示時間決定單元23在所決定的解碼時間簽發解碼指令給該圖像解碼單元24。又復，圖像解碼/顯示時間決定單元23在所決定的顯示時間簽發顯示指令給該圖框記憶體25。然後，圖像解碼單元24在該解碼時間解碼該目標圖像。另一方面，該圖框記憶體25在該顯示單元(圖中未顯示)上顯示該解碼圖像(步驟S312)。
控制單元21決定在該編碼視頻資料內是否仍有任何圖像有待解碼(步驟S313)。若仍有任何圖像有待解碼(步驟S313為是)，則控制單元21將處理返回步驟S302。然後，在該解碼順序中欲被解碼的圖像係取作為目標圖像，及重複始於步驟S302的處理。另一方面，若不再有任何圖像有待解碼(步驟S313為否)，則控制單元21結束視頻解碼處理。
如同前文已述，即便當二或多個編碼視頻資料串流剪接在一起而不解碼時，依據本發明之該視頻編碼裝置無需校正在編碼時間決定的該解碼延遲參數及顯示延遲參數。然後，因各個圖像的解碼延遲及顯示延遲可使用在剪接該編碼視頻資料串流時加入的解碼延遲校正參數及顯示延遲校正參數而予校正，故依據本實施例的該視頻解碼裝置可於校正時間解碼與顯示各個圖像。
其次，將描述第二實施例。第二實施例與第一實施例的差異在於編碼視頻資料結構。
參考圖10，將描述依據第二實施例該編碼視頻資料之結構。與圖4中描繪的依據第一實施例的編碼圖像結構共通地，一個圖像的資料結構1000含有六種NAL單元1010至1015。其中BPSEI 1013及PTSEI 1014係與圖4中描繪的BPSEI 413及PTSEI 414相異。另一方面，DELIM 1010、SPS 1011、PPS 1012、SLICE 1015、及NUH 1020分別地係與圖4中描繪的DELIM 410、SPS 411、PPS 412、SLICE 415、及NUH 420相同。
類似BPSEI 413，BPSEI 1013含有多個(N+1)個InitialCpbRemovalDelay及InitialCpbRemovalDelayOffset欄位，及接在其後的RapCpbParamsPresentFlag欄位。但AltCpbRemovalDelay欄位及AltDpbOutputDelay欄位並不含在BPSEI 1013。另一方面，類似PTSEI 414，PTSEI 1014含有CpbRemovalDelay欄位及DpbOutputDelay欄位。當BPSEI中的RapCpbParamsPresentFlag值為1時，PTSEI 1014進一步 含有AltCpbRemovalDelay欄位及AltDpbOutputDelay欄位。
即便當TFD圖像被丟棄時若在某個圖像的PTSEI中的CpbRemovalDelay或DpbOutputDelay不變，則AltCpbRemovalDelay或AltDpbOutputDelay值係設定為CpbRemovalDelay或DpbOutputDelay的相同值。
如前文描述，與第一實施例的差異在於載有AltCpbRemovalDelay欄位及AltDpbOutputDelay欄位的SEI型別。因此，第二實施例之視頻編碼裝置與第一實施例之視頻編碼裝置間之差異在於編碼控制單元12的操作。因而後文將描述編碼控制單元12的操作。
編碼控制單元12儲存AltCpbRemovalDelay欄位及AltDpbOutputDelay欄位於附接至各個圖像的該PTSEI而非於BPSEI。於此種情況下，編碼控制單元12執行控制，使得當剪接二編碼視頻資料串流時各個圖像的解碼延遲及顯示延遲值分別地係儲存於AltCpbRemovalDelay欄位及AltDpbOutputDelay欄位。
其次，將描述依據第二實施例該視頻解碼裝置之操作。依據第二實施例該視頻解碼裝置之組態大致上係與依據第一實施例該視頻解碼裝置相同。但第二實施例之視頻解碼裝置與第一實施例之差異在於圖像解碼/顯示時間決定單元23的操作。因而後文將描述圖像解碼/顯示時間決定單元23的操作。
當欲解碼圖像為BLA圖像，其NalUnitType為7時，圖像解碼/顯示時間決定單元23進一步查核BPSEI中的 RapCpbParamsPresentFlag。當RapCpbParamsPresentFlag之值為1時，圖像解碼/顯示時間決定單元23決定緊接在BLA圖像之後的該TFD圖像已經被丟棄。然後，圖像解碼/顯示時間決定單元23以後述方式校正該BLA圖像的DpbOutputDelay，及校正從緊接在BLA圖像之後的該圖像(非TFD圖像)至下個BPSEI附接的圖像的每個圖像之CpbRemovalDelay。
圖像解碼/顯示時間決定單元23使用附接至該BLA圖像的PTSEI中載有的AltDpbOutputDelay，而非使用附接至該BLA圖像的PTSEI中載有的DpbOutputDelay作為該BLA圖像的DpbOutputDelay。
又復，圖像解碼/顯示時間決定單元23使用附接至該圖像的PTSEI中所含AltCpbRemovalDelayOffset，而非附接至該圖像的PTSEI中所載的CpbRemovalDelay作為從緊接在BLA圖像之後的該圖像至下個BPSEI附接的圖像的每個圖像之CpbRemovalDelay。
其次，將描述第三實施例。第三實施例與第一實施例之差異在於在該視頻解碼裝置中的圖像解碼/顯示時間決定單元23計算該BLA圖像的解碼延遲。因此，後文將說明圖像解碼/顯示時間決定單元23。
當分析從標頭資訊分析單元22發送的該目標圖像之標頭資訊時，圖像解碼/顯示時間決定單元23檢驗截割片NUH。當載於NUH的NalUnitType值為6或7時，圖像解碼/顯示時間決定單元23決定欲解碼的目標圖像為一BLA圖像。
當欲解碼的目標圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23運用以下述方式計算值，而非附接至該BLA圖像的PTSEI中載有的CpbRemovalDelay值作為該BLA圖像的CpbRemovalDelay。
設A表示從緊接在該最近BPSEI附接的圖像(後文稱作Pic1)後方而在該BLA圖像(後文稱作Pic2)前方的該圖像直至緊接Pic2前方的該圖像計數的圖像數目。從Pic2的CpbRemovalDelay值B，圖像解碼/顯示時間決定單元23推衍一第一校正值Mod1為A*(B/(A-1))。B/(A-1)係相對應於連續圖像間之時間差(單位為tc)。B/(A-1)將於後文標示為「s」。
其次，圖像解碼/顯示時間決定單元23計算一第二校正值Mod2用以校正在該剪接點在該CPB中保有的資料量之歧異。設Pos2表示恰在解碼Pic2之前保有於CPB的資料量，更明確言之，當附接至Pic2的BPSEI中所載InitialCpbRemovalDelay值(標示為Init2)除以90000(亦即90kHz)求出的時間[秒]已經從時間0經過時保有於CPB的資料量，於時間0，具有Pic2的編碼視頻資料串流之第一位元作為起始圖像到達該視頻解碼裝置中的接收緩衝器；然後，計算Pos2為(R*Init2/90000)。R表示位元率。
另一方面，設Init1表示附接至Pic1的BPSEI中所載InitialCpbRemovalDelay值，及TotalB表示位在該Pic1與Pic2間含該Pic1的全部圖像的代碼總量；然後，從其起點，當該視頻解碼裝置解碼該編碼視頻資料時，恰在解碼該 Pic2之前保有於CPB的資料量Pos2係計算為(R*(Init1+(A+1)*s)-TotalB)。
當Pos1係小於Pos2時，直到解碼裝置恰開始解碼該編碼視頻資料串流中的該Pic2之時，該Pic2的全部資料尚未到達視頻解碼裝置，因此該Pic1可能無法被解碼。藉延遲該Pic2的解碼時間可避免此點，以(s*tc)時間[秒]為單位。
當(Pos2-Pos1)<Th時，圖像解碼/顯示時間決定單元23設定第二校正值Mod2為0。臨界值Th具有正值。否則圖像解碼/顯示時間決定單元23設定第二校正值Mod2為(Ceil((Pos2-Pos1)/R/(s*tc)))。Ceil( )為上限函數。當欲解碼圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23以(Mod1+Mod2)替代BLA圖像的CpbRemovalDelay。
藉此方式，依據第三實施例的視頻解碼裝置藉考慮恰在解碼該BLA圖像之前保有於該CPB中的資料量而決定該BLA圖像的解碼延遲。結果，依據本實施例視頻解碼裝置可防止CPB中發生欠位。
其次，將描述第四實施例。於該第四實施例中，該解碼延遲及顯示延遲可適當決定，即便當在該剪接點上游剪接的該第一編碼視頻資料串流中欲重新排序的圖像數目係與在該剪接點下游剪接的該第二編碼視頻資料串流中欲重新排序的圖像數目不同時亦復如此。又復，於該第四實施例中，該解碼延遲及顯示延遲可適當決定，即便當在該第一編碼視頻資料串流中的剪接點前欲顯示的任何圖像皆已被丟棄時亦復如此。
參考圖11至13，將針對不同圖像編碼結構及不同編輯點，對圖像解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值作說明。
於圖11中，於該第一編碼視頻資料串流中欲重新排序的圖像數目及於該第二編碼視頻資料串流中者皆為2，如同圖3之情況。又復，第一及第二編碼視頻資料串流1101及1102係與圖3中描繪的第一及第二編碼視頻資料串流301及302相同。但針對第二編碼視頻資料串流1102指示解碼延遲值及顯示延遲值的區塊陣列1103也與圖3中描繪的區塊陣列303相同。但，不似圖3，於第一編碼視頻資料串流1101中的圖像B13乃剪接點圖像。
結果，不似剪接編碼視頻資料304，圖像B15係不含在剪接編碼視頻資料1104。
區塊陣列1105指示在該剪接編碼視頻資料1104中的該等圖像I72、P76、B74、B73、及B75推定具有的解碼延遲CpbRemovalDelay值及顯示延遲DpbOutputDelay值。在該區塊陣列1105之上列中的各個區塊載有針對位在該區塊正上方的該剪接編碼視頻資料1104中的該相對應圖像的該解碼延遲CpbRemovalDelay值。同理，在該區塊陣列1105之下列中的各個區塊載有針對位在該區塊正上方的該剪接編碼視頻資料1104中的該相對應圖像的該顯示延遲DpbOutputDelay值。如從區塊陣列1105可知，即便當圖像I72被剪接因而接在圖像B13後方時，該等圖像I72、P76、B74、B73、及B75的解碼延遲值及顯示延遲值係與當圖像I72被剪 接因而接在圖像B15後方時相同。
比較圖3，位在圖像I72與其前方的最近BPSEI附接的圖像I12間之圖像數目為6，該數目係比位在圖3的圖像I72與I12間的圖像數目少1。但如同圖3的情況，CpbRemovalDelay值須設定為16以與該等圖像輸入的相同區間及於相同順序完全地顯示該等解碼圖像。
將參照區塊陣列1106敘述其理由。區塊陣列1106指示於解碼時間順序及於顯示時間順序在該剪接編碼視頻資料中的該等圖像。如於區塊陣列1106中描繪，剪接編碼視頻資料不含圖像B15，但圖像B16須在圖像B14後的2圖像時間顯示。若圖像I72及其後續圖像欲在顯示圖像B16之後連續地顯示，則圖像I72的解碼時間須延遲1圖像時間。於此種情況下，因圖像B14顯示歷經2圖像時間，故顯示凍結。
於圖12示例說明之實施例中，於第二編碼視頻資料串流1202中欲重新排序的圖像數目係小於於第一編碼視頻資料串流1201中欲重新排序的圖像數目。於該具體實施例中，於第一編碼視頻資料串流中欲重新排序的圖像數目為2，而於第二編碼視頻資料串流中欲重新排序的圖像數目為1。一區塊陣列1203指示在剪接前，針對在該第二編碼視頻資料串流中的各個圖像之解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay。
如於剪接編碼視頻資料1204中描繪，假設於該第二編碼視頻資料串流1202中的圖像I72係經剪接因而接在第一編碼視頻資料串流1201中的該圖像B15之後。於此種情 況下，圖像I72及在剪接後之其後續圖像的解碼延遲值及顯示延遲值係如區塊陣列1205描繪。一區塊陣列1206指示於解碼時間順序及於顯示時間順序的該剪接編碼視頻資料中的該等圖像。
為了以圖像輸入的相同間隔及於相同順序連續地完全顯示該等解碼圖像，如區塊陣列1206描繪，於該第二編碼視頻資料串流1202中的該起始圖像之解碼延遲須與於該第一編碼視頻資料串流1201中欲重新排序的圖像數目與於該第二編碼視頻資料串流1202中欲重新排序的圖像數目間之差成正比而增加。於該具體實施例中，該解碼延遲係增加2至16。
若在該第一編碼視頻資料串流中被選用為該剪接點圖像的圖像係非為圖像B15，反而是圖像B13、B14、或B16，則於該第二編碼視頻資料串流中的該起始圖像之解碼延遲係與當該第二編碼視頻資料串流係經剪接而接在該圖像B15之後時相同。但於此種情況下，出現一圖像顯示凍結歷經等於在該圖像P16之前的該等圖像中被丟棄的圖像數目之時間。
於圖13示例說明之實施例中，於該第一編碼視頻資料串流1301中欲重新排序的圖像數目係小於於該第二編碼視頻資料串流1302中欲重新排序的圖像數目。於該具體實施例中，於該第一編碼視頻資料串流1301中欲重新排序的圖像數目為1，而於該第二編碼視頻資料串流1302中欲重新排序的圖像數目為2。一區塊陣列1303針對在剪接前在該 第二編碼視頻資料串流中之各個圖像的解碼延遲CpbRemovalDelay及顯示延遲DpbOutputDelay。
假設於該第二編碼視頻資料串流1302中的圖像I72係經剪接因而接在第一編碼視頻資料串流1301中的圖像B15後方，如於剪接編碼視頻資料1304中描繪。於此種情況下，圖像I72及在剪接後隨後的圖像之解碼延遲值及顯示延遲值係如一區塊陣列1305描繪。一區塊陣列1306指示於解碼時間順序及於顯示時間順序的該剪接編碼視頻資料中的該等圖像。
為了以圖像輸入的相同間隔及於相同順序完全地顯示該等解碼圖像，於該第一編碼視頻資料串流中的最末顯示圖像須重複。
如圖12及13之示例說明，取決於該第一編碼視頻資料串流中欲重新排序的圖像數目與於該第二編碼視頻資料串流中欲重新排序的圖像數目間之關係，可能需要延遲於該第二編碼視頻資料串流中的起始圖像之解碼時間，或者可能出現橫跨該剪接點的一顯示圖像凍結。又復，如圖11之示例說明，取決於在該第一編碼視頻資料串流中的該剪接點位置，一顯示圖像凍結可能變得無可避免。
其次，將說明解決前述問題之依據第四實施例的一視頻解碼裝置。該第四實施例的視頻解碼裝置與該第一實施例的視頻解碼裝置的差異在於圖像解碼/顯示時間決定單元23的操作。因此後文將說明圖像解碼/顯示時間決定單元23。
當分析從標頭資訊分析單元22發送的該目標圖像之標頭資訊時，圖像解碼/顯示時間決定單元23檢驗截割片NUH。當載於NUH的NalUnitType值為6或7時，圖像解碼/顯示時間決定單元23決定欲解碼的目標圖像為一BLA圖像。
當欲解碼的目標圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23運用以下述方式計算值，而非附接至該BLA圖像的PTSEI中載有的CpbRemovalDelay值作為該BLA圖像的CpbRemovalDelay。
圖像解碼/顯示時間決定單元23計數從緊接在該最近BPSEI附接的圖像(後文稱作Pic1)後方而在該BLA圖像(後文稱作Pic2)前方的該圖像直至緊接Pic2前方的該圖像數目A。圖像解碼/顯示時間決定單元23檢驗緊接在Pic2前方的該圖像所附接的PTSEI中載有的CpbRemovalDelay值B，及計算PTSEI的一第一校正值Mod1為A*(B/(A-1))。
其次，圖像解碼/顯示時間決定單元23比較欲重新排序的圖像數目R1其係界定於緊接該Pic2前方的該圖像所參照的該SPS，與緊接該Pic2後方的一非TFD圖像所參照的欲重新排序的圖像數目R2。該欄位指示在該SPS中欲重新排序的圖像數目乃SpsNumReorderPics，依據於非專利文件JCTVC-I1003中揭示的方法，「高效率視頻編碼(HEVC)文字規格工作稿本7」，2012年5月ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視頻編碼的聯合合作團隊。
當R1等於R2時，圖像解碼/顯示時間決定單元23直接使用Mod1作為Pic2的CpbRemovalDelay。當R2大於R1 時，圖像解碼/顯示時間決定單元23計算PTSEI的一第二校正值Mod2為(R2-R1)*B/(A-1)。當R2小於R1時，圖像解碼/顯示時間決定單元23直接使用Mod1作為Pic2的CpbRemovalDelay。
又，根據R1與R2間之關係，圖像解碼/顯示時間決定單元23決定在該第一編碼視頻資料串流中的該最末圖像是否欲凍結顯示，及發訊所決定的凍結週期給圖框記憶體25。
圖像解碼/顯示時間決定單元23以下述方式決定凍結週期(以tc為單位表示)。當R1等於R2時，或當R1大於R2時，圖像解碼/顯示時間決定單元23設定凍結週期為0。另一方面，當R1小於R2時，圖像解碼/顯示時間決定單元23設定凍結週期為(R2-R1)*B/(A-1)。
如前文描述，依據第四實施例，即便當該剪接點上游已剪接的該第一編碼視頻資料串流含有任何圖像其係於該編碼(解碼)順序中比該剪接點圖像更遲且欲比該剪接點圖像更早重製時，該視頻解碼裝置能妥為決定位在該剪接點後方的各個圖像之解碼延遲及顯示延遲。又復，即便當該剪接點之前與之後欲重新排序的圖像數目相異時，該視頻解碼裝置能妥為決定位在該剪接點後方的各個圖像之解碼延遲及顯示延遲。
其次，將描述一第五實施例。於該第五實施例中，該視頻解碼裝置增加一識別一圖像的參數，當二編碼視頻資料串流剪接在一起時不會造成一顯示圖像凍結。
為了防止橫跨該剪接點出現一顯示圖像凍結，在該第一編碼視頻資料串流中欲重新排序的圖像數目須變成等於或大於在該第二編碼視頻資料串流中欲重新排序的圖像數目，及該第一編碼視頻資料串流的該剪接點必須緊接位在一圖像之前，只是指時間上在前的一圖像。於圖11之實施例中，滿足此一條件的剪接點係為圖像B11或B15。
圖14示例說明依據第五實施例含在編碼視頻中的一個圖像之資料結構。圖14中示例說明的含在編碼視頻中的一個圖像之資料結構1400與圖4中示例說明的資料結構400之差異為含括一編輯點SEI(EPSEI)NAL單元1416。另外六個NAL單元1410至1415係與圖4中示例說明的資料結構400之相對應NAL單元410至415相同。
EPSEI NAL單元1416乃SEI資料，指示一剪接點圖像不會造成橫跨該剪接點的一顯示圖像凍結。於本實施例中，該EPSEI不包括任何特定欄位。
後文將說明依據第五實施例該視頻編碼裝置之操作。該第五實施例之該視頻編碼裝置與該第一實施例之該視頻編碼裝置之差異在於：該編碼控制單元12及圖像編碼單元13在編碼時附接該EPSEI至特定圖像，及在於資料剪接單元15藉參照編輯時的EPSEI而決定該剪接點。因此後文將描述該編碼控制單元12及圖像編碼單元13附接該EPSEI的操作，及編輯期間該資料剪接單元15的操作。
在編碼時，若該圖像為緊接一I圖像前方的一圖像或為緊接一B圖像或P圖像前方的一圖像(只是指稱於顯 示時序上較早的一圖像)，則編碼控制單元12指示圖像編碼單元13將該EPSEI附接至該欲編碼的圖像。另外，若該圖像為一I圖像或一B圖像或P圖像(只是指稱於顯示時序上較早的一圖像)，則編碼控制單元12指示圖像編碼單元13將該EPSEI附接至該欲編碼的圖像。
當從該編碼控制單元12接收附接該EPSEI的一指令時，該圖像編碼單元13編碼該圖像且將該EPSEI附接至其上。
在編碼時，該資料剪接單元15根據來自控制單元11的一控制信號而識別於該第一編碼視頻資料串流內的該剪接點圖像。該控制信號例如包括從該第一編碼視頻資料串流的起點計數的編碼圖像數目。資料剪接單元15藉在該適用圖像及在該適用圖像之後的該等圖像中選擇於編碼順序中為最早的該EPSEI附接的圖像而決定在該第一編碼視頻資料串流中的該剪接點圖像。另外，該資料剪接單元15藉在該適用圖像及在該適用圖像之後的該等圖像中選擇於編碼順序中緊接在該最早EPSEI附接的圖像前方的該圖像而決定在該第一編碼視頻資料串流中的該剪接點圖像。然後，該資料剪接單元15從該儲存單元(圖中未顯示)中讀取出該剪接點圖像及在該第一編碼視頻資料串流中的全部其前方圖像。其次，該資料剪接單元15從該儲存單元(圖中未顯示)中讀取出從該剪接點識別資訊處理單元14供給的一部分該第二編碼視頻資料串流，該部分係具有一剪接點CRA圖像作為該起始圖像。此時，若從該剪接點識別資訊處理 單元14簽發丟棄緊接在該剪接點CRA圖像後方的任何TFD圖像之一指令，則該資料剪接單元15丟棄任何此種TFD圖像。然後該資料剪接單元15輸出該讀取出的第一編碼視頻資料串流，及其後輸出該第二編碼視頻資料串流。
如前文描述，依據第五實施例的該視頻編碼裝置，指示當二編碼視頻資料串流剪接時不會造成一顯示凍結的該圖像的資訊係附接至該編碼視頻資料。結果，該視頻編碼裝置可將該二編碼視頻剪接在一起，而不會造成一顯示凍結。
其次，將說明一第六實施例。
於該第六實施例的該視頻編碼裝置中，如第三實施例中描述，欲獲得用以校正在該剪接點保有於該CPB中的資料量的歧異之該第二校正值Mod2的該值係事先附接在該第一編碼視頻資料串流。
圖15示例說明依據第六實施例在該編碼視頻所含的一個圖像之資料結構。圖15例示說明的資料結構1500與圖14例示說明的資料結構1400差異在於該EPSEI NAL單元1516包括一BufferOccupancy欄位。另外六個NAL單元1510至1515係與圖14中示例說明的資料結構400之相對應NAL單元1410至1415相同。BufferOccupancy欄位指示恰在該剪接點之前保有於該CPB中的資料量。
將描述依據第六實施例該視頻編碼裝置之操作。該第六實施例之該視頻編碼裝置與該第五實施例之該視頻編碼裝置的差異在於編碼控制單元12的部分操作。因 此後文將敘述該編碼控制單元12之不同的操作部分。
若該圖像為緊接I圖像前方的一圖像或緊接B圖像或P圖像前方的一圖像，只是指顯示時序較早的一圖像，則編碼控制單元12指示圖像編碼單元13附接EPSEI至欲編碼的圖像。第三實施例中描述之值(R*(Initl+(A+1)*s)-TotalB)係儲存於EPSEI的BufferOccupancy欄位。另外，值(R*(Initl+(A+1)*s)-TotalB)除以位元率R可儲存於EPSEI的BufferOccupancy欄位。
將描述依據第六實施例該視頻解碼裝置之操作。該第六實施例之該視頻編碼裝置與該第三實施例之該視頻編碼裝置的差異在於圖像解碼/顯示時間決定單元23的部分操作。因此後文將敘述該圖像解碼/顯示時間決定單元23之不同的操作部分。
當分析從標頭資訊分析單元22發送的該目標圖像之標頭資訊時，圖像解碼/顯示時間決定單元23檢驗截割片NUH。當載於NUH的NalUnitType值為6或7時，圖像解碼/顯示時間決定單元23決定欲解碼的目標圖像為一BLA圖像。
當欲解碼的目標圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23運用以下述方式計算值，而非附接至該BLA圖像的PTSEI中載有的CpbRemovalDelay值作為該BLA圖像的解碼延遲CpbRemovalDelay。
設A表示從緊接在該最近BPSEI附接的圖像(後文稱作Pic1)後方而在該BLA圖像(後文稱作Pic2)前方的該圖像直至緊接Pic2前方的該圖像計數的圖像數目。從Pic2 的CpbRemovalDelay值B，圖像解碼/顯示時間決定單元23推衍一第一校正值Mod1為A*(B/(A-1))。B/(A-1)係相對應於連續圖像間之時間差(單位為tc)。B/(A-1)將於後文標示為「s」。
圖像解碼/顯示時間決定單元23藉使用儲存於附接至緊接BLA前方的該圖像之該EPSEI中的BufferOccupancy欄位之值(或若儲存除以位元率R之該值，則該值乘以R)，作為第三實施例中描述的值(R*(Initl+(A+1)*s)-TotalB)而根據第三實施例之方法計算第二校正值Mod2。
其次，圖像解碼/顯示時間決定單元23比較欲重新排序的圖像數目R1(定義於緊接Pic2前方該圖像參照的SPS中)與緊接Pic2後方的一非TFD圖像參照的欲重新排序的圖像數目R2。根據先前引述之非專利文件揭示的方法，指示在該SPS中欲重新排序的圖像數目之該欄位為SpsNumReorderPics。
當R2大於R1時，圖像解碼/顯示時間決定單元23計算PTSEI的一第三校正值Mod3為(R2-R1)*B/(A-1)。否則，圖像解碼/顯示時間決定單元23設定PTSEI的該第三校正值Mod3為0。然後，圖像解碼/顯示時間決定單元23修正該Pic2的CpbRemovalDelay為(Mod1+Mod2+Mod3)。
其次，將描述一第七實施例。於該第七實施例中，當剪接二編碼視頻資料串流時，該視頻編碼裝置校正該BLA圖像的CpbRemovalDelay。本次，視頻編碼裝置加入 一參數，該參數指示該剪接編碼視頻資料是否能連續地橫跨該BLA圖像解碼與顯示。
校正該BLA圖像的CpbRemovalDelay之方法大致上係與於第六實施例中圖像解碼/顯示時間決定單元23用以校正該CpbRemovalDelay之方法相同。
圖16示例說明依據第七實施例編碼視頻所含一個圖像之資料結構。圖16示例說明編碼視頻所含一個圖像之資料結構1600與圖14示例說明之資料結構1400的差異在於BPSEI NAL單元1613包括一ContinuousHrdFlag欄位。另六個NAL單元1610至1612及1614至1617係與圖14示例說明的資料結構1400之相對應於NAL單元1410至1412及1414至1417相同。
ContinuousHrdFlag欄位指示該視頻解碼裝置是否能橫跨該BPSEI已附接的該BLA圖像而連續地解碼與顯示該編碼視頻資料。
該ContinuousHrdFlag欄位可含於非在BPSEI，反而係含於SPS 1611或若干其它NAL單元。
將描述依據第七實施例該視頻解碼裝置之操作。該第七實施例之該視頻編碼裝置與該第五實施例之該視頻編碼裝置的差異在於資料剪接單元15的部分操作。因此後文將敘述該資料剪接單元15之不同的操作部分。
資料剪接單元15從剪接點識別資訊處理單元14接收第二編碼視頻資料串流，及將該串流剪接至時間上於該剪接點上游剪接的該第一編碼視頻資料串流尾端。此 時，資料剪接單元15比較圖像參數中之一者，該等參數指示含在該等第一及第二編碼視頻資料串流中的該等圖像特性。舉例言之，若該等第一及第二編碼視頻資料串流之圖像參數中，圖像尺寸或圖像率在該二編碼視頻資料串流中有別，則資料剪接單元15設定參數ContFlag(其指示剪接編碼視頻資料是否能跨該剪接點連續地解碼與顯示)之值為0，指示視頻資料無法連續地解碼與顯示。另一方面，若該等第一及第二編碼視頻資料串流間之圖像尺寸及圖像率為相同，資料剪接單元15係以與第六實施例中圖像解碼/顯示時間決定單元23校正CpbRemovalDelay的相同方式，計算該BLA圖像的CpbRemovalDelay。根據第六實施例中編碼控制單元12用以計算BufferOccupancy欄位之值的方法，資料剪接單元15計算相對應於EPSEI中的該BufferOccupancy欄位之值，亦即用以計算第二校正值Mod2之值。又復，資料剪接單元15設定該ContFlag參數為1，指示該剪接編碼視頻資料能夠連續地解碼與顯示。
除了圖像尺寸及圖像率外，可增加圖像的色差成分格式或圖像的像素解析度作為一圖像參數，用以決定該剪接編碼視頻資料是否能夠連續地解碼與顯示。於此種情況下，若全部此等參數在該等第一及第二編碼視頻資料串流間為相同，則判定剪接編碼視頻資料跨該剪接點能夠連續地解碼與顯示。
當該ContFlag參數值為0時，資料剪接單元15設定附接至BLA圖像的該BPSEI中的該ContinuousHrdFlag欄 位值為0，其指示剪接編碼視頻資料無法連續地解碼與顯示。另一方面，當該ContFlag參數值為1時，資料剪接單元15設定附接至BLA圖像的該BPSEI中的該ContinuousHrdFlag欄位值為1，其指示剪接編碼視頻資料能夠連續地解碼與顯示。又復，資料剪接單元15校正第二編碼視頻資料串流的起始圖像亦即BLA圖像的解碼延遲CpbRemovalDelay值為如前述計算值。
將描述依據第七實施例該視頻解碼裝置之操作。該第七實施例之該視頻編碼裝置與該第一實施例之該視頻編碼裝置的差異在於圖像解碼/顯示時間決定單元23的部分操作。因此後文將敘述該圖像解碼/顯示時間決定單元23之不同的操作部分。
當欲解碼圖像為一BLA圖像時，圖像解碼/顯示時間決定單元23係參照附接至該BLA圖像的該BPSEI中的該ContinuousHrdFlag欄位值。
當該ContinuousHrdFlag欄位值為1時，亦即當該剪接編碼視頻資料跨該剪接點能夠連續地解碼與顯示時，圖像解碼/顯示時間決定單元23係使用附接至BLA圖像的該BPSEI中的該CpbRemovalDelay，直接用作為該BLA圖像的解碼延遲CpbRemovalDelay。另一方面，當該ContinuousHrdFlag欄位值為0時，亦即當該剪接編碼視頻資料跨該剪接點無法連續地解碼與顯示時，圖像解碼/顯示時間決定單元23並非從該CpbRemovalDelay決定該BLA圖像的解碼時間，反而係使用含括於該BPSEI中的該初始解碼延 遲InitialCpbRemovalDelay值。於此種情況下，圖像解碼/顯示時間決定單元23藉參照時間0而計算自該InitialCpbRemovalDelay算起該BLA圖像的解碼時間，該時間0係設定為比緊接該BLA圖像前方的該圖像之解碼時間更遲。另外，圖像解碼/顯示時間決定單元23可將該時間0設定為比在該BLA圖像前方的全部編碼圖像之顯示完成時間更遲。
圖17為一略圖示例說明一電腦的組態，依據前述實施例或其修改例中之任一者，該電腦藉執行一電腦程式用以體現在視頻編碼裝置或視頻解碼裝置中各項單元的功能而操作為視頻編碼裝置或視頻解碼裝置。
該電腦100包括一使用者介面單元101、一通訊介面單元102、一儲存單元103、一儲存媒體存取裝置104、及一處理器105。該處理器105例如透過一匯流排而連結至該等使用者介面單元101、通訊介面單元102、儲存單元103、及儲存媒體存取裝置104。
使用者介面單元101例如包括一輸入裝置諸如鍵盤及滑鼠，及一顯示裝置諸如液晶顯示器。另外，使用者介面單元101可包括一裝置諸如觸控面板顯示器，一輸入裝置及一顯示裝置整合入其中。應答於一使用者操作，該使用者介面單元101產生一操作信號用以選擇欲編碼的視頻資料、編碼欲編輯視頻資料、或編碼欲解碼視頻資料；及供給該操作信號給處理器105。使用者介面單元101也可顯示接收自處理器105的該解碼視頻資料。
該通訊介面單元102可包括一通訊介面用以連結該電腦100至一視頻資料產生裝置，例如，一視訊攝影機、及一通訊介面控制電路。此種通訊介面例如可為一通用串列匯流排(USB)介面。
又復，該通訊介面單元102可包括一通訊介面用以連結至遵照通訊標準的通訊網路，諸如乙太網路®及一通訊介面控制電路。
於後述情況下，該通訊介面102從連結至通訊網路的另一裝置接收欲編碼的視頻資料、編碼欲編輯視頻資料、或編碼欲解碼視頻資料；及傳送所接收的資料給處理器105。又復，該通訊介面102可從該處理器105接收編碼視頻資料、剪接編碼視頻資料、或解碼視頻資料，及可透過該通訊網路而發送該資料給另一裝置。
儲存單元103包括例如一可讀式/可寫式半導體記憶體及一唯讀半導體記憶體。該儲存單元103儲存欲在該處理器105上執行的視頻編碼、視頻編輯、或視頻解碼的一電腦程式，及也儲存由於程式執行結果或程式執行期間所產生的資料。
儲存媒體存取裝置104為儲存一儲存媒體106的裝置，諸如磁碟、半導體記憶卡、或光學儲存媒體。該儲存媒體存取裝置104存取該儲存媒體106以讀取出例如，欲在該處理器105上執行的該視頻編碼、視頻編輯、或視頻解碼的該電腦程式，及傳送該讀取出的電腦程式給該處理器105。
依據前述實施例或其修正例中之各者，該處理器105藉執行該視頻編碼電腦程式而產生編碼視頻資料。然後，該處理器105儲存所產生的該編碼視頻資料於該儲存單元103，或透過該通訊介面單元102發送所產生的資料給另一裝置。又復，該處理器105藉將依據前述實施例或其修正例中之任一者的該視頻編碼電腦程式的該二編碼視頻資料一起剪接，而產生已剪接已編碼的視頻資料。然後，該處理器105儲存所產生的該已剪接已編碼的視頻資料於該儲存單元103，或透過該通訊介面單元102發送所產生的資料給另一裝置。又復，該處理器105藉執行依據前述實施例或其修正例中之任一者的該視頻解碼電腦程式而解碼該編碼視頻資料。然後，該處理器105儲存該解碼視頻資料於該儲存單元103，呈示該資料給使用者介面單元101用以顯示，或透過該通訊介面單元102發送該資料給另一裝置。
依據前述實施例或其修正例中之各者，在一電腦上執行以體現組成該視頻編碼裝置或視頻解碼裝置的多個單元之功能的一電腦程式可以儲存於半導體記憶體形式或以記錄在一記錄媒體諸如光學記錄媒體上的形式分配。「記錄媒體」一詞用於此處並非載波。
依據前述實施例或其修正例中之各者的組成該視頻編碼裝置之該等多個單元中，結合與視頻編輯有關的該剪接點識別資訊處理單元14及該資料剪接單元15的裝置可與結合與視頻編碼有關的該編碼控制單元12及該圖像編碼單元13的該裝置分開地設置。
依據前述實施例或其修正例的該等視頻編碼裝置及視頻解碼裝置係用於各項應用用途。舉例言之，視頻編碼裝置及視頻解碼裝置係結合於一視訊攝影機、一視訊發射設備、一視訊接收設備、一視訊電話系統、一電腦、或一行動電話。
1‧‧‧視頻編碼裝置
11‧‧‧控制單元
12‧‧‧編碼控制單元
13‧‧‧圖像編碼單元
14‧‧‧剪接點識別資訊處理單元
15‧‧‧資料剪接單元

Claims (1)

  1. 一種視頻編碼及解碼之系統，其包含：一藉圖框間預測編碼以編碼視頻資料的視頻編碼裝置，其包括：一編碼控制單元，其獲得解碼延遲校正資訊及顯示延遲校正資訊以確保即便於該視頻資料的編碼順序中，相較於可能地被剪接至其它編碼視頻資料的一尾端的一第一圖像更後面之一或多個圖像已經被丟棄，於該編碼視頻資料中的該第一圖像及後續圖像可藉一視頻解碼裝置而被連續地解碼與顯示；以及一圖像編碼單元，其編碼含括在該視頻資料中的各個圖像及將該解碼延遲校正資訊及該顯示延遲校正資訊附接至該編碼視頻資料；以及一用於解碼藉圖框間預測編碼而編碼的該視頻資料之視頻解碼裝置，其包括：一圖像解碼/顯示時間決定單元，其當該編碼視頻資料含有：指示該編碼視頻資料已經藉剪接第二編碼視頻資料至第一編碼視頻資料之一尾端而產生的資訊，指示於編碼順序中，相較於在該第一編碼視頻資料與該第二編碼視頻資料被剪接的一剪接點後方之該第二編碼視頻資料中之一起始編碼圖像更後面的一或多個編碼圖像已經被丟棄的資訊，該解 碼延遲校正資訊及該顯示延遲校正資訊，接著基於該顯示延遲校正資訊而校正該起始編碼圖像的該顯示延遲，同時基於該解碼延遲校正資訊而校正跟在該起始編碼圖像後方的該圖像之該解碼延遲。
TW105109878A 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（五） TWI572195B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012148849A JP5891975B2 (ja) 2012-07-02 2012-07-02 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Publications (2)

Publication Number Publication Date
TW201628413A TW201628413A (zh) 2016-08-01
TWI572195B true TWI572195B (zh) 2017-02-21

Family

ID=48747923

Family Applications (5)

Application Number Title Priority Date Filing Date
TW105109874A TWI602425B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（三）
TW105109877A TWI602426B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（四）
TW105109873A TWI602424B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（二）
TW102122181A TWI543585B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法
TW105109878A TWI572195B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（五）

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW105109874A TWI602425B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（三）
TW105109877A TWI602426B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（四）
TW105109873A TWI602424B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（二）
TW102122181A TWI543585B (zh) 2012-07-02 2013-06-21 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法

Country Status (9)

Country Link
US (5) US9392276B2 (zh)
EP (3) EP3764650A1 (zh)
JP (1) JP5891975B2 (zh)
KR (5) KR101460443B1 (zh)
CN (5) CN103533363B (zh)
BR (3) BR102013017036B1 (zh)
CA (2) CA2819674C (zh)
MX (5) MX339447B (zh)
TW (5) TWI602425B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
GB201407805D0 (en) 2014-05-02 2014-06-18 Dukosi Ltd Battery condition determination
US10183852B2 (en) 2015-07-30 2019-01-22 Danfoss Power Solutions Gmbh & Co Ohg Load dependent electronic valve actuator regulation and pressure compensation
JP6119891B2 (ja) * 2016-02-25 2017-04-26 富士通株式会社 動画像符号化方法
JP6237831B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号用コンピュータプログラム
JP6237830B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号方法
JP6237829B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像符号化用コンピュータプログラム
CN107968942B (zh) * 2017-11-24 2021-06-04 网易（杭州）网络有限公司 一种直播平台音视频时间差测量方法与系统
CN109379620B (zh) * 2018-11-28 2021-02-05 广州四三九九信息科技有限公司 音视频缓冲方法和装置
CN114245177B (zh) * 2021-12-17 2024-01-23 智道网联科技(北京)有限公司 高精地图的平滑显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066854A1 (en) * 2002-07-16 2004-04-08 Hannuksela Miska M. Method for random access and gradual picture refresh in video coding
CN1774934A (zh) * 2002-04-29 2006-05-17 诺基亚有限公司 视频编码中的随机访问点
CN101010952A (zh) * 2004-09-01 2007-08-01 松下电器产业株式会社 图像再生方法以及图像再生装置
US20100074340A1 (en) * 2007-01-08 2010-03-25 Thomson Licensing Methods and apparatus for video stream splicing

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69841897D1 (de) * 1997-07-25 2010-10-28 Sony Corp Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren
JP3529599B2 (ja) 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
EP1193981A3 (en) * 1997-09-05 2002-05-15 Matsushita Electric Industrial Co., Ltd. Decoding method and recording medium carrying recorded decoding program
JP4232209B2 (ja) 1998-01-19 2009-03-04 ソニー株式会社 圧縮画像データの編集装置及び圧縮画像データの編集方法
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
AU2001279008A1 (en) 2000-07-25 2002-02-05 Agilevision, L.L.C. Splicing compressed, local video segments into fixed time slots in a network feed
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
JP3534742B1 (ja) * 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
JP4276420B2 (ja) 2002-11-05 2009-06-10 三菱電機株式会社 動き補償方法
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US20070030897A1 (en) 2003-09-29 2007-02-08 Masahiro Ito Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method
US8503541B2 (en) * 2004-01-16 2013-08-06 Motorola Mobility Llc Method and apparatus for determining timing information from a bit stream
US8837599B2 (en) 2004-10-04 2014-09-16 Broadcom Corporation System, method and apparatus for clean channel change
JP2008035294A (ja) * 2006-07-29 2008-02-14 Victor Co Of Japan Ltd 画像データ記録装置及び画像データ符号化装置
JP4221676B2 (ja) * 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
CN101904170B (zh) * 2007-10-16 2014-01-08 思科技术公司 用于传达视频流中的串接属性和图片顺序的方法和系统
JP5258885B2 (ja) * 2008-07-04 2013-08-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法
US8949883B2 (en) * 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8755669B2 (en) * 2009-05-13 2014-06-17 Cisco Technology Inc. Splicing system
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
GB2476031A (en) * 2009-12-02 2011-06-15 Nds Ltd Splicing stored media with a live media stream time slot using timecodes
JP2012015828A (ja) * 2010-07-01 2012-01-19 Sony Corp 可変遅延回路、記録装置、遅延量校正方法
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
CN102378067B (zh) * 2011-11-21 2013-10-02 武汉大学 一种鲁棒性的移动视频解码方法
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US9225978B2 (en) * 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774934A (zh) * 2002-04-29 2006-05-17 诺基亚有限公司 视频编码中的随机访问点
US7760802B2 (en) * 2002-04-29 2010-07-20 Nokia Corporation Random access points in video encoding
US20040066854A1 (en) * 2002-07-16 2004-04-08 Hannuksela Miska M. Method for random access and gradual picture refresh in video coding
CN101010952A (zh) * 2004-09-01 2007-08-01 松下电器产业株式会社 图像再生方法以及图像再生装置
US20100074340A1 (en) * 2007-01-08 2010-03-25 Thomson Licensing Methods and apparatus for video stream splicing

Also Published As

Publication number Publication date
US9712838B2 (en) 2017-07-18
TW201628410A (zh) 2016-08-01
KR20150104068A (ko) 2015-09-14
MX340979B (es) 2016-08-01
TWI602424B (zh) 2017-10-11
EP3410731A1 (en) 2018-12-05
TWI543585B (zh) 2016-07-21
TWI602425B (zh) 2017-10-11
CA2903898C (en) 2018-03-06
CN106131578B (zh) 2019-04-19
KR20140126279A (ko) 2014-10-30
US20160198176A1 (en) 2016-07-07
US20160198178A1 (en) 2016-07-07
US10070144B2 (en) 2018-09-04
CN106131578A (zh) 2016-11-16
TW201628413A (zh) 2016-08-01
CA2903898A1 (en) 2014-01-02
US20160198177A1 (en) 2016-07-07
CN106128484A (zh) 2016-11-16
MX339446B (es) 2016-05-25
TWI602426B (zh) 2017-10-11
TW201628411A (zh) 2016-08-01
US9438924B2 (en) 2016-09-06
US20140003508A1 (en) 2014-01-02
CA2819674C (en) 2017-08-22
KR101526137B1 (ko) 2015-06-04
EP2683174A3 (en) 2014-08-13
KR101460443B1 (ko) 2014-11-11
KR20140005089A (ko) 2014-01-14
US9716896B2 (en) 2017-07-25
JP5891975B2 (ja) 2016-03-23
CN106128483A (zh) 2016-11-16
CN106205655A (zh) 2016-12-07
KR101948376B1 (ko) 2019-02-14
MX337473B (es) 2016-03-04
US20160198179A1 (en) 2016-07-07
MX339445B (es) 2016-05-25
MX339447B (es) 2016-05-25
TW201406164A (zh) 2014-02-01
KR101878537B1 (ko) 2018-07-13
KR20150104069A (ko) 2015-09-14
CN106128484B (zh) 2019-03-22
CN103533363B (zh) 2017-10-24
JP2014011744A (ja) 2014-01-20
BR102013017036B1 (pt) 2022-08-09
EP3764650A1 (en) 2021-01-13
TW201628412A (zh) 2016-08-01
US9392276B2 (en) 2016-07-12
MX2013007730A (es) 2014-02-06
CA2819674A1 (en) 2014-01-02
BR122020018283B1 (pt) 2022-08-09
CN103533363A (zh) 2014-01-22
EP2683174A2 (en) 2014-01-08
BR122020018275B1 (pt) 2022-08-09
CN106205655B (zh) 2019-08-06
BR102013017036A2 (pt) 2019-02-26
KR20150031431A (ko) 2015-03-24
CN106128483B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
TWI572195B (zh) 視頻編碼裝置、視頻解碼裝置、視頻編碼方法、及視頻解碼方法（五）
US10582208B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US20140003519A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method