TWI689198B - Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme - Google Patents
Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme Download PDFInfo
- Publication number
- TWI689198B TWI689198B TW107132007A TW107132007A TWI689198B TW I689198 B TWI689198 B TW I689198B TW 107132007 A TW107132007 A TW 107132007A TW 107132007 A TW107132007 A TW 107132007A TW I689198 B TWI689198 B TW I689198B
- Authority
- TW
- Taiwan
- Prior art keywords
- processing block
- bit stream
- block
- frame
- circuit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本發明係有關於視訊壓縮技術,尤有關於一種利用略過(skip)機制對一連串視訊圖框(frame)中之一圖框的處理區塊編碼的方法及裝置。 The present invention relates to video compression technology, and more particularly to a method and device for processing block encoding of a frame in a series of video frames using a skip mechanism.
動態圖像專家組(moving picture experts group,MPEG)標準嚴格地定義一略過巨區塊(skip macroblock)(16x16像素)為一向前預測編碼(forward predictive-coded)圖像(P圖像)內之巨區塊,當該巨區塊和其參考巨區塊做比較時,該向前預測編碼圖像具有零預測錯誤值和零移動向量(motion vector)。在一雙向預測編碼圖像(B圖像)中,一略過巨區塊具有零預測錯誤值以及一移動向量,該移動向量相同於一先前巨區塊的移動向量,且該先前巨區塊並不是一框內編碼(intracoded)巨區塊。一旦分辨出來,無需以任何位元來對該略過巨區塊進行編碼,也不會有任何資訊(即無任何編碼係數、無任何標頭(header)以及無任何預測資訊)傳送到解碼器。 The moving picture experts group (MPEG) standard strictly defines a skip macroblock (16x16 pixels) as a forward predictive-coded image (P image) For the giant block, when the giant block is compared with its reference giant block, the forward prediction encoded image has zero prediction error value and zero motion vector. In a bidirectional predictive coded picture (B picture), a skipped giant block has zero prediction error value and a motion vector, which is the same as the motion vector of a previous giant block, and the previous giant block It is not an intracoded giant block. Once distinguished, there is no need to encode the skipped giant block in any bits, and no information (ie, no encoding coefficients, no headers, and no prediction information) is sent to the decoder .
在H.264中,一編碼器可針對一P/B切片(slice)內的一略過巨區塊,選擇略過模式;一解碼器從一略過巨區塊鄰近的編碼巨區塊估算該略過巨區塊的移動向量,並利用該移動向量來計算該略過巨區塊的移動補償預測。因為沒有殘差(residual),該移動補償預測被直接嵌入解碼圖框或圖場(field)。由該編碼器決定選擇是否編碼或略過一巨區塊。一般而言,當該略過模式的位元率失真(rate-distortion)成本低於任何編碼模式時,亦即位元率及失真(解碼巨區塊的品質損失)的加權組合較低時,該編碼器可能選擇略過。為了省去計算,該編碼器可能”猜想”該略過模式適合使用其他標準,例如局部場景統計。 In H.264, an encoder can select the skip mode for a skipped giant block in a P/B slice; a decoder estimates from a coded giant block adjacent to the skipped giant block The motion vector of the skipped giant block, and the motion vector is used to calculate the motion compensation prediction of the skipped giant block. Because there is no residual, the motion compensation prediction is directly embedded in the decoded frame or field. The encoder decides whether to encode or skip a huge block. Generally speaking, when the rate-distortion cost of the bypass mode is lower than any encoding mode, that is, the weighted combination of bit rate and distortion (quality loss of decoding huge blocks) is low, the The encoder may choose to skip. To omit calculations, the encoder may "guess" the skip mode suitable for using other criteria, such as local scene statistics.
然而,關於視訊延伸應用,低延遲時間(latency)以及受限的傳輸頻寬限制了視訊編碼架構。視訊編碼架構無法負擔類MPEG標準採用的數個圖框延遲。而且,由於受限的頻寬,在連續圖框具相同影像內容而編碼圖框的感知品質沒有惡化的情況下,視訊編碼架構必須盡量節省位元。 However, with regard to extended video applications, low latency and limited transmission bandwidth limit the video coding architecture. The video coding architecture cannot afford several frame delays adopted by the MPEG-like standard. Moreover, due to the limited bandwidth, in the case where consecutive frames have the same image content and the perceived quality of the encoded frame does not deteriorate, the video coding architecture must try to save bits.
有鑒於上述問題,本發明的目的之一是提供一種視訊編碼裝置,可減少編碼一圖框所需的位元總數並仍維持視訊細節及品質。 In view of the above problems, one object of the present invention is to provide a video encoding device that can reduce the total number of bits required to encode a frame and still maintain video details and quality.
根據本發明之一實施例,提供一種視訊編碼裝置,用以處理一連串圖框的視訊資料,各圖框包含複數個 處理區塊,該裝置包含一略過決定電路以及一編碼器。該略過決定電路根據一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號。該編碼器,將該第一處理區塊編碼以產生一編碼位元流及該第一量化參數。其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 According to an embodiment of the invention, a video encoding device is provided for processing video data of a series of frames, each frame including a plurality of For processing blocks, the device includes a skip decision circuit and an encoder. The skip determination circuit generates a comparison result of a similarity check result and a first quantization parameter of a first processing block in a current frame and a second quantization parameter of a second processing block in a previous frame One control signal. The encoder encodes the first processing block to generate an encoded bit stream and the first quantization parameter. Wherein, the position of the second processing block in the previous frame is the same as the position of the first processing block in the current frame.
本發明另一實施例,提供一種視訊編碼方法,用以處理一連串圖框的視訊資料,各圖框包含複數個處理區塊,該方法包含:根據一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號;以及,編碼該第一處理區塊以產生一編碼位元流及該第一量化參數;其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 Another embodiment of the present invention provides a video encoding method for processing video data of a series of frames. Each frame includes a plurality of processing blocks. The method includes: according to a similarity check result and a current frame The comparison result of the first quantization parameter of the first processing block and the second quantization parameter of a second processing block of a previous frame generates a control signal; and, encodes the first processing block to generate an encoded bit Meta stream and the first quantization parameter; wherein the position of the second processing block in the previous frame is the same as the position of the first processing block in the current frame.
根據本發明之另一實施例,提供一種視訊編碼裝置,用以處理一連串圖框的視訊資料,各圖框包含複數個處理區塊,該裝置包含一略過決定電路以及一編碼器。該略過決定電路,根據一區塊類型、一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號。該編碼器,將一第三處理區塊編碼以產生一 編碼位元流及該第一量化參數。其中,該第三處理區塊為該第一處理區塊以及一殘差之其一;以及其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 According to another embodiment of the present invention, a video encoding device is provided for processing video data of a series of frames. Each frame includes a plurality of processing blocks. The device includes a skip decision circuit and an encoder. The skip decision circuit is based on a block type, a similarity check result, and a first quantization parameter of a first processing block of a current frame and a second quantization of a second processing block of a previous frame The comparison result of the parameters generates a control signal. The encoder encodes a third processing block to generate a Encode the bit stream and the first quantization parameter. Wherein, the third processing block is one of the first processing block and a residual; and wherein the position of the second processing block in the previous frame is the same as that of the first processing block The position of the current frame.
本發明另一實施例,提供一種視訊編碼方法,用以處理一連串圖框的視訊資料,各圖框包含複數個處理區塊,該方法包含:根據一區塊類型、一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號;以及,編碼將一第三處理區塊以產生一編碼位元流及該第一量化參數。其中,該第三處理區塊為該第一處理區塊以及一殘差之其一;以及,其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 Another embodiment of the present invention provides a video encoding method for processing video data of a series of frames. Each frame includes a plurality of processing blocks. The method includes: according to a block type, a similarity check result, and a The comparison result of the first quantization parameter of a first processing block in the current frame and the second quantization parameter of a second processing block in a previous frame generates a control signal; and, encoding a third processing area Block to generate a coded bit stream and the first quantization parameter. Wherein, the third processing block is one of the first processing block and a residual; and, wherein the position of the second processing block in the previous frame is the same as the position of the first processing block At the current frame position.
根據本發明之另一實施例,提供一種視訊傳輸系統,用以傳輸一連串圖框的視訊資料,各圖框包含複數個處理區塊,該裝置包含:一通訊通道、一視訊編碼裝置、一傳送器、一接收器以及一視訊解碼裝置。該視訊編碼裝置包含一略過決定電路以及一編碼器。該略過決定電路根據一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號。該編碼器,將該 第一處理區塊編碼以產生一編碼位元流及該第一量化參數。該傳送器,轉換一第一格式化位元流為多個資料封包,及傳送該些資料封包至該通訊通道。該接收器,接收該些資料封包及轉換該些資料封包為一第二格式化位元流。該視訊解碼裝置,包含一參考緩衝器,用以將該第二格式化位元流分割為一第二編碼位元流及一第二略過旗標,以及根據該第二略過旗標從該第二編碼位元流及該參考緩衝器之一重建一第三處理區塊。其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 According to another embodiment of the present invention, a video transmission system is provided for transmitting video data of a series of frames, each frame includes a plurality of processing blocks, the device includes: a communication channel, a video encoding device, a transmission Receiver, a receiver and a video decoding device. The video encoding device includes a skip determination circuit and an encoder. The skip determination circuit generates a comparison result of a similarity check result and a first quantization parameter of a first processing block in a current frame and a second quantization parameter of a second processing block in a previous frame One control signal. The encoder, the The first processing block is coded to generate a coded bit stream and the first quantization parameter. The transmitter converts a first formatted bit stream into multiple data packets, and transmits the data packets to the communication channel. The receiver receives the data packets and converts the data packets into a second formatted bit stream. The video decoding device includes a reference buffer for dividing the second formatted bit stream into a second encoded bit stream and a second skip flag, and according to the second skip flag One of the second coded bit stream and the reference buffer reconstructs a third processing block. Wherein, the position of the second processing block in the previous frame is the same as the position of the first processing block in the current frame.
根據本發明之另一實施例,提供一種視訊傳輸系統,用以傳輸一連串圖框的視訊資料,各圖框包含複數個處理區塊,該裝置包含:一通訊通道、一視訊編碼裝置、一傳送器、一接收器以及一視訊解碼裝置。該視訊編碼裝置包含一略過決定電路以及一編碼器。該略過決定電路,根據一區塊類型、一相似度檢查結果以及一目前圖框的一第一處理區塊的第一量化參數與一先前圖框的一第二處理區塊的第二量化參數的比較結果,產生一控制訊號。該編碼器,將一第三處理區塊編碼以產生一編碼位元流及該第一量化參數,其中,該第三處理區塊為該第一處理區塊以及一殘差之其一。該傳送器,轉換一第一格式化位元流為多個資料封包,及傳送該些資料封包至該通訊通道。 該接收器,接收該些資料封包及轉換該些資料封包為一第二格式化位元流。該視訊解碼裝置,包含一參考緩衝器及一差值緩衝器,用以將該第二格式化位元流分割為一第二編碼位元流、一第二類型旗標及一第二略過旗標,以及根據該第二類型旗標及該第二略過旗標,從該第二編碼位元流、該差值緩衝器及該參考緩衝器之至少其一,重建一第五處理區塊。其中,該第二處理區塊位在該先前圖框的位置相同於該第一處理區塊位在該目前圖框的位置。 According to another embodiment of the present invention, a video transmission system is provided for transmitting video data of a series of frames, each frame includes a plurality of processing blocks, the device includes: a communication channel, a video encoding device, a transmission Receiver, a receiver and a video decoding device. The video encoding device includes a skip determination circuit and an encoder. The skip decision circuit is based on a block type, a similarity check result, and a first quantization parameter of a first processing block of a current frame and a second quantization of a second processing block of a previous frame The comparison result of the parameters generates a control signal. The encoder encodes a third processing block to generate an encoded bit stream and the first quantization parameter, where the third processing block is one of the first processing block and a residual. The transmitter converts a first formatted bit stream into multiple data packets, and transmits the data packets to the communication channel. The receiver receives the data packets and converts the data packets into a second formatted bit stream. The video decoding device includes a reference buffer and a difference buffer for dividing the second formatted bit stream into a second encoded bit stream, a second type flag, and a second skip A flag, and a fifth processing area is reconstructed from at least one of the second coded bit stream, the difference buffer and the reference buffer according to the second type flag and the second skip flag Piece. Wherein, the position of the second processing block in the previous frame is the same as the position of the first processing block in the current frame.
茲配合下列圖示、實施例之詳細說明及申請專利範圍,將上述及本發明之其他目的與優點詳述於後。。 In conjunction with the following figures, detailed description of the embodiments and the scope of patent application, the above and other objects and advantages of the present invention will be described in detail later. .
100A、100B、100C、200、300、400、500A、500B‧‧‧視訊編碼裝置 100A, 100B, 100C, 200, 300, 400, 500A, 500B
110‧‧‧目前圖框 110‧‧‧Current frame
120‧‧‧編碼器 120‧‧‧Encoder
121‧‧‧轉換單元 121‧‧‧ Conversion unit
122‧‧‧量化器 122‧‧‧Quantizer
123‧‧‧熵編碼器 123‧‧‧Entropy encoder
124‧‧‧位元率控制單元 124‧‧‧ Bit rate control unit
130a、130b、130c‧‧‧位元流格式化單元 130a, 130b, 130c ‧‧‧ bit stream formatting unit
140‧‧‧徵狀儲存裝置 140‧‧‧symptom storage device
150a、150b‧‧‧相似度檢查電路 150a, 150b ‧‧‧ similarity check circuit
160a、160b‧‧‧略過決定單元 160a, 160b ‧‧‧ skip the decision unit
170‧‧‧QP儲存裝置 170‧‧‧QP storage device
180‧‧‧徵狀產生器 180‧‧‧symptom generator
210‧‧‧先前圖框 210‧‧‧Previous frame
221‧‧‧SAD計算單元 221‧‧‧SAD calculation unit
222、324、350‧‧‧比較器 222, 324, 350 ‧‧‧ comparator
310‧‧‧參考緩衝器 310‧‧‧Reference buffer
320、320’‧‧‧類型選擇器 320, 320’‧‧‧ type selector
321‧‧‧加總單元 321‧‧‧Total unit
322‧‧‧絕對加總單元 322‧‧‧ Absolute Total Unit
323‧‧‧減法器 323‧‧‧Subtractor
325、613‧‧‧多工器 325, 613‧‧‧Multiplexer
330‧‧‧更新控制器 330‧‧‧Update controller
340、813‧‧‧輸出控制器 340, 813‧‧‧ output controller
510‧‧‧移動估計單元 510‧‧‧Mobile estimation unit
600、700、800、900‧‧‧視訊解碼裝置 600, 700, 800, 900 ‧‧‧ video decoding device
610、810、910‧‧‧儲存及選擇輸出電路 610, 810, 910‧‧‧ storage and select output circuit
611‧‧‧輸出控制器 611‧‧‧ Output controller
612‧‧‧DRAM 612‧‧‧DRAM
620a、620b‧‧‧語法分析器 620a, 620b ‧‧‧ parser
630、630a‧‧‧解碼器 630, 630a‧‧‧ decoder
631‧‧‧熵解碼器 631‧‧‧Entropy decoder
632‧‧‧逆量化器 632‧‧‧Inverse quantizer
633‧‧‧逆轉換單元 633‧‧‧Inverse conversion unit
811‧‧‧差值緩衝器 811‧‧‧ Difference buffer
812‧‧‧參考緩衝器 812‧‧‧ Reference buffer
814‧‧‧來源選擇器 814‧‧‧Source selector
830‧‧‧加法器 830‧‧‧Adder
911‧‧‧資料擷取單元 911‧‧‧Data extraction unit
1000‧‧‧視訊傳輸系統 1000‧‧‧Video transmission system
1010‧‧‧影像來源 1010‧‧‧Image source
1020‧‧‧視訊編碼裝置 1020‧‧‧Video encoding device
1030‧‧‧傳輸器 1030‧‧‧Transmitter
1040‧‧‧通訊通道 1040‧‧‧Communication channel
1050‧‧‧接收器 1050‧‧‧Receiver
1060‧‧‧視訊解碼裝置 1060‧‧‧Video decoding device
1070‧‧‧顯示器 1070‧‧‧Monitor
第1A圖係根據本發明一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 1A is a block diagram showing a video encoding device according to an embodiment of the present invention.
第1B圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 1B is a block diagram showing a video encoding device according to another embodiment of the present invention.
第1C圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 1C is a block diagram showing a video encoding device according to another embodiment of the present invention.
第2圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 2 is a block diagram showing a video encoding device according to another embodiment of the present invention.
第3A圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 3A is a block diagram showing a video encoding device according to another embodiment of the present invention.
第3B圖係根據本發明一實施例,顯示一類型選擇器的區塊圖。 FIG. 3B is a block diagram showing a type selector according to an embodiment of the invention.
第3C圖係根據本發明另一實施例,顯示一類型選擇器的區塊圖。 FIG. 3C is a block diagram showing a type selector according to another embodiment of the present invention.
第4圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 4 is a block diagram showing a video encoding device according to another embodiment of the present invention.
第5A圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 5A is a block diagram showing a video encoding device according to another embodiment of the present invention.
第5B圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。 FIG. 5B is a block diagram showing a video encoding device according to another embodiment of the present invention.
第6圖係根據本發明一實施例,顯示一視訊解碼裝置的區塊圖。 FIG. 6 is a block diagram showing a video decoding device according to an embodiment of the present invention.
第7圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。 FIG. 7 is a block diagram showing a video decoding device according to another embodiment of the present invention.
第8圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。 FIG. 8 is a block diagram showing a video decoding device according to another embodiment of the present invention.
第9圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。 FIG. 9 is a block diagram showing a video decoding device according to another embodiment of the present invention.
第10圖係根據本發明一實施例,顯示一視訊傳輸系統的區塊圖。 FIG. 10 is a block diagram showing a video transmission system according to an embodiment of the present invention.
在通篇說明書及後續的請求項當中所提及的 「一」及「該」等單數形式的用語,都同時包含單數及複數的涵義,除非本說明書中另有特別指明。 Mentioned throughout the specification and subsequent requests The terms "a" and "the" in singular form include both singular and plural meanings unless otherwise specified in this specification.
在將一連串視訊圖框饋入至本發明視訊編碼裝製之前,將各圖框分割為複數個處理區塊,各處理區塊包含複數個像素。舉例而言,一處理區塊可包含16x16個像素,故業界又稱巨區塊(macroblock,MB)。為便於說明,在以下範例及實施例中係以巨區塊來做說明。然而,需注意的是,該處理區塊並不限於該巨區塊,而可以是不同於16x16的任何尺寸。例如,該處理區塊可以是8x8個像素,以適用於靜態影像壓縮標準(JPEG)編碼,或者是一條像素線或二條像素線,以適用於基於像素線(line-based)的編碼。 Before feeding a series of video frames into the video encoding system of the present invention, each frame is divided into a plurality of processing blocks, and each processing block includes a plurality of pixels. For example, a processing block may include 16x16 pixels, so the industry is also called a macroblock (MB). For ease of description, giant blocks are used for description in the following examples and embodiments. However, it should be noted that the processing block is not limited to the giant block, but can be any size other than 16x16. For example, the processing block may be 8x8 pixels, suitable for still image compression standard (JPEG) encoding, or one pixel line or two pixel lines, suitable for line-based encoding.
本發明使用一相似度(similarity)檢查機制以及一略過巨區塊機制,以對一連串視訊圖框中之一圖框的複數個巨區塊編碼。本發明的特色之一是根據二相鄰圖框中相同位置的二對應巨區塊的影像相似度及量化值,決定是否略過不去編碼一巨區塊,以降低編碼一圖框以利傳輸的所需位元總數,同時仍可維持視訊細節與品質。本發明的另一特色是:若一目前圖框的目前巨區塊和一先前圖框的對應區塊(位在該先前圖框的位置相同於該目前巨區塊位在該目前圖框的位置)具有類似的影像內容而且該目前巨區塊的量化參數(QP1)大於或等於該對應區塊的量化參數(QP2),則略過不去 編碼該目前巨區塊,否則,編碼該目前巨區塊。如業界所熟知,”QP1>=QP2”表示該目前巨區塊的影像品質不如或等於該先前圖框的對應區塊。因此,沒必要對影像品質較差的巨區塊編碼以進行傳輸,故可節省傳輸頻寬及維持影像品質。 The present invention uses a similarity (similarity) check mechanism and a skip giant block mechanism to encode a plurality of giant blocks in one frame of a series of video frames. One of the features of the present invention is to decide whether to skip encoding a giant block based on the image similarity and quantization value of two corresponding giant blocks at the same position in two adjacent frames, so as to reduce the encoding of one frame to facilitate transmission The total number of bits required while still maintaining video detail and quality. Another feature of the present invention is: if the current giant block of a current frame and the corresponding block of a previous frame (located in the previous frame are at the same position as the current giant block in the current frame Location) with similar video content and the quantization parameter (QP1) of the current giant block is greater than or equal to the quantization parameter (QP2) of the corresponding block, then skip it Encode the current giant block, otherwise, encode the current giant block. As is well known in the industry, “QP1>=QP2” indicates that the image quality of the current giant block is not as good as or equal to the corresponding block of the previous frame. Therefore, there is no need to encode huge blocks with poor image quality for transmission, so transmission bandwidth can be saved and image quality can be maintained.
在通篇說明書及後續的請求項當中,用語”相似度檢查機制”指的是對二相鄰圖框中位在相同位置的二對應巨區塊,計算出一絕對誤差總和(sum of absolute differences,SAD)值或者比較該二對應巨區塊的影像特色,來決定影像相似度,其中,該影像特色係循環冗餘檢查(cyclic redundancy check,CRC)、雜湊(hash)以及核對和(checksum)之一或其組合。舉例而言,若二相鄰圖框的二對應巨區塊的SAD值小於一臨界值,則確定該二對應巨區塊是相似的。用語「I巨區塊」指的是一框內編碼(intra-coded)巨區塊,而用語「P巨區塊」指的是一向前預測編碼巨區塊。本發明的另一特色是各圖框為多個I巨區塊或/及P巨區塊的組合。一實施例中,一圖框中各巨區塊的區塊類型(亦即I巨區塊或P巨區塊)由一類型選擇器320/320’所決定(將於後面討論)。用語「I-P-P模式」指的是複數個相鄰圖框中位在相同位置的一序列的巨區塊,其中,該序列以一I巨區塊為開頭,後面接著複數個P巨區塊,而各P巨區塊的編碼是以該I巨區塊當作參考區塊。相較而言,用語「I-I-I模式」指的是複數個相鄰圖框中位在相同位置的一序列的I巨區塊,其中,各I巨區塊僅使用出現在其本
身圖框的視訊資訊來進行編碼。
In the entire specification and subsequent requests, the term "similarity check mechanism" refers to the calculation of a sum of absolute differences for two corresponding giant blocks located at the same position in two adjacent frames. , SAD) value or compare the image features of the two corresponding giant blocks to determine the image similarity, where the image features are cyclic redundancy check (CRC), hash and checksum One or a combination thereof. For example, if the SAD value of two corresponding giant blocks of two adjacent frames is less than a critical value, it is determined that the two corresponding giant blocks are similar. The term "I giant block" refers to an intra-coded giant block, and the term "P giant block" refers to a forward prediction encoded giant block. Another feature of the present invention is that each frame is a combination of multiple I giant blocks or/and P giant blocks. In one embodiment, the block type of each giant block in a frame (i.e., I giant block or P giant block) is determined by a
第1A圖係根據本發明一實施例,顯示一視訊編碼裝置的區塊圖。參考第1A圖,本發明視訊編碼裝置100A係運作於I-I-I模式,包含一編碼器120、一位元流格式化(bitstream formatting)單元130a、一徵狀(syndrome)儲存裝置140、一相似度檢查電路150a、一略過決定單元160a、一QP儲存裝置170以及一徵狀產生器180。本發明視訊編碼裝置(100A/B/C、200、300、400、500A/B)處理一連串圖框的視訊資料,且各圖框包含複數個巨區塊。具體而言,該視訊編碼裝置100A用來接收一目前圖框的一前巨區塊MB1、決定是否編碼該目前巨區塊MB1以及產生一格式化位元流。該格式化位元流被饋入一傳輸器1030,以便透過一通訊通道1040進行傳輸(請參照第10圖)。一般而言,該巨區塊MB1的像素值可以是R、G、B訊號或Y、Cb、Cr訊號,係從一視訊照相機等輸出當作8位元數位訊號,但該些像素值並不限於上述例子。
FIG. 1A is a block diagram showing a video encoding device according to an embodiment of the present invention. Referring to FIG. 1A, the
根據來自該略過決定單元160a的控制訊號C1,該編碼器120接收該目前圖框110的具16x16個像素的目前巨區塊MB1,並編碼該目前巨區塊MB1以產生一編碼位元流以及一量化參數QPC。其中該量化參數包含,但不限於,JPEG/MPEG中的量化間距(step)以及H.264中的量化位準(level)。該徵狀產生器180接收該目前巨區塊MB1、計算一目前徵狀SC,並儲存該目前徵狀SC至該徵狀儲存裝置140。其中
該徵狀SC/SP包含,但不限於,CRC、雜湊以及核對和。該相似度檢查電路150a比較該目前巨區塊MB1的目前徵狀SC以及一先前圖框中一對應巨區塊(在該先前圖框的位置相同於該目前巨區塊MB1在該目前圖框的位置)的先前徵狀SP,以產生一檢查結果Sim。一實施例中,該相似度檢查電路150a係以一比較器(圖未示)來實施;該檢查結果Sim的邏輯值等於1,代表該目前徵狀SC等於該先前徵狀SP(表示該目前巨區塊MB1與該對應巨區塊具有相似影像內容),而該檢查結果Sim的邏輯值等於0,代表該目前徵狀SC不同於該先前徵狀SP(表示該目前巨區塊MB1與該對應巨區塊具有完全不同的影像內容)。一實施例中,該略過決定單元160a係以一個比較器(圖未示)來實施,該比較器由該檢查結果Sim所控制;若該檢查結果Sim具有一邏輯值0,該略過決定單元160a被禁能並產生具邏輯值0的控制訊號C1;若該檢查結果Sim具有一邏輯值1,該略過決定單元160a被致能並比較該目前巨區塊MB1的目前量化參數QPC以及該對應巨區塊的先前量化參數QPP,產生該控制訊號C1。若該檢查結果Sim具有一邏輯值1且該目前巨區塊MB1的目前量化參數QPC大於或等於該對應巨區塊的先前量化參數QPP,表示該目前巨區塊MB1的影像品質不如或等於該對應巨區塊,故無需編碼該目前巨區塊MB1以進行傳輸,因此,略過該目前巨區塊MB1(即不編碼該目前巨區塊MB1),而該略過決定單元160a則產生具邏輯值1的控制訊號
C1。若該檢查結果Sim具有一邏輯值1且該目前巨區塊MB1的目前量化參數QPC小於該對應巨區塊的先前量化參數QPP,表示該目前巨區塊MB1的影像品質優於該對應巨區塊,故需編碼該目前巨區塊MB1以進行傳輸,因此,該略過決定單元160a則產生具邏輯值0的控制訊號C1(表示不略過該目前巨區塊MB1)。在另一實施例中,該略過決定單元160a可以軟體、或硬體與軟體的組合來實施。
According to the control signal C1 from the
根據本發明,該控制訊號C1、該編碼器120及該位元流格式化單元130a的佈線被配置成三種組態之一(即單線組態、雙線組態以及分路(bypass)組態之一),以輸出一對應格式化位元流。當該控制訊號C1、該編碼器120及該位元流格式化單元130a的佈線被配置成雙線組態時,提供該控制訊號C1給該編碼器120及該位元流格式化單元130a,如第1A圖所示。若該控制訊號C1具邏輯值1,該編碼器120被禁能且不會產生任何輸出,而該位元流格式化單元130a將一略過旗標設為1(表示略過不編碼該目前巨區塊MB1)並將該略過旗標併入該格式化位元流中。若該控制訊號C1具邏輯值0,該編碼器120被致能且產生一編碼位元流,而該位元流格式化單元130a將一略過旗標設為0(表示沒有略過(即有編碼)該目前巨區塊MB1)並將該略過旗標及該編碼位元流併入該格式化位元流中。
According to the present invention, the wiring of the control signal C1, the
當該控制訊號C1、該編碼器120及該位元流格式
化單元130a的佈線被配置成單線組態時,僅提供該控制訊號C1給該位元流格式化單元130a,而該編碼器120係永遠在致能狀態以產生該編碼位元流,如第1B圖所示。若該控制訊號C1具邏輯值1,該位元流格式化單元130a將一略過旗標設為1並將該略過旗標併入該格式化位元流(排除該編碼位元流),否則,該位元流格式化單元130a將該略過旗標設為0(表示沒有略過該目前巨區塊MB1)並將該略過旗標及該編碼位元流併入該格式化位元流。當該控制訊號C1、該編碼器120及該位元流格式化單元130a的佈線被配置成分路組態時,僅提供該控制訊號C1給該編碼器120,而該編碼器120再分路傳送給該位元流格式化單元130a,如第1C圖所示。若該控制訊號C1具邏輯值1,該編碼器120被禁能,僅分路傳送該控制訊號C1給該位元流格式化單元130a,並不會產生任何編碼位元流,而該位元流格式化單元130a將一略過旗標設為1並將該略過旗標併入該格式化位元流中。若該控制訊號C1具邏輯值0,該編碼器120被致能且產生該編碼位元流,並傳送該編碼位元流以及該控制訊號C1給該位元流格式化單元130a,而該位元流格式化單元130a將一略過旗標設為0並將該略過旗標及該編碼位元流併入該格式化位元流中。請注意,雖然第2、3A、4、5A/B圖僅顯示該控制訊號C1、該編碼器120及該位元流格式化單元130a/b/c的佈線被配置成雙線組態,該單線組態及該分路組態亦適用於視訊編碼裝置200、300、400及
500A/B。
When the control signal C1, the
請參考第1A圖,該編碼器120包含一轉換單元121、一量化器122、一熵(entropy)編碼器123及一位元率(rate)控制單元124。取決於該些處理區塊的大小,該轉換單元121可以是一離散餘弦轉換(discrete cosine transform)單元、一圖塊小波(tile wavelet)轉換單元或一基於像素線(line-based)的小波(wavelet)轉換單元。該轉換單元121轉換該目前巨區塊MB1以產生256個轉換係數,之後,該量化器122根據該目前量化參數(QPC),以逐巨區塊方式,量化該些轉換係數以產生多個量化參數。接著,該熵編碼器123將該量化參數編碼成該編碼位元流後,該位元率控制單元124根據來自該熵編碼器123輸出的位元率,動態地調整該目前量化參數(QPC)以達到一目標位元率。該位元率控制單元124分配一些位元給各巨區塊。該目前量化參數(QPC)係提供給該量化器122、該略過決定單元160a、以及該QP儲存裝置170。該徵狀儲存裝置140以及該QP儲存裝置170可用SRAM緩衝器或DRAM緩衝器來實施。在本說明書中,具相同功能的電路元件使用相同的參考符號。
Referring to FIG. 1A, the
第2圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。參考第2圖,本發明視訊編碼裝置200係運作於I-I-I模式,包含一編碼器120、一位元流格式化單元130a、一相似度檢查電路150b、一略過決定單元160a、
以及一QP儲存裝置170。本發明視訊編碼裝置200用來接收一目前圖框110的目前巨區塊MB1以及一先前圖框210的先前巨區塊MB2、決定是否編碼該目前巨區塊MB1以及產生一格式化位元流。相較於該視訊編碼裝置100A中,該視訊編碼裝置200係增加該相似度檢查電路150b,並刪除該徵狀儲存裝置140、該相似度檢查電路150a以及該徵狀產生器180。
FIG. 2 is a block diagram showing a video encoding device according to another embodiment of the present invention. Referring to FIG. 2, the
該相似度檢查電路150b包含一SAD計算單元221以及一比較器222。該SAD計算單元221接收一目前圖框110的目前巨區塊MB1以及一先前圖框120的先前巨區塊MB2(在該先前圖框210的位置相同於該目前巨區塊MB1在該目前圖框110的位置),計算該目前巨區塊MB1中的像素值相對於該先前巨區塊MB2的絕對誤差總和,並產生一SAD值。該比較器222比較該SAD值與一臨界值th1,以產生一檢查結果Sim。一實施例中,該相似度檢查電路150b的輸出Sim具邏輯值1代表二個巨區塊MB1、MB2具有相似的影像內容,而該相似度檢查電路150b的輸出Sim具邏輯值0代表二個巨區塊MB1、MB2具有完全不同的影像內容。第1A及2圖中相同的元件在此不予贅述。第1A及2圖的差異在於第1A圖利用相鄰圖框的對應巨區塊之間的徵狀(CRC/雜湊/核對和)來做相似度檢查,而第2圖利用相鄰圖框的對應巨區塊之間的SAD值來做相似度檢查。
The
第3A圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。參考第3A圖,本發明視訊編碼裝置300係運作於I-P-P模式,包含一編碼器120、一位元流格式化單元130b、一相似度檢查電路150b、一略過決定單元160b、一QP儲存裝置170、一類型選擇器320、一更新控制器330、一參考緩衝器310以及一解碼器630。本發明視訊編碼裝置300用來接收一目前圖框的一目前巨區塊MB1、一先前圖框210的一對應巨區塊MB2以及儲存於該參考緩衝器310之一參考圖框之一對應巨區塊MB3,決定是否編碼該目前巨區塊MB1或一差值巨區塊(MB1-MB3)以產生一格式化位元流。其中,二個對應巨區塊MB2、MB3分別在該先前圖框210及參考圖框的位置係相同於該目前巨區塊MB1在該目前圖框110的位置。
FIG. 3A is a block diagram showing a video encoding device according to another embodiment of the present invention. Referring to FIG. 3A, the
第3B圖係根據本發明一實施例,顯示一類型選擇器的架構示意圖。參考第3B圖,該類型選擇器320包含一減法器323、一加總單元321、一絕對加總單元322、一比較器324以及一多工器325。該加總單元321計算該目前巨區塊MB1的像素值總和以產生一加總值s1。該減法器323以逐像素的方式(pixel-by-pixel),將該目前巨區塊MB1減去該對應巨區塊MB3,以產生具有256個差值的差值巨區塊(MB1-MB3)。該絕對加總單元322計算該差值巨區塊(MB1-MB3)中256個差值的絕對值的總和以產生一加總值s2。該比較器324
比較二個加總值s1、s2以產生一區塊類型訊號Md之後,再將該區塊類型訊號Md傳送給該位元流格式化單元130b、該略過決定單元160b以及該更新控制器330。一實施例中,該區塊類型訊號Md具有邏輯值1代表該目前巨區塊MB1為一I巨區塊,亦即s1<s2;而該訊號Md具有邏輯值0代表該目前巨區塊MB1為一P巨區塊,亦即s1>s2。該多工器325根據該訊號Md以輸出該目前巨區塊MB1以及該差值巨區塊(MB1-MB3)之其一。若該訊號Md具有邏輯值1(代表該目前巨區塊MB1為一I巨區塊),該多工器325輸出該目前巨區塊MB1至該編碼器120,否則該多工器325輸出該差值巨區塊(MB1-MB3)至該編碼器120。
FIG. 3B is a schematic diagram showing the structure of a type selector according to an embodiment of the invention. Referring to FIG. 3B, the
回到第3A圖,請注意,除了設定該略過旗標(請參考第1A圖的相關說明)之外,該位元流格式化單元130b也根據該訊號Md,設定一類型旗標,再將該類型旗標、該略過旗標及該編碼位元流併入該格式化位元流。一實施例中,若該訊號Md具有邏輯值1,該位元流格式化單元130b將該類型旗標設為1(代表該目前巨區塊MB1為一I巨區塊),否則該位元流格式化單元130b將該類型旗標設為0(代表該目前巨區塊MB1為一P巨區塊);最後,將該類型旗標及該略過旗標,連同或排除該編碼位元流(取決於該略過旗標的值),併入該格式化位元流。若該訊號Md具有邏輯值1,該更新控制器330被致能以將該編碼位元流傳送至該解碼器630,該解碼器630
再解碼該編碼位元流為解碼資料,並更新該參考緩衝器的參考圖框中對應位置的解碼資料;若該訊號Md具有邏輯值0,該更新控制器330被禁能。該略過決定單元160b包含一輸出控制器340以及一比較器350。該比較器350比較該目前巨區塊MB1的量化參數QPC以及來自該QP儲存裝置170的一對應巨區塊的量化參數QPP,以產生一輸出訊號Cm。若該訊號Md具有邏輯值1(代表該目前巨區塊MB1為一I巨區塊),該輸出控制器340直接產生具有邏輯值0的控制訊號C1;若該訊號Md具有邏輯值0(代表該目前巨區塊MB1為一P巨區塊),該輸出控制器340根據輸出訊號Cm,產生具有邏輯值0或1的控制訊號C1。例如,若該訊號Md具有邏輯值0且QPC>=QPP(表示該目前巨區塊MB1的影像品質不如或等於該對應巨區塊MB2),該輸出控制器340產生具有邏輯值1的控制訊號C1,以略過而不編碼該目前巨區塊MB1;若該訊號Md具有邏輯值0且QPC<QPP(表示該目前巨區塊MB1的影像品質優於該對應巨區塊MB2),該輸出控制器340產生具有邏輯值0的控制訊號C1,以編碼該目前巨區塊MB1。至於該解碼器630的方塊圖及功能將於第6圖做介紹。另一實施例中,該參考緩衝器310及該解碼器630的位置可交換,如第4圖所示。第1A、2、3A圖中相同的元件在此不予贅述。
Returning to FIG. 3A, please note that in addition to setting the skip flag (please refer to the related description in FIG. 1A), the bit
第4圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。參考第4圖,本發明視訊編碼裝置400
係運作於I-P-P模式,包含一編碼器120、一位元流格式化單元130b、一徵狀儲存裝置140、一相似度檢查電路150a、一略過決定單元160b、一QP儲存裝置170、一徵狀產生器180、一類型選擇器320、一更新控制器330、一參考緩衝器310以及一解碼器630。本發明視訊編碼裝置400用來接收一目前圖框的目前巨區塊MB1以及一參考圖框之一對應巨區塊MB3,決定是否編碼該目前巨區塊MB1或該差值巨區塊(MB1-MB3),以產生一格式化位元流。其中,該參考緩衝器310以位元流的格式儲存該參考圖框,而對應巨區塊MB3在該參考圖框的位置相同於該目前巨區塊MB1在該目前圖框110的位置。另一實施例中,該參考緩衝器310及該解碼器630的位置可交換,如第3A圖所示。第4圖中所有的元件皆於第1A、2、3A-3B圖的相關說明中介紹過,故在此不予贅述。然而,第4圖的電路架構皆不同於第1A、2、3A圖。
FIG. 4 is a block diagram showing a video encoding device according to another embodiment of the present invention. Referring to FIG. 4, the
第5A圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。參考第5A圖,本發明視訊編碼裝置500A係運作於I-P-P模式,包含一編碼器120、一位元流格式化單元130c、一相似度檢查電路150b、一略過決定單元160b、一QP儲存裝置170、一參考緩衝器310、一類型選擇器320’、一更新控制器330、一移動估計(motion estimation)單元510以及一解碼器630。本發明視訊編碼裝置500A用來接收一目前圖框110的目前巨區塊MB1、一參考圖框以及一先前圖框210之
一對應巨區塊MB2,決定是否編碼該目前巨區塊MB1或一目前殘差(residual)RSc以產生一格式化位元流。其中,該對應巨區塊MB2在該先前圖框210的位置相同於該目前巨區塊MB1在該目前圖框110的位置。第1A、2、3A、4圖中相同的元件在此不予贅述。
FIG. 5A is a block diagram showing a video encoding device according to another embodiment of the present invention. Referring to FIG. 5A, the
該移動估計單元510比較該目前巨區塊MB1以及儲存於該參考緩衝器310的該參考圖框中一預設搜尋範圍,以產生該參考圖框中最佳匹配巨區塊之一目前移動向量MVc,並將該目前巨區塊MB1減去該最佳匹配巨區塊以產生一目前殘差RSc。該移動估計單元510將該目前巨區塊MB1的該目前移動向量MVc傳送給該位元流格式化單元130c,以及將該目前巨區塊MB1的該目前殘差RSc傳送給該類型選擇器320’。該類型選擇器320’的功能類似該類型選擇器320。參考第3C圖,該類型選擇器320’包含一加總單元321、一絕對加總單元322、一比較器324以及一多工器325。一實施例中,該訊號Md具有邏輯值1代表該目前巨區塊MB1為一I巨區塊,亦即s1<s2;而該訊號Md具有邏輯值0代表該目前巨區塊MB1為一P巨區塊,亦即s1>s2。該多工器325根據該訊號Md以輸出該目前巨區塊MB1以及該目前殘差RSc之其一。若該訊號Md具有邏輯值1(代表該目前巨區塊MB1為一I巨區塊),該多工器325輸出該目前巨區塊MB1至該編碼器120,否則該多工器325輸出該目前殘差RSc至該編碼器120。
The
回到第5A圖,請注意,除了設定該略過旗標及該類型旗標之外,該位元流格式化單元130c將該類型旗標及該略過旗標,連同或排除該目前移動向量MVc及該編碼位元流,併入該格式化位元流中。一實施例中,若該訊號Md具有邏輯值1(代表該目前巨區塊MB1為一I巨區塊),該位元流格式化單元130c將該類型旗標及該略過旗標,連同或排除該編碼位元流(排除該目前移動向量MVc)併入該格式化位元流;否則,若該訊號Md具有邏輯值0(代表該目前巨區塊MB1為一P巨區塊),該位元流格式化單元130c將該類型旗標、該略過旗標及該目前移動向量MVc,連同或排除該編碼位元流,併入該格式化位元流。
Returning to FIG. 5A, please note that in addition to setting the skip flag and the type flag, the bit
第5B圖係根據本發明另一實施例,顯示一視訊編碼裝置的區塊圖。參考第5B圖,本發明視訊編碼裝置500A係運作於I-P-P模式,包含一編碼器120、一位元流格式化單元130c、一徵狀儲存裝置140、一相似度檢查電路150a、一略過決定單元160b、一QP儲存裝置170、一徵狀產生器180、一參考緩衝器310、一類型選擇器320’、一更新控制器330、一移動估計單元510以及一解碼器630。本發明視訊編碼裝置500B用來接收一目前圖框110的目前巨區塊MB1以及一參考圖框,決定是否編碼該目前巨區塊MB1或一目前殘差RSc以產生一格式化位元流。第1A、2、3A、4、5A圖中相同的元件在此不予贅述。請注意,第5A-5B圖中該參考緩衝器310及該
解碼器630的位置可交換,如第4圖所示。
FIG. 5B is a block diagram showing a video encoding device according to another embodiment of the present invention. Referring to FIG. 5B, the
請注意,雖然第3A、4圖中沒有該移動估計單元510,但可以將第3A、4圖的視訊編碼裝置視為第5A-5B圖中該目前移動向量MVc等於0且與該移動估計單元510一起運作的二個特殊例子。依此,從該類型選擇器320輸出的差值巨區塊(MB1-MB3)亦是從該類型選擇器320’輸出該目前殘差RSc的特殊例子。這是因為當第5A-5B圖的該目前移動向量MVc等於0時,該目前巨區塊MB1及該對應巨區塊MB3必然分別位在該目前圖框110以及該參考圖框的相同位置。
Please note that although the
第6圖係根據本發明一實施例,顯示一視訊解碼裝置的區塊圖。本發明視訊解碼裝置(600、700、800、900)用來接收來自一接收器1050的一格式化位元流,並產生視訊重建資料以便使用於一顯示器1070(請參照第10圖)。具體而言,該視訊解碼裝置600/700將該格式化位元流分為一編碼位元流以及一略過旗標,並根據該略過旗標,從該編碼位元流及一DRAM緩衝器612(以一位元流或重建資料的格式儲存一參考圖框)重建一目前巨區塊。參考第6圖,本發明視訊解碼裝置600係運作於I-I-I模式,包含一儲存及選擇輸出電路610、一語法分析器620a以及一解碼器630。語法分析器620a對來自一接收器1050的一格式化位元流進行語法分析,並將該格式化位元流分為一編碼位元流以及一
略過旗標。該解碼器630包含一熵解碼器631、一逆量化器632以及一逆轉換單元633。該熵解碼器631接收該編碼位元流,並將編碼位元流解碼成量化轉換資料,而該逆量化器632對該量化轉換資料進行逆量化,以產生逆量化轉換資料。該逆轉換單元633對該逆量化轉換資料進行逆轉換,以產生目前重建資料。
FIG. 6 is a block diagram showing a video decoding device according to an embodiment of the present invention. The video decoding device (600, 700, 800, 900) of the present invention is used to receive a formatted bit stream from a
該儲存及選擇輸出電路610包含一輸出控制器611、一DRAM 612以及一多工器613。該DRAM 612儲存一參考圖框的重建資料。該略過旗標當作該輸出控制器611以及該多工器613的控制訊號。一實施例中,若該略過旗標具有邏輯值1(代表該目前巨區塊MB1被略過),該輸出控制器611被禁能而不輸出任何資料,而該多工器613根據該目前巨區塊MB1在該目前圖框110的位置,輸出儲存在該DRAM 612之該參考圖框的先前重建資料當作視訊資料;否則,若該略過旗標具有邏輯值0(代表該目前巨區塊MB1沒有被略過),該輸出控制器611根據該目前巨區塊MB1在該目前圖框110的位置,將來自該解碼器630的目前重建資料儲存於該DRAM 612,而該多工器613輸出該目前重建資料當作視訊資料。
The storage and
第7圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。比較第6-7圖,視訊解碼裝置600、700雖有相同元件,但是電路連接完全不同。具體而言,第6圖
的該DRAM 612儲存一參考圖框的重建資料,而第7圖的該DRAM 612則以位元流的型式儲存該參考圖框。因此,相較於視訊解碼裝置600,視訊解碼裝置700節省了DRAM的頻寬。該視訊解碼裝置700運作於I-I-I模式。
FIG. 7 is a block diagram showing a video decoding device according to another embodiment of the present invention. Comparing Figures 6-7, although the
第8圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。本發明視訊解碼裝置800/900將該格式化位元流分為一編碼位元流、一類型旗標以及一略過旗標,並根據該類型旗標以及該略過旗標,從該編碼位元流、一參考緩衝器812(以位元流或重建資料的格式儲存各圖框的I巨區塊)及一差值緩衝器811(以位元流或重建資料的格式儲存各圖框的P巨區塊)之至少其一,重建一目前巨區塊。參考第8圖,本發明視訊解碼裝置800係運作於I-P-P模式,包含二解碼器630及630a、一儲存及選擇輸出電路810、一加法器830以及一語法分析器620b。語法分析器620b對來自一接收器1050的一格式化位元流進行語法分析,並將該格式化位元流分為一編碼位元流、一類型旗標以及一略過旗標。解碼器630a除了包含該解碼器630所有的功能之外,解碼器630a的啟動是由該類型旗標以及該略過旗標所控制。
FIG. 8 is a block diagram showing a video decoding device according to another embodiment of the present invention. The
該儲存及選擇輸出電路810包含一輸出控制器813、一來源選擇器814、一差值緩衝器811以及一參考緩衝器812。該略過旗標及該類型旗標當作該輸出控制器813、
該來源選擇器814、以及該解碼器630a的控制訊號。回應該略過旗標及該類型旗標,該輸出控制器813決定是否傳送該編碼位元流至該差值緩衝器811以及該參考緩衝器812之其一,該來源選擇器814決定是否傳送該編碼位元流以及先前差值位元流之其一至該解碼器630,以及該解碼器630a決定是否將該參考位元流解碼為參考重建資料。一實施例中,若該略過旗標具有邏輯值1(代表該目前巨區塊MB1被略過)以及該類型旗標具有邏輯值1(代表該目前巨區塊MB1為I巨區塊),該輸出控制器813以及該來源選擇器814被禁能而不輸出任何資料,而該解碼器630a被致能以根據該目前巨區塊MB1在該目前圖框110的位置,將來自該參考緩衝器812的該參考位元流解碼為參考重建資料;最後,該加法器830輸出該參考重建資料當作視訊資料。若該略過旗標具有邏輯值0(代表該目前巨區塊MB1沒有被略過)以及該類型旗標具有邏輯值1(代表該目前巨區塊MB1為I巨區塊),該輸出控制器813傳送該編碼位元流至該參考緩衝器812且根據該目前巨區塊MB1在該目前圖框110的位置,將該編碼位元流儲存至該參考緩衝器812;該解碼器630a被禁能,而該來源選擇器814傳送該編碼位元流至該解碼器630;該解碼器630將該編碼位元流解碼為參考重建資料;最後,該加法器830輸出該參考重建資料當作視訊資料。若該略過旗標具有邏輯值1以及該類型旗標具有邏輯值0(代表該目前巨區塊MB1為
P巨區塊),該輸出控制器813被禁能而不輸出任何資料;該解碼器630a被致能以根據該目前巨區塊MB1在該目前圖框110的位置,將來自該參考緩衝器812的該參考位元流解碼為參考重建資料;該來源選擇器814(根據該目前巨區塊MB1在該目前圖框110的位置)傳送來自該差值緩衝器811的先前差值位元流至該解碼器630;該解碼器630將該先前差值位元流解碼為先前差值差值資料;最後,該加法器830將該先前差值資料及該參考重建資料相加當作視訊資料。若該略過旗標具有邏輯值0以及該類型旗標具有邏輯值0,該輸出控制器813傳送該編碼位元流至該差值緩衝器811且根據該目前巨區塊MB1在該目前圖框110的位置,將該編碼位元器儲存至該差值緩衝器811;該解碼器630a被致能以根據該目前巨區塊MB1在該目前圖框110的位置,將來自該參考緩衝器812的該參考位元流解碼為參考重建資料;該來源選擇器814傳送該編碼位元流至該解碼器630;該解碼器630將該編碼位元流解碼為目前差值資料;最後,該加法器830將該目前差值資料及該參考重建資料相加當作視訊資料。
The storage and
第9圖係根據本發明另一實施例,顯示一視訊解碼裝置的區塊圖。參考第9圖,本發明視訊解碼裝置900係運作於I-P-P模式,包含一解碼器630、一儲存及選擇輸出電路910、一加法器830以及一語法分析器620b。比較第8-9圖,視訊解碼裝置800、900具有類似元件,但電路連接完
全不同。具體而言,第8圖的該差值緩衝器811及該參考緩衝器812係儲存編碼位元流,而第9圖的該差值緩衝器811及該參考緩衝器812係儲存重建資料。因此,相較於視訊解碼裝置900,視訊解碼裝置800節省了記憶體的頻寬。
FIG. 9 is a block diagram showing a video decoding device according to another embodiment of the present invention. Referring to FIG. 9, the
該解碼器630將來自該語法分析器620b的編碼位元流解碼為解碼資料。該儲存及選擇輸出電路910包含一輸出控制器813、一來源選擇器814、一差值緩衝器811、一資料擷取單元911以及一參考緩衝器812。該略過旗標及該類型旗標當作該輸出控制器813、該來源選擇器814、以及該資料擷取單元911的控制訊號。
The
回應該略過旗標及該類型旗標,該輸出控制器813決定是否傳送該解碼資料至該差值緩衝器811以及該參考緩衝器812之其一,該來源選擇器814決定是否傳送該解碼資料以及先前差值資料之其一至該加法器830,以及該資料擷取單元911決定是否將該參考資料傳送給該加法器830。一實施例中,若該略過旗標具有邏輯值1(代表該目前巨區塊MB1被略過)以及該類型旗標具有邏輯值1(代表該目前巨區塊MB1為I巨區塊),該輸出控制器813以及該來源選擇器814被禁能而不輸出任何資料,而該資料擷取單元911傳送來自該參考緩衝器812的該參考資料(根據該目前巨區塊MB1在該目前圖框110的位置)給該加法器830;最後,該加法器830輸出該參考資料當作視訊資料。若該略過旗標具
有邏輯值0(代表該目前巨區塊MB1沒有被略過)以及該類型旗標具有邏輯值1,該輸出控制器813傳送該解碼資料至該參考緩衝器812且根據該目前巨區塊MB1在該目前圖框110的位置,將該解碼資料儲存至該參考緩衝器812;該來源選擇器814傳送該解碼資料至該加法器830;最後,該加法器830輸出該解碼資料當作視訊資料。若該略過旗標具有邏輯值1以及該類型旗標具有邏輯值0(代表該目前巨區塊MB1為P巨區塊),該輸出控制器813被禁能而不輸出任何資料;該資料擷取單元911被致能以根據該目前巨區塊MB1在該目前圖框110的位置,將來自該參考緩衝器812的該參考資料傳送至該加法器830;該來源選擇器814(根據該目前巨區塊MB1在該目前圖框110的位置)傳送來自該差值緩衝器811的先前差值資料至該加法器830;最後,該加法器830將該先前差值資料及參考資料相加當作視訊資料。若該略過旗標具有邏輯值0以及該類型旗標具有邏輯值0,該輸出控制器813傳送該解碼資料至該差值緩衝器811且根據該目前巨區塊MB1在該目前圖框110的位置,將該解碼資料儲存至該差值緩衝器811;該來源選擇器814傳送該解碼資料至該加法器830;該資料擷取單元911被致能以根據該目前巨區塊MB1在該目前圖框110的位置,將來自該參考緩衝器812的該參考資料傳送至該加法器830;最後,該加法器830將該解碼資料及參考資料相加當作視訊資料。
In response to skipping the flag and the type flag, the
第10圖係根據本發明一實施例,顯示具有一略過機制的一視訊傳輸系統的區塊圖。參考第10圖,本發明具有一略過機制的視訊傳輸系統1000包含一視訊編碼裝置1020、一傳輸器1030、一通訊通道1040、一接收器1050以及一視訊解碼裝置1060。一影像來源1010提供一連串的視訊圖框給該視訊編碼裝置1020,且各視訊圖框包含複數個處理區塊。該視訊編碼裝置1020編碼各處理區塊為一格式化位元流,再將該格式化位元流傳送給該傳輸器1030。該傳輸器1030轉換該格式化位元流為複數個資料封包,再透過該通訊通道1040傳送該些資料封包給該接收器1050。該通訊通道1040為一網路通道,是透過交換封包來進行該傳輸器1030及該接收器1050的通訊。該接收器1050從該通訊通道1040接收資料封包、將該些資料封包轉換成格式化位元流、再將該格式化位元流傳送給該視訊解碼裝置1060。接著,該視訊解碼裝置1060將該格式化位元流解碼成視訊資料(重建資料),再將該些視訊資料顯示於該顯示器1070。請注意,在第10圖中,雖然視訊編碼裝置1020及該傳輸器1030係分開顯示,也可整合在一起,運作如單一元件。同樣地,該接收器1050及該視訊解碼裝置1060也可整合在一起,運作如單一元件。
FIG. 10 is a block diagram showing a video transmission system with a skip mechanism according to an embodiment of the present invention. Referring to FIG. 10, the
在第1A~1C及2圖中的視訊編碼裝置100A/B/C及200運作於I-I-I模式,而在第3A、4及5A~5B圖中的視訊編碼裝置300、400及500A/B運作於I-P-P模式。在第6~7圖中的
視訊解碼裝置600及700運作於I-I-I模式,而在第8及9圖中的視訊解碼裝置800及900運作於I-P-P模式。因此,當視訊傳輸系統1000運作於I-I-I模式時,該視訊編碼裝置1020可利用該些視訊編碼裝置100A/B/C及200之一來實施,而該視訊解碼裝置1050可利用該些視訊解碼裝置600及700之一來實施。當視訊傳輸系統1000運作於I-P-P模式時,該視訊編碼裝置1020可利用該些視訊編碼裝置300、400及500A/B之一來實施,而該視訊解碼裝置1050可利用該些視訊解碼裝置800及900之一來實施。
The
上述僅為本發明之較佳實施例而已,而並非用以限定本發明的申請專利範圍;凡其他未脫離本發明所揭示之精神下所完成的等效改變或修飾,均應包含在下述申請專利範圍內。 The above are only preferred embodiments of the present invention, and are not intended to limit the scope of the patent application of the present invention; all other equivalent changes or modifications made without departing from the spirit disclosed by the present invention should be included in the following application Within the scope of the patent.
100A‧‧‧視訊編碼裝置 100A‧‧‧Video encoding device
110‧‧‧目前圖框 110‧‧‧Current frame
120‧‧‧編碼器 120‧‧‧Encoder
121‧‧‧轉換單元 121‧‧‧ Conversion unit
122‧‧‧量化器 122‧‧‧Quantizer
123‧‧‧熵編碼器 123‧‧‧Entropy encoder
124‧‧‧位元率控制單元 124‧‧‧ Bit rate control unit
130a‧‧‧位元流格式化單元 130a‧‧‧bit stream formatting unit
140‧‧‧徵狀儲存裝置 140‧‧‧symptom storage device
150a‧‧‧相似度檢查電路 150a‧‧‧similarity check circuit
160a‧‧‧略過決定單元 160a‧‧‧ skipped the decision unit
170‧‧‧QP儲存裝置 170‧‧‧QP storage device
180‧‧‧徵狀產生器 180‧‧‧symptom generator
Claims (14)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/877,871 | 2018-01-23 | ||
US15/877,871 US10484688B2 (en) | 2018-01-23 | 2018-01-23 | Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201933870A TW201933870A (en) | 2019-08-16 |
TWI689198B true TWI689198B (en) | 2020-03-21 |
Family
ID=67298868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107132007A TWI689198B (en) | 2018-01-23 | 2018-09-12 | Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme |
Country Status (2)
Country | Link |
---|---|
US (1) | US10484688B2 (en) |
TW (1) | TWI689198B (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3070812A1 (en) * | 2019-03-13 | 2020-09-13 | Alexander GILADI | Method and apparatus for content-adaptive frame duration extension |
CN110430431B (en) * | 2019-06-25 | 2021-10-22 | 浙江大华技术股份有限公司 | Video decoding method, chip, device, computer equipment and storage medium |
CN112073724B (en) * | 2020-11-16 | 2021-01-29 | 北京世纪好未来教育科技有限公司 | Video information processing method and device, electronic equipment and storage medium |
CN112861717A (en) * | 2021-02-05 | 2021-05-28 | 深圳市英威诺科技有限公司 | Video similarity detection method and device, terminal equipment and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200623883A (en) * | 2004-12-16 | 2006-07-01 | Ind Tech Res Inst | Method to speed up the mode decision of video coding |
US20120134416A1 (en) * | 2010-11-29 | 2012-05-31 | Mediatek Inc. | Method and Apparatus for Derivation of MV/MVP Candidate for Inter/Skip/Merge Modes |
US20160277761A1 (en) * | 2014-03-04 | 2016-09-22 | Microsoft Technology Licensing, Llc | Encoder-side decisions for block flipping and skip mode in intra block copy prediction |
US20170026645A1 (en) * | 2015-07-21 | 2017-01-26 | Microsoft Technology Licensing, Llc | Adaptive skip or zero block detection combined with transform size decision |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534872B (en) * | 2011-03-11 | 2019-05-17 | 索尼公司 | Image processing apparatus and method |
JP6532222B2 (en) * | 2014-11-28 | 2019-06-19 | キヤノン株式会社 | Image encoding device, image encoding method and program, image decoding device, image decoding method and program |
-
2018
- 2018-01-23 US US15/877,871 patent/US10484688B2/en active Active
- 2018-09-12 TW TW107132007A patent/TWI689198B/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200623883A (en) * | 2004-12-16 | 2006-07-01 | Ind Tech Res Inst | Method to speed up the mode decision of video coding |
US20120134416A1 (en) * | 2010-11-29 | 2012-05-31 | Mediatek Inc. | Method and Apparatus for Derivation of MV/MVP Candidate for Inter/Skip/Merge Modes |
US20160277761A1 (en) * | 2014-03-04 | 2016-09-22 | Microsoft Technology Licensing, Llc | Encoder-side decisions for block flipping and skip mode in intra block copy prediction |
US20170026645A1 (en) * | 2015-07-21 | 2017-01-26 | Microsoft Technology Licensing, Llc | Adaptive skip or zero block detection combined with transform size decision |
WO2017015312A1 (en) * | 2015-07-21 | 2017-01-26 | Microsoft Technology Licensing, Llc | Adaptive skip or zero block detection combined with transform size decision |
Also Published As
Publication number | Publication date |
---|---|
US10484688B2 (en) | 2019-11-19 |
TW201933870A (en) | 2019-08-16 |
US20190230358A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5118127B2 (en) | Adaptive encoder assisted frame rate upconversion | |
TWI689198B (en) | Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme | |
US20240098276A1 (en) | On block level bi-prediction with weighted averaging | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
RU2452128C2 (en) | Adaptive coding of video block header information | |
US9215466B2 (en) | Joint frame rate and resolution adaptation | |
US8331449B2 (en) | Fast encoding method and system using adaptive intra prediction | |
US8311095B2 (en) | Method and apparatus for transcoding between hybrid video codec bitstreams | |
EP2621174A2 (en) | Methods and apparatus for adaptive template matching prediction for video encoding and decoding | |
KR20170123632A (en) | Adaptive mode checking order for video encoding | |
JP2022515222A (en) | Methods, devices and programs for video coding | |
WO2021136110A1 (en) | Coding method and coder | |
CN113132728B (en) | Coding method and coder | |
US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
JP2023542332A (en) | Content-adaptive online training for cross-component prediction based on DNN with scaling factor | |
KR102020953B1 (en) | Image Reencoding Method based on Decoding Data of Image of Camera and System thereof | |
US20060120457A1 (en) | Method and apparatus for encoding and decoding video signal for preventing decoding error propagation | |
US20060133488A1 (en) | Method for encoding and decoding video signal | |
US20060133499A1 (en) | Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal | |
US20230388535A1 (en) | Systems and methods for combining subblock motion compensation and overlapped block motion compensation | |
US20240031596A1 (en) | Adaptive motion vector for warped motion mode of video coding | |
CN110572680B (en) | Video decoding and encoding method and device, storage medium, decoder and encoder | |
Kodavalla et al. | Chroma components coding in feedback-free distributed video coding | |
Kazemi | End-to-end distortion modeling and channel adaptive optimization of mixed layer multiple description coding scheme |