WO2017104010A1 - 動画像符号化装置および動画像符号化方法 - Google Patents

動画像符号化装置および動画像符号化方法 Download PDF

Info

Publication number
WO2017104010A1
WO2017104010A1 PCT/JP2015/085145 JP2015085145W WO2017104010A1 WO 2017104010 A1 WO2017104010 A1 WO 2017104010A1 JP 2015085145 W JP2015085145 W JP 2015085145W WO 2017104010 A1 WO2017104010 A1 WO 2017104010A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
intra
prediction
frame memory
unit
Prior art date
Application number
PCT/JP2015/085145
Other languages
English (en)
French (fr)
Inventor
淳真 大澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/085145 priority Critical patent/WO2017104010A1/ja
Publication of WO2017104010A1 publication Critical patent/WO2017104010A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a moving image encoding apparatus and a moving image encoding method for encoding a moving image.
  • a conventional moving image coding apparatus compresses an image signal by inputting an image locally decoded in the previous stage of the frame memory to a compressor, and expands the image signal read from the frame memory, thereby The capacity has been reduced (for example, Patent Document 1).
  • the conventional video encoding apparatus has a problem that the effect of reducing the capacity of the frame memory is limited because the locally decoded image is directly compressed and stored in the frame memory.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to realize a moving picture encoding apparatus capable of further reducing the frame memory capacity without impairing the image quality.
  • the moving image encoding apparatus is: An intra prediction unit that performs intra prediction processing of the encoding target block and outputs an intra prediction mode; A prediction image generation unit for frame memory input that performs an intra-screen prediction process on a locally decoded image using the intra-screen prediction mode, and generates a first intra-screen prediction image; A frame memory that stores data of a difference image between the locally decoded image and the first intra prediction image; A frame memory output prediction image generation unit that performs an intra-screen prediction process based on data output from the frame memory using the intra-screen prediction mode, and generates a second intra-screen prediction image; It is characterized by comprising.
  • FIG. 1 is a block diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • 1 is a first subtractor
  • 2 is a frequency transform quantizer
  • 3 is an entropy encoder
  • 4 is an inverse frequency transform quantizer
  • 5 is a first adder
  • 6 is an intra prediction unit
  • 7 is a selector
  • 8 is an in-screen prediction pixel memory
  • 9 is a loop filter unit
  • 10 is a frame memory input prediction image generation pixel memory
  • 11 is a second subtractor
  • 12 is a motion compensation prediction unit
  • 13 is a frame memory input.
  • 14 is a data compression unit
  • 15 is a frame memory
  • 16 is a data decompression unit
  • 17 is a second adder
  • 18 is a frame memory output prediction image generation unit
  • 19 is a frame memory output prediction image.
  • a first subtractor (difference unit 1) 1 is an image input, that is, an inter-frame prediction image or intra-frame prediction before, after, or before and after being output from a motion compensation prediction unit 12 output from a current frame and a selector 7.
  • the difference between the predicted images in the screen output from the unit 6 is output to the frequency transform quantization unit 2.
  • the frequency conversion quantization unit 2 performs frequency conversion of the image difference data after quantization by quantizing the coefficient after frequency conversion after coefficient-converting the difference image output from the first differentiator 1 into frequency components. A process of outputting coefficients is performed and output to the entropy coding unit 3. As a frequency conversion method, for example, orthogonal conversion is used.
  • the inverse frequency transform quantization unit 4 inversely quantizes the compressed data output from the frequency transform quantization unit 2 and then performs an inverse transform frequency, and outputs a signal after the inverse transform frequency as a local decoded prediction difference signal.
  • the first adder (adder 1) 5 receives the local decoded prediction difference signal from the inverse frequency transform quantization unit 4, the first adder (adder 1) adds the local decoded prediction difference signal and the prediction signal indicating the prediction image output from the selector 7. Thus, a locally decoded image signal indicating the locally decoded image is generated.
  • the intra-screen prediction unit 6 selects an intra-screen prediction mode optimal for the intra-screen prediction processing of the encoding target block, and uses the pixels located around the encoding target block input from the intra-screen prediction memory 8. A process of generating a prediction image by performing the generation process, outputting the prediction image to the selector 7 and the intra prediction pixel memory 8, and outputting an optimal intra prediction mode to the frame memory 15 and the entropy encoding unit 3. carry out.
  • the intra-screen prediction unit 6 constitutes a predicted image generation unit.
  • the intra prediction pixel memory 8 stores the local decoded image indicated by the local decoded image signal generated by the adder as a pixel used in the next intra prediction process by the intra prediction unit 6.
  • the loop filter unit 9 compensates for the coding distortion included in the local decoded image signal, and the local part indicated by the local decoded image signal after the coding distortion compensation
  • the decoded image is output to the frame memory input prediction image generation pixel memory 10 and the second subtractor (difference unit 2) 11.
  • the motion compensation prediction unit 12 performs a motion search process for searching for a motion vector while comparing the encoding target block and the reference image output from the second adder (adder 2) 17 and uses the motion vector.
  • An inter-screen prediction process is performed to generate a predicted image, and a process of outputting the predicted image to the selector 7 is performed.
  • a motion parameter such as a motion vector is output to the entropy encoding unit 3.
  • the motion compensation prediction unit 12 constitutes motion vector search means and motion compensation prediction means.
  • the frame memory input predicted image generation pixel memory 10 is a pixel after the coding distortion compensation generated by the loop filter unit 9 as a pixel used by the frame memory input prediction image generation unit 13 in the next frame memory input pixel generation processing.
  • a locally decoded image indicated by the locally decoded image signal is stored.
  • the prediction image generation unit 13 for frame memory input uses the intra prediction mode optimal for the intra prediction process of the encoding target block input from the intra prediction unit 6 or the intra prediction selected by the frame memory prediction pixel generation unit 13.
  • a first prediction image generation process using the mode and a local decoded image after the loop filter positioned around the encoding target block input from the pixel memory for prediction image generation for frame memory 10 is performed.
  • a process of generating an intra-screen prediction image and outputting the prediction image to the second subtractor 11 is performed.
  • the second subtractor 11 outputs the difference between the locally decoded image after coding distortion compensation input from the loop filter unit 9 and the prediction image input from the frame memory input prediction image generation unit 13 to the frame memory 15.
  • the data compression unit 14 performs data compression on the difference data input from the second subtractor 11 using a reversible compression algorithm such as run length or Huffman code, and outputs the compressed data to the frame memory 15.
  • a reversible compression algorithm such as run length or Huffman code
  • the frame memory 15 uses the compressed data of the locally decoded image after the coding distortion compensation input from the data compression unit 14 and the frame memory so as to generate a reference image or the like used in the next motion compensation prediction process by the motion compensation prediction unit 12. A difference between predicted images input from the input predicted image generation unit 13 is stored.
  • the data decompression unit 16 decompresses the compressed data input from the frame memory 15 by performing an inverse transformation process of the compression algorithm used in the data compression unit 14 and inputs the local decoded image after encoding distortion compensation and the frame memory input. Is output to the second adder 17 as a difference between the predicted images input from the predicted image generation unit 13.
  • the frame memory output prediction image generation unit 18 selects the pixels located in the periphery of the encoding target block input from the frame memory output prediction image generation pixel memory 19 and the intra-screen prediction mode input from the frame memory 15.
  • the in-screen predicted image generation process to be used is performed to generate a second in-screen predicted image, and the predicted image is output to the second adder 17.
  • the predicted image generation pixel memory 19 for frame memory output includes a pixel and a frame memory that are input from the second adder 17 as pixels used in the next frame memory output pixel generation process by the predicted image generation unit 18 for frame memory output.
  • the pixels input from the output predicted image generation unit 18 are stored.
  • the second adder 17 When the second adder 17 receives the local decoded prediction difference signal after the loop filter processing from the data decompression unit 16 and the prediction image of the target block from the frame memory output prediction image generation unit 18, it adds them together. A local decoded image indicating the local decoded image after the loop filter is generated and output to the motion compensation prediction unit 12.
  • the entropy encoding unit 3 includes various codes such as the compressed data output from the frequency transform quantization unit 2, the intra prediction mode output from the intra prediction unit 6, and the motion vector output from the motion compensation prediction unit 12.
  • the encoding parameter is entropy-encoded, and a bit stream in which these data are multiplexed is generated and output.
  • a predicted image is generated from pixels adjacent to a block to be coded to realize intra-screen prediction.
  • H.265 there are 35 prediction methods, and the encoding efficiency can be improved by selecting a prediction image most similar to the encoding target block.
  • FIG. The intra-screen prediction of H.265 will be described. Since the direction of the arrow indicates the direction in which the reference image is referred to, the intra prediction is performed in the direction opposite to the arrow.
  • the DC prediction is suitable for prediction of a flat texture region having no direction and no edge, but the number of bits of the input image is particularly increased even when the left and upper pixels of the block to be encoded do not exist.
  • a predicted image can be generated by using a specific value corresponding to the value.
  • the intra-screen prediction unit 6 first, the encoding target block peripheral pixels that have been subjected to local decoding processing and the first adder 5 are input from the intra-screen prediction pixel memory 8, and Taking the case of H.265 as an example, a maximum of 35 in-screen predicted images are generated. Next, the generated intra-screen prediction image and the encoding target block are compared, and the intra-screen prediction mode in which the most similar intra-screen prediction image is generated is set as the optimal intra-screen prediction mode. And output to the frame memory 15.
  • the frame memory input prediction image generation pixel memory 10 stores the upper and left pixels of the encoding target block input from the loop filter unit 9 (FIG. 3).
  • the upper pixels are held by providing a line memory or the like.
  • the frame memory input prediction image generation unit 13 is configured to optimize the upper and left pixels of the encoding target block input from the frame memory input prediction image generation pixel memory 10 and the encoding target block input from the in-screen prediction unit 6. From the intra prediction mode, an intra prediction image after the loop filter of the encoding target block is generated. Since the intra prediction image is generated from the prediction mode determined to be optimum by the intra prediction unit 6, it is most similar to the encoding target block.
  • the second subtractor 11 includes an intra-screen prediction generated in the optimal intra-screen prediction mode determined by the intra-frame prediction unit 6 determined from the encoding target block image from the loop filter unit 9 and the predicted image generation unit 13 from the frame memory input. An image is input. The difference between the corresponding positions is taken and the difference value is output to the data compression unit 14. Since the difference value output here is generated in the optimal intra prediction mode, the absolute value is smaller than the difference between the original encoding target block image and the intra prediction image generated in another mode, and the variance is distributed. Is likely to be smaller.
  • the data compression unit 14 performs lossless encoding without performing quantization.
  • a lossless encoding algorithm such as run length or Huffman code is used.
  • the data compression unit 14 receives the encoding target block and the difference signal between the intra prediction images from the second subtractor 11 and performs compression by lossless encoding.
  • the difference value input here has a smaller absolute value and a smaller variance than the difference signal from the value of the original encoding target block image or the prediction image generated in the prediction mode other than the optimal prediction mode. That is, the data has a small amount of information. For this reason, the data compression unit 14 can realize data compression more efficient than the conventional method.
  • the frame memory 15 stores the optimal intra-screen prediction mode input from the intra-screen prediction unit 6 and the compressed signal input from the data compression unit 14. Since the data stored in the frame memory 15 is a compressed signal, it is necessary to be able to determine the data for each block. As a technique for that purpose, since the reading order is determined to be the raster order in the screen, a method of embedding a code indicating a block delimiter position that does not exist in the compressed data string can be used. Further, when storing a plurality of frames, there are a method of similarly embedding a frame delimiter position in a code, and a method of setting an upper limit of one frame in advance.
  • the capacity of the frame memory 15 with the worst value will be the same as when compression is not performed. However, even if the capacity of the frame memory 15 is set smaller than when not compressed, if there is a pixel that cannot be stored exceeding the capacity, the information is notified from the frame memory 15 to the motion compensation prediction unit 12 and the range It is also possible to have a function that does not search for.
  • the data decompression unit 16 decompresses the compressed data input from the frame memory 15 for each block, and outputs the decompressed residual signal to the second adder 17.
  • the frame memory output prediction image generation unit 18 generates an intra-screen prediction image from the intra-screen prediction result input from the frame memory 15 and the pixels input from the frame memory output prediction image generation memory 19. Then, the second adder 17 adds the residual signal and the intra-screen prediction image to generate a reference image used in the motion compensation prediction unit 12.
  • the frame memory input prediction image generation unit 13 performs the above-described DC prediction at a position where the frame is divided into rectangular blocks as shown in FIG.
  • an intra-screen prediction image is generated using the optimal intra-screen prediction mode determined by the intra-screen prediction unit 6, and the pixel of the block to be stored in the frame memory 15 output from the loop filter 9 is used.
  • the pixel of the block to be stored in the frame memory 15 output from the loop filter 9 is used.
  • Fig. 5 shows an example of the hardware configuration of this configuration. Elements other than the frame memory 15 in FIG. 1 are realized by the encoding core 20.
  • the encoding core 20 is composed of ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) and is connected to the processor 21 and the frame memory 15. It is also possible to adopt a configuration in which the processor 21 is included in an ASIC or FPGA.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the moving picture coding apparatus can achieve highly efficient compression without impairing the image quality, and can achieve an effect of reducing the frame memory capacity. .
  • FIG. FIG. 6 is a block diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • the same reference numerals as those in FIG. 1 denote the same or corresponding parts.
  • Reference numeral 22 denotes a quantization unit
  • 23 denotes an inverse quantization unit.
  • the quantization unit 22 is provided upstream of the data compression unit 14 and the inverse quantization unit 23 is provided downstream of the data decompression unit 16. Since the quantization unit 22 compresses the data after performing quantization on the residual signal output from the second differentiator 11 with the quantization parameter, higher compressed data can be generated.
  • the quantization parameter used here is output to the frame memory 15 and the entropy encoding unit 3, stored together with the intra prediction mode in the frame memory 15, and multiplexed in the output bit stream in the entropy encoding unit 3.
  • the inverse quantization unit 23 inversely quantizes the residual signal input from the data decompression unit 16 with the quantization parameter corresponding to the block input from the frame memory 15, and outputs it to the second adder 17.
  • bit stream unique to this method is output instead of a bit stream conforming to the conventional standard.
  • the moving picture coding apparatus can achieve more efficient compression, and can obtain an effect of further reducing the frame memory capacity.
  • the moving image encoding apparatus can be applied to various image systems as a moving image encoding apparatus that encodes and compresses a moving image.
  • 1 First differencer 2 Frequency transform quantizer, 3 Entropy encoder, 4 Inverse frequency transform quantizer, 5 First adder, 6 Intra prediction unit, 7 Selector, 8 Intra prediction pixel memory , 9 loop filter unit, 10 frame memory input prediction image generation pixel memory, 11 second difference unit, 12 motion compensation prediction unit, 13 frame memory input prediction image generation unit, 14 data compression unit, 15 frame memory, 16 Data decompression unit, 17 second adder, 18 frame memory output prediction image generation unit, 19 frame memory output prediction image generation pixel memory, 20 coding core, 21 processor, 22 quantization unit, 23 inverse quantization Part

Abstract

画質を損なわずフレームメモリ容量を小さくすることが可能な動画像符号化装置を得ることを目的とする。本発明の動画像符号化装置は、符号化対象ブロックの画面内予測処理を行い、画面内予測モードを出力する画面内予測部と、前記画面内予測モードを用いて局部復号画像に対して画面内予測処理を行い、第１の画面内予測画像を生成するフレームメモリ入力用予測画生成部と、前記局部復号画像と前記第１の画面内予測画像との差分画像のデータを格納するフレームメモリと、前記画面内予測モードを用いて前記フレームメモリから出力されたデータに基づく画面内予測処理を行い、第２の画面内予測画像を生成するフレームメモリ出力用予測画生成部と、を備える。

Description

動画像符号化装置および動画像符号化方法
　本発明は、動画像を符号化する動画像符号化装置および動画像符号化方法に関するものである。
　従来の動画像符号化装置は、フレームメモリの前段で局部復号した画像をそのまま圧縮器に入力することで画像信号を圧縮し、フレームメモリから読みだされた画像信号を伸張することによって、フレームメモリ容量の削減を行っていた（例えば、特許文献１）。
特開平８－１１６５３９号公報
　従来の動画像符号化装置は、局部復号した画像をそのまま圧縮してフレームメモリへ格納するため、フレームメモリの容量を小さくする効果が限定的である問題点があった。
　この発明は、上記のような問題点を解決するためになされたもので、画質を損なわずフレームメモリ容量をさらに小さくすることが可能な動画像符号化装置の実現を目的とする。
　この発明に係る動画像符号化装置は、
　符号化対象ブロックの画面内予測処理を行い、画面内予測モードを出力する画面内予測部と、
　前記画面内予測モードを用いて局部復号画像に対して画面内予測処理を行い、第１の画面内予測画像を生成するフレームメモリ入力用予測画生成部と、
　前記局部復号画像と前記第１の画面内予測画像との差分画像のデータを格納するフレームメモリと、
　前記画面内予測モードを用いて前記フレームメモリから出力されたデータに基づく画面内予測処理を行い、第２の画面内予測画像を生成するフレームメモリ出力用予測画生成部と、
　を備えたことを特徴とするものである。
　この発明によれば、画質を損なわずフレームメモリ容量を小さくすることが可能な動画像符号化装置を得ることができる。
この発明の実施の形態１に係る動画像符号化装置を示す構成図である。 この発明の実施の形態１に係る動画像符号化装置の動作を説明するための説明図である。 この発明の実施の形態１に係る動画像符号化装置の動作を説明するための説明図である。 この発明の実施の形態１に係る動画像符号化装置の動作を説明するための説明図である。 この発明の実施の形態１に係る動画像符号化装置のハードウェア構成を示す構成図である。 この発明の実施の形態２に係る動画像符号化装置を示す構成図である。
実施の形態１．
　図１はこの発明の実施の形態１の動画像符号化装置を示す構成図である。
　図において、１は第１の差分器、２は周波数変換量子化部、３はエントロピー符号化部、４は逆周波数変換量子化部、５は第１の加算器、６は画面内予測部、７はセレクタ、８は画面内予測画素メモリ、９はループフィルタ部、１０はフレームメモリ入力用予測画像生成画素メモリ、１１は第２の差分器、１２は動き補償予測部、１３はフレームメモリ入力用予測画生成部、１４はデータ圧縮部、１５はフレームメモリ、１６はデータ伸張部、１７は第２の加算器、１８はフレームメモリ出力用予測画生成部、１９はフレームメモリ出力用予測画像生成用画素メモリ、である。
　図１において、第１の差分器（差分器１）１は画像入力すなわち現フレームとセレクタ７が出力する動き補償予測部１２から出力される前または後または前後のフレーム間予測画像または画面内予測部６から出力される画面内予測画像の差分を周波数変換量子化部２に出力する。
　周波数変換量子化部２は第１の差分器１から出力された差分画像を周波数成分に係数変換したあとに周波数変換後の係数を量子化することで、量子化後の画像差分データの周波数変換係数を出力する処理を実施して、エントロピー符号化部３に出力する。なお、周波数変換の方式としては、例えば直交変換を用いる。
　逆周波数変換量子化部４は周波数変換量子化部２から出力された圧縮データを逆量子化したあとに逆変換周波数し、逆変換周波数後の信号を局部復号予測差分信号として出力する。
　第１の加算器（加算器１）５は逆周波数変換量子化部４から局部復号予測差分信号を受けると、その局部復号予測差分信号とセレクタ７から出力された予測画像を示す予測信号を加算することで、局部復号画像を示す局部復号画像信号を生成する。
　画面内予測部６は符号化対象ブロックの画面内予測処理に最適な画面内予測モードを選択し、画面内予測メモリ８から入力した符号化対象ブロックの周辺に位置する画素を用いる画面内予測画生成処理を実施して予測画像を生成し、その予測画像をセレクタ７と画面内予測画素メモリ８に出力するとともに最適な画面内予測モードをフレームメモリ１５とエントロピー符号化部３に出力する処理を実施する。なお、画面内予測部６は予測画像生成手段を構成している。
　画面内予測画素メモリ８は画面内予測部６により次回の画面内予測処理で用いられる画素として、加算器により生成された局部復号画像信号が示す局部復号画像を格納する。
　ループフィルタ部９は第１の加算器５が局部復号画像信号を生成すると、その局部復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局部復号画像信号が示す局部復号画像をフレームメモリ入力用予測画像生成画素メモリ１０と第２の差分器（差分器２）１１に出力する。
　動き補償予測部１２は、符号化対象ブロックと第２の加算器（加算器２）１７から出力される参照画像を比較しながら動きベクトルを探索する動き探索処理を実施し、その動きベクトルを用いる画面間予測処理を実施して予測画像を生成し、その予測画像をセレクタ７に出力する処理を実施する。また、動きベクトル等の動きパラメータをエントロピー符号化部３に出力する。なお、動き補償予測部１２は動きベクトル探索手段及び動き補償予測手段を構成している。
　フレームメモリ入力用予測画像生成画素メモリ１０はフレームメモリ入力用予測画生成部１３により次回のフレームメモリ入力用画素生成処理で用いられる画素として、ループフィルタ部９により生成された符号化歪み補償後の局部復号画像信号が示す局部復号画像を格納する。
　フレームメモリ入力用予測画生成部１３は、画面内予測部６から入力した符号化対象ブロックの画面内予測処理に最適な画面内予測モード、またはフレームメモリ予測画素生成部１３で選択した画面内予測モードと、フレームメモリ用予測画像生成用画素メモリ１０から入力した符号化対象ブロックの周辺に位置しているループフィルタ後の局部復号画像を用いる画面内予測画像生成処理を実施して、第１の画面内予測画像を生成し、その予測画像を第２の差分器１１に出力する処理を実施する。
　第２の差分器１１はループフィルタ部９から入力した符号化歪み補償後の局部復号画像とフレームメモリ入力用予測画生成部１３から入力した予測画像の差分をフレームメモリ１５に出力する。
　データ圧縮部１４は、第２の差分器１１から入力した差分データに対してランレングス、ハフマン符号等の可逆圧縮アルゴリズムでデータの圧縮を実施して、圧縮データをフレームメモリ１５に出力する。
　フレームメモリ１５は動き補償予測部１２により次回の動き補償予測処理で用いられる参照画像等を生成するために、データ圧縮部１４から入力した符号化歪み補償後の局部復号画像の圧縮データとフレームメモリ入力用予測画生成部１３から入力した予測画像の差分を格納する。
　データ伸張部１６は、フレームメモリ１５から入力した圧縮データに対して、データ圧縮部１４で使用した圧縮アルゴリズムの逆変換処理を施して伸張し、符号化歪み補償後の局部復号画像とフレームメモリ入力用予測画生成部１３から入力した予測画像の差分として第２の加算器１７に出力する。
　フレームメモリ出力用予測画生成部１８は、フレームメモリ１５から入力した画面内予測モードと、フレームメモリ出力用予測画像生成用画素メモリ１９から入力した符号化対象ブロックの周辺に位置している画素を用いる画面内予測画像生成処理を実施して、第２の画面内予測画像を生成し、その予測画像を第２の加算器１７に出力する。
　フレームメモリ出力用予測画像生成画素メモリ１９は、フレームメモリ出力用予測画生成部１８により次回のフレームメモリ出力用画素生成処理で用いられる画素として、第２の加算器１７から入力する画素とフレームメモリ出力用予測画生成部１８から入力する画素を格納する。
　第２の加算器１７は、データ伸張部１６からループフィルタ処理後の局部復号予測差分信号とフレームメモリ出力用予測画生成部１８から対象ブロックの予測画象を受けると、それらを加算することでループフィルタ後の局部復号画像を示す局部復号画像を生成して動き補償予測部１２に出力する。
　エントロピー符号化部３は、周波数変換量子化部２から出力された圧縮データと、画面内予測部６から出力された画面内予測モードや動き補償予測部１２から出力された動きベクトル等の各種符号化パラメータをエントロピー符号化して、それらのデータが多重化されているビットストリームを生成して出力する。
　次に動作について説明する。
　例えば、Ｈ．２６４、Ｈ．２６５等の動画像符号化方式では、符号化対象のブロックと隣接する画素から予測画像を生成して画面内予測を実現している。Ｈ．２６４では輝度で９通りの予測方法、Ｈ．２６５では３５通りの予測方法があり、符号化対象ブロックと最も似た予測画を選択することで符号化効率を高めることができる。
　前述の通り、Ｈ．２６５の画面内予測ではＤＣ予測を含めた３４の方向性予測とＰｌａｎｅｒ予測という選択肢がある。図２にＨ．２６５の画面内予測について示す。矢印の向きは参照画像が参照される方向を示すものであるため、画面内予測は矢印とは逆方向に行われる。方向性予測のうちＤＣ予測は方向を持たずエッジのない平坦なテクスチャ領域の予測に適しているが、特に符号化対象ブロックの左側と上側の画素が存在しない場合においても入力画像のビット数に応じた特定の値を用いることで予測画像を生成することができる。
　画面内予測部６では、まず、画面内予測画素メモリ８から局部復号処理済みの符号化対象ブロック周辺画素と第１の加算器５から符号化対象ブロック画素を入力し、Ｈ．２６５の場合を例にとると最大で３５通りの画面内予測画像を生成する。次に、生成した画面内予測画像と符号化対象ブロックを比較して、最も似通った画面内予測画像を生成した画面内予測モードを最適画面内予測モードとして、フレームメモリ入力用予測画生成部１３とフレームメモリ１５に出力する。
　フレームメモリ入力用予測画生成画素メモリ１０は、ループフィルタ部９から入力する符号化対象ブロックの上側と左側の画素を格納する（図３）。一般的に動画像の符号化は画面の左上からラスター順に行うことが多いため、上側の画素についてはラインメモリ等を設けることによって保持しておく。
　フレームメモリ入力用予測画生成部１３は、フレームメモリ入力用予測画生成画素メモリ１０から入力する符号化対象ブロックの上側と左側の画素と、画面内予測部６から入力する符号化対象ブロックの最適画面内予測モードから、符号化対象ブロックのループフィルタ後の画面内予測画像を生成する。この画面内予測画像は、画面内予測部６で最適と判断した予測モードから生成したものであるため、符号化対象ブロックと最も似通ったものである。
　第２の差分器１１には、ループフィルタ部９から符号化対象ブロック画像と、フレームメモリ入力用予測画生成部１３から画面内予測部６で判定した最適画面内予測モードで生成した画面内予測画像が入力される。対応した位置の差分を取り、差分値をデータ圧縮部１４に出力する。ここで出力される差分値は、最適画面内予測モードで生成されるため、元の符号化対象ブロック画像や他のモードで生成された画面内予測画像との差分よりも絶対値が小さく、分散も小さくなる可能性が高い。
　データ圧縮部１４は、量子化は行わず可逆符号化を実施するものである。符号化方式としてはランレングス、ハフマン符号などの可逆符号化アルゴリズムを用いる。データ圧縮部１４は、第２の差分器１１から符号化対象ブロックと、画面内予測画像の差分信号を入力し、可逆符号化による圧縮を実施する。ここで入力される差分値は、元の符号化対象ブロック画像の値や最適予測モードでない予測モードで生成された予測画像との差分信号よりも絶対値が小さく、分散が小さいものである。すなわち情報量の少ないデータとなっている。このため、データ圧縮部１４において従来方式よりも効率のよいデータ圧縮を実現することが出来る。
　フレームメモリ１５は、画面内予測部６から入力する最適画面内予測モードと、データ圧縮部１４から入力する圧縮信号を格納する。フレームメモリ１５に格納するデータは圧縮信号であるため、ブロック毎のデータを判別できるようにする必要がある。そのための手法としては、読出し順は画面内でラスター順と決まっているため、圧縮データ列に存在しないブロック区切り位置を示すコードを埋め込む方法などを用いることができる。また、複数のフレームを格納する場合には、フレームの区切り位置を同様にコードに埋め込む方法や、１フレームの上限を予め決め打ちで設定してしまう方法がある。圧縮データのデータ量に関しては、確定することが出来ないため、最悪値でフレームメモリ１５の容量を決定すると圧縮しない場合と同じになってしまう。しかし、フレームメモリ１５の容量を圧縮しない場合より小さく設定しても、仮に容量を超えて保存できない画素がある場合には、フレームメモリ１５からその情報を動き補償予測部１２に通知してその範囲を探索しない機能を持たせることもできる。
　データ伸張部１６はフレームメモリ１５から入力する圧縮データをブロック毎に伸張し、伸張した残差信号を第２の加算器１７に出力する。フレームメモリ出力用予測画生成部１８は、フレームメモリ１５から入力する画面内予測結果と、フレームメモリ出力用予測画像生成メモリ１９から入力する画素から画面内予測画像を生成する。そして、第２の加算器１７で残差信号と画面内予測画像を加算することで動き補償予測部１２で用いる参照画像を生成する。
　画面内予測部６で決定する予測モードをそのまま用いる場合には、フレーム内で左上から符号化していくため、例えばフレーム内右下のブロック位置の画素を取り出したい場合にフレームの左上から順次伸張して取り出さなければならない。このような事態を避け、自由度の高い参照画像アクセスを実現する手法として、フレームメモリ入力用予測画生成部１３は例えば図４のようにフレームを矩形のブロックに分けた位置で前述のＤＣ予測のように周辺画素が存在しなくとも予測画像を生成できるモードで画面内予測画像を生成することで参照画アクセスの自由度を担保する手段を持たせることもできる。フレームを矩形に分けるときの、矩形毎の大きさは自由に設定することが出来る。また、可逆圧縮アルゴリズムを用いているため、圧縮しない場合と同じ参照画象を得ることができ、Ｈ．２６４、Ｈ．２６５等の符号化規格に則ったビットストリームを出力することが可能である。
　以上のように、画面内予測部６で判定する最適な画面内予測モードを用いて、画面内予測画像を生成し、ループフィルタ９から出力するフレームメモリ１５への格納対象のブロックの画素との差分を取ることにより、絶対値、分散が小さいデータを得られるようにしている。このため、従来技術よりもデータ圧縮部１４でより効率の高い圧縮を実現することが出来、フレームメモリ１５の容量をより小さくする構成が可能となる。なお、実施の形態１ではＨ．２６４やＨ．２６５の規格に従ったビットストリームを出力することが可能である。
　図５にこの構成のハードウェア構成の一例を示す。図１のフレームメモリ１５以外の要素は符号化コア２０で実現される。符号化コア２０はＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成され、プロセッサ２１とフレームメモリ１５と接続する。またプロセッサ２１をＡＳＩＣやＦＰＧＡに内包する構成をとることも可能である。
　以上のように、本発明の実施形態１における動画像符号化装置では、画質を損なわずに効率の高い圧縮を実現することができ、フレームメモリ容量を削減することが可能となる効果が得られる。
実施の形態２．
　図６はこの発明の実施の形態１の動画像符号化装置を示す構成図である。
　図において、図１と同一符号は、同一または相当部分を表す。２２は量子化部、２３は逆量子化部、である。
　実施の形態２の構成では、実施の形態１と比較して、データ圧縮部１４の前段に量子化部２２、データ伸張部１６の後段に逆量子化部２３を設ける構成となっている。量子化部２２では量子化パラメータで第２の差分器１１から出力する残差信号に対して量子化を実施してからデータを圧縮するため、より高い圧縮データを生成できる。ここで用いる量子化パラメータはフレームメモリ１５とエントロピー符号化部３に出力し、フレームメモリ１５では画面内予測モードと併せて格納し、エントロピー符号化部３では出力するビットストリームに多重する。逆量子化部２３ではフレームメモリ１５から入力するブロックに対応する量子化パラメータでデータ伸張部１６から入力する残差信号を逆量子化し、第２の加算器１７に出力する。
　実施の形態２では残差信号を量子化することにより、実施の形態１と比較してより効率の高い圧縮を実現することができ、フレームメモリ容量をより削減することが可能となる。なお、実施の形態２では従来の規格に則ったビットストリームではなく、この方法独自のビットストリームを出力する。
　以上のように、本発明の実施形態２における動画像符号化装置では、より効率の高い圧縮を実現することができ、フレームメモリ容量をより削減することが可能となる効果が得られる。
　本発明にかかる動画像符号化装置は、動画像を符号化して圧縮する動画像符号化装置として種々の画像システム等に適用できる。
　１　第１の差分器、２　周波数変換量子化部、３　エントロピー符号化部、４　逆周波数変換量子化部、５　第１の加算器、６　画面内予測部、７　セレクタ、８　画面内予測画素メモリ、９　ループフィルタ部、１０　フレームメモリ入力用予測画像生成画素メモリ、１１　第２の差分器、１２　動き補償予測部、１３　フレームメモリ入力用予測画生成部、１４　データ圧縮部、１５　フレームメモリ、１６　データ伸張部、１７　第２の加算器、１８　フレームメモリ出力用予測画生成部、１９　フレームメモリ出力用予測画像生成用画素メモリ、２０　符号化コア、２１　プロセッサ、２２　量子化部、２３　逆量子化部

Claims (6)

  1. 　符号化対象ブロックの画面内予測処理を行い、画面内予測モードを出力する画面内予測部と、
    　前記画面内予測モードを用いて局部復号画像に対して画面内予測処理を行い、第１の画面内予測画像を生成するフレームメモリ入力用予測画生成部と、
    　前記局部復号画像と前記第１の画面内予測画像との差分画像のデータを格納するフレームメモリと、
    　前記画面内予測モードを用いて前記フレームメモリから出力されたデータに基づく画面内予測処理を行い、第２の画面内予測画像を生成するフレームメモリ出力用予測画生成部と、
    　を備えたことを特徴とする動画像符号化装置。
  2. 　前記フレームメモリ入力用予測画生成部が画面内予測処理に用いるための符号化対象ブロックの周辺に位置している局部復号画像を格納するフレームメモリ入力用予測画像生成画素メモリ
    　を備えたことを特徴とする請求項１に記載の動画像符号化装置。
  3. 　前記フレームメモリから出力した差分画像と前記第２の画面内予測画像との加算画像である参照画像を用いて符号化対象ブロックの動きベクトルを探索する動き補償予測部
    　を備えたことを特徴とする請求項１または請求項２に記載の動画像符号化装置。
  4. 　前記フレームメモリに入力する前記差分画像に圧縮処理を行うデータ圧縮部と、
    　前記フレームメモリから出力したデータに伸張処理を行うデータ伸張部と、
    　を備えたことを特徴とする請求項１から請求項３のいずれか一項に記載の動画像符号化装置。
  5. 　前記データ圧縮部に入力する前記差分画像に量子化を行う量子化部と、
    　前記データ伸張部から出力したデータに前記量子化に用いた量子化パラメータで逆量子化を行う逆量子化部と、
    　を備えたことを特徴とする請求項４に記載の動画像符号化装置。
  6. 　符号化対象ブロックの画面内予測処理を行い、画面内予測モードを出力する画面内予測ステップと、
    　前記画面内予測モードを用いて局部復号画像に対して画面内予測処理を行い、第１の画面内予測画像を生成するフレームメモリ入力用予測画生成ステップと、
    　前記局部復号画像と前記第１の画面内予測画像との差分画像のデータをフレームメモリに格納するデータ格納ステップと、
    　前記画面内予測モードを用いて前記フレームメモリから出力されたデータに基づく画面内予測処理を行い、第２の画面内予測画像を生成するフレームメモリ出力用予測画生成ステップと、
    　を備えたことを特徴とする動画像符号化方法。
PCT/JP2015/085145 2015-12-16 2015-12-16 動画像符号化装置および動画像符号化方法 WO2017104010A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085145 WO2017104010A1 (ja) 2015-12-16 2015-12-16 動画像符号化装置および動画像符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085145 WO2017104010A1 (ja) 2015-12-16 2015-12-16 動画像符号化装置および動画像符号化方法

Publications (1)

Publication Number Publication Date
WO2017104010A1 true WO2017104010A1 (ja) 2017-06-22

Family

ID=59056103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085145 WO2017104010A1 (ja) 2015-12-16 2015-12-16 動画像符号化装置および動画像符号化方法

Country Status (1)

Country Link
WO (1) WO2017104010A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257474A1 (zh) * 2021-06-11 2022-12-15 荣耀终端有限公司 图像的预测方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
US20060171685A1 (en) * 2005-02-01 2006-08-03 Chen Oscal T Method for reducing buffered-frame memory size and access in video codec
JP2009260977A (ja) * 2008-04-15 2009-11-05 Sony Corp 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮
WO2012017945A1 (ja) * 2010-08-03 2012-02-09 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2013524652A (ja) * 2010-04-07 2013-06-17 リグオリ，ヴィンチェンツォ メモリ要求低減ビデオ送信システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
US20060171685A1 (en) * 2005-02-01 2006-08-03 Chen Oscal T Method for reducing buffered-frame memory size and access in video codec
JP2009260977A (ja) * 2008-04-15 2009-11-05 Sony Corp 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮
JP2013524652A (ja) * 2010-04-07 2013-06-17 リグオリ，ヴィンチェンツォ メモリ要求低減ビデオ送信システム
WO2012017945A1 (ja) * 2010-08-03 2012-02-09 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUENA BAO ET AL.: "A Lossless Frame Recompression Scheme for Reducing DRAM Power in Video Encoding", PROCEEDINGS OF 2010 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS, 2010, pages 677 - 680, XP031724729 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257474A1 (zh) * 2021-06-11 2022-12-15 荣耀终端有限公司 图像的预测方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
JP5421408B2 (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
KR100952892B1 (ko) 비디오 데이타의 인트라코딩 방법 및 장치
US20040136457A1 (en) Method and system for supercompression of compressed digital video
WO2010038587A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
US11070812B2 (en) Coefficient domain block differential pulse-code modulation in video coding
US11695955B2 (en) Image encoding device, image decoding device and program
JP6085065B2 (ja) 画像圧縮伸長装置
US10721485B2 (en) Image coding apparatus, image coding method, and non-transitory computer-readable storage medium
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
CN114450950B (zh) 编码装置、解码装置及存储介质
JP2014007469A (ja) 画像符号化装置及び画像符号化方法
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
US20180234694A1 (en) Variable length coding of header data for image compression
WO2017104010A1 (ja) 動画像符号化装置および動画像符号化方法
KR20150095604A (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
JP2009296363A (ja) 動きベクトル探索装置および動きベクトル探索方法
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
JP2006237765A (ja) 画像符号化装置
JP2007266861A (ja) 画像符号化装置
JP6402520B2 (ja) 符号化装置、方法、プログラム及び機器
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
JP5879571B2 (ja) 符号化装置及び復号化装置
JP2022548685A (ja) 画像データの符号化及び復号化

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15910701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15910701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP