JP4994767B2 - Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program - Google Patents

Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program Download PDF

Info

Publication number
JP4994767B2
JP4994767B2 JP2006271984A JP2006271984A JP4994767B2 JP 4994767 B2 JP4994767 B2 JP 4994767B2 JP 2006271984 A JP2006271984 A JP 2006271984A JP 2006271984 A JP2006271984 A JP 2006271984A JP 4994767 B2 JP4994767 B2 JP 4994767B2
Authority
JP
Japan
Prior art keywords
signal
prediction
texture
related information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006271984A
Other languages
Japanese (ja)
Other versions
JP2008092352A (en
Inventor
芳典 鈴木
チュンセン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006271984A priority Critical patent/JP4994767B2/en
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to RU2008146977/09A priority patent/RU2008146977A/en
Priority to EP11188239A priority patent/EP2453657A1/en
Priority to CN200780015355.6A priority patent/CN101433094B/en
Priority to BRPI0711053-7A priority patent/BRPI0711053A2/en
Priority to KR1020087028969A priority patent/KR20090008418A/en
Priority to EP07742158A priority patent/EP2023639A4/en
Priority to EP12189415.8A priority patent/EP2595381B1/en
Priority to AU2007244443A priority patent/AU2007244443A1/en
Priority to PCT/JP2007/058723 priority patent/WO2007125856A1/en
Priority to KR1020107015343A priority patent/KR20100085199A/en
Priority to EP11155017A priority patent/EP2323405A1/en
Priority to US12/298,854 priority patent/US8326063B2/en
Priority to CN201410049846.4A priority patent/CN103747263B/en
Priority to CA002656123A priority patent/CA2656123A1/en
Priority to KR1020127031974A priority patent/KR20130006537A/en
Publication of JP2008092352A publication Critical patent/JP2008092352A/en
Priority to RU2011101870/07A priority patent/RU2011101870A/en
Publication of JP4994767B2 publication Critical patent/JP4994767B2/en
Application granted granted Critical
Priority to US13/611,928 priority patent/US8634670B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するもので、とりわけ、テキスチャー合成方法を用いて予測符号化および復号する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。   The present invention relates to an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program, and in particular, a predictive code using a texture synthesis method. The present invention relates to an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program.

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではMPEG−1〜4やITU(International Telecommunication Union)H.261〜H.264の方式が広く用いられている。   In order to efficiently transmit and store still images and moving image data, compression coding technology is used. In the case of moving images, MPEG-1 to 4 and ITU (International Telecommunication Union) H.264. 261-H. H.264 is widely used.

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号(圧縮された画像データが復元されたもの)を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。   In these encoding methods, encoding / decoding processing is performed after an image to be encoded is divided into a plurality of blocks. In predictive coding within a screen, a predicted signal is generated using an adjacent previously reproduced image signal (reconstructed compressed image data) in the same screen as the target block, and then the predicted signal is The differential signal subtracted from the signal of the target block is encoded. In predictive coding between screens, the adjacent reproduced image signal in the screen different from the target block is referred to, the motion is corrected, the predicted signal is generated, and the predicted signal is subtracted from the signal of the target block. Encode the difference signal.

例えば、H.264の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図18は、ITU H.264に用いられる画面内予測方法を説明するための模式図である。図18(A)において、対象ブロック1802は符号化の対象となるブロックであり、その対象ブロック1802の境界に隣接する画素A〜Mからなる画素群1801は隣接領域であり、過去の処理において既に再生された画像信号である。   For example, H.M. H.264 intra-screen predictive encoding employs a method of generating a prediction signal by extrapolating already reproduced pixel values adjacent to a block to be encoded in a predetermined direction. FIG. 2 is a schematic diagram for explaining an intra-screen prediction method used for H.264. In FIG. 18A, a target block 1802 is a block to be encoded, and a pixel group 1801 composed of pixels A to M adjacent to the boundary of the target block 1802 is an adjacent region, and has already been obtained in past processing. It is the reproduced image signal.

この場合、対象ブロック1802の真上にある隣接画素である画素群1801を下方に引き伸ばして予測信号を生成する。また図18(B)では、対象ブロック1804の左にある既再生画素(I〜L)を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献1に記載されている。このように図18(A)〜(I)に示す方法で生成された9つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献1に記載されている。   In this case, a prediction signal is generated by extending downward the pixel group 1801, which is an adjacent pixel immediately above the target block 1802. In FIG. 18B, the already reproduced pixels (I to L) on the left of the target block 1804 are stretched to the right to generate a prediction signal. A specific method for generating a prediction signal is described in Patent Document 1, for example. Thus, the difference between each of the nine prediction signals generated by the method shown in FIGS. 18A to 18I and the pixel signal of the target block is taken, and the one with the smallest difference value is used as the optimum prediction signal. . As described above, a prediction signal can be generated by extrapolating pixels. The above contents are described in Patent Document 1 below.

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。   In normal inter-screen predictive coding, a prediction signal is generated by searching for a signal similar to the pixel signal from a screen that has already been reproduced for a block to be coded. Then, a motion vector that is a spatial displacement amount between the target block and a region formed by the searched signal, and a residual signal between the pixel signal and the prediction signal of the target block are encoded. Such a method for searching for a motion vector for each block is called block matching.

図4は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面401上の対象ブロック402を例に予測信号の生成手順を説明する。画面403は既に再生済みであり、領域404は対象ブロック402と空間的に同一位置の領域である。ブロックマッチングでは、領域404を囲む探索範囲405を設定し、この探索範囲の画素信号から対象ブロック402の画素信号との絶対値誤差和が最小となる領域406を検出する。この領域406の信号が予測信号となり、領域404から領域406への変位量が動きベクトル407として検出される。H.264では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。H.264の予測タイプについては、例えば特許文献2に記載されている。   FIG. 4 is a schematic diagram for explaining the block matching process. Here, a procedure for generating a prediction signal will be described using the target block 402 on the encoding target screen 401 as an example. The screen 403 has already been reproduced, and the area 404 is an area in the same position as the target block 402. In the block matching, a search range 405 surrounding the region 404 is set, and a region 406 in which the absolute value error sum with the pixel signal of the target block 402 is minimized is detected from the pixel signal in this search range. The signal in this area 406 becomes a prediction signal, and the amount of displacement from the area 404 to the area 406 is detected as a motion vector 407. H. H.264 provides a plurality of prediction types having different block sizes for encoding motion vectors in order to cope with changes in local features of an image. H. H.264 prediction types are described in Patent Document 2, for example.

動画像データの圧縮符号化では、各フレームの符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について3種類の手法がある。第1の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第2の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第3の手法は、前方向予測と後方向予測を共に行い、2つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献3に記載されている。
米国特許公報第6765964号 米国特許公報第7003035号 米国特許公報第6259739号
In the compression encoding of moving image data, the encoding order of each frame may be arbitrary. For this reason, there are three types of coding order methods for inter-screen prediction in which a prediction signal is generated with reference to a reproduced screen. The first method is forward prediction in which a prediction signal is generated with reference to a past reproduced screen in the reproduction order, and the second method is backward prediction with reference to a future reproduced screen in the reproduction order. The third method is bidirectional prediction in which both forward prediction and backward prediction are performed and two prediction signals are averaged. About the kind of prediction between screens, it describes in patent document 3, for example.
US Pat. No. 6,765,964 US Patent Publication No. 7003035 US Pat. No. 6,259,739

しかしながら、従来技術では、符号化による歪(例えば量子化雑音)を含む再生画素値をコピーすることにより各画素の予測信号を生成するため、予測信号もその歪を含むことになる。符号化による歪を含む予測信号は、残差信号の符号量増加や再生画質劣化など符号化効率を低下させる要因となる。   However, in the prior art, a prediction signal of each pixel is generated by copying a reproduction pixel value including distortion due to encoding (for example, quantization noise). Therefore, the prediction signal also includes the distortion. A prediction signal including distortion due to encoding becomes a factor that decreases encoding efficiency, such as an increase in the code amount of a residual signal and deterioration in reproduction image quality.

符号化による歪の影響は、予測信号の平滑化にて抑制可能であり、2つの予測信号を平均化する双方向予測によっても抑制可能である。しかし、双方向予測は、2つの予測信号を再生側にて生成するために、2本の動きベクトルを符号化する必要があるため、予測信号の平滑化効果を高めるために平均化する信号の数を増やすと、符号化すべき動きベクトルの本数も増加してしまう。   The influence of distortion due to encoding can be suppressed by smoothing the prediction signal, and can also be suppressed by bidirectional prediction in which two prediction signals are averaged. However, since bi-directional prediction requires encoding two motion vectors in order to generate two prediction signals on the playback side, the signal to be averaged to enhance the smoothing effect of the prediction signal Increasing the number also increases the number of motion vectors to be encoded.

そこで、上述の課題を解決するために、本発明は、予測信号を効率よく生成することができる画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。   Therefore, in order to solve the above-described problem, the present invention provides an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, and an image predictor that can efficiently generate a prediction signal. It is an object to provide a decoding method and an image predictive decoding program.

本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。   An image predictive coding apparatus according to the present invention includes a region dividing unit that divides an input image into a plurality of regions, and a prediction signal for a target pixel signal of a target region that is a processing target among the plurality of regions divided by the region dividing unit. A prediction signal generation unit that generates a residual signal between the prediction signal generated by the prediction signal generation unit and the target pixel signal, and a residual signal generated by the residual signal generation unit A prediction related information generation unit that generates, as prediction related information, a method for generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. And a texture synthesis unit that generates a prediction signal of the target area based on the prediction related information generated by the prediction related information generation unit, and the texture synthesis unit includes the prediction related information A template signal of a designated area determined based on the already reproduced signal is generated from the already reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from previously reproduced images, and a plurality of target areas are determined based on the plurality of similar areas. And generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method, and the encoding means generates the prediction related information generated by the prediction related information generation means. It is characterized by encoding.

また、本発明の画像予測符号化方法は、画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、画像予測符号化装置が、領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測符号化装置が、予測信号生成ステップにおいて生成された予測信号と対象画素信号との残差信号を生成する残差信号生成ステップと、
画像予測符号化装置が、残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、予測信号生成ステップは、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、予測関連情報生成ステップにおいて生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成ステップとを有し、テキスチャー合成ステップは、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化ステップは、予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする。
The image predictive coding method according to the present invention includes a region dividing step in which the image predictive coding device divides an input image into a plurality of regions, and a plurality of regions in which the image predictive coding device is divided in the region dividing step. A prediction signal generation step for generating a prediction signal for the target pixel signal in the target region to be processed, and a residual between the prediction signal generated in the prediction signal generation step and the target pixel signal by the image prediction encoding device A residual signal generating step for generating a signal;
The image predictive coding apparatus includes a coding step for coding the residual signal generated in the residual signal generating step, and the predictive signal generating step outputs a signal having a high correlation with the target pixel signal in the target region. A prediction related information generation step for generating a method of generating from a previously reproduced signal as prediction related information; and a texture synthesis step for generating a prediction signal of the target region based on the prediction related information generated in the prediction related information generation step. The texture synthesis step generates a template signal of the designated area determined based on the prediction related information from the already reproduced signal, searches a plurality of similar areas highly correlated with the designated area from the previously reproduced image, Generating a plurality of texture signals for a target region based on a plurality of similar regions, and predetermining the plurality of texture signals Generates a prediction signal by processing using a texture synthesis method, the encoding step is characterized by coding the prediction related information generated in the prediction related information generating step.

また、本発明の画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。   The image predictive coding program according to the present invention includes a computer that divides an input image into a plurality of regions and a target region that is a processing target of the plurality of regions divided by the region dividing unit. Generated by a prediction signal generation unit that generates a prediction signal for a pixel signal, a residual signal generation unit that generates a residual signal between the prediction signal generated by the prediction signal generation unit and the target pixel signal, and a residual signal generation unit The prediction signal generating means functions as a prediction related information by generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. A prediction related information generating means for generating, and a texture synthesizing means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generating means. The stitcher synthesizing unit generates a template signal of the designated area determined based on the prediction related information from the already reproduced signal, searches a plurality of similar areas having a high correlation with the designated area from the already reproduced image, Generating a plurality of texture signals for the target region based on the similar region, processing the plurality of texture signals using a predetermined texture synthesis method, generating a prediction signal, and encoding means generating prediction related information The prediction related information generated by the means is encoded.

このような画像予測符号化装置、画像予測符号化方法及び画像予測符号化プログラムによれば、入力画像が複数の領域に分割され、分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号が生成され、その予測信号と対象画素信号との残差信号が生成され、その残差信号が符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。なお、生成された予測関連情報も残差信号と同様に符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。   According to such an image predictive encoding device, an image predictive encoding method, and an image predictive encoding program, an input image is divided into a plurality of regions, and a target region that is a processing target of the plurality of divided regions is determined. A prediction signal for the target pixel signal is generated, a residual signal between the prediction signal and the target pixel signal is generated, and the residual signal is encoded. Here, the prediction signal is generated by processing a plurality of texture signals generated based on the prediction related information by a specific texture synthesis method. The generated prediction related information is also encoded in the same manner as the residual signal. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

本発明の画像予測符号化装置では、指定領域と対象領域とが同じ形状であることが好ましい。これらの領域の形状を同じにすることで、より簡易に予測信号を生成することができる。   In the image predictive coding apparatus of the present invention, it is preferable that the designated region and the target region have the same shape. By making the shapes of these regions the same, a prediction signal can be generated more easily.

本発明の画像予測符号化装置では、テキスチャー合成手段は、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。   In the image predictive coding apparatus of the present invention, the texture synthesis means divides the target area into a plurality of small areas, and for each of the divided small areas, the template signal of the designated area determined based on the prediction related information has already been reproduced. A plurality of similar regions that are generated from the signal and have a high correlation with the designated region are searched from predetermined reproduced images, and a plurality of texture signals for a small region are generated based on the plurality of similar regions, and the plurality of texture signals Is preferably processed by using a predetermined texture synthesis method, and a prediction signal for the target region is generated by synthesizing the generated prediction signals for each small region.

この場合、対象領域が分割され、分割された各小領域について予測信号が生成され、小領域毎の予測信号を合成することにより対象領域の予測信号が生成される。そのため、最終的に生成される対象領域の予測信号の性能をより高めることが可能となる。すなわち、より雑音の少ない予測信号を生成することができる。   In this case, the target region is divided, a prediction signal is generated for each divided small region, and a prediction signal for the target region is generated by synthesizing the prediction signal for each small region. Therefore, it is possible to further improve the performance of the prediction signal of the target region that is finally generated. That is, a prediction signal with less noise can be generated.

本発明の画像予測符号化装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。   In the image predictive coding apparatus of the present invention, it is preferable that the template signal is included in a plurality of texture signals.

テンプレート信号は、対象領域の対象画素信号との相関が高い信号を生成する方法が含まれる予測関連情報に基づいて生成される。すなわち、テンプレート信号は、対象領域の画素信号との差分が最も小さい信号である。そのため、そのテンプレート信号を含むテキスチャー信号を利用することで、より雑音の少ない予測信号を生成することができる。   The template signal is generated based on prediction related information including a method for generating a signal having a high correlation with the target pixel signal in the target region. That is, the template signal is a signal having the smallest difference from the pixel signal in the target area. Therefore, a prediction signal with less noise can be generated by using a texture signal including the template signal.

本発明の画像予測符号化装置では、テキスチャー合成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。   In the image predictive coding apparatus of the present invention, it is preferable that the texture synthesizing unit generates a prediction signal by performing a weighted average process using a predetermined weighting coefficient on the texture signal. In this case, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

本発明の画像予測符号化装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。   In the image predictive coding apparatus of the present invention, it is preferable that the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. By using this motion vector, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, so that a prediction signal can be generated more easily.

本発明の画像予測符号化装置では、テキスチャー合成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。   In the image predictive coding apparatus of the present invention, it is preferable that the texture synthesis means searches for a plurality of similar regions having a high correlation with the designated region from a plurality of previously reproduced images.

この場合、複数の既再生画像の中から類似領域を探索することができるので、指定領域との相関がより高い類似領域を抽出することが可能となる。その結果、より雑音の少ない予測信号を生成することができる。   In this case, a similar area can be searched from a plurality of already-reproduced images, so that a similar area having a higher correlation with the designated area can be extracted. As a result, a prediction signal with less noise can be generated.

本発明の画像予測復号装置は、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、を備え、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。   The image predictive decoding apparatus according to the present invention extracts, from compressed data, data analysis means for extracting encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed, and extracted by the data analyzing means. Generated by the residual signal restoration means for restoring the reproduction residual signal from the encoded data of the residual signal, the prediction signal generation means for generating the prediction signal for the target pixel signal in the target region, and the prediction signal generation means An image restoration means for restoring the pixel signal of the target region by adding the prediction signal and the reproduction residual signal restored by the residual signal restoration means, and the prediction signal generation means is extracted by the data analysis means The prediction related information is restored from the encoded data of the predicted prediction related information, and the template signal in the designated area determined based on the restored prediction related information is reproduced. A plurality of similar regions that are highly correlated with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of texture signals are A prediction signal is generated by processing using a predetermined texture synthesis method.

また、本発明の画像予測復号方法は、画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、画像予測復号装置が、データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、画像予測復号装置が、対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測復号装置が、予測信号生成ステップにおいて生成された予測信号と残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元ステップと、を備え、予測信号生成ステップは、データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。   Also, the image predictive decoding method of the present invention is a data analysis in which the image predictive decoding device extracts encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed from compressed data. A residual signal restoration step in which the image predictive decoding apparatus restores a reproduction residual signal from the encoded data of the residual signal extracted in the data analysis step, and the image predictive decoding apparatus includes the target pixel signal in the target region A prediction signal generation step for generating a prediction signal for the image, and the image prediction decoding apparatus adds the prediction signal generated in the prediction signal generation step and the reproduced residual signal restored in the residual signal restoration step An image restoration step for restoring the pixel signal of the region, and the prediction signal generation step is extracted in the data analysis step The prediction related information is restored from the encoded data of the measurement related information, the template signal of the designated area determined based on the restored prediction related information is generated from the already reproduced signal, and a plurality of similar areas highly correlated with the designated area are generated. Search from a predetermined already-reproduced image, generate a plurality of texture signals for the target region based on the plurality of similar regions, and process the plurality of texture signals using a predetermined texture synthesis method Is generated.

また、本発明の画像予測復号プログラムは、コンピュータを、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、して機能させ、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。   Further, the image predictive decoding program of the present invention is a data analysis means for extracting encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed from compressed data, Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means, prediction signal generation means for generating a prediction signal for the target pixel signal in the target region, and prediction signal generation The prediction signal generated by the means and the reproduction residual signal restored by the residual signal restoration means are added to function as an image restoration means for restoring the pixel signal of the target region, and the prediction signal generation means The prediction related information is restored from the encoded data of the prediction related information extracted by the data analysis means, and is specified based on the restored prediction related information. Generates a template signal for a region from a previously reproduced signal, searches a plurality of similar regions having a high correlation with a designated region from predetermined reproduced images, and generates a plurality of texture signals for the target region based on the plurality of similar regions The prediction signal is generated by processing the plurality of texture signals using a predetermined texture synthesis method.

このような画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、圧縮データから抽出された予測関連情報の符号化データから予測信号が生成されるとともに、その圧縮データから抽出された残差信号の符号化データから再生残差信号が復元され、予測信号と再生残差信号とを加算することにより対象領域の画素信号が復元される。ここで、予測信号は、復元された予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。   According to such an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program, a prediction signal is generated from encoded data of prediction related information extracted from compressed data and extracted from the compressed data. The reproduction residual signal is restored from the encoded data of the residual signal, and the pixel signal of the target region is restored by adding the prediction signal and the reproduction residual signal. Here, the prediction signal is generated by processing a plurality of texture signals generated based on the restored prediction related information by a specific texture synthesis method. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

本発明の画像予測復号装置では、指定領域と対象領域が同じ形状であることが好ましい。この場合、指定領域と対象領域とを同様に設定することが可能であるため、より簡易に予測信号を生成することができる。   In the image predictive decoding device of the present invention, it is preferable that the designated region and the target region have the same shape. In this case, since the designated area and the target area can be set in the same manner, the prediction signal can be generated more easily.

本発明の画像予測復号装置では、予測信号生成手段は、予測関連情報の符号化データから予測関連情報を復元し、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。   In the image predictive decoding device of the present invention, the prediction signal generation means restores the prediction related information from the encoded data of the prediction related information, divides the target region into a plurality of small regions, and predicts each divided small region. A template signal of a designated area determined based on the related information is generated from the already reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from previously reproduced images, and a small signal is generated based on the plurality of similar areas. Generate a plurality of texture signals for the region, process the plurality of texture signals using a predetermined texture synthesis method to generate a small region prediction signal, and synthesize the generated prediction signals for each small region Thus, it is preferable to generate a prediction signal of the target region.

この場合、対象領域が分割され、分割された各小領域について予測信号が生成され、小領域毎の予測信号を合成することにより対象領域の予測信号が生成される。そのため、最終的に生成される対象領域の予測信号の性能をより高めることが可能となる。すなわち、より雑音の少ない予測信号を生成することができる。   In this case, the target region is divided, a prediction signal is generated for each divided small region, and a prediction signal for the target region is generated by synthesizing the prediction signal for each small region. Therefore, it is possible to further improve the performance of the prediction signal of the target region that is finally generated. That is, a prediction signal with less noise can be generated.

本発明の画像予測復号装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。   In the image predictive decoding device of the present invention, it is preferable that the template signal is included in a plurality of texture signals.

テンプレート信号は、対象領域の対象画素信号との相関が高い信号を生成する方法が含まれる予測関連情報に基づいて生成される。すなわち、テンプレート信号は、対象領域の画素信号との差分が最も小さい信号である。そのため、そのテンプレート信号を含むテキスチャー信号を利用することで、より雑音の少ない予測信号を生成することができる。   The template signal is generated based on prediction related information including a method for generating a signal having a high correlation with the target pixel signal in the target region. That is, the template signal is a signal having the smallest difference from the pixel signal in the target area. Therefore, a prediction signal with less noise can be generated by using a texture signal including the template signal.

本発明の画像予測復号装置では、予測信号生成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。   In the image predictive decoding device of the present invention, it is preferable that the prediction signal generation unit generates a prediction signal by performing a weighted average process with a predetermined weighting coefficient on the texture signal. In this case, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

本発明の画像予測復号装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。   In the image predictive decoding device of the present invention, it is preferable that the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. By using this motion vector, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, so that a prediction signal can be generated more easily.

本発明の画像予測復号装置では、予測信号生成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。   In the image predictive decoding device of the present invention, it is preferable that the prediction signal generating means searches a plurality of similar reproduced regions having a high correlation with the designated region from a plurality of previously reproduced images.

この場合、複数の既再生画像の中から類似領域を探索することができるので、指定領域との相関がより高い類似領域を抽出することが可能となる。その結果、より雑音の少ない予測信号を生成することができる。   In this case, a similar area can be searched from a plurality of already-reproduced images, so that a similar area having a higher correlation with the designated area can be extracted. As a result, a prediction signal with less noise can be generated.

本発明の画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、1本の動きベクトル等、少ない予測関連情報に基づいて多数のテキスチャー信号を生成することができるので、テキスチャー信号の平滑化処理を伴う予測信号を効率良く生成することができる。   According to the image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program of the present invention, a small amount of prediction related information such as one motion vector Since a large number of texture signals can be generated on the basis of the above, a prediction signal accompanied with a smoothing process of the texture signal can be efficiently generated.

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。   Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same or equivalent elements are denoted by the same reference numerals, and redundant description is omitted.

図1は、本実施形態に係る画像予測符号化装置100を示すブロック図である。この画像予測符号化装置100は、入力端子101、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111及び出力端子112を備えている。変換器106及び量子化器107は、符号化手段として機能する。   FIG. 1 is a block diagram showing an image predictive encoding device 100 according to this embodiment. The image predictive coding apparatus 100 includes an input terminal 101, a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a transformer 106, a quantizer 107, an inverse quantizer 108, and an inverse transformer. 109, an adder 110, an entropy encoder 111, and an output terminal 112. The converter 106 and the quantizer 107 function as an encoding unit.

入力端子101は、複数枚の画像からなる動画像の信号を入力する端子である。   The input terminal 101 is a terminal for inputting a moving image signal composed of a plurality of images.

ブロック分割器102は、入力端子101から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、8x8の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。   The block divider 102 divides an image to be encoded, which is represented by a signal input from the input terminal 101, into a plurality of regions. In this embodiment, the block is divided into 8 × 8 pixels, but may be divided into other block sizes or shapes.

予測信号生成器103は、符号化処理の対象となる対象領域(対象ブロック)に対して予測信号を生成し、その予測信号を減算器105に出力し、予測方法に関する情報をエントロピー符号化器111に出力する部分である。この予測信号生成器103の具体的な処理については後述する。   The prediction signal generator 103 generates a prediction signal for the target region (target block) that is the target of the encoding process, outputs the prediction signal to the subtractor 105, and stores information on the prediction method in the entropy encoder 111. This is the output part. Specific processing of the prediction signal generator 103 will be described later.

減算器105は、ラインL102を経由して入力されたブロック分割器102で分割されて得られた対象領域から、ラインL103を経由して入力された予測信号生成器103にて生成された予測信号を減算して、残差信号を生成する部分である。減算器105は、減算して得た残差信号を、ラインL105を経由して変換器106に出力する。   The subtractor 105 generates the prediction signal generated by the prediction signal generator 103 input via the line L103 from the target region obtained by the division by the block divider 102 input via the line L102. Is a part for generating a residual signal. The subtractor 105 outputs the residual signal obtained by the subtraction to the converter 106 via the line L105.

変換器106は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器107は、変換器106により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器111は、量子化器107により量子化された変換係数を符号化するとともに予測方法に関する情報を符号化し、符号化された情報をラインL111を経由して出力する。出力端子112は、エントロピー符号化器111から入力した情報を外部に出力する。   The converter 106 is a part that performs discrete cosine transform on the residual signal obtained by subtraction. The quantizer 107 is a part that quantizes the transform coefficient that has been discrete cosine transformed by the transformer 106. The entropy encoder 111 encodes the transform coefficient quantized by the quantizer 107, encodes information related to the prediction method, and outputs the encoded information via the line L111. The output terminal 112 outputs information input from the entropy encoder 111 to the outside.

逆量子化器108は、量子化された変換係数を逆量子化する。逆変換器109は、逆離散コサイン変換により残差信号を復元する。加算器110は、復元された残差信号とラインL103から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ104に格納する。本実施形態では、変換器106と逆変換器109とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器106及び逆変換器109は必須ではない。このように、後続の対象領域に対する画面内予測もしくは画面間予測を行うために、圧縮された対象領域の画素信号は、逆処理にて復元されフレームメモリ104に記憶される。   The inverse quantizer 108 inversely quantizes the quantized transform coefficient. The inverse transformer 109 restores the residual signal by inverse discrete cosine transform. The adder 110 adds the restored residual signal and the prediction signal sent from the line L103, reproduces the signal of the target block, and stores it in the frame memory 104. In the present embodiment, the converter 106 and the inverse converter 109 are used, but other conversion processes in place of these converters may be used. Further, the converter 106 and the inverse converter 109 are not essential. Thus, in order to perform intra prediction or inter prediction for the subsequent target area, the compressed pixel signal of the target area is restored by inverse processing and stored in the frame memory 104.

次に、予測信号生成器103について説明する。予測信号生成器103は、符号化処理の対象となる対象領域(以下、対象ブロックと称する)に対する予測信号を生成する。本実施形態では、2種類の予測方法が用いられる。すなわち、予測信号生成器103は、後述する画面間予測方法と画面内予測方法とのうち少なくとも一方を用いて予測信号を生成する。画面間予測方法及び画面内予測方法を選択するための選択情報は、量子化された変換係数及び予測信号の生成に関する予測関連情報とともにエントロピー符号化器111にて符号化され、出力端子112より送出される。   Next, the prediction signal generator 103 will be described. The prediction signal generator 103 generates a prediction signal for a target region (hereinafter referred to as a target block) that is a target of encoding processing. In this embodiment, two types of prediction methods are used. That is, the prediction signal generator 103 generates a prediction signal using at least one of an inter-screen prediction method and an intra-screen prediction method described later. Selection information for selecting the inter-screen prediction method and the intra-screen prediction method is encoded by the entropy encoder 111 together with the prediction-related information related to the generation of the quantized transform coefficient and the prediction signal, and is transmitted from the output terminal 112. Is done.

図2は、図1に示す予測信号生成器103のブロック図である。予測信号生成器103は、予測関連情報生成器201とテキスチャー合成器202とを備えている。   FIG. 2 is a block diagram of the prediction signal generator 103 shown in FIG. The prediction signal generator 103 includes a prediction related information generator 201 and a texture synthesizer 202.

予測関連情報生成器201は、ラインL102経由で入力される対象ブロックの信号を受け付けるとともに、フレームメモリ104からラインL104経由で入力される、過去の処理で既に再生された画像信号(再生画像信号)を受け付ける。予測関連情報生成器201は、対象ブロックに対して誤差の最も小さい予測信号を再生画像信号から生成し、その生成に必要となる予測関連情報を求める。すなわち、予測関連情報生成器201は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する。予測関連情報は、ラインL201を経由してテキスチャー合成器202に送られると共に、ラインL113を経由してエントロピー符号化器111にも送られる。   The prediction related information generator 201 receives the signal of the target block input via the line L102, and is an image signal (reproduced image signal) that has already been reproduced in the past process and is input from the frame memory 104 via the line L104. Accept. The prediction related information generator 201 generates a prediction signal having the smallest error with respect to the target block from the reproduced image signal, and obtains prediction related information necessary for the generation. That is, the prediction related information generator 201 generates, as prediction related information, a method for generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. The prediction related information is sent to the texture synthesizer 202 via the line L201 and also sent to the entropy encoder 111 via the line L113.

ここで、予測関連情報の生成処理について説明する。画面間予測方法を用いる場合、予測関連情報生成器201は、対象ブロックと異なる画面(フレームまたはフィールド)の再生画像信号を参照画像として、ブロックマッチング処理により動きベクトルを検出する。検出した動きベクトルは、予測関連情報として予測関連情報生成器201から、エントロピー符号化器(ラインL113経由)とテキスチャー合成器202(ラインL201経由)とにそれぞれ出力される。   Here, the process of generating prediction related information will be described. When the inter-screen prediction method is used, the prediction related information generator 201 detects a motion vector by block matching processing using a reproduced image signal of a screen (frame or field) different from the target block as a reference image. The detected motion vector is output as prediction related information from the prediction related information generator 201 to the entropy encoder (via the line L113) and the texture synthesizer 202 (via the line L201).

図4を用いて、画面間予測方法を用いた予測関連情報の生成方法をさらに詳しく述べる。図4は、画面間予測方法を用いた予測関連情報の生成方法、つまり動きベクトルの検出方法を説明するための模式図であり、図4(A)は参照画像を示し、図4(B)は符号化対象の画面を示す。ここでは、符号化対象の画面401において、対象ブロック402に対する動きベクトルを検出する場合について説明する。   The generation method of prediction related information using the inter-screen prediction method will be described in more detail with reference to FIG. FIG. 4 is a schematic diagram for explaining a prediction related information generation method using the inter-screen prediction method, that is, a motion vector detection method. FIG. 4 (A) shows a reference image, and FIG. Indicates a screen to be encoded. Here, a case where a motion vector for the target block 402 is detected on the encoding target screen 401 will be described.

まず、過去の処理で既に再生された画面403が参照画像とされ、参照画面上に探索領域405が設定される。図4では、対象ブロック402と空間的に同一位置の領域404の周囲に探索領域405が設定されているが、空間的にずれた位置に設定されても構わない。次に、探索領域405において、対象ブロック402と同じ形状を有する画素群との間で、対応する画素間の絶対値誤差和(SAD)が求められ、最も小さいSADを与える領域406が検索される。この際、領域406を検索するための評価値はSAD以外でもよい。そして、領域404から領域406への変位量が対象ブロックの動きベクトル407として検出される。   First, the screen 403 that has already been reproduced in the past processing is set as a reference image, and a search area 405 is set on the reference screen. In FIG. 4, the search area 405 is set around the area 404 that is spatially the same position as the target block 402, but may be set at a spatially shifted position. Next, in the search area 405, an absolute value error sum (SAD) between corresponding pixels is obtained between the pixel group having the same shape as the target block 402, and an area 406 that gives the smallest SAD is searched. . At this time, the evaluation value for searching the area 406 may be other than SAD. Then, a displacement amount from the region 404 to the region 406 is detected as a motion vector 407 of the target block.

なお、動きベクトルは、対象ブロックを再分割し、再分割された小領域単位で検出されるようにしてもよい。この場合、選択した分割方法と各小領域の動きベクトルとが予測関連情報に含まれる。また、複数の既再生の画面を参照画像として用いてもよい。複数の参照画像について最適な動きベクトルが検出され、SADが最小となる1つが選択される。この場合には、選択された参照画像のフレーム番号(小領域毎でも対象ブロックに1つでもよい)も予測関連情報に含まれる。   Note that the motion vector may be detected in units of sub-regions obtained by sub-dividing the target block. In this case, the selected division method and the motion vector of each small region are included in the prediction related information. In addition, a plurality of previously reproduced screens may be used as reference images. Optimal motion vectors are detected for a plurality of reference images, and one that minimizes SAD is selected. In this case, the frame number of the selected reference image (may be one for each small area or one for the target block) is also included in the prediction related information.

一方、画面内予測方法を用いる場合、予測関連情報生成器201に対象ブロックと同じ画面内にある再生画像信号が入力され、図18に示す予測方法により対象ブロックに対して最も小さい予測信号を与える方法が選択される。選択された予測方法は、予測関連情報として予測関連情報生成器201から、エントロピー符号化器(ラインL113経由)とテキスチャー合成器202(ラインL201経由)にそれぞれ出力される。   On the other hand, when the intra prediction method is used, a reproduced image signal in the same screen as the target block is input to the prediction related information generator 201, and the smallest prediction signal is given to the target block by the prediction method shown in FIG. A method is selected. The selected prediction method is output as prediction related information from the prediction related information generator 201 to the entropy encoder (via the line L113) and the texture synthesizer 202 (via the line L201).

次に、図3を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について説明する。図3は、図2に示すテキスチャー合成器202の構成を示すブロック図である。テキスチャー合成器202は、テンプレート信号生成器301とテキスチャー生成器302と合成器303とを備えている。テンプレート信号生成器301は、ラインL201経由で入力される予測関連情報を受け付けるとともに、またラインL104経由でフレームメモリ104から入力される再生画像信号を受け付ける。そして、テンプレート信号生成器301は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインL301経由でテキスチャー生成器302に出力する。   Next, texture signal generation / synthesis processing according to the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing a configuration of the texture synthesizer 202 shown in FIG. The texture synthesizer 202 includes a template signal generator 301, a texture generator 302, and a synthesizer 303. The template signal generator 301 receives prediction related information input via the line L201 and also receives a reproduction image signal input from the frame memory 104 via the line L104. Then, the template signal generator 301 generates a template signal from the reproduced image signal based on the prediction related information, and outputs it to the texture generator 302 via the line L301.

テキスチャー合成器202では、テキスチャー生成器302が、ラインL104経由でフレームメモリ104から入力される、過去の処理で既に再生された画像信号(再生画像信号)を受け付けるとともに、テンプレート信号生成器301がラインL201経由で入力される予測関連情報を受け付ける。テキスチャー生成器302は、下記に説明するような方法で、入力された予測関連情報に基づいて予め指定された領域(指定領域)の信号をテンプレート信号として生成し、テンプレートマッチング処理により再生画像信号から複数のテキスチャー信号を生成する。さらに合成器303が、生成した複数のテキスチャー信号を合成して対象ブロックに対する予測信号を生成する。そして、合成器303は、生成した予測信号をL103を介して減算器105に出力する。   In the texture synthesizer 202, the texture generator 302 receives an image signal (reproduced image signal) that has been reproduced in the past processing and is input from the frame memory 104 via the line L104, and the template signal generator 301 receives the line. Prediction related information input via L201 is received. The texture generator 302 generates a signal of a predetermined region (specified region) as a template signal based on the input prediction related information by a method as described below, and from the reproduced image signal by template matching processing. A plurality of texture signals are generated. Further, the synthesizer 303 synthesizes the plurality of generated texture signals to generate a prediction signal for the target block. Then, the synthesizer 303 outputs the generated prediction signal to the subtracter 105 via L103.

本実施形態では、このテンプレート信号を含む領域の形状は任意である。この形状は上記に示したように方式により指定されることから、本実施形態では、テンプレート信号を含む領域を「指定領域」と呼ぶことにする。また、テンプレートマッチング処理により検索される領域を「類似領域」と呼ぶことにする。さらに、合成器303に入力される複数のテキスチャー信号が属する領域、つまり予測対象の領域と同じ形状の領域を「テキスチャー領域」と呼ぶことにする。   In the present embodiment, the shape of the region including the template signal is arbitrary. Since this shape is designated by the method as described above, in this embodiment, an area including the template signal is referred to as a “designated area”. An area searched by the template matching process is referred to as a “similar area”. Furthermore, a region to which a plurality of texture signals input to the synthesizer 303 belong, that is, a region having the same shape as the region to be predicted is referred to as a “texture region”.

指定領域の形状と類似領域の形状とは常に一致している。テキスチャー領域の形状は、予測対象の領域と同じである。類似領域とテキスチャー領域との位置関係は、同一の画面上において、「2領域の相対的な座標位置を示す変位量」により予め規定されている。図11を用いて簡単に説明する。画面403にて、領域761が指定領域、領域751がテキスチャー領域であるとする。このとき、領域761の左上隅の座標と領域751の左上隅の座標との間の変位量を予め既定しておく。図11のように類似領域の形状とテキスチャー領域の形状とが異なる例については、後述する。ここでは、図6に示すように、類似領域の形状とテキスチャー領域の形状とが一致する場合について説明する。類似領域の形状とテキスチャー領域の形状とが一致する場合では、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は0となる。なお、テンプレート信号を含む領域の形状は、ブロックに限定されない。   The shape of the designated area always matches the shape of the similar area. The shape of the texture region is the same as the region to be predicted. The positional relationship between the similar area and the texture area is defined in advance by “a displacement amount indicating the relative coordinate position of the two areas” on the same screen. This will be briefly described with reference to FIG. In the screen 403, it is assumed that an area 761 is a designated area and an area 751 is a texture area. At this time, a displacement amount between the coordinates of the upper left corner of the region 761 and the coordinates of the upper left corner of the region 751 is preset. An example in which the shape of the similar region is different from the shape of the texture region as shown in FIG. 11 will be described later. Here, as shown in FIG. 6, the case where the shape of the similar region and the shape of the texture region match will be described. When the shape of the similar region matches the shape of the texture region, the displacement amount indicating the relative coordinate position of the similar region and the texture region is zero. Note that the shape of the region including the template signal is not limited to the block.

テキスチャー生成器302は、再生画像信号を探索し、テンプレートと同じ形状の領域を有する領域について、テンプレートに対応する画素間の絶対値誤差和(SAD)を求める。本実施形態では、対象ブロックの画素信号との相関が高い信号がテンプレート信号として選択されているので、テキスチャー生成器302は、対象ブロックの画素信号に近い信号を探索できる。   The texture generator 302 searches the reproduced image signal and obtains an absolute value error sum (SAD) between pixels corresponding to the template for an area having the same shape as the template. In this embodiment, since a signal having a high correlation with the pixel signal of the target block is selected as the template signal, the texture generator 302 can search for a signal close to the pixel signal of the target block.

テンプレート信号生成器301におけるテンプレート信号の生成処理を、図4で示した画面間予測方法の場合について説明する。画面内予測方法の場合については、後述する(図17)。図4では、符号化対象の画面401の対象ブロック402の予測信号を生成することが示されている。対象ブロック402おける予測関連情報は動きベクトル407であり、ラインL201経由でテンプレート信号生成器301に入力される。テンプレート信号生成器301は、ラインL104経由で図1のフレームメモリ104に保存されている参照画像403にアクセスし、動きベクトル407に基づいて対象ブロック402に対応する領域406を取得する。取得した領域406(指定領域)の信号は、テンプレート信号として、テンプレート信号生成器301から出力される。   The template signal generation processing in the template signal generator 301 will be described for the case of the inter-screen prediction method shown in FIG. The case of the intra prediction method will be described later (FIG. 17). FIG. 4 shows that the prediction signal of the target block 402 of the encoding target screen 401 is generated. The prediction related information in the target block 402 is a motion vector 407 and is input to the template signal generator 301 via the line L201. The template signal generator 301 accesses the reference image 403 stored in the frame memory 104 of FIG. 1 via the line L104, and acquires an area 406 corresponding to the target block 402 based on the motion vector 407. The acquired signal of the area 406 (designated area) is output from the template signal generator 301 as a template signal.

動きベクトル407により示される指定領域406は、対象ブロック402の画素信号との差分が最も小さい信号である。従って、この指定領域406をテンプレート信号とすれば、テキスチャー生成器302は、対象ブロック402の画素信号に類似する複数のテキスチャー信号を検索することができる。なお、指定領域406のテンプレート信号は、復号した動きベクトルに基づいて取得できるため、同じテキスチャー信号を復号装置にて検索できる。   The designated area 406 indicated by the motion vector 407 is a signal having the smallest difference from the pixel signal of the target block 402. Therefore, if the designated area 406 is a template signal, the texture generator 302 can search for a plurality of texture signals similar to the pixel signal of the target block 402. Since the template signal in the designated area 406 can be acquired based on the decoded motion vector, the same texture signal can be searched by the decoding device.

テキスチャー生成器302では、ラインL301経由でテンプレート信号生成器301からテンプレート信号が入力され、またラインL104経由でフレームメモリ104から再生画像信号が入力される。テキスチャー生成器302は、入力されたテンプレート信号及び再生画像信号に基づいて、以下に説明する設定でテンプレートマッチングを行い、N個のテキスチャー信号を生成する。生成したN個のテキスチャー信号は、ラインL302を経由して合成器303に出力される。合成器303は、これらN個のテキスチャー信号を後述する予め定めた方法で合成して予測信号を生成し、ラインL103を経由して出力する。以降、本実施形態では、Nの値を5として説明するが、Nの値は1以上の任意の値に設定できる。   In the texture generator 302, a template signal is input from the template signal generator 301 via the line L301, and a reproduced image signal is input from the frame memory 104 via the line L104. The texture generator 302 performs template matching with the settings described below based on the input template signal and reproduced image signal, and generates N texture signals. The generated N texture signals are output to the combiner 303 via the line L302. The synthesizer 303 synthesizes these N texture signals by a predetermined method to be described later, generates a prediction signal, and outputs the prediction signal via the line L103. Hereinafter, in this embodiment, the value of N is described as 5, but the value of N can be set to an arbitrary value of 1 or more.

ここで図5及び図6を用いて、テキスチャー生成器302におけるテキスチャー信号の生成方法を詳しく説明する。図5は、図3に示すテキスチャー生成器302のブロック図である。図6は、本実施形態に係るマッチング処理及びテキスチャー生成処理に関する模式図であり、図6(A)は参照画像を示し、図6(B)は符号化対象の画面を示す。   Here, a method of generating a texture signal in the texture generator 302 will be described in detail with reference to FIGS. 5 and 6. FIG. 5 is a block diagram of the texture generator 302 shown in FIG. FIG. 6 is a schematic diagram regarding the matching process and the texture generation process according to the present embodiment. FIG. 6A shows a reference image, and FIG. 6B shows a screen to be encoded.

テキスチャー生成器302は、マッチング器501と、候補テキスチャー選択器502と、テキスチャー取得器503とを備えている。まず、マッチング器501がラインL301経由で入力されるテンプレート信号を受け付ける。次に、マッチング器501は、ラインL104経由でフレームメモリ104にある再生画像信号にアクセスし、予め定めた手順でマッチング処理を実施し、指定領域と同じ形状を有する画素群を順次取得する。そして、マッチング器501は、取得したそれぞれの画素群について、テンプレート信号との間で対応する画素間の絶対値誤差和(SAD)をそれぞれ算出する。算出した各SAD値は、取得した画素群にアクセスするための座標情報と共に、ラインL501経由で候補テキスチャー選択器502に出力される。   The texture generator 302 includes a matching unit 501, a candidate texture selector 502, and a texture acquisition unit 503. First, the matching device 501 receives a template signal input via the line L301. Next, the matching unit 501 accesses the reproduced image signal in the frame memory 104 via the line L104, performs matching processing according to a predetermined procedure, and sequentially acquires pixel groups having the same shape as the designated region. Then, the matching unit 501 calculates an absolute value error sum (SAD) between corresponding pixels with respect to each of the acquired pixel groups. Each calculated SAD value is output to the candidate texture selector 502 via the line L501 together with coordinate information for accessing the acquired pixel group.

なお、本実施形態では、テンプレート信号との類似性を計る評価値をSADとしているが、それに限定されるものではなく、誤差二乗和や、座標情報とSADから算出される値などでもよい。   In the present embodiment, the evaluation value for measuring the similarity to the template signal is SAD, but the evaluation value is not limited thereto, and may be a sum of squared errors, a value calculated from coordinate information and SAD, or the like.

候補テキスチャー選択器502は、入力された複数のSAD値を予め定めた閾値と比較し、SAD値が閾値より小さい画素群とその座標情報を抽出する。そして、候補テキスチャー選択器502は、抽出した画素群からSAD値が小さい領域を順に最大N個を選択し、対応する座標情報をラインL502経由でテキスチャー取得器503に出力する。ここで、抽出されたN個の領域が類似領域である。閾値より小さいSAD値がN個に満たない場合、候補テキスチャー選択器502は、その対象ブロックにおけるNの値を更新する。テキスチャー生成器302への入力信号はすべて復号装置にて復元されるデータであるため、復号装置においても同様の方法でNの値を更新できる。従って、更新したNの値を符号化する必要はない。なお、座標情報の選択方法は、SAD値の小さい順でなくてもかまわない。N個の座標情報の選択方法については後述する(図16)。   The candidate texture selector 502 compares a plurality of input SAD values with a predetermined threshold value, and extracts a pixel group having the SAD value smaller than the threshold value and its coordinate information. Then, the candidate texture selector 502 selects a maximum of N regions having small SAD values from the extracted pixel group in order, and outputs corresponding coordinate information to the texture acquirer 503 via the line L502. Here, the extracted N areas are similar areas. When the number of SAD values smaller than the threshold is less than N, the candidate texture selector 502 updates the value of N in the target block. Since all the input signals to the texture generator 302 are data restored by the decoding device, the value of N can be updated in the decoding device by the same method. Therefore, there is no need to encode the updated N value. Note that the selection method of the coordinate information does not have to be in ascending order of the SAD value. A method of selecting N pieces of coordinate information will be described later (FIG. 16).

テキスチャー取得器503は、ラインL502から入力されるN個の座標情報を受け付ける。テキスチャー取得器503は、ラインL104経由でフレームメモリ104にある再生画像信号にアクセスし、N個の座標情報に基づいて、対象ブロックと同じ形状の領域、つまりテキスチャー領域の信号(テキスチャー信号)をN個取得し、ラインL302経由で合成器303に順次出力する。なお、本実施形態では、テキスチャー領域と類似領域とが一致するため、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は0である。従って、テキスチャー取得器503は、テキスチャー信号を指定領域の座標情報から直接取得できる。   The texture acquisition unit 503 receives N pieces of coordinate information input from the line L502. The texture acquisition unit 503 accesses the reproduced image signal in the frame memory 104 via the line L104, and outputs an area having the same shape as the target block, that is, a texture area signal (texture signal) based on the N pieces of coordinate information. Are obtained and sequentially output to the combiner 303 via the line L302. In the present embodiment, since the texture area and the similar area coincide with each other, the displacement amount indicating the relative coordinate position between the similar area and the texture area is zero. Therefore, the texture acquisition unit 503 can directly acquire the texture signal from the coordinate information of the designated area.

図6に示す例では、符号化対象の画面401の対象ブロック402について、複数のテキスチャー信号が生成されている。図6において、マッチング処理に用いるテンプレート信号は、対象ブロックと同じ形状の領域406(指定領域)の信号であり、動きベクトル407に従ってテンプレート信号生成器301により決定されている。   In the example illustrated in FIG. 6, a plurality of texture signals are generated for the target block 402 of the encoding target screen 401. In FIG. 6, the template signal used for the matching process is a signal of the region 406 (designated region) having the same shape as the target block, and is determined by the template signal generator 301 according to the motion vector 407.

マッチング器501のマッチング処理では、まず、予め決められた方法で対象ブロック402に対する探索領域が設定される。本実施形態では、既に再生済みの画面403全体が探索領域とされる。なお、画面全体を探索領域とせず、画面の一部を探索領域としてもよい。   In the matching process of the matching unit 501, first, a search area for the target block 402 is set by a predetermined method. In the present embodiment, the entire screen 403 that has already been reproduced is set as a search area. Note that a part of the screen may be used as the search area instead of the entire screen as the search area.

マッチング器501は、探索領域403全体を探索し、指定領域406と同じ形状を有する複数の画素群(領域601、602…)との間で、対応する画素間の絶対値誤差値の和(SAD)を求める。なお、探索方法は、間引き探索等でもよい。   The matching unit 501 searches the entire search region 403, and sums absolute value error values (SAD) between corresponding pixels with a plurality of pixel groups (regions 601, 602,...) Having the same shape as the designated region 406. ) The search method may be a thinning search or the like.

次に、候補テキスチャー選択器502は、閾値よりもSAD値が小さい5個の領域(領域601、602、603、604及び406)を類似領域の候補として検出する。ここで用いる閾値は、予め定めた値でもよいし、テキスチャー合成器202にて最適なテキスチャー信号が得られる値を決定し、エントロピー符号化器111にて符号化したものでもよい(図示しない)。本実施形態における画面間予測方法では、テンプレートマッチングの探索領域が指定領域406を含んでいるため、必然的にテンプレート信号がテキスチャー信号の候補に含まれる。このテンプレート信号は、対象ブロックの画素信号との差分が最も小さい信号であり、雑音が少なく且つ対象ブロックとの差分が小さい予測信号を生成するために必要となる。   Next, the candidate texture selector 502 detects five regions (regions 601, 602, 603, 604, and 406) having SAD values smaller than the threshold value as candidates for similar regions. The threshold value used here may be a predetermined value, or may be a value determined by the texture synthesizer 202 to obtain an optimum texture signal and encoded by the entropy encoder 111 (not shown). In the inter-screen prediction method according to the present embodiment, the template matching search area includes the designated area 406, and thus the template signal is necessarily included in the texture signal candidates. This template signal is a signal having the smallest difference from the pixel signal of the target block, and is necessary for generating a prediction signal with little noise and a small difference from the target block.

候補テキスチャー選択器502は、検出された類似領域の601〜604及び406のそれぞれについて左上隅の座標を検出し、これらの座標をラインL501経由でテキスチャー取得器503に出力する。ここで出力される座標情報は、フレームメモリにアクセスするための情報であり、各類似領域の左上隅である必要はなく、右下隅などでもよい。すなわち、出力される座標情報は、位置を特定する情報であればよい。   The candidate texture selector 502 detects the coordinates of the upper left corner of each of the detected similar regions 601 to 604 and 406, and outputs these coordinates to the texture acquisition unit 503 via the line L501. The coordinate information output here is information for accessing the frame memory, and does not have to be the upper left corner of each similar region, but may be the lower right corner. That is, the output coordinate information may be information that specifies the position.

このようにして、決定された座標情報がテキスチャー取得器503に入力されると、テキスチャー取得器503は、類似領域とテキスチャー領域との相対的な座標位置を示す変位量に従って、N個の類似領域の座標情報をそれぞれテキスチャー領域の座標情報に変換する。この変換処理は、候補テキスチャー選択器502にて行なってもよい。続いて、テキスチャー取得器503は、変換した座標情報に従って、ラインL104経由でフレームメモリ104の参照画像403にアクセスし、N個のテキスチャー信号の候補を取得する。取得したN個のテキスチャー信号は、ラインL302経由で合成器303に出力される。なお、図6に示す例では類似領域とテキスチャー領域とが一致するため、テキスチャー生成器302は、その例を実行する際に座標情報の変換処理を省略することができる。   When the determined coordinate information is input to the texture acquisition unit 503 in this way, the texture acquisition unit 503 determines that the N similar regions according to the displacement amount indicating the relative coordinate position between the similar region and the texture region. Are respectively converted into coordinate information of the texture area. This conversion process may be performed by the candidate texture selector 502. Subsequently, the texture acquisition unit 503 accesses the reference image 403 of the frame memory 104 via the line L104 according to the converted coordinate information, and acquires N texture signal candidates. The acquired N texture signals are output to the combiner 303 via the line L302. In the example shown in FIG. 6, since the similar region and the texture region match, the texture generator 302 can omit the coordinate information conversion process when executing the example.

図6に示す場合の探索領域については、例えば、図4の探索領域405に示すような部分領域が領域406を囲むように設定されてもよい。探索領域が領域406を含まない場合には、テンプレート信号がテキスチャー信号に含まれるように探索対象が設定されてもよい。また、探索領域は1つの画面の領域に限定されることはなく、複数の画面の部分領域が探索領域として設定されてもよい。この際、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。但し、テキスチャー生成器302にて探索領域を複数の候補から選ぶような場合には、探索対象の画面や探索領域に関する情報を符号化する必要がある。符号化を行なう場合には、テキスチャー合成器202からラインL113を経由してエントロピー符号化器111に選択した画面情報や探索領域の情報を出力する(図示しない)。これら関連情報の符号化は、予測関連情報と同じく対象ブロック毎に行なってもよいが、ブロック毎の変更効果が小さい場合には、フレーム単位やシーケンス単位で行なってもよい。   For the search area shown in FIG. 6, for example, a partial area as shown in the search area 405 in FIG. 4 may be set so as to surround the area 406. When the search area does not include the area 406, the search target may be set so that the template signal is included in the texture signal. Further, the search area is not limited to a single screen area, and partial areas of a plurality of screens may be set as search areas. At this time, if a rule for selecting a screen to be searched is determined in advance, it is not necessary to encode the information on the screen. However, when the texture generator 302 selects a search area from a plurality of candidates, it is necessary to encode information relating to the search target screen and the search area. When encoding is performed, the selected screen information and search area information are output from the texture synthesizer 202 to the entropy encoder 111 via the line L113 (not shown). The encoding of the related information may be performed for each target block as in the prediction related information. However, when the change effect for each block is small, it may be performed in units of frames or sequences.

合成器303は、テキスチャー生成器302からのN個のテキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器303は、重み付け器304及び加算器305を備えている。重み付け器304における重み値は、1/Nなどと定められる。重み付け器304は、入力されたテキスチャー信号にそれぞれ1/Nの重みをかけ、ラインL304を経由して加算器305に出力する。加算器305は、重み付け処理されたN個のテキスチャー信号を加算し、加算したテキスチャー信号を予測信号としてラインL103を経由して出力する。   The synthesizer 303 receives the N texture signals from the texture generator 302 and generates a prediction signal of the target block by weighted averaging processing. The synthesizer 303 includes a weighter 304 and an adder 305. The weight value in the weighter 304 is determined as 1 / N or the like. The weighting unit 304 applies a 1 / N weight to each of the input texture signals, and outputs the result to the adder 305 via the line L304. The adder 305 adds the weighted N texture signals, and outputs the added texture signal as a prediction signal via the line L103.

なお、合成器303における重み値は予め定めておいてもよいが、合成器303にて最適な予測信号となるように各テキスチャー信号への重み値を求めてもよい。予め定めておく場合には、重み値は任意の値でよい。例えば、合成器303がテンプレート信号に対して1/2、その他のテキスチャー信号に対して1/(2×(N−1))のように定めてもよい。また、合成器303が領域内の位置に応じて重み値を変化させてもよい。合成器303にて重み値を決める場合には、ラインL102経由で対象ブロックの信号を合成器303に入力し、予測信号が最小となる重み値を求めて、その値をラインL113経由で図1のエントロピー符号化器111に出力する(図示しない)。エントロピー符号化器111は、重み値を符号化した上で出力端子112から送出する。この際、重み値の変更は、ブロック単位で行ってもよいし、フレーム単位やシーケンス単位で行ってもよい。   Note that the weight value in the synthesizer 303 may be determined in advance, but the synthesizer 303 may obtain the weight value for each texture signal so that the optimum prediction signal is obtained. When it is determined in advance, the weight value may be an arbitrary value. For example, the synthesizer 303 may determine 1/2 for the template signal and 1 / (2 × (N−1)) for the other texture signals. Further, the synthesizer 303 may change the weight value according to the position in the region. When the synthesizer 303 determines the weight value, the signal of the target block is input to the synthesizer 303 via the line L102, the weight value that minimizes the prediction signal is obtained, and the value is obtained via the line L113 as shown in FIG. To the entropy encoder 111 (not shown). The entropy encoder 111 encodes the weight value and sends it out from the output terminal 112. At this time, the weight value may be changed in units of blocks, or in units of frames or sequences.

なお、合成器303は図3の構成に限定されない。テキスチャー信号に対する重み値を整数とし、重み付け処理されたN個のテキスチャー信号を加算した後、加算した信号をN個の重み値の和で除算するように構成しても良い。この際、除算の丸め込み方法を予め定めておけば、演算器に関わらず同じ結果が得られる。例えば、テンプレート信号に対する重み値をN+1、その他のN個のテキスチャー信号に対する重み値を1のように定めた場合、加算した信号にさらにNを2×Nで除算する。   The synthesizer 303 is not limited to the configuration shown in FIG. The weight value for the texture signal may be an integer, and the weighted N texture signals may be added, and then the added signal may be divided by the sum of the N weight values. At this time, if a rounding method for division is determined in advance, the same result can be obtained regardless of the arithmetic unit. For example, when the weight value for the template signal is defined as N + 1 and the weight values for the other N texture signals are defined as 1, N is further divided by 2 × N in the added signal.

このように、本実施形態の予測処理では、動きベクトルなどの予測関連情報に基づいて複数のテキスチャー信号が生成される。これらのテキスチャー信号は、画面の異なる領域から取得されるため、含まれる雑音成分(主に高周波成分)の相関が互いに低くなっている。本実施形態によれば、雑音成分の異なる複数のテキスチャー信号を平均化するので、平滑化効果により、統計的に雑音の少ない予測信号が生成できる。   Thus, in the prediction process of the present embodiment, a plurality of texture signals are generated based on prediction related information such as motion vectors. Since these texture signals are acquired from different areas of the screen, the correlation of the included noise components (mainly high frequency components) is low. According to the present embodiment, since a plurality of texture signals having different noise components are averaged, a prediction signal with statistically less noise can be generated due to the smoothing effect.

ここまでの説明では、テキスチャー領域の形状を対象領域(対象ブロック)と同じ形状としていた。しかしながら、符号化対象ブロックとテキスチャー領域(指定領域)との位置関係を明確にしておけば、対象領域とテキスチャー領域とが異なる形状であっても本発明を実施可能である。以下に、いくつかの別例を示す。図6を用いた説明と同様に、画面401の対象ブロック402についてテキスチャー信号の生成手順について説明する。   In the above description, the texture area has the same shape as the target area (target block). However, if the positional relationship between the encoding target block and the texture area (designated area) is clarified, the present invention can be implemented even if the target area and the texture area have different shapes. Some other examples are shown below. Similar to the description using FIG. 6, the texture signal generation procedure for the target block 402 on the screen 401 will be described.

図7〜図10は、テキスチャー領域の形状が対象領域の形状と異なる場合のマッチング処理及びテキスチャー生成処理に関する模式図である。なお、この実施例では、指定領域及び類似領域がテキスチャー領域と同じ形状であるものとして説明する。   7 to 10 are schematic diagrams regarding matching processing and texture generation processing when the shape of the texture region is different from the shape of the target region. In this embodiment, it is assumed that the designated area and the similar area have the same shape as the texture area.

図7では、小領域411が対象ブロック402の左上1/4の部分を示し、左上領域412が指定領域を示している。テンプレート信号生成器301は、予測関連情報に基づき領域406から面積で左上1/4の部分の領域412を切り出し、領域412の信号をテンプレート信号として出力する。このとき、領域406の左上隅から指定領域412(テキスチャー領域)の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器202に記録されている。テキスチャー生成器302は、ラインL104経由で参照画像403にアクセスし、指定領域412と同じ形状の画素群をテンプレートマッチングにより複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、テキスチャー生成器302は、SAD値が小さいN個の領域711、712、713、714及び412を類似領域(テキスチャー領域)の候補として検出する(本実施形態ではNの値は5)。   In FIG. 7, the small area 411 indicates the upper left quarter portion of the target block 402, and the upper left area 412 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 412 that is the upper left quarter of the area from the region 406 and outputs the signal of the region 412 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 412 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated area 412 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the texture generator 302 detects N regions 711, 712, 713, 714, and 412 having a small SAD value as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらN個のテキスチャー領域におけるテキスチャー信号を、合成器303にて重み付け平均化することにより、小領域411の予測信号が生成される。この際、対象ブロックにおける予測領域の位置及び形状は、記録している変位量と類似領域の形状とから分かる。なお、ここでは、探索領域、N値及び閾値などの設定方法については説明を省略するが、図6の場合と同じく、符号化してもよい。   The texture signals in these N texture regions are weighted and averaged by the synthesizer 303, thereby generating a prediction signal for the small region 411. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area. In addition, although description is abbreviate | omitted here about the setting methods, such as a search area | region, N value, and a threshold value, you may encode similarly to the case of FIG.

対象ブロックの他の領域の予測信号の生成処理を、図8〜図10を用いて説明する。図8〜図10の場合においても、図7と同様に、図3のテンプレート信号生成器301が予測関連情報に基づいて図7の領域406から面積で1/4の部分の領域を切り出すが、その切り出し位置が異なる。   A process for generating a prediction signal in another area of the target block will be described with reference to FIGS. Also in the case of FIGS. 8 to 10, as in FIG. 7, the template signal generator 301 in FIG. 3 cuts out a region of a quarter part from the region 406 in FIG. 7 based on the prediction related information. The cutout positions are different.

図8では、小領域421が対象ブロック402の右上1/4の部分を示し、領域422が指定領域を示している。図3のテンプレート信号生成器301は、予測関連情報に基づき図6の領域406から面積で右上1/4の部分の領域422を切り出し、領域422をテンプレート信号として出力する。この際、領域406の左上隅から指定領域422(テキスチャー領域)の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器202に記録されている。テキスチャー生成器302は、ラインL104経由で参照画像403にアクセスし、指定領域422と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、テキスチャー生成器302は、SAD値が小さいN個の領域721、722、723、724及び422をテキスチャー信号の候補として検出する(本実施形態ではNの値は5)。   In FIG. 8, the small area 421 indicates the upper right quarter of the target block 402, and the area 422 indicates the designated area. The template signal generator 301 in FIG. 3 cuts out a region 422 in the upper right quarter of the area from the region 406 in FIG. 6 based on the prediction related information, and outputs the region 422 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 422 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated area 422 by template matching, and obtains the SAD value between corresponding pixels with the template signal. calculate. The texture generator 302 detects N regions 721, 722, 723, 724, and 422 having small SAD values as texture signal candidates (in this embodiment, the value of N is 5).

これらN個のテキスチャー領域におけるテキスチャー信号を、合成器303にて重み付け平均化することにより、小領域421の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。   The texture signals in these N texture regions are weighted and averaged by the synthesizer 303 to generate a prediction signal for the small region 421. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

図9では、小領域431が対象ブロック402の左下1/4の部分を示し、領域432が指定領域を示している。テンプレート信号生成器301は、予測関連情報に基づき図6の領域406から面積で左下1/4の部分の領域432を切り出し、領域432をテンプレート信号として出力する。この際、領域406の左上隅から指定領域432(テキスチャー領域)の左上隅への変位量は指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器202に記録されている。テキスチャー生成器302は、ラインL104経由で参照画像403にアクセスし、指定領域432と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、テキスチャー生成器302は、SAD値が小さいN個の領域731、732、733、734及び432を類似領域(テキスチャー領域)の候補として検出する(本実施形態ではNの値は5)。   In FIG. 9, the small area 431 indicates the lower left quarter portion of the target block 402, and the area 432 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 432 which is a lower left quarter portion of the area from the region 406 in FIG. 6, and outputs the region 432 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 432 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 432 by template matching, and obtains the SAD value between corresponding pixels with the template signal. calculate. Then, the texture generator 302 detects N regions 731, 732, 733, 734, and 432 having a small SAD value as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらN個のテキスチャー領域におけるテキスチャー信号を、図3の合成器303にて重み付け平均化することにより、小領域431の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は、記録されている変位量と類似領域の形状から分かる。   The texture signals in these N texture regions are weighted and averaged by the synthesizer 303 in FIG. 3, thereby generating a prediction signal for the small region 431. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

図10では、小領域441が対象ブロック402の右下1/4の部分を示し、領域442が指定領域を示している。テンプレート信号生成器301は、予測関連情報に基づき図6の領域406から面積で右下1/4の部分の領域442を切り出し、領域442をテンプレート信号として出力する。この際、領域406の左上隅から指定領域442(テキスチャー領域)の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器202に記録されている。テキスチャー生成器302は、ラインL104経由で参照画像403にアクセスし、指定領域442と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、テキスチャー生成器302は、SAD値が小さいN個の領域741、742、743、744及び442を類似領域(テキスチャー領域)の候補として検出する(本実施形態ではNの値は5)。   In FIG. 10, the small area 441 indicates the lower right quarter portion of the target block 402, and the area 442 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 442 that is a lower right quarter portion of the area from the region 406 in FIG. 6, and outputs the region 442 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 442 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 442 by template matching, and calculates the SAD value between corresponding pixels with the template signal. calculate. Then, the texture generator 302 detects N regions 741, 742, 743, 744, and 442 having small SAD values as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらN個のテキスチャー領域におけるテキスチャー信号を、合成器303にて重み付け平均化することにより、小領域441の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。   The texture signals in these N texture regions are weighted and averaged by the synthesizer 303, thereby generating a prediction signal for the small region 441. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

このように、テキスチャー領域の形状と対象ブロックの形状が異なっていても、テキスチャー取得器503に入力される座標情報と対象ブロックとの位置関係を予め定めておけば、座標情報に基づいて、対象ブロックと同じ形状の領域の信号が取得できる。   As described above, even if the shape of the texture area and the shape of the target block are different, if the positional relationship between the coordinate information input to the texture acquisition unit 503 and the target block is determined in advance, the target is determined based on the coordinate information. The signal of the area having the same shape as the block can be acquired.

図7〜図10に示す処理は、図6における対象ブロックを4分割し、4分割したテンプレート信号に基づいて、分割領域毎に予測信号を生成するものである。このように、本発明では、予測関連情報に基づいて生成される信号を分割して、テンプレート信号を生成することができる。そのため、予測関連情報を増やすことなく、対象ブロックより小さい領域単位で高い性能の予測信号を生成することができる。なお、対象ブロックの分割数や分割後の形状は上記変形例に限定されず、任意に設定することができる。   The process shown in FIGS. 7 to 10 is to divide the target block in FIG. 6 into four and generate a prediction signal for each divided region based on the template signal divided into four. Thus, in the present invention, a template signal can be generated by dividing a signal generated based on prediction-related information. Therefore, a high-performance prediction signal can be generated in a region unit smaller than the target block without increasing prediction-related information. Note that the number of divisions of the target block and the shape after the division are not limited to the above modification, and can be set arbitrarily.

図6〜図10に示す処理では、テキスチャー領域の形状と類似領域の形状とが一致していた。しかし、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、予測対象の領域であるテキスチャー領域と類似領域は、異なる形状であってもよい。テキスチャー領域と類似領域の形状が異なる例を図11及び図12に示す。   In the processes shown in FIGS. 6 to 10, the shape of the texture region and the shape of the similar region match. However, if the amount of displacement indicating the relative coordinate position between the similar area and the texture area is clarified, the texture area and the similar area, which are prediction target areas, may have different shapes. Examples in which the shape of the texture region and the similar region are different are shown in FIGS.

図11は、テキスチャー領域の形状が類似領域の形状と異なる例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図11(A)は参照画像を示し、図11(B)は符号化対象の画面を示す。図11では、領域462が指定領域を示し、領域461が指定領域に対応するテキスチャー領域を示している。   FIG. 11 is a schematic diagram for explaining matching processing and texture generation processing for an example in which the shape of the texture region is different from the shape of the similar region. FIG. 11A shows a reference image, and FIG. Indicates a screen to be encoded. In FIG. 11, an area 462 indicates a designated area, and an area 461 indicates a texture area corresponding to the designated area.

図11に示す変形例では、テキスチャー領域461の形状と対象領域402の形状とが同じである。テンプレート信号生成器301は、予測関連情報に基づき図6に示す領域406から予め指定された領域462を切り出し、指定領域462に属するテンプレート信号をラインL301経由でテキスチャー生成器302に出力する。この際、テキスチャー領域461の左上隅から指定領域462の左上隅への変位量、指定領域(類似領域)の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器202に記録されている。   In the modification shown in FIG. 11, the shape of the texture region 461 and the shape of the target region 402 are the same. The template signal generator 301 cuts out a region 462 designated in advance from the region 406 shown in FIG. 6 based on the prediction related information, and outputs the template signal belonging to the designated region 462 to the texture generator 302 via the line L301. At this time, information on the amount of displacement from the upper left corner of the texture area 461 to the upper left corner of the designated area 462, the shape of the designated area (similar area), and the shape of the texture area are recorded in the texture synthesizer 202.

マッチング器501は、ラインL104経由で参照画像403にアクセスし、指定領域462と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、候補テキスチャー選択器502は、SAD値が小さいN個の領域761、762、763、764及び462を類似領域として検出し、その座標情報をテキスチャー取得器503に出力する(本実施形態ではNの値は5)。テキスチャー取得器503は、入力された座標情報と記録している上記の変位量に基づいて、参照画像403からN個のテキスチャー領域751、752、753、754及び461の信号を取得する。これらN個のテキスチャー信号を、合成器303にて重み付け平均化することにより、対象ブロック402の予測信号が生成される。なお、ここでは、探索領域、N値及び閾値などの設定方法については説明を省略するが、図6の場合と同じく、符号化するようにしてもよい。   The matching unit 501 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 462 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the candidate texture selector 502 detects N regions 761, 762, 763, 764, and 462 having small SAD values as similar regions, and outputs the coordinate information to the texture acquirer 503 (N in this embodiment). The value of 5). The texture acquisition unit 503 acquires signals of N texture regions 751, 752, 753, 754, and 461 from the reference image 403 based on the input coordinate information and the recorded displacement amount. These N texture signals are weighted and averaged by the synthesizer 303 to generate a prediction signal for the target block 402. Here, the description of the setting method of the search area, N value, threshold value, and the like is omitted, but may be encoded as in the case of FIG.

このように、テキスチャー領域と類似領域の形状が異なっていても、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、テキスチャー取得器503に入力される座標情報に基づいてテキスチャー領域(対象領域)の領域の信号が取得できる。つまり、予測関連情報に基づいて生成される領域(領域406)の信号から、部分信号(領域462の信号)を切り出してテンプレート信号に設定できる。この方法によれば、予測関連情報により得られる領域(領域406)の信号にマッチング処理に適さない強い特徴を持った信号が含まれている場合に、その信号の領域をテンプレート信号から除外できるという利点がある。   As described above, even if the texture region and the similar region are different in shape, if the displacement amount indicating the relative coordinate position between the similar region and the texture region is clarified, the coordinate information input to the texture acquisition unit 503 is obtained. The signal of the texture area (target area) can be acquired based on the above. That is, a partial signal (region 462 signal) can be cut out from the region (region 406) signal generated based on the prediction related information and set as a template signal. According to this method, when the signal of the region (region 406) obtained from the prediction related information includes a signal having a strong characteristic that is not suitable for the matching process, the signal region can be excluded from the template signal. There are advantages.

図11を用いた説明と関連して、さらに、本発明では、テキスチャー領域において、類似領域に属さない画素と属する画素で重み付け処理の重み係数を切り替えることが可能である。例えば、テキスチャー領域(領域461)に対応する指定領域(領域462)の信号を分析し、平滑化処理を必要としない領域が認められる領域については、指定領域のテンプレート信号への重み値を1に、他のテキスチャー信号への重み値を0に設定することも可能である。   In connection with the description using FIG. 11, in the present invention, it is possible to switch the weighting factor of the weighting process between the pixels that do not belong to the similar region and the pixels that belong to the texture region. For example, the signal of the designated area (area 462) corresponding to the texture area (area 461) is analyzed, and the weight value to the template signal of the designated area is set to 1 for an area where a smoothing process is not required. It is also possible to set the weight value for other texture signals to zero.

図12は、テキスチャー領域の形状が類似領域の形状と異なる別の例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図12(A)は参照画像を示し、図12(B)は符号化対象の画面を示す。図12では、領域472が指定領域、領域471が指定領域に対応するテキスチャー領域を示している。このように、本発明では、指定領域を予測関連情報により生成される領域471の外部に設定することも可能である。また、指定領域は、必ずしも領域471に触れていることを要しない。この変形例では、テキスチャー領域471の形状と対象領域402の形状とは同じである。   FIG. 12 is a schematic diagram for explaining the matching process and the texture generation process for another example in which the shape of the texture region is different from the shape of the similar region. FIG. 12A shows a reference image, and FIG. B) shows a screen to be encoded. In FIG. 12, an area 472 indicates a designated area, and an area 471 indicates a texture area corresponding to the designated area. Thus, in the present invention, the designated area can be set outside the area 471 generated by the prediction related information. The designated area does not necessarily need to touch the area 471. In this modification, the shape of the texture region 471 and the shape of the target region 402 are the same.

テンプレート信号生成器301は、予測関連情報に基づき画面403から領域472を切り出し、指定領域472をテンプレート信号としてラインL301経由でテキスチャー生成器302に出力する。この際、テキスチャー領域471の左上隅から指定領域472の左上隅への変位量、指定領域(類似領域)の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器202に記録されている。   The template signal generator 301 cuts out the area 472 from the screen 403 based on the prediction related information, and outputs the designated area 472 as a template signal to the texture generator 302 via the line L301. At this time, information about the displacement amount from the upper left corner of the texture area 471 to the upper left corner of the designated area 472, the shape of the designated area (similar area), and the shape of the texture area are recorded in the texture synthesizer 202.

マッチング器501は、ラインL104経由で参照画像403にアクセスし、指定領域472と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、候補テキスチャー選択器502は、SAD値が小さいN個の領域781、782、783、784及び472を類似領域として検出し、その座標情報をテキスチャー取得器503に出力する(本実施形態ではNの値は5)。テキスチャー取得器503は、入力された座標情報と記録している変位量に基づいて、参照画像403からN個のテキスチャー領域771、772、773、774及び471の信号を取得する。これらN個のテキスチャー信号を、合成器303にて重み付け平均化することにより、対象ブロック402の予測信号が生成される。なお、ここでは、探索領域、N値及び閾値などの設定方法については説明を省略するが、図6の場合と同じく、符号化するようにしてもよい。   The matching unit 501 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 472 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the candidate texture selector 502 detects N regions 781, 782, 783, 784, and 472 having small SAD values as similar regions, and outputs the coordinate information to the texture acquirer 503 (N in this embodiment). The value of 5). The texture acquisition unit 503 acquires signals of N texture areas 771, 772, 773, 774, and 471 from the reference image 403 based on the input coordinate information and the recorded displacement amount. These N texture signals are weighted and averaged by the synthesizer 303 to generate a prediction signal for the target block 402. Here, the description of the setting method of the search area, N value, threshold value, and the like is omitted, but may be encoded as in the case of FIG.

このように、本発明では、予測関連情報に基づいて生成される領域に対して、その隣接領域の信号をテンプレート信号に設定することも可能である。例えば、図12に示す方法は、隣接ブロックと対象ブロックとの信号の連続性を保ちたい場合に有効である。この場合には、図13に示すように予測関連情報となる動きベクトル408を、対象ブロック402の隣接領域1301の画素信号を用いたマッチング処理により検出してもよい。この場合、再生済みの画面403に設定した探索領域1304において、領域1301と同じ形状の画素群から、対応する画素間のSADが最小となる領域1305が検出される。そして、対象ブロック402と同じ空間位置のブロック1303から領域1305への変位量が動きベクトル408として検出される。なお、領域1305とこの領域に対応するテキスチャー領域との位置関係は限定されない。   As described above, in the present invention, it is possible to set the signal of the adjacent region to the template signal for the region generated based on the prediction related information. For example, the method shown in FIG. 12 is effective when it is desired to maintain continuity of signals between adjacent blocks and the target block. In this case, as shown in FIG. 13, the motion vector 408 serving as the prediction related information may be detected by a matching process using the pixel signal of the adjacent region 1301 of the target block 402. In this case, in the search area 1304 set in the reproduced screen 403, an area 1305 in which the SAD between corresponding pixels is minimum is detected from the pixel group having the same shape as the area 1301. Then, a displacement amount from the block 1303 at the same spatial position as the target block 402 to the region 1305 is detected as a motion vector 408. Note that the positional relationship between the region 1305 and the texture region corresponding to this region is not limited.

本発明では、図7〜図10に示す処理と、図11または図12に示す処理とを組み合わせることも可能である。また、本実施形態では、類似領域とテキスチャー領域との間の変位量及びテキスチャー領域と対象領域との間の変位量を、それぞれの領域の左上隅を基準として求めているが、左上隅とは異なる予め定めた基準であってもよい。さらに、指定領域と類似領域及びテキスチャー領域の形状は、上記の例に限定されず、任意に設定することができる。例えば、指定領域の形状がテキスチャー領域の形状よりも大きくてもよい。   In the present invention, it is possible to combine the processing shown in FIGS. 7 to 10 with the processing shown in FIG. 11 or FIG. In the present embodiment, the displacement amount between the similar region and the texture region and the displacement amount between the texture region and the target region are obtained with reference to the upper left corner of each region. Different predetermined criteria may be used. Furthermore, the shapes of the designated area, the similar area, and the texture area are not limited to the above example, and can be arbitrarily set. For example, the shape of the designated area may be larger than the shape of the texture area.

図7〜図12の探索領域についても、図6と同じように複数の画面(複数の参照画像)の部分領域を探索領域として設定できる。この場合でも、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。   7 to 12, partial areas of a plurality of screens (a plurality of reference images) can be set as search areas as in FIG. 6. Even in this case, if a rule for selecting a screen to be searched is determined in advance, it is not necessary to encode the information on the screen.

探索領域については、M個(MはNと同じか小さい値)の探索領域を設定し、それぞれ探索する候補テキスチャーの数を予め決めておいてもよい。例えば、M=Nとし、M個の探索領域を異なる画面に設定すれば、複数の参照画像からそれぞれ候補テキスチャー信号を探索できる。この際、SADの閾値などの条件を満たす候補テキスチャー信号が所定の参照画像から探索できない場合には、Nの数を削減しても良いし、代わりの候補テキスチャー信号を探索する参照画像について、優先順位を定めておいてもよい。また、複数の参照画像に含まれる探索領域の集まりを1つの探索領域として設定しても良い。例えば、P枚の参照画像にそれぞれ探索領域を設け、P個の探索領域から、指定領域の画素群と対応する画素群との間の絶対値誤差値の和(SAD)が小さいQ個(Nより小さい正の整数)の類似領域を探索するという設定がM個の探索領域に含まれても良い。なお、複数の参照画像に探索領域を設定する場合には、候補テキスチャー選択部502からテキスチャー取得部503に出力される座標情報に、参照画像が属するフレームを識別する情報(参照画像フレーム番号)が含まれる。   For the search area, M search areas (M is a value equal to or smaller than N) may be set, and the number of candidate textures to be searched for may be determined in advance. For example, if M = N and M search areas are set on different screens, candidate texture signals can be searched from a plurality of reference images, respectively. At this time, if a candidate texture signal that satisfies a condition such as the SAD threshold cannot be searched from a predetermined reference image, the number of N may be reduced, or priority is given to a reference image for searching for an alternative candidate texture signal. You may decide the order. A collection of search areas included in a plurality of reference images may be set as one search area. For example, a search area is provided in each of P reference images, and Q (N) sums of absolute value error values (SAD) between a pixel group of a designated area and a corresponding pixel group are small from P search areas. A setting of searching for a similar area of a smaller positive integer) may be included in the M search areas. In the case where search areas are set for a plurality of reference images, information (reference image frame number) for identifying a frame to which the reference image belongs is included in the coordinate information output from the candidate texture selection unit 502 to the texture acquisition unit 503. included.

次に、画面内予測方法の場合について述べる。図6を用いた説明と同様に、画面401の対象ブロック402についてテキスチャー信号の生成手順を説明する。なお、本実施形態では、図14に示すように4x4ブロック単位で画面内予測処理を行なうため、ここでは、対象ブロック内の4x4画素の領域1402に注目する。   Next, the case of the intra prediction method will be described. Similar to the description using FIG. 6, a texture signal generation procedure for the target block 402 on the screen 401 will be described. In the present embodiment, as shown in FIG. 14, since intra-screen prediction processing is performed in units of 4 × 4 blocks, attention is paid to a 4 × 4 pixel region 1402 in the target block.

図14は、画面内予測方法の場合について、マッチング処理と候補テキスチャー生成処理を説明するための模式図である。領域1402が指定領域を示している。テンプレート信号生成器301は、予測関連情報に与えられる予測方法に従い、対象ブロック402の隣接領域1401の再生済み信号から領域1402の信号を生成する。領域1402の信号は、テンプレート信号として出力される。この際、領域402の左上隅から指定領域1402(テキスチャー領域)の左上隅への変位量と、指定領域(類似領域)及びテキスチャー領域の形状がテキスチャー合成器202に記録されている。   FIG. 14 is a schematic diagram for explaining the matching process and the candidate texture generation process in the case of the intra prediction method. An area 1402 indicates the designated area. The template signal generator 301 generates a signal of the area 1402 from the reproduced signal of the adjacent area 1401 of the target block 402 according to the prediction method given to the prediction related information. The signal in region 1402 is output as a template signal. At this time, the displacement amount from the upper left corner of the area 402 to the upper left corner of the designated area 1402 (texture area) and the shapes of the designated area (similar area) and the texture area are recorded in the texture synthesizer 202.

テキスチャー生成器302は、対象ブロック402と同じ画面401の再生済み信号を探索領域とする。なお、本実施形態では、探索領域を画面401内の全ての再生済み領域としているが、その一部を探索領域として設定してもよい。テキスチャー生成器302は、ラインL104経由でアクセスし、指定領域1402と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のSAD値を算出する。そして、テキスチャー生成器302は、SAD値が小さいN−1個の領域1403、1404、1405及び1406をテキスチャー信号の候補として検出する(本実施形態ではNの値は5)。これらN―1個のテキスチャー信号にテンプレート信号1402を加えたN個の信号を合成器303にて重み付け平均化することにより、対象ブロック402の左上1/4の領域1402の予測信号が生成される。この際、対象領域におけるテキスチャー領域の形状は、記録しているテキスチャー領域の形状から分かる。   The texture generator 302 uses a reproduced signal on the same screen 401 as the target block 402 as a search area. In the present embodiment, the search area is all the reproduced areas in the screen 401, but a part of the search area may be set as the search area. The texture generator 302 accesses via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 1402 by template matching, and calculates the SAD value between corresponding pixels with the template signal. Then, the texture generator 302 detects N−1 regions 1403, 1404, 1405, and 1406 having small SAD values as texture signal candidates (in this embodiment, the value of N is 5). The N signals obtained by adding the template signal 1402 to the N−1 texture signals are weighted and averaged by the synthesizer 303, thereby generating a prediction signal of the area 1402 in the upper left quarter of the target block 402. . At this time, the shape of the texture region in the target region is known from the shape of the recorded texture region.

なお、画面内予測方法により生成したテンプレート信号を画面間予測方法に適用することも可能である。この場合、図14に示す例において、既再生の他の画面を探索領域に含める。探索領域、N値及び閾値などの設定方法については説明を省略するが、図6の場合と同じく、符号化するようにしてもよい。   Note that the template signal generated by the intra-screen prediction method can also be applied to the inter-screen prediction method. In this case, in the example shown in FIG. 14, another screen that has already been reproduced is included in the search area. The description of the setting method of the search area, N value, threshold value, etc. is omitted, but may be encoded as in the case of FIG.

本実施形態では、テキスチャー合成器202のテンプレート信号生成器301及びテキスチャー生成器302の設定を変更することにより、図6〜図12及び図14に示したような複数のテキスチャー合成方法に対応しているが、画像予測符号化装置100を他の方法に対応させてもよい。例えば、テンプレート信号生成器301及びテキスチャー生成器302の設定が異なるテキスチャー合成器202を複数用意し、適応的に切り替えて使う方法でもよい。複数のテキスチャー合成方法から1つの方法を選択する手段(例えば、対象ブロックとの誤差が最も小さい方法を選択する手段)を用意し(図示せず)、選択したテキスチャー合成方法をエントロピー符号化器111にて符号化するように画像予測符号化装置100を構成することにより、テキスチャー合成方法の適応化が可能となる。   In the present embodiment, the setting of the template signal generator 301 and the texture generator 302 of the texture synthesizer 202 is changed to correspond to a plurality of texture synthesis methods as shown in FIGS. However, the image predictive coding apparatus 100 may be adapted to other methods. For example, a method may be used in which a plurality of texture synthesizers 202 having different settings of the template signal generator 301 and the texture generator 302 are prepared and used by switching adaptively. Means (for example, means for selecting a method having the smallest error from the target block) for selecting one method from a plurality of texture synthesis methods are prepared (not shown), and the selected texture synthesis method is entropy encoder 111. By configuring the image predictive coding apparatus 100 so as to perform coding, the texture synthesis method can be adapted.

図15は、図2に示すテキスチャー合成器202における対象ブロックのテキスチャー生成方法の手順を示すフローチャートである。まず、テンプレート信号生成器301では、予測関連情報に基づいて指定領域のテンプレート信号が取得される(ステップS302)。   FIG. 15 is a flowchart showing the procedure of the texture generation method for the target block in the texture synthesizer 202 shown in FIG. First, the template signal generator 301 acquires a template signal of a designated region based on the prediction related information (step S302).

次に、テキスチャー生成器302のマッチング器501により、指定領域及び探索領域にある同じ形状の画素群との絶対値和(SAD値)が求められる(ステップS303)。そして、テキスチャー生成器302の候補テキスチャー選択器502により、SAD値と所定の閾値が比較され(ステップS304)、SAD値が閾値より小さいと判断された場合、ステップS305に進み、そうでないと判断された場合、ステップS306に進む。   Next, the absolute value sum (SAD value) with the pixel group having the same shape in the designated area and the search area is obtained by the matching unit 501 of the texture generator 302 (step S303). Then, the candidate texture selector 502 of the texture generator 302 compares the SAD value with a predetermined threshold value (step S304). If it is determined that the SAD value is smaller than the threshold value, the process proceeds to step S305, and it is determined that it is not. If YES, go to step S306.

テキスチャー生成器302の候補テキスチャー選択器502では、求めたSAD値と、以前のSAD値とが比較される。そして、求めたSAD値が小さい順でN番までに含まれる場合に、探索した類似領域が類似領域の候補に追加され、類似領域の候補が更新される(ステップS305)。   The candidate texture selector 502 of the texture generator 302 compares the obtained SAD value with the previous SAD value. Then, when the obtained SAD values are included in order of increasing number N, the searched similar area is added to the similar area candidates, and the similar area candidates are updated (step S305).

その後、テキスチャー生成器302のマッチング器501により、探索領域が全て探索済みであるか否か確認される(ステップS306)。全て探索済みではないと判断された場合は、ステップS303に戻り、テキスチャー生成器302のマッチング器501により指定領域と探索領域にある同じ形状の別の画素群との絶対値和SADが求められる。   Thereafter, the matching unit 501 of the texture generator 302 confirms whether or not all search areas have been searched (step S306). If it is determined that not all have been searched, the process returns to step S303, and the absolute value sum SAD between the designated region and another pixel group having the same shape in the search region is obtained by the matching unit 501 of the texture generator 302.

全部探索済みとなった時点で、テキスチャー生成器302のテキスチャー取得器503にて複数のテキスチャー信号の候補が取得され、合成器303にて重み付け平均化されることによりテキスチャー信号が生成される(ステップS308)。これで、ひとつの対象ブロックに対する処理が終了する(ステップS309)。   When all the search has been completed, a plurality of texture signal candidates are acquired by the texture acquisition unit 503 of the texture generator 302 and weighted and averaged by the combiner 303 to generate a texture signal (step) S308). This completes the processing for one target block (step S309).

ステップS305では、SAD値の小さいN個をテキスチャー信号の候補として選択しているが、別の方法でもよい。候補テキスチャー信号の平均化により、統計的に雑音の少ないテキスチャー信号を得るためには、複数のテキスチャー信号の候補は互いに相関が低いほうがよい。つまり、候補信号が多様性を持った方が好ましい場合がある。候補のテキスチャー信号に多様性を持たせる簡単な方法の一つとして、所定の閾値よりSAD値が小さい類似領域の中から、指定領域との空間的位置が遠い順にN個のテキスチャー信号を選択するという方法がある。また、図16のように、候補となる類似領域間の空間的な距離が互いに大きくなるようにN個の領域を選択する方法もある。   In step S305, N small SAD values are selected as texture signal candidates, but another method may be used. In order to obtain a texture signal that is statistically less noisy by averaging the candidate texture signals, the plurality of texture signal candidates should have low correlation with each other. That is, it may be preferable that the candidate signals have diversity. As one simple method for providing diversity to candidate texture signals, N texture signals are selected in order of increasing spatial position with respect to the designated region from among similar regions having SAD values smaller than a predetermined threshold. There is a method. In addition, as shown in FIG. 16, there is a method of selecting N regions so that the spatial distances between candidate similar regions are increased.

図16は、図15に示すステップS305にて、N個の類似領域を選択する一方法の手順を示すフローチャートである。図16で、A[p][i]は、所定の閾値よりSAD値が小さい画素領域のうち、p番目に検索された画素領域について、参照画像上の座標情報を示している。値iには、水平座標を示す0または垂直座標を示す1が設定される。C[k][i]は、ステップS305にてk番目に選択される類似領域の座標を示している。以下、水平座標と垂直座標の区別を必要としない場合には、A[p]及びC[p]と記載する。   FIG. 16 is a flowchart showing the procedure of one method for selecting N similar regions in step S305 shown in FIG. In FIG. 16, A [p] [i] indicates the coordinate information on the reference image for the pixel area searched for the p-th among the pixel areas having the SAD value smaller than the predetermined threshold. The value i is set to 0 indicating horizontal coordinates or 1 indicating vertical coordinates. C [k] [i] indicates the coordinates of the kth similar region selected in step S305. Hereinafter, when it is not necessary to distinguish between the horizontal coordinate and the vertical coordinate, they are denoted as A [p] and C [p].

まず、C[1]にテンプレート生成器にて得られる指定領域の座標が保存され(ステップS502)、これまでに選択した類似領域の数Kが1に設定される。   First, the coordinates of the designated area obtained by the template generator are stored in C [1] (step S502), and the number K of similar areas selected so far is set to 1.

次に、SAD値が所定の閾値より小さい画素領域について、参照画像上での座標A[p]とC[1]とが比較され、その距離差(ベクトルの大きさ)が最も大きいA[m]が選択される(ステップS503)。そして、Kの値がK+1(=2)に更新され、C[K]=A[m]と設定される(ステップS504)。このときA[m]は類似領域に確定したので、m番目に検索されたテキスチャーは、選択対象から削除される。   Next, for a pixel region whose SAD value is smaller than a predetermined threshold, coordinates A [p] and C [1] on the reference image are compared, and A [m having the largest distance difference (vector magnitude). ] Is selected (step S503). Then, the value of K is updated to K + 1 (= 2), and C [K] = A [m] is set (step S504). At this time, since A [m] is determined as the similar region, the mth searched texture is deleted from the selection target.

その後、KとNとが比較され(ステップS505)、KがNより小さいと判断されればステップS503に戻り、K=Nと判断されれば処理を終了する。   Thereafter, K and N are compared (step S505). If it is determined that K is smaller than N, the process returns to step S503, and if it is determined that K = N, the process is terminated.

続いて、ステップS503では、C[1]〜C[K]のそれぞれと残されたA[p]とが比較され、距離差の和が最も大きいA[m]が選択される。この方法によれば、選択された候補類似領域間の距離が保つことが可能となる。   Subsequently, in step S503, each of C [1] to C [K] is compared with the remaining A [p], and A [m] having the largest sum of the distance differences is selected. According to this method, the distance between the selected candidate similar regions can be maintained.

図17は、本実施形態に係る画像予測符号化装置100における画像予測符号化方法の手順を示すフローチャートである。まず、予測関連情報生成器201にて、対象ブロックの画素信号を用いて予測処理が実施され、予測関連情報が生成される(ステップS102)。次に、テキスチャー合成器202が予測関連情報に基づいて複数のテキスチャー信号の候補を生成し、テキスチャー合成処理により対象ブロックの予測信号を生成する(ステップS103)。この際、テキスチャー合成器202は、複数のテキスチャー生成方法にて予測信号を生成し、対象ブロックの信号と対応する画素間の誤差二乗和が最も小さい予測信号を選択してもよい。   FIG. 17 is a flowchart illustrating a procedure of an image predictive encoding method in the image predictive encoding device 100 according to the present embodiment. First, the prediction related information generator 201 performs prediction processing using the pixel signal of the target block, and generates prediction related information (step S102). Next, the texture synthesizer 202 generates a plurality of texture signal candidates based on the prediction related information, and generates a prediction signal of the target block by the texture synthesis process (step S103). At this time, the texture synthesizer 202 may generate a prediction signal using a plurality of texture generation methods, and may select a prediction signal having the smallest error square sum between pixels corresponding to the signal of the target block.

このように決定された予測信号と対象ブロックの信号との差分を示す残差信号が、変換器106、量子化器107及びエントロピー符号化器111により符号化される(ステップS104)。そして、符号化された残差信号、予測関連情報及びテキスチャー生成方法の選択情報(必要の場合)が出力端子112を介して出力される(ステップS105)。ここで、予測関連情報には、画面間予測方法における動きベクトル及び参照画像フレーム番号、画面内予測方法における予測方法及び画面内予測方法及び画面間予測方法の選択に関する選択情報に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域(候補テキスチャー信号の探索)、Nの値(候補テキスチャー信号の数)、閾値(候補テキスチャー信号とテンプレート信号との類似性を計る評価値)ならびに重み値(テキスチャー合成時の重み係数)などの各種設定情報が含まれる場合がある。   The residual signal indicating the difference between the prediction signal determined in this way and the signal of the target block is encoded by the transformer 106, the quantizer 107, and the entropy encoder 111 (step S104). The encoded residual signal, prediction related information, and texture generation method selection information (if necessary) are output via the output terminal 112 (step S105). Here, the prediction related information includes a motion signal and a reference image frame number in the inter-screen prediction method, selection information related to selection of the prediction method in the intra-screen prediction method, the intra-screen prediction method, and the inter-screen prediction method, and a texture signal. Search region (search for candidate texture signals) used for generation and selection of candidates, value of N (number of candidate texture signals), threshold value (evaluation value for measuring similarity between candidate texture signal and template signal) and weight value ( Various setting information such as a weighting coefficient at the time of texture synthesis may be included.

これら処理の後に又はこれらの処理と並行して、後続の対象ブロックを予測符号化するために符号化された残差信号が逆量子化器108及び逆変換器109により復号される。そして、加算器110により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ104に参照画像として記憶される(ステップS106)。そして、すべての対象ブロックの処理が完了していない場合にはステップS102に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する(ステップS108)。   After these processes or in parallel with these processes, the residual signal encoded to predictively encode the subsequent target block is decoded by the inverse quantizer 108 and the inverse transformer 109. Then, the adder 110 adds the prediction signal to the decoded residual signal, reproduces the signal of the target block, and stores it as a reference image in the frame memory 104 (step S106). If all the target blocks have not been processed, the process returns to step S102, and the process for the next target block is performed. If all the target blocks have been processed, the process ends (step S108).

次に、本実施形態に係る画像予測復号方法について説明する。図19は、本実施形態に係る画像予測復号装置1900を示すブロック図である。この画像予測復号装置1900は、入力端子1901、データ解析器1902、逆量子化器1903、逆変換器1904、加算器1905、出力端子1906、フレームメモリ1907及びテキスチャー合成器1908を備えている。逆量子化器1903及び逆変換器1904による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器1904はなくてもよい。   Next, the image predictive decoding method according to this embodiment will be described. FIG. 19 is a block diagram showing an image predictive decoding device 1900 according to this embodiment. The image predictive decoding apparatus 1900 includes an input terminal 1901, a data analyzer 1902, an inverse quantizer 1903, an inverse transformer 1904, an adder 1905, an output terminal 1906, a frame memory 1907, and a texture synthesizer 1908. The decoding means by the inverse quantizer 1903 and the inverse transformer 1904 may be performed using other than these. Further, the inverse converter 1904 may be omitted.

入力端子1901は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測関連情報が含まれている。ここで予測関連情報には、画面内予測方法における予測方法、画面内予測方法及び画面間予測方法の選択に関する選択情報、画面間予測方法における動きベクトル及び参照画像フレーム番号に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域(候補テキスチャー信号の探索)、Nの値(候補テキスチャー信号の数)、閾値(候補テキスチャー信号とテンプレート信号との類似性を計る評価値)ならびに重み値(テキスチャー合成時の重み係数)などの各種設定情報が含まれる場合がある。なお、各種設定情報は、方式として予め定められている場合には必要ない。   The input terminal 1901 inputs compressed data that has been compression-encoded by the above-described image predictive encoding method. This compressed data includes a residual signal and prediction related information that are encoded by predicting a target block obtained by dividing an image into a plurality of blocks. Here, in the prediction related information, in addition to the prediction method in the intra prediction method, the selection information regarding the selection of the intra prediction method and the inter prediction method, the motion vector and the reference image frame number in the inter prediction method, Search region used for candidate generation and selection (search for candidate texture signals), N value (number of candidate texture signals), threshold value (evaluation value for measuring similarity between candidate texture signals and template signal), and weight value (texture) Various setting information such as a weighting factor at the time of synthesis may be included. Note that the various setting information is not necessary when the method is predetermined.

データ解析器1902は、入力端子1901に入力された圧縮データを解析することにより、対象ブロックの残差信号、予測関連情報、各種設定情報(必要の場合)を抽出する。   The data analyzer 1902 extracts the residual signal, prediction related information, and various setting information (if necessary) of the target block by analyzing the compressed data input to the input terminal 1901.

逆量子化器1903は、対象ブロックの残差信号をラインL1902a経由で入力し、逆量子化する。逆変換器1904は、逆量子化したデータを逆離散コサイン変換する。   The inverse quantizer 1903 receives the residual signal of the target block via the line L1902a and performs inverse quantization. The inverse transformer 1904 performs inverse discrete cosine transform on the inversely quantized data.

テキスチャー合成器1908は、データ解析器1902からラインL1902b経由で予測補助信号情報を入力する。このテキスチャー合成器1908は、(後述するような方法で)予測関連情報に基づいて、フレームメモリ907から参照画像を取得し、予測信号を生成する。テキスチャー合成器1908は、生成した予測信号をラインL1908経由で加算器1905に出力する。   The texture synthesizer 1908 inputs prediction auxiliary signal information from the data analyzer 1902 via the line L1902b. The texture synthesizer 1908 obtains a reference image from the frame memory 907 based on the prediction related information (in a method described later), and generates a prediction signal. The texture synthesizer 1908 outputs the generated prediction signal to the adder 1905 via the line L1908.

加算器1905は、テキスチャー合成器1908で生成された予測信号を、逆量子化器1903および逆変換器1904により復元された残差信号に加算して、対象ブロックの再生画像信号をラインL1905経由で出力端子1906およびフレームメモリ1907に出力する。出力端子1906は、外部に(例えばディスプレイ)出力する。   The adder 1905 adds the prediction signal generated by the texture synthesizer 1908 to the residual signal restored by the inverse quantizer 1903 and the inverse transformer 1904, and the reproduced image signal of the target block via the line L1905. The data is output to the output terminal 1906 and the frame memory 1907. The output terminal 1906 outputs to the outside (for example, a display).

フレームメモリ1907は、つぎの復号処理のための参照用の再生画像として、加算器1905から出力された再生画像を参照画像として記憶する。   The frame memory 1907 stores the reproduction image output from the adder 1905 as a reference reproduction image as a reference reproduction image for the next decoding process.

次に、テキスチャー合成器1908について説明する。テキスチャー合成器1908の詳細は図20に示されており、基本的に図3に示した構成と同じ構成またはそれに相当する機能をもつ。   Next, the texture synthesizer 1908 will be described. The details of the texture synthesizer 1908 are shown in FIG. 20, and basically have the same configuration as the configuration shown in FIG. 3 or a function corresponding thereto.

図20を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について、詳しく説明する。図20は、図19に示すテキスチャー合成器1908のブロック図である。テキスチャー合成器1908は、テンプレート信号生成器2001とテキスチャー生成器2002と合成器2003とを備えている。テンプレート信号生成器2001は、ラインL2001経由で入力される予測関連情報を受け付けるとともに、ラインL1907経由で入力されるフレームメモリ1907からの再生画像信号を受け付ける。テンプレート信号生成器2001は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインL2001経由でテキスチャー生成器2002に出力する。テンプレート信号は、画面内予測方法と画面間予測方法についての選択情報及び予測関連情報に従って画面内予測方法あるいは画面間予測方法により生成される。   The texture signal generation / synthesis process according to the present embodiment will be described in detail with reference to FIG. FIG. 20 is a block diagram of the texture synthesizer 1908 shown in FIG. The texture synthesizer 1908 includes a template signal generator 2001, a texture generator 2002, and a synthesizer 2003. The template signal generator 2001 receives prediction-related information input via the line L2001 and also receives a reproduced image signal from the frame memory 1907 input via the line L1907. The template signal generator 2001 generates a template signal from the reproduced image signal based on the prediction related information, and outputs the template signal to the texture generator 2002 via the line L2001. The template signal is generated by the intra-screen prediction method or the inter-screen prediction method according to the selection information and prediction related information regarding the intra-screen prediction method and the inter-screen prediction method.

テキスチャー生成器2002は、ラインL2001経由でテンプレート信号生成器2001から入力されるテンプレート信号を受け付けるとともに、ラインL1907経由でフレームメモリ1907から入力される再生画像信号を受け付ける。テキスチャー生成器2002は、テンプレート信号及び再生画像信号から、符号化装置のテキスチャー生成器302と同様の方法でN個のテキスチャー信号を生成する。生成したN個のテキスチャー信号は、ラインL2002を経由して合成器2003に出力される。合成器2003は、ラインL2002から入力されるN個のテキスチャー信号を受け付ける。合成器2003は、これらN個のテキスチャー信号を符号化装置の合成器303と同じ方法で合成して予測信号を生成し、その予測信号をラインL1908を経由して出力する。   The texture generator 2002 receives a template signal input from the template signal generator 2001 via the line L2001 and also receives a reproduced image signal input from the frame memory 1907 via the line L1907. The texture generator 2002 generates N texture signals from the template signal and the reproduced image signal in the same manner as the texture generator 302 of the encoding apparatus. The generated N texture signals are output to the combiner 2003 via the line L2002. The synthesizer 2003 receives N texture signals input from the line L2002. The synthesizer 2003 synthesizes these N texture signals by the same method as the synthesizer 303 of the encoding device, generates a prediction signal, and outputs the prediction signal via the line L1908.

合成器2003は、N個の候補テキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器2003は、重み付け器2004と加算器2005とを備えている。重み付け器2004における重み値は、予め定められている場合もあれば、圧縮データに含まれている場合もある。重み付け器2004は、入力されたN個のテキスチャー信号に対して、決められた重み値をかけ、ラインL2004を経由して加算器2005に出力する。加算器2005は、重み付け処理されたN個のテキスチャー信号を加算し、加算されたテキスチャー信号を予測信号としてラインL1908を経由して出力する。   The synthesizer 2003 receives N candidate texture signals and generates a prediction signal of the target block by weighted averaging processing. The synthesizer 2003 includes a weighter 2004 and an adder 2005. The weight value in the weighter 2004 may be determined in advance or may be included in the compressed data. The weighter 2004 multiplies the input N texture signals by a determined weight value, and outputs the result to the adder 2005 via the line L2004. The adder 2005 adds the weighted N texture signals, and outputs the added texture signal as a prediction signal via the line L1908.

テキスチャー合成器1908は、探索領域(候補テキスチャー信号の探索)、Nの値(候補テキスチャー信号の数)、閾値(候補テキスチャー信号とテンプレート信号との類似性を計る評価値)及び重み値(テキスチャー合成時の重み係数)などの各種設定情報に従ってテキスチャー合成処理を実行する。生成される複数の候補のテキスチャー信号は、画像予測符号化装置で生成される信号と一致させる必要があり、テキスチャー合成により生成れる予測信号も画像予測符号化装置で生成される信号と一致させなければならない。そのために、テキスチャー合成器1908で用いられる各種設定情報は、画像予測符号化装置のテキスチャー合成器202にて用いる情報と完全に一致させておく必要がある。ゆえに、予め定めていない情報については、画像予測符号化装置100から伝送され、画像予測復号装置1900にて復元される。   The texture synthesizer 1908 has a search area (search for candidate texture signals), a value of N (number of candidate texture signals), a threshold value (evaluation value for measuring the similarity between the candidate texture signal and the template signal), and a weight value (texture synthesis). The texture synthesis process is executed in accordance with various setting information such as the time weight coefficient. The plurality of candidate texture signals to be generated must match the signals generated by the image prediction encoding device, and the prediction signals generated by the texture synthesis must also match the signals generated by the image prediction encoding device. I must. Therefore, various setting information used in the texture synthesizer 1908 needs to be completely matched with information used in the texture synthesizer 202 of the image predictive coding apparatus. Therefore, information that is not determined in advance is transmitted from the image predictive coding device 100 and is restored by the image predictive decoding device 1900.

なお、画像予測符号化装置100内の合成器303と同じく画像予測復号装置1900内の合成器2003も図20の構成に限定されない。例えば、重み付けキスチャー信号に対する重み値を整数とし、重み付け処理されたN個のテキスチャー信号を加算した後、加算した信号をN個の重み値の和で除算するように構成しても良い。   Note that the synthesizer 2003 in the image predictive decoding device 1900 is not limited to the configuration in FIG. 20, as is the synthesizer 303 in the image predictive coding device 100. For example, the weight value for the weighted texture signal may be an integer, the weighted N texture signals may be added, and the added signal may be divided by the sum of the N weight values.

次に、図21を用いて、図19に示す画像予測復号装置1900における画像予測復号方法を説明する。まず、入力端子1901を介して、圧縮された圧縮データが入力される(ステップS1902)。そして、データ解析器1902において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、予測関連情報が抽出される(ステップS1903)。ここで抽出された予測関連情報に基づいて、テキスチャー合成器1908にて複数のテキスチャー信号が生成され、生成された複数のテキスチャー信号を合成することによって予測信号が生成される(ステップS1904)。   Next, the image predictive decoding method in the image predictive decoding apparatus 1900 shown in FIG. 19 will be described with reference to FIG. First, compressed data that has been compressed is input via the input terminal 1901 (step S1902). Then, the data analyzer 1902 performs entropy decoding on the compressed data, and the quantized transform coefficient and prediction related information are extracted (step S1903). Based on the prediction related information extracted here, a plurality of texture signals are generated by the texture synthesizer 1908, and a prediction signal is generated by combining the generated plurality of texture signals (step S1904).

一方、量子化された変換係数は、逆量子化器1903において量子化パラメータを用いて逆量子化され、逆変換器1904において逆変換が行われ、再生差分信号が生成される(ステップS1905)。そして、生成された予測信号と再生差分信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ1907に格納される(ステップS1906)。次の圧縮データがある場合には、再度このプロセスを繰り返し(ステップS1907)、全てデータが最後まで処理される(ステップS1908)。なお、必要に応じてステップS1902に戻り、圧縮データを取り込むようにしてもよい。   On the other hand, the quantized transform coefficient is inversely quantized using the quantization parameter in the inverse quantizer 1903, and inverse transform is performed in the inverse transformer 1904 to generate a reproduction difference signal (step S1905). Then, a reproduction signal is generated by adding the generated prediction signal and the reproduction difference signal, and this reproduction signal is stored in the frame memory 1907 to reproduce the next target block (step S1906). If there is next compressed data, this process is repeated again (step S1907), and all data is processed to the end (step S1908). If necessary, the process may return to step S1902 and take in compressed data.

本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク(登録商標)、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。   The image predictive encoding method and the image predictive decoding method according to the present embodiment can also be provided as stored in a recording medium as a program. Examples of the recording medium include a recording medium such as a floppy disk (registered trademark), CD-ROM, DVD, or ROM, or a semiconductor memory.

図22は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムP100は、ブロック分割モジュールP102、予測信号生成モジュールP103、記憶モジュールP104、減算モジュールP105、変換モジュールP106、量子化モジュールP107、逆量子化モジュールP108、逆変換モジュールP109、加算モジュールP110及びエントロピー符号化モジュールP111を備えている。なお、予測信号生成モジュールP103は、図23に示すように、予測関連情報生成モジュールP201及びテキスチャー合成モジュールP202を備えている。さらに、テキスチャー信号モジュールP202は、図24に示すように、テンプレート信号生成モジュールP301、テキスチャー生成モジュールP302及び合成モジュールP303を備えている。   FIG. 22 is a block diagram illustrating modules of a program that can execute the image predictive coding method. The image predictive coding program P100 includes a block division module P102, a prediction signal generation module P103, a storage module P104, a subtraction module P105, a transformation module P106, a quantization module P107, an inverse quantization module P108, an inverse transformation module P109, and an addition module P110. And an entropy encoding module P111. Note that the prediction signal generation module P103 includes a prediction related information generation module P201 and a texture synthesis module P202 as shown in FIG. Furthermore, as shown in FIG. 24, the texture signal module P202 includes a template signal generation module P301, a texture generation module P302, and a synthesis module P303.

上記各モジュールが実行されることにより実現される機能は、上述した画像予測符号化装置100の機能と同じである。すなわち、画像予測符号化プログラムP100の各モジュールの機能は、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111、予測関連情報生成器201、テキスチャー合成器202、テンプレート信号生成器301、テキスチャー生成器302及び合成器303の機能と同様である。   The functions realized by executing the above modules are the same as the functions of the image predictive coding apparatus 100 described above. That is, the function of each module of the image predictive coding program P100 includes a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a converter 106, a quantizer 107, an inverse quantizer 108, and an inverse quantizer. The functions of the converter 109, adder 110, entropy encoder 111, prediction related information generator 201, texture synthesizer 202, template signal generator 301, texture generator 302, and synthesizer 303 are the same.

また、図25は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムP1900は、データ解析モジュールP1902、逆量子化モジュールP1903、逆変換モジュールP1904、加算モジュールP1905、記憶モジュールP1907及びテキスチャー合成モジュールP1908を備えている。   FIG. 25 is a block diagram illustrating modules of a program that can execute the image predictive decoding method. The image predictive decoding program P1900 includes a data analysis module P1902, an inverse quantization module P1903, an inverse transform module P1904, an addition module P1905, a storage module P1907, and a texture synthesis module P1908.

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置1900の各構成要素と同じである。すなわち、画像予測復号プログラムP1900の各モジュールの機能は、データ解析器1902、逆量子化器1903、逆変換器1904、加算器1905、フレームメモリ1907及びテキスチャー合成器1908の機能と同様である。   The functions realized by executing the above modules are the same as those of the components of the image predictive decoding apparatus 1900 described above. That is, the functions of the modules of the image predictive decoding program P1900 are the same as the functions of the data analyzer 1902, inverse quantizer 1903, inverse transformer 1904, adder 1905, frame memory 1907, and texture synthesizer 1908.

このように構成された画像予測符号化プログラムP100または画像予測復号プログラムP1900は、記録媒体10に記憶され、後述するコンピュータで実行される。   The image predictive encoding program P100 or the image predictive decoding program P1900 configured as described above is stored in the recording medium 10 and executed by a computer described later.

図26は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図27は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、CPUを具備しソフトウエアによる処理や制御を行なうDVDプレーヤ、セットトップボックス、携帯電話などでもよい。   FIG. 26 is a diagram illustrating a hardware configuration of a computer for executing a program recorded in a recording medium, and FIG. 27 is a perspective view of the computer for executing a program stored in the recording medium. Note that a program that executes a program stored in a recording medium is not limited to a computer, and may be a DVD player, a set-top box, a mobile phone, or the like that includes a CPU and performs processing and control by software.

図26に示すように、コンピュータ30は、フロッピーディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読取装置12に挿入されると、読取装置12から記録媒体10に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る画像符号化装置または画像復号装置として動作することが可能になる。   As shown in FIG. 26, the computer 30 includes a reading device 12 such as a floppy disk drive device, a CD-ROM drive device, a DVD drive device, a working memory (RAM) 14 in which an operating system is resident, and a recording medium 10. A memory 16 for storing programs stored therein, a display device 18 such as a display, a mouse 20 and a keyboard 22 as input devices, a communication device 24 for transmitting and receiving data and the like, and a CPU 26 for controlling execution of the programs. And. When the recording medium 10 is inserted into the reading device 12, the computer 30 can access the image predictive encoding / decoding program stored in the recording medium 10 from the reading device 12, and by the image encoding / decoding program, It becomes possible to operate as an image encoding device or an image decoding device according to the present embodiment.

図27に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ16に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。   As shown in FIG. 27, the image predictive coding program and the image decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the computer 30 can store the image predictive encoding program or the image decoding program received by the communication device 24 in the memory 16 and execute the image predictive encoding program or the image predictive decoding program.

以上説明したように、本実施形態に係る画像予測符号化装置によれば、まず、入力端子101に入力された動画像がブロック分割器102により複数の領域に分割され、分割された複数の領域のうちの処理対象である対象ブロックの対象画素信号に対する予測信号が予測信号生成器103により生成される。そして、その予測信号と対象画素信号との残差信号が減算器105により生成され、その残差信号がエントロピー符号化器111により符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を合成器303で加算することで生成される。なお、生成された予測関連情報も残差信号と同様にエントロピー符号化器111により符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。   As described above, according to the image predictive coding apparatus according to the present embodiment, first, the moving image input to the input terminal 101 is divided into a plurality of regions by the block divider 102, and the plurality of divided regions is obtained. The prediction signal generator 103 generates a prediction signal for the target pixel signal of the target block to be processed. Then, a residual signal between the prediction signal and the target pixel signal is generated by the subtractor 105, and the residual signal is encoded by the entropy encoder 111. Here, the prediction signal is generated by adding a plurality of texture signals generated based on the prediction related information by the synthesizer 303. The generated prediction related information is also encoded by the entropy encoder 111 in the same manner as the residual signal. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

また、本実施形態に係る画像予測符号化装置100は、指定領域の形状と対象領域の形状とを(例えば領域406の形状と領域402の形状とを)同じに設定することが可能であるため、より簡易に予測信号を生成することができる。   In addition, the image predictive encoding device 100 according to the present embodiment can set the shape of the designated region and the shape of the target region (for example, the shape of the region 406 and the shape of the region 402) to be the same. Thus, the prediction signal can be generated more easily.

また、本実施形態に係る画像予測符号化装置100は、対象領域402を分割し、分割された各小領域(小領域411、421、431及び441)について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域402の予測信号を生成することが可能である。そのため、最終的に生成される対象領域402の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。   Further, the image predictive coding apparatus 100 according to the present embodiment divides the target region 402, generates a prediction signal for each of the divided small regions (small regions 411, 421, 431, and 441), and generates a prediction signal for each small region. It is possible to generate a prediction signal for the target region 402 by synthesizing the prediction signal. Therefore, it is possible to further improve the performance of the prediction signal of the target region 402 to be finally generated, that is, to generate a prediction signal with less noise.

また、本実施形態に係る画像予測符号化装置100では、候補テキスチャー選択器502が、対象領域の画素信号との差分が最も小さいテンプレート信号をテキスチャー信号の一つとして選択する。すなわち、テンプレート信号がテキスチャー信号に含まれる。したがって、より雑音の少ない予測信号を生成することができる。   In the image predictive coding device 100 according to the present embodiment, the candidate texture selector 502 selects a template signal having the smallest difference from the pixel signal in the target region as one of the texture signals. That is, the template signal is included in the texture signal. Therefore, a prediction signal with less noise can be generated.

また、本実施形態に係る画像予測符号化装置100では、合成器303がテキスチャー信号に対して重み付け平均化処理を施すので、複数のテキスチャー信号が平均化される。そのため、統計的に誤差が少ない予測信号を生成することができる。   Further, in the image predictive encoding device 100 according to the present embodiment, since the synthesizer 303 performs weighted averaging processing on the texture signal, a plurality of texture signals are averaged. Therefore, it is possible to generate a prediction signal with a small statistical error.

また、本実施形態に係る画像予測符号化装置100では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含む。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。   Further, in the image predictive coding device 100 according to the present embodiment, the prediction related information includes a motion vector indicating the spatial displacement amount of the target region. Therefore, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, and a prediction signal can be generated more easily.

本実施形態に係る画像予測復号装置1900では、データ解析器1902が圧縮データから予測関連情報と残差信号とを抽出する。その後、テキスチャー合成器1908が予測関連情報に基づいて予測信号を生成し、逆量子化器1903及び逆変換器1904が残差信号を復元する。そして、加算器1905が予測信号と残差信号とを加算して対象領域の再生画素信号を復元する。ここで、予測信号は、テキスチャー生成器2002が復元された予測関連情報に基づいて生成する複数のテキスチャー信号を合成器2003が重み付け平均化処理を用いて加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。   In the image predictive decoding apparatus 1900 according to the present embodiment, the data analyzer 1902 extracts prediction related information and a residual signal from the compressed data. Thereafter, the texture synthesizer 1908 generates a prediction signal based on the prediction related information, and the inverse quantizer 1903 and the inverse transformer 1904 restore the residual signal. Then, an adder 1905 adds the prediction signal and the residual signal to restore the reproduction pixel signal in the target area. Here, the prediction signal is generated when the synthesizer 2003 processes a plurality of texture signals generated based on the prediction-related information restored by the texture generator 2002 using a weighted averaging process. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

また、本実施形態に係る画像予測復号装置1900は、指定領域の形状と対象領域の形状とを同じに設定することが可能であるため、より簡易に予測信号を生成することができる。   Further, the image predictive decoding device 1900 according to the present embodiment can set the shape of the designated region and the shape of the target region to be the same, and therefore can generate a prediction signal more easily.

また、本実施形態に係る画像予測復号装置1900では、対象領域を分割し、分割された各小領域について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域の予測信号を生成することが可能である。そのため、最終的に生成される対象領域の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。   Also, the image predictive decoding apparatus 1900 according to the present embodiment divides the target region, generates a prediction signal for each divided small region, and synthesizes the prediction signal for each small region, thereby generating the prediction signal of the target region. It is possible to generate. Therefore, it is possible to further improve the performance of the prediction signal of the target region that is finally generated, that is, to generate a prediction signal with less noise.

また、本実施形態に係る画像予測復号装置1900では、テキスチャー生成器2002が、対象領域の画素信号との差分が最も小さいテンプレート信号を含むテキスチャー信号を生成することが可能であるので、より雑音の少ない予測信号を生成することができる。   Further, in the image predictive decoding device 1900 according to the present embodiment, the texture generator 2002 can generate a texture signal including a template signal having the smallest difference from the pixel signal in the target region. A small number of prediction signals can be generated.

また、本実施形態に係る画像予測復号装置1900では、合成器2003が、テキスチャー信号に対して重み付け平均化処理を施し、その処理をされたテキスチャー信号を加算することで予測信号を生成する。このように、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。   Further, in the image predictive decoding device 1900 according to the present embodiment, the synthesizer 2003 performs weighted averaging processing on the texture signal, and adds the texture signals subjected to the processing to generate a prediction signal. In this way, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

また、本実施形態に係る画像予測復号装置1900では、データ解析器1902が、対象領域の空間的な変位量を示す動きベクトルを含む予測関連情報を抽出することが可能である。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。   In the image predictive decoding apparatus 1900 according to the present embodiment, the data analyzer 1902 can extract prediction related information including a motion vector indicating the spatial displacement amount of the target region. Therefore, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, and a prediction signal can be generated more easily.

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。   The present invention has been described in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the gist thereof.

本実施形態に係る画像予測符号化装置を示すブロック図である。It is a block diagram which shows the image predictive coding apparatus which concerns on this embodiment. 図1に示す予測信号生成器を示すブロック図である。It is a block diagram which shows the prediction signal generator shown in FIG. 図2に示すテキスチャー合成器を示すブロック図である。It is a block diagram which shows the texture synthesizer shown in FIG. 予測関連情報生成処理(ブロックマッチング処理)を説明するための模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a schematic diagram for demonstrating a prediction relevant information generation process (block matching process), (A) shows a reference image, (B) shows the screen of encoding object. 図3に示すテキスチャー生成器を示すブロック図である。It is a block diagram which shows the texture generator shown in FIG. マッチング処理及び候補テキスチャー生成処理に関する模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a schematic diagram regarding a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第1の模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a 1st schematic diagram regarding the modification of a matching process and a candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第2の模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a 2nd schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第3の模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a 3rd schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第4の模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a 4th schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. テンプレート信号の形状とテキスチャー信号の形状とが異なる第1の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a schematic diagram regarding the matching processing and candidate texture generation processing in the first case where the shape of the template signal and the shape of the texture signal are different, (A) shows a reference image and (B) shows a screen to be encoded. . テンプレート信号の形状とテキスチャー信号の形状とが異なる第2の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a schematic diagram regarding the matching processing and candidate texture generation processing in the second case where the shape of the template signal and the shape of the texture signal are different, (A) shows a reference image and (B) shows a screen to be encoded. . 予測関連情報生成処理(ブロックマッチング処理)の変形例を説明するための模式図であり、(A)は参照画像を示し、(B)は符号化対象の画面を示す。It is a schematic diagram for demonstrating the modification of a prediction relevant information generation process (block matching process), (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理ならびに候補テキスチャー生成処理において画面内予測方法を用いる変形例を説明するための模式図である。It is a schematic diagram for demonstrating the modification which uses the prediction method in a screen in a matching process and a candidate texture production | generation process. 候補テキスチャー信号の生成方法及び合成方法の手順を説明するためのフローチャートである。It is a flowchart for demonstrating the procedure of the production | generation method and synthesis | combination method of a candidate texture signal. 候補テキスチャー信号の選択方法の手順の変形例を説明するためのフローチャートである。It is a flowchart for demonstrating the modification of the procedure of the selection method of a candidate texture signal. 図1に示す画像予測符号化装置の画像予測符号化方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image prediction encoding method of the image prediction encoding apparatus shown in FIG. 画面内予測方法を説明するための模式図である。It is a schematic diagram for demonstrating the prediction method in a screen. 本実施形態に係る画像予測復号装置を示すブロック図である。It is a block diagram which shows the image prediction decoding apparatus which concerns on this embodiment. 図19に示すテキスチャー合成器を示すブロック図である。It is a block diagram which shows the texture synthesizer shown in FIG. 図19に示す画像予測復号装置の画像予測復号方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image prediction decoding method of the image prediction decoding apparatus shown in FIG. 本実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。It is a block diagram which shows the program which can perform the image predictive coding method which concerns on this embodiment. 図22に示す予測信号生成モジュールを示すブロック図である。It is a block diagram which shows the prediction signal generation module shown in FIG. 図23に示すテキスチャー合成モジュールを示すブロック図である。It is a block diagram which shows the texture synthetic | combination module shown in FIG. 本実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。It is a block diagram which shows the program which can perform the image predictive decoding method which concerns on this embodiment. 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the computer for performing the program recorded on the recording medium. 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。It is a perspective view of a computer for executing a program stored in a recording medium.

符号の説明Explanation of symbols

100…画像予測符号化装置、101…入力端子、102…ブロック分割器、103…予測信号生成器、104…フレームメモリ、105…減算器、106…変換器、107…量子化器、108…逆量子化器、109…逆変換器、110…加算器、111…エントロピー符号化器、112…出力端子、201…予測関連情報生成器、202…テキスチャー合成器、301…テンプレート信号生成器、302…テキスチャー生成器、303…合成器、1900…画像予測復号装置、1901…入力端子、1902…データ解析器、1903…逆量子化器、1904…逆変換器、1905…加算器、1906…出力端子、1907…フレームメモリ、1908…テキスチャー合成器、2001…テンプレート信号生成器、2002…テキスチャー生成器、2003…合成器。   DESCRIPTION OF SYMBOLS 100 ... Image predictive coding apparatus, 101 ... Input terminal, 102 ... Block divider, 103 ... Prediction signal generator, 104 ... Frame memory, 105 ... Subtractor, 106 ... Converter, 107 ... Quantizer, 108 ... Inverse Quantizer, 109 ... Inverse transformer, 110 ... Adder, 111 ... Entropy encoder, 112 ... Output terminal, 201 ... Prediction related information generator, 202 ... Texture synthesizer, 301 ... Template signal generator, 302 ... Texture generator 303 ... Synthesizer 1900 Image predictive decoder 1901 Input terminal 1902 Data analyzer 1903 Inverse quantizer 1904 Inverse transformer 1905 Adder 1906 Output terminal 1907: frame memory, 1908: texture synthesizer, 2001: template signal generator, 2002: texture Formed unit, 2003 ... synthesizer.

Claims (18)

入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、
前記予測信号生成手段は、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化装置。
Area dividing means for dividing the input image into a plurality of areas;
A prediction signal generating unit that generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided by the region dividing unit;
Residual signal generation means for generating a residual signal between the prediction signal generated by the prediction signal generation means and the target pixel signal;
Encoding means for encoding the residual signal generated by the residual signal generating means,
The prediction signal generating means includes
Prediction related information generating means for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
Texture synthesis means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generation means,
The texture synthesizing unit generates a template signal of a designated area determined based on the prediction related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from previously reproduced images. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The image encoding / encoding device, wherein the encoding unit encodes the prediction related information generated by the prediction related information generation unit.
前記指定領域と前記対象領域とが同じ形状であることを特徴とする請求項1に記載の画像予測符号化装置。   The image predictive coding apparatus according to claim 1, wherein the designated region and the target region have the same shape. 前記テキスチャー合成手段は、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項1に記載の画像予測符号化装置。   The texture synthesizing unit divides the target region into a plurality of small regions, generates a template signal of a designated region defined based on the prediction related information for each of the divided small regions from the already reproduced signal, A plurality of similar regions having a high correlation with the designated region are searched from predetermined reproduced images, a plurality of texture signals for the small region are generated based on the plurality of similar regions, and the plurality of texture signals are determined in advance. The prediction signal of the small area is generated by processing using a texture synthesis method, and the prediction signal of the target area is generated by synthesizing the generated prediction signal of each small area. The image predictive coding device according to 1. 前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項1〜3のいずれか一項に記載の画像予測符号化装置。   The image predictive coding apparatus according to claim 1, wherein the template signal is included in the plurality of texture signals. 前記テキスチャー合成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項1〜4のいずれか一項に記載の画像予測符号化装置。   The said texture synthetic | combination means produces | generates the said prediction signal by performing the weighted average process by a predetermined weighting coefficient with respect to the said texture signal, The Claim 1 characterized by the above-mentioned. Image predictive coding apparatus. 前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項1〜5のいずれか一項に記載の画像予測符号化装置。   The image prediction encoding apparatus according to any one of claims 1 to 5, wherein the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. 前記テキスチャー合成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項1〜6のいずれか一項に記載の画像予測符号化装置。   The image prediction code according to claim 1, wherein the texture synthesizing unit searches a plurality of previously reproduced images for a plurality of similar regions having a high correlation with the designated region. Device. 圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。
A data analysis means for extracting encoded data of prediction related information and encoded data of residual signal related to a target area to be processed from compressed data;
Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means;
Prediction signal generating means for generating a prediction signal for the target pixel signal of the target region;
Image restoration means for restoring the pixel signal of the target area by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the residual signal restoration means,
The prediction signal generation means restores prediction related information from the encoded data of the prediction related information extracted by the data analysis means, and generates a template signal in a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding apparatus that generates a prediction signal by processing a signal using a predetermined texture synthesis method.
前記指定領域と前記対象領域が同じ形状であることを特徴とする請求項8に記載の画像予測復号装置。   The image predictive decoding apparatus according to claim 8, wherein the designated region and the target region have the same shape. 前記予測信号生成手段は、前記予測関連情報の符号化データから前記予測関連情報を復元し、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項8に記載の画像予測復号装置。   The prediction signal generation means restores the prediction related information from the encoded data of the prediction related information, divides the target region into a plurality of small regions, and for each divided small region, based on the prediction related information A template signal of a designated area determined in advance is generated from the reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from predetermined reproduced images, and the small area is determined based on the plurality of similar areas Generating a plurality of texture signals, processing the plurality of texture signals using a predetermined texture synthesis method to generate a prediction signal for the small region, and combining the generated prediction signals for each small region The image predictive decoding apparatus according to claim 8, wherein a prediction signal of the target region is generated. 前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項8〜10のいずれか一項に記載の画像予測復号装置。   The image predictive decoding apparatus according to claim 8, wherein the template signal is included in the plurality of texture signals. 前記予測信号生成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項8〜11のいずれか一項に記載の画像予測復号装置。   The said prediction signal production | generation means produces | generates the said prediction signal by performing the weighted average process by a predetermined weighting coefficient with respect to the said texture signal, The Claim signal characterized by the above-mentioned. Image predictive decoding apparatus. 前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項8〜12のいずれか一項に記載の画像予測復号装置。   The image prediction decoding apparatus according to any one of claims 8 to 12, wherein the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. 前記予測信号生成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項8〜13のいずれか一項に記載の画像予測復号装置。   The image prediction according to any one of claims 8 to 13, wherein the prediction signal generation unit searches a plurality of previously reproduced images for a plurality of similar regions having a high correlation with the designated region. Decoding device. 画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、
前記画像予測符号化装置が、前記領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記画像予測符号化装置が、前記予測信号生成ステップにおいて生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
前記画像予測符号化装置が、前記残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、
前記予測信号生成ステップは、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、
前記予測関連情報生成ステップにおいて生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成ステップとを有し、
前記テキスチャー合成ステップは、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化ステップは、前記予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする画像予測符号化方法。
A region dividing step in which the image predictive encoding device divides the input image into a plurality of regions;
A prediction signal generating step in which the image predictive coding device generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided in the region dividing step;
The image predictive coding apparatus generates a residual signal between the prediction signal generated in the prediction signal generation step and the target pixel signal; and
The image predictive coding apparatus comprises: an encoding step for encoding the residual signal generated in the residual signal generating step;
The predicted signal generation step includes:
A prediction related information generating step for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
A texture synthesis step of generating a prediction signal of the target region based on the prediction related information generated in the prediction related information generation step,
The texture synthesis step generates a template signal of a designated area determined based on the prediction-related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from a previously reproduced image. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The encoding step encodes the prediction related information generated in the prediction related information generation step.
画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、
前記画像予測復号装置が、前記データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
前記画像予測復号装置が、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記画像予測復号装置が、前記予測信号生成ステップにおいて生成された予測信号と前記残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、
前記予測信号生成ステップは、前記データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号方法。
A data analysis step in which the image predictive decoding apparatus extracts encoded data of prediction related information and encoded data of a residual signal regarding the target region to be processed from the compressed data;
The image predictive decoding apparatus, a residual signal restoration step for restoring a reproduction residual signal from encoded data of the residual signal extracted in the data analysis step;
A prediction signal generation step in which the image predictive decoding device generates a prediction signal for a target pixel signal in the target region;
Image in which the image predictive decoding apparatus restores the pixel signal of the target area by adding the prediction signal generated in the prediction signal generation step and the reproduction residual signal restored in the residual signal restoration step A restoration step, and
The prediction signal generation step restores prediction related information from the encoded data of the prediction related information extracted in the data analysis step, and generates a template signal of a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding method, wherein a prediction signal is generated by processing a signal using a predetermined texture synthesis method.
コンピュータを、
入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、
前記予測信号生成手段は、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化プログラム。
Computer
Area dividing means for dividing the input image into a plurality of areas;
A prediction signal generating unit that generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided by the region dividing unit;
Residual signal generation means for generating a residual signal between the prediction signal generated by the prediction signal generation means and the target pixel signal;
Function as encoding means for encoding the residual signal generated by the residual signal generating means,
The prediction signal generating means includes
Prediction related information generating means for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
Texture synthesis means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generation means,
The texture synthesizing unit generates a template signal of a designated area determined based on the prediction related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from previously reproduced images. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The image predictive encoding program, wherein the encoding means encodes the prediction related information generated by the prediction related information generation means.
コンピュータを、
圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、して機能させ、
前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号プログラム。
Computer
A data analysis means for extracting encoded data of prediction related information and encoded data of residual signal related to a target area to be processed from compressed data;
Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means;
Prediction signal generating means for generating a prediction signal for the target pixel signal of the target region;
Function as image restoration means for restoring the pixel signal of the target area by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the residual signal restoration means Let
The prediction signal generation means restores prediction related information from the encoded data of the prediction related information extracted by the data analysis means, and generates a template signal in a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding program that generates a prediction signal by processing a signal using a predetermined texture synthesis method.
JP2006271984A 2006-04-28 2006-10-03 Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program Active JP4994767B2 (en)

Priority Applications (18)

Application Number Priority Date Filing Date Title
JP2006271984A JP4994767B2 (en) 2006-10-03 2006-10-03 Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
US12/298,854 US8326063B2 (en) 2006-04-28 2007-04-23 Method, apparatus and program for efficient generation of prediction signals
EP11188239A EP2453657A1 (en) 2006-04-28 2007-04-23 Image predictive decoding device
BRPI0711053-7A BRPI0711053A2 (en) 2006-04-28 2007-04-23 predictive image coding apparatus, predictive image coding method, predictive image coding program, predictive image decoding apparatus, predictive image decoding method and predictive image decoding program
KR1020087028969A KR20090008418A (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
EP07742158A EP2023639A4 (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
EP12189415.8A EP2595381B1 (en) 2006-04-28 2007-04-23 Image predictive decoding device
AU2007244443A AU2007244443A1 (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
CN201410049846.4A CN103747263B (en) 2006-04-28 2007-04-23 Image prediction encoding device and method and image prediction/decoding device and method
KR1020107015343A KR20100085199A (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
RU2008146977/09A RU2008146977A (en) 2006-04-28 2007-04-23 DEVICE picture prediction encoding, process for predictive coding images, software picture prediction encoding, the device is projected image decoding, image decoding predicts METHOD AND PROGRAM predicts image decoding
CN200780015355.6A CN101433094B (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
PCT/JP2007/058723 WO2007125856A1 (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
CA002656123A CA2656123A1 (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
KR1020127031974A KR20130006537A (en) 2006-04-28 2007-04-23 Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
EP11155017A EP2323405A1 (en) 2006-04-28 2007-04-23 Image predictive coding and decoding device, method and program
RU2011101870/07A RU2011101870A (en) 2006-04-28 2011-01-19 DEVICE picture prediction encoding, process for predictive coding images, software picture prediction encoding, the device picture prediction encoding, decoding an image is projected METHOD AND PROGRAM predicts image decoding
US13/611,928 US8634670B2 (en) 2006-04-28 2012-09-12 Method, apparatus and program for efficient generation of prediction signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006271984A JP4994767B2 (en) 2006-10-03 2006-10-03 Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program

Publications (2)

Publication Number Publication Date
JP2008092352A JP2008092352A (en) 2008-04-17
JP4994767B2 true JP4994767B2 (en) 2012-08-08

Family

ID=39376000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006271984A Active JP4994767B2 (en) 2006-04-28 2006-10-03 Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program

Country Status (1)

Country Link
JP (1) JP4994767B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406465B2 (en) * 2008-04-24 2014-02-05 株式会社Nttドコモ Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
JP5401071B2 (en) * 2008-10-09 2014-01-29 株式会社Nttドコモ Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, moving picture decoding program, moving picture processing system, and moving picture processing method
WO2011071514A2 (en) * 2009-12-08 2011-06-16 Thomson Licensing Methods and apparatus for adaptive residual updating of template matching prediction for video encoding and decoding
JP5304708B2 (en) * 2010-03-31 2013-10-02 株式会社Jvcケンウッド Moving picture coding apparatus, moving picture coding method, and moving picture coding program
JP5304709B2 (en) * 2010-03-31 2013-10-02 株式会社Jvcケンウッド Moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
CN102823251B (en) * 2010-03-31 2015-08-12 Jvc建伍株式会社 Moving image encoding device, moving picture encoding method and motion video coded program and moving image decoding device, moving picture decoding method and moving image decoding program
WO2011155171A1 (en) * 2010-06-09 2011-12-15 株式会社Jvcケンウッド Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program
JP2011259230A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image decoder, moving image decoding method and moving image decoding program
JP2011259229A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image encoder, moving image encoding method and moving image encoding program
WO2012090425A1 (en) * 2010-12-27 2012-07-05 株式会社Jvcケンウッド Moving image encoding device, moving image encoding method, and moving image encoding program, as well as moving image decoding device, moving image decoding method, and moving image decoding program
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
EP4179728A4 (en) * 2021-06-23 2023-12-27 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image prediction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175193A (en) * 1997-07-04 1999-03-16 Matsushita Electric Ind Co Ltd Image prediction decoding method, image prediction decoder, image prediction coder and data storage medium
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
BRPI0413988A (en) * 2003-08-26 2006-11-07 Thomson Licensing method and apparatus for decoding hybrid intra-inter encoder blocks
JP2007043651A (en) * 2005-07-05 2007-02-15 Ntt Docomo Inc Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program

Also Published As

Publication number Publication date
JP2008092352A (en) 2008-04-17

Similar Documents

Publication Publication Date Title
JP4994767B2 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
EP2595381B1 (en) Image predictive decoding device
JP5406465B2 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
JP6559309B2 (en) Image predictive decoding method
JP5686499B2 (en) Image predictive encoding apparatus, method and program, image predictive decoding apparatus, method and program, and encoding / decoding system and method
JP5485969B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
US20100195722A1 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP2007300380A (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
KR20100019537A (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP5415495B2 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
JP5922281B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive decoding apparatus, and moving picture predictive decoding method
JP6134418B2 (en) Moving picture predictive decoding apparatus and moving picture predictive decoding method
JP5668169B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
JP5736083B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
JP5642305B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
AU2011250781A1 (en) Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4994767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250