JP3671286B2 - Image processing method, image processing apparatus, and a data storage medium - Google Patents

Image processing method, image processing apparatus, and a data storage medium

Info

Publication number
JP3671286B2
JP3671286B2 JP17334698A JP17334698A JP3671286B2 JP 3671286 B2 JP3671286 B2 JP 3671286B2 JP 17334698 A JP17334698 A JP 17334698A JP 17334698 A JP17334698 A JP 17334698A JP 3671286 B2 JP3671286 B2 JP 3671286B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP17334698A
Other languages
Japanese (ja)
Other versions
JPH1175187A (en )
Inventor
孝啓 西
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、画像処理方法,画像処理装置,及びデータ記憶媒体に関し、特にインタレース画像信号の周波数成分に対して適応的な画面内予測処理を施すことにより、画像信号の符号化処理における符号化効率を向上するようにしたものに関するものである。 The present invention relates to an image processing method, image processing apparatus, and relates to a data storage medium, in particular by applying the adaptive intra-frame prediction processing on the frequency components of the interlaced image signal, coded in the coding processing of an image signal it relates that so as to improve efficiency.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
動画像に対応する画像データを、その冗長性を利用して圧縮する予測符号化には、被符号化フレーム内の画像データを用いて、画像データの予測を行う画面内予測符号化と、被符号化フレーム以外の他のフレームの画像データを利用して、画像データの予測を行う画面間予測符号化がある。 Image data corresponding to the moving image, the predictive coding is compressed using its redundancy, using the image data of the encoded frame, the intra prediction encoding which performs prediction of image data, the by utilizing the image data of the other frames other than the coding frame, there is inter-picture prediction coding that performs prediction of the image data.
【0003】 [0003]
具体的には、上記画面内予測符号化は、被符号化フレームの画像データの予測値をそのフレーム内の画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の本来の性質として画像データに多量に含まれている空間的に冗長な情報を除去もしくは減少して画像データを圧縮する方法である。 Specifically, the intraframe prediction encoding generates a predicted value of the image data of the encoded frame from the image data in the frame, coding a difference value between the predicted value and image data of the encoded frame by reduction, a method for compressing image data of spatially redundant information contained in large amount in the image data as the original property of the image is removed or decreased.
【0004】 [0004]
一方、上記画面間予測符号化は、被符号化フレームの画像データの予測値を他のフレームの画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の動きが小さい場合などに画像データに多量に含まれることとなる時間的に冗長な情報を除去もしくは減少して画像を圧縮する方法である。 On the other hand, the inter-picture prediction coding is that the predicted value of the image data of the encoded frame generated from the image data of another frame, and encodes a difference value between the predicted value and image data of the encoded frame Accordingly, a method of temporally redundant information to be contained in large amounts in the image data or when the motion of the image is smaller by removing or decreasing compressing the image.
【0005】 [0005]
最近の画像符号化においては離散コサイン変換(DCT)が広く利用されており、代表的な画像符号化方式であるMPEG(Moving Picture Expert Group )方式においては、デジタル画像信号により形成される画像空間(フレーム)をDCT処理の単位である複数の矩形領域(ブロック)に分割し、各ブロックに対応する画像信号に対してブロック毎にDCT処理を施すようにしている。 In recent image coding have been utilized widely discrete cosine transform (DCT), which is a typical image coding method MPEG (Moving Picture Expert Group) In the method, an image space formed by the digital image signal ( dividing the frame) into a plurality of rectangular regions in units of DCT processing (block), so that applying DCT processing for each block to the image signal corresponding to each block.
【0006】 [0006]
MPEG方式で採用されている、DCT係数,つまりDCT領域(周波数領域)における画像データに対する画面内予測方法については、MPEG4に関する文献であるISO/IEC JTC1/SC29/WG11 MPEG97/N1642 MPEG-4 Video Verification Model Version 7.0 (以下、MPEG−4 VM7.0と称する。)における「Intra DC and AC Prediction for I-VOP and P-VOP」の項に記載されている。 Has been adopted by the MPEG system, DCT coefficients, the intra prediction method that is for the image data in the DCT domain (frequency domain) is a literature on MPEG4 ISO / IEC JTC1 / SC29 / WG11 MPEG97 / N1642 MPEG4 Video Verification Model Version 7.0 is described in the "Intra DC and AC Prediction for I-VOP and P-VOP" in (hereinafter, referred to as MPEG-4 VM7.0.).
【0007】 [0007]
この文献の記載によれば、符号化処理の対象となる被符号化ブロックに対応するDCT係数のDC成分およびAC成分を、上記画像空間上で被符号化ブロックの左上、上および左に隣接して位置する3つの隣接ブロックに対応するDCT係数を利用して予測することとしている。 According to the description of this document, the DC and AC components of the DCT coefficients corresponding to the coded block to be coded process, the upper left of the coded block on the image space, adjacent to the top and left It is set to be predicted using the DCT coefficients corresponding to three adjacent blocks located Te.
【0008】 [0008]
図15は、従来の画像符号化方式に採用されている、上記文献に記述されているような画面内DCT係数予測方法を説明するための図である。 Figure 15 is employed in the conventional image coding method, is a diagram for explaining the intra DCT coefficient prediction method as described in the literature.
図15には、DCT処理の単位となる8×8画素からなる4つのブロック(DCTブロックともいう。)R0〜R2,Xが示されており、各ブロックは、画像信号により形成される画像空間(空間領域)上で互いに隣接して位置している。 The Figure 15, four blocks (also referred to as a DCT block.) Consisting of 8 × 8 pixels as the unit of DCT processing R0~R2, X are shown, each block image space formed by the image signal They are positioned adjacent to each other on (spatial domain). ここで、ブロックXは、符号化処理の対象となる被符号化ブロックであり、ブロックR0,R1,R2は、上記空間領域上で、上記被符号化ブロックの左上側,上側,及び左側に隣接して位置する、既に符号化処理が完了した符号化済みブロックである。 Here, the block X is encoded block to be coded processing block R0, R1, R2 are, on the space region, the upper left side of the encoded block, the upper and adjacent to the left side located in a previously encoded blocks of the encoding process is completed.
【0009】 [0009]
従来の画面内DCT係数予測方法では、ブロックXのDCT係数の予測値を生成する際に、ブロックR1またはブロックR2のDCT係数が参照される。 In a conventional intraframe DCT coefficient prediction method, when generating prediction values ​​of DCT coefficients of the block X, DCT coefficients of the block R1 or the block R2 are referred to.
具体的には、符号化済みブロックR1のDCT係数を参照する場合には、該符号化済みブロックR1における左上隅のDC成分及び最上列のAC成分が、これらの成分と被符号化ブロックXにて同位置に位置するDCT係数の予測値として用いられる。 Specifically, when referring to the DCT coefficients of the coded blocks R1 is, AC components of the upper left corner of the DC component and the top row in the coding obsolete block R1 are those components and encoded block X used as prediction values ​​of DCT coefficients located at the same position Te. また、符号化済みブロックR2のDCT係数を参照する場合には、該符号化済みブロックR2の左上隅のDC成分及び最左列のAC成分が、これらの成分と上記被符号化ブロックXにて同位置に位置するDCT係数の予測値として用いられる。 Also, when referring to the DCT coefficients of the coded blocks R2 is, AC components of the upper left corner of the DC component and the leftmost column of the coding obsolete block R2 is at the components and the encoded block X used as prediction values ​​of DCT coefficients located at the same position.
【0010】 [0010]
また、符号化済みブロックのいずれのブロックのDCT係数を、上記被符号化ブロックXのDCT係数の予測値として参照すべきかの決定は、符号化済みブロックR0,R1およびR2のDC成分を用いて行われる。 Also, the DCT coefficients of one block of encoded blocks, the decision should be referenced as the predicted value of the DCT coefficients of the encoded block X, using the DC component of the encoded blocks R0, R1 and R2 It takes place.
【0011】 [0011]
すなわち、ブロックR0とブロックR2の間でのDC成分の差の絶対値が、ブロックR0とブロックR1の間でのDC成分の差の絶対値よりも小さい場合は、縦方向に並ぶブロック間でのDCT係数の相関が強いため、被符号化ブロックXのDCT係数の予測値を生成する際にはブロックR1のDCT係数が参照される。 That is, the difference in DC components between the blocks R0 and the block R2 absolute value is smaller than the absolute value of the difference between the DC components between the blocks R0 and the block R1 are arranged in the vertical direction between the blocks for correlation of DCT coefficients is strong, when generating prediction values ​​of DCT coefficients of the coded blocks X is DCT coefficients of the block R1 are referred to. 一方、ブロックR0とブロックR1の間でのDC成分の差の絶対値が、ブロックR0とブロックR2の間でのDC成分の差の絶対値よりも小さい場合には、横方向に並ぶブロック間でのDCT係数の相関が強いため、被符号化ブロックXのDCT係数の予測値を生成する際には、ブロックR2のDCT係数が参照される。 On the other hand, the absolute value of the difference between the DC components between the blocks R0 and the block R1 is smaller than the absolute value of the difference between the DC components between the blocks R0 and the block R2 among the blocks arranged in the horizontal direction for correlation of DCT coefficients is strong, when generating prediction values ​​of DCT coefficients of the coded blocks X is, DCT coefficients of block R2 are referred to.
【0012】 [0012]
ところが、上記文献(MPEG−4 VM7.0)における「Adaptive Frame/Field DCT」の項に記載されているように、インタレース画像の符号化に用いられるDCT処理(周波数変換処理)には、フレームDCT処理とフィールドDCT処理の2つのタイプのDCT処理がある。 However, as described in section "Adaptive Frame / Field DCT" in the above literature (MPEG-4 VM7.0), the DCT processing used for coding the interlaced image (frequency conversion processing), the frame there are two types of DCT and the DCT processing and field DCT processing. これらのDCT処理はその処理単位が異なり、フレームDCT処理はフレーム単位で画像データの変換を行い、フィールドDCT処理はフィールド単位で画像データの変換を行う。 These DCT processing differ in their processing units, the frame DCT processing performs conversion of image data in frame units, field DCT processing for converting image data in units of fields. MPEG方式では、4つのブロックから構成されるいわゆるマクロブロック毎にフレームDCT処理とフィールドDCT処理とが適応的に切り換えられる。 In the MPEG system, frame DCT processing and the field DCT processing is switched adaptively for each so-called macro-block composed of four blocks.
【0013】 [0013]
ここで、マクロブロックに対するフレームDCT処理とフィールドDCT処理の切替えは、図16に示すように、走査線の並べ替えを行うか否かにより行われ、フィールドDCT処理では、走査線の並べ替えが行われたマクロブロックにおける各ブロックの画像データにDCT処理が施されることとなる。 Here, switching of frame DCT processing and field DCT processing for the macroblock, as shown in FIG. 16 is performed by whether or not the rearrangement of scanning lines, a field DCT processing, rearrangement of scanning lines row so that the DCT processing on the image data of each block is performed in cracking macroblocks.
【0014】 [0014]
具体的には、フレームDCT処理の場合は、偶数および奇数番号の走査線が交互に並んだマクロブロックにおける各ブロックの画像データがそのままDCT処理され、フィールドDCT処理の場合には、走査線の並べ替えにより、マクロブロックが、偶数番号の走査線のみで構成される第1フィールドのブロックと奇数番号の走査線のみで構成される第2フィールドのブロックとからなるものとなった後に、このようなマクロブロックにおける各ブロックの画像データに対してDCT処理が行われることとなる。 Specifically, in the case of frame DCT processing, the image data of each block is directly DCT processing scan lines of the even and odd numbered in the aligned macroblock alternately, in the case of field DCT processing, arranges the scan line by instead, after the macroblock became made of a block of the second field composed of only the scanning lines of the block and the odd-numbered first field including only the even-numbered lines, like this so that the DCT processing on the image data of each block in the macro block.
【0015】 [0015]
このようにインタレース画像信号の符号化処理では、画像空間上に位置するマクロブロックとして、フレームDCT処理されるマクロブロックとフィールドDCT処理されるマクロブロックとが混在することになる。 In the coding process of an interlaced image signal, as, as a macro block positioned in the image space, so that the macroblock macroblock and field DCT processing frame DCT processing are mixed.
そして、第1フィールドと第2フィールドの間での画素値の相関が第1フィールド内および第2フィールド内での画素値の相関より高い場合は、フレームDCT処理が実施され、それ以外の場合はフィールドDCT処理が実施されるという方法で、フレームDCT処理とフィールドDCT処理は切替えられる。 Then, when the correlation of pixel values ​​between the first and second fields is higher than correlation of pixel values ​​in the first field and the second field, frame DCT processing is performed, otherwise in a way that the field DCT process is performed, the frame DCT processing and field DCT processing is switched.
【0016】 [0016]
従って、画像空間上で隣り合うマクロブロックや隣接するブロック(つまりマクロブロックを構成するサブブロック)であっても、DCT処理のタイプが異なる場合があり、この場合には、隣接するマクロブロック間、あるいは隣接するブロック間では、マクロブロックあるいはブロックのDCT処理タイプが同じ場合に比べて、DCT係数の相関は低いものとなる。 Therefore, even in the macro block and the adjacent blocks adjacent in the image space (i.e. sub-blocks constituting the macroblock), may types of DCT processing is different, in this case, between adjacent macro-blocks, or in between adjacent blocks, as compared with the case DCT processing type of the macro block or the block are the same, correlation of DCT coefficient is low.
【0017】 [0017]
また、隣り合うブロック間ではこれらが属するフィールドが異なる場合があり、このような場合には、隣接するブロック間では、ブロックの属するフィールドが同じ場合に比べて、DCT係数の相関は低いものとなる。 Further, between the adjacent blocks might fields they belong are different, in such a case, the adjacent blocks, as compared with the case field block belongs are the same, correlation of DCT coefficient is low .
【0018】 [0018]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、フィールドDCT処理が施されたマクロブロック(フィールドDCTタイプのマクロブロック)では、第1フィールドのブロックと第2フィールドのブロックが混在するため、被符号化ブロックのDCT係数の予測値を生成する際、参照すべき符号化済みブロックを特定することが困難であり、このため、上記のようなフィールドDCTタイプのマクロブロックに対して従来の画面内予測処理を単純に適用することができない。 However, the field DCT processing performed macroblock (field DCT type macroblocks), since the block of the block and the second field of the first field are mixed to produce a predicted value of the DCT coefficients of the coded blocks time, it is difficult to identify the reference should be encoded blocks, Thus, it is impossible to simply apply the conventional intra prediction process for a macroblock of the field DCT type as described above. この結果、フィールドDCTタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理では、画面内予測処理を適用することができず、画像信号に含まれる空間的に冗長な画像情報を十分に削減して、効率のよい符号化処理を行うことができないという問題があった。 As a result, field DCT type macroblocks coexist, in the encoding process of the interlaced image coding process or a specific progressive image can not be applied to intra prediction processing, spatially contained in the image signal to reduce sufficiently redundant image information, there is a problem that it is not possible to perform efficient coding.
【0019】 [0019]
この発明は以上のような問題点を解消するためになされたもので、異なるDCTタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理においても、画像信号に含まれる空間的に冗長な画像情報を十分に削減でき、高能率な符号化処理、及びこれに対応する復号化処理を行うことができる画像処理装置,及び画像処理方法,並びに上記符号化処理あるいは復号化処理をコンピュータにより実現するためのをプログラムを格納したデータ記憶媒体を得ることを目的とする。 The present invention has been made to solve the problems described above, the macroblocks of different DCT types coexist, even in the encoding process of the encoding process or a specific progressive image in interlaced image, the image signal spatially redundant image information included can be sufficiently reduced, a high efficiency coding processing, and image processing apparatus capable of performing a decoding process corresponding thereto, and an image processing method, and the coding process or and to obtain a data storage medium containing a program from for realizing the decoding processing by a computer.
【0020】 [0020]
【課題を解決するための手段】 In order to solve the problems]
この発明(請求項1)に係る画像処理方法は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の個々のマクロブロックを構成するサブブロック毎に、水平画素列の並べ替え及び周波数変換を含む符号化処理と水平画素列の並べ替えを含まずかつ周波数変換を含む符号化処理のいずれかにより符号化して得られる画像符号化信号に対する復号化処理を、上記サブブロック毎に行う画像処理方法であって、復号化処理の対象となる被復号化サブブロックの周波数成分の予測値を、既に復号化処理が完了した復号化済みサブブロックのうちで、該被復号化サブブロックの上側近傍,左側近傍に位置する復号化済みサブブロックの周波数成分を参照して生成する予測ステップと、上記被復号化サブブロックに対応 Image processing method according to the invention (claim 1), an image signal for forming an image space composed of a plurality of pixels, each sub-block constituting the individual macroblocks of a rectangular shape for partitioning the image space, horizontal the decoding process for a coded image signal obtained by coding by either a coding process including sorting and coding processing and sorting the included without and frequency conversion of horizontal pixel rows including the frequency conversion of the pixel column, an image processing method for performing for each of the sub-block, the prediction values ​​of frequency components of the decoded subblock to be the decoding process, already among the decoded subblock decoding process has been completed, the a prediction step of generating by referring to the upper vicinity of the frequency components of the decoded subblock positioned at the left side near the target decoding subblock corresponding to the target decoding subblock る画像符号化信号から、上記予測値を用いて上記被復号化サブブロックの周波数成分を復元する復元ステップと、該復元されたサブブロックの周波数成分を、逆周波数変換により対応するサブブロックの画像信号に変換する変換ステップと、上記画像空間上で同一のマクロブロックに属するサブブロックの画像信号を、該マクロブロック内でのサブブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成する信号生成ステップと、を含み、上記変換ステップは、符号化の際に、上記画像空間を構成する第1フィールドの画像が上記マクロブロックの上側に位置し、かつ上記画像空間を構成する第2フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理が施されたマクロブロ That the coded image signal, the sub-block corresponding the restoration step of restoring the frequency components of the target decoding subblock, the frequency components of the reconstructed sub-block, the inverse frequency transform using the prediction value image a conversion step of converting a signal, the image spatial image signals of subblocks which belong to the same macroblock, in combination so as to correspond to the position of the sub-blocks within the macroblock, the image signal corresponding to the macroblock anda signal generating step of generating, the conversion step, when coding the image of the first field constituting the image space is positioned above the macroblock, and composing the image space as the image of the second field is located on the lower side of the macroblock, Makuroburo the reordering of horizontal pixel rows have been subjected クに対しては、フィールド単位の逆周波数変換を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、フレーム単位の逆周波数変換を施すものであり、上記信号生成ステップは、符号化の際に上記水平画素列の並べ替え処理が施されたマクロブロックに対しては、上記第1フィールドと上記第2フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、上記水平画素列の逆並べ替え処理を施さずに、上記マクロブロックに対する画像信号を再生するものであり、上記予測ステップは、上記復号化済みサブブロックが符号化の際に水平画素列の並べ替え処理を施されたサブブ For click performs inverse frequency transform of a field unit, for the macroblock reordering of horizontal pixel rows have not been subjected to during encoding, in which performs inverse frequency conversion for each frame There, the signal generating step, for the horizontal pixel macroblock replacement process has been performed lined column during encoding, image of a frame composed of the first field and the second field is formed Yo performs inverse rearranging horizontal pixel rows, for the macroblock reordering of horizontal pixel rows have not been subjected to during encoding, without performing an inverse reordering of the horizontal pixel rows is intended to reproduce an image signal for the macroblock, the prediction step, the decoded sub-block is subjected to rearrangement processing of horizontal pixel rows during coding Sabubu ロックであるか否かにかかわらず、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックと、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックのいずれの周波数成分を参照するかを、該被復号化サブブロックの上側近傍,左側近傍,及び左上近傍に位置する復号化済みサブブロックの周波数成分の直流成分に基づいて決定し、かつ上記被復号化サブブロックの上側近傍に位置する参照されるべき復号化済みサブブロックには、該被復号化サブブロックの被復号化対象マクロブロック内での位置に応じて、該被復号化対象マクロブロック内のもの、あるいは該被復号化対象マクロブロックの上側に位置する復号化済みマクロブロック内のものを用いるものである、ことを特徴とするものである。 Regardless of whether or not the lock, the a decoded subblock positioned above the vicinity of the decoding sub-blocks, any frequency of the decoded subblock positioned at the left side near the target decoding subblock or to refer to the component, the upper vicinity of 該被 decoding subblock, left vicinity, and determined based on the DC component of the frequency components of the decoded subblock positioned at the upper left vicinity, and the target decoding subblock the referenced decoded sub blocks to be located above the vicinity of, depending on the position in the decoded macroblock of 該被 decoding subblock, those 該被 decoded macroblock, or is to use those decoded macro block located above the 該被 decoded macroblock, it is characterized in.
【0021】 [0021]
この発明(請求項2)は、請求項1記載の画像処理方法において、上記予測ステップでは、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの上側に隣接して位置する上側復号化済みサブブロックを用い、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左側に隣接して位置する左側復号化済みサブブロックを用い、上記被復号化サブブロックの左上近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左上側に隣接して位置する左上側復号化済みサブブロックを用い、上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対 The present invention (Claim 2), in the image processing method according to claim 1, wherein, in the prediction step, as the decoded subblock positioned above the vicinity of the target decoding subblock, the 該被 decoded subblocks using upper decoded subblock positioned adjacent to the upper side, as decoded subblock positioned at the left side near the target decoding subblock, left which is located adjacent to the left of the target decoding subblock using decoded sub blocks, as decoded subblock positioned at the upper left vicinity of the target decoding subblock, the upper left side decoded subblock positioned adjacent to the upper left side of the 該被 decoding subblock using the absolute difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock frequency component of the upper decoded subblocks が、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記左側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成し、一方、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記上側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成する、ことを特徴とするものである。 But is smaller than the absolute value of the difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock of frequency components of said left decoded sub blocks, the frequency components of the left decoded subblocks Referring to generate prediction values ​​of frequency components of the decoded subblock, while the difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock of frequency components of said left decoded subblocks the absolute value, is smaller than the absolute value of the difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock frequency component of the upper decoded sub blocks, the upper decoded subblocks with reference to frequency components to generate the predicted values ​​of the frequency components of the decoded subblock, it is characterized in.
【0022】 [0022]
この発明(請求項3)は、請求項1または2記載の画像処理方法において、 上記予測ステップでは、上記被復号化サブブロックの周波数成分の予測値は、量子化された周波数成分に基づいて生成され、 上記変換ステップでは、上記逆周波数変換は逆量子化された周波数成分に対して行われる、ことを特徴とするものである。 The present invention (Claim 3), in the image processing method according to claim 1 or 2 wherein, in the prediction step, the prediction value of the frequency components of the target decoding subblock on the basis of the quantized frequency component generated is, in the conversion step, the inverse frequency transform is performed for the inverse quantized frequency component, it is characterized in.
【0047】 [0047]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明の実施の形態について図面を参照しながら説明する。 It will be described below with reference to the drawings, embodiments of the present invention.
実施の形態1. The first embodiment.
本発明の実施の形態1による画像処理装置(画像符号化装置)及び画像処理方法(画像符号化方法)は、適応的画面内DCT係数予測方法,つまり被符号化ブロックのDCTタイプ信号(周波数変換タイプ信号)に応じて、符号化済みブロックのDCT係数から被符号化ブロックのDCT係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。 The image processing apparatus according to the first embodiment of the present invention (image coding apparatus) and an image processing method (image coding method) is adaptive intra DCT coefficient prediction method, i.e. DCT type signal of encoded block (the frequency conversion depending on the type signal) from the DCT coefficients of the encoded block using a method for generating a predicted value of the DCT coefficients of the coded blocks, it is characterized by performing the intra prediction encoding of the image signal. ここで、DCTタイプ信号とは、被符号化ブロックがフレームDCT処理されているかフィールドDCT処理されているかを示す信号を表すものとする。 Herein, the DCT type signal, and represents a signal indicating whether the coded block is either a field DCT processing is frame DCT processing.
【0048】 [0048]
図1は、本実施の形態1による画像符号化装置の構成を示すブロック図である。 Figure 1 is a block diagram illustrating an image coding apparatus according to the first embodiment.
図において、1000は本実施の形態1の画像符号化装置であり、入力されるデジタル画像信号(入力画像信号)110aを、これにより形成される画像空間(フレーム)を分割する複数のブロックの各々に対応するよう分割し、各ブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。 In the figure, 1000 is an image coding apparatus of the first embodiment, each of the plurality of blocks dividing the digital image signal input (input image signal) 110a, thereby an image space formed (frame) divided so as to correspond to, and an image signal corresponding to each block is configured for encoding for each of the blocks.
【0049】 [0049]
すなわち、この画像符号化装置1000は、上記入力画像信号110aを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号101、および上記周波数変換(DCT処理)の処理単位を示すDCTタイプ信号102を出力するブロック化器100を有している。 That is, the image coding apparatus 1000, the input image signal 110a, as well as blocking to correspond to the respective blocks for each frame or field as a processing unit of frequency transformation, the image signal 101 which is the block of, and it has a blocking unit 100 which outputs a DCT type signal 102 showing the processing unit of the frequency transformation (DCT processing). このブロック化器100は、入力画像信号110aを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドDCT処理が実施されるよう、予め16×16画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する8×8画素からなるブロック毎に画像信号を出力する構成となっている。 The blocking unit 100 receives the input image signal 110a, when the correlation of pixel values ​​between fields is higher than that of the frame, so that field DCT process is performed, in advance from the 16 × 16 pixels consisting rearranges scanning lines macro block units, rearrangement of scanning lines has a configuration for outputting an image signal for each block consisting of 8 × 8 pixels forming the macroblock has been performed.
【0050】 [0050]
なお、上記ブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。 Incidentally, the in blocking unit 100, when the correlation of pixel values ​​between fields is lower than that in a frame, the rearrangement of scanning lines in units of macroblocks described above not performed, the input image signal It is and outputted for each of the blocks.
【0051】 [0051]
また、上記画像符号化装置1000は、上記ブロック化された画像信号(以下ブロック化画像信号ともいう。)101に対して離散コサイン変換(DCT処理)を施して、上記ブロック化画像信号を周波数成分(DCT係数)104に変換するDCT器103と、このDCT係数104を量子化して、各ブロックに対応する量子化値(DCT係数量子化値)106を生成する量子化器105と、上記DCTタイプ信号102に基づいた画面内予測処理により被符号化ブロックに対応する予測値111を生成する画面内予測処理部110と、上記DCT係数量子化値106から上記予測値111を減算してDCT係数差分値108を出力する加算器107とを有しており、このDCT係数差分値108が、VLC器109により可変長符号化さ Further, the image coding apparatus 1000 (hereinafter also referred blocked image signal.) The blocked image signal by performing a discrete cosine transform (DCT processing) with respect to 101, frequency components above blocked image signal a DCT unit 103 for converting the (DCT coefficients) 104, and the DCT coefficients 104 are quantized, the quantizer 105 to generate a quantized value (DCT coefficient quantization value) 106 corresponding to each block, the DCT type the intra prediction processing unit 110 for generating prediction values ​​111 corresponding to the encoded block by intra prediction processing based on the signal 102, the DCT coefficients differences by subtracting the predicted value 111 from the DCT coefficient quantization values ​​106 and an adder 107 for outputting a value 108, this DCT coefficient difference values ​​108, variable length coding by the VLC unit 109 て、ビットストリーム(画像符号化信号)110bとして出力されるようになっている。 Te, and it is output as a bit stream (coded image signal) 110b.
【0052】 [0052]
ここで、上記画面内予測処理部110は、上記DCT係数差分値108と画面内予測値111とを加算する加算器112と、該加算器112の出力を符号化済みブロックのDCT係数量子化値116として格納するブロックメモリ115と、DCTタイプ信号102に応じて、適応的画面内DCT係数予測方法により符号化済みブロックのDCT係数量子化値114から被符号化ブロックのDCT係数量子化値の予測値111を生成するDCT係数予測器113とから構成されている。 Here, the intra prediction processing unit 110 includes an adder 112 for adding the above DCT coefficient difference values ​​108 and the intra-frame prediction values ​​111, DCT coefficient quantization values ​​of the coded block output from the adder 112 a block memory 115 for storing as 116, according to the DCT type signal 102, predicted from the adaptive intra DCT coefficient prediction method DCT coefficient quantization values ​​114 of the coded blocks by the DCT coefficient quantization values ​​of the coded block and a DCT coefficient predictor 113 to generate the value 111.
【0053】 [0053]
次に動作について説明する。 Next, the operation will be described.
まず、適応的DCT予測処理を用いた符号化処理における全体的な動作について説明する。 First, a description will be given of the overall operations of the encoding process using adaptive DCT prediction process.
デジタル画像信号(入力画像信号)110aが本画像符号化装置1000に入力されると、ブロック化器100にて、上記入力画像信号110aは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号101、および上記周波数変換(DCT処理)の処理単位を示すDCTタイプ信号102が出力される。 When the digital image signal (input image signal) 110a is input to the image coding apparatus 1000, in the blocking unit 100, the input image signal 110a is above for each frame or field serving as a processing unit of frequency transformation while being blocked so as to correspond to the block, DCT type signal 102 showing the processing unit of the blocked image signals 101, and the frequency transform (DCT processing) is output.
【0054】 [0054]
このときこのブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドDCT処理が実施されるよう、予め16×16画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する8×8画素からなるブロック毎に出力される。 At this time in the blocking unit 100, when the correlation of pixel values ​​between fields is higher than that of the frame, so that field DCT process is performed, in units of macro blocks consisting of advance 16 × 16 pixels as a rearrangement process of the scanning line on the image signal is performed, the image signal reordering of the scan line have been performed are outputted for each block consisting of 8 × 8 pixels forming the macroblock.
【0055】 [0055]
なお、上記ブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。 In the blocking unit 100, when the correlation of pixel values ​​between fields is lower than that of the frame rearrangement process of scanning lines in units of macro-blocks as described above is not performed, the input image signal and outputted for each of the blocks.
【0056】 [0056]
そして、符号化処理の対象となる被符号化ブロックの画像信号101は、DCT器103にて離散コサイン変換(DCT処理)により、上記被符号化ブロックに対応する周波数成分(DCT係数)104に変換され、さらにこのDCT係数104は、量子化器105にて量子化されて、被符号化ブロックに対する量子化値(DCT係数量子化値)106として出力される。 Then, the image signal 101 of the coded block to be coded process, transformed by a discrete cosine transform in DCT unit 103 (DCT processing), the frequency components (DCT coefficients) 104 corresponding to the encoded block is further the DCT coefficients 104 are quantized by the quantizer 105 and outputted as quantized values ​​(DCT coefficient quantization value) 106 with respect to the coding block.
【0057】 [0057]
さらに、上記被符号化ブロックのDCT係数量子化値106が加算器107に供給されると、この量子化値106とその予測値111の差分が求められてDCT係数差分値108として出力される。 Further, DCT coefficient quantization values ​​106 of the encoded block is when it is supplied to the adder 107, the difference between the quantized values ​​106 the predicted value 111 is output as DCT coefficient difference values ​​108 are determined. このDCT係数差分値108は、VLC器109により可変長符号化されて、ビットストリーム(画像符号化信号)110bとして出力される。 The DCT coefficients difference value 108 is variable length coded by the VLC 109, and output as a bit stream (coded image signal) 110b.
【0058】 [0058]
また、上記加算器107から出力されるDCT係数差分値108は、画面内予測処理部110に供給され、ここで上記DCT係数量子化値106に対する予測値が生成される。 Further, DCT coefficients difference values ​​108 output from the adder 107 is supplied to the intra prediction processing unit 110, wherein prediction values ​​with respect to the DCT coefficient quantization values ​​106 are generated.
【0059】 [0059]
すなわち、上記画面内予測処理部110では、加算器112により上記DCT係数差分値108と画面内予測値111が加算され、これらの加算値が符号化済みブロックのDCT係数量子化値116としてブロックメモリ115に格納される。 That is, in the intra prediction processing unit 110, the DCT coefficient difference values ​​108 and the intra-frame prediction values ​​111 are added by an adder 112, a block memory of these added values ​​as the DCT coefficient quantization values ​​116 of the coded block It is stored in 115. そして、DCT係数予測器113では、上記DCTタイプ信号102に応じて、適応的画面内DCT係数予測方法により符号化済みブロックのDCT係数量子化値114から被符号化ブロックのDCT係数量子化値の予測値111が生成される。 Then, the DCT coefficient predictor 113, in response to the DCT type signal 102, adaptive screen by DCT coefficient prediction method of DCT coefficient quantization values ​​of the coded block from the DCT coefficient quantization values ​​114 of the coded block predicted value 111 is generated.
【0060】 [0060]
次に、上記符号化処理における適応的画面内DCT係数予測方法について詳しく説明する。 It will now be described in detail adaptive intra DCT coefficient prediction method in the encoding process.
本実施の形態1の適応的画面内DCT係数予測方法は、被符号化ブロックのDCTタイプに応じて、被符号化ブロックに対応するDCT係数の予測値を生成する際に参照するブロックを変更するものである。 Adaptive intra DCT coefficient prediction method of the first embodiment, according to the DCT type of the coding block, change the block to be referred to when generating prediction values ​​of DCT coefficients corresponding to the encoded block it is intended.
【0061】 [0061]
本実施の形態1においては、次のようにDCT領域を定義する。 In the first embodiment, to define the DCT domain as follows.
すなわち、DCT領域(周波数領域)は、画像空間(空間領域)を形成する画像信号をDCT処理(周波数変換)して得られる周波数成分により形成される領域とし、画像信号空間領域(画像空間)におけるマクロブロックの配置のとおりに、DCT領域(周波数領域)において各マクロブロックは配置されているものとする。 That, DCT domain (frequency domain), in the image space DCT processing an image signal for forming a (spatial region) is a region formed by (frequency conversion) the frequency components obtained by the image signal space area (image space) as the arrangement of the macro blocks, each macro block in the DCT domain (frequency domain) is assumed to be located.
【0062】 [0062]
また、この実施の形態1では、図3のように、マクロブロックがフレームDCT処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にDCT処理が施され、空間領域上のマクロブロックにおける左上,右上,左下,右下の各ブロックに対応するDCT係数が、それぞれDCT領域上のマクロブロックにおけるブロック位置(0),(1),(2),(3)のブロック内に配置され、一方、マクロブロックがフィールドDCT処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にDCT処理が施され、第1フィールド左、第1フィールド右、第2フィールド左、第2フィールド右の各ブロックのDCTデータが、それぞれDCT領域のマクロブロ Further, in this first embodiment, as shown in FIG. 3, if the macroblock is frame DCT processing, DCT processing on the image signal of each block without rearranging scanning lines in the macroblock is subjected, the upper left in a macroblock in the spatial domain, upper right, lower left, DCT coefficients corresponding to each block of the lower right, respectively block positions in the macroblock on the DCT domain (0), (1), (2), (3) disposed in the block, on the other hand, if the macroblock is field DCT processing, DCT processing is performed on the image signal of each block after the rearrangement of scanning lines in the macroblock in the spatial domain, the first field left , the first field right, the second field left, DCT data of the second field right of each block, Makuroburo each DCT domain クにおけるブロック位置(0),(1),(2),(3)のブロック内に配置されるものとする。 Block position in click (0), (1), (2), shall be located in the block of (3).
【0063】 [0063]
次に、被符号化ブロックに対応するDCT係数(DCT領域における被符号化ブロックのデータ)を、符号化済みブロックのDCT係数を参照して予測し、この際、被符号化ブロックのDCTタイプに応じて、参照する符号化済みブロックを切替える適応的画面内DCT係数予測方法について詳しく説明する。 Then, the DCT coefficients corresponding to the encoded block (data of the coded blocks in the DCT domain), predicted with reference to DCT coefficients of the encoded blocks, this time, the DCT type of the coding block in response, adaptive intra DCT coefficient prediction method for switching a reference to encoded block will be described in detail.
【0064】 [0064]
まず、被符号化ブロックがフレームDCT処理されている場合の予測(以下、フレーム予測と称する)においては、図4(a) に示すように、被符号化ブロックx(i)の左上に位置するブロックを参照ブロックr0(i)、被符号化ブロックx(i)の上側に隣接して位置するブロックを参照ブロックr1(i)、被符号化ブロックx(i)の左隣りに位置するブロックを参照ブロックr2(i)として参照する。 First, the prediction in the case where the coded block is a frame DCT processing in (hereinafter referred to as frame prediction), as shown in FIG. 4 (a), located at the upper left of the encoded block x (i) reference block r0 block (i), the reference block to block positioned adjacent to the upper side of the encoded block x (i) r1 (i), a block located next to the left of the encoded block x (i) referred to as reference block r2 (i). 図4(a) に示す被符号化ブロックx(i)がフレームDCT処理されている場合の参照ブロックr0(i)、r1(i)およびr2(i)は、被符号化ブロックx(i)に空間的に最も近いブロックであり、通常、これらの参照ブロックのDCT係数は被符号化ブロックx(i)のDCT係数と相関が高いと考えられる。 Figure 4 reference block when the coded block x shown in (a) (i) is frame DCT processing r0 (i), r1 (i) and r2 (i) is encoded block x (i) in a spatially closest block, usually, DCT coefficients of these reference blocks is considered to have high correlation with DCT coefficients of the coded blocks x (i).
【0065】 [0065]
一方、被符号化ブロックがフィールドDCT処理されている場合の予測(以下、フィールド予測と称する)においては、図4(b) に示すように、被符号化ブロックx(i)の2ブロック上に位置するブロックの左隣に位置するブロックを参照ブロックr0(i)、被符号化ブロックx(i)の2ブロック上に位置するブロックを参照ブロックr1(i)、被符号化ブロックx(i)の左隣りに位置するブロックを参照ブロックr2(i)として参照する。 On the other hand, the prediction of the case where the coded block is a field DCT processing in (hereinafter referred to as field prediction), as shown in FIG. 4 (b), on the two blocks of the coded block x (i) location reference block blocks r0 located on the left side of the block to be (i), the reference block to block located on two blocks of the coded block x (i) r1 (i), encoded block x (i) Referring to the block located on the left next to the reference block r2 (i). 図4(b) に示す被符号化ブロックx(i)がフィールドDCT処理されている場合の参照ブロックr0(i)、r1(i)およびr2(i)は、被符号化ブロックx(i)と同じフィールドに属する空間的に最も近いブロックであり、通常、これらの参照ブロックのDCT係数は被符号化ブロックx(i)のDCT係数と相関が高いと考えられる。 FIG 4 (b) to indicate the coded block x reference blocks r0 when (i) is field DCT processing (i), r1 (i) and r2 (i) is encoded block x (i) and a spatially nearest blocks belonging to the same field, usually, DCT coefficients of these reference blocks is considered to have high correlation with DCT coefficients of the coded blocks x (i).
【0066】 [0066]
次に、図5から図11を用いて、本実施の形態1で用いる適応的画面内DCT係数予測方法の処理手順について説明する。 Next, with reference to FIG. 5 to FIG. 11, a procedure of the adaptive intra-frame DCT coefficient prediction method used in the first embodiment.
図5は、本実施の形態の適応的画面内DCT係数予測方法の処理手順を表すフローチャートを示す図である。 Figure 5 is a diagram showing a flowchart illustrating a processing procedure of the adaptive intra-frame DCT coefficient prediction method of this embodiment.
【0067】 [0067]
ステップ51において、被符号化ブロックx(i)のDCTタイプが判定され、この判定結果によってその後の処理が異なることとなる。 In step 51, it is determined DCT type of the coding block x (i), so that the subsequent processing by the determination result is different.
つまり、被符号化ブロックx(i)がフレームDCT処理されている場合は、ステップS52において、図4(a) に示す、被符号化ブロックx(i)に対する参照ブロックr0(i),r1(i)およびr2(i)を参照するフレーム予測により、被符号化ブロックx(i)のDCT係数の予測値が生成される。 That is, if the encoded block x (i) is frame DCT processing, in step S52, shown in FIG. 4 (a), reference blocks r0 for encoded block x (i) (i), r1 ( the frame prediction referencing the i) and r2 (i), prediction values ​​of DCT coefficients of the coded blocks x (i) is generated.
【0068】 [0068]
一方、被符号化ブロックx(i)がフィールドDCT処理されている場合は、ステップS53において、図4(b) に示す、被符号化ブロックx(i)に対する参照ブロックr0(i)、r1(i)およびr2(i)参照するフィールド予測により、被符号化ブロックx(i)のDCT係数の予測値が生成される。 On the other hand, if the encoded block x (i) is field DCT processing, in step S53, shown in FIG. 4 (b), reference blocks r0 for encoded block x (i) (i), r1 ( the i) and r2 (i) reference field prediction of the predicted value of the DCT coefficients of the coded blocks x (i) is generated.
【0069】 [0069]
以上のようにして、被符号化ブロックx(i)のDCTタイプに応じて、予測に用いる参照ブロックを切替えることで、被符号化ブロックx(i)との間でDCT係数の相関の高いブロックのDCT係数を予測に用いることができ、これにより効率のよい予測を行うことができる。 As described above, according to the DCT type of the coding block x (i), by switching the reference blocks used for prediction, high correlation of DCT coefficients between the encoded block x (i) block it can be used for DCT coefficients to the prediction, which makes it possible to perform efficient prediction.
【0070】 [0070]
次に、図5に示すステップS52のフレーム予測方法の処理手順を、図6のフローチャートを用いて説明する。 Next, the processing procedure of the frame prediction method in step S52 shown in FIG. 5 will be described with reference to the flowchart of FIG. 図6において、r0(i)、r1(i)、r2(i)およびx(i)は、それぞれ図4(a) の参照ブロックおよび被符号化ブロックを示す。 In FIG. 6, r0 (i), r1 (i), r2 (i) and x (i) shows the reference blocks and the encoded block, respectively, in FIG 4 (a). 図6のフレーム予測方法の処理手順においては、フレームDCT処理されている参照ブロック、すなわち被符号化ブロックx(i)と同じDCTタイプの参照ブロックを優先して予測に用いる。 In the processing procedure of the frame prediction method in FIG. 6, the reference block being frame DCT processing, i.e. used for prediction with priority of the reference block same DCT type as the encoded block x (i).
【0071】 [0071]
まず、ステップS611aにおいて、被符号化ブロックx(i)の左隣りの参照ブロックr2(i)のDCTタイプが判定される。 First, in step S611a, the left next to the DCT type of the reference block r2 (i) of the encoded block x (i) it is determined. この判定結果によってその後の処理が異なる。 Subsequent processing by the determination result is different. 次に、ステップS612aおよびS613aにおいて、被符号化ブロックx(i)の上側に隣接して位置する参照ブロックr1(i)のDCTタイプが判定される。 Next, in step S612a and S613a, DCT type of the reference block r1 (i) located adjacent to the upper side of the encoded block x (i) is determined. この判定結果によってその後の処理が異なる。 Subsequent processing by the determination result is different. このようにして、参照ブロックr1(i)およびr2(i)のDCTタイプによって、図6に示すフレーム予測の処理は、次の4つの処理(A1)〜(A4)に分けられる。 In this way, the DCT type of the reference block r1 (i) and r2 (i), processing of the frame prediction shown in FIG. 6 is divided into the following four processes (A1) ~ (A4).
【0072】 [0072]
(A1) 参照ブロックr1(i)およびr2(i)が共にフレームDCT処理されている場合は、ステップS614aにおいて、参照ブロックr0(i)、r1(i)およびr2(i)のDCT係数を参照して、後述する「所定の方法1」により被符号化ブロックx(i)のDCT係数の予測値を生成する。 (A1) If the reference block r1 (i) and r2 (i) are both frame DCT processing, in step S614a, the reference blocks r0 (i), see the DCT coefficients r1 (i) and r2 (i) and generates a predicted value of the DCT coefficients of the coded blocks x (i) by "a prescribed method 1" later.
【0073】 [0073]
(A2) 参照ブロックr1(i)がフィールドDCTされ、参照ブロックr2(i)がフレームDCT処理されている場合は、従来の方法と同様にして、つまり図15に示すブロックR2のDCT係数からブロックXのDCT係数の予測値を生成するのと同様にして、ステップS615aにおいて、参照ブロックr2(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 (A2) the reference block r1 (i) is field DCT, if the reference block r2 (i) is frame DCT processing, in the same manner as the conventional method, i.e. the block from the DCT coefficients of block R2 shown in FIG. 15 in the same way as generating the predicted value of the DCT coefficients of X, in step S615a, with reference to DCT coefficients of the reference block r2 (i) to produce a predicted value of the DCT coefficients of the coded blocks x (i).
【0074】 [0074]
(A3) 参照ブロックr1(i)がフレームDCT処理され、参照ブロックr2(i)がフィールドDCT処理されている場合は、従来の方法と同様にして、つまり図15に示すブロックR1のDCT係数からブロックXのDCT係数の予測値を生成するのと同様にして、ステップS616aにおいて、参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 (A3) the reference block r1 (i) is frame DCT processing, when the reference block r2 (i) is field DCT processing, in the same manner as the conventional method, i.e. the DCT coefficients of the block R1 shown in FIG. 15 in the same way as generating the predicted value of the DCT coefficients of the block X, generates a predicted value of the DCT coefficients of the coded blocks x (i) using in step S616a, the reference block r1 to DCT coefficients of the (i) .
【0075】 [0075]
(A4) 参照ブロックr1(i)およびr2(i)が共にフィールドDCT処理されている場合は、ステップS617aにおいて、参照フレームr0(i)、r1(i)およびr2(i)のDCT係数を参照して、後述する「所定の方法2」により被符号化ブロックx(i)の予測値を生成する。 (A4) When the reference block r1 (i) and r2 (i) are both field DCT processing, in step S617a, the reference frame r0 (i), see the DCT coefficients r1 (i) and r2 (i) and generates a predicted value of the coded block x (i) by "a prescribed method 2" described later.
【0076】 [0076]
なお、ステップS617aにおいては、参照ブロックr0(i)、r1(i)およびr2(i)のDCT係数を参照せずに、0などの所定の値を予測値として用いるようにしてもよい。 In the step S617a, the reference blocks r0 (i), without reference to DCT coefficients of r1 (i) and r2 (i), may be used a predetermined value such as 0 as the predicted value. また、ステップS613aおよびステップS617aを省略して、参照ブロックr2(i)がフレームDCT処理されていない場合は、常にステップS616aにおいて、参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成するようにしてもよい。 Further, steps S613a and omit step S617a, if the reference block r2 (i) is not a frame DCT processing, in always the step S616a, the reference block r1 (i) encoded block x using DCT coefficients of it may generate prediction values ​​of DCT coefficients of (i).
【0077】 [0077]
次に、図5に示すステップ53のフィールド予測方法における処理手順を、図7のフローチャートにより説明する。 Next, a processing procedure in the field prediction method in step 53 shown in FIG. 5 will be described with reference to the flowchart of FIG.
図7に示すフィールド予測方法の処理手順は、図6に示すフレーム予測方法の処理手順において、フレームとフィールドを入れ替えたものである。 Procedure of the field prediction method shown in FIG. 7, in the processing procedure of the frame prediction method shown in FIG. 6, in which interchanged frames and fields.
【0078】 [0078]
ただし、図7によるフィールド予測方法の説明においては、参照ブロックr0(i)、r1(i)、r2(i)、および被符号化ブロックx(i)は、それぞれ図4(b) に示す参照ブロックおよび被符号化ブロックを示すものとする。 However, the reference in the description of the field prediction method of FIG. 7, reference blocks r0 (i), r1 (i), r2 (i), and encoded block x (i) is shown in FIGS 4 (b) denote the block and the coded block.
すなわち、図7のフィールド予測方法の処理手順においても、被符号化ブロックx(i)と同じDCTタイプの参照ブロック(フィールドDCT処理が施された参照ブロック)を優先して予測に用いる。 That is, in the procedure of the field prediction method in FIG. 7, used for prediction with priority same DCT type of the reference block and the encoded block x (i) (see block field DCT processing has been performed).
【0079】 [0079]
まず、ステップS711bにおいて、被符号化ブロックx(i)の左隣りの参照ブロックr2(i)のDCTタイプが判定される。 First, in step S711b, the left next to the DCT type of the reference block r2 (i) of the encoded block x (i) it is determined. この判定結果によってその後の処理が異なる。 Subsequent processing by the determination result is different. 次に、ステップS712bおよびS713bにおいて、被符号化ブロックx(i)の上側に位置する参照ブロックr1(i)のDCTタイプが判定される。 Next, in step S712b, and S713b, DCT type of the reference block r1 (i) positioned above the encoded block x (i) is determined. この判定結果によってその後の処理が異なる。 Subsequent processing by the determination result is different. このようにして、参照ブロックr1(i)およびr2(i)のDCTタイプによって、図7に示すフィールド予測の処理は、次の4つの処理(B1)〜(B4)に分けられる。 In this way, the DCT type of the reference block r1 (i) and r2 (i), the processing of the field prediction shown in FIG. 7 can be divided into the following four processes (B1) ~ (B4).
【0080】 [0080]
(B1) 参照ブロックr1(i)およびr2(i)が共にフィールドDCT処理されている場合は、ステップS714bにおいて、参照ブロックr0(i)、r1(i)およびr2(i)のDCT係数を参照して、後述する「所定の方法1」により被符号化ブロックx(i)のDCT係数の予測値を生成する。 (B1) if the reference block r1 (i) and r2 (i) are both field DCT processing, in step S714b, the reference block r0 (i), see the DCT coefficients r1 (i) and r2 (i) and generates a predicted value of the DCT coefficients of the coded blocks x (i) by "a prescribed method 1" later.
【0081】 [0081]
(B2) 参照ブロックr1(i)がフレームDCT処理され、参照ブロックr2(i)がフィールドDCT処理されている場合は、従来の方法と同様にして、つまり図15に示すブロックR2のDCT係数からブロックXのDCT係数の予測値を生成するのと同様にして、ステップS715bにおいて、参照ブロックr2(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 (B2) the reference block r1 (i) is frame DCT processing, when the reference block r2 (i) is field DCT processing, in the same manner as the conventional method, i.e. the DCT coefficients of block R2 shown in FIG. 15 in the same way as generating the predicted value of the DCT coefficients of the block X, generates a predicted value of the DCT coefficients of the coded blocks x (i) using in step S715b, the reference block r2 the DCT coefficients of the (i) .
【0082】 [0082]
(B3) 参照ブロックr1(i)がフィールドDCT処理され、参照ブロックr2(i)がフレームDCT処理されている場合は、従来の方法と同様にして、つまり図15に示すブロックR1のDCT係数からブロックXのDCT係数の予測値を生成するのと同様にして、ステップS716bにおいて、参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 (B3) the reference block r1 (i) is field DCT processing, when the reference block r2 (i) is frame DCT processing, in the same manner as the conventional method, i.e. the DCT coefficients of the block R1 shown in FIG. 15 in the same way as generating the predicted value of the DCT coefficients of the block X, generates a predicted value of the DCT coefficients of the coded blocks x (i) using in step S716b, the reference block r1 to DCT coefficients of the (i) .
【0083】 [0083]
(B4) 参照ブロックr1(i)およびr2(i)が共にフレームDCT処理されている場合は、ステップS717bにおいて、参照フレームr0(i)、r1(i)およびr2(i)のDCT係数を参照して、後述する「所定の方法2」により被符号化ブロックx(i)の予測値を生成する。 (B4) When the reference block r1 (i) and r2 (i) are both frame DCT processing, in step S717b, the reference frame r0 (i), see the DCT coefficients r1 (i) and r2 (i) and generates a predicted value of the coded block x (i) by "a prescribed method 2" described later.
【0084】 [0084]
なお、ステップS717bにおいては、参照ブロックr0(i)、r1(i)、およびr2(i)を参照せずに、0などの所定の値を予測値として用いるようにしてもよい。 In the step S717b, the reference block r0 (i), r1 (i), and without reference to r2 (i), may be used a predetermined value such as 0 as the predicted value. また、ステップS713bおよびステップS717bを省略して、参照ブロックr2(i)がフィールドDCT処理されていない場合は、常にステップS716bにおいて、参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成するようにしてもよい。 Further, steps S713b and omit step S717b, when the reference block r2 (i) has not been field DCT processing, in constantly step S716b, the reference block r1 (i) encoded block x using DCT coefficients of it may generate prediction values ​​of DCT coefficients of (i).
【0085】 [0085]
以上、図6および図7の処理手順に示した予測方法のように、被符号化ブロックと同じDCTタイプのブロック、すなわち被符号化ブロックとの間でDCT係数の相関の高い参照ブロックを優先して、被符号化ブロックの予測に用いることにより、効率のよい予測を行うことができる。 Above, as the prediction method shown in the procedure of FIG. 6 and FIG. 7, the same DCT type as the encoded block block, i.e. a high reference block correlation of DCT coefficients preferentially between encoded block Te, by using the prediction of the encoded block, it is possible to perform efficient prediction.
【0086】 [0086]
次に、上述した図6に示すステップS614aの「所定の方法1」またはステップS617aの「所定の方法2」に基づいた予測値生成方法の処理手順を、図8に示すフローチャートを用いて説明する。 Next, a processing procedure of the prediction value generating method based on a "predetermined method 2" of the "predetermined manner 1" or steps S617a step S614a shown in FIG. 6 described above will be described with reference to the flowchart shown in FIG. 8 .
【0087】 [0087]
図8の方法では、従来のDCT係数予測方法と同様の処理を行うために、ステップS821aからステップS829aの処理において、図15に示す4つのブロックに対応した、該各ブロックのDCT係数を格納するための仮想的なメモリ空間(仮想バッファ)を想定し、該仮想バッファ上の各ブロックに対して従来のDCT係数予測方法を適用する。 In the method of FIG. 8, in order to perform the conventional same process as DCT coefficient prediction method, in the process of step S829a from step S821a, corresponding to the four blocks shown in FIG. 15, and stores the DCT coefficients of each of the block a virtual memory space (a virtual buffer) assumed for, applying conventional DCT coefficient prediction method for each block on the virtual buffer.
【0088】 [0088]
図8においては、R0、R1およびR2は仮想バッファ上の参照ブロックを表し、DC0、DC1およびDC2は、それぞれ上記仮想バッファ上の参照ブロックR0、R1およびR2のDCT係数のDC成分を表す。 In Figure 8, R0, R1 and R2 represent reference blocks on the virtual buffer, DC0, DC1 and DC2, respectively represent the DC component of the DCT coefficients of the reference block R0, R1 and R2 on the virtual buffer. なお、図8の予測値生成方法の説明において、r0(i)、r1(i)、r2(i)、x(i)は図4(a) に示す位置関係を有する参照ブロック及び被符号化ブロックを表している。 In the description of the predicted value generation method of Figure 8, r0 (i), r1 (i), r2 (i), x (i) is a reference block and the coded with the positional relationship shown in FIG. 4 (a) it represents the block.
【0089】 [0089]
図8に示す処理では、まず、ステップS821a、ステップS822aおよびステップS823aにおいて、参照ブロックR0のDCT係数が生成されるが、上記ステップS821aにおける、参照ブロックr0(i)のDCTタイプの判定結果によって、その後の、参照ブロックR0のDCT係数を生成する処理が異なる。 In the process shown in FIG. 8, first, step S821a, in step S822a and step S823a, but DCT coefficients of the reference block R0 is generated, in step S821a, the DCT type of the determination result of the reference blocks r0 (i), subsequent, the process of generating DCT coefficients of the reference block R0 is different.
【0090】 [0090]
すなわち、参照ブロックr0(i)がフィールドDCT処理されている場合は、ステップS822aにおいて、参照ブロックr0(i)の近傍のブロックから所定の方法によりDCT係数を生成し、生成したDCT係数を参照ブロックR0のDCT係数として上記仮想バッファに格納する。 That is, when the reference block r0 (i) is field DCT processing, in step S822a, by a predetermined method from the block in the vicinity of the reference block r0 (i) to generate a DCT coefficient, the reference block and the resulting DCT coefficients as DCT coefficients R0 is stored in the virtual buffer. 一方、参照ブロックr0(i)がフレームDCT処理されている場合は、ステップS823aにおいて、参照ブロックr0(i)のDCT係数が参照ブロックR0のDCT係数として仮想バッファに格納される。 On the other hand, if the reference block r0 (i) is frame DCT processing, in step S823a, DCT coefficients of the reference block r0 (i) is stored in the virtual buffer as DCT coefficients of the reference block R0. 上記と同様にして、ステップS824a、825aおよび826aにおいて、参照ブロックR1のDCT係数が生成され、ステップS827a、828aおよびステップS829aにおいて、参照ブロックR2のDCT係数が生成されて、上記仮想バッファに格納される。 In the same manner as described above, in step S824a, 825a and 826a, DCT coefficients of the reference block R1 are generated, step S827a, at 828a and step S829a, DCT coefficients of the reference block R2 are generated, stored in the virtual buffer that.
【0091】 [0091]
以降の処理は従来のDCT係数予測方法と同様であり、ステップS830aにおいて、参照ブロックR0およびR1のDCT係数のDC成分の差の絶対値(|DC0−DC1|)と、参照ブロックR0およびR2のDCT係数のDC成分の差の絶対値(|DC0−DC2|)の大小が比較される。 Subsequent processing is the same as the conventional DCT coefficient prediction method, in step S830a, the absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R1 (| DC0-DC1 |) and, of the reference block R0 and R2 the absolute value of the difference between the DC components of DCT coefficients (| DC0-DC2 |) large and small are compared. 参照ブロックR0およびR2のDCT係数のDC成分の差の絶対値(|DC0−DC2|)が、参照ブロックR0およびR1のDCT係数のDC成分の差の絶対値(|DC0−DC1|)よりも小さい場合は、ステップS832aにおいて参照ブロックR1のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 The absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R2 (| DC0-DC2 |) is the absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R1 (| DC0-DC1 |) than If smaller, the predicted value of the DCT coefficients of the coded blocks x (i) is generated using the DCT coefficients of the reference block R1 in step S832a.
【0092】 [0092]
それ以外の場合は、ステップS831aにおいて参照ブロックR2のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 Otherwise, the predicted value of the DCT coefficients of the coded blocks x (i) is generated using the DCT coefficients of the reference block R2 in step S831a.
なお、図6のステップS814aの「所定の方法1」においては、参照ブロックr1(i)およびr2(i)のDCTタイプはフレームであることが分かっているので、図8のステップS824a,ステップS827a,ステップS825aおよびステップS828aによる処理を省略することができる。 Note that in the "prescribed method 1" in step S814a in FIG. 6, because it has been found that DCT type of the reference block r1 (i) and r2 (i) is a frame, the steps of FIG. 8 S824a, step S827a , it is possible to omit the processing in step S825a and step S828a.
【0093】 [0093]
次に、図7で示すステップS714bの「所定の方法1」またはステップS717bの「所定の方法2」における処理手順を、図9に示すフローチャートを用いて説明する。 Next, a processing procedure in "a prescribed method 2" of the "predetermined manner 1" or step S717b step S714b shown in FIG. 7 will be described with reference to the flowchart shown in FIG.
【0094】 [0094]
図9のフローチャートに示す処理手順は、図8のフローチャートに示す処理手順において、各ブロックがフレームDCTされているか否かの判定処理を、各ブロックがフィールドDCTされているか否かの判定処理と置き換えたものであり、処理の概要については、上記図7に示す処理と同様である。 Processing procedure shown in the flowchart of FIG. 9, in the processing procedure shown in the flowchart of FIG. 8, a process of determining whether or not each block is a frame DCT, replaced with process of determining whether or not each block is a field DCT it is as hereinbefore, for an overview of the process is the same as the processing shown in FIG. 7. なお、図9では、参照ブロックr0(i),r1(i),r2(i)およびx(i)は、それぞれ図4(b) に示す位置関係を有する参照ブロックおよび被符号化ブロックを表している。 In FIG. 9, reference block r0 (i), r1 (i), r2 (i) and x (i) represents a reference block and the encoded block having the positional relationships shown in FIGS 4 (b) ing.
【0095】 [0095]
図9に示す処理では、まず、ステップS921b、ステップS922bおよびステップS923bにおいて、参照ブロックR0のDCT係数が生成されるが、上記ステップS921bにおける、参照ブロックr0(i)のDCTタイプの判定結果によって、その後の、参照ブロックR0のDCT係数を生成する処理が異なる。 In the process shown in FIG. 9, first, step S921b, at step S922b and step S923b, but DCT coefficients of the reference block R0 is generated, in step S921b, the DCT type of the determination result of the reference blocks r0 (i), subsequent, the process of generating DCT coefficients of the reference block R0 is different.
【0096】 [0096]
すなわち、参照ブロックr0(i)がフレームDCT処理されている場合は、ステップS922bにおいて、参照ブロックr0(i)の近傍のブロックから所定の方法によりDCT係数が生成され、生成されたDCT係数が参照ブロックR0のDCT係数として上記仮想バッファに格納される。 That is, when the reference block r0 (i) is frame DCT processing, referred to in step S922b, DCT coefficients by a predetermined method from the block in the vicinity of the reference block r0 (i) is generated and the generated DCT coefficients as DCT coefficients of the block R0 is stored in the virtual buffer. 一方、参照ブロックr0(i)がフィールドDCT処理されている場合は、ステップS923bにおいて、参照ブロックr0(i)のDCT係数が参照ブロックR0のDCT係数として仮想バッファに格納される。 On the other hand, the reference block r0 (i) is if it is a field DCT processing, in step S923b, DCT coefficients of the reference block r0 (i) is stored in the virtual buffer as DCT coefficients of the reference block R0. 上記と同様にして、ステップS924b、925bおよび926bにおいて、参照ブロックR1のDCT係数が生成され、ステップS927b、928bおよびステップS929bにおいて、参照ブロックR2のDCT係数が生成されて、上記仮想バッファに格納される。 In the same manner as described above, in step S924b, 925b and 926b, DCT coefficients of the reference block R1 are generated, step S927b, at 928b and step S929b, DCT coefficients of the reference block R2 are generated, stored in the virtual buffer that.
【0097】 [0097]
以降の処理は従来のDCT係数予測方法と同様であり、ステップS930bにおいて、参照ブロックR0およびR1のDCT係数のDC成分の差の絶対値(|DC0−DC1|)と、参照ブロックR0およびR2のDCT係数のDC成分の差の絶対値(|DC0−DC2|)の大小が比較される。 Subsequent processing is the same as the conventional DCT coefficient prediction method, in step S930b, the absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R1 (| DC0-DC1 |) and, of the reference block R0 and R2 the absolute value of the difference between the DC components of DCT coefficients (| DC0-DC2 |) large and small are compared. 参照ブロックR0およびR2のDCT係数のDC成分の差の絶対値(|DC0−DC2|)が、参照ブロックR0およびR1のDCT係数のDC成分の差の絶対値(|DC0−DC1|)よりも小さい場合は、ステップS932bにおいて参照ブロックR1のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 The absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R2 (| DC0-DC2 |) is the absolute value of the difference between the DC components of DCT coefficients of the reference block R0 and R1 (| DC0-DC1 |) than If smaller, the predicted value of the DCT coefficients of the coded blocks x (i) is generated using the DCT coefficients of the reference block R1 in step S932b.
【0098】 [0098]
それ以外の場合は、ステップS931bにおいて参照ブロックR2のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 Otherwise, the predicted value of the DCT coefficients of the coded blocks x (i) is generated using the DCT coefficients of the reference block R2 in step S931b.
なお、図7のステップS714bの「所定の方法1」においては、参照ブロックr1(i)およびr2(i)のDCTタイプはフィールドであることが分かっているので、図9のステップS924b,927b,ステップS925bおよびステップS928bによる処理を省略することができる。 Note that in the "prescribed method 1" in step S714b of FIG. 7, the DCT type of the reference block r1 (i) and r2 (i) has been found to be a field, the steps of FIG. 9 S924b, 927b, the processing in step S925b and step S928b may be omitted.
【0099】 [0099]
このようにして、被符号化ブロックのDCT係数の予測処理において、被符号化ブロックと異なるDCTタイプのブロックのDCT係数を参照する必要のある場合に、被符号化ブロックと異なるDCTタイプのDCT係数をそのまま参照するのではなく、参照ブロックの近傍のブロックから、被符号化ブロックと同じDCTタイプのDCT係数の特性に近いDCT係数を生成して、生成したDCT係数を参照して被符号化ブロックのDCT係数を予測することにより、効率のよい予測を行うことが可能となる。 In this way, in the prediction processing of the DCT coefficients of the coded blocks, when it is necessary to refer to DCT coefficients of blocks of different DCT types and encoded block, DCT coefficients of the DCT type different from the encoded block instead of referring directly to, from the vicinity of the reference block blocks, and generates a DCT coefficient close to the characteristics of DCT coefficients of the same DCT type as the encoded block, referring to the coded block and the resulting DCT coefficients by predicting the DCT coefficients, it is possible to perform efficient prediction.
【0100】 [0100]
図10は、図8のステップS822a,825a,828a,図9のステップS922b,S925b,S928bにおける、参照ブロックrの近傍のブロックからのDCT係数を生成する方法を説明するための概念図である。 Figure 10 is a conceptual diagram for explaining the steps of FIG. 8 S822a, 825a, 828a, the steps of FIG. 9 S922b, S925b, at S928b, the method of generating DCT coefficients from blocks in the vicinity of the reference block r.
【0101】 [0101]
図10および図11の説明において、rは、周波数領域上の参照ブロックr0(i),参照ブロックr1(i),及び参照ブロックr2(i)のいずれかを示し、Rは、仮想バッファ上の参照ブロックR0,参照ブロックR1,及び参照ブロックR2のいずれかを示している。 In the description of FIGS. 10 and 11, r is a reference block r0 of the frequency domain (i), the reference block r1 (i), and indicates one of the reference block r2 (i), R is, on the virtual buffer It shows one of the reference blocks R0, reference block R1, and the reference block R2.
【0102】 [0102]
図8のステップS822a,825a,828a,及び図9のステップS922b,S925b,S928bにおける、参照ブロックrの近傍のブロックからDCT係数を生成する処理では、図10に示すように、参照ブロックr近傍の2つのブロックのDCT係数から所定の関数を用いてDCT係数を生成し、生成したDCT係数を仮想バッファ上の参照ブロックRのDCT係数とする。 Step S822a in FIG. 8, 825a, 828a, and step S922b of FIG. 9, S925b, at S928b, the process of generating DCT coefficients from blocks in the vicinity of the reference block r as shown in FIG. 10, the reference block r in the neighborhood generate DCT coefficients from the DCT coefficients of two blocks with a predetermined function, the generated DCT coefficients and the DCT coefficients of the reference block R on the virtual buffer.
【0103】 [0103]
図11は、仮想バッファ上の参照ブロックRのDCT係数の生成手順を示している。 Figure 11 shows a procedure of generating DCT coefficients of the reference block R on the virtual buffer. ここでは、DCT領域上のマクロブロック内での参照ブロックrの位置によって、異なる処理が行われる。 Here, the position of the reference block r in the macroblock in the DCT domain, different processing is performed.
【0104】 [0104]
例えば、DCT領域のマクロブロックにおけるブロック位置(0)または(2)に、すなわちDCT領域のマクロブロックの左側に参照ブロックrが位置している場合は、ステップS1142Lにおいて、参照ブロックrが含まれるDCT領域のマクロブロックのブロック位置(0)および(2)に位置するブロックのDCT係数から、図10に示すように、所定の関数を用いて仮想バッファ上の参照ブロックRのDCT係数を生成する。 For example, DCT blocks located in the macroblock DCT domain (0) or (2), i.e. the reference block r to the left of the macroblock of DCT domain may have located in step S1142L, including the reference block r from DCT coefficients of blocks positioned in the blocking position of the macroblock in the region (0) and (2), as shown in FIG. 10, to generate the DCT coefficients of the reference block R on the virtual buffer by using a predetermined function. DCT領域のマクロブロックのブロック位置(1)または(3)に、すなわちDCT領域のマクロブロックの右側の位置に参照ブロックrが位置している場合は、ステップS1142Rにおいて、参照ブロックrが含まれるDCT領域のマクロブロックのブロック位置(1)および(3)に位置するブロックのDCT係数から、図10に示すように、所定の関数を用いて仮想バッファ上の参照ブロックRのDCT係数を生成する。 The block position of the macroblock in the DCT domain (1) or (3), i.e. DCT reference block r in the right position of the macroblock in the DCT domain may have located, at step S1142R, including the reference block r from DCT coefficients of blocks positioned in the blocking position of the macroblock in the region (1) and (3), as shown in FIG. 10, to generate the DCT coefficients of the reference block R on the virtual buffer by using a predetermined function.
【0105】 [0105]
ここで用いる所定の関数としては、周波数領域上の参照ブロックrの近傍に位置する2つのブロックのDCT係数の平均または重み付け平均を、仮想バッファ上の参照ブロックRのDCT係数とする関数など、参照ブロックr近傍の2つのブロックのDCT係数から一意に仮想バッファ上の参照ブロックRのDCT係数の値を計算できる関数であればよい。 The predetermined function used here, the average or weighted average of the DCT coefficients of two blocks located in the vicinity of the reference block r in the frequency domain, such as a function to DCT coefficients of the reference block R on the virtual buffer, see if a function capable of calculating the value of the DCT coefficients of the reference block R on the uniquely virtual buffer from DCT coefficients of two blocks around the block r may.
そして、周波数領域上の2つのブロックを参照して生成したDCT係数は、ステップS1143において、仮想バッファ上の参照ブロックRのDCT係数とされる。 Then, the DCT coefficients generated with reference to two blocks on the frequency domain, in step S1143, are DCT coefficients of the reference block R on the virtual buffer.
【0106】 [0106]
このようにして、空間領域において参照ブロックrと同じ領域の情報を持つ2つのブロックのDCT係数から予測に用いる仮想領域上の参照ブロックRのDCT係数を生成することにより、被符号化ブロックと同じDCTタイプのDCT係数の周波数特性に近いDCT係数を生成することができる。 In this way, by generating DCT coefficients of the reference block R on the virtual area used for prediction from the DCT coefficients of two blocks having information of the same region as the reference block r in the spatial domain, the same as the encoded block it is possible to generate DCT coefficients close to the frequency characteristics of the DCT coefficients of the DCT type.
【0107】 [0107]
このようにして、本実施の形態1で用いる適応的画面内DCT係数予測方法では、被符号化ブロックのDCTタイプに応じて予測に用いる参照ブロックを切替え、被符号化ブロックと同じDCTタイプの参照ブロックのDCT係数を優先して予測に利用し、さらに参照ブロックが被符号化ブロックと異なるDCTタイプの場合には、参照ブロックの近傍のブロックのDCT係数から、参照ブロックのDCTタイプが被符号化ブロックのDCTタイプと同一である場合の参照ブロックのDCT係数の周波数特性に近いブロックのDCT係数を生成して予測に用いるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をDCT領域(周波数成分)において効率のよく行うことができる。 Thus, in the adaptive intra-frame DCT coefficient prediction method used in the first embodiment, it switches the reference blocks used for prediction according to the DCT type of the coding block, the reference of the same DCT type as the encoded block was used to predict in favor of DCT coefficients of the block, when further reference block is different DCT types and encoded block from DCT coefficients of blocks adjacent to the reference block, DCT type of the reference block is to be coded since used for prediction to generate a DCT coefficient block close to the frequency characteristics of the DCT coefficients of the reference block if it is identical to the DCT type of the block, DCT region intra prediction with respect to the interlaced image signal or a special progressive image ( can be performed with high efficiency in the frequency components).
【0108】 [0108]
この結果、本実施の形態1によれば、処理対象となるマクロブロックとして、異なるDCTタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するMPEG4方式の符号化処理では、画面内の情報を利用して被符号化ブロックのDCT係数の予測値効率の向上により、空間的に冗長な画像情報の除去または減少による画像信号の圧縮符号化を効率よく行うことが可能となる。 As a result, according to the first embodiment, as a macroblock to be processed, different DCT types of the macroblocks are mixed, the encoding process of MPEG4 system for interlaced image or special progressive image or the like, the screen improved predictions efficiency by utilizing the information of the DCT coefficients of the coded blocks, it is possible to efficiently perform compressive coding of an image signal by spatially remove or reduce the redundant image information.
【0109】 [0109]
なお、本実施の形態1において用いる適応的画面内DCT係数予測方法において、図4(a) および(b) の参照ブロックr2(i)のDCT係数を被符号化ブロックx(i)のDCT係数の予測値として用いる場合に、参照ブロックr2(i)と被符号化ブロックx(i)のDCTタイプが異なる場合は、参照ブロックr2(i)のDCT係数のDC成分のみを、被符号化ブロックx(i)のDCT係数の予測値として利用してもよい。 Incidentally, in the adaptive intra-frame DCT coefficient prediction method employed in the first embodiment, DCT coefficients in FIG. 4 (a) and (b) of the reference block r2 DCT coefficients of (i) encoded block x (i) when used as the predicted value, the reference block r2 (i) and if the DCT type is different of encoded block x (i), only the DC component of the DCT coefficients of the reference block r2 (i), the coded block it may be used as prediction values ​​of DCT coefficients of x (i). また、場合によっては、参照ブロックr1(i)についても、そのDCT係数のDC成分のみを、被符号化ブロックx(i)のDCT係数の予測値として利用してもよい。 In some cases, the reference block r1 (i) be, only DC components of the DCT coefficients, may be used as prediction values ​​of DCT coefficients of the coded blocks x (i).
【0110】 [0110]
また、上記実施の形態1では、上記ステップS923b,S926,S929bでは、それぞれ参照ブロックr(具体的には参照ブロックr0(i),r1(i),r2(i))のDCT係数から、被符号化ブロックのDCT係数の予測に用いる仮想バッファ上の参照ブロックR(具体的には参照ブロックR0,R1,R2)のDCT係数を生成しているが、上記ステップS923b,S926,S929bにおいては、それぞれ上記ステップS922b,S925,S928bと同様に、空間領域にて参照ブロックr(具体的には参照ブロックr0(i),r1(i),r2(i))の近傍に位置する2つのブロックのDCT係数から所定の関数を用いてDCT係数を生成し、生成したDCT係数を仮想バッファ上の参照ブロックRのDC Further, in this first embodiment, in the step S923b, S926, S929b, the DCT coefficients of the reference block r (reference block r0 specifically (i), r1 (i), r2 (i)), the Although (specifically the reference block R0, R1, R2) the reference block R on the virtual buffer used for prediction of DCT coefficients of the coded blocks are generating DCT coefficients, in step S923b, S926, S929b, the as with each step S922b, S925, S928b, the reference block r in the spatial domain (see block r0 specifically (i), r1 (i), r2 (i)) of the two blocks located in the vicinity of generate DCT coefficients from the DCT coefficients using a predetermined function, the generated DCT coefficients of the reference block R on the virtual buffer DC 係数としてもよい。 It may be a factor.
【0111】 [0111]
さらにこの場合において、図7に示すフィールド予測処理では、被符号化ブロックx(i)の左隣りの参照ブロックr2(i)及び被符号化ブロックx(i)の上側に隣接して位置する参照ブロックr1(i)のDCTタイプによって、上述した4つの処理B1〜B4のうちの1つを行うようにしているが、これらの処理B1〜B4のうちの処理1,処理B3,及び処理4を、以下に示す処理B1′,処理B3′,及びB4′に置き換えてもよい。 In addition this case, in the field prediction processing shown in FIG. 7 is located adjacent to the upper left of the reference block r2 (i) and the coded block x of encoded block x (i) (i) see the DCT type of block r1 (i), but so as to perform one of the four process B1 to B4 described above, processing one of these processes B1 to B4, the process B3, and process 4 , the process described below B1 ', the process B3' may be replaced with, and B4 '.
【0112】 [0112]
上記処理B3′については、被符号化ブロックの上側に隣接する符号化済みブロック(つまり図4(b) に示す被符号化ブロックx(i)と符号化済みブロックr1(i)の間に位置する符号化済みブロック)を参照ブロックとして、この参照ブロックのDCT係数を被符号化ブロックのDCT係数の予測値として用いるものとする。 For the process B3 ', located between encoded blocks adjacent to the upper side of the encoded block (i.e. FIG. 4 (b) are shown encoded block x (i) and the coded block r1 (i) reference blocks encoded blocks) that shall be used DCT coefficients of the reference block as a prediction value of the DCT coefficients of the coded blocks.
【0113】 [0113]
上記処理B1′及び処理B4′については、ステップS922b,923bでは、参照ブロックr0(i)と、該参照ブロックr0(i)と参照ブロックr2(i)の間に位置する符号化済みブロックとを、0対1の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックR0のDCT係数を生成し、ステップS925b,926bでは、参照ブロックr1(i)と、該参照ブロックr1(i)と被符号化ブロックx(i)の間に位置する符号化済みブロックとを、0対1の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックR1のDCT係数を生成し、ステップS928b,929bでは、参照ブロックr2(i)と、該参照ブロックr2(i)と参照ブロックr0(i)の間に位置する符号化済みブロックとを For the process B1 'and process B4', step S922b, the 923b, and the reference block r0 (i), and a coded block positioned between the reference block r0 (i) and the reference block r2 (i) , weighted average weighting ratio of 0: 1, to generate the DCT coefficients of the reference block R0 on the virtual buffer, step S925b, the 926b, and the reference block r1 (i), the reference block r1 (i) and the a coded block positioned between the coding block x (i), and weighted average weighting ratio of 0: 1, to generate the DCT coefficients of the reference block R1 on the virtual buffer, step S928b, the 929b , and the reference block r2 (i), and a coded block positioned between the reference block r2 (i) and the reference block r0 (i) 1対0の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックR1のDCT係数を生成するものとする。 Weighted average weight ratio of 1 to 0, it is assumed to generate the DCT coefficients of the reference block R1 on the virtual buffer. なお、上記処理B1′及びB4′処理では、各ブロックr0(i)〜r2(i)は被符号化ブロックx(i)に対して図4(b) に示す位置に位置しているものとする。 In the process B1 'and B4' process, each block r0 (i) ~r2 (i) is to those located at the position shown in FIG. 4 (b) with respect to encoded block x (i) to.
【0114】 [0114]
言い換えると、上記処理B1′及び処理B4′は、参照ブロックr0(i)とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックx(i)に近い方の重み付け比率を1として行い、参照ブロックr1(i)とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックx(i)に近い方の比率を1として行い、さらに参照ブロックr2(i)とその上側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックx(i)に近い方の比率を1として行うものである。 In other words, the weighted average between the coded block above processes B1 'and process B4' is located adjacent the reference block r0 (i) and on its underside, the coded among the both blocks performs weighting ratio closer to block x (i) as a 1, the reference block r1 (i) and a weighted average between the coded block positioned adjacent to the lower side, of the the both blocks performs the ratio closer to the coded block x (i) as a weighted average between the coded block, the both said block located further adjacent reference block r2 (i) and on its upper side and performs the ratio closer to the coded block x (i) as a 1 out.
【0115】 [0115]
この場合、重み付け平均のための演算処理が簡単なものとなり、また被符号化サブブロックに対して空間的に最も近い位置の符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値が生成されることとなるので、簡単な演算処理による適応的画面内DCT係数予測方法により、インターレースあるいは特定のプログレッシブ画像に対する符号化処理全体としての予測効率を向上することができる。 In this case, the weighting processing for the average becomes as simple, also in reference to the coded sub-blocks a frequency component of the encoded sub blocks spatially closest position relative to the coded sub-blocks because so that the predicted value of the frequency components is generated, it is possible by adaptive intra DCT coefficient prediction method according to a simple calculation process, to improve the prediction efficiency of the entire coding process for interlace or a specific progressive image .
【0116】 [0116]
実施の形態2. The second embodiment.
本実施の形態2による画像処理装置(画像復号化装置)及び復号化方法(画像復号化方法)は、上記実施の形態1で示した画像符号化装置及び画像符号化方法で用いた適応的画面内DCT係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。 The image processing apparatus according to the second embodiment (image decoding apparatus) and a decoding method (image decoding method) is adaptive screen used in the image coding apparatus and image coding method shown in the first embodiment with inner DCT coefficient prediction method is characterized by performing decoding of coded image signal.
【0117】 [0117]
図2は、本実施の形態2による画像復号化装置のブロック図を示し、図1と同一符号は同一部分、または相当分を示す。 Figure 2 shows a block diagram of an image decoding apparatus according to the second embodiment, FIG. 1 denote the same parts or equivalent.
この画像復号化装置2000は、上記本実施の形態1による画像符号化装置1000により画像信号を符号化して得られる画像符号化信号(ビットストリーム)110bを受け、これに対して適応的画面内DCT係数予測方法を用いた復号化処理を施すものである。 The image decoding apparatus 2000 receives a coded image signal (bit stream) 110b which is obtained by coding an image signal by the image coding apparatus 1000 according to Embodiment 1 of the present embodiment, the adaptive intra DCT contrast it is intended to apply a decoding process using the coefficient prediction method.
【0118】 [0118]
すなわち、この画像復号化装置2000は、画像符号化装置1000より出力されたビットストリーム110bを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するDCT係数差分値108(被符号化ブロックのDCT係数量子化値107とその画面内予測値111との差分値)を復元する可変長復号化器(VLD器)203と、被復号化ブロックに対する画面内予測値111を生成する画面内予測処理部210と、該画面内予測値111と上記DCT係数差分値108とを加算して、被復号化ブロックに対するDCT係数量子化値106を復元する加算器112とを有している。 That is, the image decoding apparatus 2000 receives a bit stream 110b output from the image coding apparatus 1000, which was variable length decoding by data analysis, DCT coefficients difference values ​​108 corresponding to the decoding blocks ( a variable length decoder (VLD unit) 203 to restore the difference value) between the DCT coefficient quantization values ​​107 of the coded block and its intraframe prediction value 111, the intra prediction values ​​111 with respect to the decoded block generation It has a screen prediction processing unit 210, by adding the said intra-frame prediction values ​​111 and the DCT coefficient difference values ​​108, and an adder 112 to restore the DCT coefficient quantization values ​​106 with respect to the decoding blocks there.
【0119】 [0119]
ここで、上記画面内予測処理部210は、上記加算器112の出力106を復号化済みブロックのDCT係数量子化値として格納するブロックメモリ115と、画像符号化装置1000からのDCTタイプ信号102に応じて、適応的画面内DCT係数予測方法により、上記ブロックメモリ115に格納されている復号化済みブロックのDCT係数量子化値114から被復号化ブロックのDCT係数量子化値に対する予測値111を生成するDCT係数予測器113とから構成されている。 Here, the intra prediction processing unit 210 includes a block memory 115 which stores the output 106 from the adder 112 as DCT coefficient quantization values ​​of the decoded block, the DCT type signal 102 from the image coding apparatus 1000 in response, the adaptive intra DCT coefficient prediction method, generates a predicted value 111 for DCT coefficient quantization values ​​of the decoded block from the DCT coefficient quantization values ​​114 of the decoded block stored in the block memory 115 and a DCT coefficient predictor 113 for.
【0120】 [0120]
また、上記画像復号化装置2000は、上記加算器112の出力106に対して逆量子化処理を施して、被復号化ブロックに対するDCT係数104を復元する逆量子化器207と、該逆量子化器207の出力に対して逆DCT処理を施して、被復号化ブロックに対する画像信号101を復元する逆DCT器209と、該逆DCT器209の出力を受け、画像符号化装置1000からのDCTタイプ信号102に基づいて、走査線構造の画像信号110aを復元する逆ブロック化器200とを有している。 Further, the image decoding apparatus 2000, performs inverse quantization processing on the output 106 of the adder 112, an inverse quantizer 207 to restore DCT coefficients 104 with respect to the decoded block, inverse quantization It is subjected to inverse DCT processing on the output of the vessel 207, an inverse DCT unit 209 for restoring the image signal 101 with respect to the decoded block, receiving the output from the inverse DCT unit 209, DCT type from the image coding apparatus 1000 based on signal 102, and an inverse blocking unit 200 for restoring an image signal 110a of a scanning line structure.
【0121】 [0121]
次に動作について説明する。 Next, the operation will be described.
本画像復号化装置2000に、画像符号化装置1000からの画像符号化信号110bが入力されると、該画像符号化信号110bはVLD器203にてそのデータ解析により可変長復号化され、被復号化ブロックに対するDCT係数差分値108として出力される。 In the image decoding apparatus 2000, the coded image signal 110b from the image coding apparatus 1000 is input, the coded image signal 110b is variable length decoded by data analysis by the VLD 203, the decoding It is output as DCT coefficient difference values ​​108 for block.
この被復号化ブロックに対するDCT係数差分値108は、加算器112にてその予測値111と加算されて、被復号化ブロックに対するDCT係数量子化値106が復元される。 The DCT coefficients difference values ​​108 with respect to the decoding block is summed with the prediction value 111 by the adder 112, DCT coefficient quantization values ​​106 with respect to the decoding block is restored.
【0122】 [0122]
このとき、上記被復号化ブロックに対するDCT係数量子化値106は、上記画面内予測処理部210に供給され、そのブロックメモリ115に復号化済みブロックのDCT係数量子化値として格納される。 At this time, the DCT coefficient quantization values ​​106 with respect to the decoding block is supplied to the intra prediction processing unit 210, are stored as DCT coefficient quantization values ​​of the decoded block in the block memory 115. さらに、DCT係数予測器113には、上記ブロックメモリ115から復号化済みブロックに対応するDCT係数量子化値114が読み出され、ここでは、画像符号化装置1000からのDCTタイプ信号102に基づいてブロックメモリ115からのDCT係数量子化値114を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのDCT係数差分値108に対する予測値を生成する適応的DCT係数予測処理が、画像符号化装置1000の画面内予測処理部110における予測値生成処理と同様に行われる。 Further, the DCT coefficient predictor 113, DCT coefficient quantization values ​​114 corresponding to the decoded block from the block memory 115 is read out, here, on the basis of the DCT type signal 102 from the image coding apparatus 1000 with reference to DCT coefficient quantization values ​​114 from the block memory 115, adaptive DCT coefficient prediction process for generating a predicted value for the DCT coefficients difference values ​​108 of the next decoding block to be processed next of the target decoding block is carried out in the same manner as the predicted value generation processing in the intra prediction processing unit 110 of the image coding apparatus 1000.
【0123】 [0123]
さらに上記DCT係数量子化値106は、逆量子化器207にて逆量子化処理により、被復号化ブロックに対するDCT係数104に変換され、さらにこのDCT係数104は、逆DCT器209にて逆離散コサイン変換により、被復号化ブロックに対する画像信号101に変換される。 Furthermore the DCT coefficient quantization values ​​106, the inverse quantization processing by the inverse quantizer 207, is converted into DCT coefficients 104 with respect to the decoded block, further the DCT coefficients 104 are inverse discrete by the inverse DCT unit 209 the cosine transform, is converted into an image signal 101 with respect to the decoded blocks.
【0124】 [0124]
そしてこの被復号化ブロックに対する画像信号101が逆ブロック化器200に供給されると、該逆ブロック化器200では、画像符号化装置1000からのDCTタイプ信号102に基づいて、走査線構造の画像信号110aが再生される。 And this when the image signal 101 with respect to the decoding block is supplied to the inverse blocking unit 200, the inverse blocking unit 200, based on the DCT type signal 102 from the image coding apparatus 1000, the image of the scanning line structure signal 110a are reproduced.
【0125】 [0125]
このように本実施の形態2では、適応的画面内DCT係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を適応的画面内DCT係数予測処理を用いて画面内予測符号化して得られた画像符号化信号(ビットストリーム)を、DCT領域における画面内予測処理により効率よくしかも正しく復号化することができる。 In this second to the present embodiment, by using the adaptive intra-frame DCT coefficient prediction method, since the decoding of the coded image signal, adaptive screen image signal corresponding to the interlaced image or a special progressive image the using inner DCT coefficient prediction processing intraframe prediction encoding to the obtained coded image signal (bit stream), it is possible to efficiently and correctly decoded by the intra prediction processing in the DCT domain.
【0126】 [0126]
実施の形態3. Embodiment 3.
次に本発明の実施の形態3による画像処理装置(画像符号化装置)について説明する。 Next will be described an image processing apparatus according to a third embodiment of the present invention (image coding apparatus).
本実施の形態3による画像符号化装置は、上記実施の形態1における、図5に示す予測値生成手順のステップS52でのフレーム予測により被符号化ブロックのDCT係数の予測値を生成する処理を、図12に示す処理手順で実施し、実施の形態1における、ステップS53でのフィールド予測により被符号化ブロックのDCT係数の予測値を生成する処理を、図13に示す処理手順で実施する構成としたものである。 The image coding apparatus according to the third embodiment, in the first embodiment, the process of generating prediction values ​​of DCT coefficients of the coded blocks by frame prediction in step S52 the predicted value generation procedure shown in FIG. 5 , carried out in the procedure shown in FIG. 12, in the first embodiment, the process of generating prediction values ​​of DCT coefficients of the coded blocks by field prediction in step S53, carried out in the procedure shown in FIG. 13 structure it is obtained by the.
【0127】 [0127]
そして本実施の形態3の画像符号化装置による適応的画面内DCT係数予測処理は、フレーム予測方法およびフィールド予測方法以外については、上記実施の形態1の適応的画面内DCT係数予測処理と同様であるので、ここでは図12および図13を用いて本実施の形態3におけるフレーム予測方法およびフィールド予測方法についてのみ説明する。 The adaptive intra DCT coefficient prediction process by the image coding apparatus of the third embodiment, except for the frame prediction method and the field prediction method is similar to the adaptive intra DCT coefficient prediction processing in the first embodiment since, here it will be described only for the frame prediction method and the field prediction method in the third embodiment with reference to FIGS. 12 and 13.
【0128】 [0128]
図12は、図5に示すステップS52におけるフレーム予測方法を実現する本実施の形態3での処理手順をフローチャートにより示す。 Figure 12 is a flowchart showing the processing procedure in step S52 the third embodiment for implementing the frame prediction method in illustrated in FIG. 図12において、r0(i)、r1(i)、r2(i)およびx(i)は、それぞれ図4(a) に示す参照ブロックおよび被符号化ブロックを表すものとする。 In FIG. 12, r0 (i), r1 (i), r2 (i) and x (i) shall respectively representing the reference block and the encoded block shown in Figure 4 (a).
【0129】 [0129]
この実施の形態3では、まず、ステップS1221aにて参照ブロックr2(i)のDCTタイプが判定される。 In the third embodiment, first, DCT type of the reference block r2 (i) is determined in step S1221a. この判定結果によってその後の処理が異なる。 Subsequent processing by the determination result is different.
すなわち、参照ブロックr2(i)がフレームDCT処理されている場合は、「所定の方法」として図8に示す予測値生成方法を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 That is, when the reference block r2 (i) is frame DCT processing, the prediction values ​​of DCT coefficients of the coded blocks x (i) using the prediction value generating method shown in FIG. 8 as "a prescribed method" generated. 図8の予測値生成方法については、実施の形態1において説明したものと同じであるのでここではその説明を省略する。 The prediction value generation method of FIG. 8, description thereof is omitted here are the same as those described in the first embodiment. なお、図12のステップS1222aの「所定の方法」においては、r2(i)のDCTタイプはフレームDCTであることが分かっているので、図8のステップS827aおよびステップS828aを省略することができる。 Note that in "a prescribed method" in step S1222a in FIG. 12, DCT type of r2 (i) since it has been found that a frame DCT, it is possible to omit the steps S827a and step S828a of FIG.
【0130】 [0130]
一方、参照ブロックr2(i)がフィールドDCT処理されている場合は、図15に示す従来の方法と同様にして、つまり図15に示すように参照ブロックR1のDCT係数から被符号化ブロックXのDCT係数の予測値を生成するのと同様にして、参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値を生成する。 On the other hand, when the reference block r2 (i) is field DCT processing, in the same manner as the conventional method shown in FIG. 15, i.e. the DCT coefficients of the reference block R1 as shown in FIG. 15 of the encoded block X in the same way as generating the predicted value of the DCT coefficients, it generates a predicted value of the DCT coefficients of the coded blocks x (i) using the DCT coefficients of the reference block r1 (i).
【0131】 [0131]
図13は、図5に示すステップS53におけるフィールド予測方法を実現する本実施の形態3での処理手順をフローチャートにより示す。 Figure 13 is a flowchart showing a processing procedure in the third embodiment for implementing the field prediction method in step S53 shown in FIG. 図13に示す処理は、図12の処理において、フレームとフィールドを入れ替えたものであり、処理の概要については同様であるのでここではその詳細については説明を省略する。 The process shown in FIG. 13 is omitted in the processing of FIG. 12 are those obtained by rearranging the frame and the field is the same for an overview of the process where a detailed description thereof.
【0132】 [0132]
ただし、図13のフィールド予測方法の説明において、r0(i)、r1(i)、r2(i)およびx(i)は、それぞれ図4(b) の参照ブロックおよび被符号化ブロックを表すものとする。 However, in the description of the field prediction method in FIG. 13, r0 (i), r1 (i), r2 (i) and x (i) are those which represent the reference block and the encoded block, respectively, in FIG 4 (b) to.
【0133】 [0133]
このように、本実施の形態3の画像符号化装置における適応的画面内DCT係数予測方法では、図5のステップS52のフレーム予測方法、およびステップS53のフィールド予測方法を、上記実施の形態1と比べて簡略化することにより、符号化時にDCT領域における画面内予測処理を簡単化および高速化することができる。 Thus, in the adaptive intra-frame DCT coefficient prediction method in an image coding apparatus of the third embodiment, the frame prediction method in step S52 in FIG. 5, and the field prediction method in step S53, in the first embodiment by simplifying compared, it is possible to simplify and speed up intra prediction processing in the DCT domain during the coding.
【0134】 [0134]
実施の形態4. Embodiment 4.
次に本発明の実施の形態4による画像処理装置(画像復号化装置)について説明する。 Next will be described an image processing apparatus according to a fourth embodiment of the present invention (image decoding apparatus).
本実施の形態4による画像復号化装置は、上記実施の形態2における、図5に示す予測値生成手順のステップS52でのフレーム予測により被符号化ブロックのDCT係数の予測値を生成する処理を、図12に示す処理手順で実施し、実施の形態1における、ステップS53でのフィールド予測により被符号化ブロックのDCT係数の予測値を生成する処理を、図13に示す処理手順で実施する構成としたものである。 The image decoding apparatus according to the fourth embodiment, in the second embodiment, the process of generating prediction values ​​of DCT coefficients of the coded blocks by frame prediction in step S52 the predicted value generation procedure shown in FIG. 5 , carried out in the procedure shown in FIG. 12, in the first embodiment, the process of generating prediction values ​​of DCT coefficients of the coded blocks by field prediction in step S53, carried out in the procedure shown in FIG. 13 structure it is obtained by the.
【0135】 [0135]
このような構成の本実施の形態4の画像復号化装置では、適応的画面内DCT係数予測方法を行う際、図5のステップS52のフレーム予測方法、およびステップS53のフィールド予測方法が、上記実施の形態2と比べて簡略化されることとなり、これにより復号化時にDCT領域における画面内予測処理を簡単化および高速化することができる。 In such an image decoding apparatus of the fourth embodiment of the arrangement, when performing the adaptive intra DCT coefficient prediction method, the frame prediction method in step S52 in FIG. 5, and the field prediction method step S53 is the above-described of it will be simplified as compared with the embodiment 2, thereby making it possible to simplify and speed up intra prediction processing in the DCT domain during the decoding.
【0136】 [0136]
実施の形態5. Embodiment 5.
本発明の実施の形態5による画像処理装置(画像符号化装置)及び画像処理方法(画像符号化方法)は、被符号化ブロックのDCTタイプ信号(つまり被符号化ブロックがフレームDCT処理を施されたものであるかフィールドDCT処理を施されたものであるか)に拘わらず、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックのDCT係数から被符号化ブロックのDCT係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。 The image processing apparatus according to a fifth embodiment of the present invention (image coding apparatus) and an image processing method (image coding method) is, DCT type signal of encoded block (i.e. encoded block is subjected to frame DCT processing and in either field or in which the DCT processing has been performed it is one) regardless from DCT coefficients of a coded block having a predetermined positional relationship with the coded block of DCT coefficients of the coded blocks using the method of generating the predicted value, it is characterized by performing the intra prediction encoding of the image signal. ここで、DCTタイプ信号とは、被符号化ブロックがフレームDCT処理されているかフィールドDCT処理されているかを示す信号を表すものとする。 Herein, the DCT type signal, and represents a signal indicating whether the coded block is either a field DCT processing is frame DCT processing. またブロックは、16×16画素からなるマクロブロックを構成する8×8画素からなる4つのサブブロックを表すものとする。 The blocks denote the four sub-blocks of 8 × 8 pixels forming the macroblock consisting of 16 × 16 pixels. これら4つのサブブロックは、マクロブロック内の左上(図3のブロック位置(0)),右上(図3のブロック位置(1)),左下(図3のブロック位置(2)),右下(図3のブロック位置(3))に位置している。 These four sub-blocks, the upper left in a macroblock (block position of FIG. 3 (0)), upper right (block position of FIG. 3 (1)), lower left (block position of FIG. 3 (2)), lower right ( is positioned to block the position of FIG. 3 (3)).
【0137】 [0137]
図17は、本実施の形態5による画像符号化装置の構成を示すブロック図である。 Figure 17 is a block diagram illustrating an image coding apparatus according to the fifth embodiment.
図において、3000は本実施の形態5の画像符号化装置であり、入力されるデジタル画像信号(入力画像信号)110aを、これにより形成される画像空間(フレーム)を分割する複数のマクロブロックの各々に対応するよう分割し、各マクロブロックを構成するブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。 In the figure, 3000 is an image coding apparatus according to the fifth embodiment, the digital image signal (input image signal) 110a is input, a plurality of macro-blocks for dividing the image space formed (frame) by which divided to correspond to each of which an image signal corresponding to the blocks constituting each macroblock and is configured to encode for each of the blocks.
【0138】 [0138]
すなわち、この画像符号化装置3000は、実施の形態1の画像符号化装置1000と同様、上記入力画像信号110aを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号101、および上記周波数変換(DCT処理)の処理単位を示すDCTタイプ信号102を出力するブロック化器100を有している。 That is, the image coding apparatus 3000, like the image coding apparatus 1000 of the first embodiment, the input image signal 110a, so as to correspond to the respective blocks in the frame or every field as a processing unit of frequency transformation block as well as reduction, and a blocking unit 100 which outputs a DCT type signal 102 showing the processing unit of the blocked image signals 101, and the frequency transform (DCT processing). このブロック化器100は、入力画像信号110aを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドDCT処理が実施されるよう、予め16×16画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する8×8画素からなるブロック毎に画像信号を出力する構成となっている。 The blocking unit 100 receives the input image signal 110a, when the correlation of pixel values ​​between fields is higher than that of the frame, so that field DCT process is performed, in advance from the 16 × 16 pixels consisting rearranges scanning lines macro block units, rearrangement of scanning lines has a configuration for outputting an image signal for each block consisting of 8 × 8 pixels forming the macroblock has been performed. なお、上記ブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。 Incidentally, the in blocking unit 100, when the correlation of pixel values ​​between fields is lower than that in a frame, the rearrangement of scanning lines in units of macroblocks described above not performed, the input image signal It is and outputted for each of the blocks.
【0139】 [0139]
具体的には、上記ブロック化器100では、上記走査線の並べ替え処理は、奇数番目の水平画素列(水平走査線)に対応する画像信号により形成される第1フィールドの画像が該マクロブロックの上側,つまりブロック位置(0)及び(1)に位置し、かつ偶数番目の水平画素列(水平走査線)に対応する画像信号により形成される第2のフィールドの画像が該マクロブロックの下側,つまりブロック位置(2)及び(3)に位置するよう行われる。 To be specific, in the blocking unit 100, reordering of the scan lines, odd-numbered horizontal pixel rows image the macro-block of the first field that is formed by the image signal corresponding to the (horizontal scanning lines) under the upper, i.e. the block position (0) and (1) located in, and even-numbered horizontal pixel rows second field image the macro-block formed by the image signal corresponding to the (horizontal scanning lines) side, that is, made to be located in the block position (2) and (3).
【0140】 [0140]
そして、上記ブロック化器100は、マクロブロックに対応する画像信号を、上記ブロック位置(0)〜(3)のブロックに対応するよう分割して出力するようになっている。 Then, the blocking unit 100, an image signal corresponding to the macroblock, and outputs divided to correspond to the blocks of the block positions (0) to (3).
【0141】 [0141]
また、上記画像符号化装置3000は、上記実施の形態1の画像符号化装置1000と同様、符号化処理の対象となる被符号化ブロックに対応する画像信号101に対して離散コサイン変換(DCT処理)を施すDCT器103と、このDCT器103の出力104を量子化する量子化器105と、上記被符号化ブロックに対応する予測値111を生成する画面内予測処理部310と、上記量子化器105の出力(DCT係数量子化値)106から上記予測値111を減算してDCT係数差分値108を出力する加算器107とを有しており、このDCT係数差分値108が、VLC器109により可変長符号化されて、ビットストリーム(画像符号化信号)110bとして出力されるようになっている。 Further, the image coding apparatus 3000, like the image coding apparatus 1000 of the first embodiment, discrete cosine transform on an image signal 101 corresponding to the encoded block to be coded processing (DCT processing ) and DCT unit 103 for performing the output 104 of the DCT unit 103 and the quantizer 105 for quantizing an intra prediction processing unit 310 for generating prediction values ​​111 corresponding to the encoded block, the quantization the output of vessel 105 and from (DCT coefficient quantization value) 106 and an adder 107 for outputting a DCT coefficient difference values ​​108 by subtracting the prediction value 111, the DCT coefficient difference values ​​108, VLC 109 It is variable-length coding, and is output as a bit stream (coded image signal) 110b by.
【0142】 [0142]
また、上記画面内予測処理部310は、上記DCT係数差分値108と画面内予測値111とを加算する加算器112と、該加算器112の出力を符号化済みブロックのDCT係数量子化値116として格納するブロックメモリ115と、被符号化ブロックのDCT係数量子化値の予測値111を、画像空間上で被符号化ブロックに隣接する符号化済みブロックのDCT係数量子化値114から生成するDCT係数予測器313とから構成されている。 Further, the intra prediction processing unit 310 includes an adder 112 for adding the above DCT coefficient difference values ​​108 and the intra-frame prediction values ​​111, DCT coefficient quantization values ​​of the coded block output from the adder 112 116 a block memory 115 for storing as, DCT to generate a predicted value 111 of the DCT coefficient quantization values ​​of the coded block, from encoded blocks of DCT coefficient quantization values ​​114 adjacent to the encoded block in the image space and a coefficient predictor 313.
【0143】 [0143]
本実施の形態5では、上記DCT係数予測器313は、被符号化ブロックのDCTタイプに拘わらず、図19に示すように、被符号化ブロックx(i)の左上に隣接して位置するブロックr0(i)、被符号化ブロックx(i)の上側に隣接して位置するブロックr1(i)、及び被符号化ブロックx(i)の左隣りに位置するブロックr2(i)を、参照ブロックとして、上記被符号化ブロックx(i)のDCT係数量子化値の予測値111を生成する構成となっている。 In the fifth embodiment, the DCT coefficient prediction unit 313, regardless of the DCT type of the coded block, as shown in FIG. 19, blocks positioned adjacent to the upper left of the encoded block x (i) r0 (i), block r1 which is located adjacent to the upper side of the encoded block x (i) (i), and a block r2 (i) located in the left of the encoded block x (i), see as blocks are configured to generate a predicted value 111 of the DCT coefficient quantization values ​​of the encoded block x (i).
【0144】 [0144]
なお、この実施の形態5におけるDCT器103,量子化器105,加算器107,112,VLC器109,及びブロックメモリ115は、実施の形態1のものと同一構成となっている。 Incidentally, DCT 103 in the fifth embodiment, quantizer 105, adder 107, 112, VLC 109 and block memory 115, has a same configuration as that of the first embodiment.
【0145】 [0145]
次に動作について説明する。 Next, the operation will be described.
まず、この実施の形態5の画像符号化装置の全体的な動作について簡単に説明する。 First, briefly described the overall operation of the image coding apparatus of the fifth embodiment.
デジタル画像信号(入力画像信号)110aが本画像符号化装置3000に入力されると、ブロック化器100にて、上記入力画像信号110aは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号101、および上記周波数変換(DCT処理)の処理単位を示すDCTタイプ信号102が出力される。 When the digital image signal (input image signal) 110a is input to the image coding apparatus 3000, in the blocking unit 100, the input image signal 110a is above for each frame or field serving as a processing unit of frequency transformation while being blocked so as to correspond to the block, DCT type signal 102 showing the processing unit of the blocked image signals 101, and the frequency transform (DCT processing) is output.
【0146】 [0146]
このときこのブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドDCT処理が実施されるよう、予め16×16画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する8×8画素からなるブロック毎に出力される。 At this time in the blocking unit 100, when the correlation of pixel values ​​between fields is higher than that of the frame, so that field DCT process is performed, in units of macro blocks consisting of advance 16 × 16 pixels as a rearrangement process of the scanning line on the image signal is performed, the image signal reordering of the scan line have been performed are outputted for each block consisting of 8 × 8 pixels forming the macroblock. この場合、走査線の並べ替え処理が施されたマクロブロックでは、奇数番目の水平画素列(水平走査線)に対応する画像信号により形成される第1フィールドの画像が該マクロブロックの上側,つまりブロック位置(0)及び(1)に位置し、かつ偶数番目の水平画素列(水平走査線)に対応する画像信号により形成される第2のフィールドの画像が該マクロブロックの下側,つまりブロック位置(2)及び(3)に位置することとなる。 In this case, the macroblock replacement process has been performed lined scan lines, upper odd horizontal pixel row image of the first field is the macroblock that is formed by the image signal corresponding to the (horizontal scanning lines), i.e. block position (0) and (1) located in, and even-numbered horizontal pixel rows below the image of the second field is the macroblock that is formed by the image signal corresponding to the (horizontal scanning lines), ie blocks is to be positioned at a position (2) and (3).
【0147】 [0147]
なお、上記ブロック化器100では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位とする走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。 In the blocking unit 100, when the correlation of pixel values ​​between fields is lower than that of the frame rearrangement process of scanning lines in units of macro-blocks as described above is not performed, the input image signal and outputted for each of the blocks.
【0148】 [0148]
そして、符号化処理の対象となる被符号化ブロックの画像信号101は、DCT器103にて離散コサイン変換(DCT処理)により、上記被符号化ブロックに対応する周波数成分(DCT係数)104に変換され、さらにこのDCT係数104は、量子化器105にて量子化されて、被符号化ブロックに対する量子化値(DCT係数量子化値)106として出力される。 Then, the image signal 101 of the coded block to be coded process, transformed by a discrete cosine transform in DCT unit 103 (DCT processing), the frequency components (DCT coefficients) 104 corresponding to the encoded block is further the DCT coefficients 104 are quantized by the quantizer 105 and outputted as quantized values ​​(DCT coefficient quantization value) 106 with respect to the coding block.
【0149】 [0149]
さらに、上記被符号化ブロックのDCT係数量子化値106が加算器107に供給されると、この量子化値106とその予測値111の差分が求められてDCT係数差分値108として出力される。 Further, DCT coefficient quantization values ​​106 of the encoded block is when it is supplied to the adder 107, the difference between the quantized values ​​106 the predicted value 111 is output as DCT coefficient difference values ​​108 are determined. このDCT係数差分値108は、VLC器109により可変長符号化されて、ビットストリーム(画像符号化信号)110bとして出力される。 The DCT coefficients difference value 108 is variable length coded by the VLC 109, and output as a bit stream (coded image signal) 110b.
【0150】 [0150]
また、上記加算器107から出力されるDCT係数差分値108は、画面内予測処理部310に供給され、ここで上記DCT係数量子化値106に対する予測値が生成される。 Further, DCT coefficients difference values ​​108 output from the adder 107 is supplied to the intra prediction processing unit 310, wherein prediction values ​​with respect to the DCT coefficient quantization values ​​106 are generated.
【0151】 [0151]
すなわち、上記画面内予測処理部310では、加算器112により上記DCT係数差分値108と画面内予測値111が加算され、これらの加算値が符号化済みブロックのDCT係数量子化値116としてブロックメモリ115に格納される。 That is, in the intra prediction processing unit 310, the DCT coefficient difference values ​​108 and the intra-frame prediction values ​​111 are added by an adder 112, a block memory of these added values ​​as the DCT coefficient quantization values ​​116 of the coded block It is stored in 115. そして、DCT係数予測器313では、符号化済みブロックのDCT係数量子化値114から被符号化ブロックのDCT係数量子化値の予測値111が生成される。 Then, the DCT coefficient predictor 313, prediction values ​​111 of the DCT coefficient quantization values ​​of the coded block is generated from the DCT coefficient quantization values ​​114 of the coded block.
【0152】 [0152]
次に、上記符号化処理における画面内DCT係数予測方法について詳しく説明する。 It will now be described in detail intra DCT coefficient prediction method in the encoding process.
本実施の形態5の画面内DCT係数予測方法は、被符号化ブロックに対応するDCT係数の予測値を生成する際には、実施の形態1とは異なり、被符号化ブロックのDCTタイプに拘わらず、常に被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照するものである。 Intra DCT coefficient prediction method of the fifth embodiment, when generating the predicted value of the DCT coefficients corresponding to the encoded block is different from the first embodiment, though the DCT type of the coding block not, it is always to refer to the encoded block having a predetermined positional relationship with the coded block.
【0153】 [0153]
本実施の形態5においても、実施の形態1と同様、DCT領域(周波数領域)は、画像空間(空間領域)を形成する画像信号をDCT処理(周波数変換)して得られる周波数成分により形成される領域とし、空間領域(画像空間)におけるマクロブロックの配置のとおりに、DCT領域(周波数領域)において各マクロブロックは配置されているものとする。 Also in the fifth embodiment, as in the first embodiment, DCT domain (frequency domain), DCT processing an image signal forming an image space (spatial domain) formed by frequency components obtained by (frequency conversion) and that area, as the arrangement of the macroblocks in the spatial domain (image space), each macroblock in the DCT domain (frequency domain) is assumed to be located.
【0154】 [0154]
また、この実施の形態5においても実施の形態1と同様、図3のように、マクロブロックがフレームDCT処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にDCT処理が施され、空間領域上のマクロブロックにおける左上,右上,左下,右下の各ブロックに対応するDCT係数が、それぞれDCT領域上のマクロブロックにおけるブロック位置(0),(1),(2),(3)のブロック内に配置され、一方、マクロブロックがフィールドDCT処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にDCT処理が施され、第1フィールド左、第1フィールド右、第2フィールド左、第2フィールド右の各ブロックのDCT係数が、それぞれ Further, as in Embodiment 1 also in this fifth embodiment, as shown in FIG. 3, if the macroblock is frame DCT processing, the image signals of the respective blocks without rearranging scanning lines in the macroblock the decorated DCT processing, the upper left in a macroblock in the spatial domain, upper right, lower left, DCT coefficients corresponding to each block of the lower right, respectively block positions in the macroblock on the DCT domain (0), (1), (2) is disposed in the block of (3), on the other hand, if the macroblock is field DCT processing, DCT processing on the image signal of each block after the rearrangement of scanning lines in the macroblock in the spatial domain It has been subjected first field left, the first field right, the second field left, DCT coefficients of each block of the second field right, respectively CT領域のマクロブロックにおけるブロック位置(0),(1),(2),(3)のブロック内に配置されるものとする。 Block position in the macro block of the CT region (0), (1), (2), shall be located in the block of (3).
【0155】 [0155]
次に、被符号化ブロックに対応するDCT係数(DCT領域における被符号化ブロックのデータ)を、符号化済みブロックのDCT係数を参照して予測する、本実施の形態5の画面内DCT係数予測方法について詳しく説明する。 Then, the DCT coefficients corresponding to the encoded block (data of the coded blocks in the DCT domain) are predicted with reference to DCT coefficients of the encoded blocks, intra DCT coefficient prediction of the fifth embodiment It will be described in detail how to.
【0156】 [0156]
まず、被符号化ブロックがフレームDCT処理されているかフィールドDCT処理されているかに拘わらず、図19に示すように、被符号化ブロックx(i)の左上に位置するブロックを参照ブロックr0(i)、被符号化ブロックx(i)の上側に隣接して位置するブロックを参照ブロックr1(i)、被符号化ブロックx(i)の左隣りに位置するブロックを参照ブロックr2(i)として参照する。 First, regardless of whether the encoded block is either a field DCT processing is frame DCT processing, as shown in FIG. 19, the reference block r0 (i the block located at the upper left of the encoded block x (i) ), as a reference block block r1 located adjacent to the upper side of the encoded block x (i) (i), the reference block r2 (i the block located on the left next to the encoded block x (i)) refer.
【0157】 [0157]
そして図20にフローチャートで示すように、従来のDCT係数予測方法と同様に、ステップS2130aにおいて、参照ブロックr0(i)およびr1(i)のDCT係数のDC成分の差の絶対値(|DC0−DC1|)と、参照ブロックr0(i)およびr2(i)のDCT係数のDC成分の差の絶対値(|DC0−DC2|)の大小が比較される。 Then, as shown in the flowchart in FIG. 20, similarly to the conventional DCT coefficient prediction method, in Step S2130a, the absolute value of the difference between the DC components of DCT coefficients of the reference block r0 (i) and r1 (i) (| DC0- DC1 |) and the absolute value of the difference between the DC components of DCT coefficients of the reference block r0 (i) and r2 (i) (| DC0-DC2 | magnitude of) are compared. 参照ブロックr0(i)およびr2(i)のDCT係数のDC成分の差の絶対値(|DC0−DC2|)が、参照ブロックr0(i)およびr1(i)のDCT係数のDC成分の差の絶対値(|DC0−DC1|)よりも小さい場合は、ステップS2132aにおいて参照ブロックr1(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 The absolute value of the difference between the DC components of DCT coefficients of the reference block r0 (i) and r2 (i) (| DC0-DC2 |) is the difference in DC components of DCT coefficients of the reference block r0 (i) and r1 (i) the absolute value of (| DC0-DC1 |) is smaller than the predicted value of the DCT coefficients using the DCT coefficients encoded block x (i) of the reference block r1 (i) is generated in step S2132a.
それ以外の場合は、ステップS2131aにおいて参照ブロックr2(i)のDCT係数を用いて被符号化ブロックx(i)のDCT係数の予測値が生成される。 Otherwise, the predicted value of the DCT coefficients of the coded blocks x (i) is generated using the DCT coefficients of the reference block r2 (i) in step S2131a.
【0158】 [0158]
このように本実施の形態5では、被符号化ブロックのDCT係数の予測処理において、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照ブロックとして用い、被符号化ブロック近傍で縦方向に隣接して並ぶ参照ブロック間でのDCT係数の相関と、被符号化ブロック近傍で横方向に隣接して並ぶ参照ブロック間でのDCT係数の相関の大小を比較してDCT係数の相関の強い方向を求め、被符号化ブロックに対してDCT係数の相関の強い方向に位置する参照ブロックを選択し、選択した参照ブロックのDCT係数から被符号化ブロックのDCT係数の予測値を求めるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をDCT領域(周波数成分)において効率よくしかも簡単な処理手 Thus in the fifth embodiment, the prediction and the DCT coefficients of the coded blocks, used as a reference block encoded block having a predetermined positional relationship with the coded block, the coded block near and correlation of DCT coefficients between the reference block in the vertical direction aligned adjacently in, the DCT coefficients by comparing the magnitude of the correlation of DCT coefficients between the reference blocks arranged adjacent laterally encoded block near obtains a strong direction correlation, select the reference block located in the direction of strong correlation of DCT coefficients for the coded blocks, obtaining the prediction values ​​of DCT coefficients of the coded blocks from the DCT coefficients of the reference block selected since, efficiently and simple processing hand in the DCT domain (frequency components) of the intra prediction for interlaced image signals and special progressive image によって行うことができる。 It can be carried out by.
【0159】 [0159]
この結果、本実施の形態5によれば、処理対象となるマクロブロックとして、異なるDCTタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するMPEG4方式の符号化処理では、画面内の情報を利用して被符号化ブロックのDCT係数の予測値効率を向上して、空間的に冗長な画像情報の削減による画像信号の圧縮符号化を効率よく簡単に行うことが可能となる。 As a result, according to the fifth embodiment, as a macroblock to be processed, different DCT types of the macroblocks are mixed, the encoding process of MPEG4 system for interlaced image or special progressive image or the like, the screen to improve the predictive value efficiency of DCT coefficients by using the information of the coded block, it becomes possible to perform the compression coding of the image signal by spatially reduce redundant image information efficiently and easily.
【0160】 [0160]
なお、本実施の形態5において用いる画面内DCT係数予測方法において、図19の参照ブロックr1(i)あるいは参照ブロックr2(i)のDCT係数を被符号化ブロックx(i)のDCT係数の予測値として用いる場合に、参照ブロックr1(i)あるいは参照ブロックr2(i)のDCT係数のDC成分のみを、被符号化ブロックx(i)のDCT係数の予測値として利用してもよい。 Note that in the intra DCT coefficient prediction method employed in the fifth embodiment, the prediction of DCT coefficients of the DCT coefficients encoded block x (i) of the reference block r1 in FIG. 19 (i) or the reference block r2 (i) when used as a value, only the DC component of the DCT coefficients of the reference block r1 (i) or the reference block r2 (i), it may be used as prediction values ​​of DCT coefficients of the coded blocks x (i).
【0161】 [0161]
実施の形態6. Embodiment 6.
本実施の形態6による画像処理装置(画像復号化装置)及び復号化方法(画像復号化方法)は、上記実施の形態5で示した画像符号化装置及び画像符号化方法で用いた画面内DCT係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。 The image processing apparatus according to the sixth embodiment (image decoding apparatus) and a decoding method (image decoding method), a screen in DCT used in the image coding apparatus and image coding method as shown in the fifth embodiment using the coefficient prediction method is characterized by performing decoding of coded image signal.
【0162】 [0162]
図18は、本実施の形態6による画像復号化装置のブロック図を示し、図17と同一符号は同一部分、または相当分を示す。 Figure 18 shows a block diagram of an image decoding apparatus according to the sixth embodiment, the same reference numerals as in FIG. 17 shows the same parts or equivalent.
この画像復号化装置4000は、上記本実施の形態5による画像符号化装置3000により画像信号を符号化して得られる画像符号化信号(ビットストリーム)110bを受け、これに対して画面内DCT係数予測方法を用いた復号化処理を施すものである。 The image decoding apparatus 4000 receives a coded image signal (bit stream) 110b which is obtained by coding an image signal by the image coding apparatus 3000 according to Embodiment 5 of the present embodiment, intra DCT coefficient prediction contrast the method is intended to perform a decoding process using the.
【0163】 [0163]
すなわち、この画像復号化装置4000は、画像符号化装置3000より出力されたビットストリーム110bを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するDCT係数差分値108(被符号化ブロックのDCT係数量子化値107とその画面内予測値111との差分値)を復元する可変長復号化器(VLD器)203と、被復号化ブロックに対する画面内予測値111を生成する画面内予測処理部410と、該画面内予測値111と上記DCT係数差分値108とを加算して、被復号化ブロックに対するDCT係数量子化値11 6を復元する加算器112とを有している。 That is, the image decoding apparatus 4000 receives a bit stream 110b output from the image coding apparatus 3000, which was variable length decoding by data analysis, DCT coefficients difference values ​​108 corresponding to the decoding blocks ( a variable length decoder (VLD unit) 203 to restore the difference value) between the DCT coefficient quantization values ​​107 of the coded block and its intraframe prediction value 111, the intra prediction values ​​111 with respect to the decoded block generation includes a screen prediction processing unit 410 which, by adding the said intra-frame prediction values ​​111 and the DCT coefficient difference values ​​108, and an adder 112 to restore the DCT coefficient quantization values ​​11 6 with respect to the decoding blocks ing.
【0164】 [0164]
ここで、上記画面内予測処理部410は、上記加算器112の出力11 6を復号化済みブロックのDCT係数量子化値として格納するブロックメモリ115と、実施の形態5の画像符号化装置3000における画面内DCT係数予測方法により、上記ブロックメモリ115に格納されている復号化済みブロックのDCT係数量子化値114から被復号化ブロックのDCT係数量子化値に対する予測値111を生成するDCT係数予測器313とから構成されている。 Here, the intra prediction processing unit 410 includes a block memory 115 for storing the output 11 6 of the adder 112 as DCT coefficient quantization values ​​of the decoded block, the image coding apparatus 3000 of the fifth embodiment the intra DCT coefficient prediction method, DCT coefficient prediction for generating a prediction value 111 for DCT coefficient quantization values ​​of the decoded block from the DCT coefficient quantization values ​​114 of the decoded block stored in the block memory 115 and a 313.
【0165】 [0165]
また、上記画像復号化装置4000は、上記加算器112の出力116に対して逆量子化処理を施して、被復号化ブロックに対するDCT係数104を復元する逆量子化器207と、該逆量子化器207の出力に対して逆DCT処理を施して、被復号化ブロックに対する画像信号101を復元する逆DCT器209と、該逆DCT器209の出力を受け、画像符号化装置4000からのDCTタイプ信号102に基づいて、走査線構造の画像信号110aを復元する逆ブロック化器200とを有している。 Further, the image decoding apparatus 4000, performs inverse quantization processing on the output 116 of the adder 112, an inverse quantizer 207 to restore DCT coefficients 104 with respect to the decoded block, inverse quantization It is subjected to inverse DCT processing on the output of the vessel 207, an inverse DCT unit 209 for restoring the image signal 101 with respect to the decoded block, receiving the output from the inverse DCT unit 209, DCT type from the image coding apparatus 4000 based on signal 102, and an inverse blocking unit 200 for restoring an image signal 110a of a scanning line structure.
【0166】 [0166]
この逆ブロック化器200では、画像空間上で同一のマクロブロックに属するブロックの画像信号を、該マクロブロック内でのブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成するとともに、奇数番目の水平画素列に対応する画像信号により形成される第1フィールドの画像が上記マクロブロックの上側に位置し、かつ偶数番目の水平画素列に対応する画像信号により形成される第2フィールドの画像が該マクロブロックの下側に位置するよう、符号化の際に水平画素列の並べ替え処理が施されたマクロブロックの画像信号に対しては、上記第1フィールドと第2フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、一方、符号化の際に上記水平画素列の並べ替え処 In the inverse blocking unit 200, an image signal of the block belonging to the same macroblock in the image space, in combination so as to correspond to the position of the blocks within the macroblock, to generate an image signal corresponding to the macroblock together, the formed by the image signal the image of the first field that is formed by the image signal corresponding to the odd-numbered horizontal pixel rows is positioned above the macroblock, and corresponding to the even-numbered horizontal pixel rows 2 as the field of an image is positioned on the lower side of the macroblock, with respect to the image signal of a macroblock reordering of horizontal pixel rows is performed during encoding, from the first and second fields so as to image frames are formed performs an inverse reordering of horizontal pixel rows, whereas, sorting processing of the horizontal pixel rows during coding が施されなかったマクロブロックの画像信号に対しては、上記水平画素列の逆並べ替え処理を施さずに、複数のマクロブロックからなる上記画像空間の画像信号を生成する構成となっている。 It is for the image signal of the macroblock that was not subjected without applying inverse reordering of the horizontal pixel rows are configured to generate an image signal of the image space composed of a plurality of macro-blocks.
【0167】 [0167]
次に動作について説明する。 Next, the operation will be described.
本画像復号化装置4000に、画像符号化装置3000からの画像符号化信号110bが入力されると、該画像符号化信号110bはVLD器203にてそのデータ解析によ可変長復号化され、被復号化ブロックに対するDCT係数差分値108として出力される。 In the image decoding apparatus 4000, the coded image signal 110b from the image coding apparatus 3000 is input, the coded image signal 110b is variable length decoded by the data analyzed by VLD 203, the It is output as DCT coefficient difference values ​​108 for decoding blocks.
この被復号化ブロックに対するDCT係数差分値108は、加算器112にてその予測値111と加算されて、被復号化ブロックに対するDCT係数量子化値116が復元される。 The DCT coefficients difference values ​​108 with respect to the decoding block is summed with the prediction value 111 by the adder 112, DCT coefficient quantization values ​​116 with respect to the decoding block is restored.
【0168】 [0168]
このとき、上記被復号化ブロックに対するDCT係数量子化値116は、上記画面内予測処理部410に供給され、そのブロックメモリ115に復号化済みブロックのDCT係数量子化値として格納される。 At this time, the DCT coefficient quantization values ​​116 with respect to the decoding block is supplied to the intra prediction processing unit 410, are stored as DCT coefficient quantization values ​​of the decoded block in the block memory 115. さらに、DCT係数予測器313には、上記ブロックメモリ115から復号化済みブロックに対応するDCT係数量子化値114が読み出され、ここでは、ブロックメモリ115からのDCT係数量子化値114を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのDCT係数差分値108に対する予測値を生成するDCT係数予測処理が、画像符号化装置3000の画面内予測処理部110における予測値生成処理と同様に行われる。 Further, the DCT coefficient predictor 313, DCT coefficient quantization values ​​114 corresponding to the decoded block from the block memory 115 is read out, here, refers to the DCT coefficient quantization values ​​114 from the block memory 115 Te, DCT coefficient prediction process for generating a predicted value for the DCT coefficients difference values ​​108 of the next decoding block to be processed next of the target decoding block, the predicted value of the intra prediction processing unit 110 of the image coding apparatus 3000 It is performed in the same manner as generation process.
【0169】 [0169]
さらに上記DCT係数量子化値116は、逆量子化器207にて逆量子化処理により、被復号化ブロックに対するDCT係数104に変換され、さらにこのDCT係数104は、逆DCT器209にて逆離散コサイン変換により、被復号化ブロックに対する画像信号101に変換される。 Furthermore the DCT coefficient quantization values ​​116, the inverse quantization processing by the inverse quantizer 207, is converted into DCT coefficients 104 with respect to the decoded block, further the DCT coefficients 104 are inverse discrete by the inverse DCT unit 209 the cosine transform, is converted into an image signal 101 with respect to the decoded blocks.
そしてこの被復号化ブロックに対する画像信号101が逆ブロック化器200に供給されると、該逆ブロック化器200では、画像符号化装置3000からのDCTタイプ信号102に基づいて、走査線構造の画像信号110aが再生される。 And this when the image signal 101 with respect to the decoding block is supplied to the inverse blocking unit 200, the inverse blocking unit 200, based on the DCT type signal 102 from the image coding apparatus 3000, the image of the scanning line structure signal 110a are reproduced.
【0170】 [0170]
このように本実施の形態6では、画面内DCT係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を画面内DCT係数予測処理を用いて画面内予測符号化して得られた画像符号化信号(ビットストリーム)を、DCT領域における簡単な画面内予測処理により効率よくしかも正しく復号化することができる。 In the sixth to the present embodiment, by using the intra DCT coefficient prediction method, since the decoding of the coded image signal, the intra DCT coefficient prediction image signal corresponding to the interlaced image or a special progressive image processing a coded image signal obtained by intra prediction encoding by using the (bit stream), it is possible to efficiently and correctly decoded by a simple intra prediction processing in the DCT domain.
【0171】 [0171]
さらに、上記各実施の形態で示した画像符号化装置あるいは画像復号化装置による画像処理を実現するための符号化あるいは復号化プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 Furthermore, the encoding or decoding program for realizing the image processing by the image coding apparatus or the picture decoding apparatus as shown in the above embodiments, by to record in a data storage medium such as a floppy disk , the processing shown in the above embodiments, it is possible to easily executed in an independent computer system.
【0172】 [0172]
図14は、上記実施の形態1〜6の画像符号化処理あるいは画像復号化処理を、上記符号化あるいは復号化プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。 Figure 14 is an image encoding process or image decoding process of the first to sixth the embodiments, by using a floppy disk which contains the coding or decoding program, for explaining a case of implementing by a computer system it is a diagram.
図14(a) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスク本体を示し、図14(b) は、該フロッピーディスク本体の物理フォーマットの例を示している。 FIG. 14 (a) a front view of a floppy disk, its structure at cross section and shows a floppy disk body, FIG. 14 (b) shows an example of a physical format of the floppy disk body.
【0173】 [0173]
上記フロッピーディスクFDは、上記フロッピーディスク本体DをフロッピーディスクケースFC内に収容した構造となっており、該フロッピーディスク本体Dの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックTrは角度方向に16のセクタSeに分割されている。 The floppy disk FD, the floppy disk body D has a housing structure to a floppy disk case FC, on the surface of the floppy disk body D, a plurality of tracks toward the inner circumference from the outer concentrically Tr are formed, each track Tr is divided into 16 sectors Se in the angular direction. 従って、上記プログラムを格納したフロッピーディスクFDでは、上記フロッピーディスク本体Dは、その上に割り当てられた領域(セクタ)Seに、上記プログラムとしてのデータが記録されたものとなっている。 Therefore, in the floppy disk FD storing the above program, the floppy disk body D is in its on the assigned area (sector) Se, data of the program has been to have been recorded.
【0174】 [0174]
また、図14(c) は、フロッピーディスクFDに対する上記プログラムの記録、及びフロッピーディスクFDに格納したプログラムを用いた画像処理を行うための構成を示している。 Further, FIG. 14 (c) shows the structure for recording the program for a floppy disk FD, and the image processing using the program stored in the floppy disk FD.
【0175】 [0175]
上記プログラムをフロッピーディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしてのデータを、フロッピーディスクドライブFDDを介してフロッピーディスクFDに書き込む。 When the program is recorded on the floppy disk FD, data as the program from a computer system Cs, written in the floppy disk FD through the floppy disk drive FDD. また、フロッピーディスクFDに記録されたプログラムにより、上記任意形状符号化装置あるいは任意形状復号化装置をコンピュータシステムCs中に構築する場合は、フロッピーディスクドライブFDDによりプログラムをフロッピーディスクFDから読み出し、コンピュータシステムCsにロードする。 Further, the program recorded in the floppy disk FD, when building the arbitrary shape coding apparatus or the arbitrary shape decoding apparatus in the computer system Cs, the program is read out from the floppy disk FD by the floppy disk drive FDD, the computer system to load into the Cs.
【0176】 [0176]
なお、上記説明では、データ記憶媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても上記フロッピーディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。 In the above description has been described with reference to a floppy disk as a data storage medium, it is possible to perform coding or decoding also by software as in the case of the floppy disk by using an optical disk. また、記録媒体は上記光ディスクやフロッピーディスクに限るものではなく、ICカード、ROMカセット等、プログラムを記録できるものであればよく、これらの記録媒体を用いる場合でも、上記フロッピーディスク等を用いる場合と同様にソフトウェアによる符号化処理あるいは復号化処理を実施することができる。 The recording medium is not limited to the optical disk or floppy disk, IC card, ROM cassette or the like, as long as it can record the program, even when using these recording media, the case of using the floppy disk or the like Similarly it is possible to implement the coding or decoding by software.
【0177】 [0177]
【発明の効果】 【Effect of the invention】
この発明(請求項1)に係る画像処理方法によれば、 複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の個々のマクロブロックを構成するサブブロック毎に、水平画素列の並べ替え及び周波数変換を含む符号化処理と水平画素列の並べ替えを含まずかつ周波数変換を含む符号化処理のいずれかにより符号化して得られる画像符号化信号に対する復号化処理を、上記サブブロック毎に行う画像処理方法であって、復号化処理の対象となる被復号化サブブロックの周波数成分の予測値を、既に復号化処理が完了した復号化済みサブブロックのうちで、該被復号化サブブロックの上側近傍,左側近傍に位置する復号化済みサブブロックの周波数成分を参照して生成する予測ステップと、上記被復号化サブブロック According to the image processing method according to the invention (claim 1), an image signal for forming an image space composed of a plurality of pixels, each sub-block constituting the individual macroblocks of a rectangular shape for partitioning the image space , decoding of a coded image signal obtained by coding either of the encoding processing including and frequency conversion not include sorting the encoding process and the horizontal pixel rows including sorting and frequency conversion of horizontal pixel rows and an image processing method performed for each of the sub-block, the prediction values of frequency components of the decoded subblock to be the decoding process, already among the decoded subblock decoding process has been completed a prediction step of generating by referring to the upper vicinity of the frequency components of the decoded subblock positioned at the left side near the該被decoding subblock, the target decoding subblock 対応する画像符号化信号から、上記予測値を用いて上記被復号化サブブロックの周波数成分を復元する復元ステップと、該復元されたサブブロックの周波数成分を、逆周波数変換により対応するサブブロックの画像信号に変換する変換ステップと、上記画像空間上で同一のマクロブロックに属するサブブロックの画像信号を、該マクロブロック内でのサブブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成する信号生成ステップと、を含み、上記変換ステップは、符号化の際に、上記画像空間を構成する第1フィールドの画像が上記マクロブロックの上側に位置し、かつ上記画像空間を構成する第2フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理が施されたマク From the corresponding coded image signal, and a restoration step of restoring the frequency components of the target decoding sub block using the prediction value, the frequency components of the reconstructed sub blocks, the corresponding sub-block by inverse frequency transformation a conversion step of converting an image signal, an image signal of the sub-blocks belonging to the same macroblock on the image space in combination so as to correspond to the position of the sub-blocks within the macroblock, the image corresponding to the macro block includes a signal generating step of generating a signal, the said conversion step, at the time of encoding, the image of the first field constituting the image space is positioned above the macroblock, and constitutes the image space as the image of the second field that is located below the said macroblock, film reordering of horizontal pixel rows have been subjected ブロックに対しては、フィールド単位の逆周波数変換を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、フレーム単位の逆周波数変換を施すものであり、上記信号生成ステップは、符号化の際に上記水平画素列の並べ替え処理が施されたマクロブロックに対しては、上記第1フィールドと上記第2フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、上記水平画素列の逆並べ替え処理を施さずに、上記マクロブロックに対する画像信号を再生するものであり、上記予測ステップは、上記復号化済みサブブロックが符号化の際に水平画素列の並べ替え処理を施された For blocks, performs inverse frequency transform of a field unit, for the macroblock reordering of horizontal pixel rows have not been subjected to during encoding, in which performs inverse frequency conversion for each frame There, the signal generating step, for the horizontal pixel macroblock replacement process has been performed lined column during encoding, image of a frame composed of the first field and the second field is formed Yo performs inverse rearranging horizontal pixel rows, for the macroblock reordering of horizontal pixel rows have not been subjected to during encoding, without performing an inverse reordering of the horizontal pixel rows is intended to reproduce an image signal for the macroblock, the prediction step, the decoded sub-block is subjected to rearrangement processing of horizontal pixel rows during coding サブブロックであるか否かにかかわらず、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックと、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックのいずれの周波数成分を参照するかを、該被復号化サブブロックの上側近傍,左側近傍,及び左上近傍に位置する復号化済みサブブロックの周波数成分の直流成分に基づいて決定し、かつ上記被復号化サブブロックの上側近傍に位置する参照されるべき復号化済みサブブロックには、該被復号化サブブロックの被復号化対象マクロブロック内での位置に応じて、該被復号化対象マクロブロック内のもの、あるいは該被復号化対象マクロブロックの上側に位置する復号化済みマクロブロック内のものを用いるものである、ことを特徴とするので、イン Regardless of whether a sub-block, the a decoded subblock positioned above the vicinity of the decoding sub-block, any of the decoded subblock positioned at the left side near the target decoding subblock or to refer to the frequency component, the upper vicinity of該被decoding subblock, left vicinity, and determined based on the DC component of the frequency components of the decoded subblock positioned at the upper left vicinity, and the target decoding sub the referenced decoded sub blocks to be located above the vicinity of the block, depending on the position in the decoded macroblock of該被decoding subblock, those該被decoded macroblock or it is to use those decoded macro block located above the該被decoded macroblock, so is characterized in that, in レース画像あるいは特殊なプログレッシブ画像に対応する画像信号を予測符号化して得られた画像符号化信号を、周波数成分の簡単な予測処理により効率よくしかも正しく復号化することができる。 The coded image signal obtained image signals corresponding to the race image or special progressive image by predictive coding, it is possible to efficiently and correctly decoded by a simple prediction processing of the frequency components.
【0178】 [0178]
この発明(請求項2)によれば、請求項1記載の画像処理方法において、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの上側に隣接して位置する上側復号化済みサブブロックを用い、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックとして、該復号化サブブロックの左側に隣接して位置する左側復号化済みサブブロックを用い、上記被復号化サブブロックの左上近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左上側に隣接して位置する左上側復号化済みサブブロックを用いるので、被復号化サブブロックのDCT係数の予測値を生成する際、被復号化サブブロックに対して空間的に近い復号化済みサブブロックの周波数成分 According to the present invention (Claim 2), in the image processing method according to claim 1, wherein, as the decoded subblock positioned above the vicinity of the target decoding subblock, adjacent to the upper side of 該被 decoding subblock and with upper decoded subblock positioned, as decoded subblock positioned at the left side near the target decoding subblock, left decoded located adjacent to the left side of the target decoding subblock using the sub block, as the decoded subblock positioned at the upper left vicinity of the target decoding subblock, since use of the upper left side decoded subblock positioned adjacent to the upper left side of the 該被 decoding subblock, when generating prediction values ​​of DCT coefficients of the decoded sub-block, the frequency components of the spatially close decoded subblock against target decoding subblock 参照されることとなり、予測効率の高い画面内予測符号化処理に対応した画面内予測復号化処理を実現できる。 It will be referred to, can be achieved intra prediction decoding process corresponding to a high intra prediction encoding process of the prediction efficiency.
【0179】 [0179]
この発明(請求項3)によれば、請求項1または2記載の画像処理方法において、 上記予測ステップでは、上記被復号化サブブロックの周波数成分の予測値は、量子化された周波数成分に基づいて生成され、 上記変換ステップでは、上記逆周波数変換は逆量子化された周波数成分に対して行われるので、予測効率の高い画面内予測符号化処理に対応した画面内予測復号化処理を実現できる。 According to the present invention (Claim 3), in the image processing method according to claim 1 or 2 wherein, in the prediction step, the prediction value of the frequency components of the target decoding subblock, based on the quantized frequency components generated Te, in the conversion step, the inverse frequency transformation because performed on the inverse quantized frequency component can be realized intra prediction decoding process corresponding to a high intra prediction encoding process of the prediction efficiency .
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の実施の形態1による画像処理装置(画像符号化装置)の構成を示すブロック図である。 1 is a block diagram showing a configuration of an image processing apparatus (image coding apparatus) according to a first embodiment of the present invention.
【図2】本発明の実施の形態2による画像処理装置(画像復号化装置)の構成を示すブロック図である。 2 is a block diagram showing the configuration of an image processing apparatus according to the second embodiment of the present invention (image decoding apparatus).
【図3】上記実施の形態1の画像符号化装置による画面内予測符号化処理を説明するための図であり、DCT領域のマクロブロックにおけるDCTブロックの配置を示している。 [Figure 3] is a diagram for explaining the intra prediction encoding process performed by the image coding apparatus of the first embodiment shows the arrangement of DCT blocks in the macro block of the DCT domain.
【図4】上記実施の形態1の画像符号化装置による画面内予測符号化処理を説明するための図であり、フレーム予測およびフィールド予測における参照ブロックの被符号化ブロックに対する位置関係を示している。 [Figure 4] is a diagram for explaining the intra prediction encoding process performed by the image coding apparatus of the first embodiment, and shows the positional relationship with respect to the coding block of the reference block in frame prediction and field prediction .
【図5】上記実施の形態1の画像符号化装置及び実施の形態2の画像復号化装置による適応的画面内DCT係数予測処理をフローチャートにより示す図である。 5 is a diagram showing the flowchart of the adaptive intra-frame DCT coefficient prediction process by the image decoding apparatus according to the second image encoding device and implementation of the first embodiment.
【図6】上記実施の形態1の画像符号化装置及び実施の形態2の画像復号化装置による予測処理におけるフレーム予測方法をフローチャートにより示す図である。 6 is a diagram showing the flowchart of the frame prediction method in the prediction process by the image decoding apparatus according to the second image encoding device and implementation of the first embodiment.
【図7】上記実施の形態1の画像符号化装置及び実施の形態2の画像復号化装置による予測処理におけるフィールド予測方法をフローチャートにより示す図である。 7 is a diagram showing the flowchart of the field prediction method in the prediction process by the image decoding apparatus according to the second image encoding device and implementation of the first embodiment.
【図8】上記フレーム予測における予測値生成方法の一例をフローチャートにより示す図である。 8 is a diagram showing a flowchart of an example of a prediction value generating method in the frame prediction.
【図9】上記フィールド予測における予測値生成方法の一列をフローチャートにより示す図である。 9 is a diagram showing a flowchart of a row of a prediction value generating method in the field prediction.
【図10】上記実施の形態1の画像符号化装置及び実施の形態2の画像復号化装置による予測処理における仮想バッファのDCT係数生成方法の一例を説明するための図である。 10 is a diagram for explaining an example of the DCT coefficients generating method of the virtual buffer in the prediction process by the image coding apparatus and image decoding apparatus of the second embodiment of the first embodiment.
【図11】上記実施の形態1の画像符号化装置及び実施の形態2の画像復号化装置による予測処理における仮想バッファのDCT係数生成方法の一例をフローチャートにより示す図である。 11 is a diagram showing a flowchart of an example of the DCT coefficients generating method of the virtual buffer in the prediction process by the image decoding apparatus according to the second image encoding device and implementation of the first embodiment.
【図12】本発明の実施の形態3による画像符号化装置、及び実施の形態4による画像復号化装置におけるフレーム予測方法をフローチャートにより示す図である。 [12] the image coding apparatus according to a third embodiment of the present invention, and is a diagram showing the flowchart of the frame prediction method in an image decoding apparatus according to a fourth embodiment.
【図13】上記実施の形態3による画像符号化装置、及び実施の形態4による画像復号化装置におけるフィールド予測方法をフローチャートにより示す図である。 13 is a diagram showing the flowchart of the field prediction method in the image coding apparatus according to the third embodiment, and the image decoding apparatus according to a fourth embodiment.
【図14】図14(a) ,(b) は、本発明の各実施の形態の画面内予測符号化処理及び画面内予測復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体を説明するための図、図14(c) は、上記コンピュータシステムを示す図である。 [14] FIG. 14 (a), (b), the data storage medium containing a program for performing a computer system intra prediction encoding and the intra prediction decoding process of each embodiment of the present invention diagram for explaining, FIG. 14 (c) is a diagram showing the computer system.
【図15】従来の画像処理装置を用いた画面内DCT係数予測方法を説明するための図である。 15 is a diagram for explaining the intra DCT coefficient prediction method using a conventional image processing apparatus.
【図16】フレーム/フィールドDCT切替えの際の、走査線の入替え処理を説明するための模式図である。 [16] during the frame / field DCT switching is a schematic diagram for explaining the switching process of the scanning line.
【図17】本発明の実施の形態5による画像符号化装置を説明するためのブロック図である。 It is a block diagram for explaining an image coding apparatus according to a fifth embodiment of Figure 17 the present invention.
【図18】本発明の実施の形態6による画像復号化装置を説明するためのブロック図である。 18 is a block diagram for explaining an image decoding apparatus according to a sixth embodiment of the present invention.
【図19】上記実施の形態5における予測処理の際に用いる参照ブロックを説明するための図である。 19 is a diagram for explaining reference blocks used in the prediction process in the fifth embodiment.
【図20】上記実施の形態5における予測値生成方法のフローチャートの一例を示す図である。 20 is a diagram showing an example of a flowchart of a prediction value generating method in the fifth embodiment.
【符号の説明】 DESCRIPTION OF SYMBOLS
100 ブロック化器101 画像信号102 DCTタイプ信号103 DCT器104 DCT係数105 量子化器106 DCT係数量子化値108 DCT係数差分値109 可変長符号化器110,210,310,410 画面内予測処理部110a 入力画像信号110b 画像符号化信号(ビットストリーム) 100 block generator 101 image signal 102 DCT type signal 103 DCT unit 104 DCT coefficients 105 quantizer 106 DCT coefficient quantization values ​​108 DCT coefficients difference values ​​109 variable-length coder 110, 210, 310, 410 intra prediction processing unit 110a input image signal 110b coded image signal (bit stream)
111 DCT係数予測値113,313 DCT係数予測器115 ブロックメモリ116 DCT係数量子化値200 逆ブロック化器203 可変長復号化器207 逆量子化器209 逆DCT器1000,3000 画像符号化装置(画像処理装置) 111 DCT coefficient prediction value 113,313 DCT coefficient prediction unit 115 block memory 116 DCT coefficient quantization values ​​200 inverse blocking unit 203 variable length decoder 207 inverse quantizer 209 inverse DCT unit 1000, 3000 image coding apparatus (image processing unit)
2000,4000 画像復号化装置(画像処理装置) 2000,4000 image decoding apparatus (image processing apparatus)
Cs コンピュータシステムD フロッピーディスク本体FC フロッピーディスクケースFD フロッピーディスクFDD フロッピーディスクドライブ Cs Computer System D floppy disk body FC floppy disk case FD Floppy disk FDD floppy disk drive

Claims (3)

  1. 複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の個々のマクロブロックを構成するサブブロック毎に、水平画素列の並べ替え及び周波数変換を含む符号化処理と水平画素列の並べ替えを含まずかつ周波数変換を含む符号化処理のいずれかにより符号化して得られる画像符号化信号に対する復号化処理を、上記サブブロック毎に行う画像処理方法であって、 An image signal forming an image space composed of a plurality of pixels, each sub-block constituting the individual macroblocks of a rectangular shape for partitioning the image space, and a coding process including sorting and frequency conversion of horizontal pixel rows the decoding process for a coded image signal obtained by coding either of the encoding processing including and frequency conversion not include sorting of horizontal pixel rows, an image processing method performed for each of the sub-blocks,
    復号化処理の対象となる被復号化サブブロックの周波数成分の予測値を、既に復号化処理が完了した復号化済みサブブロックのうちで、該被復号化サブブロックの上側近傍,左側近傍に位置する復号化済みサブブロックの周波数成分を参照して生成する予測ステップと、 The prediction values of frequency components of the decoded subblock to be the decoding process, already among the decoded subblock decoding process is completed, the upper vicinity of the position on the left side near the該被decoding subblock a prediction step of generating by referring to frequency components of decoded subblocks,
    上記被復号化サブブロックに対応する画像符号化信号から、上記予測値を用いて上記被復号化サブブロックの周波数成分を復元する復元ステップと、 From the image coding signal corresponding to the target decoding sub-block, a restoration step of restoring the frequency components of the target decoding subblock by using the prediction value,
    該復元されたサブブロックの周波数成分を、逆周波数変換により対応するサブブロックの画像信号に変換する変換ステップと、 A converting step of converting the frequency components of the reconstructed sub-block, the image signal of the corresponding sub-block by inverse frequency transform,
    上記画像空間上で同一のマクロブロックに属するサブブロックの画像信号を、該マクロブロック内でのサブブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成する信号生成ステップと、 An image signal of the sub-blocks belonging to the same macroblock on the image space in combination so as to correspond to the position of the sub-blocks within the macro block, a signal generating step of generating an image signal corresponding to the macroblock,
    を含み、 It includes,
    上記変換ステップは、符号化の際に、上記画像空間を構成する第1フィールドの画像が上記マクロブロックの上側に位置し、かつ上記画像空間を構成する第2フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理が施されたマクロブロックに対しては、フィールド単位の逆周波数変換を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、フレーム単位の逆周波数変換を施すものであり、 The conversion step, when coding the image of the first field constituting the image space is positioned above the macroblock, and under the image of the second field constituting the image space is the macroblock so as to be positioned on the side, with respect to the macroblock reordering of horizontal pixel rows is performed, performs inverse frequency transformation units of fields, not sorting of the horizontal pixel rows is performed during encoding for macroblock, which performs inverse frequency transformation in units of frames,
    上記信号生成ステップは、符号化の際に上記水平画素列の並べ替え処理が施されたマクロブロックに対しては、上記第1フィールドと上記第2フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、上記水平画素列の逆並べ替え処理を施さずに、上記マクロブロックに対する画像信号を再生するものであり、 It said signal generating step for the macroblock reordering of the horizontal pixel rows during coding is performed, the horizontal so that the image of the frame of the first field and the second field is formed performing inverse reordering of pixel rows, for the macroblock reordering of horizontal pixel rows have not been subjected to during encoding, without performing an inverse reordering of the horizontal pixel rows, the is intended to reproduce an image signal for the macroblock,
    上記予測ステップは、上記復号化済みサブブロックが符号化の際に水平画素列の並べ替え処理を施されたサブブロックであるか否かにかかわらず、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックと、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックのいずれの周波数成分を参照するかを、該被復号化サブブロックの上側近傍,左側近傍,及び左上近傍に位置する復号化済みサブブロックの周波数成分の直流成分に基づいて決定し、かつ上記被復号化サブブロックの上側近傍に位置する参照されるべき復号化済みサブブロックには、該被復号化サブブロックの被復号化対象マクロブロック内での位置に応じて、該被復号化対象マクロブロック内のもの、あるいは該被復号化対象マクロブロック Said prediction step, regardless of whether the decoded sub-block is a sub block that has been subjected to rearrangement processing of horizontal pixel rows during coding, located above the vicinity of the target decoding subblock a decoded subblock, whether to refer to any frequency components of the decoded subblock positioned at the left side near the target decoding subblock, the upper vicinity of the left side near the 該被 decoding sub-blocks, and determined based on the DC component of the frequency components of the decoded subblock positioned at the upper left vicinity, and above referenced decoded sub blocks to be located above the vicinity of the decoding subblock 該被 decoding depending on the position in reduction sub-block of the decoded macroblock, those 該被 decoded macroblock, or 該被 decoded macroblock 上側に位置する復号化済みマクロブロック内のものを用いるものである、 It is to use those decoded macro block positioned in the upper,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  2. 請求項1記載の画像処理方法において、 The image processing method according to claim 1,
    上記予測ステップでは、 In the prediction step,
    上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの上側に隣接して位置する上側復号化済みサブブロックを用い、 As decoded subblock positioned above the vicinity of the target decoding subblock, with upper decoded subblock positioned adjacent to the upper side of 該被 decoding subblock,
    上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左側に隣接して位置する左側復号化済みサブブロックを用い、 As decoded subblock positioned at the left side near the target decoding subblock, using left decoded subblock positioned adjacent to the left side of 該被 decoding subblock,
    上記被復号化サブブロックの左上近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左上側に隣接して位置する左上側復号化済みサブブロックを用い、 As decoded subblock positioned at the upper left vicinity of the target decoding subblock, with the upper left side decoded subblock positioned adjacent to the upper left side of the 該被 decoding subblock,
    上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記左側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成し、 The absolute value of the difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock frequency component of the upper decoded subblock DC component and the upper left of the frequency components of the left decoded subblocks It is smaller than the absolute value of the difference between the DC component of the frequency components of the side decoded subblock, with reference to the frequency component of the left decoded sub blocks to generate a predicted value of the frequency components of the decoded subblocks ,
    一方、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記上側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成する、 On the other hand, the absolute value of the difference between the DC component of the frequency component of the DC component and the upper left side decoded subblock of frequency components of said left decoded subblocks, the DC component of the frequency components of the upper decoded subblocks and it is smaller than the absolute value of the difference between the DC component of the frequency components in the upper left side decoded subblock, a prediction value of the frequency component of the reference to the decoding subblock frequency components of the upper decoded subblocks to generate,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  3. 請求項1または2記載の画像処理方法において、 The image processing method according to claim 1 or 2, wherein,
    上記予測ステップでは、上記被復号化サブブロックの周波数成分の予測値は、量子化された周波数成分に基づいて生成され、 In the prediction step, the prediction value of the frequency components of the target decoding subblock is generated on the basis of the quantized frequency component,
    上記変換ステップでは、上記逆周波数変換は逆量子化された周波数成分に対して行われる、 In the conversion step, the inverse frequency transform is performed for the inverse quantized frequency component,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
JP17334698A 1997-06-20 1998-06-19 Image processing method, image processing apparatus, and a data storage medium Active JP3671286B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP9-164654 1997-06-20
JP16465497 1997-06-20
JP17334698A JP3671286B2 (en) 1997-06-20 1998-06-19 Image processing method, image processing apparatus, and a data storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17334698A JP3671286B2 (en) 1997-06-20 1998-06-19 Image processing method, image processing apparatus, and a data storage medium

Publications (2)

Publication Number Publication Date
JPH1175187A true JPH1175187A (en) 1999-03-16
JP3671286B2 true JP3671286B2 (en) 2005-07-13

Family

ID=26489676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17334698A Active JP3671286B2 (en) 1997-06-20 1998-06-19 Image processing method, image processing apparatus, and a data storage medium

Country Status (1)

Country Link
JP (1) JP3671286B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
KR100984629B1 (en) * 2002-10-01 2010-09-30 파나소닉 주식회사 Picture encoding device, picture decoding device, and method using the same
KR100967237B1 (en) 2002-11-01 2010-06-30 파나소닉 주식회사 Motion picture encoding method and motion picture decoding method
KR100510138B1 (en) 2003-05-01 2005-08-26 삼성전자주식회사 Method for selecting reference picture, motion compensation method thereof and apparatus thereof

Also Published As

Publication number Publication date Type
JPH1175187A (en) 1999-03-16 application

Similar Documents

Publication Publication Date Title
US6735345B2 (en) Efficient macroblock header coding for video compression
US5915043A (en) Image reproducing apparatus
US5532747A (en) Method for effectuating half-pixel motion compensation in decoding an image signal
US6359929B1 (en) Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6148109A (en) Image predictive coding method
US6426975B1 (en) Image processing method, image processing apparatus and data recording medium
US20080075170A1 (en) Methods and devices for coding and decoding images, computer program implementing them and information carrier enabling their implementation
US20040042673A1 (en) Digital image coding/decoding method and data recording medium
JP2001268581A (en) Image predictive decoding method, image predictive decoder, image predictive encoding method, image predictive encoder and data storage medium
JPH114441A (en) Estimation and compensation of moving of video object plane for interlaced digital video device
JP2004336369A (en) Moving image encoder, moving image decoder, moving image encoding method, moving image decoding method, moving image encoding program and moving image decoding program
JP2003319394A (en) Encoding apparatus and method, decoding apparatus and method, recording medium, and program
JPH06284412A (en) Picture signal coding method and picture signal coder, picture signal decoding method and picture signal decoder and picture signal recording medium
JP2006174138A (en) Data processor, image processing apparatus, method and program therefor
US5982439A (en) Coding image data
JP2009027541A (en) Image encoding device and its method and program, and image decoding device and its method and program
US6275533B1 (en) Image processing method, image processing apparatus, and data recording medium
JP2003319391A (en) Encoding apparatus and method, decoding apparatus and method, recording medium, and program
KR20070037532A (en) Intra prediction encoding method and encoder thereof
JPH10191351A (en) Moving image encoder and decoder
US6154570A (en) Method and apparatus for digital image coding and decoding, and data recording media
JPH09130801A (en) Image encoding device, image encoding method, image decoding device and image decoding device
JPH09294262A (en) Image coder
KR20060095821A (en) A prediction image generating method and apparatus using using single coding mode among color components, and an image and video encoding/decoding method and apparatus using it
JPH1155672A (en) Dynamic image coder, dynamic image decoder, dynamic image coding method and dynamic image decoding method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040726

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040803

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250