JP3671286B2

JP3671286B2 - Image processing method, image processing apparatus, and data storage medium

Info

Publication number: JP3671286B2
Application number: JP17334698A
Authority: JP
Inventors: 孝啓西
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1997-06-20
Filing date: 1998-06-19
Publication date: 2005-07-13
Anticipated expiration: 2018-06-19
Also published as: JPH1175187A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法，画像処理装置，及びデータ記憶媒体に関し、特にインタレース画像信号の周波数成分に対して適応的な画面内予測処理を施すことにより、画像信号の符号化処理における符号化効率を向上するようにしたものに関するものである。
【０００２】
【従来の技術】
動画像に対応する画像データを、その冗長性を利用して圧縮する予測符号化には、被符号化フレーム内の画像データを用いて、画像データの予測を行う画面内予測符号化と、被符号化フレーム以外の他のフレームの画像データを利用して、画像データの予測を行う画面間予測符号化がある。
【０００３】
具体的には、上記画面内予測符号化は、被符号化フレームの画像データの予測値をそのフレーム内の画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の本来の性質として画像データに多量に含まれている空間的に冗長な情報を除去もしくは減少して画像データを圧縮する方法である。
【０００４】
一方、上記画面間予測符号化は、被符号化フレームの画像データの予測値を他のフレームの画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の動きが小さい場合などに画像データに多量に含まれることとなる時間的に冗長な情報を除去もしくは減少して画像を圧縮する方法である。
【０００５】
最近の画像符号化においては離散コサイン変換（ＤＣＴ）が広く利用されており、代表的な画像符号化方式であるＭＰＥＧ（Moving Picture Expert Group ）方式においては、デジタル画像信号により形成される画像空間（フレーム）をＤＣＴ処理の単位である複数の矩形領域（ブロック）に分割し、各ブロックに対応する画像信号に対してブロック毎にＤＣＴ処理を施すようにしている。
【０００６】
ＭＰＥＧ方式で採用されている、ＤＣＴ係数，つまりＤＣＴ領域（周波数領域）における画像データに対する画面内予測方法については、ＭＰＥＧ４に関する文献であるISO/IEC JTC1/SC29/WG11 MPEG97/N1642 MPEG-4 Video Verification Model Version 7.0 （以下、ＭＰＥＧ−４ＶＭ７．０と称する。）における「Intra DC and AC Prediction for I-VOP and P-VOP」の項に記載されている。
【０００７】
この文献の記載によれば、符号化処理の対象となる被符号化ブロックに対応するＤＣＴ係数のＤＣ成分およびＡＣ成分を、上記画像空間上で被符号化ブロックの左上、上および左に隣接して位置する３つの隣接ブロックに対応するＤＣＴ係数を利用して予測することとしている。
【０００８】
図１５は、従来の画像符号化方式に採用されている、上記文献に記述されているような画面内ＤＣＴ係数予測方法を説明するための図である。
図１５には、ＤＣＴ処理の単位となる８×８画素からなる４つのブロック（ＤＣＴブロックともいう。）Ｒ０〜Ｒ２，Ｘが示されており、各ブロックは、画像信号により形成される画像空間（空間領域）上で互いに隣接して位置している。ここで、ブロックＸは、符号化処理の対象となる被符号化ブロックであり、ブロックＲ０，Ｒ１，Ｒ２は、上記空間領域上で、上記被符号化ブロックの左上側，上側，及び左側に隣接して位置する、既に符号化処理が完了した符号化済みブロックである。
【０００９】
従来の画面内ＤＣＴ係数予測方法では、ブロックＸのＤＣＴ係数の予測値を生成する際に、ブロックＲ１またはブロックＲ２のＤＣＴ係数が参照される。
具体的には、符号化済みブロックＲ１のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ１における左上隅のＤＣ成分及び最上列のＡＣ成分が、これらの成分と被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。また、符号化済みブロックＲ２のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ２の左上隅のＤＣ成分及び最左列のＡＣ成分が、これらの成分と上記被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。
【００１０】
また、符号化済みブロックのいずれのブロックのＤＣＴ係数を、上記被符号化ブロックＸのＤＣＴ係数の予測値として参照すべきかの決定は、符号化済みブロックＲ０，Ｒ１およびＲ２のＤＣ成分を用いて行われる。
【００１１】
すなわち、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値よりも小さい場合は、縦方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際にはブロックＲ１のＤＣＴ係数が参照される。一方、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値よりも小さい場合には、横方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際には、ブロックＲ２のＤＣＴ係数が参照される。
【００１２】
ところが、上記文献（ＭＰＥＧ−４ＶＭ７．０）における「ＡｄａｐｔｉｖｅＦｒａｍｅ／ＦｉｅｌｄＤＣＴ」の項に記載されているように、インタレース画像の符号化に用いられるＤＣＴ処理（周波数変換処理）には、フレームＤＣＴ処理とフィールドＤＣＴ処理の２つのタイプのＤＣＴ処理がある。これらのＤＣＴ処理はその処理単位が異なり、フレームＤＣＴ処理はフレーム単位で画像データの変換を行い、フィールドＤＣＴ処理はフィールド単位で画像データの変換を行う。ＭＰＥＧ方式では、４つのブロックから構成されるいわゆるマクロブロック毎にフレームＤＣＴ処理とフィールドＤＣＴ処理とが適応的に切り換えられる。
【００１３】
ここで、マクロブロックに対するフレームＤＣＴ処理とフィールドＤＣＴ処理の切替えは、図１６に示すように、走査線の並べ替えを行うか否かにより行われ、フィールドＤＣＴ処理では、走査線の並べ替えが行われたマクロブロックにおける各ブロックの画像データにＤＣＴ処理が施されることとなる。
【００１４】
具体的には、フレームＤＣＴ処理の場合は、偶数および奇数番号の走査線が交互に並んだマクロブロックにおける各ブロックの画像データがそのままＤＣＴ処理され、フィールドＤＣＴ処理の場合には、走査線の並べ替えにより、マクロブロックが、偶数番号の走査線のみで構成される第１フィールドのブロックと奇数番号の走査線のみで構成される第２フィールドのブロックとからなるものとなった後に、このようなマクロブロックにおける各ブロックの画像データに対してＤＣＴ処理が行われることとなる。
【００１５】
このようにインタレース画像信号の符号化処理では、画像空間上に位置するマクロブロックとして、フレームＤＣＴ処理されるマクロブロックとフィールドＤＣＴ処理されるマクロブロックとが混在することになる。
そして、第１フィールドと第２フィールドの間での画素値の相関が第１フィールド内および第２フィールド内での画素値の相関より高い場合は、フレームＤＣＴ処理が実施され、それ以外の場合はフィールドＤＣＴ処理が実施されるという方法で、フレームＤＣＴ処理とフィールドＤＣＴ処理は切替えられる。
【００１６】
従って、画像空間上で隣り合うマクロブロックや隣接するブロック（つまりマクロブロックを構成するサブブロック）であっても、ＤＣＴ処理のタイプが異なる場合があり、この場合には、隣接するマクロブロック間、あるいは隣接するブロック間では、マクロブロックあるいはブロックのＤＣＴ処理タイプが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００１７】
また、隣り合うブロック間ではこれらが属するフィールドが異なる場合があり、このような場合には、隣接するブロック間では、ブロックの属するフィールドが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００１８】
【発明が解決しようとする課題】
しかしながら、フィールドＤＣＴ処理が施されたマクロブロック（フィールドＤＣＴタイプのマクロブロック）では、第１フィールドのブロックと第２フィールドのブロックが混在するため、被符号化ブロックのＤＣＴ係数の予測値を生成する際、参照すべき符号化済みブロックを特定することが困難であり、このため、上記のようなフィールドＤＣＴタイプのマクロブロックに対して従来の画面内予測処理を単純に適用することができない。この結果、フィールドＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理では、画面内予測処理を適用することができず、画像信号に含まれる空間的に冗長な画像情報を十分に削減して、効率のよい符号化処理を行うことができないという問題があった。
【００１９】
この発明は以上のような問題点を解消するためになされたもので、異なるＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理においても、画像信号に含まれる空間的に冗長な画像情報を十分に削減でき、高能率な符号化処理、及びこれに対応する復号化処理を行うことができる画像処理装置，及び画像処理方法，並びに上記符号化処理あるいは復号化処理をコンピュータにより実現するためのをプログラムを格納したデータ記憶媒体を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明（請求項１）に係る画像処理方法は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の個々のマクロブロックを構成するサブブロック毎に、水平画素列の並べ替え及び周波数変換を含む符号化処理と水平画素列の並べ替えを含まずかつ周波数変換を含む符号化処理のいずれかにより符号化して得られる画像符号化信号に対する復号化処理を、上記サブブロック毎に行う画像処理方法であって、復号化処理の対象となる被復号化サブブロックの周波数成分の予測値を、既に復号化処理が完了した復号化済みサブブロックのうちで、該被復号化サブブロックの上側近傍，左側近傍に位置する復号化済みサブブロックの周波数成分を参照して生成する予測ステップと、上記被復号化サブブロックに対応する画像符号化信号から、上記予測値を用いて上記被復号化サブブロックの周波数成分を復元する復元ステップと、該復元されたサブブロックの周波数成分を、逆周波数変換により対応するサブブロックの画像信号に変換する変換ステップと、上記画像空間上で同一のマクロブロックに属するサブブロックの画像信号を、該マクロブロック内でのサブブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成する信号生成ステップと、を含み、上記変換ステップは、符号化の際に、上記画像空間を構成する第１フィールドの画像が上記マクロブロックの上側に位置し、かつ上記画像空間を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理が施されたマクロブロックに対しては、フィールド単位の逆周波数変換を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、フレーム単位の逆周波数変換を施すものであり、上記信号生成ステップは、符号化の際に上記水平画素列の並べ替え処理が施されたマクロブロックに対しては、上記第１フィールドと上記第２フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、上記水平画素列の逆並べ替え処理を施さずに、上記マクロブロックに対する画像信号を再生するものであり、上記予測ステップは、上記復号化済みサブブロックが符号化の際に水平画素列の並べ替え処理を施されたサブブロックであるか否かにかかわらず、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックと、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックのいずれの周波数成分を参照するかを、該被復号化サブブロックの上側近傍，左側近傍，及び左上近傍に位置する復号化済みサブブロックの周波数成分の直流成分に基づいて決定し、かつ上記被復号化サブブロックの上側近傍に位置する参照されるべき復号化済みサブブロックには、該被復号化サブブロックの被復号化対象マクロブロック内での位置に応じて、該被復号化対象マクロブロック内のもの、あるいは該被復号化対象マクロブロックの上側に位置する復号化済みマクロブロック内のものを用いるものである、ことを特徴とするものである。
【００２１】
この発明（請求項２）は、請求項１記載の画像処理方法において、上記予測ステップでは、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの上側に隣接して位置する上側復号化済みサブブロックを用い、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左側に隣接して位置する左側復号化済みサブブロックを用い、上記被復号化サブブロックの左上近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左上側に隣接して位置する左上側復号化済みサブブロックを用い、上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記左側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成し、一方、上記左側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記上側復号化済みサブブロックの周波数成分の直流成分と左上側復号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記上側復号化済みサブブロックの周波数成分を参照して被復号化サブブロックの周波数成分の予測値を生成する、ことを特徴とするものである。
【００２２】
この発明（請求項３）は、請求項１または２記載の画像処理方法において、上記予測ステップでは、上記被復号化サブブロックの周波数成分の予測値は、量子化された周波数成分に基づいて生成され、上記変換ステップでは、上記逆周波数変換は逆量子化された周波数成分に対して行われる、ことを特徴とするものである。
【００４７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
実施の形態１．
本発明の実施の形態１による画像処理装置（画像符号化装置）及び画像処理方法（画像符号化方法）は、適応的画面内ＤＣＴ係数予測方法，つまり被符号化ブロックのＤＣＴタイプ信号（周波数変換タイプ信号）に応じて、符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。
【００４８】
図１は、本実施の形態１による画像符号化装置の構成を示すブロック図である。
図において、１０００は本実施の形態１の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のブロックの各々に対応するよう分割し、各ブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【００４９】
すなわち、この画像符号化装置１０００は、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。
【００５０】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００５１】
また、上記画像符号化装置１０００は、上記ブロック化された画像信号（以下ブロック化画像信号ともいう。）１０１に対して離散コサイン変換（ＤＣＴ処理）を施して、上記ブロック化画像信号を周波数成分（ＤＣＴ係数）１０４に変換するＤＣＴ器１０３と、このＤＣＴ係数１０４を量子化して、各ブロックに対応する量子化値（ＤＣＴ係数量子化値）１０６を生成する量子化器１０５と、上記ＤＣＴタイプ信号１０２に基づいた画面内予測処理により被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部１１０と、上記ＤＣＴ係数量子化値１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【００５２】
ここで、上記画面内予測処理部１１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【００５３】
次に動作について説明する。
まず、適応的ＤＣＴ予測処理を用いた符号化処理における全体的な動作について説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置１０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【００５４】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。
【００５５】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００５６】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【００５７】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【００５８】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部１１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【００５９】
すなわち、上記画面内予測処理部１１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器１１３では、上記ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【００６０】
次に、上記符号化処理における適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態１の適応的画面内ＤＣＴ係数予測方法は、被符号化ブロックのＤＣＴタイプに応じて、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際に参照するブロックを変更するものである。
【００６１】
本実施の形態１においては、次のようにＤＣＴ領域を定義する。
すなわち、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、画像信号空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【００６２】
また、この実施の形態１では、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴデータが、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【００６３】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測し、この際、被符号化ブロックのＤＣＴタイプに応じて、参照する符号化済みブロックを切替える適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
【００６４】
まず、被符号化ブロックがフレームＤＣＴ処理されている場合の予測（以下、フレーム予測と称する）においては、図４(a) に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４(a) に示す被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）に空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００６５】
一方、被符号化ブロックがフィールドＤＣＴ処理されている場合の予測（以下、フィールド予測と称する）においては、図４(b) に示すように、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックの左隣に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４(b) に示す被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）と同じフィールドに属する空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００６６】
次に、図５から図１１を用いて、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法の処理手順について説明する。
図５は、本実施の形態の適応的画面内ＤＣＴ係数予測方法の処理手順を表すフローチャートを示す図である。
【００６７】
ステップ５１において、被符号化ブロックｘ（ｉ）のＤＣＴタイプが判定され、この判定結果によってその後の処理が異なることとなる。
つまり、被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ５２において、図４(a) に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ），ｒ１（ｉ）およびｒ２（ｉ）を参照するフレーム予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００６８】
一方、被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ５３において、図４(b) に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）参照するフィールド予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００６９】
以上のようにして、被符号化ブロックｘ（ｉ）のＤＣＴタイプに応じて、予測に用いる参照ブロックを切替えることで、被符号化ブロックｘ（ｉ）との間でＤＣＴ係数の相関の高いブロックのＤＣＴ係数を予測に用いることができ、これにより効率のよい予測を行うことができる。
【００７０】
次に、図５に示すステップＳ５２のフレーム予測方法の処理手順を、図６のフローチャートを用いて説明する。図６において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４(a) の参照ブロックおよび被符号化ブロックを示す。図６のフレーム予測方法の処理手順においては、フレームＤＣＴ処理されている参照ブロック、すなわち被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロックを優先して予測に用いる。
【００７１】
まず、ステップＳ６１１ａにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ６１２ａおよびＳ６１３ａにおいて、被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図６に示すフレーム予測の処理は、次の４つの処理（Ａ１）〜（Ａ４）に分けられる。
【００７２】
（Ａ１）参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ６１４ａにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００７３】
（Ａ２）参照ブロックｒ１（ｉ）がフィールドＤＣＴされ、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１５ａにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００７４】
（Ａ３）参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００７５】
（Ａ４）参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ６１７ａにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００７６】
なお、ステップＳ６１７ａにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ６１３ａおよびステップＳ６１７ａを省略して、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されていない場合は、常にステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００７７】
次に、図５に示すステップ５３のフィールド予測方法における処理手順を、図７のフローチャートにより説明する。
図７に示すフィールド予測方法の処理手順は、図６に示すフレーム予測方法の処理手順において、フレームとフィールドを入れ替えたものである。
【００７８】
ただし、図７によるフィールド予測方法の説明においては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、および被符号化ブロックｘ（ｉ）は、それぞれ図４(b) に示す参照ブロックおよび被符号化ブロックを示すものとする。
すなわち、図７のフィールド予測方法の処理手順においても、被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロック（フィールドＤＣＴ処理が施された参照ブロック）を優先して予測に用いる。
【００７９】
まず、ステップＳ７１１ｂにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ７１２ｂおよびＳ７１３ｂにおいて、被符号化ブロックｘ（ｉ）の上側に位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図７に示すフィールド予測の処理は、次の４つの処理（Ｂ１）〜（Ｂ４）に分けられる。
【００８０】
（Ｂ１）参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ７１４ｂにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００８１】
（Ｂ２）参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１５ｂにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００８２】
（Ｂ３）参照ブロックｒ１（ｉ）がフィールドＤＣＴ処理され、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００８３】
（Ｂ４）参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ７１７ｂにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００８４】
なお、ステップＳ７１７ｂにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、およびｒ２（ｉ）を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ７１３ｂおよびステップＳ７１７ｂを省略して、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されていない場合は、常にステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００８５】
以上、図６および図７の処理手順に示した予測方法のように、被符号化ブロックと同じＤＣＴタイプのブロック、すなわち被符号化ブロックとの間でＤＣＴ係数の相関の高い参照ブロックを優先して、被符号化ブロックの予測に用いることにより、効率のよい予測を行うことができる。
【００８６】
次に、上述した図６に示すステップＳ６１４ａの「所定の方法１」またはステップＳ６１７ａの「所定の方法２」に基づいた予測値生成方法の処理手順を、図８に示すフローチャートを用いて説明する。
【００８７】
図８の方法では、従来のＤＣＴ係数予測方法と同様の処理を行うために、ステップＳ８２１ａからステップＳ８２９ａの処理において、図１５に示す４つのブロックに対応した、該各ブロックのＤＣＴ係数を格納するための仮想的なメモリ空間（仮想バッファ）を想定し、該仮想バッファ上の各ブロックに対して従来のＤＣＴ係数予測方法を適用する。
【００８８】
図８においては、Ｒ０、Ｒ１およびＲ２は仮想バッファ上の参照ブロックを表し、ＤＣ０、ＤＣ１およびＤＣ２は、それぞれ上記仮想バッファ上の参照ブロックＲ０、Ｒ１およびＲ２のＤＣＴ係数のＤＣ成分を表す。なお、図８の予測値生成方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、ｘ（ｉ）は図４(a) に示す位置関係を有する参照ブロック及び被符号化ブロックを表している。
【００８９】
図８に示す処理では、まず、ステップＳ８２１ａ、ステップＳ８２２ａおよびステップＳ８２３ａにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ８２１ａにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００９０】
すなわち、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ８２２ａにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数を生成し、生成したＤＣＴ係数を参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納する。一方、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ８２３ａにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ８２４ａ、８２５ａおよび８２６ａにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ８２７ａ、８２８ａおよびステップＳ８２９ａにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００９１】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ８３０ａにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ８３２ａにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００９２】
それ以外の場合は、ステップＳ８３１ａにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
なお、図６のステップＳ８１４ａの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフレームであることが分かっているので、図８のステップＳ８２４ａ，ステップＳ８２７ａ，ステップＳ８２５ａおよびステップＳ８２８ａによる処理を省略することができる。
【００９３】
次に、図７で示すステップＳ７１４ｂの「所定の方法１」またはステップＳ７１７ｂの「所定の方法２」における処理手順を、図９に示すフローチャートを用いて説明する。
【００９４】
図９のフローチャートに示す処理手順は、図８のフローチャートに示す処理手順において、各ブロックがフレームＤＣＴされているか否かの判定処理を、各ブロックがフィールドＤＣＴされているか否かの判定処理と置き換えたものであり、処理の概要については、上記図７に示す処理と同様である。なお、図９では、参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４(b) に示す位置関係を有する参照ブロックおよび被符号化ブロックを表している。
【００９５】
図９に示す処理では、まず、ステップＳ９２１ｂ、ステップＳ９２２ｂおよびステップＳ９２３ｂにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ９２１ｂにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００９６】
すなわち、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ９２２ｂにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数が生成され、生成されたＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納される。一方、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ９２３ｂにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ９２４ｂ、９２５ｂおよび９２６ｂにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ９２７ｂ、９２８ｂおよびステップＳ９２９ｂにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００９７】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ９３０ｂにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ９３２ｂにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００９８】
それ以外の場合は、ステップＳ９３１ｂにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
なお、図７のステップＳ７１４ｂの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフィールドであることが分かっているので、図９のステップＳ９２４ｂ，９２７ｂ，ステップＳ９２５ｂおよびステップＳ９２８ｂによる処理を省略することができる。
【００９９】
このようにして、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックと異なるＤＣＴタイプのブロックのＤＣＴ係数を参照する必要のある場合に、被符号化ブロックと異なるＤＣＴタイプのＤＣＴ係数をそのまま参照するのではなく、参照ブロックの近傍のブロックから、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の特性に近いＤＣＴ係数を生成して、生成したＤＣＴ係数を参照して被符号化ブロックのＤＣＴ係数を予測することにより、効率のよい予測を行うことが可能となる。
【０１００】
図１０は、図８のステップＳ８２２ａ，８２５ａ，８２８ａ，図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからのＤＣＴ係数を生成する方法を説明するための概念図である。
【０１０１】
図１０および図１１の説明において、ｒは、周波数領域上の参照ブロックｒ０（ｉ），参照ブロックｒ１（ｉ），及び参照ブロックｒ２（ｉ）のいずれかを示し、Ｒは、仮想バッファ上の参照ブロックＲ０，参照ブロックＲ１，及び参照ブロックＲ２のいずれかを示している。
【０１０２】
図８のステップＳ８２２ａ，８２５ａ，８２８ａ，及び図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからＤＣＴ係数を生成する処理では、図１０に示すように、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数とする。
【０１０３】
図１１は、仮想バッファ上の参照ブロックＲのＤＣＴ係数の生成手順を示している。ここでは、ＤＣＴ領域上のマクロブロック内での参照ブロックｒの位置によって、異なる処理が行われる。
【０１０４】
例えば、ＤＣＴ領域のマクロブロックにおけるブロック位置（０）または（２）に、すなわちＤＣＴ領域のマクロブロックの左側に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｌにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（０）および（２）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。ＤＣＴ領域のマクロブロックのブロック位置（１）または（３）に、すなわちＤＣＴ領域のマクロブロックの右側の位置に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｒにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（１）および（３）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。
【０１０５】
ここで用いる所定の関数としては、周波数領域上の参照ブロックｒの近傍に位置する２つのブロックのＤＣＴ係数の平均または重み付け平均を、仮想バッファ上の参照ブロックＲのＤＣＴ係数とする関数など、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から一意に仮想バッファ上の参照ブロックＲのＤＣＴ係数の値を計算できる関数であればよい。
そして、周波数領域上の２つのブロックを参照して生成したＤＣＴ係数は、ステップＳ１１４３において、仮想バッファ上の参照ブロックＲのＤＣＴ係数とされる。
【０１０６】
このようにして、空間領域において参照ブロックｒと同じ領域の情報を持つ２つのブロックのＤＣＴ係数から予測に用いる仮想領域上の参照ブロックＲのＤＣＴ係数を生成することにより、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の周波数特性に近いＤＣＴ係数を生成することができる。
【０１０７】
このようにして、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法では、被符号化ブロックのＤＣＴタイプに応じて予測に用いる参照ブロックを切替え、被符号化ブロックと同じＤＣＴタイプの参照ブロックのＤＣＴ係数を優先して予測に利用し、さらに参照ブロックが被符号化ブロックと異なるＤＣＴタイプの場合には、参照ブロックの近傍のブロックのＤＣＴ係数から、参照ブロックのＤＣＴタイプが被符号化ブロックのＤＣＴタイプと同一である場合の参照ブロックのＤＣＴ係数の周波数特性に近いブロックのＤＣＴ係数を生成して予測に用いるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率のよく行うことができる。
【０１０８】
この結果、本実施の形態１によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率の向上により、空間的に冗長な画像情報の除去または減少による画像信号の圧縮符号化を効率よく行うことが可能となる。
【０１０９】
なお、本実施の形態１において用いる適応的画面内ＤＣＴ係数予測方法において、図４(a) および(b) の参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ２（ｉ）と被符号化ブロックｘ（ｉ）のＤＣＴタイプが異なる場合は、参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。また、場合によっては、参照ブロックｒ１（ｉ）についても、そのＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【０１１０】
また、上記実施の形態１では、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂでは、それぞれ参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））のＤＣＴ係数から、被符号化ブロックのＤＣＴ係数の予測に用いる仮想バッファ上の参照ブロックＲ（具体的には参照ブロックＲ０，Ｒ１，Ｒ２）のＤＣＴ係数を生成しているが、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂにおいては、それぞれ上記ステップＳ９２２ｂ，Ｓ９２５，Ｓ９２８ｂと同様に、空間領域にて参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））の近傍に位置する２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数としてもよい。
【０１１１】
さらにこの場合において、図７に示すフィールド予測処理では、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）及び被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプによって、上述した４つの処理Ｂ１〜Ｂ４のうちの１つを行うようにしているが、これらの処理Ｂ１〜Ｂ４のうちの処理１，処理Ｂ３，及び処理４を、以下に示す処理Ｂ１′，処理Ｂ３′，及びＢ４′に置き換えてもよい。
【０１１２】
上記処理Ｂ３′については、被符号化ブロックの上側に隣接する符号化済みブロック（つまり図４(b) に示す被符号化ブロックｘ（ｉ）と符号化済みブロックｒ１（ｉ）の間に位置する符号化済みブロック）を参照ブロックとして、この参照ブロックのＤＣＴ係数を被符号化ブロックのＤＣＴ係数の予測値として用いるものとする。
【０１１３】
上記処理Ｂ１′及び処理Ｂ４′については、ステップＳ９２２ｂ，９２３ｂでは、参照ブロックｒ０（ｉ）と、該参照ブロックｒ０（ｉ）と参照ブロックｒ２（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ０のＤＣＴ係数を生成し、ステップＳ９２５ｂ，９２６ｂでは、参照ブロックｒ１（ｉ）と、該参照ブロックｒ１（ｉ）と被符号化ブロックｘ（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成し、ステップＳ９２８ｂ，９２９ｂでは、参照ブロックｒ２（ｉ）と、該参照ブロックｒ２（ｉ）と参照ブロックｒ０（ｉ）の間に位置する符号化済みブロックとを、１対０の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成するものとする。なお、上記処理Ｂ１′及びＢ４′処理では、各ブロックｒ０（ｉ）〜ｒ２（ｉ）は被符号化ブロックｘ（ｉ）に対して図４(b) に示す位置に位置しているものとする。
【０１１４】
言い換えると、上記処理Ｂ１′及び処理Ｂ４′は、参照ブロックｒ０（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の重み付け比率を１として行い、参照ブロックｒ１（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行い、さらに参照ブロックｒ２（ｉ）とその上側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行うものである。
【０１１５】
この場合、重み付け平均のための演算処理が簡単なものとなり、また被符号化サブブロックに対して空間的に最も近い位置の符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値が生成されることとなるので、簡単な演算処理による適応的画面内ＤＣＴ係数予測方法により、インターレースあるいは特定のプログレッシブ画像に対する符号化処理全体としての予測効率を向上することができる。
【０１１６】
実施の形態２．
本実施の形態２による画像処理装置（画像復号化装置）及び復号化方法（画像復号化方法）は、上記実施の形態１で示した画像符号化装置及び画像符号化方法で用いた適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【０１１７】
図２は、本実施の形態２による画像復号化装置のブロック図を示し、図１と同一符号は同一部分、または相当分を示す。
この画像復号化装置２０００は、上記本実施の形態１による画像符号化装置１０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して適応的画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【０１１８】
すなわち、この画像復号化装置２０００は、画像符号化装置１０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部２１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１０６を復元する加算器１１２とを有している。
【０１１９】
ここで、上記画面内予測処理部２１０は、上記加算器１１２の出力１０６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、画像符号化装置１０００からのＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【０１２０】
また、上記画像復号化装置２０００は、上記加算器１１２の出力１０６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１２１】
次に動作について説明する。
本画像復号化装置２０００に、画像符号化装置１０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析により可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１０６が復元される。
【０１２２】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１０６は、上記画面内予測処理部２１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器１１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいてブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成する適応的ＤＣＴ係数予測処理が、画像符号化装置１０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１２３】
さらに上記ＤＣＴ係数量子化値１０６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
【０１２４】
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１２５】
このように本実施の形態２では、適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を適応的画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における画面内予測処理により効率よくしかも正しく復号化することができる。
【０１２６】
実施の形態３．
次に本発明の実施の形態３による画像処理装置（画像符号化装置）について説明する。
本実施の形態３による画像符号化装置は、上記実施の形態１における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１２７】
そして本実施の形態３の画像符号化装置による適応的画面内ＤＣＴ係数予測処理は、フレーム予測方法およびフィールド予測方法以外については、上記実施の形態１の適応的画面内ＤＣＴ係数予測処理と同様であるので、ここでは図１２および図１３を用いて本実施の形態３におけるフレーム予測方法およびフィールド予測方法についてのみ説明する。
【０１２８】
図１２は、図５に示すステップＳ５２におけるフレーム予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１２において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４(a) に示す参照ブロックおよび被符号化ブロックを表すものとする。
【０１２９】
この実施の形態３では、まず、ステップＳ１２２１ａにて参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。
すなわち、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、「所定の方法」として図８に示す予測値生成方法を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。図８の予測値生成方法については、実施の形態１において説明したものと同じであるのでここではその説明を省略する。なお、図１２のステップＳ１２２２ａの「所定の方法」においては、ｒ２（ｉ）のＤＣＴタイプはフレームＤＣＴであることが分かっているので、図８のステップＳ８２７ａおよびステップＳ８２８ａを省略することができる。
【０１３０】
一方、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、図１５に示す従来の方法と同様にして、つまり図１５に示すように参照ブロックＲ１のＤＣＴ係数から被符号化ブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【０１３１】
図１３は、図５に示すステップＳ５３におけるフィールド予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１３に示す処理は、図１２の処理において、フレームとフィールドを入れ替えたものであり、処理の概要については同様であるのでここではその詳細については説明を省略する。
【０１３２】
ただし、図１３のフィールド予測方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４(b) の参照ブロックおよび被符号化ブロックを表すものとする。
【０１３３】
このように、本実施の形態３の画像符号化装置における適応的画面内ＤＣＴ係数予測方法では、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法を、上記実施の形態１と比べて簡略化することにより、符号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１３４】
実施の形態４．
次に本発明の実施の形態４による画像処理装置（画像復号化装置）について説明する。
本実施の形態４による画像復号化装置は、上記実施の形態２における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１３５】
このような構成の本実施の形態４の画像復号化装置では、適応的画面内ＤＣＴ係数予測方法を行う際、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法が、上記実施の形態２と比べて簡略化されることとなり、これにより復号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１３６】
実施の形態５．
本発明の実施の形態５による画像処理装置（画像符号化装置）及び画像処理方法（画像符号化方法）は、被符号化ブロックのＤＣＴタイプ信号（つまり被符号化ブロックがフレームＤＣＴ処理を施されたものであるかフィールドＤＣＴ処理を施されたものであるか）に拘わらず、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。またブロックは、１６×１６画素からなるマクロブロックを構成する８×８画素からなる４つのサブブロックを表すものとする。これら４つのサブブロックは、マクロブロック内の左上（図３のブロック位置（０）），右上（図３のブロック位置（１）），左下（図３のブロック位置（２）），右下（図３のブロック位置（３））に位置している。
【０１３７】
図１７は、本実施の形態５による画像符号化装置の構成を示すブロック図である。
図において、３０００は本実施の形態５の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のマクロブロックの各々に対応するよう分割し、各マクロブロックを構成するブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【０１３８】
すなわち、この画像符号化装置３０００は、実施の形態１の画像符号化装置１０００と同様、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１３９】
具体的には、上記ブロック化器１００では、上記走査線の並べ替え処理は、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置するよう行われる。
【０１４０】
そして、上記ブロック化器１００は、マクロブロックに対応する画像信号を、上記ブロック位置（０）〜（３）のブロックに対応するよう分割して出力するようになっている。
【０１４１】
また、上記画像符号化装置３０００は、上記実施の形態１の画像符号化装置１０００と同様、符号化処理の対象となる被符号化ブロックに対応する画像信号１０１に対して離散コサイン変換（ＤＣＴ処理）を施すＤＣＴ器１０３と、このＤＣＴ器１０３の出力１０４を量子化する量子化器１０５と、上記被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部３１０と、上記量子化器１０５の出力（ＤＣＴ係数量子化値）１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【０１４２】
また、上記画面内予測処理部３１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を、画像空間上で被符号化ブロックに隣接する符号化済みブロックのＤＣＴ係数量子化値１１４から生成するＤＣＴ係数予測器３１３とから構成されている。
【０１４３】
本実施の形態５では、上記ＤＣＴ係数予測器３１３は、被符号化ブロックのＤＣＴタイプに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に隣接して位置するブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックｒ１（ｉ）、及び被符号化ブロックｘ（ｉ）の左隣りに位置するブロックｒ２（ｉ）を、参照ブロックとして、上記被符号化ブロックｘ（ｉ）のＤＣＴ係数量子化値の予測値１１１を生成する構成となっている。
【０１４４】
なお、この実施の形態５におけるＤＣＴ器１０３，量子化器１０５，加算器１０７，１１２，ＶＬＣ器１０９，及びブロックメモリ１１５は、実施の形態１のものと同一構成となっている。
【０１４５】
次に動作について説明する。
まず、この実施の形態５の画像符号化装置の全体的な動作について簡単に説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置３０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【０１４６】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。この場合、走査線の並べ替え処理が施されたマクロブロックでは、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置することとなる。
【０１４７】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位とする走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１４８】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【０１４９】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【０１５０】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部３１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【０１５１】
すなわち、上記画面内予測処理部３１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器３１３では、符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【０１５２】
次に、上記符号化処理における画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態５の画面内ＤＣＴ係数予測方法は、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際には、実施の形態１とは異なり、被符号化ブロックのＤＣＴタイプに拘わらず、常に被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照するものである。
【０１５３】
本実施の形態５においても、実施の形態１と同様、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【０１５４】
また、この実施の形態５においても実施の形態１と同様、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴ係数が、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【０１５５】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測する、本実施の形態５の画面内ＤＣＴ係数予測方法について詳しく説明する。
【０１５６】
まず、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。
【０１５７】
そして図２０にフローチャートで示すように、従来のＤＣＴ係数予測方法と同様に、ステップＳ２１３０ａにおいて、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ２１３２ａにおいて参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
それ以外の場合は、ステップＳ２１３１ａにおいて参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【０１５８】
このように本実施の形態５では、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照ブロックとして用い、被符号化ブロック近傍で縦方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関と、被符号化ブロック近傍で横方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関の大小を比較してＤＣＴ係数の相関の強い方向を求め、被符号化ブロックに対してＤＣＴ係数の相関の強い方向に位置する参照ブロックを選択し、選択した参照ブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を求めるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率よくしかも簡単な処理手順によって行うことができる。
【０１５９】
この結果、本実施の形態５によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率を向上して、空間的に冗長な画像情報の削減による画像信号の圧縮符号化を効率よく簡単に行うことが可能となる。
【０１６０】
なお、本実施の形態５において用いる画面内ＤＣＴ係数予測方法において、図１９の参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【０１６１】
実施の形態６．
本実施の形態６による画像処理装置（画像復号化装置）及び復号化方法（画像復号化方法）は、上記実施の形態５で示した画像符号化装置及び画像符号化方法で用いた画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【０１６２】
図１８は、本実施の形態６による画像復号化装置のブロック図を示し、図１７と同一符号は同一部分、または相当分を示す。
この画像復号化装置４０００は、上記本実施の形態５による画像符号化装置３０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【０１６３】
すなわち、この画像復号化装置４０００は、画像符号化装置３０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部４１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１1 ６を復元する加算器１１２とを有している。
【０１６４】
ここで、上記画面内予測処理部４１０は、上記加算器１１２の出力１1 ６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、実施の形態５の画像符号化装置３０００における画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器３１３とから構成されている。
【０１６５】
また、上記画像復号化装置４０００は、上記加算器１１２の出力１１６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置４０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１６６】
この逆ブロック化器２００では、画像空間上で同一のマクロブロックに属するブロックの画像信号を、該マクロブロック内でのブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成するとともに、奇数番目の水平画素列に対応する画像信号により形成される第１フィールドの画像が上記マクロブロックの上側に位置し、かつ偶数番目の水平画素列に対応する画像信号により形成される第２フィールドの画像が該マクロブロックの下側に位置するよう、符号化の際に水平画素列の並べ替え処理が施されたマクロブロックの画像信号に対しては、上記第１フィールドと第２フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、一方、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックの画像信号に対しては、上記水平画素列の逆並べ替え処理を施さずに、複数のマクロブロックからなる上記画像空間の画像信号を生成する構成となっている。
【０１６７】
次に動作について説明する。
本画像復号化装置４０００に、画像符号化装置３０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析によ可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１１６が復元される。
【０１６８】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１１６は、上記画面内予測処理部４１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器３１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、ブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成するＤＣＴ係数予測処理が、画像符号化装置３０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１６９】
さらに上記ＤＣＴ係数量子化値１１６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置３０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１７０】
このように本実施の形態６では、画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における簡単な画面内予測処理により効率よくしかも正しく復号化することができる。
【０１７１】
さらに、上記各実施の形態で示した画像符号化装置あるいは画像復号化装置による画像処理を実現するための符号化あるいは復号化プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１７２】
図１４は、上記実施の形態１〜６の画像符号化処理あるいは画像復号化処理を、上記符号化あるいは復号化プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図１４(a) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスク本体を示し、図１４(b) は、該フロッピーディスク本体の物理フォーマットの例を示している。
【０１７３】
上記フロッピーディスクＦＤは、上記フロッピーディスク本体ＤをフロッピーディスクケースＦＣ内に収容した構造となっており、該フロッピーディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクＦＤでは、上記フロッピーディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
【０１７４】
また、図１４(c) は、フロッピーディスクＦＤに対する上記プログラムの記録、及びフロッピーディスクＦＤに格納したプログラムを用いた画像処理を行うための構成を示している。
【０１７５】
上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フロッピーディスクドライブＦDDを介してフロッピーディスクＦＤに書き込む。また、フロッピーディスクＦＤに記録されたプログラムにより、上記任意形状符号化装置あるいは任意形状復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１７６】
なお、上記説明では、データ記憶媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても上記フロッピーディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、記録媒体は上記光ディスクやフロッピーディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればよく、これらの記録媒体を用いる場合でも、上記フロッピーディスク等を用いる場合と同様にソフトウェアによる符号化処理あるいは復号化処理を実施することができる。
【０１７７】
【発明の効果】
この発明（請求項１）に係る画像処理方法によれば、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の個々のマクロブロックを構成するサブブロック毎に、水平画素列の並べ替え及び周波数変換を含む符号化処理と水平画素列の並べ替えを含まずかつ周波数変換を含む符号化処理のいずれかにより符号化して得られる画像符号化信号に対する復号化処理を、上記サブブロック毎に行う画像処理方法であって、復号化処理の対象となる被復号化サブブロックの周波数成分の予測値を、既に復号化処理が完了した復号化済みサブブロックのうちで、該被復号化サブブロックの上側近傍，左側近傍に位置する復号化済みサブブロックの周波数成分を参照して生成する予測ステップと、上記被復号化サブブロックに対応する画像符号化信号から、上記予測値を用いて上記被復号化サブブロックの周波数成分を復元する復元ステップと、該復元されたサブブロックの周波数成分を、逆周波数変換により対応するサブブロックの画像信号に変換する変換ステップと、上記画像空間上で同一のマクロブロックに属するサブブロックの画像信号を、該マクロブロック内でのサブブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成する信号生成ステップと、を含み、上記変換ステップは、符号化の際に、上記画像空間を構成する第１フィールドの画像が上記マクロブロックの上側に位置し、かつ上記画像空間を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理が施されたマクロブロックに対しては、フィールド単位の逆周波数変換を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、フレーム単位の逆周波数変換を施すものであり、上記信号生成ステップは、符号化の際に上記水平画素列の並べ替え処理が施されたマクロブロックに対しては、上記第１フィールドと上記第２フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックに対しては、上記水平画素列の逆並べ替え処理を施さずに、上記マクロブロックに対する画像信号を再生するものであり、上記予測ステップは、上記復号化済みサブブロックが符号化の際に水平画素列の並べ替え処理を施されたサブブロックであるか否かにかかわらず、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックと、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックのいずれの周波数成分を参照するかを、該被復号化サブブロックの上側近傍，左側近傍，及び左上近傍に位置する復号化済みサブブロックの周波数成分の直流成分に基づいて決定し、かつ上記被復号化サブブロックの上側近傍に位置する参照されるべき復号化済みサブブロックには、該被復号化サブブロックの被復号化対象マクロブロック内での位置に応じて、該被復号化対象マクロブロック内のもの、あるいは該被復号化対象マクロブロックの上側に位置する復号化済みマクロブロック内のものを用いるものである、ことを特徴とするので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を予測符号化して得られた画像符号化信号を、周波数成分の簡単な予測処理により効率よくしかも正しく復号化することができる。
【０１７８】
この発明（請求項２）によれば、請求項１記載の画像処理方法において、上記被復号化サブブロックの上側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの上側に隣接して位置する上側復号化済みサブブロックを用い、上記被復号化サブブロックの左側近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左側に隣接して位置する左側復号化済みサブブロックを用い、上記被復号化サブブロックの左上近傍に位置する復号化済みサブブロックとして、該被復号化サブブロックの左上側に隣接して位置する左上側復号化済みサブブロックを用いるので、被復号化サブブロックのＤＣＴ係数の予測値を生成する際、被復号化サブブロックに対して空間的に近い復号化済みサブブロックの周波数成分が参照されることとなり、予測効率の高い画面内予測符号化処理に対応した画面内予測復号化処理を実現できる。
【０１７９】
この発明（請求項３）によれば、請求項１または２記載の画像処理方法において、上記予測ステップでは、上記被復号化サブブロックの周波数成分の予測値は、量子化された周波数成分に基づいて生成され、上記変換ステップでは、上記逆周波数変換は逆量子化された周波数成分に対して行われるので、予測効率の高い画面内予測符号化処理に対応した画面内予測復号化処理を実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像処理装置（画像符号化装置）の構成を示すブロック図である。
【図２】本発明の実施の形態２による画像処理装置（画像復号化装置）の構成を示すブロック図である。
【図３】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、ＤＣＴ領域のマクロブロックにおけるＤＣＴブロックの配置を示している。
【図４】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、フレーム予測およびフィールド予測における参照ブロックの被符号化ブロックに対する位置関係を示している。
【図５】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による適応的画面内ＤＣＴ係数予測処理をフローチャートにより示す図である。
【図６】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフレーム予測方法をフローチャートにより示す図である。
【図７】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフィールド予測方法をフローチャートにより示す図である。
【図８】上記フレーム予測における予測値生成方法の一例をフローチャートにより示す図である。
【図９】上記フィールド予測における予測値生成方法の一列をフローチャートにより示す図である。
【図１０】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例を説明するための図である。
【図１１】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例をフローチャートにより示す図である。
【図１２】本発明の実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフレーム予測方法をフローチャートにより示す図である。
【図１３】上記実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフィールド予測方法をフローチャートにより示す図である。
【図１４】図１４(a) ，(b) は、本発明の各実施の形態の画面内予測符号化処理及び画面内予測復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体を説明するための図、図１４(c) は、上記コンピュータシステムを示す図である。
【図１５】従来の画像処理装置を用いた画面内ＤＣＴ係数予測方法を説明するための図である。
【図１６】フレーム／フィールドＤＣＴ切替えの際の、走査線の入替え処理を説明するための模式図である。
【図１７】本発明の実施の形態５による画像符号化装置を説明するためのブロック図である。
【図１８】本発明の実施の形態６による画像復号化装置を説明するためのブロック図である。
【図１９】上記実施の形態５における予測処理の際に用いる参照ブロックを説明するための図である。
【図２０】上記実施の形態５における予測値生成方法のフローチャートの一例を示す図である。
【符号の説明】
１００ブロック化器
１０１画像信号
１０２ＤＣＴタイプ信号
１０３ＤＣＴ器
１０４ＤＣＴ係数
１０５量子化器
１０６ＤＣＴ係数量子化値
１０８ＤＣＴ係数差分値
１０９可変長符号化器
１１０，２１０，３１０，４１０画面内予測処理部
１１０ａ入力画像信号
１１０ｂ画像符号化信号（ビットストリーム）
１１１ＤＣＴ係数予測値
１１３，３１３ＤＣＴ係数予測器
１１５ブロックメモリ
１１６ＤＣＴ係数量子化値
２００逆ブロック化器
２０３可変長復号化器
２０７逆量子化器
２０９逆ＤＣＴ器
１０００，３０００画像符号化装置（画像処理装置）
２０００，４０００画像復号化装置（画像処理装置）
Ｃｓコンピュータシステム
Ｄフロッピーディスク本体
ＦＣフロッピーディスクケース
ＦＤフロッピーディスク
ＦDD フロッピーディスクドライブ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method, an image processing apparatus, and a data storage medium, and more particularly to encoding in an image signal encoding process by performing adaptive intra-screen prediction processing on frequency components of an interlaced image signal. It relates to the thing which improved efficiency.
[0002]
[Prior art]
For predictive coding in which image data corresponding to a moving image is compressed using its redundancy, intra-screen predictive coding for predicting image data using image data in a frame to be encoded, There is inter-screen predictive coding in which image data is predicted using image data of frames other than the encoded frame.
[0003]
Specifically, in the intra prediction encoding, the prediction value of the image data of the encoded frame is generated from the image data in the frame, and the difference value between the image data of the encoded frame and the prediction value is encoded. This is a method of compressing image data by removing or reducing spatially redundant information contained in a large amount in the image data as an original property of the image.
[0004]
On the other hand, the inter-picture predictive encoding generates a predicted value of image data of a frame to be encoded from image data of another frame, and encodes a difference value between the image data of the encoded frame and the predicted value. Thus, this is a method of compressing an image by removing or reducing temporally redundant information that is included in a large amount in image data when the motion of the image is small.
[0005]
Discrete cosine transform (DCT) is widely used in recent image coding, and in the MPEG (Moving Picture Expert Group) method which is a typical image coding method, an image space formed by a digital image signal ( A frame) is divided into a plurality of rectangular areas (blocks) which are units of DCT processing, and DCT processing is performed for each block on an image signal corresponding to each block.
[0006]
The in-screen prediction method for image data in the DCT coefficient, that is, the DCT domain (frequency domain) adopted in the MPEG system is ISO / IEC JTC1 / SC29 / WG11 MPEG97 / N1642 MPEG-4 Video Verification, which is a document related to MPEG4. It is described in the section “Intra DC and AC Prediction for I-VOP and P-VOP” in Model Version 7.0 (hereinafter referred to as MPEG-4 VM 7.0).
[0007]
According to the description of this document, the DC component and the AC component of the DCT coefficient corresponding to the encoded block to be encoded are adjacent to the upper left, upper and left of the encoded block in the image space. The prediction is performed using the DCT coefficients corresponding to the three adjacent blocks located at the positions.
[0008]
FIG. 15 is a diagram for explaining an intra-screen DCT coefficient prediction method as described in the above document, which is employed in a conventional image coding method.
FIG. 15 shows four blocks (also referred to as DCT blocks) R0 to R2 and X of 8 × 8 pixels, which are units of DCT processing, and each block is an image space formed by an image signal. They are located adjacent to each other on the (space region). Here, the block X is an encoded block to be encoded, and the blocks R0, R1, and R2 are adjacent to the upper left, upper, and left of the encoded block on the spatial region. It is an encoded block that has already been encoded.
[0009]
In the conventional intra-screen DCT coefficient prediction method, the DCT coefficient of the block R1 or the block R2 is referred to when the predicted value of the DCT coefficient of the block X is generated.
Specifically, when referring to the DCT coefficient of the encoded block R1, the DC component in the upper left corner and the AC component in the uppermost column in the encoded block R1 are transferred to these components and the encoded block X. Are used as predicted values of DCT coefficients located at the same position. Also, when referring to the DCT coefficient of the encoded block R2, the DC component at the upper left corner of the encoded block R2 and the AC component in the leftmost column are determined by these components and the encoded block X. It is used as a predicted value of the DCT coefficient located at the same position.
[0010]
The determination of which block of the encoded block should be referred to as the predicted value of the DCT coefficient of the encoded block X is performed using the DC components of the encoded blocks R0, R1, and R2. Done.
[0011]
That is, when the absolute value of the DC component difference between the block R0 and the block R2 is smaller than the absolute value of the DC component difference between the block R0 and the block R1, Since the correlation between the DCT coefficients is strong, the DCT coefficient of the block R1 is referred to when the predicted value of the DCT coefficient of the encoded block X is generated. On the other hand, when the absolute value of the DC component difference between the block R0 and the block R1 is smaller than the absolute value of the DC component difference between the block R0 and the block R2, between the blocks arranged in the horizontal direction, Therefore, when generating a predicted value of the DCT coefficient of the encoded block X, the DCT coefficient of the block R2 is referred to.
[0012]
However, as described in the section “Adaptive Frame / Field DCT” in the above document (MPEG-4 VM 7.0), the DCT process (frequency conversion process) used for encoding an interlaced image includes a frame. There are two types of DCT processing, DCT processing and field DCT processing. These DCT processes have different processing units. The frame DCT process converts image data in units of frames, and the field DCT process converts image data in units of fields. In the MPEG system, frame DCT processing and field DCT processing are adaptively switched for each so-called macroblock composed of four blocks.
[0013]
Here, switching between the frame DCT process and the field DCT process for the macroblock is performed depending on whether or not the scan lines are rearranged as shown in FIG. 16. In the field DCT process, the scan lines are rearranged. The DCT process is performed on the image data of each block in the broken macroblock.
[0014]
Specifically, in the case of frame DCT processing, image data of each block in a macroblock in which even-numbered and odd-numbered scanning lines are alternately arranged is directly subjected to DCT processing. In the case of field DCT processing, scanning line alignment is performed. After the replacement, the macro block is composed of a first field block composed of only even-numbered scanning lines and a second field block composed of only odd-numbered scanning lines. The DCT process is performed on the image data of each block in the macro block.
[0015]
As described above, in the encoding process of the interlaced image signal, the macro block subjected to the frame DCT process and the macro block subjected to the field DCT process are mixed as macro blocks located in the image space.
When the correlation between the pixel values between the first field and the second field is higher than the correlation between the pixel values within the first field and the second field, the frame DCT process is performed. Frame DCT processing and field DCT processing are switched by a method in which field DCT processing is performed.
[0016]
Therefore, the type of DCT processing may be different even for adjacent macroblocks and adjacent blocks (that is, subblocks constituting the macroblock) in the image space. In this case, between adjacent macroblocks, Alternatively, the correlation between DCT coefficients is lower between adjacent blocks than when the macroblock or the DCT processing type of the block is the same.
[0017]
Also, the fields to which these belong may be different between adjacent blocks. In such a case, the correlation between the DCT coefficients is lower between adjacent blocks than when the fields to which the blocks belong are the same. .
[0018]
[Problems to be solved by the invention]
However, in a macroblock that has been subjected to field DCT processing (field DCT type macroblock), a block of the first field and a block of the second field are mixed, so that a predicted value of the DCT coefficient of the encoded block is generated. At this time, it is difficult to specify an encoded block to be referred to. For this reason, it is impossible to simply apply the conventional intra-screen prediction process to the field DCT type macroblock as described above. As a result, in an interlaced image encoding process or a specific progressive image encoding process in which field DCT type macroblocks are mixed, the intra-screen prediction process cannot be applied, and spatially included in the image signal There is a problem in that redundant image information cannot be sufficiently reduced and efficient encoding processing cannot be performed.
[0019]
The present invention has been made in order to solve the above-described problems, and in an interlace image encoding process or a specific progressive image encoding process in which different DCT type macroblocks are mixed, an image signal is also used. Image processing apparatus and image processing method capable of sufficiently reducing the spatially redundant image information included and performing highly efficient encoding processing and decoding processing corresponding thereto, and the encoding processing or An object of the present invention is to obtain a data storage medium storing a program for realizing the decryption processing by a computer.
[0020]
[Means for Solving the Problems]
According to an image processing method of the present invention (claim 1), an image signal that forms an image space composed of a plurality of pixels is horizontally distributed for each sub-block that constitutes each rectangular macroblock that divides the image space. A decoding process for an image encoded signal obtained by encoding by any one of an encoding process including rearrangement of pixel strings and frequency conversion and an encoding process including rearrangement of horizontal pixel strings and including frequency conversion, In the image processing method performed for each subblock, a predicted value of a frequency component of a decoding subblock to be decoded is selected from among decoded subblocks that have already been decoded. Of the decoded sub-block Upper neighborhood, left side Decoded sub-block located in the vicinity Refer to the frequency component of A prediction step to be generated; a restoration step of restoring the frequency component of the decoded sub-block using the prediction value from an image encoded signal corresponding to the decoded sub-block; A conversion step of converting the frequency component into an image signal of a corresponding sub-block by inverse frequency conversion, and an image signal of a sub-block belonging to the same macro block in the image space, the position of the sub-block in the macro block And a signal generation step of generating an image signal corresponding to a macroblock in combination with each other, and in the encoding, the image of the first field constituting the image space is encoded with the macro The image of the second field constituting the image space is located below the macro block and located above the block. As described above, the macroblock that has been subjected to the rearrangement process of the horizontal pixel column is subjected to inverse frequency conversion in units of fields, and the macroblock that has not been subjected to the rearrangement process of the horizontal pixel column at the time of encoding. Is subjected to inverse frequency conversion in units of frames, and the signal generation step performs the first processing on the macroblocks on which the horizontal pixel column rearrangement processing has been performed at the time of encoding. For a macroblock that has been subjected to a reverse rearrangement process of a horizontal pixel column so that a frame image composed of a field and the second field is formed, and has not been subjected to the rearrangement process of the horizontal pixel column during encoding. Is to reproduce the image signal for the macroblock without performing the reverse rearrangement processing of the horizontal pixel row, and the prediction step includes the decoded sub-block. Regardless of whether or not is a sub-block that has been subjected to the rearrangement process of the horizontal pixel sequence at the time of encoding, the decoded sub-block located near the upper side of the decoded sub-block, and the decoded Which frequency component of the decoded sub-block located in the vicinity of the left side of the decoding sub-block is referred to is determined in the decoded sub-blocks in the vicinity of the upper side, the left side, and the upper left of the decoded sub-block. The decoded sub-block to be referred to which is determined based on the direct current component of the frequency component and is located near the upper side of the decoded sub-block includes the decoding target macro block of the decoded sub-block. Depending on the position in the decoding target macroblock, or in the decoded macroblock located above the decoding target macroblock. It is a thing characterized by using.
[0021]
According to the present invention (invention 2), in the image processing method according to claim 1, in the prediction step, as a decoded sub-block located near the upper side of the decoded sub-block, the decoded sub-block Using an upper decoded sub-block located adjacent to the upper side, as a decoded sub-block located near the left side of the decoded sub-block, Decryption Using the left decoded sub-block located adjacent to the left side of the sub-block, the decoded sub-block located near the upper left of the decoded sub-block is adjacent to the upper left side of the decoded sub-block. The absolute value of the difference between the DC component of the frequency component of the upper decoded sub-block and the DC component of the frequency component of the upper left decoded sub-block is When the absolute value of the difference between the DC component of the frequency component of the decoded sub-block and the DC component of the frequency component of the upper left decoded sub-block is smaller than the absolute value of the difference between the DC component of the left upper decoded sub-block, Generates a predicted value of the frequency component of the decoded sub-block, while the DC component of the frequency component of the left decoded sub-block and the upper left decoded The absolute value of the difference between the DC component of the block block frequency component is smaller than the absolute value of the difference between the DC component of the frequency component of the upper decoded sub-block and the DC component of the frequency component of the upper left decoded sub-block. In this case, the frequency component of the decoded sub-block is generated with reference to the frequency component of the upper decoded sub-block.
[0022]
The present invention (Claim 3) is the image processing method according to claim 1 or 2, In the prediction step above, The predicted value of the frequency component of the decoded sub-block is generated based on the quantized frequency component, In the conversion step above, The inverse frequency transform is performed on a frequency component that has been inversely quantized.
[0047]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
Embodiment 1 FIG.
An image processing device (image coding device) and an image processing method (image coding method) according to Embodiment 1 of the present invention are adaptive intra-screen DCT coefficient prediction methods, that is, DCT type signals (frequency conversion) of a block to be coded. In accordance with the type signal), the image signal is subjected to intra-frame predictive encoding using a method of generating a predicted value of the DCT coefficient of the encoded block from the DCT coefficient of the encoded block. Here, the DCT type signal represents a signal indicating whether the encoded block is subjected to frame DCT processing or field DCT processing.
[0048]
FIG. 1 is a block diagram showing a configuration of an image encoding device according to the first embodiment.
In the figure, reference numeral 1000 denotes an image encoding apparatus according to the first embodiment, and each of a plurality of blocks that divide an input digital image signal (input image signal) 110a into an image space (frame) formed thereby. The image signal corresponding to each block is encoded for each block.
[0049]
That is, the image encoding apparatus 1000 blocks the input image signal 110a so as to correspond to each block for each frame or field that is a processing unit of frequency conversion, and the block image signal 101, And a blocker 100 that outputs a DCT type signal 102 indicating a processing unit of the frequency conversion (DCT processing). This blocker 100 receives the input image signal 110a, and in the case where the correlation of the pixel value between fields is higher than that in the frame, the block generator 100 starts from 16 × 16 pixels so that the field DCT processing is performed. The scanning lines are rearranged in units of macroblocks, and an image signal is output for each block of 8 × 8 pixels constituting the macroblocks on which the scanning lines are rearranged.
[0050]
In the blockizer 100, when the correlation of pixel values between fields is smaller than that in a frame, the scanning line unit of macroblocks as described above is not rearranged, and the input image signal Is output for each block.
[0051]
The image encoding apparatus 1000 performs discrete cosine transform (DCT processing) on the blocked image signal (hereinafter also referred to as a blocked image signal) 101, and converts the blocked image signal into frequency components. (DCT coefficient) 104, a DCT unit 103 that converts the DCT coefficient 104, a quantizer 105 that generates a quantized value (DCT coefficient quantized value) 106 corresponding to each block, and the DCT type An intra-screen prediction processing unit 110 that generates a predicted value 111 corresponding to the encoded block by intra-screen prediction processing based on the signal 102, and a DCT coefficient difference by subtracting the predicted value 111 from the DCT coefficient quantized value 106 An adder 107 that outputs a value 108, and this DCT coefficient difference value 108 is variable-length encoded by the VLC unit 109. Te, and is output as a bit stream (coded image signal) 110b.
[0052]
Here, the intra-screen prediction processing unit 110 adds an adder 112 that adds the DCT coefficient difference value 108 and the intra-screen prediction value 111, and outputs the output of the adder 112 to the DCT coefficient quantized value of the encoded block. In accordance with the block memory 115 stored as 116 and the DCT type signal 102, the DCT coefficient quantized value 114 of the block to be encoded is predicted from the DCT coefficient quantized value 114 of the encoded block by the adaptive intra-screen DCT coefficient prediction method. It comprises a DCT coefficient predictor 113 that generates a value 111.
[0053]
Next, the operation will be described.
First, the overall operation in the encoding process using the adaptive DCT prediction process will be described.
When a digital image signal (input image signal) 110a is input to the present image encoding apparatus 1000, the block generator 100 converts the input image signal 110a into each of the above-described frames or fields for each frequency conversion processing unit. A block corresponding to a block is output, and the blocked image signal 101 and a DCT type signal 102 indicating a processing unit of the frequency conversion (DCT processing) are output.
[0054]
At this time, in the block generator 100, if the correlation of pixel values between fields is higher than that in a frame, a macroblock consisting of 16 × 16 pixels in advance is used so that field DCT processing is performed. As described above, the scanning line rearrangement process is performed on the image signal, and the image signal subjected to the scanning line rearrangement process is output for each block of 8 × 8 pixels constituting the macroblock.
[0055]
In the block generator 100, when the correlation of pixel values between fields is smaller than that in a frame, the scanning line rearrangement processing in units of macroblocks as described above is not performed, and the input image A signal is output for each block.
[0056]
Then, the image signal 101 of the encoded block to be encoded is converted into a frequency component (DCT coefficient) 104 corresponding to the encoded block by the discrete cosine transform (DCT process) in the DCT unit 103. Further, the DCT coefficient 104 is quantized by the quantizer 105 and output as a quantized value (DCT coefficient quantized value) 106 for the encoded block.
[0057]
Further, when the DCT coefficient quantized value 106 of the coded block is supplied to the adder 107, the difference between the quantized value 106 and the predicted value 111 is obtained and output as the DCT coefficient difference value 108. The DCT coefficient difference value 108 is variable-length encoded by the VLC unit 109 and output as a bit stream (image encoded signal) 110b.
[0058]
The DCT coefficient difference value 108 output from the adder 107 is supplied to the intra-screen prediction processing unit 110, where a predicted value for the DCT coefficient quantized value 106 is generated.
[0059]
That is, in the intra-screen prediction processing unit 110, the DCT coefficient difference value 108 and the intra-screen prediction value 111 are added by the adder 112, and the added value is used as the DCT coefficient quantized value 116 of the encoded block. 115. Then, in the DCT coefficient predictor 113, in accordance with the DCT type signal 102, the DCT coefficient quantized value 114 of the block to be encoded is converted from the DCT coefficient quantized value 114 of the block already encoded by the adaptive intra-screen DCT coefficient prediction method. A predicted value 111 is generated.
[0060]
Next, the adaptive intra-screen DCT coefficient prediction method in the encoding process will be described in detail.
The adaptive intra-screen DCT coefficient prediction method according to the first embodiment changes a block to be referred to when generating a predicted value of a DCT coefficient corresponding to an encoded block, according to the DCT type of the encoded block. Is.
[0061]
In the first embodiment, a DCT region is defined as follows.
That is, the DCT region (frequency region) is a region formed by frequency components obtained by performing DCT processing (frequency conversion) on the image signal forming the image space (spatial region), and in the image signal space region (image space). Assume that each macroblock is arranged in the DCT domain (frequency domain) as in the macroblock arrangement.
[0062]
In the first embodiment, as shown in FIG. 3, when the macro block is subjected to the frame DCT process, the DCT process is performed on the image signal of each block without rearranging the scanning lines in the macro block. The DCT coefficients corresponding to the upper left, upper right, lower left, and lower right blocks in the macroblock on the spatial domain are the block positions (0), (1), (2), and (3) in the macroblock on the DCT domain, respectively. On the other hand, when the macroblock is subjected to field DCT processing, the image signal of each block is subjected to DCT processing after rearrangement of scanning lines in the macroblock on the spatial domain, and the first field left , The DCT data of each block on the right of the first field, the left of the second field, and the right of the second field are respectively macroblocks in the DCT area. Block position in click (0), (1), (2), shall be located in the block of (3).
[0063]
Next, the DCT coefficient corresponding to the encoded block (data of the encoded block in the DCT region) is predicted with reference to the DCT coefficient of the encoded block, and at this time, the DCT type of the encoded block is changed to the DCT type of the encoded block. Accordingly, the adaptive in-screen DCT coefficient prediction method for switching the encoded block to be referred will be described in detail.
[0064]
First, in the prediction when the encoded block is subjected to frame DCT processing (hereinafter referred to as frame prediction), as shown in FIG. 4A, the encoded block is located at the upper left of the encoded block x (i). A block is a reference block r0 (i), a block positioned adjacent to the upper side of the encoded block x (i) is a reference block r1 (i), and a block positioned adjacent to the left of the encoded block x (i) is Referenced as reference block r2 (i). The reference blocks r0 (i), r1 (i) and r2 (i) when the encoded block x (i) shown in FIG. 4 (a) is subjected to the frame DCT processing are encoded blocks x (i). In general, the DCT coefficients of these reference blocks are considered to be highly correlated with the DCT coefficients of the encoded block x (i).
[0065]
On the other hand, in the prediction when the encoded block is subjected to the field DCT process (hereinafter referred to as field prediction), as shown in FIG. 4 (b), there are two blocks of the encoded block x (i). A block located on the left of the located block is a reference block r0 (i), a block located on two blocks of the encoded block x (i) is a reference block r1 (i), and an encoded block x (i) Is referred to as a reference block r2 (i). The reference blocks r0 (i), r1 (i), and r2 (i) when the encoded block x (i) shown in FIG. 4B is subjected to the field DCT processing are encoded blocks x (i). It is considered that the DCT coefficients of these reference blocks have a high correlation with the DCT coefficients of the encoded block x (i).
[0066]
Next, the processing procedure of the adaptive in-screen DCT coefficient prediction method used in the first embodiment will be described with reference to FIGS.
FIG. 5 is a flowchart illustrating a processing procedure of the adaptive intra-screen DCT coefficient prediction method according to the present embodiment.
[0067]
In step 51, the DCT type of the encoded block x (i) is determined, and the subsequent processing differs depending on the determination result.
That is, when the encoded block x (i) is subjected to the frame DCT process, in step S52, reference blocks r0 (i), r1 () for the encoded block x (i) shown in FIG. Frame prediction with reference to i) and r2 (i) generates a predicted value of the DCT coefficient of the encoded block x (i).
[0068]
On the other hand, if the encoded block x (i) is subjected to field DCT processing, in step S53, reference blocks r0 (i), r1 () for the encoded block x (i) shown in FIG. A predicted value of the DCT coefficient of the encoded block x (i) is generated by field prediction referred to by i) and r2 (i).
[0069]
As described above, by switching the reference block used for prediction according to the DCT type of the encoded block x (i), a block having a high correlation of DCT coefficients with the encoded block x (i). DCT coefficients can be used for the prediction, whereby efficient prediction can be performed.
[0070]
Next, the processing procedure of the frame prediction method of step S52 shown in FIG. 5 will be described using the flowchart of FIG. In FIG. 6, r0 (i), r1 (i), r2 (i) and x (i) indicate the reference block and the encoded block of FIG. 4 (a), respectively. In the processing procedure of the frame prediction method in FIG. 6, a reference block that has been subjected to frame DCT processing, that is, a reference block of the same DCT type as the encoded block x (i) is preferentially used for prediction.
[0071]
First, in step S611a, the DCT type of the reference block r2 (i) adjacent to the left of the encoded block x (i) is determined. The subsequent processing differs depending on the determination result. Next, in steps S612a and S613a, the DCT type of the reference block r1 (i) located adjacent to the upper side of the encoded block x (i) is determined. The subsequent processing differs depending on the determination result. In this manner, the frame prediction process shown in FIG. 6 is divided into the following four processes (A1) to (A4) depending on the DCT type of the reference blocks r1 (i) and r2 (i).
[0072]
(A1) When both of the reference blocks r1 (i) and r2 (i) are subjected to the frame DCT process, in step S614a, the DCT coefficients of the reference blocks r0 (i), r1 (i), and r2 (i) are referred to Then, a predicted value of the DCT coefficient of the encoded block x (i) is generated by “predetermined method 1” described later.
[0073]
(A2) When the reference block r1 (i) is subjected to field DCT and the reference block r2 (i) is subjected to frame DCT processing, the block is obtained from the DCT coefficient of the block R2 shown in FIG. In the same manner as generating the predicted value of the DCT coefficient of X, in step S615a, the predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block r2 (i).
[0074]
(A3) When the reference block r1 (i) is subjected to the frame DCT process and the reference block r2 (i) is subjected to the field DCT process, the DCT coefficient of the block R1 shown in FIG. In the same manner as generating the predicted value of the DCT coefficient of block X, in step S616a, the predicted value of the DCT coefficient of encoded block x (i) is generated using the DCT coefficient of reference block r1 (i). .
[0075]
(A4) If both the reference blocks r1 (i) and r2 (i) have been subjected to field DCT processing, refer to the DCT coefficients of the reference frames r0 (i), r1 (i) and r2 (i) in step S617a. Then, a predicted value of the encoded block x (i) is generated by a “predetermined method 2” described later.
[0076]
In step S617a, a predetermined value such as 0 may be used as the predicted value without referring to the DCT coefficients of the reference blocks r0 (i), r1 (i), and r2 (i). Further, when step S613a and step S617a are omitted and the reference block r2 (i) is not subjected to the frame DCT processing, the encoded block x is always used in step S616a by using the DCT coefficient of the reference block r1 (i). A predicted value of the DCT coefficient in (i) may be generated.
[0077]
Next, the processing procedure in the field prediction method of step 53 shown in FIG. 5 will be described with reference to the flowchart of FIG.
The processing procedure of the field prediction method shown in FIG. 7 is obtained by replacing the frame and the field in the processing procedure of the frame prediction method shown in FIG.
[0078]
However, in the description of the field prediction method shown in FIG. 7, the reference blocks r0 (i), r1 (i), r2 (i), and the encoded block x (i) are respectively shown in FIG. 4 (b). A block and an encoded block are shown.
That is, also in the processing procedure of the field prediction method in FIG. 7, the same DCT type reference block (reference block subjected to the field DCT process) as that of the encoded block x (i) is preferentially used for prediction.
[0079]
First, in step S711b, the DCT type of the reference block r2 (i) adjacent to the left of the encoded block x (i) is determined. The subsequent processing differs depending on the determination result. Next, in steps S712b and S713b, the DCT type of the reference block r1 (i) located above the encoded block x (i) is determined. The subsequent processing differs depending on the determination result. In this manner, the field prediction process shown in FIG. 7 is divided into the following four processes (B1) to (B4) according to the DCT types of the reference blocks r1 (i) and r2 (i).
[0080]
(B1) If both the reference blocks r1 (i) and r2 (i) have been subjected to field DCT processing, in step S714b, refer to the DCT coefficients of the reference blocks r0 (i), r1 (i), and r2 (i) Then, a predicted value of the DCT coefficient of the encoded block x (i) is generated by “predetermined method 1” described later.
[0081]
(B2) When the reference block r1 (i) is subjected to the frame DCT process and the reference block r2 (i) is subjected to the field DCT process, in the same manner as the conventional method, that is, from the DCT coefficient of the block R2 shown in FIG. In the same manner as generating the predicted value of the DCT coefficient of block X, in step S715b, the predicted value of the DCT coefficient of encoded block x (i) is generated using the DCT coefficient of reference block r2 (i). .
[0082]
(B3) When the reference block r1 (i) is subjected to the field DCT process and the reference block r2 (i) is subjected to the frame DCT process, in the same manner as the conventional method, that is, from the DCT coefficient of the block R1 shown in FIG. In the same manner as generating the predicted value of the DCT coefficient of the block X, in step S716b, the predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block r1 (i). .
[0083]
(B4) If both the reference blocks r1 (i) and r2 (i) have been subjected to frame DCT processing, refer to the DCT coefficients of the reference frames r0 (i), r1 (i), and r2 (i) in step S717b. Then, a predicted value of the encoded block x (i) is generated by a “predetermined method 2” described later.
[0084]
In step S717b, a predetermined value such as 0 may be used as the predicted value without referring to the reference blocks r0 (i), r1 (i), and r2 (i). Further, when step S713b and step S717b are omitted and the reference block r2 (i) is not subjected to the field DCT process, the encoded block x is always used in step S716b by using the DCT coefficient of the reference block r1 (i). A predicted value of the DCT coefficient in (i) may be generated.
[0085]
As described above, as in the prediction method shown in the processing procedures of FIGS. 6 and 7, priority is given to a block of the same DCT type as that of the encoded block, that is, a reference block having a high correlation of DCT coefficients with the encoded block. Thus, efficient prediction can be performed by using the prediction for the encoded block.
[0086]
Next, the processing procedure of the predicted value generation method based on the “predetermined method 1” in step S614a or the “predetermined method 2” in step S617a shown in FIG. 6 will be described with reference to the flowchart shown in FIG. .
[0087]
In the method of FIG. 8, in order to perform the same processing as the conventional DCT coefficient prediction method, the DCT coefficients of the respective blocks corresponding to the four blocks shown in FIG. 15 are stored in the processing from step S821a to step S829a. Assuming a virtual memory space (virtual buffer), a conventional DCT coefficient prediction method is applied to each block on the virtual buffer.
[0088]
In FIG. 8, R0, R1, and R2 represent reference blocks on the virtual buffer, and DC0, DC1, and DC2 represent DC components of the DCT coefficients of the reference blocks R0, R1, and R2 on the virtual buffer, respectively. In the description of the predicted value generation method in FIG. 8, r0 (i), r1 (i), r2 (i), and x (i) are reference blocks having the positional relationship shown in FIG. Represents a block.
[0089]
In the process shown in FIG. 8, first, in step S821a, step S822a, and step S823a, the DCT coefficient of the reference block R0 is generated. Depending on the DCT type determination result of the reference block r0 (i) in step S821a, The subsequent processing for generating the DCT coefficient of the reference block R0 is different.
[0090]
That is, when the reference block r0 (i) is subjected to the field DCT process, in step S822a, a DCT coefficient is generated from a block near the reference block r0 (i) by a predetermined method, and the generated DCT coefficient is referred to as the reference block. Stored in the virtual buffer as the DCT coefficient of R0. On the other hand, when the reference block r0 (i) is subjected to the frame DCT process, in step S823a, the DCT coefficient of the reference block r0 (i) is stored in the virtual buffer as the DCT coefficient of the reference block R0. In the same manner as described above, the DCT coefficients of the reference block R1 are generated in steps S824a, 825a, and 826a, and the DCT coefficients of the reference block R2 are generated in steps S827a, 828a, and S829a and stored in the virtual buffer. The
[0091]
The subsequent processing is the same as the conventional DCT coefficient prediction method. In step S830a, the absolute value (| DC0−DC1 |) of the difference between the DC components of the DCT coefficients of the reference blocks R0 and R1 and the reference blocks R0 and R2 The magnitudes of absolute values (| DC0−DC2 |) of differences in DC components of DCT coefficients are compared. The absolute value (| DC0−DC2 |) of the difference between the DC components of the DCT coefficients of the reference blocks R0 and R2 is greater than the absolute value (| DC0−DC1 |) of the difference of the DC components of the DCT coefficients of the reference blocks R0 and R1. If it is smaller, a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block R1 in step S832a.
[0092]
In other cases, a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block R2 in step S831a.
Note that in “predetermined method 1” in step S814a in FIG. 6, since it is known that the DCT type of the reference blocks r1 (i) and r2 (i) is a frame, steps S824a and S827a in FIG. , Steps S825a and S828a can be omitted.
[0093]
Next, the processing procedure in “predetermined method 1” in step S714b or “predetermined method 2” in step S717b shown in FIG. 7 will be described with reference to the flowchart shown in FIG.
[0094]
The process procedure shown in the flowchart of FIG. 9 replaces the process of determining whether or not each block is subjected to frame DCT in the process procedure illustrated in the flowchart of FIG. 8 with the process of determining whether or not each block is subjected to field DCT. The outline of the processing is the same as the processing shown in FIG. In FIG. 9, reference blocks r0 (i), r1 (i), r2 (i) and x (i) represent the reference block and the encoded block having the positional relationship shown in FIG. 4 (b), respectively. ing.
[0095]
In the process shown in FIG. 9, first, in step S921b, step S922b, and step S923b, the DCT coefficient of the reference block R0 is generated. Depending on the DCT type determination result of the reference block r0 (i) in step S921b, The subsequent processing for generating the DCT coefficient of the reference block R0 is different.
[0096]
That is, when the reference block r0 (i) is subjected to the frame DCT process, in step S922b, a DCT coefficient is generated from a block near the reference block r0 (i) by a predetermined method, and the generated DCT coefficient is referred to. It is stored in the virtual buffer as the DCT coefficient of block R0. On the other hand, when the reference block r0 (i) is subjected to the field DCT process, in step S923b, the DCT coefficient of the reference block r0 (i) is stored in the virtual buffer as the DCT coefficient of the reference block R0. In the same manner as described above, the DCT coefficients of the reference block R1 are generated in steps S924b, 925b, and 926b, and the DCT coefficients of the reference block R2 are generated in steps S927b, 928b, and step S929b and stored in the virtual buffer. The
[0097]
The subsequent processing is the same as the conventional DCT coefficient prediction method. In step S930b, the absolute value (| DC0−DC1 |) of the difference between the DC components of the DCT coefficients of the reference blocks R0 and R1 and the reference blocks R0 and R2 The magnitudes of absolute values (| DC0−DC2 |) of differences in DC components of DCT coefficients are compared. The absolute value (| DC0−DC2 |) of the difference between the DC components of the DCT coefficients of the reference blocks R0 and R2 is greater than the absolute value (| DC0−DC1 |) of the difference of the DC components of the DCT coefficients of the reference blocks R0 and R1. If it is smaller, a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block R1 in step S932b.
[0098]
In other cases, a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block R2 in step S931b.
In addition, in “predetermined method 1” in step S714b in FIG. 7, since it is known that the DCT type of the reference blocks r1 (i) and r2 (i) is a field, steps S924b, 927b, The processing by step S925b and step S928b can be omitted.
[0099]
In this way, when it is necessary to refer to the DCT coefficient of the DCT type block different from the encoded block in the prediction process of the DCT coefficient of the encoded block, the DCT type DCT coefficient different from the encoded block is required. Instead of referring to the block as it is, a DCT coefficient close to the characteristics of the DCT coefficient of the same DCT type as that of the block to be encoded is generated from a block in the vicinity of the reference block, and the encoded block is referred to by referring to the generated DCT coefficient. By predicting the DCT coefficient, it is possible to perform efficient prediction.
[0100]
FIG. 10 is a conceptual diagram for explaining a method of generating DCT coefficients from blocks near the reference block r in steps S822a, 825a, and 828a of FIG. 8 and steps S922b, S925b, and S928b of FIG.
[0101]
10 and 11, r indicates one of the reference block r0 (i), the reference block r1 (i), and the reference block r2 (i) on the frequency domain, and R indicates the value on the virtual buffer. Any one of the reference block R0, the reference block R1, and the reference block R2 is shown.
[0102]
In steps S822a, 825a, and 828a in FIG. 8 and steps S922b, S925b, and S928b in FIG. 9 to generate DCT coefficients from blocks near the reference block r, as shown in FIG. A DCT coefficient is generated from the DCT coefficients of the two blocks using a predetermined function, and the generated DCT coefficient is set as the DCT coefficient of the reference block R on the virtual buffer.
[0103]
FIG. 11 shows a procedure for generating DCT coefficients of the reference block R on the virtual buffer. Here, different processing is performed depending on the position of the reference block r in the macroblock on the DCT region.
[0104]
For example, when the reference block r is located at the block position (0) or (2) in the macroblock in the DCT area, that is, on the left side of the macroblock in the DCT area, in step S1142L, the DCT including the reference block r is included. From the DCT coefficients of the blocks located at block positions (0) and (2) of the macroblock in the region, as shown in FIG. 10, the DCT coefficients of the reference block R on the virtual buffer are generated using a predetermined function. When the reference block r is located at the block position (1) or (3) of the macroblock in the DCT area, that is, at the right position of the macroblock in the DCT area, the DCT including the reference block r is included in step S1142R. From the DCT coefficients of the blocks located at block positions (1) and (3) of the macroblock in the region, as shown in FIG. 10, the DCT coefficients of the reference block R on the virtual buffer are generated using a predetermined function.
[0105]
Examples of the predetermined function used here include a function in which the average or weighted average of the DCT coefficients of two blocks located in the vicinity of the reference block r on the frequency domain is used as the DCT coefficient of the reference block R on the virtual buffer. Any function can be used as long as it can uniquely calculate the value of the DCT coefficient of the reference block R on the virtual buffer from the DCT coefficients of the two blocks near the block r.
The DCT coefficient generated by referring to the two blocks on the frequency domain is set as the DCT coefficient of the reference block R on the virtual buffer in step S1143.
[0106]
In this way, by generating the DCT coefficients of the reference block R on the virtual area used for prediction from the DCT coefficients of the two blocks having the same area information as the reference block r in the spatial domain, the same as the encoded block A DCT coefficient close to the frequency characteristic of a DCT type DCT coefficient can be generated.
[0107]
In this way, in the adaptive intra-screen DCT coefficient prediction method used in Embodiment 1, the reference block used for prediction is switched according to the DCT type of the encoded block, and the same DCT type reference as that of the encoded block is used. If the DCT coefficient of the block is used for prediction with priority, and the reference block is of a DCT type different from that of the encoded block, the DCT type of the reference block is encoded from the DCT coefficient of the block near the reference block. Since the DCT coefficient of the block close to the frequency characteristic of the DCT coefficient of the reference block when it is the same as the DCT type of the block is generated and used for prediction, intra-screen prediction for an interlaced image signal or a special progressive image is performed in the DCT region ( (Frequency component) can be performed efficiently.
[0108]
As a result, according to the first embodiment, in the MPEG4 encoding process for an interlaced image, a special progressive image, or the like in which different DCT type macroblocks are mixed as macroblocks to be processed, By using this information to improve the prediction value efficiency of the DCT coefficient of the block to be encoded, it becomes possible to efficiently compress and encode an image signal by removing or reducing spatially redundant image information.
[0109]
In the adaptive intra-screen DCT coefficient prediction method used in Embodiment 1, the DCT coefficient of reference block r2 (i) in FIGS. 4 (a) and 4 (b) is used as the DCT coefficient of encoded block x (i). When the DCT types of the reference block r2 (i) and the encoded block x (i) are different from each other, the DC block of the DCT coefficient of the reference block r2 (i) is used as the encoded block. You may utilize as a predicted value of the DCT coefficient of x (i). In some cases, only the DC component of the DCT coefficient of the reference block r1 (i) may be used as the predicted value of the DCT coefficient of the encoded block x (i).
[0110]
In the first embodiment, in steps S923b, S926, and S929b, the DCT coefficients of the reference block r (specifically, the reference blocks r0 (i), r1 (i), and r2 (i)) are calculated from the DCT coefficients. The DCT coefficients of the reference block R (specifically, the reference blocks R0, R1, and R2) on the virtual buffer used for predicting the DCT coefficient of the encoded block are generated. In steps S923b, S926, and S929b, Similar to steps S922b, S925, and S928b, two blocks located in the vicinity of the reference block r (specifically, the reference blocks r0 (i), r1 (i), and r2 (i)) in the spatial domain. A DCT coefficient is generated from the DCT coefficient using a predetermined function, and the generated DCT coefficient is used as the DC of the reference block R on the virtual buffer. It may be a factor.
[0111]
Furthermore, in this case, in the field prediction process shown in FIG. 7, the reference block r2 (i) adjacent to the left of the encoded block x (i) and the reference positioned adjacent to the upper side of the encoded block x (i) are used. Depending on the DCT type of the block r1 (i), one of the four processes B1 to B4 described above is performed, but the process 1, process B3, and process 4 of these processes B1 to B4 are performed. The following processing B1 ′, processing B3 ′, and B4 ′ may be substituted.
[0112]
The process B3 ′ is positioned between the encoded block adjacent to the upper side of the encoded block (that is, between the encoded block x (i) and the encoded block r1 (i) shown in FIG. 4B). The coded block) is used as a reference block, and the DCT coefficient of the reference block is used as the predicted value of the DCT coefficient of the coded block.
[0113]
Regarding the processing B1 ′ and the processing B4 ′, in steps S922b and 923b, a reference block r0 (i) and an encoded block located between the reference block r0 (i) and the reference block r2 (i) are obtained. The DCT coefficients of the reference block R0 on the virtual buffer are generated by weighted averaging with a weight ratio of 0 to 1, and in steps S925b and 926b, the reference block r1 (i) and the reference block r1 (i) The coded blocks located between the coded blocks x (i) are weighted and averaged at a weighting ratio of 0 to 1, and a DCT coefficient of the reference block R1 on the virtual buffer is generated. In steps S928b and 929b, , A reference block r2 (i) and an encoded block located between the reference block r2 (i) and the reference block r0 (i) Weighted average weight ratio of 1 to 0, it is assumed to generate the DCT coefficients of the reference block R1 on the virtual buffer. In the processes B1 ′ and B4 ′, each of the blocks r0 (i) to r2 (i) is located at the position shown in FIG. 4 (b) with respect to the encoded block x (i). To do.
[0114]
In other words, the processing B1 ′ and the processing B4 ′ perform the weighted average between the reference block r0 (i) and the encoded block located adjacent to the lower side of the reference block r0 (i), among the two blocks. The weighting ratio closer to the block x (i) is set to 1, and the weighted average between the reference block r1 (i) and the encoded block located adjacent to the lower side of the reference block r1 (i) The ratio closer to the encoded block x (i) is set to 1, and the weighted average between the reference block r2 (i) and the encoded block located adjacent to the upper side of the reference block r2 (i) Of these, the ratio closer to the encoded block x (i) is set to 1.
[0115]
In this case, the arithmetic processing for the weighted average is simplified, and the frequency component of the encoded sub-block that is spatially closest to the encoded sub-block is referred to, so that Since the predicted value of the frequency component is generated, it is possible to improve the prediction efficiency as a whole of the encoding process for the interlaced or specific progressive image by the adaptive in-screen DCT coefficient prediction method by simple arithmetic processing. .
[0116]
Embodiment 2. FIG.
The image processing apparatus (image decoding apparatus) and the decoding method (image decoding method) according to the second embodiment are adapted to the adaptive screen used in the image encoding apparatus and the image encoding method described in the first embodiment. It is characterized in that an image encoded signal is decoded using an inner DCT coefficient prediction method.
[0117]
FIG. 2 shows a block diagram of an image decoding apparatus according to the second embodiment, where the same reference numerals as those in FIG. 1 denote the same or corresponding parts.
The image decoding apparatus 2000 receives an image encoded signal (bit stream) 110b obtained by encoding the image signal by the image encoding apparatus 1000 according to the first embodiment, and adaptively performs the in-screen DCT. A decoding process using a coefficient prediction method is performed.
[0118]
That is, the image decoding apparatus 2000 receives the bit stream 110b output from the image encoding apparatus 1000, performs variable-length decoding on the bit stream 110b by data analysis thereof, and performs DCT coefficient difference value 108 () corresponding to the block to be decoded. A variable length decoder (VLD unit) 203 for restoring the DCT coefficient quantized value 107 of the block to be encoded and its intra prediction value 111), and the intra prediction value 111 for the block to be decoded are generated. An intra-screen prediction processing unit 210, and an adder 112 that adds the intra-screen prediction value 111 and the DCT coefficient difference value 108 to restore the DCT coefficient quantized value 106 for the decoded block. Yes.
[0119]
Here, the intra-screen prediction processing unit 210 applies the block memory 115 that stores the output 106 of the adder 112 as the DCT coefficient quantization value of the decoded block, and the DCT type signal 102 from the image coding apparatus 1000. Accordingly, the prediction value 111 for the DCT coefficient quantization value of the block to be decoded is generated from the DCT coefficient quantization value 114 of the decoded block stored in the block memory 115 by the adaptive in-screen DCT coefficient prediction method. And a DCT coefficient predictor 113 that performs the same.
[0120]
The image decoding apparatus 2000 performs an inverse quantization process on the output 106 of the adder 112 to restore the DCT coefficient 104 for the block to be decoded, and the inverse quantization. The inverse DCT process is performed on the output of the decoder 207 to restore the image signal 101 for the block to be decoded, and the output of the inverse DCT unit 209 is received and the DCT type from the image coding apparatus 1000 is received. And a deblocking unit 200 for restoring the image signal 110 a having the scanning line structure based on the signal 102.
[0121]
Next, the operation will be described.
When the image encoded signal 110b from the image encoding device 1000 is input to the image decoding device 2000, the image encoded signal 110b is variable-length decoded by the data analysis by the VLD unit 203, and is subjected to decoding. Is output as the DCT coefficient difference value 108 for the generalized block.
The DCT coefficient difference value 108 for the decoded block is added to the predicted value 111 by the adder 112 to restore the DCT coefficient quantized value 106 for the decoded block.
[0122]
At this time, the DCT coefficient quantization value 106 for the block to be decoded is supplied to the intra prediction processing unit 210 and stored in the block memory 115 as the DCT coefficient quantization value of the decoded block. Further, the DCT coefficient predictor 113 reads the DCT coefficient quantized value 114 corresponding to the decoded block from the block memory 115, and here, based on the DCT type signal 102 from the image coding apparatus 1000. An adaptive DCT coefficient prediction process for generating a prediction value for the DCT coefficient difference value 108 of the next decoding block processed next to the decoded block with reference to the DCT coefficient quantization value 114 from the block memory 115 is performed. This is performed in the same manner as the predicted value generation process in the intra-screen prediction processing unit 110 of the image encoding apparatus 1000.
[0123]
Further, the DCT coefficient quantized value 106 is converted by the inverse quantizer 207 into the DCT coefficient 104 for the block to be decoded by the inverse quantization process. The DCT coefficient 104 is further inversely discrete by the inverse DCT unit 209. By the cosine transform, the image signal 101 for the block to be decoded is converted.
[0124]
Then, when the image signal 101 for this block to be decoded is supplied to the deblocking unit 200, the deblocking unit 200, based on the DCT type signal 102 from the image coding apparatus 1000, scanline structure image. The signal 110a is reproduced.
[0125]
As described above, in the second embodiment, since the image encoded signal is decoded using the adaptive intra-screen DCT coefficient prediction method, the image signal corresponding to the interlaced image or the special progressive image is converted to the adaptive screen. An image encoded signal (bitstream) obtained by intra prediction encoding using the intra DCT coefficient prediction process can be efficiently and correctly decoded by the intra prediction process in the DCT region.
[0126]
Embodiment 3 FIG.
Next, an image processing apparatus (image encoding apparatus) according to Embodiment 3 of the present invention will be described.
The image coding apparatus according to the third embodiment performs a process of generating a predicted value of a DCT coefficient of a block to be coded by frame prediction in step S52 of the predicted value generation procedure shown in FIG. FIG. 13 shows a configuration in which the processing procedure shown in FIG. 12 is performed, and the processing for generating the predicted value of the DCT coefficient of the encoded block by the field prediction in step S53 in the first embodiment is executed by the processing procedure shown in FIG. It is what.
[0127]
The adaptive intra-screen DCT coefficient prediction process by the image coding apparatus according to the third embodiment is the same as the adaptive intra-screen DCT coefficient prediction process of the first embodiment except for the frame prediction method and the field prediction method. Therefore, only the frame prediction method and the field prediction method according to the third embodiment will be described here with reference to FIGS. 12 and 13.
[0128]
FIG. 12 is a flowchart showing a processing procedure in the third embodiment for realizing the frame prediction method in step S52 shown in FIG. In FIG. 12, r0 (i), r1 (i), r2 (i), and x (i) represent the reference block and the encoded block shown in FIG. 4 (a), respectively.
[0129]
In the third embodiment, first, the DCT type of the reference block r2 (i) is determined in step S1221a. The subsequent processing differs depending on the determination result.
That is, when the reference block r2 (i) is subjected to frame DCT processing, the predicted value of the DCT coefficient of the encoded block x (i) is calculated using the predicted value generation method shown in FIG. Generate. Since the predicted value generation method in FIG. 8 is the same as that described in the first embodiment, the description thereof is omitted here. In the “predetermined method” in step S1222a of FIG. 12, since it is known that the DCT type of r2 (i) is the frame DCT, steps S827a and S828a of FIG. 8 can be omitted.
[0130]
On the other hand, when the reference block r2 (i) is subjected to the field DCT process, it is performed in the same manner as the conventional method shown in FIG. 15, that is, from the DCT coefficient of the reference block R1 as shown in FIG. Similarly to the generation of the predicted value of the DCT coefficient, the predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block r1 (i).
[0131]
FIG. 13 is a flowchart showing a processing procedure in the third embodiment for realizing the field prediction method in step S53 shown in FIG. The process shown in FIG. 13 is obtained by replacing the frame and the field in the process of FIG. 12, and the outline of the process is the same, so the description thereof is omitted here.
[0132]
However, in the description of the field prediction method of FIG. 13, r0 (i), r1 (i), r2 (i) and x (i) represent the reference block and the encoded block of FIG. 4 (b), respectively. And
[0133]
Thus, in the adaptive intra-screen DCT coefficient prediction method in the image coding apparatus according to the third embodiment, the frame prediction method in step S52 and the field prediction method in step S53 in FIG. 5 are different from those in the first embodiment. By simplifying the comparison, it is possible to simplify and speed up the intra prediction process in the DCT region at the time of encoding.
[0134]
Embodiment 4 FIG.
Next, an image processing apparatus (image decoding apparatus) according to Embodiment 4 of the present invention will be described.
The image decoding apparatus according to the fourth embodiment performs a process of generating a predicted value of the DCT coefficient of the block to be encoded by frame prediction in step S52 of the predicted value generation procedure shown in FIG. FIG. 13 shows a configuration in which the processing procedure shown in FIG. 12 is performed, and the processing for generating the predicted value of the DCT coefficient of the encoded block by the field prediction in step S53 in the first embodiment is executed by the processing procedure shown in FIG. It is what.
[0135]
In the image decoding apparatus of the fourth embodiment having such a configuration, when performing the adaptive intra-screen DCT coefficient prediction method, the frame prediction method in step S52 and the field prediction method in step S53 in FIG. Therefore, the intra prediction process in the DCT region can be simplified and speeded up at the time of decoding.
[0136]
Embodiment 5 FIG.
The image processing apparatus (image encoding apparatus) and the image processing method (image encoding method) according to the fifth embodiment of the present invention have a DCT type signal of an encoded block (that is, the encoded block is subjected to frame DCT processing). The DCT coefficient of the encoded block from the DCT coefficient of the encoded block having a predetermined positional relationship with the encoded block regardless of whether the DCT coefficient of the encoded block The method is characterized by performing intra prediction encoding of an image signal using a method for generating a prediction value. Here, the DCT type signal represents a signal indicating whether the encoded block is subjected to frame DCT processing or field DCT processing. Also, the block represents four sub-blocks composed of 8 × 8 pixels that constitute a macroblock composed of 16 × 16 pixels. These four sub-blocks are the upper left (block position (0) in FIG. 3), upper right (block position (1) in FIG. 3), lower left (block position (2) in FIG. 3), lower right ( It is located at the block position (3) in FIG.
[0137]
FIG. 17 is a block diagram showing the configuration of the image coding apparatus according to the fifth embodiment.
In the figure, reference numeral 3000 denotes an image coding apparatus according to the fifth embodiment, which includes a plurality of macroblocks that divide an input digital image signal (input image signal) 110a into an image space (frame) formed thereby. The video signal is divided so as to correspond to each, and an image signal corresponding to a block constituting each macroblock is encoded for each block.
[0138]
That is, similar to the image encoding apparatus 1000 according to the first embodiment, the image encoding apparatus 3000 blocks the input image signal 110a so as to correspond to each block for each frame or field that is a processing unit of frequency conversion. And a blocker 100 that outputs the blocked image signal 101 and a DCT type signal 102 indicating a processing unit of the frequency conversion (DCT processing). This blocker 100 receives the input image signal 110a, and in the case where the correlation of the pixel value between fields is higher than that in the frame, the block generator 100 starts from 16 × 16 pixels so that the field DCT processing is performed. The scanning lines are rearranged in units of macroblocks, and an image signal is output for each block of 8 × 8 pixels constituting the macroblocks on which the scanning lines are rearranged. In the blockizer 100, when the correlation of pixel values between fields is smaller than that in a frame, the scanning line unit of macroblocks as described above is not rearranged, and the input image signal Is output for each block.
[0139]
Specifically, in the block generator 100, the scan line rearrangement process is performed by converting the first field image formed by the image signal corresponding to the odd-numbered horizontal pixel column (horizontal scan line) into the macroblock. The second field image formed by the image signal corresponding to the even-numbered horizontal pixel column (horizontal scanning line) located above the block position, that is, at the block positions (0) and (1) is below the macroblock. Side, i.e., block positions (2) and (3).
[0140]
The blocker 100 divides the image signal corresponding to the macro block so as to correspond to the blocks at the block positions (0) to (3) and outputs the divided image signals.
[0141]
In addition, the image coding apparatus 3000, like the image coding apparatus 1000 in the first embodiment, performs discrete cosine transform (DCT processing) on the image signal 101 corresponding to the block to be coded that is the target of coding processing. ), A quantizer 105 that quantizes the output 104 of the DCT device 103, an intra-screen prediction processing unit 310 that generates a prediction value 111 corresponding to the encoded block, and the quantization And an adder 107 that subtracts the predicted value 111 from the output (DCT coefficient quantized value) 106 of the output unit 105 and outputs a DCT coefficient difference value 108. The DCT coefficient difference value 108 is converted into a VLC unit 109. Thus, variable length coding is performed and the bit stream (image coded signal) 110b is output.
[0142]
In addition, the intra-screen prediction processing unit 310 adds the DCT coefficient difference value 108 and the intra-screen prediction value 111, and outputs the output of the adder 112 to the DCT coefficient quantized value 116 of the encoded block. And a DCT generated from a DCT coefficient quantized value 114 of an encoded block adjacent to the encoded block in the image space. And a coefficient predictor 313.
[0143]
In the fifth embodiment, the DCT coefficient predictor 313 is a block located adjacent to the upper left of the encoded block x (i), as shown in FIG. 19, regardless of the DCT type of the encoded block. See r0 (i), block r1 (i) positioned adjacent to the upper side of the encoded block x (i), and block r2 (i) positioned adjacent to the left of the encoded block x (i) As a block, a predicted value 111 of the DCT coefficient quantized value of the encoded block x (i) is generated.
[0144]
The DCT device 103, the quantizer 105, the adders 107 and 112, the VLC device 109, and the block memory 115 in the fifth embodiment have the same configuration as that in the first embodiment.
[0145]
Next, the operation will be described.
First, the overall operation of the image coding apparatus according to the fifth embodiment will be briefly described.
When a digital image signal (input image signal) 110a is input to the present image encoding device 3000, the block generator 100 converts the input image signal 110a into each of the above-described frames or fields for each frequency conversion processing unit. A block corresponding to a block is output, and the blocked image signal 101 and a DCT type signal 102 indicating a processing unit of the frequency conversion (DCT processing) are output.
[0146]
At this time, in the block generator 100, if the correlation of pixel values between fields is higher than that in a frame, a macroblock consisting of 16 × 16 pixels in advance is used so that field DCT processing is performed. As described above, the scanning line rearrangement process is performed on the image signal, and the image signal subjected to the scanning line rearrangement process is output for each block of 8 × 8 pixels constituting the macroblock. In this case, in the macroblock that has undergone the scanning line rearrangement process, the first field image formed by the image signal corresponding to the odd-numbered horizontal pixel column (horizontal scanning line) is located above the macroblock, that is, The second field image formed by the image signal corresponding to the even-numbered horizontal pixel column (horizontal scanning line) located at the block positions (0) and (1) is below the macroblock, that is, the block It will be located at positions (2) and (3).
[0147]
In the block generator 100, when the correlation of pixel values between fields is smaller than that in a frame, the above-described scanning line rearrangement processing in units of macroblocks is not performed and the input is performed. The image signal is output for each block.
[0148]
Then, the image signal 101 of the encoded block to be encoded is converted into a frequency component (DCT coefficient) 104 corresponding to the encoded block by the discrete cosine transform (DCT process) in the DCT unit 103. Further, the DCT coefficient 104 is quantized by the quantizer 105 and output as a quantized value (DCT coefficient quantized value) 106 for the encoded block.
[0149]
Further, when the DCT coefficient quantized value 106 of the coded block is supplied to the adder 107, the difference between the quantized value 106 and the predicted value 111 is obtained and output as the DCT coefficient difference value 108. The DCT coefficient difference value 108 is variable-length encoded by the VLC unit 109 and output as a bit stream (image encoded signal) 110b.
[0150]
The DCT coefficient difference value 108 output from the adder 107 is supplied to the intra-screen prediction processing unit 310, where a predicted value for the DCT coefficient quantized value 106 is generated.
[0151]
That is, in the intra-screen prediction processing unit 310, the DCT coefficient difference value 108 and the intra-screen prediction value 111 are added by the adder 112, and these added values are used as the DCT coefficient quantization value 116 of the encoded block as a block memory. 115. Then, the DCT coefficient predictor 313 generates a predicted value 111 of the DCT coefficient quantized value of the encoded block from the DCT coefficient quantized value 114 of the encoded block.
[0152]
Next, the in-screen DCT coefficient prediction method in the encoding process will be described in detail.
Unlike the first embodiment, the intra-screen DCT coefficient prediction method according to the fifth embodiment differs from the first embodiment in generating the predicted value of the DCT coefficient corresponding to the encoded block, regardless of the DCT type of the encoded block. Instead, it always refers to an encoded block having a predetermined positional relationship with respect to the encoded block.
[0153]
Also in the fifth embodiment, as in the first embodiment, the DCT region (frequency region) is formed by frequency components obtained by performing DCT processing (frequency conversion) on the image signal forming the image space (spatial region). It is assumed that each macroblock is arranged in the DCT region (frequency region) as in the arrangement of macroblocks in the space region (image space).
[0154]
Also in the fifth embodiment, as in the first embodiment, when the macro block is subjected to frame DCT processing as shown in FIG. 3, the image signal of each block is not performed without rearranging the scanning lines in the macro block. Are subjected to DCT processing, and the DCT coefficients corresponding to the upper left, upper right, lower left, and lower right blocks in the macroblock on the spatial domain are block positions (0), (1), When the macro blocks are subjected to field DCT processing in the blocks (2) and (3), DCT processing is performed on the image signals of the respective blocks after rearrangement of scanning lines in the macro blocks on the spatial domain. DCT coefficients of each block of the first field left, the first field right, the second field left, and the second field right are respectively Block position in the macro block of the CT region (0), (1), (2), shall be located in the block of (3).
[0155]
Next, intra-screen DCT coefficient prediction according to the fifth embodiment, in which the DCT coefficient corresponding to the encoded block (data of the encoded block in the DCT region) is predicted with reference to the DCT coefficient of the encoded block. The method will be described in detail.
[0156]
First, regardless of whether the encoded block is subjected to frame DCT processing or field DCT processing, as shown in FIG. 19, the block located at the upper left of the encoded block x (i) is referred to as the reference block r0 (i ), A block located adjacent to the upper side of the encoded block x (i) is referred to as a reference block r1 (i), and a block located adjacent to the left of the encoded block x (i) is referred to as a reference block r2 (i). refer.
[0157]
Then, as shown in the flowchart of FIG. 20, in the same manner as in the conventional DCT coefficient prediction method, in step S2130a, the absolute value (| DC0− of the DC component difference between the DCT coefficients of the reference blocks r0 (i) and r1 (i) DC1 |) is compared with the magnitude of the absolute value (| DC0−DC2 |) of the difference between the DC components of the DCT coefficients of the reference blocks r0 (i) and r2 (i). The absolute value (| DC0−DC2 |) of the DC component difference between the DCT coefficients of the reference blocks r0 (i) and r2 (i) is the difference between the DC components of the DCT coefficients of the reference blocks r0 (i) and r1 (i). If it is smaller than the absolute value (| DC0−DC1 |), a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block r1 (i) in step S2132a.
In other cases, a predicted value of the DCT coefficient of the encoded block x (i) is generated using the DCT coefficient of the reference block r2 (i) in step S2131a.
[0158]
As described above, in the fifth embodiment, in the prediction process of the DCT coefficient of the encoded block, an encoded block having a predetermined positional relationship with respect to the encoded block is used as a reference block, and the vicinity of the encoded block is used. The correlation of DCT coefficients between reference blocks arranged adjacently in the vertical direction and the correlation of DCT coefficients between reference blocks arranged adjacently in the horizontal direction in the vicinity of the encoded block are compared. A direction having a strong correlation is obtained, a reference block located in a direction in which a DCT coefficient has a strong correlation with respect to the encoded block is selected, and a predicted value of the DCT coefficient of the encoded block is obtained from the DCT coefficient of the selected reference block. Therefore, in-screen prediction for interlaced image signals and special progressive images can be efficiently and easily performed in the DCT region (frequency component). It can be carried out by.
[0159]
As a result, according to the fifth embodiment, in the MPEG4 system encoding process for interlaced images, special progressive images, etc., in which different DCT type macroblocks are mixed as the macroblocks to be processed, Thus, it is possible to improve the prediction value efficiency of the DCT coefficient of the block to be encoded by using the information of the above, and to efficiently and easily perform compression encoding of the image signal by reducing spatially redundant image information.
[0160]
In the intra-screen DCT coefficient prediction method used in Embodiment 5, the DCT coefficient of reference block r1 (i) or reference block r2 (i) in FIG. 19 is predicted as the DCT coefficient of encoded block x (i). When used as a value, only the DC component of the DCT coefficient of the reference block r1 (i) or the reference block r2 (i) may be used as the predicted value of the DCT coefficient of the encoded block x (i).
[0161]
Embodiment 6 FIG.
The image processing apparatus (image decoding apparatus) and the decoding method (image decoding method) according to the sixth embodiment are the same as the intra-screen DCT used in the image encoding apparatus and the image encoding method described in the fifth embodiment. It is characterized in that a coded image signal is decoded using a coefficient prediction method.
[0162]
FIG. 18 shows a block diagram of an image decoding apparatus according to the sixth embodiment, where the same reference numerals as those in FIG. 17 denote the same or corresponding parts.
The image decoding apparatus 4000 receives an image encoded signal (bitstream) 110b obtained by encoding the image signal by the image encoding apparatus 3000 according to the fifth embodiment, and performs intra-screen DCT coefficient prediction on the received image encoded signal (bitstream) 110b. A decryption process using the method is performed.
[0163]
That is, the image decoding apparatus 4000 receives the bit stream 110b output from the image encoding apparatus 3000, performs variable-length decoding on the bit stream 110b by data analysis thereof, and performs DCT coefficient difference value 108 (corresponding to the block to be decoded). A variable length decoder (VLD unit) 203 for restoring the DCT coefficient quantized value 107 of the block to be encoded and its intra prediction value 111), and the intra prediction value 111 for the block to be decoded are generated. And an adder 112 that adds the intra-screen prediction value 111 and the DCT coefficient difference value 108 to restore the DCT coefficient quantized value 116 for the block to be decoded. ing.
[0164]
Here, the intra-screen prediction processing unit 410 uses the block memory 115 that stores the output 116 of the adder 112 as the DCT coefficient quantization value of the decoded block, and the image coding apparatus 3000 according to the fifth embodiment. A DCT coefficient predictor that generates a prediction value 111 for the DCT coefficient quantization value of the decoded block from the DCT coefficient quantization value 114 of the decoded block stored in the block memory 115 by the in-screen DCT coefficient prediction method. 313.
[0165]
The image decoding device 4000 performs an inverse quantization process on the output 116 of the adder 112 to restore the DCT coefficient 104 for the block to be decoded, and the inverse quantization. The inverse DCT process is performed on the output of the decoder 207 to restore the image signal 101 for the block to be decoded, and the output of the inverse DCT unit 209 is received and the DCT type from the image encoding device 4000 is received. And a deblocking unit 200 for restoring the image signal 110 a having the scanning line structure based on the signal 102.
[0166]
In this inverse blocker 200, image signals of blocks belonging to the same macro block in the image space are combined in correspondence with the position of the block in the macro block, and an image signal corresponding to the macro block is generated. The second field formed by the image signal corresponding to the even-numbered horizontal pixel column is located above the macroblock and the first field image formed by the image signal corresponding to the odd-numbered horizontal pixel column. For the image signal of the macroblock that has been subjected to the rearrangement process of the horizontal pixel column at the time of encoding so that the image of the field is positioned below the macroblock, the first field and the second field are used. The horizontal pixel column is rearranged so that an image of the frame is formed, while the horizontal pixel column is rearranged during encoding. Is for the image signal of the macroblock that was not subjected without applying inverse reordering of the horizontal pixel rows are configured to generate an image signal of the image space composed of a plurality of macro-blocks.
[0167]
Next, the operation will be described.
When the image encoded signal 110b from the image encoding device 3000 is input to the image decoding device 4000, the image encoded signal 110b is subjected to variable length decoding by the data analysis by the VLD unit 203, It is output as the DCT coefficient difference value 108 for the decoded block.
The DCT coefficient difference value 108 for the decoded block is added to the predicted value 111 by the adder 112 to restore the DCT coefficient quantized value 116 for the decoded block.
[0168]
At this time, the DCT coefficient quantized value 116 for the decoded block is supplied to the intra prediction processing unit 410 and stored in the block memory 115 as the DCT coefficient quantized value of the decoded block. Further, the DCT coefficient predictor 313 reads the DCT coefficient quantized value 114 corresponding to the decoded block from the block memory 115. Here, the DCT coefficient quantized value 114 from the block memory 115 is referred to. Thus, the DCT coefficient prediction process for generating a prediction value for the DCT coefficient difference value 108 of the next decoding block processed next to the block to be decoded is a prediction value in the in-screen prediction processing unit 110 of the image encoding device 3000. This is performed in the same manner as the generation process.
[0169]
Further, the DCT coefficient quantized value 116 is converted by the inverse quantizer 207 into the DCT coefficient 104 for the block to be decoded by the inverse quantization process, and the DCT coefficient 104 is further inversely discrete by the inverse DCT unit 209. By the cosine transform, the image signal 101 for the block to be decoded is converted.
Then, when the image signal 101 for this block to be decoded is supplied to the inverse blocker 200, the inverse blocker 200, based on the DCT type signal 102 from the image encoding device 3000, scanline structure image. The signal 110a is reproduced.
[0170]
As described above, in the sixth embodiment, since the image encoded signal is decoded using the in-screen DCT coefficient prediction method, the image signal corresponding to the interlaced image or the special progressive image is converted into the in-screen DCT coefficient prediction. An encoded image signal (bit stream) obtained by intra prediction encoding using processing can be efficiently and correctly decoded by simple intra prediction processing in the DCT region.
[0171]
Furthermore, by recording an encoding or decoding program for realizing image processing by the image encoding device or the image decoding device shown in each of the above embodiments on a data storage medium such as a floppy disk. The processes shown in the above embodiments can be easily performed in an independent computer system.
[0172]
FIG. 14 is a diagram for explaining a case where the image encoding process or the image decoding process of the first to sixth embodiments is performed by a computer system using a floppy disk storing the encoding or decoding program. FIG.
FIG. 14 (a) shows an external appearance, a sectional structure, and a floppy disk main body as viewed from the front of the floppy disk, and FIG. 14 (b) shows an example of a physical format of the floppy disk main body.
[0173]
The floppy disk FD has a structure in which the floppy disk body D is accommodated in a floppy disk case FC, and a plurality of tracks are concentrically formed on the surface of the floppy disk body D from the outer periphery toward the inner periphery. Tr is formed, and each track Tr is divided into 16 sectors Se in the angular direction. Therefore, in the floppy disk FD storing the program, the floppy disk main body D is such that data as the program is recorded in an area (sector) Se allocated thereon.
[0174]
FIG. 14C shows a configuration for recording the program on the floppy disk FD and performing image processing using the program stored in the floppy disk FD.
[0175]
When recording the program on the floppy disk FD, data as the program is written from the computer system Cs to the floppy disk FD via the floppy disk drive FDD. When the arbitrary shape encoding device or arbitrary shape decoding device is constructed in the computer system Cs by the program recorded on the floppy disk FD, the program is read from the floppy disk FD by the floppy disk drive FDD, and the computer system Load to Cs.
[0176]
In the above description, a floppy disk is used as the data storage medium. However, even if an optical disk is used, the encoding process or the decoding process by software can be performed as in the case of the floppy disk. Further, the recording medium is not limited to the above optical disk and floppy disk, and any recording medium such as an IC card, ROM cassette or the like can be used as long as the recording medium can be used. Similarly, an encoding process or a decoding process by software can be performed.
[0177]
【The invention's effect】
According to the image processing method of the present invention (claim 1), An encoding process including rearrangement of horizontal pixel columns and frequency conversion for each of the sub-blocks constituting each rectangular macroblock that divides the image space into an image signal forming an image space composed of a plurality of pixels; An image processing method for performing decoding processing on an image encoded signal obtained by encoding by any of encoding processing including frequency conversion without including rearrangement of horizontal pixel columns for each of the sub-blocks. The predicted value of the frequency component of the decoded sub-block to be subjected to the decoding process is located near the upper side and the left side of the decoded sub-block among the decoded sub-blocks that have already been decoded. A prediction step that is generated by referring to the frequency component of a decoded sub-block, and an image encoded signal corresponding to the decoded sub-block, using the prediction value A restoration step for restoring the frequency component of the decoded sub-block, a transformation step for transforming the frequency component of the restored sub-block into an image signal of the corresponding sub-block by inverse frequency transformation, and the above image space A signal generation step of combining image signals of sub-blocks belonging to the same macro block in association with the positions of the sub-blocks in the macro block to generate an image signal corresponding to the macro block, and the conversion In the encoding, the first field image constituting the image space is positioned above the macro block and the second field image constituting the image space is located below the macro block at the time of encoding. For macroblocks that have been subjected to rearrangement processing of horizontal pixel columns so that they are For the macroblocks that have not been subjected to the rearrangement process of the horizontal pixel sequence at the time of encoding, inverse frequency conversion is performed on a frame basis, and the signal generation step is performed at the time of encoding. For the macroblock that has been subjected to the rearrangement process of the horizontal pixel column, the rearrangement process of the horizontal pixel column is performed so that an image of the frame including the first field and the second field is formed, For a macroblock that has not been subjected to the rearrangement process of the horizontal pixel column at the time of encoding, the image signal for the macroblock is reproduced without performing the reverse rearrangement process of the horizontal pixel column. And the predicting step includes determining whether or not the decoded sub-block is a sub-block that has undergone a horizontal pixel sequence rearrangement process at the time of encoding. Which frequency component of the decoded sub-block located near the upper side of the decoding sub-block and the decoded sub-block located near the left side of the decoded sub-block is referred to as the decoded sub-block Determined based on the DC component of the frequency component of the decoded sub-block located in the upper neighborhood, the left neighborhood, and the upper-left neighborhood, and decoded to be referenced located in the upper neighborhood of the decoded sub-block. The sub-block is located in the decoding target macro block or on the upper side of the decoding target macro block according to the position of the decoding sub block in the decoding target macro block. It is used in the decoded macroblock. Therefore, an image encoded signal obtained by predictive encoding an image signal corresponding to an interlaced image or a special progressive image can be efficiently and correctly decoded by a simple prediction process of frequency components.
[0178]
According to this invention (Aspect 2), in the image processing method according to Claim 1, as a decoded sub-block located near the upper side of the decoded sub-block, adjacent to the upper side of the decoded sub-block As the decoded sub-block located near the left side of the decoded sub-block, the upper decoded sub-block located at Covered Using the left decoded sub-block located adjacent to the left side of the decoded sub-block, the decoded sub-block located near the upper left of the decoded sub-block is displayed on the upper left side of the decoded sub-block. Since the upper left decoded sub-block located adjacently is used, when generating the predicted value of the DCT coefficient of the decoded sub-block, the decoded sub-block spatially close to the decoded sub-block is generated. Since the frequency component is referred to, it is possible to realize the intra prediction decoding process corresponding to the intra prediction encoding process with high prediction efficiency.
[0179]
According to this invention (Claim 3), in the image processing method according to Claim 1 or 2, In the prediction step above, The predicted value of the frequency component of the decoded sub-block is generated based on the quantized frequency component, In the conversion step above, Since the inverse frequency transform is performed on the inversely quantized frequency component, it is possible to realize an intra prediction decoding process corresponding to an intra prediction encoding process with high prediction efficiency.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus (image encoding apparatus) according to Embodiment 1 of the present invention.
FIG. 2 is a block diagram showing a configuration of an image processing device (image decoding device) according to a second embodiment of the present invention.
FIG. 3 is a diagram for explaining intra-frame prediction encoding processing by the image encoding apparatus according to the first embodiment, and shows an arrangement of DCT blocks in a macro block in a DCT region.
FIG. 4 is a diagram for explaining intra-frame prediction encoding processing by the image encoding device according to the first embodiment, and shows a positional relationship of a reference block with respect to an encoded block in frame prediction and field prediction; .
FIG. 5 is a diagram illustrating adaptive intra-screen DCT coefficient prediction processing by the image coding apparatus according to the first embodiment and the image decoding apparatus according to the second embodiment in a flowchart.
FIG. 6 is a diagram showing a frame prediction method in a prediction process by the image coding apparatus according to the first embodiment and the image decoding apparatus according to the second embodiment, in a flowchart.
FIG. 7 is a diagram showing a field prediction method in a prediction process by the image coding apparatus according to the first embodiment and the image decoding apparatus according to the second embodiment in a flowchart.
FIG. 8 is a flowchart illustrating an example of a prediction value generation method in the frame prediction.
FIG. 9 is a diagram showing a column of a prediction value generation method in the field prediction in a flowchart.
10 is a diagram for explaining an example of a DCT coefficient generation method for a virtual buffer in prediction processing by the image coding apparatus according to Embodiment 1 and the image decoding apparatus according to Embodiment 2. FIG.
FIG. 11 is a diagram illustrating an example of a virtual buffer DCT coefficient generation method in prediction processing by the image coding apparatus according to the first embodiment and the image decoding apparatus according to the second embodiment.
FIG. 12 is a diagram showing a frame prediction method in the image coding apparatus according to the third embodiment of the present invention and the image decoding apparatus according to the fourth embodiment in a flowchart.
FIG. 13 is a diagram illustrating a field prediction method in the image encoding device according to the third embodiment and the image decoding device according to the fourth embodiment in a flowchart.
FIGS. 14A and 14B are data storage media storing a program for performing intra prediction encoding processing and intra prediction decoding processing by a computer system according to each embodiment of the present invention. FIG. 14C is a diagram showing the computer system.
FIG. 15 is a diagram for explaining an in-screen DCT coefficient prediction method using a conventional image processing apparatus.
FIG. 16 is a schematic diagram for explaining scanning line replacement processing at the time of frame / field DCT switching.
FIG. 17 is a block diagram for explaining an image coding apparatus according to Embodiment 5 of the present invention;
FIG. 18 is a block diagram for explaining an image decoding apparatus according to a sixth embodiment of the present invention.
FIG. 19 is a diagram for explaining reference blocks used in the prediction process in the fifth embodiment.
FIG. 20 is a diagram showing an example of a flowchart of a predicted value generation method in the fifth embodiment.
[Explanation of symbols]
100 blockizer
101 Image signal
102 DCT type signal
103 DCT unit
104 DCT coefficient
105 Quantizer
106 DCT coefficient quantization value
108 DCT coefficient difference value
109 Variable length encoder
110, 210, 310, 410 Intra-screen prediction processing unit
110a Input image signal
110b Image encoded signal (bit stream)
111 DCT coefficient prediction value
113,313 DCT coefficient predictor
115 block memory
116 DCT coefficient quantization value
200 Deblocker
203 Variable length decoder
207 Inverse quantizer
209 Inverse DCT device
1000, 3000 Image encoding device (image processing device)
2000, 4000 Image decoding device (image processing device)
Cs computer system
D Floppy disk body
FC floppy disk case
FD floppy disk
FDD floppy disk drive

Claims

An encoding process including rearrangement of horizontal pixel columns and frequency conversion for each of the sub-blocks constituting each rectangular macroblock that divides the image space into an image signal forming an image space composed of a plurality of pixels; An image processing method for performing decoding processing on an image encoded signal obtained by encoding by any of encoding processing including frequency conversion and not including rearrangement of horizontal pixel columns, for each sub-block,
The predicted value of the frequency component of the decoded sub-block to be decoded is positioned in the vicinity of the upper and left sides of the decoded sub-block among the decoded sub-blocks that have already been decoded. A prediction step of generating with reference to frequency components of decoded sub-blocks to be
A restoration step of restoring a frequency component of the decoded sub-block using the predicted value from an image encoded signal corresponding to the decoded sub-block;
A transforming step of transforming the restored sub-block frequency components into corresponding sub-block image signals by inverse frequency transform;
A signal generation step of combining the image signals of the sub-blocks belonging to the same macro block in the image space in correspondence with the position of the sub-block in the macro block to generate an image signal corresponding to the macro block;
Including
In the encoding step, the first field image constituting the image space is positioned above the macro block and the second field image constituting the image space is below the macro block at the time of encoding. For the macroblock that has been subjected to the rearrangement process of the horizontal pixel column so as to be positioned on the side, the inverse frequency conversion is performed in units of fields, and the rearrangement process of the horizontal pixel column is not performed at the time of encoding. For macroblocks, reverse frequency conversion is performed in units of frames.
In the signal generation step, a horizontal block is formed so that an image of a frame composed of the first field and the second field is formed for a macroblock subjected to the rearrangement process of the horizontal pixel row at the time of encoding. For the macroblock that has been subjected to the reverse rearrangement process of the pixel column and has not been subjected to the rearrangement process of the horizontal pixel column at the time of encoding, without performing the reverse rearrangement process of the horizontal pixel column, It reproduces the image signal for the macro block,
The prediction step is performed in the vicinity of the upper side of the decoded sub-block regardless of whether or not the decoded sub-block is a sub-block subjected to the rearrangement process of the horizontal pixel sequence at the time of encoding. Which frequency component of the decoded sub-block to be decoded and the decoded sub-block located near the left side of the decoded sub-block is referred to as the upper side neighborhood, the left side neighborhood of the decoded sub-block, and The decoded sub-block to be referred to is determined based on the DC component of the frequency component of the decoded sub-block located near the upper left and is to be referred to and located near the upper side of the decoded sub-block. Depending on the position of the decoding sub-block in the decoding target macroblock, the one in the decoding target macroblock or the decoding target macroblock It is to use those decoded macro block positioned in the upper,
An image processing method.

The image processing method according to claim 1,
In the prediction step above,
As the decoded sub-block located near the upper side of the decoded sub-block, using the upper decoded sub-block located adjacent to the upper side of the decoded sub-block,
As a decoded subblock located near the left side of the decoded subblock, a left decoded subblock located adjacent to the left side of the decoded subblock is used.
As a decoded sub-block located near the upper left of the decoded sub-block, an upper left decoded sub-block located adjacent to the upper left of the decoded sub-block,
The absolute value of the difference between the DC component of the frequency component of the upper decoded sub-block and the DC component of the frequency component of the upper left decoded sub-block is the upper left of the DC component of the frequency component of the left decoded sub-block. When the absolute value of the difference between the frequency component of the side-decoded sub-block and the DC component is smaller than that, the frequency component of the decoded sub-block is generated with reference to the frequency component of the left-decoded sub-block. ,
On the other hand, the absolute value of the difference between the DC component of the frequency component of the left decoded sub-block and the DC component of the frequency component of the upper left decoded sub-block is the DC component of the frequency component of the upper decoded sub-block. Is smaller than the absolute value of the difference between the DC component of the frequency component of the upper left decoded sub-block and the frequency component of the decoded sub-block by referring to the frequency component of the upper decoded sub-block. Generate,
An image processing method.

The image processing method according to claim 1 or 2,
In the prediction step, a predicted value of the frequency component of the decoded sub-block is generated based on the quantized frequency component,
In the transform step, the inverse frequency transform is performed on the inverse quantized frequency component.
An image processing method.