JP4051772B2 - 画像復号装置及び画像復号方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データを、復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の圧縮画像データを復号して、この第１の解像度よりも低い第２の解像度の動画像データに縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group phase2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の圧縮画像データを復号するとともにこの圧縮画像データを１／２の解像度に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示するダウンデコーダが求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングするダウンデコーダが、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている（以下、この文献を文献１と呼ぶ。）。この文献１には、以下の第１から第３のダウンデコーダが示されている。
【０００４】
第１のダウンデコーダは、図３４に示すように、高解像度画像のビットストリームに対して８（水平方向のＤＣ成分から数えた係数の数）×８（垂直方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１００１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１００２と、参照画像を一時記憶するフレームメモリ１００３と、フレームメモリ１００３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１００４と、フレームメモリ１００３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１００５とを備えている。
【０００５】
この第１のダウンデコーダでは、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００６】
第２のダウンデコーダは、図３５に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１０１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０１２と、参照画像を一時記憶するフレームメモリ１０１３と、フレームメモリ１０１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０１４と、フレームメモリ１０１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０１５とを備えている。
【０００７】
この第２のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００８】
第３のダウンデコーダは、図３６に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１０２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０２２と、参照画像を一時記憶するフレームメモリ１０２３と、フレームメモリ１０２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０２４とを備えている。
【０００９】
この第３のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、上記第１のダウンデコーダでは、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１００１と高容量のフレームメモリ１００３とが必要となる。また、上記第２のダウンデコーダでは、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１０１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１０１３が必要となる。これら第１及び第２のダウンデコーダに対し、第３のダウンデコーダでは、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１０２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１０２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
ＭＰＥＧ２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。また、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
【発明が解決しようとする課題】
ところで、上記文献１に示された第３のダウンデコーダを利用して、飛び越し走査方式に対応した圧縮画像データを復号する画像復号装置が、例えば文献「A Compensation Method of Drift Errors in Scalability」（N.OBIKANE,K.TAHARA and J.YONEMITSU,HDTV Work Shop'93）に提案されている（以下、この文献を文献２と呼ぶ）。
【００１６】
この文献２に示された従来の画像復号装置は、図３７に示すように、高解像度画像をＭＰＥＧ２で圧縮したビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１０３１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長符号復号装置１０３２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１０３３と、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像を復号する縮小逆離散コサイン変換装置１０３４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０３５と、参照画像を一時記憶するフレームメモリ１０３６と、フレームメモリ１０３６が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０３７とを備えている。
【００１７】
この文献２に示された従来の画像復号装置の縮小逆離散コサイン変換装置１０３４は、ＤＣＴブロック内の全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換をするが、フレームＤＣＴモードとフィールドＤＣＴモードとで、逆離散コサイン変換を行う係数の位置が異なっている。
【００１８】
具体的には、縮小逆離散コサイン変換装置１０３４は、フィールドＤＣＴモードの場合には、図３８に示すように、ＤＣＴブロック内の８×８個のうち、低域の４×４個の係数のみに逆離散コサイン変換を行う。それに対し、縮小逆離散コサイン変換装置１０３４は、フレームＤＣＴモードの場合には、図３９に示すように、ＤＣＴブロック内の８×８個の係数のうち、４×２個＋４×２個の係数のみに逆離散コサイン変換を行う。
【００１９】
また、この文献２に示された従来の画像復号装置の動き補償装置１０３７は、高解像度画像に対して行われた動き予測の情報（動きベクトル）に基づき、フィールド動き予測モード及びフレーム動き予測モードのそれぞれに対応した１／４画素精度の動き補償を行う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動き補償が行われることが定められているが、高解像度画像から標準解像度画像を復号する場合には、ピクチャ内の画素数が１／２に間引かれるため、動き補償装置１０３７では動き補償の画素精度を１／４画素精度として動き補償を行っている。
【００２０】
従って、動き補償装置１０３７では、高解像度画像に対応した動き補償を行うため、標準解像度の画像としてフレームメモリ１０３６に格納された参照画像の画素に対して線形補間して、１／４画素精度の画素を生成している。
【００２１】
具体的に、フィールド動き予測モード及びフレーム動き予測モードの場合の垂直方向の画素の線形補間処理を、図４０及び図４１を用いて説明する。なお、図面中には、縦方向に垂直方向の画素の位相を示し、表示画像の各画素が位置する位相を整数で示している。
【００２２】
まず、フィールド動き予測モードで動き予測がされた画像の補間処理について、図４０を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４０（ａ）に示すように、各フィールドそれぞれ独立に、１／２画素精度で動き補償がされる。これに対し、標準解像度画像（下位レイヤー）に対しては、図４０（ｂ）に示すように、整数精度の画素に基づきフィールド内で線形補間をして、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素を生成し、動き補償がされる。すなわち、標準解像度画像（下位レイヤー）では、トップフィールドの整数精度の各画素に基づきトップフィールドの１／４画素精度の各画素が線形補間により生成され、ボトムフィールドの整数精度の各画素に基づきボトムフィールドの１／４画素精度の各画素が線形補間により生成される。例えば、垂直方向の位相が０の位置にあるトップフィールドの画素の値をａ、垂直方向の位相が１の位置にあるトップフィールドの画素の値をｂとする。この場合、垂直方向の位相が１／４の位置にあるトップフィールドの画素は（３ａ＋ｂ）／４となり、垂直方向の位相が１／２の位置にあるトップフィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位相が３／４の位置にあるトップフィールドの画素は（ａ＋３ｂ）／４となる。
【００２３】
続いて、フレーム動き予測モードで動き予測がされた画像の補間処理について、図４１を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４１（ａ）に示すように、各フィールド間で補間処理がされ、すなわち、ボトムフィールドとトップフィールドとの間で補間処理がされ、１／２画素精度で動き補償がされる。標準解像度画像（下位レイヤー）に対しては、図４１（ｂ）に示すように、トップフィールド及びボトムフィールドの２つのフィールドの整数精度の各画素に基づき、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素が線形補間により生成され、動き補償がされる。例えば、垂直方向の位相が−１の位置にあるボトムフィールドの画素の値をａ、垂直方向の位相が０の位置にあるトップフィールドの画素の値をｂ、垂直方向の位相が１の位置にあるボトムフィールドの画素の値をｃ、垂直方向の位相が２の位置にあるトップフィールドの画素の値をｄ、垂直方向の位相が３の位置にあるボトムフィールドの画素の値をｅとする。この場合、垂直方向の位相が０〜２の間にある１／４画素精度の各画素は、以下のように求められる。
【００２４】
垂直方向の位相が１／４の位置にある画素は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）／４となる。垂直方向の位相が７／４の位置にある画素は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】
以上のように上記文献２に示された従来の画像復号装置は、飛び越し走査方式に対応した高解像度画像の圧縮画像データを、標準解像度画像データに復号することができる。
【００２６】
しかしながら、上記文献２に示された従来の画像復号装置では、フィールドＤＣＴモードで得られる標準解像度画像の各画素と、フレームＤＣＴモードで得られる標準解像度の各画素との位相がずれる。具体的には、フィールドＤＣＴモードでは、図４２に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。それに対して、フレームＤＣＴモードでは、図４３に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が０、２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。そのため、位相が異なる画像がフレームメモリ１０３６に混在し、出力する画像の画質が劣化する。
【００２７】
また、上記文献２に示された従来の画像復号装置では、フィールド動き予測モードとフレーム動き予測モードとで位相ずれの補正がされていない。そのため、出力する画像の画質が劣化する。
【００２８】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことが可能な、高解像度画像の圧縮画像データから標準解像度の画像データを復号する画像復号装置及び画像復号方法を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明に係る画像復号装置は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号装置において、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をする第１の逆直交変換手段と、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、上記第１の逆直交変換手段又は上記第２の逆直交変換手段により逆直交変換がされた圧縮画像データと動き補償がされた参照画像データとを加算して、第２の解像度の動画像データを出力する加算手段と、上記加算手段から出力される動画像データを参照画像データとして記憶する記憶手段と、上記記憶手段が記憶している参照画像データのマクロブロックに対して動き補償をする動き補償手段とを備え、上記第１の逆直交変換手段は、上記直交変換ブロックの各係数のうち、水平方向については、低周波成分の係数に対して逆直交変換をするとともに、この直交変換ブロックの各係数のうち、垂直方向については、全周波成分又はその低周波成分の係数に対して逆直交変換をし、上記第２の逆直交変換手段は、上記直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする。
【００３０】
この画像復号装置では、フレーム直交変換モードにより直交変換がされた直交変換ブロックの全周波数成分の係数に対して逆直交変換をして飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。
【００３１】
本発明に係る画像復号装置は、第２の逆直交変換手段が、２つの直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした２つの直交変換ブロックを合成して飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする。
【００３２】
この画像復号装置では、フレーム直交変換モードにより直交変換がされた２つの直交変換ブロックの全周波数成分の係数に対して逆直交変換をして合成して、飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。
【００３３】
本発明に係る画像復号装置は、上記動き補償手段が、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第２の動き補償手段とからなり、上記第１の動き補償手段及び上記第２の動き補償手段は、上記記憶手段が記憶している参照画像データのマクロブロックの各画素に対して補間をすることにより、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成し、この生成したマクロブロックに対して動き補償をすることを特徴とする。
【００３４】
この画像復号装置では、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００３５】
本発明に係る画像復号装置は、第１の動き補償手段及び第２の動き補償手段が、上記記憶手段が記憶している参照画像データのマクロブロックの各画素に対して補間をするためのフィルタのタップ数を、所定単位毎に切り換えて、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成することを特徴とする。
【００３６】
この画像復号装置では、フィルタのタップ数を切り換えて、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００３７】
本発明に係る画像復号装置は、上記第２の動き補償手段が、上記記憶手段が記憶している参照画像データのマクロブロックの各画素に対して、トップフィールドとボトムフィールドとの間で補間をすることによって、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成することを特徴とする。
【００３８】
この画像復号装置では、フレーム直交変換モードにより直交変換がされた参照画像データのマクロブロックの各画素に対して、トップフィールドとボトムフィールドとの間で補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００３９】
本発明に係る画像復号方法は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号方法において、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をし、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をし、逆直交変換がされた圧縮画像データと動き補償がされた参照画像データとを加算し、加算して得られた動画像データを参照画像データとして記憶し、記憶している参照画像データのマクロブロックに対して動き補償をし、フィールド直交変換モードにより直交変換がされた上記直交変換ブロックの各係数のうち、水平方向については、低周波成分の係数に対して逆直交変換をするとともに、この直交変換ブロックの各係数のうち、垂直方向については、全周波成分又は低周波成分の係数に対して逆直交変換をし、フレーム直交変換モードにより直交変換がされた上記直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする。
【００４０】
この画像復号方法では、フレーム直交変換モードにより直交変換がされた直交変換ブロックの全周波数成分の係数に対して逆直交変換をして飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号方法では、第１の解像度より低い第２の解像度の動画像データを出力する。
【００４１】
本発明に係る画像復号方法は、フレーム直交変換モードにより直交変換がされた２つの直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした２つの直交変換ブロックを合成して飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする。
【００４２】
この画像復号方法では、フレーム直交変換モードにより直交変換がされた２つの直交変換ブロックの全周波数成分の係数に対して逆直交変換をして合成して、飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号方法では、第１の解像度より低い第２の解像度の動画像データを出力する。
【００４３】
本発明に係る画像復号方法は、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をし、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をし、参照画像データのマクロブロックの各画素に対して補間をすることにより、記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成し、この生成したマクロブロックに対して動き補償をすることを特徴とする。
【００４４】
この画像復号方法では、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００４５】
本発明に係る画像復号方法は、フィールド動き予測モード又はフレーム動き予測モードにより動き予測がされた参照画像データのマクロブロックの各画素に対して補間をするためのフィルタのタップ数を、所定単位毎に切り換えて、記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成することを特徴とする。
【００４６】
この画像復号方法では、フィルタのタップ数を切り換えて、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００４７】
本発明に係る画像復号方法は、フレーム動き予測モードにより動き予測がされた参照画像データのマクロブロックの各画素に対して、トップフィールドとボトムフィールドとの間で補間をすることによって、記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成することを特徴とする。
【００４８】
この画像復号方法では、フレーム直交変換モードにより直交変換がされた参照画像データのマクロブロックの各画素に対して、トップフィールドとボトムフィールドとの間で補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した画像復号装置について、図面を参照しながら説明する。
【００５０】
（第１の実施の形態）
まず、本発明の第１の実施の形態の画像復号装置について説明する。
【００５１】
図１に示すように、本発明の第１の実施の形態の画像復号装置１０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００５２】
なお、以下、本発明の実施の形態の説明をするにあたり、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。また、通常、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００５３】
この画像復号装置１０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【００５４】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図３８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００５５】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００５６】
なお、このフレームモード用縮小逆離散コサイン変換装置１５の処理については、その詳細を後述する。
【００５７】
加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ１７に格納する。また、加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置１８或いはフレームモード用動き補償装置１９により動き補償がされた参照画像を合成して、フレームメモリ１７に格納する。
【００５８】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００５９】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００６０】
画枠変換・位相ずれ補正装置２０は、フレームメモリ１７が記憶した標準解像度の参照画像或いは加算装置１６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００６１】
本発明の第１の実施の形態の画像復号装置１０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００６２】
つぎに、上記フレームモード用縮小逆離散コサイン変換装置１５の処理内容について、さらに詳細に説明する。
【００６３】
なお、このフレームモード用縮小逆離散コサイン変換装置１５では、以下に説明する１ブロック処理及び２ブロック処理のいずれか或いは両者の処理を行うことができる。フレームモード用縮小逆離散コサイン変換装置１５は、必要に応じて、１ブロック処理又は２ブロック処理を切り換えて用いても良いし、或いは、いずれか一方の処理のみを行っても良い。
【００６４】
まず、１ブロック処理について説明する。図３に、１ブロック処理の内容を説明するための図を示す。
【００６５】
フレームモード用縮小逆離散コサイン変換装置１５には、図３に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【００６６】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₁〜ｙ₈として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₁〜ｘ₈として図中に示す。）を得ることができる。
【００６７】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ₁と、３ライン目の画素データｘ₃と、５ライン目の画素データｘ₅と、７ライン目の画素データｘ₇とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ₂と、４ライン目の画素データｘ₄と、６ライン目の画素データｘ₆と、８ライン目の画素データｘ₈とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【００６８】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【００６９】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₁，ｚ₃，ｚ₅，ｚ₇として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₂，ｚ₄，ｚ₆，ｚ₈として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【００７０】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄として図中に示す。）を得ることができる。
【００７１】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【００７２】
以上のステップＳ１〜ステップＳ６で示した１ブロック処理を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図２で示したような、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【００７３】
また、フレームモード用縮小逆離散コサイン変換装置１５では、以上のステップＳ１からステップＳ６までの１ブロック処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置１５では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式１に示す行列［ＦＳ′］と、１つのＤＣＴブロックの離散コサイン係数ｙ（ｙ₁〜ｙ₈）とを行列演算することにより、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′₁〜ｘ′₄）を得ることができる。
【００７４】
【数１】

【００７５】
但し、この式（１）において、Ａ〜Ｊは以下の通りである。
【００７６】
【数２】

【００７７】
つぎに、２ブロック処理について説明する。図４に、２ブロック処理の内容を説明するための図を示す。
【００７８】
フレームモード用縮小逆離散コサイン変換装置１５には、図４に示すように、高解像度画像を圧縮符号化したビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成されるいわゆる４２０フォーマットからなる場合には、垂直方向に隣接した２つの輝度成分（Ｙ）のＤＣＴブロックが入力される。マクロブロックが図５に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【００７９】
まず、ステップＳ１１において、２つのＤＣＴブロックの離散コサイン係数ｙ（時間的に前のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₁〜ｙ₈として図中に示し、時間的に後のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₉〜ｙ₁₆として図中に示す。）に対して、それぞれ独立に８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（時間的に前のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₁〜ｘ₈として図中に示し、時間的に後のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₉〜ｘ₁₆として図中に示す。）を得ることができる。
【００８０】
続いて、ステップＳ１２において、２つのＤＣＴブロックの８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応したトップフィールドの８×８の画素ブロックと、飛び越し走査に対応したボトムフィールドの８×８の画素ブロックの２つの画素ブロックにフィールド分離する。すなわち、時間的に前のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ₁と、３ライン目の画素データｘ₃と、５ライン目の画素データｘ₅と、７ライン目の画素データｘ₇とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ₉と、３ライン目の画素データｘ₁₁と、５ライン目の画素データｘ₁₃と、７ライン目の画素データｘ₁₅とを取り出して、トップフィールドに対応した８×８の画素ブロックを生成する。また、時間的に前のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ₂と、４ライン目の画素データｘ₄と、６ライン目の画素データｘ₆と、８ライン目の画素データｘ₈とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ₁₀と、４ライン目の画素データｘ₁₂と、６ライン目の画素データｘ₁₄と、８ライン目の画素データｘ₁₆とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。
【００８１】
続いて、ステップＳ１３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換（ＤＣＴ８×８）をする。
【００８２】
続いて、ステップＳ１４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₁，ｚ₃，ｚ₅，ｚ₇，ｚ₉，ｚ₁₁，ｚ₁₃，ｚ₁₅として図中に示す。）の高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₂，ｚ₄，ｚ₆，ｚ₈，ｚ₁₀，ｚ₁₂，ｚ₁₄，ｚ₁₆として図中に示す。）の高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【００８３】
続いて、ステップＳ１５において、高域成分の離散コサイン係数を間引いた４×４の画素ブロックそれぞれに対して、４×４の逆離散コサイン変換（ＩＤＣＴ４×４）を行う。４×４の逆離散コサイン変換をすることにより、４×４の復号された画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃，ｘ′₅，ｘ′₇として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄，ｘ′₆，ｘ′₈として図中に示す。）を得ることができる。
【００８４】
続いて、ステップＳ１６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【００８５】
以上のステップＳ１１〜ステップＳ１６で示した２ブロック処理を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図２で示したような、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画素から構成されるＤＣＴブロックを生成することができる。
【００８６】
また、フレームモード用縮小逆離散コサイン変換装置１５では、以上のステップＳ１１〜ステップＳ１６までの２ブロック処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置１５では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式（２）に示す行列［ＦＳ′′］と、２つのＤＣＴブロックの離散コサイン係数ｙ（ｙ₁〜ｙ₁₆）とを行列演算して、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′₁〜ｘ′₈）を得ることができる。
【００８７】
【数３】

【００８８】
但し、この式（２）において、Ａ〜Ｄは、以下の通りである。
【００８９】
【数４】

【００９０】
【数５】

【００９１】
【数６】

【００９２】
【数７】

【００９３】
また、この式（２）において、ａ〜ｇは、以下の通りである。
【００９４】
【数８】

【００９５】
なお、上記フレームモード用縮小逆離散コサイン変換装置１５では、図５で示したいわゆる４２０フォーマットのマクロブロックが入力された場合には、輝度成分に対しては上記ステップＳ１１〜ステップＳ１６に示した２ブロック処理を行って縮小逆離散コサイン変換を行い、色差成分に対しては、上記ステップＳ１〜ステップＳ６に示した１ブロック処理を行って縮小逆離散コサイン変換を行っても良い。
【００９６】
以上のように本発明の第１の実施の形態の画像復号装置１０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置１０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００９７】
なお、上記画像復号装置１０では、フィールドモード用縮小逆離散コサイン変換装置１４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置１５の上記ステップＳ１〜ステップＳ６による１ブロック処理による縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００９８】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００９９】
フィールドモード用縮小逆離散コサイン変換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（３）に示すように分解される。
【０１００】
【数９】

【０１０１】
また、図６にフィールドモード用縮小逆離散コサイン変換装置１４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第５の乗算器１４ａ〜１４ｅ及び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速化を実現することができる。
【０１０２】
フレームモード用縮小逆離散コサイン変換装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（４）に示すように分解される。
【０１０３】
【数１０】

【０１０４】
但し、この式（４）において、Ａ〜Ｊは、以下の通りである。
【０１０５】
【数１１】

【０１０６】
また、図７にフレームモード用縮小逆離散コサイン変換装置１５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第１０の乗算器１５ａ〜１５ｊ及び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高速化を実現することができる。
【０１０７】
（第２の実施の形態）
つぎに、本発明の第２の実施の形態の画像復号装置について説明する。なお、この第２の実施の形態の画像復号装置の説明にあたり、上記第１の画像復号装置１０と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。また、第３の実施の形態以後もそれ以前の実施の形態と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。
【０１０８】
図８に示すように、本発明の第２の実施の形態の画像復号装置３０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０１０９】
この画像復号装置３０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【０１１０】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１１１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、詳細を後述する１ブロック処理或いは２ブロック処理により、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、１ブロック処理或いは２ブロック処理で縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１１２】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１１３】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１１４】
画枠変換装置３３は、フレームメモリ１７が記憶した標準解像度の参照画像が供給され、この参照画像をポストフィルタリングにより、画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換装置３３は、高解像度のテレビジョン規格の画枠を、１／４に縮小した標準解像度のテレビジョン規格の画枠に変換する。なお、この画枠変換装置３３は、フレームメモリ１７に格納されている画像がトップフィールドとボトムフィールドとの間に位相ずれが生じていないので、上述した第１の実施の形態の画枠変換・位相ずれ補正装置２０と異なり、画素の位相ずれの補正は行わなくて良い。
【０１１５】
本発明の第２の実施の形態の画像復号装置３０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０１１６】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１の処理内容について、さらに詳細に説明する。
【０１１７】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１には、図１０に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１１８】
まず、ステップＳ２１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₁〜ｙ₈として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₁〜ｘ₈として図中に示す。）を得ることができる。
【０１１９】
続いて、ステップＳ２２において、この８×８の画素データを、４×８の位相補正フィルタ行列によりＤＣＴブロック内で閉じた変換を行い、位相補正した画素データｘ′（全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₂，ｘ′₃，ｘ′₄として図中に示す。）を得る。
【０１２０】
以上のステップＳ２１〜ステップＳ２２の処理を行うことにより、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、トップフィールドとボトムフィールドとの間で、画素の位相ずれがない画像を生成することができる。
【０１２１】
また、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図１１に示すように、以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行列）を用いて演算してもよい。
【０１２２】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を図１２に示し、この４×８位相補正ＩＤＣＴ行列について説明する。この４×８位相補正ＩＤＣＴ行列は、プロトタイプフィルタをポリフェーズ分解して作成される。
【０１２３】
ここで、画像復号装置３０では、図１３（ａ）に示すような周波数特性の高解像度画像を、図１３（ｂ）に示すような信号帯域がローパスフィルタにより半分とされた周波数特性の１／２の解像度の標準解像度画像に、ダウンデコードする。そのため、プロトタイプフィルタに求められる周波数特性は、標準解像度画像の１／４位相の画素値を得ることができるように、図１３（ｃ）に示すような４倍のオーバーサンプリングを行った周波数特性となる。
【０１２４】
まず、ステップＳ３１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図１４に示すように、ナイキスト周波数以下の周波数を等間隔に（５７−１）／２＝２８分割して、２９個のゲインリストを作成する。
【０１２５】
続いて、ステップＳ３２において、周波数サンプリング法により、５７個のインパルス応答を作成する。すなわち、２９個のゲインリストを逆離散フーリエ変換して、５７個のＦＩＲフィルタのインパルス応答を作成する。この５７個のインパルス応答を図１５に示す。
【０１２６】
続いて、ステップＳ３３において、このインパルス応答に窓関数をかけて、５７タップのフィルタ係数ｃ１〜ｃ５７を作成する。
【０１２７】
このステップＳ３３で作成されたフィルタがプロトタイプフィルタとなる。
【０１２８】
続いて、ステップＳ３４において、５７個のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り出し、ポリフェーズフィルタを作成する。
【０１２９】
ここで、ポリフェーズフィルタとは、図１６に示すように、入力信号をＮ倍にオーバーサンプリングし、オーバーサンプリングして得られた信号からＮ画素間隔で画素を抜き出すポリフェーズ分解を行い、入力信号と１／Ｎ位相のずれをもった信号を出力するフィルタである。例えば、入力信号に対して１／４位相ずれた信号を得るためには、図１７に示すように、入力信号を４倍にオーバサンプリングして、この信号から１／４位相ずれた信号を取り出せばよい。
【０１３０】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ５７から作成された１４個のフィルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（５）で示すような係数となる。
【０１３１】
【数１２】

【０１３２】
このようにポリフェーズフィルタを作成した後、トップフィールド用の４×８位相補正ＩＤＣＴ行列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１３３】
まず、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３５において、フィルタ係数が１／４位相補正特性となるように、ポリフェーズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が１／４、９／４、１７／４、２５／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。このように作成された４×８位相補正フィルタを、図１８に示す。
【０１３４】
例えば、上記式（５）の１４個のフィルタ係数ｃ′１〜ｃ′１４から、以下の式（６）で示すような係数が取り出される。
【０１３５】
【数１３】

【０１３６】
式（６）の係数から４×８位相補正フィルタ行列を求めると、以下の式（７）で示すような行列となる。
【０１３７】
【数１４】

【０１３８】
この式（７）で示した４×８位相補正フィルタ行列を正規化すると、以下の式（８）に示すような行列となる。
【０１３９】
【数１５】

【０１４０】
そして、ステップＳ３６において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１４１】
８×８のＩＤＣＴ行列と上記式（８）で示す４×８の位相補正フィルタとを掛け合わせた４×８位相補正ＩＤＣＴ行列は、以下の式（９）に示すような行列となる。
【０１４２】
【数１６】

【０１４３】
一方、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４を、左右反転させる。
【０１４４】
続いて、ステップＳ３８において、左右反転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が３／４、１１／４、１９／４、２７／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。
【０１４５】
そして、ステップＳ３９において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１４６】
このようにステップＳ３１〜ステップＳ３９の各処理を行うことによって、フィールドモード用位相補正縮小逆離散コサイン変換装置３１が演算を行う４×８位相補正ＩＤＣＴ行列を作成することができる。
【０１４７】
以上のように、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、この４×８位相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックの係数とを行列演算することにより、トップフィールドとボトムフィールドとの間の位相ずれがない、標準解像度の画像を復号することができる。すなわち、このフィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成することができる。
【０１４８】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理内容について、さらに詳細に説明する。
【０１４９】
なお、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以下に説明する１ブロック処理及び２ブロック処理のいずれか或いは両者の処理を行うことができる。必要に応じて、１ブロック処理又は２ブロック処理を切り換えて用いても良いし、或いは、いずれか一方の処理のみを行っても良い。
【０１５０】
まず、１ブロック処理について説明する。図１９に、１ブロック処理の内容を説明するための図を示す。
【０１５１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図１９に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１５２】
まず、ステップＳ４１において、この１つのＤＣＴブロックの離散コサイン係数ｙに対して、８×８の逆離散コサイン変換を行う。続いて、ステップＳ４２において、この８×８の画素データをフィールド分離する。続いて、ステップＳ４３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換をする。続いて、ステップＳ４４において、各画素ブロックの離散コサイン係数ｚの高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。以上のステップＳ４１からステップＳ４４までの処理は、図３に示す１ブロック処理におけるステップＳ１からステップＳ４までの処理と同一である。
【０１５３】
続いて、ステップＳ４５において、トップフィールドに対応する画素ブロックに対しては、１／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドに対応する画素ブロックに対しては、３／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、２×２の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４となる標準解像度画像（下位レイヤー）を生成する。なお、この２×４位相補正ＩＤＣＴ行列の設計方法については詳細を後述する。
【０１５４】
続いて、ステップＳ４６において、トップフィールドに対応する画素ブロックの画素データとボトムフィールドの画像ブロックの画素データとをフレーム合成する。このステップＳ４６の処理は、図３に示す１ブロック処理におけるステップＳ６の処理と同一である。
【０１５５】
以上のステップＳ４１〜ステップＳ４６の処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１５６】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ４１からステップＳ４６までの処理を１つの行列を用いて演算してもよい。
【０１５７】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置３２のステップＳ４５で演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を図２０に示し、この２×８位相補正ＩＤＣＴ行列について説明する。
【０１５８】
まず、ステップＳ５１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図２１に示すように、ナイキスト周波数以下の周波数を等間隔に（２５−１）／２＝１２分割して、１３個のゲインリストを作成する。
【０１５９】
続いて、ステップＳ５２において、周波数サンプリング法により、２５個のインパルス応答を作成する。すなわち、１３個のゲインリストを逆離散フーリエ変換して、２５個のＦＩＲフィルタのインパルス応答を作成する。この２５個のインパルス応答を図２２に示す。
【０１６０】
続いて、ステップＳ５３において、このインパルス応答に窓関数をかけて、２５タップのフィルタ係数ｃ１〜ｃ２５を作成する。
【０１６１】
このステップＳ５３で作成されたフィルタがプロトタイプフィルタとなる。
【０１６２】
続いて、ステップＳ５４において、２５個のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出し、ポリフェーズフィルタを作成する。
【０１６３】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ２５から作成された１４個のフィルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（１０）で示すような係数となる。
【０１６４】
【数１７】

【０１６５】
このようにポリフェーズフィルタを作成した後、トップフィールド用の２×４位相補正ＩＤＣＴ行列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１６６】
まず、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５５において、ポリフェーズ分解された６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。このように作成された２×４位相補正フィルタを、図２３に示す。
【０１６７】
例えば、上記式（１０）の６個のフィルタ係数ｃ′１〜ｃ′６から、以下の式（１１）で示すような係数が取り出される。
【０１６８】
【数１８】

【０１６９】
式（１１）の係数から２×４位相補正フィルタ行列を求めると、以下の式（１２）で示すような行列となる。
【０１７０】
【数１９】

【０１７１】
この式（１２）で示した２×４位相補正フィルタ行列を正規化すると、以下の式（１３）に示すような行列となる。
【０１７２】
【数２０】

【０１７３】
そして、ステップＳ５６において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１７４】
２×４のＩＤＣＴ行列と上記式（１３）で示す２×４の位相補正フィルタとを掛け合わせた２×４位相補正ＩＤＣＴ行列は、以下の式（１４）に示すような行列となる。
【０１７５】
【数２１】

【０１７６】
一方、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された６個のフィルタ係数ｃ′１〜ｃ′６を、左右反転させる。
【０１７７】
続いて、ステップＳ５８において、左右反転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が３／４、１１／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。
【０１７８】
そして、ステップＳ５９において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１７９】
以上のようにステップＳ５１〜ステップＳ５９の各処理を行うことによって、フレームモード用位相補正縮小逆離散コサイン変換装置３２が上記ステップＳ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成することができる。
【０１８０】
つぎに、２ブロック処理について説明する。図２４に、２ブロック処理の内容を説明するための図を示す。
【０１８１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図２４に示すように、高解像度画像を圧縮符号化したビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成される場合には、垂直方向に隣接した２つのＤＣＴブロックが入力される。例えば、マクロブロックが上述した図５に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【０１８２】
まず、ステップＳ６１において、２つのＤＣＴブロックの離散コサイン係数ｙに対して、それぞれ独立に８×８の逆離散コサイン変換を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘを得ることができる。続いて、ステップＳ６２において、２つの８×８の画素データをフィールド分離する。続いて、ステップＳ６３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換をする。続いて、ステップＳ６４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【０１８３】
以上のステップＳ６１からステップＳ６４までの処理は、図４に示す２ブロック処理におけるステップＳ１１からステップＳ１４までの処理と同一である。
【０１８４】
続いて、ステップＳ６５において、トップフィールドの画素ブロックに対しては、１／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドの画素ブロックに対しては、３／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、４×４の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃，ｘ′₅，ｘ′₇として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄，ｘ′₆，ｘ′₈として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。なお、この４×８位相補正ＩＤＣＴ行列の設計方法は、上述したフィールドモード用位相補正縮小逆離散コサイン変換装置３１で演算される行列と同一である。
【０１８５】
続いて、ステップＳ６６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【０１８６】
以上のステップＳ６１〜ステップＳ６６の２ブロック処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１８７】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ６１からステップＳ６６までの処理を１つの行列を用いて演算してもよい。
【０１８８】
以上のように本発明の第２の実施の形態の画像復号装置３０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置３０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置３０では、フレームメモリ１７に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０１８９】
（第３の実施の形態）
つぎに、本発明の第３の実施の形態の画像復号装置について説明する。
【０１９０】
図２５に示すように、本発明の第３の実施の形態の画像復号装置４０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０１９１】
この画像復号装置４０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置４１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置４２と、フレームメモリ１７に記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【０１９２】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図３８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０１９３】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０１９４】
フィールドモード用動き補償装置４１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置４１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置４１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１９５】
フレームモード用動き補償装置４２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置４２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置４２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１９６】
本発明の第３の実施の形態の画像復号装置４０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【０１９７】
つぎに、フィールドモード用動き補償装置４１及びフレームモード用動き補償装置４２について、さらに詳細に説明する。
【０１９８】
まず、フィールドモード用動き補償装置４１が行う補間処理について説明する。このフィールドモード用動き補償装置４１では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０１９９】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置４１は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置４１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２００】
垂直方向の画素に対しては、まず、図２６（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２０１】
続いて、垂直方向の画素に対しては、図２６（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２６（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２０２】
続いて、垂直方向の画素に対しては、図２６（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図２６（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１０／４の位置にあるボトムフィールドの画素は、９／４，１１／４の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０２０３】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置４１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２０４】
つぎに、フレームモード用動き補償装置４２が行う補間処理について説明する。このフレームモード用動き補償装置４２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２０５】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置４２は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置４２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置４２では、高速な処理を行うことができる。また、このフレームモード用動き補償装置４２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２０６】
垂直方向の画素に対しては、まず、図２７（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２０７】
続いて、垂直方向の画素に対しては、図２７（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２７（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２０８】
続いて、垂直方向の画素に対しては、図２７（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図２７（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０２０９】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置４２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置４２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２１０】
以上のように本発明の第３の実施の形態の画像復号装置４０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置４０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置４０では、動き補償に起因する画質の劣化を防止する。また、この画像復号装置４０では、動き補償の際に、２倍補間フィルタを用いてフレームメモリ１７に記憶した画像の補間をすることで、タップ数に応じた積和演算を行うことなく、高速に処理ができる。
【０２１１】
なお、この画像復号装置４０では、入力されたビットストリーム中の動きベクトルの値に応じて、必要な画素のみを生成しても良い。また、水平方向と垂直方向の動きベクトルの値に応じたフィルタ係数を予め用意しておき、垂直方向と水平方向の補間を１度に行っても良い。
【０２１２】
ところで、この第３の実施の形態の画像復号装置４０のフレームモード用動き補償装置４２は、以下に説明するように垂直方向の画素に対して、トップフィールドとボトムフィールドとを区別せずに補間処理を行っても良い。
【０２１３】
まず、図２８（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。なお、この図２８には、トップフィールドとボトムフィールドとを区別せずに画素値を記載している。
【０２１４】
続いて、垂直方向の画素に対して、不等間隔のサンプリング点から補間値を生成するフィルタを用いて、トップフィールドとボトムフィールドとの間で補間を行い、図２８（ｃ）に示すような１／４画素精度の画素を生成する。この不等間隔のサンプリング点から補間値を生成するフィルタは、例えば、Ｎ次元曲線近似方式等を用いて設計することが可能である。Ｎ次元曲線近似等を用いて設計されたフィルタを用いることにより、フレームメモリ１７から取り出された画素をそのまま出力する場合には、演算を行う必要がなく、処理を高速化することができる。
【０２１５】
また、垂直方向の画素に対しては、図２８（ｂ）に示すようにトップフィールドとボトムフィールドとの間で画素の補間を行って１／２画素精度の画素を生成し、図２８（ｃ）に示すように、線形補間フィルタを用いてトップフィールドとボトムフィールドの２つのフィールド間で１／４画素精度の画素を生成してもよい。この場合、２段階のフィルタ処理に相当する係数を予め用意しておき、その係数をフレームメモリ１７から取り出した画素値に直接演算することにより、動き補償の処理を高速化することができる。
【０２１６】
フレームモード用動き補償装置４２は、図２７で示したフィールド内で２倍補間を行う補間処理と、図２８で示したフィールドを区別せずに行う補間処理とを、所定の条件で切り換えて、画像の内容等に応じた最適な補間処理を行っても良い。
【０２１７】
（第４の実施の形態）
つぎに、本発明の第４の実施の形態の画像復号装置について説明する。
【０２１８】
図２９に示すように、本発明の第４の実施の形態の画像復号装置５０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０２１９】
この画像復号装置５０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置５１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置５２と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【０２２０】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドとの間の垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０２２１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、１ブロック処理或いは２ブロック処理により、トップフィールドとボトムフィールドとの間の垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、１ブロック処理或いは２ブロック処理で縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０２２２】
フィールドモード用動き補償装置５１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置５１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置５１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０２２３】
フレームモード用動き補償装置５２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置５２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置５２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０２２４】
本発明の第４の実施の形態の画像復号装置５０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０２２５】
つぎに、フィールドモード用動き補償装置５１及びフレームモード用動き補償装置５２について、さらに詳細に説明する。
【０２２６】
まず、フレームモード用動き補償装置５２が行う補間処理について説明する。このフレームモード用動き補償装置５２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２２７】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置５１は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置５１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２２８】
垂直方向の画素に対しては、まず、図３０（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが補正された標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２２９】
続いて、垂直方向の画素に対しては、図３０（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素が生成され、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素が生成される。例えば、この図３０（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が９／２の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２３０】
続いて、垂直方向の画素に対しては、図３０（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図３０（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１１／４の位置にあるボトムフィールドの画素は、１０／４，３の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０２３１】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置５１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２３２】
つぎに、フレームモード用動き補償装置５２が行う補間処理について説明する。このフレームモード用動き補償装置５２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２３３】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置５２は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置５２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置５２では、高速な処理を行うことができる。また、このフレームモード用動き補償装置５２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２３４】
垂直方向の画素に対しては、まず、図３１（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが無い標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２３５】
続いて、垂直方向の画素に対しては、図３１（ｂ）に示すように、一方のフィールドに対しては、ハーフバンドフィルタのような２倍補間フィルタを用いて、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。また、他方のフィールドに対しては、フィルタを用いて、フレームメモリ１７から取り出した整数精度の画素から、１／４及び３／４位相ずれた画素を生成する。例えば、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／４、３／４画素分の位相がずれた画素を生成する。具体的には、この図３１（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４及び５の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から１／４又は３／４位相がずれた補間がされて生成される。
【０２３６】
続いて、垂直方向の画素に対しては、図３１（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図３１（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０２３７】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置５２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置５２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２３８】
以上のように本発明の第３の実施の形態の画像復号装置５０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相ずれを補正した標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い位相ずれを補正した標準解像度画像を復号する。この画像復号装置５０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置５０では、動き補償に起因する画質の劣化を防止する。また、この画像復号装置５０では、動き補償の際に、２倍補間フィルタを用いてフレームメモリ１７に記憶した画像の補間をすることで、タップ数に応じた積和演算を行うことなく、高速に処理ができる。
【０２３９】
なお、この画像復号装置５０では、入力されたビットストリーム中の動きベクトルの値に応じて、必要な画素のみを生成しても良い。また、水平方向と垂直方向の動きベクトルの値に応じたフィルタ係数を予め用意しておき、垂直方向と水平方向の補間を１度に行っても良い。
【０２４０】
ところで、この第４の実施の形態の画像復号装置５０のフレームモード用動き補償装置５２は、以下に説明するように垂直方向の画素に対して、トップフィールドとボトムフィールドとを区別せずに補間処理を行っても良い。
【０２４１】
まず、図３２（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが無い標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。なお、この図３２には、トップフィールドとボトムフィールドとを区別せずに画素値を記載している。
【０２４２】
続いて、垂直方向の画素に対して、ハーフバンドフィルタ等の２倍補間フィルタ等を用いて、トップフィールドとボトムフィールドとの間で補間を行い、図３２（ｂ）に示すような１／２画素精度の画素を生成する。このハーフバンドフィルタ等を用いることにより、フレームメモリ１７から取り出された画素をそのまま出力する場合には、演算を行う必要がなく、処理を高速化することができる。
【０２４３】
続いて、２倍補間をした画素を、フィールド間で線形補間フィルタを用いて補間を行い、図３２（ｃ）に示すような１／４画素精度の画素を生成する。
【０２４４】
フレームモード用動き補償装置５２は、このような２段階のフィルタ処理に相当する係数を予め用意しておき、その係数をフレームメモリ１７から取り出した画素値に直接演算することにより、動き補償の処理を高速化することができる。
【０２４５】
また、フレームモード用動き補償装置５２は、１／４補間フィルタを用いて、図３２（ａ）に示す整数精度の画素から、図３２（ｃ）に示す１／４画素精度の画素を直接生成してもよい。
【０２４６】
また、 フレームモード用動き補償装置５２は、図３１で示したフィールド内で２倍補間を行う補間処理と、図３２で示したフィールドを区別せずに行う補間処理とを、所定の条件で切り換えて、画像の内容等に応じた最適な補間処理を行っても良い。
【０２４７】
（第５の実施の形態）
つぎに、本発明の第５の実施の形態の画像復号装置について説明する。
【０２４８】
図３３に示すように、本発明の第５の実施の形態の画像復号装置６０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０２４９】
この画像復号装置６０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置６１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置６２と、フィールドモード用動き補償装置６１のフィルタリングのタップ数を決定するフィールドモード用フィルタ決定装置６３と、フレームモード用動き補償装置６２のフィルタリングのタップ数を決定するフレームモード用フィルタ決定装置６４と、フレームメモリ１７に記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【０２５０】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図３８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０２５１】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０２５２】
フィールドモード用動き補償装置６１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置６１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置６１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。このフィールドモード用動き補償装置６１は、所定のタップ数のフィルタリングをして補間処理を行うが、このフィルタリングのタップ数は、フィールドモード用フィルタ決定装置６３により決定される。
【０２５３】
フレームモード用動き補償装置６２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置６２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置６２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。このフレームモード用動き補償装置６２は、所定のタップ数のフィルタリングをして補間処理を行うが、このフィルタリングのタップ数は、フレームモード用フィルタ決定装置６４により決定される。
【０２５４】
フィールドモード用フィルタ決定装置６３は、入力された高解像度画像のビットストリームの中のマクロブロックに関する情報に基づき、上記フィールドモード用動き補償装置６１がフィルタリングをする際のタップ数を決定する。
【０２５５】
ここで、高解像度画像を標準解像度の画像に縮小する場合、出力する標準解像度画像の画質と、フィルタリングを行う際のタップ数とは、トレードオフの関係が成り立つ。すなわち、フィルタリングのタップ数を増やすことにより出力する標準解像度画像の画質は向上するが、フィルタリングのタップ数を増やすことにより演算量が増加する。つまり、演算能力の低いフィールドモード用動き補償装置６１を用いている場合には、フィルタリングのタップ数を増やして画質を向上させると、リアルタイムに動作しなくなる可能性が生じる。反対に、フィルタリングのタップ数を減らしてリアルタイム性を確保している場合には、画質が劣化する。
【０２５６】
このフィールドモード用フィルタ決定装置６３では、マクロブロックに関する情報に基づき、フィールドモード用動き補償装置６１のタップ数を切り換え、出力する標準解像度画像の画質を向上させるとともにリアルタイム性も確保している。
【０２５７】
フレームモード用フィルタ決定装置６４は、入力された高解像度画像のビットストリームの中のマクロブロックに関する情報に基づき、上記フレームモード用動き補償装置６２がフィルタリングをする際のタップ数を決定する。
【０２５８】
このフレームモード用フィルタ決定装置６４では、マクロブロックに関する情報に基づき、フィールドモード用フィルタ決定装置６３のタップ数を切り換え、出力する標準解像度画像の画質を向上させるとともにリアルタイム性も確保している。
【０２５９】
本発明の第５の実施の形態の画像復号装置６０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【０２６０】
つぎに、フィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４により行われるフィルタのタップ数の決定処理について説明する。フィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４は、例えば、例えば、ビットストリーム解析装置１１により解析された入力されたビットストリーム中の情報を基に、フィルタのタップ数を決定する。
【０２６１】
フィルタのタップ数の決定のための情報は、例えば、次の６通りの情報及びこれらの組み合わせとなる。
【０２６２】
第１に、処理されるデータが輝度信号であるか、色差信号であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２６３】
画質の主観的な評価は、輝度信号により大きく影響する。また、デジタルテレビジョン放送で用いられる４２０フォーマットにおいては、輝度信号は色差信号の４倍の情報を持つ。さらに、ＭＰＥＧ２では、符号化時に、輝度信号を用いて検出された動きベクトルが色差信号にも用いられる。このため、輝度信号のための動き補償には多くのタップ数を用いたフィルタリングを施し、色差信号のための動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、見た目の画質を落とすことなく演算量を減らすことが可能である。
【０２６４】
第２に、処理されるデータが、Ｐピクチャに属するものであるか、Ｂピクチャに属するものであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２６５】
上記画像復号装置６０のようなＭＰＥＧ等のビットストリームのＤＣＴ係数の低域のみを復号する装置においては、動き補償に起因する誤差の蓄積による画質の劣化が生じる。Ｐピクチャにおける誤差は、次のＰピクチャ及びＢピクチャに影響を及ぼす。しかしながら、Ｂピクチャにおける誤差は、伝搬しない。このため、Ｐピクチャに属する画素の動き補償には多くのタップ数を用いたフィルタリングを施し、Ｂピクチャに属する画素の動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２６６】
第３に、処理されるデータの動き補償モードが、前方向予測モード／後方向予測モードであるか、双方向予測モードであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２６７】
第２の場合と同様の理由により、前方向予測モード若しくは後方向予測モードの場合の動き補償には多くのタップ数を用いたフィルタリングを施し、双方向予測モードの場合の動き補償には線形補間、若しくは、それに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２６８】
第４に、処理されるデータを含むマクロブロックの動きベクトルの値がどのような値であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２６９】
例えば、動き補償装置が、動きベクトルの値により１／２画素精度の位相に相当する画素値を出力する場合に比べて、１／４画素精度の位相に相当する画素値を出力する場合の方が、少ないタップ数で補間を行っても画質劣化が目立ちにくい。そのため、動きベクトルの値に応じてフィルタのタップ数を切り換えることで、画質を落とすことなく演算量を減らすことが可能である。
【０２７０】
第５に、水平方向の補間処理であるか、垂直方向の補間処理であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２７１】
特に飛び越し走査画像の場合、フィルタのタップ数の減少による画質の劣化は、水平方向よりも垂直方向により顕著である。そのため、垂直方向に対する動き補償には多くのタップ数を用いたフィルタリングを施し、水平方向に対する動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２７２】
第６に、処理されるデータが、フィールド動き補償モードであるか、フレーム動き補償モードであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２７３】
一般的な画像符号化装置においては。フィールド間の差分の大きいマクロブロックに対してはフィールド動き補償モードで処理が施され、小さいマクロブロックに対してはフレーム動き補償モードで処理が施される。そのため、フィールド動き補償モードに多くのタップ数を割り当て、フレーム動き補償モードに少ないタップ数を割り当てることで画質を落とすことなく演算量を減らすことが可能である。
【０２７４】
以上のように本発明の第５の実施の形態の画像復号装置６０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置６０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置６０では、マクロブロックに関する情報に基づき、フィールドモード用フィルタ決定装置６３のタップ数を切り換えることにより、動き補償に起因する画質の劣化を防止するとともに、動き補償の演算量を削減することができる。
【０２７５】
なお、この本発明の第５の実施の形態の画像復号装置６０のフィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４を、上述した第３、第４の実施の形態の画像復号装置４０，５０に適用しても良い。
【０２７６】
以上本発明の第１〜第５の実施の形態の画像復号装置について説明したが、本発明で処理されるデータは、ＭＰＥＧ２方式の画像データに限られない。すなわち、所定の画素ブロック単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データであればどのようなデータであってもよい。例えば、ウェーブレット方式等を用いた圧縮画像データであってもよい。
【０２７７】
【発明の効果】
本発明では、フレーム直交変換モードにより直交変換がされた直交変換ブロックの全周波数成分の係数に対して逆直交変換をして飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、本発明では、第１の解像度より低い第２の解像度の動画像データを出力する。
【０２７８】
このことにより、本発明では、復号に必要な演算量及び記憶容量を少なくすることができるとともに、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことができる。また、第２の解像度の動画像データの画質を向上させることができる。
【０２７９】
本発明では、フレーム直交変換モードにより直交変換がされた２つの直交変換ブロックの全周波数成分の係数に対して逆直交変換をして合成して、飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、本発明では、第１の解像度より低い第２の解像度の動画像データを出力する。
【０２８０】
このことにより、本発明では、復号に必要な演算量及び記憶容量を少なくすることができるとともに、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことができる。また、第２の解像度の動画像データの画質を向上させることができる。
【０２８１】
本発明では、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【０２８２】
このことにより、本発明では、フィールド動き予測モードとフレーム動き予測モードとによる動き補償の際の画素の位相ずれをなくし、動き補償に起因する画質の劣化を防止することができる。
【０２８３】
本発明では、フィルタのタップ数を切り換えて、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【０２８４】
このことにより、本発明では、画質を劣化させずに動き補償の際の演算量を少なくすることができ、処理の高速化を図ることができる。
【０２８５】
本発明では、フレーム直交変換モードにより直交変換がされた参照画像データのマクロブロックの各画素に対して、トップフィールドとボトムフィールドとの間で補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【０２８６】
このことにより、本発明では、動き補償に起因する画質の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブロック図である。
【図２】上記第１の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図４】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図５】４２０フォーマットのマクロブロック内の輝度成分及び色差成分のＤＣＴブロックについて説明をする図である。
【図６】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図７】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理に適用した場合の演算フローを示す図である。
【図８】本発明の第２の実施の形態の画像復号装置のブロック図である。
【図９】上記第２の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１０】上記第２の実施の形態の画像復号装置のフィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図１１】１つの行列により処理を行う場合の上記フィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図１２】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図１３】上記４×８位相補正ＩＤＣＴ行列の設計に必要となるプロトタイプフィルタの周波数特性を説明するための図である。
【図１４】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図１５】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図１６】ポリフェイズフィルタを説明するための図である。
【図１７】入力信号に対して１／４位相ずれた信号を出力するポリフェイズフィルタを説明するための図である。
【図１８】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列を説明するための図である。
【図１９】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図２０】フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２１】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図２２】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図２３】上記フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列を説明するための図である。
【図２４】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図２５】本発明の第３の実施の形態の画像復号装置のブロック図である。
【図２６】上記第３の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図２７】上記第３の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図２８】上記第３の実施の形態の画像復号装置のフレームモード用動き補償装置における他の補間処理を説明するための図である。
【図２９】本発明の第４の実施の形態の画像復号装置のブロック図である。
【図３０】上記第４の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図３１】上記第４の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図３２】上記第４の実施の形態の画像復号装置のフレームモード用動き補償装置における他の補間処理を説明するための図である。
【図３３】本発明の第５の実施の形態の画像復号装置のブロック図である。
【図３４】従来の第１のダウンデコーダを示すブロック図である。
【図３５】従来の第２のダウンデコーダを示すブロック図である。
【図３６】従来の第３のダウンデコーダを示すブロック図である。
【図３７】従来の画像復号装置のブロック図である。
【図３８】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図３９】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４０】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図４１】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図４２】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図４３】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【符号の説明】
１０，３０，４０，５０，６０ 画像復号装置、１４ フィールドモード用縮小逆離散コサイン変換装置、１５ フレームモード用縮小逆離散コサイン変換装置、１６ 加算装置、１７ フレームメモリ、１８，４１，６１ フィールドモード用動き補償装置、１９，４２，６２ フレームモード用動き補償装置、２０画枠変換・位相ずれ補正装置、３１ フィールドモード用位相補正縮小逆離散コサイン変換装置、３２ フレームモード用位相補正縮小逆離散コサイン変換装置、３３ 画枠変換装置

Claims (7)

1. 所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号装置において、
   飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をする第１の逆直交変換手段と、
   順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、
   上記第１の逆直交変換手段又は上記第２の逆直交変換手段により逆直交変換がされた圧縮画像データと動き補償がされた参照画像データとを加算して、第２の解像度の動画像データを出力する加算手段と、
   上記加算手段から出力される動画像データを参照画像データとして記憶する記憶手段と、
   上記記憶手段が記憶している参照画像データのマクロブロックに対して動き補償をする動き補償手段とを備え、
   上記第１の逆直交変換手段は、上記直交変換ブロックの各係数のうち、水平方向については、低周波成分の係数に対して逆直交変換をするとともに、この直交変換ブロックの各係数のうち、垂直方向については、全周波成分又はその低周波成分の係数に対して逆直交変換をし、
   上記第２の逆直交変換手段は、上記直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする画像復号装置。
2. 上記加算手段から出力された動画像データに対してポストフィルタリングを施し、動画像を構成する画面の画枠を変換するとともにトップフィールドとボトムフィールドとの間の位相ずれを補正する画枠変換位相補正手段を備えることを特徴とする請求項１に記載の画像復号装置。
3. 上記動き補償手段は、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第２の動き補償手段とからなり、
   上記第１の動き補償手段は、上記記憶手段が記憶している参照画像データのマクロブロックの水平方向の各画素に対して４倍補間をするとともに、上記記憶手段が記憶している参照画像データのマクロブロックの垂直方向の各画素に対して４倍補間をすることにより、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成し、この生成したマクロブロックに対して動き補償をすることを特徴とする請求項１に記載の画像復号装置。
4. 上記動き補償手段は、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第２の動き補償手段とからなり、
   上記第２の動き補償手段は、上記記憶手段が記憶している参照画像データのマクロブロックの水平方向の各画素に対して４倍補間をするとともに、上記記憶手段が記憶している参照画像データのマクロブロックの垂直方向の各画素に対して、１つのフィールド内で２倍補間し、この１つのフィールド内で２倍補間した各画素に対してトップフィールドとボトムフィールドとの間で線形補間をすることにより、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成し、この生成したマクロブロックに対して動き補償をすることを特徴とする請求項１に記載の画像復号装置。
5. 上記動き補償手段は、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像データのマクロブロックに対して動き補償をする第２の動き補償手段とからなり、
   上記第２の動き補償手段は、上記記憶手段が記憶している参照画像データのマクロブロックの水平方向の各画素に対して４倍補間をするとともに、上記記憶手段が記憶している参照画像データのマクロブロックの垂直方向の各画素に対して４倍補間をすることにより、上記記憶手段が記憶している参照画像データに対して１／４画素精度の画素から構成されるマクロブロックを生成し、この生成したマクロブロックに対して動き補償をすることを特徴とする請求項１に記載の画像復号装置。
6. 上記第１の動き補償手段及び第２の動き補償手段は、ハーフバンドフィルタを用いて上記記憶手段が記憶している参照画像データのマクロブロックの各画素に対して２倍補間をすることを特徴とする請求項４に記載の画像復号装置。
7. 所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号方法において、
   飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をし、
   順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた上記圧縮画像データの直交変換ブロックに対して、逆直交変換をし、
   逆直交変換がされた圧縮画像データと動き補償がされた参照画像データとを加算し、
   加算して得られた動画像データを参照画像データとして記憶し、
   記憶している参照画像データのマクロブロックに対して動き補償をし、
   フィールド直交変換モードにより直交変換がされた上記直交変換ブロックの各係数のうち、水平方向については、低周波成分の係数に対して逆直交変換をするとともに、この直交変換ブロックの各係数のうち、垂直方向については、全周波成分又は低周波成分の係数に対して逆直交変換をし、
   フレーム直交変換モードにより直交変換がされた上記直交変換ブロックの全周波数成分の係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して直交変換ブロックを生成することを特徴とする画像復号方法。

Images