JP4016166B2 - 画像復号装置及び画像復号方法 - Google Patents
画像復号装置及び画像復号方法 Download PDFInfo
- Publication number
- JP4016166B2 JP4016166B2 JP34211498A JP34211498A JP4016166B2 JP 4016166 B2 JP4016166 B2 JP 4016166B2 JP 34211498 A JP34211498 A JP 34211498A JP 34211498 A JP34211498 A JP 34211498A JP 4016166 B2 JP4016166 B2 JP 4016166B2
- Authority
- JP
- Japan
- Prior art keywords
- discrete cosine
- cosine transform
- coefficients
- image
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データを、復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の圧縮画像データを復号して、この第１の解像度よりも低い第２の解像度の動画像データに縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group phase2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の圧縮画像データを復号するとともにこの圧縮画像データを１／２の解像度に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示するダウンデコーダが求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングするダウンデコーダが、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている（以下、この文献を文献１と呼ぶ。）。この文献１には、以下の第１から第３のダウンデコーダが示されている。
【０００４】
第１のダウンデコーダは、図３８に示すように、高解像度画像のビットストリームに対して８（水平方向のＤＣ成分から数えた係数の数）×８（垂直方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１００１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１００２と、参照画像を一時記憶するフレームメモリ１００３と、フレームメモリ１００３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１００４と、フレームメモリ１００３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１００５とを備えている。
【０００５】
この第１のダウンデコーダでは、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００６】
第２のダウンデコーダは、図３９に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１０１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０１２と、参照画像を一時記憶するフレームメモリ１０１３と、フレームメモリ１０１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０１４と、フレームメモリ１０１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０１５とを備えている。
【０００７】
この第２のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００８】
第３のダウンデコーダは、図４０に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１０２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０２２と、参照画像を一時記憶するフレームメモリ１０２３と、フレームメモリ１０２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０２４とを備えている。
【０００９】
この第３のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、上記第１のダウンデコーダでは、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１００１と高容量のフレームメモリ１００３とが必要となる。また、上記第２のダウンデコーダでは、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１０１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１０１３が必要となる。これら第１及び第２のダウンデコーダに対し、第３のダウンデコーダでは、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１０２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１０２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
ＭＰＥＧ２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。また、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
【発明が解決しようとする課題】
ところで、上記文献１に示された第３のダウンデコーダを利用して、飛び越し走査方式に対応した圧縮画像データを復号する画像復号装置が、例えば文献「A Compensation Method of Drift Errors in Scalability」（N.OBIKANE,K.TAHARA and J.YONEMITSU,HDTV Work Shop'93）に提案されている（以下、この文献を文献２と呼ぶ）。
【００１６】
この文献２に示された従来の画像復号装置は、図４１に示すように、高解像度画像をＭＰＥＧ２で圧縮したビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１０３１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長符号復号装置１０３２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１０３３と、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像を復号する縮小逆離散コサイン変換装置１０３４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０３５と、参照画像を一時記憶するフレームメモリ１０３６と、フレームメモリ１０３６が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０３７とを備えている。
【００１７】
この文献２に示された従来の画像復号装置の縮小逆離散コサイン変換装置１０３４は、ＤＣＴブロック内の全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換をするが、フレームＤＣＴモードとフィールドＤＣＴモードとで、逆離散コサイン変換を行う係数の位置が異なっている。
【００１８】
具体的には、縮小逆離散コサイン変換装置１０３４は、フィールドＤＣＴモードの場合には、図４２に示すように、ＤＣＴブロック内の８×８個のうち、低域の４×４個の係数のみに逆離散コサイン変換を行う。それに対し、縮小逆離散コサイン変換装置１０３４は、フレームＤＣＴモードの場合には、図４３に示すように、ＤＣＴブロック内の８×８個の係数のうち、４×２個＋４×２個の係数のみに逆離散コサイン変換を行う。
【００１９】
また、この文献２に示された従来の画像復号装置の動き補償装置１０３７は、高解像度画像に対して行われた動き予測の情報（動きベクトル）に基づき、フィールド動き予測モード及びフレーム動き予測モードのそれぞれに対応した１／４画素精度の動き補償を行う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動き補償が行われることが定められているが、高解像度画像から標準解像度画像を復号する場合には、ピクチャ内の画素数が１／２に間引かれるため、動き補償装置１０３７では動き補償の画素精度を１／４画素精度として動き補償を行っている。
【００２０】
従って、動き補償装置１０３７では、高解像度画像に対応した動き補償を行うため、標準解像度の画像としてフレームメモリ１０３６に格納された参照画像の画素に対して線形補間して、１／４画素精度の画素を生成している。
【００２１】
具体的に、フィールド動き予測モード及びフレーム動き予測モードの場合の垂直方向の画素の線形補間処理を、図４４及び図４５を用いて説明する。なお、図面中には、縦方向に垂直方向の画素の位相を示し、表示画像の各画素が位置する位相を整数で示している。
【００２２】
まず、フィールド動き予測モードで動き予測がされた画像の補間処理について、図４４を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４４（ａ）に示すように、各フィールドそれぞれ独立に、１／２画素精度で動き補償がされる。これに対し、標準解像度画像（下位レイヤー）に対しては、図４４（ｂ）に示すように、整数精度の画素に基づきフィールド内で線形補間をして、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素を生成し、動き補償がされる。すなわち、標準解像度画像（下位レイヤー）では、トップフィールドの整数精度の各画素に基づきトップフィールドの１／４画素精度の各画素が線形補間により生成され、ボトムフィールドの整数精度の各画素に基づきボトムフィールドの１／４画素精度の各画素が線形補間により生成される。例えば、垂直方向の位相が０の位置にあるトップフィールドの画素の値をａ、垂直方向の位相が１の位置にあるトップフィールドの画素の値をｂとする。この場合、垂直方向の位相が１／４の位置にあるトップフィールドの画素は（３ａ＋ｂ）／４となり、垂直方向の位相が１／２の位置にあるトップフィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位相が３／４の位置にあるトップフィールドの画素は（ａ＋３ｂ）／４となる。
【００２３】
続いて、フレーム動き予測モードで動き予測がされた画像の補間処理について、図４５を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４５（ａ）に示すように、各フィールド間で補間処理がされ、すなわち、ボトムフィールドとトップフィールドとの間で補間処理がされ、１／２画素精度で動き補償がされる。標準解像度画像（下位レイヤー）に対しては、図４５（ｂ）に示すように、トップフィールド及びボトムフィールドの２つのフィールドの整数精度の各画素に基づき、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素が線形補間により生成され、動き補償がされる。例えば、垂直方向の位相が−１の位置にあるボトムフィールドの画素の値をａ、垂直方向の位相が０の位置にあるトップフィールドの画素の値をｂ、垂直方向の位相が１の位置にあるボトムフィールドの画素の値をｃ、垂直方向の位相が２の位置にあるトップフィールドの画素の値をｄ、垂直方向の位相が３の位置にあるボトムフィールドの画素の値をｅとする。この場合、垂直方向の位相が０〜２の間にある１／４画素精度の各画素は、以下のように求められる。
【００２４】
垂直方向の位相が１／４の位置にある画素は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）／４となる。垂直方向の位相が７／４の位置にある画素は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】
以上のように上記文献２に示された従来の画像復号装置は、飛び越し走査方式に対応した高解像度画像の圧縮画像データを、標準解像度画像データに復号することができる。
【００２６】
しかしながら、上記文献２に示された従来の画像復号装置では、フィールドＤＣＴモードで得られる標準解像度画像の各画素と、フレームＤＣＴモードで得られる標準解像度の各画素との位相がずれる。具体的には、フィールドＤＣＴモードでは、図４６に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。それに対して、フレームＤＣＴモードでは、図４７に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が０、２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。そのため、位相が異なる画像がフレームメモリ１０３６に混在し、出力する画像の画質が劣化する。
【００２７】
また、上記文献２に示された従来の画像復号装置では、フィールド動き予測モードとフレーム動き予測モードとで位相ずれの補正がされていない。そのため、出力する画像の画質が劣化する。
【００２８】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくし、処理量を削減した高解像度画像の圧縮画像データから標準解像度の画像データを復号する画像復号装置及び画像復号方法を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号装置において、上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを、可変長復号する可変長復号手段と、可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をする逆直交変換手段とを備え、上記可変長復号手段による逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、上記可変長復号手段は、上記逆直交変換手段により逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換手段で逆直交変換をする係数を０とすることを特徴とする。
【００３３】
また、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号方法において、上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを可変長復号し、可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、上記可変長復号における逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、上記逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換をする係数を０とすることを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した画像復号装置について、図面を参照しながら説明する。
【００３６】
（第１の実施の形態）
まず、本発明の第１の実施の形態の画像復号装置について説明する。
【００３７】
図１に示すように、本発明の第１の実施の形態の画像復号装置１０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００３８】
なお、以下、本発明の実施の形態の説明をするにあたり、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。また、通常、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００３９】
この画像復号装置１０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【００４０】
可変長符号復号装置１２は、入力されたＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。ＤＣＴブロック内のスキャン方式には、例えばジグザグスキャン、オルタネートスキャンがある。このスキャン方式は、前段のビットストリーム解析装置１１により解析される。
【００４１】
なお、この可変長符号復号装置１２の処理については、その詳細を後述する。
【００４２】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図４２で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００４３】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００４４】
なお、このフレームモード用縮小逆離散コサイン変換装置１５の処理については、その詳細を後述する。
【００４５】
加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ１７に格納する。また、加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置１８或いはフレームモード用動き補償装置１９により動き補償がされた参照画像を合成して、フレームメモリ１７に格納する。
【００４６】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００４７】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００４８】
画枠変換・位相ずれ補正装置２０は、フレームメモリ１７が記憶した標準解像度の参照画像或いは加算装置１６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００４９】
本発明の第１の実施の形態の画像復号装置１０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００５０】
フレームモード用縮小逆離散コサイン変換装置１５には、図３に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【００５１】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【００５２】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ1と、３ライン目の画素データｘ3と、５ライン目の画素データｘ5と、７ライン目の画素データｘ7とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ2と、４ライン目の画素データｘ4と、６ライン目の画素データｘ6と、８ライン目の画素データｘ8とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【００５３】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【００５４】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ2，ｚ4，ｚ6，ｚ8として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【００５５】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。
【００５６】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【００５７】
以上のステップＳ１〜ステップＳ６で示した処理を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図２で示したような、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【００５８】
このような画像復号装置１０では、フィールドモード用縮小逆離散コサイン変換装置１４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置１５の上記ステップＳ１〜ステップＳ６による処理による縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００５９】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００６０】
フィールドモード用縮小逆離散コサイン変換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（１）に示すように分解される。
【００６１】
【数１】
【００６２】
また、図４にフィールドモード用縮小逆離散コサイン変換装置１４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第５の乗算器１４ａ〜１４ｅ及び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速化を実現することができる。
【００６３】
フレームモード用縮小逆離散コサイン変換装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（２）に示すように分解される。
【００６４】
【数２】
【００６５】
但し、この式（２）において、Ａ〜Ｊは、以下の通りである。
【００６６】
【数３】
【００６７】
また、図５にフレームモード用縮小逆離散コサイン変換装置１５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第１０の乗算器１５ａ〜１５ｊ及び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高速化を実現することができる。
【００６８】
以上のように本発明の第１の実施の形態の画像復号装置１０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置１０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００６９】
つぎに、上記可変長符号復号装置１２の処理内容について、さらに詳細に説明する。
【００７０】
ＭＰＥＧ２では、ＤＣＴブロック内の２次元配列された離散コサイン係数をビットストリームに格納するために、このＤＣＴブロックをスキャンして１次元情報に変換し、そして、可変長符号化処理がされる。例えば、ＭＥＰＥ２では、図６に示すように８×８のＤＣＴ係数をスキャンするジグザグスキャン、及び、図７に示すように８×８のＤＣＴ係数をスキャンするオルタネートスキャンが規定されている。可変長符号復号装置１２は、このようなＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。
【００７１】
ところで、画像復号装置１０におけるフィールドモード用縮小離散コサイン変換装置１４では、逆離散コサイン変換をするにあたり、上述したように８×８のＤＣＴ係数のうち、低域の４×４の係数のみしか用いていない。すなわち、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、４×４個のＤＣＴ係数しか用いていない。また、画像復号装置１０におけるフレームモード用縮小離散コサイン変換装置１５では、逆離散コサイン変換をするにあたり、上述したように８×８のＤＣＴ係数のうち、低域の４×８の係数のみしか用いていない。すなわち、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、４×８個のＤＣＴ係数しか用いていない。
【００７２】
そのため、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、４×４のＤＣＴ係数のみの逆スキャンを行って４×４の最高周波数成分の係数まで可変長復号し、それ以後の高周波係数については可変長復号しないようにしている。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、４×８のＤＣＴ係数のみの逆スキャンを行って４×８の最高周波数成分の係数まで可変長復号し、それ以後の高周波係数については可変長復号しないようにしている。
【００７３】
具体的に、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図８に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２５番目以降のＤＣＴ係数についてはＥＯＢ（End Of Block）信号が検出されるまで処理を行わない。（なお、図８には、ＤＣＴブロック内の各係数のスキャン番号を示している。図９〜図１５についても同様である。）また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図９に示すように、スキャン番号で０番目から２５番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２６番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図１０に示すように、スキャン番号で０番目から４９番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、５０番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図１１に示すように、スキャン番号で０番目から３３番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、３４番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。
【００７４】
可変長符号復号装置１２では、以上のように後段の処理で用いられない冗長な高周波係数の処理を削除することにより、画質の劣化なく処理量を削減することができる。
【００７５】
また、可変長符号復号装置１２では、画像復号装置１０の処理能力に応じて、以下のようにさらに処理量の削減をすることができる。
【００７６】
例えば、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図８で示した逆スキャン処理に代えて、図１２に示すように、スキャン番号で０番目から１３番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、１４番目以降のＤＣＴ係数についてはＥＯＢ（End Of Block）信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×４係数内に含まれるＤＣＴ係数（この場合、１７番目、１８番目、２４番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００７７】
このように処理することにより、図８で示した逆スキャン処理でのスキャン数（２５個）に対して、図１２で示した逆スキャン処理でのスキャン数（１４個）は、非常に少なくなっている。それにも拘わらず、４×４のＤＣＴ係数のうち逆スキャンをしなかったＤＣＴ係数（１７番目、１８番目、２４番目）の数は３個である。すなわち、４×４のＤＣＴ係数のうち逆スキャンをしなかったＤＣＴ係数の数に対してその処理量が大幅に処理が減少する。従って、可変長符号復号装置１２では、画質の劣化を最小限に抑えながら、処理量を大幅に減少させることができる。
【００７８】
同様に、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、可変長符号復号装置１２では、図９で示した逆スキャン処理に代えて、図１３に示すように、スキャン番号で０番目から２０番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２１番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×４係数内に含まれるＤＣＴ係数（この場合、２１番目、２４番目、２５番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００７９】
また、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、可変長符号復号装置１２では、図１０で示した逆スキャン処理に代えて、図１４に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２５番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×８係数内に含まれるＤＣＴ係数（この場合、２１番目、３２番目、３３番目、３４番目、３５番目、３６番目、３７番目、３８番目、４７番目、４８番目、４９番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００８０】
また、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図１１に示した逆スキャン処理に代えて、可変長符号復号装置１２では、図１５に示すように、スキャン番号で０番目から２５番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、３０番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×８係数内に含まれるＤＣＴ係数（この場合、３０番目、３１番目、３２番目、３３番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００８１】
なお、スキャン番号でどこまでのＤＣＴ係数を逆スキャンするかは、画像復号装置１０の処理能力と画質の劣化量とに応じて定めれば良く、上述の例に限られない。
【００８２】
また、可変長符号復号装置１２では、例えば当該ＤＣＴブロックがイントラ画像に属するものであるかインター画像に属するものか、或いは、イントラマクロブロックに属するものであるかインターマクロブロックに属するものであるかを検出し、その検出した情報に基づき、スキャン番号でどこまでのＤＣＴ係数を逆スキャンするかを可変して制御しても良い。これらのビットストリームの情報はビットストリーム解析装置１１により解析されて供給される。
【００８３】
例えば、可変長符号復号装置１２は、復号するＤＣＴブロックがイントラ画像或いはイントラマクロブロックに属するものである場合には、そのＤＣＴブロックの高周波成分まで復号できるように、図８に示すように４×４係数内に含まれるＤＣＴ係数を全て可変長復号する。そして、可変長符号復号装置１２は、復号するＤＣＴブロックがインター画像或いはインターマクロブロックに属するものである場合には、そのＤＣＴブロックの全ての周波数成分を復号せずに、図１２に示すように４×４係数内に含まれるＤＣＴ係数のうち一部の高周波成分を除き可変長復号する。
【００８４】
このように画像復号装置１０では、可変長符号復号装置１２がスキャン番号でどこまでのＤＣＴ係数を逆スキャンするかを可変することにより、画質の劣化を最小限に抑えながら処理量を減少させることができる。
【００８５】
なお、処理量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがＩピクチャに属するものかＰピクチャに属するものか或いはＢピクチャに属するものかという情報に基づいて切り換えても良い。
【００８６】
つぎに、上記フレームモード用縮小逆離散コサイン変換装置１５の処理についてさらに説明する。
【００８７】
フィールドモード用縮小逆離散コサイン変換装置１４では４×４係数の縮小逆離散コサイン変換を行うのに対して、フレームモード用縮小逆離散コサイン変換装置１５では４×８係数の縮小逆離散コサイン変換を行う。そのため、画像復号装置１０では、入力されたビットストリームにフレームＤＣＴモードのＤＣＴブロックを多く含んでいると演算量が増大する。このことから、この画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５を、その処理能力に応じて以下のように処理させて演算量を削減してもよい。
【００８８】
フレームモード用縮小逆離散コサイン変換装置１５では、例えば、図１６に示すように、４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数（例えば図１６中白丸で示した位置の係数）を０に置き換えた後、図３に示したステップＳ１からステップＳ６までの処理を行う。処理する係数の一部を０と置き換えることにより演算量が削減できる。なお、係数の一部を０と置き換えても置き換えなくても処理工程は同じであるので、出力画素の位相は変わらず位相の違いに基づく誤差要因とはならない。
【００８９】
また、フレームモード用縮小逆離散コサイン変換装置１５では、図１６に示したような係数の置き換えではなく、例えば、図１７に示すように垂直方向の中間周波数成分の４×２係数（例えば図１７中白丸で示した位置の係数）を０と置き換えても良いし、図１８に示すように垂直方向の中間周波数成分の４×４係数（例えば図１８中白丸で示した位置の係数）を０と置き換えても良い。これは、入力された上位レイヤーの画像が飛び越し走査画像である場合、離散コサイン係数の高周波成分にフィールド間の差分情報が含まれていることがあるからである。例えば、被写体を横方向にパンニングした場合など、フィールド間の差分情報が高周波成分に含まれる。そのため、飛び越し走査画像である場合には、図１６に示したように垂直方向の高周波成分の４×２係数を０に置き換えるよりも、この図１７及び図１８に示したように垂直方向の中間周波数成分の係数を０と置き換えた方が、画質の劣化が少なくなる。
【００９０】
また、フレームモード用縮小逆離散コサイン変換装置１５では、ビットストリーム解析装置１１により、例えば処理するＤＣＴブロックがＩピクチャ又はＰピクチャに属するものであるか、或いは、Ｂピクチャに属するものであるかを検出し、その検出した情報に基づき、４×８の全ての係数を縮小逆離散コサイン変換をするか或いは一部の係数を０と置き換えて縮小逆離散コサイン変換をするかを切り換えても良い。
【００９１】
例えば、フレームモード用縮小逆離散コサイン変換装置１５では、Ｉピクチャ及びＰピクチャは画質の劣化が他の画像に伝搬することから、Ｉピクチャ及びＰピクチャに対しては４×８係数内の全ての係数を縮小逆離散コサイン変換を行い、Ｂピクチャは画質の劣化が他の画像に伝搬しないことから、Ｂピクチャに対しては一部の係数を０と置き換えて縮小離散コサイン変換をするようにして演算量を削減する。また、演算量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがイントラマクロブロックに属するものか或いはインターマクロブロックに属するものかという情報に基づいて切り換えても良い。
【００９２】
このように画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５が逆離散コサイン変換をする一部の係数を０と置き換えることにより、画質の劣化を最小限に抑え、演算量を削減することができる。
【００９３】
また、この画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５が高速アルゴリズムを用いて処理を行った場合、その回路規模を簡素化することができる。例えば、図１８に示したような垂直方向の中間周波数成分の４×４の係数を０と置き換えた場合には、図５に示した処理フローが、図１９に示すような第１から第６の乗算器１５′ａ〜１５′ｆ及び第１から第９の加算器１５′ｇ〜１５′ｏからなる処理フローに簡素化することができる。この図１９に示す処理フローは、図４で示したフィールドモード用縮小逆離散コサイン変換装置１４の高速アルゴリズムの処理フローと相似性が高いので共通の回路を用いることができ、さらに回路規模を削減することができる。
【００９４】
また、この画像復号装置１０では、上記可変長符号復号装置１２で行われる処理量の削減動作と上記フレームモード用縮小逆離散コサイン変換装置１５の演算量の削減動作とを組み合わせて用いることにより、効率的に全体の処理量を削減することができる。例えば、可変長符号復号装置１２は、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて各ＤＣＴ係数を逆スキャンを行い、また、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて逆スキャンする係数の数を可変することにより、効率的に処理を行うことができる。
【００９５】
例えば、可変長符号復号装置１２は、フレームモード用縮小逆離散コサイン変換装置１５が図１６に示したような垂直方向の高周波成分の２×２係数を０と置いた縮小逆離散コサイン変換をする場合には、図２０に示すように、スキャン番号で０番目から３８番目までのＤＣＴ係数については逆スキャンをし可変長復号をして、３９番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わないようにする。また、例えば、可変長符号復号装置１２は、図２１に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号し、２５番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わないようにしてもよい。なお、図２０及び図２１にはジグザグスキャンの場合を示したが、オルタネートスキャンに適用しても良い。
【００９６】
（第２の実施の形態）
つぎに、本発明の第２の実施の形態の画像復号装置について説明する。なお、この第２の実施の形態の画像復号装置の説明にあたり、上記第１の画像復号装置１０と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。
【００９７】
図２２に示すように、本発明の第２の実施の形態の画像復号装置３０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００９８】
この画像復号装置３０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【００９９】
可変長符号復号装置１２は、入力されたＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。ＤＣＴブロック内のスキャン方式には、例えばジグザグスキャン、オルタネートスキャンがある。このスキャン方式は、前段のビットストリーム解析装置１１により解析される。
【０１００】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１０１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、詳細を後述する処理により、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、縮小逆離散コサイン変換を行うことにより、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１０２】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０３】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０４】
画枠変換装置３３は、フレームメモリ１７が記憶した標準解像度の参照画像が供給され、この参照画像をポストフィルタリングにより、画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換装置３３は、高解像度のテレビジョン規格の画枠を、１／４に縮小した標準解像度のテレビジョン規格の画枠に変換する。なお、この画枠変換装置３３は、フレームメモリ１７に格納されている画像がトップフィールドとボトムフィールドとの間に位相ずれが生じていないので、上述した第１の実施の形態の画枠変換・位相ずれ補正装置２０と異なり、画素の位相ずれの補正は行わなくて良い。
【０１０５】
本発明の第２の実施の形態の画像復号装置３０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０１０６】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１の処理内容について、さらに詳細に説明する。
【０１０７】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１には、図２４に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１０８】
まず、ステップＳ２１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【０１０９】
続いて、ステップＳ２２において、この８×８の画素データを、４×８の位相補正フィルタ行列によりＤＣＴブロック内で閉じた変換を行い、位相補正した画素データｘ′（全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′2，ｘ′3，ｘ′4として図中に示す。）を得る。
【０１１０】
以上のステップＳ２１〜ステップＳ２２の処理を行うことにより、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、トップフィールドとボトムフィールドとの間で、画素の位相ずれがない画像を生成することができる。
【０１１１】
また、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図２５に示すように、以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行列）を用いて演算してもよい。
【０１１２】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を図２６に示し、この４×８位相補正ＩＤＣＴ行列について説明する。この４×８位相補正ＩＤＣＴ行列は、プロトタイプフィルタをポリフェーズ分解して作成される。
【０１１３】
ここで、画像復号装置３０では、図２７（ａ）に示すような周波数特性の高解像度画像を、図２７（ｂ）に示すような信号帯域がローパスフィルタにより半分とされた周波数特性の１／２の解像度の標準解像度画像に、ダウンデコードする。そのため、プロトタイプフィルタに求められる周波数特性は、標準解像度画像の１／４位相の画素値を得ることができるように、図２７（ｃ）に示すような４倍のオーバーサンプリングを行った周波数特性となる。
【０１１４】
まず、ステップＳ３１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図２８に示すように、ナイキスト周波数以下の周波数を等間隔に（５７−１）／２＝２８分割して、２９個のゲインリストを作成する。
【０１１５】
続いて、ステップＳ３２において、周波数サンプリング法により、５７個のインパルス応答を作成する。すなわち、２９個のゲインリストを逆離散フーリエ変換して、５７個のＦＩＲフィルタのインパルス応答を作成する。この５７個のインパルス応答を図２９に示す。
【０１１６】
続いて、ステップＳ３３において、このインパルス応答に窓関数をかけて、５７タップのフィルタ係数ｃ１〜ｃ５７を作成する。
【０１１７】
このステップＳ３３で作成されたフィルタがプロトタイプフィルタとなる。
【０１１８】
続いて、ステップＳ３４において、５７個のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り出し、ポリフェーズフィルタを作成する。
【０１１９】
ここで、ポリフェーズフィルタとは、図３０に示すように、入力信号をＮ倍にオーバーサンプリングし、オーバーサンプリングして得られた信号からＮ画素間隔で画素を抜き出すポリフェーズ分解を行い、入力信号と１／Ｎ位相のずれをもった信号を出力するフィルタである。例えば、入力信号に対して１／４位相ずれた信号を得るためには、図３１に示すように、入力信号を４倍にオーバサンプリングして、この信号から１／４位相ずれた信号を取り出せばよい。
【０１２０】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ５７から作成された１４個のフィルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（３）で示すような係数となる。
【０１２１】
【数４】
【０１２２】
このようにポリフェーズフィルタを作成した後、トップフィールド用の４×８位相補正ＩＤＣＴ行列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１２３】
まず、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３５において、フィルタ係数が１／４位相補正特性となるように、ポリフェーズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が１／４、９／４、１７／４、２５／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。このように作成された４×８位相補正フィルタを、図３２に示す。
【０１２４】
例えば、上記式（３）の１４個のフィルタ係数ｃ′１〜ｃ′１４から、以下の式（４）で示すような係数が取り出される。
【０１２５】
【数５】
【０１２６】
式（４）の係数から４×８位相補正フィルタ行列を求めると、以下の式（５）で示すような行列となる。
【０１２７】
【数６】
【０１２８】
この式（５）で示した４×８位相補正フィルタ行列を正規化すると、以下の式（６）に示すような行列となる。
【０１２９】
【数７】
【０１３０】
そして、ステップＳ３６において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１３１】
８×８のＩＤＣＴ行列と上記式（６）で示す４×８の位相補正フィルタとを掛け合わせた４×８位相補正ＩＤＣＴ行列は、以下の式（７）に示すような行列となる。
【０１３２】
【数８】
【０１３３】
一方、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４を、左右反転させる。
【０１３４】
続いて、ステップＳ３８において、左右反転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が３／４、１１／４、１９／４、２７／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。
【０１３５】
そして、ステップＳ３９において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１３６】
このようにステップＳ３１〜ステップＳ３９の各処理を行うことによって、フィールドモード用位相補正縮小逆離散コサイン変換装置３１が演算を行う４×８位相補正ＩＤＣＴ行列を作成することができる。
【０１３７】
以上のように、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、この４×８位相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックの係数とを行列演算することにより、トップフィールドとボトムフィールドとの間の位相ずれがない、標準解像度の画像を復号することができる。すなわち、このフィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成することができる。
【０１３８】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理内容について、さらに詳細に説明する。
【０１３９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図３３に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１４０】
まず、ステップＳ４１において、この１つのＤＣＴブロックの離散コサイン係数ｙに対して、８×８の逆離散コサイン変換を行う。続いて、ステップＳ４２において、この８×８の画素データをフィールド分離する。続いて、ステップＳ４３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換をする。続いて、ステップＳ４４において、各画素ブロックの離散コサイン係数ｚの高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。以上のステップＳ４１からステップＳ４４までの処理は、図３に示す処理におけるステップＳ１からステップＳ４までの処理と同一である。
【０１４１】
続いて、ステップＳ４５において、トップフィールドに対応する画素ブロックに対しては、１／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドに対応する画素ブロックに対しては、３／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、２×２の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４となる標準解像度画像（下位レイヤー）を生成する。なお、この２×４位相補正ＩＤＣＴ行列の設計方法については詳細を後述する。
【０１４２】
続いて、ステップＳ４６において、トップフィールドに対応する画素ブロックの画素データとボトムフィールドの画像ブロックの画素データとをフレーム合成する。このステップＳ４６の処理は、図３に示す処理におけるステップＳ６の処理と同一である。
【０１４３】
以上のステップＳ４１〜ステップＳ４６の処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１４４】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ４１からステップＳ４６までの処理を１つの行列を用いて演算してもよい。
【０１４５】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置３２のステップＳ４５で演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を図３４に示し、この２×８位相補正ＩＤＣＴ行列について説明する。
【０１４６】
まず、ステップＳ５１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図３５に示すように、ナイキスト周波数以下の周波数を等間隔に（２５−１）／２＝１２分割して、１３個のゲインリストを作成する。
【０１４７】
続いて、ステップＳ５２において、周波数サンプリング法により、２５個のインパルス応答を作成する。すなわち、１３個のゲインリストを逆離散フーリエ変換して、２５個のＦＩＲフィルタのインパルス応答を作成する。この２５個のインパルス応答を図３６に示す。
【０１４８】
続いて、ステップＳ５３において、このインパルス応答に窓関数をかけて、２５タップのフィルタ係数ｃ１〜ｃ２５を作成する。
【０１４９】
このステップＳ５３で作成されたフィルタがプロトタイプフィルタとなる。
【０１５０】
続いて、ステップＳ５４において、２５個のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出し、ポリフェーズフィルタを作成する。
【０１５１】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ２５から作成された１４個のフィルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（８）で示すような係数となる。
【０１５２】
【数９】
【０１５３】
このようにポリフェーズフィルタを作成した後、トップフィールド用の２×４位相補正ＩＤＣＴ行列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１５４】
まず、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５５において、ポリフェーズ分解された６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。このように作成された２×４位相補正フィルタを、図３７に示す。
【０１５５】
例えば、上記式（８）の６個のフィルタ係数ｃ′１〜ｃ′６から、以下の式（９）で示すような係数が取り出される。
【０１５６】
【数１０】
【０１５７】
式（９）の係数から２×４位相補正フィルタ行列を求めると、以下の式（１０）で示すような行列となる。
【０１５８】
【数１１】
【０１５９】
この式（１０）で示した２×４位相補正フィルタ行列を正規化すると、以下の式（１１）に示すような行列となる。
【０１６０】
【数１２】
【０１６１】
そして、ステップＳ５６において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６２】
２×４のＩＤＣＴ行列と上記式（１１）で示す２×４の位相補正フィルタとを掛け合わせた２×４位相補正ＩＤＣＴ行列は、以下の式（１２）に示すような行列となる。
【０１６３】
【数１３】
【０１６４】
一方、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された６個のフィルタ係数ｃ′１〜ｃ′６を、左右反転させる。
【０１６５】
続いて、ステップＳ５８において、左右反転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が３／４、１１／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。
【０１６６】
そして、ステップＳ５９において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６７】
以上のようにステップＳ５１〜ステップＳ５９の各処理を行うことによって、フレームモード用位相補正縮小逆離散コサイン変換装置３２が上記ステップＳ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成することができる。
【０１６８】
以上のように本発明の第２の実施の形態の画像復号装置３０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置３０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置３０では、フレームメモリ１７に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０１６９】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理についてさらに説明する。
【０１７０】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１では４×４係数の縮小逆離散コサイン変換を行うのに対して、３２では４×８係数の縮小逆離散コサイン変換を行う。そのため、画像復号装置３０では、入力されたビットストリームにフレームＤＣＴモードのＤＣＴブロックを多く含んでいると処理量が増大する。このことから、この画像復号装置３０では、フレームモード用位相補正縮小逆離散コサイン変換装置３２を、上述した第１の実施の形態の画像復号装置１０のフレームモード用縮小逆離散コサイン変換装置１５と同様に、その処理能力に応じて、その処理量を削減してもよい。
【０１７１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２では、例えば、図１６に示すように、４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数を０に置き換えた後、図３３に示したステップＳ４１からステップＳ４６までの処理を行う。処理する係数の一部を０と置き換えることにより処理量が削減できる。なお、係数の一部を０と置き換えても置き換えなくても処理工程は同じであるので、出力画素の位相は変わらず位相の違いに基づく誤差要因とはならない。
【０１７２】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、図１６に示したような係数の置き換えではなく、例えば、図１７に示すように垂直方向の中間周波数成分の４×２係数を０と置き換えても良いし、図１８に示すように垂直方向の中間周波数成分の４×４係数を０と置き換えても良い。
【０１７３】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、ビットストリーム解析装置１１により、例えば処理するＤＣＴブロックがＩピクチャ又はＰピクチャに属するものであるか、或いは、Ｂピクチャに属するものであるかを検出し、その検出した情報に基づき、４×８の全ての係数を縮小逆離散コサイン変換をするか或いは一部の係数を０と置き換えて縮小逆離散コサイン変換をするかを切り換えても良い。
【０１７４】
例えば、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、Ｉピクチャ及びＰピクチャは画質の劣化が他の画像に伝搬することから、Ｉピクチャ及びＰピクチャに対しては４×８係数内の全ての係数を縮小逆離散コサイン変換を行い、Ｂピクチャは画質の劣化が他の画像に伝搬しないことから、Ｂピクチャに対しては一部の係数を０と置き換えて縮小離散コサイン変換をするようにして処理量を削減する。また、処理量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがイントラマクロブロックに属するものか或いはインターマクロブロックに属するものかという情報に基づいて切り換えても良い。
【０１７５】
このように画像復号装置３０では、フレームモード用位相補正縮小逆離散コサイン変換装置３２が逆離散コサイン変換をする一部の係数を０と置き換えることにより、画質の劣化を最小限に抑え、処理量を削減することができる。
【０１７６】
また、この画像復号装置３０では、上記第１の実施の形態と同様に、上記可変長符号復号装置１２で行われる処理量の削減動作と上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理量の削減動作とを組み合わせて用いることにより、効率的に全体の処理量を削減することができる。例えば、可変長符号復号装置１２は、フレームモード用位相補正縮小逆離散コサイン変換装置３２が０と置く係数に併せて各ＤＣＴ係数を逆スキャンを行い、また、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて逆スキャンする係数の数を可変することにより、効率的に処理を行うことができる。
【０１７７】
以上本発明の第１〜第２の実施の形態の画像復号装置について説明したが、本発明で処理されるデータは、ＭＰＥＧ２方式の画像データに限られない。すなわち、所定の画素ブロック単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データであればどのようなデータであってもよい。例えば、ウェーブレット方式等を用いた圧縮画像データであってもよい。
【０１７８】
【発明の効果】
本発明にかかる画像復号装置及び画像復号方法では、可変長復号における逆スキャン処理でのスキャン数は第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号しない。このことにより、本発明では、縮小逆離散コサイン変換の際に復号しない冗長な情報の可変長復号を行わず、画質の劣化を最小限に抑えながら、演算能力に応じた処理量の削減をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブロック図である。
【図２】上記第１の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の処理の内容を説明するための図である。
【図４】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図５】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図６】ジグザグスキャンを説明するための図である。
【図７】オルタネートスキャンを説明するための図である。
【図８】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図９】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１０】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１１】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１２】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１３】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１４】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１５】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１６】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数を０に置き換えた例を示す図である。
【図１７】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の中域周波数成分の４×２係数を０に置き換えた例を示す図である。
【図１８】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の中域周波数成分の４×４係数を０に置き換えた例を示す図である。
【図１９】上記図１６で示した係数により逆縮小離散コサイン変換を行う場合において、Ｗａｎｇのアルゴリズムをフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図２０】上記フレームモード用縮小逆離散コサイン変換装置に対応させて処理する際の、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図２１】フレームモード用縮小逆離散コサイン変換装置に対応させて処理する際の、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図２２】本発明の第２の実施の形態の画像復号装置のブロック図である。
【図２３】上記第２の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図２４】上記第２の実施の形態の画像復号装置のフィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図２５】１つの行列により処理を行う場合の上記フィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図２６】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２７】上記４×８位相補正ＩＤＣＴ行列の設計に必要となるプロトタイプフィルタの周波数特性を説明するための図である。
【図２８】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図２９】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図３０】ポリフェイズフィルタを説明するための図である。
【図３１】入力信号に対して１／４位相ずれた信号を出力するポリフェイズフィルタを説明するための図である。
【図３２】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列を説明するための図である。
【図３３】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の処理の内容を説明するための図である。
【図３４】フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図３５】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図３６】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図３７】上記フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列を説明するための図である。
【図３８】従来の第１のダウンデコーダを示すブロック図である。
【図３９】従来の第２のダウンデコーダを示すブロック図である。
【図４０】従来の第３のダウンデコーダを示すブロック図である。
【図４１】従来の画像復号装置のブロック図である。
【図４２】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４３】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４４】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図４５】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図４６】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図４７】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【符号の説明】
１０，３０ 画像復号装置、１２ 可変長符号復号装置、１４ フィールドモード用縮小逆離散コサイン変換装置、１５ フレームモード用縮小逆離散コサイン変換装置、１６ 加算装置、１７ フレームメモリ、１８ フィールドモード用動き補償装置、１９ フレームモード用動き補償装置、２０ 画枠変換・位相ずれ補正装置、３１ フィールドモード用位相補正縮小逆離散コサイン変換装置、３２ フレームモード用位相補正縮小逆離散コサイン変換装置、３３ 画枠変換装置
【発明の属する技術分野】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データを、復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の圧縮画像データを復号して、この第１の解像度よりも低い第２の解像度の動画像データに縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group phase2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の圧縮画像データを復号するとともにこの圧縮画像データを１／２の解像度に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示するダウンデコーダが求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングするダウンデコーダが、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている（以下、この文献を文献１と呼ぶ。）。この文献１には、以下の第１から第３のダウンデコーダが示されている。
【０００４】
第１のダウンデコーダは、図３８に示すように、高解像度画像のビットストリームに対して８（水平方向のＤＣ成分から数えた係数の数）×８（垂直方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１００１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１００２と、参照画像を一時記憶するフレームメモリ１００３と、フレームメモリ１００３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１００４と、フレームメモリ１００３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１００５とを備えている。
【０００５】
この第１のダウンデコーダでは、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００６】
第２のダウンデコーダは、図３９に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１０１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０１２と、参照画像を一時記憶するフレームメモリ１０１３と、フレームメモリ１０１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０１４と、フレームメモリ１０１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０１５とを備えている。
【０００７】
この第２のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１００５で縮小して標準解像度の画像データを出力する。
【０００８】
第３のダウンデコーダは、図４０に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１０２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０２２と、参照画像を一時記憶するフレームメモリ１０２３と、フレームメモリ１０２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０２４とを備えている。
【０００９】
この第３のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、上記第１のダウンデコーダでは、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１００１と高容量のフレームメモリ１００３とが必要となる。また、上記第２のダウンデコーダでは、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１０１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１０１３が必要となる。これら第１及び第２のダウンデコーダに対し、第３のダウンデコーダでは、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１０２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１０２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
ＭＰＥＧ２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。また、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
【発明が解決しようとする課題】
ところで、上記文献１に示された第３のダウンデコーダを利用して、飛び越し走査方式に対応した圧縮画像データを復号する画像復号装置が、例えば文献「A Compensation Method of Drift Errors in Scalability」（N.OBIKANE,K.TAHARA and J.YONEMITSU,HDTV Work Shop'93）に提案されている（以下、この文献を文献２と呼ぶ）。
【００１６】
この文献２に示された従来の画像復号装置は、図４１に示すように、高解像度画像をＭＰＥＧ２で圧縮したビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１０３１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長符号復号装置１０３２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１０３３と、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像を復号する縮小逆離散コサイン変換装置１０３４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１０３５と、参照画像を一時記憶するフレームメモリ１０３６と、フレームメモリ１０３６が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１０３７とを備えている。
【００１７】
この文献２に示された従来の画像復号装置の縮小逆離散コサイン変換装置１０３４は、ＤＣＴブロック内の全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換をするが、フレームＤＣＴモードとフィールドＤＣＴモードとで、逆離散コサイン変換を行う係数の位置が異なっている。
【００１８】
具体的には、縮小逆離散コサイン変換装置１０３４は、フィールドＤＣＴモードの場合には、図４２に示すように、ＤＣＴブロック内の８×８個のうち、低域の４×４個の係数のみに逆離散コサイン変換を行う。それに対し、縮小逆離散コサイン変換装置１０３４は、フレームＤＣＴモードの場合には、図４３に示すように、ＤＣＴブロック内の８×８個の係数のうち、４×２個＋４×２個の係数のみに逆離散コサイン変換を行う。
【００１９】
また、この文献２に示された従来の画像復号装置の動き補償装置１０３７は、高解像度画像に対して行われた動き予測の情報（動きベクトル）に基づき、フィールド動き予測モード及びフレーム動き予測モードのそれぞれに対応した１／４画素精度の動き補償を行う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動き補償が行われることが定められているが、高解像度画像から標準解像度画像を復号する場合には、ピクチャ内の画素数が１／２に間引かれるため、動き補償装置１０３７では動き補償の画素精度を１／４画素精度として動き補償を行っている。
【００２０】
従って、動き補償装置１０３７では、高解像度画像に対応した動き補償を行うため、標準解像度の画像としてフレームメモリ１０３６に格納された参照画像の画素に対して線形補間して、１／４画素精度の画素を生成している。
【００２１】
具体的に、フィールド動き予測モード及びフレーム動き予測モードの場合の垂直方向の画素の線形補間処理を、図４４及び図４５を用いて説明する。なお、図面中には、縦方向に垂直方向の画素の位相を示し、表示画像の各画素が位置する位相を整数で示している。
【００２２】
まず、フィールド動き予測モードで動き予測がされた画像の補間処理について、図４４を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４４（ａ）に示すように、各フィールドそれぞれ独立に、１／２画素精度で動き補償がされる。これに対し、標準解像度画像（下位レイヤー）に対しては、図４４（ｂ）に示すように、整数精度の画素に基づきフィールド内で線形補間をして、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素を生成し、動き補償がされる。すなわち、標準解像度画像（下位レイヤー）では、トップフィールドの整数精度の各画素に基づきトップフィールドの１／４画素精度の各画素が線形補間により生成され、ボトムフィールドの整数精度の各画素に基づきボトムフィールドの１／４画素精度の各画素が線形補間により生成される。例えば、垂直方向の位相が０の位置にあるトップフィールドの画素の値をａ、垂直方向の位相が１の位置にあるトップフィールドの画素の値をｂとする。この場合、垂直方向の位相が１／４の位置にあるトップフィールドの画素は（３ａ＋ｂ）／４となり、垂直方向の位相が１／２の位置にあるトップフィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位相が３／４の位置にあるトップフィールドの画素は（ａ＋３ｂ）／４となる。
【００２３】
続いて、フレーム動き予測モードで動き予測がされた画像の補間処理について、図４５を用いて説明する。高解像度画像（上位レイヤー）に対しては、図４５（ａ）に示すように、各フィールド間で補間処理がされ、すなわち、ボトムフィールドとトップフィールドとの間で補間処理がされ、１／２画素精度で動き補償がされる。標準解像度画像（下位レイヤー）に対しては、図４５（ｂ）に示すように、トップフィールド及びボトムフィールドの２つのフィールドの整数精度の各画素に基づき、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素が線形補間により生成され、動き補償がされる。例えば、垂直方向の位相が−１の位置にあるボトムフィールドの画素の値をａ、垂直方向の位相が０の位置にあるトップフィールドの画素の値をｂ、垂直方向の位相が１の位置にあるボトムフィールドの画素の値をｃ、垂直方向の位相が２の位置にあるトップフィールドの画素の値をｄ、垂直方向の位相が３の位置にあるボトムフィールドの画素の値をｅとする。この場合、垂直方向の位相が０〜２の間にある１／４画素精度の各画素は、以下のように求められる。
【００２４】
垂直方向の位相が１／４の位置にある画素は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）／４となる。垂直方向の位相が７／４の位置にある画素は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】
以上のように上記文献２に示された従来の画像復号装置は、飛び越し走査方式に対応した高解像度画像の圧縮画像データを、標準解像度画像データに復号することができる。
【００２６】
しかしながら、上記文献２に示された従来の画像復号装置では、フィールドＤＣＴモードで得られる標準解像度画像の各画素と、フレームＤＣＴモードで得られる標準解像度の各画素との位相がずれる。具体的には、フィールドＤＣＴモードでは、図４６に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。それに対して、フレームＤＣＴモードでは、図４７に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が０、２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。そのため、位相が異なる画像がフレームメモリ１０３６に混在し、出力する画像の画質が劣化する。
【００２７】
また、上記文献２に示された従来の画像復号装置では、フィールド動き予測モードとフレーム動き予測モードとで位相ずれの補正がされていない。そのため、出力する画像の画質が劣化する。
【００２８】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくし、処理量を削減した高解像度画像の圧縮画像データから標準解像度の画像データを復号する画像復号装置及び画像復号方法を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号装置において、上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを、可変長復号する可変長復号手段と、可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をする逆直交変換手段とを備え、上記可変長復号手段による逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、上記可変長復号手段は、上記逆直交変換手段により逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換手段で逆直交変換をする係数を０とすることを特徴とする。
【００３３】
また、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号方法において、上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを可変長復号し、可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、上記可変長復号における逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、上記逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換をする係数を０とすることを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した画像復号装置について、図面を参照しながら説明する。
【００３６】
（第１の実施の形態）
まず、本発明の第１の実施の形態の画像復号装置について説明する。
【００３７】
図１に示すように、本発明の第１の実施の形態の画像復号装置１０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００３８】
なお、以下、本発明の実施の形態の説明をするにあたり、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。また、通常、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００３９】
この画像復号装置１０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【００４０】
可変長符号復号装置１２は、入力されたＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。ＤＣＴブロック内のスキャン方式には、例えばジグザグスキャン、オルタネートスキャンがある。このスキャン方式は、前段のビットストリーム解析装置１１により解析される。
【００４１】
なお、この可変長符号復号装置１２の処理については、その詳細を後述する。
【００４２】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図４２で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００４３】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００４４】
なお、このフレームモード用縮小逆離散コサイン変換装置１５の処理については、その詳細を後述する。
【００４５】
加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ１７に格納する。また、加算装置１６は、フィールドモード用縮小逆離散コサイン変換装置１４又はフレームモード用縮小逆離散コサイン変換装置１５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置１８或いはフレームモード用動き補償装置１９により動き補償がされた参照画像を合成して、フレームメモリ１７に格納する。
【００４６】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００４７】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００４８】
画枠変換・位相ずれ補正装置２０は、フレームメモリ１７が記憶した標準解像度の参照画像或いは加算装置１６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００４９】
本発明の第１の実施の形態の画像復号装置１０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００５０】
フレームモード用縮小逆離散コサイン変換装置１５には、図３に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【００５１】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【００５２】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ1と、３ライン目の画素データｘ3と、５ライン目の画素データｘ5と、７ライン目の画素データｘ7とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ2と、４ライン目の画素データｘ4と、６ライン目の画素データｘ6と、８ライン目の画素データｘ8とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【００５３】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【００５４】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ2，ｚ4，ｚ6，ｚ8として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【００５５】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。
【００５６】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【００５７】
以上のステップＳ１〜ステップＳ６で示した処理を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図２で示したような、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【００５８】
このような画像復号装置１０では、フィールドモード用縮小逆離散コサイン変換装置１４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置１５の上記ステップＳ１〜ステップＳ６による処理による縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００５９】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００６０】
フィールドモード用縮小逆離散コサイン変換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（１）に示すように分解される。
【００６１】
【数１】
また、図４にフィールドモード用縮小逆離散コサイン変換装置１４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第５の乗算器１４ａ〜１４ｅ及び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速化を実現することができる。
【００６３】
フレームモード用縮小逆離散コサイン変換装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（２）に示すように分解される。
【００６４】
【数２】
但し、この式（２）において、Ａ〜Ｊは、以下の通りである。
【００６６】
【数３】
また、図５にフレームモード用縮小逆離散コサイン変換装置１５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第１０の乗算器１５ａ〜１５ｊ及び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高速化を実現することができる。
【００６８】
以上のように本発明の第１の実施の形態の画像復号装置１０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置１０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００６９】
つぎに、上記可変長符号復号装置１２の処理内容について、さらに詳細に説明する。
【００７０】
ＭＰＥＧ２では、ＤＣＴブロック内の２次元配列された離散コサイン係数をビットストリームに格納するために、このＤＣＴブロックをスキャンして１次元情報に変換し、そして、可変長符号化処理がされる。例えば、ＭＥＰＥ２では、図６に示すように８×８のＤＣＴ係数をスキャンするジグザグスキャン、及び、図７に示すように８×８のＤＣＴ係数をスキャンするオルタネートスキャンが規定されている。可変長符号復号装置１２は、このようなＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。
【００７１】
ところで、画像復号装置１０におけるフィールドモード用縮小離散コサイン変換装置１４では、逆離散コサイン変換をするにあたり、上述したように８×８のＤＣＴ係数のうち、低域の４×４の係数のみしか用いていない。すなわち、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、４×４個のＤＣＴ係数しか用いていない。また、画像復号装置１０におけるフレームモード用縮小離散コサイン変換装置１５では、逆離散コサイン変換をするにあたり、上述したように８×８のＤＣＴ係数のうち、低域の４×８の係数のみしか用いていない。すなわち、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、４×８個のＤＣＴ係数しか用いていない。
【００７２】
そのため、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、４×４のＤＣＴ係数のみの逆スキャンを行って４×４の最高周波数成分の係数まで可変長復号し、それ以後の高周波係数については可変長復号しないようにしている。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、４×８のＤＣＴ係数のみの逆スキャンを行って４×８の最高周波数成分の係数まで可変長復号し、それ以後の高周波係数については可変長復号しないようにしている。
【００７３】
具体的に、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図８に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２５番目以降のＤＣＴ係数についてはＥＯＢ（End Of Block）信号が検出されるまで処理を行わない。（なお、図８には、ＤＣＴブロック内の各係数のスキャン番号を示している。図９〜図１５についても同様である。）また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図９に示すように、スキャン番号で０番目から２５番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２６番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図１０に示すように、スキャン番号で０番目から４９番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、５０番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。また、可変長符号復号装置１２では、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図１１に示すように、スキャン番号で０番目から３３番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、３４番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。
【００７４】
可変長符号復号装置１２では、以上のように後段の処理で用いられない冗長な高周波係数の処理を削除することにより、画質の劣化なく処理量を削減することができる。
【００７５】
また、可変長符号復号装置１２では、画像復号装置１０の処理能力に応じて、以下のようにさらに処理量の削減をすることができる。
【００７６】
例えば、可変長符号復号装置１２では、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、図８で示した逆スキャン処理に代えて、図１２に示すように、スキャン番号で０番目から１３番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、１４番目以降のＤＣＴ係数についてはＥＯＢ（End Of Block）信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×４係数内に含まれるＤＣＴ係数（この場合、１７番目、１８番目、２４番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００７７】
このように処理することにより、図８で示した逆スキャン処理でのスキャン数（２５個）に対して、図１２で示した逆スキャン処理でのスキャン数（１４個）は、非常に少なくなっている。それにも拘わらず、４×４のＤＣＴ係数のうち逆スキャンをしなかったＤＣＴ係数（１７番目、１８番目、２４番目）の数は３個である。すなわち、４×４のＤＣＴ係数のうち逆スキャンをしなかったＤＣＴ係数の数に対してその処理量が大幅に処理が減少する。従って、可変長符号復号装置１２では、画質の劣化を最小限に抑えながら、処理量を大幅に減少させることができる。
【００７８】
同様に、入力されたＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、可変長符号復号装置１２では、図９で示した逆スキャン処理に代えて、図１３に示すように、スキャン番号で０番目から２０番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２１番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×４係数内に含まれるＤＣＴ係数（この場合、２１番目、２４番目、２５番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００７９】
また、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合には、可変長符号復号装置１２では、図１０で示した逆スキャン処理に代えて、図１４に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、２５番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×８係数内に含まれるＤＣＴ係数（この場合、２１番目、３２番目、３３番目、３４番目、３５番目、３６番目、３７番目、３８番目、４７番目、４８番目、４９番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００８０】
また、入力されたＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合には、図１１に示した逆スキャン処理に代えて、可変長符号復号装置１２では、図１５に示すように、スキャン番号で０番目から２５番目までのＤＣＴ係数については逆スキャンをして可変長復号をし、３０番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わない。このとき、逆スキャンを行わなかったＤＣＴ係数のうち可変長符号復号装置１２の出力となる４×８係数内に含まれるＤＣＴ係数（この場合、３０番目、３１番目、３２番目、３３番目のＤＣＴ係数）に関してはその値を０に置き換える。
【００８１】
なお、スキャン番号でどこまでのＤＣＴ係数を逆スキャンするかは、画像復号装置１０の処理能力と画質の劣化量とに応じて定めれば良く、上述の例に限られない。
【００８２】
また、可変長符号復号装置１２では、例えば当該ＤＣＴブロックがイントラ画像に属するものであるかインター画像に属するものか、或いは、イントラマクロブロックに属するものであるかインターマクロブロックに属するものであるかを検出し、その検出した情報に基づき、スキャン番号でどこまでのＤＣＴ係数を逆スキャンするかを可変して制御しても良い。これらのビットストリームの情報はビットストリーム解析装置１１により解析されて供給される。
【００８３】
例えば、可変長符号復号装置１２は、復号するＤＣＴブロックがイントラ画像或いはイントラマクロブロックに属するものである場合には、そのＤＣＴブロックの高周波成分まで復号できるように、図８に示すように４×４係数内に含まれるＤＣＴ係数を全て可変長復号する。そして、可変長符号復号装置１２は、復号するＤＣＴブロックがインター画像或いはインターマクロブロックに属するものである場合には、そのＤＣＴブロックの全ての周波数成分を復号せずに、図１２に示すように４×４係数内に含まれるＤＣＴ係数のうち一部の高周波成分を除き可変長復号する。
【００８４】
このように画像復号装置１０では、可変長符号復号装置１２がスキャン番号でどこまでのＤＣＴ係数を逆スキャンするかを可変することにより、画質の劣化を最小限に抑えながら処理量を減少させることができる。
【００８５】
なお、処理量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがＩピクチャに属するものかＰピクチャに属するものか或いはＢピクチャに属するものかという情報に基づいて切り換えても良い。
【００８６】
つぎに、上記フレームモード用縮小逆離散コサイン変換装置１５の処理についてさらに説明する。
【００８７】
フィールドモード用縮小逆離散コサイン変換装置１４では４×４係数の縮小逆離散コサイン変換を行うのに対して、フレームモード用縮小逆離散コサイン変換装置１５では４×８係数の縮小逆離散コサイン変換を行う。そのため、画像復号装置１０では、入力されたビットストリームにフレームＤＣＴモードのＤＣＴブロックを多く含んでいると演算量が増大する。このことから、この画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５を、その処理能力に応じて以下のように処理させて演算量を削減してもよい。
【００８８】
フレームモード用縮小逆離散コサイン変換装置１５では、例えば、図１６に示すように、４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数（例えば図１６中白丸で示した位置の係数）を０に置き換えた後、図３に示したステップＳ１からステップＳ６までの処理を行う。処理する係数の一部を０と置き換えることにより演算量が削減できる。なお、係数の一部を０と置き換えても置き換えなくても処理工程は同じであるので、出力画素の位相は変わらず位相の違いに基づく誤差要因とはならない。
【００８９】
また、フレームモード用縮小逆離散コサイン変換装置１５では、図１６に示したような係数の置き換えではなく、例えば、図１７に示すように垂直方向の中間周波数成分の４×２係数（例えば図１７中白丸で示した位置の係数）を０と置き換えても良いし、図１８に示すように垂直方向の中間周波数成分の４×４係数（例えば図１８中白丸で示した位置の係数）を０と置き換えても良い。これは、入力された上位レイヤーの画像が飛び越し走査画像である場合、離散コサイン係数の高周波成分にフィールド間の差分情報が含まれていることがあるからである。例えば、被写体を横方向にパンニングした場合など、フィールド間の差分情報が高周波成分に含まれる。そのため、飛び越し走査画像である場合には、図１６に示したように垂直方向の高周波成分の４×２係数を０に置き換えるよりも、この図１７及び図１８に示したように垂直方向の中間周波数成分の係数を０と置き換えた方が、画質の劣化が少なくなる。
【００９０】
また、フレームモード用縮小逆離散コサイン変換装置１５では、ビットストリーム解析装置１１により、例えば処理するＤＣＴブロックがＩピクチャ又はＰピクチャに属するものであるか、或いは、Ｂピクチャに属するものであるかを検出し、その検出した情報に基づき、４×８の全ての係数を縮小逆離散コサイン変換をするか或いは一部の係数を０と置き換えて縮小逆離散コサイン変換をするかを切り換えても良い。
【００９１】
例えば、フレームモード用縮小逆離散コサイン変換装置１５では、Ｉピクチャ及びＰピクチャは画質の劣化が他の画像に伝搬することから、Ｉピクチャ及びＰピクチャに対しては４×８係数内の全ての係数を縮小逆離散コサイン変換を行い、Ｂピクチャは画質の劣化が他の画像に伝搬しないことから、Ｂピクチャに対しては一部の係数を０と置き換えて縮小離散コサイン変換をするようにして演算量を削減する。また、演算量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがイントラマクロブロックに属するものか或いはインターマクロブロックに属するものかという情報に基づいて切り換えても良い。
【００９２】
このように画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５が逆離散コサイン変換をする一部の係数を０と置き換えることにより、画質の劣化を最小限に抑え、演算量を削減することができる。
【００９３】
また、この画像復号装置１０では、フレームモード用縮小逆離散コサイン変換装置１５が高速アルゴリズムを用いて処理を行った場合、その回路規模を簡素化することができる。例えば、図１８に示したような垂直方向の中間周波数成分の４×４の係数を０と置き換えた場合には、図５に示した処理フローが、図１９に示すような第１から第６の乗算器１５′ａ〜１５′ｆ及び第１から第９の加算器１５′ｇ〜１５′ｏからなる処理フローに簡素化することができる。この図１９に示す処理フローは、図４で示したフィールドモード用縮小逆離散コサイン変換装置１４の高速アルゴリズムの処理フローと相似性が高いので共通の回路を用いることができ、さらに回路規模を削減することができる。
【００９４】
また、この画像復号装置１０では、上記可変長符号復号装置１２で行われる処理量の削減動作と上記フレームモード用縮小逆離散コサイン変換装置１５の演算量の削減動作とを組み合わせて用いることにより、効率的に全体の処理量を削減することができる。例えば、可変長符号復号装置１２は、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて各ＤＣＴ係数を逆スキャンを行い、また、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて逆スキャンする係数の数を可変することにより、効率的に処理を行うことができる。
【００９５】
例えば、可変長符号復号装置１２は、フレームモード用縮小逆離散コサイン変換装置１５が図１６に示したような垂直方向の高周波成分の２×２係数を０と置いた縮小逆離散コサイン変換をする場合には、図２０に示すように、スキャン番号で０番目から３８番目までのＤＣＴ係数については逆スキャンをし可変長復号をして、３９番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わないようにする。また、例えば、可変長符号復号装置１２は、図２１に示すように、スキャン番号で０番目から２４番目までのＤＣＴ係数については逆スキャンをして可変長復号し、２５番目以降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理を行わないようにしてもよい。なお、図２０及び図２１にはジグザグスキャンの場合を示したが、オルタネートスキャンに適用しても良い。
【００９６】
（第２の実施の形態）
つぎに、本発明の第２の実施の形態の画像復号装置について説明する。なお、この第２の実施の形態の画像復号装置の説明にあたり、上記第１の画像復号装置１０と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。
【００９７】
図２２に示すように、本発明の第２の実施の形態の画像復号装置３０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００９８】
この画像復号装置３０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【００９９】
可変長符号復号装置１２は、入力されたＤＣＴブロックのスキャン方式に応じて、ＤＣＴブロック内の各係数を逆スキャンして可変長符号の復号処理を行う。ＤＣＴブロック内のスキャン方式には、例えばジグザグスキャン、オルタネートスキャンがある。このスキャン方式は、前段のビットストリーム解析装置１１により解析される。
【０１００】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１０１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、詳細を後述する処理により、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、縮小逆離散コサイン変換を行うことにより、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１０２】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０３】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０４】
画枠変換装置３３は、フレームメモリ１７が記憶した標準解像度の参照画像が供給され、この参照画像をポストフィルタリングにより、画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換装置３３は、高解像度のテレビジョン規格の画枠を、１／４に縮小した標準解像度のテレビジョン規格の画枠に変換する。なお、この画枠変換装置３３は、フレームメモリ１７に格納されている画像がトップフィールドとボトムフィールドとの間に位相ずれが生じていないので、上述した第１の実施の形態の画枠変換・位相ずれ補正装置２０と異なり、画素の位相ずれの補正は行わなくて良い。
【０１０５】
本発明の第２の実施の形態の画像復号装置３０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０１０６】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１の処理内容について、さらに詳細に説明する。
【０１０７】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１には、図２４に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１０８】
まず、ステップＳ２１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【０１０９】
続いて、ステップＳ２２において、この８×８の画素データを、４×８の位相補正フィルタ行列によりＤＣＴブロック内で閉じた変換を行い、位相補正した画素データｘ′（全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′2，ｘ′3，ｘ′4として図中に示す。）を得る。
【０１１０】
以上のステップＳ２１〜ステップＳ２２の処理を行うことにより、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、トップフィールドとボトムフィールドとの間で、画素の位相ずれがない画像を生成することができる。
【０１１１】
また、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図２５に示すように、以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行列）を用いて演算してもよい。
【０１１２】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を図２６に示し、この４×８位相補正ＩＤＣＴ行列について説明する。この４×８位相補正ＩＤＣＴ行列は、プロトタイプフィルタをポリフェーズ分解して作成される。
【０１１３】
ここで、画像復号装置３０では、図２７（ａ）に示すような周波数特性の高解像度画像を、図２７（ｂ）に示すような信号帯域がローパスフィルタにより半分とされた周波数特性の１／２の解像度の標準解像度画像に、ダウンデコードする。そのため、プロトタイプフィルタに求められる周波数特性は、標準解像度画像の１／４位相の画素値を得ることができるように、図２７（ｃ）に示すような４倍のオーバーサンプリングを行った周波数特性となる。
【０１１４】
まず、ステップＳ３１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図２８に示すように、ナイキスト周波数以下の周波数を等間隔に（５７−１）／２＝２８分割して、２９個のゲインリストを作成する。
【０１１５】
続いて、ステップＳ３２において、周波数サンプリング法により、５７個のインパルス応答を作成する。すなわち、２９個のゲインリストを逆離散フーリエ変換して、５７個のＦＩＲフィルタのインパルス応答を作成する。この５７個のインパルス応答を図２９に示す。
【０１１６】
続いて、ステップＳ３３において、このインパルス応答に窓関数をかけて、５７タップのフィルタ係数ｃ１〜ｃ５７を作成する。
【０１１７】
このステップＳ３３で作成されたフィルタがプロトタイプフィルタとなる。
【０１１８】
続いて、ステップＳ３４において、５７個のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り出し、ポリフェーズフィルタを作成する。
【０１１９】
ここで、ポリフェーズフィルタとは、図３０に示すように、入力信号をＮ倍にオーバーサンプリングし、オーバーサンプリングして得られた信号からＮ画素間隔で画素を抜き出すポリフェーズ分解を行い、入力信号と１／Ｎ位相のずれをもった信号を出力するフィルタである。例えば、入力信号に対して１／４位相ずれた信号を得るためには、図３１に示すように、入力信号を４倍にオーバサンプリングして、この信号から１／４位相ずれた信号を取り出せばよい。
【０１２０】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ５７から作成された１４個のフィルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（３）で示すような係数となる。
【０１２１】
【数４】
このようにポリフェーズフィルタを作成した後、トップフィールド用の４×８位相補正ＩＤＣＴ行列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１２３】
まず、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３５において、フィルタ係数が１／４位相補正特性となるように、ポリフェーズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が１／４、９／４、１７／４、２５／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。このように作成された４×８位相補正フィルタを、図３２に示す。
【０１２４】
例えば、上記式（３）の１４個のフィルタ係数ｃ′１〜ｃ′１４から、以下の式（４）で示すような係数が取り出される。
【０１２５】
【数５】
式（４）の係数から４×８位相補正フィルタ行列を求めると、以下の式（５）で示すような行列となる。
【０１２７】
【数６】
この式（５）で示した４×８位相補正フィルタ行列を正規化すると、以下の式（６）に示すような行列となる。
【０１２９】
【数７】
そして、ステップＳ３６において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１３１】
８×８のＩＤＣＴ行列と上記式（６）で示す４×８の位相補正フィルタとを掛け合わせた４×８位相補正ＩＤＣＴ行列は、以下の式（７）に示すような行列となる。
【０１３２】
【数８】
一方、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４を、左右反転させる。
【０１３４】
続いて、ステップＳ３８において、左右反転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が３／４、１１／４、１９／４、２７／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。
【０１３５】
そして、ステップＳ３９において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１３６】
このようにステップＳ３１〜ステップＳ３９の各処理を行うことによって、フィールドモード用位相補正縮小逆離散コサイン変換装置３１が演算を行う４×８位相補正ＩＤＣＴ行列を作成することができる。
【０１３７】
以上のように、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、この４×８位相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックの係数とを行列演算することにより、トップフィールドとボトムフィールドとの間の位相ずれがない、標準解像度の画像を復号することができる。すなわち、このフィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図２３に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成することができる。
【０１３８】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理内容について、さらに詳細に説明する。
【０１３９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図３３に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１４０】
まず、ステップＳ４１において、この１つのＤＣＴブロックの離散コサイン係数ｙに対して、８×８の逆離散コサイン変換を行う。続いて、ステップＳ４２において、この８×８の画素データをフィールド分離する。続いて、ステップＳ４３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換をする。続いて、ステップＳ４４において、各画素ブロックの離散コサイン係数ｚの高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。以上のステップＳ４１からステップＳ４４までの処理は、図３に示す処理におけるステップＳ１からステップＳ４までの処理と同一である。
【０１４１】
続いて、ステップＳ４５において、トップフィールドに対応する画素ブロックに対しては、１／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドに対応する画素ブロックに対しては、３／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、２×２の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４となる標準解像度画像（下位レイヤー）を生成する。なお、この２×４位相補正ＩＤＣＴ行列の設計方法については詳細を後述する。
【０１４２】
続いて、ステップＳ４６において、トップフィールドに対応する画素ブロックの画素データとボトムフィールドの画像ブロックの画素データとをフレーム合成する。このステップＳ４６の処理は、図３に示す処理におけるステップＳ６の処理と同一である。
【０１４３】
以上のステップＳ４１〜ステップＳ４６の処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１４４】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ４１からステップＳ４６までの処理を１つの行列を用いて演算してもよい。
【０１４５】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置３２のステップＳ４５で演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を図３４に示し、この２×８位相補正ＩＤＣＴ行列について説明する。
【０１４６】
まず、ステップＳ５１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図３５に示すように、ナイキスト周波数以下の周波数を等間隔に（２５−１）／２＝１２分割して、１３個のゲインリストを作成する。
【０１４７】
続いて、ステップＳ５２において、周波数サンプリング法により、２５個のインパルス応答を作成する。すなわち、１３個のゲインリストを逆離散フーリエ変換して、２５個のＦＩＲフィルタのインパルス応答を作成する。この２５個のインパルス応答を図３６に示す。
【０１４８】
続いて、ステップＳ５３において、このインパルス応答に窓関数をかけて、２５タップのフィルタ係数ｃ１〜ｃ２５を作成する。
【０１４９】
このステップＳ５３で作成されたフィルタがプロトタイプフィルタとなる。
【０１５０】
続いて、ステップＳ５４において、２５個のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出し、ポリフェーズフィルタを作成する。
【０１５１】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ２５から作成された１４個のフィルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（８）で示すような係数となる。
【０１５２】
【数９】
このようにポリフェーズフィルタを作成した後、トップフィールド用の２×４位相補正ＩＤＣＴ行列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１５４】
まず、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５５において、ポリフェーズ分解された６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。このように作成された２×４位相補正フィルタを、図３７に示す。
【０１５５】
例えば、上記式（８）の６個のフィルタ係数ｃ′１〜ｃ′６から、以下の式（９）で示すような係数が取り出される。
【０１５６】
【数１０】
式（９）の係数から２×４位相補正フィルタ行列を求めると、以下の式（１０）で示すような行列となる。
【０１５８】
【数１１】
この式（１０）で示した２×４位相補正フィルタ行列を正規化すると、以下の式（１１）に示すような行列となる。
【０１６０】
【数１２】
そして、ステップＳ５６において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６２】
２×４のＩＤＣＴ行列と上記式（１１）で示す２×４の位相補正フィルタとを掛け合わせた２×４位相補正ＩＤＣＴ行列は、以下の式（１２）に示すような行列となる。
【０１６３】
【数１３】
一方、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された６個のフィルタ係数ｃ′１〜ｃ′６を、左右反転させる。
【０１６５】
続いて、ステップＳ５８において、左右反転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が３／４、１１／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。
【０１６６】
そして、ステップＳ５９において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６７】
以上のようにステップＳ５１〜ステップＳ５９の各処理を行うことによって、フレームモード用位相補正縮小逆離散コサイン変換装置３２が上記ステップＳ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成することができる。
【０１６８】
以上のように本発明の第２の実施の形態の画像復号装置３０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置３０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置３０では、フレームメモリ１７に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０１６９】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理についてさらに説明する。
【０１７０】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１では４×４係数の縮小逆離散コサイン変換を行うのに対して、３２では４×８係数の縮小逆離散コサイン変換を行う。そのため、画像復号装置３０では、入力されたビットストリームにフレームＤＣＴモードのＤＣＴブロックを多く含んでいると処理量が増大する。このことから、この画像復号装置３０では、フレームモード用位相補正縮小逆離散コサイン変換装置３２を、上述した第１の実施の形態の画像復号装置１０のフレームモード用縮小逆離散コサイン変換装置１５と同様に、その処理能力に応じて、その処理量を削減してもよい。
【０１７１】
フレームモード用位相補正縮小逆離散コサイン変換装置３２では、例えば、図１６に示すように、４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数を０に置き換えた後、図３３に示したステップＳ４１からステップＳ４６までの処理を行う。処理する係数の一部を０と置き換えることにより処理量が削減できる。なお、係数の一部を０と置き換えても置き換えなくても処理工程は同じであるので、出力画素の位相は変わらず位相の違いに基づく誤差要因とはならない。
【０１７２】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、図１６に示したような係数の置き換えではなく、例えば、図１７に示すように垂直方向の中間周波数成分の４×２係数を０と置き換えても良いし、図１８に示すように垂直方向の中間周波数成分の４×４係数を０と置き換えても良い。
【０１７３】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、ビットストリーム解析装置１１により、例えば処理するＤＣＴブロックがＩピクチャ又はＰピクチャに属するものであるか、或いは、Ｂピクチャに属するものであるかを検出し、その検出した情報に基づき、４×８の全ての係数を縮小逆離散コサイン変換をするか或いは一部の係数を０と置き換えて縮小逆離散コサイン変換をするかを切り換えても良い。
【０１７４】
例えば、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、Ｉピクチャ及びＰピクチャは画質の劣化が他の画像に伝搬することから、Ｉピクチャ及びＰピクチャに対しては４×８係数内の全ての係数を縮小逆離散コサイン変換を行い、Ｂピクチャは画質の劣化が他の画像に伝搬しないことから、Ｂピクチャに対しては一部の係数を０と置き換えて縮小離散コサイン変換をするようにして処理量を削減する。また、処理量の削減のための切換のパラメータとしては、例えば、処理されるデータが輝度信号に属するものか或いは色差信号に属するものかという情報に基づいて切り換えても良いし、処理されるデータがイントラマクロブロックに属するものか或いはインターマクロブロックに属するものかという情報に基づいて切り換えても良い。
【０１７５】
このように画像復号装置３０では、フレームモード用位相補正縮小逆離散コサイン変換装置３２が逆離散コサイン変換をする一部の係数を０と置き換えることにより、画質の劣化を最小限に抑え、処理量を削減することができる。
【０１７６】
また、この画像復号装置３０では、上記第１の実施の形態と同様に、上記可変長符号復号装置１２で行われる処理量の削減動作と上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理量の削減動作とを組み合わせて用いることにより、効率的に全体の処理量を削減することができる。例えば、可変長符号復号装置１２は、フレームモード用位相補正縮小逆離散コサイン変換装置３２が０と置く係数に併せて各ＤＣＴ係数を逆スキャンを行い、また、フレームモード用縮小逆離散コサイン変換装置１５が０と置く係数に併せて逆スキャンする係数の数を可変することにより、効率的に処理を行うことができる。
【０１７７】
以上本発明の第１〜第２の実施の形態の画像復号装置について説明したが、本発明で処理されるデータは、ＭＰＥＧ２方式の画像データに限られない。すなわち、所定の画素ブロック単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データであればどのようなデータであってもよい。例えば、ウェーブレット方式等を用いた圧縮画像データであってもよい。
【０１７８】
【発明の効果】
本発明にかかる画像復号装置及び画像復号方法では、可変長復号における逆スキャン処理でのスキャン数は第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号しない。このことにより、本発明では、縮小逆離散コサイン変換の際に復号しない冗長な情報の可変長復号を行わず、画質の劣化を最小限に抑えながら、演算能力に応じた処理量の削減をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブロック図である。
【図２】上記第１の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の処理の内容を説明するための図である。
【図４】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図５】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図６】ジグザグスキャンを説明するための図である。
【図７】オルタネートスキャンを説明するための図である。
【図８】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図９】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１０】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１１】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図１２】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１３】ＤＣＴブロックがフィールドＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１４】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がジグザグスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１５】ＤＣＴブロックがフレームＤＣＴモードで離散コサイン変換されており、スキャン方式がオルタネートスキャンである場合に、可変長符号復号装置がスキャンする係数の他の一例を示す図である。
【図１６】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数を０に置き換えた例を示す図である。
【図１７】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の中域周波数成分の４×２係数を０に置き換えた例を示す図である。
【図１８】フレームモード用縮小逆離散コサイン変換装置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数のうち、垂直方向の中域周波数成分の４×４係数を０に置き換えた例を示す図である。
【図１９】上記図１６で示した係数により逆縮小離散コサイン変換を行う場合において、Ｗａｎｇのアルゴリズムをフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図２０】上記フレームモード用縮小逆離散コサイン変換装置に対応させて処理する際の、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図２１】フレームモード用縮小逆離散コサイン変換装置に対応させて処理する際の、可変長符号復号装置がスキャンする係数の一例を示す図である。
【図２２】本発明の第２の実施の形態の画像復号装置のブロック図である。
【図２３】上記第２の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図２４】上記第２の実施の形態の画像復号装置のフィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図２５】１つの行列により処理を行う場合の上記フィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図２６】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２７】上記４×８位相補正ＩＤＣＴ行列の設計に必要となるプロトタイプフィルタの周波数特性を説明するための図である。
【図２８】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図２９】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図３０】ポリフェイズフィルタを説明するための図である。
【図３１】入力信号に対して１／４位相ずれた信号を出力するポリフェイズフィルタを説明するための図である。
【図３２】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列を説明するための図である。
【図３３】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の処理の内容を説明するための図である。
【図３４】フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図３５】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図３６】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図３７】上記フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列を説明するための図である。
【図３８】従来の第１のダウンデコーダを示すブロック図である。
【図３９】従来の第２のダウンデコーダを示すブロック図である。
【図４０】従来の第３のダウンデコーダを示すブロック図である。
【図４１】従来の画像復号装置のブロック図である。
【図４２】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４３】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４４】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図４５】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図４６】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図４７】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【符号の説明】
１０，３０ 画像復号装置、１２ 可変長符号復号装置、１４ フィールドモード用縮小逆離散コサイン変換装置、１５ フレームモード用縮小逆離散コサイン変換装置、１６ 加算装置、１７ フレームメモリ、１８ フィールドモード用動き補償装置、１９ フレームモード用動き補償装置、２０ 画枠変換・位相ずれ補正装置、３１ フィールドモード用位相補正縮小逆離散コサイン変換装置、３２ フレームモード用位相補正縮小逆離散コサイン変換装置、３３ 画枠変換装置
Claims (2)
- 所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号装置において、
上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを可変長復号する可変長復号手段と、
可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をする逆直交変換手段とを備え、
上記可変長復号手段による逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、
上記可変長復号手段は、上記逆直交変換手段により逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換手段で逆直交変換をする係数を０とすることを特徴とする画像復号装置。 - 所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度より低い第２の解像度の動画像データを復号する画像復号方法において、
上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて、上記直交変換ブロック内の各係数を当該直交変換ブロックのスキャン方式に応じた所定のスキャン方式により逆スキャンして、可変長符号化された上記第１の解像度の圧縮画像データを可変長復号し、
可変長復号がされた上記圧縮画像データの直交変換ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、
上記可変長復号における逆スキャン処理でのスキャン数は上記第１の解像度の圧縮画像データのビットストリームの解析結果に基づいて復号する画像データの種類に応じて切り換え設定され、上記逆直交変換がされる低周波成分の係数のうちの最高周波数成分未満の係数まで可変長復号し、それ以上の周波数成分の係数を可変長復号せず、可変長復号しなかった係数であって上記逆直交変換をする係数を０とすることを特徴とする画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34211498A JP4016166B2 (ja) | 1998-12-01 | 1998-12-01 | 画像復号装置及び画像復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34211498A JP4016166B2 (ja) | 1998-12-01 | 1998-12-01 | 画像復号装置及び画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175195A JP2000175195A (ja) | 2000-06-23 |
| JP4016166B2 true JP4016166B2 (ja) | 2007-12-05 |
Family
ID=18351263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34211498A Expired - Fee Related JP4016166B2 (ja) | 1998-12-01 | 1998-12-01 | 画像復号装置及び画像復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4016166B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8463056B2 (en) | 2008-06-10 | 2013-06-11 | Sony Corporation | Information processing apparatus and information processing method that decode a portion of a code stream |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002112267A (ja) | 2000-09-28 | 2002-04-12 | Nec Corp | 可変解像度復号処理装置 |
| JP2002305746A (ja) | 2001-04-05 | 2002-10-18 | Nec Corp | 画像復号処理装置および画像復号処理方法 |
-
1998
- 1998-12-01 JP JP34211498A patent/JP4016166B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8463056B2 (en) | 2008-06-10 | 2013-06-11 | Sony Corporation | Information processing apparatus and information processing method that decode a portion of a code stream |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000175195A (ja) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
| US6748018B2 (en) | Picture decoding method and apparatus | |
| KR100192270B1 (ko) | 에이치디티브이 비데오 디코더 회로 | |
| US6650708B1 (en) | Video signal encoding apparatus | |
| JP2001204026A (ja) | 画像情報変換装置及び方法 | |
| JP2001285863A (ja) | 画像情報変換装置及び方法 | |
| JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
| KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
| JP2000175194A (ja) | 画像復号装置及び画像復号方法 | |
| JP3611461B2 (ja) | 映像信号符号化装置 | |
| JP2000041248A (ja) | 画像復号装置及び画像復号方法 | |
| JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
| WO2010055675A1 (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP4051799B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP3937632B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2000041253A (ja) | 画像復号装置及び画像復号方法 | |
| JPH11275591A (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
| JP2000059777A (ja) | 画像復号装置及び画像復号方法 | |
| JP2001285875A (ja) | 画像情報変換装置及び方法 | |
| JP2000041254A (ja) | 画像復号装置及び画像復号方法 | |
| JP2002034041A (ja) | 画像情報変換装置及び方法 | |
| JP2002034046A (ja) | 画像情報変換装置及び方法 | |
| JPH10145749A (ja) | デジタルビデオ信号をダウンコンバートするための装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |