JPWO2006054507A1 - 動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

高解像度化に必要なデータ量を抑えつつ、高解像度化および高画質化を実現することができる動画像符号化方法および動画像復号方法を提供する。動画像符号化装置１００は、入力画像信号１０１を離散コサイン変換する第１直交変換部１０２、入力画像信号１０１に対して低域通過フィルタリング処理を行うローパスフィルタ１１６、低域画像信号１１７の解像度をダウンサンプリングするダウンサンプリング部１０８、縮小画像信号１０９を圧縮符号化する符号化部１１０、符号列１１１を復号する局所復号部１１２、復号画像信号１１３を離散コサイン変換する第２直交変換部１１４、および入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報１０５を生成する補正情報生成部１０４を備える。

Description

本発明は、動画像信号を圧縮符号化する動画像符号化方法、及び動画像信号が圧縮符号化された符号列を復号する動画像復号方法に関するものである。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、動画像信号を低ビットレートで符号化し伝送することを目的として利用されている技術として、動画像符号化という技術が知られている。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、符号化に際して、予測画像を作り、予測画像と符号化画像の差分情報を直交変換、量子化を行った情報と、予測画像作成のための情報を抽出し、エントロピー符号化を用いて圧縮符号化する方式であり、蓄積系や放送系の分野で用いられている。

さらに、高画質化した新しい標準方式は、これら既存の標準方式との相互接続性（コンパチビリティ）を持つことが課題として挙げられる。コンパチビリティには、新しい標準方式の符号列の一部を、既存方式のデコーダが復号できる方法がある。このような方法として、解像度を階層的に有し、低解像度画像部分を既存方式、高解像度画像部分を新規方式とすることで再生画像を得る方法が提案されている（例えば、特許文献１参照）。
特開平５−３０８６３１号公報

しかしながら、上記の方法のように高解像度画像の差分情報を符号化すると、高解像度化に必要なデータ量が多くなる問題がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、高解像度化に必要なデータ量を抑えつつ、高解像度化および高画質化を実現することができる動画像符号化方法および動画像復号方法を提供することを目的とする。

上記目的を達成するため、本発明に係る動画像符号化方法は、動画像信号を圧縮符号化する動画像符号化方法であって、前記動画像信号を圧縮符号化することにより符号列を出力するとともに、前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、前記係数補正情報を前記符号列の付加情報として出力することを特徴とする。

これによって、高解像度化に必要なデータ量を抑えつつ、高解像度化および高画質化を実現することができる。

ここで、前記動画像符号化方法は、さらに、前記動画像信号の低周波成分で構成される低域動画像信号を生成し、前記低域動画像信号を圧縮符号化することにより前記符号列を出力してもよい。

また、前記動画像符号化方法は、さらに、前記動画像信号を所定の解像度にダウンサンプリングした縮小画像信号を生成し、前記縮小画像信号を圧縮符号化することにより前記符号列を出力してもよい。

また、前記動画像符号化方法は、さらに、前記符号列を仮復号することにより仮復号画像信号を生成し、前記仮復号画像信号を直交変換することにより仮復号直交変換係数を求め、前記直交変換係数および前記仮復号直交変換係数に基づいて前記係数補正情報を生成してもよい。これによって、復号画像の画質を向上することができる。

また、前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す分類情報であり、前記値領域を分けるための閾値を前記仮復号直交変換係数に基づいて決定し、前記直交変換係数が前記値領域のいずれに属するかを前記閾値に基づいて決定することにより、前記分類情報を生成してもよい。

また、前記係数補正情報は、前記仮復号直交変換係数から前記直交変換係数を予測するための線形予測係数であり、前記直交変換係数および前記仮復号直交変換係数に基づいて前記線形予測係数を決定することにより、前記係数補正情報を生成してもよい。

また、前記係数補正情報は、前記仮復号直交変換係数と前記直交変換係数との相関関係を表す情報であり、前記直交変換の単位であるブロック複数個でまとめた前記直交変換係数および前記仮復号直交変換係数のそれぞれ周波数帯域ごとの係数の集合について、それぞれ相関度を算出することにより、前記係数補正情報を生成してもよい。

また、本発明に係る動画像復号方法は、動画像信号が圧縮符号化された符号列を復号する動画像復号方法であって、前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、前記符号列を復号することにより第１の動画像信号を生成し、前記第１の動画像信号を直交変換することにより復号直交変換係数を求め、前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求め、前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力することを特徴とする。

これによって、少ないデータ量の係数補正情報を用いて復号画像信号の画質を向上することができる。

また、前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報であり、前記値領域を分けるための閾値を前記復号直交変換係数に基づいて決定し、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報および前記閾値により、前記補正直交変換係数を求めてもよい。

また、前記係数補正情報は、求めるべき直交変換係数を予測するための線形予測係数であり、前記線形予測係数を用いて前記復号直交変換係数から前記補正直交変換係数を算出してもよい。

また、前記係数補正情報は、求めるべき直交変換係数および前記復号直交変換係数のそれぞれ周波数帯域ごとの係数を前記直交変換の単位であるブロック複数個でまとめた集合における相関関係を表す情報であり、前記ブロック複数個分の前記復号直交変換係数の周波数帯域ごとの係数の集合から、前記相関関係を表す情報に基づいて、前記ブロック複数個でまとめられた周波数帯域ごとの係数の集合を求めることで、前記補正直交変換係数を求めてもよい。

また、前記直交変換係数から前記係数補正情報を用いて所定個数の未知の直交変換係数を生成することにより、個数を増加させた直交変換係数を前記補正直交変換係数として求め、前記補正直交変換係数を逆直交変換することにより所定の解像度に上げた動画像信号を前記第２の動画像信号として出力してもよい。これによって、高解像度化および高画質化を実現することができる。

なお、本発明は、このような動画像符号化方法および動画像復号方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号方法が備える特徴的なステップを手段とする動画像符号化装置および動画像復号装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る動画像符号化方法および動画像復号方法によれば、低ビットレートで高画質な符号列の生成が可能となり、さらに低ビットレートで復号画像の高解像度化および高画質化を実現することができ、その実用的価値が高い。

図１は本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。 図２（ａ）は入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示す図であり、図２（ｂ）は復号画像ＤＣＴ係数の係数値ａ〜ｄを示す図であり、図２（ｃ）は入力画像ＤＣＴ係数を３つに分類した一例を示す図であり、図２（ｄ）は復号画像ＤＣＴ係数を３つに分類した一例を示す図である。 図３は補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図４（ａ）（ｂ）（ｃ）（ｄ）は閾値ＴＨ（Ｘ）について説明するための図である。 図５は補正情報生成部が有するテーブルの一例を示す図であり、（ａ）第１分類テーブル、（ｂ）第２分類テーブル、（ｃ）符号テーブル、（ｄ）他の符号テーブルを示す図である。 図６は変形例１において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図７（ａ）は復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を算出することを示す模式図であり、（ｂ）（ｃ）（ｄ）は変形例２において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図８（ａ）は入力画像の所定の画像領域内のブロックを示し、（ｂ）はブロックの入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示し、（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。 図９（ａ）は復号画像の所定の画像領域内のブロックを示し、（ｂ）はブロックの復号画像ＤＣＴ係数の係数値ａ〜ｄを示し、（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。 図１０は変形例３において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図１１は、本発明の実施の形態１の変形例４に係る動画像符号化装置の構成を示すブロック図である。 図１２は係数補正情報の伝送方法を説明するための図であり、（ａ）符号列および付加情報が別の符号列として伝送されている例を示す図、（ｂ）符号列中のピクチャヘッダの中に付加情報を組み込んだ例を示す図、（ｃ）符号列中のマクロブロックヘッダに付加情報を組み込んだ例を示す図である。 図１３は、本発明の実施の形態２に係る動画像復号装置の構成を示すブロック図である。 図１４（ａ）は係数補正部でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートであり、（ｂ）は解像度変換に関する判断を含む場合における係数補正部でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。 図１５は補正ＤＣＴ係数の算出について説明するための図であり、（ａ）解像度変換を行わない場合の例、（ｂ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含まず、解像度変換を行う場合の例、（ｃ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含み、解像度変換を行う場合の例である。 図１６（ａ）は係数補正情報にＤＣＴ係数の分類情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は分類情報からＤＣＴ係数を補正する方法を説明する説明図である。 図１７（ａ）は係数補正情報に線形予測係数が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は線形予測係数からＤＣＴ係数を補正する方法を説明する説明図である。 図１８（ａ）は係数補正情報に相関関係情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は相関関係情報からＤＣＴ係数を補正する方法を説明する説明図である。 図１９は上記各実施の形態の動画像符号化方法及び動画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 図２０はコンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。 図２１は動画像符号化方法及び動画像復号方法を用いた携帯電話の例（実施の形態４）である。 図２２は携帯電話のブロック図（実施の形態４）である。 図２３はディジタル放送用システムの例（実施の形態４）である。

符号の説明

１０１ 入力画像信号
１０２ 第１直交変換部
１０３ 入力画像ＤＣＴ係数
１０４ 補正情報生成部
１０５ 補正情報
１０６ 可変長符号化部
１０７ 補正情報符号列
１０８ ダウンサンプリング部
１０９ 縮小画像信号
１１０ 符号化部
１１１ 符号列
１１２ 局所復号部
１１３ 復号画像信号
１１４ 第２直交変換部
１１５ 復号画像ＤＣＴ係数
１１６ ローパスフィルタ
１１７ 低域画像信号
７０１ 補正情報符号列
７０２ 可変長復号部
７０３ 補正情報
７０４ 符号列
７０５ 復号部
７０６ 復号画像信号
７０７ 直交変換部
７０８ 復号画像ＤＣＴ係数
７０９ 係数補正部
７１０ 補正ＤＣＴ係数
７１１ 逆直交変換部
７１２ 出力画像信号
１００３ ピクチャヘッダ
１００４ マクロブロックヘッダ
１００５ マクロブロックデータ
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。

動画像符号化装置１００は、動画像信号を圧縮符号化するための装置であり、図１に示すように第１直交変換部１０２、補正情報生成部１０４、可変長符号化部１０６、ダウンサンプリング部１０８、符号化部１１０、局所復号部１１２、第２直交変換部１１４、およびローパスフィルタ１１６を備えている。

第１直交変換部１０２は、入力画像信号１０１を離散コサイン変換（ＤＣＴ）し、入力画像ＤＣＴ係数１０３を出力する。ローパスフィルタ１１６は、入力画像信号１０１に対して低域通過フィルタリング処理を行うことにより、画像信号の高周波数領域のデータを抑圧し、低域画像信号１１７を出力する。ダウンサンプリング部１０８は、低域画像信号１１７の解像度をあらかじめ決められた解像度にダウンサンプリングし、縮小画像信号１０９を出力する。符号化部１１０は、縮小画像信号１０９をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。局所復号部１１２は、符号列１１１を符号化部１１０の符号化方式に応じて復号し、復号画像信号１１３を出力する。第２直交変換部１１４は、復号画像信号１１３を離散コサイン変換し、復号画像ＤＣＴ係数１１５を出力する。補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報１０５を生成する。可変長符号化部１０６は、係数補正情報１０５を可変長符号化することにより、符号列１１１の付加情報として補正情報符号列１０７を出力する。

次に、上記のように構成された動画像符号化装置１００の動作について説明する。図２（ａ）は入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示す図であり、図２（ｂ）は復号画像ＤＣＴ係数の係数値ａ〜ｄを示す図である。

入力画像信号１０１は、第１直交変換部１０２およびローパスフィルタ１１６に入力される。第１直交変換部１０２は、入力された入力画像信号１０１を離散コサイン変換し、入力画像ＤＣＴ係数１０３を出力する。ここで、例えば離散コサイン変換を４×４画素単位のブロックで行うとすると、第１直交変換部１０２は、図２（ａ）に示すように入力画像ＤＣＴ係数の係数値Ａ〜Ｐを出力する。

一方、ローパスフィルタ１１６は、入力された入力画像信号１０１に対して低域通過フィルタリング処理を行うことにより、入力画像信号１０１の高周波数領域のデータを抑圧し、低域画像信号１１７を出力する。次に、ダウンサンプリング部１０８は、低域画像信号１１７の解像度をあらかじめ決められた解像度にダウンサンプリングし、縮小画像信号１０９を出力する。ここでは、水平方向および垂直方向それぞれ１／２に縮小するものとする。符号化部１１０は、縮小画像信号１０９をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。局所復号部１１２は、符号列１１１を符号化部１１０の符号化方式に応じて復号し、復号画像信号１１３を出力する。第２直交変換部１１４は、復号画像信号１１３を離散コサイン変換し、復号画像ＤＣＴ係数１１５を出力する。ここで、復号画像信号１１３は、低域画像信号１１７を水平方向および垂直方向それぞれ１／２に縮小した画像信号であるので、例えば離散コサイン変換を２×２画素単位で行うとすると、第２直交変換部１１４は、図２（ｂ）に示すように復号画像ＤＣＴ係数の係数値ａ〜ｄを出力する。なお、この復号画像ＤＣＴ係数の係数値ａ〜ｄは、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄに相当する部分であり、値もほぼ同じ値となる。次に、補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、符号列の復号時に用いられる係数補正情報１０５を生成する。

図３は補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ１０１）すると、復号画像ＤＣＴ係数１１５に基づいて、入力画像ＤＣＴ係数１０３がとりうる値の領域を例えば図４（ａ）に示すように所定数の領域に分けるための閾値ＴＨ（Ｘ）をブロックごとに決定する（ステップＳ１０２）。この図４（ａ）に示す例では、１つの閾値ＴＨ（Ｘ）を決定し、３つの領域（い）、領域（ろ）、領域（は）に分けている。ここで、ＣＯＥＦＦ（Ｘ）は、位置（周波数帯域）ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示している。

一般に、ＤＣＴ係数（ＣＯＥＦＦ）の絶対値は、図４（ｂ）に示す曲線Ｒのように周波数が高くなるにしたがって減衰する。よって、復号画像ＤＣＴ係数１１５を用いて曲線Ｒを予測することができる。実際には、ＤＣＴ係数（ＣＯＥＦＦ）は、図４（ｃ）に示すように離散値を取るため、図４（ｄ）に示すように曲線Ｒ、曲線Ｒ’を予測し、ＤＣＴ係数の周波数帯域ごとに閾値ＴＨ（Ｘ）を決定する。

次に、補正情報生成部１０４は、決定した閾値ＴＨ（Ｘ）を用いて次に示す（式１）により、入力画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかを分類する（ステップＳ１０３）。なお、本実施の形態では、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄについては分類を行わないものとする。

｜ＣＯＥＦＦ（Ｘ）｜＜ＴＨ（Ｘ） …（式１）
ここで、ＣＯＥＦＦ（Ｘ）は、位置ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示す。また、記号｜｜は絶対値を示す。

図２（ｃ）は入力画像ＤＣＴ係数を決定したそれぞれに対応する閾値ＴＨ（Ｘ）を用いて３つに分類した一例を示す図である。例えば、この図２（ｃ）では、上記（式１）を満たした場合の係数値（Ｇ、Ｉ、Ｏ）を横線で示す分類（は）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が正の場合の係数値（Ｆ、Ｊ、Ｌ）を右上から左下方向の斜線で示す分類（い）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が負の場合の係数値（Ｅ、Ｈ、Ｋ、Ｍ、Ｎ、Ｐ）を左上から右下方向の斜線で示す分類（ろ）としている。

次に、補正情報生成部１０４は、このように決定した３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかという分類情報を係数補正情報１０５として出力する（ステップＳ１０４）。

そして、可変長符号化部１０６は、係数補正情報１０５を可変長符号化することにより、補正情報符号列１０７を出力する。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。また、閾値ＴＨ（Ｘ）をブロックごとに決定しているので、ブロック内の画像に適した閾値ＴＨ（Ｘ）にすることができ、復号画像の画質を向上することができる。

この場合、後述する復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から曲線Ｒ、曲線Ｒ’を予測し、補正情報符号列１０７から得られる分類情報により、入力画像ＤＣＴ係数の高周波数帯域の係数である係数値Ｅ〜Ｐを特定して、入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本実施の形態では、補正情報生成部１０４は位置Ｘに対応した閾値ＴＨ（Ｘ）をＤＣＴ処理するブロックごとに決定しているが、これに限られるものではない。例えば、補正情報生成部１０４は、４ブロックごとやピクチャごとに閾値ＴＨ（Ｘ）を決定することで、処理量を削減することができる。

また、本実施の形態では、補正情報生成部１０４は復号画像ＤＣＴ係数を用いて曲線Ｒを予測した上で閾値ＴＨ（Ｘ）を決定しているが、これに限られるものではない。例えば、閾値ＴＨ（Ｘ）をあらかじめ設定して用いても構わない。この場合、復号画像ＤＣＴ係数を用いる必要がないので、動画像符号化装置１００の構成において、局所復号部１１２、第２直交変換部１１４を含まない構成とすることが可能である。また、このとき、閾値ＴＨ（Ｘ）の情報を係数補正情報として出力してもよい。この場合、復号画像の画質を向上することができる。

また、本実施の形態では、入力画像ＤＣＴ係数を３つの領域に分類する例を示しているが、必ずしも３つの領域でなくともよい。例えば、ＴＨ（Ｘ）を複数用いることで、分類数を増やすことができ、復号画像の画質を向上することができる。

また、本実施の形態では、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄについては分類を行わないものとしているが、分類を行って分類情報に係数値Ａ〜Ｄの分類を含めても良い。これにより、更にＤＣＴ係数の符号量を削減することが可能となる。

また、分類情報をあらかじめ復号側で用意しておいてもよい。この場合、復号側で用意している分類情報と異なる場合にのみ、係数補正情報を出力することにより、係数補正情報１０５のデータ量を削減することができる。

また、復号側で用意しておく分類情報を複数もっていてもよい。この場合、復号側で用意した分類情報を特定する情報と、特定した分類情報と異なる場合の係数補正情報を出力することにより、係数補正情報１０５のデータ量を削減することができる。

また、本実施の形態では、直交変換に離散コサイン変換（ＤＣＴ）を用いたが、これに限られるものではない。例えば、離散ウェーブレット変換（ＤＷＴ）やアダマール変換（ＨＴ）を用いても構わない。

また、本実施の形態では、ＤＣＴ係数として入力画像ＤＣＴ係数をＡ〜Ｐの１６係数、復号画像ＤＣＴ係数をａ〜ｄの４係数で説明しているが、それぞれの変換係数はこれに限るものではない。

また、本実施の形態では、ダウンサンプリング部１０８は、あらかじめ決められた解像度に落とすとしているが、あらかじめ決めたれた解像度以外に落としてもよい。この場合、解像度の落とし方について係数補正情報に含めて出力すればよく、このようにすることで、画像の内容に合わせた解像度で表示することが可能である。

（変形例１）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報そのものではなく、分類情報を特定するための情報を係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

補正情報生成部１０４は、例えば図５（ａ）に示すような入力画像ＤＣＴ係数が分類されうる組み合わせと組み合わせ番号（ｉ１、ｉ２、…）とを対応付ける第１分類テーブル、および図５（ｂ）に示すような復号画像ＤＣＴ係数が分類されうる組み合わせと組み合わせ番号（ｄ１、ｄ２、…）とを対応付ける第２分類テーブルを有している。また、補正情報生成部１０４は、例えば図５（ｃ）に示すような入力画像ＤＣＴ係数に対する組み合わせ番号および復号画像ＤＣＴ係数に対する組み合わせ番号から特定の符号を決定するための符号テーブルを有している。なお、入力画像ＤＣＴ係数が分類されうる組み合わせについては全部で１６の３乗個の組み合わせが存在し、また復号画像ＤＣＴ係数が分類されうる組み合わせについては全部で４の３乗個の組み合わせが存在することになるが、これら２つのテーブルは、これらすべての組み合わせについて持つ必要はなく、例えば類似する組み合わせを１つの組み合わせとして扱っても構わない。また、符号テーブルは、入力画像ＤＣＴ係数が分類される組み合わせに対して復号画像ＤＣＴ係数が分類される組み合わせのどの組み合わせが起こり易いかという相関からあらかじめ符号を割り当てることができる。

図６は変形例１において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。なお、上記実施の形態１と同様である部分については説明を省略する。

入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ１０１）から入力画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかの分類（ステップＳ１０３）までの処理については、上記実施の形態１と同様である。次に、補正情報生成部１０４は、決定した閾値ＴＨ（Ｘ）を用いて上記（式１）により、入力画像ＤＣＴ係数１０３の場合と同様に復号画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかを分類する（ステップＳ２０１）。

図２（ｄ）は復号画像ＤＣＴ係数を決定したそれぞれに対応する閾値ＴＨ（Ｘ）を用いて３つに分類した一例を示す図である。例えば、この図２（ｄ）では、上記（式１）を満たした場合の係数値（ａ）を横線で示す分類（は）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が正の場合の係数値（ｂ、ｃ）を右上から左下方向の斜線で示す分類（い）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が負の場合の係数値（ｄ）を左上から右下方向の斜線で示す分類（ろ）としている。

次に、補正情報生成部１０４は、入力画像ＤＣＴ係数１０３を分類した結果から第１テーブルを参照して、入力画像ＤＣＴ係数に対する組み合わせ番号を決定する。また、補正情報生成部１０４は、復号画像ＤＣＴ係数１１５を分類した結果から第２テーブルを参照して、復号画像ＤＣＴ係数に対する組み合わせ番号を決定する（ステップＳ２０２）。次に、入力画像ＤＣＴ係数に対する組み合わせ番号および復号画像ＤＣＴ係数に対する組み合わせ番号からテーブルを参照して、特定の符号を決定する（ステップＳ２０３）。例えば、復号画像ＤＣＴ係数に対する組み合わせ番号が（ｄ２）で、入力画像ＤＣＴ係数の分類の組合せが（ｉ１）である場合には、図５（ｃ）に示す符号テーブルを参照して符号を（０）と決定する。そして、補正情報生成部１０４は、決定した符号を係数補正情報として出力する（ステップＳ２０４）。

以上のように、入力画像ＤＣＴ係数が分類された分類情報を特定するための符号を係数補正情報として出力しているので、係数補正情報のデータ量を削減することができる。この場合、復号側では、復号側で取得することが可能な復号画像ＤＣＴ係数に対する組み合わせ番号と、係数補正情報として取得する符号とを用いて、入力画像ＤＣＴ係数が分類される組み合わせを求めることができる。

なお、本変形例では、図５（ｃ）に示すように符号テーブルを１つ有する場合について説明しているが、これに限られるものではない。例えば、図５（ｄ）に示すように符号テーブルを複数有していてもよい。この場合、例えば、復号画像ＤＣＴ係数のａの係数値に応じて、符号テーブルを切替えてもよい。このようにすることで、さらに係数補正情報１０５のデータ量を削減することができる。

また、あらかじめ復号側と符号化側で共通の分類の組合せを保有しておいてもよい。この場合、係数補正情報としては、共通に保有している分類の組合せとの差分を送ればよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例２）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報ではなく、線形予測係数を係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

図７（ａ）は復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を算出することを示す模式図である。図７（ａ）では復号画像ＤＣＴ係数が係数値ａ〜ｄを、入力画像ＤＣＴ係数が係数値Ａ〜Ｐを有する場合を示している。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、図７（ａ）に示すように復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を出力するための線形予測係数を算出する。

図７（ｂ）は変形例２において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、図７（ａ）に示すように復号画像ＤＣＴ係数を用いて線形予測演算を行って、入力画像ＤＣＴ係数を出力するための線形予測係数を次の（式２）を用いて算出する（ステップＳ３０２）。

（式２）：
Ａ＝Ｘ１（Ａ）×ａ＋Ｘ２（Ａ）×ｂ＋Ｘ３（Ａ）×ｃ＋Ｘ４（Ａ）×ｄ
Ｂ＝Ｘ１（Ｂ）×ａ＋Ｘ２（Ｂ）×ｂ＋Ｘ３（Ｂ）×ｃ＋Ｘ４（Ｂ）×ｄ
…
Ｐ＝Ｘ１（Ｐ）×ａ＋Ｘ２（Ｐ）×ｂ＋Ｘ３（Ｐ）×ｃ＋Ｘ４（Ｐ）×ｄ
ここで、Ｘ１（Ｘ）〜Ｘ４（Ｘ）とは、位置Ｘの線形予測係数を示す。

次に、補正情報生成部１０４は、算出した線形予測係数を係数補正情報１０５として出力する（ステップＳ３０３）。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。

この場合、復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から、線形予測係数を用いて入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本変形例では、線形予測係数は、入力画像ＤＣＴ係数の全ての位置Ａ〜Ｐに対して係数補正情報として出力しているが、必ずしも入力画像ＤＣＴ係数の全ての位置に対して係数補正情報として出力しなくてもよい。例えば、位置Ａ〜Ｄの係数部分は、復号画像ＤＣＴ係数の係数から導出でき、この係数を含まないことにより、係数補正情報１０５のデータ量を削減することができる。また、入力画像ＤＣＴ係数値の絶対値が小さい場合には、線形予測係数を出力しないことにより、係数補正情報１０５のデータ量を削減することができる。

また、本変形例では、線形予測係数をブロックごとに算出して係数補正情報として出力しているが、これに限られるものではない。例えば、線形予測係数が似ているブロックを集めて、似ているブロックの情報と共に係数補正情報として出力してもよい。図７（ｃ）はこの場合において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、上記同様に線形予測係数を算出する（ステップＳ３０２）。次に、補正情報生成部１０４は、ブロック毎に算出した線形予測係数の類似性を判断し、係数を統合する（ステップＳ４０１）。このとき、類似性の判断基準としては、線形予測係数のユークリッド距離などを用いて、近い距離の係数を統合する。統合の方法としては、ユークリッド距離がある一定以上小さいもの平均値を用いる。補正情報生成部１０４は、この統合した線形予測係数と、ブロックの統合情報を係数補正情報１０５として出力する（ステップＳ４０２）。これにより、係数補正情報１０５のデータ量を削減することができる。

また、例えば復号画像ＤＣＴ係数が似ているブロックを集めて、似ているブロックの情報と共に係数補正情報として出力してもよい。図７（ｄ）はこの場合において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、ブロックごとの復号画像ＤＣＴ係数の類似性を判断し、グループ分けを行う（ステップＳ５０１）。このとき、類似性の判断基準としては、係数のユークリッド距離などを用いてグループ分けを行う。次に、補正情報生成部１０４は、このグループごとに、線形予測係数を算出する（ステップＳ５０２）。次に、補正情報生成部１０４は、この線形予測係数と、ブロックの統合情報とを係数補正情報１０５として出力する（ステップＳ５０３）。これにより、係数補正情報１０５のデータ量を削減することができる。

また、図７（ｄ）で説明した方法を用いる場合、符号化側と復号側とで、復号画像ＤＣＴ係数を同じ方法でグループ分けをすることにより、統合情報を係数補正情報として出力しなくてもよい。この場合、係数補正情報１０５のデータ量をさらに削減することができる。

また、本変形例において、あらかじめ復号側と符号化側とで共通の線形予測係数を保有しておき、係数補正情報として、算出した線形予測係数と共通に保有している線形予測係数との差分を送ってもよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例３）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報ではなく、補正用レベルを係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

補正情報生成部１０４は、所定の領域に含まれる複数のブロックの入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５についてそれぞれ周波数帯域毎の係数の集合に分け、それぞれの相関度合を算出し、算出した相関度合に応じて補正用のレベルを決定する。

図１０は変形例３において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。また、図８（ａ）は入力画像の所定の画像領域内のブロックを示し、図８（ｂ）はブロックの入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示し、図８（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。また、図９（ａ）は復号画像の所定の画像領域内のブロックを示し、図９（ｂ）はブロックの復号画像ＤＣＴ係数の係数値ａ〜ｄを示し、図９（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。

補正情報生成部１０４は、図８（ａ）、図９（ａ）に示すように所定の領域に含まれる複数（ここでは９個）のブロックの入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ６０１）すると、この複数のブロック分について図８（ｃ）、図９（ｃ）に示すように周波数帯域毎の係数の集合に分ける（ステップＳ６０２）。次に、補正情報生成部１０４は、入力画像側のそれぞれの係数の集合と復号画像側のそれぞれの係数の集合との類似性を示す相関度合を算出する（ステップＳ６０３）。例えば、係数Ａ１〜Ａ９の集合に対して係数ａ１〜ａ９の集合、係数ｂ１〜ｂ９の集合、係数ｃ１〜ｃ９の集合、係数ｄ１〜ｄ９の集合の相関度合を算出する。また、係数Ｂ１〜Ｂ９の集合〜係数Ｐ１〜Ｐ９の集合に対して同様にそれぞれ相関度合を算出する。次に、補正情報生成部１０４は、入力画像側のそれぞれの係数の集合と最も相関性のある復号画像側の係数の集合の位置を決定し、その相関度合に応じて、補正用のレベルを決定する（ステップＳ６０４）。この補正用のレベルは、例えば、相関度合が小さい場合には、０に近く、相関度合が高い場合には１に近くなる値である。そして、補正情報生成部１０４は、決定した集合の位置を示す情報および補正用レベルを係数補正情報１０５として出力する（ステップＳ６０５）。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。

この場合、復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から、集合の位置を示す情報および補正用レベルを用いて入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本変形例において、所定の領域のサイズについては、あらかじめ決めることに限らない。あらかじめ決めない場合には、係数補正情報として、所定の領域の取り方を出力する。このようにすることで、画像に応じた係数補正情報の生成が可能となり、復号画像の画質を向上することができる。

また、本変形例において、あらかじめ復号側と符号化側で共通の補正用のレベルを保有しておき、係数補正情報として、算出した補正用のレベルと共通に保有している補正用のレベルとの差分を送ってもよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例４）
図１１は、本発明の実施の形態１の変形例４に係る動画像符号化装置の構成を示すブロック図である。なお、上記実施の形態１と同様の構成については説明を省略する。

動画像符号化装置２００は、図１に示す動画像符号化装置１００の構成に対してローパスフィルタ１１６およびダウンサンプリング部１０８を備えていない。それ以外については動画像符号化装置１００と同様である。よって、符号化部１１０は、入力画像信号１０１をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。

このように、低域通過フィルタリング処理および解像度変換を用いないことにより、処理回路を単純化することができ、さらに係数補正情報を用いることで従来の符号化方式よりも復号画像を高画質化することが可能となる。

なお、本変形例４では、ローパスフィルタ１１６およびダウンサンプリング部１０８を備えていない構成としたが、これに限られるものではない。例えば、ローパスフィルタ１１６またはダウンサンプリング部１０８を備えない構成とすることも可能である。

次に、数補正情報の伝送方法について説明する。図１２は係数補正情報の伝送方法を説明するための図であり、（ａ）符号列および付加情報が別の符号列として伝送されている例を示す図、（ｂ）符号列中のピクチャヘッダの中に付加情報を組み込んだ例を示す図、（ｃ）符号列中のマクロブロックヘッダに付加情報を組み込んだ例を示す図である。

上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５は、可変長符号化部１０６によって可変長符号化されて、図１２（ａ）に示すように補正情報符号列１０７として、符号列１１１とは別に伝送される。この場合、符号列１１１は、付加情報である補正情報符号列１０７と全く無関係に伝送されるため、復号側が補正情報符号列１０７に対応していない場合にでも、問題がなく復号画像を得ることができる。また、補正情報符号列１０７に対応している動画像復号方法であれば、高域情報を復元できるため、復号画質を向上させることができる。また、補正情報符号列１０７は、符号列１１１と別の情報として伝送されるため、伝送装置により、伝送自体を止めることができ、帯域幅の狭い通信では、必要がないときには、伝送しないことが可能となる。

なお、係数補正情報の伝送方法については、上記のように符号列１１１とは別に補正情報符号列１０７として伝送する方法だけでなく、符号列１１１と組み合わせて伝送してもよい。

例えば、係数補正情報１０５は、図１２（ｂ）に示すように符号列１１１中のピクチャヘッダ１００３の中の自由にデータを入れることができる部分に組み込まれてもよい。ここで、自由にデータを入れることができる部分とは、標準規格の中でこの部分に入れた情報に対しては、特定の処理を行う、もしくは、処理を行わないという取り決めがされている領域を表し、例えば、ＭＰＥＧ規格のユーザデータと呼ばれる領域である。また、ピクチャヘッダとは、１ピクチャの画像に共通する情報などを入れる部分であり、１ピクチャに１つ付加されている情報である。

この場合、復号側で、係数補正情報１０５に対応していない場合にでも、問題がなく復号画像を得ることができる。また、係数補正情報１０５に対応している動画像復号方法であれば、高域情報を復元できるため、復号画質を向上させることができる。

なお、図１２（ｂ）では、ピクチャヘッダとして説明したが、これに限定するものではなく、動画像の先頭の情報領域であるシーケンスヘッダや、動画像の特定の区間の情報領域であるＧＯＰヘッダなど、自由にデータを入れることができる部分であればよい。

また、例えば、係数補正情報１０５は、図１２（ｃ）に示すように符号列１１１中のマクロブロックヘッダ１００４に組み込まれてもよい。ここで、マクロブロックヘッダとは、１ピクチャを構成する画像を特定の領域に分割し、その領域毎に１つずつ付加されている情報である。特定の領域とは、例えば１６×１６画素のサイズのブロックである。この領域毎のデータはマクロブロックデータ１００５に格納される。係数補正情報１０５は、必ずしも全ての領域に存在しないため、必要な部分にのみ組み込む。

この場合、必要な部分にのみ組み込むことができるため、伝送する情報量を減らすことができる。

以上のような係数補正情報の伝送方法を用いることにより、さらに伝送する情報量を減らすことができる、または、復号側が対応していない場合など、実用上で有用な伝送が可能となる。

なお、上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５は、可変長符号化されて補正情報符号列１０７として伝送されると説明しているが、常に補正情報符号列１０７を伝送しなくてもよい。例えば、復号側で補正が必要であると判断したときにだけ、係数補正情報１０５を送っても良い。このとき、符号化列１１１に係数補正情報１０５を含むことを示す情報を付加する。情報の付加方法としては、図１２に示す伝送方法と同様である。このようにすることで、符号化列１１１を復号する際に、特定領域において、係数補正情報が付加されていることを容易に判別することができるため、回路規模を削減することができ、且つ、画質を改善することができる。

また、上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５について、複数の方式について個別に説明したが、これらの方式について複数を用いても良い。例えば、補正情報符号列１０７に係数補正情報の種別を示す情報を付加すれば、復号側でどのように係数補正情報を用いてよいかを容易に判断することができる。また、ブロック毎に異なる係数補正情報の種別を示す情報を補正情報符号列１０７に組み込むことができるため、画質の向上を実現することができる。また、ここでは補正情報符号列１０７に係数補正情報の種別を示す情報を付加することについて説明したが、これに限られるものではない。例えば、符号化列１１１に係数補正情報の種別を示してもよい。この場合には、復号時に係数補正情報の種類を判断することができる。なお、係数補正情報の記録されている場所の情報を符号化列１１１に含んでもよい。この場合には、符号化列と係数補正情報が別々に管理している場合の情報のやり取りを容易に行うことができる。

また、上記変形例１〜４を含む本実施の形態１では、解像度変換を行わない場合についても説明しているが、例えば、解像度変換を行うかどうかの情報や、どのサイズに変換するかの情報を補正情報符号列１０７に記録してもよい。この場合、画像の種類毎に解像度を変えることが可能となり、画像の特徴に応じて画質の向上を実現することができる。なお、解像度変換に関する情報は、補正情報符号列１０７に記録することには限らず、符号化列１１１に含んでもよい。なお、解像度変換を行うかどうかの情報を用いて、出力画像の画像処理方法を変えても良い。例えば、解像度変換を行う場合、その処理単位でのノイズ低減フィルタをかけることにより、より高画質な出力画像を得ることができる。

（実施の形態２）
図１３は、本発明の実施の形態２に係る動画像復号装置の構成を示すブロック図である。

動画像復号装置７００は、動画像信号が圧縮符号化された符号列を復号するための装置であり、図１３に示すように可変長復号部７０２、復号部７０５、直交変換部７０７、係数補正部７０９、逆直交変換部７１１を備えている。

可変長復号部７０２は、補正情報符号列７０１を可変長復号し、係数補正情報７０３を出力する。復号部７０５は、符号列７０４をあらかじめ決められた方式により、動画像復号を行い、復号画像信号７０６を出力する。直交変換部７０７は、復号画像信号７０６を離散コサイン変換することにより、復号画像ＤＣＴ係数７０８を出力する。係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を出力する。逆直交変換部７１１は、補正ＤＣＴ係数７１０を逆離散コサイン変換することにより、出力画像７１２を出力する。

次に、上記のように構成された動画像復号装置７００の動作について説明する。

補正情報符号列７０１は可変長復号部７０２へ、符号列７０４は復号部７０５へ、それぞれ入力される。可変長復号部７０２は、補正情報符号列７０１を可変長復号し、係数補正情報７０３を求める。一方、復号部７０５は、符号列７０４をあらかじめ決められた方式により復号し、復号画像信号７０６を出力する。直交変換部７０７は、復号により得られた復号画像信号７０６を離散コサイン変換し、復号画像ＤＣＴ係数７０８を求める。次に、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を出力する。

図１４（ａ）は係数補正部７０９でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。

係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８１０１）すると、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を算出する（ステップＳ８１０２）。そして、係数補正部７０９は、算出した補正ＤＣＴ係数を出力する（ステップＳ８１０３）。

そして、逆直交変換部７１１は、補正ＤＣＴ係数７１０を逆離散コサイン変換することにより、出力画像７１２を出力する。

このように、復号画像信号を離散コサイン変換し、係数補正情報を用いてＤＣＴ係数を補正し、逆離散コサイン変換することにより、復号画像信号の画質を向上することができる。

次に、解像度変換に関する判断を含む場合の係数補正部の動作について説明する。なお、ここで解像度変換を行う場合は、解像度を水平方向、垂直方向にそれぞれ２倍ずつに拡大するものとする。

図１４（ｂ）は解像度変換に関する判断を含む場合における係数補正部７０９でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。また、図１５は補正ＤＣＴ係数の算出について説明するための図であり、（ａ）解像度変換を行わない場合の例、（ｂ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含まず、解像度変換を行う場合の例、（ｃ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含み、解像度変換を行う場合の例である。図１５で、左側に示すのは、復号画像ＤＣＴ係数であり、右側は補正ＤＣＴ係数である。

係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８２０１）すると、解像度変換に関する情報が係数補正情報に含まれるか否かを判断する（ステップＳ８２０２）。ここで、解像度変換の情報が係数補正情報に含まれる、または、あらかじめ解像度変換を行うことが決められている場合（ステップＳ８２０２でＹｅｓ）、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、図１５（ｃ）に示すように復号画像ＤＣＴ係数７０８には存在しない高周波数帯域のＤＣＴ係数Ｅ〜Ｐを生成する（ステップＳ８２０３）。さらに、係数補正部７０９は、係数補正情報を用いて、復号画像ＤＣＴ係数を補正し、低周波数帯域のＤＣＴ係数Ａ〜Ｄを算出する（ステップＳ８２０４）。そして、係数補正部７０９は、生成および補正した補正ＤＣＴ係数Ａ〜Ｐを出力する（ステップＳ８２０６）。なお、復号画像ＤＣＴ係数を補正するための情報を含まない場合には、低周波数帯域のＤＣＴ係数Ａ〜Ｄを算出は行わず、図１５（ｂ）に示すように復号画像ＤＣＴ係数ａ〜ｄ、および生成したＤＣＴ係数Ｅ〜Ｐで構成される補正ＤＣＴ係数を出力する。

一方、解像度変換を行わない場合（ステップＳ８２０２でＮｏ）には、図１５（ａ）に示すように係数補正情報を用いて復号画像ＤＣＴ係数を補正し、（ステップＳ８２０５）、補正ＤＣＴ係数を出力する（ステップＳ８２０６）。

このように、解像度に関する情報により、係数補正情報に基づいてＤＣＴ係数を生成することで、さらに高画質に解像度変換をし、復号画像信号を高画質にすることができる。

次に、係数補正情報１０５に、実施の形態１で説明したＤＣＴ係数の分類情報が含まれている場合、線形予測係数が含まれている場合、相関関係情報が含まれている場合のそれぞれについて、係数補正部７０９の具体的な動作を説明する。

図１６（ａ）は係数補正情報１０５にＤＣＴ係数の分類情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は分類情報からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８３０１）すると、係数補正情報からＤＣＴ係数の分類情報を取得する。次に、係数補正部７０９は、復号画像ＤＣＴ係数７０８に基づいて、上記実施の形態１の動画像符号化装置１００の場合と同様に、図４（ｄ）に示すように曲線Ｒ、曲線Ｒ’を予測し、ＤＣＴ係数の周波数帯域ごとに閾値ＴＨ（Ｘ）を決定する。次に、補正情報生成部１０４は、分類情報および閾値ＴＨ（Ｘ）を用いて、次に示す（式３）により、補正ＤＣＴ係数を算出する（ステップＳ８３０２）。なお、（式３）は分類が３つである場合の例である。

（式３）：
（分類イ）ＣＯＥＦＦ（Ｘ）＝ ＴＨ（Ｘ）×α
（分類ロ）ＣＯＥＦＦ（Ｘ）＝−ＴＨ（Ｘ）×α
（分類ハ）ＣＯＥＦＦ（Ｘ）＝ ０
ここで、ＣＯＥＦＦ（Ｘ）は、位置ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示す。また、αは定数を示す。

そして、補正情報生成部１０４は、算出したＤＣＴ係数を補正ＤＣＴ係数として出力する（ステップＳ８３０３）。

なお、閾値ＴＨ（Ｘ）が係数補正情報に含まれている場合には、復号画像ＤＣＴ係数７０８から決定する必要はない。また、定数αについては、ＤＣＴの処理ブロック毎に異なる値を用いてもよい。この場合、復号画像の画質を向上することができる。

また、ＤＣＴ係数の分類情報が、上記実施の形態の変形例１で説明したような符号として得られる場合には、図５（ａ）に示すような第１分類テーブル、図５（ｂ）に示すような第２分類テーブル、および図５（ｃ）に示す符号テーブルを参照することによって、分類を特定し、補正ＤＣＴ係数を算出する。

図１７（ａ）は係数補正情報１０５に線形予測係数が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は線形予測係数からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８４０１）すると、係数補正情報から復号画像ＤＣＴ係数の各係数にかける線形予測係数を取得する。次に、係数補正部７０９は、この線形予測係数を用いて次に示す（式４）により、補正ＤＣＴ係数を算出する（ステップＳ８４０２）。

（式４）：
Ａ＝Ｔａ（Ａ）×ａ＋Ｔｂ（Ａ）×ｂ＋Ｔｃ（Ａ）×ｃ＋Ｔｄ（Ａ）×ｄ
Ｂ＝Ｔａ（Ｂ）×ａ＋Ｔｂ（Ｂ）×ｂ＋Ｔｃ（Ｂ）×ｃ＋Ｔｄ（Ｂ）×ｄ
…
Ｐ＝Ｔａ（Ｐ）×ａ＋Ｔｂ（Ｐ）×ｂ＋Ｔｃ（Ｐ）×ｃ＋Ｔｄ（Ｐ）×ｄ
ここで、Ｔａ（Ｘ）〜Ｔｄ（Ｘ）は、位置Ｘの線形予測係数を示す。

そして、補正情報生成部１０４は、算出したＤＣＴ係数を補正ＤＣＴ係数として出力する（ステップＳ８４０３）。

なお、実施の形態１の変形例２の場合と同様にグループ分けが行われ、係数補正情報にブロックの統合情報が含まれている場合、このブロックの統合情報を用いてグループ分けを行い、グループ毎に含まれるＴａ（Ｘ）〜Ｔｄ（Ｘ）を取得し、ＤＣＴ係数を補正する。

また、あらかじめグループ分けを行うことが決められて実施の形態１の変形例２の図７（ｄ）で説明した方法が用いられて、係数補正情報にブロックの統合情報が含まれていない場合、実施の形態１の変形例２の図７（ｄ）で説明した方法と同様にグループ分けを行い、グループ毎に含まれるＴａ（Ｘ）〜Ｔｄ（Ｘ）を取得し、ＤＣＴ係数を補正する。

図１８（ａ）は係数補正情報１０５に相関関係情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は相関関係情報からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８４０１）すると、係数補正情報から特定領域の情報と、その領域内での、復号ＤＣＴ係数間の相関関係情報ｘ（Ｘ）、および、補正レベルの情報Ｌ（Ｘ）を取得する。これは、係数の位置Ｘに対する補正ＤＣＴ係数が復号画像ＤＣＴ係数ｘと相関関係にあり、補正のレベルがＬ（Ｘ）であるということを意味している。例えば、係数位置Ｐの補正ＤＣＴ係数が、復号画像ＤＣＴ係数のｂと相関関係にあり、補正レベルがＬ（Ｐ）であるという情報が係数補正情報に含まれている場合、係数位置Ｐの補正ＤＣＴ係数は、次に示す（式５）で算出される。

Ｐ＝Ｌ（Ｐ）×ｂ（Ｐ） …（式５）
このように、係数補正部７０９は、補正するＤＣＴ係数に対して、相関関係にある復号画像ＤＣＴ係数を複製し、レベルを補正するという処理を、全てのＤＣＴ係数に対して行う（ステップＳ８５０２）。

そして、補正情報生成部１０４は、このようにすることにより求めた補正ＤＣＴ係数を出力する（ステップＳ８４０３）。

以上のように、係数補正情報により、復号画像ＤＣＴ係数を補正することにより、より高画質な復号画像を得ることが可能となる。

なお、本実施の形態では、水平方向に２倍、垂直方向に２倍の解像度変換のある場合の説明図を用いて説明しているが、必ずしも解像度変換する必要はない。また、解像度の拡大比率もこれに限定するものではない。

また、係数補正情報の種類ごとの処理方法を個別に説明しているが、必ずしも一種類の係数補正情報だけが含まれるとは限らない。この場合、係数補正情報の種類を特定する情報を元に、処理を切り替えることにより、係数補正情報にあわせた、ＤＣＴ係数の補正処理を行うことができる。

（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化方法及び動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９は、上記各実施の形態の動画像符号化方法及び動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１９（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法及び動画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法及び動画像復号方法を実現する上記動画像符号化方法及び動画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
さらにここで、上記実施の形態で示した動画像符号化方法及び動画像復号方法の応用例とそれを用いたシステムを説明する。

図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化部あるいは画像復号部を用いるようにすればよい。
その一例として携帯電話について説明する。

図２１は、上記実施の形態で説明した動画像符号化方法及び動画像復号方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図２２を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化部を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化部に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化部または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化部で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図２２に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法及び動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

また、図１、図１１、および図１３に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る動画像符号化方法及び動画像復号方法は、低ビットレートで高画質な符号化と復号ができるという効果を有し、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等を用いた蓄積、伝送、通信等における動画像符号化方法及び動画像復号方法として有用である。

本発明は、動画像信号を圧縮符号化する動画像符号化方法、及び動画像信号が圧縮符号化された符号列を復号する動画像復号方法に関するものである。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、動画像信号を低ビットレートで符号化し伝送することを目的として利用されている技術として、動画像符号化という技術が知られている。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、符号化に際して、予測画像を作り、予測画像と符号化画像の差分情報を直交変換、量子化を行った情報と、予測画像作成のための情報を抽出し、エントロピー符号化を用いて圧縮符号化する方式であり、蓄積系や放送系の分野で用いられている。

さらに、高画質化した新しい標準方式は、これら既存の標準方式との相互接続性（コンパチビリティ）を持つことが課題として挙げられる。コンパチビリティには、新しい標準方式の符号列の一部を、既存方式のデコーダが復号できる方法がある。このような方法として、解像度を階層的に有し、低解像度画像部分を既存方式、高解像度画像部分を新規方式とすることで再生画像を得る方法が提案されている（例えば、特許文献１参照）。
特開平５―３０８６３１号公報

しかしながら、上記の方法のように高解像度画像の差分情報を符号化すると、高解像度化に必要なデータ量が多くなる問題がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、高解像度化に必要なデータ量を抑えつつ、高解像度化および高画質化を実現することができる動画像符号化方法および動画像復号方法を提供することを目的とする。

上記目的を達成するため、本発明に係る動画像符号化方法は、動画像信号を圧縮符号化する動画像符号化方法であって、前記動画像信号を圧縮符号化することにより符号列を出力するとともに、前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、前記係数補正情報を前記符号列の付加情報として出力することを特徴とする。

これによって、高解像度化に必要なデータ量を抑えつつ、高解像度化および高画質化を実現することができる。

ここで、前記動画像符号化方法は、さらに、前記動画像信号の低周波成分で構成される低域動画像信号を生成し、前記低域動画像信号を圧縮符号化することにより前記符号列を出力してもよい。

また、前記動画像符号化方法は、さらに、前記動画像信号を所定の解像度にダウンサンプリングした縮小画像信号を生成し、前記縮小画像信号を圧縮符号化することにより前記符号列を出力してもよい。

また、前記動画像符号化方法は、さらに、前記符号列を仮復号することにより仮復号画像信号を生成し、前記仮復号画像信号を直交変換することにより仮復号直交変換係数を求め、前記直交変換係数および前記仮復号直交変換係数に基づいて前記係数補正情報を生成してもよい。これによって、復号画像の画質を向上することができる。

また、前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す分類情報であり、前記値領域を分けるための閾値を前記仮復号直交変換係数に基づいて決定し、前記直交変換係数が前記値領域のいずれに属するかを前記閾値に基づいて決定することにより、前記分類情報を生成してもよい。

また、前記係数補正情報は、前記仮復号直交変換係数から前記直交変換係数を予測するための線形予測係数であり、前記直交変換係数および前記仮復号直交変換係数に基づいて前記線形予測係数を決定することにより、前記係数補正情報を生成してもよい。

また、前記係数補正情報は、前記仮復号直交変換係数と前記直交変換係数との相関関係を表す情報であり、前記直交変換の単位であるブロック複数個でまとめた前記直交変換係数および前記仮復号直交変換係数のそれぞれ周波数帯域ごとの係数の集合について、それぞれ相関度を算出することにより、前記係数補正情報を生成してもよい。

また、本発明に係る動画像復号方法は、動画像信号が圧縮符号化された符号列を復号する動画像復号方法であって、前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、前記符号列を復号することにより第１の動画像信号を生成し、前記第１の動画像信号を直交変換することにより復号直交変換係数を求め、前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求め、前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力することを特徴とする。

これによって、少ないデータ量の係数補正情報を用いて復号画像信号の画質を向上することができる。

また、前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報であり、前記値領域を分けるための閾値を前記復号直交変換係数に基づいて決定し、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報および前記閾値により、前記補正直交変換係数を求めてもよい。

また、前記係数補正情報は、求めるべき直交変換係数を予測するための線形予測係数であり、前記線形予測係数を用いて前記復号直交変換係数から前記補正直交変換係数を算出してもよい。

また、前記係数補正情報は、求めるべき直交変換係数および前記復号直交変換係数のそれぞれ周波数帯域ごとの係数を前記直交変換の単位であるブロック複数個でまとめた集合における相関関係を表す情報であり、前記ブロック複数個分の前記復号直交変換係数の周波数帯域ごとの係数の集合から、前記相関関係を表す情報に基づいて、前記ブロック複数個でまとめられた周波数帯域ごとの係数の集合を求めることで、前記補正直交変換係数を求めてもよい。

また、前記直交変換係数から前記係数補正情報を用いて所定個数の未知の直交変換係数を生成することにより、個数を増加させた直交変換係数を前記補正直交変換係数として求め、前記補正直交変換係数を逆直交変換することにより所定の解像度に上げた動画像信号を前記第２の動画像信号として出力してもよい。これによって、高解像度化および高画質化を実現することができる。

なお、本発明は、このような動画像符号化方法および動画像復号方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号方法が備える特徴的なステップを手段とする動画像符号化装置および動画像復号装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る動画像符号化方法および動画像復号方法によれば、低ビットレートで高画質な符号列の生成が可能となり、さらに低ビットレートで復号画像の高解像度化および高画質化を実現することができ、その実用的価値が高い。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。

動画像符号化装置１００は、動画像信号を圧縮符号化するための装置であり、図１に示すように第１直交変換部１０２、補正情報生成部１０４、可変長符号化部１０６、ダウンサンプリング部１０８、符号化部１１０、局所復号部１１２、第２直交変換部１１４、およびローパスフィルタ１１６を備えている。

第１直交変換部１０２は、入力画像信号１０１を離散コサイン変換（ＤＣＴ）し、入力画像ＤＣＴ係数１０３を出力する。ローパスフィルタ１１６は、入力画像信号１０１に対して低域通過フィルタリング処理を行うことにより、画像信号の高周波数領域のデータを抑圧し、低域画像信号１１７を出力する。ダウンサンプリング部１０８は、低域画像信号１１７の解像度をあらかじめ決められた解像度にダウンサンプリングし、縮小画像信号１０９を出力する。符号化部１１０は、縮小画像信号１０９をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。局所復号部１１２は、符号列１１１を符号化部１１０の符号化方式に応じて復号し、復号画像信号１１３を出力する。第２直交変換部１１４は、復号画像信号１１３を離散コサイン変換し、復号画像ＤＣＴ係数１１５を出力する。補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報１０５を生成する。可変長符号化部１０６は、係数補正情報１０５を可変長符号化することにより、符号列１１１の付加情報として補正情報符号列１０７を出力する。

次に、上記のように構成された動画像符号化装置１００の動作について説明する。図２（ａ）は入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示す図であり、図２（ｂ）は復号画像ＤＣＴ係数の係数値ａ〜ｄを示す図である。

入力画像信号１０１は、第１直交変換部１０２およびローパスフィルタ１１６に入力される。第１直交変換部１０２は、入力された入力画像信号１０１を離散コサイン変換し、入力画像ＤＣＴ係数１０３を出力する。ここで、例えば離散コサイン変換を４×４画素単位のブロックで行うとすると、第１直交変換部１０２は、図２（ａ）に示すように入力画像ＤＣＴ係数の係数値Ａ〜Ｐを出力する。

一方、ローパスフィルタ１１６は、入力された入力画像信号１０１に対して低域通過フィルタリング処理を行うことにより、入力画像信号１０１の高周波数領域のデータを抑圧し、低域画像信号１１７を出力する。次に、ダウンサンプリング部１０８は、低域画像信号１１７の解像度をあらかじめ決められた解像度にダウンサンプリングし、縮小画像信号１０９を出力する。ここでは、水平方向および垂直方向それぞれ１／２に縮小するものとする。符号化部１１０は、縮小画像信号１０９をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。局所復号部１１２は、符号列１１１を符号化部１１０の符号化方式に応じて復号し、復号画像信号１１３を出力する。第２直交変換部１１４は、復号画像信号１１３を離散コサイン変換し、復号画像ＤＣＴ係数１１５を出力する。ここで、復号画像信号１１３は、低域画像信号１１７を水平方向および垂直方向それぞれ１／２に縮小した画像信号であるので、例えば離散コサイン変換を２×２画素単位で行うとすると、第２直交変換部１１４は、図２（ｂ）に示すように復号画像ＤＣＴ係数の係数値ａ〜ｄを出力する。なお、この復号画像ＤＣＴ係数の係数値ａ〜ｄは、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄに相当する部分であり、値もほぼ同じ値となる。次に、補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、符号列の復号時に用いられる係数補正情報１０５を生成する。

図３は補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ１０１）すると、復号画像ＤＣＴ係数１１５に基づいて、入力画像ＤＣＴ係数１０３がとりうる値の領域を例えば図４（ａ）に示すように所定数の領域に分けるための閾値ＴＨ（Ｘ）をブロックごとに決定する（ステップＳ１０２）。この図４（ａ）に示す例では、１つの閾値ＴＨ（Ｘ）を決定し、３つの領域（い）、領域（ろ）、領域（は）に分けている。ここで、ＣＯＥＦＦ（Ｘ）は、位置（周波数帯域）ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示している。

一般に、ＤＣＴ係数（ＣＯＥＦＦ）の絶対値は、図４（ｂ）に示す曲線Ｒのように周波数が高くなるにしたがって減衰する。よって、復号画像ＤＣＴ係数１１５を用いて曲線Ｒを予測することができる。実際には、ＤＣＴ係数（ＣＯＥＦＦ）は、図４（ｃ）に示すように離散値を取るため、図４（ｄ）に示すように曲線Ｒ、曲線Ｒ’を予測し、ＤＣＴ係数の周波数帯域ごとに閾値ＴＨ（Ｘ）を決定する。

次に、補正情報生成部１０４は、決定した閾値ＴＨ（Ｘ）を用いて次に示す（式１）により、入力画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかを分類する（ステップＳ１０３）。なお、本実施の形態では、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄについては分類を行わないものとする。

｜ＣＯＥＦＦ（Ｘ）｜ ＜ ＴＨ（Ｘ） …（式１）
ここで、ＣＯＥＦＦ（Ｘ）は、位置ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示す。また、記号｜｜は絶対値を示す。

図２（ｃ）は入力画像ＤＣＴ係数を決定したそれぞれに対応する閾値ＴＨ（Ｘ）を用いて３つに分類した一例を示す図である。例えば、この図２（ｃ）では、上記（式１）を満たした場合の係数値（Ｇ、Ｉ、Ｏ）を横線で示す分類（は）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が正の場合の係数値（Ｆ、Ｊ、Ｌ）を右上から左下方向の斜線で示す分類（い）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が負の場合の係数値（Ｅ、Ｈ、Ｋ、Ｍ、Ｎ、Ｐ）を左上から右下方向の斜線で示す分類（ろ）としている。

次に、補正情報生成部１０４は、このように決定した３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかという分類情報を係数補正情報１０５として出力する（ステップＳ１０４）。

そして、可変長符号化部１０６は、係数補正情報１０５を可変長符号化することにより、補正情報符号列１０７を出力する。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。また、閾値ＴＨ（Ｘ）をブロックごとに決定しているので、ブロック内の画像に適した閾値ＴＨ（Ｘ）にすることができ、復号画像の画質を向上することができる。

この場合、後述する復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から曲線Ｒ、曲線Ｒ’を予測し、補正情報符号列１０７から得られる分類情報により、入力画像ＤＣＴ係数の高周波数帯域の係数である係数値Ｅ〜Ｐを特定して、入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本実施の形態では、補正情報生成部１０４は位置Ｘに対応した閾値ＴＨ（Ｘ）をＤＣＴ処理するブロックごとに決定しているが、これに限られるものではない。例えば、補正情報生成部１０４は、４ブロックごとやピクチャごとに閾値ＴＨ（Ｘ）を決定することで、処理量を削減することができる。

また、本実施の形態では、補正情報生成部１０４は復号画像ＤＣＴ係数を用いて曲線Ｒを予測した上で閾値ＴＨ（Ｘ）を決定しているが、これに限られるものではない。例えば、閾値ＴＨ（Ｘ）をあらかじめ設定して用いても構わない。この場合、復号画像ＤＣＴ係数を用いる必要がないので、動画像符号化装置１００の構成において、局所復号部１１２、第２直交変換部１１４を含まない構成とすることが可能である。また、このとき、閾値ＴＨ（Ｘ）の情報を係数補正情報として出力してもよい。この場合、復号画像の画質を向上することができる。

また、本実施の形態では、入力画像ＤＣＴ係数を３つの領域に分類する例を示しているが、必ずしも３つの領域でなくともよい。例えば、ＴＨ（Ｘ）を複数用いることで、分類数を増やすことができ、復号画像の画質を向上することができる。

また、本実施の形態では、入力画像ＤＣＴ係数の低周波数帯域の係数である係数値Ａ〜Ｄについては分類を行わないものとしているが、分類を行って分類情報に係数値Ａ〜Ｄの分類を含めても良い。これにより、更にＤＣＴ係数の符号量を削減することが可能となる。

また、分類情報をあらかじめ復号側で用意しておいてもよい。この場合、復号側で用意している分類情報と異なる場合にのみ、係数補正情報を出力することにより、係数補正情報１０５のデータ量を削減することができる。

また、復号側で用意しておく分類情報を複数もっていてもよい。この場合、復号側で用意した分類情報を特定する情報と、特定した分類情報と異なる場合の係数補正情報を出力することにより、係数補正情報１０５のデータ量を削減することができる。

また、本実施の形態では、直交変換に離散コサイン変換（ＤＣＴ）を用いたが、これに限られるものではない。例えば、離散ウェーブレット変換（ＤＷＴ）やアダマール変換（ＨＴ）を用いても構わない。

また、本実施の形態では、ＤＣＴ係数として入力画像ＤＣＴ係数をＡ〜Ｐの１６係数、復号画像ＤＣＴ係数をａ〜ｄの４係数で説明しているが、それぞれの変換係数はこれに限るものではない。

また、本実施の形態では、ダウンサンプリング部１０８は、あらかじめ決められた解像度に落とすとしているが、あらかじめ決めたれた解像度以外に落としてもよい。この場合、解像度の落とし方について係数補正情報に含めて出力すればよく、このようにすることで、画像の内容に合わせた解像度で表示することが可能である。

（変形例１）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報そのものではなく、分類情報を特定するための情報を係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

補正情報生成部１０４は、例えば図５（ａ）に示すような入力画像ＤＣＴ係数が分類されうる組み合わせと組み合わせ番号（ｉ１、ｉ２、…）とを対応付ける第１分類テーブル、および図５（ｂ）に示すような復号画像ＤＣＴ係数が分類されうる組み合わせと組み合わせ番号（ｄ１、ｄ２、…）とを対応付ける第２分類テーブルを有している。また、補正情報生成部１０４は、例えば図５（ｃ）に示すような入力画像ＤＣＴ係数に対する組み合わせ番号および復号画像ＤＣＴ係数に対する組み合わせ番号から特定の符号を決定するための符号テーブルを有している。なお、入力画像ＤＣＴ係数が分類されうる組み合わせについては全部で１６の３乗個の組み合わせが存在し、また復号画像ＤＣＴ係数が分類されうる組み合わせについては全部で４の３乗個の組み合わせが存在することになるが、これら２つのテーブルは、これらすべての組み合わせについて持つ必要はなく、例えば類似する組み合わせを１つの組み合わせとして扱っても構わない。また、符号テーブルは、入力画像ＤＣＴ係数が分類される組み合わせに対して復号画像ＤＣＴ係数が分類される組み合わせのどの組み合わせが起こり易いかという相関からあらかじめ符号を割り当てることができる。

図６は変形例１において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。なお、上記実施の形態１と同様である部分については説明を省略する。

入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ１０１）から入力画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかの分類（ステップＳ１０３）までの処理については、上記実施の形態１と同様である。次に、補正情報生成部１０４は、決定した閾値ＴＨ（Ｘ）を用いて上記（式１）により、入力画像ＤＣＴ係数１０３の場合と同様に復号画像ＤＣＴ係数１０３を３つの領域（い）、領域（ろ）、領域（は）のいずれに属するかを分類する（ステップＳ２０１）。

図２（ｄ）は復号画像ＤＣＴ係数を決定したそれぞれに対応する閾値ＴＨ（Ｘ）を用いて３つに分類した一例を示す図である。例えば、この図２（ｄ）では、上記（式１）を満たした場合の係数値（ａ）を横線で示す分類（は）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が正の場合の係数値（ｂ、ｃ）を右上から左下方向の斜線で示す分類（い）、上記（式１）を満たさず、かつ、ＣＯＥＦＦ（Ｘ）が負の場合の係数値（ｄ）を左上から右下方向の斜線で示す分類（ろ）としている。

次に、補正情報生成部１０４は、入力画像ＤＣＴ係数１０３を分類した結果から第１テーブルを参照して、入力画像ＤＣＴ係数に対する組み合わせ番号を決定する。また、補正情報生成部１０４は、復号画像ＤＣＴ係数１１５を分類した結果から第２テーブルを参照して、復号画像ＤＣＴ係数に対する組み合わせ番号を決定する（ステップＳ２０２）。次に、入力画像ＤＣＴ係数に対する組み合わせ番号および復号画像ＤＣＴ係数に対する組み合わせ番号からテーブルを参照して、特定の符号を決定する（ステップＳ２０３）。例えば、復号画像ＤＣＴ係数に対する組み合わせ番号が（ｄ２）で、入力画像ＤＣＴ係数の分類の組合せが（ｉ１）である場合には、図５（ｃ）に示す符号テーブルを参照して符号を（０）と決定する。そして、補正情報生成部１０４は、決定した符号を係数補正情報として出力する（ステップＳ２０４）。

以上のように、入力画像ＤＣＴ係数が分類された分類情報を特定するための符号を係数補正情報として出力しているので、係数補正情報のデータ量を削減することができる。この場合、復号側では、復号側で取得することが可能な復号画像ＤＣＴ係数に対する組み合わせ番号と、係数補正情報として取得する符号とを用いて、入力画像ＤＣＴ係数が分類される組み合わせを求めることができる。

なお、本変形例では、図５（ｃ）に示すように符号テーブルを１つ有する場合について説明しているが、これに限られるものではない。例えば、図５（ｄ）に示すように符号テーブルを複数有していてもよい。この場合、例えば、復号画像ＤＣＴ係数のａの係数値に応じて、符号テーブルを切替えてもよい。このようにすることで、さらに係数補正情報１０５のデータ量を削減することができる。

また、あらかじめ復号側と符号化側で共通の分類の組合せを保有しておいてもよい。この場合、係数補正情報としては、共通に保有している分類の組合せとの差分を送ればよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例２）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報ではなく、線形予測係数を係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

図７（ａ）は復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を算出することを示す模式図である。図７（ａ）では復号画像ＤＣＴ係数が係数値ａ〜ｄを、入力画像ＤＣＴ係数が係数値Ａ〜Ｐを有する場合を示している。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５に基づいて、図７（ａ）に示すように復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を出力するための線形予測係数を算出する。

図７（ｂ）は変形例２において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、図７（ａ）に示すように復号画像ＤＣＴ係数を用いて線形予測演算を行って、入力画像ＤＣＴ係数を出力するための線形予測係数を次の（式２）を用いて算出する（ステップＳ３０２）。

（式２）：
Ａ＝Ｘ１（Ａ）×ａ＋Ｘ２（Ａ）×ｂ＋Ｘ３（Ａ）×ｃ＋Ｘ４（Ａ）×ｄ
Ｂ＝Ｘ１（Ｂ）×ａ＋Ｘ２（Ｂ）×ｂ＋Ｘ３（Ｂ）×ｃ＋Ｘ４（Ｂ）×ｄ
…
Ｐ＝Ｘ１（Ｐ）×ａ＋Ｘ２（Ｐ）×ｂ＋Ｘ３（Ｐ）×ｃ＋Ｘ４（Ｐ）×ｄ
ここで、Ｘ１（Ｘ）〜Ｘ４（Ｘ）とは、位置Ｘの線形予測係数を示す。

次に、補正情報生成部１０４は、算出した線形予測係数を係数補正情報１０５として出力する（ステップＳ３０３）。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。

この場合、復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から、線形予測係数を用いて入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本変形例では、線形予測係数は、入力画像ＤＣＴ係数の全ての位置Ａ〜Ｐに対して係数補正情報として出力しているが、必ずしも入力画像ＤＣＴ係数の全ての位置に対して係数補正情報として出力しなくてもよい。例えば、位置Ａ〜Ｄの係数部分は、復号画像ＤＣＴ係数の係数から導出でき、この係数を含まないことにより、係数補正情報１０５のデータ量を削減することができる。また、入力画像ＤＣＴ係数値の絶対値が小さい場合には、線形予測係数を出力しないことにより、係数補正情報１０５のデータ量を削減することができる。

また、本変形例では、線形予測係数をブロックごとに算出して係数補正情報として出力しているが、これに限られるものではない。例えば、線形予測係数が似ているブロックを集めて、似ているブロックの情報と共に係数補正情報として出力してもよい。図７（ｃ）はこの場合において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、上記同様に線形予測係数を算出する（ステップＳ３０２）。次に、補正情報生成部１０４は、ブロック毎に算出した線形予測係数の類似性を判断し、係数を統合する（ステップＳ４０１）。このとき、類似性の判断基準としては、線形予測係数のユークリッド距離などを用いて、近い距離の係数を統合する。統合の方法としては、ユークリッド距離がある一定以上小さいもの平均値を用いる。補正情報生成部１０４は、この統合した線形予測係数と、ブロックの統合情報を係数補正情報１０５として出力する（ステップＳ４０２）。これにより、係数補正情報１０５のデータ量を削減することができる。

また、例えば復号画像ＤＣＴ係数が似ているブロックを集めて、似ているブロックの情報と共に係数補正情報として出力してもよい。図７（ｄ）はこの場合において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。

補正情報生成部１０４は、入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ３０１）すると、ブロックごとの復号画像ＤＣＴ係数の類似性を判断し、グループ分けを行う（ステップＳ５０１）。このとき、類似性の判断基準としては、係数のユークリッド距離などを用いてグループ分けを行う。次に、補正情報生成部１０４は、このグループごとに、線形予測係数を算出する（ステップＳ５０２）。次に、補正情報生成部１０４は、この線形予測係数と、ブロックの統合情報とを係数補正情報１０５として出力する（ステップＳ５０３）。これにより、係数補正情報１０５のデータ量を削減することができる。

また、図７（ｄ）で説明した方法を用いる場合、符号化側と復号側とで、復号画像ＤＣＴ係数を同じ方法でグループ分けをすることにより、統合情報を係数補正情報として出力しなくてもよい。この場合、係数補正情報１０５のデータ量をさらに削減することができる。

また、本変形例において、あらかじめ復号側と符号化側とで共通の線形予測係数を保有しておき、係数補正情報として、算出した線形予測係数と共通に保有している線形予測係数との差分を送ってもよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例３）
上記実施の形態１では、上記のような分類情報を係数補正情報１０５として出力する場合について説明したが、本変形例では、分類情報ではなく、補正用レベルを係数補正情報１０５として出力する場合について説明する。なお、動画像符号化装置１００の構成については上記実施の形態１と同様であり、補正情報生成部１０４の構成および動作が相違する。

補正情報生成部１０４は、所定の領域に含まれる複数のブロックの入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５についてそれぞれ周波数帯域毎の係数の集合に分け、それぞれの相関度合を算出し、算出した相関度合に応じて補正用のレベルを決定する。

図１０は変形例３において補正情報生成部１０４で係数補正情報１０５を生成する際の動作の流れを示すフローチャートである。また、図８（ａ）は入力画像の所定の画像領域内のブロックを示し、図８（ｂ）はブロックの入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示し、図８（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。また、図９（ａ）は復号画像の所定の画像領域内のブロックを示し、図９（ｂ）はブロックの復号画像ＤＣＴ係数の係数値ａ〜ｄを示し、図９（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。

補正情報生成部１０４は、図８（ａ）、図９（ａ）に示すように所定の領域に含まれる複数（ここでは９個）のブロックの入力画像ＤＣＴ係数１０３および復号画像ＤＣＴ係数１１５を取得（ステップＳ６０１）すると、この複数のブロック分について図８（ｃ）、図９（ｃ）に示すように周波数帯域毎の係数の集合に分ける（ステップＳ６０２）。次に、補正情報生成部１０４は、入力画像側のそれぞれの係数の集合と復号画像側のそれぞれの係数の集合との類似性を示す相関度合を算出する（ステップＳ６０３）。例えば、係数Ａ１〜Ａ９の集合に対して係数ａ１〜ａ９の集合、係数ｂ１〜ｂ９の集合、係数ｃ１〜ｃ９の集合、係数ｄ１〜ｄ９の集合の相関度合を算出する。また、係数Ｂ１〜Ｂ９の集合〜係数Ｐ１〜Ｐ９の集合に対して同様にそれぞれ相関度合を算出する。次に、補正情報生成部１０４は、入力画像側のそれぞれの係数の集合と最も相関性のある復号画像側の係数の集合の位置を決定し、その相関度合に応じて、補正用のレベルを決定する（ステップＳ６０４）。この補正用のレベルは、例えば、相関度合が小さい場合には、０に近く、相関度合が高い場合には１に近くなる値である。そして、補正情報生成部１０４は、決定した集合の位置を示す情報および補正用レベルを係数補正情報１０５として出力する（ステップＳ６０５）。

以上のように、動画像符号化装置１００は、ダウンサンプリングされた縮小画像信号１０９を圧縮符号化した符号列１１１および補正情報符号列１０７を符号化結果として出力しているので、高解像度化に必要なデータ量を抑えることができる。

この場合、復号側では、符号列１１１から取得することが可能な復号画像ＤＣＴ係数から、集合の位置を示す情報および補正用レベルを用いて入力画像ＤＣＴ係数を復元することができるので、復号画像の画質を向上することができる。

なお、本変形例において、所定の領域のサイズについては、あらかじめ決めることに限らない。あらかじめ決めない場合には、係数補正情報として、所定の領域の取り方を出力する。このようにすることで、画像に応じた係数補正情報の生成が可能となり、復号画像の画質を向上することができる。

また、本変形例において、あらかじめ復号側と符号化側で共通の補正用のレベルを保有しておき、係数補正情報として、算出した補正用のレベルと共通に保有している補正用のレベルとの差分を送ってもよい。このようにすることで、係数補正情報１０５のデータ量を削減することができる。

（変形例４）
図１１は、本発明の実施の形態１の変形例４に係る動画像符号化装置の構成を示すブロック図である。なお、上記実施の形態１と同様の構成については説明を省略する。

動画像符号化装置２００は、図１に示す動画像符号化装置１００の構成に対してローパスフィルタ１１６およびダウンサンプリング部１０８を備えていない。それ以外については動画像符号化装置１００と同様である。よって、符号化部１１０は、入力画像信号１０１をあらかじめ決められた符号化方式で圧縮符号化し、符号列１１１を出力する。

このように、低域通過フィルタリング処理および解像度変換を用いないことにより、処理回路を単純化することができ、さらに係数補正情報を用いることで従来の符号化方式よりも復号画像を高画質化することが可能となる。

なお、本変形例４では、ローパスフィルタ１１６およびダウンサンプリング部１０８を備えていない構成としたが、これに限られるものではない。例えば、ローパスフィルタ１１６またはダウンサンプリング部１０８を備えない構成とすることも可能である。

次に、数補正情報の伝送方法について説明する。図１２は係数補正情報の伝送方法を説明するための図であり、（ａ）符号列および付加情報が別の符号列として伝送されている例を示す図、（ｂ）符号列中のピクチャヘッダの中に付加情報を組み込んだ例を示す図、（ｃ）符号列中のマクロブロックヘッダに付加情報を組み込んだ例を示す図である。

上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５は、可変長符号化部１０６によって可変長符号化されて、図１２（ａ）に示すように補正情報符号列１０７として、符号列１１１とは別に伝送される。この場合、符号列１１１は、付加情報である補正情報符号列１０７と全く無関係に伝送されるため、復号側が補正情報符号列１０７に対応していない場合にでも、問題がなく復号画像を得ることができる。また、補正情報符号列１０７に対応している動画像復号方法であれば、高域情報を復元できるため、復号画質を向上させることができる。また、補正情報符号列１０７は、符号列１１１と別の情報として伝送されるため、伝送装置により、伝送自体を止めることができ、帯域幅の狭い通信では、必要がないときには、伝送しないことが可能となる。

なお、係数補正情報の伝送方法については、上記のように符号列１１１とは別に補正情報符号列１０７として伝送する方法だけでなく、符号列１１１と組み合わせて伝送してもよい。

例えば、係数補正情報１０５は、図１２（ｂ）に示すように符号列１１１中のピクチャヘッダ１００３の中の自由にデータを入れることができる部分に組み込まれてもよい。ここで、自由にデータを入れることができる部分とは、標準規格の中でこの部分に入れた情報に対しては、特定の処理を行う、もしくは、処理を行わないという取り決めがされている領域を表し、例えば、ＭＰＥＧ規格のユーザデータと呼ばれる領域である。また、ピクチャヘッダとは、１ピクチャの画像に共通する情報などを入れる部分であり、１ピクチャに１つ付加されている情報である。

この場合、復号側で、係数補正情報１０５に対応していない場合にでも、問題がなく復号画像を得ることができる。また、係数補正情報１０５に対応している動画像復号方法であれば、高域情報を復元できるため、復号画質を向上させることができる。

なお、図１２（ｂ）では、ピクチャヘッダとして説明したが、これに限定するものではなく、動画像の先頭の情報領域であるシーケンスヘッダや、動画像の特定の区間の情報領域であるＧＯＰヘッダなど、自由にデータを入れることができる部分であればよい。

また、例えば、係数補正情報１０５は、図１２（ｃ）に示すように符号列１１１中のマクロブロックヘッダ１００４に組み込まれてもよい。ここで、マクロブロックヘッダとは、１ピクチャを構成する画像を特定の領域に分割し、その領域毎に１つずつ付加されている情報である。特定の領域とは、例えば１６×１６画素のサイズのブロックである。この領域毎のデータはマクロブロックデータ１００５に格納される。係数補正情報１０５は、必ずしも全ての領域に存在しないため、必要な部分にのみ組み込む。

この場合、必要な部分にのみ組み込むことができるため、伝送する情報量を減らすことができる。

以上のような係数補正情報の伝送方法を用いることにより、さらに伝送する情報量を減らすことができる、または、復号側が対応していない場合など、実用上で有用な伝送が可能となる。

なお、上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５は、可変長符号化されて補正情報符号列１０７として伝送されると説明しているが、常に補正情報符号列１０７を伝送しなくてもよい。例えば、復号側で補正が必要であると判断したときにだけ、係数補正情報１０５を送っても良い。このとき、符号化列１１１に係数補正情報１０５を含むことを示す情報を付加する。情報の付加方法としては、図１２に示す伝送方法と同様である。このようにすることで、符号化列１１１を復号する際に、特定領域において、係数補正情報が付加されていることを容易に判別することができるため、回路規模を削減することができ、且つ、画質を改善することができる。

また、上記変形例１〜４を含む本実施の形態１では、係数補正情報１０５について、複数の方式について個別に説明したが、これらの方式について複数を用いても良い。例えば、補正情報符号列１０７に係数補正情報の種別を示す情報を付加すれば、復号側でどのように係数補正情報を用いてよいかを容易に判断することができる。また、ブロック毎に異なる係数補正情報の種別を示す情報を補正情報符号列１０７に組み込むことができるため、画質の向上を実現することができる。また、ここでは補正情報符号列１０７に係数補正情報の種別を示す情報を付加することについて説明したが、これに限られるものではない。例えば、符号化列１１１に係数補正情報の種別を示してもよい。この場合には、復号時に係数補正情報の種類を判断することができる。なお、係数補正情報の記録されている場所の情報を符号化列１１１に含んでもよい。この場合には、符号化列と係数補正情報が別々に管理している場合の情報のやり取りを容易に行うことができる。

また、上記変形例１〜４を含む本実施の形態１では、解像度変換を行わない場合についても説明しているが、例えば、解像度変換を行うかどうかの情報や、どのサイズに変換するかの情報を補正情報符号列１０７に記録してもよい。この場合、画像の種類毎に解像度を変えることが可能となり、画像の特徴に応じて画質の向上を実現することができる。なお、解像度変換に関する情報は、補正情報符号列１０７に記録することには限らず、符号化列１１１に含んでもよい。なお、解像度変換を行うかどうかの情報を用いて、出力画像の画像処理方法を変えても良い。例えば、解像度変換を行う場合、その処理単位でのノイズ低減フィルタをかけることにより、より高画質な出力画像を得ることができる。

（実施の形態２）
図１３は、本発明の実施の形態２に係る動画像復号装置の構成を示すブロック図である。

動画像復号装置７００は、動画像信号が圧縮符号化された符号列を復号するための装置であり、図１３に示すように可変長復号部７０２、復号部７０５、直交変換部７０７、係数補正部７０９、逆直交変換部７１１を備えている。

可変長復号部７０２は、補正情報符号列７０１を可変長復号し、係数補正情報７０３を出力する。復号部７０５は、符号列７０４をあらかじめ決められた方式により、動画像復号を行い、復号画像信号７０６を出力する。直交変換部７０７は、復号画像信号７０６を離散コサイン変換することにより、復号画像ＤＣＴ係数７０８を出力する。係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を出力する。逆直交変換部７１１は、補正ＤＣＴ係数７１０を逆離散コサイン変換することにより、出力画像７１２を出力する。

次に、上記のように構成された動画像復号装置７００の動作について説明する。

補正情報符号列７０１は可変長復号部７０２へ、符号列７０４は復号部７０５へ、それぞれ入力される。可変長復号部７０２は、補正情報符号列７０１を可変長復号し、係数補正情報７０３を求める。一方、復号部７０５は、符号列７０４をあらかじめ決められた方式により復号し、復号画像信号７０６を出力する。直交変換部７０７は、復号により得られた復号画像信号７０６を離散コサイン変換し、復号画像ＤＣＴ係数７０８を求める。次に、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を出力する。

図１４（ａ）は係数補正部７０９でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。

係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８１０１）すると、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、補正ＤＣＴ係数７１０を算出する（ステップＳ８１０２）。そして、係数補正部７０９は、算出した補正ＤＣＴ係数を出力する（ステップＳ８１０３）。

そして、逆直交変換部７１１は、補正ＤＣＴ係数７１０を逆離散コサイン変換することにより、出力画像７１２を出力する。

このように、復号画像信号を離散コサイン変換し、係数補正情報を用いてＤＣＴ係数を補正し、逆離散コサイン変換することにより、復号画像信号の画質を向上することができる。

次に、解像度変換に関する判断を含む場合の係数補正部の動作について説明する。なお、ここで解像度変換を行う場合は、解像度を水平方向、垂直方向にそれぞれ２倍ずつに拡大するものとする。

図１４（ｂ）は解像度変換に関する判断を含む場合における係数補正部７０９でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。また、図１５は補正ＤＣＴ係数の算出について説明するための図であり、（ａ）解像度変換を行わない場合の例、（ｂ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含まず、解像度変換を行う場合の例、（ｃ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含み、解像度変換を行う場合の例である。図１５で、左側に示すのは、復号画像ＤＣＴ係数であり、右側は補正ＤＣＴ係数である。

係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８２０１）すると、解像度変換に関する情報が係数補正情報に含まれるか否かを判断する（ステップＳ８２０２）。ここで、解像度変換の情報が係数補正情報に含まれる、または、あらかじめ解像度変換を行うことが決められている場合（ステップＳ８２０２でＹｅｓ）、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８に基づいて、図１５（ｃ）に示すように復号画像ＤＣＴ係数７０８には存在しない高周波数帯域のＤＣＴ係数Ｅ〜Ｐを生成する（ステップＳ８２０３）。さらに、係数補正部７０９は、係数補正情報を用いて、復号画像ＤＣＴ係数を補正し、低周波数帯域のＤＣＴ係数Ａ〜Ｄを算出する（ステップＳ８２０４）。そして、係数補正部７０９は、生成および補正した補正ＤＣＴ係数Ａ〜Ｐを出力する（ステップＳ８２０６）。なお、復号画像ＤＣＴ係数を補正するための情報を含まない場合には、低周波数帯域のＤＣＴ係数Ａ〜Ｄを算出は行わず、図１５（ｂ）に示すように復号画像ＤＣＴ係数ａ〜ｄ、および生成したＤＣＴ係数Ｅ〜Ｐで構成される補正ＤＣＴ係数を出力する。

一方、解像度変換を行わない場合（ステップＳ８２０２でＮｏ）には、図１５（ａ）に示すように係数補正情報を用いて復号画像ＤＣＴ係数を補正し、（ステップＳ８２０５）、補正ＤＣＴ係数を出力する（ステップＳ８２０６）。

このように、解像度に関する情報により、係数補正情報に基づいてＤＣＴ係数を生成することで、さらに高画質に解像度変換をし、復号画像信号を高画質にすることができる。

次に、係数補正情報１０５に、実施の形態１で説明したＤＣＴ係数の分類情報が含まれている場合、線形予測係数が含まれている場合、相関関係情報が含まれている場合のそれぞれについて、係数補正部７０９の具体的な動作を説明する。

図１６（ａ）は係数補正情報１０５にＤＣＴ係数の分類情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は分類情報からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８３０１）すると、係数補正情報からＤＣＴ係数の分類情報を取得する。次に、係数補正部７０９は、復号画像ＤＣＴ係数７０８に基づいて、上記実施の形態１の動画像符号化装置１００の場合と同様に、図４（ｄ）に示すように曲線Ｒ、曲線Ｒ’を予測し、ＤＣＴ係数の周波数帯域ごとに閾値ＴＨ（Ｘ）を決定する。次に、補正情報生成部１０４は、分類情報および閾値ＴＨ（Ｘ）を用いて、次に示す（式３）により、補正ＤＣＴ係数を算出する（ステップＳ８３０２）。なお、（式３）は分類が３つである場合の例である。

（式３）：
（分類イ）ＣＯＥＦＦ（Ｘ） ＝ ＴＨ（Ｘ）×α
（分類ロ）ＣＯＥＦＦ（Ｘ） ＝ ― ＴＨ（Ｘ）×α
（分類ハ）ＣＯＥＦＦ（Ｘ） ＝ ０
ここで、ＣＯＥＦＦ（Ｘ）は、位置ＸのＤＣＴ係数を示し、ＴＨ（Ｘ）は、位置Ｘに対応した所定の閾値を示す。また、αは定数を示す。

そして、補正情報生成部１０４は、算出したＤＣＴ係数を補正ＤＣＴ係数として出力する（ステップＳ８３０３）。

なお、閾値ＴＨ（Ｘ）が係数補正情報に含まれている場合には、復号画像ＤＣＴ係数７０８から決定する必要はない。また、定数αについては、ＤＣＴの処理ブロック毎に異なる値を用いてもよい。この場合、復号画像の画質を向上することができる。

また、ＤＣＴ係数の分類情報が、上記実施の形態の変形例１で説明したような符号として得られる場合には、図５（ａ）に示すような第１分類テーブル、図５（ｂ）に示すような第２分類テーブル、および図５（ｃ）に示す符号テーブルを参照することによって、分類を特定し、補正ＤＣＴ係数を算出する。

図１７（ａ）は係数補正情報１０５に線形予測係数が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は線形予測係数からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８４０１）すると、係数補正情報から復号画像ＤＣＴ係数の各係数にかける線形予測係数を取得する。次に、係数補正部７０９は、この線形予測係数を用いて次に示す（式４）により、補正ＤＣＴ係数を算出する（ステップＳ８４０２）。

（式４）：
Ａ＝Ｔａ（Ａ）×ａ＋Ｔｂ（Ａ）×ｂ＋Ｔｃ（Ａ）×ｃ＋Ｔｄ（Ａ）×ｄ
Ｂ＝Ｔａ（Ｂ）×ａ＋Ｔｂ（Ｂ）×ｂ＋Ｔｃ（Ｂ）×ｃ＋Ｔｄ（Ｂ）×ｄ
…
Ｐ＝Ｔａ（Ｐ）×ａ＋Ｔｂ（Ｐ）×ｂ＋Ｔｃ（Ｐ）×ｃ＋Ｔｄ（Ｐ）×ｄ
ここで、Ｔａ（Ｘ）〜Ｔｄ（Ｘ）は、位置Ｘの線形予測係数を示す。

そして、補正情報生成部１０４は、算出したＤＣＴ係数を補正ＤＣＴ係数として出力する（ステップＳ８４０３）。

なお、実施の形態１の変形例２の場合と同様にグループ分けが行われ、係数補正情報にブロックの統合情報が含まれている場合、このブロックの統合情報を用いてグループ分けを行い、グループ毎に含まれるＴａ（Ｘ）〜Ｔｄ（Ｘ）を取得し、ＤＣＴ係数を補正する。

また、あらかじめグループ分けを行うことが決められて実施の形態１の変形例２の図７（ｄ）で説明した方法が用いられて、係数補正情報にブロックの統合情報が含まれていない場合、実施の形態１の変形例２の図７（ｄ）で説明した方法と同様にグループ分けを行い、グループ毎に含まれるＴａ（Ｘ）〜Ｔｄ（Ｘ）を取得し、ＤＣＴ係数を補正する。

図１８（ａ）は係数補正情報１０５に相関関係情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は相関関係情報からＤＣＴ係数を補正する方法を説明する説明図である。

この場合、係数補正部７０９は、係数補正情報７０３および復号画像ＤＣＴ係数７０８を取得（ステップＳ８４０１）すると、係数補正情報から特定領域の情報と、その領域内での、復号ＤＣＴ係数間の相関関係情報ｘ（Ｘ）、および、補正レベルの情報Ｌ（Ｘ）を取得する。これは、係数の位置Ｘに対する補正ＤＣＴ係数が復号画像ＤＣＴ係数ｘと相関関係にあり、補正のレベルがＬ（Ｘ）であるということを意味している。例えば、係数位置Ｐの補正ＤＣＴ係数が、復号画像ＤＣＴ係数のｂと相関関係にあり、補正レベルがＬ（Ｐ）であるという情報が係数補正情報に含まれている場合、係数位置Ｐの補正ＤＣＴ係数は、次に示す（式５）で算出される。

Ｐ＝Ｌ（Ｐ）×ｂ（Ｐ） …（式５）
このように、係数補正部７０９は、補正するＤＣＴ係数に対して、相関関係にある復号画像ＤＣＴ係数を複製し、レベルを補正するという処理を、全てのＤＣＴ係数に対して行う（ステップＳ８５０２）。

そして、補正情報生成部１０４は、このようにすることにより求めた補正ＤＣＴ係数を出力する（ステップＳ８４０３）。

以上のように、係数補正情報により、復号画像ＤＣＴ係数を補正することにより、より高画質な復号画像を得ることが可能となる。

なお、本実施の形態では、水平方向に２倍、垂直方向に２倍の解像度変換のある場合の説明図を用いて説明しているが、必ずしも解像度変換する必要はない。また、解像度の拡大比率もこれに限定するものではない。

また、係数補正情報の種類ごとの処理方法を個別に説明しているが、必ずしも一種類の係数補正情報だけが含まれるとは限らない。この場合、係数補正情報の種類を特定する情報を元に、処理を切り替えることにより、係数補正情報にあわせた、ＤＣＴ係数の補正処理を行うことができる。

（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化方法及び動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９は、上記各実施の形態の動画像符号化方法及び動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９ (b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１９ (a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９ (c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法及び動画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法及び動画像復号方法を実現する上記動画像符号化方法及び動画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
さらにここで、上記実施の形態で示した動画像符号化方法及び動画像復号方法の応用例とそれを用いたシステムを説明する。

図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化部あるいは画像復号部を用いるようにすればよい。
その一例として携帯電話について説明する。

図２１は、上記実施の形態で説明した動画像符号化方法及び動画像復号方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２２を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化部を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化部に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化部または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化部で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２２に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法及び動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

また、図１、図１１、および図１３に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る動画像符号化方法及び動画像復号方法は、低ビットレートで高画質な符号化と復号ができるという効果を有し、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等を用いた蓄積、伝送、通信等における動画像符号化方法及び動画像復号方法として有用である。

図１は本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。 図２（ａ）は入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示す図であり、図２（ｂ）は復号画像ＤＣＴ係数の係数値ａ〜ｄを示す図であり、図２（ｃ）は入力画像ＤＣＴ係数を３つに分類した一例を示す図であり、図２（ｄ）は復号画像ＤＣＴ係数を３つに分類した一例を示す図である。 図３は補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図４（ａ）（ｂ）（ｃ）（ｄ）は閾値ＴＨ（Ｘ）について説明するための図である。 図５は補正情報生成部が有するテーブルの一例を示す図であり、（ａ）第１分類テーブル、（ｂ）第２分類テーブル、（ｃ）符号テーブル、（ｄ）他の符号テーブルを示す図である。 図６は変形例１において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図７（ａ）は復号画像ＤＣＴ係数を用いて線形予測演算を行うことにより入力画像ＤＣＴ係数を算出することを示す模式図であり、（ｂ）（ｃ）（ｄ）は変形例２において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図８（ａ）は入力画像の所定の画像領域内のブロックを示し、（ｂ）はブロックの入力画像ＤＣＴ係数の係数値Ａ〜Ｐを示し、（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。 図９（ａ）は復号画像の所定の画像領域内のブロックを示し、（ｂ）はブロックの復号画像ＤＣＴ係数の係数値ａ〜ｄを示し、（ｃ）は所定の画像領域単位でまとめた各係数を示す図である。 図１０は変形例３において補正情報生成部で係数補正情報を生成する際の動作の流れを示すフローチャートである。 図１１は、本発明の実施の形態１の変形例４に係る動画像符号化装置の構成を示すブロック図である。 図１２は係数補正情報の伝送方法を説明するための図であり、（ａ）符号列および付加情報が別の符号列として伝送されている例を示す図、（ｂ）符号列中のピクチャヘッダの中に付加情報を組み込んだ例を示す図、（ｃ）符号列中のマクロブロックヘッダに付加情報を組み込んだ例を示す図である。 図１３は、本発明の実施の形態２に係る動画像復号装置の構成を示すブロック図である。 図１４（ａ）は係数補正部でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートであり、（ｂ）は解像度変換に関する判断を含む場合における係数補正部でＤＣＴ係数を補正する際の基本的な動作の流れを示すフローチャートである。 図１５は補正ＤＣＴ係数の算出について説明するための図であり、（ａ）解像度変換を行わない場合の例、（ｂ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含まず、解像度変換を行う場合の例、（ｃ）係数補正情報に復号画像ＤＣＴ係数を補正するための情報を含み、解像度変換を行う場合の例である。 図１６（ａ）は係数補正情報にＤＣＴ係数の分類情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は分類情報からＤＣＴ係数を補正する方法を説明する説明図である。 図１７（ａ）は係数補正情報に線形予測係数が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は線形予測係数からＤＣＴ係数を補正する方法を説明する説明図である。 図１８（ａ）は係数補正情報に相関関係情報が含まれている場合の動作の流れを示すフローチャートであり、（ｂ）は相関関係情報からＤＣＴ係数を補正する方法を説明する説明図である。 図１９は上記各実施の形態の動画像符号化方法及び動画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 図２０はコンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。 図２１は動画像符号化方法及び動画像復号方法を用いた携帯電話の例（実施の形態４）である。 図２２は携帯電話のブロック図（実施の形態４）である。 図２３はディジタル放送用システムの例（実施の形態４）である。

符号の説明

１０１ 入力画像信号
１０２ 第１直交変換部
１０３ 入力画像ＤＣＴ係数
１０４ 補正情報生成部
１０５ 補正情報
１０６ 可変長符号化部
１０７ 補正情報符号列
１０８ ダウンサンプリング部
１０９ 縮小画像信号
１１０ 符号化部
１１１ 符号列
１１２ 局所復号部
１１３ 復号画像信号
１１４ 第２直交変換部
１１５ 復号画像ＤＣＴ係数
１１６ ローパスフィルタ
１１７ 低域画像信号
７０１ 補正情報符号列
７０２ 可変長復号部
７０３ 補正情報
７０４ 符号列
７０５ 復号部
７０６ 復号画像信号
７０７ 直交変換部
７０８ 復号画像ＤＣＴ係数
７０９ 係数補正部
７１０ 補正ＤＣＴ係数
７１１ 逆直交変換部
７１２ 出力画像信号
１００３ ピクチャヘッダ
１００４ マクロブロックヘッダ
１００５ マクロブロックデータ
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ

Claims (25)

1. 動画像信号を圧縮符号化する動画像符号化方法であって、
   前記動画像信号を圧縮符号化することにより符号列を出力するとともに、
   前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、
   前記係数補正情報を前記符号列の付加情報として出力する
   ことを特徴とする動画像符号化方法。
2. 前記動画像符号化方法は、さらに、
   前記動画像信号の低周波成分で構成される低域動画像信号を生成し、
   前記低域動画像信号を圧縮符号化することにより前記符号列を出力する
   ことを特徴とする請求項１記載の動画像符号化方法。
3. 前記動画像符号化方法は、さらに、
   前記動画像信号を所定の解像度にダウンサンプリングした縮小画像信号を生成し、
   前記縮小画像信号を圧縮符号化することにより前記符号列を出力する
   ことを特徴とする請求項１記載の動画像符号化方法。
4. 前記動画像符号化方法は、さらに、
   前記符号列を仮復号することにより仮復号画像信号を生成し、
   前記仮復号画像信号を直交変換することにより仮復号直交変換係数を求め、
   前記直交変換係数および前記仮復号直交変換係数に基づいて前記係数補正情報を生成する
   ことを特徴とする請求項１記載の動画像符号化方法。
5. 前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す分類情報であり、
   前記値領域を分けるための閾値を前記仮復号直交変換係数に基づいて決定し、
   前記直交変換係数が前記値領域のいずれに属するかを前記閾値に基づいて決定することにより、前記分類情報を生成する
   ことを特徴とする請求項４記載の動画像符号化方法。
6. 前記閾値を前記直交変換係数の周波数帯域ごとに決定し、
   前記直交変換係数が前記値領域のいずれに属するかを前記閾値に基づいて決定することにより、前記分類情報を生成する
   ことを特徴とする請求項５記載の動画像符号化方法。
7. 前記係数補正情報は、前記仮復号直交変換係数から前記直交変換係数を予測するための線形予測係数であり、
   前記直交変換係数および前記仮復号直交変換係数に基づいて前記線形予測係数を決定することにより、前記係数補正情報を生成する
   ことを特徴とする請求項４記載の動画像符号化方法。
8. 前記係数補正情報は、前記仮復号直交変換係数と前記直交変換係数との相関関係を表す情報であり、
   前記直交変換の単位であるブロック複数個でまとめた前記直交変換係数および前記仮復号直交変換係数のそれぞれ周波数帯域ごとの係数の集合について、それぞれ相関度を算出することにより、前記係数補正情報を生成する
   ことを特徴とする請求項４記載の動画像符号化方法。
9. 前記相関関係を表す情報は、前記直交変換係数の集合がどの前記仮復号直交変換係数の集合と相関が高いかを示す位置情報、および前記相関度に応じた補正レベルであり、
   前記相関度に基づいて前記位置情報および前記補正レベルを決定する
   ことを特徴とする請求項８記載の動画像符号化方法。
10. 前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す分類情報であり、
    前記直交変換係数が前記値領域のいずれに属するかをあらかじめ設定される閾値に基づいて決定することにより、前記分類情報を生成する
    ことを特徴とする請求項１記載の動画像符号化方法。
11. 前記動画像符号化方法は、
    前記付加情報を前記符号列のヘッダ情報に含めて出力する
    ことを特徴とする請求項１記載の動画像符号化方法。
12. 前記動画像符号化方法は、
    前記付加情報を前記符号列とは別の符号列として出力する
    ことを特徴とする請求項１記載の動画像符号化方法。
13. 動画像信号が圧縮符号化された符号列を復号する動画像復号方法であって、
    前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、
    前記符号列を復号することにより第１の動画像信号を生成し、
    前記第１の動画像信号を直交変換することにより復号直交変換係数を求め、
    前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求め、
    前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力する
    ことを特徴とする動画像復号方法。
14. 前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報であり、
    前記値領域を分けるための閾値を前記復号直交変換係数に基づいて決定し、
    前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報および前記閾値により、前記補正直交変換係数を求める
    ことを特徴とする請求項１３記載の動画像復号方法。
15. 前記係数補正情報は、前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報であり、
    前記直交変換係数が所定数に分けられた値領域のいずれに属するかを示す情報および所定の閾値により、前記補正直交変換係数を求める
    ことを特徴とする請求項１３記載の動画像復号方法。
16. 前記係数補正情報は、求めるべき直交変換係数を予測するための線形予測係数であり、
    前記線形予測係数を用いて前記復号直交変換係数から前記補正直交変換係数を算出する
    ことを特徴とする請求項１３記載の動画像復号方法。
17. 前記係数補正情報は、求めるべき直交変換係数および前記復号直交変換係数のそれぞれ周波数帯域ごとの係数を前記直交変換の単位であるブロック複数個でまとめた集合における相関関係を表す情報であり、
    前記ブロック複数個分の前記復号直交変換係数の周波数帯域ごとの係数の集合から、前記相関関係を表す情報に基づいて、前記ブロック複数個でまとめられた周波数帯域ごとの係数の集合を求めることで、前記補正直交変換係数を求める
    ことを特徴とする請求項１３記載の動画像復号方法。
18. 前記相関関係を表す情報は、求めるべき直交変換係数の集合がどの前記復号直交変換係数の集合と相関が高いかを示す位置情報、および補正レベルであり、
    前記位置情報で特定される前記復号直交変換係数の集合に前記補正レベルを乗じることで、前記補正直交変換係数を求める
    ことを特徴とする請求項１６記載の動画像復号方法。
19. 前記直交変換係数から前記係数補正情報を用いて所定個数の未知の直交変換係数を生成することにより、個数を増加させた直交変換係数を前記補正直交変換係数として求め、
    前記補正直交変換係数を逆直交変換することにより所定の解像度に上げた動画像信号を前記第２の動画像信号として出力する
    ことを特徴とする請求項１３記載の動画像復号方法。
20. 動画像信号を圧縮符号化する動画像符号化装置であって、
    前記動画像信号を圧縮符号化することにより符号列を出力する符号化手段と、
    前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、前記係数補正情報を前記符号列の付加情報として出力する補正情報生成手段と
    を備えることを特徴とする動画像符号化装置。
21. 動画像信号が圧縮符号化された符号列を復号する動画像復号装置であって、
    前記符号列を復号することにより第１の動画像信号を生成する復号手段と、
    前記第１の動画像信号を直交変換することにより復号直交変換係数を求める直交変換手段と、
    前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求める係数補正手段と、
    前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力する逆直交変換手段と
    を備えることを特徴とする動画像復号装置。
22. 動画像信号を圧縮符号化するためのプログラムであって、
    前記動画像信号を圧縮符号化することにより符号列を出力する符号化ステップと、
    前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、前記係数補正情報を前記符号列の付加情報として出力する補正情報生成ステップとをコンピュータに実行させる
    ことを特徴とするプログラム。
23. 動画像信号が圧縮符号化された符号列を復号するためのプログラムであって、
    前記符号列を復号することにより第１の動画像信号を生成する復号ステップと、
    前記第１の動画像信号を直交変換することにより復号直交変換係数を求める直交変換ステップと、
    前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求める係数補正ステップと、
    前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力する逆直交変換ステップとをコンピュータに実行させる
    ことを特徴とするプログラム。
24. 動画像信号を圧縮符号化するための集積回路であって、
    前記動画像信号を圧縮符号化することにより符号列を出力する符号化手段と、
    前記動画像信号を直交変換することにより得られる直交変換係数に基づいて、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を生成し、前記係数補正情報を前記符号列の付加情報として出力する補正情報生成手段と
    を備えることを特徴とする集積回路。
25. 動画像信号が圧縮符号化された符号列を復号するための集積回路であって、
    前記符号列を復号することにより第１の動画像信号を生成する復号手段と、
    前記第１の動画像信号を直交変換することにより復号直交変換係数を求める直交変換手段と、
    前記符号列の付加情報として、前記符号列から得られる復号動画像信号を直交変換することにより得られる直交変換係数を補正するための係数補正情報を取得し、前記係数補正情報および前記復号直交変換係数に基づいて補正直交変換係数を求める係数補正手段と、
    前記補正直交変換係数を逆直交変換することにより第２の動画像信号を出力する逆直交変換手段と
    を備えることを特徴とする集積回路。

Images