JP4009650B2 - 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム - Google Patents

Description

本発明は、画像信号を符号化した際に発生する符号化歪を除去する符号化歪除去方法、および符号化歪除去方法を用いて圧縮率をより高めることができる符号化方法ならびに復号化方法と、それをソフトウェアで実施するためのプログラムが記録された記録媒体である。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒｅｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画面信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＴＵ−Ｔでは次世代画面符号化方式として、Ｈ．２６Ｌの標準化活動が進んでいる。

Ｈ．２６Ｌでは、従来の動画像符号化と異なり、符号化歪を除去するために複雑な処理を伴う符号化歪除去方法を採用している。動画像符号化でよく使用されるＤＣＴ等の直交変換を用いたブロック単位符号化方法では、ブロックの境界にブロック歪と呼ばれる格子状の歪が見られることが知られている。低周波数成分の画質劣化は高周波数成分の画質劣化よりも目立つため、ブロック単位符号化では、主として高周波数よりも低周波数成分を忠実に符号化する。また、カメラなどで撮影した自然画像では、高周波数成分よりも低周波数成分を多く含むことから、本質的にブロック内の周波数成分は低周波数成分が多くなる。その結果、ブロック内部では高周波数成分が殆ど無く、ブロック内部で隣接する画素ではほぼ同じ画素値をとる傾向がある。一方、ブロック単位で符号化するために、ブロック内では画素値がほぼ同じであっても、ブロック境界では必ずしも隣接ブロック間で画素値がほぼ同じ値、すなわち画素値が連続的に変化する保証が無い。その結果、図３１の符号化歪除去方法の概念の説明図に示すように、図３１（ａ）の原画像に対してブロック単位符号化を行うと、図３１（ｂ）に示すように、ブロック内部では画素値が滑らかに連続的に変化し、破線で示すブロック境界部のみで画素値が不連続となるブロック歪が発生する。そこで、図３１（ｃ）のようにブロック境界部で画素値が連続となるように補正することで符号化に起因する画質で大きな問題となるブロック歪を低減できる。このブロック歪を低減する処理を符号化歪除去方法（デブロック方法）と呼ぶ。

符号化歪除去方法を動画像復号化に用いる場合は、図３２の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ポストフィルタ）と、図３３の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ループ内フィルタ）がある。以下、各ブロック図の構成を説明する。

図３２の従来の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Ｓｔｒを可変長復号化し、周波数符号成分ＤＣｏｅｆを出力する。逆ジグザグスキャン部５４は周波数符号成分ＤＣｏｅｆの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分ＦＣｏｅｆを出力する。逆コサイン変換部５６は周波数成分ＦＣｏｅｆを逆量子化および逆ＤＣＴを行い、差分画像ＤｉｆＣｏｅｆとして出力する。
一方、動き補償部６０は、メモリ６４に蓄積された参照画像Ｒｅｆから外部から入力される動きベクトルＭＶによって示される位置の画素を、動き補償画像ＭＣｐｅｌとして出力する。加算部５８は、差分画像ＤｉｆＣｏｅｆと動き補償画像Ｍｃｐｅｌとを加算し、再生画像Ｃｏｅｆとして出力する。デブロックフィルタ６２は再生画像Ｃｏｅｆに対して符号化歪除去を行い、復号画像信号Ｖｏｕｔを出力する。再生画像Ｃｏｅｆはメモリ６４に格納されて、後続の画像復号化で参照画像Ｒｅｆとして使用される。

図３３の従来の復号化方法を用いた画像復号化装置のブロック図は、図３２の従来の復号化方法を用いた画像復号化装置のブロック図と殆ど同じ構成であるが、デブロックフィルタ６２の位置が異なっている。即ち、図３３の従来の復号化方法を用いた画像復号化装置のブロック図では、デブロックフィルタ６２を行った復号画像信号Ｖｏｕｔがメモリ６４に格納される。

図３２の従来の復号化方法を用いた画像復号化装置のブロック図は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４およびＨ．２６３で採用された方法であり、図３３の従来の復号化方法を用いた画像復号化装置のブロック図は、Ｈ．２６１で採用されており、Ｈ．２６Ｌ ＴＭ８でも採用されている。

図３２の従来の復号化方法を用いた画像復号化装置のブロック図では、メモリ６４に格納される再生画像Ｃｏｅｆはデブロックフィルタ６２の方法に依存しない。よってデブロックフィルタ６２として複雑ではあるが高性能なものや、効果は大きくないが処理が簡単な物等の種々の方式から機器の能力やアプリケーションに応じて独自に開発・実装可能である。また、機器毎に適切なものを使用できる利点がある。
一方、図３３の従来の復号化方法を用いた画像復号化装置のブロック図は、メモリ６４に格納される復号画像信号Ｖｏｕｔはデブロックフィルタ６２の方法に依存する。よって機器の実装やアプリケーションに応じて適切なものに変更できないという課題はあるが、どのような機器であっても同じ符号化歪除去結果が得られることを保証できるという利点がある。

図３４は従来の符号化歪除去方法を用いた符号化歪除去部のブロック図である。これは、図３２および図３３のデブロックフィルタ６２の構造を詳細に記したものである。符号化歪を含む画像信号から、符号化歪だけを効率よく除去するためには、画像信号に含まれる符号化歪の大きさや傾向を特定し、それにあった適切なフィルタ処理を行うことで、本来の画像信号を劣化させないことが重要である。符号化歪は高周波数成分を多く含むことから、画像信号の中で高周波数成分の含まれる割合を調査し、画像信号に本来高周波数成分が含まれていないと考えられる画素に高周波数成分があれば符号化歪と判断し（画像信号は隣接画素間の相関が高いため、高周波数成分を含む画素位置はエッジ等の部分に集中しており、離散的に発生する場合は符号化歪と考えられる）、高周波数成分抑圧フィルタを行う処理が、符号化歪除去方法の一般的な考え方である。このデブロックフィルタ６２はＨ．２６ＬのＴＭＬ ８に記載されている内容をもとに、本願発明者が作成したものである。

フィルタ対象画素数決定部８４は再生画像Ｃｏｅｆを用いて、符号化歪を含む画素位置を決定し、フィルタ対象画素数ＦｔｒＰｅｌを出力する。フィルタ係数決定部８６はフィルタ対象画素数ＦｔｒＰｅｌと再生画像Ｃｏｅｆを用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数ＦｔｒＴａｐとして出力する。フィルタ処理部８８は、フィルタ係数ＦｔｒＴａｐで示すフィルタの係数で再生画像Ｃｏｅｆに符号化歪を除去するフィルタ処理を行い、復号画像信号Ｖｏｕｔを出力する。

ＭＰＥＧ−４ Ｐ２９０−Ｐ２９２ Ｆ．３．１ Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ

さて、このような従来の符号化歪除去方法は、符号化歪除去効果は大きいが処理が非常に複雑で実装が困難であるという課題があった。また、単位時間あたりの処理量が多いという課題があった。
また、如何に効果的な符号化歪除去方法を用いても、特別な付加情報無く画像信号と符号化歪を正確に区別することは不可能であるから、符号化歪除去を行うことで画像信号の画質を損なう可能性がある。これは、図３３の従来の復号化方法を用いた画像復号化装置のブロック図のように、符号化歪除去を行った結果を参照画像とする場合は後続画面の符号化結果にも影響するため、特に問題は大きい。
本発明は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで従来よりも画像信号の画質を損なう可能性が少ない高性能な符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化歪除去方法、符号化方法および復号化方法を提供することを目的とする。

そしてこの目的を達成するために、本発明は、複数のマクロブロックに分割された画像の符号化歪を除去する符号化歪除去方法であって、動き補償ブロックの画素サイズが前記マクロブロックの画素サイズより小さく、かつ、前記動き補償ブロックの画素サイズが符号化単位の画素サイズよりも大きい場合であって、前記マクロブロックの内部に位置する隣接する２つの動き補償ブロックの残差誤差が０のとき、前記２つの動き補償ブロックの各々の内部のブロック境界では符号化歪を除去せず、前記２つの動き補償ブロック間のブロック境界では符号化歪を除去する、ことを特徴とする符号化歪除去方法を提案する。

以上の様に、本発明にかかる符号化歪除去方法は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性が少ない符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化方法および復号化方法を提供することができ、その実用的価値は高い。

以下、本発明の実施の形態について、説明する。
（実施の形態１）
図１の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Ｓｔｒを可変長復号化し、周波数符号成分ＤＣｏｅｆを出力する。逆ジグザグスキャン部５４は周波数符号成分ＤＣｏｅｆの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分ＦＣｏｅｆを出力する。逆コサイン変換部５６は周波数成分ＦＣｏｅｆを逆量子化および逆ＤＣＴを行い、差分画像ＤｉｆＣｏｅｆとして出力する。

一方、動き補償部６０は、外部から入力される動きベクトルＭＶによって示される位置の画素をメモリ６４に蓄積された参照画像Ｒｅｆから動き補償画像ＭＣｐｅｌとして出力すると共に、動き補償ブロックの大きさを示す動き補償ブロックサイズＭｃｓｉｚｅを出力する。加算部５８は、差分画像ＤｉｆＣｏｅｆと動き補償画像ＭＣｐｅｌを加算し、再生画像Ｃｏｅｆとして出力する。デブロックフィルタ６２は再生画像Ｃｏｅｆ、動き補償ブロックサイズＭＣｓｉｚｅ、差分画像ＤｉｆＣｏｅｆを受け、符号化歪除去を行い、復号画像信号Ｖｏｕｔを出力する。再生画像Ｃｏｅｆはメモリ６４に格納されて、後続の画像復号化で参照画像Ｒｅｆとして使用される。

図２は本発明の符号化歪除去方法を用いたデブロックフィルタ（符号化歪除去部とも言う）６２のブロック図である。このデブロックフィルタ６２はＩＴＵ−Ｔ Ｈ．２６ＬのＴＭＬ ８に記載されているデブロックフィルタの内容を参照して本願発明者が発明したものである。
フィルタ対象画素数決定部４は入力される再生画像Ｃｏｅｆ毎に、符号化歪を含む画素位置を決定し、フィルタ対象画素数ＦｔｒＰｅｌとして出力する。すなわち、フィルタ対象画素数ＦｔｒＰｅｌはフィルタ処理をすべきと判断した画素位置を示す。フィルタ係数決定部６はフィルタ対象画素数ＦｔｒＰｅｌと再生画像Ｃｏｅｆの画素値を用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数ＦｔｒＴａｐとして出力する。フィルタ処理部８は、フィルタ係数ＦｔｒＴａｐで示すフィルタの係数で再生画像Ｃｏｅｆに符号化歪を除去するフィルタ処理を行い、復号画像信号Ｖｏｕｔを出力する。

動き補償ブロック境界判定部２は差分画像ＤｉｆＣｏｅｆと動き補償ブロックサイズＭＣｓｉｚｅを入力とし、当該処理対象ブロックの差分画像ＤｉｆＣｏｅｆが所定値以下であるか、例えば０であるかどうかを判定すると共に、動き補償ブロックの境界であるかどうかを判定し、動き補償ブロック境界フラグＩｓＥｄｇｅを出力する。

図３はＩＴＵ−Ｔ Ｈ．２６Ｌ ＴＭＬ８に採用されている動き補償ブロックサイズの例を示す。同例では、動き補償ブロックサイズの最大値が１６×１６画素であり、マクロブロックと呼ばれるサイズと一致する。図３の（ａ）〜（ｇ）はそれぞれ動き補償ブロックサイズが４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６に対応する。ＩＴＵ−Ｔ Ｈ．２６Ｌ ＴＭＬ８ではこの７通りの動き補償ブロックサイズからマクロブロック単位で適切なものを選択して符号化・復号化に使用する。なお、上下に隣接する２つのマクロブロックをまとめた単位で適切なものを選択して符号化・復号化することができ、このマクロブロックをまとめた単位をマクロブロックペアという。

一方、ＩＴＵ−Ｔ Ｈ．２６Ｌ ＴＭＬ８では、周波数変換および符号化の単位は４×４画素である。この４×４画素の単位を符号化単位という。符号化単位は、４×４画素以外のサイズであってもよい。図３（ａ）に示すようにＡ〜Ｐの１６ブロックのそれぞれは、４×４画素で構成されている。このように、符号化の単位である４×４画素と動き補償ブロックサイズは図３（ａ）以外の場合は一致しない。符号化歪として特に視覚的に妨害となるブロック歪は符号化単位である最小４×４画素で発生するため、従来の符号化歪除去方法では常に４×４画素単位で処理を行っている。

さて、動き補償符号化することで、画面間の相関が特に強い場合は、画面間の動き補償の残差誤差が０となる。この場合には、４×４画素単位で符号化・復号化すべき差分画像ＤｉｆＣｏｅｆも０であるから、動き補償のブロックの境界部以外には符号化・復号化の符号化歪に伴う画素値の不連続な値は発生しないと考えられる。そこで、例えば図３（ｂ）のような動き補償ブロックの場合は、図３（ａ）のＡＣ、ＢＤ、ＥＧ、ＦＨ、ＩＫ、ＪＬ、ＭＯ、ＮＰの４×４画素境界（点線で示す境界線）で符号化歪除去処理は不要である。同様に、図３（ｃ）のような動き補償ブロックの場合は、図３（ａ）のＡＢ、ＣＤ、ＥＦ、ＧＨ、ＩＪ、ＫＬ、ＭＮ、ＯＰの４×４画素境界で符号化歪除去処理は不要である。そして、４×４画素単位で符号化・復号化すべき差分画像ＤｉｆＣｏｅｆも０の場合は、動き補償ブロックの境界のみで符号化歪除去処理を行い、動き補償ブロック内の４×４画素単位での境界においては符号化歪除去処理を行わない。これにより、全てのブロック境界で符号化歪除去処理を行う場合と比較し、符号化歪除去処理の演算回数を削減することができる。

従って、動き補償ブロック境界判定部２は、当該処理対象ブロックの差分画像ＤｉｆＣｏｅｆが０であり且つ動き補償ブロックの境界でない場合は選択部１０ａ、１０ｂをＯＦＦ（実線で示す）とし、選択部１０ｂから再生画像Ｃｏｅｆを復号画像信号Ｖｏｕｔとして出力する。この選択部の切り替えは、動き補償ブロック境界フラグＩｓＥｄｇｅで選択する。これによりフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略することができる。なお、上記以外の場合は、選択部１０ａ、１０ｂをＯＮ（点線で示す）とし、選択部１０ｂからフィルタ処理部８の出力を復号画像信号Ｖｏｕｔとして出力する。この選択部の切り替えは動き補償ブロック境界フラグＩｓＥｄｇｅで選択する。

以上のように、本実施の形態によれば、動き補償ブロック境界フラグＩｓＥｄｇｅでフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略する仕組みを導入することで、処理削減による高速化および処理に必要な電力削減効果が得られる。
なお、本実施の形態では、単純に符号化歪除去処理を行わない例を示したが、符号化歪除去処理を行わない代わりに簡単な処理の符号化歪除去処理を使用し、複雑な処理が必要な符号化歪除去処理と４×４画素単位で切り替えてもよい。

（実施の形態２）
本実施の形態では、符号化歪除去方法を簡単に実現する具体的な処理手順を説明する。まず、図４は符号化歪除去方法を示すフローチャートである。
ステップＳ１８で対象ブロックが符号化歪除去対象ブロックか否かを判定する。符号化歪除去対象ブロックであればステップＳ１９に進み、対象ブロックで無ければステップＳ２４に進む。
ステップＳ１９では適切な符号化歪除去フィルタ選択し、ステップＳ２０では選択したフィルタで符号化歪除去処理を行って、ステップＳ２１で対象画素を当該ブロックの未処理画素に変更する。ステップＳ２２で当該ブロックに未処理画素が存在しない場合は、ステップＳ２４に進み、未処理画素が存在すればステップ１９以降を繰り返す。

ステップＳ２４では当該画面に未処理ブロックが存在するか否かを判定する。未処理ブロックがあればステップＳ２３に進み、当該画面に未処理ブロックが無ければ当該画面の符号化歪除去処理を終了する。
ステップＳ２３では対象ブロックを未処理ブロックに変更して、ステップＳ１８以下の処理を繰り返す。

図６は本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートであり、図２に示すフィルタ対象画素数決定部４の動作の一例である。また図６は動き補償ブロックが図８（ａ）に示す場合を示す。また、符号化歪除去対象画素値を、図８（ｂ）に示すように、
ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３
とし、符号化歪除去済画素値を
Ｐ３、Ｐ２、Ｐ１、Ｐ０、Ｑ０、Ｑ１、Ｑ２、Ｑ３
とする。ここで、各画素値は画素の位置の並びの順番に記号を付したものであり、ｐ０〜ｐ３とＰ０〜Ｐ３は同じブロックの対応する画素、ｑ０〜ｑ３とＱ０〜Ｑ３は同じブロックの対応する画素を示す。

量子化パラメータＱＰが大きいほど量子化ステップが粗く符号化歪の大きさも大きくなる。そこで、量子化パラメータＱＰの大きさによってフィルタを切り替えることが有効である。図５に量子化パラメータＱＰと符号化歪除去の各パラメータ対応表を示す。また、フィルタの対象画素数を決定するパラメータｎを決定するための、パラメータ符号化歪除去処理のパラメータπ、Ω、ｎの対応表を以下の表１に示す。なお、πは、例えば、画素値の差が大きい場合はエッジであるためフィルタをかけてはいけないので、差がπ未満の画素の間にはフィルタをかけないようにπを決めるとよい。また、Ωは、例えば、画素値の差が小さい場合はその差が非常に小さい（Ω未満）かやや小さい（２×Ω未満）かによって差が小さいほどエッジでは無く符号化誤差の影響が強いと考えられるので強力なフィルタ（ｎが大きい）をかけるようにΩを決めるとよい。

表１

ここで、
ｄｉｆ１ ＝ ｐ０ ｑ０
ｄｉｆ２ ＝ ｐ１ ｑ１
ｄｉｆ１ａ ＝ ｜ｄｉｆ１｜
ｄｉｆ２ａ ＝ ｜ｄｉｆ２｜とする。即ち、図６の本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートは、表１をもとにまとめたものである。

ステップＳ２７は符号化歪除去処理で繰り返し計算されるパラメータである画素差分値ＤｉｆＰｅｌを計算する。画素差分値ＤｉｆＰｅｌはステップＳ２７で計算されたｄｉｆ１ａとｄｉｆ２ａのことである。

ステップＳ２８ではｄｉｆ１ａとπを比較し、ｄｉｆ１ａがπを超えていればステップＳ２９でｎ＝０（即ち符号化歪除去処理をしない）として処理を終了する。ｄｉｆ１ａがπ以下であればステップＳ３０に進む。

ステップＳ３０ではｄｉｆ２ａをΩと比較し、ｄｉｆ２ａがΩ未満であればステップＳ３１でｎ＝２（即ち隣り合う各ブロックにおいてブロック境界から２つ目の画素までを符号化歪除去処理する）として処理を終了する。ｄｉｆ２ａがΩ以上であればステップＳ３２に進む。
ステップＳ３２ではｄｉｆ２ａを２×Ωと比較し、ｄｉｆ２ａが２×Ω未満であればステップＳ３３でｎ＝１（即ち隣り合う各ブロックにおいてブロック境界から１つ目の画素までを符号化歪除去処理する）として処理を終了する。ｄｉｆ２ａが２×Ω以上であればステップＳ３４でｎ＝０（即ち符号化歪除去処理をしない）として処理を終了する。ｄｉｆ２は境界近傍の画素値の差分の絶対値であり、この差分値が小さいほど境界近傍で高周波数成分が少ないと考えられるため、ｄｉｆ２が小さいほど符号化歪除去処理を行う画素数を増加することで、効率よく境界部の符号化歪を除去できる。

図７は本発明の符号化歪除去方法におけるフィルタ係数決定のフローチャートであり、図２に示すフィルタ係数決定部６の動作の一例である。
ステップＳ３７では、ｎとｄｉｆ１ａ、ｄｉｆ２ａ、φを用いて３通りの条件の比較を行い、３通りの全ての条件が満たされた場合には、ステップＳ３９で３タップフィルタ処理を行うように設定する。すなわち、φはフィルタのタップ数を決定する閾値であり、高周波数成分が少ないｎ＝２の場合で且つ境界部で画素値の変化が少ない（｜ｄｉｆ２ａ−ｄｉｆ１ａ｜＜φ）場合に３タップフィルタになる。通常、３タップフィルタは１タップフィルタよりも高周波数成分を強く抑圧するフィルタが使用される。なお、ｎの値により、フィルタ処理を切り換えることができるため、このように求められたｎを用いて、フィルタをかける画素数を切り換えるのではなく、フィルタの種類を切り換えることも可能である。また、このように求められたｎにより、フィルタをかける画素数と、フィルタの種類をともに切り換えてもよい。

ステップＳ３７で３通りの条件が満足されない場合は、ステップＳ３８でｎが１以上であるかを判定し、ｎが１以上であればステップＳ４０で１タップフィルタ処理を行うように設定する。一方、ｎが０あればステップＳ４２でフィルタ処理を行わないように設定する。
なお、量子化パラメータＱＰはブロック毎に変更される可能性がある。しかしながら、量子化パラメータＱＰが異なるブロック境界では、符号化歪除去処理が複雑になってしまう。これを防ぐために、本発明では境界ブロックで量子化パラメータＱＰが変化する場合でも、境界においては、
＊ 隣接ブロックの量子化パラメータＱＰの平均値（なお、端数は例えば切捨てを行う）
＊ 隣接ブロックの量子化パラメータＱＰの最大値
＊ 隣接ブロックの量子化パラメータＱＰの最小値
＊ 左もしくは上隣接ブロックの量子化パラメータＱＰ
のいずれかの方法で選択したＱＰをブロック境界の両側のフィルタ処理で使用する。なお、上記４通りの量子化パラメータＱＰの選択による差はわずかであり、予め選択した１通りのものを使用すれば良い。
以上のような方法により、符号化歪の除去を簡単に実施することができる。

次に、図８（ａ）は図１に示す符号化歪除去部６２の別例を示すブロック図である。また、図２に示す点線で囲まれた部分の別の例でもある。同図において、図３４の従来の符号化歪除去方法を用いた符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。

画素差分計算部２０は再生画像Ｃｏｅｆからブロック境界の画素差分値を計算し、画素差分値ＤｉｆＰｅｌを出力する。画素差分値ＤｉｆＰｅｌはｄｉｆ１ａおよびｄｉｆ２ａに相当する信号を含んでいる。画素差分値ＤｉｆＰｅｌは、例えば、図８（ｂ）に示すように、符号化単位ブロックの境界線に対し、左右対称の位置、または上下対称の位置にある画素同士を比較し、その差（色差または輝度差）であるｄ１、ｄ２、ｄ３、ｄ４から求まる。これらの差の平均値（例えば（ｄ１＋ｄ２＋ｄ３＋ｄ４）／４）が一定値以下であれば、ｄ４を求めた幅の範囲内には、画像の境界線が存在しないと考えられるので、デブロックフィルタを実行するように動作する。他方、平均値が一定値以上であれば、画像の境界線が存在すると考えられるので、デブロックフィルタを実行しない様に制御する。なお、比較を行うのはｄ１、ｄ２、ｄ３、ｄ４の内のいずれか一つ、いずれか二つ、いずれか３つのどれかであってもよい。また、平均値ではなく、差の内で一番大きいものを一定値と比較するようにしてもよい。

フィルタ対象画素数決定部４の動作の一例としては図６に示すフィルタ対象画素数決定のフローチャートがある。また、フィルタ係数決定部６の動作の一例としては図７に示すフィルタ係数数決定のフローチャートがある。そして、図８（ｂ）に示すように画素差分値ＤｉｆＰｅｌを参照することで、画素差分を計算する回数をフィルタ対象画素数決定部４およびフィルタ係数決定部６のそれぞれで削減できる。従って、フィルタ対象画素数決定部４およびフィルタ係数決定部６で再生画像Ｃｏｅｆを参照せずにフィルタ対象画素数およびフィルタ係数を決定することができる。
以上のように、画素差分値ＤｉｆＰｅｌとして計算した値を繰り返し使用することで、演算量を削減することができる。

（実施の形態３）
本実施の形態では、他の実施の形態で示した符号化歪除去方法を実現することができる符号化装置及び復号化装置について説明する。
図９は符号化装置を示すブロック図である。

動き検出部３０は第１メモリ３８および第２メモリ４０から出力される参照画像Ｒｅｆ１と参照画像Ｒｅｆ２をそれぞれ画像信号Ｖｉｎと比較し、参照画像に対する画像信号Ｖｉｎの動き量である動きベクトルＭＶを検出する。なお、その際に参照画像Ｒｅｆ１と参照画像Ｒｅｆ２のいずれの画像を参照した方が予測誤差が少なくなるかの情報も動きベクトルＭＶに含めて動き補償部３２に通知する。動き補償部３２は動きベクトルＭＶで示される位置の画像を参照画像Ｒｅｆ１または参照画像Ｒｅｆ２から抽出し、動き補償画像ＭＣｐｅｌとして出力する。

減算部４２は画像信号Ｖｉｎと動き補償画像ＭＣｐｅｌの差分値を計算してコサイン変換部（ＤＣＴ）４６に出力する。コサイン変換部４６は入力された差分値をＤＣＴ変換および量子化し、周波数成分ＦＣｏｅｆを出力する。ジグザグスキャン部４８は周波数成分ＦＣｏｅｆの順番の並べ替えを行った周波数符号成分ＤＣｏｅｆを出力し、可変長符号化部５０は周波数符号成分ＤＣｏｅｆを可変長符号化して符号化信号Ｓｔｒを出力する。
一方、ＤＣＴ部（コサイン変換部）４６の出力は逆ＤＣＴ部（逆コサイン変換部）に入力される。そして、周波数成分Ｆｃｏｅｆと動き補償部３２からの出力である動き補償画像Ｍｃｐｅｌとが合成部３４で合成され、合成画像ｃｏｅｆが出力される。出力された合成画像は、一方ではそのままメモリ３８に出力され、他方では、デブロックフィルタ３６で処理された後、符号化歪が除去された復号画像信号Ｖｏｕｔがメモリ４０に記憶される。
図１０は復号化装置を示すブロック図であり、例えば図９に示す符号化装置のブロック図で符号化した符号化信号Ｓｔｒを正しく復号化することができる。図３２又は図３３に示す画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。逆ＤＣＴ部（逆コサイン変換部）５６は周波数成分ＦＣｏｅｆを逆量子化および逆ＤＣＴを行って差分画像ＤｉｆＣｏｅｆを出力し、加算部５８で差分画像ＤｉｆＣｏｅｆと動き補償画像ＭＣｐｅｌを加算することで再生画像Ｃｏｅｆを得る。再生画像Ｃｏｅｆは第１メモリ６４に記憶され、またデブロックフィルタ６２で再生画像Ｃｏｅｆから符号化歪が除去された復号画像信号Ｖｏｕｔは第２メモリ６６に記憶される。

以上の動作によって、第１メモリ３８及び第１メモリ６４には符号化歪が除去されていない画像、第２メモリ４０及び第２メモリ６６には符号化歪が除去された画像が格納されることになる。符号化歪の除去処理は必ずしも符号化歪のみを除去できるわけでは無く、本来の画像信号の一部も失われる可能性がある。そこで、図９に示す符号化装置における、動き検出部３０で第１メモリ３８および第２メモリ４０の両方から常に最適なものを選択できる仕組みを備えるようにする。
この構成により、本来の画像信号の一部を、符号化歪を除去することにより失った場合でも第１メモリ３８を参照することで適切な参照画像を選ぶことができる。同様に図１０に示す復号化装置においても適切な参照画像を選ぶことができる。
なお、本実施の形態では直交変換としてＤＣＴを用いたが、アダマール変換やウェーブレット変換を用いても良い。

（実施の形態４）
図１１は本実施の形態における符号化歪除去部を示すブロック図であり、例えば図１に示すデブロックフィルタ６２に相当する。また、フィルタを決定するための閾値を決めることを特徴とする。同図において、図３４に示す従来の符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。

フィルタ決定パラメータ復号化部２２はフィルタ決定パラメータ信号ＦｔｒＳｔｒを復号化し、フィルタパラメータＦｔｒＰｒｍを出力する。フィルタ決定パラメータ信号ＦｔｒＳｔｒは、閾値そのものではなく、閾値を決定するためのパラメータである。フィルタパラメータＦｔｒＰｒｍは、図５のπ、Ω、φに相当する。これらのパラメータπ、Ω、φを画像毎に最適化したデータをフィルタ決定パラメータ信号ＦｔｒＳｔｒから復号し取得することで、当該画像に適した符号化歪除去を行うことができる。

図１２は本発明の符号化歪除去方法における符号化信号Ｓｔｒの構成図である。図１２（ａ）は１画面に対応する符号化信号であり、１画面のデータであるピクチャデータＰｉｃＤａｔａと１画面の全データに共通のデータであるピクチャヘッダＰｉｃＨｄｒで構成される。ピクチャヘッダＰｉｃＨｄｒにはフィルタ決定パラメータ信号ＦｔｒＳｔｒが含まれている。

図１２（ｂ）はピクチャデータＰｉｃＤａｔａの構造であり、ピクチャデータＰｉｃＤａｔａは複数のブロック単位の集合で構成されるスライスの符号化信号である、スライス信号ＳｌｉｃｅＳｔｒを含んでいる。
図１２（ｃ）はスライス信号ＳｌｉｃｅＳｔｒの構造であり、１スライスのデータであるスライスデータＳｌｉｃｅＤａｔａと１スライスの全データに共通のデータであるスライスヘッダＳｌｉｃｅＨｄｒで構成される。スライスヘッダＳｌｉｃｅＨｄｒにフィルタ決定パラメータ信号ＦｔｒＳｔｒが含むことにより、スライスデータＳｌｉｃｅＤａｔａ単位で受信した符号化信号を正しく復号化できる。

なお、ピクチャデータＰｉｃＤａｔａに複数のスライス信号ＳｌｉｃｅＳｔｒが含まれている場合は、全てのスライスヘッダＳｌｉｃｅＨｄｒにフィルタ決定パラメータ信号ＦｔｒＳｔｒを含む代わりに、一部のスライスヘッダＳｌｉｃｅＨｄｒのみにフィルタ決定パラメータ信号ＦｔｒＳｔｒを含むようにしてもよい。フィルタ決定パラメータ信号ＦｔｒＳｔｒの内容が各スライスで共通であれば、図１２（ｃ）に示すようにスライスヘッダＳｌｉｃｅＨｄｒにフィルタ決定パラメータ信号ＦｔｒＳｔｒが無い場合は、他のスライスヘッダＳｌｉｃｅＨｄｒ のフィルタ決定パラメータ信号ＦｔｒＳｔｒで代用することで、フィルタ決定パラメータ信号ＦｔｒＳｔｒの繰り返しによるビット数の増加を抑えることも可能である。

また、符号化信号Ｓｔｒが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１２のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１２で説明したビットストリームの場合と同じである。
図１３は、符号化装置のブロック図を示す。同図において、図９に示す符号化装置のブロック図の機器と同じ動作をする機器は同じ番号を付し、説明を省略する。

メモリ２１７は、符号化対象の画像信号である入力画像信号Ｖｉｎを記憶する。画質比較部２１６は、メモリ２１７から読み出した符号化対象の画像信号と復号化画像Ｖｏｕｔを比較する。画質比較部２１６で比較した結果得られた誤差の大きさは、復号化画像に対応するデブロックフィルタの閾値とともに比較結果メモリ２１８に記憶される。選択部２１９は、比較結果メモリ２１８に記憶された誤差の中で誤差の大きさが最も小さい場合に対応するデブロックフィルタの閾値を最適閾値として選択する。選択した最適閾値は、閾値データ付加部２２０において、対応するピクチャのビットストリームに関連付けた付加ビットストリームとして多重化される。また、選択部２１９で出力した最適閾値を元に、閾値コントロール部２１５は次のピクチャのデブロックフィルタの閾値の候補を生成し、デブロックフィルタ３６に通知して符号化歪の除去処理の閾値を変更するとともに、比較結果メモリ２１８に現在使用中の閾値を通知する。

図１４は、図１３のブロック図をより概念的に示した符号化装置、例えば最適閾値選択器２２６は、図１３のジグザグスキャン４８、可変長符号化器５０、閾値データ付加部２２０の３つを除く部分の動作、又は、メモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の動作に相当する。また、ビデオ・エンコーダ２２７は、例えば図１３のメモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の５つを除く部分の動作に対応する。また、閾値２２８は上記最適閾値に相当する。
最適閾値選択器２２６は、最適閾値を選択する。ここで、最適閾値とは例えば図５に示す量子化パラメータＱＰ毎に決定されたπ、Ω、φのセットが相当する。選択された最適閾値は、メモリ２２８に記憶され、フィルタ決定パラメータＦｔｒＳｔｒとしてビデオエンコーダ２２７に加えられる。なお、エンコードされたＦｔｒＳｔｒはデコーダにおいては、例えば図１１に示すフィルタ決定パラメータ復号化部２２で処理されることになる。

なお、最適閾値は、図１３に示す閾値コントロール２１５内のメモリに記憶され、閾値コントロール２１５により閾値データが、閾値データ付加部に２２０に送られるようにしても良い。
次に符号化歪を除去するときにフィルタ決定パラメータＦｔｒＳｔｒを決定する動作を説明する。図１５、図１６、図１７は、図１３、図１４で説明した符号化装置の動作を示すフローチャートである。
図１５は、画質の測定をするための動作の一例を示すフローチャートである。

まず、目標フレームｔａｒｇｅｔ＿ｆｒａｍｅを設定し、最初のピクチャを出力する（ステップ２２９）。ここで目標フレームｔａｒｇｅｔ＿ｆｒａｍｅとは閾値を導出するときに使用するピクチャである。
次に閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２３０）、ステップ２３０で設定した範囲の一方の端の値を、閾値の初期値として閾値コントロール２１５から出力する（ステップ２３１）。

次に、設定した閾値の初期値を用いて符号化歪の除去をデブロックフィルタ３６で行い、目標フレームｔａｒｇｅｔ＿ｆｒａｍｅの画像の符号化を開始し（ステップ２３２）、符号化された１枚目のピクチャと入力画像信号Ｖｉｎの画質を画質比較器２１６で測定する（ステップ２３３）。
この測定結果はメモリ２１８に記録され（ステップ２３４）、現在のフレーム番号ｃｕｒｒｅｎｔ＿ｆｒａｍｅはインクリメントされる（ステップ２３５）。すなわち、最初のピクチャから次のピクチャに切り替え、次のピクチャを例えば図１４に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図１３に示すメモリ２１７、動き補償部３０、減算部４２に出力する。

ステップ２３６で、現在のフレーム番号が目標フレームｔａｒｇｅｔ＿ｆｒａｍｅに達したかどうかを判断する。達していなければ、ステップ２３３から２３５が繰り返される。そして入力されるピクチャに対する画質が画質比較部２１６で測定され、測定結果がメモリ２１８に記憶される。また、現在のフレーム番号が目標フレームｔａｒｇｅｔ＿ｆｒａｍｅに達していれば、ステップ２３７に進み、最初のピクチャである１枚目の画像に戻す。
ステップ２３８Ａで、閾値コントロール２１５において、閾値をインクリメントする。すなわち閾値を次の値に設定する。ここで次の値とは、初期値から、所定の増加量を加算した値である。

ステップ２３８Ｂで、閾値範囲における他方の端の値に至るまでの全ての閾値についてテストが行われたかどうかが判断される。全ての閾値についてテストが行われたのであれば最適閾値を選択するための処理を終了する。全ての閾値についてテストが行われていなければステップ２３２に戻り、再び目標フレームｔａｒｇｅｔ＿ｆｒａｍｅのピクチャを符号化する。
このように、ひとつの閾値について全ての目標フレームｔａｒｇｅｔ＿ｆｒａｍｅについて画質の測定を行った後、閾値を所定量加算して、再び全ての目標フレームｔａｒｇｅｔ＿ｆｒａｍｅについて画質の測定を行うことにより、画質の測定をすることができる。
次に、図１６のフローチャートを用いて、ひとつのピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行い、続いて次のピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行う方法について説明する。

まず、目標フレームｔａｒｇｅｔ＿ｆｒａｍｅを設定し、最初のピクチャを出力する（ステップ２３９）。現在のフレーム番号ｃｕｒｒｅｎｔ＿ｆｒａｍｅをゼロに設定し（ステップ２４０）、最初のピクチャであることを設定する。次に、閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２４１）、デブロックフィルタ３６に対する閾値を設定する（ステップ２４２）。

最初のピクチャに対し閾値の初期値を用いて符号化（符号化歪除去処理）を行い、（ステップ２４３）符号化されたピクチャの画質を画質比較器２１６で測定する（ステップ２４４）。
この測定結果をメモリ２１８に記録し（ステップ２４５）、閾値コントロール２１５部において、閾値を次の値にインクリメントする（ステップ２４６Ａ）。
そして、ステップ２４６Ｂで、全ての閾値がテストされたかどうかが判断される。全ての閾値がテストされていなければ、ステップ２４２に戻り、同じピクチャに対し、別の閾値で画質の測定をする。全ての閾値について画質の測定がされていればステップ２４７に進む。

ステップ２４７で、現在のフレーム番号ｃｕｒｒｅｎｔ＿ｆｒａｍｅをインクリメントする。すなわち、最初のフレームである１枚目のピクチャから次のフレームである２枚目のピクチャに切り替え、次のピクチャを例えば図１４に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図１３に示すメモリ２１７、動き補償部３０、減算部４２に出力する。
ステップ２４８で、現在のフレーム番号が目標フレームｔａｒｇｅｔ＿ｆｒａｍｅに達したかどうかを判断する。現在のフレーム番号が目標フレームｔａｒｇｅｔ＿ｆｒａｍｅに達していなければ、ステップ２４１に戻る。また、達していれば、画像の測定の処理を終了する。

図１７は、図１５または図１６において説明した閾値とその閾値に対する画質の測定結果とに基づき、最適な閾値を選択する方法について説明するフローチャートである。
図１７のステップ２４９で、選択部２１９は、画質の測定結果のデータと、対応する閾値データとのペアを取得する。
ステップ２５０で、測定結果を所定の順番に配置する。
ステップ２５１で、所定の条件に基づき最適画質を有するピクチャを選択し、そのピクチャに対応する閾値を最適閾値として選択する。所定の条件は、例えばＳＮ比が小さいこと、再生ピクチャ（当該閾値でデブロックフィルタ処理された画像）とオリジナル・ピクチャ（入力画像信号Ｖｉｎ）との間の差が最も低いこと、前記差の平均２乗がもっとも低いこと、等のいずれか、または組み合わせとすることができる。

ステップ２５２で、選択された最適閾値をフィルタ決定パラメータＦｔｒＳｔｒとして例えば図１４に示すビデオ・エンコーダ２２７に出力する。
このように、図１７で説明した方法を用いて、最適閾値を選択することができる。
なお、以上の実施の形態４においては、範囲の全ての閾値について画質の測定を行い、画質の測定結果を収集し、その中から最適な閾値を選出したが、閾値範囲の全ての閾値について順番に画質の測定を行い、最適な画質の測定結果が得られた時点で画質の測定を終了し、その画質の測定結果に対応する閾値を最適な閾値として選出してもよい。これにより、画質の測定回数を減らすことが可能となる。
また、あるブロックの符号化歪の除去処理は、そのブロックの画素値と隣接ブロックの画素値との比較が行われる。この場合、隣接ブロックは、符号化歪の除去処理が終了し、画素値の修正が終了したブロックを用いるようにする。

例えば、図１８において、ブロックＧの符号化歪の除去処理を行う場合、ブロックＧに隣接する４つのブロックＥ，Ｄ，Ｈ，Ｍのそれぞれと符号化歪の除去を行うことができる。この場合、隣接ブロックの内、すでに符号化歪の除去処理が終了したブロックと行うようにすれば、より正確な符号化歪の除去を行うことが可能となる。
そこで、符号化歪の除去を線順次で、走査順次に行う。すなわち、画像の水平走査線の走査方向、走査線順に符号化歪の除去を行うとよい。

つまり図１８において、１本目の走査線であるＡ，Ｂ，Ｅ，Ｆ，Ｃ，Ｄ，・・・の順番に符号化歪の除去処理を行い、各ブロックについて４本の境界線があるが、その内、上側の境界線と左側の境界線とに接している隣接ブロックについて符号化歪の除去処理を行うとよい。
この場合、ブロックＡについては、上側の境界線と左側の境界線とに接している隣接ブロックは存在しないので、符号化歪の除去を行わない。
また、ブロックＢについては、上側の境界線に接している隣接ブロックは存在しないので、左側の境界線に接している隣接ブロックＡとの間で符号化歪の除去を行う。

また、ブロックＧについては、上側の境界線と左側の境界線とに接している隣接ブロックはブロックＥ，Ｄであるので、ブロックＧについては、ブロックＥ，Ｄに対しては符号化歪の除去を行ない、ブロックＨ，Ｍに対しては符号化歪の除去を行わない。
このように、新たなブロックに対し、符号化歪の除去が終了した隣接ブロックとの間について符号化歪の除去を行い、まだ符号化歪の除去が終了していない隣接ブロックとの間について符号化歪の除去を行わないようにすれば、より正確な符号化歪の除去処理を行うことができる。

（実施の形態５）
本実施の形態では、まず、図１９に示すように複数の画素、例えば１列に並ぶ４画素を１グループとしてまとめ、グループのペアで演算し、符号化歪の除去処理をする例について説明する。ここで言う符号化歪の除去処理とは、ブロック間の境界線を挟んだ領域においてデブロックフィルタ処理を行うか否かの判断、およびデブロックフィルタ処理の両方、またはいずれかを言う。また、ブロックとは、符号化処理単位である４ｘ４の１６画素を含むブロックまたは図３で説明した動き補償を行うブロックのいずれかを言う。

図１９に示すように１グループを構成する４画素は、ブロックの境界線と同方向に並んだブロック内の４画素である。図１９には、４画素を含むグループｒ１、ｒ２、ｒ３、ｒ４が示されている。グループｒ１、ｒ２、ｒ３、ｒ４のデータは、それぞれ４個のレジスタ（例えばＳＩＭＤレジスタ）に保持することができる。グループｒ１、ｒ２は、境界線に対し左右対称の位置にある。グループｒ３、ｒ４も、境界線に対し左右対称の位置にある。グループｒ１にある画素値と、グループｒ２にある画素値が比較され、その差により符号化歪の除去処理を行う。

これらの差を得るための演算は、グループｒ１の上端にある画素と、グループｒ２の上端にある画素との差１、グループｒ１の上端の次にある画素と、グループｒ２の上端の次にある画素との差２、グループｒ１の下端の上にある画素と、グループｒ２の下端の上にある画素との差３、グループｒ１の下端にある画素と、グループｒ２の下端にある画素との差４、を求め、これらの差１、差２、差３、差４の平均値、またはこれらの差１、差２、差３、差４の絶対値の和などを代表差として表し、代表差を所定の閾値と比較することにより行われる。他の演算方法も可能である。同じグループの４画素単位で演算を行うため、各画素単位で演算を行う場合に比べて並列演算が可能であり、並列化による高速な実装が容易になる。

以上は、グループｒ１とグループｒ２とが比較される場合を説明したが、さらに、正確さが必要とされる場合は、グループｒ３にある画素の明るさと、グループｒ４にある画素の明るさが比較され、グループｒ１，ｒ２で得られた比較結果の代表差と、今回の代表差の両方を加算、又は平均することにより符号化歪の除去処理を行うことも可能である。以上は、境界線が縦方向にある場合を説明したが、横方向も同様である。境界線が横方向にある場合は、横方向に並んだ４画素をグループとして捕らえられる。

ところで、図２０（ａ）、（ｂ）は、それぞれ画面上の走査線がインターレースで構成されている場合を示す。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。図において、ねずみ色の小さな四角は奇数ラインの画素を示し、白色の小さな四角は偶数ラインの画素を示す。すなわち、奇数ラインで構成されるねずみ色の画素で１フィールドを構成し、偶数ラインで構成される白色の画素でフレームの他方のフィールドが構成されている。インタレース画像信号では、１つのフレームが時刻の異なる２つのフィールド（偶数フィールドと奇数フィールド）で構成される。静止画像の場合は時刻によって画素値が変化しないので、フレームの上下のラインの相関がフィールドの上下のラインの相関よりも強い。一方、動画像の場合は時刻によって画像が大きく変化するため、２つのフィールドの画素値が大きく異なり、フレームの上下のラインの相関よりもフィールドの上下のラインの相関の方が強くなる。従って、静止画像はフレーム、動画像はフィールドとして処理するのが効率が良い。

また、ピクチャがインタレース画像のとき、例えば、〈１〉ブロックが全てフレーム構造（フレーム構造については後述）のピクチャ、〈２〉ブロックが全てフィールド構造（フィールド構造については後述）のピクチャ、〈３〉ブロックがフレーム構造とフィールド構造のブロックとを有することができるピクチャ、が考えられる。
そして、例えば、ピクチャが〈１〉の場合（フレームの場合）には、全てフレーム構造単位でデブロック・フィルタ処理を行い、ピクチャが〈２〉の場合（フィールドの場合）には、全てフィールド構造単位でデブロック・フィルタ処理を行い、ピクチャが〈３〉の場合には、適応的にフィールド構造からフレーム構造あるいはフレーム構造からフィールド構造に変換をしてデブロック・フィルタ処理を行う。以下、それぞれについて具体的に説明する。

静止もしくは動きの小さいインタレース画像は、図２０（ａ）に示す様な奇数フィールドと偶数フィールドとからなる１フレーム単位で処理される（フレーム構造という）。フレーム構造においては、図２０（ａ）の右側に示す様に、１６画素で構成されるひとつのブロックに奇数ラインの画素と偶数ラインの画素が含まれる。符号化歪の除去処理は、フレーム構造を有するブロック間で行なわれる。すなわち、図８（ｂ）で説明した様に、ブロックの境界において符号化歪の除去処理がなされる。

大きな動きのインタレース画像は、図２０（ｂ）に示す様な奇数フィールドと偶数フィールドとに分けられた１フィールド単位で処理される（フィールド構造という）。フィールド構造は、図２０（ｂ）の右側に示す様に、奇数ラインで構成される奇数フィールドと、偶数ラインで構成される偶数フィールドに分けられ、奇数フィールドには奇数ラインで構成されるブロックが含まれ、偶数フィールドは偶数ラインで構成されるブロックが含まれる。符号化歪の除去処理は、フィールド構造を有する奇数ラインのブロック間のみまたは偶数ラインのブロック間のみで行なわれる。

図２１（ａ）は、インタレース画像の一部がフレーム構造で形成され、別の一部がフィールド構造で形成される例を示す。好ましくは、画像の中で、動画部分がフィールド構造で形成され、静止画部分がフレーム構造で形成される。フィールド構造またはフレーム構造で形成される最小単位はＤＣＴ等の直交変換もしくは動き補償が実行される最大単位であるマクロブロック（またばそれを複数個統合したスーパーマクロブロック）である。ここでは簡単に、図２１（ａ）の自動車を含む四角部分がフィールド構造で形成され、残りの部分がフレーム構造で形成されているとする。

フィールド構造で形成されている部分と、フレーム構造で形成されている部分が隣接している部分での符号化歪の除去処理をどの様に行なうかを次に説明する。
図２１（ｂ）において、コラムＣ１，Ｃ２，Ｃ３，Ｃ４に含まれるブロックは自動車がある部分に属し、動きがあるためフィールド構造で形成されている一方、コラムＣ５，Ｃ６，Ｃ７，Ｃ８に含まれるブロックは、自動車のない部分に属し、静止画像で効率が良いフレーム構造で形成されている。なお、この例ではマクロブロックは水平・垂直とも１６画素であり、ブロックは水平・垂直とも４画素である。図２１（ｂ）において、コラムＣ４とＣ５は間隔をあけて示されているが、画像上では隣接している。コラムＣ３とＣ４の間にある境界線、及びコラムＣ５とＣ６の間にある境界線に対しては、図８（ｂ）で示した符号化歪の除去処理が行なわれる。コラムＣ４とコラムＣ５との間にある境界線に対しては、図２１（ｃ）に示す様に、まずコラムＣ５にあるフレーム構造のブロックがフィールド構造のブロックに変換される。この変換は、例えば図２１（ｂ）に示すコラムＣ５の奇数ラインの画素から図２１（ｃ）に示すコラムＣ５のねずみ色の画素からなるブロックに変換し、図２１（ｂ）に示すコラムＣ５の偶数ラインの画素から図２１（ｃ）に示す白色の画素からなるコラムＣ５のブロックに変換する。続いて、コラムＣ４とＣ５との間にある境界線に対して図８（ｂ）で示した符号化歪の除去処理が行なわれる。

この様に、フレーム構造のブロックをフィールド構造のブロックに変換したのは、動きのある場合にフィールド構造のブロックをフレーム構造のブロックにすると垂直方向の画素の相関が失われ、垂直方向の符号化歪の除去処理を行うと不自然な劣化が発生するためである。一方、静止している場合にフレーム構造のブロックをフィールド構造にすると垂直方向の高周波数成分における符号化誤差の抑圧効果は小さくなるが、垂直方向の画素の相関は失われないため不自然な画質劣化が発生しにくい。

なお、処理量を減らす（フレームをフィールドに変換するのみ）ためにフレーム構造のブロックをフィールド構造のブロックに変換するとしたが、処理量を考慮せず、つまり、フレームはフィールドに変換し、更にフィールドをフレームに変換するため、先の場合と比べるとフィールドをフレームに変換する分の処理が新たに処理量が増加するが、符号化歪の除去処理の対象となっている（現在デブロックフィルタで画素値を変えようとしている）画素が、フレーム構造のブロック内にあるか、フィールド構造のブロック内にあるかどうかを判断し、符号化歪の除去処理の対象となっている画素が、フィールド構造のブロック内にあれば、フレーム構造のブロックをフィールド構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換し、符号化歪の除去処理の対象となっている画素が、フレーム構造のブロック内にあれば、フィールド構造のブロックをフレーム構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換してもよい。

以下、図２２のフローチャートに基づいて、フレーム構造とフィールド構造が混在する場合の動作について説明する。

インタレース・画像信号列のフレームは、異なる時刻（ｔｉｍｅ ｉｎｓｔａｎｔ）で走査される、二つのフィールドで構成される。すなわち、二つのフィールドを１つにまとめたフレーム符号化（フレーム構造の符号化）、または、フィールドを個別に扱うフィールド符号化（フィールド構造の符号化）が可能である。更に、これらの符号化方法は、下記の二つのカテゴリーにグループ分けできる。すなわち、画面全体をフレーム符号化か、フィールド符号化のいずれかできりかえて符号化する固定符号化と、画面を複数の区分に分割し、区分毎にフレーム符号化かフィールド符号化かのいずれかを切り替えて行なう適応符号化である。固定符号化には、フレーム構造に対応したフレーム固定符号化と、フィールド構造に対応したフィールド固定符号化がある。固定符号化では、インタレース・ビデオ・シーケンスは、コンテンツに係わりなくフレーム符号化またはフィールド符号化のいずれかで常に符号化される。他方、適応符号化では、コンテンツにより、または画面により、または画面内の区分単位でフレーム符号化またはフィールド符号化のいずれかの符号化の選択が可能である。画面内の区分は、マクロブロック・レベルまでの細かさで行うことができる。従って、適応符号化では、マクロブロックは、フレーム符号化またはフィールド符号化のいずれかで符号化できることとなる。以下の説明では、マクロブロックを単にブロックと略す。

フレーム符号化されたブロック、すなわちフレーム構造を有するブロックでは、ノンインタレース・ビデオの符号化歪を除去する場合と同様にして符号化歪の除去が行なわれる。フィールド符号化されたブロック、すなわちフィールド構造を有するブロックでは、フィールドが偶数フィールドおよび奇数フィールドに分けられ、各フィールドは、個別の画面として扱われ、各フィールド毎に符号化歪の除去が行なわれる。

ステップ６３は、対象ブロックがフィールド符号化されているか、それともフレーム符号化されるかどうかを判断する。ブロックがフィールド符号化されている場合には、ステップ６４〜６９が実行される。ブロックがフレーム符号化されている場合には、ステップ７０〜７２が実行される。

ステップ６４〜６６では偶数フィールド構造のブロックが処理され、ステップ６７〜６９では奇数フィールド構造のブロックが処理される。ステップ６４〜６６での処理は、図２１（ｂ）のコラムＣ３とＣ４の間の境界における白色画素間の符号化歪の除去処理に相当する。また、ステップ６７〜６９での処理は、図２１（ｂ）のコラムＣ３とＣ４の間の境界におけるねずみ色画素間の符号化歪の除去処理に相当する。
ステップ６４で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ６５でフィルタリングすべき画素の数が決定される。ステップ６６でフィールドモードで符号化歪の除去が行なわれる。

ステップ６７，６８，６９では、ステップ６４，６５，６６と同様な処理が行なわれる。
ステップ７０〜７２ではフレーム構造のブロックが処理される。この処理は、図２１（ｂ）のコラムＣ５とＣ６の間の境界における符号化歪の除去処理に相当する。ステップ７０で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ７１でフィルタリングすべき画素の数が決定される。ステップ７２でフレームモードで符号化歪の除去が行なわれる。
ステップ７３で全てのブロックが処理されたかどうかが判断され、処理が終了する。

図２３は、図２２のステップ６４と６７が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪の除去が必要かどうかが判断され、この判断結果に基づき、偶数フィールド、奇数フィールドのブロックが共に符号化歪の除去が行なわれる。これにより、符号化歪の除去処理を簡略化することが可能となる。
図２４は、図２３のステップ６５と６８が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪を除去すべき画素の数を決定する。この決定に基づき、偶数フィールド、奇数フィールドのブロックの符号化歪の除去が行なわれる。これにより、更に符号化歪の除去処理を簡略化することが可能となる。

図２５は、図２１（ａ）に示した様に、ひとつの画面にフレーム符号化のブロックとフィールド符号化のブロックが混在している場合に、フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャートを示す。
ステップ９５で、符号化歪の除去を行なうブロックによって挟まれる境界線が、特定の境界線、すなわち境界線の一方側にフレーム構造のブロックがあり、他方側にフィールド構造のブロックがある境界線かどうかが判断される。この判断は、図２１（ｂ）におけるコラムＣ４とＣ５の間の境界線であるかどうかの判断に相当する。特定の境界線であると判断された場合は、ステップ９６に移る。

ステップ９６で、境界線の一方側にあるフレーム構造のブロックをフィールド構造のブロックに変換する。この変換は、図２１（ｂ）のコラムＣ５に示すブロックから、図２１（ｃ）のコラムＣ５に示すブロックへの変換に相当する。変換されたブロックを変換ブロックと言う。
ステップ９７で、境界線の他方側にあるフィールド構造のブロックと、変換ブロックとの間で符号化歪の除去が必要かどうかが判断される。この判断は、図２１（ｃ）におけるコラムＣ４とＣ５の間の境界線での判断に相当する。必要と判断されればステップ９８に進む。

ステップ９８で、フィルタリングすべき画素の数を決定する。
ステップ９９で、フィールドモードで符号化歪の除去が行なわれる。
なお、図２５では、適応符号化でフレーム構造とフィールド構造のブロックが隣接する場合にフレーム構造をフィールド構造に変換し、フィールドで符号化歪を除去する例を示したが、逆にフィールド構造をフレーム構造に変換し、フレームで符号化歪を除去してもよい。図２５のようにフィールドで符号化歪を除去すれば、動きの速い画像信号でも同じ時刻の画素のみを用いた符号化歪の除去が行われるため不自然な画質劣化がおきにくい利点がある。しかしながら、逆にフレームで符号化歪を除去すると、動きの小さな画像信号では垂直方向の画素相関がフィールドで行うよりも強いため、フールドでデブロックフィルタする場合よりも高周波数成分の劣化が少ないという利点がある。従って、それぞれに利点があり、機器を製造する際に一方を選択するか、もしくは使用者が一方を選択できるようにしてもよい。

更に、適応符号化の場合でも、ブロック単位でなく画面単位で（フレームかフィールドかで）符号化歪の除去処理を決定してもよい。画面単位でデブロックフィルタがフィールドモードもしくはフレームモードの１つとすることで、実装が簡単化できる。フィールドモードもしくはフレームモードのいずれであるかは一方に固定してもよいし、また画面毎に切替可能としてもよい。画面毎に切替可能とするとき、どちらのモードが適切であるかを符号化装置で判断し、復号化装置のデブロックフィルタがどちらのモードで符号化歪の処理をすべきかを示す識別信号を符号列のヘッダ部に含めて伝送してもよい。

また、ブロック単位でフィールド／フレーム切り換え可能な場合はフィールド単位で符号化歪を除去し、切替不可能（禁止）な場合、例えばピクチャに関する情報（ピクチャパラメータ）において当該ピクチャにおいて切り換え不可とされている場合は、フレーム単位で符号化歪の除去処理をするようにしてもよい。
なお、実施の形態１から実施の形態５で示したデブロックフィルタは図３２で示したループ外フィルタとしても図３３で示したループ内フィルタとしても使用することができる。

ループ内フィルタでは、符号化歪の除去処理を行う前のデータをメモリ６４に格納することで、ブロック歪が除去されていない画像が予測画像として参照されることになり、ブロック歪が除去された画像を予測画像として参照する場合よりも僅かに符号化画質が劣化する。一方、ループ外フィルタでは、符号化歪の除去処理の結果は参照画像とならないことから、デブロックフィルタ６２として任意のものを実装しても、復号画像が大きく劣化することがない。たとえば、消費電力が優先される携帯機器ではデブロックフィルタ６２として少演算量のフィルタを使用し、画質が最優先の娯楽用据え置き機器では高演算量の高精度高画質なフィルタをデブロックフィルタ６２として使用することができる。

（実施の形態６）
さらに、上記各実施の形態で示した符号化歪除去方法、符号化方法および復号化方法の構成を実現するためのプログラムを、フロッピーディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２６は、上記実施の形態１から実施の形態５の符号化歪除去方法、符号化方法および復号化方法を格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図２６（ｂ）は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図２６（ａ）は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法が記録されている。

また、図２６（ｃ）は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法をフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化歪除去方法、符号化方法および復号化方法をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図２７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図２７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図２８は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図２９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図２９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
なお、上記実施の形態１から実施の形態６に示した符号化装置、復号化装置等の構成は、説明したものに限られない。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

本発明は、符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラムに利用可能である。

本発明による復号化方法を用いた画像復号化装置のブロック図 本発明の実施の形態１に係る符号化歪除去方法を用いた符号化歪除去部のブロック図 動き補償ブロックサイズの例を示す図 本発明の実施の形態２に係る符号化歪除去方法のフローチャート 本発明の実施の形態２に係る量子化パラメータＱＰと符号化歪除去の各パラメータ対応を示す図 本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ対象画素数決定のフローチャート 本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ係数数決定のフローチャート 本発明の実施の形態２に係る符号化歪除去方法を用いた符号化歪除去部のブロック図、及びピクセルの並びを表す図 本発明の実施の形態３に係る符号化方法を用いた符号化装置のブロック図 本発明の実施の形態３に係る復号化方法を用いた復号化装置のブロック図 本発明の実施の形態４に係る符号化歪除去方法を用いた符号化歪除去部のブロック図 本発明の実施の形態４に係る符号化歪除去方法における符号化信号Ｓｔｒの構成図 ループ・フィルタによるビデオ・エンコーディング処理を示すブロック図 ビデオ・エンコーディング・ループにおける自動化閾値選択の配置を示すブロック図 最適な閾値を見出すためにデータを収集する方法を示したフローチャート 最適な閾値を見出すためにデータを収集する別の方法を示したフローチャート 最適な閾値を選択する方法を示すフローチャート デブロック化処理をスキップすることができる同じ境界を共有するブロックの付近を示す図 複数画素を含むグループを示す説明図 （ａ）はフレーム構造、（ｂ）はフィールド構造の説明図 （ａ）は、ひとつのピクチャにフレーム構造とフィールド構造が混在している場合の説明図、（ｂ）、（ｃ）はフレーム構造とフィールド構造の境界部における符号化歪の除去処理のステップを示す説明図 フレーム構造とフィールド構造が混在している場合の符号化歪の除去処理のフローチャート 図２２においてステップ６４と６７が統合されたフローチャート 図２３においてステップ６５と６８が統合されたフローチャート フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャート 本発明の実施の形態６に関し、実施の形態１から実施の形態２の可変長符号化方法および可変長復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図 コンテンツ供給システムの全体構成を示すブロック図 動画像符号化方法、動画像復号化方法を用いた携帯電話の例 携帯電話のブロック図 ディジタル放送用システムの例 符号化歪除去方法の概念を説明するため、ピクセルの信号レベルを示す図 従来の復号化方法を用いた画像復号化装置のブロック図 従来の復号化方法を用いた画像復号化装置のブロック図 従来の符号化歪除去方法を用いた符号化歪除去部のブロック図

符号の説明

３０ 動き検出部
３２、６０ 動き補償部
５０ 可変長符号化部
５２ 可変長復号化部
４６ コサイン変換部
５６ 逆コサイン変換部
４８ ジグザグスキャン部
５４ 逆ジグザグスキャン部
３８、４０、６４ メモリ
６２ デブロックフィルタ
３４、５８ 加算部
４２ 減算部
２０ 画素差分計算部
４ フィルタ対象画素数決定部
６ フィルタ係数決定部
８ フィルタ処理部
２２ フィルタ決定パラメータ復号化部
２ 動き補償ブロック境界判定部
１０ａ 選択部
１０ｂ 選択部
Ｃｓ コンピュータ・システム
ＦＤ フロッピディスク
ＦＤＤ フロッピディスクドライブ

Claims (1)

1. 複数のマクロブロックに分割された画像の符号化歪を除去する符号化歪除去方法であって、
   動き補償ブロックの画素サイズが前記マクロブロックの画素サイズより小さく、かつ、前記動き補償ブロックの画素サイズが符号化単位の画素サイズよりも大きい場合であって、
   前記マクロブロックの内部に位置する隣接する２つの動き補償ブロックの残差誤差が０のとき、
   前記２つの動き補償ブロックの各々の内部のブロック境界では符号化歪を除去せず、
   前記２つの動き補償ブロック間のブロック境界では符号化歪を除去する、
   ことを特徴とする符号化歪除去方法。

Images