JPWO2011129090A1 - 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置 - Google Patents

Abstract

各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する符号化歪み除去方法であって、少なくとも第１処理境界に隣接する第１隣接画素の画素値に基づいて、第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素を決定する第１決定ステップ（Ｓ１１）と、第１対象画素に対して符号化歪み除去処理を行う第１除去ステップ（Ｓ１３）と、少なくとも第２処理境界に隣接する第２隣接画素の画素値に基づいて、第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素を決定する第２決定ステップ（Ｓ１２）と、第２対象画素に対して符号化歪み除去処理を行う第２除去ステップ（Ｓ１４）とを含み、第２決定ステップ（Ｓ１２）では、第１除去ステップ（Ｓ１３）で符号化歪み除去処理が行われる前の第２隣接画素の画素値に基づいて第２対象画素を決定する。

Description

本発明は、画像信号を符号化した際に処理境界に発生する符号化歪みを除去する符号化歪み除去方法、ならびにその符号化歪み除去方法を用いて圧縮率をより高めることができる符号化方法および復号化方法などに関するものである。

Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式（例えば、非特許文献１参照）においては、画面（ピクチャ）をマクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で処理を行う。

動き補償を行う場合には、マクロブロックをブロック（最小で水平４画素、垂直４画素）に分割する。そして、ブロック毎に異なる動きベクトルを用いて動き補償を行い、元信号との差分信号を周波数変換し、差分信号を低周波数領域に集め、量子化をすることで情報を圧縮することができる。差分信号を低周波数領域に集めるＤＣＴ等の直交変換を用いたブロック単位符号化方法では、ブロックの境界にブロック歪みと呼ばれる格子状の歪が見られることが知られている。

図４０は従来の符号化歪み除去方法を用いた符号化歪み除去部のブロック図である。スイッチ１００１は、水平方向のブロック境界（以下、「水平境界」という）および垂直方向のブロック境界（以下、「垂直境界」という）のどちらのブロック境界に対して処理を行うかを切り替える。フィルタ対象画素決定部１００２は、ブロック境界に隣接する画素の画素値に基づき、符号化歪み除去処理（以下、適宜「フィルタ処理」ともいう）の対象となる画素（以下、適宜「フィルタ対象画素」または「対象画素」という）を決定する。そして、フィルタ処理部１００３は、そのフィルタ対象画素に対して符号化歪み除去処理を行う。スイッチ１００４は、まだ水平境界もしくは垂直境界の処理が終わっていない場合に、符号化歪み除去処理済みの画像信号が再度スイッチ１００１に入力されるように設定される。フィルタ対象画素決定部１００２は、まだ処理していない方向のブロック境界に対して、フィルタ対象画素を決定する。このように、符号化歪み除去処理は、水平境界および垂直境界に対して、逐次的に行われる。

ＩＳＯ／ＩＥＣ １４４９６−１０「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」

しかしながら、上記従来の方式では、水平境界に対する処理と、垂直境界に対する処理とを逐次的に行うため、水平境界もしくは垂直境界に対する符号化歪み除去処理済みの画像信号を用いて、符号化歪み除去処理の対象となる対象画素を決定している。そのため、ブロック境界における画素値の変化がブロック歪みによる変化であるか物体境界による変化であるかの判断を誤り、物体境界の画素に対して符号化歪み除去処理を行うという課題があった。

図４１は従来の符号化歪み除去処理における課題を説明するための図である。図４１において、斜線領域は物体の領域を示す。

図４１（ａ）に示すように、まず、水平境界に対してフィルタ処理が行われる。この結果、図４１（ｂ）のクロスハッチの位置の画素値は、フィルタ処理によって変更される。次に垂直境界に対してフィルタ処理が行われる場合、水平境界に対してフィルタ処理が行われた後の画素値（クロスハッチ領域）に基づいて、フィルタ処理の対象となる画素が決定される。その結果、本来、物体境界であった位置（１１０１）に対して、フィルタ処理（平滑化処理）が実行されてしまう。つまり、フィルタ処理によって物体境界がぼけてしまい、その結果として符号化効率の低下を招いてしまう。

本発明は、上記課題を解決するものであり、画像信号の画質を損なう可能性が少ない符号化歪み除去方法などを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る符号化歪み除去方法は、各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する符号化歪み除去方法であって、少なくとも前記第１処理境界に隣接する第１隣接画素の画素値に基づいて、前記第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素を決定する第１決定ステップと、決定された前記第１対象画素に対して符号化歪み除去処理を行う第１除去ステップと、少なくとも前記第２処理境界に隣接する第２隣接画素の画素値に基づいて、前記第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素を決定する第２決定ステップと、決定された前記第２対象画素に対して符号化歪み除去処理を行う第２除去ステップとを含み、前記第２決定ステップでは、前記第１除去ステップで符号化歪み除去処理が行われる前の前記第２隣接画素の画素値に基づいて前記第２対象画素を決定する。

これによれば、第１処理境界および第２処理境界の双方において、符号化歪み除去処理前の画素値に基づいて符号化歪み除去処理の対象画素を決定することができる。したがって、符号化歪み除去処理後の画素値に基づいて対象画素を決定することで物体境界に対応する画素まで対象画素と決定していた従来の課題を解消することができる。つまり、符号化歪み除去処理を画像信号の画質を損なう可能性が少ない符号化歪み除去処理を実現することができる。

また、本発明の一態様に係る復号化方法は、符号列から画像を復号する復号化方法であって、前記符号列から画像信号を復号する復号ステップと、上記の符号化歪み除去方法を用いて、前記復号ステップで復号された画像信号の符号化歪みを除去する符号化歪み除去ステップとを含む。

また、本発明の一態様に係る符号化方法は、画像を符号化する符号化方法であって、画像を符号化する符号化ステップと、前記符号化ステップで符号化された画像から画像信号を再構成する再構成ステップと、上記の符号化歪み除去方法を用いて、前記再構成ステップで再構成された画像信号の符号化歪みを除去する符号化歪み除去ステップとを含み、前記符号化ステップでは、前記符号化歪み除去ステップで符号化歪みが除去された画像信号を参照して、前記画像を符号化する。

また、本発明の一態様に係る符号化歪み除去装置は、各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する符号化歪み除去装置であって、少なくとも前記第１処理境界に隣接する第１隣接画素の画素値に基づいて、前記第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素を決定する第１決定部と、決定された前記第１対象画素に対して符号化歪み除去処理を行う第１除去部と、少なくとも前記第２処理境界に隣接する第２隣接画素の画素値に基づいて、前記第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素を決定する第２決定部と、決定された前記第２対象画素に対して符号化歪み除去処理を行う第２除去部とを備え、前記第２決定部は、前記第１除去部によって符号化歪み除去処理が行われる前の前記第２隣接画素の画素値に基づいて前記第２対象画素を決定する。

また、本発明の一態様に係る復号化装置は、符号列から画像を復号する復号化装置であって、前記符号列から画像信号を復号する復号部と、上記の符号化歪み除去装置とを備え、前記符号化歪み除去装置は、前記復号部によって復号された画像信号の符号化歪みを除去する。

また、本発明の一態様に係る符号化装置は、画像を符号化する符号化装置であって、画像を符号化する符号化部と、前記符号化部によって符号化された画像から画像信号を再構成する再構成部と、上記の符号化歪み除去装置とを備え、前記符号化歪み除去装置は、前記再構成部によって再構成された画像信号の符号化歪みを除去し、前記符号化部は、前記符号化歪み除去装置によって符号化歪みが除去された画像信号を参照して、前記画像を符号化する。

本発明によれば、第１処理境界および第２処理境界の双方において、符号化歪み除去処理前の画素値に基づいて符号化歪み除去処理の対象画素を決定することで、画像信号の画質を損なう可能性が少ない符号化歪み除去処理を実現することができる。また、符号化歪み除去処理の対象画素を決定するために、符号化歪み除去処理済みの画素値を使わないため、対象画素の決定処理を同時に実施する（並列処理）を実現することができる。これにより、原画像が有する物体の境界を維持することができるため、その実用的価値が高い。

図１は、本発明の実施の形態１に係る符号化歪み除去装置の機能構成の一例を示すブロック図である。 図２は、本発明の実施の形態１に係る符号化歪み除去方法の一例を示すフローチャートである。 図３Ａは、フィルタ対象画素決定方法の一例を説明するための模式図である。 図３Ｂは、フィルタ対象画素決定方法の一例を説明するための模式図である。 図３Ｃは、フィルタ対象画素決定方法の一例を説明するための模式図である。 図４は、本発明の実施の形態１に係るフィルタ対象画素決定方法の一例を示すフローチャートである。 図５は、本発明の実施の形態１に係るフィルタ処理の概念を説明するための図である。 図６は、本発明の実施の形態１の変形例に係る符号化歪み除去装置の機能構成の一例を示すブロック図である。 図７は、本発明の実施の形態１の変形例における符号化歪み除去処理の処理時間を説明するための図である。 図８は、本発明の実施の形態２に係るフィルタ対象画素決定方法の一例を示すフローチャートである。 図９は、本発明の実施の形態３に係る垂直境界部を示す図である。 図１０は、従来の符号化歪み除去方法における６つの逐次的なステップを説明するための図である。 図１１Ａは、決定処理ｄ_１，ｖ内における逐次処理の数を説明するための図である。 図１１Ｂは、決定処理Ｄ_ｉ，ｖ内における逐次処理の数を説明するための図である。 図１１Ｃは、フィルタ処理Ｆ_ｉ，ｖ内における逐次処理の数を説明するための図である。 図１２は、従来の符号化歪み除去方法における各処理の依存関係とクリティカルパスにおける逐次処理の数とを示す図である。 図１３は、本発明の実施の形態３に係る符号化歪み除去方法における４つの逐次的なステップを説明するための図である。 図１４は、本発明の実施の形態３に係る符号化歪み除去方法における各処理の依存関係とクリティカルパスにおける逐次処理の数とを示す図である。 図１５は、階層化された処理単位（多階層ブロック構造）を説明するための図である。 図１６Ａは、ＬＣＵの処理順序の一例を示す図である。 図１６Ｂは、ＬＣＵ内におけるＣＵの処理順序の一例を示す図である。 図１６Ｃは、符号化歪み除去処理が施される処理境界の一例を示す図である。 図１７は、本発明の実施の形態４に係る符号化歪み除去装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態４に係る符号化歪み除去装置の動作を示すフローチャートである。 図１９は、本発明の実施の形態４に係る符号化歪み除去方法を説明するための図である。 図２０Ａは、本発明の実施の形態５に係る符号化装置を示すブロック図である。 図２０Ｂは、本発明の実施の形態６に係る復号化装置を示すブロック図である。 図２０Ｃは、本発明の一態様に係る符号化歪み除去方法の一例を示すフローチャートである。 図２１は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２２は、デジタル放送用システムの全体構成図である。 図２３は、テレビの構成例を示すブロック図である。 図２４は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２５は、光ディスクである記録メディアの構造例を示す図である。 図２６（ａ）は、携帯電話の一例を示す図であり、図２６（ｂ）は、携帯電話の構成例を示すブロック図である。 図２７は、多重化データの構成を示す図である。 図２８は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２９は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図３０は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図３１は、ＰＭＴのデータ構造を示す図である。 図３２は、多重化データ情報の内部構成を示す図である。 図３３は、ストリーム属性情報の内部構成を示す図である。 図３４は、映像データを識別するステップを示す図である。 図３５は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３６は、駆動周波数を切り替える構成を示す図である。 図３７は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３８は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３９（ａ）は、信号処理部のモジュールを共有化する構成の一例を示す図であり、図３９（ｂ）は、信号処理部のモジュールを共有化する構成の他の一例を示す図である。 図４０は、従来の画像符号化装置および画像復号化装置における符号化歪み除去部の構成を示すブロック図である。 図４１は、従来の符号化歪み除去方法を用いた場合の課題を説明する模式図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１では、画像を構成する少なくとも１つの画素の集合であるブロックを処理単位として画像信号の符号化歪みを除去する方法について説明する。本実施の形態では、ブロックは矩形状であり、第１処理境界がブロックの水平境界であり、第２処理境界が垂直境界であるとする。

具体的には、垂直境界は、現在処理中のブロック（以下、「処理中のブロック」または「現在のブロック」とする）と当該現在のブロックの左側に隣接する前に処理されたブロック（以下、「処理済みのブロック」または「前のブロック」とする）との間の境界である。また、水平境界は、現在のブロックと当該現在のブロックの上側に隣接する前のブロックとの間の境界である。

図１は、本発明の実施の形態１に係る符号化歪み除去装置１００の機能構成を示すブロック図である。図１に示すように、符号化歪み除去装置１００は、スイッチ１０１と、フィルタ対象画素決定部１０２と、フィルタ候補情報保持部１０３と、スイッチ１０４と、スイッチ１０５と、フィルタ処理部１０６と、スイッチ１０７とを備える。符号化歪み除去装置１００への入力信号は、符号化歪みが含まれる可能性のある画像信号である。

スイッチ１０１は、フィルタ対象画素決定部１０２への入力信号の入力先の切り替えを行う。この入力信号の入力先の切り替えと連動して、フィルタ対象画素決定部１０２による処理の対象となるブロック境界の方向が切り替えられる。

本実施の形態では、スイッチ１０１が「ａ」に接続されているときには、符号化歪み除去装置１００の外部から画像信号がフィルタ対象画素決定部１０２に入力される。一方、スイッチ１０１が「ｂ」に接続されているときには、フィルタ対象画素決定部１０２から画像信号が再びフィルタ対象画素決定部１０２に入力される。

フィルタ対象画素決定部１０２は、第１決定部と第２決定部とに相当する。フィルタ対象画素決定部１０２は、少なくとも隣接画素の画素値を用いて、ブロック境界に対するフィルタ対象画素を決定する。

ここで、隣接画素とは、ブロック境界に隣接する２つの画素である。また、フィルタ対象画素とは、フィルタ処理部１０６によってフィルタ処理が行われる対象となる画素である。また、フィルタ処理とは、符号化歪み除去処理の一例であり、例えば適応的デブロッキングフィルタである。

具体的には、フィルタ対象画素決定部１０２は、まず、垂直境界に隣接する隣接画素（第１隣接画素）の画素値に基づいて、当該垂直境界に対するフィルタ対象画素（第１対象画素）を決定する。次に、フィルタ対象画素決定部１０２は、水平境界に隣接する隣接画素（第２隣接画素）の画素値に基づいて、当該水平境界に対するフィルタ対象画素（第２対象画素）を決定する。このとき、フィルタ対象画素決定部１０２は、水平境界に隣接する隣接画素の画素値として垂直境界に対するフィルタ処理が行われる前の画素値を用いて、当該水平境界に対するフィルタ対象画素を決定する。

さらに具体的には、本実施の形態では、スイッチ１０１が「ａ」に接続されているときには、フィルタ対象画素決定部１０２は、垂直境界に対するフィルタ対象画素を決定する。一方、スイッチ１０１が「ｂ」に接続されているときには、フィルタ対象画素決定部１０２は、水平境界に対するフィルタ対象画素を決定する。

フィルタ候補情報保持部１０３は、フィルタ対象画素決定部１０２によって決定されたフィルタ対象画素に関する情報をフィルタ候補情報として保持する。具体的には、フィルタ候補情報保持部１０３は、例えばブロック境界ごとにフィルタ対象画素の位置を示す情報をフィルタ候補情報として保持する。また、フィルタ候補情報保持部１０３は、例えばブロック境界の隣接画素がフィルタ対象画素であるか否かを示す情報をフィルタ候補情報として保持してもよい。

スイッチ１０４は、フィルタ対象画素決定部１０２からの出力信号の出力先を切り替える。本実施の形態では、スイッチ１０４が「ａ」に接続されているときには、フィルタ対象画素決定部１０２からの出力信号はスイッチ１０１に出力される。一方、スイッチ１０４が「ｂ」に接続されているときには、フィルタ対象画素決定部１０２からの出力信号はスイッチ１０５に出力される。

スイッチ１０５は、フィルタ処理部１０６への入力信号の入力先の切り替えを行う。この入力信号の入力先の切り替えと連動して、フィルタ処理部１０６による処理の対象となるブロック境界の方向が切り替えられる。

フィルタ処理部１０６は、第１除去部と第２除去部とに相当する。フィルタ処理部１０６は、決定されたフィルタ対象画素に対してフィルタ処理を行う。具体的には、スイッチ１０５が「ａ」に接続されているときには、フィルタ処理部１０６は、垂直境界に対するフィルタ対象画素に対して、フィルタ処理を行う。一方、スイッチ１０５が「ｂ」に接続されているときには、フィルタ処理部１０６は、水平境界に対するフィルタ対象画素に対して、フィルタ処理を行う。

スイッチ１０７は、フィルタ処理部１０６からの出力信号の出力先を切り替える。この出力信号は、フィルタ処理後の画像信号である。本実施の形態では、スイッチ１０７が「ａ」に接続されているときには、フィルタ処理部１０６からの出力信号はスイッチ１０５に出力される。一方、スイッチ１０７が「ｂ」に接続されているときには、フィルタ処理部１０６からの出力信号は、処理済み画像信号として符号化歪み除去装置１００の外部へ出力される。

次に、以上のように構成された符号化歪み除去装置１００における各種動作について説明する。

図２は、本発明の実施の形態１に係る符号化歪み除去方法の一例を示すフローチャートである。具体的には、図２は、本発明の実施の形態１に係る符号化歪み除去装置１００による１つのブロックに対する処理の流れを示すフローチャートである。

まず、フィルタ対象画素決定部１０２は、第ｎのフィルタ処理方向に対応するブロック境界に対するフィルタ対象画素を、少なくともブロック境界の隣接画素の画素値を用いて決定する（Ｓ２０１）。このステップＳ２０１は、第１決定ステップおよび第２決定ステップに相当する。

以下に、このステップＳ２０１の処理の具体例を説明する。

処理開始時点では、スイッチ１０１は、「ａ」に接続されている。スイッチ１０１の「ａ」に入力された画像信号は、フィルタ対象画素決定部１０２に入力される。フィルタ対象画素決定部１０２は、スイッチ１０１が「ａ」に接続されている場合には、水平方向のフィルタ処理方向（第１のフィルタ処理方向）に対応する垂直境界に対するフィルタ対象画素を決定する。

また、垂直境界に対するフィルタ対象画素を決定された後には、スイッチ１０４は、「ｂ」に接続されている。スイッチ１０４の「ａ」からスイッチ１０１の「ｂ」に入力された画像信号は、フィルタ対象画素決定部１０２に入力される。フィルタ対象画素決定部１０２は、スイッチ１０１が「ｂ」に接続されている場合には、垂直方向のフィルタ処理方向（第２のフィルタ処理方向）に対応する水平境界に対するフィルタ対象画素を決定する。

ここで、フィルタ対象画素決定部１０２におけるフィルタ対象画素の決定方法の一例を、図３Ａ〜図３Ｃを用いて説明する。

図３Ａおよび図３Ｂに示すように、水平境界近傍の画素のインデックス、および垂直境界近傍の画素のインデックスを、それぞれｐ０〜ｐ３およびｑ０〜ｑ３と表わす。なお、画素値は、これらのインデックスによって表わされる。以下において、例えばインデックスがｐ０の画素を「画素ｐ０」と記載する。

ここで、フィルタ対象画素は、フィルタ処理方向に延びる処理ライン単位で決定される。つまり、フィルタ対象画素決定処理は、ブロック境界と直交する方向に並ぶ画素列である処理ラインごとに行われる。なお、このフィルタ対象画素決定処理の処理ラインを示す模式図を図３Ｃに示す。図３Ｃでは、垂直境界に対するフィルタ対象画素決定処理における処理ラインが示されている。例えば、図３Ａの左端の垂直ラインでは、画素ｐ０およびｑ０がフィルタ対象画素と決定され、左端から２番目のラインでは画素ｐ１、ｐ０、ｑ０、およびｑ１がフィルタ対象画素と決定される。

図４は、本発明の実施の形態１に係るフィルタ対象画素決定方法の一例を示すフローチャートである。

まず、フィルタ対象画素決定部１０２は、ブロック境界に隣接する画素ｐ０と画素ｑ０との差分値の絶対値ＤＩＦａを算出する（ステップＳ４０ａ）。次に、フィルタ対象画素決定部１０２は、算出した差分値の絶対値ＤＩＦａと予め決められた方法で与えられる閾値ＴＨａとを比較する（ステップＳ４０ｂ）閾値ＴＨａは、例えば、符号化または復号化において用いられる量子化ステップ値に応じて決定される値であればよい。

ここで、絶対値ＤＩＦａが閾値ＴＨａより小さい場合（ステップＳ４０ｂでＹＥＳ）、フィルタ対象画素決定部１０２は、画素ｐ０と画素ｑ０とに対してフィルタ処理を行うことを決定する（ステップＳ４０ｃ）。つまり、フィルタ対象画素決定部１０２は、ブロック境界の隣接画素である画素ｐ０と画素ｑ０とをフィルタ対象画素と決定する。

一方、絶対値ＤＩＦａが閾値ＴＨａ以上である場合（ステップＳ４０ｂでＮｏ）、フィルタ対象画素決定部１０２は、画素ｐ０と画素ｑ０とに対してフィルタ処理を行わないと決定する（ステップＳ４０ｄ）。つまり、フィルタ対象画素決定部１０２は、ブロック境界の隣接画素である画素ｐ０と画素ｑ０とをフィルタ非対象画素と決定する。

このように、ステップＳ２０１において、フィルタ対象画素決定部１０２は、ブロック境界の隣接画素の画素値に基づいて、そのブロック境界に対するフィルタ対象画素を決定する。なお、フィルタ対象画素を決定する方法については、ブロック境界の隣接画素の画素値の関係性（例えば差分値または比など）に基づいて決定されればよい。フィルタ対象画素の決定方法の他の例については、他の実施の形態で説明する。

なお、ここではフィルタ処理方向として水平方向と垂直方向とを例示したが、これに限ったものではなく、ブロック境界が斜め方向の場合には、その斜め方向と平行もしくは垂直な方向をフィルタ処理方向とすることも考えられる。また、フィルタ処理方向は、必ずしも２方向である必要はなく、ブロックの形状に応じて３方向以上であってもよい。

次に、フィルタ対象画素決定部１０２は、フィルタ対象画素に関する情報をフィルタ候補情報としてフィルタ候補情報保持部１０３に出力し、かつ画像信号を変更せずにそのままスイッチ１０４へ出力する（ステップＳ２０２）。つまり、フィルタ候補情報保持部１０３は、フィルタ対象画素決定部１０２によって決定された垂直境界または水平境界に対するフィルタ対象画素に関する情報をフィルタ候補情報として保持する。

処理開始時点では、スイッチ１０４は「ａ」に接続されている。したがって、フィルタ対象画素決定部１０２からスイッチ１０４へ出力された画像信号は、スイッチ１０４の「ａ」からスイッチ１０１の「ｂ」に送られる。ここで、スイッチ１０１は「ａ」から「ｂ」に切替えられる。つまり、フィルタ対象画素決定部１０２から出力された画像信号は、変更されずに再度フィルタ対象画素決定部１０２に入力される。

このとき、フィルタ対象画素決定部１０２は、上述したように、水平境界に対するフィルタ対象画素を決定する。フィルタ対象画素決定部１０２は、水平境界に対するフィルタ対象画素に関する情報をフィルタ候補情報保持部１０３に出力する。

第Ｎのフィルタ処理方向に関するステップＳ２０１およびＳ２０２の処理が終了した後、スイッチ１０４は「ｂ」に接続される。したがって、フィルタ対象画素決定部１０２から出力された画像信号は、スイッチ１０５に入力される。スイッチ１０５は、処理開始時点では「ａ」に接続されている。

次に、フィルタ処理部１０６は、フィルタ候補情報保持部１０３から取得するフィルタ候補情報に基づいて、入力される画像信号に対してフィルタ処理を行う（ステップＳ２０３）。つまり、フィルタ処理部１０６は、フィルタ対象画素決定部１０２によって決定されたフィルタ対象画素に対してフィルタ処理を行う。このステップＳ２０３は、第１除去ステップおよび第２除去ステップに相当する。

以下に、このステップＳ２０３の処理の具体例を説明する。

フィルタ処理部１０６は、スイッチ１０５が「ａ」に接続されている場合には、垂直境界に対するフィルタ処理を行う。一方、スイッチ１０５が「ｂ」に接続されている場合には、フィルタ処理部１０６は、水平境界に対してフィルタ処理を行う。

図５は、本発明の実施の形態１に係るフィルタ処理の概念を説明するための図である。図５において、横軸は画素位置を示し、縦軸は画素値を示す。

例えば、図５（ａ）に示す原画像の画像信号に対して、ブロック単位の符号化処理が行われると、図５（ｂ）に示すように、ブロック歪みが発生する。ブロック歪みとは、ブロック内部では画素値が滑らかに連続的に変化し、ブロック境界のみで画素値が不連続に変化することを示す。

そこで、図５（ｂ）に示すブロック境界のフィルタ処理が行われることで、図５（ｃ）に示すようにブロック境界において画素値が連続的に変化するように補正され、符号化に起因するブロック歪みが低減される。

このように、フィルタ処理部１０６は、フィルタ対象画素決定部１０２によって決定されたフィルタ対象画素に対してフィルタ処理を行う。なお、フィルタ処理の具体的な方法については、他の実施の形態に詳しく説明する。

ここで、スイッチ１０７のスイッチング動作について説明する。フィルタ処理された画像信号は、スイッチ１０７へ出力される。処理開始時点では、スイッチ１０７は、「ａ」に接続されている。したがって、フィルタ処理部１０６からスイッチ１０７へ出力された画像信号は、スイッチ１０７の「ａ」からスイッチ１０５の「ｂ」に送られる。ここでスイッチ１０５は、「ａ」から「ｂ」に切替えられる。つまり、フィルタ処理部１０６から出力された、垂直境界に対するフィルタ処理済みの画像信号は、フィルタ処理部１０６に再度入力される。

このとき、フィルタ処理部１０６は、フィルタ候補情報保持部１０３から取得するフィルタ候補情報に基づいて、水平境界に対するフィルタ処理を行う。フィルタ処理された画像信号は、スイッチ１０７へ出力される。ここでスイッチ１０７は、「ａ」から「ｂ」に切替えられる。したがって、水平境界に対するフィルタ処理済みの画像信号は、符号化歪み除去装置１００の外部に出力される。

以上のように、符号化歪み除去装置１００は、垂直境界および水平境界の双方に対するフィルタ対象画素を決定した後に、垂直境界および水平境界に対するフィルタ処理を行う。つまり、符号化歪み除去装置１００は、フィルタ処理が行われる前の画素値に基づいて、フィルタ対象画素を決定する。

（実施の形態１の変形例）
なお、本実施の形態では垂直境界に対するフィルタ対象画素の決定、水平境界に対するフィルタ対象画素の決定という順番でフィルタ対象画素が決定されたが、図６に示すように、垂直境界に対するフィルタ対象画素の決定と水平境界に対するフィルタ対象画素の決定とが並列で実行されてもよい。

図６は、本発明の実施の形態１の変形例に係る符号化歪み除去装置６００の機能構成の一例を示すブロック図である。図６に示すように、符号化歪み除去装置６００は、第１フィルタ対象画素決定部６０１と、第２フィルタ対象画素決定部６０２と、フィルタ候補情報保持部６０３と、スイッチ６０４と、フィルタ処理部６０５と、スイッチ６０６とを備える。

フィルタ候補情報保持部６０３は、フィルタ候補情報保持部１０３と同じであり、同じ動作を行う。また、スイッチ６０４は、スイッチ１０５と同じであり、同じ動作を行う。また、フィルタ処理部６０５は、フィルタ処理部１０６と同じであり、同じ動作を行う。また、スイッチ６０６は、スイッチ１０７と同じであり、同じ動作を行う。

また、第１フィルタ対象画素決定部６０１は第１決定部に相当し、第２フィルタ対象画素決定部６０２は第２決定部に相当する。つまり、第１フィルタ対象画素決定部６０１と第２フィルタ対象画素決定部６０２とは、フィルタ対象画素決定部１０２を水平方向用と垂直方向用とに分割した処理部に相当する。したがって、第１フィルタ対象画素決定部６０１および第２フィルタ対象画素決定部６０２の両方は、フィルタ対象画素決定部１０２と同様の動作を行う。

つまり、第１フィルタ対象画素決定部６０１は、垂直境界の隣接画素の画素値に基づいて、当該垂直境界に対するフィルタ対象画素を決定する。また、第２フィルタ対象画素決定部６０２は、水平境界の隣接画素の画素値に基づいて、当該水平境界に対するフィルタ対象画素を決定する。

なお、フィルタ対象画素決定処理を分割する方向として水平方向と垂直方向とを例示したが、これに限ったものではなく、ブロック境界が斜め方向の場合にはそれと平行もしくは垂直な方向で分割することも考えられる。

このようにフィルタ対象画素決定処理（ステップＳ２０１）を、フィルタ処理方向（つまりブロック境界の方向）で分割して並列に実行することで、処理待ち時間を削減することができるため、符号化歪み除去装置６００による処理時間を短縮することができる。処理時間の違いを、図７を用いて説明する。

図７は、本発明の実施の形態１の変形例における符号化歪み除去処理の処理時間を説明するための図である。具体的には、図７（ａ）は、従来の符号化歪み除去方法による処理時間を示した概念図である。また、図７（ｂ）は、実施の形態１に係る符号化歪み除去方法による処理時間を示した概念図である。また、図７（ｃ）は、本変形例に係る符号化歪み除去方法による処理時間を示した概念図である。

ここで、第１フィルタ対象画素決定処理（垂直境界）に必要な処理時間をＴＤＡ、第１フィルタ処理（垂直境界）に必要な処理時間をＴＦＡとする。また、第２フィルタ対象画素決定処理（水平境界）に必要な処理時間をＴＤＢ、第２フィルタ処理（水平境界）に必要な処理時間をＴＦＢとする。ここでは各処理の間に必要な時間は、各処理に必要な時間と比較してとても短いため、各処理の間に必要な時間をゼロとして説明する。

従来の符号化歪み除去方法では、全ての処理を逐次的に行う必要があるため、符号化歪み除去に必要な処理時間は、ＴＤＡ＋ＴＦＡ＋ＴＤＢ＋ＴＦＢとなる。また、実施の形態１に係る符号化歪み除去方法でも、図７（ｂ）に示すように、符号化歪み除去に必要な処理時間は、ＴＤＡ＋ＴＤＢ＋ＴＦＡ＋ＴＦＢとなる。つまり、実施の形態１に係る符号化歪み除去方法では、従来の符号化歪み除去方法と、符号化歪みの除去に必要な処理時間は変化しない。

一方、本変形例に係る符号化歪み除去方法では、図７（ｃ）に示すように、符号化歪み除去に必要な処理時間は、ＭＡＸ（ＴＤＡ、ＴＤＢ）＋ＴＦＡ＋ＴＦＢとなる。つまり、本変形例に係る符号化歪み除去方法では、従来の符号化歪み除去方法より短い時間で処理を終わらせることができる。

なお、ここでは垂直境界に対するフィルタ処理、水平境界に対するフィルタ処理という順番でフィルタ処理が実行されたが、逆の順番でもよい。また順番について、予め符号化装置および復号化装置で決めておく、もしくは、ストリームのヘッダ情報として付加された信号によって、切替えてもよい。また、垂直境界に対するフィルタ処理、水平境界に対するフィルタ処理とは同時に実行されてもよい。

なお、図１の構成および図６の構成どちらでも処理済み画像は全く一致するため、どちらの構成を選択するかは、符号化装置および復号化装置で適した構成を選択することができる。例えば、並列処理に不向きな単体ソフトウェアの場合、図１の構成を選択し、並列処理が有効なハードウェアの場合、図６の構成を選択することができる。また、どちらの構成を選択しても、処理結果は同じとなるため、符号化装置および復号化装置の互換性を維持することが可能となり、実用的な効果が非常に高い。

以上のように、本発明の実施の形態１またはその変形例に係る符号化歪み除去装置１００、６００によれば、水平境界および垂直境界に対するフィルタ対象画素決定処理に、フィルタ処理前の画像信号が入力される。ここで、フィルタ候補情報保持部１０３、６０３は、フィルタ対象画素と決定された画素を特定するためのフィルタ候補情報を保持する。そして、フィルタ処理部１０６、６０５は、画像信号に対して水平方向および垂直方向のフィルタ処理を実施する際に、フィルタ候補情報保持部１０３、６０３からフィルタ候補情報を取得することにより、決定されたファイル対象画素に対してフィルタ処理を行う。

このような動作により、符号化歪み除去装置１００、６００は、垂直方向または水平方向に対するフィルタ処理前の画像信号を用いて、水平境界または垂直境界に対するフィルタ対象画素を決定することができる。つまり、符号化歪み除去装置１００、６００は、フィルタ処理後の画像信号を用いてフィルタ対象画素を決定することによって物体境界に対してもフィルタ対象画素と判断していた従来の符号化歪み除去方法の欠点を解消することができる。つまり、符号化歪み除去装置１００、６００は、画像信号の画質を損なう可能性が少ない符号化歪み除去方法を実現することができる。

また、符号化歪み除去装置１００、６００は、フィルタ対象画素決定処理において、フィルタ処理後の画像信号を使わない。これにより、実施の形態１の変形例のように、符号化歪み除去装置６００は、水平境界および垂直境界に対するフィルタ対象画素決定処理を並列に実行することができ、符号化歪み除去処理に必要な時間を短縮することができる。

なお、上記ではブロック境界の歪み除去として説明したが、Ｈ．２６４におけるブロック単位に限定したものではなく、変換の処理単位間での歪み除去にも同様の効果がある。

また、上記実施の形態１では、垂直境界および水平境界の双方に対するフィルタ対象画素が決定された後に、垂直境界および水平境界の双方に対するフィルタ処理が行われていたが、必ずしもこのように処理される必要はない。例えば、垂直境界に対するフィルタ対象画素決定処理およびフィルタ処理が実行された後に、水平境界に対するフィルタ対象画素決定処理およびフィルタ処理が実行されてもよい。この場合、垂直境界に対するフィルタ処理が行われる前の画素値がメモリ等に保持される必要がある。

また、上記のフィルタ対象画素決定処理およびフィルタ処理は、１ラインごとに行われていたが、必ずしも１ラインごとに行われる必要はない。

（実施の形態２）
次に、本発明の実施の形態２について説明する。具体的には、本実施の形態では、実施の形態１で示したフィルタ対象画素の決定方法とは異なるフィルタ対象画素の決定方法について説明する。また、フィルタ処理の方法についても詳しく説明する。なお、本実施の形態に係る符号化歪み除去装置は、図１に示した実施の形態１に係る符号化歪み除去装置と同様であるので、図示を省略する。

フィルタ対象画素の決定方法について、図３Ｃに示すフィルタ処理方向に延びる処理ラインに含まれる画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、およびｑ３を用いて詳しく説明する。なお、各画素の値は画素のインデックスで表されるものとする。

実施の形態１では、ブロック境界に隣接する画素値のみを用いてフィルタ対象画素を決定する方法の一例を示した。しかし、フィルタ対象画素の決定方法は、例えば画像信号の生成方法によって変更されてもよい。例えば、面内予測を用いて符号化された信号の場合には、広い範囲（例えばｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２）の画素の画素値の関係性を用いてフィルタ対象画素を決定し、それ以外の場合には狭い範囲（例えばｐ１、ｐ０、ｑ０、ｑ１）の画素の画素値の関係性（例えば差分値）を用いて、フィルタ対象画素を決定してもよい。

以下に、フィルタ対象画素決定方法を画像信号の生成方法に応じて切り替える例について説明する。

図８は、本発明の実施の形態２に係るフィルタ対象画素決定方法の一例を示すフローチャートである。

まず、フィルタ対象画素決定部１０２は、ブロック境界に隣接する２つのブロックの画素値が面内予測により符号化されているかどうかを調べる（ステップＳ４０Ｘ）。ここで、ブロック境界に隣接する２つのブロックのうちの少なくとも一方のブロックが面内予測によって符号化されている場合（ステップＳ４０ＸでＹＥＳ）、フィルタ対象画素決定部１０２は、画素ｐ２、画素ｐ１、画素ｐ０、画素ｑ０、画素ｑ１、および画素ｑ２に対してフィルタ処理をすることを決定する（ステップＳ４００）。つまり、フィルタ対象画素決定部１０２は、画素ｐ２、画素ｐ１、画素ｐ０、画素ｑ０、画素ｑ１、および画素ｑ２をフィルタ対象画素と決定する。

一方、ブロック境界に隣接する２つのブロックの双方が動き補償予測により符号化されている場合（ステップＳ４０ＸでＮＯ）、フィルタ対象画素決定部１０２は、ブロック境界近傍の画素ｐ０、画素ｐ１、画素ｑ０、および画素ｑ１を用いて、図８に示す差分値の絶対値ＤＩＦａ、ＤＩＦｂ、およびＤＩＦｃをそれぞれ算出する（ステップＳ４０１）。次に、フィルタ対象画素決定部１０２は、算出した差分値の絶対値ＤＩＦａ、ＤＩＦｂ、およびＤＩＦｃと予め決められた方法で与えられる閾値（例えば、符号化・復号化において用いられる量子化ステップ値によって決められる値）ＴＨａ、およびＴＨｂとの比較を行う（ステップＳ４０２）。

ここで、一方、ステップＳ４０２に示される３条件のうちの１つの条件でも満たされない場合（ステップＳ４０２でＮＯ）、フィルタ対象画素決定部１０２は、この処理ラインに含まれる画素に対して、フィルタ処理を行わないことを決定する（ステップＳ４１１）。つまり、フィルタ対象画素決定部１０２は、画素ｐ２、画素ｐ１、画素ｐ０、画素ｑ０、画素ｑ１、および画素ｑ２をフィルタ非対象画素と決定する。

一方、ステップＳ４０２に示される３条件が全て満たされる場合（ステップＳ４０２でＹＥＳ）、フィルタ対象画素決定部１０２は、画素ｐ０および画素ｑ０に対するフィルタ処理を実行することを決定する（ステップＳ４０３）。つまり、フィルタ対象画素決定部１０２は、画素ｐ０および画素ｑ０をフィルタ対象画素と決定する。次に、フィルタ対象画素決定部１０２は、ブロック境界近傍の画素ｐ２、画素ｐ０、画素ｑ２、および画素ｑ０を用いて、差分値の絶対値ＤＩＦｄおよびＤＩＦｅをそれぞれ算出する（ステップＳ４０４）。

次に、フィルタ対象画素決定部１０２は、算出した差分値の絶対値ＤＩＦｄと予め決められた方法で与えられる閾値ＴＨｂとの比較を行う（ステップＳ４０５）。ここで、ステップＳ４０５に示される条件を満たす場合（ステップＳ４０５でＹＥＳ）、フィルタ対象画素決定部１０２は、画素ｐ１に対するフィルタ処理を実行することを決定する（ステップＳ４０６）。つまり、フィルタ対象画素決定部１０２は、画素ｐ１をフィルタ対象画素と決定する。

一方、ステップＳ４０５に示される条件を満たさない場合（ステップＳ４０５でＮＯ）、フィルタ対象画素決定部１０２は、画素ｐ１に対してフィルタ処理を行わないことを決定する（ステップＳ４０７）。つまり、フィルタ対象画素決定部１０２は、画素ｐ１をフィルタ非対象画素と決定する。

次に、フィルタ対象画素決定部１０２は、算出した差分値の絶対値ＤＩＦｅと予め決められた方法で与えられる閾値ＴＨｂとの比較を行う（ステップＳ４０８）。ここで、ステップＳ４０８に示される条件を満たす場合（ステップＳ４０８でＹＥＳ）、フィルタ対象画素決定部１０２は、画素ｑ１に対するフィルタ処理を実行することを決定する（ステップＳ４０９）。つまり、フィルタ対象画素決定部１０２は、画素ｑ１をフィルタ対象画素と決定する。

一方、ステップＳ４０８に示される条件を満たさない場合（ステップＳ４０８でＮＯ）、フィルタ対象画素決定部１０２は、画素ｑ１に対してフィルタ処理を行わないことを決定する（ステップＳ４１０）。つまり、フィルタ対象画素決定部１０２は、画素ｑ１をフィルタ非対象画素と決定する。

フィルタ対象画素決定部１０２は、以上の処理を行うことにより、画素ｑ１、画素ｑ０、画素ｐ０、および画素ｐ１のそれぞれに対して、フィルタ処理を実行するかどうかを決定する。

つまり、本実施の形態に係る符号化歪み除去装置１００は、上記の処理を行うことで、物体境界がどこにあるかを判断し、物体境界に対応する画素に対してはフィルタ処理をしないという判断を行うことができ、物体境界がフィルタ処理によりボケた映像になることを防ぐことができる。

ここで物体境界かどうかを判断する、実施の形態１および２で記載した閾値ＴＨａおよびＴＨｂの決定方法の一例を以下に示す。この閾値は、符号化および復号化の双方において同じ方法で決められる。

符号化によって発生する符号化歪みは、主に差分信号を量子化処理することに起因するとされる。このため、量子化精度が粗い場合には、符号化歪みが大きくなり、量子化精度が細かい場合には、量子化歪みが小さくなる。このため、閾値ＴＨａおよび閾値ＴＨｂは、例えば符号化および復号化で用いられる量子化の精度を示す値ＱＰ（ＱＰが大きくなれば、量子化精度が粗くなる値）を用いて、（式１）により決定してもよい。なお、ＴＨａ＜Ｔｈｂとなるように設定する。

ここで、ＯｆｆｓｅｔＡおよびＯｆｆｓｅｔＢは、調整のための値であり、ストリーム単位もしくはフレーム単位もしくはスライス単位に符号列に記述されてもよい。

なお、（式１）を用いた閾値決定方法は、一例である。つまり、量子化ステップ値またはＱＰ値が大きくなるほど閾値が大きくなるように閾値を決定することができる式であれば、どのような式を用いて閾値を決定してもよい。また、（式１）で得られる値を有するテーブルを符号化装置、および復号化装置で管理し、そのテーブルを参照しながら符号化歪み除去処理が行われるようにしてもよい。また、例えば、（式１）における“０．８”、“０．５”の部分を変数ａ、ｂとして表わし、その変数ａ、ｂの値がストリーム単位もしくはフレーム単位もしくはスライス単位に符号列に記述されてもよい。

このようにすることで、ブロック境界における画素値の変化が、物体境界による画素値の変化であるか、または符号化歪みによる画素値の変化であるかの判断の精度を向上させることができる。

次に、上記に示す方法で決められたフィルタ対象画素に対して、フィルタ処理を行う方法について詳しく説明する。

実施の形態１で示したように、例えば図５（ａ）に示す原画像の画像信号に対して、ブロック単位の符号化処理を行うと、図５（ｂ）に示すように、ブロック内部では滑らかに連続的に変化し、ブロック境界のみで画素値が不連続となるブロック歪みが発生する。そこで、フィルタ処理を行うことで、図５（ｃ）に示すようにブロック境界部で画素値が連続となるように補正し、符号化に起因するブロック歪みを低減できる。

ここで画素ｑ１、画素ｑ０、画素ｐ０、画素ｐ１の画素値をそれぞれｑ１、ｑ０、ｐ０、ｐ１とする。また、画素ｑ１、画素ｑ０、画素ｐ０、画素ｐ１に対するフィルタ処理後の画素ｑ’１、画素ｑ’０、画素ｐ’０、画素ｐ’１の画素値をそれぞれｑ’１、ｑ’０、ｐ’０、ｐ’１とする。この場合、フィルタ処理は（式２）に従って行われる。

ｃ_０，０、ｃ_０，１、ｃ_０，２、ｃ_０，３、ｃ_１，０、ｃ_１，１、ｃ_１，２、ｃ_１，３はフィルタ係数であり、例えば（式３）で表される。

（式３）のフィルタ係数を用いたフィルタ処理は、図５（ｂ）の信号を図５（ｃ）の信号のように平滑化する。なお、フィルタ係数については、（式３）に限るものではなく、例えば（式４）のように単純化したフィルタ係数でもよい。

（式４）のフィルタ係数の場合、平滑化度合いが強く、入力画像信号に元々含まれる情報も失われることがあるが、フィルタ処理のための処理量を大きく削減することができる。

なお、フィルタ処理に用いるフィルタ係数は、予め符号化側と復号化側とで同じ値（例えば（式３）の値）を決めておいてもよいし、ストリーム単位またはフレーム単位またはスライス単位に記録しておいてもよい。また、複数種類（例えば（式３）、（式４））のフィルタ係数を適応的に切り替えながらフィルタ処理を行ってもよい。

このようなフィルタ係数の切り換えも、フィルタ処理対象画素の決定と同様に、量子化精度に依存させてもよい。例えば、粗い量子化精度で符号化処理を行う際には、参照画像ＭＣの分割境界の差分が大きいため、平滑化度合いが強いフィルタ係数（例えば（式４））を用いてフィルタ処理を行う。一方、細かい量子化精度で符号化を行う際には、元信号の情報を失わないために、平滑化度合いが低いフィルタ係数（例えば（式３））を用いてフィルタ処理を行う。これにより、符号化歪み除去装置１００は、効果的に符号化歪みの除去を行うことができ、画質を向上することができる。

上記のように、本実施の形態に係る符号化歪み除去装置１００は、符号化歪みおよび物体境界を考慮したフィルタ対象画素の決定および、フィルタ処理を行うことにより、効果的に符号化歪みを除去することができる。

なお、ここではフィルタ対象画素がブロック境界の両側のそれぞれ２画素に対するフィルタ処理について説明したが、両側それぞれ３画素に対してフィルタ処理を行う場合にも、フィルタ係数を増やすことにより同様に実現することが可能である。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態では、フィルタ対象画素決定方法の他の一例について説明する。またさらに、本実施の形態に係る符号化歪み除去方法による効果について、従来の方法（ＨＭ ０．９ ｓｏｆｔｗａｒｅ（http://hevc.kw.bbc.co.uk/trac/browser/tags/0.9））と比較しながら説明する。なお以下において、特に説明がない限り、決定処理はフィルタ対象画素決定部によって行われ、フィルタ処理はフィルタ処理部によって行われる。

図９は、本発明の実施の形態３に係る垂直境界部を示す図である。以下において、垂直境界部における左側の画素の集合を「Ａ」、右側の画素の集合を「Ｂ」とそれぞれ表わす。また、水平境界部の場合には、水平境界部の上側の画素の集合を「Ａ」、下側の画素の集合を「Ｂ」と表わす。

ここで、各境界部において行われる決定処理およびフィルタ処理について、以下に説明する。

まず、（式５）の条件を満たすか否かが計算される。

なお、（式５）の左辺の第１部分である（式６）の計算処理（決定処理）を、垂直境界の場合にはｄ_１，ｖと表わし、水平境界の場合にはｄ_１，ｈと表わす。また、（式５）の左辺の第２部分である（式７）の計算処理（決定処理）を、垂直境界の場合にはｄ_２，ｖと表わし、水平境界の場合にはｄ_２，ｈと表わす。

ここで、（式５）が真である場合、その境界部にフィルタ処理を行うと決定される。さらに、境界部を構成する８ライン（ｉ＝０〜７）の各々において、いわゆる強フィルタといわゆる弱フィルタとのいずれのフィルタを用いてフィルタ処理を実行するかを決定するための決定処理が行われる。この決定処理は、（式８）を計算することにより行われる。

なお、（式８）が真である場合、強フィルタが適用され、そうでなければ弱フィルタが適用される。なお、（式８）の各ラインにおける計算処理（決定処理）を、垂直境界の場合にはＤ_ｉ，ｖと表わし、水平境界の場合にはＤ_ｉ，ｈと表わす。

弱フィルタおよび強フィルタのうち、以下の（式９）に示す弱フィルタのフィルタ処理では、大部分において逐次的な処理が要求される。

なお、このようなフィルタ処理を、垂直境界の場合にはＦ_ｉ，ｖと表わし、水平境界の場合にはＦ_ｉ，ｈと表わす。

次に、上述した決定処理およびフィルタ処理（ｄ_１，ｖ、ｄ_１，ｈ、ｄ_２，ｖ、ｄ_２，ｈ、Ｄ_ｉ，ｖ、Ｄ_ｉ，ｈ、Ｆ_ｉ，ｖ、およびＦ_ｉ，ｈ）に関して、クリティカルパスにおける逐次処理の数について、従来の符号化歪み除去方法の場合と本実施の形態に係る符号化歪み除去方法の場合とを比較しながら説明する。なお以下では、処理単位となるブロックのサイズを８×８画素として説明する。

従来の符号化歪み除去方法の場合、決定処理およびフィルタ処理では、以下のように６つの逐次的なステップが必要となる。

１．決定処理ｄ_１，ｖ、ｄ_２，ｖおよびｄ_２，ｈの実行
２．決定処理のＤ_ｉ，ｖ（ｉ＝１〜８）の実行
３．フィルタ処理Ｆ_ｉ，ｖ（ｉ＝１〜８）の実行
４．決定処理ｄ_１，ｈの実行
５．決定処理のＤ_ｉ，ｈ（ｉ＝１〜８）の実行
６．フィルタ処理Ｆ_ｉ，ｈ（ｉ＝１〜８）の実行

図１０は、従来の符号化歪み除去方法における６つの逐次的なステップを説明するための図である。図１０において、右下のブロックが現在のブロックであり、他のブロックが前のブロックである。ここでは、右下のブロックと左下のブロックとの間の垂直境界と、右下のブロックと右上のブロックとの間の水平境界とに対して符号化歪み除去処理が施される。なお、図１０（ａ）〜（ｆ）の各々において、破線で囲まれた領域は、各処理を実行するために用いられる画素を示す。

ここで、決定処理またはフィルタ処理内の逐次処理の数について説明する。

図１１Ａは、決定処理ｄ_１，ｖ内における逐次処理の数を説明するための図である。図１１Ａに示すように、決定処理ｄ_１，ｖでは、４つの逐次処理が必要となる。また、決定処理ｄ_１，ｈ、ｄ_２，ｖ、およびｄ_２，ｈも同様に実現される。そして、加算処理ｄ_１，ｖ＋ｄ_２，ｖとβに対する比較処理との２つの追加的な逐次処理が要求される。

図１１Ｂは、決定処理Ｄ_ｉ，ｖ内における逐次処理の数を説明するための図である。図１１Ｂに示すように、決定処理Ｄ_ｉ，ｖは６つの逐次処理によって実現される。決定処理Ｄ_ｉ，ｈも同様に実現される。

図１１Ｃは、フィルタ処理Ｆ_ｉ，ｖ内における逐次処理の数を説明するための図である。図１１Ｃに示すように、フィルタ処理Ｆ_ｉ，ｖは１０の逐次処理によって実現される。決定処理Ｆ_ｉ，ｈも同様に実現される。

図１２は、従来の符号化歪み除去方法における各処理の依存関係とクリティカルパスにおける逐次処理の数とを示す図である。具体的には、図１２では、複数の決定処理および複数のフィルタ処理間の依存関係が示されている。ここで、必須の各処理において逐次処理の数を合計することにより、クリティカルパスにおいて合計で４４の逐次処理があることがわかる。

以上、図１０〜図１２を用いて説明したように、従来の符号化歪み除去方法では、垂直境界に対する決定処理およびフィルタ処理と、水平境界に対する決定処理およびフィルタ処理とは互いに依存関係を有する。これらの依存関係のために並行して実行することができない処理が多くなる。その結果、クリティカルパスにおける逐次処理の数が多くなってしまう。つまり、従来の符号化歪み除去方法では、処理の並列化によって処理時間を短縮することが難しい。

次に、本実施の形態に係る符号化歪み除去方法において、従来よりもクリティカルパスにおける逐次処理の数を削減できることについて説明する。

本実施の形態に係る符号化歪み除去方法では、フィルタ処理前の画像信号に基づいて、すべての決定処理ｄ_１，ｖ、ｄ_１，ｈ、ｄ_２，ｖ、ｄ_２，ｈ、Ｄ_ｉ，ｖ、およびＤ_ｉ，ｈが行われる。これにより、クリティカルパスにおける逐次処理の増大につながる依存関係を解消することができる。

具体的には、本実施の形態に係る符号化歪み除去方法の場合、決定処理およびフィルタ処理では、以下のように４つの逐次的なステップのみが必要となる。

１．決定処理ｄ_１，ｖ、ｄ_２，ｖ、ｄ_１，ｈおよびｄ_２，ｈの実行
２．決定処理のＤ_ｉ，ｖ（ｉ＝１〜８）およびＤ_ｉ，ｈ（ｉ＝１〜８）の実行
３．フィルタ処理Ｆ_ｉ，ｖ（ｉ＝１〜８）およびＦ_ｉ，ｈ（ｉ＝１〜４）の実行
４．フィルタ処理Ｆ_ｉ，ｈ（ｉ＝５〜８）の実行

図１３は、本発明の実施の形態３に係る符号化歪み除去方法における４つの逐次的なステップを説明するための図である。図１３に示すように、すべての決定処理ｄ_１，ｖ、ｄ_１，ｈ、ｄ_２，ｖ、ｄ_２，ｈ、Ｄ_ｉ，ｖおよびＤ_ｉ，ｈは、フィルタ処理前の信号に基づいて行われる。したがって、決定処理ｄ_１，ｖ、ｄ_１，ｈ、ｄ_２，ｖおよびｄ_２，ｈ間の依存関係と、Ｄ_ｉ，ｖおよびＤ_ｉ，ｈ間の依存関係とが解消され、並行して行うことができる処理が増加する。

図１４は、本発明の実施の形態３に係る符号化歪み除去方法における各処理の依存関係とクリティカルパスにおける逐次処理の数とを示す図である。図１４に示すように、本実施の形態に係る符号化歪み除去方法では、クリティカルパスにおける逐次処理の数は、従来の４４からわずか３２まで約３０％減少する。

（実施の形態４）
次に、本発明の実施の形態４について説明する。

上記の実施の形態１〜３では、現在のブロックに含まれる画素のフィルタ処理前の画素値を用いて、フィルタ処理対象画素を決定する符号化歪み除去装置について説明した。本実施の形態では、現在のブロックに隣接する処理済みブロックに含まれる画素についてもフィルタ処理前の画素値を用いて、フィルタ処理対象画素を決定する符号化歪み除去装置について説明する。

ここで、本実施の形態に係る符号化歪み除去装置について説明する前に、階層化された処理単位（多階層ブロック構造）について説明する。

まず、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の下で、検討されている画像符号化規格について説明する。ＪＣＴ−ＶＣとは、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）とＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）との共同チームのことである。

ＪＣＴ−ＶＣにおいて、各社から提案されたツールのうち、画像符号化規格に採用される可能性が高い技術が集められた技術群は、ＴＭｕＣ（Ｔｅｓｔ Ｍｏｄｅｌ Ｕｎｄｅｒ Ｃｏｎｓｉｄｅｒａｔｉｏｎ）と呼ばれる。そのような技術群のドキュメントおよびソフトウェアは、ＴＭｕＣとして、整備されつつある。

このＴＭｕＣの基本技術の１つとして、階層化された処理単位（多階層ブロック構造）の技術がある。処理単位は、複数の小さな処理単位に分割され、その小さな処理単位がさらに複数のより小さな処理単位に分割されるように、階層化されている。なお、処理単位が小さいほど、その処理単位がある階層は深く、下位にあり、その階層を示す値は大きい。逆に、処理単位が大きいほど、その処理単位がある階層は浅く、上位にあり、その階層を示す値は小さい。

図１５は、階層化された処理単位（多階層ブロック構造）を説明するための図である。処理単位には、ＣＵ（符号化単位：Ｃｏｄｉｎｇ Ｕｎｉｔ）とＰＵ（予測単位：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）とＴＵ（変換単位：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）とがある。ピクチャは、複数のスライスに分割され、１つのスライスは、一連のＬＣＵ（最大符号化単位：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）を含む。

ＬＣＵは、スライス内で許される最大サイズのＣＵである。ＬＣＵは、様々なサイズ（例えば、１６×１６画素、３２×３２画素、６４×６４画素など）を有する。ＬＣＵの位置は、最大符号化単位アドレス「ｌｃｕＡｄｄｒ」によって特定される。

ＣＵは、様々なサイズ（例えば、８×８画素、１６×１６画素など）を有し、従来のマクロブロックに相当する単位である。ＣＵは、４つのＣＵに再帰的に分割される。ＣＵの位置は、ＬＣＵの左上に位置する画素との相対的な位置関係を示す符号化単位インデックス「ｃｕＩｄｘ」によって特定される。

ＰＵは、画面間予測処理の基本単位である。ＰＵのサイズは、ＣＵのサイズと同一かそれよりも小さいサイズである。ＰＵの位置は、ＣＵの左上に位置する画素との相対的な位置関係を示す予測単位インデックス「ｐｕＩｄｘ」によって特定される。

また、ＰＵは、複数のパーティションを有する。このパーティションは、あらかじめ決められた任意の形状（例えば、１６×１６画素、１６×８画素、８×１６画素など）とすることができる。パーティションの位置は、あらかじめパーティションの形状を示すモード情報「ｐａｒｔＭｏｄｅ(ＰＵＴｙｐｅ）」によって特定される。

ＴＵは、直交変換処理および量子化処理の基本単位である。ＴＵのサイズは、ＰＵと同じサイズ、またはＰＵよりも一階層小さいサイズである。ＴＵの位置は、ＰＵの左上に位置する画素との相対的な位置関係を示す変換単位インデックス「ｔｕＩｄｘ」によって特定される。

図１６Ａは、ＬＣＵの処理順序の一例を示す図である。また、図１６Ｂは、ＬＣＵ内におけるＣＵの処理順序の一例を示す図である。図１６Ａおよび図１６Ｂにおいて、処理単位内に記載された数字は処理順序を示す。このような処理順序で各ユニットが処理される際に、ＣＵ、ＰＵまたはＴＵの垂直境界および水平境界には符号化歪み除去処理が施される。

図１６Ｃは、符号化歪み除去処理が施される処理境界の一例を示す図である。図１６Ｃには、ＣＵに含まれる４つＴＵの各々の処理境界に対応する４つの垂直境界ｖ１〜ｖ４と４つの水平境界ｈ１〜ｈ４とが示されている。

垂直境界に対する符号化歪み除去処理は、上から下に、そして、左から右に順に処理される。また、水平境界に対する符号化歪み除去処理は、左から右に、そして、上から下に順に処理される。

以上のような階層化された処理単位を踏まえた上で、本実施の形態に係る符号化歪み除去装置について説明する。

図１７は、本発明の実施の形態４に係る符号化歪み除去装置の機能構成を示すブロック図である。

符号化歪み除去装置７００は、各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する。図１７に示すように、符号化歪み除去装置７００は、フィルタ対象画素決定部７０１と、記憶制御部７０２と、フィルタ処理部７０３とを備える。

なお、本実施の形態では、画像信号は、第１処理単位と当該第１処理単位を分割することにより得られる第２処理単位とに基づいて符号化された画像信号である。第１処理単位は例えばＬＣＵであり、第２処理単位は例えばＣＵである。

フィルタ対象画素決定部７０１は、第２処理単位ごとに、当該第２処理単位の処理境界の隣接画素の画素値に基づいて、当該処理境界に対するフィルタ対象画素を決定する。このとき、フィルタ対象画素決定部７０１は、隣接画素のうち処理済みの第２処理単位に含まれる画素の画素値を記憶部７１０から読み出す。なお、記憶部７１０には、フィルタ処理前の画素値が記憶されている。つまり、フィルタ対象画素決定部７０１は、処理中の第２処理単位に含まれる隣接画素と処理済みの第２処理単位に含まれる隣接画素との両方についてフィルタ処理前の画素値に基づいてフィルタ対象画素を決定する。

記憶制御部７０２は、記憶部７１０からのデータの読み出しと記憶部７１０へのデータの書き込みを制御する。本実施の形態では、記憶制御部７０２は、現在の第２処理単位と次の第２処理単位とが互いに異なる第１処理単位に含まれる場合には、フィルタ対象画素の決定が行われた後に、記憶部７１０に記憶されている画素値を削除可能と決定する。なお、第２処理単位は、第１処理単位を分割することにより得られる処理単位である。

フィルタ処理部７０３は、フィルタ対象画素決定部７０１によって決定されたフィルタ対象画素に対してフィルタ処理を行う。

次に、以上のように構成された符号化歪み除去装置７００の各種動作について説明する。以下において、第１処理単位がＬＣＵであり、第２処理単位がＣＵである場合を一例として説明する。なお、本実施の形態に係る符号化歪み除去方法では、必ずしもこのような処理単位である必要はなく、例えば、第１処理単位がＣＵであり、第２処理単位がＴＵであってもよい。

図１８は、本発明の実施の形態４に係る符号化歪み除去装置の動作を示すフローチャートである。このフローチャートは、ＣＵごとに繰り返し実行される。また、開始前には、現在および前のブロックに含まれる画素の画素値が記憶部７１０に記憶されているとする。

まず、フィルタ対象画素決定部７０１は、垂直境界および水平境界に対してフィルタ対象画素を決定する（ステップＳ７０１）。このとき、フィルタ対象画素決定部７０１は、記憶部７１０に記憶されているフィルタ処理前の隣接画素の画素値に基づいて、フィルタ対象画素を決定する。

次に、記憶制御部７０２は、現在のＣＵと次のＣＵとが同一のＬＣＵに含まれるか否かを判定する（ステップＳ７０２）。つまり、記憶制御部７０２は、次のＣＵが現在のＬＣＵ内であるか否かを判定する。

ここで、現在のＣＵと次のＣＵとが異なるＬＣＵに含まれる場合（ステップＳ７０２でＮＯ）、記憶制御部７０２は、記憶部７１０に記憶されているフィルタ処理前の画素値を削除可能と決定する（ステップＳ７０３）。一方、現在のＣＵと次のＣＵとが同一のＬＣＵに含まれる場合（ステップＳ７０２でＹＥＳ）、記憶制御部７０２は、記憶部７１０に記憶されているフィルタ処理前の画素値をそのまま保持する。

次に、フィルタ処理部７０３は、決定されたフィルタ対象画素に対してフィルタ処理を行う（ステップＳ７０５）。なお、フィルタ処理は、ステップＳ７０２の前に実行されてもよい。

ここで、図１６Ｂと図１９を参照しながら、符号化歪み除去方法をさらに詳細に説明する。

図１９は、本発明の実施の形態４に係る符号化歪み除去方法を説明するための図である。図１９では、各ＣＵに対して各処理が行われるタイミングが示されている。

例えば、４番目のＣＵに対して逆変換処理が行われた後、フィルタ対象画素決定部７０１は、１番目のＣＵと４番目のＣＵとの間の垂直境界におけるフィルタ対象画素を決定するとともに、および２番目のＣＵと４番目のＣＵとの間の水平境界におけるフィルタ対象画素を決定する。

そして、記憶制御部７０２は、１番目のＣＵと４番目のＣＵとの間の垂直境界に対してフィルタ対象画素と決定された画素Ａ（図１６Ｂ）の画素値であってフィルタ処理前の画素値を記憶部７１０に格納する。

また、記憶制御部７０２は、４番目のＣＵと５番目のＣＵとの間の垂直境界に対してフィルタ対象画素と決定された画素Ｃ（図１６Ｂ）の画素値であってフィルタ処理前の画素値を記憶部７１０に格納する。

フィルタ対象画素決定部７０１は、このように記憶部７１０に格納された画素Ａおよび画素Ｃの画素値に基づいて、４番目および５番目のＣＵと１６番目のＣＵとの間の水平境界におけるフィルタ対象画素を決定する。

そして、記憶制御部７０２は、現在のＣＵ（１６番目のＣＵ）と次のＣＵとが異なるＬＣＵに含まれるので、前のＣＵ（４番目および５番目のＣＵ）に含まれる画素Ａおよび画素Ｃの画素値を削除可能と決定する。

以上のように、本実施の形態に係る符号化歪み除去装置７００によれば、処理済みの処理単位に含まれる隣接画素についてもフィルタ処理前の画素値を用いて、フィルタ対象画素を決定することができる。これにより、さらに、画像信号の画質を損なう可能性が少ない符号化歪み除去処理を実現することができる。

また、本実施の形態に係る符号化歪み除去装置７００によれば、処理中の第２処理単位が含まれる第１処理単位が切り替わるときに、記憶部７１０に記憶されている、処理済みの第２処理単位に含まれる画素のフィルタ処理前の画素値を削除可能と決定することができる。ここで、第１処理単位を小さな処理単位とすれば、フィルタ処理前の画素値を記憶するための記憶容量を小さくすることができる。一方、第１処理単位を大きな処理単位とすれば、画像信号の画質を損なう可能性がより少ない符号化歪み除去処理を実現することができる。

例えば、第１処理単位がピクチャである場合、図１６Ａの１０番目のＬＣＵの水平境界に対するフィルタ対象画素が決定されるまで、５番目のＬＣＵのフィルタ処理前の画素値が記憶部に記憶される。つまり、少なくともピクチャの１ライン分のフィルタ処理前の画素値が記憶部に記憶される必要があるので、記憶部の記憶容量が増大するが、画像信号の画質を損なう可能性がより少なくなる。

一方、第１処理単位がＬＣＵである場合、５番目のＬＣＵに含まれる画素の画素値についてはフィルタ処理後の画素値を用いて、１０番目のＬＣＵの水平境界に対するフィルタ対象画素が決定される。つまり、記憶部の記憶容量は削減できるが、画像信号の画質を損なう可能性は高くなる。

（実施の形態５）
本実施の形態では、実施の形態１〜４のいずれかで示した符号化歪み除去方法を実現することができる符号化装置について説明する。

図２０Ａは、本発明の実施の形態５に係る符号化装置を示すブロック図である。図２０Ａに示すように、符号化装置８００は、差分部８０１、変換・量子化部８０２、逆量子化・逆変換部８０３、加算部８０４、符号化歪み除去部８０５、参照ピクチャ用メモリ８０６、面内予測部８０７、動き補償予測部８０８、動き検出部８０９、スイッチ８１０、可変長符号化部８１１を備える。参照ピクチャ用メモリ８０６は、符号化装置８００に接続された外部メモリの形で構成してもよい。

変換・量子化部８０２は、符号化部の一例である。また、逆量子化・逆変換部８０３および加算部８０４は、再構成部の一例である。

入力画像が符号化装置８００に入力される。参照ピクチャ用メモリ８０６には、符号化済み画像の復号化画像が既に蓄積されており、これが入力画像を符号化する場合の参照ピクチャとして用いられるものとする。

差分部８０１は後述する方法で生成される予測画像ＰＲと入力画像との差分をとり、算出される差分画像を変換・量子化部８０２に対して出力する。変換・量子化部８０２は、入力される差分画像に対し、変換、量子化処理を施し、量子化信号ＱＤを逆量子化・逆変換部８０３と可変長符号化部８１１に対して出力する。逆量子化・逆変換部８０３は、入力された信号ＱＤに対し、逆量子化・逆変換処理を施し、加算部８０４に対し出力する。加算部８０４は、逆量子化・逆変換部より取得した信号と、予測画像ＰＲとを加算し、符号化歪み除去部８０５に対して出力する。

ここで、符号化歪み除去部８０５は、実施の形態１〜４のいずれかで説明した符号化歪み除去装置として動作する。

符号化歪み除去部８０５は、入力された信号に対して符号化歪み除去処理を施し、参照ピクチャ用メモリ８０６に対して符号化済み画像の復号化画像として出力する。

予測画像ＰＲの生成には、動き補償予測と面内予測に大別され、スイッチ８１０によって切り替えられる。

面内予測により予測画像ＰＲを生成する場合について説明する。面内予測部８０７は、参照ピクチャ用メモリ８０６より参照ピクチャを取得し、取得した参照ピクチャから予め決められた方法（例えば、隣接する画素を水平または垂直方向に引き伸ばすこと）により面内予測画像を生成し、スイッチ８１０の「ａ」に出力する。スイッチ８１０により「ａ」が選択された場合、面内予測画像が参照画像ＰＲとして、符号化に用いられる。

動き補償予測により予測画像ＰＲを生成する場合について説明する。動き検出部８０９は入力画像の符号化対象となるブロックに対応する領域を、参照ピクチャより検出し、位置を示す動き情報ＭＶを動き補償予測部８０８と、可変長符号化部８１１に対して出力する。なお、検出する方法は、入力画像と参照ピクチャ内の検出対象画像の差分和と動き情報ＭＶとの重み付け和等を用いることができ、この場合は、予め決められた参照ピクチャ内の領域（例えば水平３２画素、垂直１６画素内）のうち最も小さい値をとる動き情報ＭＶを出力すればよい。

動き補償予測部８０８は、取得した動き情報ＭＶで示される参照ピクチャ内の画像を取り出し、動き補償予測画像としてスイッチ８１０の「ｂ」に出力する。

スイッチ８１０では、予測画像ＰＲに面内予測画像か、動き補償予測画像を用いるかを予め決められた方法で切り替える。例えば、入力画像と面内予測画像との差分和と、入力画像と動き補償予測画像の差分和を比較し、差分和が小さい方を予測画像ＰＲとして用いるとしてもよい。予測画像ＰＲの生成方法の情報を予測画像生成情報ＣＩとして可変長符号化部８１１に対して出力する。

可変長符号化部８１１は、量子化信号ＱＤと、動き情報ＭＶ、予測画像生成情報ＣＩに対して可変長符号化処理を施し、符号列ＢＳとして出力する。

このような構成をとることにより、実施の形態１で説明する符号化歪み方法を画像符号化装置において実現することができる。これにより、符号化歪みの小さい参照画像を生成することができ、差分信号を小さくし、符号量を削減することができる。

（実施の形態６）
本実施の形態では、実施の形態１〜４のいずれかで示した符号化歪み除去方法を実現することができる復号化装置について説明する。

図２０Ｂは、本発明の実施の形態６に係る復号化装置を示すブロック図である。図２０Ｂに示すように、復号化装置９００は、可変長復号化部９０１、逆量子化・逆変換部９０２、加算部９０３、符号化歪み除去部９０４、参照ピクチャ用メモリ９０５、面内予測部９０６、動き補償予測部９０７、スイッチ９０８を備える。参照ピクチャ用メモリ９０５は、復号化装置９００に接続された外部メモリの形で構成してもよい。可変長復号化部９０１および逆量子化・逆変換部９０２は、復号部の一例である。

ここで参照ピクチャ用メモリ９０５には、復号化済みの画像が既に蓄積されており、これが入力画像を復号化する場合の参照ピクチャとして用いられるものとする。

符号列ＢＳが復号化装置９００に入力される。可変長復号化部９０１は、符号列ＢＳを可変長復号化し、予測画像生成情報ＣＩ、動き情報ＭＶと量子化信号ＱＤを取得し、それぞれ、スイッチ９０８、動き補償予測部９０７、逆量子化・変換部９０２に対して出力する。逆量子化・逆変換部９０２は量子化信号ＱＤに対して逆量子化・逆変換処理を施し差分信号とし、加算部９０３に対して出力する。加算部９０３は差分信号と、後述する予測画像ＰＲとを加算し、符号化歪み除去部９０４に対し出力する。

ここで、符号化歪み除去部９０４は、実施の形態１〜４のいずれかで説明した符号化歪み除去装置として動作する。

符号化歪み除去部９０４は、入力された信号に対して符号化歪み除去処理を施し、参照ピクチャ用メモリ９０５に対して復号化済み画像として出力する。

なお、予測画像ＰＲの生成方法については、予測画像生成情報ＣＩに基づいて、実施の形態２で示した符号化装置と同様に、参照ピクチャ用メモリ９０５から取得する参照ピクチャに基づき、面内予測部９０６または、動き情報ＭＶと動き補償予測部９０７により生成される。

このような構成をとることにより、実施の形態１で説明する符号化歪み方法を画像復号化装置において実現することができる。これにより、符号化装置において、符号化歪み方法が施された符号列を正しく復号することができる。

なお、実施の形態１で説明する符号化歪み方法が施されていない符号列に対しては、図２０Ｂに示す復号化装置の構成を変形することで、復号化画像に対して符号化歪み方法を実現することができる。

図２０Ｂの加算部９０３の出力値を符号化歪み除去部９０４ではなく、参照ピクチャ用メモリ９０５に出力する。一方、符号化歪み除去部は参照ピクチャ用メモリ９０５に対しては出力せず、復号化画像としてのみ出力するという構成とし、動作は前述と同じである。

このような構成にすることで、符号化歪み除去部９０４で処理される画像は参照ピクチャとして用いられないため、符号化装置と同様に参照画像ＰＲを生成することができ、正しく符号列を復号化することができ、さらに出力画像（復号化画像）に対して、復号化歪み除去方法を適用することができるため、符号化歪みを減らすことが可能となる。

以上、実施の形態１〜６に基づいて符号化歪み除去方法について説明したが、本発明の一態様に係る符号化歪み除去方法は、これらの実施の形態に限定されるものではない。例えば、本発明の一態様に係る符号化歪み除去方法は、図２０Ｃに示すような各ステップを含む方法であってもよい。

図２０Ｃは、本発明の一態様に係る符号化歪み除去方法の一例を示すフローチャートである。図２０Ｃでは、まず、少なくとも第１処理境界に隣接する第１隣接画素の画素値に基づいて、第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素が決定される（ステップＳ１１）。さらに、少なくとも第２処理境界に隣接する第２隣接画素の画素値に基づいて、第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素が決定される（ステップＳ１２）。

次に、決定された第１対象画素に対して符号化歪み除去処理が行われる（ステップＳ１３）。続いて、決定された第２対象画素に対して符号化歪み除去処理が行われる（ステップＳ１４）。

なお、本発明は、図２０Ｃに示す符号化歪み除去方法に含まれる各ステップの処理を実行する処理部を備える符号化歪み除去装置として実現されてもよい。

（実施の形態７）
上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図２１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２１のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図２２に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２３は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２４に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２５に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２３に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図２６（ａ）は、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図２６（ｂ）を用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８および操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５６から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声信号入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調回路部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態８）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２７は、多重化データの構成を示す図である。図２７に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラファイックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２８は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２９は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２９における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２９の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図３０は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３０下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期をとるために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図３１はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３２に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図３２に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３３に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３４に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態９）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶＩ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５１０が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５１０の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態１０）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３６は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図３５のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３５の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態８で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態８で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３８のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３７は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態１１）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３９（ａ）のｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３９（ｂ）のｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明の一態様に係る符号化歪み除去方法を用いた符号化方法および復号化方法は、従来の符号化歪み除去方法で失われることがあった物体境界を維持したまま、符号化歪みの除去で行うことができ、これにより復号化画像の画質を大きく向上することができるという効果を有し、蓄積、伝送、通信など様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器や撮像機器に利用可能であり、利用価値が高い。

１００、６００、７００ 符号化歪み除去装置
１０２、７０１、１００２ フィルタ対象画素決定部
１０３、６０３ フィルタ候補情報保持部
１０１、１０４、１０５、１０７、６０４、６０６、８１０、９０８、１００１、１００４ スイッチ
１０６、６０５、７０３、１００３ フィルタ処理部
６０１ 第１フィルタ対象画素決定部
６０２ 第２フィルタ対象画素決定部
８００ 符号化装置
８０１ 差分部
８０２ 変換・量子化部
８０３、９０２ 逆量子化・逆変換部
８０４、９０３ 加算部
８０５、９０４ 符号化歪み除去部
８０６、９０５ 参照ピクチャ用メモリ
８０７、９０６ 面内予測部
８０８、９０７ 動き補償予測部
８０９ 動き検出部
８１１ 可変長符号化部
９００ 復号化装置
９０１ 可変長復号化部

Claims (10)

1. 各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する符号化歪み除去方法であって、
   少なくとも前記第１処理境界に隣接する第１隣接画素の画素値に基づいて、前記第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素を決定する第１決定ステップと、
   決定された前記第１対象画素に対して符号化歪み除去処理を行う第１除去ステップと、
   少なくとも前記第２処理境界に隣接する第２隣接画素の画素値に基づいて、前記第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素を決定する第２決定ステップと、
   決定された前記第２対象画素に対して符号化歪み除去処理を行う第２除去ステップとを含み、
   前記第２決定ステップでは、前記第１除去ステップで符号化歪み除去処理が行われる前の前記第２隣接画素の画素値に基づいて前記第２対象画素を決定する
   符号化歪み除去方法。
2. 前記第１決定ステップと前記第２決定ステップとは並列に実行される
   請求項１に記載の符号化歪み除去方法。
3. 前記第１決定ステップ、前記第１除去ステップ、前記第２決定ステップおよび前記第２除去ステップは、前記画像信号を構成する少なくとも１つの画素を含む処理単位ごとに実行され、
   処理済みの処理単位に含まれる画素の画素値であって符号化歪み除去処理が行われる前の画素値は、記憶部に記憶されており、
   前記第２決定ステップでは、前記第２隣接画素のうち処理済みの処理単位に含まれる画素の画素値を前記記憶部から読み出し、読み出した画素値に基づいて前記第２対象画素を決定する
   請求項１または２に記載の符号化歪み除去方法。
4. 前記画像信号は、第１処理単位と前記第１処理単位を分割することにより得られる第２処理単位とに基づいて符号化された画像信号であり、
   前記第１決定ステップ、前記第１除去ステップ、前記第２決定ステップおよび前記第２除去ステップは、前記第２処理単位ごとに実行され、
   前記符号化歪み除去方法は、さらに、
   現在の第２処理単位と次の第２処理単位とが互いに異なる第１処理単位に含まれる場合には、前記第２決定ステップが行われた後に、前記記憶部に記憶されている前記画素値を削除可能と決定する記憶制御ステップとを含む
   請求項３に記載の符号化歪み除去方法。
5. 前記第１決定ステップでは、前記第１隣接画素の画素値間の差分値の絶対値が閾値未満である場合に、前記第１隣接画素を前記第１対象画素と決定し、
   前記第２決定ステップでは、前記第２隣接画素の画素値間の差分値の絶対値が閾値未満である場合に、前記第２隣接画素を前記第２対象画素と決定する
   請求項１〜４のいずれか１項に記載の符号化歪み除去方法。
6. 符号列から画像を復号する復号化方法であって、
   前記符号列から画像信号を復号する復号ステップと、
   請求項１〜５のいずれか１項に記載の符号化歪み除去方法を用いて、前記復号ステップで復号された画像信号の符号化歪みを除去する符号化歪み除去ステップとを含む
   復号化方法。
7. 画像を符号化する符号化方法であって、
   画像を符号化する符号化ステップと、
   前記符号化ステップで符号化された画像から画像信号を再構成する再構成ステップと、
   請求項１〜５のいずれか１項に記載の符号化歪み除去方法を用いて、前記再構成ステップで再構成された画像信号の符号化歪みを除去する符号化歪み除去ステップとを含み、
   前記符号化ステップでは、前記符号化歪み除去ステップで符号化歪みが除去された画像信号を参照して、前記画像を符号化する
   符号化方法。
8. 各々が画像信号の処理境界であって互いに異なる方向の処理境界である第１処理境界および第２処理境界における符号化歪みを除去する符号化歪み除去装置であって、
   少なくとも前記第１処理境界に隣接する第１隣接画素の画素値に基づいて、前記第１処理境界に対する符号化歪み除去処理の対象となる第１対象画素を決定する第１決定部と、
   決定された前記第１対象画素に対して符号化歪み除去処理を行う第１除去部と、
   少なくとも前記第２処理境界に隣接する第２隣接画素の画素値に基づいて、前記第２処理境界に対する符号化歪み除去処理の対象となる第２対象画素を決定する第２決定部と、
   決定された前記第２対象画素に対して符号化歪み除去処理を行う第２除去部とを備え、
   前記第２決定部は、前記第１除去部によって符号化歪み除去処理が行われる前の前記第２隣接画素の画素値に基づいて前記第２対象画素を決定する
   符号化歪み除去装置。
9. 符号列から画像を復号する復号化装置であって、
   前記符号列から画像信号を復号する復号部と、
   請求項８に記載の符号化歪み除去装置とを備え、
   前記符号化歪み除去装置は、前記復号部によって復号された画像信号の符号化歪みを除去する
   復号化装置。
10. 画像を符号化する符号化装置であって、
    画像を符号化する符号化部と、
    前記符号化部によって符号化された画像から画像信号を再構成する再構成部と、
    請求項８に記載の符号化歪み除去装置とを備え、
    前記符号化歪み除去装置は、前記再構成部によって再構成された画像信号の符号化歪みを除去し、
    前記符号化部は、前記符号化歪み除去装置によって符号化歪みが除去された画像信号を参照して、前記画像を符号化する
    符号化装置。

Images