JP5709492B2 - 画像符号化方式変換装置および画像符号化方式変換プログラム - Google Patents

Description

この発明は、ある符号化方式で符号化されたビットストリームを別の符号化方式で符号化する画像符号化方式変換装置およびそのプログラムに関するものである。

国際標準化されている動画像データの符号化方式には、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等、複数の方式が存在する。ハードディスクレコーダ等の動画像記録装置の多くは、前記複数の方式のいずれかを用いて動画像データを符号化して蓄積している。このような符号化された動画像データをビットストリームと呼ぶ。

これら異なる符号化方式間には互換性がなく、ある符号化方式で符号化したビットストリームは、該符号化方式に対応した動画像再生装置でないと再生することができない。従って、動画像記録装置に蓄積されたビットストリームを異なる符号化方式で符号化したビットストリームに変換し、符号化時に用いられた符号化方式に対応していない動画像再生装置でも再生できるようにしたいという要求が存在する。このような要求を満たすために、第１の符号化方式で符号化された入力ビットストリームを第２の符号化方式で符号化された出力ビットストリームに変換する符号化方式変換装置が必要となる。

通常、第１の符号化方式に対応したデコーダと、第２の符号化方式に対応したエンコーダをつなぎ合わせれば前記符号化方式変換装置は実現する。この方法で実現した符号化方式変換装置は再符号化装置と呼ばれる。従来の再符号化装置は、デコードおよびエンコードに必要な全ての処理を行う構成のため、変換にかかる処理時間が長く、かつ、入力ビットストリームの符号化時に用いた符号化パラメータを全く考慮せずに決定された符号化パラメータを用いて再度符号化を行うため、画質の劣化が発生してしまう問題があった。

そこで、特許文献１，２には前記変換に必要な処理時間を短縮する方法、および前記変換に伴う画質の劣化を抑制する方法が開示されている。

特許第３８１８８１９号公報 特許第３６１４８５７号公報

上述の特許文献１では、条件に応じて第１の符号化方式で符号化された入力ビットストリームの直交変換係数をそのまま第２の符号化方式で符号化された出力ビットストリームの直交変換係数として利用することで、入力ビットストリームから出力ビットストリームへの変換に必要な処理時間を短縮する方法が開示されている。しかし、この方法は第１の符号化方式と第２の符号化方式の予測符号化方式の違いを考慮しておらず、変換に伴う画質の劣化を抑制できない課題があった。

ここで、予測符号化方式の違いによって画質劣化が生じる流れを図２１に示す。第１の符号化方式から第２の符号化方式への変換において、第１の符号化方式の直交変換係数を利用した場合、直交変換係数を逆直交変換して得られる差分画像は等しくなる。ただし、この差分画像は、直交変換係数を逆直交変換して得られる画像は原画像から予測信号を減算した差分の画像であるため、復号には、さらに予測信号を加算しなくてはならない。この予測信号は、予測符号化方式および予測符号化に使用されるパラメータに応じて異なる信号になるため（即ち、図２１中の第１の予測信号と第２の予測信号）、予測符号化方式が異なる場合に直交変換係数をそのまま利用すると、入力ビットストリームの復号画像と出力ビットストリームの復号画像とは異なるものとなる。これが予測符号化方式の違いによって生じる誤差であり、誤差が原因となって画像劣化が生じる。

また、上述の特許文献２では、入力ビットストリームを復号して得られたベースバンド画像と出力ビットストリームを復号して得られたベースバンド画像との誤差を求め、以降の変換時にこの誤差を補正する信号を生成および加算することで、変換に伴う画質の劣化を抑制する方法が開示されている。しかし、この方法では、入力ビットストリームをベースバンド画像まで復号しなくてはならないため、変換に必要な処理時間が増大する課題があった。

この発明は、上記のような課題を解決するためになされたもので、第１の符号化方式から第２の符号化方式への変換に必要な処理時間を短縮し、かつ、変換に伴う画質の劣化も抑制することを目的とする。

この発明に係る画像符号化方式変換装置は、第１の符号化方式に基づいた復号プロセスを途中まで進めて入力ビットストリームから第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータを抽出する分離部と、第２の符号化方式に基づいて、分離部が抽出した第１の予測符号化パラメータを第２の予測符号化パラメータに変換し、分離部が抽出した第１の量子化パラメータを用いて第２の量子化パラメータを生成する符号化パラメータ変換部と、分離部が抽出した第１の予測符号化パラメータを用いて第１の符号化方式に基づいて第１の予測画像を生成すると共に、符号化パラメータ変換部が決定した第２の予測符号化パラメータを用いて第２の符号化方式に基づいて第２の予測画像を生成し、第１の予測画像と第２の予測画像の差分画像を求め、差分画像を直交変換して補正係数を計算し出力する補正係数計算部と、分離部が抽出した第１の直交変換係数に、補正係数計算部が計算した補正係数を加算して、第２の直交変換係数を出力する加算部と、加算部が出力した第２の直交変換係数および符号化パラメータ変換部が決定した第２の予測符号化パラメータおよび第２の量子化パラメータを多重化し、第２の符号化方式に基づいた符号化プロセスによって符号化して出力ビットストリームを生成する多重化部とを備え、第１の符号化方式において丸め誤差を制御する符号化ツールが利用可能、かつ、第２の符号化方式において符号化ツールを利用できない場合に、分離部は、第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータに加えて、入力ビットストリームにおいて符号化ツールを示すパラメータを抽出し、補正係数計算部は、入力ビットストリームに符号化ツールが使用されている場合に、符号化ツールが指定する丸め方向に基づいて、第１の予測画像の上方向に丸められる画素が下方向に丸められる画素より多ければ補正係数のうちの一部の係数を減少させ、上方向に丸められる画素より下方向に丸められる画素が多ければ一部の係数を増加させるものである。

また、この発明に係る画像符号化方式変換プログラムは、第１の符号化方式に基づいた復号プロセスを途中まで進めて入力ビットストリームから第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータを抽出する分離手順と、記第２の符号化方式に基づいて、分離手順で抽出した第１の予測符号化パラメータを第２の予測符号化パラメータに変換し、分離手順で抽出した第１の量子化パラメータを用いて第２の量子化パラメータを生成する符号化パラメータ変換手順と、分離手順で抽出した第１の予測符号化パラメータを用いて第１の符号化方式に基づいて第１の予測画像を生成すると共に、符号化パラメータ変換手順で決定した第２の予測符号化パラメータを用いて第２の符号化方式に基づいて第２の予測画像を生成し、第１の予測画像と第２の予測画像の差分画像を求め、差分画像を直交変換して補正係数を計算し出力する補正係数計算手順と、分離手順で抽出した第１の直交変換係数に、補正係数計算手順で計算した補正係数を加算して、第２の直交変換係数を出力する加算手順と、加算手順で出力した第２の直交変換係数および符号化パラメータ変換手順で決定した第２の予測符号化パラメータおよび第２の量子化パラメータを多重化し、第２の符号化方式に基づいた符号化プロセスによって符号化して出力ビットストリームを生成する多重化手順とをコンピュータに実行させ、第１の符号化方式において丸め誤差を制御する符号化ツールが利用可能、かつ、第２の符号化方式において符号化ツールを利用できない場合に、分離手順は、第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータに加えて、入力ビットストリームにおいて符号化ツールを示すパラメータを抽出し、補正係数計算手順は、入力ビットストリームに符号化ツールが使用されている場合に、符号化ツールが指定する丸め方向に基づいて、第１の予測画像の上方向に丸められる画素が下方向に丸められる画素より多ければ補正係数のうちの一部の係数を減少させ、上方向に丸められる画素より下方向に丸められる画素が多ければ一部の係数を増加させるものである。

この発明によれば、第１の符号化方式に基づいた復号プロセスの途中で抽出した第１の予測符号化パラメータを用いて第１の予測画像を生成し、第２の符号化方式に基づいて決定した第２の予測符号化パラメータを用いて第２の予測画像を生成し、第１の予測画像と第２の予測画像の差分画像を求め、差分画像を直交変換して補正係数を計算し、第１の直交変換係数に補正係数を加算して第２の直交変換係数を求めるようにしたので、第１の符号化方式から第２の符号化方式への変換に必要な処理時間を短縮でき、かつ、変換に伴う画質の劣化も抑制することができる。また、補正係数の一部の係数を操作することにより、符号化ツールに起因する誤差を補正することができる。

この発明の実施の形態１に係る画像符号化方式変換装置１の構成を示すブロック図である。 補正係数によって復号画像の誤差を解消する処理の流れを示す図である。 実施の形態１のＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す図である。 実施の形態１による補正係数計算部の内部構成を示すブロック図である。 実施の形態１のＭＰＥＧ−２符号化パラメータＣｐ２に含まれるパラメータの例を示す図である。 実施の形態１による補正係数計算部による補正係数の計算処理を示す図である。 ＭＰＥＧ−４符号化パラメータからＭＰＥＧ−２符号化パラメータへの変換処理において、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}がＭＰＥＧ２で利用可能である条件を示す図である。 動きベクトルの探索範囲Ｓｒ２の決定方法の例を示す図である。 動きベクトルの探索範囲Ｓｒ２の決定方法の別の例を示す図である。 この発明の実施の形態２に係る画像符号化方式変換装置における補正係数計算部の内部構成を示すブロック図である。 この発明の実施の形態３に係る画像符号化方式変換装置の構成を示すブロック図である。 量子化ステップの調整による誤差の抑制の流れを示す図である。 実施の形態３のＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す図である。 実施の形態３のＭＰＥＧ−２符号化パラメータＣｐ２に含まれるパラメータの例を示す図である。 実施の形態３による補正係数計算部の内部構成を示すブロック図である。 補正係数が加算された場合における量子化パラメータの調整方法を示す図である。 この発明の実施の形態４に係る画像符号化方式変換装置の構成を示すブロック図である。 実施の形態４による補正係数計算部の内部構成を示すブロック図である。 変換誤差メモリを用いた場合の補正係数の生成方法を示す図である。 実施の形態４のＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す図である。 特許文献１において予測符号化方式の違いによって画質劣化が生じる流れを示す図である。

実施の形態１．
図１に示す画像符号化方式変換装置１は、第１の符号化方式で符号化された入力ビットストリームＥｓ４を順次読み込み、第２の符号化方式で符号化された出力ビットストリームＥｓ２に変換する。本実施の形態１において、入力ビットストリームＥｓ４はＭＰＥＧ−４で符号化されているものとし、出力ビットストリームＥｓ２はＭＰＥＧ−２で符号化されているものとする。また、ＭＰＥＧ−４のプロファイルはＡｄｖａｎｃｅｄ Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅが使用されるものとする。なお、入力ビットストリームおよび出力ビットストリームの符号化方式はＭＰＥＧ−４およびＭＰＥＧ−２に限る必要はなく、直交変換および予測符号化を採用する符号化方式であればどのような方式でも良い。ただし、両符号化方式で採用される直交変換の方式は同一である必要があり、本実施の形態１ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）が使用されているものとする。

本実施の形態１では、第１の符号化方式で符号化された入力ビットストリームから第２の符号化方式で符号化された出力ビットストリームに変換するために必要な処理時間を短縮し、同時に変換に伴う画質の劣化を抑制するために、入力ビットストリームから復号した第１の直交変換係数を出力ビットストリームの符号化に使用することを考える。しかし、第１の符号化方式が予測符号化を採用している場合、第１の直交変換係数は原画像から予測信号を減算した差分画像を直交変換したものである。従って、第１の符号化方式と第２の符号化方式で予測符号化方式および予測符号化パラメータが異なる場合には、入力ビットストリームを復号して得られる第１の復号画像と出力ビットストリームを復号して得られる第２の復号画像は異なる画像となる。即ち、誤差が生じてしまう。このことは、先立って図２１で説明したとおりである。

そこで、本実施の形態１では、補正係数計算部１０４において第１の復号画像と第２の復号画像が一致するような補正係数を求めて、第１の直交変換係数に加算することで、前記誤差を抑制する。
図２に、補正係数によって復号画像の誤差を解消する処理の流れを示す。この補正係数は図１の補正ＤＣＴ係数ＤＴｓに相当し、逆直交変換した場合に第１の予測信号と第２の予測信号の差分に等しくなるような係数である。

以下、具体的な実現例を説明する。
図１において、画像符号化方式変換装置１はＭＰＥＧ−４分離部１０と、補正係数計算部１０４と、ＭＰＥＧ−２多重化部１１と、２つの加算部１０５，１１０と、フレームメモリ１１１とを備える構成である。このＭＰＥＧ−４分離部１０は、ＭＰＥＧ−４ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ）部１０１、ＭＰＥＧ−４逆ＤＣ／ＡＣ予測部１０２およびＭＰＥＧ−４逆量子化部１０３を有する。また、ＭＰＥＧ−２多重化部１１は、ＭＰＥＧ−２量子化部１０６、ＭＰＥＧ−２ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）部１０７、ＭＰＥＧ−２逆ＤＣＴ部１０８およびＭＰＥＧ−２逆量子化部１０９を有する。

続いて、図１を用いて、画像符号化方式変換装置１の動作を説明する。
まずＭＰＥＧ−４分離部１０は、入力ビットストリームＥｓ４をマクロブロック単位で順次読み込み、ＭＰＥＧ−４符号化パラメータ（第１の予測符号化パラメータ）Ｃｐ４を補正係数計算部１０４へ、および第１のＤＣＴ係数（第１の直交変換係数）Ｔｓ４を加算部１０５へそれぞれ出力する。

図３に、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す。
図中、ｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}は、ＭＰＥＧ−４に従ってマクロブロックがイントラ符号化されているか、インター符号化されているか等のタイプを指定するパラメータである。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}は、ＭＰＥＧ−４の予測符号化によってマクロブロックの動きベクトルを指定するパラメータである。
なお、ＭＰＥＧ−４符号化パラメータＣｐ４に含むパラメータは図３に示すものに限らずとも良い。

また、読み込んだマクロブロックが、ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅの最初のマクロブロックである場合、ＭＰＥＧ−４符号化パラメータＣｐ４にさらにＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅに含まれる符号化パラメータを含めても良い。
また、読み込んだマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒの最初のマクロブロックである場合、ＭＰＥＧ−４符号化パラメータＣｐ４にはさらにｑｕａｒｔｅｒ＿ｓａｍｐｌｅパラメータが含まれる。ｑｕａｒｔｅｒ＿ｓａｍｐｌｅは、動き補償予測の画素精度を指定するパラメータである。なお、ここでＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒに含まれる他の符号化パラメータを追加でＭＰＥＧ−４符号化パラメータＣｐ４に含めても良い。

ここで、ＭＰＥＧ−４分離部１０の内部構成を説明する。
ＭＰＥＧ−４ＶＬＤ部１０１は、入力ビットストリームＥｓ４を読み込み、ＭＰＥＧ−４規格に基づいて符号化パラメータおよびマクロブロックを可変長復号し、ＭＰＥＧ−４符号化パラメータＣｐ４およびマクロブロック１つ分のＭＰＥＧ−４量子化された差分ＤＣＴ係数ＤＱｓ４を出力するものである。

ＭＰＥＧ−４逆ＤＣ／ＡＣ予測部１０２は、ＭＰＥＧ−４ＶＬＤ部１０１が出力した差分ＤＣＴ係数ＤＱｓ４を読み込み、そのマクロブロックがイントラ符号化されている場合にはＭＰＥＧ−４規格に基づいて逆ＤＣ／ＡＣ予測を行い、ＭＰＥＧ−４量子化されたＤＣＴ係数Ｑｓ４を出力する。一方、そのマクロブロックがインター符号化されている場合には差分ＤＣＴ係数ＤＱｓ４をそのままＤＣＴ係数Ｑｓ４として出力する。

ＭＰＥＧ−４逆量子化部１０３は、ＭＰＥＧ−４逆ＤＣ／ＡＣ予測部１０２が出力したＤＣＴ係数Ｑｓ４を読み込み、ＭＰＥＧ−４規格に基づいて逆量子化し、第１のＤＣＴ係数Ｔｓ４を出力する。

次に補正係数計算部１０４は、ＭＰＥＧ−４分離部１０が出力したＭＰＥＧ−４符号化パラメータＣｐ４およびフレームメモリ１１１に記録された参照画像Ｒｓ２を読み込み、ＭＰＥＧ−２予測信号（第２の予測画像）Ｐｓ２、ＭＰＥＧ−２符号化パラメータ（第２の予測符号化パラメータ）Ｃｐ２および補正ＤＣＴ係数（補正係数）ＤＴｓを出力するか、あるいはＭＰＥＧ−２予測信号Ｐｓ２およびＭＰＥＧ−２符号化パラメータＣｐ２のみを出力する。補正ＤＣＴ係数ＤＴｓは、ＭＰＥＧ−４とＭＰＥＧ−２の予測符号化方式の違いから発生する画素ドメイン上の誤差をＤＴＣ係数ドメイン上で表したものである。

次に加算部１０５は、補正係数計算部１０４が補正ＤＣＴ係数ＤＴｓを出力する場合、ＭＰＥＧ−４逆量子化部１０３が出力した第１のＤＣＴ係数Ｔｓ４にその補正ＤＣＴ係数ＤＴｓを加算し、第２のＤＣＴ係数（第２の直交変換係数）Ｔｓ２を出力する。一方、補正係数計算部１０４が補正ＤＣＴ係数ＤＴｓを出力しない場合には、第１のＤＣＴ係数Ｔｓ４をそのまま第２のＤＣＴ係数Ｔｓ２として出力する。

次にＭＰＥＧ−２多重化部１１は、加算部１０５が出力した第２のＤＣＴ係数Ｔｓ２および補正係数計算部１０４が出力したＭＰＥＧ−２符号化パラメータＣｐ２を読み込み、出力ビットストリームＥｓ２および局所復号差分画像ＤＬｓ２を出力する。

ここで、ＭＰＥＧ−２多重化部１１の内部構成を説明する。
ＭＰＥＧ−２量子化部１０６は、加算部１０５が出力した第２のＤＣＴ係数Ｔｓ２を読み込み、ＭＰＥＧ−２規格に基づいて量子化し、ＭＰＥＧ−２量子化されたＤＣＴ係数Ｑｓ２を出力するものである。

ＭＰＥＧ−２ＶＬＣ部１０７は、ＭＰＥＧ−２量子化部１０６が出力したＤＣＴ係数Ｑｓ２を可変長符号化すると共に、補正係数計算部１０４が出力したＭＰＥＧ−２符号化パラメータＣｐ２を可変長符号化して多重化し、出力ビットストリームＥｓ２を順次生成して出力する。

ＭＰＥＧ−２逆ＤＣＴ部１０８は、ＭＰＥＧ−２量子化部１０６が出力したＤＣＴ係数Ｑｓ２をＭＰＥＧ−２規格に基づいて逆直交変換し、差分画像ＴＬｓ２を出力する。
ＭＰＥＧ−２逆量子化部１０９は、ＭＰＥＧ−２逆ＤＣＴ部１０８が出力した差分画像ＴＬｓ２をＭＰＥＧ−２規格に基づいて逆量子化し、局所復号差分画像ＤＬｓ２を出力する。

最後に加算部１１０は、ＭＰＥＧ−２逆量子化部１０９が出力した局所復号差分画像ＤＬｓ２に補正係数計算部１０４が出力したＭＰＥＧ−２予測信号Ｐｓ２を加算し、局所復号画像Ｌｓ２を出力する。

フレームメモリ１１１は、加算部１１０が出力する局所復号画像Ｌｓ２を読み込み、参照画像Ｒｓ２として蓄積する。本実施の形態１のフレームメモリ１１１は、局所復号画像Ｌｓ２のうちのＩピクチャおよびＰピクチャに含まれる信号を、新しいものから２フレーム分記録する。ただし、フレームメモリ１１１に記録する画像のタイプおよびフレーム数はこれに限定されるものではなく、出力ビットストリームＥｓ２の符号化方式に合わせて選択すれば良い。

このように、本実施の形態１に係る画像符号化方式変換装置１は、ＭＰＥＧ−４からＭＰＥＧ−２への変換に伴う誤差を補正ＤＣＴ係数ＤＴｓの加算によって抑制する。補正ＤＣＴ係数ＤＴｓの加算はＤＣＴ係数ドメイン上で行われるため、ＭＰＥＧ−４分離部１０はＭＰＥＧ−４規格に基づく復号プロセスのうちのＤＣＴ／逆ＤＣＴの計算を省いて処理の高速化が可能である。

以下、補正係数計算部１０４の内部構成を説明する。
図４に、補正ＤＣＴ係数ＤＴｓを計算する補正係数計算部１０４の内部構成を示す。図示するように補正係数計算部１０４は、符号化パラメータ変換部２０１と、ＭＰＥＧ−２予測信号生成部２０２と、ＭＰＥＧ−４予測信号生成部２０３と、減算部２０４と、ＤＣＴ変換部２０５とを備えている。

続いて補正係数計算部１０４の動作を説明する。
ＭＰＥＧ−４符号化パラメータＣｐ４および参照画像Ｒｓ２が補正係数計算部１０４に入力されると、符号化パラメータ変換部２０１がそれらを読み込んでＭＰＥＧ−２符号化パラメータＣｐ２に変換して出力する。

図５に、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれるパラメータの例を示す。
図中、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ_{ＭＰＥＧ−２}は、ＭＰＥＧ−２に従ってマクロブロックがイントラ符号化されているか、インター符号化されているか等のタイプを指定するパラメータである。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}は、ＭＰＥＧ−２の予測符号化によってマクロブロックの動きベクトルを指定するパラメータであり、ＭＰＥＧ−４の予測符号化より多くの動きベクトルを指定可能である。
なお、ＭＰＥＧ−２符号化パラメータＣｐ２に含むパラメータは図５に示すものに限らずとも良い。

また、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅの最初のマクロブロックである場合、ＭＰＥＧ−２のピクチャヘッダに符号化可能なパラメータを追加して、ＭＰＥＧ−２符号化パラメータＣｐ２に含めても良い。
また、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒの最初のマクロブロックである場合、ＭＰＥＧ−２のシーケンスヘッダに符号化可能なパラメータを追加して、ＭＰＥＧ−２符号化パラメータＣｐ２に含めても良い。

次にＭＰＥＧ−２予測信号生成部２０２は、ＭＰＥＧ−２符号化パラメータＣｐ２および参照画像Ｒｓ２を読み込み、変換対象のマクロブロックがインター符号化されている場合、ＭＰＥＧ−２規格に基づいて動き補償予測を行ってＭＰＥＧ−２予測信号Ｐｓ２を生成する。一方、変換対象のマクロブロックがイントラ符号化されている場合には、ＭＰＥＧ−２予測信号Ｐｓ２は画素値がすべて初期値の画像となる。

次にＭＰＥＧ−４予測信号生成部２０３は、ＭＰＥＧ−４符号化パラメータＣｐ４および参照画像Ｒｓ２を読み込み、変換対象のマクロブロックがインター符号化されている場合、ＭＰＥＧ−４規格に基づいて動き補償予測を行ってＭＰＥＧ−４予測信号（第１の予測画像）Ｐｓ４を生成する。一方、変換対象のマクロブロックがイントラ符号化されている場合には、ＭＰＥＧ−４予測信号Ｐｓ４は画素値がすべて初期値の画像となる。

次に減算部２０４は、ＭＰＥＧ−２予測信号生成部２０２とＭＰＥＧ−４予測信号生成部２０３の出力を切り替えてＭＰＥＧ−２予測信号Ｐｓ２およびＭＰＥＧ−４予測信号Ｐｓ４を読み込み、ＭＰＥＧ−２予測信号Ｐｓ２からＭＰＥＧ−４予測信号Ｐｓ４を減算し、予測差分信号（差分画像）ＤＰｓを出力する。

次にＤＣＴ変換部２０５は、減算部２０４が出力した予測差分信号ＤＰｓを読み込み、ＤＣＴ変換を行い、補正ＤＣＴ係数ＤＴｓを出力する。

図２において説明したように、第１の符号化方式であるＭＰＥＧ−４と、第２の符号化方式であるＭＰＥＧ−２とでは予測符号化方式および予測符号化パラメータ（Ｃｐ４，Ｃｐ２）が異なるため、入力ビットストリームＥｓ４を復号して得られる復号画像と出力ビットストリームＥｓ２を復号して得られる復号画像は異なる画像となり、誤差が生じる。そこで、上述したように、補正係数計算部１０４はＭＰＥＧ−４からＭＰＥＧ−２への予測符号化パラメータの変換（即ちＣｐ４からＣｐ２への変換）によって生じる誤差を、ＭＰＥＧ−４予測信号Ｐｓ４とＭＰＥＧ−２予測信号Ｐｓ２の差分を取ることによって求め、さらに予測差分信号ＤＰｓをＤＣＴ変換して補正ＤＣＴ係数ＤＴｓとすることで、ＤＣＴ係数ドメイン上で誤差の補正を可能とする信号を出力する。そして、この補正ＤＣＴ係数ＤＴｓを第１のＤＣＴ係数Ｔｓ４に加算することで、誤差を抑制することができるようになる。

図６に、補正係数の計算の流れを示す。
直交変換処理は可逆的な処理であるため、補正ＤＣＴ係数ＤＴｓを計算するには第１の予測信号（ＭＰＥＧ−４予測信号Ｐｓ４に相当する）と第２の予測信号（ＭＰＥＧ−２予測信号Ｐｓ２に相当する）の差分を求めて、その差分である予測差分信号ＤＰｓを直交変換すれば良い。

また、ＭＰＥＧ−４の復号画像とＭＰＥＧ−２の復号画像の誤差が無視できるほど小さい場合には、ＭＰＥＧ−４予測信号Ｐｓ４とＭＰＥＧ−２予測信号Ｐｓ２は出力ビットストリームＥｓ２の復号画像である局所復号画像Ｌｓ２のみから生成できる。このような場合、ＭＰＥＧ−４分離部１０において入力ビットストリームＥｓ４を逆直交変換する必要がなくなり、処理時間を短縮することができる。このようにして、画像符号化方式変換装置１は処理時間の短縮と符号化方式の変換に伴う画質の劣化の抑制を共に達成することができる。

以下、具体的な実現例として、補正係数計算部１０４の符号化パラメータ変換部２０１におけるＭＰＥＧ−２符号化パラメータＣｐ２の生成方法を詳細に説明する。
図４に示す符号化パラメータ変換部２０１は、図３に示すＭＰＥＧ−４符号化パラメータＣｐ４を用いて、図５に示すＭＰＥＧ−２符号化パラメータＣｐ２におけるｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ_{ＭＰＥＧ−２}を次のように設定する。

１．変換対象のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（ＶＯＰ）がＢ−ＶＯＰ以外、かつ、ｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}がｉｎｔｒａおよびｉｎｔｒａ＿ｑならば、ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａを有効にする。
２．変換対象のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅがＢ−ＶＯＰ以外、かつ、ｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}がｉｎｔｒａでもｉｎｔｒａ＿ｑでもなければ、ｍａｃｒｏｂｌｏｃｋ＿ｆｏｒｗａｒｄを有効にする。
３．変換対象のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅがＢ−ＶＯＰの場合、さらにｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}がｂａｃｋｗａｒｄ＿ｍｃ＋ｑ以外の場合にｍａｃｒｏｂｌｏｃｋ＿ｆｏｒｗａｒｄを有効にし、一方、ｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}がｆｏｒｗａｒｄ＿ｍｃ＋ｑ以外の場合にｍａｃｒｏｂｌｏｃｋ＿ｂａｃｋｗａｒｄを有効にする。

また、符号化パラメータ変換部２０１は、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれるｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を次のように設定する。このときに参照する条件を、図７に示す。

１．ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す条件すべてを満たす場合、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を下式（１）のように設定する。なお、式（１）に含まれるｒ，ｓ，ｔはそれぞれベクトル番号、予測方向、水平成分／垂直成分を表している。

２．ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す条件のいずれかを満たさない場合、参照画像Ｒｓ２を用いて動きベクトルの探索を行い、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を設定する。

なお、上記２．の動きベクトルの再探索は、次の１〜４の手順で行う。
１．動きベクトル探索範囲Ｓｒ２を決定する。
２．ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}および参照画像Ｒｓ２を用いてＭＰＥＧ−４予測信号Ｐｓ４を生成する。
３．探索範囲Ｓｒ２内の各領域に関してＭＰＥＧ−４予測信号Ｐｓ４との差分を取り、差分が最も小さくなる座標ＭＲｆを求める。
４．座標ＭＲｆを指す動きベクトルをｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}とする。

動きベクトルを探索するにあたってＭＰＥＧ−４予測信号Ｐｓ４を用いるのは、図６に示したように、ＭＰＥＧ−４予測信号Ｐｓ４とＭＰＥＧ−２予測信号Ｐｓ２の差が小さいほど予測差分信号ＤＰｓが小さくなり、予測差分信号ＤＰｓを直交変換して得られる補正ＤＣＴ係数ＤＴｓも小さくなるためである。補正ＤＣＴ係数ＤＴｓを小さくすると入力ビットストリームＥｓ４から出力ビットストリームＥｓ２への変換による符号量の増加を抑制することができる。また、ＭＰＥＧ−４予測信号Ｐｓ４は、入力ビットストリームＥｓ４をベースバンド画像まで復号することなしに生成することができるため、計算量の増加を抑制することができる。

なお、符号化パラメータ変換部２０１は、動きベクトルの探索範囲Ｓｒ２を決定するにあたってｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}を用いることで、動きベクトルの再探索を高速化することが可能である。以下に、図７に示す条件のいずれかを満たさないｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が出現した場合における、動きベクトルの探索範囲Ｓｒ２の決定方法の例を示す。このときの参照画像Ｒｓ２を図８および図９に示す。

（例１）
ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７の番号１の条件を満たさない場合、即ち変換対象のマクロブロックにおいて１／４画素精度動き補償予測が用いられている場合、ＭＰＥＧ−２規格では１／２画素精度動き補償予測しか許可されていないため、このｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合には、図８に示すように探索範囲Ｓｒ２を、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が参照している参照座標Ｒｆ４の８近傍の１／２画素精度の座標のみとすることで、動きベクトルの再探索を高速化することができる。

（例２）
ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７の番号２の条件を満たさない場合、即ち変換対象のマクロブロックで８×８ブロック単位の動き補償予測が行われている場合、ＭＰＥＧ−２規格では８×８ブロック単位の動き補償予測は許可されていないため、このｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合には、探索範囲Ｓｒ２を、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}に含まれる４本の動きベクトルが参照している参照座標Ｒｆ４［０］〜Ｒｆ４［３］のみとすることで、動きベクトルの再探索を高速化することができる。

（例３）
ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７の番号３の条件を満たさない場合、ＭＰＥＧ−２規格では動きベクトルが参照画像Ｒｓ２の外部を参照することは許可されていないため、このｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合、図９に示すように探索範囲Ｓｒ２を、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が参照している画面（画像）外の参照座標Ｒｆ４と最も距離の小さい１／２画素精度の座標と、この座標に隣り合う１／２画素精度の座標のみとすることで、動きベクトルの再探索を高速化することができる。

以上のようにして、符号化パラメータ変換部２０１はＭＰＥＧ−２符号化パラメータＣｐ２を決定する。なお、ＭＰＥＧ−４符号化パラメータＣｐ４およびＭＰＥＧ−２符号化パラメータＣｐ２に本実施の形態で記述していないパラメータが含まれる場合、それらについても同様にルールを設定して変換すれば良い。

なお、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す条件すべてを満たす場合、予測差分信号ＤＰｓの全ての成分はゼロに近くなることが予想される。このような場合、補正係数計算部１０４はＭＰＥＧ−４予測信号Ｐｓ４の生成およびＭＰＥＧ−４予測信号Ｐｓ４からのＭＰＥＧ−２予測信号Ｐｓ２の減算、予測差分信号ＤＰｓのＤＣＴ変換、ＭＰＥＧ−４予測信号Ｐｓ４からＭＰＥＧ−２予測信号Ｐｓ２へのＤＣＴ変換、および予測差分信号ＤＰｓのＤＣＴ変換を行わないよう動作しても良い。このような動作を行う場合、補正ＤＣＴ係数ＤＴｓの計算に必要な時間をより短く抑えることができる。

以上より、実施の形態１によれば、直交変換および予測符号化を採用しているＭＰＥＧ−４規格で符号化され入力ビットストリームＥｓ４を直交変換および予測符号化を採用しているＭＰＥＧ−２規格で符号化された出力ビットストリームＥｓ２に変換する画像符号化方式変換装置１を、ＭＰＥＧ−４規格に基づいた復号プロセスを途中まで進めて入力ビットストリームＥｓ４から第１のＤＣＴ係数Ｔｓ４およびＭＰＥＧ−４符号化パラメータＣｐ４を抽出するＭＰＥＧ−４分離部１０と、予測符号化に使用する参照画像Ｒｓ２を蓄積するフレームメモリ１１１と、ＭＰＥＧ−２規格に基づいてＭＰＥＧ−２符号化パラメータＣｐ２を決定する符号化パラメータ変換部２０１と、ＭＰＥＧ−４分離部１０が抽出したＭＰＥＧ−４符号化パラメータＣｐ４およびフレームメモリ１１１が蓄積する参照画像Ｒｓ２を用いてＭＰＥＧ−４規格に基づいてＭＰＥＧ−４予測信号Ｐｓ４を生成するＭＰＥＧ−４予測信号生成部２０３と、符号化パラメータ変換部２０１が決定したＭＰＥＧ−２符号化パラメータＣｐ２およびフレームメモリ１１１が蓄積する参照画像Ｒｓ２を用いてＭＰＥＧ−２規格に基づいてＭＰＥＧ−２予測信号Ｐｓ２を生成するＭＰＥＧ−２予測信号生成部２０２と、ＭＰＥＧ−４予測信号Ｐｓ４とＭＰＥＧ−２予測信号Ｐｓ２の予測差分信号ＤＰｓを求める減算部２０４と、予測差分信号ＤＰｓを直交変換して補正ＤＣＴ係数ＤＴｓを計算するＤＣＴ変換部２０５と、ＭＰＥＧ−４分離部１０が抽出した第１のＤＣＴ係数Ｔｓ４に補正係数計算部１０４が計算した補正ＤＣＴ係数ＤＴｓを加算して第２のＤＣＴ係数Ｔｓ２を出力する加算部１０５と、加算部１０５が出力した第２のＤＣＴ係数Ｔｓ２および符号化パラメータ変換部２０１が決定したＭＰＥＧ−２符号化パラメータＣｐ２を多重化し、ＭＰＥＧ−２規格に基づいた符号化プロセスによって符号化して出力ビットストリームＥｓ２を生成すると共に、出力ビットストリームＥｓ２を復号してフレームメモリ１１１に蓄積させるＭＰＥＧ−２多重化部１１とを備えるように構成した。
このように、ＭＰＥＧ−４からＭＰＥＧ−２へ予測符号化パラメータを変換した際に生じる誤差を予測信号同士の減算およびＤＣＴ変換によって求めることで、入力ビットストリームを逆ＤＣＴ変換することなく出力ビットストリームに変換することができる。従って、符号化方式の変換によって生じる誤差を抑制しつつ、変換処理を高速化することが可能である。

実施の形態２．
図１０は、本発明の実施の形態２に係る画像符号化方式変換装置を構成する補正係数計算部１０４ａの内部構成を示すブロック図である。本実施の形態２では、上記実施の形態１の図４に示す補正係数計算部１０４に代えて、補正係数計算部１０４ａを備える。この補正係数計算部１０４ａは、上記実施の形態１の図４に示す補正係数計算部１０４における符号化パラメータ変換部２０１の代わりに、符号化パラメータ変換部２０１ａを備える。この符号化パラメータ変換部２０１ａは、ＭＰＥＧ−４符号化パラメータＣｐ４および参照画像Ｒｓ２を入力とする代わりにＭＰＥＧ−４符号化パラメータＣｐ４のみを入力とし、ＭＰＥＧ−４符号化パラメータＣｐ４のみからＭＰＥＧ−２符号化パラメータＣｐ２を生成して出力する。そして、本実施の形態２の画像符号化方式変換装置におけるその他の構成は、上記実施の形態１の図１に示す画像符号化方式変換装置１と同一の構成のため、以下では図１を援用する。なお、説明の都合上、本実施の形態２に係る画像符号化方式変換装置を、画像符号化方式変換装置１ａ（不図示）と称す。

以下、補正係数計算部１０４ａにおける符号化パラメータ変換部２０１ａの動作を説明する。
まず符号化パラメータ変換部２０１ａは、上記実施の形態１の符号化パラメータ変換部２０１と同様に、ＭＰＥＧ−２符号化パラメータＣｐ２におけるｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ_{ＭＰＥＧ−２}を設定する。さらに、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}に関しても、ＭＰＥＧ−４符号化パラメータＣｐ４におけるｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}がＭＰＥＧ−２規格で利用可能な場合、実施の形態１の符号化パラメータ変換部２０１と同様に設定する。

ただし、符号化パラメータ変換部２０１ａは、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}がＭＰＥＧ−２規格で利用不可能な場合でも参照画像Ｒｓ２は用いず、ＭＰＥＧ−４符号化パラメータＣｐ４のみからＭＰＥＧ−２符号化パラメータＣｐ２におけるｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を設定する。

以下、この設定を行う方法の詳細を説明する。
（例１）
まず、ＭＰＥＧ−４符号化パラメータＣｐ４が図７に示す番号１の条件を満たさない場合、即ち変換対象のマクロブロックにおいて１／４画素精度動き補償予測が用いられている場合、ＭＰＥＧ−２規格では１／２画素精度動き補償予測しか許可されていないため、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合、符号化パラメータ変換部２０１ａは、下式（２）を用いて１／４画素精度の動きベクトルを１／２画素精度の動きベクトルに丸め、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を設定する。

これにより、第１の符号化方式であるＭＰＥＧ−４において第２の符号化方式であるＭＰＥＧ−２より細かい画素単位での動き補償予測が可能である場合に、割り算によって、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれる第１の動きベクトルｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}から、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれる第２の動きベクトルｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を決定することができる。

（例２）
また、ＭＰＥＧ−４符号化パラメータＣｐ４が図７に示す番号２の条件を満たさない場合、即ち変換対象のマクロブロックで８×８ブロック単位の動き補償予測が行われている場合、ＭＰＥＧ−２規格では８×８ブロック単位の動き補償予測は許可されていないため、このｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合、符号化パラメータ変換部２０１ａは下式（３）を用いて全ての８×８ブロック単位の動きベクトルを平均し、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を設定する。

これにより、第１の符号化方式であるＭＰＥＧ−４においてＭＰＥＧ−４符号化パラメータＣｐ４が含むｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}によって第２の符号化方式であるＭＰＥＧ−２より多くの動きベクトルを指定可能である場合に、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれる２本以上の動きベクトルを１本の動きベクトルにまとめることで、ＭＰＥＧ−２符号化パラメータＣｐ２によって指定可能な全ての動きベクトルを決定することができる。

（例３）
また、ＭＰＥＧ−４符号化パラメータＣｐ４が図７の番号３の条件を満たさない場合、ＭＰＥＧ−２規格では動きベクトルが参照画像Ｒｓ２の外部を参照することは許可されていないため、このｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}はＭＰＥＧ−２規格で利用不可能である。このような場合、符号化パラメータ変換部２０１ａは下式（４）を用いて、補正係数計算部１０４ａが参照する参照画像Ｒｓ２の内側にある領域で、現在参照している領域と最も近い領域を参照するようにｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ_{ＭＰＥＧ−２}を設定する。なお、式（４）においてｍｂ＿ｐｏｓは変換対象マクロブロックの左上座標、ｐｉｃｔｕｒｅ＿ｓｉｚｅは参照画像Ｒｓ２のサイズを示す。

これにより、第１の符号化方式であるＭＰＥＧ−４において動きベクトルが参照できる座標の範囲が第２の符号化方式であるＭＰＥＧ−２において参照できる座標の範囲より広い場合に、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれる第１の動きベクトルの参照座標を、ＭＰＥＧ−２において参照できる座標の範囲内で最も第１の動きベクトルとの距離が小さい座標に丸めることで、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれる第２の動きベクトルを決定することができる。

このように、第２の符号化方式であるＭＰＥＧ−２においてＭＰＥＧ−４予測信号Ｐｓ４と同値のＭＰＥＧ−２予測信号Ｐｓ２を生成可能なＭＰＥＧ−２符号化パラメータＣｐ２を使用できる場合には、補正係数計算部１０４において補正ＤＣＴ係数ＤＴｓを計算する処理を省略できるため、さらなる処理時間の短縮が可能である。このようにして、画像符号化方式変換装置１ａは処理時間の短縮と符号化方式の変換に伴う画質の劣化の抑制を共に達成することができる。

以上より、実施の形態２によれば、画像符号化方式変換装置１ａにおいてＭＰＥＧ−４規格およびＭＰＥＧ−２規格が動き補償予測符号化を採用しており、かつ、ＭＰＥＧ−４においてＭＰＥＧ−２より細かい画素単位での動き補償予測が可能である場合、ＭＰＥＧ−４においてＭＰＥＧ−４符号化パラメータＣｐ４に含まれる第１の動きベクトルによってＭＰＥＧ−２符号化パラメータＣｐ２に含まれる第２の動きベクトルより多くの動きベクトルを指定可能である場合、または、ＭＰＥＧ−４において第１の動きベクトルが参照できる座標の範囲がＭＰＥＧ−２において第２の動きベクトルが参照できる座標の範囲より広い場合のように、ＭＰＥＧ−４の予測符号化パラメータにおいてＭＰＥＧ−２規格で利用不可能な予測符号化パラメータが出現した場合に、符号化パラメータ変換部２０１ａは、参照画像を用いた動きベクトルの再探索を行うことなくＭＰＥＧ−２の予測符号化パラメータを生成することができる。よって、この符号化パラメータ変換部２０１ａを備えた補正係数計算部１０４ａは、補正係数の各成分の値がより増加する可能性がある代わりに、より高速に補正係数およびＭＰＥＧ−２の予測符号化パラメータを出力することができる。従って、この補正係数計算部１０４ａを備えた画像符号化方式変換装置１ａは、出力ビットストリームの符号量が上記実施の形態１に係る画像符号化方式変換装置１より増加する可能性がある代わりに、より高速な変換処理が可能である。

実施の形態３．
図１１は、本発明の実施の形態３に係る画像符号化方式変換装置１ｂの構成を示すブロック図である。画像符号化方式変換装置１ｂは、上記実施の形態１の図１に示す画像符号化方式変換装置１におけるＭＰＥＧ−４分離部１０の代わりに、ＭＰＥＧ−４分離部１０ｂを備える。また、補正係数計算部１０４の代わりに補正係数計算部１０４ｂを備える。さらに、ＭＰＥＧ−２多重化部１１の代わりにＭＰＥＧ−２多重化部１１ｂを備える。そして、本実施の形態３の画像符号化方式変換装置１ｂにおけるその他の構成は、上記実施の形態１の図１に示す画像符号化方式変換装置１と同一の構成のため、詳細な説明は省略する。

本実施の形態３では、第２の符号化方式が第１の符号化方式と異なる量子化方式を採用している場合に、出力ビットストリームを量子化する際に直交変換係数の割り算に用いる係数（第２の量子化ステップ）を、入力ビットストリームを符号化する際の量子化において直交変換係数の割り算に用いた係数（第１の量子化ステップ）の約数になるよう出力ビットストリームの量子化パラメータを設定する。

図１２に、量子化ステップの調整による誤差の抑制の流れを示す。
この直交変換係数は図１１に示す出力ビットストリームＥｓ２の第１のＤＣＴ係数Ｔｓ４に相当する。入力ビットストリームの直交変換係をそのまま利用する場合、直交変換係数の各係数成分は第１の量子化ステップの倍数または第１の量子化ステップの倍数と整数値の和となっていることから、出力ビットストリームの量子化パラメータを上述のように設定することによって量子化方式の違いによる誤差が抑制できる。

以下、具体的な実現例を説明する。
図１１に示す画像符号化方式変換装置１ｂにおいて、ＭＰＥＧ−４分離部１０ｂは、上記実施の形態１のＭＰＥＧ−４分離部１０におけるＭＰＥＧ−４ＶＬＤ部１０１の代わりにＭＰＥＧ−４ＶＬＤ部１０１ｂを備える。ＭＰＥＧ−４分離部１０ｂのその他の構成は、図１に示すＭＰＥＧ−４分離部１０と同一の構成となっている。
このＭＰＥＧ−４ＶＬＤ部１０１ｂは、ＭＰＥＧ−４ＶＬＤ部１０１と同様にＭＰＥＧ−４符号化パラメータＣｐ４およびＭＰＥＧ−４量子化された差分ＤＣＴ係数ＤＱｓ４を出力する。

図１３に、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す。
本実施の形態３においてＭＰＥＧ−４ＶＬＤ部１０１ｂが出力するＭＰＥＧ−４符号化パラメータＣｐ４は、図３に示すパラメータに加えて符号化パラメータｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}、ｑｕａｎｔ＿ｍａｔ_{ＭＰＥＧ−４}およびｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が含まれる。ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}は、ＭＰＥＧ−４量子化ステップＱｐ４を決定するパラメータであり、マクロブロック単位で指定される。ｑｕａｎｔ＿ｍａｔ_{ＭＰＥＧ−４}は、ＤＣＴ係数毎の量子化ステップを決定するパラメータであり、ピクチャ単位で指定される。ｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が１の場合、各ＤＣＴ係数の量子化ステップはｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}とｑｕａｎｔ＿ｍａｔ_{ＭＰＥＧ−４}の積に比例する。ｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}は、量子化に用いる式を決定するパラメータである。ｑｕａｎｔ＿ｔｙｐｅ_{ＭＥＴＧ−４}が１の場合、量子化にはＭＥＰＧ−２に近い量子化マトリックスを使った量子化式が使用される。一方、ｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合、量子化にはＨ．２６３に近い量子化マトリックスを使わない量子化式が使用される。これらのパラメータを以降はＭＰＥＧ−４量子化パラメータ（第１の量子化パラメータ）と呼ぶ。
なお、ｑｕａｎｔ＿ｍａｔ_{ＭＰＥＧ−４}およびｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}は、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒの最初のマクロブロックである場合にＭＰＥＧ−４符号化パラメータＣｐ４に含まれる。

補正係数計算部１０４ｂは、上記実施の形態１の補正係数計算部１０４と同様に、ＭＰＥＧ−４符号化パラメータＣｐ４および参照画像Ｒｓ２を読み込み、ＭＰＥＧ−２符号化パラメータＣｐ２、ＭＰＥＧ−２予測信号Ｐｓ２および補正ＤＣＴ係数ＤＴｓを出力する。

図１４に、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれるパラメータの例を示す。
本実施の形態３において補正係数計算部１０４ｂが出力するＭＰＥＧ−２符号化パラメータＣｐ２は、図５に示すパラメータに加えて符号化パラメータｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}およびｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}が含まれる。ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}は、ＭＰＥＧ−２量子化ステップＱｐ２を決定するパラメータであり、マクロブロック単位で指定される。ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}は、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}の値域を制御するパラメータであり、ピクチャ単位で指定される。ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}は、ＤＣＴ係数毎の量子化ステップを決定するパラメータであり、ピクチャ単位で指定される。各ＤＣＴ係数の量子化ステップは、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}とｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}の積に比例する。これらのパラメータを以降はＭＰＥＧ−２量子化パラメータ（第２の量子化パラメータ）と呼ぶ。
なお、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}は、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅの先頭である場合にＭＰＥＧ−２符号化パラメータＣｐ２に含まれる。他方、ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}は、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒの先頭である場合にＭＰＥＧ−２符号化パラメータＣｐ２に含まれる。

ＭＰＥＧ−２多重化部１１ｂは、上記実施の形態１のＭＰＥＧ−２多重化部１１におけるＭＰＥＧ−２量子化部１０６の代わりにＭＰＥＧ−２量子化部１０６ｂを備える。ＭＰＥＧ−２多重化部１１ｂのその他の構成は、図１に示すＭＰＥＧ−２多重化部１１と同一の構成となっている。
このＭＰＥＧ−２量子化部１０６ｂは、第２のＤＣＴ係数Ｔｓ２およびＭＰＥＧ−２符号化パラメータＣｐ２を読み込み、ＭＰＥＧ−２符号化パラメータＣｐ２に含まれるＭＰＥＧ−２量子化パラメータｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}およびｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}を用いて第２のＤＣＴ係数Ｔｓ２を量子化し、ＭＰＥＧ−２量子化されたＤＣＴ係数Ｑｓ２を出力する。

以上の動作によって、画像符号化方式変換装置１ｂは入力ビットストリームＥｓ４の量子化に使用されたパラメータを出力ビットストリームＥｓ２の符号化に活用する。

以下、補正係数計算部１０４ｂの内部構成を説明する。
図１５に、補正係数計算部１０４ｂの内部構成を示す。図示するように補正係数計算部１０４ｂは、符号化パラメータ変換部２０１に代えて符号化パラメータ変換部２０１ｂを備える。この符号化パラメータ変換部２０１ｂは、内部に量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを有する。量子化マトリックスＱＭｔは、２つの８×８整数行列（イントラ用およびインター用）からなる。また、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂは３１個の要素を持つ整数配列であり、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}の取りうる全ての値に対して、変換後のｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}の値を格納している。この符号化パラメータ変換部２０１ｂは、ＭＰＥＧ−２符号化パラメータＣｐ２にｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}を含めて出力するよう動作する。また、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅの先頭である場合にはＭＰＥＧ−２符号化パラメータＣｐ２にｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}を含めて出力するよう動作する。さらに、変換対象のマクロブロックがＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒの先頭である場合にはＭＰＥＧ−２符号化パラメータＣｐ２にｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}を含めて出力するよう動作する。そして、補正係数計算部１０４ｂにおけるその他の構成は、図４に示す補正係数計算部１０４の構成と同一の構成となっている。

続いて、符号化パラメータ変換部２０１ｂにおけるＭＰＥＧ−２量子化パラメータｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}およびｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}の決定方法をより詳細に説明する。
まず読み込んだＭＰＥＧ−４符号化パラメータＣｐ４にｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が含まれている場合、符号化パラメータ変換部２０１ｂは、内部の量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを初期化する。このとき、量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂは、ＭＰＥＧ−２量子化ステップＱｐ２が常にＭＰＥＧ−４量子化ステップＱｐ４の約数となるように初期化される。

ここで、ＭＰＥＧ−２量子化ステップＱｐ２とは、ＭＰＥＧ−２量子化部１０６ｂにおいてＭＰＥＧ−２符号化パラメータＣｐ２を用いてＭＰＥＧ−２規格による量子化を行う際に、割り算に使用される係数と定義する。
また、ＭＰＥＧ−４量子化ステップＱｐ４とは、ＭＰＥＧ−４符号化パラメータＣｐ４を用いてＭＰＥＧ−４規格による量子化を行う際に、割り算に使用される係数と定義する。

以下、具体的に例を示す。
まずＭＰＥＧ−４符号化パラメータＣｐ４におけるｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が１の場合の初期化の例を示す。ｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が１の場合、ＭＰＥＧ−４の逆量子化式は下式（５）のように定義される。ここで、Ｑｓは量子化ＤＣＴ係数、Ｔｓは逆量子化後のＤＣＴ係数を示す。また、ｗはマクロブロック符号化タイプを示す変数であり、ｖ，ｕはそれぞれ係数の位置を示す変数である。

上式（５）から、ＭＰＥＧ−４量子化ステップＱｐ４は下式（６）のように求められる。

次に、ＭＰＥＧ−２の逆量子化式は下式（７）のように定義される。そして、式（７）から、ＭＰＥＧ−２量子化ステップＱｐ２は下式（８）のように求められる。

上式（６）および式（８）から、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］が常にＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］の約数となるようにするには、ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}［ｗ］［ｖ］［ｕ］が全てのｗ，ｖ，ｕについてｑｕａｎｔ＿ｍａｔ_{ＭＰＥＧ−４}と等値となり、かつ、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}がｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}と等値か、またはｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}の２倍となるようにＭＰＥＧ−２量子化パラメータを設定すればよいことが分かる。
なお、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］が常に１となるようにＭＰＥＧ−２量子化パラメータを設定することもできるが、符号量が非常に大きくなるため現実的ではない。

ここで、ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ_{ＭＰＥＧ−２}［ｗ］［ｖ］［ｕ］およびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}は、符号化パラメータ変換部２０１ｂが有する量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを用いて、下式（９）のように計算されるものとする。

ただし、ＭＰＥＧ−２規格ではｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}は１から３１の任意の整数値を取ることはできない。従って、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}を常にｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−４}と等値にはできない。
一方、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}を０とした場合は、ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}は２から６２の任意の偶数を取ることができるため、下式（１０）によって量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを初期化すれば、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］が常にＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］の約数となるようにすることができる。

さらに、符号化パラメータ変換部２０１ｂは、次のＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒを読み込むまで、ｑ＿ｓｃａｌｅ＿ｔｙｐｅ_{ＭＰＥＧ−２}を常に０に決定する。このとき、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］は常にＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］と等値となり、ＭＰＥＧ−２量子化によって発生する誤差は非常に小さくなる。

別の例として、ＭＰＥＧ−４符号化パラメータＣｐ４におけるｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合の初期化の例を示す。
ｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合、ＭＰＥＧ−４の逆量子化式は下式（１１）および式（１２）のように定義される。

上式（１１）および式（１２）から、ＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］は下式（１３）のように求められる。

そして、上式（８）から、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］が常にＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］の約数となるようにするには、以下の式（１４）によって量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを初期化すれば良い。

このとき、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］はＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］と同値となる。
あるいは、量子化マトリックスＱＭｔ［ｗ］［ｖ］［ｕ］＝４またはＱＭｔ［ｗ］［ｖ］［ｕ］＝２で初期化すれば、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］をＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］の異なる約数とすることも可能である。

さらに、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］を常にＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］の約数とする量子化パラメータの組み合わせが複数ある場合、符号化パラメータ変換部２０１ｂは、補正係数計算部１０４ｂが補正ＤＣＴ係数ＤＴｓを出力する必要があるかどうかの推測に基づいて使用するパラメータの組み合わせを変えても良い。

図１６に、補正係数が出力され、第１のＤＣＴ係数Ｔｓ４に加算される場合の量子化パラメータの調整方法を示す。
図１２において第２の量子化ステップ（ＭＰＥＧ−２量子化ステップＱｐ２に相当する）を第１の量子化ステップ（ＭＰＥＧ−４量子化ステップＱｐ４に相当する）の約数になるように設定する構成を説明したが、この設定が複数存在する場合であって補正係数の加算を行う場合には、加算を行わない場合より第２の量子化ステップが小さくなるように前記設定を行う。これにより、図１６に示すように、必ずしも第１の量子化ステップの倍数となっていない補正係数部分をより正確に量子化し、誤差を抑制することができる。

以下、ＭＰＥＧ−４量子化ステップＱｐ４におけるｑｕａｎｔ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合について具体例を示す。
本実施の形態３においては、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれるｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す条件を全て満たすか否かによって補正ＤＣＴ係数ＤＴｓを出力する必要があるか否かを推測することができる。図１６に示したように、補正ＤＣＴ係数ＤＴｓは必ずしもＭＰＥＧ−４量子化ステップＱｐ４の倍数とはならないため、この補正ＤＣＴ係数ＤＴｓの情報が量子化によって失われることを抑制するためには、ＭＰＥＧ−２量子化ステップＱｐ２がより小さくなるようにＭＰＥＧ−２量子化パラメータを決定する必要がある。

従って、符号化パラメータ変換部２０１ｂは、まず上式（１４）の代わりに、下式（１５）を用いて量子化マトリックスＱＭｔおよびｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ変換テーブルＱＴｂを初期化する。

さらに、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７の条件のいずれかを満たさない場合、即ち補正係数計算部１０４ｂが補正ＤＣＴ係数ＤＴｓを出力する場合、符号化パラメータ変換部２０１ｂは、上式（９）の代わりに下式（１６）を用いてｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ_{ＭＰＥＧ−２}を計算する。

このとき、ＭＰＥＧ−２量子化ステップＱｐ２［ｖ］［ｕ］はＭＰＥＧ−４量子化ステップＱｐ４［ｖ］［ｕ］を２で割った値となり、符号量が増える代わりに補正ＤＣＴ係数ＤＴｓをより正確に量子化することができる。よって、補正ＤＣＴ係数ＤＴｓの情報がＭＰＥＧ−２量子化部１０６ｂのＭＰＥＧ−２量子化によって失われることを抑制でき、変換の際の誤差を抑制できる。

以上より、実施の形態３によれば、量子化を採用しているＭＰＥＧ−４およびＭＰＥＧ−２の間で変換処理を行う画像符号化方式変換装置１ｂにおいて、ＭＰＥＧ−４分離部１０ｂは、第１のＤＣＴ係数Ｔｓ４およびＭＰＥＧ−４符号化パラメータＣｐ４に加えてＭＰＥＧ−４量子化パラメータを抽出し、符号化パラメータ変換部２０１ｂは、ＭＰＥＧ−２符号化パラメータＣｐ２に加えてＭＰＥＧ−２量子化パラメータを生成するときに、ＭＰＥＧ−４分離部１０ｂが抽出したＭＰＥＧ−４量子化パラメータを用いて量子化を行う場合に直交変換係数の割り算に用いられる値をＭＰＥＧ−２量子化ステップＱｐ２とし、ＭＰＥＧ−２量子化パラメータを用いて量子化を行う場合に直交変換係数の割り算に用いられる値をＭＰＥＧ−２量子化ステップＱｐ２とすると、ＭＰＥＧ−２量子化ステップＱｐ２がＭＰＥＧ−４量子化ステップＱｐ４の約数となるようにＭＰＥＧ−２量子化パラメータを設定し、ＭＰＥＧ−２多重化部１１ｂは、第２のＤＣＴ係数Ｔｓ２およびＭＰＥＧ−２符号化パラメータＣｐ２に加えて、符号化パラメータ変換部２０１ｂが設定したＭＰＥＧ−２量子化パラメータをＭＰＥＧ−２規格によって符号化して出力ビットストリームＥｓ２を生成するように構成した。
このため、画像符号化方式変換装置１ｂは、入力ビットストリームの符号化に使用された量子化方式と出力ビットストリームの符号化に使用する量子化方式が異なる場合でも、より少ない誤差で符号化方式の変換ができる。

また、実施の形態３によれば、符号化パラメータ変換部２０１ｂは、ＭＰＥＧ−２量子化ステップＱｐ２がＭＰＥＧ−４量子化ステップＱｐ４の約数となるＭＰＥＧ−２量子化パラメータが複数ある場合に、補正係数計算部１０４ｂが補正ＤＣＴ係数ＤＴｓを出力し、かつ、補正ＤＣＴ係数ＤＴｓがゼロでないときには、そうでないときよりもＭＰＥＧ−４量子化ステップＱｐ４が小さくなるＭＰＥＧ−２量子化パラメータを選択するように構成した。これにより、補正係数部分が第１の量子化ステップの倍数となっていない場合であっても当該補正係数部分をより正確に量子化できるようになり、誤差を抑制することができる。

実施の形態４．
図１７は、本実施の形態４に係る画像符号化方式変換装置の構成を示すブロック図である。本実施の形態４では、上記実施の形態３の図１１に示すＭＰＥＧ−４分離部１０ｂに代えてＭＰＥＧ−４分離部１０ｃを備える。また、図１１の補正係数計算部１０４ｂに代えて補正係数計算部１０４ｃを備える。そして、本実施の形態４の画像符号化方式変換装置１ｃにおけるその他の構成は、上記実施の形態３の図１１に示す画像符号化方式変換装置１ｂと同一の構成のため詳細な説明を省略する。

図１８は、本実施の形態４に係る画像符号化方式変換装置を構成する補正係数計算部１０４ｃの内部構成を示すブロック図である。この補正係数計算部１０４ｃは、上記実施の形態３の図１５に示す符号化パラメータ変換部２０１ｂ、ＭＰＥＧ−２予測信号生成部２０２、ＭＰＥＧ−４予測信号生成部２０３、減算部２０４に加えて、新たに、加算部２０６ｃおよび変換誤差メモリ２０８ｃを備える。また、図１５のＤＣＴ変換部２０５に代えて、新たに補正係数出力部２０７ｃを備える。

図１９に、変換誤差メモリを用いた場合の補正係数の生成方法を示す。
図１９に示すように、補正係数が微小な場合、補正結果が量子化後の直交変換係数に反映されない。本実施の形態４では、このような場合にも直交変換係数を逆直交変換して生成した差分画像（即ち、図１８に示す局所誤差画像ＥＬｓに相当する）を変換誤差メモリに蓄積し、次回以降の補正係数の計算に反映することで、第１の符号化方式から第２の符号化方式への変換に伴う誤差を抑制することができる。

図２０に、ＭＰＥＧ−４符号化パラメータＣｐ４に含まれるパラメータの例を示す。
本実施の形態４に係る画像符号化方式変換装置１ｃにおいて、ＭＰＥＧ−４ＶＬＤ部１０１ｃは、ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅの最初のマクロブロックを読み込んだ場合、ＭＰＥＧ−４符号化パラメータＣｐ４として図１３に示すパラメータに加えてｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}を出力するよう動作する。ｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}は、１／２画素精度の動き予測を行う際に、予測画像を求めるための割り算を制御するパラメータであり、符号化ツールに相当する。

以下、図１８を用いて補正係数計算部１０４ｃを説明する。
補正係数計算部１０４ｃは、上記実施の形態３に係る画像符号化方式変換装置１ｂにおける補正係数計算部１０４ｂと同様に、ＭＰＥＧ−２符号化パラメータＣｐ２の出力、ＭＰＥＧ−２予測信号Ｐｓ２の出力、および予測差分信号（差分画像）ＤＰｓの生成を行う。また補正係数計算部１０４ｃは、生成した予測差分信号ＤＰｓを加算部２０６ｃに入力する。加算部２０６ｃは、変換誤差メモリ２０８ｃに蓄積されている誤差画像ＥＲｓをこの予測差分信号ＤＰｓに加算し、修正差分信号（修正差分画像）ＣＰｓを生成する。

次に補正係数出力部２０７ｃは、加算部２０６ｃが出力した修正差分信号ＣＰｓを読み込み、まずＭＰＥＧ−２符号化パラメータＣｐ２および予測差分信号ＤＰｓを用いて補正ＤＣＴ係数ＤＴｓを出力するか否かの判定を行う。出力する判定の場合、補正係数出力部２０７ｃは修正差分信号ＣＰｓをＤＣＴ変換して補正ＤＣＴ係数ＤＴｓを生成し、出力する。このとき局所誤差画像ＥＬｓは出力しない。生成した補正ＤＣＴ係数ＤＴｓは補正係数計算部１０４ｃからＭＰＥＧ−２ＶＬＣ部１０７へ出力される。
一方、出力しない判定の場合、補正係数出力部２０７ｃは修正差分信号ＣＰｓをそのまま局所誤差画像ＥＬｓとして出力し、補正ＤＣＴ係数ＤＴｓの出力は行わない。よって補正係数計算部１０４ｃから補正ＤＣＴ係数ＤＴｓは出力されない。

次に変換誤差メモリ２０８ｃは、補正係数出力部２０７ｃが局所誤差画像ＥＬｓを出力する場合に、その局所誤差画像ＥＬｓを記録および蓄積し、以降の変換において誤差画像ＥＲｓとして加算部２０６ｃへ出力する。

以下、補正係数出力部２０７ｃが補正ＤＣＴ係数ＤＴｓを出力するか否かを判定する方法を説明する。
補正係数出力部２０７ｃは、補正ＤＣＴ係数ＤＴｓがＭＰＥＧ−２量子化によってゼロ係数になる場合には補正ＤＣＴ係数ＤＴｓを出力せず、そうでない場合（即ち、補正ＤＣＴ係数ＤＴｓがＭＰＥＧ−２量子化によってゼロ係数以外になる場合）には補正ＤＣＴ係数ＤＴｓを出力するように動作する。この動作によって、図１９に示したように、変換誤差メモリ２０８ｃに局所誤差画像ＥＬｓを蓄積し、蓄積分をまとめてＤＣＴ変換して量子化で失われない補正ＤＣＴ係数ＤＴｓを出力することができるようになる。

補正係数出力部２０７ｃにおいて、補正ＤＣＴ係数ＤＴｓがＭＰＥＧ−２量子化によってゼロ係数になるか否かは、以下のように判定する。
１．ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す条件を全て満たし、かつ、変換中のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅにおいてｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０である場合、補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数となる。
２．ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ_{ＭＰＥＧ−４}が図７に示す番号２または番号３のいずれかの条件を満たさない場合、補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数とならない。
３．上記１．または上記２．以外の場合、修正差分信号ＣＰｓの各成分の絶対値の和が閾値を超えるならば、補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数とならないとし、一方、閾値を超えないならば補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数となるとする。

なお、上記３．において、修正差分信号ＣＰｓの各成分の絶対値の和を計算する代わりに、修正差分信号ＣＰｓをＤＣＴ変換して仮の補正ＤＣＴ係数を生成し、仮の補正ＤＣＴ係数においてＭＰＥＧ−２量子化ステップＱｐ２の値を超える成分が既定の割合より多い場合には補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数にならないとする。一方、仮の補正ＤＣＴ係数においてＭＰＥＧ−２量子化ステップＱｐ２の値を超える成分が既定の割合以下の場合には補正ＤＣＴ係数ＤＴｓは量子化によってゼロ係数となるとする方法も考えられる。
本実施の形態４においては、補正係数出力部２０７ｃがどちらの方法を使用して判断しても良い。

ここで、ｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}パラメータがＭＰＥＧ−４において利用可能、かつ、ＭＰＥＧ−２において利用できない場合に、ＭＰＥＧ−４予測信号Ｐｓ４に含まれるｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}に起因した誤差を補正する方法を説明する。
符号化パラメータ変換部２０１ｂは、ＭＰＥＧ−４符号化パラメータＣｐ４のｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が１であり、ｍｂ＿ｔｙｐｅ_{ＭＰＥＧ−４}がイントラ符号化マクロブロックであることを示す値である場合、ＭＰＥＧ−２符号化パラメータＣｐ２にｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎを含めて出力するよう動作する。
ｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎは、ＭＰＥＧ−２のイントラＤＣ係数を量子化する際の量子化ステップを決定するパラメータである。符号化パラメータ変換部２０１ｂは、その量子化ステップが最小になるよう、ｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎを決定する。ＭＰＥＧ−２ではｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎ＝２とする。

次に補正係数出力部２０７ｃは、ＭＰＥＧ−２符号化パラメータＣｐ２にｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が含まれている場合に、そのｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}による画素値の丸め方向を判定する。補正係数出力部２０７ｃは、ＭＰＥＧ−４予測信号Ｐｓ４に含まれる画素のうち、ｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合と比較して画素値が小さくなっているものを「下方向に丸められた」予測画素とし、ｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が０の場合と等しくなっているものを「上方向に丸められた」予測画素とする。

ＭＰＥＧ−４予測信号Ｐｓ４において下方向に丸められた予測画素が上方向に丸められた予測画素より多い場合、補正係数出力部２０７ｃが出力する補正ＤＣＴ係数ＤＴｓにおけるＤＣ成分を１増加させる。補正ＤＣＴ係数ＤＴｓのＤＣ成分は予測差分信号ＤＰｓの全ての画素値を増加させるため、予測画素が下方向に丸められたことによる誤差を補正することができる。
反対に、上方向に丸められた予測画素のほうが多ければ、ＤＣ成分を１減少させてもよい。

なお、誤差補正の操作を行う補正ＤＣＴ係数ＤＴｓはＤＣ成分に限定する必要はなく、他のＤＣＴ係数と独立して量子化ステップを変更できる係数であればどの係数でも良い。
また、ｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}による誤差以外にも、発生する誤差が小さい符号化ツールによる誤差であれば、上記同様に補正できる。

以上より、実施の形態４によれば、画像符号化方式変換装置１ｃは局所誤差画像ＥＬｓを誤差画像ＥＲｓとして蓄積する変換誤差メモリ２０８ｃを備え、補正係数計算部１０４ｃは、予測差分信号ＤＰｓを直交変換して補正ＤＣＴ係数ＤＴｓを計算するＤＣＴ変換部２０５を備える代わりに、その予測差分信号ＤＰｓに変換誤差メモリ２０８ｃに蓄積された誤差画像ＥＲｓを加算して修正差分信号ＣＰｓを出力する加算部２０６ｃおよび修正差分信号ＣＰｓを直交変換して補正ＤＣＴ係数ＤＴｓを計算する補正係数出力部２０７ｃを備え、さらに、補正係数出力部２０７ｃは、補正ＤＣＴ係数ＤＴｓが閾値より小さい場合には補正ＤＣＴ係数ＤＴｓを出力せずに局所誤差画像ＥＬｓを変換誤差メモリ２０８ｃに蓄積させるように構成した。
このように、補正係数がＭＰＥＧ−２量子化によってゼロ係数になると予測される場合に、補正係数を出力せずに内部の変換誤差メモリに蓄積し、以降の補正係数の計算に利用することで、量子化によって丸められてしまうような微小な誤差でも補正することができる。

また、実施の形態４によれば、画像符号化方式変換装置１ｃは、ＭＰＥＧ−４において丸め誤差を制御する符号化ツールが利用可能、かつ、ＭＰＥＧ−２において符号化ツールを利用できない場合に、ＭＰＥＧ−４分離部１０が第１のＤＣＴ係数Ｔｓ４、ＭＰＥＧ−４符号化パラメータＣｐ４およびＭＰＥＧ−４量子化ステップＱｐ４に加えて、入力ビットストリームＥｓ４において符号化ツールを示すｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}を抽出し、符号化パラメータ変換部２０１ｂは入力ビットストリームＥｓ４に符号化ツールが使用されている場合に、補正ＤＣＴ係数ＤＴｓのうちの一部の係数（例えばＤＣ成分）に関するＭＰＥＧ−２量子化ステップＱｐ２の値を、ＭＰＥＧ−２において取り得る最も小さな値に変更し、補正係数出力部２０７ｃは入力ビットストリームＥｓ４に符号化ツールが使用されている場合に、そのｖｏｐ＿ｒｏｕｎｄｉｎｇ＿ｔｙｐｅ_{ＭＰＥＧ−４}が指定する丸め方向に基づいて上方向に丸められるＭＰＥＧ−４予測信号Ｐｓ４の画素が多ければ補正ＤＣＴ係数ＤＴｓの一部の係数を減少させ、下方向に丸められる画素が多ければ一部の係数を増加させるように構成した。
このため、補正ＤＣＴ係数ＤＴｓを操作することにより、符号化ツールに起因する誤差を補正することができる。

なお、上記実施の形態１〜４で説明した画像符号化方式変換装置１，１ａ，１ｂ，１ｃをコンピュータで構成してもよく、その場合には、ＭＰＥＧ−４分離部１０、ＭＰＥＧ−２多重化部１１および補正係数計算部１０４などの各部の処理内容を記述している画像符号化方式変換プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されているそのプログラムを実行するようにすればよい。

また、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは、各実施の形態において任意の構成要素の省略が可能である。

１，１ａ，１ｂ，１ｃ 画像符号化方式変換装置、１０，１０ｂ，１０ｃ ＭＰＥＧ−４分離部、１１，１１ｂ ＭＰＥＧ−２多重化部、１０１，１０１ｂ，１０１ｃ ＭＰＥＧ−４ＶＬＤ部、１０２ ＭＰＥＧ−４逆ＤＣ／ＡＣ予測部、１０３ ＭＰＥＧ−４逆量子化部、１０４，１０４ａ，１０４ｂ，１０４ｃ 補正係数計算部、１０５，１１０ 加算部、１０６，１０６ｂ ＭＰＥＧ−２量子化部、１０７ ＭＰＥＧ−２ＶＬＣ部、１０８ ＭＰＥＧ−２逆ＤＣＴ部、１０９ ＭＰＥＧ−２逆量子化部、１１１ フレームメモリ、２０１，２０１ａ，２０１ｂ 符号化パラメータ変換部、２０２ ＭＰＥＧ−２予測信号生成部、２０３ ＭＰＥＧ−４予測信号生成部、２０４ 減算部、２０５ ＤＣＴ変換部、２０６ｃ 加算部、２０７ｃ 補正係数出力部、２０８ｃ 変換誤差メモリ。

Claims (9)

1. 直交変換および予測符号化を採用している第１の符号化方式で符号化された入力ビットストリームを、直交変換および予測符号化を採用している第２の符号化方式で符号化された出力ビットストリームに変換する画像符号化方式変換装置であって、
   前記第１の符号化方式に基づいた復号プロセスを途中まで進めて前記入力ビットストリームから第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータを抽出する分離部と、
   前記第２の符号化方式に基づいて、前記分離部が抽出した第１の予測符号化パラメータを第２の予測符号化パラメータに変換し、前記分離部が抽出した第１の量子化パラメータを用いて第２の量子化パラメータを生成する符号化パラメータ変換部と、
   前記分離部が抽出した第１の予測符号化パラメータを用いて前記第１の符号化方式に基づいて第１の予測画像を生成すると共に、前記符号化パラメータ変換部が決定した第２の予測符号化パラメータを用いて前記第２の符号化方式に基づいて第２の予測画像を生成し、前記第１の予測画像と前記第２の予測画像の差分画像を求め、前記差分画像を直交変換して補正係数を計算し出力する補正係数計算部と、
   前記分離部が抽出した第１の直交変換係数に、前記補正係数計算部が計算した補正係数を加算して、第２の直交変換係数を出力する加算部と、
   前記加算部が出力した第２の直交変換係数および前記符号化パラメータ変換部が決定した第２の予測符号化パラメータおよび第２の量子化パラメータを多重化し、前記第２の符号化方式に基づいた符号化プロセスによって符号化して前記出力ビットストリームを生成する多重化部とを備え、
   前記第１の符号化方式において丸め誤差を制御する符号化ツールが利用可能、かつ、前記第２の符号化方式において前記符号化ツールを利用できない場合に、
   前記分離部は、前記第１の直交変換係数、前記第１の予測符号化パラメータおよび前記第１の量子化パラメータに加えて、前記入力ビットストリームにおいて前記符号化ツールを示すパラメータを抽出し、
   前記補正係数計算部は、前記入力ビットストリームに前記符号化ツールが使用されている場合に、前記符号化ツールが指定する丸め方向に基づいて、前記第１の予測画像の上方向に丸められる画素が下方向に丸められる画素より多ければ前記補正係数のうちの一部の係数を減少させ、上方向に丸められる画素より下方向に丸められる画素が多ければ前記一部の係数を増加させることを特徴とする画像符号化方式変換装置。
2. 前記多重化部が生成した出力ビットストリームを復号して、予測符号化に使用する参照画像として蓄積するフレームメモリを備え、
   前記補正係数計算部は、前記分離部が抽出した第１の予測符号化パラメータおよび前記フレームメモリに蓄積された参照画像を用いて、前記第１の符号化方式に基づいて第１の予測画像を生成すると共に、前記符号化パラメータ変換部が決定した第２の予測符号化パラメータおよび前記フレームメモリに蓄積された参照画像を用いて、前記第２の符号化方式に基づいて第２の予測画像を生成し、前記第１の予測画像と前記第２の予測画像の差分画像を求め、前記差分画像を直交変換して補正係数を計算し出力することを特徴とする請求項１記載の画像符号化方式変換装置。
3. 前記第１の符号化方式および前記第２の符号化方式が動き補償予測符号化を採用しており、かつ、前記第１の符号化方式において前記第２の符号化方式より細かい画素単位での動き補償予測が可能である場合に、
   前記符号化パラメータ変換部は、割り算によって、前記第１の予測符号化パラメータに含まれる第１の動きベクトルから、前記第２の予測符号化パラメータに含まれる第２の動きベクトルを決定することを特徴とする請求項１記載の画像符号化方式変換装置。
4. 前記第１の符号化方式および前記第２の符号化方式が動き補償予測符号化を採用しており、かつ、前記第１の符号化方式において１つの予測符号化パラメータによって前記第２の符号化方式より多くの動きベクトルを指定可能である場合に、
   前記符号化パラメータ変換部は、前記第１の予測符号化パラメータに含まれる２本以上の動きベクトルを１本の動きベクトルにまとめることで、前記第２の予測符号化パラメータによって指定可能な全ての動きベクトルを決定することを特徴とする請求項１または請求項３記載の画像符号化方式変換装置。
5. 前記第１の符号化方式および前記第２の符号化方式が動き補償予測符号化を採用しており、かつ、前記第１の符号化方式において動きベクトルが参照できる座標の範囲が前記第２の符号化方式において動きベクトルが参照できる座標の範囲より広い場合に、
   前記符号化パラメータ変換部は、前記第１の予測符号化パラメータに含まれる第１の動きベクトルの参照座標を、前記第２の符号化方式において参照できる座標の範囲内で最も前記第１の動きベクトルとの距離が小さい座標に丸めることで、前記第２の予測符号化パラメータに含まれる第２の動きベクトルを決定することを特徴とする請求項１、請求項３および請求項４のうちのいずれか１項記載の画像符号化方式変換装置。
6. 前記符号化パラメータ変換部は、第２の量子化パラメータを生成するときに、前記分離部が抽出した第１の量子化パラメータを用いて量子化を行う場合に直交変換係数の割り算に用いられる値を第１の量子化ステップとし、前記第２の量子化パラメータを用いて量子化を行う場合に直交変換係数の割り算に用いられる値を第２の量子化ステップとすると、前記第２の量子化ステップが前記第１の量子化ステップの約数となるように前記第２の量子化パラメータを設定することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像符号化方式変換装置。
7. 前記符号化パラメータ変換部は、前記第２の量子化ステップが前記第１の量子化ステップの約数となる前記第２の量子化パラメータが複数ある場合に、前記補正係数計算部が補正係数を出力し、かつ、前記補正係数がゼロでないときには、前記補正係数を出力しないときよりも前記第２の量子化ステップが小さくなる前記第２の量子化パラメータを選択することを特徴とする請求項６記載の画像符号化方式変換装置。
8. 画像を蓄積する変換誤差メモリを備え、
   前記補正係数計算部は、前記差分画像を直交変換して補正係数を計算する代わりに、前記差分画像に前記変換誤差メモリに蓄積された画像を加算して修正差分画像を求めて前記修正差分画像を直交変換して補正係数を計算し、さらに、前記補正係数が閾値より小さい場合には前記補正係数を出力せずに前記修正差分画像を前記変換誤差メモリに蓄積させることを特徴とする請求項６または請求項７記載の画像符号化方式変換装置。
9. コンピュータに、直交変換および予測符号化を採用している第１の符号化方式で符号化された入力ビットストリームを、直交変換および予測符号化を採用している第２の符号化方式で符号化された出力ビットストリームに変換させるための画像符号化方式変換プログラムであって、
   前記第１の符号化方式に基づいた復号プロセスを途中まで進めて前記入力ビットストリームから第１の直交変換係数、第１の予測符号化パラメータおよび第１の量子化パラメータを抽出する分離手順と、
   前記第２の符号化方式に基づいて、前記分離手順で抽出した第１の予測符号化パラメータを第２の予測符号化パラメータに変換し、前記分離手順で抽出した第１の量子化パラメータを用いて第２の量子化パラメータを生成する符号化パラメータ変換手順と、
   前記分離手順で抽出した第１の予測符号化パラメータを用いて前記第１の符号化方式に基づいて第１の予測画像を生成すると共に、前記符号化パラメータ変換手順で決定した第２の予測符号化パラメータを用いて前記第２の符号化方式に基づいて第２の予測画像を生成し、前記第１の予測画像と前記第２の予測画像の差分画像を求め、前記差分画像を直交変換して補正係数を計算し出力する補正係数計算手順と、
   前記分離手順で抽出した第１の直交変換係数に、前記補正係数計算手順で計算した補正係数を加算して、第２の直交変換係数を出力する加算手順と、
   前記加算手順で出力した第２の直交変換係数および前記符号化パラメータ変換手順で決定した第２の予測符号化パラメータおよび第２の量子化パラメータを多重化し、前記第２の符号化方式に基づいた符号化プロセスによって符号化して前記出力ビットストリームを生成する多重化手順とを備え、
   前記第１の符号化方式において丸め誤差を制御する符号化ツールが利用可能、かつ、前記第２の符号化方式において前記符号化ツールを利用できない場合に、
   前記分離手順は、前記第１の直交変換係数、前記第１の予測符号化パラメータおよび前記第１の量子化パラメータに加えて、前記入力ビットストリームにおいて前記符号化ツールを示すパラメータを抽出し、
   前記補正係数計算手順は、前記入力ビットストリームに前記符号化ツールが使用されている場合に、前記符号化ツールが指定する丸め方向に基づいて、前記第１の予測画像の上方向に丸められる画素が下方向に丸められる画素より多ければ前記補正係数のうちの一部の係数を減少させ、上方向に丸められる画素より下方向に丸められる画素が多ければ前記一部の係数を増加させることを特徴とする画像符号化方式変換プログラム。

Images