JP4153150B2 - Transcoding method and transcoding apparatus for moving image encoded data - Google Patents

Description

【００４５】
動き情報算出回路２は、以上説明した処理を、処理対象フレーム（Ｐ４フレーム）における各マクロブロックを処理対象ＭＢとして実行し、各マクロブロックについて、第２参照フレーム（Ｐ２フレーム）内の第２参照ＭＢ（各マクロブロックに対応したもの）から当該処理対象マクロブロックまでの移動に対応した動き情報の算出値Ｖｎｅｗを求めるのである。
また、図１に例示するように間引かれるフレームが複数ある場合、動き情報算出回路２は、間引かれるフレームが参照しているフレームと間引かれるフレームを参照しているフレームとの間の動き情報の算出値を上記と同様な手順により求める。
【００４６】
次に、ＤＣＴ係数算出回路５の処理内容について詳述する。図４には、処理対象フレーム（Ｐ４フレーム）に含まれる各処理対象ＭＢのうちの１個が示されている。各処理対象ＭＢは、図示のように４個のブロックにより構成されている。本実施形態が前提とするフレーム間予測符号化方法では、このブロック単位で、フレーム間の差分画像のＤＣＴが行われる。以下では、図示の処理対象ＭＢ内の１つのブロック（以下、処理対象ブロックという）に対応した差分画像のＤＣＴ係数の修正手順を取り上げる。
【００４７】
まず、図４には第１参照フレーム（Ｐ３フレーム）における１つのＭＢが示されており、このＭＢは、フレームＰ４の処理対象ブロックの画像に類似した第１参照ブロックｂ’を含んでいる。以下、便宜上、このブロックｂ’を第１参照ブロックと呼ぶ。
【００４８】
この第１参照ブロックｂ’に対応した第２参照フレーム（Ｐ２フレーム）および第１参照フレーム（Ｐ３フレーム）間の差分画像のＤＣＴ係数が第１参照フレーム（Ｐ３フレーム）の符号化データから得られれば、このＤＣＴ係数を処理対象フレーム（Ｐ４フレーム）の処理対象ブロックに対応したＤＣＴ係数に加算することにより、処理対象ブロックに対応したＤＣＴ係数を第２参照フレームを参照した内容に修正することができる。しかしながら、逆量子化器４からＤＣＴ係数算出回路５に供給されるＤＣＴ係数は、各フレームを分割した各ブロックに対応したＤＣＴ係数であり、この中には第１参照ブロックｂ’に対応したＤＣＴ係数はない。そこで、本実施形態におけるＤＣＴ係数算出回路５では、次のようにして第１参照ブロックｂ’に対応したＤＣＴ係数を算出する。
【００４９】
まず、図４において、第１参照ブロックｂ’は、４個のブロックｂ１〜ｂ４に跨っている。ＤＣＴ係数算出回路５は、この第１参照ブロックｂ’のうちブロックｂ１内に侵入している部分の水平方向の長さｗ１と高さ方向の長さｈ１、ブロックｂ２内に侵入している部分の水平方向の長さｗ２と高さ方向の長さｈ２、ブロックｂ３内に侵入している部分の水平方向の長さｗ３と高さ方向の長さｈ３、ブロックｂ４内に侵入している部分の水平方向の長さｗ４と高さ方向の長さｈ４を各々求める。
【００５０】
次に、各ブロックｂｉ（ｉ＝１〜４）に対応したＤＣＴ係数の行列をＢｉ（ｉ＝１〜４）とした場合、ＤＣＴ係数算出回路５は、第１参照ブロックｂ’に対応したＤＣＴ係数の算出値の行列Ｂ’を次式により求める。
【数２】

【００５１】
ここで、ＨＨｉはｈｈｉのＤＣＴ係数、ＨｗｉはｈｗｉのＤＣＴ係数であり、各ｈｈｉおよびｈｗｉは、次のように与えられる。
【数３】

【数４】

【数５】

【数６】

【００５２】
上記の各式においてＩｈｉやＩｗｉを用いた行列の表記の意味するところは次の通りである。すなわち、例えばｈｉ＝４であるとすると、上記各式は、次のように表される。
【数７】

【数８】

【００５３】
ＤＣＴ係数算出回路５は、以上のようにして、第２参照フレーム（Ｐ２フレーム）および第１参照フレーム（Ｐ３フレーム）間の差分画像であって第１参照ブロックｂ’に対応したもののＤＣＴ係数を算出すると、このＤＣＴ係数を処理対象ブロックのＤＣＴ係数に加算し、第２参照フレーム（Ｐ２フレーム）および処理対象フレーム（Ｐ４フレーム）間の動き補償後の差分画像であって処理対象ブロックに対応したもののＤＣＴ係数を得るのである。
【００５４】
そして、ＤＣＴ係数算出回路５は、処理対象フレーム（Ｐ４フレーム）内の他のブロックについても、以上と同様な処理を行い、処理対象フレーム内の全ブロックのＤＣＴ係数を修正する。
以上、Ｐ３フレームを間引く場合を例に説明したが、他のフレームを間引く場合も同様である。
以上が本実施形態に係るトランスコーディング装置の詳細である。
【００５５】
図５は、本実施形態に係るトランスコーディング装置を構成するに当たり、従来技術に係るトランスコーディング装置に含まれていたもののうち削除したものを示している。本実施形態によれば、符号化データから画像を復号することなく、符号化データのまま加工することにより、特定フレームの間引きを行った符号化データを生成するので、画像の復号のための逆ＤＣＴ、復号された画像を再符号化するためのＤＣＴ、逆量子化、逆ＤＣＴ、動き予測および補償が不要となる。このため、これらの不要な変換によって生じる誤差をなくし、トランスコーディングに伴う画質の劣化を低減することができ、かつ、トランスコーディングのための演算量や演算時間を大幅に削減することができる。また、符号化データから画像を復号しないので、復号した画像を格納するためのメモリが不要であり、トランスコーディング装置のハードウェアを小規模にすることができる。
【００５６】
Ａ−３．動き情報算出アルゴリズムの他の例
以上説明した第１の実施形態では、動く情報算出回路２（図２）によって実行される動き情報算出アルゴリズムの一例が示された。しかしながら、動き情報算出回路２によって実行され得る動き情報算出アルゴリスムには他に例がある。
【００５７】
Ａ−３−１．例１
本例は、ＭＰＥＧ−４あるいはＨ．２６３のようなブロック毎に動き補償を行うことができる符号化データに好適なトランスコーディング方法およびトランスコーディング装置を提供するものである。本例では、上記第１の実施形態における動き情報算出回路２（図２参照）の動き情報算出アルゴリズムが図６に示すものに変更されている。以下、Ｐ４フレームを処理対象フレーム、Ｐ３フレームを第１参照フレーム、Ｐ２フレームを第２参照フレームとし、Ｐ３フレーム（第１参照フレーム）を間引く場合を想定し、本例による動き情報算出アルゴリズムについて説明する。
【００５８】
このアルゴリズムでは、以下の手順により動き情報の算出を行う。
ステップ１：まず、処理対象フレームにおける処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【００５９】
ステップ２：次に、第１参照フレームにおいて第１参照マクロブロックを分割した各第１参照ブロック毎に、第１参照フレームにおける各マクロブロックのうち当該第１参照ブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。図１４の例では、左上の第１参照ブロックについては、左上のマクロブロックｂ１と重複している面積が最も広いので、この左上のマクロブロックｂ１に対応した動き情報Ｖ１が第１参照フレームの符号化データの中から選択されることとなる。また、右上の第１参照ブロックについては、右上のマクロブロックｂ２と重複している面積が最も広いので、この右上のマクロブロックｂ２に対応した動き情報Ｖ２が第１参照フレームの符号化データの中から選択されることとなる。また、左下の第１参照ブロックについては、左下のマクロブロックｂ３と重複している面積が最も広いので、この左下のマクロブロックｂ３に対応した動き情報Ｖ３が第１参照フレームの符号化データの中から選択されることとなる。最後に、右下の第１参照ブロックについては、右下のマクロブロックｂ４と重複している面積が最も広いので、この右下のマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【００６０】
ステップ３：上記ステップ１の動き情報Ｖ０とステップＳ２において各第１参照ブロック毎に選択した動き情報Ｖ１〜Ｖ４から、次の演算により、第２参照フレームから処理対象フレームにおける処理対象マクロブロックを分割した４個のブロックまでの動き情報Ｖ１ｎｅｗ〜Ｖ４ｎｅｗを求める。
【数９】

【００６１】
この動き情報算出アルゴリズムによれば、処理対象マクロブロックを分割した各ブロックについて、参照画像との間の動き情報が得られるので、各ブロック毎に動き補償が可能な符号化方法に対して最適なトランスコーディングを行うことができる。
【００６２】
Ａ−３−２．例２
次に、図７（ａ）に示す動き情報算出アルゴリズムでは、以下の手順により動き情報の算出を行う。
ステップ１：まず、処理対象フレームの符号化データから処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
ステップ２：次に、第１参照フレームにおいて各マクロブロックのうち第１参照マクロブロックと重複しているマクロブロックｂ１〜ｂ４を求め、これらのマクロブロックｂ１〜ｂ４のうち第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。図７（ａ）の例では、図示された４個のマクロブロックｂ１〜ｂ４のうち右下に図示されたマクロブロックｂ４と第１参照マクロブロックとの重複部分の面積が最も広いので、このマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【００６３】
ステップ３：次に、第１参照フレームにおいて、第１参照マクロブロックの中心からこの第１参照マクロブロックとの重複部分の面積が最も広いマクロブロックｂ４の中心までの動き情報ΔＶ４を求める（図７（ｂ）参照）。
ステップＳ４：上記ステップ１の動き情報Ｖ０と、ステップ２において求めた動き情報Ｖ４と、ステップ３において求めた動き情報ΔＶ４とから、次の演算により、第２参照レームから処理対象フレームにおける処理対象マクロブロックまでの動き情報Ｖｎｅｗを求める。
【数１０】

【００６４】
Ａ−４．ＤＣＴ係数算出アルゴリズムの他の例
次に図７を参照し、本実施形態におけるＤＣＴ係数算出回路のＤＣＴ係数算出アルゴリズムについて説明する。本実施形態では、次の手順によりＰ３フレーム（第１参照フレーム）間引き後の処理対象ＭＢに対応したＤＣＴ係数を算出する。
ステップＳ１：まず、Ｐ４フレーム（処理対象フレーム）の符号化データの中から処理対象ＭＢに対応したＤＣＴ係数（すなわち、処理対象ＭＢと第１参照ＭＢの差分のＤＣＴ係数）を求める。
ステップＳ２：次に、間引かれるＰ３フレームにおいて第１参照ＭＢと重複しているマクロブロックｂ１〜ｂ４のうち第１参照ＭＢと重複している部分の面積が最も広いマクロブロックｂ４に対応したＤＣＴ係数（すなわち、マクロブロックｂ４と参照ＭＢとの差分のＤＣＴ係数）を求める。
ステップＳ３：次に、ステップＳ１において求めた処理対象ＭＢに対応したＤＣＴ係数と、ステップＳ２において求めたマクロブロックｂ４に対応したＤＣＴ係数とを加算し、この加算結果をＰ３フレーム間引き後における符号化ＭＢに対応したＤＣＴ係数とする。
【００６５】
本例の場合、単なるＤＣＴ係数の加算により処理対象ＭＢに対応したＤＣＴ係数を得ることができ、上記第１の実施形態における数２のような演算を行う必要がないので、演算量を削減することができるという利点がある。
なお、本例におけるＤＣＴ係数算出回路は、本例における動き情報算出回路の他、他の構成の動き情報算出回路と組み合わせてもよい。
【００６６】
Ａ−５．変形例１
以上説明した実施形態では、ピクチャグループの中のフレームの概念を使用して説明したが、フレームに限らず、本発明はフィールドを取り扱うＭＰＥＧ−２などの符号化方式にも適用可能である。例えばテレビジョン信号の場合、図８に例示するように、１つのフレームが２つのフィールドから構成されている。そして、隣り合ったフレームの奇数フィールド同士の間および偶数フィールド同士の間でフレーム間予測符号化が行われる。このようなフレーム間予測符号化により得られた符号化データのトランスコーディングを行う場合であっても、上記各実施形態において説明したものと基本的に同じ手順により動き情報およびＤＣＴ係数の算出を行うことができる。すなわち、フレーム内の各フィールドを処理対象フレームとし、上記各実施形態による動き情報の算出およびＤＣＴ係数の算出を行えばよいのである。
【００６７】
Ａ−６．変形例２
以上説明した実施形態では、ピクチャグループの中のＰフレームを間引いた。これに対し、本実施形態では、例えばＩＢＢＰという構成のピクチャグループにおいてＢフレームを間引き、その場合に残るＢフレームの符号化データの動き情報およびＤＣＴ係数を変更し、データ量を削減する。
【００６８】
以下、図９を参照し、本変形例に係るトランスコーディング方法について説明する。図９に示すピクチャグループにおいて、ＩフレームとＰフレームとの間には２個のＢフレームが介挿されている。これらのＢフレームは、いずれもＩフレームおよびＰフレームを参照することにより各々の符号化データが生成される。ここでは、これらのＢフレームのうちＰフレームの直前のＢフレームを間引くものとする。この間引きを行った場合、Ｉフレームの直後のＢフレームが残るが、このＢフレームは、次の３種類のマクロブロックを含んでいる。
【００６９】
ａ．順方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
ｂ．双方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）を参照した動き情報と後フレーム（この例ではＰフレーム）を参照した動き情報とを符号化データに含むマクロブロック。
ｃ．逆方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、後フレーム（この例ではＰフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
【００７０】
本実施形態では、これらの３種類のマクロブロックａ〜ｃの符号化データを次のように処理する。
【００７１】
＜マクロブロックａの符号化データの処理＞
このマクロブロックの符号化データについては、動き情報（順方向）Ｖｆｏｒｗｏｒｄ（Ｂ）およびＤＣＴ係数をそのまま残す。
【００７２】
＜マクロブロックｂの符号化データの処理＞
このマクロブロックの符号化データについては、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗｏｒｄ（Ｂ）のみを残し、後フレームを参照した動き情報（逆方向）Ｖｂａｃｋｗｏｒｄ（Ｂ）を廃棄する。また、動き補償後の差分画像のＤＣＴ係数については、そのまま残す。
【００７３】
＜マクロブロックｃの符号化データの処理＞
このマクロブロックの符号化データについては、当該マクロブロックを処理対象マクロブロックとし、後フレーム（Ｐフレーム）を上記各実施形態における間引かれるフレームとし、前フレーム（Ｉフレーム）を上記各実施形態における間引かれるフレームが参照している参照フレームとし、当該マクロブロックに対応した動き情報を参照フレームを参照した内容に変更するとともに、当該マクロブロックに対応したＤＣＴ係数も参照フレームを参照した内容に変更する。図９には上記第１の実施形態に開示された動き情報の算出方法を本変形例に適用した例が示されている。すなわち、この図９に示す例では、以下に示す手順により当該マクロブロックについて参照フレームを参照した動き情報を得ている。
【００７４】
ａ．符号化データから当該処理対象マクロブロックに対応した動き情報Ｖｂａｃｋｗｏｒｄ（Ｂ）を求める。
ｂ．動き情報Ｖｂａｃｋｗｏｒｄ（Ｂ）からＰフレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
ｃ．Ｐフレームにおける各マクロブロックのうち第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗｏｒｄ（ｐ）を求める。
ｄ．上記ａおよびｃの各動き情報から、下記式に従い、Ｐフレームの符号化データを生成するために参照されたＩフレームと当該処理対象マクロブロックとの間の動き補償のための動き情報Ｖｎｅｗを算出する。
【数１１】

以上が本変形例における動き情報の算出処理の詳細である。
【００７５】
Ｂフレームに対応したＤＣＴ係数の変更も、以上の動き情報の場合と同様、上記第１の実施形態のものをそのまま利用することができる。
以上の処理を経ることにより、間引き後に残ったＢフレームは、前フレーム（この例ではＩフレーム）のみを参照したＰフレームとなる。
【００７６】
なお、以上の例では、第１の実施形態における動き情報およぶＤＣＴ係数の算出方法を利用する場合を例に挙げたが、他の実施形態における動き情報およぶＤＣＴ係数の算出方法を本実施形態に適用し得ることは言うまでもない。
また、以上の例では、ＩＢＢＰという構成においてＢフレームを間引く場合について説明したが、本実施形態は例えばＩＢＢＰＢＢＰという構成において２個のＰフレームの間の２個のＢフレームの一方を間引く場合にも適用可能である。
【００７７】
Ｂ．第２の実施形態
Ｂ−１．トランスコーディングの例
図１０（ａ）〜（ｃ）は本実施形態において行われるトランスコーディングの例を示す図である。まず、図１０（ａ）に示す例では、Ｉフレームと２個のＢフレームとＰフレームとからなるピクチャグループに対応した符号化データを、Ｉフレームと３個のＰフレームとからなるピクチャグループに対応した符号化データに変換するトランスコーディングを行っている。
【００７８】
この例において、トランスコーディング前のＢフレームに対応した符号化データは、その前のＩフレームの画像データとその後のＰフレームの画像データとを参照することにより生成されており、Ｉフレームとの間で動き補償（順方向予測）と行うための動き情報とＰフレームとの間で動き補償（逆方向予測）を行うための動き情報を含んでいる。
【００７９】
次に図１０（ｂ）に示す例では、上記図１０（ａ）に示す例において、２個のＢフレームのうち後の方のＢフレームに対応した符号化データを間引き、Ｉフレームの直後のＢフレームに対応した符号化データをＩフレームのみを参照したＰフレームの符号化データに変換し、このＰフレームを参照した内容となるようにピクチャグループ内の最後のＰフレームに対応した符号化データの変換を行う。
【００８０】
次に図１０（ｃ）に示す例では、Ｉフレームと３個のＰフレームからなるピクチャグループに対応した符号化データが与えられた場合において、３個のＰフレームのうち１個を間引き、Ｉフレームと２個のＰフレームからなるピクチャグループに対応した符号化データに変換する。
【００８１】
以上例示したように本発明の適用対象となるトランスコーディングでは、ある処理対象フレームの符号化データが他のフレーム（第１の参照フレーム）を参照して生成されたものである場合において、当該処理対象フレームの符号化データが第２の参照フレームを参照した内容に変更される。その際に、第２の参照フレームから当該処理対象フレームまでの動きに対応した動き情報が必要となる。従来のトランスコーディング装置では、この動き情報を求めるために、当該処理対象フレームの各マクロブロックに対応した画像と類似した画像を第２の参照フレームの画像の中から探索するという方法を採っていたので、演算量が膨大なものとなっていた。本発明は、このような動き情報の探索に代わる新たな技術的手段を提供し、トランスコーディングの際の演算量を削減するものである。
【００８２】
Ｂ−２．トランスコーディング装置
図１１は、この発明の一実施形態であるトランスコーディング装置の構成を示すブロック図である。図１１に示すように、このトランスコーディング装置は、復号器１０と、符号化器２０と、動き情報算出部４０と、動き情報修正部５０とを有している。
【００８３】
これらのうち復号器１０は、ある符号化アルゴリズムにより符号化された符号化データを受け取り、この符号化データから元の画像データを復元する手段であり、逆多重化器１１と、可変長復号器１２および１３と、逆量子化器１４と、加算器１６と、フレームメモリ１７と、動き補償部１８とを有している。
【００８４】
ここで、逆多重化装置１１は、Ｉフレーム以外の各フレームに対応した符号化データを、フレーム間予測符号化によって得られた差分画像のＤＣＴ係数を表す可変長符号と、動き情報の可変長符号とに分離する装置である。可変長復号器１２および１３は、逆多重化装置１によって分離されたＤＣＴ係数の可変長符号および動き情報の可変長符号を各々ＤＣＴ係数の量子化データおよび動き情報に戻す装置である。逆量子化器１４は、可変長復号器１２から得られるＤＣＴ係数の量子化データを逆量子化し、ＤＣＴ係数を出力する装置である。逆ＤＣＴ部１５は、逆量子化器１４から得られるＤＣＴ係数に逆ＤＣＴを施し、動き補償を伴うフレーム間予測符号化において得られた予測誤差を求める装置である。この予測誤差は、処理対象である符号化データを生成する際に、動き補償を行いながら、当該符号化データに対応した画像と当該符号化データを生成するために参照されたフレーム（第１の参照フレーム）の画像との減算を行うことにより得られた差分画像に相当するものである。フレームメモリ１７は、復号された画像データを格納するメモリである。動き補償部１８は、ある処理対象フレームに対応した予測誤差（差分画像）が逆ＤＣＴ部１５から加算器１６に出力されるときに、この処理対象フレームの符号化データの生成時に参照された第１の参照フレームの画像データをフレームメモリ１７から読み出し、これに対し、可変長復号器１３からの動き情報を用いた動き補償を施して加算器１６に出力する装置である。加算機１６は、この動き補償された参照フレームの画像データと、逆ＤＣＴ部１５からの予測誤差とを加算し、加算結果を処理対象フレームに対応した画像データとして出力する。以上説明した復号器１の構成および動作は、既に図１７（ｂ）および図１９を参照して説明した通りである。
【００８５】
次に、符号化器２０は、減算器２１と、ＤＣＴ部２２と、量子化器２３と、逆量子化器２４と、逆ＤＣＴ部２５と、加算器２６と、フレームメモリ２７と、動き補償部２８と、可変長符号化器２９および３０と、多重化器３１とを有している。
【００８６】
ここで、減算器２１は、復号器１側から供給される処理対象フレームに対応した画像データと、動き補償部２８から供給される動き補償のなされた参照画像データとの差分である予測誤差を算出する装置である。なお、参照画像データについては後述する。ＤＣＴ部２２は、減算器２１から得られる予測誤差に対してＤＣＴを施す装置であり、量子化器２３はこのＤＣＴ部２２から得られるＤＣＴ係数に量子化を施し、量子化データを出力する装置である。逆量子化器２４は、量子化器２３から出力された量子化データに逆量子化を施してＤＣＴ係数を出力する装置であり、逆ＤＣＴ部２５は、逆量子化器２４から出力されるＤＣＴ係数に逆ＤＣＴを施して予測誤差を復元する装置である。フレームメモリ２７は、参照フレームの画像データを記憶するためのメモリである。動き補償部２８は、ある処理対象フレームに対応した画像データが復号器１側から減算器２１に供給されるとき、フレームメモリ２７に記憶された当該処理対象フレームの符号化において参照された参照フレームに対応した画像データを読み出し、この画像データに対し、後述する動き情報修正部４から供給される動き情報を用いた動き補償を行う。そして、この動き補償により得られる参照画像データを減算器２１および加算器２６に供給する。加算器２６は、この動き補償済みの参照画像データと逆ＤＣＴ部２５から得られる予測誤差とを加算し、処理対象フレームに対応した画像データを出力する。この画像データは、後続のフレームの符号化の際に参照される参照フレームの画像データとしてフレームメモリ２４に書き込まれる。
【００８７】
以上説明した符号化器２０と、既に説明した従来のトランスコーディング装置における符号化器との間には大きな相違点がある。すなわち、従来のトランスコーディング装置の符号化器は動き予測および補償部１０６を有しており（図２４（ａ）参照）、この動き予測および補償部１０６が、参照フレームから処理対象フレームまでの動きに対応した動き情報の探索を行っていたのに対し、本実施形態における符号化器２０は、このような動き情報の探索のための手段を有していない。本実施形態における符号化器２０は、動き情報修正部５０から送られてくる動き情報を用いて参照フレームの画像データの動き補償を行うのである。本実施形態の特徴は、この動き情報を、従来に比して著しく少ない演算量により得ている点にある。本実施形態では、この動き情報を図１１における動き情報算出部４０および動き情報修正部５０により得ている。
【００８８】
次に動き情報算出部４０について説明する。この動き情報算出部４０は、復号器１の可変長復号器１３から得られる動き情報を用いて所定の演算を行うことにより、トランスコーディング後の符号化データに含めるべき動き情報を算出する装置である。さらに詳述すると、次の通りである。例えば図１０（ａ）に例示するトランスコーディングを行う場合、Ｉフレームの直後のＢフレームを処理対象フレームとすると、この処理対象フレームに対応した符号化データは、ＩフレームおよびＰフレーム（第１の参照フレーム）の画像データを参照することにより生成されており、Ｉフレームから当該処理対象フレームまでの動きに対応した動き情報とＰフレームから当該処理対象フレームまでの動きに対応した動き情報とを含んでいる。そして、トランスコーディングでは、この処理対象フレームの符号化データをＩフレーム（第２の参照フレーム）のみを参照した符号化データに変換する。このＩフレーム（第２の参照フレーム）のみを参照した符号化データを得るため、動き情報算出部３は、少なくとも当該処理対象フレームの符号化データに含まれていた動き情報を用いて、Ｉフレーム（第２の参照フレーム）から当該処理対象フレームまでの動きに対応した動き情報を算出するのである。なお、この動き情報の算出アルゴリズムは幾つか適当なものがあるので、後にまとめて詳述する。
【００８９】
次に動き情報修正部５０について説明する。動き情報算出部４０から得られる動き情報は、動き情報の探索により得られたものではなく、既存の動き情報に演算を施すことにより得られるものである。このため、あまり正確でない動き情報が得られる場合がある。そこで、本実施形態では、動き情報算出部３から得られた動き情報が正確なものであるといえるか否かを判定し、正確なものであると認められる場合には、その動き情報をそのまま符号化器２０に送る。これに対し、動き情報算出部４０から得られた動き情報が正確なものでないと認められる場合には、フレームメモリ１７内に記憶された第２の参照フレームの画像データの中から処理対象フレームの画像に近似した画像を探索し、第２の参照フレームから処理対象フレームまでの動きに対応した動き情報を求める。動き情報修正部５０は、このような機能を営む手段である。なお、動き情報算出部３から得られた動き情報が正確なものであるといえるか否かを判定するための処理の具体的内容および探索により動き情報を求める処理の詳細については、説明の重複を避けるため、本実施形態の動作の項において説明する。
【００９０】
以下、図１０（ａ）に示すトランスコーディングを行う場合を例に挙げ、本実施形態の動作について説明する。なお、本実施形態に係るトランスコーディング装置は、動き情報算出部４０および動き情報修正部５０を有し、これらにより得られる動き情報を符号化器２０側において使用する点において、従来のトランスコーディング装置と相違している。従って、以下では、動き情報算出部４０および動き情報修正部５０の各々の動作を中心に説明する。
【００９１】
（１）動き情報算出部４０の動作
まず、図１２〜図１４を参照し、図１０（ａ）に示すトランスコーディングを行う場合における動き情報算出部４０の動作について説明する。
【００９２】
図１２〜図１４において、トランスコーディング前のＩフレームとＰフレームの間には２個のＢフレームが介挿されている。動き情報算出部３は、これらのＢフレームを直前のフレームのみを参照したＰフレームとするのに必要な動き情報算出処理および最後のＰフレームを直前のＰフレーム（元々はＢフレームであったもの）のみを参照したＰフレームとするのに必要な動き情報算出処理を実行する。
【００９３】
＜Ｉフレームの直後のＢフレームに対応した処理＞
本実施形態では、このＢフレームに含まれる次の３種類のマクロブロックを取り扱う。
ａ．順方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
ｂ．双方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）を参照した動き情報と後フレーム（この例ではＰフレーム）を参照した動き情報とを符号化データに含むマクロブロック。
ｃ．逆方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、後フレーム（この例ではＰフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
なお、Ｉフレームの直後のものに限らず、２番目のＢフレームも同様である。
【００９４】
動き情報算出部３は、Ｉフレームの直後のＢフレームに関し、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のようにして算出する。
【００９５】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）をそのままトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）のみをトランスコーディング後の動き情報とし、後フレームを参照した動き情報（逆方向）Ｖｂａｃｋｗａｒｄ（Ｂ）を廃棄する。
【００９６】
次に、マクロブロックｃについてであるが、このマクロブロックｃに対応した符号化データは、Ｐフレーム（第１参照フレーム）との間の動き補償のための動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）しか含んでおらず、トランスコーディング後の参照先であるＩフレーム（第２参照フレーム）との間の動き補償のための動き情報を含んでいない。一方、Ｐフレーム（第１参照フレーム）を構成する各マクロブロックの符号化データは、Ｉフレーム（第２参照フレーム）との間の動き補償のための動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を含んでいる。そこで、動き情報算出回路３は、動き情報Ｖｂａｃｋｗａｏｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（Ｐ）を用いた演算により、当該マクロブロックｃとＩフレーム（第２参照フレーム）との間の動き補償のための動き情報の予測値を求める。
【００９７】
ここで、図１５を参照し、この動き情報の予測値の算出方法の一例を説明する。
ステップ１：まず、処理対象であるマクロブロックｃの符号化データから分離された動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）を取得する。この動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）は、Ｐフレーム（第１参照フレーム）に含まれる当該処理対象マクロブロックｃに対応したマクロブロック（第１参照マクロブロック）から当該処理対象マクロブロックｃまでの動きに対応している。
【００９８】
ステップ２：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）からＰフレーム（第１参照フレーム）における当該マクロブロックｃに対応した第１参照マクロブロックを求める。
ステップ３：Ｐフレーム（第１参照フレーム）における各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求める。図１５に示す例において第１参照マクロブロックは、マクロブロックｂ１〜ｂ４に跨っており、これらのうちマクロブロックｂ４と重複している部分の面積が最も広い。従って、このマクロブロックｂ４に対応した動き情報Ｖ４が動き情報Ｖｆｏｒｗａｒｄ（Ｐ）として選択されることとなる。
【００９９】
ステップ４：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（Ｐ）から、下記式に従い、当該マクロブロックｃのトランスコーディング後の予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を算出する。
【数１２】

以上がＩフレームの直後のＢフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。
【０１００】
＜２番目のＢフレームに対応した処理＞
次に図１３を参照し、２番目のＢフレームに対応した処理を説明する。この２番目のＢフレームも、Ｉフレームの直後のＢフレームと同様、上記３種類のマクロブロックａ〜ｃを含んでいる。また、処理対象フレームである２番目のＢフレームとそのトランスコーディング前の参照先である第１参照フレーム（ＩフレームのＢフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（Ｉフレームの直後のＢフレーム）との間差を比較すると、後者は前者の１／２である。そこで、動き情報算出部３は、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のような線形補間により算出する。
【０１０１】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。次に、マクロブロックｃについては、上述したＩフレームの直後のＢフレームの場合と同様な方法により、当該マクロブロックｃとＩフレーム（第２参照フレーム）における対応するマクロブロックとの間の動き補償のための予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を求め、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。以上が２番目のＢフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。画像の動きが比較的緩やかな場合には、このような線形補間によっても、動き情報探索によって得られるものに比較的近い動き情報の予測値が得られると考えられる。
【０１０２】
＜最後のＰフレームに対応した処理＞
次に図１４を参照し、最後のＰフレームに対応した処理を説明する。このＰフレームを構成する各マクロブロックは、全て先頭のＩフレーム（第１参照フレーム）を参照することにより符号化データが生成されている。また、この処理対象フレームであるＰフレームとそのトランスコーディング前の参照先である第１参照フレーム（Ｉフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（２番目のＢフレーム）との時間差を比較すると、後者は前者の１／３である。そこで、動き情報算出部３は、この処理対象フレームにおけるトランスコーディング後の動き情報を次のような線形補間により算出する。すなわち、各マクロブロックについて、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｐ）を取得し、Ｖｆｏｒｗａｒｄ（Ｐ）／３をトランスコーディング後の動き情報とするのである。以上が最後のＰフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。
【０１０３】
（２）動き情報修正部５０の動作
動き情報算出部４０から得られる動き情報は、以上説明したように既存の動き情報をそのまま流用し、あるいは既存の動き情報に所定の演算を施すことにより得られるものであるため、あまり正確でない動き情報が得られる場合がある。動き情報修正部５０は、この動き情報算出部４０によって得られた動き情報が正確なものであるといえるか否かを判定し、正確なものでないと認められる場合には、これに代わる動き情報を生成して符号化器２０に供給する。図１６は、この動き情報修正部４の動作を示すフローチャートである。動き情報修正部５０は、処理対象フレームを構成する各マクロブロック（以下、処理対象マクロブロックという）毎にこのフローチャートに示す処理を実行する。
【０１０４】
まず、動き情報修正部５０は、動き情報算出部３によって算出された動き情報（以下、動き情報ＭＥｎｅｗという）を用いて、処理対象マクロブロックに対応した第２参照マクロブロックのフレーム内の位置を求め、この第２参照マクロブロックに対応した画像データをフレームメモリ１７から読み出す。次に、動き情報修正部４は、加算器１６から得られた処理対象マクロブロックの画像データから第２参照マクロブロックに対応した画像データを差し引き、予測誤差（以下、第２の予測誤差という）を算出する（以上、ステップＳ１）。
【０１０５】
次に、動き情報修正部５０は、逆ＤＣＴ部１５から出力される当該処理対象マクロブロックに対応した予測誤差（当該処理対象マクロブロックと第１参照マクロブロックとの差分画像。以下、第１の予測誤差という。）を取得し、次式に示す条件が成立するか否かを判断する（ステップＳ２）。
【数１３】

ただし、αは所定の定数である。
【０１０６】
上記式（１３）に示す条件が満たされる場合、動き情報修正部５０は、動き情報ＭＥｎｅｗが正確な動き情報であるとみなし、その動き情報ＭＥｎｅｗを第２参照マクロブロックから当該処理対象ブロックまでの動きに対応した動き情報として符号化器２に送る（ステップＳ５）。
【０１０７】
一方、上記式（１３）に示す条件が満たされない場合、動き情報修正部５０は、動き情報ＭＥｎｅｗが不正確な動き情報であるとみなし、動き情報ＭＥｎｅｗに基づき動き情報の探索範囲を決定し（ステップＳ３）、この探索範囲内において動き情報ＭＥｎｅｗに代わる正確な動き情報を探索する（ステップＳ４）。
以下、これらの処理について、図１７〜図１９を参照して説明する。
【０１０８】
まず、図１７は、図１０（ａ）に示すトランスコーディングを行う場合において、Ｉフレームの直後のＢフレームに含まれるマクロブロックが処理対象マクロブロックである場合の動き情報の探索範囲の決定方法を説明するものである。
【０１０９】
ここで、Ｉフレームの直後のＢフレームの場合、トランスコーディング後の参照先である第２参照フレームは、Ｉフレームとなる。そこで、動き情報修正部４は、動き情報算出回路３によって算出された動き情報（図１７ではＶｆｏｒｗａｒｄ（Ｂ））を用いて当該処理対象マクロブロックに対応した第２参照マクロブロックの位置を求める。図１７ではこの第２参照マクロブロックがＩフレームを表す矩形の中に破線で示されている。動き情報修正回路５０は、第２参照フレームであるＩフレームを構成する各マクロブロックのうち第２参照ブロックと重複している部分を有する４個のマクロブロックを求める。この４個のマクロブロックが、処理対象マクロブロックに対応した動き情報の探索範囲である。
【０１１０】
このようにして動き情報の探索範囲が定まると、動き情報修正部５０は、第２参照フレーム（Ｉフレーム）に対応した画像のうちこの探索範囲内のものの中から、処理対象マクロブロックの画像との間の予測誤差が最も小さいものを探索する。そして、この探索により得られた参照画像から処理対象マクロブロックまでの動きに対応した動き情報を求める。
【０１１１】
次に、図１８は、図１０（ａ）に示すトランスコーディングを行う場合において、２番目のＢフレームに含まれるマクロブロックが処理対象マクロブロックである場合の動き情報の探索範囲の決定方法を説明するものである。また、図１９は、最後のＰフレームに含まれるマクロブロックが処理対象マクロブロックである場合の動き情報の探索範囲の決定方法を説明するものである。これらの場合における動き情報修正部５０の動作は、既に説明したＩフレームの直後のＢフレームの場合と同様である。すなわち、動き情報修正部５０は、処理対象フレームの直前の第２参照フレームを構成する各マクロブロックのうち第２参照マクロブロックと重複する各マクロブロックを求め、これらのマクロブロックを探索範囲として動き情報の探索を行うのである。
【０１１２】
以上が図１６におけるステップＳ３およびＳ４に対応した動き情報修正部５０の処理内容である。動き情報修正部５０は、このようにして得られた動き情報を第２参照マクロブロックから当該処理対象ブロックまでの動きに対応した動き情報として符号化器２０に送る（ステップＳ５）。
【０１１３】
（３）符号化器２０の動作
符号化器２０には、復号器１０から出力された処理対象フレームの各マクロブロック（処理対象マクロブロック）の画像データと、動き情報修正部５０によって出力された各処理対象マクロブロックに対応した動き情報とが供給される。そして、符号化器２０における動き補償部２８は、動き情報修正部５０から受け取った各処理対象マクロブロックに対応した動き情報を用いて、各処理対象マクロブロックに対応した第２参照マクロブロックの位置を各々求める。そして、この各処理対象マクロブロックに対応した第２参照ブロックの画像データをフレームフレームメモリ２７から読み出して減算器２１に送る。
【０１１４】
減算器２１は、これらの各第２参照マクロブロックの画像データを各々に対応した処理対象マクロブロックの画像データから減算し、各々予測誤差として出力する。この予測誤差は、ＤＣＴ部２２によってＤＣＴ係数に変換され、量子化器２３によって量子化データとされる。この量子化データは、逆量子化器２４および逆ＤＣＴ部２５を介することにより予測誤差に戻られる。加算器２６は、動き補償部２８から出力された第２参照マクロブロックの画像データとこの予測誤差とを加算し、処理対象マクロブロックに対応した画像データとしてフレームメモリ２７に書き込む。
【０１１５】
一方、量子化器２３から出力された量子化データは、可変長符号化器２９によって可変長符号とされる。また、動き情報修正部４からの動き情報は可変長符号化器３０によって可変長符号とされる。これらの可変長符号は、多重化器３１によって多重化され、処理対象フレームに対応したトランスコーディング後の符号化データとして出力される。
【０１１６】
このように本実施形態によれば、符号化器２０側での動き情報探索は行われず、トランスコーディングの際の動き情報の探索のための演算量が大幅に削減されるので、トランスコーディングの効率を著しく高めることができる。
【０１１７】
Ｂ−３．他のトランスコーディングにおける動作例
以上説明した実施形態では、図１０（ａ）に示すトランスコーディングを行う場合を例に挙げたが、ここでは他のトランスコーディングを行う場合の動作例を説明する。
【０１１８】
まず、図２０を参照し、図１０（ｂ）に示すトランスコーディングを行う場合における動き情報算出部４０の動作を説明する。図２０において、Ｉフレームの直後のＢフレームのトランスコーディング後の動き情報の算出方法は上記実施形態において説明した通りである。次に、図２０における２番目のＢフレームは、トランスコーディングの際に間引かれる。
【０１１９】
そして、ピクチャグループの最後のＰフレームのトランスコーディング後の動き情報は次のようにして求める。まず、図２０に示すように、トランスコーディング前にＩフレームを参照フレームとしていたＰフレームは、トランスコーディング後、Ｉフレームの直後のＰフレーム（元はＢフレームであったもの）を参照したフレームとなる。ここで、ＩフレームとＰフレームとの間の時間差と、トランスコーディング前のＩフレームの直後のＰフレームと最後のＰフレームとの時間差とを比較すると、後者は前者の２／３となる。そこで、動き情報算出部３は、最後のＰフレームの各マクロブロックに対応した動き情報Ｖ（Ｐ）を取得し、２Ｖ（Ｐ）／３をトランスコーディング後の動き情報とする。
【０１２０】
次に、図２１を参照し、図１０（ｃ）に示すトランスコーディングを行う場合における動き情報算出部４０の動作を説明する。図２１において、Ｉフレームの直後のＰフレームは、トランスコーディングの前後において参照先であるフレームに変化がない。従って、このＰフレームは、動き情報算出部３の処理対象とならない。２番目のＰフレームは、トランスコーディングの際に間引かれる。従って、この２番目のＰフレームも動き情報算出部３の処理対象とならない。
【０１２１】
次に、ピクチャグループの最後のＰフレームは、トランスコーディング前の参照先である第１参照フレームは２番目のＰフレームであるが、トランスコーディング後の参照先である第２参照フレームはＩフレームの直後の１番目のＰフレームである。そこで、動き情報算出部３は、処理対象フレームたる最後のＰフレームを構成する各処理対象マクロブロックについて、以下の手順により第２参照フレームと当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）を算出する。
【０１２２】
ステップ１：まず、最後のＰフレーム中の処理対象マクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を用いて、第１参照フレーム（２番目のＰフレーム）における当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
ステップ２：次に第１参照フレームにおける各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求め、この動き情報Ｖｆｏｒｗａｒｄ（Ｐ）と上記ステップ１において求めた動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を加算する。この結果、第２参照フレーム（１番目のＰフレーム）と当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）が得られる。
【０１２３】
以上が図１０（ｂ）および（ｃ）に例示するようなフレームの間引きを伴うトランスコーディングを行う場合の動き情報算出回路３の動作である。動き情報修正部５０および他の部分の動作は上記実施形態と何等変わるところはない。図２２には、図１０（ｃ）に例示するトランスコーディングを行う場合において、動き情報算出部４０によって算出された最後のＰフレーム内の処理対象マクロブロックに対応した動き情報が不正確なものであり、動き情報修正部５０が動き情報の探索を行う場合における探索範囲の決定方法を示されている。この図に示すように、動き情報修正部５０は、動き情報算出部４０によって算出された動き情報を用いて第２参照フレーム（１番目のＰフレーム）内の第２参照マクロブロックを求め、この第２参照マクロブロックと重複している第２参照フレーム内の各マクロブロックを探索範囲として動き情報の探索を行うのである。
【０１２４】
Ｂ−４．フレームが２つのフィールドによって構成されている場合の実施形態
以上説明した実施形態では、ピクチャグループの中のフレームの概念を使用して説明したが、フレームに限らず、本実施形態は上記第１実施形態と同様、図８に示すように、フィールドを取り扱うＭＰＥＧ−２などの符号化方式にも適用可能である。すなわち、フレーム内の各フィールドを処理対象フレームとし、上記実施形態による動き情報の算出および修正を行えばよいのである。
【０１２５】
Ｃ．第３の実施形態
図２３はこの発明の第３の実施形態であるトランスコーディング装置の構成を示すブロック図である。図２３に示すように、このトランスコーディング装置は、入力部６１と、バッファ６２と、切換制御部６３と、切換部６４と、第１トランスコーディング部７０と、第２トランスコーディング部８０とを有している。
【０１２６】
入力部６１は、逆多重化器６１Ａと、可変長復号器６１Ｂおよび６１Ｃと、逆量子化器６１Ｄとを有している。
【０１２７】
ここで、逆多重化器６１Ａは、Ｉフレームを除いた他のフレームの符号化データをフレーム間予測符号化により得られた差分画像のＤＣＴ係数の可変長符号と動き情報の可変長符号とに分離する装置である。可変長復号器６１Ｂおよび６１Ｃは、逆多重化器６１Ａによって分離されたＤＣＴ係数の可変長符号と動き情報の可変長符号をＤＣＴ係数の量子化データと動き情報に戻す装置である。バッファ６２は、可変長復号器６１Ｃからの動き情報と逆量子化器６１ＤからのＤＣＴ係数とを受け取り、最近の所定個数のフレームに対応した動き情報およびＤＣＴ係数を記憶する。最近の所定個数のフレームとは、例えばピクチャグループである。１つのピクチャグループに対応したＤＣＴ係数および動き情報の格納が終了すると、その格納されたＤＣＴ係数および動き情報がバッファ６２から読み出されるとともに、次のピクチャグループに対応したＤＣＴ係数および動き情報の格納が開始される。
【０１２８】
切換制御部６３は、バッファ６２内の動き情報を監視し、動画像の動きが速いか否かを動き情報に基づいて判定し、この判定結果に基づいて切換部６４を制御する。 切換部６４は、切換制御部６３による制御の下、所定個数のフレームに対応したＤＣＴ係数および動き情報をバッファ６２から第１トランスコーディング部７０または第２トランスコーディング部８０に転送する。
【０１２９】
第１トランスコーディング部７０は、第１の実施形態に開示された方法に従ってトランスコーディングを行う装置である。このため、第１トランスコーディング部７０は、第１の実施形態に係るトランスコーディング装置に含まれていた要素を含んでいる（図２参照）。第２トランスコーディング部８０は、第２の実施形態に開示された方法に従ってトランスコーディングを行う装置である。このため、第２トランスコーディング部８０は、第２の実施形態に係るトランスコーディング装置に含まれていた要素を含んでいる（図１１参照）。
【０１３０】
次に、本実施形態の動作について説明する。動画像のフレームの符号化データは、トランスコーディング装置に供給され、バッファ６２には、最近の所定個数のフレームに対応したＤＣＴ係数および動き情報が格納される。
【０１３１】
バッファ６２に格納されている動き情報が所定の閾値より小さい場合（動画像の動きが遅い場合）、切換制御部６３は、ＤＣＴ係数および動き情報がバッファ６２から第１トランスコーディング部７０のＤＣＴ係数算出回路５および動き情報算出回路２に各々転送されるように切換部６４を制御する。この結果、少ない演算量で、動画像のＤＣＴ係数および動き情報に対して第１の実施形態において開示されたトランスコーディングが施される。
【０１３２】
これに対し、バッファ６２に格納されている動き情報が閾値より大きい場合（動画像の動きが速い場合）、動き情報算出回路２が正確な動き情報を算出することは困難であり、トランスコーディングにより得られる符号化データの符号量が増加する不具合が起こりうる。そこで、この場合、切換制御部６３は、ＤＣＴ係数および動き情報がバッファ６２から第２トランスコーディング部８０の逆ＤＣＴ部１５および動き情報算出部４０に各々転送されるように切換部６４を制御する。この結果、動画像のＤＣＴ係数および動き情報に対して第２の実施形態において開示されたトランスコーディングが施される。
【０１３３】
以上説明した第３の実施形態では、ピクチャグループのような所定個数のフレーム単位で切換部６４の切換制御が行われた。しかしながら、切換制御の方法は、以上説明した態様に限定されるものではない。切換制御を行うフレームの個数は、一定でなくてもよい。
【０１３４】
Ｄ．変形例
以上説明した各実施形態では、一定個数のフレームからなるピクチャグループの概念が用いられていたが、本発明は、このようなピクチャグループへの適用に限定されるものではなく、ＭＰＥＧ−４のようなピクチャグループの概念を持たない符号化方式に適用してもよい。
【０１３５】
【発明の効果】
以上説明したように、この発明によれば、少ない演算量により、第１の動画像符号化データを第２の動画像符号化データに変換するトランスコーディングを実行することができる。
【図面の簡単な説明】
【図１】 この発明の第１の実施形態において行われるトランスコーディングの例を示す図である。
【図２】 同実施形態におけるトランスコーディング装置を示すブロック図である。
【図３】 同実施形態における動き情報算出回路の処理内容を示す図である。
【図４】 同実施形態におけるＤＣＴ係数算出回路の処理内容を示す図である。
【図５】 同実施形態の効果を従来のトランスコーディング装置との対比において説明する図である。
【図６】 動き情報算出アルゴリズムの他の例を示す図である。
【図７】 動き情報算出アルゴリズムの他の例を示す図である。
【図８】 同実施形態におけるフィールドの概念を示す図である。
【図９】 同実施形態における動き情報算出アルゴリズムの他の例を示す図である。
【図１０】 この発明の第２の実施形態において行われるトランスコーディングの例を示す図である。
【図１１】 この発明の第２の実施形態であるトランスコーディング装置を示すブロック図である。
【図１２】 同実施形態における動き情報算出部の処理内容を示す図である。
【図１３】 同実施形態における動き情報算出部の処理内容を示す図である。
【図１４】 同実施形態における動き情報算出部の処理内容を示す図である。
【図１５】 同実施形態における動き情報算出部の動き情報算出アルゴリズムを示す図である。
【図１６】 同実施形態における動き情報修正部の動作を示すフローチャートである。
【図１７】 同実施形態における動き情報修正部の動き情報探索処理を説明する図である。
【図１８】 同実施形態における動き情報修正部の動き情報探索処理を説明する図である。
【図１９】 同実施形態における動き情報修正部の動き情報探索処理を説明する図である。
【図２０】 同実施形態においてフレームの間引きを伴うトランスコーディングを行う場合の動作例を示す図である。
【図２１】 同実施形態においてフレームの間引きを伴うトランスコーディングを行う場合の動作例を示す図である。
【図２２】 同実施形態においてフレームの間引きを伴うトランスコーディングを行う場合の動作例を示す図である。
【図２３】 この発明の第３の実施形態であるトランスコーディング装置の構成を示すブロック図である。
【図２４】 動画像符号化伝送システムにおける符号化器および復号器の一般的な構成を示すブロック図である。
【図２５】 上記符号化器の動作を例示する図である。
【図２６】 上記復号器の動作を例示する図である。
【図２７】 従来のトランスコーディング方法およびトランスコーディング装置を示す図である。
【符号の説明】
２……動き情報算出回路、５……ＤＣＴ係数算出回路、１０……復号器、２０……符号化器、４０……動き情報算出部、５０……動き情報修正部、６３……切換制御部、６４……切換部、７０……第１トランスコーディング部、８０……第２トランスコーディング部。[0001]
[Technical field to which the invention belongs]
The present invention relates to a technique for compressing and transmitting moving picture information, and more particularly, to a transcoding method and transcoding apparatus for converting moving picture encoded data to moving picture encoded data having a different configuration.
[0002]
[Prior art]
In recent years, multimedia that expresses different information such as characters, figures, sounds, and images as digital data and integrates and integrates these media has attracted attention in recent years. There are ISO / IEC MPEG (Moving Picture Experts Group) 1 and the like as audio / video encoding systems corresponding to this multimedia, and various video encoding and transmission systems compliant with these are provided.
[0003]
FIGS. 24A and 24B show a general configuration of this type of moving image encoding transmission system, and FIG. 24A is a block diagram showing the configuration of the encoder on the transmission side. FIG. 2B is a block diagram showing the configuration of the receiving side decoder.
[0004]
As shown in FIG. 24A, the encoder on the transmission side includes a subtractor 101, a DCT (Discrete Cosine Transform) unit 102, a quantizer 103, an inverse quantizer 104, An inverse DCT unit 105, a motion prediction and compensation unit 106, variable length encoders 107 and 108, and a multiplexing device 109 are included.
[0005]
Further, as shown in FIG. 24B, the receiving side decoder includes a demultiplexer 201A, variable length decoders 201 and 206, an inverse quantizer 202, an inverse DCT unit 203, an adder 204 and a motion compensation unit 205. The constituent elements of the encoder and decoder listed above may be configured by dedicated hardware or a DSP (digital signal processor) that executes a predetermined program.
[0006]
In the configuration shown in FIGS. 24A and 24B, image information of picture groups including a predetermined number of screens (hereinafter referred to as frames) is sequentially supplied to the encoder. The encoder encodes image information with this picture group as a unit. One picture group needs to include one I frame, and in addition to this, one or a plurality of P frames and B frames can be included. Here, the I frame is a frame to be subjected to so-called intra-frame encoding. The P frame is a frame that is encoded and decoded by referring to the image of the frame before the frame, and the B frame is encoded by referring to the frames before and after the frame. And a frame to be decoded.
[0007]
FIG. 25 exemplifies the operation of the encoder when the frames constituting such a picture group are sequentially given. In FIG. 25, for the sake of simplicity of explanation, the case where the I frame and the P frame are input to the encoder, such as the P1 frame and the P2 frame, is described as an example. . Hereinafter, the operation of the encoder will be described with reference to FIG.
[0008]
First, when image information corresponding to an I frame is input, processing by each component of the encoder in FIG. 24A is not performed, and image information of the current image (I frame) is determined by a predetermined encoding algorithm. Intraframe coding is performed, and the resulting coded data is transmitted to the receiving side. In the encoder, the I-frame image information is decoded from the encoded data according to a decoding algorithm corresponding to the encoding algorithm, and is stored as a reference image in a memory (not shown) in the motion prediction and compensation unit 106. The
[0009]
Next, when the P1 frame is input, the encoder divides the current image (P1 frame) into a plurality of macro blocks MBij (i = 1 to M, j = 1 to N). Here, each macro block is composed of 2 × 2 = 4 blocks, and each block is composed of 8 × 8 = 64 pixels. Then, the encoder performs the following processing for each macroblock MBij.
[0010]
First, the motion prediction and compensation unit 106 searches for a reference macroblock MBij ′ of the same size similar to the macroblock MBij of the current image from the reference image (I frame in this case). Then, it is considered that the reference macroblock MBij ′ has moved to become the macroblock MBij, and motion information V representing the spatial movement distance and direction is output. Here, the motion information V is converted into a variable length code by the variable length encoder 206.
[0011]
The subtractor 101 subtracts the image information of the reference macroblock MBij ′ from the image information of the macroblock MBij to obtain a difference between both images, and the DCT unit 102 performs DCT, which is a kind of orthogonal transform, on the difference. .
[0012]
The quantizer 103 quantizes the DCT coefficients of the difference image obtained from the DCT unit 102, and the variable length encoder 107 performs variable length encoding on the data obtained by this quantization.
[0013]
The variable length code obtained by quantizing the DCT coefficient and the above-described variable length code of the motion information V are multiplexed by the multiplexer 109 and transmitted to the receiving side as encoded data corresponding to the macroblock MBij.
[0014]
On the other hand, the output data of the quantizer 103 is inversely quantized by the inverse quantizer 104, and the output data of the inverse quantizer 104 is input to the inverse DCT unit 105. As a result, the difference image Δ is output from the inverse DCT unit 105. This difference image Δ is image information corresponding to the difference between the macroblock MBij of the current image (P1 frame) and the reference macroblock MBij ′, and is generated through the processes of DCT, quantization, inverse quantization, and inverse DCT. Therefore, an error accompanying this is included.
[0015]
The motion prediction and compensation unit 106 restores the image information of the macroblock MBij in the current image (frame P1) by a method such as adding the difference image Δ obtained from the inverse DCT unit 105 and the reference macroblock MBij ′. Then, it is stored in the memory as a reference image to be referred to when the subsequent frame is encoded.
The above processing is performed for all macro blocks MBij (i = 1 to M, j = 1 to N) constituting the current image (P1 frame).
[0016]
When the next frame P2 is input, an encoding process similar to that described above is performed with reference to the reference image (image of frame P1) stored in the memory in the motion prediction and compensation unit 106. The same applies to each subsequent frame of the frame P2.
[0017]
FIG. 26 illustrates the operation of the decoder when each encoded data of I frame, P1 frame, P2 frame,... Transmitted from the encoder as described above is received. Hereinafter, the operation of the decoder will be described with reference to FIG.
[0018]
First, when intra-frame encoded data of an I frame is received, the decoder in FIG. 24B does not perform the processing by each illustrated component, but decodes corresponding to the intra-frame encoding algorithm on the encoder side. The intra-frame encoded data is decoded according to the algorithm. As a result, the same I frame image information stored in the memory in the motion prediction and compensation unit 106 on the encoder side is decoded, and this is used as a reference image in the memory (not shown) in the motion compensation unit 205 in the decoder. Saved in.
[0019]
Next, the encoded data of the P1 frame is input to the decoder. This encoded data includes the following information corresponding to each of a plurality of macroblocks MBij (i = 1 to M, j = 1 to N) obtained by dividing the P1 frame image.
a. Variable length code obtained by performing DCT, quantization and variable length coding on the difference between the macroblock MBij and a reference macroblock MBij ′ similar to this in the reference image (frame I)
b. Variable length code of motion information V representing a motion vector from the reference macroblock MBij ′ to the macroblock MBij
[0020]
In the decoder, the variable length codes a and b are separated by the demultiplexer 201A and returned to actual numerical values by the variable length decoders 201 and 206. Then, according to these pieces of information, the following processing is performed for each macroblock MBij.
[0021]
First, the difference between the macroblock MBij and the reference macroblock MBij ′ in the reference image (frame I) from the actual numerical value obtained from the variable length code a by the inverse quantizer 202 and the inverse DCT unit 203. The image Δ is restored.
[0022]
Further, the motion compensation unit 205 obtains the location of the reference macroblock MBij ′ in the reference image (frame I) corresponding to the macroblock MBij according to the motion information V of b corresponding to the macroblock MBij. Image information of the macro block MBij ′ is read from a built-in memory (not shown). Then, the image information of the reference macroblock MBij ′ and the difference image Δ are added by the adder 204, and the image information of the macroblock MBij is restored.
[0023]
The above processing is performed for all the macroblocks MBij (i = 1 to M, j = 1 to N), and all images of the frame P1 are restored. The restored image of the frame P1 is stored in the memory in the motion compensation unit 205 as a reference image.
[0024]
When the encoded data corresponding to the next frame P2 is received, the same decoding process as described above is performed with reference to the reference image (image of the frame P1) stored in the memory in the motion compensation unit 205. Is called. The same applies to the case where encoded data corresponding to each frame following the frame P2 is received.
[0025]
Recently, coded transmission of moving images has been studied in various communication systems. For this reason, encoded data of moving images is generated assuming transmission at a certain transmission rate, but this encoded data must be transmitted at a transmission rate different from the original schedule. sell.
[0026]
In such a case, it is required to reduce the number of frames per picture group and reduce the data rate of encoded data. As a technique for this purpose, there is transcoding for converting the format of encoded data. FIG. 27 (a) shows a method for performing this transcoding, and FIG. 27 (b) is a block diagram showing the configuration of a conventional transcoding apparatus for performing this transcoding.
[0027]
As shown in FIG. 27 (b), the conventional transcoding apparatus includes a decoder 100 having a configuration similar to that shown in FIG. 24 (b) and a code having a configuration similar to that shown in FIG. 24 (a). And a combination with the generator 200.
[0028]
In this transcoding apparatus, as shown in FIG. 27 (a), the encoded data generated by the first encoding method is decoded by the decoder 100, and an image obtained by this decoding is converted into an encoder 200. Is encoded according to the second encoding method. By performing such re-encoding, encoded data having a data rate different from that of the original encoded data can be generated.
[0029]
[Problems to be solved by the invention]
By the way, the above-described conventional transcoding method decodes the original image from the encoded data and re-encodes this image to generate encoded data of another configuration. In addition, there is a problem that image quality deteriorates due to a conversion error accompanying decoding and re-encoding of encoded data.
[0030]
The present invention has been made in view of the circumstances described above, and provides a transcoding method and a transcoding device capable of converting encoded data into encoded data of another configuration with a small amount of calculation. It is aimed.
[0031]
[Means for Solving the Problems]
According to the present invention, first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation is converted into second encoded data having a different configuration. In the transcoding method for converting into a frame, in the interframe prediction encoding of the processing target frame, some frames of the plurality of frames constituting the moving image that are subject to the interframe prediction encoding are set as processing target frames. Second encoded data corresponding to encoded data that would be obtained when inter-frame predictive encoding of the processing target frame is performed with reference to a second reference frame different from the referenced first reference frame Inter-frame prediction encoded data generated from first encoded data of one or more frames including the processing target frame A motion for calculating motion information to be included in the second encoded data using at least motion information included in the processing target encoded data. A transcoding method comprising an information calculation process is provided. The present invention also provides a transcoding device that performs transcoding by such transcoding method.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0033]
A. First embodiment
A-1. Transcoding
FIG. 1 is a diagram showing an example of transcoding performed in the first embodiment of the present invention. FIG. 1 shows a picture group including an I frame and P1 to P4 frames. In the present embodiment, encoded data with a small data rate is generated by thinning out, for example, P1 frame and P3 frame among these frames. Here, the P2 frame refers to the thinned P1 frame, and the P4 frame refers to the thinned P3 frame. Therefore, if the data corresponding to the P1 frame and the P3 frame is thinned out from the encoded data, the P2 frame and P4 frame images cannot be decoded from the remaining encoded data.
[0034]
In the present embodiment, a frame to be thinned out (in this example, P1 frame and P3 frame) among frames that have undergone interframe prediction encoding is used as a first reference frame, and interframe prediction is performed with reference to the first reference frame. Encoded frames (P2 frame and P4 frame in this example) are set as processing target frames, and frames referred to in interframe predictive encoding of the first reference frame are set as second reference frames (I frame and I frame in this example). P2 frame). In this embodiment, encoded data that will be obtained when inter-frame predictive encoding of the processing target frame is performed with reference to the second reference frame, encoded data corresponding to the processing target frame, Calculation is performed from the encoded data corresponding to the first reference frame. This is the inter-frame prediction encoded data re-editing process in the present embodiment.
[0035]
A-2. Transcoding equipment
FIG. 2 is a block diagram showing a configuration of a transcoding apparatus for performing the transcoding method according to the present embodiment. In FIG. 2, a demultiplexer 1 is an apparatus that separates encoded data corresponding to each frame other than an I frame into a variable length code of quantized DCT coefficients and a variable length code of motion information.
The variable length decoder 2A is a device that actually returns a variable length code of motion information to a numerical value.
[0036]
The motion information calculation circuit 2 is a circuit that performs a motion information calculation process that is a part of the inter-frame prediction encoded data re-editing process described above. More specifically, the motion information calculation circuit 2 obtains motion information corresponding to the processing target frame, motion information corresponding to the first reference frame, motion information corresponding to the second reference frame, and motion information corresponding to other frames. Received from the variable length decoder 2A. When the motion information calculation circuit 2 receives the motion information corresponding to the processing target frame, the motion information calculation circuit 2 calculates new motion information from the motion information corresponding to the processing target frame and the motion information corresponding to the first reference frame. Output instead of motion information. This new motion information corresponds to motion information that may be obtained when inter-frame predictive encoding of the processing target frame is performed with reference to the second reference frame. The motion information corresponding to the first reference frame is discarded. The motion information corresponding to other frames passes through the motion information calculation circuit 2 as it is. The variable length encoder 2B is a circuit that performs variable length encoding on the motion information output from the motion information calculation circuit 2 in this way.
[0037]
The variable length decoder 3 is a device that decodes quantized data of DCT coefficients from the variable length code output from the demultiplexer 1. The inverse quantizer 4 is a device that inversely quantizes the quantized data and outputs a DCT coefficient.
[0038]
The DCT coefficient calculation circuit 5 is a circuit that performs a DCT coefficient calculation process that is a part of the inter-frame prediction encoded data re-editing process described above. More specifically, the DCT coefficient calculation circuit 5 receives from the inverse quantizer 4 a DCT coefficient corresponding to the processing target frame, a DCT coefficient corresponding to the first reference frame, a DCT coefficient corresponding to the second reference frame, and the like. DCT coefficients corresponding to the frame are received. When receiving the DCT coefficient corresponding to the processing target frame, the DCT coefficient calculating circuit 5 calculates a new DCT coefficient from the motion information and DCT coefficient corresponding to the processing target frame and the DCT coefficient corresponding to the first reference frame. , Instead of the original DCT coefficients. This new DCT coefficient corresponds to a DCT coefficient that will be obtained when inter-frame predictive encoding of the processing target frame is performed with reference to the second reference frame. The DCT coefficient corresponding to the first reference frame is discarded by the DCT coefficient calculation circuit 5. DCT coefficients corresponding to other frames pass through the DCT coefficient calculation circuit 5 as they are.
[0039]
The quantizer 6 is a device that quantizes the DCT coefficient output from the DCT coefficient calculation circuit 5 and outputs quantized data. The variable length encoder 7 is a device that performs variable length encoding on the quantized data and outputs the result. The multiplexer 8 multiplexes the variable length code of the motion information of each frame obtained from the variable length encoder 22 and the variable length code corresponding to the DCT coefficient of each frame obtained from the variable length encoder 7. Output device.
[0040]
Next, the processing content of the motion information calculation circuit 2 will be described in detail. For example, consider the case where P3 frame is thinned out in FIG. In this case, the P3 frame is the first reference frame, the P4 frame is the processing target frame, and the P2 frame is the second reference frame. Here, the encoded data corresponding to the processing target frame (P4 frame) includes motion information for each macroblock in the same frame, but the motion information is included in the first reference frame (P3 frame). The content represents the movement from the state. Therefore, when thinning out the first reference frame (P3 frame), each area occupied by each macroblock in the processing target frame (P4 frame) in the screen of the second reference frame (P2 frame) is obtained. Therefore, it is necessary to obtain new motion information (hereinafter referred to as motion information between P2 and P4 for the sake of convenience) corresponding to the movement from the target frame to the position of each macroblock. Therefore, the motion information calculation circuit 2 in this embodiment calculates the motion information between P2 and P4 by the following method.
[0041]
In FIG. 3, the processing target MB is one of the macroblocks constituting the processing target frame (P4 frame). Here, when a macro block similar to the image of the processing target MB (hereinafter referred to as a first reference MB) is included in the first reference frame (P3 frame), the movement from the first reference MB to the processing target MB Is included in the encoded data of the processing target frame (P4 frame). Therefore, the position of the first reference MB in the first reference frame can be obtained from the position of the processing target MB in the processing target frame and the motion information V0.
[0042]
However, even if an image similar to the first reference MB (hereinafter referred to as the second reference MB) is included in the second reference frame (P2 frame), the location of the image is determined as the first reference frame (P3 frame). It cannot be obtained directly from the movement information. The reason is as follows.
[0043]
In general, the first reference MB does not match any of the macroblocks obtained by dividing the first reference frame (P3 frame), and normally, the first reference MB is in a state straddling four macroblocks as illustrated. . Here, the motion information is information defined for each macroblock constituting the frame, and motion information V1 to V4 is determined for the four macroblocks straddling the first reference MB. However, none of these macroblocks matches the first reference MB. Thus, since there is no motion information corresponding to the first reference MB in the encoded data of the first reference frame (P3 frame), the location of the second reference MB in the second reference frame (P2 frame) is determined. It cannot be obtained directly from the motion information of the first reference frame (P3 frame).
[0044]
Therefore, the motion information calculation circuit 2 calculates motion information corresponding to the movement from the second reference MB to the processing target MB as follows.
Step S1: First, the motion information calculation circuit 2 selects the motion corresponding to the macroblock having the largest area of the portion overlapping with the first reference MB among the four macroblocks straddling the first reference MB. Select information. In the example shown in FIG. 3, the macro block b4 of the four macroblocks has the largest area of overlap with the first reference MB, so the motion information V4 corresponding to the macroblock b4 is selected. It will be.
Step S2: Next, the motion information calculation circuit 2 performs the following calculation using the motion information V0 corresponding to the processing target MB and the motion information V4 obtained in step S2, and performs processing from the second reference MB. A calculated value Vnew of motion information corresponding to movement to MB is obtained.
[Expression 1]

[0045]
The motion information calculation circuit 2 executes the above-described processing using each macroblock in the processing target frame (P4 frame) as the processing target MB, and for each macroblock, the second reference in the second reference frame (P2 frame). The calculated value Vnew of the motion information corresponding to the movement from the MB (corresponding to each macroblock) to the processing target macroblock is obtained.
In addition, when there are a plurality of frames to be thinned as illustrated in FIG. 1, the motion information calculation circuit 2 determines between a frame that is referenced by the frame that is thinned and a frame that is referenced by the frame that is thinned. The calculated value of motion information is obtained by the same procedure as described above.
[0046]
Next, the processing content of the DCT coefficient calculation circuit 5 will be described in detail. FIG. 4 shows one of the processing target MBs included in the processing target frame (P4 frame). Each processing target MB is composed of four blocks as shown in the figure. In the inter-frame predictive encoding method assumed in the present embodiment, DCT of difference images between frames is performed in units of blocks. Hereinafter, a procedure for correcting the DCT coefficient of the difference image corresponding to one block (hereinafter referred to as a processing target block) in the processing target MB shown in the drawing will be taken up.
[0047]
First, FIG. 4 shows one MB in the first reference frame (P3 frame), and this MB includes a first reference block b ′ similar to the image of the processing target block in frame P4. Hereinafter, for convenience, this block b ′ is referred to as a first reference block.
[0048]
The DCT coefficient of the difference image between the second reference frame (P2 frame) and the first reference frame (P3 frame) corresponding to the first reference block b ′ can be obtained from the encoded data of the first reference frame (P3 frame). For example, by adding this DCT coefficient to the DCT coefficient corresponding to the processing target block of the processing target frame (P4 frame), the DCT coefficient corresponding to the processing target block can be corrected to the content referring to the second reference frame. it can. However, the DCT coefficient supplied from the inverse quantizer 4 to the DCT coefficient calculation circuit 5 is a DCT coefficient corresponding to each block obtained by dividing each frame, and among these, the DCT coefficient corresponding to the first reference block b ′ is included. There is no coefficient. Therefore, the DCT coefficient calculation circuit 5 in the present embodiment calculates the DCT coefficient corresponding to the first reference block b ′ as follows.
[0049]
First, in FIG. 4, the first reference block b ′ straddles four blocks b1 to b4. The DCT coefficient calculation circuit 5 includes a horizontal length w1 and a height h1 of the portion that has entered the block b1 in the first reference block b ′, and a portion that has entered the block b2. The horizontal length w2 and the height direction length h2, the horizontal length w3 and the height direction length h3 of the portion entering the block b3, the portion entering the block b4 The horizontal length w4 and the height length h4 are respectively obtained.
[0050]
Next, when the matrix of DCT coefficients corresponding to each block bi (i = 1 to 4) is Bi (i = 1 to 4), the DCT coefficient calculation circuit 5 performs DCT corresponding to the first reference block b ′. A matrix B ′ of calculated coefficient values is obtained by the following equation.
[Expression 2]

[0051]
Here, HHi is hhi's DCT coefficient, Hwi is hwi's DCT coefficient, and hhi and hwi are given as follows.
[Equation 3]

[Expression 4]

[Equation 5]

[Formula 6]

[0052]
In the above equations, the meaning of matrix notation using Ihi or Iwi is as follows. That is, for example, assuming that hi = 4, the above equations are expressed as follows.
[Expression 7]

[Equation 8]

[0053]
As described above, the DCT coefficient calculation circuit 5 calculates the DCT coefficient of the difference image between the second reference frame (P2 frame) and the first reference frame (P3 frame) corresponding to the first reference block b ′. When calculated, this DCT coefficient is added to the DCT coefficient of the processing target block, and is a difference image after motion compensation between the second reference frame (P2 frame) and the processing target frame (P4 frame) corresponding to the processing target block. The DCT coefficient of the object is obtained.
[0054]
Then, the DCT coefficient calculation circuit 5 performs the same process as described above for other blocks in the processing target frame (P4 frame), and corrects the DCT coefficients of all the blocks in the processing target frame.
The case where the P3 frame is thinned out has been described above as an example, but the same applies to the case where other frames are thinned out.
The above is the details of the transcoding apparatus according to the present embodiment.
[0055]
FIG. 5 shows a configuration in which the transcoding apparatus according to this embodiment is deleted from those included in the transcoding apparatus according to the prior art. According to the present embodiment, encoded data in which a specific frame is thinned out is generated by processing the encoded data as it is without decoding the image from the encoded data. DCT, DCT for re-encoding the decoded image, inverse quantization, inverse DCT, motion prediction and compensation are not required. For this reason, errors caused by these unnecessary conversions can be eliminated, image quality deterioration due to transcoding can be reduced, and the amount of computation and computation time for transcoding can be greatly reduced. In addition, since the image is not decoded from the encoded data, a memory for storing the decoded image is unnecessary, and the hardware of the transcoding device can be reduced in scale.
[0056]
A-3. Other examples of motion information calculation algorithm
In the first embodiment described above, an example of the motion information calculation algorithm executed by the motion information calculation circuit 2 (FIG. 2) is shown. However, there are other examples of motion information calculation algorithms that can be executed by the motion information calculation circuit 2.
[0057]
A-3-1. Example 1
This example is MPEG-4 or H.264. The present invention provides a transcoding method and transcoding apparatus suitable for encoded data capable of performing motion compensation for each block such as H.263. In this example, the motion information calculation algorithm of the motion information calculation circuit 2 (see FIG. 2) in the first embodiment is changed to that shown in FIG. Hereinafter, the motion information calculation algorithm according to this example will be described assuming that P4 frame is a processing target frame, P3 frame is a first reference frame, P2 frame is a second reference frame, and P3 frame (first reference frame) is thinned out. To do.
[0058]
In this algorithm, motion information is calculated according to the following procedure.
Step 1: First, motion information V0 corresponding to the processing target macroblock in the processing target frame is obtained, and a first reference macroblock corresponding to the processing target macroblock in the first reference frame is obtained from this motion information V0.
[0059]
Step 2: Next, for each first reference block obtained by dividing the first reference macroblock in the first reference frame, the area of the portion of each macroblock in the first reference frame that overlaps the first reference block Finds motion information corresponding to the widest macroblock. In the example of FIG. 14, the upper left first reference block has the widest area overlapping with the upper left macroblock b1, so the motion information V1 corresponding to the upper left macroblock b1 is the code of the first reference frame. Will be selected from the digitized data. Also, the upper right first reference block has the largest area overlapping with the upper right macro block b2, so that the motion information V2 corresponding to the upper right macro block b2 is included in the encoded data of the first reference frame. Will be selected. In addition, since the lower left first reference block has the largest area overlapping with the lower left macroblock b3, the motion information V3 corresponding to the lower left macroblock b3 is included in the encoded data of the first reference frame. Will be selected. Finally, since the lower right first reference block has the largest area overlapping with the lower right macro block b4, the motion information V4 corresponding to the lower right macro block b4 is the code of the first reference frame. Will be selected from the digitized data.
[0060]
Step 3: Divide the processing target macroblock in the processing target frame from the second reference frame from the motion information V0 in step 1 and the motion information V1 to V4 selected for each first reference block in step S2 by the following calculation: The motion information V1new to V4new up to four blocks is obtained.
[Equation 9]

[0061]
According to this motion information calculation algorithm, motion information between each block obtained by dividing the processing target macroblock and the reference image can be obtained, which is optimal for an encoding method capable of motion compensation for each block. Transcoding can be performed.
[0062]
A-3-2. Example 2
Next, in the motion information calculation algorithm shown in FIG. 7A, motion information is calculated according to the following procedure.
Step 1: First, motion information V0 corresponding to the processing target macroblock is obtained from the encoded data of the processing target frame, and the first reference macroblock corresponding to the processing target macroblock in the first reference frame is obtained from the motion information V0. Ask for.
Step 2: Next, macroblocks b1 to b4 that overlap with the first reference macroblock among the macroblocks in the first reference frame are obtained, and among the macroblocks b1 to b4, overlap with the first reference macroblock. The motion information corresponding to the macroblock having the largest area is calculated. In the example of FIG. 7A, the macro block b4 shown in the lower right among the four macro blocks b1 to b4 shown in FIG. The motion information V4 corresponding to the block b4 is selected from the encoded data of the first reference frame.
[0063]
Step 3: Next, in the first reference frame, motion information ΔV4 from the center of the first reference macroblock to the center of the macroblock b4 having the largest area of the overlapping portion with the first reference macroblock is obtained (FIG. 7). (See (b)).
Step S4: The processing target macro in the processing target frame from the second reference frame based on the motion information V0 obtained in step 1, the motion information V4 obtained in step 2, and the motion information ΔV4 obtained in step 3 by the following calculation: The motion information Vnew up to the block is obtained.
[Expression 10]

[0064]
A-4. Another example of DCT coefficient calculation algorithm
Next, the DCT coefficient calculation algorithm of the DCT coefficient calculation circuit in this embodiment will be described with reference to FIG. In the present embodiment, the DCT coefficient corresponding to the processing target MB after P3 frame (first reference frame) thinning is calculated by the following procedure.
Step S1: First, the DCT coefficient corresponding to the processing target MB (that is, the DCT coefficient of the difference between the processing target MB and the first reference MB) is obtained from the encoded data of the P4 frame (processing target frame).
Step S2: Next, among the macroblocks b1 to b4 overlapping with the first reference MB in the thinned P3 frame, the DCT corresponding to the macroblock b4 having the largest area overlapping with the first reference MB The coefficient (that is, the DCT coefficient of the difference between the macroblock b4 and the reference MB) is obtained.
Step S3: Next, the DCT coefficient corresponding to the processing target MB obtained in Step S1 and the DCT coefficient corresponding to the macroblock b4 obtained in Step S2 are added, and this addition result is encoded after P3 frame decimation. The DCT coefficient corresponding to the MB is used.
[0065]
In the case of this example, the DCT coefficient corresponding to the processing target MB can be obtained by simply adding the DCT coefficient, and it is not necessary to perform the calculation as in Expression 2 in the first embodiment, so that the calculation amount is reduced. There is an advantage that you can.
Note that the DCT coefficient calculation circuit in this example may be combined with a motion information calculation circuit of another configuration in addition to the motion information calculation circuit in this example.
[0066]
A-5. Modification 1
In the embodiment described above, the concept of the frame in the picture group has been described. However, the present invention is not limited to the frame, and the present invention can also be applied to an encoding method such as MPEG-2 that handles fields. For example, in the case of a television signal, one frame is composed of two fields as illustrated in FIG. Then, interframe predictive coding is performed between odd fields and adjacent fields of adjacent frames. Even when transcoding encoded data obtained by such inter-frame predictive encoding, motion information and DCT coefficients are calculated according to basically the same procedure as described in the above embodiments. be able to. That is, each field in the frame is set as a processing target frame, and motion information and DCT coefficients according to the above embodiments may be calculated.
[0067]
A-6. Modification 2
In the embodiment described above, P frames in a picture group are thinned out. On the other hand, in this embodiment, for example, B frames are thinned out in a picture group having a configuration of IBBP, and the motion information and DCT coefficients of the encoded data of the B frames remaining in that case are changed to reduce the data amount.
[0068]
Hereinafter, the transcoding method according to the present modification will be described with reference to FIG. In the picture group shown in FIG. 9, two B frames are inserted between the I frame and the P frame. Each of these B frames is generated by referring to the I frame and the P frame. Here, among these B frames, the B frame immediately before the P frame is thinned out. When this thinning is performed, the B frame immediately after the I frame remains, but this B frame includes the following three types of macroblocks.
[0069]
a. A macroblock that has undergone interframe predictive coding in the forward prediction mode. That is, a macroblock that includes motion information referring to only the previous frame (I frame in this example) in the encoded data.
b. A macroblock that has been subjected to interframe predictive coding in the bidirectional prediction mode. That is, a macroblock that includes motion information referring to the previous frame (I frame in this example) and motion information referring to the subsequent frame (P frame in this example) in the encoded data.
c. A macroblock that has been subjected to interframe predictive coding in the backward prediction mode. That is, a macroblock that includes motion information referring to only a subsequent frame (P frame in this example) in encoded data.
[0070]
In the present embodiment, the encoded data of these three types of macro blocks a to c are processed as follows.
[0071]
<Processing of coded data of macroblock a>
For the encoded data of the macroblock, the motion information (forward direction) Vforward (B) and the DCT coefficient are left as they are.
[0072]
<Processing of coded data of macroblock b>
For the encoded data of the macroblock, only the motion information (forward direction) Vforward (B) referring to the previous frame is left, and the motion information (reverse direction) Vbackword (B) referring to the subsequent frame is discarded. Further, the DCT coefficient of the difference image after motion compensation is left as it is.
[0073]
<Processing of coded data of macroblock c>
For the encoded data of the macroblock, the macroblock is a processing target macroblock, the subsequent frame (P frame) is a frame to be thinned out in each of the above embodiments, and the previous frame (I frame) is in each of the above embodiments. Change the motion information corresponding to the macroblock to the content referring to the reference frame, and the DCT coefficient corresponding to the macroblock to the content referring to the reference frame. To do. FIG. 9 shows an example in which the motion information calculation method disclosed in the first embodiment is applied to this modification. That is, in the example shown in FIG. 9, the motion information referring to the reference frame is obtained for the macroblock by the following procedure.
[0074]
a. Motion information Vbackword (B) corresponding to the processing target macroblock is obtained from the encoded data.
b. A first reference macroblock corresponding to the processing target macroblock in the P frame is obtained from the motion information Vbackword (B).
c. The motion information Vforward (p) corresponding to the macroblock having the largest area of the portion overlapping each of the first reference macroblocks among the macroblocks in the P frame is obtained.
d. The motion information Vnew for motion compensation between the I frame referred to for generating the encoded data of the P frame and the processing target macroblock is calculated from the motion information of a and c according to the following equation. To do.
[Expression 11]

The above is the details of the motion information calculation process in the present modification.
[0075]
As in the case of the motion information described above, the DCT coefficient corresponding to the B frame can be used as it is in the first embodiment.
Through the above processing, the B frame remaining after the thinning becomes a P frame referring only to the previous frame (I frame in this example).
[0076]
In the above example, the case of using the motion information and DCT coefficient calculation method in the first embodiment has been described as an example. However, the motion information and DCT coefficient calculation method in other embodiments is described in this embodiment. It goes without saying that it can be applied.
In the above example, the case where the B frame is thinned out in the configuration called IBBP has been described. However, in the present embodiment, for example, one of two B frames between two P frames is thinned out in the configuration called IBBPBBP. Applicable.
[0077]
B. Second embodiment
B-1. Transcoding example
FIGS. 10A to 10C are diagrams illustrating an example of transcoding performed in the present embodiment. First, in the example shown in FIG. 10A, encoded data corresponding to a picture group composed of an I frame, two B frames, and a P frame is converted into a picture group composed of an I frame and three P frames. Transcoding is performed to convert the data into corresponding encoded data.
[0078]
In this example, the encoded data corresponding to the B frame before transcoding is generated by referring to the image data of the previous I frame and the image data of the subsequent P frame. Motion information for performing motion compensation (forward prediction) and motion information for performing motion compensation (reverse prediction) between P frames.
[0079]
Next, in the example shown in FIG. 10B, in the example shown in FIG. 10A, the encoded data corresponding to the later B frame out of the two B frames is thinned out, and immediately after the I frame. The encoded data corresponding to the B frame is converted into the encoded data of the P frame referring only to the I frame, and the encoded data corresponding to the last P frame in the picture group so as to have the content referring to the P frame. Perform the conversion.
[0080]
Next, in the example shown in FIG. 10C, when encoded data corresponding to a picture group including an I frame and three P frames is given, one of the three P frames is thinned out, and I Conversion into encoded data corresponding to a picture group consisting of a frame and two P frames.
[0081]
As exemplified above, in the transcoding to which the present invention is applied, when the encoded data of a certain processing target frame is generated with reference to another frame (first reference frame), the processing is performed. The encoded data of the target frame is changed to the content referring to the second reference frame. At that time, motion information corresponding to the motion from the second reference frame to the processing target frame is required. In order to obtain this motion information, the conventional transcoding device employs a method of searching an image similar to the image corresponding to each macroblock of the processing target frame from the image of the second reference frame. Therefore, the amount of calculation has become enormous. The present invention provides a new technical means to replace such motion information search, and reduces the amount of calculation in transcoding.
[0082]
B-2. Transcoding equipment
FIG. 11 is a block diagram showing a configuration of a transcoding apparatus according to an embodiment of the present invention. As shown in FIG. 11, the transcoding apparatus includes a decoder 10, an encoder 20, a motion information calculation unit 40, and a motion information correction unit 50.
[0083]
Among these, the decoder 10 is means for receiving encoded data encoded by a certain encoding algorithm and restoring the original image data from the encoded data. The demultiplexer 11 and the variable length decoder 12 and 13, an inverse quantizer 14, an adder 16, a frame memory 17, and a motion compensation unit 18.
[0084]
Here, the demultiplexer 11 converts encoded data corresponding to each frame other than the I frame, a variable length code representing a DCT coefficient of a difference image obtained by interframe predictive encoding, and a variable length of motion information. It is a device that separates into a code. The variable length decoders 12 and 13 are devices for returning the DCT coefficient variable length code and motion information variable length code separated by the demultiplexer 1 to DCT coefficient quantized data and motion information, respectively. The inverse quantizer 14 is a device that inversely quantizes the DCT coefficient quantized data obtained from the variable length decoder 12 and outputs the DCT coefficient. The inverse DCT unit 15 is a device that performs inverse DCT on the DCT coefficient obtained from the inverse quantizer 14 and obtains a prediction error obtained in interframe predictive coding with motion compensation. This prediction error is generated when the encoded data to be processed is generated, while performing motion compensation, the image corresponding to the encoded data and the frame (first image) that is referenced to generate the encoded data. This corresponds to the difference image obtained by performing subtraction with the image of the reference frame. The frame memory 17 is a memory that stores the decoded image data. When the prediction error (difference image) corresponding to a certain processing target frame is output from the inverse DCT unit 15 to the adder 16, the motion compensation unit 18 is referred to when the encoded data of the processing target frame is generated. This is a device that reads image data of one reference frame from the frame memory 17, performs motion compensation using the motion information from the variable length decoder 13, and outputs it to the adder 16. The adder 16 adds the motion compensated reference frame image data and the prediction error from the inverse DCT unit 15 and outputs the addition result as image data corresponding to the processing target frame. The configuration and operation of the decoder 1 described above are as already described with reference to FIG. 17B and FIG.
[0085]
Next, the encoder 20 includes a subtracter 21, a DCT unit 22, a quantizer 23, an inverse quantizer 24, an inverse DCT unit 25, an adder 26, a frame memory 27, and motion compensation. Section 28, variable length encoders 29 and 30, and multiplexer 31.
[0086]
Here, the subtractor 21 calculates a prediction error that is a difference between the image data corresponding to the processing target frame supplied from the decoder 1 side and the reference image data subjected to motion compensation supplied from the motion compensation unit 28. It is a device to calculate. Reference image data will be described later. The DCT unit 22 is a device that performs DCT on the prediction error obtained from the subtractor 21, and the quantizer 23 is a device that performs quantization on the DCT coefficient obtained from the DCT unit 22 and outputs quantized data. It is. The inverse quantizer 24 is a device that performs inverse quantization on the quantized data output from the quantizer 23 and outputs DCT coefficients. The inverse DCT unit 25 includes a DCT output from the inverse quantizer 24. This is a device that performs inverse DCT on a coefficient to restore a prediction error. The frame memory 27 is a memory for storing reference frame image data. When the image data corresponding to a certain processing target frame is supplied from the decoder 1 side to the subtractor 21, the motion compensation unit 28 refers to the reference frame referenced in the encoding of the processing target frame stored in the frame memory 27. The image data corresponding to is read, and motion compensation is performed on the image data using motion information supplied from a motion information correction unit 4 described later. Then, the reference image data obtained by this motion compensation is supplied to the subtracter 21 and the adder 26. The adder 26 adds the motion compensated reference image data and the prediction error obtained from the inverse DCT unit 25, and outputs image data corresponding to the processing target frame. This image data is written in the frame memory 24 as image data of a reference frame that is referred to when a subsequent frame is encoded.
[0087]
There is a significant difference between the encoder 20 described above and the encoder in the conventional transcoding apparatus already described. That is, the encoder of the conventional transcoding apparatus has a motion prediction and compensation unit 106 (see FIG. 24A), and the motion prediction and compensation unit 106 performs motion from the reference frame to the processing target frame. However, the encoder 20 in this embodiment does not have a means for searching for such motion information. The encoder 20 in this embodiment performs motion compensation of the image data of the reference frame using the motion information sent from the motion information correction unit 50. The feature of this embodiment is that this motion information is obtained with a remarkably small amount of calculation as compared with the prior art. In the present embodiment, this motion information is obtained by the motion information calculation unit 40 and the motion information correction unit 50 in FIG.
[0088]
Next, the motion information calculation unit 40 will be described. The motion information calculation unit 40 is a device that calculates motion information to be included in encoded data after transcoding by performing a predetermined calculation using motion information obtained from the variable length decoder 13 of the decoder 1. is there. Further details are as follows. For example, when transcoding illustrated in FIG. 10A is performed, if a B frame immediately after an I frame is a processing target frame, encoded data corresponding to the processing target frame is an I frame and a P frame (first frame). Reference frame) image data, including motion information corresponding to the motion from the I frame to the processing target frame and motion information corresponding to the motion from the P frame to the processing target frame. It is out. In transcoding, the encoded data of the processing target frame is converted into encoded data that refers to only the I frame (second reference frame). In order to obtain encoded data that refers to only this I frame (second reference frame), the motion information calculation unit 3 uses at least the motion information included in the encoded data of the processing target frame, The motion information corresponding to the motion from the (second reference frame) to the processing target frame is calculated. There are several suitable algorithms for calculating the motion information, and will be described in detail later.
[0089]
Next, the motion information correction unit 50 will be described. The motion information obtained from the motion information calculation unit 40 is not obtained by searching for motion information, but is obtained by calculating existing motion information. For this reason, motion information that is not very accurate may be obtained. Therefore, in the present embodiment, it is determined whether or not the motion information obtained from the motion information calculation unit 3 is accurate. If it is recognized that the motion information is accurate, the motion information is used as it is. The data is sent to the encoder 20. On the other hand, when it is recognized that the motion information obtained from the motion information calculation unit 40 is not accurate, the processing target frame is selected from the image data of the second reference frame stored in the frame memory 17. An image approximate to the image is searched, and motion information corresponding to the motion from the second reference frame to the processing target frame is obtained. The motion information correction unit 50 is a means for performing such a function. Note that the specific contents of the process for determining whether or not the motion information obtained from the motion information calculation unit 3 is accurate and the details of the process for obtaining the motion information by searching are redundant. Will be described in the operation section of this embodiment.
[0090]
Hereinafter, the operation of this embodiment will be described with reference to the case of performing transcoding shown in FIG. The transcoding device according to the present embodiment includes a motion information calculation unit 40 and a motion information correction unit 50, and the conventional transcoding device is used in that the motion information obtained by these is used on the encoder 20 side. Is different. Therefore, hereinafter, the operations of the motion information calculation unit 40 and the motion information correction unit 50 will be mainly described.
[0091]
(1) Operation of the motion information calculation unit 40
First, the operation of the motion information calculation unit 40 when performing the transcoding shown in FIG. 10A will be described with reference to FIGS.
[0092]
12 to 14, two B frames are inserted between an I frame and a P frame before transcoding. The motion information calculation unit 3 uses the motion information calculation processing necessary to make these B frames P frames referring only to the immediately preceding frame and the last P frame as the immediately preceding P frame (which was originally a B frame). ) To perform motion information calculation processing necessary to obtain a P frame referring only to.
[0093]
<Process corresponding to B frame immediately after I frame>
In the present embodiment, the following three types of macroblocks included in the B frame are handled.
a. A macroblock that has undergone interframe predictive coding in the forward prediction mode. That is, a macroblock that includes motion information referring to only the previous frame (I frame in this example) in the encoded data.
b. A macroblock that has been subjected to interframe predictive coding in the bidirectional prediction mode. That is, a macroblock that includes motion information referring to the previous frame (I frame in this example) and motion information referring to the subsequent frame (P frame in this example) in the encoded data.
c. A macroblock that has been subjected to interframe predictive coding in the backward prediction mode. That is, a macroblock that includes motion information referring to only a subsequent frame (P frame in this example) in encoded data.
The same applies to the second B frame, not limited to the one immediately after the I frame.
[0094]
The motion information calculation unit 3 calculates the post-transcoding motion information corresponding to the three types of macro blocks a to c regarding the B frame immediately after the I frame as follows.
[0095]
First, for the macroblock a, the motion information (forward direction) Vforward (B) separated from the encoded data of the macroblock is directly used as the motion information after transcoding. Next, for the macroblock b, among the motion information separated from the encoded data of the macroblock, only the motion information (forward direction) Vforward (B) referring to the previous frame is used as the motion information after transcoding, The motion information (reverse direction) Vbackward (B) referring to the subsequent frame is discarded.
[0096]
Next, with respect to the macro block c, the encoded data corresponding to the macro block c includes only motion information Vbackward (B) for motion compensation with the P frame (first reference frame). In addition, it does not include motion information for motion compensation with an I frame (second reference frame) that is a reference destination after transcoding. On the other hand, the encoded data of each macroblock constituting the P frame (first reference frame) includes motion information Vforward (P) for motion compensation with the I frame (second reference frame). Therefore, the motion information calculation circuit 3 performs motion information for motion compensation between the macroblock c and the I frame (second reference frame) by calculation using the motion information Vbackward (B) and Vforward (P). Find the predicted value of.
[0097]
Here, an example of a method for calculating the predicted value of the motion information will be described with reference to FIG.
Step 1: First, the motion information Vbackward (B) separated from the encoded data of the macroblock c to be processed is acquired. This motion information Vbackward (B) corresponds to the motion from the macroblock (first reference macroblock) corresponding to the processing target macroblock c included in the P frame (first reference frame) to the processing target macroblock c. is doing.
[0098]
Step 2: The first reference macroblock corresponding to the macroblock c in the P frame (first reference frame) is obtained from the motion information Vbackward (B).
Step 3: The motion information Vforward (P) corresponding to the macroblock having the widest area of the portion overlapping with the first reference macroblock among the macroblocks in the P frame (first reference frame) is obtained. In the example shown in FIG. 15, the first reference macroblock extends over the macroblocks b1 to b4, and the area of the portion overlapping with the macroblock b4 is the largest. Therefore, the motion information V4 corresponding to the macro block b4 is selected as the motion information Vforward (P).
[0099]
Step 4: Predicted motion information Vforward (B) after transcoding of the macroblock c is calculated from the motion information Vbackward (B) and Vforward (P) according to the following equation.
[Expression 12]

The above is the details of the method for calculating the motion information after transcoding corresponding to the B frame immediately after the I frame.
[0100]
<Process corresponding to second B frame>
Next, a process corresponding to the second B frame will be described with reference to FIG. This second B frame also includes the above three types of macroblocks a to c, similarly to the B frame immediately after the I frame. Also, the time difference between the second B frame that is the processing target frame and the first reference frame (B frame of the I frame) that is the reference destination before the transcoding, the reference target after the processing target frame and the transcoding thereof Comparing the difference with the second reference frame (B frame immediately after the I frame), the latter is ½ of the former. Therefore, the motion information calculation unit 3 calculates the motion information after transcoding corresponding to the three types of macro blocks a to c by the following linear interpolation.
[0101]
First, for this macroblock a, motion information (forward direction) Vforward (B) separated from the encoded data of the macroblock is acquired, and Vforward (B) / 2 is used as motion information after transcoding. Next, for the macroblock b, the motion information (forward direction) Vforward (B) referring to the previous frame is acquired from the motion information separated from the encoded data of the macroblock, and Vforward (B) / 2 Is the motion information after transcoding. Next, for the macroblock c, motion compensation between the macroblock c and the corresponding macroblock in the I frame (second reference frame) is performed in the same manner as in the case of the B frame immediately after the I frame. Predictive motion information Vforward (B) is obtained, and Vforward (B) / 2 is set as motion information after transcoding. The above is the details of the method for calculating the motion information after transcoding corresponding to the second B frame. When the motion of the image is relatively slow, it is considered that a predicted value of motion information that is relatively close to that obtained by motion information search can be obtained even by such linear interpolation.
[0102]
<Process corresponding to the last P frame>
Next, a process corresponding to the last P frame will be described with reference to FIG. In each macroblock constituting the P frame, encoded data is generated by referring to the first I frame (first reference frame). Also, the time difference between the P frame that is the processing target frame and the first reference frame (I frame) that is the reference destination before the transcoding, and the second reference that is the reference destination after the processing target frame and the transcoding. Comparing the time difference with the frame (second B frame), the latter is 1/3 of the former. Therefore, the motion information calculation unit 3 calculates the motion information after transcoding in the processing target frame by the following linear interpolation. That is, for each macroblock, motion information (forward direction) Vforward (P) separated from the encoded data of the macroblock is acquired, and Vforward (P) / 3 is used as motion information after transcoding. The above is the details of the calculation method of the motion information after transcoding corresponding to the last P frame.
[0103]
(2) Operation of the motion information correction unit 50
As described above, the motion information obtained from the motion information calculation unit 40 is obtained by using the existing motion information as it is or by applying a predetermined calculation to the existing motion information. Information may be obtained. The motion information correction unit 50 determines whether or not the motion information obtained by the motion information calculation unit 40 can be said to be accurate. If it is determined that the motion information is not accurate, the motion information that replaces the motion information is obtained. Is supplied to the encoder 20. FIG. 16 is a flowchart showing the operation of the motion information correction unit 4. The motion information correction unit 50 executes the processing shown in this flowchart for each macroblock (hereinafter referred to as a processing target macroblock) constituting the processing target frame.
[0104]
First, the motion information correction unit 50 uses the motion information calculated by the motion information calculation unit 3 (hereinafter referred to as motion information MEnew) to determine the position in the frame of the second reference macroblock corresponding to the processing target macroblock. The image data corresponding to the second reference macro block is obtained from the frame memory 17. Next, the motion information correction unit 4 subtracts the image data corresponding to the second reference macroblock from the image data of the processing target macroblock obtained from the adder 16 to obtain a prediction error (hereinafter referred to as a second prediction error). Is calculated (step S1).
[0105]
Next, the motion information correcting unit 50 predicts a prediction error corresponding to the processing target macroblock output from the inverse DCT unit 15 (difference image between the processing target macroblock and the first reference macroblock. Is called a prediction error), and it is determined whether or not the condition shown in the following equation is satisfied (step S2).
[Formula 13]

Here, α is a predetermined constant.
[0106]
When the condition shown in the above equation (13) is satisfied, the motion information correction unit 50 regards the motion information MEnew as accurate motion information, and determines the motion information MEnew from the second reference macroblock to the processing target block. The motion information corresponding to the motion is sent to the encoder 2 (step S5).
[0107]
On the other hand, when the condition shown in the above equation (13) is not satisfied, the motion information correction unit 50 regards the motion information MEnew as inaccurate motion information, and determines a search range for motion information based on the motion information MEnew ( In step S3), accurate motion information replacing the motion information MEnew is searched for in this search range (step S4).
Hereinafter, these processes will be described with reference to FIGS.
[0108]
First, FIG. 17 shows a method for determining a search range of motion information when the macroblock included in the B frame immediately after the I frame is the processing target macroblock in the case of performing the transcoding shown in FIG. Explain.
[0109]
Here, in the case of the B frame immediately after the I frame, the second reference frame which is a reference destination after transcoding is the I frame. Therefore, the motion information correction unit 4 uses the motion information calculated by the motion information calculation circuit 3 (Vforward (B) in FIG. 17) to determine the position of the second reference macroblock corresponding to the processing target macroblock. In FIG. 17, this second reference macroblock is indicated by a broken line in a rectangle representing an I frame. The motion information correction circuit 50 obtains four macroblocks having a portion overlapping with the second reference block among the macroblocks constituting the I frame that is the second reference frame. These four macroblocks are the search range of motion information corresponding to the processing target macroblock.
[0110]
When the search range of motion information is determined in this way, the motion information correction unit 50 selects the image of the processing target macroblock from the images corresponding to the second reference frame (I frame) within the search range. Search for the one with the smallest prediction error. Then, motion information corresponding to the motion from the reference image obtained by this search to the processing target macroblock is obtained.
[0111]
Next, FIG. 18 illustrates a method for determining a motion information search range when the macroblock included in the second B frame is the processing target macroblock in the case of performing the transcoding illustrated in FIG. To do. FIG. 19 illustrates a method for determining a search range for motion information when the macroblock included in the last P frame is a processing target macroblock. The operation of the motion information correction unit 50 in these cases is the same as in the case of the B frame immediately after the I frame already described. That is, the motion information correction unit 50 obtains each macroblock that overlaps with the second reference macroblock among the macroblocks constituting the second reference frame immediately before the processing target frame, and uses these macroblocks as a search range for motion. It searches for information.
[0112]
The above is the processing content of the motion information correction unit 50 corresponding to steps S3 and S4 in FIG. The motion information correction unit 50 sends the motion information obtained in this way to the encoder 20 as motion information corresponding to the motion from the second reference macroblock to the processing target block (step S5).
[0113]
(3) Operation of encoder 20
The encoder 20 includes image data of each macro block (processing target macro block) output from the decoder 10 and motion corresponding to each processing target macro block output by the motion information correction unit 50. Information. Then, the motion compensation unit 28 in the encoder 20 uses the motion information corresponding to each processing target macroblock received from the motion information modification unit 50 to position the second reference macroblock corresponding to each processing target macroblock. Each is obtained. Then, the image data of the second reference block corresponding to each processing target macroblock is read from the frame frame memory 27 and sent to the subtracter 21.
[0114]
The subtracter 21 subtracts the image data of each of these second reference macroblocks from the image data of the processing target macroblock corresponding to each, and outputs each as a prediction error. This prediction error is converted into DCT coefficients by the DCT unit 22 and converted into quantized data by the quantizer 23. This quantized data is returned to the prediction error through the inverse quantizer 24 and the inverse DCT unit 25. The adder 26 adds the image data of the second reference macroblock output from the motion compensation unit 28 and the prediction error, and writes the result in the frame memory 27 as image data corresponding to the processing target macroblock.
[0115]
On the other hand, the quantized data output from the quantizer 23 is converted into a variable length code by the variable length encoder 29. Also, the motion information from the motion information correction unit 4 is converted into a variable length code by the variable length encoder 30. These variable length codes are multiplexed by the multiplexer 31 and output as encoded data after transcoding corresponding to the processing target frame.
[0116]
As described above, according to this embodiment, no motion information search is performed on the encoder 20 side, and the amount of calculation for searching for motion information during transcoding is greatly reduced. Can be significantly increased.
[0117]
B-3. Example of operation in other transcoding
In the embodiment described above, the case where the transcoding illustrated in FIG. 10A is performed has been described as an example, but here, an operation example in the case where other transcoding is performed will be described.
[0118]
First, the operation of the motion information calculation unit 40 when performing the transcoding shown in FIG. 10B will be described with reference to FIG. In FIG. 20, the method for calculating the motion information after transcoding the B frame immediately after the I frame is as described in the above embodiment. Next, the second B frame in FIG. 20 is thinned out during transcoding.
[0119]
Then, motion information after transcoding of the last P frame of the picture group is obtained as follows. First, as shown in FIG. 20, a P frame that uses an I frame as a reference frame before transcoding is a frame that refers to a P frame immediately after the I frame after transcoding (originally a B frame). Become. Here, when the time difference between the I frame and the P frame is compared with the time difference between the P frame immediately after the I frame before transcoding and the last P frame, the latter is 2/3 of the former. Therefore, the motion information calculation unit 3 acquires motion information V (P) corresponding to each macroblock of the last P frame, and uses 2V (P) / 3 as motion information after transcoding.
[0120]
Next, the operation of the motion information calculation unit 40 when performing the transcoding shown in FIG. 10C will be described with reference to FIG. In FIG. 21, the P frame immediately after the I frame has no change in the reference frame before and after transcoding. Therefore, the P frame is not a processing target of the motion information calculation unit 3. The second P frame is thinned out during transcoding. Therefore, the second P frame is not processed by the motion information calculation unit 3.
[0121]
Next, the last P frame of the picture group is the first reference frame that is the reference destination before transcoding, and the second reference frame that is the reference destination after transcoding is the I frame. This is the first P frame immediately after. Therefore, the motion information calculation unit 3 performs motion information corresponding to the motion between the second reference frame and the processing target frame for each processing target macroblock constituting the last P frame that is the processing target frame by the following procedure. The predicted value Vforward (P) is calculated.
[0122]
Step 1: First, using the motion information Vforward (P) corresponding to the processing target macroblock in the last P frame, the first corresponding to the processing target macroblock in the first reference frame (second P frame). Find a reference macroblock.
Step 2: Next, motion information Vforward (P) corresponding to the macroblock having the largest area of the portion overlapping with the first reference macroblock among the macroblocks in the first reference frame is obtained, and this motion information Vforward is obtained. (P) and the motion information Vforward (P) obtained in step 1 are added. As a result, a predicted value Vforward (P) of motion information corresponding to the motion between the second reference frame (first P frame) and the processing target frame is obtained.
[0123]
The above is the operation of the motion information calculation circuit 3 when transcoding with frame thinning as exemplified in FIGS. 10B and 10C is performed. The operations of the motion information correction unit 50 and other parts are not different from those of the above embodiment. FIG. 22 shows that the motion information corresponding to the processing target macroblock in the last P frame calculated by the motion information calculation unit 40 is incorrect when the transcoding illustrated in FIG. 10C is performed. There is shown a method of determining a search range when the motion information correction unit 50 searches for motion information. As shown in this figure, the motion information correction unit 50 obtains a second reference macroblock in the second reference frame (first P frame) using the motion information calculated by the motion information calculation unit 40, and this The motion information is searched for each macroblock in the second reference frame that overlaps with the second reference macroblock as a search range.
[0124]
B-4. Embodiment in which a frame is composed of two fields
In the embodiment described above, the concept of a frame in a picture group has been described. However, the present invention is not limited to a frame, and this embodiment handles fields as shown in FIG. 8 as in the first embodiment. The present invention can also be applied to an encoding method such as MPEG-2. That is, each field in the frame is set as a processing target frame, and the motion information may be calculated and corrected according to the above embodiment.
[0125]
C. Third embodiment
FIG. 23 is a block diagram showing a configuration of a transcoding apparatus according to the third embodiment of the present invention. As shown in FIG. 23, this transcoding device includes an input unit 61, a buffer 62, a switching control unit 63, a switching unit 64, a first transcoding unit 70, and a second transcoding unit 80. is doing.
[0126]
The input unit 61 includes a demultiplexer 61A, variable length decoders 61B and 61C, and an inverse quantizer 61D.
[0127]
Here, the demultiplexer 61A converts the encoded data of the other frames excluding the I frame into a variable length code of the DCT coefficient and a variable length code of the motion information of the difference image obtained by the inter-frame prediction encoding. It is a device to separate. The variable length decoders 61B and 61C are devices that return the DCT coefficient variable length code and motion information variable length code separated by the demultiplexer 61A to DCT coefficient quantized data and motion information. The buffer 62 receives the motion information from the variable length decoder 61C and the DCT coefficients from the inverse quantizer 61D, and stores the motion information and DCT coefficients corresponding to the latest predetermined number of frames. The recent predetermined number of frames is, for example, a picture group. When the storage of the DCT coefficient and motion information corresponding to one picture group is completed, the stored DCT coefficient and motion information are read from the buffer 62, and the DCT coefficient and motion information corresponding to the next picture group are stored. Be started.
[0128]
The switching control unit 63 monitors the motion information in the buffer 62, determines whether or not the moving image is fast based on the motion information, and controls the switching unit 64 based on the determination result. The switching unit 64 transfers DCT coefficients and motion information corresponding to a predetermined number of frames from the buffer 62 to the first transcoding unit 70 or the second transcoding unit 80 under the control of the switching control unit 63.
[0129]
The first transcoding unit 70 is a device that performs transcoding according to the method disclosed in the first embodiment. For this reason, the first transcoding unit 70 includes the elements included in the transcoding device according to the first embodiment (see FIG. 2). The second transcoding unit 80 is a device that performs transcoding according to the method disclosed in the second embodiment. For this reason, the second transcoding unit 80 includes elements included in the transcoding apparatus according to the second embodiment (see FIG. 11).
[0130]
Next, the operation of this embodiment will be described. The encoded data of the frame of the moving image is supplied to the transcoding device, and the buffer 62 stores DCT coefficients and motion information corresponding to a recent predetermined number of frames.
[0131]
When the motion information stored in the buffer 62 is smaller than a predetermined threshold (when the motion of the moving image is slow), the switching control unit 63 receives the DCT coefficient and the motion information from the buffer 62 to the DCT coefficient of the first transcoding unit 70. The switching unit 64 is controlled so as to be transferred to the calculation circuit 5 and the motion information calculation circuit 2, respectively. As a result, the transcoding disclosed in the first embodiment is applied to the DCT coefficients and motion information of a moving image with a small amount of calculation.
[0132]
On the other hand, when the motion information stored in the buffer 62 is larger than the threshold (when the motion of the moving image is fast), it is difficult for the motion information calculation circuit 2 to calculate accurate motion information. There may be a problem that the code amount of the obtained encoded data increases. Therefore, in this case, the switching control unit 63 controls the switching unit 64 so that the DCT coefficient and the motion information are transferred from the buffer 62 to the inverse DCT unit 15 and the motion information calculation unit 40 of the second transcoding unit 80, respectively. . As a result, the transcoding disclosed in the second embodiment is applied to the DCT coefficient and motion information of the moving image.
[0133]
In the third embodiment described above, the switching control of the switching unit 64 is performed in units of a predetermined number of frames such as a picture group. However, the switching control method is not limited to the mode described above. The number of frames for which switching control is performed may not be constant.
[0134]
D. Modified example
In each of the embodiments described above, the concept of a picture group consisting of a fixed number of frames is used. However, the present invention is not limited to application to such a picture group, and is not limited to MPEG-4. The present invention may be applied to an encoding method that does not have a concept of a simple picture group.
[0135]
【The invention's effect】
As described above, according to the present invention, transcoding for converting the first moving image encoded data into the second moving image encoded data can be executed with a small amount of calculation.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of transcoding performed in a first embodiment of the present invention.
FIG. 2 is a block diagram showing a transcoding device in the same embodiment.
FIG. 3 is a diagram showing a processing content of a motion information calculation circuit in the same embodiment.
FIG. 4 is a diagram showing processing contents of a DCT coefficient calculation circuit in the same embodiment;
FIG. 5 is a diagram for explaining the effect of the embodiment in comparison with a conventional transcoding apparatus;
FIG. 6 is a diagram illustrating another example of a motion information calculation algorithm.
FIG. 7 is a diagram illustrating another example of a motion information calculation algorithm.
FIG. 8 is a diagram showing a concept of a field in the same embodiment.
FIG. 9 is a diagram showing another example of the motion information calculation algorithm in the embodiment.
FIG. 10 is a diagram showing an example of transcoding performed in the second embodiment of the present invention.
FIG. 11 is a block diagram showing a transcoding apparatus according to a second embodiment of the present invention.
FIG. 12 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
FIG. 13 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
FIG. 14 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
FIG. 15 is a diagram showing a motion information calculation algorithm of a motion information calculation unit in the same embodiment.
FIG. 16 is a flowchart showing an operation of a motion information correction unit in the embodiment.
FIG. 17 is a diagram illustrating a motion information search process of a motion information correction unit in the same embodiment.
FIG. 18 is a diagram illustrating a motion information search process of a motion information correction unit in the same embodiment.
FIG. 19 is a diagram illustrating a motion information search process of a motion information correction unit in the same embodiment.
FIG. 20 is a diagram illustrating an operation example when performing transcoding with frame thinning in the embodiment.
FIG. 21 is a diagram showing an operation example when performing transcoding with frame thinning in the embodiment;
FIG. 22 is a diagram showing an operation example when performing transcoding with frame thinning in the embodiment;
FIG. 23 is a block diagram showing a configuration of a transcoding apparatus according to a third embodiment of the present invention.
FIG. 24 is a block diagram illustrating a general configuration of an encoder and a decoder in a moving image encoding transmission system.
FIG. 25 is a diagram illustrating the operation of the encoder.
FIG. 26 is a diagram illustrating an operation of the decoder.
FIG. 27 shows a conventional transcoding method and transcoding apparatus.
[Explanation of symbols]
2 ... motion information calculation circuit, 5 ... DCT coefficient calculation circuit, 10 ... decoder, 20 ... encoder, 40 ... motion information calculation unit, 50 ... motion information correction unit, 63 ... switching control , 64... Switching section, 70... First transcoding section, 80.

Claims (13)

Transformer that converts first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation into second encoded data having a different configuration In coding method,
The first reference frame referred to in the inter-frame prediction encoding of the processing target frame, with some frames of the plurality of frames constituting the moving image being the target of the inter-frame prediction encoding as processing target frames Includes the second encoded data corresponding to the encoded data that would be obtained when the inter-frame prediction encoding of the processing target frame is performed with reference to another second reference frame, Including an inter-frame prediction encoded data re-editing process generated from the first encoded data of a plurality of frames,
The inter-frame prediction encoded data re-editing process includes a motion information calculation process for calculating motion information to be included in the second encoded data using at least the motion information included in the processing target encoded data. See
In the inter-frame predictive encoded data re-editing process, a part of the frames subjected to the inter-frame predictive encoding is set as a first reference frame, and the inter-frame predictive encoding is performed with reference to the first reference frame. A frame to be processed as a processing target frame, a frame referred to in inter-frame prediction encoding of the first reference frame as a second reference frame, and processing target encoded data that is first encoded data corresponding to the processing target frame; Encoding obtained when interframe predictive encoding of a processing target frame is performed with reference to a second reference frame from first reference encoded data that is first encoded data corresponding to the first reference frame Generating second encoded data corresponding to the data;
In the motion information calculation process, each macro block constituting the processing target frame is a processing target macro block, a block obtained by dividing the processing target macro block is a processing target block, and each processing target macro block is
a. Obtaining motion information corresponding to the processing target macroblock from the processing target encoded data;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. For each of a plurality of first reference blocks obtained by dividing the first reference macroblock, it corresponds to a macroblock having the widest area of the portion overlapping with the first reference block among the macroblocks in the first reference frame. Seeking movement information,
d. By adding the motion information of a and the motion information obtained for each of the plurality of first reference blocks of c, the second reference frame and each processing target block obtained by dividing the processing target frame A transcoding method characterized in that motion information for motion compensation is calculated. Transformer that converts first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation into second encoded data having a different configuration In coding method,
The first reference frame referred to in the inter-frame prediction encoding of the processing target frame, with some frames of the plurality of frames constituting the moving image being the target of the inter-frame prediction encoding as processing target frames Includes the second encoded data corresponding to the encoded data that would be obtained when the inter-frame prediction encoding of the processing target frame is performed with reference to another second reference frame, Including an inter-frame prediction encoded data re-editing process generated from the first encoded data of a plurality of frames,
The inter-frame prediction encoded data re-editing process includes a motion information calculation process for calculating motion information to be included in the second encoded data using at least the motion information included in the processing target encoded data. See
In the inter-frame predictive encoded data re-editing process, a part of the frames subjected to the inter-frame predictive encoding is set as a first reference frame, and the inter-frame predictive encoding is performed with reference to the first reference frame. the Broken frame processed frame, a reference frame in frame over arm predictive coding of the first reference frame and a second reference frame, processed coded is first encoded data corresponding to the processing object frame Obtained when interframe predictive encoding of the processing target frame is performed with reference to the second reference frame from the data and the first reference encoded data that is the first encoded data corresponding to the first reference frame Generating second encoded data corresponding to the encoded data;
In the motion information calculation process, each macro block constituting the processing target frame is set as a processing target macro block, and for each processing target macro block,
a. Obtaining motion information corresponding to the processing target macroblock from the processing target encoded data;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. Obtaining motion information corresponding to a macroblock having the widest area of a portion overlapping with the first reference macroblock among the macroblocks in the first reference frame;
d. Obtaining motion information corresponding to the movement from the macroblock having the largest area overlapping the first reference macroblock to the first reference macroblock;
e. The motion information for motion compensation between the second reference frame and the processing target frame is calculated by adding the motion information of a and c and subtracting the motion information of d from there. And transcoding method. A thinning-out process of thinning out first encoded data corresponding to some frames from first encoded data corresponding to a plurality of frames constituting the moving image;
In the inter-frame predictive encoded data re-editing process, a frame corresponding to the first encoded data to be thinned out is set as a first reference frame, and a frame subjected to inter-frame predictive encoding with reference to the first reference frame is used. the processing target frame, a reference frame in inter-frame predictive coding of the first reference frame and a second reference frame, any one of claims 1 or 2, characterized in that to generate the second coded data The transcoding method described in 1. The inter-frame predictive encoding algorithm performs motion compensation for each macro block obtained by dividing a frame, and generates encoded data by performing orthogonal transformation of a difference image between frames for each block obtained by dividing the macro block. And
The inter-frame predictive encoded data re-editing process includes:
For each processing target block obtained by dividing the processing target frame using the motion information and orthogonal transform coefficient included in the processing target encoded data and the orthogonal transform coefficient included in the first encoded data of the first reference frame, the second The orthogonal transformation coefficient calculation process which calculates the orthogonal transformation coefficient of the difference between the reference image corresponding to the said process target block in a reference frame is provided, The claim of Claim 1 or 2 characterized by the above-mentioned. Transcoding method. In the orthogonal transform coefficient calculation process, a plurality of macroblocks obtained by dividing the processing target frame are set as processing target macroblocks, a plurality of blocks obtained by dividing each processing target macroblock are set as processing target blocks, and each processing target macroblock is ,
a. Obtaining motion information corresponding to the processing target macroblock from the first encoded data of the processing target frame;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. For each processing target block in the processing target macroblock, the first reference at the same position as the position of the processing target block in the processing target macroblock among the first reference blocks obtained by dividing the first reference macroblock The orthogonal transformation coefficient of the difference image corresponding to each block having a portion overlapping with the block, the positional relationship between the first reference block and each block having a portion overlapping with the first reference block, and the processing target block from an orthogonal transformation coefficients of the corresponding difference image, claim 4, characterized in that to calculate the corresponding target block, the orthogonal transform coefficients of the difference between the reference image corresponding to the target block in the second reference frame The transcoding method described in 1. In the orthogonal transform coefficient calculation process, each of a plurality of macro blocks obtained by dividing the processing target frame is set as a processing target macro block, and each of the plurality of blocks obtained by dividing each processing target macro block is set as a processing target block.
a. Obtaining motion information corresponding to the processing target macroblock from the first encoded data of the processing target frame;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. In the first reference frame, the orthogonal transform coefficient of the difference image corresponding to the macroblock having the widest area of the portion overlapping with the first reference macroblock, and the orthogonal transform coefficient of the difference image corresponding to the processing target macroblock transcoding of claim 4, characterized in that from, calculates the the process target macroblock, an orthogonal conversion coefficient of a difference between the reference image corresponding to the current macroblock of the second reference frame Method. 3. The transformer according to claim 1 , wherein the frame includes a plurality of fields, and the second encoded data is generated using each of the fields as the processing target frame. 4. Coding method. A plurality of frames constituting the moving image is composed of a plurality of picture groups, predictive coded data re-editing process between the frames, between each group of pictures is an I-frame and subsequent P-frame or P-frame and the subsequent P frame When a plurality of B frames are included, one of these B frames is thinned out, and the remaining B frame is converted into a P frame referring only to the preceding I frame or P frame. Item 3. The transcoding method according to any one of Items 1 and 2. The inter-frame predictive encoded data re-editing process includes:
An image data restoration process for restoring a plurality of frames of image data constituting the moving image from the first encoded data;
When the motion information calculated by the motion information calculation process is inaccurate, the motion information to be included in the second encoded data instead of the motion information is searched by searching the image data restored by the image data restoration process. The desired motion information correction process,
An encoding process for encoding the image data obtained by the image data restoration process, the motion information calculation process, and the motion information obtained by the motion information correction process, and generating the second encoded data; The transcoding method according to claim 1 , further comprising: The motion information correction process includes:
Motion compensation using motion information corresponding to the processing target macroblock included in the first encoded data for each processing target macroblock constituting the processing target frame by decoding the first encoded data Prediction error decoding process for obtaining a first prediction error that is a difference between the image data of the processing target macroblock in the first reference frame and the image data of the first reference macroblock corresponding to the processing target macroblock in the first reference frame When,
For each processing target macroblock constituting the processing target frame, motion compensation is performed using the motion information calculated by the motion information calculation process, and the image data of the processing target macroblock and the image of the second reference frame A prediction error calculation process for calculating a second prediction error that is a difference from the data;
For the processing target macroblock whose second prediction error is greater than the first prediction error by a predetermined value or more, using the image data of the processing target macroblock and the image data corresponding to the second reference frame, The transcoding method according to claim 9 , further comprising: a motion information search process that searches for motion information instead of the motion information obtained by the motion information calculation process. The motion information correction process includes a process of determining a search range of motion information based on the motion information calculated by the motion information calculation process, and the motion information search process searches for motion information within the search range. The transcoding method according to claim 9 . Transformer that converts first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation into second encoded data having a different configuration In the coding device,
The first reference frame referred to in the inter-frame prediction encoding of the processing target frame, with some frames of the plurality of frames constituting the moving image being the target of the inter-frame prediction encoding as processing target frames Includes the second encoded data corresponding to the encoded data that would be obtained when the inter-frame prediction encoding of the processing target frame is performed with reference to another second reference frame, Including inter-frame prediction encoded data re-editing means generated from the first encoded data of a plurality of frames,
The inter-frame prediction encoded data re-editing means includes motion information calculation means for calculating motion information to be included in the second encoded data using at least the motion information included in the processing target encoded data. See
The inter-frame prediction encoded data re-editing means sets a part of the frames subjected to the inter-frame prediction encoding as a first reference frame, and performs the inter-frame prediction encoding with reference to the first reference frame. A frame to be processed as a processing target frame, a frame referred to in inter-frame prediction encoding of the first reference frame as a second reference frame, and processing target encoded data that is first encoded data corresponding to the processing target frame; Encoding obtained when interframe predictive encoding of a processing target frame is performed with reference to a second reference frame from first reference encoded data that is first encoded data corresponding to the first reference frame Generating second encoded data corresponding to the data;
The motion information calculation means uses each macro block constituting the processing target frame as a processing target macro block, sets a block obtained by dividing the processing target macro block as a processing target block, and for each processing target macro block,
a. Obtaining motion information corresponding to the processing target macroblock from the processing target encoded data;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. For each of a plurality of first reference blocks obtained by dividing the first reference macroblock, it corresponds to a macroblock having the widest area of the portion overlapping with the first reference block among the macroblocks in the first reference frame. Seeking movement information,
d. By adding the motion information of a and the motion information obtained for each of the plurality of first reference blocks of c, the second reference frame and each processing target block obtained by dividing the processing target frame A transcoding apparatus that calculates motion information for motion compensation between the two. Transformer that converts first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation into second encoded data having a different configuration In the coding device,
The first reference frame referred to in the inter-frame prediction encoding of the processing target frame, with some frames of the plurality of frames constituting the moving image being the target of the inter-frame prediction encoding as processing target frames Includes the second encoded data corresponding to the encoded data that would be obtained when the inter-frame prediction encoding of the processing target frame is performed with reference to another second reference frame, Including inter-frame prediction encoded data re-editing means generated from the first encoded data of a plurality of frames,
The inter-frame prediction encoded data re-editing means includes motion information calculation means for calculating motion information to be included in the second encoded data using at least the motion information included in the processing target encoded data. See
The inter-frame prediction encoded data re-editing means sets a part of the frames subjected to the inter-frame prediction encoding as a first reference frame, and performs the inter-frame prediction encoding with reference to the first reference frame. A frame to be processed as a processing target frame, a frame referred to in inter-frame prediction encoding of the first reference frame as a second reference frame, and processing target encoded data that is first encoded data corresponding to the processing target frame ; Encoding obtained when interframe predictive encoding of a processing target frame is performed with reference to a second reference frame from first reference encoded data that is first encoded data corresponding to the first reference frame Generating second encoded data corresponding to the data;
The motion information calculating means sets each macroblock constituting the processing target frame as a processing target macroblock, and for each processing target macroblock,
a. Obtaining motion information corresponding to the processing target macroblock from the processing target encoded data;
b. Obtaining the position of the first reference macroblock corresponding to the processing target macroblock in the first reference frame from the motion information;
c. Obtaining motion information corresponding to a macroblock having the widest area of a portion overlapping with the first reference macroblock among the macroblocks in the first reference frame;
d. Obtaining motion information corresponding to the movement from the macroblock having the largest area overlapping the first reference macroblock to the first reference macroblock;
e. The motion information for motion compensation between the second reference frame and the processing target frame is calculated by adding the motion information of a and c and subtracting the motion information of d from there. Transcoding device.

Images