JP5365805B2 - 動画像変換装置、動画像変換方法、および動画像変換プログラム - Google Patents

Description

本発明は、符号化された動画像データを変換する動画像変換装置に関する。

関連する技術としては、動画像データを伝送するに際しては、動画像データを低ビットレートで効率良く伝送するための動画像圧縮符号化方式として、ＩＴＵ−Ｔ（国際電気通信連合、電気通信標準化部門：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）の勧告によるＨ．２６１やＨ．２６３と呼ばれる方式が知られている。
また、他の動画像圧縮符号化方式としては、ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４と呼ばれる方式も知られている。
さらに、近年、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとで国際標準化されたＨ．２６４／ＭＰＥＧ−４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる動画像圧縮符号化方式が、Ｈ．２６１、Ｈ．２６３、もしくはＭＰＥＧ−４などの動画像圧縮符号化方式よりも動画像データを効率良く符号化して伝送できる方式として注目されている。
上記動画像圧縮符号化方式には、現在のフレームの画像データのみを用いて符号化するイントラ予測と、前（過去）のフレームや後ろ（未来）のフレームの画像データを参照して符号化するインター予測とがある（例えば、特許文献１、２参照）。
上記イントラ予測では、一例として、動画像データを符号化するときに、マクロブロックと呼ばれる単位毎（例えば、１６×１６画素のブロック）に区分けする。そして、このイントラ予測では、マクロブロックごとに動画像データを効率良く符号化する処理として、ＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行った後、変換により得られるＤＣＴ係数を可変長符号化する。
このＤＣＴ変換は、フレームの画像データを低周波や高周波などの周波数成分に分解して符号化処理を施す変換技術である。また、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、８×８画素のマクロブロックを更に細かく分割したブロック（４×４画素）を用いて、ＤＣＴ変換よりも効率良く動画像データを符号化処理ができるＤＩＴ（離散整数変換：Ｄｉｓｃｒｅｔｅ Ｉｎｔｅｇｅｒ Ｔｒａｎｓｆｏｒｍ）を行った後、変換により得られるＤＩＴ係数を可変長符号化する方法も採用されている。
ここで、可変長符号化とは、動画像データを符号化処理する際、出現頻度の高い値（ＤＣＴ係数、ＤＩＴ係数）には、バイト数の短いデータを割り振り、出現頻度の低い値には、バイト数の長いデータを割り振る符号化である。これにより符号化効率がさらに高まる。
他方、インター予測では、異なる時刻のフレームに基づいて予測画像を生成し、入力画像と予測画像の差分画像のデータを符号化する。この場合、インター予測は、差分画像のデータのみを符号化すればよいので、イントラ予測に比較して高い符号化率を達成できる。
また、このインター予測では、より高い符号化率を達成するために、動き補償と呼ばれる技術が用いられる。この動き補償とは、２つの連続するフレーム間で、着目する対象がどの方向へ動いたかを考慮して符号化などを行なう画像符号化方式である。この動き補償では、まず、最初に隣接するフレーム間で動きベクトル（映像の中の各要素が、どの方向へどのくらい動いているかという情報）を求め、その動き分を取り除いてから、画像データをＤＣＴなどで符号化して、符号化した符号化データを生成する。ここで、この符号化データを復号する際には、動きベクトルの情報に基づいて復号化する。
また、上記動画像圧縮符号化方式では、一般に、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）と、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）と、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）といった三つのピクチャタイプ（符号化データ）がある。
Ｉピクチャとは、前後のフレームに関係なくそのフレームだけで独立して符号化することによって得られるピクチャのことである。Ｐピクチャとは、フレーム間の前方向予測の符号化によって得られるピクチャのことである。Ｂピクチャとは、前方と後方の双方向からの予測符号化によって得られるピクチャのことである。
ここで、上記特許文献１は、動画像圧縮符号化方式のうち、動き補償に関する技術が開示している。具体的には、インター予測において、予測対象のフレームが前方向予測だけでなく、後方向予測も行う場合には、双方向のフレームを用いて動きベクトルを求めて、動き補償予測を行う。
また、特許文献２は、動画像圧縮符号化方式のうち、動き補償に関する技術が開示している。具体的には、インター予測において、予測対象のフレームについて、前方向予測、後方向予測を行い、誤差の少ない方を採用して動きベクトルを求めて、動き補償予測を行う。
ところで、上述した動画像圧縮符号化方式を採用した動画像変換装置にて、例えば、Ｈ．２６１方式により符号化されたデータをメモリなどに一旦蓄積して使用する場合、蓄積画像データ（符号化データ）の先頭フレームは、再生（復号化）時に前のフレームの画像データを参照できない。そのため、必ず、先頭フレームは、イントラ予測のみで符号化する必要がある。復号画像が乱れてしまうためである。
ここで、符号化データのフレームについて、指定されたフレームから蓄積したい場合、Ｐピクチャが先頭フレームであると、そのまま、復号化したのでは、正しく再生されないという問題が生じる。
そこで、指定されたフレームから蓄積する場合、この指定されたフレームを一旦復号化し、この復号化した復号画像を先頭フレームとしてイントラ予測にて再符号化し、このフレームに続くフレームについても一旦復号化した後、インター予測にて再符号化する処理がなされていた。しかし、再符号化によって、画像の画質が劣化してしまうという問題が生じ、また、再符号化時に処理の負荷が上がってしまうという問題が生じていた。そこで、上記問題を解決する技術が提案されている（例えば、特許文献３参照）。
特許文献３に開示された技術では、符号化データを指定されたフレームから蓄積して使用する場合、指定されたフレームの符号化データ（Ｐピクチャ）を一旦、復号化する。続いて、再度、符号化する際に、指定されたフレームの復号画像の先頭フレームもしくは、先頭フレームに続く数フレームをイントラ予測にてＩピクチャに変換する。そして、先頭フレームに続く符合化データは、そのまま蓄積する。これにより、先頭フレームをＩピクチャとすることにより、復号画像（映像）は乱れずに済む。
特開２００４−１６５７０３号公報 特開２００６−１８０１７３号公報 特開２００２−３０５７３３号公報

しかしながら、特許文献３に開示された動画像圧縮符号化方式では、以下の問題点を有している。
図１９は、関連する技術例の問題点を説明するための一例の図である。図１９の上段は、動画像変換装置に入力される符号化データのフレーム列を表している。図１９の下段は、動画像変換装置から出力されるフレーム列を表している。なお、動画像圧縮符号化方式として、Ｈ．２６４方式を例にして説明する。このＨ．２６４方式では、蓄積画像の先頭フレームに指定された入力符号化データをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）と呼ばれるフレーム（Ｉピクチャ）に変換することになっている。
ここで、図１９に示すように、Ｐ１フレームから蓄積開始（再生）要求がなされた場合、特許文献３の動画像変換方法を採用すると、以下の通りになる。まず、この動画像変換方法では、Ｐ１フレームを復号化した後、イントラ予測にてＩＤＲ０’フレームに変換する。そして、それに続く、Ｐ２、Ｐ３・・・Ｐｎ−１、Ｐｎフレームについては、そのままの状態で出力符号化データとする。この場合、各Ｐフレームが、１つ前のフレームのみを前方向予測していれば、出力符号化データは、画像が乱れることなく、再生される。しかし、特定のＰフレームが、例えば、１つ前のフレーム以外のフレームを参照してインター予測を行っている場合、そのまま蓄積すると復号画像が乱れてしまうという画質の劣化の問題が生じることがある。
具体的に図で説明すると、図１９の上段のＰ２は、ＩＤＲ０のフレームを参照してインター予測を行っている。図１９の下段においては、Ｐ１’（Ｐ２に相当）のフレームを復号化しようとすると、予測データとなるフレームが存在しないため、乱れが伝播することになる。
更に、Ｈ．２６４方式では直近のフレームだけでなく、特定のフレームを長期に渡って参照フレームバッファに保存して参照するインター予測（Ｌｏｎｇ Ｔｅｒｍ予測）が出来るため、Ｌｏｎｇ Ｔｅｒｍ予測をしているインターフレームが蓄積画像の先頭フレームよりも前のフレームの画像を参照している場合も、そのまま蓄積すると復号画像が乱れてしまうという画質の劣化の問題が生じる。
このＬｏｎｇ Ｔｅｒｍ予測における問題点について、具体的に、図２０を用いて説明する。
図２０は、従来例の問題点を説明するための一例の図である。図２０の上段は、動画像変換装置に入力される符号化データのフレーム列を表している。図２０の下段は、動画像変換装置から出力されるフレーム列を表している。
ここで、図２０に示すように、Ｐ１フレームから蓄積開始（再生）要求がなされた場合、特許文献３の動画像変換方法を採用すると、以下の通りになる。まず、この動画像変換方法では、Ｐ１フレームを復号化した後、イントラ予測にてＩＤＲ０’フレームに変換する。そして、それに続く、Ｐ２、Ｐ３・・・Ｐｎ−１、Ｐｎフレームについては、そのままの状態で出力符号化データとする。しかしながら、Ｐｎ−１が図２０の上段に示すように、Ｌｏｎｇ Ｔｅｒｍ予測をしていると、復号画像を生成する場合、参照するフレームデータが欠落しているため、復号画像が乱れてしまうという画質の劣化の問題が生じてしまう。
本発明は、上記事情に鑑み、画質の劣化を抑制し、画像変換に伴う演算量を低減させる工夫が施された動画像変換装置、動画像変換方法、および動画像変換プログラムを提供することを目的とする。

上記目的を達成する本発明の動画像変換装置は、符号化された動画像データを変換する動画像変換装置であって、前記符号化された動画像データの特定のフレームを先頭にした新たな動画像データを生成する動画像データ生成部と、前記特定のフレームより後続のフレームが、前記特定フレームより前のフレームを参照して符号化されているか否かを判断する判定部と、を備え、前記動画像データ生成部は、前記特定のフレームを、他のフレームを参照しない先頭フレームに変換する先頭フレーム変換処理部と、前記判定部にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームを、該判断された後続のフレームから前記特定のフレームまでのいずれかのフレームを参照して符号化し直す後続フレーム変換処理部と、を備えることを特徴とする。

本発明によれば、画質の劣化を抑制し、画像変換に伴う演算効率を高める工夫が施された動画像変換装置、動画像変換方法、および動画像変換プログラムが提供される。

図１は、本発明の一実施形態としての動画像変換装置の構成図である。
図２は、フレームの内部構成の一例を示す図である。
図３は、図１に示す変換制御部の内部構成図である。
図４は、変換情報生成部の内部構成図である。
図５は、図１に示す符号化部の内部構成図である。
図６は、図１９の比較例であって、本発明の動画像変換方法による新たな動画像データの生成を説明する図である。
図７は、図２０の比較例であって、本発明の動画像変換方法による新たな動画像データの生成を説明する図である。
図８は、本発明の一実施形態である動画像変換装置による動画像変換方法の一例を表すフローチャートである。
図９は、第２の実施形態における動画像変換装置の内部構成を示す図である。
図１０は、図９に示すストリーム変換部の内部構成図である。
図１１は、図９に示す変換制御部の内部構成図である。
図１２は、第２の実施形態における動画像変換装置の動作の一例を表すフローチャートである。
図１３は、第３の実施形態における動画像変換装置の動作の一例を表すフローチャートである。
図１４は、第４の実施形態における動画像変換装置の動作の一例を表すフローチャートである。
図１５は、第６の実施形態の動画像変換装置による動画像変換方法の一例を説明する図である。
図１６は、第７の実施形態の動画像変換装置による動画像変換方法の一例を説明する図である。
図１７は、ブロック同士の相間関係の有無の一例を説明する図である。
図１８は、第７の実施形態における動画像変換装置の動作の一例を表すフローチャートである。
図１９は、関連する技術例の問題点を説明するための一例の図である。
図２０は、関連する技術例の問題点を説明するための一例の図である。

以下、図面を参照して本発明の実施形態を説明する。ここでは、本発明の動画像変換プログラムに基づいて動作する動画像変換装置、その動画像変換装置で実行される本発明の動画像変換方法について説明する。
本発明の動画像変換装置は、符号化された動画像データを変換する動画像変換装置である。一例として、この動画像変換装置は、動画像データを配信する外部機器から動画像データを受信し受信バッファに一時記憶し、その外部機器から蓄積開始要求の信号を受信すると、その蓄積開始要求を受け付けたときのフレームを先頭フレームとして動画像データを生成していく。さらに、この動画像変換装置は、蓄積終了要求の信号を受信すると、蓄積終了要求の信号を受け付けたときのフレームを最後のフレームとして、新たな動画像データを生成し、動画像データを再生する機能を有する端末に向けて送信する。
第１の実施形態
［構成］
図１は、本発明の一実施形態としての動画像変換装置の構成図である。図１に示すように、本発明における動画像変換装置１００には、変換制御部１０１、受信バッファ１０２、ストリーム復号部１０３、画像復号部１０４、符号化部１０５、スイッチ１０６、および送信バッファ１０７が設けられている。
変換制御部１０１は、この動画像変換装置１００の動作を総合的に制御するものである。変換制御部１０１の詳細は後述する。
受信バッファ１０２は、外部機器から送信されてくる符号化された動画像データ１１１（以下、単に、入力画像ストリームと言う）を一時的に記憶するメモリである。
また、受信バッファ１０２は、時系列に入力画像ストリームを受信し、ストリーム復号部１０３を介して画像復号部１０４に出力する。また、変換制御部１０１の指示により、受信バッファ１０２は、スイッチ１０６を介して、入力画像ストリームを送信バッファ１０７に出力する。
図２は、フレームの内部構成の一例を示す図である。なお、説明をわかりやすくするため、簡略化している。符号化データ１のヘッダ部１０には、ヘッダ情報として、復号化情報、フレーム番号、時間情報、参照フレーム番号、フレームタイプ等の入力画像ストリーム情報が記録されている。
復号化情報としては、例えば、Ｄｅｃｏｄｅｒ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ（ＤＣＩ）やＳｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ）、Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ）が挙げられる。
また、フレーム番号は、先頭フレームからのシーケンスを表す番号である。時間情報は、フレーム生成時の時間を表す情報である。参照フレーム番号は、変換対象となるフレームが、他のフレームを参照している場合に、その参照フレームの番号を表す。フレームタイプは、イントラフレーム（Ｉピクチャ）、インターフレーム（Ｐピクチャ）などのフレームの種別を表す。
また、符号化データ１の画像データ部１１は、複数のスライス層と呼ばれるデータ構造から成る。さらに、このスライス１２は、複数のマクロブロックから成り、マクロブロックは複数のブロックから構成される。
なお、受信バッファ１０２は、フレームやスライスごとの切れ目を検出する機能を有しており、入力画像ストリームをフレームごとに出力することができる。フレームやスライスの切れ目としては、例えば、フレームやスライスの切れ目を表すスタートコードなどのユニークなビット列を基に検出する。
ストリーム復号部１０３は、入力画像ストリームのフレームの符号化データのヘッダ部を復号して、入力画像ストリーム情報１１５を変換制御部１０１に通知するものである。また、ストリーム復号部１０３は、入力画像ストリームの符号化データ１１６を画像復号部１０４に送信する。
画像復号部１０４は、ストリーム復号部１０３を介して受信バッファ１０２から入力画像ストリームの符号化データ１１６を受信して復号化し、フレームごとに復号画像を生成するものである。画像復号部１０４は、予め定められたフレーム数分の復号画像をフレームメモリ（不図示）に記憶する。この場合、蓄積開始要求１０８を変換制御部１０１が受け付けるまでは、画像復号部１０４は、時間的に連続して受信した入力画像ストリームのフレームについて、所定時間経過ごとに復号画像のフレームの中で、古いフレームを消去し、受信した最新のフレームの符号化データを復号化して、フレームメモリに記憶する。
符号化部１０５は、画像復号部から復号画像の画像データ１２０を上述したイントラ予測若しくはインター予測にて符号化するものである。詳細は後述する。
スイッチ１０６は、変換制御部１０１からの指示に従って、受信バッファ１０２若しくは符号化部１０５を送信バッファ１０７に接続する。また、スイッチ１０６は、変換制御部１０１からの指示に従って送信バッファ１０７と接続されていた受信バッファ１０２若しくは符号化部１０５を切断する。このスイッチ１０６の切り替え操作により、スイッチ１０６は、入力画像ストリームの符号化データ１１４を符号化し直さず、そのまま送信バッファ１０７に送信したり、符号化部１１５で符号化された入力画像ストリームの符号化データ１２１を送信バッファ１０７に送信したりすることができる。
送信バッファ１０７は、受信バッファ１０２、若しくは符号化部１０５から受信した符号化されたフレームを、先頭フレームから後続のフレームを含む複数のフレームから成る符号化された新たな動画像データ１２３として、動画像データ再生機能を有する端末に送信するものである。
図３は、図１に示す変換制御部の内部構成図である。図３に示すように、この変換制御部１０１には、本発明の一実施形態である動画像変換プログラムが組み込まれることによって、変換判定部２００、パラメータ解析部２０１、および変換情報生成部２０２が構築（実現）される。
まず、パラメータ解析部２０１について説明する。パラメータ解析部２０１は、図１に示すストリーム復号部１０３から受け取った、入力画像ストリーム情報１１５を解析する。具体的には、パラメータ解析部２０１は、蓄積画像の先頭フレームよりも、後続フレームが先頭フレームよりも前のフレームを参照しているか否かを解析して、その解析結果である解析結果通知２０３を変換判定部２００に通知する。また、パラメータ解析部２０１は、変換情報生成部２０２に対して変換パラメータ情報２０４を送信する。パラメータ解析部２０１が解析に用いる入力画像ストリーム情報１１５としては、例えば、上述した、復号化情報、フレーム番号、時間情報、参照フレーム番号、フレームタイプなどがある。
次に、変換判定部２００について説明する。変換判定部２００（判定部）は、蓄積開始要求を受け付けたフレームより後続のフレームが、他のフレームを参照して符号化されているか否かを判断する（判断手段）。
また、変換判定部２００は、蓄積開始要求１０８を受け取るとスイッチ１０６に対して図１に示す符号化部１０５と送信バッファ１０７を接続するように切替え要求１１７の指示を出す。そして、変換判定部２００は、符号化部１０５に対して画像復号部１０４が復号した最新の画像データを取り込むように画像データ取込み要求１１８の指示を出す。
また、変換判定部２００は、変換情報生成部２０２に対して、パラメータ解析部２０１から受け取った入力画像ストリーム情報１１５の内、蓄積画像の先頭フレームを生成するために必要な変換パラメータ情報１１９を符号化部１０５に通知するように変換情報生成要求２０５の指示を出す。必要な変換パラメータ情報１１９としては、例えば、入力動画像ストリームの復号化情報、フレーム番号、時間情報、参照フレーム番号、フレームタイプなどがある。
また、変換判定部２００は、パラメータ解析部２０１から、蓄積画像の先頭フレームよりも後続フレームが蓄積画像の先頭フレームよりも前のフレームを参照しているという解析結果通知２０３を受け取った場合も、スイッチ１０６に対して符号化部１０５と送信バッファ１０７を接続するように切替え要求１１７の指示を出す。そして、変換判定部２００は、符号化部１０５に対して画像復号部１０４が生成した最新の画像データを取り込むように画像データ取込み要求１１８の指示を出す。更に、変換判定部２００は、変換情報生成部２０２に対して、パラメータ解析部２０１から受け取った変換パラメータ情報２０４のうち、後続のフレームを生成するために必要な変換パラメータ情報１１９を符号化部１０５に通知するように変換情報生成要求２０５の指示を出す。
更に、変換判定部２００は、パラメータ解析部２０１から、蓄積画像の先頭フレームよりも、後続フレームが上記蓄積画像の先頭フレームよりも前のフレームを参照していないという解析結果通知２０３を受け取った場合は、スイッチ１０６に対して受信バッファと送信バッファを接続するように切替え要求１１７の指示を出す。
そして、変換判定部２００は、受信バッファ１０２に対して送信バッファ１０７に後続フレームの入力画像ストリームをそのまま出力するように送信要求１１２の指示を出す。更に、変換判定部２００は、外部機器から蓄積終了要求１０９を受け取ると、スイッチ１０６に対して送信バッファ１０７と受信バッファ１０２、もしくは、符号化部１０５が接続されていた場合は切断するように切替え要求１１７の指示を出す。
次に、変換情報生成部２０２について説明をする。
図４は、変換情報生成部の内部構成図である。この変換情報生成部２０２には、先頭フレーム変換情報生成部２０２１と後続フレーム変換情報生成部２０２２が設けられている。
先頭フレーム変換情報生成部２０２１は、蓄積開始要求１０８を受け付けたフレームを先頭フレームに変換するための情報を生成する。先頭フレーム変換情報生成部２０２１は、蓄積開始要求１０８を受け付けたフレームについて、パラメータ解析部２０１から受け取った変換パラメータ情報２０４のうち、先頭フレームを生成するために必要な情報を選択して、符号化部１０５に通知する。先頭フレームを生成するために必要な情報として、例えば、フレーム番号、時間情報、参照フレーム番号、フレームタイプ（Ｉピクチャ、Ｐピクチャ）などがある。後述する符号化部１０５にて、蓄積開始要求１０８を受け付けたフレームが先頭フレームに変換される。先頭フレーム変換情報生成部２０２１および符号化部１０５の処理が本発明にいう先頭フレーム変換処理部及び、先頭フレーム変換処理工程、先頭フレーム変換処理手段の一例に相当する。
また、後続フレーム変換情報生成部２０２２は、蓄積画像の先頭フレームを生成してから現在までのフレーム数や時間情報を保持して、先頭フレームよりも後続のフレームを変換する場合、入力画像ストリームのフレーム番号、時間情報、参照フレーム番号を符号化部１０５に通知する。そして、後述する符号化部１０５は、後述フレームをインター予測にて符号化し直す。後続フレーム変換情報生成部２０２２および符号化部１０５の処理が本発明にいう後続フレーム変換処理部、後続フレーム変換工程、後続フレーム変換手段の一例に相当する。また、先頭フレーム変換情報生成部２０２１および後続フレーム変換情報生成部２０２２を備えた変換情報生成部２０２からの変換パラメータ情報１１９に基づいて、符号化部１０５にて、新たな動画像データを生成する処理が、本発明にいう動画像データ生成手段の一例に相当する。また、当該処理を行う一連の構成が動画像データ生成部の一例に相当する。
次に、符号化部１０５について、図５を参照して詳細な説明を行う。
図５は、図１に示す符号化部の内部構成図である。本実施形態では、上述したＨ．２６４／ＭＰＥＧ−４ＡＶＣの動画像圧縮符号化方式を例にとって説明するが、これは本発明の説明のために提示した一例に過ぎず、限定するものではない。本動画像変換方法の原理からも明らかなように、他の動画像圧縮符号化方式にも適用可能である。
符号化部１０５は、ヘッダ情報生成部３００、スイッチ１ ３０１、ＤＩＴ器３０２、量子化器３０３、可変長符号化器３０４、フレームメモリ３０５、動きベクトル検出器３０６、動き補償器３０７、フレーム内予測器３０８、ループ内フィルタ器３０９、スイッチ２（３１０）、逆ＤＩＴ器３１１、および逆量子化器３１２を備える。
ヘッダ情報生成部３００は、変換制御部１０１から受け取った変換パラメータ情報１１９を基に先頭フレームもしくは後続のフレームのヘッダ情報３１４を生成して可変長符号化器３０４へ出力する。
また、変換パラメータ情報１１９のフレームタイプがイントラフレーム（Ｉピクチャ）の場合はスイッチ２ ３１０を切り替えてフレーム内予測器３０８からの出力を受け取れるようにする。一方、変換パラメータ情報１１９のフレームタイプがインターフレーム（Ｐピクチャ）の場合は、フレーム内予測器３０８、または動き補償器３０７のどちらの出力を受け取れるようにする。スイッチ１ ３０１は、図１に示す変換制御部１０１からの指示に従って、変換が必要なフレームについて、画像復号部１０４から最新の画像データ１２０を受け取れるように切り替える。また、フレームメモリ３０５は画像復号部１０４で生成した復号画像を取り込んで、メモリを更新することも可能である。なお、図５においてその他の構成については、通常の符号化部と同じ構成のため、ここでは、具体的に説明を省略し、本発明の動画像変換装置１００の動作の説明の際に説明する。
以上、本発明の動画像変換装置１００の各構成について説明した。次に、動画像変換装置１００が、画質を劣化させず、かつ、演算量を低減して、新たな動画像データを生成することができるのかについて、具体例を挙げて説明する。なお、詳細な処理の流れは、後でフローチャートを用いて説明する。
図６は、図１９の比較例であって、本発明の動画像変換方法による新たな動画像データの生成を説明する図である。
図６の上段は、動画像変換装置に入力される入力画像ストリーム（符号化データ）のフレーム列を表している。図６の下段は、動画像変換装置から出力されるフレーム列（新たな動画像データ）を表している。なお、動画像圧縮符号化方式として、Ｈ．２６４方式を例にして説明する。
図１に示す動画像変換装置１００は、図６の上段に示す、入力画像ストリームを受信バッファ１０２に蓄積していく。その受信バッファ１０２に蓄積された入力画像ストリームは、フレーム単位で切り出されて、画像復号部１０４にて復号化されて復号画像が生成される。画像復号部１０４では、随時、復号画像を生成し、予め定められたフレーム数を超えると、最初に復号したフレームを破棄して、順次、最新の復号画像が蓄積されている。
ここでは、説明をわかりやすくするため、図６の上段に示す、ＩＤＲ０フレームが復号された後、Ｐ１フレームが復号されているときに、蓄積開始要求１０８を変換制御部１０１が受付けた場合について例示する。
この場合、Ｐ１フレームは、ＩＤＲフレームを参照して復号画像を生成する。そして、この復号画像は、符号化部１０５にて、イントラ予測にて先頭フレーム（ＩＤＲ０’）に変換される。符号化部１０５のイントラ予測の処理の詳細は後述する。
次に、図１に示す、画像復号部１０４は、Ｐ２フレームに復号化するに際し、ＩＤＲ０フレームを参照して、復号化する。この場合、Ｐ２の復号画像は、ＩＤＲ０を用いてインター予測しているため、このまま、再度、ＩＤＲ０を参照してインター予測を行って符号化すると、次回、復号化する際に、参照するＩＤＲ０フレームがないため、画像が乱れてしまう。そこで、本発明の動画像変換方法では、蓄積開始フレームより前を参照しないように、先頭フレーム（ＩＤＲ０’）のみを参照して、インター予測して、Ｐ２フレームをＰ１’フレームに変換する。これにより、Ｐ１’フレームは復号化の際、画像が乱れないため、画質の劣化が抑制される。
また、Ｐ２フレームに続く、後続のフレームＰ３、・・・Ｐｎ−１、Ｐｎは、蓄積開始フレームより前のフレームを参照していないため、受信バッファ１０２からそのまま送信バッファ１０７に送信すればよく、符号化し直す必要がないため、変換に伴う演算量を低減させることができる。
次に、インター予測（Ｌｏｎｇ Ｔｅｒｍ予測）の場合について、具体的に、図７を用いて説明する。
図７は、図２０の比較例であって、本発明の動画像変換方法による新たな動画像データの生成を説明する図である。
図７の上段は、図６の上段同様、動画像変換装置に入力される入力画像ストリーム（符号化データ）のフレーム列を表している。図７の下段は、図６の下段同様、動画像変換装置から出力されるフレーム列（新たな動画像データ）を表している。
ここで、図７の上段に示すように、Ｐ１フレームから蓄積開始要求１０８がなされた場合、本発明の動画像変換方法を採用すると、以下の通りになる。Ｐ１フレームは、先頭フレーム（ＩＤＲ０’）に変換される。Ｐ２フレームからＰｎ３フレームまでは、画像復号部１０４が蓄積開始フレームより前のフレームを参照していないため、そのまま後続のフレームとなる。
一方、Ｐｎ−１フレームは、蓄積開始フレームより前を参照しているので、一例として、蓄積開始フレームより前を参照しない様、Ｐｎ−３’（不図示）を参照して、インター予測を行い、Ｐｎ−２’（不図示）フレームを生成する。これにより、Ｐｎ−２’フレームは復号化の際、画像が乱れないため、画質の劣化が抑制される。また、Ｐ２フレームからＰｎ−２フレームまでのフレームは、符号化し直す必要がないため、変換に伴う演算量を低減させることができる。
なお、本実施形態では、ＩＤＲ０’のフレームは随時復号されており、直前の復号画像を参照してＰｎ−２’を生成するが、これは一例であって、例えば、後述する最大参照フレーム数分のフレームを参照して符号化してもよい。
［動作］
次に動画像変換装置１００の動作について説明する。この動画像変換装置１００は本発明の一実施形態である動画像変換方法により、動画像データが変換される。
図８は、本発明の一実施形態である動画像変換装置の動作の一例を表すフローチャートである。この処理ルーチンは、図３に示す変換判定部２００が蓄積開始要求１０８を受け付けると開始する。まず、変換判定部２００は、蓄積開始要求１０８を受けて、蓄積開始要求受付処理を行う（ステップＳ１０１）。具体的には、変換判定部２００は、スイッチ１０６に対して符号化部１０５と送信バッファ１０７を接続するように切替え要求１１７の指示を出す。そして、変換判定部２００は、符号化部１０５に対して画像復号部１０４が生成した最新の画像データを取り込むように画像データ取込み要求１１８の指示を出す。
次に、図３に示すパラメータ解析部２０１では、蓄積開始要求１０８のあったフレームの入力画像ストリーム情報１１５を復号化して、そのフレーム情報を解析する（ステップＳ１０２）。具体的には、フレームタイプから、インター予測若しくはイントラ予測のフレームであるか、参照フレーム番号から、どのフレームを参照して予測しているかなどを解析する。そして、入力画像ストリーム情報１１５を変換判定部２００、変換情報生成部２０２に通知する。
次に、蓄積開始要求１０８のあったフレームを先頭フレームに変換する（ステップＳ１０３）。
ステップＳ１０３を具体的に詳しく記載すれば、変換判定部２００は、変換情報生成部２０２の先頭フレーム情報生成部２０２１に対して、蓄積開始要求１０８のあったフレームの変換パラメータ情報１１９を符号化部１０５に通知するよう指示を出す。
符号化部１０５では、蓄積開始要求のあったフレームを先頭フレームに変換する。ここでは、蓄積開始要求１０８のあったフレームがＰピクチャであるとして、説明を続ける。すなわち、符号化部１０５では、蓄積開始要求のあったフレームよりも前のフレームを読込まずとも画像を構築できる様に、ＰピクチャをＩピクチャに変換する。図６を例にすると、Ｐ１フレームを、符号化部１０５にて、ＩＤＲ０’フレームに変換する。
このようにすれば、ＩＤＲ０’フレームは、ＰピクチャであるＰ１フレームの画面構築に必要であるＩＤＲ０を必要とせずに、画面構築を可能とできる。
具体的には、図５に示すヘッダ情報生成部３００が変換パラメータ情報１１９を受信し、ＩＤＲフレームに変換するために、蓄積開始要求１０８のあったフレームの符号化データのヘッダ部の情報を新たに生成して、可変長符号化器３０４へ出力する。
また、符号化部１０５は、スイッチ１ ３０１を切り替えて、画像復号部１０４から、復号画像の画像データ１２０を受信する。イントラ予測する場合には、復号画像の画像データ１２０は、まず、フレーム内予測器３０８にて、フレーム内予測が成される。続いて、フレーム内予測された符号化データは、ＤＩＴ器３０２に入力され、離散整数変換により低周波や高周波などの周波数成分に分解され符号化処理が施される。
さらに、量子化器３０３にて、低周波や高周波などの周波数成分を量子化する。また、可変長符号化器３０４にて、出現頻度の高い値（ＤＩＴ係数）には、バイト数の短いデータを割り振り、出現頻度の低い値には、バイト数の長いデータを割り振る符号化を行う。
これにより、蓄積開始要求１０８のあったフレームは、ＩＤＲフレーム（Ｉピクチャ）に変換に変換される。なお、符号化部１０５では、量子化器３０３で低周波や高周波などの周波数成分を量子化した符号化データを、逆量子化器３１２、逆ＤＩＴ器３１１で復号し、ループ内フィルタ器３０９を経て、フレームメモリ３０５に蓄積する。これにより、再生される画像と同じ画像を蓄積することで、次の入力画像の差分を計算することができる。すなわち、他のフレームがＩＤＲフレームを参照して、インター予測をすることができる。
以上、ステップＳ１０３の先頭フレーム変換の処理が本発明にいう先頭フレーム変換工程の一例に相当する。
次に、後続のフレームの変換処理について述べる。先頭フレームが生成されると、パラメータ解析部２０１は、蓄積開始要求１０８のあったフレームの次のフレームの入力画像ストリーム情報を解析する（ステップＳ１０４）。
具体的には、パラメータ解析部２０１は、参照フレーム番号から、蓄積画像の先頭フレームよりも、後続フレームが先頭フレームよりも前のフレームを参照しているかの情報を変換判定部に通知する。
変換判定部２００では、パラメータ解析部２０１の解析結果から、後続のフレームが蓄積開始フレーム（先頭フレーム）より前のフレームを参照しているかの判断を行なう（ステップＳ１０５）。
後続のフレームが蓄積開始フレーム（先頭フレーム）より前のフレームを参照していない場合には（ステップＳ１０５：Ｎｏ）、後続のフレームは、受信バッファに一時記憶されている後続のフレームを符号化し直さずに送信バッファ１０７に出力する（ステップＳ１０９）。
一方、後続のフレームが蓄積開始フレーム（先頭フレーム）より前のフレームを参照している場合には（ステップＳ１０５：Ｙｅｓ）、蓄積開始要求のフレームより前を参照しないように符号化して、後続フレームを変換する（ステップＳ１０６）。
ステップＳ１０６を具体的に詳しく記載すれば、ヘッダ情報生成部３００が変換パラメータ情報１１９を受信し、新たな先頭フレームを参照して後続のフレームの入力画像ストリーム情報を書き換える。そして、後続のフレームの符号化データのヘッダ部の情報を新たに生成して、可変長符号化器３０４へ出力する。また、符号化部１０５は、スイッチ１ ３０１を切り替えて、画像復号部１０４から、復号画像の画像データ１２０を受信する。
インター予測する場合には、復号画像の画像データ１２０は、動きベクトル検出器３０６に入力される。また、フレームメモリ３０５に蓄積されている前のフレーム画像の画像データも動きベクトル検出器３０６に入力される。そして、動きベクトル検出器３０６で動きベクトルが検出される。この動きベクトルの信号は、動き補償器３０７に入力され、また、フレームメモリ３０５に蓄積されている前のフレーム画像の信号を参照して、動きベクトルを補償するようにインター予測が施される。
このインター予測された符号化データは、ＤＩＴ器３０２に入力され、離散整数変換により低周波や高周波などの周波数成分に分解され符号化処理が施される。さらに、量子化器３０３にて、低周波や高周波などの周波数成分を量子化し、可変長符号化器３０４にて、出現頻度の高い値（ＤＩＴ係数）には、バイト数の短いデータを割り振り、出現頻度の低い値には、バイト数の長いデータを割り振る符号化を行う。これにより、後続のフレームは、蓄積開始フレーム（先頭フレーム）より前のフレームを参照しないで符号化し直される。
次に、変換判定部２００が蓄積終了要求１０９を受け付けていない場合には（ステップＳ１０７：Ｎｏ）、ステップＳ１０４に戻り、次の後続のフレームを解析する。一方、変換判定部が蓄積終了要求１０９を受け付けた場合には（ステップＳ１０７：Ｙｅｓ）、図１に示すスイッチ１０６を切断し、送信バッファ１０７に蓄積された新たな動画データを送信バッファから出力する（ステップＳ１０８）。そして、この処理ルーチンを終了する。なお、ステップＳ１０４からステップＳ１０７までの処理が本発明にいう後続フレーム変換工程の一例に相当する。
以上より、本発明の第１の実施形態の動画像変換装置は、本発明の一実施形態である動画像変換方法により、動画データの画質の劣化を抑制し、動画データを符号化するための演算量を低減することができる。
すなわち、動画像データ生成手段のうちの先頭フレーム変換手段は、蓄積開始要求のフレームの符号化データを復号後、他のフレームを参照せずに符号化して符号化データに変換する。そのため、再生時に、前のフレームが参照できないことによる画質の劣化を回避することができる。
また、動画像データ生成手段のうちの後続フレーム変換手段は、上記判断手段にて、蓄積開始要求のフレームより前のフレームを参照していると判断された後続のフレームを、蓄積開始要求のフレームより前のフレームを参照せずに、符号化し直す。これにより、蓄積開始要求のフレームより前のフレームを参照している後続のフレームについても、再生時に、前のフレームが参照できないことによる画質の劣化を回避することができる。
さらに、動画像データ生成手段のうちの後続フレーム変換手段は、上記判断手段にて、蓄積開始要求のフレームより前のフレームを参照していないと判断された後続のフレームを、符号化し直さずに新たな動画像データの後続のフレームとする。これにより、動画像変換装置１００は、蓄積開始要求のフレームより前のフレームを参照していないと判断された後続のフレームを符号化し直さない分、演算量を低減することができる。
第２の実施形態
［構成］
次に、本発明の第２の実施形態について説明する。なお、本発明の第１の実施形態と本発明の第２の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、第１の実施形態と異なる構成について詳細に説明する。
本発明の第２の実施形態では、後続のフレームが、新たに変換された先頭フレーム以後のフレームを参照している場合、先頭フレームに対する自己のフレームを特定するフレーム番号や時間情報のみを書き換える機能を追加している。例えば、先頭フレームを生成してから現在までのフレーム数や時間情報を比較して差分がある場合は、その差分を補正する処理を行う。フレーム番号や時間情報が、本発明にいうフレーム特定情報の一例に相当する。この機能を実現するのが、以下に述べるストリーム変換部４０３である。
図９は、第２の実施形態における動画像変換装置の内部構成を示す図である。図１０は、図９に示すストリーム変換部の内部構成図である。図１１は、図９に示す変換制御部の内部構成図である。
図９に示すように、第１の実施形態と比較して、ストリーム変換部４０３が追加されている。図１０に示すように、ストリーム変換部４０３には、変換情報受信部６００、受信バッファ６０１、ヘッダ判定部６０２、可変長復号器６０３、パラメータ変換部６０４、可変長符号化器６０５、ビット位置シフト＆バイトアライン部６０６、および送信バッファ６０７が設けられている。
変換情報受信部６００は、変換制御部４０１から変換が必要な変換パラメータ情報４０６を受け取って、フレーム番号、時間情報、参照フレーム番号、フレームタイプなどの情報をパラメータ変換部６０４に通知するものである。受信バッファ６０１は、受信バッファ１０２から入力画像ストリーム４０８を受け取ってヘッダ判定部６０２に送信するものである。
また、ヘッダ判定部６０２は、受信バッファ６０１から受け取った入力画像ストリーム６０９に対してフレームやスライス毎の切れ目を検出するものである。可変長復号器６０３は、ヘッダ判定部６０２から受け取ったフレームやスライス毎の画像ストリーム６１０のヘッダ情報を復号する。パラメータ変換部６０４は、可変長復号器６０３から受け取った入力画像のヘッダ情報６１１の内、例えば、フレーム番号や時間情報を変換情報受信部６００から受け取ったパラメータに変換する。可変長符号化器６０５は、パラメータ変換部６０４から受け取った変換後のヘッダ情報６１２を可変長符号化する。
ビット位置シフト＆バイトアライン部６０６は、可変長符号化されたヘッダ情報６１３を受け取ってパラメータ変換部６０４で変換したパラメータ以降のパラメータのビット位置をシフトする。また、スライスやフレーム毎の最後のバイトアライン処理を行ってヘッダ部のみ変換した画像ストリーム６１４を生成する。送信バッファ６０７は、ビット位置シフト＆バイトアライン部６０６から受け取った画像ストリーム６１４を、スイッチ２ ４０４を介して送信バッファ１０７へ出力する。
また、図１１に示すように、変換制御部４０１では、先頭フレームよりも前のフレームを参照していない場合、入力ストリーム画像情報の変換が必要であれば、変換情報生成部５０１が変換判定部５００に入力ストリーム画像情報を要求する変換有無確認要求５０２を通知する。変換判定部５００は、入力ストリーム画像情報の変換有無確認結果通５０３を変換情報生成部５０１に通知する。
次に、この第２の実施形態における動画像変換装置の動作について説明する。
［動作］
図１２は、第２の実施形態における動画像変換装置の動作の一例を表すフローチャートである。図８に示した第１の実施形態における動画像変換装置の動作との違いは、蓄積開始要求のフレームより前のフレームを参照していない場合（ステップＳ２０５：Ｎｏ）、その後の処理が異なる。この場合、図１１に示す変換判定部５００は、入力ストリーム画像情報の信号５０３を変換情報生成部５０１の後続フレーム変換情報生成部２０２２に通知し、後続フレーム変換情報生成部２０２２がストリーム変換部４０３に指示を出すと（ステップＳ２０９：Ｙｅｓ）、ストリーム変換処理が行われる（ステップＳ２１０）。
ストリーム変換部４０３の受信バッファ６０１は、受信バッファ１０２から入力画像ストリーム４０８を受け取ってヘッダ判定部６０２に送信する。
また、ヘッダ判定部６０２は、受信バッファから受け取った入力画像ストリーム６０９に対してフレームやスライス毎の切れ目を検出する。可変長復号器６０３は、上述したように、ヘッダ判定部６０２から受け取ったフレームやスライス毎の画像ストリーム６１０のヘッダ情報を復号する。パラメータ変換部６０４は、可変長復号器６０３から受け取った入力画像のヘッダ情報６１１の内、例えば、フレーム番号や時間情報を変換情報受信部６００から受け取ったパラメータに変換する。可変長符号化器６０５は、パラメータ変換部６０４から受け取った変換後のヘッダ情報６１２を可変長符号化する。
ビット位置シフト＆バイトアライン部６０６は、可変長符号化されたヘッダ情報６１３を受け取ってパラメータ変換部６０４で変換したパラメータ以降のパラメータのビット位置をシフトする。また、スライスやフレーム毎の最後のバイトアライン処理を行ってヘッダ部のみ変換した画像ストリーム６１４を生成する。送信バッファ６０７は、ビット位置シフト＆バイトアライン部６０６から受け取った画像ストリーム６１４を、スイッチ２ ４０４を介して送信バッファ１０７へ出力する。
以上より、本発明の第２の実施形態の動画像変換装置は、先頭フレームが変更されても、符号化し直す必要の無い後続のフレームのフレーム番号のシーケンスや時間情報などのヘッダ情報のみを補正することができる。これにより、例えば、フレームのシーケンス番号等が補正された新たな動画像データを得ることができる。
第３の実施形態
［構成］
次に、本発明の第３の実施形態について説明する。なお、本発明の第１の実施形態と本発明の第３の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、第１の実施形態と異なる構成について詳細に説明する。
本発明の第３の実施形態では、特定のフレームから何フレームまで参照可能であるかを表す最大参照フレーム数を定義する。図３に示すパラメータ解析部２０１は、ストリーム復号部１０３から受け取った復号化情報から最大参照フレーム数を算出する。このパラメータ解析部２０１は、蓄積画像の先頭フレームを生成してから最大参照フレーム数までのストリームを受信するまでカウントを行う。そして、蓄積画像の先頭フレームから最大参照フレーム数未満の場合は、変換判定部２００に変換が必要という要求を通知する。すなわち、最大参照フレーム数を超えた後続のフレームは、先頭フレームよりも前のフレームを参照することはないので、そのまま送信バッファ１０７に蓄積する。
次に、この第３の実施形態における動画像変換装置の動作について説明する。
［動作］
図１３は、第３の実施形態における動画像変換装置の動作の一例を表すフローチャートである。図８に示した第１の実施形態のフローチャートとの違いは、上述した最大参照フレーム数のチェックの処理のみである。本実施形態では、例えば、最大参照フレーム数を４とする。
図１３に示すフローチャートにおいて、ステップＳ３０１からステップＳ３０４は、図８に示すステップＳ１０１からステップＳ１０４と同様である。蓄積画像の先頭フレームから最大参照フレーム数未満の場合は（ステップＳ３０５：Ｎｏ）、変換判定部２００は、パラメータ解析部２０１の解析結果から、後続のフレームが蓄積開始フレーム（先頭フレーム）より前のフレームを参照しているかの判断をする（ステップＳ３０６）。その後のステップＳ３０７からステップＳ３０９の処理は、第１の実施形態と同様である。
一方、蓄積画像の先頭フレームから最大参照フレーム数が４以上の場合は（ステップＳ３０５：Ｎｏ）、現在の変換対象である後続のフレームは、もはや先頭フレームを超えて前のフレームを参照しないため、ステップＳ３１０に進み、符号化し直さずに後続のフレームとする（ステップＳ３１０）。
この後は、蓄積終了要求がなく（ステップＳ３０８：Ｎｏ）、ステップＳ３０４の処理に戻っても、後続のフレームは、最大参照フレーム数を超えているため、ステップＳ３１０の処理に進む。蓄積終了要求の信号を変換判定部２００が受け付けると（ステップＳ３０８：Ｙｅｓ）、動画像変換装置１００は、送信バッファ１０７にて、動画像データを生成し、送出する（ステップＳ３０９）。
これにより、最大参照フレーム数がわかると、蓄積開始要求のフレームから最大フレーム数より後のフレームは、上記指定されたフレームより前のフレームを参照しないこととなる。したがって、本発明の第３の実施形態の動画像変換装置は、最大参照フレームを超えた場合、ステップＳ３０６の判断、ステップＳ３０７の後続フレーム変換処理をしなくてよいため、その分、演算量を低減することができる。
第４の実施形態
［構成］
次に、本発明の第４の実施形態について説明する。なお、本発明の第１の実施形態と本発明の第４の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、実施形態１と異なる構成について詳細に説明する。本発明の第４の実施形態では、第１の実施形態に、第２、第３の実施形態の機能を組み合わせた構成になっている。
次に、この第４の実施形態における動画像変換装置の動作について説明する。
［動作］
図１４は、第４の実施形態における動画像変換装置の動作の一例を表すフローチャートである。図８に示した第１の実施形態における動画像変換装置の動作との違いは、上述したストリーム変換処理および上述した最大参照フレーム数のチェックの機能が追加されていることである。
変換判定部２００が蓄積開始要求を受けて（ステップＳ４０１）、入力画像ストリーム情報を解析し（ステップＳ４０２）、先頭フレーム変換処理を行う（ステップＳ４０３）。続いて、後続のフレームの入力画像ストリーム情報を解析し（ステップＳ４０３）、第３の実施形態で述べた最大参照フレーム数のチェックの処理が行われる（ステップＳ４０５）。最大参照フレーム数を超えた場合は（ステップＳ４０６：Ｙｅｓ）、さらに、ストリーム変換指示がなされ（ステップＳ４１０）、第２の実施形態で述べたストリーム変換処理（ステップＳ４１１）が実行される。後の処理は第１の実施形態と同様であり、省略する。
以上より、本発明の第４の実施形態の動画像変換装置は、動画データの画質の劣化を抑制し、動画データを符号化するための演算量を低減することができる。また、符号化し直す必要のない後続のフレームにおけるフレーム番号のシーケンスや時間情報などのヘッダ情報を補正することができる。さらに、最大参照フレーム数を考慮することにより、最大参照フレーム数を超えたフレームについては、蓄積開始フレームよりも前のフレームを参照する処理をしなくて済む分、演算量を低減することができる。
第５の実施形態
［構成］
次に、本発明の第５の実施形態について説明する。なお、本発明の第２の実施形態と本発明の第５の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、第２の実施形態と異なる構成について詳細に説明する。本発明の第５の実施形態では、先頭フレーム変換の処理において、先頭フレームがＩＤＲフレームであった場合は、変換せずに前記先頭フレームをそのまま使う。
［動作］
本発明の第５の実施形態について、図１２に示す本発明の第２の実施形態の動画像変換装置による画像変換の一例を表すフローチャートを参照して説明する。第２の実施形態と第５の実施形態では、先頭フレーム変換の処理（ステップＳ２０３）が異なる。以下、先頭フレーム変換の処理について説明する。
図１１に示す変換判定部５００は、蓄積開始要求１０８を受け取るとパラメータ解析部２０１に現在のフレームがイントラフレームかどうかを確認するように要求を行う。また、変換判定部５００は、パラメータ解析部２０１から現在のフレームがイントラフレームであるという通知を受けると、図９に示す符号化部１０５に対して画像復号部１０４から最新の画像データを取り込んでフレームメモリ３０５に蓄積するように要求を行う。
パラメータ解析部２０１は、変換判定部５００から現在のフレームがイントラフレームであるか確認するように要求を受けると、確認結果を変換判定部５００に通知する。そして、現在のフレームがイントラフレームであった場合は、現在のフレームの情報を変換情報生成部５０１へ通知する。先頭フレーム変換情報生成部２０２１は、パラメータ解析部２０１からの情報を基にイントラフレームの制御情報のうち、蓄積画像の先頭フレームとなるために必要な情報を生成する。
蓄積画像の先頭フレームとなるために必要な情報としては、例えばフレームバッファを初期化するかを判定するための情報や、そのフレームより前のフレームを参照していないことを保証する情報などがある。
そして、先頭フレーム変換情報生成部２０２１は、変換パラメータ情報４０６をストリーム変換部４０３の変換情報受信部６００に通知する。
変換情報受信部６００は、変換パラメータ情報４０６を受け取り、パラメータ変換部６０４に通知する。そして、パラメータ変換部６０４は、先頭フレームの入力画像ストリーム情報のうち、フレーム番号を最初の番号に変換するなどの処理を行う。その後の処理は、上述した通り、可変長符号化器６０５、ビット位置シフト＆バイトアライン部６０６を経て、ヘッダ部のみ変換した先頭フレームの画像ストリーム６１４を生成する。この場合、先頭フレームのデータ部は符号化し直すことなく、先頭フレームが変換される。
送信バッファ６０７は、ヘッダ部のみ変換した先頭フレームの画像ストリーム６１４を送信バッファ１０７へ出力する。その他の処理は、第２の実施形態と同様であるので説明は省略する。
以上より、蓄積開始要求のフレームがイントラ予測による先頭フレームであった場合は、そのまま流用することができるので、動画像変換装置４００は、蓄積開始要求のフレーム全体を符号化し直さずに済むため、その分、演算量を低減することができる。
第６の実施形態
［構成］
次に、本発明の第６の実施形態について説明する。なお、本発明の第１の実施形態と本発明の第６の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、第１の実施形態と異なる構成について詳細に説明する。
本発明の第６の実施形態では、後続のフレームが特定のフレームより前のフレームの一部のブロックを参照しているときは、その一部のブロックのみを符号化し直す。
図１５は、第６の実施形態の動画像変換装置による動画像変換方法の一例を説明する図である。図１５では、Ｐ２フレームの一部のブロックがＩＤＲ０フレームの一部のブロックを参照している場合、Ｐ２フレームを符号化し直すときにそのブロック箇所のみを符号化し、他の部分は、符号化し直さないでそのままＰ２フレームの符号化データを流用する。
［動作］
本発明の第６の実施形態について、図８に示す本発明の第１の実施形態の動画像変換装置による画像変換の一例を表すフローチャートを参照して説明する。第１の実施形態と第６の実施形態では、後続のフレーム変換の処理（ステップＳ１０４以降）が異なる。以下、この後続のフレーム変換の処理について説明する。後続のフレームが蓄積開始要求のフレームより前のフレームを参照している場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６にて後続のフレーム変換処理が行われる。
この場合、変換対象となる後続のフレームが蓄積開始要求のフレームより前のフレームの一部のブロックのみであれば、変換対象となる後続のフレームは、そのフレームの一部のブロックのみを参照して、符号化部１０５にて符号化し、他の部分は符号化し直さない。これにより、フレーム全体を符号化し直すよりも演算量を低減させることができる。
以下、具体的な動作を図１、図３、および図５を参照して説明する。図３に示す変換判定部２００は、パラメータ解析部２０１からスライス単位で変換が必要か否かの解析結果通知２０３を受け取る。このとき変換が必要な範囲は、例えば、マクロブロック番号で取得する。そして、変換が必要な場合は、該当スライスのマクロブロック番号の情報とともに図１に示す符号化部１０５に対して画像復号部１０４が生成した最新の画像データを取り込むように画像データ取込み要求１１８の指示を出す。
また、パラメータ解析部２０１は、変換情報生成部２０２に対しても、例えば、変換が必要なスライスのマクロブロック番号を通知する。
変換情報生成部２０２は、パラメータ解析部２０１から受け取ったマクロブロック情報を基に、例えばスライスの先頭マクロブロック番号などヘッダ生成に必要な情報を生成して符号化部１０５に変換パラメータ情報を通知する。
また、図５に示す符号化部１０５のスイッチ１ ３０１は、変換判定部２００からの画像データ取込み要求１１８の指示に従って、画像復号部１０４が生成した最新の画像データを取り込むようにスイッチを切り替える。スイッチ１ ３０１は、変換判定部２００から変換するマクロブロック番号を受け取るので符号化部１０５は、最新の画像データのうち、指定されたマクロブロック番号の位置のみを変換する。
また、ヘッダ情報生成部３００は、変換制御部１０１から受け取った情報を基にヘッダ情報を生成して可変長符号化器３０４へ出力する。マクロブロックに該当する画像データについては、上述したインター予測にて、符号化データに符号化される。この符号化データは送信バッファ１０７に送信される。
図１に示す受信バッファ１０２は、変換制御部１０１から送信バッファ１０７に画像ストリームを出力するように指示を受けると、入力画像ストリームをスライス毎に送信バッファ１０７へ送信する。
以上より、本発明の第６の実施形態の動画像変換装置は、蓄積開始要求のフレームより前のフレームを参照していると判断された後続のフレームの一部の領域の符号化データのみを符号化し直すだけで済むので、演算量を低減することができる。
第７の実施形態
［構成］
次に、本発明の第７の実施形態について説明する。なお、本発明の第６の実施形態と本発明の第７の実施形態とでは、内部構成が一部異なるが、それ以外はほぼ同様の構成を有するため、同じ要素については同じ符号を付して説明を省略し、第６の実施形態と異なる構成について詳細に説明する。
第７の実施形態では、後続のフレームが、特定のフレームより前のフレームの一部のブロック以外にも、後続のフレームの前のフレームの一部のブロックを参照している場合であって、参照しているブロック同士が相間関係にあるときには、後続のフレームは、特定のフレームより前のフレームの一部のブロックと後続のフレームの前のフレームの一部のブロックを参照して、符号化し直す。
図１６は、第７の実施形態の動画像変換装置による動画像変換方法の一例を説明する図である。図１６に示す通り、Ｐ２フレームの一部のブロックＡが、ＩＤＲ０フレームの一部のブロックＡ’を参照し、Ｐ２フレームの一部のブロックＢが、Ｐ１フレームの一部のブロックＢ’を参照している。
図１７は、ブロック同士の相間関係の有無の一例を説明する図である。ブロックＡは３つの画素値で構成され、ブロックＢは３つの画素値で構成されている。本実施形態では、ブロック間の不連続性を平滑するためのフィルタ処理が行われる。このフィルタ処理では、ブロックＡ、ブロックＢの画素値を用いて平滑化し（図１７左）、ブロックＡ、ブロックＢの画素値が得られる（図１７右）。
この場合、ブロックＡは、ブロックＢの値に、ブロックＢもブロックＡの値に依存している。このように互いのブロックが依存する関係が、本発明にいう相間関係がある場合の一例に相当する。ここで、ブロックＡが参照しているのはＩＤＲフレームのブロックＡ’であり、ブロックＢが参照しているのはＰ１フレームのブロックＢ’であるので、Ｐ２フレームを符号化する際、ブロックＡ’およびブロックＢ’を参照して、符号化する。なお、相間関係の有無を表す情報は、ヘッダ部に記録されている。
［動作］
図１８は、第７の実施形態における動画像変換装置の動作の一例を表すフローチャートである。蓄積開始要求を受け付けて（ステップＳ５０１）から先頭フレーム変換の処理（ステップＳ５０４）までの処理は、第６の実施形態の処理と同様である。
第７の実施形態では、後続のフレームの入力画像ストリーム情報解析の処理において、変換対象のフレームが蓄積開始要求よりも前のフレームのマクロブロックを参照している場合（ステップＳ５０５：Ｙｅｓ）、パラメータ解析部２０１が、蓄積開始要求のフレームより前のフレームのマクロブロックと相関関係を有する他のフレームのマクロブロックに有無について、ヘッダ情報を参照して判断する。そして、判断結果を変換判定部５００に通知する。相関がない場合（ステップＳ５０８：Ｎｏ）、その後の処理は、第６の実施形態と同様である。
一方、図１７で説明したように、蓄積開始要求のフレームより前のフレームのマクロブロックと互いに影響を及ぼしあう相関関係を有する他のフレームのマクロブロックが在る場合（ステップＳ５０９：Ｙｅｓ）、変換対象となるフレームが参照しているマクロブロック同士を符号化し直す。具体的には、変換情報生成部２０２は、パラメータ解析部２０１から受け取ったマクロブロック情報を基に、例えばスライスの先頭マクロブロック番号などヘッダ生成に必要な情報を生成して符号化部１０５に変換パラメータ情報を通知する。
また、図３に示す符号化部１０５のスイッチ１ ３０１は、変換判定部２００からの画像データ取込み要求１１８の指示に従って、画像復号部１０４が生成した最新の画像データを取り込むようにスイッチを切り替える。スイッチ１ ３０１は、変換判定部２００から変換する相関関係のあるマクロブロック番号を受け取るので符号化部１０５は、最新の画像データのうち、指定された相間関係のあるマクロブロック番号の位置のみを変換する。
ヘッダ生成部３００は、変換制御部５０１から受け取った情報を基にヘッダ情報を生成して可変長符号化器３０４へ出力する。マクロブロックに該当する画像データについては、上述したインター予測にて、符号化データに符号化される。この符号化データは送信バッファ１０７に送信される。
図１に示す受信バッファ１０２は、変換制御部１０１から送信バッファ１０７に画像ストリームを出力するように指示を受けると、入力画像ストリームをスライス毎に送信バッファ１０７へ送信する。
以上より、本発明の第７の実施形態の動画像変換装置は、蓄積開始要求のフレームより前のフレームの一部の領域と相関関係を有する他のフレームの一部の領域は、相関関係が保たれた状態で符号化し直されるため、符号化し直されたフレームの一部の領域の画像の乱れ等は生じずに済む。
第８の実施形態
次に、本発明の第８の実施形態について説明する。第８の実施形態は、第７の実施形態の動画変換装置に第２の実施形態で説明したフレーム番号のシーケンスや時間情報などのヘッダ情報を補正の機能を追加したものである。なお、ヘッダ情報を補正の機能は、既に説明済みであるので、ここでは説明を省略する。
本発明の第８の実施形態の動画像変換装置は、フレームの一部のみ変換するので、フレーム全体を変換する場合に比較して、演算量を低減することができ、時間情報、フレーム番号などのヘッダ情報を補正することができる。
第９の実施形態
次に、本発明の第９の実施形態について説明する。第９の実施形態は、第７の実施形態の動画変換装置に第３の実施形態で説明した最大参照フレーム数のチェックの機能を追加したものである。なお、既に最大参照フレーム数のチェックの機能は説明済みであるので、ここでは省略する。
本発明の第９の実施形態の動画像変換装置は、フレームの一部のみ変換するので、フレーム全体を変換する場合に比較して、演算量を低減することができ、最大参照フレーム数を超えたフレームについては、蓄積開始フレームよりも前のフレームを参照する処理をしなくて済む分、演算量を低減することができる。
第１０の実施形態
次に、本発明の第１０の実施形態について説明する。第１０の実施形態は、第７の実施形態の動画変換装置にヘッダ情報の補正機能と最大参照フレーム数のチェックの機能とを追加したものである。なお、既に、ヘッダ情報の補正機能、最大参照フレーム数のチェックの機能は説明済みであるので、ここでは省略する。
本発明の第１０の実施形態の動画像変換装置は、フレームの一部のみ変換するので、フレーム全体を変換する場合に比較して、演算量を低減することができ、時間情報、フレーム番号などのヘッダ情報を補正することができる。さらに、最大参照フレーム数を超えたフレームについては、蓄積開始フレームよりも前のフレームを参照する処理をしなくて済む分、演算量をさらに低減することができる。
以上説明したように、本発明においては、以下に記載する効果を奏する。第１の効果は、入力された符号化データに対して、指定されたフレームから蓄積する場合に、画質の劣化を抑制することにより高画質な動画像データを生成する変換方式を提供できる。
第２の効果は、入力された符号化データに対して、指定されたフレームから蓄積する場合に、演算量を低減させ高速に動画像データを生成する変換方式を提供できる。
第３の効果は、入力された符号化データに対して、指定されたフレームから蓄積する場合で蓄積画像の先頭フレームよりも後続のフレームが先頭フレームよりも前のフレームを参照しているときに、高速に高画質な蓄積画像を生成する変換方式を提供できる。
第４の効果は、入力された符号化データに対して、指定されたフレームから蓄積する場合で蓄積画像の先頭フレームがイントラフレームだったときに、そのまま、イントラフレームを先頭フレームに流用することで演算量を低減させ、高速で高画質な動画像データを生成する変換方式を提供できる。
また、上記実施の形態を参照して本発明を説明したが、本発明は、上記実施の形態に限定されるものではない。本発明の構成や詳細は、本発明の請求の範囲内で当業者が理解し得る様々な変更を行なうことができる。
この出願は、２００７年５月２９日に出願された日本出願特願２００７−１４１５０７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

1. 符号化された動画像データを変換する動画像変換装置であって、
   前記符号化された動画像データの特定のフレームを先頭にした新たな動画像データを生成する動画像データ生成手段と、
   前記特定のフレームより後続の個々のフレームが 前記特定フレームより前のフレームを参照して符号化されているか否かを、個々のフレームのパラメータを解析して判断する判定手段と、を備え、
   前記動画像データ生成手段は、
   前記特定のフレームを、他のフレームを参照しない先頭フレームに変換する先頭フレーム変換処理手段と、
   前記判定手段にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームを、該判断された後続のフレームから前記特定のフレームまでのいずれかのフレームを参照して符号化し直す後続フレーム変換処理手段と、
   を備え、
   前記判定手段にて前記特定のフレームより前のフレームを参照していないと判断された後続のフレームの変換処理をしない ことを特徴とする動画像変換装置。
2. 前記動画像データ生成手段は、前記判定手段にて前記特定のフレーム以後のフレームを参照していると判断された後続のフレームを符号化し直さずに新たな動画像データの後続のフレームとする、ことを特徴とする請求項１項記載の動画像変換装置。
3. 前記先頭フレーム変換処理手段は、前記特定のフレームの符号化データを復号後、他のフレームを参照せずに符号化を行い符号化データに変換する、ことを特徴とする請求項１又は２記載の動画像変換装置。
4. 前記後続フレーム変換処理手段は、前記判定手段にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームの符号化データを復号後、他のフレームとの間でフレーム間予測を行い、復号後の後続のフレームを前記特定のフレームより前のフレームを参照せずに符号化する、ことを特徴とする請求項１から３のうちいずれか１項記載の動画像変換装置。
5. 前記先頭フレーム変換処理手段は、前記判定手段にて前記特定のフレームが他のフレームを参照せずに符号化されていると判断された場合には、前記特定のフレームを符号化し直さずに新たな動画像データの先頭フレームにする、ことを特徴とする請求項１から４のうちいずれか１項記載の動画像変換装置。
6. 前記後続フレーム変換処理手段は、フレーム間予測符号化若しくはフレーム内予測符号化にて符号化する、ことを特徴とする請求項１から５のうちいずれか１項記載の動画像変換装置。
7. 前記符号化データは、先頭フレームに対する自己のフレームを特定するフレーム特定情報を有し、
   前記後続フレーム変換処理手段は、前記判定手段にて前記特定のフレーム以後のフレームを参照していると判断された後続のフレームの前記フレーム特定情報のみを書き換える、ことを特徴とする請求項３から６のうちいずれか１項記載の動画像変換装置。
8. 前記判定手段は、前記後続のフレームが、前記特定のフレームから何フレームまで参照可能であるかを表す最大参照フレーム数までのフレームであるか否かを判断し、
   前記動画像データ生成手段は、前記判定手段にて前記最大参照フレーム数までのフレームではない旨の判断をされた後続のフレームを符号化し直さずに新たな動画像データの後続のフレームとする、ことを特徴とする請求項１から７のうちいずれか１項記載の動画像変換装置。
9. 前記後続フレーム変換処理手段は、前記判定手段にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームの一部の領域が前記特定のフレームより前のフレームの一部の領域を参照して符号化されているときには、該判断された後続のフレームから前記特定のフレームまでのいずれかのフレームの一部の領域を参照して符号化し直す、ことを特徴とする請求項１から８のうちいずれか１項記載の動画像変換装置。
10. 前記判定手段は、前記特定のフレームより前のフレームの一部の領域と互いに影響を及ぼし合う相関関係を有する他のフレームの一部の領域が在るか否かを判断し、
    前記判定手段にて、前記特定のフレームより前のフレームの一部の領域と相関関係を有する他のフレームの一部の領域が在る旨の判断結果が得られた場合、前記後続フレーム変換処理手段は、該相関関係を有する他のフレームの一部の領域も参照して符号化し直す、ことを特徴とする請求項９項記載の動画像変換装置。
11. 符号化された動画像データを変換する動画像変換方法であって、
    特定のフレームを、他のフレームを参照しない先頭フレームに変換する先頭フレーム変換工程と、
    前記先頭フレーム変換工程に前後して、前記特定のフレームより後続の個々のフレームが 前記特定フレームより前のフレームを参照して符号化されているか否かを、個々のフレームのパラメータを解析して判断する判定工程と、
    前記判定工程にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームを、該判断された後続のフレームから前記特定のフレームまでのいずれかのフレームを参照して符号化し直す後続フレーム変換工程と、を備え、
    前記判定工程にて前記特定のフレームより前のフレームを参照していないと判断された後続のフレームの変換処理をしない
    ことを特徴とする動画像変換方法。
12. 符号化された動画像データを変換する動画像変換プログラムであって、
    制御部に、
    特定のフレームを、他のフレームを参照しない先頭フレームに変換する先頭フレーム変換工程と、
    前記特定のフレームより後続の個々のフレームが 前記特定フレームより前のフレームを参照して符号化されているか否かを、個々のフレームのパラメータを解析して判断する判定工程と、
    前記判定工程にて前記特定のフレームより前のフレームを参照していると判断された後続のフレームを、該判断された後続のフレームから前記特定のフレームまでのいずれかのフレームを参照して符号化し直す後続フレーム変換工程と、
    を実行させ、前記判定工程にて前記特定のフレームより前のフレームを参照していないと判断された後続のフレームの変換処理をしない
    ことを特徴とする動画像変換プログラム。
    

Images