JP3818819B2 - 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 - Google Patents
画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 Download PDFInfo
- Publication number
- JP3818819B2 JP3818819B2 JP2000046042A JP2000046042A JP3818819B2 JP 3818819 B2 JP3818819 B2 JP 3818819B2 JP 2000046042 A JP2000046042 A JP 2000046042A JP 2000046042 A JP2000046042 A JP 2000046042A JP 3818819 B2 JP3818819 B2 JP 3818819B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- quantization parameter
- encoding
- quantization
- target block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像符号化方式変換装置、画像符号化方式変換方法および該方法を実行させるためのプログラムを記録した記録媒体に係り、特に、必要な演算量が少なく、画質の劣化を抑えた圧縮符号化方式の方式変換を可能とする画像符号化方式変換装置、画像符号化方式変換方法および記録媒体に関する。
【０００２】
【従来の技術】
近年、デジタル映像信号を扱う機器が増加し、これらの機器で扱うデジタル映像信号はある符号化方式（以下、画像符号化方式という）によって圧縮符号化されている。ところが、異なる画像符号化方式の間には互換性がなく、ある機器で符号化したビットストリームは、他の画像符号化／復号化方式で符号化／復号化を行う機器では復号化できず、前記ある機器で符号化したビットストリームを再生できない。例えば、放送局等では、蓄積された符号化映像を放送するとき、蓄積した映像の画像符号化方式とは異なる画像符号化方式で符号化された映像を復号化して放送したいという要求がある。
【０００３】
このような要求を満たすためには、第１の画像符号化方式で符号化されたビットストリームを復号し、第２の画像符号化方式で再び符号化しなおすといった圧縮符号化方式の変換が必要となる。通常、第１の画像符号化方式に対応したデコーダと、第２の画像符号化方式に対応したエンコーダをつなぎ合わせれば、このような変換を行う変換装置が実現する。
【０００４】
デジタル映像信号の画像符号化方式で用いられる圧縮符号化方式のほとんどは、ＤＣＴ（離散コサイン変換）によるブロック内の空間的な冗長度の削減と、動き補償によるフレーム間の時間的な冗長度の削減とが組み合わされたハイブリッド型であり、さらにエントロピー符号化によりデータが圧縮されている。実際に、ビデオＣＤやビデオクリップで用いられるＭＰＥＧ１や、ＤＶＤやデジタル衛星放送で用いられるＭＰＥＧ２、テレビ会議／電話で用いられるＨ．２６１、アナログ回線用テレビ電話で用いられるＨ．２６３、次世代の動画符号化方式として注目されているＭＰＥＧ４などは全てこの符号化方式が取り入れられ、ＤＣＴ、量子化、動き補償、可変長符号化が施されている。
【０００５】
したがって、これらの符号化方式間における方式変換においては、実際のビットストリームの構造が互いによく似たものとなるため、第１の画像符号化方式で符号化されたビットストリームを復号化する際に、ピクチャやマクロブロックごとのビット量を計数することによって、復号されたビットストリームを第２の画像符号化方式で符号化する際の、ビットレート制御等の処理量を削減できる。
【０００６】
例えば、特表平９−５１２４１０号公報は、符号化されたビデオ信号を符号変換する方法およびその方法を用いた符号変換装置を開示しており、上述した処理量を削減している。以下、従来技術として当該符号変換装置２０００を、図１７を用いて簡単に説明する。
【０００７】
図１７は、特表平９−５１２４１０号公報に記載の符号変換装置を簡単に示したブロック構成図である。当該符号変換装置２０００は、復号化サブアセンブリ２００１および符号化サブアセンブリ２００２を備えて構成されている。復号化サブアセンブリ２００１は、入力ビットストリームを各レイヤに分ける機能を有するデマルチプレクシング回路２００３と、通常のデコーダ２００４とを内部に有する。また、符号化サブアセンブリ２００２は、フレームメモリ２００５と、遅延回路２００６と、通常のエンコーダ２００７と、ビットレート制御回路２００８と、目標ビット計算器２００９と、出力バッファ２０１０とを有する。
【０００８】
デコーダ２００４は、符号化された入力ビットストリームをデコードするものであり、可変長復号手段、逆量子化手段、逆ＤＣＴ手段等を有する。また、エンコーダ２００７は、非圧縮画像データを符号化するものであり、可変長符号化手段、量子化手段、ＤＣＴ手段、フレームメモリ、動き補償手段等を有する。また、ビットレート制御回路２００８および目標ビット計算器２００９は、出力ビットストリームのビット量を参照して、実際の符号化における量子化ステップを決定するものである。なお、符号変換装置２０００は、エンコーダで符号化する前にある量子化ステップで入力画像を符号化する、エンコーダと似た構成のプレアナライザを備えていない。
【０００９】
次に、符号変換装置２０００の動作について簡単に説明する。
デマルチプレクシング回路２００３は、入力ビットストリームを符号化されたデータと、それ以外のヘッダ情報やスタートコードなどのオーバヘッドとに分離する。データとオーバヘッドは、デコーダ２００４と目標ビット計算器２００９とにそれぞれ送られる。デコーダ２００４では、送られたデータのデコードを行い、フレームメモリ２００５に非圧縮画像データを順次書き込む。目標ビット計算器２００９は、データとオーバヘッドからマクロブロック等の各サブ画像のビット量Ｂを計数する。次に、計数されたビット量Ｂを画像全体に渡って加算し、一画像のビット量Ｓを得る。さらに、ある量子化ステップＱ２を一画像のビット量Ｓに乗算することにより、該画像のアクティビティＸを得る。
【００１０】
目標ビット計算器２００９は、内部にメモリを有し、前のフレームのアクティビティＸｐｒｅｖおよび得られたアクティビティＸから、そのフレームのビットＴを計算する。ターゲットビットＴは、目標ビット計算器２００９内の配分回路でマクロブロックごとのローカル目標値Ｔｎに配分され、ローカル目標値Ｔｎはビットレート制御回路２００８に送られる。ビットレート制御手段２００８は、送られたローカル目標値Ｔｎと出力バッファ２０１０の状態ｂ（パッキング密度）から修正すべき量子化ステップＱ１を計算し、エンコーダ２００７の図示しない量子化手段に送る。遅延回路を経た後、非圧縮画像はエンコーダ２００７に送られ、符号化される。この時、エンコーダ２００７内の量子化手段は、量子化ステップＱ１を用いて量子化を行う。エンコーダ２００７は、符号化されたビットストリームを順次出力バッファ２０１０に出力する。
【００１１】
以上説明したように、符号変換装置２０００は、デマルチプレクシング回路２００３でビットストリームをデマックスし、それらを目標ビット計算器２００９に入力することでプレアナライザを省きつつも、入力ビットストリームと出力ビットストリームとのビットレートを等しくすることができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の符号変換装置２０００にあっては、デマルチプレクシング回路２００３でマクロブロックレイヤまでデマックスを行おうとすると、デマルチプレクシング回路２００３は可変長復号化の機能が必要となるため、回路規模が大きくなり、演算量も増えてしまうといった問題点があった。また、デコーダ、エンコーダを単に直列接続した場合と比較しても、デコーダでの復号化およびエンコーダでの符号化に必要な演算量は減少しないという問題点があった。さらに、図１８に示すように、一度符号化した入力ビットストリームを完全に復号化してから符号化しなおしているため、画質の劣化が生じてしまうという問題点があった。
【００１３】
本発明は、上記従来の問題点に鑑みてなされたものであって、ある画像符号化方式から別の画像符号化方式に方式変換する際に、高速かつ画質の劣化を抑えた画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段を有し、前記符号化画像データを逆直交変換する復号化手段、および前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当て手段を有し、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化手段を備えたものである。
【００１５】
また、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記複数のブロックのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段を有し、前記符号化画像データを逆直交変換する復号化手段、および前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定する割り当て手段を有し、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化手段を備えたものである。
【００１６】
また、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段と、対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断手段と、を有し、前記ブロック符号化形式判断手段による判断結果に応じて前記対象ブロックを逆直交変換または逆直交変換および逆量子化する復号化手段、および前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力手段を有し、前記復号化手段で逆直交変換されたブロックに対しては、量子化を行わずに直交変換し、前記復号化手段で逆直交変換および逆量子化されたブロックに対しては、前記量子化パラメータ出力手段から出力された新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じた後、前記ブロックを量子化および直交変換する符号化手段を備えたものである。
【００１７】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化するものである。
【００１８】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化するものである。
【００１９】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記付加情報データが各ブロックのビット量情報を有し、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、該対象ブロックのビット量と量子化パラメータとの乗算によって求められる符号化の難易度を示すアクティビティに基づいて、前記対象ブロックを逆直交変換または逆直交変換および逆量子化するものである。
【００２０】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記符号化手段は、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出手段を有し、前記量子化パラメータ出力手段は、前記変換係数算出手段が算出した変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力するものである。
【００２１】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記量子化パラメータ出力手段は、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力するものである。
【００２２】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値である。
【００２３】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記付加情報データは前記ピクチャのデータ量情報を有し、前記符号化手段は、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出手段を有し、前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出手段が算出した前記ピクチャの上限データ量との比から求められる値である。
【００２４】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００２５】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記量子化パラメータ出力手段は、前記復号化手段で逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力するものである。
【００２６】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、当該画像符号化方式変換装置がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、前記量子化パラメータ出力手段は、前記復号化手段で逆直交変換および逆量子化された対象とするブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力するものである。
【００２７】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、前記符号化画像データを逆直交変換する復号化ステップと、前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当てステップと、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化ステップと、を有するものである。
【００２８】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記複数のブロックのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、前記符号化画像データを逆直交変換する復号化ステップと、前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定する割り当てステップと、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化ステップと、を有するものである。
【００２９】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断ステップと、前記ブロック符号化形式判断ステップによる判断結果に応じて前記対象ブロックを逆直交変換または逆直交変換および逆量子化する復号化ステップと、前記復号化ステップで逆直交変換されたブロックに対しては、量子化を行わずに直交変換する第１の符号化ステップを行い、前記復号化ステップで逆直交変換および逆量子化されたブロックに対しては、前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力ステップ、および前記量子化パラメータ出力ステップで出力された新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後に、前記ブロックを量子化および直交変換する第２の符号化ステップを行う符号化ステップと、を有するものである。
【００３０】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、前記対象ブロックがインター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化するものである。
【００３１】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、前記対象ブロックがインター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断する前ブロック符号化形式判断ステップをさらに有し、該前ブロック符号化形式判断ステップで該ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換および逆量子化するものである。
【００３２】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記付加情報データが各ブロックのビット量情報を有し、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、符号化の難易度を示すアクティビティを前記対象ブロックのビット量と量子化パラメータとの乗算によって求めるアクティビティ算出ステップをさらに有し、該アクティビティ算出ステップで求められたアクティビティに基づいて前記対象ブロックを逆直交変換または逆直交変換および逆量子化するものである。
【００３３】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出ステップを有し、前記変換係数算出ステップで算出された変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力するものである。
【００３４】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力するものである。
【００３５】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値である。
【００３６】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記付加情報データは前記ピクチャのデータ量情報を有し、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出ステップを有し、前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出ステップで算出された前記ピクチャの上限データ量との比から求められる値である。
【００３７】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００３８】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、前記復号化ステップで逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力するものである。
【００３９】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、当該画像符号化方式変換方法がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、前記量子化パラメータ出力ステップは、前記復号化ステップで逆直交変換および逆量子化された対象とするマクロブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力するものである。
【００４０】
さらに、本発明に係るコンピュータにより読み取り可能な記録媒体は、本発明の画像符号化方式変換方法をコンピュータに実行させるためのプログラムとして記録したものである。
【００４１】
本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ピクチャのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当て、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【００４２】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ブロックのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定し、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【００４３】
このように、復号化手段（復号化ステップ）では逆直交変換のみを行って逆量子化および逆ＤＣＴを行わず、符号化手段（符号化ステップ）ではＤＣＴおよび量子化を行わず直交変換のみを行っているため、ある画像符号化方式から別の画像符号化方式に方式変換するために必要な演算量を大きく削減することができる。したがって、高速な画像符号化方式変換が可能となる。また、上限データ量に基づいてブロックのデータを切り詰めることによって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに、元のビットレートと略同じビットレートで方式変換することができる。
【００４４】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データとに入力データを分離し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断し、復号化手段（復号化ステップ）において、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）の判断結果に応じて対象ブロックを逆直交変換または逆直交変換および逆量子化し、復号化手段（復号化ステップ）で逆直交変換されたブロックに対しては、符号化手段（第１の符号化ステップ）において量子化を行わずに直交変換し、復号化手段で逆直交変換および逆量子化されたブロックに対しては、量子化パラメータ出力手段（量子化パラメータ出力ステップ）で量子化パラメータ情報に基づいて新たな量子化パラメータを出力し、符号化手段（第２の符号化ステップ）で新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後、該ブロックを量子化および直交変換している。
【００４５】
特に、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化している。
【００４６】
このように、イントラ符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、高速な画像符号化方式変換が可能となる。また、インター符号化形式のブロックに対しては、新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じて新たな量子化パラメータを生成し、該新たな量子化パラメータで再量子化しているため、ある画像符号化方式から別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに方式変換することができる。
【００４７】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、前ブロック符号化形式判断ステップで該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化している。
【００４８】
このように、イントラ符号化形式のブロック、および対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式がイントラ符号化形式であるインター符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、より高速な画像符号化方式変換が可能となる。また、上記ブロック以外のブロックは、時間的に後のフレーム中の同じ位置のブロックがインター形式であるうちは画質の劣化が生じ得るが、いずれイントラ符号化形式のブロックとなるため、画質の劣化を抑えた画像符号化方式変換を実現することができる。なお、前ブロック符号化形式判断ステップが対象とするフレーム数を少なくすることによって、画質の劣化が生じ得る時間を短くすることができる。
【００４９】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、付加情報データが各ブロックのビット量情報を有し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、アクティビティ算出ステップで該対象ブロックのビット量と量子化パラメータとの乗算によって求められた符号化の難易度を示すアクティビティに基づいて、対象ブロックを逆直交変換または逆直交変換および逆量子化している。
【００５０】
このように、アクティビティを用いることによって、インター符号化形式のブロックのうち、どのブロックに対しては量子化されたＤＣＴ係数をそのまま用いることができるかを簡単な演算で判別することができるため、従来よりも演算量の少ない、高速な画像符号化形式変換が可能となる。
【００５１】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数算出手段（変換係数算出ステップ）において、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出し、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、変換係数算出手段（変換係数算出ステップ）で算出された変換係数が１よりも大きいときは、新たな量子化パラメータを量子化パラメータ情報が示す量子化パラメータの倍数とし、変換係数が１よりも小さいときは新たな量子化パラメータを量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力している。
【００５２】
したがって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、元の量子化パラメータで逆量子化されたときのＤＣＴ係数と新たな量子化パラメータで量子化されたＤＣＴ係数との差である量子化誤差を小さくすることができるため、量子化の変換に伴う量子化誤差による画質の劣化を抑えた画像符号化方式変換を実現することができる。
【００５３】
特に、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、量子化パラメータ情報が示す量子化パラメータの倍数または約数を新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力している。
【００５４】
新たな量子化パラメータをブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは量子化誤差が発生してしまい、かえって画質が劣化してしまうため、上記装置、上記方法および上記記録媒体によれば、量子化の変換に伴う量子化誤差による画質の劣化が非常に抑えられた画像符号化方式変換を実現することができる。
【００５５】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値であることが望ましい。
【００５６】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、付加情報データは前記ピクチャのデータ量情報を有し、上限データ量算出手段（上限データ量算出ステップ）でピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出し、変換係数は、ピクチャのデータ量情報が示すデータ量と上限データ量算出手段（上限データ量算出ステップ）で算出されたピクチャの上限データ量との比から求められる値であることが望ましい。
【００５７】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００５８】
このように、変換係数に対応する量子化パラメータを予め決定しておくことによって、演算負荷の少ない高速な画像符号化方式変換を実現することができる。
【００５９】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、復号化手段（復号化ステップ）で逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力している。
【００６０】
このように、対象ブロックの新たな量子化パラメータを決定する際に、該対象ブロックよりも後のブロックを先読みして最適な量子化パラメータの増減制御を行うことによって、量子化パラメータの変換に伴う画質の劣化が起こり得るブロックの数を抑えることができる。
【００６１】
さらに、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、当該画像符号化方式変換装置および当該画像符号化方式変換方法がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、復号化手段（復号化ステップ）で逆直交変換および逆量子化された対象とするマクロブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力している。
【００６２】
ＭＰＥＧ４規格では、隣り合うマクロブロック間での量子化パラメータの差は±２以下でなければならないという制限があるため、新たな量子化パラメータをどうしても±３以上に大きく変更したいときは、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定して、該集合領域内においてマクロブロック間での量子化パラメータの差を±２以下とすれば良いので、前記制限にかかわらず新たな量子化パラメータを決定することができる。したがって、柔軟性の高い画像符号化方式変換が実現可能となる。
【００６３】
【発明の実施の形態】
以下、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体の実施の形態について、〔第１の実施形態〕、〔第２の実施形態〕の順に図面を参照して詳細に説明する。なお、それぞれの実施形態の説明では、本発明に係る画像符号化方式変換装置および画像符号化方式変換方法について詳述するが、本発明に係る記録媒体については、画像符号化方式変換方法を実行させるためのプログラムを記録した記録媒体であることから、その説明は以下の画像符号化方式変換方法の説明に含まれるものである。また、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００６４】
本発明に係る画像符号化方式変換装置は、ある符号化方式で圧縮符号化された動画ビットストリームを別の異なる符号化方式に圧縮符号化しなおして出力するものである。また、本発明に係る画像符号化方式変換装置および画像符号化方式変換方法が対象とする符号化方式は、ＤＣＴ（離散コサイン変換）等の直交変換、量子化、可変長符号化、動き補償、エントロピー符号化等の処理を行うものであり、例えば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４等が考えられる。
【００６５】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
同図において、本実施形態の画像符号化方式変換装置１００は、入力手段１０２と、特許請求の範囲の復号化手段に該当するデコーダ部１０３と、データバッファ１０４と、付加情報バッファ１０５と、符号化手段に該当するエンコーダ部１０６と、出力手段１０７とを備えて構成されている。
【００６６】
まず、入力手段１０２は、一フレーム分の入力ビットストリーム１０１を順次読み込んで、内部のビットバッファ（図示せず）に蓄積するものであり、ビットバッファが空になると次の一フレームの入力ビットストリーム１０１を読み込んで、ビットバッファに蓄積するものである。
【００６７】
また、デコーダ部１０３は、入力手段１０２のビットバッファから必要なデータを順番に受け取って、入力されたデータを復号化（デコード）するものである。また、デコーダ部１０３は、ＹＵＶ（Ｙ：輝度信号、Ｕ，Ｖ：色差信号）まで完全に復号化された非圧縮画像データ、または途中までデコードした画像データをデータバッファ１０４に格納し、画像データに関する付加情報または符号化方式に関する付加情報を付加情報バッファ１０５に格納する。
【００６８】
また、データバッファ１０４は、非圧縮画像データまたは途中までデコードした画像データを保持するものである。また、付加情報バッファ１０５は、画像データに関する付加情報または符号化方式に関する付加情報を保持するものである。
【００６９】
また、エンコーダ部１０６は、データバッファ１０４から読み込んだ画像データを符号化（エンコード）するものである。その際、エンコーダ部１０６は、付加情報バッファ１０５から読み込んだ付加情報を参照して、該付加情報に応じた符号化を行う。また、エンコーダ部１０６は、符号化された画像データを出力手段１０７が有するビットバッファ（図示せず）に順次格納する。
【００７０】
さらに、出力手段１０７は、内部のビットバッファ（図示せず）に一フレーム分の符号化されたデータが格納されると、出力ビットストリーム１０８として該データを順次出力するものである。
【００７１】
次に、デコーダ部１０３の内部構成および動作について以下詳細に説明する。まず、デコーダ部１０３の内部構成について、図２を参照して説明する。図２は、デコーダ部１０３の内部構成を示すブロック構成図である。デコーダ部１０３は、特許請求の範囲の分離手段に該当する上位レイヤ情報復号化手段２０１と、ブロック符号化形式判断手段に該当するＭＢ情報復号化手段２０２と、可変長復号化手段２０３と、逆量子化手段２０４と、逆ＤＣＴ手段２０５と、動き補償手段２０６と、フレームメモリ２０７とを備えて構成されている。
【００７２】
まず、上位レイヤ情報復号化手段２０１は、動画ビットストリームシーケンスを構成するレイヤのうち、ピクチャレイヤ以上の上位のレイヤ情報を復号化するものである。例えば、ＭＰＥＧ２の場合、動画ビットストリームシーケンスは、上位から「シーケンスレイヤ」、「ＧＯＰ（Group Of Picture）レイヤ」、「ピクチャレイヤ」、「スライスレイヤ」、「マクロブロックレイヤ」および「ブロックレイヤ」の６つのレイヤから構成されているため、上位レイヤ情報復号化手段２０１は、シーケンスレイヤおよびＧＯＰレイヤの情報を復号化する。
【００７３】
また、ＭＢ情報復号化手段２０２は、各マクロブロック（ＭＢ）に固有のＭＢ情報を復号化するものである。なお、マクロブロックとは、輝度信号に関しては、８×８ピクセルで構成されたブロック（サブブロックともいう）を２×２にまとめたものであり、１６×１６ピクセルで構成されている。
【００７４】
また、可変長復号化手段２０３は、可変長符号化されたマクロブロックを可変長復号化するものでり、逆量子化手段２０４は、可変長復号化されたマクロブロックを逆量子化するものであり、逆ＤＣＴ手段２０５は、逆量子化されたマクロブロックを逆ＤＣＴ変換するものである。
【００７５】
特に、逆量子化手段２０４は、マクロブロックが「イントラ（Ｉ）」であるか「インター（Ｐ）」であるかに応じて、選択的に逆量子化する。また、逆ＤＣＴ手段２０５も、マクロブロックが「イントラ」であるか「インター」であるかに応じて、選択的に逆ＤＣＴ変換する。
【００７６】
なお、「イントラ（Ｉ）」タイプのマクロブロックとは、量子化されたＤＣＴ係数と量子化パラメータを可変長符号化したものである。一方、「インター（Ｐ）」タイプのマクロブロックとは、対象フレームよりも時間的に前のフレームに含まれ、対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出し、該予測マクロブロックへの相対位置を示す動きベクトルを検出し、該検出された動きベクトルに基づいて最適な予測マクロブロックを取得し、対象マクロブロックと対応する予測マクロブロックとの差分である差分マクロブロックに対してＤＣＴ変換した後、ＤＣＴ係数を量子化した量子化ＤＣＴ係数を動きベクトルや量子化パラメータと共に可変長符号化したものである。すなわち、イントラマクロブロックは動き補償が施されずに符号化されたものであり、インターマクロブロックは動き補償が施されて符号化（動き補償付き予測符号化）されたものである。
【００７７】
また、動き補償手段２０６は、マクロブロックが「イントラ」である場合、可変長復号化手段２０３で可変長復号化された、量子化およびＤＣＴされているマクロブロックを受け取り、該マクロブロックをデータバッファ１０４に出力する。一方、マクロブロックが「インター」である場合、動き補償手段２０６は、可変長復号化手段２０３、逆量子化手段２０４、逆ＤＣＴ手段２０５でそれぞれ可変長復号化、逆量子化、逆ＤＣＴ変換された差分マクロブロックおよび動きベクトルを受け取り、既にデコードされフレームメモリ２０７に記憶されている前のフレームと受け取った動きベクトルとから予測マクロブロックを切り出して、該予測マクロブロックに受け取った差分マクロブロックを加算する。
【００７８】
さらに、フレームメモリ２０７は、復号化されたフレームを一時記憶するものであり、動き補償手段２０６から復号化されたマクロブロックが順次格納される。
【００７９】
次に、これらの構成要素を有するデコーダ部１０３が行う本実施形態の復号化処理について、図３を参照して説明する。図３は、デコーダ部１０３が行う復号化処理について説明するフローチャートである。まず、ステップＳ１０１では、上位レイヤ復号化手段２０１が、各レイヤのスタートコードやレイヤ情報などを読み出して、ピクチャレイヤに含まれているピクチャを画面に出力するタイミングを記録した時間情報を復号化し、「Time_info」として付加情報バッファ１０５に出力する。
【００８０】
次に、ステップＳ１０２では、デコードするピクチャが最初のピクチャであるかを判定して、最初でなければステップＳ１０３に進み、最初であればステップＳ１０４に進む。ステップＳ１０３では、上位レイヤ情報復号化手段２０１が、前のピクチャのスタートコードから次のピクチャのスタートコードまでの総ビット量を「picbit_amount」として付加情報バッファ１０５に出力し、ステップＳ１０４に進む。
【００８１】
ステップＳ１０４では、ＭＢ情報復号化手段２０２が、各マクロブロックに関する情報を復号化し、量子化パラメータを「Quant」とし、「イントラ」または「インター」などマクロブロックのタイプを「MB_type」とし、マクロブロック内のブロックごとの符号化／非符号化情報を「MB_coded」として付加情報バッファ１０５に出力する。
【００８２】
次に、ステップＳ１０５では、デコードするマクロブロックが最初のマクロブロックであるかを判定して、最初でなければステップＳ１０６に進み、最初であればステップＳ１０７に進む。ステップＳ１０６では、ＭＢ情報復号化手段２０２が、前のマクロブロックの先頭から次のマクロブロックの先頭までの総ビット量を「MBbit_amount」として付加情報バッファに出力し、ステップＳ１０７に進む。
【００８３】
ステップＳ１０７では、デコードするマクロブロックのタイプが「イントラ」であるか「インター」であるかを判別し、イントラであればステップＳ１０８に進み、インターであればステップＳ１０９に進む。ステップＳ１０８（イントラの場合）では、可変長復号化手段２０３が可変長復号化を行い、量子化およびＤＣＴされているマクロブロックを得る。該マクロブロックは、逆量子化手段２０４および逆ＤＣＴ手段２０５を介さずに動き補償手段２０６に送られる。
【００８４】
一方、ステップＳ１０９（インターの場合）では、可変長復号化手段２０３、逆量子化手段２０４、逆ＤＣＴ手段２０５でそれぞれ可変長復号化、逆量子化、逆ＤＣＴ変換することよって差分マクロブロックおよび動きベクトルをデコードして、これら差分マクロブロックおよび動きベクトルを逆ＤＣＴ手段２０５から動き補償手段２０６に送る。次に、ステップＳ１１０では、動き補償手段２０６が、既にデコードされフレームメモリ２０７に記憶されている前のフレームと動きベクトルとを用いて予測マクロブロックを切り出して、該予測マクロブロックに差分マクロブロックを加算する。このとき、切り出された予測マクロブロックの精度が悪いと、該予測マクロブロックを用いて復号化した画像が劣化してしまう。
【００８５】
ステップＳ１０８またはステップＳ１１０が終了すると、ステップＳ１１１に進み、動き補償手段２０６は、マクロブロックがイントラのときは量子化およびＤＣＴされたマクロブロックをデータバッファ１０４に出力し、マクロブロックがインターのときは予測マクロブロックに差分マクロブロックを加算して作成された非圧縮のマクロブロックをデータバッファ１０４に出力する。
【００８６】
次に、ステップＳ１１２では、デコードしたマクロブロックが最後のマクロブロックであるかを判定し、最後でなければステップＳ１０４に戻り次のマクロブロックに対してステップＳ１０４以降の処理を行い、最後であればステップＳ１１３に進む。ステップＳ１１３では、デコードしたピクチャが最後のピクチャであるかを判定し、最後でなければステップＳ１０１に戻り次のピクチャに対してステップＳ１０１以降の処理を行い、最後であれば当該復号化処理を終了する。
【００８７】
図４に、１ピクチャがデコードされたときの、付加情報バッファ１０５に書き込まれたデータの一形式を示す。同図に示す形式では、或るピクチャの時間情報である「Time_info」と、該ピクチャのトータルビットである「Pictbit_amount」とを有し、さらに、量子化パラメータである「Quant」、マクロブロックのタイプを示す「MB_type」、マクロブロックの符号化／非符号化情報である「MB_coded」、および一マクロビットのトータルビットである「MBbit_amount」を一セットとして、これらの情報を当該ピクチャが有するマクロビットの数だけ有する。なお、付加情報バッファ１０５には、マクロブロックの集まりであるＧＯＢ（Group Of Blocks）の総ビット量である「GOBbit_amount」や、ブロックごとのビット量である「Blockbit_amount」等を書き込んでも良い。また、以下では、これらの情報を総称して付加情報と称す。
【００８８】
次に、エンコーダ部１０６の内部構成および動作について詳細に説明する。まず、エンコーダ部１０６の内部構成について、図５を参照して説明する。図５は、エンコーダ部１０６の内部構成を示すブロック構成図である。エンコーダ部１０６は、変換係数算出手段または上限データ量算出手段であるビットレート制御部５１１と、減算器５０１と、ＤＣＴ手段５０２と、量子化手段５０３と、可変長符号化手段５０４と、逆量子化手段５０５と、逆ＤＣＴ手段５０６と、動き補償手段５０７と、フレームメモリ５０８と、ＭＢ情報符号化手段５０９と、上位レイヤ情報符号化手段５１０とを備えて構成されている。
【００８９】
まず、ビットレート制御部５１１は、ビットレートの調整を制御するものであり、量子化パラメータ出力手段５１２および割り当て手段に該当するＭＢビット割り当て手段５１３を有する。以下、ビットレート制御部５１１におけるビットレートの調整方法について詳しく説明する。入力ビットストリームと出力ビットストリームとは、異なる画像符号化方式で符号化されているので、これら入力ビットストリームおよび出力ビットストリームを全く同じ画質で再生するためには、通常、各ビットストリームは異なるビットレートとなる。この原因としては、例えば、レイヤ構造の違い、同じレイヤ内に属する情報の数の違い、同じ情報でも割り当てるビット長の違い、量子化方法の違い、可変長符号化の違いなどが考えられる。しかしながら、画像符号化方式を変更しても入力ビットストリームに等しいビットレートのビットストリームを出力可能な画像符号化方式変換装置および方法が求められているため、ビットレートの違いを吸収するためにビットレート制御部５１１が設けられている。
【００９０】
また、ビットレート制御部５１１は、付加情報バッファ１０５から読み込んだ付加情報を一時的に保存可能なレジスタ（図示せず）を内部に有している。また、ビットレート制御部５１１は、該レジスタとは別にメモリも内部に有し、既に符号化したピクチャのビット量やエンコーダ間での圧縮率を保持しておくことができる。圧縮率とは、ある一定画質の画像を符号化したときの圧縮画像データと非圧縮画像データのビット量の比であり、画像のサンプルごとに値は変わるが、統計的に得られた平均値を用いたものである。なお、圧縮率は量子化パラメータによって左右され、量子化パラメータが大きいと圧縮率が高くなる。
【００９１】
また、圧縮率は、符号化方式によって異なるため、本実施形態の画像符号化方式変換装置を初期化するときに、入力ビットストリームの画像符号化方式の圧縮率および出力ビットストリームの画像符号化方式の圧縮率の両方が、外部から図示しないエンコーダ制御手段を介してビットレート制御部５１１のメモリに格納される。ビットレート制御部５１１は、これらの圧縮率から画像符号化方式変換に伴う変換係数を計算して、メモリに格納する。
【００９２】
例えば、Ｈ．２６１の圧縮率が１／ａで、ＭＰＥＧ４の圧縮率が１／ｂであるとき、Ｈ．２６１の入力ビットストリームからＭＰＥＧ４の出力ビットストリームへの画像符号化方式変換に伴う変換係数は、ｂ／ａとなる。反対に、ＭＰＥＧ４の入力ビットストリームからＨ．２６１の出力ビットストリームへの画像符号化方式変換に伴う変換係数は、ａ／ｂとなる。
【００９３】
以下に、ビットレート制御部５１１が行う第１のビットレート調整方法を説明する。ビットレート制御部５１１は、１ピクチャの符号化を始める前に、付加情報バッファ１０５から１ピクチャのトータルビット「Picbit_amount」を読み込んで、該「Picbit_amount」からそのピクチャを符号化するときのターゲット（目標）ビット量を計算する。このとき、ターゲットビット量は、過去のピクチャのビット量がそのピクチャのターゲットビット量よりも少ないときは、読み込まれた「Picbit_amount」よりも多めに設定され、逆に、過去のピクチャのビット量がそのピクチャのターゲットビット量よりも多いときは、読み込まれた「Picbit_amount」よりも少なめに設定される。
【００９４】
また、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３は、対象ピクチャのターゲットビット量を各マクロブロックに割り当て、各マクロブロックのターゲットビット量を得る。次に、ＭＢビット割り当て手段５１３は、各マクロブロックのターゲットビット量をマクロブロックの上限ビット量として可変長符号化手段５０４に送る。一方、ビットレート制御部５１１が有する量子化パラメータ出力手段５１２は、レジスタに保持されている量子化パラメータ「Quant」を読み出し、その値に画像符号方式変換に伴う変換係数を乗じて得られた量子化パラメータを量子化手段５０３に送る。
【００９５】
次に、ビットレート制御部５１１が行う第２のビットレート調整方法を説明する。該第２のビットレートの調整方法では、ＭＢビット割り当て手段５１３がビットの割り当てを行う際、ピクチャのターゲットビット量は用いずに、ビットレート制御部５１１内のレジスタに保持されている付加情報に含まれている一マクロビットのトータルビット「MBbit_amount」を読み出して、その値に基づいて該マクロビットの上限ビット量を設定し、可変長符号化手段５０４に送る。一方、量子化パラメータ出力手段５１２は、レジスタから付加情報に含まれている量子化パラメータ「Quant」を読み出して、その値に画像符号化方式変換に伴う変換係数を乗じて得られた量子化パラメータを量子化手段５０３に送る。
【００９６】
続いて、量子化パラメータ出力手段５１２が行う、他の量子化パラメータ決定方法について説明する。図６（ａ）に、入力ビットストリームの量子化されたＤＣＴ係数Ａと、該ＤＣＴ係数を逆量子化した逆量子化ＤＣＴ係数Ｂとを示す。例えば、量子化パラメータが５であり、量子化されたＤＣＴ係数Ａが左から[１６，５，２，３]であるとき、逆量子化されたＤＣＴ係数Ｂは左から[８０，２５，１０，１５]（Ｂ＝Ａ×５）となる。該ＤＣＴ係数Ｂを、量子化パラメータ５で量子化すれば量子化誤差は０になるが、前述したように符号化方式の圧縮率の違いからビットレートが変わってきてしまう。
【００９７】
このため、図６（ｂ）に示すように、画像符号化方式変換に伴う変換係数を先の量子化パラメータに乗じて、再量子化の量子化パラメータを決定する。ここで変換係数を１．４とすると、再量子化の量子化パラメータが７（＝５×１．４）となるため、該量子化パラメータ７を用いてＤＣＴ係数Ｂ[８０，２５，１０，１５]を再び量子化すると、ＤＣＴ係数Ｃは[１１，３，１，２]（Ｃ＝Ｂ÷７）になる。しかしながら、ＤＣＴ係数は小さくなったものの、ＤＣＴ係数Ｃを逆量子化すると逆量子化されたＤＣＴ係数Ｄは[７７，２１，７，１４]（Ｄ＝Ｃ×７）となるため、[３，４，３，１]といった量子化誤差Ｘ（＝Ｂ−Ｄ）が生じてしまう。
【００９８】
これに対し、図６（ｃ）に示すように、元の量子化パラメータ５の倍数、例えば２倍の１０を再量子化のための量子化パラメータとして用いて、ＤＣＴ係数Ｂ[８０，２５，１０，１５]を再び量子化すると、ＤＣＴ係数Ｅは[８，２，１，１]（Ｅ＝Ｂ÷１０）になる。該ＤＣＴ係数Ｅを逆量子化すると逆量子化されたＤＣＴ係数Ｆは[８０，２０，１０，１０]（Ｆ＝Ｅ×１０）となり、量子化誤差Ｙは[０，５，０，５]（Ｙ＝Ｂ−Ｆ）となる。このように、量子化パラメータが１０のときは、量子化されたＤＣＴ係数（Ｅ）が小さく、量子化誤差の累積も、量子化パラメータが７のとき（図６（ｂ））は「１１」であるのに対して「１０」と少なくなっている。
【００９９】
このように、量子化誤差はＤＣＴ係数の値によって左右される可能性があるが、変換係数が１より大きい場合には、変換係数を乗ずることによって得られた量子化パラメータ（７）よりも、元の量子化パラメータ（５）の倍数に当たる量子化パラメータ（１０）の方が、量子化誤差が０の係数を増やすことができる。したがって、変換係数が１よりも大きいときは、元の量子化パラメータの倍数を実際の量子化値とすると、量子化誤差の累計を小さくすることができる。また、変換係数が１より小さい場合には、元の量子化パラメータの約数を実際の量子化値として用いることによって、量子化誤差が０の係数を増やすことができるため、量子化誤差の累計を小さくすることができる。
【０１００】
また、減算器５０１は、マクロブロックがインターの場合、動き補償手段５０７から得られた予測マクロブロックとデータバッファ１０４から読み込んだマクロブロックとの差分を計算して、差分マクロブロックを生成するものである。また、ＤＣＴ手段５０２は、減算器５０１から得られた差分マクロブロックに対してＤＣＴ変換するものである。また、量子化手段５０３は、ビットレート制御部５１１が有する量子化パラメータ出力手段５１２から得られた量子化パラメータで、ＤＣＴ変換された差分マクロブロックを量子化するものである。
【０１０１】
また、可変長符号化手段５０４は、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３から得られた上限ビット量を参照して、ＤＣＴおよび量子化された／されているマクロブロックを可変長符号化するものである。但し、可変長符号化されたマクロブロックのビット量が上限ビット量を超えたとき、可変長符号化手段５０４は、マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１０２】
以下、可変長符号化手段５０４によるビット切詰め処理を、図７を参照して詳しく説明する。図７は、Ｈ．２６１等で用いられる可変長符号化の例を示し、特に、図７（ａ）は量子化されたＤＣＴブロックを示し、図７（ｂ）はビット切り詰め処理を行った後のＤＣＴブロックを示す。まず、ＤＣＴブロックは、矢印で示したように、左上から右下にＤＣＴ係数がジグザグスキャンされて一次元の係数列に並べ替えられ、可変長符号化される。一次元に並べ替えられたときの一次元データは、ＤＣＴブロックに対してジグザグスキャンしたとき、対象となるＤＣＴ係数の前に０のＤＣＴ係数が幾つ連続してあるかを示す個数「run」と、０以外の対象となるＤＣＴ係数の値「level」との組み合わであり、最後の非ゼロ・ＤＣＴ係数の後にスキャン打ち切り符号として「ＥＯＢ（End Of Block）」が付加される。なお、ＭＰＥＧ４では、「run」と「level」に加えて、そのＤＣＴブロックの中で最後の非ゼロ・ＤＣＴ係数であるかどうかを示す符号「last」を用いた３次元の可変長符号化が行なわれる。
【０１０３】
可変長符号化手段５０４は、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３からマクロブロックのターゲットビット量を受け取ると、該ターゲットビット量を一マクロブロックが有するブロックの数で割って、一ブロック当たりのターゲットビット量を求める。次に、ＤＣＴブロックをジグザグスキャンしてＤＣＴ係数の可変長符号化を行い、同時に符号化ビットをカウントする。符号化ビット量がブロックのターゲットビット量と等しくなるか超えたら、可変長符号化をそこで打ち切ってＥＯＢを付加するか、ＭＰＥＧ４の場合、「last」を１にする。
【０１０４】
例えば、図７（ａ）に示したＤＣＴブロックを可変長符号化しているとき、ＤＣＴ係数の値が−５のところで符号化ビット量がターゲットビット量に達してしまうと、図７（ｂ）に示すように、−５のＤＣＴ係数の次以降のＤＣＴ係数が全て０のＤＣＴブロックを符号化したときと同様の結果が得られることとなる。このように、可変長符号化手段５０４がマクロブロックのターゲットビット量を用いて可変長符号化時にビットの切詰めを行うので、入力ビットストリームと等しいビットレートで符号化を行える。
【０１０５】
また、逆量子化手段５０５はマクロブロックを逆量子化するものであり、逆ＤＣＴ手段５０６は逆量子化手段５０５で逆量子化されたマクロブロックを逆ＤＣＴ変換するものである。また、フレームメモリ５０８は、動き補償手段５０７に送られる逆量子化および逆ＤＣＴされたマクロブロックを順次格納し、フレームとして記憶するものである。
【０１０６】
また、動き補償手段５０７は、逆ＤＣＴ手段５０６から送られたマクロブロックのタイプに応じて、動き予測を行って、動き補償するものである。より詳細には、逆ＤＣＴ手段５０６から送られたマクロブロックがインターマクロブロックである場合、対象マクロブロックの動き予測を行って動きベクトルを検出し、該動きベクトルに基づいてフレームメモリ５０８内の１フレーム前のピクチャから予測マクロブロックを取得する。該予測マクロブロックを所得した後、動き補償手段５０７は、該予測マクロブロックを減算器５０１に送る一方で、差分マクロブロックを予測マクロブロックに加算した後、加算されたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。また、逆ＤＣＴ手段５０６から送られたマクロブロックがイントラマクロブロックである場合は、逆量子化および逆ＤＣＴされたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。
【０１０７】
また、ＭＢ情報符号化手段５０９は、可変長符号化手段５０４によって符号化されたマクロブロックに、マクロブロックタイプや動きベクトル等、各マクロブロックに固有の情報を符号化して、上位レイヤ情報符号化手段５１０に送るものである。
【０１０８】
また、上位レイヤ情報符号化手段５１０は、付加情報バッファ１０５から時間情報「Time_info」を読み込み、ＭＢ情報符号化手段５０９から送られた符号化された情報に、動画ビットストリームシーケンスを構成するレイヤのうちピクチャレイヤ以上の上位のレイヤ情報を符号化するものである。
【０１０９】
次に、これらの構成要素を有するエンコーダ部１０６が行う本実施形態の符号化処理について、図８を参照して説明する。図８は、エンコーダ部１０６が行う符号化処理について説明するフローチャートである。まず、ステップＳ２０１では、ビットレート制御部５１１が付加情報バッファ１０５から「Picbit_amount」を読み込んで、図示しない内部のレジスタに保存する。次に、ステップＳ２０２では、エンコーダ制御手段（図示せず）が付加情報バッファ１０５から「MB_coded」を読み込んで、マクロブロックの各ブロックの符号化情報をＭＢ情報符号化手段５０９に送る。ここで、全てのブロックにおいて符号化が必要ない場合は、フレームメモリ５０８から１フレーム前の現マクロブロックの位置データを、フレームメモリ５０８内の現マクロブロックの位置にコピーする。
【０１１０】
次に、ステップＳ２０３では、エンコーダ制御手段が、付加情報バッファ１０５から「MB_type」を読み込んで、マクロブロックのタイプが「イントラ」であるか「インター」であるかを判別し、イントラであればステップＳ２０４に進み、インターであればステップＳ２０５に進む。ステップＳ２０４（イントラの場合）では、ビットレート制御部５１１が、付加情報バッファ１０５から「MBbit_amount」を読み込んで、図示しない内部のレジスタに保存する。このとき、ビットレート制御部５１１が備えるＭＢビット割り当て手段５１３は、「Picbit_amount」、「MBbit_amount」および現在の符号化ビット量等から現マクロブロックに割り当てる上限ビット量を算出して、可変長符号化手段５０４に送る。可変長符号化手段５０４は、データバッファ１０４から読み込んだマクロブロックの可変長符号化を行う。その際、可変長符号化されたマクロブロックのビット量が算出された上限ビット量を超えたとき、可変長符号化手段５０４は、マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１１１】
一方、ステップＳ２０５（インターの場合）では、動き補償手段５０７が、データバッファ１０４から読み込んだマクロブロックの動き予測を行って動きベクトルを検出した後、該動きベクトルに基づいて予測マクロブロックを取得し、該取得された予測マクロブロックを減算器５０１に送る。減算器５０１は、送られた予測マクロブロックとエンコーダ制御手段がデータバッファ１０４から読み込んだマクロブロックとの差分を計算して差分マクロブロックを得て、得られた差分マクロブロックをＤＣＴ手段５０２に送る。
【０１１２】
次に、ステップＳ２０６では、ＤＣＴ手段５０２が差分マクロブロックに対してＤＣＴ変換を行い、量子化手段５０３に送る。次に、ステップＳ２０７では、ビットレート制御部５１１が付加情報バッファ１０５から「MBbit_amount」および「Quant」を読み込んで、図示しない内部のレジスタに保存する。次に、ビットレート制御部５１１が備える量子化パラメータ出力手段５１２が、「Picbit_amount」、「MBbit_amount」および現在の符号化ビット量等から現マクロブロックの量子化パラメータを決定する。
【０１１３】
次に、ステップＳ２０８では、量子化手段５０３が、量子化パラメータ出力手段５１２によって決定された量子化パラメータを用いてＤＣＴ係数の量子化を行う。次に、可変長符号化手段５０４は、量子化手段５０３によって量子化されたマクロブロックの可変長符号化を行う。その際、可変長符号化された差分マクロブロックの符号化ビット量が割り当てられた上限ビット量を超えたとき、可変長符号化手段５０４は、差分マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１１４】
ステップＳ２０４またはステップＳ２０８が終了すると、ステップＳ２０９に進み、ＭＢ情報符号化手段５０９は、可変長符号化手段５０４で符号化された差分マクロブロックに、マクロブロックのタイプや動きベクトル等のＭＢ情報を付加して上位レイヤ情報符号化手段５１０に送る。
【０１１５】
次に、ステップＳ２１０では、ＤＣＴおよび量子化されたマクロブロックが、逆量子化手段５０５、逆ＤＣＴ手段５０６によってそれぞれ逆量子化、逆ＤＣＴ変換された後、動き補償手段５０７に送られる。次に、動き補償手段５０７は、送られたマクロブロックがイントラマクロブロックである場合、逆量子化および逆ＤＣＴされたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。一方、送られたマクロブロックがインターマクロブロックである場合、フレームメモリ５０８内の１フレーム前のピクチャから予測マクロブロックを読み出して、差分マクロブロックを該予測マクロブロックに加算した後、加算されたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。
【０１１６】
次に、ステップＳ２１１では、現マクロブロックがピクチャ内で最初のマクロブロックであるかを判定して、最初であればステップＳ２１２に進み、最初かつ最後でなければステップＳ２１３に進む。ステップＳ２１２では、上位レイヤ情報符号化手段５１０が付加情報バッファ１０５から「Time_info」を読み込み、ＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームに、各レイヤのスタートコードやピクチャのデコードのタイミングを示す時間情報等の上位レイヤ情報を付加して出力手段１０７に出力した後、ステップＳ２０２に戻って次のマクロブロックに対して処理を始める。
【０１１７】
ステップＳ２１３では、現マクロブロックがピクチャ内で最後のマクロブロックであるかを判定して、最後でなければ、上位レイヤ情報符号化手段５１０はＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームをそのまま出力手段１０７に出力した後、ステップＳ２０２に戻り、最後であればステップＳ２１４に進む。ステップＳ２１４では、現フレームが最後のピクチャであるかを判定し、最後でなければ、上位レイヤ情報符号化手段５１０はＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームをそのまま出力手段１０７に出力した後、ステップＳ２０１に戻り、最後であれば当該符号化処理を終了する。
【０１１８】
以上説明したように、本実施形態に係る画像符号化方式変換装置および画像符号化方式変換方法によれば、デコーダ部１０３が復号化する過程でマクロブロックタイプ「MB_type」等を含む付加情報を付加情報バッファ１０５に書き込み、エンコーダ部１０６においてイントラマクロブロックとインターマクロブロックとが混在するフレームを符号化する際には、付加情報バッファ１０５から読み込んだ付加情報に含まれているマクロブロックタイプ「MB_type」を参照して、動き補償手段５０７がイントラ／インターの判別を行っている。このため、マクロブロックがイントラである場合、エンコーダ部１０６ではＤＣＴおよび量子化の処理が省略することができる。また、デコーダ部１０３では、逆量子化および逆ＤＣＴの処理を省略することができる。
【０１１９】
したがって、画像データのみから符号化／復号化する場合と比較して、画質の劣化無くまたは画質の劣化を最小限に抑えることができる。また、符号化されたビットレートの調整するための演算など、画像符号化方式変換に係る演算負荷を削減できるため、高速に画像符号化方式変換することができる。
【０１２０】
さらに、イントラマクロブロックでは、入力ビットストリームと出力ビットストリームとで等しい量子化パラメータを用いているので、エンコーダ部１０６における量子化誤差が無い状態で完全に入力ビットストリームの画質を再現することができる。
【０１２１】
また、逆ＤＣＴ変換を行わなかったとき、データバッファ１０４に格納されるデータは非圧縮画像であり、該非圧縮画像はエンコーダ部１０６で動き補償しなおされるため、対象マクロブロックの画質は良い。一方、逆ＤＣＴ変換を行ったとき、データバッファ１０４に格納されるデータは差分マクロブロックのＤＣＴ係数であり、該差分マクロブロックはエンコーダ部１０６で動き補償されず、動きベクトルも同じものを用いる。このとき、エンコーダ部１０６で取得される予測マクロブロックが対象マクロブロックと全く同一であれば対象マクロブロックの画質は全く劣化しないが、そうではない場合、画質は多少の劣化が生じ得る。
【０１２２】
次に、本実施形態の画像符号化方式変換装置の、特にエンコーダ部１０６の動作に係る実施例について説明する。
（第１実施例）
第１実施例では、図９（ａ）に示すように、マクロブロックのタイプの如何にかかわらずエンコーダ部１０６におけるＤＣＴおよび量子化を行わない。但し、可変長符号化を行う際には、可変長符号化手段５０４は、ＭＢビット割り当て手段５１３から得られた各マクロブロックの上限ビット量を利用して作成された図９（ｂ）に示すようなビット割り当てマップに基づいて、マクロブロックのビット切り詰めを行う。なお、本実施例においては、ＭＢビット割り当て手段５１３が各マクロブロックの上限ビット量を割り当てる際、イントラマクロブロックに対しては優先的に同じ値の上限ビット量を割り当てるか、または上限を設定ぜずにビット切り詰めを全く行わない。
【０１２３】
本実施例では、画像符号化方式を変換する過程において、イントラおよびインター両方のマクロブロックに対して量子化およびＤＣＴ変換を全く行わないため、演算量を大きく削減することができ、高速に方式変換することができる。
【０１２４】
（第２実施例）
次に、第２実施例では、図１０（ａ）に示すように、イントラマクロブロックに対しては量子化されたＤＣＴ係数をそのまま使用し、インターマクロブロックに対しては、上述したように量子化パラメータ出力手段５１２で、圧縮率の違いによる変換係数に応じて元の量子化パラメータの倍数または約数を実際の量子化値として用いる。
【０１２５】
但し、図１０（ｂ）に示すように、元の量子化パラメータに該変換係数を乗じて得られた帯小数となり得る量子化値を四捨五入して求められた量子化値では、量子化値が元の量子化パラメータよりも小さくなってしまうことがあり得る。例えば、図１１（ｂ）に示すように、例えば元の量子化後のＤＣＴ係数１３を量子化パラメータ８で逆量子化するとＤＣＴ係数は１０４になり、該ＤＣＴ係数を量子化パラメータ５で再量子化すると再量子化されたＤＣＴ係数が２０となるため、該ＤＣＴを再び逆量子化すると１００となってしまう。
【０１２６】
このように、異なる量子化パラメータによって再量子化されることによってＤＣＴ係数が下がってしまう（１０４→１００）と画像が劣化してしまうため、このようなケースが適応するマクロブロックのＤＣＴ係数に対しては、図１１（ａ）に示すように元のＤＣＴ係数のままとする。なお、再量子化によってＤＣＴ係数が上がった場合は、得られたＤＣＴ係数をそのまま用いる。
【０１２７】
なお、変換係数は、上述したような入力ビットストリームの画像符号化方式の圧縮率と出力ビットストリームの画像符号化方式の圧縮率と比から決定しても良いが、付加情報バッファ１０５から読み込まれた１ピクチャのトータルビット「Picbit_amount」とターゲットビットとの比を用いて、ピクチャごとに変換係数を決定しても良い。
【０１２８】
また、図１２に示すように、Ｈ．２６１→ＭＰＥＧ４やＭＰＥＧ４→Ｈ．２６１というように、入力ビットストリームから出力ビットストリームへの符号化方式の変換タイプごとに、元の量子化パラメータの値と変換係数とが対応した変換テーブルを予め作成しておき、該変換テーブルを用いて変換係数を決定しても良い。
【０１２９】
本実施例では、画像符号化方式を変換する過程において、イントラマクロブロックに対しては量子化およびＤＣＴを行わないため、演算量を削減することができる。但し、インターマクロブロックに対しては量子化または量子化およびＤＣＴを行うため、画質の劣化を抑えたまま高速に方式変換することができる。
【０１３０】
〔第２の実施形態〕
図１３は、本発明の第２の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。なお、同図において、図１（第１の実施形態）と重複する部分には同一の符号を附して説明を省略する。図１３において、本実施形態の画像符号化方式変換装置９００は、入力手段９０２と、デコーダ部９０３と、データバッファ９０４と、付加情報バッファ９０５と、エンコーダ部９０６と、第１の実施形態と同様の出力手段１０７とを備えて構成されている。
【０１３１】
まず、本実施形態の入力手段９０２は、第１の実施形態の入力手段１０２と異なり、複数フレーム分の入力ビットストリームを内部のビットバッファ（図示せず）に蓄積できるものである。また、デコーダ部９０３は、エンコーダ部９０６の処理より先行して数フレーム分先までデコードすることができ、デコードされた画像データまたは途中までデコードされたデータをデータバッファ９０４に格納し、付加情報を付加情報バッファ９０５に格納する。
【０１３２】
また、データバッファ９０４および付加情報バッファ９０５のデータの記憶容量は、第１の実施形態のデータバッファ１０４および付加情報バッファ１０５よりもそれぞれ数倍大きい。さらに、エンコーダ部９０６は、付加情報バッファ９０５に保持されている対象フレームの付加情報、および対象フレームよりも後ろ（未来）のフレームの付加情報を参照して符号化を行う。
【０１３３】
次に、本実施形態の画像符号化方式変換装置９００がＭＰＥＧ４またはＨ．２６１からＨ．２６１またはＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う符号化について説明する。ＭＰＥＧ４とＨ．２６１では、一般にＭＰＥＧ４の方が圧縮率が高いため、ＭＰＥＧ４からＨ．２６１への画像符号化方式変換に伴う変換係数は１より大きくなる。このとき、第１の実施形態では、上限ビット値を参照したビット割り当て（第１実施例、図９参照）か、インターマクロブロックの実際の量子化パラメータを元の量子化パラメータの倍数とする（第２実施例、図１０参照）か、変換テーブルを用いて量子化パラメータを変更している（第２実施例、図１２参照）ため、フレーム全体に一様に誤差が配分されてしまう。
【０１３４】
そこで、本実施形態では、対象マクロブロックの実際の量子化パラメータを決定する際に、時間的に後ろ（未来）のフレームの対象マクロブロックと同じ位置のマクロブロックのタイプを参照して、図１４に示すように、イントラマクロブロック（Ｉ）および所定数のフレームにおいてはインターであるが数フレーム後にはイントラとなる（以下、「リフレッシュされる」という）マクロブロック（Ｐ）に対しては、量子化されたＤＣＴ係数をそのまま使用する。一方、リフレッシュされないインターマクロブロック（Ｐ′）に対しては、量子化パラメータを変更する。
【０１３５】
また、量子化パラメータを変更するマクロブロックの決定方法としては、上記未来のフレームを先読みする方法の他に、符号化の難易度を示すアクティビティをマクロブロックの符号ビット量と量子化パラメータとの乗算によって求め、求められたアクティビティに基づいて決定する方法を用いても良い。アクティビティが大きいマクロブロックは細かい画像であるため多少劣化させても構わないというアルゴリズムであれば、当該マクロブロックに対しては量子化されたＤＣＴ係数をそのまま使用し、アクティビティが小さいマクロブロックに対しては量子化パラメータを変更する。
【０１３６】
なお、リフレッシュされるインターマクロブロックは、量子化されたＤＣＴ係数をそのまま使用しても使用しなくても良いが、量子化パラメータは前と同じ値のパラメータを用いる。また、リフレッシュされるインターマクロブロックの量子化パラメータに乗じられる変換係数をそのまま用いたのでは出力ビットストリームのビットレートが大きくなりすぎるため、量子化パラメータを変更するマクロブロックの数に応じた変換係数の調整が必要となる。
【０１３７】
次に、本実施形態の画像符号化方式変換装置９００がＨ．２６１からＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う符号化について説明する。Ｈ．２６１では、マクロブロックの量子化パラメータとして１から３１までの値を自由に用いることができる。ところが、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータは、±２以下でなければならないという制限があるため、Ｈ．２６１のマクロブロックで用いられた量子化パラメータをそのまま用いることができない。例えば、Ｈ．２６１のあるマクロブロックでは量子化パラメータ５が用いられ、その隣のマクロブロックでは１０が用いられている場合、ＭＰＥＧ４に方式変換するときには、隣のマクロブロックの量子化パラメータを７までしか上げることができない。
【０１３８】
図１５（ａ）に示すグラフは、Ｈ．２６１で用いられた量子化パラメータの例を示す。横軸はマクロブロックナンバー（ＭＢナンバー）であり、縦軸は用いられた量子化パラメータであり、量子化パラメータは、順に[５，５，１０，１２，１２，８，６，５]である。また、図１５（ｂ）は、ＭＰＥＧ４で符号化する際に用いる量子化パラメータの例である。なお、同図に示されているＭＢナンバーのマクロブロックは、イントラマクロブロックまたはリフレッシュされるインターマクロブロックであって、量子化パラメータを変更する必要がないものとする。
【０１３９】
上述したように、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータは±２以下でなければならないという制限があるため、量子化パラメータが増えたら＋１または＋２だけ量子化パラメータを上げ、量子化パラメータが減ったら−１または−２だけ量子化パラメータを下げるというアルゴリズムで調整を行うと、量子化パラメータ（ａ）のように[５，５，７，９，１１，９，７，５]となる。
【０１４０】
これに対し、量子化パラメータの先読みを行うと、ＭＢナンバー６、７、８で量子化パラメータが下がることが分かっているので、ＭＢナンバー５では量子化パラメータを１１まで上げずに１０とし、量子化パラメータ（ｂ）を[５，５，７，９，１０，８，６，５]とすると、Ｈ．２６１で用いられた量子化パラメータと異なるＭＢナンバーの数が、量子化パラメータ（ａ）では５つ（ＭＢナンバー３、４、５、６、７）であるに対し、量子化パラメータ（ｂ）では３つ（ＭＢナンバー３、４、５）となる。このように、マクロブロックの量子化パラメータを先読みして最適な量子化パラメータの増減制御を行うことによって、画質劣化の起こるマクロブロックの数を抑えることができる。
【０１４１】
次に、本実施形態の画像符号化方式変換装置９００がＨ．２６１からＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う他の符号化について説明する。先に説明したように、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータの差は±２以下でなければならないという制限があるが、新たな量子化パラメータをどうしても±３以上に大きく変更したい場合は、以下に説明する「ｖｐａｃｋｅｔ（ブイパケット）」方式を用いる。該ブイパケットとは、図１６に示すように、フレーム中のマクロブロックを上から順に左端から右方向にマクロブロックを走査していき、量子化パラメータが大きく異なる連続した２つのマクロブロックを端部として一フレーム中に複数の領域を作成すると、その領域がブイパケットとされる。したがって、ブイパケットは少なくとも１つのマクロブロックから構成され、一ブイパケットを構成するマクロブロックは分散していない。
【０１４２】
該ブイパケットを用いることによって、図１５に示した例では、マクロブロックの先読みによって量子化パラメータの調整を行っていたが、ブイパケットを利用することによってマクロブロックを先読みする必要がなくなるため、該先読みに必要な演算の処理量を削減することができる。また、量子化パラメータを変更しないため、量子化誤差を無くすこともできる。
【０１４３】
なお、ＭＰＥＧ４では、イントラマクロブロック内のブロックでは、ＤＣ（直流）係数に対し非直線量子化が用いられている。このため、Ｈ．２６１およびＭＰＥＧ４でイントラブロックのＤＣ係数については、同じ量子化パラメータを用いることはできない。したがって、デコーダ部９０３内の逆量子化手段によるＤＣ係数の逆量子化と、エンコーダ部９０６内の量子化手段によるＤＣ係数の量子化が必要となる。
【０１４４】
以上説明したように、本実施形態に係る画像符号化方式変換装置および画像符号化方式変換方法によれば、対象フレームの付加情報、および対象フレームより後ろ（未来）のフレームの付加情報参照して、リフレッシュするインターマクロブロックに対しては量子化されたＤＣＴ係数をそのまま用いるため、該マクロブロックは数フレームの間画質が劣化するが、画像符号化方式変換に係る演算量を削減することができる。
【０１４５】
また、Ｈ．２６１からＭＰＥＧ４に画像符号化方式変換する場合においても、マクロブロックの先読みを行うことによって量子化誤差が小さくなるように、量子化パラメータを変更することができる。さらに、ブイパケット（ｖｐａｃｋｅｔ）を用いることによってＭＰＥＧ４に特有な性質に制限されることなく、量子化パラメータを変更する必要のないマクロブロックに対してはそのままの量子化パラメータを用いることができるため、画質の劣化を抑えた画像符号化方式変換を行うことができる。。
【０１４６】
【発明の効果】
以上説明したように、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体によれば、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ピクチャのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てるか、複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定し、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに割り当てられたまたは設定された上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【０１４７】
このように、復号化手段（復号化ステップ）では逆直交変換のみを行って逆量子化および逆ＤＣＴを行わず、符号化手段（符号化ステップ）ではＤＣＴおよび量子化を行わず直交変換のみを行っているため、ある画像符号化方式から別の画像符号化方式に方式変換するために必要な演算量を大きく削減することができる。したがって、高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、上限データ量に基づいてブロックのデータを切り詰めることによって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに、元のビットレートと略同じビットレートで方式変換することができる。
【０１４８】
また、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体によれば、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データとに入力データを分離し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断し、復号化手段（復号化ステップ）において、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）の判断結果に応じて対象ブロックを逆直交変換または逆直交変換および逆量子化し、復号化手段（復号化ステップ）で逆直交変換されたブロックに対しては、符号化手段（第１の符号化ステップ）において量子化を行わずに直交変換し、復号化手段で逆直交変換および逆量子化されたブロックに対しては、量子化パラメータ出力手段（量子化パラメータ出力ステップ）で量子化パラメータ情報に基づいて新たな量子化パラメータを出力し、符号化手段（第２の符号化ステップ）で新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後、該ブロックを量子化および直交変換している。
【０１４９】
特に、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化している。
【０１５０】
このように、イントラ符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、インター符号化形式のブロックに対しては、新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じて新たな量子化パラメータを生成し、該新たな量子化パラメータで再量子化しているため、ある画像符号化方式から別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに方式変換することができる。
【０１５１】
また、特に、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、前ブロック符号化形式判断ステップで該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化している。
【０１５２】
このように、イントラ符号化形式のブロック、および対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式がイントラ符号化形式であるインター符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、より高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、上記ブロック以外のブロックは、時間的に後のフレーム中の同じ位置のブロックがインター形式であるうちは画質の劣化が生じ得るが、いずれイントラ符号化形式のブロックとなるため、画質の劣化を抑えた画像符号化方式変換を実現することができる。なお、前ブロック符号化形式判断ステップが対象とするフレーム数を少なくすることによって、画質の劣化が生じ得る時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
【図２】デコーダ部の内部構成を示すブロック構成図である。
【図３】デコーダ部が行う復号化処理について説明するフローチャートである。
【図４】付加情報バッファに書き込まれたデータの一形式を示す説明図である。
【図５】エンコーダ部の内部構成を示すブロック構成図である。
【図６】量子化パラメータを用いたＤＣＴ係数の算出を説明する説明図である。
【図７】可変長符号化手段によるビット切詰め処理を説明する説明図である。
【図８】エンコーダ部が行う符号化処理について説明するフローチャートである。
【図９】第１の実施形態に係る画像符号化方式変換方法の第１実施例を示す説明図である。
【図１０】第１の実施形態に係る画像符号化方式変換方法の第２実施例を示す説明図である。
【図１１】量子化誤差の発生および第２実施例に係る量子化パラメータの決定を説明する説明図である。
【図１２】変換テーブルを示す説明図である。
【図１３】本発明の第２の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
【図１４】第２の実施形態に係る画像符号化方式変換方法を示す説明図である。
【図１５】第２の実施形態に係るマクロブロックの先読み方式による量子化パラメータの決定を説明する説明図である。
【図１６】ブイパケット（ｖｐａｃｋｅｔ）の生成とその一例を示す説明図である。
【図１７】特表平９−５１２４１０号公報に記載の符号変換装置を簡単に示したブロック構成図である。
【図１８】従来の符号化変換方法の処理の流れを説明する説明図である。
【符号の説明】
１０１ 入力ビットストリーム
１０２，９０２ 入力手段
１０３，９０３ デコーダ部
１０４，９０４ データバッファ
１０５，９０５ 付加情報バッファ
１０６，９０６ エンコーダ部
１０７ 出力手段
１０８ 出力ビットストリーム
２０１ 上位レイヤ情報復号化手段
２０２ ＭＢ情報復号化手段
２０３ 可変長復号化手段
２０４，５０５ 逆量子化手段
２０５，５０６ 逆ＤＣＴ手段
２０６，５０７ 動き補償手段
２０７，５０８ フレームメモリ
５０１ 減算器
５０２ ＤＣＴ手段
５０３ 量子化手段
５０４ 可変長符号化手段
５０９ ＭＢ情報符号化手段
５１０ 上位レイヤ情報符号化手段
【発明の属する技術分野】
本発明は画像符号化方式変換装置、画像符号化方式変換方法および該方法を実行させるためのプログラムを記録した記録媒体に係り、特に、必要な演算量が少なく、画質の劣化を抑えた圧縮符号化方式の方式変換を可能とする画像符号化方式変換装置、画像符号化方式変換方法および記録媒体に関する。
【０００２】
【従来の技術】
近年、デジタル映像信号を扱う機器が増加し、これらの機器で扱うデジタル映像信号はある符号化方式（以下、画像符号化方式という）によって圧縮符号化されている。ところが、異なる画像符号化方式の間には互換性がなく、ある機器で符号化したビットストリームは、他の画像符号化／復号化方式で符号化／復号化を行う機器では復号化できず、前記ある機器で符号化したビットストリームを再生できない。例えば、放送局等では、蓄積された符号化映像を放送するとき、蓄積した映像の画像符号化方式とは異なる画像符号化方式で符号化された映像を復号化して放送したいという要求がある。
【０００３】
このような要求を満たすためには、第１の画像符号化方式で符号化されたビットストリームを復号し、第２の画像符号化方式で再び符号化しなおすといった圧縮符号化方式の変換が必要となる。通常、第１の画像符号化方式に対応したデコーダと、第２の画像符号化方式に対応したエンコーダをつなぎ合わせれば、このような変換を行う変換装置が実現する。
【０００４】
デジタル映像信号の画像符号化方式で用いられる圧縮符号化方式のほとんどは、ＤＣＴ（離散コサイン変換）によるブロック内の空間的な冗長度の削減と、動き補償によるフレーム間の時間的な冗長度の削減とが組み合わされたハイブリッド型であり、さらにエントロピー符号化によりデータが圧縮されている。実際に、ビデオＣＤやビデオクリップで用いられるＭＰＥＧ１や、ＤＶＤやデジタル衛星放送で用いられるＭＰＥＧ２、テレビ会議／電話で用いられるＨ．２６１、アナログ回線用テレビ電話で用いられるＨ．２６３、次世代の動画符号化方式として注目されているＭＰＥＧ４などは全てこの符号化方式が取り入れられ、ＤＣＴ、量子化、動き補償、可変長符号化が施されている。
【０００５】
したがって、これらの符号化方式間における方式変換においては、実際のビットストリームの構造が互いによく似たものとなるため、第１の画像符号化方式で符号化されたビットストリームを復号化する際に、ピクチャやマクロブロックごとのビット量を計数することによって、復号されたビットストリームを第２の画像符号化方式で符号化する際の、ビットレート制御等の処理量を削減できる。
【０００６】
例えば、特表平９−５１２４１０号公報は、符号化されたビデオ信号を符号変換する方法およびその方法を用いた符号変換装置を開示しており、上述した処理量を削減している。以下、従来技術として当該符号変換装置２０００を、図１７を用いて簡単に説明する。
【０００７】
図１７は、特表平９−５１２４１０号公報に記載の符号変換装置を簡単に示したブロック構成図である。当該符号変換装置２０００は、復号化サブアセンブリ２００１および符号化サブアセンブリ２００２を備えて構成されている。復号化サブアセンブリ２００１は、入力ビットストリームを各レイヤに分ける機能を有するデマルチプレクシング回路２００３と、通常のデコーダ２００４とを内部に有する。また、符号化サブアセンブリ２００２は、フレームメモリ２００５と、遅延回路２００６と、通常のエンコーダ２００７と、ビットレート制御回路２００８と、目標ビット計算器２００９と、出力バッファ２０１０とを有する。
【０００８】
デコーダ２００４は、符号化された入力ビットストリームをデコードするものであり、可変長復号手段、逆量子化手段、逆ＤＣＴ手段等を有する。また、エンコーダ２００７は、非圧縮画像データを符号化するものであり、可変長符号化手段、量子化手段、ＤＣＴ手段、フレームメモリ、動き補償手段等を有する。また、ビットレート制御回路２００８および目標ビット計算器２００９は、出力ビットストリームのビット量を参照して、実際の符号化における量子化ステップを決定するものである。なお、符号変換装置２０００は、エンコーダで符号化する前にある量子化ステップで入力画像を符号化する、エンコーダと似た構成のプレアナライザを備えていない。
【０００９】
次に、符号変換装置２０００の動作について簡単に説明する。
デマルチプレクシング回路２００３は、入力ビットストリームを符号化されたデータと、それ以外のヘッダ情報やスタートコードなどのオーバヘッドとに分離する。データとオーバヘッドは、デコーダ２００４と目標ビット計算器２００９とにそれぞれ送られる。デコーダ２００４では、送られたデータのデコードを行い、フレームメモリ２００５に非圧縮画像データを順次書き込む。目標ビット計算器２００９は、データとオーバヘッドからマクロブロック等の各サブ画像のビット量Ｂを計数する。次に、計数されたビット量Ｂを画像全体に渡って加算し、一画像のビット量Ｓを得る。さらに、ある量子化ステップＱ２を一画像のビット量Ｓに乗算することにより、該画像のアクティビティＸを得る。
【００１０】
目標ビット計算器２００９は、内部にメモリを有し、前のフレームのアクティビティＸｐｒｅｖおよび得られたアクティビティＸから、そのフレームのビットＴを計算する。ターゲットビットＴは、目標ビット計算器２００９内の配分回路でマクロブロックごとのローカル目標値Ｔｎに配分され、ローカル目標値Ｔｎはビットレート制御回路２００８に送られる。ビットレート制御手段２００８は、送られたローカル目標値Ｔｎと出力バッファ２０１０の状態ｂ（パッキング密度）から修正すべき量子化ステップＱ１を計算し、エンコーダ２００７の図示しない量子化手段に送る。遅延回路を経た後、非圧縮画像はエンコーダ２００７に送られ、符号化される。この時、エンコーダ２００７内の量子化手段は、量子化ステップＱ１を用いて量子化を行う。エンコーダ２００７は、符号化されたビットストリームを順次出力バッファ２０１０に出力する。
【００１１】
以上説明したように、符号変換装置２０００は、デマルチプレクシング回路２００３でビットストリームをデマックスし、それらを目標ビット計算器２００９に入力することでプレアナライザを省きつつも、入力ビットストリームと出力ビットストリームとのビットレートを等しくすることができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の符号変換装置２０００にあっては、デマルチプレクシング回路２００３でマクロブロックレイヤまでデマックスを行おうとすると、デマルチプレクシング回路２００３は可変長復号化の機能が必要となるため、回路規模が大きくなり、演算量も増えてしまうといった問題点があった。また、デコーダ、エンコーダを単に直列接続した場合と比較しても、デコーダでの復号化およびエンコーダでの符号化に必要な演算量は減少しないという問題点があった。さらに、図１８に示すように、一度符号化した入力ビットストリームを完全に復号化してから符号化しなおしているため、画質の劣化が生じてしまうという問題点があった。
【００１３】
本発明は、上記従来の問題点に鑑みてなされたものであって、ある画像符号化方式から別の画像符号化方式に方式変換する際に、高速かつ画質の劣化を抑えた画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段を有し、前記符号化画像データを逆直交変換する復号化手段、および前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当て手段を有し、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化手段を備えたものである。
【００１５】
また、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記複数のブロックのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段を有し、前記符号化画像データを逆直交変換する復号化手段、および前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定する割り当て手段を有し、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化手段を備えたものである。
【００１６】
また、本発明に係る画像符号化方式変換装置は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段と、対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断手段と、を有し、前記ブロック符号化形式判断手段による判断結果に応じて前記対象ブロックを逆直交変換または逆直交変換および逆量子化する復号化手段、および前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力手段を有し、前記復号化手段で逆直交変換されたブロックに対しては、量子化を行わずに直交変換し、前記復号化手段で逆直交変換および逆量子化されたブロックに対しては、前記量子化パラメータ出力手段から出力された新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じた後、前記ブロックを量子化および直交変換する符号化手段を備えたものである。
【００１７】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化するものである。
【００１８】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化するものである。
【００１９】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記付加情報データが各ブロックのビット量情報を有し、前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化手段は、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、該対象ブロックのビット量と量子化パラメータとの乗算によって求められる符号化の難易度を示すアクティビティに基づいて、前記対象ブロックを逆直交変換または逆直交変換および逆量子化するものである。
【００２０】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記符号化手段は、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出手段を有し、前記量子化パラメータ出力手段は、前記変換係数算出手段が算出した変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力するものである。
【００２１】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記量子化パラメータ出力手段は、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力するものである。
【００２２】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値である。
【００２３】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記付加情報データは前記ピクチャのデータ量情報を有し、前記符号化手段は、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出手段を有し、前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出手段が算出した前記ピクチャの上限データ量との比から求められる値である。
【００２４】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００２５】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、前記量子化パラメータ出力手段は、前記復号化手段で逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力するものである。
【００２６】
また、本発明に係る画像符号化方式変換装置は、本発明の画像符号化方式変換装置において、当該画像符号化方式変換装置がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、前記量子化パラメータ出力手段は、前記復号化手段で逆直交変換および逆量子化された対象とするブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力するものである。
【００２７】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、前記符号化画像データを逆直交変換する復号化ステップと、前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当てステップと、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化ステップと、を有するものである。
【００２８】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記複数のブロックのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、前記符号化画像データを逆直交変換する復号化ステップと、前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定する割り当てステップと、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化ステップと、を有するものである。
【００２９】
また、本発明に係る画像符号化方式変換方法は、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断ステップと、前記ブロック符号化形式判断ステップによる判断結果に応じて前記対象ブロックを逆直交変換または逆直交変換および逆量子化する復号化ステップと、前記復号化ステップで逆直交変換されたブロックに対しては、量子化を行わずに直交変換する第１の符号化ステップを行い、前記復号化ステップで逆直交変換および逆量子化されたブロックに対しては、前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力ステップ、および前記量子化パラメータ出力ステップで出力された新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後に、前記ブロックを量子化および直交変換する第２の符号化ステップを行う符号化ステップと、を有するものである。
【００３０】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、前記対象ブロックがインター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化するものである。
【００３１】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、前記対象ブロックがインター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断する前ブロック符号化形式判断ステップをさらに有し、該前ブロック符号化形式判断ステップで該ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換および逆量子化するものである。
【００３２】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記付加情報データが各ブロックのビット量情報を有し、前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、前記復号化ステップは、前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、符号化の難易度を示すアクティビティを前記対象ブロックのビット量と量子化パラメータとの乗算によって求めるアクティビティ算出ステップをさらに有し、該アクティビティ算出ステップで求められたアクティビティに基づいて前記対象ブロックを逆直交変換または逆直交変換および逆量子化するものである。
【００３３】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出ステップを有し、前記変換係数算出ステップで算出された変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力するものである。
【００３４】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力するものである。
【００３５】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値である。
【００３６】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記付加情報データは前記ピクチャのデータ量情報を有し、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出ステップを有し、前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出ステップで算出された前記ピクチャの上限データ量との比から求められる値である。
【００３７】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００３８】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、前記量子化パラメータ出力ステップは、前記復号化ステップで逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力するものである。
【００３９】
また、本発明に係る画像符号化方式変換方法は、本発明の画像符号化方式変換方法において、当該画像符号化方式変換方法がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、前記量子化パラメータ出力ステップは、前記復号化ステップで逆直交変換および逆量子化された対象とするマクロブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力するものである。
【００４０】
さらに、本発明に係るコンピュータにより読み取り可能な記録媒体は、本発明の画像符号化方式変換方法をコンピュータに実行させるためのプログラムとして記録したものである。
【００４１】
本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ピクチャのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当て、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【００４２】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ブロックのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定し、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに設定された上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【００４３】
このように、復号化手段（復号化ステップ）では逆直交変換のみを行って逆量子化および逆ＤＣＴを行わず、符号化手段（符号化ステップ）ではＤＣＴおよび量子化を行わず直交変換のみを行っているため、ある画像符号化方式から別の画像符号化方式に方式変換するために必要な演算量を大きく削減することができる。したがって、高速な画像符号化方式変換が可能となる。また、上限データ量に基づいてブロックのデータを切り詰めることによって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに、元のビットレートと略同じビットレートで方式変換することができる。
【００４４】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データとに入力データを分離し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断し、復号化手段（復号化ステップ）において、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）の判断結果に応じて対象ブロックを逆直交変換または逆直交変換および逆量子化し、復号化手段（復号化ステップ）で逆直交変換されたブロックに対しては、符号化手段（第１の符号化ステップ）において量子化を行わずに直交変換し、復号化手段で逆直交変換および逆量子化されたブロックに対しては、量子化パラメータ出力手段（量子化パラメータ出力ステップ）で量子化パラメータ情報に基づいて新たな量子化パラメータを出力し、符号化手段（第２の符号化ステップ）で新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後、該ブロックを量子化および直交変換している。
【００４５】
特に、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化している。
【００４６】
このように、イントラ符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、高速な画像符号化方式変換が可能となる。また、インター符号化形式のブロックに対しては、新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じて新たな量子化パラメータを生成し、該新たな量子化パラメータで再量子化しているため、ある画像符号化方式から別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに方式変換することができる。
【００４７】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、前ブロック符号化形式判断ステップで該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化している。
【００４８】
このように、イントラ符号化形式のブロック、および対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式がイントラ符号化形式であるインター符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、より高速な画像符号化方式変換が可能となる。また、上記ブロック以外のブロックは、時間的に後のフレーム中の同じ位置のブロックがインター形式であるうちは画質の劣化が生じ得るが、いずれイントラ符号化形式のブロックとなるため、画質の劣化を抑えた画像符号化方式変換を実現することができる。なお、前ブロック符号化形式判断ステップが対象とするフレーム数を少なくすることによって、画質の劣化が生じ得る時間を短くすることができる。
【００４９】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、付加情報データが各ブロックのビット量情報を有し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、アクティビティ算出ステップで該対象ブロックのビット量と量子化パラメータとの乗算によって求められた符号化の難易度を示すアクティビティに基づいて、対象ブロックを逆直交変換または逆直交変換および逆量子化している。
【００５０】
このように、アクティビティを用いることによって、インター符号化形式のブロックのうち、どのブロックに対しては量子化されたＤＣＴ係数をそのまま用いることができるかを簡単な演算で判別することができるため、従来よりも演算量の少ない、高速な画像符号化形式変換が可能となる。
【００５１】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数算出手段（変換係数算出ステップ）において、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出し、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、変換係数算出手段（変換係数算出ステップ）で算出された変換係数が１よりも大きいときは、新たな量子化パラメータを量子化パラメータ情報が示す量子化パラメータの倍数とし、変換係数が１よりも小さいときは新たな量子化パラメータを量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力している。
【００５２】
したがって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、元の量子化パラメータで逆量子化されたときのＤＣＴ係数と新たな量子化パラメータで量子化されたＤＣＴ係数との差である量子化誤差を小さくすることができるため、量子化の変換に伴う量子化誤差による画質の劣化を抑えた画像符号化方式変換を実現することができる。
【００５３】
特に、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、量子化パラメータ情報が示す量子化パラメータの倍数または約数を新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、元のＤＣＴ係数を前記ブロックのＤＣＴ係数として出力している。
【００５４】
新たな量子化パラメータをブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは量子化誤差が発生してしまい、かえって画質が劣化してしまうため、上記装置、上記方法および上記記録媒体によれば、量子化の変換に伴う量子化誤差による画質の劣化が非常に抑えられた画像符号化方式変換を実現することができる。
【００５５】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値であることが望ましい。
【００５６】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、付加情報データは前記ピクチャのデータ量情報を有し、上限データ量算出手段（上限データ量算出ステップ）でピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出し、変換係数は、ピクチャのデータ量情報が示すデータ量と上限データ量算出手段（上限データ量算出ステップ）で算出されたピクチャの上限データ量との比から求められる値であることが望ましい。
【００５７】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値である。
【００５８】
このように、変換係数に対応する量子化パラメータを予め決定しておくことによって、演算負荷の少ない高速な画像符号化方式変換を実現することができる。
【００５９】
また、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、復号化手段（復号化ステップ）で逆直交変換および逆量子化されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力している。
【００６０】
このように、対象ブロックの新たな量子化パラメータを決定する際に、該対象ブロックよりも後のブロックを先読みして最適な量子化パラメータの増減制御を行うことによって、量子化パラメータの変換に伴う画質の劣化が起こり得るブロックの数を抑えることができる。
【００６１】
さらに、本発明に係る画像符号化方式変換装置、本発明に係る画像符号化方式変換方法および本発明に係る記録媒体では、量子化パラメータ出力手段（量子化パラメータ出力ステップ）において、当該画像符号化方式変換装置および当該画像符号化方式変換方法がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、復号化手段（復号化ステップ）で逆直交変換および逆量子化された対象とするマクロブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力している。
【００６２】
ＭＰＥＧ４規格では、隣り合うマクロブロック間での量子化パラメータの差は±２以下でなければならないという制限があるため、新たな量子化パラメータをどうしても±３以上に大きく変更したいときは、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定して、該集合領域内においてマクロブロック間での量子化パラメータの差を±２以下とすれば良いので、前記制限にかかわらず新たな量子化パラメータを決定することができる。したがって、柔軟性の高い画像符号化方式変換が実現可能となる。
【００６３】
【発明の実施の形態】
以下、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体の実施の形態について、〔第１の実施形態〕、〔第２の実施形態〕の順に図面を参照して詳細に説明する。なお、それぞれの実施形態の説明では、本発明に係る画像符号化方式変換装置および画像符号化方式変換方法について詳述するが、本発明に係る記録媒体については、画像符号化方式変換方法を実行させるためのプログラムを記録した記録媒体であることから、その説明は以下の画像符号化方式変換方法の説明に含まれるものである。また、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００６４】
本発明に係る画像符号化方式変換装置は、ある符号化方式で圧縮符号化された動画ビットストリームを別の異なる符号化方式に圧縮符号化しなおして出力するものである。また、本発明に係る画像符号化方式変換装置および画像符号化方式変換方法が対象とする符号化方式は、ＤＣＴ（離散コサイン変換）等の直交変換、量子化、可変長符号化、動き補償、エントロピー符号化等の処理を行うものであり、例えば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４等が考えられる。
【００６５】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
同図において、本実施形態の画像符号化方式変換装置１００は、入力手段１０２と、特許請求の範囲の復号化手段に該当するデコーダ部１０３と、データバッファ１０４と、付加情報バッファ１０５と、符号化手段に該当するエンコーダ部１０６と、出力手段１０７とを備えて構成されている。
【００６６】
まず、入力手段１０２は、一フレーム分の入力ビットストリーム１０１を順次読み込んで、内部のビットバッファ（図示せず）に蓄積するものであり、ビットバッファが空になると次の一フレームの入力ビットストリーム１０１を読み込んで、ビットバッファに蓄積するものである。
【００６７】
また、デコーダ部１０３は、入力手段１０２のビットバッファから必要なデータを順番に受け取って、入力されたデータを復号化（デコード）するものである。また、デコーダ部１０３は、ＹＵＶ（Ｙ：輝度信号、Ｕ，Ｖ：色差信号）まで完全に復号化された非圧縮画像データ、または途中までデコードした画像データをデータバッファ１０４に格納し、画像データに関する付加情報または符号化方式に関する付加情報を付加情報バッファ１０５に格納する。
【００６８】
また、データバッファ１０４は、非圧縮画像データまたは途中までデコードした画像データを保持するものである。また、付加情報バッファ１０５は、画像データに関する付加情報または符号化方式に関する付加情報を保持するものである。
【００６９】
また、エンコーダ部１０６は、データバッファ１０４から読み込んだ画像データを符号化（エンコード）するものである。その際、エンコーダ部１０６は、付加情報バッファ１０５から読み込んだ付加情報を参照して、該付加情報に応じた符号化を行う。また、エンコーダ部１０６は、符号化された画像データを出力手段１０７が有するビットバッファ（図示せず）に順次格納する。
【００７０】
さらに、出力手段１０７は、内部のビットバッファ（図示せず）に一フレーム分の符号化されたデータが格納されると、出力ビットストリーム１０８として該データを順次出力するものである。
【００７１】
次に、デコーダ部１０３の内部構成および動作について以下詳細に説明する。まず、デコーダ部１０３の内部構成について、図２を参照して説明する。図２は、デコーダ部１０３の内部構成を示すブロック構成図である。デコーダ部１０３は、特許請求の範囲の分離手段に該当する上位レイヤ情報復号化手段２０１と、ブロック符号化形式判断手段に該当するＭＢ情報復号化手段２０２と、可変長復号化手段２０３と、逆量子化手段２０４と、逆ＤＣＴ手段２０５と、動き補償手段２０６と、フレームメモリ２０７とを備えて構成されている。
【００７２】
まず、上位レイヤ情報復号化手段２０１は、動画ビットストリームシーケンスを構成するレイヤのうち、ピクチャレイヤ以上の上位のレイヤ情報を復号化するものである。例えば、ＭＰＥＧ２の場合、動画ビットストリームシーケンスは、上位から「シーケンスレイヤ」、「ＧＯＰ（Group Of Picture）レイヤ」、「ピクチャレイヤ」、「スライスレイヤ」、「マクロブロックレイヤ」および「ブロックレイヤ」の６つのレイヤから構成されているため、上位レイヤ情報復号化手段２０１は、シーケンスレイヤおよびＧＯＰレイヤの情報を復号化する。
【００７３】
また、ＭＢ情報復号化手段２０２は、各マクロブロック（ＭＢ）に固有のＭＢ情報を復号化するものである。なお、マクロブロックとは、輝度信号に関しては、８×８ピクセルで構成されたブロック（サブブロックともいう）を２×２にまとめたものであり、１６×１６ピクセルで構成されている。
【００７４】
また、可変長復号化手段２０３は、可変長符号化されたマクロブロックを可変長復号化するものでり、逆量子化手段２０４は、可変長復号化されたマクロブロックを逆量子化するものであり、逆ＤＣＴ手段２０５は、逆量子化されたマクロブロックを逆ＤＣＴ変換するものである。
【００７５】
特に、逆量子化手段２０４は、マクロブロックが「イントラ（Ｉ）」であるか「インター（Ｐ）」であるかに応じて、選択的に逆量子化する。また、逆ＤＣＴ手段２０５も、マクロブロックが「イントラ」であるか「インター」であるかに応じて、選択的に逆ＤＣＴ変換する。
【００７６】
なお、「イントラ（Ｉ）」タイプのマクロブロックとは、量子化されたＤＣＴ係数と量子化パラメータを可変長符号化したものである。一方、「インター（Ｐ）」タイプのマクロブロックとは、対象フレームよりも時間的に前のフレームに含まれ、対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出し、該予測マクロブロックへの相対位置を示す動きベクトルを検出し、該検出された動きベクトルに基づいて最適な予測マクロブロックを取得し、対象マクロブロックと対応する予測マクロブロックとの差分である差分マクロブロックに対してＤＣＴ変換した後、ＤＣＴ係数を量子化した量子化ＤＣＴ係数を動きベクトルや量子化パラメータと共に可変長符号化したものである。すなわち、イントラマクロブロックは動き補償が施されずに符号化されたものであり、インターマクロブロックは動き補償が施されて符号化（動き補償付き予測符号化）されたものである。
【００７７】
また、動き補償手段２０６は、マクロブロックが「イントラ」である場合、可変長復号化手段２０３で可変長復号化された、量子化およびＤＣＴされているマクロブロックを受け取り、該マクロブロックをデータバッファ１０４に出力する。一方、マクロブロックが「インター」である場合、動き補償手段２０６は、可変長復号化手段２０３、逆量子化手段２０４、逆ＤＣＴ手段２０５でそれぞれ可変長復号化、逆量子化、逆ＤＣＴ変換された差分マクロブロックおよび動きベクトルを受け取り、既にデコードされフレームメモリ２０７に記憶されている前のフレームと受け取った動きベクトルとから予測マクロブロックを切り出して、該予測マクロブロックに受け取った差分マクロブロックを加算する。
【００７８】
さらに、フレームメモリ２０７は、復号化されたフレームを一時記憶するものであり、動き補償手段２０６から復号化されたマクロブロックが順次格納される。
【００７９】
次に、これらの構成要素を有するデコーダ部１０３が行う本実施形態の復号化処理について、図３を参照して説明する。図３は、デコーダ部１０３が行う復号化処理について説明するフローチャートである。まず、ステップＳ１０１では、上位レイヤ復号化手段２０１が、各レイヤのスタートコードやレイヤ情報などを読み出して、ピクチャレイヤに含まれているピクチャを画面に出力するタイミングを記録した時間情報を復号化し、「Time_info」として付加情報バッファ１０５に出力する。
【００８０】
次に、ステップＳ１０２では、デコードするピクチャが最初のピクチャであるかを判定して、最初でなければステップＳ１０３に進み、最初であればステップＳ１０４に進む。ステップＳ１０３では、上位レイヤ情報復号化手段２０１が、前のピクチャのスタートコードから次のピクチャのスタートコードまでの総ビット量を「picbit_amount」として付加情報バッファ１０５に出力し、ステップＳ１０４に進む。
【００８１】
ステップＳ１０４では、ＭＢ情報復号化手段２０２が、各マクロブロックに関する情報を復号化し、量子化パラメータを「Quant」とし、「イントラ」または「インター」などマクロブロックのタイプを「MB_type」とし、マクロブロック内のブロックごとの符号化／非符号化情報を「MB_coded」として付加情報バッファ１０５に出力する。
【００８２】
次に、ステップＳ１０５では、デコードするマクロブロックが最初のマクロブロックであるかを判定して、最初でなければステップＳ１０６に進み、最初であればステップＳ１０７に進む。ステップＳ１０６では、ＭＢ情報復号化手段２０２が、前のマクロブロックの先頭から次のマクロブロックの先頭までの総ビット量を「MBbit_amount」として付加情報バッファに出力し、ステップＳ１０７に進む。
【００８３】
ステップＳ１０７では、デコードするマクロブロックのタイプが「イントラ」であるか「インター」であるかを判別し、イントラであればステップＳ１０８に進み、インターであればステップＳ１０９に進む。ステップＳ１０８（イントラの場合）では、可変長復号化手段２０３が可変長復号化を行い、量子化およびＤＣＴされているマクロブロックを得る。該マクロブロックは、逆量子化手段２０４および逆ＤＣＴ手段２０５を介さずに動き補償手段２０６に送られる。
【００８４】
一方、ステップＳ１０９（インターの場合）では、可変長復号化手段２０３、逆量子化手段２０４、逆ＤＣＴ手段２０５でそれぞれ可変長復号化、逆量子化、逆ＤＣＴ変換することよって差分マクロブロックおよび動きベクトルをデコードして、これら差分マクロブロックおよび動きベクトルを逆ＤＣＴ手段２０５から動き補償手段２０６に送る。次に、ステップＳ１１０では、動き補償手段２０６が、既にデコードされフレームメモリ２０７に記憶されている前のフレームと動きベクトルとを用いて予測マクロブロックを切り出して、該予測マクロブロックに差分マクロブロックを加算する。このとき、切り出された予測マクロブロックの精度が悪いと、該予測マクロブロックを用いて復号化した画像が劣化してしまう。
【００８５】
ステップＳ１０８またはステップＳ１１０が終了すると、ステップＳ１１１に進み、動き補償手段２０６は、マクロブロックがイントラのときは量子化およびＤＣＴされたマクロブロックをデータバッファ１０４に出力し、マクロブロックがインターのときは予測マクロブロックに差分マクロブロックを加算して作成された非圧縮のマクロブロックをデータバッファ１０４に出力する。
【００８６】
次に、ステップＳ１１２では、デコードしたマクロブロックが最後のマクロブロックであるかを判定し、最後でなければステップＳ１０４に戻り次のマクロブロックに対してステップＳ１０４以降の処理を行い、最後であればステップＳ１１３に進む。ステップＳ１１３では、デコードしたピクチャが最後のピクチャであるかを判定し、最後でなければステップＳ１０１に戻り次のピクチャに対してステップＳ１０１以降の処理を行い、最後であれば当該復号化処理を終了する。
【００８７】
図４に、１ピクチャがデコードされたときの、付加情報バッファ１０５に書き込まれたデータの一形式を示す。同図に示す形式では、或るピクチャの時間情報である「Time_info」と、該ピクチャのトータルビットである「Pictbit_amount」とを有し、さらに、量子化パラメータである「Quant」、マクロブロックのタイプを示す「MB_type」、マクロブロックの符号化／非符号化情報である「MB_coded」、および一マクロビットのトータルビットである「MBbit_amount」を一セットとして、これらの情報を当該ピクチャが有するマクロビットの数だけ有する。なお、付加情報バッファ１０５には、マクロブロックの集まりであるＧＯＢ（Group Of Blocks）の総ビット量である「GOBbit_amount」や、ブロックごとのビット量である「Blockbit_amount」等を書き込んでも良い。また、以下では、これらの情報を総称して付加情報と称す。
【００８８】
次に、エンコーダ部１０６の内部構成および動作について詳細に説明する。まず、エンコーダ部１０６の内部構成について、図５を参照して説明する。図５は、エンコーダ部１０６の内部構成を示すブロック構成図である。エンコーダ部１０６は、変換係数算出手段または上限データ量算出手段であるビットレート制御部５１１と、減算器５０１と、ＤＣＴ手段５０２と、量子化手段５０３と、可変長符号化手段５０４と、逆量子化手段５０５と、逆ＤＣＴ手段５０６と、動き補償手段５０７と、フレームメモリ５０８と、ＭＢ情報符号化手段５０９と、上位レイヤ情報符号化手段５１０とを備えて構成されている。
【００８９】
まず、ビットレート制御部５１１は、ビットレートの調整を制御するものであり、量子化パラメータ出力手段５１２および割り当て手段に該当するＭＢビット割り当て手段５１３を有する。以下、ビットレート制御部５１１におけるビットレートの調整方法について詳しく説明する。入力ビットストリームと出力ビットストリームとは、異なる画像符号化方式で符号化されているので、これら入力ビットストリームおよび出力ビットストリームを全く同じ画質で再生するためには、通常、各ビットストリームは異なるビットレートとなる。この原因としては、例えば、レイヤ構造の違い、同じレイヤ内に属する情報の数の違い、同じ情報でも割り当てるビット長の違い、量子化方法の違い、可変長符号化の違いなどが考えられる。しかしながら、画像符号化方式を変更しても入力ビットストリームに等しいビットレートのビットストリームを出力可能な画像符号化方式変換装置および方法が求められているため、ビットレートの違いを吸収するためにビットレート制御部５１１が設けられている。
【００９０】
また、ビットレート制御部５１１は、付加情報バッファ１０５から読み込んだ付加情報を一時的に保存可能なレジスタ（図示せず）を内部に有している。また、ビットレート制御部５１１は、該レジスタとは別にメモリも内部に有し、既に符号化したピクチャのビット量やエンコーダ間での圧縮率を保持しておくことができる。圧縮率とは、ある一定画質の画像を符号化したときの圧縮画像データと非圧縮画像データのビット量の比であり、画像のサンプルごとに値は変わるが、統計的に得られた平均値を用いたものである。なお、圧縮率は量子化パラメータによって左右され、量子化パラメータが大きいと圧縮率が高くなる。
【００９１】
また、圧縮率は、符号化方式によって異なるため、本実施形態の画像符号化方式変換装置を初期化するときに、入力ビットストリームの画像符号化方式の圧縮率および出力ビットストリームの画像符号化方式の圧縮率の両方が、外部から図示しないエンコーダ制御手段を介してビットレート制御部５１１のメモリに格納される。ビットレート制御部５１１は、これらの圧縮率から画像符号化方式変換に伴う変換係数を計算して、メモリに格納する。
【００９２】
例えば、Ｈ．２６１の圧縮率が１／ａで、ＭＰＥＧ４の圧縮率が１／ｂであるとき、Ｈ．２６１の入力ビットストリームからＭＰＥＧ４の出力ビットストリームへの画像符号化方式変換に伴う変換係数は、ｂ／ａとなる。反対に、ＭＰＥＧ４の入力ビットストリームからＨ．２６１の出力ビットストリームへの画像符号化方式変換に伴う変換係数は、ａ／ｂとなる。
【００９３】
以下に、ビットレート制御部５１１が行う第１のビットレート調整方法を説明する。ビットレート制御部５１１は、１ピクチャの符号化を始める前に、付加情報バッファ１０５から１ピクチャのトータルビット「Picbit_amount」を読み込んで、該「Picbit_amount」からそのピクチャを符号化するときのターゲット（目標）ビット量を計算する。このとき、ターゲットビット量は、過去のピクチャのビット量がそのピクチャのターゲットビット量よりも少ないときは、読み込まれた「Picbit_amount」よりも多めに設定され、逆に、過去のピクチャのビット量がそのピクチャのターゲットビット量よりも多いときは、読み込まれた「Picbit_amount」よりも少なめに設定される。
【００９４】
また、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３は、対象ピクチャのターゲットビット量を各マクロブロックに割り当て、各マクロブロックのターゲットビット量を得る。次に、ＭＢビット割り当て手段５１３は、各マクロブロックのターゲットビット量をマクロブロックの上限ビット量として可変長符号化手段５０４に送る。一方、ビットレート制御部５１１が有する量子化パラメータ出力手段５１２は、レジスタに保持されている量子化パラメータ「Quant」を読み出し、その値に画像符号方式変換に伴う変換係数を乗じて得られた量子化パラメータを量子化手段５０３に送る。
【００９５】
次に、ビットレート制御部５１１が行う第２のビットレート調整方法を説明する。該第２のビットレートの調整方法では、ＭＢビット割り当て手段５１３がビットの割り当てを行う際、ピクチャのターゲットビット量は用いずに、ビットレート制御部５１１内のレジスタに保持されている付加情報に含まれている一マクロビットのトータルビット「MBbit_amount」を読み出して、その値に基づいて該マクロビットの上限ビット量を設定し、可変長符号化手段５０４に送る。一方、量子化パラメータ出力手段５１２は、レジスタから付加情報に含まれている量子化パラメータ「Quant」を読み出して、その値に画像符号化方式変換に伴う変換係数を乗じて得られた量子化パラメータを量子化手段５０３に送る。
【００９６】
続いて、量子化パラメータ出力手段５１２が行う、他の量子化パラメータ決定方法について説明する。図６（ａ）に、入力ビットストリームの量子化されたＤＣＴ係数Ａと、該ＤＣＴ係数を逆量子化した逆量子化ＤＣＴ係数Ｂとを示す。例えば、量子化パラメータが５であり、量子化されたＤＣＴ係数Ａが左から[１６，５，２，３]であるとき、逆量子化されたＤＣＴ係数Ｂは左から[８０，２５，１０，１５]（Ｂ＝Ａ×５）となる。該ＤＣＴ係数Ｂを、量子化パラメータ５で量子化すれば量子化誤差は０になるが、前述したように符号化方式の圧縮率の違いからビットレートが変わってきてしまう。
【００９７】
このため、図６（ｂ）に示すように、画像符号化方式変換に伴う変換係数を先の量子化パラメータに乗じて、再量子化の量子化パラメータを決定する。ここで変換係数を１．４とすると、再量子化の量子化パラメータが７（＝５×１．４）となるため、該量子化パラメータ７を用いてＤＣＴ係数Ｂ[８０，２５，１０，１５]を再び量子化すると、ＤＣＴ係数Ｃは[１１，３，１，２]（Ｃ＝Ｂ÷７）になる。しかしながら、ＤＣＴ係数は小さくなったものの、ＤＣＴ係数Ｃを逆量子化すると逆量子化されたＤＣＴ係数Ｄは[７７，２１，７，１４]（Ｄ＝Ｃ×７）となるため、[３，４，３，１]といった量子化誤差Ｘ（＝Ｂ−Ｄ）が生じてしまう。
【００９８】
これに対し、図６（ｃ）に示すように、元の量子化パラメータ５の倍数、例えば２倍の１０を再量子化のための量子化パラメータとして用いて、ＤＣＴ係数Ｂ[８０，２５，１０，１５]を再び量子化すると、ＤＣＴ係数Ｅは[８，２，１，１]（Ｅ＝Ｂ÷１０）になる。該ＤＣＴ係数Ｅを逆量子化すると逆量子化されたＤＣＴ係数Ｆは[８０，２０，１０，１０]（Ｆ＝Ｅ×１０）となり、量子化誤差Ｙは[０，５，０，５]（Ｙ＝Ｂ−Ｆ）となる。このように、量子化パラメータが１０のときは、量子化されたＤＣＴ係数（Ｅ）が小さく、量子化誤差の累積も、量子化パラメータが７のとき（図６（ｂ））は「１１」であるのに対して「１０」と少なくなっている。
【００９９】
このように、量子化誤差はＤＣＴ係数の値によって左右される可能性があるが、変換係数が１より大きい場合には、変換係数を乗ずることによって得られた量子化パラメータ（７）よりも、元の量子化パラメータ（５）の倍数に当たる量子化パラメータ（１０）の方が、量子化誤差が０の係数を増やすことができる。したがって、変換係数が１よりも大きいときは、元の量子化パラメータの倍数を実際の量子化値とすると、量子化誤差の累計を小さくすることができる。また、変換係数が１より小さい場合には、元の量子化パラメータの約数を実際の量子化値として用いることによって、量子化誤差が０の係数を増やすことができるため、量子化誤差の累計を小さくすることができる。
【０１００】
また、減算器５０１は、マクロブロックがインターの場合、動き補償手段５０７から得られた予測マクロブロックとデータバッファ１０４から読み込んだマクロブロックとの差分を計算して、差分マクロブロックを生成するものである。また、ＤＣＴ手段５０２は、減算器５０１から得られた差分マクロブロックに対してＤＣＴ変換するものである。また、量子化手段５０３は、ビットレート制御部５１１が有する量子化パラメータ出力手段５１２から得られた量子化パラメータで、ＤＣＴ変換された差分マクロブロックを量子化するものである。
【０１０１】
また、可変長符号化手段５０４は、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３から得られた上限ビット量を参照して、ＤＣＴおよび量子化された／されているマクロブロックを可変長符号化するものである。但し、可変長符号化されたマクロブロックのビット量が上限ビット量を超えたとき、可変長符号化手段５０４は、マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１０２】
以下、可変長符号化手段５０４によるビット切詰め処理を、図７を参照して詳しく説明する。図７は、Ｈ．２６１等で用いられる可変長符号化の例を示し、特に、図７（ａ）は量子化されたＤＣＴブロックを示し、図７（ｂ）はビット切り詰め処理を行った後のＤＣＴブロックを示す。まず、ＤＣＴブロックは、矢印で示したように、左上から右下にＤＣＴ係数がジグザグスキャンされて一次元の係数列に並べ替えられ、可変長符号化される。一次元に並べ替えられたときの一次元データは、ＤＣＴブロックに対してジグザグスキャンしたとき、対象となるＤＣＴ係数の前に０のＤＣＴ係数が幾つ連続してあるかを示す個数「run」と、０以外の対象となるＤＣＴ係数の値「level」との組み合わであり、最後の非ゼロ・ＤＣＴ係数の後にスキャン打ち切り符号として「ＥＯＢ（End Of Block）」が付加される。なお、ＭＰＥＧ４では、「run」と「level」に加えて、そのＤＣＴブロックの中で最後の非ゼロ・ＤＣＴ係数であるかどうかを示す符号「last」を用いた３次元の可変長符号化が行なわれる。
【０１０３】
可変長符号化手段５０４は、ビットレート制御部５１１が有するＭＢビット割り当て手段５１３からマクロブロックのターゲットビット量を受け取ると、該ターゲットビット量を一マクロブロックが有するブロックの数で割って、一ブロック当たりのターゲットビット量を求める。次に、ＤＣＴブロックをジグザグスキャンしてＤＣＴ係数の可変長符号化を行い、同時に符号化ビットをカウントする。符号化ビット量がブロックのターゲットビット量と等しくなるか超えたら、可変長符号化をそこで打ち切ってＥＯＢを付加するか、ＭＰＥＧ４の場合、「last」を１にする。
【０１０４】
例えば、図７（ａ）に示したＤＣＴブロックを可変長符号化しているとき、ＤＣＴ係数の値が−５のところで符号化ビット量がターゲットビット量に達してしまうと、図７（ｂ）に示すように、−５のＤＣＴ係数の次以降のＤＣＴ係数が全て０のＤＣＴブロックを符号化したときと同様の結果が得られることとなる。このように、可変長符号化手段５０４がマクロブロックのターゲットビット量を用いて可変長符号化時にビットの切詰めを行うので、入力ビットストリームと等しいビットレートで符号化を行える。
【０１０５】
また、逆量子化手段５０５はマクロブロックを逆量子化するものであり、逆ＤＣＴ手段５０６は逆量子化手段５０５で逆量子化されたマクロブロックを逆ＤＣＴ変換するものである。また、フレームメモリ５０８は、動き補償手段５０７に送られる逆量子化および逆ＤＣＴされたマクロブロックを順次格納し、フレームとして記憶するものである。
【０１０６】
また、動き補償手段５０７は、逆ＤＣＴ手段５０６から送られたマクロブロックのタイプに応じて、動き予測を行って、動き補償するものである。より詳細には、逆ＤＣＴ手段５０６から送られたマクロブロックがインターマクロブロックである場合、対象マクロブロックの動き予測を行って動きベクトルを検出し、該動きベクトルに基づいてフレームメモリ５０８内の１フレーム前のピクチャから予測マクロブロックを取得する。該予測マクロブロックを所得した後、動き補償手段５０７は、該予測マクロブロックを減算器５０１に送る一方で、差分マクロブロックを予測マクロブロックに加算した後、加算されたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。また、逆ＤＣＴ手段５０６から送られたマクロブロックがイントラマクロブロックである場合は、逆量子化および逆ＤＣＴされたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。
【０１０７】
また、ＭＢ情報符号化手段５０９は、可変長符号化手段５０４によって符号化されたマクロブロックに、マクロブロックタイプや動きベクトル等、各マクロブロックに固有の情報を符号化して、上位レイヤ情報符号化手段５１０に送るものである。
【０１０８】
また、上位レイヤ情報符号化手段５１０は、付加情報バッファ１０５から時間情報「Time_info」を読み込み、ＭＢ情報符号化手段５０９から送られた符号化された情報に、動画ビットストリームシーケンスを構成するレイヤのうちピクチャレイヤ以上の上位のレイヤ情報を符号化するものである。
【０１０９】
次に、これらの構成要素を有するエンコーダ部１０６が行う本実施形態の符号化処理について、図８を参照して説明する。図８は、エンコーダ部１０６が行う符号化処理について説明するフローチャートである。まず、ステップＳ２０１では、ビットレート制御部５１１が付加情報バッファ１０５から「Picbit_amount」を読み込んで、図示しない内部のレジスタに保存する。次に、ステップＳ２０２では、エンコーダ制御手段（図示せず）が付加情報バッファ１０５から「MB_coded」を読み込んで、マクロブロックの各ブロックの符号化情報をＭＢ情報符号化手段５０９に送る。ここで、全てのブロックにおいて符号化が必要ない場合は、フレームメモリ５０８から１フレーム前の現マクロブロックの位置データを、フレームメモリ５０８内の現マクロブロックの位置にコピーする。
【０１１０】
次に、ステップＳ２０３では、エンコーダ制御手段が、付加情報バッファ１０５から「MB_type」を読み込んで、マクロブロックのタイプが「イントラ」であるか「インター」であるかを判別し、イントラであればステップＳ２０４に進み、インターであればステップＳ２０５に進む。ステップＳ２０４（イントラの場合）では、ビットレート制御部５１１が、付加情報バッファ１０５から「MBbit_amount」を読み込んで、図示しない内部のレジスタに保存する。このとき、ビットレート制御部５１１が備えるＭＢビット割り当て手段５１３は、「Picbit_amount」、「MBbit_amount」および現在の符号化ビット量等から現マクロブロックに割り当てる上限ビット量を算出して、可変長符号化手段５０４に送る。可変長符号化手段５０４は、データバッファ１０４から読み込んだマクロブロックの可変長符号化を行う。その際、可変長符号化されたマクロブロックのビット量が算出された上限ビット量を超えたとき、可変長符号化手段５０４は、マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１１１】
一方、ステップＳ２０５（インターの場合）では、動き補償手段５０７が、データバッファ１０４から読み込んだマクロブロックの動き予測を行って動きベクトルを検出した後、該動きベクトルに基づいて予測マクロブロックを取得し、該取得された予測マクロブロックを減算器５０１に送る。減算器５０１は、送られた予測マクロブロックとエンコーダ制御手段がデータバッファ１０４から読み込んだマクロブロックとの差分を計算して差分マクロブロックを得て、得られた差分マクロブロックをＤＣＴ手段５０２に送る。
【０１１２】
次に、ステップＳ２０６では、ＤＣＴ手段５０２が差分マクロブロックに対してＤＣＴ変換を行い、量子化手段５０３に送る。次に、ステップＳ２０７では、ビットレート制御部５１１が付加情報バッファ１０５から「MBbit_amount」および「Quant」を読み込んで、図示しない内部のレジスタに保存する。次に、ビットレート制御部５１１が備える量子化パラメータ出力手段５１２が、「Picbit_amount」、「MBbit_amount」および現在の符号化ビット量等から現マクロブロックの量子化パラメータを決定する。
【０１１３】
次に、ステップＳ２０８では、量子化手段５０３が、量子化パラメータ出力手段５１２によって決定された量子化パラメータを用いてＤＣＴ係数の量子化を行う。次に、可変長符号化手段５０４は、量子化手段５０３によって量子化されたマクロブロックの可変長符号化を行う。その際、可変長符号化された差分マクロブロックの符号化ビット量が割り当てられた上限ビット量を超えたとき、可変長符号化手段５０４は、差分マクロブロックの後半（高周波成分）のＤＣＴ係数を０に置き換えてビットの切り詰めを行った後、可変長符号化を行う。
【０１１４】
ステップＳ２０４またはステップＳ２０８が終了すると、ステップＳ２０９に進み、ＭＢ情報符号化手段５０９は、可変長符号化手段５０４で符号化された差分マクロブロックに、マクロブロックのタイプや動きベクトル等のＭＢ情報を付加して上位レイヤ情報符号化手段５１０に送る。
【０１１５】
次に、ステップＳ２１０では、ＤＣＴおよび量子化されたマクロブロックが、逆量子化手段５０５、逆ＤＣＴ手段５０６によってそれぞれ逆量子化、逆ＤＣＴ変換された後、動き補償手段５０７に送られる。次に、動き補償手段５０７は、送られたマクロブロックがイントラマクロブロックである場合、逆量子化および逆ＤＣＴされたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。一方、送られたマクロブロックがインターマクロブロックである場合、フレームメモリ５０８内の１フレーム前のピクチャから予測マクロブロックを読み出して、差分マクロブロックを該予測マクロブロックに加算した後、加算されたマクロブロックをフレームメモリ５０８内の現マクロブロックの位置に書き込む。
【０１１６】
次に、ステップＳ２１１では、現マクロブロックがピクチャ内で最初のマクロブロックであるかを判定して、最初であればステップＳ２１２に進み、最初かつ最後でなければステップＳ２１３に進む。ステップＳ２１２では、上位レイヤ情報符号化手段５１０が付加情報バッファ１０５から「Time_info」を読み込み、ＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームに、各レイヤのスタートコードやピクチャのデコードのタイミングを示す時間情報等の上位レイヤ情報を付加して出力手段１０７に出力した後、ステップＳ２０２に戻って次のマクロブロックに対して処理を始める。
【０１１７】
ステップＳ２１３では、現マクロブロックがピクチャ内で最後のマクロブロックであるかを判定して、最後でなければ、上位レイヤ情報符号化手段５１０はＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームをそのまま出力手段１０７に出力した後、ステップＳ２０２に戻り、最後であればステップＳ２１４に進む。ステップＳ２１４では、現フレームが最後のピクチャであるかを判定し、最後でなければ、上位レイヤ情報符号化手段５１０はＭＢ情報符号化手段５０９から送られたマクロブロックのビットストリームをそのまま出力手段１０７に出力した後、ステップＳ２０１に戻り、最後であれば当該符号化処理を終了する。
【０１１８】
以上説明したように、本実施形態に係る画像符号化方式変換装置および画像符号化方式変換方法によれば、デコーダ部１０３が復号化する過程でマクロブロックタイプ「MB_type」等を含む付加情報を付加情報バッファ１０５に書き込み、エンコーダ部１０６においてイントラマクロブロックとインターマクロブロックとが混在するフレームを符号化する際には、付加情報バッファ１０５から読み込んだ付加情報に含まれているマクロブロックタイプ「MB_type」を参照して、動き補償手段５０７がイントラ／インターの判別を行っている。このため、マクロブロックがイントラである場合、エンコーダ部１０６ではＤＣＴおよび量子化の処理が省略することができる。また、デコーダ部１０３では、逆量子化および逆ＤＣＴの処理を省略することができる。
【０１１９】
したがって、画像データのみから符号化／復号化する場合と比較して、画質の劣化無くまたは画質の劣化を最小限に抑えることができる。また、符号化されたビットレートの調整するための演算など、画像符号化方式変換に係る演算負荷を削減できるため、高速に画像符号化方式変換することができる。
【０１２０】
さらに、イントラマクロブロックでは、入力ビットストリームと出力ビットストリームとで等しい量子化パラメータを用いているので、エンコーダ部１０６における量子化誤差が無い状態で完全に入力ビットストリームの画質を再現することができる。
【０１２１】
また、逆ＤＣＴ変換を行わなかったとき、データバッファ１０４に格納されるデータは非圧縮画像であり、該非圧縮画像はエンコーダ部１０６で動き補償しなおされるため、対象マクロブロックの画質は良い。一方、逆ＤＣＴ変換を行ったとき、データバッファ１０４に格納されるデータは差分マクロブロックのＤＣＴ係数であり、該差分マクロブロックはエンコーダ部１０６で動き補償されず、動きベクトルも同じものを用いる。このとき、エンコーダ部１０６で取得される予測マクロブロックが対象マクロブロックと全く同一であれば対象マクロブロックの画質は全く劣化しないが、そうではない場合、画質は多少の劣化が生じ得る。
【０１２２】
次に、本実施形態の画像符号化方式変換装置の、特にエンコーダ部１０６の動作に係る実施例について説明する。
（第１実施例）
第１実施例では、図９（ａ）に示すように、マクロブロックのタイプの如何にかかわらずエンコーダ部１０６におけるＤＣＴおよび量子化を行わない。但し、可変長符号化を行う際には、可変長符号化手段５０４は、ＭＢビット割り当て手段５１３から得られた各マクロブロックの上限ビット量を利用して作成された図９（ｂ）に示すようなビット割り当てマップに基づいて、マクロブロックのビット切り詰めを行う。なお、本実施例においては、ＭＢビット割り当て手段５１３が各マクロブロックの上限ビット量を割り当てる際、イントラマクロブロックに対しては優先的に同じ値の上限ビット量を割り当てるか、または上限を設定ぜずにビット切り詰めを全く行わない。
【０１２３】
本実施例では、画像符号化方式を変換する過程において、イントラおよびインター両方のマクロブロックに対して量子化およびＤＣＴ変換を全く行わないため、演算量を大きく削減することができ、高速に方式変換することができる。
【０１２４】
（第２実施例）
次に、第２実施例では、図１０（ａ）に示すように、イントラマクロブロックに対しては量子化されたＤＣＴ係数をそのまま使用し、インターマクロブロックに対しては、上述したように量子化パラメータ出力手段５１２で、圧縮率の違いによる変換係数に応じて元の量子化パラメータの倍数または約数を実際の量子化値として用いる。
【０１２５】
但し、図１０（ｂ）に示すように、元の量子化パラメータに該変換係数を乗じて得られた帯小数となり得る量子化値を四捨五入して求められた量子化値では、量子化値が元の量子化パラメータよりも小さくなってしまうことがあり得る。例えば、図１１（ｂ）に示すように、例えば元の量子化後のＤＣＴ係数１３を量子化パラメータ８で逆量子化するとＤＣＴ係数は１０４になり、該ＤＣＴ係数を量子化パラメータ５で再量子化すると再量子化されたＤＣＴ係数が２０となるため、該ＤＣＴを再び逆量子化すると１００となってしまう。
【０１２６】
このように、異なる量子化パラメータによって再量子化されることによってＤＣＴ係数が下がってしまう（１０４→１００）と画像が劣化してしまうため、このようなケースが適応するマクロブロックのＤＣＴ係数に対しては、図１１（ａ）に示すように元のＤＣＴ係数のままとする。なお、再量子化によってＤＣＴ係数が上がった場合は、得られたＤＣＴ係数をそのまま用いる。
【０１２７】
なお、変換係数は、上述したような入力ビットストリームの画像符号化方式の圧縮率と出力ビットストリームの画像符号化方式の圧縮率と比から決定しても良いが、付加情報バッファ１０５から読み込まれた１ピクチャのトータルビット「Picbit_amount」とターゲットビットとの比を用いて、ピクチャごとに変換係数を決定しても良い。
【０１２８】
また、図１２に示すように、Ｈ．２６１→ＭＰＥＧ４やＭＰＥＧ４→Ｈ．２６１というように、入力ビットストリームから出力ビットストリームへの符号化方式の変換タイプごとに、元の量子化パラメータの値と変換係数とが対応した変換テーブルを予め作成しておき、該変換テーブルを用いて変換係数を決定しても良い。
【０１２９】
本実施例では、画像符号化方式を変換する過程において、イントラマクロブロックに対しては量子化およびＤＣＴを行わないため、演算量を削減することができる。但し、インターマクロブロックに対しては量子化または量子化およびＤＣＴを行うため、画質の劣化を抑えたまま高速に方式変換することができる。
【０１３０】
〔第２の実施形態〕
図１３は、本発明の第２の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。なお、同図において、図１（第１の実施形態）と重複する部分には同一の符号を附して説明を省略する。図１３において、本実施形態の画像符号化方式変換装置９００は、入力手段９０２と、デコーダ部９０３と、データバッファ９０４と、付加情報バッファ９０５と、エンコーダ部９０６と、第１の実施形態と同様の出力手段１０７とを備えて構成されている。
【０１３１】
まず、本実施形態の入力手段９０２は、第１の実施形態の入力手段１０２と異なり、複数フレーム分の入力ビットストリームを内部のビットバッファ（図示せず）に蓄積できるものである。また、デコーダ部９０３は、エンコーダ部９０６の処理より先行して数フレーム分先までデコードすることができ、デコードされた画像データまたは途中までデコードされたデータをデータバッファ９０４に格納し、付加情報を付加情報バッファ９０５に格納する。
【０１３２】
また、データバッファ９０４および付加情報バッファ９０５のデータの記憶容量は、第１の実施形態のデータバッファ１０４および付加情報バッファ１０５よりもそれぞれ数倍大きい。さらに、エンコーダ部９０６は、付加情報バッファ９０５に保持されている対象フレームの付加情報、および対象フレームよりも後ろ（未来）のフレームの付加情報を参照して符号化を行う。
【０１３３】
次に、本実施形態の画像符号化方式変換装置９００がＭＰＥＧ４またはＨ．２６１からＨ．２６１またはＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う符号化について説明する。ＭＰＥＧ４とＨ．２６１では、一般にＭＰＥＧ４の方が圧縮率が高いため、ＭＰＥＧ４からＨ．２６１への画像符号化方式変換に伴う変換係数は１より大きくなる。このとき、第１の実施形態では、上限ビット値を参照したビット割り当て（第１実施例、図９参照）か、インターマクロブロックの実際の量子化パラメータを元の量子化パラメータの倍数とする（第２実施例、図１０参照）か、変換テーブルを用いて量子化パラメータを変更している（第２実施例、図１２参照）ため、フレーム全体に一様に誤差が配分されてしまう。
【０１３４】
そこで、本実施形態では、対象マクロブロックの実際の量子化パラメータを決定する際に、時間的に後ろ（未来）のフレームの対象マクロブロックと同じ位置のマクロブロックのタイプを参照して、図１４に示すように、イントラマクロブロック（Ｉ）および所定数のフレームにおいてはインターであるが数フレーム後にはイントラとなる（以下、「リフレッシュされる」という）マクロブロック（Ｐ）に対しては、量子化されたＤＣＴ係数をそのまま使用する。一方、リフレッシュされないインターマクロブロック（Ｐ′）に対しては、量子化パラメータを変更する。
【０１３５】
また、量子化パラメータを変更するマクロブロックの決定方法としては、上記未来のフレームを先読みする方法の他に、符号化の難易度を示すアクティビティをマクロブロックの符号ビット量と量子化パラメータとの乗算によって求め、求められたアクティビティに基づいて決定する方法を用いても良い。アクティビティが大きいマクロブロックは細かい画像であるため多少劣化させても構わないというアルゴリズムであれば、当該マクロブロックに対しては量子化されたＤＣＴ係数をそのまま使用し、アクティビティが小さいマクロブロックに対しては量子化パラメータを変更する。
【０１３６】
なお、リフレッシュされるインターマクロブロックは、量子化されたＤＣＴ係数をそのまま使用しても使用しなくても良いが、量子化パラメータは前と同じ値のパラメータを用いる。また、リフレッシュされるインターマクロブロックの量子化パラメータに乗じられる変換係数をそのまま用いたのでは出力ビットストリームのビットレートが大きくなりすぎるため、量子化パラメータを変更するマクロブロックの数に応じた変換係数の調整が必要となる。
【０１３７】
次に、本実施形態の画像符号化方式変換装置９００がＨ．２６１からＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う符号化について説明する。Ｈ．２６１では、マクロブロックの量子化パラメータとして１から３１までの値を自由に用いることができる。ところが、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータは、±２以下でなければならないという制限があるため、Ｈ．２６１のマクロブロックで用いられた量子化パラメータをそのまま用いることができない。例えば、Ｈ．２６１のあるマクロブロックでは量子化パラメータ５が用いられ、その隣のマクロブロックでは１０が用いられている場合、ＭＰＥＧ４に方式変換するときには、隣のマクロブロックの量子化パラメータを７までしか上げることができない。
【０１３８】
図１５（ａ）に示すグラフは、Ｈ．２６１で用いられた量子化パラメータの例を示す。横軸はマクロブロックナンバー（ＭＢナンバー）であり、縦軸は用いられた量子化パラメータであり、量子化パラメータは、順に[５，５，１０，１２，１２，８，６，５]である。また、図１５（ｂ）は、ＭＰＥＧ４で符号化する際に用いる量子化パラメータの例である。なお、同図に示されているＭＢナンバーのマクロブロックは、イントラマクロブロックまたはリフレッシュされるインターマクロブロックであって、量子化パラメータを変更する必要がないものとする。
【０１３９】
上述したように、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータは±２以下でなければならないという制限があるため、量子化パラメータが増えたら＋１または＋２だけ量子化パラメータを上げ、量子化パラメータが減ったら−１または−２だけ量子化パラメータを下げるというアルゴリズムで調整を行うと、量子化パラメータ（ａ）のように[５，５，７，９，１１，９，７，５]となる。
【０１４０】
これに対し、量子化パラメータの先読みを行うと、ＭＢナンバー６、７、８で量子化パラメータが下がることが分かっているので、ＭＢナンバー５では量子化パラメータを１１まで上げずに１０とし、量子化パラメータ（ｂ）を[５，５，７，９，１０，８，６，５]とすると、Ｈ．２６１で用いられた量子化パラメータと異なるＭＢナンバーの数が、量子化パラメータ（ａ）では５つ（ＭＢナンバー３、４、５、６、７）であるに対し、量子化パラメータ（ｂ）では３つ（ＭＢナンバー３、４、５）となる。このように、マクロブロックの量子化パラメータを先読みして最適な量子化パラメータの増減制御を行うことによって、画質劣化の起こるマクロブロックの数を抑えることができる。
【０１４１】
次に、本実施形態の画像符号化方式変換装置９００がＨ．２６１からＭＰＥＧ４に方式変換する場合の、エンコーダ部９０６が行う他の符号化について説明する。先に説明したように、ＭＰＥＧ４では、隣り合うマクロブロック間での量子化パラメータの差は±２以下でなければならないという制限があるが、新たな量子化パラメータをどうしても±３以上に大きく変更したい場合は、以下に説明する「ｖｐａｃｋｅｔ（ブイパケット）」方式を用いる。該ブイパケットとは、図１６に示すように、フレーム中のマクロブロックを上から順に左端から右方向にマクロブロックを走査していき、量子化パラメータが大きく異なる連続した２つのマクロブロックを端部として一フレーム中に複数の領域を作成すると、その領域がブイパケットとされる。したがって、ブイパケットは少なくとも１つのマクロブロックから構成され、一ブイパケットを構成するマクロブロックは分散していない。
【０１４２】
該ブイパケットを用いることによって、図１５に示した例では、マクロブロックの先読みによって量子化パラメータの調整を行っていたが、ブイパケットを利用することによってマクロブロックを先読みする必要がなくなるため、該先読みに必要な演算の処理量を削減することができる。また、量子化パラメータを変更しないため、量子化誤差を無くすこともできる。
【０１４３】
なお、ＭＰＥＧ４では、イントラマクロブロック内のブロックでは、ＤＣ（直流）係数に対し非直線量子化が用いられている。このため、Ｈ．２６１およびＭＰＥＧ４でイントラブロックのＤＣ係数については、同じ量子化パラメータを用いることはできない。したがって、デコーダ部９０３内の逆量子化手段によるＤＣ係数の逆量子化と、エンコーダ部９０６内の量子化手段によるＤＣ係数の量子化が必要となる。
【０１４４】
以上説明したように、本実施形態に係る画像符号化方式変換装置および画像符号化方式変換方法によれば、対象フレームの付加情報、および対象フレームより後ろ（未来）のフレームの付加情報参照して、リフレッシュするインターマクロブロックに対しては量子化されたＤＣＴ係数をそのまま用いるため、該マクロブロックは数フレームの間画質が劣化するが、画像符号化方式変換に係る演算量を削減することができる。
【０１４５】
また、Ｈ．２６１からＭＰＥＧ４に画像符号化方式変換する場合においても、マクロブロックの先読みを行うことによって量子化誤差が小さくなるように、量子化パラメータを変更することができる。さらに、ブイパケット（ｖｐａｃｋｅｔ）を用いることによってＭＰＥＧ４に特有な性質に制限されることなく、量子化パラメータを変更する必要のないマクロブロックに対してはそのままの量子化パラメータを用いることができるため、画質の劣化を抑えた画像符号化方式変換を行うことができる。。
【０１４６】
【発明の効果】
以上説明したように、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体によれば、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、ピクチャのデータ量情報を含む付加情報データとに入力データを分離し、復号化手段（復号化ステップ）において、符号化画像データを逆直交変換し、割り当て手段（割り当てステップ）において、ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てるか、複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定し、符号化手段（符号化ステップ）において、対象とするブロックのデータ量が該対象ブロックに割り当てられたまたは設定された上限データ量以上であれば対象ブロックのデータを切り詰めて直交変換している。
【０１４７】
このように、復号化手段（復号化ステップ）では逆直交変換のみを行って逆量子化および逆ＤＣＴを行わず、符号化手段（符号化ステップ）ではＤＣＴおよび量子化を行わず直交変換のみを行っているため、ある画像符号化方式から別の画像符号化方式に方式変換するために必要な演算量を大きく削減することができる。したがって、高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、上限データ量に基づいてブロックのデータを切り詰めることによって、ある画像符号化方式から圧縮率の異なる別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに、元のビットレートと略同じビットレートで方式変換することができる。
【０１４８】
また、本発明の画像符号化方式変換装置、画像符号化方式変換方法および記録媒体によれば、分離手段（分離ステップ）において、所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、各ブロックの符号化情報および量子化パラメータ情報を含む付加情報データとに入力データを分離し、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断し、復号化手段（復号化ステップ）において、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）の判断結果に応じて対象ブロックを逆直交変換または逆直交変換および逆量子化し、復号化手段（復号化ステップ）で逆直交変換されたブロックに対しては、符号化手段（第１の符号化ステップ）において量子化を行わずに直交変換し、復号化手段で逆直交変換および逆量子化されたブロックに対しては、量子化パラメータ出力手段（量子化パラメータ出力ステップ）で量子化パラメータ情報に基づいて新たな量子化パラメータを出力し、符号化手段（第２の符号化ステップ）で新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じた後、該ブロックを量子化および直交変換している。
【０１４９】
特に、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは該対象ブロックを逆直交変換および逆量子化している。
【０１５０】
このように、イントラ符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、インター符号化形式のブロックに対しては、新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じて新たな量子化パラメータを生成し、該新たな量子化パラメータで再量子化しているため、ある画像符号化方式から別の画像符号化方式に変換する場合においても、画質に大きな影響を与えずに方式変換することができる。
【０１５１】
また、特に、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）において対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、復号化手段（復号化ステップ）は、ブロック符号化形式判断手段（ブロック符号化形式判断ステップ）で対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆直交変換し、インター符号化されたブロックと判断されたときは、前ブロック符号化形式判断ステップで該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆直交変換し、インター符号化されたブロックであれば前記対象ブロックを逆直交変換および逆量子化している。
【０１５２】
このように、イントラ符号化形式のブロック、および対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式がイントラ符号化形式であるインター符号化形式のブロックに対しては、量子化されたＤＣＴ係数をそのまま用いるため、復号化手段（復号化ステップ）における逆量子化のための演算および符号化手段（符号化ステップ）における量子化のための演算を省略することができる。したがって、より高速な画像符号化方式変換が可能な画像符号化方式変換装置、画像符号化方式変換方法および記録媒体を提供することができる。また、上記ブロック以外のブロックは、時間的に後のフレーム中の同じ位置のブロックがインター形式であるうちは画質の劣化が生じ得るが、いずれイントラ符号化形式のブロックとなるため、画質の劣化を抑えた画像符号化方式変換を実現することができる。なお、前ブロック符号化形式判断ステップが対象とするフレーム数を少なくすることによって、画質の劣化が生じ得る時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
【図２】デコーダ部の内部構成を示すブロック構成図である。
【図３】デコーダ部が行う復号化処理について説明するフローチャートである。
【図４】付加情報バッファに書き込まれたデータの一形式を示す説明図である。
【図５】エンコーダ部の内部構成を示すブロック構成図である。
【図６】量子化パラメータを用いたＤＣＴ係数の算出を説明する説明図である。
【図７】可変長符号化手段によるビット切詰め処理を説明する説明図である。
【図８】エンコーダ部が行う符号化処理について説明するフローチャートである。
【図９】第１の実施形態に係る画像符号化方式変換方法の第１実施例を示す説明図である。
【図１０】第１の実施形態に係る画像符号化方式変換方法の第２実施例を示す説明図である。
【図１１】量子化誤差の発生および第２実施例に係る量子化パラメータの決定を説明する説明図である。
【図１２】変換テーブルを示す説明図である。
【図１３】本発明の第２の実施形態に係る画像符号化方式変換装置を示すブロック構成図である。
【図１４】第２の実施形態に係る画像符号化方式変換方法を示す説明図である。
【図１５】第２の実施形態に係るマクロブロックの先読み方式による量子化パラメータの決定を説明する説明図である。
【図１６】ブイパケット（ｖｐａｃｋｅｔ）の生成とその一例を示す説明図である。
【図１７】特表平９−５１２４１０号公報に記載の符号変換装置を簡単に示したブロック構成図である。
【図１８】従来の符号化変換方法の処理の流れを説明する説明図である。
【符号の説明】
１０１ 入力ビットストリーム
１０２，９０２ 入力手段
１０３，９０３ デコーダ部
１０４，９０４ データバッファ
１０５，９０５ 付加情報バッファ
１０６，９０６ エンコーダ部
１０７ 出力手段
１０８ 出力ビットストリーム
２０１ 上位レイヤ情報復号化手段
２０２ ＭＢ情報復号化手段
２０３ 可変長復号化手段
２０４，５０５ 逆量子化手段
２０５，５０６ 逆ＤＣＴ手段
２０６，５０７ 動き補償手段
２０７，５０８ フレームメモリ
５０１ 減算器
５０２ ＤＣＴ手段
５０３ 量子化手段
５０４ 可変長符号化手段
５０９ ＭＢ情報符号化手段
５１０ 上位レイヤ情報符号化手段
Claims (25)
- 所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離手段を有し、前記符号化画像データを逆直交変換する機能を有する復号化手段、および
前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当て手段を有し、対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する機能を有する符号化手段を備え、
前記付加情報データは、各ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを示す符号化情報および量子化パラメータ情報を含み、
前記復号化手段は、対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断手段を有し、前記ブロック符号化形式判断手段による判断結果に応じて、前記対象ブロックを処理し、
前記符号化手段は、前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力手段を有し、前記復号化手段で逆量子化および逆直交変換されていないブロックに対しては、直交変換及び量子化を行わず、前記復号化手段で逆量子化および逆直交変換、または逆量子化されたブロックに対しては、前記量子化パラメータ出力手段から出力された新たな量子化パラメータを該ブロックのＤＣＴ係数に乗じる画像符号化方式変換装置。 - 前記付加情報データは、前記複数のブロックのデータ量情報を含み、前記割り当て手段は、前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定することを特徴とする請求項１記載の画像符号化方式変換装置。
- 前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックの逆量子化および逆直交変換を行わず、インター符号化されたブロックと判断されたときは該対象ブロックを逆量子化および逆直交変換することを特徴とする請求項１記載の画像符号化方式変換装置。 - 前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化手段は、前記ブロック符号化形式判断手段で、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆量子化し逆直交変換せず、インター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断し、該ブロックがイントラ符号化されたブロックであれば前記対象ブロックを逆量子化し逆直交変換せず、インター符号化されたブロックであれば前記対象ブロックを逆量子化および逆直交変換することを特徴とする請求項１記載の画像符号化方式変換装置。 - 前記付加情報データが各ブロックのビット量情報を有し、
前記ブロック符号化形式判断手段は、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化手段は、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆量子化し逆直交変換せず、インター符号化されたブロックと判断されたときは、該対象ブロックのビット量と量子化パラメータとの乗算によって求められる符号化の難易度を示すアクティビティが大きいときは、前記復号化手段は前記対象ブロックを逆量子化および逆直交変換せず、前記アクティビティが小さいときは、前記復号化手段は前記対象ブロックを逆量子化及び逆直交変換するかまたは逆量子化し逆直交変換しないことを特徴とする請求項１記載の画像符号化方式変換装置。 - 前記符号化手段は、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出手段を有し、
前記量子化パラメータ出力手段は、前記変換係数算出手段が算出した変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力することを特徴とする請求項１ないし５のいずれか一項記載の画像符号化方式変換装置。 - 前記量子化パラメータ出力手段は、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として用いることを特徴とする請求項６記載の画像符号化方式変換装置。
- 前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値であることを特徴とする請求項６または７記載の画像符号化方式変換装置。
- 前記付加情報データは前記ピクチャのデータ量情報を含み、
前記符号化手段は、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出手段を有し、
前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出手段が算出した前記ピクチャの上限データ量との比から求められる値であることを特徴とする請求項６または７記載の画像符号化方式変換装置。 - 前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値であることを特徴とする請求項６または７記載の画像符号化方式変換装置。
- 前記量子化パラメータ出力手段は、前記復号化手段で逆量子化および逆直交変換されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力することを特徴とする請求項１ないし５のいずれか一項記載の画像符号化方式変換装置。
- 当該画像符号化方式変換装置がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、
前記量子化パラメータ出力手段は、前記復号化手段で逆量子化および逆直交変換された対象とするブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力することを特徴とする請求項１１記載の画像符号化方式変換装置。 - 所定数のピクセルで構成された複数のブロックを備えたピクチャをブロック単位で符号化した画像データと、前記ピクチャのデータ量情報、各ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを示す符号化情報および量子化パラメータ情報を含む付加情報データと、を有する入力データを前記符号化画像データと前記付加情報データとに分離する分離ステップと、
前記符号化画像データを逆直交変換する復号化ステップと、
前記ピクチャのデータ量情報に基づいて該ピクチャが備えた各ブロックに上限データ量を割り当てる割り当てステップと、
対象とするブロックのデータ量が該対象ブロックに割り当てられた上限データ量以上であれば前記対象ブロックのデータを切り詰めて直交変換する符号化ステップと、を実行する機能を有する画像符号化方式変換装置における画像符号化方式変換方法であって、
対象とするブロックの符号化情報を参照して該対象ブロックの符号化形式を判断するブロック符号化形式判断ステップと、
前記ブロック符号化形式判断ステップによる判断結果に応じて、前記対象ブロックを処理する復号化ステップと、
前記復号化ステップで逆量子化および逆直交変換されていないブロックに対しては、直交変換及び量子化を行わない第１の符号化ステップを行い、前記復号化ステップで逆量子化および逆直交変換、または逆量子化されたブロックに対しては、前記量子化パラメータ情報に基づいて新たな量子化パラメータを出力する量子化パラメータ出力ステップ、および前記量子化パラメータ出力ステップで出力された新たな量子化パラメータを前記ブロックのＤＣＴ係数に乗じる第２の符号化ステップを行う符号化ステップと、
を有することを特徴とする画像符号化方式変換方法。 - 前記付加情報データは、前記複数のブロックのデータ量情報を含み、
前記割り当てステップは、前記複数のブロックのデータ量情報に基づいて各ブロックの上限データ量を設定することを特徴とする請求項１３記載の画像符号化方式変換方法。 - 前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化ステップは、
前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆量子化および逆直交変換せず、
前記対象ブロックがインター符号化されたブロックと判断されたときは該対象ブロックを逆量子化および逆直交変換することを特徴とする請求項１３記載の画像符号化方式変換方法。 - 前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化ステップは、
前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは該対象ブロックを逆量子化し逆直交変換せず、
前記対象ブロックがインター符号化されたブロックと判断されたときは、該対象ブロックが属するフレームより時間的に後ろのフレームの前記対象ブロックと同じ位置のブロックの符号化形式を判断する前ブロック符号化形式判断ステップをさらに有し、該前ブロック符号化形式判断ステップで該ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆量子化し逆直交変換せず、インター符号化されたブロックと判断されたときは前記対象ブロックを逆量子化および逆直交変換することを特徴とする請求項１３記載の画像符号化方式変換方法。 - 前記付加情報データが各ブロックのビット量情報を有し、
前記ブロック符号化形式判断ステップは、前記対象ブロックがイントラ符号化されたブロックかインター符号化されたブロックかを判断し、
前記復号化ステップは、
前記ブロック符号化形式判断ステップで、前記対象ブロックがイントラ符号化されたブロックと判断されたときは前記対象ブロックを逆量子化し逆直交変換せず、
インター符号化されたブロックと判断されたときは、符号化の難易度を示すアクティビティを前記対象ブロックのビット量と量子化パラメータとの乗算によって求めるアクティビティ算出ステップをさらに有し、該アクティビティ算出ステップで求められたアクティビティが大きいときは、前記復号化手段は前記対象ブロックを逆量子化および逆直交変換せず、前記アクティビティが小さいときは、前記復号化手段は前記対象ブロックを逆量子化及び逆直交変換するかまたは逆量子化し逆直交変換しないことを特徴とする請求項１３記載の画像符号化方式変換方法。 - 前記量子化パラメータ出力ステップは、画像符号化方式変換前後の圧縮率の違いによる変換係数を算出する変換係数算出ステップを有し、
前記変換係数算出ステップで算出された変換係数が１よりも大きいときは、新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの倍数とし、前記変換係数が１よりも小さいときは新たな量子化パラメータを前記量子化パラメータ情報が示す量子化パラメータの約数とし、該新たな量子化パラメータを出力することを特徴とする請求項１３ないし１７のいずれか一項記載の画像符号化方式変換方法。 - 前記量子化パラメータ出力ステップは、前記量子化パラメータ情報が示す量子化パラメータの倍数または約数を前記新たな量子化パラメータとしてブロックのＤＣＴ係数に乗じて得られたＤＣＴ係数が元のＤＣＴ係数よりも小さくなるときは、前記元のＤＣＴ係数を前記ブロックのＤＣＴ係数として用いることを特徴とする請求項１８記載の画像符号化方式変換方法。
- 前記変換係数は、変換前の符号化方式の圧縮率を変換後の符号化方式の圧縮率で除した値であることを特徴とする請求項１８または１９記載の画像符号化方式変換方法。
- 前記付加情報データは前記ピクチャのデータ量情報を有し、前記ピクチャのデータ量情報に基づいて該ピクチャの上限データ量を算出する上限データ量算出ステップを有し、
前記変換係数は、前記ピクチャのデータ量情報が示すデータ量と前記上限データ量算出ステップで算出された前記ピクチャの上限データ量との比から求められる値であることを特徴とする請求項１８または１９記載の画像符号化方式変換方法。 - 前記変換係数は、変換前の符号化形式と変換後の符号化形式との組み合わせごとに、量子化パラメータ情報が示す量子化パラメータに応じて予め決定された所定の値であることを特徴とする請求項１８または１９記載の画像符号化方式変換方法。
- 前記量子化パラメータ出力ステップは、前記復号化ステップで逆量子化および逆直交変換されたブロックに対して、対象となるブロックよりも後の連続した複数のブロックの量子化パラメータに基づいて、前記対象ブロックの新たな量子化パラメータを決定して出力することを特徴とする請求項１６、１７、１８または１９記載の画像符号化方式変換方法。
- 当該画像符号化方式変換方法がＭＰＥＧ４規格に準拠した方式で符号化された画像データを出力するとき、
前記量子化パラメータ出力ステップは、前記復号化ステップで逆量子化および逆直交変換された対象とするマクロブロックに対して、連続した複数のマクロブロックの各量子化パラメータを読み出し、量子化パラメータの差が所定値よりも小さな隣り合うマクロブロックの集合領域を決定し、該集合領域内で対象となるマクロブロックよりも後の連続した複数のマクロブロックの量子化パラメータに基づいて、前記対象マクロブロックの量子化パラメータを決定して出力することを特徴とする請求項２３記載の画像符号化方式変換方法。 - 請求項１３乃至２４のいずれか一項に記載の画像符号化方式変換方法をコンピュータに実行させるためのプログラムとして記録したコンピュータにより読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000046042A JP3818819B2 (ja) | 1999-02-23 | 2000-02-23 | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4438299 | 1999-02-23 | ||
| JP11-44382 | 1999-02-23 | ||
| JP2000046042A JP3818819B2 (ja) | 1999-02-23 | 2000-02-23 | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000312362A JP2000312362A (ja) | 2000-11-07 |
| JP3818819B2 true JP3818819B2 (ja) | 2006-09-06 |
Family
ID=26384260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000046042A Expired - Fee Related JP3818819B2 (ja) | 1999-02-23 | 2000-02-23 | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3818819B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4505992B2 (ja) * | 2001-01-09 | 2010-07-21 | ソニー株式会社 | 画像情報変換装置及び方法 |
| JP4539028B2 (ja) * | 2003-05-14 | 2010-09-08 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| KR100537517B1 (ko) * | 2004-01-13 | 2005-12-19 | 삼성전자주식회사 | 오디오 데이타 변환 방법 및 장치 |
| JP4606070B2 (ja) | 2004-06-11 | 2011-01-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体 |
| WO2006093306A1 (ja) * | 2005-03-03 | 2006-09-08 | Pioneer Corporation | 画像符号化方式変換装置及び方法 |
| EP2080377A2 (en) * | 2006-10-31 | 2009-07-22 | THOMSON Licensing | Method and apparatus for transrating bit streams |
| JP4922138B2 (ja) * | 2007-11-20 | 2012-04-25 | 株式会社東芝 | 動画像符号化装置及び動画像符号化方法 |
| JP5709492B2 (ja) * | 2010-12-01 | 2015-04-30 | 三菱電機株式会社 | 画像符号化方式変換装置および画像符号化方式変換プログラム |
| CN112004095B (zh) * | 2020-08-26 | 2022-07-15 | 深圳市迪威码半导体有限公司 | 一种无存储介质的静止图像帧间无损恢复方法 |
-
2000
- 2000-02-23 JP JP2000046042A patent/JP3818819B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000312362A (ja) | 2000-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6895052B2 (en) | Coded signal separating and merging apparatus, method and computer program product | |
| JP3149418B2 (ja) | 画像予測復号化方法及び装置 | |
| JP3552811B2 (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| US8432964B2 (en) | Image processing device, method, and program | |
| WO2004008775A1 (ja) | 動画像符号化方法及び復号化方法 | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| US6628839B1 (en) | Image coding system converting apparatus, image coding system converting method, and recording medium | |
| EP1143737A2 (en) | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus | |
| EP2077670A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| JP4616057B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3463291B2 (ja) | 圧縮ディジタル・ビデオ・シーケンスをデコードし表示する方法および装置 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| KR100568649B1 (ko) | 동화상복호화장치및동화상복호화방법 | |
| JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4073541B2 (ja) | 動画像再符号化装置 | |
| JP2005012249A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
| JP2002262293A (ja) | 動画像復号装置および動画像復号方法 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP3800965B2 (ja) | データレート変換装置 | |
| JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3779066B2 (ja) | 動画像符号化装置 | |
| JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
| JPH0993537A (ja) | ディジタル映像信号記録再生装置及びディジタル映像信号符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060613 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |