JP4672594B2 - 符号化ストリーム再符号化方法、符号化ストリーム再符号化装置、符号化ストリーム復元方法、符号化ストリーム復元装置、符号化ストリーム再符号化プログラム、符号化ストリーム復元プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力として、その符号化ストリームに残存する冗長性を抑圧して再符号化する符号化ストリーム再符号化方法およびその装置と、その符号化ストリーム再符号化方法により生成された再符号化ストリームを処理対象として、その再符号化ストリームの生成元となった符号化ストリームを復元する符号化ストリーム復元方法及びその装置と、その符号化ストリーム再符号化方法の実現に用いられる符号化ストリーム再符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その符号化ストリーム復元方法の実現に用いられる符号化ストリーム復元プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、セキュリティヘの関心の高まりと共に、映像監視技術への期待が高まりを見せている。映像監視では、長時間におよぶ映像を蓄積する必要があるため、映像データの効率的な符号化技術が必要となる。

現在、監視映像の符号化において、静止画像の符号化方式であるＪＰＥＧが用いられており、１枚１枚の監視映像のフレームがＪＰＥＧにより符号化されている。

これは、ＪＰＥＧのもつ
（１）フレーム間相互に依存関係がないため、ランダムアクセスが可能であり、閲覧性 に優れる
（２）ＭＰＥＧ等の動画像符号化方法と比較して演算量が低いため、デジタルＩＰカメ ラ等への搭載が容易であり、撮像系の低コスト化が可能である
（３）世の中で広く使用されている符号化フォーマットであるため、関係機関にそのま ま画像を提供でき、システムの運用性を高めることができる
という利点による。

なお、Ｈ．２６４などによる動画像の符号化方式では、フレーム間予測に基づく符号化が行われており、ブロックと呼ばれる矩形状に分割された領域毎に、予測残差に対する直交変換・量子化が行われる（例えば、非特許文献１参照）。
Joint Video Team. Draft ITU-T Recommendation and Final draft international standard of joint video specification. ITU-T Rec.H.264 and ISO/IEC 14496-10 AVC, 2003.

前述の利点とは裏腹に、ＪＰＥＧを動画像符号化に用いた場合、符号化効率の低さが問題となる。これは、時間方向の相関が考慮されていないことによる。このため、蓄積データ量の肥大を招き、長時間にわたる監視映像の蓄積が困難となる。

そこで、図１５に示すようなアーカイブシステムが検討されている。つまり、ＪＰＥＧ符号化ストリームを再圧縮した後、蓄積するシステムである。こうしたシステムでは、ＪＰＥＧ符号化ストリームの効率的な可逆符号化手法が求められる。

本発明はかかる事情に鑑みてなされたものであって、動画像を構成する１つ１つのフレームが静止画像の符号化方式により符号化されることで生成された符号化ストリームを再符号化する場合に、その符号化ストリームの時間・空間相関を利用して、その符号化ストリームに残存する冗長性を抑圧して再符号化することを実現する新たな符号化ストリーム再符号化技術の提供と、その符号化ストリーム再符号化技術により生成された再符号化ストリームの生成元となった符号化ストリームを復元する新たな符号化ストリーム復元技術の提供とを目的とする。

〔１〕本発明の符号化ストリーム再符号化装置の構成
この目的を達成するために、本発明の符号化ストリーム再符号化装置は、動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力として、その符号化ストリームに残存する冗長性を抑圧して再符号化することを実現するために、（１）動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力する入力手段と、（２）入力手段の入力した符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号する復号手段と、（３）復号手段の復号した直交変換係数の特定の成分をフレーム毎に抽出して、その特定の成分のみからなる２次元データを各フレーム毎に生成する２次元データ生成手段と、（４）２次元データ生成手段の生成した２次元データの時系列データを、時間方向の相関および空間方向の相関を利用する動画像可逆符号化方式により符号化することで符号化ストリームを生成する符号化ストリーム生成手段と、（５）符号化ストリーム生成手段の生成した符号化ストリームと、２次元データ生成手段の生成対象となる特定の成分以外の成分についての符号化ストリームとを多重化する多重化手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の符号化ストリーム再符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の符号化ストリーム再符号化装置では、動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力すると、先ず最初に、その入力した符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号する。

続いて、その復号した直交変換係数の特定の成分をフレーム毎に抽出して、その特定の成分のみからなる２次元データを各フレーム毎に生成し、その生成した２次元データの時系列データを動画像可逆符号化方式により符号化することで符号化ストリームを生成する。

最後に、２次元データに基づいて生成した符号化ストリームと、特定の成分以外の成分についての符号化ストリームとを多重化することで、最終的な符号化ストリームを生成する。

例えば、（ｉ）特定の成分以外の成分についての符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、２次元データに基づいて生成した符号化ストリーム、特定の成分以外の成分についての符号化ストリームの順で配置することで多重化を行ったり、（ii）２次元データに基づいて生成した符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、特定の成分以外の成分についての符号化ストリーム、２次元データに基づいて生成した符号化ストリームの順で配置することで多重化を行うのである。

ここで、この多重化にあたって、例えば、特定の成分が直流成分である場合には、特定の成分以外の成分についての符号化ストリームとして、（ｉ）入力した符号化ストリームの持つ交流成分の符号化ストリームをそのまま用いるようにしたり、（ii）直交変換係数に含まれる交流成分の直交変換係数をランレングス符号化することで生成されるものを用いるようにする。

また、特定の成分が交流成分を含む場合には、特定の成分以外の成分についての符号化ストリームとして、（ｉ）入力した符号化ストリームの持つそれらの成分の符号化ストリームをそのまま用いるようにしたり、（ii）直交変換係数に含まれるそれらの成分の直交変換係数をランレングス符号化することで生成されるものを用いるようにする。

〔２〕本発明の符号化ストリーム復元装置の構成
本発明の符号化ストリーム復元装置は、本発明の符号化ストリーム再符号化装置により生成された再符号化ストリームを処理対象として、その再符号化ストリームの生成元となった符号化ストリームを復元する処理を行うものであり、動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号し、その復号した直交変換係数の特定の成分をフレーム毎に抽出して、その特定の成分のみからなる２次元データを各フレーム毎に生成し、その生成した２次元データの時系列データを動画像可逆符号化方式により符号化することで第１の符号化ストリームを生成して、その生成した第１の符号化ストリームと特定の成分以外の成分についての第２の符号化ストリームとを多重化することで生成された再符号化ストリームを処理対象として、（１）処理対象の再符号化ストリームを入力する入力手段と、（２）入力手段の入力した再符号化ストリームから、第１の符号化ストリームと第２の符号化ストリームとを分離する分離手段と、（３）分離手段の分離した第２の符号化ストリームに基づいて、再符号化ストリームの生成元となった符号化ストリームの持つ特定の成分以外の成分についての再符号化処理前の符号化ストリームを得る第１の実行手段と、（４）分離手段の分離した第１の符号化ストリームを動画像可逆符号化方式の規定する復号処理に基づいて復号することで２次元データの時系列データを復号し、その復号した２次元データに基づいて、再符号化ストリームの生成元となった符号化ストリームの持つ特定の成分についての再符号化処理前の符号化データを得る第２の実行手段と、（５）第１の実行手段の得た再符号化処理前の符号化ストリームと、第２の実行手段の得た再符号化処理前の符号化データとを多重化することで、再符号化ストリームの生成元となった符号化ストリームを復元する復元手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の符号化ストリーム復元方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の符号化ストリーム復元装置では、先ず最初に、処理対象の再符号化ストリームから、動画像可逆符号化方式の符号化により生成された特定成分についての第１の符号化ストリームと、動画像可逆符号化方式の符号化の対象外となった特定の成分以外の成分についての第２の符号化ストリームとを分離する。

続いて、分離した第２の符号化ストリームに基づいて、再符号化ストリームの生成元となった符号化ストリームの持つ特定の成分以外の成分についての再符号化処理前の符号化ストリームを得る。

このとき、本発明の符号化ストリーム再符号化装置による再符号化処理に合わせて、分離した第２の符号化ストリームをそのまま用いることで再符号化処理前の符号化ストリームを得るようにしたり、分離した第２の符号化ストリームをランレングス符号化の規定する復号処理に基づいて復号することで再符号化処理前の符号化ストリームを得るようにする。

続いて、分離した第１の符号化ストリームを動画像可逆符号化方式の規定する復号処理に基づいて復号することで２次元データの時系列データを復号し、その復号した２次元データに基づいて、再符号化ストリームの生成元となった符号化ストリームの持つ特定の成分についての再符号化処理前の符号化データを得る。

最後に、このようにして得た再符号化処理前の符号化ストリームと、このようにして得た再符号化処理前の符号化データとを多重化することで、再符号化ストリームの生成元となった符号化ストリームを復元する。

本発明によれば、動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを再符号化する場合に、その符号化ストリームの時間・空間相関を利用することにより、その符号化ストリームに残存する冗長性を抑圧し、符号量の再圧縮を図ることができるようになる。

そして、本発明によれば、そのようにして再符号化された符号化ストリームを復元することができるようになる。

これから、本発明によれば、静止画像の符号化方式を用いて監視映像を蓄積する場合に、監視映像の蓄積可能なフレーム数を増加させることができるようになるので、アーカイブシステムのコストを削減できるようになる。

そして、この実現にあたって、本発明では、静止画像の符号化データである直交変換係数に対する可逆符号化方式を用いていることから、入力した符号化ストリームを劣化のない形で復元することができることを保証している。

次に、ＪＰＥＧにより符号化された動画像の符号化ストリームを処理する場合の実施の形態を具体例にして、本発明の符号化ストリーム再符号化方法について説明する。なお、以下では、離散コサイン変換をＤＣＴと略記することがある。

〔１〕第１の発明
本発明の符号化ストリーム再符号化方法は、ＪＰＥＧにより符号化された動画像の符号化ストリームを入力すると、ＤＣＴ直流成分の符号化データと、ＤＣＴ直流成分以外の符号化データ（非直流成分ＪＰＥＧ符号化ストリーム）とに分類する。

続いて、ＪＰＥＧの規定する復号処理に基づいて、ＤＣＴ直流成分の符号化データをＤＣＴ直流係数として復号する。

続いて、復号したＤＣＴ直流係数をフレーム毎に抽出して、それらのＤＣＴ直流係数のみからなる２次元データ（ＤＣＴ係数フレーム）をフレーム単位に再構成する。

続いて、再構成したＤＣＴ係数フレームの時系列データを、動画像可逆符号化方式により符号化することでＤＣＴ直流成分符号化ストリームを得る。

続いて、ＤＣＴ直流成分符号化ストリームと非直流成分ＪＰＥＧ符号化ストリームとを多重化することで、最終的な符号化ストリームを生成する。

この多重化にあたって、非直流成分ＪＰＥＧ符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、ＤＣＴ直流成分符号化ストリーム、非直流成分ＪＰＥＧ符号化ストリームの順で配置することで多重化を行ったり、ＤＣＴ直流成分符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、非直流成分ＪＰＥＧ符号化ストリーム、ＤＣＴ直流成分符号化ストリームの順で配置することで多重化を行う。

〔２〕第２の発明
本発明の符号化ストリーム再符号化方法は、ＪＰＥＧにより符号化された動画像の符号化ストリームを入力すると、ＪＰＥＧの規定する復号処理に基づいて、ＤＣＴ係数を復号する。

続いて、復号したＤＣＴ係数を低域成分と高域成分という２つのクラスに分類する。

続いて、低域成分のＤＣＴ係数に対しては、低域成分の各成分毎に同成分のみからなる２次元データ（ＤＣＴ係数フレーム）をフレーム単位で再構成して、その再構成したＤＣＴ係数フレームの時系列データを、動画像可逆符号化方式により符号化することでＤＣＴ低域成分符号化ストリームを得る。一方、高域成分のＤＣＴ係数に対しては、ランレングス符号化を行うことでＤＣＴ高域成分符号化ストリームを得る。

続いて、ＤＣＴ低域成分符号化ストリームとＤＣＴ高域成分符号化ストリームとを多重化することで、最終的な符号化ストリームを生成する。

この多重化にあたって、ＤＣＴ高域成分符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、ＤＣＴ低域成分符号化ストリーム、ＤＣＴ高域成分符号化ストリームの順で配置することで多重化を行ったり、ＤＣＴ低域成分符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、ＤＣＴ高域成分符号化ストリーム、ＤＣＴ低域成分符号化ストリームの順で配置することで多重化を行う。

〔３〕本発明により符号量の圧縮を実現できる理由
次に、このように構成される本発明の符号化ストリーム再符号化方法により符号量の圧縮を実現できることになる理由について説明する。

ＪＰＥＧの符号化器では、図１に示すような装置構成に従って、符号化対象画像に対して離散コサイン変換を施すことでＤＣＴ係数を得ると、直流成分のＤＣＴ係数であるのか否かを判定して、直流成分のＤＣＴ係数については直前ブロックの直流成分のＤＣＴ係数との差分値を算出して量子化を行い、非直流成分のＤＣＴ係数についてはそのまま量子化を行って、図２に示すようなジグザグ走査の順に量子化値を選択してエントロピ符号化することで符号化ストリームを生成するという構成を採っている。

一方、ＪＰＥＧの復号器では、図３に示すような装置構成に従ってＪＰＥＧ符号化器の逆変換処理を行うことで、図１のように構成されるＪＰＥＧ符号化器により生成された符号化ストリームを復号するという構成を採っている。

本発明の符号化ストリーム再符号化方法では、ＪＰＥＧの符号化過程で生成されるＤＣＴ係数の冗長性を除去することで、符号量の圧縮を図るものである。

ＪＰＥＧによる符号化処理はフレーム単位の独立した処理であることから、隣接フレーム間のＤＣＴ係数には時間軸方向の冗長性が残存している。また、ＤＣＴ係数同士の空間的相関も十分利用できていないことから、フレーム内のＤＣＴ係数には空間的冗長性も残存している。

ここで、ＤＣＴ係数の性質に注目する。ＤＣＴのサイズをＮ×Ｎとして、その直流成分を図４（この図の例ではＮ＝４）に示すような２次元データとして配置した場合、この２次元データは、原画像を縦・横方向に各々１／Ｎに縮小した画像と近い統計的性質を有する。

これから、この直流成分の２次元データを時系列データとして見た場合、時間軸方向の冗長性は原画像と同程度に存在していると考えられる。また、隣接するＤＣＴ係数間における空間相関も同様に存在するものと考えられる。

このため、動画像可逆符号化方式による時間・空間方向の相関を利用することで、符号量のさらなる圧縮が見込める。また、こうした時間・空間方向の相関を利用した再圧縮は低域交流成分についても有効であると考えられる。

そこで、前述した第１の発明の場合には図４に示し、前述した第２の発明の場合には図５に示すように、ＤＣＴ係数の各成分毎に個別の２次元データとしてまとめ、各成分毎に時間・空間方向の冗長性の除去を図るのである。

ここで、前述したように、ＤＣＴ係数の各成分毎の２次元データをＤＣＴ係数フレームと呼ぶ。また、図４および図５中に示す太線部分はＤＣＴブロックを表し、図４および図５中に示す網掛け部分は直流成分を表し、図５中に示す斜線部分は低域成分を表している。

この技術的観点に立って、前述した第１の発明の場合には、図６に示すように、ＤＣＴ係数フレームについては、各フレーム毎に動画像可逆符号化方式（AVC/H.264 lossless mode 等）を用いて符号化を行い、ＤＣＴ交流成分については、ＪＰＥＧ符号化により得られた符号化データをそのまま流用するのである。

そして、この技術的観点に立って、前述した第２の発明の場合には、図７に示すように、ＤＣＴ係数フレームについては、動画像可逆符号化方式（AVC/H.264 lossless mode 等）を用いて符号化を行い、ＤＣＴ高域成分については、ランレングス符号化を用いてＤＣＴ係数を符号化するのである。

なお、ＪＰＥＧで用いる８×８ＤＣＴは次式で表される。

ここで、Ｃ（ｕ），Ｃ（ｖ）は以下の通りである。

変換の対象を８ビットの信号（０≦ｆ（ｉ，ｊ）≦２５５）とすると、式（１）より、ＤＣＴ係数は、以下の上限を持つ。

つまり、ＤＣＴ係数の取りうる範囲は、［−（２¹²−２⁴ ），２¹²−２⁴ ］に収まる。このため、１４［bits/pixel］の入力に対応したAdvanced 4:4:4 profile（ITU-T and ISO/IEC JTC1，“Working Draft 1 of ISO/IEC 14496-10:200x Amd.2 Advanced 4:4:4 Profiles”，JVT-Q209，0ct 2005. ）であれば、対応可能である。

次に、ＪＰＥＧにより符号化された動画像の符号化ストリームを処理する場合の実施例を具体例にして、本発明について説明する。

〔Ａ〕ＪＰＥＧ符号化ストリームを再符号化する本発明の構成
〔１〕第１の発明の基本的な構成
前述した第１の発明の実施例について説明する。

第１の発明の場合には、図４に示すように、直流成分のＤＣＴ係数に基づいてＤＣＴ係数フレームを生成して、図６に示すように、ＤＣＴ係数フレームについては、各フレーム毎に動画像可逆符号化方式を用いて符号化を行い、ＤＣＴ交流成分については、ＪＰＥＧ符号化により得られた符号化データをそのまま流用するという構成を採る。

〔１−１〕ＤＣＴ直流成分の復号
ＪＰＥＧ符号化ストリーム（具体的には、次に説明するＤＣＴ直流成分符号化ストリーム）からＤＣＴ直流成分を復号する。

この復号処理は、次の２つの処理からなる。まず、エントロピ復号を行い、ＤＣＴ直流成分の予測差分信号を復号する。次に、周辺ブロックの直流成分の復号値を用いて予測値を生成し、その予測値をさきに求めた予測差分信号と加算することで、直流成分の復号値を得る。

〔１−２〕ＤＣＴ直流成分の符号化
ＤＣＴ直流成分について、ＤＣＴ係数フレームを生成する。ＤＣＴ係数フレームの生成手順は以下の通りである。矩形領域｛８ｉ≦ｘ≦８ｉ＋７，８ｊ≦ｙ≦８ｊ＋７｝を入力として得られるＤＣＴ係数に対して、同直流成分をＤＣＴ係数フレームにおける座標値（ｉ，ｊ）の値とする。

このＤＣＴ係数フレームに対して、図６に示すように、動画像可逆符号化方式を用いて符号化を行う。具体的な可逆符号化方式としては、AVC/H.264 のlossless mode [1] などである。ここで得られる符号化ストリームをＤＣＴ直流成分符号化ストリームと呼ぶ。

〔１−３〕符号化ストリームの多重化
ＪＰＥＧ符号化ストリームからＤＣＴ直流成分を除いた部分（ヘッダ情報およびＤＣＴ交流成分の符号化データからなり、以下、非直流成分ＪＰＥＧ符号化ストリームと呼ぶ）とＤＣＴ直流成分符号化ストリームとを多重して、再符号化ストリームとする。

図８に従って、この再符号化ストリームとＪＰＥＧ符号化ストリームとの関係について説明する。

図８（ａ）は３フレームをＪＰＥＧで符号化した場合のＪＰＥＧ符号化ストリームを示している。各フレームのＪＰＥＧ符号化ストリームは、ヘッダ情報、ＤＣＴ直流成分の符号化データおよびＤＣＴ交流成分の符号化データからなる。

このＪＰＥＧ符号化ストリームを、ＤＣＴ直流成分の符号化データと、それ以外の情報である非直流成分ＪＰＥＧ符号化ストリームとに分割する。図８（ｂ）に示すものがＤＣＴ直流成分の符号化データであり、図８（ｃ）に示すものが非直流成分ＪＰＥＧ符号化ストリームである。

このうち、ＤＣＴ直流成分の符号化データについては、前述の通り、H.264 のlossless mode のような動画像可逆符号化方式に基づき符号化を行い、ＤＣＴ直流成分符号化ストリームを得る。図８（ｄ）に示すものがＤＣＴ直流成分符号化ストリームである。なお、ヘッダ情報およびＤＣＴ交流成分の符号化データについては、処理を加えない。

図８（ｅ）に示すように、ＤＣＴ直流成分符号化ストリームと非直流成分ＪＰＥＧ符号化ストリームとを多重化し、一つの再符号化ストリームとする。この多重化の際、再符号化ストリームの先頭にヘッダ情報を加える。このヘッダ情報には、再符号化ストリームにおける非直流成分ＪＰＥＧ符号化ストリームの開始位置を示す情報が含まれる。

〔２〕第２の発明の基本的な構成
前述した第２の発明の実施例について説明する。

第２の発明の場合には、図５に示すように、低域成分のＤＣＴ係数に基づいてＤＣＴ係数フレームを生成して、図７に示すように、ＤＣＴ係数フレームについては、各フレーム毎に動画像可逆符号化方式を用いて符号化を行い、ＤＣＴ高域成分については、ランレングス符号化を用いてＤＣＴ係数を符号化するという構成を採る。

〔２−１〕ＤＣＴ低域成分の復号
ＪＰＥＧ符号化ストリーム（具体的には、次に説明するＤＣＴ低域成分符号化ストリーム）からＤＣＴ低域成分を復号する。

この復号において、直流成分の復号処理については前述した〔１−１〕と同様である。交流成分の復号処理については、次の２つの処理からなる。まず、エントロピ復号を行い、ＤＣＴ低域交流成分のランレングス符号化シンボル（ラン長と画素値）を復号する。次に、ランレングス符号化シンボルに対して、予め定められたランレングス符号化の復号処理を施し、各交流成分の復号値を得る。

〔２−２〕ＤＣＴ係数の分類
まず、第ｔフレームにおいて右上の座標値を（ｘ，ｙ）とする８×８画素のブロックを入力として得られるＤＣＴ係数Ｆ（ｕ，ｖ）（ｕ，ｖ＝０，... ，７）をジグザグ走査（図２参照）に従い、一次元配列Ｇ_t,x,y ［ｎ］（ｎ＝０，... ，６３）に格納する。

次に、得られた１次元データをＮ個のＤＣＴ低域成分（先頭のＮ個のＤＣＴ係数Ｇ_t,x,y 〔ｎ〕（０≦ｎ≦Ｎ−１))と、６４−Ｎ個のＤＣＴ高域成分（後続の６４−Ｎ個のＤＣＴ係数Ｇ_t,x,y 〔ｎ〕（Ｎ≦ｎ≦６３))との２クラスに分類する。

後述するように、各クラス毎に個別の符号化処理を施す。なお、パラメータＮについては、外部から与えられる手段を持つものとする。例えば、次式により定めることができる。

ここで、Ψは外部から与えられる閾値であり、また、 min arg_m は、後続のカッコ内の条件を満たす変数ｍのうち、最小値を返す関数である。

〔２−３〕ＤＣＴ低域成分の符号化
ＤＣＴ低域成分について、各成分毎に、ＤＣＴ係数フレームを生成する。ＤＣＴ係数フレームの生成手順は以下の通りである。矩形領域｛８ｉ≦ｘ≦８ｉ＋７，８ｊ≦ｙ≦８ｊ＋７｝を入力として得られるＤＣＴ係数に対して、各成分の係数を同成分のＤＣＴ係数フレームにおける座標値（ｉ，ｊ）の値とする。

このＤＣＴ係数フレ−ムに対して、図７に示すように、各成分毎に、動画像可逆符号化方式を用いて符号化を行い、ＤＣＴ低域成分符号化ストリームを得る。具体的な可逆符号化方式としては、AVC/H.264 のlossless mode [1] などである。

〔２−４〕ＤＣＴ高域成分の符号化
ＤＣＴ高域成分については、ランレングス符号化に基づく符号化処理を行い、ＤＣＴ高域成分符号化ストリームを得る。ゼロである係数の連続する長さ（ラン長）、ゼロの連続を終端する非ゼロ係数の値（有意係数）、および同有意係数の後に有意係数が存在しないことを示す最終有意係数の判定フラグ（ＥＯＢ）の組合せを符号化する。

最終有意係数に最も近いラン長（最終ラン長）は、一般に大きな値になる傾向が強い。そこで、同一フレーム内の近傍ブロック、隣接フレーム内の同位置のブロックからの予測残差を符号化データとする。なお、以下では、Ｇ_t,x,y ［ｎ］に対する最終ラン長をｌ_t,x,y ，同予測値をｌ^* _t,x,y と表すものとする。ｌ^* _t,x,y の設定方法として、以下、４通りの方法を示す。

（ｉ）空間近傍ブロックからの予測：
３つの近傍ＤＣＴブロックの最終ラン長の中間値をＧ_t,x,y ［ｎ］の予測値とする。

ｌ^* _t,x,y ＝ｍｅｄ（ｌ_t,x-8,y ，ｌ_t,x,y-8 ，ｌ_t,x-8,y-8 ）
ここで、ｍｅｄ（）はカッコ内の３つの数値の中間値を返す関数である。

（ii）時間近傍ブロックからの予測：
隣接フレームの同位置のＤＣＴブロックの最終ラン長Ｇ_t,x-8,y ［ｎ］をＧ_t,x,y ［ｎ］の予測値とする。
ｌ^* _t,x,y ＝ｌ_t-1,x,y

(iii) 上記（ｉ)(ii）のハイブリッド法：
ブロック毎に、上記（ｉ)(ii）の予測値の選択を行う。このとき、選択のための付加情報（１ビット）を加える。

（iv）上記（ｉ)(ii）の適応切替法：
符号化済み情報を利用して、付加情報を用いることなく、ブロック毎に、上記（ｉ)(ii）を適応的に切替える。直流成分のＤＣＴ係数フレームに対する動画像符号化結果から、Ｇ_t,x,y ［０］を復号して得られるブロック（８×８画素）に対する動きベクトルｖ_t,x,y ［０］を抽出し、
｜ｖ_t,x,y ［０］｜≦θ
という式を満たすか否かの判定を行う。

なお、この式におけるθは外部から与えられる閾値である。また、｜ｖ_t,x,y ［０］｜は２次元のユークリッドノルムを表す。

上式を満たす場合、現ブロックは隣接フレームとの時間相関が強いと判断し、
ｌ^* _t,x,y ＝ｌ_t-1,x,y
という予測値を用いる。

一方、上式を満たさない場合は、現ブロックは隣接フレームとの時間相関が弱いと判断し、
ｌ^* _t,x,y ＝ｍｅｄ（ｌ_t,x-8,y ，ｌ_t,x,y-8 ，ｌ_t,x-8,y-8 ）
という予測値を用いる。

〔３〕第１の発明の詳細な構成
図９に、第１の発明を実現する本発明の符号化ストリーム再符号化装置の装置構成の一実施例を図示する。

この図に示すように、第１の発明を実現するために、本発明の符号化ストリーム再符号化装置は、ＪＰＥＧ符号化ストリーム解析部１０と、非直流成分ＪＰＥＧ符号化ストリーム記憶部１１と、ＤＣＴ直流成分符号化データ記憶部１２と、ＤＣＴ直流成分復号部１３と、ＤＣＴ直流成分復号値記憶部１４と、ＤＣＴ係数フレーム生成部１５と、ＤＣＴ係数フレーム記憶部１６と、動画像可逆符号化部１７と、ＤＣＴ直流成分符号化ストリーム記憶部１８と、多重化処理部１９とを備える。

このＪＰＥＧ符号化ストリーム解析部１０は、ＪＰＥＧ符号化ストリームを入力として、その入力したＪＰＥＧ符号化ストリーム内のデータをＤＣＴ直流成分の符号化データと非直流成分ＪＰＥＧ符号化ストリームとに分類し、ＤＣＴ直流成分の符号化データについてはＤＣＴ直流成分符号化データ記憶部１２に書き出し、それ以外の非直流成分ＪＰＥＧ符号化ストリームについては非直流成分ＪＰＥＧ符号化ストリーム記憶部１１に書き出すという処理を行う。

ＤＣＴ直流成分復号部１３は、ＤＣＴ直流成分符号化データ記憶部１２から読み出したＤＣＴ直流成分の符号化データを入力として、ＪＰＥＧで規定された復号処理（エントロピ復号、および逆量子化）に基づいて直流成分の予測残差を復号し、その復号した予測残差信号と周辺ブロックの直流成分の復号値を用いて生成した予測値とを加算することで直流成分の復号値を得て、それをＤＣＴ直流成分復号値記憶部１４に書き出すという処理を行う。

ＤＣＴ係数フレーム生成部１５は、ＤＣＴ直流成分復号値記憶部１４から読み出したＤＣＴ直流成分を入力として、フレーム毎にそのＤＣＴ直流成分を２次元データ（ＤＣＴ係数フレーム）として再構成し、その再構成したＤＣＴ係数フレームをＤＣＴ係数フレーム記憶部１６に書き出すという処理を行う。ここで、ＤＣＴ係数フレームの具体的な生成方法については、前述した“〔１−２〕ＤＣＴ直流成分の符号化”で説明した方法により行う。

動画像可逆符号化部１７は、ＤＣＴ係数フレーム記憶部１６から読み出したＤＣＴ係数フレームを入力として、それを時系列データとみなして動画像可逆符号化（例えば、ＡＶＣのlossless mode)による符号化処理を行い、生成した符号化ストリーム（ＤＣＴ直流成分符号化ストリーム）をＤＣＴ直流成分符号化ストリーム記憶部１８に書き出すという処理を行う。

多重化処理部１９は、ＤＣＴ直流成分符号化ストリーム記憶部１８から読み出したＤＣＴ直流成分符号化ストリームと、非直流成分ＪＰＥＧ符号化ストリーム記憶部１１から読み出した非直流成分ＪＰＥＧ符号化ストリームとを入力として、例えば、非直流成分ＪＰＥＧ符号化ストリームの位置を示すヘッダ情報、ＤＣＴ直流成分符号化ストリーム、非直流成分ＪＰＥＧ符号化ストリームの順で単一の符号化ストリームとして多重化する処理を行い、多重化後のストリームを出力するという処理を行う。

図１０に、図９のように構成される本発明の符号化ストリーム再符号化装置の実行する処理フローの一実施例を図示する。

次に、この処理フローに従って、図９のように構成される本発明の符号化ストリーム再符号化装置の実行する処理について詳細に説明する。

図９のように構成される本発明の符号化ストリーム再符号化装置は、先ず最初に、ステップＳ１０で、ＪＰＥＧ符号化ストリームを入力すると、続くステップＳ１１で、処理対象となるフレームを選択する。

このようにして処理対象となるフレームを選択すると、その選択したフレーム内の全てのブロックについてステップＳ１２〜１６の処理を実行する。

すなわち、ステップＳ１２で、ＤＣＴ直流成分に対する符号化データであるか否かの判断を行い、ＤＣＴ直流成分に対する符号化データであることを判断する場合には、ステップＳ１３に進んで、そのＤＣＴ直流成分の符号化データを処理対象として、ＪＰＥＧで規定された復号処理（エントロピ復号、および逆量子化）に基づき、直流成分の予測残差を復号して、それをレジスタに書き出す。

続いて、ステップＳ１４で、復号済みの近傍ブロックにおけるＤＣＴ直流成分を処理対象として、ＪＰＥＧで規定された復号処理に基づき、ＤＣＴ直流成分の予測値を生成して、それをレジスタに書き出す。

続いて、ステップＳ１５で、ステップＳ１３の処理で得た予測残差と、ステップＳ１４の処理で得た予測値とを加算することで、ＤＣＴ直流成分に対する復号値を生成して、それをレジスタに書き出す。

続いて、ステップＳ１７で、ステップＳ１１で選択したフレーム内の全てのブロックについて処理を行ったのか否かを判断して、全てのブロックについて処理を行っていないことを判断するときには、ステップＳ１２の処理に戻る。

一方、ステップＳ１２の判断処理に従って、ＤＣＴ直流成分に対する符号化データではないことを判断する場合には、ステップＳ１６に進んで、その符号化データを非直流成分ＪＰＥＧ符号化ストリームとして、そのままレジスタに書き出してから、ステップＳ１７に進んで、全てのブロックについて処理を行ったのか否かを判断して、全てのブロックについて処理を行っていないことを判断するときには、ステップＳ１２の処理に戻る。

このようにして、ステップＳ１２〜１７の処理を繰り返していくことで、ステップＳ１７で、ステップＳ１１で選択したフレーム内の全てのブロックについて処理を行ったことを判断するときには、ステップＳ１８に進んで、ステップＳ１１で選択したフレームのＤＣＴ直流成分を処理対象として、２次元データ（ＤＣＴ係数フレーム）として再構成し、ＤＣＴ係数フレームとしてレジスタに書き出す。ここで、ＤＣＴ係数フレームの具体的な生成方法については、前述した“〔１−２〕ＤＣＴ直流成分の符号化”で説明した方法により行う。

続いて、ステップＳ１９で、入力したＪＰＥＧ符号化ストリームの全てのフレームについて処理を行ったのか否かを判断して、全てのフレームについて処理を行っていないことを判断するときには、ステップＳ１１の処理に戻る。

一方、ステップＳ１９の判断処理に従って、入力したＪＰＥＧ符号化ストリームの全てのフレームについて処理を行ったことを判断するときには、ステップＳ２０に進んで、作成したＤＣＴ係数フレームを処理対象として、それを時系列データとみなして動画像可逆符号化（例えば、ＡＶＣのlossless mode)による符号化処理を行い、得られた符号化ストリームをＤＣＴ直流成分符号化ストリームとして、レジスタに書き出す。

続いて、ステップＳ２１で、作成した全てのＤＣＴ係数フレームについて処理を行ったのか否かを判断して、全てのＤＣＴ係数フレームについて処理を行っていないことを判断するときには、ステップＳ２０の処理に戻って、ＤＣＴ係数フレームに対して動画像可逆符号化による符号化処理を行う。

一方、ステップＳ２１の判断処理に従って、作成した全てのＤＣＴ係数フレームについて処理を行ったことを判断するときには、ステップＳ２２に進んで、ステップＳ１６の処理で得た非直流成分ＪＰＥＧ符号化ストリームと、ステップＳ２０の処理で得たＤＣＴ直流成分符号化ストリームとを多重化処理対象として、例えば、再符号化ストリームにおける非直流成分ＪＰＥＧ符号化ストリームの位置を示すヘッダ情報、ＤＣＴ直流成分符号化ストリーム、非直流成分ＪＰＥＧ符号化ストリームの順で単一の符号化ストリームとして多重化する処理を行い、多重化後のストリームを出力して、処理を終了する。

このようにして、図９のように構成される本発明の符号化ストリーム再符号化装置では、図４に示すように、直流成分のＤＣＴ係数に基づいてＤＣＴ係数フレームを生成して、図６に示すように、ＤＣＴ係数フレームについては、各フレーム毎に動画像可逆符号化方式を用いて符号化を行い、ＤＣＴ交流成分については、ＪＰＥＧ符号化により得られた符号化データをそのまま流用して、それらの符号化データを多重化することで再符号化ストリームを生成するように処理するのである。

〔４〕第２の発明の詳細な構成
図１１に、第２の発明を実現する本発明の符号化ストリーム再符号化装置の装置構成の一実施例を図示する。

この図に示すように、第２の発明を実現するために、本発明の符号化ストリーム再符号化装置は、ＤＣＴ係数復号部２０と、復号ＤＣＴ係数記憶部２１と、ＤＣＴ係数分類部２２と、分類閾値記憶部２３と、ＤＣＴ低域成分記憶部２４と、ＤＣＴ係数フレーム生成部２５と、ＤＣＴ係数フレーム記憶部２６と、動画像可逆符号化部２７と、ＤＣＴ低域成分符号化ストリーム記憶部２８と、ＤＣＴ高域成分記憶部２９と、ランレングス符号化部３０と、ＤＣＴ高域成分符号化ストリーム記憶部３１と、多重化処理部３２とを備える。

このＤＣＴ係数復号部２０は、ＪＰＥＧ符号化ストリームを入力として、ＪＰＥＧで規定された復号処理に従い、ＤＣＴ係数を復号する処理を行い、復号したＤＣＴ係数を復号ＤＣＴ係数記憶部２１に書き出すという処理を行う。

ＤＣＴ係数分類部２２は、分類閾値記憶部２３から読み出した閾値と、復号ＤＣＴ係数記憶部２１から読み出したＤＣＴ係数とを入力として、その閾値に基づいて、そのＤＣＴ係数を低域成分と高域成分とに分類して、低域成分についてはＤＣＴ低域成分記憶部２４に書き出し、高域成分についてはＤＣＴ高域成分記憶部２９に書き出すという処理を行う。ここで、ＤＣＴ係数の具体的な分類方法については、前述した“〔２−２〕ＤＣＴ係数の分類”で説明した方法により行う。

ＤＣＴ係数フレーム生成部２５は、ＤＣＴ低域成分記憶部２４から読み出したＤＣＴ低域成分を入力として、フレーム毎に各成分を２次元データ（ＤＣＴ係数フレーム）として再構成し、その再構成したＤＣＴ係数フレームをＤＣＴ係数フレーム記憶部２６に書き出すという処理を行う。ここで、ＤＣＴ係数フレームの具体的な生成方法については、前述した“〔２−３〕ＤＣＴ低域成分の符号化”で説明した方法により行う。

動画像可逆符号化部２７は、ＤＣＴ係数フレーム記憶部２６から読み出したＤＣＴ係数フレームを入力として、各成分毎に時系列データとみなして動画像可逆符号化（例えば、ＡＶＣのlossless mode)による符号化処理を行い、生成した符号化ストリーム（ＤＣＴ低域成分符号化ストリーム）をＤＣＴ低域成分符号化ストリーム記憶部２８に書き出すという処理を行う。

ランレングス符号化部３０は、ＤＣＴ高域成分記憶部２９から読み出したＤＣＴ係数の高域成分を入力として、各ブロックに含まれる成分についてランレングス符号化に基づく符号化処理を行い、生成した符号化ストリーム（ＤＣＴ高域成分符号化ストリーム）をＤＣＴ高域成分符号化ストリーム記憶部３１に書き出すという処理を行う。ここで、ＤＣＴ高域成分の具体的な符号化方法については、前述した“〔２−４〕ＤＣＴ高域成分の符号化”で説明した方法により行う。

多重化処理部３２は、ＤＣＴ低域成分符号化ストリーム記憶部２８から読み出したＤＣＴ低域成分符号化ストリームと、ＤＣＴ高域成分符号化ストリーム記憶部３１から読み出したＤＣＴ高域成分符号化ストリームとを入力として、例えば、ＤＣＴ高域成分符号化ストリームの位置を示すヘッダ情報、ＤＣＴ低域成分符号化ストリーム、ＤＣＴ高域成分符号化ストリームの順で単一の符号化ストリームとして多重化する処理を行い、多重化後のストリームを出力するという処理を行う。

図１２に、図１１のように構成される本発明の符号化ストリーム再符号化装置の実行する処理フローの一実施例を図示する。

次に、この処理フローに従って、図１１のように構成される本発明の符号化ストリーム再符号化装置の実行する処理について詳細に説明する。

図１１のように構成される本発明の符号化ストリーム再符号化装置は、先ず最初に、ステップＳ３０で、ＪＰＥＧ符号化ストリームを入力すると、続くステップＳ３１で、ＪＰＥＧで規定された復号処理に従ってＤＣＴ係数を復号する処理を行い、復号したＤＣＴ係数をレジスタに書き出す。

続いて、ステップＳ３２で、分類閾値記憶部２３からＤＣＴ係数の分類処理で用いる分類閾値Ｎを読み込み、それをレジスタに書き出す。続いて、ステップＳ３３で、処理対象となるフレームを選択する。

このようにして処理対象となるフレームを選択すると、その選択したフレーム内の全てのブロックについてステップＳ３４〜３７の処理を実行する。

すなわち、ステップＳ３４で、復号したＤＣＴ係数と読み込んだ分類閾値Ｎとに基づいて、各ブロック内でジグザグ走査順に格納されたＤＣＴ係数の先頭からＮ個目までのＤＣＴ係数を特定して、それらのＤＣＴ係数に対しては、ステップＳ３５に進んで、ＤＣＴ低域成分としてレジスタに書き出し、それ以外の係数に対しては、ステップＳ３６に進んで、ＤＣＴ高域成分としてレジスタに書き出す。

ステップＳ３５でＤＣＴ低域成分をレジスタに書き出すと、ステップＳ３８に進んで、ステップＳ３３で選択したフレーム内の全てのブロックについて処理を行ったのか否かを判断して、全てのブロックについて処理を行っていないことを判断するときには、ステップＳ３４の処理に戻る。

一方、ステップＳ３６でＤＣＴ高域成分をレジスタに書き出すと、ステップＳ３７に進んで、ＤＣＴ高域成分を処理対象として、各ブロックに含まれる成分についてランレングス符号化に基づく符号化処理を行い、生成した符号化ストリームをＤＣＴ高域成分符号化ストリームとして、レジスタに書き出す。ここで、ＤＣＴ高域成分の具体的な符号化方法については、前述した“〔２−４〕ＤＣＴ高域成分の符号化”で説明した方法により行う。

続いて、ステップＳ３８で、ステップＳ３３で選択したフレーム内の全てのブロックについて処理を行ったのか否かを判断して、全てのブロックについて処理を行っていないことを判断するときには、ステップＳ３４の処理に戻る。

このようにして、ステップＳ３４〜３８の処理を繰り返していくことで、ステップＳ３８で、ステップＳ３３で選択したフレーム内の全てのブロックについて処理を行ったことを判断するときには、ステップＳ３９に進んで、ステップＳ３３で選択したフレームのＤＣＴ低域成分を処理対象として、成分毎に２次元データ（ＤＣＴ係数フレーム）として再構成し、ＤＣＴ係数フレームとしてレジスタに書き出す。ここで、ＤＣＴ係数フレームの具体的な生成方法については、前述した“〔２−３〕ＤＣＴ低域成分の符号化”で説明した方法により行う。

続いて、ステップＳ４０で、入力したＪＰＥＧ符号化ストリームの全てのフレームについて処理を行ったのか否かを判断して、全てのフレームについて処理を行っていないことを判断するときには、ステップＳ３３の処理に戻る。

一方、ステップＳ４０の判断処理に従って、入力したＪＰＥＧ符号化ストリームの全てのフレームについて処理を行ったことを判断するときには、ステップＳ４１に進んで、作成したＤＣＴ係数フレームを処理対象として、それを時系列データとみなして動画像可逆符号化（例えば、ＡＶＣのlossless mode)による符号化処理を行い、得られた符号化ストリームをＤＣＴ低域成分符号化ストリームとして、レジスタに書き出す。

続いて、ステップＳ４２で、作成した全てのＤＣＴ係数フレームについて処理を行ったのか否かを判断して、全てのＤＣＴ係数フレームについて処理を行っていないことを判断するときには、ステップＳ４１の処理に戻って、ＤＣＴ係数フレームに対して動画像可逆符号化による符号化処理を行う。

一方、ステップＳ４２の判断処理に従って、作成した全てのＤＣＴ係数フレームについて処理を行ったことを判断するときには、ステップＳ４３に進んで、ステップＳ３７の処理で得たＤＣＴ高域成分符号化ストリームと、ステップＳ４１の処理で得たＤＣＴ低域成分符号化ストリームとを多重化処理対象として、例えば、再符号化ストリームにおけるＤＣＴ高域成分符号化ストリームの位置を示すヘッダ情報、ＤＣＴ低域成分符号化ストリーム、ＤＣＴ高域成分符号化ストリームの順で単一の符号化ストリームとして多重化する処理を行い、多重化後のストリームを出力して、処理を終了する。

このようにして、図１１のように構成される本発明の符号化ストリーム再符号化装置では、図５に示すように、低域成分のＤＣＴ係数に基づいてＤＣＴ係数フレームを生成して、図７に示すように、ＤＣＴ係数フレームについては、各フレーム毎に動画像可逆符号化方式を用いて符号化を行い、ＤＣＴ高域成分については、ランレングス符号化を用いてＤＣＴ係数の符号化して、それらの符号化データを多重化することで再符号化ストリームを生成するように処理するのである。

〔Ｂ〕ＪＰＥＧ符号化ストリームを復元する本発明の構成
〔１〕第１の発明により生成された再符号化ストリームを処理する本発明の構成
図１３に、第１の発明により生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元するという処理を行う本発明の符号化ストリーム復元装置の装置構成の一実施例を図示する。

この図に示すように、第１の発明により生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元するという処理を行う本発明の符号化ストリーム復元装置は、分離処理部４０と、非直流成分ＪＰＥＧ符号化ストリーム記憶部４１と、ＤＣＴ直流成分符号化ストリーム記憶部４２と、動画像可逆復号部４３と、ＤＣＴ係数フレーム記憶部４４と、ＤＣＴ係数フレーム分解部４５と、ＤＣＴ直流成分記憶部４６と、ＤＣＴ直流成分符号化部４７と、ＤＣＴ直流成分符号化データ記憶部４８と、ＪＰＦＧ符号化ストリーム復元部４９とを備える。

この分離処理部４０は、図９に示す多重化処理部１９の逆変換処理を実行するものであり、処理対象となる再符号化ストリームを入力として、その入力した再符号化ストリームを非直流成分ＪＰＥＧ符号化ストリームとＤＣＴ直流成分符号化ストリームとに分離して、非直流成分ＪＰＥＧ符号化ストリームについては非直流成分ＪＰＥＧ符号化ストリーム記憶部４１に書き出し、ＤＣＴ直流成分符号化ストリームについてはＤＣＴ直流成分符号化ストリーム記憶部４２に書き出すという処理を行う。

動画像可逆復号部４３は、図９に示す動画像可逆符号化部１７の逆変換処理を実行するものであり、ＤＣＴ直流成分符号化ストリーム記憶部４２から読み出したＤＣＴ直流成分符号化ストリームを入力として、その入力したＤＣＴ直流成分符号化ストリームを、動画像可逆符号化方式の規定する復号処理に基づいて復号することでＤＣＴ係数フレームの時系列データを生成して、それをＤＣＴ係数フレーム記憶部４４に書き出すという処理を行う。

ＤＣＴ係数フレーム分解部４５は、図９に示すＤＣＴ係数フレーム生成部１５の逆変換処理を実行するものであり、ＤＣＴ係数フレーム記憶部４４から読み出したＤＣＴ係数フレームを入力として、その入力したＤＣＴ係数フレームを分解することでＤＣＴ直流成分を抽出して、それをＤＣＴ直流成分記憶部４６に書き出すという処理を行う。

ＤＣＴ直流成分符号化部４７は、図９に示すＤＣＴ直流成分復号部１３の逆変換処理を実行するものであり、ＤＣＴ直流成分記憶部４６から読み出したＤＣＴ直流成分を入力として、そのＤＣＴ直流成分を、ＪＰＥＧの規定する符号化処理に基づいて符号化することでＤＣＴ直流成分符号化データを生成して、それをＤＣＴ直流成分符号化データ記憶部４８に書き出すという処理を行う。

ＪＰＦＧ符号化ストリーム復元部４９は、図９に示すＪＰＦＧ符号化ストリーム解析部１０の逆変換処理を実行するものであり、非直流成分ＪＰＥＧ符号化ストリーム記憶部４１から読み出した非直流成分ＪＰＥＧ符号化ストリームと、ＤＣＴ直流成分符号化データ記憶部４８から読み出したＤＣＴ直流成分符号化データとを入力として、それらを多重化することでＪＰＥＧ符号化ストリームを復元するという処理を行う。

このように構成される本発明の符号化ストリーム復元装置では、処理対象となる再符号化ストリームを入力すると、その入力した再符号化ストリームを非直流成分ＪＰＥＧ符号化ストリームとＤＣＴ直流成分符号化ストリームとに分離する。

続いて、ＤＣＴ直流成分符号化ストリームについては、第１の発明で用いた動画像可逆符号化方式の規定する復号処理に基づいて復号することでＤＣＴ係数フレームを生成し、それを分解することでＤＣＴ直流成分を抽出する。そして、その抽出したＤＣＴ直流成分を、ＪＰＥＧの規定する符号化処理に基づいて符号化することでＤＣＴ直流成分符号化データを生成する。

一方、非直流成分ＪＰＥＧ符号化ストリームについては、何の変換処理も施さないようにする。

そして、最後に、生成したＤＣＴ直流成分符号化データと処理対象の再符号化ストリームから得た非直流成分ＪＰＥＧ符号化ストリームとを多重化することでＪＰＥＧ符号化ストリームを復元して出力する。

このようにして、図１３に示す本発明の符号化ストリーム復元装置は、図９に示す本発明の符号化ストリーム再符号化装置の逆変換処理を実行することで、図９に示す本発明の符号化ストリーム再符号化装置が生成した再符号化ストリームを処理対象として、その再符号化ストリームの生成元となったＪＰＥＧ符号化ストリームを復元するように処理するのである。

〔２〕第２の発明により生成された再符号化ストリームを処理する本発明の構成
図１４に、第２の発明により生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元するという処理を行う本発明の符号化ストリーム復元装置の装置構成の一実施例を図示する。

この図に示すように、第２の発明により生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元するという処理を行う本発明の符号化ストリーム復元装置は、分離処理部５０と、ＤＣＴ低域成分符号化ストリーム記憶部５１と、ＤＣＴ高域成分符号化ストリーム記憶部５２と、ランレングス復号部５３と、ＤＣＴ高域成分記憶部５４と、動画像可逆復号部５５と、ＤＣＴ係数フレーム記憶部５６と、ＤＣＴ係数フレーム分解部５７と、ＤＣＴ低域成分記憶部５８と、ＤＣＴ係数統合部５９と、ＤＣＴ係数記憶部６０と、ＤＣＴ係数符号化部６１とを備える。

この分離処理部５０は、図１１に示す多重化処理部３２の逆変換処理を実行するものであり、処理対象となる再符号化ストリームを入力として、その入力した再符号化ストリームをＤＣＴ低域成分符号化ストリームとＤＣＴ高域成分符号化ストリームとに分離して、ＤＣＴ低域成分符号化ストリームについてはＤＣＴ低域成分符号化ストリーム記憶部５１に書き出し、ＤＣＴ高域成分符号化ストリームについてはＤＣＴ高域成分符号化ストリーム記憶部５２に書き出すという処理を行う。

ランレングス復号部５３は、図１１に示すランレングス符号化部３０の逆変換処理を実行するものであり、ＤＣＴ高域成分符号化ストリーム記憶部５２から読み出したＤＣＴ高域成分符号化ストリームを入力として、その入力したＤＣＴ高域成分符号化ストリームを、ランレングス符号化方式の規定する復号処理に基づいて復号することでＤＣＴ高域成分を復号して、それをＤＣＴ高域成分記憶部５４に書き出すという処理を行う。

動画像可逆復号部５５は、図１１に示す動画像可逆符号化部２７の逆変換処理を実行するものであり、ＤＣＴ低域成分符号化ストリーム記憶部５１から読み出したＤＣＴ低域成分符号化ストリームを入力として、その入力したＤＣＴ低域成分符号化ストリームを、動画像可逆符号化方式の規定する復号処理に基づいて復号することでＤＣＴ係数フレームの時系列データを生成して、それをＤＣＴ係数フレーム記憶部５６に書き出すという処理を行う。

ＤＣＴ係数フレーム分解部５７は、図１１に示すＤＣＴ係数フレーム生成部２５の逆変換処理を実行するものであり、ＤＣＴ係数フレーム記憶部５６から読み出したＤＣＴ係数フレームを入力として、その入力したＤＣＴ係数フレームを分解することでＤＣＴ低域成分を抽出して、それをＤＣＴ低域成分記憶部５８に書き出すという処理を行う。

ＤＣＴ係数統合部５９は、図１１に示すＤＣＴ係数分類部２２の逆変換処理を実行するものであり、ＤＣＴ低域成分記憶部５８から読み出したＤＣＴ低域成分と、ＤＣＴ高域成分記憶部５４から読み出したＤＣＴ高域成分とを入力として、それらのＤＣＴ係数をＪＰＥＧの規定するジグザグ走査の形態に従って並べることで統合して、ＤＣＴ係数記憶部６０に書き出すという処理を行う。

ＤＣＴ係数符号化部６１は、図１１に示すＤＣＴ係数復号部２０の逆変換処理を実行するものであり、ＤＣＴ係数記憶部６０から読み出したＤＣＴ係数を入力として、その入力したＤＣＴ係数を、ＪＰＥＧの規定する符号化処理に基づいて符号化することでＪＰＥＧ符号化ストリームを復元するという処理を行う。

このように構成される本発明の符号化ストリーム復元装置では、処理対象となる再符号化ストリームを入力すると、その入力した再符号化ストリームをＤＣＴ低域成分符号化ストリームとＤＣＴ高域成分符号化ストリームとに分離する。

続いて、ＤＣＴ低域成分符号化ストリームについては、第１の発明で用いた動画像可逆符号化方式の規定する復号処理に基づいて復号することでＤＣＴ係数フレームを生成し、それを分解することでＤＣＴ低域成分を抽出する。

一方、ＤＣＴ高域成分符号化ストリームについては、第２の発明で用いたランレングス符号化方式の規定する復号処理に基づいて復号することでＤＣＴ高域成分を生成する。

そして、このようにして得たＤＣＴ低域成分とＤＣＴ高域成分とを統合して、それらのＤＣＴ係数を、ＪＰＥＧの規定する符号化処理に基づいて符号化することでＪＰＥＧ符号化ストリームを復元して出力する。

このようにして、図１４に示す本発明の符号化ストリーム復元装置は、図１１に示す本発明の符号化ストリーム再符号化装置の逆変換処理を実行することで、図１１に示す本発明の符号化ストリーム再符号化装置が生成した再符号化ストリームを処理対象として、その再符号化ストリームの生成元となったＪＰＥＧ符号化ストリームを復元するように処理するのである。

図示実施形態例及び実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例及び実施例では、ＪＰＥＧ符号化ストリームを再符号化対象とすることを具体例にして本発明を説明したが、本発明は、ＪＰＥＧ以外の静止画像符号化方式により生成された符号化ストリームを再符号化対象とする場合にも、そのまま適用できるものである。

ＪＰＥＧ符号化器の装置構成図である。 ＪＰＥＧ符号化器の行うジグザグ走査の説明図である。 ＪＰＥＧ復号器の装置構成図である。 第１の発明で定義するＤＣＴ係数フレームの説明図である。 第２の発明で定義するＤＣＴ係数フレームの説明図である。 第１の発明で行う符号化処理の説明図である。 第２の発明で行う符号化処理の説明図である。 ＪＰＥＧ符号化ストリームと再符号化ストリームの関係を説明する説明図である。 第１の発明を実現する本発明の符号化ストリーム再符号化装置の装置構成の一実施例である。 第１の発明を実現する本発明の符号化ストリーム再符号化装置の実行する処理フローの一実施例である。 第２の発明を実現する本発明の符号化ストリーム再符号化装置の装置構成の一実施例である。 第２の発明を実現する本発明の符号化ストリーム再符号化装置の実行する処理フローの一実施例である。 第１の発明で生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元する本発明の符号化ストリーム復元装置の装置構成の一実施例である。 第２の発明で生成された再符号化ストリームを処理対象としてＪＰＥＧ符号化ストリームを復元する本発明の符号化ストリーム復元装置の装置構成の一実施例である。 従来技術の問題を解決するために検討されているシステムの説明図である。

符号の説明

１０ ＪＰＥＧ符号化ストリーム解析部
１１ 非直流成分ＪＰＥＧ符号化ストリーム記憶部
１２ ＤＣＴ直流成分符号化データ記憶部
１３ ＤＣＴ直流成分復号部
１４ ＤＣＴ直流成分復号値記憶部
１５ ＤＣＴ係数フレーム生成部
１６ ＤＣＴ係数フレーム記憶部
１７ 動画像可逆符号化部
１８ ＤＣＴ直流成分符号化ストリーム記憶部
１９ 多重化処理部

Claims (16)

1. 動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力として、その符号化ストリームに残存する冗長性を抑圧して再符号化する符号化ストリーム再符号化方法であって、
   前記入力した符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号する過程と、
   前記復号した直交変換係数の前記特定の成分をフレーム毎に抽出して、前記特定の成分のみからなる２次元データを各フレーム毎に生成する過程と、
   前記生成した２次元データの時系列データを、時間方向の相関および空間方向の相関を利用する動画像可逆符号化方式により符号化することで符号化ストリームを生成する過程と、
   前記２次元データに基づいて生成した符号化ストリームと、前記特定の成分以外の成分についての符号化ストリームとを多重化する過程とを備えることを、
   特徴とする符号化ストリーム再符号化方法。
2. 請求項１に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記特定の成分が直流成分である場合には、前記特定の成分以外の成分についての符号化ストリームとして、前記入力した符号化ストリームの持つ交流成分の符号化ストリームをそのまま用いることを、
   特徴とする符号化ストリーム再符号化方法。
3. 請求項１に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記特定の成分が直流成分である場合には、前記特定の成分以外の成分についての符号化ストリームとして、前記直交変換係数に含まれる交流成分の直交変換係数をランレングス符号化することで生成されるものを用いることを、
   特徴とする符号化ストリーム再符号化方法。
4. 請求項１に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記特定の成分が交流成分を含む場合には、前記特定の成分以外の成分についての符号化ストリームとして、前記入力した符号化ストリームの持つそれらの成分の符号化ストリームをそのまま用いることを、
   特徴とする符号化ストリーム再符号化方法。
5. 請求項１に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記特定の成分が交流成分を含む場合には、前記特定の成分以外の成分についての符号化ストリームとして、前記直交変換係数に含まれるそれらの成分の直交変換係数をランレングス符号化することで生成されるものを用いることを、
   特徴とする符号化ストリーム再符号化方法。
6. 請求項１ないし５のいずれか１項に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記２次元データに基づいて生成した符号化ストリームと、前記特定の成分以外の成分についての符号化ストリームとを多重化する際に、後者の符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、前者の符号化ストリーム、後者の符号化ストリームの順で配置することを、
   特徴とする符号化ストリーム再符号化方法。
7. 請求項１ないし５のいずれか１項に記載の符号化ストリーム再符号化方法において、
   前記多重化する過程では、前記２次元データに基づいて生成した符号化ストリームと、前記特定の成分以外の成分についての符号化ストリームとを多重化する際に、前者の符号化ストリームの開始位置を示すヘッダ情報を先頭に配置し、それに続けて、後者の符号化ストリーム、前者の符号化ストリームの順で配置することを、
   特徴とする符号化ストリーム再符号化方法。
8. 動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを入力として、その符号化ストリームに残存する冗長性を抑圧して再符号化する符号化ストリーム再符号化装置であって、
   前記入力した符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号する手段と、
   前記復号した直交変換係数の前記特定の成分をフレーム毎に抽出して、前記特定の成分のみからなる２次元データを各フレーム毎に生成する手段と、
   前記生成した２次元データの時系列データを、時間方向の相関および空間方向の相関を利用する動画像可逆符号化方式により符号化することで符号化ストリームを生成する手段と、
   前記２次元データに基づいて生成した符号化ストリームと、前記特定の成分以外の成分についての符号化ストリームとを多重化する手段とを備えることを、
   特徴とする符号化ストリーム再符号化装置。
9. 動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号し、その復号した直交変換係数の特定の成分をフレーム毎に抽出して、その特定の成分のみからなる２次元データを各フレーム毎に生成し、その生成した２次元データの時系列データを、時間方向の相関および空間方向の相関を利用する動画像可逆符号化方式により符号化することで第１の符号化ストリームを生成して、その生成した第１の符号化ストリームと特定の成分以外の成分についての第２の符号化ストリームとを多重化することで生成された再符号化ストリームを処理対象として、その再符号化ストリームの生成元となった符号化ストリームを復元する符号化ストリーム復元方法であって、
   前記再符号化ストリームから、前記第１の符号化ストリームと前記第２の符号化ストリームとを分離する過程と、
   前記分離した第２の符号化ストリームに基づいて、前記再符号化ストリームの生成元となった符号化ストリームの持つ前記特定の成分以外の成分についての再符号化処理前の符号化ストリームを得る過程と、
   前記分離した第１の符号化ストリームを前記動画像可逆符号化方式の規定する復号処理に基づいて復号することで前記２次元データの時系列データを復号し、その復号した２次元データに基づいて、前記再符号化ストリームの生成元となった符号化ストリームの持つ前記特定の成分についての再符号化処理前の符号化データを得る過程と、
   前記再符号化処理前の符号化ストリームと前記再符号化処理前の符号化データとを多重化することで、前記再符号化ストリームの生成元となった符号化ストリームを復元する過程とを備えることを、
   特徴とする符号化ストリーム復元方法。
10. 請求項９に記載の符号化ストリーム復元方法において、
    前記再符号化処理前の符号化ストリームを得る過程では、前記分離した第２の符号化ストリームをそのまま用いることで前記再符号化処理前の符号化ストリームを得ることを、
    特徴とする符号化ストリーム復元方法。
11. 請求項９に記載の符号化ストリーム復元方法において、
    前記再符号化処理前の符号化ストリームを得る過程では、前記分離した第２の符号化ストリームをランレングス符号化の規定する復号処理に基づいて復号することで前記再符号化処理前の符号化ストリームを得ることを、
    特徴とする符号化ストリーム復元方法。
12. 動画像を構成する１つ１つのフレームが直交変換を用いる静止画像の符号化方式により符号化されることで生成された符号化ストリームを復号することで、特定の成分あるいはその特定の成分を含む全ての成分の直交変換係数を復号し、その復号した直交変換係数の特定の成分をフレーム毎に抽出して、その特定の成分のみからなる２次元データを各フレーム毎に生成し、その生成した２次元データの時系列データを、時間方向の相関および空間方向の相関を利用する動画像可逆符号化方式により符号化することで第１の符号化ストリームを生成して、その生成した第１の符号化ストリームと特定の成分以外の成分についての第２の符号化ストリームとを多重化することで生成された再符号化ストリームを処理対象として、その再符号化ストリームの生成元となった符号化ストリームを復元する符号化ストリーム復元装置であって、
    前記再符号化ストリームから、前記第１の符号化ストリームと前記第２の符号化ストリームとを分離する手段と、
    前記分離した第２の符号化ストリームに基づいて、前記再符号化ストリームの生成元となった符号化ストリームの持つ前記特定の成分以外の成分についての再符号化処理前の符号化ストリームを得る手段と、
    前記分離した第１の符号化ストリームを前記動画像可逆符号化方式の規定する復号処理に基づいて復号することで前記２次元データの時系列データを復号し、その復号した２次元データに基づいて、前記再符号化ストリームの生成元となった符号化ストリームの持つ前記特定の成分についての再符号化処理前の符号化データを得る手段と、
    前記再符号化処理前の符号化ストリームと前記再符号化処理前の符号化データとを多重化することで、前記再符号化ストリームの生成元となった符号化ストリームを復元する手段とを備えることを、
    特徴とする符号化ストリーム復元装置。
13. 請求項１ないし７のいずれか１項に記載の符号化ストリーム再符号化方法の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム再符号化プログラム。
14. 請求項１ないし７のいずれか１項に記載の符号化ストリーム再符号化方法の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム再符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 請求項９ないし１１のいずれか１項に記載の符号化ストリーム復元方法の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム復元プログラム。
16. 請求項９ないし１１のいずれか１項に記載の符号化ストリーム復元方法の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム復元プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images