JP4265642B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、高フレームレートの動画像を容易に可変再生することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。

従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたMPEG（Moving Picture Experts Group）方式やJPEG（Joint Photographic Experts Group）方式等がある。

MPEG方式の中でMPEG-２と呼ばれる方式は、現在我々が慣れ親しんでいるBS（Broadcasting Satellite）デジタル放送で、HDTV（High Definition Television）のインターレース動画像を圧縮するのに使われている。また、DVD（Digital Versatile Disc）メディアに記録されて販売されるコンテンツもこのMPEG-２方式により圧縮符号化されている。

TV（Television）信号は１秒間に３０フレーム（６０フィールド）の画像から構成されているが、この程度の画像数だと高速の動物体に対する再現性が悪いことが指摘されている。そのため、近年においては、その数倍、例えば１２０フレーム/秒〜２４０フレーム/秒といった高フレームレートの動画像を扱う必要性が高まっている。

しかしながら、フレームレートが数倍になると、その分データレートが高くなるので、符号化処理を遅延無く即時的に（リアルタイムに）行うことが困難になり、特に、フレーム間圧縮を用いるMPEG方式によりリアルタイムに符号化を行うことができるハードウェアの実現が、コスト等の問題から事実上不可能になる恐れがあった。

このような問題を回避するために、イントラ符号化系のコーデックを複数個配列して、時分割で圧縮符号化を行うようにする方法がある（例えば、特許文献１参照）。

特許文献１においては、525/60P（水平解像度が５２５本で、フレームレートが６０フレーム/秒のプログレッシブ動画像）や1080/60P（水平解像度が１０８０本で、フレームレートが６０フレーム/秒のプログレッシブ動画像）等の動画像を、高能率に符号化するために、２フレーム毎にフレーム間の画像信号の和信号と差信号を取り、各々を符号化し、和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御する手法が開示されている。
特開２００４−１０４６９４号公報

しかしながら、特許文献１の方法では、基本的に通常（例えば６０フレーム／秒）よりも高いフレームレートのコンテンツへの適用は考慮されておらず、コンテンツのフレームレートがより高くなるほど、１つのエンコーダで符号化する場合と同様に、リアルタイムの符号化が困難になる恐れがあった。

また、圧縮符号化した高フレームレートのコンテンツを復号して再生する際においても、圧縮前のフレームレートに戻すことしかできず、再生レートや再生速度の制御を行う場合、それらの制御処理を改めて処理を行う必要があり、容易に行うことができなかった。

本発明は、このような従来の実情に鑑みて提案されたものであり、高フレームレートの動画像を容易に可変再生することができるようにする。

本発明の第１の側面は、動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号手段と、前記復号手段により復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算手段と、前記復号手段により復号されて得られる前記演算結果の一部、前記演算手段による前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合する統合手段とを備える情報処理装置である。

前記演算手段は、互いに直列に接続される複数段の演算部を有し、前記複数段の演算部の内、最初の段から、所望のフレームレートの前記動画像データが得られる段までの各演算部は、前記復号手段により復号されて得られる前記演算結果または前段の演算部において得られた複数の演算結果に対して、前記加算および前記減算を並列的に行うことができる。

前記復号手段は、前記所望のレートに応じた速度で前記コードストリームを復号することができる。
前記復号手段は、互いに並列に接続される複数の復号部により構成され、前記複数の復号部の内、前記所望のレートに応じた速度で前記コードストリームを復号するのに必要な数の前記復号部を用いて前記コードストリームを復号することができる。

前記復号手段は、前記コードストリームより量子化係数を生成するエントロピー復号手段と、前記量子化係数を変換して所定のフィルタ係数を生成する逆量子化手段と、前記フィルタ係数を逆フィルタリングし、復号画像を生成する逆フィルタリング手段とを備えることができる。

前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを、互いに独立して、それぞれ、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号することができる。

前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを統合し、統合されたコードストリーム全体を、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号することができる。

前記エントロピー復号手段は、同じビット位置の量子化係数を最低域のサブバンドから最高域のサブバンドに向かう順に生成するように、前記コードストリームを復号することができる。

前記エントロピー復号手段は、同じビット位置の量子化係数を、輝度成分のコンポーネントを色差成分のコンポーネントより先に生成するように、前記コードストリームを復号することができる。

本発明の第１の側面はまた、動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号し、復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行い、復号されて得られる前記演算結果の一部、または、前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合するステップを含む情報処理方法である。
本発明の第１の側面はさらに、コンピュータを、動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号手段、復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算手段、復号されて得られる前記演算結果の一部、または、前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合する統合手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本発明の第１の側面はまた、動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号ステップと、前記復号ステップの処理により復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算ステップと、前記復号ステップの処理により復号されて得られる前記演算結果の一部、または、前記演算ステップの処理による前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択させ、所定順に並べて統合する統合ステップとをコンピュータに実行させるプログラムである。

本発明の第２の側面は、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算手段と、前記演算手段により生成された前記複数の演算結果のそれぞれを符号化する符号化手段とを備える情報処理装置である。

前記符号化手段により前記複数の演算結果のそれぞれが符号化されて生成される複数のコードストリームを所定の記録媒体に書き込む書き込み手段をさらに備えることができる。

前記符号化手段により前記複数の演算結果のそれぞれが符号化されて生成される複数のコードストリームを他の装置に送信する送信手段をさらに備えることができる。

本発明の第２の側面はまた、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行い、前記所定回数行われた前記演算により生成された前記複数の演算結果のそれぞれを符号化するステップを含む情報処理方法である。
本発明の第２の側面はさらに、コンピュータを、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算手段、前記演算手段により生成された前記複数の演算結果のそれぞれを符号化する符号化手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本発明の第２の側面はまた、動画像データを処理するコンピュータが実行可能なプログラムであって、前記動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算ステップと、前記演算ステップの処理により前記所定回数行われた前記演算により生成された前記複数の演算結果のそれぞれを符号化する符号化ステップとをコンピュータに実行させるプログラムである。

本発明の第１の側面においては、動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームが復号され、復号されて得られる演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算が、第１の構造に応じた第２の構造で、動画像データのフレームレートを所望のレートに変換するのに必要な回数行われ、復号されて得られる演算結果の一部、または、演算の結果として得られるフレームデータの一部または全部が、所望のレートに応じて選択され、所定順に並べて統合される。

本発明の第２の側面においては、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行われ、所定回数行われた演算により生成された複数の演算結果のそれぞれが符号化される。

本発明によれば、情報を処理することができる。特に、高フレームレートの動画像の可変再生を容易に行うことができる。

以下、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システムの構成例を示すブロック図である。

図１において、画像処理システム１は、動画像データを大きな遅延無く即時的に（リアルタイムに）圧縮符号化して記録し、必要に応じて、その動画像データを大きな遅延無く即時的に（リアルタイムに）読み出して再生するシステムである。この画像処理システム１は、符号化装置１１、記録部１２、および復号装置１３を有する。

符号化装置１１は、実時間で入力される動画像データをリアルタイムに圧縮符号化する装置である。つまり、符号化装置１１は、動画像データの入力速度（すなわち、データとしてのフレームレート）以上の圧縮符号化処理能力を有しており、実質的に、その入力速度以上の処理速度で動画像データを圧縮符号化し、コードストリームを記録部１２に出力する。

なお、データとしての大きさや密度を示す場合のデータ量のことを「レート」と称し、処理等の速度を示す場合のデータ量のことを「速度」と称する。例えば、動画像データの再生動画像が毎秒何フレームで構成されているかを示す値のことをフレームレートと称し、動画像データの再生時間１秒当たりのデータ量（ビット）をビットレートと称する。これに対して、例えば、動画像データの、１秒間に入力されるフレーム数を入力速度と称し、１秒間に圧縮符号化されるフレーム数を圧縮符号化速度と称する。また、例えば、ビットストリームの１秒間に出力されるフレーム数（対応する動画像データに換算したときのフレーム数）を出力速度と称する。

ちなみに、図１の符号化装置１１の場合、入力速度は、入力される動画像データのフレームレートに一致し、出力速度は、圧縮符号化速度に一致する。

また、「大きな遅延」とは、圧縮符号化速度（すなわち、出力速度）が動画像データの入力速度より遅いことに起因する遅延のことである。例えば、動画像データの入力開始から入力終了までの時間が１０秒であったのに対して、コードストリームの出力開始から出力終了までの時間が１５秒であるような場合の、入力と出力の時間差の５秒を大きな遅延とする。

これに対して、圧縮符号化の処理実行時間や、その処理の仕組みにより発生する、例えば、動画像データの入力が開始されてからコードストリームの出力が開始されるまでのような短い時間は、大きな遅延には含まない。すなわち、実質的に、動画像データを入力しながら、オーバフローやデータの欠損等を発生させずに、符号化を行い、コードストリームを出力することができる場合の僅かな遅延時間は、大きな遅延には含まれないものとする。

符号化装置１１は、記録部１２において記録媒体に記録される際の動画像データのレート（記録レート）を制御する（すなわち、入力された動画像データを圧縮する）記録レート制御部２１と、動画像データを圧縮符号化する符号化部２２を有する。

より具体的には、記録レート制御部２１は、動画像データに対してフレーム同士の加算や減算を行い、符号化部２２は、複数のイントラ符号化器を有し、同タイミングにおいて得られた複数の演算結果のそれぞれに対して並行してイントラ符号化を行う。

これにより、記録レート制御部２１は、動画像データの再生時におけるフレームレート（再生レート）の自由度が容易かつ十分に得られるようにするとともに、記録レートを低減させることができ、符号化部２２は、通常のフレームレートをリアルタイムに符号化可能な処理速度を有する安価なイントラ符号化器を用いて、通常よりも高いフレームレート（高フレームレート）の動画像データをリアルタイムに符号化することができる。

従って、符号化装置１１は、バッファメモリの容量やコストの増大無しに（安価かつ容易に）、再生時において再生レートの自由度が容易かつ十分に得られるように、オーバフロー、フレームの欠損、および大きな遅延等の不具合を発生させずに（リアルタイムに）、高フレームレートの動画像データの圧縮符号化を行うことができる。

記録部１２は、符号化装置１１より供給されるコードストリームを、十分な速さ（符号化装置１１の出力速度以上の書き込み速度）で内蔵する所定の記録媒体（図示せず）に書き込む（記録する）。また、記録部１２は、必要に応じてその記録媒体に記録されたコードストリームを十分な速さで読み出し、復号装置１３に供給する。つまり、記録部１２は、復号装置１３が、再生速度に対して大きな遅延無く即時的に（リアルタイムに）コードストリームを復号して伸張することができるような読み出し速度で、コードストリームを読み出して復号装置１３に供給する。

復号装置１３は、記録部１２より供給されるコードストリームを、再生速度に対して大きな遅延無く即時的に（リアルタイムに）、符号化部２２に対応する方法で復号伸張する復号部２３と、動画像データの再生時のフレームレートを制御する再生レート制御部２４を有する。

より具体的には、復号部２３は、複数のイントラ復号器を有し、コードストリームの、符号化部２２において並行して符号化された複数のイントラ符号化結果のそれぞれに対して並行してイントラ復号を行う。再生レート制御部２４は、復号部２３においてイントラ復号されたデータを伸張し、所定の再生レートで出力する。

これにより、復号部２３は、通常のフレームレートをリアルタイムに復号可能な処理速度を有する安価なイントラ復号器を用いて、高フレームレートの動画像データをリアルタイムに復号することができ、再生レート制御部２４は、容易に再生レートを制御することができる。

従って、符号化装置１１は、バッファメモリの容量やコストの増大無しに（安価かつ容易に）、オーバフロー、フレームの欠損、および大きな遅延等の不具合を発生させずに（リアルタイムに）、高フレームレートの動画像データが圧縮符号化されたコードストリームの復号を行うことができ、さらに、その高フレームレートの動画像データの再生レートを制御することができる。

以下に、図１に示される各部の詳細について説明する。なお、以下においては、基準となるフレームレートを６０ｐ（６０フレーム／秒のプログレッシブ方式）とし、高フレームレートをその４倍の２４０ｐ（２４０フレーム／秒のプログレッシブ方式）として説明する。

図２は、図１の記録レート制御部２１の詳細な構成例を示すブロック図である。図２において、記録レート制御部２１は、分配部５１、メモリ５２−１乃至メモリ５２−４、第１演算部５３、および第２演算部５４を有する。

分配部５１は、１つの入力側端子６０と４つの出力側端子（出力側端子６１乃至出力側端子６４）を有するスイッチ回路よりなる。分配部５１は、このスイッチの切り替えにより、入力側端子６０に供給される高フレームレートの動画像データ１０１の各フレームのデータ（フレームデータ）を、出力側端子６１乃至出力側端子６４のそれぞれに、順番に分配する。例えば、分配部５１は、最初に、入力側端子６０と出力側端子６１を接続し、動画像データ１０１の最初のフレームデータを出力側端子６１に供給し、フレームデータ１１１として出力させる。次に、分配部５１は、スイッチを切り替えて入力側端子６０を出力側端子６２に接続し、動画像データ１０１の次のフレームデータを出力側端子６２に供給し、フレームデータ１１２として出力させる。同様に分配部５１は、スイッチを切り替えて入力側端子６０を出力側端子６３に接続し、動画像データ１０１のその次のフレームデータを出力側端子６３よりフレームデータ１１３として出力させ、さらにスイッチを切り替えて入力側端子６０を出力側端子６４に接続し、動画像データ１０１のその次のフレームデータを出力側端子６４よりフレームデータ１１４として出力させる。分配部５１は、以上のようなスイッチの切り替えを繰り返し、各フレームデータを順に、出力側端子６１乃至出力側端子６４のいずれかより出力させる。

なお、このスイッチの切り替え（出力側端子の接続順）は任意であるが、以下においては、説明の簡略化のため、入力側端子６０の接続先を、出力側端子６１、出力側端子６２、出力側端子６３、出力側端子６４、出力側端子６１、出力側端子６２、・・・の順で繰り返し切り替える場合について説明する。つまり、フレームデータ１１１、フレームデータ１１２、フレームデータ１１３、フレームデータ１１４の順に時間的に古くなる（フレームデータ１１１が最も古く、フレームデータ１１４が最も新しい）。

分配部５１の出力側端子６１より出力されるフレームデータ１１１は、メモリ５２−１に供給され、一時的に保持される。同様に、出力側端子６２より出力されるフレームデータ１１２はメモリ５２−２に供給され、出力側端子６３より出力されるフレームデータ１１３はメモリ５２−３に供給され、出力側端子６４より出力されるフレームデータ１１４はメモリ５２−４に供給され、それぞれにおいて一時的に保持される。

メモリ５２−１乃至メモリ５２−４は、それぞれフレームデータを一時的に保持するバッファメモリであり、全てのメモリにフレームデータが蓄積されると、保持している各フレームデータを同時に出力する（フレームデータ１２１乃至フレームデータ１２４）。すなわち、メモリ５２−１乃至メモリ５２−４は、分配部５１において分配された１組（図２の場合４つ）のフレームデータの、第１演算部５３への供給タイミングを互いに一致させる。

なお、メモリ５２−１乃至メモリ５２−４を互いに区別して説明する必要の無い場合、メモリ５２と称する。

タイミングを制御されたフレームデータ１２１乃至フレームデータ１２４は、それぞれ、第１演算部５３に供給される。なお、これらのフレームデータ１２１乃至フレームデータ１２４は、当然であるが、後述するようなフレームデータ同士の加減算が行われていないフレームデータ（生のフレームデータ）である。

第１演算部５３は、生のフレームデータ同士を加算する加算器７１および加算器７３、並びに、生のフレームデータ同士を減算する減算器７２および減算器７４を有し、第１レベルの加算画像または第１レベルの減算画像を生成する。加算器７１は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に最も古いフレームデータ１２１と２番目に古いフレームデータ１２２を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を第１レベルの加算画像１３１として出力する。減算器７２は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に最も古いフレームデータ１２１から２番目に古いフレームデータ１２２を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を第１レベルの減算画像１３２として出力する。加算器７３は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に３番目に古いフレームデータ１２３と最も新しいフレームデータ１２４を加算し、その加算結果を第１レベルの加算画像１３３として出力する。減算器７４は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に３番目に古いフレームデータ１２３から最も新しいフレームデータ１２４を減算し、その減算結果を第１レベルの減算画像１３４として出力する。

すなわち、フレームデータ１２１をフレーム（１）とし、フレームデータ１２２をフレーム（２）とし、フレームデータ１２３をフレーム（３）とし、フレームデータ１２４をフレーム（４）とし、第１レベルの加算画像１３１を加算（１）とし、第１レベルの減算画像１３２を減算（１）とし、第１レベルの加算画像１３３を加算（２）とし、第１レベルの減算画像１３４を減算（２）とすると、第１演算部５３の入出力の関係は、以下の式（１）乃至式（４）により表わすことができる。

加算（１）＝フレーム（１）＋フレーム（２） ・・・（１）
減算（１）＝フレーム（１）−フレーム（２） ・・・（２）
加算（２）＝フレーム（３）＋フレーム（４） ・・・（３）
減算（２）＝フレーム（３）−フレーム（４） ・・・（４）

例えば、以上の式（１）や式（３）のように、２フレームを加算して各画素値を２で割ると、その２フレームの平均値（変化分の中間値）が算出される。つまり、第１レベルの加算画像１３１や第１レベルの加算画像１３３は、フレームデータの低周波成分により構成される。このように加算画像は２つのフレームデータの合計値により構成されるので、データ量は変化しない。

また、例えば、以上の式（２）や式（４）のように、２フレームを減算すると、その２フレーム間の差分（変化量）が算出される。つまり、第１レベルの加算画像１３１や第１レベルの加算画像１３３は、フレームデータの高周波成分により構成される。例えば、連続するフレーム（１）の画像とフレーム（２）の画像が同一である場合、その差分は「０」になるので、減算（１）の画素値（高周波成分）は全て「０」になる。

このフレーム間の差分は、同じ動画像であれば、フレームレートが高いほど小さくなる。すなわち、一般的に、通常のフレームレートの場合よりも高フレームレートの場合の方が減算画像のデータ量は低減されるので、フレームレートが高いほど符号化効率の向上を期待することができる。

以上のように演算され、第１演算部５３より出力された第１レベルの加算画像１３１、第１レベルの減算画像１３２、第１レベルの加算画像１３３、および第１レベルの減算画像１３４は、それぞれ、第２演算部５４に供給される。

第２演算部５４は、加算器８１、減算器８２、加算器８３、および、減算器８４を有し、第１レベルの加算画像または減算画像を加算または減算することにより、第２レベルの加算画像または減算画像を生成する。加算器８１は、第１レベルの加算画像１３１と第１レベルの加算画像１３３を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を第２レベルの加算画像１４１として出力する。減算器８２は、第１レベルの加算画像１３１から第１レベルの加算画像１３３を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を第２レベルの減算画像１４２として出力する。加算器８３は、第１レベルの減算画像１３２と第１レベルの減算画像１３４を加算し、その加算結果を第２レベルの加算画像１４３として出力する。減算器８４は、第１レベルの減算画像１３２から第１レベルの減算画像１３４を減算し、その減算結果を第２レベルの減算画像１４４として出力する。

すなわち、第２レベルの加算画像１４１を加算（３）とし、第２レベルの減算画像１４２を減算（３）とし、第２レベルの加算画像１４３を加算（４）とし、第２レベルの減算画像１４４を減算（４）とすると、第２演算部５４の入出力の関係は、以下の式（５）乃至式（８）により表わすことができる。

加算（３）＝加算（１）＋加算（２）
＝｛フレーム（１）＋フレーム（２）｝＋｛フレーム（３）＋フレーム（４）｝
・・・（５）
減算（３）＝加算（１）−加算（２）
｛フレーム（１）＋フレーム（２）｝−｛フレーム（３）＋フレーム（４）｝
・・・（６）
加算（４）＝減算（１）＋減算（２）
＝｛フレーム（１）−フレーム（２）｝＋｛フレーム（３）−フレーム（４）｝
・・・（７）
減算（４）＝減算（１）−減算（２）
＝｛フレーム（１）−フレーム（２）｝−｛フレーム（３）−フレーム（４）｝
・・・（８）

このように、第１演算部５３は、隣接する２フレーム間の加減算を行ったが、第２演算部５４は、隣接する４フレーム間の加減算を行うので、第１演算部５３の場合より長い時間レンジ（幅）での相関を取ることができる。

このように、フレームデータを複数回加減算することにより、記録レート制御部２１は、符号化効率をさらに向上させることができる。図２においては、加減算の演算を、第１演算部５３と第２演算部５４とでそれぞれ１回ずつ（すなわち、合計２回）行うように説明したが、この加減算の回数（段数）は複数回であれば何回であってもよく、例えば、３回以上であってもよい。また同時に加減算を行うフレーム数も、図２においては４フレームの場合について説明したが、いくつであってもよい。ただし、このフレームの加減算の構造は、符号化部２２、復号部２３、および再生レート制御部２４においても対応されている必要がある（予め定められているか、若しくは、互いに情報を共有して対応する可変構成となっている必要がある）。

記録レートを低減させることのみを目的とするならば、記録レート制御部２１は、減算のみを繰り返し行うのが望ましいが、再生時の再生レート制御を容易にするためには、減算だけでなく加算も行い、再生レート制御時における演算が容易になるような演算結果にするのが望ましい。このような記録レート制御部２１の処理は、フレームデータの単純な加算および減算のみにより構成されるので、基本的に負荷を増大させずに容易に行うことができるが、演算数が多いほど負荷や処理時間は増加するので、どのように加減算を行うかは、符号化効率や再生レートの自由度等とのトレードオフにより決定するのが望ましい。

なお、上述したように、加算画像および減算画像は、フレームデータ同士を加減算したものであるので、これらもフレームデータ（フレーム単位のデータ）である。すなわち、記録レート制御部２１は、フレームデータ同士を加算または減算することにより、動画像データのフレームレートを任意のレートに変換することができる。

以上のように演算され、第２演算部５４より出力された第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、および第２レベルの減算画像１４４は、それぞれ、符号化部２２に供給される。

次に、図１の符号化部２２について説明する。図３は、図１の符号化部２２の詳細な構成例を示すブロック図である。図３において、符号化部２２は、入力された画像データに対してイントラ符号化を行うイントラ符号化部１５１、符号化されたコードストリームを合成するコードストリーム合成部１５２、および、イントラ符号化処理における符号化ビット量を制御するレート制御部１５３を有する。

イントラ符号化部１５１は、符号化能力６０ｐの、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４を有する。第１イントラ符号化部１６１乃至第４イントラ符号化部１６４は、互いに同時に（並列に）動作し、それぞれ、供給された第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、または第２レベルの減算画像１４４を符号化し、コードストリームをコードストリーム合成部１５２に供給する。第１イントラ符号化部１６１乃至第４イントラ符号化部１６４は、互いに同一の符号化器により構成され、互いに同一の方法で符号化を行うようにしてもよいし、それぞれが処理する画像（第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、または第２レベルの減算画像１４４）の特徴を活かして互いに異なる方法で符号化するようにしてもよい。

コードストリーム合成部１５２は、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４より同時に出力される各コードストリームを所定の順（例えば、第１イントラ符号化部１６１の出力、第２イントラ符号化部１６２の出力、第３イントラ符号化部１６３の出力、第４イントラ符号化部１６４の出力の順）で統合し、１つのコードストリームとして出力する。

レート制御部１５３は、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４をそれぞれ制御して、符号化ビット量の決定や量子化制御等を行う。例えば、記録レート制御部２１より供給されるデータにおいて、主に画像の低域成分よりなる加算画像には値が「０」でない画素成分が多く含まれ、主に画像の高域成分よりなる減算画像には値が「０」の画素成分が多く含まれる。従って、加算画像を多く含むデータに対してはより多くの符号ビットを割り当て、逆に差分画像を多く含むデータに対しては少なめのビットを割り当てることが、全体の符号化効率の向上という点で望ましい。

以上のように符号化部２２は、符号化能力６０ｐのイントラ符号化器を４つ（第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）有しており、それらを並行して動作させることにより、４倍の２４０ｐの高フレームレートの動画像データ（実際には４フレームの加減算結果）を符号化することができる。なお、この符号化部２２のイントラ符号化器の数は、記録レート制御部２１の出力数に対応していればいくつであってもよい。また、そのイントラ符号化器の必要な処理能力は、処理する同画像データのフレームレートと、イントラ符号化器の数等により決定される。

次に、図３のイントラ符号化器（第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）の構成例について説明する。図４は、第１イントラ符号化部１６１の詳細な構成例を示すブロック図である。

図４において、第１イントラ符号化部１６１は、ウェーブレット変換部２０１、量子化部２０２、エントロピー符号化部２０３、符号量加算部２０４、および制御部２０５を有する。

ウェーブレット変換部２０１は入力されたデータ（第２レベルの加算画像１４１）に対して、ウェーブレット変換（フィルタリング）を施して所定のフィルタ係数であるウェーブレット変換係数を生成し、それを量子化部２０２に出力する。ウェーブレット変換部２０１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。

このウェーブレット変換は、通常、変換により得られた低域成分（サブバンド）をさらに変換するように繰り返し行われる。図５は、ウェーブレット変換を３回繰り返した場合（分割レベル３）に得られるサブバンドの構成例を示している。図７において、Ｌは低域成分を示し、Ｈは高域成分を示している。例えば３ＬＨは、水平方向が低域で垂直方向が高域であるサブバンドを表わす。最初のウェーブレット変換により、３ＨＨ、３ＬＨ、３ＨＬ、および３ＬＬ（図示せず）のサブバンドが得られ、２回目のウェーブレット変換により３ＬＬが変換され、２ＨＨ、２ＬＨ、２ＨＬ、および２ＬＬ（図示せず）のサブバンドが得られ、３回目のウェーブレット変換により２ＬＬが変換され、１ＨＨ、１ＬＨ、１ＨＬ、および０ＬＬのサブバンドが得られる。

ウェーブレット変換において、このように低域成分を繰り返し変換するのは、画像のエネルギーの多くが低域成分に集中しているためである。ウェーブレット変換された画像の様子の例を図６に示す。図６Ａは分割レベル１のウェーブレット変換により得られる各サブバンドの例を示しており、図６Ｂは分割レベル３のウェーブレット変換により得られる各サブバンドの例を示している。図６Ａおよび図６Ｂのいずれにおいても、低域成分ほど元の画像に近く、高域成分ほど画像が薄くなりエネルギーが少ないことが分かる。

量子化部２０２は、ウェーブレット変換部２０１より出力されたウェーブレット変換係数を、例えば、JPEG2000でも使われているスカラ量子化等により量子化し、量子化係数を出力する。このスカラ量子化の場合、算出する量子化係数値をｑとすると、以下の式（９）に示されるように、量子化係数値ｑは、ウェーブレット変換係数Wを量子化ステップサイズΔで除算することにより求めることができる。

ｑ＝W / Δ ・・・（９）

量子化部２０２は、このように算出された量子化係数をエントロピー符号化部２０３に供給する。エントロピー符号化部２０３は、例えば、MPEGやJPEGで採用されているもので、予め出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成するハフマン符号化や、H.264やJPEG2000で採用されている算術符号化等を用いて、供給された量子化係数の圧縮符号化を行い、符号化結果をコードストリームとして出力する。

上述したようにウェーブレット変換部２０１におけるウェーブレット変換により、複数のサブバンドが形成されるが、図６を参照して説明したように、画像の特性上、最低域に最もエネルギーが多く集まり、高域には画像の輪郭などの成分が主に存在している。従って、エントロピー符号化部２０３によるエントロピー符号化の際に、例えば図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に符号化が行われるようにして、高域成分よりも低域成分により多くの符号量を割り当てることで、主観画質を向上させることが期待出来る。

このような符号化の順番の制御方法としては、どのような方法であってもよいが、例えば、ウェーブレット変換部２０１がウェーブレット係数を図７の矢印の順番で出力するようにし、量子化部２０２およびエントロピー符号化部２０３が、それぞれ、供給されるデータを順に処理するようにしてもよい。

また、実際の動画像は、例えばテレビジョン信号のように、通常、輝度信号と色差信号とに分けられている。すなわち、上述した加算画像および減算画像も、実際には、それぞれ輝度成分と色差成分を含む。なお、以下においては、輝度成分をY、青色（Blue）の色差成分をCb、赤色（Red）の色差成分をCrとして説明する。

加算画像のダイナミックレンジは、減算画像のそれの２倍になるが、一般にダイナミックレンジが大きくなると、その分符号化ビット量が大きくなる。従って、エントロピー符号化部２０３は、加算画像のY、Cb、Crをそれぞれ、Y（加算）、Cb（加算）、Cr（加算）とし、減算画像のY、Cb、Crをそれぞれ、Y（減算）、Cb（減算）、Cr（減算）とすると、以下の式（１０）に示されるような優先順位により符号化を行うようにすることにより、符号化効率を向上させることができる。

Y（加算）＞Cb（加算）＞Cr（加算）＞Y（減算）＞Cb（減算）＞Cr（減算）
・・・（１０）

なお、式（１０）において、「＞」は、その左右の項の優先度の比較を示しており、この場合、左の項の優先度が右の項の優先度より高いことを示している、すなわち、式（１０）の各項の優先度は、左に行く程高くなり、逆に右に行く程低くなる。

また、画像の輝度成分は色差成分よりも多くの情報量を有しており、また、画像の輝度成分に対する人間の視覚特性が、色差成分に対するものよりも敏感（輝度成分の劣化は色差成分の劣化よりも、人間の目には目立ちやすいということ）なので、輝度成分の符号化データを重視することが画質向上に寄与する。従って、エントロピー符号化部２０３は、以下の式（１１）に示されるような優先順位により符号化を行うようにしてもよい。

Y（加算）＞Y（減算）＞Cb（加算）＞Cb（減算）＞Cr（加算）＞Cr（減算）
・・・（１１）

さらに、図７を参照して説明したように、画像の特性上、最低域に最もエネルギーが多く集まり、高域には画像の輪郭などの成分が主に存在するようになるので、主観画質をさらに向上させるために、エントロピー符号化部２０３は、図１２において矢印により示されるような順で符号化を行うようにしてもよい。

この場合、エントロピー符号化部２０３は、最初にYを低域から高域に向かって符号化し、次にCbを低域から高域に向かって符号化し、最後にCrを低域から高域に向かって符号化する。

エントロピー符号化部２０３より出力されたコードストリームは、符号量加算部２０４を介して第１イントラ符号化部１６１の外部に出力される。符号量加算部２０４は、自分自身を経由して出力されるコードストリームの１フレーム内での符号量をカウント（累積）しながら、その符号量を制御部２０５に通知する。

制御部２０５は、符号量加算部２０４より供給される符号量の情報に基づいて、エントロピー符号化部２０３の動作を制御する。制御部２０５は、符号量が目標の値に到達すると制御信号を出力し、エントロピー符号化部２０３の動作を停止させる。

なお、第２イントラ符号化部１６２乃至第４イントラ符号化部１６４も、第１イントラ符号化部１６１と同様の構成を有し、同様の処理を行うので、それらの説明は省略する。

次に復号装置１３の詳細について説明する。図９は、図１の復号部２３の詳細な構成例を示すブロック図である。図９において、復号部２３は、コードストリーム分解部３０１、およびイントラ復号部３０２を有する。

この復号装置１３は、上述した符号化装置１１が符号化したビットストリームを、符号化装置１１に対応する方法で復号する装置である。すなわち、コードストリーム分解部３０１は、図３のコードストリーム合成部１５２に対応し、イントラ復号部３０２は、図３のイントラ符号化部１５１に対応する。

つまり、コードストリーム分解部３０１は、記録部１２より供給された、コードストリーム合成部１５２において合成されて１つにされたコードストリームを、コードストリーム合成部１５２による合成前の状態に戻すように分解する。図９の例の場合、コードストリーム分解部３０１は、図３の例に対応するように動作し、第２レベルの加算画像１４１のコードストリーム、第２レベルの減算画像１４２のコードストリーム、第２レベルの加算画像１４３のコードストリーム、または第２レベルの減算画像１４４のコードストリームに分解し、それぞれを別々にイントラ復号部３０２に供給する。

イントラ復号部３０２は、図３のイントラ符号化部１５１に対応するように、第１イントラ復号部３１１乃至第４イントラ復号部３１４を有する。第１イントラ復号部３１１は、図３の第１イントラ符号化部１６１において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの加算画像１４１のコードストリームをイントラ復号し、ベースバンドの第２レベルの加算画像３２１を出力する。同様に、第２イントラ復号部３１２は、図３の第２イントラ符号化部１６２において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの減算画像１４２のコードストリームをイントラ復号し、ベースバンドの第２レベルの減算画像３２２を出力し、第３イントラ復号部３１３は、図３の第３イントラ符号化部１６３において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０３より供給される第２レベルの加算画像１４３のコードストリームをイントラ復号し、ベースバンドの第２レベルの加算画像３２３を出力し、第４イントラ復号部３１４は、図３の第４イントラ符号化部１６４において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの減算画像１４４のコードストリームをイントラ復号し、ベースバンドの第２レベルの減算画像３２４を出力する。

第１イントラ復号部３１１乃至第４イントラ復号部３１４は、それぞれ、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４に対応していればよく、互いに異なる復号器により構成されるようにしてもよいが、以下においては、互いに同一の復号器により構成されるものとして説明する。すなわち、以下において行う第１イントラ復号部３１１の構成の説明は、第２イントラ復号部３１２乃至第４イントラ復号部３１４にも適用可能であり、第２イントラ復号部３１２乃至第４イントラ復号部３１４についての説明は省略する。

図１０は、第１イントラ復号部３１１の詳細な構成例を示すブロック図である。図１０に示されるように、第１イントラ復号部３１１は、エントロピー復号部３５１、逆量子化部３５２、およびウェーブレット逆変換部３５３を有する。

コードストリームが入力されるとエントロピー復号部３５１は、そのコードストリームに対して、図４のエントロピー符号化部２０３によるエントロピー符号化に対応する方法で復号を行い、量子化係数を生成する。

例えば、上述したように、図４のエントロピー符号化部２０３が、図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に符号化を行う場合、エントロピー復号部３５１も、図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に復号を行う。

また、エントロピー符号化部２０３が、式（１０）に示されるような優先順位により符号化を行う場合、エントロピー復号部３５１も、同様に式（１０）に示されるような優先順位により復号を行う。

さらに、エントロピー符号化部２０３が、式（１１）に示されるような優先順位により符号化を行う場合、エントロピー復号部３５１も、同様に式（１０）に示されるような優先順位により復号を行う。

さらに、エントロピー符号化部２０３が、図１２において矢印により示されるような順で符号化を行う場合、エントロピー復号部３５１も、図１２において矢印で示されるように、最初にYを低域から高域に向かって復号し、次にCbを低域から高域に向かって復号し、最後にCrを低域から高域に向かって復号する。

エントロピー復号部３５１は、エントロピー復号により得られた量子化係数を逆量子化部３５２に供給する。

逆量子化部３５２は、図４の量子化部２０２による量子化と逆の操作を行い、量子化係数を、所定のフィルタ係数であるウェーブレット変換係数に変換する。例えば、上述したように、図４の量子化部２０２が式（９）の演算を行うことにより量子化を行う場合、逆量子化部３５２は、以下の式（１２）のように、量子化係数ｑに量子化ステップサイズΔを乗算することにより、ウェーブレット変換係数Wを求めることができる。

W＝ｑ×Δ ・・・（１２）

逆量子化部３５２は、逆量子化により得られたウェーブレット変換係数をウェーブレット逆変換部３５３に供給する。ウェーブレット逆変換部３５３は、図４のウェーブレット変換部２０１によるウェーブレット変換に対応する方法でウェーブレット逆変換（逆フィルタリング）を行い、ウェーブレット変換係数より、第２レベルの加算画像１４１に対応するベースバンドの第２レベルの加算画像３２１（復号画像）を生成し、出力する。

イントラ復号部３０２より出力される第２レベルの加算画像３２１、第２レベルの減算画像３２２、第２レベルの加算画像３２３、および第２レベルの減算画像３２４は、再生レート制御部２４（図１）に供給される。

図１１は、図１の再生レート制御部２４の詳細な構成例を示すブロック図である。図１１において、再生レート制御部２４は、メモリ４０１−１乃至メモリ４０１−４、第１演算部４０２、第２演算部４０３、統合部４０４、および出力制御部４０５を有する。

イントラ復号部３０２より出力される第２レベルの加算画像３２１、第２レベルの減算画像３２２、第２レベルの加算画像３２３、および第２レベルの減算画像３２４は、それぞれ、メモリ４０１−１乃至メモリ４０１−４に供給される。

メモリ４０１−１乃至メモリ４０１−４は、それぞれ、フレームデータ（実際には第２レベルの加算画像または第２レベルの減算画像）を、第１演算部４０２への供給タイミングを揃えるために、一時的に保持するバッファメモリである。メモリ４０１−１乃至メモリ４０１−４は、全てのメモリにフレームデータが蓄積されると、保持している各フレームデータを互いに同時に出力する（第２レベルの加算画像４５１、第２レベルの減算画像４５２、第２レベルの加算画像４５３、および第２レベルの減算画像４５４）。

なお、メモリ４０１−１乃至メモリ４０１−４を互いに区別して説明する必要の無い場合、メモリ４０１と称する。

第１演算部４０２は、フレーム同士を加算する加算器４１１および加算器４１３、並びに、フレーム同士を減算する減算器４１２および減算器４１４を有する。加算器４１１は、第２レベルの加算画像４５１と第２レベルの減算画像４５２を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を加算画像４６１として出力する。減算器４１２は、第２レベルの加算画像４５１から第２レベルの減算画像４５２を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を減算画像４６２として出力する。加算器４１３は、第２レベルの加算画像４５３と第２レベルの減算画像４５４を加算し、その加算結果を加算画像４６３として出力する。減算器４１４は、第２レベルの加算画像４５３から第２レベルの減算画像４５４を減算し、その減算結果を減算画像４６４として出力する。

すなわち、第１演算部４０２は、複数の演算を同時に（同じ組として）並列に行い、複数の演算結果（加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４）を同時に生成し、出力する。

これらの加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４は、以下に説明するように、動画像データのフレームデータを加算または減算して生成される第１レベルの加算画像または減算画像となる。

すなわち、第２レベルの加算画像４５１を加算（３）とし、第２レベルの減算画像４５２を減算（３）とし、第２レベルの加算画像４５３を加算（４）とし、第２レベルの減算画像４５４を減算（４）とし、加算画像４６１を加算（５）とし、減算画像４６２を減算（５）とし、加算画像４６３を加算（６）とし、減算画像４６４を減算（６）とすると、第１演算部４０２の入出力の関係は、以下の式（１３）乃至式（１６）により表わすことができる。

加算（５）＝加算（３）＋減算（３）
＝加算（１）＋加算（２）＋加算（１）−加算（２）
＝２×加算（１）
＝２×｛フレーム（１）＋フレーム（２）｝ ・・・（１３）
減算（５）＝加算（３）−減算（３）
＝加算（１）＋加算（２）−加算（１）＋加算（２）
＝２×加算（２）
＝２×｛フレーム（３）＋フレーム（４）｝ ・・・（１４）
加算（６）＝加算（４）＋減算（４）
＝減算（１）＋減算（２）＋減算（１）−減算（２）
＝２×減算（１）
＝２×｛フレーム（１）−フレーム（２）｝ ・・・（１５）
減算（６）＝加算（４）−減算（４）
＝減算（１）＋減算（２）−減算（１）＋減算（２）
＝２×減算（２）
＝２×｛フレーム（３）−フレーム（４）｝ ・・・（１６）

このように、実際には２で除算する必要があるものの、画素値の構成要素としては、加算（５）は加算（１）に一致し、減算（５）は加算（２）に一致し、加算（６）は減算（１）に一致し、減算（６）は減算（２）に一致する。すなわち、第１演算部４０２より出力される加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４は、第１レベルの加算画像または減算画像と同等である。換言すると、第１演算部４０２は、第２レベルの加算画像および減算画像から、加算または減算を行うのみで容易に第１レベルの加算画像または減算画像を生成することができる。

このように生成された第１レベルの加算画像４６１、第１レベルの減算画像４６２、第１レベルの加算画像４６３、および第１レベルの減算画像４６４は、それぞれ、第２演算部４０３に供給される。

第２演算部４０３は、加算器４２１、減算器４２２、加算器４２３、および、減算器４２４を有する。加算器４２１は、第１レベルの加算画像４６１と第１レベルの加算画像４６３を加算し、その加算結果を加算画像４７１として出力する。減算器４２２は、第１レベルの加算画像４６１から第１レベルの加算画像４６３を減算し、その減算結果を減算画像４７２として出力する。加算器８３は、第１レベルの減算画像４６２と第１レベルの減算画像４６４を加算し、その加算結果を加算画像４７３として出力する。減算器８４は、第１レベルの減算画像４６２から第１レベルの減算画像４６４を減算し、その減算結果を減算画像４７４として出力する。

すなわち、第２演算部４０３は、複数の演算を同時に（同じ組として）並列に行い、複数の演算結果（加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４）を同時に生成し、出力する。

これらの加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、以下に説明するように、動画像データの生のフレームデータとなる。

すなわち、加算画像４７１を加算（７）とし、減算画像４７２を減算（７）とし、加算画像４７３を加算（８）とし、減算画像４７４を減算（８）とすると、第２演算部４０３の入出力の関係は、以下の式（１７）乃至式（２０）により表わすことができる。

加算（７）＝加算（５）＋加算（６）
＝２×｛加算（１）＋減算（１）｝
＝４×フレーム（１） ・・・（１７）
減算（７）＝加算（５）−加算（６）
＝２×｛加算（１）−減算（１）｝
＝４×フレーム（２） ・・・（１８）
加算（８）＝減算（５）＋減算（６）
＝２×｛加算（２）＋減算（２）｝
＝４×フレーム（３） ・・・（１９）
減算（８）＝減算（５）−減算（６）
＝２×｛加算（２）−減算（２）｝
＝４×フレーム（４） ・・・（２０）

このように、実際には４で除算する必要があるものの、画素値の構成要素としては、加算（７）はフレーム（１）に一致し、減算（７）はフレーム（２）に一致し、加算（８）はフレーム（３）に一致し、減算（８）はフレーム（４）に一致する。すなわち、第２演算部４０３より出力される加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、いずれも加減算が行われていない生のフレーム画像と同等である。換言すると、第２演算部４０３は、第１レベルの加算画像および減算画像から、加算または減算を行うのみで容易に、生のフレームデータを生成することができる。

なお、上述した画素値の除算は、各演算部以降の任意の工程において行うことができるのでその説明は省略する。

以上のように演算され、第２演算部４０３より出力された（生のフレームデータである）加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、それぞれ、統合部４０４に供給される。

統合部４０４は、４つの入力側端子（入力側端子４３１乃至入力側端子４３４）と１つの出力側端子４３５を有するスイッチ回路よりなる。統合部４０４は、このスイッチの切り替えにより、入力側端子４３１乃至入力側端子４３４のそれぞれに供給されるフレームデータ（加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４）を、フレーム番号の順に並べて統合し、動画像データ４８１として出力側端子４３５より出力させる。例えば、統合部４０４は、入力側端子４３１から入力側端子４３４に向かって順に出力側端子４３５と接続し、加算画像４７１から減算画像４７４に向かう順にフレームデータを並べて統合し動画像データ４８１として出力させる。以上のようなスイッチの切り替えを繰り返すことにより、統合部４０４は、各フレームデータを所定の順に並べて統合し、動画像データ４８１を生成する。この順序は、図２の記録レート制御部２１の分配部５１において分配した順番に対応していればどのような順序であってもよく、予め定められていてもよいし、分配部５１と連携して決定されるようにしてもよい。

なお、第１演算部４０２、第２演算部４０３、および統合部４０４は、出力制御部４０５により制御されて動作する。出力制御部４０５は、指定されたフレームレート（再生レート）で動画像データ４８１を出力するように、第１演算部４０２、第２演算部４０３、および統合部４０４の各部の動作を制御する。

また、再生レート制御部２４は、メモリ４０１−１より出力される第２レベルの加算画像４５１も統合部４０４（の入力側端子４３１）に供給可能とされており、第１演算部４０２の加算器４１１より出力される第１レベルの加算画像４６１も統合部４０４（の入力側端子４３１）に供給可能とされており、さらに、第１演算部４０２の減算器４１２より出力される第１レベルの減算画像４６２も統合部４０４（の入力側端子４３２）に供給可能とされている。

すなわち、例えば、出力制御部４０５は、第１演算部４０２および第２演算部４０３の動作を停止させ、第２レベルの加算画像４５１を統合部４０４の入力側端子４３１に供給させ、統合部４０４に入力側端子４３１と出力側端子４３５を固定的に接続させ、加算画像４５１を動画像データ４８１として出力させることもできる。この場合、統合部４０４には第２レベルの加算画像４５１のみが供給され、加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は供給されない。

また、例えば、出力制御部４０５は、第２演算部４０３の動作を停止させ、第１レベルの加算画像４６１を統合部４０４の入力側端子４３１に供給させ、第１レベルの減算画像４６２を統合部４０４の入力側端子４３２に供給させ、統合部４０４に入力側端子４３１および入力側端子４３２と出力側端子４３５の接続を切り替えさせて加算画像４６１と減算画像４６２を統合させ、動画像データ４８１として出力させることもできる。この場合、統合部４０４には第１レベルの加算画像４６１と第１レベルの減算画像４６２のみが供給され、加算画像４７１、減算画像４７２、加算画像４７３、減算画像４７４、および第２レベルの加算画像４５１は供給されない。

つまり、再生レート制御部２４において、第１演算部４０２および第２演算部４０３は、出力制御部４０５の制御に基づいて、供給される加算画像および減算画像を用いて加算および減算を行い、任意のフレームレートのフレームデータを生成する。統合部４０４は、出力制御部４０５の制御に基づいて、それらのフレームデータをフレーム番号順に統合し、動画像データ４８１として出力する。

なお、上述したように、加算画像および減算画像は、フレームデータ同士を加減算したものであるので、これらもフレームデータ（フレーム単位のデータ）である。すなわち、再生レート制御部２４は、フレームデータ同士を加算または減算することにより、動画像データのフレームレートを任意のレートに変換することができる。このように、各部を制御することにより、出力制御部４０５は、出力する動画像データ４８１のフレームレート、すなわち、再生時のフレームレート（再生レート）を制御することができる。

なお、以上においては、メモリ４０１、第１演算部４０２、第２演算部４０３、および統合部４０４の各部が並行に処理可能なデータ数は、いくつであってもよいが、実際には、復号部２３や符号化装置１１等の入出力と対応している必要がある。

また、第１演算部４０２および第２演算部４０３において、例えば、どのデータとどのデータを加算してどのデータからどのデータを減算するかは任意である。さらに、何フレームのデータを１組として加減算するかも任意である。また、以上のような加減算を何回行うか（演算部をいくつ設けるか）も任意である。

例えば、ＭおよびＮを任意の自然数（Ｍ≦Ｎ）とすると、Ｎ個の演算部が互いに直列に接続され、最初の段の演算部が再生レート制御部２４の外部から入力される動画像データに対して加算および減算を行い、２段目以降の演算部が前段の演算部より出力される加算画像および減算画像（前段の演算結果）に対して加算および減算を行うようになされており、さらに、出力制御部４０５が、所望の再生レートを得るために必要な回数加算および減算が行われるように、最初の段からＭ段目までのＭ個の演算部を動作させ、Ｍ段目の演算部の出力を、統合部４０４を介して、再生レート制御部２４の外部に出力させるようにしてもよい。

このとき、再生レート制御部２４に入力される動画像データは、フレームデータ同士の加算や減算が行われていない生のフレームデータにより構成されるようにしてもよいし、例えば、上述したように、フレームデータ同士で加算された加算画像、および、フレームデータ間で減算された減算画像の内、少なくともいずれか一方により構成されるようにしてもよい。

例えば、上述したようにＮ個の演算部が互いに直列に接続されている場合において、加算や減算によってフレームレートが低減された動画像データが再生レート制御部２４に入力されるようにし、再生レート制御部２４の各演算部において加算および減算が行われる度に、得られる動画像データのフレームレートが２倍になるようにしてもよい。例えば、Ｋを任意の自然数とすると、最後の段よりＫ段目の演算部より出力される動画像データのフレームレートが、加減算の行われていない元の動画像データのフレームレートの２Ｋ分の１となるようにし、Ｋ＝０、すなわち、出力制御部４０５が全ての演算部を動作させると、再生レート制御部２４より出力される動画像データのフレームレートが、元の動画像データのフレームレートになるようにしてもよい。

このようにすることにより、出力制御部４０５は、容易に目的のフレームレートの動画像データを得ることができるように各部を制御することができる。

すなわち、再生レート制御部２４は、フレームデータ同士を加算および減算することにより、フレームレートを変換する演算部を複数有し、さらに、その複数の演算部を制御して、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算の内、少なくともいずれか一方を、動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる出力制御部を有していればよい。

ただし、このようなレート変換方法については、符号化装置１１や復号部２３と対応する必要がある。

次に、この再生レート制御部２４において行うフレームレートの制御の具体例について説明する。

図１２は、各フレームレートの比較例を示す模式図である。図１１において、出力制御部４０５が、第１演算部４０２、第２演算部４０３、および統合部４０４を全て動作させ、全フレーム画像を復元して統合させると、図１２の一番上の段に示されるように、６０フレーム／秒の加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４が統合されるので、出力される動画像データ４８１のフレームレートは６０×４＝２４０フレーム／秒になる。

この２４０フレーム／秒の動画像データを、２４０Ｐではなく、６０Ｐで再生表示すると、１／４のスローモーション再生を実現することができる。このようなスローモーション再生の場合、一般的に行われているようなフレーム画像の繰り返しが行われないので、非常に滑らかなスローモーションを実現することができる。このような機能は、例えば、高価なカムコーダや映画のフィルムカメラには機能として具備されていることが多い。特に高速の被写体画像をゆっくり見る場合には、スローモーション再生は不可欠なものである。

また、図１１において、出力制御部４０５が、第２演算部４０３の動作を停止させ、第１レベルの加算画像４６１と第１レベルの減算画像４６２を統合して出力するようにすると、図１２の上から２段目に示されるように、２×｛フレーム（１）＋フレーム（２）｝と、２×｛フレーム（３）＋フレーム（４）｝が統合されて出力されることになる。つまり、動画像データ４８１のフレームレートは、６０×２＝１２０フレーム／秒となる。また、この１２０フレーム／秒の動画像データを、１２０Ｐではなく、６０Ｐで再生表示すると、１／２のスローモーション再生を実現することができる。

さらに、図１１において、出力制御部４０５が、第１演算部４０２および第２演算部４０３の動作を停止させ、メモリ４０１−１の出力を統合部４０４の入力側端子４３１に供給させ、その入力側端子４３１を出力側端子４３５に固定的に接続させて、第２レベルの加算画像４５１を出力するようにすると、図１２の上から３段目に示されるように、４×フレーム（１）が出力されることになる。つまり、動画像データ４８１のフレームレートは、６０×１＝６０フレーム／秒となる。また、この６０フレーム／秒の動画像データを６０Ｐで表示すれば、従来どおりの通常再生となる。

このように再生レート制御部２４は、容易に出力する動画像データ４８１のフレームレート、すなわち、再生レートを制御することができる。

なお、この復号部２３に必要な復号能力（伸張復号速度）は、再生時のフレームレートによって異なる。上述した例においては復号部２３のイントラ復号部３０２は、４つのイントラ復号器（第１イントラ復号部３１１乃至第４イントラ復号部３１４）を有し、これら全てを用いてコードストリームを復号するように説明したが、実際には、再生時のフレームレート（再生レート）が低い場合、必要な復号能力（伸張復号速度）が低減される。従って、イントラ復号部３０２は、必要なイントラ復号器のみを動作させ、不要なイントラ復号器の動作を停止させるようにしてもよい。このようにすることにより復号部２３は、その消費電力を低減させることができる。

例えば、図１３に示されるように、２４０Ｐの動画像データが入力されると、符号化装置１１は、４つの符号化器を用いて圧縮符号化を行い、４本のコードストリーム（圧縮＋記録コードストリーム）を生成し、記録部１２に記録させる（実際にはこの４本のコードストリームを１本に合成して記録するが、データの構成としては実質的に合成前の４本のコードストリームと等価である）。

このコードストリームを伸張復号して６０Ｐで通常再生（１倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、図１３の４本のコードストリーム（圧縮＋記録コードストリーム）の内、上から１番目のコードストリームのみを６０Ｐの復号能力（伸張復号速度）で伸張復号し、再生レート制御部２４が、第２レベルの加算画像４５１を動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐの４つのフレームが加算された６０Ｐのフレームにより構成されるので、６０Ｐで再生することにより通常再生となる。

つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。これにより、復号部２３の消費電力を低減させることができる。

また、このコードストリームを伸張復号して６０Ｐで１／２スロー再生（１／２倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、この４本の圧縮＋記録コードストリームの内、図１４に示されるように、上から１番目と２番目の２本のコードストリームを交互に伸張復号し、再生レート制御部２４が、第１演算部４０２を用いて加算または減算し、得られた第１レベルの加算画像４６１と第１レベルの減算画像４６２を交互に動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐの２つのフレームが加算された１２０Ｐのフレームにより構成されるが、６０Ｐで再生することにより１／２スロー再生となる。

この場合も、再生レートは６０Ｐであるので、復号部２３の復号能力は６０Ｐでよい。つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。ただし、この場合、第１イントラ復号部３１１は、図１４における上から１番目と２番目の２本の圧縮＋記録コードストリームを交互に復号する必要がある。

なお、この場合の動画像データ４８１を１２０Ｐで通常再生させる場合、復号部２３に要求される符号能力は１２０Ｐとなるので、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１と第２イントラ復号部３１２を動作させる必要がある。

さらに、このコードストリームを伸張復号して６０Ｐで１／４スロー再生（１／４倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、この４本の圧縮＋記録コードストリームを、図１５に示されるように上から順に伸張復号し、再生レート制御部２４が、第１演算部４０２および第２演算部４０３を用いて加算または減算し、得られたフレームデータを統合部４０４によって順に並べて統合し、動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐのフレームにより構成されるが、６０Ｐで再生することにより１／４スロー再生となる。

この場合も、再生レートは６０Ｐであるので、復号部２３の復号能力は６０Ｐでよい。つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。ただし、この場合、第１イントラ復号部３１１は、図１５に示されるように、４本の圧縮＋記録コードストリームを上から順に復号する必要がある。

以上のように、再生レートに合わせて、動作させるイントラ復号器の数を低減させることにより、復号装置１３は、復号部２３の消費電力を低減させることができる。また、再生レート制御部２４は、高フレームレートの動画像の可変再生を容易に行うことができる。

次に、以上のような符号化装置１１および復号装置１３により実行される処理の流れの例について説明する。最初に、符号化装置１１により実行される符号化処理の流れの例について説明する。

符号化装置１１の記録レート制御部２１は、ステップＳ１においてピクチャを取得し、メモリ５２に蓄積させる。ステップＳ２において、記録レート制御部２１は、必要なピクチャ数のデータがメモリ５２内に記憶されたか否かを判定し、記憶されたと判定するまで、ステップＳ１およびステップＳ２の処理を繰り返す。ステップＳ２において必要なピクチャ数のデータがメモリ５２内に記憶されたと判定した場合、ステップＳ３において、第１演算部５３は、メモリ５２に蓄積されたフレームデータを用いて、第１レベルの加算画像および減算画像を生成する。

ステップＳ４において、記録レート制御部２１は、次のレベルの加算画像および減算画像を生成するか否かを判定し、生成すると判定した場合、処理をステップＳ５に進める。この場合の「次のレベル」とは、現在のレベルより「１」インクリメントしたレベルのことを示す。ステップＳ５において、次の演算部（ステップＳ３の処理の直後であれば第２演算部５４）は、次のレベル（ステップＳ３の処理の直後であれば第２レベル）の加算画像および減算画像を生成し、その後、処理をステップＳ４に戻す。すなわち、演算部の数だけ（予め指定されたレベルまで）ステップＳ４およびステップＳ５の処理が繰り返される。ステップＳ４において所望のレベルの加算画像および減算画像が得られ、次のレベルの加算画像および減算画像を生成しないと判定した場合、記録レート制御部２１は、処理をステップＳ６に進める。

ステップＳ６において、符号化部２２のイントラ符号化部１５１は、得られた加算画像および減算画像を、目標符号量に合わせて符号化することによりコードストリームを生成する。コードストリーム合成部１５２は、ステップＳ７において、符号化により得られたコードストリームを多重化し、出力する。

ステップＳ８において、符号化装置１１は、全てのピクチャ（またはフレーム）を符号化したか否かを判定し、未処理のピクチャ（またはフレーム）が存在すると判定した場合、処理をステップＳ１に戻し、それ以降の処理を繰り返させる。また、ステップＳ８において、全てのピクチャ（またはフレーム）を符号化したと判定した場合、符号化装置１１は、符号化処理を終了する。

次に、復号装置１３により実行される復号処理の流れの例について説明する。

復号装置１３の復号部２３のコードストリーム分解部３０１は、ステップＳ２１において、取得したコードストリームを分解する。ステップＳ２２において、イントラ復号部３０２は、コードストリームを復号し、生成された復号画像を再生レート制御部２４のメモリ４０１に記憶させる。

ステップＳ２３において、再生レート制御部２４は、必要なピクチャ数のデータがメモリ４０１内に記憶されたか否かを判定し、記憶されたと判定するまで、ステップＳ２２およびステップＳ２３の処理を繰り返す。ステップＳ２３において必要なピクチャ数のデータがメモリ４０１内に記憶されたと判定した場合、ステップＳ２４において、出力制御部４０５は、次のレベルの加算画像および減算画像を生成するか否かを判定し、生成すると判定した場合、処理をステップＳ２５に進める。この場合の「次のレベル」とは、現在のレベルより「１」デクリメントしたレベルのことを示す。ステップＳ２５において、次の演算部（ステップＳ２３の処理の直後であれば第１演算部４０２）は、次のレベル（ステップＳ２３において第２レベルの加算画像および減算画像がメモリ４０１内に記憶された直後であれば第１レベル）の加算画像および減算画像を生成し、その後、処理をステップＳ２４に戻す。すなわち、出力制御部４０５が動作させる演算部の数だけ（予め指定されたレベルまで）ステップＳ２４およびステップＳ２５の処理が繰り返される。ステップＳ２４において所望のレベルの加算画像および減算画像が得られ、次のレベルの加算画像および減算画像を生成しないと判定した場合、出力制御部４０５は、処理をステップＳ２６に進める。

ステップＳ２６において、統合部４０４は、出力制御部４０５に制御されて、画像を時間の順番に出力する。ステップＳ２７において、復号装置１３は、全てのコードストリームを復号したか否かを判定し、未処理のピクチャ（またはフレーム）が存在すると判定した場合、処理をステップＳ２１に戻し、それ以降の処理を繰り返させる。また、ステップＳ２７において、全てのコードストリームを復号したと判定した場合、復号装置１３は、復号処理を終了する。

なお、図３において、イントラ符号化部１５１は、符号化能力６０Ｐのイントラ符号化器（図３の例の場合、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）を備えるように説明したが、これ以外にも、例えば図１８に示されるように、２４０Ｐ以上の符号化能力を有する１つのイントラ符号化部５０１により構成されるようにしてもよい。ただし、この場合、図３の例の場合に比べて、高速に処理を行う（符号化能力の高い）符号化器を用意する必要があり、開発コストや製造コスト等が増大する可能性もある。

また、イントラ符号化部１５１の各イントラ符号化器において、量子化係数をビットプレーンに分解するようにしてもよい。図１９は、その場合の、第１イントラ符号化部１６１の詳細な構成例を示すブロック図である。図１９は、図４に対応するブロック図であり、図４と同様の構成には図４と同様の符号を付してある。

図１９の場合、第１イントラ符号化部１６１は、図４の構成の他にビットプレーン分解部５１１を有する。ビットプレーン分解部５１１は、量子化部２０２において生成された量子化係数を、ビットプレーンに展開する。

図２０は、ビットプレーンの概念について説明する図である。例えば、量子化部２０２において、縦４画素×横４画素の１６画素分を１ブロックとしたときに、図２０Ａに示されるように量子化係数が得られたとする。例えば、この１６個の量子化係数のうち絶対値が最大のものは「＋１３」であり、２進数表現では「１１０１」となる。このようなブロック毎の量子化係数の２進数表現と符号を、図２０Ｂに示されるように、位毎にまとめたものがビットプレーンである。すなわち、図２０Ａに示される量子化係数は、図２０Ｂに示されるような５つのビットプレーン（係数の符号のビットプレーン１つと、係数の絶対値のビットプレーン４つ）により構成される。

ビットプレーン分解部５１１は、このようにビットブレーンに分解された量子化係数をエントロピー符号化部２０３に供給する。

エントロピー符号化部２０３は、情報源圧縮の手段を用いて、ビットブレーンに分解された量子化係数を圧縮する動作を行う。従って、符号化により得られるコードストリームもビットプレーン単位に分けられる。

図２１は、ビットプレーン毎に符号化を行う場合の符号化順の例を示す模式図である。図２１において、横軸のブロック０、ブロック１、・・・、ブロックｎは、ブロックの番号を示している。この場合、エントロピー符号化は、各ブロックのビットプレーン毎に行われる。例えば、エントロピー符号化部２０３は、MSB（Most significant bit：最上位ビット）からLSB（Least significant bit：最下位ビット）の順番で、ビットプレーン毎に符号を選び、符号量の累積を行い、ある時点で目標符号量に到達した時点で、符号化を中止する。

例えば、量子化係数をビットプレーンに分解せずに、ブロック単位で符号化を行う場合、ブロックｎに達する前に目標符号量に達してしまう恐れがある。つまり、そのような場合、全く符号化されないブロックが生じることになる。しかしながら、MSBとLSBでは上位ビットであるMSBの方が重要であり、有限の符号量をLSBに使用するよりもMSBに使用する方が画質向上に寄与する。

従って、エントロピー符号化部２０３は、図２１の矢印や番号に示されるように、複数のブロックにおいて、係数が全てゼロのビットプレーンであるゼロビットプレーンを除く、MSBに近い方のビットプレーンより順番（番号順）に符号化を行い、目標の符号量に達した時点で符号化を終了する。図２１の例の場合、番号「９」のビットプレーンの符号化が終了した時点で目標の符号量に達しており、エントロピー符号化部２０３は、その時点で符号化を終了する。このようにすることにより、エントロピー符号化部２０３は、各ブロックの上位ビットを優先的に符号化を行うことができ、画質向上に寄与することができるだけでなく、上位に集中する不要なゼロビットプレーンへの符号量の割り当てを低減させることができ、符号化効率を向上させることもできる。

尚、以上においてはブロックが矩形である場合を示したが、画像の水平方向の１ラインまたは複数ラインであっても良い。

また、加算画像と減算画像を符号化する場合、量子化係数は、それぞれ、ビットプレーンに展開され、符号化されるようにしてもよい。その場合、目標符号量もそれぞれ設定される。この場合、エントロピー符号化部２０３は、加算画像と減算画像のそれぞれについて上述したようにビットプレーン毎に符号化を行う。図２２Ａは、加算画像の符号化の流れの例を示し、図２２Ｂは、減算画像の符号化の流れの例を示している。このように、加算画像と減算画像においてビットプレーンの構成が互いに異なるので、それぞれについて互いに独立して符号化を行うようにすることにより、エントロピー符号化部２０３は、符号化効率を向上させることができる。なお、このような加算画像の符号化と減算画像の符号化を互いに異なるイントラ符号化器おいて行うようにしてももちろんよい。

尚、上記では、説明の都合上、加算画像と減算画像の２つの画像を符号化する場合を説明したが、上述したように、第２レベルの４つの画像に対しても、同様の符号化が可能であることは自明である。

また、エントロピー符号化部２０３が、加算画像と減算画像を統合して符号化するようにしてももちろんよい。

例えば、図１８のイントラ符号化部５０１は、複数画像を同時に入力して符号化操作を行うので、図２３に示される様に加算画像と減算画像を１つの処理単位としてビットプレーンの符号化を行うことができる。つまり、この場合のエントロピー符号化部２０３は、ゼロビットプレーンを除く上位ビットプレーンから下位方向に、加算画像と減算画像の矩形ブロックを、横断的にエントロピー符号化しながら、目標符号量に達した時点で終了する。

このようにすることにより、エントロピー符号化部２０３は、加算画像と減算画像のそれぞれに割り当てる符号量を予め設定する必要なく、適切に符号量の割り当てを行うことができ、画質に与える影響が大きい量子化係数をより優先的に符号化することができる。

尚、上記では、説明の都合上、加算画像と減算画像の２つの画像を符号化する場合を説明したが、上述したように、第２レベルの４つの画像に対しても、同様の符号化が可能であることは自明である。

また、このような順序でビットプレーン毎に符号化を行う方法は、図７を参照して説明したように、低域のサブバンドから高域のサブバンドに向かって符号化を行う場合にも適用することができる。この場合、エントロピー符号化部２０３は、例えば、ブロックを図７の矢印に示されるサブバンドの順に並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行う。つまり、エントロピー符号化部２０３は、各位のビットプレーンを、エネルギーの高い低域からエネルギーの低い高域に向かう順に符号化する。従って、エントロピー符号化部２０３は、図２１を参照して説明した場合よりも、符号化効率を向上させることができる。また、換言すれば、エントロピー符号化部２０３は、各域のビットプレーンを、ゼロビットプレーンを除く上位から低位に向かう順に符号化する。従って、エントロピー符号化部２０３は、図７を参照して説明した場合よりも、符号化効率をより向上させ、かつ、画質をより向上させることができる。

このようにビットプレーン毎に符号化を行う場合において、ブロックの並べ方は任意であり、その他の順で並べるようにしてもよい。例えば、エントロピー符号化部２０３が、量子化係数のブロックを、式（１０）に示されるような優先順位で並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行うようにしてもよい。このようにすることにより、エントロピー符号化部２０３は、符号化効率を向上させることができる。また、エントロピー符号化部２０３が、量子化係数のブロックを、式（１１）に示されるような優先順位で並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行うようにしてもよい。このようにすることにより、エントロピー符号化部２０３は、主観画質をさらに向上させることができる。

さらに、主観画質をさらに向上させるために、エントロピー符号化部２０３は、図１２において矢印により示されるような順でブロックを並べ、符号化を行うようにしてもよい。

すなわち、この場合、エントロピー符号化部２０３は、図２４に示されるように、輝度成分Y、色差成分Cb、および色差成分Crのそれぞれについてブロックを、図１２に示されるサブバンドの順番、すなわち、輝度成分YのサブバンドであるY-０LLからCr-３HHに至る順番に並べ、ゼロビットプレーンを除いて、上位ビットプレーンから下位ビットプレーンの順番に向かって、ビットプレーン毎にエントロピー符号化を行い、目標符号量に達した時点で、符号化を終了する。このようにすることにより、エントロピー符号化部２０３は、主観画質をさらに向上させることができる。

エントロピー符号化部２０３が、図２１乃至図２４に示されるようないずれの順序でビットプレーン毎に符号化を行う場合も、エントロピー復号部３５１は、その符号化順と同順で復号を行う。すなわち、エントロピー復号部３５１は、ゼロビットプレーンを除く上位のビットプレーンより下位のビットプレーンに向かう順にビットプレーンを生成するような順でコードストリームの復号を行う。

符号化部２２の場合と同様に、復号部２３においても、イントラ復号部３０２が、例えば図２５に示されるように、２４０Ｐ以上の復号能力を有する１つのイントラ復号部５５１により構成されるようにしてもよい。ただし、この場合、図９の例の場合に比べて、高速に処理を行う（復号能力の高い）復号器を用意する必要があり、開発コストや製造コスト等が増大する可能性もある。

また、図１に示される画像処理システム１は、例えば図２６に示されるように、図１の例と異なる構成であってもよい。すなわち、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、図２６Ａに示されるように、記録レート制御部２１、符号化部２２、記録部１２、復号部２３、および再生レート制御部２４の各部がそれぞれ、互いに独立した装置として構成されるようにしてもよい。図２６Ａにおいては、画像処理システム１は、記録レート制御装置６０１、符号化装置６０２、記録装置６０３、復号装置６０４、および再生レート制御装置６０５により構成される。各装置の構成および動作は、それぞれが対応する図１の処理部と同様であるのでその説明を省略する。

また、例えば、図２６Ｂに示されるように、動画像データが、フレームデータ同士を加算または減算されるのみで、圧縮符号化されずに記録媒体に記録されるようにしてもよい。この場合、画像処理システム１は、動画像データを記録媒体６１２に記録する記録装置６１１、動画像データが記録される記録媒体６１２、および、記録媒体６１２に記録されている動画像データを読み出して再生する再生装置６１３により構成される。

記録装置６１１は、記録レート制御部２１と同様の構成を有し、同様に動作する記録レート制御部６２１と、記録レート制御部６２１より出力される加算画像および減算画像を記録媒体６１２に書き込む書き込み部６２２を有する。また、再生装置６１３は、記録媒体６１２に記録されている加算画像および減算画像を読み出す読み出し部６３１、再生レート制御部２４と同様の構成を有し、同様に動作して、読み出し部６３１により読み出された加算画像および減算画像に対して、再生レート制御部２４の場合と同様に加減算を行い、任意のフレームレートで動画像データを出力する再生レート制御部６３２を有する。

すなわち、この場合、記録媒体６１２には、非圧縮の加算画像および減算画像が記録される。

また、図１の例においては、符号化されたコードストリームを記録媒体に記録するように説明したが、図２６Ｃに示されるように、コードストリームを、伝送媒体を介して伝送させるようにしてもよい。

図２６Ｃにおいては、画像処理システム１は、動画像データを圧縮符号化して他の装置に伝送する送信装置６４１、コードストリームが伝送される伝送媒体６４２、および、伝送媒体６４２を介して伝送されるコードストリームを受信する受信装置６４３により構成される。

送信装置６４１は、図１の符号化装置１１に対応し、記録レート制御部２１に対応する伝送レート制御部６５１と、符号化部２２に対応する符号化部６５２を有する。伝送レート制御部６５１は、記録レート制御部２１と同様の構成を有し、同様に動作する。ただし、伝送レート制御部６５１は記録レートではなく、伝送時のフレームレート（伝送レート）を制御する。符号化部６５２は、符号化部２２と同様の構成を有し、同様に動作する。

図２６Ｃの場合、送信装置６４１の符号化部６５２より出力されたコードストリームは、伝送媒体６４２を介して受信装置６４３に供給される。

受信装置６４３は、図１の復号装置１３に対応し、復号部２３に対応する復号部６６１と、再生レート制御部２４に対応する再生レート制御部６６２を有する。復号部６６１は、復号部２３と同様の構成を有し、同様に動作する。ただし、復号部６６１は、伝送媒体６４２を介して伝送されたコードストリームを復号する。再生レート制御部６６２は、再生レート制御部２４と同様の構成を有し、同様に動作する。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。

入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRTやLCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。

なお、以上において、一つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて一つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。

また、上述した実施の形態では、画像圧縮方式としてJPEG2000方式を用いて説明したが、本発明はこれに限定されるものではなく、例えばJPEGやMPEG（Moving Picture Experts Group）などの他の画像圧縮方式の場合にも適用可能である。

本発明は、画像処理システムに適用することが可能である。

本発明を適用した画像処理システムの構成例を示すブロック図である。 図１の記録レート制御部の詳細な構成例を示すブロック図である。 図１の符号化部の詳細な構成例を示すブロック図である。 図３の第１イントラ符号化部の詳細な構成例を示すブロック図である。 サブバンドの構成例を示す模式図である。 エネルギー分布の例を示す模式図である。 符号化の順序の例を説明する図である。 符号化の順序の、他の例を説明する図である。 図１の復号部の詳細な構成例を示すブロック図である。 図９の第１イントラ復号部の詳細な構成例を示すブロック図である。 図１の再生レート制御部の詳細な構成例を示すブロック図である。 再生レートの制御の様子の例を説明する模式図である。 再生レートに合わせた復号方法の例を説明する図である。 再生レートに合わせた復号方法の他の例を説明する図である。 再生レートに合わせた復号方法の、さらに他の例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 符号化部の他の構成例を示すブロック図である。 第１イントラ符号化部の他の構成例を示すブロック図である。 ビットプレーンの概念を説明する図である。 符号化の順序の例を説明する模式図である。 符号化の順序の、他の例を説明する模式図である。 符号化の順序の、さらに他の例を説明する模式図である。 符号化の順序の、さらに他の例を説明する模式図である。 復号部の他の構成例を示すブロック図である。 画像処理システムの、他の構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像処理システム， １１ 符号化装置， １２ 記録部， １３ 復号装置， ２１ 記録レート制御部， ２２ 符号化部， ２３ 復号部， ２４ 再生レート制御部， ５１ 分配部， ５２ メモリ， ５３ 第１演算部， ５４ 第２演算部， １５１ イントラ符号化部， １５２ コードストリーム合成部， １５３ レート制御部， ３０１ コードストリーム分解部， ３０２ イントラ復号部， ４０１ メモリ， ４０２ 第１演算部， ４０３ 第２演算部， ４０４ 統合部， ４０５ 出力制御部， ５１１ ビットプレーン分解部， ６０１ 記録レート制御装置， ６０２ 符号化装置， ６０３ 記録装置， ６０４ 復号装置， ６０５ 再生レート制御装置， ６１１ 記録装置， ６１２ 記録媒体， ６１３ 再生装置， ６２１ 記録レート制御部， ６２２ 書き込み部， ６３１ 読み出し部， ６３２ 再生レート制御部， ６４１ 送信装置， ６４２ 伝送媒体， ６４３ 受信装置， ６５１ 伝送レート制御部， ６５２ 符号化部， ６６１ 復号部， ６６２ 再生レート制御部

Claims (18)

1. 動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号手段と、
   前記復号手段により復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算手段と、
   前記復号手段により復号されて得られる前記演算結果の一部、または、前記演算手段による前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合する統合手段と
   を備える情報処理装置。
2. 前記演算手段は、互いに直列に接続される複数段の演算部を有し、
   前記複数段の演算部の内、最初の段から所望のフレームレートの前記動画像データが得られる段までの各演算部は、前記復号手段により復号されて得られる前記演算結果または前段の演算部において得られた複数の演算結果に対して、前記加算および前記減算を並列的に行う
   請求項１に記載の情報処理装置。
3. 前記復号手段は、前記所望のレートに応じた速度で前記コードストリームを復号する
   請求項１または請求項２に記載の情報処理装置。
4. 前記復号手段は、互いに並列に接続される複数の復号部により構成され、前記複数の復号部の内、前記所望のレートに応じた速度で前記コードストリームを復号するのに必要な数の前記復号部を用いて前記コードストリームを復号する
   請求項１または請求項２に記載の情報処理装置。
5. 前記復号手段は、
   前記コードストリームより量子化係数を生成するエントロピー復号手段と、
   前記量子化係数を変換して所定のフィルタ係数を生成する逆量子化手段と、
   前記フィルタ係数を逆フィルタリングし、復号画像を生成する逆フィルタリング手段と
   を備える請求項１乃至請求項４のいずれかに記載の情報処理装置。
6. 前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを、互いに独立して、それぞれ、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する
   請求項５に記載の情報処理装置。
7. 前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを統合し、統合されたコードストリーム全体を、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する
   請求項５に記載の情報処理装置。
8. 前記エントロピー復号手段は、同じビット位置の量子化係数を最低域のサブバンドから最高域のサブバンドに向かう順に生成するように、前記コードストリームを復号する
   請求項５に記載の情報処理装置。
9. 前記エントロピー復号手段は、同じビット位置の量子化係数を、輝度成分のコンポーネントを色差成分のコンポーネントより先に生成するように、前記コードストリームを復号する
   請求項５に記載の情報処理装置。
10. 動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号し、
    復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行い、
    復号されて得られる前記演算結果の一部、または、前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合する
    ステップを含む情報処理方法。
11. コンピュータを、
    動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号手段、
    復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算手段、
    復号されて得られる前記演算結果の一部、または、前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択し、所定順に並べて統合する統合手段
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
12. 動画像データのフレームデータ同士が、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する第１の構造で加算および減算され、生成された演算結果が符号化されたコードストリームを復号する復号ステップと、
    前記復号ステップの処理により復号されて得られる前記演算結果に対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、前記第１の構造に応じた第２の構造で、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行う演算ステップと、
    前記復号ステップの処理により復号されて得られる前記演算結果の一部、または、前記演算ステップの処理による前記演算の結果として得られるフレームデータの一部または全部を、前記所望のレートに応じて選択させ、所定順に並べて統合する統合ステップと
    をコンピュータに実行させるプログラム。
13. 動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算手段と、
    前記演算手段により生成された前記複数の演算結果のそれぞれを符号化する符号化手段と
    を備える情報処理装置。
14. 前記符号化手段により前記複数の演算結果のそれぞれが符号化されて生成される複数のコードストリームを所定の記録媒体に書き込む書き込み手段をさらに備える
    請求項１３に記載の情報処理装置。
15. 前記符号化手段により前記複数の演算結果のそれぞれが符号化されて生成される複数のコードストリームを他の装置に送信する送信手段をさらに備える
    請求項１３に記載の情報処理装置。
16. 情報処理装置の情報処理方法であって、
    動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行い、
    前記所定回数行われた前記演算により生成された前記複数の演算結果のそれぞれを符号化する
    ステップを含む情報処理方法。
17. コンピュータを、
    動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算手段、
    前記演算手段により生成された前記複数の演算結果のそれぞれを符号化する符号化手段
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
18. 動画像データを処理するコンピュータが実行可能なプログラムであって、
    前記動画像データの各フレームデータに対して、フレームデータ同士の加算および減算を並列的に複数行って複数の演算結果を生成する演算を、複数の演算結果を所定の構造で加算および減算することにより前記動画像データのフレームレートを任意のレートに変換する構造で所定回数行う演算ステップと、
    前記演算ステップの処理により前記所定回数行われた前記演算により生成された前記複数の演算結果のそれぞれを符号化する符号化ステップと
    をコンピュータに実行させるプログラム。

Images