JP4129913B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4129913B2 JP4129913B2 JP2002360266A JP2002360266A JP4129913B2 JP 4129913 B2 JP4129913 B2 JP 4129913B2 JP 2002360266 A JP2002360266 A JP 2002360266A JP 2002360266 A JP2002360266 A JP 2002360266A JP 4129913 B2 JP4129913 B2 JP 4129913B2
- Authority
- JP
- Japan
- Prior art keywords
- subband
- frame
- image processing
- decoding
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を扱う各種の画像処理装置に係り、特に、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置において動画像の符号量を削減する技術に関する。
【０００２】
【従来の技術】
画像処理装置においては、画像データは、その記録又は伝送に先立って符号化されるのが普通である。現在、画像データの符号化方式として、静止画像にはＪＰＥＧが、動画像にはＭＰＥＧが一般的に利用されている。
【０００３】
このＪＰＥＧとＭＰＥＧに代わる符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば、非特許文献１を参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、個々のフレームに関してはＪＰＥＧ２０００に準拠している。
【０００４】
ウェーブレット変換を利用して画像の符号化を行う装置に関し、ウェーブレット変換符号化の単位であるブロック毎に前後のフレーム間で画像の誤差を検出し、誤差が小さいブロックのウェーブレット変換符号化を行わず、したがって、そのブロックの符号を送信しない技術が特許文献１に記載されている。
【０００５】
【特許文献１】
特開２００１−４５４８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、ＭＰＥＧのようなフレーム間予測や動き補償予測を行わず、全てのフレームを前後のフレームから独立して符号化を行う方式であるため、変化の少ないフレームが連続する区間では符号化データの冗長度が大きくなる傾向がある。
【０００７】
本発明は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像において、変化の少ないフレームが連続する区間における符号化データの冗長度を減らして動画像の符号量を効果的に削減する、新規な画像処理装置及び方法を提供することを目的とする。本発明のもう１つの目的は、本発明による画像処理装置又は方法により符号量が削減された動画像の各フレームを支障なく復元するための画像処理装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする。
【０００９】
請求項２記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする。
【００１０】
請求項３記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断、並びに、前記変換手段によるサブバンドの符号の省略は、各コンポーネント毎に独立に行われることを特徴とするものである。
【００１１】
請求項４記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断は、複数のコンポーネント中の１つの特定のコンポーネントについて行われ、前記変換手段によりサブバンドの全コンポーネントの符号が省略されることを特徴とするものである。
【００１２】
請求項５記載の発明の画像処理装置は、請求項１又２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出及び前記判断手段による比較判定は各コンポーネント毎に独立に行われ、前記判断手段により全コンポーネントの差分が閾値以下のサブバンドが符号を省略するサブバンド又はその候補とされ、前記変換手段によるサブバンドの符号の省略は全コンポーネントについて行われることを特徴とするものである。
【００１３】
請求項６記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、差分と比較される閾値としてサブバンドの種類に応じた値が設定されることを特徴とするものである。
【００１４】
請求項７記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、差分と比較される閾値として分割領域の位置に応じた値が設定されることを特徴とするものである。
【００１５】
請求項８記載の発明の画像処理装置は、請求項３又は５に記載の発明の画像処理装置であって、差分と比較される閾値としてコンポーネントに応じた値が設定されることを特徴とするものである。
【００１６】
請求項９記載の発明の画像処理装置は、請求項１乃至８のいずれか１項に記載の発明の画像処理装置であって、前記判断手段は、注目フレームの直前フレームまでに各分割領域の各サブバンドの符号が連続して省略されたフレーム数をカウントする手段を含み、カウント値が所定値を越えるサブバンドの符号を省略すべきでないと判断することを特徴とするものである。
【００１７】
請求項１０記載の発明の画像処理装置は、請求項１乃至９のいずれか１項に記載の発明の画像処理装置であって、前記判断手段は、各分割領域での高画質領域の設定の有無を検出する手段を有し、高画質領域が設定されている分割領域のサブバンドの符号を省略すべきでないと判断することを特徴とするものである。
【００１８】
請求項１１記載の発明の画像処理装置は、請求項１乃至１０のいずれか１項に記載の発明の画像処理装置であって、サブバンドの符号の省略に関する情報を動画像に付加する手段をさらに有することを特徴とするものである。
【００１９】
請求項１２記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、各フレームの符号化データに、そのフレームにおけるサブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２０】
請求項１３記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、動画像のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２１】
請求項１４記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、動画像のファイルと関連付けられた別のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２２】
請求項１５記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２３】
請求項１６記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２４】
請求項１７記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２５】
請求項１８記載の発明の画像処理装置は、請求項１乃至１７のいずれか１項に記載の発明の画像処理装置であって、動画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像であることを特徴とするものである。
【００２６】
請求項１９記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする。
【００２７】
請求項２０記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする。
【００２８】
請求項２１記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２９】
請求項２２記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００３０】
請求項２３記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００３１】
【発明の実施の形態】
以下に説明する本発明の実施の形態においてはＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像が扱われる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームが前後のフレームと独立に圧縮されたものであり、各フレームの符号化データはＪＰＥＧ２０００に準拠している。まず、以下の説明に必要な限度で、ＪＰＥＧ２０００とＭｏｔｉｏｎ−ＪＰＥＧ２０００について概説する。
【００３２】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。符号化対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまり画像全体を１つのタイルとして処理することも可能である。
【００３３】
タイル画像は、圧縮率の向上を目的として、色空間変換／逆変換部１により、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３４】
色空間変換後の各コンポーネントの各タイル画像に対し、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される。
【００３５】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００３６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３により、サブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３７】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４により、サブバンド毎にエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Codingwith Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される（厳密には、１つのビットプレーンは３つのサブビットプレーンに分割し符号化される）。
【００３８】
最後のタグ処理部５で符号形成プロセスが実行される。まず、符号化形成プロセスの第１の段階で、エントロピー符号化／復号化部４で生成されたコードブロックの符号をまとめてパケットを作成する。次の段階で、生成されたパケットをプログレッション順序に従って並べられるとともに必要なタグ情報を付加することにより、所定のフォーマットの符号化データを生成する。
【００３９】
以上は符号化（エンコード）の場合である。復号（デコード）の場合には、図１のタグ処理部５に符号化データが入力され、丁度逆の処理によって各タイルの各コンポーネントの画像データが復元される。
【００４０】
このＪＰＥＧ２０００のアルゴリズムは高圧縮率での画質が良好であるほか、多くの特徴を有する。例えば、符号化データを復号伸長することなく、符号化データの一部の符号を削除可能であることである。また、選択した領域（ＲＯＩ；Region of Interest）の画質を他の領域より向上させる選択的領域画質向上機能がある。
【００４１】
ＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４２】
図４にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図５にタイルヘッダの構成を示す。図５の（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。図６にマーカ及びマーカセグメントの一覧表を示す。
【００４３】
図７にＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイル（ＭＪ２ファイル）のフォーマットを示す。図７において、１０はオプションのボックス（ｂｏｘ）であり、これはＪＰＥＧ２０００のファイルフォーマット（ＪＰ２ファイルフォーマット）のヘッダ情報のボックス１１と、ＪＰＥＧ２０００の１枚の静止画像の符号化データのボックス１２からなる。このボックス１２はオプションである。
【００４４】
図７において、１５がＭＪ２ファィルで必須のボックスであり、米Apple社のQuick-Time（登録商標）のファイルフォーマットのatomのボックス構造を継承している。すなわち、ボックス１５は、画像・音声データを内容とするmdatボックス１８、mdataボックス１８内のデータの参照情報や時間管理情報など、映像・音声再生のためのメタデータを内容とするmoovボックス１６、moovボックス１６の補足データを内容とするオプションのmoofボックス１７からなる。mdatボックス１８に格納される画像データとは、動画像の各フレームをＪＰＥＧ２０００のアルゴリズムにより符号化した、図３に示したフォーマットの符号化データ（コードストリーム）である。
【００４５】
以下、本発明の実施の形態について説明する。
図８は、本発明の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、データ記憶部１００に蓄積されているＭＪ２ファイル１０１に対して、動画像符号化データの符号量を削減するための変換を行い、この変換後のＭＪ２ファイル１０３をデータ記憶部１０２に蓄積し、このＭＪ２ファイル１０３の内容を通信部１０４によりＬＡＮ、ＷＡＮなどのネットワークあるいは他の伝送路を通じて外部装置へ送信する。ただし、データ記憶部１００とデータ記憶部１０２は同一のデータ記憶部であってもよい。
【００４６】
この画像処理装置は、ＭＪ２ファイル変換処理に関連する手段として、変換制御部１１０、デコード部１１２、係数メモリ１１４、差分検出部１１６、比較判定部１１８、符号化データ変換部１２０、作業用メモリ１２２を有する。
【００４７】
デコード部１１２は、例えばＪＰＥＧ２０００準拠の標準的なデコーダであり、動画像の各フレームの符号化データをエントロピー復号化し、各タイルの逆量子化前の各サブバンド係数を復元する。ただし、ここでは逆量子化前の各サブバンド係数を得ることを目的としているため、デコーダの逆量子化機能、ウェーブレット逆変換機能、色空間逆変換機能は利用されない。したがって、デコード部１１２は、そのような不要な機能を持たない構成としてもよい。
【００４８】
係数メモリ１１４は、注目している現フレームの直前のフレームの符号化データより復元された各タイルの各サブバンド係数を一時的に保存するための手段である。差分検出部１１６は、デコード部１１２によって復元された現フレームの各タイルの各サブバンド係数と、係数メモリ１１４に記憶されている直前フレームの対応タイルの対応サブバンド係数との差分を算出する手段である。比較判定部１１８は、差分検出部１１６により検出された前後２フレーム間の対応サブバンド係数の差分と、変換制御部１１０によって設定された閾値との比較判定を行う手段である。
【００４９】
符号化データ変換部１２０は、動画像の各フレームの符号化データを、変換制御部１１０より指示されたサブバンドの符号が省略された符号化データに変換する手段である。サブバンドの符号の省略に関する情報を各フレームの符号化データに付加する場合には、その情報付加操作も符号化データ変換部１２０で行われる。
【００５０】
変換制御部１１０は、符号を省略すべきサブバンドの決定のほか、ＭＪ２ファイル変換処理全体の制御を行う手段である。サブバンドの符号の省略に関する情報をＭＪ２ファイルのmoovボックスなどに付加する場合には、その情報付加操作も変換制御部１１０で行われる。サブバンドの符号の省略に関する情報をＭＪ２ファイルと別のファイルに記述することも可能であり、その場合には、そのファイルの生成も変換制御部１１０で行われる。１２２は変換制御部１１０及び符号化データ変換部１２０の作業用記憶域として利用されるメモリである。符号を省略すべきサブバンドの決定に関わるフラグやカウント値などの情報（後述）の記憶手段としてもメモリ１２２が利用される。
【００５１】
ＭＪ２ファイル変換処理の全体の流れは次の通りである。変換制御部１１０は、データ記憶部１００より対象となるＭＪ２ファイル１０１のmdatボックスに格納されている動画像の各フレームの符号化データをメモリ１２２に順次読み込み、それをデコード部１１２に送る。変換制御部１１０は、比較判定部１１８において差分と比較される閾値を設定するほか、差分検出部１１６により検出される差分値、比較判定部１１８による判定結果、デコード部１１２より渡されるＲＯＩ情報などに基づいて各フレームの各タイルの各サブバンドの符号を省略すべきか否か判断し、符号を省略すべきと判断したサブバンドの符号の省略を符号化データ変換部１２０に指示する。符号化データ変換部１２０は、メモリ１２２内の符号化データに対し、指示されたサブバンドの符号を省略する変換処理を施す。変換後の符号化データは、変換制御部１１０によりデータ記憶部１０２に格納される。
【００５２】
このようにしてＭＪ２ファイル１０１のmdatボックス内の動画像の全フレームの符号化データを変換してデータ記憶部１０２に格納した後、あるいはその前に、ＭＪ２ファイル１０１のmdatボックス内の音声符号化データやその他の内容が変換制御部１１０によりデータ記憶部１０２に複写され、元のＭＪ２ファイル１０１を変換したＭＪ２ファイル１０３がデータ記憶部１０２上に作成される。サブバンドの符号の省略に関する情報を例えばmoovボックスに記述する場合には、moovボックスの複写の際にその記述が行われる。サブバンドの符号の省略に関する情報を別ファイルに記述する場合には、そのファイルも変換後のＭＪ２ファイル１０３と関連付けた形でデータ記憶部１０２に書き込まれる。
【００５３】
図９を参照して説明する。ここでは、各フレームが４つのタイル（タイル番号０〜３）に分割されて符号化され、またウェーブレット変換のデコンポジション数は３であるとする。
【００５４】
図８に示す画像処理装置においては、図９の上段に示すように、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（量子化後の係数。ただし、量子化前の係数であってもよい）と、その前のフレーム（Ｎ−１）のタイル番号３のタイルの１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する符号化データ変換が行われる。同様に、次のフレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンド係数と、その前のフレーム（Ｎ）のタイル番号３の１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンドの符号を省略する変換が行われる。このような変換により、変化の少ない区間では符号量が効果的に削減される。
【００５５】
このような変換が行われた符号化データを受信する側の装置においては、図９の下段に示すように、フレーム（Ｎ）の復号の際に、そのタイル番号３のタイルの１ＨＨサブバンド係数は、その符号が省略されているため復元できない。そこで、その１ＨＨサブバンド係数（逆量子化前の係数）として、その前のフレーム（Ｎ−１）の復号により復元されたタイル番号３のタイルの１ＨＨサブバンド係数をそのまま用いる。同様に、次のフレーム（Ｎ＋１）の復号の際には、そのタイル番号３のタイルの１ＨＨサブバンド係数として、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（これは、この例では、フレーム（Ｎ−１）の対応タイルの１ＨＨサブバンド係数に等しい）をそのまま用いる。このように、符号が削除されたサブバンド係数として直前のフレームで用いられたサブバンド係数が利用されるが、符号が省略されたサブバンドでは前後フレーム間でサブバンド係数の差分が小さいため、サブバンドの符号が省略されない場合とほぼ同じ画像を再生することができる。したがって、受信側において違和感のない動画像の再生が可能である。
【００５６】
次に、サブバンドの符号を省略すべきか否かの判断方法について説明する。この実施の形態においては、次に述べる３つの判断方法を選択可能である。
【００５７】
第１の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１０の手順に従って符号を省略すべきサブバンドを決定する。
【００５８】
デコード部１１２において、符号化データのメインヘッダ又はタイルヘッダのＲＧＮマーカセグメントの解析により、あるいは、ＲＯＩ領域（高画質領域）におけるダイナミックレンジの増大により、各タイル毎にＲＯＩ領域の設定の有無を判断し、それを変換制御部１１０に通知する。すなわち、デコード部１１２は各タイルにおけるＲＯＩ領域の設定の有無を検出する手段としても機能する。
【００５９】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１００）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、直ちに注目タイルの処理を終わる。これは、ＲＯＩ領域は高画質を意図した領域であるので、符号の省略による画像品質の悪化を回避するためである。
【００６０】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１０５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１１０）。すなわち、そのサブバンドについて差分検出部１１６により算出されたサブバンド係数の差分が、閾値以下であるか否かをチェックする。差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、変換制御部１１０は、そのサブバンドの符号を省略すべきと判断し、その符号の省略を符号化データ変換部１２０に指示し（ステップＳ１１５）、ステップＳ１０５の手順に戻る。差分が閾値より大きいとの判定結果ならば、そのサブバンドの符号は省略すべきでないと判断し、省略指示を出すことなくステップＳ１０５の手順に戻る。以上の手順を全てサブバンドについて繰り返す。
【００６１】
なお、比較判定部１１８で比較判定に用いられる閾値は変換制御部１１０によって設定される。この閾値は、全てのサブバンド、全てのタイルについて同じ値を設定することも、サブバンドの種類及び／又はタイルの位置に応じた値を設定することもできる。この実施の形態では、ユーザは次の（１）から（４）の閾値設定方法を選択することができる。
【００６２】
（１）全てのサブバンド、全てのタイルについて同じ閾値を設定する方法。閾値はユーザが指定するができ、ユーザが指定しない場合にはデフォルト値が設定される。
（２）サブバンドの種類に応じた閾値を設定する方法。例えば、画像の高い周波数成分を重視したい場合には、高い周波数のサブバンドの閾値を小さめに設定して、高い周波数のサブバンドの符号の省略を抑制する。画像の階調を重視したい場合には、低い周波数のサブバンドの閾値を小さめに設定して、低い周波数のサブバンドの符号の省略を抑制する。このように、サブバンドの種類に応じた閾値を設定することにより、画像の特性やユーザの意図に応じてサブバンドの符号省略をコントロールすることができる利点がある。
（３）タイルの位置に応じた閾値を設定する方法。この方法によれば、画像内の領域に応じてサブバンドの符号省略をコントロールすることができる利点がある。例えば、一般に画像の中央部分は重要な部分であり、その部分の画質を重視したい場合には、中央部分に位置するタイルの閾値を小さめに設定し、画像の周辺部分に位置するタイルの閾値を大きめに設定することにより、中央部分のタイルのサブバンドの符号省略を抑制し、画像の周辺部分のタイルのサブバンドの符号省略を生じやすくすることができる。
（４）上記（２）と上記（３）を組み合わせる方法。
【００６３】
なお、このような閾値設定方法の選択は、次に述べる第２及び第３の判断方法においても同様である。コンポーネント毎に閾値を異ならせることも本発明に含まれるが、これについては後述する。
【００６４】
第２の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１１の手順に従って符号を省略すべきサブバンドを決定する。
【００６５】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１２０）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、注目タイルの処理を終わる。
【００６６】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１２５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１３０）。
【００６７】
差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ１３５）。メモリ１２２上には、各タイルの各サブバンドに１対１に応したカウント値が記憶されている。このカウント値は、現フレームの直前フレームまでに、対応したサブバンドの符号が連続して省略されたフレーム数を表すもので、変換制御部１１０により、動画像の最初のフレームの処理時に０にクリアされ、処理の進行中に適宜更新される。
【００６８】
注目しているサブバンドのカウント値が所定値以下ならば（ステップＳ１３５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドの符号を省略すべきと判断し、その省略を符号化データ変換部１２０に指示し（ステップＳ１４０）、対応するカウント値に１を加え（ステップＳ１４５）、ステップＳ１２５に戻る。
【００６９】
差分が閾値を越えているか、カウント値が所定値を越えているときには（ステップＳ１３５又はＳ１３５，Ｎｏ）、変換制御部１１０は注目するサブバンドの符号を省略すべきでないと判断する。この場合は、対応するカウント値を０にクリアし（ステップＳ１５０）、ステップＳ１２５に戻る。
【００７０】
ここで、ステップＳ１３５のチェックを行う目的について図９を参照して説明する。図９の上段に示すようにフレーム（Ｎ）とフレーム（Ｎ＋１）の同じタイルの同じサブバンドの符号が省略された場合、受信側においては、図９の下段に示すように、フレーム（Ｎ＋１）の復号の際に用いられる１ＨＨサブバンド係数は、直前のフレーム（Ｎ）で復元された１ＨＨサブバンド係数ではなく、さらに１フレーム前のフレーム（Ｎ−１）で復元された１ＨＨサブバンド係数である。フレーム（Ｎ−１）とフレーム（Ｎ）の間の１ＨＨサブバンド係数の差分は閾値以下であり、フレーム（Ｎ）とフレーム（Ｎ＋１）との間の１ＨＨサブバンド係数の差分は閾値以下である。しかし、フレーム（Ｎ−１）とフレーム（Ｎ＋１）の間の１ＨＨサブバンド係数の差分が閾値以下である保証はなく、その差分が大きいときには再生画像の品質が損なわれる。このような不都合を回避するため、上に述べたカウント値のチェックにより、同じタイルの同じサブバンドの符号の省略が連続して行われるフレーム数を制限している。
【００７１】
第３の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１２の手順に従って符号を省略すべきサブバンドを決定する。
【００７２】
メモリ１２２上に、各タイルの各サブバンドに１対１に対応した前記カウント値とフラグが置かれている。カウント値は前述のように動画像の処理開始時に変換制御部１１０によりクリアされる。
【００７３】
各フレームの処理開始時に、変換制御部１１０は全てのフラグをＯＦＦに設定する（ステップＳ２００）。次に、変換制御部１１０は、注目する１つのタイルを選択し（ステップＳ２０５）、そのタイルにＲＯＩ領域が設定されているかチェックする（ステップＳ２１０）。ＲＯＩ領域が設定されているならば、ステップＳ２０５に戻る。
【００７４】
注目したタイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、注目したタイルの１つのサブバンドを選択し（ステップＳ２１５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ２２０）。差分が閾値を越えているという判定結果ならば（ステップＳ２２０，Ｎｏ）、ステップＳ２１５に戻り、別のサブバンドを選択する。
【００７５】
差分が閾値以下であるという判定結果であるならば（ステップＳ２２０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ２２５）。カウント値が所定値を越えているならば（ステップＳ２２５，Ｎｏ）、ステップＳ２１５に戻る。
【００７６】
サブバンドのカウント値が所定値以下ならば（ステップＳ２２５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドを符号省略の候補とし、対応したフラグをＯＮに設定するとともに、注目しているサブバンドに関し差分検出部１１６により算出された差分値をメモリ１２２に保存し（ステップＳ２３０）、ステップＳ２１５に戻る。
【００７７】
１つのタイルについて手順を終了すると、ステップＳ２０５に戻り別のタイルを選択し、そのサブバンドについて同様の手順を繰り返す。
【００７８】
以上の手順を全てのタイルについて繰り返すと、ステップＳ２３５に進む。このステップＳ２３５において、変換制御部１１０は、ＯＮに設定されたフラグに対応したサブバンドつまり候補とされたサブバンドについて、ステップＳ２３０で保存された差分値を比較し、差分値の小さいＮ個のサブバンドの符号を省略すべきと判断し（フラグがＯＮのサブバンド数がＮ個に満たないときには、それらサブバンド全ての符号を省略すべきと判断する）、そのサブバンドの符号の省略を符号化データ変換部１２０に指示する。次に、符号を省略すべきと判断したサブバンドに対応したカウント値に１を加え、他のサブバンドに対応したカウント値を０にクリアする（ステップＳ２４０）。
【００７９】
変換制御部１１０は、変換後ＭＪ２ファイル１０３の送信に使用されるネットワーク、その他の伝送路の伝送容量に応じてＮの値を設定する。すなわち、伝送容量が大きいときにはＮを小さめの値に設定して符号が省略されるサブバンド数を減らし、伝送容量が小さいときにはＮを大きめの値に設定して符号が省略されるサブバンド数を増加させる。言うまでもなく、画像処理装置のユーザがＮの値を指定することも可能である。
【００８０】
さて、符号化データの復号時に、サブバンドの符号量などからサブバンド符号の省略を認識することも可能であるが、より確実な認識を可能にするために、この実施の形態においては、前述のようにサブバンドの符号の省略を示す情報を動画像に付加する。
【００８１】
ここで、サブバンドの符号の省略を示す情報について説明する。この情報は、例えば、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１において標準化作業が進行している、マルチメディア・コンテンツに対するメタデータの表記に関する国際標準規格ＭＰＥＧ−７（Multimedia Content Description Interface；ISO/IEC 15938-1〜8）に従って記述される。先頭から１００フレーム目のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する場合の記述例を次に示す（先頭の数字は便宜上付加した行番号である）。
【００８２】
1 <?xml version="1.0"encoding="Shift_JIS"?>
2 <Mpeg7 xsi:schemaLocation="urn:mpeg:mpeg7:schema:2001
Mpeg7-2001.xsd" xmlns="urn:mpeg:mpeg7:schema:2001"
xmlns:xsi="http://www.w3.org/2001/XML/Schema-instance"
xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001">
3 <DescriptionUnit
xsi:type="VideoSegmentType"
id="descriptionUnit-1">
4 <TextAnnotation
type="OmittedSubbandNo">
5 <!--省略されたサブバンドを記述する-->
6 <FreeTextAnnotation>3 1HH</FreeTextAnnotation>
7 </TextAnnotiaion>
8 <Semantic
id="semantic=2">
9 <!--省略されたサブバンドについての記述-->
10 <Label>
11 <Name>OnittedSubband</Name>
12 </Lable>
13 </Semantic>
14 <MediaTime>
15 <!--先頭からのフレーム数-->
16 <MediaRelTipePoint>P0DT0H0M0S100NOF></MediaRelTimePoint>
17 </MeadiaTime>
18 </DescriptionUnit>
19 </Mpeg7>
【００８３】
このようなＭＰＥＧ−７による記述は、前述したように、例えば、各フレームの符号化データのメインヘッダ又はタイルヘッダのＣＯＭマーカセグメントに記述され、ＭＪ２ファイルのmoovボックスなどに集約して記述され、あるいは、独立したファイルに記述される。なお、コメント行は省略可能である。また、タイルヘッダに記述する場合には、タイル番号の指定を省くことも可能であり、例えば６行目の記述を
<FreeTextAnnotiaion>1HH</FreeTextAnnotation>
と変更してもよい。タイルヘッダ又はメインヘッダに記述する場合には、フレーム番号も自明であるので１４行目から１７行目の記述も省略可能である。
【００８４】
ここまでは、説明を簡略にするためコンポーネントに言及しなかった。ここで、動画像の符号化データが複数のコンポーネントの符号からなる場合について説明する。
【００８５】
本発明の１つの態様によれば、個々のコンポーネントは独立に扱われる。すなわち、各コンポーネント毎にフレーム間で各サブバンド係数の差分の検出と閾値との比較が行われ、図１０、図１１又は図１２に示した手順に従って、コンポーネント毎にサブバンドの符号を省略すべきか否かが判断され、省略すべきと判断されたコンポーネントのサブバンドの符号が省略される。この態様において、サブバンド係数の差分の判定閾値として、全てのコンポーネントで同じ値を設定することも、コンポーネントによって異なった値を設定することもできる。後者によれば、例えば、Ｙ，Ｃｒ，Ｃｂの３コンポーネントからなる符号化データの場合に、符号省略による影響が目立ちやすいＹ（輝度）コンポーネントに用いられる差分の判定閾値を、Ｃｒ，Ｃｂ（色差）コンポーネントに用いられる差分の判定閾値より小さくすることにより、Ｃｒ，Ｃｂコンポーネントでサブバンドの符号省略を生じやすくし、Ｙコンポーネントのサブバンドの符号省略を抑制することができる。
【００８６】
もう１つの態様によれば、画像品質への影響が最も大きな１つのコンポーネント（例えばＹ，Ｃｒ，Ｃｂの３コンポーネントの場合のＹコンポーネント）についてフレーム間で各サブバンド係数の差分が検出され、図１０、図１１又は図１２の手順に従ってサブバンドの符号を省略すべきか否かが判断される。省略すべきと判断されたサブバンドについては全コンポーネントの符号が省略される。
【００８７】
もう１つの態様によれば、全てのコンポーネントのサブバンド係数の差分がそれぞれに検出される。サブバンドの符号を省略するか否かは図１０、図１１又は図１２の手順によって判断されるが、サブバンドの全コンポーネントの差分がそれぞれの閾値以下となった場合にのみ、そのサブバンドの差分が閾値以下であるとみなされる。そして、符号を省略すべきと判断されたサブバンドについては、全コンポーネントの符号が省略される。この態様は、不自然な色調変化を生じするような符号の省略を回避できる利点がある。この態様においても、サブバンド係数の差分と比較される閾値として、全コンポーネントに同じ値を設定することも、コンポーネント別の値を設定することもできる。
【００８８】
なお、いずれの態様においても、サブバンド係数の差分の判定閾値として、前述のように、タイルの位置及び／又はサブバンド種類に応じて異なった値を用いることも、同一の値を用いることも可能である。
【００８９】
図８に示した画像処理装置においては、ＭＪ２ファイルの内容を送信する前に、動画像の全フレームの符号化データについてフレーム間で違いの小さいサブバンドの符号を省略する変換を行った。しかし、送信時にリアルタイルに各フレームの符号化データの変換を行う構成とすることも可能である。このような構成の画像処理装置について図１３を参照して説明する。
【００９０】
図１３において、通信部１０４はデータ記憶部１００よりＭＪ２ファイル１０１の内容を送信バッファ２０２に読み込み順次送信するが、この送信バッファ２０２に読み込まれた動画像の各フレームの符号化データに対し、サブバンド符号省略処理部２００により前フレームとの差分の小さいサブバンドの符号を省略する処理が施され、この処理後の符号化データが送信される。
【００９１】
このサブバンド符号省略処理部２００は、変換制御部１１０Ａ、デコード部１１２Ａ、係数メモリ１１４Ａ、差分検出部１１６Ａ、比較判定部１１８Ａ、符号化データ変換部１２０Ａ、メモリ１２２Ａからなる。これら各部の作用は図８中の対応要素と同様であるので説明を繰り返さない。ただし、サブバンド符号省略処理部２００は動画像の各フレームの符号化データに対する処理のみを行うため、変換制御部１１０Ａは送信バッファ２０２よりフレーム単位で符号化データを読み込み、その変換後の符号化データを送信バッファ２０２に書き込むだけで、ＭＪ２ファィル全体の読み書きに関する制御には関与しない。
【００９２】
以上に説明した本発明の画像処理装置より送信されるＭＪ２ファイルの内容を受信し、動画像及び音声を再生する本発明の画像処理装置について、図１４を参照し説明する。
【００９３】
ここに示す画像処理装置は、通信部３００、データ記憶部３０２、再生制御部３０４、画像デコード部３０６、ＭＰＥＧ７デコーダ３０８、音声デコード部３１０、表示制御部３１１、画像表示部３１２及び音声出力部３１４から構成される。
【００９４】
通信部３００によって、ネットワーク、その他の伝送路を通じ、前述した本発明の画像処理装置より、ＭＪ２ファイルの内容が（サブハンド符号省略の情報が記述された別ファイルがあれば、そのファイルの内容も）受信されてデータ記憶部３０２に記憶される。
【００９５】
再生制御部３０４は、受信されたＭＪ２ファイルのmoovボックス及びmoofボックスの情報に従って、mdatボックスに格納されている動画像符号化データ及び音声符号化データのデコード及び出力を制御し、動画像と音声を同期させて画像表示部３１２と音声出力部３１４に出力させる。ＭＰＥＧ７デコーダ３０８は、動画像のサブバンド符号省略に関するＭＰＥＧ−７記述をデコードし、サブバンドの符号の省略を認識する手段であり、再生制御部３０４及び画像デコード部３０６に利用される。
【００９６】
画像デコード部３０６は、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数を利用する機能が付加されたＪＰＥＧ２０００準拠のデコーダからなる。この付加機能に関連して、画像デコード部３０６は１フレーム前のサブバンド係数を保存するための係数メモリ３０７を備える。画像デコード部３０６は、再生制御部３０４より入力される動画像の各フレームの符号化データの復号を行うが、符号化データのメインヘッダ及びタイルヘッダのＣＯＭマーカセグメントの内容はＭＰＥＧ７デコーダ３０８によっても解釈される。ＣＯＭマーカセグメントにサブバンドの符号省略のＭＰＥＧ−７記述があると、符号が省略されたサブバンドが画像デコード部３０６に通知され、画像デコード部３０６は、その符号が省略されたサブバンドの係数として、前フレームで用いられた係数メモリ３０７内の対応サブバンドの係数を利用する。
【００９７】
moovボックスや別ファイルに含まれているＭＰＥＧ−７記述もＭＰＥＧ７デコーダ３０８により解釈される。サブバンド符号省略のＭＰＥＧ−７記述が含まれている場合には、その内容が再生制御部３０４に通知され、再生制御部３０４は各フレームのデコード時に、符号が省略されたサブバンドを画像デコード部３０６に通知する。画像デコード部３０６で復元されたフレーム画像は表示制御部３１１を介して画像表示部３１２に表示される。
【００９８】
図８、図１３及び図１４に示した本発明の画像処理装置の全ての手段又は一部手段の機能、あるいは、同装置における処理の手順の全部又は一部を、一般的なパソコンなどのコンピュータ上でプログラムにより実現可能であることは明らかである。そのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【００９９】
図１５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は撮像手段を持つ画像処理装置、より具体的には、デジタルビデオカメラや動画撮影機能を持つデジタルスチルカメラなどの電子カメラに係るものである。
【０１００】
図１５において、４００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。４０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系４００により結像される光学像を色分解してから光量に応じた電気信号に変換する。４０２はイメージャ４０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【０１０１】
４０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ４０３は、ＣＤＳ・Ａ／Ｄ変換部４０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２、表示装置４０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示装置４０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【０１０２】
以上に説明した撮像光学系４００、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２及び画像プロセッサ４０３は、静止画像又は動画像を撮影して画像データを取得する撮像手段を構成している。
【０１０３】
４０８はＪＰＥＧ２０００準拠のエンコーダであり、これは撮影された画像データの符号化処理に利用される。４０９はＪＰＥＧ２０００準拠のデコーダであり、ＪＰＥＧ２０００準拠の符号化データの復号処理に利用される。
【０１０４】
４１２は記録媒体４１３に対する情報の書き込み／読み出しを行う媒体記録部である。この媒体記録部４１２により、静止画像撮影時には画像の符号化データはＪＰ２ファイルとして記録媒体４１３に記録され、動画像撮影時には画像の符号化データはＭＪ２ファイルとして記録媒体４１３に記録される。記録媒体４１３は例えば各種メモリカードである。４１４は外部インターフェース部である。この電子カメラは、外部インターフェース部４１４を介し、外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。
【０１０５】
４０６はシステムコントローラであり、マイクロコンピュータからなる。このシステムコントローラ４０６は、操作部４０７から入力されるユーザの操作情報や画像プロセッサ４０３から与えられる情報などに応答して、撮像光学系４００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ４０３、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０などの制御を行う。４１０はシステムコントローラ４０６のプログラムが記録されたＲＯＭである。４０５はＲＡＭであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ４０３やシステムコントローラ４０６、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０の作業記憶域として利用される。操作部４０７は、電子カメラ装置の操作のための各種の操作ボタン（スイッチ）などからなる。
【０１０６】
ＭＪ２ファイル変換部４２０は、図８に示した画像処理装置と同様のＭＪ２ファイル変換処理を行うための手段である。ＭＪ２ファイル変換部４２０が破線で表されているのは、この例ではＭＪ２ファイル変換部４２０の機能が、デコーダ４０９、ＲＡＭ４１１と、システムコントローラ４０６上で動作するプログラム（ＲＯＭ４１０に置かれる）によって実現されるからである。
【０１０７】
ただし、ＭＪ２ファイル変換部４２０を、図８に示すような構成のハードウェアとして実現することも可能であり、このような態様も本発明に包含される。このような態様において、図８に示すデコード部１１２としてデコーダ４０９を、メモリ１２２や係数メモリ１１４としてＲＡＭ４１１を、それぞれ利用することができる。
【０１０８】
動画像撮影時には、システムコントローラ４０６の制御下で、画像プロセッサ４０４により処理された各フレームの画像データがエンコーダ４０８により符号化され、その符号化データが媒体記録部４１２により記録媒体４１３に順次記録される。最終フレームの記録後に、システムコントローラ４０６により、ＭＪ２ファイルのmoovボックスやmoofボックスの情報が記録媒体４１３に書き込まれ、動画像はＭＪ２ファイルとして媒体記録部４１３に格納される。
【０１０９】
記録媒体４１３の空き容量不足などの理由で、記録されているＭＪ２ファイルのサイズを縮小したい場合、ユーザは、１つ又は全部のＭＪ２ファイルを指定し、差分の小さいサブバンドの符号を省略するＭＪ２ファイル変換処理の実行を操作部４０７より指示することができる。この指示が与えられた場合、システムコントローラ４０６は、ＭＪ２ファイルを指定してＭＪ２ファイル変換部４２０を起動する。ＭＪ２ファイル変換部４２０は、媒体記録部４１２を介して、指定されたＭＪ２ファイルをアクセスし、フレーム間で差分の小さいサブバンドの符号を省略する変換処理を実行する。変換後のＭＪ２ファイルは、記録媒体４１３上の元のＭＪ２ファイルに上書きされる形で記録されるか、別のファイルとして記録されるが、そのいずれの形で記録するかはユーザからの指定による。サブバンド符号省略の情報は、前述したように、例えばＭＰＥＧ−７記述の形で符号化データのメインヘッダ又はタイルヘッダに付加されるか、ＭＪ２ファイルのmoovボックスなどに付加されるか、ＭＪ２ファイルと関連付けた別ファイルとして付加される。
【０１１０】
図１５には図示されていないが、この電子カメラは、記録媒体４１３に記録された動画像を再生するための図１４に示すような機構を有する。この機構は、デコーダ４０９と、システムコントローラ４０４上で動作するプログラムにより実現される。動画像の再生時に、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数が利用されることは前述の通りである。
【０１１１】
なお、本発明はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像に好適に適用できるが、同様のサブバンド単位の符号省略が可能な他のフォーマットの動画像に対しても本発明を同様に適用できることは以上の説明から明白である。
【０１１２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などにおいて、サブバンド単位の符号省略によって変化の少ない区間の符号量を効果的に削減することができ、したがって、動画像を伝送するための伝送路の負荷を軽減し、また、動画像を蓄積するための記憶装置の利用効率を向上させることができる。符号量削減後においても動画像の違和感のない再生が可能である。動画像の伝送路の伝送容量や記憶装置の記憶容量などに応じて、各フレームで符号が省略されるサブバンド数をコントロールすることができる。多数フレームにわたって同じサブバンドの符号が連続して省略されることによる画質の悪化を回避できる。高画質領域（ＲＯＩ領域）の画質を悪化させることなく符号量の削減を行うことができる。サブバンドの種類、タイルの位置、コンポーネントに応じて符号の省略をコントロールすることができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図４】 メインヘッダの構造を示す図である。
【図５】 タイルヘッダの構造を示す図である。
【図６】 マーカ及びマーカセグメントの一覧表を示す図である。
【図７】 ＭＪ２ファイルフォーマットを示す図である。
【図８】 本発明に係る画像処理装置の一例を説明するためのブロック図である。
【図９】 送信側におけるサブバンドの符号省略と、受信側における符号が省略されたサブバンドの処理の説明図である。
【図１０】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１１】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１２】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１３】 本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１４】 本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１５】 本発明に係る画像処理装置の他の一例を説明するためのブロック図である。
【符号の説明】
１０１ 元のＭＪ２ファイル
１０２ 変換後のＭＪ２ファイル
１０４ 通信部
１１０，１１０Ａ 変換制御部
１１２，１１２Ａ デコード部
１１４，１１４Ａ 係数メモリ
１１６，１１６Ａ 差分検出部
１１８，１１８Ａ 比較判定部
１２０，１２０Ａ 符号化データ変換部
１２２，１２２Ａ メモリ
３００ 通信部
３０２ データ記憶部
３０４ 再生制御部
３０６ 画像デコード部
３０８ ＭＰＥＧ７デコーダ
３１０ 音声デコード部
３１１ 表示制御部
３１２ 画像表示部
３１４ 音声出力部
【発明の属する技術分野】
本発明は、動画像を扱う各種の画像処理装置に係り、特に、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置において動画像の符号量を削減する技術に関する。
【０００２】
【従来の技術】
画像処理装置においては、画像データは、その記録又は伝送に先立って符号化されるのが普通である。現在、画像データの符号化方式として、静止画像にはＪＰＥＧが、動画像にはＭＰＥＧが一般的に利用されている。
【０００３】
このＪＰＥＧとＭＰＥＧに代わる符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば、非特許文献１を参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、個々のフレームに関してはＪＰＥＧ２０００に準拠している。
【０００４】
ウェーブレット変換を利用して画像の符号化を行う装置に関し、ウェーブレット変換符号化の単位であるブロック毎に前後のフレーム間で画像の誤差を検出し、誤差が小さいブロックのウェーブレット変換符号化を行わず、したがって、そのブロックの符号を送信しない技術が特許文献１に記載されている。
【０００５】
【特許文献１】
特開２００１−４５４８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、ＭＰＥＧのようなフレーム間予測や動き補償予測を行わず、全てのフレームを前後のフレームから独立して符号化を行う方式であるため、変化の少ないフレームが連続する区間では符号化データの冗長度が大きくなる傾向がある。
【０００７】
本発明は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像において、変化の少ないフレームが連続する区間における符号化データの冗長度を減らして動画像の符号量を効果的に削減する、新規な画像処理装置及び方法を提供することを目的とする。本発明のもう１つの目的は、本発明による画像処理装置又は方法により符号量が削減された動画像の各フレームを支障なく復元するための画像処理装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする。
【０００９】
請求項２記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする。
【００１０】
請求項３記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断、並びに、前記変換手段によるサブバンドの符号の省略は、各コンポーネント毎に独立に行われることを特徴とするものである。
【００１１】
請求項４記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断は、複数のコンポーネント中の１つの特定のコンポーネントについて行われ、前記変換手段によりサブバンドの全コンポーネントの符号が省略されることを特徴とするものである。
【００１２】
請求項５記載の発明の画像処理装置は、請求項１又２に記載の発明の画像処理装置であって、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出及び前記判断手段による比較判定は各コンポーネント毎に独立に行われ、前記判断手段により全コンポーネントの差分が閾値以下のサブバンドが符号を省略するサブバンド又はその候補とされ、前記変換手段によるサブバンドの符号の省略は全コンポーネントについて行われることを特徴とするものである。
【００１３】
請求項６記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、差分と比較される閾値としてサブバンドの種類に応じた値が設定されることを特徴とするものである。
【００１４】
請求項７記載の発明の画像処理装置は、請求項１又は２に記載の発明の画像処理装置であって、差分と比較される閾値として分割領域の位置に応じた値が設定されることを特徴とするものである。
【００１５】
請求項８記載の発明の画像処理装置は、請求項３又は５に記載の発明の画像処理装置であって、差分と比較される閾値としてコンポーネントに応じた値が設定されることを特徴とするものである。
【００１６】
請求項９記載の発明の画像処理装置は、請求項１乃至８のいずれか１項に記載の発明の画像処理装置であって、前記判断手段は、注目フレームの直前フレームまでに各分割領域の各サブバンドの符号が連続して省略されたフレーム数をカウントする手段を含み、カウント値が所定値を越えるサブバンドの符号を省略すべきでないと判断することを特徴とするものである。
【００１７】
請求項１０記載の発明の画像処理装置は、請求項１乃至９のいずれか１項に記載の発明の画像処理装置であって、前記判断手段は、各分割領域での高画質領域の設定の有無を検出する手段を有し、高画質領域が設定されている分割領域のサブバンドの符号を省略すべきでないと判断することを特徴とするものである。
【００１８】
請求項１１記載の発明の画像処理装置は、請求項１乃至１０のいずれか１項に記載の発明の画像処理装置であって、サブバンドの符号の省略に関する情報を動画像に付加する手段をさらに有することを特徴とするものである。
【００１９】
請求項１２記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、各フレームの符号化データに、そのフレームにおけるサブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２０】
請求項１３記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、動画像のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２１】
請求項１４記載の発明の画像処理装置は、請求項１１に記載の発明の画像処理装置であって、動画像のファイルと関連付けられた別のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とするものである。
【００２２】
請求項１５記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２３】
請求項１６記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２４】
請求項１７記載の発明の画像処理装置は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２５】
請求項１８記載の発明の画像処理装置は、請求項１乃至１７のいずれか１項に記載の発明の画像処理装置であって、動画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像であることを特徴とするものである。
【００２６】
請求項１９記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする。
【００２７】
請求項２０記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする。
【００２８】
請求項２１記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００２９】
請求項２２記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００３０】
請求項２３記載の発明の画像処理方法は、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする。
【００３１】
【発明の実施の形態】
以下に説明する本発明の実施の形態においてはＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像が扱われる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームが前後のフレームと独立に圧縮されたものであり、各フレームの符号化データはＪＰＥＧ２０００に準拠している。まず、以下の説明に必要な限度で、ＪＰＥＧ２０００とＭｏｔｉｏｎ−ＪＰＥＧ２０００について概説する。
【００３２】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。符号化対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまり画像全体を１つのタイルとして処理することも可能である。
【００３３】
タイル画像は、圧縮率の向上を目的として、色空間変換／逆変換部１により、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３４】
色空間変換後の各コンポーネントの各タイル画像に対し、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される。
【００３５】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００３６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３により、サブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３７】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４により、サブバンド毎にエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Codingwith Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される（厳密には、１つのビットプレーンは３つのサブビットプレーンに分割し符号化される）。
【００３８】
最後のタグ処理部５で符号形成プロセスが実行される。まず、符号化形成プロセスの第１の段階で、エントロピー符号化／復号化部４で生成されたコードブロックの符号をまとめてパケットを作成する。次の段階で、生成されたパケットをプログレッション順序に従って並べられるとともに必要なタグ情報を付加することにより、所定のフォーマットの符号化データを生成する。
【００３９】
以上は符号化（エンコード）の場合である。復号（デコード）の場合には、図１のタグ処理部５に符号化データが入力され、丁度逆の処理によって各タイルの各コンポーネントの画像データが復元される。
【００４０】
このＪＰＥＧ２０００のアルゴリズムは高圧縮率での画質が良好であるほか、多くの特徴を有する。例えば、符号化データを復号伸長することなく、符号化データの一部の符号を削除可能であることである。また、選択した領域（ＲＯＩ；Region of Interest）の画質を他の領域より向上させる選択的領域画質向上機能がある。
【００４１】
ＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４２】
図４にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図５にタイルヘッダの構成を示す。図５の（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。図６にマーカ及びマーカセグメントの一覧表を示す。
【００４３】
図７にＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイル（ＭＪ２ファイル）のフォーマットを示す。図７において、１０はオプションのボックス（ｂｏｘ）であり、これはＪＰＥＧ２０００のファイルフォーマット（ＪＰ２ファイルフォーマット）のヘッダ情報のボックス１１と、ＪＰＥＧ２０００の１枚の静止画像の符号化データのボックス１２からなる。このボックス１２はオプションである。
【００４４】
図７において、１５がＭＪ２ファィルで必須のボックスであり、米Apple社のQuick-Time（登録商標）のファイルフォーマットのatomのボックス構造を継承している。すなわち、ボックス１５は、画像・音声データを内容とするmdatボックス１８、mdataボックス１８内のデータの参照情報や時間管理情報など、映像・音声再生のためのメタデータを内容とするmoovボックス１６、moovボックス１６の補足データを内容とするオプションのmoofボックス１７からなる。mdatボックス１８に格納される画像データとは、動画像の各フレームをＪＰＥＧ２０００のアルゴリズムにより符号化した、図３に示したフォーマットの符号化データ（コードストリーム）である。
【００４５】
以下、本発明の実施の形態について説明する。
図８は、本発明の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、データ記憶部１００に蓄積されているＭＪ２ファイル１０１に対して、動画像符号化データの符号量を削減するための変換を行い、この変換後のＭＪ２ファイル１０３をデータ記憶部１０２に蓄積し、このＭＪ２ファイル１０３の内容を通信部１０４によりＬＡＮ、ＷＡＮなどのネットワークあるいは他の伝送路を通じて外部装置へ送信する。ただし、データ記憶部１００とデータ記憶部１０２は同一のデータ記憶部であってもよい。
【００４６】
この画像処理装置は、ＭＪ２ファイル変換処理に関連する手段として、変換制御部１１０、デコード部１１２、係数メモリ１１４、差分検出部１１６、比較判定部１１８、符号化データ変換部１２０、作業用メモリ１２２を有する。
【００４７】
デコード部１１２は、例えばＪＰＥＧ２０００準拠の標準的なデコーダであり、動画像の各フレームの符号化データをエントロピー復号化し、各タイルの逆量子化前の各サブバンド係数を復元する。ただし、ここでは逆量子化前の各サブバンド係数を得ることを目的としているため、デコーダの逆量子化機能、ウェーブレット逆変換機能、色空間逆変換機能は利用されない。したがって、デコード部１１２は、そのような不要な機能を持たない構成としてもよい。
【００４８】
係数メモリ１１４は、注目している現フレームの直前のフレームの符号化データより復元された各タイルの各サブバンド係数を一時的に保存するための手段である。差分検出部１１６は、デコード部１１２によって復元された現フレームの各タイルの各サブバンド係数と、係数メモリ１１４に記憶されている直前フレームの対応タイルの対応サブバンド係数との差分を算出する手段である。比較判定部１１８は、差分検出部１１６により検出された前後２フレーム間の対応サブバンド係数の差分と、変換制御部１１０によって設定された閾値との比較判定を行う手段である。
【００４９】
符号化データ変換部１２０は、動画像の各フレームの符号化データを、変換制御部１１０より指示されたサブバンドの符号が省略された符号化データに変換する手段である。サブバンドの符号の省略に関する情報を各フレームの符号化データに付加する場合には、その情報付加操作も符号化データ変換部１２０で行われる。
【００５０】
変換制御部１１０は、符号を省略すべきサブバンドの決定のほか、ＭＪ２ファイル変換処理全体の制御を行う手段である。サブバンドの符号の省略に関する情報をＭＪ２ファイルのmoovボックスなどに付加する場合には、その情報付加操作も変換制御部１１０で行われる。サブバンドの符号の省略に関する情報をＭＪ２ファイルと別のファイルに記述することも可能であり、その場合には、そのファイルの生成も変換制御部１１０で行われる。１２２は変換制御部１１０及び符号化データ変換部１２０の作業用記憶域として利用されるメモリである。符号を省略すべきサブバンドの決定に関わるフラグやカウント値などの情報（後述）の記憶手段としてもメモリ１２２が利用される。
【００５１】
ＭＪ２ファイル変換処理の全体の流れは次の通りである。変換制御部１１０は、データ記憶部１００より対象となるＭＪ２ファイル１０１のmdatボックスに格納されている動画像の各フレームの符号化データをメモリ１２２に順次読み込み、それをデコード部１１２に送る。変換制御部１１０は、比較判定部１１８において差分と比較される閾値を設定するほか、差分検出部１１６により検出される差分値、比較判定部１１８による判定結果、デコード部１１２より渡されるＲＯＩ情報などに基づいて各フレームの各タイルの各サブバンドの符号を省略すべきか否か判断し、符号を省略すべきと判断したサブバンドの符号の省略を符号化データ変換部１２０に指示する。符号化データ変換部１２０は、メモリ１２２内の符号化データに対し、指示されたサブバンドの符号を省略する変換処理を施す。変換後の符号化データは、変換制御部１１０によりデータ記憶部１０２に格納される。
【００５２】
このようにしてＭＪ２ファイル１０１のmdatボックス内の動画像の全フレームの符号化データを変換してデータ記憶部１０２に格納した後、あるいはその前に、ＭＪ２ファイル１０１のmdatボックス内の音声符号化データやその他の内容が変換制御部１１０によりデータ記憶部１０２に複写され、元のＭＪ２ファイル１０１を変換したＭＪ２ファイル１０３がデータ記憶部１０２上に作成される。サブバンドの符号の省略に関する情報を例えばmoovボックスに記述する場合には、moovボックスの複写の際にその記述が行われる。サブバンドの符号の省略に関する情報を別ファイルに記述する場合には、そのファイルも変換後のＭＪ２ファイル１０３と関連付けた形でデータ記憶部１０２に書き込まれる。
【００５３】
図９を参照して説明する。ここでは、各フレームが４つのタイル（タイル番号０〜３）に分割されて符号化され、またウェーブレット変換のデコンポジション数は３であるとする。
【００５４】
図８に示す画像処理装置においては、図９の上段に示すように、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（量子化後の係数。ただし、量子化前の係数であってもよい）と、その前のフレーム（Ｎ−１）のタイル番号３のタイルの１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する符号化データ変換が行われる。同様に、次のフレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンド係数と、その前のフレーム（Ｎ）のタイル番号３の１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンドの符号を省略する変換が行われる。このような変換により、変化の少ない区間では符号量が効果的に削減される。
【００５５】
このような変換が行われた符号化データを受信する側の装置においては、図９の下段に示すように、フレーム（Ｎ）の復号の際に、そのタイル番号３のタイルの１ＨＨサブバンド係数は、その符号が省略されているため復元できない。そこで、その１ＨＨサブバンド係数（逆量子化前の係数）として、その前のフレーム（Ｎ−１）の復号により復元されたタイル番号３のタイルの１ＨＨサブバンド係数をそのまま用いる。同様に、次のフレーム（Ｎ＋１）の復号の際には、そのタイル番号３のタイルの１ＨＨサブバンド係数として、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（これは、この例では、フレーム（Ｎ−１）の対応タイルの１ＨＨサブバンド係数に等しい）をそのまま用いる。このように、符号が削除されたサブバンド係数として直前のフレームで用いられたサブバンド係数が利用されるが、符号が省略されたサブバンドでは前後フレーム間でサブバンド係数の差分が小さいため、サブバンドの符号が省略されない場合とほぼ同じ画像を再生することができる。したがって、受信側において違和感のない動画像の再生が可能である。
【００５６】
次に、サブバンドの符号を省略すべきか否かの判断方法について説明する。この実施の形態においては、次に述べる３つの判断方法を選択可能である。
【００５７】
第１の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１０の手順に従って符号を省略すべきサブバンドを決定する。
【００５８】
デコード部１１２において、符号化データのメインヘッダ又はタイルヘッダのＲＧＮマーカセグメントの解析により、あるいは、ＲＯＩ領域（高画質領域）におけるダイナミックレンジの増大により、各タイル毎にＲＯＩ領域の設定の有無を判断し、それを変換制御部１１０に通知する。すなわち、デコード部１１２は各タイルにおけるＲＯＩ領域の設定の有無を検出する手段としても機能する。
【００５９】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１００）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、直ちに注目タイルの処理を終わる。これは、ＲＯＩ領域は高画質を意図した領域であるので、符号の省略による画像品質の悪化を回避するためである。
【００６０】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１０５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１１０）。すなわち、そのサブバンドについて差分検出部１１６により算出されたサブバンド係数の差分が、閾値以下であるか否かをチェックする。差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、変換制御部１１０は、そのサブバンドの符号を省略すべきと判断し、その符号の省略を符号化データ変換部１２０に指示し（ステップＳ１１５）、ステップＳ１０５の手順に戻る。差分が閾値より大きいとの判定結果ならば、そのサブバンドの符号は省略すべきでないと判断し、省略指示を出すことなくステップＳ１０５の手順に戻る。以上の手順を全てサブバンドについて繰り返す。
【００６１】
なお、比較判定部１１８で比較判定に用いられる閾値は変換制御部１１０によって設定される。この閾値は、全てのサブバンド、全てのタイルについて同じ値を設定することも、サブバンドの種類及び／又はタイルの位置に応じた値を設定することもできる。この実施の形態では、ユーザは次の（１）から（４）の閾値設定方法を選択することができる。
【００６２】
（１）全てのサブバンド、全てのタイルについて同じ閾値を設定する方法。閾値はユーザが指定するができ、ユーザが指定しない場合にはデフォルト値が設定される。
（２）サブバンドの種類に応じた閾値を設定する方法。例えば、画像の高い周波数成分を重視したい場合には、高い周波数のサブバンドの閾値を小さめに設定して、高い周波数のサブバンドの符号の省略を抑制する。画像の階調を重視したい場合には、低い周波数のサブバンドの閾値を小さめに設定して、低い周波数のサブバンドの符号の省略を抑制する。このように、サブバンドの種類に応じた閾値を設定することにより、画像の特性やユーザの意図に応じてサブバンドの符号省略をコントロールすることができる利点がある。
（３）タイルの位置に応じた閾値を設定する方法。この方法によれば、画像内の領域に応じてサブバンドの符号省略をコントロールすることができる利点がある。例えば、一般に画像の中央部分は重要な部分であり、その部分の画質を重視したい場合には、中央部分に位置するタイルの閾値を小さめに設定し、画像の周辺部分に位置するタイルの閾値を大きめに設定することにより、中央部分のタイルのサブバンドの符号省略を抑制し、画像の周辺部分のタイルのサブバンドの符号省略を生じやすくすることができる。
（４）上記（２）と上記（３）を組み合わせる方法。
【００６３】
なお、このような閾値設定方法の選択は、次に述べる第２及び第３の判断方法においても同様である。コンポーネント毎に閾値を異ならせることも本発明に含まれるが、これについては後述する。
【００６４】
第２の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１１の手順に従って符号を省略すべきサブバンドを決定する。
【００６５】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１２０）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、注目タイルの処理を終わる。
【００６６】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１２５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１３０）。
【００６７】
差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ１３５）。メモリ１２２上には、各タイルの各サブバンドに１対１に応したカウント値が記憶されている。このカウント値は、現フレームの直前フレームまでに、対応したサブバンドの符号が連続して省略されたフレーム数を表すもので、変換制御部１１０により、動画像の最初のフレームの処理時に０にクリアされ、処理の進行中に適宜更新される。
【００６８】
注目しているサブバンドのカウント値が所定値以下ならば（ステップＳ１３５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドの符号を省略すべきと判断し、その省略を符号化データ変換部１２０に指示し（ステップＳ１４０）、対応するカウント値に１を加え（ステップＳ１４５）、ステップＳ１２５に戻る。
【００６９】
差分が閾値を越えているか、カウント値が所定値を越えているときには（ステップＳ１３５又はＳ１３５，Ｎｏ）、変換制御部１１０は注目するサブバンドの符号を省略すべきでないと判断する。この場合は、対応するカウント値を０にクリアし（ステップＳ１５０）、ステップＳ１２５に戻る。
【００７０】
ここで、ステップＳ１３５のチェックを行う目的について図９を参照して説明する。図９の上段に示すようにフレーム（Ｎ）とフレーム（Ｎ＋１）の同じタイルの同じサブバンドの符号が省略された場合、受信側においては、図９の下段に示すように、フレーム（Ｎ＋１）の復号の際に用いられる１ＨＨサブバンド係数は、直前のフレーム（Ｎ）で復元された１ＨＨサブバンド係数ではなく、さらに１フレーム前のフレーム（Ｎ−１）で復元された１ＨＨサブバンド係数である。フレーム（Ｎ−１）とフレーム（Ｎ）の間の１ＨＨサブバンド係数の差分は閾値以下であり、フレーム（Ｎ）とフレーム（Ｎ＋１）との間の１ＨＨサブバンド係数の差分は閾値以下である。しかし、フレーム（Ｎ−１）とフレーム（Ｎ＋１）の間の１ＨＨサブバンド係数の差分が閾値以下である保証はなく、その差分が大きいときには再生画像の品質が損なわれる。このような不都合を回避するため、上に述べたカウント値のチェックにより、同じタイルの同じサブバンドの符号の省略が連続して行われるフレーム数を制限している。
【００７１】
第３の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１２の手順に従って符号を省略すべきサブバンドを決定する。
【００７２】
メモリ１２２上に、各タイルの各サブバンドに１対１に対応した前記カウント値とフラグが置かれている。カウント値は前述のように動画像の処理開始時に変換制御部１１０によりクリアされる。
【００７３】
各フレームの処理開始時に、変換制御部１１０は全てのフラグをＯＦＦに設定する（ステップＳ２００）。次に、変換制御部１１０は、注目する１つのタイルを選択し（ステップＳ２０５）、そのタイルにＲＯＩ領域が設定されているかチェックする（ステップＳ２１０）。ＲＯＩ領域が設定されているならば、ステップＳ２０５に戻る。
【００７４】
注目したタイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、注目したタイルの１つのサブバンドを選択し（ステップＳ２１５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ２２０）。差分が閾値を越えているという判定結果ならば（ステップＳ２２０，Ｎｏ）、ステップＳ２１５に戻り、別のサブバンドを選択する。
【００７５】
差分が閾値以下であるという判定結果であるならば（ステップＳ２２０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ２２５）。カウント値が所定値を越えているならば（ステップＳ２２５，Ｎｏ）、ステップＳ２１５に戻る。
【００７６】
サブバンドのカウント値が所定値以下ならば（ステップＳ２２５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドを符号省略の候補とし、対応したフラグをＯＮに設定するとともに、注目しているサブバンドに関し差分検出部１１６により算出された差分値をメモリ１２２に保存し（ステップＳ２３０）、ステップＳ２１５に戻る。
【００７７】
１つのタイルについて手順を終了すると、ステップＳ２０５に戻り別のタイルを選択し、そのサブバンドについて同様の手順を繰り返す。
【００７８】
以上の手順を全てのタイルについて繰り返すと、ステップＳ２３５に進む。このステップＳ２３５において、変換制御部１１０は、ＯＮに設定されたフラグに対応したサブバンドつまり候補とされたサブバンドについて、ステップＳ２３０で保存された差分値を比較し、差分値の小さいＮ個のサブバンドの符号を省略すべきと判断し（フラグがＯＮのサブバンド数がＮ個に満たないときには、それらサブバンド全ての符号を省略すべきと判断する）、そのサブバンドの符号の省略を符号化データ変換部１２０に指示する。次に、符号を省略すべきと判断したサブバンドに対応したカウント値に１を加え、他のサブバンドに対応したカウント値を０にクリアする（ステップＳ２４０）。
【００７９】
変換制御部１１０は、変換後ＭＪ２ファイル１０３の送信に使用されるネットワーク、その他の伝送路の伝送容量に応じてＮの値を設定する。すなわち、伝送容量が大きいときにはＮを小さめの値に設定して符号が省略されるサブバンド数を減らし、伝送容量が小さいときにはＮを大きめの値に設定して符号が省略されるサブバンド数を増加させる。言うまでもなく、画像処理装置のユーザがＮの値を指定することも可能である。
【００８０】
さて、符号化データの復号時に、サブバンドの符号量などからサブバンド符号の省略を認識することも可能であるが、より確実な認識を可能にするために、この実施の形態においては、前述のようにサブバンドの符号の省略を示す情報を動画像に付加する。
【００８１】
ここで、サブバンドの符号の省略を示す情報について説明する。この情報は、例えば、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１において標準化作業が進行している、マルチメディア・コンテンツに対するメタデータの表記に関する国際標準規格ＭＰＥＧ−７（Multimedia Content Description Interface；ISO/IEC 15938-1〜8）に従って記述される。先頭から１００フレーム目のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する場合の記述例を次に示す（先頭の数字は便宜上付加した行番号である）。
【００８２】
1 <?xml version="1.0"encoding="Shift_JIS"?>
2 <Mpeg7 xsi:schemaLocation="urn:mpeg:mpeg7:schema:2001
Mpeg7-2001.xsd" xmlns="urn:mpeg:mpeg7:schema:2001"
xmlns:xsi="http://www.w3.org/2001/XML/Schema-instance"
xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001">
3 <DescriptionUnit
xsi:type="VideoSegmentType"
id="descriptionUnit-1">
4 <TextAnnotation
type="OmittedSubbandNo">
5 <!--省略されたサブバンドを記述する-->
6 <FreeTextAnnotation>3 1HH</FreeTextAnnotation>
7 </TextAnnotiaion>
8 <Semantic
id="semantic=2">
9 <!--省略されたサブバンドについての記述-->
10 <Label>
11 <Name>OnittedSubband</Name>
12 </Lable>
13 </Semantic>
14 <MediaTime>
15 <!--先頭からのフレーム数-->
16 <MediaRelTipePoint>P0DT0H0M0S100NOF></MediaRelTimePoint>
17 </MeadiaTime>
18 </DescriptionUnit>
19 </Mpeg7>
【００８３】
このようなＭＰＥＧ−７による記述は、前述したように、例えば、各フレームの符号化データのメインヘッダ又はタイルヘッダのＣＯＭマーカセグメントに記述され、ＭＪ２ファイルのmoovボックスなどに集約して記述され、あるいは、独立したファイルに記述される。なお、コメント行は省略可能である。また、タイルヘッダに記述する場合には、タイル番号の指定を省くことも可能であり、例えば６行目の記述を
<FreeTextAnnotiaion>1HH</FreeTextAnnotation>
と変更してもよい。タイルヘッダ又はメインヘッダに記述する場合には、フレーム番号も自明であるので１４行目から１７行目の記述も省略可能である。
【００８４】
ここまでは、説明を簡略にするためコンポーネントに言及しなかった。ここで、動画像の符号化データが複数のコンポーネントの符号からなる場合について説明する。
【００８５】
本発明の１つの態様によれば、個々のコンポーネントは独立に扱われる。すなわち、各コンポーネント毎にフレーム間で各サブバンド係数の差分の検出と閾値との比較が行われ、図１０、図１１又は図１２に示した手順に従って、コンポーネント毎にサブバンドの符号を省略すべきか否かが判断され、省略すべきと判断されたコンポーネントのサブバンドの符号が省略される。この態様において、サブバンド係数の差分の判定閾値として、全てのコンポーネントで同じ値を設定することも、コンポーネントによって異なった値を設定することもできる。後者によれば、例えば、Ｙ，Ｃｒ，Ｃｂの３コンポーネントからなる符号化データの場合に、符号省略による影響が目立ちやすいＹ（輝度）コンポーネントに用いられる差分の判定閾値を、Ｃｒ，Ｃｂ（色差）コンポーネントに用いられる差分の判定閾値より小さくすることにより、Ｃｒ，Ｃｂコンポーネントでサブバンドの符号省略を生じやすくし、Ｙコンポーネントのサブバンドの符号省略を抑制することができる。
【００８６】
もう１つの態様によれば、画像品質への影響が最も大きな１つのコンポーネント（例えばＹ，Ｃｒ，Ｃｂの３コンポーネントの場合のＹコンポーネント）についてフレーム間で各サブバンド係数の差分が検出され、図１０、図１１又は図１２の手順に従ってサブバンドの符号を省略すべきか否かが判断される。省略すべきと判断されたサブバンドについては全コンポーネントの符号が省略される。
【００８７】
もう１つの態様によれば、全てのコンポーネントのサブバンド係数の差分がそれぞれに検出される。サブバンドの符号を省略するか否かは図１０、図１１又は図１２の手順によって判断されるが、サブバンドの全コンポーネントの差分がそれぞれの閾値以下となった場合にのみ、そのサブバンドの差分が閾値以下であるとみなされる。そして、符号を省略すべきと判断されたサブバンドについては、全コンポーネントの符号が省略される。この態様は、不自然な色調変化を生じするような符号の省略を回避できる利点がある。この態様においても、サブバンド係数の差分と比較される閾値として、全コンポーネントに同じ値を設定することも、コンポーネント別の値を設定することもできる。
【００８８】
なお、いずれの態様においても、サブバンド係数の差分の判定閾値として、前述のように、タイルの位置及び／又はサブバンド種類に応じて異なった値を用いることも、同一の値を用いることも可能である。
【００８９】
図８に示した画像処理装置においては、ＭＪ２ファイルの内容を送信する前に、動画像の全フレームの符号化データについてフレーム間で違いの小さいサブバンドの符号を省略する変換を行った。しかし、送信時にリアルタイルに各フレームの符号化データの変換を行う構成とすることも可能である。このような構成の画像処理装置について図１３を参照して説明する。
【００９０】
図１３において、通信部１０４はデータ記憶部１００よりＭＪ２ファイル１０１の内容を送信バッファ２０２に読み込み順次送信するが、この送信バッファ２０２に読み込まれた動画像の各フレームの符号化データに対し、サブバンド符号省略処理部２００により前フレームとの差分の小さいサブバンドの符号を省略する処理が施され、この処理後の符号化データが送信される。
【００９１】
このサブバンド符号省略処理部２００は、変換制御部１１０Ａ、デコード部１１２Ａ、係数メモリ１１４Ａ、差分検出部１１６Ａ、比較判定部１１８Ａ、符号化データ変換部１２０Ａ、メモリ１２２Ａからなる。これら各部の作用は図８中の対応要素と同様であるので説明を繰り返さない。ただし、サブバンド符号省略処理部２００は動画像の各フレームの符号化データに対する処理のみを行うため、変換制御部１１０Ａは送信バッファ２０２よりフレーム単位で符号化データを読み込み、その変換後の符号化データを送信バッファ２０２に書き込むだけで、ＭＪ２ファィル全体の読み書きに関する制御には関与しない。
【００９２】
以上に説明した本発明の画像処理装置より送信されるＭＪ２ファイルの内容を受信し、動画像及び音声を再生する本発明の画像処理装置について、図１４を参照し説明する。
【００９３】
ここに示す画像処理装置は、通信部３００、データ記憶部３０２、再生制御部３０４、画像デコード部３０６、ＭＰＥＧ７デコーダ３０８、音声デコード部３１０、表示制御部３１１、画像表示部３１２及び音声出力部３１４から構成される。
【００９４】
通信部３００によって、ネットワーク、その他の伝送路を通じ、前述した本発明の画像処理装置より、ＭＪ２ファイルの内容が（サブハンド符号省略の情報が記述された別ファイルがあれば、そのファイルの内容も）受信されてデータ記憶部３０２に記憶される。
【００９５】
再生制御部３０４は、受信されたＭＪ２ファイルのmoovボックス及びmoofボックスの情報に従って、mdatボックスに格納されている動画像符号化データ及び音声符号化データのデコード及び出力を制御し、動画像と音声を同期させて画像表示部３１２と音声出力部３１４に出力させる。ＭＰＥＧ７デコーダ３０８は、動画像のサブバンド符号省略に関するＭＰＥＧ−７記述をデコードし、サブバンドの符号の省略を認識する手段であり、再生制御部３０４及び画像デコード部３０６に利用される。
【００９６】
画像デコード部３０６は、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数を利用する機能が付加されたＪＰＥＧ２０００準拠のデコーダからなる。この付加機能に関連して、画像デコード部３０６は１フレーム前のサブバンド係数を保存するための係数メモリ３０７を備える。画像デコード部３０６は、再生制御部３０４より入力される動画像の各フレームの符号化データの復号を行うが、符号化データのメインヘッダ及びタイルヘッダのＣＯＭマーカセグメントの内容はＭＰＥＧ７デコーダ３０８によっても解釈される。ＣＯＭマーカセグメントにサブバンドの符号省略のＭＰＥＧ−７記述があると、符号が省略されたサブバンドが画像デコード部３０６に通知され、画像デコード部３０６は、その符号が省略されたサブバンドの係数として、前フレームで用いられた係数メモリ３０７内の対応サブバンドの係数を利用する。
【００９７】
moovボックスや別ファイルに含まれているＭＰＥＧ−７記述もＭＰＥＧ７デコーダ３０８により解釈される。サブバンド符号省略のＭＰＥＧ−７記述が含まれている場合には、その内容が再生制御部３０４に通知され、再生制御部３０４は各フレームのデコード時に、符号が省略されたサブバンドを画像デコード部３０６に通知する。画像デコード部３０６で復元されたフレーム画像は表示制御部３１１を介して画像表示部３１２に表示される。
【００９８】
図８、図１３及び図１４に示した本発明の画像処理装置の全ての手段又は一部手段の機能、あるいは、同装置における処理の手順の全部又は一部を、一般的なパソコンなどのコンピュータ上でプログラムにより実現可能であることは明らかである。そのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【００９９】
図１５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は撮像手段を持つ画像処理装置、より具体的には、デジタルビデオカメラや動画撮影機能を持つデジタルスチルカメラなどの電子カメラに係るものである。
【０１００】
図１５において、４００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。４０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系４００により結像される光学像を色分解してから光量に応じた電気信号に変換する。４０２はイメージャ４０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【０１０１】
４０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ４０３は、ＣＤＳ・Ａ／Ｄ変換部４０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２、表示装置４０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示装置４０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【０１０２】
以上に説明した撮像光学系４００、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２及び画像プロセッサ４０３は、静止画像又は動画像を撮影して画像データを取得する撮像手段を構成している。
【０１０３】
４０８はＪＰＥＧ２０００準拠のエンコーダであり、これは撮影された画像データの符号化処理に利用される。４０９はＪＰＥＧ２０００準拠のデコーダであり、ＪＰＥＧ２０００準拠の符号化データの復号処理に利用される。
【０１０４】
４１２は記録媒体４１３に対する情報の書き込み／読み出しを行う媒体記録部である。この媒体記録部４１２により、静止画像撮影時には画像の符号化データはＪＰ２ファイルとして記録媒体４１３に記録され、動画像撮影時には画像の符号化データはＭＪ２ファイルとして記録媒体４１３に記録される。記録媒体４１３は例えば各種メモリカードである。４１４は外部インターフェース部である。この電子カメラは、外部インターフェース部４１４を介し、外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。
【０１０５】
４０６はシステムコントローラであり、マイクロコンピュータからなる。このシステムコントローラ４０６は、操作部４０７から入力されるユーザの操作情報や画像プロセッサ４０３から与えられる情報などに応答して、撮像光学系４００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ４０３、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０などの制御を行う。４１０はシステムコントローラ４０６のプログラムが記録されたＲＯＭである。４０５はＲＡＭであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ４０３やシステムコントローラ４０６、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０の作業記憶域として利用される。操作部４０７は、電子カメラ装置の操作のための各種の操作ボタン（スイッチ）などからなる。
【０１０６】
ＭＪ２ファイル変換部４２０は、図８に示した画像処理装置と同様のＭＪ２ファイル変換処理を行うための手段である。ＭＪ２ファイル変換部４２０が破線で表されているのは、この例ではＭＪ２ファイル変換部４２０の機能が、デコーダ４０９、ＲＡＭ４１１と、システムコントローラ４０６上で動作するプログラム（ＲＯＭ４１０に置かれる）によって実現されるからである。
【０１０７】
ただし、ＭＪ２ファイル変換部４２０を、図８に示すような構成のハードウェアとして実現することも可能であり、このような態様も本発明に包含される。このような態様において、図８に示すデコード部１１２としてデコーダ４０９を、メモリ１２２や係数メモリ１１４としてＲＡＭ４１１を、それぞれ利用することができる。
【０１０８】
動画像撮影時には、システムコントローラ４０６の制御下で、画像プロセッサ４０４により処理された各フレームの画像データがエンコーダ４０８により符号化され、その符号化データが媒体記録部４１２により記録媒体４１３に順次記録される。最終フレームの記録後に、システムコントローラ４０６により、ＭＪ２ファイルのmoovボックスやmoofボックスの情報が記録媒体４１３に書き込まれ、動画像はＭＪ２ファイルとして媒体記録部４１３に格納される。
【０１０９】
記録媒体４１３の空き容量不足などの理由で、記録されているＭＪ２ファイルのサイズを縮小したい場合、ユーザは、１つ又は全部のＭＪ２ファイルを指定し、差分の小さいサブバンドの符号を省略するＭＪ２ファイル変換処理の実行を操作部４０７より指示することができる。この指示が与えられた場合、システムコントローラ４０６は、ＭＪ２ファイルを指定してＭＪ２ファイル変換部４２０を起動する。ＭＪ２ファイル変換部４２０は、媒体記録部４１２を介して、指定されたＭＪ２ファイルをアクセスし、フレーム間で差分の小さいサブバンドの符号を省略する変換処理を実行する。変換後のＭＪ２ファイルは、記録媒体４１３上の元のＭＪ２ファイルに上書きされる形で記録されるか、別のファイルとして記録されるが、そのいずれの形で記録するかはユーザからの指定による。サブバンド符号省略の情報は、前述したように、例えばＭＰＥＧ−７記述の形で符号化データのメインヘッダ又はタイルヘッダに付加されるか、ＭＪ２ファイルのmoovボックスなどに付加されるか、ＭＪ２ファイルと関連付けた別ファイルとして付加される。
【０１１０】
図１５には図示されていないが、この電子カメラは、記録媒体４１３に記録された動画像を再生するための図１４に示すような機構を有する。この機構は、デコーダ４０９と、システムコントローラ４０４上で動作するプログラムにより実現される。動画像の再生時に、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数が利用されることは前述の通りである。
【０１１１】
なお、本発明はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像に好適に適用できるが、同様のサブバンド単位の符号省略が可能な他のフォーマットの動画像に対しても本発明を同様に適用できることは以上の説明から明白である。
【０１１２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などにおいて、サブバンド単位の符号省略によって変化の少ない区間の符号量を効果的に削減することができ、したがって、動画像を伝送するための伝送路の負荷を軽減し、また、動画像を蓄積するための記憶装置の利用効率を向上させることができる。符号量削減後においても動画像の違和感のない再生が可能である。動画像の伝送路の伝送容量や記憶装置の記憶容量などに応じて、各フレームで符号が省略されるサブバンド数をコントロールすることができる。多数フレームにわたって同じサブバンドの符号が連続して省略されることによる画質の悪化を回避できる。高画質領域（ＲＯＩ領域）の画質を悪化させることなく符号量の削減を行うことができる。サブバンドの種類、タイルの位置、コンポーネントに応じて符号の省略をコントロールすることができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図４】 メインヘッダの構造を示す図である。
【図５】 タイルヘッダの構造を示す図である。
【図６】 マーカ及びマーカセグメントの一覧表を示す図である。
【図７】 ＭＪ２ファイルフォーマットを示す図である。
【図８】 本発明に係る画像処理装置の一例を説明するためのブロック図である。
【図９】 送信側におけるサブバンドの符号省略と、受信側における符号が省略されたサブバンドの処理の説明図である。
【図１０】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１１】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１２】 符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１３】 本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１４】 本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１５】 本発明に係る画像処理装置の他の一例を説明するためのブロック図である。
【符号の説明】
１０１ 元のＭＪ２ファイル
１０２ 変換後のＭＪ２ファイル
１０４ 通信部
１１０，１１０Ａ 変換制御部
１１２，１１２Ａ デコード部
１１４，１１４Ａ 係数メモリ
１１６，１１６Ａ 差分検出部
１１８，１１８Ａ 比較判定部
１２０，１２０Ａ 符号化データ変換部
１２２，１２２Ａ メモリ
３００ 通信部
３０２ データ記憶部
３０４ 再生制御部
３０６ 画像デコード部
３０８ ＭＰＥＧ７デコーダ
３１０ 音声デコード部
３１１ 表示制御部
３１２ 画像表示部
３１４ 音声出力部
Claims (23)
- 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする画像処理装置。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元手段と、
前記復元手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出手段と、
前記検出手段により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断手段と、
注目フレームの符号化データを、前記判断手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換手段と、
を有することを特徴とする画像処理装置。 - 請求項１又は２に記載の画像処理装置において、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断、並びに、前記変換手段によるサブバンドの符号の省略は、各コンポーネント毎に独立に行われることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出、前記判断手段による比較判定及び判断は、複数のコンポーネント中の１つの特定のコンポーネントについて行われ、前記変換手段によりサブバンドの全コンポーネントの符号が省略されることを特徴とする画像処理装置。
- 請求項１又２に記載の画像処理装置において、符号化データは複数のコンポーネントの符号からなり、前記検出手段による差分の検出及び前記判断手段による比較判定は各コンポーネント毎に独立に行われ、前記判断手段により全コンポーネントの差分が閾値以下のサブバンドが符号を省略するサブバンド又はその候補とされ、前記変換手段によるサブバンドの符号の省略は全コンポーネントについて行われることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、差分と比較される閾値としてサブバンドの種類に応じた値が設定されることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、差分と比較される閾値として分割領域の位置に応じた値が設定されることを特徴とする画像処理装置。
- 請求項３又は５に記載の画像処理装置において、差分と比較される閾値としてコンポーネントに応じた値が設定されることを特徴とする画像処理装置。
- 請求項１乃至８のいずれか１項に記載の画像処理装置において、前記判断手段は、注目フレームの直前フレームまでに各分割領域の各サブバンドの符号が連続して省略されたフレーム数をカウントする手段を含み、カウント値が所定値を越えるサブバンドの符号を省略すべきでないと判断することを特徴とする画像処理装置。
- 請求項１乃至９のいずれか１項に記載の画像処理装置において、前記判断手段は、各分割領域での高画質領域の設定の有無を検出する手段を有し、高画質領域が設定されている分割領域のサブバンドの符号を省略すべきでないと判断することを特徴とする画像処理装置。
- サブバンドの符号の省略に関する情報を動画像に付加する手段を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
- 請求項１１に記載の画像処理装置において、各フレームの符号化データに、そのフレームにおけるサブバンドの符号の省略に関する情報が記述されることを特徴とする画像処理装置。
- 請求項１１に記載の画像処理装置において、動画像のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とする画像処理装置。
- 請求項１１に記載の画像処理装置において、動画像のファイルと関連付けられた別のファイルに、サブバンドの符号の省略に関する情報が記述されることを特徴とする画像処理装置。
- 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理装置。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理装置。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、
動画像の各フレームの符号化データを復号する復号手段と、
前記復号手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存手段と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識手段と、
を有し、
前記復号手段は、各フレームの復号において、前記認識手段により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存手段に保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理装置。 - 請求項１乃至１７のいずれか１項に記載の画像処理装置において、動画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像であることを特徴とする画像処理装置。
- 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、注目フレームの各分割領域の前記差分が閾値以下のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする画像処理方法。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する復元工程と、
前記復元工程により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する検出工程と、
前記検出工程により検出された差分と閾値との比較判定を行い、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する判断工程と、
注目フレームの符号化データを、前記判断工程により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する変換工程と、
を有することを特徴とする画像処理方法。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理方法。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で 保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理方法。 - 各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、
動画像の各フレームの符号化データを復号する復号工程と、
前記復号工程により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する保存工程と、
各フレームにおけるサブバンドの符号の省略を、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から認識する認識工程と、
を有し、
前記復号工程は、各フレームの復号において、前記認識工程により符号が省略されたと認識されたサブバンドについては、直前のフレームの復号に用いられた、前記保存工程で保存されている当該サブバンドに対応したサブバンド係数を利用することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360266A JP4129913B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360266A JP4129913B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004194030A JP2004194030A (ja) | 2004-07-08 |
| JP4129913B2 true JP4129913B2 (ja) | 2008-08-06 |
Family
ID=32759385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002360266A Expired - Fee Related JP4129913B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4129913B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628324U (ja) * | 1992-09-08 | 1994-04-15 | 株式会社泰生工業 | フレーム構造材 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
| US7724972B2 (en) * | 2005-03-01 | 2010-05-25 | Qualcomm Incorporated | Quality metric-biased region-of-interest coding for video telephony |
| US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
| JP2018182569A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社メガチップス | 画像処理装置、画像処理システム、情報処理システム及び画像処理方法 |
-
2002
- 2002-12-12 JP JP2002360266A patent/JP4129913B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628324U (ja) * | 1992-09-08 | 1994-04-15 | 株式会社泰生工業 | フレーム構造材 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004194030A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| US9838715B2 (en) | Image processing apparatus and method | |
| TWI436286B (zh) | 畫像解碼方法及裝置 | |
| US7526144B2 (en) | Image processing method, image expansion method, image output method, image conversion method, image processing apparatus, image expansion apparatus, image output apparatus, image conversion apparatus, and computer-readable storage medium | |
| KR100512210B1 (ko) | 화상 복호 방법 및 장치 | |
| US7505630B2 (en) | Image processing apparatus, image processing method, program, and recording medium that allow setting of most appropriate post-quantization condition | |
| JP4392783B2 (ja) | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 | |
| JP2004128583A (ja) | 撮像装置、画像処理方法、プログラム及び記録媒体 | |
| JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
| US20020154826A1 (en) | Image coding and decoding using intermediate images | |
| US20050036695A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4190157B2 (ja) | 画像データ送信装置および画像データ受信装置 | |
| US7643700B2 (en) | Processing of coded data according to user preference | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP4155566B2 (ja) | 画像再生装置及び方法 | |
| JP4315928B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2007312399A (ja) | 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法 | |
| JP2006074130A (ja) | 画像復号方法、画像復号装置および撮像装置 | |
| JP2005223852A (ja) | 画像符号化装置および方法、ならびに画像復号装置および方法 | |
| JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
| JP4475513B2 (ja) | 画像処理装置、プログラム、及び、記録媒体 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP2004023748A (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080514 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |