JP4315926B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、具体的には、符号データを構成する符号列の重要度（優先順位）に基づいて符号データを（再）形成する方法に関する。特に、符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準とに基づいて符号列の重要度（優先順位）を設定し、設定した重要度に基づいて符号データを選択（符号量制御）する方法に関する。

一般的に、符号処理の過程で符号量制御を進める上で形成される符号データは、部分符号列単位で重要度が識別されている。ところが、一般的には、符号処理過程での部分符号列単位での重要度算出結果は、符号処理後に反映されない。

また、一般に、符号化過程で算出した符号データの再生画像の歪量に対する劣化を感じる度合いは画像属性によって異なり、さらに、歪量が画像属性毎の感度を反映したものではなく、符号化誤差に対する周波数感度を反映しているので、符号化過程で算出した歪量の大きさだけからでは、好適な符号列単位の重要度の算出ができなかった。

一方、画像圧縮方式としては、国際標準であるＪＰＥＧやＪＰＥＧ２０００が知られている。このＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号処理では、符号化後に、符号化時の符号量制御で使用した周波数感度視覚特性（ＶＷ情報）情報などを考慮に入れた高精度な符号量制御ができない。
また、符号化時に周波数感度視覚特性と画像領域毎の画像属性情報と出力機器の解像度特性とを同時に考慮した符号量制御することができない。

また、符号データの歪量算出する技術としては、特許文献１がある。この特許文献１では、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式において、各ビットプレーンにおける最上位有効ビット（ＭＳＢ）の個数に基づいてビットプレーンをトランケーションしたときの画像の歪量を推定してトランケーションしているが、符号化後に符号量制御する機能については言及していない。

また、特許文献２では、符号列からエラーの発生した部分を除去した残りのデータを用いて画像をプログレッシブに表示したときの画像の歪量を知ることができるようにして、符号化時における画像の歪量に係る情報を使用して符号化後に符号データの構成を調整している。

また、特許文献３では、ＪＰＥＧ２０００による符号化を想定してタイル単位のタイル属性に基づいて、タイル属性が文字の場合は画像の歪量（誤差）に基づいたＳＮＲ（レイヤ）プログレシブに、タイル属性が写真の場合には解像度プログレシブにプログレシブ順を替えて符号データを形成している。ＳＮＲ（レイヤ）プログレシブで符号データを形成しておくことで、符号化後に画像の歪量（誤差）に基づいた符号量制御（レートコントロール）ができる。一般に各階層の符号データは複数の符号列により構成され、符号列単位での重要度の優先順位付けができないため、高精度な微細な符号量制御ができない。

また、パケット単位のプライオリティ設定に関する技術として特許文献４や特許文献５がある。この特許文献４では、パケット単位でプライオリティを設定するテーブルをもち、パケット単位でのプライオリティに基づきパケットの送受信を制御している。
また、特許文献５では、符号データにプライオリティフィールドを設けているが、重複型符号データを対象にしたものではない。

また、代表的なＪＰＥＧ２０００における符号量制御に関する技術として、特許文献６がある。この特許文献６では、ＪＰＥＧ２０００規格の符号化においてタイル単位に符号量制御を行っている。

また、代表的なＪＰＥＧ２０００における符号列作成装置で符号データの編集を行う技術として特許文献７がある。しかし、画質を考慮して削除するパケットあるいは並び替える手段は備えていない。
特開２００３−３０４４０５号公報 特開２００４−１８６８６１号公報 特開２００３−２３５４４号公報 特開２００３−３３８８４０号公報 特開２００３−２０９８３９号公報 特開２００３−３２６８０号公報 特開２００３−１６９３３３号公報

ＪＰＥＧ２０００規格の符号処理では、符号化処理後の符号レベルでの符号データ編集処理において、符号化時の符号量制御情報（符号データの周波数感度特性などに関する判別情報）に基づいた符号量制御できないという問題をもっている。

ところで、符号データの再生画像の歪量に対する劣化を感じる度合いは画像属性によって一般に異なり、歪量は符号化誤差に対する周波数感度を反映しているものの、画像属性毎の感度を反映していないため、歪量の大きさだけからでは、好適な復号画質を得ることはできなかった。

また、ＪＰＥＧ２０００規格の符号は、規定された最小単位の符号列（パケットと呼ぶ）の集まり（順番）として構成されていて、符号レベルでの符号列単位の編集ができるのが特徴であるが、ＪＰＥＧ２０００規格の符号のように符号列（パケット）の集合により構成されている符号データの転送時のエラー対応や復号時の便宜などの理由から、重要な符号列ほど先に転送したいという要求がある。

例えば、符号列単位で優先順位を付けておいてかかる優先順に従って符号データを転送することにより実現できる。ところが、ＪＰＥＧ２０００規格の符号化においては、復号処理できる符号列の順番は、いくつかのプログレシブ順に限定されていて、それらのプログレシブ順の選択肢の中から選択されたプログレシブ順で構成される。
ところが、これらのプログレシブ順は、符号を構成する最小単位のパケット（符号列）毎の優先順位に基づいて決められているわけではないため、ＪＰＥＧ２０００（Ｊ２Ｋ：ＩＳＯ／ＩＥＣ １５４４４−１）規格で規定されたプログレシブ順における符号列の順番では、必ずしも重要な符号列が優先的に先に転送できなかったり、符号量制御時において、相対的に重要な符号列が削除され、重要でない符号列が削除されない場合が起こっていた。また、再現画質の制御も、符号列（パケット）よりも大きな単位で制御され、相対的にきめ細かい画質制御ができなかった。

本発明は、上述のような実情を考慮してなされたものであって、画像属性による歪量の画質への影響を考慮して、符号化後の符号量制御を高精度に実行する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の画像処理装置の発明は、符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記符号データを構成する符号列単位で重要度を設定する機能を有することを特徴とする。

請求項２に記載の画像処理装置の発明は、画像部分領域に対応する符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記画像部分領域に対応する符号データを構成する符号列単位で重要度を設定する機能を有することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列の順番を変更し符号データを再構成する機能を有することを特徴とする。

請求項４に記載の発明は、請求項１または２に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列単位で符号列順に送信する機能を有することを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列単位で送信状況に応じて符号列を途中で打ち切って送信する機能を有することを特徴とする。

請求項６に記載の発明は、請求項４または５に記載の画像処理装置において、符号データを構成する符号列の一部がレングスの短いダミーの符号列に置きかえて復号対象の符号データを構成する機能を有することを特徴とする。

請求項７に記載の発明は、請求項３に記載の画像処理装置において、画像領域毎の歪量と歪量基準を比較する手段を有し、特定画像属性である領域に対応する前記符号データが歪量基準以上であるように符号データを再構成する手段を有することを特徴とする。

請求項８に記載の発明は、請求項３に記載の画像処理装置において、画像属性毎の歪量と歪量基準を比較する手段を有し、前記再構成される符号データにより再生される画像が全ての画像属性で特定領域の画像属性毎の歪量基準以上であるような符号データであることを特徴とする。

請求項９に記載の発明は、請求項２に記載の画像処理装置において、画像の部分領域が予め設定された注目領域であることを特徴とする。

請求項１０に記載の発明は、請求項１乃至９のいずれかに記載の画像処理装置において、請求項１または２に記載された符号データの復号再生画像の歪量が符号データ生成過程で算出された歪量であることを特徴とする。

請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、請求項１または２に記載された符号データ生成過程が、入力画像に対して低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成するサブバンド生成手段と、前記低域成分のサブバンドに対して階層的にフィルタリング処理を施すフィルタリング手段と、前記フィルタリング手段によって生成されたサブバンドを分割し、所定の大きさのコードブロックを生成するコードブロック生成手段と、前記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成するビットプレーン生成手段と、前記ビットプレーン毎に符号化パスを生成する符号化パス生成手段と、上記符号化パス内で算術符号化を行う算術符号化手段と、算術符号の歪量を算出する算術符号歪量算出手段とを備え、請求項１または２に記載された符号データの復号再生画像の歪量が前記算術符号歪量算出手段で算出された歪量であることを特徴とする。

請求項１２に記載の発明は、請求項１０に記載の画像処理装置において、請求項１乃至２に記載された符号データ生成過程で、画像領域毎にビットプレーン単位のトランケーションにより符号量を削減する符号化がなされ、前記画像領域毎の各ビットプレーンにおける最上位有効ビットの個数を歪量とすることを特徴とする。

請求項１３に記載の発明は、請求項１乃至１２のいずれかに記載の画像処理装置において、画像領域を指定する手段と、前記画像領域に対応する範囲の符号データを抽出する手段とを有することを特徴とする。

請求項１４に記載の発明は、請求項１３に記載の画像処理装置において、画像部分領域を指定する手段と、前記画像領域に対応する符号データを構成する符号列の重要度に基づいて符号データを再構成する手段とを有することを特徴とする。

請求項１５に記載の発明は、請求項１乃至１４のいずれかに記載の画像処理装置において、前記符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする。

請求項１６に記載の発明は、請求項１５に記載の画像処理装置において、請求項２に記載の画像部分領域がＪＰＥＧ２０００規格のプレシンクト単位またはタイル単位であることを特徴とする。

請求項１７に記載の発明は、請求項１５に記載の画像処理装置において、請求項１または２に記載された符号列単位がＪＰＥＧ２０００規格のパケット単位であることを特徴とする。

請求項１８に記載の画像処理方法の発明は、符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記符号データを構成する符号列単位で重要度を設定することを特徴とする。

請求項１９に記載の画像処理方法の発明は、画像部分領域に対応する符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記画像部分領域に対応する符号データを構成する符号列単位で重要度を設定することを特徴とする。

請求項２０に記載の発明は、コンピュータを、請求項１乃至１７のいずれかに記載の画像処理装置の各手段として機能させるためのプログラムである。
請求項２１に記載の発明は、請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、画像属性による歪量の画質への影響を考慮して、符号化後の符号量制御を高精度に実行することができる。

以下、図面を参照して本発明の画像処理装置の好適な実施形態について説明する。

＜本発明の基本的な考え方＞

まず、本発明の基本的な考え方について説明する。
ＪＰＥＧ２０００（Ｊ２Ｋ：ＩＳＯ／ＩＥＣ １５４４４−１）規格にみられるように、ペリフェラル構造を持った符号においては、出力機器の要求に合わせて符号データの全てを復号化することなく一部の符号を選択したり、削除して復号化し、再現することが可能である。
符号データは、規定された符号列の集まり（順番）によって構成されており、符号レベルでの符号列単位の編集ができるのが特徴である。

本発明における符号列の編集は、特定の符号を削除し、符号量を調整したり、早期に重要な符号列を転送するように符号列の順番を変更する操作が主な機能である。この場合、符号列が重要度または優先度によって適切に並べられていることが望ましい。さもないと、より重要な符号が削除され、より重要でない符号が削除されないということが起こり得る。あるいは、より重要な符号が後で転送され、より重要でない符号が先に転送されるということが起こり得るからである。そこで、どのようにして優先順位を決めるかが問題になる。

ところで、ＪＰＥＧ２０００（Ｊ２Ｋ：ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号に見られるように、階層的に符号が構成されていると、符号レベルでの符号列単位の編集が有効に機能する。このような階層符号化では、複数個の尺度で分割され階層的に符号が構成されている。

複数個の尺度を含むということは、目的に応じて尺度を変えて先に述べた符号列単位の優先度を変更して符号データを構成するには都合がよい。つまり、基準が単一であるから、一つの尺度を選択して、一次元に並べるのには都合がよい。
しかし、一方、複数の尺度を総合的に評価して、一次元に並べることは困難である。基準が複数次元であるため単純に比較できないためである。

本発明の画像処理は、次のような手順で全体が処理される。
（１）画像データを入力する。
（２）符号データを構成する符号列（パケット）単位に歪量を算出して、符号化処理を行う。
（３）画像属性毎の歪量基準を利用して、符号パケット単位の優先順位あるいは重要度を設定する。
（４）設定した符号パケット単位の優先順位あるいは重要度を活用して、符号列順制御、送信符号打切制御および符号量制御を行う。
（５）復号化処理を行う。
（６）画像データを出力する。

本発明の特徴は、前述のように、符号化処理の際に符号データを構成する符号列（パケット）単位に歪量を算出し、符号化後に画像属性毎の歪量基準を利用して符号パケット単位優先順位（重要度）を設定して、符号列順制御、送信符号打切制御、符号量制御に活用するところにある。

以下、ＪＰＥＧ２０００規格（ＩＳＯ／ＩＥＣ １５４４４−１）の仕様に基づく符号化を例にとりあげ、最初に、符号化過程における部分符号列単位での符号列の歪の算出について説明し、符号レベルでの符号列単位での重要度あるいは優先度を算出する機能について説明する。

ＪＰＥＧ２０００標準規格に基づいた符号は、階層符号であり、単位符号（符号列）で区分されているので、符号列単位の並び替えや、特定の符号列を削除したり、あるいは追加したり、符号列レベルの符号データの編集（パーサ）が容易なため、ＪＰＥＧ２０００標準規格に基づいた符号化データを対象とすることで、本発明における重要度に基づく符号データのアクセスや符号量制御が容易に実現できる。

＜符号化後の符号列単位での重要度あるいは優先度の設定制御方式＞

次に、ＪＰＥＧ２０００規格に基づく符号化後の符号列単位での重要度あるいは優先度の設定方式について説明する。
本発明の実施形態に係る画像処理装置においては、特定領域内の画像属性情報と、指定領域内歪量算出と、画像属性毎の歪量基準とによって、符号データを構成する符号列単位で優先順位を設定する機能を有することで、符号データを符号列単位で、重要でない符号列（パケット）を一部削除し、符号量と画質を調整するようにしている。

図１は、本発明の実施形態に係る画像処理装置における重要度設定の構成を示すブロック図である。図１において、画像処理装置は、入力処理部１０、符号化処理部２０、符号列単位重要度算出部３０、符号データ編集部４０、復号処理部５０、出力処理部６０、画像データ保存部１（７０）、符号データ保存部８０、画像データ保存部２（９０）からなっている。

入力処理部１０から入力された画像データは、画像データ保存部１（７０）に保存され、符号化処理部２０で符号化されたデータが符号データ保存部８０に保存される。保存された符号データは、ネットワーク等を介して復号側に転送される。また、保存された符号データは、復号処理部５０で復号され、画像データが再生され、画像データ保存部２（９０）に保存され、出力処理部６０で再生された画像データが出力される。

さらに、符号データ保存部８０に保存されている符号データを、符号列単位重要度算出部３０で設定された、符号データを構成する符号列単位の重要度に基づいて、符号データ編集部４０で符号データを再構成（符号順制御、符号量制御等）する。

符号列単位重要度算出部３０は、符号列単位属性情報抽出部３１、符号列単位歪量抽出部３２、符号列単位重要度設定部３３により構成される。

符号列単位属性情報抽出部３１は、後述するように、画像属性情報記憶部３５に記憶した、予め設定した、あるいは、符号化過程で算出した画像属性情報を用いて、後述するように、符号化過程で、符号列単位に属性情報を抽出する。
符号列単位歪量抽出部３２は、後述するように、符号化過程で、符号列単位に歪量を抽出する。
符号列単位重要度設定部３３は、画像属性毎歪量基準記憶部３４に記憶された画像属性毎歪量基準データと、符号列単位歪量抽出部３２で抽出した符号列単位の歪量と、符号列単位属性情報抽出部３１で抽出した符号列単位の属性情報を使用して符号列単位の重要度を設定する。

（１）符号列再構成

本発明では、特定領域内の画像属性情報と、指定領域内歪量と、画像属性毎の歪量基準とによって、符号データを構成する符号列（パケット）単位の重要度を算出し、符号データを重要度の高い符号列から順に並び替えて、符号データを再構成する。これにより、符号データを重要度に応じ符号列単位で再構成する手段を提供することができる。

また、このように再構成された符号データを転送するようにして、復号化処理における符号データの仕様が規定するプログレッション順でない順番でパケットを転送することができるので、重要な符号列（パケット）を優先的に転送する手段を提供することができる。

また、符号データを構成する符号列（パケット）単位の重要度あるいは優先順位を算出し、重要度あるいは優先度順に符号列を並び替えて、符号データを再構成して、この再構成された符号データを符号列単位に順次転送するときに、符号データを構成する符号列単位で転送状況に応じて符号列を途中で打ち切った場合、転送符号データを再構成するようにして、転送状況に応じて重要な符号列を優先的に送信する機能を提供することができる。

このとき、符号データを構成する符号列の一部がレングスの短いダミーの符号列に置きかえて復号対象の符号データを構成するようにして、符号データ送信後に符号データの条件を満たすように整合を図り、復号化処理の規定への整合性を確保する。即ち、符号列（パケット）が一部削除され、ＪＰＥＧ２０００の規定するプログレッション順の条件を満たさない場合に、ＪＰＥＧ２０００の規定するプログレッション順の条件を満たすようにする。

（２）画像領域毎の歪量基準による歪量制御方式：

本発明では、画像領域毎の歪量と歪量基準を比較するようにして、特定画像領域に対応する符号データが歪量基準以上であるような符号データとすることで、画像領域毎の歪量基準以上の歪が生じないようにする。

また、画像部分領域に対応する符号データの復号再生画像の歪量と、画像属性情報および画像属性毎の歪量基準と、によって前記画像部分領域に対応する符号データを構成する符号列（パケット）単位で重要度（優先順位）を設定するようにして、指定領域内の符号データの重要でない符号列（パケット）を一部削除または追加し画質を調整する手段を提供することができる。

上述の画像の特定領域を、予め設定された注目ＲＯＩ領域（高画質化処理されるべき領域）であるとすることで、重要領域に基づいて画像領域毎に符号量制御する手段を提供することができる。例えば、この特定の画像属性を文字情報とすることで、重要である文字情報の再現画質が向上する。
また、画質劣化の無い許容劣化幅以内のレートの算出にも使用できる。

＜符号列毎の重要度を使用した応用システム＞

（１）重要度を利用して、クライアント側からサーバ上の符号データをアクセスする。

次に、重要度を利用して、サーバ上の符号列から一部の符号データをクライアント側からアクセスする構成について説明する。
図２は、本発明の実施形態に係る画像処理システムの構成を示すブロック図である。同図において、画像処理システムは、サーバ１００と１つ以上のクライアント２００とがネットワークで接続されている。

サーバ１００は、画像領域指定部１１０、領域範囲対応符号データ選択部１２０、指定領域内画像属性情報抽出部１３０、指定領域内歪量算出部１４０、符号列選択部１５０、符号ストリーム生成部１７０、領域単位画像属性情報保存部１３５、領域単位歪情報保存部１４５、符号データ保存部１５５、画像属性毎の歪量基準保存部１６５とからなっている。

画像領域指定部１１０では、クライアント２００毎の符号ストリームアップロードに基づいて要求画像領域を指定する。
領域単位歪情報保存部１４５は、上記で説明したような処理によって符号データが生成される段階で抽出された領域単位歪情報が保存されている。

領域範囲対応符号データ選択部１２０では、要求された画像領域指定に基づいて領域範囲対応符号データを選択する。
指定領域内画像属性情報抽出部１３０では、選択された領域範囲対応符号データに基づいて、領域単位画像属性情報保存部１３５から指定領域内の画像属性情報を抽出する。
指定領域内歪量算出部１４０では、選択された領域範囲対応符号データに対する領域単位歪情報を領域単位歪情報保存部１４５から取り出して指定領域内の歪量を算出する。

符号列選択部１５０は、抽出された指定領域内の画像属性情報と、算出された指定領域内の歪量と、画像属性毎の歪量基準保存部１６５に保存されている画像属性毎の歪量基準に基づいて指定された領域の符号データを構成する符号列を符号データ保存部１５５から選択する。
符号ストリーム生成部１７０では、選択した符号列により符号ストリームを構成し、クライアント２００側に符号ストリームを送信する。

この構成により、符号データのパケット単位の歪量に基づいて符号データの一部分をアクセスすることができる。この場合、画像領域を指定するようにして、この画像領域に対応する範囲の符号データを抽出することで、画像領域をアクセスする手段を提供できる。さらに、画像領域に対応する範囲の符号データを構成する符号列（パケット）の重要度に基づいて符号データを抽出するようにすると、符号列の重要度に基づいて符号データをアクセスすることができる。

（２）重要度を利用した符号量調整

前述したように、ＪＰＥＧ２０００仕様準拠で生成された符号データのヘッダを解析して、タイル（画像領域）単位あるいはプリシンクト単位に符号データをトランケート（符号列制御）したり編集したりすることができる。
本発明では、符号データを構成する符号列単位に設定した重要度を利用し符号列（パケット）単位で符号量を調整することができる。
例えば、特定画像領域に対応する符号データが歪量基準以上であるような符号データとすることで、画像領域毎の歪量基準以上の歪が生じないような構成とすることができる。

また、特定画像属性である領域に対応する符号データが歪量基準以上であるように符号データを再構成することによって、符号データを符号列単位で、重要でない符号列（パケット）を一部削除または追加し符号量を調整するようにし、画像属性毎の画質を保証することができる。また、出力領域単位でパケット単位の符号データを選択し、関係する符号列の追加削除が容易にできるので出力画質管理を容易に行うことができる。

また、再構成される符号データにより再生される画像が全ての画像属性で特定領域の画像属性毎の歪量基準以上であるような符号データとすることで、例えば、重要である文字情報の再現画質を向上させることができる。

次に、トランケーションを行う場合には、上記のように画像領域に対応する符号列毎に（例えば、ひとつのサブバンド内の各コードブロックに対して）異なる量のトランケーションを行うと、領域毎に（例えば、コードブロック間で）歪が生じ、これが歪誤差となって見えてくる場合がある。

このような場合、画像領域毎に符号量を制御したり、あるいは、画像領域全体で一律に符号量を制御してもかまわない。勿論、符号列とサブバンドとの対応をとることにより、サブバンド単位で行ってもかまわない。

本発明では、次のようにして、算出した算術符号データの重要度算出結果に基づいてトランケートする算術符号データを定める。
まず、符号データを構成する符号列（パケット）単位の重要度と符号量とを算出し、重要度順に符号列を並べ、次に、重要度の小さい（重要でない）符号列から順に、符号量を順次加算していって加算値が削減すべき総符号量となるまで符号列を削除して、符号データを再構成する。

上記の符号データの削除単位は、算術符号データであるが、単位は、別の区切り単位であってもかまわない。ＪＰＥＧ２０００符号化における符号量制御の場合であれば、コードブロック単位あるいはパケット単位で削除するのであってもかまわない。重要度がその単位毎に算出されていればよい。

本発明のＪＰＥＧ２０００符号化における実施形態においては、コードブロック単位あるいはパケット単位の符号データは、算術符号データの集合で構成されているので、前述したような方法で、算術符号データ単位の重要度が判別できていれば、その結果をコードブロック単位あるいはパケット単位で集計することで容易に重要度を算出することができる。したがって、符号量制御情報単位がＪＰＥＧ２０００規格のコードブロック単位あるいはパケット単位としてもよい。

また同様にして、前述したような部分画像領域単位に符号量制御する場合にあっては、ＪＰＥＧ２０００符号化において、符号量制御の目標値がＪＰＥＧ２０００規格のプリシンクト単位またはタイル単位で、単位毎に符号量を制御してもかまわない。

このように、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化方式では、画像の矩形領域単位（タイル単位）に独立に符号化するだけでなく、さらに、各タイル内の部分領域単位（プリシンクト単位）に階層的な符号データが形成される。そのため、プリシンクト単位で符号データの量（トランケート量）を管理する仕組みを具備することで、高精細の符号量制御が可能となるのである。

＜歪量計算方式＞

本発明は、歪量によって符号データの符号列毎に優先順位を設定し、特定画像領域に対応する符号データの歪量が歪量基準以上であるような符号データとすることで、画像領域毎の歪量基準以上の歪が生じないようにすることに特徴がある。
一方、ＪＰＥＧ２０００の符号化では、符号処理過程で歪量を使用してトランケートしているので、本発明では、符号データの復号再生画像の歪量を、符号データ生成過程で算出された歪量とする。

（１）ＪＰＥＧ２０００の符号列単位の重要度算出

ＪＰＥＧ２０００規格（ＩＳＯ／ＩＥＣ １５４４４−１）の仕様に基づく符号化における符号化処理過程では、いくつかの符号処理単位（サブバンド、コードブロックなどの処理単位）で、符号形成処理が進められ、符号処理単位でトランケート処理（符号量制御）される。符号処理の際に、符号処理単位で重要度が算出され、符号量制御されている。
本発明では、画像属性毎の歪量に対する劣化を感じる度合いを考慮して、符号列単位の重要度を算出する。

ところで、上述したＪＰＥＧ２０００規格の仕様の符号処理単位としては、画像データの周波数情報を意味する符号処理単位（サブバンドなど）と、画像領域を意味する符号処理単位（コードブロック、プリシンクトなど）がある。

また、ＪＰＥＧ２０００規格の符号処理では、符号処理時にビジュアル・ウェイティング（Ｖｉｓｕａｌ Ｗｅｉｇｈｔｉｎｇ）法に基づいて視覚特性を考慮に入れたＶＷ情報を使用して符号形成の過程で作られるコードブロック単位の算術符号データに対して符号量制御している。
以下、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化処理について順次説明していくが、さらに詳しいＪＰＥＧ２０００規格の符号化についての説明については、特開２００３−１６９３３３号公報等に記載されている。

（１−１）ＪＰＥＧ２０００符号化処理

ＪＰＥＧ２０００の符号処理は、タイルごとにＤＣレベルシフトおよび色変換を施し、タイルごとにウェーブレット変換し、サブバンドごとに量子化（正規化）を行って、コードブロックごとにビットプレーン符号化して、不要な符号を破棄して必要な符号をまとめてパケットを生成し、パケットを並べて、符号列を形成するように構成されている。復号処理はこの逆の手順で処理される。

図３では、符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プリシンクト、コードブロックの関係を示している。タイルとは、画像を矩形に分割した画像データの単位である。分割数が一つである場合は、一つの画像がタイルに相当している。

プリシンクトに関する符号データは、符号化過程で生成されるのであるが、後で説明するように画像（タイル）の部分領域に対応している。プリシンクトに対応する画像領域は、プリシンクトを構成するコードブロックに対応する画像領域に対応する。コードブロックのサイズは、予め指定されていて区切り方が決められているので、コードブロックに対応する画像領域に基づいてプリシンクトに対応する画像領域を求めることができる。

本発明では、符号化後に元画像の画像領域毎の属性情報を使用するが、この段階で、コードブロックに対応する部分画像領域単位に画像属性を定め、後述するように、実画像と符号化との対応関係に基づいて、形成された符号データの符号列（パケット）単位での画像属性を定める。

ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化方式では、実画像と符号データとが領域単位で対応づけされていることに着目している。
この時、コードブロックに対応する部分画像領域の全域に渡って一つの画像属性が定められれば問題はないが、複数の画像属性が一つのコードブロックに対応する画像領域に含まれている場合には、予め決められた規則に基づいて画像属性を決めればよい。

例えば、コードブロックに対応する部分画像領域単位に画像属性を定める方法は、画像入力後にコードブロックに対応する部分画像領域単位に画像を分割し、この部分画像領域単位に画像属性を定める。ここで、画像属性を定める方法はこれだけに限定されない。これ以外にも、画像の特徴を示す画像データが既に存在しているような場合に、属性分けされた画像を画像領域分割して部分画像領域単位に画像属性を定めるという方法もある。

個々のタイルは、独立したタイル毎に１つの画像データとみなして、ウェーブレット変換以下の符号処理がなされるので、タイルを構成する全ての符号データが、タイル単位のアクセス単位となる。
タイルを、色空間変換部でＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元Ｗａｖｅｌｅｔ変換部で色成分ごとにウェーブレット変換した結果として、サブバンドが生成され、サブバンド単位で量子化される。

前述したプリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもの（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたものであり、プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまり）で、タイル（画像）中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。

このプリシンクトは、タイルの画像データをウェーブレット変換した結果に生成され、タイル（画像）中のある領域の符号データからなっている。プリシンクトのアクセス単位に相当する符号データは、タイル（画像）中のあるプリシンクト領域の符号データであり、プリシンクトをさらに（ユーザが指定可能なサイズの）矩形に分割したものがコードブロックである。

以下、ＪＰＥＧ２０００の符号化処理の過程で、コードブロック、プリシンクト単位の符号データが生成されていく流れを順に説明していく。

最初に、入力画像が矩形領域（タイル）単位にウェーブレット変換が施されるわけであるが、ウェーブレット変換は、タイル内の特定領域の（フィルタリングするのに必要な長さの）入力画像に対してフィルタリングすることによって（通常低域フィルタと高域フィルタから構成されるフィルタバンクによって）実現される。

ウェーブレット変換係数は、タイル内の特定領域の入力画像に対応して順次形成される。すなわち、タイル内の特定画像領域の画像データに対応して、ウェーブレット変換係数が形成される。このように、画像データはタイル単位に分割され、タイル単位で符号化されるわけであるが、以下に説明するように、ＪＰＥＧ２０００仕様の符号化では、タイル内のさらに小さいサイズの部分矩形画像領域単位でウェーブレット変換係数が形成され、対応する領域単位に符号データが形成される。

ウェーブレット変換は、前述したように、通常、低域成分（ＬＬ）を繰り返し変換する方法を取り、さらにウェーブレット変換係数に対してウェーブレット変換が施される。この時、ウェーブレット変換は、ウェーブレット変換係数を形成するときに使用したタイル内の元画像領域の位置に配置されたデータとして施される。

通常、ウェーブレット変換は圧縮率を高めるために画像の位置（領域）が互いに近い相関が大きいデータ（の集まり）に対して施されるためである。このことから、サブバンド毎のウェーブレット変換係数は、タイル内の元画像領域の位置との対応関係を保っている。

次に、サブバンド単位にウェーブレット変換係数に量子化処理が施されるが、求められた量子化係数もタイル内の元画像領域の位置との対応関係を保っている。
量子化は、ウェーブレット変換係数に対して非可逆圧縮を施す。ＪＰＥＧ２０００の量子化手段としては、ウェーブレット変換係数を量子化ステップサイズで除算するスカラ量子化を用いる。ここで、ＪＰＥＧ２０００の規格上、上述の非可逆圧縮を行うときに、非可逆の９×７ウェーブレット変換フィルタを用いる場合には、自動的にスカラ量子化を併用することが決められている。

一方、可逆の５×３ウェーブレット変換フィルタを用いる場合には、量子化を行わず、後述のように、符号化パスを切り捨てることによって、符号量制御が行われる。ＪＰＥＧ２０００の量子化処理は、実際には非可逆の９×７ウェーブレット変換フィルタを用いた場合である。

続いて、量子化係数に対してビットプレーン符号化がなされる。ＪＰＥＧ２０００における符号化の規格では、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるエントロピー符号化処理が施される。ＥＢＣＯＴは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う手段である。

量子化係数をコードブロック（ｃｏｄｅ−ｂｌｏｃｋ）と呼ばれる所定のサイズのブロック単位に、エントロピー符号化する。コードブロックは、量子化係数のＭＳＢからＬＳＢ方向にビットプレーン毎に独立して符号化する。

コードブロック（ｃｏｄｅ−ｂｌｏｃｋ）は、タイル内の元画像領域の位置との対応関係を持っている量子化係数をブロック単位に集めたものであり、タイル内の元画像領域の特定の位置に対応する量子化係数の集まりになっている。コードブロックの縦横のサイズは、４から２５６までの２のべき乗で、通常使用される大きさは、３２×３２、６４×６４、１２８×１２８等がある。コードブロックの符号化は、ＭＳＢ側のビットプレーンから順番に、（i）Ｓｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓ、（ii）Ｒｅｆｉｎｅｍｅｎｔ Ｐａｓｓ、（iii）Ｃｌｅａｎｕｐ Ｐａｓｓの３種類の符号化パスによって行われる。即ち、ビットプレーンのＭＳＢ側からＬＳＢ側に向かい、順次、Ｃｌｅａｎｕｐ Ｐａｓｓ、Ｓｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓ、Ｒｅｆｉｎｅｍｅｎｔ Ｐａｓｓ、Ｃｌｅａｎｕｐ Ｐａｓｓの順序で各ビットプレーンの符号化が行われる。３つの算術符号化は、それぞれ以下のような処理を行う。

（i）Ｓｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓ：
あるビットプレーンを符号化するＳｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓでは、８近傍の少なくとも１つの係数がｓｉｇｎｉｆｉｃａｎｔであるようなｎｏｎ−ｓｉｇｎｉｆｉｃａｎｔ係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けて算術符号化する。

（ii）Ｒｅｆｉｎｅｍｅｎｔ Ｐａｓｓ：
ビットプレーンを符号化するＲｅｆｉｎｅｍｅｎｔ Ｐａｓｓでは、ビットプレーンを符号化するＳｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓで符号化していないｓｉｇｎｉｆｉｃａｎｔな係数のビットプレーンの値を算術符号化する。

（iii）Ｃｌｅａｎｕｐ Ｐａｓｓ：
ビットプレーンを符号化するＣｌｅａｎｕｐ Ｐａｓｓでは、ビットプレーンを符号化するＳｉｇｎｉｆｉｃａｎｃｅ Ｐａｓｓで符号化していないｎｏｎ−ｓｉｇｎｉｆｉｃａｎｔな係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるかを続けて算術符号化する。

ビットプレーン符号化は、タイル内の元画像領域の特定の位置に対応したブロック毎（コードブロック単位）に独立して符号化を行い、且つ、算術符号化の統計量測定を当該符号化ブロック（上述した例では、コードブロック）内に閉じて処理が行われている。

このように、各符号化パスで算術符号が生成された後、必要に応じて算術符号の符号量をカウントしながら、目標のビットレートまたは圧縮率に近づけるように、符号量制御が行われる。この符号量の制御は、コードブロック毎の算術符号データ（各符号化パスで生成された算術符号データ）の一部またはすべてを切り捨てる（トランケートする）ことで実現できる。

本発明の符号量制御の方式は、後で詳しい説明を加えるが、ビットプレーン符号化部で符号破棄前の符号を作り、符号量の調整を行いながら、（ポスト量子化部で）トランケーションを行い、パケットの並びを順次生成し、ＪＰＥＧ２０００の符号フォーマットに符号を形成するものである。

符号量制御完了後、コードブロック単位の算術符号データを編集して符号データを生成する。つまり、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは、３つのサブビットプレーンに分解されて符号化される場合もある）。

例えば、コードブロック内の算術符号データに対して、付加情報をヘッダとして生成する。通常、符号データを構成するヘッダ情報が生成され、一方で、コードブロック単位の算術符号データを編集してパケットを生成し、ヘッダ情報に、対応するパケットデータを付加して符号データを生成する。

パケットヘッダには、通常、プリシンクトに含まれるコードブロックを特定する情報と共に、符号化されなかった０ビットプレーン数、符号化されたコーディングパス数あるいはゼロレングスパケット（全てのコードブロック情報が０である）であることについての情報をもっている。

ＪＰＥＧ２０００仕様準拠の符号データでは、パケットは、プリシンクトと呼ばれるタイル内の矩形領域（位置）に対応するコードブロックを集めて構成されている。即ち、プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットである。ただし、パケットの中身が符号的には“空（から）”ということもある。

全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、画像全体のビットプレーンの符号の一部であり、すべてのレイヤを集めると画像全域の全てのビットプレーンの符号になる。

図４は、ウェーブレット変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図５はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図３でいうプリシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる。図５中、いくつかのパケットを太線で囲んである。これらのパケットは「コードブロックの符号の一部を取り出して集めたもの」である。

ＪＰＥＧ２０００のパケット構成の例を示したのが、図６〜８である。パケットは、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号データの最小単位であり、プリシンクト単位の符号データにより構成される。

このように、ＪＰＥＧ２０００の符号化で形成された符号データは、タイル単位に形成され、さらに、タイル単位の符号データはパケット単位で形成されており、パケットは、プリシンクト単位の符号列の集まりにより形成されている。したがって、ＪＰＥＧ２０００の符号化で形成された符号列に対してプリシンクト単位にアクセスする場合は、符号列のヘッダを解析し、指定されたプリシンクトに該当するパケットを抽出することでアクセスできる。

ところで、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化では、パケットをさらにいくつかの構成単位に集めて符号データ（符号化コートストリーム）を形成するが、パケットの並びをプログレッション順序と呼び、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格ではいくつかのプログレッション順序で符号データが構成される。

即ち、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格のパケットは、プログレシブ順にシーケンス化され、それぞれ、プリシンクト、解像度レベル、およびコンポーネント（色成分）、画質レベル（レイヤ）によって配列されている。
ここで、コンポーネントについては、これまで詳しく述べなかったが、コンポーネントとは色成分を指し、符号化が画像のタイル単位に色成分毎になされることに対応している。あるタイルあるいはプリシンクトの符号データをアクセスする場合は、対応するタイル領域の全てのコンポーネントで該当する符号データをアクセスする。

また、解像度レベルとは、サブバンドの階層（デコンポジションレベル）を指し、先に説明したように、サブバンド毎に求められたウェーブレット係数についてコードブロック単位の算術符号データが生成されているので、サブバンドの階層（デコンポジションレベル）毎に符号データは区別することができる。同様に、あるタイルあるいはプリシンクトの符号データをアクセスする場合は、対応するタイル領域の全ての解像度レベルで該当する符号データをアクセスする。

また、画質レベル（レイヤ）は、画質レベルに対応して、例えば、３ＬＬのコードブロック単位のデータを最低レベルのレイヤとして構成し、３ＬＬに３ＨＬ乃至３ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、１ＨＬ乃至１ＨＨを２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを最高レイヤとしてレイヤデータを構成する。同様に、あるタイルあるいはプリシンクトの符号データをアクセスする場合は、対応するタイル領域の全てのレイヤレベルで該当する符号データをアクセスする。

ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。

・ＬＲＣＰ プログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・ＲＬＣＰ プログレッション：プリシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度レベルのプログレッションであるが、特定位置の優先度を高くすることができる。
・ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えば、カラー画像のプログレシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。

このように、ＪＰＥＧ２０００仕様の符号化では、形成する符号データの符号順序（プログレッシブ方式）を選択することができて、そのプログレッシブ方式としては、解像度（ｒｅｓｏｌｕｔｉｏｎ ｌｅｖｅｌ）、プリシンクト（ｐｒｅｃｉｎｃｔ：ｐｏｓｉｔｉｏｎ）、色成分（ｃｏｍｐｏｎｅｎｔ）及びレイヤ（Ｌａｙｅｒ）の組合せによる５つのプログレッシブ順序を規定している。

一般に、マルチレイヤプログレッシブは、Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｌｅｖｅｌ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ（ＬＲＣＰ）のプログレッシブ順序を有し、ビットプレーンを最上位から符号化する方式である。このマルチレイヤプログレッシブで画像を表示すると、ユーザからは、少ない色数から徐々に色数が増えてくるように見える。これを文字や写真等が混在した文書に適用した場合、写真は中間調が見えないのでほぼ完全に復元されないと認識できない。一方、文字はエッジが強いので完全に復元される前に認識できる。

これに対し、マルチレゾリューションプログレッシブは、ｒｅｓｏｌｕｔｉｏｎ ｌｅｖｅｌ−Ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ（ＲＬＣＰ）のプログレッシブ順序を有し、ウェーブレット変換の多重解像度性を利用して、小さい解像度から符号化することで、画像を画像のきめ細かさや粗さで圧縮する。復号化において、低い解像度から徐々に解像度が上がるマルチレゾリューションプログレッシブを用いて画像を表示すると、利用者からは、ピントがぼけた状態から徐々にピントが合ってくるように見える。これを文字及び写真等が混在した文書に適用すると、写真は完全に復元される前に大まかな内容を認識することができ、文字はほぼ完全に復元されないと認識できない。

ＪＰＥＧ２０００仕様の符号化では、このように選択された符号順序（プログレッシブ方式）に基づいて符号列を形成しておいて、符号化後に一部の階層を削除することで符号量制御を行うこともできる。符号化後の符号量制御は、一般に符号データの各階層が複数の符号列により構成されるため、微細な符号量制御ができない。
本発明で説明したように、形成される符号データの符号列単位での重要度が算出されていることによって（符号列（パケット）単位での優先順位が明確になっていることで）、各階層内の符号データにおける符号列単位で非重要な符号列から先に削除することが可能となる。

すなわち、本発明の実施形態の一つとして、符号順序（プログレッシブ方式）を選択し階層構造の符号データが形成された後、階層毎に符号列の重要度に基づき優先順位付けし、優先順位の低い符号列から順次削除する符号量制御も含まれる。

このように形成されたＪＰＥＧ２０００規格の符号データは、タイル単位に、プリシンクト、解像度レベル、画質レベル（レイヤ）、色成分毎に区分された符号化データを生成する。プログレッション順に係わらず、あるタイル単位の符号データをアクセスする場合は、対応するタイル領域の全てのプリシンクト、解像度レベル、画質レベル（レイヤ）、コンポーネントで該当する符号データをアクセスする。

一方、プリシンクト単位に対応する画像領域の符号データをアクセスする場合は、プリシンクト単位に対応する全ての解像度レベル、画質レベル（レイヤ）、コンポーネントで該当する符号データをアクセスする。

すなわち、ＪＰＥＧ２０００仕様準拠の符号データは、画像全体を矩形領域単位に分割したタイル（画像領域）単位でアクセスすること（タイルに含まれる符号データをアクセスする場合）と、タイルの内部の領域単位であるプリシンクト単位に（対応する画像領域の）符号データをアクセスするという、二種類の符号データにアクセスすることができる。二種類のサイズをもつ画像領域単位に容易にアクセスできるような、アクセス単位の区切り単位を持つ符号データが形成される仕様になっているのである。

したがって、ＪＰＥＧ２０００仕様準拠で生成された符号データのヘッダを解析して、タイル（画像領域）単位あるいはプリシンクト単位に符号データをトランケート（符号列制御）したり編集したりすることができる。

（１−２）歪量計算手段１：

次に、ＪＰＥＧ２０００における符号化過程における符号量制御について説明する。
ＪＰＥＧ２０００仕様準拠の符号化では、ビジュアル・ウェイティング（ＶＷ：Ｖｉｓｕａｌ Ｗｅｉｇｈｔｉｎｇ）法を使用、符号量制御の方式を実現する。
ＶＷ法は、人間の視覚システムを巧みに利用した手法であり、画像の空間周波数に対して人間の視覚システムの変動感受性をモデル化し、これをコントラスト感受性機能（Ｃｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎ：ＣＳＦ）として体系付けたものである。

ＣＳＦの重みは、実際には画像の変換係数の視覚周波数によって決定されるものであり、視覚される波長帯域内で係数に対するビットの割り当てを増やし、視覚されない波長帯域内で係数に対するビットの割り当てを少なくする視覚的重み付けであり、人間の目により多く感知される特徴を強調することで、画像の主観的画質を向上させる。ウェーブレット変換後の個々のサブバンドに対してＣＳＦの重みが別個に用意される。

なお、このＣＳＦの重みは、符号化側で設計され、復号画像がどのような条件下で視覚されるかに依存している。具体的には、以下に説明するように、サブバンド毎にＶＷ係数値を設定しておいて、設定されたＶＷ係数値に基づいて削減評価対象であるコードブロックの符号化パスの算術符号データの歪み削減量を計算し、歪み削減量が小さい算術符号データから優先的に削減するように符号量制御する。このようにコードブロックを構成する算術符号データの歪み削減量を基にコードブロック単位の重要度を算出することができる。

以下の説明では、ＣＳＦの重みによって符号データの一部をトランケートすることによる符号量制御する処理について説明するが、ＣＳＦの逆数によって量子化ステップサイズを調整し量子化によって符号量制御する場合もある。

図９に示すように、符号化パス符号量算出部３００及び符号化パス歪み削減量算出部３１０は、算術符号化後の算術符号Ｄ３４０を入力する。
符号化パス符号量算出部３００は、コードブロック内に生成される符号化パスで実際に発生する符号量Ｒを、全てのコードブロックの全ての符号化パスに対して求め、この全てのコードブロックの符号化パスの符号量Ｒを示す情報Ｄ３００をＲＤ特性算出部３２０に供給する。

符号化パス歪み削減量算出部３１０は、その符号化パスを含めた場合にどの程度歪みが低減されるかを示す歪み削減量Ｄを算出する。歪量は、対象の符号化パスをトランケーションした状態でデコードを行った画像データの原画像データに対する誤差である。誤差は、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用して計算する。このように、ＪＰＥＧ２０００では、各ビットプレーンまでトランケーションした場合の歪量をそれぞれ求めるために、各ビットプレーンまでトランケーションした状態でそれぞれデコードを行ってＭＳＥで誤差を調べる。

例えば、最初に各コードブロックにおいてビットプレーンを下位側から１つトランケーションした場合の歪量を求め、次に、ビットプレーンを下位側から２つトランケーションした場合の歪量を求め、同様にして、すべてのビットプレーンをトランケーションしたときの歪量を求める。このため、歪量を求めるための処理時間が非常に長くなるという問題があり、後述するような簡易な方式で歪量を求めてもかまわない。

この時、ＪＰＥＧ２０００仕様準拠の符号化処理では、歪み削減量ＤはＶＷ係数値Ｄ３３０を加味して算出する。すなわち、サブバンド毎に設定してあるＶＷ係数値Ｄ３３０を、各符号化パスの歪み削減量に乗算した結果を、歪み削減量Ｄとする。これは、サブバンド毎の優先的な重み付けをしたことと等価であり、符号量制御の際に低域のサブバンドに存在する符号化パスほど切り捨てられにくくなり、逆に高域のサブバンドに存在する符号化パスほど切り捨てられやすくなる。全てのコードブロックの全ての符号化パスに対して削減量Ｄを求め、この全てのコードブロックの符号化パスの歪み削減量Ｄを示す情報Ｄ３１０をＲＤ特性算出部３２０に供給する。

ＲＤ特性算出部３２０は、各符号化パスのＲＤ特性、通常はＲＤ曲線の傾きを算出する。そして、ＲＤ特性算出部３２０は、この結果得られたＲＤ特性値及び各符号化パスの情報Ｄ３２０を全符号化パス分記憶保持しておき、また、このＲＤ特性値及び各符号化パスの情報Ｄ３２０を符号化パス選択部３３０に供給する。

符号化パス選択部３３０は、ＲＤ特性算出部３２０から供給されたＲＤ特性値及び各符号化パスの情報Ｄ３２０に基づいて、画像全体の目標符号量に最も近くなるように、各符号化パスを含めるか切り捨てるかの選択を行う。この際、符号化パス選択部３３０は、図１０に示すようなＲＤ特性を利用する。図１０において、黒丸のポイントは切り捨ての候補となる符号化パスであり、白丸のポイントは切り捨ての対象外となる符号化パスであることを示している。
したがって、符号化パス選択部３３０は、目標符号量に最も近くなるように、これらの白丸の符号化パスを選択する動作を行う。
以上の動作によって、最終的に選択された符号化パスの情報である算術符号Ｄ３５０が符号形成対象となる。

また、目標符号量に達した際に、又は達する直前に符号化パスを切り捨てる、又はそれ以上の符号化パスを選択せず打ち切ることで、符号量制御を行うこともできる。

ＪＰＥＧ２０００仕様準拠の符号化では、サブバンド毎に設定されたＶＷ係数値Ｄ３３０を使用して、ＶＷ法による符号量制御を実行している。ＶＷ係数値Ｄ３３０の実際の値としては、例えば図１１のように各分割レベルのサブバンド毎に決めておくこともできる。図１１では、輝度（Ｙ）と色差（Ｃｂ、Ｃｒ）とで別々に係数値が決められており、分割レベルが大きいほど、すなわち、より低域成分ほど、係数値も大きくなっていることが分かる。ここで、係数値が大きいことは、符号量制御の際に符号化パスの切り捨てが行われにくいことを意味する。

なお、図１１において、Ｙ、Ｃｂ、Ｃｒの全て低域なほど（分割レベルが大きい程）係数値が大きくなっているのは、画像のエネルギーが低域に集中していることを利用しているためである。ここで、入力画像の特徴を利用して、ある特定のサブバンドの係数値を大きい値又は小さい値に設定するようにしてもよい。例えば、入力画像がインタレース画像であった場合、ＬＨ成分のエネルギーが大きくなる傾向にあるため、図１２に示すようにＬＨ成分に相当する係数の重み値を大きくすることが有効である。これにより、インタレース成分の画像が保持され、高画質化に繋がる効果がある。

なお、図１１、図１２共に、ＹよりもＣｂ又はＣｒの重み係数値の方が小さい値に設定されている。これは、輝度成分よりも色差成分に対する人間の視覚特性が鋭敏でない特徴を生かしたためである。

符号量制御は、上記に示したＪＰＥＧ２０００仕様によるものに限らず、特開２００３−３０４４０５号公報のように、画像情報の各ビットプレーンにおける最上位有効ビットの個数に基づいてビットプレーンをトランケーションしたときの画像の歪量を推定しトランケーションする方式でも実現できる。

本発明の符号データの符号列単位での重要度設定では、画像属性ごとの基準を使用する。上述したように、画像領域情報はコードブロック毎に識別可能になっているので、歪み削減量Ｄを計算する場合に、対象とするコードブロックの像領域情報を考慮して設定する。ＶＷ係数値がサブバンドごとに設定されているのに対して、画像領域毎の画像属性情報はコードブロック単位に設定されている。
この場合、サブバンド毎に設定してあるＶＷ係数値Ｄ３３０と、コードブロック毎の画像領域毎の画像属性毎に設定された値を、各符号化パスの歪み削減量に乗算した結果を、歪み削減量Ｄとする。

以上のことから、本発明は、符号データ生成過程が、入力画像に対して低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成するサブバンド生成手段と、低域成分のサブバンドに対して階層的にフィルタリング処理を施すフィルタリング手段と、フィルタリング手段によって生成されたサブバンドを分割し、所定の大きさのコードブロックを生成するコードブロック生成手段と、前記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成するビットプレーン生成手段と、前記ビットプレーン毎に符号化パスを生成する符号化パス生成手段と、上記符号化パス内で算術符号化を行う算術符号化手段と、算術符号の歪量を算出する算術符号歪量算出手段とを備え、前記算出された歪量を本発明における符号データの復号再生画像の歪量とするようにした。

（１−３）歪量計算手段２

上述したように、ＪＰＥＧ２０００では、量子化されたウェーブレット係数データをビットプレーンに分割して符号化するので、ビットプレーンの切り捨てによる画像情報の圧縮（符号量制御）が可能である。例えば、ビットプレーンを下位側から切り捨てていく（トランケーション）ことによる画像情報の圧縮（符号量制御）が行われている。符号量制御では、ある圧縮率が目標値として存在する場合、目標値になるまでデータを切り捨てていくことになるが、当然データを切り捨てていくと画質が劣化していくことになる。そのため、データを切り捨てる場合にどれだけデータを切り捨てるとどれだけ画質が劣化するかを検出する必要があるが、その劣化の度合いが歪量である。

この歪量の検出は、ＪＰＥＧ２０００仕様によるものに限らず、特開２００３−３０４４０５号公報のように、画像情報の各ビットプレーンにおける最上位有効ビットの個数に基づいてビットプレーンをトランケーションしたときの画像の歪量を推定しトランケーションする方式でも実現できる。同様な考え方により、前記各符号化パスの歪み削減量は、各符号化パスの上位の有効ビット（値）に基づいて計算してもかまわない。

すなわち、歪量の検出方法として、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式においては、ビットプレーン（あるいは、レイヤ）をトランケーションしたときの画像の歪量を、トランケーションを行ったときのＭＳＢ（データの最上位有効ビット）の個数の変化量とすることもできる。

これは、ウェーブレット係数のＭＳＢ成分が多く分布している、ビットプレーン（レイヤ）をトランケーションすると、そのビットプレーン（レイヤ）に関するコードブロックのデータの分布状況が大きく変わってしまうことになるように、ビットプレーン（レイヤ）のトランケーションを行ったときのＭＳＢの個数の変化と歪量の変化との間には相関があると考えられるからである。

以上のことから、本発明では、歪量の検出が、符号データ生成過程で、画像領域毎にビットプレーン単位のトランケーションにより符号量を削減する符号化が行われる。ここで、歪量は、前記画像領域毎の各ビットプレーンにおける最上位有効ビットの個数である。

（２）ＪＰＥＧ２０００の符号列単位の重要度設定

ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号処理では、符号化過程で、周波数特性に対応したサブバンド単位に符号データの形成処理がなされるが、その後符号データは符号化処理の過程で複雑に処理されて形成されていくため、符号化処理後においては、サブバンド単位で符号データを区別することができなくなっており、かかる単位の視覚特性を考慮した符号列単位で重要度の設定ができない。

そこで、本発明の構成では、符号化後に、符号データを構成する符号列単位で重要度を設定する方法としては、符号化処理時に前述したようなコードブロック単位に歪量を算出しておいて、符号化後に、係る情報を使用して前記歪量に基づいて符号形成における符号列単位毎の重要度を算出する。ＪＰＥＧ２０００の符号化においては、符号形成における符号列（パケット）は、コードブロック単位の集合によって形成されていることから、符号形成における符号列（パケット）の重要度は、該符号列を形成するコードブロック単位の重み付けの和として算出する。

具体的には、符号化処理の過程で算出された、コードブロックの符号化パスの算術符号データについての歪み削減量Ｄとその符号量Ｒの値を保存しておいて符号化後の処理で使用する。この時、歪み削減量の計算は、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格のＶＷ係数値Ｄ３３０を考慮した計算値でもよいし、さらに画像領域毎の画像属性を考慮した値でもよい。

図１３を用いて、本発明における符号列単位での重要度の設定について説明する。本実施形態では、コードブロック単位で歪量を算出する手段を備え、符号化後の符号データ編集時あるいは復号時に符号列（パケット）単位で重要度を設定する機能を備えているところが特徴である。

符号化処理部４１０には、符号化の過程で一時的に生成されるサブバンド毎のコードブロック単位における算術符号算出部４１１を備え、サブバンド毎コードブロック単位の算術符号保存部４１２に前記算術符号が保存されている。
コードブロック単位の算術符号の歪量の算出は、コードブロック単位歪量算出部４０３にて施される。

符号列単位重要度算出部４００は、コードブロック対応画像領域単位の画像属性情報保存部４０１、ＶＷ係数保存部４０２に保存されたデータを使用して、サブバンド毎コードブロック単位の前記算術符号の歪量（その算術符号データが削減された場合の画質の劣化度合い）を算出するコードブロック単位歪量算出部４０３を備え、符号列（パケット）単位歪量算出部４０４にて、符号列（パケット）単位の歪量を算出し、符号列（パケット）単位の歪量を使用して、符号列単位重要度算出部４０５にて、符号列（パケット）単位の算術符号の重要度を計算する。

なお、図１３の構成では、符号量算出部４０６が符号列単位重要度算出部４００に具備した構成になっているが、符号化処理部４１０に具備していてもかまわない。
図１３で示すように、本発明では、コードブロック単位の歪量を使用して、符号列単位で重要度を設定する。
ＪＰＥＧ２０００符号化における符号列（パケット）単位で重要度を設定するには、次のような手順で処理する。

(i)画像データを入力し、画像データをウェーブレット変換しウェーブレット係数をサブバンド単位で算出する。
(ii)各サブバンドのウェーブレット係数単位で以下の処理(iii)〜(vi)を繰り返す。
(iii)コードブロック単位で算術符号データを算出し、以下の処理(iv)〜(v)を繰り返す。
(iv)コードブロックに含まれる各算術符号データに対して歪量を算出し、該歪量を合計し符号コードブロックの歪量を算出する。
(v)全算術符号データの処理が終了したら次のコードブロック単位を処理する。
(vi)全コードブロック単位の処理が終了したら次のサブバンド単位を処理する。
(vii)全サブバンド単位の処理が終了したらコードブロック単位の符号データを組み合わせて符号列を構成し符号データ（パケット単位）を形成する。
(viii)符号列を構成するコードブロック単位の歪量を合算し、プリシンクト単位の歪量を算出する。
(ix)算出されたプリシンクト単位の歪量を、符号列（パケット）単位の歪量とする。
(x)算出された符号列単位の歪量を歪量基準値と比較することにより、符号列（パケット）単位の重要度を算出する。

すなわち、ＪＰＥＧ２０００の符号データ形成過程においては、符号データをプリシンクト単位で構成されるパケットを生成する場合に、プリシンクトを構成するコードブロック単位の算術符号データの歪量を集計しプリシンクト単位の歪量を計算するようにした。

いずれにしても、符号データ形成時にプリシンクト単位の歪量情報または符号列（パケット）単位の歪量情報または重要度情報を記録として残すことによって、符号列形成後の符号データ編集処理（パーサー）においてだけでなく、後段の復号処理あるいは復号後の画像処理あるいは、復号後における符号データのアクセスにおいても、これらの情報を活用することができる。
ここで、歪量情報あるいは重要度情報を保持する方法としては、符号データのヘッダに記載しておいてもかまわないし、テーブルとして別途保持しておくようにしてもよい。

また、本発明の実施形態における画像処理装置においては、図２に示すように、指定領域内画像属性情報と、指定領域内歪量と、画像属性毎の歪量基準と、によって符号データを構成する符号列単位で重要度（優先順位）を算出する。

同様に、先に部分画像領域単位に画像属性を定め、画像領域毎に符号量を制御するための重要度を設定することを示したが、係る部分画像領域単位の画像属性についても別のテーブルの形式で保持していてもかまわない。これらの情報は、元画像領域と符号データの対応をもった情報であるので、これらの情報を活用する場合に画像領域毎の符号データ処理も容易に進めることができる。

（３）ＪＰＥＧ２０００の画像属性情報を使用した重要度設定

図１４は、本発明の実施形態に係る画像処理装置における、画像属性に基づく歪量基準を使用した符号列単位の重要度設定を説明するための図である。画像データを構成する部分領域の画像属性毎に符号データの重要度を設定する様子を示している。
図１４に示すように、本発明では、符号化過程で算出された画像領域単位の画像属性情報と画像属性毎の歪量基準情報によって符号列単位の歪量と属性情報を算出し、符号化後に符号列単位の重要度設定情報を算出し、符号データの編集処理を施している。

符号列単位の歪量（符号列を削除した場合に再現画質に影響する画質の歪量）と属性情報は、前述したように符号化過程で算出される。符号列単位の重要度は、符号列単位の歪量を画像属性毎の歪量基準と比較して、歪量がその画像属性の基準値より少ないと判断される場合には重要度が小さく、そうでない場合は大きいという具合に設定される。
本発明の符号処理における画像属性情報算出は、コードブロックに対応する部分画像領域単位に画像を分割し、コードブロック単位に画像属性を算出して、符号列（パケット）単位に画像属性を算出する。

このように、符号データを構成する符号列の重要度は、特に画像属性によって符号データの重要度の設定基準を変更するようにすることで、画像属性に対する歪量に対する感度の違いを反映することができる。

なお、ＪＰＥＧ２０００などの周波数特性を符号化過程で算出する方式においては、上述したような方法で部分画像領域単位の画像属性を定めるのではなく、符号化過程で算出される前記周波数特性を使用してコードブロックに対応する部分画像領域単位に画像属性を算出してもかまわない。

例えば、符号化処理部において、画像データをウェーブレット変換し、ウェーブレット係数をサブバンド単位で算出し、ＬＬ成分データを使用して、コードブロックに対応する部分画像領域単位に画像属性を算出し、符号列（パケット）単位に画像属性を算出するようにしてもよい。
なお、上記において、部分画像領域単位に画像属性を定める場合に、誤って識別されてしまう場合がある。そのような場合に合わせて、重要領域の設定範囲が算出された領域よりも広くなるように設定するようにしてもよい。

このような画像の属性情報は、スキャナなどの像域分離技術によって抽出する。この時、前述したように、部分画像領域単位に画像属性を判別し、符号列を構成する符号データとの対応をとる。

本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の画像処理装置や画像処理システムを構成する各機能をそれぞれプログラム化して、予め記録媒体に書き込んでおき、この記録媒体に記録されたこれらのプログラムをコンピュータに備えられたメモリあるいは記憶装置に格納し、そのプログラムを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
また、上記プログラムは、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

なお、上述した実施形態の機能を実現するプログラムは、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等のいずれの形態の記録媒体で提供されてもよい。あるいは、ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。

本発明の実施形態に係る画像処理装置における重要度設定の構成を示すブロック図である。 本発明の実施形態に係る画像処理システムの構成を示すブロック図である。 符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プリシンクト、コードブロックの関係を示す図である。 ＪＰＥＧ２０００におけるレイヤの構成例である。 ＪＰＥＧ２０００におけるパケットの構成例である。 ＪＰＥＧ２０００におけるパケットデータの構成例（その１）である。 ＪＰＥＧ２０００におけるパケットデータの構成例（その２）である。 ＪＰＥＧ２０００におけるパケットデータの構成例（その３）である。 ＪＰＥＧ２０００における符号量制御処理の流れを示す図である。 ＪＰＥＧ２０００の符号量制御処理におけるＲＤ特性（歪量と符号量の関係）テーブル例である。 ＪＰＥＧ２０００の符号量制御処理におけるＶＷ法の重み係数テーブル例である。 ＪＰＥＧ２０００の符号量制御処理におけるＶＷ法の他の重み係数テーブル例である。 本発明の実施形態に係る画像処理装置における重要度設定の他の構成を示すブロック図である。 本発明の実施形態に係る画像処理装置における、画像属性に基づく歪量基準を使用した符号列単位の重要度設定を説明するための図である。

符号の説明

１０…入力処理部、２０…符号化処理部、３０…符号列単位重要度算出部、３１…符号列単位属性情報抽出部、３２…符号列単位歪量抽出部、３３…符号列単位重要度設定部、３４…画像属性毎歪量基準記憶部、３５…画像属性情報記憶部、４０…符号データ編集部、５０…復号処理部、６０…出力処理部、７０…画像データ保存部１、８０…符号データ保存部、９０…画像データ保存部２、１００…サーバ、１１０…画像領域指定部、１２０…領域範囲対応符号データ選択部、１３０…指定領域内画像属性情報抽出部、１３５…領域単位画像属性情報保存部、１４０…指定領域内歪量算出部、１４５…領域単位歪情報保存部、１５０…符号列選択部、１５５…符号データ保存部、１６５…歪量基準保存部、１７０…符号ストリーム生成部、２００…クライアント、３００…符号化パス符号量算出部、３１０…削減量算出部、３２０…ＲＤ特性算出部、３３０…符号化パス選択部、４００…符号列単位重要度算出部、４０１…コードブロック対応画像領域単位の画像属性情報保存部、４０２…ＶＷ係数保存部、４０３…コードブロック単位歪量算出部、４０４…符号列単位歪量算出部、４０５…符号列単位重要度算出部、４０６…符号量算出部、４１０…符号化処理部、４１１…サブバンド毎コードブロック単位算術符号算出部、４１２…サブバンド毎コードブロック単位算術符号保存部、４２０…符号データ編集処理部、４２１…符号量制御処理部、４３０…符号量保存部、４４０…符号列単位重要度保存部。

Claims (21)

1. 符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記符号データを構成する符号列単位で重要度を設定する機能を有することを特徴とする画像処理装置。
2. 画像部分領域に対応する符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記画像部分領域に対応する符号データを構成する符号列単位で重要度を設定する機能を有することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列の順番を変更し符号データを再構成する機能を有することを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列単位で符号列順に送信する機能を有することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、前記符号列単位の重要度によって、符号データを構成する符号列単位で送信状況に応じて符号列を途中で打ち切って送信する機能を有することを特徴とする画像処理装置。
6. 請求項４または５に記載の画像処理装置において、符号データを構成する符号列の一部がレングスの短いダミーの符号列に置きかえて復号対象の符号データを構成する機能を有することを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置において、画像領域毎の歪量と歪量基準を比較する手段を有し、特定画像属性である領域に対応する前記符号データが歪量基準以上であるように符号データを再構成する手段を有することを特徴とする画像処理装置。
8. 請求項３に記載の画像処理装置において、画像属性毎の歪量と歪量基準を比較する手段を有し、前記再構成される符号データにより再生される画像が全ての画像属性で特定領域の画像属性毎の歪量基準以上であるような符号データであることを特徴とする画像処理装置。
9. 請求項２に記載の画像処理装置において、画像の部分領域が予め設定された注目領域であることを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかに記載の画像処理装置において、請求項１または２に記載された符号データの復号再生画像の歪量が符号データ生成過程で算出された歪量であることを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、請求項１または２に記載された符号データ生成過程が、入力画像に対して低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成するサブバンド生成手段と、前記低域成分のサブバンドに対して階層的にフィルタリング処理を施すフィルタリング手段と、前記フィルタリング手段によって生成されたサブバンドを分割し、所定の大きさのコードブロックを生成するコードブロック生成手段と、前記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成するビットプレーン生成手段と、前記ビットプレーン毎に符号化パスを生成する符号化パス生成手段と、上記符号化パス内で算術符号化を行う算術符号化手段と、算術符号の歪量を算出する算術符号歪量算出手段とを備え、請求項１または２に記載された符号データの復号再生画像の歪量が前記算術符号歪量算出手段で算出された歪量であることを特徴とする画像処理装置。
12. 請求項１０に記載の画像処理装置において、請求項１乃至２に記載された符号データ生成過程で、画像領域毎にビットプレーン単位のトランケーションにより符号量を削減する符号化がなされ、前記画像領域毎の各ビットプレーンにおける最上位有効ビットの個数を歪量とすることを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかに記載の画像処理装置において、画像領域を指定する手段と、前記画像領域に対応する範囲の符号データを抽出する手段とを有することを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、画像部分領域を指定する手段と、前記画像領域に対応する符号データを構成する符号列の重要度に基づいて符号データを再構成する手段とを有することを特徴とする画像処理装置。
15. 請求項１乃至１４のいずれかに記載の画像処理装置において、前記符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする画像処理装置。
16. 請求項１５に記載の画像処理装置において、請求項２に記載の画像部分領域がＪＰＥＧ２０００規格のプレシンクト単位またはタイル単位であることを特徴とする画像処理装置。
17. 請求項１５に記載の画像処理装置において、請求項１または２に記載された符号列単位がＪＰＥＧ２０００規格のパケット単位であることを特徴とする画像処理装置。
18. 符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記符号データを構成する符号列単位で重要度を設定することを特徴とする画像処理方法。
19. 画像部分領域に対応する符号データの復号再生画像の歪量と画像属性情報、及び画像属性毎の歪量基準と、によって前記画像部分領域に対応する符号データを構成する符号列単位で重要度を設定することを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１７のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。