JP4179498B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化された画像データを目的機器に対して送信出力するインターネット上のサーバ等における画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
画像入力技術及びその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）を例に挙げると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ（ＭＦＰ（複合機）等を含む）、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
従って、例えば、インターネット上のサーバから或るユーザのパソコンに所望の画像データをダウンロードするような場合や、或るユーザのパソコン上の画像データをＭＦＰ等のプリンタにより印刷出力するような場合には、ＪＰＥＧ２０００に従い圧縮符号化された符号列データが目的機器に対してネットワーク等の何らかの通信伝送路を介して伝送されることとなる。
【０００８】
【発明が解決しようとする課題】
このようなデータ転送において、回線状況によっては、パケットのロス等によりデータを失う可能性があり、失ったパケット以降の画像は全く表示或いは印刷されない等の事態も生じ得る。特に、無線方式の通信伝送路を利用する場合には、データを失う可能性が大きい。最近のＬＡＮでも、無線ＬＡＮ化しているケースが多々あるので、同様のケースが考えられる。
【０００９】
このようなケースも想定し、ＪＰＥＧ２０００では、符号中にビットエラーが発生した場合でも、画像の再生に大きな影響を与えないように符号データにエラー耐性を付与する技術も併用されている。このエラー耐性には、エントロピー符号化を利用した方法とパケットを利用した方法とについて各々数種類のエラー耐性機能が規定されている。
【００１０】
従って、通信伝送路を介して圧縮符号化された符号列データ（コードストリーム）を伝送する上で、そのデータ損失を極力防止する上では、このようなエラー耐性を付与することが効果的といえる。
【００１１】
ところが、従来にあっては、エラー耐性を付与する場合、１枚の画像（１つの画像）全体に対して均一なエラー耐性を付与しているものであり、エラー耐性を付与するとそのデータ損失を防止しやくなるものの、それだけデータ量が大きくなり、ネットワークの負荷が増大する上に、伝送に時間がかかる結果、表示や印刷に長い時間を要してしまうことも起こり得る。また、パケットの再送が頻発することも起こり得る。
【００１２】
本発明の目的は、ＪＰＥＧ２０００に従い圧縮符号化される符号データに関して、極力伝送負荷、伝送時間をかけることなく、必要最低限の画質を保証できる符号データの伝送を可能にすることである。
【００１３】
【課題を解決するための手段】
請求項１記載の発明は、画像を複数に分割した矩形領域毎に、離散ウェーブレット変換、量子化及び符号化という手順で圧縮して符号列データを生成し、該符号列データを通信伝送路を介して出力可能な画像処理装置において、前記符号列データ中にエラー耐性を付与するエラー耐性付与手段と、前記エラー耐性付与手段により付与するエラー耐性の強度を前記符号列データにおける所定の処理単位毎に異ならせて設定するエラー耐性設定手段とを備え、前記エラー耐性の強度は、複数種類のエラー耐性機能の組み合わせに応じて複数のレベルに区分されていることを特徴とする。
【００１４】
ＪＰＥＧ２０００によれば、何種類かのエラー耐性機能を符号データに付与することが可能であり、かつ、タイル等の分割された矩形領域毎に、或る領域はエラー耐性を強くし、或る領域はエラー耐性を弱く若しくは付与しない等の対応も可能である。一方、通信伝送路を介して伝送される画像データの性質を考えた場合、その重要性は、一般には、画像全体について均一ではなく、或る特定の領域等に存在することが多く、このようなケースでは、重要ではない領域等のデータを損失しても大きな影響がないものとなる。従って、エラー耐性付与手段により付与するエラー耐性の程度を符号列データにおける所定の処理単位毎に異ならせて設定、即ち、重要部分は付与するエラー耐性の強度を強くすることにより、ＪＰＥＧ２０００に従い圧縮符号化される符号データに関して、極力伝送負荷、伝送時間をかけることなく、重要部分のデータの確保により必要最低限の画質を保証できる符号データの伝送が可能となる。
【００１５】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記エラー耐性設定手段は、所定の処理単位として、当該画像の領域成分に応じてエラー耐性の強度を異ならせて設定する。
【００１６】
従って、例えば請求項３ないし５に例示するように、画像の領域成分に応じてエラー耐性の強度を異ならせた設定が可能となり、画像中で領域上、重要部分のデータ伝送を確保できる。
【００１７】
請求項３記載の発明は、請求項２記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の領域中、文字部を構成する前記矩形領域の符号データのエラー耐性の強度を絵柄部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定する。
【００１８】
従って、絵文字画像を考えた場合、文字部の画像データが確実に伝送されればその内容を理解し得ることが多いので、画像の領域中、文字部を構成する矩形領域の符号データのエラー耐性を絵柄部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる文字部のデータ転送を確保できる。
【００１９】
請求項４記載の発明は、請求項２記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の領域中、その中央部を構成する前記矩形領域の符号データのエラー耐性の強度をその周辺部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定する。
【００２０】
従って、撮像画像、その他の画像等を考えた場合、その中央部の画像データが重要であることが多いので、画像の領域中、その中央部を構成する矩形領域の符号データのエラー耐性をその周辺部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる中央部のデータ転送を確保できる。
【００２１】
請求項５記載の発明は、請求項２記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の領域中、人物画像部を構成する前記矩形領域の符号データのエラー耐性の強度をその他の画像部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定する。
【００２２】
従って、人物を含む撮像画像等を考えた場合、その人物画像部の画像データが重要であることが多いので、画像の領域中、人物画像部を構成する矩形領域の符号データのエラー耐性をその他の画像部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる人物画像部のデータ転送を確保できる。
【００２３】
請求項６記載の発明は、請求項１記載の画像処理装置において、前記エラー耐性設定手段は、所定の処理単位として、当該画像の画質成分に応じてエラー耐性の強度を異ならせて設定する。
【００２４】
従って、例えば請求項７ないし１０に例示するように、画像の画質成分に応じてエラー耐性の強度を異ならせた設定が可能となり、画像中で画質上、重要部分のデータ伝送を確保できる。
【００２５】
請求項７記載の発明は、請求項６記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の画質成分中、上位レイヤー側に属する符号データのエラー耐性の強度を下位レイヤー側に属する符号データのエラー耐性の強度に比して強く設定する。
【００２６】
従って、ＪＰＥＧ２０００アルゴリズムに従い階層的に符号化した場合、その上位レイヤーのデータほど画像の品質に与える影響が大きく、重要なため、上位レイヤー側に属する符号データのエラー耐性を下位レイヤー側に属する符号データのエラー耐性に比して強く設定することで、重要となる上位レイヤー側のデータ転送を確保できる。
【００２７】
請求項８記載の発明は、請求項６記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の画質成分中、解像度ＬＬ成分に属する符号データのエラー耐性の強度を他の解像度成分に属する符号データのエラー耐性の強度に比して強く設定する。
【００２８】
従って、ＪＰＥＧ２０００アルゴリズムに従いウェーブレット変換を施し解像度レベルを階層的に符号化した場合、そのＬＬ成分のデータほど画像の品質に与える影響が大きく、重要なため、ＬＬ成分に属する符号データ（ウェーブレット係数）のエラー耐性を他の解像度成分の符号データ（ウェーブレット係数）のエラー耐性に比して強く設定することで、重要となるＬＬ成分のデータ転送を確保できる。
【００２９】
請求項９記載の発明は、請求項６記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の画質成分中、輝度成分のコンポーネントに属する符号データのエラー耐性の強度を色差成分のコンポーネントに属する符号データのエラー耐性の強度に比して強く設定する。
【００３０】
従って、色差成分に比べて輝度成分が破損している場合には、色差成分が破損している場合に比べ、画像の品質に与える影響が大きく、重要なため、輝度成分のコンポーネントに属する符号データのエラー耐性の強度を色差成分のコンポーネントに属するエラー耐性の強度に比して強く設定することで、重要となる輝度成分のデータ転送を確保できる。
【００３１】
請求項１０記載の発明は、請求項６記載の画像処理装置において、前記エラー耐性設定手段は、当該画像の画質成分中、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域に属する符号データのエラー耐性の強度を他の領域に属する符号データのエラー耐性の強度に比して強く設定する。
【００３２】
従って、画像中でも、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域は、その画像の重要部分と位置付けられるため、ＲＯＩ領域に属する符号データのエラー耐性を他の領域に属する符号データのエラー耐性に比して強く設定することで、重要となるＲＯＩ領域のデータ転送を確保できる。
【００３３】
請求項１１記載の発明は、請求項１記載の画像処理装置において、前記エラー耐性設定手段は、画像が動画で符号列データがフレーム毎に生成される場合、所定の処理単位として、当該動画像のフレームに応じてエラー耐性の強度を異ならせて設定する。
【００３４】
従って、例えば請求項１２ないし１４に例示するように、動画像のフレームに応じてエラー耐性の強度を異ならせた設定が可能となり、動画像中でフレーム上、重要部分のデータ伝送を確保できる。
【００３５】
請求項１２記載の発明は、請求項１１記載の画像処理装置において、前記エラー耐性設定手段は、当該動画像の複数のフレーム中、周期的に出現するフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定する。
【００３６】
従って、動画像を構成する複数のフレーム中、周期的に出現するフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、周期的なフレームの転送を確保でき、動画像に関するデータ転送を確保できる。特に、動き量の変化が生ずるフレームが現れる頻度の多い場合に好適である。
【００３７】
請求項１３記載の発明は、請求項１１記載の画像処理装置において、前記エラー耐性設定手段は、当該動画像の複数のフレーム中、不定期に出現するフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定する。
【００３８】
従って、動画像を構成する複数のフレーム中、不定期に出現するフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、不定期なフレームの転送を確保でき、動画像に関するデータ転送を確保できる。特に、動き量の変化が生ずるフレームが現れる頻度の少ない場合に好適である。
【００３９】
請求項１４記載の発明は、請求項１１記載の画像処理装置において、前記エラー耐性設定手段は、当該動画像の複数のフレーム中、画像が相対的に大きく変化したフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定する。
【００４０】
従って、動画像を構成する複数のフレーム中、大きく変化したフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、大きく変化したフレームの転送を確保でき、動画像に関するデータ転送を確保できる。
【００４１】
請求項１５記載の発明は、請求項１ないし１４の何れか一記載の画像処理装置において、前記通信伝送路の回線状況を検出する検出手段をさらに備え、前記エラー耐性設定手段は、回線状況の混雑の程度に応じて設定するエラー耐性の強度を変化させる。
【００４２】
従って、回線状況の混雑の程度をも考慮して設定するエラー耐性の強度を変化させることにより、回線が空いている場合には付与するエラー耐性の強度を弱くすることでより一層伝送負荷、伝送時間を軽くしつつ、必要最低限の画質を保証できる。
【００４３】
請求項１６記載の発明は、請求項１ないし１５の何れか一記載の画像処理装置において、
前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩
形領域は、タイルである。
【００４４】
従って、離散ウェーブレット変換を用いる場合に好適に適用できる。
【００４５】
請求項１７記載の発明は、請求項１ないし１５の何れか一記載の画像処理装置において、前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、プレシンクトである。
【００４６】
従って、タイル分割をしないプレシンクト単位の場合にも、タイル単位と同様に好適に適用できる。
【００４７】
請求項１８記載の発明は、請求項１ないし１５の何れか一記載の画像処理装置において、前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、コード・ブロックである。
【００４８】
従って、タイル分割をしないコード・ブロック単位の場合にも、タイル単位と同様に好適に適用できる。
【００４９】
請求項１９記載の発明は、請求項１ないし１５の何れか一記載の画像処理装置において、前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、パケットである。
【００５０】
従って、タイル分割をしないパケット単位の場合にも、タイル単位と同様に好適に適用できる。
【００５１】
請求項２０の発明は、画像を複数に分割した矩形領域毎に、離散ウェーブレット変換、量子化及び符号化という手順で圧縮して符号列データを生成し、該符号列データを通信伝送路を介して出力可能とする画像処理方法において、前記符号列データ中にエラー耐性を付与するエラー耐性付与工程と、前記エラー耐性付与手段により付与するエラー耐性の強度を前記符号列データにおける所定の処理単位毎に異ならせて設定するエラー耐性設定工程とを有し、前記エラー耐性の強度は、複数種類のエラー耐性機能の組み合わせに応じて複数のレベルに区分されていることを特徴とする。
【００５２】
請求項２１の発明は、請求項２０記載の画像処理方法において、前記エラー耐性設定工程は、所定の処理単位として、当該画像の領域成分に応じてエラー耐性の強度を異ならせて設定する。
【００５３】
請求項２２の発明は、請求項２０記載の画像処理方法において、前記エラー耐性設定工程は、所定の処理単位として、当該画像の画質成分に応じてエラー耐性の強度を異ならせて設定する。
【００５４】
請求項２３の発明は、請求項２０記載の画像処理方法において、前記エラー耐性設定工程は、画像が動画で符号列データがフレーム毎に生成される場合、所定の処理単位として、当該動画像のフレームに応じてエラー耐性の強度を異ならせて設定する。
【００５５】
請求項２４の発明は、請求項２０ないし２３の何れか一記載の画像処理方法において、前記通信伝送路の回線状況を検出する検出工程を更に有し、前記エラー耐性設定工程は、回線状況の混雑の程度に応じて設定するエラー耐性の強度程度を変化させる。
【００５６】
請求項２５の発明は、請求項２０ないし２４の何れか一記載の画像処理方法において、前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、タイルである。
【００５７】
請求項２６の発明は、請求項２０ないし２４の何れか一記載の画像処理方法において、前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、プレシンクトである。
【００５８】
請求項２７の発明は、請求項２０ないし２４の何れか一記載の画像処理方法において、前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、コード・ブロックである。
【００５９】
請求項２８の発明は、請求項２０ないし２４の何れか一記載の画像処理方法において、前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、パケットである。
【００６０】
従って、請求項１、２、６、１１、１５、１６、１７、１８、１９記載の発明の場合と同様な作用を奏する。
【００６３】
【発明の実施の形態】
本発明の一実施の形態を図面に基づいて説明する。
【００６４】
［ＪＰＥＧ２０００アルゴリズムの概要］
まず、本実施の形態の前提技術となるＪＰＥＧ２０００アルゴリズムの概要について説明する。
【００６５】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１１、２次元ウェーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００６６】
図２に示すように、カラー画像は、一般に、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２１，１２２，１２３によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００６７】
画像データの符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００６８】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（１３１））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（１３２）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（１３３）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次、同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（１３４）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。さらに、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、斜線で表してある。例えば、デコンポジション・レベル数を３とした時、斜線で示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００６９】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【００７０】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図５には、その手順を簡単に示した。この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５×３）フィルタでウェーブレット変換を行ない、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０，１，２，３は、各々、１，３，１の３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００７１】
エントロピー符号化・復号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。図６には、コード・ストリームの構造を簡単に示した。図６に示すように、コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００７２】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１１によって元の表色系のデータに変換される。
【００７３】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズム」である。即ち、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」は、図８に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００７４】
［エラー耐性］
ここで、ＪＰＥＧ２０００で規定されているエラー耐性機能について簡単に説明する。このエラー耐性は、符号中にビットエラーが発生した場合でも、その再生に大きな影響を与えることのないエラー耐性を実現するためのもので、エントロピー符号化を利用した方法と、パケットを利用した方法とがある。具体的には、以下の６つのエラー耐性機能が規定されている。
【００７５】
▲１▼ 固定長符号化（符号長を揃える）
▲２▼ ｖｅｒｔｉｃａｌｌｙ ｃａｓｕａｌ ｃｏｎｔｅｘｔ
算術符号化を高速にするために、図９に示すようなＳｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（有意な係数が周囲にある有意でない係数の符号化）のための周囲の８近傍の係数値（Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｖ０，Ｖ１，Ｈ０，Ｈ１）のうち、係数値Ｄ２，Ｖ１，Ｄ３を参照せずに、０としてコンテクストモデルを作成する方法
▲３▼ ｔｅｒｍｉｎａｔｉｏｎ ｏｎ ｅｖｅｒ ｃｏｄｉｎｇ ｐａｓｓ（ＦＤＩＳＤ．４ ＴａｂｌｅＤ−８）
▲４▼ ＳＯＰマーカによる同期
エラー耐性の向上を図るためのマーカの一つ（オプション）であって、パケットの開始を表すマーカセグメントであり、そのマーカセグメントの構成例を図１０に示す。当該マーカセグメントの大きさを記述するＬｓｏｐ、パケットの識別番号を記述するＮｓｏｐにより構成される。
▲５▼ ｒｅｓｅｔ ｔｈｅ ｃｏｎｔｅｘｔ ｐｒｏｂａｂｉｌｉｔｙ（算術符号器の初期化）
▲６▼ ｓｅｇｍｅｎｔａｔｉｏｎ ｓｙｍｂｏｌ（付加）
エラー検出を行う方法として、符号化の際に、４ビット（１０１０）のセグメンテーションシンボルを符号化して、符号列データの最後に付加する。復号側でセグメンテーションシンボルを正しく復号できない場合は、符号にエラーが生じていることがわかる。
【００７６】
［画像処理装置等］
このようなＪＰＥＧ２０００を踏まえる本実施の形態の画像処理装置等の構成例について説明する。本実施の形態の画像処理装置は、画像データをインターネット等を通じて所望のユーザに配信するサーバへの適用例として説明する。即ち、図１に示したようなＪＰＥＧ２０００による画像圧縮・伸長機能を備え、画像を複数に分割した矩形領域毎に離散ウェーブレット変換、量子化及び符号化という手順で圧縮した符号列データを生成し、この符号列データをインターネット等の通信伝送路を介して出力可能な画像処理装置としてサーバへ適用したものである。
【００７７】
図１１は、サーバを含む本実施の形態の全体システムを示すブロック図である。図１１に示すように、本システムは、静止画又は動画の画像データをＪＰＥＧ２０００のアルゴリズムなどで圧縮符号化した符号データをインターネットなどの通信伝送路としてのネットワーク３を介して送信する画像処理装置としてのサーバ１と、このサーバ１から符号データを受信するクライアント２からなる。ネットワーク３は有線方式でも無線方式でもよい。
【００７８】
図１２は、サーバ１の電気的な接続を示すブロック図である。図１２に示すように、サーバ１は、本発明の画像処理装置を実施するもので、各種演算を行ないサーバ１の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００７９】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの本発明の記憶媒体を実施する記憶媒体１７を読取る記憶媒体読取装置１８と、ネットワーク３と通信を行なう通信装置となる所定の通信インターフェイス１９とが接続されている。なお、記憶媒体１７としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、ＦＤなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、ＦＤドライブなどが用いられる。
【００８０】
磁気記憶装置１４には、本発明のプログラムを実施する画像処理プログラムが記憶されている。一般的には、この画像処理プログラムは、記憶媒体１７から記憶媒体読取装置１８により読取ることでサーバ１にインストールするが、ネットワーク３からダウンロードして、磁気記憶装置１４にインストールするなどしてもよい。このインストールによりサーバ１は動作可能な状態となる。この画像処理プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００８１】
ここに、本実施の形態のサーバ１は上述のように、例えばＣＰＵ１１により実行されるＪＰＥＧ２０００の機能を有するが、さらに、図１３に示す機能ブロック図のように、エントロピー符号化・復号化部１１４により符号化される符号列データ中にエラー耐性を付与するエラー耐性付与手段１１６と、このエラー耐性付与手段１１６により付与するエラー耐性の程度を符号列データにおける所定の処理単位毎に異ならせて設定するためのエラー耐性設定手段１１７と、の機能が付加されている。
【００８２】
このような構成において、例えばサーバ１が画像データを圧縮符号化してメモリ（ＨＤＤ１１）に格納する際に画像処理プログラムに基づきＣＰＵ１１により実行されるエラー耐性付与の処理例を図１４に示す概略フローチャート及び図１５に示す説明図を参照して説明する。ここに、本実施の形態では、エラー耐性設定手段１１７によるエラー耐性の設定内容はデフォルトにより予め自動設定されており、例えば、対象となる画像の領域中で、その中央部を構成するタイル（矩形領域）の符号データのエラー耐性をその周辺部を構成するタイル（矩形領域）の符号データのエラー耐性に比して相対的に強く設定するものである。即ち、中央部を構成するタイル（矩形領域）の符号データのエラー耐性を強く設定し、その周辺部を構成するタイル（矩形領域）の符号データのエラー耐性を弱く又はゼロ（エラー耐性付与せず）とするものである。
【００８３】
このようにエラー耐性のデフォルト値が設定された条件下で（ステップＳ１）、処理対象となる画像データをスキャナ等を通じて取り込み（Ｓ２）、色空間変換・逆変換部１１１、２次元ウェーブレット変換・逆変換部１１２、量子化・逆量子化部１１３（ビットプレーン分割部を含む）の処理を経て、当該画像をタイルに領域分割する（Ｓ３）。図１５に示す例であれば、図１５（ａ）に示すような原画像が同図（ｂ）に示すようにタイル０〜タイル１５の１６個の矩形領域なるタイルに分割される。そして、エラー耐性のデフォルト値に従い、各タイル毎にそのタイル位置に応じたエラー耐性を付与する（Ｓ４）。本実施の形態では、対象となる画像の領域中で、その中央部を構成するタイル（矩形領域）の符号データのエラー耐性をその周辺部を構成するタイル（矩形領域）の符号データのエラー耐性に比して相対的に強く設定するものであり、図１５（ｂ）を参照すれば、塗り潰して示す中央部のタイル５，６，９，１０には強いエラー耐性を付与し、その周辺部のタイル０，１，２，３，４，７，８，１１，１２，１３，１４，１５には弱いエラー耐性（又は、ゼロ）を付与する。このようにタイル毎にエラー耐性を付与した後、エントロピー符号化・復号化部１１４でタイル毎に画像圧縮処理を行い（Ｓ５）、さらには、タグ処理部１１５による処理を経て、符号列データ（コードストリーム）を生成し（Ｓ６）、クライアント２等に提供し得る画像データとしてＨＤＤ１４等に格納する。
【００８４】
従って、クライアント２側からサーバ１側に対して画像データのダウンロード等の要求があった場合、図１５（ｂ）に示すように、対象となる画像の領域中で、その中央部を構成するタイルの符号データのエラー耐性がその周辺部を構成するタイルの符号データのエラー耐性に比して相対的に強く設定された符号列データとしてネットワーク３を介して伝送されることとなる。この結果、回線状況が悪い状況下でも、エラー耐性の強い中央部のタイル５，６，９，１０の符号データは確実に伝送され、クライアント２側での表示等の再生が可能となる。ここに、撮像画像、その他の画像等を考えた場合、一般に、その中央部の画像データが重要であることが多いので、画像の領域中、その中央部を構成する中央部のタイル５，６，９，１０の符号データのエラー耐性をその周辺部を構成するタイル０，１，２，３，４，７，８，１１，１２，１３，１４，１５の符号データのエラー耐性に比して相対的に強く設定することで、重要となる中央部のデータ転送を確保できる。この際、画像全体のエラー耐性を強くする必要はないので、極力伝送負荷、伝送時間をかけることなく、重要部分のデータの確保により必要最低限の画質を保証できる符号データの伝送が可能となる。
【００８５】
なお、図１４及び図１５で説明したエラー耐性設定例は、一例にすぎず、各種態様を採り得る。例えば、タイル単位で使用するエラー耐性機能を設定してもよく（例；周辺部のタイル０，１，…等には固定長符号化なるエラー耐性機能のみ付与し、中央部のタイル５，６，…等には固定長符号化及びＳＯＰマーカによる同期なる２つのエラー耐性機能を付与する如く）、予めエラー耐性機能の組合せに応じてエラー耐性の強度を例えば０〜６の７段階に設定しておき（後述）、そのエラー耐性の強度を設定してもよい（例；周辺部のタイル０，１，…等にはエラー耐性の強度０を設定し、中央部のタイル５，６，…等にはエラー耐性の強度を６に設定する如く）。また、エラー耐性を付与する単位となる矩形領域もタイルに限らず、ＪＰＥＧ２０００に関して前述したように、プレシンクト、コード・ブロック或いはパケット単位等としてもよい。従って、より一般的には、対象となる画像を複数の矩形領域に分割し、番号付けにより特定される各矩形領域毎に使用するエラー耐性の機能を設定したり、エラー耐性の強度を設定したりすることができる。
【００８６】
また、図１４及び図１５では、所定の処理単位として、当該画像の領域（タイル）成分に応じてエラー耐性の程度を異ならせて設定する例として、当該画像の領域（タイル）中、その中央部を構成する矩形領域（タイル）の符号データのエラー耐性をその周辺部を構成する矩形領域（タイル）の符号データのエラー耐性に比して相対的に強く設定する例を示したが、この他、例えば、当該画像の領域（タイル）中、文字部を構成する矩形領域（タイル）の符号データのエラー耐性を絵柄部を構成する矩形領域（タイル）の符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。この処理のためには、ユーザによる領域指定であってもよいが、ＭＦＰ等における画像処理で採用されている絵文字分離機能を利用して自動的に文字部と絵柄部とを分離し、異なるエラー耐性を設定するようにすればよい。絵文字画像を考えた場合、文字部の画像データが確実に伝送されればその内容を理解し得ることが多いので、画像の領域中、文字部を構成する矩形領域（タイル）の符号データのエラー耐性を絵柄部を構成する矩形領域（タイル）の符号データのエラー耐性に比して相対的に強く設定することで、重要となる文字部のデータ転送を確保できる。
【００８７】
また、当該画像の領域中、人物画像部を構成する矩形領域（タイル）の符号データのエラー耐性をその他の画像部を構成する矩形領域（タイル）の符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。この処理のためには、ユーザによる領域指定であってもよいが、例えばデジタルカメラ等による撮像画像の場合であれば人物に焦点を合わせることが多いので、カメラの焦点位置に応じて人物画像とそれ以外の画像とを自動的に分離し、異なるエラー耐性を設定するようにしてもよい。人物を含む撮像画像等を考えた場合、その人物画像部の画像データが重要であることが多いので、画像の領域中、人物画像部を構成する矩形領域（タイル）の符号データのエラー耐性をその他の画像部を構成する矩形領域（タイル）の符号データのエラー耐性に比して相対的に強く設定することで、重要となる中央部のデータ転送を確保できる。
【００８８】
また、所定の処理単位として、当該画像の領域（タイル）成分に応じてエラー耐性の程度を異ならせて設定する例に限らず、例えば、所定の処理単位として、当該画像の画質成分に応じてエラー耐性の程度を異ならせて設定するようにしてもよい。具体的には、当該画像の画質成分中、上位レイヤー側に属する符号データのエラー耐性を下位レイヤー側に属する符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。前述のＪＰＥＧ２０００アルゴリズムに従い階層的に符号化した場合、その上位レイヤーのデータほど画像の品質に与える影響が大きく、重要なため、上位レイヤー側に属する符号データのエラー耐性を下位レイヤー側に属する符号データのエラー耐性に比して相対的に強く設定することで、重要となる上位レイヤー側のデータ転送を確保できる。
【００８９】
又は、当該画像の画質成分中、解像度ＬＬ成分に属する符号データ（ウェーブレット係数）のエラー耐性を他の解像度成分に属する符号データ（ウェーブレット係数）のエラー耐性に比して相対的に強く設定するようにしてもよい。前述のＪＰＥＧ２０００アルゴリズムに従いウェーブレット変換を施し解像度レベルを図３に示したように階層的に符号化した場合、そのＬＬ成分のデータほど画像の品質に与える影響が大きく、重要なため、ＬＬ成分（例えば、デコンポジションレベルに応じて１ＬＬ，２ＬＬ或いは３ＬＬ）に属する符号データ（ウェーブレット係数）のエラー耐性を他の解像度ＨＬ，ＬＨ，ＨＨ成分の符号データ（ウェーブレット係数）のエラー耐性に比して相対的に強く設定することで、重要となるＬＬ成分のデータ転送を確保できる。
【００９０】
さらには、当該画像がカラー画像の場合であれば、当該画像の画質成分中、輝度成分のコンポーネントに属する符号データのエラー耐性を色差成分のコンポーネントに属する符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。即ち、図１６は、一つの静止画像データのコード・ストリームにおいて、輝度成分であるＹ版２４、色差成分であるＵ版２５及びＶ版２６の各コンポーネントについて示しているが、輝度成分であるＹ版２４のコンポーネントに属する符号データのエラー耐性を強く設定するものである。色差成分に比べて輝度成分が破損している場合には、色差成分が破損している場合に比べ、画像の品質に与える影響が大きく、重要なため、輝度成分であるＹ版２４のコンポーネントに属する符号データのエラー耐性を色差成分であるＵ版２５及びＶ版２６のコンポーネントに属するエラー耐性に比して相対的に強く設定することで、重要となる輝度成分のデータ転送を確保できる。
【００９１】
さらには、当該画像の画質成分中、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域に属する符号データのエラー耐性を他の領域に属する符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。即ち、図１７は、静止画像が４×４のタイルＴ０１〜Ｔ１６で構成され、画像の中央部にＲＯＩ領域（符号２２の領域）が存在する例を示しており、このような場合には、ＲＯＩ領域２２に含まれる中央の４つのタイルＴ０６，Ｔ０７，Ｔ１０，Ｔ１１に関してその符号データのエラー耐性を強く設定するものである。画像中でも、ＲＯＩ領域２２は、その画像の重要部分と位置付けられるため、ＲＯＩ領域２２に属する符号データのエラー耐性を他の領域に属する符号データのエラー耐性に比して相対的に強く設定することで、重要となるＲＯＩ領域のデータ転送を確保できる。
【００９２】
いま、これらの点を考慮し、例えば画像の中央部のタイルのエラー耐性を強くし周辺部のタイルのエラー耐性を弱くし、かつ、上位レイヤーほどエラー耐性を強くし下位レイヤーほどエラー耐性を弱く設定したタイル単位のエラー耐性の設定例の一例を図１８に示す。
なお、前述したエラー耐性機能
▲１▼ 固定長符号化（符号長を揃える）
▲２▼ ｖｅｒｔｉｃａｌｌｙ ｃａｓｕａｌ ｃｏｎｔｅｘｔ
▲３▼ ｔｅｒｍｉｎａｔｉｏｎ ｏｎ ｅｖｅｒ ｃｏｄｉｎｇ ｐａｓｓ（ＦＤＩＳＤ．４ ＴａｂｌｅＤ−８）
▲４▼ ＳＯＰマーカによる同期
▲５▼ ｒｅｓｅｔ ｔｈｅ ｃｏｎｔｅｘｔ ｐｒｏｂａｂｉｌｉｔｙ（算術符号器の初期化）
▲６▼ ｓｅｇｍｅｎｔａｔｉｏｎ ｓｙｍｂｏｌ（付加）
には、２６ 通りの組合せがあるが、ここでは、その一例として、エラー耐性の強度が、
レベル６ ▲１▼＋▲２▼＋▲３▼＋▲４▼＋▲５▼＋▲６▼
レベル５ ▲１▼＋▲２▼＋▲３▼＋▲４▼＋▲５▼
レベル４ ▲１▼＋▲２▼＋▲３▼＋▲４▼
レベル３ ▲１▼＋▲２▼＋▲３▼
レベル２ ▲１▼＋▲２▼
レベル１ ▲１▼
レベル０ エラー耐性付与なし
の如く、７段階に設定されているものとする。
【００９３】
また、前述したような静止画に限らず、例えば図１９（ａ）に示すように、画像が例えばデジタルカメラ、デジタルムービーカメラ等で撮像された動画で符号列データがフレーム毎に生成される場合、所定の処理単位として、当該動画像のフレームに応じてエラー耐性の程度を異ならせて設定するようにしてもよい。
【００９４】
この場合、より具体的には、図１９（ｂ）に示すように、周期的に出現するフレーム（網掛けで示す）に属する符号データのエラー耐性を他のフレーム（白抜きで示す）に属する符号データのエラー耐性に比して相対的に強く設定してもよく、又は、図１９（ｃ）に示すように、不定期に出現するフレーム（網掛けで示す）に属する符号データのエラー耐性を他のフレーム（白抜きで示す）に属する符号データのエラー耐性に比して相対的に強く設定してもよく、或いは、図１９（ｄ）に示すように、フレーム間の変化の様子をチェックし、大きく変化したフレーム（網掛けで示す）に属する符号データのエラー耐性を他のフレーム（白抜きで示す）に属する符号データのエラー耐性に比して相対的に強く設定するようにしてもよい。
【００９５】
このようにフレーム毎に異なるエラー耐性を付与するようにすれば、極力少ないエラー耐性の付与により、周期的、或いは、不定期、又は変化の大きなフレームの転送を確保でき、動画像に関するデータ転送を確保できる。特に、図１９（ｂ）の周期的な方式は動き量の変化が生ずるフレームが現れる頻度の多い場合に好適であり、図１９（ｃ）の不定期な方式は動き量の変化が生ずるフレームが現れる頻度の少ない場合に好適である。
【００９６】
また、図１９（ｄ）に示す方式を実現する上では、フレーム間の変化の様子をチェックすることが必要であるが、そのためには、例えばフレーム間の符号量の大小変化の有無や、当該画像の特徴を最も示すＬＬ成分のウェーブレット係数の変化の有無や、ＲＯＩ領域の設定の変化の有無などを利用すればよい。
【００９７】
さらには、これらのエラー耐性の設定に関して、ネットワーク３の回線状況の混雑の程度に応じて設定するエラー耐性の程度を変化させることも効果的である。このためには、ネットワーク３の回線状況を検出する検出手段が必要であるが、例えば、ＴＣＰ／ＩＰネットワークにおいてＩＰパケットが通信先まで届いているか否かをチェックするための基本的なコマンドであるピング（ｐｉｎｇ）を利用することにより容易に実現できる。
【００９８】
このように、ネットワーク３の回線状況の混雑の程度をも考慮して設定するエラー耐性の程度を変化させることにより、回線が空いている場合には付与するエラー耐性の程度を弱くすることでより一層伝送負荷、伝送時間を軽くしつつ、必要最低限の画質を保証できる。
【００９９】
なお、本実施の形態の画像処理装置は、インターネット上のサーバ１への適用例として説明したが、これに限らず、例えばＭＦＰやプリンタ等に対して通信伝送路を介して接続されるパソコン、画像として静止画だけでなく動画等を撮像し通信伝送路を介してパソコン等に出力するデジタルカメラ等の場合であっても同様に適用することができる。
【０１００】
【発明の効果】
ＪＰＥＧ２０００では、何種類かのエラー耐性機能を符号データに付与することが可能であり、かつ、タイル等の分割された矩形領域毎に、或る領域はエラー耐性を強くし、或る領域はエラー耐性を弱く若しくは付与しない等の対応も可能である。一方、通信伝送路を介して伝送される画像データの性質を考えた場合、その重要性は、一般には、画像全体について均一ではなく、或る特定の領域等に存在することが多く、このようなケースでは、重要ではない領域等のデータを損失しても大きな影響がないものとなる。
【０１０１】
請求項１記載の発明の画像処理装置によれば、エラー耐性の強度を、複数種類のエラー耐性の組み合わせに応じて複数のレベルに区分し、エラー耐性付与手段により付与するエラー耐性の強度を符号列データにおける所定の処理単位毎に異ならせて設定、即ち、重要部分は付与するエラー耐性の強度を強くすることにより、ＪＰＥＧ２０００に従い圧縮符号化される符号データに関して、極力伝送負荷、伝送時間をかけることなく、重要部分のデータの確保により必要最低限の画質を保証できる符号データの伝送を可能にすることができる。
【０１０２】
請求項２記載の発明によれば、請求項１記載の画像処理装置において、例えば請求項３ないし５に例示するように、画像の領域成分に応じてエラー耐性の強度を異ならせた設定が可能となり、画像中で領域上、重要部分のデータ伝送を確保することができる。
【０１０３】
請求項３記載の発明によれば、請求項２記載の画像処理装置において、絵文字画像を考えた場合、文字部の画像データが確実に伝送されればその内容を理解し得ることが多いので、画像の領域中、文字部を構成する矩形領域の符号データのエラー耐性を絵柄部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる文字部のデータ転送を確保することができる。
【０１０４】
請求項４記載の発明によれば、請求項２記載の画像処理装置において、撮像画像、その他の画像等を考えた場合、その中央部の画像データが重要であることが多いので、画像の領域中、その中央部を構成する矩形領域の符号データのエラー耐性をその周辺部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる中央部のデータ転送を確保することができる。
【０１０５】
請求項５記載の発明によれば、請求項２記載の画像処理装置において、人物を含む撮像画像等を考えた場合、その人物画像部の画像データが重要であることが多いので、画像の領域中、人物画像部を構成する矩形領域の符号データのエラー耐性をその他の画像部を構成する矩形領域の符号データのエラー耐性に比して強く設定することで、重要となる人物画像部のデータ転送を確保することができる。
【０１０６】
請求項６記載の発明によれば、請求項１記載の画像処理装置において、例えば請求項７ないし１０に例示するように、画像の画質成分に応じてエラー耐性の強度を異ならせた設定が可能となり、画像中で画質上、重要部分のデータ伝送を確保することができる。
【０１０７】
請求項７記載の発明によれば、請求項６記載の画像処理装置においてＪＰＥＧ２０００アルゴリズムに従い階層的に符号化した場合、その上位レイヤーのデータほど画像の品質に与える影響が大きく、重要なため、上位レイヤー側に属する符号データのエラー耐性を下位レイヤー側に属する符号データのエラー耐性に比して強く設定することで、重要となる上位レイヤー側のデータ転送を確保することができる。
【０１０８】
請求項８記載の発明によれば、請求項６記載の画像処理装置において、ＪＰＥＧ２０００アルゴリズムに従いウェーブレット変換を施し解像度レベルを階層的に符号化した場合、そのＬＬ成分のデータほど画像の品質に与える影響が大きく、重要なため、ＬＬ成分に属する符号データのエラー耐性を他の解像度成分の符号データのエラー耐性に比して強く設定することで、重要となるＬＬ成分のデータ転送を確保することができる。
【０１０９】
請求項９記載の発明によれば、請求項６記載の画像処理装置において、色差成分に比べて輝度成分が破損している場合には、色差成分が破損している場合に比べ、画像の品質に与える影響が大きく、重要なため、輝度成分のコンポーネントに属する符号データのエラー耐性を色差成分のコンポーネントに属するエラー耐性に比して強く設定することで、重要となる輝度成分のデータ転送を確保することができる。
【０１１０】
請求項１０記載の発明によれば、請求項６記載の画像処理装置において、画像中でも、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域は、その画像の重要部分と位置付けられるため、ＲＯＩ領域に属する符号データのエラー耐性を他の領域に属する符号データのエラー耐性に比して強く設定することで、重要となるＲＯＩ領域のデータ転送を確保することができる。
【０１１１】
請求項１１記載の発明によれば、請求項１記載の画像処理装置において、例えば請求項１２ないし１４に例示するように、動画像のフレームに応じてエラー耐性の強度を異ならせた設定が可能となり、動画像中でフレーム上、重要部分のデータ伝送を確保することができる。
【０１１２】
請求項１２記載の発明によれば、請求項１１記載の画像処理装置において、動画像を構成する複数のフレーム中、周期的に出現するフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、周期的なフレームの転送を確保でき、動画像に関するデータ転送を確保することができ、特に、動き量の変化が生ずるフレームが現れる頻度の多い場合に好適である。
【０１１３】
請求項１３記載の発明によれば、請求項１１記載の画像処理装置において、動画像を構成する複数のフレーム中、不定期に出現するフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、不定期なフレームの転送を確保でき、動画像に関するデータ転送を確保することができ、特に、動き量の変化が生ずるフレームが現れる頻度の少ない場合に好適である。
【０１１４】
請求項１４記載の発明によれば、請求項１１記載の画像処理装置において、動画像を構成する複数のフレーム中、大きく変化したフレームに属する符号データのエラー耐性を他のフレームに属する符号データのエラー耐性に比して強く設定することで、極力少ないエラー耐性の付与により、大きく変化したフレームの転送を確保でき、動画像に関するデータ転送を確保することができる。
【０１１５】
請求項１５記載の発明によれば、請求項１ないし１４の何れか一記載の画像処理装置において、回線状況の混雑の程度をも考慮して設定するエラー耐性の程度を変化させることにより、回線が空いている場合には付与するエラー耐性の強度を弱くすることでより一層伝送負荷、伝送時間を軽くしつつ、必要最低限の画質を保証することができる。
【０１１６】
請求項１６記載の発明によれば、請求項１ないし１５の何れか一記載の画像処理装置において、離散ウェーブレット変換を用いる場合に好適に適用することができる。
【０１１７】
請求項１７記載の発明によれば、請求項１ないし１５の何れか一記載の画像処理装置において、タイル分割をしないプレシンクト単位の場合にも、タイル単位と同様に好適に適用することができる。
【０１１８】
請求項１８記載の発明によれば、請求項１ないし１５の何れか一記載の画像処理装置において、タイル分割をしないコード・ブロック単位の場合にも、タイル単位と同様に好適に適用することができる。
【０１１９】
請求項１９記載の発明によれば、請求項１ないし１５の何れか一記載の画像処理装置において、タイル分割をしないパケット単位の場合にも、タイル単位と同様に好適に適用することができる。
【０１２０】
請求項２０乃至２８記載の発明によれば、請求項１、６、１１、１５、１６〜１９記載の発明の場合と同様な効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示す説明図である。
【図８】Ｍｏｔｉｏｎ ＪＰＥＧ２０００の概念を示す説明図である。
【図９】周囲の８近傍の係数位置を示す説明図である。
【図１０】ＳＯＰマーカセグメントの構成例を示す説明図である。
【図１１】本実施の形態の構成例を示すシステム構成図である。
【図１２】そのサーバのハードウェア構成例を示すブロック図である。
【図１３】本実施の形態の特徴部分の構成例を示す機能ブロック図である。
【図１４】エラー耐性付与の処理例を示す概略フローチャートである。
【図１５】その処理画像例を示す説明図である。
【図１６】カラーにおけるコンポーネントを示す説明図である。
【図１７】ＲＯＩ領域を示す説明図である。
【図１８】タイル単位でのエラー耐性の設定例を示す説明図である。
【図１９】動画像のフレームに対するエラー耐性の付与例を示す説明図である。
【符号の説明】
１１６ エラー耐性付与手段
１１７ エラー耐性設定手段

Claims (28)

1. 画像を複数に分割した矩形領域毎に、離散ウェーブレット変換、量子化及び符号化という手順で圧縮して符号列データを生成し、該符号列データを通信伝送路を介して出力可能な画像処理装置において、
   前記符号列データ中にエラー耐性を付与するエラー耐性付与手段と、
   前記エラー耐性付与手段により付与するエラー耐性の強度を前記符号列データにおける所定の処理単位毎に異ならせて設定するエラー耐性設定手段とを備え、
   前記エラー耐性の強度は、複数種類のエラー耐性機能の組み合わせに応じて複数のレベルに区分されていることを特徴とする画像処理装置。
2. 前記エラー耐性設定手段は、所定の処理単位として、当該画像の領域成分に応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項１記載の画像処理装置。
3. 前記エラー耐性設定手段は、当該画像の領域中、文字部を構成する前記矩形領域の符号データのエラー耐性の強度を絵柄部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項２記載の画像処理装置。
4. 前記エラー耐性設定手段は、当該画像の領域中、その中央部を構成する前記矩形領域の符号データのエラー耐性の強度をその周辺部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項２記載の画像処理装置。
5. 前記エラー耐性設定手段は、当該画像の領域中、人物画像部を構成する前記矩形領域の符号データのエラー耐性の強度をその他の画像部を構成する前記矩形領域の符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項２記載の画像処理装置。
6. 前記エラー耐性設定手段は、所定の処理単位として、当該画像の画質成分に応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項１記載の画像処理装置。
7. 前記エラー耐性設定手段は、当該画像の画質成分中、上位レイヤー側に属する符号データのエラー耐性の強度を下位レイヤー側に属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項６記載の画像処理装置。
8. 前記エラー耐性設定手段は、当該画像の画質成分中、解像度ＬＬ成分に属する符号データのエラー耐性の強度を他の解像度成分に属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項６記載の画像処理装置。
9. 前記エラー耐性設定手段は、当該画像の画質成分中、輝度成分のコンポーネントに属する符号データのエラー耐性の強度を色差成分のコンポーネントに属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項６記載の画像処理装置。
10. 前記エラー耐性設定手段は、当該画像の画質成分中、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域に属する符号データのエラー耐性の強度を他の領域に属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項６記載の画像処理装置。
11. 前記エラー耐性設定手段は、画像が動画で符号列データがフレーム毎に生成される場合、所定の処理単位として、当該動画像のフレームに応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項１記載の画像処理装置。
12. 前記エラー耐性設定手段は、当該動画像の複数のフレーム中、周期的に出現するフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項１１記載の画像処理装置。
13. 前記エラー耐性設定手段は、当該動画像の複数のフレーム中、不定期に出現するフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項１１記載の画像処理装置。
14. 前記エラー耐性設定手段は、当該動画像の複数のフレーム中、画像が相対的に大きく変化したフレームに属する符号データのエラー耐性の強度を他のフレームに属する符号データのエラー耐性の強度に比して強く設定することを特徴とする請求項１１記載の画像処理装置。
15. 前記通信伝送路の回線状況を検出する検出手段をさらに備え、
    前記エラー耐性設定手段は、回線状況の混雑の程度に応じて設定するエラー耐性の強度を変化させることを特徴とする請求項１ないし１４の何れか一記載の画像処理装置。
16. 前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、タイルである請求項１ないし１５の何れか一記載の画像処理装置。
17. 前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、プレシンクトである請求項１ないし１５の何れか一記載の画像処理装置。
18. 前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、コード・ブロックである請求項１ないし１５の何れか一記載の画像処理装置。
19. 前記エラー耐性付与手段が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、パケットである請求項１ないし１５の何れか一記載の画像処理装置。
20. 画像を複数に分割した矩形領域毎に、離散ウェーブレット変換、量子化及び符号化という手順で圧縮して符号列データを生成し、該符号列データを通信伝送路を介して出力可能とする画像処理方法において、
    前記符号列データ中にエラー耐性を付与するエラー耐性付与工程と、
    前記エラー耐性付与工程により付与するエラー耐性の強度を前記符号列データにおける所定の処理単位毎に異ならせて設定するエラー耐性設定工程とを有し、
    前記エラー耐性の強度は、複数種類のエラー耐性機能の組み合わせに応じて複数のレベルに区分されていることを特徴とする画像処理方法。
21. 前記エラー耐性設定工程は、所定の処理単位として、当該画像の領域成分に応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項２０記載の画像処理方法。
22. 前記エラー耐性設定工程は、所定の処理単位として、当該画像の画質成分に応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項２１記載の画像処理方法。
23. 前記エラー耐性設定工程は、画像が動画で符号列データがフレーム毎に生成される場合、所定の処理単位として、当該動画像のフレームに応じてエラー耐性の強度を異ならせて設定することを特徴とする請求項２１記載の画像処理方法。
24. 前記通信伝送路の回線状況を検出する検出工程を有し、
    前記エラー耐性設定工程は、回線状況の混雑の程度に応じて設定するエラー耐性の強度を変化させることを特徴とする請求項２０ないし２３の何れか一記載の画像処理方法。
25. 前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、タイルである請求項２０ないし２４の何れか一記載の画像処理方法。
26. 前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、プレシンクトである請求項２０ないし２４の何れか一記載の画像処理方法。
27. 前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、コード・ブロックである請求項２０ないし２４の何れか一記載の画像処理方法。
28. 前記エラー耐性付与工程が強度を異ならせて付与するエラー耐性の付与単位となる前記矩形領域は、パケットである請求項２０ないし２４の何れか一記載の画像処理方法。

Images