JP5015088B2 - 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体に関する。

従来から、画像データを符号化する際に、画像を複数の矩形に分割し矩形毎に符号化を行うことにより、符号化の際に必要となるメモリの削減等を実現し符号化装置を簡略にする技術がある。このような技術によれば、生成される符号データは、矩形に対応する符号データ毎に、復号や編集等の処理を行うことができる。

その一方で、画像を矩形に分割することにより、ブロックノイズ等のノイズが発生する。そこで、例えば、特開２００２−２７１７９０号公報（特許文献１）に開示の電子カメラ等の発明では、矩形に分割する際の境界を、操作者によって指定させることにより、復号画像に発生する不連続な画像ズレの位置を好適に制御させている。

ところで、矩形に対応する符号データ毎に復号して編集処理を行う場合に、その編集内容等によっては、他の矩形に対応する符号データや、画像全体に係る符号データ等を、更新する必要が生じることがある。そこで、画像全体に係る符号データを復号して再符号化を行うと、処理に係るコストが増大する。

一例として、例えば、特開２００６−８６５７９号公報（特許文献２）に開示の画像処理装置等の発明では、編集後の矩形に対応する符号データの符号量を、編集前の符号データの符号量と同一にすることにより、他の矩形に対応する符号データや、画像全体に係る符号データにおける、符号量に係る情報を更新することを省略している。

特開２００２−２７１７９０号公報 特開２００６−８６５７９号公報 ＩＳＯ／ＩＥＣ １５４４４−１（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ＪＰＥＧ２０００ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ） ＩＳＯ／ＩＥＣ ２９１９９−２ ＪＰＥＧ ＸＲ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｐｅｃｉｆｉｃａｔｉｏｎ（Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ）

しかしながら、上記特許文献１及び２に開示の画像処理装置等の発明では、矩形間に参照関係がある場合については、考慮されていない。より詳細には、例えば、一の矩形に隣接する矩形の画像データを、ノイズ除去のフィルタ処理に用いる場合や、矩形を直交変換して得られる変換係数を、矩形間で予測符号化を行って符号化する場合には、一の矩形の画像データを変更すると、その矩形を参照する他の矩形についても、再符号化しなくてはならない。

そこで、参照関係を考慮せずに編集を行うためには、画像の全体を復号した後、編集を行って、再符号化を行うことになる。これは、矩形毎に符号化を行って符号データを生成しているメリットを減ずることになる。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画像データが分割された矩形毎に符号化して生成された符号データの復号画像等を編集する際に、復号処理と再符号化処理とに係るコストを低減する画像処理装置を提供することを目的としている。

上記目的を達成するために、本発明の画像処理装置は次の如き構成を採用した。
本発明の画像処理装置は、画像データが分割された矩形毎に該矩形に隣接する矩形の画像データを参照して前記矩形の一と該矩形の一に隣接する矩形とをまたぐ重複変換を行うことによって符号化された複数の矩形符号データを有する、前記画像データの画像符号データを処理する画像処理装置であって、前記画像符号データが有する前記矩形符号データの一が復号された第一の復号画像が画像処理された処理済画像を符号化する符号化手段と、前記重複変換の範囲の情報を取得することにより、前記第一の復号画像が有する画素のうち、該第一の復号画像に隣接する矩形の画像データが符号化された際に参照され且つ前記重複変換に用いられる画素としての参照画素を判別し、該参照画像が前記画像処理において処理されたか否かを判断する判断手段と、前記参照画素が処理されたと判断された場合に、前記第一の復号画像を参照した矩形の矩形符号データを復号して第二の復号画像を取得する復号手段と、を備え、前記矩形符号データは、前記矩形の画像データに対して解像度がそれぞれ異なる複数の階層の符号データを有し、前記符号化手段は、さらに、前記参照画素が処理されたと判断された場合に、前記処理済画像を参照して前記第二の復号画像を符号化し、前記判断手段は、前記重複変換が行われた階層の解像度における前記範囲の情報、及び、前記重複変換が行われた階層の解像度と前記画像データの解像度との比により、前記参照画素となる画素を判別する構成とすることができる。

これにより、画像データが分割された矩形毎に符号化して生成された符号データの復号画像等を編集する際に、復号処理と再符号化処理とに係るコストを低減する画像処理装置を提供することができる。

なお、上記課題を解決するため、本発明は、上記画像処理装置が実現する画像処理方法、その画像処理方法をコンピュータに実行させるコンピュータプログラム、及び、そのコンピュータプログラムを記録した情報記録媒体としてもよい。

本発明の画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体によれば、画像データが分割された矩形毎に符号化して生成された符号データの復号画像等を編集する際に、復号処理と再符号化処理とに係るコストを低減する画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体を提供することが可能になる。

以下、本発明の実施の形態を図面に基づき説明する。
〔本発明の実施の形態〕
本発明の実施の形態に説明に先んじて、ＪＰＥＧ ＸＲ等を用いる画像符号化方法について、説明する。

例えば、従来の画像処理装置等において、高精細な画像やサイズの大きい画像を保持し表示するシステムでは、単一の画像符号を用いて処理を行うことが困難である。なぜならば非常に大きなメモリを必要とし、画像の圧縮・伸張に多大な時間がかかってしまうからである。さらにサーバクライアントを用いたシステムでは転送量が膨大になってしまう問題がある。

これらの問題に対する解決法として、ＦｌａｓｈＰｉｘ方式に代表されるような画像符号蓄積手法では、対象となる画像を複数の解像度、及び、適切なサイズの異なる画像に分割して保持する。また表示の際にはＩＩＰというＦｌａｓｈＰｉｘ画像を扱うプロトコルを用いて、サーバが必要なタイルに関するＪＰＥＧ符号のみをクライアントに送信することで転送量を小さくする。

ところで、ＪＰＥＧ２０００（非特許文献１参照）、ＪＰＥＧ ＸＲ（非特許文献２参照。）等は、符号データが解像度の階層を持ち、任意の空間領域の符号のみ取り出せる。これにより、ＦｌａｓｈＰｉｘのように、解像度毎、及び、空間領域毎に対応する画像ファイル、又は、ビットストリームにすることなく、ＦｌａｓｈＰｉｘと同様の機能を実現できる。また画像中の高解像度の信号は、低解像度の信号に対する差分となっている。したがって、ＦｌａｓｈＰｉｘとは異なり、解像度信号の重複を避けることができる。

また、ＪＰＥＧ符号化方式では画像をブロックに分割し、ブロック毎にＤＣＴ変換及び量子化を行っているため、圧縮率が高くなるとブロック同士の境界に歪みが顕著に現れるという問題があったが、ＪＰＥＧ ＸＲ符号化方式では、ブロック内での周波数変換に先立って、ブロックをまたぐように重複変換を施すことによってブロック歪みが大きく軽減された。

このように、符号データに階層構造を持つ符号化方式は、極めて大きなサイズの画像を蓄積することができる。より詳細には、例えば、複数の画像を集めて一つの大きな画像を生成するケースや、極めて画素数の多い地図画像を扱うケース等において、画像の一部のみを変更し、残りの部分については変更しない編集が行われる場合には、画像全体を一度復号し、編集を反映した後に再符号化を行ってしまうと、画像のほんの一部の変更にも関わらず、編集中にメモリを大量に必要とし、その上復号及び符号化に処理時間がかかってしまう。

（ＪＰＥＧ ＸＲ符号化方式の概要）
本発明の実施の形態は、例えば、ＪＰＥＧ ＸＲ符号化方式におけるブロック重複変換処理（Ｐｈｏｔｏ Ｏｖｅｒｌａｐ Ｔｒａｎｓｆｏｒｍ（以下、「ＰＯＴ」という。））を行う画像処理装置において実現される。

ここでは、輝度成分と色差成分とで同じサンプリング数である４：４：４のカラーフォーマットに限定して説明するが、４：２：２や４：１：１のカラーフォーマットの場合においても、対応するブロック変換、重複変換を用いて同様の原理で達成できる。

図１は、ＪＰＥＧ ＸＲ符号化方式を実現する画像符号化装置１のブロックを説明する図である。図１では、入力される画像データに対し、各ブロックがそれぞれ処理を行い、符号データを出力する。

図１の画像符号化装置１００は、ブロック重複変換処理部１１０、ブロック周波数変換部１２０、量子化部１３０、予測符号化部１４０、係数スキャニング部１５０、及び、エントロピー符号化部１６０を有する。

ブロック重複変換処理部１１０は、ブロックノイズを抑制するために、マクロブロック間をまたぐＰＯＴを行う。ブロック周波数変換部１２０は、Ｐｈｏｔｏ Ｃｏｒｅ Ｔｒａｎｓｆｏｒｍ（以下、「ＰＣＴ」という。）３階層の周波数階層を生成する。

量子化部１３０は、ＰＣＴにより生成した変換係数の量子化を行う。予測符号化部１４０は、マクロブロック間において、変換係数の予測符号化を行う。係数スキャニング部１５０は、予測符号化後の変換係数を、ブロック毎にスキャンして１次元の数列にする。エントロピー符号化部１６０は、ランレベル符号化と適応的可変長符号化により、変換係数を符号化する。エントロピー符号化部１６０は、またさらに、マクロブロック毎、各種のヘッダ情報等を付加してもよい。

ＪＰＥＧ ＸＲ符号化方式による符号データは、ＪＰＥＧ２０００符号化方式のようにスケーラビリティを有し、符号データ中から一の解像度における一の部分領域に対応する符号データを抽出して復号することができる。ＪＰＥＧ ＸＲ符号化方式は、さらに、ＪＰＥＧ２０００符号化方式と異なり、画像を分割したブロック毎に周波数変換を行う、ブロック変換を用い、ブロック周波数変換の前処理としてブロック重複変換処理を行っている。ブロック重複変換処理により、ブロック歪みを低減することができる。ＪＰＥＧ ＸＲの周波数帯域は３種類あり、ブロック周波数変換が二回適用された結果生成される。

（ＪＰＥＧ ＸＲにおける空間的階層）
図２は、ＪＰＥＧ ＸＲにおける空間的階層を説明する図である。図２において、画像を構成する最小の単位である「画素」が、縦２個横２個の計４（以下、「４×４」と表記する。）個集まったものを、「ブロック」という。また、ブロックが４×４個集まったものを、「マクロブロック」という。また、１以上のマクロブロックで構成された矩形領域を、「タイル」という。タイルの境界領域は、マクロブロックの境界領域と一致する。

タイルは、画像が分割された最も大きな単位であり、タイル毎に独立して符号化、及び、復号がなされる。より詳細には、複数のタイル間の予測符号化等は行われない。タイルの大きさは、同列に並ぶタイルの横幅と、同行に並ぶタイルの縦幅が揃っていれば、同一の大きさで無くとも良い。

（ＪＰＥＧ ＸＲにおける周波数階層）
図３は、ＪＰＥＧ ＸＲにおける周波数の階層を説明する図である。ＪＰＥＧ ＸＲでは、３階層の周波数階層を有する。低い周波数から順に、ＤＣ帯域ａ、ＬＰ（Ｌｏｗ Ｐａｓｓ）帯域ｂ、ＨＰ（Ｈｉｇｈ Ｐａｓｓ）帯域ｃである。各々の帯域における変換係数を、それぞれ、ＤＣ係数、ＬＰ係数、ＨＰ係数という。これらの周波数帯域は、ＰＣＴを二回適用した結果生成される。ＰＣＴの変換式については後述する。

ＨＰ係数は、４×４画素のブロック内で、１回目の４×４ＰＣＴを行った変換後の係数を並び替えたものである。並び替えられた後、各ブロックの左上の係数を１個ずつ集めると、一つのマクロブロックから４×４個（１６個）の係数が集められる。この４×４個の係数に対し、２回目の４×４ＰＣＴを行い、変換後の係数を並び替えたものが、ＬＰ（Ｌｏｗ Ｐａｓｓ）係数となる。最後に、ＬＰ係数の左上をＤＣ成分としてマクロブロック一つあたり一つ取り出した係数が、ＤＣ係数である。

以上の処理により、３つの周波数帯域が生成され、３つのレベルの解像度スケーラビリティを持つ。すなわち、原画像と同一の解像度であるＨＰ帯域、原画像の４分の１の解像度であるＬＰ帯域、原画像の１６分の１の解像度であるＤＣ帯域である。

（Ｆｌｅｘ Ｂｉｔｓ）
ＪＰＥＧ ＸＲ符号化方式は、さらに、ＨＰ係数のビットに二段階の精度を持たせるためのＦｌｅｘ Ｂｉｔｓと呼ばれる部分がある。Ｆｌｅｘ ＢｉｔｓはＪＰＥＧ２０００のＬａｙｅｒに類似する。

（４×４ＰＣＴの説明）
４×４ＰＣＴは、３つのステージからなる。各ステージは、以下の通りであり、（１）と（２）とのステージにおいて、４×４のアダマール変換が、４画素毎に行われる。
（１）アダマール変換ステージ
（２）回転ステージ
（３）係数並び替えステージ

図４は、係数並び替えステージにおける処理を説明する図である。図４（ａ）は、変換範囲の画素の４×４のブロックであり、各画素をアルファベットで表記している。図４（ｂ）は、係数並び替えステージ後の４×４の変換係数のブロックである。図４（ｂ）において、各画素は、並び替え前のブロックに含まれる画素と同一の符号を付している。

（ＰＯＴが適用される範囲）
ＪＰＥＧ ＸＲ 符号化方式には、ＰＣＴを行う前処理として、“ブロックノイズ”を抑制するためにマクロブロック間をまたぐ変換であるＰＯＴを行うオプションがある。ＰＯＴを行うオプションは３種類あり、全くＰＯＴを行わない、一回目のＰＣＴを行う前のみ行う、及び、一回目のＰＣＴの前及び二回目のＰＣＴの前に行う、である。

ＰＯＴを全く行わない場合は、ブロック毎に独立に周波数変換がなされるため、高圧縮率で圧縮した場合にブロック歪みが発生する。なお、ＰＯＴを行う場合は、復号側では逆ＰＯＴを行うことになる。

図５及び図６は、ＰＯＴが適用される範囲を説明する図である。図５において、ＰＯＴの変換は、ＰＣＴが行われるブロック４つを重複した範囲で行われている。これを、４×４ＰＯＴという。

図６は、タイルをまたいだ範囲で行われるＰＯＴを説明する図である。図６（ａ）は、画像の端部ではない部分で行われるＰＯＴである。また図６（ｂ）から（ｅ）は、画像の端部で行われるＰＯＴである。図６において、ＰＯＴに用いられる画素又は変換係数に、ハッチングが施されている。画像の端では、参照する隣接ブロックが存在しないため、図６（ｂ）から（ｅ）に示す画素又は変換係数を使って重複変換を行う。これを、４×１ＰＯＴという。

（４×４ＰＯＴの説明）
４×４ＰＯＴは、５つのステージからなる。各ステージは、以下の通りである。
（１）アダマール変換ステージ
（２）スケーリングステージ
（３）高−低／低−高 回転ステージ
（４）高−高 回転ステージ
（５）アダマール変換ステージ

（予測符号化）
JPEG XR符号化方式は、サブバンド係数をエントロピー符号化する前に、予測符号化を行う。なお、アダマール変換後の「変換係数」を「サブバンド係数」ともいう。予測符号化は、DC帯域、LP帯域、及び、HP帯域の、それぞれのサブバンド毎に行われ、使われる予測モードが異なっている。なお、予測符号化は、タイルをまたいで行われることはない。すなわち、タイル毎に完全に独立した予測復号をすることができる。

図７は、ＤＣ係数の予測モードを説明する図である。DC係数の予測は、モードが４つある。図７（ａ）は、左のマクロブロックのDC値からの予測、図７（ｂ）は、上のマクロブロックからの予測、図７（ｃ）は、左と上のマクロブロックを足して２で割った値からの予測、図７（ｄ）は、予測無し、を説明する図である。なお、予測無しは、０値からの予測と同義である。
予測モードの選択例として、例えば、予測元との絶対値の差がかなり小さい場合には（ａ）又は（ｂ）を用い、その他の場合には、（ｃ）を用いるとよい。

図８は、ＬＰ係数の予測モードを説明する図である。ＬＰ係数の予測モードは、モードが３つある。図８（ａ）は、左のマクロブロックからの予測、図８（ｂ）は、上のマクロブロックからの予測を説明する図である。この他に、予測無し、のモードがある。なお、ＬＰ係数の予測は、同じ量子化値を使うマクロブロック間でのみ用いられる。すなわち、量子化値が異なるマクロブロック間では、ＬＰ係数の予測は使われない。

ＨＰ係数の予測は、ＤＣやＬＰと異なり、一のマクロブロック内の全ブロックに対し、１つの予測モードが選択される。ＨＰ係数予測には３つのモードがあり、（１）左のブロックからの予測、（２）上のブロックからの予測、（３）予測無し、の３通りである。

以上のＪＰＥＧ ＸＲにおける予測符号化の説明をまとめると、予測符号化はタイルをまたいでは行われないため、タイル内では独立に復号ができる。また、ＤＣ係数及びＬＰ係数の予測は、マクロブロックをまたいで行われるため、マクロブロック単位で符号を抜き出した場合は、予測元の値が必要となる。

（係数スキャン）
予測符号化が行われた後に、各サブバンド係数を、適応的スキャン順でスキャンする。係数スキャンした後にランレングス符号化を行うので、非ゼロ係数値が先頭から続き、ゼロ係数値が後にかたまるように、非ゼロ係数値の出現回数などをカウントして、適応的にスキャン順を修正していく。

（エントロピー符号化）
ＪＰＥＧ ＸＲ符号化方式において、サブバンド係数のエントロピー符号化は、ゼロの係数についてのランレベル符号化と適応的可変長が組み合わせて用いられる。サブバンド中の全ての係数がゼロであった場合は、エントロピー符号化されずに、全ての係数がゼロであるというフラグで表現される。

（ビットストリームの構造）
ＪＰＥＧ ＸＲ符号化方式によるビットストリームは、画像のヘッダ、サブバンド信号がどの位置にあるのかを示すインデックステーブルが先頭にあり、その後に、タイル単位でサブバンド信号が並ぶ構造になっている。

ビットストリームの構造には二つのモードがあり、それぞれＳｐａｔｉａｌ ｍｏｄｅとＦｒｅｑｕｅｎｃｙ ｍｏｄｅである。各モードにおいて、タイル毎に独立した符号データが連続する点は共通である。

Ｓｐａｔｉａｌ ｍｏｄｅはマクロブロック１に関する全ての周波数信号が並び、次にマクロブロック２に関する全ての周波数信号が並び、というように、マクロブロック毎の符号データ連続する。Ｆｒｅｑｕｅｎｃｙ ｍｏｄｅはその逆で、一の周波数における全マクロブロックの符号データが連続した後、次の周波数における全マクロブロックの符号データが連続する並びであり、周波数毎の符号データが連続する。

（本発明の実施の形態に係る画像処理装置の構成）
図９は、本発明の実施の形態に係る画像処理装置の構成の例を示す図である。図９の画像処理装置２００は、編集前の画像符号のタイル分割や、周波数変換に関するパラメータなどの情報を読み込み、編集結果に基づいて編集前の画像符号から抜き出した部分符号と、変更された部分の画像を符号化した符号を用いて、編集後の画像符号を生成する。

図９の画像処理装置２００は、画像符号抽出部２１０、符号化部２２０、及び、合成部２３０を有する。画像符号抽出部２１０は、編集された部分符号の画像に基づいて、編集前の画像符号から、編集された部分符号に対応する部分符号を抜いた符号を合成部２３０に出力する。符号化部２２０は、編集された部分符号の画像を符号化する。合成部２３０は、画像符号抽出部２１０から出力された符号に、符号化部２２０から出力された符号を合成し、編集後の画像符号を出力する。

（本発明の実施の形態に係る画像処理装置の機能構成のブロック）
図１０は、本発明の実施の形態に係る画像処理装置の機能構成のブロックを示す図である。図１０の画像処理装置１０は、復号手段１１、画像処理手段１３、符号化手段１５、及び、判断手段１９を有する。
復号手段１１は、入力される符号データから、編集するタイル等に対応する部分符号を抽出して復号する。

画像処理手段１３は、復号手段１１によって復号された部分符号の画像を処理する。画像処理手段１３は、操作者の指示等により、画像の編集を行う。なお、画像処理手段１３は、画像処理装置１０の外部に設けられてもよい。

符号化手段１５は、画像処理手段１３によって処理された部分符号の画像を、符号化する。符号化手段１５は、またさらに、入力される符号データから、編集された部分符号の画像に対応する部分符号を取り除き、符号化した部分符号を、その符号データに追加する。これにより、編集された画像に対応する部分符号が更新される。

判断手段１９は、画像処理手段１３によって処理された画像が有する画素のうち、編集等の処理が行われた画素が、入力される符号データに含まれる他の部分符号の画像が符号化された際に、参照されていたか否かを判断する。

復号手段１１は、判断手段１９の判断に基づき、入力される符号データから、参照する画像に対応する部分符号を復号する。より詳細には、判断手段１９により、画像処理手段１３によって処理された画像が有する画素のうち、編集等の処理がなされた画素が、他の部分符号が符号化された際に参照されている場合には、参照する側の部分画像を復号する。

符号化手段１５は、復号手段１１によって新たに復号された画像を、画像処理手段１３によって処理された画像を参照して符号化する。符号化手段１５は、新たに符号化して生成した部分符号を、入力される符号データにおいて、対応する部分符号と置換することにより、新たな符号データを生成する。

（再符号化を行う処理）
図１１は、本実施の形態に係る画像処理を説明するフロー図である。図１１では、編集されたタイル内の画素が、他のタイルにより参照されている場合に、参照するタイルの符号を再符号化する処理を説明する。

図１１のステップＳ０１では、判断手段１９が、編集前の画像符号データの構成を取得する。ＪＰＥＧ ＸＲ符号化方式によるビットストリームは、イメージヘッダに画像全体に関する情報が記述されている。より詳細には、タイリングの有無、符号の並び順がＦｒｅｑｕｅｎｃｙ ｍｏｄｅかＳｐａｔｉａｌ ｍｏｄｅかを示すフラグ、インデックステーブルの有無、重複変換が行われたレベルの情報、入力画像のカラーフォート、入力画像のビット精度、各タイルの大きさ、座標系に対する画像の上下左右のマージンに相当するウィンドウの情報等が、ビットストリームの先頭に含まれている。判断手段１９は、これらの情報を読み込む。

図１２は、タイル分割を説明する図である。JPEG XR符号化方式のタイルは、一の画像の全体にわたってタイルが同一のサイズでなくてもよく、行毎及び列毎に、タイルのサイズが揃っていればよい。タイル番号はラスタ順につけられる。

図１１に戻り、ステップＳ０１に続いてステップＳ０２に進み、判断手段１９が、ステップＳ０１で取得された画像符号データの構成の情報により、編集された領域の含まれるタイルを判定する。より詳細には、例えば、図１３において、ドットのハッチングが施された箇所が編集された領域の場合に、編集された領域の含まれるタイルは、タイル４及びタイル５となる。したがって、後のステップでは、編集された画像が符号化されることにより、タイル４及びタイル５に対応する符号データが生成される。

ステップＳ０２に続いてステップＳ０３に進み、判断手段１９が、編集された画素を参照するタイルを判定する。編集された画素とは、編集された領域に含まれる画素である。編集された画素とは、また例えば、編集された領域に含まれ、かつ、編集の前と後とで、画素値が異なる画素でもよい。

編集された画素を参照するタイルを判定するとは、編集された領域を含むタイルにおいて、編集された画素の位置に対応する編集前の画素を参照して符号化されたタイルの有無と、そのタイルがある場合には、そのタイルの識別情報等を取得することである。すなわち、そのタイルは、元の画像が符号化されたときに対して、編集により参照する画素が変更されているため、再符号化する必要があるタイルである。

ステップＳ０３に続いてステップＳ０４に進み、符号化手段１５が、編集された領域を含むタイルを符号化する。さらに、復号手段１１が、その領域を参照するタイルを画像符号データから取得して復号した後、符号化手段１５が、編集された領域を含むタイルを参照して、復号されたタイルを符号化する。

ステップＳ０４に続いてステップＳ０５に進み、符号化手段１５が、ステップＳ０４で符号化されて生成された符号データを、画像符号データ中に含まれる対応する符号データと置き換える。なお、符号化手段１５は、符号データを置き換える代わりに、画像符号データ中に含まれる対応する符号データを削除し、さらに、ステップＳ０４で生成された符号データを画像符号データの末尾等に付加してもよい。

（再符号化するタイルを判定する処理）
図１４は、再符号化を行うタイルを判定する処理の例を示すフロー図である。図１４の処理は、判断手段１９により、図１１のステップＳ０２及びステップＳ０３において行われる。

図１４のステップＳ３１では、画像に含まれるタイル毎に、隣接するタイルが図１１のステップＳ０２において編集された領域を含むと判定されたタイルか否かを判断する。隣接するタイルが編集された領域を含むタイルの場合には、ステップＳ３２に進み、隣接するタイルが編集された領域を含まないタイルの場合には、ステップＳ３５に進む。

ステップＳ３１に続くステップＳ３２では、他のタイルから参照される領域にある画素について、編集前と編集後の画素値を比較する。より詳細には、例えば、ＪＰＥＧ ＸＲ符号化方式における、ＰＯＴが行われる画素の画素値が、編集により変更されたか否かを判断する。

ＪＰＥＧ ＸＲ符号化方式においては、一のタイルが、完全に独立に符号化されていない。これは、タイル内及びタイル境界において、隣接したブロックをまたぐＰＯＴが行われているからである。

図１５は、ＨＰ係数を算出する一回目のＰＣＴの前に行われるＰＯＴに供せられる画素の範囲を説明する図である。図１５では、４×４画素からなるブロック４つをまたいで、４×４画素の範囲でＰＯＴが行われる。図１５における斜線のハッチングの箇所が、ＰＯＴが行われる画素である。

より詳細には、一回目のＰＯＴにおいて、図１５のタイル１は、タイル０の右下端の４つのピクセル、タイル３の右上端の４つのピクセル、及び、タイル４の上端から２ピクセル幅の領域に含まれるピクセルを参照する。そこで、タイル４が編集が行われたタイルの場合に、タイル４の上端の２ピクセル幅帯の全画素について、編集前の画素値と編集後の画素値について比較を行う。

図１４に戻り、ステップＳ３２に続いてステップＳ３３に進み、対象画素の画素値が、編集前と編集後とで異なる場合には、ステップＳ３４に進む。一方、対象画素の画素値が編集前と編集後とで同じ場合には、ステップＳ３５に進む。
ステップＳ３３に続くステップＳ３４では、タイル１を再符号化の対象タイルと判断し、処理を終了する。

一方、ステップＳ３３に続くステップＳ３５では、タイル１に隣接するタイル全てについて、ステップＳ３１からステップＳ３３の処理が終了しているか否かの判断がなされる。ここでは、タイル４の他のタイルである、タイル０及びタイル３に対する判断の処理が終了しているか否かの判断がなされる。終了している場合には、ステップＳ３６に進み、終了していない場合には、ステップＳ３１に戻って処理を繰り返す。
ステップＳ３５に続くステップＳ３６では、タイル１を再符号化の対象外とする判断がなされ、処理が終了する。

なお、ステップＳ３２及びステップＳ３３における判断では、画素値の比較の他に、編集の際にその画素が編集領域に含まれるか否かを表す情報を生成し、その情報が参照されることにより、対象画素が、編集されたか否かの判断がなされてもよい。例えば、編集された箇所が矩形領域等の範囲のように、予め判っている場合には、全画素値の比較を行う必要はなく、その領域が参照画素の範囲と重なっているかどうかについて判定してもよい。

図１４の判断処理により再符号化対象となったタイルは、図１１のステップＳ０４において再符号化が行われる。一方、再符号化対象とならなかったタイルについては、編集前の画像符号中のインデックステーブルで指定されるオフセットから、次のタイルのオフセットまで続くタイルの符号がそのまま抽出される。以上のタイルの符号を結合して新たな画像符号を生成する。

（重複変換の範囲の情報を用いる処理）
ＪＰＥＧ ＸＲ符号化方式による重複変換は、複数回実施されることが許容されている。より詳細には、符号化の際に以下の３つのモードがある。
１． 重複変換をしない
２． 一回目のＰＣＴの前だけ重複変換を行う
３． 一回目のＰＣＴの前および二回目のＰＣＴの前に重複変換を行う

ここで、上記１．の重複変換をしないモードでは、編集の対象となったタイル以外のタイルを再符号化する必要は無く、編集前のタイル符号を、そのまま新たな画像符号に加えるとよい。
また、上記２．のモードでは、上述のごとく、タイル境界から２画素までが変更されたかどうかを判定するとよい。

上記３．のモードでは、ＰＯＴの処理が２回行われるため、隣接するタイルからの参照範囲が広がる。図１６は、２個のＬＰ係数を参照して行われる二回目のＰＯＴを説明する図である。図１６において、二回目のＰＯＴは、画素では無く一回目のＰＣＴによって得られた変換係数のうちのＬＰ係数を４×４個集めたものに対して行われる。すなわち、ＬＰ係数２つ分を隣接するタイルから参照する。そして、２つ分のＬＰ係数は、画像中の４画素に相当する。したがって、ＰＯＴの処理を行われる画素の幅は８画素である。そこで、隣接するタイル全てにおいて、タイル境界から４画素幅の画素が編集前から変わっていなければ、そのタイルは、再符号化の必要が無いことになる。

すなわち、ＪＰＥＧ ＸＲ符号化方式においては、ＰＯＴの回数と、１回のＰＯＴにおいて用いられる画素又は係数の数に基づいて、参照される画素の範囲の情報を取得することができる。より詳細には、１回のＰＯＴにおいて用いられる画素又は係数の数が２個の場合には、タイル境界から、値２の（ＰＯＴの回数）の巾乗の数の画素が編集されているか否かを判断するとよい。

（マクロブロック毎に再符号化するか否かを判断する処理）
タイルに含まれているマクロブロック毎に、再符号化するか否かを判断する場合について、以下説明する。ＪＰＥＧ ＸＲ符号化方式において、符号化の際に行われる予測符号化は、タイル毎に完全に独立しているが、マクロブロック間においては、独立していない。より詳細には、ＤＣ係数およびＬＰ係数については、図７及び図８等で説明したごとく、マクロブロック間の予測が用いられるモードがある。

そこで、編集前の符号がマクロブロック間の予測モードを用いて符号化されていたかを判定するとよい。マクロブロック間の予測モードが用いられていた場合は、対象のタイルを再符号化する。

マクロブロック間の予測モードが用いられていない場合について以下説明する。マクロブロック間の予測モードが用いられていない場合とは、例えば、マクロブロック内のブロック間において、ＨＰ係数の予測が行われている場合である。そこで、ＰＯＴが行われた場合には、そのマクロブロック境界から２画素に係るＨＰ係数を参照する他のＨＰ係数も、値を更新する必要が生じる。そこで、そのマクロブロック全体を再符号化するとよい。
図１７は、編集が行われた領域とマクロブロックとの関係を説明する図である。編集された領域を含むマクロブロックは、再符号化が行われる。

以下の説明は、ＰＯＴを一回目のみ行い、Ｓｐａｔｉａｌ ｍｏｄｅで符号化する例である。編集した画素領域が、判定対象となるマクロブロックの境界から２０×２０画素の正方形領域に重なっていなければ、そのマクロブロックを符号化する際に参照する画素値は編集前から変わっていないことになる。そこで、このマクロブロックは再符号化しない。

編集された画素を参照しないと判定されたマクロブロックに関しては、編集前のマクロブロックの符号データを抜き出して編集後の画像符号に含ませる。編集された画素を参照すると判定されたマクロブロックに関しては、再符号化を行い、編集後の画像符号に含ませる。なお、これらの符号は、ラスタ順に並べてタイルビットストリームし、画像ヘッダとインデックステーブルを作り直すことにより、Ｓｐａｔｉａｌ ｍｏｄｅの画像符号となる。

なお、判定対象となるタイル自体、もしくは対象タイルに含まれる全てのマクロブロックの参照画素が、編集前から変更されていない場合には、マクロブロック間の予測モードが使われている場合でも、そのタイルの符号データは再符号化せず編集前の符号から抽出して新たな画像符号に含ませる。またさらに、マクロブロック間の予測モードが使われていない場合も、編集前の符号からマクロブロックの抽出をする必要は無く、そのタイルの符号データを抽出して新たな画像符号に含ませる。

（コンピュータ等による実現）
なお、本発明の実施の形態に係る画像処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る画像処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

ＪＰＥＧ ＸＲ符号化方式を実現する画像符号化装置１のブロックを説明する図である。 ＪＰＥＧ ＸＲにおける空間的階層を説明する図である。 ＪＰＥＧ ＸＲにおける周波数の階層を説明する図である。 係数並び替えステージにおける処理を説明する図である。 タイル内でＰＯＴが適用される範囲を説明する図である。 タイルをまたぐＰＯＴが適用される範囲を説明する図である。 ＤＣ係数の予測モードを説明する図である。 ＬＰ係数の予測モードを説明する図である。 本発明の実施の形態に係る画像処理装置の構成の例を示す図である。 本発明の実施の形態に係る画像処理装置の機能構成のブロックを示す図である。 本実施の形態に係る画像処理を説明するフロー図である。 タイル分割を説明する図である。 編集された領域とタイルとの関係を説明する図である。 再符号化を行うタイルを判定する処理の例を示すフロー図である。 一回目のＰＣＴの前に行われるＰＯＴに供せられる画素の範囲を説明する図である。 二回目のＰＯＴを説明する図である。 編集が行われた領域とマクロブロックとの関係を説明する図である。

符号の説明

１０ 画像処理装置
１１ 復号手段
１３ 画像処理手段
１５ 符号化手段
１９ 判断手段
１００ 画像符号化装置
１１０ ブロック重複変換処理部
１２０ ブロック周波数変換部
１３０ 量子化部
１４０ 予測符号化部
１５０ 係数スキャニング部
１６０ エントロピー符号化部
２００ 画像処理装置
２１０ 画像符号抽出部
２２０ 符号化部
２３０ 合成部
ａ ＤＣ帯域
ｂ ＬＰ帯域
ｃ ＨＰ帯域

Claims (5)

1. 画像データが分割された矩形毎に該矩形に隣接する矩形の画像データを参照して前記矩形の一と該矩形の一に隣接する矩形とをまたぐ重複変換を行うことによって符号化された複数の矩形符号データを有する、前記画像データの画像符号データを処理する画像処理装置であって、
   前記画像符号データが有する前記矩形符号データの一が復号された第一の復号画像が画像処理された処理済画像を符号化する符号化手段と、
   前記重複変換の範囲の情報を取得することにより、前記第一の復号画像が有する画素のうち、該第一の復号画像に隣接する矩形の画像データが符号化された際に参照され且つ前記重複変換に用いられる画素としての参照画素を判別し、該参照画像が前記画像処理において処理されたか否かを判断する判断手段と、
   前記参照画素が処理されたと判断された場合に、前記第一の復号画像を参照した矩形の矩形符号データを復号して第二の復号画像を取得する復号手段と、
   を備え、
   前記矩形符号データは、前記矩形の画像データに対して解像度がそれぞれ異なる複数の階層の符号データを有し、
   前記符号化手段は、さらに、前記参照画素が処理されたと判断された場合に、前記処理済画像を参照して前記第二の復号画像を符号化し、
   前記判断手段は、前記重複変換が行われた階層の解像度における前記範囲の情報、及び、前記重複変換が行われた階層の解像度と前記画像データの解像度との比により、前記参照画素となる画素を判別する画像処理装置。
2. 前記画像符号データは、該画像符号データが生成される際に前記重複変換が行われたか否かを表す重複変換情報を有し、
   前記判断手段は、前記重複変換情報が、前記重複変換が行われていることを表す場合に、前記参照画素が前記画像処理において処理されたか否かを判断する請求項１記載の画像処理装置。
3. 画像データが分割された矩形毎に該矩形に隣接する矩形の画像データを参照して前記矩形の一と該矩形の一に隣接する矩形とをまたぐ重複変換を行うことによって符号化された複数の矩形符号データを有する、前記画像データの画像符号データを処理する画像処理方法であって、
   前記画像符号データが有する前記矩形符号データの一が復号された第一の復号画像が画像処理された処理済画像を符号化する符号化ステップと、
   前記重複変換の範囲の情報を取得することにより、前記第一の復号画像が有する画素のうち、該第一の復号画像に隣接する矩形の画像データが符号化された際に参照され且つ前記重複変換に用いられる画素としての参照画素を判別し、該参照画像が前記画像処理において処理されたか否かを判断する判断ステップと、
   前記参照画素が処理されたと判断された場合に、前記第一の復号画像を参照した矩形の矩形符号データを復号して第二の復号画像を取得する復号ステップと、
   を有し、
   前記矩形符号データは、前記矩形の画像データに対して解像度がそれぞれ異なる複数の階層の符号データを有し、
   前記符号化ステップにおいて、さらに、前記参照画素が処理されたと判断された場合に、前記処理済画像を参照して前記第二の復号画像を符号化し、
   前記判断ステップにおいて、前記重複変換が行われた階層の解像度における前記範囲の情報、及び、前記重複変換が行われた階層の解像度と前記画像データの解像度との比により、前記参照画素となる画素を判別する画像処理方法。
4. コンピュータに、請求項３記載の画像処理方法を実行させるコンピュータプログラム。
5. 請求項４記載のコンピュータプログラムを記録したコンピュータ読み取り可能な情報記録媒体。

Images