JP6577855B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理システムおよび画像処理方法に関する。

特許文献１〜３には、動画像中の動体を検出する技術が開示されている。また、特許文献４，５には、パーティクルフィルタを利用して動体を追跡する技術が開示されている。このような動体検出技術を利用すれば、画像中の動体をＲＯＩ（関心領域）として切り取ることができる。

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。このような画像分離技術を利用すれば、前景画像をＲＯＩとして切り取ることができる。

特開２０１３−２５４２９１号公報 特開２００７−０８８８９７号公報 特開２００６−０９３７８４号公報 特開２００９−１９９３６３号公報 特開２００５−１６５６８８号公報 特開２００６−２０３４０９号公報 特表２００１−５２０４６６号公報

INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest 荻田健夫、渡辺裕、「JPEG2000トランスコーダにおけるROI自動抽出と評価」、画像電子学会年次大会予稿集、2002年06月19日、30th、p．115-116

上記のようにＲＯＩを自動的に設定する種々の技術が開発されている。しかし、ＲＯＩとして設定されるべき所期の領域を精度良く検出することは、技術的に未だ難しいと思われる。

例えば、ＲＯＩの輪郭、換言すればＲＯＩと非ＲＯＩとの境界を正確に判別することは、難しい。このため、所期の領域から局所的に張り出した部分を有して、あるいは逆に所期の領域を局所的に侵食した部分を有して、ＲＯＩが設定されることがある。また、所期の領域内に欠損を有して、ＲＯＩが設定されることがある。すなわち、本来は所期の領域の全域がＲＯＩとして設定されるべきところ、当該領域内に非ＲＯＩが存在すると判別され、その非ＲＯＩがＲＯＩの欠損を成すのである。輪郭および／または内部にそのような不具合を有した不十分なＲＯＩを別の画像と合成しても、不自然さを感じるであろう。

本発明は、不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成可能であり、さらには合成具合を調整可能な技術を提供することを目的とする。また、関連技術を提供することを目的とする。

本発明の一態様に係る画像処理システムは、第１画像中のＲＯＩ（関心領域）と第２画像とを合成する画像合成システムを含んでいる。前記画像合成システムは、前記第１画像用の量子化ウエーブレット係数データから第１ウエーブレット係数データを生成する、第１準備部と、前記第２画像のデータから第２ウエーブレット係数データを生成する、第２準備部と、前記第１ウエーブレット係数データに含まれる各ウエーブレット係数が、前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とのいずれであるかを判別するためのマスクを準備する、マスク準備部と、前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを前記マスクに基づいて判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記第２ウエーブレット係数データ中のウエーブレット係数とを合成し、それにより合成済み係数データを生成する、合成実行部と、前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、合成画像データ生成部とを含んでいる。前記量子化ウエーブレット係数データの分解レベルを、ｇ１とする。前記合成実行部において利用する前記第１ウエーブレット係数データと前記第２ウエーブレット係数データと前記マスクとの分解レベルを、ｇ２とする。前記第１準備部は、前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、分解レベルｇ１の前記第１ウエーブレット係数データを生成する、逆量子化部と、ｇ２＜ｇ１の場合に、分解レベルｇ１の前記第１ウエーブレット係数データに対して、分解レベルｇ２まで逆ウエーブレット変換を行う、レベル減少部と、ｇ２＞ｇ１の場合に、前記第１画像と同一視できる補助画像用のウエーブレット係数であり且つ分解レベルがｇ１である補助ウエーブレット係数データを取得し、前記補助ウエーブレット係数データを利用した係数調整処理によって、分解レベルｇ１の前記第１ウエーブレット係数データを調整する、係数調整部と、前記係数調整処理によって調整された前記第１ウエーブレット係数データに対して、分解レベルｇ２までウエーブレット変換を行う、レベル増加部とを有している。ｇ２＝ｇ１の場合、前記マスク準備部は、分解レベルｇ１の前記マスクを準備して前記合成実行部に供給し、前記第１準備部は、前記逆量子化部によって生成された分解レベルｇ１の前記第１ウエーブレット係数データを前記合成実行部に供給する。ｇ２＜ｇ１の場合、前記マスク準備部は、分解レベルｇ２の前記マスクを準備して前記合成実行部に供給し、前記第１準備部は、前記レベル減少部によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記合成実行部に供給する。ｇ２＞ｇ１の場合、前記マスク準備部は、分解レベルｇ２の前記マスクを準備して前記合成実行部に供給すると共に、分解レベルｇ１の前記マスクを準備して前記第１準備部に供給し、前記第１準備部は、前記係数調整部によって行われる前記係数調整処理において、分解レベルｇ１の前記マスクに基づいて分解レベルｇ１の前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記補助ウエーブレット係数データ中のウエーブレット係数とを合成し、前記第１準備部は、前記レベル増加部によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記合成実行部に供給する。

上記一態様によれば、第１画像中のＲＯＩと第２画像との合成は、第１画像データおよび第２画像データを変換した第１ウエーブレット係数データおよび第２ウエーブレット係数データを用いて行われる。また、第１画像中のＲＯＩの判別は、第１ウエーブレット係数データについてＲＯＩ係数を判別することによって行われる。このため、不十分なＲＯＩを利用しても、合成画像上では、修復されたＲＯＩを提供できる。すなわち、第１画像データおよび第２画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。また、第１ウエーブレット係数データと第２ウエーブレット係数データとの合成時の分割レベルをｇ２で制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。また、第１ウエーブレット係数データを、第２ウエーブレット係数データと合成する前に、係数調整処理によって調整するので、合成画像の画質を向上させることができる。

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１について、画像処理システムの概念図である。 実施の形態１について、画像処理システムを説明するブロック図である。 実施の形態１について、データ供給システムを説明するブロック図である。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。 実施の形態１について、マスク生成部を説明するブロック図である。 実施の形態１について、第１画像の例を示す図である。 実施の形態１について、原マスクの例を示す図である。 実施の形態１について、展開マスクを説明する図である（分解レベル１）。 実施の形態１について、展開マスクを説明する図である（分解レベル２）。 実施の形態１について、展開マスクを説明する図である（分解レベル３）。 実施の形態１について、マスク展開処理を説明するフローチャートである。 実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク展開処理を説明する図である。 実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク展開処理を説明する図である。 実施の形態１について、データ供給システムの動作を説明するフローチャートである。 実施の形態１について、画像合成システムを説明するブロック図である。 実施の形態１について、合成実行処理を説明するフローチャートである。 実施の形態１について、合成実行処理を説明するフローチャートである。 実施の形態１について、全体座標系およびサブバンド座標系を説明する図である。 実施の形態１について、マスク準備部を説明するブロック図である。 実施の形態１について、マスク準備部での処理を説明する概念図である。 実施の形態１について、非参照型マスクの生成処理を説明するフローチャートである。 実施の形態１について、参照型マスクの生成処理を説明するフローチャートである。 実施の形態１について、マスク拡大処理を説明するフローチャートである。 実施の形態１について、マスク拡大処理を説明する図である（１次元）。 実施の形態１について、マスク拡大処理を説明する図である（２次元）。 実施の形態１について、マスクマージ処理を説明するフローチャートである。 実施の形態１について、マージマスクの第２例を説明する図である。 実施の形態１について、マージマスクの第３例を説明する図である。 実施の形態１について、マスク復元処理を説明するフローチャートである。 実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク復元処理を説明する図である。 実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク復元処理を説明する図である。 実施の形態１について、マスク準備部の動作を説明するフローチャートである。 実施の形態１について、第１準備部を説明するブロック図である。 実施の形態１について、画像合成システムの動作を説明するフローチャートである。 実施の形態１について、画像合成システムの動作を説明するフローチャートである。 実施の形態１について、第１画像の例を示す図である。 図３８の画像用のマスクを示す図である。 図３９のマスクを分解レベル５まで展開したマスクを示す図である。 図３８の画像用の非参照型マスクを示す図である。 図３８の画像用の参照型マスクを示す図である。 図４２の分解レベル２のサブバンドマスクに対してモフォロジー処理を行ったマスクを示す図である。 図４３のマスクを拡大したマスク（整形マスク）を示す図である。 図４４のマスクを分解レベル５まで展開した暫定マスクを示す図である。 図４１の非参照型マスクと図４５の暫定マスクとをマージしたマージマスクを示す図である。 図４６のマスクを用いた合成画像を示す図である。 図４６のマスクを用いた合成画像を示す図である。 図４６のマスクを分解レベル６まで展開したマスクを示す図である。 図４９のマスクを用いた合成画像を示す図である。 図４９のマスクを用いた合成画像を示す図である。 図４６のマスクを分解レベル３まで復元したマスクを示す図である。 図５２のマスクを用いた合成画像を示す図である。 図５２のマスクを用いた合成画像を示す図である。 図４６のマスクを分解レベル０まで復元したマスクを示す図である。 図５５のマスクを用いた合成画像を示す図である。 実施の形態２について、マスク準備部を説明するブロック図である。 実施の形態３について、マスク準備部の第１例を説明するブロック図である。 実施の形態３について、マスク準備部の動作を説明するフローチャートである。 実施の形態３について、マスクの例を示す図である。 実施の形態３について、マスクの例を示す図である。 実施の形態３について、マスク準備部の第２例を説明するブロック図である。 実施の形態３について、マスク準備部の第３例を説明するブロック図である。 実施の形態４について、マスク準備部を説明するブロック図である。 実施の形態４について、マスク準備部の動作を説明するフローチャートである。 実施の形態５について、参照型マスクの生成を説明する概念図である。 実施の形態５について、複数の色空間成分を一纏めにして参照型推定規則を適用する場合の参照型マスク生成処理を説明するフローチャートである。 実施の形態５について、複数の色空間成分を一纏めにして参照型推定規則を適用する場合の参照型マスク生成処理を説明するフローチャートである。 実施の形態６について、マスク準備部を説明するブロック図である。 実施の形態６について、マスク準備部の動作を説明するフローチャートである。 実施の形態６について、外来マスクの例を示す図である。 図７１のマスクを用いた合成画像を示す図である。 図７１の外来マスクを分解レベル６まで展開したマスクを示す図である。 図７３のマスクを用いた合成画像を示す図である。 図７１の外来マスクを分解レベル３まで復元したマスクを示す図である。 図７５のマスクを用いた合成画像を示す図である。 図７１の外来マスクを分解レベル０まで復元したマスクを示す図である。 図７７のマスクを用いた合成画像を示す図である。 実施の形態７について、マスク準備部を説明するブロック図である。 実施の形態７について、マスク準備部の動作を説明するフローチャートである。 実施の形態８について、マスク準備部の動作を説明するフローチャートである。

＜実施の形態１＞
＜システムの概要＞
図１に、実施の形態１に係る画像処理システム１の概念図を示す。図１に示すように、画像処理システム１は２つの画像処理システム１０，２０を含んでいる。一方の画像処理システム１０はデータ供給システム１１を含み、もう一方の画像処理システム２０は画像合成システム２１を含んでいる。画像合成システム２１は画像合成処理を実行する。データ供給システム１１は画像合成処理に使用するデータを出力する。以下では、画像処理システム１を全体システム１と呼び、データ供給システム１１を供給システム１１と呼び、画像合成システム２１を合成システム２１と呼ぶ場合もある。

画像処理システム１０は、供給システム１１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。同様に、画像処理システム２０は、合成システム２１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。また、図１から分かるように、供給システム１１は、画像処理システム１０に含まれると共に全体システム１にも含まれる。同様に、合成システム２１は、画像処理システム２０に含まれると共に全体システム１にも含まれる。

画像処理システム１０，２０は、ここでは、半導体集積回路によって提供される。すなわち、画像処理システム１０，２０の各種の機能および処理は、回路的に、換言すればハードウェア的に実現される。但し、機能および処理の一部または全部を、マイクロプロセッサを機能させるプログラムによって、換言すればソフトウェアによって実現することも可能である。

＜全体システム１の例＞
図２に、全体システム１の適用例を示す。図２の例では、画像処理システム１０がデータ供給側装置３０に設けられ、画像処理システム２０が画像合成側装置４０に設けられている。以下では、データ供給側装置３０を供給側装置３０と呼び、画像合成側装置４０を合成側装置４０と呼ぶ場合もある。供給側装置３０のユーザは合成側装置４０のユーザとは異なるものとするが、この例に限定されるものではない。

供給側装置３０は、画像処理システム１０の他に、表示部３１と、操作部３２と、外部インターフェース３３と、画像入力部３４とを含んでいる。合成側装置４０は、画像処理システム２０の他に、表示部４１と、操作部４２と、外部インターフェース４３と、画像入力部４４とを含んでいる。以下では、外部インターフェース３３，４３をＩ／Ｆ３３，４３と呼ぶ場合もある。

表示部３１，４１は例えば液晶表示装置で構成されるが、表示部３１，４１は異なる種類の表示装置で構成されてもよい。操作部３２，４２は、ユーザが装置３０，４０に対して、換言すれば画像処理システム１０，２０に対して、指示、データ等を入力するための操作媒体である。操作部３２，４２はキーボード、マウス、ボタン、スイッチ等の１つまたは複数の装置によって構成される。

Ｉ／Ｆ３３は供給側装置３０が装置外部と信号の入出力を行う部分である。同様に、Ｉ／Ｆ４３は合成側装置４０が装置外部と信号の入出力を行う部分である。Ｉ／Ｆ３３，４３を利用することによって、供給側装置３０と合成側装置４０との間で情報（データ、指示等）の伝達が可能になる。

具体的にＩ／Ｆ３３，４３は通信インターフェースを含んでおり、それにより供給側装置３０と合成側装置４０とがＩ／Ｆ３３，４３によって通信可能になる。装置３０，４０間の通信方式は、有線と、無線と、それらの組み合わせとのいずれでもよい。装置３０，４０間の情報伝達には、媒体５０が介在する。上記のように通信の場合、媒体５０は無線または有線の通信媒体（換言すれば通信経路）である。

Ｉ／Ｆ３３，４３は、通信インターフェースに加えてまたは代えて、外部記憶媒体用のインターフェースを含んでもよい。その場合、供給側装置３０と合成側装置４０との間の情報伝達は外部記憶媒体を介して行うことが可能であり、その外部記憶媒体が装置３０，４０間に介在する媒体５０に該当する。

画像入力部３４は、デジタルカメラによって構成される。あるいは、画像入力部３４は、画像データを供給する記憶装置であってもよい。画像入力部４４も同様に構成される。なお、画像入力部３４，４４は異なる種類の装置で構成されてもよい。

なお、供給側装置３０および合成側装置４０の構成は図２の例に限定されるものではない。すなわち、上記の構成要素のうちの一部を省略してもよいし、他の構成要素を追加してもよい。

＜供給システム１１の例＞
図３に、供給システム１１の構成例を示す。供給システム１１は、以下に説明するように画像データの符号化機能を有している。かかる符号化機能によって、合成システム２１に供給する第１画像のデータである第１画像データＡ２０を符号化し、符号化画像データＡ５０を生成する。なお、符号化画像データＡ５０を単に符号化データＡ５０とも呼ぶ場合もある。

なお、一般的に、画像データの圧縮には符号化が採用されている。このため「圧縮」と「符号化」とが同義で用いられ、例えば画像圧縮が画像符号化または画像圧縮符号化と表現される場合がある。同様に、「伸張」と「復号化」とが同義で用いられ、例えば画像伸張が画像復号化または画像伸張復号化と表現される場合がある。

符号化データＡ５０は、符号化データＡ５０用のビットストリーム（以下、符号化ビットストリームとも呼ぶ）Ａｂｓによって供給システム１１から出力され、合成システム２１に供給される。

第１画像は、ＲＯＩ（関心領域）を含む画像であり、合成システム２１での画像合成において主画像を提供する。第１画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。

図３の例によれば、供給システム１１は、前処理部１０２０と、ウエーブレット変換部１０３０と、量子化部１０４０と、マスク生成部１０５０と、符号化部１０６０と、ビットストリーム生成部１０７０とを含んでいる。

＜前処理部１０２０＞
前処理部１０２０は、第１画像データＡ２０に対して所定の前処理を行う。図３の例では、前処理部１０２０は、ＤＣレベルシフト部１０２１と、色空間変換部１０２２と、タイリング部１０２３とを含んでいる。

ＤＣレベルシフト部１０２１は、第１画像データＡ２０のＤＣレベルを必要に応じて変換する。色空間変換部１０２２は、ＤＣレベル変換後の画像データの色空間を変換する。例えば、ＲＧＢ成分がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）に変換される。タイリング部１０２３は、色空間変換後の画像データを、「タイル」と呼ばれる矩形状の複数の領域成分に分割する。そして、タイリング部１０２３は、タイルごとに画像データをウエーブレット変換部１０３０に供給する。なお、必ずしも画像データをタイルに分割する必要はなく、色空間変換部１０２２から出力された１フレーム分の画像データを、そのままウエーブレット変換部１０３０に供給してもよい。

＜ウエーブレット変換部１０３０＞
ウエーブレット変換部１０３０はウエーブレット変換処理を行う。具体的には、ウエーブレット変換部１０３０は、前処理後の第１画像データＡ２０に対して、整数型または実数型の離散ウエーブレット変換（ＤＷＴ）を行い、その結果得られた変換係数を出力する。以下では、変換係数を例えば、ウエーブレット変換係数、または、ウエーブレット係数と呼ぶ場合もある。また、第１画像データＡ２０に対してウエーブレット変換を行うことによって生成されるデータ（ウエーブレット係数の群）を、第１ウエーブレット係数データＡ２１と呼ぶことにする。

ウエーブレット変換では、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。かかる周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも呼ばれる。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）２０００の基本方式に倣い、垂直方向と水平方向の両方について低域側に分割されたサブバンドのみを再帰的に帯域分割していく、オクターブ分割方式を採用するものとする。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。分解レベルの情報は、ウエーブレット係数データに付随している。

ウエーブレット変換部１０３０では、所定の分解レベルまで第１画像データＡ２０が分解される。一般的には分解レベルが３〜５程度の場合に、良好な符号化効率が得られる。なお、ウエーブレット変換部１０３０における上記所定の分解レベルを、初期の分解レベルと呼ぶ場合もある。

図４〜図６に、２次元でのウエーブレット変換について、Ｍａｌｌａｔ型のウエーブレット平面６１〜６３を示す。図４〜図６の例によれば、入力画像（２次元画像）は、分解レベル１において（図４参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図４のウエーブレット平面６１に示すように、４つのサブバンドＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。分解レベル１で得られたサブバンドＬＬ１は、分解レベル２において（図５のウエーブレット平面６２を参照）、更に４つのサブバンドＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られたサブバンドＬＬ２は、分解レベル３において（図６のウエーブレット平面６３を参照）、更に４つのサブバンドＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。

２次元のウエーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなるサブバンドである。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向のサブバンドＸと垂直方向のサブバンドＹとからなるサブバンドは「ＸＹｍ」と表記される。

なお、以下では、サブバンドＬＬ１，ＬＬ２，…のそれぞれをＬＬサブバンドまたはＬＬ成分と略称する場合がある。また、サブバンドＬＬ１をＬＬ１サブバンドまたはＬＬ１成分と呼ぶ場合がある。他のサブバンドについても同様である。

ここで、ウエーブレット平面（図４〜図６参照）は、ウエーブレット変換の演算結果データを、原画像（ウエーブレット変換が行われていない状態の画像）中の画素の並びに対応付けて２次元配列したデータ群である。例えばウエーブレット平面においてサブバンドＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。なお、ウエーブレット平面はウエーブレット空間、または、ウエーブレット領域と呼ばれる場合もある。また、２次元配列された係数値を画素値に見立てて、ウエーブレット平面をウエーブレット画像と呼ぶ場合もある。

分解レベル１において、サブバンドＬＬ１は画像の本質的な情報に対応する。なお、サブバンドＬＬ１によれば、分解前の画像の１／４のサイズの画像（換言すれば、分解前の画像に対する縮小比が１／２の画像）を提供可能である。サブバンドＨＬ１は垂直方向に伸びるエッジの情報に対応し、サブバンドＬＨ１は水平方向に伸びるエッジの情報に対応する。サブバンドＨＨ１は斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２のサブバンドＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前のサブバンドＬＬ１を原画像と見なした場合におけるサブバンドＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。

以下では、ウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させることにより、当該原画像を分解レベル０のウエーブレット画像、または、分解レベル０のウエーブレット平面と表現する場合もある。

また、ウエーブレット平面において最も分解されたサブバンドを、最上位サブバンドと呼ぶことにする。具体的には、分解レベル３のウエーブレット平面６３（図６参照）において、最上位サブバンドはＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３である。一般化するならば、分解レベルｋのウエーブレット平面において、最上位サブバンドはＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋである。また、分解回数が同じサブバンドにおいて、サブバンドＬＬを最低域のサブバンドと呼び、サブバンドＨＨを最高域のサブバンドと呼ぶことにする。

なお、Ｍａｌｌａｔ型では、上記のように、ＬＬ成分を水平方向と垂直方向のそれぞれについて同じ回数で、再帰的に分解する。また後述のように、Ｍａｌｌａｔ型では分解とは逆の手順でサブバンドが合成される。但し、水平方向と垂直方向のそれぞれのＬ成分とＨ成分を同じ回数で、分解および合成する必要はない。すなわち、Ｍａｌｌａｔ型とは異なる型式のウエーブレット変換を用いてもよい。

また、原画像およびウエーブレット画像において左上端を座標系（全体座標系。後述の図２０参照）の原点に採り、原点を０として扱い、ウエーブレット変換のＬ成分出力を偶数として扱い、Ｈ成分出力を奇数として扱う例を挙げる。但し、Ｌ成分出力を奇数として扱い、Ｈ成分出力を偶数として扱うことも可能である。なお、ウエーブレット平面（図４〜図６参照）は、ウエーブレット変換の偶数番目および奇数番目の出力を、サブバンドごとに再配置した概念的な平面である。

＜量子化部１０４０＞
図３に戻り、量子化部１０４０は量子化処理を行う。具体的には、量子化部１０４０は、ウエーブレット変換部１０３０から供給された第１ウエーブレット係数データＡ２１に対して、量子化ステップサイズに基づいて、スカラー量子化を行い、それにより量子化ウエーブレット係数データＡ２２を生成する。量子化ステップサイズは、例えば目標画質に応じて設定される。

ここで、量子化ウエーブレット係数データＡ２２は、ウエーブレット係数データＡ２１と同様のデータ構造を有している。このため、量子化ウエーブレット係数データＡ２２によれば、ウエーブレット係数データＡ２１と同様に、ウエーブレット画像が提供される。量子化ウエーブレット係数データＡ２２によって提供されるウエーブレット画像を、量子化ウエーブレット画像と呼ぶ場合もある。

特に量子化部１０４０は、第１ウエーブレット係数データＡ２１を構成する各データ（換言すれば、各係数値）について、第１画像中のＲＯＩに関与する係数（以下、ＲＯＩ係数とも呼ぶ）と、非ＲＯＩに関与する係数（以下、非ＲＯＩ係数とも呼ぶ）とを判別する係数判別処理を行う。そして、量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。このような量子化は、例えばノルムに基づいて量子化値を決定する技術（特許文献６参照）によって、実現可能である。

量子化部１０４０は、係数判別処理を、マスク生成部１０５０から供給されるマスクデータＢ２１に基づいて行う。マスクデータＢ２１は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクを提供する。

＜マスク生成部１０５０＞
マスク生成部１０５０はマスク生成処理を行う。具体的には、マスク生成部１０５０は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータＢ２１を生成する。

図７に、マスク生成部１０５０の構成例を示す。図７の例によれば、マスク生成部１０５０は、原マスク生成部１０５１と、マスク展開部１０５２とを含んでいる。

＜原マスク生成部１０５１＞
原マスク生成部１０５１は原マスク生成処理を行う。具体的には、原マスク生成部１０５１は、第１画像データＡ２０に基づいて、第１画像の全範囲においてＲＯＩと非ＲＯＩとを判別するための原マスクのデータである原マスクデータＢ１０を生成する。

原マスク生成部１０５１は、各種のマスク生成技術によって構成可能である。例えば動画像中の動体を検出する技術が知られており、この動体検出技術を利用すれば、画像中の動体をＲＯＩに設定したマスクを生成できる。動体検出技術に関しては、例えば特許文献１〜３を参照。また、例えば特許文献４，５にはパーティクルフィルタを利用して動体を追跡する技術が記載されており、かかる動体追跡技術によれば動体検出精度を向上でき、また、演算量を削減できる。

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。この画像分離技術を利用して原マスク生成部１０５１を構成すれば、前景画像をＲＯＩに設定したマスクを生成できる。

なお、原マスク生成部１０５１は、マスク生成に際して適宜、前処理を行う。例えば、第１画像データＡ２０が、デジタルカメラによる撮影画像データ（Ｂａｙｅｒデータ）である場合、ＢａｙｅｒデータをＲＧＢカラーデータに変換する。また、第１画像のサイズが大きい場合、演算量を減らすために縮小処理を行う。また、特徴量を抽出するために、白黒、ＹＵＶ、ＨＳＶ等への色空間変換を行う。

ここで、図８に第１画像６０の例を示す。第１画像６０において、移動中の人物の部分をＲＯＩ６０ａに設定し、それ以外の部分を非ＲＯＩ６０ｂに設定するものとする。

第１画像６０の全範囲に対応する原マスク７０を、図９に示す。原マスク７０は、第１画像６０中の各画素がＲＯＩ６０ａと非ＲＯＩ６０ｂのどちらに属するのかを示す画像として理解できる。原マスク７０は、第１画像６０中のＲＯＩ６０ａおよび非ＲＯＩ６０ｂに対応するＲＯＩ対応部分７０ａおよび非ＲＯＩ対応部分７０ｂを有している。図９において、白抜き部分がＲＯＩ対応部分７０ａであり、黒塗り部分が非ＲＯＩ対応部分７０ｂである。

なお、動画像の場合、全てのフレーム画像を対象にして原マスク７０を生成してもよいし、あるいは、例えば一定フレーム毎または一定時間毎に原マスク７０を生成してもよい。また、静止画像が順次入力される場合についても、同様である。

＜マスク展開部１０５２＞
マスク展開部１０５２はマスク展開処理を行う。具体的には、マスク展開部１０５２は、原マスク７０のＲＯＩ対応部分７０ａおよび非ＲＯＩ対応部分７０ｂを、第１ウエーブレット係数データＡ２１に含まれる各サブバンド用に（換言すれば、第１ウエーブレット係数データＡ２１に対応するウエーブレット画像に含まれる各サブバンド用に）展開する。このようなマスク展開処理によって、第１ウエーブレット係数データＡ２１用のマスクである展開マスクが生成される。マスクの展開に関しては、例えば特許文献６，７および非特許文献１を参照。

マスク展開部１０５２によって生成された展開マスクが、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するための上記マスクである。すなわち、マスク生成部１０５０は、上記マスクデータＢ２１として展開マスクのデータを生成して出力する。

図１０〜図１２に、図９の原マスク７０を分解レベル１，２，３のウエーブレット平面６１〜６３（図４〜図６参照）に展開した展開マスク７１，７２，７３をそれぞれ示す。展開マスク７１，７２，７３において、ＲＯＩ対応部分７１ａ，７２ａ，７３ａが白抜きで図示され、非ＲＯＩ対応部分７１ｂ，７２ｂ，７３ｂが黒塗りで図示されている。

ここで、展開マスクは、マスク対象のウエーブレット画像に含まれる各サブバンド用のマスクの集合体として把握できる。すなわち、サブバンドごとのマスクをサブバンドマスクと呼ぶことにすると、展開マスクはサブバンドマスクの集合体として把握できる。例えば、展開マスクのうちでＬＬサブバンド用の部分をＬＬサブバンドマスクと呼ぶことにする。他のサブバンドに対応する部分についても同様とする。展開マスクの分解レベルは、当該展開マスクのデータに付随するものとする。

図１３に、マスク展開処理のフローチャートを示す。図１３のマスク展開処理Ｓ１００によれば、マスクの分解レベルを１段階上げる処理（以下、レベル増加単位処理とも呼ぶ）Ｓ１０２が行われる。第１ウエーブレット係数データＡ２１の分解レベルが２以上である場合、その分解レベルのマスクが得られるまで、レベル増加単位処理Ｓ１０２が繰り返される（ステップＳ１０１参照）。なお、図１３中のステップＳ１０１において、第１ウエーブレット係数データＡ２１の分解レベルをｇ１と表記している。

レベル増加単位処理Ｓ１０２では、処理対象とする現在のマスクを、現在のマスクが適用される現在のウエーブレット平面よりも分解レベルが１段階高い新ウエーブレット平面用の新マスクに、変換する。なお、現在のマスクが原マスクである場合、上記の現在のウエーブレット平面はウエーブレット変換前の原画像が対応する。上記のように原画像を分解レベル０のウエーブレット平面と表現することによって、現在のウエーブレット平面には原画像も含まれることが理解できる。

レベル増加単位処理Ｓ１０２の繰り返しは、再帰的に行われる。すなわち、新マスクを次の現在のマスクに設定することによって、レベル増加単位処理Ｓ１０２が再度、行われる。また、レベル増加単位処理Ｓ１０２の繰り返しは、ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４〜図６参照）、ウエーブレット平面は最低域のサブバンドＬＬのみを再帰的に分解していく。このため、マスクの展開もサブバンドＬＬに対応する部分に対してのみ再帰的に行う。

レベル増加単位処理Ｓ１０２は所定のマスク展開条件に基づいて行われ、マスク展開条件はウエーブレット変換のフィルタのタップ数に依存する。

例えばウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク展開条件は、図１４に基づいた２つの条件（第１展開条件と第２展開条件と呼ぶことにする）を含む。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

第１展開条件：現在のウエーブレット平面上の偶数番目（ｎを整数として、２ｎ番目と表記できる）のデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において低域成分（ローパスフィルタの側の出力データに対応する）のｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。それと共に、新ウエーブレット平面において高域成分（ハイパスフィルタの側の出力データに対応する）の｛ｎ−１｝番目およびｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２展開条件：現在のウエーブレット平面上の｛２ｎ＋１｝番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウエーブレット平面において低域成分のｎ番目および｛ｎ＋１｝番目ならびに高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

また、ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク展開条件は、図１５に基づいた２つの条件（第３展開条件と第４展開条件と呼ぶことにする）を含む。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

第３展開条件：現在のウエーブレット平面上の２ｎ番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第４展開条件：現在のウエーブレット平面上の｛２ｎ＋１｝番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第１ウエーブレット係数データＡ２１の分解レベルが３の場合、マスク生成部１０５０は、分解レベル３の展開マスク７３（図１２参照）を生成し、当該展開マスク７３を量子化部１０４０に供給する。量子化部１０４０は、展開マスク７３におけるＲＯＩ対応部分７３ａと非ＲＯＩ対応部分７３ｂとの区別に基づいて、分解レベル３の第１ウエーブレット係数データＡ２１、換言すれば分解レベル３のウエーブレット画像６３（図６参照）の係数判別処理を行う。そして上記のように、量子化部１０４０は、係数判別結果に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、分解レベル３の量子化ウエーブレット係数データＡ２２を生成する。

＜符号化部１０６０＞
図３に戻り、符号化部１０６０は符号化処理を行う。具体的には、符号化部１０６０は、量子化部１０４０によって生成された量子化ウエーブレット係数データＡ２２に対して、所定の符号化を行い、それにより符号化データＡ５０を生成する。所定の符号化では、例えば、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）に従ってエントロピー符号化が行われる。図３の例では、符号化部１０６０は、係数ビットモデリング部１０６１と、エントロピー符号化部１０６２とを含んでいる。

係数ビットモデリング部１０６１は、量子化されたウエーブレット係数に対して、ビットモデリング処理を行う。ここでは、ビットモデリング処理は既知技術を利用するものとし、詳細な説明は省略する。

なお、係数ビットモデリング部１０６１は、入力されたサブバンドを３２×３２または６４×６４程度の「コードブロック」と呼ばれる領域に分割する。そして、係数ビットモデリング部１０６１は、コードブロック中の各量子化ウエーブレット係数の二進値を構成する各ビット値を別々のビットプレーンに割り当てる。ビットモデリング処理は、そのようなビットプレーン単位で行われる。

エントロピー符号化部１０６２は、係数ビットモデリング部１０６１で生成されたデータに対してエントロピー符号化を行って、符号化画像データを生成する。エントロピー符号化として、例えば既知の算術符号化が利用される。

なお、符号化部１０６０では、エントロピー符号化部１０６２によって生成された符号化画像データに対してレート制御を行って、符号量を制御してもよい。

＜ビットストリーム生成部１０７０＞
ビットストリーム生成部１０７０はビットストリーム生成処理を行う。具体的には、ビットストリーム生成部１０７０は、符号化部１０６０から出力される符号化データＡ５０を付加情報と多重化し、それによりＪＰＥＧ２０００に準拠した符号化ビットストリームＡｂｓを生成する。付加情報として例えば、ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブル、等が挙げられる。

＜供給システム１１の動作＞
図１６に、供給システム１１の動作を説明するフローチャートを示す。図１６の動作フローＳ２００によれば、供給システム１１に第１画像データＡ２０が入力されると、前処理部１０２０およびマスク生成部１０５０が第１画像データＡ２０を取得する（ステップＳ２０１）。

前処理部１０２０は、第１画像データＡ２０に対して所定の前処理を行う（ステップＳ２１１）。次に、ウエーブレット変換部１０３０が、前処理後の第１画像データＡ２０に対して所定の分解レベルまでウエーブレット変換を行い、それにより第１ウエーブレット係数データＡ２１を生成する（ステップＳ２１２）。

一方、マスク生成部１０５０は、第１画像データＡ２０に基づいて、第１ウエーブレット係数データＡ２１用のマスク、すなわち第１ウエーブレット係数データＡ２１の分解レベルに対応した展開マスクのデータＢ２１を生成する（ステップＳ２２０）。具体的には、原マスク生成部１０５１が上記の原マスク生成処理を行い（ステップＳ２２１）、マスク展開部１０５２が上記のマスク展開処理を行う（ステップＳ２２２）。

なお、図１６の例では、ステップＳ２２０をステップＳ２１１，Ｓ２１２と並行して実行するが、ステップＳ２２０をステップＳ２１１，Ｓ２１２の前または後で実行することも可能である。

ステップＳ２１２で生成された第１ウエーブレット係数データＡ２１と、ステップＳ２２０で生成されたマスクデータＢ２１とは、量子化部１０４０に入力される。量子化部１０４０は、上記のように、マスクデータＢ２１に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、第１ウエーブレット係数データＡ２１に対して量子化を行う（ステップＳ２０２）。それにより、量子化ウエーブレット係数データＡ２２が生成される。

量子化ウエーブレット係数データＡ２２は符号化部１０６０によって符号化され、符号化データＡ５０が生成される（ステップＳ２０３）。符号化データＡ５０はビットストリーム生成部１０７０によって、第１画像用の符号化ビットストリームＡｂｓに変換される（ステップＳ２０４）。その後、符号化ビットストリームＡｂｓは、ビットストリーム生成部１０７０から出力される（ステップＳ２０５）。

＜合成システム２１の例＞
図１７に、合成システム２１の構成例を示す。図１７の例によれば、合成システム２１は、ビットストリーム解析部１２１０と、復号化部１２２０と、第１準備部１２３０と、第２準備部１２４０と、マスク準備部１２５０と、合成実行部１２７０と、合成画像データ生成部１２８０と、後処理部１２９０とを含んでいる。

＜ビットストリーム解析部１２１０＞
ビットストリーム解析部１２１０はビットストリーム解析処理を行う。具体的には、ビットストリーム解析部１２１０は、符号化ビットストリームＡｂｓをＪＰＥＧ２０００の仕様に準拠して解析し、当該符号化ビットストリームＡｂｓから符号化データＡ５０と付加情報とを抽出する。符号化データＡ５０は復号化部１２２０に供給される。各種の付加情報はそれぞれ所定の処理部に供給される。

＜復号化部１２２０＞
復号化部１２２０は復号化処理を行う。具体的には、復号化部１２２０は、符号化データＡ５０に対して、所定の復号化を行う。所定の復号化は、符号量制御を除いて、基本的には、図３の符号化部１０６０における符号化とは逆の処理にあたる。所定の復号化によって、符号化データＡ５０から、量子化ウエーブレット係数データＡ２２が生成される。図１７の例では、復号化部１２２０は、エントロピー復号化部１２２１と、係数ビットモデリング部１２２２とを含んでいる。

エントロピー復号化部１２２１は、符号化データＡ５０に対してエントロピー復号化を行って、ビットデータを生成する。エントロピー復号化は、図３のエントロピー符号化部１０６２におけるエントロピー符号化とは逆の処理にあたる。

係数ビットモデリング部１２２２は、エントロピー復号化部１２２１によって生成されたビットデータに対してビットモデリング処理を行って、量子化ウエーブレット係数データＡ２２を復元する。ここでのビットモデリング処理は、図３の係数ビットモデリング部１０６１におけるそれとは逆の処理にあたる。係数ビットモデリング部１２２２によって生成された量子化ウエーブレット係数データＡ２２は、第１準備部１２３０とマスク準備部１２５０とに供給される。

＜第１準備部１２３０＞
第１準備部１２３０は、復号化部１２２０から量子化ウエーブレット係数データＡ２２を取得し、量子化ウエーブレット係数データＡ２２から第１ウエーブレット係数データＡ６１を生成する。第１ウエーブレット係数データＡ６１は合成実行部１２７０に供給される。第１準備部１２３０については後に更に説明する。

＜第２準備部１２４０＞
第２準備部１２４０は、第２画像のデータである第２画像データＤ２０を取得する。第２画像は、第１画像のＲＯＩと合成される画像であり、画像合成のための背景画像を提供する。

第２画像データＤ２０は、例えば、合成システム２１の側に設けられた画像入力部４４、または、画像処理システム２０の他のシステムから供給される。なお、第２画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。ここで、第２画像として、過去に生成した合成画像（例えば、動画像において所定フレーム数だけ前の合成画像）を利用することもできる。

第２準備部１２４０は、第２画像データＤ２０から第２ウエーブレット係数データＤ６１を生成する。具体的には、第２準備部１２４０は、第２画像データＤ２０に対して所定の分解レベルまで（具体的には後述の分解レベルｇ２まで）ウエーブレット変換を行う。それにより、第２ウエーブレット係数データＤ６１が生成される。ここでのウエーブレット変換は、供給システム１１のウエーブレット変換部１０３０（図３参照）と同様の仕様によって行われる。第２ウエーブレット係数データＤ６１は、合成実行部１２７０に供給される。

第２準備部１２４０は、第２画像データＤ２０が更新されるごとに、および、ウエーブレット変換の分解レベルが更新されるごとに、第２ウエーブレット係数データＤ６１を生成する。換言すれば、第２画像データＤ２０が更新されるまで、または、ウエーブレット変換の分解レベルが更新されるまで、その時点で保有している最新の第２ウエーブレット係数データＤ６１が合成実行部１２７０に供給される。

＜マスク準備部１２５０＞
マスク準備部１２５０は、第１準備部１２３０で生成される第１ウエーブレット係数データＡ６１に含まれる各ウエーブレット係数が、ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とのいずれであるかを判別するためのマスクを準備する。ここでは、マスク準備部１２５０は、復号化部１２２０から量子化ウエーブレット係数データＡ２２を取得し、量子化ウエーブレット係数データＡ２２からマスクデータＢ６１を生成する。マスクデータＢ６１は合成実行部１２７０に供給される。マスク準備部１２５０については後に更に説明する。

＜合成実行部１２７０＞
合成実行部１２７０は、第１準備部１２３０から第１ウエーブレット係数データＡ６１を取得し、第２準備部１２４０から第２ウエーブレット係数データＤ６１を取得し、マスク準備部１２５０からマスクデータＢ６１を取得する。合成実行部１２７０は、これらのデータＡ６１，Ｄ６１，Ｂ６１に基づいて、第１画像中のＲＯＩと第２画像との画像合成を行う（合成実行処理）。

具体的には、合成実行部１２７０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と非ＲＯＩ係数とを、マスクデータＢ６１に基づいて判別する（係数判別処理）。判別結果に基づいて、合成実行部１２７０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と、第２ウエーブレット係数データＤ６１中のウエーブレット係数（詳細には、第１ウエーブレット係数データＡ６１中の非ＲＯＩ係数に対応する係数）と、を合成する（係数合成処理）。それにより、合成済み係数データＥ６１が生成される。合成済み係数データＥ６１は、合成画像データ生成部１２８０に供給される。

図１８および図１９に、合成実行処理を説明するフローチャートを示す。なお、図１８および図１９のフローは結合子Ｃ１，Ｃ２によって繋がっている。図１８および図１９の合成実行処理Ｓ３００は、ＨＬサブバンド用の合成実行処理（ステップＳ３１０〜Ｓ３１４）と、ＬＨサブバンド用の合成実行処理（ステップＳ３２０〜Ｓ３２４）と、ＨＨサブバンド用の合成実行処理（ステップＳ３３０〜Ｓ３３４）と、ＬＬサブバンド用の合成実行処理（ステップＳ３４０〜Ｓ３４４）とを含んでいる。

具体的には、ステップＳ３０１，Ｓ３０３のループによって、処理対象とするサブバンドの分解レベルｋが順次設定される。ｋはｇｅ以上ｇｓ以下の範囲の整数である。ｇｓはループを開始する分解レベルであり、ｇｅはループを終了する分解レベルである。ここではｇｓ≧ｇｅとする。すなわち、分解レベルの高い方から順に、処理対象のサブバンドが選択される。

ＨＬサブバンド用の合成実行処理（ステップＳ３１０〜Ｓ３１４）では、分解レベルｋのＨＬサブバンド、すなわちＨＬｋサブバンドについて合成実行処理が行われる。具体的には、ステップＳ３１０，Ｓ３１４のループによって、ＨＬｋサブバンドに対して規定されたサブバンド座標系において、座標（ｉ，ｊ）が順次設定される。ｉは０以上ｗｋ−１以下の範囲の整数である。ｗｋは、処理対象のサブバンド（すなわち分解レベルｋのサブバンドであり、ここではＨＬｋサブバンド）の幅（換言すれば水平方向のデータ数）である。ｊは０以上ｈｋ−１以下の範囲の整数である。ｈｋは、処理対象のサブバンドの高さ（換言すれば垂直方向のデータ数）である。

ここで、座標系を説明する。図２０に示すように、ウエーブレット平面（換言すれば、ウエーブレット画像）に対して、全体座標系とサブバンド座標系とを規定できる。全体座標系はウエーブレット平面全体に対して規定される。これに対し、サブバンド座標系はサブバンドごとに規定される。図２０では図面の煩雑化を避けるためにＨＨ２サブバンド用のサブバンド座標系のみを示しているが、他のサブバンドについてもそれぞれサブバンド座標系を規定できる。

なお、各座標系の原点の位置は、図２０の例（対象とする領域の左上端）に限定されるものではない。また、ウエーブレット平面の分解レベルは、図２０の例（分解レベル３）に限定されるものではない。

図２０のウエーブレット平面は、ウエーブレット係数データによって提供されるウエーブレット画像に対応すると共に、展開マスクにも対応する。すなわち、図２０は、画像データと同様に扱える各種データ（ウエーブレット係数データ、量子化ウエーブレット係数データ、展開マスクデータ、等）によって提供される画像を、サブバンド構成に則して示している。このため、サブバンド構成を有する各種画像に対して、サブバンド座標系を規定できる。

図１８に戻り、ステップＳ３１１では、マスクのＨＬｋサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）が０であるか否かが判別される。

ＭＶｋ（ｉ，ｊ）≠０の場合、ステップＳ３１２において、第１ウエーブレット係数データＡ６１の係数値ＷＣｋ（ｉ，ｊ）、すなわちＲＯＩ用の係数値ＷＣｋ（ｉ，ｊ）が、合成済み係数データＥ６１の係数値ＷＣｋ（ｉ，ｊ）として採用される。換言すれば、第１ウエーブレット画像のＨＬｋサブバンドの座標（ｉ，ｊ）の係数値ＷＣｋ（ｉ，ｊ）が、合成済みウエーブレット画像のＨＬｋサブバンドの座標（ｉ，ｊ）の係数値ＷＣｋ（ｉ，ｊ）として、採用される。ここでは、第１ウエーブレット画像は、第１ウエーブレット係数データＡ６１によって提供されるウエーブレット平面である。同様に、合成済みウエーブレット画像は、合成済み係数データＥ６１によって提供されるウエーブレット平面である。

これに対し、マスク値ＭＶｋ（ｉ，ｊ）＝０の場合、ステップＳ３１３において、第２ウエーブレット係数データＤ６１の係数値ＷＣｋ（ｉ，ｊ）、すなわち背景用の係数値ＷＣｋ（ｉ，ｊ）が、合成済み係数データＥ６１の係数値ＷＣｋ（ｉ，ｊ）として採用される。換言すれば、第２ウエーブレット画像のＨＬｋサブバンドの座標（ｉ，ｊ）の係数値ＷＣｋ（ｉ，ｊ）が、合成済みウエーブレット画像のＨＬｋサブバンドの座標（ｉ，ｊ）の係数値ＷＣｋ（ｉ，ｊ）として、採用される。ここでは、第２ウエーブレット画像は、第２ウエーブレット係数データＤ６１によって提供されるウエーブレット平面である。

同様にして、ステップＳ３０１で設定された分解レベルｋに関して、ＬＨｋサブバンド用、ＨＨｋサブバンド用およびＬＬｋサブバンド用の合成実行処理が実行される。すなわち、ステップＳ３２０〜Ｓ３２４は上記ステップＳ３１０〜Ｓ３１４にそれぞれ対応し、ステップＳ３３０〜Ｓ３３４，Ｓ３４０〜Ｓ３４４についても同様である。

ここで、ＬＬサブバンドは１つしか存在しないので、ＬＬサブバンド用の生成処理（ステップＳ３４０〜Ｓ３４４）は、分解レベルの最高値（ここではｇｓ）の場合のみ、すなわちＬＬｇｓが処理対象として選択された場合のみ、実行される（ステップＳ３０２参照）。

＜合成画像データ生成部１２８０＞
合成画像データ生成部１２８０は、合成実行部１２７０から合成済み係数データＥ６１を取得する。そして、合成画像データ生成部１２８０は、合成済み係数データＥ６１に対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換（ＩＤＷＴ）を行う。これにより、合成済み係数データＥ６１から、合成画像データＥ８０が生成される。

逆ウエーブレット変換は、供給システム１１のウエーブレット変換部１０３０で行われるウエーブレット変換とは逆の処理である。逆ウエーブレット変換では、サブバンドが再帰的に合成される。逆ウエーブレット変換における合成回数は、合成レベルと呼ばれる。なお、逆ウエーブレット変換前の状態の合成レベルを０と表現することにする。

ここでは、逆ウエーブレット変換に関する上記所定の終了レベルは、分解レベル０であるものとする。但し、所定の終了レベルは分解レベル０でなくてもよい。例えば、合成画像データ生成部１２８０が、逆ウエーブレット変換を分解レベル１まで行い、ＬＬ１サブバンドのデータのみを合成画像データＥ８０として出力してもよい。これによれば、分解レベル０まで逆ウエーブレット変換を行った場合の１／４のサイズの合成画像が得られる。すなわち、所定の終了レベルをｇｆとした場合、１／２^ｇｆサイズの合成画像が得られる。

＜後処理部１２９０＞
後処理部１２９０は、合成画像データ生成部１２８０から合成画像データＥ８０を取得し、合成画像データＥ８０に対して所定の後処理を行う。所定の後処理は、ここでは、供給システム１１の前処理部１０２０で行われる所定の前処理とは逆の処理にあたる。図１７の例では、後処理部１２９０は、タイリング部１２９１と、色空間変換部１２９２と、ＤＣレベルシフト部１２９３とを含んでいる。

タイリング部１２９１は、供給システム１１のタイリング部１０２３とは逆の処理を行う。具体的には、タイリング部１２９１は、合成画像データ生成部１２８０から出力されるタイル単位の合成画像データＥ８０を合成して、１フレーム分の画像データを生成する。なお、合成画像データＥ８０がタイル単位で供給されない場合、換言すれば供給システム１１においてウエーブレット変換がタイル単位で行われていなかった場合、タイリング部１２９１による処理は省略される。あるいは、タイリング部１２９１自体を省略してもよい。

色空間変換部１２９２は、供給システム１１の色空間変換部１０２２とは逆の処理を行う。例えば、タイリング部１２９１から出力された画像データをＲＧＢ成分に変換する。ＤＣレベルシフト部１２９３は、色空間変換部１２９２から出力された画像データのＤＣレベルを必要に応じて変換する。図１７の例では、ＤＣレベルシフト部１２９３から出力される合成画像データＥ１００が、合成システム２１の出力画像データとなる。

合成画像データＥ１００に基づいて表示部４１に表示動作を行わせることによって、第１画像中のＲＯＩと第２画像との合成画像が表示される。

＜分解レベルｇ１，ｇ２について＞
ここで、以下の説明を理解しやすくするために、量子化ウエーブレット係数データＡ２２の分解レベルを、ｇ１とする。ｇ１は１以上の整数である。量子化ウエーブレット係数データＡ２２は供給システム１１において第１ウエーブレット係数データＡ２１から生成されるので、ｇ１は第１ウエーブレット係数データＡ２１の分解レベルでもある。ｇ１の情報は、第１ウエーブレット係数データＡ２１および量子化ウエーブレット係数データＡ２２に付随している。このため、ｇ１の情報は供給システム１１から取得される。

また、合成実行部１２７０において利用する（換言すれば、合成実行部１２７０に供給される）第１ウエーブレット係数データＡ６１と第２ウエーブレット係数データＤ６１とマスク（マスクデータＢ６１）との分解レベルを、ｇ２とする。ｇ２は基本的には１以上の整数である。但し、以下の説明で述べるように、ｇ２＝０であることを許容することによって、ｇ２は０以上の整数であってもよい。

ｇ２の情報は、合成システム２１のユーザによって指定されるものとする。例えば、ユーザがｇ２の値を操作部４２を介して入力する。あるいは、供給システム１１のユーザがｇ２を指定してもよい。この場合、ｇ２は、符号化ビットストリームＡｂｓに埋め込まれて、または、符号化ビットストリームＡｂｓとは別個に、合成システム２１に供給される。あるいは、ｇ２を合成システム２１に固定的に組み込んでおいてもよい。

ｇ２は、ｇ１と異なってもよいし、あるいは同じであってもよい。なお、ユーザによってｇ２の値が指定されない場合、および、合成システム２１にｇ２の固定値が与えられていない場合、合成システム２１がｇ２＝ｇ１と設定するものとする。

＜マスク準備部１２５０の具体例＞
図２１に、マスク準備部１２５０の構成例を示す。図２１によれば、マスク準備部１２５０は、基礎マスク生成部１２５１と、マスク整形部１２５２と、暫定マスク生成部１２５３と、マスクマージ部１２５４と、マスクレベル変換部１２５５とを含んでいる。

また、図２２に、マスク準備部１２５０での処理についての概念図を示す。図２２中のハッチングは、図面を見やすくするために付しているのであって、具体的なマスク画像を示しているのではない。

＜基礎マスク生成部１２５１＞
基礎マスク生成部１２５１は、復号化部１２２０から、分解レベルｇ１の量子化ウエーブレット係数データＡ２２を取得する。ここで、量子化ウエーブレット係数データＡ２２では、上記のように、非ＲＯＩ係数が０に設定されている。基礎マスク生成部１２５１は、そのような量子化ウエーブレット係数データＡ２２に含まれる各量子化ウエーブレット係数が０であるか否かを判別することによって、分解レベルｇ１の基礎マスクを生成する。基礎マスクは、量子化ウエーブレット係数データＡ２２用および第１ウエーブレット係数データＡ６１用のマスクである。すなわち、基礎マスクは分解レベルｇ１の展開マスクである。

図２１の例によれば、基礎マスク生成部１２５１は、非参照型マスク生成部１２５１ａと、参照型マスク生成部１２５１ｂとを含んでいる。

＜非参照型マスク生成部１２５１ａ＞
非参照型マスク生成部１２５１ａは、基礎マスクの第１例である非参照型マスクを生成する。具体的には、非参照型マスク生成部１２５１ａは、非参照型のマスク推定規則（以下、非参照型推定規則とも呼ぶ）に従って、量子化ウエーブレット係数データＡ２２から非参照型マスクを生成する。

非参照型推定規則によれば、マスク（すなわち非参照型マスク）を構成する或るサブバンドマスクを生成する際に、量子化ウエーブレット係数データＡ２２のうちで対応するサブバンドのみを参照し、他のサブバンドを参照しない。

非参照型推定規則では、量子化ウエーブレット係数データＡ２２によって提供される量子化ウエーブレット画像の各サブバンドに、サブバンド座標系を規定する。そして、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値を、ＱＣｋ（ｉ，ｊ）とする。同様に、非参照型マスクの各サブバンドに、サブバンド座標系を規定する。そして、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）のマスク値を、ＭＶｋ（ｉ，ｊ）とする。

この場合、非参照型推定規則では、ＱＣｋ（ｉ，ｊ）が０である場合、非参照型マスクのＭＶｋ（ｉ，ｊ）を非ＲＯＩ指示値に設定する。これに対し、ＱＣｋ（ｉ，ｊ）が０でない場合、非参照型マスクのＭＶｋ（ｉ，ｊ）をＲＯＩ指示値に設定する。なお、ＲＯＩ指示値は、マスクにおいてＲＯＩ対応部分（図９〜図１２のＲＯＩ対応部分７０ａ〜７３ａを参照）に対応することを示す所定値であり、例えば“１”が割り当てられる。これに対し、非ＲＯＩ指示値は、マスクにおいて非ＲＯＩ対応部分（図９〜図１２の非ＲＯＩ対応部分７０ｂ〜７３ｂを参照）に対応することを示す所定値であり、例えば“０”が割り当てられる。

図２３に、非参照型マスクの生成処理のフローチャートを示す。図２３のマスク生成処理Ｓ４００は、ＨＬサブバンドマスク生成処理（ステップＳ４１０〜Ｓ４１４）と、ＬＨサブバンドマスク生成処理（ステップＳ４２０〜Ｓ４２４）と、ＨＨサブバンドマスク生成処理（ステップＳ４３０〜Ｓ４３４）と、ＬＬサブバンドマスク生成処理（ステップＳ４４０〜Ｓ４４４）とを含んでいる。

具体的には、ステップＳ４０１，Ｓ４０３のループによって、処理対象とするサブバンドの分解レベルｋが順次設定される。ｋは１以上ｇ１以下の範囲の整数である。

ＨＬサブバンドマスク生成処理（ステップＳ４１０〜Ｓ４１４）では、非参照型マスクのうちで分解レベルｋのＨＬサブバンド、すなわちＨＬｋサブバンドマスクが生成される。具体的には、ステップＳ４１０，Ｓ４１４のループによって、ＨＬｋサブバンドに対して規定されたサブバンド座標系において、座標（ｉ，ｊ）が順次設定される。ｉは０以上ｗｋ−１以下の範囲の整数である。ｗｋは、処理対象のサブバンド（すなわち分解レベルｋのサブバンドであり、ここではＨＬｋサブバンド）の幅（換言すれば水平方向のデータ数）である。ｊは０以上ｈｋ−１以下の範囲の整数である。ｈｋは、処理対象のサブバンドの高さ（換言すれば垂直方向のデータ数）である。

ステップＳ４１１では、量子化ウエーブレット画像のＨＬｋサブバンドについて、量子化ウエーブレット係数ＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。ＱＣｋ（ｉ，ｊ）≠０の場合、ステップＳ４１２において、ＨＬｋサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）がＲＯＩ指示値（ここでは“１”）に設定される。これに対し、ＱＣｋ（ｉ，ｊ）＝０の場合、ステップＳ４１３において、ＨＬｋサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）が非ＲＯＩ指示値（ここでは“０”）に設定される。

同様にして、ステップＳ４０１で設定された分解レベルｋに関して、ＬＨｋサブバンドマスクと、ＨＨｋサブバンドマスクと、ＬＬｋサブバンドマスクとが生成される。すなわち、ステップＳ４２０〜Ｓ４２４は上記ステップＳ４１０〜Ｓ４１４にそれぞれ対応し、ステップＳ４３０〜Ｓ４３４，Ｓ４４０〜Ｓ４４４についても同様である。

ここで、ＬＬサブバンドは、分解レベルｇ１のサブバンド構成において１つしか存在しない。このため、ＬＬサブバンドマスク生成処理（ステップＳ４４０〜Ｓ４４４）は、ｋ＝ｇ１の場合のみ、すなわちＬＬｇ１が処理対象として選択された場合のみ、実行される（ステップＳ４０２参照）。

なお、非参照型推定規則は、全体座標系を用いて規定することもできる。すなわち、全体座標系の下で、座標（ｉ，ｊ）の量子化ウエーブレット係数値をＱＣ（ｉ，ｊ）とし、座標（ｉ，ｊ）のマスク値をＭＶ（ｉ，ｊ）とする。この場合、ＱＣ（ｉ，ｊ）が０である場合、ＭＶ（ｉ，ｊ）を非ＲＯＩ指示値に設定する。これに対し、ＱＣ（ｉ，ｊ）が０でない場合、ＭＶ（ｉ，ｊ）をＲＯＩ指示値に設定する。

＜参照型マスク生成部１２５１ｂ＞
図２１に戻り、参照型マスク生成部１２５１ｂは、基礎マスクの第２例である参照型マスクを生成する。具体的には、参照型マスク生成部１２５１ｂは、参照型のマスク推定規則（以下、参照型推定規則とも呼ぶ）に従って、量子化ウエーブレット係数データＡ２２から参照型マスクを生成する。

参照型推定規則によれば、マスク（すなわち参照型マスク）を構成する或るサブバンドマスクを生成する際に、量子化ウエーブレット係数データＡ２２のうちで対応するサブバンドだけでなく、分解レベルが同じである他のサブバンドも参照する。

具体的には、量子化ウエーブレット係数データＡ２２によって提供される量子化ウエーブレット画像の各サブバンドに、サブバンド座標系を規定する。そして、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値を、ＱＣｋ（ｉ，ｊ）とする。同様に、参照型マスクの各サブバンドに、サブバンド座標系を規定する。そして、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）のマスク値を、ＭＶｋ（ｉ，ｊ）とする。この場合、参照型推定規則は、次の第１〜第４のマスク値設定規則を含む。

第１のマスク値設定規則：分解レベルｋのサブバンドが複数存在し且つ少なくとも１つのＱＣｋ（ｉ，ｊ）が０でない場合、参照型マスクの全てのＭＶｋ（ｉ，ｊ）をＲＯＩ指示値に設定する。

第２のマスク値設定規則：分解レベルｋのサブバンドが複数存在し且つ全てのＱＣｋ（ｉ，ｊ）が０である場合、参照型マスクの全てのＭＶｋ（ｉ，ｊ）を非ＲＯＩ指示値に設定する。

第３のマスク値設定規則：分解レベルｋのサブバンドが１つしか存在せず且つＱＣｋ（ｉ，ｊ）が０でない場合、参照型マスクのＭＶｋ（ｉ，ｊ）をＲＯＩ指示値に設定する。

第４のマスク値設定規則：分解レベルｋのサブバンドが１つしか存在せず且つＱＣｋ（ｉ，ｊ）が０である場合、参照型マスクのＭＶｋ（ｉ，ｊ）を非ＲＯＩ指示値に設定する。

図２４に、参照型マスクの生成処理のフローチャートを示す。図２４のマスク生成処理Ｓ５００は、ＨＬ、ＬＨおよびＨＨ用のサブバンドマスク生成処理（ステップＳ５１０〜Ｓ５１４）と、ＬＬ用のサブバンドマスク生成処理（ステップＳ５４０〜Ｓ５４４）とを含んでいる。

具体的には、ステップＳ５０１，Ｓ５０３のループによって、処理対象とするサブバンドの分解レベルｋが順次設定される。ｋは１以上ｇ１以下の範囲の整数である。

ＨＬ、ＬＨおよびＨＨ用のサブバンドマスク生成処理（ステップＳ５１０〜Ｓ５１４）では、ＨＬｋサブバンドマスクと、ＬＨｋサブバンドマスクと、ＨＨｋサブバンドマスクとが生成される。具体的には、ステップＳ５１０，Ｓ５１４のループによって、ＨＬｋサブバンドとＬＨｋサブバンドとＨＨｋサブバンドとのそれぞれに対して規定されたサブバンド座標系において、座標（ｉ，ｊ）が順次設定される。ｉは０以上ｗｋ−１以下の範囲の整数である。ｗｋは、処理対象のサブバンド（すなわち分解レベルｋのサブバンドであり、ここではＨＬｋ、ＬＨｋおよびＨＨｋの３つのサブバンド）の幅である。ｊは０以上ｈｋ−１以下の範囲の整数である。ｈｋは、処理対象のサブバンドの高さである。

ステップＳ５１１では、量子化ウエーブレット画像のＨＬｋ、ＬＨｋおよびＨＨｋの３つのサブバンドについて、量子化ウエーブレット係数ＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。

ＨＬｋ、ＬＨｋおよびＨＨｋのサブバンドのうちの少なくとも１つにおいてＱＣｋ（ｉ，ｊ）≠０の場合、ステップＳ５１２において、ＨＬｋ、ＬＨｋおよびＨＨｋの全てのサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）がＲＯＩ指示値（ここでは“１”）に設定される。すなわち、ステップＳ５１２によって、上記の第１のマスク値設定規則が適用される。

これに対し、ＨＬｋ、ＬＨｋおよびＨＨｋのサブバンドの全てにおいてＱＣｋ（ｉ，ｊ）＝０の場合、ステップＳ５１３において、ＨＬｋ、ＬＨｋおよびＨＨｋの全てのサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）が非ＲＯＩ指示値（ここでは“０”）に設定される。すなわち、ステップＳ５１３によって、上記の第２のマスク値設定規則が適用される。

ここで、ＬＬサブバンドは、分解レベルｇ１のサブバンド構成において１つしか存在しない。このため、ＬＬ用のサブバンドマスク生成処理（ステップＳ５４０〜Ｓ５４４）は、ｋ＝ｇ１の場合のみ、すなわちＬＬｇ１が処理対象として選択された場合のみ、実行される（ステップＳ５０２参照）。ステップＳ５４０〜Ｓ５４４は、非参照型推定規則のステップＳ４４０〜Ｓ４４４（図２３参照）と同様である。ここで、ステップＳ５４２によって上記の第３のマスク値設定規則が適用され、ステップＳ５４３によって上記の第４のマスク値設定規則が適用される。

＜マスク整形部１２５２＞
図２１に戻り、マスク整形部１２５２は、基礎マスク（ここでは、非参照型マスクと参照型マスクとのうちのいずれか一方）のうちの所定のサブバンドの部分を、サブバンドマスクとして取得する。そして、マスク整形部１２５２は、取得したサブバンドマスクに対して、所定の整形処理を行う。整形処理によって得られたマスクを、整形マスクと呼ぶことにする。特に、整形マスクのマスクサイズ（換言すれば形状および大きさ）は非参照型マスクおよび参照型マスクと同じであり、且つ、整形マスクの分解レベルは０である（図２２参照）。

図２２の例によれば、参照型マスクのうちの分解レベル２のサブバンドが、サブバンドマスクとして抽出される。上記ステップＳ５１１〜Ｓ５１３によれば、分解レベルが同じサブバンド（ＨＬｋ、ＬＨｋおよびＨＨｋ）のマスク画像は同じになる。このため、ＨＬ２、ＬＨ２およびＨＨ２のいずれのサブバンドマスクを選択しても、同じサブバンドマスクデータが得られる。

サブバンドマスクの抽出は、図２２の例に限定されるものではない。

すなわち、非参照型マスクと参照型マスクとのいずれを選択するのかについての情報は、合成システム２１のユーザによって指定されるものとする。例えば、ユーザが、選択するマスクの種別を操作部４２を介して入力する。あるいは、供給システム１１のユーザが、選択するマスクを指定してもよい。この場合、その情報は、符号化ビットストリームＡｂｓに埋め込まれて、または、符号化ビットストリームＡｂｓとは別個に、合成システム２１に供給される。あるいは、選択するマスクの種別を、マスク整形部１２５２に固定的に組み込んでおいてもよい。

同様に、どのサブバンドマスクを選択するのかについての情報は、合成システム２１のユーザによって指定されるものとする。例えば、ユーザが、選択するサブバンドマスクの分解レベルを、操作部４２を介して入力する。分解レベルに加えて、ＨＬ、ＬＨおよびＨＨのいずれを選択するのかを指定してもよい。あるいは、どのサブバンドマスクを選択するのかについての情報を、供給システム１１のユーザが指定してもよいし、マスク整形部１２５２に固定的に組み込んでおいてもよい。

図２１の例によれば、マスク整形部１２５２は、モフォロジー処理部１２５２ａと、拡大部１２５２ｂとを含んでいる。

＜モフォロジー処理部１２５２ａ＞
モフォロジー処理部１２５２ａは、整形対象のサブバンドマスクに対して、モフォロジー処理を行う。モフォロジー処理は一般的に、２値画像を平滑化するために利用されている。マスク画像は２値画像であるので、モフォロジー処理はサブバンドマスクにも適用可能である。

モフォロジー処理は、例えば、膨張（Dilation）と収縮（Erosion）とを数回組み合わせて行う処理である。膨張とは、注目画素を中心にした周辺領域内に１画素でも白い画素があれば、その注目画素を白に置き換える処理である。逆に収縮とは、周辺領域内に１画素でも黒い画素があれば、注目画素を黒に置き換える処理である。周辺領域として３×３、５×５、７×７等の範囲が設定される。モフォロジー処理によれば、マスク画像を平滑化する（ギザギザ形状を減らして滑らかにする）ことができ、さらに孤立点除去（換言すれば、穴埋め）等にも有効である。

＜拡大部１２５２ｂ＞
拡大部１２５２ｂは、モフォロジー処理後のサブバンドマスクを非参照型マスクと同じマスクサイズに拡大し、それにより拡大マスクを生成する。ここで、モフォロジー処理前のサブバンドマスクは、１つのサブバンド用のマスクである。このため、当該サブバンドマスクだけを見れば、分解レベルは０である。したがって、拡大部１２５２ｂによって生成される拡大マスクが、マスクサイズが非参照型マスクと同じであり且つ分解レベルが０である整形マスクとなる（図２２参照）。

ここでは、拡大部１２５２ｂが、拡大比２の拡大処理をＲ回行うことによって、拡大マスクを生成する例を挙げる。例えば、非参照型マスクまたは参照型マスクから分解レベル２のサブバンドマスクを抽出し、当該サブバンドマスクを非参照型マスクのサイズまで拡大する場合を想定する。この場合、Ｒ＝２である（図２２参照）。

そのようなマスク拡大処理を説明するフローチャートを図２５に示す。図２５の処理フローＳ６００によれば、ステップＳ６０２において拡大比２の拡大処理が実行される。拡大比２の拡大処理が所定回数（ここではＲ回）実行済みであるとステップＳ６０１において判別されるまで、ステップＳ６０２が実行される。

図２６に、拡大比２の拡大処理について説明図を示す。図２６によれば、拡大前のマスクにおいてｉ番目（ｉは整数）のデータがＲＯＩに対応する場合、拡大比２で拡大した後のマスクにおいて｛２ｉ−１｝番目から｛２ｉ＋１｝番目までのデータがＲＯＩに対応すると推定する。

図２６の推定規則を２次元に発展させると、図２７に示すように、マスク画像の縦方向および横方向のそれぞれに図２６の推定規則が適用される。具体的には、拡大前のマスクにおいて座標（Ｉ，Ｊ）の点のデータがＲＯＩに対応する場合、１段階（すなわち拡大比２^１）拡大した後のマスクにおいて座標（２Ｉ，２Ｊ）を中心にした３×３点の範囲のデータがＲＯＩに対応すると推定する。換言すれば、座標（２Ｉ−１，２Ｊ−１）および座標（２Ｉ＋１，２Ｊ＋１）を対角点とする矩形範囲のデータをＲＯＩに対応付ける。同様に、２段階（すなわち拡大比２^２）拡大した後のマスクでは、座標（４Ｉ，４Ｊ）を中心にした５×５点の範囲、換言すれば、座標（４Ｉ−２，４Ｊ−２）および座標（４Ｉ＋２，４Ｊ＋２）を対角点とする矩形範囲のデータがＲＯＩに対応付ける。

なお、図２５の処理フローＳ６００とは違えて、一度に１／２^Ｒの拡大を行うことも可能である。

なお、拡大処理をモフォロジー処理の後に実行してもよい。あるいは、Ｒ回の拡大処理のうちの少なくとも１回の終了時点で、拡大後のマスクに対してモフォロジー処理を行ってもよい。

マスク整形部１２５２によって生成された整形マスクのデータは、暫定マスク生成部１２５３に供給される。

＜暫定マスク生成部１２５３＞
図２１に戻り、暫定マスク生成部１２５３は、整形マスクに対してマスク展開処理を行う。具体的には、暫定マスク生成部１２５３は、分解レベル０の整形マスクを分解レベルｇ１のサブバンド構成に展開し、それにより分解レベルｇ１の暫定マスクを生成する（図２２参照）。

暫定マスク生成部１２５３は、供給システム１１のマスク展開部１０５２と同様に動作する（図７、図１３〜図１５参照）。このため、ここでは重複の説明を省略する。

暫定マスク生成部１２５３によって生成された暫定マスクのデータは、マスクマージ部１２５４に供給される。

＜マスクマージ部１２５４＞
図２１に示すように、マスクマージ部１２５４は、非参照型マスクおよび暫定マスクのデータを取得し、非参照型マスクと暫定マスクとをサブバンド単位で部分的にマージし、それによりマスク（以下、マージマスクと呼ぶ場合もある）を生成する。マージマスクの分解レベルは、非参照型マスクおよび暫定マスクと同じｇ１である。

図２２の例では、非参照型マスクのサブバンドＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２，ＨＨ２と、暫定マスクのサブバンドＨＬ１，ＬＨ１，ＨＨ１とがマージされている。すなわち、マージマスクにおいて、分解レベル２以上のサブバンドが非参照型マスクによって構成され、分解レベル１のサブバンドが暫定マスクによって構成されている。

図２２のマージマスクは、図２８のフローチャートによって生成可能である。図２８のマスクマージ処理Ｓ７００によれば、ステップＳ７０１，Ｓ７０５のループによって、処理対象とするサブバンドの分解レベルｋが順次設定される。ｋは１以上ｇ１以下の範囲の整数である。

ステップＳ７０１で設定された分解レベルｋは、ステップＳ７０２において分解レベルｇｍと比較される。分解レベルｇｍは、マージマスクにおいて非参照型マスクと暫定マスクとの境界を示す。より具体的には、マージマスクにおいて分解レベルがｇｍ以下のサブバンドは、暫定マスクを採用する（ステップＳ７０２，Ｓ７０４参照）。これに対し、マージマスクにおいて分解レベルがｇｍよりも高いサブバンドは、非参照型マスクを採用する（ステップＳ７０２，Ｓ７０３参照）。図２２の例ではｇｍ＝１である。なお、１≦ｇｍ≦ｇ１である。

図２９および図３０に、マージマスクの他の構成例を示す。図２９のマージマスクでは、サブバンドＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２が非参照型マスクによって構成され、サブバンドＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１が暫定マスクによって構成されている。図３０のマージマスクでは、サブバンドＬＬ３が非参照型マスクによって構成され、サブバンドＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１が暫定マスクによって構成されている。

なお、図２２と図２９と図３０のいずれの例においても、マージマスクの低分解側サブバンドに暫定マスクが採用され、マージマスクの高分解側サブバンドに非参照型マスクが採用されている。但し、この例に限定されるものではない。

ここで、図２９の例によれば、図２２および図３０の例とは異なり、非参照型マスクと暫定マスクとの組み合わせを、分解レベルｇｍの値によって規定するのは難しい。このため、図２９の例に関しては、図２８のステップＳ７０２において、非参照型マスクと暫定マスクとのいずれを採用するのかについて予め規定されたマージ割り当て情報を利用すればよい。具体的にマージ割り当て情報として、マージマスクのサブバンドＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２には非参照型マスクのうちで対応するサブバンドマスクを採用し、マージマスクのサブバンドＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１には暫定マスクのうちで対応するサブバンドマスクを採用する、という内容が規定される。なお、マージ割り当て情報は、一例として、分解レベルｇｍによって規定することができる。

マージ割り当て情報は、合成システム２１のユーザによって指定されるものとする。例えば、ユーザが、マージ割り当て情報を、操作部４２を介して入力する。あるいは、マージ割り当て情報を、供給システム１１のユーザが指定してもよい。この場合、マージ割り当て情報は、符号化ビットストリームＡｂｓに埋め込まれて、または、符号化ビットストリームＡｂｓとは別個に、合成システム２１に供給される。あるいは、マージ割り当て情報を、マスクマージ部１２５４に固定的に組み込んでおいてもよい。

マスクマージ部１２５４によって生成されたマージマスクのデータＢ３１（図２１参照）は、ｇ２＝ｇ１の場合、マスクデータＢ６１（図１７参照）としてマスク準備部１２５０から出力され、合成実行部１２７０に供給される。

これに対し、ｇ２＜ｇ１の場合、マージマスクデータＢ３１は、マスクレベル変換部１２５５に供給される。

また、ｇ２＞ｇ１の場合、マージマスクデータＢ３１は、マスクレベル変換部１２５５に供給されると共に、マスクデータＢ４１（図１７参照）としてマスク準備部１２５０から出力され、第１準備部１２３０に供給される。

＜マスクレベル変換部１２５５＞
図２１に戻り、マスクレベル変換部１２５５は、マスクマージ部１２５４から供給された分解レベルｇ１のマスクから、分解レベルｇ２のマスクを生成する。図２１の例によれば、マスクレベル変換部１２５５は、マスク復元部１２５５ａとマスク展開部１２５５ｂとを含んでいる。

＜マスク復元部１２５５ａ＞
マスク復元部１２５５ａは、ｇ２＜ｇ１の場合に、マスクマージ部１２５４から供給された分解レベルｇ１のマスクに対してマスク復元処理を行う。具体的には、マスク復元部１２５５ａは、分解レベルｇ１のマスクを分解レベルｇ２（＜ｇ１）のサブバンド構成に復元する。マスク復元処理は、与えられたマスクから、分解レベルがより低いマスクを復元する処理であり、上記のマスク展開処理（図１３〜図１５参照）の逆の処理にあたる。マスクの復元に関しては、例えば特許文献６，７および非特許文献１を参照。生成された分解レベルｇ２のマスクのデータは、マスクレベル変換部１２５５からの出力データ（すなわちマスクデータ）Ｂ３２となる。

図３１に、マスク復元処理のフローチャートを示す。図３１のマスク復元処理Ｓ８００によれば、マスクの分解レベルを１段階下げる処理（以下、レベル減少単位処理とも呼ぶ）Ｓ８０２が行われる。分解レベルｇ１と分解レベルｇ２との差が２以上である場合、分解レベルｇ２のマスクが得られるまで、レベル減少単位処理Ｓ８０２が繰り返される（ステップＳ８０１参照）。

レベル減少単位処理Ｓ８０２では、処理対象とする現在のマスクを、現在のマスクが適用される現在のウエーブレット平面よりも分解レベルが１段階低い新ウエーブレット平面用の新マスクに、変換する。

レベル減少単位処理Ｓ８０２の繰り返しは、再帰的に行われる。すなわち、新マスクを次の現在のマスクに設定することによって、レベル減少単位処理Ｓ８０２が再度、行われる。また、レベル減少単位処理Ｓ８０２の繰り返しは、合成画像データ生成部１２８０での逆ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４〜図６参照）、ウエーブレット平面中の最上位サブバンド（分解レベルｋではＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋ）のみを再帰的に合成していく。このため、マスクの復元は最上位サブバンドに対応する部分に対してのみ再帰的に行う。

＜マスク復元条件＞
レベル減少単位処理Ｓ８０２は所定のマスク復元条件に基づいて行われる。マスク復元条件は、現在のウエーブレット平面の指定位置のデータが現在のマスクによってＲＯＩに対応付けられている場合に、新ウエーブレット平面において上記指定位置に対応付けられた位置のデータがＲＯＩに対応付けられるように新マスクを形成することを規定している。

マスク復元条件は逆ウエーブレット変換のフィルタのタップ数に依存する。例えば逆ウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク復元条件は図３２に基づく。また、逆ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク復元条件は図３３に基づく。

図３２および図３３のいずれの場合にも、マスク復元条件は２つの条件（第１復元条件と第２復元条件と呼ぶことにする）に大別される。すなわち、第１復元条件は、新ウエーブレット平面において２ｎ番目（ｎは整数）のデータがＲＯＩに対応付けられるように新マスクを形成するためのものである。第２復元条件は、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように新マスクを形成するためのものである。

ここで、第１復元条件および第２復元条件も、現在のウエーブレット平面の指定位置のデータが現在のマスクによってＲＯＩに対応付けられているという条件（復元実行条件と呼ぶことにする）を課している。

第１復元条件において上記指定位置は、新ウエーブレット平面の上記２ｎ番目に対応付けられた位置である。当該位置を以下、第１指定位置と呼ぶ場合もある。図３２を参照すると５×３フィルタの場合、第１指定位置の候補は、現在のウエーブレット平面において低域成分（ローパスフィルタの側の入力データに対応する）のｎ番目および高域成分（ハイパスフィルタの側の入力データに対応する）の｛ｎ−１｝番目とｎ番目である。図３３を参照するとDaubechies９×７フィルタの場合、現在のウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目が、第１指定位置の候補になる。

同様に、第２復元条件において上記指定位置は、新ウエーブレット平面の上記｛２ｎ＋１｝番目に対応付けられた位置である。当該位置を以下、第２指定位置と呼ぶ場合もある。図３２を参照すると５×３フィルタの場合、第２指定位置の候補は、現在のウエーブレット平面において低域成分のｎ番目と｛ｎ＋１｝番目および高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目である。図３３を参照するとDaubechies９×７フィルタの場合、現在のウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目が、第２指定位置の候補になる。

指定位置のこれらの候補の利用形態に応じて、第１復元条件および第２復元条件を様々に規定可能である。その結果、新マスクを様々に調整可能である。ここでは、指定位置の候補の利用形態は、ユーザの指示によって設定されるものとする。以下、このユーザ指示を、マスク調整指示と呼ぶことにする。また、マスク調整指示は分解レベルｇ２の情報に付随するものとし、それによりマスク調整指示が合成システム２１におけるレベル減少単位処理Ｓ８０２に供給されるものとする（図３１参照）。但し、マスク調整指示を、分解レベルｇ２の情報とは別個に供給することも可能である。

指定位置の候補の利用形態、換言すればマスク調整指示の内容は、数多く想定される。以下では、マスク調整指示がモード指示と低域選択指示と高域選択指示という３つの指示によって構成される例を説明する。

モード指示（ＭＯＤＥ）は、現在のウエーブレット平面の低域成分と高域成分とのうちでどのサブバンドを利用するのか否かに関する。低域成分のみを利用する指示を、ＭＯＤＥ＝Ｌと表現することにする。また、低域成分と高域成分の両方を利用する指示を、ＭＯＤＥ＝ＬＨと表現することにする。

低域選択指示（ＬＳＥＬ）は、現在のウエーブレット平面の低域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。低域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＬＳＥＬ＝ＡＮＤと表現することにする。逆に、低域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＬＳＥＬ＝ＯＲと表現することにする。

高域選択指示（ＨＳＥＬ）は、現在のウエーブレット平面の高域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。高域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＨＳＥＬ＝ＡＮＤと表現することにする。逆に、高域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＨＳＥＬ＝ＯＲと表現することにする。

なお、モード指示ＭＯＤＥと低域選択指示ＬＳＥＬと高域選択指示ＨＳＥＬとは、回路的には、各指示用に割り当てられた３つの信号によって、マスク復元部１２５５ａに供給可能である。

マスク調整指示の具体例のいくつかを表１に示す。但し、マスク調整指示の内容は表１の例に限定されるものではない。

表１において、マスク調整指示＃１はロスレス圧縮向けである。すなわち、供給システム１１での画像圧縮（より具体的にはＲＯＩ係数の量子化）がロスレスである場合、マスク調整指示＃１が好適である。なお、ロスレス圧縮によれば、量子化後のＲＯＩ係数は０にならない。

マスク調整指示＃２はニアロスレス圧縮向けである。ニアロスレス圧縮によれば、ロスレス圧縮に比べてデータロスは大きくなるが、ロスレス圧縮と同程度の画質が得られる。かかる点に鑑みれば、ニアロスレス圧縮は、データ上は非可逆性であるが画質上は可逆性の圧縮として捉えることができる。但し、ロスレスとロッシーという２つの大分類においては、ニアロスレスはロッシーに分類されることが多い。

マスク調整指示＃３〜＃７はロッシー圧縮用である。ロッシー圧縮によれば、高域成分において量子化後のＲＯＩ係数が０になりやすい傾向がある。この傾向が強くなるほど（換言すれば、量子化値が大きい（つまり圧縮率が大きい）、高域成分において、量子化後の値が０になるＲＯＩ係数が多い場合）、＃４、＃７、＃３、＃６、＃５の順に指示を適用するのが好ましい。

なお、表１の例ではマスク調整指示＃１，＃２，＃５は同じであるが、説明のために重複して記載している。

＜５×３フィルタの場合＞
以下、表１を参照しつつ、逆ウエーブレット変換に５×３フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。

＜５×３フィルタの場合のマスク調整指示＃１，＃２，＃５＞
マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分のｎ番目のデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目との全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜５×３フィルタの場合のマスク調整指示＃３＞
マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分のｎ番目のデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜５×３フィルタの場合のマスク調整指示＃４＞
マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分のｎ番目のデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃３と同じになる。

第２復元条件：現在のウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜５×３フィルタの場合のマスク調整指示＃６＞
マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分のｎ番目のデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目とのうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜５×３フィルタの場合のマスク調整指示＃７＞
マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分のｎ番目のデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目とのうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃６と同じになる。

第２復元条件：現在のウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜Daubechies９×７フィルタの場合＞
以下、表１を参照しつつ、逆ウエーブレット変換にDaubechies９×７フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。

＜Daubechies９×７フィルタの場合のマスク調整指示＃１，＃２，＃５＞
マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜Daubechies９×７フィルタの場合のマスク調整指示＃３＞
マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜Daubechies９×７フィルタの場合のマスク調整指示＃４＞
マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜Daubechies９×７フィルタの場合のマスク調整指示＃６＞
マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜Daubechies９×７フィルタの場合のマスク調整指示＃７＞
マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

第１復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

第２復元条件：現在のウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つデータが現在のマスクによってＲＯＩに対応付けられ、且つ、現在のウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。

＜マスク調整指示＞
このように、第１復元条件および第２復元条件における上記指定位置を、マスク調整指示によって指示できる。ユーザは、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とをそれぞれ入力することによって、マスク調整指示を入力することが可能である。あるいは、表１のように、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とを予め組み合わせて複数のマスク調整指示を予め規定しておき、ユーザはその中からマスク調整指示を選ぶようにしてもよい。

なお、モード指示（ＭＯＤＥ）を低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）のそれぞれに組み込むことも可能である。例えば、低域成分を利用しない指示としてＬＳＥＬ＝ＮＯを追加し、高域成分を利用しない指示としてＨＳＥＬ＝ＮＯを追加すれば、モード指示（ＭＯＤＥ）を別途設ける必要がない。

＜マスク展開部１２５５ｂ＞
図２１に戻り、マスク展開部１２５５ｂは、ｇ２＞ｇ１の場合に、マスクマージ部１２５４から供給された分解レベルｇ１のマスクに対してマスク展開処理を行う。具体的には、マスク展開部１２５５ｂは、分解レベルｇ１のマスクを分解レベルｇ２（＞ｇ１）のサブバンド構成に展開する。生成された分解レベルｇ２のマスクのデータは、マスクレベル変換部１２５５からの出力データ（すなわちマスクデータ）Ｂ３２となる。

マスク展開部１２５５ｂは、供給システム１１のマスク展開部１０５２と同様に動作する（図７、図１３〜図１５参照）。このため、ここでは重複の説明を省略する。

また、マスク展開部１２５５ｂは、暫定マスク生成部１２５３と同様に動作する。このため、マスク展開部１２５５ｂは暫定マスク生成部１２５３と同じ回路によって実現できる。これとは逆に、マスク展開部１２５５ｂと暫定マスク生成部１２５３とを別々の回路によって実現してもよい。

＜マスク準備部１２５０の出力データＢ６１，Ｂ４１＞
マスク準備部１２５０の上記構成によれば、マスクマージ部１２５４によって分解レベルｇ１のマスク（マスクデータＢ３１）が生成され、マスクレベル変換部１２５５によって分解レベルｇ２のマスク（マスクデータＢ３２）が生成される。

ｇ２＝ｇ１の場合、マスクマージ部１２５４によって生成された分解レベルｇ１のマスクデータＢ３１が、マスクデータＢ６１としてマスク準備部１２５０から出力され、合成実行部１２７０に供給される。

ｇ２＜ｇ１の場合、マスクレベル変換部１２５５（詳細にはマスク復元部１２５５ａ）によって生成された分解レベルｇ２のマスクデータＢ３２が、マスクデータＢ６１としてマスク準備部１２５０から出力され、合成実行部１２７０に供給される。

ｇ２＞ｇ１の場合、マスクレベル変換部１２５５（詳細にはマスク展開部１２５５ｂ）によって生成された分解レベルｇ２のマスクデータＢ３２が、マスクデータＢ６１としてマスク準備部１２５０から出力され、合成実行部１２７０に供給される。また、マスクマージ部１２５４によって生成された分解レベルｇ１のマスクデータＢ３１が、マスクデータＢ４１としてマスク準備部１２５０から出力され、第１準備部１２３０に供給される。

＜マスク準備部１２５０の動作＞
図３４に、マスク準備部１２５０の動作を説明するフローチャートを示す。図３４のマスク準備フローＳ９００によれば、ステップＳ９０１において、基礎マスク生成部１２５１が基礎マスクを生成する。例えば図２２のフローでは、分解レベルｇ１の非参照型マスクと、分解レベルｇ１の参照型マスクが生成される。その後、ステップＳ９０２において、マスク整形部１２５２が、非参照型マスクまたは参照型マスクから、分解レベル０の整形マスクを生成する。なお、非参照型マスクから整形マスクを生成する場合、上記ステップＳ９０１において参照型マスクの生成を省略することも可能である。

次に、ステップＳ９０３において、暫定マスク生成部１２５３が、分解レベル０の整形マスクから、分解レベルｇ１の暫定マスクを生成する。そして、ステップＳ９０４において、マスクマージ部１２５４が、分解レベルｇ１の暫定マスクと、分解レベルｇ１の非参照型マスクとをマージする。

その後は、ｇ１とｇ２との比較結果に応じて、処理内容が決まる。すなわち、ｇ２＞ｇ１の場合（ステップＳ９０５参照）、マスクレベル変換部１２５５が、マスク展開処理によって、マージマスクを分解レベルｇ１から分解レベルｇ２に変換する（ステップＳ９１１）。そして、マスクレベル変換部１２５５は、分解レベルｇ２の変換済みマスクを合成実行部１２７０に出力し、分解レベルｇ１のマージマスクを第１準備部１２３０に出力する（ステップＳ９１２）。

これに対し、ｇ２＜ｇ１の場合（ステップＳ９０５，Ｓ９０６参照）、マスクレベル変換部１２５５が、マスク復元処理によって、マージマスクを分解レベルｇ１から分解レベルｇ２に変換する（ステップＳ９３１）。そして、マスクレベル変換部１２５５は、分解レベルｇ２の変換済みマスクを合成実行部１２７０に出力する（ステップＳ９３２）。

あるいは、ｇ２＝ｇ１の場合（ステップＳ９０５，Ｓ９０６参照）、マスクマージ部１２５４が、分解レベルｇ１のマージマスクを合成実行部１２７０に出力する（ステップＳ９２１）。

＜第１準備部１２３０の具体例＞
図３５に、第１準備部１２３０の構成例を示す。図３５によれば、第１準備部１２３０は、逆量子化部１２３１と、レベル減少部１２３２と、係数調整部１２３３と、レベル増加部１２３４とを含んでいる。

＜逆量子化部１２３１＞
逆量子化部１２３１は、復号化部１２２０から取得した量子化ウエーブレット係数データＡ２２に対して、逆量子化を行う。ここでの逆量子化は、図３の量子化部１０４０における量子化とは逆の処理にあたる。逆量子化によって、量子化ウエーブレット係数データＡ２２は、第１ウエーブレット係数データＡ３１に変換される。第１ウエーブレット係数データＡ３１の分解レベルは、量子化ウエーブレット係数データＡ２２と同じｇ１である。

逆量子化部１２３１によって生成された分解レベルｇ１の第１ウエーブレット係数データＡ３１は、ｇ２＝ｇ１の場合に、第１準備部１２３０の出力データＡ６１として出力され、合成実行部１２７０に供給される。

これに対し、ｇ２＜ｇ１の場合、第１ウエーブレット係数データＡ３１は、レベル減少部１２３２に供給される。

また、ｇ２＞ｇ１の場合、第１ウエーブレット係数データＡ３１は、係数調整部１２３３に供給される。

＜レベル減少部１２３２＞
レベル減少部１２３２は、ｇ２＜ｇ１の場合、逆量子化部１２３１によって生成された分解レベルｇ１の第１ウエーブレット係数データＡ３１に対して、分解レベルｇ２まで逆ウエーブレット変換を行う。それにより、分解レベルｇ２の第１ウエーブレット係数データＡ３２が生成される。

逆ウエーブレット変換は、合成画像データ生成部１２８０と同様に動作する。レベル減少部１２３２と合成画像データ生成部１２８０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。

レベル減少部１２３２によって生成された分解レベルｇ２の第１ウエーブレット係数データＡ３２は、ｇ２＜ｇ１の場合における第１準備部１２３０の出力データＡ６１として出力され、合成実行部１２７０に供給される。

＜係数調整部１２３３＞
係数調整部１２３３は、逆量子化部１２３１によって生成された第１ウエーブレット係数データＡ３１を、所定の係数調整処理によって調整する。係数調整処理のために、係数調整部１２３３は、補助ウエーブレット係数データＡ４１を取得する。

補助ウエーブレット係数データＡ４１は、補助画像用のウエーブレット係数データである。補助ウエーブレット係数データＡ４１の分解レベルは、第１ウエーブレット係数データＡ３１と同じｇ１である。

補助画像は、第１画像と同一視できる画像であり、例えば第１画像が撮影されたのと同じ空間を撮影した画像である。より具体的には、ＲＯＩに設定されるべき移動物体が存在しない状態で撮影された画像を補助画像として利用でき、そのような補助画像は供給システム１１から取得可能である。あるいは、過去に生成した合成画像（例えば、動画像において所定フレーム数だけ前の合成画像）を、補助画像として利用することもできる。過去の合成画像に人物が映っていても構わない。また、補助画像として第２画像を利用してもよい。

さらに、係数調整部１２３３は、係数調整処理のために、マスク準備部１２５０から、分解レベルｇ１のマスク（ここではマージマスク）のデータＢ４１を取得する。

係数調整処理では、分解レベルｇ１の第１ウエーブレット係数データＡ３１と、分解レベルｇ１の補助ウエーブレット係数データＡ４１とを、分解レベルｇ１のマスクデータＢ４１に基づいて合成する。それにより、調整済みの第１ウエーブレット係数データＡ３１を生成する。調整済みの第１ウエーブレット係数データＡ３１の分解レベルは、ｇ１である。係数調整処理は、合成実行部１２７０による合成実行処理と同様に行われる。

すなわち、係数調整部１２３３は、第１ウエーブレット係数データＡ３１中のＲＯＩ係数と非ＲＯＩ係数とを、マスクデータＢ４１に基づいて判別する（係数判別処理）。判別結果に基づいて、係数調整部１２３３は、第１ウエーブレット係数データＡ３１中のＲＯＩ係数と、補助ウエーブレット係数データＡ４１中の係数（詳細には、第１ウエーブレット係数データＡ３１中の非ＲＯＩ係数に対応する係数）と、を合成する（係数合成処理）。それにより、調整済みの第１ウエーブレット係数データＡ３１が生成される。より具体的には、係数調整処理は、合成実行処理Ｓ３００（図１８および図１９参照）と同様に行われる。

係数調整処理と合成実行処理との類似性に鑑み、係数調整部１２３３は合成実行部１２７０と同じ回路によって実現できる。これとは逆に、係数調整部１２３３と合成実行部１２７０とを別々の回路によって実現してもよい。

上記では補助ウエーブレット係数データＡ４１そのものが、係数調整部１２３３に供給されるものとした。これに対し、係数調整部１２３３は、補助画像データを取得し、当該補助画像データに対して分解レベルｇ１までウエーブレット変換を行い、それにより補助ウエーブレット係数データＡ４１を生成してもよい。

係数調整部１２３３によって調整済された第１ウエーブレット係数データＡ３１は、レベル増加部１２３４に供給される。

＜レベル増加部１２３４＞
レベル増加部１２３４は、調整済みの第１ウエーブレット係数データＡ３１に対して、分解レベルｇ２までウエーブレット変換を行う。それにより、分解レベルｇ２の第１ウエーブレット係数データＡ３３が生成される。

ウエーブレット変換は、第２準備部１２４０と同様に動作することによって、実行可能である。レベル増加部１２３４と第２準備部１２４０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。

レベル増加部１２３４によって生成された分解レベルｇ２の第１ウエーブレット係数データＡ３３は、ｇ２＞ｇ１の場合における第１準備部１２３０の出力データＡ６１として出力され、合成実行部１２７０に供給される。

＜係数調整部１２３３の変形例＞
上記のように、レベル増加部１２３４は、係数調整部１２３３によって調整された第１ウエーブレット係数データＡ３１に対して、ウエーブレット変換を行う。ここで、例えばＭａｌｌａｔ型のウエーブレット変換では、ＬＬサブバンドのみが再帰的に分解される。この場合、調整済みの第１ウエーブレット係数データＡ３１において、分解されるのはＬＬサブバンドのみである。

このため、係数調整処理は、調整前の第１ウエーブレット係数データＡ３１のうちでＬＬサブバンドのみに対して、行ってもよい。これによれば、処理量を削減できる。なお、その場合、補助ウエーブレット係数データＡ４１は、少なくともＬＬサブバンド分のデータを含めばよい。

＜合成システム２１の動作＞
図３６に、合成システム２１の動作を説明するフローチャートを示す。図３６の動作フローＳ１０００によれば、合成システム２１に符号化ビットストリームＡｂｓが入力されると、ビットストリーム解析部１２１０が、符号化ビットストリームＡｂｓを取得し（ステップＳ１０１１）、符号ビットストリームＡｂｓから符号化データＡ５０を抽出する（ステップＳ１０１２）。

そして、符号化データＡ５０は、復号化部１２２０によって復号化され、量子化ウエーブレット係数データＡ２２が生成される（ステップＳ１０１３）。量子化ウエーブレット係数データＡ２２から、第１準備部１２３０によって、第１ウエーブレット係数データＡ６１が生成される（ステップＳ１０１４）。また、マスク準備部１２５０によって、量子化ウエーブレット係数データＡ２２からマスクデータＢ６１が生成される（ステップＳ１０１５）。図３６の例では、ステップＳ１０１４，Ｓ１０１５を並行して実行するが、ステップＳ１０１４をステップＳ１０１５の前または後で実行することも可能である。

ここで、合成システム２１に第２画像データＤ２０が入力されると、第２準備部１２４０が第２画像データＤ２０を取得し（ステップＳ１０２１）、第２画像データＤ２０から、第２ウエーブレット係数データＤ６１を生成する（ステップＳ１０２２）。

ステップＳ１０１４，Ｓ１０１５，Ｓ１０２２の後、合成実行部１２７０が、第１ウエーブレット係数データＡ６１と第２ウエーブレット係数データＤ６１とを合成し、合成済み係数データＥ６１を生成する（ステップＳ１０３１）。そして、合成画像データ生成部１２８０が、合成済み係数データＥ６１に対して逆ウエーブレット変換を行う（ステップＳ１０３２）。これにより、合成画像データＥ８０が生成される。

その後、合成画像データＥ８０に対して後処理部１２９０が所定の後処理を行い（ステップＳ１０３３）、ステップＳ１０３３後の合成画像データＥ１００が合成システム２１から出力される（ステップＳ１０３４）。

ここで図３７に、ステップＳ１０１４，Ｓ１０３１，Ｓ１０３２について、より具体的なフローチャートを示す。図３７の処理フローＳ１１００によれば、ステップＳ１１０１において、第１準備部１２３０は、ｇ２＞ｇ１を満足するか否かを判別する。

ｇ２＞ｇ１を満足する場合、ステップＳ１１１１において、第１準備部１２３０の係数調整部１２３３が、第１ウエーブレット係数データＡ３１を補助ウエーブレット係数データＡ４１に基づいて調整する。上記のように係数調整処理は合成実行処理と同様に行われるので、係数調整部１２３３は、ｇｓ＝ｇ１およびｇｅ＝ｇ１に設定して、合成実行処理Ｓ３００を実行する（図１８および図１９参照）。それにより、調整済みの第１ウエーブレット係数データＡ３１が生成される。なお、ｇｓ＝ｇ１およびｇｅ＝ｇ１という設定によれば、ＬＬサブバンドのみに対して、係数調整処理が行われる。

次に、ステップＳ１１１２において、第１準備部１２３０のレベル増加部１２３４が、調整済みの第１ウエーブレット係数データＡ３１から、分解レベルｇ２の第１ウエーブレット係数データＡ６１を生成する。なお、図３７では省略しているが、マスク準備部１２５０のマスク展開部１２５５ｂが、分解レベルｇ２のマスクを生成する。

そして、ステップＳ１１１３において、合成実行部１２７０が、ｇｓ＝ｇ２およびｇｅ＝１に設定して、合成実行処理Ｓ３００を実行する（図１８および図１９参照）。その後、ステップＳ１１０３において、合成画像データ生成部１２８０が合成済み係数データＥ６１から合成画像データＥ８０を生成する。

一方、ステップＳ１１０１においてｇ２＞ｇ１を満足しない場合、第１準備部１２３０は、ステップＳ１１０２において、ｇ２＜ｇ１を満足するか否かを判別する。ステップＳ１１０２においてｇ２＜ｇ１を満足しない場合、ｇ２＝ｇ１である。この場合、第１ウエーブレット係数データＡ３１およびマスクデータＢ３１はそのまま、第１ウエーブレット係数データＡ６１およびマスクデータＢ６１として、合成実行部１２７０に供給される。合成実行部１２７０は、ステップＳ１１２１において、ｇｓ＝ｇ２（＝ｇ１）およびｇｅ＝１に設定して、合成実行処理Ｓ３００を実行する（図１８および図１９参照）。それにより、合成済み係数データＥ６１が生成される。

その後、ステップＳ１１０３において、合成済み係数データＥ６１から合成画像データＥ８０が生成される。

これに対し、ステップＳ１１０２においてｇ２＜ｇ１を満足する場合、第１準備部１２３０のレベル減少部１２３２が、第１ウエーブレット係数データＡ３１から、分解レベルｇ２の第１ウエーブレット係数データＡ６１を生成する。なお、図３７では省略しているが、マスク準備部１２５０のマスク復元部１２５５ａが、分解レベルｇ２のマスクを生成する。

次に、ステップＳ１１３２において、合成実行部１２７０が、ｇ２≠０を満足するか否かを判別する。

ｇ２≠０を満足する場合、ステップＳ１１３３において、合成実行部１２７０が、ｇｓ＝ｇ２およびｇｅ＝１に設定して、合成実行処理Ｓ３００を実行する（図１８および図１９参照）。その後、ステップＳ１１０３において、合成済み係数データＥ６１から合成画像データＥ８０が生成される。

これに対し、ステップＳ１１３２においてｇ２≠０を満足しない場合、ｇ２＝０である。この場合、第１ウエーブレット係数データＡ６１は、ステップＳ１１３１において、分解レベル０すなわち原画像レベルまで変換されている。また、マスクデータＢ６１も原マスクレベルまで変換されることになる。この場合、第２画像に対するウエーブレット変換を行う必要がない。すなわち、第２準備部１２４０は、第２画像データＤ２０を、分解レベル０の第２ウエーブレット係数データＤ６１として、合成実行部１２７０に供給する。

その後、ステップＳ１１４１において、合成実行部１２７０が、ｇｓ＝０およびｇｅ＝０に設定して、合成実行処理Ｓ３００を実行する（図１８および図１９参照）。これにより、合成済み係数データＥ６１が生成される。ここで、ステップＳ１１４１では原画像レベルで合成が行われるので、ステップＳ１１４１によって生成された合成済み係数データＥ６１は、そのまま合成画像データＥ８０になる。このため、ステップＳ１１４１の後で、ステップＳ１１０３は行われない。

ステップＳ１１３２，Ｓ１１４１のフローから分かるように、図３７の処理フローＳ１１００では、ｇ２＝０であることを許容しており、このため、ｇ２は０以上の整数である。これに対し、ｇ２は０よりも大きい整数であるという使用条件を課すことも可能である。その場合、ステップＳ１１３２，Ｓ１１４１は省略される。

＜画像の例＞
まず、参考のために、図３８〜図４０を示す。図３８は第１画像の例を示し、図３８において移動中の人物の部分をＲＯＩに設定するものとする。図３９は、図３８のＲＯＩを判別するために供給システム１１で用いられる原マスクの例を示す。図４０は、図３９のマスクを分解レベル５まで展開したマスクを示す。

図４１および図４２に、図３８の画像用の非参照型マスクおよび参照型マスクの例をそれぞれ示す。図４３に、図４２の分解レベル２のサブバンドマスクに対してモフォロジー処理を行ったマスクを示す。図４４に、図４３のマスクを拡大したマスク、すなわち整形マスクを示す。図４５に、図４４の整形マスクを分解レベル５まで展開した暫定マスクを示す。図４６に、図４１の非参照型マスクと図４５の暫定マスクとをマージしたマージマスクを示す図である。なお、図４６ではｇｍ＝２である（図２８のステップＳ７０２参照）。

図４６のマスクを用いた合成画像を、図４７および図４８に示す。図４７および図４８では、ｇ２＝ｇ１＝５である。すなわち、供給システム１１から供給された量子化ウエーブレット係数データＡ２２の分解レベルｇ１が５であり、合成実行処理時の分解レベルｇ２も５である。

図４７では、第２画像は全面黒の画像である。図４７によれば、ＲＯＩとして設定された人物のみならず当該人物の周辺領域も黒い背景上に映し出されている。すなわち、第１画像用の第１ウエーブレット係数データＡ６１は、ＲＯＩに関するデータのみならず、ＲＯＩ周辺領域に関するデータも含んでいることが分かる。

これは、画像合成をウエーブレット係数によって行うことに起因する。すなわち、ウエーブレット変換では、処理対象とする注目座標の画像情報だけでなく、周辺座標の画像情報も利用する。このため、供給システム１１では、ウエーブレット変換で利用するＲＯＩ周辺領域の画像情報も含むようにマスク形状を決定する。それにより、ＲＯＩの画像情報が、ウエーブレット変換後においても精度良く保持される。そのようなマスク形状は、量子化ウエーブレット係数値に反映されて、合成システム２１でも引き継がれる。このため、図４７のような画像が得られる。

図４８では、第２画像は第１画像と同一視できる画像、例えば第１画像が撮影されたのと同じ空間を撮影した画像である。より具体的には、ＲＯＩに設定されるべき移動物体が存在しない状態で撮影された画像を第２画像として利用でき、そのような第２画像は供給システム１１から取得可能である。あるいは、過去に生成した合成画像（例えば、動画像において所定フレーム数だけ前の合成画像）を、第２画像として利用することもできる。過去の合成画像に人物が映っていても構わない。なぜならば、その人物は、第１画像側の広い画像（図４７参照）によって、上書きされるからである。

図４８の例は、いわゆる定点撮影に応用でき、供給システム１１（撮影側を構成する）から合成システム２１に伝達するデータ量を小さくできる。なぜならば、第１画像は、ＲＯＩに関与しないウエーブレット係数が０になるように量子化されるからである。

なお、第２画像は図４７および図４８の例に限定されるものではない。

図４９に、図４６のマスクを分解レベル６まで展開したマスクを示す。また、図４９のマスクを用いた合成画像を、図５０および図５１に示す。図４９〜図５１では、ｇ２＝６、ｇ１＝５であり、よってｇ２＞ｇ１である。図５０では、図４７と同様に、第２画像は全面黒の画像である。図５１では、図４８と同様に、第２画像は第１画像と同一視できる画像である。

図５２に、図４６のマスクを分解レベル３まで復元したマスクを示す。また、図５２のマスクを用いた合成画像を、図５３および図５４に示す。図５２〜図５４では、ｇ２＝３、ｇ１＝５であり、よってｇ２＜ｇ１である。図５３では、第２画像は全面黒の画像である。図５４では、第２画像は第１画像と同一視できる画像である。

図５５に、図４６のマスクを分解レベル０まで復元したマスクを示す。また、図５５のマスクを用いた合成画像を、図５６に示す。図５５〜図５６では、ｇ２＝０、ｇ１＝５であり、よってｇ２＜ｇ１である。図５６では、第２画像は第１画像と同一視できる画像である。

＜効果＞
実施の形態１によれば、第１画像中のＲＯＩと第２画像との合成は、第１ウエーブレット係数データＡ６１および第２ウエーブレット係数データＤ６１を用いて行われる。また、第１画像中のＲＯＩの判別は、第１ウエーブレット係数データＡ６１についてＲＯＩ係数を判別することによって行われる。かかる係数判別は、第１ウエーブレット係数データＡ６１用のマスクデータＢ６１に基づいて、行われる。

上記のように、ウエーブレット変換では、処理対象とする注目座標の画像情報だけでなく、周辺座標の画像情報も利用する。ウエーブレット係数用のマスクの生成についても同様である。このため、実施の形態１によれば、第１画像データおよび第２画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。すなわち、輪郭および／または内部に不具合を有した不十分なＲＯＩを利用しても（換言すれば、そのような不十分なＲＯＩ用の原マスクを利用しても）、合成画像上では、修復されたＲＯＩを提供できる。

また、合成システム２１によれば、画像合成時の分解レベルをｇ２によって制御することができる。それにより、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。

これらに鑑みると、実施の形態１によれば、ＲＯＩの設定に高コストな技術を利用しなくても済む。つまり、良好な合成画像を低コストで生成できる。

また、上記のように、供給システム１１の量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。したがって、マスクデータ自体を供給システム１１から出力する必要がない。このため、供給システム１１と合成システム２１とが有線または無線によって通信する場合、通信量を削減でき、伝送の即時性に役立つ。その結果、画像合成の高速化、換言すれば画像合成の即時性が向上する。

なお、マスクデータを量子化ウエーブレット係数に反映させる手法として、ＪＰＥＧ２０００のオプション機能であるＭａｘ−ｓｈｉｆｔ法がある。このＭａｘ−ｓｈｉｆｔ法によれば、量子化および逆量子化においてウエーブレット係数のスケールアップおよびスケールダウンが行われる。これに対し、実施の形態１によれば、そのようなスケーリング処理は必要ない。

ここで、第１準備部１２３０から係数調整部１２３３を省略し、逆量子化部１２３１によって生成された第１ウエーブレット係数データＡ３１を直接、レベル増加部１２３４に供給することも可能である。しかし、係数調整部１２３３を設けた方が、良好な合成画像が得られる。これは次の理由に拠る。

すなわち、第１ウエーブレット係数データＡ６１の源となる量子化ウエーブレット係数デーＡ２２は、量子化後の非ＲＯＩ係数が０になるように生成されている。そのような量子化ウエーブレット係数データＡ２２を逆量子化しても、合成システム２１側の第１ウエーブレット係数データＡ３１は、供給システム１１側での第１ウエーブレット係数データＡ２１との対比において、再現性が低い場合がある。そこで、第１ウエーブレット係数データＡ３１に、補助ウエーブレット係数データＡ４１（すなわち、第１画像と同一視できる補助画像のウエーブレット係数データ）を取り込み、それによって第１ウエーブレット係数データＡ６１を改善しているのである。その結果、合成画像の画質が向上する。

また、上記のように、供給システム１１では、ウエーブレット係数データＡ２１に対して、非ＲＯＩ係数が０になるように量子化を行う。この際、値が小さいＲＯＩ係数も０に変換されてしまう場合がある。一方、合成システム２１では、非参照型マスクおよび参照型マスクは、量子化ウエーブレット係数データＡ２２の各係数値が０であるか否かの判別に基づいて生成される。したがって、量子化によって係数値が０になってしまったＲＯＩ係数は、非ＲＯＩ係数として判別されてしまう。このため、図４１の非参照型マスクおよび図４２の参照型マスクは、図４０のマスク（供給システム１１で利用）とは一致しない場合がある。

しかし、図４６のマージマスクは、図４１の非参照型マスクおよび図４２の参照型マスクに比べて、図４０のマスク（供給システム１１で利用）に近い。すなわち、マスク準備部１２５０によれば、非ＲＯＩ係数が０になるように生成された量子化ウエーブレット係数データＡ２２から、供給システム１１で利用されたマスクに、より近いマスクを生成できる。

ここで、分解レベルが低いサブバンドに関しては、図４５の暫定マスクのＲＯＩ対応部分（白抜き部分）の方が、図４１の非参照型マスクのＲＯＩ対応部分に比べて、広い。これは、暫定マスクにはモフォロジー処理と拡大処理とが適用されているからである。一般的にウエーブレット画像において、低分解側サブバンドは原画像の本質的な構造を提供する。このため、マージマスクの低分解側サブバンドに、広いＲＯＩ対応部分が存在することは好ましい。かかる点に鑑みると、マージマスクの所定の低分解側サブバンドに暫定マスクを採用し、マージマスクの残余のサブバンド、すなわち所定の高分解側サブバンドに非参照型マスクを採用することが好ましい。

＜実施の形態２＞
図５７に、実施の形態２に係るマスク準備部１２５０Ｂのブロック図を示す。マスク準備部１２５０Ｂは、マスク準備部１２５０に代えて、図１７の合成システム２１に適用される。図５７に示すように、マスク準備部１２５０Ｂは、図２１の基礎マスク生成部１２５１に代えて、基礎マスク生成部１２５１Ｂを有している。基礎マスク生成部１２５１Ｂは、図２１の基礎マスク生成部１２５１から、参照型マスク生成部１２５１ｂを削除した構成を有している。実施の形態２によれば、実施の形態１と同様の効果を得ることができる。

＜実施の形態３＞
図５８に、実施の形態３に係るマスク準備部１２５０Ｃのブロック図を示す。マスク準備部１２５０Ｃは、マスク準備部１２５０に代えて、図１７の合成システム２１に適用される。図５８に示すように、マスク準備部１２５０Ｃは、図２１のマスク準備部１２５０から、暫定マスク生成部１２５３とマスクマージ部１２５４とを削除した構成を有している。また、マスク準備部１２５０Ｃは、図２１のマスクレベル変換部１２５５に代えて、マスクレベル変換部１２５５Ｃを有している。マスクレベル変換部１２５５Ｃは、図２１のマスクレベル変換部１２５５から、マスク復元部１２５５ａを削除した構成を有している。

マスク準備部１２５０Ｃによれば、マスク整形部１２５２によって生成された整形マスクのデータＢ３３が、マスクレベル変換部１２５５Ｃに供給される。マスクレベル変換部１２５５Ｃは、ｇ２＝ｇ１の場合およびｇ２＜ｇ１の場合、分解レベル０の整形マスクを分解レベルｇ２に展開する。分解レベルｇ２のマスクのデータＢ３４は、マスクデータＢ６１としてマスク準備部１２５０Ｃから出力され、合成実行部１２７０に供給される。

これに対し、ｇ２＞ｇ１の場合、マスクレベル変換部１２５５Ｃは、分解レベル０の整形マスクから、分解レベルｇ１のマスクと、分解レベルｇ２のマスクとを生成する。例えば、マスクレベル変換部１２５５Ｃは、分解レベル０の整形マスクをまず分解レベルｇ１まで展開し、分解レベルｇ１のマスクをさらに分解レベルｇ２まで展開する。分解レベルｇ２のマスクのデータＢ３４は、マスクデータＢ６１としてマスク準備部１２５０Ｃから出力され、合成実行部１２７０に供給される。また、分解レベルｇ１のマスクのデータＢ３４は、マスクデータＢ４１としてマスク準備部１２５０Ｃから出力され、第１準備部１２３０に供給される。

なお、ｇ２＝０の場合、分解レベル０の整形マスクのデータＢ３３を、マスク準備部１２５０Ｃから出力すればよい。

図５９に、マスク準備部１２５０Ｃの動作を説明するフローチャートを示す。図５９のマスク準備フローＳ９００Ｃによれば、図３４のマスク準備フローＳ９００と同様に、ステップＳ９０１において基礎マスクが生成され、ステップＳ９０２において分解レベル０の整形マスクが生成される。

その後、ｇ２≠０且つｇ２＞ｇ１の場合（ステップＳ９４１,Ｓ９４２参照）、マスクレベル変換部１２５５Ｃが、マスク展開処理によって、分解レベル０の整形マスクを分解レベルｇ１のマスクおよび分解レベルｇ２のマスクに変換する（ステップＳ９５１）。そして、分解レベルｇ２の変換済みマスクは合成実行部１２７０に出力され、分解レベルｇ１の変換済みマスクは第１準備部１２３０に出力される（ステップＳ９５２）。

これに対し、ｇ２＞ｇ１を満たさない場合すなわちｇ２≦ｇ１の場合（ステップＳ９４２参照）、マスクレベル変換部１２５５Ｃが、マスク展開処理によって、分解レベル０の整形マージマスクを分解レベルｇ２のマスクに変換する（ステップＳ９６１）。そして、分解レベルｇ２の変換済みマスクは合成実行部１２７０に出力される（ステップＳ９６２）。

一方、ｇ２＝０の場合（ステップＳ９４１参照）、分解レベル０の整形マスクが合成実行部１２７０に出力される（ステップＳ９７１）。

図６０および図６１に、マスクを例示する。図６０は、整形マスク（図４４参照）を分解レベル３まで展開したマスクである。なお、図６０ではｇ２＝３，ｇ１＝５である。図６１は、整形マスク（図４４参照）を分解レベル６まで展開したマスクである。なお、図６１ではｇ２＝６，ｇ１＝５である。なお、既述の図４５は、整形マスク（図４４参照）を分解レベル５まで展開したマスクである。

ここで、実施の形態２を参照して、図６２に示すマスク準備部１２５０Ｄのように、基礎マスク生成部１２５１Ｄを非参照型マスク生成部１２５１ａだけで構成することも可能である。また、図６３に示すマスク準備部１２５０Ｅのように、基礎マスク生成部１２５１Ｅを参照型マスク生成部１２５１ｂだけで構成することも可能である。

実施の形態３によれば、実施の形態１と同様の効果を得ることができる。

＜実施の形態４＞
実施の形態４では、実施の形態１，３の組み合わせを説明する。図６４に、実施の形態４に係るマスク準備部１２５０Ｆのブロック図を示す。マスク準備部１２５０Ｆは、マスク準備部１２５０に代えて、図１７の合成システム２１に適用される。マスク準備部１２５０Ｆは、図２１のマスク準備部１２５０と同様の構成を有している。但し、整形マスクのデータＢ３３がマスクレベル変換部１２５５にも供給されるように構成され、さらに整形マスクのデータＢ３３がマスク準備部１２５０Ｆの外部に出力可能に構成されている。

マスク準備部１２５０Ｆは、例えば、図６５のマスク準備フローＳ９００Ｆに従って動作する。すなわち、ステップＳ９８１において、ユーザがマスクマージ機能を利用するか否かを選択する。マスクマージ機能を利用する場合、図３４のマスク準備フローＳ９００が実行される。これに対し、マスクマージ機能を利用しない場合、図５９のマスク準備フローＳ９００Ｃが実行される。

ここで、マスク準備部１２５０Ｆは、マスク準備部１２５０Ｂ，１２５０Ｄ，１２５０Ｅ（図５７，６２，６３参照）の構成も含んでいる。このため、マスク準備部１２５０Ｆは、マスク準備部１２５０Ｂ，１２５０Ｄ，１２５０Ｅと同様に動作することもできる。

実施の形態４によれば、実施の形態１〜３と同様の効果を得ることができる。

＜実施の形態５＞
実施の形態１では、供給システム１１の色空間変換部１０２２がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）の画像データを生成する。このため、Ｙ、ＣｂおよびＣｒの成分ごとに、ウエーブレット係数データおよび量子化ウエーブレット係数データが生成される。このため、Ｙ、ＣｂおよびＣｒの成分ごとに、独立して、マージマスクが生成されるものとした。例えば、Ｙ用のマージマスクの生成は、Ｙ用の量子化ウエーブレット係数データＡ２２を利用するが、ＣｂおよびＣｒ用の量子化ウエーブレット係数データＡ２２を利用しないものとした。

これに対し、実施の形態５では、１組のＹ、ＣｂおよびＣｒ用の量子化ウエーブレット係数データＡ２２を総合的に利用する。具体的には、図６６の概念図に示すように、１組のＹ、ＣｂおよびＣｒ用の量子化ウエーブレット係数データＡ２２を一纏めにして参照型推定規則を適用し、それにより単一の参照型マスクを生成する。

具体的な処理フローの例を、図６７および図６８のフローチャートに示す。なお、図６７および図６８のフローは結合子Ｃ３，Ｃ４によって繋がっている。図６７および図６８の参照型マスク生成処理Ｓ５００Ｇは、図２４の参照型マスク生成処理Ｓ５００においてステップＳ５１１，Ｓ５４１をステップＳ５１１Ｇ，Ｓ５４１Ｇに変えた構成を有している。

ステップＳ５１１Ｇでは、ステップＳ５１１と同様に、サブバンドＨＬｋ，ＬＨｋ，ＨＨｋについて量子化ウエーブレット係数ＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。特にステップＳ５１１Ｇでは、Ｙ、ＣｂおよびＣｒ用の３つの量子化ウエーブレット画像に存在する全てのサブバンドＨＬｋ，ＬＨｋ，ＨＨｋを対象とするので、分解レベルｋの９つのサブバンドについてＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。

分解レベルｋの９つのサブバンドのうちの少なくとも１つにおいてＱＣｋ（ｉ，ｊ）≠０の場合、ステップＳ５１２において、ＨＬｋ、ＬＨｋおよびＨＨｋの全てのサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）がＲＯＩ指示値（ここでは“１”）に設定される。すなわち、ステップＳ５１２によって、上記の第１のマスク値設定規則が適用される。

これに対し、分解レベルｋの９つのサブバンドの全てにおいてＱＣｋ（ｉ，ｊ）＝０の場合、ステップＳ５１３において、ＨＬｋ、ＬＨｋおよびＨＨｋの全てのサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）が非ＲＯＩ指示値（ここでは“０”）に設定される。すなわち、ステップＳ５１３によって、上記の第２のマスク値設定規則が適用される。

一方、ステップＳ５４１Ｇでは、ステップＳ５４１と同様に、分解レベルｇ１のサブバンドＬＬｇ１について量子化ウエーブレット係数ＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。特にステップＳ５４１Ｇでは、Ｙ、ＣｂおよびＣｒ用の３つの量子化ウエーブレット画像に存在する全てのサブバンドＬＬｇ１を対象とするので、３つのサブバンドＬＬｇ１についてＱＣｋ（ｉ，ｊ）が０であるか否かが判別される。

３つのサブバンドＬＬｇ１のうちの少なくとも１つにおいてＱＣｋ（ｉ，ｊ）≠０の場合、ステップＳ５４２において、ＬＬｇ１のサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）がＲＯＩ指示値（ここでは“１”）に設定される。すなわち、ステップＳ５４２によって、上記の第１のマスク値設定規則が適用される。

これに対し、３つのサブバンドＬＬｇ１の全てにおいてＱＣｋ（ｉ，ｊ）＝０の場合、ステップＳ５４３において、ＬＬｇ１のサブバンドマスクの座標（ｉ，ｊ）のマスク値ＭＶｋ（ｉ，ｊ）が非ＲＯＩ指示値（ここでは“０”）に設定される。すなわち、ステップＳ５４３によって、上記の第２のマスク値設定規則が適用される。

ここで、１組のＹ、ＣｂおよびＣｒ用の量子化ウエーブレット係数データＡ２２を一纏めにして参照型推定規則を適用する場合、実施の形態１〜４とは異なり、Ｙ、ＣｂおよびＣｒ用のＬＬサブバンド、すなわち３つのＬＬサブバンドが存在する。このため、図６７および図６８の参照型マスク生成処理Ｓ５００Ｇでは、上記の第３および第４のマスク値設定規則は利用されない。

実施の形態５によれば、より多くの量子化ウエーブレット係数データＡ２２に基づいて参照型マスクを生成する。このため、供給システム１１で利用されたマスクにより近いマスクを生成できる。

参照型マスク生成処理Ｓ５００Ｇは、Ｙ、ＣｂおよびＣｒ以外の色空間成分についても適用可能である。例えば、色差成分としてＣｂおよびＣｒ以外の成分も知られていることに鑑みると、それらはＹＵＶ方式として一般化される。すなわち、Ｙ、ＵおよびＶの色空間成分に対して、参照型マスク生成処理Ｓ５００Ｇを適用可能である。あるいは、ＲＧＢ方式に対しても参照型マスク生成処理Ｓ５００Ｇを適用可能である。

なお，実施の形態１〜５では第１画像および第２画像がカラー画像であるものとした。しかし、第１画像および第２画像がモノクロ画像であってもよい。その場合、ウエーブレット係数データ等のデータは、１つの成分（具体的には輝度成分）だけで構成される。このため、色空間成分ごとの複数のマスクを生成する必要はない。

＜実施の形態６＞
実施の形態６では、マスクそのものを合成システム２１の外部から取得する例を説明する。そのようなマスクを外来マスクと呼ぶ場合もある。なお、実施の形態１等のように、マスク準備部１２５０によって生成されたマスクを、内製マスクと呼んでもよい。

外来マスクは、ここでは、供給システム１１で利用されたマスクとする。その場合、外来マスクは、符号化ビットストリームＡｂｓに埋め込まれて、または、符号化ビットストリームＡｂｓとは別個に、合成システム２１に供給される。

図６９に、実施の形態６に係るマスク準備部１２５０Ｈのブロック図を示す。マスク準備部１２５０Ｈは、マスク準備部１２５０に代えて、図１７の合成システム２１に適用される。また、図７０に、マスク準備部１２５０Ｈの動作を説明するフローチャートを示す。

図６９に示すように、マスク準備部１２５０Ｈは、マスクレベル変換部１２５５と、拡大部１２５６とを含んでいる。マスクレベル変換部１２５５は既述のものである。拡大部１２５６は例えば、既述の拡大部１２５２ｂと同様に構成される。

拡大部１２５６は、外来マスクのデータＢ５０を取得する。外来マスクは、データ量削減のために、原マスクサイズ（すなわち第１画像の画像サイズ）に対して縮小される場合がある。外来マスクがそのような縮小サイズである場合、拡大部１２５６は外来マスクを原マスクサイズに拡大する（図７０のステップＳ９９１，Ｓ９９２を参照）。外来マスクデータＢ５０にはマスクサイズに関する情報（例えば縮小比）が付随しているものとし、その情報に基づいて拡大部１２５６は拡大処理の必要性および処理内容（例えば拡大比）を決定する。拡大部１２５６は、原マスクサイズに戻した外来マスクのデータを、マスクレベル変換部１２５５に供給する。

これに対し、外来マスクが原マスクサイズである場合、拡大部１２５６は、拡大処理を行わずに、取得した外来マスクデータＢ５０をマスクレベル変換部１２５５に供給する（図７０のステップＳ９９１，Ｓ９９２を参照）。

ここでは、外来マスクは、分解レベルｇ１（すなわち、第１画像用の量子化ウエーブレット係数データＡ２２と同じ分解レベル）の展開マスクとする。例えば図４０を参照。なお、拡大後の外来マスクも分解レベルｇ１である。

外来マスクの分解レベルは、ｇ１であり、よって既述のマージマスク（図２２参照）の分解レベルと同じである。このため、マスクレベル変換部１２５５は、図３４のマスク準備フローＳ９００と同様に動作する。具体的には、マスクレベル変換部１２５５は、図７０に示すように、既述のステップＳ９０５，Ｓ９０６を行い、既述のステップＳ９１１，Ｓ９１２，Ｓ９２１，Ｓ９３１，Ｓ９３２と同様のステップＳ９１１Ｈ，Ｓ９１２Ｈ，Ｓ９２１Ｈ，Ｓ９３１Ｈ，Ｓ９３２Ｈを行う。

図７１〜図７８に画像の例を示す。図７１は外来マスクの例である。図７１のマスクを用いた合成画像の例を、図７２に示す。図７１および図７２では、ｇ２＝ｇ１＝５である。すなわち、供給システム１１から供給された量子化ウエーブレット係数データＡ２２および外来マスクデータＢ５０の分解レベルｇ１が５であり、合成実行処理時の分解レベルｇ２も５である。

図７３は、図７１の外来マスクを分解レベル６まで展開したマスクである。図７３のマスクを用いた合成画像を、図７４に示す。図７３および図７４では、ｇ２＝６、ｇ１＝５であり、よってｇ２＞ｇ１である。

図７５は、図７１の外来マスクを分解レベル３まで復元したマスクである。図７５のマスクを用いた合成画像を、図７６に示す。図７５および図７６では、ｇ２＝３、ｇ１＝５であり、よってｇ２＜ｇ１である。

図７７は、図７１の外来マスクを分解レベル０まで復元したマスクである。図７７のマスクを用いた合成画像を、図７８に示す。図７７および図７８では、ｇ２＝０、ｇ１＝５であり、よってｇ２＜ｇ１である。

上記では外来マスクは分解レベルｇ１の展開マスクとしたが、外来マスクは分解レベル０の原マスクであってもよい。この場合の分解レベルは、既述の整形マスクと同じである。このため、マスクレベル変換部１２５５は、図５９のマスク準備フローＳ９００ＣのステップＳ９４１〜Ｓ９７１と同様のステップによって、分解レベル０の外来マスクから分解レベルｇ１のマスクと分解レベルｇ２のマスクとを生成する。

実施の形態６によれば、外来マスクを用いた場合も、実施の形態１等と同様に画像合成を行うことができる。

＜実施の形態７＞
実施の形態７では、量子化ウエーブレット係数データＡ２２がＭａｘｓｈｉｆｔ法に準拠している例を説明する。図７９に、実施の形態７に係るマスク準備部１２５０Ｉのブロック図を示す。マスク準備部１２５０Ｉは、マスク準備部１２５０に代えて、図１７の合成システム２１に適用される。また、図８０に、マスク準備部１２５０Ｉの動作を説明するフローチャートを示す。

図７９に示すように、マスク準備部１２５０Ｉは、マスクレベル変換部１２５５と、Ｍａｘｓｈｉｆｔマスク生成部１２５７とを含んでいる。マスクレベル変換部１２５５は既述のものである。

Ｍａｘｓｈｉｆｔマスク生成部１２５７は、Ｍａｘｓｈｉｆｔ法に準拠して、量子化ウエーブレット係数データＡ２２から、マスクを生成する（図８０のステップＳ９９３を参照）。そのようなマスクをＭａｘｓｈｉｆｔマスクと呼ぶ場合もある。ここでは、Ｍａｘｓｈｉｆｔマスクの生成は既知技術を利用するものとし、詳細な説明は省略する。生成されたＭａｘｓｈｉｆｔマスクは、マスクレベル変換部１２５５に供給される。

Ｍａｘｓｈｉｆｔマスクは、量子化ウエーブレット係数データＡ２２の分解レベルｇ１で生成される。したがって、Ｍａｘｓｈｉｆｔマスクの分解レベルは、既述のマージマスク（図２２参照）の分解レベルと同じである。このため、マスクレベル変換部１２５５は、図３４のマスク準備フローＳ９００と同様に動作する。具体的には、マスクレベル変換部１２５５は、図８０に示すように、既述のステップＳ９０５，Ｓ９０６を行い、既述のステップＳ９１１，Ｓ９１２，Ｓ９２１，Ｓ９３１，Ｓ９３２と同様のステップＳ９１１Ｉ，Ｓ９１２Ｉ，Ｓ９２１Ｉ，Ｓ９３１Ｉ，Ｓ９３２Ｉを行う。

実施の形態７によれば、Ｍａｘｓｈｉｆｔマスクを用いた場合（換言すれば、量子化ウエーブレット係数データＡ２２がＭａｘｓｈｉｆｔ法に準拠している場合）も、実施の形態１等と同様に画像合成を行うことができる。

＜実施の形態８＞
実施の形態１〜７で説明した様々なマスク準備部を組み合わせてもよい。例えば、実施の形態４のマスク準備部１２５０Ｆ（図６４参照）に、実施の形態６の拡大部１２５６（図６９参照）と、実施の形態７のＭａｘｓｈｉｆｔマスク生成部１２５７（図７９参照）とを追加することが可能である。その場合、図８１に示すマスク準備フローＳ９００Ｊのように、判別ステップＳ９９５〜Ｓ９９７を利用すればよい。

具体的には、ステップＳ９９５では、マスク準備部が、合成システム２１の外部から外来マスクを取得したか否かを判別する。また、ステップＳ９９６では、マスク準備部が、量子化ウエーブレット係数データＡ２２がＭａｘｓｈｉｆｔ法に準拠しているか否かを判別する。また、ステップＳ９９７は、図６５のステップＳ９８１と同様であり、ユーザがマスクマージ機能を利用するか否かを選択する。

判別ステップＳ９９５〜Ｓ９９７によって、図３４のフローＳ９００と、図５９のフローＳ９００Ｃと、図７０のフローＳ９００Ｈと、図８０のフローＳ９００Ｉとのいずれかが選択的に実行される。

実施の形態８によれば、様々な入力情報および様々な画像合成手法に対処可能なシステムを提供できる。

＜変形例＞
実施の形態１〜５で説明した様々なマスクおよびマスク生成技術は、合成システム２１以外のシステムにも適用可能である。例えば、図２１および図５７の構成からマスクレベル変換部１２５５を削除することによって、マージマスクを、マスクレベル変換を行わずに、利用してもよい。

また、合成システム２１から、ビットストリーム解析部１２１０と、復号化部１２２０と、後処理部１２９０とを省略しても、実施の形態１〜８で説明した様々な画像合成技術を実現することは可能である。同様に、供給システム１１から、前処理部１０２０と、符号化部１０６０と、ビットストリーム生成部１０７０とを省略することも可能である。

本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１，２０ 画像処理システム
２１ 画像合成システム
６０ａ ＲＯＩ（関心領域）
６０ｂ 非ＲＯＩ
１２３０ 第１準備部
１２３１ 逆量子化部
１２３２ レベル減少部
１２３３ 係数調整部
１２３４ レベル増加部
１２４０ 第２準備部
１２５０，１２５０Ｂ〜１２５０Ｆ，１２５０Ｈ，１２５０Ｉ マスク準備部
１２５１，１２５１Ｂ，１２５１Ｄ，１２５１Ｅ 基礎マスク生成部
１２５１ａ 非参照型マスク生成部
１２５１ｂ 参照型マスク生成部
１２５２ マスク整形部
１２５２ａ モフォロジー処理部
１２５２ｂ 拡大部
１２５３ 暫定マスク生成部
１２５４ マスクマージ部
１２５５，１２５５Ｃ マスクレベル変換部
１２５５ａ マスク復元部
１２５５ｂ マスク展開部
１２５６ 拡大部
１２５７ Ｍａｘｓｈｉｆｔマスク生成部
１２７０ 合成実行部
１２８０ 合成画像データ生成部
Ａ２０ 第１画像データ
Ａ２１，Ａ３１〜Ａ３３，Ａ６１ 第１ウエーブレット係数データ
Ａ２２ 量子化ウエーブレット係数データ
Ａ４１ 補助ウエーブレット係数データ
Ｂ２１，Ｂ３１〜Ｂ３４，Ｂ６１ マスクデータ
Ｂ５０ 外来マスクデータ
Ｄ２０ 第２画像データ
Ｄ６１ 第２ウエーブレット係数データ
Ｅ６１ 合成済み係数データ
Ｅ８０ 合成画像データ
ＭＶｋ マスク値
ＱＣｋ 量子化ウエーブレット係数値
ＷＣｋ ウエーブレット係数値

Claims (17)

1. 第１画像中のＲＯＩ（関心領域）と第２画像とを合成する画像合成システムを備え、
   前記画像合成システムは、
   前記第１画像用の量子化ウエーブレット係数データから第１ウエーブレット係数データを生成する、第１準備部と、
   前記第２画像のデータから第２ウエーブレット係数データを生成する、第２準備部と、
   前記第１ウエーブレット係数データに含まれる各ウエーブレット係数が、前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とのいずれであるかを判別するためのマスクを準備する、マスク準備部と、
   前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを前記マスクに基づいて判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記第２ウエーブレット係数データ中のウエーブレット係数とを合成し、それにより合成済み係数データを生成する、合成実行部と、
   前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、合成画像データ生成部と
   を含み、
   前記量子化ウエーブレット係数データの分解レベルを、ｇ１とし、
   前記合成実行部において利用する前記第１ウエーブレット係数データと前記第２ウエーブレット係数データと前記マスクとの分解レベルを、ｇ２とすると、
   前記第１準備部は、
   前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、分解レベルｇ１の前記第１ウエーブレット係数データを生成する、逆量子化部と、
   ｇ２＜ｇ１の場合に、分解レベルｇ１の前記第１ウエーブレット係数データに対して、分解レベルｇ２まで逆ウエーブレット変換を行う、レベル減少部と、
   ｇ２＞ｇ１の場合に、前記第１画像と同一視できる補助画像用のウエーブレット係数であり且つ分解レベルがｇ１である補助ウエーブレット係数データを取得し、前記補助ウエーブレット係数データを利用した係数調整処理によって、分解レベルｇ１の前記第１ウエーブレット係数データを調整する、係数調整部と、
   前記係数調整処理によって調整された前記第１ウエーブレット係数データに対して、分解レベルｇ２までウエーブレット変換を行う、レベル増加部と
   を有し、
   ｇ２＝ｇ１の場合、
   前記マスク準備部は、分解レベルｇ１の前記マスクを準備して前記合成実行部に供給し、
   前記第１準備部は、前記逆量子化部によって生成された分解レベルｇ１の前記第１ウエーブレット係数データを前記合成実行部に供給し、
   ｇ２＜ｇ１の場合、
   前記マスク準備部は、分解レベルｇ２の前記マスクを準備して前記合成実行部に供給し、
   前記第１準備部は、前記レベル減少部によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記合成実行部に供給し、
   ｇ２＞ｇ１の場合、
   前記マスク準備部は、分解レベルｇ２の前記マスクを準備して前記合成実行部に供給すると共に、分解レベルｇ１の前記マスクを準備して前記第１準備部に供給し、
   前記第１準備部は、前記係数調整部によって行われる前記係数調整処理において、分解レベルｇ１の前記マスクに基づいて分解レベルｇ１の前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記補助ウエーブレット係数データ中のウエーブレット係数とを合成し、
   前記第１準備部は、前記レベル増加部によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記合成実行部に供給する、
   画像処理システム。
2. 請求項１に記載の画像処理システムであって、
   前記係数調整部は、分解レベルｇ１の前記第１ウエーブレット係数データのＬＬサブバンドのみに対して前記係数調整処理を行う、画像処理システム。
3. 請求項１または請求項２に記載の画像処理システムであって、
   前記マスク準備部は、
   前記量子化ウエーブレット係数データにおいて前記非ＲＯＩ係数が０に設定されている場合に、非参照型推定規則に従って前記量子化ウエーブレット係数データから、分解レベルｇ１の非参照型マスクを生成する、非参照型マスク生成部と、
   前記量子化ウエーブレット係数データにおいて前記非ＲＯＩ係数が０に設定されている場合に、参照型推定規則に従って前記量子化ウエーブレット係数データから、分解レベルｇ１の参照型マスクを生成する、参照型マスク生成部と、
   前記非参照型マスクまたは前記参照型マスクのうちの所定のサブバンドマスクから、整形処理によって、マスクサイズが前記マスクと同じであり且つ分解レベルが０である整形マスクを生成する、マスク整形部と、
   前記整形マスクを分解レベルｇ１のサブバンド構成に展開することによって、分解レベルｇ１の暫定マスクを生成する、暫定マスク生成部と、
   前記暫定マスクと前記非参照型マスクとをサブバンド単位で部分的にマージすることによって、分解レベルｇ１の前記マスクを生成する、マスクマージ部と、
   前記マスクマージ部によって生成された分解レベルｇ１の前記マスクから、分解レベルｇ２の前記マスクを生成する、マスクレベル変換部と
   を有し、
   前記量子化ウエーブレット係数データによって提供される量子化ウエーブレット画像と前記非参照型マスクと前記参照型マスクとに対して規定されるサブバンド座標系の下で、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値およびマスク値をＱＣｋ（ｉ，ｊ）およびＭＶｋ（ｉ，ｊ）とすると、
   前記非参照型推定規則では、ＱＣｋ（ｉ，ｊ）が０である場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記非ＲＯＩに対応することを示す非ＲＯＩ指示値に設定し、ＱＣｋ（ｉ，ｊ）が０でない場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記ＲＯＩに対応することを示すＲＯＩ指示値に設定し、
   前記参照型推定規則は、
   前記量子化ウエーブレット画像において分解レベルｋのサブバンドが複数存在し且つ少なくとも１つのＱＣｋ（ｉ，ｊ）が０でない場合、前記参照型マスクの全てのＭＶｋ（ｉ，ｊ）を前記ＲＯＩ指示値に設定する、という第１のマスク値設定規則と、
   前記量子化ウエーブレット画像において分解レベルｋのサブバンドが複数存在し且つ全てのＱＣｋ（ｉ，ｊ）が０である場合、前記参照型マスクの全てのＭＶｋ（ｉ，ｊ）を前記非ＲＯＩ指示値に設定する、という第２のマスク値設定規則と
   を含む、
   画像処理システム。
4. 請求項１または請求項２に記載の画像処理システムであって、
   前記マスク準備部は、
   前記量子化ウエーブレット係数データにおいて前記非ＲＯＩ係数が０に設定されている場合に、非参照型推定規則に従って前記量子化ウエーブレット係数データから、分解レベルｇ１の非参照型マスクを生成する、非参照型マスク生成部と、
   前記非参照型マスクのうちの所定のサブバンドマスクから、整形処理によって、マスクサイズが前記マスクと同じであり且つ分解レベルが０である整形マスクを生成する、マスク整形部と、
   前記整形マスクを分解レベルｇ１のサブバンド構成に展開することによって、分解レベルｇ１の暫定マスクを生成する、暫定マスク生成部と、
   前記暫定マスクと前記非参照型マスクとをサブバンド単位で部分的にマージすることによって、分解レベルｇ１の前記マスクを生成する、マスクマージ部と、
   前記マスクマージ部によって生成された分解レベルｇ１の前記マスクから、分解レベルｇ２の前記マスクを生成する、マスクレベル変換部と
   を有し、
   前記量子化ウエーブレット係数データによって提供される量子化ウエーブレット画像と前記非参照型マスクとに対して規定されるサブバンド座標系の下で、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値およびマスク値をＱＣｋ（ｉ，ｊ）およびＭＶｋ（ｉ，ｊ）とすると、
   前記非参照型推定規則では、ＱＣｋ（ｉ，ｊ）が０である場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記非ＲＯＩに対応することを示す非ＲＯＩ指示値に設定し、ＱＣｋ（ｉ，ｊ）が０でない場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記ＲＯＩに対応することを示すＲＯＩ指示値に設定する、
   画像処理システム。
5. 請求項３または請求項４に記載の画像処理システムであって、
   前記マスクマージ部は、前記マスクの低分解側サブバンドに前記暫定マスクを採用し、前記マスクの高分解側サブバンドに前記非参照型マスクを採用する、画像処理システム。
6. 請求項３〜請求項５のうちのいずれか１項に記載の画像処理システムであって、
   前記整形処理はモフォロジー処理および拡大処理を含む、画像処理システム。
7. 請求項１または請求項２に記載の画像処理システムであって、
   前記マスク準備部は、
   前記量子化ウエーブレット係数データにおいて前記非ＲＯＩ係数が０に設定されている場合に、前記量子化ウエーブレット係数データに含まれる各量子化ウエーブレット係数が０であるか否かを判別することによって、分解レベルｇ１の基礎マスクを生成する、基礎マスク生成部と、
   前記基礎マスクのうちの所定のサブバンドマスクから、整形処理によって、マスクサイズが前記マスクと同じであり且つ分解レベルが０である整形マスクを生成する、マスク整形部と、
   前記整形マスクから、分解レベルｇ１の前記マスクおよび分解レベルｇ２の前記マスクを生成する、マスクレベル変換部と
   を有する、画像処理システム。
8. 請求項７に記載の画像処理システムであって、
   前記整形処理はモフォロジー処理および拡大処理を含む、画像処理システム。
9. 請求項７または請求項８に記載の画像処理システムであって、
   前記基礎マスク生成部は、
   非参照型推定規則に従って前記量子化ウエーブレット係数データから、分解レベルｇ１の非参照型マスクを前記基礎マスクとして生成する、非参照型マスク生成部
   を含み、
   前記量子化ウエーブレット係数データによって提供される量子化ウエーブレット画像と前記非参照型マスクとに対して規定されるサブバンド座標系の下で、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値およびマスク値をＱＣｋ（ｉ，ｊ）およびＭＶｋ（ｉ，ｊ）とすると、
   前記非参照型推定規則では、ＱＣｋ（ｉ，ｊ）が０である場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記非ＲＯＩに対応することを示す非ＲＯＩ指示値に設定し、ＱＣｋ（ｉ，ｊ）が０でない場合、前記非参照型マスクのＭＶｋ（ｉ，ｊ）を、前記ＲＯＩに対応することを示すＲＯＩ指示値に設定する、
   画像処理システム。
10. 請求項７〜請求項９のうちのいずれか１項に記載の画像処理システムであって、
    前記基礎マスク生成部は、
    参照型推定規則に従って前記量子化ウエーブレット係数データから、分解レベルｇ１の参照型マスクを前記基礎マスクとして生成する、参照型マスク生成部
    を含み、
    前記量子化ウエーブレット係数データによって提供される量子化ウエーブレット画像と前記参照型マスクとに対して規定されるサブバンド座標系の下で、分解レベルｋのサブバンドにおける座標（ｉ，ｊ）の量子化ウエーブレット係数値およびマスク値をＱＣｋ（ｉ，ｊ）およびＭＶｋ（ｉ，ｊ）とすると、
    前記参照型推定規則は、
    前記量子化ウエーブレット画像において分解レベルｋのサブバンドが複数存在し且つ少なくとも１つのＱＣｋ（ｉ，ｊ）が０でない場合、前記参照型マスクの全てのＭＶｋ（ｉ，ｊ）を、前記ＲＯＩに対応することを示すＲＯＩ指示値に設定する、という第１のマスク値設定規則と、
    前記量子化ウエーブレット画像において分解レベルｋのサブバンドが複数存在し且つ全てのＱＣｋ（ｉ，ｊ）が０である場合、前記参照型マスクの全てのＭＶｋ（ｉ，ｊ）を、前記非ＲＯＩに対応することを示す非ＲＯＩ指示値に設定する、という第２のマスク値設定規則と
    を含む、
    画像処理システム。
11. 請求項３または請求項１０に記載の画像処理システムであって、
    前記参照型推定規則は、
    前記量子化ウエーブレット画像において分解レベルｋのサブバンドが１つしか存在せず且つＱＣｋ（ｉ，ｊ）が０でない場合、前記参照型マスクのＭＶｋ（ｉ，ｊ）を前記ＲＯＩ指示値に設定する、という第３のマスク値設定規則と、
    前記量子化ウエーブレット画像において分解レベルｋのサブバンドが１つしか存在せず且つＱＣｋ（ｉ，ｊ）が０である場合、前記参照型マスクのＭＶｋ（ｉ，ｊ）を前記非ＲＯＩ指示値に設定する、という第４のマスク値設定規則と
    をさらに含む、画像処理システム。
12. 請求項３または請求項１０に記載の画像処理システムであって、
    前記量子化ウエーブレット係数データは、複数の色空間成分用の複数の量子化ウエーブレット係数データを含み、
    前記第１のマスク値設定規則は、前記複数の色空間成分用の複数の量子化ウエーブレット画像に存在する全てのＱＣｋ（ｉ，ｊ）のうちで少なくとも１つが０でない場合に適用され、
    前記第２のマスク値設定規則は、前記複数の量子化ウエーブレット画像に存在する全てのＱＣｋ（ｉ，ｊ）が０である場合に適用される、
    画像処理システム。
13. 請求項１２に記載の画像処理システムであって、
    前記複数の色空間成分は、輝度と２種類の色差である、画像処理システム。
14. 請求項１〜請求項１３のうちのいずれか１項に記載の画像処理システムであって、
    前記マスク準備部は、分解レベルｇ１の前記マスクを前記画像合成システムの外部から取得した場合、当該外来のマスクから分解レベルｇ２の前記マスクを生成する、
    画像処理システム。
15. 請求項１〜請求項１４のうちのいずれか１項に記載の画像処理システムであって、
    前記マスク準備部は、分解レベル０の前記マスクを前記画像合成システムの外部から取得した場合、当該外来のマスクから分解レベルｇ１の前記マスクおよび分解レベルｇ２の前記マスクを生成する、
    画像処理システム。
16. 請求項１〜請求項１５のうちのいずれか１項に記載の画像処理システムであって、
    前記マスク準備部は、前記量子化ウエーブレット係数データがＭａｘｓｈｉｆｔ法に準拠している場合、Ｍａｘｓｈｉｆｔ法に準拠して前記量子化ウエーブレット係数データから分解レベルｇ１の前記マスクを生成し、分解レベルｇ１の前記マスクから分解レベルｇ２の前記マスクを生成する、
    画像処理システム。
17. （ａ）ＲＯＩ（関心領域）を有する第１画像用の量子化ウエーブレット係数データから第１ウエーブレット係数データを生成するステップと、
    （ｂ）前記第１画像中の前記ＲＯＩと合成される第２画像のデータから第２ウエーブレット係数データを生成するステップと、
    （ｃ）前記第１ウエーブレット係数データに含まれる各ウエーブレット係数が、前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とのいずれであるかを判別するためのマスクを準備するステップと、
    （ｄ）前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを前記マスクに基づいて判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記第２ウエーブレット係数データ中のウエーブレット係数とを合成し、それにより合成済み係数データを生成するステップと、
    （ｅ）前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成するステップと
    を備え、
    前記量子化ウエーブレット係数データの分解レベルを、ｇ１とし、
    前記ステップ（ｄ）において利用する前記第１ウエーブレット係数データと前記第２ウエーブレット係数データと前記マスクとの分解レベルを、ｇ２とすると、
    前記ステップ（ａ）は、
    （ａ−１）前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、分解レベルｇ１の前記第１ウエーブレット係数データを生成するステップと、
    （ａ−２）ｇ２＜ｇ１の場合に、分解レベルｇ１の前記第１ウエーブレット係数データに対して、分解レベルｇ２まで逆ウエーブレット変換を行うステップと、
    （ａ−３）ｇ２＞ｇ１の場合に、前記第１画像と同一視できる補助画像用のウエーブレット係数であり且つ分解レベルがｇ１である補助ウエーブレット係数データを取得し、前記補助ウエーブレット係数データを利用した係数調整処理によって、分解レベルｇ１の前記第１ウエーブレット係数データを調整するステップと、
    （ａ−４）前記係数調整処理によって調整された前記第１ウエーブレット係数データに対して、分解レベルｇ２までウエーブレット変換を行うステップと
    を含み、
    ｇ２＝ｇ１の場合、
    前記ステップ（ｃ）では、分解レベルｇ１の前記マスクを準備して前記ステップ（ｄ）に供給し、
    前記ステップ（ａ）では、前記ステップ（ａ−１）によって生成された分解レベルｇ１の前記第１ウエーブレット係数データを前記ステップ（ｄ）に供給し、
    ｇ２＜ｇ１の場合、
    前記ステップ（ｃ）では、分解レベルｇ２の前記マスクを準備して前記ステップ（ｄ）に供給し、
    前記ステップ（ａ）では、前記ステップ（ａ−２）によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記ステップ（ｄ）に供給し、
    ｇ２＞ｇ１の場合、
    前記ステップ（ｃ）では、分解レベルｇ２の前記マスクを準備して前記ステップ（ｄ）に供給すると共に、分解レベルｇ１の前記マスクを準備して前記ステップ（ａ）に供給し、
    前記ステップ（ａ）では、前記ステップ（ａ−３）の前記係数調整処理において、分解レベルｇ１の前記マスクに基づいて分解レベルｇ１の前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記ＲＯＩ係数と、前記非ＲＯＩ係数に対応する前記補助ウエーブレット係数データ中のウエーブレット係数とを合成し、
    前記ステップ（ａ）では、前記ステップ（ａ−４）によって生成された分解レベルｇ２の前記第１ウエーブレット係数データを前記ステップ（ｄ）に供給する、
    画像処理方法。