JP4375662B2 - 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 - Google Patents

Description

本発明は、画像処理に係り、より詳細には、同一の画角で異なった合焦距離で撮影された複数の画像を合成する装置及び方法、並びに、合成画像から合焦距離の異なる複数の画像を再生する装置及び方法に関する。

画像の蓄積や伝送における問題の１つが、画像のデータ量の多さである。特に、近年のデジタルカメラなどの画像入力機器においては、撮像素子の画素数の飛躍的な増加により画像の高精細化が進み、画像のデータ量が膨大になっている。

このようなデータ量の多い画像については、蓄積あるいは伝送に際し、効率的な圧縮処理を施すことが不可欠である。そして、高精細画像のメリットを損なわないためには、圧縮処理に伴う画質の劣化を極力減らす必要がある。

こうした要求を満たす画像圧縮（符号化）方式の一つが、周波数変換にウェーブレット変換を採用したＪＰＥＧ２０００である。ＪＰＥＧ２０００の概要を次に説明する。

図１０はＪＰＥＧ２０００の圧縮（符号化）・伸長（復号化）処理の基本的な流れを示したブロック図である。

圧縮（符号化）処理について説明する。例えば、ＲＧＢやＣＭＹの３コンポ−ネントで構成されるカラー画像は、各コンポーネント毎に１以上の重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。まず、各タイル毎に、色空間変換・逆色変換部１００で輝度・色差コンポ−ネントへのコンポ−ネント変換（色空間変換）がなされ、次に２次元ウェーブレット変換・逆変換部１０１で、各コンポーネントの各タイル毎に２次元のウェーブレット変換（離散ウェーブレット変換）がなされる。

ウェーブレット変換の結果を図１１に例示する。この例は、デコンポジションレベル数が３の場合であり、ウェーブレット変換係数はデインターリーブした状態で示されている。１ＬＨ，１ＨＬ，１ＨＨはデコンポジションレベル１のＬＨ，ＨＬ，ＨＨサブバンド、２ＬＨ，２ＨＬ，２ＨＨはデコンポジションレベル２のＬＨ，ＨＬ，ＨＨサブバンド、３ＬＨ，３ＨＬ，３ＨＨ，３ＬＬはデコンポジションレベル３のＬＨ，ＨＬ，ＨＨ，ＬＬサブバンドであり、デコンポジションレベルの低いサブバンドの係数ほど高い周波数成分である。

ウェーブレット変換係数は、サブバンド毎に、必要に応じて量子化・逆量子化部１０２で量子化された後、エントロピー符号化・復号化部１０３でビットプレーンを単位としたエントロピー符号化がなされる（正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。そして、符号形成・タグ処理部１０４で、不要な符号をトランケートし、必要な符号をまとめてパケットを生成し、パケットを所定の順序に並べ、必要なタグ又はタグ情報を付加することにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。

なお、色空間変換・逆色変換部１００は必須ではない。また、ＪＰＥＧ２０００では、５×３変換と呼ばれる可逆ウェーブレット変換と、９×７変換と呼ばれる非可逆ウェーブレット変換が規定されている。５×３ウェーブレット変換が用いられる場合、量子化・逆量子化部１０２による量子化（スカラー量子化）は行われないが、符号形成・タグ処理部１０４におけるトランケーションは、係数の量子化と等価であるため、ポスト量子化と呼ばれる。

伸長（復号化）処理は圧縮処理と丁度逆の処理である。コードストリームは符号形成・タグ処理部１０４で各コンポーネントの各タイルのコードストリームに分解され、エントロピー符号化・復号化部１０３でビットプレーン単位でエントロピー復号され、復号されたウェーブレット変換係数は量子化・逆量子化部１０２により逆量子化される。そして、コンポ−ネント毎のウェーブレット変換係数に対して２次元ウェーブレット変換・逆変換部１０１で２次元の逆ウェーブレット変換が施され、その後、色空間変換・逆色変換部１００で逆コンポーネント変換（逆色空間変換）が施されることにより元のＲＧＢやＣＭＹの画素値に戻される。

なお、ウェーブレット変換は、画像圧縮以外の目的にも応用されている。例えば、磁気共鳴断層撮影装置などで撮影された断層画像に３次元のウェーブレット変換を適用し、得られた高周波成分にのみ強度変換関数を作用させることにより、雑音成分を減らし、かつ、３次元画像全体の画質を向上させる技術が知られている（特許文献１参照）。

特開２０００−３００４４号公報

デジタルカメラなどでは、合焦距離及びその近傍にある被写体は鮮明に撮影されるが、それより近いか遠い被写体の像にはボケが生じる。このボケの味わいが重視される場合もあるが、逆に、より広い距離範囲内の被写体に合焦した画像が要求される場合がある。

本発明の目的は、同じ画角で、異なった合焦距離で撮影された複数の画像から、広い距離範囲の被写体に合焦した画像を合成する装置及び方法を提供すること、並びに、画像の撮影からその合成までを容易に行うことができる撮像装置を提供することである。本発明の他の目的は、上記装置又は方法により生成された合成画像から合焦距離の異なる複数の画像を再生する装置及び方法を提供することである。

請求項１の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像合成処理方法であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像合成処理方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理装置であって、
合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段と、
合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段と、
を有することを特徴とする画像処理装置である。

請求項２の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像合成処理方法であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像合成処理方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理方法であって、
合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する処理と、
合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する処理と、
を含むことを特徴とする画像処理方法である。

同一の画角で異なった合焦距離で撮影された複数枚の画像から合成された、小領域毎に距離情報を付与された合成画像から、合焦距離の異なる複数枚の画像（例えば、合成前の画像に近い複数枚の画像）を再生可能となる。

図１は本発明に係る画像処理装置の典型的な構成を説明するためのブロック図である。図１において、２００は画像の合成処理などを行う処理部、２０１は処理部２００のための作業記憶域などとして利用される記憶部、２０２はＪＰＥＧ２０００のアルゴリズムにより画像の圧縮又は伸長を行う圧縮／伸長部、２０３は画像のデータなどを蓄積するための大容量の補助記憶部、２０４は外部機器とのデータの入力又は出力のためのデータ入出力部である。このような画像処理装置は、専用のハードウェアにより実現することも、パソコンなどの汎用コンピュータやマイクロコンピュータなどのハードウェア資源を利用して実現することも可能である。

この画像処理装置は、同じ画角で異なった合焦距離で撮影された複数の画像を１つの画像に合成する処理（合成処理）と、合成画像から合焦距離の異なる複数の画像、例えば合成前の画像に近い複数の画像を生成する処理（分離再生処理）を行うことができる。

まず、合成処理について具体的に説明する。合成処理のための複数の画像は、イメージデータ（画素値データ）として、又は、ＪＰＥＧ２０００のコードストリームとして、データ入出力部２０４を通じて取り込まれ補助記憶部２０３に一旦蓄積される。この際、各画像の距離情報も、画像のデータに埋め込まれた形で、又は、画像のデータとは独立した形で入力されて蓄積される。

合成画像は、イメージデータの形で、又は、圧縮／伸長部２０２により圧縮してコードストリームにした形で補助記憶部２０３に蓄積されるが、この際に合成画像の小領域毎の距離情報も、合成画像のデータに埋め込まれた形で、あるいは、独立した形で蓄積される。合成画像のデータとその距離情報をデータ入出力部２０４を通じて外部へ出力可能であることは当然である。

合成処理においては、複数の画像のそれぞれについて、領域毎の高周波成分量を求めるが、ここに説明する実施の形態においては、圧縮／伸長部２０２を利用して得られるウェーブレット変換係数に基づいて高周波成分量を計算する。ただし、ウェーブレット変換以外の周波数変換を用いて高周波成分量を算出することも可能であり、かかる態様も本発明に包含される。

［合成処理の例１］
図２は合成処理の例１を示すフローフローチャートであり、図３は合成処理の説明のための模式図である。

この合成処理例１では、同一画角で異なった合焦距離で撮影された複数の画像が、イメージデータとして補助記憶部２０３に蓄積されているものとする。また、説明の簡略化のため、図３（Ａ）に示すような合焦距離１，２，３（距離１＜距離２＜距離３）で撮影された３枚の画像Ｐ１，Ｐ２，Ｐ３を合成するものとするが、４枚以上の画像の合成も同様の処理により可能であることは明らかである。

図２のフローチャートに沿って合成処理の内容を説明する。まず、ステップＳ１において、処理部２００の制御により、画像Ｐ１，Ｐ２，Ｐ３のイメージデータ及び距離情報（合焦距離１，２，３）が補助記憶部２０３からメモリ２０１に読み込まれる。

ステップＳ２において、処理部２００の制御にしたがって、圧縮／伸長部２０２は、記憶部２０１より画像Ｐ１，Ｐ２，Ｐ３のイメージデータを順次読み込み、２次元ウェーブレット変換までの圧縮処理を実行する。すなわち、圧縮／伸長部２０２は図１０に示したような基本構成であり、色空間変換／逆変換部１００による色空間変換処理と２次元ウェーブレット変換／逆変換部１０１による２次元ウェーブレット変換処理までを実行する。このようにして生成された画像Ｐ１，Ｐ２，Ｐ３の全コンポーネントのウェーブレット変換係数（例えば、図１１に示すようなデコンポジションレベル１，２，３のサブバンドの係数）は、記憶部２０１に保存される。

ステップＳ３において、処理部２００は、各画像Ｐ１，Ｐ２，Ｐ３を、例えば、２×２画素、４×４画素といった小領域に分割する。図３（Ａ）に各画像の領域分割の様子が模式的に示されている。

ステップＳ４で、処理部２００は、１つの小領域を選ぶ。そして、ステップＳ６において、処理部２００は、選択した小領域に対応した各画像の輝度コンポーネントのウェーブレット変換係数から、当該小領域における各画像の高周波成分量を計算する。本例では、その計算方法を次に述べる計算方法（１）〜（５）の中から選択することができる。

計算方法（１）：小領域に対応したＨＬサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３のＨＬサブバンド係数を用いる場合には、高周波成分量は
Yh＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL| (1)式
（ただし、ａ，ｂ，ｃは０以上の定数）
により計算される。ＨＬサブバンド係数は水平方向の高周波成分であるため、この計算方法で求められるのは水平方向の高周波成分量である。

計算方法（２）：小領域に対応したＬＨサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３のＬＨサブバンド係数を用いる場合には、高周波成分量は
Yv＝d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH| (2)式
（ただし、ｄ，ｅ，ｆは０以上の定数）
により計算される。ＬＨサブバンド係数は垂直方向の高周波成分であるため、この計算方法で求められるのは垂直方向の高周波成分量である。

計算方法（３）：小領域に対応したＨＬ，ＬＨの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３の係数を用いる場合には、高周波成分量は
Yhv＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL|+d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH| (3)式
（ただし、ａ，ｂ，ｃ，ｃ，ｄ，ｅ，ｆは０以上の定数）
により計算される。つまり、水平方向及び水平方向の高周波成分量が求められる。

計算方法（４）：小領域に対応したＨＬ，ＬＨ，ＨＨの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜２の係数を用いる場合には、高周波成分量は
Ｙ＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|1LH|+d・Σ|2LH|+e・Σ|1HH|+f・Σ|2HH| (4)式
（ただし、ａ，ｂ，ｃ，ｃ，ｄ，ｅ，ｆは０以上の定数）
により計算される。つまり、水平方向、水平方向及び斜め方向の高周波成分量が求められる。

計算方法（５）：デコンポジションレベル２以上のウェーブレット変換係数を用いて、前記計算方法（１），（２），（３）又は（４）と同様の方法で高周波成分量を計算する。このようにデコンポジションレベル１のウェーブレット変換係数を高周波成分量の計算に用いない方法は、低照度環境で撮影された画像のようなノイズの多い画像の合成処理を行う場合に有利である。ノイズ成分の多くはデコンポジションレベル１のウェーブレット変換係数に反映され、上のレベルのウェーブレット変換係数にはノイズ成分があまり反映されないからである。

さて、以上のようにして、選択された小領域における各画像の高周波成分量が算出されると、ステップＳ７において、処理部２００は、算出された各画像の高周波成分量を比較し、その値が最大となった画像を選択する。そして、ステップＳ８において、処理部２００は、前ステップで選択した画像の当該小領域のウェーブレット変換係数の高周波成分を、記憶部２０１上に予め確保した合成画像用記憶域の対応した小領域に複写し、また、記憶部２０１上に予め確保された距離情報用記憶域に、選択された画像の距離情報（合焦距離）を小領域に対応付けて書き込む。なお、ここで高周波成分として書き込まれるウェーブレット変換係数とは、合焦か非合焦かで値の変化が顕著であるとみなされる係数であり、例えば、デコンポジションレベル数３の場合、デコンポジションレベル１，２の全サブバンド係数や、あるいは、３ＬＬサブバンド係数を除いた全てのサブバンド係数が高周波成分として選ばれる。したがって、画像Ｐ１，Ｐ２，Ｐ３の合焦距離や、それらの合焦距離の差の程度、並びに、ウェーブレット変換のデコンポジションレベル数などを考慮して、適切なサブバンド係数を高周波成分に選ぶべきである。

次のステップＳ９で、処理部２００は、複数の画像Ｐ１，Ｐ２，Ｐ３より選んだ画像のの当該小領域のウェーブレット変換係数の低周波成分（高周波成分以外のサブバンド係数）を、合成画像の当該小領域のウェーブレット変換係数の低周波成分として、合成画像用記憶域の対応小領域に書き込む。これで、合成画像の当該小領域のウェーブレット変換係数の全周波成分が生成されたことになる。

このステップＳ９において、画像Ｐ１，Ｐ２，Ｐ３の中からどの画像を選択するかであるが、（１）中間的な合焦距離で撮影された画像（ここではＰ２）を選択する方法、（２）最長の合焦距離で撮影された画像（ここではＰ３）を選択する方法、（３）小領域毎に高周波成分量が最大の画像を選択する方法、又は、（４）ユーザにより任意に指定された画像を選択する方法のいずれかが採用される。方法（３）が採用される場合には、各小領域で、同じ画像（高周波成分が最大の画像）のウェーブレット変換係数の全成分が複写される形になる。

処理部２００は、ステップＳ４〜Ｓ９を各小領域に関して繰り返すことにより、各小領域について、画像Ｐ１，Ｐ２，Ｐ３の中で高周波数成分量が最大の画像のウェーブレット変換画像の高周波成分が合成画像用記憶域の対応領域に順次複写される。図３（Ａ）に示す画像Ｐ１，Ｐ２，Ｐ３の網掛けした小領域の高周波成分量が３画像間で最も大きい場合には、図３（Ｂ）に示すように、合成画像用記憶域に画像Ｐ１，Ｐ２，Ｐ３の網掛けした小領域のウェーブレット変換係数の高周波成分と、同一の画像又は他の選ばれた画像のウェーブレット変換係数の低周波成分が複写されることになる。そして、このようにして生成された合成画像において、画像Ｐ１のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離１に対応した距離情報を付与され、画像Ｐ２のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離２に対応した距離情報が付与され、画像Ｐ３のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離３に対応した距離情報を付与されることになる。

全ての小領域に対する処理が終了すると（ステップＳ５，Ｙｅｓ）、ステップＳ１０において、処理部２００からの指示に従って、圧縮／伸長部２０２により、合成画像用記憶域に生成された合成画像のウェーブレット変換係数に対する圧縮処理（量子化以降の処理）が行われ、そのコードストリームが記憶部２０１に書き込まれる。そして、ステップＳ１１において、処理部２００の制御により、記憶部２０１に記憶されている合成画像のコードストリームとその距離情報が補助記憶部２０３に転送される。

なお、合成画像のコードストリーム中に、合成画像の距離情報を埋め込んでよい。ＪＰＥＧ２０００のコードストリームの場合、例えば、メインヘッダ中に各小領域に対応した距離情報をコメントとして記述するなどの方法を採用できる。

また、合成画像をイメージデータとして補助記憶部２０３に保存することも可能である。この場合は、ステップＳ１０で逆ウェーブレット変換と逆色空間変換が行われ、得られたイメージデータは距離情報とともにステップＳ１１で補助記憶部２０３へ転送されることになる。

以上の説明から理解されるように、この合成処理例１において、圧縮／伸長部２０２は合成前の元画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用する。また、処理部２００は、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段として、また、複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。

［合成処理の例２］
図４は合成処理の例２を示すフローチャートである。この合成処理例２では、同一画角で異なった合焦距離により撮影された複数の画像が、ＪＰＥＧ２０００のコードストリームとして補助記憶部２０３に蓄積されているものとする。また、説明の簡略化のため、図３（Ａ）に示したような合焦距離１，２，３（距離１＜距離２＜距離３）で撮影された３枚の画像Ｐ１，Ｐ２，Ｐ３を合成するものとする。

図４のフローチャートに沿って合成処理の内容を説明する。まず、ステップＳ２１において、処理部２００の制御により、画像Ｐ１，Ｐ２，Ｐ３のコードストリーム及び距離情報（合焦距離１，２，３）が補助記憶部２０３からメモリ２０１に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。

ステップＳ２２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より画像Ｐ１，Ｐ２，Ｐ３のコードストリームを順次読み込み伸長処理（逆量子化まで）を行う。生成された画像Ｐ１，Ｐ２，Ｐ３のウェーブレット変換係数は記憶部２０１に書き込まれる。距離情報がコードストリームに埋め込まれている場合、伸長処理の過程で距離情報が取り出されて記憶部２０１に書き込まれる。

その後、処理部２００はステップＳ２３〜Ｓ２９を実行し、記憶部２０１に合成画像のウェーブレット変換係数を生成するとともに、合成画像の小領域毎に距離情報を付与する。なお、ステップＳ２３〜Ｓ２９８における処理内容は、図２中の対応ステップＳ３〜Ｓ９と同一であるので、説明を繰り返さない。

そして、ステップＳ３０において、圧縮／伸長部２０２により、合成画像のウェーブレット変換係数に対する圧縮処理（量子化以降の処理）が行われ、そのコードストリームが記憶部２０１に書き込まれる。そして、ステップＳ３１において、処理部２００の制御により、記憶部２０１に記憶されている合成画像のコードストリームとその距離情報が補助記憶部２０３に転送される。

また、合成画像をイメージデータとして補助記憶部２０３に保存することも可能であることは前述の通りである。

以上の説明から理解されるように、この合成処理例２において、圧縮／伸長部２０２は合成前の元画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用する。また、処理部２００は、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段として、また、複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。

［分離再生処理］
以上のようにして生成された合成画像から、その距離情報を利用し、合焦距離の異なる複数の画像を生成することができる。ここでは、合成前の画像Ｐ１，Ｐ２，Ｐ３に近い画像Ｑ１，Ｑ２，Ｑ３を再生するものとして、分離再生処理の具体例を説明する。

［分離再生処理の例１］
図５は分離再生処理の例１を示すフローチャートであり、図６は分離再生処理の説明のための模式図である。ここでは、同一画角で異なった合焦距離により撮影された画像Ｐ１，Ｐ２，Ｐ３から合成された合成画像が、ＪＰＥＧ２０００コードストリームとして補助記憶部２０３に蓄積されているものとする。

図５のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップＳ４１において、処理部２００の制御により、合成画像のコードストリーム及び距離情報が補助記憶部２０３から記憶部２０１に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。

ステップＳ４２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より合成画像のコードストリームを順次読み込み、逆ウェーブレット変換の手前までの伸長処理を行う。この伸長処理により得られたウェーブレット変換係数は、記憶部２０１に書き込まれる。距離情報がコードストリームに埋め込まれている場合には、復号処理の過程で距離情報が取り出されて記憶部２０１に書き込まれる。

処理部２００は、ステップＳ４３において合成画像の小領域を１つ選択する（合成時の小領域のサイズは既知とする）。次に、処理部２００は、ステップＳ４５において、選択した小領域に関する距離情報を参照し、距離１，距離２，距離３のいずれであるか判定し、距離１ならばステップＳ４６へ、距離２ならばステップＳ４７へ、距離３ならばステップＳ４８へに進む。

ステップＳ４６では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ１（距離１）に対応した再生画像Ｑ１用記憶域の対応小領域に書き込む。ステップＳ４７では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ２（距離２）に対応した再生画像Ｑ２用記憶域の対応小領域に書き込む。ステップＳ４８では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ３（距離３）に対応した再生画像Ｑ３用記憶域の対応小領域に書き込む。

図６（Ａ）に模式的に示した合成画像の場合、その全ての小領域に関してステップＳ２６，Ｓ２７，Ｓ２８の処理を繰り返すことにより、図６（Ｂ）に模式的に示した再生画像Ｑ１，Ｑ２，Ｑ３の網掛けされた小領域に、合成画像の対応した小領域のウェーブレット変換係数の高周波成分がそのまま複写されることになる。再生画像Ｑ１，Ｑ２，Ｑ３の網掛けされていない小領域については、ステップＳ４９〜Ｓ５４によってウェーブレット変換係数の高周波成分が生成される。

ステップＳ４９，Ｓ５０は、選択された小領域が距離１の場合の処理ステップである。ステップＳ４９において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離２の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。この際、量子化パラメータは、距離差が大きいほど強く量子化するように決定される。また、量子化パラメータはサブバンド毎、コンポーネント毎に決定される。次のステップＳ４９において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ３用記憶域の対応小領域に書き込む。このような処理により、再生画像Ｑ２，Ｑ３の１つの小領域のウェーブレット変換係数の高周波成分が生成される。

ステップＳ５１，Ｓ５２は、選択された小領域が距離２の場合の処理ステップである。ステップＳ５１において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離２の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。次のステップＳ５２において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離２と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ３用記憶域の対応小領域に書き込む。このような処理により、画像Ｑ１，Ｑ３の１つの小領域のウェーブレット変換係数の高周波成分が生成される。

ステップＳ５３，Ｓ５４は、選択された小領域が距離３の場合の処理ステップである。ステップＳ５３において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。次のステップＳ５４において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離２と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を再生画像Ｑ２用記憶域の対応小領域に書き込む。このような処理により、画像Ｑ１，Ｑ２の１つの小領域のウェーブレット変換係数の高周波成分が生成される。

ステップＳ５０，Ｓ５２，Ｓ５４の次にステップＳ５５に進む。このステップＳ５５において、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の低周波成分を用いて、再生画像Ｑ１，Ｑ２，Ｑ３の当該小領域のウェーブレット変換係数の低周波成分を生成し、それを再生画像Ｑ１，Ｑ２，Ｑ３用記憶域の対応小領域に書き込む。この低周波成分の生成方法として次のような方法を選択することができる。
（１）合成画像の小領域のウェーブレット変換係数の低周波成分をそのまま、全ての再生画像Ｑ１，Ｑ２，Ｑ３の対応小領域のウェーブレット変換係数の低周波成分とする最も簡易な方法。
（２）合成画像の合成時に、特定の合焦距離の画像Ｐｊのウェーブレット変換係数の低周波成分が合成画像のウェーブレット変換係数の低周波成分として用いられた場合に適用される方法であり、合成画像のウェーブレット変換係数の低周波成分を、画像Ｐｊの合焦距離と再生画像Ｑｉの合焦距離の距離差に応じた量子化パラメータにより量子化したものを、再生画像Ｑｉのウェーブレット変換係数の低周波成分とする方法。この方法の場合、各再生画像のウェーブレット変換係数の低周波成分を生成する処理は、図５のステップＳ４６〜Ｓ５４と類似した処理となる。
（３）合成画像の合成時に、小領域毎に、高周波成分量が最大の画像のウェーブレット変換係数の低周波成分が合成画像のウェーブレット変換係数の低周波成分として用いられた場合に適用される方法であり、小領域毎に、合成画像の合焦距離と同じ合焦距離の再生画像のウェーブレット変換係数の低周波成分として、合成画像のウェーブレット変換係数の低周波成分をそのまま（量子化せずに）用い、合成画像の合焦距離と異なる合焦距離の再生画像のウェーブレット変換係数の低周波成分として、その合成距離の距離差に応じた量子化パラメータにより合成画像のウェーブレット変換係数の低周波成分を量子化したものを用いる方法。この方法の場合、各再生画像のウェーブレット変換係数の低周波成分を生成する処理は、図５のステップＳ２５〜Ｓ３４と同じ処理となる。したがって、ステップＳ４６〜Ｓ５４において、ウェーブレット変換係数の高周波成分と低周波成分をまとめて処理することにより、再生画像のウェーブレット変換係数の高周波成分と低周波成分をまとめて生成することができるため、ステップＳ５５を省くことも可能である。

ステップＳ５０，Ｓ５２，Ｓ５４からステップＳ４３に戻り、別の小領域に関し同様の処理が行われる。ステップＳ４３〜Ｓ５５の処理が繰り返され、再生画像Ｑ１，Ｑ２，Ｑ３用記憶域の全ての小領域へのウェーブレット変換係数の書き込みが終わると（ステップＳ４４，Ｙｅｓ）、ステップＳ５６に進み、処理部２００からの指示に従い、圧縮／伸長部２０２において、再生画像Ｑ１，Ｑ２，Ｑ３用記憶域より各再生画像のウェーブレット変換係数が読み込まれ、逆ウェーブレット変換と逆色空間変換が順に行われることにより、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータが記憶部２０１上に生成される。このような再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータは、合成前の画像Ｐ１，Ｐ２，Ｐ３のイメージデータと完全に同一というわけではないが、かなり近似したものである。このようにして生成された再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータは、ステップＳ５６で、処理部２００の制御により補助記憶部２０３へ転送される。

以上の説明から理解されるように、この分離再生処理例１において、圧縮／伸長部２０２は合成画像のコードストリームから、合成画像のウェーブレット変換係数（広義には周波数変換係数）を生成する手段として作用し、また、各再生画像のウェーブレット変換係数からイメージデータを生成する手段として作用する。また、処理部２００は、合成画像のウェーブレット変換係数（広義には周波数変換係数）から、合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段として作用し、また、合成画像の小領域の周波数変換係数の低周波成分を用いて再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。

なお、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータをデータ入出力部２０４を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップＳ５６で、圧縮／伸長部２０２により、画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部２０３に保存したり、あるいは、データ入出力部２０４を通じて外部へ出力することも可能である。さらに、再生画像のウェーブレット変換係数をそのまま補助記憶部２０３に保存することも可能である。

［分離再生処理の例２］
図７は分離再生処理の例２を示すフローチャートである。ここでは、同一画角で異なった合焦距離により撮影された画像Ｐ１，Ｐ２，Ｐ３から合成された合成画像がイメージデータとして補助記憶部２０３に蓄積されているものとする。

図７のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップＳ６１において、処理部２００の制御により、合成画像のイメージデータ及び距離情報が補助記憶部２０３から記憶部２０１に読み込まれる。

ステップＳ６２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より合成画像のイメージデータを読み込み、量子化処理の手前までの圧縮処理を行う。この圧縮処理により得られたウェーブレット変換係数は、記憶部２０１に書き込まれる。

ステップＳ６３において、処理部２００は図５のステップＳ４３〜Ｓ５５と同様の処理を行うことにより、合成前の画像Ｐ１，Ｐ２，Ｐ３に対応する再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数の高周波成分及び低周波成分を生成する。そして、ステップＳ６４において、処理部２００からの指示に従い、圧縮／伸長部２０２は、再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し逆ウェーブレット変換と逆色空間変換を順に行うことにより、各画像のイメージデータを記憶部２０１上に生成する。このイメージデータは、ステップＳ６５で、処理部２００の制御により補助記憶部２０３へ転送される。

以上の説明から理解されるように、この分離再生処理例２において、圧縮／伸長部２０２は合成画像のイメージデータから、合成画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用し、また、各再生画像のウェーブレット変換係数に対し逆ウェーブレット変換（広義には逆周波数変換）を行ってイメージデータを生成する手段として作用する。また、処理部２００は、合成画像のウェーブレット変換係数（広義には周波数変換係数）から、複数の再生画像のウェーブレット変換係数（広義には周波数変換係数）の高周波成分と低周波成分をそれぞれ生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。

なお、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータをデータ入出力部２０４を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップＳ６４で、圧縮／伸長部２０２により、再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部２０３に保存したり、あるいは、データ入出力部２０４を通じて外部へ出力することも可能である。

本発明に係る画像処理装置に関する説明は、本発明の画像処理方法の説明でもある。すなわち、図２，図４，図５又は図７のフローチャートは、本発明の画像処理方法の処理手順例を示すものでもある。このような処理手順を、コンピュータを利用しプログラムにより実行することも可能である。そのようなプログラム、及び、同プログラムが記録された各種の情報記録（記憶）媒体も本発明に包含される。

［撮像装置］
さて、前述の画像合成処理を適用するためには、同じ画角で、異なった合焦距離で画像を複数枚撮影する必要があるが、このような撮影を自動的に行う機能は従来のデジタルカメラなどの撮像装置には装備されていない。このような機能と、前述の本発明の画像処理装置の画像合成処理の機能を有する、本発明の撮像装置について図８及び図９を参照し説明する。

図８はかかる撮像装置の一例を示すブロック図である。図８において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とアナログ／デジタル変換回路（Ａ／Ｄ変換回路）からなる。３０３は信号処理部であり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この信号処理部３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。

以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び信号処理部３０３は、全体として、被写体を撮影して画像のイメージデータを取得する撮像手段を構成している。

３０７は例えばＪＰＥＧ２０００準拠の圧縮／伸長部であり、これは撮影された画像のイメージデータの圧縮処理と、圧縮されたコードストリームの伸長処理に利用される。３０８は交換可能な記録媒体（例えば各種のメモリカード）であり、圧縮／伸長部３０７で圧縮されたコードストリームが記録される。３０９は外部インターフェース部であり、これを介して外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。

３０６は制御部であり、例えばマイクロコンピュータからなる。この制御部３０６は、操作部３１０から入力されるユーザの操作情報や信号処理部３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、フォーカス機構や、信号処理部３０３、圧縮／伸長部３０７、記録媒体３０８などの制御を行う。３０５はメモリであり、画像のデータなどの一時記憶域として利用され、また、信号処理部３０３、制御部３０６、圧縮／伸長部３０７の作業記憶域として利用される。操作部３１０は、撮像装置の操作のためのレリーズボタン、その他の操作ボタン（スイッチ）などからなる。

この撮像装置の基本的な動作は従来のデジタルカメラなどと同様であるので、その説明は割愛し、この撮像装置の特有の機能に関連した動作について図９に示すフローチャートを参照し説明する。この動作を制御する手段、すなわち、レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段は、例えば、制御部３０６を構成するマイクロコンピュータにプログラムの形で組み込まれている。

制御部３０６は、操作部３１０のレリーズボタンの押下を検出すると（ステップＳ７１，Ｙｅｓ）、その時点における撮像光学系３００の合焦距離から、当該合焦距離を含む複数の異なる合焦距離Ｄ1，Ｄ2,…,ＤNを設定する（ステップＳ７２）。例えば、レリーズボタンの押下時の合焦距離（オートフォーカス機能により設定された合焦距離又はマニュアル設定された合焦距離）を中心として、予め設定された距離差を持たせるように各合焦距離を設定する。

次に、制御部３０６は、カウンタｉを０に設定し（ステップＳ７３）、撮像光学系３００の合焦距離を合焦距離Ｄiに一致させるようにフォーカス機構を作動させて画像を１枚させる制御を行う（ステップＳ７４）。そして、撮影された画像のイメージデータを圧縮／伸長部３０７で圧縮させ、そのコードストリームを合焦距離Ｄｉの情報とともに記録媒体３０８に書き込ませる（ステップＳ７５）。

次に、制御部３０６はカウンタｉをインクリメントし（ステップＳ７６）、インクリメント後のカウンタｉの値と規定値Ｎとの比較判定を行う（ステップＳ７７）。カウンタｉの値がＮ以下ならば（ステップＳ７７，Ｎｏ）、制御部３０６は、ステップＳ５４以降の制御を行い、別の合焦距離Ｄiで２枚目の画像を撮影させ、その画像のコードストリームを記録媒体３０８に記録させる。

同様の制御により、ステップＳ５２で設定された全ての合焦距離での撮影が終わると、カウンタｉの値は規定値Ｎを越えるため（ステップＳ７７，Ｙｅｓ）、一連の撮影動作を終了させる。なお、いずれの合焦距離による撮影においても画角は同一とする。

なお、撮影された画像のイメージデータを圧縮せずに記録媒体３０８に記録したり、それを外部インターフェース部３０９を介して外部のパソコンなどへ転送することも可能である。

また、この撮像装置には、図１乃至図４により説明した本発明の画像合成のための手段、すなわち、撮像手段により、同一の画角で異なった合焦距離で撮影された複数の画像（元画像）間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて前記合成画像の周波数変換係数の高周波成分を生成する手段と、前記複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段からなる合成処理手段が組み込まれている。このような手段は、例えば、制御部３０６を構成するマイクロコンピュータ、及び／又は、信号処理部３０３を構成するデジタル信号プロセッサに、プロクラムの形で組み込まれている。かかる構成によれば、撮像装置内で、撮影した複数枚の画像に対し前述の合成処理を実行することができる。

なお、前述した合成画像から複数の画像を再生する再生処理のための機能を撮像装置に組み込むことも可能であり、かかる構成の撮像装置も本発明に含まれる。

本発明に係る画像処理装置を説明するためのブロック図である。 合成処理の一例を示すフローチャートである。 合成処理の説明のための模式図である。 合成処理の他の一例を示すフローチャートである。 分離再生処理の一例を示すフローチャートである。 分離再生処理の説明のための模式図である。 分離再生処理の他の一例を示すフローチャートである。 同一画角で合焦距離を変化させて撮影する機能を有する撮像装置の一例を示すブロック図である。 撮像装置の動作を説明するためのフローチャートである。 ＪＰＥＧ２０００の圧縮／伸長処理を説明するためのブロック図である。 デコンポジションレベル数３のウェーブレット変換によるサブバンド分割を示す図である。

符号の説明

２００ 処理部
２０１ 記憶部
２０２ 圧縮／伸長部
２０３ 補助記憶部
２０４ データ入出力部
Ｐ１，Ｐ２，Ｐ３ 合成前の画像
Ｑ１，Ｑ２，Ｑ３ 再生画像
３００ 撮像光学系
３０１ イメージャ
３０２ ＣＤＳ・Ａ／Ｄ変換部
３０３ 信号処理部
３０６ 制御部
３０７ 圧縮／伸長部
３０８ 記録媒体
３１０ 操作部

Claims (2)

1. 同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像合成処理方法であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像合成処理方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理装置であって、
   合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段と、
   合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段と、
   を有することを特徴とする画像処理装置。
2. 同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像合成処理方法であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像合成処理方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理方法であって、
   合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する処理と、
   合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する処理と、
   を含むことを特徴とする画像処理方法。

Images