JP6453694B2 - 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 - Google Patents

Description

本発明は、画像合成装置、画像合成方法、画像合成プログラム及び記録媒体に関する。

従来、画像合成技術として、ポワソンブレンドが知られている（例えば、特許文献１参照）。このポワソンブレンドは、合成対象となる２つの画像間の勾配の誤差を最小化するように合成する手法である。ポワソンブレンドでは、一般に用いられるアルファブレンドと比べて合成された２つの画像の境界が目立ちにくい。

米国特許出願公開第２００４／０１６５７８８号明細書

しかしながら、ポワソンブレンドが最適化する画像の勾配は、ｘ方向の成分とｙ方向の成分とを有するベクトル場であり、一般的なベクトル場は勾配としての正しい性質を有しない（可積分性が低い)ことがある。ポワソンブレンドは、可積分性を保ちつつ、目的となる勾配に近い勾配を求める手法である。したがって、目的とする勾配の可積分性が低い場合には、最適化によって目的値から大きく乖離した結果をもたらす可能性がある。この乖離に起因する局所的な画像信号の歪みによって、意図しない色が現れ、アーティファクトとして知覚されるおそれがある。

数学的な制約による画像信号の歪みを抑えつつ、合成された２つの画像の境界が目立ちにくく、違和感のない合成画像を生成可能な画像合成装置、画像合成方法、画像合成プログラム、並びに、画像合成プログラムを格納した記録媒体が望まれている。

本発明の一態様に係る画像合成装置は、第１画像に第２画像を合成して合成画像を生成する画像合成装置である。この画像合成装置は、複数の解像度の第１画像及び第２画像を取得する画像取得部と、複数の解像度の第１画像、及び、複数の解像度の第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、複数の解像度の第１画像の低周波成分と、複数の解像度の第２画像の高周波成分と、に基づいて、合成画像を生成する画像合成部と、を備える。

この画像合成装置によれば、複数の解像度の第１画像の低周波成分と、複数の解像度の第２画像の高周波成分と、に基づいて、合成画像が生成される。低周波成分には全体的な輝度及び色合いが含まれており、高周波成分にはテクスチャが含まれる。このため、合成画像の輝度及び色合いを背景画像の輝度及び色合いに合わせながら、前景画像のテクスチャ（詳細な模様）を反映することが可能となる。また、合成画像は様々な周波数成分の合成によって生成されるので、ポワソンブレンドのような数学的な制約による画像信号の歪みが生じることは理論的にはない。その結果、数学的な制約による画像信号の歪みを抑えつつ、合成された２つの画像の境界が目立ちにくく、違和感のない合成画像を生成可能となる。

画像取得部は、第１解像度の第１画像の低周波成分及び第１解像度の第２画像の低周波成分をそれぞれ縮小することによって、第１解像度よりも小さい第２解像度の第１画像及び第２解像度の第２画像を生成してもよい。この場合、第１画像及び第２画像の低解像度化を容易化することが可能となる。

画像合成部は、解像度ごとに合成画像を生成してもよく、画像合成部は、生成した第２解像度の合成画像を拡大し、拡大した第２解像度の合成画像の合成対象の領域でない非合成対象領域を、第１解像度の第１画像における非合成対象領域に対応する領域で置き換えた後に、拡大した第２解像度の合成画像の合成対象の領域である合成対象領域の高周波成分と、第１解像度の第２画像の高周波成分に基づいて定められた目標高周波成分と、の差分が最小となるように、合成対象領域に目標高周波成分を合成することによって、第１解像度の合成画像を生成してもよい。この構成によれば、拡大された第２解像度の合成画像の非合成対象領域が第１解像度の第１画像における非合成対象領域に対応する領域で置き換えられるので、第１解像度の合成画像における非合成対象領域には、第１解像度の第１画像がそのまま再現される。そして、非合成対象領域に第１解像度の第１画像が再現された後に、合成対象領域の高周波成分と、目標高周波成分と、の差分が最小となるように、合成対象領域に第１解像度の目標高周波成分が合成される。このため、合成対象領域と非合成対象領域との境界における変化が低減されるとともに、第１解像度の合成画像における合成対象領域には、全体的な輝度及び色合いを変えることなく、第１解像度の第２画像のテクスチャが再現される。その結果、合成された２つの画像の境界をさらに目立ちにくくすることができ、さらに違和感のない合成画像を生成することが可能となる。さらに、解像度の小さい第２画像から順に、高周波成分を合成しているので、計算時間を短縮することが可能となる。

画像合成部は、複数の解像度の第１画像のうち最低解像度の第１画像を最低解像度の合成画像としてもよい。第１画像の最低周波数成分には、第１画像の全体的な輝度及び色合いが含まれている。このため、第１画像の最低周波数成分を最低解像度の合成画像とすることによって、全体的な輝度及び色合いを第１画像に合わせることが可能となる。

本発明の別の態様に係る画像合成装置は、合成対象領域及び非合成対象領域を規定するマスク画像であって、複数の解像度のマスク画像を取得するマスク画像取得部をさらに備えてもよい。画像合成部は、解像度ごとのマスク画像を用いて、当該解像度の合成画像を生成してもよい。この場合、マスク画像の解像度を低下させることによって、各解像度の合成対象領域及び非合成対象領域を規定することができる。このため、各解像度における合成対象領域及び非合成対象領域の規定を容易化することが可能となる。

マスク画像取得部は、第１解像度のマスク画像を所定の画素数のブロックに分割し、ブロックに合成対象領域が含まれている場合には、当該ブロックを合成対象領域の画素とし、ブロックに合成対象領域が含まれていない場合には、当該ブロックを非合成対象領域の画素とすることによって、第２解像度のマスク画像を生成してもよい。この場合、解像度が低いマスク画像ほど、マスク画像における合成対象画素の占める領域を拡大することができる。このため、画像合成において、ある解像度における合成対象領域には、その解像度よりも小さい解像度の目標高周波成分が合成されており、合成対象領域と非合成対象領域との境界周辺にもその解像度よりも小さい解像度の目標高周波成分が合成されている。したがって、第２画像の再現性を向上できるとともに、合成された２つの画像の境界をさらに目立ちにくくすることができ、さらに違和感のない合成画像を生成することが可能となる。

周波数成分算出部は、解像度ごとに、当該解像度の第１画像から当該解像度の第１画像の低周波成分を減算することによって、当該解像度の第１画像の高周波成分を算出してもよく、当該解像度の第２画像から当該解像度の第２画像の低周波成分を減算することによって、当該解像度の第２画像の高周波成分を算出してもよい。この場合、各解像度の第１画像の高周波成分、及び、各解像度の第２画像の高周波成分を簡単な計算によって算出することができる。

本発明のさらに別の態様に係る画像合成方法は、第１画像に第２画像を合成して合成画像を生成する画像合成装置が行う画像合成方法である。この画像合成方法は、複数の解像度の第１画像及び第２画像を取得する画像取得ステップと、複数の解像度の第１画像、及び、複数の解像度の第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出ステップと、複数の解像度の第１画像の低周波成分と、複数の解像度の第２画像の高周波成分と、に基づいて、合成画像を生成する画像合成ステップと、を含む。

この画像合成方法によれば、上述した本発明の一態様に係る画像合成装置と同様の効果を奏することができる。

本発明のさらに別の態様に係る画像合成プログラムは、第１画像に第２画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムである。この画像合成プログラムは、複数の解像度の第１画像及び第２画像を取得する画像取得部と、複数の解像度の第１画像、及び、複数の解像度の第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、複数の解像度の第１画像の低周波成分と、複数の解像度の第２画像の高周波成分と、に基づいて、合成画像を生成する画像合成部と、してコンピュータを機能させる。

この画像合成プログラムによれば、上述した本発明の一態様に係る画像合成装置と同様の効果を奏することができる。

本発明のさらに別の態様に係る記録媒体は、第１画像に第２画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体である。この記録媒体に記録された画像合成プログラムは、複数の解像度の第１画像及び第２画像を取得する画像取得部と、複数の解像度の第１画像、及び、複数の解像度の第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、複数の解像度の第１画像の低周波成分と、複数の解像度の第２画像の高周波成分と、に基づいて、合成画像を生成する画像合成部と、してコンピュータを機能させる。

この記録媒体によれば、上述した本発明の一態様に係る画像合成装置と同様の効果を奏することができる。

本発明によれば、数学的な制約による画像信号の歪みを抑えつつ、合成された２つの画像の境界が目立ちにくく、違和感のない合成画像の生成が可能となる。

本実施形態に係る画像合成装置を備える携帯端末の機能ブロック図である。 図１の画像合成装置が搭載される携帯端末のハードウェア構成図である。 高周波成分算出処理及び低解像度化処理を説明するための図である。 マスク画像縮小処理を説明するための図である。 前処理を説明するための図である。 前処理を説明するための図である。 図１の画像合成装置が行う画像合成方法の一連の処理を示すフローチャートである。 背景画像、前景画像及びマスク画像の一例を示す図である。 各レイヤの背景画像、前景画像、高周波成分及びマスク画像の一例を示す図である。 合成画像の一例を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

本実施形態に係る画像合成装置は、背景画像（第１画像）に前景画像（第２画像）を合成することによって、合成画像を生成する装置である。ここで、前景画像及び背景画像は画像合成の対象となる画像であって、前景画像は合成元の画像であり、背景画像は合成先の画像である。合成画像は、背景画像の所定領域に前景画像を合成した画像であり、例えば背景画像と同じサイズを有している。本実施形態に係る画像合成装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。また、画像合成装置は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image Signal Processor）なども含む趣旨である。なお、以下では、説明理解の容易性を考慮し、一例として、携帯端末に搭載される画像合成装置を説明する。

図１は、本実施形態に係る画像合成装置１を備える携帯端末２の機能ブロック図である。図１に示される携帯端末２は、例えばユーザによって携帯される移動端末であり、図２に示されるハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示されるように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＡＭ（Random Access Memory）１０１及びＲＯＭ（Read Only Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク又は半導体メモリ等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像合成装置１の各機能は、ＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像合成装置１がＣＰＵ１００、ＲＡＭ１０１及びＲＯＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。

図１に示されるように、携帯端末２は、画像合成装置１と、表示部２１と、を備えている。画像合成装置１は、機能的には、画像取得部１０と、周波数成分算出部１３と、目標高周波成分算出部１４と、マスク画像取得部１５と、画像合成部１８と、出力部１９と、を備えている。

画像取得部１０は、複数の解像度の前景画像及び複数の解像度の背景画像を取得する。画像取得部１０は、所定の解像度（第１解像度）の前景画像の低周波成分及び所定の解像度の前景画像の低周波成分をそれぞれ縮小することによって、所定の解像度よりも１段階小さい解像度（第２解像度）の前景画像及び背景画像を生成する。具体的には、画像取得部１０は、画像入力部１１及び低解像度化部１２を備えている。

画像入力部１１は、合成対象の前景画像と背景画像とを入力する機能を有している。画像入力部１１は、例えば、カメラ等の撮像装置によって撮像された画像を前景画像又は背景画像として入力してもよく、別の機器からネットワーク等を介して送信された画像を前景画像又は背景画像として入力してもよい。画像入力部１１は、背景画像に前景画像を合成するための合成情報を入力する。例えば、携帯端末２のユーザは、タッチパネル等の入力デバイス１０３を用いて、前景画像に平行移動、拡大縮小、及び回転等の処理を施すことによって、合成する前景画像の大きさ、向き、及び背景画像上の合成位置を指定する。画像入力部１１は、例えば、携帯端末２のユーザが入力デバイス１０３を用いて指定した前景画像の大きさ、前景画像の向き、合成位置等を示す合成情報を入力する。画像入力部１１は、入力した前景画像、背景画像及び合成情報を周波数成分算出部１３に出力し、入力した背景画像及び合成情報を画像合成部１８に出力する。

低解像度化部１２は、周波数成分算出部１３によって算出された所定の解像度の前景画像の低周波成分及び所定の解像度の前景画像の低周波成分をそれぞれ縮小することによって、所定の解像度よりも１段階小さい解像度の前景画像及び背景画像を生成する機能を有している。低解像度化部１２は、例えば所定の解像度の前景画像の低周波成分をサブサンプリングすることによって、解像度を半分とした低解像度の前景画像を生成し、所定の解像度の背景画像の低周波成分をサブサンプリングすることによって、解像度を半分とした低解像度の背景画像を生成する。ここで、各画像の元画像をレイヤ０の画像といい、元画像に対して（１／２）^ｋの解像度の画像をレイヤｋの画像という。つまり、レイヤが大きくなるほど、解像度は小さくなる。ここで、ｋは０〜Ｎの整数値である。Ｎは、例えば入力した前景画像及び背景画像を縦横１／２ずつ縮小する低解像度化処理を繰り返した場合に、縮小された画像のサイズが予め定められた値を下回るときの低解像度化処理の回数として決定され得る。低解像度化部１２は、生成したレイヤ１〜Ｎの前景画像及び背景画像を周波数成分算出部１３に出力し、レイヤ１〜Ｎの背景画像を画像合成部１８に出力する。なお、以下において、「解像度」をその解像度に対応する「レイヤ」として説明する場合がある。

周波数成分算出部１３は、複数の解像度の前景画像、及び、複数の解像度の背景画像からそれぞれ低周波成分及び高周波成分を算出する機能を有している。周波数成分算出部１３は、画像入力部１１によって入力された前景画像及び背景画像、並びに、低解像度化部１２によって生成された低解像度の前景画像及び背景画像のそれぞれについて、低周波成分及び高周波成分を算出する。つまり、周波数成分算出部１３は、レイヤ０〜Ｎ−１の前景画像及び背景画像のそれぞれについて、低周波成分及び高周波成分を算出する。この低周波成分及び高周波成分の算出は、背景画像の座標系を用いて行われ、前景画像の低周波成分及び高周波成分の算出は、画像入力部１１から出力された合成情報が示す合成情報に基づいて行われる。周波数成分算出部１３は、レイヤ０〜Ｎ−１の前景画像及び背景画像の低周波成分を低解像度化部１２に出力し、レイヤ０〜Ｎ−１の前景画像及び背景画像の高周波成分を目標高周波成分算出部１４に出力する。

図３を用いて、低解像度化部１２及び周波数成分算出部１３の処理を具体的に説明する。図３は、周波数成分算出処理及び低解像度化処理を説明するための図である。周波数成分算出部１３は、例えば、周波数成分の算出対象となる画像であるレイヤｋの対象画像Ｉ^ｋに含まれる全ての画素の画素値Ｉ^ｋ _ｉ，ｊについてそれぞれ当該画素の低周波成分Ｌ^ｋ _ｉ，ｊ及び高周波成分Ｈ^ｋ _ｉ，ｊを算出する。なお、以下の説明において、画像等を示す符号に添えられた番号ｉは、当該画像等の画素の列番号を示し、画像等を示す符号に添えられた番号ｊは、当該画像等の画素の行番号を示している。図３の例では、ｉは０〜３の整数値、ｊは０〜３の整数値である。

具体的に説明すると、周波数成分算出部１３は、まず、周波数成分の算出対象となる画素である対象画素の低周波成分Ｌ^ｋ _ｉ，ｊを算出する。低周波成分の算出には、例えば、ローパスフィルタが用いられ、対象画素及び対象画素の周囲の８画素を含む３×３画素の画素値の平均が計算されることによって、対象画素の低周波成分が算出される。そして、周波数成分算出部１３は、対象画素の画素値Ｉ^ｋ _ｉ，ｊから当該対象画素の低周波成分Ｌ^ｋ _ｉ，ｊを減算することによって、当該対象画素の高周波成分Ｈ^ｋ _ｉ，ｊを算出する。そして、低解像度化部１２が、レイヤｋの対象画像Ｉ^ｋの低周波成分Ｌ^ｋをサブサンプリングすることによって、レイヤｋ＋１の画像Ｉ^ｋ＋１を生成する。低解像度化部１２及び周波数成分算出部１３は、レイヤ０〜Ｎ−１の前景画像及び背景画像に対して上記処理を行う。つまり、周波数成分算出部１３は、解像度ごとに、当該解像度の前景画像から当該解像度の前景画像の低周波成分を減算することによって、当該解像度の前景画像の高周波成分を算出し、当該解像度の背景画像から当該解像度の背景画像の低周波成分を減算することによって、当該解像度の背景画像の高周波成分を算出する。

目標高周波成分算出部１４は、周波数成分算出部１３によって算出された前景画像の高周波成分に基づいて、目標高周波成分を算出する機能を有している。目標高周波成分算出部１４は、各レイヤにおいて、前景画像の高周波成分に基づいて、目標高周波成分を算出する。目標高周波成分算出部１４は、例えば、前景画像の高周波成分と背景画像の高周波成分とを合成することによって、目標高周波成分を算出する。算出方法は適宜選択され、選択された算出方法によって合成画像が異なる。目標高周波成分算出部１４は、例えば、式（１）に示されるように、各画素について、レイヤｋの前景画像の高周波成分Ｈ_ｆｇ ^ｋ _＿ｉ，ｊをレイヤｋの目標高周波成分Ｈ_ｄｓｔ ^ｋ _＿ｉ，ｊとして算出してもよい。

目標高周波成分算出部１４は、例えば、式（２）に示されるように、各画素について、レイヤｋの前景画像の高周波成分Ｈ_ｆｇ ^ｋ _＿ｉ，ｊ及びレイヤｋの背景画像の高周波成分Ｈ_ｂｇ ^ｋ _＿ｉ，ｊのうち、絶対値の大きい方をレイヤｋの目標高周波成分Ｈ_ｄｓｔ ^ｋ _＿ｉ，ｊとして算出してもよい。

目標高周波成分算出部１４は、例えば、式（３）に示されるように、各画素について、レイヤｋの前景画像の高周波成分Ｈ_ｆｇ ^ｋ _＿ｉ，ｊ及びレイヤｋの背景画像の高周波成分Ｈ_ｂｇ ^ｋ _＿ｉ，ｊをアルファブレンディングすることによって、レイヤｋの目標高周波成分Ｈ_ｄｓｔ ^ｋ _＿ｉ，ｊを算出してもよい。なお、αは０〜１の値である。目標高周波成分算出部１４は、算出したレイヤ０〜Ｎ−１の目標高周波成分を画像合成部１８に出力する。

マスク画像取得部１５は、複数の解像度のマスク画像を取得する。マスク画像は、合成対象の領域である合成対象領域、及び、合成対象の領域でない非合成対象領域を規定する画像である。マスク画像は、合成対象の画素である合成対象画素によって合成対象領域を規定し、合成対象でない画素である非合成対象画素によって非合成対象領域を規定している。マスク画像は２値の画像であり、例えば、マスク画像における１の画素値を有する画素は合成対象画素を示し、０の画素値を有する画素は非合成対象画素を示している。マスク画像は、例えば前景画像と同じサイズである。マスク画像取得部１５は、所定の解像度のマスク画像を所定の画素数のブロックに分割し、ブロックに合成対象領域が含まれている場合には、当該ブロックを合成対象領域の画素とし、ブロックに合成対象領域が含まれていない場合には、当該ブロックを非合成対象領域の画素とすることによって、当該解像度よりも１段階小さい解像度のマスク画像を生成する。具体的には、マスク画像取得部１５は、マスク画像入力部１６及びマスク画像縮小部１７を備えている。

マスク画像入力部１６は、マスク画像を入力する機能を有している。マスク画像入力部１６は、例えば、携帯端末２のユーザがタッチパネル等の入力デバイス１０３を用いて指定したマスク画像、又は、アプリケーションによって自動生成されたマスク画像を入力する。マスク画像入力部１６は、入力したマスク画像をマスク画像縮小部１７に出力する。

マスク画像縮小部１７は、マスク画像入力部１６によって入力されたマスク画像を縮小する機能を有している。マスク画像縮小部１７は、例えば、マスク画像を２×２画素のブロックに分割し、当該ブロック内のいずれかの画素が合成対象画素である場合は、当該ブロックを１画素の合成対象画素とし、当該ブロック内のすべての画素が非合成対象画素である場合は、当該ブロックを１画素の非合成対象画素とする。つまり、マスク画像縮小部１７は、２×２画素のブロック内における合成対象画素の論理和によって、マスク画像を１／２の解像度のマスク画像に縮小する。

合成対象画素の画素値が１であり、非合成対象画素の画素値が０である場合には、マスク画像縮小部１７は、２×２画素のブロック内における画素値の論理和によって、マスク画像を１／２の解像度のマスク画像に縮小する。なお、前景画像及び背景画像と同様に、マスク画像の元画像をレイヤ０のマスク画像といい、元画像に対して（１／２）^ｋの解像度のマスク画像をレイヤｋのマスク画像という。マスク画像が縮小されるにつれて、マスク画像における合成対象画素の占める領域、つまり合成対象領域が拡大する。マスク画像縮小部１７は、レイヤ１〜Ｎ−１のマスク画像を生成し、レイヤ０〜Ｎ−１のマスク画像を画像合成部１８に出力する。

図４を用いて、マスク画像縮小部１７の処理を具体的に説明する。図４は、マスク画像縮小処理を説明するための図である。マスク画像縮小部１７は、例えば、レイヤｋのマスク画像Ｍ^ｋを２×２画素のブロック（ブロックＢ１、ブロックＢ２、ブロックＢ３及びブロックＢ４）に分割する。ブロックＢ１では、全ての画素が非合成対象画素Ｍｂｇである。このため、ブロックＢ１には非合成対象領域Ｒｂｇが含まれており、合成対象領域Ｒｆｇが含まれていないので、レイヤｋ＋１のマスク画像Ｍ^ｋ＋１において、ブロックＢ１に対応する画素は非合成対象画素Ｍｂｇに設定される。ブロックＢ２では、２つの画素が合成対象画素Ｍｆｇであり、２つの画素が非合成対象画素Ｍｂｇである。このため、ブロックＢ２には合成対象領域Ｒｆｇ及び非合成対象領域Ｒｂｇが含まれているので、レイヤｋ＋１のマスク画像Ｍ^ｋ＋１において、ブロックＢ２に対応する画素は合成対象画素Ｍｆｇに設定される。ブロックＢ３では、１つの画素が合成対象画素Ｍｆｇであり、３つの画素が非合成対象画素Ｍｂｇである。このため、ブロックＢ３には合成対象領域Ｒｆｇ及び非合成対象領域Ｒｂｇが含まれているので、レイヤｋ＋１のマスク画像Ｍ^ｋ＋１において、ブロックＢ３に対応する画素は合成対象画素Ｍｆｇに設定される。ブロックＢ４では、全ての画素が合成対象画素Ｍｆｇである。このため、ブロックＢ４には合成対象領域Ｒｆｇが含まれているので、レイヤｋ＋１のマスク画像Ｍ^ｋ＋１において、ブロックＢ４に対応する画素は合成対象画素Ｍｆｇに設定される。このようにして、マスク画像縮小部１７は、マスク画像Ｍ^ｋからマスク画像Ｍ^ｋ＋１を生成する。

画像合成部１８は、複数の解像度の背景画像の低周波成分と、複数の解像度の前景画像の高周波成分と、に基づいて、合成画像を生成する機能を有している。画像合成部１８は、解像度ごとに合成画像を生成する。画像合成部１８は、解像度ごとのマスク画像を用いて、当該解像度の合成画像を生成する。画像合成部１８は、全体的な輝度及び色みを背景画像にそろえるために、複数の解像度の背景画像のうち最低解像度であるレイヤＮの背景画像をそのままレイヤＮの合成画像とする。画像合成部１８は、レイヤｋ＋１の合成画像に対して前処理及び最適化処理を行ってレイヤｋの合成画像を生成する。なお、画像合成部１８の処理は、背景画像の座標系を用いて行われる。

まず、画像合成部１８の前処理を説明する。前処理では、画像合成部１８は、生成した所定の解像度の合成画像を拡大し、拡大合成画像を生成する。そして、画像合成部１８は、当該解像度の拡大合成画像の非合成対象領域を、当該解像度よりも１段階大きい解像度の背景画像における非合成対象領域に対応する領域で置き換える。以下、前処理を詳細に説明する。画像合成部１８は、レイヤｋ＋１の合成画像を２倍に拡大し、拡大合成画像を生成する。この拡大処理は、例えば最近傍法によって行われる。画像合成部１８は、拡大合成画像の所定の位置にレイヤｋのマスク画像を適用する。マスク画像が適用される位置は、拡大合成画像において、画像入力部１１から出力された合成情報によって示される合成位置に対応する位置である。そして、画像合成部１８は、拡大合成画像において、マスク画像の非合成対象画素に対応する画素の画素値を、レイヤｋの背景画像の画素の画素値に置き換える。このとき、画像合成部１８は、拡大合成画像において、マスク画像の範囲外の画素に対応する画素の画素値を、その画素に対応するレイヤｋの背景画像の画素の画素値に置き換える。これにより、画像合成部１８は、レイヤｋの合成前画像を生成する。

図５及び図６を用いて、画像合成部１８の前処理を具体的に説明する。図５及び図６は、前処理を説明するための図である。図５に示されるように、画像合成部１８は、レイヤｋ＋１の合成画像Ｏ^ｋ＋１を２倍に拡大した拡大合成画像Ｏｘ^ｋ＋１を生成する。画像合成部１８は、例えば、合成画像Ｏ^ｋ＋１の各画素について、当該画素と同じ画素値を有する２×２の画素に拡大することによって、拡大合成画像Ｏｘ^ｋ＋１を生成する。そして、画像合成部１８は、拡大合成画像Ｏｘ^ｋ＋１に図６の（ａ）に示されるレイヤｋのマスク画像Ｍ^ｋを適用し、マスク画像Ｍ^ｋの非合成対象画素Ｍｂｇに対応する画素を図６の（ｂ）に示されるレイヤｋの背景画像Ｉ_ｂｇ ^ｋの画素の画素値で置き換える。このようにして、図６の（ｃ）に示される合成前画像Ｏｐ^ｋが生成される。

続いて、画像合成部１８の最適化処理を説明する。最適化処理では、画像合成部１８は、所定の解像度の拡大合成画像の合成対象領域の高周波成分と、当該解像度よりも１段階大きい解像度の目標高周波成分と、の差分が最小となるように、合成対象領域に目標高周波成分を合成することによって、当該解像度よりも１段階大きい解像度の合成画像を生成する。以下、最適化処理を詳細に説明する。画像合成部１８は、前景画像のテクスチャを反映するために、合成前画像における合成対象画素に対応する画素に対して、レイヤｋの目標高周波成分を用いて最適化処理を行う。この最適化処理は、高周波成分の誤差を最小化する最適化問題を解くことによって行われる。

ある画素の画素値Ｉ_ｉ，ｊにおける誤差関数Ｅ_ｉ，ｊは、式（４）に示されるように、合成前画像Ｏｐ^ｋにおける当該画素値Ｉ_ｉ，ｊの高周波成分から、当該画素の目標高周波成分Ｈ_{ｄｓｔ＿ｉ，ｊ}を減算し、減算結果を２乗する関数である。ある画素の画素値Ｉ_ｉ，ｊの高周波成分Ｈ_ｉ，ｊは、周波数成分算出部１３の処理と同様に、当該画素の画素値Ｉ_ｉ，ｊから当該画素の低周波成分Ｌ_ｉ，ｊを減算することによって算出される。低周波成分Ｌ_ｉ，ｊは、例えば、当該画素及び当該画素の周囲の８画素を含む３×３画素の画素値の平均が計算されることによって算出される。なお、式（４）〜式（６）において、レイヤを示す符号は省略されている。また、式（４）〜式（６）において、ｋはレイヤを示すパラメータではなく、画像等の画素の列番号を示すパラメータとして用いられる。

目的関数Ｅ（Ｉ）は、式（５）に示されるように、誤差関数Ｅ_ｉ，ｊを画像全体に（全画素に亘って）和を算出することによって得られる。なお、係数８１／２は計算の便宜上設定された値であり、最適化の結果に影響を及ぼさないので、他の値であってもよい。

画像合成部１８は、目的関数Ｅ（Ｉ）を最小化するように、画素値Ｉ_ｉ，ｊを最適化する。画像合成部１８は、例えば、極値の条件式から得られた画素値Ｉ_ｋ，ｌにおける更新式（６）を用いて、画素値Ｉ_ｋ，ｌを最適化する。なお、κは最適化回数を示している。

画像合成部１８は、合成対象画素Ｍｆｇの画素値が収束するまで最適化回数κを１ずつ加算して、式（６）を繰り返し演算する。この繰り返し回数は、例えば、１００回程度である。画像合成部１８は、最適化された画素値を有する画像をレイヤｋの合成画像Ｏ^ｋとして取得する。最適化する画素の順番は任意であり、複数の画素の最適化が並列化されてもよい。

画像合成部１８は、レイヤ０の合成画像Ｏ^０が得られるまで、上述の前処理及び最適化処理を繰り返し行う。画像合成部１８は、合成画像Ｏ^０を出力部１９に出力する。

出力部１９は、画像合成部１８によって生成された合成画像を出力する機能を有している。出力部１９は、例えば、表示部２１に合成画像を出力することによって、表示部２１に合成画像を表示させる。表示部２１は、合成画像を表示する。表示部２１としては、例えばディスプレイ装置が用いられる。

次に、画像合成装置１の動作を説明する。図７は、画像合成装置１が行う画像合成方法の一連の処理を示すフローチャートである。図７に示される処理は、例えば、携帯端末２において、画像合成用のアプリケーションが実行されている場合に、カメラ等の撮像装置を用いて撮像が行われることによって開始される。この場合、撮像が行われる度に図７に示される処理が繰り返し行われる。

まず、画像入力部１１が、合成対象の前景画像及び背景画像を入力する（ステップＳ０１，画像取得ステップ）。例えば、画像入力部１１は、撮像された画像を前景画像として入力し、携帯端末２に予め準備されている画像を背景画像として入力する。画像入力部１１は、背景画像として図８の（ａ）に示される画像を入力し、前景画像として図８の（ｂ）に示される画像を入力したとする。また、画像入力部１１は、背景画像に前景画像を合成するための合成情報を入力する。画像入力部１１は、入力したレイヤ０の前景画像及び背景画像を周波数成分算出部１３に出力し、入力したレイヤ０の背景画像及び合成情報を画像合成部１８に出力する。

続いて、周波数成分算出部１３が、画像入力部１１によって入力された元画像の前景画像及び背景画像であるレイヤ０の前景画像及び背景画像のそれぞれから低周波成分及び高周波成分を算出する（ステップＳ０２，周波数成分算出ステップ）。そして、周波数成分算出部１３は、レイヤ０の前景画像及び背景画像の低周波成分を低解像度化部１２に出力する。

続いて、低解像度化部１２が、レイヤ０の前景画像及び背景画像の低周波成分をサブサンプリングして解像度を低下させることによって、レイヤ１の前景画像及び背景画像を生成する（ステップＳ０３，画像取得ステップ）。そして、低解像度化部１２は、レイヤ１の前景画像及び背景画像を周波数成分算出部１３に出力するとともに、レイヤ１の背景画像を画像合成部１８に出力する。そして、周波数成分算出部１３は、低解像度化部１２から出力された前景画像及び背景画像が、最低解像度の前景画像及び背景画像であるか否かを判定する（ステップＳ０４）。ここでは、レイヤ１の前景画像及び背景画像が出力されるので、ステップＳ０４において、最低解像度の前景画像及び背景画像でないと判定され（ステップＳ０４；Ｎｏ）、ステップＳ０２及びステップＳ０３が繰り返される。

ステップＳ０２〜ステップＳ０４が繰り返されることによって、レイヤＮの前景画像及び背景画像が低解像度化部１２から出力されると、ステップＳ０４において、最低解像度の前景画像及び背景画像であると判定され（ステップＳ０４；Ｙｅｓ）、周波数成分算出部１３は、レイヤ０〜Ｎ−１の前景画像及び背景画像の高周波成分を目標高周波成分算出部１４に出力する。ステップＳ０２〜ステップＳ０４における処理によって、図９に示されるように、レイヤ０〜Ｎ−１の背景画像、前景画像及び前景画像の高周波成分が生成されて目標高周波成分算出部１４に出力され、レイヤ０〜Ｎの背景画像が画像合成部１８に出力される。なお、この例ではＮ＝６とされており、レイヤ６の背景画像については図示を省略している。

続いて、目標高周波成分算出部１４が、各レイヤの前景画像の高周波成分に基づいて、各レイヤの目標高周波成分を算出する（ステップＳ０５）。目標高周波成分の算出方法は、例えば式（１）〜式（３）で示される方法が採用され得る。ここでは、式（１）が用いられて、目標高周波成分が算出されるとして説明を行う。そして、目標高周波成分算出部１４は、算出したレイヤ０〜Ｎ−１の目標高周波成分を画像合成部１８に出力する。

続いて、マスク画像入力部１６が、マスク画像を入力する（ステップＳ０６）。例えば、マスク画像入力部１６は、マスク画像として図８の（ｃ）に示される画像を入力したとする。そして、マスク画像縮小部１７が、マスク画像入力部１６によって入力された元画像のマスク画像であるレイヤ０のマスク画像を縮小し、レイヤ１のマスク画像を生成する（ステップＳ０７）。マスク画像縮小部１７は、例えば、レイヤ０のマスク画像を２×２画素のブロックに分割し、当該ブロック内のいずれかの画素が合成対象画素である場合は、当該ブロックを１画素の合成対象画素とし、当該ブロック内のすべての画素が非合成対象画素である場合は、当該ブロックを１画素の非合成対象画素とすることによって、レイヤ１のマスク画像を生成する。そして、マスク画像縮小部１７は、この処理をレイヤＮ−１のマスク画像が得られるまで繰り返す。ステップＳ０７における処理によって、図９に示される各レイヤ（レイヤ１〜Ｎ−１）のマスク画像が生成される。そして、マスク画像縮小部１７は、レイヤ０〜Ｎ−１のマスク画像を画像合成部１８に出力する。

続いて、画像合成部１８が、各レイヤの合成画像を生成する（ステップＳ０８，画像合成ステップ）。このステップＳ０８では、まず、画像合成部１８が、全体的な輝度及び色みを背景画像にそろえるために、レイヤＮの背景画像をそのままレイヤＮの合成画像とする。そして、画像合成部１８は、レイヤＮの合成画像に対して前処理及び最適化処理を行ってレイヤＮ−１の合成画像を生成する。前処理では、画像合成部１８は、レイヤＮの合成画像を２倍に拡大し、レイヤＮの拡大合成画像の所定の位置に、レイヤＮ−１のマスク画像を適用する。そして、画像合成部１８は、レイヤＮの拡大合成画像において、レイヤＮ−１のマスク画像の非合成対象画素に対応する画素の画素値を、その画素に対応するレイヤＮ−１の背景画像の画素の画素値に置き換える。また、画像合成部１８は、レイヤＮの拡大合成画像において、レイヤＮ−１のマスク画像の範囲外の画素に対応する画素の画素値を、その画素に対応するレイヤＮ−１の背景画像の画素の画素値に置き換える。このようにして、レイヤＮ−１の合成前画像が生成される。

続いて、最適化処理では、画像合成部１８は、前景画像のテクスチャを反映するために、レイヤＮ−１の合成前画像において、レイヤＮ−１のマスク画像の合成対象画素に対応する画素に対して、レイヤＮ−１の目標高周波成分を用いて最適化処理を行う。この最適化処理は、レイヤＮ−１のマスク画像の合成対象画素に対応する画素の画素値が収束するまで、式（６）を繰り返し演算することによって行われる。そして、画像合成部１８は、最適化された画素値を有する画像をレイヤＮ−１の合成画像として取得する。

そして、画像合成部１８は、最高解像度（レイヤ０）の合成画像を取得したか否かを判定する（ステップＳ０９）。ここでは、レイヤＮ−１の合成画像が取得されるので、ステップＳ０９において、最高解像度の合成画像でないと判定され（ステップＳ０９；Ｎｏ）、ステップＳ０８が繰り返される。つまり、画像合成部１８は、レイヤ０の合成画像が得られるまで、上述の前処理及び最適化処理を繰り返し行う。ステップＳ０８〜ステップＳ０９が繰り返されることによって、図１０に示されるレイヤ０の合成画像Ｏ^０が生成される。図１０に示されるように、前景画像ＦＧと背景画像ＢＧとの境界が目立ちにくく、違和感のない合成画像Ｏ^０が生成される。そして、レイヤ０の合成画像が生成されて取得されると、ステップＳ０９において、最高解像度の合成画像であると判定され（ステップＳ０９；Ｙｅｓ）、画像合成部１８は、レイヤ０の合成画像を出力部１９に出力する。

続いて、出力部１９が、画像合成部１８によって生成された合成画像を出力する（ステップＳ１０）。例えば、出力部１９は、合成画像を表示部２１に出力することによって、表示部２１に合成画像を表示させる。以上のようにして、画像合成方法の一連の処理が終了する。なお、ステップＳ０１〜ステップＳ０５の処理と、ステップＳ０６及びステップＳ０７の処理とは、並行して行われてもよい。

次に、携帯端末（コンピュータ）２を上記画像合成装置１として機能させるための画像合成プログラムを説明する。

画像合成プログラムは、メインモジュール、入力モジュール、演算処理モジュール及び出力モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、画像を取得するように携帯端末２を動作させ、画像入力モジュール及びマスク画像入力モジュールを備えている。演算処理モジュールは、低解像度化モジュール、周波数成分算出モジュール、目標高周波成分算出モジュール、マスク画像縮小モジュール及び画像合成モジュールを備えている。出力モジュールは、合成画像を出力するように携帯端末２に動作させる。メインモジュール、入力モジュール、演算処理モジュール及び出力モジュールを実行させることにより実現される機能は、上述した画像合成装置１の画像取得部１０、周波数成分算出部１３、目標高周波成分算出部１４、マスク画像取得部１５、画像合成部１８及び出力部１９の機能とそれぞれ同様である。

画像合成プログラムは、例えば、ＲＯＭまたは半導体メモリ等の記録媒体によって提供される。また、画像合成プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る画像合成装置１、画像合成方法、画像合成プログラム及び画像合成プログラムを記録した記録媒体によれば、複数の解像度の背景画像の低周波成分と、複数の解像度の前景画像の高周波成分と、に基づいて、合成画像が生成される。低周波成分には全体的な輝度及び色合いが含まれており、高周波成分にはテクスチャが含まれる。このため、合成画像の輝度及び色合いを背景画像の輝度及び色合いに合わせながら、前景画像のテクスチャ（詳細な模様）を反映することが可能となる。また、合成画像は様々な周波数成分の合成によって生成されるので、ポワソンブレンドのような数学的な制約による画像信号の歪みが生じることは理論的にはない。その結果、数学的な制約による画像信号の歪みを抑えつつ、合成された２つの画像の境界が目立ちにくく、違和感のない合成画像を生成することが可能となる。

ポワソンブレンドでは、勾配を用いてディリクレ条件（固定端条件）下で最適化することによって、背景画像のオフセットを保持している。しかし、ポワソンブレンドでは、目的とする勾配に最も近い勾配を有する画像を推定するための計算量が大きくなることがある。このため、高速に合成処理を行うことができないおそれがある。これに対し、画像合成装置１では、解像度の小さい順に、前景画像の高周波成分を合成しているので、最適化に要する計算時間を短縮することが可能となる。

また、レイヤｋ−１の拡大合成画像の非合成対象領域がレイヤｋの背景画像における非合成対象領域に対応する領域で置き換えられるので、レイヤｋの合成画像における非合成対象領域には、レイヤｋの背景画像がそのまま再現される。そして、非合成対象領域にレイヤｋの背景画像が再現された合成前画像において、合成対象領域の高周波成分と、目標高周波成分と、の差分が最小となるように、合成対象領域にレイヤｋの目標高周波成分が合成される。このため、合成対象領域と非合成対象領域との境界における変化が低減されるとともに、レイヤｋの合成画像における合成対象領域には、全体的な輝度及び色合いを変えることなく、レイヤｋの前景画像のテクスチャが再現される。その結果、合成された２つの画像の境界をさらに目立ちにくくすることができ、さらに違和感のない合成画像を生成することが可能となる。

また、レイヤｋの前景画像の低周波成分及びレイヤｋの背景画像の低周波成分をそれぞれ縮小することによって、レイヤｋ＋１の前景画像及び背景画像が生成される。このため、前景画像及び背景画像の低解像度化を容易化することが可能となる。また、背景画像の最低周波数成分には、背景画像の全体的な輝度及び色合いが含まれている。このため、背景画像の最低周波数成分を最低解像度（レイヤＮ）の合成画像とすることによって、全体的な輝度及び色合いを背景画像に合わせることが可能となる。

また、各レイヤのマスク画像を用いて、各レイヤの合成画像が生成される。このため、マスク画像の解像度を低下させることによって、各レイヤの合成対象領域及び非合成対象領域を規定することができる。このため、各レイヤにおける合成対象領域及び非合成対象領域の規定を容易化することが可能となる。

また、レイヤｋのマスク画像を所定の画素数のブロックに分割し、ブロックに合成対象画素が含まれている場合には、当該ブロックを合成対象画素とし、ブロックに合成対象画素が含まれていない場合には、当該ブロックを非合成対象画素とすることによって、レイヤｋ＋１のマスク画像が生成される。これにより、解像度が低いマスク画像ほど、マスク画像における合成対象画素の占める領域を拡大することができる。このため、画像合成において、レイヤｋにおける合成対象領域には、レイヤｋよりも大きいレイヤの目標高周波成分が合成されており、合成対象領域と非合成対象領域との境界周辺にもレイヤｋよりも大きいレイヤの目標高周波成分が合成されている。したがって、前景画像の再現性を向上できるとともに、合成された２つの画像の境界をさらに目立ちにくくすることができ、さらに違和感のない合成画像を生成することが可能となる。

レイヤごとに、当該レイヤの前景画像から当該レイヤの前景画像の低周波成分を減算することによって、当該レイヤの前景画像の高周波成分が算出され、当該レイヤの背景画像から当該レイヤの背景画像の低周波成分を減算することによって、当該レイヤの背景画像の高周波成分が算出される。このため、各レイヤの前景画像の高周波成分、及び、各レイヤの背景画像の高周波成分を簡単な計算によって算出することができる。

なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。本発明に係る画像合成装置は、実施形態に係る画像合成装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形し、又は他のものに適用したものであってもよい。

例えば、マスク画像入力部１６は、ユーザによって生成されたマスク画像を入力してもよい。

また、出力部１９は、合成画像をメモリ等の記憶装置に出力してもよい。

１…画像合成装置、１０…画像取得部、１３…周波数成分算出部、１４…目標高周波成分算出部、１５…マスク画像取得部、１８…画像合成部。

Claims (8)

1. 第１画像に第２画像を合成して合成画像を生成する画像合成装置であって、
   複数の解像度の前記第１画像及び前記第２画像を取得する画像取得部と、
   前記複数の解像度の前記第１画像、及び、前記複数の解像度の前記第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、
   前記複数の解像度の前記第１画像の低周波成分と、前記複数の解像度の前記第２画像の高周波成分と、に基づいて、前記合成画像を生成する画像合成部と、
   を備え、
   前記画像取得部は、第１解像度の前記第１画像の低周波成分及び前記第１解像度の前記第２画像の低周波成分をそれぞれ縮小することによって、前記第１解像度よりも小さい第２解像度の前記第１画像及び前記第２解像度の前記第２画像を生成し、
   前記画像合成部は、解像度ごとに合成画像を生成し、
   前記画像合成部は、生成した前記第２解像度の前記合成画像を拡大し、拡大した前記第２解像度の前記合成画像の合成対象の領域でない非合成対象領域を、前記第１解像度の前記第１画像における前記非合成対象領域に対応する領域で置き換えた後に、拡大した前記第２解像度の前記合成画像の合成対象の領域である合成対象領域の高周波成分と、前記第１解像度の前記第２画像の高周波成分に基づいて定められた目標高周波成分と、の差分が最小となるように、前記合成対象領域に前記目標高周波成分を合成することによって、前記第１解像度の前記合成画像を生成する、画像合成装置。
2. 前記画像合成部は、前記複数の解像度の前記第１画像のうち最低解像度の前記第１画像を前記最低解像度の前記合成画像とする、請求項１に記載の画像合成装置。
3. 前記合成対象領域及び前記非合成対象領域を規定するマスク画像であって、複数の解像度のマスク画像を取得するマスク画像取得部をさらに備え、
   前記画像合成部は、解像度ごとの前記マスク画像を用いて、当該解像度の前記合成画像を生成する、請求項１又は請求項２に記載の画像合成装置。
4. 前記マスク画像取得部は、前記第１解像度の前記マスク画像を所定の画素数のブロックに分割し、前記ブロックに前記合成対象領域が含まれている場合には、当該ブロックを前記合成対象領域の画素とし、前記ブロックに前記合成対象領域が含まれていない場合には、当該ブロックを前記非合成対象領域の画素とすることによって、前記第２解像度の前記マスク画像を生成する、請求項３に記載の画像合成装置。
5. 前記周波数成分算出部は、解像度ごとに、当該解像度の前記第１画像から当該解像度の前記第１画像の前記低周波成分を減算することによって、当該解像度の前記第１画像の前記高周波成分を算出し、当該解像度の前記第２画像から当該解像度の前記第２画像の前記低周波成分を減算することによって、当該解像度の前記第２画像の前記高周波成分を算出する、請求項１〜請求項４のいずれか一項に記載の画像合成装置。
6. 第１画像に第２画像を合成して合成画像を生成する画像合成装置が行う画像合成方法であって、
   複数の解像度の前記第１画像及び前記第２画像を取得する画像取得ステップと、
   前記複数の解像度の前記第１画像、及び、前記複数の解像度の前記第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出ステップと、
   前記複数の解像度の前記第１画像の低周波成分と、前記複数の解像度の前記第２画像の高周波成分と、に基づいて、前記合成画像を生成する画像合成ステップと、
   を含み、
   前記画像取得ステップでは、第１解像度の前記第１画像の低周波成分及び前記第１解像度の前記第２画像の低周波成分をそれぞれ縮小することによって、前記第１解像度よりも小さい第２解像度の前記第１画像及び前記第２解像度の前記第２画像を生成し、
   前記画像合成ステップでは、解像度ごとに合成画像を生成し、
   前記画像合成ステップでは、生成した前記第２解像度の前記合成画像を拡大し、拡大した前記第２解像度の前記合成画像の合成対象の領域でない非合成対象領域を、前記第１解像度の前記第１画像における前記非合成対象領域に対応する領域で置き換えた後に、拡大した前記第２解像度の前記合成画像の合成対象の領域である合成対象領域の高周波成分と、前記第１解像度の前記第２画像の高周波成分に基づいて定められた目標高周波成分と、の差分が最小となるように、前記合成対象領域に前記目標高周波成分を合成することによって、前記第１解像度の前記合成画像を生成する、画像合成方法。
7. 第１画像に第２画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、
   複数の解像度の前記第１画像及び前記第２画像を取得する画像取得部と、
   前記複数の解像度の前記第１画像、及び、前記複数の解像度の前記第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、
   前記複数の解像度の前記第１画像の低周波成分と、前記複数の解像度の前記第２画像の高周波成分と、に基づいて、前記合成画像を生成する画像合成部と、
   してコンピュータを機能させ、
   前記画像取得部は、第１解像度の前記第１画像の低周波成分及び前記第１解像度の前記第２画像の低周波成分をそれぞれ縮小することによって、前記第１解像度よりも小さい第２解像度の前記第１画像及び前記第２解像度の前記第２画像を生成し、
   前記画像合成部は、解像度ごとに合成画像を生成し、
   前記画像合成部は、生成した前記第２解像度の前記合成画像を拡大し、拡大した前記第２解像度の前記合成画像の合成対象の領域でない非合成対象領域を、前記第１解像度の前記第１画像における前記非合成対象領域に対応する領域で置き換えた後に、拡大した前記第２解像度の前記合成画像の合成対象の領域である合成対象領域の高周波成分と、前記第１解像度の前記第２画像の高周波成分に基づいて定められた目標高周波成分と、の差分が最小となるように、前記合成対象領域に前記目標高周波成分を合成することによって、前記第１解像度の前記合成画像を生成する、画像合成プログラム。
8. 第１画像に第２画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体であって、
   前記画像合成プログラムは、
   複数の解像度の前記第１画像及び前記第２画像を取得する画像取得部と、
   前記複数の解像度の前記第１画像、及び、前記複数の解像度の前記第２画像からそれぞれ低周波成分及び高周波成分を算出する周波数成分算出部と、
   前記複数の解像度の前記第１画像の低周波成分と、前記複数の解像度の前記第２画像の高周波成分と、に基づいて、前記合成画像を生成する画像合成部と、
   してコンピュータを機能させ、
   前記画像取得部は、第１解像度の前記第１画像の低周波成分及び前記第１解像度の前記第２画像の低周波成分をそれぞれ縮小することによって、前記第１解像度よりも小さい第２解像度の前記第１画像及び前記第２解像度の前記第２画像を生成し、
   前記画像合成部は、解像度ごとに合成画像を生成し、
   前記画像合成部は、生成した前記第２解像度の前記合成画像を拡大し、拡大した前記第２解像度の前記合成画像の合成対象の領域でない非合成対象領域を、前記第１解像度の前記第１画像における前記非合成対象領域に対応する領域で置き換えた後に、拡大した前記第２解像度の前記合成画像の合成対象の領域である合成対象領域の高周波成分と、前記第１解像度の前記第２画像の高周波成分に基づいて定められた目標高周波成分と、の差分が最小となるように、前記合成対象領域に前記目標高周波成分を合成することによって、前記第１解像度の前記合成画像を生成する、記録媒体。