JP6060407B2

JP6060407B2 - 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Info

Publication number: JP6060407B2
Application number: JP2015178258A
Authority: JP
Inventors: 理弘小林; 洸太栗原; 良大野
Original assignee: Morpho Inc
Current assignee: Morpho Inc
Priority date: 2014-09-10
Filing date: 2015-09-10
Publication date: 2017-01-18
Anticipated expiration: 2035-09-10
Also published as: US10074165B2; JP2016059046A; US20160071289A1; CN105407293A

Description

本発明の一側面は、画像合成装置、画像合成方法、画像合成プログラム及び記録媒体に関するものである。

従来、夜景と被写体とをいずれも良好な状態で撮影する技術が知られている。特許文献１の撮影装置は、撮影用の光源を消灯して所定時間の露出で撮影された第１の画像と、露光の後に撮影用の光源を用いて撮影された第２の画像とを合成する。特許文献２の撮像装置は、１回目の露光を行って夜景を撮影した後に、フラッシュを発光させて２回目の露光を行って被写体を撮影する。

特開２００３−１５３２８７号公報特開２０１２−５０１２１号公報

ところで、異なる光環境条件の下で撮像された２枚の画像を合成するとき、画像を構成する画素値の関係によっては、良好な合成画像を得られない場合がある。そこで、本技術分野では、良好な合成画像が得られる画像合成装置、画像合成方法、画像合成プログラム及び記録媒体が望まれている。

本発明の一側面に係る画像合成装置は、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する画像合成装置であって、第１画像情報及び第２画像情報を入力する入力部と、入力部から入力された第１画像情報及び第２画像情報の少なくとも一方の画像情報を補正する補正部と、補正部から出力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部と、を備え、補正部は、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する。

同一の被写体を互いに異なる光環境条件において撮像した場合、それぞれの画像情報の色温度が異なる場合があり得る。色温度が異なる画像同士を合成すると、合成画像の色合いが不自然になる場合がある。そこで、この画像合成装置では、補正部において、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づくように補正している。そして、合成部において、色温度が補正された第１画像情報と第２画像情報とを合成している。従って、合成される第１画像情報と第２画像情報とは、それぞれの色温度が互いに近い値であるので、これら第１画像情報と第２画像情報とを合成することにより、自然な色合いを有する良好な合成画像が得ることができる。

一実施形態では、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出部と、差分及び合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出する合成比率算出部と、を有し、合成比率関数は、差分と合成比率との関係を規定すると共に、合成比率が０より大きく１より小さい領域を含むこととしてもよい。この構成によれば、合成部において第１画素値と第２画素値とが合成される。この合成には、合成比率が０より大きく１より小さい領域を有する合成比率関数に基づいて合成比率が決定される。この合成比率によれば、合成画素値が第１画素値と第２画素値とにより構成されるので、第１画素値と第２画素値の間の値を取り得る。従って、合成画像情報において、合成画素値が不連続に変化する箇所の発生を抑制し、合成画素値を連続的に変化させ得る。従って、より良好な合成画像を得ることができる。

一実施形態では、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出部と、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出する合成比率算出部と、を有し、合成比率関数は、第１画素値及び第２画素値の少なくとも一方と、合成比率との関係を規定する第１関数及び差分に対応すると共に第１関数を重み付けする第２関数を含むこととしてもよい。光環境条件によっては、第１画素値と第２画素値との差分が小さくなる場合がある。この場合には、所定の比率に基づいて、第１画素値と第２画素値とが合成される。ここで、差分が小さいとき、第１画素値又は第２画素値のいずれかの画素値を重視して合成する方がより良好な合成画像を得られる場合がある。そこで、この画像合成装置では、第１関数によって第１画素値及び第２画素値の少なくとも一方と合成比率との関係が規定され、更に、この第１関数が差分を変数とする第２関数によって重み付けされている。第１関数と第２関数とを含む合成比率関数によれば、差分が小さい場合であっても、第１画素値又は第２画素値のいずれかの画素値を重視した合成が可能になる。従って、更に良好な合成画像を得ることができる。

一実施形態では、第２画像情報は、被写体にフラッシュ光を照射して撮像された画像情報であり、補正部は、第２画像情報の輝度に基づいて、第２画像情報の輝度を補正する輝度補正係数を算出すると共に、輝度補正係数を用いて第２画像情報の輝度を補正する輝度補正部を更に有することとしてもよい。この構成によれば、フラッシュ光を利用して撮像された第２画像情報の輝度が大きくなる。従って、合成される第２画像情報が明るくなるので、一層良好な合成画像を得ることができる。

一実施形態では、画像合成装置は、画像を画像表示部に表示させる表示制御部と、ユーザが画像に基づいて入力する操作情報を取得する操作情報取得部と、操作情報を利用して画像に関する情報を画像情報記録部に記録させる記録制御部と、を更に備え、合成部は、補正部から出力された第１画像情報及び第２画像情報を合成することにより合成画像情報として第１合成画像情報を生成すると共に、入力部から入力された第１画像情報及び第２画像情報を合成することにより第２合成画像情報を生成し、表示制御部は、第１合成画像情報に係る第１画像と、第２合成画像情報に係る第２画像とを、画像表示部に表示させ、操作情報は、第１合成画像情報又は第２合成画像情報のいずれか一方を特定する画像特定情報を含み、画像情報記録部は、画像特定情報によって特定される第１合成画像情報又は第２合成画像情報のいずれか一方の情報を画像情報記録部に記録させてもよい。この構成によれば、色温度が調整されていない第１合成画像情報に係る第１画像と、色温度が調整された第２合成画像情報に係る第２画像と、が生成される。表示制御部は、これら第１合成画像情報に係る第１画像と第２合成画像情報に係る第２画像とを画像表示部に表示させる。ユーザは、第１合成画像情報に係る第１画像と第２合成画像情報に係る第２画像と見て、第１画像情報と第２画像情報とを合成するにあたって、色温度の調整の要否を選択することが可能になる。従って、ユーザの好みに合わせた良好な合成画像を得ることができる。

一実施形態では、画像合成装置は、画像を画像表示部に表示させる表示制御部と、ユーザが画像に基づいて入力する操作情報を取得する操作情報取得部と、を更に備え、操作情報は、第１画像情報及び第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、補正部は、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、目標色温度情報に基づいて第１画像情報及び第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、合成部は、第１補正部から出力された第１画像情報及び第２画像情報を合成することにより合成画像情報として第１合成画像情報を生成し、第２補正部から出力された第１画像情報及び第２画像情報を合成することにより第３合成画像情報を生成し、表示制御部は、第３合成画像情報に係る第３画像を画像表示部に表示させてもよい。ユーザは、第３合成画像情報に係る第３画像を見ながら、好みの合成画像が得られるように色温度を調整することができる。従って、よりユーザの好みに合わせた良好な合成画像を得ることができる。

画像合成装置は、ユーザが画像に基づいて入力する操作情報を取得する操作情報取得部と、を更に備え、操作情報は、第１画像情報及び第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、補正部は、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、目標色温度情報に基づいて第１画像情報及び第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、合成部は、第１補正部から出力された第１画像情報及び第２画像情報を合成することにより合成画像情報として第１合成画像情報を生成し、第２補正部から出力された第１画像情報及び第２画像情報を合成することにより第３合成画像情報を生成し、表示制御部は、第３合成画像情報に係る第３画像を更に画像表示部に表示させてもよい。ユーザは、第３合成画像情報に係る第３画像を見ながら、好みの合成画像が得られるように色温度を調整することができる。従って、よりユーザの好みに合わせた良好な合成画像を得ることができる。

一実施形態では、表示制御部は、第１画像における第１の部分である第１部分画像と、第２画像における第２の部分である第２部分画像と、を画像表示部に表示させ、第２の部分は第１の部分と隣接する関係にあり、第１部分画像及び第２部分画像は、第１画像情報に係る第１画像又は第２画像情報に係る第２画像に含まれた特徴領域を含み、第１の部分と第２の部分との境界は、第１画像情報又は第２画像情報に含まれた特徴領域を分割するように設定されてもよい。画像において人物の顔、照明源及び反射した照明光などが占める領域は、出力画像上おいてユーザが色を決定する基準となりうる。特徴領域とは、出力画像上おいてユーザが色を決定する基準となりうる領域である。従って、第１部分画像及び第２部分画像がそれぞれに特徴領域を含むように境界が設定されることにより、特徴領域において色温度の補正をした合成の結果と、色温度の補正をしない合成の結果とを容易に比較できる。

一実施形態では、合成部は、入力部から入力された第１画像情報及び第２画像情報を合成することにより第２合成画像情報を生成すると共に、第３部分画像に係る情報と第４部分画像に係る情報とを含む第４合成画像情報を生成し、第３部分画像は、第１画像における第３の部分であり、第４部分画像は、第２画像又は第３画像における第４の部分であり、第３の部分は、第４の部分とは異なっていてもよい。この構成によれば、第４合成画像情報に係る画像は、色温度を補正せずに合成された第３部分画像と、色温度を補正して合成された第４部分画像とを含む。従って、よりユーザの好みに合わせた良好な合成画像を得ることができる。

本発明の他の側面に係る画像合成方法は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、第１画像情報及び第２画像情報を入力する入力ステップと、入力ステップにおいて入力された第１画像情報及び第２画像情報の少なくとも一方の画像情報を補正する補正ステップと、補正ステップにおいて処理された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成ステップと、を有し、補正ステップは、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する。

本発明の他の側面に係る画像合成プログラムは、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行うようにコンピュータを機能させる画像合成プログラムであって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報の少なくとも一方の画像情報を補正する補正部、補正部から出力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、補正部は、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する。

本発明の他の側面に係る記録媒体は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行うようにコンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報の少なくとも一方の画像情報を補正する補正部、補正部から出力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、補正部は、第１画像情報及び第２画像情報の一方の色温度を他方の色温度に近づけるように補正する。

上述した画像合成方法、画像合成プログラム及び記録媒体によれば、上述した本発明の一側面に係る画像合成装置と同様の効果を奏する。

本発明の他の側面に係る画像合成装置は、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する画像合成装置であって、第１画像情報及び第２画像情報を入力する入力部と、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部と、を備え、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、差分及び合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、差分と合成比率との関係を規定すると共に、合成比率が０より大きく１より小さい領域を含む。

この画像合成装置では、合成部において第１画素値と第２画素値とが合成される。この合成には、合成比率が０より大きく１より小さい領域を有する合成比率関数に基づいて合成比率が決定される。この合成比率によれば、合成画素値が第１画素値と第２画素値とにより構成されるので、第１画素値と第２画素値の間の値を取り得る。従って、合成画像情報において、合成画素値が不連続に変化する箇所の発生を抑制し、合成画素値を連続的に変化させ得る。従って、より良好な合成画像を得ることができる。

本発明の他の側面に係る画像合成方法は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、第１画像情報及び第２画像情報を入力する入力ステップと、入力ステップにおいて入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成ステップと、を有し、合成ステップは、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、差分及び合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、差分と合成比率との関係を規定すると共に、合成比率が０より大きく１より小さい領域を含む。

本発明の他の側面に係る画像合成プログラムは、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行うようにコンピュータを機能させる画像合成プログラムであって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、差分及び合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、差分と合成比率との関係を規定すると共に、合成比率が０より大きく１より小さい領域を含む。

本発明の他の側面に係る記録媒体は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行うようにコンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、差分及び合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、差分と合成比率との関係を規定すると共に、合成比率が０より大きく１より小さい領域を含む。

上述した画像合成方法、画像合成プログラム及び記録媒体によれば、上述した本発明の他の側面に係る画像合成装置と同様の効果を奏する。

本発明の更に他の側面に係る画像合成装置は、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する画像合成装置であって、第１画像情報及び第２画像情報を入力する入力部と、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部と、を備え、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、第１画素値及び第２画素値の少なくとも一方と、合成比率との関係を規定する第１関数及び差分に対応すると共に第１関数を重み付けする第２関数を含む。

光環境条件によっては、第１画素値と第２画素値との差分が小さくなる場合がある。この場合には、所定の比率に基づいて、第１画素値と第２画素値とが合成される。ここで、差分が小さいとき、第１画素値又は第２画素値のいずれかの画素値を重視して合成する方がより良好な合成画像を得られる場合がある。そこで、この画像合成装置では、第１関数によって第１画素値及び第２画素値の少なくとも一方と合成比率との関係が規定され、更に、この第１関数が差分を変数とする第２関数によって重み付けされている。第１関数と第２関数とを含む合成比率関数によれば、差分が小さい場合であっても、第１画素値又は第２画素値のいずれかの画素値を重視した合成が可能になる。従って、更に良好な合成画像を得ることができる。

本発明の更に他の側面に係る画像合成方法は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、第１画像情報及び第２画像情報を入力する入力ステップと、入力ステップにおいて入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成ステップと、を有し、合成ステップは、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、第１画素値及び第２画素値の少なくとも一方、並びに差分と、合成比率との関係を規定する。

本発明の更に他の側面に係る画像合成プログラムは、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成する処理を行うようにコンピュータを機能させる画像合成プログラムであって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、第１画素値及び第２画素値の少なくとも一方、並びに差分と、合成比率との関係を規定する。

本発明の更に他の側面に係る記録媒体は、コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体を含む第２画像情報と、を合成して、被写体を含む合成画像情報を生成するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータを、第１画像情報及び第２画像情報を入力する入力部、入力部から入力された第１画像情報及び第２画像情報を合成して合成画像情報を生成する合成部、として機能させ、合成部は、第１画像情報を構成する第１被合成画素の第１画素値と、第２画像情報を構成すると共に第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成画像情報を構成する合成画素の合成画素値に占める第１画素値の割合を示す合成比率を算出し、合成比率関数は、第１画素値及び第２画素値の少なくとも一方、並びに差分と、合成比率との関係を規定する。

上述した画像合成方法、画像合成プログラム及び記録媒体によれば、上述した本発明の更に他の側面に係る画像合成装置と同様の効果を奏する。

本発明の種々の側面及び実施形態によれば、良好な合成画像が得られる画像合成装置、画像合成方法、画像合成プログラム及び記録媒体が提供される。

実施形態に係る画像合成装置を搭載した携帯端末の機能ブロック図である。実施形態に係る画像合成装置を搭載した携帯端末のハードウェア構成図である。実施形態に係る画像合成装置の機能ブロック図である。実施形態に係る画像合成装置の動作を説明するフローチャートである。実施形態に係る画像合成装置の動作を説明するフローチャートである。輝度と色温度との関係を示すグラフである。色温度を補正した画像例である。フラッシュ画像の第２輝度と合成比率との関係を例示するグラフである。合成比率を算出するステップを説明するための概念図である。室内において撮像したフラッシュ画像、ノーフラッシュ画像及び合成画像の例である。屋外において撮像したフラッシュ画像、ノーフラッシュ画像及び合成画像の例である。変形例に係る合成比率を算出するステップを説明するための概念図である。別の実施形態に係る画像合成装置を搭載した携帯端末の機能ブロック図である。別の実施形態に係る画像合成装置の機能ブロック図である。別の実施形態に係る画像合成装置の動作を説明するフローチャートである。別の実施形態に係る画像合成装置の動作を説明するフローチャートである。携帯端末のディスプレイに表示される画像の一例である。携帯端末のディスプレイに表示される画像の一例である。携帯端末のディスプレイに表示される画像の一例である。携帯端末のディスプレイに表示される画像の一例である。携帯端末のディスプレイに表示される画像の一例である。

以下、添付図面を参照して実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る画像合成装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。また、画像合成装置は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image Signal Processor）なども含む趣旨である。なお、以下では、説明理解の容易性を考慮し、一例として、携帯端末に搭載される画像合成装置を説明する。

図１に示される携帯端末Ｔは、例えばユーザにより携帯される移動端末であり、図２に示されるハードウェア構成を有する。図２に示されるように、携帯端末Ｔは、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＡＭ（Random Access Memory）１０１及びＲＯＭ（Read Only Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末及び画像合成装置の各機能は、ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２、等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させると共に、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末Ｔのハードウェア構成として説明したが、画像合成装置１がＣＰＵ１００、ＲＡＭ１０１及びＲＯＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末Ｔは、通信モジュール等を備えてもよい。

図１に示されるように、携帯端末Ｔは、カメラＣと、記録メモリＭと、フラッシュＦと、ディスプレイＤと、画像合成装置１と、を備える。カメラＣは、静止画像や動画像を撮像する機能を有する。動画は、時系列で連続するフレーム画像を含む。なお、カメラＣは、ユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有していてもよい。カメラＣは、フレーム画像を記録メモリＭへ出力する。記録メモリＭは、画像情報や、携帯端末Ｔの制御に関する種々のデータを記録する。記録メモリＭに記録されたデータは、携帯端末Ｔを構成する種々の構成要素から参照可能とされている。

フラッシュＦは、被写体Ｓに対してフラッシュ光を照射する。携帯端末Ｔは、フラッシュＦを利用して撮像する場合、露出を調整する機能を有する。具体的には、フラッシュＦを利用した撮像して得た画像が、いわゆる白とびと呼ばれる領域を含まないように、露出条件（Ｅｖ値）を調整する。露出条件の設定は、任意の方法を利用することができる。例えば、露出条件は、プレ発光による測光を行って設定したり、予め設定された値まで露出値を下げるなどして設定される。ディスプレイＤは、画像合成装置１から出力された合成画像を表示する。

画像合成装置１は、入力部１０と、補正部２０と、合成部３０と、を有する。画像合成装置１は、第１光環境条件において撮像された被写体Ｓを含む第１画像情報と、第１光環境条件とは異なる第２光環境条件において撮像された被写体Ｓを含む第２画像情報と、を合成して、被写体Ｓを含む合成画像情報を生成する。具体的には、画像合成装置１には、記録メモリＭから第１画像情報及び第２画像情報が入力される。画像合成装置１は、入力された第１画像情報及び第２画像情報を処理することによって合成画像情報を生成する。そして、画像合成装置１は、例えば、合成画像情報をディスプレイＤ及び記録メモリＭに出力する。例えば、画像合成装置１は、例えばフラッシュを利用して被写体を撮像した画像（以下「フラッシュ画像」ともいう）と、フラッシュを利用せずに同じ被写体Ｓを撮像した画像（以下「ノーフラッシュ画像」ともいう）とを合成する。

ここで、第１光環境条件とは、フラッシュ光を含むことなく、環境光のみからなる光環境条件をいう。第１画像情報は、ノーフラッシュ画像に関する情報を含む。具体的には、第１画像情報は、ノーフラッシュ画像を構成する画素値、画素値に含まれる輝度及び色温度等に関する情報を含む。第２光環境条件とは、フラッシュ光と環境光とを含む光環境条件をいう。即ち、第２光環境条件は、フラッシュ光を含む点で、第１光環境条件とは異なる。第２画像情報とは、フラッシュ画像に関する情報を含む。具体的には、第２画像情報は、フラッシュ画像を構成する画素値、画素値に含まれる輝度及び色温度等に関する情報を含む。

入力部１０は、ノーフラッシュ画像及びフラッシュ画像を入力する機能を有する。入力部１０は、記録メモリＭに接続されている。なお、入力部１０は、カメラＣに接続されていてもよい。また、入力部１０は、補正部２０に接続され、ノーフラッシュ画像及びフラッシュ画像を補正部２０に出力する。

図３に示されるように、補正部２０は、色温度補正部２１と、位置合わせ部２２と、輝度補正部２３とを有する。補正部２０は、入力部１０に接続され、入力部１０からノーフラッシュ画像又はフラッシュ画像が入力される。補正部２０は、入力部１０から入力されたノーフラッシュ画像及びフラッシュ画像の少なくとも一方の画像情報を補正する機能を有する。この補正には、色温度の補正、輝度の補正などがある。本実施形態の補正部２０は、ノーフラッシュ画像の色温度を補正し、フラッシュ画像の輝度を補正する。補正部２０は、合成部３０に接続され、補正後の画像情報を合成部３０に出力する。本実施形態の補正部２０は、色温度を補正したノーフラッシュ画像と、輝度を補正したフラッシュ画像とを出力する。

色温度補正部２１は、色温度推定部２１ａと、色温度補正係数算出部２１ｂと、色温度変換部２１ｃと、を有する。色温度補正部２１は、入力部１０に接続され、入力部１０からノーフラッシュ画像及びフラッシュ画像が入力される。色温度補正部２１は、ノーフラッシュ画像及びフラッシュ画像の一方の色温度を他方の色温度に変換する機能を有する。本実施形態の色温度補正部２１は、ノーフラッシュ画像の色温度を変換する。色温度補正部２１は、位置合わせ部２２に接続され、色温度を補正したノーフラッシュ画像と、色温度を補正していないノーフラッシュ画像とを位置合わせ部２２に出力する。

色温度推定部２１ａは、入力部１０に接続され、入力部１０からノーフラッシュ画像及びフラッシュ画像が入力される。色温度推定部２１ａは、色温度の変換対象であるノーフラッシュ画像の色温度を推定する機能を有する。具体的な色温度の算出過程は、後述する。なお、本実施形態の画像合成装置１では、フラッシュ画像の色温度は既知であるとして処理を行うが、色温度推定部２１ａにおいてフラッシュ画像の色温度を算出してもよい。色温度推定部２１ａは、色温度補正係数算出部２１ｂに接続され、色温度情報を含む情報を色温度補正係数算出部２１ｂに出力する。

色温度補正係数算出部２１ｂは、色温度推定部２１ａに接続され、色温度推定部２１ａから各種情報が入力される。これら各種情報には、ノーフラッシュ画像、フラッシュ画像及びノーフラッシュ画像の色温度情報が含まれる。色温度補正係数算出部２１ｂは、色温度情報に基づいてノーフラッシュ画像の色温度を補正するための色温度補正係数を算出する機能を有する。具体的な色温度補正係数の算出過程は、後述する。色温度補正係数算出部２１ｂは、色温度変換部２１ｃに接続され、色温度補正係数を含む情報を色温度変換部２１ｃに出力する。

色温度変換部２１ｃは、色温度補正係数算出部２１ｂに接続され、色温度補正係数算出部２１ｂから各種情報が入力される。これら各種情報には、ノーフラッシュ画像、フラッシュ画像、ノーフラッシュ画像の色温度情報及び色温度補正係数が含まれる。色温度変換部２１ｃは、色温度補正係数に基づいてノーフラッシュ画像の色温度を変換する。具体的には、ノーフラッシュ画像を構成する画素ごとに色温度を変換する。色温度変換部２１ｃは、位置合わせ部２２に接続され、色温度が変換されたノーフラッシュ画像を含む情報を位置合わせ部２２に出力する。

位置合わせ部２２は、ノーフラッシュ画像と、フラッシュ画像との位置合わせを行う機能を有する。本実施形態の位置合わせ部２２は、ノーフラッシュ画像を基準画像とし、ノーフラッシュ画像と、フラッシュ画像とを対応付ける情報を生成する。位置合わせ部２２は、輝度補正部２３に接続され、画像の対応情報を含む各種情報を輝度補正部２３に出力する。なお、画像の対応情報とは、一方の画像を基準とした場合に、他方の画像を一方の画像に重ね合わせるために必要な情報をいう。例えば、画像の対応情報には、他方の画像を回転及び／又は平行移動させる情報がある。

輝度補正部２３は、位置合わせ部２２に接続され、位置合わせ部２２から各種情報が入力される。これら各種情報には、ノーフラッシュ画像、フラッシュ画像、及び画像の対応情報が含まれる。輝度補正部２３は、輝度補正係数算出部２３ａと、輝度変換部２３ｂとを有する。輝度補正部２３は、フラッシュ画像の輝度に基づいて、フラッシュ画像の輝度を補正する輝度補正係数を算出すると共に、輝度補正係数を用いてフラッシュ画像の輝度を補正する機能を有する。輝度補正部２３は、輝度を補正していないノーフラッシュ画像と、輝度を補正したフラッシュ画像とを合成部３０に出力する。

輝度補正係数算出部２３ａは、位置合わせ部２２に接続され、位置合わせ部２２から各種情報が入力される。各種情報は、フラッシュ画像を含む。輝度補正係数算出部２３ａは、フラッシュ画像の輝度を補正する輝度補正係数を算出する機能を有する。具体的な輝度補正係数の算出過程は、後述する。輝度補正係数算出部２３ａは、輝度変換部２３ｂに接続され、輝度補正係数を含む各種情報を輝度変換部２３ｂに出力する。

輝度変換部２３ｂは、輝度補正係数算出部２３ａに接続され、輝度補正係数算出部２３ａから各種情報が入力される。各種情報は、輝度補正係数及びフラッシュ画像を含む。輝度変換部２３ｂは、輝度補正係数を用いて、フラッシュ画像の全体の輝度を増加するようにフラッシュ画像を補正する。具体的な補正工程は、後述する。輝度変換部２３ｂは、合成部３０に接続され、輝度が補正されたフラッシュ画像を含む各種情報を合成部３０に出力する。なお、フラッシュ画像に対する輝度変換は、必要に応じて実施すればよく、省略してもよい。

合成部３０は、比率算出部（合成比率算出部）３１と、合成演算部３２とを有する。合成部３０は、補正部２０と接続されている。合成部３０には、色温度が補正されたノーフラッシュ画像と、輝度が補正されたフラッシュ画像とが入力される。更に、合成部３０には、ノーフラッシュ画像及びフラッシュ画像のそれぞれの画素の対応関係を示す情報が入力される。合成部３０は、補正部２０から出力されたノーフラッシュ画像及びフラッシュ画像を合成して合成画像を生成する機能を有する。合成部３０は、ディスプレイＤに接続され、合成画像をディスプレイＤに出力する。

比率算出部３１は、輝度算出部３１ａと、差分算出部３１ｂと、比率取得部３１ｃと、を有する。比率算出部３１は、第１画素値及び第２画素値の少なくとも一方、差分、並びに合成比率関数に基づいて、合成比率を算出する機能を有する。

輝度算出部３１ａは、補正部２０の輝度変換部２３ｂに接続され、輝度変換部２３ｂから各種情報が入力される。各種情報は、色温度が補正されたノーフラッシュ画像、輝度が補正されたフラッシュ画像、ノーフラッシュ画像とフラッシュ画像との画素同士の対応関係を含む。輝度算出部３１ａは、ノーフラッシュ画像を構成する第１被合成画素の第１輝度（第１画素値）と、フラッシュ画像を構成すると共に第１被合成画素に対応する第２被合成画素の第２輝度（第２画素値）と、を算出する機能を有する。輝度算出部３１ａは、差分算出部３１ｂに接続され、第１輝度及び第２輝度を含む情報を差分算出部３１ｂに出力する。

差分算出部３１ｂは、輝度算出部３１ａに接続され、輝度算出部３１ａから各種情報が入力される。各種情報は、第１輝度と第２輝度とを含む。差分算出部３１ｂは、第１輝度と、第２輝度と、の差分を算出する機能を有する。差分算出部３１ｂは、比率取得部３１ｃに接続され、差分を含む情報を比率取得部３１ｃに出力する。

比率取得部３１ｃは、差分算出部３１ｂに接続され、差分算出部３１ｂから各種情報が入力される。各種情報には、差分、第１輝度、第２輝度を含む。比率取得部３１ｃは、差分、第１輝度、第２輝度に基づいて合成比率を算出する機能を有する。合成比率は、合成画像を構成する合成画素の合成輝度（合成画素値）に占める第１輝度（第１画素値）の割合を示す。具体的な合成比率の取得工程は、後述する。比率取得部３１ｃは、合成演算部３２に接続され、合成比率を含む情報を合成演算部３２に出力する。

合成演算部３２は、比率取得部３１ｃに接続され、比率取得部３１ｃから各種情報が入力される。各種情報には、合成比率、第１輝度及び第２輝度を含む。合成演算部３２は、合成比率、第１輝度及び第２輝度に基づいて、第１輝度及び第２輝度を合成し、合成輝度を算出する機能を有する。具体的な算出工程は、後述する。合成演算部３２は、ディスプレイＤに接続され、合成画像をディスプレイＤに出力する。なお、合成演算部３２は、記録メモリＭに接続され、合成画像を記録メモリＭに出力してもよい。

次に、本実施形態に係る画像合成装置１による動作、すなわち本実施形態に係る画像合成方法について説明する。図４及び図５は、画像合成装置１の動作を示すフローチャートである。図４及び図５に示す制御処理は、例えば、携帯端末Ｔの撮像機能をＯＮにしたタイミングで開始され、所定の周期で繰り返し実行されてもよい。また、図４及び図５に示す制御処理は、必要に応じてユーザの操作をトリガとして実行されてもよい。

携帯端末Ｔは、カメラＣ及びフラッシュＦを制御して、ノーフラッシュ画像と、フラッシュ画像と、を撮像し、それぞれの画像を記録メモリＭに記録する。例えば、ユーザがシャッターボタンを押したとき、まず、携帯端末ＴはフラッシュＦがフラッシュ光を発生しないように制御した状態において被写体Ｓを撮像し、ノーフラッシュ画像を記録メモリＭに記録する。そして、携帯端末ＴはフラッシュＦがフラッシュ光を発生するように制御した状態において被写体Ｓを撮像し、フラッシュ画像を記録メモリＭに記録する。フラッシュ画像を撮像する場合には、携帯端末Ｔは、白とびが発生しないように露出条件（Ｅｖ値）を適宜制御する。

入力部１０は、入力ステップＳ１０を実行する。入力ステップＳ１０では、ノーフラッシュ画像及びフラッシュ画像を入力する。入力ステップＳ１０は、ノーフラッシュ画像を入力するステップＳ１１と、フラッシュ画像を入力するステップＳ１２とを有する。ここで、画像合成装置１では、ステップＳ１１と、ステップＳ１２との順番に基づいて、ノーフラッシュ画像とフラッシュ画像とを区別してもよい。本実施形態では、ノーフラッシュ画像を先に入力し、その後にフラッシュ画像を入力する。ノーフラッシュ画像とフラッシュ画像とを区別する手段は、その他任意の手段を取り得る。また、フラッシュ画像の色温度が既知（固定値）である場合には、フラッシュ画像を入力するステップＳ１２を、後述する色温度補正ステップＳ２１の後に実行することができる。

入力ステップＳ１０の後に、補正部２０は、補正ステップＳ２０を実行する。補正ステップＳ２０は、入力ステップＳ１０において入力されたノーフラッシュ画像及びフラッシュ画像を補正する。補正ステップＳ２０は、色温度補正ステップＳ２１と、位置合わせステップＳ２２と、輝度補正ステップＳ２３と、を有する。

フラッシュ画像を入力するステップＳ１２の後に、色温度補正部２１は、色温度補正ステップＳ２１を実行する。色温度補正ステップＳ２１はノーフラッシュ画像及びフラッシュ画像の一方の色温度を他方の色温度に近づくように変換する。本実施形態では、ノーフラッシュ画像の色温度を変換する。色温度補正ステップＳ２１は、色温度を推定するステップＳ２１ａと、色温度補正係数を算出するステップＳ２１ｂと、色温度を変換するステップＳ２１ｃとを有する。

フラッシュ画像を入力するステップＳ１２の後に、色温度推定部２１ａは、色温度を推定するステップＳ２１ａを実行する。詳細には、ノーフラッシュ画像を構成する画素値を利用して、縮小画像を生成する。そして縮小画像におけるＲ成分、Ｇ成分、Ｂ成分を得る。ここで、ＲＧＢ成分と色温度との間には、図６に示されるような関係があることが知られている。横軸は色温度であり、縦軸は輝度である。また、グラフＧ１はＲ成分を示し、グラフＧ２はＧ成分を示し、グラフＧ３はＢ成分を示す。Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの値が既知であれば、それらの間の比率を利用することにより、色温度を推定することができる。例えば、Ｇ成分対Ｒ成分の比率（G/R）とＢ成分対Ｒ成分の比率（B/R）と算出し、図６のグラフを利用して、RGB各成分の比率（G/R，B/R）が最も近い色温度を求める。この推定には、二分探索といった公知の数値計算手法を利用することができる。

色温度を推定するステップＳ２１ａの後に、色温度補正係数算出部２１ｂは、色温度補正係数を算出するステップＳ２１ｂを実行する。詳細には、ステップＳ２１ａで推定したノーフラッシュ画像の色温度と、図６に示されたグラフとを利用して、ノーフラッシュ画像の縮小画像におけるＲ成分、Ｇ成分、Ｂ成分の比率を算出する。一例として、推定された色温度が２０００Ｋ〜６５００Ｋである場合には、Ｇ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率とを算出する。ここで、フラッシュ画像は、フラッシュ光ＦＬが照射されて撮像された画像であり、フラッシュ光ＦＬの色温度は既知である。そこで、フラッシュ画像の色温度はフラッシュ光ＦＬの色温度が支配的であると仮定し、フラッシュ画像の色温度として、フラッシュ光ＦＬの色温度を利用する。そして、フラッシュ画像におけるＧ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率とを算出する。

次に、ノーフラッシュ画像におけるＲ成分、Ｇ成分、Ｂ成分の比率と、フラッシュ画像におけるＲ成分、Ｇ成分、Ｂ成分の比率と、を利用して、色温度補正係数を算出する。この色温度補正係数は、ノーフラッシュ画像におけるＧ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率と、をフラッシュ画像におけるＧ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率と、に近づける補正係数である。今、ノーフラッシュ画像の縮小画像におけるＧ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率と、フラッシュ画像の縮小画像におけるＧ成分対Ｒ成分の比率とＢ成分対Ｒ成分の比率とは既知である。ＲＧＢ各チャンネルの色温度補正係数をa(R)、a(G)、a(B)とすると、下記式（１Ａ），（１Ｂ），（１Ｃ）が規定される。従って、下記式（１Ａ），（１Ｂ），（１Ｃ）を利用して、色温度補正係数αを算出することができる。
a(R) = Y(R)_flash/ Y(R)_noflash …（１Ａ）
a(G) = Y(G)_flash/ Y(G)_noflash …（１Ｂ）
a(B) = Y(B)_flash/ Y(B)_noflash …（１Ｃ）

色温度補正係数を算出するステップＳ２１ｂの後に、色温度変換部２１ｃは、色温度を変換するステップＳ２１ｃを実行する。詳細には、ノーフラッシュ画像を構成する各画素において、Ｒ成分、Ｇ成分、Ｂ成分間の比率と、色温度補正係数α_Ｔとを利用してＲ成分、Ｇ成分、Ｂ成分間の比率を変換し、色温度を変換する。

図７は、色温度補正前のノーフラッシュ画像（図７（ａ））と、色温度補正後のノーフラッシュ画像（図７（ｂ）、（ｃ））の例示である。色温度補正前のノーフラッシュ画像（図７（ａ））の色温度は、２６８７Ｋ（推定値）である。この図７（ｂ）に示されたノーフラッシュ画像は、色温度を６５００Ｋに補正した画像である。図７（ｃ）に示されたノーフラッシュ画像は、色温度を３００００Ｋに補正した画像である。

色温度補正ステップＳ２１の後に、位置合わせ部２２は、位置合わせステップＳ２２を実行する。位置合わせステップＳ２２は、ノーフラッシュ画像を構成する画素と、フラッシュ画像を構成する画素とを対応付ける。詳細には、ノーフラッシュ画像を基準画像とし、ノーフラッシュ画像から抽出された複数の特徴点を利用して、ノーフラッシュ画像と、フラッシュ画像とを対応付ける。フラッシュ画像は、背景が黒つぶれして特徴点として選択可能な点が少ない場合がある。従って、フラッシュ画像よりもノーフラッシュ画像を基準画像として選択する方が有利である。

ところで、フラッシュ光ＦＬを照射して撮像する場合において、フラッシュ光ＦＬの光強度、携帯端末Ｔから被写体Ｓまでの距離及びカメラＣの露出条件等によっては、被写体Ｓが明るくなりすぎて、いわゆる白とび領域を発生させる可能性がある。この白とび領域を構成するテクスチャを事後的に回復することは困難である。従って、フラッシュ光ＦＬを照射して撮像する場合には、被写体Ｓまでの距離などに基づいて白とびを生じさせないように露出条件を撮影ごとに設定するように、カメラＣ、フラッシュＦなどを制御する。このような制御下において撮像されたフラッシュ画像は、白とび領域が抑制されているが、全体的に輝度が小さくなる、すなわち画像が暗くなる傾向にある。そこで、画像全体おいて許容可能な白とび領域の割合を設定し、その割合の白とびが発生するまで、事後的にフラッシュ画像の輝度を大きくする輝度補正ステップＳ２３を実行する。

位置合わせステップＳ２２の後に、輝度補正部２３は、輝度補正ステップＳ２３を実行する。なお、輝度補正ステップＳ２３は、必要に応じて選択的に実行することとしてもよい。この輝度補正ステップＳ２３は、フラッシュ画像の露出が適切になるように輝度を補正する。輝度補正ステップＳ２３では、公知の輝度最適化技術を用いることができる。例えば、輝度補正ステップＳ２３は、輝度補正係数を算出するステップＳ２３ａと、輝度を変換するステップＳ２３ｂとを有することとしてもよい。

補正ステップＳ２０の後に、合成部３０は、合成ステップＳ３０を実行する。合成ステップＳ３０は、補正ステップＳ２０において処理されたノーフラッシュ画像及びフラッシュ画像を合成して合成画像を生成する。合成ステップＳ３０は、比率算出ステップＳ４０と、合成演算ステップＳ５０とを有する。

フラッシュ画像の輝度を補正するステップＳ２３の後に、比率算出部３１は、比率を算出するステップＳ４０を実行する。図５に示されるように、ステップＳ４０は、輝度を算出するステップＳ４１と、差分を算出するステップＳ４２と、比率を取得するステップＳ４３とを有する。

輝度を変換するステップＳ２３ｂの後に、輝度算出部３１ａは、輝度を算出するステップＳ４１を実行する。詳細には、ノーフラッシュ画像から合成処理の対象となる第１被合成画素を選択する。そして、第１被合成画素におけるＲ成分、Ｇ成分及びＢ成分のそれぞれの輝度（Y_noflash）を算出する。次に、フラッシュ画像から合成処理の対象となる第２被合成画素を選択する。第２被合成画素は、第１被合成画素に対応する画素である。この対応関係は、ステップＳ２３において得られた情報に基づいて取得する。第２被合成画素におけるＲ成分、Ｇ成分及びＢ成分のそれぞれの輝度（Y_flash）を算出する。

輝度を算出するステップＳ４１の後に、差分算出部３１ｂは、輝度の差分を算出するステップＳ４２を実行する。詳細には、差分算出部３１ｂは、下記式（２）に基づいて差分（Y_diff）を算出する。
Y_diff=Y_flash − Y_noflash …（２）

輝度の差分を算出するステップＳ４２の後に、比率取得部３１ｃは、合成比率を取得するステップＳ４３を実行する。詳細には、ステップＳ４３では、下記式（３）に基づいて合成比率（W_flash）を取得する。下記式（３）は、本発明における合成比率関数である。式（３）に示される合成比率関数によれば、ノーフラッシュ画像の第１輝度とフラッシュ画像の第２輝度の差分（Y_diff）によって、フラッシュ画像の第２輝度（Y_flash）と合成比率（W_flash）との関係を変換する。例えば、フラッシュ画像の第２輝度がノーフラッシュ画像の第１輝度よりも小さい場合には、フラッシュ画像の第２輝度と合成比率との関係は、図８（ａ）に示された関数のようになる。また、フラッシュ画像の第２輝度がノーフラッシュ画像の第１輝度と等しい場合には、フラッシュ画像の第２輝度と合成比率との関係は、図８（ｂ）に示された関数のようになる。また、フラッシュ画像の第２輝度がノーフラッシュ画像の第１輝度よりも大きい場合には、フラッシュ画像の第２輝度と合成比率との関係は、図８（ｃ）に示された関数のようになる。図８（ａ）、（ｂ）、（ｃ）に示されるように、いずれの合成比率関数も、０より大きく１より小さい領域を含む。例えば、合成比率が１である場合には合成輝度は第２輝度と同値である。また、合成比率が０である場合には、合成輝度は第１輝度と同値である。また、合成比率が０より大きく１より小さい場合には、合成輝度は所定割合の第１輝度と第２輝度とにより規定される。
W_flash=f_flash（Y_flash）×f_diff（Y_diff）
=sigmoid（Y_flash;α_１，β_１）×{sigmoid（Y_diff;α_２，β_２）＋0.5} …（３）
なお、シグモイド関数sigmoid（x;α，β）は下記式（４）のように示される関数である。 sigmoid(x;α,β) = 1/ (1 + exp(−α×(x − β))) …（４）
なお、α、βは、シグモイド関数の曲線を決定する係数である。

式（３）の右辺第一項は、第１関数としてのシグモイド関数（図９（ａ）参照）であり、従属変数（f_flash）が０から１の間で変化する。また、式（３）の右辺第２項は、第１関数を重み付けする第２関数としてのシグモイド関数（図９（ｂ）参照）であり、従属変数（f_diff）が０．５から１．５の間で変化する。この右辺第２項は、右辺第一項の振幅を決定する重み関数の意味を持つ。例えば、差分（Y_diff）がゼロであるとき、右辺第２項は１である。そうすると、合成比率（W_flash）を得る関数は、右辺第一項の関数と同じ関数となる（図９（ｃ）参照）。この右辺第一項の関数によれば、フラッシュ画像の輝度（Y_flash）が大きいときは、合成輝度に占める第２輝度の割合が大きくなる。換言すると、フラッシュ画像が明るい場合には、合成輝度に占める第２輝度の割合が増加する。この右辺第一項の関数によれば、フラッシュ画像の輝度（Y_flash）が小さいときは、合成輝度に占める第２輝度の割合が小さくなる。換言すると、フラッシュ画像が暗い場合には、合成輝度に占める第２輝度の割合が減少する。

フラッシュ画像の輝度が小さい場合、ノーフラッシュ画像及びフラッシュ画像は、夜間に屋外で撮像された可能性が高い。そして、フラッシュ画像の輝度が小さいということは、フラッシュ光ＦＬの届かない夜景を構成する画素である可能性が高い。このとき、ノーフラッシュ画像の輝度と、フラッシュ画像の輝度との合成比率を均等にするよりも、ノーフラッシュ画像の輝度の合成比率を高める方が、より自然な夜景とすることができる。

一方、フラッシュ画像の輝度が大きい場合、ノーフラッシュ画像及びフラッシュ画像は、暗い屋内で撮像された可能性が高い。そして、フラッシュ画像の輝度が大きいということは、フラッシュ光ＦＬが届いた前景を構成する画素である可能性が高い。このとき、ノーフラッシュ画像の輝度と、フラッシュ画像の輝度との合成比率を均等にするよりも、フラッシュ光を照射した効果を最大限利用する観点から、フラッシュ画像の第２輝度の合成比率を高める方が、より自然な画像とすることができる。

上述したように、本実施形態に係る画像合成方法では、合成比率を算出する変数として、輝度と、輝度の差分とを利用している。この２個の変数を利用することにより、屋外において撮像された２枚の画像を合成する場合と、屋内において撮像された２枚の画像を合成する場合とを、１個の合成比率関数で取り扱うことが可能になる。

比率算出ステップＳ４０の後に、合成演算部３２は、合成演算ステップＳ５０を実行する。詳細には、ステップＳ５０では、下記式（５）に基づいて、合成輝度を算出する。ステップＳ５０では、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて、下記式（５）の処理を行い、合成画素値を構成するＲ成分、Ｇ成分、Ｂ成分のそれぞれの合成輝度（Y_c）を算出する。
Y_c=W_flash×Y_flash+[1−W_flash]×Y_noflash …（５）

そして、上記ステップＳ４０，Ｓ５０を、ノーフラッシュ画像及びフラッシュ画像の合成対象となる全ての画素について繰り返し実施する。以上のステップＳ１０〜Ｓ５０により、合成画像が得られる。

以下、本実施形態に係る画像合成装置及び画像合成方法の作用効果について説明する。まず、ノーフラッシュ画像及びフラッシュ画像のそれぞれの特徴について説明する。被写体Ｓに対してフラッシュ光ＦＬを照射せずに撮像したノーフラッシュ画像は、その特徴として、屋内で撮像された場合には前景が明るく（図１０（ａ）参照）、屋外で撮像された場合には前景が暗い点（図１１（ａ）参照）が挙げられる。また、別の特徴として、ノーフラッシュ画像の色温度は、環境光の色温度が支配的になる。例えば、室内の環境光は、白熱電球、ろうそくなど、色温度の低い光であることが多い。

一方、被写体Ｓに対してフラッシュ光ＦＬを照射して撮像したフラッシュ画像は、その特徴として、被写体Ｓを含む前景が明るい点が挙げられる（図１０（ｂ）及び図１１（ｂ）参照）。また、別の特徴として、フラッシュ画像に含まれた背景は、屋内で撮像された場合には明るく、屋外で撮像された場合には背景が暗い点、が挙げられる。また、更に別の特徴として、フラッシュ光ＦＬの色温度は比較的高いので、フラッシュ画像の色温度も比較的高い点が挙げられる。

上述のように、同一の被写体Ｓを互いに異なる光環境条件において撮像した場合、それぞれの画像情報に含まれる色温度が異なる場合があり得る。色温度が異なる画像情報同士を合成すると、良好な合成画像が得られない場合がある。そこで、この画像合成装置１では、補正部２０において、ノーフラッシュ画像の色温度をフラッシュ画像の色温度に近づけるように補正している。そして、合成部３０において、色温度が補正されたノーフラッシュ画像をフラッシュ画像と合成している。従って、合成されるノーフラッシュ画像は、フラッシュ画像の色温度に近づくように色温度が補正されているので、これらノーフラッシュ画像とフラッシュ画像とを合成することにより良好な合成画像（図１０（ｃ）及び図１１（ｃ）参照）が得ることができる。

また、合成部３０において第１画素と第２画素とが合成される。この合成には、合成比率が０より大きく１より小さい領域を有する合成比率関数に基づいて合成比率が決定される。この合成比率によれば、合成輝度が第１輝度と第２輝度とにより構成されるので、第１輝度と第２輝度の間の値を取り得る。従って、合成輝度において、合成輝度が不連続に変化する箇所の発生を抑制し、合成輝度を連続的に変化させ得る。従って、より良好な合成画像（図１０（ｃ）及び図１１（ｃ）参照）を得ることができる。

また、第１輝度と第２輝度との差分が小さいとき、第１輝度又は第２輝度のいずれかの輝度を重視して合成する方がより良好な合成画像を得られる場合がある。そこで、この画像合成装置１では、比率算出部３１において、輝度の差分に加えて、輝度そのものも利用して合成比率を算出している。輝度そのものを利用することにより、輝度の差分が小さい場合であっても、第１輝度又は第２輝度のいずれかの輝度を重視して合成することが可能になる。従って、更に良好な合成画像を得ることができる。

また、補正部２０は、輝度補正部２３を有している。輝度補正部２３によれば、フラッシュ画像の輝度が大きくなる。従って、一層良好な合成画像を得ることができる。

次に、携帯端末（コンピュータ）Ｔを上記画像合成装置１として機能させるための画像合成プログラムについて説明する。

画像合成プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、画像を取得するように携帯端末Ｔを動作させる。演算処理モジュールは、入力部１０、補正部２０及び合成部３０を有する。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像合成装置１の入力部１０、補正部２０及び合成部３０の機能とそれぞれ同様である。

画像合成プログラムは、例えば、ＲＯＭ等の記録媒体又は半導体メモリによって提供される。また、画像合成プログラムは、データ信号としてネットワークを介して提供されてもよい。

なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。本発明に係る画像合成装置は、実施形態に係る画像合成装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形し、又は他のものに適用したものであってもよい。

例えば、第２光環境条件には、フラッシュ光に代えて、スポット光源などから照射される別の光を含むこととしてもよい。画像合成装置では、色温度変換部における処理を必要に応じて実行することとしてもよい。また、色温度変換部における処理では、フラッシュ画像の色温度をノーフラッシュ画像の色温度に近づけるように、フラッシュ画像の色温度を変換してもよい。また、色温度変換部における処理では、ノーフラッシュ画像の色温度の推定に加え、フラッシュ画像の色温度を、その都度、ノーフラッシュ画像の色温度の推定と同様のステップを利用して推定してもよい。また、色温度推定部における処理では、二分探索法以外のアルゴリズムを用いてもよい。また、比率算出部における処理では、合成比率を算出するための変数として輝度の差分のみを用いることとしてもよい。この場合の合成比率関数は、図１２に示される。

また、ディスプレイＤには、ノーフラッシュ画像と、フラッシュ画像と、合成画像とを重ね合わせて表示すると共に、スライダーを併せて表示してもよい。このスライダーは、各画像の透過率を変化させる機能を有する。携帯端末Ｔは、上記スライダーといった合成による変化をわかりやすく示すユーザインターフェースを搭載してもよい。

また、合成演算部３２における処理では、合成画像がノーフラッシュ画像とフラッシュ画像とを合成したものであることを示すアイコンを合成画像に対して追加してもよい。なお、このアイコンは、ノーフラッシュ画像及びフラッシュ画像には追加しない。また、合成演算部３２は、合成画像と、合成画像の生成に利用したノーフラッシュ画像とフラッシュ画像とを記録メモリＭに出力してもよい。この場合には、ユーザが合成画像を不要と判断する場合に、合成前のノーフラッシュ画像とフラッシュ画像と選択して記録することが可能になる。

更に、別の実施形態に係る画像合成装置について説明する。図１３に示される画像合成装置１Ａは、携帯端末ＴＡを利用するユーザＵの好みに合わせた合成画像を提供する。

ユーザＵは、色温度を自動的に調整して合成した画像（以下、「自動調整画像」（第１合成画像情報に係る画像、第１画像）ともいう）よりも、色温度を調整せずに合成した画像（以下「無調整画像」（第２合成画像情報に係る画像、第２画像）ともいう）を好むこともあり得る。例えば、背景に照らされた照明色が特殊であり（イルミネーション等）、その照明色を合成画像に反映させたい場合である。そこで、画像合成装置１Ａは、自動調整画像と無調整画像とをディスプレイＤに表示させる。そして、画像合成装置１Ａは、好みの画像をユーザＵに選択させる。

また、ユーザＵは、自分の好みに合うように画像を調整することを望む場合もあり得る。図１における画像合成装置１では、フラッシュ画像の色温度に近づけるようにノーフラッシュ画像の色温度を調整した後に、フラッシュ画像と色温度が調整されたノーフラッシュ画像とを自動的に合成した。このように一方の画像の色温度を他方の画像の色温度に補正し、これら画像を合成する処理を「自動的に合成する処理」と呼ぶ。この画像合成装置１Ａは、色温度の調整において、フラッシュ画像の色温度と、ノーフラッシュ画像の色温度と、の少なくとも一方をユーザＵが指定した色温度に調整する。そして、画像合成装置１Ａは、色温度が調整されたフラッシュ画像とノーフラッシュ画像とを利用して、ユーザＵの好みに合わせた合成画像（以下、「ユーザ調整画像」（第３合成画像情報に係る画像、第３画像）ともいう）を生成する。

以下、画像合成装置１Ａの構成について説明する。なお、画像合成装置１と共通する構成については同一の符号を付し、説明を省略する。図１３に示されるように、携帯端末ＴＡは、カメラＣと記録メモリＭとフラッシュＦとディスプレイ（画像表示部）Ｄと画像合成装置１Ａと、に加えて、更に画像情報記録部Ｒを備える。画像情報記録部Ｒは、複数の画像情報が記録される。画像情報記録部Ｒは、例えば、メモリーカードや、ハードディスクといった大容量記録媒体である。

画像合成装置１Ａは、入力部１０と補正部２０Ａと合成部３０とに加えて、更に表示制御部４０と、操作情報取得部５０と、記録制御部６０と、画像処理部７０と、を有する。

入力部１０は、記録メモリＭとカメラＣと補正部２０Ａとに加えて、更に合成部３０に接続される。入力部１０は、ノーフラッシュ画像及びフラッシュ画像を補正部２０Ａに加えて、合成部３０にも出力する。画像処理部７０は、ノーフラッシュ画像、フラッシュ画像、無調整画像及び自動調整画像などに対して所定の画像処理を行う。所定の画像処理には、例えば、顔検出処理などが含まれる。

補正部２０Ａは、第１補正部２４と第２補正部２６とを有する。図１４に示されるように、第１補正部２４は、色温度補正部２１と、位置合わせ部２２と、輝度補正部２３とを有する。第１補正部２４は、フラッシュ画像及びノーフラッシュ画像の一方の色温度を他方の色温度に近づけるように補正する。第２補正部２６は、色温度補正部２１Ａと、位置合わせ部２２と、輝度補正部２３とを有する。第２補正部２６には、操作情報取得部５０から目標色温度情報が入力される。第２補正部２６は、目標色温度情報に基づいてフラッシュ画像及びノーフラッシュ画像の少なくとも一方の画像の色温度を補正する。

合成部３０は、比率算出部３１と、合成演算部３２とを有する。合成部３０には、入力部１０から出力された情報と、第１補正部２４から出力された情報と、第２補正部２６から出力された情報と、が入力される。合成部３０は、第１補正部２４から出力された情報を利用して、自動調整画像を生成する。合成部３０は、入力部１０から出力された情報を利用して、無調整画像を生成する。合成部３０は、第２補正部２６から出力された情報を利用して、ユーザ調整画像を生成する。

図１３に示されるように、表示制御部４０は、合成部３０とディスプレイＤとに接続される。表示制御部４０は、合成部３０から出力される画像情報に係る画像をディスプレイＤに表示させる。例えば、図１７（ａ）に示されるように、表示制御部４０は、ディスプレイＤの領域を分割して一方に自動調整画像Ｇ４を表示し、他方に無調整画像Ｇ６を表示してもよい。また、表示制御部４０は、操作用画像Ｐ１（図１７（ａ）参照）、操作用画像Ｐ２（図１７（ｂ）参照）及び操作用画像Ｐ３（図１８参照）をディスプレイＤに表示させる。ユーザＵは、これら操作用画像Ｐ１，Ｐ２，Ｐ３に触れることによって、操作情報を入力する。

図１９に示されるように、表示制御部４０は、第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとをディスプレイＤに表示させてもよい。第１部分画像Ｇ４ａは、自動調整画像Ｇ４（第１画像）における第１の部分である。例えば、図１９において、破線で囲まれた領域が第１の部分に対応する。第２部分画像Ｇ６ａは、無調整画像Ｇ６（第２画像）における第２の部分である。例えば、図１９において、破線で囲まれていない領域が第２の部分に対応する。すなわち、破線で囲まれた領域の外側が第２の部分に対応する。第２の部分は、第１の部分と隣接する関係にある。第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとをディスプレイＤに表示させると、第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとの境界には、境界線Ｌ１が形成される。境界線Ｌ１は、第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとの境界を示す。第１部分画像Ｇ４ａは、無調整画像Ｇ６に係る画像の一部である。第２部分画像Ｇ６ａは、自動調整画像Ｇ４に係る画像の一部である。そして、第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとは、特徴領域Ａ１の一部をそれぞれ含んでいる。換言すると、特徴領域Ａ１は、境界線Ｌ１によって第１部分画像Ｇ４ａに含まれる部分と第２部分画像Ｇ６ａに含まれる部分とに分割されている。画像において人物の顔、照明源及び反射した照明光などが占める領域は、出力画像上おいてユーザが色を決定する基準となりうる。上述した画像における特徴領域Ａ１とは、出力画像上においてユーザが色を決定する基準となりうる領域を意味する。従って、特徴領域Ａ１の一部を自動調整画像Ｇ４とし、別の一部を無調整画像Ｇ６とすれば、より好適な画像色の比較が可能になる。

例えば、画像上における人物の顔を含む特徴領域Ａ１が、境界線Ｌ１によって第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとに分割されているとする。この画像構成は、人物の顔を含む領域が色調整されている領域と色調整されていない領域とに分割された表示態様をユーザＵに提示する。従って、画像合成装置１Ａは、顔の色（スキントーン）が自然に見えるように色温度が調整された合成画像（第１部分画像Ｇ４ａ）又は色温度が調整されていない合成画像（第２部分画像Ｇ６ａ）の一方をユーザＵに選択させる。その結果、顔の色合いが優先される場合には、ユーザＵは第１部分画像Ｇ４ａを選択するであろう。一方、顔の色合いよりも優先される要素があり且つ顔の色合いが許容可能である場合には、ユーザＵは第２部分画像Ｇ６ａを選択するであろう。例えば、顔の色合いよりも人物の後ろに存在する照明の色合いを優先させる場合には、ユーザＵは第２部分画像Ｇ６ａを選択するであろう。

特徴領域Ａ１は、人物が占める領域に限定されない。特徴領域Ａ１は、例えば、照明光が占める領域であってもよい。この場合には、照明光が占める領域が色調整されている領域と色調整されていない領域とに分割された画像構成がディスプレイＤに表示される。照明光の色合いが優先される場合には、ユーザＵは第１部分画像を選択するであろう。一方、照明光の色合いよりも優先される要素があり且つ照明光の色合いが許容可能である場合には、ユーザＵは第２部分画像を選択するであろう。

人物Ｈ１が写った画像では、人物Ｈ１に境界線Ｌ１が重複するように設定される。この境界線Ｌ１の設定は、ユーザＵが行ってもよいし、自動的に設定されてもよい。ユーザＵが境界線Ｌ１の設定を行う場合には、ユーザＵが特徴領域Ａ１を指定する。次に、ユーザＵが指定した領域を二分割するように表示制御部４０が境界線Ｌ１を設定する。また、境界線Ｌ１の設定を行う場合には、画像処理部７０が画像に対して顔検出処理を行う。次に、顔として抽出された領域を二分割するように表示制御部４０が境界線Ｌ１を設定する。また、自動的に境界線Ｌ１の設定を行う別の場合には、画像処理部７０がノーフラッシュ画像において輝度値が閾値よりも高い画素が所定数以上集まった領域を抽出する。この領域は、照明源に対応する。次に、抽出された領域を二分割するように表示制御部４０が境界線Ｌ１を設定する。

境界線Ｌ１は、ユーザＵが望む位置に自由に移動させてもよい。また、表示制御部４０は、ディスプレイＤ上においてユーザＵが指先で描いた軌跡を境界線Ｌ１としてもよい。表示制御部４０は、自動調整画像Ｇ４の位置及び範囲をユーザＵに自由に設定させてもよい。

図１３に示されるように、操作情報取得部５０は、ディスプレイＤと補正部２０Ａと記録制御部６０とに接続される。操作情報取得部５０は、操作用画像Ｐ１，Ｐ２，Ｐ３に対するユーザＵの操作によって発生した操作情報を取得する。そして、操作情報取得部５０は、取得した操作情報を補正部２０Ａ及び記録制御部６０へ出力する。従って、画像合成装置１Ａでは、ディスプレイＤが入力装置である。なお、入力装置は、携帯端末ＴＡが備える物理的な操作キー等であってもよい。この場合には、操作情報取得部５０は、操作キーと接続される。そして操作情報取得部５０は、操作キーに対するユーザＵの操作によって発生した操作情報を取得する。

ここで操作情報は、画像特定情報と、目標色温度情報とを含む。画像特定情報とは、フラッシュ画像、ノーフラッシュ画像、自動調整画像、無調整画像、及びユーザ調整画像を特定する情報である。操作用画像Ｐ１（図１７（ａ）参照）において、「色味の調整を無効にする」のボックスにチェックを入れると、画像特定情報は、無調整画像を特定する情報を含む。また、目標色温度情報とは、フラッシュ画像及びノーフラッシュ画像の少なくとも一方の色温度を補正するための情報である。例えば、操作用画像Ｐ３（図１８参照）は、２個のスライドバーＰ３ａ，Ｐ３ｂを有する。これらスライドバーＰ３ａ，Ｐ３ｂの横方向に沿った位置は、色温度に対応している。操作用画像Ｐ３の初期表示においてスライドバーＰ３ａ，Ｐ３ｂの位置は、色温度を調整する前のフラッシュ画像とノーフラッシュ画像との色温度に対応している。このスライドバーＰ３ａ，Ｐ３ｂを移動させると、フラッシュ画像とノーフラッシュ画像とを合成するときにおける色温度が指定される。合成時における色温度が調整されると、得られるユーザ調整画像の見栄えが変化する。ユーザＵは、好みの画像になるように、ユーザ調整画像を確認しながらスライドバーＰ３ａ，Ｐ３ｂの位置を調整する。

記録制御部６０は、操作情報取得部５０と、合成部３０と、画像情報記録部Ｒとに接続される。記録制御部６０は、操作情報取得部５０から入力された画像特定情報に基づいて、合成部３０から入力された各画像情報から記録すべき画像情報を特定する。そして、特定された画像情報を画像情報記録部Ｒに出力して、記録させる。

次に、画像合成装置１Ａの動作について図１５及び図１６を参照しつつ説明する。まず、画像合成装置１Ａは、自動調整画像を生成するステップＳ６０を実行する。このステップＳ６０は、入力ステップＳ１０と、補正ステップＳ２０と、合成ステップＳ３０とを含む。自動調整画像を生成するステップＳ６０の後に、無調整画像を生成するステップＳ７０を実行する。ステップＳ７０は、入力ステップＳ１０と、補正ステップＳ２０Ａと、合成ステップＳ３０とを含む。補正ステップＳ２０Ａは、色温度補正ステップＳ２１を含まない点で補正ステップＳ２０と相違する。すなわち、ステップＳ２０Ａでは、位置合わせ部２２がフラッシュ画像とノーフラッシュ画像との位置合わせを実行する（ステップＳ２２）。そして、位置合わせステップＳ２２の後に、輝度補正部２３が輝度補正ステップＳ２３を実行する。そして、合成部３０が合成ステップＳ３０を実行する。

無調整画像を生成するステップＳ７０の後に、表示制御部４０は、表示ステップＳ８０を実行する。表示制御部４０は、ディスプレイＤに自動調整画像Ｇ４と無調整画像Ｇ６とを表示させる。更に、表示制御部４０は、操作用画像Ｐ１をディスプレイＤに表示させる。

次に、操作情報取得部５０は、画像特定情報を取得するステップＳ９０を実行する。図１７（ａ）に示されるように、ユーザＵが無調整画像Ｇ６を選んだ場合（ステップＳ９０：ＹＥＳ）には、記録制御部６０が無調整画像Ｇ６を画像情報記録部Ｒに記録させる（ステップＳ９１）。一方、図１７（ａ）に示された画面において、ユーザＵが無調整画像Ｇ６を選択しなかった場合（ステップＳ９０：ＮＯ）には、次のステップＳ９２に移行する。

次に、図１７（ｂ）に示されるように、表示制御部４０は、色温度の調整の要否を問う操作用画像Ｐ２をディスプレイＤに表示させる。ここでユーザＵが色温度の調整を望まなかった場合（ステップＳ９２：ＮＯ）には、記録制御部６０が自動調整画像Ｇ４を画像情報記録部Ｒに記録させる（ステップＳ９３）。一方、ユーザＵが色温度の調整を望んだ場合（ステップＳ９２：ＹＥＳ）には、次のステップＳ９４に移行する。

次に、表示制御部４０は、調整用画面Ｇ７を表示するステップＳ９４を実行する。図１８に示されるように、表示制御部４０は、自動調整画像Ｇ４と無調整画像Ｇ６とをディスプレイＤに表示させる。更に、表示制御部４０は、色温度を調整するための操作用画像Ｐ３をディスプレイＤに表示させる。

次に、色温度推定部２１ａは、ノーフラッシュ画像の色温度を推定するステップＳ９５を実行する。

次に、ユーザＵがノーフラッシュ画像の色温度を調整するスライドバーＰ３ａを移動させたとする。そうすると、操作情報取得部５０は、目標色温度情報を取得する（ステップＳ９６）。目標色温度情報は、スライドバーＰ３ａの位置に対応する。色温度補正部２１は、ノーフラッシュ画像の色温度が目標色温度に近づくように補正する（ステップＳ９７）。

この補正は、画像合成装置１において実行される色温度の補正と同様の方法を用いて実行されるが、利用されるデータが異なっている。具体的には、画像合成装置１では、ノーフラッシュ画像のＲＧＢ成分の比率をフラッシュ画像のＲＧＢ成分の比率に近づける補正係数を算出した。画像合成装置１Ａは、ノーフラッシュ画像のＲＧＢ成分の比率を目標色温度によって示されるＲＧＢ成分の比率に近づける補正係数を算出する。

より詳細には、まず、色温度補正係数算出部２１ｂは、色温度補正係数を算出するステップＳ２１ｂを実行する。詳細には、ステップＳ９５で推定したノーフラッシュ画像の色温度と、図６に示されたグラフとを利用して、ノーフラッシュ画像の縮小画像におけるＲ成分、Ｇ成分、Ｂ成分の比率を算出する。次に、目標色温度情報と図６に示されたグラフとを利用して、目標色温度におけるＲ成分、Ｇ成分、Ｂ成分の比率を算出する。次に、ノーフラッシュ画像におけるＲ成分、Ｇ成分、Ｂ成分の比率と、目標色温度におけるＲ成分、Ｇ成分、Ｂ成分の比率と、を利用して、色温度補正係数を算出する。色温度補正係数を算出するステップＳ２１ｂの後に、色温度変換部２１ｃは、色温度を変換するステップＳ２１ｃを実行する。

次に、位置合わせ部２２は、位置合わせステップＳ２２を実行する。続いて、位置合わせステップＳ２２の後に、輝度補正部２３は、輝度補正ステップＳ２３を実行する。そして、合成部３０は、合成ステップＳ３０を実行する。合成ステップＳ３０は、補正ステップＳ９７において処理されたノーフラッシュ画像及びフラッシュ画像を合成してユーザ調整画像Ｇ４’を生成する。

次に、表示制御部４０は、ディスプレイＤに無調整画像Ｇ６とユーザ調整画像Ｇ４’と、を表示させる（ステップＳ９８）（図１８参照）。ユーザＵは、ユーザ調整画像Ｇ４’を確認することにより、好みの合成画像が得られたか判断する。この判断に関する操作情報は、表示制御部４０がディスプレイＤに表示させたボタンＰ３ｃの操作によって得られる。ここで、調整が完了していないとユーザＵが判断した場合（ステップＳ９９：ＮＯ）には、再度スライドバーＰ３ａを移動させる。そして、再び画像合成装置１Ａは、ステップＳ９６，Ｓ９７，Ｓ２２，Ｓ２３，Ｓ３０，Ｓ９８を実行する。一方、調整が完了したとユーザＵが判断した場合（ステップＳ９９：ＹＥＳ）には、記録制御部６０は、ユーザ調整画像Ｇ４’を画像情報記録部Ｒに保存させる（ステップＳ１００）。

画像合成装置１Ａによれば、ユーザＵの好みにより適合する合成画像を提供することができる。

なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。上述した実施形態に係る画像合成装置は、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形してもよい。

画像合成装置１Ａは、ノーフラッシュ画像の全領域において色温度を調整して、フラッシュ画像と合成した。例えば、画像合成装置１Ａは、色温度が調整されずに合成された部分（第３部分画像）と、色温度が調整されて合成された部分（第４部分画像）と、を含む合成画像（第４合成画像情報に係る画像、第４画像）を生成してもよい。ここで、第３部分画像とは、自動調整画像（第１画像）Ｇ４における第３の部分に対応する画像である。また、第４部分画像とは、第２画像又は第３画像における第４の部分に対応する画像である。例えば、図２０（ａ）に示されるように、まず、表示制御部４０が無調整画像Ｇ６をディスプレイＤに表示させる。次に、ユーザＵが色温度を調整して合成したい領域Ａを指定する。この領域Ａに関する情報は、操作情報取得部５０によって取得される。そして、操作情報取得部５０は、領域Ａを示す情報を画像処理部７０に出力する。第４部分画像は、色温度が自動的に調整された後に合成された第１合成画像情報に係る画像（自動調整画像）の一部であってもよいし、ユーザによって指定された色温度になるように調整された後に合成された第３合成画像情報に係る画像（ユーザ調整画像）の一部であってもよい。

ここでユーザＵに指定された領域Ａは、色温度の調整が適した部分と、色温度の調整が適さない部分とを含むことがある。そこで、領域Ａに色温度の調整が適した部分（又は色温度の調整が適さない部分）が多く含まれるように、画像処理部７０は、領域Ａの占める範囲を調整してもよい。図２０（ｂ）に示されるように、領域Ａは、色温度の調整が適した人物Ｈ１が占める領域と、は色温度の調整が適さない背景Ｈ２が占めると、を含む。そこで、まず、ユーザＵは人物Ｈ１を含む領域Ａを指定する。次に、画像処理部７０は、ユーザＵが指定した領域Ａよりも広く、且つ領域Ａを囲む拡張領域Ｂを設定する。次に、拡張領域Ｂにおいて、輝度値の変化が極大となる連続線が算出される。この処理には、無調整画像Ｇ６の輝度値を用いる。なお、無調整画像Ｇ６において、フラッシュ画像の成分が多く含まれている画素についてはフラッシュ画像の輝度値を利用してもよい。一方、フラッシュ画像の成分が少ない画素についてはノーフラッシュ画像の輝度値を利用してもよい。すなわち、ノーフラッシュ画像の成分が多く含まれている画素についてはノーフラッシュ画像の輝度値を利用する。そして、画像処理部７０は、連続線により囲まれた閉領域を調整合成領域（第４部分画像）Ａ２として設定する。この処理によれば、ユーザＵが人物Ｈ１を囲むように領域Ａを設定すると、領域Ａを囲む拡張領域Ｂが自動的に設定される。輝度値の変化が最大となる連続線は、人物Ｈ１と背景Ｈ２との境界線Ｌ２である。従って、この例においては、連続線により囲まれた閉領域は、人物Ｈ１が占める領域である。

例えば、領域Ａの指定は、ユーザＵが指定するだけでなく、ソフトウエアが自動的に設定してもよい。そうすると、領域Ａの内側では、色温度が調整されてフラッシュ画像とノーフラッシュ画像とが合成され、領域Ａの外側では色温度が調整されずにフラッシュ画像とノーフラッシュ画像とが合成される。ここで、領域Ａの生成では、色温度を自動的に調整してもよいし、ユーザが調整してもよい。このような構成によれば、更にユーザＵの好みにより適合した合成画像を得ることができる。

例えば、画像合成装置１Ａは、ディスプレイＤに無調整画像と自動調整画像とを表示していたが、この表示形態に限定されない。例えば、ステップＳ８０において、画像合成装置１Ａは、自動調整画像のみをディスプレイＤに表示して、ユーザＵに対する問い合わせをしてもよい。また、例えば、ステップＳ９８において、画像合成装置１Ａは、ユーザ調整画像Ｇ４’と操作用画像Ｐ３とをディスプレイＤに表示して、ユーザＵに色温度の調整をさせてもよい。

例えば、画像合成装置１Ａは、ディスプレイＤに無調整画像と自動調整画像と表示するとき、色温度が調整された領域と、色温度が調整されていない領域と、を含む１個の画像を表示していた。例えば、図２１に示されるように、画像合成装置１Ａは、ディスプレイＤに１個の無調整画像Ｇ６と、１個の自動調整画像Ｇ４とをそれぞれ表示してもよい。

例えば、画像合成装置１Ａは、自動調整画像Ｇ４と無調整画像Ｇ６を選択させる構成と、ユーザＵが色温度を調整可能な構成とを有していた。画像合成装置は、例えば、自動調整画像Ｇ４と無調整画像Ｇ６を選択させる構成を有し、ユーザＵが色温度を調整可能な構成を有しない構成とすることもできる。また、画像合成装置は、例えば、ユーザＵが色温度を調整可能な構成を有し、自動調整画像Ｇ４と無調整画像Ｇ６を選択させる構成を有しない構成とすることもできる。

例えば、画像合成装置１Ａは、自動調整画像を生成するステップＳ６０の前に、色温度の調整を望むか否かを問うステップＳ９２を実行してもよい。

境界線Ｌ１は、特徴領域Ａ１を第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとに分割していた。そして、第１部分画像Ｇ４ａ及び第２部分画像Ｇ６ａは、特徴領域Ａ１の一部をそれぞれ含んでいた。例えば、境界線Ｌ１は、特徴領域Ａ１のみを分割するものであってもよい。この場合には、特徴領域Ａ１は、第１部分画像Ｇ４ａ及び第２部分画像Ｇ６ａによって形成される。すなわち、第１部分画像Ｇ４ａ及び第２部分画像Ｇ６ａは、特徴領域Ａ１とは別の領域を含まない。具体的には、画像合成装置１Ａは、ディスプレイＤの表示領域を境界線Ｌ１によって二分割する。この境界線Ｌ１は、一例として人物の顔を通るように設定される。次に、画像合成装置１Ａは、ユーザＵに色調整の対象範囲（領域Ａ）を指定させる。その結果、ディスプレイＤには、人物Ｈ１が占める領域が境界線Ｌ２に囲まれた画像が表示される。境界線Ｌ２に囲まれた領域は、特徴領域Ａ１であり、境界線Ｌ１によって第１部分画像Ｇ４ａと第２部分画像Ｇ６ａとに分割されている。

特徴領域Ａ１は、境界線Ｌ１によって色温度が調整された領域と色温度が調整されない領域とに分割される。色温度が調整された領域は、色温度が自動的に調整された領域であってもよい。また、色温度が調整された領域は、ユーザが色温度を調整した領域であってもよい。

１，１Ａ…画像合成装置、１０…入力部、２０…補正部、２１…色温度補正部、２１ａ…色温度推定部、２１ｂ…色温度補正係数算出部、２１ｃ…色温度変換部、２２…位置合わせ部、２３…輝度補正部、２３ａ…輝度補正係数算出部、２３ｂ…輝度変換部、２４…第１補正部、２６…第２補正部、３０…合成部、３１…比率算出部（合成比率算出部）、３１ａ…輝度算出部、３１ｂ…差分算出部、３１ｃ…比率取得部、３２…合成演算部、４０…表示制御部、５０…操作情報取得部、６０…記録制御部、Ｃ…カメラ、Ｄ…ディスプレイ、Ｆ…フラッシュ、ＦＬ…フラッシュ光、Ｇ４…自動調整画像（第１合成画像情報に係る画像）、Ｇ４ａ…第１部分画像、Ｇ４’…ユーザ調整画像（第３合成画像情報に係る画像）、Ｇ６…無調整画像（第２合成画像情報に係る画像）、Ｇ６ａ…第２部分画像、Ｈ１…人物、Ｈ２…背景、Ｌ１，Ｌ２…境界線、Ｒ…画像情報記録部、Ｕ…ユーザ、Ｐ１，Ｐ２，Ｐ３…操作用画像、Ｓ１０…入力ステップ、Ｓ２０…補正ステップ、Ｓ３０…合成ステップ、Ｔ，ＴＡ…携帯端末。

Claims

第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する画像合成装置であって、
前記第１画像情報及び前記第２画像情報を入力する入力部と、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部と、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部と、を備え、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出部と、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出する合成比率算出部と、を有し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方と、前記合成比率との関係を規定する第１関数及び前記差分に対応すると共に前記第１関数を重み付けする第２関数を含む、画像合成装置。
第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する画像合成装置であって、
前記第１画像情報及び前記第２画像情報を入力する入力部と、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部と、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部と、を備え、
前記補正部は、前記第２画像情報の輝度に基づいて、前記第２画像情報の輝度を補正する輝度補正係数を算出すると共に、前記輝度補正係数を用いて前記第２画像情報の輝度を補正する輝度補正部を更に有し、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記第２画像情報は、前記被写体にフラッシュ光を照射して撮像された画像情報である、画像合成装置。
第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する画像合成装置であって、
前記第１画像情報及び前記第２画像情報を入力する入力部と、
前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部と、を備え、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方と、前記合成比率との関係を規定する第１関数及び前記差分に対応すると共に前記第１関数を重み付けする第２関数を含む、画像合成装置。
第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する画像合成装置であって、
前記第１画像情報及び前記第２画像情報を入力する入力部と、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部と、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部と、
画像を画像表示部に表示させる表示制御部と、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部と、
前記操作情報を利用して前記画像に関する情報を画像情報記録部に記録させる記録制御部と、を備え、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成すると共に、前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成することにより第２合成画像情報を生成し、
前記表示制御部は、前記第１合成画像情報に係る第１画像と、前記第２合成画像情報に係る第２画像とを、前記画像表示部に表示させ、
前記操作情報は、前記第１合成画像情報又は前記第２合成画像情報のいずれか一方を特定する画像特定情報を含み、
前記記録制御部は、前記画像特定情報によって特定される前記第１合成画像情報又は前記第２合成画像情報のいずれか一方の情報を前記画像情報記録部に記録させる、画像合成装置。
第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する画像合成装置であって、
前記第１画像情報及び前記第２画像情報を入力する入力部と、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部と、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部と、
画像を画像表示部に表示させる表示制御部と、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部と、を備え、
前記操作情報は、前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、前記目標色温度情報に基づいて前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、
前記合成部は、前記第１補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成し、前記第２補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより第３合成画像情報を生成し、
前記表示制御部は、前記第３合成画像情報に係る第３画像を前記画像表示部に表示させる、画像合成装置。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、
前記第１画像情報及び前記第２画像情報を入力する入力ステップと、
前記入力ステップにおいて入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正ステップと、
前記補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成ステップと、を有し、
前記補正ステップは、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成ステップは、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出ステップと、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出する合成比率算出ステップと、を含み、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方と、前記合成比率との関係を規定する第１関数及び前記差分に対応すると共に前記第１関数を重み付けする第２関数を含む、画像合成方法。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、
前記第１画像情報及び前記第２画像情報を入力する入力ステップと、
前記入力ステップにおいて入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正ステップと、
前記補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成ステップと、を有し、
前記補正ステップは、前記第２画像情報の輝度に基づいて、前記第２画像情報の輝度を補正する輝度補正係数を算出すると共に、前記輝度補正係数を用いて前記第２画像情報の輝度を補正する輝度補正ステップを更に有し、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記第２画像情報は、前記被写体にフラッシュ光を照射して撮像された画像情報である、画像合成方法。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、
前記第１画像情報及び前記第２画像情報を入力する入力ステップと、
前記入力ステップにおいて入力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成ステップと、を有し、
前記合成ステップは、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方、並びに前記差分と、前記合成比率との関係を規定する、画像合成方法。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、
前記第１画像情報及び前記第２画像情報を入力する入力ステップと、
前記入力ステップにおいて入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正ステップと、
前記補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成ステップと、
画像を画像表示部に表示させる表示制御ステップと、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得ステップと、
前記操作情報を利用して前記画像に関する情報を画像情報記録部に記録させる記録制御ステップと、を有し、
前記補正ステップは、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成ステップは、前記補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成すると共に、前記入力ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成することにより第２合成画像情報を生成し、
前記表示制御ステップは、前記第１合成画像情報に係る第１画像と、前記第２合成画像情報に係る第２画像とを、前記画像表示部に表示させ、
前記操作情報は、前記第１合成画像情報又は前記第２合成画像情報のいずれか一方を特定する画像特定情報を含み、
前記記録制御ステップは、前記画像特定情報によって特定される前記第１合成画像情報又は前記第２合成画像情報のいずれか一方の情報を前記画像情報記録部に記録させる、画像合成方法。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行う画像合成方法であって、
前記第１画像情報及び前記第２画像情報を入力する入力ステップと、
前記入力ステップにおいて入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正ステップと、
前記補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成ステップと、
画像を画像表示部に表示させる表示制御ステップと、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得ステップと、を有し、
前記操作情報は、前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、
前記補正ステップは、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正ステップと、前記目標色温度情報に基づいて前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正する第２補正ステップと、を含み、
前記合成ステップは、前記第１補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成し、前記第２補正ステップにおいて処理された前記第１画像情報及び前記第２画像情報を合成することにより第３合成画像情報を生成し、
前記表示制御ステップは、前記第３合成画像情報に係る第３画像を前記画像表示部に表示させる、画像合成方法。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムであって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出部と、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出する合成比率算出部と、を有し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方と、前記合成比率との関係を規定する第１関数及び前記差分に対応すると共に前記第１関数を重み付けする第２関数を含む、画像合成プログラム。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムであって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記補正部は、前記第２画像情報の輝度に基づいて、前記第２画像情報の輝度を補正する輝度補正係数を算出すると共に、前記輝度補正係数を用いて前記第２画像情報の輝度を補正する輝度補正部を更に有し、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記第２画像情報は、前記被写体にフラッシュ光を照射して撮像された画像情報である、画像合成プログラム。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムであって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方、並びに前記差分と、前記合成比率との関係を規定する、画像合成プログラム。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムであって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、
画像を画像表示部に表示させる表示制御部、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部、
前記操作情報を利用して前記画像に関する情報を画像情報記録部に記録させる記録制御部、として機能させ、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成すると共に、前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成することにより第２合成画像情報を生成し、
前記表示制御部は、前記第１合成画像情報に係る第１画像と、前記第２合成画像情報に係る第２画像とを、前記画像表示部に表示させ、
前記操作情報は、前記第１合成画像情報又は前記第２合成画像情報のいずれか一方を特定する画像特定情報を含み、
前記記録制御部は、前記画像特定情報によって特定される前記第１合成画像情報又は前記第２合成画像情報のいずれか一方の情報を前記画像情報記録部に記録させる、画像合成プログラム。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムであって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、
画像を画像表示部に表示させる表示制御部、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部、として機能させ、
前記操作情報は、前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、前記目標色温度情報に基づいて前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、
前記合成部は、前記第１補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成し、前記第２補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより第３合成画像情報を生成し、
前記表示制御部は、前記第３合成画像情報に係る第３画像を前記画像表示部に表示させる、画像合成プログラム。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出する差分算出部と、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出する合成比率算出部と、を有し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方と、前記合成比率との関係を規定する第１関数及び前記差分に対応すると共に前記第１関数を重み付けする第２関数を含む、画像合成プログラムを記録した記録媒体。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記補正部は、前記第２画像情報の輝度に基づいて、前記第２画像情報の輝度を補正する輝度補正係数を算出すると共に、前記輝度補正係数を用いて前記第２画像情報の輝度を補正する輝度補正部を更に有し、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記第２画像情報は、前記被写体にフラッシュ光を照射して撮像された画像情報である、画像合成プログラムを記録した記録媒体。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、として機能させ、
前記合成部は、
前記第１画像情報を構成する第１被合成画素の第１画素値と、前記第２画像情報を構成すると共に前記第１被合成画素に対応する第２被合成画素の第２画素値と、の差分を算出すると共に、
前記第１画素値及び第２画素値の少なくとも一方、前記差分、並びに合成比率関数に基づいて、前記合成画像情報を構成する合成画素の合成画素値に占める前記第１画素値の割合を示す合成比率を算出し、
前記合成比率関数は、前記第１画素値及び前記第２画素値の少なくとも一方、並びに前記差分と、前記合成比率との関係を規定する、画像合成プログラムを記録した記録媒体。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、
画像を画像表示部に表示させる表示制御部、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部、
前記操作情報を利用して前記画像に関する情報を画像情報記録部に記録させる記録制御部、として機能させ、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正し、
前記合成部は、前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成すると共に、前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成することにより第２合成画像情報を生成し、
前記表示制御部は、前記第１合成画像情報に係る第１画像と、前記第２合成画像情報に係る第２画像とを、前記画像表示部に表示させ、
前記操作情報は、前記第１合成画像情報又は前記第２合成画像情報のいずれか一方を特定する画像特定情報を含み、
前記記録制御部は、前記画像特定情報によって特定される前記第１合成画像情報又は前記第２合成画像情報のいずれか一方の情報を前記画像情報記録部に記録させる、画像合成プログラムを記録した記録媒体。
コンピュータを用いて、第１光環境条件において撮像された被写体を含む第１画像情報と、前記第１光環境条件とは異なる第２光環境条件において撮像された前記被写体を含む第２画像情報と、を合成して、前記被写体を含む合成画像情報を生成する処理を行うように前記コンピュータを機能させる画像合成プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記第１画像情報及び前記第２画像情報を入力する入力部、
前記入力部から入力された前記第１画像情報及び前記第２画像情報の少なくとも一方の画像情報を補正する補正部、
前記補正部から出力された前記第１画像情報及び前記第２画像情報を合成して前記合成画像情報を生成する合成部、
画像を画像表示部に表示させる表示制御部、
ユーザが前記画像に基づいて入力する操作情報を取得する操作情報取得部、として機能させ、
前記操作情報は、前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、前記目標色温度情報に基づいて前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、
前記合成部は、前記第１補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成し、前記第２補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより第３合成画像情報を生成し、
前記表示制御部は、前記第３合成画像情報に係る第３画像を前記画像表示部に表示させる、画像合成プログラムを記録した記録媒体。
前記操作情報は、前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正するための目標色温度情報を含み、
前記補正部は、前記第１画像情報及び前記第２画像情報の一方の色温度を他方の色温度に近づけるように補正する第１補正部と、前記目標色温度情報に基づいて前記第１画像情報及び前記第２画像情報の少なくとも一方の色温度を補正する第２補正部と、を含み、
前記合成部は、前記第１補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより前記合成画像情報として第１合成画像情報を生成し、前記第２補正部から出力された前記第１画像情報及び前記第２画像情報を合成することにより第３合成画像情報を生成し、
前記表示制御部は、前記第３合成画像情報に係る第３画像を更に前記画像表示部に表示させる、請求項４に記載の画像合成装置。
前記表示制御部は、前記第１画像における第１の部分である第１部分画像と、前記第２画像における第２の部分である第２部分画像と、を前記画像表示部に表示させ、
前記第２の部分は前記第１の部分と隣接する関係にあり、
前記第１部分画像及び前記第２部分画像は、前記第１画像情報に係る前記第１画像又は前記第２画像情報に係る前記第２画像に含まれた特徴領域を含み、
前記第１の部分と前記第２の部分との境界は、前記第１画像情報又は前記第２画像情報に含まれた特徴領域を分割するように設定される、請求項４に記載の画像合成装置。
前記合成部は、前記入力部から入力された前記第１画像情報及び前記第２画像情報を合成することにより第２合成画像情報を生成すると共に、第３部分画像に係る情報と第４部分画像に係る情報とを含む第４合成画像情報を生成し、
前記第３部分画像は、前記第１画像における第３の部分であり、
前記第４部分画像は、前記第２画像又は前記第３画像における第４の部分であり、
前記第３の部分は、前記第４の部分とは異なっている、請求項２１に記載の画像合成装置。