JP5088220B2 - 画像生成装置、及びプログラム - Google Patents

Description

本発明は、撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する技術に関する。

デジタルカメラ等の撮像装置による被写体の撮影では、その撮像装置と被写体の位置関係の他に、その被写体への光量や光の向きといった照明条件が撮影結果に大きく影響する。このことから、撮影により得られた撮影画像から撮影者が所望する別の画像を生成する従来の画像生成装置のなかには、例えば特許文献１に記載されているように、被写体への照明条件、例えば照明する向きや光量等を変えた複数の撮影によって得られた複数の撮影画像を用いて、複数の照明装置を仮定の照明条件で発光させた場合の画像を生成するものがある。それにより、所望の照明条件で被写体を撮影した場合の画像を生成することができる。以降は便宜的に、最終的に生成される画像は「最終画像」と呼ぶことにする。

特許文献１に記載の従来の画像生成装置では、最終画像を生成するために、照明条件を変えて被写体の撮影を複数回、行う必要がある。しかし、照明条件を変えた撮影を複数回、行うことは面倒であり、時間もかかる。このことから、最終画像、つまり所望の照明条件等の撮影条件で被写体を撮影した場合の画像を容易に得ることができないという問題点があった。
特開２００２−２７３１６号公報

本発明の課題は、所望の照明条件等の撮影条件で被写体を撮影した場合の画像を容易に得られるようにする技術を提供することにある。

本発明の第１の態様の画像生成装置は、撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する画像生成装置において、撮影画像を取得する画像取得手段と、画像取得手段が取得した撮影画像のなかから、特定の被写体の画像部分が存在する被写体領域を抽出する被写体抽出手段と、被写体の仮想的な撮影条件を設定する撮影条件設定手段と、撮影条件設定手段が設定した仮想的な撮影条件に基づいて、被写体抽出手段が被写体領域を抽出した被写体に対応するモデルデータを用いて被写体領域の被写体が仮想的な撮影条件で撮影された状態を示す他の被写体画像を生成する画像生成手段と、画像生成手段が生成した他の被写体画像を撮影画像中の被写体領域に配置する画像合成を行う画像合成手段と、を具備する。

本発明の第２の態様の画像生成装置は、被写体のモデルデータを記憶した記憶手段と、
記憶手段が被写体の種別毎に、該被写体を表現するモデルデータを記憶している場合に、記憶手段に記憶されたモデルデータのなかから、被写体抽出手段が抽出した被写体領域に被写体画像が存在する被写体に対応するモデルデータを特定するモデル特定手段と、を更に備え、画像生成手段は、モデル特定手段が特定したモデルデータを用いて他の被写体画像を生成する。

本発明の第３の態様の画像生成装置は、画像生成手段は、被写体領域中の被写体画像から抽出される輪郭線に合わせて、モデルデータを操作し、該操作したモデルデータを用いて他の被写体画像を生成する。
本発明の第４の態様の画像生成装置は、画像生成手段は、被写体領域と同一の形状で、色又は明るさの異なる他の被写体画像を生成する。
本発明の第５の態様の画像生成装置は、仮想的な撮影条件は、被写体の照明状態に関する照明条件であり、画像生成手段は、被写体領域と同一の形状と色で部分的に明るさの異なる他の被写体画像を生成する。
本発明の第６の態様の画像生成装置は、仮想的な撮影条件は、ライトの個数、種類、強度、配置、角度、或いは分光特性のいずれか又は全てを組み合わせた仮想ライティングである。
本発明の第７の態様の画像生成装置は、画像生成手段は、撮影条件を順次変更しながら他の被写体画像を生成し、画像生成手段は、画像生成手段が順次生成する他の被写体画像を該画像生成手段が画像合成を行った画像に更に画像合成することでブラケット撮影を行う。

本発明のプログラムは、撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する画像生成装置として使用可能なコンピュータに、撮影画像を取得する画像取得機能と、画像取得機能により取得した撮影画像のなかから、特定の被写体の画像部分が存在する被写体領域を抽出する被写体抽出機能と、被写体の仮想的な撮影条件を設定する撮影条件設定機能と、撮影条件設定機能により設定した仮想的な撮影条件に基づいて、被写体抽出機能が被写体領域を抽出した被写体に対応するモデルデータを用いて被写体領域の被写体が仮想的な撮影条件で撮影された状態を示す他の被写体画像を生成する画像生成機能と、画像生成機能により生成した他の被写体画像を撮影画像中の被写体領域に配置する画像合成を行う画像合成機能と、を実現させる。

本発明では、取得した撮影画像のなかから、被写体画像が存在する被写体領域を抽出し、被写体のモデルデータを用いて、被写体の仮想的な撮影条件で撮影された場合の他の被写体画像を生成し、生成した他の被写体画像を撮影画像中の被写体領域に配置する画像合成を行う。

モデルデータを用いることにより、仮想的な撮影条件の内容に係わらず、その撮影条件で被写体を撮影した場合に得られる他の被写体画像を生成することが可能である。その他の被写体画像を撮影画像に元の被写体画像の代わりに合成することにより、背景を含め、被写体を所望の撮影条件で撮影した場合の撮影画像を得ることができる。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
＜第１の実施形態＞
図１は、第１の実施形態による画像生成装置を搭載した撮像装置の構成を示す図である。その撮像装置は、レンズ系１０１を介して入射した光を撮像素子１０２により光電変換し、デジタルの撮影画像（データ）を得るデジタルカメラであり、以下のような構成となっている。

上記レンズ系１０１は、光軸上、移動可能なフォーカスレンズ１０１ａ、２つのズームレンズ１０１ｂを備えた構成である。フォーカスレンズ１０１ａは、レンズ駆動部１０６により移動可能とされ、２つのズームレンズ１０１ｂはレンズ駆動部１０５により移動可能とされている。それら駆動部１０５及び１０６は具体的にはモータ、及びそのモータの動力を伝達して対応するレンズを移動させる移動機構である。

シャッタ１０３は、レンズ系１０１と撮像素子１０２間に配置され、２つのズームレンズ１０１ｂ間には絞り１０４が配置されている。シャッタ１０３のレンズ系１０１側にはハーフミラー１０７が配置されている。

測光／測距センサ１０８は、被写体周辺の光量や色温度、被写体までの距離（以下「被写体距離」）を測定するためのものであり、フォーカスレンズ１０９の近傍に配置された受光窓１０９を介して、並びにレンズ系１０１及びハーフミラー１０７を介して、それぞれ光が導かれるようになっている。

この測光／測距センサ １０８は測光センサと測距用のセンサ（測距センサ）とを備えたものである。例えば測光センサ は被写体像を分割して測光するために複数の測光素子を備えたものである。測距センサは例えばＴＴＬ位相差検出方式で測距（ここでは焦点ズレ量の測定）を行うためのものである。

ストロボ装置１１０は、閃光発光が可能な複数の放電管（例えばキセノンフラッシュランプ）１１１、及び放電管１１１を選択的に高電圧を印加可能なストロボ駆動部１１２を備えたものである。放電管１１１毎に閃光発光用回路を備えている。そのストロボ駆動部１１２には、電池１１３、及び充電制御部１１５と接続された電源制御部１１４から電流が供給可能となっている。その電源制御部１１４は、各部に印加すべき電源電圧を複数、生成し、各部に印加する。

充電制御部１１５はＤＣ入力コネクタと接続されており、そのコネクタから電流が供給される場合、電源制御部１１４に電流を供給する。電源制御部１１４は、充電制御部１１５から電流が供給されている場合には、その供給された電流から各電源電圧を生成し、必要に応じて電池１１３の充電を行う。

撮影制御部１２０は、撮影に係わる各種動作を制御するためのものであり、以下のような構成となっている。
焦点制御部１２０ａは、レンズ駆動部１０６（のモータ）を駆動して、フォーカスレンズ１０１ａの移動を実現させるものである。ズーム制御部１２０ｂは、焦点制御部１２０ａと同様に、レンズ駆動部１０５（のモータ）を駆動して、２つのズームレンズ１０１ｂの移動を実現させるものである。

絞り制御部１２０ｃは、絞り１０４を駆動して、絞り量を調整するためのものである。シャッタ制御部１２０ｄは、シャッタ１０３の開閉を実現させるものである。それらの制御部１２０ｃ及び１２０ｄは共に制御回路１３０によって制御される。

ＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）部１２０ｅ、Ａ／Ｄ回路１２０ｆ、ＡＷＢ（オートホワイトバランス）部１２０ｇ、信号処理部１２０ｈ、及びタイミング制御・ドライバ部１２０ｉは、撮像素子１０３から出力される画像信号（ＲＧＢ信号）をサンプリングしてデジタル化し、別のカラー画像信号（例えばＹＵＶ信号）を得るためのものである。撮像素子１０３から出力される信号のサンプリングは、タイミング制御・ドライバ部１２０ｉが撮像素子１０３及びＣＤＳ／ＡＧＣ部１２０ｅにそれぞれ出力するクロック信号によって行われる。ＣＤＳ／ＡＧＣ部１２０ｅは、撮像素子１０３から出力された信号中のノイズを除去して増幅を行い、Ａ／Ｄ回路１２０ｆは、その増幅後の信号をデジタル化し、ＡＷＢ部１２０ｇは、光源の色温度変化に追従させて色再現性を正常に保つための処理をデジタル化された信号に対して行う。信号処理部１２０ｈは、その処理後の信号を別の信号に変換し制御回路１３０に出力する。

上記測光／測距センサ １０８が出力する信号は、色温度検出部１２０ｊ、測光部１２０ｋ及び測距部１２０ｌに入力される。測光センサの出力信号は色温度検出部１２０ｊ及び測光部１２０ｋに入力され、色温度検出部１２０ｊによる色温度の検出が行われる。その検出結果は制御回路１３０及びＡＷＢ部１２０ｇにそれぞれ通知される。ＡＷＢ部１２０ｇは、その通知内容に応じて、色再現性を正常に保つための処理を行う。測光部１２０ｋは、測光を行い、その結果（測光値）を制御回路１３０に出力する。それにより、制御回路１３０は適正露出となるように、絞り量、及びシャッタースピードを決定し、シャッタ制御部１２０ｄ、及び絞り制御部１２０ｃを制御する。

測距センサの出力信号は、測距部１２０ｋに入力される。測距部１２０ｋは、その信号から焦点ズレ量を検出することで測距を行う。その結果である焦点ズレ量は制御回路１３０に出力され、制御回路１３０による焦点制御部１２０ａに対する制御が行われる。その結果、焦点レンズ１０１ａを必要に応じて移動させることによるオートフォーカスが実現される。

ストロボ制御部１２０ｍは、ストロボ駆動部１１２を介して閃光発光させるべき放電管１１１を閃光発光させるための回路である。その制御部１２０ｍの制御は、制御回路１３０により行われる。制御回路１３０は、測光部１２０ｋから入力する測光結果をストロボ制御部１２０ｍの制御に反映させる。

１４０は撮影を指示するためのシャッターボタンであり、１４２は電源をオン／オフするための電源ボタンである。それらに対する操作は、入力回路１４３によって検出され、その操作内容が制御回路１３０に通知される。

その他の操作部１４４は、シャッターボタン１４１及び電源ボタン１４２以外に設けられた各種ボタン等をまとめて表したものである。撮像装置は、各種情報表示用に表示部１５１を備えている。タッチパネル操作座標入力部１４５は、その表示部１５１の画面に重ねられたタッチパネル１４６上で圧力が加えられた場所（操作座標）を検出する。入力回路１４３は、その他の操作部１４４のなかで操作されたボタンの種類、その操作内容を特定し、その結果を制御回路１３０に通知する。タッチパネル操作座標入力部１４５からは操作座標を入力し、その操作座標を制御回路１３０が認識できる形式に変換して、制御回路１３０に通知する。

表示部１５１上の情報（画像）表示は、表示制御部１５２によって行われる。表示用の画像データは、制御回路１３０によって表示メモリ１５３に格納される。表示制御部１５２は、制御回路１３０の指示に従い、表示メモリ１５３に格納された画像データを用いて表示部１５１上に画像を表示させる。

画像バッファメモリ１６１は、例えば一時的に画像データを格納するのに用いられる作業用メモリである。画像メモリ１６２は、静止画、或いは動画の画像データの保存に用いられるメモリである。圧縮符号化／伸長復号化部１６３は、画像データの圧縮、或いは伸長を行うものである。保存する画像データの圧縮、保存された画像データの伸長は、圧縮符号化／伸長復号化部１６３により行われる。

外部メモリインターフェース１６４は、着脱可能な外部メモリＭＤに対してアクセスするためのものである。外部装置との通信用に、ＬＡＮコネクタ１７１、ＵＳＢコネクタ１７２、及びＨＤＭＩコネクタ１７３を備えている。ＬＡＮ通信インターフェース１７４は、ＬＡＮコネクタ１７１を介した通信を実現させるためのものであり、ＵＳＢ通信インターフェース１７５は、ＵＳＢコネクタ１７２を介した通信を実現させるためのものである。外部Ｉ／Ｏインターフェース１７６は、ＨＤＭＩコネクタ１７３を介した通信を実現させるとともに、二つの通信インターフェース１７４及び１７５を制御するためのものである。そのインターフェース１７６自体は、制御回路１３０によって制御される。

被写体の撮影画像は、被写体への照明条件、例えば照明する向きや光量等によっても大きく変化する。それにより、撮影者が望む撮影画像を得るためには、照明条件が大きく影響する。しかし、所望の照明条件を実際に実現させるのは必ずしも容易ではない。なぜなら、その実現のために、１台以上の照明装置を撮影装置とは別に用意しなければならないことが多いからである。このことから本実施形態では、撮影者が所望の照明条件で撮影した場合の撮影画像を以下のようにして生成可能とさせている。

図２は、設定可能な仮想ストロボを示す図である。その仮想ストロボ（仮想ライティング）は、仮想的に実現させる照明条件（撮影条件）のことであり、図２では、照明装置（例えばストロボ）と被写体（人物）の位置関係で表している。つまり図２は、レンブラントライト（斜光／斜め上前方から照明：配置１）、順光（撮影装置（例えば上部）から照明：配置２）、フットライト（あおり、下から照明：配置３）、側光（配置４）、後方斜光（配置５）、逆光（配置６）、及びトップライト（真上から照明：配置７）の７種類の照明条件のなかから所望のものを撮影者が組み合わせを含め任意に選択可能であることを表している。それにより本実施形態では、実際に撮影により得られた撮影画像中の被写体画像を、７種類の照明条件（配置）のなかから一つ以上を組み合わせて実現される照明条件で撮影された場合のものに加工し、加工した被写体画像を撮影画像中の被写体画像と置き換える合成を行うことにより、撮影者が所望する照明条件で撮影した場合に得られると推定される撮影画像を生成するようになっている。そのように生成される撮影画像については以降「合成画像」と呼ぶことにする。

図３は、照明条件の設定方法、及び照明条件の設定によって撮影可能時のスルー画像表示を説明する図である。
撮像装置は撮影が可能な撮影モードの他に、複数のモードが搭載されている。その複数のモードとして、例えば保存されている画像を再生可能な再生モード、外部装置とのコネクタ１７１〜１７３の何れかを介した通信が可能な通信モード、及び各種設定が可能な設定モード等が搭載されている。照明条件は、設定モードで設定（変更）が可能となっている。その設定は、図３（ａ）に示すように、設定モードの設定時に表示可能となる撮影設定画面３１中の「仮想ライティング」ボタン３１ａをクリックすることで行えるようになる。そのボタン３１ａ内の表記「カスタム１」は、現在、設定されている仮想ライティングの種類を表している。

そのボタン３１ａをクリックすることにより、仮想ライティングの設定画面３２が表示される。その設定画面３２では、選択されているライティング設定の内容が項目毎に表示されている。ライトの個数として「２灯」が表示されているが、その個数としては最大７灯（図２）まで設定可能である。ライトの配置として表示されている「配置１」は、所望する被写体の撮影方向が配置１からの方向であることを表している。「Ｌ１」「Ｌ２」はライトの個数（配置数）分、設けられる、配置毎の照明条件の詳細な設定項目（ここでは照明の向き（配置）、照明装置の種類、照明装置の光量の各項目）の存在を示している。Ｌ１は、ライトの配置で設定されている配置（ここでは配置１）に対応し、Ｌ２以降では、所望の配置を指定できるようになっている。そのように１つ以上の配置の組み合わせによって実現される照明（撮影）条件については便宜的に「仮想ライティング条件」と呼ぶことにする。

上記設定画面３２上には、「確認」ボタン３２ａが配置されている。そのボタン３２ａは、設定されている仮想ライティングの内容を視覚的に確認可能とするためのものである。そのボタン３２ａをクリックすることで、図３（ｂ）に示すような仮想ライティングの配置の設定画面が表示される。それにより、照明装置の数、各照明装置と被写体の位置関係、各照明装置から照射される光について確認できるようになっている。各照明装置と被写体の位置関係は、図３（ｃ）に示すように、撮影可能時、つまり撮影モードの設定時には、撮影可能な画像と合わせてスルー画像表示される。

制御回路１３０は、その他の操作部１４４、或いはタッチパネル１４６への撮影者が行った操作内容を入力回路１４３からの情報により認識し、表示メモリ１５３に格納する画像データを必要に応じて更新することにより、図３（ａ）或いは（ｂ）に示すような画像を表示させての設定（変更）を可能とさせる。また、設定された仮想ライティング条件で撮影された場合の被写体画像を生成するために、通常の画像処理を行う画像処理部１３１とは別にＣＧ処理部１３２を搭載している。それらの処理部１３１及び１３２は共に、制御回路１３０に搭載された不揮発性のメモリ１３３に格納されているプログラムを制御回路１３０が実行することで実現される。それにより、本実施形態による画像生成装置は、制御回路１３０上で実現されている。以降は、図４〜図６に示すフローチャートを参照して、制御回路１３０が実行する処理、及びその処理の実行によって生成される合成画像について詳細に説明する。

図４は、カメラ制御処理のフローチャートである。そのカメラ制御処理は、制御回路１３０が撮像装置に搭載された機能を実現するために実行する処理の流れを示したものである。搭載されたメモリ１３３に格納されているプログラムを制御回路１３０が実行することによって実現される。始めに図４を参照して、カメラ制御処理について詳細に説明する。

先ず、ステップＳ４０１では、設定されているモードは撮影モードか否か判定する。その撮影モードが設定中であった場合、判定はＹＥＳとなってステップＳ４０２に移行する。そうでない場合には、判定はＮＯとなってステップＳ４３１に移行する。

ステップＳ４３１では、設定モードが設定されているか否か判定する。その設定モードが設定されていない場合、つまり撮影モード、及び設定モード以外のモードが設定されていた場合、判定はＮＯとなり、ステップＳ４３２でその他のモードに対応するための処理を実行した後、このカメラ制御処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ４３３に移行する。

ステップＳ４３３では、仮想ライティングの設定が要求されたか否か判定する。図３に示す撮影設定画面３１上の」仮想ライティング」ボタン３１ａを撮影者がクリックした場合、判定はＹＥＳとなってステップＳ４３４に移行し、仮想ライティングの設定画面３２を表示部１５１に表示させ、その表示時に撮影者が行ったタッチパネル１４６、或いはその他の操作部１４４への操作に対応するための処理を実行する。その処理の実行により、仮想ライティングの設定画面３２の表示、その画面３２上で表示されている設定内容の変更、及び仮想ライティングの配置の設定画面３３の表示等が実現される。その処理は、撮影設定画面３１、不図示のメニュー画面、或いはその他の画面を表示させる状況、つまり仮想ライティングの設定画面３２及び仮想ライティングの配置の設定画面３３の何れも表示させる必要がなくなった状況の到来によって終了する。このカメラ制御処理はその後に終了する。

ステップＳ４３３の判定がＮＯとなって移行するステップＳ４３５では、ブラケット撮影の設定が要求されたか否か判定する。そのブラケット撮影の設定要求は、例えば不図示の撮影設定画面３１の部分に配置されたボタンをクリックすることで行えるようになっている。このことから、そのボタンを撮影者がクリックした場合、判定はＹＥＳとなってステップＳ４３６に移行し、ブラケット撮影に係わる各種設定の変更に対応するための処理を実行した後、このカメラ制御処理を終了する。そうでない場合には、判定はＮＯとなり、ステップＳ４３７でその他の設定に対応するための処理を実行した後、このカメラ制御処理を終了する。

上記ステップＳ４０１の判定がＹＥＳとなって移行するステップＳ４０２では、現在、有効となっている撮影条件などを設定する。その撮影条件には、選択されている仮想ライティング条件での撮影、即ち合成画像の生成を行うか否かの設定が含まれる。その合成画像の生成は、仮想ライティングが有効の場合に行われる。

ステップＳ４０２に続くステップＳ４０３では、側光部１２０ｋ、側距部１２０ｌ、及び色温度検出部１２０ｊからそれぞれ側光値、焦点ズレ量、及び色温度を取り込む処理を行う。その次のステップＳ４０４では、その他の操作部１４４への操作による指示に応じてズームレンズ１０１ｂを移動させるズーム処理、及び取り込んだ焦点ズレ量に応じてオートフォーカスするＡＦ処理を必要に応じて実行する。その後はステップＳ４０５に移行し、信号処理部１２０ｈから取り込んだ画像信号を表示部１５１にスルー画像として表示させる処理を行う。その実行後はステップＳ４０６に移行する。

スルー画像表示は、表示メモリ１５３に表示用の画像データを格納することで行われる。このとき、仮想ライティングが有効となっていた場合、図３（ｃ）に示すようなスルー画像表示が行われることとなる。

ステップＳ４０６では、オート撮影、またはストロボ撮影を行う状況となっているか否か判定する。撮影モードにおけるサブモードとしてオート撮影モードが設定されている、仮想ライティングが有効となっている、或いはストロボ撮影が設定されているような場合、判定はＹＥＳとなってステップＳ４０８に移行する。それらの何れも該当しない場合には、判定はＮＯとなり、ステップＳ４０７でその他の撮影処理を実行した後、このカメラ制御処理を終了する。

ステップＳ４０８では、放電管１１１を閃光発光させるための充電がストロボ駆動部１１２内で終了したか否か判定する。その充電が終了していた場合、判定はＹＥＳとなってステップＳ４１０に移行する。そうでない場合には、判定はＮＯとなり、ステップＳ４０９で閃光発光用の充電を行わせるための処理を実行した後、再度ステップＳ４０８に戻る。それにより、閃光発光が可能な状態となるのを待つ。

ステップＳ４１０では、シャッターボタン１４１が押下されたか否か判定する。その押下が入力回路１４３から通知された場合、判定はＹＥＳとなってステップＳ４１２に移行する。そうでない場合には、判定はＮＯとなり、ステップＳ４１１でその他のキー（ボタン）への操作に対応するための処理を実行した後、このカメラ制御処理を終了する。

ステップＳ４１２では、ストロボ（閃光）発光が必要か否か判定する。仮想ライティングが有効となっている、或いは取り込んだ側光値が撮影に不適切なレベルであったような場合、判定はＹＥＳとなってステップＳ４１６に移行する。そうでない場合には、判定はＮＯとなり、ステップＳ４１３で撮影条件と側光値にしたがって露出条件などの調整を行い、次のステップＳ４１４で撮影を行い、更にステップＳ４１５で撮影画像（信号処理部１２０ｈから取り込んだ画像信号）を画像バッファメモリ１６１に保存した後、ステップＳ４１９に移行する。

ステップＳ４１６では、放電管１１１のうちの例えば一つをプリ発光させ、ストロボ（閃光発光）用の側光処理を実行する。次のステップＳ４１７では、撮影条件、プリ発光により側光部１２０ｋから得られた側光値にしたがい、発光させる放電管１１１、その光量、または露出条件（絞り値Ｆ）を調整する。その絞り値Ｆの調整に応じて、制御回路１３０は絞り制御部１２０ｃを介して絞り１０４の絞り量を変化させる。その後に移行するステップＳ４１８では、設定した撮影条件、調整した露出条件で発光させるべき放電管１１１を発光させて撮影を行う。ステップＳ４１５にはその後に移行する。

ステップＳ４１５で撮影画像を保存した後に移行するステップＳ４１５では、仮想ライティングが有効（ＯＮ）か否か判定する。その仮想ライティングが有効であった場合、判定はＹＥＳとなり、ステップＳ４２０で仮想ライティング撮影処理を実行し、更にステップＳ４２１でその他の表示処理を実行した後、このカメラ制御処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ４２２に移行し、画像バッファメモリ１６１に保存した撮影画像を符号化して画像メモリ１６２、或いは外部メモリＭＤに記録させた後、ステップＳ４２１の処理を実行する。

上記仮想ライティング撮影処理は、選択されている仮想ライティング条件で撮影を行った場合に得られる撮影画像（合成画像）を生成するための処理である。そのような合成画像を生成することにより、仮想的な撮影を模擬する。次にその撮影処理について、図５を参照して詳細に説明する。図１に示すＣＧ処理部１３２は、この撮影処理を実行することによって実現される。

先ず、ステップＳ５０１では、上記ステップＳ４１５で画像バッファメモリ１６１に格納された撮影画像を対象に、その撮影画像中から被写体画像が存在する被写体領域を抽出する被写体領域抽出処理を実行する。その抽出処理の実行により、例えば図５中の撮影画像Ｐ１からは、被写体領域（画像）ＳＢ１及びＳＢ２が抽出される。

図６は、その被写体領域抽出処理のフローチャートである。ここで図６を参照して、ｓの抽出処理について詳細に説明する。画像バッファメモリ１６１に格納された撮影画像は、ＹＵＶデータ（信号）である。
先ず、ステップＳ６０１では、輝度階調値または色差信号に着目して撮影画像を複数領域に分割する。それにより、図６中に示すような撮影画像Ｐ２は、画像Ｐ２ａ中に輪郭線で示すように領域が分割される。続くステップＳ６０２では、分割した領域のなかから被写体に相当するものを選択する。このとき、図６に示す撮影画像Ｐ２では、被写体画像ＳＢ３の領域が選択される。

ステップＳ６０２に続くステップＳ６０３では、選択した領域の画像を２値化し、その次に移行するステップＳ６０４では、２値化後の画像からエッジを検出する。その後は、エッジの輪郭線をＮ（正の整数）辺の等辺多角形、或いは折れ線等で近似し（ステップＳ６０５）、近似により得られた等辺多角形、或いは折れ線から、フーリエ変換によりＰ型記述子等を求め（ステップＳ６０６）、求めた記述子のパワースペクトルを生成する（ステップＳ６０７）。その生成後はステップＳ６０８に移行する。

ステップＳ６０８では、生成したパワースペクトルを参照し、低周波成分側からｎ（例えば正の固定の整数）個の成分を取り出し、輪郭線の特徴データとする。次のステップＳ６０９では、特徴データを、例えばメモリ１３３に記憶済みのテンプレートデータと順次比較し類似度を求める。その後は、求めた類似度から特徴データが最も類似するテンプレートデータを抽出して、そのテンプレートデータに対応する被写体の種類（種別）を当該被写体の種類として判別し（ステップＳ６１０）、更に当該被写体の特徴データ、または判別した被写体の種類（種別）に対応する立体モデルデータを合成画像生成用のデータとして出力、つまり決定する（ステップＳ６１１）。その後にこの抽出処理を終了する。

上記テンプレートデータは、図６に示すように、被写体の種別の判定に用いられる特徴データ、及び被写体を表現するモデルデータを少なくとも有するものであり、そのテンプレートデータは被写体の種別毎に用意されている。それにより本実施形態では、モデルデータを用いて被写体画像の代わりとなる別の被写体画像を生成し、その別の被写体画像を被写体領域中に配置する形で合成画像を生成するようにしている。

種別毎に用意された被写体を表現するモデルデータでは、設定された仮想ライティング条件での撮影によって写る（見える）箇所とそうでない箇所を特定できるだけでなく、生じる陰影も特定することができる。このため、高い汎用性が得られ、仮想ライティング条件に合った被写体画像を生成することができる。仮想ライティング条件の設定により、その条件に合った被写体画像を生成することから、撮影者にとっては極めて容易に所望する撮影画像（合成画像）を得られることとなる。そのモデルデータを被写体の種別毎に用意することにより、撮影された被写体の種類に係わらず、適切な合成画像をより幅広く生成することができる。

図５の説明に戻る。
上記被写体領域抽出処理の実行により、撮影画像Ｐ１中の被写体画像（領域）ＳＢ１のモデルデータとしてモデルデータＭＴ１、或いはＭＴ２が抽出される。その実行後に移行するステップＳ５０２では、被写体画像に応じてモデルデータを設定する。例えば抽出したモデルデータの形状や配置、及び大きさ等を被写体画像の輪郭線等から操作する。そのようにして、実際の被写体と形状や配置（向き）、及び大きさに合わせたモデルデータを生成した後、ステップＳ５０３に移行する。そのようなモデルデータを生成することにより、より被写体に近い画像をモデルデータから生成できる。

ステップＳ５０３では、生成したモデルデータを２次元スクリーンに投影する。その投影は、図３（ａ）でライトの配置として設定された内容から視点を決定して行う。それにより、モデルデータＭＴ２を２次元スクリーンＳＣに投影した場合には、「ＭＴ２１」を付した投影画像が得られることとなる。「ＭＴ３１」は、被写体画像ＳＢ２から得られる投影画像である。

ステップＳ５０３に続くステップＳ５０４では、投影画像中から写らない部分を削除するクリッピング処理を実行する。次のステップＳ５０５では、隠れて見えない部分、つまり隠線や隠面を消去する。その次に移行するステップＳ５０６では、仮想ライティング条件で光を照射した場合の陰影を付ける。その後は、境界線（輪郭線）のギザギザ等を滑らかにするアンチエリアシング処理を実行し（ステップＳ５０７）、アンチエリアシング処理後の投影画像を撮影画像中の被写体領域に配置する合成を行い（ステップＳ５０８）、更に合成によって得られた合成画像を符号化して画像メモリ１６２或いは外部メモリＭＤに記録し（ステップＳ５０９）、この仮想ライティング撮影処理を終了する。

投影画像に付ける陰影は、被写体領域内に限定しない。それにより、例えば図５に示すように、投影画像ＭＴ２１では投影画像ＭＴ２２に達する陰影ＳＨ２１を付し、投影画像ＭＴ３１でも被写体領域ＳＢ２を越える範囲にまで達する陰影ＳＨ２２を付している。そのようにして本実施形態では、合成画像Ｐ１ａに示すように、生成した投影画像を被写体領域に配置するだけでなく、陰影を他の投影画像上で表現する操作、撮影画像中でその陰影を表現する操作を必要に応じて行うようにしている。それにより、より自然と感じられる合成画像を生成するようにしている。投影画像のテクスチャについては、テンプレートデータとして用意したものを用いても良いが、被写体領域から抽出されるテクスチャを流用しても良い。
＜第２の実施形態＞
上記第１の実施形態では、モデルデータを用いて撮影者が所望する撮影（合成）画像を生成するようにしている。これに対し第２の実施形態は、撮影により得られた撮影画像を操作して、撮影者が所望の撮影画像を生成するようにしたものである。

第２の実施形態による画像生成装置を搭載した撮像装置の構成は、基本的に上記第１の実施形態における撮像装置と同じである。動作も大部分は同じである。このことから、第１の実施形態から異なる部分にのみ着目する形で説明する。

第２の実施形態では、図４に示すカメラ制御処理中でステップＳ４２０として実行される仮想ライティング撮影処理が第１の実施形態から大きく異なっている。このことから、その撮影処理について、図７に示すフローチャートを参照して詳細に説明する。

先ず、ステップＳ７０１では、撮影画像を輝度階調値または色差信号に着目して複数の領域に分割し、各領域の平均輝度を図７に示すように、輝度ヒストグラム分布の変換処理等を用いて、設定された仮想ライティング条件に合ったものに変換する。続くステップＳ７０２では、撮影画像中から被写体領域を抽出する。それにより撮影画像Ｐ３では、人物の画像が存在する範囲が被写体領域ＳＢ４として抽出される。

ステップＳ７０２に続くステップＳ７０３では、被写体領域に画像が存在する被写体の種別を判別し、その種別に対応するモデルデータを設定し、被写体の画像に応じた操作をそのモデルデータに対して行い、二次元のモデル画像（投影画像に相当するものであることから以降「投影画像」と呼ぶ）を生成する。その次のステップＳ７０４では、被写体領域を輝度階調値、または色差信号に着目して分割して得られるサブ領域で投影画像を分割し、サブ領域毎に、その領域を平均輝度、代表色で平均化する。それにより、投影画像の各サブ領域内は全て同じ色、輝度で統一した後、ステップＳ７０５に移行する。

ステップＳ７０５では、サブ領域毎に、仮想ライティング条件に従って照明を照射した際の陰影付きテクスチャを貼り付けるべきところに貼り付ける。その後に移行するステップＳ７０６では、サブ領域毎に、仮想ライティング条件に従って照明を照射した際のハイライト付きテクスチャを貼り付けるべきところに貼り付ける。その貼り付け後はステップＳ７０７に移行する。

ステップＳ７０７では、境界線（輪郭線）のギザギザ等を滑らかにするアンチエリアシング処理を実行する。続くステップＳ７０８では、アンチエリアシング処理を実行した投影画像を撮影画像中の被写体領域に配置する合成を行う。その後は、ステップＳ７０９に移行して、合成によって得られた合成画像を符号化して画像メモリ１６２或いは外部メモリＭＤに記録してから、この仮想ライティング撮影処理を終了する。

このようにして第２の実施形態では、モデルデータから被写体領域に配置する画像の生成は、その画像を被写体画像と同じようにサブ領域に分割し、サブ領域内のテクスチャはサブ領域内を更に細分化して異ならせることで行うようにしている。その細分化により、領域内の色や輝度を場所毎に計算する必要性が回避されるため、より簡易、且つ軽い負荷で合成画像を生成することができる。
＜第３の実施形態＞
撮影方法の一つとして、連続して撮影するブラケット撮影がある。第３の実施形態は、そのブラケット撮影で得られる撮影画像毎に合成画像を生成し、生成した合成画像を用いて更に別の合成画像を生成できるようにしたものである。

第３の実施形態による画像生成装置を搭載した撮像装置の構成は、第２の実施形態と同様に、基本的に上記第１の実施形態における撮像装置と同じである。動作も大部分は同じである。このことから、第１の実施形態から異なる部分にのみ着目する形で説明する。

図８は、第３の実施形態で行われる合成画像の生成方法を説明する図である。
第３の実施形態では、図８に示すように、例えば照射角度θ、或いは色温度を変えた撮影毎に合成画像を生成し、合成画像を生成する毎に、それまでの撮影で生成した合成画像を全て合成した合成画像を生成するようにしている。それにより、１回の撮影毎に、その撮影のみに応じた合成画像の生成、全ての撮影に応じた合成画像の生成をそれぞれ行うようになっている。そのようにして、ブラケット撮影に対応した合成画像の生成を可能とし、撮影者の要望に応えられるようにしている。

図９は、上記合成画像の生成を実現させる仮想ライティングによるブラケット撮影処理のフローチャートである。その撮影処理は、例えば図４に示すカメラ制御処理内でステップＳ４２０として実行されるものである。次に図９を参照して、その撮影処理について詳細に説明する。

図８では、色温度を段階的に上げながら、各色温度で照射角度θを左から右に変えていく複数回の撮影を行うブラケット撮影を示している。ブラケット撮影は、色温度、及び照射角度θ共に、どのような順序で行っても良い。このことから本実施形態では、色温度、及び照射角度θ共に、その順序を指定できるようにしている。ここでは便宜的に、図８に示すように変更することを「昇り順」と呼び、他と区別する。色温度の変更は「ブラケット補正１」と呼び、照射角度θの変更は「ブラケット補正２」と呼ぶことにする。

１回の撮影のみによる合成画像の生成は、第１或いは第２の実施形態で採用された方法を用いることができる。複数画像の合成には周知の技術を用いることができる。このことから、それらについての具体的な説明は省略する。

先ず、ステップＳ９０３では、ブラケット補正１の補正順序は昇り順か否か判定する。撮影者が指定した補正順序が昇り順であった場合、判定はＹＥＳとなってステップＳ９０４に移行し、撮影順序管理用の変数ｍ１に１を代入し、色温度を変更する幅に相当する補正間隔として固定値Δｋを設定し、変数ｎに色温度を変更する回数ｎ１を代入し、変数ｊ１に０を代入する。その後はステップＳ９０６に移行する。そうでない場合には、判定はＮＯとなってステップＳ９０５に移行し、指定された補正順序に応じた設定処理を実行してからそのステップＳ９０６に移行する。

ステップＳ９０６では、色温度Ｋ等の更新を行う。その更新は、補正順序が昇り順であれば、色温度の初期値Ｋ０に、変数ｍ１の値、変数ｊ１の値、及び固定値Δｋを乗算して得られる値を加算することで行われる。その更新後はステップＳ９０７に移行して、ブラケット補正２の補正順序は昇り順か否か判定する。その補正順序が昇り順であった場合、判定はＹＥＳとなってステップ９０８に移行し、そうでない場合には、判定はＮＯとなってステップＳ９１６に移行する。

ステップＳ９０８では、撮影順序管理用の変数ｍ２に１を代入し、照射角度θを変更する角度に相当する補正間隔として固定値Δθを設定し、変数ｎ２に照射角度θを変更する回数、つまり撮影枚数を変数ｎ２に代入し、変数ｊ２に０を代入する。その後はステップＳ９０９に移行して、照射角度θ等の更新を行う。その更新は、補正順序が昇り順であることから、照射角度θの初期値θ０に、変数ｍ１の値、変数ｊ２の値、及び固定値Δθを乗算して得られる値を加算することで行われる。その更新後はステップＳ９１０に移行して、ブラケット補正１及び２の設定に該当する仮想ブラケティング条件での合成画像の生成、その生成した合成画像を既に得られた合成画像に加える合成を行う。ステップＳ９１１にはその後に移行する。

ステップＳ９１１では、変数ｊ２の値をインクリメントする。続くステップＳ９１２では、変数ｊ２の値は変数ｎ２の値以上か否か判定する。その大小関係が成立している場合、判定はＹＥＳとなってステップＳ９１３に移行する。そうでない場合には、判定はＮＯとなって上記ステップＳ９０９に戻る。それにより、照射角度θを変えた合成画像の生成を行う。

ステップＳ９１３では、変数ｊ１の値をインクリメントする。続くステップＳ９１４では、変数ｊ１の値は変数ｎ１の値以上か否か判定する。その大小関係が成立している場合、判定はＹＥＳとなってステップＳ９１５に移行し、生成した各合成画像を符号化して画像メモリ１６２或いは外部メモリＭＤに格納した後、この撮影処理を終了する。そうでない場合には、判定はＮＯとなって上記ステップＳ９０６に戻る。それにより、色温度を変えて、この撮影処理を継続する。

上記ステップＳ９０７の判定がＮＯとなって移行するステップＳ９１６では、ブラケット補正２の補正順序が昇り順以外の場合に対応するための処理を実行する。その処理の実行により、合成画像が生成される。その実行後は上記ステップＳ９１４に移行する。

なお、本実施形態（第１〜第３の実施形態）では、撮影条件として、照明条件、及び撮影方向を変更可能としているが、そのうちの一方のみを変更可能としても良い。モデルデータについては、撮影の対象とする被写体が限定されているような場合には、被写体の種別毎に用意する必要はない。また、そのモデルデータは被写体から生成しても良い。

本実施形態による画像生成装置は、制御回路１３０がメモリ１３３に格納されたプログラムを実行することで実現される。そのプログラムは光ディスクやフラッシュメモリ等の記録媒体に記録して配布しても良く、ＬＡＮ、或いはインターネット等の通信ネットワークを介して配信できるようにしても良い。それにより、プログラムは通信ネットワークを介して配信する装置がアクセス可能であっても良い。

上述した変形例を含む実施形態を基に、更に以下の付記を開示する。
（付記１）
撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する画像生成装置において、
前記撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した前記撮影画像のなかから、被写体画像が存在する被写体領域を抽出する被写体抽出手段と、
被写体のモデルデータを記憶した記憶手段と、
前記被写体の仮想的な撮影条件を設定する撮影条件設定手段と、
前記撮影条件設定手段が設定した撮影条件に基づいて、前記記憶手段に記憶されているモデルデータを用いて他の被写体画像を生成する画像生成手段と、
前記画像生成手段が生成した他の被写体画像を前記撮影画像中の前記被写体領域に配置する画像合成を行う画像合成手段と、
を具備することを特徴とする画像生成装置。

（付記２）
前記記憶手段が前記被写体の種別毎に、該被写体を表現するモデルデータを記憶している場合に、前記記憶手段に記憶されたモデルデータのなかから、前記被写体抽出手段が抽出した被写体領域に被写体画像が存在する被写体に対応するモデルデータを特定するモデル特定手段、を更に具備し、
前記画像生成手段は、前記モデル特定手段が特定したモデルデータを用いて前記他の被写体画像を生成する、
ことを特徴とする付記１記載の画像生成装置。

（付記３）
前記画像生成手段は、前記被写体領域中の前記被写体画像から抽出される輪郭線に合わせて、前記モデルデータを操作し、該操作したモデルデータを用いて前記他の被写体画像を生成する、
ことを特徴とする付記１記載の画像生成装置。

（付記４）
前記画像生成手段は、前記被写体抽出手段が抽出した被写体領域を輝度、及び色に基づいて複数のサブ領域に分割し、該分割結果を反映させて、前記モデルデータを用いた前記他の被写体画像の生成を行う、
ことを特徴とする付記１記載の画像生成装置。

（付記５）
前記画像生成手段は、前記分割結果に応じて、前記モデルデータを用いて得られる前記他の被写体画像の領域をサブ領域に分割し、該分割したサブ領域を、前記撮影条件を基に細分化し、該細分化したサブ領域毎に、前記輝度、前記色、及び前記撮影条件により特定されるテクスチャを貼り付けることにより、該他の被写体画像を生成する、
ことを特徴とする付記４記載の画像生成装置。

（付記６）
前記撮影条件設定手段が前記撮影条件を複数、設定した場合に、前記画像生成手段は、該撮影条件毎に、前記モデルデータを用いて前記他の被写体画像を生成し、該生成した複数の他の被写体画像を合成して、前記画像合成手段によって前記被写体領域に配置される他の被写体画像を生成する、
ことを特徴とする付記１記載の画像生成装置。

第１の実施形態による撮像装置の構成を示す図である。 設定可能な仮想ストロボを示す図である。 照明条件の設定方法、及び照明条件の設定によって撮影可能時のスルー画像表示を説明する図である。 カメラ制御処理のフローチャートである。 仮想ライティング撮影処理のフローチャートである。 被写体領域抽出処理のフローチャートである。 第２の実施形態による仮想ライティング撮影処理のフローチャートである。 第３の実施形態で行われる合成画像の生成方法を説明する図である。 仮想ライティングによるブラケット撮影処理のフローチャートである。

符号の説明

１２０ 撮影制御部
１３０ 制御回路
１３１ 画像処理部
１３２ ＣＧ処理部
１３３ メモリ

Claims (8)

1. 撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する画像生成装置において、
   前記撮影画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記撮影画像のなかから、特定の被写体の画像部分が存在する被写体領域を抽出する被写体抽出手段と、
   前記被写体の仮想的な撮影条件を設定する撮影条件設定手段と、
   前記撮影条件設定手段が設定した仮想的な撮影条件に基づいて、前記被写体抽出手段が被写体領域を抽出した被写体に対応するモデルデータを用いて前記被写体領域の被写体が前記仮想的な撮影条件で撮影された状態を示す他の被写体画像を生成する画像生成手段と、
   前記画像生成手段が生成した他の被写体画像を前記撮影画像中の前記被写体領域に配置する画像合成を行う画像合成手段と、
   を具備することを特徴とする画像生成装置。
2. 被写体のモデルデータを記憶した記憶手段と、
   前記記憶手段が前記被写体の種別毎に、該被写体を表現するモデルデータを記憶している場合に、前記記憶手段に記憶されたモデルデータのなかから、前記被写体抽出手段が抽出した被写体領域に被写体画像が存在する被写体に対応するモデルデータを特定するモデル特定手段と、を更に備え、
   前記画像生成手段は、前記モデル特定手段が特定したモデルデータを用いて前記他の被写体画像を生成する、
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記画像生成手段は、前記被写体領域中の前記被写体画像から抽出される輪郭線に合わせて、前記モデルデータを操作し、該操作したモデルデータを用いて前記他の被写体画像を生成する、
   ことを特徴とする請求項１記載の画像生成装置。
4. 前記画像生成手段は、前記被写体領域と同一の形状で、色又は明るさの異なる他の被写体画像を生成することを特徴とする請求項１乃至３のいずれかに記載の画像生成装置。
5. 前記仮想的な撮影条件は、被写体の照明状態に関する照明条件であり、
   前記画像生成手段は、前記被写体領域と同一の形状と色で部分的に明るさの異なる他の被写体画像を生成することを特徴とする請求項４記載の画像生成装置。
6. 前記仮想的な撮影条件は、ライトの個数、種類、強度、配置、角度、或いは分光特性のいずれか又は全てを組み合わせた仮想ライティングであることを特徴とする請求項５記載の画像生成装置。
7. 前記画像生成手段は、前記撮影条件を順次変更しながら他の被写体画像を生成し、
   前記画像生成手段は、前記画像生成手段が順次生成する他の被写体画像を該画像生成手段が画像合成を行った画像に更に画像合成することでブラケット撮影を行うことを特徴とする請求項１乃至６のいずれかに記載の画像生成装置。
8. 撮影により得られた撮影画像を用いて撮影者の所望する画像を生成する画像生成装置として使用可能なコンピュータに、
   前記撮影画像を取得する画像取得機能と、
   前記画像取得機能により取得した前記撮影画像のなかから、特定の被写体の画像部分が存在する被写体領域を抽出する被写体抽出機能と、
   被写体の仮想的な撮影条件を設定する撮影条件設定機能と、
   前記撮影条件設定機能により設定した仮想的な撮影条件に基づいて、前記被写体抽出機能が被写体領域を抽出した被写体に対応するモデルデータを用いて前記被写体領域の被写体が前記仮想的な撮影条件で撮影された状態を示す他の被写体画像を生成する画像生成機能と、
   前記画像生成機能により生成した他の被写体画像を前記撮影画像中の前記被写体領域に配置する画像合成を行う画像合成機能と、
   を実現させるためのプログラム。