JP5136245B2 - 画像合成装置、画像合成プログラム及び画像合成方法 - Google Patents

Description

本発明は、画像合成装置、この画像合成装置を制御するための画像合成プログラム、及び画像合成方法に関する。

従来、特許文献１記載の画像合成装置が知られている。この画像合成装置は、複数人が写っている画像を撮像するに際し、連写を行ってその連写した各画像から各人毎に表情評価値の最も高い顔画像部分を抽出する。また、顔画像部分を除く背景画像を生成して、この生成した背景画像に前記抽出した各人の顔画像部分を合成する。これにより、全員が笑顔である等の全員の表情評価値が高い合成画像が得られるとするものである。
特開２００７−２９９２９７号公報

しかしながら、このような従来の画像合成装置の場合、前記全員の表情評価値が高い合成画像を得るためには、全員分に加えベース画像分の画像をも撮影しなければならない。このため、合成回数が増大することとなり、この合成回数の増大に伴って特に合成箇所の輪郭部分において、合成画像の品質が低下してしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影回数を減らしつつ、好適な合成画像を得ることを目的とする。

前記課題を解決するため請求項１記載の発明に係る画像合成装置にあっては、複数の撮影対象を含む撮影画像を、複数取得する取得手段と、この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段と、この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段と、この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段と、この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段とを備え、前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合に、前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、或いは、前記合成手段により合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、のいずれかを選択することを特徴とする。

また、請求項２記載の発明に係る画像合成装置にあっては、前記取得手段は、時間的に連続して前記複数の撮影画像を取得することを特徴とする。

また、請求項３記載の発明に係る画像合成装置にあっては、前記撮影対象は人物における顔であるとともに、人物の顔の撮影状態を評価する評価手段を更に備え、前記判断手段は、前記評価手段による評価が所定以上の撮影状態を、前記基準を満たす撮影状態と判断することを特徴とする。

また、請求項４記載の発明に係る画像合成装置にあっては、前記評価手段が評価する顔の撮影状態には、笑顔の撮影状態か否か、目が開いている撮影状態か否か、目線が所定方向を向いている撮影状態か否かのいずれか１つを含むことを特徴とする。

また、請求項５記載の発明に係る画像合成装置にあっては、表示手段と、前記取得手段により取得された撮影画像を前記表示手段に表示させる際、前記撮像画像に含まれる複数の撮影対象の撮影状態が、前記判断手段により基準を満たすもの否かを識別可能に表示するよう制御する表示制御手段とを更に備えることを特徴とする。

また、請求項６記載の発明に係る画像合成装置にあっては、前記取得手段により取得された複数の撮影画像に基づき、前記複数の撮影対象の少なくともいずれか１つが所定以上動いたか否かを判断する動き判断手段と、この動き判断手段により前記複数の撮影対象の少なくともいずれか１つが所定以上動いたと判断された場合、前記取得手段による取得を停止させる停止手段とを更に備えることを特徴とする。

また、請求項７記載の発明に係る画像合成装置にあっては、前記合成手段により合成された合成画像を、前記合成手段の合成に用いられた撮影画像と関連付けて記録する記録手段を設けたことを特徴とする。

また、請求項８記載の発明に係る画像合成装置にあっては、前記合成画像が前記記録手段に記録された後に、当該合成画像を前記表示手段に表示するよう制御する第２の表示制御手段を更に備えることを特徴とする。

また、請求項９記載の発明に係る画像合成装置にあっては、前記表示手段は、前記合成画像における前記撮影対象部分を更に拡大表示することを特徴とする。

また、請求項１０記載の発明に係る画像合成装置にあっては、前記取得手段は、被写体を撮像する撮像手段を含むことを特徴とする。
また、請求項１１記載の発明に係る画像合成装置にあっては、前記第２の選択方法は、更に、前記合成手段による合成数が一番少なくなる画像をベース画像として選択することを特徴とする。

また、請求項１２記載の発明に係る画像合成プログラムにあっては、画像合成装置が有するコンピュータを、複数の撮影対象を含む撮影画像を、複数取得する取得手段、この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段、この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段、この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段、この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段して機能させ、前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合に、前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、或いは、前記合成手段により合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、のいずれかを選択することを特徴とする。

また、請求項１３記載の発明に係る画像合成方法にあっては、複数の撮影対象を含む撮影画像を、複数取得する取得ステップと、この取得ステップにて取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断ステップと、この判断ステップにて基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択ステップと、この選択ステップにて選択されたベース画像以外の撮影画像に含まれ、前記判断ステップにより基準を満たすと判断された撮影対象の部分画像を抽出する抽出ステップと、この抽出ステップにて抽出された部分画像を、前記選択ステップにて選択されたベース画像の前記撮影対象部分に合成する合成ステップとを含み、前記選択ステップは、前記ベース画像として選択すべき撮影画像が複数存在する場合に、前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、或いは、前記合成ステップにより合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、
のいずれかを選択することを特徴とする。

本発明によれば、撮影回数を減らしつつ、好適な合成画像を得ることができる。

以下、本発明の実施の形態を図にしたがって説明する。図１は、本発明一実施の形態を適用したデジタルカメラ１の電気的構成の概略を示すブロック図である。デジタルカメラ１は、固定されたレンズ２を備えるとともに、それぞれモータ５、６によって光軸方向に駆動されるズームレンズ３及びフォーカスレンズ４を備えている。これらレンズ２〜４の後方には、撮像部７及び測距部８が配置されている。測距部８は、コントラストＡＦとハイブリットＡＦとに切り換えて使用することが可能である。

撮像部７は、ＣＣＤ等の撮像素子、タイミング発生器、垂直ドライバ、サンプルホールド回路、Ａ／Ｄ変換器等を備え、一定周期で１画面分の撮像信号をデジタルデータに変換してカラープロセス回路９に送る。カラープロセス回路９は画像補間処理を含むカラープロセス処理により、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成し、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）ＤＭＡコントローラ１０に出力する。ＤＭＡコントローラ１０は輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、カラープロセス回路９からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１０内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）１１を介してＤＲＡＭ１２にＤＭＡ転送する。

制御部２０は、上記輝度及び色差信号データ、つまり画像データのＤＲＡＭ１２へのＤＭＡ転送終了後に、その画像データを、ＤＲＡＭインタフェース１１を介してＤＲＡＭ１２から読み出し、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５に書き込む。

デジタルビデオエンコーダ１６は、上記画像データを、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部１７に出力する。表示部１７は、液晶モニタとその駆動回路等により構成され、デジタルビデオエンコーダ１６からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ１４から取り込まれている画像情報に基づくスルー画像を表示する。

この表示部１７の画面上には、タッチパネル１８が積層されており、タッチパネル１８は、タッチ位置を検出して制御部１３に出力する。

キー入力部１９は、電源キー、シャッタキー、撮影モードと再生モードを切り換え設定するモード設定キー等の各キーを含み、スルー画像が表示されている状態でシャッタキーが操作されると、撮像開始用のトリガ信号を発生する。撮影モードにおける静止画撮像モード時には、上記トリガ信号に応じて制御部２０が撮像部７からのＤＲＡＭ１２への経路を停止し、ＤＲＡＭ１２に書込まれている１フレーム分の画像データを、ＤＲＡＭインタフェース１１を介して読み出し、画像処理部２０に送る。画像処理部２０では送られた画像データを圧縮符号化し、圧縮された画像データは制御部２０によって読み出され、静止画ファイルとしてメモリカード２１に記録される。

また、撮影モードによる動画撮像モード時には、上記トリガ信号に応じて制御部２０が撮像部７からのＤＲＡＭ１２への経路を停止し、ＤＲＡＭ１２に順次書込まれている複数フレーム分の画像データを、ＤＲＡＭインタフェース１１を介して読み出し、画像処理部２０に送る。画像処理部２０では送られた複数フレーム分の画像データを圧縮符号化し、圧縮された画像データは制御部２０によって読み出され、動画ファイルとしてメモリカード２１に記録される。

メモリカード２１に記録された画像ファイルは、再生モードにおいて、操作キー等による選択操作に応じて画像処理部２０に読み込まれ、そこで画像データに復号された後、必要に応じて制御部２０で輝度、コントラスト、シャープネスを制御されて、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５へ送られ、表示部１７で表示される。

また、制御部２０は、主としてＣＰＵ及びその周辺回路と、プログラム等を記憶したＲＯＭ、ＣＰＵの作業用メモリであるＲＡＭ（内部メモリ）、及びカレンダ機能を有する内蔵時計から構成されるマイクロコンピュータであり、前記ＲＯＭに確保されているプログラム領域に格納されているプログラムに基づき動作し、前述した各部の動作を制御するとともに、ストロボ駆動部２２を介してストロボ発光部２３の発光動作を制御する。

マイク２４は、前記動画撮像モード時において周囲の音声を検出し、この検出された音声は音声処理部２６で符号化処理等が施されて、前記動画ファイル内に音声データが記録される。また、動画再生モードにおいては、動画ファイルから音声データが読み出され、音声処理部２６で復号化処理等が施されて、スピーカ２５より放音される。

なお、制御部１３内のＲＯＭには、前記プログラム等とともに図２に示す顔画像評価テーブル１３１が予め記憶されている。この顔画像評価テーブル１３１には、笑顔の特徴データに対応してランク「顔評価ａ」が記憶されているとともに、笑顔以外の他の顔特徴データに対応してランク「顔評価ｂ」又は「顔評価ｃ」が記憶されている。

なお、ここでは顔特徴データは３段階なので、笑顔に相当する特徴データは「顔評価ａ」のみであるが、実際には、より多段階に構成して段階的に評価することがより好ましい。

以上の構成に係る本実施の形態において、撮影モードにおける静止画撮像モードが設定
されると、表示部１７には、前述のようにその時点でＶＲＡＭコントローラ１４から取り込まれている画像情報に基づくスルー画像が表示される。撮影者が、この表示部１４に表示されたスルー画像により被写体を確認して、キー入力部１９にてシャッタキーを操作すると、制御部２０は前記プログラムに基づき、図３のフローチャートに示す処理を開始する。

（撮影画像（１）処理）
すなわち、撮影画像を取得するとともに、この撮影画像毎のテーブルである個別テーブルを作成する（ステップＳ１）。したがって、現時点がシャッタキーを操作した直後であるとすると、図４（ａ）に示すように、最初に撮影された撮影画像（１）が取得されるとともに、同図（ｂ）に示すように、撮影画像（１）の個別テーブルＴ１が作成される。この個別テーブルＴ１には、図示のように、「顔Ｎｏ．」、「顔座標」、「特徴情報」、「顔評価」、「顔画像」の各欄が設けられる。

なお、撮影者はシャッタキーを操作する際、あるいは操作中に適宜「笑ってください」等の笑顔を誘導する音声を発することが好ましい。

次に、前記撮影画像の例えば、左端部から走査することにより、当該撮影画像中における顔部分の部分画像を検出する（ステップＳ２）。したがって、このステップＳ２での処理により、前記撮影画像（１）においては先ず人物Ａの顔画像部分が検出されることとなり、人物Ａを顔Ｎｏ．「１」として、撮影画像（１）の個別テーブルＴ１の「顔Ｎｏ．」欄に記憶するとともに、対応する「顔画像」欄に人物Ａの顔画像を記憶する。

引き続き、この検出した顔画像の撮影画像（１）上における座標を取得し、個別テーブルＴ１の対応する「顔座標」欄に記憶する（ステップＳ３）。また、当該顔画像の特徴情報を取得して、対応する「特徴情報」欄に記憶する（ステップＳ４）。さらに、前記顔画像評価テーブル１３１を参照して、当該顔画像が評価ａ〜ｃのいずれであるかを判断し、その評価結果を、対応する「顔評価」欄に記憶する（ステップＳ５：撮影状態の評価）。

このステップＳ５で実行される顔評価については、例えば特開２００５−２３４６８６号公報に開示されており、この開示技術を適宜用いることができる。

したがって、以上のステップＳ２〜Ｓ５の処理が人物Ａの顔画像に対して実行されることにより、図４（ｂ）に示すように、個別テーブルＴ１の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ａの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。

次に、撮影画像（１）における人物全員に対して以上のステップＳ２〜Ｓ５の処理である評価を終了したか否かを判断し（ステップＳ６）、全員に対して以上の処理が終了するまで、ステップＳ２〜Ｓ５の処理を繰り返す。したがって、２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図４（ｂ）に示すように、個別テーブルＴ１の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５０」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図４（ｂ）に示すように、個別テーブルＴ１の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８０」、特徴情報「人物Ｃ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ｃの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブルを作成又は更新する（ステップＳ７）。ここで、作成又は更新とは、総合テーブルが未だ作成されていない場合には作成し、既に作成されている場合には、これを更新することを意味する。

この総合テーブル１３２は、図８（ａ）に示すように、「顔Ｎｏ．」、「評価ａの撮影画像」、「組合せ候補」及び「最終組合せ」の欄で構成されている。「顔Ｎｏ．」欄には、前述した個別テーブルと同様の顔Ｎｏ．「１」〜「３」が記憶され、「評価ａの撮影画像」には当該顔Ｎｏ．の顔画像が顔評価ａであった撮影画像の番号が記憶される。また、「組合せ候補」には、全ての人物が顔画像が顔評価ａとなる撮影画像の番号の組合せが記憶され、「最終組合せ」には、最終的に合成する撮影画像の番号の組合せが記憶される。

したがって、撮影画像（１）に対しての処理のみが実行された現時点においては、評価ａの顔画像は顔Ｎｏ．「２」のみであったことから、総合テーブル１３２において、図８（ａ）に示すように、顔Ｎｏ．「２」に対応して撮影画像（１）が記憶されるのみである。

次に、顔検出枠、笑顔検出マークと共に、撮影画像を重畳表示する（ステップＳ８）。このステップＳ７での処理により図４（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示される。また、前記総合テーブル１３２を参照し、笑顔となった人物Ｂの上部に「○」からなる笑顔検出マーク１７２が重畳表示され、これにより、人物Ｂについては笑顔であることが識別可能になるように撮影画像（１）が表示される。

引き続き、この撮影画像内における人物Ａ、Ｂ、Ｃのブレに基づき、所定以上動いてしまった人物がいるか否かを判断する（ステップＳ９）。この判断は、例えば顔座標が「５」以上変化した場合に所定以上動いてしまったとする。そして、動いてしまった人物がいる場合には、図９に示すように、表示部１７に「人が動いたので撮影を中止します。」や、動いた人物の上部に「×」印を表示する警告表示を行う（ステップＳ１０）。しかる後に、取得した全撮影画像やテーブルを削除して（ステップＳ１１）、エンドに進みスルー画像表示状態に戻る。よって、後述する合成に不適な所定以上動いてしまった人物がいる画像が撮影された場合には、連写を中止して無用な連写を防止することができる。

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、このステップＳ７で作成又は更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２：撮影状態が基準を満たすか否かの判断）。このとき、図８（ａ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。

（撮影画像（２）処理）
したがって、２回目のステップＳ１での処理により、図５（ａ）に示すように、次に連写撮影された撮影画像（２）が取得されるとともに、同図（ｂ）に示すように、撮影画像（２）の個別テーブルＴ２が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（２）の処理１回目においては、図５（ｂ）に示すように、個別テーブルＴ２の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２１」、特徴情報「人物Ａ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ａの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

また、撮影画像（２）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図５（ｂ）に示すように、個別テーブルＴ２の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５１」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図５（ｂ）に示すように、個別テーブルＴ２の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８１」、特徴情報「人物Ｃ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ｃの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（２）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「１」と「２」であったことから、総合テーブル１３２において、図８（ｂ）に示すように、顔Ｎｏ．「１」「２」に対応して撮影画像（２）が追記される。

また、ステップＳ８での処理により、図５（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（２）が表示される。

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｂ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」と顔Ｎｏ．「２」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。

（撮影画像（３）処理）
したがって、３回目のステップＳ１での処理により、図６（ａ）に示すように、次に連写撮影された撮影画像（３）が取得されるとともに、同図（ｂ）に示すように、撮影画像（３）の個別テーブルＴ３が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（３）の処理１回目においては、図６（ｂ）に示すように、個別テーブルＴ３の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ａの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

また、撮影画像（３）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図６（ｂ）に示すように、個別テーブルＴ３の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５０」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図６（ｂ）に示すように、個別テーブルＴ３の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８０」、特徴情報「人物Ｃ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ｃの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（３）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「１」と「２」であったことから、総合テーブル１３２において、図８（ｃ）に示すように、顔Ｎｏ．「１」「２」に対応して撮影画像（３）が追記される。

また、ステップＳ８での処理により、図６（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（３）が表示される。

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｃ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」と顔Ｎｏ．「２」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。

（撮影画像（４）処理）
したがって、４回目のステップＳ１での処理により、図７（ａ）に示すように、次に連写撮影された撮影画像（４）が取得されるとともに、同図（ｂ）に示すように、撮影画像（４）の個別テーブルＴ４が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（４）の処理１回目においては、図７（ｂ）に示すように、個別テーブルＴ４の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ａの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。

また、撮影画像（４）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図７（ｂ）に示すように、個別テーブルＴ４の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５１，５０」、特徴情報「人物Ｂ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ｂの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図７（ｂ）に示すように、個別テーブルＴ４の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５１，８０」、特徴情報「人物Ｃ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ｃの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（４）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「３」のみであったことから、総合テーブル１３２において、図８（ｄ）に示すように、顔Ｎｏ．「３」に対応して撮影画像（４）が追記される。

また、ステップＳ８での処理により、図７（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢ及びＣの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（４）が表示される。

したがって、撮影者が笑顔検出マーク１７２を見ることにより、撮影対象とする人物全員が笑顔である画像が撮影されたか否かを確認することができる。

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｄ）を参照すると、顔Ｎｏ．「１」〜「３」が全てランクａ以上となっている。

（合成処理等）
このように、顔Ｎｏ．「１」〜「３」が全てランクａ以上となっている時間的に連続する撮影画像（１）〜（４）が連写されると、ステップＳ１２の判断はＹＥＳとなり、ステップＳ１２からステップＳ１３に進んで、合成画像の組合せ候補を選出する。この組合せ候補の選出は、図８（ｄ）に示した総合テーブル１３２の最終結果に基づいて行う。つまり、総合テーブル１３２における「評価ａ撮影画像」欄を参照すると、顔Ｎｏ．「１」は、「（２）、（３）」であり、顔Ｎｏ．「２」は、「（１）、（２）、（３）」であり、顔Ｎｏ．「３」は、「（４）」である。したがって、評価ａの顔Ｎｏ．「１」〜「３」の顔画像を全て含んで、尚且つ最小限枚数の撮影画像となる撮影画像の組合せは、「（２）＋（４）」又は「（３）＋（４）」である。よって、この最少限の撮影枚数の組合せである「（２）＋（４）」又は「（３）＋（４）」を組合せ候補として選出し、図８（ｄ）に示すように、総合テーブル１３２の「組合せ候補」欄に書き込む（ステップＳ１３）

次に、ベース画像を決定する（ステップＳ１４）。図１２は、このステップＳ１４におけるベース画像決定処理の処理手順を示すサブルーチンである。このベース画像の決定に際しては、前記組合せ候補内の撮影画像において、「顔評価ａ」の顔画像がより多く存在する撮影画像をベース画像として選択する（ステップＳ１４１）。次に、この選択されたベース画像が複数であるか否かを判断する（ステップＳ１４２）。そして、複数ではなく単一の画像がステップＳ１４１で選択された場合には、当該選択された画像をベース画像として決定する（ステップＳ１４３）。しかし、ステップＳ１０１で複数の画像がベース画像として選択された場合には、選択された場合は、その中からより背景が明瞭な撮影画像、つまり背景のブレが少なくコントラストピーク値が最も高い画像をベース画像として決定する（ステップＳ１４４）。

したがって、本例の組合せ候補「（２）＋（４）」又は「（３）＋（４）」において、撮影画像（４）は「顔評価ａ」の顔画像が人物Ｃのみである一方、撮影画像（２）（３）は「顔評価ａ」の顔画像が人物Ａ，Ｂであるので、このステップＳ１４１では先ず撮影画像（２）（３）が選択される。また、ステップＳ１４１での選択は複数画像であるので、ステップＳ１４２の判断はＹＥＳとなる。したがって、ステップＳ１４２からＳ１４４に進み、撮影画像（２）（３）を比較して、例えば撮影画像（２）の方がより背景が明瞭であれば、撮影画像（２）がベース画像として決定されることとなる。

これにより、後述する合成画像Ｐの背景を明瞭なものにすることができる。

また、このように撮影画像（２）をベース画像として決定すると、組合せ候補「（２）＋（４）」又は「（３）＋（４）」において、最終的な組合せは「（２）＋（４）」となることから、図８（ｄ）に示すように、「（２）＋（４）」が総合テーブル１３２の「最終組合せ」欄に書き込まれる。

なお、このように組合せが複数存在する場合は、各組合せ候補を時系列に並べてみて、最初の画像と最後の画像との時間的な差が最少となる組合せ候補を選択した上で、合成数が一番少なく出来る画像をベース画像として選択しても良い。

例えば、上記のケースにおいては、「（２）＋（４）」よりも「（３）＋（４）」の方が時間的な差が小さいので、最終組合せを「（３）＋（４）」として選択した上で、（３）と（４）を比較し、（３）のほうが（４）よりも顔評価ａの画像が多く含まれているため、（３）をベース画像として選択するように構成しても良い。

このように構成することで、場合によっては、画像を合成した時に、合成対象とする画像が時間的に近接している為、より自然な風合いの合成画像を取得し易くなる、というメリットがある。

また、上記開示した２つの画像合成のアルゴリズムの両方を参酌した上で、合成画像がより自然となるものを選択するように構成しても構わない。

そして、図３のフローにおける次のステップＳ１５においては、この総合テーブル１３２の「最終組合せ」欄と前記ステップＳ１４で決定されたベース画像とに基づき、各顔部分画像を決定する。つまり、最終的な組合せは「（２）＋（４）」であり、「（２）＋（４）」において、ベース画像が撮影画像（２）であるとすると、ベース画像である撮影画像（２）において人物Ａ、Ｂは笑顔であるから、そのまま撮影画像（２）に残存させることができる。したがって、撮影画像（２）において笑顔ではない人物Ｃ部分である顔部分画像Ｇ４−３を撮影画像（４）から切り出して、撮影画像（２）の人物Ｃ部分に上書き合成すればよいことになる。よって、ステップＳ１５においては、撮影画像（２）の人物Ｃ部分が上書き部分として決定され、かつ、撮影画像（４）の人物Ｃ部分が切り出し部分として決定される。

なお、人物Ｃ部分を単に上書き合成すると書いたが、これに限らない。

例えば、撮影画像（４）から切り出した顔部分画像Ｇ４−３の輪郭付近を間引く処理を行なった上で、上書き合成しても良い。

これにより、合成画像の輪郭部分がより自然な風合いとした合成画像を取得することが可能となる。

次に、これら決定した各画像部分を合成する（ステップＳ１６）。つまり、図５（ｂ）の撮影画像（２）テーブルＴ２における人物Ｃの顔座標「５０，８１」に基づいて、前述のように撮影画像（２）の人物Ｃ部分に、図７（ｂ）の撮影画像（４）テーブルＴ４における人物Ｃの「顔画像」を読み出して、この読み出した撮影画像（４）の人物Ｃ部分を撮影画像（２）の消去した人物Ｃ部分に顔座標が示す位置に上書き合成して、合成画像を生成する。

なお、撮影画像（４）の人物Ｃ部分を切り出し、この撮影画像（４）に係る人物Ｃの顔座標「５１，８０」に基づいて、人物Ｃ部分を撮影画像（２）の人物Ｃ部分に上書き合成して、合成画像を生成してもよい。

また、撮影画像（２）と撮影画像（４）とでは、正確には人物Ｃの位置がずれているので、合成箇所の輪郭部分に不自然な風合いが生じる可能性があり、種々の対策を施すことが望ましく、例えば上記に尚書きしたように、輪郭部分周囲を間引いた顔部分画像を合成するようにすることが好ましい。

また、画像合成にあっては、ＪＰＥＧ画像は８×８ビットや１６×１６ビット毎に圧縮されて画像生成されるので、これを考慮して顔部分画像の切取り範囲を決定して、画像合成することが好ましい。

したがって、本例においては、１回の合成のみにより、図１０（ａ）に示すように、人物Ａ，Ｂ，Ｃ全員が笑顔である合成画像Ｐを得ることができる。よって、顔部分画像の合成数を減らすことができ、これにより合成画像の品質低下を抑制することができる。また、合成回数を減らすことができる結果、処理速度を高めることもできる。

しかも、時間的に連続する連写された撮影画像を用いて合成画像を生成することから、合成された画像に違和感が生ずることもない。

次に、このステップＳ１６で生成した合成画像Ｐをメモリカード２１に記録する（ステップＳ１７）。このとき、合成画像Ｐに関連付けて、イグジフに前記総合テーブル１３２の「最終組合せ」（図８（ｄ）参照）に基づいて図１０（ｂ）に示す合成画像の個別テーブルＴＧを、Ｔ２とＴ４より生成して保存しておく。

ここで、Ｔ２とＴＧとは殆ど同じものであるが、人物Ｃ部分については、撮影画像（４）に係る人物Ｃの顔座標「５１，８０」に基づいて切り出した顔部分画像Ｇ４−３を記録している点がＴ２とＴＧとの相違点である。

引き続き、レックビュー表示１回目を実行して、前記合成画像Ｐを表示部１７に表示する（ステップＳ１８）。このとき、図１１（ａ）に示すように、合成画像Ｐとともに、各人物Ａ，Ｂ，Ｃ毎に顔検出枠１７１と、笑顔検出マーク１７２を表示させる。

これにより、撮影者は顔検出枠１７１により、被写体の全員の顔が検出されて合成されたこと、及び全員が笑顔であることを確認することができる。

次に、合成画像Ｐ内の顔部分画像を表示部１７に、顔Ｎｏ．順に拡大表示させる（ステップＳ１９）。そして、全員の顔部分画像の拡大表示を終了するまで（ステップＳ２０）、ステップＳ１９の処理を繰り返す。したがって、このステップＳ１９での処理により、図１１（ｂ）に示すように、人物Ａ，Ｂ，Ｃの顔部分画像が順次拡大して表示される。

よって、撮影者がこの拡大して表示される人物Ａ，Ｂ，Ｃの顔部分画像を視認することより、合成画像Ｐ内の各人物Ａ，Ｂ，Ｃの顔が笑顔であるか否かを明瞭に確認することができる。

なお、人物Ａ，Ｂ，Ｃの顔部分画像のみならず、人物Ａ，Ｂ，Ｃの顔部分画像とその周囲とを含む部分画像を拡大表示するようにしてもよい。これにより、当該顔部分画像の合成境界部分が拡大して表示され、撮影者は合成の良否を確認することできる。

全員の顔部分画像の拡大表示が終了したならば、レックビュー表示２回目を実行する（ステップＳ２１）。このレックビュー表示２回目においては、図１１（ｃ）に示すように、前記レックビュー表示１回目と異なり、顔検出枠１７１や笑顔検出マーク１７２を表示させることなく、合成画像Ｐのみを表示させる。

したがって、撮影者はこのレックビュー表示２回目により、顔検出枠１７１や笑顔検出マーク１７２によって妨げられることなく、記録された画像そのままの合成画像Ｐを確認することができる。

さらに、取得した撮影画像、つまり図４（ａ）〜図７（ａ）に示した撮影画像（１）〜（４）を削除して（ステップＳ２２）、スルー画像表示状態に戻る。したがって、合成画像Ｐを生成することにより不要となった撮影画像（１）〜（４）がメモリカード２１に残存してしまうことがなく、メモリカード２１の記憶容量を有効に使用することができる。

なお、このように本実施の形態においては、撮影画像（１）〜（４）を削除するようにしたが、合成画像Ｐに関連付けてメモリカード２１に保存しておくようにしてもよい。これにより、一部の人物が笑顔ではない撮影画像（１）〜（４）を後日観賞することもできる。この場合、各撮影画像（１）〜（４）のイグジグに図４（ｂ）〜図７（ｂ）に示した個別テーブルＴ１〜Ｔ４を保存しておくことにより、合成画像から対応する撮影画像を検索することができる。

また、レックビュー表示２回目処理（ステップＳ２１）の後に、ＯＫであるか否かの判断ステップを設け、ＯＫであった場合には、撮影画像を削除する（ステップＳ２２）。しかし、ＯＫでない場合には、撮影画像（１）〜（４）を表示させて、手動操作により合成を可能としてもよい。

また、実施の形態においては、全員がランクａ以上（ステップＳ１２→ＹＥＳ）となった場合に連写を終了するようにしたが、所定枚数となった時点で連写を終了するようにしてもよい。これにより、連写が過剰に継続する不都合を未然に防止することができる。

また、実施の形態においては、人物が笑顔である場合を「顔評価ａ」としたが、人物の目が開いていること、あるいは人物の目線がデジタルカメラ１方向を指向していること等を「顔評価ａ」としてもよく、またこれらの組合せであってもよい。これにより、全員が目を開いている合成画像、あるいは全員の目線がカメラ方向に統一された合成画像を生成、記録することができる。なお、撮影画像において人物の目が開いているか否か、あるいは全員の目線がカメラ方向に向いているか否かの判断処理に関しては、特開２００４−３３６２６５号に開示されている技術を適宜用いることができる。

また、実施の形態においては、デジタルカメラに本発明を適用するようにしたが、デジタルカメラに限らず、携帯電話機やＰＤＡ等の撮像機能を備えた各種機器、あるいは画像合成システムに適用することができる。

本発明の一実施の形態を適用したデジタルカメラの電気的構成の概略を示すブロック図である。 顔画像評価テーブルの構成を示す概念図である。 本実施の形態の処理手順を示すフローチャートである。 （ａ）は撮影画像（１）を示す図であり、（ｂ）は撮影画像（１）の個別テーブルＴ１を示す図である。 （ａ）は撮影画像（２）を示す図であり、（ｂ）は撮影画像（２）の個別テーブルＴ１を示す図である。 （ａ）は撮影画像（３）を示す図であり、（ｂ）は撮影画像（３）の個別テーブルＴ１を示す図である。 （ａ）は撮影画像（４）を示す図であり、（ｂ）は撮影画像（４）の個別テーブルＴ１を示す図である。 総合テーブルの遷移図である。 警告表示の画面例を示す図である。 （ａ）合成画像を示す図であり、（ｂ）は合成画像の個別テーブルＴＧを示す図である。 （ａ）はレックビュー１回目表示例、（ｂ）は部部画像表示例、（ｃ）はレックビュー２回目表示例を示す図である。 ステップＳ１４におけるベース画像決定処理の処理手順を示すサブルーチンである。

符号の説明

１ デジタルカメラ
７ 撮像部
９ カラープロセス回路
１０ ＤＭＡコントローラ
１２ ＤＲＡＭ
１３ 制御部
１４ 表示部
１５ ＶＲＡＭ
１６ デジタルビデオエンコーダ
１７ 表示部
１９ キー入力部
２０ 制御部
２０ 画像処理部
２１ メモリカード
１３１ 顔画像評価テーブル
１３２ 総合テーブル
１７１ 顔検出枠
１７２ 笑顔検出マーク

Claims (13)

1. 複数の撮影対象を含む撮影画像を、複数取得する取得手段と、
   この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段と、
   この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段と、
   この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段と、
   この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段と
   を備え、
   前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合に、
   前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、
   或いは、前記合成手段により合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、
   のいずれかを選択する
   ことを特徴とする画像合成装置。
2. 前記取得手段は、時間的に連続して前記複数の撮影画像を取得することを特徴とする請求項１記載の画像合成装置。
3. 前記撮影対象は人物における顔であるとともに、人物の顔の撮影状態を評価する評価手段を更に備え、
   前記判断手段は、前記評価手段による評価が所定以上の撮影状態を、前記基準を満たす撮影状態と判断することを特徴とする請求項１又は２記載の画像合成装置。
4. 前記評価手段が評価する顔の撮影状態には、笑顔の撮影状態か否か、目が開いている撮影状態か否か、目線が所定方向を向いている撮影状態か否かのいずれか１つを含むことを特徴とする請求項３記載の画像合成装置。
5. 表示手段と、
   前記取得手段により取得された撮影画像を前記表示手段に表示させる際、前記撮像画像に含まれる複数の撮影対象の撮影状態が、前記判断手段により基準を満たすもの否かを識別可能に表示するよう制御する表示制御手段と
   を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像合成装置。
6. 前記取得手段により取得された複数の撮影画像に基づき、前記複数の撮影対象の少なくともいずれか１つが所定以上動いたか否かを判断する動き判断手段と、
   この動き判断手段により前記複数の撮影対象の少なくともいずれか１つが所定以上動いたと判断された場合、前記取得手段による取得を停止させる停止手段と
   を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像合成装置。
7. 前記合成手段により合成された合成画像を、前記合成手段の合成に用いられた撮影画像と関連付けて記録する記録手段を設けたことを特徴とする１乃至６のいずれか１項に記載の画像合成装置。
8. 前記合成画像が前記記録手段に記録された後に、当該合成画像を前記表示手段に表示するよう制御する第２の表示制御手段を更に備えることを特徴とする５乃至７のいずれか１項に記載の画像合成装置。
9. 前記表示手段は、前記合成画像における前記撮影対象部分を更に拡大表示することを特徴とする請求項８記載の画像合成装置。
10. 前記取得手段は、被写体を撮像する撮像手段を含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像合成装置。
11. 前記第２の選択方法は、更に、前記合成手段による合成数が一番少なくなる画像をベース画像として選択することを特徴とする請求項１乃至１０のいずれか１項に記載の画像合成装置。
12. 画像合成装置が有するコンピュータを、
    複数の撮影対象を含む撮影画像を、複数取得する取得手段、
    この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段、
    この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段、
    この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段、
    この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段
    して機能させ、
    前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合に、
    前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、
    或いは、前記合成手段により合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、
    のいずれかを選択する
    ことを特徴とする画像合成プログラム。
13. 複数の撮影対象を含む撮影画像を、複数取得する取得ステップと、
    この取得ステップにて取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断ステップと、
    この判断ステップにて基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択ステップと、
    この選択ステップにて選択されたベース画像以外の撮影画像に含まれ、前記判断ステップにより基準を満たすと判断された撮影対象の部分画像を抽出する抽出ステップと、
    この抽出ステップにて抽出された部分画像を、前記選択ステップにて選択されたベース画像の前記撮影対象部分に合成する合成ステップと
    を含み、
    前記選択ステップは、前記ベース画像として選択すべき撮影画像が複数存在する場合に、
    前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択する第１の選択方法、
    或いは、前記合成ステップにより合成を行う画像の撮影時間の差が最少となる画像をベース画像として選択する第２の選択方法、
    のいずれかを選択する
    ことを特徴とする画像合成方法。

Images