JP5527789B2 - 撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよび記録媒体 - Google Patents

Description

本発明は、撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよびプログラム記録媒体に関する。

近年、カメラ機能については、特許文献１の特開２００７−４１９８７号公報「画像処理装置および方法、並びにプログラム」に記載のように、人物撮影時の機能が多様化している。例えば、顔検出機能を搭載し、被写体の人物の顔毎に色補正を行ったり、被写体の人物が笑顔になったタイミングでシャッタを開かせて画像を取り込んだりするような機能も登場してきている。
特開２００７−４１９８７号公報（第７−９頁）

しかしながら、従来のようなカメラ機能においては、複数の人物撮影において、顔検出機能を使用することなどにより、被写体の人物毎に個別の露光や色補正を行うことなどの画像処理が工夫され、各人の顔をきれいに補正することは可能であるが、シャッタタイミングに関しては、全員にとってベストショットとなる最適なタイミングでシャッタを押すことは困難であり、限られた被写体にのみタイミングを合わせた撮影とならざるを得なかった。

本発明は、かかる事情に鑑みてなされたものであり、多人数の人物撮影において、被写体の全員にとって最適なタイミングでシャッタが切られた状態と等価なベストショットの撮影画像の取得を可能とする撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよびプログラム記録媒体を提供することを、その目的としている。

前述の課題を解決するため、本発明による撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよびプログラム記録媒体は、次のような特徴的な構成を採用している。

（１）被写体として１ないし複数の人物を撮影した撮影画像を取得するカメラセンサと、該カメラセンサにより取得された撮影画像の画像処理を行う画像処理部とを少なくとも備えた撮影装置において、前記カメラセンサは、同一の被写体を撮影した撮影画像を複数枚取得する複数枚撮影画像取得手段を備え、前記画像処理部は、前記カメラセンサの前記複数枚撮影画像取得手段により取得された複数枚の撮影画像それぞれから被写体とされた同一人物毎の画像を人物部分画像として抽出する人物部分画像抽出手段と、該人物部分画像抽出手段により同一人物毎に抽出された複数枚の前記人物部分画像の中から同一人物それぞれに関して最も写りが良い画像を、各人物毎のベストショット画像として判別するベストショット画像判別手段と、前記カメラセンサにより取得された複数枚の撮影画像のいずれかの背景画像と前記ベストショット画像判別手段にて判別された各人物毎のベストショット画像とを合成して１枚の合成画像として生成する合成画像生成手段とを、少なくとも備えている撮影装置。

本発明の撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよびプログラム記録媒体によれば、以下のような効果を得ることができる。

第１の効果は、複数の人物を被写体とした撮影時において、撮影した複数枚の画像の中から、被写体の人物毎にベストな写りの画像を抽出して合成しているので、被写体の人物全員にとって、より良い状態の画像を取得することが可能となることにある。

第２の効果は、撮影した複数枚の画像を用いて、より明瞭な人物部分画像の補間処理を行うため、手振れなどによる劣化が少ない画像の生成を期待することができることにある。

第３の効果は、画像処理に関するソフトウェア処理のみによって各人物のベストショット画像を用いた画像を合成することが可能であるため、一般的なカメラや携帯端末装置に装備されている画像処理チップによって容易に実現することができ、コスト負担の低減が可能となることにある。

以下、本発明による撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよびプログラム記録媒体の好適な実施例について添付図を参照して説明する。なお、以下の説明においては、本発明による撮影装置、人物撮影画像処理方法について説明するが、かかる撮影装置を携帯端末に搭載するようにした撮影装置付き携帯端末として実現することもできるし、また、かかる人物撮影画像処理方法をコンピュータにより実行可能な人物撮影画像処理プログラムとして実施するようにしても良いし、あるいは、人物撮影画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。

また、本発明に係る撮影装置付き携帯端末としては、携帯電話機、携帯用のＰＨＳ（Personal Handy-Phone System）端末、携帯情報端末（ＰＤＡ：Personal Digital
Assistants）、携帯型ノートＰＣ（Personal Computer）、携帯音楽プレーヤなど、画像を撮影する撮影機能を有する携帯型の機器であれば如何なる種類の機器であっても構わない。

（本発明の特徴）
本発明の実施形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、カメラ等の撮影装置付き携帯端末による複数人物の撮影時において、撮影した複数枚の画像を取り込み、各画像の中から、被写体の人物毎のベストショット画像を抽出し、背景部分と合成することによって、被写体の人物全員がベストショット画像となる１枚の画像を取得することが可能になることを主要な特徴としている。

つまり、本発明は、シャッタ押下操作がなされた際に、自動的に、連続して複数枚の画像が撮影されることにより、複数枚の画像を取得し、しかる後、取得された複数枚の画像内それぞれにおける人物部分を抽出し、抽出された人物部分それぞれにおいて、それぞれの人物のベストショットとなる画像を、それぞれの人物に関する人物部分画像の中から抜き出し、背景画像と合成することによって、被写体となった人物全員のベストショット写真を取得することを可能としている。

図１を用いて、さらに説明する。図１は、本発明による人物撮影方法の一例を説明するための模式図であり、被写体として複数人物（図１の例では、人物Ａ，Ｂの２人）を撮影した際に取得された複数枚（図１の例では、３枚）の撮影画像の中から、撮影した複数の人物それぞれのベストショットの画像を抽出して、背景画像と合成する例を示している。

図１に示すように、カメラ付き携帯端末による複数人物の撮影時において、シャッタ押下操作によって、撮影画像１０１〜１０３の３枚の画像を撮影して取り込む。しかる後、画像処理部において、３枚の撮影画像１０１〜１０３それぞれの中から、人物部分抽出画像１０４〜１０６に示すように、被写体の人物Ａ，Ｂの人物部分の抽出処理を実施し、人物Ａについては、それぞれ、人物部分画像ＲＡ１〜ＲＡ３を抽出し、人物Ｂについては、それぞれ、人物部分画像ＲＢ１〜ＲＢ３を抽出する。

次に、抽出した人物部分画像ＲＡ１〜ＲＡ３、人物部分画像ＲＢ１〜ＲＢ３の中から、被写体それぞれの人物Ａ，Ｂについて、ベストショット画像の判別処理を行い、人物Ａについては、人物部分画像ＲＡ１の顔が横向き、人物部分画像ＲＡ２の目が横向きであり、人物部分画像ＲＡ３が正面を向いた笑顔であり、３枚目の人物部分抽出画像１０６の人物部分画像ＲＡ３がベストショット画像であるものと判別し、一方、人物Ｂについては、人物部分画像ＲＢ１が片目を閉じており、人物部分画像ＲＢ２が正面を向いた笑顔であり、人物部分画像ＲＢ３は笑顔ではあるが、目を綴じており、２枚目の人物部分抽出画像１０５の人物部分画像ＲＢ２がベストショット画像であるものと判別して、判別したそれぞれのベストショット画像を取り出す。

しかる後、被写体の人物Ａ，Ｂのそれぞれについてベストショット画像として判別した人物部分画像ＲＡ３，ＲＢ２を撮影画像１０１から１０３のいずれかから抜き出した背景画像１０７と合成することによって、被写体の人物Ａ，Ｂの全員がベストショットの画像となっている１枚の生成画像１０８を取得する。

（実施例の構成）
図２は、本発明の一実施例として撮影装置の回路構成の要部を示したブロック図であり、携帯電話機、ＰＨＳ（Personal Handy-Phone System）端末、ＰＤＡ（Personal Digital Assistants：携帯情報端末）、携帯型ノートＰＣ、携帯音楽プレーヤ等の撮影装置付き携帯端末に備えることが可能な撮影装置の一例を示している。図２に示すように、本撮影装置は、カメラセンサ２０１、表示部２０２、画像処理部２０３、ＣＰＵ２０４、メモリ部２０５、キー操作部２０６、処理用メモリ２０７を少なくとも備えている。ここで、カメラセンサ２０１、画像処理部２０３は、ＣＰＵ２０４において実行されるプログラムつまりソフトウェア処理として実現することも可能である。

図２の撮影装置において、キー操作部２０６は、使用者がカメラの起動、シャッタ押下、被写体となる人物の人数の指定、ベストショット画像を判別するためのパラメータの選択、撮影画像の保存、撮影画像のキャンセル等の指示を入力する装置である。カメラセンサ２０１は、被写体を撮影した画像の取得を行う装置であり、複数枚撮影画像取得手段２０１ａを備えており、１回のシャッタの押下操作により、画像取得枚数としてあらかじめ定めた枚数の画像を自動的に撮影して取得したり、あるいは、シャッタの押下操作の違いによって使用者が任意に指定することが可能な画像取得時間内に、あらかじめ定めた時間間隔で撮影動作を繰り返すことにより任意の枚数の画像を撮影して取得したりして、その結果として、取得した複数枚分の撮影画像を画像処理部２０３に転送するものである。表示部２０２は、撮影時のプレビュー表示、撮影画像や画像処理部２０３の処理結果の画像等の確認表示などを行うものである。

画像処理部２０３は、撮影時にカメラセンサ２０１から送られてきた複数枚分の撮影画像を処理用メモリ２０７に蓄える。さらに、画像処理部２０３は、人物部分画像抽出手段２０３ａを備えており、処理用メモリ２０７に蓄えた複数枚分の撮影画像それぞれから、被写体である各人物に関する人物部分の画像と背景部分の画像とを分離して、各人物に関する人物部分の画像を人物部分画像として抽出し、処理用メモリ２０７に一時的に保存する。

また、画像処理部２０３は、ベストショット画像判別手段２０３ｂを備えており、人物部分画像抽出手段２０３ａにより抽出された各人物に関する人物部分画像を処理用メモリ２０７から順次取り出して、同一人物に関する複数枚の人物部分画像の中から、最も写りの良い画像（例えば、正面を向いて、目も正対した状態で開いていて、顔の表情として笑顔をたたえている画像など）を、それぞれ、当該人物に関するベストショット画像として抽出する。さらに、画像処理部２０３は、合成画像生成手段２０３ｃを備えており、被写体の各人物に関するベストショット画像として抽出された各人物部分画像を、複数枚の撮影画像のいずれかの背景画像と合成することにより、１枚の合成画像として生成して出力する。

ここで、画像処理部２０３においては、最も写りが良い画像と判断する基準として、前述のように、例えば、少なくとも顔が正面を向いている度合い、目を開いて正面を見ている度合い、顔の表情が笑顔になっている度合い、人物部分画像における顔部分の大きさの度合い、人物部分画像のシャープネス度、色彩の鮮やかさの度合い、ブライトネス度等のいずれか１ないし複数を含む度合いの測定に基づいて、同一人物の複数枚の人物部分画像に関するベストショット度合い（以降、「ベストショット度」と呼ぶ)の判定を行う。また、画像処理部２０３は、撮影画像の色合い補正、ノイズ除去、露出補正、サイズ補正、赤目補正等の通常の画像処理機能も合わせて有しており、必要に応じた画像処理を施すことが可能である。

メモリ部２０５は、画像処理部２０３において画像処理された画像を保持する。ＣＰＵ２０４は、キー操作部２０６から入力された使用者の指示に基づいて、カメラセンサ２０１に対する撮影対象の画像の取得命令やデータの転送命令、画像処理部２０３に対する画像処理命令やデータ転送命令、メモリ部２０５へのデータ転送命令や保存処理命令やキャンセル命令、画像処理部２０３やメモリ部２０５からの画像を表示部２０２にて画面表示する表示命令等を行い、当該撮影装置の全体の動作を制御する。

（実施例の動作の説明）
次に、図２に示す撮影装置の動作について、図３に示すフローチャートを用いてその一例を説明する。図３は、図２の撮影装置において実施される人物撮影処理の流れの一例を表したフローチャートであり、１回のシャッタの押下操作時に、操作画像取得枚数としてあらかじめ定めた枚数の画像を撮影して取得する場合について、取得した複数枚の画像の中から、被写体となる複数の人物それぞれのベストショット画像を抽出して背景画像と合成して１枚の生成画像を出力するまでの動作例を示している。なお、図３に示すフローチャートには、被写体人数をＭ人（Ｍ：使用者が指定する人数）、シャッタ押下操作時に取得すべき撮影画像の枚数を示す画像取得枚数をｎ枚（ｎ：画像取得枚数としてあらかじめ定めた枚数）、ｉ番目に取得した撮影画像をＦｉ、写りの良さを示す指標であるベストショット度をＢＳ(また、処理した画像のうち最も写りが良かった度合いを示す最大ベストショット度をＢＳｍａｘ)として表現している。

図３の処理が起動すると（ステップＳ３０１）、キー操作部２０６によりカメラ起動が指示された場合(ステップＳ３０２)、ＣＰＵ２０４の命令により、カメラセンサ２０１および画像処理部２０３を起動し、画像処理部２０３は、最大ベストショット度の初期化（ＢＳｍａｘ＝０）や処理用メモリ２０７内の画像データの消去などの初期化を実施する(ステップＳ３０３)。

カメラセンサ２０１による被写体のプレビュー開始後(ステップＳ３０４)、使用者によるキー操作部２０６からのキー入力により、被写体人数としてＭ人を設定する(ステップＳ３０５)。しかる後、シャッタの押下操作がなされたか否かを確認し(ステップＳ３０６)、シャッタの押下操作がなされていない場合には(ステップＳ３０６のＮＯ)、あらかじめ定めた許容時間を過ぎない限り（ステップＳ３２５のＮＯ）、ステップＳ３０６の処理に戻って、シャッタの押下操作の確認を繰り返す。

使用者によるキー操作部２０６からのキー入力により、シャッタが押下されると(ステップＳ３０６のＹＥＳ)、カメラセンサ２０１によりあらかじめ定めた時間間隔で連続的に撮影されたｎ枚分（ｎ：任意の正整数であり、画像取得枚数としてあらかじめ定めた枚数）の撮影画像を取得して処理用メモリ２０７に保存し、保存したｎ枚分の撮影画像について、１枚ずつ、順次、処理用メモリ２０７から取り出して、ステップＳ３０８ないしステップＳ３１９までの処理を繰り返す。まず、１枚目の撮影画像(Ｆ１)を取り出して(ステップＳ３０８)、取り出した１枚目の撮影画像(Ｆ１)について、人物部分画像と背景画像とに分離し(ステップＳ３０９)、背景画像を処理用メモリ２０７に保存する（ステップＳ３１０）。

一方、撮影画像(Ｆ１)から抽出された各人物部分画像に対しては、被写体の各人物を識別するためのラベル（Ｒ１，Ｒ２，…Ｒｓ,…，ＲＭ)を付与するラベリング処理を行う(ステップＳ３１１)。次に、ステップＳ３１２ないしステップＳ３１７までの処理を繰り返すことによって、被写体の各人物のベストショット画像を判別する処理を行なう。

すなわち、付与されたラベル（Ｒ１，Ｒ２，…Ｒｓ,…，ＲＭ)毎に、つまり、被写体の各人物毎に、各人物部分画像のベストショット度ＢＳ（例えば、ラベルＲｓの場合、ベストショット度ＢＳｓ）を算出し(ステップＳ３１３)、算出した各人物部分画像のベストショット度ＢＳ（例えば、ラベルＲｓの人物の場合、ベストショット度ＢＳｓ）を、現在までに処理用メモリ２０７に保存されている各人物毎の人物部分画像に関する最大ベストショット度ＢＳｍａｘ（例えば、ラベルＲｓの人物の場合、ラベルＲｓに該当する人物の人物部分画像に関する現在までの最大ベストショット度）と比較する（ステップＳ３１４）。

なお、各人物部分画像のベストショット度は、前述のように、画像処理部２０３において、当該人物部分画像内の人物部分が、正面を向いているか、目を開けて正面を見ているか、笑顔の度合い、画像としてのシャープネス、色彩の鮮やかさ、ブライトネスなどの度合いをパラメータ化することによって表現される。

算出した各人物部分画像のベストショット度ＢＳが、現在までに処理用メモリ２０７に保存されている各人物部分画像の最大ベストショット度ＢＳｍａｘを超えていない場合は（ステップＳ３１４のＮＯ）、現在保存されている各人物部分画像の最大ベストショット度ＢＳｍａｘの更新は行わない。

一方、現在までに処理用メモリ２０７に保存されている各人物部分画像の最大ベストショット度ＢＳｍａｘを超えている場合は（ステップＳ３１４のＹＥＳ）、処理用メモリ２０７に現在保存されている各人物部分画像の最大ベストショット度ＢＳｍａｘを、算出した各人物部分画像のベストショット度ＢＳにより更新するとともに（ステップＳ３１６）、当該人物部分画像を現在までのベストショット画像として処理用メモリ２０７内に保持する（例えば、ラベルＲｓの人物の場合、ラベルＲｓに該当する人物の現在までの最大ベストショット度ＢＳｍａｘとして、処理用メモリ２０７のラベルＲｓに該当する最大ベストショット度ＢＳｍａｘを更新し、ラベルＲｓに該当する当該人物の現在までのベストショット画像として保持する）。

かかる最大ベストショット度ＢＳｍａｘの更新の要否に関する判別処理を、最初のラベルＲ１から始めて被写体人数Ｍ人の最終のラベルＲＭに達するまで繰り返すことによって（ステップＳ３１２ないしステップＳ３１７）、１枚目の画像(Ｆ１)における被写体の複数の人物に関するベストショット度ＢＳの判別処理を終了し、次の２枚目の画像（Ｆ２）以降、人物とラベルの紐付けを１枚目の人物部分画像と同じになるように対応付けを行いつつ、画像取得枚数ｎ枚に達するまで、同様の処理を繰り返す（ステップＳ３０７ないしステップＳ３１８）。このような繰り返し処理により、撮影したｎ枚分の中から、ラベルＲ１，Ｒ２，…Ｒｓ,…，ＲＭそれぞれに該当する被写体の人物毎の最大ベストショット画像を示す人物部分画像が処理用メモリ２０７に保持されることになる。

各人物の最大ベストショット画像を示す人物部分画像が得られると、次に、ラベルＲ１，Ｒ２，…Ｒｓ,…，ＲＭそれぞれに該当する被写体の人物毎の最大ベストショット画像を示す人物部分画像と処理用メモリ２０７に保存されている背景画像とを合成して、１枚の生成画像とし（ステップＳ３１９）、該生成画像を、使用者の確認のために表示部２０２に画面表示する（ステップＳ３２０）。

使用者が、表示部２０２に画面表示された生成画像を確認して、当該生成画像の不採用の旨を示すキャンセルをキー操作部２０６のキー操作により指定した場合（ステップＳ３２１のＮＯ）、当該生成画像をキャンセルして、さらに撮影を続行するか否かを確認する（ステップＳ３２３）。一方、当該生成画像の保存を指示すると（ステップＳ３２１のＹＥＳ）、当該生成画像をメモリ部２０５に保存することにより、当該生成画像を他のアプリケーション（転送、印刷、文書等への貼付けなど）においても利用が可能な状態に設定した後（ステップＳ３２２）、さらに撮影を続行するか否かを確認する（ステップＳ３２３）。撮影を続行する場合は（ステップＳ３２３のＹＥＳ）、ステップＳ３０３に復帰し、以上に説明した動作を繰り返す。一方、撮影を終了する場合は（ステップＳ３２３のＮＯ）、カメラセンサ２０１、画像処理部２０３の動作を終了させ（ステップＳ３２４）、図３の処理を終了する（ステップＳ３２６）。

（他の実施例の動作の説明）
次に、図２に示す撮影装置の動作について、図３のフローチャートとは異なる動作例について説明する。

本実施例においても、その基本的動作は、前述した図３のフローチャートの場合と同じであるが、１回のシャッタの押下操作による複数枚の撮影画像を取得する動作が、図３に示すフローチャートの場合とは異なっている。つまり、図３のフローチャートにおいては、シャッタ押下操作により、あらかじめ決められた枚数分の撮影画像を取得していたが、本実施例においては、１回のシャッタの押下操作によりあらかじめ定めた時間間隔で連続的に撮影して撮影画像を取得する動作を行うものの、図３の場合とは異なり、シャッタ押下操作方法の違いなどによって使用者が画像取得時間として任意の時間を指定し、指定された時間の間に撮影された複数枚の撮影画像を取得することを可能とする動作例を、図４、図５に示している。

例えば、図４のフローチャートは、図２の撮影装置において実施される人物撮影処理の流れの図３とは異なる例を表したフローチャートであリ、斜線でハッチングしているステップＳ４０６、ｓ４１７のみが図３のフローチャートの場合と異なっている。つまり、ステップＳ４０６を、図３のフローチャートのステップＳ３０６の代わりに、また、ステップＳ４１７を、図３のフローチャートのステップＳ３０７、ｓ３１８の代わりに用いる以外は、図３の各ステップと同一の処理であり、ステップＳ４０１〜Ｓ４０５、ステップＳ４０７〜Ｓ４１６、ステップＳ４１８〜Ｓ４２５は、それぞれ、図３のフローチャートのステップＳ３０１〜Ｓ３０５、ステップＳ３０８〜Ｓ３１７、ステップＳ３１９〜Ｓ３２６と同一の処理である。

図４のフローチャートの場合、撮影の開始を指示する開始シャッタ操作と撮影の終了を指示する終了シャッタ操作とにシャッタ操作を使い分けるものであり、１つのシャッタの押下操作として、撮影開始を指示する開始シャッタの押下操作（ステップＳ４０６の動作）と撮影終了を指示する終了シャッタの押下操作（ステップＳ４１７の動作）との２つの操作が可能である。つまり、使用者が、撮影の開始を指示する開始シャッタの押下操作を行うことにより、任意のタイミングで、撮影画像の取得動作を開始し(ステップＳ４０６)、撮影の終了を指示する終了シャッタの押下操作を行うことにより、任意のタイミングで、撮影を終了させる（ステップＳ４１７）。この操作において、撮像装置は、プレビューモード（撮像待機状態）においてシャッタを押下されることにより撮像モードになって、撮像を開始し、この撮像モードにおいてシャッタを押下されることによりプレビューモードに戻る。

したがって、画像取得時間として、使用者が、撮影の開始を指示する開始シャッタの押下操作を行った以降(ステップＳ４０６)、撮影の終了を指示する終了シャッタの押下操作が行われるまでの間（ステップＳ４１７）、あらかじめ定めた時間間隔で連続的に撮影して撮影画像を取得し続けることにより、使用者が所望する任意の枚数の撮影画像を取得することができる。ステップＳ４０６で指示した開始タイミングからステップＳ４１７で指示した終了タイミングまでの間に取得された任意の枚数の撮影画像それぞれについて、図３のフローチャートと同様の処理を行うことにより、被写体の複数の人物それぞれのベストショット画像を抽出し、背景画像と合成して、１枚の生成画像として出力することになる。

また、図５のフローチャートは、図２の撮影装置において実施される人物撮影処理の流れの図３、図４とは異なる例を表したフローチャートであリ、斜線でハッチングしているステップＳ５１７のみが図３のフローチャートの場合と異なっている。つまり、ステップＳ５１７を、図３のフローチャートのステップＳ３０７、ｓ３１８の代わりに用いる以外は、図３の各ステップと同一の処理であり、ステップＳ５０１〜Ｓ５０６、ステップＳ５０７〜Ｓ５１６、ステップＳ５１８〜Ｓ５２５は、それぞれ、図３のフローチャートのステップＳ３０１〜Ｓ３０６、ステップＳ３０８〜Ｓ３１７、ステップＳ３１９〜Ｓ３２６と同一の処理である。

図５のフローチャートの場合、シャッタ押下操作として、図３のフローチャートの場合と同様に、画像取得枚数としてあらかじめ定めた枚数の複数枚の撮影画像を取得することを指示するシャッタ押下（短押し）操作（ステップＳ５０６の動作）の他に、撮影継続を指示するシャッタ長押し操作（ステップＳ５１７の動作）が可能であり、使用者が、撮影の開始を指示するシャッタの押下操作を行うことにより、任意のタイミングで、撮影画像の取得動作を開始し(ステップＳ５０６)、シャッタ長押し操作が続く間、撮影画像の取得動作を継続し、任意のタイミングで、シャッタ長押し操作を解除することにより、撮影を終了させる（ステップＳ５１７）。

したがって、画像取得時間として、使用者によりシャッタ長押し操作が継続している間、あらかじめ定めた時間間隔で連続的に撮影して撮影画像を取得し続けることにより、使用者が所望する任意の枚数の撮影画像を取得することができる。ステップＳ５０６でシャッタ押下操作を行ったタイミングからステップＳ５１７で撮影を終了するシャッタ長押し操作解除（Ｓ５１７のＮＯ）のタイミングまでの間に取得された任意の枚数の撮影画像それぞれについて、図３のフローチャートと同様の処理を行うことにより、被写体の複数の人物それぞれのベストショット画像を抽出し、背景画像と合成して、１枚の生成画像として出力することになる。

また、被写体人数Ｍ人の設定に関して、図３〜図５のフローチャートにおいては、使用者が任意に設定する例を示したが、図２の撮影装置に、撮影画像の中から被写体となる人物を検出することができる人物検出部を組み込むことにより、自動的に、被写体となる人物を検出し、検出した人物の人数を計数して、被写体人数Ｍ人の設定を自動的に行うことも可能である。

なお、複数枚の撮影画像における被写体の人物の中から、同一人物を判別して、各人物を特定するためのラベル付けを行う場合、被写体となる人物毎に撮影位置を固定しておき、複数枚の撮影画像の略同じ座標位置に存在している人物部分画像を、同一人物として判別したり、あるいは、各人物部分画像の服装や帽子等の模様、色合いなどに基づいて、同一人物を判別したり、あるいは、顔の部分を抽出して、顔の輪郭、目・鼻・口などの相対的位置関係などから得られる特徴量を比較して、同一人物として判別したりすることも可能である。

また、画像処理部２０３における画像処理として、複数枚の撮影画像の中から、被写体の人物毎に、それぞれの人物部分画像の抽出処理を行った際に、抽出された人物部分画像に対して、それぞれの被写体の人物の特徴に合わせた色補正を施すことも可能である。

また、ベストショット度の算出方法に関しては、ベストショット度を用途・シーンに応じて可変に設定することを可能としても良い。例えば、人物認証用に用いようとする場合、顔の部分が大きく撮影された画像やシャープネス度が高い画像に対して、ベストショット度を高く設定したり、あるいは、単純に正面を向いているか否かだけを基準にしてベストショット度を設定したりすることも可能である。

また、被写体の人物が一人だけの場合であっても、本発明を適用することができる。かかる場合は、図３のフローチャートの前提として説明した被写体人数Ｍ人を１人として処理を行えば良い。

以上に詳細に説明したように、本発明による実施例においては、以下に記載するような効果を奏することができる。

第１の効果は、複数の人物を被写体とした撮影時において、複数枚の撮影画像中から、被写体毎にそれぞれのベストな写りの画像を抽出して、背景画像と合成するので、被写体となった全員にとって、より良い状態における画像を生成することが可能である。

第２の効果は、複数枚の撮影画像を用いて、より明瞭な人物部分画像の補間処理を行うため、手振れなどによる劣化の少ない画像生成が期待できる。

第３の効果は、画像処理に関するソフトウェア処理のみにより、各被写体のベストショット画像を抽出して背景画像と合成した生成画像を出力することが可能であるので、一般的なカメラや携帯端末装置に装備されている画像処理チップをそのまま用いて実現することが可能である。

以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。

本発明による人物撮影方法の一例を説明するための模式図である。 本発明の一実施例として撮影装置の回路構成の要部を示したブロック図である。 図２の撮影装置において実施される人物撮影処理の流れの一例を表したフローチャートである。 図２の撮影装置において実施される人物撮影処理の流れの図３とは異なる例を表したフローチャートである。 図２の撮影装置において実施される人物撮影処理の流れの図３、図４とは異なる例を表したフローチャートである。

符号の説明

１０１〜１０３ 撮影画像
１０４〜１０６ 人物部分抽出画像
１０７ 背景画像
１０８ 生成画像
２０１ カメラセンサ
２０１ａ 複数枚撮影画像取得手段
２０２ 表示部
２０３ 画像処理部
２０３ａ 人物部分画像抽出手段
２０３ｂ ベストショット画像判別手段
２０３ｃ 合成画像生成手段
２０４ ＣＰＵ
２０５ メモリ部
２０６ キー操作部
２０７ 処理用メモリ
Ａ，Ｂ 人物
ＲＡ１〜ＲＡ３ 人物部分画像（人物Ａ）
ＲＢ１〜ＲＢ３ 人物部分画像（人物Ｂ）

Claims (15)

1. 被写体として１ないし複数の人物を撮影した撮影画像を取得するカメラセンサと、
   該カメラセンサにより取得された撮影画像の画像処理を行う画像処理部とを少なくとも備えた撮影装置において、
   前記カメラセンサは、
   同一の被写体を撮影した複数枚の撮影画像を取得する複数枚撮影画像取得手段を備え、
   前記画像処理部は、
   前記カメラセンサの前記複数枚撮影画像取得手段により取得された複数枚の撮影画像それぞれから被写体とされた同一人物毎の画像を人物部分画像として抽出する人物部分画像抽出手段と、
   該人物部分画像抽出手段により同一人物毎に抽出された複数枚の前記人物部分画像の中から同一人物それぞれに関して最も写りが良い画像を、各人物毎のベストショット画像として判別するベストショット画像判別手段と、
   前記カメラセンサにより取得された複数枚の撮影画像のいずれかの背景画像と前記ベストショット画像判別手段にて判別された各人物毎のベストショット画像とを合成して１枚の合成画像として生成する合成画像生成手段とを、少なくとも備え、
   前記人物部分画像抽出手段は、少なくとも撮影画像の人物の顔部分の輪郭、目、鼻、口の特徴量に基づいて同一人物か否かを判別する手段と、
   抽出された人物部分画像に対して、それぞれの被写体の人物の特徴に合わせた色補正を施す色補正手段と、
   を備えていることを特徴とする撮影装置。
2. 前記複数枚撮影画像取得手段として、１回のシャッタの押下操作がなされた際に、画像取得枚数としてあらかじめ定めた枚数の画像を連続して撮影する手段、あるいは、撮影開始を指示する開始シャッタ操作と撮影終了を指示する終了シャッタ操作とを備え、前記開始シャッタの押下操作がなされた以降、前記終了シャッタの押下操作がなされるまでの期間を画像取得時間として、該画像取得時間の間、あらかじめ定めた時間間隔で連続して画像を撮影する動作を繰り返すことにより、任意の枚数の撮影画像を取得する手段、あるいは、シャッタの長押しが継続する期間を画像取得時間として、該画像取得時間の間、あらかじめ定めた時間間隔で連続して画像を撮影する動作を繰り返すことにより、任意の枚数の撮影画像を取得する手段、のいずれか１ないし複数の手段を備えていることを特徴とする請求項１に記載の撮影装置。
3. 前記人物部分画像抽出手段により抽出すべき被写体の人物の人数を設定する手段として、使用者が入力部を介して当該人数を入力することにより設定する手段、および／または、撮影画像の中から被写体となる人物を検出する人物検出部を備え、該人物検出部により検出した人物の人数を計数して自動的に設定する手段、を備えていることを特徴とする請求項１または２に記載の撮影装置。
4. 前記人物部分画像抽出手段において、複数枚の撮影画像それぞれから同一人物の前記人物部分画像を抽出する際に、被写体の人物の中から同一人物を判別する手段として、
   撮影画像の座標位置に基づいて同一人物か否かを判別する手段、
   あるいは、撮影画像の人物の服装、帽子の模様、色合いに基づいて同一人物か否かを判別する手段、のいずれか一方又は両方を備えていることを特徴とする請求項１ないし３のいずれかに記載の撮影装置。
5. 前記ベストショット画像判別手段において人物毎の前記ベストショット画像を判別する際に、顔が正面を向いている度合い、目が開いていて正面を見ている度合い、表情が笑顔となっている度合い、取得した前記人物部分画像の顔部分の大きさの度合い、取得した前記人物部分画像のシャープネス度、色彩の鮮やかさの度合い、ブライトネス度、のいずれか１ないし複数を少なくとも含むベストショット度に基づいて判別することを特徴とする請求項１ないし４のいずれかに記載の撮影装置。
6. 前記ベストショット画像判別手段において人物毎の前記ベストショット画像を判別するために用いる前記ベストショット度を、前記合成画像の用途・シーンに応じて、可変に設定することができることを特徴とする請求項５に記載の撮影装置。
7. 画像を撮影する撮影機能を有する撮影装置付き携帯端末において、前記撮影機能として、請求項１ないし６のいずれかに記載の撮影装置を搭載することを特徴とする撮影装置付き携帯端末。
8. 同一の被写体として１ないし複数の人物を撮影した撮影画像を複数枚取得する複数枚撮影画像取得ステップと、
   取得された複数枚の撮影画像の人物の顔部分の輪郭、目、鼻、口の特徴量に基づいて同一人物か否かを判別し、それぞれから被写体とされた同一人物毎の画像を人物部分画像として抽出する人物部分画像抽出ステップと、
   抽出された人物部分画像に対して、それぞれの被写体の人物の特徴に合わせた色補正を施す色補正ステップと、
   同一人物毎に抽出された複数枚の前記人物部分画像の中から同一人物それぞれに関して最も写りが良い画像を、各人物毎のベストショット画像として判別するベストショット画像判別ステップと、
   取得された複数枚の撮影画像のいずれかの背景画像と各人物毎の前記ベストショット画像とを合成して１枚の合成画像として生成する合成画像生成ステップとを、
   少なくとも有していることを特徴とする人物撮影画像処理方法。
9. 前記複数枚撮影画像取得ステップとして、シャッタの押下操作がなされた際に、画像取得枚数としてあらかじめ定めた枚数の画像を連続して撮影するステップ、あるいは、撮影開始を指示する開始シャッタと撮影終了を指示する終了シャッタとを備え、前記開始シャッタの押下操作がなされた以降、前記終了シャッタの押下操作がなされるまでの期間を画像取得時間として、該画像取得時間の間、あらかじめ定めた時間間隔で連続して画像を撮影する動作を繰り返すことにより、任意の枚数の撮影画像を取得するステップ、あるいは、シャッタの長押しが継続する期間を画像取得時間として、該画像取得時間の間、あらかじめ定めた時間間隔で連続して画像を撮影する動作を繰り返すことにより、任意の枚数の撮影画像を取得するステップ、のいずれか１ないし複数のステップを有していることを特徴とする請求項８に記載の人物撮影画像処理方法。
10. 前記人物部分画像抽出ステップにより抽出すべき被写体の人物の人数を設定するステップとして、使用者が入力部を介して当該人数を入力することにより設定するステップ、および／または、撮影画像の中から被写体となる人物を検出する人物検出ステップにより検出した人物の人数を計数して自動的に設定するステップ、を有していることを特徴とする請求項８または９に記載の人物撮影画像処理方法。
11. 前記人物部分画像抽出ステップにおいて、複数枚の撮影画像それぞれから同一人物の前記人物部分画像を抽出する際に、被写体の人物の中から同一人物を判別するステップとして、撮影画像の座標位置に基づいて同一人物か否かを判別するステップ、あるいは、撮影画像の人物の服装、帽子の模様、色合いに基づいて同一人物か否かを判別するステップ、のいずれか一方又は両方のステップを少なくとも有していることを特徴とする請求項８ないし１０のいずれかに記載の人物撮影画像処理方法。
12. 前記ベストショット画像判別ステップにおいて人物毎の前記ベストショット画像を判別する際に、顔が正面を向いている度合い、目が開いていて正面を見ている度合い、表情が笑顔となっている度合い、取得した前記人物部分画像の顔部分の大きさの度合い、取得した前記人物部分画像のシャープネス度、色彩の鮮やかさの度合い、ブライトネス度、のいずれか１ないし複数を少なくとも含むベストショット度に基づいて判別することを特徴とする請求項８ないし１１のいずれかに記載の人物撮影画像処理方法。
13. 前記ベストショット画像判別ステップにおいて人物毎の前記ベストショット画像を判別するために用いる前記ベストショット度を、前記合成画像の用途・シーンに応じて、可変に設定することができることを特徴とする請求項１２に記載の人物撮影画像処理方法。
14. 請求項８ないし１３のいずれかに記載の人物撮影画像処理方法を、コンピュータにより実行可能なプログラムとして実施していることを特徴とする人物撮影画像処理プログラム。
15. 請求項１４に記載の人物撮影画像処理プログラムを、コンピュータにより読み取り可能な記録媒体に記録していることを特徴とするプログラム記憶媒体。

Images